CN114821718A - 人脸特征的提取方法、人脸识别模型的训练方法和装置 - Google Patents

Abstract

本公开实施例提供一种人脸特征的提取方法、人脸识别模型的训练方法和装置，其中方法包括：获取待识别的人脸图片、以及所述人脸图片对应的人脸属性特征；根据所述人脸图片和所述人脸属性特征，由混合专家网络中包括的多个专家子模型中选择至少一个专家子模型作为目标子模型；通过所述目标子模型执行所述人脸图片的特征提取处理，得到所述人脸图片对应的人脸特征。本公开实施例不仅能够提升人脸识别的效果，而且可以减少计算量，提高识别效率。

Description

人脸特征的提取方法、人脸识别模型的训练方法和装置

技术领域

本公开涉及图像处理技术，具体涉及人脸特征的提取方法、人脸识别模型的训练方法和装置。

背景技术

人脸识别是计算机视觉的一个重要分支，其相关技术已经在安防监控领域得到广泛应用。人脸识别的现场环境经常是复杂多变的，识别技术存在着诸多挑战。例如，光照条件变化或摄像头变化可能会导致拍摄的人脸较为模糊，使得人脸识别更加困难；还有一些戴口罩的人脸，也增加了人脸识别的难度。

相关技术中，可以通过增大模型规模来提升人脸识别模型的识别效果。其中一种增大模型规模的方式可以是，对待识别的人脸图片，采用分别对应不同应用场景的多个模型提取特征，然后将该多个模型的特征进行特征融合，得到用于人脸识别的人脸特征。但是，这种方式是使用了全部的对应不同场景的多个模型，当模型规模较大时意味着识别过程需要消耗更多资源且增加耗时，导致人脸识别的效率较低，不利于人脸识别模型在实战场景中的应用。

发明内容

有鉴于此，本公开实施例至少提供一种人脸特征的提取方法、人脸识别模型的训练方法和装置。

第一方面，提供一种人脸特征的提取方法，所述方法包括：

获取待识别的人脸图片、以及所述人脸图片对应的人脸属性特征；

根据所述人脸图片和所述人脸属性特征，由混合专家网络中包括的多个专家子模型中选择至少一个专家子模型作为目标子模型；

通过所述目标子模型执行所述人脸图片的特征提取处理，得到所述人脸图片对应的人脸特征。

第二方面，提供一种人脸识别模型的训练方法，所述人脸识别模型包括混合专家网络，所述混合专家网络中包括多个专家子模型；所述方法包括：

获取样本人脸图片、所述样本人脸图片的标签以及所述样本人脸图片对应的人脸属性特征；

将所述样本人脸图片和所述样本人脸图片对应的人脸属性特征输入所述人脸识别模型；由所述人脸识别模型根据所述样本人脸图片和人脸属性特征，从所述多个专家子模型中选择至少一个专家子模型作为目标子模型；

通过所述目标子模型执行所述样本人脸图片的特征提取处理，得到所述样本人脸图片的人脸特征；

根据所述人脸特征对所述样本人脸图片进行识别处理，得到所述样本人脸图片的人脸识别结果；

基于所述人脸识别结果与所述标签之间的差异，调整所述人脸识别模型的模型参数。

第三方面，提供一种人脸特征的提取装置，所述装置包括：

信息获取模块，用于获取待识别的人脸图片、以及所述人脸图片对应的人脸属性特征；

模型选择模块，用于根据所述人脸图片和所述人脸属性特征，由混合专家网络中包括的多个专家子模型中选择至少一个专家子模型作为目标子模型；

特征提取模块，用于通过所述目标子模型执行所述人脸图片的特征提取处理，得到所述人脸图片对应的人脸特征。

第四方面，提供一种人脸识别模型的训练装置，所述人脸识别模型包括混合专家网络，所述混合专家网络中包括多个专家子模型；所述装置包括：

特征获取模块，用于获取样本人脸图片、所述样本人脸图片的标签以及所述样本人脸图片对应的人脸属性特征；

选择处理模块，用于将所述样本人脸图片和所述样本人脸图片对应的人脸属性特征输入所述人脸识别模型；由所述人脸识别模型根据所述样本人脸图片和人脸属性特征，从所述多个专家子模型中选择至少一个专家子模型作为目标子模型；

提取处理模块，用于通过所述目标子模型执行所述样本人脸图片的特征提取处理，得到所述样本人脸图片的人脸特征；

识别处理模块，用于根据所述人脸特征对所述样本人脸图片进行识别处理，得到所述样本人脸图片的人脸识别结果；

参数调整模块，用于基于所述人脸识别结果与所述标签之间的差异，调整所述人脸识别模型的模型参数。

第五方面，提供一种电子设备，所述设备包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现本公开任一实施例所述的方法。

第六方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本公开任一实施例所述的方法。

本公开实施例提供的人脸特征的提取方法、人脸识别模型的训练方法和装置，通过根据人脸图片及对应的人脸属性特征，由多个专家子模型中选择至少一个专家子模型进行人脸图片的特征提取，使得一方面可以通过多个专家子模型增大模型的规模，以提升人脸识别模型的识别效果；另一方面，在实际的识别处理中，可以选择一部分专家子模型执行对人脸图片的识别处理，这样就可以减少计算量，降低资源消耗量，提高人脸识别的效率。

附图说明

为了更清楚地说明本公开一个或多个实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开一个或多个实施例中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1示出了本公开至少一个实施例提供的一种人脸特征的提取方法的流程图；

图2示出了本公开至少一个实施例提供的一种混合专家网络的结构图；

图3示出了本公开至少一个实施例提供的另一种混合专家网络的结构图；

图4示出了本公开至少一个实施例提供的一种人脸识别模型的训练方法；

图5示出了本公开至少一个实施例提供的一种人脸特征的提取装置的结构；

图6示出了本公开至少一个实施例提供的一种人脸识别模型的训练装置。

具体实施方式

为了使本技术领域的人员更好地理解本公开一个或多个实施例中的技术方案，下面将结合本公开一个或多个实施例中的附图，对本公开一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开一个或多个实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本公开保护的范围。

图1示出了本公开至少一个实施例提供的一种人脸特征的提取方法的流程图，所述的人脸特征的提取，例如可以是给定一个人脸图片，可以对该人脸图片执行特征提取处理，得到该人脸图片对应的人脸特征。其中，提取该人脸图片的人脸特征的过程可以是通过混合专家网络实现，所述的混合专家网络中可以包括多个专家子模型。如图1所示，该方法可以包括如下处理：

在步骤100中，获取待识别的人脸图片及该人脸图片对应的人脸属性特征。

其中，人脸图片对应的人脸属性特征，可以是通过预先训练好的人脸属性模型对待识别的人脸图片进行属性特征的提取得到。

例如，所述的人脸属性特征可以包括但不限于如下信息中的至少一种：人脸图片中的人脸对应人物的性别、人物年龄、人物是否戴口罩、人物所属的人种、人脸拍摄角度和人脸图片质量等。示例性的，人脸属性模型输出的人脸属性特征可以是一个向量，该向量中可以包括多维度信息，每种不同的维度可以表示人脸对应人物在不同方面的信息。比如，其中一个信息维度可以表示人物是否戴口罩，例如，0表示戴口罩，1表示不戴口罩。又比如，另一个信息维度可以表示人物的性别，0表示女性，1表示男性。其他表示方式不再列举，本实施例不限制信息的具体表示方式。上述的人脸属性特征中包括的人物年龄可以包括老人或者小孩等不同年龄段的表示，还可以包括白种人、黑人、黄种人等不同人种，也可以包括侧脸角度、正脸角度等不同角度，以及模糊、清楚等不同的人脸图片质量。

在步骤102中，根据人脸图片和人脸属性特征，由混合专家网络中包括的多个专家子模型中选择至少一个专家子模型作为目标子模型。

本公开实施例的混合专家网络中可以包括多个专家子模型。例如，每个专家子模型的结构可以包括一个conv层(卷积层)，也可以包括由多个conv层叠加的block结构，具体卷积层的数量可以根据需求确定。所述的混合专家网络中包括的多个专家子模型的结构可以相同，也可以不同。

本实施例中，可以根据人脸图片及对应的人脸属性特征，由上述的多个专家子模型中选择至少一个专家子模型来处理该人脸图片。被选择到的专家子模型可以称为目标子模型。例如，可以由多个专家子模型中选择一个专家子模型，也可以由多个专家子模型中选择多个专家子模型。例如，举例来说：假设混合专家网络中包括5个专家子模型，可以选择其中的2个作为目标子模型执行对人脸图片的特征提取处理，或者也可以选择其中的4个作为目标子模型。即，在本实施例中，所选择的目标子模型可以是混合专家网络中的部分专家子模型来参与本次人脸识别，而不是利用混合专家网络中包括的全部专家子模型。可选的，也可以选择混合专家网络中的全部专家子模型都作为目标子模型。

此外，在根据人脸图片及对应的人脸属性特征选择目标子模型时，不同的人脸图片选择的目标子模型可以是不同的。举例来说：假设本实施例中用于进行人脸识别的人脸识别模型中包括A1至A7等多个专家子模型，在进行目标子模型的选择时，可以是这样的例子：

例如，若人脸图片的人脸属性特征表明这是个戴口罩的人脸图片时，可以选择专家子模型A1作为用于处理该人脸图片的目标子模型。

又例如，若人脸图片的人脸属性特征表明这是个不戴口罩的人脸图片时，可以选择专家子模型A2作为用于处理该人脸图片的目标子模型。

再例如，若人脸图片的人脸属性特征表明这是个侧脸角度拍摄的人脸图片时，可以选择专家子模型A3和A4作为用于处理该人脸图片的目标子模型。

还例如，若人脸图片的人脸属性特征表明这是个图片模糊、拍摄质量较差的人脸图片时，可以选择专家子模型A1和A5作为对应的目标子模型。

如上所述的，人脸属性特征可以表征待识别的人脸图片在某种方面的特点，包括但不限于上述列举的是否戴口罩、图片是否模糊等特点，而根据该人脸属性特征选择目标子模型时，可以是基于人脸图片的特点来选择对应处理具有该特点的图片的专家子模型。比如上面列举的，戴口罩的人脸图片可以由专家子模型A1来处理，模糊的人脸图片可以由专家子模型A1和A5来处理。

在步骤104中，通过所述目标子模型执行所述人脸图片的特征提取处理，得到所述人脸图片对应的人脸特征。

本实施例中，在步骤102中选定了目标子模型之后，本步骤中可以通过这些目标子模型执行对人脸图片的特征提取处理。需要说明的是，这里所述的通过目标子模型执行对人脸图片的特征提取处理，并不是说目标子模型的输入一定是人脸图片，也可以是通过人脸图片进行特征提取得到的特征。比如，可以先对人脸图片进行特征提取得到特征f，再将该特征f输入目标子模型继续进行特征提取的处理。也就是说，在通过混合专家网络对人脸图片进行识别处理的过程中，所述的目标子模型参与了该过程中对人脸图片的特征提取。

此外，在得到人脸图片对应的人脸特征后，可以继续根据该人脸特征得到人脸识别结果。举例来说：预先建立了一个人脸数据库，该数据库中包括存储的多个人脸图片，并且还对应存储了各人脸图片的人脸特征。假设当前采集到一张待识别的人脸图片，想要从上述人脸数据库中查找到与待识别的人脸图片对应符合的图片是哪一张，此时就可以利用本公开实施例的人脸识别模型得到待识别的人脸图片对应的人脸特征，暂且称为第一人脸特征。并将该第一人脸特征分别与人脸数据库中的各个人脸图片的人脸特征之间计算特征相似度，将人脸数据库中满足相似度要求的人脸图片作为查找到的目标人脸图片。

即，本公开实施例描述的人脸特征的提取方法主要描述如何提取到待识别的人脸图片的人脸特征，而对于后续如何基于人脸特征进一步识别人脸图片得到人脸识别结果，本实施例不做限制。

本实施例的人脸特征的提取方法，通过根据人脸图片及对应的人脸属性特征，由多个专家子模型中选择至少一个专家子模型进行对人脸图片的特征提取，使得一方面可以通过多个专家子模型增大模型的规模，以提升人脸识别模型的识别效果；另一方面，在实际的识别处理中，如果选择了一部分专家子模型执行对人脸图片的识别处理，可以减少计算量，降低资源消耗量，提高人脸识别的效率。

图2示出了本公开至少一个实施例提供的一种人脸特征的提取的原理示意图，该人脸特征提取可以是通过混合专家网络实现，所述的混合专家网络可以包括至少一个混合专家模块，每个所述混合专家模块中包括多个专家子模型。其中，由混合专家网络中的多个专家子模型中选择至少一个专家子模型作为目标子模型，可以包括：对于任一所述混合专家模块，根据所述人脸图片和所述人脸属性特征，由所述混合专家模块包括的多个专家子模型中选择至少一个专家子模型作为所述目标子模型。即，对于混合专家网络中的每一个混合专家模块，都要从多个专家子模型中选择出目标子模型。

如图2所示，该图2示例了从一个混合专家模块中包括的多个专家子模型选择目标子模型。本实施例以混合专家模块中包括4个专家子模型为例。

请结合图2所示，待识别的人脸图片21、以及该人脸图片对应的人脸属性特征22输入一个混合专家模块。需要说明的是，图2的结构仅是一种示例，实际实施中不局限于此，比如，混合专家模块中还可以包括用于从人脸图片提取出人脸属性特征的人脸属性提取模块，那么这种情况下就是将人脸图片作为混合专家模块的输入，由混合专家模块进行人脸属性特征的提取操作。

本实施例中，混合专家模块可以根据获取到的人脸图片及对应的人脸属性特征，由其中包括的4个专家子模型中选择部分专家子模型，作为用于处理人脸图片的目标子模型。图2示例出了目标子模型的选择方式：可以先通过混合专家模块中的预处理模块23对人脸图片21进行特征提取，得到中间层特征。例如，预处理模块23中可以包括2个conv层。可以通过编码模块24对人脸属性特征22进行编码，输出一个1024维的one-hot向量。其中，编码模块24可以包括Fc-relu-Fc的结构，可以根据实际需求设定层数。

所述的one-hot向量和上述的中间层特征可以输入选择处理模块25。该选择处理模块25中也可以包括Fc-relu-Fc的结构，该选择处理模块25可以将中间层特征与人脸属性特征进行融合，得到融合特征。具体可以是将中间层特征展平成一维向量，并与所述的one-hot向量拼接，拼接后的向量可以称为融合特征。选择处理模块25可以根据该融合特征得到模型选择向量。例如，可以通过Fc-relu-Fc的结构对该融合特征进行处理，并经过一个softmax层输出一个模型选择向量。

该模型选择向量中可以包括N个选择参数，所述N与所述混合专家模块中待选择的多个专家子模型的数量相等，且所述选择参数用于表示对应所述选择参数的专家子模型的被选择概率。例如，图2中可以包括4个专家子模型，分别是专家子模型261、专家子模型262、专家子模型263和专家子模型264。那么示例性的，选择处理模块25得到的模型选择向量可以是{0.08，0.02，0.1，0.8}，其中包括4个选择参数，每个选择参数表示对应的专家子模型的被选择概率。

本实施例不限制选择参数与各专家子模型的映射关系的建立方式，比如，可以是默认按照一定方向将选择参数与专家子模型依次对应。例如上面的例子中，选择参数0.08对应专家子模型261，选择参数0.02对应专家子模型262，以此类推。当然，这仅是一种示例的对应方式。

选择处理模块25可以根据所述模型选择向量中的选择参数，由待选择的N个专家子模型中确定所述目标子模型。如下示例两种选择的例子：

例如，可以由待选择的4个专家子模型中，根据选择参数确定所述被选择概率最大的专家子模型作为所述目标子模型。即可以选择模型选择向量{0.08，0.02，0.1，0.8}中的0.8对应的专家子模型264作为目标子模型。

又例如，由待选择的4个专家子模型中，根据选择参数确定所述被选择概率在预设概率范围内的多个专家子模型作为多个目标子模型。这里的预设概率范围可以是将模型选择向量中的各个选择参数按照被选择概率的由大到小排序，选择被选择概率在前两位的选择参数对应的专家子模型。或者还可以是，设定一个概率阈值，只要被选择概率大于该概率阈值，就可以将对应的专家子模型作为目标子模型。比如，若模型选择向量中有两个选择参数对应的被选择概率高于概率阈值，就可以选择2个目标子模型。

在选择确定目标子模型后，就可以通过目标子模型执行所述人脸图片的特征提取处理。请继续结合图2所示，若从4个专家子模型中选择的是一个目标子模型，那么该目标子模型输出提取到的特征即可。而如果从4个专家子模型中选择的是至少两个目标子模型，那么可以将该至少两个目标子模型的输出进行融合。

以选择了4个专家子模型中的两个目标子模型为例：假设选择了专家子模型263和专家子模型264作为目标子模型。那么选择处理模块25可以将预处理模块23输出的中间层特征分别输入专家子模型263和专家子模型264这两个目标子模型将分别对中间层特征进行处理，例如可以通过其中的conv层进行卷积处理，得到各目标子模型分别输出的子模型特征。假设专家子模型263输出的子模型特征是f2，专家子模型264输出的子模型特征是f3。

接着，可以将各目标子模型输出的子模型特征进行加权融合，得到所述混合专家模块输出的特征。示例性的，可以根据各目标子模型输出的子模型特征、以及所述目标子模型对应的选择参数，将各目标子模型输出的子模型特征进行加权融合，得到这些目标子模型共同输出的特征作为混合专家模块输出的特征。例如，参见如下的公式(1)，其中，所述的共同特征即混合专家模块输出特征：

共同特征＝f2*0.1+f3*0.8………(1)

即可以将选择参数0.1和0.8分别作为对应的融合权重。不过，以0.1和0.8作为权重只是示例，可以基于选择参数确定该加权融合的权重即可，比如，可以将选择参数乘以一定的系数得到权重。此外，公式(1)也是一种示例的加权融合的方式，不局限于此。

上述的共同特征即将专家子模型263和专家子模型264的输出特征融合后得到的特征。在一个例子中，可以将该共同特征直接作为混合专家模块输出的对应所述人脸图片的人脸特征。在另一个例子中，该图2所示的混合专家模块输出的特征还可以作为中间层特征，继续输入下一个混合专家模块。

图3示例了另一种结构的人脸特征的提取方法，请参见图3所示，本实施例示例了一个混合专家网络，该混合专家网络中包括多个混合专家模块，例如，混合专家模块P1、混合专家模块P2、混合专家模块P3……直至混合专家模块Pn。其中，本实施例可以将预处理模块23作为混合专家网络中独立于各个混合专家模块的一个处理模块，可以通过该预处理模块23对人脸图片进行特征提取，得到中间层特征，并将该中间层特征输入混合专家模块P1。每个混合专家模块可以包括编码模块、选择处理模块和多个专家子模型，例如，图3中所示的混合专家模块P1可以包括：编码模块24、选择处理模块25以及4个专家子模型，分别为：专家子模型311至专家子模型314。

其他的混合专家模块的结构与混合专家模块P1类似，都可以包括编码模块、选择处理模块和待选择的多个专家子模型，图3中不再详细示出。不过，不同的混合专家模块中包括的专家子模型的数量或模型结构都可以不同。比如，混合专家模块P1中可以包括4个专家子模型，混合专家模块P2中可以包括3个专家子模型，分别为：专家子模型321至专家子模型323。如前述的，图3仅示意出了该混合专家模块P2中包括的多个专家子模型，但该混合专家模块P2中还包括编码模块和选择处理模块，不再示出。

此外，还需要说明的是，图3也仅是一种示例的混合专家网络的结构，实际实施中可以有不同变化，比如，图中的编码模块，可以是如图3所示，分别在每个混合专家模块中都包括如混合专家模块P1那样的编码模块，或者，还可以是将编码模块从各个混合专家模块中独立出来，类似于预处理模块那样，先由编码模块对人脸属性特征进行编码，然后将编码后的人脸属性特征分别输入到各个混合专家模块中，这样各混合专家模块内部就可以不再设置编码模块，而包括选择处理模块和多个专家子模型即可。

其中，在通过混合专家网络执行特征提取处理时，可以对于其中的任一个混合专家模块，都从混合专家模块包括的多个专家子模型中选择至少一个专家子模型作为目标子模型，并通过这些目标子模型进行特征提取。比如，任一混合专家模块在得到中间层特征后，都可以将该中间层特征和人脸属性特征进行融合得到融合特征，再根据融合特征由混合专家模块包括的多个专家子模型中确定出目标子模型。具体的根据融合特征选择目标子模型的方式，可以是图2所示实施例中描述的生成模型选择向量的方式，不再详述。

以其中的混合专家模块P2为例，描述混合专家模块的处理：

首先，该混合专家模块P2可以接收人脸属性特征、以及所述混合专家模块P1输出的第一中间层特征。可以看到，每个混合专家模块的输入都可以是中间层特征以及人脸属性特征。例如，混合专家模块P1是通过其中选定的目标子模型执行特征提取处理后得到的中间层特征，可以称为第一中间层特征。该第一中间层特征可以继续输入至混合专家模块P2。

接着，该混合专家模块P2可以通过其中的编码模块对人脸属性特征进行编码，并将编码后的特征与第一中间层特征进行融合后输入选择处理模块。

然后，混合专家模块P2中的选择处理模块可以生成模型选择向量，该模型选择向量中包括多个选择参数，该选择参数的数量可以与混合专家模块P2中包括的专家子模型的数量相等。例如，假设该选择参数可以是{0.58，0.32，0.1}，并且，根据该模型选择向量，可以选择专家子模型321(与参数0.58对应)和专家子模型322(与参数0.32对应)作为目标子模型。

最后，混合专家模块P2可以通过选中的专家子模型321和322对第一中间层特征进行特征提取处理，比如可以是通过多个conv层进行处理。最后该混合专家模块P2输出的特征可以称为第二中间层特征。

该第二中间层特征可以继续输入人脸识别模型中包括的混合专家模块P3，继续进行特征提取，处理方式同上，不再赘述。当最后混合专家模块Pn处理完之后，该混合专家模块Pn输出的特征就可以作为混合专家网络输出的对应人脸图片21的人脸特征。

如上所述的，混合专家网络中包括了多个混合专家模块，其中任意两个相邻的混合专家模块都可以称为第一混合专家模块和第二混合专家模块。例如，图3中示例的混合专家模块P1可以称为第一混合专家模块，混合专家模块P2可以称为第二混合专家模块。又例如，还可以将混合专家模块P2称为第一混合专家模块，将混合专家模块P3称为第二混合专家模块。等。

此外，混合专家模块P1还有一个特点是，该混合专家模块P1获得的中间层特征是预处理模块输出的，即预处理模块对人脸图片进行特征提取后得到的中间层特征。而诸如混合专家模块P2、混合专家模块P3等其他混合专家模块获得的中间层特征是由上一个混合专家模块输出的，比如，输入混合专家模块P2的中间层特征是由混合专家模块P1输出的。鉴于混合专家模块P1的上述特点，还可以将混合专家模块P1称为第三混合专家模块。

可以这么理解：如果从混合专家模块使用的中间层特征的来源方式看，可以包括“预处理模块输出的中间层特征”和“上一个混合专家模块输出的中间层特征”，可以将具有“预处理模块输出的中间层特征”特点的混合专家模块称为第三混合专家模块。如此，第三混合专家模块通常可以是混合专家网络中的处理时序上的第一个混合专家模块，比如，在图3的示意图中，混合专家模块P1处于混合专家网络的第一个位置。并且，图3示例的结构中包括了多个混合专家模块，实际实施中，混合专家网络中也可以包括一个混合专家模块，比如只包括混合专家模块P1，此时混合专家模块P1得到的中间层特征也是预处理模块输出得到。再者，从另一个角度看，如下处理方式“上一个混合专家模块输出中间层特征，相邻的下一个混合专家模块接收该中间层特征”，那么可以将所述的“上一个混合专家模块”称为第一混合专家模块，将所述的“相邻的下一个混合专家模块”称为第二混合专家模块，这样也是可以的。比如上面举例的，混合专家模块P2称为第一混合专家模块，将混合专家模块P3称为第二混合专家模块。

另外，当所述第二混合专家模块是混合专家网络中的最后一个混合专家模块的情况下，就可以将该第二混合专家模块输出的特征作为所述人脸图片对应的人脸特征。比如，混合专家模块Pn-1称为第一混合专家模块，混合专家模块Pn称为第二混合专家模块，而在图3的示意中，该混合专家模块Pn已经是混合专家网络中的最后一个混合专家模块，所以混合专家模块Pn输出的特征作为所述人脸图片对应的人脸特征。假设第二混合专家模块并不是混合专家网络中的最后一个混合专家模块，则第二混合专家模块输出的特征可以作为中间层特征，继续输入下一个混合专家模块。例如，混合专家模块P2输出的特征可以作为中间层特征，继续输入混合专家模块P3。

本实施例的人脸特征的提取方法，通过根据人脸图片及对应的人脸属性特征，由混合专家网络包括的多个专家子模型中选择至少一个专家子模型进行对人脸图片的特征提取，实现了不仅通过多个专家子模型增大了模型的规模，提升人脸识别模型的识别效果，而且混合专家网络中部分专家子模型的参与，使得减少了计算量，提高了人脸识别的效率。此外，可以根据实际需求确定混合专家模块的数量或者专家子模型的数量，比如，若想要提高识别精度，可以选择较多数量的专家子模型或者设置多个数量的混合专家模块；若想要节省计算资源，可以适当减少混合专家模块的数量。

图4示出了本公开至少一个实施例提供的一种人脸识别模型的训练方法，其中，该人脸识别模型中可以包括混合专家网络，所述的混合专家网络中包括多个专家子模型。例如，混合专家网络中可以包括多个混合专家模块，每个混合专家模块包括多个专家子模型。可以按照如下方法对模型进行训练：

在步骤400中，获取样本人脸图片、所述样本人脸图片的标签以及所述样本人脸图片对应的人脸属性特征。

在步骤402中，将所述样本人脸图片和所述样本人脸图片对应的人脸属性特征输入所述人脸识别模型；由所述人脸识别模型根据所述样本人脸图片和人脸属性特征，从多个专家子模型中选择至少一个专家子模型作为目标子模型。

在步骤404中，通过所述目标子模型执行所述样本人脸图片的特征提取处理，得到所述样本人脸图片的人脸特征。

其中，前述的步骤400至步骤404的处理，可以结合参见人脸特征的提取方法的描述，这里不再赘述。其中，在训练人脸识别模型时使用到的样本人脸图片及其对应的人脸属性特征，可以是预先通过人脸属性模型对样本人脸图片提取得到，并建立样本人脸图片与提取的人脸属性特征的映射关系，后续就可以将“样本人脸图片——人脸属性特征”的映射关系对输入待训练的人脸识别模型。

在步骤406中，根据所述人脸特征对所述样本人脸图片进行识别处理，得到所述样本人脸图片的人脸识别结果。

在步骤408中，基于所述人脸识别结果与所述标签之间的差异，调整所述人脸识别模型的模型参数。

本实施例不限制根据人脸特征所做的识别处理的具体方式，示例性的，可以采用多分类的方式进行训练，预测样本人脸图片对应的类别ID作为人脸识别结果。并根据该样本人脸图片的类别标签值作为标签，基于标签与人脸识别结果之间的差异，调整人脸识别模型的模型参数。例如，可以调整人脸识别模型中的编码模块、选择处理模块和专家子模型的模型参数。

为了实现本公开任一实施例的人脸特征的提取方法，本公开实施例还提供了人脸特征的提取装置。图5示出了本公开至少一个实施例提供的一种人脸特征的提取装置，如图5所示，该装置可以包括：信息获取模块51、模型选择模块52和特征提取模块53。

在一个例子中，所述模型选择模块52，在用于根据所述人脸图片和所述人脸属性特征，由混合专家网络中包括的多个专家子模型中选择至少一个专家子模型作为目标子模型时，包括：对于任一混合专家模块，根据所述人脸图片和所述人脸属性特征，由所述混合专家模块包括的多个专家子模型中选择至少一个专家子模型作为所述目标子模型；所述混合专家网络包括至少一个混合专家模块，每个所述混合专家模块中包括多个专家子模型。

在一个例子中，所述模型选择模块52，在用于根据所述人脸图片和所述人脸属性特征，由所述混合专家模块包括的多个专家子模型中选择至少一个专家子模型作为目标子模型时，包括：将中间层特征和人脸属性特征进行融合，得到融合特征，所述中间层特征是通过对所述人脸图片进行特征提取得到；根据所述融合特征得到模型选择向量，所述模型选择向量中包括N个选择参数，所述N与所述混合专家模块中待选择的所述多个专家子模型的数量相等，且所述选择参数用于表示对应所述选择参数的专家子模型的被选择概率；根据所述模型选择向量中的选择参数，由混合专家模块中待选择的N个专家子模型中确定所述目标子模型。

在一个例子中，所述模型选择模块52，在用于根据所述模型选择向量中的选择参数，由所述混合专家模块中待选择的N个专家子模型中确定所述目标子模型时，包括：由所述混合专家模块中待选择的N个专家子模型中，根据选择参数确定所述被选择概率最大的专家子模型作为所述目标子模型；或者，由所述混合专家模块中待选择的N个专家子模型中，根据选择参数确定所述被选择概率在预设概率范围内的多个专家子模型作为多个目标子模型。

在一个例子中，所述特征提取模块53，在用于通过所述目标子模型执行所述人脸图片的特征提取处理时，包括：对于任一所述混合专家模块，在由所述混合专家模块中选择的所述目标子模型的数量是多个的情况下，将中间层特征分别输入由所述混合专家模块中确定的所述多个目标子模型，得到各目标子模型分别输出的子模型特征；所述中间层特征是通过对所述人脸图片进行特征提取得到；将各目标子模型输出的子模型特征进行加权融合，得到所述混合专家模块输出的特征。

在一个例子中，模型选择模块52，在用于由混合专家网络中包括的多个专家子模型中选择至少一个专家子模型作为目标子模型时，包括：对于所述混合专家网络中包括的第一混合专家模块和第二混合专家模块中的任一个，由所述第一混合专家模块或第二混合专家模块中包括的多个专家子模型中选择至少一个专家子模型作为目标子模型。

特征提取模块53，在用于通过所述目标子模型执行所述人脸图片的特征提取处理，得到所述人脸图片对应的人脸特征时，包括：将通过所述第一混合专家模块中的所述目标子模型执行所述特征提取处理后得到的特征作为中间层特征，输入所述第二混合专家模块；通过所述第二混合专家模块中的目标子模型对所述中间层特征执行所述特征提取处理，在所述第二混合专家模块是混合专家网络中的最后一个混合专家模块的情况下，将所述第二混合专家模块输出的特征作为所述人脸图片对应的人脸特征。

本公开实施例还提供了人脸识别模型的训练装置。图6示出了本公开至少一个实施例提供的一种人脸识别模型的训练装置，所述人脸识别模型包括混合专家网络，所述混合专家网络中包括多个专家子模型。如图6所示，该装置可以包括：特征获取模块61、选择处理模块62、提取处理模块63、识别处理模块64和参数调整模块65。

特征获取模块61，用于获取样本人脸图片、所述样本人脸图片的标签以及所述样本人脸图片对应的人脸属性特征。

选择处理模块62，用于将所述样本人脸图片和所述样本人脸图片对应的人脸属性特征输入所述人脸识别模型；由所述人脸识别模型根据所述样本人脸图片和人脸属性特征，从所述多个专家子模型中选择至少一个专家子模型作为目标子模型。

提取处理模块63，用于通过所述目标子模型执行所述样本人脸图片的特征提取处理，得到所述样本人脸图片的人脸特征。

识别处理模块64，用于根据所述人脸特征对所述样本人脸图片进行识别处理，得到所述样本人脸图片的人脸识别结果。

参数调整模块65，用于基于所述人脸识别结果与所述标签之间的差异，调整所述人脸识别模型的模型参数。

在一个例子中，所述人脸属性特征包括如下至少一部分信息：所述样本人脸图片中的人脸对应的人物性别、人物年龄、人物是否戴口罩、人物所属的人种、人脸拍摄角度和人脸图片质量。

本公开还提供了一种电子设备，所述设备包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现本公开任一实施例的方法。

本公开还提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本公开任一实施例所述的方法。

本领域技术人员应明白，本公开一个或多个实施例可提供为方法、系统或计算机程序产品。因此，本公开一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本公开一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本公开实施例还提供一种计算机可读存储介质，该存储介质上可以存储有计算机程序，所述程序被处理器执行时实现本公开任一实施例描述的方法的步骤，和/或，实现本公开任一实施例描述的方法的步骤。其中，所述的“和/或”表示至少具有两者中的其中一个，例如，“多和/或B”包括三种方案：多、B、以及“多和B”。

本公开中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于数据处理设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

上述对本公开特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的行为或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本公开中描述的主题及功能操作的实施例可以在以下中实现：数字电子电路、有形体现的计算机软件或固件、包括本公开中公开的结构及其结构性等同物的计算机硬件、或者它们中的一个或多个的组合。本公开中描述的主题的实施例可以实现为一个或多个计算机程序，即编码在有形非暂时性程序载体上以被数据处理装置执行或控制数据处理装置的操作的计算机程序指令中的一个或多个模块。可替代地或附加地，程序指令可以被编码在人工生成的传播信号上，例如机器生成的电、光或电磁信号，该信号被生成以将信息编码并传输到合适的接收机装置以由数据处理装置执行。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备、或它们中的一个或多个的组合。

本公开中描述的处理及逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行，以通过根据输入数据进行操作并生成输出来执行相应的功能。所述处理及逻辑流程还可以由专用逻辑电路—例如FPG多(现场可编程门阵列)或多SIC(专用集成电路)来执行，并且装置也可以实现为专用逻辑电路。

适合用于执行计算机程序的计算机包括，例如通用和/或专用微处理器，或任何其他类型的中央处理单元。通常，中央处理单元将从只读存储器和/或随机存取存储器接收指令和数据。计算机的基本组件包括用于实施或执行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘等，或者计算机将可操作地与此大容量存储设备耦接以从其接收数据或向其传送数据，抑或两种情况兼而有之。然而，计算机不是必须具有这样的设备。此外，计算机可以嵌入在另一设备中，例如移动电话、个人数字助理(PD多)、移动音频或视频播放器、游戏操纵台、全球定位系统(GPS)接收机、或例如通用串行总线(USB)闪存驱动器的便携式存储设备，仅举几例。

适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、媒介和存储器设备，例如包括半导体存储器设备(例如EPROM、EEPROM和闪存设备)、磁盘(例如内部硬盘或可移动盘)、磁光盘以及CD ROM和DVD-ROM盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。

虽然本公开包含许多具体实施细节，但是这些不应被解释为限制任何公开的范围或所要求保护的范围，而是主要用于描述特定公开的具体实施例的特征。本公开内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。

类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中均需要这样的分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中，或者封装成多个软件产品。

由此，主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下，权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外，附图中描绘的处理并非必需所示的特定顺序或顺次顺序，以实现期望的结果。在某些实现中，多任务和并行处理可能是有利的。

以上所述仅为本公开一个或多个实施例的较佳实施例而已，并不用以限制本公开一个或多个实施例，凡在本公开一个或多个实施例的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开一个或多个实施例保护的范围之内。

Claims (15)

1.一种人脸特征的提取方法，其特征在于，所述方法包括：

获取待识别的人脸图片、以及所述人脸图片对应的人脸属性特征；

根据所述人脸图片和所述人脸属性特征，由混合专家网络中包括的多个专家子模型中选择至少一个专家子模型作为目标子模型；

通过所述目标子模型执行所述人脸图片的特征提取处理，得到所述人脸图片对应的人脸特征。

2.根据权利要求1所述的方法，其特征在于，所述混合专家网络包括至少一个混合专家模块，每个所述混合专家模块中包括多个专家子模型；

所述根据所述人脸图片和所述人脸属性特征，由混合专家网络中包括的多个专家子模型中选择至少一个专家子模型作为目标子模型，包括：对于任一所述混合专家模块，根据所述人脸图片和所述人脸属性特征，由所述混合专家模块包括的多个专家子模型中选择至少一个专家子模型作为所述目标子模型。

3.根据权利要求2所述的方法，其特征在于，所述根据所述人脸图片和所述人脸属性特征，由所述混合专家模块包括的多个专家子模型中选择至少一个专家子模型作为目标子模型，包括：

将中间层特征和人脸属性特征进行融合，得到融合特征，所述中间层特征是通过对所述人脸图片进行特征提取得到；

根据所述融合特征得到模型选择向量，所述模型选择向量中包括N个选择参数，所述N与所述混合专家模块中待选择的所述多个专家子模型的数量相等，且所述选择参数用于表示对应所述选择参数的专家子模型的被选择概率；

根据所述模型选择向量中的选择参数，由所述混合专家模块中待选择的N个专家子模型中确定所述目标子模型。

4.根据权利要求3所述的方法，其特征在于，所述根据所述模型选择向量中的选择参数，由所述混合专家模块中待选择的N个专家子模型中确定所述目标子模型，包括：

由所述混合专家模块中待选择的N个专家子模型中，根据选择参数确定所述被选择概率最大的专家子模型作为所述目标子模型。

5.根据权利要求3所述的方法，其特征在于，所述根据所述模型选择向量中的选择参数，由所述混合专家模块中待选择的N个专家子模型中确定所述目标子模型，包括：

由所述混合专家模块中待选择的N个专家子模型中，根据选择参数确定所述被选择概率在预设概率范围内的多个专家子模型作为多个目标子模型。

6.根据权利要求2所述的方法，其特征在于，对于任一所述混合专家模块，在由所述混合专家模块中选择的所述目标子模型的数量是多个的情况下，所述通过所述目标子模型执行所述人脸图片的特征提取处理，包括：

对于任一所述混合专家模块，将中间层特征分别输入由所述混合专家模块中确定的所述多个目标子模型，得到各目标子模型分别输出的子模型特征；所述中间层特征是通过对所述人脸图片进行特征提取得到；

将各目标子模型输出的子模型特征进行加权融合，得到所述混合专家模块输出的特征。

7.根据权利要求1所述的方法，其特征在于，所述混合专家网络包括：第一混合专家模块和第二混合专家模块，所述第一混合专家模块和第二混合专家模块分别包括多个专家子模型；

所述由混合专家网络中包括的多个专家子模型中选择至少一个专家子模型作为目标子模型，包括：对于所述第一混合专家模块和第二混合专家模块中的任一个，由所述多个专家子模型中选择至少一个专家子模型作为目标子模型；

所述通过所述目标子模型执行所述人脸图片的特征提取处理，得到所述人脸图片对应的人脸特征，包括：将通过所述第一混合专家模块中的所述目标子模型执行所述特征提取处理后得到的特征作为中间层特征，输入所述第二混合专家模块；通过所述第二混合专家模块中的目标子模型对所述中间层特征执行所述特征提取处理；在所述第二混合专家模块是混合专家网络中的最后一个混合专家模块的情况下，将所述第二混合专家模块输出的特征作为所述人脸图片对应的人脸特征。

8.根据权利要求1所述的方法，其特征在于，所述混合专家网络包括：第三混合专家模块；所述第三混合专家模块中包括多个专家子模型；

所述根据所述人脸图片和所述人脸属性特征，由混合专家网络中包括的多个专家子模型中选择至少一个专家子模型作为目标子模型，包括：

通过所述混合专家网络中的预处理模块对所述人脸图片进行特征提取，得到中间层特征；

将所述中间层特征和人脸属性特征进行融合，得到融合特征；

根据所述融合特征，由所述第三混合专家模块包括的所述多个专家子模型中确定所述目标子模型。

9.根据权利要求1所述的方法，其特征在于，

所述人脸属性特征包括如下至少一部分信息：

所述人脸图片中的人脸对应的人物性别、人物年龄、人物是否戴口罩、人物所属的人种、人脸拍摄角度和人脸图片质量。

10.一种人脸识别模型的训练方法，其特征在于，所述人脸识别模型包括混合专家网络，所述混合专家网络中包括多个专家子模型；所述方法包括：

获取样本人脸图片、所述样本人脸图片的标签以及所述样本人脸图片对应的人脸属性特征；

将所述样本人脸图片和所述样本人脸图片对应的人脸属性特征输入所述人脸识别模型；由所述人脸识别模型根据所述样本人脸图片和所述人脸属性特征，从所述多个专家子模型中选择至少一个专家子模型作为目标子模型，通过所述目标子模型执行所述样本人脸图片的特征提取处理，得到所述样本人脸图片的人脸特征，根据所述人脸特征对所述样本人脸图片进行识别处理，得到所述样本人脸图片的人脸识别结果；

基于所述人脸识别结果与所述标签之间的差异，调整所述人脸识别模型的模型参数。

11.根据权利要求10所述的方法，其特征在于，

所述人脸属性特征包括如下至少一部分信息：

所述样本人脸图片中的人脸对应的人物性别、人物年龄、人物是否戴口罩、人物所属的人种、人脸拍摄角度和人脸图片质量。

12.一种人脸特征的提取装置，其特征在于，所述装置包括：

信息获取模块，用于获取待识别的人脸图片、以及所述人脸图片对应的人脸属性特征；

模型选择模块，用于根据所述人脸图片和所述人脸属性特征，由混合专家网络中包括的多个专家子模型中选择至少一个专家子模型作为目标子模型；

特征提取模块，用于通过所述目标子模型执行所述人脸图片的特征提取处理，得到所述人脸图片对应的人脸特征。

13.一种人脸识别模型的训练装置，其特征在于，所述人脸识别模型包括混合专家网络，所述混合专家网络中包括多个专家子模型；所述装置包括：

特征获取模块，用于获取样本人脸图片、所述样本人脸图片的标签以及所述样本人脸图片对应的人脸属性特征；

选择处理模块，用于将所述样本人脸图片和所述样本人脸图片对应的人脸属性特征输入所述人脸识别模型；由所述人脸识别模型根据所述样本人脸图片和人脸属性特征，从所述多个专家子模型中选择至少一个专家子模型作为目标子模型；

提取处理模块，用于通过所述目标子模型执行所述样本人脸图片的特征提取处理，得到所述样本人脸图片的人脸特征；

识别处理模块，用于根据所述人脸特征对所述样本人脸图片进行识别处理，得到所述样本人脸图片的人脸识别结果；

参数调整模块，用于基于所述人脸识别结果与所述标签之间的差异，调整所述人脸识别模型的模型参数。

14.一种电子设备，其特征在于，所述设备包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现权利要求1至11任一所述的方法。

15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1至11任一所述的方法。

Images