CN112052792B - 一种跨模型人脸识别方法、装置、设备及介质 - Google Patents

Abstract

本发明提供的一种跨模型人脸识别方法、装置、设备及介质，获取两个不同的人脸识别模型，将其中一个人脸识别模型确定为源模型，另一个人脸识别模型确定为目标模型；然后通过源模型和目标模型分别从待识别的不同人脸图像中提取人脸特征；获取与源模型对应的人脸特征，标记为源特征；以及获取与目标模型对应的人脸特征，标记为目标特征；通过特征转化系统对源特征进行转化，获取转化特征；将转化特征与目标特征直接进行比对，进行跨模型人脸识别。本发明可以有效地解决了原先不同人脸识别模型之间无法直接进行跨模型识别的问题。本发明只需较小的计算资源开销即可实现快速高效的特征转化，大大地提高了基于特征转化系统的跨模型人脸识别的应用价值。

Description

一种跨模型人脸识别方法、装置、设备及介质

技术领域

本发明涉及人脸识别技术领域，特别是涉及一种跨模型人脸识别方法、装置、设备及介质。

背景技术

目前，人脸识别技术主要通过人脸识别模型从人脸图像中提取特征，然后对不同图像的特征进行比对，从而实现人脸识别。一般情况下，只有经同一模型提取的特征之间才能进行比对，不同模型之间的特征是不能直接进行比对的，所以目前的人脸识别算法无法进行跨模型人脸识别。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种跨模型人脸识别方法、装置、设备及介质，用于解决现有技术中存在的技术问题。

为实现上述目的及其他相关目的，本发明提供一种跨模型人脸识别方法，包括以下步骤：

获取两个不同的人脸识别模型，将其中一个人脸识别模型确定为源模型，另一个人脸识别模型确定为目标模型；

通过所述源模型和所述目标模型分别从待识别的不同人脸图像中提取人脸特征；获取与所述源模型对应的人脸特征，标记为源特征；以及获取与所述目标模型对应的人脸特征，标记为目标特征；

通过特征转化系统对所述源特征进行转化，获取转化特征；

将所述转化特征与所述目标特征直接进行比对，进行跨模型人脸识别。

可选地，通过所述特征转化系统从所述源特征中分别提取粗粒度特征和细粒度特征，并将所述粗粒度特征和所述细粒度特征进行融合，生成转化特征。

可选地，通过所述特征转化系统中的特征翻译模块从所述源特征中提取粗粒度特征。

可选地，所述特征翻译模块至少包括有线性变换单元、激活函数单元；将所述源特征作为输入，通过所述线性变换单元和激活函数单元生成粗粒度特征。

可选地，通过所述特征转化系统从所述源特征中提取细粒度特征，包括：

通过上采样将所述源特征编码映射为多通道的二维人脸特征图；

对所述二维人脸特征图进行降采样，并提升所述二维人脸特征图的通道数；

通过多个独立的神经网络从提升通道数后的二维人脸特征图的局部区域和全局区域中分别提取不同特征，并根据提取的不同特征融合生成细粒度特征。

可选地，所述特征转化系统包括编码模块；所述编码模块用于通过上采样将所述源特征编码映射为多通道的二维人脸特征图；其中，所述编码模块至少包括全连接单元、矩阵变换单元、上采样单元。

可选地，所述特征转化系统还包括解码模块；所述解码模块用于对所述二维人脸特征图进行降采样，并提升所述二维人脸特征图的通道数；其中，所述解码模块至少包括有：卷积单元。

可选地，所述特征转化系统还包括多分支模块；所述多分支模块用于通过多个独立的神经网络从提升通道数后的二维人脸特征图的局部区域和全局区域中分别提取不同特征，并根据提取的不同特征融合生成细粒度特征；其中，所述多分支模块至少包括：融合单元、线性变换单元。

可选地，所述局部区域包括以下至少之一：上半脸、下半脸、左眼、右眼、鼻子、嘴巴。

可选地，在通过所述特征转化系统对所述源特征进行转化前，还包括训练所述特征转化系统；

确定损失函数，根据所述损失函数计算所述转化特征与所述目标特征的损失值；

通过反向传播算法计算与所述损失值对应的更新值；

根据所述更新值更新所述特征转化系统的训练参数，并根据更新后的训练参数对所述特征转化系统进行训练；

若所述目标特征与所述转化特征的相似度达到最大化时，完成对所述特征转化系统的训练。

可选地，还包括通过人脸检测算法对人脸图像进行检测，获取人脸区域以及人脸关键点信息；并通过人脸对齐算法将人脸区域中的五官对齐至固定区域，放缩人脸至固定尺寸。

本发明还提供一种跨模型人脸识别装置，包括有：

模型提取模块，用于获取两个不同的人脸识别模型，并将其中一个人脸识别模型确定为源模型，另一个人脸识别模型确定为目标模型；

特征提取模块，用于通过所述源模型和所述目标模型分别从待识别的不同人脸图像中提取人脸特征；获取与所述源模型对应的人脸特征，标记为源特征；以及获取与所述目标模型对应的人脸特征，标记为目标特征；

特征转化模块，用于通过特征转化系统对所述源特征进行转化，获取转化特征；

人脸识别模块，用于将所述转化特征与所述目标特征直接进行比对，进行跨模型人脸识别。

可选地，通过所述特征转化系统从所述源特征中分别提取粗粒度特征和细粒度特征，并将所述粗粒度特征和所述细粒度特征进行融合，生成转化特征。

可选地，所述特征转化系统包括有特征翻译模块，所述特征翻译模块用于从所述源特征中提取粗粒度特征。

可选地，所述特征转化系统还包括编码模块、解码模块和多分支模块；其中，

所述编码模块用于通过上采样将所述源特征编码映射为多通道的二维人脸特征图；

所述解码模块用于对所述二维人脸特征图进行降采样，并提升所述二维人脸特征图的通道数；

所述多分支模块用于通过多个独立的神经网络从提升通道数后的二维人脸特征图的局部区域和全局区域中分别提取不同特征，并根据提取的不同特征融合生成细粒度特征。

可选地，在通过所述特征转化系统对所述源特征进行转化前，还包括训练所述特征转化系统；

确定损失函数，根据所述损失函数计算所述转化特征与所述目标特征的损失值；

通过反向传播算法计算与所述损失值对应的更新值；

根据所述更新值更新所述特征转化系统的训练参数，并根据更新后的训练参数对所述特征转化系统进行训练；

若所述目标特征与所述转化特征的相似度达到最大化时，完成对所述特征转化系统的训练。

可选地，还包括预处理模块，所述预处理模块用于通过人脸检测算法对人脸图像进行检测，获取人脸区域以及人脸关键点信息；以及用于通过人脸对齐算法将人脸区域中的五官对齐至固定区域，放缩人脸至固定尺寸。

本发明还提供一种跨模型人脸识别设备，包括有：

获取两个不同的人脸识别模型，将其中一个人脸识别模型确定为源模型，另一个人脸识别模型确定为目标模型；

通过所述源模型和所述目标模型分别从待识别的不同人脸图像中提取人脸特征；获取与所述源模型对应的人脸特征，标记为源特征；以及获取与所述目标模型对应的人脸特征，标记为目标特征；

通过特征转化系统对所述源特征进行转化，获取转化特征；

将所述转化特征与所述目标特征直接进行比对，进行跨模型人脸识别。

本发明还提供一种设备，包括：

一个或多个处理器；和

存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行所述指令时，使得所述设备执行如上述中任意一项所述的方法。

本发明还提供一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行所述指令时，使得设备执行如上述中任意一项所述的方法。

如上所述，本发明提供的一种跨模型人脸识别方法、装置、设备及介质，具有以下有益效果：通过获取两个不同的人脸识别模型，将其中一个人脸识别模型确定为源模型，另一个人脸识别模型确定为目标模型；然后通过源模型和目标模型分别从待识别的不同人脸图像中提取人脸特征；获取与源模型对应的人脸特征，标记为源特征；以及获取与目标模型对应的人脸特征，标记为目标特征；通过特征转化系统对源特征进行转化，获取转化特征；将转化特征与目标特征直接进行比对，进行跨模型人脸识别。本发明通过两个不同的人脸识别模型来获取人脸特征，并将其中一个人脸识别模型获取到的人脸特征通过特征转化系统进行转化，得到转化特征，再将转化特征与另一个人脸识别模型获取到的人脸特征进行比对，实现跨模型人脸识别，从而有效地解决了原先不同人脸识别模型之间无法直接进行跨模型识别的问题。同时，本发明只需较小的计算资源开销即可实现快速高效的特征转化，大大地提高了基于特征转化系统的跨模型人脸识别的应用价值。而且特征转化系统能够进行端到端训练，易于快速部署；整个网络参数量和计算量较小，能够以较小的计算资源开销实现快速高效的特征转化。

附图说明

图1为一实施例提供的跨模型人脸识别方法的流程示意图；

图2为一实施例提供的跨模型人脸识别过程示意图；

图3为一实施例提供的特征转化系统的工作流程示意图；

图4为一实施例提供的特征翻译模块的工作流程示意图；

图5为一实施例提供的编码模块的工作流程示意图；

图6为一实施例提供的解码模块的工作流程示意图；

图7为一实施例提供的多分支模块的工作流程示意图；

图8为一实施例提供的局部区域划分的示意图；

图9为一实施例提供的跨模型人脸识别装置的硬件结构示意图；

图10为一实施例提供的终端设备的硬件结构示意图；

图11为另一实施例提供的终端设备的硬件结构示意图。

元件标号说明

M10 模型提取模块

M20 特征提取模块

M30 特征转化模块

M40 人脸识别模块

1100 输入设备

1101 第一处理器

1102 输出设备

1103 第一存储器

1104 通信总线

1200 处理组件

1201 第二处理器

1202 第二存储器

1203 通信组件

1204 电源组件

1205 多媒体组件

1206 语音组件

1207 输入/输出接口

1208 传感器组件

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

发明人研究发现，在很多安防行业中(例如公安行业)，由于不同地区的人脸识别模型不同，导致不同地区的人脸识别模型之间不能兼容；同时，在某些地区，位于同一地区的不同人脸识别模型之间也不能兼容，从而在进行人脸识别时，无法直接进行跨模型人脸识别，降低了公安行业在跨地区办案时的工作效率。并且，在对人脸识别模型进行升级时，由于新旧模型之间无法直接进行跨模型人脸识别，因此必须在新模型将底库中的人脸图像重新提取完特征之后，才能部署新模型。该过程所需的时间和计算资源随着底库规模增长而增加，严重影响了大规模人脸识别系统的升级成本和体验。

因此，本发明提供一种跨模型人脸识别方法，请参阅图1和图2所示，包括以下步骤：

S100，获取两个不同的人脸识别模型，将其中一个人脸识别模型确定为源模型，另一个人脸识别模型确定为目标模型；

S200，通过源模型和目标模型分别从待识别的不同人脸图像中提取人脸特征；获取与源模型对应的人脸特征，标记为源特征；以及获取与目标模型对应的人脸特征，标记为目标特征；

S300，通过特征转化系统对源特征进行转化，获取转化特征；

S400，将转化特征与目标特征直接进行比对，进行跨模型人脸识别。

本方法通过两个不同的人脸识别模型来获取人脸特征，并将其中一个人脸识别模型获取到的人脸特征通过特征转化系统进行转化，得到转化特征，再将转化特征与另一个人脸识别模型获取到的人脸特征进行比对，实现跨模型人脸识别，从而有效地解决了原先不同人脸识别模型之间无法直接进行跨模型识别的问题。同时，本方法设计的特征转化系统只需较小的计算资源开销即可实现快速高效的特征转化，大大地提高了基于特征转化系统的跨模型人脸识别的应用价值。而且特征转化系统能够进行端到端训练，易于快速部署；整个网络参数量和计算量较小，能够以较小的计算资源开销实现快速高效的特征转化。其中，跨模型人脸识别，是指利用不同的人脸识别模型从人脸图像中提取特征，然后直接对来自不同人脸识别模型的人脸特征进行比对。本发明中，特征转化，是指通过算法将一个模型从某张人脸图像上提取的特征，转化为另一个模型在该图像上提取的特征。其中的模型可以是人脸识别模型、人体识别模型；特征可以是人脸特征、人体特征。源模型与目标模型：代表两种不同的模型，二者是相对概念。在本发明中，源模型提取的人脸特征需要经过特征转化系统之后，才能与目标模型提取的人脸特征进行比对。源特征，代表源模型提取的人脸特征；目标特征：代表目标模型提取的人脸特征。

根据上述记载，对于不同地区的人脸识别模型而言，通过本发明记载的跨模型人脸识别方法，首先获取两个地区的人脸识别模型，然后将其中一个地区的人脸识别模型作为源模型，以及将另外一个地区的人脸识别模型作为目标模型；利用特征转化系统对源模型提取到的人脸特征进行转化，得到转化特征，再把转化特征和目标模型提取的人脸特征直接进行比对，从而能够在两个不同的人脸识别模型中进行跨模型人脸识别。如果将本发明记载的跨模型人脸识别方法应用在公安行业，则可以提高公安行业在跨地区办案时的工作效率；有效地解决了原先不同地区的人脸识别模型之间无法直接进行跨模型人脸识别的问题。

对于同一地区中的不同人脸识别模型而言(例如需要进行在线升级的新旧人脸识别模型)，通过本发明记载的跨模型人脸识别方法，首先获取旧的人脸识别模型和新的人脸识别模型，将旧的人脸识别模型作为源模型以及将新的人脸识别模型作为目标模型，利用特征转化系统对源模型提取到的人脸特征进行转化，得到转化特征，再把转化特征和目标模型提取的人脸特征直接进行比对，从而能够在两个不同的人脸识别模型中进行跨模型人脸识别。同时，也可以将获取到的新的人脸识别模型作为源模型，将旧的人脸识别模型作为目标模型，从而使旧的人脸识别模型能够兼容新的人脸识别模型。所以，通过本发明记载的跨模型人脸识别方法，在对人脸识别模型进行升级时，能够在新旧人脸识别模型之间直接进行跨模型人脸识别，能够节约部署新的人脸识别模型的时间，减少其计算资源的使用，不仅能够降低升级成本，还能够增加用户的体验。

在一示例性实施例中，如图3所示，通过特征转化系统从源特征中分别提取粗粒度特征和细粒度特征，并将粗粒度特征和细粒度特征进行融合，生成转化特征。本方法通过特征转化系统实现了跨模型人脸识别；同时，通过特征转化系统的轻量级网络结构设计，减小了计算资源开销，提升了特征转化的速度。而且特征转化系统能够进行端到端训练，易于快速部署，整个网络参数量和计算量较小，能够以较小的计算资源开销实现快速高效的特征转化。其中，特征转化系统包括特征翻译模块；特征翻译模块可以用于从源特征中提取粗粒度特征。特征翻译模块的工作流程如图4所示，特征翻译模块至少包括有线性变换单元、激活函数单元；线性变换单元可以提供线性变换Linear Transform操作，激活函数单元可以提供激活函数Activation操作；将源特征作为输入，通过线性变换Linear Transform和激活函数Activation快速生成粗粒度人脸特征。其中，线性变换Linear Transform和激活函数Activation可以基于神经网络实现。特征转化系统还包括编码模块、解码模块和多分支模块；其中，编码模块用于通过上采样将源特征编码映射为多通道的二维人脸特征图；所述编码模块至少包括全连接单元、矩阵变换单元、上采样单元；全连接单元可以提供全连接Fully Connect操作，矩阵变换单元可以提供矩阵变换Reshape操作，上采样单元可以提供多个上采样操作，例如Upsample1、Upsample2、Upsample3操作。解码模块用于对二维人脸特征图进行降采样，并提升二维人脸特征图的通道数；解码模块至少包括有：卷积单元；卷积单元可以提供卷积等操作。多分支模块用于通过多个独立的神经网络从提升通道数后的二维人脸特征图的局部区域和全局区域中分别提取不同特征，并根据提取的不同特征融合生成细粒度特征。其中，多分支模块至少包括：融合单元、线性变换单元；融合单元可以提供融合Fusion操作，线性变换单元可以提供线性变换Linear Transform操作。

具体地，如图5所示，编码模块通过上采样操作将人脸特征编码映射为二维多通道人脸特征图，实现非结构化的一维向量到二维人脸特征图的转化。其中，特征转化系统通过编码模块学习特征向量到特征图的转化，并输出多通道人脸特征图。编码模块的工作流程如图5所示，可以通过全连接、反卷积等操作组成的卷积神经网络实现特征向量到特征图的上采样编码过程。本申请实施例还可以通过线性插值、Pixel Shuffle、全连接层等操作实现上采样。如图6所示，解码模块通过卷积层等操作对二维特征图进行降采样，同时提升特征图的通道数，增强模型表达能力。其中，特征转化系统通过解码模块将编码模块生成的人脸特征图进行解码，得到通道更丰富的小尺寸人脸特征图，解码模块的工作流程如图6所示。如图7所示，多分支模块通过多个独立的网络分支对提升通道数后的二维人脸特征图上多个局部区域和全局区域分别提取不同的特征信息，并融合生成细粒度特征信息。其中，特征转化系统通过多分支模块从解码模块输出的人脸特征图中提取出细粒度特征。多分支模块的工作流程如图7所示。该模块对输入的人脸特征图根据先验知识进行区域划分，如图8所示，通过人脸位置先验知识在神经网络的浅层特征图中对人脸空间信息进行划分，细分为上半脸、下半脸、左眼、右眼、鼻子、嘴巴6个局部区域，得到多个局部区域的特征图，不同局部区域的特征图分别由各自的网络分支提取特征，然后进行融合，最后通过线性变换得到细粒度人脸特征。最后，特征转化系统融合上述粗粒度特征与细粒度特征，生成转化特征。本申请实施例中的粗粒度和细粒度是从对象的观察分析角度来讲的，粗粒度更关注对象的全局整体信息，而细粒度更关注对象的局部细节信息。本申请实施例中，特征转化系统还可以只使用特征翻译模块生成转化特征，或编码-解码-多分支支路生成转化特征。本申请实施例中，特征翻译是指使用线性变换学习拟合源特征到目标特征的映射关系，从而将源特征转化为目标特征。

在一示例性实施例中，通过特征转化系统对源特征进行转化前，还包括训练特征转化系统；则有：确定损失函数，根据损失函数计算转化特征与目标特征的损失值；通过反向传播算法计算与损失值对应的更新值；根据更新值更新特征转化系统的训练参数，并根据更新后的训练参数对特征转化系统进行训练；若目标特征与转化特征的相似度达到最大化时，完成对特征转化系统的训练。在特征转化系统的训练学习阶段，通过计算转化特征与目标特征之间的相似度损失来监督特征转化过程，使特征转化系统的输出与目标特征具有更高的相似度，进而提高跨模型人脸识别精度。本申请实施例通过监督转化特征与目标特征之间的相似度损失，实现转化特征与目标特征的相似度最大化，从而完成特征转化学习。

在一些示例性实施例中，还包括通过人脸检测算法对人脸图像进行检测，获取人脸区域以及人脸关键点信息；并通过人脸对齐算法将人脸区域中的五官对齐至固定区域，放缩人脸至固定尺寸。作为示例，例如在获得人脸区域、人脸的关键点信息后，通过对齐算法将人脸区域中的五官对齐至固定区域，放缩人脸至固定尺寸(例如128px×128px的尺寸或128×128的尺寸)。

根据上述记载，在一具体示例中，首先进行人脸识别的准备工作，包括人脸检测，关键点检测，人脸对齐等预处理操作；例如通过预处理操作将人脸图像放缩至128×128的尺寸。然后获取两个不同的人脸识别模型A和人脸识别模型B，将其中的人脸识别模型A作为源模型，人脸识别模型B作为目标模型。如图2所示，再通过源模型、目标模型分别从128×128尺寸的不同人脸图像中提取人脸特征，并将源模型提取的512维(512d)的人脸特征记为源特征，以及将目标模型提取的512维(512d)的人脸特征记为目标特征。再将512d的源特征输入至特征转化系统中进行转化，输出512d的转化特征；然后将512d的转化特征和512d的目标特征直接进行特征比对，实现跨模型人脸识别，即实现两个不同的人脸识别模型A和人脸识别模型B之间的人脸识别。其中，特征转化系统将512d的源特征转化为512d的转化特征的具体过程如图3至图7所示。图4所示，向特征转化系统输入512d的源特征，通过特征转化系统中的特征翻译模块对输入512d的源特征进行线性变换Linear Transform，并通过激活函数Activation进行处理，生成512d的粗粒度特征。如图5所示，向特征转化系统输入512d的源特征，通过编码模块中的全连接层Fully Connect进行处理，然后再通过矩阵变换Reshape生成4×4的人脸特征图；再对4×4的人脸特征图进行上采样Upsample1，生成7×7的人脸特征图；再对7×7的人脸特征图进行上采样Upsample2，生成14×14的人脸特征图；再对14×14的人脸特征图进行上采样Upsample3，生成28×28的人脸特征图；再对28×28的人脸特征图进行上采样Upsample4，生成56×56的人脸特征图。其中，56×56的人脸特征图为二维多通道人脸特征图。如图6所示，通过解码模块对56×56的人脸特征图进行解码，通过多个阶段的处理将56×56的人脸特征图降采样为14×14的人脸特征图。如图7和图8所示，对于解码模块输出的14×14的人脸特征图，通过人脸位置先验知识先对14×14的人脸特征图在人脸空间信息进行划分，细分为上半脸、下半脸、左眼、右眼、鼻子、嘴巴6个局部区域，得到多个局部区域的特征图；即得到上半脸6×14的特征图、下半脸6×14的特征图、左眼6×6的特征图、右眼6×6的特征图、鼻子6×6的特征图、嘴巴2×8的特征图。然后对全局区域14×14的特征图和这6个局部区域的特征图进行融合Fusion，生成7×7的人脸特征图，并对7×7的人脸特征图进行线性变换Linear Transform，生成512d的细粒度特征。如图3所示，再将512d的粗粒度特征和512d的细粒度特征进行特征融合，生成512d的转化特征。最后将512d的转化特征和512d的目标特征进行直接比对，实现跨模型人脸识别。在训练特征转化系统时，还通过监督转化特征与目标特征之间的相似度损失，实现转化特征与目标特征的相似度最大化，从而完成特征转化学习。本申请实施例中，输入至特征转化系统中的人脸特征维度和输出的转化特征维度并无严格限制，本申请中只是选择二者均为512维，实际上也可以是其他维度。例如输入256维的人脸特征、输出256维的人脸特征；输入512维的人脸特征和输出256维的人脸特征等。

本发明提供一种跨模型人脸识别方法，通过获取两个不同的人脸识别模型，将其中一个人脸识别模型确定为源模型，另一个人脸识别模型确定为目标模型；然后通过源模型和目标模型分别从待识别的不同人脸图像中提取人脸特征；获取与源模型对应的人脸特征，标记为源特征；以及获取与目标模型对应的人脸特征，标记为目标特征；通过特征转化系统对源特征进行转化，获取转化特征；将转化特征与目标特征直接进行比对，进行跨模型人脸识别。本发明通过两个不同的人脸识别模型来获取人脸特征，并将其中一个人脸识别模型获取到的人脸特征通过特征转化系统进行转化，得到转化特征，再将转化特征与另一个人脸识别模型获取到的人脸特征进行比对，实现跨模型人脸识别，从而有效地解决了原先不同人脸识别模型之间无法直接进行跨模型识别的问题。本方法采用特征翻译与编码-解码-多分支相结合的方式，融合了不同粒度人脸特征信息，显著改善了特征转化效果，最终实现了较高的跨模型人脸识别精度。同时，本发明只需较小的计算资源开销即可实现快速高效的特征转化，大大地提高了基于特征转化系统的跨模型人脸识别的应用价值。而且特征转化系统能够进行端到端训练，易于快速部署；整个网络参数量和计算量较小，能够以较小的计算资源开销实现快速高效的特征转化。而且，本方法利用特征翻译实现了快速的粗粒度特征提取，结合编码-解码-多分支提取了丰富的细粒度特征，最终实现了准确度高、计算负担小、速度快的特征转化和跨模型人脸识别。并且，本方法与现有研究思路1相比，本方法中的训练过程没有人脸重建步骤，因此训练更高效，同时结合轻量级网络架构设计，本方法中的跨模型人脸识别效果更优，在速度和精度上都更具优势。与现有研究思路2相比，本方法在解决跨模型识别问题时，无需重新训练人脸识别模型，不会影响新模型的性能。其中，现有研究思路1，即先根据人脸特征重建出人脸图像，然后对人脸图像提取特征的研究思路；其在训练时需加入人脸图像进行监督，同时对人脸重建网络采用对抗学习的训练方式。现有研究思路2，即在新模型的训练过程增加兼容性训练阶段，改变新模型，实现新模型兼容旧模型的特征的研究思路。

如图2至9所示，本发明还提供一种跨模型人脸识别装置，包括有：

模型提取模块M10，用于获取两个不同的人脸识别模型，并将其中一个人脸识别模型确定为源模型，另一个人脸识别模型确定为目标模型；

特征提取模块M20，用于通过源模型和目标模型分别从待识别的不同人脸图像中提取人脸特征；获取与源模型对应的人脸特征，标记为源特征；以及获取与目标模型对应的人脸特征，标记为目标特征；

特征转化模块M30，用于通过特征转化系统对源特征进行转化，获取转化特征；

人脸识别模块M40，用于将转化特征与目标特征直接进行比对，进行跨模型人脸识别。

本装置通过两个不同的人脸识别模型来获取人脸特征，并将其中一个人脸识别模型获取到的人脸特征通过特征转化系统进行转化，得到转化特征，再将转化特征与另一个人脸识别模型获取到的人脸特征进行比对，实现跨模型人脸识别，从而有效地解决了原先不同人脸识别模型之间无法直接进行跨模型识别的问题。同时，本装置设计的特征转化系统只需较小的计算资源开销即可实现快速高效的特征转化，大大地提高了基于特征转化系统的跨模型人脸识别的应用价值。而且特征转化系统能够进行端到端训练，易于快速部署；整个网络参数量和计算量较小，能够以较小的计算资源开销实现快速高效的特征转化。其中，跨模型人脸识别，是指利用不同的人脸识别模型从人脸图像中提取特征，然后直接对来自不同人脸识别模型的人脸特征进行比对。本发明中，特征转化，是指通过算法将一个模型从某张人脸图像上提取的特征，转化为另一个模型在该图像上提取的特征。其中的模型可以是人脸识别模型、人体识别模型；特征可以是人脸特征、人体特征。源模型与目标模型：代表两种不同的模型，二者是相对概念。在本发明中，源模型提取的人脸特征需要经过特征转化系统之后，才能与目标模型提取的人脸特征进行比对。源特征，代表源模型提取的人脸特征；目标特征：代表目标模型提取的人脸特征。

根据上述记载，对于不同地区的人脸识别模型而言，通过本发明记载的跨模型人脸识别装置，首先获取两个地区的人脸识别模型，然后将其中一个地区的人脸识别模型作为源模型，以及将另外一个地区的人脸识别模型作为目标模型；利用特征转化系统对源模型提取到的人脸特征进行转化，得到转化特征，再把转化特征和目标模型提取的人脸特征直接进行比对，从而能够在两个不同的人脸识别模型中进行跨模型人脸识别。如果将本发明记载的跨模型人脸识别装置应用在公安行业，则可以提高公安行业在跨地区办案时的工作效率；有效地解决了原先不同地区的人脸识别模型之间无法直接进行跨模型人脸识别的问题。

对于同一地区中的不同人脸识别模型而言(例如需要进行在线升级的新旧人脸识别模型)，通过本发明记载的跨模型人脸识别装置，首先获取旧的人脸识别模型和新的人脸识别模型，将旧的人脸识别模型作为源模型以及将新的人脸识别模型作为目标模型，利用特征转化系统对源模型提取到的人脸特征进行转化，得到转化特征，再把转化特征和目标模型提取的人脸特征直接进行比对，从而能够在两个不同的人脸识别模型中进行跨模型人脸识别。同时，也可以将获取到的新的人脸识别模型作为源模型，将旧的人脸识别模型作为目标模型，从而使旧的人脸识别模型能够兼容新的人脸识别模型。所以，通过本发明记载的跨模型人脸识别装置，在对人脸识别模型进行升级时，能够在新旧人脸识别模型之间直接进行跨模型人脸识别，能够节约部署新的人脸识别模型的时间，减少其计算资源的使用，不仅能够降低升级成本，还能够增加用户的体验。

在一示例性实施例中，如图3所示，通过特征转化系统从源特征中分别提取粗粒度特征和细粒度特征，并将粗粒度特征和细粒度特征进行融合，生成转化特征。本方法通过特征转化系统实现了跨模型人脸识别；同时，通过特征转化系统的轻量级网络结构设计，减小了计算资源开销，提升了特征转化的速度。而且特征转化系统能够进行端到端训练，易于快速部署，整个网络参数量和计算量较小，能够以较小的计算资源开销实现快速高效的特征转化。其中，特征转化系统包括特征翻译模块；特征翻译模块可以用于从源特征中提取粗粒度特征。特征翻译模块的工作流程如图4所示，特征翻译模块至少包括有线性变换单元、激活函数单元；线性变换单元可以提供线性变换Linear Transform操作，激活函数单元可以提供激活函数Activation操作；将源特征作为输入，通过线性变换Linear Transform和激活函数Activation快速生成粗粒度人脸特征。其中，线性变换Linear Transform和激活函数Activation可以基于神经网络实现。特征转化系统还包括编码模块、解码模块和多分支模块；其中，编码模块用于通过上采样将源特征编码映射为多通道的二维人脸特征图；所述编码模块至少包括全连接单元、矩阵变换单元、上采样单元；全连接单元可以提供全连接Fully Connect操作，矩阵变换单元可以提供矩阵变换Reshape操作，上采样单元可以提供多个上采样操作，例如Upsample1、Upsample2、Upsample3操作。解码模块用于对二维人脸特征图进行降采样，并提升二维人脸特征图的通道数；解码模块至少包括有：卷积单元；卷积单元可以提供卷积等操作。多分支模块用于通过多个独立的神经网络从提升通道数后的二维人脸特征图的局部区域和全局区域中分别提取不同特征，并根据提取的不同特征融合生成细粒度特征。其中，多分支模块至少包括：融合单元、线性变换单元；融合单元可以提供融合Fusion操作，线性变换单元可以提供线性变换Linear Transform操作。

具体地，如图5所示，编码模块通过上采样操作将人脸特征编码映射为二维多通道人脸特征图，实现非结构化的一维向量到二维人脸特征图的转化。其中，特征转化系统通过编码模块学习特征向量到特征图的转化，并输出多通道人脸特征图。编码模块的工作流程如图5所示，可以通过全连接、反卷积等操作组成的卷积神经网络实现特征向量到特征图的上采样编码过程。本申请实施例还可以通过线性插值、Pixel Shuffle、全连接层等操作实现上采样。如图6所示，解码模块通过卷积层等操作对二维特征图进行降采样，同时提升特征图的通道数，增强模型表达能力。其中，特征转化系统通过解码模块将编码模块生成的人脸特征图进行解码，得到通道更丰富的小尺寸人脸特征图，解码模块的工作流程如图6所示。如图7所示，多分支模块通过多个独立的网络分支对提升通道数后的二维人脸特征图上多个局部区域和全局区域分别提取不同的特征信息，并融合生成细粒度特征信息。其中，特征转化系统通过多分支模块从解码模块输出的人脸特征图中提取出细粒度特征。多分支模块的工作流程如图7所示。该模块对输入的人脸特征图根据先验知识进行区域划分，如图8所示，通过人脸位置先验知识在神经网络的浅层特征图中对人脸空间信息进行划分，细分为上半脸、下半脸、左眼、右眼、鼻子、嘴巴6个局部区域，得到多个局部区域的特征图，不同局部区域的特征图分别由各自的网络分支提取特征，然后进行融合，最后通过线性变换得到细粒度人脸特征。最后，特征转化系统融合上述粗粒度特征与细粒度特征，生成转化特征。本申请实施例中的粗粒度和细粒度是从对象的观察分析角度来讲的，粗粒度更关注对象的全局整体信息，而细粒度更关注对象的局部细节信息。本申请实施例中，特征转化系统还可以只使用特征翻译模块生成转化特征，或编码-解码-多分支支路生成转化特征。本申请实施例中，特征翻译是指使用线性变换学习拟合源特征到目标特征的映射关系，从而将源特征转化为目标特征。

在一示例性实施例中，通过特征转化系统对源特征进行转化前，还包括训练特征转化系统；则有：确定损失函数，根据损失函数计算转化特征与目标特征的损失值；通过反向传播算法计算与损失值对应的更新值；根据更新值更新特征转化系统的训练参数，并根据更新后的训练参数对特征转化系统进行训练；若目标特征与转化特征的相似度达到最大化时，完成对特征转化系统的训练。在特征转化系统的训练学习阶段，通过计算转化特征与目标特征之间的相似度损失来监督特征转化过程，使特征转化系统的输出与目标特征具有更高的相似度，进而提高跨模型人脸识别精度。本申请实施例通过监督转化特征与目标特征之间的相似度损失，实现转化特征与目标特征的相似度最大化，从而完成特征转化学习。

在一些示例性实施例中，还包括预处理模块，预处理模块用于通过人脸检测算法对人脸图像进行检测，获取人脸区域以及人脸关键点信息；并通过人脸对齐算法将人脸区域中的五官对齐至固定区域，放缩人脸至固定尺寸。作为示例，例如在获得人脸区域、人脸的关键点信息后，通过对齐算法将人脸区域中的五官对齐至固定区域，放缩人脸至固定尺寸(例如128px×128px的尺寸或128×128的尺寸)。

根据上述记载，在一具体示例中，首先进行人脸识别的准备工作，包括人脸检测，关键点检测，人脸对齐等预处理操作；例如通过预处理操作将人脸图像放缩至128×128的尺寸。然后获取两个不同的人脸识别模型A和人脸识别模型B，将其中的人脸识别模型A作为源模型，人脸识别模型B作为目标模型。如图2所示，再通过源模型、目标模型分别从128×128尺寸的不同人脸图像中提取人脸特征，并将源模型提取的512维(512d)的人脸特征记为源特征，以及将目标模型提取的512维(512d)的人脸特征记为目标特征。再将512d的源特征输入至特征转化系统中进行转化，输出512d的转化特征；然后将512d的转化特征和512d的目标特征直接进行特征比对，实现跨模型人脸识别，即实现两个不同的人脸识别模型A和人脸识别模型B之间的人脸识别。其中，特征转化系统将512d的源特征转化为512d的转化特征的具体过程如图3至图7所示。图4所示，向特征转化系统输入512d的源特征，通过特征转化系统中的特征翻译模块对输入512d的源特征进行线性变换Linear Transform，并通过激活函数Activation进行处理，生成512d的粗粒度特征。如图5所示，向特征转化系统输入512d的源特征，通过编码模块中的全连接层Fully Connect进行处理，然后再通过矩阵变换Reshape生成4×4的人脸特征图；再对4×4的人脸特征图进行上采样Upsample1，生成7×7的人脸特征图；再对7×7的人脸特征图进行上采样Upsample2，生成14×14的人脸特征图；再对14×14的人脸特征图进行上采样Upsample3，生成28×28的人脸特征图；再对28×28的人脸特征图进行上采样Upsample4，生成56×56的人脸特征图。其中，56×56的人脸特征图为二维多通道人脸特征图。如图6所示，通过解码模块对56×56的人脸特征图进行解码，通过多个阶段的处理将56×56的人脸特征图降采样为14×14的人脸特征图。如图7和图8所示，对于解码模块输出的14×14的人脸特征图，通过人脸位置先验知识先对14×14的人脸特征图在人脸空间信息进行划分，细分为上半脸、下半脸、左眼、右眼、鼻子、嘴巴6个局部区域，得到多个局部区域的特征图；即得到上半脸6×14的特征图、下半脸6×14的特征图、左眼6×6的特征图、右眼6×6的特征图、鼻子6×6的特征图、嘴巴2×8的特征图。然后对全局区域14×14的特征图和这6个局部区域的特征图进行融合Fusion，生成7×7的人脸特征图，并对7×7的人脸特征图进行线性变换Linear Transform，生成512d的细粒度特征。如图3所示，再将512d的粗粒度特征和512d的细粒度特征进行特征融合，生成512d的转化特征。最后将512d的转化特征和512d的目标特征进行直接比对，实现跨模型人脸识别。在训练特征转化系统时，还通过监督转化特征与目标特征之间的相似度损失，实现转化特征与目标特征的相似度最大化，从而完成特征转化学习。本申请实施例中，输入至特征转化系统中的人脸特征维度和输出的转化特征维度并无严格限制，本申请中只是选择二者均为512维，实际上也可以是其他维度。例如输入256维的人脸特征、输出256维的人脸特征；输入512维的人脸特征和输出256维的人脸特征等。

本发明提供一种跨模型人脸识别装置，通过获取两个不同的人脸识别模型，将其中一个人脸识别模型确定为源模型，另一个人脸识别模型确定为目标模型；然后通过源模型和目标模型分别从待识别的不同人脸图像中提取人脸特征；获取与源模型对应的人脸特征，标记为源特征；以及获取与目标模型对应的人脸特征，标记为目标特征；通过特征转化系统对源特征进行转化，获取转化特征；将转化特征与目标特征直接进行比对，进行跨模型人脸识别。本发明通过两个不同的人脸识别模型来获取人脸特征，并将其中一个人脸识别模型获取到的人脸特征通过特征转化系统进行转化，得到转化特征，再将转化特征与另一个人脸识别模型获取到的人脸特征进行比对，实现跨模型人脸识别，从而有效地解决了原先不同人脸识别模型之间无法直接进行跨模型识别的问题。本装置采用特征翻译与编码-解码-多分支相结合的方式，融合了不同粒度人脸特征信息，显著改善了特征转化效果，最终实现了较高的跨模型人脸识别精度。同时，本发明只需较小的计算资源开销即可实现快速高效的特征转化，大大地提高了基于特征转化系统的跨模型人脸识别的应用价值。而且特征转化系统能够进行端到端训练，易于快速部署；整个网络参数量和计算量较小，能够以较小的计算资源开销实现快速高效的特征转化。而且，本装置利用特征翻译实现了快速的粗粒度特征提取，结合编码-解码-多分支提取了丰富的细粒度特征，最终实现了准确度高、计算负担小、速度快的特征转化和跨模型人脸识别。并且，本装置与现有研究思路1相比，本装置中的训练过程没有人脸重建步骤，因此训练更高效，同时结合轻量级网络架构设计，本装置中的跨模型人脸识别效果更优，在速度和精度上都更具优势。与现有研究思路2相比，本装置在解决跨模型识别问题时，无需重新训练人脸识别模型，不会影响新模型的性能。其中，现有研究思路1，即先根据人脸特征重建出人脸图像，然后对人脸图像提取特征的研究思路；其在训练时需加入人脸图像进行监督，同时对人脸重建网络采用对抗学习的训练方式。现有研究思路2，即在新模型的训练过程增加兼容性训练阶段，改变新模型，实现新模型兼容旧模型的特征的研究思路。

本申请实施例还提供了一种跨模型人脸识别系统，包括有：

获取两个不同的人脸识别模型，将其中一个人脸识别模型确定为源模型，另一个人脸识别模型确定为目标模型；

通过源模型和目标模型分别从待识别的不同人脸图像中提取人脸特征；获取与源模型对应的人脸特征，标记为源特征；以及获取与目标模型对应的人脸特征，标记为目标特征；

通过特征转化系统对源特征进行转化，获取转化特征；

将转化特征与目标特征直接进行比对，进行跨模型人脸识别。

在本实施例中，该跨模型人脸识别系统执行上述方法或应用于上述装置中，具体功能和技术效果参照上述实施例即可，此处不再赘述。

本申请实施例还提供了一种跨模型人脸识别设备，包括有：

获取两个不同的人脸识别模型，将其中一个人脸识别模型确定为源模型，另一个人脸识别模型确定为目标模型；

通过源模型和目标模型分别从待识别的不同人脸图像中提取人脸特征；获取与源模型对应的人脸特征，标记为源特征；以及获取与目标模型对应的人脸特征，标记为目标特征；

通过特征转化系统对源特征进行转化，获取转化特征；

将转化特征与目标特征直接进行比对，进行跨模型人脸识别。

在本实施例中，该跨模型人脸识别设备执行上述系统或方法，具体功能和技术效果参照上述实施例即可，此处不再赘述。

本申请实施例还提供了一种设备，该设备可以包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述设备执行图1所述的方法。在实际应用中，该设备可以作为终端设备，也可以作为服务器，终端设备的例子可以包括：智能手机、平板电脑、电子书阅读器、MP3(动态影像专家压缩标准语音层面3，Moving Picture Experts Group Audio Layer III)播放器、MP4(动态影像专家压缩标准语音层面4，Moving Picture Experts Group Audio Layer IV)播放器、膝上型便携计算机、车载电脑、台式计算机、机顶盒、智能电视机、可穿戴设备等等，本申请实施例对于具体的设备不加以限制。

本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本申请实施例的图1中所述方法所包含步骤的指令(instructions)。

图10为本申请一实施例提供的终端设备的硬件结构示意图。如图所示，该终端设备可以包括：输入设备1100、第一处理器1101、输出设备1102、第一存储器1103和至少一个通信总线1104。通信总线1104用于实现元件之间的通信连接。第一存储器1103可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，第一存储器1103中可以存储各种程序，用于完成各种处理功能以及实现本实施例的方法步骤。

可选的，上述第一处理器1101例如可以为中央处理器(Central ProcessingUnit，简称CPU)、应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，该第一处理器1101通过有线或无线连接耦合到上述输入设备1100和输出设备1102。

可选的，上述输入设备1100可以包括多种输入设备，例如可以包括面向用户的用户接口、面向设备的设备接口、软件的可编程接口、摄像头、传感器中至少一种。可选的，该面向设备的设备接口可以是用于设备与设备之间进行数据传输的有线接口、还可以是用于设备与设备之间进行数据传输的硬件插入接口(例如USB接口、串口等)；可选的，该面向用户的用户接口例如可以是面向用户的控制按键、用于接收语音输入的语音输入设备以及用户接收用户触摸输入的触摸感知设备(例如具有触摸感应功能的触摸屏、触控板等)；可选的，上述软件的可编程接口例如可以是供用户编辑或者修改程序的入口，例如芯片的输入引脚接口或者输入接口等；输出设备1102可以包括显示器、音响等输出设备。

在本实施例中，该终端设备的处理器包括用于执行各设备中语音识别装置各模块的功能，具体功能和技术效果参照上述实施例即可，此处不再赘述。

图11为本申请的一个实施例提供的终端设备的硬件结构示意图。图11是对图10在实现过程中的一个具体的实施例。如图所示，本实施例的终端设备可以包括第二处理器1201以及第二存储器1202。

第二处理器1201执行第二存储器1202所存放的计算机程序代码，实现上述实施例中图1所述方法。

第二存储器1202被配置为存储各种类型的数据以支持在终端设备的操作。这些数据的示例包括用于在终端设备上操作的任何应用程序或方法的指令，例如消息，图片，视频等。第二存储器1202可能包含随机存取存储器(random access memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

可选地，第二处理器1201设置在处理组件1200中。该终端设备还可以包括：通信组件1203，电源组件1204，多媒体组件1205，语音组件1206，输入/输出接口1207和/或传感器组件1208。终端设备具体所包含的组件等依据实际需求设定，本实施例对此不作限定。

处理组件1200通常控制终端设备的整体操作。处理组件1200可以包括一个或多个第二处理器1201来执行指令，以完成上述数据处理方法中的全部或部分步骤。此外，处理组件1200可以包括一个或多个模块，便于处理组件1200和其他组件之间的交互。例如，处理组件1200可以包括多媒体模块，以方便多媒体组件1205和处理组件1200之间的交互。

电源组件1204为终端设备的各种组件提供电力。电源组件1204可以包括电源管理系统，一个或多个电源，及其他与为终端设备生成、管理和分配电力相关联的组件。

多媒体组件1205包括在终端设备和用户之间的提供一个输出接口的显示屏。在一些实施例中，显示屏可以包括液晶显示器(LCD)和触摸面板(TP)。如果显示屏包括触摸面板，显示屏可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。

语音组件1206被配置为输出和/或输入语音信号。例如，语音组件1206包括一个麦克风(MIC)，当终端设备处于操作模式，如语音识别模式时，麦克风被配置为接收外部语音信号。所接收的语音信号可以被进一步存储在第二存储器1202或经由通信组件1203发送。在一些实施例中，语音组件1206还包括一个扬声器，用于输出语音信号。

输入/输出接口1207为处理组件1200和外围接口模块之间提供接口，上述外围接口模块可以是点击轮，按钮等。这些按钮可包括但不限于：音量按钮、启动按钮和锁定按钮。

传感器组件1208包括一个或多个传感器，用于为终端设备提供各个方面的状态评估。例如，传感器组件1208可以检测到终端设备的打开/关闭状态，组件的相对定位，用户与终端设备接触的存在或不存在。传感器组件1208可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在，包括检测用户与终端设备间的距离。在一些实施例中，该传感器组件1208还可以包括摄像头等。

通信组件1203被配置为便于终端设备和其他设备之间有线或无线方式的通信。终端设备可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个实施例中，该终端设备中可以包括SIM卡插槽，该SIM卡插槽用于插入SIM卡，使得终端设备可以登录GPRS网络，通过互联网与服务器建立通信。

由上可知，在图11实施例中所涉及的通信组件1203、语音组件1206以及输入/输出接口1207、传感器组件1208均可以作为图10实施例中的输入设备的实现方式。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (13)

1.一种跨模型人脸识别方法，其特征在于，包括以下步骤：

获取两个不同的人脸识别模型，将其中一个人脸识别模型确定为源模型，另一个人脸识别模型确定为目标模型；

通过所述源模型和所述目标模型分别从待识别的不同人脸图像中提取人脸特征；获取与所述源模型对应的人脸特征，标记为源特征；以及获取与所述目标模型对应的人脸特征，标记为目标特征；

通过特征转化系统对所述源特征进行转化，获取转化特征；通过所述特征转化系统从所述源特征中分别提取粗粒度特征和细粒度特征，并将所述粗粒度特征和所述细粒度特征进行融合，生成转化特征；通过所述特征转化系统中的特征翻译模块从所述源特征中提取粗粒度特征；所述特征翻译模块至少包括有线性变换单元、激活函数单元；将所述源特征作为输入，通过所述线性变换单元和激活函数单元生成粗粒度特征；通过所述特征转化系统从所述源特征中提取细粒度特征，包括：通过上采样将所述源特征编码映射为多通道的二维人脸特征图；对所述二维人脸特征图进行降采样，并提升所述二维人脸特征图的通道数；通过多个独立的神经网络从提升通道数后的二维人脸特征图的局部区域和全局区域中分别提取不同特征，并根据提取的不同特征融合生成细粒度特征；

将所述转化特征与所述目标特征直接进行比对，进行跨模型人脸识别。

2.根据权利要求1所述的跨模型人脸识别方法，其特征在于，所述特征转化系统包括编码模块；所述编码模块用于通过上采样将所述源特征编码映射为多通道的二维人脸特征图；其中，所述编码模块至少包括全连接单元、矩阵变换单元、上采样单元。

3.根据权利要求2所述的跨模型人脸识别方法，其特征在于，所述特征转化系统还包括解码模块；所述解码模块用于对所述二维人脸特征图进行降采样，并提升所述二维人脸特征图的通道数；其中，所述解码模块至少包括有：卷积单元。

4.根据权利要求3所述的跨模型人脸识别方法，其特征在于，所述特征转化系统还包括多分支模块；所述多分支模块用于通过多个独立的神经网络从提升通道数后的二维人脸特征图的局部区域和全局区域中分别提取不同特征，并根据提取的不同特征融合生成细粒度特征；其中，所述多分支模块至少包括：融合单元、线性变换单元。

5.根据权利要求1所述的跨模型人脸识别方法，其特征在于，所述局部区域包括以下至少之一：上半脸、下半脸、左眼、右眼、鼻子、嘴巴。

6.根据权利要求1所述的跨模型人脸识别方法，其特征在于，在通过所述特征转化系统对所述源特征进行转化前，还包括训练所述特征转化系统；

确定损失函数，根据所述损失函数计算所述转化特征与所述目标特征的损失值；

通过反向传播算法计算与所述损失值对应的更新值；

根据所述更新值更新所述特征转化系统的训练参数，并根据更新后的训练参数对所述特征转化系统进行训练；

若所述目标特征与所述转化特征的相似度达到最大化时，完成对所述特征转化系统的训练。

7.根据权利要求1所述的跨模型人脸识别方法，其特征在于，还包括通过人脸检测算法对人脸图像进行检测，获取人脸区域以及人脸关键点信息；并通过人脸对齐算法将人脸区域中的五官对齐至固定区域，放缩人脸至固定尺寸。

8.一种跨模型人脸识别装置，其特征在于，包括有：

模型提取模块，用于获取两个不同的人脸识别模型，并将其中一个人脸识别模型确定为源模型，另一个人脸识别模型确定为目标模型；

特征提取模块，用于通过所述源模型和所述目标模型分别从待识别的不同人脸图像中提取人脸特征；获取与所述源模型对应的人脸特征，标记为源特征；以及获取与所述目标模型对应的人脸特征，标记为目标特征；

特征转化模块，用于通过特征转化系统对所述源特征进行转化，获取转化特征；通过所述特征转化系统从所述源特征中分别提取粗粒度特征和细粒度特征，并将所述粗粒度特征和所述细粒度特征进行融合，生成转化特征；所述特征转化系统包括有特征翻译模块，所述特征翻译模块用于从所述源特征中提取粗粒度特征；所述特征转化系统还包括编码模块、解码模块和多分支模块；其中，所述编码模块用于通过上采样将所述源特征编码映射为多通道的二维人脸特征图；所述解码模块用于对所述二维人脸特征图进行降采样，并提升所述二维人脸特征图的通道数；所述多分支模块用于通过多个独立的神经网络从提升通道数后的二维人脸特征图的局部区域和全局区域中分别提取不同特征，并根据提取的不同特征融合生成细粒度特征；

人脸识别模块，用于将所述转化特征与所述目标特征直接进行比对，进行跨模型人脸识别。

9.根据权利要求8所述的跨模型人脸识别装置，其特征在于，在通过所述特征转化系统对所述源特征进行转化前，还包括训练所述特征转化系统；

确定损失函数，根据所述损失函数计算所述转化特征与所述目标特征的损失值；

通过反向传播算法计算与所述损失值对应的更新值；

根据所述更新值更新所述特征转化系统的训练参数，并根据更新后的训练参数对所述特征转化系统进行训练；

若所述目标特征与所述转化特征的相似度达到最大化时，完成对所述特征转化系统的训练。

10.根据权利要求8所述的跨模型人脸识别装置，其特征在于，还包括预处理模块，所述预处理模块用于通过人脸检测算法对人脸图像进行检测，获取人脸区域以及人脸关键点信息；以及用于通过人脸对齐算法将人脸区域中的五官对齐至固定区域，放缩人脸至固定尺寸。

11.一种跨模型人脸识别设备，其特征在于，包括有：

获取两个不同的人脸识别模型，将其中一个人脸识别模型确定为源模型，另一个人脸识别模型确定为目标模型；

通过所述源模型和所述目标模型分别从待识别的不同人脸图像中提取人脸特征；获取与所述源模型对应的人脸特征，标记为源特征；以及获取与所述目标模型对应的人脸特征，标记为目标特征；

通过特征转化系统对所述源特征进行转化，获取转化特征；通过所述特征转化系统从所述源特征中分别提取粗粒度特征和细粒度特征，并将所述粗粒度特征和所述细粒度特征进行融合，生成转化特征；通过所述特征转化系统中的特征翻译模块从所述源特征中提取粗粒度特征；所述特征翻译模块至少包括有线性变换单元、激活函数单元；将所述源特征作为输入，通过所述线性变换单元和激活函数单元生成粗粒度特征；通过所述特征转化系统从所述源特征中提取细粒度特征，包括：通过上采样将所述源特征编码映射为多通道的二维人脸特征图；对所述二维人脸特征图进行降采样，并提升所述二维人脸特征图的通道数；通过多个独立的神经网络从提升通道数后的二维人脸特征图的局部区域和全局区域中分别提取不同特征，并根据提取的不同特征融合生成细粒度特征；

将所述转化特征与所述目标特征直接进行比对，进行跨模型人脸识别。

12.一种跨模型人脸识别设备，其特征在于，包括：

一个或多个处理器；和

存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行所述指令时，使得所述设备执行如权利要求1-6中任意一项所述的方法。

13.一个或多个机器可读介质，其特征在于，其上存储有指令，当由一个或多个处理器执行所述指令时，使得设备执行如权利要求1-6中任意一项所述的方法。

Images