CN112329736B - 人脸识别方法及金融系统 - Google Patents

Abstract

本发明公开了一种人脸识别方法及金融系统，卷积神经网络基于人脸图像序列识别出所述用户的第一人脸特征向量；通过第一网络对所述第一人脸特征向量进行上卷积处理，得到第一三维特征图；获得用户的人脸三维数据与所述三维特征图之间的第一交叉熵；基于第一交叉熵反向调整所述第一三维特征图，得到第二三维特征图；以第二三维特征图作为目标，基于第一网络的损失函数反向调整所述第一人脸特征向量，得到第二人脸特征向量；获得第二人脸特征向量与预先标注的样本标签之间的第二交叉熵；基于第二交叉熵反向调整第二人脸特征向量，得到第三人脸特征向量；基于所述第三人脸特征向量识别出用户的身份信息。提高了人脸识别的准确率。

Description

人脸识别方法及金融系统

技术领域

本发明涉及金融技术领域，具体而言，涉及一种人脸识别方法及金融系统。

背景技术

当前存在的人脸识别模型大都是基于一张二维(2D)平面图像去识别，但由于2D信息存在深度数据丢失的局限性，无法完整的表达出真实人脸，所以在实际应用中存在着一些不足，例如识别准确率不高、活体检测准确率不高等。三维(3D)人脸模型比2D人脸模型有更强的描述能力，能更好的表达出真实人脸，所以基于3D数据的人脸识别不管识别准确率还是活体检测准确率都有很大的提高。但是由于3D人脸的获取都需要特定的设备如3D结构光等设备，同时该设备对光照和距离都有限制，所以很难适应当前安防监控视频方向的需求。

发明内容

本发明的目的在于提供了一种人脸识别方法及金融系统，用以解决现有技术中存在的上述问题。

第一方面，本发明实施例提供了一种人脸识别方法，所述方法包括：

获得所述用户的人脸视频，所述人脸视频包括多张用户图像；

识别出用户图像中的人脸图像；所述人脸图像包括用户的人脸；

以多张人脸图像作为一组人脸图像序列；

将人脸图像序列输入卷积神经网络中，所述卷积神经网络基于人脸图像序列识别出所述用户的第一人脸特征向量；

通过第一网络对所述第一人脸特征向量进行上卷积处理，得到第一三维特征图；

获得所述用户的人脸三维数据与所述三维特征图之间的第一交叉熵；所述用户的人脸三维数据是通过三维摄像设备采集得到的；

基于第一交叉熵反向调整所述第一三维特征图，得到第二三维特征图；

以所述第二三维特征图作为目标，基于第一网络的损失函数反向调整所述第一人脸特征向量，得到第二人脸特征向量；

获得所述第二人脸特征向量与预先标注的样本标签之间的第二交叉熵；

基于第二交叉熵反向调整所述第二人脸特征向量，得到第三人脸特征向量；

基于所述第三人脸特征向量识别出用户的身份信息。

可选的，所述人脸图像中至少包括多个用户的人脸，所述方法还包括：

通过人脸跟踪算法，分别识别出每个用户在人脸视频中的每张用户图像中的人脸区域；

针对每个用户，提取出所述用户的人脸区域，以人脸区域作为人脸图像，人脸视频中包括多张包含用户的用户图像，则获得多张人脸图像；以多张人脸图像按照拍摄顺序构成一组人脸图像序列；每个用户对应一组人脸图像序列。

可选的，所述基于所述第三人脸特征向量识别出用户的身份信息，包括：

通过人脸识别算法，基于所述第三人脸特征向量识别出用户的身份信息。

可选的，所述基于所述第三人脸特征向量识别出用户的身份信息，包括：

以第三人脸特征向量作为目标，对所述卷积神经网络进行训练，直到所述卷积神经网络的损失函数达到设定值，以所述卷积神经网络的损失函数达到设定值时的输出作为目标人脸特征向量；

通过人脸识别算法，基于所述目标人脸特征向量识别出用户的身份信息。

可选的，所述卷积神经网络是残差网络，所述残差网络包括多个卷积层；多个卷积层用于提取人脸图像的特征向量；

可选的，所述基于所述第三人脸特征向量识别出用户的身份信息，包括：

以身份信息数据库中获得与所述第三人脸特征向量匹配的身份信息，作为所述用户的身份信息。

可选的，基于所述第三人脸特征向量识别出用户的身份信息，还包括：

以第三人脸特征向量作为目标，对所述卷积神经网络进行训练，直到所述卷积神经网络的损失函数达到设定值，以所述卷积神经网络的损失函数达到设定值时的输出作为第一人脸特征向量；

循环上述的方案，直到所述第一交叉熵和所述第二交叉熵满足预设条件；

以所述第一交叉熵和所述第二交叉熵满足预设条件时卷积神经网络输出的人脸特征向量作为目标人脸特征向量；

通过人脸识别算法，基于所述目标人脸特征向量识别出用户的身份信息。

可选的，所述第一交叉熵和所述第二交叉熵满足预设条件时，表示的是：所述第一交叉熵和所述第二交叉熵都收敛。

第一方面，本发明实施例提供了一种金融支付系统，应用于电子设备，所述系统包括：

获得模块，用于获得所述用户的人脸视频，所述人脸视频包括多张用户图像；

识别模块，用于识别出用户图像中的人脸图像；所述人脸图像包括用户的人脸；以多张人脸图像作为一组人脸图像序列；将人脸图像序列输入卷积神经网络中，所述卷积神经网络基于人脸图像序列识别出所述用户的第一人脸特征向量；通过第一网络对所述第一人脸特征向量进行上卷积处理，得到第一三维特征图；获得所述用户的人脸三维数据与所述三维特征图之间的第一交叉熵；所述用户的人脸三维数据是通过三维摄像设备采集得到的；基于第一交叉熵反向调整所述第一三维特征图，得到第二三维特征图；以所述第二三维特征图作为目标，基于第一网络的损失函数反向调整所述第一人脸特征向量，得到第二人脸特征向量；获得所述第二人脸特征向量与预先标注的样本标签之间的第二交叉熵；基于第二交叉熵反向调整所述第二人脸特征向量，得到第三人脸特征向量；基于所述第三人脸特征向量识别出用户的身份信息。

可选的，所述人脸图像中至少包括多个用户的人脸，所述识别模块还用于：

通过人脸跟踪算法，分别识别出每个用户在人脸视频中的每张用户图像中的人脸区域；

针对每个用户，提取出所述用户的人脸区域，以人脸区域作为人脸图像，人脸视频中包括多张包含用户的用户图像，则获得多张人脸图像；以多张人脸图像按照拍摄顺序构成一组人脸图像序列；每个用户对应一组人脸图像序列。

相较于现有技术，本发明达到的有益效果是：

本发明实施例提供了一种人脸识别方法及金融系统，可以应用在金融支付系统中，所述方法包括：获得所述用户的人脸视频，所述人脸视频包括多张用户图像；识别出用户图像中的人脸图像；所述人脸图像包括用户的人脸；以多张人脸图像作为一组人脸图像序列；将人脸图像序列输入卷积神经网络中，所述卷积神经网络基于人脸图像序列识别出所述用户的第一人脸特征向量；通过第一网络对所述第一人脸特征向量进行上卷积处理，得到第一三维特征图；获得所述用户的人脸三维数据与所述三维特征图之间的第一交叉熵；所述用户的人脸三维数据是通过三维摄像设备采集得到的；基于第一交叉熵反向调整所述第一三维特征图，得到第二三维特征图；以所述第二三维特征图作为目标，基于第一网络的损失函数反向调整所述第一人脸特征向量，得到第二人脸特征向量；获得所述第二人脸特征向量与预先标注的样本标签之间的第二交叉熵；基于第二交叉熵反向调整所述第二人脸特征向量，得到第三人脸特征向量；基于所述第三人脸特征向量识别出用户的身份信息。通过采用以上方案，只需在训练阶段使用3D设备获取人脸的3D结构图，在测试阶段可以直接根据人脸序列无需3D设备也能达到3D识别的目的。可以根据人脸在摄像头下的运动序列图，作为识别算法的输入，根据图像序列可以获得图像的3D信息，所以采用的运动的人脸数据会潜在的包含人脸的3D信息，所以根据人脸的序列图做识别可以有效的利用高维的人脸信息，从而提高人脸识别的准确率。即，卷积神经网络基于人脸图像序列识别出所述用户的第一人脸特征向量，通过第一网络对所述第一人脸特征向量进行上卷积处理，得到第一三维特征图，如此保留了第一人脸特征向量的上采样特征，然后结合拍摄的人脸三维数据对第一三维特征图进行反向调整，进一步的对二维特征图进行反向调整，调整以后再进一步的调整第三人脸特征向量，如此，可以充分地调整人脸特征，使得最终到的第三人脸特征向量能够保持人脸特征的特性，能够准确地表达人脸特征，进一步的提高基于所述第三人脸特征向量识别出用户的身份信息的准确性，提高了人脸识别的准确率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本发明实施例提供的一种人脸识别方法流程图。

图2是本发明实施例提供的一种人脸识别模型示意图。

图3（a）是本发明实施例提供的包含两个人脸的图像示意图。

图3（b）是本发明实施例提供的包含两个人脸对应的两组人脸图像序列图。

图4是本发明实施例提供的一种电子设备的方框结构示意图。

图标： 500-总线；501-接收器；502-处理器；503-发送器；504-存储器；505-总线接口。

具体实施方式

下面结合附图，对本发明作详细的说明。

实施例

本发明实施例提供了一种人脸识别方法，可以应用于金融系统、在线教育系统、金融支付系统等需要进行人脸识别的系统中，如图1所示，所述人脸识别方法包括：

S101：获得所述用户的人脸视频。所述人脸视频包括多张用户图像。

S102：识别出用户图像中的人脸图像。所述人脸图像包括用户的人脸。

S103：以多张人脸图像作为一组人脸图像序列。同一个人的人脸图像作为一组人脸图像序列。

S104：将人脸图像序列输入卷积神经网络中，所述卷积神经网络基于人脸图像序列识别出所述用户的第一人脸特征向量。其中，卷积神经网络可以是残差卷积神经网络，例如RestNet构建网络的backbone。

S105：通过第一网络对所述第一人脸特征向量进行上卷积处理，得到第一三维特征图。其中，第一网络可以是三维卷积神经网络（3DCNN）。

S106：获得所述用户的人脸三维数据与所述三维特征图之间的第一交叉熵。所述用户的人脸三维数据是通过三维摄像设备采集得到的，可以是预先采集存储在大数据库中，在需要的时候从大数据库中取出人脸三维数据，也可以是通过三维摄像设备实时采集得到的。第一交叉熵作为损失函数，具体的，第一交叉熵为常用的SmoothL1Loss函数。

S107：基于第一交叉熵反向调整所述第一三维特征图，得到第二三维特征图。

S108：以所述第二三维特征图作为目标，基于第一网络的损失函数反向调整所述第一人脸特征向量，得到第二人脸特征向量。第一网络的损失函数也可以采用常用的SmoothL1Loss函数。

S109：获得所述第二人脸特征向量与预先标注的样本标签之间的第二交叉熵。

S110：基于第二交叉熵反向调整所述第二人脸特征向量，得到第三人脸特征向量。

S111：基于所述第三人脸特征向量识别出用户的身份信息。

上述S101~S111的逻辑，还可以结合参阅图2的人脸识别模型。另外，需要说明的是，识别出用户图像中的人脸图像具体的可以是基于人脸检测算法MTCNN检测用户图像中所有的人脸图像。由于视频中可能同时存在多个人脸，为了区分不同人脸，保证每个序列序列人脸为同一人，在识别人脸图像的过程中，增加了人脸跟踪算法（例如FHOG算法），通过人脸跟踪算法可以很容易的确定视频序列中的人脸ID（同一个人脸的人脸图像）。例如图3（a）和图3（b），一个视频序列中有A和B两个人脸，我们根据人脸的跟踪结果可以生成A的人脸序列和B的人脸序列（人脸图像序列）。目前序列的长度设置为5-10帧，采集时间在1-2秒。图2中，模型输入的是人脸序列，基于目前常用的RestNet构建网络的backbone生成人脸特征向量（embedding）（第一人脸特征向量），最后采用目前效果最好的InsightFaceLoss做为模型的损失函数。需要注意的时，本申请的模型数据输入使用采集到的序列图做为输入节点，区别于以往的一张2D图像。另外，模型采用多张人脸序列作为输入，首先使用常规的InsightFaceLoss作为人脸识别的损失函数，该方法可以有效的增加类外距离，减小类内距离。同时基于生成的特征向量（Embedding）构建分支2，执行分支2的方案，即：通过向上卷积来生成3D的特征图，根据3D设备采集到该人脸的3D人脸（人脸三维数据）与分支2的特征图进行了SmoothL1Loss的损失函数（获得所述用户的人脸三维数据与所述三维特征图之间的第一交叉熵），该损失函数可以让分支2反向传递时让特征向量（embedding）学习到人脸的3D特征，这样就增强了特征向量（Embedding）去学习表达3D的人脸特征，从而增加人脸的可区分性。

通过采用以上方案，只需在训练阶段使用3D设备获取人脸的3D结构图，在测试阶段可以直接根据人脸序列无需3D设备也能达到3D识别的目的。可以根据人脸在摄像头下的运动序列图，作为识别算法的输入，根据图像序列可以获得图像的3D信息，所以采用的运动的人脸数据会潜在的包含人脸的3D信息，所以根据人脸的序列图做识别可以有效的利用高维的人脸信息，从而提高人脸识别的准确率。即，卷积神经网络基于人脸图像序列识别出所述用户的第一人脸特征向量，通过第一网络对所述第一人脸特征向量进行上卷积处理，得到第一三维特征图，如此保留了第一人脸特征向量的上采样特征，然后结合拍摄的人脸三维数据对第一三维特征图进行反向调整，进一步的对二维特征图进行反向调整，调整以后再进一步的调整第三人脸特征向量，如此，可以充分地调整人脸特征，使得最终到的第三人脸特征向量能够保持人脸特征的特性，能够准确地表达人脸特征，进一步的提高基于所述第三人脸特征向量识别出用户的身份信息的准确性，提高了人脸识别的准确率。

可选的，所述人脸图像中至少包括多个用户的人脸，所述方法还包括：

通过人脸跟踪算法，分别识别出每个用户在人脸视频中的每张用户图像中的人脸区域；

针对每个用户，提取出所述用户的人脸区域，以人脸区域作为人脸图像，人脸视频中包括多张包含用户的用户图像，则获得多张人脸图像；以多张人脸图像按照拍摄顺序构成一组人脸图像序列；每个用户对应一组人脸图像序列。如图3（a），图3（b）所示。

可选的，所述基于所述第三人脸特征向量识别出用户的身份信息，包括：

通过人脸识别算法，基于所述第三人脸特征向量识别出用户的身份信息。人脸识别算法可以是深度回归网络算法。基于所述第三人脸特征向量识别出用户的身份信息也可以是：

从大数据库中获得与第三人脸特征向量相同的特征向量对应的用户的身份信息作为需要识别的用户的身份信息。

可选的，所述基于所述第三人脸特征向量识别出用户的身份信息，包括：

以第三人脸特征向量作为目标，对所述卷积神经网络进行训练，直到所述卷积神经网络的损失函数达到设定值，以所述卷积神经网络的损失函数达到设定值时的输出作为目标人脸特征向量；设定值可以是0.2，0.4，0.6。

通过人脸识别算法，基于所述目标人脸特征向量识别出用户的身份信息。

通过人脸识别算法，基于所述目标人脸特征向量识别出用户的身份信息与上述的通过人脸识别算法基于所述第三人脸特征向量识别出用户的身份信息。人脸识别算法可以是深度回归网络算类似，在此不再赘述。

其中，所述卷积神经网络是残差网络，所述残差网络包括多个卷积层，多个卷积层用于提取人脸图像的特征向量。

所述基于所述第三人脸特征向量识别出用户的身份信息，包括：

以身份信息数据库中获得与所述第三人脸特征向量匹配的身份信息，作为所述用户的身份信息。

基于所述第三人脸特征向量识别出用户的身份信息，还包括：

以第三人脸特征向量作为目标，对所述卷积神经网络进行训练，直到所述卷积神经网络的损失函数达到设定值，以所述卷积神经网络的损失函数达到设定值时的输出作为第一人脸特征向量；

循环上述的方案，直到所述第一交叉熵和所述第二交叉熵满足预设条件；

以所述第一交叉熵和所述第二交叉熵满足预设条件时卷积神经网络输出的人脸特征向量作为目标人脸特征向量；

通过人脸识别算法，基于所述目标人脸特征向量识别出用户的身份信息。

通过人脸识别算法，基于所述目标人脸特征向量识别出用户的身份信息与上述的通过人脸识别算法基于所述第三人脸特征向量识别出用户的身份信息。人脸识别算法可以是深度回归网络算类似，在此不再赘述。

可选的，所述第一交叉熵和所述第二交叉熵满足预设条件，表示的是：所述第一交叉熵和所述第二交叉熵都收敛。所述第一交叉熵和所述第二交叉熵满足预设条件时，表示的是：所述第一交叉熵小于第一定值，且所述第二交叉熵小于第二定值。第一定值的取值可以是0.4，0.6，第二定值的取值可以是0.6，0.4，第一定值和第二定值之和等于1。

基于上述的方案，采用2D序列图达到3D人脸识别的目的，我们通过特征向量（Embedding）生成的3D特征图，基于此特征图我们增加SmothL1Loss,让该3D特征图尽可能的还原出人脸的3D信息，该3D特征图通过反向传递让特征向量(Embedding)更多的表达出3D的人脸特征，从而让2D的序列达到3D识别的目的。采用了一个序列的多张人脸2D图，代替3D人脸采集设备做人脸识别，大大节约了应用消耗的成本，同时由于2D序列对距离和光照没有限制，所以该方案也能大大提升人脸识别的应用场景。

针对上述实施例提供的人脸识别方法，本申请实施例还对应提供一种用于执行上述的步骤的执行主体，该执行主体可以为金融支付系统，应用于下述的电子设备，所述系统包括：

获得模块，用于获得所述用户的人脸视频，所述人脸视频包括多张用户图像；

识别模块，用于识别出用户图像中的人脸图像；所述人脸图像包括用户的人脸；以多张人脸图像作为一组人脸图像序列；将人脸图像序列输入卷积神经网络中，所述卷积神经网络基于人脸图像序列识别出所述用户的第一人脸特征向量；通过第一网络对所述第一人脸特征向量进行上卷积处理，得到第一三维特征图；获得所述用户的人脸三维数据与所述三维特征图之间的第一交叉熵；所述用户的人脸三维数据是通过三维摄像设备采集得到的；基于第一交叉熵反向调整所述第一三维特征图，得到第二三维特征图；以所述第二三维特征图作为目标，基于第一网络的损失函数反向调整所述第一人脸特征向量，得到第二人脸特征向量；获得所述第二人脸特征向量与预先标注的样本标签之间的第二交叉熵；基于第二交叉熵反向调整所述第二人脸特征向量，得到第三人脸特征向量；基于所述第三人脸特征向量识别出用户的身份信息。

所述人脸图像中至少包括多个用户的人脸，所述识别模块还用于：

通过人脸跟踪算法，分别识别出每个用户在人脸视频中的每张用户图像中的人脸区域；

针对每个用户，提取出所述用户的人脸区域，以人脸区域作为人脸图像，人脸视频中包括多张包含用户的用户图像，则获得多张人脸图像；以多张人脸图像按照拍摄顺序构成一组人脸图像序列；每个用户对应一组人脸图像序列。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本申请实施例还提供了一种电子设备，如图4所示，所述电子设备至少包括数据接口501和处理器502。处理器502通过数据接口501与存储系统600进行数据交互，具体的处理器502通过数据接口501与存储系统600中的存储区块进行数据交互。

为了能够说明处理器502与存储系统600之间的数据交互情况，作为一种可能的实施方式，处理器502在执行上述的竞价交易方法时执行下述步骤：获得所述用户的人脸视频，所述人脸视频包括多张用户图像；识别出用户图像中的人脸图像；所述人脸图像包括用户的人脸；以多张人脸图像作为一组人脸图像序列；将人脸图像序列输入卷积神经网络中，所述卷积神经网络基于人脸图像序列识别出所述用户的第一人脸特征向量；通过第一网络对所述第一人脸特征向量进行上卷积处理，得到第一三维特征图；获得所述用户的人脸三维数据与所述三维特征图之间的第一交叉熵；所述用户的人脸三维数据是通过三维摄像设备采集得到的；基于第一交叉熵反向调整所述第一三维特征图，得到第二三维特征图；以所述第二三维特征图作为目标，基于第一网络的损失函数反向调整所述第一人脸特征向量，得到第二人脸特征向量；获得所述第二人脸特征向量与预先标注的样本标签之间的第二交叉熵；基于第二交叉熵反向调整所述第二人脸特征向量，得到第三人脸特征向量；基于所述第三人脸特征向量识别出用户的身份信息。

可选的，如图4所示，电子设备还包括存储系统600。同样的，处理器502通过数据接口501与存储系统600中的存储区块进行数据交互。

可选的，电子设备还包括存储器504存储在存储器504上并可在处理器502上运行的计算机程序，所述处理器502执行所述程序时实现前文所述方法的任一方法的步骤。

其中，存储系统600可以是存储器504，也可以与存储器504不同，存储系统600也可以是存储器504的部分存储分区，还可以是存储器504是存储系统600中的某个存储区块。

其中，在图4中，总线架构（用总线500来代表），总线500可以包括任意数量的互联的总线和桥，总线500将包括由处理器502代表的一个或多个处理器和存储器504代表的存储器的各种电路链接在一起。总线500还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进进一步描述。处理器502负责管理总线500和通常的处理，而存储器504可以被用于存储处理器502在执行操作时所使用的数据。

本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前文所述任一方法的步骤。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本申请也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请的内容，并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书（包括伴随的权利要求、摘要和附图）中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书（包括伴随的权利要求、摘要和附图）中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器（DSP）来实现根据本申请实施例的装置中的一些或者全部部件的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序（例如，计算机程序和计算机程序产品）。这样的实现本申请的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (10)

1.一种人脸识别方法，其特征在于，所述方法包括：

获得用户的人脸视频，所述人脸视频包括多张用户图像；

识别出用户图像中的人脸图像；所述人脸图像包括用户的人脸；

以多张人脸图像作为一组人脸图像序列；

将人脸图像序列输入卷积神经网络中，所述卷积神经网络基于人脸图像序列识别出所述用户的第一人脸特征向量；

通过第一网络对所述第一人脸特征向量进行上卷积处理，得到第一三维特征图；

获得所述用户的人脸三维数据与所述三维特征图之间的第一交叉熵；所述用户的人脸三维数据是通过三维摄像设备采集得到的；

基于第一交叉熵反向调整所述第一三维特征图，得到第二三维特征图；

以所述第二三维特征图作为目标，基于第一网络的损失函数反向调整所述第一人脸特征向量，得到第二人脸特征向量；

获得所述第二人脸特征向量与预先标注的样本标签之间的第二交叉熵；

基于第二交叉熵反向调整所述第二人脸特征向量，得到第三人脸特征向量；

基于所述第三人脸特征向量识别出用户的身份信息；所述第一网络是三维卷积神经网络。

2.根据权利要求1所述的方法，其特征在于，所述人脸图像中至少包括多个用户的人脸，所述方法还包括：

通过人脸跟踪算法，分别识别出每个用户在人脸视频中的每张用户图像中的人脸区域；

针对每个用户，提取出所述用户的人脸区域，以人脸区域作为人脸图像，人脸视频中包括多张包含用户的用户图像，则获得多张人脸图像；以多张人脸图像按照拍摄顺序构成一组人脸图像序列；每个用户对应一组人脸图像序列。

3.根据权利要求2所述的方法，其特征在于，所述基于所述第三人脸特征向量识别出用户的身份信息，包括：

通过人脸识别算法，基于所述第三人脸特征向量识别出用户的身份信息。

4.根据权利要求2所述的方法，其特征在于，所述基于所述第三人脸特征向量识别出用户的身份信息，包括：

以第三人脸特征向量作为目标，对所述卷积神经网络进行训练，直到所述卷积神经网络的损失函数达到设定值，以所述卷积神经网络的损失函数达到设定值时的输出作为目标人脸特征向量；

通过人脸识别算法，基于所述目标人脸特征向量识别出用户的身份信息。

5.根据权利要求1所述的方法，其特征在于，所述卷积神经网络是残差网络，所述残差网络包括多个卷积层；多个卷积层用于提取人脸图像的特征向量。

6.根据权利要求2所述的方法，其特征在于，所述基于所述第三人脸特征向量识别出用户的身份信息，包括：

以身份信息数据库中获得与所述第三人脸特征向量匹配的身份信息，作为所述用户的身份信息。

7.根据权利要求2所述的方法，其特征在于， 基于所述第三人脸特征向量识别出用户的身份信息，还包括：

以第三人脸特征向量作为目标，对所述卷积神经网络进行训练，直到所述卷积神经网络的损失函数达到设定值，以所述卷积神经网络的损失函数达到设定值时的输出作为第一人脸特征向量；

循环上述的方案，直到所述第一交叉熵和所述第二交叉熵满足预设条件；

以所述第一交叉熵和所述第二交叉熵满足预设条件时卷积神经网络输出的人脸特征向量作为目标人脸特征向量；

通过人脸识别算法，基于所述目标人脸特征向量识别出用户的身份信息。

8.根据权利要求7所述的方法，其特征在于，所述第一交叉熵和所述第二交叉熵满足预设条件时，表示的是：所述第一交叉熵和所述第二交叉熵都收敛。

9.一种金融系统，应用于电子设备，其特征在于，所述系统包括：

获得模块，用于获得用户的人脸视频，所述人脸视频包括多张用户图像；

识别模块，用于识别出用户图像中的人脸图像；所述人脸图像包括用户的人脸；以多张人脸图像作为一组人脸图像序列；将人脸图像序列输入卷积神经网络中，所述卷积神经网络基于人脸图像序列识别出所述用户的第一人脸特征向量；通过第一网络对所述第一人脸特征向量进行上卷积处理，得到第一三维特征图；获得所述用户的人脸三维数据与所述三维特征图之间的第一交叉熵；所述用户的人脸三维数据是通过三维摄像设备采集得到的；基于第一交叉熵反向调整所述第一三维特征图，得到第二三维特征图；以所述第二三维特征图作为目标，基于第一网络的损失函数反向调整所述第一人脸特征向量，得到第二人脸特征向量；获得所述第二人脸特征向量与预先标注的样本标签之间的第二交叉熵；基于第二交叉熵反向调整所述第二人脸特征向量，得到第三人脸特征向量；基于所述第三人脸特征向量识别出用户的身份信息，所述第一网络是三维卷积神经网络。

10.根据权利要求9所述的金融系统，其特征在于，所述人脸图像中至少包括多个用户的人脸，所述识别模块还用于：

通过人脸跟踪算法，分别识别出每个用户在人脸视频中的每张用户图像中的人脸区域；

针对每个用户，提取出所述用户的人脸区域，以人脸区域作为人脸图像，人脸视频中包括多张包含用户的用户图像，则获得多张人脸图像；以多张人脸图像按照拍摄顺序构成一组人脸图像序列；每个用户对应一组人脸图像序列。

Images