CN113569794B

CN113569794B - 一种人脸识别方法、装置、介质和移动设备

Info

Publication number: CN113569794B
Application number: CN202110901954.XA
Authority: CN
Inventors: 秦豪
Original assignee: Shanghai Yogo Robot Co Ltd
Current assignee: Shanghai Yogo Robot Co Ltd
Priority date: 2021-08-06
Filing date: 2021-08-06
Publication date: 2024-08-20
Anticipated expiration: 2041-08-06
Also published as: CN113569794A

Abstract

本发明公开了一种人脸识别方法、装置、介质和移动设备，方法包括：获取目标客户已加密的第一目标客户信息，对第一目标客户信息进行解密，生成包括预存人脸图像的第二目标客户信息；采集目标客户的至少一张实时人脸图像；根据实时人脸图像进行静默活体检测；将实时人脸图像与对应的预存人脸图像进行人脸对比，生成人脸识别结果。本发明在用户人脸识别的过程中采用与第三方数据库对接的方式，减少对客户隐私数据的访问权限，并使用公私钥加密算法保护客户隐私。同时，针对智能机器人等移动设备，对活体检测方法进行改进，通过多角度采集用户图像信息，多条件验证人脸等方式，提高了人脸识别的准确性，防止用户身份被冒用。

Description

一种人脸识别方法、装置、介质和移动设备

技术领域

本发明涉及智能设备领域，尤其涉及一种人脸识别方法、装置、介质和移动设备。

背景技术

在酒店银行等服务行业的智能楼宇中，移动设备，比如迎宾机器人扮演着智能化前台工作人员的角色，协助工作人员进行访客的身份登记。迎宾机器人可以借助摄像头捕获的画面，提取出画面中的关键人脸，判定人脸为活体人还是照片，然后与目标人脸比对，根据相似度判定人脸识别是否通过。现有技术的人脸识别方法需要在移动设备比如迎宾机器人上存储客户的人脸信息，不利于保护客户的隐私安全，同时人脸识别的准确性不高，难以满足用户需求。

发明内容

本发明提供了一种人脸识别方法、装置、介质和移动设备，解决了以上所述的技术问题。

本发明解决上述技术问题的技术方案如下：一种人脸识别方法，应用于移动设备，包括以下步骤：

步骤1，获取目标客户已加密的第一目标客户信息，对所述第一目标客户信息进行解密，生成对应的第二目标客户信息，所述第二目标客户信息至少包括目标客户的预存人脸图像；

步骤2，采集目标客户的至少一张实时人脸图像；

步骤3，根据所述目标客户的至少一张实时人脸图像进行静默活体检测；

步骤4，当所述静默活体检测的结果为真实人脸时，将所述目标客户的至少一张实时人脸图像与对应的预存人脸图像进行人脸对比，生成人脸识别结果。

在一个优选实施方式中，所述获取目标客户已加密的第一目标客户信息，对所述第一目标客户信息进行解密，生成对应的第二目标客户信息具体为：

步骤101，采集目标客户的第一验证信息，将所述第一验证信息发送至云端数据库；

步骤102，获取云端数据库根据所述第一验证信息返回的第一目标客户信息，所述第一目标客户信息经过所述移动设备对应的公钥加密；

步骤103，采用自身私钥对所述第一目标客户信息进行解密，生成对应的第二目标客户信息；

步骤104，显示所述第二目标客户信息，并在预设时间内获取目标客户关于所述第二目标客户信息是否正确的判断结果，根据判断结果返回至步骤101或者执行步骤2。

在一个优选实施方式中，所述根据目标客户的至少一张实时人脸图像进行静默活体检测具体为：

步骤301，采用预先训练完成的人脸检测网络对每张实时人脸图像进行识别，生成每张实时人脸图像中预设关键点分别对应的特征图，所述预设关键点包括左眼、右眼、鼻尖、左嘴角和右嘴角；

步骤302，计算每张实时人脸图像中各个特征图的最大值，将所述最大值作为对应预设关键点的坐标，即生成每张实时人脸图像中左眼坐标、右眼坐标、鼻尖坐标、左嘴角坐标和右嘴角坐标；

步骤303，从所述预设关键点的坐标中选取目标关键点坐标，并采用预先训练完成的活体检测网络判断每张实时人脸图像对应的人脸是真实的还是伪造的；

步骤304，若每张实时人脸图像的判断结果均为人脸是真实的，则执行步骤4，否则返回步骤2。

在一个优选实施方式中，所述将目标客户的至少一张实时人脸图像与对应的预存人脸图像进行人脸对比具体为：

步骤401，采用预先训练完成的人脸特征提取模型对每张实时人脸图像进行人脸特征提取，生成每张实时人脸图像分别对应的128维度的归一化特征向量Xi，i的取值范围为(1，N)，N为所述实时人脸图像的数量；

步骤402，采用所述人脸特征提取模型对所述预存人脸图像进行人脸特征提取，生成预存人脸图像对应的128维度的归一化特征向量Xo；

步骤403，根据实时人脸图像对应的归一化特征向量Xi和预存人脸图像对应的归一化特征向量Xo计算实时人脸图像之间的第一相似度以及实时人脸图像和预存人脸图像之间的第二相似度，判断所述第一相似度和所述第二相似度是否满足至少一个预设通过条件，若全部满足，则判断通过人脸识别，否则返回至步骤2。

在一个优选实施方式中，采集所述目标客户的三张实时人脸图像，具体为：

步骤201，采集目标客户的第一实时人脸图像；

步骤202，控制自身设备旋转至第一预设角度，并采集所述目标客户的第二实时人脸图像；

步骤203，控制自身设备旋转至第二预设角度，并采集所述目标客户的第三实时人脸图像。

在一个优选实施方式中，所述预设通过条件包括：

条件一：

S₁₂＞0.9∩S₁₃＞0.9∩S₂₃＞0.9；

条件二：

S_1o＞0.7∩S_2o＞0.7∩S_3o＞0.7；

条件三：

max(S_1o，S_2o，S_3o)＞0.8；

其中，S₁₂表示第一实时人脸图像对应归一化特征向量X1和第二实时人脸图像对应归一化特征向量X2之间的相似度；

S₁₃表示第一实时人脸图像对应归一化特征向量X1和第三实时人脸图像对应归一化特征向量X3之间的相似度；

S₂₃表示第二实时人脸图像对应归一化特征向量X2和第三实时人脸图像对应归一化特征向量X3之间的相似度；

S_1o表示第一实时人脸图像对应归一化特征向量X1和预存人脸图像对应归一化特征向量Xo之间的相似度；

S_2o表示第二实时人脸图像对应归一化特征向量X2和预存人脸图像对应归一化特征向量Xo之间的相似度；

S_3o表示第三实时人脸图像对应归一化特征向量X3和预存人脸图像对应归一化特征向量Xo之间的相似度。

本发明实施例的第二方面提供了一种人脸识别装置，包括验证模块、采集模块、检测模块和对比模块，

所述验证模块用于获取目标客户已加密的第一目标客户信息，对所述第一目标客户信息进行解密，生成对应的第二目标客户信息，所述第二目标客户信息至少包括目标客户的预存人脸图像；

所述采集模块用于采集目标客户的至少一张实时人脸图像；

所述检测模块用于根据所述目标客户的至少一张实时人脸图像进行静默活体检测；

所述对比模块用于当所述静默活体检测的结果为真实人脸时，将所述目标客户的至少一张实时人脸图像与对应的预存人脸图像进行人脸对比，生成人脸识别结果。

在一个优选实施方式中，所述验证模块包括：

信息采集单元，用于采集目标客户的第一验证信息，将所述第一验证信息发送至云端数据库；

信息获取单元，用于获取云端数据库根据所述第一验证信息返回的第一目标客户信息，所述第一目标客户信息经过所述移动设备对应的公钥加密；

解密单元，用于采用自身私钥对所述第一目标客户信息进行解密，生成对应的第二目标客户信息；

第一执行单元，用于显示所述第二目标客户信息，并在预设时间内获取目标客户关于所述第二目标客户信息是否正确的判断结果，根据判断结果驱动采集单元或者驱动采集模块。

在一个优选实施方式中，所述检测模块具体包括：

识别单元，用于采用预先训练完成的人脸检测网络对每张实时人脸图像进行识别，生成每张实时人脸图像中预设关键点分别对应的特征图，所述预设关键点包括左眼、右眼、鼻尖、左嘴角和右嘴角；

坐标获取单元，用于计算每张实时人脸图像中各个特征图的最大值，将所述最大值作为对应预设关键点的坐标，即生成每张实时人脸图像中左眼坐标、右眼坐标、鼻尖坐标、左嘴角坐标和右嘴角坐标；

判断单元，用于从所述预设关键点的坐标中选取目标关键点坐标，并采用预先训练完成的活体检测网络判断每张实时人脸图像对应的人脸是真实的还是伪造的；

第二执行单元，用于若每张实时人脸图像的判断结果均为人脸是真实的，则驱动对比模块，否则驱动采集模块。

在一个优选实施方式中，所述对比模块具体包括：

第一特征提取单元，用于采用预先训练完成的人脸特征提取模型对每张实时人脸图像进行人脸特征提取，生成每张实时人脸图像分别对应的128维度的归一化特征向量Xi，i的取值范围为(1，N)，N为所述实时人脸图像的数量；

第二特征提取单元，用于采用所述人脸特征提取模型对所述预存人脸图像进行人脸特征提取，生成预存人脸图像对应的128维度的归一化特征向量Xo；

对比单元，用于根据实时人脸图像对应的归一化特征向量Xi和预存人脸图像对应的归一化特征向量Xo计算实时人脸图像之间的第一相似度以及实时人脸图像和预存人脸图像之间的第二相似度，判断所述第一相似度和所述第二相似度是否满足至少一个预设通过条件，若全部满足，则判断通过人脸识别。

在一个优选实施方式中，所述采集模块具体包括：

第一图像采集单元，用于采集目标客户的第一实时人脸图像；

第二图像采集单元，用于控制自身设备旋转至第一预设角度，并采集所述目标客户的第二实时人脸图像；

第三图像采集单元，用于控制自身设备旋转至第二预设角度，并采集所述目标客户的第三实时人脸图像。

本发明实施例的第三方面提供了一种移动设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以上所述人脸识别方法的步骤。

本发明实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现以上所述人脸识别方法的步骤。

本发明提供了一种人脸识别方法、装置、介质和移动设备，在用户人脸识别的过程中采用与第三方数据库对接的方式，减少对客户隐私数据的访问权限，并使用公私钥加密算法保护客户隐私。同时，针对智能机器人等移动设备，对活体检测方法进行改进，通过多角度采集用户图像信息，多条件验证人脸等方式，提高了人脸识别的准确性，防止用户身份被冒用。

为使发明的上述目的、特征和优点能更明显易懂，下文特举本发明较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是实施例1人脸识别方法的流程示意图；

图2是实施例1人脸识别方法中卷积块的结构示意图；

图3是实施例1人脸识别方法中残差块的结构示意图；

图4是实施例1人脸识别方法中全卷积神经网络的结构示意图；

图5是实施例1人脸识别方法中活体检测网络的结构示意图；

图6是实施例1人脸识别方法中人脸特征提取模型的结构示意图；

图7是实施例2人脸识别装置的结构示意图；

图8是实施例3迎宾机器人中控制器的电路结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，如果不冲突，本发明实施例中的各个特征可以相互结合，均在本发明的保护范围之内。另外，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。再者，本发明所采用的“第一”、“第二”、“第三”等字样并不对数据和执行次序进行限定，仅是对功能和作用基本相同的相同项或相似项进行区分。

本发明实施例的移动设备以迎宾机器人为例进行说明。机器人一般包括壳体、摄像头模块、传感器单元、驱动轮部件、存储部件及控制器。壳体的外形大体上呈圆形，在一些实施例中，壳体的外形可以大体上呈椭圆形、三角形、D形、柱形或其他形状。

传感器单元用于采集机器人的一些运动参数及环境空间各类数据。在一些实施例中，传感器单元包括激光雷达,激光雷达安装于壳体上方，其安装高度高于所述壳体的顶部面壳高度，激光雷达用于检测机器人与障碍物之间的障碍物距离。在一些实施例中，传感器单元还可以包括惯性测量单元(Inertialmeasurementunit，IMU)、陀螺仪、磁场计、加速度计或速度计、光学摄像头等等。

控制器分别与摄像头模块、左驱动轮、右驱动轮、全向轮及激光雷达电连接。控制器作为机器人的控制核心，用于控制机器人行走、后退以及一些业务逻辑比如人脸识别的处理。

在一些实施例中，控制器可以为通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、单片机、AR(AcornRISCMachine)或其它可编程逻辑器件、分立门或晶体管逻辑、分立的硬件组件或者这些部件的任何组合。还有，控制器还可以是任何传统处理器、控制器、微控制器或状态机。控制器也可以被实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器结合DSP和/或任何其它这种配置。

请参阅图1，为本发明实施例1提供一种人脸识别方法的流程示意图，应用于移动设备。本实施例以移动设备中的迎宾机器人为例来详细说明本方法步骤，其他实施例中，移动设备也可以是带人脸识别功能的引导车等等，方法类似不再重复说明。如图1所示，本实施例的人脸识别方法包括以下步骤：

步骤1，迎宾机器人获取目标客户已加密的第一目标客户信息，对所述第一目标客户信息进行解密，生成对应的第二目标客户信息，所述第二目标客户信息至少包括目标客户的预存人脸图像。优选实施例中，上述具体为:

步骤104，显示所述第二目标客户信息，并在预设时间内获取目标客户关于所述第二目标客户信息是否正确的判断结果，根据判断结果返回至步骤101或者执行步骤2。本实施例采用了公私钥加密的方式，在迎宾机器人运行前，事先将该迎宾机器人的公钥发送到外接的云端数据库中，比如云端客户数据库系统，通过云端数据库建立该迎宾机器人编号或者ID号和对应公钥的映射关系，从而对每个迎宾机器人的公钥进行管理。然后目标客户在迎宾机器人的触控面板上输入预留的第一验证信息，比如目标客户的访客号或者房间号等，迎宾机器人将该第一验证信息发送给对接的云端数据库。云端数据库判断该第一验证信息是否存在，若不存在，返回空，并提醒目标用户重新输入正确的第一验证信息；若第一验证信息存在，则云端数据库查询该迎宾机器人的编号或者ID号，从而获取对应的公钥，并通过该公钥对第一验证信息对应的客户信息，比如客户姓名、身份证号码以及预存人脸图像进行加密，生成该目标客户的第一目标客户信息，然后向对应的迎宾机器人返回此第一目标客户信息。

迎宾机器人接收到此第一目标客户信息后，采用自身私钥对所述第一目标客户信息进行解密，生成对应的第二目标客户信息，这样客户的敏感信息只能由对应的迎宾机器人访问到，保证信息传输的安全性。此时，迎宾机器人可以显示部分第二目标客户信息，比如在触控面板上只显示目标客户的姓名或者身份证号码，目标客户在预设时间内确认所显示的姓名或者身份证号码是否正确，若正确无误，则开始执行下一步人脸识别，若目标客户判断所显示姓名或者身份证号码有误，则返回步骤101再次采集目标客户的第一验证信息，直至目标客户确认无误后执行人脸识别步骤，或者目标客户放弃进行人脸识别。

然后执行步骤2，迎宾机器人采集目标客户的至少一张实时人脸图像。优选实施例中采集所述目标客户的三张实时人脸图像，具体为：

步骤201，迎宾机器人采集目标客户的第一实时人脸图像；

步骤202，迎宾机器人控制自身设备旋转至第一预设角度，并采集所述目标客户的第二实时人脸图像；

步骤203，迎宾机器人控制自身设备旋转至第二预设角度，并采集所述目标客户的第三实时人脸图像。该优选实施例中，迎宾机器人可以采集目标宾客多个角度的实时人脸图像，具体来说，迎宾机器人的触控面板显示摄像头实时捕获的目标宾客的实时人脸图像，此时目标宾客通常是正面面向迎宾机器人，迎宾机器人的触控面板会显示预设方框，从而提醒目标宾客调整姿势以便宾客的人脸落入该预设方框内，生成目标宾客的第一实时人脸图像。然后迎宾机器人的控制器会控制迎宾机器人本体轻微左旋转5-10度，并提醒用户保持位置和姿势不变，采集目标宾客的第二实时人脸图像，然后控制迎宾机器人本体轻微右旋转10-20度，采集目标宾客的第三实时人脸图像，从而采集到目标宾客多个角度的实时人脸图像。

然后执行步骤3，迎宾机器人根据所述目标客户的至少一张实时人脸图像进行静默活体检测。

活体检测技术主要判别机器前出现的人脸是真实的还是伪造的，其中借助其他媒介呈现的人脸都可以定义为虚假的人脸，包括打印的照片、显示屏幕视频、硅胶面具、立体的3D人像等。目前主流的活体检测方案为动态活体检测和静默活体检测等。动态活体检测需要用户根据提示完成指定的动作，比如张嘴、眨眼等，然后进行活体校验。静默活体检测与动态活体检测相反，在没有动作配合下判断到底是不是一个真活体，不仅在技术上实现难度更高，在实际应用中对准确性要求也更高。

一个优选实施例中，迎宾机器人根据实时人脸图像进行静默活体检测包括以下步骤：

步骤301，迎宾机器人采用预先训练完成的人脸检测网络对每张实时人脸图像进行识别，生成每张实时人脸图像中预设关键点分别对应的特征图，所述预设关键点包括左眼、右眼、鼻尖、左嘴角和右嘴角。

步骤302，迎宾机器人计算每张实时人脸图像中各个特征图的最大值，将所述最大值作为对应预设关键点的坐标，即生成每张实时人脸图像中左眼坐标、右眼坐标、鼻尖坐标、左嘴角坐标和右嘴角坐标。

优选实施例中，人脸检测网络采用全卷积神经网络回归步骤301中采集实时人脸图像中人脸的5个关键点，包括左眼、右眼、鼻尖、左嘴角和右嘴角。该全卷积神经网络由卷积块和残差块等基础组件堆叠而成，卷积块的结构如图2所示，包括依次连接的卷积层、批归一化层和激活层；残差块的结构如图3所示，包括依次连接的四个卷积块。该实施例的中，完整的全卷积神经网络结构如图4所示，

将待检测的实时人脸图像放入人脸检测网络中，得到大小为5*80*80的特征图FeatureMap，分别对应左右眼，鼻尖，左右嘴角的位置响应。取每张特征图FeatureMap的最大值作为人脸特征点位置及置信度。其计算公式如下：

(x，y)_c，value_c＝argmax(OutMap_c)，max(OutMap_c)

其中：

c＝eye_left，eye_right，noise，lips_left，lips_right，

分别表示左眼，右眼，鼻尖，左嘴角和右嘴角。argmax函数返回值为特征图中最大值的所在位置，即行数和列数。

然后执行步骤303，迎宾机器人从所述预设关键点的坐标中选取目标关键点坐标，并采用预先训练完成的活体检测网络判断每张实时人脸图像对应的人脸是真实的还是伪造的。

根据步骤302检测出的人脸预设关键点坐标，选取目标关键点坐标(x1，y1，x2，y2)做活体检测。目标关键点坐标定义如下：

其中x_eyeleft表示左眼x坐标，x_lipsleft表示左嘴角x坐标，y_eyeleft表示左眼y坐标，y_eyeright表示右眼y坐标，x_eyeright表示右眼x坐标，x_lipsright表示右嘴角x坐标，y_lipsleft表示左嘴角y坐标，y_uipsright表示右嘴角y坐标。

根据上述公式将目标关键点位置提取出来，经过活体检测网络判定是否为真人还是照片。一个优选实施例中，活体检测网络的网络结构如图5所示，包括依次连接的输入层、DFT层、归一化层和三个全连接层，其中DFT层是对图片进行离散傅立叶变换，归一化层将输入图片尺寸缩放到15*15尺寸上，最终网络输出结果Out[1],Out[2]。判断是否为真人的方法如下：

其中，Score表示是真人的置信度，本发明取Score大于0.7时为真人。一个优选实施例中，当采集的3张实时人脸图像中提取的目标关键点坐标经过活体检测网络后真人的置信度皆大于0.7时，判定此人为真人，反之活体检测不通过，重新采集人脸数据。

最后执行步骤4，当所述静默活体检测的结果为真实人脸时，迎宾机器人将目标客户的至少一张实时人脸图像与对应的预存人脸图像进行人脸对比，生成人脸识别结果。一个优选实施例中，包括以下步骤：

步骤401，迎宾机器人采用预先训练完成的人脸特征提取模型对每张实时人脸图像进行人脸特征提取，生成每张实时人脸图像分别对应的128维度的归一化特征向量Xi，i的取值范围为(1，N)，N为所述实时人脸图像的数量。一个优选实施例中，该人脸特征提取模型的结构如图6所示。

步骤402，迎宾机器人采用所述人脸特征提取模型对所述预存人脸图像进行人脸特征提取，生成预存人脸图像对应的128维度的归一化特征向量Xo。

步骤403，迎宾机器人根据实时人脸图像对应的归一化特征向量Xi和预存人脸图像对应的归一化特征向量Xo计算实时人脸图像之间的第一相似度以及实时人脸图像和预存人脸图像之间的第二相似度，相似度计算公式为：

S_ij＝X_i*X_j；

i的取值范围为(1，N)，N为所述实时人脸图像的数量，j的取值范围为(1，N)以及j可以为o。

然后判断所述第一相似度和所述第二相似度是否满足至少一个预设通过条件，若全部满足，则判断通过人脸识别，否则返回至步骤2。

一个以上所述的优选实施例采集不同角度的三张实时人脸图像。此时环境变化较小，因此可以将预设通过条件设置为：

条件一：

S₁₂＞0.9∩S₁₃＞0.9∩S₂₃＞0.9；

条件二：

S_1o＞0.7∩S_2o＞0.7∩S_3o＞0.7；

条件三：

max(S_1o，S_2o，S_3o)＞0.8；

其中，S₁₂表示第一实时人脸图像对应归一化特征向量X1和第二实时人脸图像对应归一化特征向量X2之间的相似度；S₁₃表示第一实时人脸图像对应归一化特征向量X1和第三实时人脸图像对应归一化特征向量X3之间的相似度；S₂₃表示第二实时人脸图像对应归一化特征向量X2和第三实时人脸图像对应归一化特征向量X3之间的相似度；S_1o表示第一实时人脸图像对应归一化特征向量X1和预存人脸图像对应归一化特征向量Xo之间的相似度；S_2o表示第二实时人脸图像对应归一化特征向量X2和预存人脸图像对应归一化特征向量Xo之间的相似度；S_3o表示第三实时人脸图像对应归一化特征向量X3和预存人脸图像对应归一化特征向量Xo之间的相似度。上述相似度越接近于1，表示越相似。当满足上述三个条件时，通过人脸识别，反之重新检测。

以上实施例提供了一种人脸识别方法，在用户人脸识别的过程中采用与第三方数据库对接的方式，减少对客户隐私数据的访问权限，并使用公私钥加密算法保护客户隐私。同时，针对智能机器人等移动设备，对活体检测方法进行改进，通过多角度采集用户图像信息，多条件验证人脸等方式，提高了人脸识别的准确性，防止用户身份被冒用。

需要说明的是，在上述各个实施例中，上述各步骤之间并不必然存在一定的先后顺序，本领域普通技术人员，根据本发明实施例的描述可以理解，不同实施例中，上述各步骤可以有不同的执行顺序，亦即，可以并行执行，亦可以交换执行等等。

作为本发明实施例的另一方面，本发明实施例还提供一种人脸识别装置。其中，人脸识别装置可以为软件模块，所述软件模块包括若干指令，其存储在存储器内，处理器可以访问该存储器，调用指令进行执行，以完成上述各个实施例所阐述的人脸识别方法。

在一些实施例中，人脸识别装置亦可以由硬件器件搭建成的，例如，人脸识别装置可以由一个或两个以上的芯片搭建而成，各个芯片可以互相协调工作，以完成上述各个实施例所阐述的人脸识别方法。再例如，人脸识别装置还可以由各类逻辑器件搭建而成，诸如由通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、单片机、ARM(AcornRISCMachine)或其它可编程逻辑器件、分立门或晶体管逻辑、分立的硬件组件或者这些部件的任何组合而搭建成。

图7是本发明实施例提供一种人脸识别装置的结构示意图，该人脸识别装置包括验证模块100、采集模块200、检测模块300和对比模块400，

所述验证模块100用于获取目标客户已加密的第一目标客户信息，对所述第一目标客户信息进行解密，生成对应的第二目标客户信息，所述第二目标客户信息至少包括目标客户的预存人脸图像；

所述采集模块200用于采集目标客户的至少一张实时人脸图像；

所述检测模块300用于根据所述目标客户的至少一张实时人脸图像进行静默活体检测；

所述对比模块400用于当所述静默活体检测的结果为真实人脸时，将所述目标客户的至少一张实时人脸图像与对应的预存人脸图像进行人脸对比，生成人脸识别结果。

在一个优选实施方式中，所述验证模块100包括：

信息采集单元101，用于采集目标客户的第一验证信息，将所述第一验证信息发送至云端数据库；

信息获取单元102，用于获取云端数据库根据所述第一验证信息返回的第一目标客户信息，所述第一目标客户信息经过所述移动设备对应的公钥加密；

解密单元103，用于采用自身私钥对所述第一目标客户信息进行解密，生成对应的第二目标客户信息；

第一执行单元104，用于显示所述第二目标客户信息，并在预设时间内获取目标客户关于所述第二目标客户信息是否正确的判断结果，根据判断结果驱动采集单元或者驱动采集模块。

在一个优选实施方式中，所述检测模块300具体包括：

识别单元301，用于采用预先训练完成的人脸检测网络对每张实时人脸图像进行识别，生成每张实时人脸图像中预设关键点分别对应的特征图，所述预设关键点包括左眼、右眼、鼻尖、左嘴角和右嘴角；

坐标获取单元302，用于计算每张实时人脸图像中各个特征图的最大值，将所述最大值作为对应预设关键点的坐标，即生成每张实时人脸图像中左眼坐标、右眼坐标、鼻尖坐标、左嘴角坐标和右嘴角坐标；

判断单元303，用于从所述预设关键点的坐标中选取目标关键点坐标，并采用预先训练完成的活体检测网络判断每张实时人脸图像对应的人脸是真实的还是伪造的；

第二执行单元304，用于若每张实时人脸图像的判断结果均为人脸是真实的，则驱动对比模块，否则驱动采集模块。

在一个优选实施方式中，所述对比模块400具体包括：

第一特征提取单元401，用于采用预先训练完成的人脸特征提取模型对每张实时人脸图像进行人脸特征提取，生成每张实时人脸图像分别对应的128维度的归一化特征向量Xi，i的取值范围为(1，N)，N为所述实时人脸图像的数量；

第二特征提取单元402，用于采用所述人脸特征提取模型对所述预存人脸图像进行人脸特征提取，生成预存人脸图像对应的128维度的归一化特征向量Xo；

对比单元403，用于根据实时人脸图像对应的归一化特征向量Xi和预存人脸图像对应的归一化特征向量Xo计算实时人脸图像之间的第一相似度以及实时人脸图像和预存人脸图像之间的第二相似度，判断所述第一相似度和所述第二相似度是否满足至少一个预设通过条件，若全部满足，则判断通过人脸识别。

在一个优选实施方式中，所述采集模块200具体包括：

第一图像采集单元201，用于采集目标客户的第一实时人脸图像；

第二图像采集单元202，用于控制自身设备旋转至第一预设角度，并采集所述目标客户的第二实时人脸图像；

第三图像采集单元203，用于控制自身设备旋转至第二预设角度，并采集所述目标客户的第三实时人脸图像。

上述实施例提供了一种人脸识别装置，在用户人脸识别的过程中采用与第三方数据库对接的方式，减少对客户隐私数据的访问权限，并使用公私钥加密算法保护客户隐私。同时，针对智能机器人等移动设备，对活体检测方法进行改进，通过多角度采集用户图像信息，多条件验证人脸等方式，提高了人脸识别的准确性，防止用户身份被冒用。

需要说明的是，上述人脸识别装置可执行本发明实施例所提供的人脸识别方法，具备执行方法相应的功能模块和有益效果。未在人脸识别装置实施例中详尽描述的技术细节，可参见本发明实施例所提供的人脸识别方法。

图8是本发明实施例提供的一种移动设备中控制器的电路结构示意图。如图8所示，该控制器600包括一个或多个处理器61以及存储器62。其中，图8中以一个处理器61为例。处理器61和存储器62可以通过总线或者其他方式连接，图3中以通过总线连接为例。

存储器62作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的人脸识别方法对应的程序指令/模块。处理器61通过运行存储在存储器62中的非易失性软件程序、指令以及模块，从而执行人脸识别装置的各种功能应用以及数据处理，即实现上述方法实施例提供的人脸识别方法以及上述装置实施例的各个模块或单元的功能。

存储器62可包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器62可选包括相对于处理器61远程设置的存储器，这些远程存储器可以通过网络连接至处理器61。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述程序指令/模块存储在所述存储器62中，当被所述一个或者多个处理器61执行时，执行上述任意方法实施例中的人脸识别方法。

本发明实施例还提供了一种非易失性计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，例如图8中的一个处理器61，可使得上述一个或多个处理器可执行上述任意方法实施例中的人脸识别方法。

本发明实施例还提供了一种计算机程序产品，所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被电子设备执行时，使所述电子设备执行任一项所述的人脸识别方法。

以上所描述的装置或设备实施例仅仅是示意性的，其中所述作为分离部件说明的单元模块可以是或者也可以不是物理上分开的，作为模块单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络模块单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims

1.一种人脸识别方法，应用于移动设备，其特征在于，包括以下步骤：

步骤2，采集目标客户的三张实时人脸图像，包括第一实时人脸图像、第二实时人脸图像和第三实时人脸图像；

步骤4，当所述静默活体检测的结果为真实人脸时，将所述目标客户的三张实时人脸图像与对应的预存人脸图像进行人脸对比，生成人脸识别结果，具体为：

步骤403，根据实时人脸图像对应的归一化特征向量Xi和预存人脸图像对应的归一化特征向量Xo计算实时人脸图像之间的第一相似度以及实时人脸图像和预存人脸图像之间的第二相似度，判断所述第一相似度和所述第二相似度是否满足至少一个预设通过条件，若全部满足，则判断通过人脸识别，否则返回至步骤2；

所述预设通过条件包括：

条件一：

S₁₂＞0.9∩S₁₃＞0.9∩S₂₃＞0.9；

条件二：

S_1o＞0.7∩S_2o＞0.7∩S_3o＞0.7；

条件三：

max(S_1o，S_2o，S_3o)＞0.8；

2.根据权利要求1所述人脸识别方法，其特征在于，所述获取目标客户已加密的第一目标客户信息，对所述第一目标客户信息进行解密，生成对应的第二目标客户信息具体为：

3.根据权利要求1所述人脸识别方法，其特征在于，所述根据目标客户的至少一张实时人脸图像进行静默活体检测具体为：

4.根据权利要求1-3任一所述人脸识别方法，其特征在于，采集所述目标客户的三张实时人脸图像，具体为：

步骤201，采集目标客户的第一实时人脸图像；

5.一种人脸识别装置，利用权利要求1-4任一所述的人脸识别方法，其特征在于，包括验证模块、采集模块、检测模块和对比模块，所述验证模块用于获取目标客户已加密的第一目标客户信息，对所述第一目标客户信息进行解密，生成对应的第二目标客户信息，所述第二目标客户信息至少包括目标客户的预存人脸图像；

所述采集模块用于采集目标客户的三张实时人脸图像，包括第一实时人脸图像、第二实时人脸图像和第三实时人脸图像；

所述对比模块用于当所述静默活体检测的结果为真实人脸时，将所述目标客户的三张实时人脸图像与对应的预存人脸图像进行人脸对比，生成人脸识别结果；

所述对比模块具体包括：

第一特征提取单元，用于采用预先训练完成的人脸特征提取模型对每张实时人脸图像进行人脸特征提取，生成每张实时人脸图像分别对应的128维度的归一化特征向量Xi，i的取值范围为(1，N)，N为所述实时人脸图像的数量；第二特征提取单元，用于采用所述人脸特征提取模型对所述预存人脸图像进行人脸特征提取，生成预存人脸图像对应的128维度的归一化特征向量Xo；

6.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1-4任一项所述人脸识别方法。

7.一种移动设备，其特征在于，包括权利要求6所述的计算机可读存储介质和处理器，所述处理器执行所述计算机可读存储介质上的计算机程序时实现如权利要求1-4任一项所述人脸识别方法的步骤。