CN110175572A - 人脸图像处理方法及装置、电子设备及存储介质 - Google Patents

Abstract

本发明实施例公开一种人脸图像处理方法及装置、电子设备及存储介质。所述方法包括：输出第一提示信息，其中，所述第一提示信息用于提示用户进行多角度人脸图像采集；在输出所述第一提示信息后，对所述用户进行人脸图像采集；确定采集的人脸图像的实际人脸角度；响应于所述实际人脸角度满足期望人脸角度的情况，根据所述采集的人脸图像建立所述用户的人脸特征库。

Description

人脸图像处理方法及装置、电子设备及存储介质

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种人脸图像处理方法及装置、电子设备及存储介质。

背景技术

人脸验证是一种生识别认证方法，由于每个人的人脸的不同，从而可以很好的区分不同的用户。但是在一些情况下，虽然是合法用户，确有无法验证通过的现象出现；在某些情况下这种现象还连续好些次发生，导致合法用户的验证通过失败率高的现象。

发明内容

有鉴于此，本发明实施例期望提供一种人脸图像处理方法及装置、电子设备及存储介质。

本发明的技术方案是这样实现的：

一种人脸图像处理方法，包括：

输出第一提示信息，其中，所述第一提示信息用于提示用户进行多角度人脸图像采集；

在输出所述第一提示信息后，对所述用户进行人脸图像采集；

确定采集的人脸图像的实际人脸角度；

响应于所述实际人脸角度满足期望人脸角度的情况，根据所述采集的人脸图像建立所述用户的人脸特征库。

基于上述方案，所述确定采集的人脸图像的实际人脸角度，包括：

利用深度学习模型确定当前采集的人脸图像的所述实际人脸角度。

基于上述方案，所述输出第一提示信息，包括：

在第一类界面，输出进行多角度人脸图像采集的所述第一提示信息。

基于上述方案，所述在第一类界面，输出进行多角度人脸图像采集的所述第一提示信息，包括以下至少之一：

在所述第一类界面，输出文字提示；

在所述第一类界面，输出动画提示；

在所述第一类界面，输出图像提示；

在所述第一类界面，输出视频演示。

基于上述方案，所述在输出所述第一提示信息后，进行人脸图像采集，包括：

在所述第一提示信息后，从所述第一类界面进入到第二类界面；

在所述第二类界面进行人脸图像采集；

在所述第二类界面人脸图像采集过程中显示人脸图像的预览。

基于上述方案，所述方法还包括：

在所述第二类界面输出第二提示信息，其中，所述第二提示信息用于提示所述期望人脸角度。

基于上述方案，所述方法还包括：

在所述第二类界面输出当前期望人脸角度；

所述方法还包括：

在完成当前人脸图像采集后，确定所述当前人脸图像的实际人脸角度满足所述当前期望人脸角度。

基于上述方案，所述方法还包括：

响应于当前采集的人脸图像的实际人脸角度不满足所述当前期望人脸角度的情况，输出第三提示信息，其中，所述第三提示信息用于提示向所述当前期望人脸角度调整的转动提示；

采集并接收用户按照所述转动提示调整后的人脸图像。

基于上述方案，所述方法还包括：

响应于当前人脸图像的实际人脸角度满足所述当前期望人脸角度，且所述当前期望人脸角度不是最后一个所述期望人脸角度的情况，则采集下一个期望人脸角度的人脸图像；

或者，

响应于当前人脸图像的实际人脸角度满足所述当前期望人脸角度范围，且所述当前期望人脸角度范围是最后一个所述期望人脸角度的情况，则结束所述人脸图像的采集。

基于上述方案，在所述确定采集的人脸图像的实际人脸角度的步骤之后，所述方法还包括：

在采集的多张人脸图像后，确定每个所述期望人脸角度是否有至少一张所述人脸图像的所述实际人脸角度满足。

基于上述方案，所述响应于所述实际人脸角度满足期望人脸角度的情况，根据所述采集的人脸图像建立所述用户的人脸特征库，包括：

响应于每个所述期望人脸角度至少有一张所述人脸图像的所述实际人脸角满足的情况，基于采集到的人脸图像建立人脸特征库。

基于上述方案，所述方法还包括：

响应于至少一个所述期望人脸角度范围未有所述人脸图像的实际人脸角度满足，保持在所述第二类界面；

按照所述第二类界面显示的内容继续采集人脸图像。

基于上述方案，所述响应于每个所述期望人脸角度范围至少有一张所述人脸图像的所述实际人脸角满足的至少被一张人脸图像的实际角度所满足的情况，基于采集到的人脸图像建立人脸特征库，包括：

响应于每个所述期望人脸角度范围至少有一张所述人脸图像的所述实际人脸角满足的至少被一张人脸图像的实际角度所满足的情况，提取不同实际人脸角度的人脸图像中的人脸特征；

基于所述人脸特征，建立人脸特征库。

一种人脸图像处理装置，包括：

第一输出模块，用于输出第一提示信息，其中，所述第一提示信息用于提示用户进行多角度人脸图像采集；

采集模块，用于在输出所述第一提示信息后，对所述用户进行人脸图像采集；

第一确定模块，用于确定采集的人脸图像的实际人脸角度；

建立模块，用于响应于所述实际人脸角度满足期望人脸角度的情况，根据所述采集的人脸图像建立所述用户的人脸特征库。

基于上述方案，所述第一确定模块，具体用于利用深度学习模型确定当前采集的人脸图像的所述实际人脸角度；其中，若所述实际人脸角度位于所述期望角度内，则所述实际人脸角度满足所述期望人脸角度。

基于上述方案，所述第一输出模块，具体用于在第一类界面，输出进行多角度人脸图像采集的所述第一提示信息。

基于上述方案，所述第一输出模块，具体用于执行以下至少之一：

在所述第一类界面，输出文字提示；

在所述第一类界面，输出动画提示；

在所述第一类界面，输出图像提示；

在所述第一类界面，输出视频演示。

基于上述方案，所述装置还包括：

显示模块，用于在所述第一提示信息后，从所述第一类界面进入到第二类界面；

采集模块，具体用于在所述第二类界面进行人脸图像采集；

所述显示模块，还用于在所述第二类界面人脸图像采集过程中显示人脸图像的预览。

基于上述方案，所述装置还包括：

第二输出模块，用于在所述第二类界面输出第二提示信息，其中，所述第二提示信息用于提示所述期望人脸角度。

基于上述方案，所述装置还包括：

第二输出模块，还用于在所述第二类界面输出当前期望人脸角度；

第二确定模块，具体用于在完成当前人脸图像采集后，确定所述当前人脸图像的实际人脸角度是否为所述当前期望人脸角度。

基于上述方案，所述装置还包括：

第三输出模块，用于响应于当前采集的人脸图像的实际人脸角度不满足所述当前期望人脸角度的情况，输出第三提示信息，其中，所述第三提示信息用于提示向所述当前期望人脸角度调整的转动提示；

所述采集模块，还用于采集并接收用户按照所述转动提示调整后的人脸图像。

基于上述方案，所述采集模块，用于响应于当前人脸图像的实际人脸角度满足所述当前期望人脸角度，且所述当前期望人脸角度不是最后一个所述期望人脸角度的情况，则采集下一个期望人脸角度的人脸图像；

或者，

所述采集模块，还用于响应于当前人脸图像的实际人脸角度满足所述当前期望人脸角度，且所述当前期望人脸角度是最后一个所述期望人脸角度的情况，则结束所述人脸图像的采集。

基于上述方案，所述第二确定模块，具体用于在采集的多张人脸图像后，确定每个所述期望人脸角度是否有至少一张所述人脸图像的所述实际人脸角度满足。

基于上述方案，所述建立模块，具体用于响应于每个所述期望人脸角度范围至少有一张所述人脸图像的所述实际人脸角满足的至少被一张人脸图像的实际角度所满足的情况，基于采集到的人脸图像建立人脸特征库。

基于上述方案，所述装置还包括：

保持模块，用于响应于至少一个所述期望人脸角度范围未有所述人脸图像的实际人脸角度满足的情况，保持在所述第二类界面；

所述采集模块，具体用于按照所述第二类界面显示的内容继续采集人脸图像。

基于上述方案，所述建立模块，具体用于响应于每个所述期望人脸角度范围至少有一张所述人脸图像的所述实际人脸角满足的至少被一张人脸图像的实际角度所满足的情况，提取不同实际人脸角度的人脸图像中的人脸特征；基于所述人脸特征，建立人脸特征库。

一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令；所述计算机可执行指令被处理器执行后，能够实现前述任意实施例提供的人脸图像处理方法。

一种电子设备，包括：

存储器；

处理器，与所述存储器连接，用于通过执行存储在所述存储器上的计算机可执行指令，能够实现前述任意实施例提供的人脸图像处理方法。

本发明实施例提供的技术方案，在建立人脸特征库的时候，会从多个人脸角度的人脸图像；基于不同期望人脸角度的人脸图像可以建立不同人脸角度的人脸特征库。如此，在利用该人脸特征库进行人脸认证，则可以不要求一定要以正脸角度采集人脸图像，若采集到用户的侧脸图像，在人脸特征库中也有相应的侧脸图像中提取的人脸特征进行匹配认证，从而一方面可以提升人脸认证的成功率，且可以有效提升人脸认证的效率。

附图说明

图1为本发明实施例提供的第一种人脸图像处理方法的流程示意图；

图2A为本发明实施例提供的一种正脸图像的效果示意图；

图2B为本发明实施例提供的一种低头人脸图像的效果示意图；

图2C为本发明实施例提供的一种侧脸图像的效果示意图；

图2D为本发明实施提供的另一种侧脸图像的效果示意图；

图3为本发明实施例提供的第二种人脸图像处理方法的流程示意图；

图4为本发明实施例提供的一种人脸图像处理装置的结构示意图；

图5为本发明实施例提供的第三种人脸图像处理方法的流程示意图；

图6为本发明实施例提供的一种人脸录入的预览界面示意图；

图7为本发明实施例提供的一种人脸录入的录入界面示意图；

图8为本发明实施例提供的另一种人脸录入的录入界面示意图；

图9为本发明实施例提供的一种基于坐标系的人脸角度确定示意图；

图10为本发明实施例提供的一种人脸图像的录入完成界面示意图；

图11为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

以下结合说明书附图及具体实施例对本发明的技术方案做进一步的详细阐述。

如图1所示，本实施例提供一种人脸图像处理方法，包括：

步骤S110：输出第一提示信息，其中，所述第一提示信息用于提示用户进行多角度人脸图像采集；

此处的输出第一提示信息包括：电子设备以各种方式向用户展示第一提示信息，例如，音频输出第一提示信息、显示输出第一提示信息、和/或，音频和图像同步输出第一提示信息等。

第一提示信息的信息内容的类型，可为单一类型的信息内容，也可以多类型的信息内容。例如，所述第一提示信息的类型，可为：语音类型、文字类型、图像类型、和/或视频类型中的一个或多个。对于第一提示信息的内容和类型还可以有其他形式，这里不作具体限定。

总之，此处的第一提示信息，可以提示用于如何进行多个角度的人脸图像的采集。

步骤S120：在输出所述第一提示信息后，对所述用户进行人脸图像采集。

例如，在输出第一提示信息后间隔或不间隔预定时间，利用一个或多个摄像头进行人脸图像的采集。

步骤S130：确定采集的人脸图像的实际人脸角度。

通过人脸特征的提取，确定人脸图像的实际人脸角度；具体如，利用深度学习模型或机器学习模型等处理所述人脸图像得到所述人脸特征，进而根据所述人脸特征确定出所述实际人脸角度；该人脸特征各种可用于实际人脸角度相关的特征，例如，描述人脸图像中展示的眼睛数量和/或，在人脸图像包含有两只眼睛时，两只眼睛的是否对称等人脸特征。

步骤S140：响应于所述实际人脸角度满足期望人脸角度的情况，根据所述采集的人脸图像建立所述用户的人脸特征库。

此处，建立所述人脸特征库包括但不限于：提取人脸特征，建立所述人脸特征与所述用户的用户标识之间的对应关系，并存储到用户的人脸特征库中。例如，为每一个用户建立一个人脸特征库，后续在进行人脸验证时，可以根据用户标识检索到该用户的人脸特征库，从该人脸特征库中提取出该用户不同人脸角度的特征。

在本实施例中，提供的人脸图像处理方法可以应用于各种电子设备中。该电子设备可为：移动终端或固定终端。所述移动终端可包括：手机、平板电脑或可穿戴式设备等，该人脸认证可以用于移动终端的解锁、移动终端的网络支付、或者，移动终端中某一项或多项功能的授权等。

所述固定终端可包括：门禁终端或者取款终端等固定安装在特定位置的终端设备。

在本实施例中，所述人脸角度可以是相对于正脸图像中展示的正脸而言的。正脸可以为：用户人脸正面朝向摄像头时的脸部，那么正脸图像可以为：用户正脸朝向摄像头时采集的图像。

假设正脸图像包含的正脸成像角度为0度，则人脸向左右偏转和低头和抬头都会产生偏转度。例如，若假设向右偏转为在x轴上的正偏转角，则向左偏转为在x轴上的负偏转角。若抬头是在y轴上的正人脸角度，则低头是在y轴上的负偏转角。x轴和y轴为相互垂直的两个轴。故在一些实施例中，所述人脸角度可为一个二维的向量，包含两个元素，分别是在x轴和y轴上的偏转值。

在另一些实施例中，所述人脸角度还可以是一个三维的向量，包含三个元素，这三个元素分别对应了三维直角坐标系(x轴、y轴及z轴)上的偏转角。

在还有一些实施例中，所述人脸角度还可以是单一角度值，例如，以人体躯干中心线为轴，计算从颈部到头顶的头部中心线相对躯干中心线之间的夹角，该夹角可以单独作为所述人脸角度。

在本实施例中，电子设备会自动识别出所述人脸角度，该人脸角度为人脸在人脸图像中的偏转程度。

在进行一个目标对象的人脸特征的录入时，可采集一张或多张人脸图像。优选地，可采集至少两张人脸图像，且此处的至少两张人脸图像的人脸角度不同，例如，有的人脸图像是正脸图像，有的是侧脸图像。且侧脸图像还可以细分为：左脸图像和/或右脸图像。在一些实施例中，所述人脸图像还可包括：抬头图像和低头图像。抬头图像为：用户在抬头时采集的图像。所述低头头像为：用户在低头时采集的图像。

图2A所示为一种正脸图像，图2B所示为一种低头图像，图2C和图2D为不同侧脸朝向的侧脸图像。

在本实施中，输出的第一提示信息，用于提示用户需要进行多角度的人脸图像采集。

例如，此处的多角度可为3个角度；具体如，所述多角度的人脸图像采集可包括：正脸角度的人脸图像采集，左脸角度的人脸图像采集；右脸角度的人人脸图像采集。

再例如，此处的多角度还可为5个角度，具体例如，所述多角度的人脸图像采集可包括：正脸角度的人脸图像采集，左脸角度的人脸图像采集；右脸角度的人人脸图像采集、抬头角度的人脸图像采集及低头角度的人脸图像采集。

通过所述第一提示信息的输出，提示用户需要进行多角度的人脸图像采集，从而提升了用户体验。

在输出所述第一提示信息后，进入到正式的人脸图像采集阶段进行多角度的人脸图像采集。

在采集到对应的人脸图像后，电子设备会自动判断当前采集的人脸图像的实际人脸角度是否满足所述当前期望人脸角度。期望人脸角度可为电子设备预先确定的，例如，从服务器接收的所述期望人脸角度，或者，基于用户输入确定的期望人脸角度。

若电子设备确定出实际人脸角度满足所述当前期望人脸角度，则可认为当前采集的人脸图像是建立人脸特征库所需的人脸图像，从而可以减少因为采集的不正确的角度的人脸图像导致后续人脸认证过程中的合法用户的失败率高的现象，从而再次通过实际人脸角度是否满足所述当前期望人脸角度的确定，使得人脸特征库的人脸特征更加完整，减少遗漏某一个特定期望人脸角度导致的该角度的人脸特征的缺失导致的失败的现象。

在一些实施例中，如图3所示，所述步骤S130可包括：

步骤S131：利用深度学习模型确定当前采集的人脸图像的所述实际人脸角度。

在本实施例中利用深度学习模型来确定采集的人脸图像的实际采集角度。

所述深度学习模型包括但不限于各种类型的神经网络，例如，卷积神经网络或全连接网络等。

在一些实施例中，识别采集的人脸图像的实际人脸角度的还可以机器学习模型，不限于所述深度学习模型。

由于深度学习模型是使用大量的训练数据训练出的智能模型，具有人脸图像的实际人脸角度的确定精确度高及确定速度快的特点。

在一些实施例中，可以将所述采集的人脸图像中输入到所述深度学习模型中，所述深度学习模型自动识别出所述实际人脸角度，再与期望人脸角度进行比较，确定所述实际人脸角度是否满足所述期望人脸角度，若是，则可认为所述实际人脸角度满足所述期望角度。

例如，所述深度学习模型识别所述实际人脸角度的方式有多种，以下提供一种可选方式：

深度学习模型从所述人脸图像中提取出人脸关键点；

根据人脸关键点的分布，确定出人脸相对于正脸的偏转角度，如此就识别出了采集的人脸图像的实际人脸角度。

所述人脸关键点包括但不限于以下之一：

人脸外轮廓的轮廓关键点，

人脸五官的五官关键点，例如，鼻子的关键点、眼睛的关键点、唇部的关键点、眉毛的关键点等。

在另一些实施例中，将采集的人脸图像和具有所述期望人脸角度的参考图像一同输入到所述深度学习模型，所述深度学习模型可以直接确定出采集的人脸图像和所述参考图像中的人脸角度的角度差是否在预设内，从而确定实际采集角度是否满足期望人脸角度。

在本实施例中，所述实际人脸角度满足所述期望人脸角度可包括以下至少之一：

若所述期望人脸角度仅包括一个角度值，则所述实际人脸角度与所述期望人脸角度相同；

若所述期望人脸角度仅包括一个角度值，则所述实际人脸角度与所述期望人脸角度的角度差异在预定角度范围内；

若所述期望人脸角度包括两个以上离散的多个角度，则所述实际人脸角度与所述期望人脸角度任意一个角度相同，即认为：实际人脸角度满足所述期望人脸角度；

若所述期望人脸角度为一个连续的角度，则该期望人脸角度对应的是一个期望人脸角度范围，则所述实际人脸角度位于所述期望人脸角度范围内，即认为实际人脸角度满足所述期望人脸角度。

该预定角度可满足所述当前期望人脸角度的正负预定度数，该预定度数可为0到15度之间，例如，正负10度、正负5度或正负12度等。

在一些场景下，本实施例的人脸图像处理方法可以应用于应用程序中，或者电子设备中，并显示在图形用户界面中，该图像用户界面例如下各个实施例所述的第一类界面及第二类界面等。例如，所述步骤S110可包括：

在第一类界面，输出进行多角度人脸图像采集的所述第一提示信息。

在第一类界面，输出第一提示信息；如此，用户在正式进行人脸图像采集之前，可以在第一类界面收看所述第一提示信息。

例如，用户可以手动触发电子设备是否退出所述第一类界面，若用户认为完全理解了所述第一提示信息，可以手动触发或者语音触发电子设备退出所述第一类界面，进入到正式进行人脸图像采集的第二类界面。

在本实施例中所述第一类界面为输出所述第一提示信息的界面，可以为告知用户如何进行多人脸角度采集的提示界面。

所述第一提示信息的提示内容有多种，包括但不限于文字提示、语音提示、视频提示、动画提示等；所述第一提示信息的具体内容可以包括上述一种或多种。

具体地如，所述步骤S110可包括以下至少之一：

在所述第一类界面，输出文字提示；

在所述第一类界面，输出动画提示；

在所述第一类界面，输出图像提示；

在所述第一类界面，输出视频演示。

所述文字提示通过文本方式告知用户如何采集多人脸角度的图像。

所述动画提示可包括：利用动画元素形成的动画序列帧等进行提示。

图像提示，可为利用一种或多张未形成动画文件或视频文件的图像进行多角度人脸图像采集的提示。

所述视频演示为利用视频文件的播放进行所述第一提示信息的输出。例如，录制了一个真人进行多角度采集的视频，播放该视频即为所述视频演示。

总之，在第一类界面进行多角度人脸图像采集的方式有多种，不限于上述任意一种。

在一些实施例中，可以结合多种方式输出所述第一提示信息，尽可能使得用户全面的了解如何进行多角度的人脸图像采集，以便于用户的简易理解。

进一步地，所述步骤S120可包括：

在所述第一提示信息后，从所述第一类界面进入到第二类界面；

在所述第二类界面进行人脸图像采集；

在所述第二类界面人脸图像采集过程中显示人脸图像的预览。

在一些实施例中，在进行多人脸角度的图像采集时，会基于用户的手动操作退出到所述人脸录入界面，并进入到第二类界面。第二类界面为正式采集阶段的一个进行当前采集效果预览的界面。

在还有一些实施例中，在维持所述第一类界面一定时长之后，所述电子设备可以自动从所述第一类界面退出进入到所述第二类界面，进而进行多角度的人脸图像采集。

图3所示的为一种第二类界面，在所述第二类界面上显示有期望人脸角度。

在一些实施例中，实际人脸角度是否满足期望人脸角度，可以是边采集人脸图像边确定；即采集一张人脸图像就确定该采集的人脸图像的实际人脸角度是否满足其中一个期望人脸角度或者当前指定采集的当前期望人脸角度。

故在一些实施例中，所述方法还包括：

在所述第二类界面输出当前期望人脸角度，例如，当前希望采集左脸图像，则输出“左脸”的文字提示；或者，输出“左脸图标”的图标提示等。

进一步地，所述方法还包括：在完成当前人脸图像采集后，确定所述当前人脸图像的实际人脸角度是否满足所述当前期望人脸角度。

所述步骤S130可包括：在所述第二类界面输出第二提示信息，其中，所述第二提示信息用于提示所述期望人脸角度。

为了提示用户，在所述第二类界面会进一步显示第二提示信息，该第二提示信息告知用户期望采集的人脸角度。此处期望采集的人脸角度称之满足所述当前期望人脸角度。

在一些实施例中，在采集界面输出的所有期望人脸角度，然后根据当前已采集的实际人脸角度进行对应期望人脸角度的勾选，提示用户目前还有哪些期望人脸角度未采集。这种提示信息可以称之为第四提示信息。故在一些实施例中，所述方法还包括：在所述第二类界面输出第四提示信息，第四提示信息用于提示尚未采集的期望人脸图像。

在一些实施例中，所述方法还包括：响应于当前采集的人脸图像的实际人脸角度不满足所述当前期望人脸角度的情况，输出第三提示信息，其中，所述第三提示信息用于提示向所述当前期望人脸角度调整的转动提示；

采集并接收用户按照所述转动提示调整后的人脸图像。例如，在所述转动提示后，返回对所述用户进行人脸图像采集的步骤，具体如返回步骤S120，并再次执行所述步骤S120至步骤S140。

若用户进行人脸图像采集时，人脸朝向错误则可能采集了与当前期望人脸角度不一致的人脸图像，在本实施例中还会输出第三提示信息。

在一些实施例中，该第三提示信息，可以直接提示用户人脸朝向错误，需要转动人脸。

在另一些实施例中，该第三提示信息还可以用于提示用户如何调整人脸；例如，提示人脸的转动方向以及提示人脸的转动角度等。如此，再次提升了电子设备的智能性及用户的体验感受。

在一些实施例中，所述方法还包括：

响应于当前人脸图像的实际人脸角度满足所述当前期望人脸角度，且所述当前期望人脸角度不是最后一个所述期望人脸角度的情况，则采集下一个期望人脸角度的人脸图像；

或者，

响应于当前人脸图像的实际人脸角度满足所述当前期望人脸角度，且所述当前期望人脸角度是最后一个所述期望人脸角度的情况，则结束所述人脸图像的采集。

在本实施例中，在进行人脸图像采集时按照一定顺序依次采集各个期望人脸角度的图像。电子设备会自动判断当前期望人脸角度是否为最后一个期望人脸角度，若当前是最后一个期望人脸角度，且实际采集角度与该期望人脸角度是一致的，则可以采集结束，否则可以继续采集下一个期望人脸角度的图像。

在另一些实施例中，可以在等到采集了多张人脸图像之后，再确定实际人脸角度是否满足所述当前期望人脸角度，或者是否在采集的多张人脸图像后，确定各所述期望人脸角度至少被一张人脸图像的实际角度所满足。故在所述步骤S130之后，所述方法还可包括：

在采集的多张人脸图像后，确定各所述期望人脸角度至少被一张人脸图像的实际角度所满足。

例如，有N个期望人脸角度，以预定时间间隔采集了N张人脸图像之后，启动实际人脸角度的确定，及实际人脸角度是否与期望人脸角度一致的确定。

在一些实施例中，所述步骤S140可包括：响应于每个所述期望人脸角度至少有一张所述人脸图像的所述实际人脸角满足的情况，基于采集到的人脸图像建立人脸特征库。

在本实施例中，电子设备采集到期望人脸角度的人脸图像后，会识别这些人脸图像，然后提取出各个人脸角度的人脸特征，从而建立一个包括不同人脸角度的人脸特征。

在本实施例中，会在各所述期望人脸角度至少被一张人脸图像的实际角度所满足的情况之后，再建立所述人脸特征库，以免未采集到各个期望人脸角度的图像，导致建立的人脸特征库有特定人脸角度的特征缺失的现象。

进一步地，所述方法还包括：

响应于至少一个所述期望人脸角度未被至少一张人脸图像的实际角度所满足的情况，保持在所述第二类界面；按照所述第二类界面显示的内容继续采集人脸图像。

即若电子设备确定出当前尚有未采集的期望人脸角度，则保持在第二类界面继续进行人脸图像采集。

在一些实施例中，所述图像还会输出前述第四提示信息和/或第三提示信息，以进一步提示用户，再次提升了电子设备的智能性和用户体验。

具体地，所述响应与所述实际人脸角度满足所述期望人脸角度的情况，根据采集的人脸图像建立人脸特征库，包括：

提取不同实际人脸角度的人脸图像中的人脸特征；

基于所述人脸特征，建立人脸特征库。

此处，人脸特征的提取可以由电子设备本地提取，也可以将人脸图像发送给网络侧的服务器，由服务器进行人脸特征的提取。

在本实施例中，所述人脸特征提取可以由深度学习模型来实现，例如，利用神经网络从所述人脸图像中提取出对应的人脸特征。

在一些实施例中，所述方法还包括：

若在人脸图像采集过程中未采集到覆盖所有期望人脸角度的图像，根据已采集的人脸图像，确定是否可以生成未覆盖到的期望人脸角度的人脸图像。

例如，期望人脸角度包括：左脸角度、右脸角度、正脸角度、抬头角度及低头角度。但是当前采集了正脸角度、左脸角度、抬头角度的人脸图像，缺失了右脸角度和低头角度的人脸图像。

此时，由于采集到了正脸角度和左脸角度的图像，结合正脸角度和左脸角度的图像，基于人脸的对称性可以通过人脸操作等技术，由深度学习模型或机器学习模型等自动生成右脸角度的人脸图像。进一步地，还可以根据正脸角度的人脸图像和抬头角度的人脸图像，自动生成低头角度的人脸图像。

结合采集的人脸图像和自动生成的人脸图像，建立所述人脸特征库。

如图4所示，本实施例提供一种人脸图像处理装置，包括：

第一输出模块110，输出第一提示信息，其中，所述第一提示信息用于提示用户进行多角度人脸图像采集；

采集模块120，用于在输出所述第一提示信息后，对所述用户进行人脸图像采集；

第一确定模块130，用于确定采集的人脸图像的实际人脸角度；

建立模块140，用于响应于所述实际人脸角度满足期望人脸角度的情况，根据所述采集的人脸图像建立所述用户的人脸特征库。

在一些实施例中，所述第一输出模块110、采集模块120、第一确定模块130及建立模块140都可以程序模块，所述程序模块被处理器执行后，能够实现前述任意各个模块的操作。

在另一些实施例中，所述第一输出模块110、采集模块120、第一确定模块130及建立模块140都可以软硬结合模块；所述软硬结合模块包括但不限于可编程阵列；所述可编程阵列包括但不限于现场可编程阵列或复杂可编程阵列。

在还有一些实施例中，所述第一输出模块110、采集模块120、第一确定模块130及建立模块140都可以纯硬件模块；所述纯硬件模块包括但不限于专用集成电路。

在一些实施例中，所述第一确定模块130，具体用于利用深度学习模型确定当前采集的人脸图像的所述实际人脸角度。

在一些实施例中，所述第一输出模块110，具体用于在第一类界面，输出进行多角度人脸图像采集的所述第一提示信息。

在一些实施例中，所述第一输出模块110，具体用于执行以下至少之一：

在所述第一类界面，输出文字提示；

在所述第一类界面，输出动画提示；

在所述第一类界面，输出图像提示；

在所述第一类界面，输出视频演示。

在一些实施例中，显示模块，用于在所述第一提示信息后，从所述第一类界面进入到第二类界面；

采集模块120，具体用于在所述第二类界面进行人脸图像采集；

所述显示模块，还用于在所述第二类界面人脸图像采集过程中显示人脸图像的预览。

在一些实施例中，所述装置还包括：

第二输出模块，用于在所述第二类界面输出第二提示信息，其中，所述第二提示信息用于提示所述期望人脸角度。

在一些实施例中，所述装置还包括：

第二输出模块，还用于在所述第二类界面输出当前期望人脸角度；

所述第一确定模块130，具体用于在完成当前人脸图像采集后，确定所述当前人脸图像的实际人脸角度是否为所述当前期望人脸角度。

在一些实施例中，所述装置还包括：

第三输出模块，用于响应于当前采集的人脸图像的实际人脸角度不满足所述当前期望人脸角度的情况，输出第三提示信息，其中，所述第三提示信息用于提示向所述当前期望人脸角度调整的转动提示；

所述采集模块，采集并接收用户按照所述转动提示调整后的人脸图像。

在一些实施例中，所述采集模块120，用于响应于当前人脸图像的实际人脸角度满足所述当前期望人脸角度，且所述当前期望人脸角度不是最后一个所述期望人脸角度的情况，则采集下一个期望人脸角度的人脸图像；

或者，

所述采集模块120，还用于响应于当前人脸图像的实际人脸角度满足所述当前期望人脸角度，且所述当前期望人脸角度是最后一个所述期望人脸角度的情况，则结束所述人脸图像的采集。

在一些实施例中，所述第二确定模块，具体用于在采集的多张人脸图像后，确定每个所述期望人脸角度是否有至少一张所述人脸图像的所述实际人脸角度满足。

在一些实施例中，所述建立模块140，具体用于响应于每个所述期望人脸角度范围至少有一张所述人脸图像的所述实际人脸角满足的至少被一张人脸图像的实际角度所满足的情况，基于采集到的人脸图像建立人脸特征库。

在一些实施例中，所述装置还包括：

保持模块，用于保持模块，用于响应于至少一个所述期望人脸角度范围未有所述人脸图像的实际人脸角度满足的情况，保持在所述第二类界面；

所述采集模块，具体用于按照所述第二类界面显示的内容继续采集人脸图像。

在一些实施例中，所述建立模块140，具体用于响应于每个所述期望人脸角度范围至少有一张所述人脸图像的所述实际人脸角满足的至少被一张人脸图像的实际角度所满足的情况，提取不同实际人脸角度的人脸图像中的人脸特征。

以下结合上述任意实施例提供几个具体示例：

示例1：

人脸认证是一种生物识别认证方式，通过预先录入不同角度的用户人脸模板，在设备驱动人脸认证时，获取预认证的人脸信息，与预先录入的人脸模板进行人脸识别比对，最终实现认证成功。人脸认证可以实现在各种角度、各种光照环境、各种场景下等进行准确的认证。人脸认证技术成为新一代高安全系数生物认证方案，带给用户快速、准确、安全的解锁体验。

人脸认证过程中最重要的其中一部分是录入人脸特征，录入最主要的目的是要取得符合资格的人脸图像，录入方式会影响之后做人脸认证时的准确性和用户体验。为了更好地取得不同的人脸图像，设备界面需要提示用户进行多角度的录入，当进行人脸认证时，可以和人脸录入底库中多个角度的人脸图像做比对，可以有效提升用户人脸认证的准确率和效率。需要说明的是，下述各实施例中所指的视角即为角度。

利用深度学习算法，训练能准确判断人脸视角的模型，借此能够在人脸录入时提供人脸视角信息供判断后提示用户是否正确按照多视角需求录入。

界面设计按照不同方式提示用户进行多视角人脸录入，可以文字提示、图像提示、视屏提示或硬件反馈等方式。

多视角人脸录入后，抽取不同视角的人脸特征，透过深度学习的人脸识别算法，比对认证人脸和多视角的人脸特征底库，有效提高用户人脸认证的通过率。

人脸录入时提示用户录入一个到多个视角不等的界面设计方式，透过和用户界面互动达到录入多视角的人脸。

透过算法进行人脸检测、人脸关键点定位、人脸偏转视角判断，以此深度学习算法技术达到人脸视角的获取，确认用户能够录入多视角人脸的技术方案。

示例2：

人脸录入过程中会先有提示界面告知使用者如何录入，进入录入界面后会有预览画面，确认检测到人脸后会提示用户进行一个以上到多个视角的人脸录入过程，提示方式可通过文字提示、动画提示、视屏提示等。通过预定的人脸识别算法技术判断人脸角度是否符合界面指示的要求，若符合则保存当前采集的人脸图像，待所需录入的人脸视角(角度)均采集完成后，完成多视角的人脸录入工作。

具体如图5所示，本示例提供的人脸录入方法可包括：

第一类界面，预先告知用户该如何正确录入不同的人脸角度，不同的人脸角度对应了人脸的不同人脸角度；该第一类界面可以称之为人脸录入教学界面；

进入录入界面会有预览画面，进行一个以上到多个角度的人脸录入过程；

透过算法技术判断人脸是否按照界面指示进行人脸录入的；

待所需录入的人脸视角均采集完成后，完成多视角的人脸录入工作。

一、第一类界面，预先告知用户该如何正确录入不同的人脸视角；按照界面设计方式可以以文字说明、动画提示、视屏演示等方式，告知用户如何进行多视角人脸录入。图6为一个人脸录入导览的界面示意图。

二、进入录入界面后会有预览画面，进行一个以上到多个视角的人脸录入过程。

图7为一个人脸录入的界面示意图。图8为另一个人脸录入的界面示意图。在图7上可以看到已录入人脸角度提示和待录入人脸角度提示。

在图8中显示有人脸偏转提示。

图9提供了一种基于坐标系确定人脸角度的示意图，例如，以人的头部为中心，分别确定出在x轴、y轴和z轴上的偏转角度从而确定得到所述人脸角度。x轴、y轴及z轴中任意两个，两两相互垂直。

图10为人脸录入的录制完成之后输出了人脸录入完成提示。

多视角人脸录入，进行一个以上的多视角人脸录入，录入方向可自由搭配，如规定录入五个方向，可以由正面、左、右、上、下组成；亦可更多或更少视角，将整个360度视角按照人脸录入需求做细分。录入提示方式，可以是文字提示、图像提示、动画提示、或视屏提示等，录入界面会有预览界面提供用户知道人脸转动视角。用户可以按照提示转到指定视角后完成该视角录入，或是以转动圆圈的方式完成多个视角的人脸录入。但录入过程也允许用户不一定要按照界面提示，可是需要规定的多视角皆需要覆盖到人脸保存。

透过算法技术判断人脸是否按照界面指示进行人脸视角获取后保存；

多视角人脸录入的视角定义可以按照实际需求来定，一般而言正脸会在左右上下视角有一定限制，其他视角人脸方向亦有对应的左右上线视角限制。算法技术会实时的判断预览人脸的视角状况，待人脸转动达到该视角限制，随及判断人脸视角符合该视角的录入需求后保存，所有人脸视角皆需录入完成。

四、待所需录入的人脸视角皆取得录入图像后，完成多视角的人脸录入

因不同场景的人脸认证所需要录入的人脸视角和数量不同，可依照实际场景需求定义，但多视角人脸录入可以有效提升整体人脸认证的准确度。待所需的人脸视角皆录入保存完毕，完成多视角的人脸录入。

如图11所示，本申请实施例提供了一种电子设备，包括：

存储器，用于存储信息；

处理器，分别与显示器及所述存储器连接，用于通过执行存储在所述存储器上的计算机可执行指令，能够实现前述一个或多个技术方案提供的人脸图像处理方法，例如，如图1、图3和/或图6所示的人脸图像处理方法。

该存储器可为各种类型的存储器，可为随机存储器、只读存储器、闪存等。所述存储器可用于信息存储，例如，存储计算机可执行指令等。所述计算机可执行指令可为各种程序指令，例如，目标程序指令和/或源程序指令等。

所述处理器可为各种类型的处理器，例如，中央处理器、微处理器、数字信号处理器、可编程阵列、数字信号处理器、专用集成电路或图像处理器等。

所述处理器可以通过总线与所述存储器连接。所述总线可为集成电路总线等。

在一些实施例中，所述终端设备还可包括：通信接口，该通信接口可包括：网络接口、例如，局域网接口、收发天线等。所述通信接口同样与所述处理器连接，能够用于信息收发。

在一些实施例中，所述终端设备还包括人机交互接口，例如，所述人机交互接口可包括各种输入输出设备，例如，键盘、触摸屏等。

在一些实施例中，所述电子设备还包括：显示器，该显示器可以显示各种提示、采集的人脸图像和/或各种界面。

本申请实施例提供了一种计算机存储介质，所述计算机存储介质存储有计算机可执行代码；所述计算机可执行代码被执行后，能够实现前述一个或多个技术方案提供的人脸图像处理方法，例如如图1、图3和/或图6所示的人脸图像处理方法。

所述存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。所述存储介质可为非瞬间存储介质。

本申请实施例提供一种计算机程序产品，所述程序产品包括计算机可执行指令；所述计算机可执行指令被执行后，能够实现前述任意实施提供的人脸图像处理方法，如图1和/或图5所示的人脸图像处理方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个处理模块中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种人脸图像处理方法，其特征在于，包括：

输出第一提示信息，其中，所述第一提示信息用于提示用户进行多角度人脸图像采集；

在输出所述第一提示信息后，对所述用户进行人脸图像采集；

确定采集的人脸图像的实际人脸角度；

响应于所述实际人脸角度满足期望人脸角度的情况，根据所述采集的人脸图像建立所述用户的人脸特征库。

2.根据权利要求1所述的方法，其特征在于，所述确定采集的人脸图像的实际人脸角度，包括：

利用深度学习模型确定当前采集的人脸图像的所述实际人脸角度。

3.根据权利要求1或2所述的方法，其特征在于，所述输出第一提示信息，包括：

在第一类界面，输出进行多角度人脸图像采集的所述第一提示信息。

4.根据权利要求3所述的方法，其特征在于，所述在输出所述第一提示信息后，进行人脸图像采集，包括：

在所述第一提示信息后，从所述第一类界面进入到第二类界面；

在所述第二类界面进行人脸图像采集；

在所述第二类界面人脸图像采集过程中显示人脸图像的预览。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

在所述第二类界面输出第二提示信息，其中，所述第二提示信息用于提示所述期望人脸角度。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

在所述第二类界面输出当前期望人脸角度；

所述方法还包括：

在完成当前人脸图像采集后，确定所述当前人脸图像的实际人脸角度满足所述当前期望人脸角度。

7.根据权利要求1至6任一项所述的方法，其特征在于，所述响应于每个所述期望人脸角度范围至少有一张所述人脸图像的所述实际人脸角满足的至少被一张人脸图像的实际角度所满足的情况，基于采集到的人脸图像建立人脸特征库，包括：

响应于每个所述期望人脸角度范围至少有一张所述人脸图像的所述实际人脸角满足的至少被一张人脸图像的实际角度所满足的情况，提取不同实际人脸角度的人脸图像中的人脸特征；

基于所述人脸特征，建立人脸特征库。

8.一种人脸图像处理装置，其特征在于，包括：

第一输出模块，用于输出第一提示信息，其中，所述第一提示信息用于提示用户进行多角度人脸图像采集；

采集模块，用于在输出所述第一提示信息后，对所述用户进行人脸图像采集；

第一确定模块，用于确定采集的人脸图像的实际人脸角度；

建立模块，用于响应于所述实际人脸角度满足期望人脸角度的情况，根据所述采集的人脸图像建立所述用户的人脸特征库。

9.一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令；所述计算机可执行指令被处理器执行后，能够实现权利要求1至7任一项提供的方法。

10.一种电子设备，包括：

存储器；

处理器，与所述存储器连接，用于通过执行存储在所述存储器上的计算机可执行指令，能够实现权利要求1至7任一项提供的方法。