CN108304829B - 人脸识别方法、装置及系统 - Google Patents

Abstract

本发明提供了一种人脸识别方法、装置及系统，涉及图像识别技术领域，该方法包括：当获取到人脸图像时，确定人脸图像对应的人脸姿态角；其中，人脸姿态角为表征人脸图像中人脸的偏转姿态的角度；将人脸图像输入至预先训练得到的包括有多个分支网络的人脸识别网络，以使人脸识别网络根据人脸姿态角确定多个分支网络中可识别人脸图像的目标分支网络，通过目标分支网络确定人脸图像对应的身份信息。本发明能够基于人脸姿态角对人脸图像进行针对性地分类识别，有效提升了人脸识别的准确性。

Description

人脸识别方法、装置及系统

技术领域

本发明涉及图像识别技术领域，尤其是涉及一种人脸识别方法、装置及系统。

背景技术

在人脸识别技术中，需要比对待识别的人脸图像与存放有多张已知身份信息的人脸图像的人脸底库，根据人脸相似性确定待识别的人脸图像的身份。

然而，绝大多数人脸底库均为存放正脸图像的正脸底库，而待识别的人脸图像中的人脸具有各种姿态角度变化，并非是正脸图像。因为在很多场合下，待识别的人脸图像都是通过摄像头抓拍人脸所得，或者通过视频流抓拍所得，通常抓拍得到的人脸图像中的人脸会呈现出各种姿态，而同一张人脸的不同姿态角度(侧脸、低头、抬头、歪头等)体现在人脸图像中的人脸特征具有一定差异，导致在将待识别的人脸图像与正脸底库进行比对时，识别结果并不准确。

发明内容

有鉴于此，本发明的目的在于提供一种人脸识别方法、装置及系统，以改善现有技术中存在的因人脸姿态差异导致的识别准确性较差的问题。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供了一种人脸识别方法，包括：当获取到人脸图像时，确定所述人脸图像对应的人脸姿态角；其中，所述人脸姿态角为表征所述人脸图像中人脸的偏转姿态的角度；将所述人脸图像输入至预先训练得到的包括有多个分支网络的人脸识别网络，以使所述人脸识别网络根据所述人脸姿态角确定多个所述分支网络中可识别所述人脸图像的目标分支网络，通过所述目标分支网络确定所述人脸图像对应的身份信息。

进一步，不同所述分支网络可识别的人脸图像所对应的人脸姿态角位于不同的姿态组；其中，每个所述姿态组包含一组预设角度范围内的人脸姿态角。

进一步，所述确定所述人脸图像对应的人脸姿态角的步骤，包括：通过预置的姿态识别模型对所述人脸图像中人脸的偏转角度进行识别，得到所述人脸图像对应的人脸姿态角。

进一步，所述根据所述人脸姿态角确定多个所述分支网络中可识别所述人脸图像的目标分支网络的步骤，包括：根据各个所述姿态组所包含的人脸姿态角的角度范围，确定所述人脸图像对应的人脸姿态角位于的姿态组；在多个所述分支网络中查找确定的所述姿态组对应的分支网络；将查找到的所述分支网络确定为可识别所述人脸图像的目标分支网络。

进一步，所述人脸识别网络包括共享网络和与所述共享网络分别连接的多个所述分支网络；所述共享网络用于对输入至所述人脸识别网络的人脸图像进行特征提取处理，得到所述人脸图像对应的特征向量；所述共享网络还用于确定所述人脸图像对应的人脸姿态角所位于的姿态组，根据确定的所述姿态组在多个所述分支网络中查找可识别所述人脸图像的目标分支网络，将所述人脸图像对应的特征向量输出至所述目标分支网络；所述目标分支网络用于对接收的所述人脸图像对应的特征向量进行识别处理，输出所述人脸图像对应的身份信息。

进一步，所述人脸识别网络的训练步骤包括：

向当前训练的人脸识别网络输入多张已知人脸姿态角和身份信息的人脸训练图像；其中，设定所述人脸训练图像已知的身份信息为基准身份信息；所述当前训练的人脸识别网络根据多张所述人脸训练图像对应的人脸姿态角，确定各张所述人脸训练图像对应输入的目标分支网络，以使确定的各所述目标分支网络对输入的所述人脸训练图像进行识别处理，得到处理结果；其中，所述处理结果包括各张所述人脸训练图像对应的预测身份信息；基于各张所述人脸训练图像对应的预测身份信息和基准身份信息，计算第一损失函数值；其中，所述第一损失函数值用于对所述人脸识别网络的身份识别准确性进行评估；根据所述第一损失函数值，通过反向传播算法对所述当前训练的人脸识别网络的参数进行调整，直至所述第一损失函数值收敛至第一预设值时结束训练。

进一步，所述基于各张所述人脸训练图像对应的预测身份信息和基准身份信息，计算第一损失函数值的步骤，包括：按照以下公式计算第一损失函数值L₁：

其中，

为第i个人的人脸训练图像对应的预测身份特征；

为第i个人的人脸训练图像对应的基准身份特征；

第j个人的人脸训练图像对应的基准身份特征；m₁为预设的裕量参数；D为用于计算两个特征向量之间的距离函数；其中，所述预测身份特征以特征向量的形式表征所述预测身份信息，所述基准身份特征以特征向量的形式表征所述基准身份信息。

进一步，所述处理结果还包括各张所述人脸训练图像对应的预测人脸姿态角；所述人脸识别网络的训练步骤还包括：将所述人脸训练图像已知的人脸姿态角设定为基准人脸姿态角；基于各张所述人脸训练图像对应的预测人脸姿态角和基准人脸姿态角，计算第二损失函数值；其中，所述第二损失函数值用于对所述人脸识别网络的姿态识别准确性进行评估；所述根据所述第一损失函数值，通过反向传播算法对所述当前训练的人脸识别网络的参数进行调整，直至所述第一损失函数值收敛至第一预设值时结束训练的步骤，包括：结合所述第一损失函数值和所述第二损失函数值，通过反向传播算法对所述当前训练的人脸识别网络的参数进行调整，直至所述第一损失函数值收敛至第一预设值，且所述第二损失函数值收敛至第二预设值时，结束训练。

进一步，所述基于各张所述人脸训练图像对应的预测人脸姿态角和基准人脸姿态角，计算第二损失函数值的步骤，包括：按照以下公式计算第二损失函数值L₂：

其中，

为第i个人的人脸训练图像对应的预测姿态特征；y_i-pose为第i个人的人脸训练图像对应的基准姿态特征；其中，所述预测姿态特征以特征向量的形式表征所述预测人脸姿态角，所述基准姿态特征以特征向量的形式表征所述基准人脸姿态角。

进一步，所述人脸姿态角包括竖直角、水平角和平面旋转角；所述方法还包括：将预设第一角度范围内的的全部竖直角按照预设第一间隔划分为X组，以及将预设第二角度范围内的的全部水平角按照预设第二间隔划分为Y组；对预设第三角度范围内的全部平面旋转角进行转正变换，统一变换为预设角度；将所述竖直角、所述水平角和经转正变换的所述平面旋转角可构成的全部人脸姿态角划分为N组，形成N个姿态组；其中，N＝X*Y；不同所述姿态组中的竖直角和/或水平角不同，不同所述姿态组中的平面旋转角相同且均为所述预设角度；构建包含有N个分支网络的所述人脸识别网络，其中，所述分支网络与所述姿态组一一对应。

进一步，所述人脸姿态角包括竖直角、水平角和平面旋转角；所述方法还包括：将预设第一角度范围内的全部竖直角按照预设第一间隔划分为X组，将预设第二角度范围内的全部水平角按照预设第二间隔划分为Y组；将预设第三角度范围内的全部水平角按照预设第三间隔划分为Z组；将所述竖直角、所述水平角和所述平面旋转角可构成的全部人脸姿态角划分为N组，形成N个姿态组；其中，N＝X*Y*Z；不同所述姿态组中的竖直角、水平角和平面旋转角至少有一个不同；构建包含有N个分支网络的所述人脸识别网络，其中，所述分支网络与所述姿态组一一对应。

进一步，所述通过所述目标分支网络确定所述人脸图像对应的身份信息的步骤，包括：通过所述目标分支网络比对所述人脸图像和预先建立的正脸底库，确定所述人脸图像的身份信息；其中，所述正脸底库中存储有已知身份信息的正脸图像。

第二方面，本发明实施例提供了一种人脸识别装置，包括：姿态角确定模块，用于当获取到人脸图像时，确定所述人脸图像对应的人脸姿态角；其中，所述人脸姿态角为表征所述人脸图像中人脸的偏转姿态的角度；身份确定模块，用于将所述人脸图像输入至预先训练得到的包括有多个分支网络的人脸识别网络，以使所述人脸识别网络根据所述人脸姿态角确定多个所述分支网络中可识别所述人脸图像的目标分支网络，通过所述目标分支网络确定所述人脸图像对应的身份信息。

第三方面，本发明实施例提供了一种人脸识别系统，所述系统包括：图像采集装置、处理器和存储装置；所述图像采集装置，用于采集待识别的人脸图像；所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如第一方面任一项所述的方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行第一方面任一项所述的方法的步骤。

本发明实施例提供了一种人脸识别方法、装置及系统，在获取到人脸图像时，首先确定该人脸图像对应的人脸姿态角，再通过包括有多个分支网络的人脸识别网络根据人脸姿态角确定可识别人脸图像的目标分支网络，从而利用目标分支网络对该人脸图像进行身份识别。本实施例提供的上述方式，在人脸识别中充分考虑到人脸的姿态因素，能够根据人脸图像对应的人脸姿态角确定可识别该人脸图像的分支网络，以基于人脸姿态角对人脸图像进行针对性地分类识别，有效提升了人脸识别的准确性。

本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明实施例所提供的一种电子设备的结构示意图；

图2示出了本发明实施例所提供的一种人脸识别方法流程图；

图3示出了本发明实施例所提供的一种姿态角度示意图；

图4示出了本发明实施例所提供的一种人脸识别网络的结构示意图；

图5示出了本发明实施例所提供的另一种人脸识别网络的结构示意图；

图6示出了本发明实施例所提供的一种人脸识别装置的结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

考虑到当前的人脸识别技术会受到人脸姿态的影响，识别准确性不高，基于此，本发明实施例提供的一种人脸识别方法、装置及系统，能够在人脸识别中充分考虑到人脸的姿态因素，并进行姿态分类识别，可有效提升人脸识别的准确性，该技术可应用于人脸识别场合，以下对本发明实施例进行详细介绍。

实施例一：

首先，参照图1来描述用于实现本发明实施例的人脸识别方法、装置及系统的示例电子设备100。

如图1所示的一种电子设备的结构示意图，电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入装置106、输出装置108以及图像采集装置110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。

所述处理器102可以采用数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)中的至少一种硬件形式来实现，所述处理器102可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元中的一种或几种的组合，并且可以控制所述电子设备100中的其它组件以执行期望的功能。

所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

所述输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。

所述图像采集装置110可以拍摄用户期望的图像(例如照片、视频等)，并且将所拍摄的图像存储在所述存储装置104中以供其它组件使用。

示例性地，用于实现根据本发明实施例的人脸识别方法、装置及系统的示例电子设备可以被实现为诸如智能手机、平板电脑、计算机等智能终端。

实施例二：

参照图2所示的一种人脸识别方法流程图，该方法可以由电子设备执行，具体包括如下步骤：

步骤S202，当获取到人脸图像时，确定人脸图像对应的人脸姿态角；其中，人脸姿态角为表征人脸图像中人脸的偏转姿态的角度。人脸图像的获取方式有多种，诸如通过摄像头拍摄待识别的目标对象，并基于人脸检测技术获得人脸图像，也可以是直接从视频流中基于人脸检测技术抓取人脸图像，当然也可以是外部直接输入的待识别的人脸图像。

上述人脸姿态角也可以是人脸的三维偏转角度，在应用于人脸姿态时，人脸姿态角可以采用竖直角、水平角和平面旋转角三个角共同表征。为便于理解，可参见图3所示的一种姿态角度示意图，在图3中预先设定三维坐标系，假设该三维坐标系中X轴和Z轴均为平行于地面的轴，Y轴为垂直于地面的轴，且X轴、Y轴和Z轴两两垂直。本实施例提及的竖直角可以理解为图3中的pitch角，具体可以是人脸(也即，人头)从基准状态下开始绕X轴旋转的旋转角度，在实际应用中，可为人在抬头低头时所呈现的角度；本实施例提及的水平角可以理解为图3中的yaw角，具体可以是人脸从基准状态下开始绕Y轴旋转的旋转角度，在实际应用中，可为人在左右摇头时可呈现的角度；本实施例提及的平面旋转角可以理解为图3中的roll角，具体可以是人脸从基准状态下开始绕Z轴旋转的旋转角度，在实际应用中，可为人面向正前方但将头偏向左肩或右肩时所呈现的角度。其中，上述基准状态可以设定为人脸面向正前方且不向四周偏倚的姿态角度，具体可包括基准竖直角、基准水平角和基准平面旋转角；当然也可以将其它姿态角度设定为基准状态，在此不进行限制。上述旋转角度可以理解为人脸在绕轴旋转后所呈现的角度与相应的基准角度之间的角度差值。

在具体应用中，可以同时采用竖直角、水平角和平面旋转角三个角对人脸姿态角进行三维度表征。当然，为了减轻人脸姿态角的计算处理量，考虑到平面旋转角对人脸识别的影响较小，可以将平面旋转角进行统一，然后采用竖直角和水平角两个角对人脸姿态角进行二维度表征。具体实现时，可以将所有人脸可实现的平面旋转角都进行转正处理。

本实施例给出了一种确定人脸图像对应的人脸姿态角的具体实现方式，即：可以通过预置的姿态识别模型对人脸图像中人脸的偏转角度进行识别，得到人脸图像对应的人脸姿态角。其中，姿态识别模型有多种实现方式，可以是用于识别人脸姿态的神经网络，诸如受限玻尔兹曼机神经网络，也可以是基于模糊数学的人脸姿态角度估计算法等。姿态识别模型可以参照相关技术实现，只需能够识别人脸图像中人脸的偏转角度(也即，人脸姿态角)即可。

步骤S204，将人脸图像输入至预先训练得到的包括有多个分支网络的人脸识别网络，以使人脸识别网络根据人脸姿态角确定多个分支网络中可识别人脸图像的目标分支网络，通过目标分支网络确定人脸图像对应的身份信息。具体实施时，可以通过目标分支网络比对人脸图像和预先建立的正脸底库，确定人脸图像的身份信息；其中，正脸底库中存储有已知身份信息的正脸图像。

其中，上述分支网络是用于识别人脸图像的卷积神经网络，本实施例将人脸能够实现的全部姿态角划分为多组，并形成多个姿态组，每个姿态组包含一组预设角度范围内的人脸姿态角。本实施例提供的人脸识别网络包括有多个分支网络，不同分支网络的结构可以相同或者不同，不同分支网络可识别的人脸图像所对应的人脸姿态角位于不同的姿态组。也即，人脸识别网络将人脸姿态进行子类划分，每一组姿态下的人脸图像可以仅用一个分支网络进行识别，以得到较为准确的识别结果。

本实施例给出了一种目标分支网络的具体确定方法：首先根据各个姿态组所包含的人脸姿态角的角度范围，确定人脸图像对应的人脸姿态角位于的姿态组；然后在多个分支网络中查找确定的姿态组对应的分支网络；最后可将查找到的分支网络确定为可识别人脸图像的目标分支网络。

为便于理解，假设本实施例的人脸识别网络包括第一分支网络至第N分支网络，在此以第一分支网络为例进行说明，假设第一分支网络对应识别第一姿态组下的人脸图像，其中，第一姿态组中人脸姿态角的变化范围为φ₁～φ_n。若获取的人脸图像A对应的人脸姿态角φ₃位于第一姿态组中，则将人脸图像A输入至第一分支网络，使第一分支网络对人脸图像A进行识别处理；其中，第一分支网络也即人脸图像A所对应的目标分支网络。具体的，可以比对人脸图像A与正脸底库，查找到与人脸图像A相似度最高的正脸图像A’，将正脸图像A’对应的身份信息确认为该人脸图像A对应的身份信息，实现人脸图像A的身份识别。

常规的人脸识别网络在对人脸图像A进行识别时，会受到人脸姿态角φ₃的影响，计算得到的人脸图像A与正脸图像A’的相似度可能并不高，致使识别准确性较差；而本实施例中之所以第一分支网络可以对人脸图像A进行准确识别，是因为第一分支网络相较于常规人脸识别网络，可采取如下方式中的一种或多种实现：(1)对人脸姿态角φ₃进行调整，使人脸姿态角φ₃转换为正脸对应的姿态角；(2)基于人脸姿态角φ₃，对人脸图像A的面部特征进行修正，以使修正后的人脸图像A的面部特征接近于正脸对应的面部特征；(3)基于人脸姿态角φ₃，将直接比对的人脸图像A与正脸图像A’的相似度进行修正，例如将初始相似度与修正系数相乘，得到修正后的相似度。不同分支网络对人脸图像的调整程度不同，调整程度与分支网络所对应的姿态组有关。

基于上述原理，对于不同姿态的人脸图像，可采用不同分支网络进行识别，得到准确的识别结果。

本发明实施例提供的上述人脸识别方法，在获取到人脸图像时，首先确定该人脸图像对应的人脸姿态角，再通过包括有多个分支网络的人脸识别网络根据人脸姿态角确定可识别人脸图像的目标分支网络，从而利用目标分支网络对该人脸图像进行身份识别。本实施例提供的上述方式，在人脸识别中充分考虑到人脸的姿态因素，能够根据人脸图像对应的人脸姿态角确定可识别该人脸图像的分支网络，以基于人脸姿态角对人脸图像进行针对性地识别，有效提升了人脸识别的准确性。

在具体应用中，上述方法所应用的人脸识别网络为预先构建的，如果人脸姿态角包括竖直角、水平角和平面旋转角，在一种实施方式中，本实施例提供的上述方法还包括：将预设第一角度范围内的全部竖直角按照预设第一间隔划分为X组，以及将预设第二角度范围内的全部水平角按照预设第二间隔划分为Y组；对预设第三角度范围内的全部平面旋转角进行转正变换，统一变换为预设角度，该预设角度可以是正脸对应的平面旋转角；将竖直角、水平角和经转正变换的平面旋转角可构成的的全部人脸姿态角划分为N组，形成N个姿态组；其中，N＝X*Y；不同姿态组中的竖直角和/或水平角不同，不同姿态组中的平面旋转角相同且均为预设角度；构建包含有N个分支网络的人脸识别网络，其中，分支网络与姿态组一一对应。

在另一种实施方式中，本实施例提供的上述方法还包括：将预设第一角度范围内的全部竖直角按照预设第一间隔划分为X组，将预设第二角度范围内的全部水平角按照预设第二间隔划分为Y组；将预设第三角度范围内的全部水平角按照预设第三间隔划分为Z组；将竖直角、水平角和平面旋转角可构成的全部人脸姿态角划分为N组，形成N个姿态组；其中，N＝X*Y*Z；不同姿态组中的竖直角、水平角和平面旋转角至少有一个不同；构建包含有N个分支网络的人脸识别网络，其中，分支网络与姿态组一一对应。

其中，上述预设第一角度范围、预设第二角度范围、预设第三角度范围可以参照人脸可实现的角度范围进行设置。为便于理解，以下以竖直角对应的预设第一角度范围为例进行说明，如果设定基准竖直角为90度，则预设第一角度范围可以为30度～150度；当然，也可以设定基准竖直角为0度，则预设第一角度范围可以为-60度～60度。仍旧以基准竖直角为90度为例，预设第一角度范围可以包括人脸可呈现的最为常见的角度，诸如45度～135度，也可以包括人脸可能实现的全部角度，假设为20度～160度等。应当注意的是，以上数值仅为示例性说明，不应当被视为限制。水平角对应的预设第二角度范围、平面旋转角对应的预设第三角度范围均可按照人脸可呈现的最为常见的角度或者人脸可呈现的全部角度进行设置，且预设第一角度范围、预设第二角度范围、预设第三角度范围这三个角度范围值可以相同也可以不同，在此不再赘述。

在上述包含多个分支网络的人脸识别网络的基础上，本实施例提供了人脸识别网络的另一种实施方式，参见图4所示的一种人脸识别网络的结构示意图，人脸识别网络包括共享网络CNN_a和与共享网络CNN_a分别连接的多个分支网络CNN_b1至CNN_bn。各个分支网络之间彼此独立。

其中，共享网络用于对输入至人脸识别网络的人脸图像进行特征提取处理，得到人脸图像对应的特征向量；在共享网络对人脸图像进行特征提取处理的过程中，并不考虑人脸姿态因素，无论输入何种姿态的人脸图像，共享网络的处理方式都是统一的，可以预先对人脸图像进行特征处理，以便于后续的分支网络对人脸图像进行进一步识别。此外，共享网络还用于确定人脸图像对应的人脸姿态角所位于的姿态组，根据确定的姿态组在多个分支网络中查找可识别人脸图像的目标分支网络，将人脸图像对应的特征向量输出至目标分支网络。

在一种实施方式中，共享网络包括特征提取单元和逻辑判断单元，其中，特征提取单元用于对人脸图像进行特征提取处理，逻辑判断单元用于根据人脸图像对应的人脸姿态角确定目标分支网络；在实际应用中，特征提取单元与逻辑判断单元的连接先后顺序可以灵活设置，诸如逻辑判断单元可以设置于特征提取单元之前，也可以设置于特征提取单元之后。以下以逻辑判断单元设置在特征提取单元之前为例对共享网络进行说明：人脸图像输入至共享网络后，首先经由逻辑判断单元基于该人脸图像对应的人脸姿态角确定目标分支网络，再将确定了目标分支网络的人脸图像输入给特征提取单元，以使特征提取单元提取该人脸图像对应的特征向量后，将特征向量直接输出给已确定的目标分支网络。具体的，当通过姿态识别模型等方式确定了人脸图像对应的人脸姿态角时，可以令该人脸图像携带有人脸姿态角标签，共享网络中的逻辑判断单元在接收到该人脸图像后，通过读取该人脸图像所携带的人脸姿态角标签，即可确定该人脸图像对应的人脸姿态角，从而确定该人脸姿态角所位于的姿态组，进而根据确定的姿态组在多个分支网络中查找可识别人脸图像的目标分支网络，并给该人脸图像携带目标分支网络标签，将携带有目标分支网络标签的人脸图像传输给特征提取单元；特征提取单元在接收到携带有目标分支网络标签的人脸图像时，对该人脸图像进行特征提取，并基于该人脸图像携带的目标分支网络标签，将该人脸图像对应的特征向量直接发送给目标分支网络。

目标分支网络用于对接收的人脸图像对应的特征向量进行识别处理，输出人脸图像对应的身份信息。其中，在图4中假设CNN_b1为目标分支网络，输出表征身份信息的f_ID，f_ID具体可以是特征向量形式。

通过设置共享网络，可以对不需要考虑人脸姿态因素的人脸特征进行预先处理，可以减轻每个分支网络的处理量，使每个分支网络的结构更加精简。此外，共享网络可以根据输入的人脸图像对应的人脸姿态角自动确定目标分支网络，有效提升了人脸识别效率。

为了使人脸识别网络可以直接应用于对人脸图像的身份识别，输出较为可靠准确的结果，需要事先训练该人脸识别网络，人脸识别网络的参数需要经过训练得到，对人脸识别网络进行训练的目的，是最终确定可满足要求的网络参数。利用已训练得到的参数，人脸识别网络对人脸图像的识别结果能够达到预期要求。本实施例给出了一种人脸识别网络的训练步骤，具体如下所示：

(1)向当前训练的人脸识别网络输入多张已知人脸姿态角和身份信息的人脸训练图像；其中，设定人脸训练图像已知的身份信息为基准身份信息。在实际应用中，身份信息可以以特征向量的形式表征，以便于神经网络对身份信息进行处理。

(2)当前训练的人脸识别网络根据多张人脸训练图像对应的人脸姿态角，确定各张人脸训练图像对应输入的目标分支网络，以使确定的各目标分支网络对输入的人脸训练图像进行识别处理，得到处理结果；其中，处理结果包括各张人脸训练图像对应的预测身份信息。

(3)基于各张人脸训练图像对应的预测身份信息和基准身份信息，计算第一损失函数值；其中，第一损失函数值用于对人脸识别网络的身份识别准确性进行评估。

具体的，可以按照以下公式计算第一损失函数值L₁：

其中，

为第i个人的人脸训练图像对应的预测身份特征；

为第i个人的人脸训练图像对应的基准身份特征；

第j个人的人脸训练图像对应的基准身份特征；m₁为预设的裕量参数；D为用于计算两个特征向量之间的距离函数；其中，预测身份特征以特征向量的形式表征预测身份信息，基准身份特征以特征向量的形式表征基准身份信息。基准身份特征可以是人脸训练图像对应的正脸的身份特征，正脸的身份特征可以从正脸底库中直接提取；其中，正脸底库为存储多张正脸图像的数据库，每张正脸的身份特征均已知，可作为基准身份特征。

上述第一损失函数值L₁可以是三元损失函数，主要基于同一个人的相似性大于不同人的相似性的原理对分支网络进行约束；也即，同一个人的不同姿态的人脸图像之间的相似性均大于不同人的人脸图像之间的相似性，这种约束方式可以有效降低人脸识别网络因人脸姿态差异而导致误识别的问题。

(4)根据第一损失函数值，通过反向传播算法对当前训练的人脸识别网络的参数进行调整，直至第一损失函数值收敛至第一预设值时结束训练。此外，还可以设定迭代次数，当达到预设的迭代次数，且第一损失函数值降低到第一预设值时，结束训练。

为了使本实施例提供的人脸识别网络可以应用于更多场合，具有更为丰富的功能，上述目标分支网络在对人脸图像进行识别处理后，得到的处理结果还包括各张人脸训练图像对应的预测人脸姿态角。人脸姿态角也可以采用特征向量的形式表征，假设已预先将人脸图像进行转正处理，也即平面旋转角均为统一角度，此时人脸姿态角可以为表征竖直角和水平角的二维特征向量。

上述人脸识别网络的训练步骤还包括：将人脸训练图像已知的人脸姿态角设定为基准人脸姿态角；基于各张人脸训练图像对应的预测人脸姿态角和基准人脸姿态角，计算第二损失函数值；其中，第二损失函数值用于对人脸识别网络的姿态识别准确性进行评估。具体的，可以按照以下公式计算第二损失函数值L₂：

其中，

为第i个人的人脸训练图像对应的预测姿态特征；y_i-pose为第i个人的人脸训练图像对应的基准姿态特征；预测姿态特征以特征向量的形式表征预测人脸姿态角，基准姿态特征以特征向量的形式表征基准人脸姿态角。

此时，原训练过程中根据第一损失函数值，通过反向传播算法对当前训练的人脸识别网络的参数进行调整，直至第一损失函数值收敛至第一预设值时结束训练的步骤，具体可以按照如下方式实施：结合第一损失函数值和第二损失函数值对当前训练的人脸识别网络的参数进行调整，直至第一损失函数值收敛至第一预设值，且第二损失函数值收敛至第二预设值时，结束训练。

尽管输入至本实施例提供的人脸识别网络的人脸图像对应的人脸姿态角为已知，上述人脸识别网络在根据已知的人脸姿态角确定可识别该人脸图像的目标分支网络后，依旧采用目标分支网络对该人脸图像的姿态进行评估，得到预测人脸姿态角，上述训练的过程旨在使人脸识别网络依靠自身也可以较为准确地识别人脸图像的姿态，使得本实施例提供的人脸识别网络不仅具有身份识别功能，还可以具有姿态识别功能，能够灵活应用于更多场合。在实际应用中，将待识别的人脸图像输入至按照上述方式训练得到的人脸识别网络时，人脸识别网络可通过该人脸图像的目标分支网络输出两种特征，一种是身份特征f_ID，另一种是姿态特征f_pose，以实现身份识别和姿态识别。具体可参见图5所示的另一种人脸识别网络的结构示意图，图5在图4的基础上，还示意出目标分支网络输出表征姿态特征的f_pose，f_pose具体可以为包含竖直角和水平角的二维特征向量。

此外，基于第一损失函数值和第二损失函数值联合对人脸识别网络进行联合训练，有助于人脸识别网络中的特征信息实现迁移，进一步提升人脸识别网络的可靠性和鲁棒性。

基于上述已训练的人脸识别网络，能够根据人脸图像对应的人脸姿态角确定可识别该人脸图像的分支网络，以基于人脸姿态角对人脸图像进行针对性地分类识别，有效提升了人脸识别的准确性。

实施例三：

对于实施例二中所提供的人脸识别方法，本发明实施例提供了一种人脸识别装置，参见图6所示的一种人脸识别装置的结构框图，包括如下模块：

姿态角确定模块602，用于当获取到人脸图像时，确定人脸图像对应的人脸姿态角；其中，人脸姿态角为表征人脸图像中人脸的偏转姿态的角度。

身份确定模块604，用于将人脸图像输入至预先训练得到的包括有多个分支网络的人脸识别网络，以使人脸识别网络根据人脸姿态角确定多个分支网络中可识别人脸图像的目标分支网络，通过目标分支网络确定人脸图像对应的身份信息。

不同分支网络可识别的人脸图像所对应的人脸姿态角位于不同的姿态组；其中，每个姿态组包含一组预设角度范围内的人脸姿态角。

本发明实施例提供的上述人脸识别装置，在获取到人脸图像时，首先确定该人脸图像对应的人脸姿态角，再通过包括有多个分支网络的人脸识别网络根据人脸姿态角确定可识别人脸图像的目标分支网络，从而利用目标分支网络对该人脸图像进行身份识别。本实施例提供的上述方式，在人脸识别中充分考虑到人脸的姿态因素，能够根据人脸图像对应的人脸姿态角确定可识别该人脸图像的分支网络，以基于人脸姿态角对人脸图像进行针对性地识别，有效提升了人脸识别的准确性。

在一种实施方式中，身份确定模块604按照如下方式确定人脸图像对应的人脸姿态角：通过预置的姿态识别模型对人脸图像中人脸的偏转角度进行识别，得到人脸图像对应的人脸姿态角。

在一种实施方式中，身份确定模块604按照如下方式根据人脸姿态角确定多个分支网络中可识别人脸图像的目标分支网络：

(1)根据各个姿态组所包含的人脸姿态角的角度范围，确定人脸图像对应的人脸姿态角位于的姿态组；

(2)在多个分支网络中查找确定的姿态组对应的分支网络；

(3)将查找到的分支网络确定为可识别人脸图像的目标分支网络。

在一种实施方式中，身份确定模块604按照如下方式通过目标分支网络确定人脸图像对应的身份信息：通过目标分支网络比对人脸图像和预先建立的正脸底库，确定人脸图像的身份信息；其中，正脸底库中存储有已知身份信息的正脸图像。

本实施例提供了人脸识别网络的一种具体实施方式，人脸识别网络包括共享网络和与共享网络分别连接的多个分支网络；

共享网络用于对输入至人脸识别网络的人脸图像进行特征提取处理，得到人脸图像对应的特征向量；

共享网络还用于确定人脸图像对应的人脸姿态角所位于的姿态组，根据确定的姿态组在多个分支网络中查找可识别人脸图像的目标分支网络，将人脸图像对应的特征向量输出至目标分支网络；

目标分支网络用于对接收的人脸图像对应的特征向量进行识别处理，输出人脸图像对应的身份信息。

上述人脸识别装置还包括网络训练模块，用于对人脸识别网络进行训练，具体包括如下单元：

图像输入单元，用于向当前训练的人脸识别网络输入多张已知人脸姿态角和身份信息的人脸训练图像；其中，设定人脸训练图像已知的身份信息为基准身份信息；

识别处理单元，用于当前训练的人脸识别网络根据多张人脸训练图像对应的人脸姿态角，确定各张人脸训练图像对应输入的目标分支网络，以使确定的各目标分支网络对输入的人脸训练图像进行识别处理，得到处理结果；其中，处理结果包括各张人脸训练图像对应的预测身份信息；

第一计算单元，用于基于各张人脸训练图像对应的预测身份信息和基准身份信息，计算第一损失函数值；其中，第一损失函数值用于对人脸识别网络的身份识别准确性进行评估；

训练单元，用于根据第一损失函数值，通过反向传播算法对当前训练的人脸识别网络的参数进行调整，直至第一损失函数值收敛至第一预设值时结束训练。

第一计算单元进一步用于：按照以下公式计算第一损失函数值L₁：

其中，

为第i个人的人脸训练图像对应的预测身份特征；

为第i个人的人脸训练图像对应的基准身份特征；

第j个人的人脸训练图像对应的基准身份特征；m₁为预设的裕量参数；D为用于计算两个特征向量之间的距离函数；其中，预测身份特征以特征向量的形式表征预测身份信息，基准身份特征以特征向量的形式表征基准身份信息。

在另一种实施方式中，上述处理结果还包括各张人脸训练图像对应的预测人脸姿态角；

网络训练模块还包括第二计算单元，用于将人脸训练图像已知的人脸姿态角设定为基准人脸姿态角；基于各张人脸训练图像对应的预测人脸姿态角和基准人脸姿态角，计算第二损失函数值；其中，第二损失函数值用于对人脸识别网络的姿态识别准确性进行评估；

训练单元进一步用于：结合第一损失函数值和第二损失函数值对当前训练的人脸识别网络的参数进行调整，直至第一损失函数值收敛至第一预设值，且第二损失函数值收敛至第二预设值时，结束训练。

第二计算单元进一步用于：按照以下公式计算第二损失函数值L₂：

其中，

为第i个人的人脸训练图像对应的预测姿态特征；y_i-pose为第i个人的人脸训练图像对应的基准姿态特征；其中，预测姿态特征以特征向量的形式表征预测人脸姿态角，基准姿态特征以特征向量的形式表征基准人脸姿态角。

在具体实施时，人脸姿态角包括竖直角、水平角和平面旋转角；

本实施例提供的人脸识别装置，在一种实施方式中，还包括如下模块：

第一划分模块，用于将预设第一角度范围内的全部竖直角按照预设第一间隔划分为X组，以及将预设第二角度范围内的全部水平角按照预设第二间隔划分为Y组；

转正模块，用于对预设第三角度范围内的全部平面旋转角进行转正变换，统一变换为预设角度；

第一姿态组形成模块，用于将竖直角、水平角和经转正变换的平面旋转角可构成的的全部人脸姿态角划分为N组，形成N个姿态组；其中，N＝X*Y；不同姿态组中的竖直角和/或水平角不同，不同姿态组中的平面旋转角相同且均为预设角度；

第一网络构建模块，用于构建包含有N个分支网络的人脸识别网络，其中，分支网络与姿态组一一对应。

在另一种实施方式中，上述人脸识别装置还包括如下模块：

第二划分模块，用于将预设第一角度范围内的全部竖直角按照预设第一间隔划分为X组，将预设第二角度范围内的全部水平角按照预设第二间隔划分为Y组；将预设第三角度范围内的全部水平角按照预设第三间隔划分为Z组；

第二姿态组形成模块，用于将所述竖直角、所述水平角和所述平面旋转角可构成的全部人脸姿态角划分为N组，形成N个姿态组；其中，N＝X*Y*Z；不同所述姿态组中的竖直角、水平角和平面旋转角至少有一个不同；

第二网络构建模块，用于构建包含有N个分支网络的所述人脸识别网络，其中，所述分支网络与所述姿态组一一对应。

本实施例所提供的装置，其实现原理及产生的技术效果和前述实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

实施例四：

本发明实施例提供了一种人脸识别系统，该系统包括：图像采集装置、处理器和存储装置；其中，图像采集装置，用于采集待识别的人脸图像；存储装置上存储有计算机程序，计算机程序在被处理器运行时执行如前述方法实施例所提供的方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

进一步，本实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述前述方法实施例所提供的方法的步骤。

本发明实施例所提供的人脸识别方法、装置及系统的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (13)

1.一种人脸识别方法，其特征在于，包括：

当获取到人脸图像时，确定所述人脸图像对应的人脸姿态角；其中，所述人脸姿态角为表征所述人脸图像中人脸的偏转姿态的角度；

将所述人脸图像输入至预先训练得到的包括有多个分支网络的人脸识别网络，以使所述人脸识别网络根据所述人脸姿态角确定多个所述分支网络中可识别所述人脸图像的目标分支网络，通过所述目标分支网络确定所述人脸图像对应的身份信息；

通过所述目标分支网络确定所述人脸图像对应的身份信息的步骤，包括：

通过所述目标分支网络比对所述人脸图像和预先建立的正脸底库，确定所述人脸图像的身份信息；其中，所述正脸底库中存储有已知身份信息的正脸图像；

所述人脸识别网络包括共享网络和与所述共享网络分别连接的多个所述分支网络；

所述共享网络用于对输入至所述人脸识别网络的人脸图像进行特征提取处理，得到所述人脸图像对应的特征向量；

所述共享网络还用于确定所述人脸图像对应的人脸姿态角所位于的姿态组，根据确定的所述姿态组在多个所述分支网络中查找可识别所述人脸图像的目标分支网络，将所述人脸图像对应的特征向量输出至所述目标分支网络；

所述目标分支网络用于对接收的所述人脸图像对应的特征向量进行识别处理，输出所述人脸图像对应的身份信息。

2.根据权利要求1所述的方法，其特征在于，不同所述分支网络可识别的人脸图像所对应的人脸姿态角位于不同的姿态组；其中，每个所述姿态组包含一组预设角度范围内的人脸姿态角。

3.根据权利要求1所述的方法，其特征在于，所述确定所述人脸图像对应的人脸姿态角的步骤，包括：

通过预置的姿态识别模型对所述人脸图像中人脸的偏转角度进行识别，得到所述人脸图像对应的人脸姿态角。

4.根据权利要求2所述的方法，其特征在于，所述根据所述人脸姿态角确定多个所述分支网络中可识别所述人脸图像的目标分支网络的步骤，包括：

根据各个所述姿态组所包含的人脸姿态角的角度范围，确定所述人脸图像对应的人脸姿态角位于的姿态组；

在多个所述分支网络中查找确定的所述姿态组对应的分支网络；

将查找到的所述分支网络确定为可识别所述人脸图像的目标分支网络。

5.根据权利要求1所述的方法，其特征在于，所述人脸识别网络的训练步骤包括：

向当前训练的人脸识别网络输入多张已知人脸姿态角和身份信息的人脸训练图像；其中，设定所述人脸训练图像已知的身份信息为基准身份信息；

所述当前训练的人脸识别网络根据多张所述人脸训练图像对应的人脸姿态角，确定各张所述人脸训练图像对应输入的目标分支网络，以使确定的各所述目标分支网络对输入的所述人脸训练图像进行识别处理，得到处理结果；其中，所述处理结果包括各张所述人脸训练图像对应的预测身份信息；

基于各张所述人脸训练图像对应的预测身份信息和基准身份信息，计算第一损失函数值；其中，所述第一损失函数值用于对所述人脸识别网络的身份识别准确性进行评估；

根据所述第一损失函数值，通过反向传播算法对所述当前训练的人脸识别网络的参数进行调整，直至所述第一损失函数值收敛至第一预设值时结束训练。

6.根据权利要求5所述的方法，其特征在于，所述基于各张所述人脸训练图像对应的预测身份信息和基准身份信息，计算第一损失函数值的步骤，包括：

按照以下公式计算第一损失函数值L₁：

为第i个人的人脸训练图像对应的预测身份特征；

为第i个人的人脸训练图像对应的基准身份特征；

第j个人的人脸训练图像对应的基准身份特征；m₁为预设的裕量参数；D为用于计算两个特征向量之间的距离函数；其中，所述预测身份特征以特征向量的形式表征所述预测身份信息，所述基准身份特征以特征向量的形式表征所述基准身份信息。

7.根据权利要求5所述的方法，其特征在于，所述处理结果还包括各张所述人脸训练图像对应的预测人脸姿态角；

所述人脸识别网络的训练步骤还包括：将所述人脸训练图像已知的人脸姿态角设定为基准人脸姿态角；基于各张所述人脸训练图像对应的预测人脸姿态角和基准人脸姿态角，计算第二损失函数值；其中，所述第二损失函数值用于对所述人脸识别网络的姿态识别准确性进行评估；

所述根据所述第一损失函数值，通过反向传播算法对所述当前训练的人脸识别网络的参数进行调整，直至所述第一损失函数值收敛至第一预设值时结束训练的步骤，包括：

结合所述第一损失函数值和所述第二损失函数值，通过反向传播算法对所述当前训练的人脸识别网络的参数进行调整，直至所述第一损失函数值收敛至第一预设值，且所述第二损失函数值收敛至第二预设值时，结束训练。

8.根据权利要求7所述的方法，其特征在于，所述基于各张所述人脸训练图像对应的预测人脸姿态角和基准人脸姿态角，计算第二损失函数值的步骤，包括：

按照以下公式计算第二损失函数值L₂：

为第i个人的人脸训练图像对应的预测姿态特征；y_i-pose为第i个人的人脸训练图像对应的基准姿态特征；其中，所述预测姿态特征以特征向量的形式表征所述预测人脸姿态角，所述基准姿态特征以特征向量的形式表征所述基准人脸姿态角。

9.根据权利要求2所述的方法，其特征在于，所述人脸姿态角包括竖直角、水平角和平面旋转角；

所述方法还包括：

将预设第一角度范围内的全部竖直角按照预设第一间隔划分为X组，以及将预设第二角度范围内的全部水平角按照预设第二间隔划分为Y组；

对预设第三角度范围内的全部平面旋转角进行转正变换，统一变换为预设角度；

将所述竖直角、所述水平角和经转正变换的所述平面旋转角可构成的全部人脸姿态角划分为N组，形成N个姿态组；其中，N＝X*Y；不同所述姿态组中的竖直角和/或水平角不同，不同所述姿态组中的平面旋转角相同且均为所述预设角度；

构建包含有N个分支网络的所述人脸识别网络，其中，所述分支网络与所述姿态组一一对应。

10.根据权利要求2所述的方法，其特征在于，所述人脸姿态角包括竖直角、水平角和平面旋转角；

所述方法还包括：

将预设第一角度范围内的全部竖直角按照预设第一间隔划分为X组，将预设第二角度范围内的全部水平角按照预设第二间隔划分为Y组；将预设第三角度范围内的全部水平角按照预设第三间隔划分为Z组；

将所述竖直角、所述水平角和所述平面旋转角可构成的全部人脸姿态角划分为N组，形成N个姿态组；其中，N＝X*Y*Z；不同所述姿态组中的竖直角、水平角和平面旋转角至少有一个不同；

构建包含有N个分支网络的所述人脸识别网络，其中，所述分支网络与所述姿态组一一对应。

11.一种人脸识别装置，其特征在于，包括：

姿态角确定模块，用于当获取到人脸图像时，确定所述人脸图像对应的人脸姿态角；其中，所述人脸姿态角为表征所述人脸图像中人脸的偏转姿态的角度；

身份确定模块，用于将所述人脸图像输入至预先训练得到的包括有多个分支网络的人脸识别网络，以使所述人脸识别网络根据所述人脸姿态角确定多个所述分支网络中可识别所述人脸图像的目标分支网络，通过所述目标分支网络确定所述人脸图像对应的身份信息；

所述身份确定模块按照如下方式通过所述目标分支网络确定所述人脸图像对应的身份信息：通过所述目标分支网络比对所述人脸图像和预先建立的正脸底库，确定所述人脸图像的身份信息；其中，所述正脸底库中存储有已知身份信息的正脸图像；

所述人脸识别网络包括共享网络和与所述共享网络分别连接的多个所述分支网络；

所述共享网络用于对输入至所述人脸识别网络的人脸图像进行特征提取处理，得到所述人脸图像对应的特征向量；

所述共享网络还用于确定所述人脸图像对应的人脸姿态角所位于的姿态组，根据确定的所述姿态组在多个所述分支网络中查找可识别所述人脸图像的目标分支网络，将所述人脸图像对应的特征向量输出至所述目标分支网络；

所述目标分支网络用于对接收的所述人脸图像对应的特征向量进行识别处理，输出所述人脸图像对应的身份信息。

12.一种人脸识别系统，其特征在于，所述系统包括：图像采集装置、处理器和存储装置；

所述图像采集装置，用于采集待识别的人脸图像；

所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如权利要求1至10任一项所述的方法。

13.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上述权利要求1至10任一项所述的方法的步骤。

Images