CN104751108B - 人脸图像识别装置和人脸图像识别方法 - Google Patents

Abstract

本发明涉及人脸图像识别装置和方法，包括：存储部，预先存储有学习信息；特征提取部，在注册图像处理中，对所输入的多个注册人脸图像提取注册人脸图像的特征，而生成注册数据，并在识别图像处理中，对所采集的待识别人脸图像提取待识别人脸图像的特征；转换图像生成部，在识别图像处理中，利用存储在存储部中的学习信息，由待识别人脸图像得到转换图像；遮挡区域确定部，在识别图像处理中，根据待识别人脸图像和转换图像的差异图像，得到因遮挡物而产生的差异部分；相似度评价部，在识别图像处理中，根据注册人脸图像的特征和待识别人脸图像的特征，舍去在由遮挡区域确定部确定的差异部分，而评价注册人脸图像和待识别人脸图像的相似度。

Description

人脸图像识别装置和人脸图像识别方法

技术领域

本发明涉及人脸图像识别装置和人脸图像识别方法，更具体为涉及在局部遮挡情况下进行人脸识别。

背景技术

近年来，随着人脸识别技术的不断完善，其应用领域不断扩大，并相继在市场上出现了许多基于人脸识别技术的产品，例如人脸考勤机、人脸锁、信用卡识别、身份登陆系统、安全监控系统、刑事鉴定等。

在人脸识别技术中，一般会通过比对两张图像的相似度来判定图像中的人是否为同一个。为了完成比对，需要待识别人员在识别之前提供一张或多张用于比对的图像，该过程称为注册；而使用另一幅图像与注册人脸图像比对的过程称之为识别。由于采集的难度，注册人脸图像往往无法更新，而待识别人员通常会在发型、眼镜或口罩的佩戴情况上发生变化，使得待识别人脸图像与注册人脸图像差异过大，进而导致识别不成功。为此，必须设计一套能够应对局部遮挡情况下的人脸图像识别方法。

在现有用于人脸识别的方法中，基于稀疏表示的方法，需要迭代求解，有计算代价高的问题；基于区域划分的方法，多采用将图像划分为多个矩形的方式，但当人脸部分有遮挡物时，由于遮挡区域分割不准确，而无法应对不规则遮挡物；另外，还有基于图像重建方法进行人脸识别的方法，但需要注册大量待识别人员的图像才能获得好的效果，在实际应用中往往不现实，并且受到应用场景约束。

发明内容

本发明为解决上述问题，提出一种人脸图像识别装置，其对所输入的注册人脸图像进行注册图像处理，生成注册数据，并对所采集的待识别人脸图像进行识别图像处理，该人脸图像识别装置包括：存储部，其中预先存储有学习信息；特征提取部，其在所述注册图像处理中，对所输入的多个注册人脸图像提取注册人脸图像的特征，而生成注册数据，并在所述识别图像处理中，对所采集的待识别人脸图像提取待识别人脸图像的特征；转换图像生成部，其在所述识别图像处理中，利用存储在所述存储部中的所述学习信息，由所述待识别人脸图像得到转换图像；遮挡区域确定部，其在所述识别图像处理中，根据所述待识别人脸图像和所述转换图像的差异图像，得到因遮挡物而产生的差异部分；相似度评价部，其在所述识别图像处理中，根据所述注册人脸图像的特征和所述待识别人脸图像的特征，舍去在由所述遮挡区域确定部确定的所述差异部分，而评价所述注册人脸图像和所述待识别人脸图像的相似度。

如上所述，通过剔除注册人脸图像与待识别人脸图像的差异部位来进行局部遮挡情况下的人脸图像识别。在注册和识别之前，预先使用大量的非注册人员的转换图像，学习一个无遮挡人脸模型。在注册时，提取所有注册人脸图像的原始特征并保存。在识别时，首先提取待识别人脸图像的特征并保存。之后使用作为学习信息的无遮挡人脸模型对待识别人脸图像进行转换生成一副新图像，将新图像与待识别人脸图像进行比对，找出二者差异最大的区域，并认为该区域中存在遮挡物。再结合遮挡物的区域信息动态修改相似度计算方法，进而得到二者的相似度。最后，根据遮挡区域的轮廓、面积和位置等几何信息动态选取阈值，判断图像中的人是否相同。

本发明的优点是，预先生成学习信息，从而在用户使用之前，提前完成大量的计算，在识别时的计算量小，同时，由于有学习信息，因而识别时不受遮挡物形状的限制，也不需要增加注册人脸图像的数量。

在本发明中，所述学习信息为，根据在无遮挡情况下对人脸图像进行拍摄的多个学习样本图像，而生成的从样本图像空间到注册人脸图像特征空间的转换公式。该学习信息计算量大，然而，在进行一次运算后，可以在人脸图像识别装置中延续地使用，并且，大大减少了人脸图像识别装置的运算负荷，提高识别的速度。

优选还具有，归一化部，其在注册图像处理中，对所述注册人脸图像进行归一化处理后发送至所述特征提取部，并在所述识别图像处理中，对所述待识别人脸图像进行归一化处理后，发送至所述特征提取部、所述遮挡区域确定部和所述相似度评价部。

此外，优选在所述转换图像生成部中，根据所述转换公式，由所述待识别人脸图像得到无遮挡人脸图像空间的特征，再使用所述转换公式的逆运算转回到原空间，得到相似无遮挡人脸的转换图像。

并优选，在所述遮挡区域确定部中，将所述待识别人脸图像减去所述转换图像，生成所述差异图像，根据差异图像中像素的大小和分布生成所述差异部分。

还优选在所述遮挡区域确定部中，在对所述差异图像进行滤波和二值化处理后，根据该二值化后的图像中像素的大小和分布生成所述差异部分。

还优选，在所述遮挡区域确定部中，对所述二值化后的图像进行基于形态学处理方法或区域连通处理方法的处理后，生成所述差异部分。

另外，优选在相似度评价部中，根据所述差异部分的信息动态修改评价标准。

本发明还提供一种人脸图像识别方法，包括：注册图像处理工序，根据所输入的注册人脸图像生成注册数据；和识别图像处理工序，对采集的人脸图像进行识别，其中，所述注册图像处理工序包括：注册人脸图像特征提取步骤，由所述多个注册人脸图像提取注册人脸图像的特征，而生成注册数据，所述识别图像处理工序包括：转换图像生成步骤，根据预先设定的学习信息，由待识别人脸图像得到转换图像；遮挡区域确定步骤，根据所述待识别人脸图像和所述转换图像的差异图像，得到因遮挡物而产生的差异部分；待识别人脸图像特征提取步骤，对所采集的待识别人脸图像提取待识别人脸图像的特征；和相似度计算评价步骤，根据所述注册人脸图像的特征和所述待识别人脸图像的特征，舍去在所述遮挡区域确定步骤中识别的所述差异部分，而计算所述注册人脸图像和所述待识别人脸图像的相似度。

附图说明

图1为本实施方式的人脸图像识别装置的方框图。

图2为用于说明生成学习信息的图。

图3为表示在转换图像生成部中进行的处理的说明图。

图4为表示在遮挡区域确定部中进行的处理的说明图。

图5为相似度评价部评价相似度的流程图。

具体实施方式

下面，结合附图详细说明本发明的具体实施方式的人脸图像识别装置。在本实施方式中，以进行身份验证的情形为例进行说明，并且，以所采集的待识别的人脸图像中，该图像采集对象面部的遮挡物为眼镜。

图1是表示本发明的人脸识别装置的方框图。

在本发明的人脸图像识别装置100中，包括用于生成注册数据的注册图像处理部分110；用于对采集的人脸图像进行识别的识别图像处理部分120和存储部130。在存储部130中存储有由注册图像处理部分110生成的注册数据和学习信息132，以供识别处理部分120在进行人脸图像识别时使用。

<学习信息>

存储在存储部130中的学习信息132是，根据在无遮挡情况下对人脸图像进行拍摄的多个学习样本图像，生成从样本图像空间到注册人脸图像特征空间的转换公式。该学习信息132是预先根据大量的学习样本图像生成的预置信息，通常情况下不允许用户自行修改。

该学习信息132通过如下手段得到，在将例如k个的无遮挡人脸图像作为学习样本图像，生成从样本图像空间到注册人脸特征空间的转换公式时，可以采用现有的多种学习方法生成该转换公式，例如可采用基于深度学习的叠加去噪自动编码机（StackedDenoising Auto-Encoder）、主成分分析法（PCA）等。在本实施方式中，以主成分分析法为例进行说明。

图2为以主成分分析法为例说明生成学习信息的图。

如图2所示，首先将归一化处理后的k个作为样本图像的人脸图像ImTrain_m×n分别展成1×mn的k个行向量ImTrainVec_1×mn，由该k个行向量ImTrainVec_1×mn生成样本图像矩阵ImMat_k×mn。对矩阵ImMat_k×mn使用主成分分析法找到转换图像中最关键的前p个成分，求得向转换图像特征空间转换的矩阵Trans_mn×p，作为学习信息132，预先将该转换矩阵Trans_mn×p保存在存储部130中。

<注册图像处理部分110>

下面，对注册图像处理部分110的结构进行详细说明。

在本实施方式中，注册图像处理部分110包括归一化部112和特征提取部116。下面，对各部分进行详细说明。

归一化部112接收从外部的输入设备等输入的注册人脸图像，对其进行旋转、尺寸调整、光照调整等归一化处理，以供特征提取部116生成注册数据。

为了能够精确地进行身份验证，对于每个要注册的人，输入多个注册人脸图像，由归一化部112进行上述归一化处理，生成注册人脸图像ImTrain_m×n，其中m×n表示由归一化部112进行归一化处理后的注册人脸图像的宽高。

特征提取部116用于上述注册人脸图像提取注册人脸图像的特征。

特征提取部116在提取注册人脸图像的特征时，对由上述经归一化部112进行归一化处理后的注册人脸图像，使用公知的能够反应人脸图像区域特征的特征提取方法，提取注册人脸图像ImReg_m×n特征。特征提取部116可采用能够反应人脸图像区域特征的特征提取方法，例如可以使用LBP、Sobel梯度、二值特征等特征提取方法。

在本实施方式中，以LBP为例进行说明，令提取到的注册人脸图像特征为FtrReg_i，其中i代表注册人员的数量。特征提取部对全部的要注册人分别提取注册人脸图像特征FtrReg_i，并保存到存储部130中。

由此，在存储部130中，保存有作为注册数据的注册人脸图像特征FtrReg_i和作为学习信息132的上述转换矩阵Trans_mn×p。

<识别图像处理部分120>

另一方面，在保存上述注册数据后，由识别图像处理部分120根据所采集到的图像中的人脸进行身份验证。下面，对识别图像处理部分120的结构进行详细说明。

在本实施方式中，识别图像处理部分120包括归一化部121、转换图像生成部123、遮挡区域确定部125、特征提取部127和相似度评价部129。下面，对各部分进行详细说明。

归一化部121接收由外部的图像采集设备等采集到的待识别人脸图像，与上述注册图像处理部分110中的归一化部112同样，对该待识别人脸图像进行旋转、尺寸调整、光照调整等归一化处理，生成待识别人脸图像ImTest_m×n，该待识别人脸图像ImTest_m×n将用于后述的身份验证。

图3为表示在转换图像生成部中进行的处理的说明图。

如图3所示，在转换图像生成部123中，将上述待识别人脸图像ImTest_m×n展成1×mn的行向量ImTestVec_1×mn，从存储器130中读取转换矩阵Trans_mn×p，将由上述待识别人脸图像ImTest_m×n展开的行向量ImTestVec_1×mn与该转换矩阵Trans_mn×p相乘，获得转换图像空间的特征ImTestFtr_p×1。再使用转换矩阵Trans_mn×p的转置矩阵Trans`_p×mn与特征ImTestFtr_p×1相乘转回到原空间，获得一个新向量ImNewTestVec_1×mn，进而获取转换图像ImNewTest_m×n。

图4为表示在遮挡区域确定部中进行的处理的说明图。

遮挡区域确定部125根据所述待识别人脸图像和所述转换图像的差异图像，得到因遮挡物而产生差异的差异部分。

具体为，遮挡区域确定部125接收来自归一化部121的待识别人脸图像ImTest_m×n，并接收来自转换图像生成部123的待识别人脸图像的转换图像ImNewTest_m×n，利用下式1求得两者的差异图像：

[式1]

差异图像ImTestErr_m×n＝ImTest_m×n-ImNewTest_m×n （式1）

在本实施方式中，为了能够更准确地确定遮挡物区域，在遮挡区域确定部125中，对该差异图像进行滤波，例如在本实施方式中采用高斯滤波的方式，得到图4所示的滤波后的图像。

然后使用预先设定的阈值BinThesh对滤波后的差异图像进行二值化处理，得到二值化图像ImBinErr_m×n。

在该二值化图像ImBinErr_m×n图像中，纯白色像素点的集合Pix{(x₁,y₁)...(x_n,y_n)}即为因遮挡物产生的差异部分，作为遮挡物区域信息。

在本实施方式中，如图4所示，二值化图像中，作为遮挡物的眼镜的部分被识别为差异部分，该差异部分即为遮挡物信息。另外，为了获得更精确的遮挡物区域信息，也可以使用例如形态学方法、区域连通方法等操作对二值化后的图像进行进一步处理，来确定该差异部分。

取得遮挡物信息的方法不限于上述方法，除二值化处理以外，还可以利用各种差异方法，例如用于图像分割的分水岭方法、K-Means方法等。

特征提取部127使用与上述特征提取部116相同的方法提取待识别人脸图像ImTest_m×n的待识别人脸图像特征FtrTest₁，以用于后述人脸识别。

相似度评价部129根据注册人脸图像特征FtrReg_i和待识别人脸图像的特征FtrTest₁，计算注册人脸图像特征FtrReg_i和待识别人脸图像的特征FtrTest₁的相似度，并且在计算相似度时，舍去差异部分Pix{(x₁,y₁)...(x_n,y_n)}。

具体为，在识别时，首先，相似度评价部129从存储部130读取已注册的相应的人的注册人脸图像特征FtrReg_i，并接收来自特征提取部127的待识别人脸图像的特征FtrTest₁，和来自遮挡物区域确定部125的遮挡物信息，即差异部分Pix{(x₁,y₁)...(x_n,y_n)}。

图5为相似度评价部评价相似度的流程图。

相似度评价部129，首先，在步骤s501中，根据上述作为遮挡物信息的差异部分Pix{(x₁,y₁)...(x_n,y_n)}，确定注册人脸图像特征中的相应位置。

在步骤s502中，根据上述作为遮挡物信息的差异部分Pix{(x₁,y₁)...(x_n,y_n)}，确定待识别人脸图像特征中的相应位置。

然后，在步骤s503中，排除与该遮挡物信息相应位置上的特征，仅对注册人脸图像和待识别人脸图像的其余特征计算相似度。

接着，在步骤s504中，根据遮挡物区域信息选取阈值。

在该步骤s504中，例如可针对遮挡物出现的位置和遮挡物的面积来选用预先设定的阈值。一般情况，遮挡物面积越大，阈值越严格；遮挡位置越突出人的特点，阈值越严格。由此可知，该阈值可以预先根据遮挡物位置和大小学习得到。

例如，使用遮挡物区域的面积信息来选择阈值，将遮挡区域面积分为i个等级，每个等级设置一个阈值JudgeThesh_i。如果相似度Value高于阈值JudgeThesh_i，则认为本次识别时读取的注册人脸图像FtrReg_i和待识别人脸图像FtrTest₁中包含同一个人，否则为不同人，从而实现身份认证。

最后，在步骤s505中，将在步骤s503中计算的相似度与阈值比较，在相似度大于阈值时，判断为待识别人脸图像与注册人脸图像为同一人；当相似度小于阈值时，判断为待识别人脸图像与注册人脸图像为不同人。

上述人脸图像识别装置100仅为本发明的一个例子，对使注册图像处理部分110和识别图像处理部分120为相互独立设置的情形进行了说明，即注册图像处理部分110可以是在离线的状态下，对要注册的每个人生成注册数据，保存至存储部130，此时，识别图像处理部分120可以是在在线的状态下，通过互联网、局域网等网络，读取保存在注册图像处理部分110中的注册数据，用于进行身份验证。

当然，也可以使注册图像处理部分110和识别图像处理部分120设置于同一设备，这样可使注册图像处理部分110和识别图像处理部分120共用同一归一化部和特征提取部。

另外，也可以使注册图像处理部分110和识别图像处理部分120均通过互联网、局域网等网络，访问设置于服务器或其他终端的规定存储位置，来保存或读取注册数据。当然，构成人脸图像识别装置100中的注册图像处理部分110和识别图像处理部分120也可以是分别由多个终端或服务器组成，而可利用多个服务器或终端分别实现各组成部分的功能。

Claims (10)

1.一种人脸图像识别装置，其对所输入的注册人脸图像进行注册图像处理，生成注册数据，并对所采集的待识别人脸图像进行识别图像处理，其特征在于，包括：

存储部，其中预先存储有学习信息，所述学习信息为，根据在无遮挡情况下对人脸图像进行拍摄的多个学习样本图像，而生成的从样本图像空间到注册人脸图像特征空间的转换公式；

特征提取部，其在所述注册图像处理中，对所输入的多个注册人脸图像提取注册人脸图像的特征，而生成注册数据，并在所述识别图像处理中，对所采集的待识别人脸图像提取待识别人脸图像的特征；

转换图像生成部，其在所述识别图像处理中，利用存储在所述存储部中的所述学习信息，由所述待识别人脸图像得到转换图像；

遮挡区域确定部，其在所述识别图像处理中，根据所述待识别人脸图像和所述转换图像的差异图像，得到因遮挡物而产生的差异部分；

相似度评价部，其在所述识别图像处理中，根据所述注册人脸图像的特征和所述待识别人脸图像的特征，舍去在由所述遮挡区域确定部确定的所述差异部分，而评价所述注册人脸图像和所述待识别人脸图像的相似度；

在所述转换图像生成部中，根据所述转换公式，由所述待识别人脸图像得到无遮挡人脸图像空间的特征，再使用所述转换公式的逆运算转回到原空间，得到相似无遮挡人脸的转换图像；

在所述遮挡区域确定部中，将所述待识别人脸图像减去所述转换图像，生成所述差异图像，根据差异图像中像素的大小和分布生成所述差异部分。

2.根据权利要求1所述人脸图像识别装置，其特征在于：

还具有，归一化部，其在注册图像处理中，对所述注册人脸图像进行归一化处理后发送至所述特征提取部，并在所述识别图像处理中，对所述待识别人脸图像进行归一化处理后，发送至所述特征提取部、所述遮挡区域确定部和所述相似度评价部。

3.根据权利要求2所述人脸图像识别装置，其特征在于：

在所述遮挡区域确定部中，在对所述差异图像进行滤波和二值化处理后，根据该二值化后的图像中像素的大小和分布生成所述差异部分。

4.根据权利要求3所述人脸图像识别装置，其特征在于：

在所述遮挡区域确定部中，对所述二值化后的图像进行基于形态学处理方法或区域连通处理方法的处理后，生成所述差异部分。

5.根据权利要求1所述人脸图像识别装置，其特征在于：

在相似度评价部中，根据所述差异部分的信息动态修改评价标准。

6.一种人脸图像识别方法，其特征在于，包括：

注册图像处理工序，根据所输入的注册人脸图像生成注册数据；和

识别图像处理工序，对采集的人脸图像进行识别，其中，

所述注册图像处理工序包括：

注册人脸图像特征提取步骤，由多个注册人脸图像提取注册人脸图像的特征，而生成注册数据，

所述识别图像处理工序包括：

转换图像生成步骤，根据预先设定的学习信息，由待识别人脸图像得到转换图像；

遮挡区域确定步骤，根据所述待识别人脸图像和所述转换图像的差异图像，得到因遮挡物而产生的差异部分；

待识别人脸图像特征提取步骤，对所采集的待识别人脸图像提取待识别人脸图像的特征；和

相似度计算评价步骤，根据所述注册人脸图像的特征和所述待识别人脸图像的特征，舍去在所述遮挡区域确定步骤中识别的所述差异部分，而计算所述注册人脸图像和所述待识别人脸图像的相似度；

所述学习信息为，根据在无遮挡情况下对人脸图像进行拍摄的多个学习样本图像，而生成的从样本图像空间到注册人脸图像特征空间的转换公式；

在所述转换图像生成步骤中，图像根据所述转换公式，由所述待识别人脸图像得到无遮挡人脸图像空间的特征，再使用所述转换公式的逆运算转回到原空间，得到相似无遮挡人脸的转换图像；

在所述遮挡区域确定步骤中，将所述待识别人脸图像减去所述转换图像，生成所述差异图像，将所述差异图像二值化后，根据差异图像中像素的大小和分布生成所述差异部分。

7.根据权利要求6所述人脸图像识别方法，其特征在于：

在所述注册人脸图像学习步骤中，包括对所输入的所述多个注册人脸图像进行归一化处理的步骤，

在所述待识别人脸图像特征提取步骤中，包括对所采集的待识别人脸图像进行归一化处理的步骤。

8.根据权利要求7所述人脸图像识别方法，其特征在于：

在所述遮挡区域确定步骤中，在对所述差异图像进行滤波和二值化处理后，根据该二值化后的图像中像素的大小和分布生成所述差异部分。

9.根据权利要求7或8所述人脸图像识别方法，其特征在于：

在所述遮挡区域确定步骤中，对所述二值化后的图像进行基于形态学处理方法或区域连通处理方法的处理后，生成所述差异部分。

10.根据权利要求6所述人脸图像识别方法，其特征在于：

在相似度评价步骤中，根据所述差异部分的信息动态修改评价标准。