CN111144357B - 人脸识别方法和装置 - Google Patents

Abstract

本发明实施例提供了一种人脸识别方法和装置，方法包括：获取人脸图像及面部特征模板；提取人脸图像的第一面部关键点信息及面部特征模板的第二面部关键点信息；将第一面部关键点信息与第二面部关键点信息进行相似度匹配，得到第一匹配度；若第一匹配度大于等于第一阈值，则利用归一化算法将第一面部关键点信息与第二面部关键点信息重新进行相似度匹配，得到第二匹配度；若第二匹配度大于等于第二阈值，则输出人脸图像匹配成功信息。先通过简单的神经网络结构进行初步相似度匹配，初步匹配成功后在通过复杂的神经网络结构将人脸图像与面部特征模板进行二次匹配；以此减少了计算资源的消耗，提高了人脸匹配精度、稳定性和速度。

Description

人脸识别方法和装置

技术领域

本发明涉及人脸识别领域，具体而言，涉及一种人脸识别方法和装置。

背景技术

面部识别技术主要是基于可见光图像的人脸识别，但这种方式有着难以克服的缺陷，尤其在环境光照发生变化时，识别效果会急剧下降，无法满足实际系统的需要。解决光照问题的方案有三维图像人脸识别和热成像人脸识别，人脸与人体的其它生物特征如指纹、虹膜等一样与生俱来，它的唯一性和不易被复制的良好特性为身份鉴别提供了必要的前提。

现有的人脸识别技术并没有完全克服光线变化的影响，受光照条件影响较大，人脸匹配时在精度、稳定性和速度方面都有待提升。

发明内容

本发明的目的包括，例如，提供了一种人脸识别方法和装置，其能够有效提高人脸匹配的效率以及减少误差。

本发明的实施例可以这样实现：

第一方面，本发明实施例提供一种人脸识别方法，包括：

获取人脸图像及面部特征模板；所述面部特征模板为检测所述人脸图像的标准图像；

提取所述人脸图像的第一面部关键点信息及所述面部特征模板的第二面部关键点信息；

将所述第一面部关键点信息与所述第二面部关键点信息进行相似度匹配，得到第一匹配度；

若第一匹配度大于等于第一阈值，则利用归一化算法将所述第一面部关键点信息与所述第二面部关键点信息重新进行相似度匹配，得到第二匹配度；

若所述第二匹配度大于等于第二阈值，则输出人脸图像匹配成功信息。

在可选的实施方式中，还包括：

若所述第二匹配度大于等于第二阈值，将所述第一匹配度与所述第二匹配度按照对应的系数进行加权，得到所述人脸图像的相似度分数。

在可选的实施方式中，获取面部特征模板的步骤，包括：

提取所述人脸图像的面部特征点信息；

根据所述面部特征点信息计算面部特征模板库中每个待匹配面部特征模板与所述人脸图像的相似度；

选取相似度最高的所述待匹配面部特征模板作为所述面部特征模板。

在可选的实施方式中，若第一匹配度小于所述第一阈值，则选取相似度第二高的待匹配面部特征模板作为所述面部特征模板，并重新获取所述第一匹配度；

若重新获取所述第一匹配度小于所述第一阈值，则输出人脸图像匹配失败信息。

在可选的实施方式中，若所述第二匹配度小于所述第二阈值，则选取相似度第二高的待匹配面部特征模板作为所述面部特征模板，并重新获取所述第二匹配度；

若重新获取所述第二匹配度小于所述第二阈值，则输出人脸图像匹配失败信息。

第二方面，本发明实施例提供一种人脸识别装置，包括：

获取模块，用于获取人脸图像及面部特征模板；所述面部特征模板为检测所述人脸图像的标准图像；

处理模块，用于提取所述人脸图像的第一面部关键点信息及所述面部特征模板的第二面部关键点信息；

以及还用于将所述第一面部关键点信息与所述第二面部关键点信息进行相似度匹配，得到第一匹配度；

以及还用于第一匹配度大于等于第一阈值时，利用归一化算法将所述第一面部关键点信息与所述第二面部关键点信息重新进行相似度匹配，得到第二匹配度；

以及还用于所述第二匹配度大于等于第二阈值时，输出人脸图像匹配成功信息。

在可选的实施方式中，还包括：

所述处理模块，还用于所述第二匹配度大于等于第二阈值时，将所述第一匹配度与所述第二匹配度按照对应的系数进行加权，得到所述人脸图像的相似度分数。

在可选的实施方式中，还包括：

所述处理模块，还用于提取所述人脸图像的面部特征点信息；

以及还用于根据所述面部特征点信息计算面部特征模板库中每个待匹配面部特征模板与所述人脸图像的相似度；

以及还用于选取相似度最高的所述待匹配面部特征模板作为所述面部特征模板。

在可选的实施方式中，还包括：

所述处理模块，还用于第一匹配度小于所述第一阈值时，选取相似度第二高的待匹配面部特征模板作为所述面部特征模板，并重新获取所述第一匹配度；

以及还用于重新获取所述第一匹配度小于所述第一阈值时，输出人脸图像匹配失败信息。

在可选的实施方式中，还包括：

所述处理模块，还用于所述第二匹配度小于所述第二阈值时，选取相似度第二高的待匹配面部特征模板作为所述面部特征模板，并重新获取所述第二匹配度；

还用于重新获取所述第二匹配度小于所述第二阈值时，输出人脸图像匹配失败信息。

本发明实施例的有益效果包括，例如：获取人脸图像及面部特征模板；提取人脸图像的第一面部关键点信息及面部特征模板的第二面部关键点信息；将第一面部关键点信息与第二面部关键点信息进行相似度匹配，得到第一匹配度；若第一匹配度大于等于第一阈值，则利用归一化算法将第一面部关键点信息与第二面部关键点信息重新进行相似度匹配，得到第二匹配度；若第二匹配度大于等于第二阈值，则输出人脸图像匹配成功信息。先通过简单的神经网络结构将获取到的人脸图像与面部特征模板进行初步匹配，初步匹配成功后在通过复杂的神经网络结构将人脸图像与面部特征模板进行二次匹配，并输出匹配结果和匹配度；以此减少了计算资源的消耗，提高了人脸匹配精度、稳定性和速度。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本实施例提供的一种人脸识别方法的流程示意图。

图2为本实施例提供的另一种人脸识别方法的流程示意图。

图3为本发明实施例提供的一种人脸特征点分布示意图。

图4为本发明实施例所提供的一种人脸识别装置的功能模块示意图。

图标：100-人脸识别装置；110-获取模块；120-处理模块。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

此外，若出现术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

需要说明的是，在不冲突的情况下，本发明的实施例中的特征可以相互结合。

请参考图1，为本实施例提供的一种人脸识别方法的流程示意图。

步骤101，获取人脸图像及面部特征模板。

步骤102，提取人脸图像的第一面部关键点信息及面部特征模板的第二面部关键点信息。

步骤103，将第一面部关键点信息与第二面部关键点信息进行相似度匹配，得到第一匹配度。

步骤104，若第一匹配度大于等于第一阈值，利用归一化算法将第一面部关键点信息与第二面部关键点信息重新进行相似度匹配，得到第二匹配度。

步骤105，若第二匹配度大于等于第二阈值，则输出人脸图像匹配成功信息。

在本实施例中，首先获取人脸图像及面部特征模板，面部特征模板为检测所述人脸图像的标准图像；然后提取人脸图像的第一面部关键点信息及面部特征模板的第二面部关键点信息；最后将第一面部关键点信息与第二面部关键点信息进行相似度匹配，得到第一匹配度；若第一匹配度大于等于第一阈值，利用归一化算法将第一面部关键点信息与第二面部关键点信息重新进行相似度匹配，得到第二匹配度；若第二匹配度大于等于第二阈值，则输出人脸图像匹配成功信息。先通过简单的神经网络结构将获取到的人脸图像与面部特征模板进行初步匹配，初步匹配成功后在通过复杂的神经网络结构将人脸图像与面部特征模板进行二次匹配，并输出匹配结果和匹配度；以此减少了计算资源的消耗，提高了人脸匹配精度、稳定性和速度。

请参考图2，为本实施例提供的另一种人脸识别方法的流程示意图。

需要说明的是，本实施例所提供的人脸识别方法，其基本原理及产生的技术效果和上述实施例相同，为简要描述，本实施例部分未提及之处，可参考上述的实施例中相应内容。

步骤201，获取人脸图像及面部特征模板。

通过摄像头获取人脸图像，将人脸图像信息转化为数字信号，然后将数字信号以BMP的格式进行储存。

首先将人脸图像信息进行灰度化处理，即在RGB模式中选择一个R＝G＝B的值，该值域在0-255范围内，即可使图像呈现出黑白效果。

使用阈值法分割人脸图像，即把图像的灰度按灰度级分成2个部分，使得两个部分的灰度值差异最大，每个部分之间的灰度差异最小，通过方差计算来寻找一个合适的灰度级别来划分。

需要说明的是，步骤201包括三个子步骤，本步骤中未提及之处将在其子步骤中进行详细的阐述。

子步骤201-1，提取人脸图像的面部特征点信息。

首先找到人脸图像中的所有人脸，找出每一张脸上可用于与他人区分的面部特征点信息，比如眼睛大小、脸大小长度、两眼之间的距离及眼睛与嘴的距离等。

子步骤201-2，根据面部特征点信息计算面部特征模板库中每个待匹配面部特征模板与人脸图像的相似度。

面部特征模板库事先获取了所有的人脸图像模板，并存储在数据库中。

根据已经获取到的人脸图像的面部特征点信息，计算面部特征模板库中每个待匹配面部特征模板与人脸图像的相似度。

每个面部特征点占一定的权重，根据每个面部特征点的权重系数将面部特征点进行加权得到每个待匹配面部特征模板与人脸图像的相似度。

子步骤201-3，选取相似度最高的待匹配面部特征模板作为面部特征模板。

步骤202，提取人脸图像的第一面部关键点信息及面部特征模板的第二面部关键点信息。

提取人脸图像的第一面部关键点信息采用一种面部特征点估计(face landmarkestimation)的算法，找到人脸上68个普遍存在的点称为特征点(landmark)。

请参考图3，为本发明实施例提供的一种人脸特征点分布示意图。

下巴轮廓17个点[0-16]，左眉毛5个点[17-21]，右眉毛5个点[22-26]，鼻梁4个点[27-30]，鼻尖5个点[31-35]，左眼6个点[36-41]，右眼6个点[42-47]，外嘴唇12个点[48-59]，内嘴唇8个点[60-67]。

得到这68个点的位置，就可以知道眼睛和嘴巴的位置以及大小。

同理，提取面部特征模板的第二面部关键点信息的原理同上。

步骤203，将第一面部关键点信息与第二面部关键点信息进行相似度匹配，得到第一匹配度；

第一匹配度为人脸图像与面部特征模板的相似度。

本实施例中，通过深度卷积神经网络对第一面部关键点信息及第二面部关键点信息进行训练。

步骤204，第一匹配度是否小于第一阈值。

若是，则执行步骤205；若否，则执行步骤206。

在一种优选的实施中，第一阈值为80％。

步骤205，选取相似度第二高的待匹配面部特征模板作为面部特征模板。

从面部特征模板库中选取相似度第二高的待匹配面部特征模板作为面部特征模板，并重新执行步骤202。

若重新选取面部特征模板所得到的第一匹配度仍小于第一阈值，则进一步再选取相似度第三高的待匹配面部特征模板作为面部特征模板，并重新执行步骤202。

若重新选取面部特征模板所得到的第一匹配度仍小于第一阈值，则再进一步选取相似度次高的待匹配面部特征模板作为面部特征模板，直到选取的面部特征模板所得到的第一匹配度仍大于等于第一阈值，或者循环20次都没找到匹配度仍大于等于第一阈值的面部特征模板，就输出人脸图像匹配失败信息。

步骤206，利用归一化算法将第一面部关键点信息与第二面部关键点信息重新进行相似度匹配，得到第二匹配度。

通过O-Net网络结构将第一面部关键点信息与第二面部关键点信息重新进行相似度匹配，O-Net网络结构会对人的面部特征点进行回归，最终输出五个人脸面部特征点。

O-Net是一个复杂的卷积网络，该网络的输入特征更多，在网络结构的最后是一个更大的256的全连接层，保留了更多的图像特征，同时再进行人脸判别、人脸区域边框回归和人脸特征定位，最终输出人脸区域的左上角坐标和右下角坐标与人脸区域的五个特征点。O-Net拥有特征更多的输入和更复杂的网络结构，也具有更好的性能，这一层的输出作为最终的网络模型输出。

步骤207，若第二匹配度大于等于第二阈值，输出人脸图像匹配成功信息，将第一匹配度与第二匹配度按照对应的系数进行加权，得到人脸图像的相似度分数。

在一种优选的实施中，第二阈值为95％。

在一种优选的实施中，第一匹配度与第二匹配度的加权系数均为0.5。

步骤208，若第二匹配度小于第二阈值，则选取相似度第二高的待匹配面部特征模板作为面部特征模板，并重新获取第二匹配度。

若第二匹配度小于第二阈值，从面部特征模板库中选取相似度第二高的待匹配面部特征模板作为面部特征模板，并重新执行步骤202。

若重新选取面部特征模板所得到的第二匹配度仍小于第二阈值，则进一步再选取相似度第三高的待匹配面部特征模板作为面部特征模板，并重新执行步骤202。

若重新选取面部特征模板所得到的第二匹配度仍小于第二阈值，则再进一步选取相似度次高的待匹配面部特征模板作为面部特征模板，直到选取的面部特征模板所得到的第二匹配度仍大于等于第二阈值。

步骤209，若重新获取第二匹配度小于第二阈值，则输出人脸图像匹配失败信息。

请参照图4，为本发明实施例所提供的一种人脸识别装置的功能模块示意图。需要说明的是，本发明实施例所提供的一种人脸识别装置100，其基本原理及产生的技术效果与前述方法实施例相同，为简要描述，本实施例中未提及部分，可参考前述方法实施例中的相应内容。人脸识别装置100用于执行图1及图2所述的人脸识别方法，其包括获取模块110以及处理模块120。

可以理解的，在一种实施例中，通过获取模块110执行步骤201。

可以理解的，在一种实施例中，通过获取模块110执行步骤202、步骤203、步骤204、步骤205、步骤206、步骤207、步骤208及步骤209。

综上所述，本发明实施例提供了一种人脸识别方法和装置，所述方法包括：获取人脸图像及面部特征模板；提取人脸图像的第一面部关键点信息及面部特征模板的第二面部关键点信息；将第一面部关键点信息与第二面部关键点信息进行相似度匹配，得到第一匹配度；若第一匹配度大于等于第一阈值，则利用归一化算法将第一面部关键点信息与第二面部关键点信息重新进行相似度匹配，得到第二匹配度；若第二匹配度大于等于第二阈值，则输出人脸图像匹配成功信息。先通过简单的神经网络结构将获取到的人脸图像与面部特征模板进行初步匹配，初步匹配成功后在通过复杂的神经网络结构将人脸图像与面部特征模板进行二次匹配，并输出匹配结果和匹配度；以此减少了计算资源的消耗，提高了人脸匹配精度、稳定性和速度。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (6)

1.一种人脸识别方法，其特征在于，包括：

获取人脸图像及面部特征模板；所述面部特征模板为检测所述人脸图像的标准图像；

提取所述人脸图像的第一面部关键点信息及所述面部特征模板的第二面部关键点信息；

将所述第一面部关键点信息与所述第二面部关键点信息进行相似度匹配，得到第一匹配度；

若第一匹配度大于等于第一阈值，则利用归一化算法将所述第一面部关键点信息与所述第二面部关键点信息重新进行相似度匹配，得到第二匹配度；

若所述第二匹配度大于等于第二阈值，则输出人脸图像匹配成功信息；

其中，所述获取人脸图像及面部特征模板的步骤，包括：

提取所述人脸图像的面部特征点信息；

根据所述面部特征点信息计算面部特征模板库中每个待匹配面部特征模板与所述人脸图像的相似度；

选取相似度最高的所述待匹配面部特征模板作为所述面部特征模板；

若第一匹配度小于所述第一阈值，则选取相似度第二高的待匹配面部特征模板作为所述面部特征模板，并重新获取所述第一匹配度；

若重新获取所述第一匹配度小于所述第一阈值，则输出人脸图像匹配失败信息。

2.根据权利要求1所述的方法，其特征在于，还包括：

若所述第二匹配度大于等于第二阈值，将所述第一匹配度与所述第二匹配度按照对应的系数进行加权，得到所述人脸图像的相似度分数。

3.根据权利要求1所述的方法，其特征在于，

若所述第二匹配度小于所述第二阈值，则选取相似度第二高的待匹配面部特征模板作为所述面部特征模板，并重新获取所述第二匹配度；

若重新获取所述第二匹配度小于所述第二阈值，则输出人脸图像匹配失败信息。

4.一种人脸识别装置，其特征在于，包括：

获取模块，用于获取人脸图像及面部特征模板；所述面部特征模板为检测所述人脸图像的标准图像；

处理模块，用于提取所述人脸图像的第一面部关键点信息及所述面部特征模板的第二面部关键点信息；

以及还用于将所述第一面部关键点信息与所述第二面部关键点信息进行相似度匹配，得到第一匹配度；

以及还用于第一匹配度大于等于第一阈值时，利用归一化算法将所述第一面部关键点信息与所述第二面部关键点信息重新进行相似度匹配，得到第二匹配度；

以及还用于所述第二匹配度大于等于第二阈值时，输出人脸图像匹配成功信息；

所述处理模块，还用于提取所述人脸图像的面部特征点信息；

以及还用于根据所述面部特征点信息计算面部特征模板库中每个待匹配面部特征模板与所述人脸图像的相似度；

以及还用于选取相似度最高的所述待匹配面部特征模板作为所述面部特征模板；

所述处理模块还用于：若第一匹配度小于所述第一阈值，则选取相似度第二高的待匹配面部特征模板作为所述面部特征模板，并重新获取所述第一匹配度；

若重新获取所述第一匹配度小于所述第一阈值，则输出人脸图像匹配失败信息。

5.根据权利要求4所述的装置，其特征在于，还包括：

所述处理模块，还用于所述第二匹配度大于等于第二阈值时，将所述第一匹配度与所述第二匹配度按照对应的系数进行加权，得到所述人脸图像的相似度分数。

6.根据权利要求4所述的装置，其特征在于，还包括：

所述处理模块，还用于所述第二匹配度小于所述第二阈值时，选取相似度第二高的待匹配面部特征模板作为所述面部特征模板，并重新获取所述第二匹配度；

还用于重新获取所述第二匹配度小于所述第二阈值时，输出人脸图像匹配失败信息。