CN111783725A - 人脸识别方法、装置及存储介质 - Google Patents

Abstract

本发明公开了一种人脸识别方法、装置及存储介质，该方法包括：人脸提取裁剪步骤，对人脸照片进行特征识别，基于预设裁剪规则，根据面部关键特征点的坐标确定截剪边界，获得包括面部识别区域及围绕所述面部识别区域的边缘区域的裁剪图片；识别模型训练步骤，获取所述裁剪图片对应的身份标识信息，并基于深度卷积神经网络，通过所述裁剪图片及所述身份标识信息对人脸识别模型进行训练，获得人脸识别特征向量；人脸识别步骤，获取包括人脸信息的待识别图片，根据所述人脸识别模型得出待识别特征向量，比对所述待识别特征向量及所述人脸识别特征向量，得到相应的所述身份标识信息。本发明可防止边缘可识别信息丢失，提高识别准确性。

Description

人脸识别方法、装置及存储介质

技术领域

本发明涉及图像识别技术领域，特别涉及一种人脸识别方法、装置及存储介质。

背景技术

人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。随着其技术的成熟和社会认同度的提高，人脸识别被应用在很多领域，例如，人脸识别门禁考勤系统，人脸识别防盗门，人脸识别手机解锁，人脸识别来运行的机器人等。人脸识别的基本系统是采用摄像机或摄像头采集含有人脸的图像或视频，录入资料库，实际使用时，通过相机拍摄使用者的照片并与资料库中的照片进行对比，从而判断是否目标用户。

在人脸识别技术的应用中，受人脸区域的光照、遮挡、尺度或移动等因素影响，人脸识别算法的准确性达不到预想效果。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种人脸识别方法，能够提高人脸识别的准确性。

本发明还提出一种具有上述人脸识别方法的人脸识别装置。

本发明还提出一种具有上述人脸识别方法的存储介质。

根据本发明的第一方面实施例的人脸识别方法，包括：人脸提取裁剪步骤，对人脸照片进行特征识别，获得面部关键特征点的坐标，以及，基于预设裁剪规则，根据所述面部关键特征点的坐标确定截剪边界，获得裁剪图片，其中所述裁剪图片包括所述面部识别区域及围绕所述面部识别区域的边缘区域；识别模型训练步骤，获取所述裁剪图片对应的身份标识信息，并基于深度卷积神经网络，通过所述裁剪图片及所述身份标识信息对人脸识别模型进行训练，获得人脸识别特征向量；人脸识别步骤，获取包括人脸信息的待识别图片，根据所述人脸识别模型得出待识别特征向量，比对所述待识别特征向量及所述人脸识别特征向量，得到相应的所述身份标识信息。

根据本发明实施例的人脸识别方法，至少具有如下有益效果：通过按预设规则对原始图片进行裁剪规化，获取面部识别区域的同时附加边缘区域，可防止边缘可识别信息丢失，提高识别准确性；并可根据预设裁剪规则可统一识别训练用图片的规格，加快迭代速度，进一步提高识别精度。

根据本发明的一些实施例，所述人脸提取裁剪步骤包括：关键特征提取步骤，根据所述人脸照片构建多个候选框，对所述候选框进行过滤，筛选出存在人脸区域的所述候选框，生成面部识别区域，获得所述面部关键特征点的坐标；图片裁剪步骤，根据所述面部关键特征点的坐标，按预设裁剪规则对所述人脸照片进行裁剪，其中所述预设裁剪规则中包括所述裁剪图片的大小及所述裁剪图片中的所述面部识别区域与裁剪边界的距离。

根据本发明的一些实施例，所述关键特征提取步骤包括：将所述人脸照片进行多尺度变化，构建图像金字塔，在所述图像金字塔中构建多个所述候选框；基于边框回归及面部定位器，通过多个级联卷积神经网络，对所述候选框逐级过滤，确定出所述面部识别区域，确定所述面部关键特征点的坐标。

根据本发明的一些实施例，所述裁剪图片的分辨率大小为112×112，其中所述面部识别区域与裁剪边界的距离为16。

根据本发明的一些实施例，所述识别模型训练步骤包括：将所述人脸裁剪图片及所述身份标识信息作为输入数据，通过基于Arcface损失函数，基于100层的卷积神经网络ResNet对所述识别模型进行训练。

根据本发明的一些实施例，所述人脸识别步骤包括：获取包括人脸信息的待识别图片，根据所述人脸提取裁剪步骤中的方法，获得待识别截剪图片；基于所述人脸识别模型，通过所述待识别截剪图片得出所述待识别特征向量；根据所述待识别特征向量及所述人脸识别特征向量的相似度，得出与所述待识别特征向量匹配的所述人脸识别特征向量相应的身份标识。

根据本发明的一些实施例，所述人脸识别特征向量为512维。

根据本发明的一些实施例，所述人脸照片包括MS-Celeb-1M人脸数据集中的照片。

根据本发明的第二方面实施例的人脸识别装置，使用本发明的第一方面实施例的方法，包括：裁剪规化模块，用于对人脸照片进行特征识别，获得面部关键特征点的坐标，以及，基于预设裁剪规则，根据所述面部关键特征点的坐标确定截剪边界，获得裁剪图片，其中所述裁剪图片包括所述面部识别区域及围绕所述面部识别区域的边缘区域；模型训练模块，用于获取所述裁剪图片对应的身份标识信息，并基于深度卷积神经网络，通过所述裁剪图片及所述身份标识信息对人脸识别模型进行训练，获得人脸识别特征向量；人脸识别模块，用于获取包括人脸信息的待识别图片，根据所述人脸识别模型得出待识别特征向量，比对所述待识别特征向量及所述人脸识别特征向量，得到相应的所述身份标识信息。

根据本发明实施例的人脸识别装置，至少具有同本发明的第一方面实施例相同的有益效果。

根据本发明的第三方面实施例的计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本发明的第一方面实施例的方法。

根据本发明实施例的计算机可读存储介质，至少具有同本发明的第一方面实施例相同的有益效果。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例的方法的步骤流程示意图；

图2为本发明实施例的方法的年龄识别步骤的流程示意图；

图3为本发明实施例的方法中的截剪示意图；

图4为本发明实施例的装置的内部模块示意框图。

附图标记：

裁剪规化模块100、模型训练模块200、人脸识别模块300。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个及两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

名词解释：

100层的深度卷积神经网络ResNet：一种深度卷积神经网络结构。

MS-Celeb-1M：微软公开的人脸数据集。

MTCNN模型：一种人脸检测方法。

Arcface：一种用于人脸识别的损失函数方法。

参照图1，本发明的实施例的方法包括：人脸提取裁剪步骤，接收并处理人脸照片，检测该照片中的人脸面部特征，获得面部关键特征点的坐标(包括两眼、鼻子及左右两个嘴角)，然后基于预设的裁剪规则，根据面部关键特征点的坐图确定截剪边界，获得裁剪图片。裁剪效果参照图3，裁剪的区域包括最内层的面部识别区域及边缘区域；其中边缘区域围绕该面部识别区域，边缘区域中可能包含毛发胡须等有利于身份识别的信息。然后，对裁剪后的人脸图片进行特征提取，基于人脸深度识别模型的主干网络，获取固定通道数的人脸特征向量。识别模型训练步骤，获取裁剪图片对应的身份标识信息，并基于深度卷积神经网络，通过裁剪图片及身份标识信息对人脸识别模型进行训练，获得人脸识别特征向量；人脸识别步骤，获取包括人脸信息的待识别图片，根据人脸识别模型得出待识别特征向量，比对待识别特征向量及人脸识别特征向量，得到相应的身份标识信息。

在本发明的实施例中，人脸提取裁剪步骤的图片处理过程参照图2，包括：将人脸照片进行多尺度变化，构建图像金字塔，在图像金字塔中构建多个所述候选框；基于边框回归及面部定位器，通过多个级联卷积神经网络，对候选框逐级过滤，确定出面部识别区域，确定面部关键特征点的坐标；根据面部关键特征点的坐标，按预设裁剪规则对人脸照片进行裁剪，其中预设裁剪规则中包括裁剪图片的大小及裁剪图片中的面部识别区域与裁剪边界的距离。裁剪后的图片的分辨率大小被设定为112×112，其中面部识别区域与裁剪边框的限制距离为16。这一分辨率大小能更好的提取通用的有区分度的特征，面部识别区域与裁剪边框的距离设定一方面能保留背景中有助于识别的信息，另一方面则令人脸在裁剪后的图片中保持一定的比例，可提高识别的准确性，防止影响识别判断的结果。

本发明的一个实施例中，人脸身份识别中的人脸深度识别模型的训练过程如下。采用100层的深度卷积神经网络ResNet作为主干网络，使用百万人脸数据集MS-Celeb-1M进行人脸识别模型进行训练，得到一个用于人脸身份识别的人脸深度识别模型，并通过100层的参数权重固定，使得每张人脸照片在通过该人脸深度识别模型的主干网络后，生成一个固定输出通道数的人脸特征向量。在本发明的实施例中，该人脸特征向量为512维；应理解的是，在本发明的某些实施例中，通道数也可以是128或者256等，即输出的人脸特征向量为128维或256维等。首先基于MTCNN模型将人脸数据集进行人脸提取和裁剪，输入原始的人脸照片数据，输出每张人脸照片对应的5个关键坐标点(两眼、鼻子及左右两个嘴角)，处理过程包括：将原始的人脸照片进行多尺度变化，生成图像金字塔，在图像金字塔中划分为多个候选框，通过多个级联的卷积神经网络，基于边框回归和面部关键点的定位器对候选框进行边框回归和关键点定位，按人脸部位存在的可能性逐级过滤，得到面部识别区域，最后输出面部关键特征点的坐标。最后基于预设的裁剪规则，根据面部关键特征点的坐标按一定的分辨比例获取包括面部识别区域的裁剪图片，裁剪图片分辨率大小被设定为112×112，其中面部识别区域与裁剪边框的限制距离(也称边缘距离)为16；获得统一尺寸规则(112×112)的裁剪图片，且面部识别区域与裁剪边框的距离不超过16。在本发明的另一些实施例中，图分辨率大小及边缘距离也可设定为其它的值。裁剪后的人脸图片其对应的身份标识信息输入到100层的卷积神经网络ResNet中，使用基于Arcface的损失函数进行模型的训练，总共迭代18万次，在迭代到10万次时，学习率下降十倍，在迭代到14万次时，学习率再下降十倍直到学习结束。训练结束后，去掉最后的全连接层，只剩下主干网络，作为人脸深度识别模型。

本发明的实施例中，人脸识别过程包括：获取包括人脸信息的待识别图片，根据人脸提取裁剪步骤中的方法，获得待识别截剪图片；基于人脸识别模型，通过待识别截剪图片得出所述待识别特征向量；根据待识别特征向量及人脸识别特征向量的相似度，得出与待识别特征向量匹配的人脸识别特征向量相应的身份标识(如：姓名、性别、族群等)。

参照图4，本发明的实施例的装置包括：裁剪规化模块100、模型训练模块200以及人脸识别模块300。裁剪规化模块100，用于对人脸照片进行特征识别，获得面部关键特征点的坐标，以及，基于预设裁剪规则，根据面部关键特征点的坐标确定截剪边界，获得裁剪图片，其中裁剪图片包括面部识别区域及围绕面部识别区域的边缘区域。裁剪示意参照图3，裁剪的区域包括最内层的面部识别区域及边缘区域；其中边缘区域围绕该面部识别区域，边缘区域中可能包含毛发胡须等有利于身份识别的信息。模型训练模块200，用于获取裁剪图片对应的身份标识信息，并基于深度卷积神经网络，通过裁剪图片及身份标识信息对人脸识别模型进行训练，获得人脸识别特征向量。人脸识别模块300，用于获取包括人脸信息的待识别图片，根据人脸识别模型得出待识别特征向量，比对待识别特征向量及人脸识别特征向量，得到相应的身份标识信息。

在本发明的一些实施例的装置中，还包括：人脸特征管理模块，用于管理模型训练模块200生成的人脸特征向量，并与对应的身份标识信息保持映射关系进行存放。人脸识别模块300获取待识别特征向量后，通过人脸特征管理模块得到匹配的人脸特征向量，进而获取对应的身份标识信息，将该身份标识信息作为识别结果进行返回。

尽管本文描述了具体实施方案，但是本领域中的普通技术人员将认识到，许多其它修改或另选的实施方案同样处于本公开的范围内。例如，结合特定设备或组件描述的功能和/或处理能力中的任一项可以由任何其它设备或部件来执行。另外，虽然已根据本公开的实施方案描述了各种例示性具体实施和架构，但是本领域中的普通技术人员将认识到，对本文所述的例示性具体实施和架构的许多其它修改也处于本公开的范围内。

上文参考根据示例性实施方案所述的系统、方法、装置和/或计算机程序产品的框图和流程图描述了本公开的某些方面。应当理解，框图和流程图中的一个或多个块以及框图和流程图中的块的组合可分别通过执行计算机可执行程序指令来实现。同样，根据一些实施方案，框图和流程图中的一些块可能无需按示出的顺序执行，或者可以无需全部执行。另外，超出框图和流程图中的块所示的那些部件和/或操作以外的附加部件和/或操作可存在于某些实施方案中。

因此，框图和流程图中的块支持用于执行指定功能的装置的组合、用于执行指定功能的元件或步骤的组合以及用于执行指定功能的程序指令装置。还应当理解，框图和流程图中的每个块以及框图和流程图中的块的组合可以由执行特定功能、元件或步骤的专用硬件计算机系统或者专用硬件和计算机指令的组合来实现。

本文所述的程序模块、应用程序等可包括一个或多个软件组件，包括例如软件对象、方法、数据结构等。每个此类软件组件可包括计算机可执行指令，所述计算机可执行指令响应于执行而使本文所述的功能的至少一部分(例如，本文所述的例示性方法的一种或多种操作)被执行。

软件组件可以用各种编程语言中的任一种来编码。一种例示性编程语言可以为低级编程语言，诸如与特定硬件体系结构和/或操作系统平台相关联的汇编语言。包括汇编语言指令的软件组件可能需要在由硬件架构和/或平台执行之前由汇编程序转换为可执行的机器代码。另一种示例性编程语言可以为更高级的编程语言，其可以跨多种架构移植。包括更高级编程语言的软件组件在执行之前可能需要由解释器或编译器转换为中间表示。编程语言的其它示例包括但不限于宏语言、外壳或命令语言、作业控制语言、脚本语言、数据库查询或搜索语言、或报告编写语言。在一个或多个示例性实施方案中，包含上述编程语言示例中的一者的指令的软件组件可直接由操作系统或其它软件组件执行，而无需首先转换成另一种形式。

软件组件可存储为文件或其它数据存储构造。具有相似类型或相关功能的软件组件可一起存储在诸如特定的目录、文件夹或库中。软件组件可为静态的(例如，预设的或固定的)或动态的(例如，在执行时创建或修改的)。

上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (10)

1.一种人脸识别方法，其特征在于，包括：

人脸提取裁剪步骤，对人脸照片进行特征识别，获得面部识别区域及面部关键特征点的坐标，以及，基于预设裁剪规则，根据所述面部关键特征点的坐标确定截剪边界，获得裁剪图片，其中所述裁剪图片包括所述面部识别区域及围绕所述面部识别区域的边缘区域；

识别模型训练步骤，获取所述裁剪图片对应的身份标识信息，并基于深度卷积神经网络，通过所述裁剪图片及所述身份标识信息对人脸识别模型进行训练，获得人脸识别特征向量；

人脸识别步骤，获取包括人脸信息的待识别图片，根据所述人脸识别模型得出待识别特征向量，比对所述待识别特征向量及所述人脸识别特征向量，得到相应的所述身份标识信息。

2.根据权利要求1所述的人脸识别方法，其特征在于，所述人脸提取裁剪步骤包括：

关键特征提取步骤，根据所述人脸照片构建多个候选框，对所述候选框进行过滤，筛选出存在人脸区域的所述候选框，得到面部识别区域，并获得所述面部关键特征点的坐标；

图片裁剪步骤，根据所述面部关键特征点的坐标，按预设裁剪规则对所述人脸照片进行裁剪，其中所述预设裁剪规则中包括所述裁剪图片的大小及所述裁剪图片中的所述面部识别区域与裁剪边界的距离。

3.根据权利要求2所述的人脸识别方法，其特征在于，所述关键特征提取步骤包括：

将所述人脸照片进行多尺度变化，构建图像金字塔，在所述图像金字塔中构建多个所述候选框；

基于边框回归及面部定位器，通过多个级联卷积神经网络，对所述候选框逐级过滤，确定出所述面部识别区域，确定所述面部关键特征点的坐标。

4.根据权利要求2所述的人脸识别方法，其特征在于，所述裁剪图片的分辨率大小为112×112，其中所述面部识别区域与裁剪边界的距离为16。

5.根据权利要求1所述的人脸识别方法，其特征在于，所述识别模型训练步骤包括：将所述人脸裁剪图片及所述身份标识信息作为输入数据，通过基于Arcface损失函数，基于100层的卷积神经网络ResNet对所述识别模型进行训练。

6.根据权利要求1所述的人脸识别方法，其特征在于，所述人脸识别步骤包括：

获取包括人脸信息的待识别图片，根据所述人脸提取裁剪步骤中的方法，获得待识别截剪图片；

基于所述人脸识别模型，通过所述待识别截剪图片得出所述待识别特征向量；

根据所述待识别特征向量及所述人脸识别特征向量的相似度，得出与所述待识别特征向量匹配的所述人脸识别特征向量相应的身份标识。

7.根据权利要求1所述的人脸识别方法，其特征在于，所述人脸识别特征向量为512维。

8.根据权利要求1所述的人脸识别方法，其特征在于，所述人脸照片包括MS-Celeb-1M人脸数据集中的照片。

9.一种人脸识别装置，使用权利要求1至8中任一项的方法，其特征在于，包括：

裁剪规化模块，用于对人脸照片进行特征识别，获得面部关键特征点的坐标，以及，基于预设裁剪规则，根据所述面部关键特征点的坐标确定截剪边界，获得裁剪图片，其中所述裁剪图片包括所述面部识别区域及围绕所述面部识别区域的边缘区域；

模型训练模块，用于获取所述裁剪图片对应的身份标识信息，并基于深度卷积神经网络，通过所述裁剪图片及所述身份标识信息对人脸识别模型进行训练，获得人脸识别特征向量；

人脸识别模块，用于获取包括人脸信息的待识别图片，根据所述人脸识别模型得出待识别特征向量，比对所述待识别特征向量及所述人脸识别特征向量，得到相应的所述身份标识信息。

10.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至8中任一项的方法。

Images