CN110210425A

CN110210425A - 人脸识别方法、装置、电子设备及存储介质

Info

Publication number: CN110210425A
Application number: CN201910488461.0A
Authority: CN
Inventors: 戴磊
Original assignee: Ping An Technology Shenzhen Co Ltd
Current assignee: Ping An Technology Shenzhen Co Ltd
Priority date: 2019-06-05
Filing date: 2019-06-05
Publication date: 2019-09-06
Anticipated expiration: 2039-06-05
Also published as: WO2020244076A1; CN110210425B

Abstract

本发明涉及人工智能技术领域。一种人脸识别方法，所述方法包括：获取网纹人物图像；对所述网纹人物图像进行去网纹来获得去网纹人物图像；对所述去网纹人物图像进行人脸检测和特征点标定来得到第一特征点坐标集；将所述第一特征点坐标集中的特征点坐标映射到所述去网纹人物图像来得到第二特征点坐标集；根据所述第二特征点坐标集对所述网纹人物图像进行人脸对齐裁剪来得到对齐后的网纹人脸图像；根据所述对齐后的网纹人脸图像进行人脸识别。本发明还提供一种人脸识别装置、电子设备及存储介质，可提高人脸识别的精确度。

Description

人脸识别方法、装置、电子设备及存储介质

技术领域

本发明涉及人脸识别领域，具体涉及一种人脸识别方法、装置、电子设备及存储介质。

背景技术

在进行人脸识别时，会获取目标人物的网纹人脸图像，根据所述网纹人脸图像去网纹来得到去网纹人脸图像，并对所述去网纹人脸图像进行对齐裁剪来获得对齐后的人脸图像，以便进行后续的人脸识别。但是由于对齐后的人脸图像为去网纹后的人脸图像，对齐后的人脸图像会由于去网纹，人脸特征会产生某些变化，例如变模糊，或者眼耳口鼻的边界发生微小移动，如此将影响人脸识别的精确度。

发明内容

鉴于以上内容，有必要提出一种人脸识别方法、装置、电子设备及存储介质，可提高人脸识别的精确度。

本发明的第一方面提供一种人脸识别方法，所述方法包括：

获取网纹人物图像；

对所述网纹人物图像进行去网纹来获得去网纹人物图像；

对所述去网纹人物图像进行人脸检测和特征点标定来得到第一特征点坐标集；

将所述第一特征点坐标集中的特征点坐标映射到所述去网纹人物图像来得到第二特征点坐标集；

根据所述第二特征点坐标集对所述网纹人物图像进行人脸对齐裁剪来得到对齐后的网纹人脸图像；

根据所述对齐后的网纹人脸图像进行人脸识别。

较佳的，所述网纹人物图像的尺寸为w×h，其中，w为所述网纹人物图像的长度，h为所述网纹人物图像的宽度；

所述去网纹人物图像的尺寸为w'×h'，其中，w'为所述去网纹人物图像的长度，h'为所述去网纹人物图像的宽度；

所述第一特征点坐标集为L'＝{(x'1,y'1),…(x'j,y'j),…,(x'n,y'n)}；

将所述第一特征点坐标集中的特征点坐标映射到所述去网纹人物图像来得到第二特征点坐标集包括：

所述第一特征点坐标集中的特征点坐标映射到所述去网纹人物图像来得到的第二特征点坐标集为：

xj＝x'j/w'*w；

yj＝y'j/h'*h；

其中，xj为第二特征点坐标集中的第j个特征点的横坐标，x'j为第一特征点坐标集中的第j个特征点的横坐标，w'为所述去网纹人物图像的长度，w为所述网纹人物图像的长度，yj第一特征点坐标集中的第j个特征点的纵坐标，y'j为第二特征点坐标集中的第j个特征点的横坐标，h'为所述去网纹人物图像的宽度，h为所述网纹人物图像的宽度。

较佳的，所述网纹人物图像为目标人物的生活照，所述目标人物的生活照包括目标人物及背景，所述对齐后的网纹人脸图像包括目标人物的人脸。

较佳的，所述特征点标定包括：

通过将检测到的人脸图像输入到特征提取器中来对人脸图像进行特征提取。

较佳的，在根据所述第二特征点坐标集对所述网纹人物图像进行人脸对齐裁剪来得到对齐后的网纹人脸图像之前，所述方法还包括：

将目标人物从所述网纹人物图像中分割来得到目标人物图像。

较佳的，所述网纹人物图像为包括深度信息的图像；

将所述目标人物从所述网纹人物图像中分割来得到目标人物图像包括：

获取所述网纹人物图像的直方图；

采用聚类算法对所述直方图进行聚类，来得到两个类别；

以所述两个类别的边界作为分隔阈值将所述目标人物从所述网纹人物图像中分割；

根据所述第二特征点坐标集对所述网纹人物图像进行人脸对齐裁剪来得到对齐后的网纹人脸图像包括：

根据所述第二特征点坐标集对所述目标人物图像进行人脸对齐裁剪来得到对齐后的网纹人脸图像。

较佳的，所述网纹人物图像为公安部数据库中的网纹人物图像，网站注册时上传的网纹人物图像，或者在设备上注册时上传的网纹人物图像；

所述获取网纹人物图像包括：

根据人脸识别的请求获取网纹人物图像；

在接收到用户在网站上输入的信息时获取与用户输入的信息关联的网纹人物图像；或者

在接收到用户在设备上输入的实体卡时获取与用户输入的实体卡关联的网纹人物图像。

本发明的第二方面提供一种人脸识别装置，所述装置包括：

获取模块，用于获取网纹人物图像；

去网纹模块，用于对所述网纹人物图像进行去网纹来获得去网纹人物图像；

第一特征点得到模块，用于对所述去网纹人物图像进行人脸检测和特征点标定来得到第一特征点坐标集；

第二特征点得到模块，用于将所述第一特征点坐标集中的特征点坐标映射到所述去网纹人物图像来得到第二特征点坐标集；

对齐裁剪模块，用于根据所述第二特征点坐标集对所述网纹人物图像进行人脸对齐裁剪来得到对齐后的网纹人脸图像；

人脸识别模块，用于根据所述对齐后的网纹人脸图像进行人脸识别。

本发明的第三方面提供一种电子设备，所述电子设备包括处理器及存储器，所述处理器用于执行所述存储器中存储的至少一个指令时实现如上任意一项所述的人脸识别方法。

本发明的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有至少一个指令，所述至少一个指令被处理器执行以实现如上任意一项所述的人脸识别方法。

本方案通过对所述网纹人物图像进行去网纹来获得去网纹人物图像，可直接利用现有的各种算法来对无网纹图像进行人脸检测，而不需收集大量的网纹图像训练样本来构造模型而对网纹图像进行人脸检测，通过将所述第一特征点坐标集中的特征点坐标映射到所述去网纹人物图像来得到第二特征点坐标集，可通过无网纹图像的特征点来实现对网纹图像进行特征提取，通过根据所述第二特征点坐标集对所述网纹人物图像进行人脸对齐裁剪来得到对齐后的网纹人脸图像来得到对齐后的网纹人脸图像，使得用于进行人脸识别的比较对象没有经过去网纹，较多的保留了人脸原有的特征，识别精确度比去网纹人脸图像有较大的提升。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1是本发明实施例一提供的人脸识别方法的流程图。

图2是本发明实施例二提供的人脸识别装置的功能模块图。

图3是本发明实施例三提供的电子设备的示意图。

如下具体实施方式将结合上述附图进一步说明本发明。

主要元件符号说明

人脸识别装置 20

获取模块 21

去网纹模块 22

第一特征点得到模块 23

第二特征点得到模块 24

对齐裁剪模块 25

人脸识别模块 26

电子设备 3

存储器 31

处理器 32

计算机程序 33

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施例对本发明进行详细描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。

实施例一

图1为本发明实施例一提供的人脸识别方法的示意流程图。根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。所述方法应用于电子设备中，所述电子设备可以为任何一种电子产品，例如，个人计算机、平板电脑、智能手机、个人数字助理(Personal Digital Assistant，PDA)等。如图1所示，所述人脸识别方法可以包括以下步骤：

S11，获取网纹人物图像。

所述网纹人物图像可为公安部数据库中的网纹人物图像，获取网站注册时上传的网纹人物图像，或者获取在设备上注册时上传的网纹人物图像等。所述网纹人物图像为目标人物的生活照。所述生活照包括目标人物及背景等。所述获取网纹人物图像可为根据人脸识别的请求获取网纹人物图像，在接收到用户在网站上输入的信息时获取与用户输入的信息关联的网纹人物图像，或者在接收到用户在设备上输入的实体卡时获取与用户输入的实体卡关联的网纹人物图像等。所述用户在网站上输入的信息可为用户输入的姓名、账号等。所述实体卡可为银行卡、身份证等。所述网纹人物图像的尺寸为w×h。其中，w为所述网纹人物图像的长度，h为所述网纹人物图像的宽度。

S12，对所述网纹人物图像进行去网纹来获得去网纹人物图像。

由于网纹人物图像训练样本的限制，目前的人脸检测算法不能直接检测网纹人物图像，或者检测网纹人物图像不准确，但是对于无网纹人物图像，目前的人脸检测算法能准确的检测到无网纹人物图像中的人脸。因此，为了实现人脸检测的准确，需要先将网纹人物图像采用去网纹算法进行去网纹。

对所述网纹人物图像进行去网纹来获得去网纹人物图像可为通过全卷积神经模型、自适应滤波技术、或者其他现有的技术对所述网纹人物图像进行去网纹来获得去网纹人物图像。所述去网纹人物图像的尺寸为w'×h'。其中，w'为所述去网纹人物图像的长度，h'为所述去网纹人物图像的宽度。在本实施例中，在进行去网纹时，不管输入的网纹人物图像的尺寸为多少，输出的去网纹人物图像的尺寸都是固定的。

S13，对所述去网纹人物图像进行人脸检测和特征点标定来得到第一特征点坐标集。

对所述去网纹人物图像进行人脸检测包括基于cascade的方式，或者基于HOG/FHOG的SVM/DPM等方式对所述去网纹人物图像进行人脸检测。所述特征点标定为通过将检测到的人脸图像输入到特征提取器中来对人脸图像进行特征提取。所述特征提取器为基于子空间分析的方法、基于神经网络的方法、基于隐马尔可夫模型的方法、基于支持向量机的方法等对人脸图像进行特征提取。在本实施例中，所述第一特征点坐标集为L'＝{(x'1,y'1),…(x'j,y'j),…,(x'n,y'n)}。其中，n为大于1的正整数，j为第一特征点坐标集中的第j个特征点，x'为特征点的横坐标，y'为特征点的纵坐标，x'j为第一特征点坐标集中的第j个特征点的横坐标，y'j第一特征点坐标集中的第j个特征点的纵坐标。

S14，将所述第一特征点坐标集中的特征点坐标映射到所述去网纹人物图像来得到第二特征点坐标集。

在本实施例中，所述第二特征点坐标集为L＝{(x1,y1),…(xj,yj),…,(xn,yn)}。其中，n为大于1的正整数，j为第二特征点坐标集中的第j个特征点，x为特征点的横坐标，y为特征点的纵坐标，xj为第二特征点坐标集中的第j个特征点的横坐标，yj第二特征点坐标集中的第j个特征点的纵坐标。

xj＝x'j/w'*w；

yj＝y'j/h'*h。

S15，根据所述第二特征点坐标集对所述网纹人物图像进行人脸对齐裁剪来得到对齐后的网纹人脸图像。

在本实施例中，目前的人脸识别器可通过摄像机采集含有人脸的图像或者视频流，并自动在图像中检测和跟踪人脸，将检测到的人脸与网纹人脸图像或无网纹人脸图像进行比对，从而来确认是否为同一人。同时由于网纹人脸图像相对于无网纹人脸图像保留了更多了人脸原有的特征，且不存在无网纹人脸图像所存在的人脸特征变模糊，或者人脸的眼耳口鼻的边界发生微小移动的问题，因此，为了提高人脸识别的准确，使用网纹人脸图像进行人脸识别。

根据所述第二特征点坐标集对所述网纹人物图像进行人脸对齐裁剪为根据所述第二特征点坐标集将人脸从所述网纹人物图像中裁剪，并将裁剪后的人脸的角度摆正，从而方便后续的人脸识别。所述网纹人脸图像中仅包括人脸。根据所述第二特征点坐标集对所述网纹人物图像进行人脸对齐裁剪为通过ESR算法、SDM算法、GBDT算法等根据所述第二特征点坐标集对所述网纹人物图像进行人脸对齐裁剪。

在根据所述第二特征点坐标集对所述网纹人物图像进行人脸对齐裁剪来得到对齐后的网纹人脸图像之前，所述方法还包括：

将所述目标人物从所述网纹人物图像中分割来得到目标人物图像。

在本实施例中，所述网纹人物图像为包括深度信息的图像。将所述目标人物从所述网纹人物图像中分割来得到目标人物图像包括：

获取所述网纹人物图像的直方图，采用聚类算法对所述直方图进行聚类，来得到两个类别，以所述两个类别的边界作为分隔阈值将所述目标人物从所述网纹人物图像中分割。其中，所述聚类算法可为K-means算法或者核密度估计算法等。

S16，根据所述对齐后的网纹人脸图像进行人脸识别。

根据所述对齐后的目标网纹人脸图像进行人脸识别包括将人脸图像与所述网纹人脸图像进行比对来确定是否为同一人。具体的根据所述对齐后的目标网纹人脸图像进行人脸识别为现有技术，在此不进行赘述。

实施例二

图2为本发明实施例二提供的人脸识别装置的功能模块图。在一些实施例中，所述人脸识别装置20运行于电子设备中。所述电子设备可以为任何一种电子产品，例如，智能手机、个人数字助理(Personal Digital Assistant，PDA)等。所述人脸识别装置20可以包括多个由程序代码段所组成的功能模块。所述人脸识别装置20中的各个程序段的程序代码可以存储于存储器中，并由至少一个处理器所执行，以进行人脸识别。

本实施例中，所述人脸识别装置20根据其所执行的功能，可以被划分为多个功能模块。所述功能模块可以包括：获取模块21、去网纹模块22、第一特征点得到模块23、第二特征点得到模块24、对齐裁剪模块25及人脸识别模块26。本发明所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段，其存储在存储器中。

所述获取模块21，用于获取网纹人物图像。

所述去网纹模块22，用于对所述网纹人物图像进行去网纹来获得去网纹人物图像。

所述第一特征点得到模块23，用于对所述去网纹人物图像进行人脸检测和特征点标定来得到第一特征点坐标集。

所述第二特征点得到模块24，用于将所述第一特征点坐标集中的特征点坐标映射到所述去网纹人物图像来得到第二特征点坐标集。

xj＝x'j/w'*w；

yj＝y'j/h'*h。

所述对齐裁剪模块25，用于根据所述第二特征点坐标集对所述网纹人物图像进行人脸对齐裁剪来得到对齐后的网纹人脸图像。

在根据所述第二特征点坐标集对所述网纹人物图像进行人脸对齐裁剪来得到对齐后的网纹人脸图像之前，所述对齐裁剪模块25还用于：

所述人脸识别模块26，用于根据所述对齐后的网纹人脸图像进行人脸识别。

本方案通过根据用户所选的测试文件模板来确定所述测试文件模板的预定输入规则，并依据所述预定输入规则获取基本字段数据及特定字段数据，并根据所述预定输入规则、所述基本字段对应的基本字段数据及所述特定字段对应的特定字段数据生成测试文件，从而自动生成用户所需的测试文件。

上述以软件功能模块的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台电子设备或处理器(processor)执行本发明各个实施例所述方法的部分。

实施例三

图3为本发明实施例三提供的电子设备的示意图。

所述电子设备3包括：存储器31、至少一个处理器32、及存储在所述存储器31中并可在所述至少一个处理器32上运行的计算机程序33。所述至少一个处理器32执行所述计算机程序33时实现上述人脸识别方法实施例中的步骤。或者，所述至少一个处理器32执行所述计算机程序33时实现上述人脸识别装置实施例中的各模块的功能。

示例性的，所述计算机程序33可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器31中，并由所述至少一个处理器32执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序33在所述电子设备3中的执行过程。例如，所述计算机程序33可以被分割成图2所示的模块，各模块具体功能参见实施例二。

所述电子设备3可以为任何一种电子产品，例如，智能手机、个人数字助理(Personal Digital Assistant，PDA)等。本领域技术人员可以理解，所述示意图3仅仅是电子设备3的示例，并不构成对电子设备3的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述电子设备3还可以包括输入输出设备、网络接入设备、总线等。

所述至少一个处理器32可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。该处理器32可以是微处理器或者该处理器32也可以是任何常规的处理器等，所述处理器32是所述电子设备3的控制中心，利用各种接口和线路连接整个电子设备3的各个部分。

所述存储器31可用于存储所述计算机程序33和/或模块/单元，所述处理器32通过运行或执行存储在所述存储器31内的计算机程序和/或模块/单元，以及调用存储在存储器31内的数据，实现所述电子设备3的各种功能。所述存储器31可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备3的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器31可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

所述电子设备3集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

在本发明所提供的几个实施例中，应该理解到，所揭露的电子设备和方法，可以通过其它的方式实现。例如，以上所描述的电子设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

另外，在本发明各个实施例中的各功能单元可以集成在相同处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在相同单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。

最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神范围。

Claims

1.一种人脸识别方法，其特征在于，所述方法包括：

获取网纹人物图像；

对所述网纹人物图像进行去网纹来获得去网纹人物图像；

根据所述对齐后的网纹人脸图像进行人脸识别。

2.如权利要求1所述的方法，其特征在于：

所述网纹人物图像的尺寸为w×h，其中，w为所述网纹人物图像的长度，h为所述网纹人物图像的宽度；

所述第一特征点坐标集为L'＝{(x'1,y'1),…(x'j,y'j),…,(x'n,y'n)}；

xj＝x'j/w'*w；

yj＝y'j/h'*h；

3.如权利要求1所述的方法，其特征在于：

所述网纹人物图像为目标人物的生活照，所述目标人物的生活照包括目标人物及背景，所述对齐后的网纹人脸图像包括目标人物的人脸。

4.如权利要求1所述的方法，其特征在于，所述特征点标定包括：

5.如权利要求1所述的方法，其特征在于，在根据所述第二特征点坐标集对所述网纹人物图像进行人脸对齐裁剪来得到对齐后的网纹人脸图像之前，所述方法还包括：

6.如权利要求5所述的方法，其特征在于：

所述网纹人物图像为包括深度信息的图像；

获取所述网纹人物图像的直方图；

采用聚类算法对所述直方图进行聚类，来得到两个类别；

7.如权利要求1所述的方法，其特征在于：

所述网纹人物图像为公安部数据库中的网纹人物图像，网站注册时上传的网纹人物图像，或者在设备上注册时上传的网纹人物图像；

所述获取网纹人物图像包括：

根据人脸识别的请求获取网纹人物图像；

8.一种人脸识别装置，其特征在于，所述装置包括：

获取模块，用于获取网纹人物图像；

9.一种电子设备，其特征在于，所述电子设备包括处理器及存储器，所述处理器用于执行所述存储器中存储的至少一个指令时实现如权利要求1至7中任意一项所述的人脸识别方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有至少一个指令，所述至少一个指令被处理器执行以实现如权利要求1至7中任意一项所述的人脸识别方法。