CN112507766A - 人脸图像提取方法、存储介质及终端设备 - Google Patents

人脸图像提取方法、存储介质及终端设备 Download PDF

Info

Publication number
CN112507766A
CN112507766A CN201910872434.3A CN201910872434A CN112507766A CN 112507766 A CN112507766 A CN 112507766A CN 201910872434 A CN201910872434 A CN 201910872434A CN 112507766 A CN112507766 A CN 112507766A
Authority
CN
China
Prior art keywords
distance
face
mouth
extension
nose
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910872434.3A
Other languages
English (en)
Other versions
CN112507766B (zh
Inventor
谭泽汉
郭旭峰
周慧子
谭龙田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gree Electric Appliances Inc of Zhuhai
Zhuhai Lianyun Technology Co Ltd
Original Assignee
Gree Electric Appliances Inc of Zhuhai
Zhuhai Lianyun Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gree Electric Appliances Inc of Zhuhai, Zhuhai Lianyun Technology Co Ltd filed Critical Gree Electric Appliances Inc of Zhuhai
Priority to CN201910872434.3A priority Critical patent/CN112507766B/zh
Publication of CN112507766A publication Critical patent/CN112507766A/zh
Application granted granted Critical
Publication of CN112507766B publication Critical patent/CN112507766B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种人脸图像提取方法、存储介质及终端设备，该方法包括：基于人脸五官检测模型，从人脸图像上检测出人脸的双眼、鼻子和嘴角的位置；根据双眼之间的连线与人脸图像的水平轴之间的夹角校正所述人脸图像，以获取标准人脸图像；基于标准人脸图像上的双眼、鼻子和嘴角的位置确定目距、嘴角距、目鼻距和口鼻距；分别以双眼各眼的中心、双眼之间的中心点、两嘴角、两嘴角之间的中心点为起始点沿预设方向对应延伸预设倍数的目距、目鼻距、嘴角距、口鼻距，以获得六个定位点；根据六个定位点确定延伸后人脸区域边框线，并根据延伸后人脸区域边框线锁定目标人脸区域，获取目标人脸区域的图像，获取完整人脸，以满足应用场景需求。

Description

人脸图像提取方法、存储介质及终端设备
技术领域
本发明属于图像处理技术领域，具体涉及一种人脸图像提取方法、存储介质及终端设备。
背景技术
在人脸识别、人脸建模、人脸检测等多种应用中，都会涉及到人脸小图的提取需求。在人脸数据管理、人脸样本采集等多个业务场景中，合理的人脸提取结果都具有广泛的应用前景。
针对人脸区域提取方法，一部分处理模型采用基于面部五官关键点的识别结果，按照固定尺寸向外拓展的提取方式提取人脸区域。这种处理方式的问题在于，由于拍摄角度的不同，原图像中的人脸区域有不同大小时，人脸区域的提取结果会显得过大或过小。另一部分处理模型基于人脸眼睛、鼻子、嘴巴等面部五点特征定位结果，进行紧致型人脸区域的提取。这种人脸区域的提取结果，只包含人脸的面部中央区域，缺失了额头、面颊、耳朵等面部的外围区域。
随着人脸识别技术的发展，人脸检测应用场景也越来越广泛。除了单纯的人脸识别外，还产生了更多的拓展需求。比如，基于人脸识别的纪律监察例如产线作业资质管理、园区安全管理等一些典型的应用场景中，希望基于人脸定位与提取技术，得到完整的人脸区域；而非仅包含目、口、鼻的紧致型人脸区域。
因此，现在亟须一种人脸图像提取方法、存储介质及终端设备。
发明内容
本发明所要解决的技术问题是现有的人脸区域提取方法提取的人脸区域过大或过小，或者提取的人脸区域不完整，无法满足应用场景。
为了解决上述技术问题，本发明一方面提供了一种人脸图像提取方法，包括以下步骤：
基于人脸五官检测模型，从人脸图像上检测出人脸的双眼、鼻子和嘴角的位置；
根据双眼之间的连线与所述人脸图像的水平轴之间的夹角校正所述人脸图像，以获取标准人脸图像；
基于所述标准人脸图像上的双眼、鼻子和嘴角的位置确定目距、嘴角距、目鼻距和口鼻距；
以双眼各眼的中心为起始点，分别沿第一和第二预设方向对应延伸预设倍数的目距，以获得第一和第二定位点；
以双眼之间的中心点为起始点，沿第三预设方向对应延伸预设倍数的目鼻距，以获得第三定位点；
以两嘴角为起始点，分别沿第四和第五预设方向对应延伸预设倍数的嘴角距，以获得第四和第五定位点；
以两嘴角之间的中心点为起始点，沿第六预设方向对应延伸预设倍数的口鼻距，以获得第六定位点；
根据六个定位点确定延伸后人脸区域边框线，并根据延伸后人脸区域边框线锁定目标人脸区域，获取目标人脸区域的图像。
优选地，所述预设倍数通过以下表达式获取：
N＝N0×(1+β)
其中，N为预设倍数，N0为基准倍数，β为调整比率。
优选地，所述基准倍数通过以下步骤确定：
获取多个已知的人脸图像，并确定每个已知的人脸图像的完整人脸边框线，其中，所述完整人脸边框线为包围额头、下巴和耳朵的最小矩形；
将多个分别带有所述完整人脸边框线的已知的人脸图像作为样本，并对每个样本进行以下分析：
从样本上检测出人脸的双眼、鼻子和嘴角的位置；
根据双眼之间的连线与所述样本的水平轴之间的夹角旋转校正所述样本，以获取标准样本；
基于所述标准样本上的双眼、鼻子和嘴角的位置确定目距、嘴角距、目鼻距和口鼻距；
以左眼的中心为起始点、沿第一预设方向延伸的延长线，与所述完整人脸边框线相交，获得第一延长距离，将该第一延长距离与目距的比值作为目距延伸倍数；
以右眼的中心为起始点、沿第二预设方向延伸的延长线，与所述完整人脸边框线相交，获得第二延长距离，将该第二延长距离与目距的比值作为目距延伸倍数；
以双眼之间的中心点为起始点、沿第三预设方向延伸的延长线，与所述完整人脸边框线相交，获得第三延长距离，将该第三延长距离与目鼻距的比值作为目鼻距延伸倍数；
以左嘴角为起始点、沿第四预设方向延伸的延长线，与所述完整人脸边框线相交，获得第四延长距离，将该第四延长距离与嘴角距的比值作为嘴角距延伸倍数；
以右嘴角为起始点、沿第五预设方向延伸的延长线，与所述完整人脸边框线相交，获得第五延长距离，将该第五延长距离与嘴角距的比值作为嘴角距延伸倍数；
以两嘴角之间的中心点为起始点、沿第六预设方向延伸的延长线，与所述完整人脸边框线相交，获得第六延长距离，将该第六延长距离与口鼻距的比值作为口鼻距延伸倍数；
根据所有样本的目距延伸倍数形成目距延伸倍数数据集，根据所有样本的目鼻距延伸倍数形成目鼻距延伸倍数数据集，根据所有样本的嘴角距延伸倍数形成嘴角距延伸倍数数据集，根据所有样本的口鼻距延伸倍数形成口鼻距延伸倍数数据集；
将目距延伸倍数数据集的平均数、众数或中位数中的任意一个数值作为目距延伸的基准倍数，将目鼻距延伸倍数数据集的平均数、众数或中位数中的任意一个数值作为目鼻距延伸的基准倍数，将嘴角距延伸倍数数据集的平均数、众数或中位数中的任意一个数值作为嘴角距延伸的基准倍数，将口鼻距延伸倍数数据集的平均数、众数或中位数中的任意一个数值作为口鼻距延伸的基准倍数。
优选地，根据双眼之间的连线与所述人脸图像的水平轴之间的夹角校正所述人脸图像，以获取标准人脸图像，具体包括以下步骤：
计算双眼之间的连线相对于所述人脸图像的水平轴的偏转方向和偏转角度；
将所述人脸图像向所述偏转方向的反方向旋转所述偏转角度，以获取标准人脸图像。
优选地，所述目距为双眼之间的直线距离、所述目鼻距为双眼之间的中心点与鼻尖之间的直线距离，所述口鼻距为两嘴角之间的中心点与鼻尖之间的直线距离。
优选地，所述第一预设方向为以左眼的中心为起始点且平行于所述人脸图像的水平轴向左延伸的方向；
所述第二预设方向为以右眼的中心为起始点且平行于所述人脸图像的水平轴向右延伸的方向；
第三预设方向为以双眼之间的中心点为起始点且平行于所述人脸图像的垂直轴向上延伸的方向；
所述第四预设方向为以左嘴角为起始点且平行于所述人脸图像的水平轴向左延伸的方向；
所述第五预设方向为以右嘴角为起始点且平行于所述人脸图像的水平轴向右延伸的方向；
第六预设方向为以两嘴角之间的中心点为起始点且平行于所述人脸图像的垂直轴向下的方向。
优选地，根据六个定位点确定延伸后人脸区域边框线，具体包括以下步骤：
分别过所述第三定位点和所述第六定位点绘制平行于人脸图像水平轴的平行线，以获取两条水平线；
分别过所述第一定位点、所述第二定位点、所述第四定位点、所述第五定位点绘制平行于人脸图像垂直轴的平行线，以获取四条竖直线；
所述两条水平线与所述四条竖直线分别交叉形成矩形人脸区域内边框线和矩形人脸区域外边框线，将所述矩形人脸区域外边框线作为延伸后人脸区域边框线。
优选地，在根据六个定位点确定延伸后人脸区域边框线后，根据延伸后人脸区域边框线锁定目标人脸区域，获取目标人脸区域的图像，具体包括以下步骤：
基于所述标准人脸图像上的双眼、鼻子和嘴角的位置确定中央人脸区域的边框线，所述中央人脸区域为仅包围双眼、鼻子和嘴角的最小矩形区域；
对所述中央人脸区域的边框线的左上角顶点和所述延伸后人脸区域边框线的左上角顶点进行连接，以获取第一线段，根据预设分割比例确定所述第一线段上的第一分界点；
对所述中央人脸区域的边框线的右下角顶点和所述延伸后人脸区域边框线的右下角顶点进行连接，以获取第二线段，根据所述预设分割比例确定所述第二线段上的第二分界点；
分别以第一分界点和第二分界点作为新的左上角顶点和新的右下角顶点绘制新的矩形，将该矩形作为所述目标人脸区域，获取所述目标人脸区域的图像。
优选地，基于所述标准人脸图像上的双眼、鼻子和嘴角的位置确定中央人脸区域的边框线，具体为：
利用人脸五官检测模型获取所述标准人脸图像上的双眼、鼻子和嘴角的位置，基于所述标准人脸图像上的双眼、鼻子和嘴角的位置确定中央人脸区域的边框线。
优选地，所述人脸五官检测模型为MTCNN人脸五官检测模型、FaceNet人脸五官检测模型或MNIST人脸五官检测模型。
根据本发明的另一方面，本发明提供了一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述方法的步骤。
根据本发明的又一方面，本发明提供了一种终端设备，其包括存储器、处理器和人脸图像采集装置，该存储器上存储有用于对所述人脸图像采集装置采集的人脸图像进行提取的计算机程序，该计算机程序被处理器执行时实现如权利要求1至8中任一项所述人脸图像提取方法的步骤。
与现有技术相比，上述方案中的一个或多个实施例可以具有如下优点或有益效果：
1)应用本发明的人脸图像提取方法，基于标准人脸图像上的目距、嘴角距、目鼻距和口鼻距按比例向人脸的外侧延伸，不仅确保获取的人脸区域不会由于人脸图像中人脸区域的大小而过大或过小，并且能够获取完整人脸，从而满足需要完整人脸的应用场景；
2)应用本发明的人脸图像提取方法，对所述中央人脸区域的边框线与所述延伸后人脸区域边框线进行加权，获取加权后人脸区域的边框线，以根据加权后人脸区域的边框线获取人脸区域，不仅能够通过双边框的加权处理，进一步避免人脸区域提取过小或过大的问题，保证了人脸区域的合理提取，而且使人脸区域的提取能够适应不同的应用场景。
本发明的其它特征和优点将在随后的说明书中阐述，并且部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中：
图1示出了本发明实施例一人脸图像提取方法的流程图；
图2示出了本发明实施例一的延伸后人脸区域边框线的示意图；
图3示出了本发明实施例二人脸图像提取方法的流程图；
图4示出了本发明实施例二的新的矩形的示意图；
图5示出了本发明实施例三人脸图像提取方法的流程图。
具体实施方式
以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。
实施例一
为解决现有技术中存在的上述技术问题，本发明实施例提供了人脸图像提取方法，其中，本实施例的延伸后人脸区域边框线是基于标准人脸图像上的目距、嘴角距、目鼻距和口鼻距按比例向人脸的外侧延伸获取的。
图1示出了本发明实施例一人脸图像提取方法的流程图。参照图1，本实施例提供的人脸图像提取方法，包括以下步骤：
S110，基于人脸五官检测模型，从人脸图像上检测出人脸的双眼、鼻子和嘴角的位置；
S120，计算双眼之间的连线相对于所述人脸图像的水平轴的偏转方向和偏转角度；
S130，将所述人脸图像向所述偏转方向的反方向旋转所述偏转角度，以获取标准人脸图像；
S140，基于所述标准人脸图像上的双眼、鼻子和嘴角的位置确定目距、嘴角距、目鼻距和口鼻距；以双眼各眼的中心为起始点，分别沿第一和第二预设方向对应延伸预设倍数的目距，以获得第一和第二定位点；以双眼之间的中心点为起始点，沿第三预设方向对应延伸预设倍数的目鼻距，以获得第三定位点；以两嘴角为起始点，分别沿第四和第五预设方向对应延伸预设倍数的嘴角距，以获得第四和第五定位点；以两嘴角之间的中心点为起始点，沿第六预设方向对应延伸预设倍数的口鼻距，以获得第六定位点；
S150，分别过所述第三定位点和所述第六定位点绘制平行于人脸图像水平轴的平行线，以获取两条水平线；
S160，分别过所述第一定位点、所述第二定位点、所述第四定位点、所述第五定位点绘制平行于人脸图像垂直轴的平行线，以获取四条竖直线；
S170，所述两条水平线与所述四条竖直线分别交叉形成矩形人脸区域内边框线和矩形人脸区域外边框线，将所述矩形人脸区域外边框线作为延伸后人脸区域边框线。
在步骤S140中，所述预设倍数通过以下表达式获取：
N＝N0×(1+β)
其中，N为预设倍数，N0为基准倍数，β为调整比率，特别地，β为经验值，取值取值范围为[0.02,0.5]，β的取值大小根据实际应用场景确定，当实际应用场景需要较大的背景区域时，β的取值较大，以更大程度地外扩完整人脸。
其中，所述基准倍数通过以下步骤确定：
获取多个已知的人脸图像，并确定每个已知的人脸图像的完整人脸边框线，其中，所述完整人脸边框线为包围额头、下巴和耳朵的最小矩形；
将多个分别带有所述完整人脸边框线的已知的人脸图像作为样本，并对每个样本进行以下分析：
从样本上检测出人脸的双眼、鼻子和嘴角的位置；
根据双眼之间的连线与所述样本的水平轴之间的夹角旋转校正所述样本，以获取标准样本；
基于所述标准样本上的双眼、鼻子和嘴角的位置确定目距、嘴角距、目鼻距和口鼻距；
以左眼的中心为起始点、沿第一预设方向延伸的延长线，与所述完整人脸边框线相交，获得第一延长距离，将该第一延长距离与目距的比值作为目距延伸倍数；
以右眼的中心为起始点、沿第二预设方向延伸的延长线，与所述完整人脸边框线相交，获得第二延长距离，将该第二延长距离与目距的比值作为目距延伸倍数；
以双眼之间的中心点为起始点、沿第三预设方向延伸的延长线，与所述完整人脸边框线相交，获得第三延长距离，将该第三延长距离与目鼻距的比值作为目鼻距延伸倍数；
以左嘴角为起始点、沿第四预设方向延伸的延长线，与所述完整人脸边框线相交，获得第四延长距离，将该第四延长距离与嘴角距的比值作为嘴角距延伸倍数；
以右嘴角为起始点、沿第五预设方向延伸的延长线，与所述完整人脸边框线相交，获得第五延长距离，将该第五延长距离与嘴角距的比值作为嘴角距延伸倍数；
以两嘴角之间的中心点为起始点、沿第六预设方向延伸的延长线，与所述完整人脸边框线相交，获得第六延长距离，将该第六延长距离与口鼻距的比值作为口鼻距延伸倍数；
根据所有样本的目距延伸倍数形成目距延伸倍数数据集，根据所有样本的目鼻距延伸倍数形成目鼻距延伸倍数数据集，根据所有样本的嘴角距延伸倍数形成嘴角距延伸倍数数据集，根据所有样本的口鼻距延伸倍数形成口鼻距延伸倍数数据集；
将目距延伸倍数数据集的平均数、众数或中位数中的任意一个数值作为目距延伸的基准倍数，将目鼻距延伸倍数数据集的平均数、众数或中位数中的任意一个数值作为目鼻距延伸的基准倍数，将嘴角距延伸倍数数据集的平均数、众数或中位数中的任意一个数值作为嘴角距延伸的基准倍数，将口鼻距延伸倍数数据集的平均数、众数或中位数中的任意一个数值作为口鼻距延伸的基准倍数。
图2示出了本发明实施例一的延伸后人脸区域边框线的示意图。如图2所示，图中的虚线为延伸线，由图可知，第一定位点101、第二定位点102、第三定位点103、第四定位点104、第五定位点105、第六定位点106组成两个矩形边框线，本实施例中将较大的矩形边框线作为延伸后人脸区域边框线。
本实施例提供的人脸图像提取方法能够获取完整人脸，有效地拓展人脸区域的提取效果，实现人脸识别和人脸验证检测过程中的最优人脸区域提取，基于该最优人脸提取结果，能够提升人脸存档与人脸取证的效果。
另外，延伸后人脸区域边框线还可以通过以下方式确定：对通过MTCNN人脸五官检测模型直接获取的中央人脸区域的边框线进行特定比例的扩大。
实施例二
为解决现有技术中存在的上述技术问题，本发明实施例提供了人脸图像提取方法，其中，本实施例的延伸后人脸区域边框线是由实施例一获取的延伸后人脸区域边框线与中央人脸区域的边框线加权而获取的。
图3示出了本发明实施例二人脸图像提取方法的流程图。参照图3，本实施例提供的人脸图像提取方法，包括以下步骤：
S210，基于人脸五官检测模型，从人脸图像上检测出人脸的双眼、鼻子和嘴角的位置；
具体地，所述人脸五官检测模型包括但不限于MTCNN人脸五官检测模型、FaceNet人脸五官检测模型或MNIST人脸五官检测模型。
人脸图像上人脸的双眼、鼻子和嘴角的位置可以通过以下坐标轴获取：原点为人脸图像的左上角，人脸图像水平轴向右为正，人脸图像垂直轴向下为正，旋转角度以顺时针为正方向。
S220，计算双眼之间的连线相对于人脸图像的水平轴的偏转方向和偏转角度；
S230，将所述人脸图像向所述偏转方向的反方向旋转所述偏转角度，以获取标准人脸图像；
S240，基于标准人脸图像上的双眼、鼻子和嘴角的位置确定目距、嘴角距、目鼻距和口鼻距；以双眼各眼的中心为起始点，分别沿第一和第二预设方向对应延伸预设倍数的目距，以获得第一和第二定位点；以双眼之间的中心点为起始点，沿第三预设方向对应延伸预设倍数的目鼻距，以获得第三定位点；以两嘴角为起始点，分别沿第四和第五预设方向对应延伸预设倍数的嘴角距，以获得第四和第五定位点；以两嘴角之间的中心点为起始点，沿第六预设方向对应延伸预设倍数的口鼻距，以获得第六定位点；
具体地，所述目距为双眼之间的直线距离、所述目鼻距为双眼之间的中心点与鼻尖之间的直线距离，所述口鼻距为两嘴角之间的中心点与鼻尖之间的直线距离。
具体地，所述第一预设方向为以左眼的中心为起始点且平行于所述人脸图像的水平轴向左延伸的方向；
所述第二预设方向为以右眼的中心为起始点且平行于所述人脸图像的水平轴向右延伸的方向；
第三预设方向为以双眼之间的中心点为起始点且平行于所述人脸图像的垂直轴向上延伸的方向；
所述第四预设方向为以左嘴角为起始点且平行于所述人脸图像的水平轴向左延伸的方向；
所述第五预设方向为以右嘴角为起始点且平行于所述人脸图像的水平轴向右延伸的方向；
第六预设方向为以两嘴角之间的中心点为起始点且平行于所述人脸图像的垂直轴向下的方向。
具体地，以双眼各眼的中心为起始点，分别沿第一和第二预设方向对应延伸第一预设倍数的目距，以获得第一和第二定位点；以双眼之间的中心点为起始点，沿第三预设方向对应延伸第二预设倍数的目鼻距，以获得第三定位点；以两嘴角为起始点，分别沿第四和第五预设方向对应延伸第三预设倍数的嘴角距，以获得第四和第五定位点；以两嘴角之间的中心点为起始点，沿第六预设方向对应延伸第四预设倍数的口鼻距，以获得第六定位点；
所述第一预设倍数为1～1.5，所述第二预设倍数为1.1～1.8，所述第三预设倍数为1～1.3，所述第四预设倍数为1.5～2。
S250，分别过所述第三定位点和所述第六定位点绘制平行于人脸图像水平轴的平行线，以获取两条水平线；
S260，分别过所述第一定位点、所述第二定位点、所述第四定位点、所述第五定位点绘制平行于人脸图像垂直轴的平行线，以获取四条竖直线；
S270，所述两条水平线与所述四条竖直线分别交叉形成矩形人脸区域内边框线和矩形人脸区域外边框线，将所述矩形人脸区域外边框线作为延伸后人脸区域边框线；
S280，基于所述标准人脸图像上的双眼、鼻子和嘴角的位置确定中央人脸区域的边框线，所述中央人脸区域为仅包围双眼、鼻子和嘴角的最小矩形区域；
步骤S280不限于在步骤S270之后，只要在步骤S230之后即可。
具体地，可以利用人脸五官检测模型获取所述标准人脸图像上的双眼、鼻子和嘴角的位置，基于所述标准人脸图像上的双眼、鼻子和嘴角的位置确定中央人脸区域的边框线。
所述人脸五官检测模型包括但不限于MTCNN人脸五官检测模型、FaceNet人脸五官检测模型或MNIST人脸五官检测模型。
S290，对所述中央人脸区域的边框线的左上角顶点和所述延伸后人脸区域边框线的左上角顶点进行连接，以获取第一线段，根据预设分割比例确定所述第一线段上的第一分界点；对所述中央人脸区域的边框线的右下角顶点和所述延伸后人脸区域边框线的右下角顶点进行连接，以获取第二线段，根据所述预设分割比例确定所述第二线段上的第二分界点；分别以第一分界点和第二分界点作为新的左上角顶点和新的右下角顶点绘制新的矩形，将该矩形作为所述目标人脸区域，获取所述目标人脸区域的图像。
在这里，预设分割比例为“α”，其中，α取值为(0，1)。例如，中央人脸区域的边框线的左上角顶点坐标为(1.6，2)，延伸后人脸区域边框线的左上角顶点坐标为(1，1)，α取值为0.5，则新的矩形的左上角顶点的x坐标为1.6*0.5+1*0.5＝1.3，新的矩形的左上角顶点的y坐标为2*0.5+1*0.5＝1.5，因此，新的矩形的左上角顶点的坐标为(1.3，1.5)。
具体地，用户可以根据相应场景下的最优效果选定α的具体取值，例如，当选择工作证拍摄模式时，需要完整的人脸，此时，α比较接近0，例如为0.1～0.3；当选择人脸识别模式时，不需要完整的人脸，只要包括人脸特征点例如眼睛、鼻子和嘴巴即可，此时，α比较接近1，例如为0.7～0.9。
实际上，可以对所述中央人脸区域的边框线的四个顶点和所述延伸后人脸区域边框线的四个顶点进行一一对应，并根据预设分割比例计算得到的目标人脸区域。因为中央人脸区域的边框线对应的人脸区域太过紧致，而延伸后人脸区域边框线得到的人脸区域太过宽泛。通过根据预设分割比例计算，得到一个更合理的人脸区域检测结果。例如，以中央人脸区域的边框线得到的人脸区域左上原点坐标记为(Xm，Ym)，横向宽度为Wm，纵向高度为Hm；以延伸后人脸区域边框线得到的人脸区域左上原点坐标记为(Xt，Yt)，横向宽度为Wt，纵向高度为Ht。根据预设分割比例计算得到的目标人脸区域左上原点坐标表示为(XA，YA)，横向宽度为WA，纵向高度为HA。
根据预设分割比例计算过程为：
XA＝γ0×Xm+(1-γ0)×Xt
YA＝γ1×Ym+(1-γ1)×Yt
Wm＝γ2×Wt+(1-γ2)×WA
Hm＝γ3×Ht+(1-γ3)×HA
其中，γ0至γ3可以取相同的值。并且γ0至γ3的取值越小，表明延伸后人脸区域边框线对得到的目标人脸区域的影响越大；γ0至γ3的取值越大，表明中央人脸区域的边框线对确定的目标人脸区域的影响越大。
本实施例的新的矩形如图4所示，图4示出了本发明实施例二的新的矩形的示意图，图4中的虚线为延伸线，由图可知，对所述中央人脸区域的边框线202的左上角顶点2021和所述延伸后人脸区域边框线201的左上角顶点2012进行连接，以获取第一线段，根据预设分割比例确定所述第一线段上的第一分界点2031；对所述中央人脸区域的边框线202的右下角顶点2022和所述延伸后人脸区域边框线201的右下角顶点2012进行连接，以获取第二线段，根据所述预设分割比例确定所述第二线段上的第二分界点2032；分别以第一分界点和第二分界点作为新的左上角顶点2031和新的右下角顶点2032绘制新的矩形203，将该矩形作为所述目标人脸区域，获取所述目标人脸区域的图像。
本实施例通过加权人脸区域提取算法，利用“中央人脸区域的边框线”结合“基于目距、嘴角距、目鼻距和口鼻距的延伸后人脸区域边框线”的加权平均，不仅能够达到提升人脸提取完整度的目的，而且比单一的模型输出人脸区域边框更加合理，能够满足应用场景下的人脸区域提取结果二次应用的需求。
实施例三
为解决现有技术中存在的上述技术问题，本发明实施例提供了人脸图像提取方法，其中，本发明实施例基于MTCNN人脸五官检测模型检测人脸图像上的双眼、鼻子和嘴角并获取中央人脸区域的边框线，本实施例中的人脸图像为标准人脸图像。
图5示出了本发明实施例三人脸图像提取方法的流程图，参见图5，本实施例提供的人脸图像提取方法，包括以下步骤：
S310，基于MTCNN人脸五官检测模型分析人脸图像；
S320，获取人脸图像上的双眼、鼻子和嘴角坐标；
S330，获取中央人脸区域的边框线；
S340，根据人脸图像上的双眼、鼻子和嘴角坐标计算确定目距、嘴角距、目鼻距和口鼻距，并根据目距、嘴角距、目鼻距和口鼻距确定延伸后人脸区域边框线；
具体地，在上述的四项距离的基础上，进行人脸区域的统计比例拓展，得到人脸区域的统计定位结果。这里选择的统计比例为“眼外侧拓展值：目距”＝1：1，“嘴角外侧拓展值：嘴角距”＝1：1，“眉上拓展值：鼻目距”＝1.1：1，“口下拓展值：口鼻距”＝1.5：1。
S350，对中央人脸区域的边框线和延伸后人脸区域边框线进行加权，获取加权后人脸区域边框线。
具体地，这里采用的加权方法为“α*中央人脸区域的边框线+(1-α)*延伸后人脸区域边框线”，其中，α取值为(0，1)，这里的加权包括等权重的平均，或者更精确的非等权重的加权平均。
本实施例对中央人脸区域的边框线和延伸后人脸区域边框线进行加权，并将加权结果作为人脸区域的最终定位结果，优化了人脸区域的提取效果。
同时，本实施例通过双边框的加权处理，避免了人脸区域提取过小或过大的问题，保证了人脸区域的合理提取。
本实施例中，基于目距、口鼻距、鼻目距的比例拓展人脸区域边框，可以得到基于鼻子、两个嘴角和两只眼睛五官特征的人脸区域边框的统计学定位结果。
实施例四
为解决现有技术中存在的上述技术问题，本发明实施例还提供了一种存储介质。
本实施例的存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如实施例一至实施例三的方法步骤。
实施例五
为解决现有技术中存在的上述技术问题，本发明实施例还提供了一种终端设备。
本实施例的终端设备，其包括存储器、处理器和人脸图像采集装置，该存储器上存储有用于对所述人脸图像采集装置采集的人脸图像进行提取的计算机程序，该计算机程序被处理器执行时实现如实施例一至实施例三的人脸图像提取方法的步骤。
虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所公开的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (12)

1.一种人脸图像提取方法，其特征在于，包括以下步骤：
基于人脸五官检测模型，从人脸图像上检测出人脸的双眼、鼻子和嘴角的位置；
根据双眼之间的连线与所述人脸图像的水平轴之间的夹角旋转校正所述人脸图像，以获取标准人脸图像；
基于所述标准人脸图像上的双眼、鼻子和嘴角的位置确定目距、嘴角距、目鼻距和口鼻距；
以双眼各眼的中心为起始点，分别沿第一和第二预设方向对应延伸预设倍数的目距，以获得第一和第二定位点；
以双眼之间的中心点为起始点，沿第三预设方向对应延伸预设倍数的目鼻距，以获得第三定位点；
以两嘴角为起始点，分别沿第四和第五预设方向对应延伸预设倍数的嘴角距，以获得第四和第五定位点；
以两嘴角之间的中心点为起始点，沿第六预设方向对应延伸预设倍数的口鼻距，以获得第六定位点；
根据六个定位点确定延伸后人脸区域边框线，并根据延伸后人脸区域边框线锁定目标人脸区域，获取目标人脸区域的图像。
2.根据权利要求1所述的方法，其特征在于，所述预设倍数通过以下表达式获取：
N＝N0×(1+β)
其中，N为预设倍数，N0为基准倍数，β为调整比率。
3.根据权利要求2所述的方法，其特征在于，所述基准倍数通过以下步骤确定：
获取多个已知的人脸图像，并确定每个已知的人脸图像的完整人脸边框线，其中，所述完整人脸边框线为包围额头、下巴和耳朵的最小矩形；
将多个分别带有所述完整人脸边框线的已知的人脸图像作为样本，并对每个样本进行以下分析：
从样本上检测出人脸的双眼、鼻子和嘴角的位置；
根据双眼之间的连线与所述样本的水平轴之间的夹角旋转校正所述样本，以获取标准样本；
基于所述标准样本上的双眼、鼻子和嘴角的位置确定目距、嘴角距、目鼻距和口鼻距；
以左眼的中心为起始点、沿第一预设方向延伸的延长线，与所述完整人脸边框线相交，获得第一延长距离，将该第一延长距离与目距的比值作为目距延伸倍数；
以右眼的中心为起始点、沿第二预设方向延伸的延长线，与所述完整人脸边框线相交，获得第二延长距离，将该第二延长距离与目距的比值作为目距延伸倍数；
以双眼之间的中心点为起始点、沿第三预设方向延伸的延长线，与所述完整人脸边框线相交，获得第三延长距离，将该第三延长距离与目鼻距的比值作为目鼻距延伸倍数；
以左嘴角为起始点、沿第四预设方向延伸的延长线，与所述完整人脸边框线相交，获得第四延长距离，将该第四延长距离与嘴角距的比值作为嘴角距延伸倍数；
以右嘴角为起始点、沿第五预设方向延伸的延长线，与所述完整人脸边框线相交，获得第五延长距离，将该第五延长距离与嘴角距的比值作为嘴角距延伸倍数；
以两嘴角之间的中心点为起始点、沿第六预设方向延伸的延长线，与所述完整人脸边框线相交，获得第六延长距离，将该第六延长距离与口鼻距的比值作为口鼻距延伸倍数；
根据所有样本的目距延伸倍数形成目距延伸倍数数据集，根据所有样本的目鼻距延伸倍数形成目鼻距延伸倍数数据集，根据所有样本的嘴角距延伸倍数形成嘴角距延伸倍数数据集，根据所有样本的口鼻距延伸倍数形成口鼻距延伸倍数数据集；
将目距延伸倍数数据集的平均数、众数或中位数中的任意一个数值作为目距延伸的基准倍数，将目鼻距延伸倍数数据集的平均数、众数或中位数中的任意一个数值作为目鼻距延伸的基准倍数，将嘴角距延伸倍数数据集的平均数、众数或中位数中的任意一个数值作为嘴角距延伸的基准倍数，将口鼻距延伸倍数数据集的平均数、众数或中位数中的任意一个数值作为口鼻距延伸的基准倍数。
4.根据权利要求1所述的方法，其特征在于，根据双眼之间的连线与所述人脸图像的水平轴之间的夹角校正所述人脸图像，以获取标准人脸图像，具体包括以下步骤：
计算双眼之间的连线相对于所述人脸图像的水平轴的偏转方向和偏转角度；
将所述人脸图像向所述偏转方向的反方向旋转所述偏转角度，以获取标准人脸图像。
5.根据权利要求1所述的方法，其特征在于，所述目距为双眼之间的直线距离、所述目鼻距为双眼之间的中心点与鼻尖之间的直线距离，所述口鼻距为两嘴角之间的中心点与鼻尖之间的直线距离。
6.根据权利要求1所述的方法，其特征在于：
所述第一预设方向为以左眼的中心为起始点且平行于所述人脸图像的水平轴向左延伸的方向；
所述第二预设方向为以右眼的中心为起始点且平行于所述人脸图像的水平轴向右延伸的方向；
第三预设方向为以双眼之间的中心点为起始点且平行于所述人脸图像的垂直轴向上延伸的方向；
所述第四预设方向为以左嘴角为起始点且平行于所述人脸图像的水平轴向左延伸的方向；
所述第五预设方向为以右嘴角为起始点且平行于所述人脸图像的水平轴向右延伸的方向；
第六预设方向为以两嘴角之间的中心点为起始点且平行于所述人脸图像的垂直轴向下的方向。
7.根据权利要求6所述的方法，其特征在于，根据六个定位点确定延伸后人脸区域边框线，具体包括以下步骤：
分别过所述第三定位点和所述第六定位点绘制平行于人脸图像水平轴的平行线，以获取两条水平线；
分别过所述第一定位点、所述第二定位点、所述第四定位点、所述第五定位点绘制平行于人脸图像垂直轴的平行线，以获取四条竖直线；
所述两条水平线与所述四条竖直线分别交叉形成矩形人脸区域内边框线和矩形人脸区域外边框线，将所述矩形人脸区域外边框线作为延伸后人脸区域边框线。
8.根据权利要求7所述的方法，其特征在于，在根据六个定位点确定延伸后人脸区域边框线后，根据延伸后人脸区域边框线锁定目标人脸区域，获取目标人脸区域的图像，具体包括以下步骤：
基于所述标准人脸图像上的双眼、鼻子和嘴角的位置确定中央人脸区域的边框线，所述中央人脸区域为仅包围双眼、鼻子和嘴角的最小矩形区域；
对所述中央人脸区域的边框线的左上角顶点和所述延伸后人脸区域边框线的左上角顶点进行连接，以获取第一线段，根据预设分割比例确定所述第一线段上的第一分界点；
对所述中央人脸区域的边框线的右下角顶点和所述延伸后人脸区域边框线的右下角顶点进行连接，以获取第二线段，根据所述预设分割比例确定所述第二线段上的第二分界点；
分别以第一分界点和第二分界点作为新的左上角顶点和新的右下角顶点绘制新的矩形，将该矩形作为所述目标人脸区域，获取所述目标人脸区域的图像。
9.根据权利要求8所述的方法，其特征在于，基于所述标准人脸图像上的双眼、鼻子和嘴角的位置确定中央人脸区域的边框线，具体为：
利用人脸五官检测模型获取所述标准人脸图像上的双眼、鼻子和嘴角的位置，基于所述标准人脸图像上的双眼、鼻子和嘴角的位置确定中央人脸区域的边框线。
10.根据权利要求1所述的方法，其特征在于，所述人脸五官检测模型为MTCNN人脸五官检测模型、FaceNet人脸五官检测模型或MNIST人脸五官检测模型。
11.一种存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至10中任一项所述方法的步骤。
12.一种终端设备，其包括存储器、处理器和人脸图像采集装置，其特征在于，该存储器上存储有用于对所述人脸图像采集装置采集的人脸图像进行提取的计算机程序，该计算机程序被处理器执行时实现如权利要求1至10中任一项所述人脸图像提取方法的步骤。
CN201910872434.3A 2019-09-16 2019-09-16 人脸图像提取方法、存储介质及终端设备 Active CN112507766B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910872434.3A CN112507766B (zh) 2019-09-16 2019-09-16 人脸图像提取方法、存储介质及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910872434.3A CN112507766B (zh) 2019-09-16 2019-09-16 人脸图像提取方法、存储介质及终端设备

Publications (2)

Publication Number Publication Date
CN112507766A true CN112507766A (zh) 2021-03-16
CN112507766B CN112507766B (zh) 2023-11-24

Family

ID=74923742

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910872434.3A Active CN112507766B (zh) 2019-09-16 2019-09-16 人脸图像提取方法、存储介质及终端设备

Country Status (1)

Country Link
CN (1) CN112507766B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113837020A (zh) * 2021-08-31 2021-12-24 北京新氧科技有限公司 一种化妆进度检测方法、装置、设备及存储介质
CN113837019A (zh) * 2021-08-31 2021-12-24 北京新氧科技有限公司 一种化妆进度检测方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH096964A (ja) * 1995-06-22 1997-01-10 Seiko Epson Corp 顔画像処理方法および顔画像処理装置
JP2005108207A (ja) * 2003-09-09 2005-04-21 Fuji Photo Film Co Ltd 画像処理方法および装置並びにプログラム
US20070047761A1 (en) * 2005-06-10 2007-03-01 Wasilunas Elizabeth A Methods Of Analyzing Human Facial Symmetry And Balance To Provide Beauty Advice
US9824262B1 (en) * 2014-10-04 2017-11-21 Jon Charles Daniels System and method for laterality adjusted identification of human attraction compatibility
CN108510583A (zh) * 2018-04-03 2018-09-07 北京华捷艾米科技有限公司 人脸图像的生成方法和人脸图像的生成装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH096964A (ja) * 1995-06-22 1997-01-10 Seiko Epson Corp 顔画像処理方法および顔画像処理装置
JP2005108207A (ja) * 2003-09-09 2005-04-21 Fuji Photo Film Co Ltd 画像処理方法および装置並びにプログラム
US20070047761A1 (en) * 2005-06-10 2007-03-01 Wasilunas Elizabeth A Methods Of Analyzing Human Facial Symmetry And Balance To Provide Beauty Advice
US9824262B1 (en) * 2014-10-04 2017-11-21 Jon Charles Daniels System and method for laterality adjusted identification of human attraction compatibility
CN108510583A (zh) * 2018-04-03 2018-09-07 北京华捷艾米科技有限公司 人脸图像的生成方法和人脸图像的生成装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113837020A (zh) * 2021-08-31 2021-12-24 北京新氧科技有限公司 一种化妆进度检测方法、装置、设备及存储介质
CN113837019A (zh) * 2021-08-31 2021-12-24 北京新氧科技有限公司 一种化妆进度检测方法、装置、设备及存储介质
CN113837020B (zh) * 2021-08-31 2024-02-02 北京新氧科技有限公司 一种化妆进度检测方法、装置、设备及存储介质
CN113837019B (zh) * 2021-08-31 2024-05-10 北京新氧科技有限公司 一种化妆进度检测方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN112507766B (zh) 2023-11-24

Similar Documents

Publication Publication Date Title
JP6636154B2 (ja) 顔画像処理方法および装置、ならびに記憶媒体
CN109859098B (zh) 人脸图像融合方法、装置、计算机设备及可读存储介质
US11043011B2 (en) Image processing method, apparatus, terminal, and storage medium for fusing images of two objects
CN109829930B (zh) 人脸图像处理方法、装置、计算机设备及可读存储介质
CN111243093B (zh) 三维人脸网格的生成方法、装置、设备及存储介质
WO2022012192A1 (zh) 三维人脸模型的构建方法、装置、设备及存储介质
EP3992919B1 (en) Three-dimensional facial model generation method and apparatus, device, and medium
WO2018137455A1 (zh) 一种图像互动方法及互动装置
CN107452049B (zh) 一种三维头部建模方法及装置
CN110769323B (zh) 一种视频通信方法、系统、装置和终端设备
CN109961496B (zh) 表情驱动方法及表情驱动装置
CN108463823A (zh) 一种用户头发模型的重建方法、装置及终端
JP2014048766A (ja) 画像生成装置、画像生成方法及びプログラム
US20220375258A1 (en) Image processing method and apparatus, device and storage medium
CN112016469A (zh) 图像处理方法及装置、终端及可读存储介质
CN112507766B (zh) 人脸图像提取方法、存储介质及终端设备
CN110910308B (zh) 图像处理方法、装置、设备和介质
CN111652795A (zh) 脸型的调整、直播方法、装置、电子设备和存储介质
JP5966657B2 (ja) 画像生成装置、画像生成方法及びプログラム
CN113496506A (zh) 图像处理方法、装置、设备及存储介质
CN112149647B (zh) 图像处理方法、装置、设备及存储介质
CN111652023B (zh) 嘴型的调整、直播方法、装置、电子设备和存储介质
CN111652807B (zh) 眼部的调整、直播方法、装置、电子设备和存储介质
CN112488909A (zh) 多人脸的图像处理方法、装置、设备及存储介质
TWI630579B (zh) 電子裝置、電腦可讀取記錄媒體及臉部影像顯示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant