CN110059637A - 一种人脸对齐的检测方法及装置 - Google Patents

一种人脸对齐的检测方法及装置 Download PDF

Info

Publication number
CN110059637A
CN110059637A CN201910321853.8A CN201910321853A CN110059637A CN 110059637 A CN110059637 A CN 110059637A CN 201910321853 A CN201910321853 A CN 201910321853A CN 110059637 A CN110059637 A CN 110059637A
Authority
CN
China
Prior art keywords
face
key point
measured
confidence level
facial image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910321853.8A
Other languages
English (en)
Other versions
CN110059637B (zh
Inventor
周曦
姚志强
李夏风
谭涛
李继伟
朱鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Cloud From Enterprise Development Co Ltd
Original Assignee
Shanghai Cloud From Enterprise Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Cloud From Enterprise Development Co Ltd filed Critical Shanghai Cloud From Enterprise Development Co Ltd
Priority to CN201910321853.8A priority Critical patent/CN110059637B/zh
Publication of CN110059637A publication Critical patent/CN110059637A/zh
Application granted granted Critical
Publication of CN110059637B publication Critical patent/CN110059637B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种人脸对齐的检测方法及装置，其中，所述检测方法包括，对所述样本数据集进行训练，构建人脸检测模型；获取待测人脸图像；采用所述人脸检测模型对所述待测人脸图像进行检测，获得所述待测人脸图像的人脸检测框；检测所述人脸检测框中的人脸关键点，得到所述人脸关键点的位置坐标以及得到所述人脸关键点的可信度；根据所述人脸关键点的可信度计算得到所述人脸关键点的总可信度；根据所述总可信度输出所述待测人脸图像的对齐人脸图；如此，通过得到人脸关键点的可信度以及多个人脸关键点的总的可信度进行计算和判断，可以输出得到更可靠和准确的人脸对齐图。

Description

一种人脸对齐的检测方法及装置
技术领域
本发明涉及图像处理技术领域，特别是涉及一种人脸对齐的检测方法及装置。
背景技术
在整个人脸识别方案中，人脸对齐是重要的一个环节，对提升人脸识别率起到了重要作用。现有的人脸对齐方法是完全依赖于人脸关键点，通过两个眼睛，以及嘴部三个关键点来生成仿射矩阵，从而对人脸进行旋正对齐。这种方法完全依赖于前序关键点模块的准确性，当人脸图像质量低下时，人脸关键点变得模糊而不可靠，进而影响了人脸对齐效果，往往得到的人脸对齐图效果不佳且可靠度不高。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种人脸对齐的检测方法及装置，用于解决现有技术中人脸对齐图的可靠度不高的问题。
为实现上述目的及其他相关目的，本发明提供一种人脸对齐的检测方法及装置，其中，所述人脸对齐的检测方法包括以下步骤：
获取多个人脸图像，构建样本数据集；
对所述样本数据集进行训练，构建人脸检测模型；
获取待测人脸图像；
采用所述人脸检测模型对所述待测人脸图像进行检测，获得所述待测人脸图像的人脸检测框；检测所述人脸检测框中的人脸关键点，得到所述人脸关键点的位置坐标以及得到所述人脸关键点的可信度；
根据所述人脸关键点的可信度计算得到所述人脸关键点的总可信度；
根据所述总可信度输出所述待测人脸图像的对齐人脸图。
可选的，所述对所述样本数据集进行训练，构建人脸检测模型包括：对所述样本数据集中的人脸图像进行人脸框标注，获得所述样本数据集的人脸检测框；对所述样本数据集中的人脸检测框进行关键点标注，获得所述样本数据集的人脸关键点；对所述样本数据集的人脸关键点进行坐标位置标注以及对所述样本数据集的人脸关键点的可信度进行标注；构建所述人脸检测模型。
可选的，所述根据所述人脸关键点的可信度计算得到所述人脸关键点的总可信度包括按照以下公式计算所述人脸关键点的总可信度：
其中，total_score为所述人脸关键点的总可信度；i的取值范围为所述人脸关键点的个数；weighti为每一个所述人脸关键点对应的权重；confidencei为每一个所述人脸关键点的可信度。
可选的，所述根据所述总可信度输出所述待测人脸图像的对齐人脸图包括：判断所述人脸关键点的总可信度是否小于预设值；若是，根据所述人脸检测框以及所述人脸关键点的位置坐标对所述待测人脸图像进行缩小调整以得到所述待测人脸图像的对齐人脸图；若否，根据所述人脸关键点以及所述人脸关键点的位置坐标对所述待测人脸图像进行仿射变换以得到所述待测人脸图像的对齐人脸图。
可选的，所述根据所述人脸检测框以及所述人脸关键点的位置坐标对所述待测人脸图像进行缩小调整以得到所述待测人脸图像的对齐人脸图包括：所述待测人脸图像包括四个边框，对每个所述边框进行标注；将所述待测人脸图像划分为四个区域，对每个所述区域进行标注；采用以下公式计算所述人脸检测框的各个边框的缩小调整比例：
scale,-j.＝,K-j.*(1-,,Cnt-j.-/Cnt_total.)；
其中，j取值表示所述人脸检测框的各个边框，Kj为每个边框的固定比例值，Cnt-j为分别位于每个所述区域的人脸关键点的个数，Cnt_total为所述待测人脸图像的所述人脸关键点的个数总数。
本发明还提供一种人脸对齐的检测装置，所述检测装置包括：
第一图像获取模块，用于获取多个人脸图像，并构建样本数据集；
训练模块，用于对所述样本数据集进行训练，构建人脸检测模型；
第二图像获取模块，用于获取待测人脸图像；
人脸检测模块，用于采用所述人脸检测模型对所述待测人脸图像进行检测，获得所述待测人脸图像的人脸检测框；检测所述人脸检测框中的人脸关键点，得到所述人脸关键点的位置坐标以及得到所述人脸关键点的可信度；
处理模块，用于根据所述人脸关键点的可信度计算得到所述人脸关键点的总可信度；
图像输出模块，用于根据所述总可信度输出所述待测人脸图像的对齐人脸图。
可选的，所述训练模块通过对所述样本数据集中的人脸图像进行人脸框标注，获得所述样本数据集的人脸检测框；以及对所述样本数据集中的人脸检测框进行关键点标注，获得所述样本数据集的人脸关键点；并对所述样本数据集的人脸关键点进行坐标位置标注以及对所述样本数据集的人脸关键点的可信度进行标注以构建所述人脸检测模型。
可选的，所述处理模块还按照以下公式计算所述人脸关键点的总可信度：
其中，total_score为所述人脸关键点的总可信度；i的取值范围为所述人脸关键点的个数；weighti为每一个所述人脸关键点对应的权重；confidencei为每一个所述人脸关键点的可信度。
可选的，所述图像输出模块包括判断单元以及调整单元：其中，所述判断单元用于判断所述人脸关键点的总可信度是否小于预设值；若所述人脸关键点的总可信度小于所述预设值，所述调整单元根据所述人脸检测框以及所述人脸关键点的位置坐标对所述待测人脸图像进行缩小调整以得到所述待测人脸图像的对齐人脸图；若所述人脸关键点的总可信度不小于所述预设值，所述调整单元根据所述人脸关键点以及所述人脸关键点的位置坐标对所述待测人脸图像进行仿射变换以得到所述待测人脸图像的对齐人脸图。
可选的，所述待测人脸图像包括四个边框，所述调整单元对每个所述边框进行标注；将所述待测人脸图像划分为四个区域，对每个所述区域进行标注；所述调整单元还同通过以下公式计算所述人脸检测框的各个边框的缩小调整比例：
scale,-j.＝,K-j.*(1-,,Cnt-j.-/Cnt_total.)；
其中，j取值表示所述人脸检测框的各个边框，Kj为每个边框的固定比例值，Cnt-j为分别位于每个所述区域的人脸关键点的个数，Cnt_total为所述待测人脸图像的所述人脸关键点的个数总数。
本发明还提供一种计算装置，所述计算装置包括至少一个处理器、以及至少一个存储器，其中，所述存储器存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器执行上述人脸对齐的检测方法的步骤。
本发明还提供一种计算机可读介质，其存储有可由计算装置执行的计算机程序，当所述程序在计算装置上运行时，使得所述计算装置执行上述人脸对齐的检测方法的步骤。
如上所述，本发明的人脸对齐的检测方法，通过构建人脸检测模型；并采用所述人脸检测模型对所述待测人脸图像进行检测，获得所述待测人脸图像的人脸检测框；检测所述人脸检测框中的人脸关键点，得到所述人脸关键点的位置坐标以及得到所述人脸关键点的可信度；根据所述人脸关键点的可信度计算得到所述人脸关键点的总可信度；根据所述总可信度输出所述待测人脸图像的对齐人脸图。即通过得到人脸关键点的可信度以及多个人脸关键点的总的可信度进行计算和判断，可以输出得到更可靠和准确的人脸对齐图。
附图说明
图1显示为本发明的人脸对齐的检测方法的流程示意图。
图2显示为本发明的人脸对齐的检测方法的一示意图。
图3显示为本发明的一人脸对齐的检测装置的结构框图。
图4显示为本发明的另一人脸对齐的检测装置的结构框图。
元件标号说明
10 第一图像获取模块
20 训练模块
30 第二图像获取模块
40 人脸检测模块
50 处理模块
60 图像输出模块
61 判断单元
63 调整单元
100 内框
200 外框
S10～S60 步骤
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
请参阅图1，本发明提供一种人脸对齐的检测方法，包括以下步骤：
S10：获取多个人脸图像，构建样本数据集；
S20：对所述样本数据集进行训练，构建人脸检测模型；
S30：获取待测人脸图像；
S40：采用所述人脸检测模型对所述待测人脸图像进行检测，获得所述待测人脸图像的人脸检测框；检测所述人脸检测框中的人脸关键点，得到所述人脸关键点的位置坐标以及得到所述人脸关键点的可信度；
S50：根据所述人脸关键点的可信度计算得到所述人脸关键点的总可信度；
S60：根据所述总可信度输出所述待测人脸图像的对齐人脸图。
如此，通过构建人脸检测模型；并采用所述人脸检测模型对所述待测人脸图像进行检测，获得所述待测人脸图像的人脸检测框；检测所述人脸检测框中的人脸关键点，得到所述人脸关键点的位置坐标以及得到所述人脸关键点的可信度；根据所述人脸关键点的可信度计算得到所述人脸关键点的总可信度；根据所述总可信度输出所述待测人脸图像的对齐人脸图。即通过得到人脸关键点的可信度以及多个人脸关键点的总的可信度进行计算和判断，可以输出得到更可靠和准确的人脸对齐图。
在某些实施方式中，所述对所述样本数据集进行训练，构建人脸检测模型的步骤包括：对所述样本数据集中的人脸图像进行人脸框标注，获得所述样本数据集的人脸检测框；对所述样本数据集中的人脸检测框进行关键点标注，获得所述样本数据集的人脸关键点；对所述样本数据集的人脸关键点进行坐标位置标注以及对所述样本数据集的人脸关键点的可信度进行标注；构建所述人脸检测模型。
在某些实施方式中，可以采用深度学习网络对已经完成人脸关键点进行坐标位置标注以及对所述样本数据集的人脸关键点的可信度进行标注的样本进行训练以得到所述人脸检测模型。
在某些实施方式中，所述根据所述人脸关键点的可信度计算得到所述人脸关键点的总可信度包括按照以下公式计算所述人脸关键点的总可信度：
其中，total_score为所述人脸关键点的总可信度；i的取值范围为所述人脸关键点的个数；weighti为每一个所述人脸关键点对应的权重；confidencei为每一个所述人脸关键点的可信度。
在某些实施方式中，所述根据所述总可信度输出所述待测人脸图像的对齐人脸图包括：判断所述人脸关键点的总可信度是否小于预设值；若是，根据所述人脸检测框以及所述人脸关键点的位置坐标对所述待测人脸图像进行缩小调整以得到所述待测人脸图像的对齐人脸图；若否，根据所述人脸关键点以及所述人脸关键点的位置坐标对所述待测人脸图像进行仿射变换以得到所述待测人脸图像的对齐人脸图。
在某些实施方式中，当所述人脸关键点的总可信度是否大于等于预设值时，说明此组人脸关键点的可靠度高，此时可以根据所述人脸关键点以及所述人脸关键点的位置坐标对所述待测人脸图像进行仿射变换以得到所述待测人脸图像的对齐人脸图。
在某些实施方式中，所述根据所述人脸检测框以及所述人脸关键点的位置坐标对所述待测人脸图像进行缩小调整以得到所述待测人脸图像的对齐人脸图包括：所述待测人脸图像包括四个边框，对每个所述边框进行标注；将所述待测人脸图像划分为四个区域，对每个所述区域进行标注；采用以下公式计算所述人脸检测框的各个边框的缩小调整比例：
scale,-j.＝,K-j.*(1-,,Cnt-j.-/Cnt_total.)； (2)
其中，j取值表示所述人脸检测框的各个边框，Kj为每个边框的固定比例值，Cnt-j为分别位于每个所述区域的人脸关键点的个数，Cnt_total为所述待测人脸图像的所述人脸关键点的个数总数。
可以理解理解的，请参阅图2，外框200为生成的所述待测人脸图像的人脸检测框，中间的圆点为已经进行坐标位置标注的人脸关键点，图2中仅以四个人脸关键点关键点作为示意，以1、2、3、4进行编号，实际可以更多，相应的对人脸关键点可信度进行标注，例如输出的这四个人脸关键点对应的可信度值可以为:
Confidence[1,2,3,4]＝{0.6,0.2,0.4,0.2}；
首先，判断此组人脸关键点是否可靠，公式(1)中weighti,可以根据获得的待测图像的实际情况给出，如人脸关键点中的眼睛位置即人脸关键点1的特征比较明显，可以适当的将特征明显的人脸关键点的权重值设定大一些，例如：Weight[1,2,3,4]＝{0.3,0.1,0.3,0.3}；根据公式(1)计算得出total_score＝0.38；在某些实施方式中，给出预设值th＝0.5，此时total_score<th，那么判断此组人脸关键点为不可靠，如此，则需要根据所述人脸检测框以及所述人脸关键点的位置坐标对所述待测人脸图像进行缩小调整以得到所述待测人脸图像的对齐人脸图。即可以通过生成的人脸检测框以及人脸关键点的位置信息来生成人脸对齐图。
图2中人脸检测框的宽为W，高为H，虚线为人脸检测框的中点标示线，通过中点标示线将所述待测人脸图像划分为四个区域；四个边框对应的固定比例值Kj可以根据人脸关键点的位置坐标信息得出，诸如当人脸关键点相对集中的落在其中一个区域中时，每个边框的固定比例值的取值可以是K[1,2,3,4]＝{0.5,0.5,0.5,0.5}；总的人脸关键点个数Cnt_total＝4。以图2为例进行说明，左边框中位于左侧的人脸关键点个数Cnt左＝3，则scale左＝0.5*(1-3/4)＝1/8，即左边框需要往右移动W*1/8；右边框中位于右侧的人脸关键点个数为Cnt右＝1，则scale右＝0.5*(1-1/4)＝3/8，即右边框需要往左移动W*3/8；上边框中位于上侧的人脸关键点个数为Cnt上＝3，则：scale上＝0.5*(1-3/4)＝1/8，即上边框需要往下移动H*1/8。
图2中下边框中位于下侧的关键点个数为Cnt下＝1，则scale下＝0.5*(1-1/4)＝3/8，即下边框需要往上移动H*1/8；最终移动之后的检测框形成图2中的内框100，内框100即为最终的人脸对齐图，移动过程如图2的箭头所指的方向。
可以理解的，在某些实施方式中，四个边框对应的固定比例值Kj可以根据人脸关键点的集中分布区域进行设定，在此不做限定；上述仅以四个人脸关键点为例进行说明，关键点个数的选择不影响本发明构思的实现。
请参阅图3，本发明还提供一种人脸对齐的检测装置，所述检测装置包括：
第一图像获取模块10，用于获取多个人脸图像，并构建样本数据集；
训练模块20，用于对所述样本数据集进行训练，构建人脸检测模型；
第二图像获取模块30，用于获取待测人脸图像；
人脸检测模块40，用于采用所述人脸检测模型对所述待测人脸图像进行检测，获得所述待测人脸图像的人脸检测框；检测所述人脸检测框中的人脸关键点，得到所述人脸关键点的位置坐标以及得到所述人脸关键点的可信度；
处理模块50，用于根据所述人脸关键点的可信度计算得到所述人脸关键点的总可信度；
图像输出模块60，用于根据所述总可信度输出所述待测人脸图像的对齐人脸图。
可以理解的，本发明的人脸对齐的检测装置的人脸检测模块40通过引入人脸检测框，作为人脸对齐时的辅助信息，提升了人脸对齐模块的鲁棒性；且通过标注人脸关键点的位置坐标以及得到所述人脸关键点的可信度并计算人脸关键点的总可信度，对总可信度进行判断，因此在保持人脸图像质量较好时的对齐效果的同时，较大幅度地提升人脸图像质量较差时人脸对齐效果，从而提高后续整体人脸识别准确率。
在某些实施方式中，所述训练模块20通过对所述样本数据集中的人脸图像进行人脸框标注，获得所述样本数据集的人脸检测框；以及对所述样本数据集中的人脸检测框进行关键点标注，获得所述样本数据集的人脸关键点；并对所述样本数据集的人脸关键点进行坐标位置标注以及对所述样本数据集的人脸关键点的可信度进行标注以构建所述人脸检测模型。
在某些实施方式中，所述处理模块50还按照以下公式计算所述人脸关键点的总可信度：
其中，total_score为所述人脸关键点的总可信度；i的取值范围为所述人脸关键点的个数；weighti为每一个所述人脸关键点对应的权重；confidencei为每一个所述人脸关键点的可信度。
请参阅图4，在某些实施方式中，所述图像输出模块60包括判断单元61以及调整单元63：其中，所述判断单元61用于判断所述人脸关键点的总可信度是否小于预设值；若所述人脸关键点的总可信度小于所述预设值，所述调整单元63根据所述人脸检测框以及所述人脸关键点的位置坐标对所述待测人脸图像进行缩小调整以得到所述待测人脸图像的对齐人脸图；若所述人脸关键点的总可信度不小于所述预设值，所述调整单元63根据所述人脸关键点以及所述人脸关键点的位置坐标对所述待测人脸图像进行仿射变换以得到所述待测人脸图像的对齐人脸图。
在某些实施方式中，所述待测人脸图像包括四个边框，所述调整单元63对每个所述边框进行标注；并将所述待测人脸图像划分为四个区域，对每个所述区域进行标注；所述调整单元63还采用以下公式计算所述人脸检测框的各个边框的缩小调整比例：
scale,-j.＝,K-j.*(1-,,Cnt-j.-/Cnt_total.)；
其中，j取值表示所述人脸检测框的各个边框，Kj为每个边框的固定比例值，Cnt-j为分别位于每个所述区域的人脸关键点的个数，Cnt_total为所述待测人脸图像的所述人脸关键点的个数总数。
可以理解的本发明提供的人脸对齐的检测装置可以实现本发明提供的人脸对齐的检测方法，因此，检测装置的夏凝管实施例以及有益效果与检测方法的相同，在此不再赘述。
如上所述，本发明的人脸对齐的检测方法以及检测装置，通过构建人脸检测模型；并采用所述人脸检测模型对所述待测人脸图像进行检测，获得所述待测人脸图像的人脸检测框；检测所述人脸检测框中的人脸关键点，得到所述人脸关键点的位置坐标以及得到所述人脸关键点的可信度；根据所述人脸关键点的可信度计算得到所述人脸关键点的总可信度；根据所述总可信度输出所述待测人脸图像的对齐人脸图。即通过得到人脸关键点的可信度以及多个人脸关键点的总的可信度进行计算和判断，可以输出得到更可靠和准确的人脸对齐图；人脸检测模块40通过引入人脸检测框，作为人脸对齐时的辅助信息，提升了人脸对齐模块的鲁棒性；且通过标注人脸关键点的位置坐标以及得到所述人脸关键点的可信度并计算人脸关键点的总可信度，对总可信度进行判断，因此在保持人脸图像质量较好时的对齐效果的同时，较大幅度地提升人脸图像质量较差时人脸对齐效果，从而提高后续整体人脸识别准确率。本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
本发明还提供一种计算装置，所述计算装置包括至少一个处理器、以及至少一个存储器，其中，所述存储器存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器执行上述人脸对齐的检测方法的步骤。
在介绍了本发明示例性实施方式的人脸对齐检测方法和装置之后，接下来，介绍根据本发明的另一示例性实施方式的计算装置。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
在一些可能的实施方式中，根据本发明的计算装置可以至少包括至少一个处理器、以及至少一个存储器。其中，所述存储器存储有程序代码，当所述程序代码被所述处理器执行时，使得所述处理器执行本说明书上述描述的根据本发明各种示例性实施方式的人脸对齐检测方法中的步骤。
在某些实施方式中，计算装置以通用计算设备的形式表现。计算装置的组件可以包括但不限于：上述至少一个处理器、上述至少一个存储器、连接不同系统组件(包括存储器和处理器)的总线。
总线表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。
存储器可以包括易失性存储器形式的可读介质，例如随机存取存储器(RAM)和/或高速缓存存储器，还可以进一步包括只读存储器(ROM)。
存储器还可以包括具有一组(至少一个)程序模块的程序/实用工具，这样的程序模块包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
计算装置也可以与一个或多个外部设备(例如键盘、指向设备等)通信，还可与一个或者多个使得用户能与计算装置交互的设备通信，和/或与使得该计算装置能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口进行。并且，计算装置还可以通过网络适配器与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器通过总线与用于计算装置的其它模块通信。应当理解，可以结合计算装置使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
在一些可能的实施方式中，本发明提供的人脸对齐检测方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在计算机设备上运行时，所述程序代码用于使所述计算机设备执行本说明书上述描述的根据本发明各种示例性实施方式的人脸对齐检测方法中的步骤，例如，所述计算机设备可以实现图1中的步骤S20、S40、S50以及S60。
本发明还提供一种计算机可读介质，其存储有可由计算装置执行的计算机程序，当所述程序在计算装置上运行时，使得所述计算装置执行上述人脸对齐的检测方法的步骤。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本发明的实施方式的用于人脸对齐检测的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在计算设备上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的示例实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括示例实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (12)

1.一种人脸对齐的检测方法，其特征在于，所述方法包括以下步骤：
获取多个人脸图像，构建样本数据集；
对所述样本数据集进行训练，构建人脸检测模型；
获取待测人脸图像；
采用所述人脸检测模型对所述待测人脸图像进行检测，获得所述待测人脸图像的人脸检测框；检测所述人脸检测框中的人脸关键点，得到所述人脸关键点的位置坐标以及得到所述人脸关键点的可信度；
根据所述人脸关键点的可信度计算得到所述人脸关键点的总可信度；
根据所述总可信度输出所述待测人脸图像的对齐人脸图。
2.根据权利要求1所述的人脸对齐的检测方法，其特征在于，所述对所述样本数据集进行训练，构建人脸检测模型包括：
对所述样本数据集中的人脸图像进行人脸框标注，获得所述样本数据集的人脸检测框；
对所述样本数据集中的人脸检测框进行关键点标注，获得所述样本数据集的人脸关键点；
对所述样本数据集的人脸关键点进行坐标位置标注以及对所述样本数据集的人脸关键点的可信度进行标注；
构建所述人脸检测模型。
3.根据权利要求1所述的人脸对齐的检测方法，其特征在于，所述根据所述人脸关键点的可信度计算得到所述人脸关键点的总可信度包括按照以下公式计算所述人脸关键点的总可信度：
其中，total_score为所述人脸关键点的总可信度；i的取值范围为所述人脸关键点的个数；weighti为每一个所述人脸关键点对应的权重；confidencei为每一个所述人脸关键点的可信度。
4.根据权利要求1所述的人脸对齐的检测方法，其特征在于，所述根据所述总可信度输出所述待测人脸图像的对齐人脸图包括：
判断所述人脸关键点的总可信度是否小于预设值；
若是，根据所述人脸检测框以及所述人脸关键点的位置坐标对所述待测人脸图像进行缩小调整以得到所述待测人脸图像的对齐人脸图；
若否，根据所述人脸关键点以及所述人脸关键点的位置坐标对所述待测人脸图像进行仿射变换以得到所述待测人脸图像的对齐人脸图。
5.根据权利要求4所述的人脸对齐的检测方法，其特征在于，所述根据所述人脸检测框以及所述人脸关键点的位置坐标对所述待测人脸图像进行缩小调整以得到所述待测人脸图像的对齐人脸图包括：
所述待测人脸图像包括四个边框，对每个所述边框进行标注；
将所述待测人脸图像划分为四个区域，对每个所述区域进行标注；
采用以下公式计算所述人脸检测框的各个边框的缩小调整比例：
scale,-j.＝,K-j.*(1-,,Cnt-j.-/Cnt_total.)；
其中，j取值表示所述人脸检测框的各个边框，Kj为每个边框的固定比例值，Cnt-j为分别位于每个所述区域的人脸关键点的个数，Cnt_total为所述待测人脸图像的所述人脸关键点的个数总数。
6.一种人脸对齐的检测装置，其特征在于，所述检测装置包括：
第一图像获取模块，用于获取多个人脸图像，并构建样本数据集；
训练模块，用于对所述样本数据集进行训练，构建人脸检测模型；
第二图像获取模块，用于获取待测人脸图像；
人脸检测模块，用于采用所述人脸检测模型对所述待测人脸图像进行检测，获得所述待测人脸图像的人脸检测框；检测所述人脸检测框中的人脸关键点，得到所述人脸关键点的位置坐标以及得到所述人脸关键点的可信度；
处理模块，用于根据所述人脸关键点的可信度计算得到所述人脸关键点的总可信度；
图像输出模块，用于根据所述总可信度输出所述待测人脸图像的对齐人脸图。
7.根据权利要求6所述的人脸对齐的检测装置，其特征在于，通过训练模块对所述样本数据集中的人脸图像进行人脸框标注，获得所述样本数据集的人脸检测框；以及
对所述样本数据集中的人脸检测框进行关键点标注，获得所述样本数据集的人脸关键点；
并对所述样本数据集的人脸关键点进行坐标位置标注以及对所述样本数据集的人脸关键点的可信度进行标注以构建所述人脸检测模型。
8.根据权利要求6所述的人脸对齐的检测装置，其特征在于，所述处理模块按照以下公式计算所述人脸关键点的总可信度：
其中，total_score为所述人脸关键点的总可信度；i的取值范围为所述人脸关键点的个数；weighti为每一个所述人脸关键点对应的权重；confidencei为每一个所述人脸关键点的可信度。
9.根据权利要求6所述的人脸对齐的检测装置，其特征在于，所述图像输出模块包括判断单元以及调整单元：
其中，所述判断单元用于判断所述人脸关键点的总可信度是否小于预设值；
若所述人脸关键点的总可信度小于所述预设值，所述调整单元根据所述人脸检测框以及所述人脸关键点的位置坐标对所述待测人脸图像进行缩小调整以得到所述待测人脸图像的对齐人脸图；
若所述人脸关键点的总可信度不小于所述预设值，所述调整单元根据所述人脸关键点以及所述人脸关键点的位置坐标对所述待测人脸图像进行仿射变换以得到所述待测人脸图像的对齐人脸图。
10.根据权利要求9所述的人脸对齐的检测装置，其特征在于，所述待测人脸图像包括四个边框，所述调整单元对每个所述边框进行标注；
将所述待测人脸图像划分为四个区域，对每个所述区域进行标注；
所述调整单元通过以下公式计算所述人脸检测框的各个边框的缩小调整比例：
scale,-j.＝,K-j.*(1-,,Cnt-j.-/Cnt_total.)；
其中，j取值表示所述人脸检测框的各个边框，Kj为每个边框的固定比例值，Cnt-j为分别位于每个所述区域的人脸关键点的个数，Cnt_total为所述待测人脸图像的所述人脸关键点的个数总数。
11.一种计算装置，其特征在于，所述计算装置包括至少一个处理器、以及至少一个存储器，其中，所述存储器存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器执行权利要求1～5任一权利要求所述方法的步骤。
12.一种计算机可读介质，其特征在于，其存储有可由计算装置执行的计算机程序，当所述程序在计算装置上运行时，使得所述计算装置执行权利要求1～5任一所述方法的步骤。
CN201910321853.8A 2019-04-22 2019-04-22 一种人脸对齐的检测方法及装置 Active CN110059637B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910321853.8A CN110059637B (zh) 2019-04-22 2019-04-22 一种人脸对齐的检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910321853.8A CN110059637B (zh) 2019-04-22 2019-04-22 一种人脸对齐的检测方法及装置

Publications (2)

Publication Number Publication Date
CN110059637A true CN110059637A (zh) 2019-07-26
CN110059637B CN110059637B (zh) 2021-03-30

Family

ID=67319872

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910321853.8A Active CN110059637B (zh) 2019-04-22 2019-04-22 一种人脸对齐的检测方法及装置

Country Status (1)

Country Link
CN (1) CN110059637B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111854963A (zh) * 2020-06-11 2020-10-30 浙江大华技术股份有限公司 温度检测的方法、装置、设备和计算机设备
CN111914693A (zh) * 2020-07-16 2020-11-10 上海云从企业发展有限公司 一种人脸姿态调整方法、系统、装置、设备及介质
CN112380981A (zh) * 2020-11-12 2021-02-19 平安科技（深圳）有限公司 人脸关键点的检测方法、装置、存储介质及电子设备
CN112633221A (zh) * 2020-12-30 2021-04-09 深圳市捷顺科技实业股份有限公司 一种人脸方向的检测方法及相关装置
CN114495241A (zh) * 2022-02-16 2022-05-13 平安科技（深圳）有限公司 一种图像识别方法及装置、电子设备、存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101499128A (zh) * 2008-01-30 2009-08-05 中国科学院自动化研究所 基于视频流的三维人脸动作检测和跟踪方法
US20130266195A1 (en) * 2012-04-10 2013-10-10 Derek Shiell Hash-Based Face Recognition System
CN104598936A (zh) * 2015-02-28 2015-05-06 北京畅景立达软件技术有限公司 人脸图像面部关键点的定位方法
CN107038429A (zh) * 2017-05-03 2017-08-11 四川云图睿视科技有限公司 一种基于深度学习的多任务级联人脸对齐方法
CN109034095A (zh) * 2018-08-10 2018-12-18 杭州登虹科技有限公司 一种人脸对齐检测方法、装置和存储介质
CN109359575A (zh) * 2018-09-30 2019-02-19 腾讯科技（深圳）有限公司 人脸检测方法、业务处理方法、装置、终端及介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101499128A (zh) * 2008-01-30 2009-08-05 中国科学院自动化研究所 基于视频流的三维人脸动作检测和跟踪方法
US20130266195A1 (en) * 2012-04-10 2013-10-10 Derek Shiell Hash-Based Face Recognition System
CN104598936A (zh) * 2015-02-28 2015-05-06 北京畅景立达软件技术有限公司 人脸图像面部关键点的定位方法
CN107038429A (zh) * 2017-05-03 2017-08-11 四川云图睿视科技有限公司 一种基于深度学习的多任务级联人脸对齐方法
CN109034095A (zh) * 2018-08-10 2018-12-18 杭州登虹科技有限公司 一种人脸对齐检测方法、装置和存储介质
CN109359575A (zh) * 2018-09-30 2019-02-19 腾讯科技（深圳）有限公司 人脸检测方法、业务处理方法、装置、终端及介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111854963A (zh) * 2020-06-11 2020-10-30 浙江大华技术股份有限公司 温度检测的方法、装置、设备和计算机设备
CN111914693A (zh) * 2020-07-16 2020-11-10 上海云从企业发展有限公司 一种人脸姿态调整方法、系统、装置、设备及介质
CN112380981A (zh) * 2020-11-12 2021-02-19 平安科技（深圳）有限公司 人脸关键点的检测方法、装置、存储介质及电子设备
CN112633221A (zh) * 2020-12-30 2021-04-09 深圳市捷顺科技实业股份有限公司 一种人脸方向的检测方法及相关装置
CN114495241A (zh) * 2022-02-16 2022-05-13 平安科技（深圳）有限公司 一种图像识别方法及装置、电子设备、存储介质

Also Published As

Publication number Publication date
CN110059637B (zh) 2021-03-30

Similar Documents

Publication Publication Date Title
CN110059637A (zh) 一种人脸对齐的检测方法及装置
CN109034095A (zh) 一种人脸对齐检测方法、装置和存储介质
CN108229268A (zh) 表情识别及卷积神经网络模型训练方法、装置和电子设备
CN108898086A (zh) 视频图像处理方法及装置、计算机可读介质和电子设备
CN109584276A (zh) 关键点检测方法、装置、设备及可读介质
CN110175502A (zh) 一种脊柱Cobb角测量方法、装置、可读存储介质及终端设备
CN110458095A (zh) 一种有效手势的识别方法、控制方法、装置和电子设备
CN104573706A (zh) 一种物体图像识别方法及其系统
CN109948637A (zh) 对象检测装置、对象检测方法及计算机可读介质
CN110348439A (zh) 一种自动识别价签的方法、计算机可读介质及系统
CN107506300A (zh) 一种用户界面测试方法、装置、服务器和存储介质
CN103885571B (zh) 一种信息处理方法及电子设备
CN110458011A (zh) 端到端的文字识别方法及装置、计算机设备及可读介质
CN103093237B (zh) 一种基于结构化模型的人脸检测方法
CN109583505A (zh) 一种多传感器的物体关联方法、装置、设备及介质
CN107423278A (zh) 评价要素的识别方法、装置及系统
CN106920251A (zh) 人手检测跟踪方法及装置
CN110135282A (zh) 一种基于深度卷积神经网络模型的考生回头抄袭作弊检测方法
CN109376628A (zh) 一种图像质量检测方法、装置和存储介质
CN111597975A (zh) 人员动作检测方法方法、装置及电子设备
CN110689000A (zh) 一种基于生成复杂环境下车牌样本的车辆车牌识别方法
CN115345938B (zh) 基于全局到局部的头影标记点定位方法、设备及介质
CN106874913A (zh) 一种菜品检测方法
CN110070076A (zh) 用于选取训练用样本的方法和装置
CN109614990A (zh) 一种目标检测装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant