CN111986163A - 人脸图像选择方法和装置 - Google Patents

人脸图像选择方法和装置 Download PDF

Info

Publication number
CN111986163A
CN111986163A CN202010742836.4A CN202010742836A CN111986163A CN 111986163 A CN111986163 A CN 111986163A CN 202010742836 A CN202010742836 A CN 202010742836A CN 111986163 A CN111986163 A CN 111986163A
Authority
CN
China
Prior art keywords
face
image
score
probability
screening
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010742836.4A
Other languages
English (en)
Inventor
杨志明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Deep Thinking Of Artificial Intelligence Technology Shanghai Co ltd
Original Assignee
Deep Thinking Of Artificial Intelligence Technology Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Deep Thinking Of Artificial Intelligence Technology Shanghai Co ltd filed Critical Deep Thinking Of Artificial Intelligence Technology Shanghai Co ltd
Priority to CN202010742836.4A priority Critical patent/CN111986163A/zh
Publication of CN111986163A publication Critical patent/CN111986163A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请提供了一种人脸图像选择方法和装置，所述方法包括：获取第一图像集合；通过第一轻量型二分类网络模型确定第一图像集合中人脸图像对应分类为清晰分类的概率；过滤掉清晰分类的概率小于第一预设阈值的人脸图像得到第二图像集合；对第二图像集合中的人脸图像通过多次筛选获得第三图像集合并计算人脸姿态得分；根据第三图像集合中的人脸图像的关键点被遮挡的概率确定人脸图像的遮挡得分，并过滤得分小于第二预设阈值的人脸图像得到第四图像集合；计算所述第四图像集合中的人脸图像的综合得分；优选所述第四图像集合中综合得分值小的人脸图像。该方法能够准确选择出清晰的，角度小的且遮挡少的人脸图像。

Description

人脸图像选择方法和装置
技术领域
本发明涉及图像处理技术领域，特别涉及一种人脸图像选择方法和装置。
背景技术
人脸图像的来源可能多种多样，由于采集设备的不同，得到的人脸图像质量也不一样，特别是对于那些低分辨率、噪声大、质量差的人脸图像，如远程监控拍摄的图片等。由于人体运动，同一设备拍摄出的多张人脸图像的图像质量也会有较大差异。
人脸图像质量可以在不同的层次上进行评估，有低等级的质量评估，比如对图像全局特性如光照、对比度等的评估，也可以通过对人脸图像匹配分数分析评估。例如可以基于面部对称性、清晰度、照明质量和图像分辨率四个面部特征，使用自动调整的权重进行面部特征加权融合，最终得到一个图片质量评分；通过使用低级特征来估计面部图像质量；使用卷积神经网络提取人脸特征训练支持向量机用于预测人脸图像的质量等方法。
但是上述人脸质量评估考虑图像的质量因素比较单一，不能全面评估人脸图像的质量，进而无法准确选出质量佳的人脸图像。
发明内容
有鉴于此，本申请提供一种人脸图像选择方法和装置，能够准确选择出清晰的，角度小的且遮挡少的人脸图像。
为解决上述技术问题，本申请的技术方案是这样实现的：
在一个实施例中，提供了一种人脸图像选择方法，所述方法包括：
获取第一图像集合，所述第一图像集合包括同一用户的多张人脸图像；
通过第一轻量型二分类网络模型确定所述第一图像集合中的人脸图像的对应分类为清晰分类的概率；过滤掉清晰分类的概率小于第一预设阈值的人脸图像得到第二图像集合；
对所述第二图像集合中的人脸图像通过第二轻量型二分类网络模型进行第一次筛选，并获得属于正脸分类的概率；通过轻量型的多任务网络模型对人脸图像进行第二次筛选，并获得人脸图像的俯仰角和偏航角；通过3D人脸重建技术对所述人脸图像进行第三次筛选，并获得人脸图像的俯仰角和偏航角，以及第三图像集合；并根据第一次筛选获得的属于正脸分类的概率、第二次筛选和第三次筛选获得的俯仰角和偏航角计算人脸姿态得分；
检测所述第三图像集合中的人脸图像的关键点，根据所述关键点被遮挡的概率确定人脸图像的遮挡得分，并过滤得分小于第二预设阈值的人脸图像得到第四图像集合；
根据清晰分类的概率、人脸姿态得分和遮挡得分确定所述第四图像集合中的人脸图像的综合得分；
优选所述第四图像集合中综合得分值小的人脸图像。
在另一个实施例中，提供了一种人脸图像选择装置，所述装置包括：获取单元、第一处理单元、第二处理单元、第三处理单元、第四处理单元、第一计算单元、第五处理单元、第二计算单元和选择单元；
所述获取单元，用于获取第一图像集合，所述第一图像集合包括同一用户的多张人脸图像；
所述第一处理单元，用于通过第一轻量型二分类网络模型确定所述获取单元中的第一图像集合中所述人脸图像对应分类为清晰分类的概率；过滤掉清晰分类的概率小于第一预设阈值的人脸图像得到第二图像集合；
所述第二处理单元，用于对所述第一处理单元获得的第二图像集合中的人脸图像通过第二轻量型二分类网络模型进行第一次筛选，并获得属于正脸分类的概率；
所述第三处理单元，用于通过轻量型的多任务网络模型对所述第二处理单元筛选过的人脸图像进行第二次筛选，并获得人脸图像的俯仰角和偏航角；
所述第四处理单元，用于通过3D人脸重建技术对所述第三处理单元筛选后的人脸图像进行第三次筛选，并获得人脸图像的俯仰角和偏航角，以及第三图像集合；
所述第一计算单元，用于根据所述第二处理单元进行第一次筛选获得的属于正脸分类的概率、所述第三处理单元进行第二次筛选和所述第四处理单元进行第三次筛选获得的俯仰角和偏航角计算人脸姿态得分；
所述第五处理单元，用于检测所述第四处理单元获得的第三图像集合中的人脸图像的关键点，根据所述关键点被遮挡的概率确定人脸图像的遮挡得分，并过滤得分小于第二预设阈值的人脸图像得到第四图像集合；
所述第二计算单元，用于根据所述第一处理单元获得的清晰分类的概率、所述第一计算单元获得的人脸姿态得分和所述第五处理单元获得的遮挡得分确定所述第四图像集合中的人脸图像的综合得分；
所述选择单元，用于选所述第四图像集合中所述第二计算单元获得的综合得分值小的人脸图像。
在另一个实施例中，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如所述人脸图像选择方法的步骤。
在另一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述人脸图像选择方法的步骤。
由上面的技术方案可见，上述实施例中对人脸图像的人脸模糊度、人脸姿态和人脸遮挡三方面进行人脸图像过滤，并评估，使用三方面的评估的得分获取过滤后的人脸图像的综合得分，优选得分值小的人脸图像为图像质量佳的图像，该方案能够准确选择出清晰的，角度小的且遮挡少的人脸图像。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例中人脸图像选择流程示意图；
图2为人脸关键点示意图；
图3为本申请实施例中应用于上述技术的装置结构示意图；
图4为本发明实施例提供的电子设备的实体结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其他步骤或单元。
下面以具体实施例对本发明的技术方案进行详细说明。下面几个具体实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
本申请实施例中提供一种人脸图像选择方法。应用于针对同一用户拍摄多张图像，选择出质量较佳的N张图片的应用场景中。
同一用户的多张人脸图像可以是同一摄像设备拍摄的，也可以是多个摄像设备拍摄的；
如可以为汽车展厅应用场景中迎宾机器人拍摄的，也可以是展厅中的摄像头拍摄的，还可以是两者都拍摄的人脸图像。
下面结合附图，详细说明本申请实施例中人脸图像选择过程。
参见图1，图1为本申请实施例中人脸图像选择流程示意图。具体步骤为：
步骤101，获取第一图像集合，所述第一图像集合包括同一用户的多张人脸图像。
本申请实施例中具体实现时也可以是获取的视频流，通过所述视频流中的帧图像识别获取多张同一用户的人脸图像作为第一图像集合中的人脸图像；
也可以是其他设备直接上传的同一用户的多张人脸图像作为第一图像集合中的人脸图像。
步骤102，通过第一轻量型二分类网络模型确定所述第一图像集合中的人脸图像对应分类为清晰分类的概率；过滤掉清晰分类的概率小于第一预设阈值的人脸图像得到第二图像集合。
本步骤中使用的第一轻量型二分类网络模型使用与本申请要选择的图片处于同一应用场景中拍摄的图片作为样本进行训练获取；第一轻量型二分类网络模型对应的两类一类为清晰，一类为模糊，该模型输出的结果为人脸图像属于清晰这一分类的概率，以及人脸图像属于模糊这一分类的概率。
将第一图像集合中清晰的概率小于第一预设阈值的人脸图像过滤掉，即过滤掉模糊的人脸图像，删除这些人脸图像的第一图像集合记为第二图像集合。
步骤103，对所述第二图像集合中的人脸图像通过第二轻量型二分类网络模型进行第一次筛选，并获得属于正脸分类的概率；通过轻量型的多任务网络模型对人脸图像进行第二次筛选，并获得人脸图像的俯仰角和偏航角；通过3D人脸重建技术对所述人脸图像进行第三次筛选，并获得人脸图像的俯仰角和偏航角，以及第三图像集合；并根据第一次筛选获得的属于正脸分类的概率、第二次筛选和第三次筛选获得的俯仰角和偏航角计算人脸姿态得分。
本步骤的实现通过如下四步实现：
第一步：
使用与本申请实施例中第一图像集合中的人脸图像处于同一应用场景的人脸图像进行人工数据处理和标注，对轻量型神经网络进行二分类模型训练，获得第二轻量型分类网络模型。
这里的两类可以为侧脸(大角度)分类和正脸(小角度)分类的两类，如大于第三预设角度值的角度为大角度；小于第四预设角度值的角度为小角度；
第三预设角度值如50度，第四预设角度值的角度如30度。
本步骤中对所述第二图像集合中的人脸图像通过第二轻量型二分类网络模型进行第一次筛选，并获得属于正脸分类的概率的具体实现包括：
基于所述第二轻量型二分类网络确定每张人脸图像属于正脸分类的概率；
筛选掉正脸分类的概率小于第三预设阈值的人脸图像。
属于正脸分类的概率越大，说明越接近正脸图像，将属于正脸分类的概率用于进行人脸得分计算。
通过第一次筛选过滤掉大角度图像。
第二步：
其中的轻量型的多任务网络模型用于对人脸图像进行精细划分类，即划分的类大于2个，并通过所述轻量型的多任务网络模型获取人脸图像的俯仰角和偏航角。
本申请实施例中的多任务网络模型对应两个任务，其中一个任务输出偏航角对应的概率，另一个任务输出俯仰角对应的概率，两个任务划分的类可以相同，也可以不同，下面给出一种分类方式的示例，但不限于下述实现：
如[0，5)，[5，10)……[85，90)等多个分类，针对每个分类对应一个角度值，如[0，5)对应的角度值为3度，[5，10)对应的角度为7度等。在具体实现时为了角度的更精确定义，可以将每一度划分为一个区间，则每个区间对应一个角度值。
本步骤中通过轻量型的多任务网络模型对人脸图像进行第二次筛选，并获得人脸图像的俯仰角和偏航角的具体实现包括：
通过轻量型的多任务网络模型获取人脸图像的俯仰角和偏航角分别属于各角度分类的概率；
将俯仰角概率最大的分类对应的角度值作为所述人脸图像的俯仰角；将偏航角概率最大的分类对应的角度值作为所述人脸图像的偏航角；
筛选掉俯仰角大于第一预设角度值，且偏航角大于第二预设角度值的人脸图像。
这里的第一预设角度值可以为20度，第二预设角度值可以为30度，但是不限于上述实现。
通过上述方式过滤掉大、中角度的人脸图像。
第三步、通过上述两步图像的过滤，已经获得的质量较佳的人脸图像。为了对图像进行更精细的质量评分，对当前第二图像集合中的人脸图像进行3D人脸重建。
由于3D人脸重建技术容易受到3D人脸模板库的限制，导致人脸几何结构易被限制在模板的形状空间之中，因此，本申请实施例中为简化3D人脸重建任务的复杂度，将人脸重建任务转化为密集关键点的定位任务。
关键点定位任务一般可通过关键点直接回归和关键点热图回归这两种技术获得，但对于密集关键点来说，若直接使用上述两种定位技术，容易出现算法复杂度较高以及定位不准的情况，本申请实施例中采用UV纹理位置映射图(UVpositionMap)技术来完成密集关键点的定位。
在使用UVpositionMap技术来完成密集关键点的定位时，UVpositionMap中保存的是密集关键点的3D坐标值，有x、y和z3个通道，分别存储的人脸图像各部位关键点的x、y和z值。通过预测图像对应的UVpositionMap，即可完成密集关键点的3D坐标定位。
本步骤中通过3D人脸重建技术对所述人脸图像进行第三次筛选，并获得人脸图像的俯仰角和偏航角的具体实现包括：
采用UVpositionMap技术进行人脸图像的密集关键点的定位；
通过密集关键点的3D坐标计算旋转矩阵，获得3D人脸姿态结果；其中所述人脸姿态结果包括：俯仰角、偏航角和旋转角的角度值；本申请实施例中仅使用俯仰角和偏航角进行人脸姿态得分确定，旋转角信息可以存储进行其他处理，也可以直接舍弃；
筛选掉俯仰角大于第一预设角度值，且偏航角大于第二预设角度值的人脸图像。
通过第三次筛选后获得第三图像集合。
第四步：
根据第一次筛选获得的属于正脸分类的概率、第二次筛选和第三次筛选获得的俯仰角和偏航角计算人脸姿态得分的计算过程如下：
Scorepose＝α1(1-Score1)+α2(|pitch2|+|yaw2|)+α3(|pitch3|+|yaw3|)
其中，Scorepose为人脸姿态得分，α1、α2、α3是权重值，分别为三次筛选对应的权重值；Score1为通过第一次筛选获得的所述人脸图像属于正脸分类的概率值；pitch2为第二次筛选获得的俯仰角的角度值，yaw2为第二次筛选获得的偏航角的角度值；pitch3为第三次筛选获得的俯仰角的角度值，yaw3为第三次筛选获得的偏航角的角度值。
人脸姿态得分的值越小，人脸图像的图像质量越佳。
步骤104，检测所述第三图像集合中的人脸图像的关键点，根据所述关键点被遮挡的概率确定人脸图像的遮挡得分，并过滤得分小于第二预设阈值的人脸图像得到第四图像集合。
本步骤中利用卷积姿态机(Convolutional Pose Machine，CPM)关键点定位网络，基于热图heatmap检测人脸14个关键点位置，利用各关键点的热图回归概率来判断人脸各部位的遮挡情况，当检测概率小于阈值如0.4时，即可判断该关键点被遮挡。
其中14个关键点示意图如图2所示，图2为人脸关键点示意图。图2中包含4个脸颊轮廓点和10个主要脸部关键点。
本步骤中检测所述第三图像集合中的人脸图像的关键点，根据所述关键点被遮挡的概率确定人脸图像的遮挡得分，包括：
利用卷积姿态机(Convolutional Pose Machine，CPM)关键点定位网络，基于热图(heatmap)检测人脸的关键点；
根据所述人脸的关键点的回归概率确定人脸图像的遮挡得分。
为了更大程度上区分各关键点检测概率的高低，本申请实施例中提出概率加权计算的方法。计算公式如下：
所述人脸图像的遮挡得分Score_occlusion为：
Figure BDA0002607308490000091
其中，
Figure BDA0002607308490000092
Pi为第i个关键点的回归概率，N为关键点的个数，wi为第i个关键点对应的预设权重值，Wi为根据Pi和wi确定的第i个关键点对应的实际权重值。
Pi为通过预设网络预测模型预测出的第i个关键点未被遮挡的概率；预设网络预测模型为预先训练好的模型，输入人脸图像时，能够获得人脸图像的每个关键点未被遮挡的概率，越小表示越被遮挡。
如图2所示，本申请实施例中关键点的个数以14个为例，包括4个脸颊轮廓关键点，1个下巴关键点，以及9个五官关键点；
其中，点1到点4为脸颊轮廓关键点，点5为下巴关键点，其他点为五官关键点。
针对脸颊轮廓关键点、下巴关键点和五官关键点预设的预设权重值的比值可以为2∶3∶8。
当计算出的遮挡得分小于第二预设阈值时，第二预设阈值可以为0.5，但不限于0.5，确定人脸被遮挡；将这些确定被遮挡的人脸图像从第三图像集合中去除。
在具体实现时，还需将当前第三图像集合中存在的五官关键点被遮挡的人脸图像删除。
也就是说即使计算出的遮挡得分比较大，如大于第二预设阈值，但是该人脸图像的五官关键点被遮挡，则直接确定该人脸图像被遮挡。
在具体实现时，针对一张人脸图像，若未检测出所有的五官关键点，则确定该人脸图像被遮挡，直接过滤。
步骤105、根据所述清晰分类的概率、人脸姿态得分和所述遮挡得分确定所述第四图像集合中的人脸图像的综合得分。
Score_total＝
β1(1-Score_clear)+β2Score_pose+β3(1-Score_occlusion)；
其中，β1为图像清晰度得分对应的权重、β2为人脸姿态得分对应的权重、β3为遮挡得分对应的权重；Score_clear表示人脸图像属于清晰分类的概率；Score_pose表示人脸姿态得分，Score_occlusion表示遮挡得分。
步骤106，优选所述第四图像集合中综合得分值小的人脸图像。
本申请实施例中根据实际需要设置第一预设阈值、第二预设阈值，以及第三预设阈值的值，本申请实施例对此不进行限制。
本申请实施例中最终选择的人脸图像为第四图像集合中的人脸图像，当第四图像集合中的人脸图像仅包括一张时，选择该张人脸图像；当第四图像集合中的包括的人脸图像为多张时，按照每张图像的综合得分值从小到大的顺序排列，选择前M张图像作为质量最佳的M张图像，其中的M为大于0的整数，根据实际需要设置。
本申请实施例具体实现时，可以批量处理多个用户的人脸图像，针对每个用户对应一个第一图像集合，针对多个用户的人脸图像可以并行处理，针对每个用户的第一图像集合中的人脸图像按照上述流程实现优质人脸图像的选择。
本申请实施例中基于深度学习技术对人脸图像的人脸模糊度、人脸姿态和人脸遮挡三方面进行人脸图像过滤，并评估，使用三方面的评估的得分获取过滤后的人脸图像的综合得分，优选得分值小的人脸图像为图像质量佳的图像，该方案能够准确选择出清晰的，角度小的，遮挡少的人脸图像。
本申请选择出的人脸图像可以用于人脸识别，使用本申请实施例中选择出的人脸图像进行人脸识别与直接使用第一集合中的人脸图像进行人脸识别相比，能够提高识别设备的识别能力，并且大大减少人脸识别的服务处理的压力。
本申请实施例中的人脸图像选择方案能够有效解决人脸重复捕获的问题，在人脸轨迹跟踪基础上，结合人脸特征识别分析算法，可有效提高跟踪成功率，并一定程度上过滤掉重复人脸图像，减少需要识别图像的图像数量，可大大节省识别算法计算资源和上传带宽。
如在汽车展厅通过迎宾机器人采集的人脸图像的进店人员图像质量，精确的控制人脸识别系统的输入图像，能有效的确保人脸的无感注册、无感识别系统识别性能，使系统可以在实际场景中更广泛的使用。
基于同样的发明构思，本申请实施例中还提供一种人脸图像选择装置。参见图3，图3为本申请实施例中应用于上述技术的装置结构示意图。所述装置包括：获取单元301、第一处理单元302、第二处理单元303、第三处理单元304、第四处理单元305、第一计算单元306、第五处理单元307、第二计算单元308和选择单元309；
获取单元301，用于获取第一图像集合，所述第一图像集合包括同一用户的多张人脸图像；
第一处理单元302，用于通过第一轻量型二分类网络模型确定获取单元301中的第一图像集合中的人脸图像对应分类为清晰分类的概率；过滤掉清晰分类的概率小于第一预设阈值的人脸图像得到第二图像集合；
第二处理单元303，用于对第一处理单元302获得的第二图像集合中的人脸图像通过第二轻量型二分类网络模型进行第一次筛选，并获得属于正脸分类的概率；
第三处理单元304，用于通过轻量型的多任务网络模型对第二处理单元303筛选过的人脸图像进行第二次筛选，并获得人脸图像的俯仰角和偏航角；
第四处理单元305，用于通过3D人脸重建技术对第三处理单元304筛选后的人脸图像进行第三次筛选，并获得人脸图像的俯仰角和偏航角，以及第三图像集合；
第一计算单元306，用于根据第二处理单元303进行第一次筛选获得的属于正脸分类的概率、第三处理单元304进行第二次筛选和第四处理单元305进行第三次筛选获得的俯仰角和偏航角计算人脸姿态得分；
第五处理单元307，用于检测第四处理单元305获得的第三图像集合中的人脸图像的关键点，根据所述关键点被遮挡的概率确定人脸图像的遮挡得分，并过滤得分小于第二预设阈值的人脸图像得到第四图像集合；
第二计算单元308，用于根据第一处理单元302获得的清晰分类的概率、第一计算单元306获得的人脸姿态得分和第五处理单元307获得的遮挡得分确定所述第四图像集合中的人脸图像的综合得分；
选择单元309，用于选所述第四图像集合中第二计算单元308获得的综合得分值小的人脸图像。
优选地，
第二处理单元303，具体用于对所述第二图像集合中的人脸图像通过第二轻量型二分类网络模型进行第一次筛选，并获得属于正脸分类的概率时包括：基于所述第二轻量型二分类网络确定每张人脸图像属于正脸分类的概率；筛选掉正脸分类的概率小于第三预设阈值的人脸图像。
优选地，
第三处理单元304，具体用于通过轻量型的多任务网络模型对人脸图像进行第二次筛选，并获得人脸图像的俯仰角和偏航角时，包括：通过轻量型的多任务网络模型获取人脸图像的俯仰角和偏航角分别属于各角度分类的概率；将俯仰角概率最大的分类对应的角度值作为所述人脸图像的俯仰角；将偏航角概率最大的分类对应的角度值作为所述人脸图像的偏航角；筛选掉俯仰角大于第一预设角度值，且偏航角大于第二预设角度值的人脸图像。
优选地，
第四处理单元305，具体用于通过3D人脸重建技术对所述人脸图像进行第三次筛选，并获得人脸图像的俯仰角和偏航角时，包括：采用UVpositionMap技术进行人脸图像的密集关键点的定位；通过密集关键点的3D坐标计算旋转矩阵，获得3D人脸姿态结果；其中所述人脸姿态结果包括：俯仰角和偏航角；筛选掉俯仰角大于第一预设角度值，且偏航角大于第二预设角度值的人脸图像。
优选地，
第一计算单元306，具体用于通过下式获得人脸姿态得分：Scorepose＝α1(1-Score1)+α2(|pitch2|+|yaw2|)+α3(|pitch3|+|yaw3|)；其中，Scorepose为人脸姿态得分，α1、α2、α3分别为三次筛选对应的权重值；Score1为通过第一次筛选获得的所述人脸图像属于正脸分类的概率值；pitch2为第二次筛选获得的俯仰角的角度值，yaw2为第二次筛选获得的偏航角的角度值；pitch3为第三次筛选获得的俯仰角的角度值，yaw3为第三次筛选获得的偏航角的角度值。
优选地，
第五处理单元307，具体用于检测所述第三图像集合中的人脸图像的关键点，根据所述关键点被遮挡的概率确定人脸图像的遮挡得分时，包括：利用卷积姿态机关键点定位网络，基于热图检测人脸的关键点；根据所述人脸的关键点的回归概率确定人脸图像的遮挡得分；其中所述人脸图像的遮挡得分Score_occlusion为：
Figure BDA0002607308490000131
其中，
Figure BDA0002607308490000132
Pi为第i个关键点的回归概率，N为关键点的个数，wi为第i个关键点对应的预设权重值，Wi为根据Pi和wi确定的第i个关键点对应的实际权重值。
优选地，
第二计算单元308，具体用于通过下述公式计算人脸图像的综合得分Score_total：β1(1-Score_clear)+β2Score_pose+β3(1-Score_occlusion)；其中，其中，β1为图像清晰度得分对应的权重、β2为人脸姿态得分对应的权重、β3为遮挡得分对应的权重；Score_clear表示人脸图像属于清晰分类的概率；Score_pose表示人脸姿态得分，Score_occlusion表示遮挡得分。
在另一个实施例中，还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述人脸图像选择方法的步骤。
在另一个实施例中，还提供一种计算机可读存储介质，其上存储有计算机指令，所述指令被处理器执行时可实现所述人脸图像选择方法中的步骤。
图4为本发明实施例提供的电子设备的实体结构示意图。如图4所示，该电子设备可以包括：处理器(Processor)410、通信接口(Communications Interface)420、存储器(Memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行如下方法：
获取第一图像集合，所述第一图像集合包括同一用户的多张人脸图像；
通过模糊算子模板获得所述第一图像集合中的人脸图像的模糊人脸数据，并通过第一轻量型二分类网络模型确定所述模糊人脸数据对应分类为清晰分类的概率和模糊分类的概率；过滤掉清晰分类的概率大于模糊分类的概率的人脸图像得到第二图像集合；
对所述第二图像集合中的人脸图像通过第二轻量型二分类网络模型进行第一次筛选，并获得属于正脸分类的概率；通过轻量型的多任务网络模型对人脸图像进行第二次筛选，并获得人脸图像的俯仰角和偏航角；通过3D人脸重建技术对所述人脸图像进行第三次筛选，并获得人脸图像的俯仰角和偏航角，以及第三图像集合；并根据第一次筛选获得的属于正脸分类的概率、第二次筛选和第三次筛选获得的俯仰角和偏航角计算人脸姿态得分；
检测所述第三图像集合中的人脸图像的关键点，根据所述关键点被遮挡的概率确定人脸图像的遮挡得分，并过滤得分小于第二预设阈值的人脸图像得到第四图像集合；
根据清晰分类的概率、人脸姿态得分和遮挡得分确定所述第四图像集合中的人脸图像的综合得分；
优选所述第四图像集合中综合得分值小的人脸图像。
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (10)

1.一种人脸图像选择方法，其特征在于，所述方法包括：
获取第一图像集合，所述第一图像集合包括同一用户的多张人脸图像；
通过第一轻量型二分类网络模型确定所述第一图像集合中的人脸图像对应分类为清晰分类的概率；过滤掉清晰分类的概率小于第一预设阈值的人脸图像得到第二图像集合；
对所述第二图像集合中的人脸图像通过第二轻量型二分类网络模型进行第一次筛选，并获得属于正脸分类的概率；通过轻量型的多任务网络模型对人脸图像进行第二次筛选，并获得人脸图像的俯仰角和偏航角；通过3D人脸重建技术对所述人脸图像进行第三次筛选，并获得人脸图像的俯仰角和偏航角，以及第三图像集合；并根据第一次筛选获得的属于正脸分类的概率、第二次筛选和第三次筛选获得的俯仰角和偏航角计算人脸姿态得分；
检测所述第三图像集合中的人脸图像的关键点，根据所述关键点被遮挡的概率确定人脸图像的遮挡得分，并过滤得分小于第二预设阈值的人脸图像得到第四图像集合；
根据清晰分类的概率、人脸姿态得分和遮挡得分确定所述第四图像集合中的人脸图像的综合得分；
优选所述第四图像集合中综合得分值小的人脸图像。
2.根据权利要求1所述的方法，其特征在于，
所述对所述第二图像集合中的人脸图像通过第二轻量型二分类网络模型进行第一次筛选，并获得属于正脸分类的概率，包括：
基于所述第二轻量型二分类网络确定每张人脸图像属于正脸分类的概率；
筛选掉正脸分类的概率小于第三预设阈值的人脸图像。
3.根据权利要求1所述的方法，其特征在于，
所述通过轻量型的多任务网络模型对人脸图像进行第二次筛选，并获得人脸图像的俯仰角和偏航角，包括：
通过轻量型的多任务网络模型获取人脸图像的俯仰角和偏航角分别属于各角度分类的概率；
将俯仰角概率最大的分类对应的角度值作为所述人脸图像的俯仰角；将偏航角概率最大的分类对应的角度值作为所述人脸图像的偏航角；
筛选掉俯仰角大于第一预设角度值，且偏航角大于第二预设角度值的人脸图像。
4.根据权利要求1所述的方法，其特征在于，
所述通过3D人脸重建技术对所述人脸图像进行第三次筛选，并获得人脸图像的俯仰角和偏航角，包括：
采用UV纹理位置映射图UVpositionMap技术进行人脸图像的密集关键点的定位；
通过密集关键点的3D坐标计算旋转矩阵，获得3D人脸姿态结果；其中所述人脸姿态结果包括：俯仰角和偏航角；
筛选掉俯仰角大于第一预设角度值，且偏航角大于第二预设角度值的人脸图像。
5.根据权利要求1所述的方法，其特征在于，
所述根据第一次筛选获得的属于正脸分类的概率、第二次筛选和第三次筛选获得的俯仰角和偏航角计算人脸姿态得分通过下式获得：
Scroepose＝α1(1-Score1)+α2(|pitch2|+|yaw2|)+α3(|pitch3|+|yaw3|；
其中，Scroepose为人脸姿态得分，α1、α2、α3分别为三次筛选对应的权重值；Score1为通过第一次筛选获得的所述人脸图像属于正脸分类的概率值；pitch2为第二次筛选获得的俯仰角的角度值，yaw2为第二次筛选获得的偏航角的角度值；pitch3为第三次筛选获得的俯仰角的角度值，yaw3为第三次筛选获得的偏航角的角度值。
6.根据权利要求1所述的方法，其特征在于，
所述检测所述第三图像集合中的人脸图像的关键点，根据所述关键点被遮挡的概率确定人脸图像的遮挡得分，包括：
利用卷积姿态机关键点定位网络，基于热图检测人脸的关键点；
根据所述人脸的关键点的回归概率确定人脸图像的遮挡得分；
其中所述人脸图像的遮挡得分Score_occlusion为：
Figure FDA0002607308480000031
其中，
Figure FDA0002607308480000032
Pi为第i个关键点的回归概率，N为关键点的个数，wi为第i个关键点对应的预设权重值，Wi为根据Pi和wi确定的第i个关键点对应的实际权重值。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述根据清晰分类的概率、人脸姿态得分和遮挡得分确定所述第四图像集合中的人脸图像的综合得分，包括：
通过下述公式计算人脸图像的综合得分Score_total：
β1(1-Score_clear)+β2Score_pose+β3(1-Score_occlusion)；
其中，β1为图像清晰度得分对应的权重、β2为人脸姿态得分对应的权重、β3为遮挡得分对应的权重；Score_clear表示人脸图像属于清晰分类的概率；Score_pose表示人脸姿态得分，Score_occlusion表示遮挡得分。
8.一种人脸图像选择装置，其特征在于，所述装置包括：获取单元、第一处理单元、第二处理单元、第三处理单元、第四处理单元、第一计算单元、第五处理单元、第二计算单元和选择单元；
所述获取单元，用于获取第一图像集合，所述第一图像集合包括同一用户的多张人脸图像；
所述第一处理单元，用于通过第一轻量型二分类网络模型确定所述第一集合中所述人脸图像对应分类为清晰分类的概率；过滤掉清晰分类的概率小于第一预设阈值的人脸图像得到第二图像集合；
所述第二处理单元，用于对所述第一处理单元获得的第二图像集合中的人脸图像通过第二轻量型二分类网络模型进行第一次筛选，并获得属于正脸分类的概率；
所述第三处理单元，用于通过轻量型的多任务网络模型对所述第二处理单元筛选过的人脸图像进行第二次筛选，并获得人脸图像的俯仰角和偏航角；
所述第四处理单元，用于通过3D人脸重建技术对所述第三处理单元筛选后的人脸图像进行第三次筛选，并获得人脸图像的俯仰角和偏航角，以及第三图像集合；
所述第一计算单元，用于根据所述第二处理单元进行第一次筛选获得的属于正脸分类的概率、所述第三处理单元进行第二次筛选和所述第四处理单元进行第三次筛选获得的俯仰角和偏航角计算人脸姿态得分；
所述第五处理单元，用于检测所述第四处理单元获得的第三图像集合中的人脸图像的关键点，根据所述关键点被遮挡的概率确定人脸图像的遮挡得分，并过滤得分小于第二预设阈值的人脸图像得到第四图像集合；
所述第二计算单元，用于根据所述第一处理单元获得的清晰分类的概率、所述第一计算单元获得的人脸姿态得分和所述第五处理单元获得的遮挡得分确定所述第四图像集合中的人脸图像的综合得分；
所述选择单元，用于选所述第四图像集合中所述第二计算单元获得的综合得分值小的人脸图像。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-7任一项所述的方法。
CN202010742836.4A 2020-07-29 2020-07-29 人脸图像选择方法和装置 Pending CN111986163A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010742836.4A CN111986163A (zh) 2020-07-29 2020-07-29 人脸图像选择方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010742836.4A CN111986163A (zh) 2020-07-29 2020-07-29 人脸图像选择方法和装置

Publications (1)

Publication Number Publication Date
CN111986163A true CN111986163A (zh) 2020-11-24

Family

ID=73444754

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010742836.4A Pending CN111986163A (zh) 2020-07-29 2020-07-29 人脸图像选择方法和装置

Country Status (1)

Country Link
CN (1) CN111986163A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112580721A (zh) * 2020-12-19 2021-03-30 北京联合大学 一种基于多分辨率特征融合的目标关键点检测方法
CN112836660A (zh) * 2021-02-08 2021-05-25 上海卓繁信息技术股份有限公司 一种用于监控领域的人脸库生成方法、装置和电子设备
CN112907583A (zh) * 2021-03-29 2021-06-04 苏州科达科技股份有限公司 目标对象姿态选择方法、图像评分方法及模型训练方法
WO2022247118A1 (zh) * 2021-05-24 2022-12-01 深圳市优必选科技股份有限公司 一种推送方法、推送装置及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111241927A (zh) * 2019-12-30 2020-06-05 新大陆数字技术股份有限公司 级联式人脸图像优选方法、系统、设备及可读存储介质
CN111339889A (zh) * 2020-02-20 2020-06-26 浙江大华技术股份有限公司 人脸优选方法、装置及存储介质
CN111985348A (zh) * 2020-07-29 2020-11-24 深思考人工智能科技(上海)有限公司 人脸识别方法和系统
CN112528902A (zh) * 2020-12-17 2021-03-19 四川大学 一种基于3d人脸模型的视频监控动态人脸识别方法及装置
CN113313097A (zh) * 2021-07-30 2021-08-27 浙江大华技术股份有限公司 人脸识别方法、终端及计算机可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111241927A (zh) * 2019-12-30 2020-06-05 新大陆数字技术股份有限公司 级联式人脸图像优选方法、系统、设备及可读存储介质
CN111339889A (zh) * 2020-02-20 2020-06-26 浙江大华技术股份有限公司 人脸优选方法、装置及存储介质
CN111985348A (zh) * 2020-07-29 2020-11-24 深思考人工智能科技(上海)有限公司 人脸识别方法和系统
CN112528902A (zh) * 2020-12-17 2021-03-19 四川大学 一种基于3d人脸模型的视频监控动态人脸识别方法及装置
CN113313097A (zh) * 2021-07-30 2021-08-27 浙江大华技术股份有限公司 人脸识别方法、终端及计算机可读存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112580721A (zh) * 2020-12-19 2021-03-30 北京联合大学 一种基于多分辨率特征融合的目标关键点检测方法
CN112580721B (zh) * 2020-12-19 2023-10-24 北京联合大学 一种基于多分辨率特征融合的目标关键点检测方法
CN112836660A (zh) * 2021-02-08 2021-05-25 上海卓繁信息技术股份有限公司 一种用于监控领域的人脸库生成方法、装置和电子设备
CN112836660B (zh) * 2021-02-08 2024-05-28 上海卓繁信息技术股份有限公司 一种用于监控领域的人脸库生成方法、装置和电子设备
CN112907583A (zh) * 2021-03-29 2021-06-04 苏州科达科技股份有限公司 目标对象姿态选择方法、图像评分方法及模型训练方法
WO2022247118A1 (zh) * 2021-05-24 2022-12-01 深圳市优必选科技股份有限公司 一种推送方法、推送装置及电子设备

Similar Documents

Publication Publication Date Title
CN111986163A (zh) 人脸图像选择方法和装置
CN106960195B (zh) 一种基于深度学习的人群计数方法及装置
JP6664163B2 (ja) 画像識別方法、画像識別装置及びプログラム
CN109272509B (zh) 一种连续图像的目标检测方法、装置、设备及存储介质
US7539327B2 (en) System and process for bootstrap initialization of nonparametric color models
CN105022982B (zh) 手部运动识别方法和装置
CN104573614B (zh) 用于跟踪人脸的设备和方法
CN111985348B (zh) 人脸识别方法和系统
CN109087261B (zh) 基于非受限采集场景的人脸矫正方法
CN110569731A (zh) 一种人脸识别方法、装置及电子设备
CN107358141B (zh) 数据识别的方法及装置
CN110929687B (zh) 一种基于关键点检测的多人行为识别系统及工作方法
CN111079578A (zh) 行为检测方法及装置
CN106471440A (zh) 基于高效森林感测的眼睛跟踪
JP2021503139A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2023115104A (ja) 画像処理装置、画像処理方法、及びプログラム
CN112991159B (zh) 人脸光照质量评估方法、系统、服务器与计算机可读介质
CN117392404A (zh) 一种提高图像检测速度的方法及系统
CN115937991A (zh) 人体摔倒识别方法、装置、计算机设备及存储介质
CN113408435B (zh) 一种安全监控方法、装置、设备和存储介质
CN115311680A (zh) 人体图像质量检测方法、装置、电子设备及存储介质
CN114519799A (zh) 一种多特征座位状态实时检测方法及系统
JP2018165966A (ja) 物体検出装置
CN113920168A (zh) 一种音视频控制设备中图像跟踪方法
KR20220098310A (ko) 관련 대상 검출 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination