CN110826402B - 一种基于多任务的人脸质量估计方法 - Google Patents

一种基于多任务的人脸质量估计方法 Download PDF

Info

Publication number
CN110826402B
CN110826402B CN201910923840.8A CN201910923840A CN110826402B CN 110826402 B CN110826402 B CN 110826402B CN 201910923840 A CN201910923840 A CN 201910923840A CN 110826402 B CN110826402 B CN 110826402B
Authority
CN
China
Prior art keywords
face
score
angle
face quality
illumination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910923840.8A
Other languages
English (en)
Other versions
CN110826402A (zh
Inventor
张欢
赵士红
柯南海
张诗
沈琳琳
刘景辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Huafu Technology Co ltd
Original Assignee
Shenzhen Huafu Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Huafu Information Technology Co ltd filed Critical Shenzhen Huafu Information Technology Co ltd
Priority to CN201910923840.8A priority Critical patent/CN110826402B/zh
Publication of CN110826402A publication Critical patent/CN110826402A/zh
Application granted granted Critical
Publication of CN110826402B publication Critical patent/CN110826402B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开的属于人脸识别技术领域，具体为一种基于多任务的人脸质量估计方法，该基于多任务的人脸质量估计方法的具体步骤如下：S1：输入检测后人脸图像；S2：基于Multi‑task ShuffleNet V2网络人脸质量估计；S3：得到各质量分数；S4：以上述得到的分数计算最终评估分数，通过多任务人脸质量卷积神经网络估计所有人脸质量方向，对人脸姿态角度回归学习，模糊、非完整、光照均衡分类学习，综合得到人脸质量评分有效过滤不合格人脸图像；更简单，只需要多任务卷积神经网络就可以得出所有人脸质量评估；更快速，模型耗时短，可实现实时检测，泛化能力强，跨数据库表现性能良好。

Description

一种基于多任务的人脸质量估计方法
技术领域
本发明涉及人脸识别技术领域，具体为一种基于多任务的人脸质量估计方法。
背景技术
人脸识别产品利用AVS03A图像处理器；可以对人脸明暗侦测,自动调整动态曝光补偿，人脸追踪侦测,自动调整影像放大。
广义的人脸识别实际包括构建人脸识别系统的一系列相关技术，包括人脸图像采集、人脸定位、人脸识别预处理、身份确认以及身份查找等；而狭义的人脸识别特指通过人脸进行身份确认或者身份查找的技术或系统。
人脸质量估计在人脸识别中有着重要的作用。人脸质量估计可有效剔除不合格人脸，提高人脸识别率。常见的人脸质量估计包括人脸姿态、模糊、完整性(遮挡，缺失)、光照均衡。
现有人脸质量分别估计人脸姿态、模糊、完整性，光照均衡后，计算各个人脸质量分数后分配权重综合评估得到唯一分数作为人脸质量评估，多模型增加耗时且降低人脸质量评估准确率。
发明内容
本发明的目的在于提供一种基于多任务的人脸质量估计方法，以解决上述背景技术中提出的现有人脸质量分别估计人脸姿态、模糊、完整性，光照均衡后，计算各个人脸质量分数后分配权重综合评估得到唯一分数作为人脸质量评估，多模型增加耗时且降低人脸质量评估准确率的问题。
为实现上述目的，本发明提供如下技术方案：一种基于多任务的人脸质量估计方法，该基于多任务的人脸质量估计方法的具体步骤如下：
S1：输入检测后人脸图像：输入检测后112×112尺寸的人脸图像，针对人脸姿态估计回归人脸姿态欧拉角俯仰角(pitch)、偏航角(yaw)、翻滚角(roll)，针对人脸模糊问题、完整性问题、光照均衡问题直接分类学习；
S2：基于Multi-task ShuffleNet V2网络执行或者人脸质量估计：人脸模糊分数、完整性分数和光照均衡分数的数据通过实际采集后，添加高斯模糊、运动模糊，再通过遮挡、人脸随机裁剪、添加光照不均衡进行数据增强，最后得到人脸模糊图像、完整性图像和光照均衡图像分别15000张；
S3：得到各质量分数：根据计算得到欧拉角俯仰角(pitch)、偏航角(yaw)、翻滚角(roll)；
S4：以上述得到的分数计算最终评估分数：人脸质量分数估计：
人脸姿态估计三个角度分数score1，人脸模糊、合格人脸、完整性，光照均衡四分类合格人脸分数score2，人脸质量score＝α×score1+β×score2评估；
score1＝1-(|pitch|/90+|yaw|/90+|roll|/90)/3；
score2＝scorenorm；
其中，α＝0.5，β＝0.5，则score＝0.5×score1+0.5×score2score∈[0,1]；
综上，以score作为人脸质量评估分数。
优选的，所述步骤S1中输入人脸图像，人脸姿态角度回归采用ShuffleNet V2网络，在Stage3输出添加分类网络分支：1×1卷积核，512通道卷积层，全局池化层，全连接直接分类人脸模糊、完整性、光照均衡。
与现有技术相比，本发明的有益效果是：
1)通过多任务人脸质量卷积神经网络估计所有人脸质量方向，对人脸姿态角度回归学习，模糊、非完整、光照均衡分类学习，综合得到人脸质量评分有效过滤不合格人脸图像；
2)更简单，只需要多任务卷积神经网络就可以得出所有人脸质量评估；
3)更快速，模型耗时短，可实现实时检测，泛化能力强，跨数据库表现性能良好。
附图说明
图1为本发明方法流程图；
图2为本发明Multi-task ShuffleNet V2的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
实施例：
请参阅图1-2，本发明提供一种技术方案：一种基于多任务的人脸质量估计方法，该基于多任务的人脸质量估计方法的具体步骤如下：
S1：输入检测后人脸图像：输入检测后112×112尺寸的人脸图像，针对人脸姿态估计回归人脸姿态欧拉角俯仰角(pitch)、偏航角(yaw)、翻滚角(roll)，针对人脸模糊、完整性、光照均衡问题直接分类学习，输入人脸图像，人脸姿态角度回归采用ShuffleNet V2网络，在Stage3输出添加分类网络分支：1×1卷积核，512通道卷积层，全局池化层，全连接直接分类人脸模糊、合格人脸、完整性、光照均衡；
ShuffleNet V2网络轻量高效，适用于移动端部署。本发明修改ShuffleNet V2网络结构实现多任务人脸质量评估。Multi-task ShuffleNet V2简写为M-ShuffleNet V2，如图2所示；
输入为人脸检测后112×112人脸图像，人脸姿态角度回归采用ShuffleNet V2网络，在Stage3输出添加分类网络分支：1×1卷积核，512通道卷积层，全局池化层，全连接直接分类人脸模糊、合格人脸、完整性，光照均衡，M-ShuffleNet V2模型大小仅有1.58M，
具体网络结构如表1所示：
表1：M-ShuffleNet V2网络结构
数据集：BIWI、300W_LP用于人脸姿态估计；
综合人脸姿态和人脸模糊、完整性、光照均衡分数作为所有人脸质量分数；
S2：基于Multi-task ShuffleNet V2网络执行或者人脸质量估计：人脸模糊分数、完整性分数和光照均衡分数的数据通过实际采集后，添加高斯模糊、运动模糊，再通过遮挡、人脸随机裁剪、添加光照不均衡进行数据增强，最后得到人脸模糊图像、完整性图像和光照均衡图像分别15000张；
S3：得到各质量分数：根据计算得到欧拉角俯仰角(pitch)、偏航角(yaw)、翻滚角(roll)；
S4：以上述得到的分数计算最终评估分数：人脸质量分数估计：
人脸姿态估计三个角度分数score1，人脸模糊、合格人脸、完整性，光照均衡四分类合格人脸分数score2，人脸质量score＝α×score1+β×score2评估；
score1＝1-(|pitch|/90+|yaw|/90+|roll|/90)/3；
score2＝scorenorm；
其中，α＝0.5，β＝0.5，则score＝0.5×score1+0.5×score2score∈[0,1]；
综上，以score作为人脸质量评估分数。
通过设计ShuffleNet V2多任务人脸质量卷积神经网络估计所有人脸质量方向，对人脸姿态角度回归学习，模糊、非完整、光照均衡分类学习，综合得到人脸质量评分有效过滤不合格人脸图像。
更简单，只需要多任务卷积神经网络就可以得出所有人脸质量评估；
更快速，模型耗时短，可实现实时检测；
泛化能力强，跨数据库表现性能良好。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点,对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明；因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内，不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (2)

1.一种基于多任务的人脸质量估计方法，其特征在于：该基于多任务的人脸质量估计方法的具体步骤如下：
S1：输入检测后人脸图像：输入检测后112×112尺寸的人脸图像，针对人脸姿态估计回归人脸姿态欧拉角俯仰角(pitch)、偏航角(yaw)、翻滚角(roll)，针对人脸模糊问题、完整性问题、光照均衡问题直接分类学习；
S2：基于Multi-task ShuffleNet V2网络执行人脸质量估计：人脸模糊分数、完整性分数和光照均衡分数的数据通过实际采集后，添加高斯模糊、运动模糊，再通过遮挡、人脸随机裁剪、添加光照不均衡进行数据增强，最后得到人脸模糊图像、完整性图像和光照均衡图像分别15000张；
S3：得到各质量分数：根据计算得到欧拉角俯仰角(pitch)、偏航角(yaw)、翻滚角(roll)；
S4：以上述得到的分数计算最终评估分数：人脸质量分数估计：
人脸姿态估计三个角度分数score1，人脸模糊、合格人脸、完整性，光照均衡四分类合格人脸分数score2，人脸质量score＝α×score1+β×score2评估；
score1＝1-(|pitch|/90+|yaw|/90+|roll|/90)/3；
score2＝scorenorm；
其中，α＝0.5，β＝0.5，则score＝0.5×score1+0.5×score2score∈[0,1]；
综上，以score作为人脸质量评估分数。
2.根据权利要求1所述的一种基于多任务的人脸质量估计方法，其特征在于：所述步骤S1中输入人脸图像，人脸姿态角度回归采用ShuffleNet V2网络，在Stage3输出添加分类网络分支：1×1卷积核，512通道卷积层，全局池化层，全连接直接分类人脸模糊、完整性、光照均衡。
CN201910923840.8A 2019-09-27 2019-09-27 一种基于多任务的人脸质量估计方法 Active CN110826402B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910923840.8A CN110826402B (zh) 2019-09-27 2019-09-27 一种基于多任务的人脸质量估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910923840.8A CN110826402B (zh) 2019-09-27 2019-09-27 一种基于多任务的人脸质量估计方法

Publications (2)

Publication Number Publication Date
CN110826402A CN110826402A (zh) 2020-02-21
CN110826402B true CN110826402B (zh) 2024-03-29

Family

ID=69548627

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910923840.8A Active CN110826402B (zh) 2019-09-27 2019-09-27 一种基于多任务的人脸质量估计方法

Country Status (1)

Country Link
CN (1) CN110826402B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200804A (zh) * 2020-11-09 2021-01-08 北京地平线信息技术有限公司 图像检测方法、装置、计算机可读存储介质及电子设备
CN112200176B (zh) * 2020-12-10 2021-03-02 长沙小钴科技有限公司 人脸图像的质量检测方法、系统和计算机设备
CN112528903B (zh) * 2020-12-18 2023-10-31 平安银行股份有限公司 人脸图像获取方法、装置、电子设备及介质
CN113158860B (zh) * 2021-04-12 2022-06-24 烽火通信科技股份有限公司 基于深度学习多维度输出人脸质量评估方法与电子设备
CN113362221A (zh) * 2021-04-29 2021-09-07 南京甄视智能科技有限公司 用于门禁的人脸识别系统与人脸识别方法
CN116719466B (zh) * 2022-09-14 2024-04-12 荣耀终端有限公司 多任务界面显示的方法、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102013011A (zh) * 2010-12-16 2011-04-13 重庆大学 基于正脸补偿算子的多姿态人脸识别方法
CN106815566A (zh) * 2016-12-29 2017-06-09 天津中科智能识别产业技术研究院有限公司 一种基于多任务卷积神经网络的人脸检索方法
CN107729838A (zh) * 2017-10-12 2018-02-23 中科视拓（北京）科技有限公司 一种基于深度学习的头部姿态估算方法
WO2019091271A1 (zh) * 2017-11-13 2019-05-16 苏州科达科技股份有限公司 一种人脸检测方法以及人脸检测系统
WO2019128646A1 (zh) * 2017-12-28 2019-07-04 深圳励飞科技有限公司 人脸检测方法、卷积神经网络参数的训练方法、装置及介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102013011A (zh) * 2010-12-16 2011-04-13 重庆大学 基于正脸补偿算子的多姿态人脸识别方法
CN106815566A (zh) * 2016-12-29 2017-06-09 天津中科智能识别产业技术研究院有限公司 一种基于多任务卷积神经网络的人脸检索方法
CN107729838A (zh) * 2017-10-12 2018-02-23 中科视拓（北京）科技有限公司 一种基于深度学习的头部姿态估算方法
WO2019091271A1 (zh) * 2017-11-13 2019-05-16 苏州科达科技股份有限公司 一种人脸检测方法以及人脸检测系统
WO2019128646A1 (zh) * 2017-12-28 2019-07-04 深圳励飞科技有限公司 人脸检测方法、卷积神经网络参数的训练方法、装置及介质

Also Published As

Publication number Publication date
CN110826402A (zh) 2020-02-21

Similar Documents

Publication Publication Date Title
CN110826402B (zh) 一种基于多任务的人脸质量估计方法
CN108197532B (zh) 人脸识别的方法、装置及计算机装置
CN106650699B (zh) 一种基于卷积神经网络的人脸检测方法及装置
CN108830818B (zh) 一种快速多聚焦图像融合方法
CN111291825B (zh) 病灶分类模型训练方法、装置、计算机设备和存储介质
DE112016004534T5 (de) Nicht überwachtes Abgleichen in feinkörnigen Datensätzen zur Einzelansicht-Objektrekonstruktion
CN111160407A (zh) 一种深度学习目标检测方法及系统
CN108235774A (zh) 信息处理方法、装置、云处理设备以及计算机程序产品
CN112861659B (zh) 一种图像模型训练方法、装置及电子设备、存储介质
CN110728312A (zh) 一种基于区域自适应注意力网络的干眼症分级系统
CN114677339A (zh) 一种引入注意力机制的输电线路螺栓脱销缺陷检测方法
CN113361387A (zh) 人脸图像融合方法及装置、存储介质及电子设备
CN115100294A (zh) 基于直线特征的事件相机标定方法、装置及设备
CN105488780A (zh) 一种用于工业生产线的单目视觉测距追踪装置及其追踪方法
CN114492634A (zh) 一种细粒度装备图片分类识别方法及系统
CN115471439A (zh) 显示面板缺陷的识别方法、装置、电子设备及存储介质
CN113643329A (zh) 一种基于孪生注意力网络的在线更新目标跟踪方法和系统
CN112861809A (zh) 基于多目标视频分析的课堂抬头检测系统及其工作方法
Dai et al. Federated filter algorithm with positioning technique based on 3D sensor
Kumar et al. Essential-replica for face detection in the large appearance variations
CN106570928A (zh) 一种基于图像的重光照方法
CN103605968A (zh) 基于混合投影的瞳孔定位方法
CN114663662B (zh) 超参数搜索方法、装置、计算机设备和存储介质
CN111652242A (zh) 图像处理方法、装置、电子设备及存储介质
CN110363755A (zh) 免造影剂的心肌梗死面积的检测方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 518000 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.)

Patentee after: Shenzhen Huafu Technology Co.,Ltd.

Country or region after: China

Address before: 518000 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.)

Patentee before: SHENZHEN HUAFU INFORMATION TECHNOLOGY Co.,Ltd.

Country or region before: China