CN117877088A - 一种融合多维度参考指标的人脸图像质量评估方法 - Google Patents
一种融合多维度参考指标的人脸图像质量评估方法 Download PDFInfo
- Publication number
- CN117877088A CN117877088A CN202311839704.3A CN202311839704A CN117877088A CN 117877088 A CN117877088 A CN 117877088A CN 202311839704 A CN202311839704 A CN 202311839704A CN 117877088 A CN117877088 A CN 117877088A
- Authority
- CN
- China
- Prior art keywords
- face
- image
- type
- equal
- targets
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001303 quality assessment method Methods 0.000 title claims description 16
- 238000001514 detection method Methods 0.000 claims abstract description 126
- 238000012545 processing Methods 0.000 claims abstract description 29
- 239000013598 vector Substances 0.000 claims abstract description 28
- 238000000034 method Methods 0.000 claims abstract description 26
- 238000013441 quality evaluation Methods 0.000 claims abstract description 22
- 238000013210 evaluation model Methods 0.000 claims abstract description 10
- 230000004927 fusion Effects 0.000 claims abstract description 10
- 238000011156 evaluation Methods 0.000 claims description 26
- 238000012216 screening Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 abstract description 3
- 238000013135 deep learning Methods 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000008034 disappearance Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Image Analysis (AREA)
Abstract
本发明属于图像处理领域，具体涉及一种融合多维度参考指标的人脸图像质量评估方法，包括通过人脸检测模型处理原始图像得到人脸区域图像和人脸检测置信度；通过人脸关键点检测模型提取人脸区域图像中的各人脸关键点及其人脸关键点检测置信度，并计算人脸姿态角；对人脸区域图像进行多目标类型检测得到多个目标，获取每一个目标的目标位置坐标和目标检测置信度；统计所有目标中每种类型目标的数量，得到每种类型目标的类型检测置信度；并计算每种类型目标的图像清晰度；整合多维度参考指标整合特征向量，并构建特征融合评价模型进行处理得到人脸区域图像的质量评估分数；本发明能够得出更准确可靠的质量评估结果。
Description
技术领域
本发明属于图像处理领域，具体涉及一种融合多维度参考指标的人脸图像质量评估方法。
背景技术
人脸质量评估是指在人脸识别过程中评估人脸图像的质量，以确定该人脸图像是否适合用于人脸识别。它是人脸识别系统的重要组成部分，对于提高系统的准确性和鲁棒性具有重要的作用。
人脸质量评估的考量方向大致包括以下几个方面：①图像质量，指拍摄到的人脸图像的清晰度、色彩、光照等质量指标；②特征质量，指人脸图像中人脸特征信息的质量，包括人脸的大小、姿势、角度、遮挡、变形等等；③可识别性，指人脸图像是否能够被系统识别，以及识别的难易程度。
人脸质量评估典型的方法可以分为以下几种：①基于规则的方法，该方法根据图像的几何特征和统计特征来评估人脸图像的质量，例如，如果图像的清晰度不足，则可以通过计算图像的模糊程度来评估其质量；②基于机器学习的方法，该方法使用机器学习算法来训练模型，以根据图像的特征来预测图像的质量，例如，可以使用支持向量机(SVM)或人工神经网络来训练模型；③基于深度学习的方法，该方法使用深度学习算法来训练模型，以根据图像的深度特征来预测图像的质量，例如，可以使用带有残差的多层卷积神经网络(CNN)来训练模型。
人脸质量评估的流程大致包括以下几个步骤：①采集人脸图像，从摄像头或其他图像源采集人脸图像；②预处理人脸图像，对图像进行预处理，例如裁剪、缩放和归一化等操作，以使其符合后续处理的要求；③提取特征，使用不同的算法从图像中提取特征，例如几何特征、统计特征和深度特征等；④预测质量分数，使用预先设计好的方法或训练好的模型来预测图像的质量分数；⑤根据质量分数进行分类，根据预测的质量分数将图像分为高质量和低质量两类。
人脸质量评估在人脸识别系统中发挥着重要的作用。首先，人脸质量评估可以筛选出高质量的人脸图像，从而提高后续人脸识别的准确率；其次，人脸质量评估可以提供关于图像质量的反馈，从而引导用户调整采集条件，以获得更高质量的图像；最后，人脸质量评估可以提高人脸识别系统的整体性能，使其更加可靠和高效。
人脸质量评估是一个综合性问题，涉及到多个不同维度的参考指标。基于规则的方法所囊括的因素有限，且一般的统计特征并不能很好地拟合绝大多数情况；而基于深度学习或机器学习的方法由于只进行整体考量，非常依赖于所用于训练数据样本的规模数量、类别丰富程度以及对应的标注质量，在模型单一的条件下，通常无法得出完全可靠的评估结果。
发明内容
为解决上述问题，本发明提供了一种融合多维度参考指标的人脸图像质量评估方法，包括以下步骤：
S1.采集包含待识别用户的原始图像，并通过人脸检测模型处理得到人脸区域图像和人脸检测置信度；
S2.通过人脸关键点检测模型提取人脸区域图像中的各人脸关键点及其人脸关键点检测置信度；
S3.根据所有人脸关键点计算人脸姿态角，然后对人脸区域图像的质量进行初次评估，若初次评估结果符合预设条件，则进入步骤S4；
S4.对人脸区域图像进行多目标类型检测得到多个目标，同时获取每一个目标的目标位置坐标和目标检测置信度；其中目标类型包括眼睛、鼻子和嘴巴三种；
S5.统计所有目标中每种类型的目标数量，得到每种类型的目标类型检测置信度；并根据每种类型的目标数量计算每种类型的目标图像清晰度；
S6.将步骤S1-S5所得结果整合为多维度参考指标整合特征向量，构建特征融合评价模型处理多维度参考指标整合特征向量得到人脸区域图像的质量评估分数。
进一步的，步骤S1包括：
S11.通过影像设备采集包含待识别用户的原始图像；
S12.根据人脸检测模型对原始图像进行检测得到人脸框位置坐标和人脸检测置信度；
S13.根据人脸框位置坐标对原始图像进行裁剪，得到人脸区域图像。
进一步的，步骤S5统计所有目标位置坐标中每种类型的目标数量，得到每种类型的目标类型检测置信度，包括：
S511.若归属于眼睛类型的目标数量等于0，则眼睛类型检测置信度等于0；若归属于眼睛类型的目标数量等于1，则眼睛类型检测置信度等于该归属于眼睛类型的目标的目标检测置信度的一半；若归属于眼睛类型的目标数量大于1，则计算所有归属于眼睛类型的目标中的最大目标检测置信度和第二大目标检测置信度的平均值，并令眼睛类型检测置信度等于该平均值；
S512.若归属于鼻子类型的目标数量等于0，则鼻子类型检测置信度等于0；若归属于鼻子类型的目标数量大于等于1，则鼻子类型检测置信度等于所有归属于鼻子类型的目标中的最大目标检测置信度；
S513.若归属于嘴巴类型的目标数量等于0，则嘴巴类型检测置信度等于0；若归属于嘴巴类型的目标数量大于等于1，则嘴巴类型检测置信度等于所有归属于嘴巴类型的目标中的最大目标检测置信度。
进一步的，步骤S5根据每种类型的目标数量计算每种类型的目标图像清晰度，包括：
S521.计算人脸区域图像的图像清晰度；
S522.若归属于眼睛类型的目标数量等于0，则眼睛类型图像清晰度等于0；若归属于眼睛类型的目标数量等于1，则根据该归属于眼睛类型的目标的目标位置坐标获取其在人脸区域图像中的区域图像清晰度，并将该区域图像清晰度的一半作为眼睛类型图像清晰度；若归属于眼睛类型的目标数量大于1，则筛选所有归属于眼睛类型的目标中的最大目标检测置信度和第二大目标检测置信度，根据对应的目标位置坐标获取这两者分别在人脸区域图像中的区域图像清晰度后求取平均区域图像清晰度，并令眼睛类型图像清晰度等于平均区域图像清晰度；
S523.若归属于鼻子类型的目标数量等于0，则鼻子类型图像清晰度等于0；若归属于鼻子类型的目标数量大于等于1，则筛选所有归属于鼻子类型的目标中的最大目标检测置信度，并根据对应的目标位置坐标获取其在人脸区域图像中的区域图像清晰度，令鼻子类型图像清晰度等于该区域图像清晰度；
S524.若归属于嘴巴类型的目标数量等于0，则嘴巴类型图像清晰度等于0；若归属于嘴巴类型的目标数量大于等于1，则筛选所有归属于嘴巴类型的目标中的最大目标检测置信度，并根据对应的目标位置坐标获取其在人脸区域图像中的区域图像清晰度，令嘴巴类型图像清晰度等于该区域图像清晰度。
进一步的，步骤S521计算人脸区域图像的图像清晰度，表示为：
其中，f表示人脸区域图像的图像清晰度，M、N分别为人脸区域图像的长和宽，g(x,y)表示人脸区域图像中坐标(x,y)处的像素值。
进一步的，步骤S6包括：
S61.整合得到多维度参考指标整合特征向量，表示为：
[Dface,Cface,Ckeypoints,Apitch,Ayaw,Aroll,Ceyes,Cnose,Cmouth,Deyes,Dnose,Dmouth]
其中，Dface表示人脸区域图像的图像清晰度，Cface表示人脸检测置信度，Ckeypoints表示人脸关键点检测置信度，Apitch表示人脸姿态角中的俯仰姿态角，Ayaw表示人脸姿态角中的偏航姿态角，Aroll表示人脸姿态角中的滚转姿态角，Ceyes表示眼睛类型检测置信度，Cnose表示鼻子类型检测置信度，Cmouth表示嘴巴类型检测置信度，Deyes表示眼睛类型图像清晰度，Dnose表示鼻子类型图像清晰度，Dmouth表示嘴巴类型图像清晰度；
S62.构建特征融合评价模型，其包括第一全连接层模块、第二全连接层模块、第三全连接层模块和分数输出模块；所述第一全连接层模块包括4个互不相干的全连接处理单元，每一个全连接处理单元包括3个初级输入输出层；所述第二全连接层模块包括4个次级输入输出层，所述第三全连接层模块包括2个终极输入输出层；
S63.将多维度参考指标整合特征向量中的第1-3个特征向量、第4-6个特征向量、第7-9个特征向量、第10-12个特征向量分别输入第一个全连接处理单元、第二个全连接处理单元、第三个全连接处理单元、第四个全连接处理单元，得到12个初级特征；
S64.将所有初级特征输入第二全连接层模块得到4个次级特征；将4个次级特征输入第三全连接层模块得到2个终级特征，将2个终级特征输入分数输出模块，得到人脸区域图像的质量评估分数。
进一步的，质量评估分数的计算公式为：
其中，Q为最终的质量评估分数，z1为第一终级特征，z2为第二终级特征。
进一步的，所述对人脸区域图像的质量进行初次评估，包括：
S31.判断人脸姿态角中的俯仰姿态角是否小于预设俯仰方向角度阈值，若是，则执行步骤S32，否则初次评估结果不符合预设条件；
S32.判断人脸姿态角中的偏航姿态角是否小于预设偏航方向角度阈值，若是，则执行步骤S33，否则初次评估结果不符合预设条件；
S33.判断各人脸关键点检测置信度的平均值是否小于预设置信度阈值，若是，则初次评估结果符合预设条件。
本发明的有益效果：
本发明所提出的人脸图像质量评估方法，融合了多个来自不同维度的参考指标，相对于基于单一指标的方法，能够得出更准确可靠的质量评估结果；有机结合了基于规则的方法与基于深度学习或机器学习的方法，在局部统计特征的基础上进行全局整体考量，兼具自下而上与自上而下的思想，对两者的优势进行了融合。
本发明所提的人脸图像质量评估方法还设置了初次评估操作，首先对获取到的人脸区域图像，根据人脸姿态角和人脸关键点置信度对图像质量进行初次评估，若初次评估结果符合预设条件，则根据该人脸区域图像的目标类型信息对该人脸区域图像进行再次评估，即对符合基本要求的人脸区域图像计算质量评估值，为后续的图像处理工作提供参考；采用双重评估操作，能够在初次评估时直接排除质量不好的图像，减少评估工作量，提升质量评估效率。
附图说明
图1为本发明一种融合多维度参考指标的人脸图像质量评估方法的流程图；
图2为本发明的模型框架图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供了一种融合多维度参考指标的人脸图像质量评估方法，如图1、图2所示，包括以下步骤：
S1.采集包含待识别用户的原始图像，并通过人脸检测模型处理得到人脸区域图像和人脸检测置信度。
具体地，步骤S1包括：
S11.通过相机/摄像头等影像设备采集包含待识别用户的原始图像；
S12.根据人脸检测模型对原始图像进行检测得到人脸框位置坐标和人脸检测置信度；其中：
所用人脸检测模型为预先训练的深度神经网络，如YOLO、SSD、RetinaNet、FasterR-CNN等，通常包含卷积层、池化层、批归一化层、激活函数层及全连接层等；卷积层包含多个卷积核，每个卷积核检测图像中的不同特征，多个卷积层层叠在一起，并引入残差等连接，构成主干网络；池化层紧跟在卷积层之后，用于压缩特征图并保留最显著的特征；批归一化层用于加速训练过程并增强模型的鲁棒性，防止梯度消失或爆炸；激活函数层引入非线性变换，增加网络的表达能力；全连接层用于将卷积层提取到的特征整合映射，最终转化为人脸框位置坐标的检测结果，及对应的检测置信度。
S13.根据人脸框位置坐标对原始图像进行裁剪，得到人脸区域图像。
S2.通过人脸关键点检测模型提取人脸区域图像中的各人脸关键点及其人脸关键点检测置信度。
具体地，所设定的人脸关键点个数可以为5点、21点、29点、68点、98点等，所用人脸关键点检测模型为预先训练的深度神经网络，如DCNN、Hourglass Network等，通常包含卷积层、池化层、批归一化层、激活函数层及全连接层等；卷积层包含多个卷积核，每个卷积核检测图像中的不同特征，多个卷积层层叠在一起，并引入残差等连接，构成主干网络；池化层紧跟在卷积层之后，用于压缩特征图并保留最显著的特征；批归一化层用于加速训练过程并增强模型的鲁棒性，防止梯度消失或爆炸；激活函数层引入非线性变换，增加网络的表达能力；全连接层用于将卷积层提取到的特征整合映射，最终转化为各个人脸关键点位置坐标的检测结果，及对应的检测置信度。
S3.根据所有人脸关键点计算人脸姿态角，然后对人脸区域图像的质量进行初次评估，若初次评估结果符合预设条件，则进入步骤S4。
具体地，所述对人脸区域图像的质量进行初次评估，包括：
S31.判断人脸姿态角中的俯仰姿态角是否小于预设俯仰方向角度阈值，若是，则执行步骤S32，否则初次评估结果不符合预设条件；
S32.判断人脸姿态角中的偏航姿态角是否小于预设偏航方向角度阈值，若是，则执行步骤S33，否则初次评估结果不符合预设条件；
S33.判断各人脸关键点检测置信度的平均值是否小于预设置信度阈值，若是，则初次评估结果符合预设条件。
S4.对人脸区域图像进行多目标类型检测得到多个目标，同时获取每一个目标的目标位置坐标和目标检测置信度；其中多目标类型检测包括眼睛、鼻子和嘴巴三种目标类型检测。
S5.统计所有目标中每种类型的目标数量，得到每种类型的目标类型检测置信度；并根据每种类型的目标数量计算每种类型的目标图像清晰度。
具体地，步骤S5统计所有目标位置坐标中每种类型的目标数量，得到每种类型的目标类型检测置信度，包括：
S511.若归属于眼睛类型的目标数量等于0，则眼睛类型检测置信度等于0；若归属于眼睛类型的目标数量等于1，则眼睛类型检测置信度等于该归属于眼睛类型的目标的目标检测置信度的一半；若归属于眼睛类型的目标数量大于1，则查询所有归属于眼睛类型的目标的目标检检测置信度，从中提取最大目标检测置信度和第二大目标检测置信度并计算两者的平均值，并令眼睛类型检测置信度等于该平均值；
S512.若归属于鼻子类型的目标数量等于0，则鼻子类型检测置信度等于0；若归属于鼻子类型的目标数量大于等于1，则查询所有归属于鼻子类型的目标的目标检检测置信度，从中提取出最大目标检测置信度作为鼻子类型检测置信度；
S513.若归属于嘴巴类型的目标数量等于0，则嘴巴类型检测置信度等于0；若归属于嘴巴类型的目标数量大于等于1，则查询所有归属于嘴巴类型的目标的目标检检测置信度，从中提取出最大目标检测置信度作为嘴巴类型检测置信度。
具体地，步骤S5根据每种类型的目标数量计算每种类型目标的图像清晰度，包括：
S521.计算人脸区域图像的图像清晰度；
S522.若归属于眼睛类型的目标数量等于0，则眼睛类型图像清晰度等于0；若归属于眼睛类型的目标数量等于1，则根据该归属于眼睛类型的目标的目标位置坐标获取其在人脸区域图像中的区域图像清晰度，并将该区域图像清晰度的一半作为眼睛类型图像清晰度；若归属于眼睛类型的目标数量大于1，则查询所有归属于眼睛类型的目标的目标检检测置信度，从中确定出具有最大目标检测置信度的第一眼睛目标，以及具有第二大目标检测置信度的第二眼睛目标；然后根据第一眼睛目标的目标位置坐标获取第一眼睛目标在人脸区域图像中的第一区域图像清晰度，根据第二眼睛目标的目标位置坐标获取第二眼睛目标在人脸区域图像中的第二区域图像清晰度，求取第一区域图像清晰度和第二区域图像清晰度的平均区域图像清晰度，并令眼睛类型图像清晰度等于平均区域图像清晰度；
S523.若归属于鼻子类型的目标数量等于0，则鼻子类型图像清晰度等于0；若归属于鼻子类型的目标数量大于等于1，则查询所有归属于鼻子类型的目标的目标检检测置信度，从中确定出具有最大目标检测置信度的第一鼻子目标，然后根据第一鼻子目标的目标位置坐标获取第一鼻子目标在人脸区域图像中的区域图像清晰度，令鼻子类型图像清晰度等于该区域图像清晰度；
S524.若归属于嘴巴类型的目标数量等于0，则嘴巴类型图像清晰度等于0；若归属于嘴巴类型的目标数量大于等于1，则查询所有归属于嘴巴类型的目标的目标检检测置信度，从中确定出具有最大目标检测置信度的第一嘴巴目标，然后根据第一嘴巴目标的目标位置坐标获取第一嘴巴目标在人脸区域图像中的区域图像清晰度，令嘴巴类型图像清晰度等于该区域图像清晰度。
具体地，步骤S521计算人脸区域图像的图像清晰度，表示为：
其中，f表示人脸区域图像的图像清晰度，M、N分别为人脸区域图像的长和宽，g(x,y)表示人脸区域图像中坐标(x,y)处的像素值。其中，计算区域图像清晰度时，同样通过目标的目标位置坐标在人脸区域图像中裁剪出区域图像，代入上述公式计算区域图像清晰度。
S6.将步骤S1-S5所得结果整合为多维度参考指标整合特征向量，构建特征融合评价模型处理多维度参考指标整合特征向量得到人脸区域图像的质量评估分数。
具体地，步骤S6包括：
S61.整合得到多维度参考指标整合特征向量，表示为：
[Dface,Cface,Ckeypoints,Apitch,Ayaw,Aroll,Ceyes,Cnose,Cmouth,Deyes,Dnose,Dmouth]
其中，Dface表示人脸区域图像的图像清晰度，Cface表示人脸检测置信度，Ckeypoints表示人脸关键点检测置信度(获取所有人脸关键点中的最大人脸关键点检测置信度和最小人脸关键点检测置信度，然后计算两者的平均值作为人脸关键点检测置信度)，Apitch表示人脸姿态角中的俯仰姿态角，Ayaw表示人脸姿态角中的偏航姿态角，Aroll表示人脸姿态角中的滚转姿态角，Ceyes表示眼睛类型检测置信度，Cnose表示鼻子类型检测置信度，Cmouth表示嘴巴类型检测置信度，Deyes表示眼睛类型图像清晰度，Dnose表示鼻子类型图像清晰度，Dmouth表示嘴巴类型图像清晰度；
S62.构建特征融合评价模型，其包括第一全连接层模块、第二全连接层模块、第三全连接层模块和分数输出模块；所述第一全连接层模块包括4个互不相干的全连接处理单元，每一个全连接处理单元包括3个初级输入输出层；所述第二全连接层模块包括4个次级输入输出层，所述第三全连接层模块包括2个终级输入输出层；
S63.将多维度参考指标整合特征向量中的第1-3个特征向量、第4-6个特征向量、第7-9个特征向量、第10-12个特征向量分别输入第一个全连接处理单元、第二个全连接处理单元、第三个全连接处理单元、第四个全连接处理单元，得到12个初级特征；
S64.将所有初级特征输入第二全连接层模块得到4个次级特征；将4个次级特征输入第三全连接层模块得到2个终级特征，将2个终级特征输入分数输出模块，得到人脸区域图像的质量评估分数。
具体地，质量评估分数的计算公式为：
其中，Q为最终的质量评估分数，z1为第一终级特征，z2为第二终级特征。
在本发明中，除非另有明确的规定和限定，术语“安装”、“设置”、“连接”、“固定”、“旋转”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (8)
1.一种融合多维度参考指标的人脸图像质量评估方法，其特征在于，包括以下步骤：
S1.采集包含待识别用户的原始图像，并通过人脸检测模型处理得到人脸区域图像和人脸检测置信度；
S2.通过人脸关键点检测模型提取人脸区域图像中的各人脸关键点及其人脸关键点检测置信度；
S3.根据所有人脸关键点计算人脸姿态角，然后对人脸区域图像的质量进行初次评估，若初次评估结果符合预设条件，则进入步骤S4；
S4.对人脸区域图像进行多目标类型检测得到多个目标，同时获取每一个目标的目标位置坐标和目标检测置信度；其中目标类型包括眼睛、鼻子和嘴巴三种；
S5.统计所有目标中每种类型的目标数量，得到每种类型的目标类型检测置信度；并根据每种类型的目标数量计算每种类型的目标图像清晰度；
S6.将步骤S1到S5所得结果整合为多维度参考指标整合特征向量，构建特征融合评价模型处理多维度参考指标整合特征向量得到人脸区域图像的质量评估分数。
2.根据权利要求1所述的一种融合多维度参考指标的人脸图像质量评估方法，其特征在于，步骤S1包括：
S11.通过影像设备采集包含待识别用户的原始图像；
S12.根据人脸检测模型对原始图像进行检测得到人脸框位置坐标和人脸检测置信度；
S13.根据人脸框位置坐标对原始图像进行裁剪，得到人脸区域图像。
3.根据权利要求1所述的一种融合多维度参考指标的人脸图像质量评估方法，其特征在于，步骤S5统计所有目标位置坐标中每种类型的目标数量，得到每种类型的目标类型检测置信度，包括：
S511.若归属于眼睛类型的目标数量等于0，则眼睛类型检测置信度等于0；若归属于眼睛类型的目标数量等于1，则眼睛类型检测置信度等于该归属于眼睛类型的目标的目标检测置信度的一半；若归属于眼睛类型的目标数量大于1，则计算所有归属于眼睛类型的目标中的最大目标检测置信度和第二大目标检测置信度的平均值，并令眼睛类型检测置信度等于该平均值；
S512.若归属于鼻子类型的目标数量等于0，则鼻子类型检测置信度等于0；若归属于鼻子类型的目标数量大于等于1，则鼻子类型检测置信度等于所有归属于鼻子类型的目标中的最大目标检测置信度；
S513.若归属于嘴巴类型的目标数量等于0，则嘴巴类型检测置信度等于0；若归属于嘴巴类型的目标数量大于等于1，则嘴巴类型检测置信度等于所有归属于嘴巴类型的目标中的最大目标检测置信度。
4.根据权利要求1所述的一种融合多维度参考指标的人脸图像质量评估方法，其特征在于，步骤S5根据每种类型的目标数量计算每种类型的目标图像清晰度，包括：
S521.计算人脸区域图像的图像清晰度；
S522.若归属于眼睛类型的目标数量等于0，则眼睛类型图像清晰度等于0；若归属于眼睛类型的目标数量等于1，则根据该归属于眼睛类型的目标的目标位置坐标获取其在人脸区域图像中的区域图像清晰度，并将该区域图像清晰度的一半作为眼睛类型图像清晰度；若归属于眼睛类型的目标数量大于1，则筛选所有归属于眼睛类型的目标中的最大目标检测置信度和第二大目标检测置信度，根据对应的目标位置坐标获取这两者分别在人脸区域图像中的区域图像清晰度后求取平均区域图像清晰度，并令眼睛类型图像清晰度等于平均区域图像清晰度；
S523.若归属于鼻子类型的目标数量等于0，则鼻子类型图像清晰度等于0；若归属于鼻子类型的目标数量大于等于1，则筛选所有归属于鼻子类型的目标中的最大目标检测置信度，并根据对应的目标位置坐标获取其在人脸区域图像中的区域图像清晰度，令鼻子类型图像清晰度等于该区域图像清晰度；
S524.若归属于嘴巴类型的目标数量等于0，则嘴巴类型图像清晰度等于0；若归属于嘴巴类型的目标数量大于等于1，则筛选所有归属于嘴巴类型的目标中的最大目标检测置信度，并根据对应的目标位置坐标获取其在人脸区域图像中的区域图像清晰度，令嘴巴类型图像清晰度等于该区域图像清晰度。
5.根据权利要求4所述的一种融合多维度参考指标的人脸图像质量评估方法，其特征在于，步骤S521计算人脸区域图像的图像清晰度，表示为：
其中，f表示人脸区域图像的图像清晰度，M、N分别为人脸区域图像的长和宽，g(x,y)表示人脸区域图像中坐标(x,y)处的像素值。
6.根据权利要求1所述的一种融合多维度参考指标的人脸图像质量评估方法，其特征在于，步骤S6包括：
S61.整合得到多维度参考指标整合特征向量，表示为：
[Dface,Cface,Ckeypoints,Apitch,Ayaw,Aroll,Ceyes,Cnose,Cmouth,Deyes,Dnose,Dmouth]
其中，Dface表示人脸区域图像的图像清晰度，Cface表示人脸检测置信度，Ckeypoints表示人脸关键点检测置信度，Apitch表示人脸姿态角中的俯仰姿态角，Ayaw表示人脸姿态角中的偏航姿态角，Aroll表示人脸姿态角中的滚转姿态角，Ceyes表示眼睛类型检测置信度，Cnose表示鼻子类型检测置信度，Cmouth表示嘴巴类型检测置信度，Deyes表示眼睛类型图像清晰度，Dnose表示鼻子类型图像清晰度，Dmouth表示嘴巴类型图像清晰度；
S62.构建特征融合评价模型，其包括第一全连接层模块、第二全连接层模块、第三全连接层模块和分数输出模块；所述第一全连接层模块包括4个互不相干的全连接处理单元，每一个全连接处理单元包括3个初级输入输出层；所述第二全连接层模块包括4个次级输入输出层，所述第三全连接层模块包括2个终级输入输出层；
S63.将多维度参考指标整合特征向量中的第1-3个特征向量、第4-6个特征向量、第7-9个特征向量、第10-12个特征向量分别输入第一个全连接处理单元、第二个全连接处理单元、第三个全连接处理单元、第四个全连接处理单元，得到12个初级特征；
S64.将所有初级特征输入第二全连接层模块得到4个次级特征；将4个次级特征输入第三全连接层模块得到2个终级特征，将2个终级特征输入分数输出模块，得到人脸区域图像的质量评估分数。
7.根据权利要求6所述的一种融合多维度参考指标的人脸图像质量评估方法，其特征在于，质量评估分数的计算公式为：
其中，Q为最终的质量评估分数，z1为第一终级特征，z2为第二终级特征。
8.根据权利要求1所述的一种融合多维度参考指标的人脸图像质量评估方法，其特征在于，所述对人脸区域图像的质量进行初次评估，包括：
S31.判断人脸姿态角中的俯仰姿态角是否小于预设俯仰方向角度阈值，若是，则执行步骤S32，否则初次评估结果不符合预设条件；
S32.判断人脸姿态角中的偏航姿态角是否小于预设偏航方向角度阈值，若是，则执行步骤S33，否则初次评估结果不符合预设条件；S33.判断各人脸关键点检测置信度的平均值是否小于预设置信度阈值，若是，则初次评估结果符合预设条件。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311839704.3A CN117877088A (zh) | 2023-12-28 | 2023-12-28 | 一种融合多维度参考指标的人脸图像质量评估方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311839704.3A CN117877088A (zh) | 2023-12-28 | 2023-12-28 | 一种融合多维度参考指标的人脸图像质量评估方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117877088A true CN117877088A (zh) | 2024-04-12 |
Family
ID=90578376
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311839704.3A Pending CN117877088A (zh) | 2023-12-28 | 2023-12-28 | 一种融合多维度参考指标的人脸图像质量评估方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117877088A (zh) |
-
2023
- 2023-12-28 CN CN202311839704.3A patent/CN117877088A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111723748B (zh) | 一种红外遥感图像舰船检测方法 | |
| US20230047131A1 (en) | Contour shape recognition method | |
| CN113205063A (zh) | 一种输电导线缺陷的视觉识别及定位方法 | |
| CN109389105B (zh) | 一种基于多任务的虹膜检测和视角分类方法 | |
| CN110866430A (zh) | 一种车牌识别方法及装置 | |
| CN105160303A (zh) | 基于混合匹配的指纹识别方法 | |
| WO2019167784A1 (ja) | 位置特定装置、位置特定方法及びコンピュータプログラム | |
| CN113313703A (zh) | 基于深度学习图像识别的无人机输电线巡检方法 | |
| CN114694178A (zh) | 基于Faster-RCNN算法的电力作业中安全帽监测方法及系统 | |
| CN117392733B (zh) | 一种痤疮分级检测方法、装置、电子设备及存储介质 | |
| CN117132914B (zh) | 通用电力设备识别大模型方法及系统 | |
| CN117237902B (zh) | 基于深度学习的机器人物体识别系统 | |
| CN116703895B (zh) | 基于生成对抗网络的小样本3d视觉检测方法及其系统 | |
| CN111461010B (zh) | 一种基于模板跟踪的电力设备识别效率优化方法 | |
| CN113780145A (zh) | 精子形态检测方法、装置、计算机设备和存储介质 | |
| CN114170686A (zh) | 一种基于人体关键点的屈肘行为检测方法 | |
| CN112183336A (zh) | 表情识别模型训练方法、装置、终端设备及存储介质 | |
| CN115049842B (zh) | 一种飞机蒙皮图像损伤检测与2d-3d定位方法 | |
| CN117877088A (zh) | 一种融合多维度参考指标的人脸图像质量评估方法 | |
| CN113012201B (zh) | 一种基于深度学习的地面无人平台人员跟踪方法 | |
| CN114022831A (zh) | 一种基于双目视觉的牲畜体况监测方法及系统 | |
| CN111967579A (zh) | 使用卷积神经网络对图像进行卷积计算的方法和装置 | |
| CN111832370A (zh) | 人脸姿态的识别方法、装置和电子设备 | |
| CN116863352B (zh) | 一种超大幅面遥感影像异常区域检测方法 | |
| CN118279964B (zh) | 基于面部视频非接触式测量的客舱舒适度识别系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |