CN117058114A - 一种人脸图像质量评估方法 - Google Patents
一种人脸图像质量评估方法 Download PDFInfo
- Publication number
- CN117058114A CN117058114A CN202311071503.3A CN202311071503A CN117058114A CN 117058114 A CN117058114 A CN 117058114A CN 202311071503 A CN202311071503 A CN 202311071503A CN 117058114 A CN117058114 A CN 117058114A
- Authority
- CN
- China
- Prior art keywords
- image
- definition
- nose
- mouth
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001303 quality assessment method Methods 0.000 title claims abstract description 19
- 210000001508 eye Anatomy 0.000 claims abstract description 109
- 210000001331 nose Anatomy 0.000 claims abstract description 106
- 210000000214 mouth Anatomy 0.000 claims abstract description 100
- 238000001514 detection method Methods 0.000 claims abstract description 33
- 238000013441 quality evaluation Methods 0.000 claims abstract description 26
- 238000000034 method Methods 0.000 claims abstract description 24
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 238000005259 measurement Methods 0.000 claims description 30
- 239000000523 sample Substances 0.000 claims description 16
- 239000013074 reference sample Substances 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000010801 machine learning Methods 0.000 claims description 5
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 210000000887 face Anatomy 0.000 abstract description 11
- 238000005286 illumination Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000013210 evaluation model Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本发明属于人脸识别技术领域，具体涉及一种人脸图像质量评估方法，包括：获取待评估人脸图像；对待评估的人脸图像进行预处理；将预处理后的图像输入到初始检测模型中，得到待评估图像中的眼、鼻、口的数据信息；将待评估图像中的眼、鼻、口的数据信息输入到边界框轴线位置判断模型中，得到待评估图像的眼、鼻、口边界框轴线位置；根据待评估图像的眼、鼻、口边界框轴线位置计算人脸图像的清晰度；根据计算出的清晰度对人脸图像进行质量评估；本发明提出的人脸质量评估方法，能够有效滤除因故意遮挡而造成的不完整人脸、因姿态角度过大而造成的畸变人脸以及因画面抖动而造成的模糊人脸等典型的低质量人脸图像，提高了人脸识别的准确度。
Description
技术领域
本发明属于人脸识别技术领域，具体涉及一种人脸图像质量评估方法。
背景技术
人脸质量评估是指对人脸图像或视频帧进行分析与评估，以尽可能确保其在识别、匹配、检测等任务中的可用性和准确性。人脸质量评估在人脸识别系统中扮演着重要的角色并发挥着积极的作用：通过人脸质量评估，能够排除掉低质量的人脸图像，确保系统只使用高质量的图像数据进行识别，从而提高识别准确率；低质量的人脸图像往往会受到遮挡、光照等因素的影响，容易导致识别错误，通过评估人脸质量并排除低质量图像，能够减少这些因素对系统的干扰，提高系统鲁棒性；人脸质量评估可以帮助系统自动识别并排除掉不合格的图像，减少不必要的计算和存储开销，从而优化系统性能和效率。
传统的脸质量评估方法为：首先是图像预处理，即对输入的人脸图像进行预处理，包括去噪、调整亮度对比度等操作，以提高后续评估的准确性；接着是人脸检测与关键点定位，即使用人脸检测算法定位输入图像中的人脸，通过关键点定位算法获取面部特征点的位置，如眼睛、鼻子、嘴巴等；然后是质量指标计算，即根据一系列质量指标对人脸进行评估，常用的质量指标包括清晰度、光照条件、模糊程度、遮挡情况、表情变化等，这些指标可以通过计算图像的梯度、灰度变化、纹理复杂度等特征来得到；最后是质量评估与筛选，即根据质量指标的计算结果，将人脸分为高质量和低质量两类。高质量人脸具有清晰、无遮挡、正常光照等特征，而低质量人脸则相反。对于高质量人脸，可以直接应用于人脸识别系统；对于低质量人脸，则可以选择进行图像增强或者重新采集。
然而，以上方法流程仅仅将该问题视作单纯的图像质量评估，却并未考虑其所依赖的人脸识别系统，导致识别的准确性较低。
发明内容
为解决以上现有技术存在的问题，本发明提出了一种人脸图像质量评估方法，该方法包括：
S1：获取待评估人脸图像；对待评估的人脸图像进行预处理；
S2：将预处理后的图像输入到初始检测模型中，得到待评估图像中的眼、鼻、口的数据信息；
S3：将待评估图像中的眼、鼻、口的数据信息输入到边界框轴线位置判断模型中，得到待评估图像的眼、鼻、口边界框轴线位置；
S4：根据待评估图像的眼、鼻、口边界框轴线位置计算人脸图像的清晰度；根据计算出的清晰度对人脸图像进行质量评估。
优选的，对待评估的人脸图像进行预处理包括对人脸图像进行滤波、增强、补全以及去冗处理。
优选的，采用初始检测模型对预处理后的图像进行处理包括：对预处理后的图像进行人脸检测，得到人脸边界框；根据人脸边界框对待评估的人脸图像进行裁剪，得到原始人脸图像；将人脸原始图像进行缩放，并将缩放后的人脸图像输入到训练后的机器学习模型中，得到检测结果，其中检测结果包括眼、鼻、口分别对应的矩形边界框位置大小、类别、置信度；设定目标检测置信度阈值，滤除所有置信度低于置信度阈值的检测目，得到最终的眼、鼻、口的数据信息，并记录眼、鼻、口的位置信息。
优选的，边界框轴线位置判断模型对眼、鼻、口数据信息进行处理的过程包括：
步骤1：设置像素坐标原点，并建立直角坐标系；
步骤2：根据眼的位置信息设置左侧眼睛对应的矩形边界框位置大小(X,Y,W,H)＝(xeye1,yeye1,weye1,heye1)和左侧眼睛对应的矩形边界框位置大小(X,Y,W,H)＝(xeye2,yeye2,weye2,heye2)，且xeye1<xeye2；其中X为矩形边界框左上角点的横轴坐标，Y为矩形边界框左上角点的纵轴坐标，W为矩形边界框在横轴上的宽度，H为矩形边界框在纵轴上的高度；
步骤3：根据鼻的位置信息设置鼻子对应的矩形边界框中心点所在横轴坐标，其表达式为：
步骤4：根据嘴的位置信息设置设置嘴巴对应的矩形边界框中心点所在横轴坐标，器表达是为
步骤5：比较眼、鼻、口横坐标的大小，若不满足x_ceye1<min(x_cnose,
x_cmouth≤maxx_cnose,x_cmouth<x_ceye2，其中min与max分别表示取最小值与最大值，则返回错误警告，并退出人脸图像质量评估；若满足，则执行步骤6；
步骤6：记左侧眼睛对应的矩形边界框中心点所在纵轴坐标为 右侧眼睛对应的矩形边界框中心点所在纵轴坐标为/> 鼻子对应的矩形边界框中心点所在纵轴坐标为/> 嘴巴对应的矩形边界框中心点所在纵轴坐标为/>
步骤7：比较眼、鼻、口纵坐标的的大小，若若不满足min(y_ceye1,y_ceye2)≤max(y_ceye1,y_ceye2)<y_cnose<y_cmouth，则返回错误警告，并退出人脸图像质量评估；若满足，则执行下一步
优选的，计算人脸图像的清晰度包括：获取人脸眼、鼻、口关键区域；根据眼部关键区域与口鼻关键区域的边界框位置大小分别从缩放人脸图像中裁剪出对应的关键区域，得到眼部关键区域图像与口鼻关键区域图像；分别计算眼部关键区域图像与口鼻关键区域图像的清晰度；根据预先设定的清晰度衡量指标阈值比较眼部关键区域图像与口鼻关键区域图像的清晰度的大小，若眼部关键区域图像清晰度衡量指标低于阈值或口鼻关键区域图像清晰度衡量指标低于阈值，则返回错误警告，并退出人脸图像质量评估；若眼部关键区域图像清晰度衡量指标高于阈值且口鼻关键区域图像清晰度高于阈值，则返回成功信息，并输出人脸图像的清晰度。
进一步的，计算人脸图像的清晰度包括：人脸眼、鼻、口关键区域包括：眼部关键区域对应的矩形边界框位置大小为(X,Y,W,H)＝(min(xeye1,xeye2),
minyeye1,yeye2,maxxeye1+weye1,xeye2+weye2-minxeye1,xeye2,maxyeye1+heye1,yeye2+heye2-minyeye1,yeye2＝xeye1,minyeye1,yeye2,xeye2+weye2-xeye1,maxyeye1+heye1,yeye2+heye2-minyeye1,yeye2，其中xeye1<xeye2；口鼻关键区域对应的矩形边界框位置大小为(X,Y,W,H)＝(min(xnose,xmouth),min(ynose,ymouth),max(xnose+wnose,xmouth+wmouth-minxnose,xmouth,maxynose+hnose,
ymouth+hmouth-minynose,ymouth＝minxnose,xmouth,ynose,
maxxnose+wnose,xmouth+wmouth-minxnose,xmouth,ymouth+hmouth-ynose，其中ynose<ymouth。
进一步的，设置清晰度衡量指标阈值包括：设置一个基准样本集；计算基准样本集中所有样本对应图像清晰度衡量指标的平均值，将该平均值的70％作为基准清晰度；计算新样本的图像清晰度，将计算出的样本清晰度与基准清晰度进行判别，若新样本的图像清晰度低于基准清晰度，则判定为不满足清晰度要求；若高于基准清晰度，则判定为满足清晰度要求，并将该样本加入基准样本集，重新计算更新后的基准清晰度；重复上述过程，直到所有的样本计算完成，则将最终的基准清晰度作为清晰度衡量指标阈值。
本发明的有益效果：
本发明所提出的人脸质量评估方法，以人脸识别的最终目标为导向，着眼人脸正面五官区域内的关键信息对输入人脸图像进行鉴别，对人脸质量评估问题进行了简化，同时也有助于人脸识别系统正确识别出相应的人脸信息；本发明所提出的人脸质量评估方法，能够有效滤除如因故意遮挡而造成的不完整人脸、因姿态角度过大而造成的畸变人脸以及因画面抖动而造成的模糊人脸等典型的低质量人脸图像，为人脸识别系统筛选出符合识别条件的高质量人脸图像；本发明所提出的人脸质量评估方法，对传统的人脸质量评估方法与流程进行了改进，提供了一种高效且更轻量化的解决方案，同时也适用于不同的应用场景，部署难度较低且易于维护。
附图说明
图1为本发明的整体流程图；
图2为本发明的人脸眼鼻口边界框轴线位置示意图；
图3为本发明的人脸眼部及口鼻关键区域示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种人脸图像质量评估方法，如图1所示，该方法包括：
S1：获取待评估人脸图像；对待评估的人脸图像进行预处理；
S2：将预处理后的图像输入到初始检测模型中，得到待评估图像中的眼、鼻、口的数据信息；
S3：将待评估图像中的眼、鼻、口的数据信息输入到边界框轴线位置判断模型中，得到待评估图像的眼、鼻、口边界框轴线位置；
S4：根据待评估图像的眼、鼻、口边界框轴线位置计算人脸图像的清晰度；根据计算出的清晰度对人脸图像进行质量评估。
对待评估的人脸图像进行预处理包括对人脸图像进行滤波、增强、补全以及去冗处理。
在本实施例中，采用初始检测模型对预处理后的图像进行处理包括：对预处理后的图像进行人脸检测，得到人脸边界框；根据人脸边界框对待评估的人脸图像进行裁剪，得到原始人脸图像；将人脸原始图像进行缩放，并将缩放后的人脸图像输入到训练后的机器学习模型中，得到检测结果，其中检测结果包括眼、鼻、口分别对应的矩形边界框位置大小、类别、置信度；设定目标检测置信度阈值，滤除所有置信度低于置信度阈值的检测目，得到最终的眼、鼻、口的数据信息，并记录眼、鼻、口的位置信息。记高置信度检测目标中被检测为眼睛的目标个数为num(eye)，被检测为鼻子的目标个数为num(nose)，被检测为嘴巴的目标个数为num(mouth)；若num(eye)≠2或num(nose)≠1或num(mouth)≠1，则返回错误警告，提示因遮挡未通过人脸图像质量评估并退出；若num(eye)＝2且num(nose)＝1且num(mouth)＝1，则分别记录眼鼻口各个边界框的位置大小。
如图2和图3所示，边界框轴边界框轴线位置判断模型对眼、鼻、口数据信息进行处理的过程包括：
步骤1：设置像素坐标原点，并建立直角坐标系；即记正面竖直缩放人脸图像的左上角点为像素坐标原点(X,Y)＝(0,0)，其中，X为横轴坐标，向右延伸为正，Y为纵轴坐标，向下延伸为正。
步骤2：根据眼的位置信息设置左侧眼睛对应的矩形边界框位置大小(X,Y,W,H)＝(xeye1,yeye1,weye1,heye1)和左侧眼睛对应的矩形边界框位置大小(X,Y,W,H)＝(xeye2,yeye2,weye2,heye2)，且xeye1<xeye2；其中X为矩形边界框左上角点的横轴坐标，Y为矩形边界框左上角点的纵轴坐标，W为矩形边界框在横轴上的宽度，H为矩形边界框在纵轴上的高度；
步骤3：根据鼻的位置信息设置鼻子对应的矩形边界框中心点所在横轴坐标，其表达式为：
步骤4：根据嘴的位置信息设置设置嘴巴对应的矩形边界框中心点所在横轴坐标，器表达是为
步骤5：比较眼、鼻、口横坐标的大小，若不满足x_ceye1<min(x_cnose,x_cmouth)≤max(x_cnose,x_cmouth)<x_ceye2，其中min与max分别表示取最小值与最大值，则返回错误警告，并退出人脸图像质量评估；若满足，则执行步骤6；
步骤6：记左侧眼睛对应的矩形边界框中心点所在纵轴坐标为 右侧眼睛对应的矩形边界框中心点所在纵轴坐标为/> 鼻子对应的矩形边界框中心点所在纵轴坐标为/> 嘴巴对应的矩形边界框中心点所在纵轴坐标为/>
步骤7：比较眼、鼻、口纵坐标的的大小，若若不满足min(y_ceye1,y_ceye2)≤max(y_ceye1,y_ceye2)<y_cnose<y_cmouth，则返回错误警告，并退出人脸图像质量评估；若满足，则执行下一步。
计算人脸图像的清晰度包括：获取人脸眼、鼻、口关键区域；根据眼部关键区域与口鼻关键区域的边界框位置大小分别从缩放人脸图像中裁剪出对应的关键区域，得到眼部关键区域图像与口鼻关键区域图像；分别计算眼部关键区域图像与口鼻关键区域图像的清晰度；根据预先设定的清晰度衡量指标阈值比较眼部关键区域图像与口鼻关键区域图像的清晰度的大小，若眼部关键区域图像清晰度衡量指标低于阈值或口鼻关键区域图像清晰度衡量指标低于阈值，则返回错误警告，并退出人脸图像质量评估；若眼部关键区域图像清晰度衡量指标高于阈值且口鼻关键区域图像清晰度高于阈值，则返回成功信息，并输出人脸图像的清晰度。
人脸眼、鼻、口关键区域包括：眼部关键区域对应的矩形边界框位置大小为(X,Y,W,H)＝(min(xeye1,xeye2),min(yeye1,yeye2),max(xeye1+weye1,xeye2+weye2)-min(xeye1,xeye2),max(yeye1+heye1,yeye2+heye2)-min(yeye1,yeye2))＝(xeye1,min(yeye1,yeye2),xeye2+weye2-xeye1,max(yeye1+heye1,yeye2+heye2)-min(yeye1,yeye2))，其中xeye1<xeye2；口鼻关键区域对应的矩形边界框位置大小为(X,Y,W,H)＝(min(xnose,xmouth),min(ynose,ymouth),max(xnose+wnose,xmouth+wmouth)-min(xnose,xmouth),max(ynose+hnose,ymouth+hmouth)-min(ynose,ymouth))＝(min(xnose,xmouth),ynose,max(xnose+wnose,xmouth+wmouth)-min(xnose,xmouth),ymouth+hmouth-ynose)，其中ynose<ymouth。
计算人脸图像的清晰度可以采用传统图像处理方法，如计算像素方差、图像梯度、拉普拉斯算子、傅里叶频谱等，或采用机器学习方法。
在本实施例中，设置清晰度衡量指标阈值包括：设置一个基准样本集；计算基准样本集中所有样本对应图像清晰度衡量指标的平均值，将该平均值的70％作为基准清晰度；计算新样本的图像清晰度，将计算出的样本清晰度与基准清晰度进行判别，若新样本的图像清晰度低于基准清晰度，则判定为不满足清晰度要求；若高于基准清晰度，则判定为满足清晰度要求，并将该样本加入基准样本集，重新计算更新后的基准清晰度；重复上述计算样本清晰度的过程，直到所有的样本计算完成，则将最终的基准清晰度作为清晰度衡量指标阈值。
在本实施例中，以机场为例；机场开放多个安检通道，每个安检通道入口配备一台身份验证闸机，每台入口闸机所用人脸摄像头分辨率480宽×640高，实时检测画面中的人脸；在待检旅客通过闸机时适当引导，采集得到其位于既定画面中心区域内的正面人脸图像；具体包括：
步骤1：眼鼻口位置数量检测；
步骤11：通过安检通道入口闸机人脸摄像头拍摄当前待验证旅客的现场输入图像，在所采集到的现场输入图像中进行人脸检测，得到若干人脸边界框，每一个人脸边界框对应一个人脸位置大小；提取画面中心区域内的最大面积人脸边界框，作为当前待验证旅客的人脸边界框位置，分别进行以下操作：
步骤12：根据当前待验证旅客人脸边界框位置大小从现场输入图像中裁剪出对应的人脸区域，得到原始人脸图像；将原始人脸图像尺寸缩放到300宽×300高(以适配SSD的输入尺寸)，得到缩放人脸图像；
步骤13：将缩放人脸图像输入到预先训练好的SSD模型中(该目标检测模型采用20000张预先标注的人脸眼鼻口数据样本进行训练，能够同时检测三类目标，即眼睛、鼻子、嘴巴)，分别得到对应的检测结果(包含所检测出各个目标对应的矩形边界框位置大小、类别、置信度)；
步骤14：据预先设定的目标检测置信度阈值0.9，滤除所有置信度低于置信度阈值的检测目标，对于每一张缩放人脸图像，统计剩下高置信度检测目标中不同类别的目标个数；
步骤15：记高置信度检测目标中被检测为眼睛的目标个数为num(eye)，被检测为鼻子的目标个数为num(nose)，被检测为嘴巴的目标个数为num(mouth)；若num(eye)≠2或num(nose)≠1或num(mouth)≠1，则返回错误警告，提示因遮挡未通过人脸图像质量评估并退出；若num(eye)＝2且num(nose)＝1且num(mouth)＝1，则分别记录眼鼻口各个边界框的位置大小，而后并行进入步骤2与步骤3；
步骤2：眼鼻口边界框轴线位置判断。
步骤21：记正面竖直缩放人脸图像的左上角点为像素坐标原点(X,Y)＝(0,0)，其中，X为横轴坐标，向右延伸为正，Y为纵轴坐标，向下延伸为正；记左侧眼睛对应的矩形边界框位置大小为(X,Y,W,H)＝(xeye1,yeye1,weye1,heye1)，其中，X为矩形边界框左上角点的横轴坐标，Y为矩形边界框左上角点的纵轴坐标，W为矩形边界框在横轴上的宽度，H为矩形边界框在纵轴上的高度；同理可得，记右侧眼睛对应的矩形边界框位置大小为(X,Y,W,H)＝(xeye2,yeye2,
weye2,heye2，其中xeye1<xeye2，记鼻子对应的矩形边界框位置大小为(X,Y,W,H)＝(xnose,ynose,wnose,hnose)，记嘴巴对应的矩形边界框位置大小为(X,Y,W,H)＝(xmouth,ymouth,wmouth,hmouth)；
步骤22：记左侧眼睛对应的矩形边界框中心点所在横轴坐标为 同理可得，记右侧眼睛对应的矩形边界框中心点所在横轴坐标为/>其中x_ceye1<x_ceye2，记鼻子对应的矩形边界框中心点所在横轴坐标为/>记嘴巴对应的矩形边界框中心点所在横轴坐标为/>比较大小关系，若不满足x_ceye1<min(x_cnose,x_cmouth)≤max(x_cnose,x_cmouth)<x_ceye2，其中min与max分别表示取最小值与最大值，则返回错误警告，提示因姿态不满足条件未通过人脸图像质量评估并退出；若满足，则进入下一步；
步骤23：记左侧眼睛对应的矩形边界框中心点所在纵轴坐标为 同理可得，记右侧眼睛对应的矩形边界框中心点所在纵轴坐标为/>记鼻子对应的矩形边界框中心点所在纵轴坐标为记嘴巴对应的矩形边界框中心点所在纵轴坐标为比较大小关系，若不满足max(y_ceye1,
y_ceye2<y_cnose<y_cmouth，则返回错误警告，提示因姿态不满足条件未通过人脸图像质量评估并退出；若满足，则返回成功信息。
步骤3：关键区域图像清晰度计算。
步骤31：合并左侧眼睛与右侧眼睛所在区域，得到眼部关键区域，记眼部关键区域对应的矩形边界框位置大小为(X,Y,W,H)＝(xeye1,min(yeye1,yeye2),
xeye2+weye2-xeye1,maxyeye1+heye1,yeye2+heye2-minyeye1,yeye2，其中xeye1<xeye2；同理可得，合并鼻子与嘴巴所在区域，得到口鼻关键区域，记口鼻关键区域对应的矩形边界框位置大小为(X,Y,W,H)＝(min(xnose,xmouth),ynose,max(xnose+wnose,xmouth+wmouth)-min(xnose,
xmouth,ymouth+hmouth-ynose，其中ynose<ymouth；
步骤32：根据所得眼部关键区域与口鼻关键区域的边界框位置大小分别从缩放人脸图像中裁剪出对应的关键区域，得到眼部关键区域图像与口鼻关键区域图像；
步骤33：采用机器学习方法，通过预先训练的图像清晰度评估模型(该图像清晰度评估模型为深度神经网络ResNet-50，采用8000张预先标注的不同图像清晰度的人脸数据样本进行训练，输出图像清晰度分数)，分别计算眼部关键区域图像与口鼻关键区域图像的清晰度，所计算得到的图像清晰度衡量指标，取值范围从0.0到1.0(0.0表示完全模糊，1.0表示完全清晰)。
根据预先设定的清晰度衡量指标阈值0.7，比较大小关系：若眼部关键区域图像清晰度衡量指标低于阈值(不满足清晰度要求)或口鼻关键区域图像清晰度衡量指标低于阈值(不满足清晰度要求)，则返回错误警告，提示因关键区域清晰度衡量指标不满足条件未通过人脸图像质量评估并退出；若眼部关键区域图像清晰度衡量指标高于阈值(满足清晰度要求)且口鼻关键区域图像清晰度高于阈值(满足清晰度要求)，则返回成功信息。
若步骤2与步骤3均返回成功信息，则提示通过人脸图像质量评估。而后，将通过人脸图像质量评估的缩放人脸图像所对应的原始人脸图像，作为人脸识别系统的输入，完成后续身份认证流程。
在本实施例中，公开看一种计算眼部关键区域图像与口鼻关键区域图像的清晰度的方法，在该方法中采用拉普拉斯算子进行计算。具体包括：记拉普拉斯算子为对于一个M×N大小的图像，记坐标(x,y)位置的像素值为g(x,y)，则图像清晰度评价函数/> 计算得到图像清晰度衡量指标。
根据预先设定的清晰度衡量指标阈值100，比较大小关系：若眼部关键区域图像清晰度衡量指标低于阈值(不满足清晰度要求)或口鼻关键区域图像清晰度衡量指标低于阈值(不满足清晰度要求)，则返回错误警告，提示因关键区域清晰度衡量指标不满足条件未通过人脸图像质量评估并退出；若眼部关键区域图像清晰度衡量指标高于阈值(满足清晰度要求)且口鼻关键区域图像清晰度高于阈值(满足清晰度要求)，则返回成功信息，提示通过人脸图像质量评估。
以上所举实施例，对本发明的目的、技术方案和优点进行了进一步的详细说明，所应理解的是，以上所举实施例仅为本发明的优选实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内对本发明所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种人脸图像质量评估方法，其特征在于，包括：
S1：获取待评估人脸图像；对待评估的人脸图像进行预处理；
S2：将预处理后的图像输入到初始检测模型中，得到待评估图像中的眼、鼻、口的数据信息；
S3：将待评估图像中的眼、鼻、口的数据信息输入到边界框轴线位置判断模型中，得到待评估图像的眼、鼻、口边界框轴线位置；
S4：根据待评估图像的眼、鼻、口边界框轴线位置计算人脸图像的清晰度；根据计算出的清晰度对人脸图像进行质量评估。
2.根据权利要求1所述的一种人脸图像质量评估方法，其特征在于，对待评估的人脸图像进行预处理包括对人脸图像进行滤波、增强、补全以及去冗处理。
3.根据权利要求1所述的一种人脸图像质量评估方法，其特征在于，采用初始检测模型对预处理后的图像进行处理包括：对预处理后的图像进行人脸检测，得到人脸边界框；根据人脸边界框对待评估的人脸图像进行裁剪，得到原始人脸图像；将人脸原始图像进行缩放，并将缩放后的人脸图像输入到训练后的机器学习模型中，得到检测结果，其中检测结果包括眼、鼻、口分别对应的矩形边界框位置大小、类别、置信度；设定目标检测置信度阈值，滤除所有置信度低于置信度阈值的检测目，得到最终的眼、鼻、口的数据信息，并记录眼、鼻、口的位置信息。
4.根据权利要求1所述的一种人脸图像质量评估方法，其特征在于，边界框轴线位置判断模型对眼、鼻、口数据信息进行处理的过程包括：
步骤1：设置像素坐标原点，并建立直角坐标系；
步骤2：根据眼的位置信息设置左侧眼睛对应的矩形边界框位置大小(X,Y,W,H)＝(xeye1,yeye1,weye1,heye1)和左侧眼睛对应的矩形边界框位置大小(X,Y,W,H)＝(xeye2,yeye2,weye2,heye2)，且xeye1<xeye2；其中X为矩形边界框左上角点的横轴坐标，Y为矩形边界框左上角点的纵轴坐标，W为矩形边界框在横轴上的宽度，H为矩形边界框在纵轴上的高度；
步骤3：根据鼻的位置信息设置鼻子对应的矩形边界框中心点所在横轴坐标，其表达式为：
步骤4：根据嘴的位置信息设置设置嘴巴对应的矩形边界框中心点所在横轴坐标，器表达是为
步骤5：比较眼、鼻、口横坐标的大小，若不满足x_ceye1<min(x_cnose,
x_cmouth≤maxx_cnose,x_cmouth<x_ceye2，其中min与max分别表示取最小值与最大值，则返回错误警告，并退出人脸图像质量评估；若满足，则执行步骤6；
步骤6：记左侧眼睛对应的矩形边界框中心点所在纵轴坐标为 右侧眼睛对应的矩形边界框中心点所在纵轴坐标为/> 鼻子对应的矩形边界框中心点所在纵轴坐标为/> 嘴巴对应的矩形边界框中心点所在纵轴坐标为/>
步骤7：比较眼、鼻、口纵坐标的的大小，若不满足min(y_ceye1,y_ceye2)≤max(y_ceye1,y_ceye2)<y_cnose<y_cmouth，则返回错误警告，并退出人脸图像质量评估；若满足，则执行下一步。
5.根据权利要求1所述的一种人脸图像质量评估方法，其特征在于，计算人脸图像的清晰度包括：获取人脸眼、鼻、口关键区域；根据眼部关键区域与口鼻关键区域的边界框位置大小分别从缩放人脸图像中裁剪出对应的关键区域，得到眼部关键区域图像与口鼻关键区域图像；分别计算眼部关键区域图像与口鼻关键区域图像的清晰度；根据预先设定的清晰度衡量指标阈值比较眼部关键区域图像与口鼻关键区域图像的清晰度的大小，若眼部关键区域图像清晰度衡量指标低于阈值或口鼻关键区域图像清晰度衡量指标低于阈值，则返回错误警告，并退出人脸图像质量评估；若眼部关键区域图像清晰度衡量指标高于阈值且口鼻关键区域图像清晰度高于阈值，则返回成功信息，并输出人脸图像的清晰度。
6.根据权利要求5所述的一种人脸图像质量评估方法，其特征在于，人脸眼、鼻、口关键区域包括：眼部关键区域对应的矩形边界框位置大小为(X,Y,W,H)＝(min(xeye1,xeye2),min(yeye1,yeye2),max(xeye1+weye1,xeye2+weye2)-minxeye1,xeye2,maxyeye1+heye1,yeye2+heye2-minyeye1,yeye2＝(xeye1,min(yeye1,yeye2),xeye2+weye2-xeye1,max(yeye1+heye1,yeye2+heye2-minyeye1,yeye2，其中xeye1<xeye2；口鼻关键区域对应的矩形边界框位置大小为(X,Y,W,H)＝(min(xnose,xmouth),min(ynose,ymouth),
maxxnose+wnose,xmouth+wmouth-minxnose,xmouth,
maxynose+hnose,ymouth+hmouth-minynose,ymouth＝minxnose,xmouth,ynose,maxxnose+wnose,xmouth+wmouth-minxnose,xmouth,ymouth+hmouth-ynose，其中ynose<ymouth。
7.根据权利要求5所述的一种人脸图像质量评估方法，其特征在于，设置清晰度衡量指标阈值包括：设置一个基准样本集；计算基准样本集中所有样本对应图像清晰度衡量指标的平均值，将该平均值的70％作为基准清晰度；计算新样本的图像清晰度，将计算出的样本清晰度与基准清晰度进行判别，若新样本的图像清晰度低于基准清晰度，则判定为不满足清晰度要求；若高于基准清晰度，则判定为满足清晰度要求，并将该样本加入基准样本集，重新计算更新后的基准清晰度；重复上述过程，直到所有的样本计算完成，则将最终的基准清晰度作为清晰度衡量指标阈值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311071503.3A CN117058114A (zh) | 2023-08-24 | 2023-08-24 | 一种人脸图像质量评估方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311071503.3A CN117058114A (zh) | 2023-08-24 | 2023-08-24 | 一种人脸图像质量评估方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117058114A true CN117058114A (zh) | 2023-11-14 |
Family
ID=88667403
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311071503.3A Pending CN117058114A (zh) | 2023-08-24 | 2023-08-24 | 一种人脸图像质量评估方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117058114A (zh) |
-
2023
- 2023-08-24 CN CN202311071503.3A patent/CN117058114A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107423690B (zh) | 一种人脸识别方法及装置 | |
| CN106557726B (zh) | 一种带静默式活体检测的人脸身份认证系统及其方法 | |
| CN106056079B (zh) | 一种图像采集设备及人脸五官的遮挡检测方法 | |
| WO2019127262A1 (zh) | 基于云端的人脸活体检测方法、电子设备和程序产品 | |
| US12056954B2 (en) | System and method for selecting images for facial recognition processing | |
| US7542591B2 (en) | Target object detecting method, apparatus, and program | |
| US8254644B2 (en) | Method, apparatus, and program for detecting facial characteristic points | |
| AU2018253963B2 (en) | Detection system, detection device and method therefor | |
| CN111209820B (zh) | 人脸活体检测方法、系统、设备及可读存储介质 | |
| KR20170006355A (ko) | 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치 | |
| JP7264308B2 (ja) | 二次元顔画像の２つ以上の入力に基づいて三次元顔モデルを適応的に構築するためのシステムおよび方法 | |
| CN111753650A (zh) | 一种自动跟踪人脸的摄像头转动控制方法 | |
| CN112991159B (zh) | 人脸光照质量评估方法、系统、服务器与计算机可读介质 | |
| CN111274851A (zh) | 一种活体检测方法及装置 | |
| CN112329597A (zh) | 一种人脸识别的方法和装置 | |
| CN117058114A (zh) | 一种人脸图像质量评估方法 | |
| JP2005084979A (ja) | 顔認証システムおよび方法並びにプログラム | |
| CN115019364A (zh) | 基于人脸识别的身份认证方法、装置、电子设备及介质 | |
| CN108288261A (zh) | 脸部照片的筛选方法及脸部辨识系统 | |
| CN112215064A (zh) | 一种用于公共安全防范的人脸识别方法及系统 | |
| CN117197876B (zh) | 一种基于深度学习的人脸识别安防系统及其方法 | |
| JPH07282260A (ja) | 時系列顔画像処理による個人の認識方法 | |
| Bazanov et al. | Comparison of gabor wavelet and neural network-based face detection algorithms. | |
| CN118570568A (zh) | 基于深度学习智能检测过滤图片特定区域差异度的方法 | |
| CN117011921A (zh) | 一种提高人脸识别率的图像处理方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |