CN116386123A - 人脸质量分析方法、装置、计算机设备及存储介质 - Google Patents
人脸质量分析方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN116386123A CN116386123A CN202310665108.1A CN202310665108A CN116386123A CN 116386123 A CN116386123 A CN 116386123A CN 202310665108 A CN202310665108 A CN 202310665108A CN 116386123 A CN116386123 A CN 116386123A
- Authority
- CN
- China
- Prior art keywords
- face
- key point
- image
- face image
- key
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 35
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 16
- 238000006243 chemical reaction Methods 0.000 claims description 22
- 238000004364 calculation method Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 7
- 238000000034 method Methods 0.000 abstract description 28
- 210000003128 head Anatomy 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
- G06V10/993—Evaluation of the quality of the acquired pattern
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及人脸识别领域,公开了一种人脸质量分析方法、装置、计算机设备及存储介质,该方法包括:通过人脸关键点算法,获取人脸图像上的所有关键点,并对所述所有关键点进行转换,得到所述人脸图像上的第一关键点、第二关键点、第三关键点、第四关键点和第五关键点的坐标值;若任意关键点缺失,则判断所述人脸图像为低质量图像;若存在五个关键点,则根据所述五个关键点,确定所述人脸图像中人脸的位置是否在图像中央,判断人脸是否为侧脸;若所述人脸图像中人脸不在正中或是侧脸,则所述人脸图像为低质量图像。从而可以快速简单的进行人脸图像质量分析。
Description
技术领域
本发明涉及人脸识别领域,尤其涉及一种人脸质量分析方法、装置、计算机设备及存储介质。
背景技术
当前人脸质量分析大体可以分为两类方法:一类是近些年兴起的结合深度学习技术训练一个回归器,由大量数据驱动,该回归器直接对输入的人脸进行预测得到人脸质量分数;第二类是通过2D平面标定信息来估计3D人脸姿态的算法,例如计算人脸的关键点,选取一个参考系,一般为平均正脸的关键点对,计算人脸与参考系的转换矩阵,进一步通过迭代优化的方法来计算人脸的姿态。由于人脸识别业务场景更多的部署在边缘设备,方法一所提及的技术虽然能够随着训练数量量级的增加,精度有提升,但是计算量和时延不适用于边缘设备的部署。
方法二在业内的部署更为广泛,但是仍然面临着以下问题:1.由于该方法在二维平面的应用是对三维场景的简化,使用中世界坐标系、相机内参和图像坐标系的转换均进行了简化,因此计算出的转换矩阵和旋转向量与实际业务有出入,该方法在三维场景精度尚可,二维平面误差较大。2.该方法实际计算流程偏多,从3D人脸信息降维(相机标定简化)、不同内核算法解析变换矩阵和旋转向量、向量换算为欧拉角等三大步骤,由于计算是串行,第一步开始近似简化,在后续步骤计算误差会进一步放大,且由于步骤多,多为矩阵运算在边缘设备依然有运算量的压力。3.平均正脸(绝对正脸)的选取本身会引入误差。
发明内容
第一方面,本申请提供一种人脸质量分析方法,包括:
通过人脸特征点算法,获取人脸图像上的所有特征点,并对所述所有特征点进行转换得到转换结果;
判断所述转换结果中是否包含人脸上的第一关键点、第二关键点、第三关键点、第四关键点和第五关键点,若存在任意关键点缺失,则确定所述人脸图像为低质量图像;
若存在五个关键点,则根据所述五个关键点的坐标值,确定所述人脸图像中人脸的位置是否在所述人脸图像的中央,以及判断所述人脸是否为侧脸;
若所述人脸图像中人脸不在所述人脸图像的中央或存在侧脸的情况,则确定所述人脸图像为低质量图像。
进一步的,所述第一关键点为人脸左眼,所述第二关键点为人脸右眼,所述第三关键点为鼻子,所述第四关键点为左嘴角,所述第五关键点为右嘴角。
进一步的,所述确定所述人脸图像中人脸的位置是否在图像中央,包括:
获取所述人脸图像的宽值和高值;
判断所述第一关键点的横坐标或纵坐标是否为0;
判断所述第二关键点的横坐标是否为所述宽值,或纵坐标是否为0;
判断所述第四关键点的横坐标是否为0,或纵坐标是否为所述高值;
判断所述第五关键点的横坐标是否为所述宽值,或纵坐标是否为所述高值;
若上述任一判断结果为是,则确定所述人脸图像中的人脸不在图像中央。
进一步的,所述判断所述人脸是否为侧脸,包括:
确定所述第一关键点、所述第二关键点、所述第四关键点与所述第五关键点与所述第三关键点的相对位置;
若所述第一关键点与所述第二关键点位于所述第三关键点的同侧,或所述第四关键点与所述第五关键点位于所述第三关键点的同侧,则确定所述人脸图像中的人脸为侧脸。
进一步的,所述方法还包括:
计算所述第四关键点与所述第三关键点的第一水平距离,计算所述第五关键点与所述第三关键点的第二水平距离;
计算所述第一水平距离和所述第二水平距离的比值,若所述比值超过限定范围,则确定所述人脸图像为低质量图像。
进一步的,所述方法还包括:
计算所述第四关键点与所述第五关键点的水平距离和垂直距离;
根据所述水平距离和所述垂直距离的比例进行反三角函数计算,得到所述第四关键点与所述第五关键点所在直线与水平线的偏斜角度,判断所述偏斜角度是否大于预设值;
若所述偏斜角度大于所述预设值,则所述人脸图像中的人脸存在歪头情形,所述人脸图像为低质量图像。
进一步的,所述方法还包括:
计算所述第一关键点、所述第二关键点与所述第三关键点之间的第一垂直距离;
计算所述第四关键点、所述第五关键点与所述第三关键点之间的第二垂直距离;
计算所述第一垂直距离和所述第二垂直距离之间的倾斜比例,判断所述倾斜比例是否在预设范围内,若所述倾斜比例不在所述预设范围内,则确定所述人脸图像为低质量图像。
第二方面,本申请还提供一种人脸质量分析装置,包括:
关键点获取模块,用于通过人脸特征点算法,获取人脸图像上的所有特征点,并对所述所有特征点进行转换得到转换结果;
初步判断模块,用于判断所述转换结果中是否包含人脸上的第一关键点、第二关键点、第三关键点、第四关键点和第五关键点,若存在任意关键点缺失,则确定所述人脸图像为低质量图像;
人脸判断模块,用于若存在五个关键点,则根据所述五个关键点的坐标值,确定所述人脸图像中人脸的位置是否在所述人脸图像的中央,以及判断所述人脸是否为侧脸;
质量分析模块,用于若所述人脸图像中人脸不在所述人脸图像的中央或存在侧脸的情况,则确定所述人脸图像为低质量图像。
第三方面,本申请还提供一种计算机设备,包括处理器和存储器,所述存储器存储有计算机程序,所述计算机程序在所述处理器上运行时执行所述的人脸质量分析方法。
第四方面,本申请还提供一种可读存储介质,其存储有计算机程序,所述计算机程序在处理器上运行时执行所述的人脸质量分析方法。
本发明公开了一种人脸质量分析方法、装置、计算机设备及存储介质,该方法包括:通过人脸特征点算法,获取人脸图像上的所有特征点,并对所述所有特征点进行转换得到转换结果;判断所述转换结果中是否包含人脸上的第一关键点、第二关键点、第三关键点、第四关键点和第五关键点,若存在任意关键点缺失,则确定所述人脸图像为低质量图像;若存在五个关键点,则根据所述五个关键点的坐标值,确定所述人脸图像中人脸的位置是否在所述人脸图像的中央,以及判断所述人脸是否为侧脸;若所述人脸图像中人脸不在所述人脸图像的中央或存在侧脸的情况,则确定所述人脸图像为低质量图像。从而可以通过简单的人脸位置判断,快速简单的进行人脸图像质量分析,减少了质量分析的负担,加快了质量分析的速度。
附图说明
为了更清楚地说明本发明的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对本发明保护范围的限定。在各个附图中,类似的构成部分采用类似的编号。
图1示出了本申请实施例一种人脸质量识别方法流程示意图;
图2示出了本申请实施例一种人脸关键点标识示意图;
图3示出了本申请实施例一种人脸质量识别装置结构示意图。
具体实施方式
下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。
通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
在下文中,可在本发明的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合,并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。
此外,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
除非另有限定,否则在这里使用的所有术语(包括技术术语和科学术语)具有与本发明的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义,除非在本发明的各种实施例中被清楚地限定。
本申请应用于对人脸图像的质量识别,在实际的人脸识别工程中,对于质量不好的人脸图像没有必要浪费算力进行识别,本实施例通过关键点识别的方式,识别出五个关键点,并利用该五个关键点的坐标位置,对人脸图像中的人脸状态进行多方面的判定,通过多个判定方式,确定人脸的位置是否属于低质量图像,从而快速的帮助人脸识别程序进行人脸图像质量的筛查,避免执行重复工作。
接下来以具体实施例说明本申请的技术方案。
实施例1
如图1所示,本实施例的人脸图像质量识别方法包括:
步骤S100,通过人脸特征点算法,获取人脸图像上的所有特征点,并对所述所有特征点进行转换得到转换结果。
本实施例的人脸质量识别可以应用在人脸识别模型的训练图像的筛查,或者实际识别场景中,人脸图像质量的筛选,确保进行人脸识别的图像具有基本的质量,减少识别低质量图的情形。
本实施例中基于人脸关键点信息,充分利用关键点之间深层次的拓扑结构,以获得立体人脸在平面的帧间信息。因此本实施例中,通过人脸特征点算法,提取人脸上的特征点,然后通过计算或者转换,以得到最后需要的关键点。
可以以常见的5点或6点特征点算法进行说明,需要注意的是,本文描述的方法不限于5点或6点,任何常见的关键点检测模板如68点、106点等均可以与5点、6点进行转换,从而得到相同的目标关键点,因此无论使用哪种特征点算法,最后都可以得到所需要的关键点,因此都视为等同。
为了对人脸图片质量进行分析,首先利用人脸特征点算法推理得到多个特征点,人脸特征点算法目前业内均有如retinaface等成熟算法,采用常见算法即可,经过转换后的转换结果就是所需的关键点,记得到的关键点坐标:。下标和上述第一到第五关键点的数字对应。
步骤S200,判断所述转换结果中是否包含人脸上的第一关键点、第二关键点、第三关键点、第四关键点和第五关键点,若存在任意关键点缺失,则确定所述人脸图像为低质量图像。
本实施例中,上述的第一关键点、第二关键点、第三关键点、第四关键点和第五关键点分别对应左眼、右眼、鼻子、左嘴角和右嘴角,同时得到对应的横坐标与纵坐标的值。
具体如图2所示,图中的椭圆形表示人脸,其中的点A,B,C,D,E分别是上述的第一关键点、第二关键点、第三关键点、第四关键点和第五关键点。对于68等多个点进行识别的关键点算法,则需要进行转换,最终得到上述对应左眼、右眼、鼻子、左嘴角和右嘴角的五个关键点。
可以理解,若是经过关键点计算后,发现没有得到上述要求的五个关键点,则表示该人脸图像可能存在遮挡,偏斜,不是正脸等情况,例如没有检测到左眼或者右眼,可能是因为光照原因倒是上半脸太黑,或者因为是侧脸所以检测到的两只眼睛的坐标相同,抑或是因为图片质量过差,因为模糊等原因导致识别模型没法识别出所需要的点。这种导致识别的关键点缺失的人脸图像必然是不适合进行后续人脸识别的,所以当关键点缺失时,可以直接判定该人脸图像为低质量图像。
步骤S300,若存在五个关键点,则根据所述五个关键点的坐标值,确定所述人脸图像中人脸的位置是否在所述人脸图像的中央,以及判断所述人脸是否为侧脸。
若识别出了上述五个关键点,则表示该人脸图像中的五官位置是清晰的,接下来需要判断该人脸的位置是否有其他的问题,例如可能存在不在中央或者人脸是侧脸的情况。
针对判断人脸是否在中央,因为人脸的位置和人脸图像相关,因此进行该项判断是,会获取人脸图像的宽值w和高值h。
然后,针对上述的关键点的坐标,依次进行下述判断:
判断所述第一关键点的横坐标或纵坐标是否为0;
判断所述第二关键点的横坐标是否为所述宽值,或纵坐标是否为0;
判断所述第四关键点的横坐标是否为0,或纵坐标是否为所述高值;
判断所述第五关键点的横坐标是否为所述宽值,或纵坐标是否为所述高值;
上述的四条判断中,任意一个判断为是的情况,就表示人脸所在的位置存在较大偏斜。
具体而言,第一关键点为左眼,而图像坐标系中,都是以图像的左上角为原点(0,0)坐标,所以做左眼的横坐标为0或者纵坐标为0,那么该人脸所在位置会在人脸图像偏左或者偏上的位置,显然不在图像中间。同样的,其他的几个判断也可以判断出,人脸图像是否偏向上下左右的方向。可以理解,不在正中央的人脸图像对于识别模型来讲是容易引入误差的,所以该图像会被认为是低质量图像。
针对侧脸的识别,可以通过确定所述第一关键点、第二关键点、所述第四关键点与所述第五关键点与所述第三关键点的相对位置进行判断。
若第一关键点与第二关键点位于所述第三关键点的同侧,或所述第四关键点与所述第五关键点位于所述第三关键点的同侧,则确定所述人脸图像中的人脸为侧脸。
结合图2可知,第三关键点是鼻子所在位置,鼻子为人脸的正中间,因此可以通过坐标判断是否存在第一关键点和第二关键点都在鼻子的一侧,或者第四关键点与第五关键点都在鼻子的一侧。
具体判断方式如下:
左眼、右眼均在鼻子右侧:-->x1>x3 且 x2>x3;
左眼、右眼均在鼻子左侧:-->x1<x3 且 x2<x3;
左嘴角、右嘴角均在鼻子右侧:-->x4>x3 且 x5>x3;
左嘴角、右嘴角均在鼻子左侧:-->x4<x3 且x5<x3;
以上4个判定选项只要有一个成立便判定为人脸存在侧脸。
步骤S400,若所述人脸图像中人脸不在所述人脸图像的中央或存在侧脸的情况,则确定所述人脸图像为低质量图像。
可以理解,人脸不在人脸图像正中,或者是侧脸的情况,是不符合人脸识别要求的,因此在这种情况下,确定该人脸图像为低质量图像,并不对该图像进行识别。在一些在线人脸识别系统或者人脸识别门禁中,因为是实时识别人脸,因此可以根据上述的判断结果,来提示用户需要改正姿势。
例如实际应用场景中,通过上述两种判断方式,可以实时提示在摄像头面前的用户是否正面朝向摄像头并位于摄像头中央,若上述两种判定任何一条不合格,都可以对摄像头前的用户发起提示,使得用户摆正自己的面部,提升拍摄到的人脸图像质量。
此外,除了上述针对人脸是否正中或者侧脸的判断方式外,还可以增加以下三种判断方式来丰富判断条件。
在人脸不是侧脸的情况下,也存在人脸水平偏转的情形,为此,还可以计算人脸的水平偏转情况。
本实施例中,通过计算所述第四关键点与所述第三关键点的第一水平距离,计算所述第五关键点与所述第三关键点的第二水平距离。
第一,可以计算所述第一水平距离和所述第二水平距离的比值,若所述比值超过限定范围,则判断所述人脸图像中的人脸存在水平转头情形,判断所述人脸图像为低质量图像。
式中,ret1为所述第一水平距离和所述第二水平距离的比值,其中,上述的限定范围可以是0.5~2.0,表示了人脸的左右水平偏转程度。在该阈值内,则表示偏转角度不是很大,在阈值外,则表示偏转角度很大。其中,该限定该范围为通过对大量的人脸图像进行数据统计得到的。
如图2中所示,若人脸是正对摄像头,则DE线会被C所在的垂线平分,即上述的第一水平距离和所述第二水平距离相等,若是第一水平距离和所述第二水平距离不相等,则表示人脸存在左右转向的情况,因此通过该比例,可以反应人脸转向情况。
第二,还可以计算人脸图像中,人脸的水平偏斜角度。
本实施例中,首先计算所述第四关键点与所述第五关键点的水平距离和垂直距离;然后根据所述水平距离和所述垂直距离的比例进行反三角函数计算,得到所述第四关键点与所述第五关键点所在直线与水平线的偏斜角度,判断所述偏斜角度是否大于预设值。
若所述偏斜角度大于所述预设值,则所述人脸图像中的人脸存在歪头情形,所述人脸图像为低质量。
具体的,该偏斜角度计算表达式为:
式中,ret2为所述水平偏斜角度,通俗来讲,即人脑袋向左右歪斜的角度,可以理解,摄像头的拍摄的图像是有一定方向的,若人脸歪斜角度太大,还需要进行正脸等操作再进行识别,会增加识别消耗,所以对于识别出具有歪头的头像也会被识别为低质量图像。
如图2所示,人脸若是没有歪头的情况,DE会在同一水平面上,此时的ret2就会是0度,当DE不在同一水平面上,则也不为0,则可以根据此计算得到一个角度,从而确定歪头的程度。其中,上述的预设值可以是8至10度中的任意角度。
第三,还可以判断人脸的俯仰情况。
本实施例中,通过计算所述第一关键点、第二关键点与所述第三关键点之间的第一垂直距离;计算所述第四关键点、第五关键点与所述第三关键点之间的第二垂直距离;计算所述第一垂直距离和所述第二垂直距离之间的倾斜比例,判断所述倾斜比例是否在预设范围内,若所述倾斜比例不在所述预设范围内,则所述人脸图像中的人脸存在仰头或低头的情形,则所述人脸图像为低质量图像。
其中,该倾斜比例的计算表达式如下:
式中ret3为所述倾斜比例,可以理解,人脸中鼻子为中心,在正脸的时候,因为人脸结构相似,所以上述比例会在一个理论区间内,而俯仰时,往往也会以鼻子为中心呈现翻转的效果,因此让仰头时,嘴巴到鼻子的距离会变化,从而可以根据上述的倾斜比例确定是否发生了倾斜,其中,上述的预设范围可以是0.2~1.6。
此外,也可以采用计算嘴唇低点与眼睛到鼻子垂直距离的比值的方法来计算该倾斜比例,具体表达式为:
式中,y6表示嘴唇低点的纵坐标。其中,该嘴唇低点的坐标可以通过6点甚至更多的识别方式检测到,然后直接应用在上述计算公式中。
如图2所示,结合实际情况可知,当人脸向前倾形成俯视时,双眼离镜头更近,嘴巴离镜头更远,因此眼睛距离鼻子的垂直距离相较于嘴巴距离鼻子的垂直距离会更长一点,从而形成倾斜比例的变化。仰头的时候同理,因此当俯仰程度超出一定地步时,也会判定该图像为低质量图像。
需要说明的是,上述三种判断中存在一些数据阈值,这些阈值是通过采集实际的考勤系统做过大批量的数据统计分析,首先可以根据上述判断方式,暂时设定一个初始阈值,然后将该阈值带入实际的门禁系统中计算,对筛除的图片进行校验,然后进行调整,直到最后的阈值通过率达到要求,从而确定阈值。
综上所述,本实施例的人脸质量分析方法,通过获取五个关键点的坐标,以及一系列简单的计算、对比运算和先验统计得到的阈值,来确定人脸在人脸图像中的姿态,从而判断该人脸图像是否是符合要求质量合格的人脸图像。因为具体的判断过程都是简单的四则运算,没有调用复杂的识别模型和判断器,使得质量分析过程不会占用大量的计算资源,且占用时间短,从而在整个人脸识别过程中,时延更小,其次规则简单,基于关键点的人脸质量分析方法充分利用了关键点分布之间的拓扑结构,丰富3D人脸在二维平面的结构信息,在此基础上构建出用于分析人脸质量的规则,这些规则在使用时非常简单易用,具有良好的可解释性;同时利用大数据量获得部分控制阈值的先验知识,单纯的过滤方法本身是零误差的,与当前的矩阵转换的变换估计相比具有不会有形变的优势,不会在串行部署中使得误差链扩大。此外,上述的控制阈值具有良好的可解释性,因此在不同的实际场景中,针对场景可以很轻松的调节控制阈值,直观可解释,使得整个方法可以根据实际场景和面对人群进行差异化调整,具有更好的适应性。
实施例2
如图3所示,本申请还提供一种人脸质量分析装置,包括:
关键点获取模块10,用于通过人脸特征点算法,获取人脸图像上的所有特征点,并对所述所有特征点进行转换得到转换结果;
初步判断模块20,用于判断所述转换结果中是否包含人脸上的第一关键点、第二关键点、第三关键点、第四关键点和第五关键点,若存在任意关键点缺失,则确定所述人脸图像为低质量图像;
人脸判断模块30,用于若存在五个关键点,则根据所述五个关键点的坐标值,确定所述人脸图像中人脸的位置是否在所述人脸图像的中央,以及判断所述人脸是否为侧脸;
质量分析模块40,用于若所述人脸图像中人脸不在所述人脸图像的中央或存在侧脸的情况,则确定所述人脸图像为低质量图像。
本申请还提供一种计算机设备,包括处理器和存储器,所述存储器存储有计算机程序,所述计算机程序在所述处理器上运行时执行所述的人脸质量分析方法。
本申请还提供一种可读存储介质,其存储有计算机程序,所述计算机程序在处理器上运行时执行所述的人脸质量分析方法。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和结构图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本发明各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或更多个模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是智能手机、个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种人脸质量分析方法,其特征在于,包括:
通过人脸特征点算法,获取人脸图像上的所有特征点,并对所述所有特征点进行转换得到转换结果;
判断所述转换结果中是否包含人脸上的第一关键点、第二关键点、第三关键点、第四关键点和第五关键点;存在任意关键点缺失,则确定所述人脸图像为低质量图像;
若存在五个关键点,则根据所述五个关键点的坐标值,确定所述人脸图像中人脸的位置是否在所述人脸图像的中央,以及判断所述人脸是否为侧脸;
若所述人脸图像中人脸不在所述人脸图像的中央或存在侧脸的情况,则确定所述人脸图像为低质量图像。
2.根据权利要求1所述的人脸质量分析方法,其特征在于,所述第一关键点为人脸左眼,所述第二关键点为人脸右眼,所述第三关键点为鼻子,所述第四关键点为左嘴角,所述第五关键点为右嘴角。
3.根据权利要求2所述的人脸质量分析方法,其特征在于,所述确定所述人脸图像中人脸的位置是否在图像中央,包括:
获取所述人脸图像的宽值和高值;
判断所述第一关键点的横坐标或纵坐标是否为0;
判断所述第二关键点的横坐标是否为所述宽值,或纵坐标是否为0;
判断所述第四关键点的横坐标是否为0,或纵坐标是否为所述高值;
判断所述第五关键点的横坐标是否为所述宽值,或纵坐标是否为所述高值;
若上述任一判断结果为是,则确定所述人脸图像中的人脸不在图像中央。
4.根据权利要求2所述的人脸质量分析方法,其特征在于,所述判断所述人脸是否为侧脸,包括:
确定所述第一关键点、所述第二关键点、所述第四关键点与所述第五关键点与所述第三关键点的相对位置;
若所述第一关键点与所述第二关键点位于所述第三关键点的同侧,或所述第四关键点与所述第五关键点位于所述第三关键点的同侧,则确定所述人脸图像中的人脸为侧脸。
5.根据权利要求2所述的人脸质量分析方法,其特征在于,还包括:
计算所述第四关键点与所述第三关键点的第一水平距离,计算所述第五关键点与所述第三关键点的第二水平距离;
计算所述第一水平距离和所述第二水平距离的比值,若所述比值超过限定范围,则确定所述人脸图像为低质量图像。
6.根据权利要求2所述的人脸质量分析方法,其特征在于,还包括:
计算所述第四关键点与所述第五关键点的水平距离和垂直距离;
根据所述水平距离和所述垂直距离的比例进行反三角函数计算,得到所述第四关键点与所述第五关键点所在直线与水平线的偏斜角度,判断所述偏斜角度是否大于预设值;
若所述偏斜角度大于所述预设值,则所述人脸图像中的人脸存在歪头情形,所述人脸图像为低质量图像。
7.根据权利要求2所述的人脸质量分析方法,其特征在于,还包括:
计算所述第一关键点、所述第二关键点与所述第三关键点之间的第一垂直距离;
计算所述第四关键点、所述第五关键点与所述第三关键点之间的第二垂直距离;
计算所述第一垂直距离和所述第二垂直距离之间的倾斜比例,判断所述倾斜比例是否在预设范围内,若所述倾斜比例不在所述预设范围内,则确定所述人脸图像为低质量图像。
8.一种人脸质量分析装置,其特征在于,包括:
关键点获取模块,用于通过人脸特征点算法,获取人脸图像上的所有特征点,并对所述所有特征点进行转换得到转换结果;
初步判断模块,用于判断所述转换结果中是否包含人脸上的第一关键点、第二关键点、第三关键点、第四关键点和第五关键点,若存在任意关键点缺失,则确定所述人脸图像为低质量图像;
人脸判断模块,用于若存在五个关键点,则根据所述五个关键点的坐标值,确定所述人脸图像中人脸的位置是否在所述人脸图像的中央,以及判断所述人脸是否为侧脸;
质量分析模块,用于若所述人脸图像中人脸不在所述人脸图像的中央或存在侧脸的情况,则确定所述人脸图像为低质量图像。
9.一种计算机设备,其特征在于,包括处理器和存储器,所述存储器存储有计算机程序,所述计算机程序在所述处理器上运行时执行权利要求1至7中任一项所述的人脸质量分析方法。
10.一种可读存储介质,其特征在于,其存储有计算机程序,所述计算机程序在处理器上运行时执行权利要求1至7中任一项所述的人脸质量分析方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310665108.1A CN116386123A (zh) | 2023-06-07 | 2023-06-07 | 人脸质量分析方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310665108.1A CN116386123A (zh) | 2023-06-07 | 2023-06-07 | 人脸质量分析方法、装置、计算机设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116386123A true CN116386123A (zh) | 2023-07-04 |
Family
ID=86977313
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310665108.1A Pending CN116386123A (zh) | 2023-06-07 | 2023-06-07 | 人脸质量分析方法、装置、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116386123A (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110609920A (zh) * | 2019-08-05 | 2019-12-24 | 华中科技大学 | 一种视频监控场景下的行人混合搜索方法及系统 |
CN114120198A (zh) * | 2021-11-29 | 2022-03-01 | 武汉船舶通信研究所(中国船舶重工集团公司第七二二研究所) | 一种伪造视频检测方法、系统及存储介质 |
CN114140861A (zh) * | 2021-12-13 | 2022-03-04 | 中电云数智科技有限公司 | 人脸检测去重的方法与装置 |
CN114495241A (zh) * | 2022-02-16 | 2022-05-13 | 平安科技(深圳)有限公司 | 一种图像识别方法及装置、电子设备、存储介质 |
-
2023
- 2023-06-07 CN CN202310665108.1A patent/CN116386123A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110609920A (zh) * | 2019-08-05 | 2019-12-24 | 华中科技大学 | 一种视频监控场景下的行人混合搜索方法及系统 |
CN114120198A (zh) * | 2021-11-29 | 2022-03-01 | 武汉船舶通信研究所(中国船舶重工集团公司第七二二研究所) | 一种伪造视频检测方法、系统及存储介质 |
CN114140861A (zh) * | 2021-12-13 | 2022-03-04 | 中电云数智科技有限公司 | 人脸检测去重的方法与装置 |
CN114495241A (zh) * | 2022-02-16 | 2022-05-13 | 平安科技(深圳)有限公司 | 一种图像识别方法及装置、电子设备、存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105760826B (zh) | 一种人脸跟踪方法、装置和智能终端 | |
US7689034B2 (en) | Learning method for detectors, face detection method, face detection apparatus, and face detection program | |
EP3186780B1 (en) | System and method for image scanning | |
US8577099B2 (en) | Method, apparatus, and program for detecting facial characteristic points | |
CN110930411B (zh) | 一种基于深度相机的人体分割方法及系统 | |
CN112287868B (zh) | 一种人体动作识别方法及装置 | |
CN112287867B (zh) | 一种多摄像头的人体动作识别方法及装置 | |
US20140037212A1 (en) | Image processing method and device | |
CN112381061B (zh) | 一种面部表情识别方法及系统 | |
JP2018026115A (ja) | 火炎検出方法、火炎検出装置及び電子機器 | |
CN111402237A (zh) | 基于时空级联自编码器的视频图像异常检测方法及系统 | |
CN112784786A (zh) | 人体姿态识别方法及装置 | |
CN117615255B (zh) | 基于云台的拍摄追踪方法、装置、设备及存储介质 | |
CN112446254A (zh) | 人脸追踪的方法及相关装置 | |
KR20210136092A (ko) | 화상 처리 장치, 화상 처리 방법 및 화상 처리 프로그램 | |
CN109949344A (zh) | 一种基于颜色概率目标建议窗口的核相关滤波跟踪方法 | |
CN116012675B (zh) | 一种模型训练方法、图像处理方法及电子设备 | |
CN112508998A (zh) | 基于全局运动的视觉目标对齐方法 | |
CN116386123A (zh) | 人脸质量分析方法、装置、计算机设备及存储介质 | |
KR20140134549A (ko) | 연속 촬영 이미지에서의 고조점 이미지 추출 장치 및 방법 | |
CN110930436A (zh) | 一种目标跟踪方法及设备 | |
KR20190079503A (ko) | 얼굴 인식을 위한 얼굴 자세 등록 장치 및 방법 | |
KR101206736B1 (ko) | 회전된 얼굴 영역 검출 장치 및 방법 | |
EP3076370B1 (en) | Method and system for selecting optimum values for parameter set for disparity calculation | |
CN111091513B (zh) | 图像处理方法、装置、计算机可读存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230704 |