CN111784658B - 一种用于人脸图像的质量分析方法和系统 - Google Patents

一种用于人脸图像的质量分析方法和系统 Download PDF

Info

Publication number
CN111784658B
CN111784658B CN202010604622.0A CN202010604622A CN111784658B CN 111784658 B CN111784658 B CN 111784658B CN 202010604622 A CN202010604622 A CN 202010604622A CN 111784658 B CN111784658 B CN 111784658B
Authority
CN
China
Prior art keywords
face
score
analyzed
face image
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010604622.0A
Other languages
English (en)
Other versions
CN111784658A (zh
Inventor
阎辰佳
吴鸿伟
李山
林淑强
张永光
王兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Meiya Pico Information Co Ltd
Original Assignee
Xiamen Meiya Pico Information Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Meiya Pico Information Co Ltd filed Critical Xiamen Meiya Pico Information Co Ltd
Priority to CN202010604622.0A priority Critical patent/CN111784658B/zh
Publication of CN111784658A publication Critical patent/CN111784658A/zh
Application granted granted Critical
Publication of CN111784658B publication Critical patent/CN111784658B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

本发明给出了一种用于人脸图像的质量分析方法和系统，包括对待分析人脸图像进行低通滤波处理获取模糊图像，获取待分析人脸图像的清晰度分值Fdefinition；根据人脸边界获取人脸中心点的坐标信息；利用人脸中心点的坐标信息分别获取待分析人脸图像中眼睛、鼻尖和嘴角在待分析人脸图像中的坐标信息；计算获得人脸中心点与待分析人脸图像的中心以及鼻尖与人脸边界的中心点的偏移度、眼睛、嘴角的倾斜度、脸部左右对称度的分值，加权求和获得待分析人脸图像的正脸程度分值Ffront；利用待分析人脸图像的尺寸计算的人脸大小分值Fsize；加权求和获得待分析人脸图像的综合分值。该方法能够定量评价人脸图像质量且对于硬件平台适配性高，可以实时获取人脸图像质量。

Description

一种用于人脸图像的质量分析方法和系统
技术领域
本发明涉及人脸识别的技术领域，尤其是一种用于人脸图像的质量分析方法和系统。
背景技术
目前，人脸识别是计算机视觉领域的热门技术，它主要是从摄像机或摄像头采集得到包含人脸的图像或者视频文件，通过自动人脸检测、跟踪、脸部特征提取等技术，进而对人脸特征进行1:1，1:2，…，1:N等比对，它通常应用于人证比对、支付、查询、解锁等多种实际生活场景中。
视频文件(包括从摄像头直接输出的视频流)是由有时间顺序的视频帧构成的，每秒所含视频帧数量会根据摄影器材及其设置的不同而有所差异，一般在15-120fps(帧每秒)不等。因此，从某一个人的一段视频文件中检测人脸，会得到这个人的一个人脸图像集合，这个集合中的每张人脸图像都是这个人从视频中某一时刻的视频中检测得到的。由于人脸识别的比对底库通常数量级庞大，对一张人脸图像进行比对识别通常耗时较高，为了提高效率需要对同一个人进行跟踪，将其人脸图像聚类并只对识别系统推送该被识别人的质量最好的一张人脸图像。如果视频中有出现被识别人的正脸清晰图像，而识别系统被推送的却是该被识别人的侧脸图像，那么识别正确率就会受到较大影响，因此如何对人脸图像质量进行定量评价对于人脸识别系统的结果至关重要。
发明内容
为了解决现有技术中人脸图像质量技术问题，本发明提出了一种用于人脸图像的质量分析方法和系统，将人脸图像关键点的置信度评价纳入到人脸正脸程度评价算法中，用以改进人脸质量评价算法的结果。
在一个方面，本发明提出了一种用于人脸图像的质量分析方法，包括以下步骤：
S1：对待分析人脸图像进行低通滤波处理获取模糊图像，利用模糊图像与待分析人脸图像的相邻像素灰度值的变化关系，获取待分析人脸图像的清晰度分值Fdefinition；
S2：获取待分析人脸图像中的人脸边界，并根据人脸边界获取人脸中心点在待分析人脸图像中的坐标信息；
S3：利用人脸中心点的坐标信息分别获取待分析人脸图像中眼睛、鼻尖和嘴角在待分析人脸图像中的坐标信息；
S4：利用坐标信息分别计算获得人脸中心点与待分析人脸图像的中心以及鼻尖与人脸边界的中心点的偏移度、眼睛、嘴角的倾斜度、脸部左右对称度的分值，加权求和获得待分析人脸图像的正脸程度分值Ffront；
S5：利用待分析人脸图像的尺寸计算的人脸大小分值Fsize，Fsize＝(w*h)/(C+w*h)，其中，c为常数，w表示待分析人脸图像的宽度，h表示待分析人脸图像的高度；以及
S6：对待分析人脸图像的清晰度分值Fdefinition、正脸程度分值Ffront、人脸大小分值Fsize加权求和获得待分析人脸图像的综合分值。
优选的，步骤S1中的相邻像素灰度值的变化表征为图像梯度值，且待分析人脸图像的清晰度分值的计算公式为Fdefinition＝1-(G(BlurImage)/G(Image))，其中，G(BlurImage)为模糊图像的梯度求解函数，G(Image)为待分析人脸图像的梯度求解函数。
优选的，步骤S3之前还包括利用深度神经网络的训练检测获取待分析人脸图像中眼睛、鼻尖和嘴角的位置。凭借深度神经网络的训练可以快速获取人脸图像中眼睛鼻尖嘴角的位置信息，便于进行坐标位置的提取。
优选的，步骤S4中人脸中心点与待分析人脸图像的中心的偏移度的分值计算公式具体为：
Figure BDA0002560532150000021
鼻尖与人脸边界的中心点的偏移度的分值计算公式具体为：
Figure BDA0002560532150000022
其中，(cx、cy)表示人脸中心点坐标，(x2、y2)表示鼻尖的坐标，w表示待分析人脸图像的宽度，h表示待分析人脸图像的高度。
优选的，步骤S3中的眼睛的坐标信息具体包括左眼中心点坐标(x0，y0)和右眼中心点坐标(x1，y1)，嘴角的坐标信息具体包括左嘴角顶点坐标(x3，y3)和右嘴角顶点坐标(x4，y4)。利用左右眼中心、左右嘴角顶点的坐标可以进行倾斜度的快速运算。
进一步优选的，步骤S4中眼睛的倾斜度的分值计算公式具体为：
Figure BDA0002560532150000023
Figure BDA0002560532150000024
嘴角的倾斜度的分值计算公式具体为：
Figure BDA0002560532150000025
Figure BDA0002560532150000026
进一步优选的，脸部左右对称度的分值具体包括分别利用眼睛、嘴角相对于鼻尖的位置计算的第一左右对称度分值和第二左右对称度分值。凭借以上两个位置可以利用眼睛和鼻尖计算出脸部的对称度情况。
进一步优选的，第一左右对称度分值的计算公式具体为：
Figure BDA0002560532150000031
Figure BDA0002560532150000032
第二左右对称度分值得计算公式具体为：
Figure BDA0002560532150000033
优选的，步骤S4中待分析人脸图像的正脸程度分值的计算公式具体为：
Figure BDA0002560532150000034
Figure BDA0002560532150000035
其中score[0]-score[5]依次表示人脸中心点与待分析人脸图像的中心的偏移度的分值、眼睛的倾斜度的分值、嘴角的倾斜度的分值、利用眼睛相对于鼻尖的位置计算的左右对称度分值、利用嘴角相对于鼻尖的位置计算的对称度分值、鼻尖与人脸边界的中心点的偏移度的分值，w0-w5依次表示上述分值的权重系数。
进一步优选的，待分析人脸图像的中心的偏移度的分值的权重系数w0设置为0.2，眼睛的倾斜度的分值的权重系数w1设置为0.1、嘴角的倾斜度的分值的权重系数w2设置为0.1、利用眼睛相对于鼻尖位置计算的左右对称度分值的权重系数w3设置为0.2、利用嘴角相对于鼻尖位置计算的对称度分值的权重系数w4设置为0.2、鼻尖与人脸边界的中心点的偏移度的分值的权重系数w5设置为0.2。
优选的，步骤S5中的常数C设置为10000。
优选的，对待分析人脸图像的清晰度分值Fdefinition的权重设置为0.4，正脸程度分值Ffront的权重设置为0.5，人脸大小分值Fsize的权重设置为0.1。凭借各分值的权重系数的设置，可以保证获得的人脸图像质量分数更加客观合理。
根据本发明的第二方面，提出了一种计算机可读存储介质，其上存储有一或多个计算机程序，该一或多个计算机程序被计算机处理器执行时实施上述方法。
根据本发明的第三方面，提出了一种用于人脸图像的质量分析系统，该系统包括：
清晰度分值计算单元：配置用于对待分析人脸图像进行低通滤波处理获取模糊图像，利用模糊图像与待分析人脸图像的相邻像素灰度值的变化关系，获取待分析人脸图像的清晰度分值Fdefinition；
关键点坐标采集单元：配置用于获取待分析人脸图像中的人脸边界，并根据人脸边界获取人脸中心点在待分析人脸图像中的坐标信息；利用人脸中心点的坐标信息分别获取待分析人脸图像中眼睛、鼻尖和嘴角在待分析人脸图像中的坐标信息；
正脸程度计算单元：配置用于利用坐标信息分别计算获得人脸中心点与待分析人脸图像的中心以及鼻尖与人脸边界的中心点的偏移度、眼睛、嘴角的倾斜度、脸部左右对称度的分值，加权求和获得待分析人脸图像的正脸程度分值Ffront；
人脸大小分值计算单元：配置用于利用待分析人脸图像的尺寸计算的人脸大小分值Fsize，Fsize＝(w*h)/(C+w*h)，其中，c为常数，w表示待分析人脸图像的宽度，h表示待分析人脸图像的高度；
质量评估单元：配置用于对待分析人脸图像的清晰度分值Fdefinition、正脸程度分值Ffront、人脸大小分值Fsize加权求和获得待分析人脸图像的综合分值。
本发明提出了一种用于人脸图像的质量分析方法和系统，该方法针对人脸图像质量评价的三方面维度清晰度分值Fdefinition、正脸程度分值Ffront、人脸大小分值Fsize进行评价，可以获得符合人眼评价标准的算法组合，可以实现定量的人脸图像质量的评价，该方法及系统在人脸图像质量分析的过程中耗时少，可以确保评价系统的实时性。
附图说明
包括附图以提供对实施例的进一步理解并且附图被并入本说明书中并且构成本说明书的一部分。附图图示了实施例并且与描述一起用于解释本发明的原理。将容易认识到其它实施例和实施例的很多预期优点，因为通过引用以下详细描述，它们变得被更好地理解。通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本申请可以应用于其中的示例性系统架构图；
图2是本申请的一个实施例的一种用于人脸图像的质量分析方法的流程图；
图3是本申请的一个实施例的一种用于人脸图像的清晰度算法的流程图；
图4是本申请的一个实施例的一种用于人脸图像的质量分析系统的框架图；
图5是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请实施例的用于人脸图像的质量分析方法的示例性系统架构100。
如图1所示，系统架构100可以包括数据服务器101，网络102和主服务器103。网络102用以在数据服务器101和主服务器103之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
主服务器103可以是提供各种服务的服务器，例如对数据服务器101上传的信息进行处理的数据处理服务器。数据处理服务器可以进行人脸图像的质量分析。
需要说明的是，本申请实施例所提供的用于人脸图像的质量分析方法一般由主服务器103执行，相应地，用于人脸图像的质量分析方法的装置一般设置于主服务器103中。
需要说明的是，数据服务器和主服务器可以是硬件，也可以是软件。当为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务的软件或软件模块)，也可以实现成单个软件或软件模块。
应该理解，图1中的数据服务器、网络和主服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
根据本申请的一个实施例的用于人脸图像的质量分析方法，图2示出了根据本申请的实施例的用于人脸图像的质量分析方法的流程图。如图2所示，该方法包括以下步骤：
S201：对待分析人脸图像进行低通滤波处理获取模糊图像，利用模糊图像与待分析人脸图像的相邻像素灰度值的变化关系，获取待分析人脸图像的清晰度分值Fdefinition。
在具体的实施例中，在人脸图像清晰度评价算法方面，由于没有评价参考图像，只能采用无参考型客观评价方法，目前对无参考型图像质量评价方法的研究有限，且主要集中于对图像盲恢复参数的辨识，提出的方法又大多过于复杂、计算耗费时间长，不适合本发明的应用场景的人脸识别系统的实时性要求。为达到应用需求，本发明采用基于二次模糊的清晰度算法(ReBlur)的思路，得到人脸图像清晰度得分，具体流程图如图3所示。对待评价人脸图像Image301进行低通滤波获取模糊图像BlurImage302，分别获取待评价人脸图像Image301和模糊图像BlurImage302的相邻像素灰度值的变化情况303、304，对二者进行比较分析305获得最终的清晰度结果。
在具体的实施例中，相邻像素灰度值的变化可以通过图像梯度值来表征，如果待评价人脸图像Image301本身相对清晰，则对其经过低通滤波器后的模糊图像BlurImage302的图像梯度相比原图Image的图像梯度变化会非常大；相对的，如果Image比较模糊，则BlurImage的图像梯度相比原图变化会比较小，由此，可以得到：Fdefinition＝1-(G(BlurImage)/G(Image))其中，G(BlurImage)为所述模糊图像的梯度求解函数，G(Image)为所述待分析人脸图像的梯度求解函数。
S202：获取待分析人脸图像中的人脸边界，并根据人脸边界获取人脸中心点在待分析人脸图像中的坐标信息。人脸中心点的坐标信息可以用于判断脸部与图像中心的偏移程度，作为判断人脸图像质量的一个参考数据。
S203：利用人脸中心点的坐标信息分别获取待分析人脸图像中眼睛、鼻尖和嘴角在待分析人脸图像中的坐标信息。通过不同的机器学习模型训练检测获得眼睛、鼻尖和嘴角的坐标信息，优选的，利用深度神经网络的训练检测获取待分析人脸图像中眼睛、鼻尖和嘴角的位置。凭借深度神经网络的训练可以快速获取人脸图像中眼睛鼻尖嘴角的位置信息，便于进行坐标位置的提取。
在具体的实施例中，人脸正脸程度得分的计算是基于人脸五个关键点(它们的坐标位置分别为左眼中心点(x0，y0)，右眼中心点(x1，y1)，鼻尖(x2、y2)，左嘴角顶点(x3，y3)和右嘴角顶点坐标(x4，y4)，这五个关键点的位置可以通过不同的机器学习模型训练并检测得到)以及根据人脸边界得到的人脸中心点坐标(cx、cy)的坐标信息求得的，w和h分别表示为人脸图像的长和宽。通过五个关键点可以较为准确的对人脸图像进行正脸程度的分析，可以从倾斜度、偏移度和对称度多个方面来对人脸图像进行分析评价。
S204：利用坐标信息分别计算获得人脸中心点与待分析人脸图像的中心的偏移度以及鼻尖与人脸边界的中心点的偏移度、眼睛、嘴角的倾斜度、脸部左右对称度的分值，加权求和获得待分析人脸图像的正脸程度分值Ffront。
在具体的实施例中，基于步骤S204所获取的各个关键点的坐标信息，进行人脸中心点与待分析人脸图像的中心的偏移度以及鼻尖与人脸边界的中心点的偏移度、眼睛、嘴角的倾斜度、脸部左右对称度的分值计算，其中，脸部左右对称度的分值具体包括分别利用眼睛、嘴角相对于鼻尖的位置，计算的第一左右对称度分值和第二左右对称度分值具体的计算方式如下：
人脸中心点与待分析人脸图像的中心的偏移度的分值计算公式具体为：
Figure BDA0002560532150000061
Figure BDA0002560532150000062
眼睛的倾斜度的分值计算公式具体为：
Figure BDA0002560532150000063
嘴角的倾斜度的分值计算公式具体为：
Figure BDA0002560532150000064
脸部根据眼睛和鼻尖位置测算的第一左右对称度计算公式具体为：
Figure BDA0002560532150000065
Figure BDA0002560532150000066
脸部根据嘴角和鼻尖位置测算的第二左右对称度分值得计算公式具体为：
Figure BDA0002560532150000067
Figure BDA0002560532150000071
鼻尖与人脸边界的中心点的偏移度的分值计算公式具体为：
Figure BDA0002560532150000072
Figure BDA0002560532150000073
在具体的实施例中，待分析人脸图像的正脸程度分值的计算公式具体为：
Figure BDA0002560532150000074
Figure BDA0002560532150000075
其中score[0]-score[5]如上述计算公式依次表示人脸中心点与待分析人脸图像的中心的偏移度的分值、眼睛的倾斜度的分值、嘴角的倾斜度的分值、利用眼睛相对于鼻尖的位置计算的左右对称度分值、利用嘴角相对于鼻尖的位置计算的对称度分值、鼻尖与人脸边界的中心点的偏移度的分值，w0-w5依次表示上述分值的权重系数。优选的，待分析人脸图像的中心的偏移度的分值的权重系数w0设置为0.2，眼睛的倾斜度的分值的权重系数w1设置为0.1，嘴角的倾斜度的分值的权重系数w2设置为0.1，利用眼睛相对于鼻尖位置计算的左右对称度分值的权重系数w3设置为0.2，利用嘴角相对于鼻尖位置计算的对称度分值的权重系数w4设置为0.2，鼻尖与人脸边界的中心点的偏移度的分值的权重系数w5设置为0.2。应当认识到，w0-w5可以设置为除了上述权重值之外的其他数值，具体根据实际项目的重要程度进行权重值得调整，同样能够实现本发明的技术效果。
S205：利用待分析人脸图像的尺寸计算的人脸大小分值Fsize，Fsize＝(w*h)/(C+w*h)，其中，C为常数，w表示待分析人脸图像的宽度，h表示待分析人脸图像的高度。根据本申请发明人的多次试验发现，人脸面积在达到10000像素以上能够取得较为不错的识别结果，因此，一般的，C＝10000。
S206：对待分析人脸图像的清晰度分值Fdefinition、正脸程度分值Ffront、人脸大小分值Fsize加权求和获得待分析人脸图像的综合分值。凭借待分析人脸图像的清晰度分值Fdefinition、正脸程度分值Ffront和人脸大小分值Fsize三个分数的结合，得到对人脸图像质量一个单一维度的评价指标。优选的，根据本申请发明人的多次试验，调节三个分数的权重参数得到一个与人眼评价相对符合的线性组合结果，对待分析人脸图像的清晰度分值Fdefinition的权重设置为0.4，正脸程度分值Ffront的权重设置为0.5，人脸大小分值Fsize的权重设置为0.1。即待分析人脸图像的综合分值Ftotal＝Fdefinition*0.4+Ffront*0.5+Fsize*0.1。应当认识到，除了上述权重设置之外，还可以根据实际应用需求相应调整三个权重分值，以满足不同场景的应用需求，同样能够实现本发明的技术效果。
继续参考图4，图4示出了根据本发明的实施例的一种用于人脸图像的质量分析系统的框架图。该系统具体包括清晰度分值计算单元401、关键点坐标采集单元402、正脸程度计算单元403、人脸大小分值计算单元404和质量评估单元405。
在具体的实施例中，清晰度分值计算单元401：配置用于对待分析人脸图像进行低通滤波处理获取模糊图像，利用模糊图像与待分析人脸图像的相邻像素灰度值的变化关系，获取待分析人脸图像的清晰度分值Fdefinition；关键点坐标采集单元402：配置用于获取待分析人脸图像中的人脸边界，并根据人脸边界获取人脸中心点在待分析人脸图像中的坐标信息；利用人脸中心点的坐标信息分别获取待分析人脸图像中眼睛、鼻尖和嘴角在待分析人脸图像中的坐标信息；正脸程度计算单元403：配置用于利用坐标信息分别计算获得人脸中心点与待分析人脸图像的中心以及鼻尖与人脸边界的中心点的偏移度、眼睛、嘴角的倾斜度、脸部左右对称度的分值，加权求和获得待分析人脸图像的正脸程度分值Ffront；人脸大小分值计算单元404：配置用于利用待分析人脸图像的尺寸计算的人脸大小分值Fsize，Fsize＝(w*h)/(C+w*h)，其中，c为常数，w表示待分析人脸图像的宽度，h表示待分析人脸图像的高度；质量评估单元405：配置用于对待分析人脸图像的清晰度分值fdefinition、正脸程度分值Ffront、人脸大小分值Fsize加权求和获得待分析人脸图像的综合分值。
下面参考图5，其示出了适于用来实现本申请实施例的电子设备的计算机系统500的结构示意图。图5示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图5所示，计算机系统500包括中央处理单元(CPU)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有系统500操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如液晶显示器(LCD)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读存储介质，该计算机可读存储介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。
作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：对待分析人脸图像进行低通滤波处理获取模糊图像，利用模糊图像与待分析人脸图像的相邻像素灰度值的变化关系，获取待分析人脸图像的清晰度分值Fdefinition；获取待分析人脸图像中的人脸边界，并根据人脸边界获取人脸中心点在待分析人脸图像中的坐标信息；利用人脸中心点的坐标信息分别获取待分析人脸图像中眼睛、鼻尖和嘴角在待分析人脸图像中的坐标信息；利用坐标信息分别计算获得人脸中心点与待分析人脸图像的中心以及鼻尖与人脸边界的中心点的偏移度、眼睛、嘴角的倾斜度、脸部左右对称度的分值，加权求和获得待分析人脸图像的正脸程度分值Ffront；利用待分析人脸图像的尺寸计算的人脸大小分值Fsize，Fsize＝(w*h)/(C+w*h)，其中，c为常数，w表示待分析人脸图像的宽度，h表示待分析人脸图像的高度；对待分析人脸图像的清晰度分值Fdefinition、正脸程度分值Ffront、人脸大小分值Fsize加权求和获得待分析人脸图像的综合分值。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (14)

1.一种用于人脸图像的质量分析方法，其特征在于，包括以下步骤：
S1：对待分析人脸图像进行低通滤波处理获取模糊图像，利用所述模糊图像与所述待分析人脸图像的相邻像素灰度值的变化关系，获取所述待分析人脸图像的清晰度分值Fdefinition；
S2：获取所述待分析人脸图像中的人脸边界，并根据所述人脸边界获取人脸中心点在所述待分析人脸图像中的坐标信息；
S3：利用所述人脸中心点的坐标信息分别获取所述待分析人脸图像中眼睛、鼻尖和嘴角在所述待分析人脸图像中的坐标信息；
S4：利用所述坐标信息分别计算获得所述人脸中心点与所述待分析人脸图像的中心以及所述鼻尖与所述人脸边界的中心点的偏移度、所述眼睛的倾斜度、所述嘴角的倾斜度、脸部左右对称度的分值，加权求和获得所述待分析人脸图像的正脸程度分值Ffront；
S5：利用所述待分析人脸图像的尺寸计算的人脸大小分值Fsize，Fsize＝(w*h)/(C+w*h)，其中，c为常数，w表示所述待分析人脸图像的宽度，h表示所述待分析人脸图像的高度；以及
S6：对所述待分析人脸图像的清晰度分值Fdefinition、所述正脸程度分值Ffront、所述人脸大小分值Fsize加权求和获得所述待分析人脸图像的综合分值。
2.根据权利要求1所述的用于人脸图像的质量分析方法，其特征在于，所述步骤S1中的相邻像素灰度值的变化表征为图像梯度值，且所述待分析人脸图像的清晰度分值的计算公式为Fdefinition＝1-(G(BlurImage)/G(Image))，其中，G(BlurImage)为所述模糊图像的梯度求解函数，G(Image)为所述待分析人脸图像的梯度求解函数。
3.根据权利要求1所述的用于人脸图像的质量分析方法，其特征在于，所述步骤S3之前还包括利用深度神经网络的训练检测获取所述待分析人脸图像中眼睛、鼻尖和嘴角的位置。
4.根据权利要求1所述的用于人脸图像的质量分析方法，其特征在于，所述步骤S4中所述人脸中心点与所述待分析人脸图像的中心的偏移度的分值计算公式具体为：
Figure FDA0003663357040000021
所述鼻尖与所述人脸边界的中心点的偏移度的分值计算公式具体为：
Figure FDA0003663357040000022
其中，(cx、cy)表示所述人脸中心点坐标，(x2、y2)表示所述鼻尖的坐标，w表示所述待分析人脸图像的宽度，h表示所述待分析人脸图像的高度。
5.根据权利要求4所述的用于人脸图像的质量分析方法，其特征在于，所述步骤S3中的所述眼睛的坐标信息具体包括左眼中心点坐标(x0，y0)和右眼中心点坐标(x1，y1)，所述嘴角的坐标信息具体包括左嘴角顶点坐标(x3，y3)和右嘴角顶点坐标(x4，y4)。
6.根据权利要求5所述的用于人脸图像的质量分析方法，其特征在于，所述步骤S4中所述眼睛的倾斜度的分值计算公式具体为：
Figure FDA0003663357040000023
Figure FDA0003663357040000024
所述嘴角的倾斜度的分值计算公式具体为：
Figure FDA0003663357040000025
Figure FDA0003663357040000026
7.根据权利要求5所述的用于人脸图像的质量分析方法，其特征在于，所述脸部左右对称度的分值具体包括分别利用所述眼睛、所述嘴角相对于所述鼻尖的位置计算的第一左右对称度分值和第二左右对称度分值。
8.根据权利要求7所述的用于人脸图像的质量分析方法，其特征在于，所述第一左右对称度分值的计算公式具体为：
Figure FDA0003663357040000027
Figure FDA0003663357040000028
所述第二左右对称度分值得计算公式具体为：
Figure FDA0003663357040000029
9.根据权利要求1所述的用于人脸图像的质量分析方法，其特征在于，所述步骤S4中所述待分析人脸图像的正脸程度分值的计算公式具体为：
Figure FDA00036633570400000210
Figure FDA00036633570400000211
其中score[0]-score[5]依次表示所述人脸中心点与所述待分析人脸图像的中心的偏移度的分值、所述眼睛的倾斜度的分值、所述嘴角的倾斜度的分值、利用所述眼睛相对于所述鼻尖的位置计算的左右对称度分值、利用所述嘴角相对于所述鼻尖的位置计算的对称度分值、所述鼻尖与所述人脸边界的中心点的偏移度的分值，w0-w5依次表示上述分值的权重系数。
10.根据权利要求9所述的用于人脸图像的质量分析方法，其特征在于，所述待分析人脸图像的中心的偏移度的分值的权重系数w0设置为0.2，所述眼睛的倾斜度的分值的权重系数w1设置为0.1、所述嘴角的倾斜度的分值的权重系数w2设置为0.1、利用所述眼睛相对于所述鼻尖位置计算的左右对称度分值的权重系数w3设置为0.2、利用所述嘴角相对于所述鼻尖位置计算的对称度分值的权重系数w4设置为0.2、所述鼻尖与所述人脸边界的中心点的偏移度的分值的权重系数w5设置为0.2。
11.根据权利要求1所述的用于人脸图像的质量分析方法，其特征在于，所述步骤S5中的常数C设置为10000。
12.根据权利要求1所述的用于人脸图像的质量分析方法，其特征在于，所述对所述待分析人脸图像的清晰度分值Fdefinition的权重设置为0.4，所述正脸程度分值Ffront的权重设置为0.5，所述人脸大小分值Fsize的权重设置为0.1。
13.一种计算机可读存储介质，其上存储有一或多个计算机程序，其特征在于，该一或多个计算机程序被计算机处理器执行时实施权利要求1至12中任一项所述的方法。
14.一种用于人脸图像的质量分析系统，其特征在于，所述系统包括：
清晰度分值计算单元：配置用于对待分析人脸图像进行低通滤波处理获取模糊图像，利用所述模糊图像与所述待分析人脸图像的相邻像素灰度值的变化关系，获取所述待分析人脸图像的清晰度分值Fdefinition；
关键点坐标采集单元：配置用于获取所述待分析人脸图像中的人脸边界，并根据所述人脸边界获取人脸中心点在所述待分析人脸图像中的坐标信息；利用所述人脸中心点的坐标信息分别获取所述待分析人脸图像中眼睛、鼻尖和嘴角在所述待分析人脸图像中的坐标信息；
正脸程度计算单元：配置用于利用所述坐标信息分别计算获得所述人脸中心点与所述待分析人脸图像的中心以及所述鼻尖与所述人脸边界的中心点的偏移度、所述眼睛的倾斜度、所述嘴角的倾斜度、脸部左右对称度的分值，加权求和获得所述待分析人脸图像的正脸程度分值Ffront；
人脸大小分值计算单元：配置用于利用所述待分析人脸图像的尺寸计算的所述人脸大小分值Fsize，Fsize＝(w*h)/(C+w*h)，其中，c为常数，w表示所述待分析人脸图像的宽度，h表示所述待分析人脸图像的高度；
质量评估单元：配置用于对所述待分析人脸图像的清晰度分值Fdefinition、所述正脸程度分值Ffront、所述人脸大小分值Fsize加权求和获得所述待分析人脸图像的综合分值。
CN202010604622.0A 2020-06-29 2020-06-29 一种用于人脸图像的质量分析方法和系统 Active CN111784658B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010604622.0A CN111784658B (zh) 2020-06-29 2020-06-29 一种用于人脸图像的质量分析方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010604622.0A CN111784658B (zh) 2020-06-29 2020-06-29 一种用于人脸图像的质量分析方法和系统

Publications (2)

Publication Number Publication Date
CN111784658A CN111784658A (zh) 2020-10-16
CN111784658B true CN111784658B (zh) 2022-07-01

Family

ID=72760338

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010604622.0A Active CN111784658B (zh) 2020-06-29 2020-06-29 一种用于人脸图像的质量分析方法和系统

Country Status (1)

Country Link
CN (1) CN111784658B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112686847B (zh) * 2020-12-23 2024-05-14 平安银行股份有限公司 身份证图像拍摄质量评价方法、装置、计算机设备和介质
CN113065457B (zh) * 2021-03-30 2024-05-17 广州繁星互娱信息科技有限公司 人脸检测点处理方法、装置、计算机设备及存储介质
CN113705496A (zh) * 2021-08-31 2021-11-26 深圳市酷开网络科技股份有限公司 海报选择方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101567044A (zh) * 2009-05-22 2009-10-28 北京大学 一种人脸图像质量检测方法
JP2014093043A (ja) * 2012-11-06 2014-05-19 Kao Corp 顔画像分析装置及び顔画像分析方法
CN106803067A (zh) * 2016-12-28 2017-06-06 浙江大华技术股份有限公司 一种人脸图像质量评估方法及装置
CN107944427A (zh) * 2017-12-14 2018-04-20 厦门市美亚柏科信息股份有限公司 动态人脸识别方法及计算机可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101567044A (zh) * 2009-05-22 2009-10-28 北京大学 一种人脸图像质量检测方法
JP2014093043A (ja) * 2012-11-06 2014-05-19 Kao Corp 顔画像分析装置及び顔画像分析方法
CN106803067A (zh) * 2016-12-28 2017-06-06 浙江大华技术股份有限公司 一种人脸图像质量评估方法及装置
CN107944427A (zh) * 2017-12-14 2018-04-20 厦门市美亚柏科信息股份有限公司 动态人脸识别方法及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《人脸图像质量评价法》;胡杨庆，童卫青;《计算机软件及计算机应用》;20071215;1-4 *

Also Published As

Publication number Publication date
CN111784658A (zh) 2020-10-16

Similar Documents

Publication Publication Date Title
US11830230B2 (en) Living body detection method based on facial recognition, and electronic device and storage medium
CN111784658B (zh) 一种用于人脸图像的质量分析方法和系统
Tian et al. Light field image quality assessment via the light field coherence
CN107679466B (zh) 信息输出方法和装置
CN111488865A (zh) 图像优化方法、装置、计算机存储介质以及电子设备
CN114241548A (zh) 一种基于改进YOLOv5的小目标检测算法
CN112215831B (zh) 一种用于人脸图像质量的评价方法和系统
CN109711268B (zh) 一种人脸图像筛选方法及设备
CN107767358B (zh) 一种图像中物体模糊度确定方法和装置
CN111160284A (zh) 人脸照片质量评估方法、系统、设备及存储介质
CN108470178B (zh) 一种结合深度可信度评价因子的深度图显著性检测方法
CN110910445B (zh) 一种物件尺寸检测方法、装置、检测设备及存储介质
CN112966574A (zh) 人体三维关键点预测方法、装置及电子设备
CN111199197B (zh) 一种人脸识别的图像提取方法及处理设备
WO2022116104A1 (zh) 图像处理方法、装置、设备及存储介质
CN112633221A (zh) 一种人脸方向的检测方法及相关装置
CN111414858A (zh) 人脸识别方法、目标图像的确定方法、装置和电子系统
CN112052730B (zh) 一种3d动态人像识别监控设备及方法
CN113810611A (zh) 一种事件相机的数据模拟方法和装置
CN112819008A (zh) 实例检测网络的优化方法、装置、介质及电子设备
CN111784660B (zh) 一种用于人脸图像的正脸程度的分析方法和系统
CN115147261A (zh) 图像处理方法、装置、存储介质、设备及产品
CN116310993A (zh) 目标检测方法、装置、设备及存储介质
CN114449362A (zh) 视频封面的选取方法、装置、设备及存储介质
CN113486788A (zh) 视频相似度确定方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant