CN111161251B - 一种人脸图像清晰度的计算方法和装置 - Google Patents

一种人脸图像清晰度的计算方法和装置 Download PDF

Info

Publication number
CN111161251B
CN111161251B CN201911407613.6A CN201911407613A CN111161251B CN 111161251 B CN111161251 B CN 111161251B CN 201911407613 A CN201911407613 A CN 201911407613A CN 111161251 B CN111161251 B CN 111161251B
Authority
CN
China
Prior art keywords
face
face feature
definition
area
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911407613.6A
Other languages
English (en)
Other versions
CN111161251A (zh
Inventor
张航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TP Link Technologies Co Ltd
Original Assignee
TP Link Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TP Link Technologies Co Ltd filed Critical TP Link Technologies Co Ltd
Priority to CN201911407613.6A priority Critical patent/CN111161251B/zh
Publication of CN111161251A publication Critical patent/CN111161251A/zh
Application granted granted Critical
Publication of CN111161251B publication Critical patent/CN111161251B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Abstract

本发明公开了一种人脸图像清晰度的计算方法，包括：在获取到的人脸检测区域内检测人脸关键点，标识出预设数量的人脸关键点；根据所述预设数量的人脸关键点，获取至少一个人脸面部特征区域；对于每一个人脸面部特征区域，根据所述人脸面部特征区域以及位于该人脸面部特征区域上的人脸关键点，确定人脸面部特征清晰度计算区域；在每一个人脸面部特征清晰度计算区域中计算人脸面部特征清晰度，并根据所有人脸面部特征清晰度计算人脸图像清晰度。本发明还公开了相应的人脸图像清晰度的计算装置，采用本发明实施例，能够有效避免背景图像对人脸图像清晰度计算准确性的影响，提高人脸图像清晰度计算的准确性。

Description

一种人脸图像清晰度的计算方法和装置
技术领域
本发明涉及图像处理技术领域，尤其涉及一种人脸图像清晰度的计算方法和装置。
背景技术
随着科学技术的迅猛发展，图像处理技术广泛应用于人们生活的方方面面，其中，人脸识别技术具有广阔的应用前景，受到了人们的广泛关注，而人脸图像的清晰度是影响人脸识别准确率的关键因素。现有的人脸图像清晰度评价方法中，首先对预处理后的人脸图像进行人脸检测，得到人脸区域范围，再计算人脸区域范围中的所有像素点的梯度值，得到人脸图像清晰度等级。
然而，在实施本发明过程中，发明人发现现有技术至少存在以下问题：在现有的人脸图像清晰度评价方法中，如果检测到的人脸区域范围中包括了一部分的背景图像，则会导致人脸图像清晰度计算的准确性受到背景图像的影响，从而极大地降低了人脸图像清晰度计算的准确性。
发明内容
本发明实施例的目的是提供一种人脸图像清晰度的计算方法和装置，其能够有效避免背景图像对人脸图像清晰度计算准确性的影响，提高人脸图像清晰度计算的准确性。
为实现上述目的，本发明实施例提供了一种人脸图像清晰度的计算方法，包括：
获取人脸图像，并对所述人脸图像进行人脸检测，获取人脸检测区域；
在所述人脸检测区域内检测人脸关键点，标识出预设数量的人脸关键点；
根据所述预设数量的人脸关键点，获取至少一个人脸面部特征区域；
对于每一个人脸面部特征区域，根据所述人脸面部特征区域以及位于该人脸面部特征区域上的人脸关键点，确定人脸面部特征清晰度计算区域；
对于每一个人脸面部特征清晰度计算区域，在所述人脸面部特征清晰度计算区域中计算人脸面部特征清晰度，并根据所有人脸面部特征清晰度计算人脸图像清晰度。
作为上述方案的改进，当所述人脸面部特征区域的上下左右边界上均设有人脸关键点时，则所述根据所述人脸面部特征区域以及位于该人脸面部特征区域上的人脸关键点，确定人脸面部特征清晰度计算区域，具体包括：
获取位于所述人脸面部特征区域的最上方、最下方、最左方和最右方的人脸关键点；
根据位于所述人脸面部特征区域的最上方、最下方、最左方和最右方的人脸关键点，确定所述人脸面部特征清晰度计算区域。
作为上述方案的改进，所述根据位于所述人脸面部特征区域的最上方、最下方、最左方和最右方的人脸关键点，确定所述人脸面部特征清晰度计算区域，具体包括：
将位于所述人脸面部特征区域的最上方的人脸关键点向上偏移预设的第一偏移量，得到所述人脸面部特征清晰度计算区域的上边界点；并根据所述人脸面部特征清晰度计算区域的上边界点，形成所述人脸面部特征清晰度计算区域的上边界；其中，所述人脸面部特征清晰度计算区域的上边界为一通过所述上边界点的水平线段；
将位于所述人脸面部特征区域的最下方的人脸关键点向下偏移预设的第二偏移量，得到所述人脸面部特征清晰度计算区域的下边界点；并根据所述人脸面部特征清晰度计算区域的下边界点，形成所述人脸面部特征清晰度计算区域的下边界；其中，所述人脸面部特征清晰度计算区域的下边界为一通过所述下边界点的水平线段；
将位于所述人脸面部特征区域的最左方的人脸关键点向左偏移预设的第三偏移量，得到所述人脸面部特征清晰度计算区域的左边界点；并根据所述人脸面部特征清晰度计算区域的左边界点，形成所述人脸面部特征清晰度计算区域的左边界；其中，所述人脸面部特征清晰度计算区域的左边界为一通过所述左边界点的垂直线段；
将位于所述人脸面部特征区域的最右方的人脸关键点向右偏移预设的第四偏移量，得到所述人脸面部特征清晰度计算区域的右边界点；并根据所述人脸面部特征清晰度计算区域的右边界点，形成所述人脸面部特征清晰度计算区域的右边界；其中，所述人脸面部特征清晰度计算区域的右边界为一通过所述右边界点的垂直线段；
根据所述人脸面部特征清晰度计算区域的上、下、左和右边界，确定所述人脸面部特征清晰度计算区域。
作为上述方案的改进，当所述人脸面部特征区域的上下左右边界上只有部分设有人脸关键点时，则所述根据所述人脸面部特征区域以及位于该人脸面部特征区域上的人脸关键点，确定人脸面部特征清晰度计算区域，具体包括：
获取位于所述人脸面部特征区域的最外缘的人脸关键点；
根据位于所述人脸面部特征区域的最外缘的人脸关键点以及预设的人脸面部特征区域占人脸检测区域的宽度比例和/或高度比例，确定所述人脸面部特征清晰度计算区域。
作为上述方案的改进，所述对于每一个人脸面部特征清晰度计算区域，在所述人脸面部特征清晰度计算区域中计算人脸面部特征清晰度，并根据所有人脸面部特征清晰度计算人脸图像清晰度，具体包括：
采用边缘检测算子计算每一个所述人脸面部特征清晰度计算区域内的所有像素点的梯度值；
将每一个所述人脸面部特征清晰度计算区域内的所有像素点的梯度值归一化为0-255；
计算每一个所述人脸面部特征清晰度计算区域内的所有像素点归一化后的梯度值的平均值；
对所有所述人脸面部特征清晰度计算区域内的所有像素点归一化后的梯度值的平均值进行加权运算，计算所述人脸图像清晰度。
作为上述方案的改进，在所述对于每一个人脸面部特征清晰度计算区域，在所述人脸面部特征清晰度计算区域中计算人脸面部特征清晰度，并根据所有人脸面部特征清晰度计算人脸图像清晰度之后，还包括：
计算所述人脸检测区域的平均亮度值；
根据所述人脸检测区域的平均亮度值，修正所述人脸图像清晰度，得到修正后的人脸图像清晰度。
作为上述方案的改进，所述根据所述人脸检测区域的平均亮度值，修正所述人脸图像清晰度，得到修正后的人脸图像清晰度具体为：
根据所述人脸检测区域的平均亮度值，通过以下计算公式修正所述人脸图像清晰度，得到修正后的人脸图像清晰度：
其中，S为修正后的人脸图像清晰度；S0为修正前的人脸图像清晰度；B为所述人脸检测区域的平均亮度值；α为第一预设系数；β为第二预设系数。
作为上述方案的改进，所述人脸面部特征为左眼睛、右眼睛、鼻子、嘴巴；所述至少一个人脸面部特征至少包括左眼睛、右眼睛、鼻子、嘴巴中的一种。
本发明实施例还提供了一种人脸图像清晰度的计算装置，包括：
人脸检测区域获取模块，用于获取人脸图像，并对所述人脸图像进行人脸检测，获取人脸检测区域；
人脸关键点标识模块，用于在所述人脸检测区域内检测人脸关键点，标识出预设数量人脸关键点；
人脸面部特征区域获取模块，用于根据所述预设数量的人脸关键点，获取至少一个人脸面部特征区域；
清晰度计算区域确定模块，用于对于每一个人脸面部特征区域，根据所述人脸面部特征区域以及位于该人脸面部特征区域上的人脸关键点，确定人脸面部特征清晰度计算区域；
人脸图像清晰度计算模块，用于对于每一个人脸面部特征清晰度计算区域，在所述人脸面部特征清晰度计算区域中计算人脸面部特征清晰度，并根据所有人脸面部特征清晰度计算人脸图像清晰度。
本发明实施例还提供了一种人脸图像清晰度的计算装置，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上任意一项所述的人脸图像清晰度的计算方法。
与现有技术相比，本发明公开的人脸图像清晰度的计算方法和装置，通过在人脸检测区域内标识出预设数量的人脸关键点，获取至少一个人脸面部特征区域，并根据所述人脸面部特征区域确定相应的人脸面部特征清晰度计算区域，针对每一个人脸面部特征清晰度计算区域计算人脸面部特征清晰度，进而计算得到人脸图像清晰度。通过计算具有代表性的人脸面部特征区域的清晰度，得到人脸图像清晰度，能够有效避免背景图像对人脸图像清晰度计算准确性的影响，提高人脸图像清晰度计算的准确性。
附图说明
图1是本发明实施例一提供的一种人脸图像清晰度的计算方法的步骤示意图；
图2是本发明实施例一中人脸图像清晰度的计算方法中的人脸检测区域的示意图；
图3是本发明实施例一中人脸图像清晰度的计算方法中步骤S4的一种步骤流程示意图；
图4是本发明实施例一中人脸图像清晰度的计算方法中步骤S4的另一种步骤流程示意图；
图5是本发明实施例一中人脸图像清晰度的计算方法中步骤S5的步骤流程示意图；
图6是本发明实施例二提供的一种人脸图像清晰度的计算方法的步骤示意图；
图7是本发明实施例三提供的一种人脸图像清晰度的计算装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1和图2，图1是本发明实施例一提供的一种人脸图像清晰度的计算方法的步骤示意图；图2是本发明实施例一提供的人脸图像清晰度的计算方法中的人脸检测区域的示意图。本发明实施例一提供的人脸图像清晰度的计算方法通过步骤S1至S5执行：
S1、获取人脸图像，并对所述人脸图像进行人脸检测，获取人脸检测区域。
作为优选的方案，对获取到的所述人脸图像进行预处理，所述预处理包括去除图片噪声等；对预处理后的人脸图像进行人脸检测，获取人脸检测区域，并对所述人脸检测区域归一化到预设大小。优选地，所述预设大小为40像素*40像素的尺寸。
S2、在所述人脸检测区域内检测人脸关键点，标识出预设数量的人脸关键点。
S3、根据所述预设数量的人脸关键点，获取至少一个人脸面部特征区域。
作为优选的方案，所述人脸面部特征为左眼睛、右眼睛、鼻子、嘴巴；所述至少一个人脸面部特征至少包括左眼睛、右眼睛、鼻子、嘴巴中的一种。
具体地，所述人脸关键点为表征所述人脸图像的人脸面部特征的像素点，通过在人脸图像中定位出比较具有代表性的角点或边缘点，用以确定人脸五官的大致区域。根据预设数量的人脸关键点，可以确定所述人脸图像上的至少一个人脸面部特征区域。作为举例，参见图2，当所述人脸关键点为序号36～41的人脸关键点时，可以确定出所述人脸图像的左眼睛这一人脸面部特征区域，当所述人脸关键点为序号42～47的人脸关键点时，可以确定出所述人脸图像的右眼睛这一人脸面部特征区域，当所述人脸关键点为序号27～35的人脸关键点时，可以确定出所述人脸图像的鼻子这一人脸面部特征区域，当所述人脸关键点为序号48～67的人脸关键点时，可以确定出所述人脸图像的嘴巴这一人脸面部特征区域。
可以理解地，人脸关键点的定位方法能够定位出人脸图像中比较具有代表性的角点或边缘点，因此标识的人脸关键点的数量较小时，例如只标识出图2中的序号36、序号45、序号33、序号48和序号54的人脸关键点时，也可以通过上述人脸关键点，大致确定出人脸图像的左眼睛、右眼睛、鼻子和嘴巴等人脸面部特征区域，或其中至少一个人脸面部特征区域，均不影响本发明取得的有益效果。
S4、对于每一个人脸面部特征区域，根据所述人脸面部特征区域以及位于该人脸面部特征区域上的人脸关键点，确定人脸面部特征清晰度计算区域。
作为优选的方案，参见图3，是本发明实施例一中人脸图像清晰度的计算方法中步骤S4的一种步骤流程示意图。当所述人脸面部特征区域的上下左右边界上均设有人脸关键点时，则步骤S4包括步骤S411至S412：
S411、获取位于所述人脸面部特征区域的最上方、最下方、最左方和最右方的人脸关键点。
S412、根据位于所述人脸面部特征区域的最上方、最下方、最左方和最右方的人脸关键点，确定所述人脸面部特征清晰度计算区域。
具体地，将位于所述人脸面部特征区域的最上方的人脸关键点向上偏移预设的第一偏移量，得到所述人脸面部特征清晰度计算区域的上边界点；并根据所述人脸面部特征清晰度计算区域的上边界点，形成所述人脸面部特征清晰度计算区域的上边界；其中，所述人脸面部特征清晰度计算区域的上边界为一通过所述上边界点的水平线段；
将位于所述人脸面部特征区域的最下方的人脸关键点向下偏移预设的第二偏移量，得到所述人脸面部特征清晰度计算区域的下边界点；并根据所述人脸面部特征清晰度计算区域的下边界点，形成所述人脸面部特征清晰度计算区域的下边界；其中，所述人脸面部特征清晰度计算区域的下边界为一通过所述下边界点的水平线段；
将位于所述人脸面部特征区域的最左方的人脸关键点向左偏移预设的第三偏移量，得到所述人脸面部特征清晰度计算区域的左边界点；并根据所述人脸面部特征清晰度计算区域的左边界点，形成所述人脸面部特征清晰度计算区域的左边界；其中，所述人脸面部特征清晰度计算区域的左边界为一通过所述左边界点的垂直线段；
将位于所述人脸面部特征区域的最右方的人脸关键点向右偏移预设的第四偏移量，得到所述人脸面部特征清晰度计算区域的右边界点；并根据所述人脸面部特征清晰度计算区域的右边界点，形成所述人脸面部特征清晰度计算区域的右边界；其中，所述人脸面部特征清晰度计算区域的右边界为一通过所述右边界点的垂直线段；
根据所述人脸面部特征清晰度计算区域的上、下、左和右边界，确定所述人脸面部特征清晰度计算区域。
可以理解地，根据所述人脸面部特征清晰度计算区域的上、下、左和右边界确定的人脸面部特征清晰度计算区域为一个矩形区域；所述第一偏移量、第二偏移量、第三偏移量和第四偏移量可以是相同的偏移量，也可以是互不相同的偏移量，均不影响本发明取得的有益效果。
在一个实施例中，参见图2，在获取所述人脸检测区域后，建立二维坐标系，使所述人脸检测区域位于二维坐标系的第一象限内。在所述人脸检测区域内检测人脸关键点，标识出68个人脸关键点，分别为序号0～67。其中，当根据序号为36～39的人脸关键点确定出所述人脸图像的左眼睛这一人脸面部特征区域后，根据每一人脸关键点的坐标，获取其中最上方的人脸关键点max(y37，y38)、最下方的人脸关键点min(y40，y41)、最左方的人脸关键点x36和最右方的人脸关键点x39，则所述人脸面部特征清晰度计算区域A的上边界点yA_top、下边界点yA_bottom、左边界点xA_left和右边界点xA_right的计算公式如下：
yA_top＝max(y37，y38)+offset1；
yA_bottom＝min(y40，y41)-offset2；
xA_left＝x36-offset3；
xA_right＝x39+offset4；
其中，offset1、offset2、offset3和offset4分别为所述第一偏移量、第二偏移量、第三偏移量和第四偏移量。将一通过所述上边界点的平行线段作为区域A的上边界，将一通过所述下边界点的平行线段作为区域A的下边界，将一通过所述左边界点的垂直线段作为区域A的左边界，将一通过所述右边界点的垂直线段作为区域A的右边界，从而得到一个封闭的矩形区域，也即所述人脸面部特征清晰度计算区域A。根据同样的方法，可以得到所述人脸检测区域中右眼睛的人脸面部特征清晰度计算区域B、鼻子的人脸面部特征清晰度计算区域C和嘴巴的人脸面部特征清晰度计算区域D。
实施本发明实施例，在检测的人脸关键点充足的情况下，可以方便精准地框选出人脸检测区域中最具有代表性的人脸面部特征区域的清晰度计算区域，以作为后续计算人脸图像清晰度的计算范围，可以更有效地提高人脸图像清晰度计算的准确性。
作为另一优选的方案，参见图4，是本发明实施例一中人脸图像清晰度的计算方法中步骤S4的另一种步骤流程示意图。需要说明的是，人脸关键点的定位方法能够定位出人脸图像中比较具有代表性的角点或边缘点。
当所述人脸面部特征区域的上下左右边界上只有部分设有人脸关键点时，则所述根据所述人脸面部特征区域以及位于该人脸面部特征区域上的人脸关键点，确定人脸面部特征清晰度计算区域，具体包括步骤S421和S422：
S421、获取位于所述人脸面部特征区域的最外缘的人脸关键点；
S422、根据位于所述人脸面部特征区域的最外缘的人脸关键点以及预设的人脸面部特征区域占人脸检测区域的宽度比例和/或高度比例，确定所述人脸面部特征清晰度计算区域。
具体地，当确定所述人脸检测区域内的至少一个人脸面部特征区域后，获取所述人脸面部特征区域的最外缘的人脸关键点，也即位于所述人脸面部特征区域的边缘上的最上方、最下方、最左方或最右方的人脸关键点。再根据所获取的人脸关键点的上下左右方位及个数，选取所述人脸面部特征区域占所述人脸检测区域宽度比例或高度比例，以确定所述人脸面部特征清晰度计算区域。
当获取的所述人脸面部特征区域的最外缘的人脸关键点位于所述人脸面部特征区域的边缘的最上方时，将其向上偏移预设的第一偏移量，得到所述人脸面部特征清晰度计算区域的上边界点；将一通过所述上边界点的水平线段作为所述人脸面部特征清晰度计算区域的上边界。
当获取的所述人脸面部特征区域的最外缘的人脸关键点位于所述人脸面部特征区域的边缘的最下方时，将其向下偏移预设的第二偏移量，得到所述人脸面部特征清晰度计算区域的下边界点；将一通过所述下边界点的水平线段作为所述人脸面部特征清晰度计算区域的下边界。
当获取的所述人脸面部特征区域的最外缘的人脸关键点位于所述人脸面部特征区域的边缘的最左方时，将其向左偏移预设的第三偏移量，得到所述人脸面部特征清晰度计算区域的左边界点；将一通过所述左边界点的垂直线段作为所述人脸面部特征清晰度计算区域的左边界。
当获取的所述人脸面部特征区域的最外缘的人脸关键点位于所述人脸面部特征区域的边缘的最右方时，将其向右偏移预设的第一偏移量，得到所述人脸面部特征清晰度计算区域的右边界点；将一通过所述右边界点的垂直线段作为所述人脸面部特征清晰度计算区域的右边界。
当只确定所述人脸面部特征清晰度计算区域的一个边界，即上、下、左或右边界时，结合所述人脸面部特征区域占所述人脸检测区域宽度比例以及高度比例，确定一包含所述人脸面部特征区域内的所有人脸关键点的矩形区域，作为所述人脸面部特征清晰度计算区域。
当只能确定所述人脸面部特征清晰度计算区域的两个相邻边界时，结合所述人脸面部特征区域占所述人脸检测区域宽度比例以及高度比例，确定一矩形区域，作为所述人脸面部特征清晰度计算区域。
当能确定所述人脸面部特征清晰度计算区域的两个相对边界，即上下边界或左右边界，或能确定所述人脸面部特征清晰度计算区域的三个边界时，则只需结合所述人脸面部特征区域占所述人脸检测区域宽度比例或高度比例，确定一包含所述人脸面部特征区域内的所有人脸关键点的矩形区域，作为所述人脸面部特征清晰度计算区域。
在一个实施例中，参见图2，当获取的左眼睛这一人脸面部特征区域的最外缘的人脸关键点位于所述人脸面部特征区域的边缘的最左方，也即序号36的人脸关键点时，将序号36的人脸关键点向左偏移预设的偏移量得到左边界点，进一步得到所述人脸面部特征清晰度计算区域A的左边界。再根据左眼睛的宽度占人脸检测区域宽度的1/4这一宽度比例，左眼睛的高度占人脸检测区域高度的1/8这一高度比例，确定出所述人脸面部特征清晰度计算区域A的上、下和右边界，进而确定一包含左眼睛上的所有人脸关键点的矩形区域，优选为所述左边界点位于所述左边界的中心点位置的矩形区域，作为所述人脸面部特征清晰度计算区域A。
在另一实施例中，参见图2，当获取的嘴巴这一人脸面部特征区域的最外缘的人脸关键点位于所述人脸面部特征区域的边缘的最左和最右方时，也即序号48和54的人脸关键点时，将序号48的人脸关键点向左偏移预设的偏移量得到左边界点，序号54的人脸关键点向右偏移预设的偏移量得到右边界点，进一步得到所述人脸面部特征清晰度计算区域D的左和右边界。再根据嘴巴的高度占人脸检测区域的高度的高度比例，确定出所述人脸面部特征清晰度计算区域D的上、下边界，进而确定一包含嘴巴上的所有人脸关键点的矩形区域作为所述人脸面部特征清晰度计算区域D。
在又一实施例中，参见图2，当获取的鼻子这一人脸面部特征区域的最外缘的人脸关键点位于所述人脸面部特征区域的边缘的最左、最右和最下方时，也即序号31、35和33的人脸关键点时，将序号31的人脸关键点向左偏移预设的偏移量得到左边界点，序号35的人脸关键点向右偏移预设的偏移量得到右边界点，序号33的人脸关键点向下偏移预设的偏移量得到下边界点，进一步得到所述人脸面部特征清晰度计算区域C的左、右和下边界。再根据鼻子的高度占人脸检测区域的高度的高度比例，确定出所述人脸面部特征清晰度计算区域C的上边界，进而确定一矩形区域作为所述人脸面部特征清晰度计算区域C。
可以理解地，上述实施例中的所涉及的数值和情况仅作为举例，在实际应用中，可以根据实际获取的人脸面部特征区域的最外缘的人脸关键点的个数和方位，确定所述人脸面部特征清晰度计算区域，不影响本发明取得的有益效果。
实施本发明实施例，在检测的人脸关键点较少的情况下，通过预设宽度比例和高度比例，也可以方便简单地框选出人脸检测区域中最具有代表性的人脸面部特征区域的清晰度计算区域，以作为后续计算人脸图像清晰度的计算范围，可以更有效地提高人脸图像清晰度计算的准确性。
S5、对于每一个人脸面部特征清晰度计算区域，在所述人脸面部特征清晰度计算区域中计算人脸面部特征清晰度，并根据所有人脸面部特征清晰度计算人脸图像清晰度。
作为优选的方案，参见图5，是本发明实施例一中人脸图像清晰度的计算方法中步骤S5的步骤流程示意图。步骤S5通过步骤S51至S54执行：
S51、采用边缘检测算子计算每一个所述人脸面部特征清晰度计算区域内的所有像素点的梯度值。
所述边缘检测算子用于计算图像像素点的梯度值，可以为Sobel算子、Roberts算子、Canny算子和Laplacian算子中的一种或多种；优选地，所述边缘检测算子为Sobel算子，从而更加精准快速地计算所述像素点的梯度值。
S52、将每一个所述人脸面部特征清晰度计算区域内的所有像素点的梯度值归一化为0-255。
优选地，通过以下计算公式得到每一个所述人脸面部特征清晰度计算区域内的所有像素点的梯度值归一化后的梯度值：
其中，GN(x,y)为所述人脸面部特征清晰度计算区域内的每一像素点的梯度值归一化后的梯度值；G(x,y)为所述人脸面部特征清晰度计算区域内的每一像素点的梯度值。将大于255的梯度值设置为255，小于等于255的梯度值保留其本身的值。
S53、计算每一个所述人脸面部特征清晰度计算区域内的所有像素点归一化后的梯度值的平均值。
通过以下计算公式得到每一个所述人脸面部特征清晰度计算区域内的所有像素点归一化后的梯度值的平均值：
其中，GN_ave为所述人脸面部特征清晰度计算区域内的所有像素点归一化后的梯度值的平均值；GN(x,y)为所述人脸面部特征清晰度计算区域内的每一像素点的梯度值归一化后的梯度值；M为位于所述人脸面部特征清晰度计算区域的宽上的像素点个数；N为位于所述人脸面部特征清晰度计算区域的高上的像素点个数。
S54、对所有所述人脸面部特征清晰度计算区域内的所有像素点归一化后的梯度值的平均值进行加权运算，计算所述人脸图像清晰度。
将所述人脸面部特征清晰度计算区域内的所有像素点归一化后的梯度值的平均值作为所述人脸面部特征清晰度计算区域内的梯度均值，通过预设各个梯度均值的权重值，对所有梯度均值进行加权计算，或对所有梯度均值求平均值，得到总的梯度均值作为所述人脸图像清晰度。
本发明实施例一提供的人脸图像清晰度的计算方法，通过在人脸检测区域内标识出预设数量的人脸关键点，获取至少一个人脸面部特征区域，并根据所述人脸面部特征区域上的特定的人脸关键点，确定相应的人脸面部特征清晰度计算区域，计算每一个人脸面部特征清晰度计算区域内所有像素点的梯度值，进而计算得到人脸图像清晰度。通过计算具有代表性的人脸面部特征区域的清晰度，得到人脸图像清晰度，能够有效避免背景图像对人脸图像清晰度计算准确性的影响，提高人脸图像清晰度计算的准确性。通过计算人脸面部特征清晰度计算区域内所有像素点的梯度值的方法计算人脸清晰度，不需要经过大量的图像样本进行深度学习，可以简化计算，提高运算效率，有效地节省了计算资源。
参见图6，是本发明实施例二提供的一种人脸图像清晰度的计算方法的步骤示意图。本发明实施例二是在实施例一的基础上实施的，在步骤S5之后，还包括步骤S6和S7：
S6、计算所述人脸检测区域的平均亮度值；
S7、根据所述人脸检测区域的平均亮度值，修正所述人脸图像清晰度，得到修正后的人脸图像清晰度。
作为优选的方案，根据所述人脸检测区域的平均亮度值，通过以下计算公式修正所述人脸图像清晰度，得到修正后的人脸图像清晰度：
其中，S为修正后的人脸图像清晰度；S0为修正前的人脸图像清晰度；B为所述人脸检测区域的平均亮度值；α为第一预设系数；β为第二预设系数。
可以理解地，所述第一预设系数和第二预设系数的值根据多次实验计算得到，并可以进行相应地调整。优选地，所述第一预设系数α设置为40，所述第二预设系数β设置为5。
在人脸图像清晰度相同的情况下，图像上的各像素点在低亮度情况下计算出来的梯度值相较于高亮度情况下计算出来的梯度值更小，因此，在根据像素点的梯度值来计算人脸图像清晰度后，还需要减少画面亮度对清晰度计算的影响。因图像亮度的高低与像素点的梯度值呈正相关的关系，通过设置第一预设系数和第二预设系数来调整其比例关系，以减少画面亮度对最终的人脸图像清晰度的影响，从而提高人脸图像清晰度的准确性。
进一步地，在所述人脸检测区域的平均亮度值对所述人脸图像清晰度进行修正后，将所述修正后的人脸图像清晰度归一化到1-100，以作为人脸图像的清晰度分数。优选地，通过将人脸图像清晰度大于100的值设置为100，将小于等于100的值设置为其本身，进行修正后的人脸图像清晰度的归一化操作。将人脸图像清晰度归一化到1-100的分数，可以更加直观地反应出人脸图像的清晰度等级，方便用户的使用和评估。
本发明实施例二提供的的人脸图像清晰度的计算方法，通过在人脸检测区域内标识出预设数量的人脸关键点，获取至少一个人脸面部特征区域，并根据所述人脸面部特征区域上的特定的人脸关键点，确定相应的人脸面部特征清晰度计算区域，计算每一个人脸面部特征清晰度计算区域内所有像素点的梯度值，进而计算得到人脸图像清晰度。最后，根据计算得到的人脸检测区域的平均亮度值对计算得到的人脸图像清晰度进行修正，从而得到最终的人脸图像清晰度。通过计算具有代表性的人脸面部特征区域的清晰度，得到人脸图像清晰度，能够有效避免背景图像对人脸图像清晰度计算准确性的影响，提高人脸图像清晰度计算的准确性。通过计算人脸面部特征清晰度计算区域内所有像素点的梯度值的方法计算人脸清晰度，不需要经过大量的图像样本进行深度学习，可以简化计算，提高运算效率，有效地节省了计算资源。通过考虑画面亮度这一因素，减少亮度变化对人脸图像清晰度计算准确性的影响，进一步提高了人脸图像清晰度的准确性。
参见图7，是本发明实施例三提供的一种人脸图像清晰度的计算装置的结构示意图。本发明实施例三提供了人脸图像清晰度的计算装置30，包括：人脸检测区域获取模块31、人脸关键点标识模块32、人脸面部特征区域获取模块33、清晰度计算区域确定模块34和人脸图像清晰度计算模块35；其中，
所述人脸检测区域获取模块31，用于获取人脸图像，并对所述人脸图像进行人脸检测，获取人脸检测区域；
所述人脸关键点标识模块32，用于在所述人脸检测区域内检测人脸关键点，标识出预设数量人脸关键点；
所述人脸面部特征区域获取模块33，用于根据所述预设数量的人脸关键点，获取至少一个人脸面部特征区域；
所述清晰度计算区域确定模块34，用于对于每一个人脸面部特征区域，根据所述人脸面部特征区域以及位于该人脸面部特征区域上的人脸关键点，确定人脸面部特征清晰度计算区域；
所述人脸图像清晰度计算模块35，用于对于每一个人脸面部特征清晰度计算区域，在所述人脸面部特征清晰度计算区域中计算人脸面部特征清晰度，并根据所有人脸面部特征清晰度计算人脸图像清晰度。
在一个优选的实施例中，所述人脸图像清晰度的计算装置30还包括人脸图像清晰度修正模块36，用于计算所述人脸检测区域的平均亮度值；并根据所述人脸检测区域的平均亮度值，修正所述人脸图像清晰度，得到修正后的人脸图像清晰度。
需要说明的是，本发明实施例提供的一种人脸图像清晰度的计算装置用于执行上述实施例的一种人脸图像清晰度的计算方法的所有流程步骤，两者的工作原理和有益效果一一对应，因而不再赘述。
本发明实施例四还提供了另一种人脸图像清晰度的计算装置，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述实施例所述的人脸图像清晰度的计算方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (8)

1.一种人脸图像清晰度的计算方法，其特征在于，包括：
获取人脸图像，并对所述人脸图像进行人脸检测，获取人脸检测区域；
在所述人脸检测区域内检测人脸关键点，标识出预设数量的人脸关键点；
根据所述预设数量的人脸关键点，获取至少一个人脸面部特征区域；
对于每一个人脸面部特征区域，根据所述人脸面部特征区域以及位于该人脸面部特征区域上的人脸关键点，确定人脸面部特征清晰度计算区域；
对于每一个人脸面部特征清晰度计算区域，在所述人脸面部特征清晰度计算区域中计算人脸面部特征清晰度，并根据所有人脸面部特征清晰度计算人脸图像清晰度；
当所述人脸面部特征区域的上下左右边界上均设有人脸关键点时，则所述根据所述人脸面部特征区域以及位于该人脸面部特征区域上的人脸关键点，确定人脸面部特征清晰度计算区域，具体包括：
获取位于所述人脸面部特征区域的最上方、最下方、最左方和最右方的人脸关键点；
根据位于所述人脸面部特征区域的最上方、最下方、最左方和最右方的人脸关键点，确定所述人脸面部特征清晰度计算区域；
所述根据位于所述人脸面部特征区域的最上方、最下方、最左方和最右方的人脸关键点，确定所述人脸面部特征清晰度计算区域，具体包括：
将位于所述人脸面部特征区域的最上方的人脸关键点向上偏移预设的第一偏移量，得到所述人脸面部特征清晰度计算区域的上边界点；并根据所述人脸面部特征清晰度计算区域的上边界点，形成所述人脸面部特征清晰度计算区域的上边界；其中，所述人脸面部特征清晰度计算区域的上边界为一通过所述上边界点的水平线段；
将位于所述人脸面部特征区域的最下方的人脸关键点向下偏移预设的第二偏移量，得到所述人脸面部特征清晰度计算区域的下边界点；并根据所述人脸面部特征清晰度计算区域的下边界点，形成所述人脸面部特征清晰度计算区域的下边界；其中，所述人脸面部特征清晰度计算区域的下边界为一通过所述下边界点的水平线段；
将位于所述人脸面部特征区域的最左方的人脸关键点向左偏移预设的第三偏移量，得到所述人脸面部特征清晰度计算区域的左边界点；并根据所述人脸面部特征清晰度计算区域的左边界点，形成所述人脸面部特征清晰度计算区域的左边界；其中，所述人脸面部特征清晰度计算区域的左边界为一通过所述左边界点的垂直线段；
将位于所述人脸面部特征区域的最右方的人脸关键点向右偏移预设的第四偏移量，得到所述人脸面部特征清晰度计算区域的右边界点；并根据所述人脸面部特征清晰度计算区域的右边界点，形成所述人脸面部特征清晰度计算区域的右边界；其中，所述人脸面部特征清晰度计算区域的右边界为一通过所述右边界点的垂直线段；
根据所述人脸面部特征清晰度计算区域的上、下、左和右边界，确定所述人脸面部特征清晰度计算区域。
2.如权利要求1所述的人脸图像清晰度的计算方法，其特征在于，当所述人脸面部特征区域的上下左右边界上只有部分设有人脸关键点时，则所述根据所述人脸面部特征区域以及位于该人脸面部特征区域上的人脸关键点，确定人脸面部特征清晰度计算区域，具体包括：
获取位于所述人脸面部特征区域的最外缘的人脸关键点；
根据位于所述人脸面部特征区域的最外缘的人脸关键点以及预设的人脸面部特征区域占人脸检测区域的宽度比例和/或高度比例，确定所述人脸面部特征清晰度计算区域。
3.如权利要求1所述的人脸图像清晰度的计算方法，其特征在于，所述对于每一个人脸面部特征清晰度计算区域，在所述人脸面部特征清晰度计算区域中计算人脸面部特征清晰度，并根据所有人脸面部特征清晰度计算人脸图像清晰度，具体包括：
采用边缘检测算子计算每一个所述人脸面部特征清晰度计算区域内的所有像素点的梯度值；
将每一个所述人脸面部特征清晰度计算区域内的所有像素点的梯度值归一化为0-255；
计算每一个所述人脸面部特征清晰度计算区域内的所有像素点归一化后的梯度值的平均值；
对所有所述人脸面部特征清晰度计算区域内的所有像素点归一化后的梯度值的平均值进行加权运算，计算所述人脸图像清晰度。
4.如权利要求1所述的人脸图像清晰度的计算方法，其特征在于，在所述对于每一个人脸面部特征清晰度计算区域，在所述人脸面部特征清晰度计算区域中计算人脸面部特征清晰度，并根据所有人脸面部特征清晰度计算人脸图像清晰度之后，还包括：
计算所述人脸检测区域的平均亮度值；
根据所述人脸检测区域的平均亮度值，修正所述人脸图像清晰度，得到修正后的人脸图像清晰度。
5.如权利要求4所述的人脸图像清晰度的计算方法，其特征在于，所述根据所述人脸检测区域的平均亮度值，修正所述人脸图像清晰度，得到修正后的人脸图像清晰度具体为：
根据所述人脸检测区域的平均亮度值，通过以下计算公式修正所述人脸图像清晰度，得到修正后的人脸图像清晰度：
其中，S为修正后的人脸图像清晰度；S0为修正前的人脸图像清晰度；B为所述人脸检测区域的平均亮度值；α为第一预设系数；β为第二预设系数。
6.如权利要求1-5任一项所述的人脸图像清晰度的计算方法，其特征在于，所述人脸面部特征为左眼睛、右眼睛、鼻子、嘴巴；所述至少一个人脸面部特征至少包括左眼睛、右眼睛、鼻子、嘴巴中的一种。
7.一种人脸图像清晰度的计算装置，其特征在于，包括：
人脸检测区域获取模块，用于获取人脸图像，并对所述人脸图像进行人脸检测，获取人脸检测区域；
人脸关键点标识模块，用于在所述人脸检测区域内检测人脸关键点，标识出预设数量人脸关键点；
人脸面部特征区域获取模块，用于根据所述预设数量的人脸关键点，获取至少一个人脸面部特征区域；
清晰度计算区域确定模块，用于对于每一个人脸面部特征区域，根据所述人脸面部特征区域以及位于该人脸面部特征区域上的人脸关键点，确定人脸面部特征清晰度计算区域；
人脸图像清晰度计算模块，用于对于每一个人脸面部特征清晰度计算区域，在所述人脸面部特征清晰度计算区域中计算人脸面部特征清晰度，并根据所有人脸面部特征清晰度计算人脸图像清晰度；
当所述人脸面部特征区域的上下左右边界上均设有人脸关键点时，则所述根据所述人脸面部特征区域以及位于该人脸面部特征区域上的人脸关键点，确定人脸面部特征清晰度计算区域，具体包括：
获取位于所述人脸面部特征区域的最上方、最下方、最左方和最右方的人脸关键点；
根据位于所述人脸面部特征区域的最上方、最下方、最左方和最右方的人脸关键点，确定所述人脸面部特征清晰度计算区域；
所述根据位于所述人脸面部特征区域的最上方、最下方、最左方和最右方的人脸关键点，确定所述人脸面部特征清晰度计算区域，具体包括：
将位于所述人脸面部特征区域的最上方的人脸关键点向上偏移预设的第一偏移量，得到所述人脸面部特征清晰度计算区域的上边界点；并根据所述人脸面部特征清晰度计算区域的上边界点，形成所述人脸面部特征清晰度计算区域的上边界；其中，所述人脸面部特征清晰度计算区域的上边界为一通过所述上边界点的水平线段；
将位于所述人脸面部特征区域的最下方的人脸关键点向下偏移预设的第二偏移量，得到所述人脸面部特征清晰度计算区域的下边界点；并根据所述人脸面部特征清晰度计算区域的下边界点，形成所述人脸面部特征清晰度计算区域的下边界；其中，所述人脸面部特征清晰度计算区域的下边界为一通过所述下边界点的水平线段；
将位于所述人脸面部特征区域的最左方的人脸关键点向左偏移预设的第三偏移量，得到所述人脸面部特征清晰度计算区域的左边界点；并根据所述人脸面部特征清晰度计算区域的左边界点，形成所述人脸面部特征清晰度计算区域的左边界；其中，所述人脸面部特征清晰度计算区域的左边界为一通过所述左边界点的垂直线段；
将位于所述人脸面部特征区域的最右方的人脸关键点向右偏移预设的第四偏移量，得到所述人脸面部特征清晰度计算区域的右边界点；并根据所述人脸面部特征清晰度计算区域的右边界点，形成所述人脸面部特征清晰度计算区域的右边界；其中，所述人脸面部特征清晰度计算区域的右边界为一通过所述右边界点的垂直线段；
根据所述人脸面部特征清晰度计算区域的上、下、左和右边界，确定所述人脸面部特征清晰度计算区域。
8.一种人脸图像清晰度的计算装置，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至6中任意一项所述的人脸图像清晰度的计算方法。
CN201911407613.6A 2019-12-31 2019-12-31 一种人脸图像清晰度的计算方法和装置 Active CN111161251B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911407613.6A CN111161251B (zh) 2019-12-31 2019-12-31 一种人脸图像清晰度的计算方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911407613.6A CN111161251B (zh) 2019-12-31 2019-12-31 一种人脸图像清晰度的计算方法和装置

Publications (2)

Publication Number Publication Date
CN111161251A CN111161251A (zh) 2020-05-15
CN111161251B true CN111161251B (zh) 2023-11-24

Family

ID=70559918

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911407613.6A Active CN111161251B (zh) 2019-12-31 2019-12-31 一种人脸图像清晰度的计算方法和装置

Country Status (1)

Country Link
CN (1) CN111161251B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537787A (zh) * 2018-03-30 2018-09-14 中国科学院半导体研究所 一种人脸图像的质量判定方法
CN109409305A (zh) * 2018-11-01 2019-03-01 深圳技术大学（筹） 一种人脸图像清晰度评价方法及装置
CN109657612A (zh) * 2018-12-19 2019-04-19 苏州纳智天地智能科技有限公司 一种基于人脸图像特征的质量排序系统及其使用方法
CN110321753A (zh) * 2018-03-28 2019-10-11 浙江中正智能科技有限公司 一种基于人脸几何特征的人脸图像质量评价方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110321753A (zh) * 2018-03-28 2019-10-11 浙江中正智能科技有限公司 一种基于人脸几何特征的人脸图像质量评价方法
CN108537787A (zh) * 2018-03-30 2018-09-14 中国科学院半导体研究所 一种人脸图像的质量判定方法
CN109409305A (zh) * 2018-11-01 2019-03-01 深圳技术大学（筹） 一种人脸图像清晰度评价方法及装置
CN109657612A (zh) * 2018-12-19 2019-04-19 苏州纳智天地智能科技有限公司 一种基于人脸图像特征的质量排序系统及其使用方法

Also Published As

Publication number Publication date
CN111161251A (zh) 2020-05-15

Similar Documents

Publication Publication Date Title
US20220148213A1 (en) Method for fully automatically detecting chessboard corner points
WO2022007431A1 (zh) 一种Micro QR二维码的定位方法
US8494256B2 (en) Image processing apparatus and method, learning apparatus and method, and program
CN110264426B (zh) 图像畸变校正方法和装置
EP2085928B1 (en) Detection of blobs in images
US20090136100A1 (en) Device and method for creating retinal fundus maps
US20150002704A1 (en) Ghost artifact detection and removal in hdr image processing using multi-scale normalized cross-correlation
CN109034017A (zh) 头部姿态估计方法及机器可读存储介质
CN111340749B (zh) 图像质量的检测方法、装置、设备及存储介质
CN103544491A (zh) 一种面向复杂背景的光学字符识别方法及装置
CN104574312A (zh) 标靶图像求圆心的方法和装置
KR101582153B1 (ko) 이미지 자동 보정을 위한 구도 기반 노출 측정 방법 및 장치
US20120320433A1 (en) Image processing method, image processing device and scanner
JP2006119817A (ja) 画像処理装置
CN112102141B (zh) 水印的检测方法、装置、存储介质以及电子设备
CN111222507A (zh) 数字式仪表读数的自动识别方法、计算机可读存储介质
CN107622475A (zh) 图像拼接中的灰度校正方法
JP2015171143A (ja) カラーコード化された構造によるカメラ較正の方法及び装置、並びにコンピュータ可読記憶媒体
CN116309686A (zh) 游泳运动员视频定位测速方法、装置、设备及存储介质
CN114463310A (zh) 一种dr图像增强方法及装置
CN111161251B (zh) 一种人脸图像清晰度的计算方法和装置
CN111553927B (zh) 棋盘格角点检测方法、检测系统、计算机装置及存储介质
WO2021195873A1 (zh) 识别sfr测试卡图像中感兴趣区域的方法及装置、介质
US20230386023A1 (en) Method for detecting medical images, electronic device, and storage medium
CN109448012A (zh) 一种图像边缘检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant