CN110838119A - 人脸图像质量评估方法、计算机装置及计算机可读存储介质 - Google Patents

人脸图像质量评估方法、计算机装置及计算机可读存储介质 Download PDF

Info

Publication number
CN110838119A
CN110838119A CN201911121119.3A CN201911121119A CN110838119A CN 110838119 A CN110838119 A CN 110838119A CN 201911121119 A CN201911121119 A CN 201911121119A CN 110838119 A CN110838119 A CN 110838119A
Authority
CN
China
Prior art keywords
image
sub
face
calculating
gray
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911121119.3A
Other languages
English (en)
Other versions
CN110838119B (zh
Inventor
汪厚峄
张建辉
彭刚
南楠
王晓明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Allwinner Technology Co Ltd
Original Assignee
Allwinner Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Allwinner Technology Co Ltd filed Critical Allwinner Technology Co Ltd
Priority to CN201911121119.3A priority Critical patent/CN110838119B/zh
Publication of CN110838119A publication Critical patent/CN110838119A/zh
Application granted granted Critical
Publication of CN110838119B publication Critical patent/CN110838119B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993Evaluation of the quality of the acquired pattern
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种人脸图像质量评估方法、计算机装置及计算机可读存储介质,该方法包括获取初始图像,将初始图像划分为多张子图像,并且,计算每一张子图像的灰度均值以及方差,并对每一子图像进行归一化计算;对归一化的每一子图像进行离散余弦变换并提取低频系数,利用每一子图像的灰度均值、低频系数计算该子图像的加权特征;计算每一子图像相对于标准人脸子图像的相似度概率得分,并计算该初始图像的最终得分。本发明还提供实现上述人脸图像质量评估方法的计算机装置及计算机可读存储介质。本发明的方法考虑到光照、姿态、遮挡等多种情况对人脸图像的影响,能够更加准确的评估各张图像的质量。

Description

人脸图像质量评估方法、计算机装置及计算机可读存储介质
技术领域
本发明涉及图像识别的技术领域,具体地,是人脸图像质量评估 方法以及实现这种方法的计算机装置、计算机可读存储介质。
背景技术
由于每一个人的脸型是具有判别性、非接触性和易获取等特点, 被视为个人身份认证的理想生物特征。在过去二十多年来,人脸识别 引起了学术界和商业界广泛关注,并涌现出许多人脸识别方法。随着 智能技术的发展,通过图像识别的方式来对人员进行识别已经广泛应 用在诸如安防等多个领域,其中,通过对人员的人脸进行识别是图像 识别领域中的重点研究领域。
在通过拍摄图像对人脸进行识别的过程中,由于真实场景中存在 光照、姿态、遮挡和表情等多种变化因素,这些因素对获取人脸图像 的质量有较大影响,进而影响人脸识别的性能。虽然目前已经提出许 多方法来改善在不同质量人脸图像上的人脸识别性能,但是目前的人 脸识别方法在高质量的人脸图像上获得更好的性能仍然是人们研究的 重点方向。
在许多视频监控的人脸识别系统中,能够获取目标个体的多张人 脸图像,从中选择高质量人脸图像不仅能够提高系统的鲁棒性并降低 误报警率,还能大幅减少计算量和功耗。因此,现有的技术提出一种 Robust PCA方法来移除低质量人脸图像,但是该方法并不能应用低质 量图像占据主导的视频监控领域。
一个更加直接的方法解决人脸质量评估问题就是分析人脸的一些 特性,例如现有另一种技术提出使用人脸对称度方法,定量评估由于 侧脸、光照和姿态等因素对人脸质量的影响。还有一种技术提出基于 Patch概率模型方法用于人脸质量评估,该方法需要在正脸、均匀光照 和自然表情上进行训练。然而,目前人脸质量评估方法并没有考虑到 人脸比对和验证的性能,这些方法评价得到质量好的人脸图像在进行 人脸识别时并不一定有很高的准确率。
近年来,深度学习逐渐在各个领域取得良好效果,同样在图像质 量评价中也取得了很好地效果。因此,现有技术提出使用卷积神经网 络进行人脸质量评估,但是,基于深度学习的方法需要大量的有标签 数据进行训练,并且在部署时通常会受到计算资源、功耗和模型体积 等诸多因素的限制。
可见,目前大部分人脸图像质量评估方法仅只考虑到人脸图像一 些基本特性,并没有考虑对后续人脸比对和验证的性能影响。事实上, 由这些方法评价得到质量好的人脸图像在进行人脸识别时并不一定有 很高准确率。
发明内容
本发明的主要目的是提供一种对人脸图像质量评价更加准确并符 合后续使用需求的人脸图像质量评估方法。
本发明的另一目的是提供一种实现上述人脸图像质量评估方法的 计算机装置。
本发明的再一目的是提供一种实现上述人脸图像质量评估方法的 计算机可读存储介质。
为实现本发明的主要目的,本发明提供的人脸图像质量评估方法 包括获取初始图像,将初始图像划分为多张子图像,并且,计算每一 张子图像的灰度均值以及方差,并对每一子图像进行归一化计算;对 归一化的每一子图像进行离散余弦变换并提取低频系数,利用每一子 图像的灰度均值、低频系数计算该子图像的加权特征;计算每一子图 像相对于标准人脸子图像的相似度概率得分,并计算该初始图像的最 终得分。
由上述方案可见,在对图像进行归一化处理后,还提取了每一子 图像进行离散余弦变换后的低频系数作为特征,应用该特征可以客观 评估光照、模糊、表情和姿态等因素对人脸质量的影响,也就是应用 低频系数作为计算图像质量的特征之一,使得图像质量的评估过程中 考虑到光照、模糊、表情和姿态等因素,使得图像质量评估更加符合 实际情况的使用需要,为后续的图像识别提供准确率更高的图像,有 利于提升人脸识别的准确率。
一个优选的方案是,计算每一子图像与标准人脸子图像的相似度 概率得分后,还执行:生成初始图像的热力图,根据热力图计算人脸 掩膜系数,将人脸掩膜系数与相似度概率得分进行加权计算,生成修 正得分。
由此可见,通过训练神经网络以引入注意力机制生成人脸掩膜系 数,从而聚焦于与人脸识别相关的子图像区域,使人脸图像的质量评 估更科学合理。
进一步的方案是,根据热力图计算人脸掩膜系数包括:热力图上 每一位置对应于初始图像中对应位置上的每一子图像;在子图像在热 力图上对应的概率值小于设定的概率阈值时,人脸掩膜系数为第一预 设值,在子图像在热力图上对应的概率值大于或等于设定的概率阈值 时,人脸掩膜系数为第二预设值。
可见,通过设置一个分段函数来设定人脸掩膜系数的数值,使得 人脸图像中关键特征被更加关注,从而提高人脸图像的质量评估效果, 使得人脸图像的质量评估更加准确。
更进一步的方案是,生成修正得分后,还执行:将修正得分映射 到预设的分段函数,形成最终得分。
由于修正得分的量纲与预先设定的得分的量纲不一定相同,为了 避免因为量纲不同而导致后续计算错误的问题,通过设定一个分段函 数可以解决量纲的问题,提高后续计算的准确性。
一个可选的方案是,利用每一子图像的灰度均值、低频系数计算 该子图像的加权特征包括:利用每一子图像的灰度均值、低频系数以 及预设的加权系数计算该子图像的加权特征。
由此可见,计算加权特征时,还利用加权系数进行计算,通过设 定预设的加权系数,可以使得计算出来的加权特征更加准确,有利于 提高后续的计算准确性,从而提高图像质量评论的准确性。
进一步的方案是,计算每一张子图像的灰度均值以及方差前,还 执行:将彩色图像转换为灰度图,计算灰度图的灰度均值以及方差。
可见,将彩色的图像转换成灰度图,再计算灰度图的灰度均值以 及方差,可以降低计算的难度,并且灰度均值的计算更加准确,提高 图像质量评估的准确性。
更进一步的方案是,将彩色图像转换为灰度图后,对灰度图中每 一像素点的灰度值进行非线性处理。
由此可见,对灰度图中每一像素点的灰度值进行对数计算等非线 性处理,可以使数据分布更加合理,使得不同肤色人脸图像灰度值差 异变小。
更进一步的方案是,计算每一张子图像的灰度均值以及方差前, 还执行:将每一子图像的尺寸调整为固定值。
可见,将所有的子图像的尺寸都调整为固定值,后续对每一子图 像的处理都按照固定的像素大小进行处理,减少对子图像处理的计算 量,提高图像质量评估的效率。
为实现上述的另一目的,本发明提供的计算机装置包括处理器以 及存储器,存储器存储有计算机程序,计算机程序被处理器执行时实 现上述人脸图像质量评估方法的各个步骤。
为实现上述的再一目的,本发明提供计算机可读存储介质上存储 有计算机程序,计算机程序被处理器执行时实现上述人脸图像质量评 估方法的各个步骤。
附图说明
图1是本发明人脸图像质量评估方法实施例的流程图。
图2是本发明人脸图像质量评估方法实施例中对初始图像进行预 处理的流程图。
图3是本发明人脸图像质量评估方法实施例中对计算各子图像加 权特征的流程图。
图4是本发明人脸图像质量评估方法实施例中计算图像的相似度 概率最终得分的流程图。
图5是本发明人脸图像质量评估方法实施例中计算人脸掩膜系数 的流程图。
图6是本发明人脸图像质量评估方法实施例与现有的人脸图像质 量评估方法对人脸图像评估的第一组对比图。
图7是本发明人脸图像质量评估方法实施例与现有的人脸图像质 量评估方法对人脸图像评估的第二组对比图。
以下结合附图及实施例对本发明作进一步说明。
具体实施方式
本发明的人脸图像质量评估方法应用在智能设备上,优选的,智 能设备设置有摄像装置,如摄像头等,智能设备利用摄像装置所获取 的视频数据进行图像分析,进而检测图像中多张包含人脸图像的子图 像,通过对多张子图像的计算,实现对初始图像的质量进行评估。优 选的,智能设备设置有处理器以及存储器,存储器上存储有计算机程 序,处理器通过执行该计算机程序实现人脸图像质量评估方法。
人脸图像质量评估方法实施例:
本实施例应用人脸检测的计算机程序实现,具体的,所应用的计 算机程序可以包括三个模块,分别是图像预处理模块、特征选择与处 理模块和人脸注意力分析模块。其中,图像预处理模块用于接收摄像 装置所拍摄的初始图像,并且对初始图像进行对齐和非线性预处理, 并将初始图像划分多个重叠的子图像。特征选择与处理模块用于对每 一张子图像进行特征提取和特征有效性分析,以客观分析评估光照、 模糊、姿态和表情等因素的影响。人脸注意力分析模块用于训练神经 网络,引入注意力机制生成人脸掩膜系数,对各张子图像的相似度概 率得分进行加权计算,并通过分段函数映射得到每一张图像最终的得 分,从而确定多张图像的质量优劣。
具体的,下面结合图1对本实施例的实现流程进行说明。首先, 执行步骤S1,获取初始图像。在摄像装置拍摄图像后,由摄像装置将 所拍摄的图像传输至处理器,处理器接收初始图像。然后,执行步骤 S2,对初始图像进行预处理。本实施例中,对初始图像进行预处理包 括对图像进行对齐、调整初始图像的大小、对初始图像进行非线性处 理等。并且,将初始图像划分为多张子图像,多张子图像均是包含有 人脸信息的子图像,即不同的人脸区域的图像,因此,多张子图像可 能是相互重叠的。
接着,执行步骤S3,计算每一张子图像的加权特征,本实施例中, 子图像的加权特征需要考虑子图像的灰度均值、经过离散余弦变换后 的低频系数等,计算获得的加权特征用于后续计算每一张子图像的相 似度概率得分。
最后执行步骤S4,计算每一张子图像与标准人脸子图像的相似度 概率得分,并由此计算初始图像的最终得分。因此,步骤S4需要通过 对大量的标准图像进行训练,然后计算大量标准图像的加权特征,计 算步骤S3所获得的多张子图像的加权特征与标准子图像的加权特征 之间的相似度概率得分,并且通过引入注意力机制进行分析,计算出 最终的相似度概率最终得分,从而确定多张图像的质量优劣。
下面详细介绍步骤S2至步骤S4的具体流程。参见图2,对图像 进行预处理前,需要获取初始图像,即执行步骤S11,然后,对初始 图像进行人脸关键点检测,即执行步骤S12。步骤S12中,采用常规 的人脸关键点检测算法进行关键点检测,例如检测出图像中的眼睛、鼻子或者嘴巴等位置的关键点,从而确定人脸的大致区域以及人脸的 大致方向。
接着,执行步骤S13,基于检测的关键点进行仿射变化,将图像 进行对齐,例如,如果图像中的人脸并不是摆正的位置,则需要将图 像摆正,以便于后续的计算处理。由于人的头部经常转动,拍摄的时 候,人脸很可能不是处于摆正的位置,例如人脸在图像中是倾斜的, 步骤S13就根据步骤S12所识别的多个关键点对图像进行对齐,即将 人脸进行摆正。
然后,执行步骤S14,将彩色的图像转换成灰度图,通常,摄像 装置所拍摄的图像是彩色的图像,例如为RGB图像,步骤S14首先将 彩色的图像转为灰度图,并调整图像为固定的大小。具体的,可以预 先设定调整后的图像大小,例如调整后的图像大小为[w,h],其中w表 示图像的宽度,h表示图像的高度。调整图像大小时,可以将图像进 行整体的缩放,以使得调整后的图像大小为预设的尺寸。
接着,执行步骤S15,对图像进行非线性处理。具体的,对初始 图像进行对数变换,例如可以使用下面的公式计算:
Ilog=In[I(r,c)+1] (式1)
其中,I(r,c)表示初始图像I在位置(r,c)的灰度值,r、c分别表示图 像中像素点的横坐标以及纵坐标。通过非线性处理,可以减少图像的 数据的动态范围,并且,通过对数变换使图像的数据分布更加合理, 使得不同肤色人脸图像灰度值差异变小,从而更加精确的评估各子图 像的质量。
然后,执行步骤S16,将初始图像划分为多个重叠的子图像。针 对一张初始图像可以生成多张包含有人脸信息的子图像,这些子图像 在初始图像中往往是部分重叠的,有些子图像的重叠率接近或者超过 80%。例如,将初始图像划分N×N张具有重叠区域的子图像,每张子 图像的像素大小为n×n,相邻的两张子图像重叠的像素数量为t。
接着,执行步骤S17,计算每一张子图像的灰度均值和方差。确 定每一张子图像的大小以及每一张子图像中每一个像素的灰度值后, 可以计算出该子图像的灰度均值μl,并且可以计算该子图像的灰度值 的方差
Figure RE-GDA0002307078890000071
其中,μl
Figure RE-GDA0002307078890000072
分别表示第l张子图像的灰度均值和方差,子 图像的灰度均值是该子图像各个像素点的灰度值的平均值,方差是利 用该子图像各个像素点的灰度值计算的方差。
最后,执行步骤S18,对每一张子图像进行归一化处理。例如, 对第l张子图像进行归一化计算的公式如下:
Figure RE-GDA0002307078890000073
其中,bl(i,j)表示第l张子图像中各个像素的灰度值,
Figure RE-GDA0002307078890000074
表示第l 张子图像归一化计算的数值,μl
Figure RE-GDA0002307078890000075
分别表示第l张子图像的灰度均值 和方差。该步骤能够缓解不同人脸图像之间的对比度变化。经过归一 化计算后,每一张子图像均具有零均值和单位方差。
至此,图像预处理模块对图像的预处理结束,即步骤S2计算结束, 获得多张子图像的灰度均值、方差以及归一化后的数值。
步骤S3是特征选择与处理模块对每一张子图像进行计算并获得 每一张子图像的加权特征。下面结合图3对计算每一张子图像的加权 特征的过程进行详细说明。
首先,执行步骤S21,对每一张子图像进行离散余弦变换,并提 取离散余弦变换后的低频系数作为纹理特征。由于每一张子图像的大 小都是n×n,即子图像的像素数量为n×n,对每一张子图像进行二维离 散余弦变换后可以获得该子图像的离散余弦变换系数矩阵,本实施例 中,将保留前d个低频系数作为特征。二维离散余弦变换可以使用下 面的公式计算:
Figure RE-GDA0002307078890000081
其中,
Figure RE-GDA0002307078890000082
式3中,Fl(u,v)表示第l张子图像离散余弦变换系数,
Figure RE-GDA0002307078890000083
表示归 一化后的第l张子图像的数值,c(u)以及c(v)为补偿系数,u、v为广义频 谱变量,可以取值均是0至n。离散余弦变换后获得的低频分量包含 人脸图像的通用纹理细节信息,在一定程度上忽略了特定的人脸信息。 此外,人脸的表情和姿态变化也能反映在这些局部信息中。
然后,执行步骤S22,提取每一张子图像归一化前的灰度均值μbi作 为亮度特征,以凸显外界光照条件对人脸质量评估的影响。
接着,执行步骤S23,计算每一张子图像的加权特征。具体的, 将各张子图像经过离散余弦变换后的低频系数和灰度均值作为该子图 像的特征表示,对特征进行有效性分析,这样,该子图像的特征既包 含人脸图像的基本纹理细节信息,又包括人脸光照亮度信息,赋予亮 度特征一定的权重系数,能够更加充分地考虑到光照对人脸图像质量 评估的影响。此外,离散余弦变换矩阵中沿对角线方向的系数能够有 效反映图像的模糊程度,因此考虑给离散余弦变换系数赋予不同的权 系数,以客观评价由于运动造成人脸图像模糊的影响。
本实施例中,各子图像的加权特征可以使用下面的公式计算:
xl=[α1Fl12Fl2,…,αdFldd+1μl] (式5)
其中xl为第l张子图像的加权特征,[α12,…,αdd+1]是预先设定的加 权系数,[Fl1,Fl2,…,Fld]为第l张子图像的离散余弦变换的低频系数,μl为 第l张子图像的灰度均值。
至此,特征选择与处理模块完成对每一张子图像进行计算并获得 每一张子图像的加权特征。下面,结合图4介绍人脸注意力分析模块 如何引入注意力机制计算出每一张子图像对应的概率值以及人脸掩膜 系数,并生成最终的得分,从而评估每一张图像的质量优劣。
首先,获取大量包含有人脸信息的图像,通过神经网络对大量的 图像进行训练,提取训练数据集中各个标准人脸子图像的特征,并统 计子图像的均值和方差。
具体的,假设将大量包含有人脸信息的图像形成一个数据集,设 该数据集为{S1,S2,…,SK},对数据集执行步骤S2以及步骤S3的计算, 得到标准人脸子图像的特征集
Figure RE-GDA0002307078890000091
例如,获取数据集中 每一张图像后,对每一张图像进行预处理,包括将图像转换成灰度图, 并将图像进行非线性化处理后,将图像划分为多张子图像,然后计算 每一张图像的灰度均值以及方差,并最后计算每一张子图像的加权特 征,从而形成标准人脸子图像的特征集
其中,
Figure RE-GDA0002307078890000093
表示标准人脸数据集第i张子图 像的特征集,xij∈R(d+1)×1表示在第j张标准人脸图像的第i张子图像特征。
然后,根据上述步骤得到的标准人脸子图像的特征集 统计各张子图像的均值向量和协方差矩阵。以 Xi∈R(d+1)×K为例,其均值向量
Figure RE-GDA0002307078890000095
和协方差矩阵
Figure RE-GDA0002307078890000096
计算分 别可以通过下面的公式计算得到:
Figure RE-GDA0002307078890000097
Figure RE-GDA0002307078890000101
其中,K是数据集中图像的数量,cov表示协方差计算,d+1表示 子图像的特征维数。
然后,根据标准人脸子图像的均值和方差,计算当前需要计算的 多张子图像相对于标准人脸子图像的相似度概率得分,即执行步骤S31。 例如,初始图像在经步骤S2以及步骤S3可以计算获得人脸子图像的 特征计算各张子图像xi∈R(d +1)×1相对于标准人脸子 图像Xi∈R(d+1)×K的相似度概率得分si可以使用下面的公式计算获得:
Figure RE-GDA0002307078890000103
Figure RE-GDA0002307078890000104
其中,为特定位置概率模型的计算结果。
然后,执行步骤S32,计算各子图像的人脸掩膜系数mask,本实 施例中,通过训练人脸分类的神经网络,引入人脸注意力机制,生成 人脸掩膜系数。
下面,结合图5对生成人脸掩膜系数的过程进行说明。首先,通 过对大量的包含有人脸信息的图像作为训练的基础数据,基于现有的 经典网络模型,采用常用的人脸损失函数对模型进行训练。然后,执 行步骤S41,提取神经网络中的卷积层,应用神经网络的卷积层生成 人脸图像的热力图,热力图中的每个位置对应人脸图像对应位置的每 一张子图像。由于步骤S41引入了注意力机制,获得了需要重点关注 的目标子图像的区域。
然后,执行步骤S42,获取每一张子图像在热力图对应位置的概 率值。接着,执行步骤S43,判断当前子图像在热力图对应位置上的 概率值是否大于预设的概率阈值。本实施例中,预先设定概率阈值T, 如果子图像的相似度概率得分大于概率阈值,则执行步骤S44,该子 图像赋予权系数β,即将该子图像的人脸掩膜系数设定为第一预设值。 如果步骤S43的判断结果为否,即该子图像的相似度概率得分小于概 率阈值,则执行步骤S45,将该子图像的人脸掩膜系数设定为第二预 设值例如设定为1。这样最终生成多张子图像的人脸掩膜系数的 数组
Figure RE-GDA0002307078890000111
其中,mi可以使用下面的公式所示:
Figure RE-GDA0002307078890000112
其中pi表示第i张子图像在对应热力图上的概率值。
在计算各子图像的人脸掩膜系数后,执行步骤S33,计算图像的 修正得分S。由于步骤S31计算出多张子图像的相似度概率得分
Figure RE-GDA0002307078890000113
步骤S33应用多张子图像的相似度概率得分以 及步骤S32计算的每一张子图像的人脸掩膜系数进行加权计算,得到 初始图像的修正得分S,修正得分S可以使用下面的公式计算:
Figure RE-GDA0002307078890000114
最后,执行步骤S34,对步骤S33计算的修正得分S通过分段函数 进行映射,得到该初始图像的最终得分S*。这是考虑到人脸质量得分 的合理性,例如修正得分S的量纲与最终得分S*的量纲不相同,在这种 情况下,如果直接使用修正得分S作为最终得分S*,有可能导致对图像 质量评价的错误。因此,本实施例通过设计一个分段函数,对步骤S33 中的修正得分S进行映射,得到最终得分S*,从而避免因量纲不同而导 致图像质量评价的错误。
为了对比本发明的方案与现有技术对人脸图像质量评估方面的优 势,通过在自然光和红外光的真实场景下采集人脸图像序列进行验证 予以对比。实验中,使用Webface人脸数据集来训练卷积神经网络, 并在LFW数据集上进行验证网络的性能。此外,随机采集多张标准人 脸,即光照均匀、无遮挡以及表情自然的正脸,作为标准人脸数据集 来统计各子图像的均值向量和协方差矩阵。采用经典算法和本发明对 采集的人脸图像序列进行质量评估,并按照图像质量得分降序排列。
实验结果如图6和图7所示,其中图6(a)是采用现有的人脸质量 评估方法对多张人脸图像评估的结果,图6(a)的多张图像是按照质量 得分由高到低进行排序,即最左边图像对应该段序列质量最好的人脸 图像,最右边图像对应该段序列质量最差的人脸图像。图6(b)是采用 本发明的人脸质量评估方法对多张人脸图像评估的结果,同样的,多 张图像也是按照质量得分由高到低进行排序。
图7(a)是采用现有的人脸质量评估方法对多张人脸图像评估的结 果,图7(b)是采用本发明的人脸质量评估方法对多张人脸图像评估的 结果,其中图7的人脸图像均是在红外光照射的情况下拍摄的。
由图6和图7实验结果可知,本实施例的方法能够客观的评价光 照、模糊、姿态和表情等因素对人脸质量评估的影响。此外,由图7 的实验解结果可知,相比于经典的人脸图像评估方法,本实施例即使 在近红外光人脸图上也有着良好的性能。该实验进一步说明了本实施 例具有良好的泛化能力,能够运用在多种不同场景下的人脸质量评估。
为了进一步验证人脸图像质量评估算法对后续人脸图像比对性能 的影响,随机选择三名志愿者,并对每名志愿者采集一张标准人脸图 像和一段人脸图像序列。对每名志愿者的人脸图像序列,分别采用本 发明的方案和经典人脸质量评估算法从中挑选一张质量最好的人脸与 相应标准人脸进行比对。通过采用神经网络进行人脸图像特征的提取,并计算两张人脸图像的余弦相似度,实验结果如下:
表1人脸质量评估算法对人脸比对影响
Figure RE-GDA0002307078890000121
由表1可以看出,在相同条件下,基于本实施例的人脸图像相比起 传统的人脸图像评估方法具有更好的性能,主要的原因在于:本发明 的方法引入了注意力机制,聚焦于与人脸识别相关的人脸区域,提高 了人脸比对的成功率。
由上述实验可知,本发明提出的人脸图像质量评估方法不仅能够 考虑光照、模糊、表情和姿态等因素对人脸图像质量的影响,而且还 考虑到质量评估对后续人脸比对性能的影响。
计算机装置实施例:
本实施例的计算机装置可以是智能设备,例如具有图像处理能力 的车载监视仪器等,该计算机装置包括有处理器、存储器以及存储在 存储器中并可在处理器上运行的计算机程序,处理器执行计算机程序 时实现上述人脸图像质量评估方法的各个步骤。
例如,计算机程序可以被分割成一个或多个模块,一个或者多个 模块被存储在存储器中,并由处理器执行,以完成本发明的各个模块。 一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段, 该指令段用于描述计算机程序在终端设备中的执行过程。
本发明所称处理器可以是中央处理单元(Central Processing Unit, CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit, ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或 者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件 等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,处理器是终端设备的控制中心,利用各种接口和线路连接整 个终端设备的各个部分。
存储器可用于存储计算机程序和/或模块,处理器通过运行或执行 存储在存储器内的计算机程序和/或模块,以及调用存储在存储器内的 数据,实现终端设备的各种功能。存储器可主要包括存储程序区和存 储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的 应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可 存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。 此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存 储器,例如硬盘、内存、插接式硬盘,智能存储卡(Smart Media Card, SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)、 至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
计算机可读存储介质:
上述计算机装置所存储的计算机程序如果以软件功能单元的形式 实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取 存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部 或部分流程,也可以通过计算机程序来指令相关的硬件来完成,该计 算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理 器执行时,可实现上述人脸图像质量评估方法的各个步骤。
其中,计算机程序包括计算机程序代码,计算机程序代码可以为 源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机 可读介质可以包括:能够携带计算机程序代码的任何实体或装置、记 录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器 (ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的 是,计算机可读介质包含的内容可以根据司法管辖区内立法和专利实 践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利 实践,计算机可读介质不包括电载波信号和电信信号。
最后需要强调的是,本发明不限于上述实施方式,例如生成人脸 掩膜系数的具体计算过程的改变,或者计算相似度概率得分的公式的 改变等,这些改变也应该包括在本发明权利要求的保护范围内。

Claims (10)

1.人脸图像质量评估方法,包括:
获取初始图像,将所述初始图像划分为多张子图像;
其特征在于:
计算每一所述子图像的灰度均值以及方差,并对每一所述子图像进行归一化计算;
对归一化的每一所述子图像进行离散余弦变换并提取低频系数,利用每一所述子图像的灰度均值、低频系数计算该子图像的加权特征;
计算每一所述子图像相对于标准人脸子图像的相似度概率得分,并计算该初始图像的最终得分。
2.根据权利要求1所述的人脸图像质量评估方法,其特征在于:
计算每一所述子图像与标准人脸子图像的相似度概率得分后,还执行:生成初始图像的热力图,根据所述热力图计算人脸掩膜系数,将所述人脸掩膜系数与所述相似度概率得分进行加权计算,生成修正得分。
3.根据权利要求2所述的人脸图像质量评估方法,其特征在于:
根据所述热力图计算所述人脸掩膜系数包括:所述热力图上每一位置对应于所述初始图像中对应位置上的每一子图像;
在所述子图像在热力图上对应的概率值小于设定的概率阈值时,所述人脸掩膜系数为第一预设值,在所述子图像在热力图上对应的概率值大于或等于设定的概率阈值时,所述人脸掩膜系数为第二预设值。
4.根据权利要求2所述的人脸图像质量评估方法,其特征在于:
生成所述修正得分后,还执行:将所述修正得分映射到预设的分段函数,形成所述最终得分。
5.根据权利要求1至4任一项所述的人脸图像质量评估方法,其特征在于:
利用每一所述子图像的灰度均值、低频系数计算该子图像的加权特征包括:利用每一所述子图像的灰度均值、低频系数以及预设的加权系数计算该子图像的加权特征。
6.根据权利要求1至4任一项述的人脸图像质量评估方法,其特征在于:
计算每一个所述子图像的灰度均值以及方差前,还执行:将彩色图像转换为灰度图,计算所述灰度图的灰度均值以及方差。
7.根据权利要求6所述的人脸图像质量评估方法,其特征在于:
将所述彩色图像转换为所述灰度图后,对所述灰度图中每一像素点的灰度值进行非线性处理。
8.根据权利要求1至4任一项所述的人脸图像质量评估方法,其特征在于:
计算每一个所述子图像的灰度均值以及方差前,还执行:将每一所述子图像的尺寸调整为固定值。
9.计算机装置,其特征在于,包括处理器以及存储器,所述存储器存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至8中任意一项所述人脸图像质量评估方法的各个步骤。
10.计算机可读存储介质,其上存储有计算机程序,其特征在于:所述计算机程序被处理器执行时实现如权利要求1至8中任意一项所述人脸图像质量评估方法的各个步骤。
CN201911121119.3A 2019-11-15 2019-11-15 人脸图像质量评估方法、计算机装置及计算机可读存储介质 Active CN110838119B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911121119.3A CN110838119B (zh) 2019-11-15 2019-11-15 人脸图像质量评估方法、计算机装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911121119.3A CN110838119B (zh) 2019-11-15 2019-11-15 人脸图像质量评估方法、计算机装置及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN110838119A true CN110838119A (zh) 2020-02-25
CN110838119B CN110838119B (zh) 2022-03-04

Family

ID=69576448

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911121119.3A Active CN110838119B (zh) 2019-11-15 2019-11-15 人脸图像质量评估方法、计算机装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110838119B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111861577A (zh) * 2020-07-28 2020-10-30 北京思特奇信息技术股份有限公司 产品办理热力图生成方法、装置、电子设备及存储介质
CN112102314A (zh) * 2020-11-02 2020-12-18 成都考拉悠然科技有限公司 基于不确定性来判断人脸图片质量的计算方法
CN112149566A (zh) * 2020-09-23 2020-12-29 上海商汤智能科技有限公司 一种图像处理方法、装置、电子设备及存储介质
CN112329726A (zh) * 2020-11-27 2021-02-05 合肥的卢深视科技有限公司 人脸识别方法及装置
CN112396600A (zh) * 2020-12-02 2021-02-23 郑州航空工业管理学院 基于热成像和深度图的脱敏状态下面部神经麻痹检测系统
CN112991313A (zh) * 2021-03-29 2021-06-18 清华大学 图像质量的评估方法及装置、电子设备和存储介质
CN113706502A (zh) * 2021-08-26 2021-11-26 重庆紫光华山智安科技有限公司 一种人脸图像质量评估方法及装置
WO2022100337A1 (zh) * 2020-11-11 2022-05-19 腾讯科技(深圳)有限公司 人脸图像质量评估方法、装置、计算机设备及存储介质
US20220172472A1 (en) * 2020-11-30 2022-06-02 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140044348A1 (en) * 2011-02-18 2014-02-13 National Ict Australia Limited Image quality assessment
CN106327501A (zh) * 2016-08-31 2017-01-11 西北民族大学 一种有参考型唐卡图像修复后质量评价方法
CN108305240A (zh) * 2017-05-22 2018-07-20 腾讯科技(深圳)有限公司 图像质量检测方法及装置
CN108710875A (zh) * 2018-09-11 2018-10-26 湖南鲲鹏智汇无人机技术有限公司 一种基于深度学习的航拍公路车辆计数方法及装置
CN109191428A (zh) * 2018-07-26 2019-01-11 西安理工大学 基于掩蔽纹理特征的全参考型图像质量评价方法
CN110046652A (zh) * 2019-03-18 2019-07-23 深圳神目信息技术有限公司 人脸质量评估方法、装置、终端及可读介质
CN110175530A (zh) * 2019-04-30 2019-08-27 上海云从企业发展有限公司 一种基于人脸的图像评分方法及系统
CN110276744A (zh) * 2019-05-15 2019-09-24 北京航空航天大学 图像拼接质量的测评方法及装置
CN110428412A (zh) * 2019-07-31 2019-11-08 北京奇艺世纪科技有限公司 图像质量的评价及模型生成方法、装置、设备和存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140044348A1 (en) * 2011-02-18 2014-02-13 National Ict Australia Limited Image quality assessment
CN106327501A (zh) * 2016-08-31 2017-01-11 西北民族大学 一种有参考型唐卡图像修复后质量评价方法
CN108305240A (zh) * 2017-05-22 2018-07-20 腾讯科技(深圳)有限公司 图像质量检测方法及装置
CN109191428A (zh) * 2018-07-26 2019-01-11 西安理工大学 基于掩蔽纹理特征的全参考型图像质量评价方法
CN108710875A (zh) * 2018-09-11 2018-10-26 湖南鲲鹏智汇无人机技术有限公司 一种基于深度学习的航拍公路车辆计数方法及装置
CN110046652A (zh) * 2019-03-18 2019-07-23 深圳神目信息技术有限公司 人脸质量评估方法、装置、终端及可读介质
CN110175530A (zh) * 2019-04-30 2019-08-27 上海云从企业发展有限公司 一种基于人脸的图像评分方法及系统
CN110276744A (zh) * 2019-05-15 2019-09-24 北京航空航天大学 图像拼接质量的测评方法及装置
CN110428412A (zh) * 2019-07-31 2019-11-08 北京奇艺世纪科技有限公司 图像质量的评价及模型生成方法、装置、设备和存储介质

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111861577A (zh) * 2020-07-28 2020-10-30 北京思特奇信息技术股份有限公司 产品办理热力图生成方法、装置、电子设备及存储介质
CN111861577B (zh) * 2020-07-28 2024-01-23 北京思特奇信息技术股份有限公司 产品办理热力图生成方法、装置、电子设备及存储介质
CN112149566A (zh) * 2020-09-23 2020-12-29 上海商汤智能科技有限公司 一种图像处理方法、装置、电子设备及存储介质
CN112102314A (zh) * 2020-11-02 2020-12-18 成都考拉悠然科技有限公司 基于不确定性来判断人脸图片质量的计算方法
CN112102314B (zh) * 2020-11-02 2021-03-09 成都考拉悠然科技有限公司 基于不确定性来判断人脸图片质量的计算方法
WO2022100337A1 (zh) * 2020-11-11 2022-05-19 腾讯科技(深圳)有限公司 人脸图像质量评估方法、装置、计算机设备及存储介质
CN112329726A (zh) * 2020-11-27 2021-02-05 合肥的卢深视科技有限公司 人脸识别方法及装置
US20220172472A1 (en) * 2020-11-30 2022-06-02 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
CN112396600B (zh) * 2020-12-02 2023-06-30 郑州航空工业管理学院 基于热成像和深度图的脱敏状态下面部神经麻痹检测系统
CN112396600A (zh) * 2020-12-02 2021-02-23 郑州航空工业管理学院 基于热成像和深度图的脱敏状态下面部神经麻痹检测系统
CN112991313B (zh) * 2021-03-29 2021-09-14 清华大学 图像质量的评估方法及装置、电子设备和存储介质
CN112991313A (zh) * 2021-03-29 2021-06-18 清华大学 图像质量的评估方法及装置、电子设备和存储介质
CN113706502A (zh) * 2021-08-26 2021-11-26 重庆紫光华山智安科技有限公司 一种人脸图像质量评估方法及装置
CN113706502B (zh) * 2021-08-26 2023-09-05 重庆紫光华山智安科技有限公司 一种人脸图像质量评估方法及装置

Also Published As

Publication number Publication date
CN110838119B (zh) 2022-03-04

Similar Documents

Publication Publication Date Title
CN110838119B (zh) 人脸图像质量评估方法、计算机装置及计算机可读存储介质
Chan et al. Face liveness detection using a flash against 2D spoofing attack
Chan et al. Multi-scale local binary pattern histograms for face recognition
JP4161659B2 (ja) 画像認識システム及びその認識方法並びにプログラム
Wong et al. Patch-based probabilistic image quality assessment for face selection and improved video-based face recognition
CN110008909B (zh) 一种基于ai的实名制业务实时稽核系统
JP4479478B2 (ja) パターン認識方法および装置
CN108416291B (zh) 人脸检测识别方法、装置和系统
US20180349716A1 (en) Apparatus and method for recognizing traffic signs
JP5574033B2 (ja) 画像認識システム及びその認識方法並びにプログラム
de Souza et al. On the learning of deep local features for robust face spoofing detection
Aghdaie et al. Attention aware wavelet-based detection of morphed face images
Kalas Real time face detection and tracking using OpenCV
CN109740572A (zh) 一种基于局部彩色纹理特征的人脸活体检测方法
CN111259756A (zh) 基于局部高频次特征和混合度量学习的行人重识别方法
Qi et al. A real-time face detection method based on blink detection
Chen et al. Face deduplication in video surveillance
Rusia et al. A Color-Texture-Based Deep Neural Network Technique to Detect Face Spoofing Attacks
He et al. Face Spoofing Detection Based on Combining Different Color Space Models
CN104615985B (zh) 一种人脸相似度的识别方法
JP4789526B2 (ja) 画像処理装置、画像処理方法
CN114445916A (zh) 一种活体检测方法、终端设备及存储介质
Vater et al. Combining isophote and cascade classifier information for precise pupil localization
Hongo et al. Personal authentication with an iris image captured under visible-light condition
CN114663930A (zh) 一种活体检测方法、装置、终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant