CN114399491A - 人脸图像质量评估方法、装置以及计算机可读存储介质 - Google Patents
人脸图像质量评估方法、装置以及计算机可读存储介质 Download PDFInfo
- Publication number
- CN114399491A CN114399491A CN202210037874.9A CN202210037874A CN114399491A CN 114399491 A CN114399491 A CN 114399491A CN 202210037874 A CN202210037874 A CN 202210037874A CN 114399491 A CN114399491 A CN 114399491A
- Authority
- CN
- China
- Prior art keywords
- face
- image
- quality
- face image
- evaluated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像处理技术领域,具体提供一种人脸图像质量评估方法、装置以及计算机可读存储介质,旨在解决如何准确地评估出人脸图像的图像质量,以准确地进行人脸识别的问题。为此目的,本发明的方法包括:获取经不同类型的人脸图像样本训练好的人脸识别模型,通过人脸识别模型多次提取同一待评估人脸图像的图像特征;分别计算每两个图像特征之间的特征距离并获取所有计算得到的特征距离的平均值;通过人脸识别模型并根据平均值预测待评估人脸图像属于人脸图像的概率;根据概率确定待评估人脸图像的人脸质量分。基于上述方式能够准确地评估出人脸图像的图像质量,从而能够准确地进行人脸识别。
Description
技术领域
本发明涉及图像处理技术领域,具体提供一种人脸图像质量评估方法、装置以及计算机可读存储介质。
背景技术
人脸图像质量评估方法主要包括人工评估方法和自动化评估方法。人工评估方法主要是通过评估人员对每张人脸图像的图像质量逐一进行评估,由于这种方法完全依赖评估人员的主观分析,因而当采用这种方法对大批量人脸图像进行图像质量评估时不仅费时费力还极易发生误判。自动化评估方法主要是通过具备图像质量评估能力的图像质量评估模型如基于神经网络构建的图像质量评估模型对人脸图像进行质量评估,然而这种评估方法主要是根据亮度和清晰度等常规的影响图像质量的因素对人脸图像进行质量评估,未考虑对人脸图像进行人脸识别的识别效果。在实际应用中经图像质量评估模型评估出的高质量图像(如亮度和清晰度高于阈值的图像),往往由于人脸被遮挡和人脸姿态等原因无法对这些高质量图像进行准确与可靠的人脸识别,因此,这些高质量图像实际上是无法进行准确与可靠的人脸识别的低质量图像,可见这种评估方法无法准确地评估出人脸图像的图像质量。
相应地,本领域需要一种新的人脸图像质量评估方案来解决上述问题。
发明内容
为了克服上述缺陷,提出了本发明,以提供解决或至少部分地解决如何准确地评估出人脸图像的图像质量,以准确地进行人脸识别的技术问题的人脸图像质量评估方法、装置以及计算机可读存储介质。
在第一方面,本发明提供一种人脸图像质量评估方法,所述方法包括:
获取经不同类型的人脸图像样本训练好的人脸识别模型,所述人脸识别模型中的特征提取网络至少包括Dropout层;
通过所述人脸识别模型多次提取同一待评估人脸图像的图像特征;
分别计算每两个图像特征之间的特征距离并获取所有计算得到的特征距离的平均值;
通过所述人脸识别模型并根据所述平均值预测所述待评估人脸图像属于人脸图像的概率;
根据所述概率确定所述待评估人脸图像的人脸质量分。
在上述人脸图像质量评估方法的一个技术方案中,所述人脸识别模型还包括分类函数层,“通过所述人脸识别模型并根据所述平均值预测所述待评估人脸图像属于人脸图像的概率”的步骤具体包括:
按照下式所示的方法,通过所述分类函数层并根据所述平均值预测所述待评估人脸图像属于人脸图像的概率:
p=sigmoid(-v)
其中,所述p表示待评估人脸图像属于人脸图像的概率,所述v表示所述平均值,所述sigmoid表示所述分类函数层采用的分类激活函数;
和/或,
所述特征提取网络还包括输入层、残差网络、全连接层和输出层;
所述残差网络的第一端与所述输入层连接,所述残差网络的第二端与所述Dropout层的第一端连接,所述Dropout层的第二端与所述全连接层的第一端连接;
所述全连接层的第二端与所述输出层连接。
在上述人脸图像质量评估方法的一个技术方案中,所述方法还包括通过下列步骤对人脸识别模型进行人脸识别训练,以获取训练好的人脸识别模型:
采用不同类型的人脸图像样本并按照下式所示的目标函数loss总计算所述人脸识别模型的模型损失值:
其中,所述lossi表示人脸识别模型对第i个类型的人脸图像样本进行人脸识别训练时确定的损失函数,所述n表示人脸图像样本的类型总数;
根据所述模型损失值计算所述人脸识别模型的模型参数的梯度,根据所述梯度反向传播更新所述模型参数。
在上述人脸图像质量评估方法的一个技术方案中,在“根据所述概率确定所述待评估人脸图像的人脸质量分”的步骤之后,所述方法还包括通过下列步骤对所述人脸质量分进行修正:
将所述待评估人脸图像作为第一图像样本并将所述人脸质量分作为所述第一图像样本的样本标签;
采用第一图像样本及其样本标签训练得到人脸图像质量评估模型;
采用所述人脸图像质量评估模型重新获取所述待评估人脸图像的人脸质量分;
根据重新获取到的人脸质量分对根据所述概率确定的人脸质量分进行修正。
在上述人脸图像质量评估方法的一个技术方案中,“根据重新获取到的人脸质量分对根据所述概率确定的人脸质量分进行修正”的步骤具体包括:
若重新获取到的人脸质量分与根据所述概率确定的人脸质量分相同,则不进行修正;
若重新获取到的人脸质量分与根据所述概率确定的人脸质量分不同,则将所述待评估人脸图像输入至预设的评估平台,响应于所述评估平台针对所述待评估人脸图像输出的第一修正指令,根据所述第一修正指令中指定的人脸质量分对根据所述概率确定的人脸质量分进行修正;其中,所述第一修正指令是所述评估平台通过人机交互装置接收到的指令。
在上述人脸图像质量评估方法的一个技术方案中,在“根据所述概率确定所述待评估人脸图像的人脸质量分”的步骤之后,所述方法还包括通过下列步骤对所述人脸质量分进行修正:
若s<sthl,则判定所述待评估人脸图像为低质量人脸图像并将所述人脸质量分修正为0,所述s表示所述评估人脸图像的人脸质量分,所述sthl表示预设的质量分下限阈值;
若s>sthh,则判定所述待评估人脸图像为高质量人脸图像并将所述人脸质量分修正为1,所述sthh表示预设的质量分上限阈值;
若sthl≤s≤sthh,则将所述待评估人脸图像输入至预设的评估平台,响应于所述评估平台针对所述待评估人脸图像输出的第二修正指令,根据所述第二修正指令中指定的人脸质量分对根据所述概率确定的人脸质量分进行修正;其中,所述第二修正指令中指定的人脸质量分是0或1,所述第二修正指令是所述评估平台通过人机交互装置接收到的指令。
在上述人脸图像质量评估方法的一个技术方案中,在“对所述人脸质量分进行修正”的步骤之后,所述方法还包括:
将所述待评估人脸图像作为第二图像样本并将修正后的人脸质量分作为所述第二图像样本的样本标签;
采用第二图像样本及其样本标签训练得到人脸图像质量分类模型;
采用所述人脸图像质量分类模型预测所述待评估人脸图像属于高质量人脸图像的概率;
根据所述概率再次对所述修正后的人脸质量分进行修正。
第二方面,提供一种人脸图像质量评估装置,所述装置包括:
人脸识别模型获取模块,其被配置成获取经不同类型的人脸图像样本训练好的人脸识别模型,所述人脸识别模型中的特征提取网络至少包括Dropout层;
图像特征提取模块,其被配置成通过所述人脸识别模型多次提取同一待评估人脸图像的图像特征;
特征距离平均值计算模块,其被配置成分别计算每两个图像特征之间的特征距离并获取所有计算得到的特征距离的平均值;
概率预测模块,其被配置成通过所述人脸识别模型并根据所述平均值预测所述待评估人脸图像属于人脸图像的概率;
人脸质量分确定模块,其被配置成根据所述概率确定所述待评估人脸图像的人脸质量分。
在第三方面,提供一种控制装置,该控制装置包括处理器和存储装置,所述存储装置适于存储多条程序代码,所述程序代码适于由所述处理器加载并运行以执行上述人脸图像质量评估方法的技术方案中任一项技术方案所述的人脸图像质量评估方法。
在第四方面,提供一种计算机可读存储介质,该计算机可读存储介质其中存储有多条程序代码,所述程序代码适于由处理器加载并运行以执行上述人脸图像质量评估方法的技术方案中任一项技术方案所述的人脸图像质量评估方法。
本发明上述一个或多个技术方案,至少具有如下一种或多种有益效果:
在实施本发明的技术方案中,可以获取经不同类型的人脸图像样本训练好的人脸识别模型,通过该人脸识别模型对待评估人脸图像进行人脸识别,根据人脸识别的结果确定待评估人脸图像的人脸质量分,人脸识别模型中的特征提取网络至少包括Dropout层。经不同类型的人脸图像样本训练好的人脸识别模型能够准确地对各不同类型的人脸图像进行人脸识别。具体而言,在实施本发明的技术方案中,可以通过人脸识别模型多次提取同一待评估人脸图像的图像特征;分别计算每两个图像特征之间的特征距离并获取所有计算得到的特征距离的平均值;通过人脸识别模型并根据平均值预测待评估人脸图像属于人脸图像的概率;根据概率确定待评估人脸图像的人脸质量分。
由于人脸识别模型中的特征提取网络包括Dropout层,因此在针对同一待评估人脸图像进行多次特征提取时在Dropout层的作用下每次提取到的图像特征中的一部分特征都不同。如果特征距离的平均值越大则表明这些图像特征的稳定性越差,进而表明人脸识别模型对待评估人脸图像提取图像特征的能力(或进行人脸识别的能力)越差。然而,人脸识别模型是一个能够准确地对各不同类型的人脸图像进行人脸识别的模型,即具备较高人脸识别能力的模型,因此可以确定并非是由于人脸识别模型自身能力差导致对待评估人脸图像提取图像特征的能力的降低,而是由于待评估人脸图像的图像质量较差才导致人脸识别模型对待评估人脸图像进行人脸识别时识别能力的降低,进而可以确定图像特征的平均值越大则待评估人脸图像的图像质量越差。
此外,人脸识别模型在对图像进行人脸识别时先提取图像的图像特征,再基于预设的分类激活函数并根据图像特征预测该图像属于人脸图像的概率,由于这个分类激活函数是递增函数,因此,图像特征的特征值越大,预测该图像属于人脸图像的概率越大,表明人脸识别模型对该图像进行人脸识别的能力越好,进而表明该图像的图像质量较高,即概率越大则该图像的图像质量越高。而本发明在通过人脸识别模型并根据平均值预测待评估人脸图像属于人脸图像的概率时由于特征距离的平均值只是两个图像特征之间的特征距离并非是图像特征,同时根据前述分析可知特征距离的平均值越大则待评估人脸图像的图像质量越差,因此,通过人脸识别模型并根据平均值预测待评估人脸图像属于人脸图像的概率,实际上是与图像质量成负相关关系的概率,即这个概率越大则图像质量越差。在根据这个概率确定人脸质量分后待评估人脸图像的图像质量与人脸质量分同样成负相关关系,即人脸质量分越大则待评估人脸图像的图像质量越差。
进一步,为了便于理解待评估人脸图像的图像质量与人脸质量分之间的关系,在一个技术方案中可以先对特征距离的平均值取反,这样通过人脸识别模型并根据取反后的特征距离的平均值预测到的待评估人脸图像属于人脸图像的概率,就会与待评估人脸图像的图像质量成正相关关系,进而使待评估人脸图像的图像质量与人脸质量分成正相关关系,即人脸质量分越大则待评估人脸图像的图像质量越好。具体而言,可以按照公式p=sigmoid(-v)所示的方法,通过分类函数层并根据平均值预测待评估人脸图像属于人脸图像的概率,v表示特征距离的平均值,-v表示取反后的特征距离的平均值。
附图说明
参照附图,本发明的公开内容将变得更易理解。本领域技术人员容易理解的是:这些附图仅仅用于说明的目的,而并非意在对本发明的保护范围组成限制。其中:
图1是根据本发明的一个实施例的人脸图像质量评估方法的主要步骤流程示意图;
图2是根据本发明的一个实施例的人脸识别模型的主要结构框图示意图;
图3是根据本发明的另一个实施例的人脸图像质量评估方法的主要步骤流程示意图;
图4是是根据本发明的再一个实施例的人脸图像质量评估方法的主要步骤流程示意图;
图5是根据本发明的一个实施例的人脸图像质量评估装置的主要结构框图示意图。
具体实施方式
下面参照附图来描述本发明的一些实施方式。本领域技术人员应当理解的是,这些实施方式仅仅用于解释本发明的技术原理,并非旨在限制本发明的保护范围。
在本发明的描述中,“模块”、“处理器”可以包括硬件、软件或者两者的组合。一个模块可以包括硬件电路,各种合适的感应器,通信端口,存储器,也可以包括软件部分,比如程序代码,也可以是软件和硬件的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。非暂时性的计算机可读存储介质包括任何合适的可存储程序代码的介质,比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。术语“A和/或B”表示所有可能的A与B的组合,比如只是A、只是B或者A和B。单数形式的术语“一个”、“这个”也可以包含复数形式。
这里先解释本发明涉及到的一些术语。
Dropout层是人脸识别模型中执行Dropout算法的网络层。Dropout算法可以在人脸识别模型的每次前向传播过程中以预设的Dropout概率控制人脸识别模型中的隐层节点停止工作。在对人脸识别模型进行人脸识别训练时基于Dropout算法可以防止人脸识别模型发生过拟合。Dropout算法是机器学习技术领域中的常规算法,下面以对人脸识别模型进行人脸识别训练为例对Dropout算法进行简单说明:
在一次迭代训练时,基于Dropout算法以0.4的Dropout概率控制人脸识别模型中的隐层节点停止工作(假设存在10个隐层节点,此时控制隐层节点1-4停止工作),将人脸图像样本输入至人脸识别模型进行人脸识别,根据人脸识别的结果计算人脸识别模型的模型损失,根据模型损失计算模型参数的梯度,根据梯度更新隐层节点5-10的模型参数。重复执行上述迭代训练,直至完成模型训练。
参阅附图1,图1是根据本发明的一个实施例的人脸图像质量评估方法的主要步骤流程示意图。如图1所示,本发明实施例中的人脸图像质量评估方法主要包括下列步骤S101至步骤S105。
步骤S101:获取经不同类型的人脸图像样本训练好的人脸识别模型,人脸识别模型中的特征提取网络至少包括Dropout层。
人脸图像样本的类型包括但不限于:存在面部遮挡的人脸图像、一部分面部缺失的人脸图像、面部存在不同幅度的旋转角度、偏摆角度或俯仰角度的人脸图像、不同光线环境(包括但不限于:明亮和昏暗)下的人脸图像、不同面部颜色(包括但不限于:黄色和白色)的人脸图像。
采用不同类型的人脸图像样本训练人脸识别模型,可以使人脸识别模型针对不同类型的人脸图像都能够具备较好的人脸识别能力。
步骤S102:通过人脸识别模型多次提取同一待评估人脸图像的图像特征。
在本实施例中可以将待评估人脸图像重复输入(如重复输入100次)至人脸识别模型,然后获取人脸识别模型的特征提取网络针对每次输入的待评估人脸图像提取到的图像特征。由于特征提取网络包括Dropout层,因此在针对同一待评估人脸图像进行多次特征提取时在Dropout层的作用下每次提取到的图像特征中的一部分特征都不同。
需要说明的是,在提取待评估人脸图像的图像特征时Dropout层的Dropout概率与训练人脸识别模型时Dropout层的Dropout概率相同。例如,在训练人脸识别模型时Dropout层的Dropout概率是0.4,那么在步骤S102中Dropout层的Dropout概率同样是0.4。
步骤S103:分别计算每两个图像特征之间的特征距离并获取所有计算得到的特征距离的平均值。
在本实施例中可以采用欧式距离(Euclidean Distance)计算方法计算两个图像特征之间的特征距离,此外,本领域技术人员也可以根据实际需求灵活选择其他的图像特征的特征距离计算方法去分别计算每两个图像特征之间的特征距离,在不偏离本发明的技术原理的前提下,对上述特征距离计算方法更改或替换后的技术方案仍然落入本发明的保护范围之内。
步骤S104:通过人脸识别模型并根据平均值预测待评估人脸图像属于人脸图像的概率。
步骤S105:根据概率确定待评估人脸图像的人脸质量分。
如果特征距离的平均值越大则表明这些图像特征的稳定性越差,进而表明人脸识别模型对待评估人脸图像提取图像特征的能力(或进行人脸识别的能力)越差。然而,人脸识别模型是一个能够准确地对各不同类型的人脸图像进行人脸识别的模型,即具备较高人脸识别能力的模型,因此可以确定并非是由于人脸识别模型自身能力差导致对待评估人脸图像提取图像特征的能力的降低,而是由于待评估人脸图像的图像质量较差才导致人脸识别模型对待评估人脸图像进行人脸识别时识别能力降低,进而可以确定图像特征的平均值越大则待评估人脸图像的图像质量越差。
本发明实施例在通过人脸识别模型并根据平均值预测待评估人脸图像属于人脸图像的概率时由于特征距离的平均值只是两个图像特征之间的特征距离并非是图像特征,因此,通过人脸识别模型并根据平均值预测待评估人脸图像属于人脸图像的概率,实际上是与图像质量成负相关关系的概率,即这个概率越大则图像质量越差。在根据这个概率确定人脸质量分后待评估人脸图像的图像质量与人脸质量分同样成负相关关系,即人脸质量分越大则待评估人脸图像的图像质量越差。
基于上述步骤S101至步骤S105,通过人脸识别模型(经不同类型的人脸图像样本训练好的人脸识别模型)对待评估人脸图像进行人脸识别,根据人脸识别的结果确定待评估人脸图像的人脸质量分,完成人脸图像的图像质量评估,能够充分考虑对待评估人脸图像进行人脸识别的识别效果,克服了现有技术中无法准确地评估出人脸图像的图像质量的缺陷。
下面对上述步骤S101和步骤S105分别作进一步说明。
在上述步骤S101的一个实施方式中可以通过下列步骤对人脸识别模型进行人脸识别训练,从而获取训练好的人脸识别模型:
步骤11:采用不同类型的人脸图像样本并按照下式(1)所示的目标函数loss总计算人脸识别模型的模型损失值:
公式(1)中各参数含义如下:
lossi表示人脸识别模型对第i个类型的人脸图像样本进行人脸识别训练时确定的损失函数,n表示人脸图像样本的类型总数。也就是说,每类人脸图像样本都有各自对应的损失函数,而目标函数loss总是所有类型的人脸图像样本的损失函数的相加之和。在一个实施方式中所有类型的人脸图像样本的损失函数可以相同,例如都可以采用ArcFace Loss(Additive Angular Margin Loss,加性角度间隔损失函数)。
步骤12:根据模型损失值计算人脸识别模型的模型参数的梯度,根据梯度反向传播更新模型参数。
在本实施例中可以采用机器学习技术领域中常规的模型参数更新方法,根据模型损失值计算人脸识别模型的模型参数的梯度,进而根据梯度反向传播更新模型参数,例如可以采用梯度下降法更新模型参数。在此不再进行赘述。
参阅附图2,在上述步骤S101的另一个实施方式中,人脸识别模型中的特征提取网络不仅可以包括Dropout层,还可以包括输入层、残差网络、全连接层和输出层。如图2中左侧图像所示,残差网络的第一端与输入层连接,残差网络的第二端与Dropout层的第一端连接,Dropout层的第二端与全连接层的第一端连接;全连接层的第二端与输出层连接。
在本实施方式中残差网络可以采用ResNet50残差网络,ResNet50残差网络可以包括4个残差网络模块,每个残差网络模块都包括卷积层和激活层。如图2中右侧图像所示,一个残差网络模块包括依次连接的3×3conv(卷积层)、Relu(激活层)、3×3conv(卷积层)和Relu(激活层),另一个残差网络模块同样包括依次连接的3×3conv(卷积层)、Relu(激活层)、3×3conv(卷积层)和Relu(激活层)。此外,本领域技术人员也可以根据实际需求灵活选择其他类型的残差网络,在不偏离本发明的技术原理的前提下,对上述残差网络更改或替换后的技术方案仍然落入本发明的保护范围之内。
在上述步骤S105的一个实施方式中,为了便于理解待评估人脸图像的图像质量与人脸质量分之间的关系,可以先对特征距离的平均值取反,这样通过人脸识别模型并根据取反后的特征距离的平均值预测到的待评估人脸图像属于人脸图像的概率,就会与待评估人脸图像的图像质量成正相关关系,进而使待评估人脸图像的图像质量与人脸质量分成正相关关系,即人脸质量分越大则待评估人脸图像的图像质量越好。具体而言,可以按照下式(2)所示的方法,通过人脸识别模型的分类函数层并根据平均值预测待评估人脸图像属于人脸图像的概率:
p=sigmoid(-v) (2)
公式(2)中各参数含义如下:
p表示待评估人脸图像属于人脸图像的概率,v表示特征距离的平均值,sigmoid表示分类函数层采用的分类激活函数。
进一步,在根据本发明的另一个人脸图像质量评估方法的实施例中,人脸图像质量评估方法不仅可以包括前述方法实施例中的步骤S101至步骤S105,在获取到待评估人脸图像的人脸质量分后还包括对人脸质量分进行修正的步骤。具体而言,参阅附图3,根据本发明实施例的人脸图像质量评估方法可以包括下列步骤S201至步骤S204。
步骤S201:确定待评估人脸图像的人脸质量分。
在本实施例中可以通过前述方法实施例中步骤S101至步骤S105所述的方法确定待评估人脸图像的人脸质量分,在此不再进行赘述。
步骤S202:将待评估人脸图像作为第一图像样本并将人脸质量分作为第一图像样本的样本标签;采用第一图像样本及其样本标签训练得到人脸图像质量评估模型。
将待评估人脸图像作为样本并以待评估人脸图像的人脸质量分作为样本标签训练人脸图像质量评估模型,可以使人脸图像质量评估模型从待评估人脸图像学习到评估图像的人脸质量分的能力。在本实施方式中可以采用机器学习技术领域中常规的模型训练方法,使用待评估人脸图像及其人脸质量分对人脸图像质量评估模型进行模型训练。例如,在将第一图像样本及其样本标签输入至人脸图像质量评估模型后,人脸图像质量评估模型根据第一图像样本的图像特征得到第一图像样本的人脸质量分预测值,根据该人脸质量分预测值与样本标签计算模型损失值,根据模型损失值计算人脸图像质量评估模型的模型参数的梯度,根据梯度反向传播更新人脸图像质量评估模型的模型参数,以完成一次迭代训练。通过多次迭代训练完成人脸图像质量评估模型的模型训练。
步骤S203:采用人脸图像质量评估模型重新获取待评估人脸图像的人脸质量分。
根据步骤S202可知,训练好的人脸图像质量评估模型具备评估图像的人脸质量分的能力,因此,在步骤S203中可以将待评估人脸图像重新输入至训练好的人脸图像质量评估模型,人脸图像质量评估模型就可以直接输出待评估人脸图像的人脸质量分,即重新获取到的人脸质量分。
步骤S204:根据重新获取到的人脸质量分对确定的人脸质量分进行修正,即根据步骤S203重新获取到的人脸质量分对步骤S201确定的人脸质量分进行修正。
由于步骤S201确定的人脸质量分是基于人脸识别模型确定出来的,其已经能够比较准确地表征待评估人脸图像的图像质量,再利用待评估人脸图像及其人脸质量分训练人脸图像质量评估模型,可以使人脸图像质量评估模型预测的人脸质量分更加准确地表征待评估人脸图像的图像质量。如果步骤S203重新获取到的人脸质量分与步骤S201确定人脸质量分一致,则不需要修正待评估人脸图像的人脸质量分,否则就需要对其进行修正。例如,可以直接将步骤S203重新获取到的人脸质量分作为待评估人脸图像的最终人脸质量分。
在步骤S204的一个实施方式中可以通过下列步骤对步骤S201确定的人脸质量分进行修正:
若重新获取到的人脸质量分与根据概率确定的人脸质量分(步骤S201确定的人脸质量分)相同,则不进行修正;
若重新获取到的人脸质量分与根据概率确定的人脸质量分(步骤S201确定的人脸质量分)不同,则将待评估人脸图像输入至预设的评估平台,响应于评估平台针对待评估人脸图像输出的第一修正指令,根据第一修正指令中指定的人脸质量分对根据概率确定的人脸质量分进行修正;其中,第一修正指令是评估平台通过人机交互装置接收到的指令。
预设的评估平台指的是,能够对接收到的图像进行分析并输出相应的人脸质量分的平台。一个实施方式中,评估平台在接收到待评估人脸图像后可以通过人机交互装置进行显示,以便评估人员根据显示的内容确定这个待评估人脸图像的人脸质量分。同时,评估平台还可以通过人机交互装置接收评估人员录入的第一修正指令,第一修正指令中的人脸质量分是由评估人员确定的,充分考虑了人类视觉的辨识能力。
进一步,在根据本发明的再一个人脸图像质量评估方法的实施例中,人脸图像质量评估方法不仅可以包括前述方法实施例中的步骤S101至步骤S105,在获取到待评估人脸图像的人脸质量分后还可以通过下列步骤S106对人脸质量分进行修正,步骤S106具体包括:
若s<sthl,则判定待评估人脸图像为低质量人脸图像并将人脸质量分修正为0,s表示评估人脸图像的人脸质量分,sthl表示预设的质量分下限阈值;
若s>sthh,则判定待评估人脸图像为高质量人脸图像并将人脸质量分修正为1,sthh表示预设的质量分上限阈值;在一个实施方式中,sthl=0.5,sthh=0.7。
若sthl≤s≤sthh,则将待评估人脸图像输入至预设的评估平台,响应于评估平台针对待评估人脸图像输出的第二修正指令,根据第二修正指令中指定的人脸质量分对根据概率确定的人脸质量分(步骤S105确定的人脸质量分)进行修正;其中,第二修正指令中指定的人脸质量分是0或1,第二修正指令是评估平台通过人机交互装置接收到的指令。
通过上述步骤S106可以将待评估人脸图像的人脸质量分重新修正成0或1,0表示待评估人脸图像是低质量人脸图像,人脸识别模型对其进行人脸识别的能力较低,1表示待评估人脸图像是低质量人脸图像,人脸识别模型对其进行人脸识别的能力较高。
预设的评估平台指的是,能够对接收到的图像进行分析并输出相应的人脸质量分的平台。一个实施方式中,评估平台在接收到待评估人脸图像后可以通过人机交互装置进行显示,以便评估人员根据显示的内容确定这个待评估人脸图像的人脸质量分。同时,评估平台还可以通过人机交互装置接收评估人员录入的第二修正指令。第二修正指令中的人脸质量分是由评估人员确定的,充分考虑了人类视觉的辨识能力。
进一步,在根据本发明的又一个人脸图像质量评估方法的实施例中,人脸图像质量评估方法不仅可以包括前述方法实施例中的步骤S101至步骤S106,在通过步骤S106对人脸质量分进行修正后还包括对人脸质量分再次进行修正的步骤。具体而言,参阅附图4,根据本发明实施例的人脸图像质量评估方法可以包括下列步骤S301至步骤S305。
步骤S301:确定待评估人脸图像的人脸质量分。
在本实施例中可以通过前述方法实施例中步骤S101至步骤S105所述的方法确定待评估人脸图像的人脸质量分,在此不再进行赘述。
步骤S302:对确定的人脸质量分进行修正。
在本实施例中可以通过前述方法实施例中步骤S106所述的方法对确定的人脸质量分进行修正,在此不再进行赘述。
步骤S303:将待评估人脸图像作为第二图像样本并将修正后的人脸质量分作为第二图像样本的样本标签;采用第二图像样本及其样本标签训练得到人脸图像质量分类模型。
将待评估人脸图像作为样本并以修正后的待评估人脸图像的人脸质量分作为样本标签训练人脸图像质量分类模型,可以使人脸图像质量分类模型从待评估人脸图像学习到高质量图像和低质量图像的分类能力。在本实施方式中可以采用机器学习技术领域中常规的模型训练方法,使用待评估人脸图像及其修正后的人脸质量分对人脸图像质量分类模型进行模型训练。例如,在将第二图像样本及其样本标签输入至人脸图像质量分类模型后,人脸图像质量分类模型根据第二图像样本的图像特征得到第二图像样本的人脸质量分预测值(0或1),根据该人脸质量分预测值与样本标签计算人脸图像质量分类模型的模型损失值,根据模型损失值计算模型参数的梯度,根据梯度反向传播更新人脸图像质量分类模型的模型参数,以完成一次迭代训练。通过多次迭代训练完成人脸图像质量分类模型的模型训练。
步骤S304:采用人脸图像质量分类模型预测待评估人脸图像属于高质量人脸图像的概率。
步骤S305:根据概率再次对修正后的人脸质量分进行修正,即根据步骤S304预测的概率对步骤S302修正后的人脸质量分再次修正。
由于步骤S301确定的人脸质量分是基于人脸识别模型确定出来的,其已经能够比较准确地表征待评估人脸图像的图像质量,再利用待评估人脸图像及其修正后的人脸质量分训练人脸图像质量分类模型,可以使人脸图像质量分类模型准确地预测出待评估人脸图像是高质量图像还是低质量图像,如果预测出待评估人脸图像是高质量图像,可以直接将相应的预测概率作为待评估人脸图像的最终人脸质量分。例如,待评估人脸图像1和待评估人脸图像2都是高质量图像,二者的属于高质量人脸图像的概率分别是0.9和0.8,那么可以确定待评估人脸图像1和待评估人脸图像2的最终人脸质量分就是0.9和0.8。
需要指出的是,尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述,但是本领域技术人员可以理解,为了实现本发明的效果,不同的步骤之间并非必须按照这样的顺序执行,其可以同时(并行)执行或以其他顺序执行,这些变化都在本发明的保护范围之内。
进一步,本发明还提供了一种人脸图像质量评估装置。
参阅附图5,图5是根据本发明的一个实施例的人脸图像质量评估装置的主要结构框图。如图5所示,本发明实施例中的人脸图像质量评估装置主要包括人脸识别模型获取模块、图像特征提取模块、特征距离平均值计算模块、概率预测模块和人脸质量分确定模块。人脸识别模型获取模块可以被配置成获取经不同类型的人脸图像样本训练好的人脸识别模型,人脸识别模型中的特征提取网络至少包括Dropout层;图像特征提取模块可以被配置成通过人脸识别模型多次提取同一待评估人脸图像的图像特征;特征距离平均值计算模块可以被配置成分别计算每两个图像特征之间的特征距离并获取所有计算得到的特征距离的平均值;概率预测模块可以被配置成通过人脸识别模型并根据平均值预测待评估人脸图像属于人脸图像的概率;人脸质量分确定模块可以被配置成根据概率确定待评估人脸图像的人脸质量分。一个实施方式中,具体实现功能的描述可以参见前述方法实施例中步骤S101至步骤S105所述。
在一个实施方式中,人脸图像质量评估装置还可以包括人脸质量分修正模块,其具体实现功能的描述可参见前述方法实施例中步骤S201至步骤S204和/或步骤S106和/或步骤S301至步骤S305所述。
上述人脸图像质量评估装置以用于执行图1至4所示的人脸图像质量评估方法实施例,两者的技术原理、所解决的技术问题及产生的技术效果相似,本技术领域技术人员可以清楚地了解到,为了描述的方便和简洁,人脸图像质量评估装置的具体工作过程及有关说明,可以参考人脸图像质量评估方法的实施例所描述的内容,此处不再赘述。
本领域技术人员能够理解的是,本发明实现上述一实施例的方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括:能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读存储介质不包括电载波信号和电信信号。
进一步,本发明还提供了一种控制装置。在根据本发明的一个控制装置实施例中,控制装置包括处理器和存储装置,存储装置可以被配置成存储执行上述方法实施例的人脸图像质量评估方法的程序,处理器可以被配置成用于执行存储装置中的程序,该程序包括但不限于执行上述方法实施例的人脸图像质量评估方法的程序。为了便于说明,仅示出了与本发明实施例相关的部分,具体技术细节未揭示的,请参照本发明实施例方法部分。该控制装置可以是包括各种电子设备形成的控制装置设备。
进一步,本发明还提供了一种计算机可读存储介质。在根据本发明的一个计算机可读存储介质实施例中,计算机可读存储介质可以被配置成存储执行上述方法实施例的人脸图像质量评估方法的程序,该程序可以由处理器加载并运行以实现上述人脸图像质量评估方法。为了便于说明,仅示出了与本发明实施例相关的部分,具体技术细节未揭示的,请参照本发明实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备,可选的,本发明实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。
进一步,应该理解的是,由于各个模块的设定仅仅是为了说明本发明的装置的功能单元,这些模块对应的物理器件可以是处理器本身,或者处理器中软件的一部分,硬件的一部分,或者软件和硬件结合的一部分。因此,图中的各个模块的数量仅仅是示意性的。
本领域技术人员能够理解的是,可以对装置中的各个模块进行适应性地拆分或合并。对具体模块的这种拆分或合并并不会导致技术方案偏离本发明的原理,因此,拆分或合并之后的技术方案都将落入本发明的保护范围内。
至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征作出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (10)
1.一种人脸图像质量评估方法,其特征在于,所述方法包括:
获取经不同类型的人脸图像样本训练好的人脸识别模型,所述人脸识别模型中的特征提取网络至少包括Dropout层;
通过所述人脸识别模型多次提取同一待评估人脸图像的图像特征;
分别计算每两个图像特征之间的特征距离并获取所有计算得到的特征距离的平均值;
通过所述人脸识别模型并根据所述平均值预测所述待评估人脸图像属于人脸图像的概率;
根据所述概率确定所述待评估人脸图像的人脸质量分。
2.根据权利要求1所述的人脸图像质量评估方法,其特征在于,所述人脸识别模型还包括分类函数层,“通过所述人脸识别模型并根据所述平均值预测所述待评估人脸图像属于人脸图像的概率”的步骤具体包括:
按照下式所示的方法,通过所述分类函数层并根据所述平均值预测所述待评估人脸图像属于人脸图像的概率:
p=sigmoid(-v)
其中,所述p表示待评估人脸图像属于人脸图像的概率,所述v表示所述平均值,所述sigmoid表示所述分类函数层采用的分类激活函数;
和/或,
所述特征提取网络还包括输入层、残差网络、全连接层和输出层;
所述残差网络的第一端与所述输入层连接,所述残差网络的第二端与所述Dropout层的第一端连接,所述Dropout层的第二端与所述全连接层的第一端连接;
所述全连接层的第二端与所述输出层连接。
4.根据权利要求1所述的人脸图像质量评估方法,其特征在于,在“根据所述概率确定所述待评估人脸图像的人脸质量分”的步骤之后,所述方法还包括通过下列步骤对所述人脸质量分进行修正:
将所述待评估人脸图像作为第一图像样本并将所述人脸质量分作为所述第一图像样本的样本标签;
采用第一图像样本及其样本标签训练得到人脸图像质量评估模型;
采用所述人脸图像质量评估模型重新获取所述待评估人脸图像的人脸质量分;
根据重新获取到的人脸质量分对根据所述概率确定的人脸质量分进行修正。
5.根据权利要求4所述的人脸图像质量评估方法,其特征在于,“根据重新获取到的人脸质量分对根据所述概率确定的人脸质量分进行修正”的步骤具体包括:
若重新获取到的人脸质量分与根据所述概率确定的人脸质量分相同,则不进行修正;
若重新获取到的人脸质量分与根据所述概率确定的人脸质量分不同,则将所述待评估人脸图像输入至预设的评估平台,响应于所述评估平台针对所述待评估人脸图像输出的第一修正指令,根据所述第一修正指令中指定的人脸质量分对根据所述概率确定的人脸质量分进行修正;其中,所述第一修正指令是所述评估平台通过人机交互装置接收到的指令。
6.根据权利要求1所述的人脸图像质量评估方法,其特征在于,在“根据所述概率确定所述待评估人脸图像的人脸质量分”的步骤之后,所述方法还包括通过下列步骤对所述人脸质量分进行修正:
若s<sthl,则判定所述待评估人脸图像为低质量人脸图像并将所述人脸质量分修正为0,所述s表示所述评估人脸图像的人脸质量分,所述sthl表示预设的质量分下限阈值;
若s>sthh,则判定所述待评估人脸图像为高质量人脸图像并将所述人脸质量分修正为1,所述sthh表示预设的质量分上限阈值;
若sthl≤s≤sthh,则将所述待评估人脸图像输入至预设的评估平台,响应于所述评估平台针对所述待评估人脸图像输出的第二修正指令,根据所述第二修正指令中指定的人脸质量分对根据所述概率确定的人脸质量分进行修正;其中,所述第二修正指令中指定的人脸质量分是0或1,所述第二修正指令是所述评估平台通过人机交互装置接收到的指令。
7.根据权利要求6所述的人脸图像质量评估方法,其特征在于,在“对所述人脸质量分进行修正”的步骤之后,所述方法还包括:
将所述待评估人脸图像作为第二图像样本并将修正后的人脸质量分作为所述第二图像样本的样本标签;
采用第二图像样本及其样本标签训练得到人脸图像质量分类模型;
采用所述人脸图像质量分类模型预测所述待评估人脸图像属于高质量人脸图像的概率;
根据所述概率再次对所述修正后的人脸质量分进行修正。
8.一种人脸图像质量评估装置,其特征在于,所述装置包括:
人脸识别模型获取模块,其被配置成获取经不同类型的人脸图像样本训练好的人脸识别模型,所述人脸识别模型中的特征提取网络至少包括Dropout层;
图像特征提取模块,其被配置成通过所述人脸识别模型多次提取同一待评估人脸图像的图像特征;
特征距离平均值计算模块,其被配置成分别计算每两个图像特征之间的特征距离并获取所有计算得到的特征距离的平均值;
概率预测模块,其被配置成通过所述人脸识别模型并根据所述平均值预测所述待评估人脸图像属于人脸图像的概率;
人脸质量分确定模块,其被配置成根据所述概率确定所述待评估人脸图像的人脸质量分。
9.一种控制装置,包括处理器和存储装置,所述存储装置适于存储多条程序代码,其特征在于,所述程序代码适于由所述处理器加载并运行以执行权利要求1至7中任一项所述的人脸图像质量评估方法。
10.一种计算机可读存储介质,其中存储有多条程序代码,其特征在于,所述程序代码适于由处理器加载并运行以执行权利要求1至7中任一项所述的人脸图像质量评估方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210037874.9A CN114399491A (zh) | 2022-01-13 | 2022-01-13 | 人脸图像质量评估方法、装置以及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210037874.9A CN114399491A (zh) | 2022-01-13 | 2022-01-13 | 人脸图像质量评估方法、装置以及计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114399491A true CN114399491A (zh) | 2022-04-26 |
Family
ID=81231469
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210037874.9A Pending CN114399491A (zh) | 2022-01-13 | 2022-01-13 | 人脸图像质量评估方法、装置以及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114399491A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115953819A (zh) * | 2022-12-28 | 2023-04-11 | 中国科学院自动化研究所 | 人脸识别模型的训练方法、装置、设备和存储介质 |
-
2022
- 2022-01-13 CN CN202210037874.9A patent/CN114399491A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115953819A (zh) * | 2022-12-28 | 2023-04-11 | 中国科学院自动化研究所 | 人脸识别模型的训练方法、装置、设备和存储介质 |
CN115953819B (zh) * | 2022-12-28 | 2023-08-15 | 中国科学院自动化研究所 | 人脸识别模型的训练方法、装置、设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111178197B (zh) | 基于Mask R-CNN和Soft-NMS融合的群养粘连猪实例分割方法 | |
CN109784149B (zh) | 一种人体骨骼关键点的检测方法及系统 | |
CN112614109B (zh) | 图像质量评估方法、装置以及计算机可读存储介质 | |
CN112529210A (zh) | 模型训练方法、装置以及计算机可读存储介质 | |
CN113011509B (zh) | 肺部支气管的分类方法、装置、电子设备和存储介质 | |
CN111582358B (zh) | 户型识别模型的训练方法及装置、户型判重的方法及装置 | |
CN111310918B (zh) | 一种数据处理方法、装置、计算机设备及存储介质 | |
CN110826581A (zh) | 一种动物数量识别方法、装置、介质及电子设备 | |
CN115713715A (zh) | 一种基于深度学习的人体行为识别方法及识别系统 | |
CN111340233A (zh) | 机器学习模型的训练方法及装置、样本处理方法及装置 | |
CN114399491A (zh) | 人脸图像质量评估方法、装置以及计算机可读存储介质 | |
CN110427998A (zh) | 模型训练、目标检测方法及装置、电子设备、存储介质 | |
CN116343007A (zh) | 目标检测方法、装置、设备和存储介质 | |
CN113807541B (zh) | 决策系统的公平性修复方法、系统、设备及存储介质 | |
CN113591601B (zh) | 角膜共聚焦图像中菌丝识别方法及装置 | |
CN112861689A (zh) | 一种基于nas技术的坐标识别模型的搜索方法及装置 | |
CN113554685A (zh) | 遥感卫星运动目标检测方法、装置、电子设备及存储介质 | |
CN112801013A (zh) | 一种基于关键点识别校验的人脸识别方法、系统及装置 | |
CN113283388A (zh) | 活体人脸检测模型的训练方法、装置、设备及存储介质 | |
CN112465859A (zh) | 快速运动目标的检测方法、装置、设备和储存介质 | |
CN113935995B (zh) | 一种图像处理方法、装置、电子设备及计算机可读存储介质 | |
CN111291657B (zh) | 一种基于难例挖掘的人群计数模型训练方法及应用 | |
CN116823831B (zh) | 基于循环特征推理的胚胎图像碎片去除系统 | |
CN118279700B (zh) | 一种工业质检网络训练方法及装置 | |
JP7314723B2 (ja) | 画像処理システム、及び画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |