CN110378324A - 一种基于质量维度的人脸识别算法评估方法 - Google Patents

一种基于质量维度的人脸识别算法评估方法 Download PDF

Info

Publication number
CN110378324A
CN110378324A CN201910633812.2A CN201910633812A CN110378324A CN 110378324 A CN110378324 A CN 110378324A CN 201910633812 A CN201910633812 A CN 201910633812A CN 110378324 A CN110378324 A CN 110378324A
Authority
CN
China
Prior art keywords
recognition
image
statistical
interval
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910633812.2A
Other languages
English (en)
Other versions
CN110378324B (zh
Inventor
董波
王道宁
张亚东
陶亮
廖志梁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yicheng Gaoke Dalian Technology Co ltd
Original Assignee
Yicheng Gaoke Dalian Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yicheng Gaoke Dalian Technology Co ltd filed Critical Yicheng Gaoke Dalian Technology Co ltd
Priority to CN201910633812.2A priority Critical patent/CN110378324B/zh
Publication of CN110378324A publication Critical patent/CN110378324A/zh
Application granted granted Critical
Publication of CN110378324B publication Critical patent/CN110378324B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

一种基于质量维度的人脸识别算法评估方法，包括基于目标相关的人脸识别评估方法和基于非目标相关的人脸识别评估方法，对于单个人脸识别算法而言，可以通过多维度评估，得到算法对各种不同参量的敏感性，从而针对不同参量做算法优化；对于不同的人脸识别算法而言，可以提供更详细的比对结果，结合应用环境来给出最优的识别算法。

Description

一种基于质量维度的人脸识别算法评估方法
技术领域
本发明涉及图像处理技术领域。
背景技术
人脸识别算法在当下的授权应用、学术科研均有较大的参考价值，基于不同的出发点与原理提出的人脸识别算法也越来越多，而图像质量与识别算法的关系，仅存于拒识别方向，即假定提供图像质量过低，则重新采集，不做识别。实际上，以质量体系为基础，更容易获知算法的优劣，可以提供更客观的算法评价指标，同时提供优化算法的方向。
人脸识别算法评估方面，主要以识别率与运行效率为主，包括：
1)以识别率为基础的评估模型，例如假正例率(False Positive Rate)，真正例率(True Positive Rate)，受试者工作特征曲线(Receiver Operating CharacteristicCurve)，也就是所谓的召回率(参考《机器学习》周志华清华大学出版)，一般地，识别率越高，代表算法性能越好；
2)运行复杂度，具体体现在处理单幅图或者固定尺寸图像的占用时间以及运行过程中的最大资源消耗，这里的资源包括内存、显存或者计算单元，一般地，占用时间与资源消耗是成反比的，资源消耗越大，代表占用时间相对短，精度越高，资源消耗越小，代表占用时间长，精度相对低。
资源消耗是客观存在的，与测试数据、测试方法与过程无关，只是以量化记录的方式将理论的资源消耗情况反映出来而已，所以第二种评估方法并没有太多的问题，但针对基于识别率的评估方式而言：
1)对同个人脸识别算法而言，识别率相对来讲是个最简单的量化指标，无法体现出算法在哪些情况表现差，哪些情况表现良好，而这些情况往往是算法设计的短板所在，要想更客观地体现算法优劣，仅凭多个测试库来测定识别率是不全面的，而且参考意义不大；
2)对不同人脸识别算法而言，主流(state of the art)算法在识别率上的差异不大，以识别率为参考标准，不容易给出相对更详细的优势描述，这就使算法在应用场景的选择上容易出现误判。
发明内容
为了解决现有人脸识别评估算法存在的上述问题，本发明提供了一种基于质量维度的人脸识别算法评估方法。
本发明为实现上述目的所采用的技术方案是：一种基于质量维度的人脸识别算法评估方法，包括基于目标相关的人脸识别评估方法和基于非目标相关的人脸识别评估方法，
基于目标相关的人脸识别评估方法包括以下步骤：
2-1.在测试人脸库存在的情况下，对人脸库做参数属性模型化分类，分类的对象包括：肤色、情绪、遮挡与姿态；
2-2.基于肤色的测试库分类：对测试库每幅人脸图像进行标号，不同人的人脸，标号不同，相同人的人脸，标号相同，
2-2-1.选择基准肤色为参考肤色，对世界范围内的肤色做统计，计算所有统计值与参考肤色的差异，找到ab空间差异的区间，计算色调差异范围；
2-2-2.设定量化分类步长N，N∈Z+(建议取值在10以上)，将色调差异范围均匀分为(N-1)个区间：[0,rmax/N)，[rmax/N,2rmax/N)，…，[(N-1)rmax/N,rmax]；
2-2-3.统计测试库内每个人的肤色值，然后计算到参考值的距离；
2-2-4.基于计算出的距离与色调差区间，找到每个样本的实际肤色区间号，假如肤色接近黑色，则区间号取负，否则不做调整，这样每个样本在原有标号的基础上，增加肤色区间标号信息IDcolor∈[-N+1,N-1]；
2-3.基于情绪的测试库信息标记：
2-3-1.取无情绪状态的平均脸为参考状态，收集典型情绪的数据集，然后分别计算各种情绪下的平均脸；
2-3-2.测试库的情绪评估；
2-4.基于遮挡的测试库分类：
2-4-1.遮挡定义：假定特定人脸模型的关键点数为M，由于遮挡原因，剩余可观察点数为M′，则遮挡率rmask＝M′/M×100％；
2-4-2.提取每幅测试图的人脸模型关键点，逐点计算并判定：每点到模型几何中心的距离dc，该点关于人脸中心垂直方向的轴对称点到模型几何中心的距离dt，该点在训练模型的同名点到训练模型几何中心的距离d′c，以及同名点对应的对称点到训练模型几何中心的距离d′t，假如|d′t-d′c|<δ|dt-dc|，δ∈(0,+∞)，认为该点因为遮挡发生了较大的位置偏移，从而成为异常点；统计得到每幅图像的异常点数量Mo；
2-4-3.根据每幅图像的异常点数量，计算每幅图的遮挡率rm＝(M-Mo/2)/M，按照步骤2-2-2～2-2-4的方式获取遮挡率区间标号；
2-5.基于人脸姿态的测试库分类：以人脸世界坐标的WOV平面与相机坐标的XOY平面夹角作为姿态角做主要信息参数，统计得到每幅图像的姿态角信息θ，按照步骤2-2-2～2-2-4的方式获取姿态角区间标号，这里夹角为负时对区间标号取负，否则不做处理；
2-6.对于得到肤色、情绪、遮挡、姿态量化评估或者分类信息的测试库而言，对需要测试的人脸识别算法先进行一次整体的识别统计，找到识别失败的样本，然后对于识别失败的样本，按照不同的量化与分类维度做汇总统计：
2-6-1.以肤色区间为横坐标，同区间识别失败样本的数量为纵坐标，统计肤色引入识别失败的统计直方图，哪个方向的分布概率越大，代表算法对相对应肤色的敏感度越高；
2-6-2.以不同情绪分类为横坐标，同区间识别失败样本的数量为纵坐标，统计情绪引入识别失败的统计直方图，哪个情绪下的失败分布概率越大，代表算法对相对应情绪的敏感度越高；
2-6-3.以不同遮挡等级分类为横坐标，同区间识别失败样本的数量为纵坐标，统计遮挡引入识别失败的统计直方图，哪个遮挡等级的分布概率越大，代表算法对相对应遮挡的敏感度越高，正常状态下，遮挡等级越高，算法性能越差；
2-6-4.以不同姿态等级分类为横坐标，同区间识别失败样本的数量为纵坐标，统计姿态引入识别失败的统计直方图，哪个姿态等级的分布概率越大，代表算法对相对应姿态的敏感度越高，正常状态下，姿态等级越高，算法性能越差；
2-7.对其他要测试的算法均进行步骤2-6，得到所有算法对不同目标质量参量的敏感度结果，在相同条件下：基于肤色、情绪状态的误识别直方图分布越广，算法对肤色越敏感；同遮挡、姿态等级下，误识别直方图图像数量越少，算法对遮挡、姿态的鲁棒性越高；
基于非目标相关的人脸识别评估方法包括以下步骤：
3-1.在测试人脸库存在的情况下，对人脸库做质量属性模型化分类，分类的对象包括：噪声、模糊度、对比度与目标分辨率；
3-2.基于噪声的测试库分类：
3-2-1.对测试库中的任意图像做一次图像恢复，还原不包含噪声的图像，利用恢复后的图像与原图做差，保留的差值即噪声值；
3-2-2.统计噪声能量，计算3-2-1的差值二范数；
3-2-3.统计原图能量，计算3-2-1的恢复后图像的二范数；
3-2-4.计算图像信噪比＝20log(原图能量/噪声能量)；
3-2-5.重复进行步骤3-2-1～3-2-4，计算出所有图像的信噪比信息snr，然后对信噪比做最大值与最小值统计，得到信噪比取值范围，对整个范围做固定步长的分区，得到不同的信噪比区间，然后找到所有图信噪比所在区间的标号；
3-3.基于模糊度的测试库信息标记：
3-3-1.对测试库中的任意图像做一次图像恢复，还原清晰的图像，计算原图与恢复后图像的傅里叶变换，然后相除，得到退化函数的频域表示；
3-3-2.统计退化函数的低通截止频率；
3-3-2.重复进行步骤3-3-1～3-3-2，计算出所有图像的截止频率信息，然后对记录频率做最大值与最小值统计，得到频率取值范围，对整个范围做固定步长的分区，得到不同的频率区间，然后找到所有图频率所在区间的标号；
3-4.基于对比度的测试库信息标记：
3-4-1.对测试库中的任意图像按照RGB三个通道分拆，然后每个通道、每个方向统计对比度；
3-4-2.计算出所有图像的对比度信息，然后对对比度做最大值与最小值统计，得到对比度取值范围，对整个范围做固定步长的分区，得到不同的对比度区间，然后找到所有图对比度所在区间的标号；
3-5.基于分辨率的测试库信息标记：
3-5-1.对测试库中的任意图像记录人脸识别区域，然后统计区域整体像素数；
3-5-2.统计出所有图像的目标像素数量信息，对目标像素数做最大值与最小值统计，得到目标像素数取值范围，对整个范围做固定步长的分区，得到不同的目标像素数区间，然后找到所有图目标像素数所在区间的标号；
3-6.对于得到噪声、模糊度、对比度量化评估或者分类信息的测试库而言，对需要测试的人脸识别算法先进行一次整体的识别统计，找到识别失败的样本，然后对于识别失败的样本，按照不同的量化与分类维度做汇总统计：
3-6-1.以信噪比区间为横坐标，同区间识别失败样本的数量为纵坐标，统计信噪比引入识别失败的统计直方图，正常状态下，信噪比等级越高，算法性能越差；
3-6-2.以不同模糊度分类为横坐标，同区间识别失败样本的数量为纵坐标，统计模糊度引入识别失败的统计直方图，正常状态下，图像模糊等级越高，算法性能越差；
3-6-3.以不同对比度分类为横坐标，同区间识别失败样本的数量为纵坐标，统计对比度引入识别失败的统计直方图，正常状态下，对比度等级越低，算法性能越差；
3-6-4.以不同分辨率分类为横坐标，同区间识别失败样本的数量为纵坐标，统计分辨率引入识别失败的统计直方图，正常状态下，分辨率等级越低，算法性能越差；
3-7.对其他要测试的算法均进行步骤3-6，得到所有算法对不同非目标质量参量的敏感度结果，在相同条件下：同质量参数等级下，误识别直方图图像数量越少，算法鲁棒性越高。
所述步骤2-2-1中，色彩空间取CIE Lab空间，选择基准肤色为参考肤色，肤色定义为Lab空间的ab值，对世界范围内的肤色做ab空间的统计，计算所有统计值与参考肤色的差异，找到ab空间差异的区间，假定ab区间的统计差异分别为[Δamin,Δamax]与[Δbmin,Δbmax]，然后计算色调差异范围令：
所述步骤2-3-1中，典型情绪的数据集包括：微笑、大笑、伤心、沮丧、生气；
所述步骤2-3-2中，测试库的情绪评估方法为：当步骤2-3-1中统计对象每种情绪状态采集样本数量在万级时，利用基于CNN网络的分类做端对端评估，典型的分类网络是ResNet、InceptionV3；当步骤2-3-1统计对象数量不满足时，按照特定的AAM或者ASM人脸模型，提取库里所有人脸的模型描述，与对应的各种情绪下的平均脸模型做模型匹配，模型匹配的方法是基于欧式距离的关键点匹配，给出每幅人脸对应的情绪标签IDemotion＝{正常,微笑,大笑,伤心,沮丧,生气}。
所述步骤2-6中的识别统计方法为计算计算识别率，识别率＝识别正确样本数量/整体样本数量，识别错误的样本即识别失败样本，具体表现是提供的人员标号与识别结果标号不一致。
所述步骤3-2-1中对图像做恢复的方法包括：去噪自编码和边缘自适应滤波方法。
所述步骤3-3-1中对图像恢复的方法包括：超分辨率和去模糊算法。
所述步骤3-4-1中，计算对比度的方法是基于灰度共生矩阵的统计方法，基于灰度共生矩阵计算每个通道的比对度，以最高的对比度结果为该幅图的对比度。
本发明的基于质量维度的人脸识别算法评估方法，对于单个人脸识别算法而言，可以通过多维度评估，得到算法对各种不同参量的敏感性，从而针对不同参量做算法优化；对于不同的人脸识别算法而言，可以提供更详细的比对结果，结合应用环境来给出最优的识别算法。
附图说明
图1是本发明人脸关键点模型的异常点计算定义示意图。
图2是本发明肤色区间错误样本分布图。
图3是本发明情绪类别错误样本分布图。
图4是本发明遮挡等级错误样本分布图。
图5是本发明不同姿态错误样本分布图。
具体实施方式
现在用于人脸测试的数据库从数据量、个体特点、姿态、拍摄设备等都具有较高的多样性，归根结底，可以体现在两个方面：目标或者目标本身体现的多样性，比如肤色、情绪、遮挡、姿态等；除目标以外的拍摄条件多样性，比如光照、逆光、顺光、曝光程度、拍摄设备的噪声、防抖功能优劣等，体现在图像上，即图像的对比度、清晰度、信噪比、细节还原度等。因此，本方案的目的是，对不同种类的多样性对算法的影响程度做量化判定，然后基于判定结果，解决单一识别率所达不到的：
1)多维度指标评测；
2)问题维度分析与算法调优反馈。
基于方案的目的，本方案认为对降低人脸识别算法识别率的因素都属于图像质量问题，拍摄对象的相关参数属性(肤色、情绪、遮挡、姿态)是目标相关的，拍摄条件与环境造成的质量问题是非目标相关的，基于目标相关的人脸识别评估方案参考步骤2，基于非目标相关的人脸识别评估方案参考步骤3；
2、基于目标相关的人脸识别评估：
2-1.在测试人脸库存在的情况下，对人脸库做参数属性模型化分类，分类的对象包括：肤色、情绪、遮挡与姿态情况；
2-2.基于肤色的测试库分类：假定测试库每幅人脸图像都是有标号的，这里标号用来区分人(不同人的人脸，标号不同，相同人的人脸，标号相同)，
2-2-1.色彩空间取CIE Lab空间，选择基准肤色为参考肤色，肤色定义为Lab空间的ab值(若以黄种人人脸肤色为参考色，则ab分别取值为18.13与17.81)，对世界范围内的肤色做ab空间的统计，计算所有统计值与参考肤色的差异，找到ab空间差异的区间，假定ab区间的统计差异分别为[Δamin,Δamax]与[Δbmin,Δbmax]，然后计算色调差异范围令：
2-2-2.设定量化分类步长N，N∈Z+(建议取值在10以上)，将色调差异范围均匀分为(N-1)个区间：[0,rmax/N)，[rmax/N,2rmax/N)，…，[(N-1)rmax/N,rmax]；
2-2-3.统计测试库内每个人的肤色ab值，然后计算到参考值的距离；
2-2-4.基于计算出的距离与色调差区间，找到每个样本的实际肤色区间号，假如肤色接近黑色，则区间号取负，否则不做调整，这样每个样本在原有标号的基础上，增加肤色区间标号信息IDcolor∈[-N+1,N-1]。
2-3.基于情绪的测试库信息标记：
2-3-1.取无情绪状态(标准证件照)的平均脸为参考状态，收集典型情绪的数据集，包括：微笑、大笑、伤心、沮丧、生气等，然后分别计算各种情绪下的平均脸(计算平均脸的方式可以参考网址http://faceresearch.org/students/averageness)；
2-3-2.测试库的情绪评估，这里提供两种方法：当2-3-1中统计对象每种情绪状态采集样本数量在万级时，可以利用基于CNN网络的分类做端对端评估，典型的分类网络可以是ResNet、InceptionV3等；当2-3-1统计对象数量不满足时，按照特定的人脸模型，比如AAM或者ASM模型，提取库里所有人脸的模型描述，与对应的各种情绪下的平均脸模型做模型匹配，模型匹配的方法可以是基于欧式距离的关键点匹配，从而给出每幅人脸对应的情绪标签IDemotion＝{正常,微笑,大笑,伤心,沮丧,生气}；
2-4.基于遮挡的测试库分类：
2-4-1.遮挡定义：假定特定人脸模型(比如ASM、AAM)的关键点数为M，由于遮挡原因，剩余可观察点数为M′，则遮挡率rmask＝M′/M×100％；
2-4-2.提取每幅测试图的人脸模型关键点，逐点计算并判定：每点到模型几何中心的距离dc，该点关于人脸中心垂直方向的轴对称点到模型几何中心的距离dt，该点在训练模型的同名点到训练模型几何中心的距离d′c，以及同名点对应的对称点到训练模型几何中心的距离d′t(如图1所示)，假如|d′t-d′c|<δ|dt-dc|，δ∈(0,+∞)，认为该点因为遮挡发生了较大的位置偏移，从而成为异常点；统计得到每幅图像的异常点数量Mo；
2-4-3.根据每幅图像的异常点数量，计算每幅图的遮挡率rm＝(M-Mo/2)/M，按照2-2-2～2-2-4的方式获取遮挡率区间标号，但这里不涉及两个极端的肤色，因此仅按照固定类别拆分遮挡率区间即可；
2-5.基于人脸姿态的测试库分类：人脸姿态的评估模型有很多，比较典型的可以参考https://www.learnopencv.com/head-pose-estimation-using-opencv-and-dlib/，以人脸世界坐标的WOV平面与相机坐标的XOY平面夹角作为姿态角做主要信息参数即可，统计得到每幅图像的姿态角信息θ，按照2-2-2～2-2-4的方式获取姿态角区间标号，这里夹角为负时对区间标号取负，否则不做处理；
2-6.对于得到肤色、情绪、遮挡、姿态量化评估或者分类信息的测试库而言，对需要测试的人脸识别算法先进行一次整体的识别统计，找到识别失败的样本，识别统计的方法就是计算识别率，识别率＝识别正确样本数量/整体样本数量，识别错误的样本即识别失败样本，具体表现是提供的人员标号与识别结果标号不一致；整体的识别统计就是统计识别率。然后对于识别失败的样本，按照不同的量化与分类维度做汇总统计：
2-6-1.以肤色区间为横坐标，同区间识别失败样本的数量为纵坐标，统计肤色引入识别失败的统计直方图，如图2所示，哪个方向的分布概率越大，代表算法对相对应肤色的敏感度越高；
2-6-2.以不同情绪分类为横坐标，同区间识别失败样本的数量为纵坐标，统计情绪引入识别失败的统计直方图，如图3所示，哪个情绪下的失败分布概率越大，代表算法对相对应情绪的敏感度越高；
2-6-3.以不同遮挡等级分类为横坐标，同区间识别失败样本的数量为纵坐标，统计遮挡引入识别失败的统计直方图，如图4所示，哪个遮挡等级的分布概率越大，代表算法对相对应遮挡的敏感度越高，正常状态下，遮挡等级越高，算法性能越差；
2-6-4.以不同姿态等级分类为横坐标，同区间识别失败样本的数量为纵坐标，统计姿态引入识别失败的统计直方图，如图5所示，哪个姿态等级的分布概率越大，代表算法对相对应姿态的敏感度越高，正常状态下，姿态等级越高，算法性能越差；
2-7.对其他要测试的算法均进行2-6，得到所有算法对不同目标质量参量的敏感度结果，在相同条件下：基于肤色、情绪状态的误识别直方图分布越广，算法对肤色越敏感；同遮挡、姿态等级下，误识别直方图图像数量越少，算法对遮挡、姿态的鲁棒性越高。
3、基于非目标相关的人脸识别评估：
3-1.在测试人脸库存在的情况下，对人脸库做质量属性模型化分类，分类的对象包括：噪声、模糊度、对比度与目标分辨率；
3-2.基于噪声的测试库分类：
3-2-1.对测试库中的任意图像做一次图像恢复，目标是尽可能地还原不包含噪声的图像，可以使用的技术包括：去噪自编码技术(Lu X,Tsao Y,Matsuda S,et al.Speechenhancement based on deep denoising autoencoder[C]//Interspeech.2013:436-440.)、边缘自适应滤波技术(Side Window Filtering.CVPR 2019),利用恢复后的图像与原图做差，认为保留的差值即噪声值；
3-2-2.统计噪声能量，具体方法是计算3-2-1的差值二范数；
3-2-3.统计原图能量，具体方法是计算3-2-1的恢复后图像的二范数；
3-2-4.计算图像信噪比＝20log(原图能量/噪声能量)；
3-2-5.重复进行3-2-1～3-2-4，计算出所有图像的信噪比信息snr，然后对信噪比做最大值与最小值统计，得到信噪比取值范围，对整个范围做固定步长的分区，得到不同的信噪比区间，然后找到所有图信噪比所在区间的标号；
3-3.基于模糊度的测试库信息标记：
3-3-1.对测试库中的任意图像做一次图像恢复，目标是尽可能地还原清晰的图像，可以使用的技术包括：超分辨率技术(Yang J,Wright J,Huang T S,et al.Imagesuper-resolution via sparse representation[J].IEEE transactions on imageprocessing,2010,19(11):2861-2873.)、去模糊算法(Nah S,Hyun Kim T,Mu Lee K.Deepmulti-scale convolutional neural network for dynamic scene deblurring[C]//Proceedings of the IEEE Conference on Computer Vision and PatternRecognition.2017:3883-3891.),计算原图与恢复后图像的傅里叶变换，然后相除，得到退化函数的频域表示；
3-3-2.统计退化函数的低通截止频率；
3-3-2.重复进行3-3-1～3-3-2，计算出所有图像的截止频率信息，然后对记录频率做最大值与最小值统计，得到频率取值范围，对整个范围做固定步长的分区，得到不同的频率区间，然后找到所有图频率所在区间的标号。
3-4.基于对比度的测试库信息标记：
3-4-1.对测试库中的任意图像按照RGB三个通道分拆，然后每个通道、每个方向(水平、竖直、正对角、斜对角)统计对比度，计算对比度的方法可以是基于灰度共生矩阵的统计方法，基于灰度共生矩阵计算每个通道的比对度，以最高的对比度结果为该幅图的对比度；3-4-2.计算出所有图像的对比度信息，然后对对比度做最大值与最小值统计，得到对比度取值范围，对整个范围做固定步长的分区，得到不同的对比度区间，然后找到所有图对比度所在区间的标号；
3-5.基于分辨率的测试库信息标记：
3-5-1.对测试库中的任意图像记录人脸识别区域，然后统计区域整体像素数；
3-5-2.统计出所有图像的目标像素数量信息，然后对目标像素数做最大值与最小值统计，得到目标像素数取值范围，对整个范围做固定步长的分区，得到不同的目标像素数区间，然后找到所有图目标像素数所在区间的标号；
3-6.对于得到噪声、模糊度、对比度量化评估或者分类信息的测试库而言，对需要测试的人脸识别算法先进行一次整体的识别统计，找到识别失败的样本，然后对于识别失败的样本，按照不同的量化与分类维度做汇总统计：
3-6-1.以信噪比区间为横坐标，同区间识别失败样本的数量为纵坐标，统计信噪比引入识别失败的统计直方图，正常状态下，信噪比等级越高，算法性能越差；
3-6-2.以不同模糊度分类为横坐标，同区间识别失败样本的数量为纵坐标，统计模糊度引入识别失败的统计直方图，正常状态下，图像模糊等级越高，算法性能越差；
3-6-3.以不同对比度分类为横坐标，同区间识别失败样本的数量为纵坐标，统计对比度引入识别失败的统计直方图，正常状态下，对比度等级越低，算法性能越差；
3-6-4.以不同分辨率分类为横坐标，同区间识别失败样本的数量为纵坐标，统计分辨率引入识别失败的统计直方图，正常状态下，分辨率等级越低，算法性能越差；
3-7.对其他要测试的算法均进行3-6的步骤，得到所有算法对不同非目标质量参量的敏感度结果，在相同条件下：同质量参数等级下，误识别直方图图像数量越少，算法鲁棒性越高。
本发明是通过实施例进行描述的，本领域技术人员知悉，在不脱离本发明的精神和范围的情况下，可以对这些特征和实施例进行各种改变或等效替换。另外，在本发明的教导下，可以对这些特征和实施例进行修改以适应具体的情况及材料而不会脱离本发明的精神和范围。因此，本发明不受此处所公开的具体实施例的限制，所有落入本申请的权利要求范围内的实施例都属于本发明的保护范围。

Claims (8)

1.一种基于质量维度的人脸识别算法评估方法，其特征在于：包括基于目标相关的人脸识别评估方法和基于非目标相关的人脸识别评估方法，
基于目标相关的人脸识别评估方法包括以下步骤：
2-1.在测试人脸库存在的情况下，对人脸库做参数属性模型化分类，分类的对象包括：肤色、情绪、遮挡与姿态；
2-2.基于肤色的测试库分类：对测试库每幅人脸图像进行标号，不同人的人脸，标号不同，相同人的人脸，标号相同，
2-2-1.选择基准肤色为参考肤色，对世界范围内的肤色做统计，计算所有统计值与参考肤色的差异，找到ab空间差异的区间，计算色调差异范围；
2-2-2.设定量化分类步长N，N∈Z+(建议取值在10以上)，将色调差异范围均匀分为(N-1)个区间：[0,rmax/N)，[rmax/N,2rmax/N)，…，[(N-1)rmax/N,rmax]；
2-2-3.统计测试库内每个人的肤色值，然后计算到参考值的距离；
2-2-4.基于计算出的距离与色调差区间，找到每个样本的实际肤色区间号，假如肤色接近黑色，则区间号取负，否则不做调整，这样每个样本在原有标号的基础上，增加肤色区间标号信息IDcolor∈[-N+1,N-1]；
2-3.基于情绪的测试库信息标记：
2-3-1.取无情绪状态的平均脸为参考状态，收集典型情绪的数据集，然后分别计算各种情绪下的平均脸；
2-3-2.测试库的情绪评估；
2-4.基于遮挡的测试库分类：
2-4-1.遮挡定义：假定特定人脸模型的关键点数为M，由于遮挡原因，剩余可观察点数为M′，则遮挡率rmask＝M′/M×100％；
2-4-2.提取每幅测试图的人脸模型关键点，逐点计算并判定：每点到模型几何中心的距离dc，该点关于人脸中心垂直方向的轴对称点到模型几何中心的距离dt，该点在训练模型的同名点到训练模型几何中心的距离d′c，以及同名点对应的对称点到训练模型几何中心的距离d′t，假如|d′t-d′c|<δ|dt-dc|，δ∈(0,+∞)，认为该点因为遮挡发生了较大的位置偏移，从而成为异常点；统计得到每幅图像的异常点数量Mo；
2-4-3.根据每幅图像的异常点数量，计算每幅图的遮挡率rm＝(M-Mo/2)/M，按照步骤2-2-2～2-2-4的方式获取遮挡率区间标号；
2-5.基于人脸姿态的测试库分类：以人脸世界坐标的WOV平面与相机坐标的XOY平面夹角作为姿态角做主要信息参数，统计得到每幅图像的姿态角信息θ，按照步骤2-2-2～2-2-4的方式获取姿态角区间标号，这里夹角为负时对区间标号取负，否则不做处理；
2-6.对于得到肤色、情绪、遮挡、姿态量化评估或者分类信息的测试库而言，对需要测试的人脸识别算法先进行一次整体的识别统计，找到识别失败的样本，然后对于识别失败的样本，按照不同的量化与分类维度做汇总统计：
2-6-1.以肤色区间为横坐标，同区间识别失败样本的数量为纵坐标，统计肤色引入识别失败的统计直方图，哪个方向的分布概率越大，代表算法对相对应肤色的敏感度越高；
2-6-2.以不同情绪分类为横坐标，同区间识别失败样本的数量为纵坐标，统计情绪引入识别失败的统计直方图，哪个情绪下的失败分布概率越大，代表算法对相对应情绪的敏感度越高；
2-6-3.以不同遮挡等级分类为横坐标，同区间识别失败样本的数量为纵坐标，统计遮挡引入识别失败的统计直方图，哪个遮挡等级的分布概率越大，代表算法对相对应遮挡的敏感度越高，正常状态下，遮挡等级越高，算法性能越差；
2-6-4.以不同姿态等级分类为横坐标，同区间识别失败样本的数量为纵坐标，统计姿态引入识别失败的统计直方图，哪个姿态等级的分布概率越大，代表算法对相对应姿态的敏感度越高，正常状态下，姿态等级越高，算法性能越差；
2-7.对其他要测试的算法均进行步骤2-6，得到所有算法对不同目标质量参量的敏感度结果，在相同条件下：基于肤色、情绪状态的误识别直方图分布越广，算法对肤色越敏感；同遮挡、姿态等级下，误识别直方图图像数量越少，算法对遮挡、姿态的鲁棒性越高；
基于非目标相关的人脸识别评估方法包括以下步骤：
3-1.在测试人脸库存在的情况下，对人脸库做质量属性模型化分类，分类的对象包括：噪声、模糊度、对比度与目标分辨率；
3-2.基于噪声的测试库分类：
3-2-1.对测试库中的任意图像做一次图像恢复，还原不包含噪声的图像，利用恢复后的图像与原图做差，保留的差值即噪声值；
3-2-2.统计噪声能量，计算3-2-1的差值二范数；
3-2-3.统计原图能量，计算3-2-1的恢复后图像的二范数；
3-2-4.计算图像信噪比＝20log(原图能量/噪声能量)；
3-2-5.重复进行步骤3-2-1～3-2-4，计算出所有图像的信噪比信息snr，然后对信噪比做最大值与最小值统计，得到信噪比取值范围，对整个范围做固定步长的分区，得到不同的信噪比区间，然后找到所有图信噪比所在区间的标号；
3-3.基于模糊度的测试库信息标记：
3-3-1.对测试库中的任意图像做一次图像恢复，还原清晰的图像，计算原图与恢复后图像的傅里叶变换，然后相除，得到退化函数的频域表示；
3-3-2.统计退化函数的低通截止频率；
3-3-2.重复进行步骤3-3-1～3-3-2，计算出所有图像的截止频率信息，然后对记录频率做最大值与最小值统计，得到频率取值范围，对整个范围做固定步长的分区，得到不同的频率区间，然后找到所有图频率所在区间的标号；
3-4.基于对比度的测试库信息标记：
3-4-1.对测试库中的任意图像按照RGB三个通道分拆，然后每个通道、每个方向统计对比度；
3-4-2.计算出所有图像的对比度信息，然后对对比度做最大值与最小值统计，得到对比度取值范围，对整个范围做固定步长的分区，得到不同的对比度区间，然后找到所有图对比度所在区间的标号；
3-5.基于分辨率的测试库信息标记：
3-5-1.对测试库中的任意图像记录人脸识别区域，然后统计区域整体像素数；
3-5-2.统计出所有图像的目标像素数量信息，对目标像素数做最大值与最小值统计，得到目标像素数取值范围，对整个范围做固定步长的分区，得到不同的目标像素数区间，然后找到所有图目标像素数所在区间的标号；
3-6.对于得到噪声、模糊度、对比度量化评估或者分类信息的测试库而言，对需要测试的人脸识别算法先进行一次整体的识别统计，找到识别失败的样本，然后对于识别失败的样本，按照不同的量化与分类维度做汇总统计：
3-6-1.以信噪比区间为横坐标，同区间识别失败样本的数量为纵坐标，统计信噪比引入识别失败的统计直方图，正常状态下，信噪比等级越高，算法性能越差；
3-6-2.以不同模糊度分类为横坐标，同区间识别失败样本的数量为纵坐标，统计模糊度引入识别失败的统计直方图，正常状态下，图像模糊等级越高，算法性能越差；
3-6-3.以不同对比度分类为横坐标，同区间识别失败样本的数量为纵坐标，统计对比度引入识别失败的统计直方图，正常状态下，对比度等级越低，算法性能越差；
3-6-4.以不同分辨率分类为横坐标，同区间识别失败样本的数量为纵坐标，统计分辨率引入识别失败的统计直方图，正常状态下，分辨率等级越低，算法性能越差；
3-7.对其他要测试的算法均进行步骤3-6，得到所有算法对不同非目标质量参量的敏感度结果，在相同条件下：同质量参数等级下，误识别直方图图像数量越少，算法鲁棒性越高。
2.根据权利要求1所述的一种基于质量维度的人脸识别算法评估方法，其特征在于：所述步骤2-2-1中，色彩空间取CIE Lab空间，选择基准肤色为参考肤色，肤色定义为Lab空间的ab值，对世界范围内的肤色做ab空间的统计，计算所有统计值与参考肤色的差异，找到ab空间差异的区间，假定ab区间的统计差异分别为[Δamin,Δamax]与[Δbmin,Δbmax]，然后计算色调差异范围令：
3.根据权利要求1所述的一种基于质量维度的人脸识别算法评估方法，其特征在于：所述步骤2-3-1中，典型情绪的数据集包括：微笑、大笑、伤心、沮丧、生气。
4.根据权利要求1所述的一种基于质量维度的人脸识别算法评估方法，其特征在于：所述步骤2-3-2中，测试库的情绪评估方法为：当步骤2-3-1中统计对象每种情绪状态采集样本数量在万级时，利用基于CNN网络的分类做端对端评估，典型的分类网络是ResNet、InceptionV3；当步骤2-3-1统计对象数量不满足时，按照特定的AAM或者ASM人脸模型，提取库里所有人脸的模型描述，与对应的各种情绪下的平均脸模型做模型匹配，模型匹配的方法是基于欧式距离的关键点匹配，给出每幅人脸对应的情绪标签IDemotion＝{正常,微笑,大笑,伤心,沮丧,生气}。
5.根据权利要求1所述的一种基于质量维度的人脸识别算法评估方法，其特征在于：所述步骤2-6中的识别统计方法为计算计算识别率，识别率＝识别正确样本数量/整体样本数量，识别错误的样本即识别失败样本，具体表现是提供的人员标号与识别结果标号不一致。
6.根据权利要求1所述的一种基于质量维度的人脸识别算法评估方法，其特征在于：所述步骤3-2-1中对图像做恢复的方法包括：去噪自编码和边缘自适应滤波方法。
7.根据权利要求1所述的一种基于质量维度的人脸识别算法评估方法，其特征在于：所述步骤3-3-1中对图像恢复的方法包括：超分辨率和去模糊算法。
8.根据权利要求1所述的一种基于质量维度的人脸识别算法评估方法，其特征在于：所述步骤3-4-1中，计算对比度的方法是基于灰度共生矩阵的统计方法，基于灰度共生矩阵计算每个通道的比对度，以最高的对比度结果为该幅图的对比度。
CN201910633812.2A 2019-07-15 2019-07-15 一种基于质量维度的人脸识别算法评估方法 Active CN110378324B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910633812.2A CN110378324B (zh) 2019-07-15 2019-07-15 一种基于质量维度的人脸识别算法评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910633812.2A CN110378324B (zh) 2019-07-15 2019-07-15 一种基于质量维度的人脸识别算法评估方法

Publications (2)

Publication Number Publication Date
CN110378324A true CN110378324A (zh) 2019-10-25
CN110378324B CN110378324B (zh) 2023-01-03

Family

ID=68253074

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910633812.2A Active CN110378324B (zh) 2019-07-15 2019-07-15 一种基于质量维度的人脸识别算法评估方法

Country Status (1)

Country Link
CN (1) CN110378324B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110991314A (zh) * 2019-11-28 2020-04-10 北京以萨技术股份有限公司 一种基于人脸聚类精准度的测试方法及系统
CN111639298A (zh) * 2020-05-15 2020-09-08 圣点世纪科技股份有限公司 一种生物特征识别算法的跑批检验方法
CN111696064A (zh) * 2020-06-15 2020-09-22 北京金山云网络技术有限公司 图像处理方法、装置、电子设备及计算机可读介质
CN111860091A (zh) * 2020-01-22 2020-10-30 北京嘀嘀无限科技发展有限公司 人脸图像评估方法和系统、服务器和计算机可读存储介质
CN111985348A (zh) * 2020-07-29 2020-11-24 深思考人工智能科技(上海)有限公司 人脸识别方法和系统
CN111982936A (zh) * 2020-08-25 2020-11-24 绍兴市特种设备检测院 一种热交换器管子-管板焊缝的x射线自动检测装置
CN113159220A (zh) * 2021-05-14 2021-07-23 中国人民解放军军事科学院国防工程研究院工程防护研究所 基于随机森林的混凝土侵彻深度经验算法评价方法和装置
CN113537054A (zh) * 2021-07-15 2021-10-22 重庆紫光华山智安科技有限公司 人脸遮挡程度计算方法、装置、电子设备及计算机可读存储介质
WO2021212725A1 (zh) * 2020-04-21 2021-10-28 烽火通信科技股份有限公司 一种人像识别算法性能评测方法和装置
CN113591767A (zh) * 2021-08-09 2021-11-02 浙江大华技术股份有限公司 图像识别评估值的确定方法及装置、存储介质、电子装置
CN113902008A (zh) * 2021-09-30 2022-01-07 北京百度网讯科技有限公司 一种图像清晰度评估方法、装置及电子设备
CN115422094A (zh) * 2022-11-04 2022-12-02 浙江大华技术股份有限公司 算法自动化测试方法、中心调度设备及可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102693417A (zh) * 2012-05-16 2012-09-26 清华大学 基于异构主动视觉网络的人脸图像样本采集优化方法
CN104881853A (zh) * 2015-05-28 2015-09-02 厦门美图之家科技有限公司 一种基于色彩概念化的肤色矫正方法和系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102693417A (zh) * 2012-05-16 2012-09-26 清华大学 基于异构主动视觉网络的人脸图像样本采集优化方法
CN104881853A (zh) * 2015-05-28 2015-09-02 厦门美图之家科技有限公司 一种基于色彩概念化的肤色矫正方法和系统

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110991314B (zh) * 2019-11-28 2023-11-10 以萨技术股份有限公司 一种基于人脸聚类精准度的测试方法及系统
CN110991314A (zh) * 2019-11-28 2020-04-10 北京以萨技术股份有限公司 一种基于人脸聚类精准度的测试方法及系统
CN111860091B (zh) * 2020-01-22 2025-02-14 北京嘀嘀无限科技发展有限公司 人脸图像评估方法和系统、服务器和计算机可读存储介质
CN111860091A (zh) * 2020-01-22 2020-10-30 北京嘀嘀无限科技发展有限公司 人脸图像评估方法和系统、服务器和计算机可读存储介质
WO2021212725A1 (zh) * 2020-04-21 2021-10-28 烽火通信科技股份有限公司 一种人像识别算法性能评测方法和装置
CN111639298B (zh) * 2020-05-15 2023-06-20 圣点世纪科技股份有限公司 一种生物特征识别算法的跑批检验方法
CN111639298A (zh) * 2020-05-15 2020-09-08 圣点世纪科技股份有限公司 一种生物特征识别算法的跑批检验方法
CN111696064B (zh) * 2020-06-15 2023-08-18 北京金山云网络技术有限公司 图像处理方法、装置、电子设备及计算机可读介质
CN111696064A (zh) * 2020-06-15 2020-09-22 北京金山云网络技术有限公司 图像处理方法、装置、电子设备及计算机可读介质
CN111985348A (zh) * 2020-07-29 2020-11-24 深思考人工智能科技(上海)有限公司 人脸识别方法和系统
CN111985348B (zh) * 2020-07-29 2024-05-10 深思考人工智能科技(上海)有限公司 人脸识别方法和系统
CN111982936A (zh) * 2020-08-25 2020-11-24 绍兴市特种设备检测院 一种热交换器管子-管板焊缝的x射线自动检测装置
CN111982936B (zh) * 2020-08-25 2023-10-10 绍兴市特种设备检测院 一种热交换器管子-管板焊缝的x射线自动检测装置
CN113159220A (zh) * 2021-05-14 2021-07-23 中国人民解放军军事科学院国防工程研究院工程防护研究所 基于随机森林的混凝土侵彻深度经验算法评价方法和装置
CN113537054A (zh) * 2021-07-15 2021-10-22 重庆紫光华山智安科技有限公司 人脸遮挡程度计算方法、装置、电子设备及计算机可读存储介质
CN113591767A (zh) * 2021-08-09 2021-11-02 浙江大华技术股份有限公司 图像识别评估值的确定方法及装置、存储介质、电子装置
CN113902008A (zh) * 2021-09-30 2022-01-07 北京百度网讯科技有限公司 一种图像清晰度评估方法、装置及电子设备
CN115422094A (zh) * 2022-11-04 2022-12-02 浙江大华技术股份有限公司 算法自动化测试方法、中心调度设备及可读存储介质

Also Published As

Publication number Publication date
CN110378324B (zh) 2023-01-03

Similar Documents

Publication Publication Date Title
CN110378324B (zh) 一种基于质量维度的人脸识别算法评估方法
CN110853033B (zh) 基于帧间相似度的视频检测方法和装置
CN104408707B (zh) 一种快速数字成像模糊鉴别与复原图像质量评估方法
CN111191568B (zh) 翻拍图像识别方法、装置、设备及介质
CN101142584A (zh) 面部特征检测的方法
CN108647649A (zh) 一种视频中异常行为的检测方法
CN111709313B (zh) 基于局部和通道组合特征的行人重识别方法
Zhang et al. License plate localization in unconstrained scenes using a two-stage CNN-RNN
CN111178235A (zh) 一种目标数量确定方法、装置、设备及存储介质
CN116910752B (zh) 一种基于大数据的恶意代码检测方法
CN109446894A (zh) 基于概率分割及高斯混合聚类的多光谱图像变化检测方法
CN113965814B (zh) 基于视频会议场景的多会场关键帧提取方法及系统
CN117036737A (zh) 基于信息熵、gms与lc显著检测的特征提取与匹配方法
CN115131714A (zh) 视频图像智能检测分析方法及系统
CN113591705A (zh) 巡检机器人仪表识别系统及方法、存储介质
CN118135258A (zh) 基于多模态的电力设备安全预警方法
CN113743378A (zh) 一种基于视频的火情监测方法和装置
CN113313179A (zh) 一种基于l2p范数鲁棒最小二乘法的噪声图像分类方法
CN110910497B (zh) 实现增强现实地图的方法和系统
CN110349119B (zh) 基于边缘检测神经网络的路面病害检测方法和装置
Promsuk et al. Numerical Reader System for Digital Measurement Instruments Embedded Industrial Internet of Things.
CN115272285A (zh) 基于降采样全景图像数据集的质量评价算法
CN110378275B (zh) 一种基于质量维度的步态识别算法评估方法
CN116109543A (zh) 一种数据快速识别读取方法及装置、计算机可读存储介质
Cai et al. An efficient method for electric meter readings automatic location and recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A Method for Evaluating Face Recognition Algorithms Based on Quality Dimension

Effective date of registration: 20230726

Granted publication date: 20230103

Pledgee: Dalian Branch of Shanghai Pudong Development Bank Co.,Ltd.

Pledgor: YICHENG GAOKE (DALIAN) TECHNOLOGY Co.,Ltd.

Registration number: Y2023980049989

PC01 Cancellation of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Granted publication date: 20230103

Pledgee: Dalian Branch of Shanghai Pudong Development Bank Co.,Ltd.

Pledgor: YICHENG GAOKE (DALIAN) TECHNOLOGY Co.,Ltd.

Registration number: Y2023980049989

PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A method for evaluating facial recognition algorithms based on quality dimension

Granted publication date: 20230103

Pledgee: Dalian Branch of Shanghai Pudong Development Bank Co.,Ltd.

Pledgor: YICHENG GAOKE (DALIAN) TECHNOLOGY Co.,Ltd.

Registration number: Y2024980038970