CN107832802A - 基于人脸比对的人脸图像质量评价方法及装置 - Google Patents

基于人脸比对的人脸图像质量评价方法及装置 Download PDF

Info

Publication number
CN107832802A
CN107832802A CN201711180270.5A CN201711180270A CN107832802A CN 107832802 A CN107832802 A CN 107832802A CN 201711180270 A CN201711180270 A CN 201711180270A CN 107832802 A CN107832802 A CN 107832802A
Authority
CN
China
Prior art keywords
face
image
quality
human face
quality score
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711180270.5A
Other languages
English (en)
Inventor
曾建平
苏静静
李娇
王正
班华忠
李志国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhi Xinyuandong Science And Technology Ltd
Original Assignee
Beijing Zhi Xinyuandong Science And Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhi Xinyuandong Science And Technology Ltd filed Critical Beijing Zhi Xinyuandong Science And Technology Ltd
Priority to CN201711180270.5A priority Critical patent/CN107832802A/zh
Publication of CN107832802A publication Critical patent/CN107832802A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了基于人脸比对的人脸图像质量评价方法，该方法包括：输入待处理图像；检测待处理图像中的人脸区域，并对人脸区域的位置进行标记；将标记好的人脸样本图像进行反复训练，获取训练好的图像质量评价模型；采用训练好的图像质量评价模型对待处理图像中的人脸区域进行打分，根据人脸图像质量评价的分值进行筛选，并输出筛选后的结果图像。与现有的人脸图像质量评价方法相比，本发明的基于人脸比对的人脸图像质量评价方法，通过人脸比对得到的相似度，作为人脸图像质量的衡量标准，达到提高比对成功率的同时减少比对人脸图像数量的目的。

Description

基于人脸比对的人脸图像质量评价方法及装置
技术领域
本发明涉及图像处理、视频监控以及卷积神经网络，特别涉及基于人脸比对的人脸图像质量评价方法及装置。
背景技术
现有的人脸图像质量评价方法主要是结合人脸图像的多种属性评价其质量，包括人脸姿态、遮挡、光照和图像模糊的属性，首先通过机器学习方法计算这些属性值，然后基于人脸的多个属性值使用基于规则的方法排除质量较差的人脸图像。做人脸图像质量评价的主要目的是提高后续人脸比对的成功率，同时减少参与比对的人脸图像，但是现有的人脸图像质量评价方法并没有考虑人脸比对的性能，它所评价的质量较好的人脸图像在进行人脸比对时准确率并不一定很高，另外一些评价规则的设计也有较强的主观性。
为解决现有人脸图像质量评价方法所存在的问题，本发明提出一种基于人脸比对的人脸图像质量评价方法。人脸比对计算两张人脸图像的相似度，如果相似度大于某个阈值则为同一身份的人脸，否则不是。这个相似度阈值选取平衡了正确识别率和错误识别率，因此人脸比对得到的相似度就可以作为人脸图像质量的衡量标准，如果人脸图像质量评价方法预测的质量值与人脸比对的相似度有较强的相关性，则可以达到提高比对成功率同时减少比对人脸图像的目的。
综上所述，目前需要提出一种能够有效减少人脸比对数量的人脸质量评价方法。
发明内容
有鉴于此，本发明的主要目的在于提高人脸比对的成功率，且减少人脸比对人脸图像的数量。
为达到上述目的，按照本发明的第一个方面，提供了基于人脸比对的人脸图像质量评价方法，该方法包括：
第一步骤，输入待处理图像；
第二步骤，检测待处理图像中的人脸区域，并对人脸区域的位置进行标记；
第三步骤，将标记好的人脸样本图像进行反复训练，获取训练好的图像质量评价模型；
第四步骤，采用训练好的图像质量评价模型对待处理图像中的人脸区域进行打分，根据人脸图像质量评价的分值进行筛选，并输出筛选后的结果图像。
进一步地，所述第一步骤中所述待处理图像为至少一帧的场景图像。
进一步地，所述第三步骤包括：
人脸样本图像输入步骤：输入M个身份的N张人脸样本图像，并对人脸样本图像中的人脸区域的位置进行标记；
人脸样本图像选取步骤：对每个身份选取Id_Th个标准人脸样本图像作为人脸参考图像，将剩余的人脸样本图像作为人脸探测图像，所述Id_Th为标准人脸样本图像的数量；
相似度计算步骤：采用K种人脸比对方法，分别计算每个人脸探测图像与第j个人脸参考图像的相似度fsimkj，0≤k≤K，0≤j≤R，所述k为第k种人脸比对方法，所述K为采用的人脸比对方法的数量，所述R为每个身份的人脸参考图像的数量；
人脸探测图像的质量分值计算步骤：统计第k种人脸比对方法下，所有人脸探测图像与第j个人脸参考图像的相似度fsimkj，选取中间值作为第k种人脸比对方法的相似度中值fsimk＝media{fsimkj}，然后计算K个人脸比对方法的相似度中值fsimk的平均值fquality＝mean{fsimk}，将fquality作为人脸探测图像的质量分值；
卷积神经网络训练步骤：根据人脸质量分值标记标准，分别对人脸探测图像、标准人脸样本图像、非人脸的背景图像进行质量分值标记，将标记质量分值的人脸探测图像、标准人脸样本图像、非人脸的背景图像作为训练样本，输入到卷积神经网络中，采用卷积神经网络对训练样本进行反复训练，获取训练好的图像质量评价模型。
进一步地，所述第四步骤包括：
人脸图像质量分值计算步骤：采用训练好的图像质量评价模型，计算待处理图像中的人脸区域的质量分值；
图像筛选步骤：当人脸区域输入的数量≥Im_Th时，跟据人脸区域的质量分值，选出质量分值最高的Im_Th个人脸区域，并输出筛选后的结果图像；当人脸区域输入的数量小于Im_Th时，直接输出人脸区域图像；所述Im_Th为质量分值最高的人脸区域的数量。
按照本发明的另一个方面，提供了基于人脸比对的人脸图像质量评价装置，该装置包括：
图像采集模块，用于输入待处理图像；
人脸检测模块，用于检测待处理图像中的人脸区域，并对人脸区域的位置进行标记；
图像质量评价模型训练模块，用于将标记好的人脸样本图像进行反复训练，获取训练好的图像质量评价模型；
图像筛选模块，用于采用训练好的图像质量评价模型对待处理图像中的人脸区域进行打分，根据人脸图像质量评价的分值进行筛选，并输出筛选后的结果图像。
进一步地，所述图像采集模块中所述待处理图像为至少一帧的场景图像。
进一步地，所述图像质量评价模型训练模块包括：
人脸样本图像输入模块：用于输入M个身份的N个人脸样本图像，并对人脸样本图像中的人脸区域的位置进行标记；
人脸样本图像选取模块：用于对每个身份选取Id_Th个标准人脸样本图像作为人脸参考图像，将剩余的人脸样本图像作为人脸探测图像，所述Id_Th为标准人脸样本图像的数量；
相似度计算模块：用于采用K种人脸比对方法，分别计算每个人脸探测图像与第j个人脸参考图像的相似度fsimkj，0≤k≤K，0≤j≤R，，所述k为第k种人脸比对方法，所述K为采用的人脸比对方法的数量，所述R为每个身份的人脸参考图像的数量；
人脸探测图像的质量分值计算模块：用于统计第k种人脸比对方法下，所有人脸探测图像与第j个人脸参考图像的相似度fsimkj，选取中间值作为第k种人脸比对方法的相似度中值fsimk＝media{fsimkj}，然后计算K个人脸比对方法的相似度中值fsimk的平均值fquality＝mean{fsimk}，将fquality作为人脸探测图像的质量分值；
卷积神经网络训练模块：用于根据人脸质量分值标记标准，分别对人脸探测图像、标准人脸样本图像、非人脸的背景图像进行质量分值标记，将标记质量分值的人脸探测图像、标准人脸样本图像、非人脸的背景图像作为训练样本，输入到卷积神经网络中，采用卷积神经网络对训练样本进行反复训练，获取训练好的图像质量评价模型。
进一步地，所述图像筛选模块包括：
计算质量目标分值模块：用于采用训练好的图像质量评价模型，计算待处理图像中的人脸区域的质量分值；
筛选图像模块：用于当人脸区域输入的数量≥Im_Th时，跟据人脸区域的质量分值，选出质量分值最高的Im_Th个人脸区域，并输出筛选后的结果图像；当人脸区域输入的数量小于Im_Th时，直接输出人脸区域图像；所述Im_Th为质量分值最高的人脸区域的数量。
与现有的卷积神经网络算法优化方法相比，本发明的基于人脸比对的人脸图像质量评价方法，通过人脸比对得到的相似度，作为人脸图像质量的衡量标准，达到提高比对成功率的同时减少比对人脸图像数量的目的。
附图说明
图1示出了按照本发明的基于人脸比对的人脸图像质量评价方法的流程图。
图2示出了按照本发明的基于人脸比对的人脸图像质量评价装置的框架图。
具体实施方式
为使贵审查员能进一步了解本发明的结构、特征及其他目的，现结合所附较佳实施例详细说明如下，所说明的较佳实施例仅用于说明本发明的技术方案，并非限定本发明。
图1给出了按照本发明的基于人脸比对的人脸图像质量评价方法的流程图。如图1所示，按照本发明的基于人脸比对的人脸图像质量评价的方法包括：
第一步骤S1，输入待处理图像；
第二步骤S2，检测待处理图像中的人脸区域，并对人脸区域的位置进行标记；
第三步骤S3，将标记好的人脸样本图像进行反复训练，获取训练好的图像质量评价模型；
第四步骤S4，采用训练好的图像质量评价模型对待处理图像中的人脸区域进行打分，根据人脸图像质量评价的分值进行筛选，并输出筛选后的结果图像。
进一步地，所述第一步骤S1中所述待处理图像为至少一帧的场景图像。实施例，所述场景图像可以通过图像采集设备采集或者外部直接输入。实施例，所述场景图像采集设备可以为现有的图像采集设备或者装置，所述外部可以为图像视频库。
进一步地，所述第二步骤S2中对人脸区域的位置进行标记可以通过现有方法实现。实施例，“王天擎,邢桂芬,江波.基于区域分割的复杂背景中人脸检测与定位[J].《计算机工程与设计》,2004,25(11):2090-2092.”。
进一步地，所述第三步骤S3包括：
人脸样本图像输入步骤S31：输入M个身份的N个人脸样本图像，并对人脸样本图像中的人脸区域的位置进行标记；
人脸样本图像选取步骤S32：对每个身份选取Id_Th个标准人脸样本图像作为人脸参考图像，将剩余的人脸样本图像作为人脸探测图像，所述Id_Th为标准人脸样本图像的数量；
相似度计算S33：采用K种人脸比对方法，分别计算每个人脸探测图像与第j个人脸参考图像的相似度fsimkj，0≤k≤K，0≤j≤R，所述k为第k种人脸比对方法，所述K为采用的人脸比对方法的数量，所述R为每个身份的人脸参考图像的数量；
人脸探测图像的质量分值计算步骤S34：统计第k种人脸比对方法下，所有人脸探测图像与第j个人脸参考图像的相似度fsimkj，选取中间值作为第k种人脸比对方法的相似度中值fsimk＝media{fsimkj}，然后计算K个人脸比对方法的相似度中值fsimk的平均值fquality＝mean{fsimk}，将fquality作为人脸探测图像的质量分值；
卷积神经网络训练步骤S35：将人脸图像质量目标分值和人脸图像输入到卷积神经网络中，采用卷积神经网络对人脸图像和人脸探测图像的质量目标分值进行反复训练。
进一步地，所述标准人脸为正面姿态、光照均匀，且无遮挡、无饰物、无表情的人脸。
进一步地，所述中值为第j个人脸参考图像的相似度fsimkj由大到小排列后，处于相似度数列中间位置的值。
进一步地，所述M的取值范围至少为500，所述N的取值范围至少为10000；例如，M可以为10000，N可以为100000。所述Id_Th的取值范围为1～20；例如Id_Th可以为5或者15。所述K的取值范围至少为1；例如，K可以为5。
进一步地，所述人脸比对方法可以通过现有方法实现。实施例，“吴忠华,沈世镒.基于动态规划算法的人脸比对[J].《计算机工程与应用》,2006,42(33):53-55.”
进一步地，所述人脸质量分值标记标准包括：人脸探测图像的质量分值进行归一化处理，将归一化的质量分值作为对应人脸探测图像的质量分值，将标准人脸样本图像的质量分值标记为1，将非人脸图像的背景图像的质量分值标记为0。
进一步地，所述卷积神经网络对训练样本进行反复训练可以通过现有的基于卷积神经网络的技术实现。
实施例，所述卷积神经网络(Convolutional Neural Network,简称CNN)包括并不限于以下一种或者多种网络的组合：RCNN、SPPNET、Fast-RCNN、Faster-RCNN、YOLO、SSD等。
实施例，所述卷积神经网络包括：五个卷积层、四个池化层和两个全连接层。
进一步地，所述第四步骤S4包括：
人脸图像质量分值计算步骤S41：采用训练好的图像质量评价模型，计算待处理图像中的人脸区域的质量分值；
图像筛选步骤S42：当人脸区域输入的数量≥Im_Th时，跟据人脸区域的质量分值，选出质量分值最高的Im_Th个人脸区域，并输出筛选后的结果图像；当人脸区域输入的数量小于Im_Th时，直接输出人脸区域图像；所述Im_Th为质量分值最高的人脸区域的数量。
进一步地，所述Im_Th的取值范围为1～20；例如，Im_Th可以为5或者10。
实施例，所述筛选后的结果图像可以为筛选后的人脸区域，或者含有筛选后的人脸区域的图像。
图2给出了按照本发明的基于人脸比对的人脸图像质量评价装置的框架图。如图2所示，按照本发明的基于人脸比对的人脸图像质量评价的方法包括：
图像采集模块1，用于输入待处理图像；
人脸检测模块2，用于检测待处理图像中的人脸区域，并对人脸区域的位置进行标记；
图像质量评价模型训练模块3，用于将标记好的人脸样本图像进行反复训练，获取训练好的图像质量评价模型；
图像筛选模块4，用于采用训练好的图像质量评价模型对待处理图像中的人脸区域进行打分，根据人脸图像质量评价的分值进行筛选，并输出筛选后的结果图像。
进一步地，所述图像采集模块1中所述待处理图像为至少一帧的场景图像。实施例，所述场景图像可以通过图像采集设备采集或者外部直接输入。实施例，所述场景图像采集设备可以为现有的图像采集设备或者装置，所述外部可以为图像视频库。
进一步地，所述人脸检测模块中对人脸区域的位置进行标记可以通过现有方法实现。实施例，“王天擎,邢桂芬,江波.基于区域分割的复杂背景中人脸检测与定位[J].《计算机工程与设计》,2004,25(11):2090-2092.”。
进一步地，所述图像质量评价模型训练模块3包括：
人脸样本图像输入模块31：用于输入M个身份的N个人脸样本图像，并对人脸样本图像中的人脸区域的位置进行标记；
人脸样本图像选取模块32：用于对每个身份选取Id_Th个标准人脸样本图像作为人脸参考图像，将剩余的人脸样本图像作为人脸探测图像，所述Id_Th为标准人脸样本图像的数量；
相似度计算模块33：用于采用K种人脸比对方法，分别计算每个人脸探测图像与第j个人脸参考图像的相似度fsimkj，0≤k≤K，0≤j≤R，所述k为第k种人脸比对方法，所述K为采用的人脸比对方法的数量，所述R为每个身份的人脸参考图像的数量；
计算质量目标分值模块34：用于统计第k种人脸比对方法下，所有人脸探测图像与第j个人脸参考图像的相似度fsimkj，选取中间值作为第k种人脸比对方法的相似度中值fsimk＝media{fsimkj}，然后计算K个人脸比对方法的相似度中值fsimk的平均值fquality＝mean{fsimk}，将fquality作为人脸探测图像的质量分值；
卷积神经网络训练模块35：用于根据人脸质量分值标记标准，分别对人脸探测图像、标准人脸样本图像、非人脸的背景图像进行质量分值标记，将标记质量分值的人脸探测图像、标准人脸样本图像、非人脸的背景图像作为训练样本，输入到卷积神经网络中，采用卷积神经网络对训练样本进行反复训练，获取训练好的图像质量评价模型。
进一步地，所述标准人脸为正面姿态、光照均匀，且无遮挡、无饰物、无表情的人脸图像。
进一步地，所述中值为第j个人脸参考图像的相似度fsimkj由大到小排列后，处于相似度数列中间位置的值。
进一步地，所述M的取值范围至少为500，所述N的取值范围至少为10000；例如，M可以为10000，N可以为100000。所述Id_Th的取值范围为1～20；例如Id_Th可以为5或者15。所述K的取值范围至少为1；例如，K可以为5。
进一步地，所述人脸比对方法可以通过现有方法实现。实施例，“吴忠华,沈世镒.基于动态规划算法的人脸比对[J].《计算机工程与应用》,2006,42(33):53-55.”
进一步地，所述人脸质量分值标记标准包括：人脸探测图像的质量分值进行归一化处理，将归一化的质量分值作为对应人脸探测图像的质量分值，将标准人脸样本图像的质量分值标记为1，将非人脸图像的背景图像的质量分值标记为0。
进一步地，所述卷积神经网络对训练样本进行反复训练可以通过现有的基于卷积神经网络的技术实现。
实施例，所述卷积神经网络(Convolutional Neural Network,简称CNN)包括并不限于以下一种或者多种网络的组合：RCNN、SPPNET、Fast-RCNN、Faster-RCNN、YOLO、SSD等。
实施例，所述卷积神经网络包括：五个卷积层、四个池化层和两个全连接层。
进一步地，所述图像筛选模块4包括：
人脸图像质量分值计算模块41：用于采用训练好的图像质量评价模型，计算待处理图像中的人脸区域的质量分值；
图像筛选模块42：当人脸区域输入的数量≥Im_Th时，用于跟据人脸区域的质量分值，选出质量分值最高的Im_Th个人脸区域，并输出筛选后的结果图像；当人脸区域输入的数量小于Im_Th时，直接输出人脸区域图像；所述Im_Th为质量分值最高的人脸区域的数量。
进一步地，所述Im_Th的取值范围为1～20；例如，Im_Th可以为5或者10。
实施例，所述筛选后的结果图像可以为筛选后的人脸区域，或者含有筛选后的人脸区域的图像。
与现有的人脸图像质量评价方法相比，本发明的基于人脸比对的人脸图像质量评价方法，通过人脸比对得到的相似度，作为人脸图像质量的衡量标准，达到提高比对成功率的同时减少比对人脸图像数量的目的。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，应当理解，本发明并不限于这里所描述的实现方案，这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。任何本领域中的技术人员很容易在不脱离本发明精神和范围的情况下进行进一步的改进和完善，因此本发明只受到本发明权利要求的内容和范围的限制，其意图涵盖所有包括在由所附权利要求所限定的本发明精神和范围内的备选方案和等同方案。

Claims (15)

1.基于人脸比对的人脸图像质量评价方法，其特征在于，该方法包括：
第一步骤，输入待处理图像；
第二步骤，检测待处理图像中的人脸区域，并对人脸区域的位置进行标记；
第三步骤，将标记好的人脸样本图像进行反复训练，获取训练好的图像质量评价模型；
第四步骤，采用训练好的图像质量评价模型对待处理图像中的人脸区域进行打分，根据人脸图像质量评价的分值进行筛选，并输出筛选后的结果图像。
2.如权利要求1所述的方法，其特征在于，所述第三步骤包括：
人脸样本图像输入步骤：输入M个身份的N个人脸样本图像，并对人脸样本图像中的人脸区域的位置进行标记；
人脸样本图像选取步骤：对每个身份选取Id_Th个标准人脸样本图像作为人脸参考图像，将剩余的人脸样本图像作为人脸探测图像，所述Id_Th为标准人脸样本图像的数量；
相似度计算步骤：采用K种人脸比对方法，分别计算每个人脸探测图像与第j个人脸参考图像的相似度fsimkj，0≤k≤K，0≤j≤R，所述k为第k种人脸比对方法，所述K为采用的人脸比对方法的数量，所述R为每个身份的人脸参考图像的数量；人脸探测图像的质量分值计算步骤：统计第k种人脸比对方法下，所有人脸探测图像与第j个人脸参考图像的相似度fsimkj，选取中间值作为第k种人脸比对方法的相似度中值fsimk＝media{fsimkj}，然后计算K个人脸比对方法的相似度中值fsimk的平均值fquality＝mean{fsimk}，将fquality作为人脸探测图像的质量分值；
卷积神经网络训练步骤：根据人脸质量分值标记标准，分别对人脸探测图像、标准人脸样本图像、非人脸的背景图像进行质量分值标记，将标记质量分值的人脸探测图像、标准人脸样本图像、非人脸的背景图像作为训练样本，输入到卷积神经网络中，采用卷积神经网络对训练样本进行反复训练，获取训练好的图像质量评价模型。
3.如权利要求2所述的方法，其特征在于，所述标准人脸为正面姿态、光照均匀，且无遮挡、无饰物、无表情的人脸。
4.如权利要求2所述的方法，其特征在于，所述M的取值范围至少为500，所述N的取值范围至少为10000；所述Id_Th的取值范围为1～20；所述K的取值范围至少为1。
5.如权利要求2所述的方法，其特征在于，所述人脸质量分值标记标准包括：人脸探测图像的质量分值进行归一化处理，将归一化的质量分值作为对应人脸探测图像的质量分值，将标准人脸样本图像的质量分值标记为1，将非人脸图像的背景图像的质量分值标记为0。
6.如权利要求2所述的方法，其特征在于，所述卷积神经网络包括并不限于以下一种或者多种网络的组合：RCNN、SPPNET、Fast-RCNN、Faster-RCNN、YOLO、SSD。
7.如权利要求2所述的方法，其特征在于，所述卷积神经网络包括：五个卷积层、四个池化层和两个全连接层。
8.如权利要求1所述的方法，其特征在于，所述第四步骤包括：
人脸图像质量分值计算步骤：采用训练好的图像质量评价模型，计算待处理图像中的人脸区域的质量分值；
图像筛选步骤：当人脸区域输入的数量≥Im_Th时，跟据人脸区域的质量分值，选出质量分值最高的Im_Th个人脸区域，并输出筛选后的结果图像；当人脸区域输入的数量小于Im_Th时，直接输出人脸区域图像；所述Im_Th为质量分值最高的人脸区域的数量。
9.如权利要求8所述的方法，其特征在于，所述Im_Th的取值范围为1～20。
10.基于人脸比对的人脸图像质量评价装置，其特征在于，该装置包括：
图像采集模块，用于输入待处理图像；
人脸检测模块，用于检测待处理图像中的人脸区域，并对人脸区域的位置进行标记；
图像质量评价模型训练模块，用于将标记好的人脸样本图像进行反复训练，获取训练好的图像质量评价模型；
图像筛选模块，用于采用训练好的图像质量评价模型对待处理图像中的人脸区域进行打分，根据人脸图像质量评价的分值进行筛选，并输出筛选后的结果图像。
11.如权利要求10所述的装置，其特征在于，所述图像质量评价模型训练模块包括：
人脸样本图像输入模块：用于输入M个身份的N个人脸样本图像，并对人脸样本图像中的人脸区域的位置进行标记；
人脸样本图像选取模块：用于对每个身份选取Id_Th个标准人脸样本图像作为人脸参考图像，将剩余的人脸样本图像作为人脸探测图像，所述Id_Th为标准人脸样本图像的数量；
相似度计算模块：用于采用K种人脸比对方法，分别计算每个人脸探测图像与第j个人脸参考图像的相似度fsimkj，0≤k≤K，0≤j≤R，所述k为第k种人脸比对方法，所述K为采用的人脸比对方法的数量，所述R为每个身份的人脸参考图像的数量；
人脸探测图像的质量分值计算模块：用于统计第k种人脸比对方法下，所有人脸探测图像与第j个人脸参考图像的相似度fsimkj，选取中间值作为第k种人脸比对方法的相似度中值fsimk＝media{fsimkj}，然后计算K个人脸比对方法的相似度中值fsimk的平均值fquality＝mean{fsimk}，将fquality作为人脸探测图像的质量分值；
卷积神经网络训练模块：用于根据人脸质量分值标记标准，分别对人脸探测图像、标准人脸样本图像、非人脸的背景图像进行质量分值标记，将标记质量分值的人脸探测图像、标准人脸样本图像、非人脸的背景图像作为训练样本，输入到卷积神经网络中，采用卷积神经网络对训练样本进行反复训练，获取训练好的图像质量评价模型。
12.如权利要求11所述的装置，其特征在于，所述人脸质量分值标记标准包括：人脸探测图像的质量分值进行归一化处理，将归一化的质量分值作为对应人脸探测图像的质量分值，将标准人脸样本图像的质量分值标记为1，将非人脸图像的背景图像的质量分值标记为0。
13.如权利要求11所述的装置，其特征在于，所述卷积神经网络包括并不限于以下一种或者多种网络的组合：RCNN、SPPNET、Fast-RCNN、Faster-RCNN、YOLO、SSD。
14.如权利要求11所述的装置，其特征在于，所述卷积神经网络模型包括：五个卷积层、四个池化层和两个全连接层。
15.如权利要求10所述的装置，其特征在于，
人脸图像质量分值计算模块：用于采用训练好的图像质量评价模型，计算待处理图像中的人脸区域的质量分值；
图像筛选模块：用于当人脸区域输入的数量≥Im_Th时，跟据人脸区域的质量分值，选出质量分值最高的Im_Th个人脸区域，并输出筛选后的结果图像；当人脸区域输入的数量小于Im_Th时，直接输出人脸区域图像；所述Im_Th为质量分值最高的人脸区域的数量。
CN201711180270.5A 2017-11-23 2017-11-23 基于人脸比对的人脸图像质量评价方法及装置 Pending CN107832802A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711180270.5A CN107832802A (zh) 2017-11-23 2017-11-23 基于人脸比对的人脸图像质量评价方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711180270.5A CN107832802A (zh) 2017-11-23 2017-11-23 基于人脸比对的人脸图像质量评价方法及装置

Publications (1)

Publication Number Publication Date
CN107832802A true CN107832802A (zh) 2018-03-23

Family

ID=61652452

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711180270.5A Pending CN107832802A (zh) 2017-11-23 2017-11-23 基于人脸比对的人脸图像质量评价方法及装置

Country Status (1)

Country Link
CN (1) CN107832802A (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765407A (zh) * 2018-05-31 2018-11-06 上海依图网络科技有限公司 一种人像图片质量判定方法及装置
CN108764334A (zh) * 2018-05-28 2018-11-06 北京达佳互联信息技术有限公司 人脸图像颜值判断方法、装置、计算机设备及存储介质
CN108829812A (zh) * 2018-06-08 2018-11-16 西安电子科技大学 基于深度学习的云物体库构建方法
CN108852268A (zh) * 2018-04-23 2018-11-23 浙江大学 一种消化内镜图像异常特征实时标记系统及方法
CN108921023A (zh) * 2018-05-31 2018-11-30 上海依图网络科技有限公司 一种确定低质量人像数据的方法及装置
CN109544523A (zh) * 2018-11-14 2019-03-29 北京智芯原动科技有限公司 基于多属性人脸比对的人脸图像质量评价方法及装置
CN109711268A (zh) * 2018-12-03 2019-05-03 浙江大华技术股份有限公司 一种人脸图像筛选方法及设备
CN109886730A (zh) * 2019-01-15 2019-06-14 北京奇艺世纪科技有限公司 投放方法、设备及系统、服务设备及方法、处理设备、介质
CN109948564A (zh) * 2019-03-25 2019-06-28 四川川大智胜软件股份有限公司 一种基于有监督深度学习的人脸图像质量分类和评估方法
WO2019182759A1 (en) * 2018-03-20 2019-09-26 Uber Technologies, Inc. Image quality scorer machine
CN110427888A (zh) * 2019-08-05 2019-11-08 北京深醒科技有限公司 一种基于特征聚类的人脸质量评估方法
WO2019228040A1 (zh) * 2018-05-30 2019-12-05 杭州海康威视数字技术股份有限公司 一种面部图像评分方法及摄像机
CN110580808A (zh) * 2018-06-08 2019-12-17 杭州海康威视数字技术股份有限公司 一种信息处理方法、装置、电子设备及智能交通系统
CN111046953A (zh) * 2019-12-12 2020-04-21 电子科技大学 一种基于相似度比较的图像评价方法
CN111091069A (zh) * 2019-11-27 2020-05-01 云南电网有限责任公司电力科学研究院 一种盲图像质量评价引导的电网目标检测方法及系统
CN111144483A (zh) * 2019-12-26 2020-05-12 歌尔股份有限公司 一种图像特征点过滤方法以及终端
CN113158777A (zh) * 2021-03-08 2021-07-23 佳都新太科技股份有限公司 质量评分方法、质量评分模型的训练方法及相关装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101162500A (zh) * 2006-10-13 2008-04-16 上海银晨智能识别科技有限公司 分区式人脸识别方法
KR100974293B1 (ko) * 2007-01-09 2010-08-06 주식회사 에스원 얼굴 인식 방법 및 시스템
CN104408736A (zh) * 2014-12-12 2015-03-11 西安电子科技大学 基于特征相似性的合成人脸画像质量评价方法
CN105631439A (zh) * 2016-02-18 2016-06-01 北京旷视科技有限公司 人脸图像处理方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101162500A (zh) * 2006-10-13 2008-04-16 上海银晨智能识别科技有限公司 分区式人脸识别方法
KR100974293B1 (ko) * 2007-01-09 2010-08-06 주식회사 에스원 얼굴 인식 방법 및 시스템
CN104408736A (zh) * 2014-12-12 2015-03-11 西安电子科技大学 基于特征相似性的合成人脸画像质量评价方法
CN105631439A (zh) * 2016-02-18 2016-06-01 北京旷视科技有限公司 人脸图像处理方法和装置

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10916003B2 (en) 2018-03-20 2021-02-09 Uber Technologies, Inc. Image quality scorer machine
WO2019182759A1 (en) * 2018-03-20 2019-09-26 Uber Technologies, Inc. Image quality scorer machine
CN108852268A (zh) * 2018-04-23 2018-11-23 浙江大学 一种消化内镜图像异常特征实时标记系统及方法
CN108764334A (zh) * 2018-05-28 2018-11-06 北京达佳互联信息技术有限公司 人脸图像颜值判断方法、装置、计算机设备及存储介质
CN110634116A (zh) * 2018-05-30 2019-12-31 杭州海康威视数字技术股份有限公司 一种面部图像评分方法及摄像机
CN110634116B (zh) * 2018-05-30 2022-04-05 杭州海康威视数字技术股份有限公司 一种面部图像评分方法及摄像机
WO2019228040A1 (zh) * 2018-05-30 2019-12-05 杭州海康威视数字技术股份有限公司 一种面部图像评分方法及摄像机
CN108921023A (zh) * 2018-05-31 2018-11-30 上海依图网络科技有限公司 一种确定低质量人像数据的方法及装置
CN108765407A (zh) * 2018-05-31 2018-11-06 上海依图网络科技有限公司 一种人像图片质量判定方法及装置
CN110580808B (zh) * 2018-06-08 2021-03-23 杭州海康威视数字技术股份有限公司 一种信息处理方法、装置、电子设备及智能交通系统
CN108829812A (zh) * 2018-06-08 2018-11-16 西安电子科技大学 基于深度学习的云物体库构建方法
CN108829812B (zh) * 2018-06-08 2020-04-07 西安电子科技大学 基于深度学习的云物体库构建方法
CN110580808A (zh) * 2018-06-08 2019-12-17 杭州海康威视数字技术股份有限公司 一种信息处理方法、装置、电子设备及智能交通系统
CN109544523B (zh) * 2018-11-14 2021-01-01 北京智芯原动科技有限公司 基于多属性人脸比对的人脸图像质量评价方法及装置
CN109544523A (zh) * 2018-11-14 2019-03-29 北京智芯原动科技有限公司 基于多属性人脸比对的人脸图像质量评价方法及装置
CN109711268A (zh) * 2018-12-03 2019-05-03 浙江大华技术股份有限公司 一种人脸图像筛选方法及设备
CN109886730A (zh) * 2019-01-15 2019-06-14 北京奇艺世纪科技有限公司 投放方法、设备及系统、服务设备及方法、处理设备、介质
CN109948564A (zh) * 2019-03-25 2019-06-28 四川川大智胜软件股份有限公司 一种基于有监督深度学习的人脸图像质量分类和评估方法
CN110427888A (zh) * 2019-08-05 2019-11-08 北京深醒科技有限公司 一种基于特征聚类的人脸质量评估方法
CN111091069A (zh) * 2019-11-27 2020-05-01 云南电网有限责任公司电力科学研究院 一种盲图像质量评价引导的电网目标检测方法及系统
CN111046953A (zh) * 2019-12-12 2020-04-21 电子科技大学 一种基于相似度比较的图像评价方法
CN111046953B (zh) * 2019-12-12 2022-06-21 电子科技大学 一种基于相似度比较的图像评价方法
CN111144483A (zh) * 2019-12-26 2020-05-12 歌尔股份有限公司 一种图像特征点过滤方法以及终端
CN111144483B (zh) * 2019-12-26 2023-10-17 歌尔股份有限公司 一种图像特征点过滤方法以及终端
CN113158777A (zh) * 2021-03-08 2021-07-23 佳都新太科技股份有限公司 质量评分方法、质量评分模型的训练方法及相关装置

Similar Documents

Publication Publication Date Title
CN107832802A (zh) 基于人脸比对的人脸图像质量评价方法及装置
CN105631439B (zh) 人脸图像处理方法和装置
CN106920224B (zh) 一种评估拼接图像清晰度的方法
CN105160318B (zh) 基于面部表情的测谎方法及系统
CN108875600A (zh) 一种基于yolo的车辆信息检测和跟踪方法、装置及计算机存储介质
CN108304820A (zh) 一种人脸检测方法、装置及终端设备
CN107563999A (zh) 一种基于卷积神经网络的芯片缺陷识别方法
CN108334899A (zh) 基于手骨x光片骨骼和关节量化信息集成的骨龄评估方法
CN106951825A (zh) 一种人脸图像质量评估系统以及实现方法
CN110378232B (zh) 改进的ssd双网络的考场考生位置快速检测方法
CN108921051A (zh) 基于循环神经网络注意力模型的行人属性识别网络及技术
CN107169638A (zh) 基于业务受理与评价的综合绩效量化处理方法、装置
CN109214373A (zh) 一种用于考勤的人脸识别系统及方法
CN105469376B (zh) 确定图片相似度的方法和装置
CN105989330A (zh) 一种图片检测方法及设备
CN109858506A (zh) 一种面向卷积神经网络分类结果的可视化算法
CN110322438A (zh) 结核分枝杆菌自动检测模型的训练方法及自动检测系统
CN106779292A (zh) 一种基于人脸识别为客户提供服务的方法及装置
CN104281835B (zh) 基于局部敏感的核稀疏表示的人脸识别方法
CN108596274A (zh) 基于卷积神经网络的图像分类方法
CN108961308A (zh) 一种漂移检测的残差深度特征目标跟踪方法
CN110503081A (zh) 基于帧间差分的暴力行为检测方法、系统、设备及介质
CN110009628A (zh) 一种针对连续二维图像中多形态目标的自动检测方法
CN107992783A (zh) 人脸图像处理方法及装置
CN108596087A (zh) 一种基于双网络结果的驾驶疲劳程度检测回归模型

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180323

RJ01 Rejection of invention patent application after publication