CN104657714B - 光照对称性与全局光照强度融合的无参考人脸光照评价方法 - Google Patents

光照对称性与全局光照强度融合的无参考人脸光照评价方法 Download PDF

Info

Publication number
CN104657714B
CN104657714B CN201510068009.0A CN201510068009A CN104657714B CN 104657714 B CN104657714 B CN 104657714B CN 201510068009 A CN201510068009 A CN 201510068009A CN 104657714 B CN104657714 B CN 104657714B
Authority
CN
China
Prior art keywords
illumination
image
pixel
value
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510068009.0A
Other languages
English (en)
Other versions
CN104657714A (zh
Inventor
李伟红
尹渺源
龚卫国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN201510068009.0A priority Critical patent/CN104657714B/zh
Publication of CN104657714A publication Critical patent/CN104657714A/zh
Application granted granted Critical
Publication of CN104657714B publication Critical patent/CN104657714B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明是一种光照对称性与全局光照强度融合的无参考光照评价方法。首先，将人脸划分为对称的左右两半，用亮度指标LQI计算得到光照对称性质量矩阵，提出采用相关性加权的方法求得光照对称值。然后，提出根据人眼对灰度的敏感性来确定对人眼产生激励的像素灰度范围，由此统计该范围内的像素占整幅图像总像素的比例，定义其为人脸图像的全局光照强度，将其作为权值。最后，提出以乘积的方式融合光照对称性与全局光照强度求得人脸图像的无参考光照质量值。实验结果表明：本发明是一种能够有效、快速地无参考人脸光照评价方法，该方法复杂度较低，计算时间快，适用于人脸识别系统有效人脸的筛选。

Description

光照对称性与全局光照强度融合的无参考人脸光照评价方法
技术领域
本发明属于图像处理技术领域，特别涉及一种用于评价人脸图像光照变化的无参考评价方法，该方法通过对人脸图像的光照无参考评价，筛选出可用于人脸识别系统的有效人脸图像，以提高人脸识别的效率。
背景技术
人脸识别系统对输入的人脸图像质量非常敏感。当输入的人脸图像出现光照变化、脸部旋转、画面模糊、表情夸张等情况，其识别率会显著下降。如果在人脸图像检测阶段，建立一个对人脸图像质量的评价机制，则可根据评价结果对采集到的人脸图像进行相应的处理，即质量好的人脸图像(也称为有效人脸)才允许进入人脸识别环节。可见，人脸图像质量的评价，对人脸识别会产生积极的作用。
图像质量评价最初针对的是自然图像评价，其评价方法有主观评价和客观评价。主观评价是通过测试者对图像进行观察得到的评分进行判定，用户是人。客观图像质量评价是通过计算机模拟人眼系统对图像进行评价，其评价方式包括全参考评价、半参考评价和无参考评价。客观评价可嵌入到实际的人脸识别系统中，实现高效、实时的图像质量评价。
全参考和半参考评价由于需要标准图像，即用质量好的图像作为参考图像，与需要评价的图像进行比较，而实际中又很难获取到标准图像或者获取标准图像的代价很大，所以全参考和半参考评价具有一定的限制性。为此，对图像质量的无参考客观评价的探索则具有很大的实用价值。
人脸图像质量评价是图像评价的一个典型实例。关于人脸图像质量及其评价的标准也被国际标准组织讨论通过，其中ISO/IEC JTC 1/SC 37N 19794-5-2006.BiometricData Interchange Format-Part 5:Face Image Data首先对人脸图像的质量进行了定义，并对标准图像做了规定。ISO/IEC JTC I/SC 37N 29794-5-2010Biometric SampleQuality-Part5:Face Image Data是对ISO/IEC JTC 1/SC 37N 19794-5的补充，主要对影响人脸图像质量的因素进行了归类和提出了一些根据相关因素评价人脸图像质量的思路。在对人脸图像质量的分析中，标准对影响人脸图像质量的因素进行了分类。标准认为在人脸识别中光照是影响人脸图像质量及识别很重要的一个因素，同时标准对人脸的左右半脸进行了统计差异性分析。当需要分析的图像是二维肖像图像，标准认为人脸的左右对称性可以用于评价光照质量。Moses在“Y.Moses,Y.Adini,and S.Ullman.Face Recognition:The problem of compensating for changes in illumination direction.IEEE PAMI,1997,19(7):721-732.”中的研究表明，光照的对称性和光照强度是影响人脸识别效果的一个重要的因素。FERET(Face Recognition Technology)“P.J.Phillips,H.Moon,S.A.Rizvi,P.J.Rauss.The FERET evaluation methodology for face recognitionalgorithms.IEEE PAMI,2000,22(10):1090-1104.”的有关测试结果也说明，人脸识别系统的性能在很大程度上受环境光照变化的影响。Zhou Wang,Alan C.Bovik在研究论文“Auniversal Image Quality Index.IEEE Signal Processing Letters.2002,9(3):81-84”中提出了一种无参考图像质量指标(Universal Image Quality Index，UQI)用于评价人脸图像的光照失真。其中，UQI指标数学定义简单，具有一定的单调性。但该方法是一种全参考评价方法，难以在实际的人脸识别系统中应用。“Gao XF,Liu R,Stan Z.Li,Zhang P R.Standardization of Face Image Sample Quality.InProceedings of IAPR/EEE International Conference on Biometrics,(ICB-2007).Seoul,Korea,August 2007”提出一种基于人脸对称性的光照评价方法，该方法用左右脸局部直方图距离来度量人脸非对称性。该方法考虑了人脸图像光照的对称性，但没有考虑光照强度。在UQI指标中，为亮度质量指标(Luminance Quality Index，LQI)，该方法为全参考评价方法。Abboud A J,Sellahewa H,Jassim S.A等人在研究论文“Quality based approach for adaptive face recognition[C].SPIE Defense,Security,and Sensing.International Society for Optics and Photonics,2009,7351(5):1-10”中，根据人脸对称性，用LQI评价人脸图像光照质量，提出对称性自适应局部质量指标(Symmetrical Adaptive Local Quality Index，SALQI)。该方法为无参考评价方法，但仅考虑了光照的对称性，并不能兼顾光照强度，其评价结果不能很好的反映出光照质量最差与较差的人脸图像。
发明内容
鉴于人脸图像的光照质量评价的实际意义及目前的研究现状，本发明从无参考图像评价的角度出发，提出了一种光照对称性与全局光照强度融合的无参考人脸光照评价方法(No-reference Facial Image Illumination Evaluation,NFIE)，从整体上评价人脸图像的综合光照质量，该方法能快速、有效地评价受光照影响的人脸图像的质量，根据光照评价结果可剔除受光照影响严重的人脸图像，保留可用于人脸识别的有效人脸，提高人脸识别的识别率。
图像的全局光照强度可以通过直方图统计来进行评估，而人脸具有轴对称性的特点。Gao等人与相关标准(ISO/IEC JTC I/SC 37N 29794-5)认为面部器官如眼睛、眉毛、嘴巴、鼻子等具有很强的对称性，通过两眼之前的中线，可以将人脸分为左右两部分，如图3所示。本发明结合人脸的对称性和LQI，同时根据人眼对灰度的敏感性确定人脸图像中对人眼产生有效激励的灰度范围，采用权值分配的方式同时考虑光照的对称性与光照的全局强度，可以较好地实现无参考的评价人脸图像的综合光照质量，即光照对称性与光照强度最好的人脸图像的光照质量为最好。其实现步骤如下：
①输入正面的人脸图像，对图像滤波，消除噪声对图像的影响，得到滤波后的图像I；
②根据ISO/IEC JTC I/SC 37N 29794-5提及的人脸具有对称性，将人脸图像I划分为左右对称的两部分人脸IL、IR；
③为了与左半脸形成对比，将右半部分人脸IR水平翻转为IFR；
④将左半部分人脸IL作为参考图像、IFR为测试对象，用亮度评价指标LQI分块计算得到质量分布矩阵QM，然后采用相关性加权的方法求得光照对称值Qs；
⑤根据人眼对灰度的敏感性，确定对人眼产生激励的像素灰度范围，统计人眼主要感兴趣的像素值的数量，求其占整幅图像像素值的比例，其可反映图像的光照强度QI，并将其作为权值。
⑥结合光照对称值Qs与光照强度QI，得到无参考光照评价值QNL。
人脸图像光照的变化包括对称性与光照强度，为了从整体上评价人脸图像受光照影响的程度，本发明提出采用乘积的方式，融合光照对称值Qs与光照强度QI，得到无参考光照评价值QNL：(QNL∈[0,1])。QNL值越接近1表示人脸图像的光照质量越好，QNL值越接近0则表示人脸图像的光照质量越差。
与现有技术相比，本发明的优点是：
(1)本发明为无参考人脸光照评价方法，因此，不需要标准的人脸图像作为参考图像，输出的结果为量值，可以在一定程度上较好地评价人脸图像受光照影响的情况。所发明的方法，复杂度较低、计算速度快。
(2)本方法考虑了人眼对灰度敏感的特性，采用权值分配的方式，融合了光照的对称性与光照强度，符合主观评价。尤其在区分人脸图像正常光照与非正常光照上更有效，从整体上反映出了人脸图像的整体光照质量。
附图说明
图1：本发明方法的流程图。
图2：输入图像滤波前后的对比。
图3：人脸图像划分为左右对称两半人脸和翻转示意图。
图4：Extended Yale B库中不同光照角度人脸图像样例与本发明光照质量评价结果对比。
图5：采用本发明剔除光照质量较差的人脸图像前后的识别结果比较。
具体实施方式
结合附图1、图2和图3对本发明的具体实施方式进行详细阐述如下：
1、输入人脸图像，采用高斯滤波器对图像滤波，消除噪声对图像的影响，得到滤波后的图像I，如图2所示；
2、对人脸图像I，如图3所示，从人眼双眼连线之间垂直中线把人脸划分为对称的左右两半部分人脸IL、IR，然后将右半部分人脸水平翻转得到IFR。
3、将原有的左半人脸IL当作参考图像，翻转后的右半人脸IFR当作测试图像，从左上角开始，采用8×8的滑动窗口用LQI指标计算各个块的QL值，由此得到一个光照质量分布矩阵QM，再采用相关性加权的方法计算得到表示整幅人脸图像的光照对称值Qs。
具体做法是：将左半部分人脸IL当作参考图像，翻转后的右半人脸IFR当作测试图像，从左上角开始，采用8×8的滑动窗口用LQI指标计算各个块的QL值，由此得到质量分布矩阵QM，然后采用相关性加权的方法求整幅人脸图像的光照对称值Qs，
其中，亮度评价指标为：μx、μy分别代表参考图像与测试图像的灰度均值，分别代表参考图像与测试图像的方差；
本发明光照对称值定义为：其中表示第k个块的质量值，wk表示第k个块的权值；
本发明提出的相关性加权方法的权值为：wk＝gk(xi,yi)，gk(x,y)＝ρk(x,y)+c，表示两幅图像第k个块的相关系数，Xi、Yi为第k个块中的像素，为第k个块中的像素均值；c为一个较小的常数。
4、根据人眼灰度敏感性，确定对人眼产生有效激励的像素范围为：63～243。统计整幅图像中在该像素范围的个数M。计算该范围内的像素M占整幅图像总像素数的比例，即m、n表示图像I的宽高，QI即为人脸图像的光照强度。
由于人眼对不同灰度具有不同的敏感性，一般情况下对中等灰度敏感最佳，而对低灰度和高灰度敏感下降。根据各像素灰度的非线性特性，将人眼对灰度的敏感性近似定义为：
其中其中f(i,j)代表像素点(i,j)的灰度值；S(i,j)代表人眼对像素点(i,j)的灰度敏感性，S(i,j)∈(0,1)。
根据灰度敏感性确定对人眼产生有效激励的像素值范围，统计在该像素范围内的像素数目M，求其占整幅图像像素值的比例，其比例可反映图像的光照强度，本发明提出将其作为权值，提出人脸图像的全局光照强度计算公式为：m、n表示图像I的宽高。
5、人脸图像光照的变化包括对称性与光照强度，为了从整体上评价人脸图像受光照影响的程度，本发明提出采用乘积的方式，将Qs与QI结合起来，采用乘积的方式，融合光照对称性与强度，计算得到人脸图像的无参考光照质量值(QNL∈[0,1])。QNL值越接近1表示人脸图像的光照质量越好，QNL值越接近0则表示人脸图像的光照质量越差。
本发明方法的计算机仿真分析：
图4所示为Extended Yale B库中具有不同光照角度的人脸图像样例与本发明方法的评价结果对比。UQI是图像质量评价比较经典的一种全参考评价方法，SALQI是基于人脸对称性用LQI计算人脸光照的无参考光照评价方法，在实验中将UQI和SALQI作为比较对象。从实验结果可以看出，本发明提出的采用乘积的方式，融合光照对称性Qs与强度QI得到的光照质量值QNL，解决了光照质量的无参考评价的问题，具有一定的单调性，且符合主观评价；基本上能从整体上反映出人脸图像的综合光照质量，即能区分出光照质量的好坏。
图5采用本发明剔除光照质量较差的人脸图像前后的人脸识别结果比较。人脸识别中的特征提取方法为LDA，分类器为最近邻分类器。为了剔除光照差的人脸图像，本发明中，根据实验，设置光照质量阈值设为0.1。从实验结果可知，经过光照质量评价，剔除光照质量差的人脸图像后，人脸识别系统的识别率得到较大的提高。
实验结果表明：本发明是一种能够有效、快速地无参考人脸光照评价方法，该方法复杂度较低，计算时间快，适用于人脸识别系统有效人脸的筛选。

Claims (3)

1.一种用于评价人脸图像的综合光照质量的无参考光照评价方法，具体方法如下：
①输入正面的人脸图像，对图像滤波，得到滤波后的图像I；
②将人脸图像划分为左右对称的左右两半部分IL、IR；
③将划分好的右半部分人脸IR翻转为IFR；
④将左半部分人脸IL作为参考图像、IFR为测试对象，用亮度评价指标分块计算得到质量分布矩阵，采用相关性加权的方法求得光照对称值Qs；
⑤根据人眼对灰度的敏感性，确定对人眼产生激励的像素灰度范围，统计人眼主要感兴趣的像素值的数量，求其占整幅图像像素值的比例，其可反映图像的光照强度QI，并将其作为权值；
⑥结合光照对称值Qs与光照强度QI，得到无参考光照评价值QNL；
所述步骤④的具体方法为：将左半部分人脸IL当作参考图像，翻转后的右半人脸IFR当作测试图像，从左上角开始，采用8×8的滑动窗口用LQI指标计算各个块的QL值，由此得到质量分布矩阵QM，然后采用相关性加权的方法求整幅人脸图像的光照对称值Qs；
其中，亮度评价指标为：μx、μy分别代表参考图像与测试图像的灰度均值，分别代表参考图像与测试图像的方差；
光照对称值定义为：其中代表第k个块用LQI计算得到的QL值，wk表示第k个块的权值；
相关性加权方法的权值为：wk＝gk(xi，yi)，gk(x，y)＝ρk(x，y)+c，
表示两幅图像第k个块的相关系数，Xi、Yi为第k个块中的像素，为第k个块中的像素均值；c为一个较小的常数。
2.根据权利要求1所述的用于评价人脸图像的综合光照质量的无参考光照评价方法，其特征在于，所述步骤⑤的具体方法为：
将人眼对灰度的敏感性近似定义为：
其中f(i,j)代表像素点(i,j)的灰度值；S(i,j)代表人眼对像素点(i,j)的灰度敏感性，S(i,j)∈(0,1)；
根据灰度敏感性确定对人眼产生有效激励的像素值范围，统计在该像素范围内的像素数目M，求其占整幅图像像素值的比例，其比例可反映图像的光照强度，将其作为权值，采用全局光照强度计算公式：m、n表示图像I的宽高。
3.根据权利要求1所述的用于评价人脸图像的综合光照质量的无参考光照评价方法，其特征在于，所述步骤⑥的具体方法：采用乘积的方式，融合光照对称值Qs与光照强度QI，求得最终的无参考光照评价值为QNL值越接近1表示人脸图像的光照质量越好，QNL值越接近0则表示人脸图像的光照质量越差。
CN201510068009.0A 2015-02-09 2015-02-09 光照对称性与全局光照强度融合的无参考人脸光照评价方法 Active CN104657714B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510068009.0A CN104657714B (zh) 2015-02-09 2015-02-09 光照对称性与全局光照强度融合的无参考人脸光照评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510068009.0A CN104657714B (zh) 2015-02-09 2015-02-09 光照对称性与全局光照强度融合的无参考人脸光照评价方法

Publications (2)

Publication Number Publication Date
CN104657714A CN104657714A (zh) 2015-05-27
CN104657714B true CN104657714B (zh) 2017-12-26

Family

ID=53248815

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510068009.0A Active CN104657714B (zh) 2015-02-09 2015-02-09 光照对称性与全局光照强度融合的无参考人脸光照评价方法

Country Status (1)

Country Link
CN (1) CN104657714B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108921191B (zh) * 2018-05-25 2021-10-26 北方工业大学 基于图像质量评估的多生物特征融合识别方法
CN109583375B (zh) * 2018-11-30 2021-04-06 中山大学 一种多特征融合的人脸图像光照识别方法及系统
CN110363180A (zh) * 2019-07-24 2019-10-22 厦门云上未来人工智能研究院有限公司 一种统计陌生人人脸重复出现的方法和装置以及设备
CN112700396A (zh) * 2019-10-17 2021-04-23 中国移动通信集团浙江有限公司 一种人脸图片光照评价方法、装置、计算设备和存储介质
CN112825120B (zh) * 2019-11-20 2024-04-23 北京眼神智能科技有限公司 人脸光照评价方法、装置、计算机可读存储介质及设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101567044A (zh) * 2009-05-22 2009-10-28 北京大学 一种人脸图像质量检测方法
US7885531B2 (en) * 2004-12-28 2011-02-08 Samsung Electronics Co., Ltd. Apparatus, medium, and method for photographing based on face detection

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7885531B2 (en) * 2004-12-28 2011-02-08 Samsung Electronics Co., Ltd. Apparatus, medium, and method for photographing based on face detection
CN101567044A (zh) * 2009-05-22 2009-10-28 北京大学 一种人脸图像质量检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Quality Based Approach for Adaptive Face Recognition;Ali J. Abboud等;《Mobile Multimedia/Image Processing, Security, and Applications》;20091231;第1-10页 *
Standardization of Face Image Sample Quality;Xiufeng Gao等;《Advances in Biometrics ICB》;20071231;第242-251页 *

Also Published As

Publication number Publication date
CN104657714A (zh) 2015-05-27

Similar Documents

Publication Publication Date Title
CN108038456B (zh) 一种人脸识别系统中的防欺骗方法
CN110348319B (zh) 一种基于人脸深度信息和边缘图像融合的人脸防伪方法
CN104657714B (zh) 光照对称性与全局光照强度融合的无参考人脸光照评价方法
CN104408707B (zh) 一种快速数字成像模糊鉴别与复原图像质量评估方法
CN104599280B (zh) 一种道路裂缝交叉点提取方法及系统
CN105427275B (zh) 大田环境麦穗计数方法及装置
Iqbal et al. Classification of selected citrus fruits based on color using machine vision system
CN109727246A (zh) 一种基于孪生网络的对比学习图像质量评估方法
CN107945153A (zh) 一种基于深度学习的路面裂缝检测方法
WO2021228088A1 (zh) 一种雾霾图像的雾浓度识别方法
CN107463920A (zh) 一种消除局部遮挡物影响的人脸识别方法
CN109670430A (zh) 一种基于深度学习的多分类器融合的人脸活体识别方法
CN105956572A (zh) 一种基于卷积神经网络的活体人脸检测方法
CN103714181B (zh) 一种层级化的特定人物检索方法
CN110516616A (zh) 一种基于大规模rgb以及近红外数据集的双重认证人脸防伪方法
CN109190475B (zh) 一种人脸识别网络与行人再识别网络协同训练方法
CN112734734A (zh) 一种基于改进残差网络的铁路隧道裂缝检测方法
CN107341688A (zh) 一种客户体验的采集方法及系统
CN107798279A (zh) 一种人脸活体检测方法及装置
CN103034870B (zh) 基于特征的船舶快速识别方法
CN106886216A (zh) 基于rgbd人脸检测的机器人自动跟踪方法和系统
CN103034838A (zh) 一种基于图像特征的特种车辆仪表类型识别与标定方法
CN109977887A (zh) 一种抗年龄干扰的人脸识别方法
CN109190456A (zh) 基于聚合通道特征和灰度共生矩阵的多特征融合俯视行人检测方法
CN109829905A (zh) 一种面部美化感知质量的无参考评价方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant