CN103778594B - 一种基于闪光灯非闪光灯图像对的红眼检测方法 - Google Patents

Abstract

本发明属于本发明涉及彩色数码照片的自动修复技术领域，涉及一种基于闪光灯非闪光灯图像对的红眼检测方法，包括：将输入的一组闪光灯彩色图像FL和非闪光彩色图像NF由RGB空间转换到CIELAB颜色空间并进行预处理；基于L^*分量进行图像配准；在CIELAB空间进行肤色检测；使用a^*分量和b^*分量度量闪光灯彩色图像和非闪光彩色图像的红眼区域像素点的饱和度值，得到两图像饱和度的差别；确定候选红眼区域；去除干扰区域；确定红眼区域。本发明可以利用闪光灯/非闪光灯照片组，引入图像配准环节，并综合使用颜色和饱和度特征，快速准确检测并定位闪光灯图像中的红眼区域。

Description

一种基于闪光灯非闪光灯图像对的红眼检测方法

所属技术领域

本发明涉及彩色数码照片的自动修复领域，尤其是数码照片的红眼效应检测方面。

背景技术

随着科技的发展，数码相机也在不断的改良更新，融入人们的生活。当场景光线不够理想时，如在夜间或者光线较弱的室内环境，一般使用闪光灯在短时间内增强前景的光照，但经常会产生红眼效应。这是因为人类的瞳孔在环境光线不好的情况下会自动放大。在这种情况下使用闪光灯拍照时，人的瞳孔来不及收缩，较强的光线直接穿过瞳孔照射在视网膜的微血管组织上，再经瞳孔反射回红色的光线，从而使照片上人眼瞳孔区域呈现出不正常的红色，这就是红眼产生的原因。红眼现象的存在，严重降低图片质量，因此研究红眼校正方法对提高照片质量是有益而必要的。

红眼效应是摄影中的常见问题，近年来红眼校正方法受到影像处理领域的公司和研究机构共同关注，专家学者提出了许多红眼自动校正方法，相关的国内外专利也有很多。已有方法大致可以分为两类，一类是手动或半自动的方法；另一类是全自动的方法。手动或半自动方法的基本思想是：用户先手动框选出一个包含红眼的感兴趣区域，然后利用图像处理方法精确定位红眼位置，最后进行颜色替换，从而消除红眼。这类方法简单易用，而且精确度高，但是需要用户的参与，应用性不是很高，因此它只适用于一些商用图像处理软件。

全自动红眼消除算法的基本思路是：用户输入包含红眼现象的图像后，不需要进一步的手动操作，红眼去除系统可以自动检测到红眼的位置，对定位后的红眼区域进行偏色校正等操作。这类方法无需人工干预，实现自动化处理，但是目前还处于研究阶段，检测准确度和校正质量与手动方式相比较差，不能很好的投入到实际应用中。目前已有的全自动方法大致分为三类：基于人脸或者人眼检测的方法^[1][2]、基于模板的方法^[3][4][5]和基于闪光灯/无闪光灯图像对的方法^[6]。基于人脸或人眼检测的方法，首先采用有监督的机器学习方法（如神经网络、支持向量机等），在闪光灯图像中定位人脸或者人眼的位置作为待检测区域，缩小检测范围。然后利用红眼的各种特征，如颜色特征、饱和度特征、形态特征、位置特征等在待检区域中精确定位红眼的位置，最后进行红眼校正。基于模板的方法，从图像中搜索红色区域或肤色区域作为候选区域，然后利用自定义的模板检测红眼区域。第一种方法参考人脸检测结果，检测准确性高，但当人脸区域部分被遮挡时，可能造成红眼漏检。第二种方法无需复杂的人脸检测过程，处理速度更快，但容易将图像中的红色物体误检为红眼。

第三种方法使用闪光灯-非闪光灯图像对进行红眼检测与去除。在很短的时间内，连续拍摄一组闪光灯和非闪光灯照片图像对，假设在两张照片的间隙所拍景物没有移动。通过比较两幅图像红色区域的差别来定位红眼区域，进而结合两幅图像的内容，实现红眼的校正。文献^[6]将一对闪光灯-非闪光灯图像转换到CIEL^*a^*b^*空间，通过对比两幅图像在a^*通道的差别来搜索红眼范围。在进行红眼去除时，使用非闪光灯图像匹配闪光灯图像的颜色。如果闪光灯和非闪光灯图像能够严格对准，使用该方法能够方便快捷地检测并去除红眼效应。但该方法要求连续拍摄的两张图片在空间位置上严格对齐，并假设红眼都是团状，与实际情况不完全相符。文献^[3]提出红眼区域在强光照射情况下通常有高亮部分存在，在文献^[6]的基础上，引入高亮特征用于去除干扰区域。与前一种方法相比，这类省去了人脸或者人眼检测的步骤，计算量明显减少。但该方法使用全局阈值检测红眼区域，算法的鲁棒性较低。

本发明内容受到国家自然科学基金(No.61002030)项目资助。

参考文献：

[1]M Gaubatz,R.Ulichney.Automatic red-eye detection and correction,International Conference on Image Processing,2002,vol.1,804-807

[2]路明,赵群飞,施鹏飞,一种自动红眼消除方法,电路与系统学报,2006,11(6),pp:124-128.

[3]王艺莼,卜佳俊,红眼照片自动检测与修复方法,计算机工程,2003,29:pp:93-94.

[4]F Volken,J Terrier,P Vandewalle.Automatic red-eye removal based onsclera and skin tone detection,Proceedings of the IS&T Third EuropeanConference on Color in Graphics,2006,359-364.

[5]B Smolka,K Czubin,J.Y.Hardeberg,etal.Towards automatic red-eyeeffect removal,Pattern Recognition Letters,2003,vol(24),no(2),pp:1767-1785.

[6]X.P.Miao,T.Sim,Automatic red-eye detection and removal,IEEEInternational Conference on Multimedia and Expo,2004,vol.2,pp:1195-1198.

发明内容

本发明的目的是克服现有技术的上述不足，提出一种红眼区域的快速而准备的检测方法，方案如下：

一种基于闪光灯非闪光灯图像对的红眼检测方法，包括下列步骤：

（1）将输入的一组闪光灯彩色图像FL和非闪光彩色图像NF由RGB空间转换到CIELAB颜色空间，闪光灯彩色图像和非闪光彩色图像的CIELAB空间三分量分别用FL_L、FL_a、FL_b和NFL_L、NFL_a、NFL_b表示，其中L通道的取值在[0,100]之间，a^*分量和b^*分量的取值都在[-127,128]之间；

（2）对闪光灯彩色图像和非闪光彩色图像的L^*分量进行双边滤波平滑处理，使用SFL_L和SNFL_L分别表示闪光灯图像和非闪光彩色图像的平滑处理后的结果；

（3）基于L^*分量进行图像配准，经图像配准得到的闪光灯彩色图像和非闪光彩色图像，分别用PFL_C和PNFL_C表示，其中C=L,a^*,b^*；

（4）在CIELAB空间进行肤色检测，使用下式检测闪光灯彩色图像中的肤色区域，二值图像SKIN表示，其中取值为1的点代表像素点：

（5）考察SKIN中的各连通区域，填充各连通区域内部的孔洞，处理结果用二值模板SKIN2表示；

（6）根据二值模板SKIN2，提取PFL_C和PNFL_C对应区域内的像素点，利用a^*通道考察两图像相同位置上红色的差别，用Δa^*表示，即有：式中，a_f ^*和a_nf ^*分别表示闪光灯和非闪光灯图像的a^*通道；

（7）对Δa^*进行归一化处理，用M_red表示，定义为：

（8）使用a^*分量和b^*分量度量闪光灯彩色图像和非闪光彩色图像的红眼区域像素点的饱和度值，分别用S_nf和S_f表示，即有

$S_{\mathrm{nf}}(x,y)=|a_{\mathrm{nf}}^{*}(x,y)-0|+|b_{\mathrm{nf}}^{*}(x,y)-0|$

$S_f(x,y)=|a_f^{*}(x,y)-0|+|b_f^{*}(x,y)-0|$

式中，b_f ^*和b_nf ^*分别表示闪光灯彩色图像和非闪光彩色图像的b^*通道，使用下式描述两图像饱和度的差别，用M_sat表示，定义为：

（9）在[0,1]内确定第一阈值θ₁和第二阈值θ₂，两个阈值分别用来衡量红色分量和饱和度的差别，确定候选红眼区域BW(x,y)：

（10）判断BW中各连通区域是否有“孔洞”并填充；

（11）使用半径为2的“碟形”结构元素对前一步结果进行先“闭”后“开”运算，连接断裂部分；

（12）计算前一步结果各连通区域的面积，即像素点的数目，用AREA表示，将面积数小于θ₃的连通区域判为干扰区域并去除；

（13）计算上一步结果的各连通区域的最小外接矩形，分别用WID和HET表示最小外接矩形的宽度和高度，定义长宽比R_wh=WID/HET；填充率R_fill=AREA/WID×HET，对各连通区域，只有同时满足0.75<R_wh<1.33，且R_fill>0.66两条件的区域，才最终判为红眼区域。

其中，步骤3）中，选用SURF特征进行图像配准。

本发明可以利用闪光灯/非闪光灯照片组，引入图像配准环节，并综合使用颜色和饱和度特征，快速准确检测并定位闪光灯图像中的红眼区域。

附图说明

图1本发明的检测方法的流程框图。

图2半径为2的碟形算子。

图3本发明的红眼检测方法过程示例，其中，(a)闪光灯图像(b)非闪光灯图像配准结果(c)肤色区域分割结果(不含眼睛区域)(d)用于红眼检测的区域(e)红眼初定位结果(f)红眼验证结果。

图4多种情况的红眼区域检测和去除结果。各组图中，左侧为原图，右侧为红眼区域检测结果，其中红眼区域用高亮区域填充。

具体实施方式

本发明包括三个主要步骤：预处理、红眼区域定位和红眼区域验证。图1给出了所提方法的框图。

1预处理

预处理过程包括颜色空间转换、图像平滑和图像配准三个步骤。

用FL和NF分别表示输入的一组闪光灯图像和非闪光彩色图像。首先应将输入彩色图像由RGB空间转换到CIELAB颜色空间。使用CIELab1976给出的转换公式，完成从颜色空间的变换。CIELAB空间三分量分别用FL_L、FL_a、FL_b和NFL_L、NFL_a、NFL_b表示。其中L通道的取值在[0,100]之间，a^*分量和b^*分量的取值都在[-127,128]之间。

如果采用手持方式拍摄闪光灯和非闪光灯照片组，如果曝光时间较长，持有相机的手难免有抖动。即便采用固定设备（如三脚架）进行拍摄，被拍摄的人相对于镜头也存在移动。上述两种情况都会导致同一物体两张照片中的位置不对齐。考虑到后续处理过程要求两幅图像中的眼睛区域严格对齐，因此有必要图像配准过程。

在配准之前要进行平滑处理，目的是去除在拍摄和成像过程中引入的噪声。普通的低通平滑滤波其（如高斯低通滤波器）在降噪同时，也会使边缘变得模糊不清，不能很好地保留高频细节。图像配准过程需要准确的细节信息（如边缘特征）。因此，选用双边滤波器用于平滑处理。双边滤波器是一种具有良好细节保持能力的平滑滤波器。考虑到噪声对a^*分量和b^*分量的影响明显强于对L^*分量，所提方法只考虑对L^*分量进行双边滤波平滑处理。使用SFL_L和SNFL_L分别表示两图像平滑处理后的结果。

选用SURF特征(Speeded Up Robust Features,加速稳健特征)用于图像配准算法。基于SURF特征的方法被称为经典SIFT算法的增强版。相比SIFT特征，提取SURF特征所需的计算量更小，运算速度更快，但配准性能几乎与SIFT相同。

基于SURF特征的图像匹配算法具体实现步骤如下：

1)检测并提取SFL_L和SNFL_L的SURF特征；

2)对特征集进行匹配，获取匹配的特征点；

3)根据匹配的特征点，将SFL_L作为参考图像，根据特征点的位置信息，计算由SNFL_L的SFL_L变换矩阵，记为M；

4)使用M对FL_a、FL_b和NFL_a、NFL_b相应的变换，完成图像配准。

经预处理之后得到的彩色闪光灯和非闪光灯图像，分别用PFL_C和PNFL_C表示，其中C=L,a^*,b^*。

2红眼区域定位

(1)肤色检测

考虑到预处理过程已经将图像转换到CIELAB颜色空间，为减少额外的计算量，直接考虑在CIELAB空间进行肤色检测。选取500张不同成像环境的人脸照片，以白种人和黄种人为主，其中大部分来自互联网。手工分割人脸区域，并使用计算机随机选取20000个皮肤像素，通过分析这些皮肤像素的统计特性，获得L^*a^*b^*颜色空间的肤色模型。使用下式检测闪光灯图像中的肤色区域，用二值图像SKIN表示，其中取值为1的点代表像素点。

眼睛区域不属于肤色，内部各像素点并不满足式(1)，导致在SKIN中眼睛区域取值为0。为了便于检测红眼区域，考察SKIN中的各连通区域，填充各连通区域内部的孔洞，处理结果用SKIN2表示。

(2)红眼区域定位

综合使用颜色和饱和度特征用于红眼定位。首先根据二值模板SKIN2，提取PFL_C和PNFL_C对应区域内的像素点。利用a^*通道考察两图像相同位置上红色的差别，用Δa^*表示，即有

$\mathrm{\&Delta;}{a}^{*}(x,y)=a_f^{*}(x,y)-a_{\mathrm{nf}}^{*}(x,y)---\left(2\right)$

为了消除不同光照条件的影响，对Δa^*进行归一化处理，只考虑Δa^*>0且a_f ^*>0的情况，用M_red表示，定义为：

闪光灯图像和非闪光灯图像在红眼区域，除红色特征差别明显，红眼区域的饱和度也差别明显。闪光灯图像中的红眼区域的饱和度值较大，而对应位置的非闪光图像属于瞳孔区域，其饱和度值接近于0。使用a^*分量和b^*分量度量两图像红眼区域像素点的饱和度值，分别用S_nf和S_f表示，即有

$S_{\mathrm{nf}}(x,y)=|a_{\mathrm{nf}}^{*}(x,y)-0|+|b_{\mathrm{nf}}^{*}(x,y)-0|---\left(4\right)$

$S_f(x,y)=|a_f^{*}(x,y)-0|+|b_f^{*}(x,y)-0|---\left(5\right)$

使用下式描述两图像饱和度的差别，用M_sat表示，定义为：

考察图像中各点的特征值(M_red(x,y),M_sat(x,y))与两阈值的相对大小，检测红眼区域，用BW(x,y)，有：

式中，两阈值θ₁和θ₂分别用来衡量红色分量和饱和度的差别，由于M_red和M_sat都在0～1之间，可在[0,1]内确定θ₁和θ₂的数值，具体的取值可根据实验来确定。

3红眼区域验证

候选红眼区域BW可能存在两类干扰情况。对于真正的红眼区域，内部可能存在有空洞或断裂。另一方面，部分候选区域是非红眼区域。引入验证过程降低上述两类干扰的影响。选用数学形态学方法进行红眼区域验证，具体过程如下：

红眼区域验证算法

i)填充孔洞：判断BW中各连通区域是否有“孔洞”并填充；

ii)连接断裂：使用半径为2的“碟形”结构元素前一步结果进行先“闭”后“开”运算，目的是连接断裂部分，使连通区域的边界更平滑。

iii)去除小区域：计算前一步结果各连通区域的面积，即像素点的数目，用AREA表示。将面积数小于θ₃的连通区域判为干扰区域并去除。

iv)去除非圆区域：计算上一步结果各连通区域的最小外接矩形，分别用WID和HET表示该矩形的宽度和高度。定义该区域的长宽比R_wh为R_wh=WID/HET；填充率R_fill为R_fill=AREA/WID×HET。对各连通区域，只有同时满足0.75<R_wh<1.33，且R_fill>0.66两条件的区域，才最终判为红眼区域。

图3(a)～(f)分别给出了各个步骤处理结果的示例。

采用Windows7 SP1系统下的matlab2013a作为实验仿真平台。选用文献[6]提供的数据共计10组图像，外加申请人自行拍摄的20组图像，总共30组图像作为测试集。采用人工方式检测并定位红眼区域，共得到73个红眼区域。

使用查准率（用R_P表示）和查全率（用R_R表示）两个评价指标来衡量红眼检测的性能。其中，查准率是衡量系统对红眼区域正确识别能力的一项指标，查全率是衡量系统从全部红眼区域中成功检测红眼区域的一项指标。用N_T表示总的红眼数，N_C表示正确检测到的红眼数，N_F表示错误检测到的红眼数。R_P定义为N_C与检测到的红眼区域总和(N_C+N_F)的比值，R_R定义为N_C与N_T的比值。

Claims (2)

1.一种基于闪光灯非闪光灯图像对的红眼检测方法，包括下列步骤：

(1)将输入的一组闪光灯彩色图像FL和非闪光彩色图像NF由RGB空间转换到CIELAB颜色空间，闪光灯彩色图像和非闪光彩色图像的CIELAB空间三分量分别用FL_L、FL_a、FL_b和NFL_L、NFL_a、NFL_b表示，其中L*分量的取值在[0,100]之间，a*分量和b*分量的取值都在[-127,128]之间；

(2)对闪光灯彩色图像和非闪光彩色图像的L*分量进行双边滤波平滑处理，使用SFL_L和SNFL_L分别表示闪光灯图像和非闪光彩色图像的平滑处理后的结果；

(3)基于L*分量进行图像配准，经图像配准得到的闪光灯彩色图像和非闪光彩色图像，分别用PFL_C和PNFL_C表示，其中C＝L*,a*,b*；

(4)在CIELAB空间进行肤色检测，使用下式检测闪光灯彩色图像中的肤色区域，二值图像SKIN表示，其中取值为1的点代表像素点：

(5)考察SKIN中的各连通区域，填充各连通区域内部的孔洞，处理结果用二值模板SKIN2表示；

(6)根据二值模板SKIN2，提取PFL_C和PNFL_C对应区域内的像素点，利用a*通道考察两图像相同位置上红色的差别，用Δa*表示，即有：式中，和分别表示闪光灯和非闪光灯图像的a*通道；

(7)对Δa*进行归一化处理，用M_red表示，定义为：

(8)使用a*分量和b*分量度量闪光灯彩色图像和非闪光彩色图像的红眼区域像素点的饱和度值，分别用S_nf和S_f表示，即有

$S_{nf}(x,y)=|a_{nf}^{*}(x,y)-0|+|b_{nf}^{*}(x,y)-0|$

$S_f(x,y)=|a_f^{*}(x,y)-0|+|b_f^{*}(x,y)-0|$

式中，和分别表示闪光灯彩色图像和非闪光彩色图像的b*通道，使用下式描述两图像饱和度的差别，用M_sat表示，定义为：

(9)在[0,1]内确定第一阈值θ₁和第二阈值θ₂，两个阈值分别用来衡量红色分量和饱和度的差别，确定候选红眼区域BW(x,y)：

(10)判断BW中各连通区域是否有“孔洞”并填充；

(11)使用半径为2的“碟形”结构元素对前一步结果进行先“闭”后“开”运算，连接断裂部分；

(12)计算前一步结果各连通区域的面积，即像素点的数目，用AREA表示，将面积数小于θ₃的连通区域判为干扰区域并去除；

(13)计算上一步结果的各连通区域的最小外接矩形，分别用WID和HET表示最小外接矩形的宽度和高度，定义宽高比R_wh＝WID/HET；填充率R_fill＝AREA/WID×HET，对各连通区域，只有同时满足0.75<R_wh<1.33，且R_fill>0.66两条件的区域，才最终判为红眼区域。

2.根据权利要求1所述的基于闪光灯非闪光灯图像对的红眼检测方法，其特征在于，步骤(3)中，选用SURF特征进行图像配准。