CN103226691B - 去除红眼的方法及装置 - Google Patents

去除红眼的方法及装置 Download PDF

Info

Publication number
CN103226691B
CN103226691B CN201210021247.2A CN201210021247A CN103226691B CN 103226691 B CN103226691 B CN 103226691B CN 201210021247 A CN201210021247 A CN 201210021247A CN 103226691 B CN103226691 B CN 103226691B
Authority
CN
China
Prior art keywords
red
pixel
region
darker regions
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210021247.2A
Other languages
English (en)
Other versions
CN103226691A (zh
Inventor
黄玉春
林福辉
彭晓峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Spreadtrum Communications Shanghai Co Ltd
Original Assignee
Spreadtrum Communications Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Spreadtrum Communications Shanghai Co Ltd filed Critical Spreadtrum Communications Shanghai Co Ltd
Priority to CN201210021247.2A priority Critical patent/CN103226691B/zh
Publication of CN103226691A publication Critical patent/CN103226691A/zh
Application granted granted Critical
Publication of CN103226691B publication Critical patent/CN103226691B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

一种去除红眼的方法及装置。所述去除红眼的方法包括:提取眼部图像中的红眼区域和深色眼珠区域;利用深色眼珠区域的像素点以及红眼区域的像素点对所述红眼区域进行纠正。本发明的技术方案对红眼区域的去除效果好,且去除红眼后的图像更加地真实和自然。

Description

去除红眼的方法及装置
技术领域
本发明涉及图像技术领域,尤其涉及一种去除红眼的方法及装置。
背景技术
“红眼效应”是指用闪光灯拍摄人物照片时,由于被拍摄者眼底血管的反光而导致的人眼瞳孔中央形成的红点现象。其形成原因主要是由于人的瞳孔在环境光比较暗时会放大,近距离闪光灯的强光经过放大的瞳孔,照在视网膜后的微血管组织上,反射回红色的光线,造成实际成像的照片呈现“红眼”状,红眼和人们一般所认知的眼睛的颜色差别很大,大大的降低了照片的质量。随着具有闪光功能的数码相机、手机、摄像机等的应用越来越广泛,对于“红眼效应”的去除具有很强的实际应用性,且也变得越发的重要。
现有技术中,通常采用自动去除和手动去除两种方式来对红眼区域进行去除。
所谓自动去除,通常是通过一定的算法先提取出眼部区域,基于提取的眼部区域进而结合相应的算法来检测出红眼区域,然后对检测到的红眼区域进行纠正。
具体地,可以先借助于人脸检测器,通过人脸检测器检测出人脸区域,进而通过霍夫变换法或变形模板法等来粗略提取眼部区域。如:提取人脸的上半部分作为眼部区域。或者通过皮肤判别器来获取不同于皮肤的眼洞,进而提取眼部区域。或者通过嘴巴、鼻子、或眉毛等脸部特征的提取,并基于眼睛与嘴巴、鼻子或眉毛之间的位置关系来粗略提取眼部区域。如:提取嘴巴所在的预定范围内作为眼部区域。或者通过拍摄前的最后一帧预览照片(无红眼照片)来粗略提取眼部区域。如:提取与所述无红眼照片存在红色差异的部分作为眼部区域。
在通过上述方式提取到眼部区域之后,基于提取的眼部区域,发掘红眼中的红眼色特征,进而基于所述红眼色特征来提取红眼区域。然后基于红眼的形状对提取到的红眼区域的形状特征进行相应的验证,一般来讲,红眼的形状通常为圆形、类圆形、椭圆形、类椭圆形,因此,若提取到的红眼区域的形状为圆形、类圆形、椭圆形、类椭圆形,就可以判定提取到的红眼区域的确为拍摄过程中形成的红眼区域,进而可以对提取到的红眼区域的红眼色进行纠正,并对红眼区域的边缘进行各种光滑处理,使得修正后的眼部图像看起来更自然以达到去除红眼的目的。
所谓手动去除,则是借助于各种红眼去除的辅助工具,完全由人工手动的对每一个像素点逐个进行修复。
对于上述的自动去除红眼或通过手动的方式对红眼区域中的每一个像素点进行去除,通常采用以下三种方式对红眼区域中的红色像素点进行修正。
(1)将检测到的红眼区域中的红色像素点的红色通道值修正为其绿色通道值和蓝色通道值之和的平均值,而红色像素点的绿色通道值和蓝色通道值则保持不变。
(2)通过以下公式对检测到的红眼区域中的红色像素点的红色通道值进行修正,而红色像素点的绿色通道值和蓝色通道值则保持不变。
R new = α G old + β B old 2
其中,Rnew为修正后的红色像素点的红色通道值,Gold、Bold分别为检测到的红眼区域中的红色像素点的绿色通道值和蓝色通道值。
(3)搜索与检测到的红眼区域中的红色像素点的绿色通道值和蓝色通道值相近的像素点,将红眼区域中红色像素点的红色通道值修正为该像素点的红色通道值,而红色像素点的绿色通道值和蓝色通道值则保持不变。
然而,采用上述三种方式对红眼区域中的红色像素点进行修正时,修正后的红眼区域与深色眼珠区域的匹配度较差,修正后的图像效果不好,看起来不自然。
因此,如何能够提供一种去除效果好的红眼去除方法以获得真实的图像成为目前亟待解决的问题之一。
其他有关红眼去除的相关技术还可以参见公开号为US7403654B2,发明名称为Enhancedautomaticredeyeremoval的国际专利申请。
发明内容
本发明解决的问题是提供一种去除效果好的去除红眼的方法及装置,以使得去除红眼后的图像更加真实和自然。
为了解决上述问题,本发明提供了一种去除红眼的方法,包括:
提取眼部图像中的红眼区域和深色眼珠区域;
利用深色眼珠区域的像素点以及红眼区域的像素点对所述红眼区域进行纠正。
可选的,所述利用深色眼珠区域的像素点以及红眼区域的像素点对所述红眼区域进行纠正通过如下公式进行:
R new = α * G old + B old 2 + ( 1 - α ) * R ‾ fuscous
G new = α * G old + ( 1 - α ) * G ‾ fuscous * R new R ‾ fuscous
B new = α * B old + ( 1 - α ) * B ‾ fuscous * R new R ‾ fuscous
其中,Rnew、Gnew、Bnew分别为所述红眼区域中的像素点在纠正后的红色通道值、绿色通道值、蓝色通道值,Gold、Bold分别为所述红眼区域中的像素点在纠正前的绿色通道值、蓝色通道值、分别为所述深色眼珠区域中的像素点的红色通道值平均值、绿色通道值平均值和蓝色通道值平均值,α为权重因子,α∈[0,1]。
为解决上述问题,本发明还提供了一种去除红眼的装置,包括:
提取单元,用于提取眼部图像中的红眼区域和深色眼珠区域;
纠正单元,用于利用深色眼珠区域的像素点以及红眼区域的像素点对所述红眼区域进行纠正。
可选的,所述纠正单元通过如下公式对所述红眼区域进行纠正:
R new = α * G old + B old 2 + ( 1 - α ) * R ‾ fuscous
G new = α * G old + ( 1 - α ) * G ‾ fuscous * R new R ‾ fuscous
B new = α * B old + ( 1 - α ) * B ‾ fuscous * R new R ‾ fuscous
其中,Rnew、Gnew、Bnew分别为所述红眼区域中的像素点在纠正后的红色通道值、绿色通道值、蓝色通道值,Gold、Bold分别为所述红眼区域中的像素点在纠正前的绿色通道值、蓝色通道值、分别为所述深色区域中的像素点的红色通道值平均值、绿色通道值平均值和蓝色通道值平均值,α为权重因子,α∈[0,1]。
与现有技术相比,本发明的技术方案具有以下优点:
由于结合了深色眼珠区域的像素点以及红眼区域的像素点对红眼区域进行自适应地纠正,故使得纠正后的红眼区域与深色眼珠区域更加地融合,对红眼区域的去除效果好,且去除红眼后的图像更加地真实和自然。
进一步地,通过提取到的红眼区域中的像素点的绿色通道值和蓝色通值,以及提取的深色眼珠区域的像素点的红色通道值的平均值、绿色通道值的平均值、蓝色通道值的平均值来对红眼区域中的红色像素点进行自适应地修正,由于对所述红色像素点的红色通道值、绿色通道值、蓝色通道进行了一致性修正,故进一步地改善了去除红眼后的图像的效果。
进一步地,在对所述红眼区域进行去除时,可以通过调整权重系数来对不同情况下的红眼区域中的红色像素点进行去除,因此具有很大的灵活性。
附图说明
图1是本发明实施方式的去除红眼的方法的流程示意图;
图2是本发明实施方式的去除红眼的装置的基本结构示意图;
图3是本发明红眼模板的示意图;
图4是本发明红眼区域、深色眼珠区域、眼白区域和近白高亮区域的位置关系的一个实例示意图;
图5是本发明实施例一的提取眼部图像中的红眼区域和深色眼珠区域的流程示意图;
图6是本发明实施例一的去除红眼的装置的结构示意图;
图7是本发明实施例二的提取眼部图像中的红眼区域和深色眼珠区域的流程示意图;
图8是本发明实施例二的搜索包括红眼样本点的预定范围内的像素点的一种搜索方式的示意图;
图9是本发明实施例二的搜索包括红眼样本点的预定范围内的像素点的另一种搜索方式的示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更为明显易懂,下面结合附图对本发明的具体实施方式做详细的说明。
在以下描述中阐述了具体细节以便于充分理解本发明。但是本发明能够以多种不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本发明内涵的情况下做类似推广。因此本发明不受下面公开的具体实施方式的限制。
正如背景技术中所描述的,现有技术中去除红眼区域时,去除效果不好,去除红眼后的区域与深色眼珠区域的匹配度不好,进而导致去除红眼区域后的图像很不自然。
因此,发明人提出,利用提取到的深色眼珠区域及红眼区域来对红眼区域中的红色像素点进行自适应地修正,以使得修正的图像看起来更加地自然和真实。
请参见图1,图1是本发明实施方式的去除红眼的方法的流程示意图,如图1所示,所述去除红眼的方法包括:
步骤S11:提取眼部图像中的红眼区域和深色眼珠区域。
步骤S12:利用深色眼珠区域的像素点以及红眼区域的像素点对所述红眼区域进行纠正。
对应于上述的去除红眼的方法,本发明实施方式提供一种去除红眼的装置。请参见图2,图2是本发明实施方式的去除红眼的装置的基本结构示意图,如图2所示,所述去除红眼的装置包括:
提取单元101,用于提取眼部图像中的红眼区域和深色眼珠区域。
纠正单元102,与所述提取单元101相连,用于利用深色眼珠区域的深色像素点以及红眼区域的像素点对所述红眼区域进行纠正。
为了更好地说明本发明实施方式的去除红眼的方法和装置,以下结合具体的实施例对本发明实施方式的去除红眼的方法和装置进行相应的说明。
实施例一
本实施例中,在对步骤S11中的提取眼部图像中的红眼区域和深色眼珠区域进行说明之前,先对本发明的红眼模板进行相应的说明。
请参见图3,图3是本发明红眼模板的示意图,红眼是由于人眼瞳孔底部血管因强烈的闪光照射所致,故,红眼模板一般由四个部分组成:近白高亮区域H、红眼区域R、深色眼珠区域F和眼白区域W。且四个不同区域之间彼此连接形成一个完整整体,而人类对红眼的判断通常是基于所述红眼模板的整体性特征,而不是仅仅凭红眼区域的颜色和形状。
请继续参见图3,图3中深色眼珠区域F因人种的不同,可能呈现不同的颜色,如:黑色、深蓝色、棕色等;眼白区域W则由于拍摄角度的不同,可能只出现在一侧。而且上述四个区域的色彩饱和度和形状会因实际的光照条件、人种、拍摄角度的不同等不断变化。如:所述红眼区域R的颜色完全有可能与亚洲人的黄色皮肤色彩差别不大,且其形状可能是一个很扁平的椭圆或类椭圆状。另外,由于眼珠的运动和拍摄角度等影响,红眼区域R也有可能不是均匀地沿眼部中心径向分布,也就是说,在图3所示的红眼区域R中可能只有部分区域出现红色,其他区域则仍为原来的眼珠色。此外,由于拍摄条件、分辨率等原因,眼白区域W可能不会完全的出现在红眼模板中,如:红眼模板中的眼白区域W只有一半。
图3中所给出的红眼模板为完整的红眼模板,而通过上述分析可知,在实际情况中,红眼模板并不仅仅局限于图3所示,根据不同的情况,其会有各种各样的表现形式,但是,不论红眼模板的表现形式如何变化,红眼模板中的不同色彩区域之间总会存在嵌套毗邻关系,具体地,就是椭圆状的眼白区域W邻接着外轮廓椭圆状的深色眼珠区域F;深色眼珠区域F内嵌套有一定的红眼区域R。
因此,本实施例中可以利用红眼区域R与所述深色眼珠区域F、所述深色眼珠区域F与眼白区域W之间的位置关系来提取红眼区域R和深色眼珠区域F。然而,若直接采用图3所示的红眼模板对红眼区域R和深色眼珠区域F进行提取,会增加提取红眼区域R和深色眼珠区域F的复杂度,且对于实际的拍摄情况而言,红眼模板也并不局限于图3所示的红眼模板,故,本实施例中利用红眼区域R、深色眼珠区域F和眼白区域W的位置关系示意图来对红眼区域R和深色眼珠区域F进行提取。
请参见图4,图4是本发明红眼区域、深色眼珠区域、眼白区域和近白高亮区域的位置关系的一个实例示意图,如图4所示,图4中的平行连接代表空间上的邻接关系,垂直连接代表空间上的嵌套关系,由图4可以获悉,深色眼珠区域F与眼白区域W之间存在邻接关系,深色眼珠区域F与红眼区域R之间存在嵌套关系,红眼区域R与近白高亮区域H之间也存在嵌套关系,此外由于拍摄的原因,深色眼珠区域F与近白高亮区域H之间可能会存在嵌套关系,如:红眼区域R只有部分出现的情况。
需要说明的是,图4给出的红眼区域、深色眼珠区域、眼白区域和近白高亮区域的位置关系示意图,仅仅是对上述四个区域之间存在邻接和嵌套关系的一种表现形式,即通过水平连接代表空间上的邻接关系,垂直连接代表空间上的嵌套关系。红眼区域、深色眼珠区域、眼白区域和近白高亮区域的位置关系也可以以水平连接代表空间上的嵌套关系,垂直连接代表空间上的邻接关系,因此,红眼区域、深色眼珠区域、眼白区域和近白高亮区域的位置关系示意图不应作为对本发明技术方案的限定。
本实施例中,在执行步骤S11之前,需要先提取眼部区域,所述眼部区域的提取可以采用现有的人脸检测方法来检测出人脸所在的区域,然后通过霍夫变换法、或变形模板法、或边缘特征分析法、或基于特征映射的方法等来对人脸区域中眼睛所在的区域进行定位,进而提取眼部区域。所述人脸检测方法可以为:基于人脸器官分布规律的人脸检测方法、基于肤色的人脸检测方法、基于概率模型的人脸检测方法、基于特征空间的人脸检测方法、基于人工神经网络的人脸检测方法、基于模板匹配的人脸检测方法等。
采用上述的人脸检测方法检测出人脸所在的区域,并在人脸区域内提取眼部区域为本领域的公知常识,故此处不再展开具体详述。
以下对本实施例中的步骤S11进行详细的说明。本实施例中,所述深色区域为:黑色区域或蓝色区域。
请参见图5是本发明实施例一的提取眼部图像中的红眼区域和深色眼珠区域的流程示意图,如图5所示,所述提取眼部图像中的红眼区域和深色眼珠区域(对应于图1中的步骤S11)包括:
步骤S110:基于眼部区域的像素点的红色度和饱和度量化所述眼部区域,以得到白色区域、深色区域和红色区域。
步骤S111:基于量化结果确定所述深色区域与所述白色区域、红色区域的位置关系,所述位置关系包括邻接关系和嵌套关系。
步骤S112:基于所述位置关系确定红眼区域和深色眼珠区域。
具体地,执行步骤S110,基于眼部区域的像素点的红色度和饱和度量化所述眼部区域,以得到白色区域、深色区域和红色区域。
本步骤中,像素点的红色度用于表示像素点的红色的程度,或者说是在像素点的红色通道值、绿色通道值、蓝色通道值中其红颜色的水平有多少。本实施例中像素点的红色度通过如下公式获得:
I=a*R-b*G-(a-b)*B
像素点的饱和度通过如下公式获得:
S = max ( R , G , B ) - min ( R , G , B ) max ( R , G , B )
其中,I为像素点的红色度,S为像素点的饱和度,a、b为权重系数,a>b且a、b∈(0,1],max(.)为取最大值函数,min(.)为取最小值函数。本实施例中,上述公式中R、G、B分别为归一化的红色通道值、归一化的绿色通道值和归一化的蓝色通道值。
在获取了像素点的红色度和饱和度后,则基于获取的像素点的红色度和饱和度量化提取到的眼部区域,以得到白色区域、深色区域和红色区域。且通过像素点的红色度和饱和度量化提取到的眼部区域,也有利于减小噪声对眼部区域中的各个颜色区域的影响。
本实施例中,基于眼部区域的像素点的红色度和饱和度量化所述眼部区域,以得到白色区域、深色区域和红色区域包括:
若像素点的红色度小于第一阈值,饱和度小于第二阈值则将像素点量化为白色像素点,所述白色像素点所在的区域为白色区域。
若像素点的红色度小于所述第一阈值,饱和度大于或等于所述第二阈值且小于第三阈值则将像素点量化为深色像素点,所述深色像素点所在的区域为深色区域。
若像素点的红色度大于或等于所述第一阈值,饱和度大于或等于所述第三阈值则将像素点量化为红色像素点,所述红色像素点所在的区域为红色区域。
本实施例中,所述深色像素点可以为黑色像素点或蓝色像素点,通常根据拍摄到的照片中人物的人种而决定,如:若拍摄的人物为亚洲人,则将满足量化为深色像素点条件的像素点量化为黑色像素点。若拍摄的人物为欧洲人,则将满足量化为深色像素点条件的像素点量化为蓝色像素点。
本实施例中,获取像素点的红色度时采用的权重系数a∈[0.4,0.6]、b∈[0.25,0.35],所述第一阈值T1∈(0,0.5],所述第二阈值T2∈(0,0.3]、所述第三阈值T3∈[0.5,1]。
本实施例中,对于提取到的眼部区域而言,除了上述的颜色外通常为肤色,故当所述像素点的红色度以及饱和度不满足上述的情况时,如:像素点的红色度大于或等于所述第一阈值,饱和度小于所述第三阈值;或者像素点的红色度小于所述第一阈值,饱和度大于所述第三阈值;则将该像素点量化为肤色像素点。
此外,量化眼部区域后,对于获得的白色区域、深色区域以及红色区域而言,为了消除获得的区域中孤立的噪点对其造成的影响,可以对所述白色区域、深色区域以及红色区域进行相应的数字图像的闭运算,以去除每一个区域中的孤立噪点。闭运算核的大小可以根据实际情况中量化得到的颜色区域的外接矩形的尺寸来确定。采用数字图像的闭运算以去除所述白色区域、深色区域以及红色区域中的孤立噪点为本领域的公知技术,故此处不再展开具体详述。
另外,由于对眼部区域的提取属于粗提取,因此,执行步骤S110后,获得的白色区域、深色区域和红色区域并不唯一。
执行步骤S111,基于量化结果确定所述深色区域与所述白色区域、红色区域的位置关系,所述位置关系包括邻接关系和嵌套关系。
具体地,基于量化结果获取所述深色区域、白色区域、红色区域的区域属性。所述区域属性包括:区域的颜色、中心位置及形状。通过步骤S110对提取到的眼部区域进行量化,获得了深色区域、白色区域和红色区域,且量化后,可以获知所述深色区域、白色区域和红色区域的中心位置及形状,基于区域的形状可以知道量化后的各个区域的面积。
进而可以通过深色区域、白色区域、红色区域的中心位置、形状和面积来确定所述深色区域和白色区域的位置关系,以及所述深色区域和红色区域的位置关系。对于量化后的眼部区域,可以包括具有嵌套关系的深色区域和白色区域,具有邻接关系的深色区域和白色区域,具有嵌套关系的深色区域和红色区域,具有邻接关系的深色区域和红色区域。
例如,可以从量化得到的白色区域中,根据所述白色区域的中心位置和形状来判断其和量化得到的深色区域之间是否存在邻接关系。而对于量化得到的红色区域和深色区域而言,可以先判断所述红色区域面积和所述深色区域面积之间的关系,在所述红色区域的面积小于所述深色区域的面积的前提下,再根据所述红色区域的中心位置和形状及所述深色区域的中心位置和形状来判断所述红色区域与所述深色区域之间是否存在嵌套关系。
执行步骤S112,基于所述位置关系确定红眼区域和深色眼珠区域。
本实施例中,可以基于对所获得的所述深色区域与所述白色区域,所述深色区域与所述红色区域之间位置关系的先后确定红眼区域和深色眼珠区域。
具体地,首先确定一对具有嵌套关系的深色区域和红色区域,然后再判断确定的深色区域是否存在与之具有邻接关系的白色区域,若存在,则以确定的红色区域作为红眼区域,以确定的深色区域作为深色眼珠区域。
一般来讲,通过确定深色区域与红色区域具有嵌套关系,且所述深色区域存在与之具有邻接关系的白色区域就可以确定所述红色区域为红眼区域,所述深色区域为深色眼珠区域。本实施例中,为了能够更加准确地提取出红眼区域和深色眼珠区域,还可以通过进一步限定深色区域与白色区域之间的位置关系,或者红色区域与白色区域之间的位置关系来提取红眼区域和深色眼珠区域。
如上述所描述的,红眼产生时,红眼区域与白色区域之间也存在嵌套关系,此外由于拍摄的原因,深色区域与白色区域之间也会存在嵌套关系,故本实施例中还可以通过以下方式来提取红眼区域和深色眼珠区域。
首先确定一对具有嵌套关系的深色区域和红色区域,然后再判断确定的深色区域是否存在与之具有邻接关系的白色区域,以及判断所确定的红色区域是否存在与之具有嵌套关系的白色区域,若都存在,则以确定的红色区域作为红眼区域,以确定的深色区域作为深色眼珠区域。
或者,首先确定一对具有嵌套关系的深色区域和红色区域,然后再判断确定的深色区域是否存在与之具有邻接关系的白色区域和与之具有嵌套关系的白色区域,若存在,则以确定的红色区域作为红眼区域,以确定的深色区域作为深色眼珠区域。
此外,本实施例中,还可以基于先确定的所述深色区域与所述白色区域的位置关系来提取红眼区域和深色眼珠区域。具体地,可以通过以下方式来提取红眼区域和深色眼珠区域。
首先确定一对具有邻接关系的深色区域和白色区域,然后再判断确定的深色区域是否存在与之具有嵌套关系的红色区域,若存在,则以该红色区域作为红眼区域,以确定的深色区域作为深色眼珠区域。
或者,先确定一对具有邻接关系的深色区域和白色区域,然后再判断确定的深色区域是否存在与之具有嵌套关系的红色区域,且与所确定的深色区域具有嵌套关系的红色区域是否存在与之具有嵌套关系的白色区域,若都存在,则以与所确定的深色区域具有嵌套关系的红色区域作为红眼区域,以确定的深色区域作为深色眼珠区域。
或者,先确定一对具有邻接关系的深色区域和白色区域,然后再判断确定的深色区域是否存在与之具有嵌套关系的红色区域和与之具有嵌套关系的白色区域,若存在,则以与所确定的深色区域具有嵌套关系的红色区域作为红眼区域,以确定的深色区域作为深色眼珠区域。
在实际的检测过程中,只要最终量化获得的深色区域、白色区域和红色区域之间的位置关系,能够表示成为图4所示的位置关系,则认为最终量化得到的红色区域在提取到的眼部图像中所在的区域为红眼区域,深色区域为深色眼珠区域。
通过上述对量化后的深色区域、白色区域和红色区域的位置关系的判定,则可以提取到红眼区域和深色眼珠区域。
以下对步骤S12进行详细的说明。
具体地,步骤S12中通过以下公式对所述红眼区域进行纠正:
R new = α * G old + B old 2 + ( 1 - α ) * R ‾ fuscous
G new = α * G old + ( 1 - α ) * G ‾ fuscous * R new R ‾ fuscous
B new = α * B old + ( 1 - α ) * B ‾ fuscous * R new R ‾ fuscous
其中,Rnew、Gnew、Bnew分别为所述红眼区域中的像素点在纠正后的红色通道值、绿色通道值、蓝色通道值,Gold、Bold分别为所述红眼区域中的像素点在纠正前的绿色通道值、蓝色通道值、分别为所述深色区域中的像素点的红色通道值平均值、绿色通道值平均值和蓝色通道值平均值,α为权重因子,α∈[0,1]。
在实际情况中,上述的权重因子α可以根据具体的情况进行相应的调整,以使得图像在去除红眼后看上去更加的自然和真实。且,当图像中的人种为亚洲人时,分别为黑色像素点的红色通道值平均值、绿色通道值平均值和蓝色通道值平均值;当图像中的人种为欧洲人时,分别为蓝色像素点的红色通道值平均值、绿色通道值平均值和蓝色通道值平均值。
步骤S12中,通过提取到的红眼区域中的红色像素点的Gold和Bold,以及提取的深色眼珠区域的来对红眼区域中的红色像素点的红色通道值、绿色通道值、蓝色通道值进行了一致性修正,使得去除红眼后的图像的效果较佳。
对应于上述的去除红眼的方法,本实施例提供一种去除红眼的装置,请参见图6,图6是本发明实施例一的去除红眼的装置的结构示意图,如图6所示,所述去除红眼的装置包括:
提取单元101,用于提取眼部图像中的红眼区域和深色眼珠区域。
纠正单元102,与所述提取单元101相连,用于利用深色区域的像素点以及红眼区域的像素点对所述红眼区域进行纠正。
本实施例中,所述纠正单元102通过如下公式对所述红眼区域进行纠正:
R new = α * G old + B old 2 + ( 1 - α ) * R ‾ fuscous
G new = α * G old + ( 1 - α ) * G ‾ fuscous * R new R ‾ fuscous
B new = α * B old + ( 1 - α ) * B ‾ fuscous * R new R ‾ fuscous
其中,Rnew、Gnew、Bnew分别为所述红眼区域中的像素点在纠正后的红色通道值、绿色通道值、蓝色通道值,Gold、Bold分别为所述红眼区域中的像素点在纠正前的绿色通道值、蓝色通道值、分别为所述深色区域中的像素点的红色通道值平均值、绿色通道值平均值和蓝色通道值平均值,α为权重因子,α∈[0,1]。
本实施例中,提取单元101提取的深色眼珠区域为黑色眼珠区域或蓝色眼珠区域。
所述提取单元101包括:
量化单元1010,用于基于眼部区域的像素点的红色度和饱和度量化所述眼部区域,以得到白色区域、深色区域和红色区域。
位置关系确定单元1011,与所述量化单元1010相连,基于量化结果确定所述深色区域与所述白色区域、红色区域的位置关系,所述位置关系包括邻接关系和嵌套关系。
区域确定单元1012,与所述位置关系确定单元1011相连,用于基于所述位置关系提取红眼区域和深色眼珠区域。
本实施例中,所述量化单元1010包括:
白色像素点量化单元(图中未示出),用于在像素点的红色度小于第一阈值,饱和度小于第二阈值时,将像素点量化为白色像素点。
深色像素点量化单元(图中未示出),用于在像素点的红色度小于所述第一阈值,饱和度大于或等于所述第二阈值且小于第三阈值时,将像素点量化为深色像素点。
红色像素点量化单元(图中未示出),用于在像素点的红色度大于或等于所述第一阈值,饱和度大于或等于所述第三阈值时,将像素点量化为红色像素点。
所述量化单元1010通过如下方式获得像素点的红色度和饱和度:
I=a*R-b*G-(a-b)*B
S = max ( R , G , B ) - min ( R , G , B ) max ( R , G , B )
其中,I为像素点的红色度,S为像素点的饱和度,R、G、B分别为归一化的红色通道值、归一化的绿色通道值、归一化的蓝色通道值,a、b为权重系数,a>b且a、b∈(0,1],max(.)为取最大值函数,min(.)为取最小值函数。
本实施例中,所述量化单元1010对眼部区域进行量化时的权重系数a∈[0.4,0.6]、b∈[0.25,0.35],所述第一阈值T1∈(0,0.5],所述第二阈值T2∈(0,0.3]、所述第三阈值T3∈[0.5,1]。
本实施例中,所述位置关系确定单元1011包括:
属性获取单元(图中未示出),用于基于量化结果获取所述深色区域、白色区域、红色区域的区域属性。
第一位置关系确定单元(图中未示出),用于基于所述深色区域和白色区域的区域属性确定所述深色区域和白色区域的位置关系。
第二位置关系确定单元(图中未示出),用于基于所述深色区域和红色区域的区域属性确定所述深色区域和红色区域的位置关系。
所述属性获取单元获取的区域属性包括:区域的颜色、中心位置及形状。
在一实施例中,所述区域确定单元包括:
第一嵌套关系确定子单元,用于确定具有嵌套关系的深色区域和红色区域。
第一确定子单元,用于在所确定的深色区域存在与之具有邻接关系的白色区域时,以所述确定的红色区域作为红眼区域,以所述确定的深色区域作为深色眼珠区域。
在另一实施例中,所述区域确定单元包括:
第二嵌套关系确定子单元,用于确定具有嵌套关系的深色区域和红色区域。
第二确定子单元,用于在所确定的深色区域存在与之具有邻接关系的白色区域且所确定的红色区域存在与之具有嵌套关系的白色区域时,以所述确定的红色区域作为红眼区域,以所述确定的深色区域为深色眼珠区域。
在又一实施例中,所述区域确定单元包括:
第三嵌套关系确定子单元,用于确定具有嵌套关系的深色区域和红色区域。
第三确定子单元,用于在所确定的深色区域存在与之具有邻接关系的白色区域和与之具有嵌套关系的白色区域时,以所述确定的红色区域作为红眼区域,以所述确定的深色区域作为深色眼珠区域。
在再一实施例中,所述区域确定单元包括:
第一邻接关系确定子单元,用于确定具有邻接关系的深色区域和白色区域。
第四确定子单元,用于在所确定的深色区域存在与之具有嵌套关系的红色区域时,以该红色区域作为红眼区域,以所述确定的深色区域作为深色眼珠区域。
在又一实施例中,所述区域确定单元包括:
第二邻接关系确定子单元,用于确定具有邻接关系的深色区域和白色区域。
第五确定子单元,用于在所确定的深色区域存在与之具有嵌套关系的红色区域且该红色区域存在与之具有嵌套关系的白色区域时,以该红色区域作为红眼区域,以所述确定的深色区域作为深色眼珠区域。
在再一实施例中,所述区域确定单元包括:
第三邻接关系确定子单元,用于确定具有邻接关系的深色区域和白色区域。
第六确定子单元,用于在所确定的深色区域存在与之具有嵌套关系的红色区域和与之具有嵌套关系的白色区域时,以该红色区域作为红眼区域,以所述确定的深色区域作为深色眼珠区域。
本实施例中的去除红眼的装置的工作过程可以参见上述的去除红眼的方法进行,此处不再赘述。
实施例二
本实施例中去除红眼的方法仍然包括步骤S11和S12。与实施例一中不同的是,本实施例中步骤S11,提取眼部图像中的红眼区域和深色眼珠区域与实施例一中并不相同。而步骤S12,利用深色区域的深色像素点以及红眼区域的红色像素点对所述红眼区域进行纠正与实施例一中的相类似,故此处不再展开详述。以下对本实施例中的步骤S11进行相应的说明。
请参见图7,图7是本发明实施例二的提取眼部图像中的红眼区域和深色眼珠区域的流程示意图,如图7所示,所述提取眼部图像中的红眼区域和深色眼珠区域(对应于图1中的步骤S11)包括:
S110′:获取眼部图像中的红眼样本点。
S111′:搜索包括所述红眼样本点的预定范围内的像素点,计算所述像素点与所述红眼样本点之间的颜色距离。
S112′:基于所述颜色距离确定红色像素点和深色像素点,以所述红色像素点所在的区域为红眼区域,以所述深色像素点所在的区域为深色眼珠区域,所述预定范围与所述眼部图像的分辨率相关。
具体地,步骤S110′中,眼部图像中红眼样本点的获取可以通过现有的图像处理软件中的辅助工具来获得,如由用户通过photoshop或acdsee等图像处理软件中自带的辅助工具单次点击红眼区域中的红色像素点以获得红眼样本点。
另外,若在小型设备上获取眼部图像中的红眼样本点,如:移动终端,则可以借助于移动终端自带的图像处理工具来获取红眼样本点。
执行步骤S111′,搜索包括所述红眼样本点的预定范围内的像素点,计算所述像素点与所述红眼样本点之间的颜色距离。所述预定范围与所述眼部图像的分辨率相关。一般来讲,所述预定范围为人脸区域面积的0.25~0.5倍,且为了可以更快地提取到红眼区域和深色眼珠区域,通常所述预定范围是以红眼样本点为中心的面积为人脸区域面积的0.25~0.5倍的圆形,也可以为矩形或其他多边形。
本实施例中,可以通过如下两种方式来搜索预定范围内的像素点,并计算所述像素点与所述红眼样本点之间的颜色距离。
请参见图8,图8是本发明实施例二的搜索包括红眼样本点的预定范围内的像素点的一种搜索方式的示意图。如图8所示,首先搜索中心像素点的预定邻域的像素点,所述中心像素点位于所述预定范围内。本实施例,第一次搜索的中心像素点即为步骤S110′中获取的红眼样本点R,所述预定邻域为四邻域或八邻域。以图8为例,红眼样本点R的四邻域的像素点为像素点2、4、5、7;红眼样本点R的八邻域的像素点为像素点1、2、3、4、5、6、7、8。
本实施例中以预定邻域为八邻域对整个搜索过程进行说明。首先搜索红眼样本点R的八邻域的像素点1、2、3、4、5、6、7、8。分别计算像素点1、2、3、4、5、6、7、8与红眼样本点R之间的颜色距离。接下来,以前一次搜索到的像素点为中心像素点继续进行八邻域搜索。本实施例中,前一次搜索到的像素点为像素点1、2、3、4、5、6、7、8,则可以以像素点1、2、3、4、5、6、7、8中的一个像素点为中心像素点进行八邻域搜索,以像素点8为例,则其八邻域的像素点应为像素点R、5、13、7、9、12、11、10,本实施例中,优选地,对前一次搜索过的像素点不再进行搜索,故对于像素点8而言只搜索其八邻域中的像素点9、10、11、12、13,然后计算像素点9、10、11、12、13与红眼样本点R之间的颜色距离。接下来,再以像素点9、10、11、12、13中的一个像素点为中心像素点进行八邻域搜索,计算搜索到的像素点与红眼样本点R之间的颜色距离。重复上述搜索和计算的过程,直至最后搜索到的像素点所在的区域超出所述预定范围,则停止搜索。
请参见图9,图9是本发明实施例二的搜索包括红眼样本点的预定范围内的像素点的另一种搜索方式的示意图。如图9所示,以所述红眼样本点R为中心搜索预定邻域的像素点。本实施例中,所述预定邻域可以为以所述红眼样本点R为中心,预定长度为边长的正方形;或者,以所述红眼样本点R为中心,预定长度和宽度分别为长和宽的长方形。本实施例中,以预定邻域为正方形为例进行相应的说明,若红眼样本点R的坐标为(x,y),则以所述红眼样本点R为中心,搜索边长为2倍的像素点间距离的正方形邻域的像素点。也即搜索坐标分别为(x-1,y)、(x+1,y)、(x-1,y+1)、(x,y+1)、(x+1,y+1)、(x-1,y-1)、(x,y-1)、(x+1,y-1)的像素点。对应于图9中,则为像素点1、2、3、4、5、6、7、8,计算像素点1、2、3、4、5、6、7、8与所述红眼样本点R之间的颜色距离。增大所述预定邻域,本实施例中则可以通过增大预设边长来增大所述预定邻域,如增大所述预设边长为4倍的像素点间距离,则搜索边长为4倍的像素点间距离的正方形邻域的像素点,对应于图9则为搜索像素点9、10、11、12、13、14、15、16、17、18、19、20、21、22、23、24。然后,计算像素点9、10、11、12、13、14、15、16、17、18、19、20、21、22、23、24与所述红眼样本点R之间的颜色距离,增大所述预定邻域,继续搜索,并计算搜索到的像素点与所述红眼样本点R之间的颜色距离。重复上述搜索像素点、计算颜色距离和增大邻域的过程,直至搜索到的像素点所在区域超出所述预定范围,则停止搜索。
通过上述的两种方式,则可以搜索到包括所述红眼样本点的预定范围内的像素点。然后计算搜索到的像素点与所述红眼样本点之间的颜色距离。对于不同的色彩空间,则采用不同的方式获取搜索到的像素点与所述红眼样本点之间的颜色距离。本实施例中,以RGB色彩空间为例,则搜索到的像素点与所述红眼样本点之间的颜色距离通过如下公式获得:
d = ( R - R s ) 2 + ( G - G s ) 2 + ( B - B S ) 2
其中,d表示像素点与红眼样本点之间的颜色距离,R、G、B分别表示像素点的红色通道值、绿色通道值、蓝色通道值,Rs、Gs、Bs分别表示红眼样本点的红色通道值、绿色通道值、蓝色通道值。
执行步骤S112′,基于所述颜色距离确定红色像素点和深色像素点,以所述红色像素点所在的区域为红眼区域,以所述深色像素点所在的区域为深色眼珠区域。通过执行步骤S111′,搜索到了预定范围内的像素点,同时也计算了搜索到的像素点与所述红眼样本点之间的颜色距离,故基于所述颜色距离可以确定红色像素点和深色像素点。具体地,若所述颜色距离大于第一阈值且小于第二阈值,则搜索到的像素点为红色像素点。若所述颜色距离大于第三阈值且小于第四阈值时,则该搜索到的像素点为深色像素点
对于RGB空间而言,所述第一阈值为1,所述第二阈值为20。也即对于RGB空间而言,当所述红眼样本点与搜索到的像素点之间的颜色距离大于1且小于20时,则搜索到的像素点为红色像素点。而对于与所述红眼样本点的颜色距离等于1的像素点可以为红色像素点也可以不为红色像素点,同样地,对于与所述红眼样本点的颜色距离等于20的像素点,可以为红色像素点也可以不为红色像素点,当像素点与所述红眼样本点之间的颜色距离等于第一阈值或第二阈值时,是否确定该像素点为红色像素点则取决于红眼区域检测时的精度需求。
而对于深色像素点而言,黑色像素点或蓝色像素点所对应的第三阈值和第四阈值则有所不同。本实施例中,对于RGB空间而言,第三阈值为20、第四阈值为40时,搜索到的像素点为黑色像素点,也即当搜索到的像素点与所述红眼样本点之间的颜色距离大于20小于40时,该像素点为黑色像素点。第三阈值为10、第四阈值为30时,搜索到的像素点为蓝色像素点,也即当搜索到的像素点与所述红眼样本点之间的颜色距离大于10小于30时,该像素点为蓝色像素点。
而对于与所述红眼样本点的颜色距离等于第三阈值的像素点可以为黑色/蓝色像素点也可以不为黑色/蓝色像素点,与所述红眼样本点的颜色距离等于第四阈值的像素点,可以为黑色/蓝色像素点也可以不为黑色/蓝色像素点。当搜索到的像素点与所述红眼样本点之间的颜色距离等于第三阈值或第四阈值时,是否确定该像素点为黑色/蓝色像素点则取决于红眼区域检测时的精度需求。
本实施例中,以眼部图像所在的色彩空间为RGB空间,对红眼样本点与搜索到的像素点之间的颜色距离进行了说明,并以RGB空间的阈值来确定红色像素点和深色像素点,以获得红眼区域和深色眼珠区域。为了可以获得更精确的红眼区域和深色眼珠区域,本实施例中还可以在获取眼部图像中的红眼样本点后对所述眼部图像进行色彩空间转换,通过在不同的色彩空间中,对所述红眼样本点与搜索到的像素点之间的颜色距离的衡量来更加精确地确定红色像素点和深色像素点。
具体地,对所述眼部图像进行色彩空间转换可以是在搜索包括所述红眼样本点的预定范围内的像素点之前进行色彩空间转换,然后在转换后的色彩空间中搜索预定范围内的像素点,并计算所述像素点与所述红眼样本点之间的颜色距离。
也可以是在搜索包括所述红眼样本点的预定范围内的像素点之后进行色彩空间转换,在转换后的色彩空间中计算所述像素点与所述红眼样本点之间的颜色距离。
本实施例中,若提取的眼部图像所在的色彩空间为RGB空间,则可以将其转换至CIELab空间、HSV空间、YUV空间中的任意一种色彩空间。将RGB空间的图像转换至CIELab空间或HSV空间或YUV空间为现有技术,故此处不再赘述。
本实施例中,若转换后的眼部图像的色彩空间为CIELab空间,则计算所述像素点与所述红眼样本点之间的颜色距离通过如下公式进行:
d = ( l - l s ) 2 + ( a - a s ) 2 + ( b - b s ) 2
其中,d表示像素点与红眼样本点之间的颜色距离,l、a、b分别表示像素点的亮度通道、从红色至绿色的范围、从蓝色至黄色的范围,ls、as、bs分别表示红眼样本点的亮度通道、从红色至绿色的范围、从蓝色至黄色的范围。
若转换后的眼部图像的色彩空间为HSV空间,则计算所述像素点与所述红眼样本点之间的颜色距离通过如下公式进行:
d = α 1 ( v - v s ) 2 + β 1 ( s - s s ) 2 + ( h - h s ) 2
其中,d表示像素点与红眼样本点之间的颜色距离,h、s、v分别表示像素点的色调、饱和度和亮度,hs、ss、vs分别表示红眼样本点的色调、饱和度和亮度,α1、β1表示权重系数。
若转换后的眼部图像的色彩空间为YUV空间,则计算所述像素点与所述红眼样本点之间的颜色距离通过如下公式进行:
d = α 2 ( y - y s ) 2 + β 2 ( u - u s ) 2 + ( v - v s ) 2
其中,d表示像素点与红眼样本点之间的颜色距离,y表示像素点的亮度u、v表示像素点的色度,ys表示红眼样本点的亮度、us、vs表示红眼样本点的色度,α2、β2表示权重系数。
而对应于上述的CIELab空间或HSV空间或YUV空间而言,其确定红色像素点和深色像素点时,也是对在各个色彩空间计算得到的红眼样本点与搜索到的像素点之间的颜色距离进行判断,在所述颜色距离大于第一阈值且小于第二阈值时,所述像素点为红色像素点。在所述颜色距离大于第三阈值且小于第四阈值时,所述像素点为深色像素点。不同的是,对于不同的色彩空间而言,所述第一阈值、第二阈值、第三阈值和第四阈值的取值各有不同,具体在不同的色彩空间中,所述第一阈值、第二阈值、第三阈值和第四阈值取多少,由实际测试而定。
此外,需要说明的是,本实施例中,是由用户借助于图像处理软件中的辅助工具通过单次点击的方式获得红眼样本点,而在其他实施例中,也可以由用户通过多次点击获得多个红眼样本点,对获得的每一红眼样本点而言都存在包含所述红眼样本点的预定子范围,对每一个红眼样本点所对应的预定子范围求并集所获得的范围,为最终包含多个红眼样本点的预定范围。然后基于该预定范围搜索像素点,并计算搜索到的像素点与多个红眼样本点之间的颜色距离以确定红色像素点和深色像素点。
通过上述的方式确定了红色像素点和深色像素点,以所述红色像素点所在的区域为红眼区域,以所述深色像素点所在的区域为深色眼珠区域。接下来就可以通过所述红眼区域和深色眼珠区域对所述红眼区域进行纠正。具体对所述红眼区域如何纠正可以参见实施例一中步骤S12对所述红眼区域的纠正。
综上所述,本发明的技术方案至少具有以下有益效果:
由于结合了深色区域的像素点以及红眼区域的像素点对红眼区域进行自适应地纠正,故使得纠正后的红眼区域与深色眼珠区域更加地融合,对红眼区域的去除效果好,且去除红眼后的图像更加地真实和自然。
进一步地,通过提取到的红眼区域中的红色像素点的绿色通道值和红色通值,以及提取的深色眼珠区域的深色像素点的红色通道值的平均值、绿色通道值的平均值、蓝色通道值的平均值来对红眼区域中的红色像素点进行自适应地修正,由于对所述红色像素点的红色通道值、绿色通道值、蓝色通道进行了一致性修正,故进一步地改善了去除红眼后的图像的效果。
进一步地,在对所述红眼区域进行去除时,可以通过调整权重系数来对不同情况下的红眼区域中的红色像素点进行去除,因此具有很大的灵活性。
本发明虽然已以较佳实施例公开如上,但其并不是用来限定本发明,任何本领域技术人员在不脱离本发明的精神和范围内,都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改,因此,凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰,均属于本发明技术方案的保护范围。

Claims (28)

1.一种去除红眼的方法,其特征在于,包括:
提取眼部图像中的红眼区域和深色眼珠区域;
利用深色眼珠区域的像素点以及红眼区域的像素点对所述红眼区域进行纠正;
其中,所述利用深色眼珠区域的像素点以及红眼区域的像素点对所述红眼区域进行纠正通过如下公式进行:
其中,Rnew、Gnew、Bnew分别为所述红眼区域中的像素点在纠正后的红色通道值、绿色通道值、蓝色通道值,Gold、Bold分别为所述红眼区域中的像素点在纠正前的绿色通道值、蓝色通道值、分别为所述深色眼珠区域中的像素点的红色通道值平均值、绿色通道值平均值和蓝色通道值平均值,α为权重因子,α∈[0,1]。
2.如权利要求1所述的去除红眼的方法,其特征在于,所述深色眼珠区域为黑色眼珠区域或蓝色眼珠区域。
3.如权利要求1所述的去除红眼的方法,其特征在于,所述提取眼部图像中的红眼区域和深色眼珠区域包括:
基于眼部区域的像素点的红色度和饱和度量化所述眼部区域,以得到白色区域、深色区域和红色区域;
基于量化结果确定所述深色区域与所述白色区域、红色区域的位置关系,所述位置关系包括邻接关系和嵌套关系;
基于所述位置关系确定红眼区域和深色眼珠区域。
4.如权利要求3所述的去除红眼的方法,其特征在于,所述基于眼部区域的像素点的红色度和饱和度量化所述眼部区域,以得到白色区域、深色区域和红色区域包括:
若像素点的红色度小于第一阈值,饱和度小于第二阈值则将像素点量化为白色像素点;
若像素点的红色度小于所述第一阈值,饱和度大于或等于所述第二阈值且小于第三阈值则将像素点量化为深色像素点;
若像素点的红色度大于或等于所述第一阈值,饱和度大于或等于所述第三阈值则将像素点量化为红色像素点。
5.如权利要求4所述的去除红眼的方法,其特征在于,所述像素点的红色度和饱和度通过如下方式获得:
I=a*R-b*G-(a-b)*B
其中,I为像素点的红色度,S为像素点的饱和度,R、G、B分别为红色通道值、绿色通道值、蓝色通道值,a、b为权重系数,a>b且a、b∈(0,1],max(.)为取最大值函数,min(.)为取最小值函数。
6.如权利要求5所述的去除红眼的方法,其特征在于,所述权重系数a∈[0.4,0.6]、b∈[0.25,0.35],所述第一阈值T1∈(0,0.5],所述第二阈值T2∈(0,0.3]、所述第三阈值T3∈[0.5,1]。
7.如权利要求3所述的去除红眼的方法,其特征在于,所述基于所述位置关系确定红眼区域和深色眼珠区域包括:
确定具有嵌套关系的深色区域和红色区域;
若所确定的深色区域存在与之具有邻接关系的白色区域,则以所述确定的红色区域作为红眼区域,以所述确定的深色区域作为深色眼珠区域。
8.如权利要求3所述的去除红眼的方法,其特征在于,所述基于所述位置关系确定红眼区域和深色眼珠区域包括:
确定具有嵌套关系的深色区域和红色区域;
若所确定的深色区域存在与之具有邻接关系的白色区域且所确定的红色区域存在与之具有嵌套关系的白色区域,则以所述确定的红色区域作为红眼区域,以所述确定的深色区域作为深色眼珠区域。
9.如权利要求3所述的去除红眼的方法,其特征在于,所述基于所述位置关系确定红眼区域和深色眼珠区域包括:
确定具有嵌套关系的深色区域和红色区域;
若所确定的深色区域存在与之具有邻接关系的白色区域和与之具有嵌套关系的白色区域,则以所述确定的红色区域作为红眼区域,以所述确定的深色区域作为深色眼珠区域。
10.如权利要求3所述的去除红眼的方法,其特征在于,所述基于所述位置关系确定红眼区域和深色眼珠区域包括:
确定具有邻接关系的深色区域和白色区域;
若所确定的深色区域存在与之具有嵌套关系的红色区域,则以该红色区域作为红眼区域,以所述确定的深色区域作为深色眼珠区域。
11.如权利要求3所述的去除红眼的方法,其特征在于,所述基于所述位置关系确定红眼区域和深色眼珠区域包括:
确定具有邻接关系的深色区域和白色区域;
若所确定的深色区域存在与之具有嵌套关系的红色区域且该红色区域存在与之具有嵌套关系的白色区域,则以该红色区域作为红眼区域,以所述确定的深色区域作为深色眼珠区域。
12.如权利要求3所述的去除红眼的方法,其特征在于,所述基于所述位置关系确定红眼区域和深色眼珠区域包括:
确定具有邻接关系的深色区域和白色区域;
若所确定的深色区域存在与之具有嵌套关系的红色区域和与之具有嵌套关系的白色区域,则以该红色区域作为红眼区域,以所述确定的深色区域作为深色眼珠区域。
13.如权利要求3所述的去除红眼的方法,其特征在于,所述基于量化结果确定所述深色区域与所述白色区域、红色区域的位置关系包括:
基于量化结果获取所述深色区域、白色区域、红色区域的区域属性;
基于所述深色区域和白色区域的区域属性确定所述深色区域和白色区域的位置关系;
基于所述深色区域和红色区域的区域属性确定所述深色区域和红色区域的位置关系。
14.如权利要求13所述的去除红眼的方法,其特征在于,所述区域属性包括:区域的颜色、中心位置及形状。
15.一种去除红眼的装置,其特征在于,包括:
提取单元,用于提取眼部图像中的红眼区域和深色眼珠区域;
纠正单元,用于利用深色眼珠区域的像素点以及红眼区域的像素点对所述红眼区域进行纠正;
其中,所述纠正单元通过如下公式对所述红眼区域进行纠正:
其中,Rnew、Gnew、Bnew分别为所述红眼区域中的像素点在纠正后的红色通道值、绿色通道值、蓝色通道值,Gold、Bold分别为所述红眼区域中的像素点在纠正前的绿色通道值、蓝色通道值、分别为所述深色区域中的像素点的红色通道值平均值、绿色通道值平均值和蓝色通道值平均值,α为权重因子,α∈[0,1]。
16.如权利要求15所述的去除红眼的装置,其特征在于,所述深色眼珠区域为黑色眼珠区域或蓝色眼珠区域。
17.如权利要求15所述的去除红眼的装置,其特征在于,所述提取单元包括:
量化单元,用于基于眼部区域的像素点的红色度和饱和度量化所述眼部区域,以得到白色区域、深色区域和红色区域;
位置关系确定单元,基于量化结果确定所述深色区域与所述白色区域、红色区域的位置关系,所述位置关系包括邻接关系和嵌套关系;
区域确定单元,用于基于所述位置关系确定红眼区域和深色眼珠区域。
18.如权利要求17所述的去除红眼的装置,其特征在于,所述量化单元包括:
白色像素点量化单元,用于在像素点的红色度小于第一阈值,饱和度小于第二阈值时,将像素点量化为白色像素点;
深色像素点量化单元,用于在像素点的红色度小于所述第一阈值,饱和度大于或等于所述第二阈值且小于第三阈值时,将像素点量化为深色像素点;
红色像素点量化单元,用于在像素点的红色度大于或等于所述第一阈值,饱和度大于或等于所述第三阈值时,将像素点量化为红色像素点。
19.如权利要求18所述的去除红眼的装置,其特征在于,所述量化单元通过如下方式获得像素点的红色度和饱和度:
I=a*R-b*G-(a-b)*B
其中,I为像素点的红色度,S为像素点的饱和度,R、G、B分别为红色通道值、绿色通道值、蓝色通道值,a、b为权重系数,a>b且a、b∈(0,1],max(.)为取最大值函数,min(.)为取最小值函数。
20.如权利要求19所述的去除红眼的装置,其特征在于,所述权重系数a∈[0.4,0.6]、b∈[0.25,0.35],所述第一阈值T1∈(0,0.5],所述第二阈值T2∈(0,0.3]、所述第三阈值T3∈[0.5,1]。
21.如权利要求17所述的去除红眼的装置,其特征在于,所述区域确定单元包括:
第一嵌套关系确定子单元,用于确定具有嵌套关系的深色区域和红色区域;
第一确定子单元,用于在所确定的深色区域存在与之具有邻接关系的白色区域时,以所述确定的红色区域作为红眼区域,以所述确定的深色区域作为深色眼珠区域。
22.如权利要求17所述的去除红眼的装置,其特征在于,所述区域确定单元包括:
第二嵌套关系确定子单元,用于确定具有嵌套关系的深色区域和红色区域;
第二确定子单元,用于在所确定的深色区域存在与之具有邻接关系的白色区域且所确定的红色区域存在与之具有嵌套关系的白色区域时,以所述确定的红色区域作为红眼区域,以所述确定的深色区域为深色眼珠区域。
23.如权利要求17所述的去除红眼的装置,其特征在于,所述区域确定单元包括:
第三嵌套关系确定子单元,用于确定具有嵌套关系的深色区域和红色区域;
第三确定子单元,用于在所确定的深色区域存在与之具有邻接关系的白色区域和与之具有嵌套关系的白色区域时,以所述确定的红色区域作为红眼区域,以所述确定的深色区域作为深色眼珠区域。
24.如权利要求17所述的去除红眼的装置,其特征在于,所述区域确定单元包括:
第一邻接关系确定子单元,用于确定具有邻接关系的深色区域和白色区域;
第四确定子单元,用于在所确定的深色区域存在与之具有嵌套关系的红色区域时,以该红色区域作为红眼区域,以所述确定的深色区域作为深色眼珠区域。
25.如权利要求17所述的去除红眼的装置,其特征在于,所述区域确定单元包括:
第二邻接关系确定子单元,用于确定具有邻接关系的深色区域和白色区域;
第五确定子单元,用于在所确定的深色区域存在与之具有嵌套关系的红色区域且该红色区域存在与之具有嵌套关系的白色区域时,以该红色区域作为红眼区域,以所述确定的深色区域作为深色眼珠区域。
26.如权利要求17所述的去除红眼的装置,其特征在于,所述区域确定单元包括:
第三邻接关系确定子单元,用于确定具有邻接关系的深色区域和白色区域;
第六确定子单元,用于在所确定的深色区域存在与之具有嵌套关系的红色区域和与之具有嵌套关系的白色区域时,以该红色区域作为红眼区域,以所述确定的深色区域作为深色眼珠区域。
27.如权利要求17所述的去除红眼的装置,其特征在于,所述位置关系确定单元包括:
属性获取单元,用于基于量化结果获取所述深色区域、白色区域、红色区域的区域属性;
第一位置关系确定单元,用于基于所述深色区域和白色区域的区域属性确定所述深色区域和白色区域的位置关系;
第二位置关系确定单元,用于基于所述深色区域和红色区域的区域属性确定所述深色区域和红色区域的位置关系。
28.如权利要求17所述的去除红眼的装置,其特征在于,所述区域属性包括:区域的颜色、中心位置及形状。
CN201210021247.2A 2012-01-30 2012-01-30 去除红眼的方法及装置 Active CN103226691B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210021247.2A CN103226691B (zh) 2012-01-30 2012-01-30 去除红眼的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210021247.2A CN103226691B (zh) 2012-01-30 2012-01-30 去除红眼的方法及装置

Publications (2)

Publication Number Publication Date
CN103226691A CN103226691A (zh) 2013-07-31
CN103226691B true CN103226691B (zh) 2016-01-27

Family

ID=48837132

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210021247.2A Active CN103226691B (zh) 2012-01-30 2012-01-30 去除红眼的方法及装置

Country Status (1)

Country Link
CN (1) CN103226691B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0911759A2 (en) * 1997-10-23 1999-04-28 Hewlett-Packard Company apparatus and a method for reducing red-eye in an image
CN101213828A (zh) * 2005-04-28 2008-07-02 惠普开发有限公司 将虹膜颜色结合到红眼修正中的方法和设备
CN101489051A (zh) * 2008-01-17 2009-07-22 佳能株式会社 图像处理设备和图像处理方法以及摄像设备
CN101542522A (zh) * 2007-03-15 2009-09-23 欧姆龙株式会社 眼睛颜色校正装置以及程序
US7970181B1 (en) * 2007-08-10 2011-06-28 Adobe Systems Incorporated Methods and systems for example-based image correction

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8331666B2 (en) * 2008-03-03 2012-12-11 Csr Technology Inc. Automatic red eye artifact reduction for images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0911759A2 (en) * 1997-10-23 1999-04-28 Hewlett-Packard Company apparatus and a method for reducing red-eye in an image
CN101213828A (zh) * 2005-04-28 2008-07-02 惠普开发有限公司 将虹膜颜色结合到红眼修正中的方法和设备
CN101542522A (zh) * 2007-03-15 2009-09-23 欧姆龙株式会社 眼睛颜色校正装置以及程序
US7970181B1 (en) * 2007-08-10 2011-06-28 Adobe Systems Incorporated Methods and systems for example-based image correction
CN101489051A (zh) * 2008-01-17 2009-07-22 佳能株式会社 图像处理设备和图像处理方法以及摄像设备

Also Published As

Publication number Publication date
CN103226691A (zh) 2013-07-31

Similar Documents

Publication Publication Date Title
US8184900B2 (en) Automatic detection and correction of non-red eye flash defects
US9542599B2 (en) Image processing device and image processing method
WO2017092431A1 (zh) 基于肤色的人手检测方法及装置
US8374403B2 (en) Methods and apparatus for efficient, automated red eye detection
US7831067B2 (en) Methods and apparatus for automated, multi-level red eye correction
WO2016054904A1 (zh) 图像处理方法、图像处理装置及显示设备
CN110008783A (zh) 基于神经网络模型的人脸活体检测方法、装置及电子设备
US8559668B2 (en) Red-eye reduction using facial detection
US20110019912A1 (en) Detecting And Correcting Peteye
US9460521B2 (en) Digital image analysis
CN103974053B (zh) 一种基于灰点提取的自动白平衡矫正方法
KR20040047834A (ko) 적목현상 부분을 제거하기 위한 이미지 처리
KR101631012B1 (ko) 화상 처리 장치 및 화상 처리 방법
CA3153067C (en) Picture-detecting method and apparatus
JP2007272435A (ja) 顔特徴抽出装置及び顔特徴抽出方法
CN103914708A (zh) 基于机器视觉的食品品种检测方法及系统
WO2018010386A1 (zh) 元件反件检测方法和系统
CN103218615B (zh) 人脸判定方法
CN109242792B (zh) 一种基于白色物体的白平衡校对方法
CN110110131A (zh) 一种基于深度学习与双目立体视觉的飞机线缆支架识别与参数获取方法
CN103226690B (zh) 检测红眼的方法及装置、去除红眼的方法及装置
CN103226689B (zh) 检测红眼的方法及装置、去除红眼的方法及装置
CN108805144A (zh) 基于形态学矫正的弹孔识别方法及系统、报靶设备
CN110674737B (zh) 一种虹膜识别的增强方法
CN112651962A (zh) 一种ai智能诊断系统平台

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20170204

Address after: 200127 room 3205F, building 707, Zhang Yang Road, Shanghai, China (Shanghai) free trade zone, No. 32

Patentee after: Xin Xin Finance Leasing Co.,Ltd.

Address before: Zuchongzhi road in Pudong Zhangjiang hi tech park Shanghai 201203 Lane 2288 Pudong New Area Spreadtrum Center Building 1

Patentee before: SPREADTRUM COMMUNICATIONS (SHANGHAI) Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20170707

Address after: 100033 room 2062, Wenstin Executive Apartment, 9 Financial Street, Beijing, Xicheng District

Patentee after: Xin Xin finance leasing (Beijing) Co.,Ltd.

Address before: 200127 room 3205F, building 707, Zhang Yang Road, Shanghai, China (Shanghai) free trade zone, No. 32

Patentee before: Xin Xin Finance Leasing Co.,Ltd.

EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20130731

Assignee: SPREADTRUM COMMUNICATIONS (SHANGHAI) Co.,Ltd.

Assignor: Xin Xin finance leasing (Beijing) Co.,Ltd.

Contract record no.: 2018990000163

Denomination of invention: Red eye detection method and device and red eye removing method and device

Granted publication date: 20160127

License type: Exclusive License

Record date: 20180626

EE01 Entry into force of recordation of patent licensing contract
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20200305

Address after: 201203 Zuchongzhi Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai 2288

Patentee after: SPREADTRUM COMMUNICATIONS (SHANGHAI) Co.,Ltd.

Address before: 100033 room 2062, Wenstin administrative apartments, 9 Financial Street B, Xicheng District, Beijing.

Patentee before: Xin Xin finance leasing (Beijing) Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20200528

Address after: 361012 unit 05, 8 / F, building D, Xiamen international shipping center, No.97 Xiangyu Road, Xiamen area, China (Fujian) free trade zone, Xiamen City, Fujian Province

Patentee after: Xinxin Finance Leasing (Xiamen) Co.,Ltd.

Address before: 201203 Zuchongzhi Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai 2288

Patentee before: SPREADTRUM COMMUNICATIONS (SHANGHAI) Co.,Ltd.

EC01 Cancellation of recordation of patent licensing contract
EC01 Cancellation of recordation of patent licensing contract

Assignee: SPREADTRUM COMMUNICATIONS (SHANGHAI) Co.,Ltd.

Assignor: Xin Xin finance leasing (Beijing) Co.,Ltd.

Contract record no.: 2018990000163

Date of cancellation: 20210301

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20130731

Assignee: SPREADTRUM COMMUNICATIONS (SHANGHAI) Co.,Ltd.

Assignor: Xinxin Finance Leasing (Xiamen) Co.,Ltd.

Contract record no.: X2021110000010

Denomination of invention: Method and device for removing red eye

Granted publication date: 20160127

License type: Exclusive License

Record date: 20210317

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230717

Address after: 201203 Shanghai city Zuchongzhi road Pudong New Area Zhangjiang hi tech park, Spreadtrum Center Building 1, Lane 2288

Patentee after: SPREADTRUM COMMUNICATIONS (SHANGHAI) Co.,Ltd.

Address before: 361012 unit 05, 8 / F, building D, Xiamen international shipping center, 97 Xiangyu Road, Xiamen area, China (Fujian) pilot Free Trade Zone, Xiamen City, Fujian Province

Patentee before: Xinxin Finance Leasing (Xiamen) Co.,Ltd.