CN1993707A - 图像处理方法和设备、摄像设备以及程序 - Google Patents

图像处理方法和设备、摄像设备以及程序 Download PDF

Info

Publication number
CN1993707A
CN1993707A CN200580025780.4A CN200580025780A CN1993707A CN 1993707 A CN1993707 A CN 1993707A CN 200580025780 A CN200580025780 A CN 200580025780A CN 1993707 A CN1993707 A CN 1993707A
Authority
CN
China
Prior art keywords
catchlights
region
pupil
image
zone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200580025780.4A
Other languages
English (en)
Other versions
CN1993707B (zh
Inventor
御手洗裕辅
真继优和
森克彦
金田雄司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2004223577A external-priority patent/JP4537142B2/ja
Application filed by Canon Inc filed Critical Canon Inc
Priority claimed from PCT/JP2005/014143 external-priority patent/WO2006011635A1/en
Publication of CN1993707A publication Critical patent/CN1993707A/zh
Application granted granted Critical
Publication of CN1993707B publication Critical patent/CN1993707B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

从输入图像中提取眼睛区域。从眼睛区域中提取不良瞳孔色调质量区域。从不良瞳孔色调质量区域中提取高亮度区域。提取通过从不良瞳孔色调质量区域中去除高亮度区域而获得的区域作为红眼区域。使用与用于红眼区域的方法不同的方法来校正高亮度区域。

Description

图像处理方法和设备、摄像设备以及程序
技术领域
本发明涉及一种可校正在闪光拍摄时出现的表现为红眼的不良瞳孔色调质量的图像处理设备和方法。
背景技术
作为传统上已知的一种现象,当在使用闪光照射的同时用例如照相机等的摄像设备拍摄例如在暗处的人等被摄体时,由于被摄体的视网膜反射的原因而出现不良瞳孔色调质量,因此瞳孔被拍摄为红色或者金色。
作为不良瞳孔色调质量校正方法,提出了一种使操作者指定图像中的红眼区域、根据在红眼区域中的位置来改变红眼区域中的数据校正量的方法(例如,日本特开2000-134486号公报)。提出了另一种方法,其中显示所拍摄图像、手动地指定图像中包括眼睛的预定区域、从所指定的区域中提取红眼或者金眼并且校正所提取的红眼或者金眼(例如,日本特开2001-61071号公报)。
然而,在这些现有技术中,校正区域的图像可能不自然。此外,由于需要指定区域,因此操作者的操作很烦杂。
本发明的一个目的是提供一种校正方法,通过该方法可容易地将上述在闪光拍摄时所出现的例如红眼或金眼等不良瞳孔色调质量校正为更自然的瞳孔图像而没有任何不良瞳孔色调质量。
传统上,还提出了设置眼神光(catch light)以产生更自然的图像的图像处理设备(例如,日本特开平10-91761号和10-75374号公报)。
在日本特开平10-91761号公报中,指定拍摄图像的红眼部分,在所指定的红眼部分中指定眼神光的位置。操作者手动地进行眼睛区域和眼神光的位置的指定。
在日本特开平10-75374号公报中,当操作者指定包括眼睛区域的区域时,从所指定的区域中提取眼睛区域,并判断所提取的眼睛区域中的眼神光。如果眼神光弱,则增强眼神光。操作者手动地进行包括眼睛区域的区域的指定。
然而,在这些现有技术中,由于操作者在眼神光设置中手动地指定图像中的脸/眼睛区域或者眼神光位置/大小,因此操作者的操作很烦杂。图像校正的精确度很大程度上取决于操作者的操作。
本发明的另一个目的是容易地设置合适的眼神光。
发明内容
为了达到本发明的目的,例如,本发明的图像处理方法包括如下配置。
即,一种图像处理方法,其特征在于,包括:
输入步骤,用于输入图像;
不良瞳孔色调质量区域提取步骤,用于从图像中提取不良瞳孔色调质量区域;
高亮度区域提取步骤,用于从不良瞳孔色调质量区域中提取高亮度区域;
红眼区域校正步骤,用于将从不良瞳孔色调质量区域中去除高亮度区域而获得区域确定为红眼区域,并校正该红眼区域;以及
高亮度区域校正步骤,用于通过使用与红眼区域校正步骤中的方法不同的方法来校正高亮度区域。
为了达到本发明的目的,例如,本发明的图像处理方法包括如下配置。
即,一种图像处理方法,其特征在于,包括:
眼睛区域提取步骤,用于从包括眼睛的图像中提取眼睛区域;
中心确定步骤,用于确定眼睛的中心;
低亮度像素提取步骤,用于从眼睛区域中提取亮度不大于预定阈值的低亮度像素;
形状判断步骤,用于判断所提取的低亮度像素的连续部分是否具有第一预定形状;
位置判断步骤,用于当连续部分具有第一预定形状时,判断眼睛的中心是否位于相对于连续部分的预定位置;以及
瞳孔区域提取步骤,用于当眼睛的中心位于预定位置时,提取具有由连续部分的形状所确定的第二预定形状的区域作为眼睛的瞳孔区域。
为了达到本发明的目的,例如,本发明的图像处理设备包括如下配置。
即,一种图像处理设备,其特征在于,包括:
输入装置,用于输入图像;
不良瞳孔色调质量区域提取装置,用于从图像中提取不良瞳孔色调质量区域;
高亮度区域提取装置,用于从所提取的不良瞳孔色调质量区域中提取高亮度区域;
红眼区域校正装置,用于将从不良瞳孔色调质量区域中去除高亮度区域而获得区域确定为红眼区域,并校正该红眼区域;以及
高亮度区域校正装置,用于通过使用与红眼区域校正装置中的方法不同的方法来校正高亮度区域。
为了达到本发明的目的,例如,本发明的图像处理设备包括如下配置。
即,一种图像处理设备,其特征在于,包括:
眼睛区域提取装置,用于从包括眼睛的图像中提取眼睛区域;
中心确定装置,用于确定眼睛的中心;
低亮度像素提取装置,用于从眼睛区域中提取亮度不大于预定阈值的低亮度像素;
形状判断装置,用于判断所提取的低亮度像素的连续部分是否具有第一预定形状;
位置判断装置,用于当连续部分具有第一预定形状时,判断眼睛的中心是否位于相对于连续部分的预定位置;以及
瞳孔区域提取装置,用于当眼睛的中心位于预定位置时,提取具有由连续部分的形状所确定的第二预定形状的区域作为眼睛的瞳孔区域。
为了达到本发明的目的,例如,本发明的摄像设备包括如下配置。
即,一种摄像设备,其特征在于,包括:
图像产生装置,用于产生被摄体图像;以及
根据权利要求31或32所述的图像处理设备,
其中,图像处理设备校正图像产生装置所产生的被摄体图像中的不良瞳孔色调质量。
为了达到本发明的目的,例如,本发明的图像处理方法包括如下配置。
即,一种图像处理方法,其特征在于,包括:
输入步骤,用于输入图像;
脸部图像产生参数提取步骤,用于通过分析输入图像来提取预定的脸部图像产生参数;以及
眼神光设置步骤,用于基于在脸部图像产生参数提取步骤中提取的参数来设置图像中的眼神光。
为了达到本发明的目的,例如,本发明的图像处理设备包括如下配置。
即,一种图像处理设备,其特征在于,包括:
输入装置,用于输入图像;
脸部图像产生参数提取装置,用于通过分析输入图像来提取预定的脸部图像产生参数;以及
眼神光设置装置,用于基于脸部图像产生参数提取装置所提取的参数来设置图像中的眼神光。
为了达到本发明的目的,例如,本发明的摄像设备包括如下配置。
即,一种摄像设备,其特征在于,包括:
摄像装置;以及
根据权利要求49所述的图像处理设备,
其中,图像处理设备在由摄像装置拍摄的图像中设置眼神光。
从以下结合附图的说明,本发明的其它特征和优点将更加明显,在附图的全部图中,相同的附图标记表示相同或者类似的部分。
附图说明
包含在说明书中并构成说明书的一部分的附图示出本发明的实施例,与说明书一起用于说明本发明的原理。
图1是示出根据第一实施例的图像处理设备的功能性配置的框图;
图2是示出根据第一实施例的处理过程的流程图;
图3是示出不良瞳孔色调质量校正处理过程的流程图;
图4是示出不良瞳孔色调质量区域提取处理过程的流程图;
图5A和5B是示出低亮度区域提取结果的视图;
图6是示出摄像设备的配置的框图;
图7是示出图像处理设备的硬件结构的框图;
图8是示出根据第三实施例的图像处理设备的功能性配置的框图;
图9是示出脸部图像产生参数提取单元的详细配置的框图;
图10是示出眼睛区域中的白眼、虹膜和瞳孔区域的视图;
图11是示出使用卷积神经网络所检测到的脸部、眼睛和嘴的检测位置的视图;
图12是示出脸部朝前时左眼、右眼和嘴的检测位置之间的距离的视图;
图13是示出脸部转向左侧时左眼、右眼和嘴的检测位置之间的距离的视图;
图14是示出二值化之后眼睛区域附近的二值化图像的视图;
图15是示出眼睛区域的横向频率分布图的曲线图;
图16是示出眼睛区域的纵向频率分布图的曲线图;
图17是示出脸部朝前时眼睛区域的横向频率分布图的曲线图;
图18是示出脸部朝前时眼睛区域的纵向频率分布图的曲线图;
图19是示出瞳孔/虹膜区域沿横向移动时眼睛区域的横向频率分布图的曲线图;
图20是示出瞳孔/虹膜区域沿横向移动时眼睛区域的纵向频率分布图的曲线图;
图21是示出瞳孔/虹膜区域向上移动时眼睛区域的横向频率分布图的曲线图;
图22是示出瞳孔/虹膜区域向上移动时眼睛区域的纵向频率分布图的曲线图;
图23是示出眼神光设置单元的详细配置的框图;
图24是示出眼睛区域的横向频率分布图和眼神光大小之间的关系的曲线图;
图25是示出脸部在水平平面内向左转(绕z轴转动)并且视线朝前的情况的视图;
图26是示出脸部方向在水平平面内从朝前转到朝左时的眼神光位置矢量的视图;
图27是示出根据第三实施例的整体处理过程的流程图;
图28是示出根据第四实施例的图像处理设备的功能性配置的框图;
图29是示出在颜色缺陷检测/校正处理之后执行眼神光设置的处理过程的流程图;
图30是示出根据第五实施例的摄像设备的功能性配置的框图;
图31是示出摄像单元的详细配置的框图;
图32是示出图像处理单元的详细配置的框图;
图33是示出存在颜色缺陷时包括具有预定值或更大值的明度区域和瞳孔/虹膜区域的眼睛区域视图;
图34是示出在瞳孔/虹膜区域中所希望的眼神光大小和检测到的具有预定值的明度的视图;
图35是示出根据第五实施例的图像处理单元的处理过程的流程图;
图36是示出根据第六实施例的摄像设备的功能性配置的框图;
图37是示出根据第六实施例的处理过程的流程图;
图38是示出根据第七实施例的图像处理设备的功能性配置的框图;
图39是示出根据第七实施例的处理过程的流程图;
图40是示出根据第八实施例的图像处理设备的功能性配置的框图;
图41是示出根据第八实施例的处理过程的流程图;
图42是示出根据第九实施例的图像处理设备的功能性配置的框图;以及
图43是示出根据第九实施例的处理过程的流程图。
具体实施方式
现在,根据附图详细说明本发明的优选实施例。
第一实施例
作为第一实施例,说明一种图像处理设备,其接收包含具有不良瞳孔色调质量的人脸的图像作为输入图像数据并校正图像中的不良瞳孔色调质量。在本实施例中,人的瞳孔作为不良瞳孔色调质量校正目标被处理。然而,该不良瞳孔色调质量校正方法不仅可以应用于人,还可以应用于例如狗等的动物。
图1示出根据本实施例的图像处理设备的功能性配置。图2是不良瞳孔色调质量校正处理的流程图。参考图1和2说明根据本实施例的不良瞳孔色调质量校正处理的概要。
图像输入单元10是用于输入作为不良瞳孔色调质量校正目标的图像的模块。图像输入单元10输入图像数据(步骤S20)。不良瞳孔色调质量区域提取单元11提取输入图像中的不良瞳孔色调质量区域(步骤S21)。高亮度区域提取单元12从不良瞳孔色调质量区域提取单元11所提取的不良瞳孔色调质量区域中提取具有预定亮度值或更大亮度值的像素,从而提取不良瞳孔色调质量区域中的高亮度区域(步骤S22)。
红眼区域提取单元13是用于提取要作为红眼区域被校正的区域的模块。红眼区域提取单元13从不良瞳孔色调质量区域提取单元11所提取的不良瞳孔色调质量区域中提取除了由高亮度区域提取单元12所提取的高亮度区域之外的区域作为红眼区域(步骤S23)。
红眼校正处理单元14是用于校正由红眼区域提取单元13所提取的红眼区域的模块。红眼校正处理单元14对由红眼区域提取单元13所提取的红眼区域中的输入图像的每一个像素执行预定校正(步骤S24)。
高亮度区域校正处理单元15是用于校正由高亮度区域提取单元12所提取的高亮度区域的模块。高亮度区域校正处理单元15对高亮度区域中的输入图像的每一个像素执行与红眼校正处理单元14所执行的预定校正不同的预定校正(步骤S25)。通过该校正,可以将红眼或金眼等不良瞳孔色调质量校正为没有任何不良瞳孔色调质量的更自然的瞳孔图像。
图3是示出校正图像中的人的瞳孔的不良瞳孔色调质量的详细处理过程的流程图。下面参考图3详细说明不良瞳孔色调质量校正方法。
在图像输入(步骤S300)中,输入要进行不良瞳孔色调质量校正的图像数据。在图像显示(步骤S301)中,将输入图像数据显示为图像。
在眼睛区域提取(步骤S302)中,从所显示的图像中提取粗略的眼睛区域。可以使用例如指示装置来手动地指定眼睛区域。作为选择,可以使用模板匹配等已知的模式识别技术自动从输入图像中提取眼睛区域。在本实施例中,将指示装置从瞳孔附近拖动到眼睛外的点,从而提取包含眼睛并使其中心位于瞳孔附近的圆形或椭圆形区域作为眼睛区域。这里所提取的眼睛区域是后续校正处理的目标区域。
在不良瞳孔色调质量区域提取(步骤S303)中,从所提取的眼睛区域中提取不良瞳孔色调质量区域。在本例子中,提取出现作为典型的不良瞳孔色调质量的红眼或金眼的区域。图4是示出根据本实施例的不良瞳孔色调质量区域提取处理过程的流程图。下面参考图4说明根据本实施例的不良瞳孔色调质量区域提取。
在最小亮度值检测(步骤S3030)中,检测眼睛区域中像素的亮度值的最小值Vmin。在初始阈值设置(步骤S3031)中,根据在最小亮度值检测(步骤S3030)中检测到的最小亮度值来确定在接下来的低亮度区域提取(步骤S3032)中的阈值处理要使用的初始阈值P_Th。将初始阈值P_Th设置为例如P_Th=Vmin+b或者P_Th=η×Vmin(b和η是正的常数)。预先设置常数b或η。在最初的低亮度区域提取(步骤S3032)中提取的低亮度区域优选为小。因此,将b或η设置得相对小。
在低亮度区域提取(步骤S3032)中,执行低亮度区域提取,其中,使用在初始阈值设置(步骤S3031)或者在稍后说明的阈值再设置(步骤S3034)中设置的阈值来提取亮度值等于或小于该阈值的像素。
在环状判断分支(步骤S3033)中,判断在低亮度区域提取(步骤S3032)中从眼睛区域提取的低亮度区域中是否包括环状区域。该处理流程根据该判断的结果而分支。所提取的区域是环状表示所提取的区域具有图5A或5B所示的白色区域的形状。以下将该形状简称为环。
图5A或5B中灰色的圆50表示在上述眼睛区域提取(步骤S302)中所选择的眼睛区域的外周。白色区域51表示在低亮度区域提取(步骤S3032)中提取的眼睛区域中的低亮度区域。图5A或5B中的叉号52表示指定为瞳孔附近的位置,即在眼睛区域提取(步骤S302)中所指定的瞳孔附近(指示装置的拖动开始点)。以下将这个点简称为瞳孔附近点。
将黑色区域53称为环内区域(稍后说明)。在该环状判断分支(步骤S3033)中,如果不存在环,则该流程前进到阈值再设置(步骤S3034)。如果存在环,则该流程前进到环内瞳孔判断分支(步骤S3035)。
下面说明在环状判断分支(步骤S3033)中判断是否存在环的方法。对于除了作为低亮度区域所提取的像素之外的非低亮度像素,对全部的连续像素即连续部分分配相同的标签,对不同的连续部分分配不同的标签。通过这种所谓的标签化处理,提取低亮度区域。在标签化的连续部分中,检测由低亮度区域整体围绕的连续部分。如果检测到由低亮度区域整体围绕的这种连续部分,则存在环。如果没有检测到这种连续部分,则不存在环。以这种方式来判断是否存在环。在由低亮度区域整体围绕的连续部分中,可以忽略面积小于预定值的部分。可以使用预先设置的常数作为预定面积。作为选择,可以使用与在眼睛区域提取(步骤S302)中所选择的眼睛区域的面积成比例的值。在本实施例中,通过上述处理来判断是否存在环。然而,本发明不特定地局限于此,可以使用任何其它方法。
如果在环状判断分支(步骤S3033)中判断为不存在环,则该流程前进到阈值再设置(步骤S3034)从而再次设置要在低亮度区域提取(步骤S3032)中使用的阈值。在阈值再设置(步骤S3034)中,再次设置阈值使得要提取的、作为低亮度区域的像素数大于刚在之前的低亮度区域提取(步骤S3032)中所使用的阈值的像素数。例如,假设Th_Old是刚在之前的低亮度区域提取(步骤S3032)中所使用的阈值,Th_New是要再次设置的阈值。将阈值再次设置为Th_New=Th_Old+Δb或者Th_New=Δη×Th_Old(Δb和Δη是正的常数)。当再次设置阈值并且低亮度区域提取(步骤S3032)和环状判断分支(步骤S3033)循环时,可以提取适当的低亮度区域。
如果在环状判断分支(步骤S3033)中检测到了环,则该流程前进到环内瞳孔判断分支(步骤S3035)。对在环状判断分支(步骤S3033)中检测到的每一个环判断在环内区域是否存在瞳孔附近点。根据结果该处理流程分支。环内区域对应于环状判断分支(步骤S3033)中标签化的连续部分。即,环内区域表示与环的内侧相接触地存在的低亮度区域。如果在该区域中存在瞳孔附近点,则该处理前进到不良瞳孔色调质量候选区域确定(步骤S3036)。如果不存在瞳孔附近点,则该流程返回到阈值再设置(步骤S3034)以执行循环处理。以下将在这里判断为在其内部区域中具有瞳孔附近点的环称为候选环。
在不良瞳孔色调质量候选区域确定(步骤S3036)中,确定要进行下一个处理,即特定色调像素提取(步骤S3037)和特定亮度像素提取(步骤S3038)的不良瞳孔色调质量候选区域。将包含与候选环的内侧相接触的低亮度区域的区域设置为初始计数区域。对在初始计数区域中的低亮度区域提取(步骤S3032)中所提取的低亮度像素的数量进行计数。此外,计算该区域的圆形度水平。
逐渐延伸候选环的连续部分,即计数区域的外周,而不跨过低亮度像素区域。对每一次延伸,计算低亮度像素的数量和圆形度水平。假设S是计数区域的面积,L是该计数区域的外周长度,则用S/L2来计算圆形度水平。圆形度水平的计算方法不特定地局限于此,对于光滑的外周,可以使用能够获得高圆形度水平的任何其它方法。以预先确定的适当权重来评价低亮度像素的数量和圆形度水平。将对应于最大评价值的计数区域判断为不良瞳孔色调质量候选区域。
通过上述处理,可以提取与粗略的瞳孔区域匹配并且不包含白眼部分或者眼睑的肉色部分的区域作为不良瞳孔色调质量候选区域。当延伸计数区域的外周而不跨过低亮度区域时,与具有瞳孔附近点的环内区域不同的环内区域在处理中可能引起问题。忽略这种区域,或者预先将其定义为低亮度像素。通过上述处理,可以确定不包含白眼部分或者肉色部分的不良瞳孔色调质量候选。可以使用能够确定这种适当区域的任何其它方法。
接下来,在特定色调像素提取(步骤S3037)和特定亮度像素提取(步骤S3038)中,提取在不良瞳孔色调质量候选区域确定(步骤S3036)中所确定的不良瞳孔色调质量候选区域中的不良瞳孔色调质量像素。在特定色调像素提取(步骤S3037)中,提取色调落入红眼所特有的色调范围内,即色调接近于红的像素作为红眼像素。在特定亮度像素提取(步骤S3038)中,提取金眼特有的亮度,即亮度值高于可被识别为黑眼的亮度值上限的像素作为高亮度像素。
在本实施例中,通过上述方法来提取不良瞳孔色调质量像素。可以通过使用不良瞳孔色调质量像素所特有的例如色调、彩度或者明度等成分来提取不良瞳孔色调质量像素。可以使用在本发明的背景技术中描述的专利参考文献2中所公开的方法,即,将每一个像素的红色和绿色成分的色度与预定区域中的平均色度进行比较的方法。
在不良瞳孔色调质量区域确定(步骤S3039)中,确定要被校正的不良瞳孔色调质量区域。设置具有最小面积且包含在特定色调像素提取(步骤S3037)和特定亮度像素提取(步骤S3038)中所提取的全部红眼像素和高亮度像素的椭圆形或圆形区域。将小于在不良瞳孔色调质量候选区域确定(步骤S3036)中所确定的不良瞳孔色调质量候选区域的该椭圆形或圆形区域的范围确定为不良瞳孔色调质量区域。
如上所述,当将椭圆形或圆形区域设置为校正目标区域时,可以校正不良瞳孔色调质量区域而没有当仅校正所提取的红眼像素或者高亮度像素时所产生的任何的不相容的感觉(瞳孔内的片图案)。当将椭圆形或圆形区域设置为校正区域时,校正区域可以延伸到白眼或眼睑的肉色部分。然而,当将小于在不良瞳孔色调质量候选区域确定(步骤S3036)中所确定的不良瞳孔色调质量候选区域的范围设置为校正目标时,可以防止错误地校正白眼或肉色部分。
以上说明了在不良瞳孔色调质量区域提取(步骤S303)中的不良瞳孔色调质量区域提取处理。在本实施例中,使用上述方法来提取不良瞳孔色调质量区域。可以使用能够提取不良瞳孔色调质量区域的任何其它方法。
当执行不良瞳孔色调质量区域提取(步骤S303)时,该流程前进到高亮度区域提取(步骤S304)。在该处理中,提取与不良瞳孔色调质量区域中的金眼或眼神光相对应的高亮度区域。对于该高亮度区域提取,可以直接使用不良瞳孔色调质量区域提取(步骤S303)中的特定亮度像素提取(步骤S3038)中的处理结果。作为选择,可以使用新的设置值来提取高亮度像素。从而提取所提取的高亮度像素作为高亮度区域。
在红眼区域确定(步骤S305)中,确定作为红眼要被校正的红眼区域。将从在不良瞳孔色调质量区域提取(步骤S303)中提取的不良瞳孔色调质量区域中去除在高亮度区域提取(步骤S304)中所提取的高亮度区域而获得的区域确定为红眼区域。
对确定为红眼区域的区域中的像素进行红眼校正处理(步骤S306)。在本实施例中,作为红眼校正处理,简单地减小亮度和彩度。作为选择,可以通过例如以下的方法来消除红眼中的红色成分:分析从在不良瞳孔色调质量候选区域确定(步骤S3036)中提取的不良瞳孔色调质量候选区域中去除在不良瞳孔色调质量区域提取(步骤S303)中所提取的不良瞳孔色调质量区域而获得的区域,提取包括区域的平均色调、彩度、明度或色度的校正参数,校正该区域使得要校正的每一个像素的参数基本等于所提取的参数。可以使用能够执行校正从而获得黑色眼睛的适当颜色或亮度的任何其它方法。
通过上述处理,红眼校正结束。当随后对在高亮度区域提取(步骤S304)中提取的高亮度区域执行与红眼校正不同的校正处理时,可以执行更自然的校正。下面说明对高亮度区域的后续校正处理。
在高亮度区域面积计算(步骤S307)中,对在高亮度区域提取(步骤S304)中提取的高亮度区域执行在环状判断分支(步骤S3033)中所说明的标签化处理,从而计算全部连续部分中的每一个的面积。
在面积判断分支(步骤S308)中,判断每一个连续部分的面积是否是预定值或更大值。对于每一个连续部分,该处理流程分支。预定的面积值可以是预定常数。优选地使用与在不良瞳孔色调质量区域提取(步骤S303)中的不良瞳孔色调质量候选区域确定(步骤S3036)中确定的不良瞳孔色调质量候选区域的面积成比例的值,即粗略瞳孔的面积作为预定值。例如,将这里使用的预定面积值设置为不良瞳孔色调质量候选区域的面积(即瞳孔面积)的约10%。
在面积判断分支(步骤S308)中,对于高亮度区域面积是预定值或更小值的连续部分,该流程前进到眼神光区域确定(步骤S314)。对于高亮度区域面积是预定值或更大值的连续部分,判断为产生金眼,该流程进行到高亮度区域内部最大亮度像素检测(步骤S309)。
首先,说明对判断为高亮度区域面积是预定值或更小值的连续部分的处理,即直接前进到眼神光区域确定(步骤S314)的处理。在眼神光区域确定(步骤S314)中,简单地将判断为高亮度区域面积是预定值或更小值的连续部分的区域确定为眼神光区域。
对确定为眼神光区域的区域进行眼神光校正处理(步骤S313)。在本实施例中,通过简单地减小彩度来进行眼神光校正处理。通过该处理,可以在将眼神光保持在自然位置的同时校正不良瞳孔色调质量。在本实施例中,仅进行彩度减小。然而,可以使用能够保证自然的眼神光区域的其它任何校正方法。
对于判断为高亮度区域面积是预定值或更大值的连续部分,在高亮度区域内部最大亮度像素检测(步骤S309)中检测在连续部分中具有最大亮度值的像素。在眼神光区域确定(步骤S310)中,将具有预定形状并且将在高亮度区域内部最大亮度像素检测(步骤S309)中检测到的最大亮度值的像素作为中心的区域确定为眼神光区域。
在本实施例中,使用面积与在不良瞳孔色调质量区域提取(步骤S303)中的不良瞳孔色调质量候选区域确定(步骤S3036)所确定的不良瞳孔色调质量区域的面积成比例、例如面积为约5%的圆形,作为预定形状。如果可以获得自然的眼神光区域,则可以使用例如星形或具有预定面积的形状的任何其它形状作为预定形状。
在金眼区域确定(步骤S311)中,将通过从连续部分中去除在眼神光区域确定(步骤S310)中所确定的眼神光区域而获得的区域确定为金眼区域。对所确定的金眼区域中的像素进行金眼校正处理(步骤S312)。执行与在上述红眼校正处理(步骤S306)中相同的处理,作为金眼校正处理。
最后,在眼神光校正处理(步骤S313)中,对在眼神光区域确定(步骤S310或S314)中所确定的眼神光区域中的像素进行上述眼神光校正处理。
当对全部连续部分执行了上述对高亮度区域中的连续部分的校正处理时,高亮度区域校正处理结束。当执行直到红眼校正处理(步骤S306)的处理和从高亮度区域面积计算(步骤S307)开始的处理时,该方法可以处理例如红眼和金眼的各种不良瞳孔色调质量,并可以执行自然的不良瞳孔色调质量校正。
在第一实施例中,说明了以下方法的例子,即接收包含具有不良瞳孔色调质量的人脸的图像作为输入图像数据并且校正该图像中的不良瞳孔色调质量。
图7是示出根据本实施例的图像处理设备的硬件结构的框图。该图像处理设备用作摄像设备的一部分,或者将其连续到摄像设备以执行上述校正处理。
CPU 71控制整个设备,还通过使用存储在ROM 72和RAM 73中的程序和数据来执行稍后说明的每一个处理。
ROM 72存储引导程序和设备的设置数据。
RAM 73具有CPU 71执行各种处理所需的工作区。RAM 73还具有临时存储从HDD 76加载的程序和数据的区。
键盘74是能够将来自用户的各种指令输入到CPU 71的操作单元。还可以提供鼠标等指示装置。
CRT 75是能够通过使用文本或图像显示CPU 71的处理结果的显示装置。可以提供液晶显示装置来代替CRT 75。
硬盘驱动装置(HDD)76是外部大容量存储装置。HDD 76存储OS(操作系统,Operating System),或者使CPU 71实现图1所示的单元的功能的程序和数据。在CPU 71的控制下将OS、该程序和数据中的部分或全部加载到RAM 73。HDD 76还存储校正数据和模型数据。在CPU 71的控制下根据需要将校正数据和模型数据也加载到RAM 73。可以提供CD或DVD驱动装置作为外部存储装置。
I/F 77是用于与外部装置进行数据通信的接口。例如,可以从连续到I/F 77的数字照相机输入或者从计算机下载包含校正目标的图像数据。将该图像数据临时存储在RAM 73中,由CPU 71处理。上述单元连续到总线78。
第二实施例
在本发明的第二实施例中,说明使本实施例的不良瞳孔色调质量校正设备自动校正所拍摄的图像中人的不良瞳孔色调质量并记录该图像的摄像设备。
图6是示出根据本实施例的摄像设备的功能性配置的框图。下面参考图6详细说明根据第二实施例的摄像设备。
摄像光学系统60是包括镜头和光圈(stop)的光学系统,用于在光电转换元件阵列61上形成被摄体的光学图像。在光电转换元件阵列61中,以二维阵列的形式排列例如CCD的光电转换元件。将摄像光学系统60在光电转换元件阵列61上形成的光学图像转换为电信号。
图像产生单元62是包括AD转换器的处理单元,用于根据光电转换元件阵列61转换后的电信号产生数字图像数据。图像记录单元63是记录由图像产生单元62产生的数字图像数据的存储器。
测光单元64是用于测量被摄体的亮度的模块。将与由测光单元64所测得的被摄体亮度有关的信号发送到摄像光学系统60、图像产生单元62和闪光使用判断单元65,该信号用于摄像光学系统60的光圈调整、图像产生单元62的增益控制以及闪光使用判断单元65的闪光使用判断。可以使用来自光电转换元件阵列61的信号来实现测光单元64。
闪光使用判断单元65是用于接收与来自测光单元64的被摄体亮度有关的信号并判断是否使用闪光的模块。如果被摄体的亮度是预定值或更小值,则判断为应当使用闪光,即应当执行闪光拍摄。如果亮度是预定值或更大值,则判断为不应当使用闪光。当闪光使用判断单元65判断为应当使用闪光时,将闪光使用信号发送到闪光产生单元和图像校正处理单元67。
包括闪光源的闪光发出单元66接收来自闪光使用判断单元65的闪光使用判断信号,在拍摄图像时产生闪光。在图6中由虚线表示的图像校正处理单元67是在接收到来自闪光使用判断单元65的闪光使用判断信号时进行图像拍摄之后,对记录在图像记录单元63中的图像数据执行不良瞳孔色调质量校正处理的处理单元。
当被摄体是人并且产生不良瞳孔色调质量时,图像校正处理单元67产生不良瞳孔色调质量校正数据,将其发送到校正图像记录单元68。
校正图像记录单元68基于在图像记录单元63中记录的图像数据和由图像校正处理单元67产生的不良瞳孔色调质量校正数据来校正图像数据,并记录所产生的校正图像。
下面更详细地说明图像校正处理单元67和校正图像记录单元68的处理。在图像校正处理单元67的处理过程中,省略与在第一实施例中所说明的过程相同的过程的说明。仅详细说明与第一实施例不同的处理过程。
如图6所示,图像校正处理单元67包括脸部检测单元670、脸部大小计算单元671、眼睛检测单元672、瞳孔提取单元673和不良瞳孔色调质量校正单元674。图像校正处理单元67是用于接收所拍摄的图像数据并且当在闪光拍摄中人的瞳孔中产生不良瞳孔色调质量时产生不良瞳孔色调质量校正数据的模块。
脸部检测单元670接收记录在图像记录单元63中的图像数据,并且检测图像中的脸部。为了从接收到的图像数据中检测脸部,优选使用在日本特许2735028中所公开的人脸图像对照设备的方法或者在日本特许3078166中所公开的对象识别方法。在前一种方法中,沿着两个不同的方向提取具有亮度最小值的多个V形边,进行AND运算以提取脸部结构点,基于结构点之间的距离进行对照。在后一种方法中,提取局部特征元素的配置信息并进行收集。作为选择,可以使用简单地采用标准脸部作为模板的模板匹配。可以使用能够判断脸部的存在和位置的任何其它方法来代替上述方法。在本实施例中,简单地使用多个分辨率的模板匹配来检测脸部。
脸部大小计算单元671计算由脸部检测单元670检测到的全部脸部中的每一个的粗略大小。为了计算脸部大小,例如,进行肉色提取,并计算所提取的区域的面积。作为选择,在脸部位置附近进行边缘检测以检测头部的轮廓并计算其大小。在本实施例中,脸部检测单元670通过使用多个分辨率的模板匹配来执行脸部检测。因此,根据以多大的分辨率对脸部进行检测来确定脸部的大小。
眼睛检测单元672基于由脸部大小计算单元671算出的脸部大小来检测由脸部检测单元670检测到的全部脸部的每一个中的眼睛。与在脸部检测单元670的脸部检测中相同,可以使用能够判断眼睛的存在和位置的任何方法来检测眼睛。在本实施例中,设置具有与脸部大小计算单元所算出的脸部大小成比例的适当大小的眼睛的模板,在由脸部大小所确定的、眼睛可能存在的范围内执行模板匹配以检测眼睛。
瞳孔提取单元673在由眼睛检测单元672检测到的全部眼睛的每一个中提取瞳孔部分。为了提取瞳孔部分,优选应用第一实施例的不良瞳孔色调质量区域提取(步骤S303)中从最小亮度值检测(步骤S3030)到不良瞳孔色调质量候选区域确定(步骤S3036)的处理方法。在第一实施例中,将瞳孔附近点设置为使用指示装置指定眼睛区域的拖动开始点。在第二实施例中,不进行这种指定。在本实施例中,通过使用眼睛检测单元672的模板匹配的眼睛检测结果来设置瞳孔附近点。更具体地,将通过模板匹配所算出的相似度最高的模板图像中瞳孔附近的点设置为瞳孔附近点。在本实施例中,通过使用在第一实施例中所使用的方法来执行瞳孔提取。可以使用能够提取除了肉色和白眼区域之外的瞳孔范围的任何其它方法。
不良瞳孔色调质量校正单元674对瞳孔提取单元673所提取的每一个瞳孔部分执行不良瞳孔色调质量判断。对于具有不良瞳孔色调质量的瞳孔,如果脸部大小计算单元671算出的脸部大小大于预定值,则产生以高分辨率校正不良瞳孔色调质量的校正数据。如果脸部大小小于预定值,则产生以低分辨率校正不良瞳孔色调质量的校正数据。其原因如下。当脸部大小为大时,并且例如,当脸部区域具有300×300像素或更大的高分辨率时,用于不良瞳孔色调质量区域中的像素值简单地变化的低分辨率脸部的不良瞳孔色调质量校正的应用程序在校正后产生不相容的感觉。为了执行精确的校正而没有不相容的感觉,准备高分辨率的校正数据。
在本实施例中,在不良瞳孔色调质量判断中,提取例如瞳孔提取单元673所提取的每一个瞳孔部分的平均色调和平均亮度等参数。当平均色调或平均亮度落在没有任何红眼或金眼的预定范围之外时,判断为产生了不良瞳孔色调质量。不良瞳孔色调质量判断方法不限于此,可以使用利用色调范围等的方法。
对于判断为具有不良瞳孔色调质量的瞳孔部分,提取不良瞳孔色调质量区域,并从不良瞳孔色调质量区域中提取红眼区域和高亮度区域。对所提取的瞳孔部分执行第一实施例的不良瞳孔色调质量区域提取(步骤S303)中从特定色调像素提取(步骤S3037)到不良瞳孔色调质量区域确定(步骤S3039)的处理、高亮度区域提取(步骤S304)和红眼区域确定(步骤S305)。
对于所提取的红眼区域和高亮度区域,根据脸部大小计算单元671算出的脸部大小来产生高或低分辨率的红眼区域校正数据和高亮度区域校正数据。
当脸部大小小于预定大小时,即在低分辨率的红眼区域校正数据产生中,通过使用与第一实施例的红眼校正处理(步骤S306)相同的方法来校正红眼区域中的每一个像素的亮度或彩度,从而产生红眼区域校正数据。
当脸部大小大于预定大小时,即在高分辨率的红眼区域校正数据产生中,当仅简单地校正亮度或彩度时,在放大后的图像中产生不相容的感觉。因此,通过与上述用于低分辨率的红眼区域校正数据产生不同的方法来产生红眼区域校正数据。
在本实施例中,使用预先准备的虹膜模板。将通过预定方法提取的例如大小、色调和亮度等参数应用于该模板以产生校正数据的模板。将其用作红眼区域校正数据。对于在创建校正数据模板时所提取的大小参数,提取由瞳孔提取单元673所提取的瞳孔部分的面积,将校正数据模板的面积设置为与该面积大致相等。对于色调或亮度参数,提取除了不良瞳孔色调质量区域之外的区域中的像素的平均色调或亮度,更具体地,提取瞳孔的外周附近的区域中的像素的平均色调或亮度,并设置校正数据模板的每一个像素接近该参数。
在本实施例中,使用虹膜模板来产生红眼区域校正数据。可以使用能够产生校正数据而在放大后的图像中没有任何不相容的感觉的其它任何方法。
在高亮度区域校正数据产生中,使用与在第一实施例的高亮度区域面积计算(步骤S307)和面积判断分支(步骤S308)中相同的方法计算所提取的全部高亮度区域的面积。对每一个高亮度区域,基于其面积判断该高亮度区域是眼神光区域还是金眼区域。基于判断结果,使用不同的方法来产生高亮度区域校正数据。
对于面积是预定值或更大值的高亮度区域,即判断为金眼区域的高亮度区域,使用与第一实施例中相同的方法,即高亮度区域内部最大亮度像素检测(步骤S309)和眼神光区域确定(S310),来确定高亮度区域中的眼神光区域。然后,将从高亮度区域中去除眼神光区域的区域确定为金眼区域。
在金眼区域中产生高亮度区域校正数据时,通过使用与上述红眼区域校正数据产生中相同的方法,根据面部大小来产生低或高分辨率的校正数据。
在通过使用高分辨率的虹膜模板产生校正数据时,优选地产生校正数据使得虹膜图案与红眼区域校正数据的虹膜图案相匹配。在眼神光区域中产生低分辨率的高亮度区域校正数据时,通过使用与第一实施例的眼神光校正处理(步骤S313)中相同的方法仅减小该区域中的每一个像素的彩度以产生高亮度区域校正数据。
在产生高分辨率的校正数据时,根据瞳孔提取单元673所提取的瞳孔部分外的、彩度是预定值或更小值且亮度是预定值或更大值的区域中的像素,即白眼区域中的像素,来估计摄像环境中的光源色,以防止在放大后的图像中产生任何不相容的感觉。提取白眼区域中的像素的平均色调和平均亮度并将其确定为校正色。
通过使用所确定的校正色来产生眼神光区域中的高亮度区域校正数据。将金眼区域中的高亮度区域校正数据和眼神光区域中的高亮度区域校正数据合成以产生高亮度区域中的高亮度区域校正数据。在为了产生低分辨率的校正数据而进行合成时,简单地将各区域的校正数据相加。在产生高分辨率的校正数据时,使用通过以与眼神光区域的面积相对应的缩放比例来模糊眼神光区域和金眼区域之间的交界部分而获得的数据以及例如通过使用具有与眼神光区域的面积的平方根成比例的核心(kernel)大小的低通滤波器来模糊该交界部分而获得的数据,作为高亮度区域校正数据以避免任何的不相容的感觉。
当判断为高亮度区域的面积是预定值或更小值,即没有产生金眼区域时,将该区域确定为眼神光区域,在该区域中产生高亮度区域校正数据。对于该校正数据,使用与上述眼神光区域中的校正数据产生相同的方法。产生高分辨率的校正数据和低分辨率的校正数据并将其用作高亮度区域中的高亮度区域校正数据。
图像校正处理单元67通过使用上述方法来产生红眼区域校正数据和高亮度区域校正数据。校正图像记录单元68通过使用记录在图像记录单元63中的校正数据和图像数据来校正不良瞳孔色调质量,并将校正后的图像记录在存储器中。在该校正中,可以简单地用在相应区域中由图像校正处理单元67产生的校正数据来替换记录在图像记录单元63中的图像数据的校正数据。然而,为了消除校正中的不相容的感觉,对于替换后的校正数据,优选地以与红眼区域或高亮度区域的面积相对应的缩放比例模糊红眼区域校正数据、原始图像数据和高亮度区域校正数据之间的交界部分。通过该校正处理,当在闪光拍摄中产生不良瞳孔色调质量时,可以自动地将不良瞳孔色调质量校正为自然的瞳孔,并可以记录校正后的图像。
作为第二实施例,说明了使第一实施例的图像处理设备自动校正拍摄图像中人的不良瞳孔色调质量并记录图像的摄像设备。
第三实施例
图8是示出根据本实施例的图像处理设备的功能性配置的框图。
本发明的图像处理设备包括图像输入单元5100、脸部图像产生参数提取单元5101和眼神光设置单元5102。
由脸部图像产生参数提取单元5101提取的脸部图像产生参数包括:输入图像中包含的用于描述脸部图像所需的例如角度(例如,脸部方向)信息参数、位置信息参数(例如,眼睛区域中瞳孔和虹膜的位置)和颜色信息参数(例如,脸部各部分的颜色成分值)。然而,脸部图像产生参数不限于角度信息参数、位置信息参数和颜色信息参数。
图像输入单元5100接收通过对来自数字照相机的CCD传感器的信号进行A/D转换而获得的数字图像,将其作为输入图像。图9是示出脸部图像产生参数提取单元的详细配置的框图。如图9所示,脸部图像产生参数提取单元5101包括眼睛/嘴/脸部位置检测单元5110、脸部方向/大小检测单元5111和瞳孔/虹膜区域位置/大小检测单元5112。图10是示出人的眼睛区域的结构的视图。眼睛区域包括瞳孔5113、虹膜5114和白眼5115。
眼睛/嘴/脸部位置检测单元5110在由图像输入单元5100获得的图像中检测眼睛、嘴和脸部的位置。通过使用例如卷积神经网络(Yann LeCun and Yoshua Bengio,″Convolutional Networksfor Images Speech,and Time Series″,The Handbook of BrainTheory and Neural Networks,pp.255-258,1995)来检测脸部、眼睛和嘴的候选位置。根据检测到的脸部、眼睛和嘴的候选位置之间的空间布置关系来确定脸部、眼睛和嘴的检测位置。图11是示出通过使用卷积神经网络检测到的脸部检测位置5121、眼睛检测位置5120和嘴部检测位置5122的视图。
图12是示出脸部朝前时左眼、右眼和嘴的检测位置之间的距离的视图。图13是示出脸部转向左侧时左眼、右眼和嘴的检测位置之间的距离的视图。脸部方向检测单元5111基于由眼睛/嘴/脸部位置检测单元5110所获得的眼睛(5120)、嘴(5122)和脸部(5121),根据右眼检测位置和脸部检测位置之间的距离(5130)与左眼检测位置和脸部检测位置之间的距离(5131)的比来检测脸部方向。
更具体地,如图12所示,当脸部朝前时,右眼检测位置和脸部检测位置之间的距离(5130)与左眼检测位置和脸部检测位置之间的距离(5131)的比是1∶1。如图13所示,当脸部转向右侧时,右眼检测位置和脸部检测位置之间的距离(5133)比当脸部朝前时右眼检测位置和脸部检测位置之间的距离(5130)短。左眼检测位置和脸部检测位置之间的距离(5134)比当脸部朝前时左眼检测位置和脸部检测位置之间的距离(5131)长。通过使用眼睛检测位置和脸部检测位置之间的距离来估计脸部方向。
将脸部朝前时的角度定义为0°。当脸部轴向地转动到左侧时的转动角α由下式给出
α = sin - 1 ( 4 b 2 + c 2 - 4 a 2 2 ab )
a:左眼检测位置和脸部检测位置之间的距离,b:脸部检测位置与左眼、右眼检测位置的中点之间的距离,c:左眼、右眼检测位置之间的距离。
当脸部轴向转动到上侧时的转动角β由下式给出
β = sin - 1 ( 4 e 2 + f 2 - 4 d 2 2 de )
d:脸部检测位置和嘴部检测位置之间的距离,e:脸部检测位置与眼睛检测位置和嘴部检测位置的中点之间的距离,f:嘴部检测位置与眼睛检测位置和嘴部检测位置的中点之间的距离。
瞳孔/虹膜区域位置/大小检测单元5112是用于计算包括眼睛区域中的瞳孔区域的虹膜区域的位置和大小的模块。在本实施例中,将包括瞳孔区域的虹膜区域称为瞳孔/虹膜区域。为了计算瞳孔/虹膜区域的位置和大小,例如对由图像输入单元5100获得的图像执行二值化阈值处理(将阈值设置为例如50,但是不限于该值)以计算二值化的图像5140,如图14所示。通过使用由眼睛/嘴/脸部位置检测单元5110所获得的眼睛和脸部检测位置来确定仅围绕右眼和左眼区域的矩形的右眼区域5141和左眼区域5142,如图14所示。
如图15和16所示,对每一个眼睛区域建立纵向和横向频率分布图。从所建立的图15所示的横向频率分布图中获得眼睛的横向(X方向)长度5150、瞳孔/虹膜区域5151和基于频率分布图的表示最大值的X坐标的瞳孔/虹膜区域的横向中心位置5152。此外,从图16所示的纵向频率分布图中获得瞳孔/虹膜区域中心位置5153和眼睛的纵向(Y方向)长度5154。
图17和18分别示出当在眼睛区域的中心存在瞳孔/虹膜区域时,即,当脸部朝前时,眼睛区域的横向和纵向频率分布图。瞳孔/虹膜区域的纵向和横向中心位置5162和5164几乎位于与所提取的眼睛的横向(X方向)长度5160和眼睛的纵向(Y方向)长度5165的中点相同的位置。
图19和20分别示出当瞳孔/虹膜区域从眼睛区域的中心沿横向(X方向)移动时的横向和纵向频率分布图。瞳孔/虹膜区域的横向中心位置5173与所提取的眼睛的横向(X方向)长度的中心位置5174不同。
图21和22分别示出当瞳孔/虹膜区域从眼睛区域的中心沿纵向(Y方向)移动时的横向和纵向频率分布图。瞳孔/虹膜区域的纵向中心位置5185与所提取的眼睛的纵向(Y方向)长度的中心位置5186不同。当在频率分布图中产生多个峰值时,使用具有最大峰值的频率分布图来获得瞳孔/虹膜区域的中心位置5185和瞳孔/虹膜区域5187。
从图15~22所示的这些频率分布图显而易见,当使用眼睛区域的二值化图像的频率分布图时,可以提取眼睛区域中的瞳孔/虹膜区域的中心位置。图17和18所示的频率分布图与图15和16所示的频率分布图相同。
图23是示出眼神光设置单元的详细配置的框图。如图23所示,眼神光设置单元5102包括眼神光大小设置单元5190和眼神光位置设置单元5191。
眼神光大小设置单元5190基于由瞳孔/虹膜区域位置/大小检测单元5112所获得的瞳孔/虹膜区域大小来确定眼神光大小。在本实施例中,将眼神光的形状设置为圆形。然而,眼神光的形状不限于圆形。
图24是示出在确定眼神光大小时眼睛区域的横向频率分布图和眼神光大小之间的关系的曲线图。将圆形眼神光的直径设置为瞳孔/虹膜区域大小200的1/5。同样,圆形眼神光的直径不限于瞳孔长度的1/5。此外,例如可以使用脸部大小代替瞳孔的大小,作为用作确定眼神光直径的基准的特征。
眼神光位置设置单元5191在瞳孔/虹膜区域中设置眼神光位置。在本实施例中,基于瞳孔/虹膜区域的中心来设置眼神光位置。然而,不需要总是基于瞳孔/虹膜区域的中心设置眼神光。
图25是示出脸部在水平平面内向左转(绕z轴转动)并且视线朝前的情况的视图。如图25所示,由脸部方向5212以及眼睛区域中心5211和瞳孔/虹膜区域中心5210之间的距离(视线方向)来确定基于瞳孔/虹膜区域的中心的瞳孔/虹膜区域中眼神光的位置。
假设脸部朝前并且在瞳孔/虹膜区域的中心存在眼神光。假设L1x是横向(X方向)位置矢量,L1y是纵向(Y方向)位置矢量,在转动脸部时眼神光在眼睛区域中沿L1x和L1y移动。
g×L1x=-sin(α)
向左的矢量:+,向右的矢量:-
g×L1y=-sin(β)
向上的矢量:+,向下的矢量:-
α:在水平平面内的转动角(绕图25中的z轴转动)
β:在垂直平面内的转动角(包含图25中的z轴的平面)
g:由脸部大小确定的常数值
图26是示出基于脸部朝前时的眼神光方向,当脸部方向在水平平面内转到左侧时的眼神光位置矢量的视图。L1x表示脸部从朝前转到朝左时的横向(X方向)位置矢量。
此外,基于眼睛区域的中心,假设L2x(从眼睛区域的中心朝左:+,从眼睛区域的中心朝右:-)是眼睛区域的中心和瞳孔/虹膜区域的中心的横向(X方向)位置矢量,L2y(从眼睛区域的中心朝下:-,从眼睛区域的中心朝上:+)是眼睛区域的中心和瞳孔/虹膜区域的中心的纵向(Y方向)位置矢量。通过Lx=(g×L1x-h×L2x)和Ly=(g×L1y-h×L2y)来计算从瞳孔/虹膜区域的中心的眼神光移动距离Lx和Ly,其中,g和h是由脸部大小确定的常数值。
因此,如图25所示,当脸部在水平平面内朝左(绕图25中的z轴转动)并且视线方向朝前时,根据脸部方向来计算L1x(矢量大小:-),根据视线方向来计算L2x(矢量大小:+)。因此,当
g × L x 1 ≅ h × l x 2
L x = ( g × L x 1 - h × L x 2 ) ≅ 0 时,
使得眼神光几乎设置在瞳孔/虹膜区域的中心位置。可以仅由脸部方向或瞳孔位置,或者使用任何其它方式来确定由瞳孔位置或脸部方向所确定的眼神光位置。
图27是示出根据第三实施例的整体处理过程的流程图。图27示出从脸部图像产生参数提取到眼神光位置设置的过程。
在步骤S5230中,提取脸部图像产生参数。通过使用脸部图像产生参数来提取脸部方向(步骤S5231)。在步骤S5232中,通过使用脸部图像产生参数来确定眼睛区域。在步骤S5233中,产生眼睛区域的纵向和横向频率分布图。在步骤S5234中,通过使用纵向和横向频率分布图来提取瞳孔/虹膜区域的位置和大小。在步骤S5235中,确定眼神光大小。在步骤S5236中,提取视线方向。在步骤S5237中,通过使用在步骤S5231中提取的脸部方向、在步骤S5236中提取的视线方向和在步骤S5235中提取的眼神光大小来设置眼神光的位置和大小。
第四实施例
图28是示出根据第四实施例的图像处理设备的功能性配置的框图。该图像处理设备包括图像输入单元5300、脸部图像产生参数提取单元5301、颜色缺陷检测/校正单元5302、眼神光增加/校正判断单元5303和眼神光设置单元5304。
第四实施例的图像输入单元5300和脸部图像产生参数提取单元5301执行与第三实施例相同的操作。
颜色缺陷检测/校正单元5302检测并校正图像中的颜色缺陷。例如,检测并校正发出闪光时所产生的红眼。在第四实施例中,颜色缺陷检测/校正处理是红眼区域检测/校正。然而,该处理不限于红眼区域检测/校正。例如为了检测红眼,使用由脸部图像产生参数提取单元5301所提取的眼睛位置检测参数来确定眼睛区域,使用由脸部图像产生参数提取单元5301所提取的颜色信息参数从眼睛区域中检测红眼。
如果检测到具有预定值或更大值的红色成分的区域,则判断为产生了红眼。在红眼校正处理中,通过使用例如预先准备的虹膜区域颜色来校正红眼区域。
在使用通过分析由图像输入单元5300所获得的图像而得到的脸部图像产生参数进行颜色校正之后,眼神光增加/校正判断单元5303判断在图像中存在/不存在眼神光。例如根据在眼睛区域中是否存在亮度值等于或大于预定值(例如,亮度值200)来判断存在/不存在眼神光。
在颜色缺陷校正处理之后,眼神光设置单元5304通过使用在第三实施例中说明的方法来设置眼神光。如第三实施例所述,眼神光设置方法不限于在第三实施例中所说明的方法。
图29是示出在颜色缺陷检测/校正处理之后执行眼神光设置的处理过程的流程图。在颜色缺陷检测/校正处理S5310之后,如果在步骤S5311中判断为不存在眼神光,则在步骤S5312中设置眼神光。如果在步骤S5311中判断为存在眼神光,则不执行处理。
第五实施例
图30是示出根据第五实施例的摄像设备的功能性配置的框图。该摄像设备包括摄像单元5400、图像处理单元5401和图像二次存储单元5402。图31是示出摄像单元5400的详细配置的框图。如图31所示,摄像单元5400包括摄像光学系统5410、固态摄像元件5411、视频信号处理电路5412和图像一次存储单元5413。
图32是示出图像处理单元5401的详细配置的框图。如图32所示,图像处理单元5401包括用于从图像一次存储单元5413中读出数字图像的图像输入单元5420、脸部图像产生参数提取单元5421、颜色缺陷检测/校正单元5422、眼神光增加/校正判断单元5423和眼神光设置单元5424。下面对此进行详细说明。
摄像单元5400的摄像光学系统5410例如是镜头。固态摄像元件5411例如是将所拍摄的图像转换为电信号的CCD。视频信号处理电路5412对由固态摄像元件5411所获得的电信号进行A/D转换。通过图像一次存储单元5413将由视频信号处理电路5412所获得的数字图像存储在存储介质中。例如使用闪存作为存储介质。然而,本发明不限于闪存。
图像处理单元5401的图像输入单元5420从图像一次存储单元5413读出数字图像。
脸部图像产生参数提取单元5421通过对由图像输入单元5420获得的数字图像执行与第三和第四实施例中相同的处理来分析图像数据。
当使用脸部图像产生参数确定在眼睛区域中包含具有预定值或更大值的红色成分区域时,与第四实施例相同,颜色缺陷检测/校正单元5422确定该区域是红眼并对其进行校正。例如,除了在第四实施例的方法之外还可以使用如下强制方法。
图33是示出颜色缺陷存在时包括具有预定值或更大值的明度区域5432和瞳孔/虹膜区域5431的眼睛区域5430的视图。如图33所示,在瞳孔/虹膜区域5431中,检测具有预定值(例如明度值200)或更大值的明度区域5432的像素。校正除了具有预定值或更大值的明度区域的区域之外的区域。
图34是示出在瞳孔/虹膜区域5440中所希望的眼神光大小5441和检测到的具有预定值或更大值的明度区域5442的视图。
当图34所示的瞳孔/虹膜区域5440中的具有预定明度值(例如,明度值200)或更大值的区域5442等于或小于通过使用脸部图像产生参数确定的所希望的眼神光大小5441(例如,当明度值为200的区域的直径是瞳孔/虹膜区域直径的1/5)时,眼神光增加/校正判断单元5423确定在颜色缺陷检测/校正单元5422进行颜色校正后的区域中需要扩展眼神光范围。既可以基于作为图像产生参数之一的瞳孔/虹膜区域也可以通过使用其它参数来确定所希望的眼神光大小。
如果提取眼神光的区域的颜色信息与所希望的颜色的不同(例如,白色成分),则根据需要确定必须校正眼神光区域中的颜色。
眼神光设置单元5424使用由眼神光增加/校正判断单元5423所获得的具有预定值(例如,明度值200)或更大值的明度区域5442的中心位置和颜色信息以及基于作为脸部图像产生参数之一的瞳孔/虹膜区域的大小而确定的眼神光大小(例如,直径为瞳孔/虹膜区域的大小的1/5的圆),来设置增加或校正眼神光。
可以通过使用瞳孔区域或虹膜区域、包含这两种区域的区域或者从脸部图像产生参数中获得的脸部或眼睛的大小来确定眼神光大小。形状可以是圆形或其它形状。可以使用由眼神光增加/校正判断单元5423获得的具有预定值或更大值的明度区域的颜色信息,作为在校正中使用的眼神光颜色。作为选择,可以使用预先准备的颜色信息(例如白色)。不需要总是扩展眼神光。如果检测到的眼神光的大小大于基准值(例如,金眼),则减小范围。
在眼神光设置的校正处理中,需要对眼神光的大小和颜色进行总体的校正。
图35是示出根据第五实施例的图像处理单元5401从眼神光区域检测到眼神光设置的处理过程的流程图。
在步骤S5450中,提取眼神光区域。在步骤S5451中,当预定明度区域具有预定值或更小值时,判断为不需要进行眼神光设置。在步骤S5452中,设置眼神光大小。在步骤S5453中,设置眼神光位置。如果在步骤S5451中判断为预定的明度区域不具有预定值或更小值,则判断为不需要进行眼神光设置,不执行处理。
图像二次存储单元5402将由图像处理单元5401校正的数字图像存储在存储介质中。例如,可以使用闪存作为存储介质。图像一次存储单元5413和图像二次存储单元5402可以使用相同的存储介质或不同的存储介质。
第六实施例
图36是示出根据第六实施例的摄像设备的功能性配置的框图。该摄像设备包括潜在眼神光通知单元5501、图像处理单元5502、图像二次存储单元5503和包括闪光发出单元的摄像单元5500。
摄像单元5500、图像处理单元5502和图像二次存储单元5503执行与第五实施例相同的处理。图像处理单元5502的配置与第五实施例相同。如第五实施例所述,摄像单元5500包括一次存储介质。例如,可以使用闪存作为一次和二次存储介质。可以使用相同的存储介质作为一次存储介质和二次存储介质。图37是示出根据第六实施例的处理过程的流程图。下面对此进行详细说明。
在摄像单元5500获得数字图像之后,如果检测表示摄像单元5500发出闪光的事件的潜在眼神光通知单元5501在步骤S5510中判断为存在潜在眼神光,则执行在第三实施例中所说明的图像分析。在步骤S5511中,使用通过图像分析获得的脸部图像产生参数来检测颜色缺陷。如果在步骤S5511中检测到了颜色缺陷,则在步骤S5512中执行颜色缺陷校正处理。
如果在步骤S5511中没有检测到颜色缺陷,则该流程不执行任何处理而前进到步骤S5513。在步骤S5513中,判断眼神光增加/校正处理。如果需要眼神光增加或校正处理,则在步骤S5514中执行眼神光增加/校正处理。如果在步骤S5513中判断为不需要执行眼神光增加或校正处理,则该流程前进到步骤S5515。在步骤S5515中,将经过颜色缺陷校正处理和眼神光增加/校正处理的图像存储在记录介质中。
如上所述,当在摄像设备中准备了上述眼神光设置功能时,可以实现能够在所拍摄的脸部图像的眼睛区域中设置眼神光的摄像设备。
第七实施例
图38是示出根据第七实施例的图像处理设备的功能性配置的框图。该图像处理设备包括图像输入单元5600、脸部图像产生参数提取单元5601、眼神光增加/校正判断单元5602和眼神光设置单元5603。
图像输入单元5600和脸部图像产生参数提取单元5601执行与第三实施例相同的操作。
使用整个图像的平均明度值作为由脸部图像产生参数提取单元5601所获得的脸部图像产生参数,如果判断为整个图像的平均明度值是预定值或更小值(例如,平均明度值是50或更小),则眼神光增加/校正判断单元5602判断为需要眼神光。
眼神光增加/校正判断单元5602既可以使用整个图像的平均明度值也可以使用任何其它特征来进行判断。对于眼神光增加/校正判断单元5602判断为需要眼神光的图像,通过第五实施例中所说明的方法使用由脸部图像产生参数提取单元5601所计算的参数来判断在瞳孔/虹膜区域中是否存在眼神光。
当眼神光增加/校正判断单元5602判断为需要设置眼神光,并且不存在眼神光,或者眼神光的大小、位置或颜色不合适时,眼神光设置单元5603使用例如第三或第五实施例的方法来执行眼神光设置。
图39是示出处理过程的流程图。如果在步骤S5610中判断为整个图像的平均明度具有预定值(例如,平均明度值是50)或更小值,则在步骤S5611中,检测眼神光区域。如果在步骤S5612中判断为眼神光区域的大小具有预定值(例如瞳孔/虹膜区域的1/5)或更小值,则判断为需要眼神光设置。在步骤S5613中,进行眼神光设置。然而,如果在步骤S5612中判断为眼神光区域的大小具有预定值或更大值,则判断为不需要眼神光设置,不进行眼神光设置。
第八实施例
图40是示出根据第八实施例的图像处理设备的功能性配置的框图。该图像处理设备包括图像输入单元5700、潜在眼神光通知单元5701、图像产生参数提取单元5702和眼神光设置单元5703。
与第三~第六实施例相同,图像输入单元5700接收数字图像作为输入图像。潜在眼神光通知单元5701通知用户产生眼神光。该模块在获取例如表示发出闪光的信息或者表示拍摄者选择了眼神光设置模式而不是根据图像信息来判断产生眼神光的信息时,产生通知。眼神光设置单元5703执行与第五或第六实施例相同的操作。
图41是示出根据第八实施例的处理过程的流程图。如果在潜在眼神光通知步骤S5710中接收到表示产生了眼神光或者选择了眼神光设置模式的通知,则在步骤S5711中提取脸部图像产生参数。在步骤S5712中使用脸部图像产生参数来进行眼神光设置。如果在步骤S5710中没有接收到表示产生了眼神光的通知,则不执行处理。
第九实施例
图42是示出根据第九实施例的图像处理设备的功能性配置的框图。该图像处理设备包括图像输入单元5800、潜在眼神光通知单元5801、颜色缺陷检测/校正处理单元5803、眼神光增加/校正判断单元5804和眼神光设置单元5805。
与第八实施例相同,潜在眼神光通知单元5801在获取例如表示发出闪光的信息或者表示拍摄者选择了眼神光设置模式而不是根据图像信息来判断产生眼神光的信息时产生通知。
图43是示出根据第九实施例的处理过程的流程图。
当在步骤S5801中接收到表示潜在眼神光的通知时,通过使用脸部图像产生参数在步骤S5811中检测眼睛区域中的颜色缺陷。如果判断为存在颜色缺陷,则在步骤S5812中执行颜色缺陷校正处理。然后,在步骤S5813中,判断是否需要眼神光增加/校正。
如果在步骤S5811中没有检测到颜色缺陷,则在步骤S5813中判断是否需要眼神光增加/校正,而不执行步骤S5812中的颜色缺陷校正处理。如果在步骤S5813中判断为需要眼神光增加/校正,则在步骤S5814中增加/校正眼神光。如果在步骤S5801中没有接收到表示潜在眼神光的通知,或者在步骤S5813中判断为不需要眼神光增加/校正,则不执行处理。
根据本实施例的图像处理设备的硬件结构与图7所示的硬件结构相同。在这种情况下,将使CPU 71实现图8所示的单元的功能的程序或数据存储在硬盘驱动装置(HDD)76中。该图像处理设备用作摄像设备的一部分或者连续到摄像设备以执行上述校正处理。
根据上述实施例,判断颜色缺陷校正之后的图像中存在/不存在眼神光。当不存在眼神光时,通过使用脸部图像产生参数来自动进行眼神光设置。通过该处理,降低了通过手动操作进行图像校正的精确度的变化,可以建立更自然的图像。
对于颜色缺陷校正之后的图像,判断眼神光的大小、位置和颜色是否合适,并通过使用脸部图像产生参数来校正眼神光。通过该处理,降低了通过手动操作进行图像校正的精确度的变化,可以建立更自然的图像。
在确定导致在输入图像中产生眼神光的状况之后,判断存在/不存在眼神光。如果不存在眼神光,则通过使用脸部图像产生参数进行眼神光设置。通过该处理,降低了通过手动操作进行图像校正的精确度的变化,可以建立更自然的图像。
在确定导致在输入图像中产生眼神光的状况之后,判断眼神光的大小、位置和颜色是否合适,通过使用脸部图像产生参数来校正眼神光。通过该处理,降低了通过手动操作进行图像校正的精确度的变化,可以建立更自然的图像。
其它实施例
还可以通过以下方法来达到本发明的目的,即向照相机或计算机提供记录有用于实现上述实施例的功能的软件程序代码的记录介质(或存储介质)、并使照相机或计算机的CPU或MPU读出并执行存储在该记录介质中的程序代码。在这种情况下,从记录介质读出的程序代码通过其自身实现上述实施例的功能,记录有该程序代码的记录介质构成本发明。
不仅当照相机或计算机执行读出的程序代码时,而且当在照相机上运行的操作系统(OS,operating system)基于程序代码的指令执行部分或全部实际处理时,实现上述实施例的功能。
当将从记录介质读出的程序代码写入插入到照相机或计算机中的功能扩展板或者连续到照相机或计算机的功能扩展单元的存储器中,功能扩展板或功能扩展单元的CPU基于程序代码的指令执行部分或全部实际处理时,也实现上述实施例的功能。
当本发明应用于记录介质时,其存储与上述流程图相对应的程序代码。
虽然可以做出本发明的很多明显不同的实施例而不脱离本发明的精神和范围,但是应当理解,除了所附权利要求限定的以外,本发明不限于特定实施例。
优先权要求
本申请要求2004年7月30日提交的日本专利申请2004-223577号和2004年7月30日提交的日本专利申请2004-223579号的优先权,其全部内容通过引用,并入本文。

Claims (51)

1.一种图像处理方法,其特征在于,包括:
输入步骤,用于输入图像;
不良瞳孔色调质量区域提取步骤,用于从所述图像中提取不良瞳孔色调质量区域;
高亮度区域提取步骤,用于从所述不良瞳孔色调质量区域中提取高亮度区域;
红眼区域校正步骤,用于将从所述不良瞳孔色调质量区域中去除所述高亮度区域而获得的区域确定为红眼区域,并校正所述红眼区域;以及
高亮度区域校正步骤,用于通过使用与所述红眼区域校正步骤中的方法不同的方法来校正所述高亮度区域。
2.根据权利要求1所述的方法,其特征在于,
所述不良瞳孔色调质量区域提取步骤包括如下步骤:从瞳孔区域中提取在红眼特有的像素成分范围内的红眼像素,从所述瞳孔区域中提取亮度值不小于预定值的高亮度像素,以及设置包括所述红眼像素和所述高亮度像素的椭圆形区域或圆形区域,
提取包含在所述瞳孔区域中的所述椭圆形区域或圆形区域中的范围作为所述不良瞳孔色调质量区域。
3.根据权利要求2所述的方法,其特征在于,使用色调、彩度、亮度和色度中的至少一个的范围作为所述红眼特有的像素成分范围。
4.根据权利要求2所述的方法,其特征在于,在所述高亮度区域提取步骤中,使用提取所述高亮度像素的步骤的结果。
5.根据权利要求2或4中所述的方法,其特征在于,在提取所述高亮度像素中使用的所述预定值是可以被视为黑眼的像素的亮度值的上限值。
6.根据权利要求1所述的方法,其特征在于,在所述红眼区域校正步骤中,进行校正以减小所述红眼区域中的像素的亮度或者减小亮度和彩度。
7.根据权利要求1所述的方法,其特征在于,
所述红眼区域校正步骤包括通过将预定参数赋予预先准备的虹膜模板来产生校正模板的步骤,以及
基于所述校正模板来校正所述红眼区域。
8.根据权利要求1所述的方法,其特征在于,所述高亮度区域校正步骤包括:面积计算步骤,用于计算所述高亮度区域的面积;以及金眼判断步骤,用于基于所计算的面积来判断在所述高亮度区域中是否出现金眼。
9.根据权利要求8所述的方法,其特征在于,还包括:
划分步骤,用于当在所述金眼判断步骤判断为在所述高亮度区域中出现了金眼时,将所述高亮度区域划分为金眼区域和眼神光区域,以及
当判断为在所述高亮度区域中没有出现金眼时,将所述高亮度区域判断为眼神光区域的步骤。
10.根据权利要求9所述的方法,其特征在于,所述划分步骤包括如下步骤:从所述高亮度区域中的像素中检测具有最大亮度值的像素,以及基于所检测到的具有最大亮度值的像素的位置来确定所述高亮度区域中的预定眼神光区域,
将从所述高亮度区域中去除所确定的眼神光区域而获得的区域确定为所述金眼区域。
11.根据权利要求9或10所述的方法,其特征在于,还包括金眼区域校正步骤,用于校正所划分的所述金眼区域。
12.根据权利要求11所述的方法,其特征在于,在所述金眼区域校正步骤中,执行校正以减小所述金眼区域中的像素的亮度或者减小亮度和彩度。
13.根据权利要求11所述的方法,其特征在于,
所述金眼区域校正步骤包括通过将预定参数赋予预先准备的虹膜模板来产生校正模板的步骤,
基于所述校正模板来校正所述金眼区域。
14.根据权利要求9或10所述的方法,其特征在于,还包括眼神光区域校正步骤,用于校正所划分的所述眼神光区域。
15.根据权利要求14所述的方法,其特征在于,在所述眼神光区域校正步骤中,进行校正以减小所述眼神光区域中的像素的彩度。
16.根据权利要求14所述的方法,其特征在于,
所述眼神光区域校正步骤包括使用白眼区域中的像素的色调、彩度、亮度和色度中的至少一个来确定校正颜色的步骤,以及
基于所述校正颜色来校正所述眼神光区域中的像素。
17.根据权利要求7或13所述的方法,其特征在于,所述预定参数是校正目标的大小以及通过从瞳孔区域中去除所述不良瞳孔色调质量区域而获得的区域中的像素的色调、彩度、亮度和色度中的至少一个。
18.根据权利要求1所述的方法,其特征在于,在所述红眼区域校正步骤中,通过模糊校正区域的边界来执行校正。
19.根据权利要求11所述的方法,其特征在于,在所述金眼区域校正步骤中,通过模糊校正区域的边界来执行校正。
20.根据权利要求14所述的方法,其特征在于,在所述眼神光区域校正步骤中,通过模糊校正区域的边界来执行校正。
21.根据权利要求1所述的方法,其特征在于,在所述红眼区域校正步骤中,根据校正目标的大小来选择校正方法。
22.根据权利要求11所述的方法,其特征在于,在所述金眼区域校正步骤中,根据校正目标的大小来选择校正方法。
23.根据权利要求14所述的方法,其特征在于,在所述眼神光区域校正步骤中,根据校正目标的大小来选择校正方法。
24.根据权利要求17、21~23中任一项所述的方法,其特征在于,所述校正目标的大小是具有不良瞳孔色调质量的人的脸部的大小。
25.根据权利要求17、21~23中任一项所述的方法,其特征在于,所述校正目标的大小是具有不良瞳孔色调质量的人的眼睛的大小。
26.一种图像处理方法,其特征在于,包括:
眼睛区域提取步骤,用于从包括眼睛的图像中提取眼睛区域;
中心确定步骤,用于确定所述眼睛的中心;
低亮度像素提取步骤,用于从所述眼睛区域中提取亮度不大于预定阈值的低亮度像素;
形状判断步骤,用于判断所提取的低亮度像素的连续部分是否具有第一预定形状;
位置判断步骤,用于当所述连续部分具有所述第一预定形状时,判断所述眼睛的中心是否位于相对于所述连续部分的预定位置;以及
瞳孔区域提取步骤,用于当所述眼睛的中心位于所述预定位置时,提取具有由所述连续部分的形状确定的第二预定形状的区域作为所述眼睛的瞳孔区域。
27.根据权利要求26所述的方法,其特征在于,在所述形状判断步骤中,当所述像素的连续部分不具有所述第一预定形状时,再次设置所述阈值,再次在所述低亮度像素提取步骤中从所述图像中提取亮度不大于再次设置的阈值的低亮度像素。
28.根据权利要求26所述的方法,其特征在于,在所述位置判断步骤中,当所述眼睛的中心没有位于所述预定位置时,再次设置所述阈值,再次在所述低亮度像素提取步骤中从所述图像中提取亮度不大于再次设置的阈值的低亮度像素。
29.根据权利要求26所述的方法,其特征在于,所述第一预定形状是包括除所述低亮度像素之外的像素的形状。
30.根据权利要求29所述的方法,其特征在于,所述眼睛的中心的预定位置位于包括除所述低亮度像素之外的像素的区域中。
31.一种图像处理设备,其特征在于,包括:
输入装置,用于输入图像;
不良瞳孔色调质量区域提取装置,用于从所述图像中提取不良瞳孔色调质量区域;
高亮度区域提取装置,用于从所提取的不良瞳孔色调质量区域中提取高亮度区域;
红眼区域校正装置,用于将从所述不良瞳孔色调质量区域中去除所述高亮度区域而获得的区域确定为红眼区域,并校正所述红眼区域;以及
高亮度区域校正装置,用于使用与所述红眼区域校正装置的方法不同的方法来校正所述高亮度区域。
32.一种图像处理设备,其特征在于,包括:
眼睛区域提取装置,用于从包括眼睛的图像中提取眼睛区域;
中心确定装置,用于确定所述眼睛的中心;
低亮度像素提取装置,用于从所述眼睛区域中提取亮度不大于预定阈值的低亮度像素;
形状判断装置,用于判断所提取的低亮度像素的连续部分是否具有第一预定形状;
位置判断装置,用于当所述连续部分具有所述第一预定形状时,判断所述眼睛的中心是否位于相对于所述连续部分的预定位置;以及
瞳孔区域提取装置,用于当所述眼睛的中心位于所述预定位置时,提取具有由所述连续部分的形状确定的第二预定形状的区域作为所述眼睛的瞳孔区域。
33.一种摄像设备,其特征在于,包括:
图像产生装置,用于产生被摄体图像;以及
根据权利要求31或32所述的图像处理设备,
其中,所述图像处理设备校正所述图像产生装置所产生的被摄体图像中的不良瞳孔色调质量。
34.根据权利要求33所述的设备,其特征在于,还包括:
脸部检测装置,用于从所述被摄体图像中检测脸部,以及
用于基于所述脸部检测装置的脸部检测结果来限制所述被摄体图像中的校正处理应用范围的装置。
35.根据权利要求33或34所述的设备,其特征在于,还包括:
测光装置,用于测量被摄体的亮度,
闪光使用判断装置,用于基于来自所述测光装置的所述被摄体的亮度信号来判断是否使用闪光,
闪光产生装置,以及
用于当所述闪光使用判断装置判断为要使用闪光时,向所述闪光产生装置和所述图像处理设备发出起动指令的装置。
36.一种程序,其特征在于,使计算机执行根据权利要求1~30中的任一项所述的图像处理方法。
37.一种图像处理方法,其特征在于,包括:
输入步骤,用于输入图像;
脸部图像产生参数提取步骤,用于通过分析所述输入图像来提取预定的脸部图像产生参数;以及
眼神光设置步骤,用于基于在所述脸部图像产生参数提取步骤中提取的参数来设置所述图像中的眼神光。
38.根据权利要求37所述的方法,其特征在于,还包括颜色缺陷校正步骤,用于检测并校正所述图像的眼睛区域中的颜色缺陷,
其中,在所述眼神光设置步骤中,在所述颜色缺陷校正步骤的校正之后的所述图像中设置眼神光。
39.根据权利要求37或38所述的方法,其特征在于,还包括:眼神光增加/校正判断步骤,用于通过使用所述脸部图像产生参数来提取眼神光增加/校正判断参数,并通过使用所述眼神光增加/校正判断参数来判断眼神光增加/校正,
其中,在所述眼神光设置步骤中,基于所述预定的脸部图像产生参数和在所述眼神光增加/校正判断步骤中的判断结果在所述图像中设置眼神光。
40.根据权利要求37~39中的任一项所述的方法,其特征在于,还包括:潜在眼神光通知步骤,用于通知潜在眼神光,
其中,在所述眼神光设置步骤中,基于所述预定的脸部图像产生参数和在所述潜在眼神光通知步骤中的通知结果在所述图像中设置眼神光。
41.根据权利要求37~40中的任一项所述的方法,其特征在于,在所述眼神光设置步骤中,使用确定脸部方向的参数、与眼睛区域中的瞳孔位置有关的参数和与虹膜位置有关的参数中的至少一个作为所述脸部图像产生参数来设置眼神光的位置。
42.根据权利要求37~40中的任一项所述的方法,其特征在于,在所述眼神光设置步骤中,使用确定脸部大小的参数、确定眼睛大小的参数、确定瞳孔大小的参数和确定虹膜大小的参数中的至少一个作为所述脸部图像产生参数来设置眼神光的大小。
43.根据权利要求37~40中的任一项所述的方法,其特征在于,在所述眼神光设置步骤中,使用颜色信息参数和图像明度参数中的至少一个作为所述脸部图像产生参数来设置眼神光区域的颜色。
44.根据权利要求39所述的方法,其特征在于,在所述眼神光增加/校正判断步骤中,从所述脸部图像产生参数中提取眼神光位置参数、眼神光大小参数和眼神光颜色参数中的至少一个。
45.根据权利要求39所述的方法,其特征在于,在所述眼神光增加/校正判断步骤中,通过使用存在/不存在眼神光、表示眼神光大小的参数和表示眼神光的颜色信息的参数中的至少一个来进行判断。
46.根据权利要求39所述的方法,其特征在于,在所述眼神光增加/校正判断步骤中,判断是否增加眼神光。
47.根据权利要求39所述的方法,其特征在于,在所述眼神光增加/校正判断步骤中,判断是扩大还是缩小现有眼神光区域。
48.根据权利要求40所述的方法,其特征在于,在所述潜在眼神光通知步骤中,执行闪光发出通知和拍摄者进行的眼神光增加或校正模式选择的信息通知中的至少一个。
49.一种图像处理设备,其特征在于,包括:
输入装置,用于输入图像;
脸部图像产生参数提取装置,用于通过分析所述输入图像来提取预定的脸部图像产生参数;以及
眼神光设置装置,用于基于由所述脸部图像产生参数提取装置提取的参数来设置所述图像中的眼神光。
50.一种摄像设备,其特征在于,包括:
摄像装置;以及
根据权利要求49所述的图像处理设备,
其中,所述图像处理设备在所述摄像装置拍摄的图像中设置眼神光。
51.一种程序,其特征在于,使计算机执行根据权利要求37~48中的任一项所述的图像处理方法。
CN200580025780.4A 2004-07-30 2005-07-27 图像处理方法和设备、摄像设备 Expired - Fee Related CN1993707B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP223579/2004 2004-07-30
JP2004223577A JP4537142B2 (ja) 2004-07-30 2004-07-30 画像処理方法及びその装置、撮像装置、プログラム
JP223577/2004 2004-07-30
JP2004223579A JP4537143B2 (ja) 2004-07-30 2004-07-30 画像処理装置及びその方法、撮像装置、プログラム
PCT/JP2005/014143 WO2006011635A1 (en) 2004-07-30 2005-07-27 Image processing method and apparatus, image sensing apparatus, and program

Publications (2)

Publication Number Publication Date
CN1993707A true CN1993707A (zh) 2007-07-04
CN1993707B CN1993707B (zh) 2012-12-19

Family

ID=35905110

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200580025780.4A Expired - Fee Related CN1993707B (zh) 2004-07-30 2005-07-27 图像处理方法和设备、摄像设备

Country Status (2)

Country Link
JP (1) JP4537143B2 (zh)
CN (1) CN1993707B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102104724A (zh) * 2009-12-16 2011-06-22 佳能株式会社 图像处理设备和图像处理方法
CN102138148A (zh) * 2009-06-30 2011-07-27 索尼公司 使用多频带近红外照明进行皮肤检测
CN102655565A (zh) * 2011-03-02 2012-09-05 鸿富锦精密工业(深圳)有限公司 防红眼人像拍摄系统及方法
CN102761705A (zh) * 2011-04-25 2012-10-31 奥林巴斯映像株式会社 图像记录装置、图像编辑装置以及摄像装置
CN103246865A (zh) * 2012-02-03 2013-08-14 展讯通信(上海)有限公司 检测红眼的方法及装置、去除红眼的方法及装置
CN104299188A (zh) * 2013-07-18 2015-01-21 深圳富泰宏精密工业有限公司 图像修正方法及系统
CN104637031A (zh) * 2013-11-12 2015-05-20 华为终端有限公司 眼部图像处理方法和装置
CN104778729A (zh) * 2014-01-09 2015-07-15 上海帝仪科技有限公司 不均匀光照条件下的虹膜提取方法及设备
CN104917935A (zh) * 2014-03-14 2015-09-16 欧姆龙株式会社 图像处理装置以及图像处理方法
CN105391996B (zh) * 2014-09-03 2017-06-30 欧姆龙株式会社 图像处理装置以及图像处理方法
CN109035136A (zh) * 2018-07-26 2018-12-18 北京小米移动软件有限公司 图像处理方法及装置、存储介质
CN113409210A (zh) * 2021-06-17 2021-09-17 杭州海康威视数字技术股份有限公司 瞳孔亮斑消除方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5009204B2 (ja) * 2008-03-14 2012-08-22 オリンパスイメージング株式会社 撮影装置および撮影装置における画像合成方法
JP6260094B2 (ja) * 2013-03-21 2018-01-17 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP6354118B2 (ja) * 2013-03-21 2018-07-11 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
WO2016159255A1 (ja) * 2015-03-31 2016-10-06 国立大学法人静岡大学 口領域検出装置及び口領域検出方法
US20240037821A1 (en) * 2021-07-01 2024-02-01 Nec Corporation Learning system, estimation system, learning method, and computer program

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1075374A (ja) * 1996-08-30 1998-03-17 Fuji Photo Film Co Ltd 画像処理方法および装置
JP4050842B2 (ja) * 1998-06-15 2008-02-20 富士フイルム株式会社 画像処理方法
JP2000134486A (ja) * 1998-10-22 2000-05-12 Canon Inc 画像処理装置及び画像処理方法及び記憶媒体
GB2379819B (en) * 2001-09-14 2005-09-07 Pixology Ltd Image processing to remove red-eye features
US7403646B2 (en) * 2002-10-24 2008-07-22 Canon Kabushiki Kaisha Image processing apparatus, image processing method, program, and recording medium for generating a difference image from a first radiographic image and second radiographic image
JP2004208132A (ja) * 2002-12-26 2004-07-22 Nikon Corp 色不良領域補正方法、色不良領域補正処理プログラム、画像処理装置
JP2005222152A (ja) * 2004-02-03 2005-08-18 Omron Corp 画像補正装置

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102138148A (zh) * 2009-06-30 2011-07-27 索尼公司 使用多频带近红外照明进行皮肤检测
CN102138148B (zh) * 2009-06-30 2013-07-24 索尼公司 使用多频带近红外照明进行皮肤检测
CN102104724B (zh) * 2009-12-16 2013-11-20 佳能株式会社 图像处理设备和图像处理方法
CN102104724A (zh) * 2009-12-16 2011-06-22 佳能株式会社 图像处理设备和图像处理方法
CN102655565A (zh) * 2011-03-02 2012-09-05 鸿富锦精密工业(深圳)有限公司 防红眼人像拍摄系统及方法
CN102655565B (zh) * 2011-03-02 2015-05-20 中山市云创知识产权服务有限公司 防红眼人像拍摄系统及方法
CN102761705A (zh) * 2011-04-25 2012-10-31 奥林巴斯映像株式会社 图像记录装置、图像编辑装置以及摄像装置
CN102761705B (zh) * 2011-04-25 2015-07-22 奥林巴斯映像株式会社 图像记录装置、图像编辑装置以及摄像装置
CN103246865B (zh) * 2012-02-03 2016-05-04 展讯通信(上海)有限公司 检测红眼的方法及装置、去除红眼的方法及装置
CN103246865A (zh) * 2012-02-03 2013-08-14 展讯通信(上海)有限公司 检测红眼的方法及装置、去除红眼的方法及装置
CN104299188A (zh) * 2013-07-18 2015-01-21 深圳富泰宏精密工业有限公司 图像修正方法及系统
CN104299188B (zh) * 2013-07-18 2018-10-30 深圳富泰宏精密工业有限公司 图像修正方法及系统
CN104637031B (zh) * 2013-11-12 2017-08-29 华为终端有限公司 眼部图像处理方法和装置
CN104637031A (zh) * 2013-11-12 2015-05-20 华为终端有限公司 眼部图像处理方法和装置
CN104778729A (zh) * 2014-01-09 2015-07-15 上海帝仪科技有限公司 不均匀光照条件下的虹膜提取方法及设备
CN104917935A (zh) * 2014-03-14 2015-09-16 欧姆龙株式会社 图像处理装置以及图像处理方法
US9811888B2 (en) 2014-03-14 2017-11-07 Omron Corporation Image processing apparatus and image processing method
CN104917935B (zh) * 2014-03-14 2018-09-18 欧姆龙株式会社 图像处理装置以及图像处理方法
CN105391996B (zh) * 2014-09-03 2017-06-30 欧姆龙株式会社 图像处理装置以及图像处理方法
CN109035136A (zh) * 2018-07-26 2018-12-18 北京小米移动软件有限公司 图像处理方法及装置、存储介质
CN109035136B (zh) * 2018-07-26 2023-05-09 北京小米移动软件有限公司 图像处理方法及装置、存储介质
CN113409210A (zh) * 2021-06-17 2021-09-17 杭州海康威视数字技术股份有限公司 瞳孔亮斑消除方法
CN113409210B (zh) * 2021-06-17 2023-06-02 杭州海康威视数字技术股份有限公司 瞳孔亮斑消除方法

Also Published As

Publication number Publication date
JP2006040232A (ja) 2006-02-09
CN1993707B (zh) 2012-12-19
JP4537143B2 (ja) 2010-09-01

Similar Documents

Publication Publication Date Title
CN1993707A (zh) 图像处理方法和设备、摄像设备以及程序
CN1184796C (zh) 图象处理方法和设备以及图象处理系统
CN1305010C (zh) 在考虑其噪声的情况下改变数字图像的方法和系统
CN1248147C (zh) 光学信息码的读取方法和光学信息码的读取装置
CN1258907C (zh) 图像处理设备、图像处理方法
CN1525733A (zh) 图像数据中具有不同特征的区域之间的边界检测方法
CN1275454C (zh) 光电传感器系统和其驱动控制方法
CN1732682A (zh) 图像处理装置及图像处理程序
CN1881234A (zh) 图像处理设备、图像处理方法、计算机程序和存储介质
CN1909603A (zh) 图像处理方法和摄像设备
CN1675919A (zh) 摄像系统及图像处理程序
CN1822661A (zh) 图像处理系统、投影机及图像处理方法
CN1940965A (zh) 信息处理设备及其控制方法
CN1595958A (zh) 图象质量补正装置和图象质量补正方法
CN1744675A (zh) 图像输入装置
CN1969314A (zh) 图像处理设备和方法、存储介质及其程序
CN1400806A (zh) 采用自适应二值化的图象处理方法和设备
CN1463534A (zh) 图像处理装置和图像处理方法
CN1220434A (zh) 字符串提取设备和模式提取设备
CN1874418A (zh) 图像处理设备、图像处理方法以及图像处理程序
CN1684492A (zh) 图像词典作成装置、编码装置、图像词典作成方法
CN101076126A (zh) 成像设备和方法、以及成像装置
CN1543198A (zh) 校正装置
CN1940967A (zh) 用于分割图像的方法、装置和程序
CN1670612A (zh) 投影机和图案图像显示方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20121219

Termination date: 20170727