CN1691743A - 红眼修正方法、程序及实施该方法的装置 - Google Patents

Abstract

本发明涉及红眼修正处理单元(90)，包括：根据脸检出组件(80)得到的脸部区域包含的象素的象素值，计算脸部区域的颜色模糊度的颜色模糊度计算部(91)；根据求出的颜色模糊度，决定红眼修正的修正度的红眼修正度决定部(92)；从脸检出组件(80)得到的脸部区域中抽出瞳孔区域的瞳孔抽出部(93)；根据红眼修正度决定部(92)决定的红眼修正度，对瞳孔区域进行红眼修正的红眼修正部(94)。提供在类似钨灯照明这种红色光系照明下，采用不充分的闪光灯拍摄的摄影图象的整个脸胧区域都带红色时，能够实施维持和整个脸胧的颜色平衡的红眼修正，或者停止红眼修正的红眼修正技术。

Description

红眼修正方法、程序及实施该方法的装置

技术领域

本发明涉及一种修正摄影图象中产生的红眼的方法、红眼修正程序及实施该红眼修正方法的图象处理装置。

背景技术

以人及动物等为被拍摄对象进行闪光灯摄影时，闪光灯光的一部分光线被眼球内的血管等反射后返回照相机一侧，从而往往在摄影图象中产生所谓“红眼现象”，即眼睛的中央成为红色或与实际根本不同的颜色。随着数码相机的普及以及将底片的摄影图象数字化的胶片扫描器的普及，利用图象处理技术解决红眼问题的方案，已有多种问世。毫无疑问，也能依靠作业人员的技术进行这种修正作业，即作业人员通过监视器一边用眼睛确认红眼部分的象素，一边将该象素的色调修正成实际的色调。但是，考虑到进行这种作业的繁琐性及所需技术熟练的程度等，可知它并非一件易事。因此，想到了利用图像识别技术等，抽出瞳孔位置，或抽出图象内的红色部分，对该部分进行颜色变换这种自动化技术。但是现有技术中，难以正确地认识红眼，即使认识了红眼区域，图象处理技术也变得异常复杂，装置本身也相当的昂贵。

例如，有一种技术是：首先指定包含色调不良的眼区域在内的区域，在该区域中使用组合明亮度及红色的程度的特征量，利用红眼部分和与之相邻的白眼及皮肤部分之间出现的低谷，按照所述特征量的每个峰值进行区域分割，从而将红眼部分和白眼及皮肤部分分离(例如，参阅专利文献1)。该技术中，利用红眼部分由于来自瞳孔部中心附近的视网膜的反射强，明亮度具有从中央向周边部分逐渐下降的趋势，所以包含捕捉光在内，明亮度分布成山峰状，以及虹彩部在蓝眼人种的眼睛中红色程度的值的大小和成了红眼的瞳孔部形成的低谷。就是说，根据有关带有红色程度的颜色在眼睛区域的强度分布，区别红眼、白眼及皮肤部分。因此，在闪光灯的光不够大、例如室内的钨灯光的影响很大的脸部照片中，尽管不仅瞳孔部分，而且整个脸胧都带红色，但还是实施通常的红眼修正后，经过红眼修正的瞳孔的色调和整个脸胧的色调就要产生不协调的感觉，作为人物照片的质量，很有可能反而要恶化。

另外，还有的技术是抽出面部特有的多个颜色成分图象，检测被拍摄者的红眼位置，即：从拍摄的图象内抽出低色度区域及低照度区域中的至少一个区域和肤色区域，使用这些抽出信号，例如取其逻辑积，抽出包含人物的眼睛在内的区域，进而使用抽出的红色部分的信号，从包含眼睛在内的区域，在发生红眼时，抽出该红眼位置，根据这样得到的红眼位置数据，将红眼位置的红色修正成别的颜色，例如一般的黑眼睛的颜色(例如，参阅专利文献2)。该技术预先自动选择眼睛区域，所以与上述现有技术相比，即使进而由于闪光灯光以外的原因，使包括瞳孔在内的整个脸胧区域都带红色时，实施红眼修正可能性也很大，尽管如此，由于没有考虑对特别在钨灯照明下摄影中容易产生的整个脸胧区域都带红色的摄影图象避免红眼修正，所以红眼修正有可能引起意想不到的失败。

[专利文献1]特开2000-76427号公报(段落号0009-0011、0058-0071、第10图)

[专利文献2]特开平6-258732号公报(段落号0006-0009、0019-0023、第6图)

发明内容

鉴于上述实况，本发明的课题是提供在类似钨灯照明这种红色光系照明下，采用不充分的闪光灯拍摄的摄影图象的整个脸胧区域都带红色时，能够实施维持和整个脸胧的颜色平衡的红眼修正，或者停止红眼修正的红眼修正技术。

为了达到上述目的，采用本发明的修正摄影图象产生的红眼的红眼修正方法，由以下步骤构成：根据被摄影图象选择的脸部区域包含的象素的象素值，计算脸部区域的红色系颜色模糊度的颜色模糊度计算步骤；根据所述颜色模糊度，决定红眼修正的修正度的红眼修正度决定步骤；从所述脸部区域抽出瞳孔区域的瞳孔抽出步骤；根据所述红眼修正度对所述瞳孔区域进行红眼修正的红眼修正步骤。

在该构成中，在进行红眼修正之前，根据构成脸部区域的象素的象素值，检查脸部区域是否受到钨灯照明等的影响而成为红色系的颜色模糊，根据得到的颜色模糊度，决定红眼修正的修正度(修正强度)后，对采用家喻户晓的抽出算法抽出的瞳孔区域，进行必要的红眼修正。因此，对在钨灯照明下，采用不充分的闪光灯拍摄的脸部区域带红色的摄影图象，采用减弱的修正度进行红眼修正，或者在颜色模糊度很大时不进行红眼修正，从而可以避免不必要的红眼修正造成人物(脸部)照片的不协调。

作为求出上述颜色模糊度的简单而快速的计算方法，在本发明中提出了将所述脸部区域包含的象素的红色成分浓度值的平均值和蓝色成分浓度值的平均值的差分值，作为所述颜色模糊度的方案。通过对在各种条件下拍摄的许多脸部区域的摄影图象的统计性的考察后，查明：脸部区域包含的象素的红色成分浓度值的平均值和蓝色成分浓度值的平均值的差分值，与红色系颜色模糊的程度密切相关，可以作出将该差分值作为参数的红色系颜色模糊的概率函数。就是说，该差分值小于下限值时，可以认为其脸部区域差不多以100％的概率不产生红色系颜色模糊，所以如果瞳孔区域带红色，就积极地(即以很高的修正度)进行红眼修正；该差分值大于下限值时，可以认为其脸部区域差不多以100％的概率产生红色系颜色模糊(受到钨灯照明等的影响)，红眼修正反而会使照片质量下降，所以就不进行红眼修正。该差分值在下限值和上限值之间时，以按照其微妙的概率决定的修正度进行红眼修正，就可以制作出适当的照片。

此外，在1个摄影图象中，往往包含许多脸(区域)。这时，有两种处理方法可供选择：其一是对各个脸部区域逐一决定红眼修正度，对各个脸部区域逐一进行红眼修正，虽然耗时，但却是最可靠的处理；其二是使用根据一个脸部区域决定的红眼修正度，对所有人脸部区域进行红眼修正，考虑到受到钨灯照明等的影响造成的红色系颜色模糊遍及摄影图象整体，1张脸的红色系颜色模糊度也适用于所有的脸，虽然也许对可靠性有点影响，但却可以使处理高速化。由于可以根据照片质量的要求对这种处理进行选择，所以最好采用可以任意选择这两种处理方法的结构。

另外，本发明还将使计算机实施上述红眼修正方法的程序及记录该程序的媒体，作为权利的对象。

进而，本发明还将实施上述红眼修正方法的图象处理装置，作为权利的对象，这种图象处理装置，包括：根据被摄影图象选择的脸部区域包含的象素的象素值，计算脸部区域的红色系颜色模糊度的颜色模糊度计算部；根据所述颜色模糊度，决定红眼修正的修正度的红眼修正度决定部；从所述脸部区域抽出瞳孔区域的瞳孔抽出部；根据所述红眼修正度对所述瞳孔区域进行红眼修正的红眼修正部。当然，这种图象处理装置也可以获得上述红眼修正方法中所有的作用效果。

本发明的其它特征及优点，可通过使用以下附图的实施方式的讲述得到揭示。

附图说明

图1是采用本发明的红眼修正技术的照片打印装置的外形图。

图2是照片打印装置的印刷台结构的示意图。

图3是讲述照片打印装置的控制器内各部件的功能要素的方框图。

图4是表示红眼修正处理单元的功能构成的方框图。

图5是讲述根据颜色模糊度决定修正度的函数的说明图。

图6是红眼处理的流程图。

具体实施方式

关于本发明的实施方式，根据附图进行讲述。

图1是表示采用本发明的红眼修正技术的相片打印装置的外形图。该相片打印装置，由作为对感光纸P进行曝光处理和显影处理的相片打印机的印刷台1B，和对从显影后的底片2a及数码相机的存储卡2b等图象输入介质中取得的摄影图象进行处理，生成、传输在印刷台1B中使用的打印数据的操作台1A构成。

该相片打印装置，也被称作“数字微型印像室”，由图2可知：印刷台1B在拉出存放在2个感光纸盒11中的滚筒状的感光纸P后，用片式切断刀12将其切成打印尺寸，与此同时还用背后打印机部13，将颜色修正信息及每格图象的编号等打印处理信息打印在该被切断的感光纸P的背面，并且用打印曝光部14，对感光纸P的表面进行摄影图象曝光，将该曝光后的感光纸P送入具有多个显影处理槽的处理槽组件15中进行显影处理。在干燥之后，由装置上部的横向进给输送带16输送到分类器17的感光纸P即相片打印件P，在该分类器17的多个托盘上，以用户单位分开的状态存放(参阅图1)。

为了用与上述的对感光纸P进行的各种处理一致的输送速度输送感光纸P，敷设着感光纸输送机构18。感光纸输送机构18由包含对感光纸输送方向而言，配置在打印曝光部14的前后的夹取式感光纸输送组件18a在内的多个夹持输送滚轮对构成。

在打印曝光部14中，相对于沿副扫描方向输送的感光纸P，设置着根据来自操作台1A的打印数据沿主扫描方向照射R(红)、G(绿)、B(蓝)3原色的激光光线的线曝光头。处理槽组件15包括：贮存成色显影处理液的成色显影槽15a、贮存漂白定影处理液的漂白定影槽15b和贮存稳定处理液的稳定槽15c。

在所述操作台1A的台状托架的上部位置，配置着从相片底片2a的一格摄影图象中取得摄影图象数据(以下除了特别的场合外，简称“摄影图象”)的胶片扫描器20。从数码相机等安装的作为摄影图象记录媒体2b使用的各种半导体存储器及CD-R等中取得图象数据的介质阅读器21，组装在作为该相片打印装置的控制器3而发挥作用的通用计算机中。该通用计算机进而还与显示各种信息的监视器23、作为在进行各种设定及调整之际使用的输入操作部而利用的操作输入器件——键盘24及鼠标25连接。

该相片打印装置的控制器3，以CPU为核心部件，用硬件或软件或它们两者构成旨在进行相片打印装置的各种动作的功能部。如图3所示，作为与本发明特别相关的功能部，可以列举：调出由胶片扫描器20及介质阅读器21读取的图象数据，为下面的处理而进行必要的预处理的图象输入部31；构成编制包含各种窗口及各种操作按钮等在内的图形操作画面及用户通过这种图形操作画面的操作输入(利用键盘24及鼠标25等)生成控制指令的图形用户接口(以下简称“GUI”)的GUI部33；根据GUI部33发送来的控制指令及直接由键盘24等输入的操作指令，为了生成所需的打印数据，对由图象输入部31传发给存储器30的摄影图象进行图象处理的打印管理部32；在颜色修正等的预先判断打印作业时，生成旨在使监视器23显示作为打印源图象及预想精修图象的模拟图象并且由GUI部33发送来的图形数据的摄象信号的摄象控制部35；根据图象处理结束后处理过的图象数据，生成适合于安装在印刷台1B上的打印曝光部14的打印数据的打印数据生成部36；按照顾客的需要，将原始的图象数据及图象处理结束后处理过的图象数据等转换成旨在写入CD-R的形式格式化的格式部37等。

图象输入部31，在摄影图象记录媒体是底片2a时，将预扫描方式和正式扫描方式的扫描数据分别发送给存储器30，进行符合各自目的的前处理。另外，摄影图象记录媒体是存储卡2b时，调出的摄影图象如果包含简略图象数据(低析象度数据)，就与旨在用监视器23一览显示等而使用的摄影图象的正式数据(高析象度数据)分别发送给存储器30。但假如不包含简略图象数据时，则根据正式数据制作缩小的图象，作为简略图象数据发送给存储器30。另外，该图象输入部31还与被称作“相片打印受理装置”的采用自助方式接收相片打印的装置连接，从该相片打印受理装置接收记录着打印尺寸及打印张数的打印定货数据、记录着摄影条件等的图象属性数据和图象数据后，将图象数据传发给存储器30；将打印定货数据及图象属性数据传发给打印管理部32。在通常的相片打印定货时，打印尺寸及打印张数的打印定货数据以及需要时有无闪光灯摄影及被拍摄对象的信息、照相机种类等属性数据，由操作人员通过键盘24的操作输入，给予打印管理部32。

打印管理部32包括：管理打印尺寸及打印张数等的打印定货处理组件60，对存储器30展开的图象数据实施颜色修正及过滤(淡化及锐化等)之类的照片修描处理的图象处理组件70，以及在该实施方式中，还包括从存储器30中展开的摄影图象中检出脸部区域，给予其座标位置及朝向等的脸检出信息的脸检出组件80。该脸检出组件80，可以使用通用的，但在这里，使用的是根据脸检出算法检出认为是摄影图象中的脸的区域，将由该脸的位置和尺寸(以脸位置为基点的矩形像素区域的纵横尺寸)构成的脸部区域数据以及将脸的正立、倒立这种构图姿势作为脸角度表现的脸姿势数据作为脸检出信息输出的。根据图象数据检出脸的脸检出算法，为人所知的已有好多种，例如可以参照特开平11-339084号公报、特开2000-99722号公报、特开2000-22929号公报。

在图象处理组件70中，除了上述功能之外，还包含实施具有本发明的特征的红眼修正处理的红眼修正处理单元90。该红眼修正处理单元90，如图4所示，由下列部件构成：根据脸检出组件80得到的脸部区域包含的象素的象素值，计算脸部区域的颜色模糊度的颜色模糊度计算部91；根据求出的颜色模糊度，决定红眼修正的修正度的红眼修正度决定部92；从脸检出组件80得到的脸部区域中抽出瞳孔区域的瞳孔抽出部93；根据红眼修正度决定部92决定的红眼修正度，对瞳孔区域进行红眼修正的红眼修正部94。

颜色模糊度计算部91，根据脸检出组件80给予的脸部区域数据，求出存储器30中展开的摄影图象的脸部区域的所有象素(具有R·G·B的彩色象素值的彩色象素)中的红色成分的浓度值：R的平均值：Rave和蓝色成分的浓度值：B的平均值：Bave，将其差分值：D＝Rave-Bave作为红色系颜色模糊度。毫无疑问，作为该颜色模糊度，最好用最大值及浓度平均值等将差分值：D归一化。但在这里，为了使说明简单，而将差分值：D作为颜色模糊度。红眼修正度决定部92，根据颜色模糊度计算部91得到的颜色模糊度：D，决定例如按照图5所示的曲线图表示的颜色模糊度：D而变化的红眼修正的修正度(修正强度)：δ。在图5的示例中，表示颜色模糊度：D和修正度：δ的关系的函数：F，在颜色模糊度的下限值：d1以下的区域修正度：δ为1，即成为最大强度，在颜色模糊度的上限值：d2以上的区域修正度：δ为0，即不进行红眼修正。该下限值：d1和上限值：d2是通过统计性地而且是经验性地考察获得的，但是例如8比特彩色时，其差分值可以成为0～255的值，所以其百分之几左右的值就成为基准。

在进行红眼修正前，需要抽出作为红眼的瞳孔的区域包含的象素，这在瞳孔抽出部93中进行。在本实施方式中，由脸检出组件80从摄影图象中弄清脸部区域的位置及脸角度(脸姿势)，所以可以用比较简单的算法抽出瞳孔区域象素。在典型的例子中，可以使用根据各种颜色成分的浓度值的肤色检出条件抽出肤色象素，同时使用依赖于抽出的肤色象素的浓度值后决定的白色检出条件抽出白色(白眼)象素，然后考虑眼睛的几何形状，决定瞳孔区域象素。但也可以使用其它众所周知的适当的瞳孔检出算法。瞳孔抽出部93，根据决定的瞳孔区域象素，编制规定瞳孔象素位置的瞳孔象素映象93a。

这样，编制摄影图象中规定瞳孔象素位置的瞳孔象素映象93a后，通过安装着适当的红眼修正算法的红眼修正部94，在瞳孔区域被判定为红眼时修正该瞳孔区域包含的象素即红眼象素。瞳孔区域是不是红眼，可以用和上述红色系颜色模糊度同样的判定条件，最好用更严格的进行判定。

关于该红眼修正部94的红眼修正，在本实施方式中，通过降低红眼象素的色度进行红眼修正。该减少色度的计算公式，使用前面决定的修正度：δ后，成为如下所示：

d＝(R+G+B)/3、

R’＝δ×d+(1-δ)×R、

G’＝δ×d+(1-δ)×G、

B’＝δ×d+(1-δ)×B。

就是说，判定为红眼的瞳孔象素的浓度值(R、G、B)变更成(R’、G’、B’)，红眼成为低色度的瞳孔颜色(色度降低的程度当然随着δ的值而异)。在这个计算式中，修正度：δ为“1”时，成为不修正，修正度：δ为“0”时，修正的程度成为最大，即其颜色成为灰色。修正度：δ取“1”及“0”及其周边的值，是极端的时候，在通常的红眼修正中，修正度：δ为0.45～0.55左右。

此外，降低红眼象素的色度进行红眼修正，在实际的瞳孔颜色为明亮的蓝色及绿色时，未必能产生好的结果。在这种情况下，作为红眼修正处理可以采样如下的处理，使红眼象素的光亮度值接近以选项方式而具备的瞳孔颜色设定部设定输入的瞳孔颜色所具有的光亮度值。

下面，讲述使用这种结构的红眼处理单元90进行红眼修正的步骤。如图6的流程图所示，首先使用存储器30展示的摄影图象，脸检出组件80进行脸检出处理，将脸检出信息向红眼处理单元90输出(#01)。红眼处理单元90从接收脸检出信息的中，掌握成为处理对象的摄影图象中不包含脸部后，就结束对该摄影图象的红眼修正处理(#02No分岔)；从摄影图象中检出脸部时(#02Yes分岔)，则对存储器30上的摄影图象设定其脸部区域(#03)。在对本实施方式中，在1个摄影图象中检出多张脸时，从脸部尺寸和脸部位置上选择成为主要的1张脸，根据这个脸部区域，进行以下的决定修正度的步骤，然后以决定的修正度，对所有的脸的瞳孔进行红眼处理。但是毫无疑问，对于检出的所有的脸，也可以从以下讲述的决定修正度开始，独立地进行瞳孔检出及红眼修正。

设定脸部区域后，颜色模糊度计算部91使用脸部区域包含的象素，求出其红色成分的浓度值：R的比均值：Rave和蓝色成分的浓度值：B的比均值：Bave，将其差分值：D＝Rave-Bave作为红色系颜色模糊度计算出(#04)。接着，红眼修正度决定部92使用图5所示的那种函数，根据颜色模糊度：D决定修正度：δ(#05)。决定修正度后，该修正度的值为“0”时，判断至少脸部区域以很高的概率带红色，所以即使瞳孔成为红眼，对它进行红眼修正后，反而使瞳孔的色调和整个脸胧的色调产生不协调的感觉，使整个照片的平衡受到破坏，考虑到这一点后，就停止红眼修正，结束该程序(#06Yes分岔)。修正度的值不为“0”时，如果瞳孔是红眼，就可以按照修正度进行或强或弱的红眼修正，所以移到下道步骤，由瞳孔抽出部93进行瞳孔检出处理(#07)。瞳孔检出完毕后，瞳孔区域的位置写入瞳孔象素映象93a，所以可以一边参照该瞳孔象素映象93a，一边依次指定应该判定为红眼的瞳孔区域进行处理。首先检查是否存在应该处理的瞳孔区域(#08)，存在还未处理的瞳孔区域时(#08Yes分岔)，指定该瞳孔区域进行红眼判定(#09)。红眼判定将指定的瞳孔区域的象素中的红色成分的比例超过所定值，作为判定条件进行。在指定的瞳孔区域未见到红眼时(#09No分岔)，就跳过步骤#08，检查是否存在还有未处理的瞳孔区域。指定的瞳孔区域见到红眼时(#09Yes分岔)，红眼修正部94使用在步骤#05中决定的修正度：δ，使用上述的修正式，进行红眼修正(#10)。步骤#08～#10的处理，反复进行到没有瞳孔区域为止(检出的脸为1张时，通常要进行二次)。

此外，为了提高处理速度，本发明还提出了如下方案：在上述步骤#01～#10的图象处理中，从脸检出起到修正度决定为止的处理，以低析象度进行，从瞳孔检出起到红眼修正为止的处理，以高析象度进行。

以适当的程度进行红眼修正处理的摄影图象及避免了红眼修正处理的摄影图象，总之，在实施其它必要的图象处理后，变换成打印数据，传输给打印曝光部14。打印曝光部14，根据打印数据，使最终成为照片打印件的感光纸P曝光。

在上述实施实施方式中，利用脸检出组件80，自动从摄影图象中检出脸部。但也可以在监视器上显示摄影图象，由操作人员人工设定脸部区域。

Claims (7)

1、一种红眼修正方法，修正摄影图象中产生的红眼，其特征在于，由以下步骤构成：

根据包含在从摄影图象中选择的脸部区域中的象素的象素值，计算脸部区域的红色系颜色模糊度的颜色模糊度计算步骤；

根据所述颜色模糊度，决定红眼修正的修正度的红眼修正度决定步骤；

从所述脸部区域中抽出瞳孔区域的瞳孔抽出步骤；以及

根据所述红眼修正度对所述瞳孔区域进行红眼修正的红眼修正步骤。

2、如权利要求1所述的红眼修正方法，其特征在于：在所述颜色模糊度计算步骤中，将所述脸部区域包含的象素的红色成分浓度值的平均值与蓝色成分浓度值的平均值的差值，作为所述颜色模糊度。

3、如权利要求1或2所述的红眼修正方法，其特征在于：在所述红眼修正度决定步骤中，对于超过所定的颜色模糊度的脸部区域，停止红眼修正。

4、如权利要求1～3任一项所述的红眼修正方法，其特征在于：在所述摄影图象中包含多个脸部区域时，对各个脸部区域逐一决定红眼修正度后，对各个脸部区域进行红眼修正。

5、如权利要求1～3任一项所述的红眼修正方法，其特征在于：在所述摄影图象中包含多个脸部区域时，使用根据一个脸部区域决定的红眼修正度，对所有的脸部区域进行红眼修正。

6、一种红眼修正程序，其特征在于，为了修正摄影图象中产生的红眼而使计算机实施下述功能：

根据包含在从摄影图象中选择的脸部区域中的象素的象素值，计算脸部区域的红色系颜色模糊度的颜色模糊度计算功能；

根据所述颜色模糊度，决定红眼修正的修正度的红眼修正度决定功能；

从所述脸部区域中抽出瞳孔区域的瞳孔抽出功能；以及

根据所述红眼修正度对所述瞳孔区域进行红眼修正的红眼修正功能。

7、一种图象处理装置，修正摄影图象中产生的红眼，其特征在于：包括：

根据包含在从摄影图象中选择的脸部区域中的象素的象素值，计算脸部区域的红色系颜色模糊度的颜色模糊度计算部；

根据所述颜色模糊度，决定红眼修正的修正度的红眼修正度决定部；

从所述脸部区域中抽出瞳孔区域的瞳孔抽出部；以及

根据所述红眼修正度对所述瞳孔区域进行红眼修正的红眼修正部。

Images