CN101706945A

CN101706945A - 图像处理装置和图像处理方法

Info

Publication number: CN101706945A
Application number: CN200910207474A
Authority: CN
Inventors: 梅田清
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2005-06-14
Filing date: 2006-06-14
Publication date: 2010-05-12
Anticipated expiration: 2026-06-14
Also published as: JP2006350557A; CN1882035A; JP4405942B2; CN100576873C; KR20060130514A; EP2544146A1; US8045795B2; CN101706945B; EP1734475B1; US7978909B2; US20060280362A1; EP1734475A2; EP1734475A3; KR100773201B1; US20100310167A1

Abstract

一种图像处理装置和图像处理方法，该图像处理装置包括计算单元，用以计算图像中的每一像素的不良色调的估计量；以及提取单元，用以基于该估计量，提取具有该不良色调的候选像素。其根据该图像的红色和绿色成分，来计算该估计量。

Description

图像处理装置和图像处理方法

(本申请是申请日为2006年06月14日、申请号为2006100870645、发明名称为“图像处理装置、图像处理方法、计算机程序和存储介质”的申请的分案申请。)

技术领域

本发明涉及一种图像处理装置和图像处理方法。例如，本发明涉及用于检测具有眼睛的不良色调(poor color tone)(红眼)的图像区域的图像处理。

背景技术

众所周知闪光照相术可以导致眼睛的不良色调，这就是广为人知的红眼效应。红眼效应是由从闪光灯发出的并入射到放大的瞳孔的光引起的一种现象，该光照射眼底的视网膜。从视网膜后面所反射的光将毛细血管的红色带入在照明条件不好的环境下通过使用闪光灯所捕获的人或猫、狗等动物的图像中。在具有较淡色素的眼睛的人的情况下，可能导致红眼效应，因为当色素变淡时，瞳孔即晶状体的透射率增大。

近来受欢迎的数字照相机在体积上日益缩小，并且在这样的数字照相机中，镜头的光轴趋向于靠近闪光灯的光源的位置。当闪光灯光源的位置变得更靠近镜头的光轴时，通常可能发生红眼效应。这是一个重大的挑战。

在已知的用于防止红眼效应的方法中，通过发出预闪光使被摄者的瞳孔缩小来捕获图像。然而，与正常图像捕获相比，该方法不必要地增大了电池的能量消耗，并且，预闪光会破坏被摄者的面部表情。

因此，近年来，已经开发了多种通过使用个人计算机等校正和处理由数字照相机所捕获的数字图像数据以降低红眼效应的方法。

用于降低数字图像数据上的红眼效应的方法大体分为手动校正、半自动校正和自动校正。

在手动校正中，用户使用鼠标、包括指示笔和输入板的指示设备、或触摸面板来指定显示器中所显示的红眼区域，并消除红眼。

在半自动校正中，用户指定包括红眼的区域以根据所指定的信息确定红眼的校正范围，并消除红眼。例如，用户利用指示设备指定两眼周围的区域或指定眼睛附近的一个点。用户根据关于所指定的区域或点的信息确定校正范围以消除红眼。

在自动校正中，数字照相机无需用户的特殊操作而根据数字图像数据自动检测红眼的校正范围，并进行红眼的校正。

在手动和半自动校正中，用户必须通过进行任一操作指定校正点。因此，需要用户进行复杂的操作，在该操作中，在放大并显示图像数据中将被校正的邻近区域后，指定校正区域。尽管在例如设有大显示设备的个人计算机系统中相对容易进行这样的操作，但是在设有小面积显示设备的数字照相机或打印机等装置中进行放大图像和滚动放大后的图像以指定校正区域的操作就不容易了。

近年来已讨论了自动校正红眼效应的各种方法，这些方法不需要用户的复杂操作，并对于不具有较大显示设备的装置是有效的.

例如，日本特开平11-136498号公报公开了一种方法，该方法从图像中检测肉色区域，在所检测到的区域中搜索假定包括红眼的像素，并对包括红眼的像素进行校正。日本特开平11-149559号公报公开了一种方法，该方法检测肉色区域，在所检测到的区域中检测具有与瞳孔的亮度相对应的较低亮度的第一和第二谷区域(valley area)，并基于该第一与第二谷区域之间的距离来确定眼睛。日本特开2000-125320号公报公开了一种方法，该方法检测肉色区域以判断所检测到的肉色区域是否代表人类的特征，并在该区域中检测一对红眼缺陷并测量红眼缺陷之间的距离和红眼缺陷的大小，以确定红眼区域。日本特开平11-284874号公报公开了一种方法，该方法自动检测图像是否包括红色瞳孔，如果检测到红色瞳孔，则测量红色瞳孔的位置和大小，以将瞳孔图像中的红色像素自动转换成预定的颜色。

然而，所提出的自动校正红眼效应的方法具有以下问题。

尽管基于人的肉色区域的检测、或基于通过使用例如神经网络检测脸的结果的红眼区域的检测提供了较高的可靠性，但是需要参考图像中较大的区域，因而需要大的存储器和较大量的计算。因此，尽管在包括以几千兆赫时钟频率运行的高性能CPU和具有几百兆字节的存储容量的个人计算机中，该方法用于处理是适合的，但是难于将这样的检测方法应用于内置在数字照相机或打印机中的系统。

除上述与自动校正有关的例子外，已经提出的许多方法使用红眼区域比周围区域具有更高的饱和度这一特征来确定红眼区域。然而，基于饱和度的确定对于具有较深色素的眼睛的人不一定适合。众所周知，根据公式(1)计算饱和度S，在公式(1)中，以RGB(红色、绿色和蓝色)系统给出像素值：

[公式1]

S＝{max(R，G，B)-min(R，G，B)}/max(R，G，B) (1)

其中，“max(R、G、B)”表示RGB成分的最大值，“min(R、G、B)”表示RGB成分的最小值。

例如，实验显示日本人的肉色区域集中在色相(0到359度)中的大约0到30度。在HIS(色相、亮度和饱和度)系统中，零附近的色相角(hue angle)表示红色，并且随着色相角增大，色相向黄色接近。在0到30度的色相角处，RGB值具有表达式(2)中所示的关系。

[公式2]

R＞G＞B (2)

如上所述，与具有较淡色素的眼睛的人相比，具有较深色素的眼睛的人，不可能出现亮红眼。

考虑到上述说明，日本人在红眼区域中和眼睛周围的肉色区域中具有以下估计的像素值：

红眼区域：(R，G，B)＝(109，58，65)

肉色区域：(R，G，B)＝(226，183，128)

在这种情况下，红眼区域的饱和度等于“40”，肉色区域的饱和度等于“43”，其与该红眼区域的值近似相同.换句话说，即使考虑到饱和度，也不可能基于被摄者来确定与该红眼区域相对应的像素.

发明内容

期望能够准确地检测具有不良色调的图像区域。

根据本发明的实施例，一种图像处理装置，包括：计算单元，用于对图像中的每一像素计算眼睛的色调的估计量；以及提取单元，用于基于由所述计算单元计算出的估计量，提取具有眼睛的不良色调的候选像素，其中，所述计算单元将权重应用于红色成分和绿色成分，并将比像素的红色成分和绿色成分的权重小的权重应用于蓝色成分，并根据像素的应用了权重的红色成分、绿色成分和蓝色成分，计算所述估计量。

根据本发明的另一实施例，一种图像处理方法，包括以下步骤：计算步骤，用于对图像中的每一像素计算眼睛的色调的估计量；以及提取步骤，用于基于在所述计算步骤中计算出的估计量，提取具有眼睛的不良色调的候选像素，其中，在所述计算步骤中，将权重应用于红色成分和绿色成分，并将比像素的红色成分和绿色成分的权重小的权重应用于蓝色成分，并根据像素的应用了权重的红色成分、绿色成分和蓝色成分，计算所述估计量。

根据本发明的又一实施例，一种图像处理装置，包括：计算单元，用于仅根据图像中的每一像素的红色成分和绿色成分，对该像素计算眼睛的色调的估计量；提取单元，用于基于由所述计算单元计算出的估计量，提取具有眼睛的不良色调的候选像素；以及区域提取单元，用于提取具有由所述提取单元提取出的多个候选像素的区域，判断提取出的区域是否形成预定形状，并提取被判断为形成所述预定形状的区域作为具有眼睛的不良色调的候选区域。

根据本发明的再一实施例，一种图像处理方法，包括以下步骤：计算步骤，用于仅根据图像中的每一像素的红色成分和绿色成分，对该像素计算眼睛的色调的估计量；提取步骤，用于基于在所述计算步骤中计算出的估计量，提取具有眼睛的不良色调的候选像素；以及区域提取步骤，用于提取具有在所述提取步骤中提取出的多个候选像素的区域，判断提取出的区域是否形成预定形状，并提取被判断为形成所述预定形状的区域作为具有眼睛的不良色调的候选区域。

根据本发明，可以准确地检测具有不良色调的图像区域。因此，可以适当地检测具有眼睛的不良色调的图像区域(待校正的区域)，而不依赖于人是否具有较深或较淡的色素。

通过以下结合附图对典型实施例的说明，本发明的更多特点将是显而易见的。

附图说明

包括在说明书中并构成说明书的一部分的附图，示出了本发明的实施例，并与说明书一起用来解释本发明的原理。

图1是示出根据本发明第一实施例的进行图像处理的计算机(图像处理装置)的结构的例子的框图；

图2是示出根据本发明第一实施例的自动校正红眼的处理概要的功能框图；

图3示意性示出通过数字照相机等成像装置所捕获的红眼图像；

图4示出自适应二值化；

图5A和5B示出自适应二值化的例子；

图6A和6B示出计算平均值所使用的高速技术；

图7示出边缘跟踪(border following)；

图8示出边缘跟踪；

图9示出方向直方图中的方向；

图10示出方向直方图的例子；

图11示出红色区域的外接矩形区域；

图12是示出判断追踪出的区域是否是红色圆形区域的处理的例子的流程图；

图13A到13C示出用于计算红眼区域的候选区域的估计量的周围区域的定义；

图14A和14B示出如果红眼区域的候选区域靠近图像边缘时的周围区域；

图15A到15C示出在其中计算像素块的平均值的区域；

图16是示出判断特征量组的处理的例子的流程图；

图17示出如何设置周围区域；

图18是示出校正候选区域列表中的其中一个红眼区域的处理的例子的流程图；

图19示出对校正范围的确定；

图20示出如何设置校正参数；

图21A和21B示出本发明第二实施例中的问题；

图22A和22B示出根据本发明第二实施例的自适应二值化；

图23示出本发明第三实施例中的问题；

图24是示出根据本发明第三实施例的自动校正红眼的处理概要的功能框图；

图25是示出由候选区域估计单元进行的处理的例子的流程图；

图26示出区域中心之间的距离；

图27示出区域中心间的距离与阈值之间的关系的例子；

图28A和28B示出本发明第四实施例中的问题；

图29是示出根据本发明第四实施例的自动校正红眼的处理概要的功能框图；

图30是示出由候选区域组合单元进行的处理的例子的流程图；

图31示出候选区域列表的例子；

图32A和32B示出将候选区域组合成一个的处理；

图33示出根据本发明第五实施例的条带分割(banddivision)；

图34是示出根据本发明第五实施例的提取红眼区域的处理的例子的流程图；

图35是详细示出在第N条带中提取红眼区域的流程图；

图36示出在跨越第N-1、N和N+1条带的重叠区域中存在四个红色圆形区域的例子；

图37示出如何选择候选区域；

图38示出候选区域列表的例子；

图39是示出根据本发明第五实施例的校正处理的例子的流程图；

图40示出校正行与待校正的区域之间的关系的例子；

图41示出存储在候选区域列表中的关于红眼区域的位置信息。

具体实施方式

将参照附图对根据本发明的实施例的图像处理进行详细说明。希望在打印机驱动器和扫描仪驱动器中包括以下所述的图像处理，该打印机驱动器生成将输出给打印机引擎的图像信息并在计算机运行，该扫描仪驱动器驱动光学扫描仪并在计算机中运行。可选地，可将图像处理内置在复印机、传真机、打印机、扫描仪、多功能设备、数字照相机、或数字摄像机等硬件中，或将其作为软件提供给硬件。

第一实施例

结构

图1是示出根据本发明第一实施例的进行图像处理的计算机(图像处理装置)的结构的例子的框图。

计算机100包括：中央处理单元(CPU)101；只读存储器(ROM)102；随机存取存储器(RAM)103；与监视器113(监视器113可以包括触摸面板)连接的显卡104；存储设备105，例如硬盘驱动器或存储卡；符合通用串行总线(USB)或IEEE1394的串行总线接口108；以及与网络114连接的网络接口卡(NIC)107。上述组件通过系统总线109相互连接。鼠标、指示笔、或输入板等指示设备106、键盘115等连接到接口108。可以将打印机110、扫描仪111、数字照相机112等连接到接口108。

CPU 101可以将存储在ROM 102或存储设备105中的程序(包括下面所述的图像处理的程序)载入用作工作存储器的RAM103中，并执行该程序。CPU 101根据该程序通过系统总线109控制上述组件，以实现该程序的功能。

图1示出根据本发明第一实施例的进行图像处理的硬件的公用结构。本发明适用于不包括上述某些组件的结构或添加了其它组件的结构。

处理概要

图2是示出根据本发明第一实施例的自动校正红眼的处理概要的功能框图。通过CPU 101进行该处理。处理从例如数字照相机112或扫描仪111接收数字图像数据。该数字图像数据每个像素24位，其中包括R、G、B成分各8位。

图3示意性示出通过数字照相机112等成像装置所捕获的红眼的图像。附图标记302表示眼睛的瞳孔区域，附图标记301表示其虹膜区域，附图标记304表示由图像捕获中所使用的闪光灯引起的高亮区域。附图标记303表示白眼球。通常，瞳孔区域302由于红眼效应而在图像中变为红色。

返回参照图2，红色区域提取单元202从通过输入端子201输入的图像数据中提取红色区域。尽管已经提出了提取红色区域的各种方法，以下将对通过自适应二值化提取红色区域的方法进行说明。由于红色区域提取单元202提取红色区域时，不管该红色区域是否被包括在眼睛中，因而所提取的红色区域对应于红眼、红色信号灯、服饰中的红色图案、以及红色照明等。

红色圆形区域提取单元203接收输入图像数据和关于所提取的红色区域的信息，以从该红色区域中提取形状相对接近于圆的区域(以下称之为红色圆形区域)。尽管已经提出了用于确定区域形状的各种方法，以下将对通过边缘跟踪提取红色圆形区域的方法进行说明。红色圆形区域提取单元203将关于所提取出的红色圆形区域的位置信息存储在候选区域列表中。

特征量判断单元204接收输入图像数据和候选区域列表，以判断在存储于候选区域列表中的红色圆形区域中用于确定眼睛的各种特征量。用于确定眼睛的特征量包括红色圆形区域的饱和度、红色圆形区域周围的区域的明度、饱和度和色相、以及红色圆形区域周围的区域中的边缘分布。将这些特征量或值与预定的阈值进行比较，以确定满足所有条件的红色圆形区域作为红眼区域。特征量判断单元204将关于所确定的红眼区域的位置信息存储在候选区域列表中。

校正单元205接收输入图像数据和将关于红眼区域的位置信息存储在其中的候选区域列表，以校正图像数据中的红眼区域，并将经过校正的图像数据通过输出端子206输出。将校正后的图像数据显示在监视器113中，或将其存储在RAM 103或存储设备105中。可选地，可以利用连接到接口108的打印机110打印该图像数据，或通过NIC 107将其发送给与网络114(包括以太网或因特网)连接的另一计算机或服务器。

红色区域提取单元202

红色区域提取单元202将自适应二值化应用于输入图像数据，以从该图像数据中提取红色区域。具体地，红色区域提取单元202计算输入图像数据中的每一像素的表示红色程度的估计量(以下称之为红色估计量)，将该红色估计量与阈值进行比较，如果该红色估计量大于该阈值，则将目标像素判断为红色。在目标像素周围的区域中自适应确定该阈值。在这里的“二值化”中，将“1”赋给被判断为红色的像素，将“0”赋给未被判断为红色的像素。

图4示出自适应二值化。

输入图像数据401中的目标像素402经过自适应二值化。红色区域提取单元202根据公式(3)计算目标像素402的表示红色程度的红色估计量Er：

[公式3]

Er＝(R-G)/R (3)

公式(3)意味着：不是根据普通HIS系统中的饱和度，而是根据RGB系统中除B成分之外的R和G成分，来计算目标像素402的红色程度。根据公式(3)而不是饱和度来计算红色估计量Er具有以下优点。

例如，具有较深色素的眼睛的人不可能具有亮红眼，因为此人在瞳孔区域302中具有较低的晶状体透射率。如上所述，实验显示：日本人的红眼区域具有估计的像素值(R、G、B)＝(109、58、65)，并且日本人的肉色区域在色相上集中在红色(0度)到黄色(30度)。这些区域中的RGB成分具有关系R＞G＞B，并且眼睛周围的肉色区域具有估计像素值(R、G、B)＝(226、183、128)。B成分在红色区域中的像素和在眼睛周围的肉色区域中的像素中均具有较低的值。在这种情况下，红眼区域中的像素具有饱和度40，而眼睛周围的肉色区域中的像素具有饱和度43，其与红眼区域中的像素近似相同。换句话说，与眼睛周围的肉色区域中的像素的饱和度相比，红眼区域中的像素的饱和度不显著。因此，使用饱和度作为自适应二值化的阈值，难以检测红眼区域。

相比之下，当根据公式(3)，即基于不依赖于B成分的估计量，计算红色估计量Er时，红眼区域中的像素的红色估计量Er等于51/109或47％，而眼睛周围的肉色区域中的像素的红色估计量Er等于43/226或19％。因此，红眼区域中的像素的红色估计量Er的值比眼睛周围的肉色区域中的像素的红色估计量Er大两倍或更多。

从而，当要检测在眼睛中具有较深色素的人的红眼时，不是定义饱和度，而是如公式(3)中那样仅包括R和G成分而排除B成分的估计量，可以准确地提取红眼区域中的像素。尽管在公式(3)中，定义(R-G)与R成分的比作为红色估计量Er，但是红色估计量Er不局限于该比。例如，可以仅将(R-G)或R/G定义为红色估计量Er。

同样，当要检测在眼睛中具有较淡色素的人的红眼时，不是定义饱和度，而是如公式(3)中那样仅包括R和G成分而排除B成分的估计量，可以准确地提取红眼区域中的像素。

返回参照图4，为了二值化目标像素402，将具有由“ThWindowSize”表示的像素数的窗口区域403设置在与目标像素402相同的行上且在目标像素402的左边(主扫描方向的前面)，并计算窗口区域403中的像素的红色估计量Er的平均值Er(ave)。希望将像素数ThWindow Size设置成图像的短边的1％到2％的值。由于仅在满足以下条件时，才计算红色估计量Er，因而红色估计量Er不会是负值。

[公式4]

R＞0且R＞G (4)

为了通过使用平均值Er(ave)进行目标像素402的二值化，需要目标像素402满足以下条件：

[公式5]

R＞Th_Rmin且R＞G且R＞B (5)

其中，“Th_Rmin”指表示R成分的下限的阈值。

如果满足以上条件，则根据表达式(6)进行二值化：

[公式6]

如果Er＞Er(ave)+Margin_RGB，则赋给“1”

如果Er≤Er(ave)+Margin_RGB，则赋给“0” (6)

其中“Margin_RGB”表示参数。

根据公式(6)，如果目标像素402的红色估计量Er大于通过将Margin_RGB与窗口区域403中的红色估计量Er的平均值Er(ave)相加而给出的值，则将目标像素402的二值化后的值设置成“1”，意味着提取目标像素402作为红色区域。由于如果红色区域连续出现，则平均值Er(ave)变得太大，因而可以设置平均值Er(ave)的上限。将二值化结果存储在RAM 103中不同于输入图像数据的缓冲区的区域中。

在将目标像素402从左向右移动时，对输入图像数据的每一行上的所有像素进行以上处理。

尽管在本发明的第一实施例中，根据在与目标像素402相同的行中且在目标像素402的左边所设置的窗口中的像素的红色估计量Er，来计算二值化的阈值(平均值Er(ave))，但是窗口不限于上述的一个。例如，可以在跨越包括目标像素402的行(次扫描方向的前面)的几行的、包括目标像素402左边(主扫描方向的前面)的几个像素的区域中设置窗口，或者可以在目标像素402周围的预定的矩形区域中设置窗口。

图5A和5B示出自适应二值化的例子。图5A示出输入图像数据中的红眼周围的图像。图5B是由自适应二值化产生的二值化后的图像。在图5B中，只提取了与红眼的瞳孔相对应的像素。

为了计算在主扫描方向上所设置的窗口中的红色估计量Er的平均值Er(ave)，可以使用以下所述的高速技术。

图6A和6B示出用于计算平均值Er(ave)的高速技术。

参照图6A，在计算设置在目标像素402左边的窗口区域403中的红色估计量Er的平均值Er(ave)时，将窗口区域403中的红色估计量Er的和存储在RAM 103等存储器中。通过将该和除以窗口区域403中的像素数n，简单计算出平均值Er(ave)。然后，将目标像素402向右移动一个像素，并将窗口区域403向右移动一个像素。通过从图6A中计算出的和中减去像素501的红色估计量Er，然后将相减结果与像素502(与目标像素402接近的像素)的红色估计量Er相加，得出图6B中的窗口区域403中的红色估计量Er的和，从而使该处理得以高速进行。换句话说，在移动目标像素402和窗口区域403后，无需再次计算窗口区域403中的所有像素的红色估计量Er。

红色圆形区域提取单元203

红色圆形区域提取单元203通过边缘跟踪提取红色圆形区域，该边缘跟踪是一种二值化图像处理的方法。

图7示出边缘跟踪。

在边缘跟踪中，从上限起沿主扫描方向扫描由自适应二值化产生的二值化后的图像，以设置目标像素(xa，ya)作为起始点，该目标像素(xa，ya)具有值“1”且其周围四个像素具有值“0”。这四个像素包括目标像素左边的像素(xa-1，ya)、目标像素左上的像素(xa-1，ya-1)、目标像素上方的像素(xa，ya-1)、以及目标像素右上的像素(xa+1，ya-1)。设置图7中的像素701作为起始点。在图7中设置坐标系统，该坐标系统的原点被设置在二值化后的图像的左上角。

从起始点像素701开始围绕所读取的区域逆时针跟踪具有值“1”的像素回到起始点像素701。如果在边缘跟踪处理过程中，目标像素追踪到图像区域外，或目标像素的Y坐标小于作为起始点设置的像素701的Y坐标，则停止边缘跟踪，并搜索下一个起始点。为了防止沿图8中所示的圆形区域的内侧的不适当的追踪，如果在边缘跟踪过程中，目标像素的Y坐标小于像素701的Y坐标，则停止边缘跟踪。由于如果追踪圆形区域的内侧，则像素802的Y坐标小于起始点像素801的Y坐标，因而在像素802处停止边缘跟踪。

在边缘跟踪过程中，可以确定将经过边缘跟踪的区域的圆周长、方向直方图、以及X和Y坐标的最大和最小值。由所追踪的像素数来表示该圆周长。例如，在图7中的例子中，圆周长对应于包括起始点像素701的9个像素。

通过对图9中所示的每八个方向累计从一个像素到随后像素的方向，产生方向直方图。在图7的例子中，追踪的方向是“667812334”，并且如果从起始点像素701开始逆时针进行边缘跟踪，则产生图10中所示的方向直方图。

X和Y坐标的最大和最小值形成了外接包括具有值“1”的像素的区域即红色区域的矩形区域，如图11所示。

红色圆形区域提取单元203将边缘跟踪应用于该红色区域，以得到上面的值，并判断所追踪的区域是否是红色圆形区域。

图12是示出判断所追踪的区域是否是红色圆形区域的处理的例子的流程图。

在步骤S1201，处理判断红色区域的高宽比(aspect ratio)是否大于或等于预定的阈值Th_BF_VHRatio.根据公式(7)计算高宽比AR：

[公式7]

AR＝(ymax-ymin)/(xmax-xmin) (7)

如果AR＞1，则将该值的倒数作为高宽比，从而使其始终具有0与1之间的值。

具体地，高宽比AR具有从0.0到1.0之间的值，并且如果AR＝1.0，则纵向长度等于横向长度。在步骤S1201中，处理将高宽比AR与阈值Th_BF_VHRatio进行比较，如果AR＜Th_BF_VHRatio，则判断出该红色区域不是红色圆形区域，进入随后的红色区域。

如果处理判断出AR≥Th_BF_VHRatio，则在步骤S1202，处理判断该红色区域的大小是否合适。基于以下两点进行该大小是否合适的判断：(1)像素的实际数量的上限和下限，以及(2)该红色区域的短边或长边与图像的短边或长边的比。

对于(1)，将该红色区域的横向长度X＝xmax-xmin和纵向长度Y＝ymax-ymin中较小的值与预定的阈值进行比较，以判断横向长度X或纵向长度Y是否在上限Th_BF_SizeMax和下限Th_BF_SizeMin之间。如果横向长度X或纵向长度Y不在上限Th_BF_SizeMax和下限Th_BF_SizeMin之间，则处理判断出该红色区域不是红色圆形区域，进入随后的红色区域。

对于(2)，根据表达式(8)计算该比：

[公式8]

Th_BF_RatioMin＜min(X，Y)/min(W，H)＜Th_BF_RatioMax(8)其中，X＝xmax-xmin，Y＝ymax-ymin，“W”表示输入图像的宽度，“H”表示输入图像的高度。

如果目标红色区域不满足表达式(8)，则处理判断出该红色区域不是红色圆形区域，进入随后的红色区域。尽管表达式(8)中示出了短边之间的比较的例子，但是也可以进行长边之间的比较。

如果在步骤S1202中处理判断出该红色区域的大小合适，则在步骤S1203，处理将该红色区域的圆周长与理想的圆周进行比较，以判断所提取的红色区域是否近似于圆形。通过使用该红色区域的宽度X和高度Y，根据公式(9)近似理想圆周Ci。

[公式9]

Ci＝(X+Y)×2×2π/8 (9)

假定所提取的红色区域是正方形，计算该正方形的内切圆的圆周。在公式(9)中，“(X+Y)×2”表示包括该红色区域的正方形的四个边的长度，“2π/8”表示正方形的四个边的长度与该正方形的内切圆的圆周之比。处理根据表达式(10)将理想圆周Ci与该圆周长进行比较，并且如果不满足表达式(10)，则处理判断出该红色区域不是红色圆形区域，进入随后的红色区域。

[公式10]

min(Ci，Cx)/max(Ci，Cx)＞Th_BF_CircleRatio (10)

其中，“Cx”表示该红色区域的圆周长。

如果该圆周长满足表达式(10)，则在步骤S1204，处理判断方向直方图是否有偏向.如上所述，在边缘跟踪处理中产生图10中所示的方向直方图.如果边缘跟踪的目标区域近似于圆形，则由边缘跟踪产生的8个方向上的方向直方图示出相等的分布.然而，例如，如果目标区域具有细长的形状，则方向直方图是偏的(不相等的).例如，如果目标区域具有从右上延伸到右下的细长形状，则频率集中在图9的八个方向中的方向2和6，而方向4和8具有较低的频率.因此，如果满足表达式(11)中的所有条件，则处理判断出目标红色区域是红色圆形区域.如果不满足表达式(11)中的任何一个条件，则处理判断出该红色区域不是红色圆形区域，进入随后的红色区域.

[公式11]

sum(f1，f2，f5，f6)＜∑f×Th_BF_DirectRatio

sum(f2，f3，f6，f7)＜∑f×Th_BF_DirectRatio

sum(f3，f4，f7，f8)＜∑f×Th_BF_DirectRatio

sum(f4，f5，f8，f1)＜∑f×Th_BF_DirectRatio (11)

其中，“fn”表示方向n的频率，“sum(fa、fb、fc、fd)”表示方向a、b、c和d的频率的和，“∑f”表示频率的和。

如果在某一方向上的频率的和大于表达式(11)中的预定值，即，如果方向直方图偏向某一方向，则处理判断出目标红色区域不是红色圆形区域。由于如果在根据表达式(11)的判断中频率的和∑f降低，则判断的准确度可能降低，因而如果频率的和∑f小于预定值，则处理可以跳过步骤S1204，进入步骤S1205。

处理判断出满足从步骤S1201到步骤S1204的所有判断的红色区域(如果处理跳过步骤S1204，则为满足剩余的从步骤S1201到步骤S1203的判断的红色区域)是红色圆形区域(红眼区域的候选区域)，然后在步骤S1205，处理将位置信息存储在RAM 103中的候选区域列表中。处理重复边缘跟踪和图12中所示的处理，直到目标红色区域到达图像数据的右底部附近的区域。

特征量判断单元204

特征量判断单元204计算用于从所提取的红色圆形区域(红眼区域的候选区域)确定人的红眼的各种特征量，并将所计算出的特征量与预定的阈值进行比较，以判断红色圆形区域是否是红眼区域。

特征量判断单元204按照图16的流程图中所示的顺序，对在前面的处理中记录在候选区域列表中的红眼区域的候选区域，进行以下5组特征量的判断。

特征量组0：红色圆形区域中的估计量的平均值Er(ave)与红色圆形区域周围的区域(以下称之为周围区域)中的估计量的平均值Er(ave)之间的比较(步骤S10)

特征量组1：红色圆形区域中的色相、红色估计量Er、以及颜色成分中的变化的判断(步骤S11)

特征量组2：周围区域中的亮度的判断(步骤S12)

特征量组3：周围区域中的饱和度和色相的判断(步骤S13)

特征量组4：周围区域中的边缘强度的判断(步骤S14)

红眼区域的理想红色成分的特征是处于瞳孔周围区域内。实验显示该特征在其它各种特征中是最显著的。因此，首先进行特征量组0的判断(步骤S10)以缩小红眼区域的候选区域，这种作法是有效的。

特征量组1的判断(步骤S11)仅参照红眼区域的候选区域中的像素，从而与判断其它组的特征量相比，该计算量较小。

特征量组2和特征量组3的判断(步骤S12和步骤S13)需要将周围区域中的像素的RGB成分转换成亮度和色差成分，或者需要将其RGB成分转换成明度、饱和度和色相成分，从而计算量大于在特征量组1的判断中的计算量.

为了得到边缘强度，特征量组4的判断(步骤S14)使用Sobel滤波器等已知的边缘检测滤波器。因此，该判断在特征量的剩余组的判断中具有最大量的计算。

因此，特征量判断单元204从具有较小量的计算的判断开始，或从可以最容易地获得红眼区域的特征的判断开始，顺序进行判断。如果特征量判断单元204判断出红眼区域的候选区域不是红眼区域，则特征量判断单元204通过跳过随后的判断来限制处理量，如图16中所示。

周围区域的定义

图13A到13C示出用于计算红眼区域的候选区域的特征量的周围区域的定义。

参照图13A到13C，中央块1301是在前一处理中所提取的红眼区域的候选区域(红色圆形区域)的外接矩形。周围区域是块1301周围的区域，其纵向、横向大小是块1301大小的两倍、三倍、或五倍。图13A到13C中示出了扩大到块1301大小的两倍、三倍和五倍的周围区域。以下“整个周围区域”是指从周围区域排除块1301而产生的区域。“周围区域中的块”是指如图13A到13C中的虚线所示，通过延长块1301的边并将周围区域分成8个块而给出的各块。在除特征量组1以外的特征量组的情况下，对该周围区域进行判断。由于将周围区域设置成具有最大为红眼区域的候选区域的外接矩形五倍大小的区域，因而可以以高速进行判断。

图14A和14B示出如果红眼区域的候选区域存在于图像的边缘附近时的周围区域。

图14A示出红眼区域的候选区域的外接矩形(块1301)留有一些边距地存在于图像的右边缘附近的情况。在这种情况下，如果在周围区域中的各块中存在至少一个像素，则使用该像素来判断特征量。

相比之下，图14B示出块1301不留边距地与图像的右边缘接触的情况。在这种情况下，由于在周围块中包括右上(TR)、右(R)和右下(BR)块的三个块中不存在像素，因而不可能计算周围块的特征量。在这种情况下，根据本发明第一实施例，判断出块1301不是红眼区域，并将块1301从候选区域列表中排除。

特征量组0的判断(步骤S10)

在特征量组0的判断中，例如，如图13B中所示，对块1301设置具有比块1301大三倍大小的周围区域，根据公式(3)计算包括块1301的块中的各像素的红色估计量Er，并计算红色估计量Er的平均值Er(ave)。将所计算出的平均值Er(ave)以阵列AEvR[8]存储在RAM 103中。阵列AEvR保持从0到8的9个元素。从左上块到右下块将元素依次分配给块。具体地，在图13A中，将元素0分配给左上(TL)块，将元素1分配给上(T)块，将元素2分配给右上(TR)块等。

然后，判断在元素i＝0到8(除块1301的i＝4以外)中是否满足表达式(12)。

[公式12]

AEvR[i]＜AEvR[4]×Th_FJ0_EvR (12)

表达式(12)是指：如果通过将块1301中的估计量的平均值AEvR[4]乘以阈值Th_FJ0_EvR而给出的值大于在剩余的8个周围块中的估计量的平均值AEvR[i]，则红眼区域的候选区域是红眼区域.如果不满足表达式(12)，则判断出红眼区域的候选区域不是红眼区域，并且不进行随后的特征量的判断以进行随后的红眼区域的候选区域的判断.

在以下所述的特征量中，因为红眼区域的特征在红色估计量Er中最显著，所以进行根据表达式(12)的红色估计量Er的比较。各种实验显示：对从候选区域列表中排除不是红眼区域的区域，根据表达式(12)的判断是最有效的。因此，从最容易判断的特征量开始顺序判断特征量可以使特征量判断单元204中的计算量最小化。

在计算各块中的平均值Er(ave)时，在块1301中希望仅对图15A中所示的菱形计算区域1501中的像素计算红色估计量Er。由于红眼区域的形状通常是圆形或椭圆形，因而具有较低红色程度的像素存在于块1301的四个角。因此，为了不降低块1301中的红色估计量Er的平均值Er(ave)，应该对除块1301的四个角处的像素以外的像素，计算红色估计量Er。除图15A中所示的菱形区域1501外，还可以通过计算块1301的内切圆(图15B)或内切椭圆(图15C)中的红色估计量Er，得到类似或较好的结果。

特征量组1的判断(步骤S11)

在特征量组1的判断中，仅参照红眼区域的候选区域(图13A到13C中的块1301)中的图像数据，来判断红眼区域的候选区域是否是红眼区域。特征量组1的判断包括例如以下步骤。

首先，判断在红眼区域的候选区域中，具有±30度色相的像素的红色估计量Er的平均值Er(ave)是否高于阈值Th_FJ1_EMin，并低于阈值Th_FJ1_EMax。如果不满足该判断，则从候选区域列表中排除该红眼区域的目标候选区域。可以通过已知的方法提供色相。

接着，在红眼区域的候选区域中，提供具有±30度色相的像素的红色估计量Er中的最大和最小值，以计算比值R＝最小值/最大值。由于在红眼区域的候选区域中红色估计量Er变化很大，因而比值R具有较小值。因此，根据表达式(13)将比值R与阈值Th_FJ1_EMaxMinRatio进行比较，并且如果不满足表达式(13)，则从候选区域列表中排除该红眼区域的目标候选区域。

[公式13]

R＜Th_FJ1_EMaxMinRatio (13)

接着，在红眼区域的候选区域中计算R成分的标准偏差。由于在红眼区域中包括红眼区域与瞳孔区域之间的边缘附近的亮红区域和较深区域，因而R成分的动态范围具有非常大的值。因此，红眼区域中的R成分的标准偏差的测量导致较大的值。为此，在红眼区域的候选区域中通过已知的方法测量R成分的标准偏差δr，以根据表达式(14)判断标准偏差δr是否大于阈值Th_FJ1_RDiv：

[公式14]

δr＞Th_FJ1_RDiv (14)

从候选区域列表中排除不满足表达式(14)的红眼区域的目标候选区域。尽管以上说明了R成分的标准偏差，但是通过使用R成分的分散(dispersion)，可以进行类似的判断。

为了判断R成分的变化，在红眼区域的候选区域中可以计算相邻像素间的R成分的差的和的平均值SDr(ave)，以根据表达式(15)判断所计算出的平均值SDr(ave)是否大于阈值TH_FJ1_RDiff：

[公式15]

SDr(ave)＞Th_FJ1_RDiff (15)

有几种用于计算相邻像素之间的差的和的平均值的方法。例如，可以计算目标像素与相邻8个像素之间的差的和的平均值，或者可以计算目标像素与左边像素之间的差。另外，除R成分外，可以以相同的方式对G或B成分进行上述判断，或对亮度或红色估计量Er进行上述判断。

特征量组2的判断(步骤S12)

在特征量组2的判断中，对作为特征量组1的判断结果留在候选区域列表中的红眼区域的候选区域设置周围区域，并进行与周围区域中的亮度成分有关的判断。特征量组2的判断包括例如以下步骤。

首先，对红眼区域的候选区域设置周围区域(例如，图13C中所示的大小比块1301大五倍的区域)。接着，计算除块1301以外的8个周围区域的平均亮度Y(ave)，并判断该平均亮度Y(ave)是否大于阈值TH_FJ2_YMin且小于阈值Th_FJ2_YMax。如果该平均亮度Y(ave)不在阈值TH_FJ2_YMin与阈值Th_FJ2_YMax之间的范围内，即，如果块1301的周围区域非常亮或暗，则从候选区域列表中排除该红眼区域的目标候选区域。

可以对8个周围块进行上述的亮度判断。可选地，可以对周围区域中的每一块计算平均亮度Y(ave)，并将所计算出的平均亮度Y(ave)与预定的阈值进行比较。

接着，对红眼区域的候选区域设置大小比红眼区域的候选区域的大小大两倍的周围区域(图13A)，计算除块1301以外的8个周围块中的每一个的平均亮度Y(ave)，并得到8个平均亮度中的最大值Ymax和最小值Ymin。由于当设置大小比红眼区域的候选区域的大小大两倍的周围区域时，周围区域的亮度可能变化很大，因而根据表达式(16)进行判断：

[公式16]

(Ymax-Ymin)＞Th_FJ2_MaxMinDiff2 (16)

如果不满足表达式(16)，则从候选区域列表中排除该红眼区域的目标候选区域。

另外，对红眼区域的候选区域设置大小比红眼区域的候选区域的大小大五倍的周围区域(图13C)，如上所述，计算8个周围块中的每一个的平均亮度Y(ave)，并得到8个平均亮度中的最大值Ymax和最小值Ymin。当设置大小比红眼区域的候选区域的大小大五倍的相对较大的周围区域时，大多数周围区域是肉色区域，因此，亮度在周围区域中变化很大似乎不可能。因此，与设置大小比红眼区域的候选区域的大小大两倍的周围区域的情况不同，根据表达式(17)进行判断。

[公式17]

(Ymax-Ymin)＞Th_FJ2_MaxMinDiff5 (17)

如果不满足表达式(17)，则从候选区域列表中排除该红眼区域的目标候选区域。

特征量组3的判断(步骤S13)

在特征量组3的判断中，对作为特征量组1和特征量组2的判断结果，留在候选区域列表中的红眼区域的候选区域设置周围区域，并进行与该周围区域中的饱和度和色相有关的判断。特征量组3的判断包括例如以下步骤。

首先，对红眼区域的候选区域设置周围区域(例如，图13C中所示的大小比块1301大五倍的区域)，并在除块1301以外的8个周围区域中计算具有±Th_FJ3_Hrange色相的像素数的比值Rh.由于红眼区域的周围区域是肉色区域，因而大多数像素的色相应该在±Th_FJ3_HRange的范围内.因此，如果计算出的比值Rh高于或等于阈值Th_FJ3_HRatio，则确定该目标区域为红眼区域的候选区域.如果计算出的比值Rh低于阈值Th_FJ3_HRatio，则从候选区域列表中排除该红眼区域的目标候选区域.根据公式(18)计算比值Rh：

[公式18]

Rh＝Nh/∑N (18)

其中，“Nh”表示具有Th_FJ3_Hrange色相的像素数，“∑N”表示8个块中的像素数。

接着，对红眼区域的候选区域设置周围区域(例如，图13C中所示的大小比块1301大五倍的区域)，并计算周围区域中的8个块的平均饱和度S(ave)。判断该平均饱和度S(ave)是否大于阈值Th_FJ3_SMin且小于阈值Th_FJ3_SMax。如果平均饱和度S(ave)处于从阈值Th_FJ3_SMin到阈值Th_FJ3_SMax的范围外，则从候选区域列表中排除该红眼区域的目标候选区域。

可以对每一块进行上述的饱和度判断。具体地，可以在周围区域中对每一块计算平均饱和度S(ave)，以将计算出的平均饱和度S(ave)与预定的阈值进行比较。

所谓的白眼球大概处于红眼区域周围。因此，在对红眼区域的候选区域所设置的周围区域(例如，图13B中所示的大小比块1301大三倍的区域)中，饱和度S与明度L的比S/L低于阈值Th_FJ3_WhitePix。如果存在任何一个具有较低饱和度S和较高明度L的像素，则该像素被判断为红眼区域的候选区域。如果在红眼区域的候选区域中，比S/L不低于阈值Th_FJ3_WhitePix，则从候选区域列表中排除该红眼区域的目标候选区域。

特征量组4的判断(步骤S14)

在特征量组4的判断中，对作为特征量组1到组3的判断结果，留在候选区域列表中的红眼区域的候选区域设置周围区域，并进行与周围区域中的边缘有关的判断。由于在人的眼睛附近存在非常清晰的边缘，因而该边缘可以是有效的特征量。尽管已知的Sobel滤波器被用于检测边缘，但是方法不局限于该滤波器。即使利用其它边缘检测滤波器也可以进行相同的判断。由于Sobel滤波器众所周知，因而在此省略对Sobel滤波器的详细说明。特征量组4的判断包括例如以下步骤。

首先，对红眼区域的候选区域设置周围区域(例如，图13A中所示的大小比块1301大两倍的区域)，并对该周围区域中的每一像素使用Sobel滤波器。计算为每一像素产生的Sobel输出值的平均值So(ave)。由于通常在人的眼睛附近存在非常清晰的边缘，因而将平均值So(ave)与阈值Th_FJ4_SobelPow进行比较。如果平均值So(ave)小于或等于阈值Th_FJ4_SobelPow，则从候选区域列表中排除该红眼区域的目标候选区域。

接着，对红眼区域的候选区域设置周围区域(例如，图13B中所示的大小比块1301大三倍的区域)，并对该周围区域中的每一像素使用Sobel滤波器。计算为每一像素产生的Sobel输出值的最大值与最小值之间的差Ds。由于通常在人的眼睛附近存在非常清晰的边缘，并且在人的眼睛附近还存在肉色的平坦部分，因而差Ds应该具有相对较大的值。因此，将差Ds与阈值Th_FJ4_MaxMinDiff进行比较。如果差Ds小于或等于阈值Th_FJ4_MaxMinDiff，则从候选区域列表中排除该红眼区域的目标候选区域。

另外，对红眼区域的候选区域设置周围区域(例如，图13B中所示的大小比块1301大三倍的区域)，并对该周围区域中的每一像素使用Sobel滤波器。将为每一像素产生的Sobel输出值存储在RAM 103的阵列sobel[y][x]中作为边缘图像。然后，计算该边缘图像的质心(Xw，Yw)。根据公式(19)计算该质心(Xw，Yw)：

[公式19]

(Xw，Yw)＝(∑x·Sobel[y][x]/Sobel[y][x]，∑y·Sovel[y][x]/Sobel[y][x]) (19)

如果红眼区域的候选区域处于人的眼睛中，则质心(Xw，Yw)应该存在于边缘图像的中央附近。因此，判断质心(Xw，Yw)是否处于例如块1301中。如果质心(Xw，Yw)处于块1301中，则该目标区域被判断为红眼区域的候选区域。如果质心(Xw，Yw)不在块1301中，则从候选区域列表中排除该红眼区域的目标候选区域。

而且，对红眼区域的候选区域设置大小比红眼区域的候选区域的大小大五倍的周围区域(图13C)，并对该周围区域中的每一像素使用Sobel滤波器。将为每一像素产生的Sobel输出值存储在阵列Sobel[y][x]中作为边缘图像。阵列Sobel[y][x]具有与大小比红眼区域的候选区域的大小大五倍的周围区域中的像素数相对应的大小。然后，对包括块1301的周围区域定义图17中所示的两个区域，即中央区域1701和外部区域1702。对中央区域1701和外部区域1702计算存储在阵列Sobel[y][x]中的Sobel输出值的平均值。在图17中，尽管中央区域1701的大小比块1301大2.5倍，但是中央区域1701不局限于该大小。由于在人的眼睛附近，与外部区域1702相比，在中央区域1701中存在较清晰的边缘，因而根据表达式(20)，对中央区域1701的Sobel输出值的平均值SPowin与外部区域1702的Sobel输出值的平均值SPowout的比，与阈值Th_FJ4_InOutRatio进行比较：

[公式20]

SPowⁱⁿ/SPow^out＞Th_FJ4_InOutRatio (20)

如果满足表达式(20)，则红眼区域的目标候选区域被判断为红眼区域。如果不满足表达式(20)，则判断红眼区域的目标候选区域不是红眼区域，并从候选区域列表中将其排除。

作为上述比较的应用，可以将平均值SPowⁱⁿ和平均值SPow^out与不同的阈值进行比较。

特征量判断单元204将满足特征量组0到组4的所有(或部分)判断的红眼区域的候选区域最终确定为红眼区域，并将包括所确定出的红眼区域的候选区域列表提供给校正单元205。

校正单元205

校正单元205接收包括RGB成分的输入图像数据和包括从上述步骤所产生的红眼区域的候选区域列表。

图18是示出由校正单元205执行的校正候选区域列表中的红眼区域中一个的处理的例子的流程图。校正单元205在图18所示的处理中逐一校正候选区域列表中的红眼区域。

在步骤S1801，处理设置红眼区域的候选区域的校正范围。图19示出该校正范围的确定。

参照图19，中央矩形区域是包括在候选区域列表中的红眼区域1901。设置椭圆校正区域1902，该区域1902通过红眼区域1901的中心，并具有长轴Lw1和短轴Lh1。根据公式(21)计算长轴Lw1和短轴Lh1：

[公式21]

Lw1＝Lw0×CPARAM_AREARATIO

Lh1＝Lh0×CPARAM_AREARATIO (21)

其中，“Lw0”等于红眼区域1901宽度的一半，“Lh0”等于红眼区域高度的一半，“CPARAM_AREARATIO”表示设置校正范围所使用的参数。

在步骤S1802，处理计算在校正区域1902中的校正所需的参数。将要计算的参数是椭圆校正区域1902中的最大亮度Ymax和根据公式(3)所计算的红色估计量Er中的最大值Ermax。

在步骤S 1803，处理判断目标像素是否在校正区域1902内。根据用于计算椭圆的表达式(22)来判断目标像素是否在椭圆校正区域1902内。

[公式22]

(x/Lw1)²+(y/Lh1)²≤1 (22)

其中，“(x，y)”表示目标像素的坐标，且坐标原点在目标红眼区域的中心。

如果目标像素的坐标(X、Y)满足表达式(22)，则处理判断出目标像素在校正区域1902内，并进入步骤S1804。如果处理判断出目标像素不在校正区域1902内，则在步骤S1810，处理将目标像素移到随后的像素，然后返回到步骤S1803。

在步骤S1804，处理将目标像素的RGB值转换成表示亮度和色差成分的YCC值。通过多种方法中的任何一种进行该转换。

在步骤S1805中，处理计算目标像素的估计量。该估计量是在步骤S1806中确定校正量所需的参数。具体地，处理计算以下三个估计量：

(1)红眼区域1901的中心与目标像素间的距离r、与红眼区域1901的中心与椭圆边界间的距离r0之间的比r/r0

(2)目标像素的红色估计量Er与该估计量的最大值Ermax之间的比Er/Ermax

(3)目标像素的亮度Y与最大亮度Ymax之间的比Y/Ymax

在步骤S1806，处理使用在步骤S1805计算出的参数，以根据公式(23)计算目标像素的亮度Y的校正量Vy和目标像素的色差成分Cr和Cb的校正量Vc：

[公式23]

Vy＝{1-Rr^Ty1}·{1-(1-Re)^Ty2}·{1-Ry^Ty3}Vc＝{1-Rr^Tc1}·{1-(1-Re)^Tc2} (23)

其中，Rr＝r/r0、Re＝Er/Ermax、以及Ry＝Y/Ymax。

校正量Vy和校正量Vc两者均在从0.0到1.0的范围内。随着校正量接近1.0，校正量变大。通过使用所有三个参数确定亮度Y的校正量Vy，随着目标像素的位置与校正区域1902的中心之间的距离增大，该校正量Vy变小。如果目标像素的红色估计量Er小于最大值Ermax，则校正量Vy变小。如果目标像素的亮度Y接近最大亮度Ymax，则校正量Vy变小。使具有较高亮度的像素的校正量Vy较小具有保持眼睛中的高亮部分(捕捉光线)的作用。相比之下，通过排除与亮度有关的参数产生校正量Vc。

在公式(23)中，“Ty1”、“Ty2”、“Ty3”、“Tc1”和“Tc2”表示参数.根据如何设置这些参数，通过图20中所示的一次(实线)、二次(虚线)、或三次(点划线)直线或曲线，可以表示各估计量(即，在公式(23)中通过{}括起来的各值).

在步骤S1807中，处理校正在通过使用校正量Vy和Vc根据公式(24)进行校正后的YCC值。

[公式24]

Y′＝(1.0-Wy·Vy)·Y

C′＝(1.0-Wc·Vc)·C (24)

其中，“Y”和“C”表示校正前的值，“Y′”和“C′”表示校正后的值，“Wy”和“Wc”表示权重(0.0到1.0)。

调整权重Wy和Wc以指定校正强度。例如，当校正强度具有低、中和高三个水平时，将权重Wy和Wc均设置成例如0.3、0.7或1.0，在同一处理中提供具有不同水平的校正强度的结果。

在确定新的亮度和色差成分的值后，然后在步骤S1808，处理将YCC值转换成RGB值。然后，处理利用该RGB值作为校正后的像素值覆盖输入图像的存储缓冲器，或将该RGB值存储在输出图像的存储缓冲器中的预定地址中。

在步骤S1809，处理判断目标像素是否是目标红眼区域中的最后像素。如果处理判断出目标像素不是目标红眼区域中的最后像素，则在步骤S1810，处理将目标像素移到随后的像素，并重复上述从S1803到S1808的步骤。如果处理在步骤S1809判断出目标像素是目标红眼区域中的最后像素，则处理进入随后的红眼区域的校正，并重复对记录在候选区域列表中的所有红眼区域的校正。

尽管在上述方法中，将提供给校正单元205的输入图像的RGB成分转换成了亮度和色差成分，对该亮度和色差进行校正，并将该亮度和色差成分转换成RGB成分，但是本发明第一实施例不局限于上述方法。例如，通过将RGB成分转换成明度和饱和度成分，以与上述方法相同的方式对明度和饱和度进行校正，并将明度和饱和度成分转换成RGB成分，可以得到类似的结果。

尽管在上述方法中，使用目标像素的红色估计量Er与校正区域1902中的估计量的最大值Ermax之间的比Er/Ermax作为用于确定校正量的参数，但是可以用饱和度代替该参数。也就是说，可以使用目标像素的饱和度与校正区域1902中的最大饱和度之间的比来确定校正量。

如上所述，通过使用根据R和G成分而不是饱和度计算出的红色估计量Er，判断目标像素是否是红眼区域中的像素，这样可以准确地提取具有较深色素的眼睛的人的红眼。另外，将边缘跟踪应用于与红眼区域的候选区域相对应的二值化后的图像，这样可以利用非常小量的计算，从二值化后的图像中高速提取出红色圆形区域。另外，通过根据红色圆形区域计算表示红眼的各种特征量，并估计所计算出的特征量，可以准确地确定红眼区域。而且，考虑到各个特征量的判断效果和在特征量计算中的计算量，以适当的顺序判断特征量，并且对红眼区域的候选区域进行滤波，以排除可能不是红眼区域的候选区域。因此，可以利用最少量的处理，实现红眼区域的检测。

第二实施例

现将对根据本发明第二实施例的图像处理进行说明.在第二实施例中使用相同的附图标记来表示与第一实施例中大体相同的组件.在此将省略对这些组件的详细说明.

在以上本发明第一实施例中所述的自适应二值化中，在目标像素的左边(主扫描方向的前面)设置具有预定大小的窗口区域403(参照图4)，计算窗口区域403中的像素的估计量的平均值Er(ave)，并根据目标像素是否在红色区域中，通过使用该平均值Er(ave)作为阈值进行二值化。在这样的方法中，参照用来计算阈值的像素数少，因而提高了处理速度。然而，由于仅在目标像素的左边设置窗口区域403，因而二值化的结果依赖于处理的方向。结果，当将自适应二值化应用于图5A中所示的图像时，如图21A中所示，存在这样的情况：除与红眼区域中的瞳孔相对应的部分外，提取眼线(eyeline)2001作为红色区域中的像素。这基于以下原因。

根据本发明第一实施例，用于二值化目标像素2002的阈值是设置在目标像素2002左边的窗口中的像素的估计量的平均值Er(ave)，并基于目标像素2002的红色估计量Er与平均值Er(ave)之间的比较结果进行二值化(参照表达式(6))。由于窗口在与待提取的瞳孔相对应的部分的左边，因而通常将窗口设置在肉色区域中。具有较淡色素的人的肉色区域的像素值等于例如(R、G、B)＝(151、135、110)。根据公式(3)的红色估计量Er的计算结果是相对小的值11％。相比之下，形成眼线2001的目标像素2002具有比肉色区域的亮度低的亮度，并且像素值等于例如(R、G、B)＝(77、50、29)。根据公式(3)的红色估计量的计算结果是35％。从上述数字显而易见，形成眼线2001的目标像素的红色估计量Er大于窗口中的肉色区域的红色估计量Er。因此，尽管该结果依赖于参数Margin_RGB，但在根据第一实施例的自适应二值化中，可能提取目标像素2002作为红色区域中的像素。

结果，提取出图21A中所示的由坐标(xmin、ymin)和(xmax、vmax)围绕的红色区域。当将该提取出的结果提供给红色圆形区域提取单元203时，对比原始红色圆形区域更宽的区域进行红色圆形区域的提取，因而，可能导致提取出的结果的可靠性降低和提取时间的增加。

如果在目标像素2002的右边也设置相同大小的窗口，则除与肉色区域相对应的像素外，该窗口还包括形成眼线的像素，以及在某些情况下与红眼的瞳孔相对应的像素。因此，增加了设置在目标像素2002右边的窗口中的估计量的平均值Er(ave)。从而，目标像素2002不可能被判断为红色区域中的像素，因为与设置在目标像素2002右边的窗口中的像素相比，目标像素2002不具有突出的红色估计量Er。

将对以下例子进行说明，作为本发明的第二实施例，在该例子中，在由红色区域提取单元202进行的自适应二值化中，在目标像素的左边和右边均设置窗口。

在根据本发明第二实施例的自适应二值化中，首先，如图22A中所示，在目标像素402的左边设置窗口区域403，并以与第一实施例中相同的方式对目标像素402进行二值化。然后，将二值化结果存储在RAM 103中的二值化后的图像的缓冲器中，同时如图22A中箭头所示，将目标像素402从左向右移动。

在目标像素402到达该行的右端，并且在将目标像素402从左向右移动的方向上的二值化结束之后，如图22B中所示，在相同的行上沿从右向左的相反方向移动目标像素402的情况下进行二值化。在这种情况下，将用于设置二值化的阈值的窗口404设置在目标像素402的右边。

在上述两个方向上的二值化中，将以值“1”作为二值化结果的的像素存储在二值化后的图像的缓冲器中，作为红色区域中的像素.

图21B示出在两个方向上的自适应二值化产生的红色区域中的像素的例子。由于在图21B中排除了与眼线等相对应的像素，因而，与仅在一个方向上的自适应二值化的结果相比(图21A)，适当地提取了红色区域。

如上所述，在通过自适应二值化处理提取红色区域时，可以通过设置窗口准确地提取红色区域中的像素，在该窗口中，在相对于目标像素的左、右两个方向上计算二值化阈值。

第三实施例

现将对根据本发明第三实施例的图像处理进行说明。在第三实施例中使用相同的附图标记来表示与第一和第二实施例中大体相同的组件。在此将省略对这些组件的详细说明。

在根据本发明的第一和第二实施例中，说明了基于公式(3)中所定义的红色估计量Er通过自适应二值化提取红色区域中的像素的方法。利用这些方法，除图23中所示的红眼的瞳孔2301外，可能将与眼睛的外部或内部角2302相对应的像素检测为红色区域中的像素。放大眼睛的外部或内部角2302显示：存在许多具有例如像素值(R、G、B)＝(81，41，31)的“暗红”像素。这些像素的红色估计量Er等于相对较大的值49％。因此，在根据本发明的第一和第二实施例的自适应二值化中，可能检测到具有一定大小的像素的集合。另外，边缘和周围区域的明度、色相和饱和度表现出眼睛的特征。因而，在红色圆形区域提取单元203和特征量判断单元204中满足所有判断，并且可能错误地将不处于红眼区域中的像素判断为处于红眼区域中的像素。为了解决这一问题，将对根据本发明第三实施例的结构进行说明。

图24是示出根据本发明第三实施例的自动校正红眼的处理的概要的功能框图。通过CPU 101进行该处理。与本发明的第一实施例相比，将候选区域估计单元207添加到图2中所示的处理。

候选区域估计单元207参照在上游步骤中生成的候选区域列表，并估计红眼区域的每一候选区域的相对位置和面积，以对红眼区域的候选区域进行整理。换句话说，从候选区域列表排除以下红眼区域的候选区域，该候选区域在估计中被判断为不适合于红眼区域的区域。

图25是示出由候选区域估计单元207进行的处理的例子的流程图。假定特征量判断单元204提取k个(0到k-1)区域作为红眼区域的候选区域(所检测到的区域的总数Ne等于“k”)。

参照图25，在步骤S2499，处理在计数器k中设置所检测到的区域的总数Ne。在步骤S2500，处理计算第k个红眼区域的候选区域(以下称之为区域k)的中心位置和尺寸。该尺寸是指作为矩形区域提取的红眼区域的候选区域的短边的长度。在步骤S2501，处理在计数器i中设置0。在步骤S2502，处理计算存储在候选区域列表中的第i个红眼区域的候选区域(以下称之为区域i)的中心位置和尺寸。在步骤S2503，处理将区域k的大小(以下称之为大小k)与区域i的大小(以下称之为大小i)进行比较。如果处理判断出大小i小于大小k，则在步骤S2512，处理使计数器i递增，并返回到步骤S2502。

如果处理判断出大小i大于或等于大小k(存在大小大于区域k的大小的红眼区域的候选区域)，则在步骤S2504，处理计算图26中所示的两个区域的中心之间的距离大小.在步骤S2505，处理根据两个区域的中心之间的距离大小，计算用于估计该大小的阈值Th_Size.

图27示出两个区域的中心间的距离大小与阈值Th_Size之间的关系的例子。水平轴代表两个区域的中心之间的距离，垂直轴代表阈值Th_Size。“Sa”、“Sb”、“La”和“Lb”表示参数，例如，La＝3.0，Lb＝5.0，Sa＝1.0以及Sb＝2.0。如果两个区域的中心之间的距离大小等于比设置了这些参数的区域k的大小(短边的长度)大三倍或以下的值，则阈值Th_Size等于1.0。如果两个区域的中心之间的距离大小等于比区域k的大小大三到五倍的值，则将阈值Th_Size确定为图27中所示的直线上的值。如果两个区域的中心之间的距离大小等于比区域k的大小大五倍或以上的值，则不进行该判断。

在步骤S2506，处理对大小i和大小k×Th_Size进行比较。如果大小i大于或等于大小k×Th_Size，即，如果在区域k附近存在大于区域k的红眼区域的候选区域，则处理判断出区域k不是红眼区域，然后在步骤S2507，处理从候选区域列表中排除区域k。在步骤S2508，处理对所检测到的区域的总数Ne进行递减，并进入步骤S2510。

如果在步骤S2506中大小i小于大小k×Th_Size，则在步骤S2509中，处理判断大小i是否等于通过从大小k减去1而给出的值。如果处理判断出大小i小于通过从大小k减去1而给出的值，则在步骤S2512中，处理使计数器i递增，并返回到步骤S2502。如果处理判断出大小i等于通过从大小k减去1而给出的值，则在步骤S2510中，处理使计数器k递减。在步骤S2511中，处理判断计数器k是否等于0。如果处理判断出计数器k大于0，则处理返回到步骤S2500。如果处理判断出计数器k等于0，则终止处理。

上述处理允许从记录在候选区域列表中的红眼区域的候选区域中排除不必要的红眼区域的候选区域。

如上所述，如果在红眼区域的另一候选区域附近，存在比红眼区域的另一候选区域小的红眼区域的候选区域，则从候选区域列表中排除较小的红眼区域的候选区域，以解决上述错误判断的问题。

第四实施例

将对根据本发明第四实施例的图像处理进行说明。在第四实施例中使用相同的附图标记来表示与第一到第三实施例中大体相同的组件。在此将省略对这些组件的详细说明。

在根据本发明第一实施例的自适应二值化中，存在由于红眼中的高亮区而将红眼区域分开的情况。图28A是红眼的放大图。参照图28A，附图标记2801表示眼睛的虹膜区域，附图标记2802表示眼睛的红色瞳孔区域，附图标记2803表示由闪光灯引起的高亮(白)区域。众所周知，由于红眼效应是由闪光灯引起的现象，因而由闪光灯引起的高亮区域存在于较大可能性捕获的图像中的瞳孔区域2802中。这也被称为捕获光。

由于高亮区域通常是捕获的图像中的瞳孔区域中的微小点，因而高亮区域对于红眼的检测没有影响.然而，根据图像捕获的条件，高亮区域可以被放大，以占据大部分瞳孔区域，或者高亮区域可具有细长形状，如图28A中的高亮区域2803一样.将根据第一实施例的自适应二值化应用于这样的图像数据，使得高亮区域2803的红色估计量Er小，并且高亮区域2803不被判断为红色区域.另外，如图28B中所示，存在在二值化后的图像中将瞳孔区域分割成两个区域2804和2805的情况.将根据第一实施例的下游步骤应用于这两个区域，大大降低了将瞳孔区域2802判断为红眼区域的可能性.根据本发明的第四实施例，为了解决这个问题，提供了组合相邻的红色圆形区域的处理.

图29是示出根据本发明第四实施例的自动校正红眼的处理概要的功能框图。由CPU 101进行该处理。与本发明的第三实施例相比，将候选区域组合单元208添加到图24中所示的处理。

候选区域组合单元208参照候选区域列表以判断是否将红色圆形区域与相邻的红色圆形区域相组合，在该候选区域列表中，存储由红色圆形区域提取单元203提取的红色圆形区域的左上和右下坐标。图31示出候选区域列表的例子。尽管在图31中的例子中记录了4个红色圆形区域，但是在候选区域列表中实际上记录了几十，在某些情况下有几千个红色圆形区域。

图30是示出由候选区域组合单元208进行的处理的例子的流程图。

在步骤S3001，处理将计数器i初始化为0。在步骤S3002，处理将计数器j初始化为“i”。在步骤S3003，处理判断是否将分别记录在候选区域列表中的第i行和第j行中的红色圆形区域(以下称之为“区域i”和“区域j”)组合成一个。具体地，如图32A所示，处理设置包括区域i和区域j的矩形区域，并计算该矩形区域的宽度Wij和高度Hij，其中，该区域i具有宽度Wi和高度Hi(像素数)，该区域j具有宽度Wj和高度Hj。然后，处理根据表达式(25)，判断区域i是否与区域j邻近，并判断区域i和区域j是否具有相同的大小：

[公式25]

(Wi·Hi+Wj·Hj)/(Wij·Hij)＞Th_J (25)

其中，“Th_J”表示大于0且小于或等于1.0的阈值(0＜Th_J≤1.0)。

表达式(25)意味着：计算区域i的大小和区域j的大小的和、与包括区域i和j的矩形区域的大小的比。如果该比大于阈值Th_J，则判断出区域i与区域j邻近，并具有与区域j的大小相同的大小。如果区域i和j具有图32B中所示的位置关系，则根据表达式(25)计算出的比变小，且处理判断出不将区域i和区域j组合成一个。

如果处理在步骤S3003判断出不将区域i和j组合成一个，则在步骤S3008，处理使计数器j递增，并返回到步骤S3003。如果处理在步骤S3003判断出将区域i和j组合成一个，则在步骤S3004，处理与组合前的区域相比，判断组合后的区域是否接近正方形。具体地，处理根据表达式(26)进行判断：

[公式26]

min(Wij，Hij)/max(Wij，Hij)＞max{min(Wi，Hi)/max(Wi，Hi)，min(Wj，Hj)/max(Wj，Hj)} (26)

表达式(26)意味着：包括区域i和j的矩形区域的高宽比(小于1.0)大于区域i的高宽比和区域j的高宽比中的较大的高宽比。换句话说，处理判断矩形区域是否接近正方形。如果满足表达式(26)，则组合后的矩形区域接近正方形，因此，红色圆形区域接近圆形。

如果不满足表达式(26)，则在步骤S3008，处理使计数器j递增，并返回到步骤S3003。如果满足表达式(26)，则在步骤S3005，处理利用包括区域i和j的矩形区域的坐标，更新候选区域列表中的第i个位置信息，并从候选区域列表中删除第j个位置信息。

在步骤S3006，处理判断计数器j的值是否达到了最大值(候选区域列表的末端)。如果处理判断出计数器j的值没有达到最大值，则在步骤S3008中，处理使计数器j递增，并返回到步骤S3003。如果处理判断出计数器j的值达到了最大值，则在步骤S3007，处理判断计数器i的值是否达到了最大值(候选区域列表的末端)。如果处理判断出计数器i的值没有达到最大值，则在步骤S3009，处理使计数器i递增，并返回到步骤S3002。如果处理判断出计数器i的值达到了最大值，则终止处理。

上述处理允许将记录在候选区域列表中的并被高亮区域分开的红色圆形区域组合成一个。

如上所述，进行如下判断：如果与另一红色圆形区域类似的红色圆形区域邻近于该另一红色圆形区域，则组合红色圆形区域是否会使红色圆形区域满足红眼区域的条件(外接矩形是否接近正方形)。利用该处理，可以合适地组合瞳孔区域中被高亮区域分开的与红眼区域相对应的红色圆形区域。

第五实施例

将对根据本发明第五实施例的图像处理进行说明。在第五实施例中使用相同的附图标记来表示与第一到第四实施例中大体相同的组件。在此将省略对这些组件的详细说明。

在本发明的第五实施例中，将说明在CPU的性能和/或可用的存储器(例如RAM)的容量受限的环境下，根据本发明第一到第四实施例中的任何一个实现图像处理的方法。该环境对应于复印机、打印机、数字照相机、扫描仪或者数字多功能机器等图像输入输出设备中的图像处理单元。

在上述环境下，可用的工作存储器具有达到几十万字节到几兆字节的容量。同时，增加了数字照相机的分辨率，并出现了具有高于千万像素的分辨率的照相机。为了通过使用有限的工作存储器从以如此高的清晰度捕获的图像中检测红眼区域，降低输入图像的分辨率是有效的方法。例如，在水平和垂直方向上每隔一个像素对各具有八百万像素的输入图像进行子采样，能够将该图像的分辨率降低到原分辨率的四分之一，即两百万像素。在这种情况下，用于存储该图像所需的工作存储器的容量也降低到了原容量的四分之一。然而，在各具有24位RGB值的像素的情况下，即使将分辨率降低到两百万像素，还需要大约六兆字节的工作存储器，以同时保持缩减后的图像。尽管在设有高容量RAM的个人计算机或工作站中可以毫无问题地达到该存储容量，但是在受限条件下需要进一步的改进，以降低工作存储器中所使用的容量。

根据本发明的第五实施例，将对下面的方法进行说明：缩减输入图像的大小，将缩减后的图像分割成条带，并提取每一条带的红眼区域。在分割成条带时，为了检测条带之间的边缘上的红眼，如图33中所示，提供重叠区域。参照图33，附图标记3301表示由输入图像的缩减而产生的缩减后的图像，而附图字母“BandHeight”表示一个条带中的行数。换句话说，对像素数等于“Width×BandHeight”的图像进行红眼区域的提取。在第五实施例中的条带分割中，利用包括由“OverlapArea”表示的行数的区域的前一条带来复制条带。因此，可以提取条带之间的边界上的红眼3302。

图34是示出根据本发明第五实施例的提取红眼区域的处理的例子的流程图。通过图像输入-输出设备中的CPU进行该处理。

在步骤S3401，处理将计数器N初始化成0。在步骤S3402，处理生成第N条带中的缩减后的图像。

为了简单，将对通过简单抽取(simple decimation)生成缩减后的图像的方法进行说明。例如，假定将各具有八百万像素的图像存储在图像输入-输出设备的存储器中(例如，安装在该设备中的闪存或硬盘、或从外部装载在该设备中的存储卡)。

在步骤S3402，处理访问存储器中图像数据，并且如果以联合图像专家组(JPEG)格式存储该图像数据，则对第一最小编码单元(MCU)块进行解码，以将解码后的块存储在工作存储器的预定区域中。该MCU块具有例如16×8像素的大小。然后，处理例如每隔一个像素对解码后的图像数据进行子采样，以生成具有8×4像素大小的图像数据，并将所生成的图像数据存储在工作存储器中用于提取红眼区域的图像存储区域。处理重复该处理，直到与行数“BandHeight”相对应的提取红眼区域的图像存储区域变满为止。上述步骤提供当将图像中的八百万像素降低到两百万像素时所使用的条带图像。

可以通过作为可代替简单抽取的包括近邻插值和线性缩小的各种方法中的任何一种，生成缩减后的图像。

在生成缩减后的图像的条带图像后，然后在步骤S3403，处理提取第N条带中的红眼区域。

图35是详细示出提取第N条带中的红眼区域(步骤S3403)的流程图。

在步骤S3501中，处理对缩减后的图像进行上述自适应二值化。将二值化结果(红色区域的二值化后的图像)存储在与缩减后的图像的存储区域不同的区域中。由于缩减后的图像中的OverlapArea区域是重叠区域，因而在第N-1条带中完成OverlapArea区域的处理。因此，如果N＞0，则可以跳过OverlapArea区域的处理，以再使用第N-1条带中的结果。这有助于提高处理速度。

在步骤S3502中，处理对二值化结果(红色区域)进行上述的边缘跟踪，以从条带图像中提取红色圆形区域。

在对提取出的红色圆形区域进行特征量的判断之前，在步骤S3503中，处理进行候选区域的选择，以从多个红色圆形区域中选择将对其进行特征量判断的红色圆形区域。

图36示出在跨越第N-1、N和N+1条带的OverlapArea区域中存在四个红色圆形区域的例子。例如，跨越第N和N+1条带存在红色圆形区域3603。因为OverlapArea区域中的红色圆形区域3603中的处理被重复，所以在第N和N+1条带中进行特征量的判断不是有效的。

因此，判断在第N和N+1条带之间的哪条带中，将进行红色圆形区域3603的特征量的判断。在第N+1条带的判断中，不能参照为红色圆形区域3603设置的周围区域的上面部分，而在第N条带的判断中可以参照该周围区域。于是，第N条带中的判断结果对于红色圆形区域3603有较高的可靠性。通常，应该在可以参照红色圆形区域的周围区域中的较大部分的条带中，进行OverlapArea区域中的红色圆形区域的特征量的判断。

因此，在第五实施例的步骤S3503中选择候选区域时，如图37中所示，估计OverlapArea区域中的红色圆形区域的上端与第N+1条带的上端之间的距离UPLen(估计第N+1条带中的红色圆形区域的位置，因为第N+1条带仍未被处理)，以计算红色圆形区域的下端与第N条带的下端之间的距离BTLen.如果UPLen＜BTLen，则在第N条带中进行红色圆形区域的特征量的判断.如果UPLen≥BTLen，则不在第N条带中进行红色圆形区域的特征量的判断(在第N+1条带中进行).当不在第N条带中进行特征量的判断时，从候选区域列表中排除该红色圆形区域.

当对图36中的红色圆形区域3604计算距离UPLen和BTLen时，距离UPLen和BTLen之间的关系表示为UPLen＞BTLen，因此在第N+1条带中进行红色圆形区域3604的特征量的判断。对于红色圆形区域3601和3602，分别在第N-1条带和第N条带中进行红色圆形区域3601和3602的特征量的判断。

如上所述，在步骤S3503中选择候选区域时，计算OverlapArea区域中的红色圆形区域的上端与第N+1条带的上端之间的距离(边距)，以及其下端与第N条带的下端之间的距离，以根据这些距离之间的关系，判断在哪个条带中进行特征量的判断。该方法防止了OverlapArea区域中的红色圆形区域的特征量的判断被重复。

返回参照图35，在步骤S3504中，处理对在步骤S3503中选择的红色圆形区域进行上述的特征量的判断。在步骤S3505中，处理计算校正判断为红眼区域的区域所需的参数。在步骤S3506中，如图38中所示，处理将关于红眼区域的信息和该参数的组合存储在候选区域列表中。该参数是计算(公式(23))校正量Vy和Vc所需的校正区域的最大亮度Ymax和红色估计量中的最大值Ermax。

返回参照图34，在步骤S3403完成在图35的第N条带中的红眼区域的提取后，然后在步骤S3404中，处理判断是否完成了最后条带的处理。如果完成了最后条带的处理，则终止该处理。如果未完成最后条带的处理，则在步骤S3405中，处理使计数器N递增，并返回到步骤S3402。

图39是示出根据本发明第五实施例的校正处理的例子的流程图。

在步骤S3901中，处理转换红眼区域的位置信息。由于作为内置在第五实施例的图像输入-输出设备中的处理进行红眼区域的提取和校正，因而如上所述，对缩减后的图像进行红眼区域的提取。然而，待校正的图像在缩减前是高分辨率的图像，并且如果使用打印机等图像输入-输出设备，则可以将该图像放大到打印(输出)的分辨率或对其进行旋转。因此，需要根据缩减率、放大率或旋转，对从缩减后的图像中提取出的红眼区域的位置信息进行转换。

如图41中所示，用红眼区域的左上坐标(x_t0，y_t0)和右下坐标(x_b0，y_b0)来表示存储在候选区域列表中的位置信息。当由“W0”和“H0”表示缩减后的图像的水平和垂直像素数，且由“W1”和“H1”表示待校正的图像的水平和垂直像素数时，根据公式(27)计算待校正的图像中的红眼区域的坐标：

[公式27]

(x_t1，y_t1)＝{int(x_t0·k)，int(y_t0·k)}(x_b1，y_b1)＝{int(x_b0·k)，int(y_b0·k)} (27)

其中，K＝W1/W0，“int()”表示不超过自变量值的最大整数，“(x_t1，y_t1)”表示待校正的图像中的红眼区域的左上坐标，“(x_b1，y_b1)”表示待校正的图像中的红眼区域的右下坐标。

在步骤S3901中确定待校正的图像中的红眼区域的坐标后，以与第一实施例中相同的方式，围绕红眼区域设置椭圆区域，并通过使用椭圆区域中的像素作为待校正的像素进行以下步骤.

在步骤S3902中，处理将计数器R初始化为0。在步骤S3903中，处理获取待校正的图像中的第R行的图像数据。尽管在第五实施例中，以行为单位校正待校正的图像，但是校正不局限于该方法。可以以跨越预定数量的行的条带为单位来校正图像。通过以下步骤实现待校正的图像数据的提取：解压缩与预定行数相对应的量的、以JPEG格式等压缩格式存储在图1的存储设备105或存储卡中的图像，并从解压缩后的图像数据中获取一行(或多行)中的图像数据。

在步骤S3904，处理判断第R行是否包括待校正的像素。在根据第五实施例的校正中，使用围绕红眼区域(矩形区域)设置的椭圆区域作为待校正的区域。因此，对于存储在候选区域列表中的所有红眼区域，处理判断第R行是否位于待校正区域的上端与其下端之间。如果处理判断出第R行不包括待校正的像素，则在步骤S3907中，处理使计数器R递增，并返回到步骤S3903。

例如，在图40所示的例子中，在围绕红眼区域4003设置的待校正的区域4002中，包括第R行。因此，如果处理在步骤S3904中判断出第R行包括待校正的像素，则在步骤S3905中，处理将根据第一实施例的校正应用于第R行上的待校正的区域4002中的像素。使用在步骤S3505中计算出的并在步骤S3506中存储在候选区域列表中的参数，作为校正所需的最大亮度Ymax和红色估计量中的最大值Ermax。

在步骤S3906中，处理判断第R行是否是最后的行。处理重复上述步骤，直到第R行达到最后的行以对整个输入图像进行了校正为止。

例如，可以将校正后的图像数据存储在存储设备105中。可选地，在该图像数据经过色彩转换和伪色调处理后，可以利用例如打印机110将校正后的图像数据打印在记录纸张上。

如上所述，通过缩减输入图像并将缩减后的图像分割成条带以便以条带为单位提取红眼区域，可以在使用具有较低容量的存储器资源的环境下，实现在第一到第四实施例中所述的红眼区域的提取和校正。另外，进行条带分割使得重叠区域跨越邻近的条带，允许提取条带之间的边界上的红眼区域。

可以将红眼区域提取单元安装在成像设备等图像输入设备中，并且可以将红眼区域校正单元安装在打印设备等图像输出设备中。

变形例

尽管在本发明的上述实施例中，对每一像素定义了不使用RGB成分中的B成分的红色估计量Er，但是红色估计量Er不局限于此。例如，根据公式(28)定义红色估计量Er，并将系数k设置成0或小于系数i和j的值，也可以提供类似的效果。

[公式28]

Er＝(i·R+j·G+k·B)/R (28)

其中，系数i、j和k表示可以是负值的权重。

另外，在将像素值转换成Lab或YCbCr等另一色彩空间中的值之后，可以利用被排除的蓝色部分，或利用具有较小权重的蓝色成分，来定义红色估计量Er。

其它实施例

本发明适用于包括多个装置(例如，主计算机、接口设备、读取器、以及打印机)的系统或仅包括一个设备(例如，复印机或传真设备)的装置.

可以这样来实施本发明：将具有实现根据上述实施例的功能的软件的程序代码的存储介质(或记录介质)提供给系统或装置，系统或装置中的计算机(或CPU或微处理单元(MPU))读取并执行存储在该存储介质中的程序代码。在这种情况下，从该存储介质读出的程序代码本身实现上述实施例的功能。本发明适用于将程序代码存储在其中的存储介质。执行读出的程序代码的计算机实现上述实施例的功能。另外，运行在计算机上的操作系统(OS)等可以基于该程序代码的指令，执行全部或部分实际处理，以实现上述实施例的功能。

可选地，在将从该存储介质中读出的程序代码写入包括在计算机中的扩展板或与计算机连接的扩展单元中设有的存储器中之后，该扩展板或扩展单元中的CPU等可以基于该程序代码中的指令，执行全部或部分实际处理，以实现上述实施例的功能。

当将本发明应用于上述存储介质时，与上述流程图相对应的程序代码被存储在该存储介质中。

尽管参照典型实施例已对本发明进行了说明，但是应该理解，本发明不局限于所公开的典型实施例。以下权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims

1.一种图像处理装置，包括：

计算单元，用于对图像中的每一像素计算眼睛的色调的估计量；以及

提取单元，用于基于由所述计算单元计算出的估计量，提取具有眼睛的不良色调的候选像素，

其中，所述计算单元将权重应用于红色成分和绿色成分，并将比像素的红色成分和绿色成分的权重小的权重应用于蓝色成分，并根据像素的应用了权重的红色成分、绿色成分和蓝色成分，计算所述估计量。

2.一种图像处理方法，包括以下步骤：

计算步骤，用于对图像中的每一像素计算眼睛的色调的估计量；以及

提取步骤，用于基于在所述计算步骤中计算出的估计量，提取具有眼睛的不良色调的候选像素，

其中，在所述计算步骤中，将权重应用于红色成分和绿色成分，并将比像素的红色成分和绿色成分的权重小的权重应用于蓝色成分，并根据像素的应用了权重的红色成分、绿色成分和蓝色成分，计算所述估计量。

3.一种图像处理装置，包括：

计算单元，用于仅根据图像中的每一像素的红色成分和绿色成分，对该像素计算眼睛的色调的估计量；

提取单元，用于基于由所述计算单元计算出的估计量，提取具有眼睛的不良色调的候选像素；以及

区域提取单元，用于提取具有由所述提取单元提取出的多个候选像素的区域，判断提取出的区域是否形成预定形状，并提取被判断为形成所述预定形状的区域作为具有眼睛的不良色调的候选区域。

4.根据权利要求3所述的图像处理装置，其特征在于，

所述提取单元将预先准备的窗口区域设置为图像的目标像素的邻近区域，根据所述窗口区域中所包括的像素的所述估计量确定阈值，并通过使用所述阈值对所述目标像素的所述估计量进行二值化，以提取所述候选像素。

5.根据权利要求4所述的图像处理装置，其特征在于，所述提取单元对与图像的所述目标像素相同的行上的多个像素设置所述窗口区域。

6.根据权利要求5所述的图像处理装置，其特征在于，所述提取单元通过沿朝向所述行的方向对所述目标像素进行主扫描来提取主候选像素，并通过在所述主扫描之后沿与所述主扫描的方向相反的方向对所述目标像素进行次扫描来提取次候选像素，并且将通过所述主扫描和所述次扫描提取出的像素确定为所述候选像素。

7.根据权利要求3所述的图像处理装置，其特征在于，形成所述预定形状的区域是圆形或接近椭圆形的形状。

8.根据权利要求3或7所述的图像处理装置，其特征在于，还包括：

判断单元，用于基于根据由所述区域提取单元提取出的所述候选区域所计算出的眼睛的特征量，判断是否设置校正区域；以及

第一校正单元，用于在所述判断单元将所述候选区域判断为所述校正区域时，对所述校正区域上的不良色调进行校正。

9.根据权利要求8所述的图像处理装置，其特征在于，所述判断单元根据所述候选区域计算眼睛的多个特征量，并在所述候选区域满足针对所有特征量或特征量中的预定特征量的预定标准的情况下，将所述候选区域判断为所述校正区域。

10.根据权利要求9所述的图像处理装置，其特征在于，所述校正单元包括：

第一计算单元，用于根据所述校正区域中的像素和所述校正区域的中心之间的距离，计算第一权重；

第二计算单元，用于根据图像中的目标像素的估计量与所述校正区域内的像素的估计量中的最大估计值的比，计算第二权重；

第三计算单元，用于根据所述目标像素的亮度与所述校正区域内的亮度中的最大亮度的比，计算第三权重；

校正量确定单元，用于通过使用所述第一权重、所述第二权重和所述第三权重，确定亮度和色差成分的校正量；以及

第二校正单元，用于通过使用所述校正量，校正所述目标像素的亮度和色差成分。

11.根据权利要求10所述的图像处理装置，其特征在于，所述校正量确定单元通过使用所述第一权重、所述第二权重和所述第三权重，确定亮度的校正量，并通过使用所述第一权重和所述第二权重，确定色差成分的校正量。

12.根据权利要求3所述的图像处理装置，其特征在于，还包括区域排除单元，所述区域排除单元用于当在所述候选区域的邻近区域中存在较小的候选区域时，排除该较小的候选区域。

13.根据权利要求3所述的图像处理装置，其特征在于，还包括区域组合单元，所述区域组合单元用于当在所述候选区域的邻近区域中存在另一候选区域时，将所述候选区域和所述另一候选区域组合起来。

14.根据权利要求13所述的图像处理装置，其特征在于，所述区域组合单元将所述候选区域和所述另一候选区域组合起来，使得与所述候选区域和所述另一候选区域中的任一个相比，组合后的区域的形状更接近正方形。

15.根据权利要求3所述的图像处理装置，其特征在于，使用图像的红色成分和绿色成分，通过(R-G)或R/G来计算所述估计量，其中，R表示红色成分的量，G表示绿色成分的量。

16.一种图像处理方法，包括以下步骤：

计算步骤，用于仅根据图像中的每一像素的红色成分和绿色成分，对该像素计算眼睛的色调的估计量；

提取步骤，用于基于在所述计算步骤中计算出的估计量，提取具有眼睛的不良色调的候选像素；以及

区域提取步骤，用于提取具有在所述提取步骤中提取出的多个候选像素的区域，判断提取出的区域是否形成预定形状，并提取被判断为形成所述预定形状的区域作为具有眼睛的不良色调的候选区域。