CN1882036A

CN1882036A - 图像处理装置及其方法

Info

Publication number: CN1882036A
Application number: CNA2006100918678A
Authority: CN
Inventors: 梅田清
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2005-06-14
Filing date: 2006-06-13
Publication date: 2006-12-20
Anticipated expiration: 2026-06-13
Also published as: US7826659B2; US20060280363A1; CN100409660C; JP4420459B2; JP2006350559A

Abstract

本发明提供一种图像处理装置及其方法。在数字照相机或打印机的嵌入系统中可使用的存储器资源有限，在这样的环境下，从高精细的图像中检测红眼区域需要进一步的措施。因此，本发明将输入图像分割成预定行数的条带图像，使得相邻的条带图像之间存在重复区域；对每个条带图像抽取构成显出色调不良的图像区域的候选像素。并且，根据重复区域中的包含候选像素的候选区域的位置，确定要对候选像素进行特征量判断的条带图像。

Description

图像处理装置及其方法

技术领域

本发明涉及一种图像处理装置及其方法，尤其涉及检测眼睛图像中显出色调不良的图像区域的图像处理。

背景技术

校正因照相机的闪光灯引起的眼睛图像的色调不良(poor tone)的方法已被提出。此外，眼睛图像的色调不良，作为红眼现象(red-eyeeffect)被人们所熟知。红眼现象是这样一种现象：在照明少的环境下，使用闪光灯(photographic flash)拍摄人或者狗、猫等的动物时，进入到已打开的瞳孔部分的闪光灯的光在眼底反射，毛细血管闪现红光。色素的颜色淡(或色素少)的人因为瞳孔即晶状体的透射率高，所以容易产生红眼现象。

另外，近年来，有这样的趋势：数字照相机进一步小型化发展，透镜的光轴和闪光灯的光源位置接近。通常，闪光灯的光源位置越接近透镜的光轴，红眼现象就越容易发生，其对策已成为重要的课题。

作为防止红现图像的一种方法，已知有这样的方法：在进行拍摄时，进行预发光(pre-flash)，在被摄体的瞳孔闭合之后进行拍摄。但是，该方法与通常的拍摄相比，存在消耗电池和因预发光而使被摄体的表情走样的问题。

因此，近年来，提出了很多这样的方法：通过使用个人计算机等，对由数字照相机拍摄得到的数字图像数据进行校正、加工，从而修正红眼图像(red-eye image)。

在数字图像数据上校正红眼的方法可大致分为：手动校正、半自动校正、自动校正。

手动校正是用户使用鼠标或、触针(stylus)、和书写板(tablet)等的指示设备或触摸面板，指定在显示器显示的红眼区域(red-eyeregion)来进行校正的。

半自动校正是用户某种程度指定红眼图像存在的区域，根据其信息确定红眼图像的校正范围来进行校正的。例如，用户通过指示设备指定包围双眼那样的区域，或者指定眼睛附近的一点。根据该指定区域或者指定点的信息确定校正范围，来进行校正。

自动校正，不需要由用户进行特别的操作，自动地从数字图像数据中检测校正区域，执行校正处理。

手动或者半自动校正，需要用户通过某些操作指定校正地方。因此，需要用户进行繁琐的操作：在放大显示图像数据的要校正的区域附近之后，指定校正区域。另外，如果是具有大画面显示装置的计算机系统等，这样的操作也比较容易。但是，在数字照相机或打印机等仅具有数英寸的显示装置的设备上，放大图像、滚动图像从而指定校正区域的操作终究不能说容易。

近年来，在对用户来说不需要繁琐的操作且不具有大的显示装置的设备中，关于有效的红眼现象的自动校正，已提出各种方案。

例如，日本特开平11-136498号公报中提出这样的方法：从图像中检测出肤色区域，并搜索认为在该区域内构成红眼图像的像素，对检测出的构成红眼图像的像素进行校正。另外，日本特开平11-149559号公报中提出了这样的方法：检测出肤色区域，在该区域中检测出与瞳孔的低亮度等级对应的谷区域，以第一谷和第二谷的距离为基准来确定眼睛。另外，日本特开2000-125320号公报中提出这样的方法：检测出肤色区域，判断肤色区域是否具有人脸部的特征，在该区域内检测出一组红眼图像，评价距离和大小，从而确定红眼区域。另外，日本特开平11-284874号公报中提出了这样的方法：自动检测图像是否包含红色瞳孔图像，在检测出红色瞳孔图像时，检测其位置、大小，自动地将瞳孔图像内的红色像素转换成预定颜色。

但是，所提出的红眼图像的自动校正方法存在以下问题。

首先，基于人物的肤色检测或者使用了神经网络等的脸部检测的结果的红眼区域的检测，检测结果的可靠性高，但是需要参照图像中某种程度宽的范围，需要进行大量的存储和运算。因此，适合由以数GHz的时钟动作的高性能CPU、和安装数百MB存储器的个人计算机进行的处理，而在数字照相机或打印机内部的嵌入系统中，执行这样的检测方法是困难的。

在数字照相机或打印机内部的嵌入系统中，可使用的工作存储器再多也就是数百KB～数MB左右。另一方面，随着数字照相机的高分辨率发展，具有超过1000万像素的拍摄能力的照相机也已问世。要使用有限的工作存储器进行从这样高精细的图像中检测红眼区域的处理，降低输入图像的分辨率是有效的方法。例如，如果在水平垂直方向以一像素间隔进行字采样，则能将800万像素的输入图像缩小为1/4的分辨率即200万像素的图像。此时，存储图像所需要的工作存储器的容量也变为1/4。但是，即使缩小成200万像素，要同时保持缩小后的整个图像，在RGB为24位的情况下，也需要约6MB的工作存储器。在具有大容量RAM的个人计算机或工作站中，是不成为问题的存储容量，但是在数字照相机那样有限的存储器资源下，为了削减工作存储器的使用量，需要进一步的措施。

另外，不仅限于上述的自动校正的例子，迄今为止提出的方法多是将红眼区域和周边区域进行比较，利用饱和度高这样的特征来确定红眼区域。但是存在这样的问题：基于饱和度的判断未必适合色素的颜色浓(或者色素多)的人。如众所周知那样，像素值由RGB系列给出时的饱和度S可用式(1)求取。

S＝{max(R，G，B)-min(R，G，B)}/max(R，G，B) …(1)

在这里，max(R，G，B)为RGB成分的最大值，

min(R，G，B)为RGB成分的最小值。

例如，如果日本人的肤色区域用色相(0～359度)来说，从实验结果可知，多分布在0～30度附近。此外，HIS系列的色相中，0度附近为红色，随着色相角变大接近黄色区域。在0～30度附近，RGB值的大小关系如下。

R＞G＞B …(2)

另外，如上所述，与色素的颜色淡(或者色素少)的人相比，色素的颜色浓(或者色素多)的人难以出现鲜艳的红眼图像。

当考虑这些后推测日本人的红眼区域的像素值和眼睛周围肤色区域的像素值时，则如下。

红眼区域：(R，G，B)＝(109，58，65)

肤色区域：(R，G，B)＝(226，183，128)

上述那样的情况下，红眼区域的像素(以下称为“红眼像素(red-eye pixel)”)的饱和度为40，肤色区域的像素的饱和度为43，几乎为同样的饱和度值。换言之，有时即使着眼于饱和度，也不能根据被摄体(人)确定红眼像素。

发明内容

本发明的第一方面，公开一种图像处理装置，其特征在于，包括：分割装置，将输入图像分割成预定行数的条带图像，使得在相邻的条带图像之间存在重复区域；抽取装置，对每个上述条带图像，抽取构成显出色调不良的图像区域的候选像素；以及确定装置，根据上述重复区域中的包含上述候选像素的候选区域的位置，确定要对上述候选像素进行特征量判断的条带图像。

本发明的第二方面，公开一种图像处理装置，检测眼睛图像中显出色调不良的图像区域，其特征在于，包括：分割装置，从输入图像依次分割预定行数的条带图像，使得在相邻的条带图像之间存在重复区域；计算装置，对每个上述条带图像，且对每个上述条带图像的像素，基于预定色成分计算上述色调不良的评价量；像素抽取装置，对每个上述条带图像，基于上述评价量，抽取构成显出上述色调不良的图像区域的候选像素；区域抽取装置，对每个上述条带图像，抽取上述候选像素构成的预定形状的候选区域；以及确定装置，对每个上述条带图像，基于从上述候选区域计算出的关于上述眼睛图像的特征量，确定是否将上述候选区域作为校正区域。

根据本发明，在可分配给检测用的存储器资源有限的设备环境下，能高精度地检测眼睛图像的显出色调不良的图像区域。因此，能与色素的颜色淡、浓(或者色素少、多)这样的人的特性无关地，适当检测眼睛图像的显出色调不良的图像区域(要校正的图像区域)。

本发明的其他特点和优点，将通过以下参照附图的说明来得到明确，在附图中相同的附图标记表示相同或相似的部分。

附图说明

图1是表示执行实施例1的图像处理的计算机(图像处理装置)的结构的框图。

图2是表示实施例1的红眼图像的自动校正处理的概要的功能框图。

图3是示意地表示通过数字照相机等拍摄装置所拍摄的红眼图像的图。

图4是说明适当的二值化处理的图。

图5A和图5B是表示适当的二值化的结果例的图。

图6A和图6B是说明求取平均值Er(ave)时的高速化方法的图。

图7和图8是说明边界线跟踪法的图。

图9是表示跟踪方向直方图的方向的图。

图10是表示方向直方图的一例的图。

图11是表示红色区域的外接矩形区域的图。

图12是表示是否是红圆区域的判断处理的流程图。

图13A至图13C是说明在计算红眼候选区域的特征量时使用的周边区域的定义的图。

图14A和图14B是说明红眼候选区域存在于图像的端部附近时的周边区域的图。

图15A至图15C是表示框图的平均值Er(ave)的计算区域的图。

图16是表示特征量组的判断顺序的流程图。

图17是说明周边区域的设定方法的图。

图18是表示校正候选区域列表所记载的多个红眼区域中的一个的处理的流程图。

图19是说明校正范围的确定的图。

图20是说明校正参数的设定方法的图。

图21A和图21B是说明实施例2的课题的图。

图22A和图22B是说明实施例2中的适当的二值化处理的图。

图23是说明实施例3的课题的图。

图24是表示实施例3的红眼图像的自动校正处理的概要的功能框图。

图25是表示候选区域评价部的处理的流程图。

图26是说明中心间距离Size的图。

图27是表示中心间距离Size和阈值Th_Size的关系例的图。

图28A和图28B是说明实施例4的课题的图。

图29是表示实施例4的红眼图像的自动校正处理的概要的框图。

图30是表示候选区域结合部的处理的流程图。

图31是表示候选区域列表的一例的图。

图32A和图32B是说明候选区域结合处理的图。

图33是说明实施例5中的条带分割的图。

图34是表示实施例5中的红眼区域的抽取处理的流程图。

图35是表示第N条的红眼区域的抽取处理的详细的流程图。

图36是表示在第N-1、N以及N+1条中，在OverlapArea内存在四个红圆区域的例子的图。

图37是说明候选区域选择处理的图。

图38是表示候选区域列表的一例的图。

图39是表示实施例5中的校正处理的流程图。

图40是表示校正行与校正对象区域的关系的图。

图41是说明存储在候选区域列表的红眼区域的位置信息的图。

具体实施方式

下面，参照附图详细地说明本发明的实施例的图像处理。以下说明的图像处理，主要希望编入到生成应向打印机引擎输出的图像信息的在计算机内运行的打印机驱动器中。或者希望编入到驱动扫描仪等光学读取装置的在计算机内运行的扫描仪驱动器中。或者，也可以内置在复印机、传真机、打印机、扫描仪、数字照相机、数字摄像机等硬件内或者作为软件提供。

<实施例1>

[装置的结构]

计算机100具有CPU101、ROM102、RAM103、连接监视器113(可以具有触摸面板)的显示卡104、硬盘驱动器或存储卡等的存储装置105。还具有连接鼠标、触针、和书写板等指示设备106、键盘115等的USB或IEEE 1394等串行总线用的接口108。还具有与网络114相连接的网络接口卡(NIC)107。并且，这些结构用系统总线109相互连接。另外，在接口108能够连接打印机110、扫描仪111、数字照相机112等。

CPU101将存储在ROM103或存储装置105中的程序(包含在以下说明的图像处理的程序)载入到作为工作区的RAM103，并执行该程序。并且，按照该程序，经由系统总线109来控制上述的各结构，从而实现该程序的功能。

此外，图1表示实施在实施例1说明的图像处理的硬件的一般结构，即使缺少其一部分的结构或追加其他设备，也包含在本发明的范畴。

[处理的概要]

图2是表示实施例1的红眼图像的自动校正处理的概要的功能框图，是通过CPU执行的处理。此外，输入图像是例如从数字照相机112或胶片扫描仪111输入的、每一像素RGB各8位、共计24位的数字图像数据。

图3是示意地表示由数字照相机112等拍摄装置拍摄的红眼图像的图，表示眼睛的瞳孔区域302、虹膜区域301、由拍摄时使用的闪光灯引起的加亮区域304。另外，附图标记303表示眼白部分。通常，由于红眼图像，瞳孔区域302变红。

图2所示的红色区域抽取部202，从输入到输入端子201的图像数据中抽取红色的区域(以下称为“红色区域(red color region)”)。红色区域的抽取方法可考虑各种方法，后面将叙述基于适当的二值化的红色区域的抽取法。此外，因为红色区域抽取部202与是否是眼睛无关地抽取红色区域，所以所抽取的红色区域包含红眼、红色的信号机、衣服的红色的样式、红色的照明等各种区域。

红圆区域(red circular region)抽取部203，输入输入图像数据和所抽取的红色区域的信息，从红色区域中确定其形状比较接近圆的区域(以下称为“红圆区域”)。区域形状的判断方法可以考虑各种方法，后面将叙述基于边界线跟踪(boundary traciong)的红圆区域的抽取法。此外，红圆区域抽取部203将抽出的红圆区域的位置信息存储在候选区域列表。

特征量(feature amount)判断部204，输入输入图像数据和候选区域列表，对存储在候选区域列表的红圆区域进行能确定为眼睛图像那样的各种特征量的判断处理。能确定为眼睛图像的特征量，有红圆区域的饱和度(saturation value)、红圆周边区域的亮度(lightness)、饱和度、色相(hue value)、边缘的分布等。将这些特征量和预定的阈值进行比较，将满足所有条件的红圆区域确定为红眼区域。此外，特征量判断部204将所确定的红眼区域的位置信息存储在候选区域列表。

校正部205，输入输入图像和存储了红眼区域的位置信息的候选区域列表，并对图像数据的红眼区域实施校正处理，将实施了校正处理的图像数据输出到输出端子206。校正处理后的图像数据，在监视器113显示或存储在RAM103或者存储装置105。或者，该图像数据，由连接在接口108上的打印机110进行打印、或者经由NIC 107发送到与网络114(包含企业内部网、互联网)连接的其他计算机或服务器上。

[红色区域抽取部]

红色区域抽取部202，通过对输入图像数据应用适当的二值化处理，从图像数据抽取红色区域。即，对输入图像数据的各像素计算出表示红色程度的红色评价量，将该评价量和阈值进行比较，在评价量＞阈值时，将关注像素(interest pixel)判断为红色。该阈值是在关注像素的周边区域适当确定的阈值。此外，在这里所说的“二值化”是指，对判断为红色的像素分配”1”，对没判断为红色的像素分配”0”。

图4是说明适当的二值化处理的图。

在图4中，输入图像数据401上的关注像素402是二值化处理的对象。红色区域抽取部202用式(3)定义表示关注像素402的红色程度的评价量Er。

Er＝(R-G)/R …(3)

式3是指，不是一般的HSI系统的饱和度而是从除去B成分的R、G的二成分求取关注像素402的红色程度。下面说明不用饱和度而用式(3)定义红色评价量Er的优点。

例如，在色素的颜色浓(或者色素多)的人时，存在这样的趋势：因为瞳孔区域302的晶状体的透射率低，所以难以成为鲜艳的红眼图像。如前所述，日本人的红眼区域的像素值的推测值为(R，G，B)＝(109，58，65)，日本人的肤色如果用色相来说，实验结果表明，较多地分布在从红色(0度)到黄色(60度)之间。在这样的区域，RGB各成分的大小关系为R＞G＞B，眼睛周围的肤色区域的像素值的推测值为(R，G，B)＝(226，183，128)。这样，在红眼区域的像素和眼睛的周围的肤色区域的像素中，B成分都变小。此时，红眼像素的饱和度为40，眼睛周围的肤色区域的像素的饱和度为43，几乎为相同的饱和度值。也就是，红眼区域的像素的饱和度值，相对眼睛的周围的肤色区域的像素的饱和度值并不特别地突出。因此，如果使用饱和度作为适当的二值化处理的阈值，则将难以检测红眼区域。

另一方面，如果用式(3)、即不依存B成分的评价量定义红色评价量Er，则红眼区域的像素的红色评价量Er为47，眼睛周围的肤色区域的红色评价量Er为19，与眼睛周围的肤色区域相比，红眼区域的像素的红色评价量Er是其二倍以上的值。

如上所述，在检测色素的颜色浓(或者色素多)的人的红眼图像时，不定义饱和度而定义式(3)所示的不包含B成分的、仅R、G成分的评价量，从而能精度更高地抽取构成红眼图像的像素。此外，在式(3)中，将(R-B)对R成分的比例作为评价量Er，但是并不仅限于此，也可以仅将例如(R-B)或R/G作为评价量Er。

此外，不言而喻，在检测色素的颜色淡(或者色素少)的人的红眼时，也不定义饱和度而定义式(3)所示的不包含B成分的、仅R、G成分的评价量，从而能精度更高地抽取构成红眼图像的像素。

返回到图4，为了对关注图像402进行二值化，在和关注像素402同一行上的、相对关注图像402在左方向(主扫描方向的前方)设定像素数为ThWindowSize那样的窗口403。并且，求出该窗口内的像素的红色评价量Er的平均值Er(ave)。在此，最好将像素数ThWindowSize做成图像的短边的1～2％左右的宽度。此外，因为仅在满足以下条件时计算评价量Er，所以评价量Er不会为负。

R＞0且R＞G …(4)

使用平均值Er(ave)对关注像素402进行二值化，但是，要进行该处理，关注像素402需要满足以下的条件。

R＞Th_Rmin且R＞G且R＞B …(5)

在这里，Th_Rmin为表示R的下限值的阈值。

在满足上述条件时，执行式(6)的二值化处理。

若Er＞Er(ave)+Margin_RGB，则为“1”

若Er≤Er(ave)+Margin_RGB，则为“0” …(6)

在这里，Margin_RGB是参数。

式(6)，在关注像素402的红色程度Er大于窗口403的平均值Er(ave)加上Margin_RGB后的值时，将关注像素402的二值化后的值设为“1”。即，意思是将该关注像素402作为红色区域而抽取。此外，在红色区域连续时，因为平均值Er(ave)的值变得过大，可以对平均值Er(ave)设置上限。该二值化结果保存在所分配的区域内，该所分配的区域和RAM103中的输入图像用的缓冲区不同。

在输入图像数据的行单位中，从左至右移动关注像素402，对所有的像素实施以上的处理。

此外，在实施例1中，根据设定在与关注像素402同一行上的左方向的窗口内的像素的评价值Er，计算出用于进行二值化的阈值(平均值Er(ave))，但是，并不仅限于此。例如，可以将像包含关注像素402的行的上方(副扫描方向行的前方)多个行的关注像素402的左方向(主扫描方向行的前方)多个像素那样的区域，或者以关注像素402为中心的预定的矩形区域，设定为窗口。

图5A和图5B是表示适当的二值化的结果例的图。图5A表示输入图像数据的红眼图像周边的图像，图5B表示适当的二值化后得到的二值图像中仅抽取红眼图像的瞳孔部分的像素的情况。

另外，在求取在主扫描方向设定的窗口内部的评价量的平均值Er(ave)时，可以使用下面的高速化方法。

图6A和图6B是说明求取平均值Er(ave)时的高速化方法的图。

在图6A中，在求取在关注像素402的左方向设定的窗口403内的平均值Er(ave)时，将窗口403内的评价量Er的总和存储在存储器(例如RAM103)。通过用构成窗口403的像素数n除总和，能简单地求取平均值Er(ave)。接着，关注像素402向右移动一像素，但此时，窗口403也向右移动一像素。此时，图6B所示的窗口403内的评价量Er的总和，从在图6A中求出的总和减去像素501的评价量Er，加上像数502(前面紧接的关注像素402)的评价量Er，从而实现处理的高速化。也就是，关注像数402和窗口403移动之后，不需要重新计算出窗口403内所有像素的评价量Er。

[红圆区域抽取部]

红圆区域抽取部203，使用作为二值图像处理方法之一的边界线跟踪法，抽取红圆区域。

图7是说明边界线跟踪法的图。

边界线跟踪处理，对适当的二值化处理后得到的二值图像，从上端沿主副扫描方向扫描图像。并且，检测关注像素(xa，ya)的值为“1”、关注像素的左(xa-1，ya)、左斜上(xa-1，ya-1)、上方(xa，ya-1)、右斜上(xa+1，ya-1)的四像素的值为“0”的关注像素。并且，将检测出的像素作为始点像素(origin pixel)(在图7中用附图标记701表示的像素)。此外，图7中设定了以二值图像的左上方为原点的坐标系。

并且，从始点像素701开始沿逆时针方向到又返回到始点像素701为止，跟踪值为“1”的像素。在跟踪的途中，在脱离图像区域或者Y坐标小于始点像素701时，停止跟踪，搜索下一个始点像素。在跟踪途中，在Y坐标小于始点像素701时停止跟踪，是为了防止误跟踪图8所示的环状区域的内侧。在跟踪了环状区域的内侧时，在图8中，到达像素802时，由于Y坐标小于始点像素801，所以在此停止跟踪。

在上述跟踪过程中，能够得到跟踪对象区域的周长、方向直方图、X坐标和Y坐标的最大值、最小值。在此，周长为跟踪的像素的数量，例如在图7的例子中，包括始点像素701为九像素。

方向直方图是在跟踪过程中在图9所示的八方向累计了从某个像素开始向下一个像素移动的方向的直方图。在图7的例子中，当从始点像素701沿逆时针方向跟踪时，移动的方向为“667812334”，其方向直方图如图10所示。

如图11所示，X、Y坐标的最大、最小值，表示值为“1”的像素存在的区域、即红色区域的外接矩形(circumscribed rectangle)区域。

红圆区域抽取部203，对各红色区域进行边界线跟踪，取得上述的值，并判断是否为红圆区域。

图12是表示是否为红圆区域的判断处理的一例的流程图。

首先，判断红色区域的纵横比是否大于等于预定的阈值Th_BF_VHRatio(步骤S 1201)。纵横比AR用式(7)计算。

AR＝(ymax-ymin)/(xmax-xmin) …(7)

其中，如果AR＞1，则AR＝1/AR

即，纵横比AR在0.0～1.0的范围内表示，在AR＝1.0时，纵和横的长度相同。在步骤S1201，将纵横比AR和阈值Th_BF_VHRatjo进行比较，在AR＜Th_BF_VHRatio时，判断为该红色区域不是红圆区域，转移到对下一个红色区域的搜索。

在AR≥Th_BF_VHRatio时，判断红色区域的尺寸是否合适(S1202)。尺寸的判断根据如下二条件进行：(i)实际的像素数的上限、下限；(ii)与图像的短边或长边的比。

首先，关于条件(i)，将红色区域的横向宽度X＝xmax-xmin和纵向宽度Y＝ymax-ymin的较小的一方、和预定阈值进行比较。并且，判断纵向宽度或横向宽度是否处在上限Th_BF_SizeMax和下限Th_BF_SizeMin之间。如果在上限和下限之间没有纵向宽度Y或者横向宽度X，则判断为该红色区域不是红圆区域，转移到对下一个红色区域的搜索。

另外，关于条件(ii)，由式(8)判断。

Th_BF_RatioMin＜min (X，Y)/min(W，H)＜Th_BF_RatioMax …(8)

在这里，X＝xmax-xmin

Y＝ymax-ymin

W是输入图像的宽度，H是输入图像的高度。

如果关注的红色区域不满足式(8)时，则判断为不是红圆区域，转移到对下一个红色区域的搜索。此外，在式(8)，表示将短边相互之间进行比较例子，但也可以将长边相互之间进行比较。

在步骤S1202判断为尺寸合适时，将周长和理想的圆周进行比较，进行抽取的红色区域是否接近圆形的判断。根据红素区域的宽度X、高度Y用式(9)近似地求取理想的圆周Ci。

Ci＝(X+Y)×2×2π/8 …(9)

式(9)是假定抽取的红色区域为正方形，计算内接于正方形的圆的圆周的公式，在式(9)中，(X+Y)×2表示包含红色区域的正方形的四边的长度，2π/8表示正方形的四边的长度与内接于该正方形的圆的圆周之比。通过式(10)将上述的理想的圆周ci和周长进行比较，在不满足式(10)时，不判断为红圆区域，转移到对下一个红色区域的搜索。

min(Ci，Cx)/max(Ci，Cx)＞Th_BF_CircleRatio …(10)

在这里，Cx是周长。

在周长满足式(10)时，进行关于方向直方图的偏差(deviation)的判断(S1204)。如已说明的那样，在边界线跟踪的过程中，能得到如图10所示那样的方向的直方图。如果边界线跟踪的对象区域接近圆时，从跟踪处理的结果得到的八方向的方向直方图为均等的分布，而在对象区域细长等情况下，在方向直方图产生偏差。例如，如果是从右上至左下细长形状的对象区域，在图9所示的方向中，在方向2和6发生次数集中，方向4和8的发生次数变少。因此，在满足式(11)所示的所有条件时，将关注的红色区域判断为红圆区域，在任何一个条件不满足时，判断为关注的红色区域不是红圆区域，转移到对下一个红色区域的搜索。

sum(f1，f2，f5，f6)＜∑f×Th_BF_DirectRatio

sum(f2，f3，f6，f7)＜∑f×Th_BF_DirectRatio

sum(f3，f4，f7，f8)＜∑f×Th_BF_DirectRatio

sum(f4，f5，f8，f1)＜∑f×Th_BF_DirectRatio

在这里，fn为方向n的发生次数，

sum(fa，fb，fc，fd)为a、b、c、d的发生次数的和，

∑f为发生次数的总和。

根据式(11)，当对某个方向求出的发生次数的和多于预定比例时，即如果在某个方向集中，则判断为关注的红色区域不是红圆区域。另外，根据式(11)的判断，在发生次数的总和∑f小时，存在判断精度下降的危险，在发生次数的总和∑f小于等于预定值时，也可以跳过步骤S1204的处理，进入步骤S1205。

对于满足以上步骤S1201～S1204的所有的判断(跳过了步骤S1204时，则为剩余的步骤S1201～S1203的判断)的红色区域，判断为红圆区域(红眼区域候选)。在分配到RAM103的候选区域列表中存储其坐标位置(S1205)，并反复进行边界线跟踪和图12所示的判断，直到到达图像数据的右下附近为止。

[特征量判断部]

特征量判断部204对抽出的红圆区域(红眼候选区域)计算能确定为人的红眼图像那样的各种特征量，并将其和预定的阈值进行比较，判断是否是红眼图像。

特征量判断部204，通过到前级为止的处理，对存储在候选区域列表的红眼候选区域，按图16的所示的顺序执行以下五个的特征量组的判断。

特征量组0：红圆区域和周边区域的评价量的平均值Er(ave)的比较(S10)；

特征量组1：关于红圆区域内的色相和评价量Er、色成分的变化的判断(S11)；

特征量组2：关于周边区域的亮度的判断(S12)；

特征量组3：关于周边区域的饱和度、色相的判断(S13)；

特征量组4：关于周边区域的边缘的强度的判断(S14)

理想的红眼区域的红色成分，与其周边的区域相比特征在于，仅向瞳孔部分突出地存在。通过实验判明：即使和其他各种特征量进行比较，也最显著地表现出该特征。因此，最先进行特征量组0的判断处理(S10)，筛选红眼候选区域很有效。

特征量组1的判断(S11)，因为仅参照红圆候选区域的像素进行特征量判断，所以与其他的特征量组的判断相比较，运算量较少。

特征量组2和特征量组3的判断(S12、S13)，需要对存在于设定的周边区域的像素，进行将RGB成分转换为亮度、色差成分或者将RGB成分转换为亮度、饱和度、色相成分的处理，所以与特征量组1的判断比较，运算量变多。

特征量组4的判断(S14)，为了求取边缘的强度，使用Sobel等公知的边缘检测滤波。因此，和其他特征量组的判断比较，运算量最多。

因此，特征量判断部204，先从运算量较少的判断或者容易抓住红眼区域特征的判断开始进行。并且，对于由此判断为不是红眼区域的红眼候选区域，如图16所示，跳过以后的判断，从而抑制特征量判断部204的处理量。

●周边区域的定义

图13是说明在计算红眼候选区域的特征量时使用的周边区域的定义的图。

在图13中，中央的块1301是在前级的处理抽出的红眼候选区域(红圆区域)的外接矩形。另外，周边区域是以块1301为中心，将块1301的纵横的尺寸分别向其周边扩大到二倍、三倍、五倍后的区域。图13A～图13C表示各倍率的周边区域。另外，以后称为“整个周边区域”的情况，是指从周边区域除去了块1301的部分。另外，“周边区域的块”是指，如在图13A～图13C用虚线所示，延长块1301的边，将周边区域划分成八个后的各块。特征量组中，除特征量组1以外，都对该周边区域进行判断。这样的周边区域的设定，最大也只参照红眼候选区域的外接矩形的五倍的区域，所以能进行高速的判断处理。

图14A表示红眼候选区域的外接矩形(块1301)稍微留有余量地存在于图像的右端附近的情况。此时，在周边区域的各块内如果存在像素即使是一个像素，也使用该像素进行特征量判断。

另一方面，图14B表示块1301没有余量地接于图像右端的情况。此时，周边区域中，因为在右上(TR)、右(R)、右下(BR)3个块中不存在像素，所以不能计算该周边块的特征量。此时，在实施例1中，不会将块1301判断为红眼区域，从候选区域列表中除去。

●特征量组0的判断(S10)

特征量组0的判断，对块1301设定例如图13B所示的三倍的周边区域，对于包含块1301的各块，使用式(3)计算各像素的评价量Er，并计算它们的平均值Er(ave)。计算出的平均值Er(ave)存储在分配到RAM103的数组AEvR[8]。在这里，AEvR是保持0～8的九个元素的数组，按从左上块至右下块的顺序分配，使得元素0为图13A所示左上(TL)块、元素1为上(T)块、元素2为右上(TR)块、…。

接着，针对元素I＝0～8(其中，块1301的I＝4除去)，判断是否满足以下的式子。

AEvR[i]＜AEvR[4]×Th_FJ0_EvR …(12)

式(12)表示，在块1301的评价量的平均值AEvR[4]乘以阈值Th_FJ0_EvR后的值大于其他八个周边块的评价量的平均值AEvR[i]时，判断为红眼区域。在不满足式(12)时，关注的红眼候选区域视为不是红眼区域，不进行以后的特征量组的判断，转移到下一个红眼候选区域的判断。

但是，首先通过式(12)比较评价量Er，是因为在以后说明的特征量中最能显著地把握红眼区域的特征。各种实验结果表明：式(12)的判断在从候选区域列表中除去红眼区域以外的区域方面是最有效的。因此，尽可能先从容易把握特征的特征量开始判断，从而能将特征量判断部204的运算量抑制在最小限。

另外，在计算各块的平均值Er(ave)时，对于块1301，优选的是仅对象图15A所示那样的菱形的计算区域1501的像素计算出评价值Er。由于红眼区域的形状一般是圆或者椭圆，所以在块1301的四角存在红色程度较小的像素。因此，为了不使块1301的评价量的平均值Er(ave)下降，应以除去块1301的四角的像素为对象，计算评价量Er。此外，评价值Er的计算区域1501，除图15A所式的菱形以外，作为内接于块1301的圆(图15B)或者椭圆(图15C)内，也能得到同样或者更好的计算结果。

●特征量组1的判断(S11)

特征量组1的判断，是仅参照红眼候选区域(图13所示的块1301)内的图像数据，判断是否是红眼区域的处理。在特征量组1的判断中含有例如以下的判断处理。

首先，在红眼候选区域中，判断色相在±30度以内的像素的评价量的平均值Er(ave)是否大于等于阈值Th_FJ1_EMin且小于等于阈值Th_FJ1_EMax。在不满足该判断时，从候选区域列表中除去。此外，关于色相，可通过公知的方法来求取。

接着，在红眼候选区域中，求取色相在±30度以内的像素的评价量Er的最大值、最小值，并计算比率R＝最小值/最大值。在红眼候选区域中，因为评价量Er较大地变化，所以比率R成为一定程度小的值。因此，进行式(13)所示的判断，从候选区域列表中除去不满足式(13)的关注的红眼候选区域。

R＜Th_FJ1_EMaxMinRatio …(13)

接着，在红眼候选区域中，测量R成分的标准偏差。因为在红眼区域中包含鲜艳的红色区域和瞳孔边界附近暗色区域，所以R成分的动态范围(dynamic range)成为非常大的值。因此，如果测定红眼区域的R成分的偏差，则该值成为一定程度大的值。因此，在红眼候选区域中，通过已知的方法测定R成分的标准偏差δr，判断是否大于阈值Th_FJ1_RDiv。

δr＞Th_FJ1_RDiv …(14)

将不满足式(14)的红眼候选区域从候选区域列表中除去。前面对R成分的标准偏差进行了说明，但使用R成分的方差(variance)也能进行同样的判断。

另外，作为判断R成分的变化的程度的其他方法，也可以考虑这样的方法，在红眼候选区域中计算相邻像素间的R成分的差异的和的平均值SDr(ave)，并判断是否大于阈值Th_FJ1_RDiff(式15)。

SDr(ave)＞Th_FJ1_RDiff …(15)

计算相邻像素的差异的和的平均值的方法可以考虑各种方法。例如，可以计算关注像数和相邻的八个像素的差异的和的平均值，也可以单纯地求取与左边相邻的像素的差异。另外，上述判断不仅对R成分，对其他的G、B成分或者亮度、评价量Er也同样能实施。

●特征量组2的判断(S12)

特征量组2的判断，对通过特征量组1的判断没从候选区域列表中除去而残留的红眼候选区域设定周边区域，进行关于周边区域内的亮度成分的判断处理。在特征量组2的判断中包含例如以下的判断处理。

首先，对红眼候选区域设定周边区域(例如图13C所示的五倍区域)。接着，计算除去块1301的周边区域的8个块的平均亮度值Y(ave)，判断平均亮度值Y(ave)是否在大于等于阈值Th_FJ2_YMin、小于等于阈值Th_FJ2_YMmax的范围中。在平均亮度值Y(ave)没进入该范围时，也就是块1301的周边极亮或极暗时，从候选区域列表中除去关注的红眼候选区域。

上述关于亮度的判断，可以在周边区域的8个块整体进行，也可以对每一个周边区域的块求取平均亮度值Y(ave)，并和对每个块预定的阈值进行比较。

接着，对红眼候选区域设定二倍的周边区域(图13A)，计算出除去块1301的周边区域的8个块各自的平均亮度值Y(ave)，进而得到八个平均亮度值的最大值Ymax和最小值Ymin。在对红眼候选区域设定了二倍的周边区域时，因为周边区域的亮度有可能较大地变化，所以进行如下判断。

(Ymax-Ymin)＞Th_FJ2_MaxMinDiff2 …(16)

在不满足式(16)时，从候选区域列表中除去关注的红眼候选区域。

另一方面，对红眼候选区域设定五倍的周边区域(图13C)，如上所述，计算出周边区域的8个块各自的平均亮度值Y(ave)，进而得到八个平均亮度值的最大值Ymax和最小值Ymin。在对红眼候选区域设定比较宽的五倍的周边区域时，周边区域多是肤色区域，不认为在这些区域亮度值较大地变化。因此，和设定了二倍的周边区域的情况不同，进行以下的判断。

(Ymax-Ymin)＜Th_FJ2_MaxMinDiff5 …(17)

在不满足式(17)时，从候选区域列表中除去关注的红眼候选区域。

●特征量组3的判断(S13)

特征量组3的判断，对通过特征量组1和特征量组2的判断没从候选区域列表中除去而残留的红眼候选区域设定周边区域，进行关于该周边区域内的饱和度和色相的判断。在特征量组3的判断中包含例如以下的判断处理。

首先，对红眼候选区域设定周边区域(例如图13C所示的五倍区域)，在除去块1301的周边区域的8个块中，计算色相角在±Th_FJ3_HRange范围内的像素数的比例Rh。因为红眼区域的周边区域是肤色区域，所以大部分的像素的色相应该包含在上述的范围内。因此，如果计算出的比例Rh大于等于阈值Th_FJ3_HRatio，则视为红眼候选区域，而在小于该阈值时，从候选区域列表中除去关注的红眼候选区域。此外，比例Rh用式(18)计算。

Rh＝Nh/∑N …(18)

在这里，Nh是色相角在±Th_FJ3_HRange范围内的像素数，

∑N是8个块的像素数。

接着，对红眼候选区域设定周边区域(例如图13C所示的五倍区域)，计算周边区域8个块整体的平均饱和度S(ave)。判断平均饱和度S(ave)是否在大于等于阈值Th_FJ3_SMin、小于等于阈值Th_FJ3_SMax的范围内。在脱离该范围时，从候选区域列表中除去关注的红眼候选区域。

另外，上述的饱和度的判断也可以考虑对块单位进行。也就是对每一个周边区域的块计算出平均饱和度S(ave)，并与预定的阈值进行比较即可。

并且，在红眼区域的周边存在白色的区域(眼白区域)的可能性高。因此，在对红眼候选区域设定的周边区域(例如图13B所示的三倍区域)中，如果存在饱和度S小、亮度L高的像素，则判断为红眼候选区域。具体而言，如果存在饱和度S和亮度L的比S/L小于等于阈值Th_FJ3_WhitePix的像素，则判断为红眼候选区域。在上述的判断为否的情况，从候选区域列表中除去关注的红眼候选区域。

●特征量组4的判断(S14)

特征量组4的判断，对通过特征量组1至特征量组3的判断没从候选区域列表中除去而残留的红眼候选区域设定周边区域，进行关于周边区域内的边缘的判断处理。因为在人眼附近存在非常强的边缘，所以能成为有效的特征量。另外，下面说明在边缘的检测中使用公知的Sobel滤波的例子，但是不仅限于此，使用其他的边缘检测滤波也能进行同样的判断处理。此外，因为Sobel滤波是公知的，所以在这里省略详细的说明。在特征量组4的判断中包含例如以下的判断处理。

首先，对红眼候选区域设定周边区域(例如在图13A所示的二倍区域)，对周边区域内的各像素实施Sobel滤波。其结果是，计算对每一个像素得到的Sobel输出值的平均值So(ave)。因为在人眼附近大多存在强的边缘，所以将平均值So(ave)和阈值Th_FJ4_SobelPow进行比较，在So(ave)≤Th_FJ4_SobelPow时，从候选区域列表中除去关注的红眼候选区域。

另外，对红眼候选区域设定周边区域(例如在图13B所示的三倍区域)，对周边区域内的各像素实施Sobel滤波。其结果是，计算出对每一个像素得到的Sobel输出值的最大值和最小值的差Ds。因为在人眼附近存在强的边缘，另一方面，也存在肤色的平坦的部分，所以差Ds应该是大的值。因此将差Ds和阈值Th_FJ4_MaxMinDiff进行比较，在Ds≤Th_FJ4_MaxMinDiff时，从候选区域列表中除去关注的红眼候选区域。

进而，对红眼候选区域设定周边区域(例如在图13B所示的三倍区域)，对周边区域内的各像素实施Sobel滤波。其结果是，将对每一个像素得到的Sobel输出值作为边缘图像，存储在分配到RAM103的数组sobel[y][x]。接着，计算出边缘图像的重心位置(Xw，Yw)。重心位置(Xw，Yw)通过式(19)求出。

(Xw，Yw)＝(∑x·Sobel[y][x]/Sobel[y][x]，

∑y·Sobel[y][x]/Sobel[y][x]) …(19)

如果关注的红眼候选区域是人眼的图像，则重心位置(Xw，Yw)应该存在于边缘图像的中央附近。因此，判断重心位置(Xw，Yw)是否包含在例如块1301，若包含，则判断为红眼候选区域，若不包含，则从候选区域列表中除去关注的红眼候选区域。

另外，对红眼候选区域设定五倍的周边区域(图13C)，对周边区域的各像素实施Sobel滤波。其结果是，将得到的各像素的Sobel输出值作为边缘图像存储在数组Sobel[y][x]。数组Sobel[y][x]为和五倍的周边区域的像素数相同大小的数组。接着，对包含块1301的周边区域整体定义图17所示的二个区域、即中央区域1601和外部区域1602，对各区域计算存储在数组Sobel[y][x]的Sobel输出值的平均值。此外，在图17中，将中央区域1601的大小设为块1301的2.5倍，但并不仅限于此。当将中央区域1601和外部区域1602各自的Sobel输出值的平均设为SPowⁱⁿ、SPow^out时，在人眼的附近，比起外部区域1602，中央区域1601存在强的边缘，因此进行以下的判断。

SPowⁱⁿ/SPow^out＞Th_FJ4_InOutRatio …(20)

在满足式(20)时，将关注的红眼候选区域判断为红眼区域。如果判断出不满足式(20)的关注的红眼候选区域不是红眼区域，则从候选区域列表中除去。

另外，作为上述的应用，也可以考虑进行将SPowⁱⁿ、SPow^out单独和其他阈值比较的判断。

特征量判断部204，将满足以上的特征量组0～4的所有判断(或者一部分)的红眼候选区域确定为红眼区域，将确定为红眼区域的候选区域列表输入到校正部205。

[校正部]

校正部205，输入由RGB成分构成的输入图像数据、和记载有在到前级为止的处理得到的红眼区域的候选区域列表。

图18是表示校正部205执行的、校正在候选区域列表中所记载的多个红眼区域中的一个的处理的流程图。也就是，校正部205通过图18所示的处理一个一个地校正候选区域列表中所记载的红眼区域。

首先，对关注的红眼区域确定校正范围(步骤S1701)。图19是说明校正范围的确定的图。

在图19中，中央的矩形区域是候选区域列表中所记载的红眼区域1901。设定通过红眼区域1901的中心的长轴、短轴分别为Lw1、Lh1的椭圆的校正区域1902。此外，Lw1、Lh1通过式(21)计算出。

Lw1＝Lw0×CPARAM_AREARATIO

Lh1＝Lh0×CPARAM_AREARATIO …(21)

在这里，Lw0、Lh0为红眼区域1901的宽度和高度的1/2，CPARAM_AREARATIO是用于确定校正范围的参数。

接着，在校正区域1902内计算出校正所需要的参数(S1702)。计算的参数，是在椭圆区域内部的最大亮度值Ymax和式(3)所示的评价量Er的最大值Ermax。

接着，判断关注像素是否存在于校正区域1902内(S1703)。关注像素是否存在于校正区域1902的椭圆区域，可由计算椭圆的公式(式(22))判断。

(x/Lw1)²+(y/Lh1)²≤1 …(22)

在这里，(x，y)为关注像素的坐标，其中坐标原点为关注红眼区域的中心。

在关注像素的坐标(x，y)满足式(22)时，判断为关注像素存在于校正区域1902内，使处理进入步骤S1704。在关注像素不存在于校正区域1902内时，将关注像素移动到下一个像素(S1710)，使处理返回到步骤S1703。

关注像素存在于校正区域1902时，将关注像素的RGB成分值转换为亮度、色差成分的YCC值(S1704)。转换方法有已知的各种方法，使用哪种方法都可以。

接着，计算出对关注像素的评价量(S1705)。该评价量是在后级的步骤S1706确定校正量所需要的参数，具体而言是以下的三个值。

(1)从红眼区域1901的中心到关注像素的距离r和从中心到椭圆边界的距离r0的比r/r0。

(2)关注像素的评价量Er和评价量的最大值Ermax的比Er/Ermax。

(3)关注像素的亮度Y和最大亮度值Ymax的比Y/Ymax。

接着，使用在步骤S1705求出的参数，通过式(23)计算关注像素的亮度Y和色差成分Cr、Cb各自的校正量Vy、Vc(S1706)。

Vy＝{1-Rr^Ty1}·{1-(1-Re)^Ty2}·{1-Ry^Ty3}

Vc{1-Rr^Tc1}·{1-(1-Re)^Tc2} …(23)

这里，Rr＝r/r0，Re＝Er/Ermax，Ry＝Y/Ymax，

Vy、Vc都在0.0～0.1的范围内，越接近1.0校正量越大。亮度的校正量Vy使用所有三个参数来确定，关注像素的位置越远离校正区域1902的中心，校正量就越小。另外，关注像素的评价量Er比最大值Ermax小时，校正量Vy变小。另外，关注像素的亮度值Y接近最大值Ymax时，校正量Vy变小。使亮度高的像素的校正量Vy变小，具有保存眼中的加亮部(极高光(catch light))的效果。另一方面，色差的校正量Yc是除去了关于亮度的参数后的校正量。

在式(23)中，Ty1、Ty2、Ty3、Tc1、Tc2都是参数。因此，通过设定这些参数，如图20所示，能以一次(实线)、二次(虚线)、三次(点划线)这样的直线或曲线应用各评价量(也就是式(23)的括弧{}内的值)。

接着，使用校正量Vy、Vc，通过式(24)计算校正后的YCC值(S1707)。

Y’＝(1.0-Wy·Vy)·Y

C’＝(1.0-Wc·Vc)·C …(24)

在这里，Y、C为校正前的值，

Y’、C’为校正后的值，

Wy、Wc为权重(0.0～1.0)。

权重Wy、Wc在想指定校正强度时进行调节。例如在将校正强度设成弱、中、强三个等级时，通过将Wy、Wc都设定为0.3、0.7、1.0等，能用相同的处理得到校正强度不同的结果。

确定了新的亮度、色差成分的值之后，将YCC值转换为RGB值，作为校正后的像素值盖写到输入图像用的存储器缓冲区、或者存储在存储输出用图像的存储器缓冲区的预定地址(S1708)。

通过步骤S1709的判断，直到到达与关注的红眼区域对应的最后的像素为止，在步骤S1710移动关注像素(S1710)，反复进行上述的处理(S1703～S1708)。另外，在到达了与关注的红眼区域对应的最后的像素时，转移到下一个红眼区域的校正处理，反复进行在候选区域列表中所记录的所有的红眼区域的校正处理。

输入到校正部205的图像由RGB成分构成，将输入图像转换成亮度、色差成分进行校正后，再回到RGB成分，对这样的方法进行了说明，但并不仅限于此。例如，将RGB成分转换成亮度、饱和度，使用同样的方法校正亮度、饱和度之后，再返回到RGB成分，也能得到几乎同样的输出结果。

进而，说明了使用关注像素的评价量Er和校正区域1902内的评价量的最大值Ermax的比Er/Ermax作为用于确定校正量的参数的例子，但是也可以将该参数单纯地置换成饱和度。也就是，可以使用关注像素的饱和度和校正区域1902内的最大饱和度的比来确定校正量。

这样，不使用饱和度而使用以R和G成分的关系求出的评价量Er来判断是否是构成红眼区域的像素，从而也能高精度地抽取色素的颜色浓(或者色素较多)的人的红眼图像。另外，通过在对应红眼候选区域的像素的二值图像上，适用边界线跟踪法，能以极少的运算量高速地从二值图像中抽取红圆区域。另外，通过计算认为是红眼区域的各种的特征量，并对其进行评价，从而最终能高精度地从红圆区域确定红眼区域。另外，考虑各个特征量判断的效果和特征量计算时的运算量，以适当的顺序进行特征量的判断，筛选红眼区域候选，早早地除去不是红眼区域的可能性高的候选区域。因此，能以必要的最小限的处理量实现红眼区域的检测。

(实施例2)

下面，说明本发明的实施例2的图像处理。此外，在实施例2中，对和实施例1相同的结构，标有相同的附图标记，省略其详细说明。

在实施例1中说明的适当的二值化处理，在关注像素的左方向(主扫描方向的前方)设定预定尺寸的窗口403(参照图4)。并且，计算出该窗口403内的像素的评价量的平均值Er(ave)，将平均值Er(ave)作为阈值，按照关注像素是否构成红色区域，进行二值化。这样的方法，为计算阈值而参照的像素数变少，实现处理的高速化。但是，因为将窗口403仅设定在关注像素的左方向，所以二值化结果依存于处理方向。其结果是，在对图5A所示的图像实施适当的二值化处理时，如图21A所示，除了作为红眼区域的瞳孔部分，有时用如附图标记2001所示那样，作为构成红色区域的像素抽取眼睑的边缘。下面说明其理由。

在实施例1中，对关注像素2002进行二值化的阈值是在关注像数2002的左方向设定的窗口的像素的评价量的平均值Er(ave)，根据关注像数2002的评价量Er和平均值Er(ave)的比较结果，进行二值化(参照式(6))。在此，因为相对于想抽取的瞳孔，窗口处于左方向，所以通常在肤色部分设定窗口。色素的颜色淡(或者色素较少)的人的肤色部分的像素值例如为(R，G，B)＝(151，135，110)。当通过式(3)计算出评价量Er时，为11％，是比较小的值。另一方面，对应眼睑的边缘的像素2002，例如为(R，G，B)＝(77，50，29)，与肤色部分相比，亮度多少有些低，同样计算出评价量Er时，为35％。当将两者进行比较时，明显地，比起在窗口内存在的肤色部分的评价量，眼睑的边缘部分的评价量Er大。因此，通过实施例1的适当的二值化处理，也依赖于参数Margin_RGB的设定，但像素2002作为构成红色区域的像素容易被抽取。

其结果是，抽取如图21A所示的用(Xmin，Ymin)(Xmax，Ymax)包围的红色区域。如果将该抽取结果输入到红圆区域抽取部203，则以比本来的红色区域宽的区域为对象进行红圆区域的抽取，产生抽取结果的可靠性下降、抽取的时间增加等问题。

也将相同大小的窗口设定在像素2002的右方向时，在窗口中除了包含肤色像素外，还包含对应眼睑的边缘的像素、某些情况下还包括红眼图像的大多数瞳孔部分。因此，在右方向设定的窗口中的评价量的平均值Er(ave)增加。其结果是，像素2002与在右方向设定的窗口的像素相比，并不具有突出的评价量Er，所以难以判断为构成红色区域的像素。

下面，作为实施例2，说明在红色区域抽取部202执行的适当的二值化处理中，将窗口设定在左右双方向的例子。

如图22A所示，实施例2的适当的二值化处理，首先，相对关注像素202，在左方向设定窗口403，通过和实施例1同样的方法，对关注像素402进行二值化。并且，如图22A中箭头所示，将关注像素402从左至右移动，同时将其二值化结果存储在分配到RAM103的二值图像用的缓冲区。

当关注像素402到达行的右端，将关注像素402从左至右移动的二值化结束时，如图22B所示，在相同的行上，进行将关注像素402从右向左移动的二值化处理。此时用于设定二值化的阈值的窗口404设定在关注像素402的右方向。

在上述的双方向二值化的任一个中，都将其二值化结果为“1”的像素作为构成红色区域的像素，存储在二值图像用缓冲区。

图21B表示通过双方向的适当二值化处理得到的构成红色区域的像素的例子。与单方向的适当二值化处理的结果(图21A)相比，除去眼睑的边缘部分等的像素，更适当地抽取红色区域。

这样，在通过适当的二值化处理抽取红色区域时，将计算二值化阈值的窗口设定在关注像素的左右双方向，从而能高精度地抽取构成红色区域的像素。

(实施例3)

下面，说明本发明的实施例3的图像处理。在实施例3中，对和实施例1、2相同的结构，标有相同的附图标记，省略其详细说明。

在实施例1、2中，说明了着眼于式(3)所示的评价量Er进行的适当二值化处理并抽取构成红色区域的像素的方法。这样的方法，除了图23所示的红眼图像的瞳孔部分2201之外，将外或内眼角部分2202的像素作为构成红色区域的像素来检测。可知：当放大外或内眼角部分2202时，存在很多例如(R，G，B)＝(81，41，31)这样的“红黑”像素。该像素的评价量Er为49％，是比较大的值。因此，在实施例1、2的适当二值化处理中，作为具有某种程度大小的像素集合而被检测出的可能性高。并且，因为边缘或周边区域的亮度、色相、饱和度等兼具眼睛的特征，所以在红圆区域判断部203和特征量判断部204中，满足所有的判断，最终误判断为红眼区域的可能性高。实施例3具有用于解决该问题的结构。

图24是表示实施例3的红眼图像的自动校正处理的概要的功能框图，是通过CPU101执行的处理。和实施例1比较，追加有候选区域评价部207。

候选区域评价部207，参照在到前级的处理中生成的候选区域列表，针对各红眼候选区域，评价相对的位置和面积，整理红眼候选区域。即，评价的结果是，将判断为不适和作为红眼区域的红眼候选区域从候选区域列表中除去。

图25是表示候选区域评价部207的处理的流程图。假定：通过特征量判断部204的处理，抽取k个(第0～k-1号)区域作为红眼候选区域(总检测数Ne＝k)。

首先，对计数器k设定总检测数Ne(S2499)，并计算第k号的红眼候选区域(以下称为“区域k”)的中心位置和尺寸(S2500)。尺寸为作为矩形区域被抽取的红眼候选区域的短边的长度。接着，对计数器i设定零(S2501)，将区域k的面积(以下称为“面积k”)和存储在候选区域列表的其他红眼候选区域(以下称为“区域i”)的面积(以下称为“面积i”)进行比较(S2502、S2503)。在面积i＜面积k时，增加计数i(S2512)，使处理返回到步骤S2502。

在面积i≥面积k(存在面积大于区域k的红眼候选区域)时，计算图26所示那样的两区域的中心间距离Size(S2504)。并且，根据中心之间距离Size计算用于进行大小的评价、判断的阈值Th Size(S2505)。

图27是表示中心间距离Size和阈值Th_Size的关系例的图，横轴是中心间距离，纵轴是阈值Th_Size。另外，Sa、Sb、La、Lb是参数，设定例如La＝3.0、Lb＝5.0、Sa＝1.0、Sb＝2.0这样的值。在设定该参数时，如果中心间距离Size区域k的尺寸(短边的长度)的三倍或小于三倍，则阈值Th_Size为1.0。另外，如果中心间距离Size是区域k的尺寸的三倍至五倍，则确定阈值Th_Size作为图27所示的直线上的值。另外，在中心间距离Size超过五倍时，不进行判断处理。

将面积i和面积k×Th_Size进行比较。并且，面积i≥面积k×Th_Size时，即在区域k的附近存在大于区域k的红眼候选区域时，判断为区域k不是红眼区域，从候选区域列表中除去区域k(S2507)。并且，减少总检测数Ne(S2508)，使处理返回到步骤S2500。

另一方面，在面积i＜面积k×Th_Size时，通过步骤S2509的判断，如果i＜k-1，则增加计数i(S2512)，使处理返回到步骤S2502。另外，如果i＝k-1，则减少计数k(S510)，通过步骤S2511的判断，如果k＞0，则使处理进入到步骤S2510，如果k＝0，则结束处理。

通过这样的判断处理，能从在候选区域列表中所记录的红眼候选区域中除去不要的候选区域。

这样，在某红眼候选区域的附近存在小于该红眼候选区域的红眼候选区域时，通过将小的红眼候选区域从候选区域列表中除去，能解决上述的问题。

(实施例4)

下面，说明本发明的实施例4的图像处理。在实施例4中，对和实施例1～3相同的结构，标有相同的附图标记，省略其详细说明。

当使用实施例1的适当二值化处理时，有时通过在红眼图像中存在的加亮来区分红眼区域。图28A表示红眼图像的放大图，附图标记2701表示虹膜区域，附图标记2702表示红色的瞳孔区域，附图标记2703表示由闪光灯产生的加亮(白)区域。如众所周知那样，因为红眼图像是因闪光灯的光引起的现象，所以在所拍摄的图像数据的瞳孔区域2702，以较高的概率存在闪光灯的光反射出的加亮区域。这也称为极高光。

通常，加亮区域作为瞳孔内的微小的点而存在，所以对红眼检测处理没有影响。但是根据拍摄条件，加亮区域将变大到占据瞳孔区域大部分的程度，或者如图28A所示的加亮区域2703那样，成为细长的区域。当对这样的图像数据应用实施例1的适当二值化处理时，加亮区域2703的评价量Er为极小的值。因此，不被识别为红色区域，在二值图像中，如图28B所示，有时将瞳孔区域分割为二个区域2704、2705。如果对这样的二个区域应用后级的处理，则瞳孔区域2702被判断为红眼区域的概率极低。实施例4通过结合相邻存在的红圆区域的处理，解决该问题。

图29是表示实施例4的红眼自动校正处理的概要的功能框图，是通过CPU101执行的处理。和实施例3比较，追加有候选区域结合部208。

候选区域结合部208，参照存储有红圆区域抽取部203抽出的红圆区域的左上、左下坐标的候选区域列表，判断是否应该结合在该红圆区域附近存在的红圆区域。图31是表示候选区域列表的一例。图31表示记录有四个红圆区域的例子。但实际上，红圆区域的数量根据情况从数十至数千。

图30是表示候选区域结合部208的处理的流程图。

首先，初始化为计数器i＝0、计数器j＝i(S2901、S2902)、判断是否应该结合在候选区域列表的第i号和第j号记录的红圆区域(以下称为“区域i”、“区域j”)(S2903)。具体而言，如图32(a)所示，设定矩形区域，该矩形区域包含宽度为Wi高度为Hi(单位为像素数)的区域i、和宽度Wj为高度为Hj的区域j，并计算其宽度Wij、高度Hij。接着，根据式(25)判断是否是区域i、区域j相邻存在且其大小也差不多。

(Wi·Hi+Wj·Hj)/(Wij·Hij)＞Th_J …(25)

在这里，Th_J为阈值，且0＜Th_J＜1.0。

式(25)表示：计算区域i的面积与区域j的面积的和、与包含两者的矩形面积的比，在比大于阈值Th_J时，能判断出两区域相邻存在且大小也差不多。如果区域i和区域j处于图32B所示的位置关系，则用式(25)计算出的比小于阈值，判断为不应该结合。

步骤S2903的判断的结果，在判断为不应该结合时，增加计数j(S2908)，使处理返回到步骤S2903。另外，在判断为应该结合时，判断结合后的区域和结合前的区域比较是否接近正方形(S2904)。具体而言，使用式(26)判断。

min(Wij，Hij)/max(Wij，Hij)＞

max{min(Wi，Hi)/max(Wi，Hi)，min(Wj，Hj)/max(Wj，Hj)} …(26)

式(26)表示，将包含区域i、区域j的矩形区域的纵横比(小于等于1.0)和区域i、区域j的纵横比中较大的值进行比较时，左边大、即接近正方形。如果满足式(26)，则结合后的矩形区域更接近正方形，其结果是，红圆区域也接近圆形。

在不满足式(26)时，增加计数j(S2908)，使处理返回到步骤S2903。另外，在满足式(26)时，将候选区域列表的第i号坐标信息更新为包含区域i、区域j的矩形区域的坐标，将第j号位置信息从候选区域列表中删除(S2905)。

接着，通过步骤S2906的判断，计数j的值未达到最大值(表的结束)时，增加计数j(S2908)，使处理返回到步骤S2903。另外，在计数j的值达到最大值时，通过步骤S2907的判断，在计数i的值未达到最大值(表的结束)时，增加计数i(S2909)，使处理返回到步骤S2902。另外，在计数i的值达到最大值时，结束处理。

通过这样的判断，能够结合在候选区域列表中所记录的被加亮区域所分割的红圆区域。

这样，在某个红圆候选的附近存在类似于该红圆区域的红圆区域时，判断结合两者后是否接近红眼区域的条件(外接矩形接近正方形)。通过这样做，能够适当结合被瞳孔内存在的加亮区域分割的相当于红眼区域的红圆区域。

(实施例5)

下面，说明本发明的实施例5的图像处理。此外，在实施例5中，对和实施例1～4相同的结构，标有相同的附图标记，省略其详细说明。

在实施例5中，说明这样的方法：在限制了CPU的处理能力或可使用的存储器(RAM等)的存储容量的环境下实施在实施例1～4中说明过的图像处理。这种环境，假定在复印机、打印机、数字照相机、扫描仪、复合机等图像输入输出设备中安装的图像处理部。

在上述的环境中，可使用的工作区再多也就是数百KB～数MB左右。另一方面，随着数字照相机的高分辨率化发展，具有超过1000万像素的拍摄能力的照相机也已问世。要使用被限定的工作区进行从这样的高精细的图像中检测红眼区域的处理，降低输入图像分辨率是有效的。例如，将800万像素的输入图像在水平垂直方向以一像素间隔进行子采样，则能缩小为1/4的分辨率、即200万像素的图像。此时，存储图像所需要工作区的容量也为1/4。但是，即使缩小到例如200万像素，也要同时保持缩小后的整个图像，在RGB24位时，也需要约6MB的工作区。在具有大容量的RAM的个人计算机或工作站中是不成为问题的存储容量，但是以上述环境的被限定的存储器资源，为了削减工作区的使用量，还需要下功夫。

在实施例5中，说明缩小输入图像，将缩小图像再分割为条带，并对各条带单位依次抽取红眼图像的方法。在条带分割中，为了能检测存在于条带边界的红眼图像，如图33所示，具有Overlap区域。在图33中，附图标记3201表示缩小输入图像而得到的缩小图像，BandHeight表示构成1条的行数。也就是，红眼区域的抽取处理对Width×BandHeight(单位为像素数)的图像进行。另外，实施例5中的条带分割，与前面的条带重复OverlapArea所示的行数。由此，也能抽取附图标记3202所示的存在于条带边界的红眼区域。

图34是表示实施例5中的红眼区域的抽取处理的流程图，是安装在图像输入输出设备中的CPU执行的处理。

首先，将计数N初始化为零(S3301)，生成第N条缩小图像(S3302)。

缩小图像的生成方法，为了说明简单，说明单纯通过抽取(decimation)生成缩小图像的方法。例如，将800万像素的图像存储在图像输入输出设备的存储器(例如安装在设备中的闪速存储器、硬盘、或从外部安装的存储卡)。

在步骤S3302，对存储器中的图像数据进行访问，如果图像数据以JPEG格式保存，则对最初的MCU(最小编码单位)块进行解码后保存在工作区的预定区域。该MCU块的尺寸例如为16×8像素。接着，对解码后的图像数据以例如一像素间隔进行子采样，生成8×4像素的图像数据，存储在工作区的红眼区域抽取用的图像存储区域。反复进行该处理，直到BandHeight行数图像数据的量的红眼区域抽取用图像存储区域被写满为止。通过该处理，能得到将800万像素缩小到200万像素时的条带图像。

当然，图像的缩小方法除单纯抽取以外，也可利用最近邻域(nearest neighbour)法或使用线性缩小的方法等各种方法，无论使用这些方法中的哪一中都可以。

当通过上述处理得到缩小图像的条带图像时，进行第N条红眼区域的抽取处理(S3303)。

图35是表示第N条红眼区域的抽取处理(S3303)的详细的流程图。

首先，对缩小图像数据实施在上述实施例中说明的适当二值化处理(S3401)。处理结果(红色区域的二值图像)保存在所分配的区域，该区域和缩小图像的存储区域不同。此时，缩小图像的OverlapArea的处理已在第N-1条实施结束。因此，如果N＞0，则跳过OverlapArea的处理，可以再利用第N-1条的处理结果。通过这样，能实现处理的高速化。

接着，对二值化的结果(红色区域)，实施在上述实施例中说明过的边界线跟踪，从条带图像中抽取红圆区域(S3402)。

接着，在对抽出的红圆区域实施特征量判断处理之前，进行候选区域选择处理(S3403)，选择多个红圆区域中要实施特征量判断处理的红圆区域。

图36表示在第N-1、N和N+1条中，OverlapArea内存在四个红圆区域的例子。例如，当关注红圆区域3603时，如果该区域存在于第N条和第N+1条二者中，并对二者进行特征量判断，则在OverlapArea存在的红圆区域将被处理两次，效率不高。

因此，在红圆区域3603的情况下，考虑应该在第N或N+1条中哪一条进行特征量判断。在第N+1条中，缺少相对红圆区域3601设定的周边区域的上部，于此不同，在第N条中，能参照周边区域。因此，关于红圆区域3603，可以说第N条的判断结果的可靠性高。进而，一般，应该在能更广地参照周边区域的条带中，进行存在于OverlapArea的红圆区域的特征量判断处理。

因此，在实施例5的候选区域选择处理(S3403)中，关于存在于OverlapArea的红圆区域，如图37所示，预测从红圆区域的上端到第N+1条的上端的距离UPLen。此外，因为第N+1条未处理，所以预测第N+1条中的红圆区域的位置。并且，计算从红圆区域的下端到第N条的下端的距离BTLen。并且，判断为：如果UPLen＜BTLen，则在第N条进行该红圆区域的特征量判断，如果UPLen≥BTLen，则在第N条不进行该红圆区域的特征量判断(换言之，在第N+1条进行)。此外，不在第N条进行特征量判断时，从该条带的候选区域列表中除去该红圆区域。

同样，关于图36所示的红圆区域3604，计算出距离UPLen、BTLen后，因为其关系为UPLen＞BTLen，所以红圆区域3604在第N+1条进行特征量判断。另外，当将上述的关系应用于红圆区域3601、3602时，分别在第N-1条、第N条进行特征量判断。

这样，在候选区域选择处理(S3403)中，计算存在于OverlapArea的红圆区域的上部以及下部和条带端的距离(余量)，根据其关系，判断是否在哪一个条带进行特征量判断。由此，能防止OverlapArea内的重复的红圆区域的特征量判断。

回到图35，对在候选区域选择处理(S3403)中选择出的红圆区域，实施在上述的实施例中说明的特征量判断(S3404)。然后，计算判断为红眼区域的区域校正处理所需要的参数(S3405)，如图38所示，将红眼区域的信息和参数的组合追加到候选区域列表(S3406)。参数是计算校正量Vy、Vc(式(23))所需要的校正区域的最大亮度值Ymax和评价量的最大值Ermax。

回到图34，图35所示的第N条中的红眼区域的抽取处理(S3303)结束后，判断最终条带的处理是否完成(S3304)。并且，如果完成，则结束处理，如果未完成，则增加计数N(S3405)，使处理回到步骤S3302。

图39是表示实施例5中的校正处理的流程图。

首先，转换红眼区域的位置信息(S3801)。在实施例5中，假定：执行红眼区域的抽取、校正处理作为图像输入输出设备的嵌入处理，因此，如上所述，红眼区域的抽取处理在缩小图像中进行。但是，校正对象的图像，是缩小前的高分辨率的图像，如果是打印机等的图像输出设备，则有可能是将缩小前的图像进一步放大为打印(输出)分辨率或者旋转后的图像。因此，需要根据缩小率或放大率(可变焦距比(zoom ratio))、旋转来转换在缩小图像上抽出的红眼区域的位置信息。

如图41所示，在候选区域列表中存储的位置信息，用红眼区域的左上坐标(x_t0，y_t0)和右下坐标(x_b0，y_b0)来表示，且缩小图像的纵横的像素数为W0、H0，校正对象图像的纵横的像素数为W1、H1。此时，用式(27)计算校正对象图像中的红眼区域的坐标。

(x_t1，y_t1)＝{int(x_t0·k)，int(y_t0·k)}

(x_b1，y_b1)＝{int(x_b0·k)，int(y_b0·k)} …(27)

在这里，k＝W1/W0

int()是未超过自身的最大整数

(x_t1，y_t1)是校正对象图像上的红眼区域的左上坐标

(x_b1，y_b1)是校正对象图像上的红眼区域的右下坐标

在步骤S3801，当校正对象图像上的红眼区域的坐标确定后，和实施例1同样，在红眼区域周边设定椭圆区域，将椭圆区域所包含的像素作为校正对象像素，进行以下的处理。

首先，使计数R初始化为零(S3802)，取得校正对象图像的第R行的图像数据(S3803)。在实施例5中，说明以行为单位对校正对象图像进行校正的处理，但是并不仅限于此，也可以用预定行数的条带单位进行校正。校正对象图像的图像数据的取得通过以下那样实现：将在如图1所示的存储装置105或存储卡等中以JPEG等压缩格式保存的图像数据，展开预定行数，并取得其中的1(或者多)行。

接着，判断第R行是否包含校正对象像素(S3804)。实施例5的校正处理，将在红眼区域(矩形区域)的周边设定的椭圆区域作为校正对象区域。因此，对于在候选区域列表中所存储的所有的红眼区域，判断第R行是否位于从校正对象区域的上端至下端之间。在第R行不包含校正对象像素时，使计数R增加(S3807)，使处理返回到步骤S3803。

例如，在图40所示的情况中，第R行包含在设定于某个红眼区域4003周边的校正对象区域4002。因此，对于包含在第R行的校正对象区域4002中的像素，实施在实施例1中说明的校正处理(S3805)。该校正处理所需要的最大亮度值Ymax和评价量的最大值Ermax，使用在上述的步骤S3405中求取并存储在候选区域列表中的值。

反复进行以上的处理，直到通过步骤S3806的判断第R行为最终行为止，从而能对整个输入图像实施校正处理。

将校正处理结束后的图像数据，存储在例如存储装置105，或者在实施颜色转换、半色调近似(pseudo halftone)处理之后，通过例如打印机110打印在记录纸上。

这样，缩小输入图像，且分割成条带，以条带为单位进行红眼区域的抽取处理，从而能在存储器资源极少的环境下执行在实施例1～4中说明过那样的红眼区域的抽取和校正。另外，通过在相邻的条带之间存在重复区域地进行条带分割，能抽取存在于条带边界的红圆区域。

也可以将红圆区域的抽取部安装在拍摄装置等图像输入设备中，将红眼区域的校正部安装在打印装置等图像输出设备中。

(实施例的变形)

在上述的各实施例中，作为各相素的评价量Er，定义不使用RGB成分值中的B的评价量Er。但是，并不仅限于此，例如通过式(28)定义评价量Er，将系数k设定为0或者小于系数i、j的值，也能得到同样的效果。在这里，系数i、j、k是可为负数的权重。

Er＝(i·R+j·G+k·B)/R …(28)

另外，也可以将像素值转换为Lab或YCbCr等其他的色空间后，不将蓝色成分纳入考虑或者减小蓝色成分的权重来定义评价量Er。

(其他实施例)

本发明可以应用于由多个设备(如主计算机、接口、读取器、打印机)组成的系统，或应用于包含单个设备(如复印机、传真机)的装置。

并且，可以这样来实现本发明的目的：向计算机系统或装置(如个人计算机)供给存储有执行上述处理的程序代码的存储介质，用计算机系统或装置的CPU或MPU从该存储介质读出该程序代码，然后执行该程序。

在这种情况下，从该存储介质读出的程序代码实现上述实施例的功能，存储有该程序代码的存储介质构成本发明。

并且，作为上述存储介质，有能用于提供程序代码的软盘、硬盘、光盘、光磁盘、CD-ROM、CD-R、CD-RW、磁带、非易失性存储卡、ROM。

此外，除了由计算机通过读入程序代码来实现根据上述实施例的上述功能的情况之外，本发明还包括以下情况，运行在计算机上的OS(操作系统)等按照该程序代码的指示执行全部或部分处理，实现上述实施方式的功能。

此外，本发明还包括以下情况，在从存储介质中读出的程序代码写入到插入计算机内的功能扩展卡或写入到连接于计算机的功能扩展单元具备的存储器之后，功能扩展卡上的CPU等或功能扩展单元中包含的CPU等，进行全部或部分处理，实现上述实施方式的功能。

此时，本发明适用于上述存储介质，该存储介质中存储对应于实施例中描述的流程图的程序代码。

在本发明的精神和范围内，可以有许多明显不同的实施例，可以理解为，本发明不限于特殊的具体实施例，而是由附加的权利要求来限定。

Claims

1.一种图像处理装置，其特征在于，包括：

分割装置，将输入图像分割成预定行数的条带图像，使得在相邻的条带图像之间存在重复区域；

抽取装置，对每个上述条带图像，抽取构成显出色调不良的图像区域的候选像素；以及

确定装置，根据上述重复区域中的包含上述候选像素的候选区域的位置，确定要对上述候选像素进行特征量判断的条带图像。

2.根据权利要求1所述的图像处理装置，其特征在于：

上述确定装置，根据在上述重复区域中存在的上述候选区域的上部和上述条带图像的下端的距离、以及上述候选区域的下部和上述条带图像的下端的距离，确定要进行上述特征量判断的条带图像。

3.一种图像处理装置，检测眼睛图像中显出色调不良的图像区域，其特征在于，包括：

分割装置，从输入图像依次分割预定行数的条带图像，使得在相邻的条带图像之间存在重复区域；

计算装置，对每个上述条带图像，且对每个上述条带图像的像素，基于预定色成分计算上述色调不良的评价量；

像素抽取装置，对每个上述条带图像，基于上述评价量，抽取构成显出上述色调不良的图像区域的候选像素；

区域抽取装置，对每个上述条带图像，抽取上述候选像素构成的预定形状的候选区域；以及

确定装置，对每个上述条带图像，基于从上述候选区域计算出的关于上述眼睛图像的特征量，确定是否将上述候选区域作为校正区域。

4.根据权利要求3所述的图像处理装置，其特征在于：

上述计算装置，根据上述输入图像的红色和绿色成分计算上述评价量，或者将与上述红色和绿色成分相比小的权重应用于蓝色成分，根据上述红色成分、上述绿色以及上述蓝色成分计算上述评价量。

5.根据权利要求3所述的图像处理装置，其特征在于：

上述像素抽取装置，在关注像素附近设定预定的窗口区域，根据上述窗口区域所包含的像素的上述评价量确定阈值，使用上述阈值对上述关注像素的上述评价量进行二值化，从而抽取上述候选像素。

6.根据权利要求5所述的图像处理装置，其特征在于：

上述像素抽取装置，在上述关注像素的行上设定多个像素量的上述窗口区域。

7.根据权利要求5所述的图像处理装置，其特征在于：

上述像素抽取装置，沿行方向扫描上述关注像素抽取能成为上述候选像素的像素之后，在上述行上朝反方向扫描上述关注像素，抽取能成为上述候选像素的像素，将在上述二次扫描中均抽出的像素作为上述候选像素。

8.根据权利要求3所述的图像处理装置，其特征在于：

上述计算装置和上述像素抽取装置，跳过第二个以后的条带图像的上述重复区域的处理，利用前一个的条带图像的上述重复区域的上述候选像素的抽取结果。

9.根据权利要求3所述的图像处理装置，其特征在于：

上述区域抽取装置，将上述候选像素构成的接近圆或者椭圆形状的区域，作为上述候选区域来抽取。

10.根据权利要求3所述的图像处理装置，其特征在于：

还包括判断装置，关于上述重复区域中存在的上述候选区域，判断对正在处理的条带图像和下一个要处理的条带图像中哪一个执行上述确定装置的处理。

11.根据权利要求10所述的图像处理装置，其特征在于：

上述判断装置，计算上述重复区域中存在的上述候选区域与上述正在处理的条带图像的下端的余量，并推测与上述下一个要处理的条带图像的上端的余量，根据两余量的大小关系，进行上述判断。

12.根据权利要求3所述的图像处理装置，其特征在于：

上述确定装置，从上述候选区域计算关于上述眼睛图像的多个特征量，在上述候选区域满足对上述所有特征量、或者对上述特征量中预定的特征量预先设定基准时，将上述候选区域判断为上述校正区域。

13.根据权利要求3所述的图像处理装置，其特征在于：

还包括区域排除装置，在上述候选区域的附近存在更大的候选区域时，除去小的候选区域。

14.根据权利要求3所述的图像处理装置，其特征在于：

还包括区域结合装置，在上述候选区域的附近存在其他候选区域时，结合这些候选区域。

15.根据权利要求14所述的图像处理装置，其特征在于：

上述结合装置，在包含两个上述候选区域的组合的区域的形状比上述两个候选区域中任一个都接近正方形时，结合上述两个候选区域。

16.根据权利要求3所述的图像处理装置，其特征在于：

还包括校正装置，在对应上述校正区域的图像区域，实施校正上述色调不良的处理。

17.一种图像处理装置方法，其特征在于，包括以下步骤：

将输入图像分割成预定行数的条带图像，使得在相邻的条带图像之间存在重复图像；

对每个上述条带图像，抽取构成显出色调不良的图像区域的候选像素；以及

根据上述重复区域中的包含上述候选像素的候选区域的位置，对上述候选像素确定要进行特征量判断的条带图像。

18.一种图像处理装置方法，检测眼睛图像中显出色调不良的图像区域，其特征在于，包括以下步骤：

从输入图像依次分割预定行数的条带图像，使得在相邻的条带图像之间存在重复区域；

对每个上述条带图像，且对每个上述条带图像的像素，基于预定色成分计算上述色调不良的评价量；

对每个上述条带图像，基于上述评价量，抽取构成显出上述色调不良的图像区域的候选像素；

对每个上述条带图像，抽取上述候选像素构成的预定形状的候选区域；以及

对每个上述条带图像，基于从上述候选区域计算出的关于上述眼睛图像的特征量，确定是否将上述候选区域作为校正区域。