CN1993708A - 图像处理设备及方法、摄像设备以及程序 - Google Patents
图像处理设备及方法、摄像设备以及程序 Download PDFInfo
- Publication number
- CN1993708A CN1993708A CNA2005800258883A CN200580025888A CN1993708A CN 1993708 A CN1993708 A CN 1993708A CN A2005800258883 A CNA2005800258883 A CN A2005800258883A CN 200580025888 A CN200580025888 A CN 200580025888A CN 1993708 A CN1993708 A CN 1993708A
- Authority
- CN
- China
- Prior art keywords
- bad
- zone
- tonal quality
- ocular
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims description 46
- 238000000034 method Methods 0.000 title description 23
- 238000001514 detection method Methods 0.000 claims description 66
- 238000012937 correction Methods 0.000 claims description 55
- 238000003672 processing method Methods 0.000 claims description 31
- 238000004040 coloring Methods 0.000 claims description 27
- 238000007493 shaping process Methods 0.000 claims description 18
- 230000001915 proofreading effect Effects 0.000 claims description 9
- 210000000744 eyelid Anatomy 0.000 claims description 8
- 210000003128 head Anatomy 0.000 claims description 4
- 201000005111 ocular hyperemia Diseases 0.000 description 43
- 238000012360 testing method Methods 0.000 description 32
- 241000593989 Scardinius erythrophthalmus Species 0.000 description 29
- 230000001815 facial effect Effects 0.000 description 20
- 208000024754 bloodshot eye Diseases 0.000 description 14
- 238000010586 diagram Methods 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 11
- 238000009826 distribution Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 6
- 238000003860 storage Methods 0.000 description 5
- 210000004709 eyebrow Anatomy 0.000 description 4
- 210000004027 cell Anatomy 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 241001269238 Data Species 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000011514 reflex Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- GCKMFJBGXUYNAG-HLXURNFRSA-N Methyltestosterone Chemical compound C1CC2=CC(=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@](C)(O)[C@@]1(C)CC2 GCKMFJBGXUYNAG-HLXURNFRSA-N 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000001179 pupillary effect Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 238000004513 sizing Methods 0.000 description 1
- 229940085503 testred Drugs 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G06T5/77—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
- H04N1/628—Memory colours, e.g. skin or sky
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30216—Redeye defect
Abstract
检测眼部区域，在检测到的眼部区域中，向内扩展虹膜轮廓的区域，检测该扩展区域包围的空区域作为不良色调质量区域。通过使该轮廓接近于圆形和椭圆形之一，对不良色调质量区域的轮廓进行整形。基于从虹膜轮廓内的邻近区域获得的颜色信息来校正整形后的不良色调质量区域的色调。
Description
技术领域
本发明涉及一种用于自动检测并校正输入图像中的不良色调质量区域的图像处理设备和方法，更具体地说，本发明涉及一种用于在利用电子闪光灯获取图像时自动检测并校正发生在眼部区域的红眼等不良色调质量区域的图像处理设备和方法。
背景技术
被称为红眼的现象是以往众所周知的，在该现象中，利用电子闪光灯获得的人像的眼部区域变红。当闪光被眼睛的视网膜反射并再次形成反射光的图像时发生这种现象。因此，眼部区域被拍摄为红色，即，视网膜中血管的颜色。
已经公开了几种关于红眼区域的检测或者校正的技术。随着数字照相机像素数的增加以及当前高分辨率打印机的发展，红眼区域等不良色调质量区域的校正也必须被准确执行。
在检测或者校正红眼区域的某些技术中，根据摄像条件预测红眼的大小，并根据预测的大小和颜色信息确定红眼区域(例如，日本特开第5-224271号公报)。在其它技术中，利用颜色信息和圆形形状的程度来识别红眼区域(例如，日本特开第6-350914号公报)。作为一种选择，从图像中获得低饱和度或者低亮度区域、肤色区域以及红色区域，并将位于肤色区域内的低饱和度或者低亮度区域内的红色区域识别为红眼区域(例如，第3036285号日本专利)。
在上面描述的技术中，首先，从图像中获得红色区域。然后，利用该红色区域的大小或者形状检测红眼区域。然而，利用颜色信息难以从整个图像中检测到产生红眼的区域。红眼的红色强度在个体之间不同并且还根据照明条件而改变。因此，难以设置可以检测所有红眼区域的阈值。例如，当阈值高时，红眼区域检测失败的概率高。当阈值低时，也可能检测到白炽光下的微红皮肤或者被摄体。在这些情况下，准确检测圆形形状的程度或大小是不实际的。此外，众所周知，在实际应用中难以检测肤色。
此外，红眼区域内的红色分量值的分布并不始终是均匀的。红眼区域内的红色分量经常改变。因此，当根据简单的阈值检测红眼区域时，只能检测到部分红眼区域。当仅校正检测到的区域时，校正后的图像显得怪异。
在防止发生这种情况的技术中，用户指定一个红眼区域的适当位置，如果存在另一个红眼区域，则从最红像素向外围区域执行区域扩展，由此检测红眼区域。作为一种选择，获得多个红色区域，并根据区域的位置、形状以及颜色信息检测最像红眼的区域(例如，第2907120号日本专利)。
还存在不需要用户干预的红眼检测/校正技术(例如，日本特开第2002-305667号公报)。在这种技术中，首先进行面部检测或眼部检测以识别包含不良色调质量的概率高的区域。接着，增强红色分量以识别所获得的不良色调质量区域候选对象的轮廓和中心点。判断每个不良色调质量区域的色调是否具有不良质量，即，该区域是否是红眼区域。如果确定该区域是红眼区域，则产生用于校正不良色调质量的校正掩模(mask)。此外，利用模糊函数获得红眼缺陷区域。通过检验最大红眼检测值周围的邻近像素，以圆形扩展该校正掩模，而不在轮廓上交叉。
在上述红眼区域扩展中，确定该区域应该扩展到什么程度，即，区域扩展的末端是很重要的。在第2907120号日本专利中，以圆形进行区域扩展，或者检测虹膜边缘，并且扩展到该边缘内的区域。在日本特开第2002-305667号公报中，使用该区域的大小和偏心度以及每个不良色调质量区域候选对象的轮廓数据。
然而，在个体之间眼部区域的形状存在差别。不是所有人都具有明显的圆形虹膜，并且某些人眯眼睛。因此，不能仅以圆形扩展该区域。使用检测区域的大小或圆形形状的程度来确定区域扩展的末端。对于眯眼睛的人，图像中虹膜的形状接近椭圆形而非圆形。此外，在某些情况下，在虹膜区域内存在对光源进行反射的被称为“眼神光(catch light)”的小亮区。由于不对眼神光区域进行基于红色分量分布的区域扩展，所以扩展区域不是圆形的。因此，区域扩展末端确定可能失败。
即，在第2907120号日本专利中，当圆形形状的程度低于给定的阈值时，结束区域扩展。在上述情况下，即使仍存在不良色调质量区域时，也可能结束区域扩展。如上所述，如果不准确地确定区域扩展的末端，那么即使执行区域扩展，也不能准确检测到不良色调质量区域。
通常，降低被检测为不良色调质量区域的区域内每个像素的亮度值以校正检测到的不良色调质量区域。作为一种选择，将该区域内的每个像素的R值设置为B值和G值中较低的一个。例如，日本特开第5-224271号公报描述了通过降低亮度使颜色变黑的技术。在日本特开第2002-305667号公报中，在去除了所获得的校正掩模上的孔或者噪声后，根据Rnew＝R-m(R-min(G，B))校正缺陷区域，其中m是对应于校正掩模的灰度级值的红眼缺陷概率。在另一个校正处理中，利用事先保存的非红眼区域的数据代替红眼区域。
然而，个体之间的虹膜颜色不同，并且虹膜的亮度也根据照明条件而变化。因此， 当仅降低亮度或者用不同条件下拍摄到的眼部区域代替红眼区域时可能获得不自然的图像。即，需要将颜色校正到正常拍摄条件下的虹膜颜色。
如果没有准确检测到不良色调质量区域，则校正后的图像看上去不自然，这是因为在对检测区域进行校正后，校正后的图像同时包括校正后的像素和具有不良色调质量的未校正的像素。即，得到含有正常色调的校正后的区域和红眼区域等不良色调质量区域的不自然图像。如上所述，由于当前的数字照相机或者打印机的分辨率高，所以含有未完全校正的区域的图像变得不自然。因此，必须准确检测和校正整个不良色调质量区域。
本发明的目的是容易且准确地检测图像中不良色调质量区域并自然地校正它。
发明内容
为了实现本发明的目的，例如，本发明的图像处理方法包括下面的设置。
即，图像处理方法的特征在于包括：
输入步骤，用于输入图像；
眼部区域检测步骤，用于从输入图像中检测眼部区域；
不良色调质量区域检测步骤，用于检测眼部区域中的不良色调质量区域；
不良色调质量区域整形步骤，用于对不良色调质量区域进行整形；以及
不良色调质量区域校正步骤，用于校正整形后的不良色调质量区域的色调。
为了实现本发明的目的，例如，本发明的图像处理方法包括下面的设置。
即，图像处理方法的特征在于包括：
输入步骤，用于输入图像；
眼部区域检测步骤，用于从输入图像中检测眼部区域；
不良色调质量区域检测步骤，用于检测眼部区域中的不良色调质量区域；以及
不良色调质量区域校正步骤，用于根据从虹膜轮廓内的邻近区域获得的颜色信息校正不良色调质量区域的色调。
为了实现本发明的目的，例如，本发明的图像处理方法包括下面的设置。
即，图像处理方法的特征在于包括：
输入步骤，用于输入图像；
眼部区域检测步骤，用于从输入图像中检测眼部区域；
不良色调质量区域检测步骤，用于通过执行区域扩展直到扩展后的区域的轮廓的相邻像素的颜色信息与从虹膜轮廓区域获得的颜色信息匹配为止，并从扩展后的区域中检测不良色调质量区域，来检测眼部区域中的不良色调质量区域；以及
不良色调质量区域校正步骤，用于校正不良色调质量区域的色调。
为了实现本发明的目的，例如，本发明的图像处理方法包括下面的设置。
即，图像处理方法的特征在于包括：
输入步骤，用于输入图像；
眼部区域检测步骤，用于从输入图像中检测眼部区域；
不良色调质量区域检测步骤，用于在眼部区域中向内扩展虹膜轮廓区域，并且检测由扩展后的区域包围的空区域作为不良色调质量区域；以及
不良色调质量区域校正步骤，用于校正不良色调质量区域的色调。
为了实现本发明的目的，例如，本发明的图像处理方法包括下面的设置。
即，图像处理方法的特征在于包括：
输入步骤，用于输入图像；
眼部区域检测步骤，用于从输入图像中检测眼部区域；
不良色调质量区域检测步骤，用于检测眼部区域中的不良色调质量区域；
非校正区域检测步骤，用于从该眼部区域中检测非校正区域；以及
不良色调质量区域校正步骤，用于校正通过将非校正区域排除在不良色调质量区域之外而获得的区域的色调。
为了实现本发明的目的，例如，本发明的图像处理方法包括下面的设置。
即，图像处理方法的特征在于包括：
输入步骤，用于输入图像；
眼部区域检测步骤，用于从输入图像中检测眼部区域；
非评估区域设置步骤，用于设置不用于不良色调质量区域检测的非评估区域；
不良色调质量区域检测步骤，用于在不使用非评估区域的情况下检测眼部区域内的不良色调质量区域；以及
不良色调质量区域校正步骤，用于校正不良色调质量区域的色调。
为了实现本发明的目的，例如，本发明的图像处理设备包括下面的配置。
即，图像处理设备的特征在于包括：
输入装置，用于输入图像；
眼部区域检测装置，用于从输入图像中检测眼部区域；
不良色调质量区域检测装置，用于检测眼部区域中的不良色调质量区域；
不良色调质量区域整形装置，用于对不良色调质量区域进行整形；以及
不良色调质量区域校正装置，用于校正整形后的不良色调质量区域的色调。
为了实现本发明的目的，例如，本发明的图像处理设备包括下面的配置。
即，图像处理设备的特征在于包括：
输入装置，用于输入图像；
眼部区域检测装置，用于从输入图像中检测眼部区域；
不良色调质量区域检测装置，用于检测眼部区域中的不良色调质量区域；以及
不良色调质量区域校正步骤，用于根据从虹膜轮廓内的邻近区域获得的颜色信息来校正不良色调质量区域的色调。
为了实现本发明的目的，例如，本发明的图像处理设备包括下面的配置。
即，图像处理设备的特征在于包括：
输入装置，用于输入图像；
眼部区域检测装置，用于从输入图像中检测眼部区域；
不良色调质量区域检测装置，用于执行区域扩展直到扩展后的区域的轮廓的相邻像素的颜色信息与从虹膜轮廓区域获得的颜色信息匹配为止，从扩展后的区域中检测不良色调质量区域；以及
不良色调质量区域校正装置，用于校正不良色调质量区域的色调。
为了实现本发明的目的，例如，本发明的图像处理设备包括下面的配置。
即，图像处理设备的特征在于包括：
输入装置，用于输入图像；
眼部区域检测装置，用于从输入图像中检测眼部区域；
不良色调质量区域检测装置，用于在眼部区域中向内扩展虹膜轮廓区域，并检测扩展后的区域所包围的空区域作为不良色调质量区域；以及
不良色调质量区域校正装置，用于校正不良色调质量区域的色调。
为了实现本发明的目的，例如，本发明的图像处理设备包括下面的配置。
即，图像处理设备的特征在于包括：
输入装置，用于输入图像；
眼部区域检测装置，用于从输入图像中检测眼部区域；
不良色调质量区域检测装置，用于检测眼部区域中的不良色调质量区域；
非校正区域检测装置，用于从眼部区域中检测非校正区域；以及
不良色调质量区域校正装置，用于校正通过将非校正区域排除在不良色调质量区域之外而获得的区域的色调。
为了实现本发明的目的，例如，本发明的图像处理设备包括下面的配置。
即，图像处理设备的特征在于包括：
输入装置，用于输入图像；
眼部区域检测装置，用于从输入图像中检测眼部区域；
非评估区域设置装置，用于设置不用于不良色调质量区域检测的非评估区域；
不良色调质量区域检测装置，用于在不使用该非评估区域的情况下，检测眼部区域内的不良色调质量区域；以及
不良色调质量区域校正装置，用于校正不良色调质量区域的色调。
为了实现本发明的目的，例如，本发明的摄像设备包括下面的配置。
即，摄像设备的特征在于包括：
摄像装置；以及
根据权利要求19至24中任一项所述的图像处理设备，
其中，由图像处理设备检测并校正摄像装置拍摄的图像中的不良色调质量区域。
根据下面结合附图所做的说明，本发明的其它特征和优点将是很明显的，在所有附图中，同样的附图标记表示相同或者类似的部件。
附图说明
包括在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并与本说明书一起用于解释本发明的原理。
图1是示出根据第一实施例的图像处理设备的功能设置的框图；
图2是第一实施例的流程图；
图3A至3D是示出眼部检测结果的图；
图4是示出非评估区域设置方法的流程图；
图5A和5B是示出外眼角/内眼角检测的图；
图6A和6B是示出第一非评估区域的图；
图7是示出分层次的主题检测的图；
图8是示出分层次的神经网络的图；
图9是用于说明第二非评估区域的图；
图10是根据第一实施例的不良色调质量区域检测处理的流程图；
图11是示出第二实施例的示意图；
图12是根据第二实施例的不良色调质量区域检测处理的流程图；
图13是示出虹膜轮廓的图；以及
图14是示出图像处理设备的硬件配置的框图。
具体实施方式
现在，结合附图详细说明本发明的优选实施例。
第一实施例
图1是示出根据本实施例的图像处理设备的设置的框图。该图像处理设备包括：不良色调质量区域检测装置10、不良色调质量区域校正单元104、显示单元105以及记录单元106。
不良色调质量区域检测装置10包括：图像输入单元100、眼部区域检测单元101、非评估区域设置单元102、不良色调质量区域检测单元103、非校正区域设置单元107以及不良色调质量区域整形单元108。
图像输入单元100输入要由本系统处理的图像。更具体地说，图像输入单元100是包括镜头和CCD的摄像单元或扫描器，或者是用于读出图像文件的模块。摄像单元可以检测并校正拍摄到的图像的不良色调质量。
眼部区域检测单元101检测由图像输入单元100输入的图像中的眼部区域。
在当检测红眼区域等不良色调质量区域时执行的区域扩展处理中，非评估区域设置单元102设置从为了确定区域扩展的终止而被评估的区域中排除的非评估区域。
不良色调质量区域检测单元103利用眼部区域检测单元101检测到的眼部区域和非评估区域设置单元102设置的非评估区域来检测红眼等不良色调质量区域。评估该不良色调质量区域以确定区域扩展处理的末端。当确定了末端时的区域被设置为不良色调质量区域。
不良色调质量区域校正单元104校正不良色调质量区域检测单元103检测到的不良色调质量区域的色调。
显示单元105显示由不良色调质量区域校正单元104校正后的图像。记录单元106记录由不良色调质量区域校正单元104校正后的图像。
非校正区域设置单元107设置不应该被不良色调质量区域校正单元104校正的区域。
不良色调质量区域整形单元108对不良色调质量区域检测单元103检测到的不良色调质量区域进行整形。
将参考图2中的流程图说明图1所示设置的操作。在图像输入步骤S201中，图像输入单元100输入图像。将所输入的图像输入到眼部区域检测单元101。
在眼部区域检测步骤S202中，眼部区域检测单元101执行从输入图像中检测眼部区域的处理。下面说明由眼部区域检测单元101执行的处理。首先，眼部区域检测单元101检测由图像输入单元100输入的图像中的面部区域。然后，利用面部区域检测结果和作为面部检测处理的中间处理结果的眼部检测结果设置眼部区域。
将参考图7说明面部检测处理。图7是示出通过分层次处理来检测面部的处理。在图7中示意性示出的操作中，按层检测局部特征，综合检测结果，然后检测下一层级的更复杂的局部特征。通过重复该处理，最后检测出作为主题的面部。即，首先检测一次特征作为原始特征。利用一次特征检测结果(检测级和位置关系)检测二次特征。利用二次特征检测结果检测三次特征。最后，利用三次特征检测结果检测面部作为四次特征。
参考图7，首先，检测垂直特征(1-1)、水平特征(1-2)、右上倾斜特征(1-3)以及右下倾斜特征(1-4)作为一次特征。垂直特征(1-1)表示垂直方向上的边缘线段(下同)。输出每个特征的检测结果，作为与输入图像相同大小的检测结果图像。在该例中，获得四种检测结果图像。通过检查每个特征的检测结果图像的位置的值可以确定在该输入图像的该位置是否存在该特征。
以如下方式检测二次特征。从右上倾斜特征和右下倾斜特征检测向右开口的V形(2-1)特征。从右下倾斜特征和右上倾斜特征检测向左开口的V形(2-2)特征。从水平特征检测水平平行线特征(2-3)。从垂直特征检测垂直平行线特征(2-4)。
以如下方式检测三次特征，即，眼部特征(3-1)和嘴部特征(3-2)。从向右开口V形特征、向左开口V形特征、水平平行线特征以及垂直平行线特征检测眼部特征。从向右开口V形特征、向左开口V形特征以及水平平行线特征检测嘴部特征。从眼部特征和嘴部特征检测作为四次特征的面部特征(4-1)。
如上所述，眼部区域检测单元101首先检测原始局部特征。然后，利用检测结果分层次检测局部特征。最后，检测面部。根据眼部特征(3-1)的检测结果将眼部区域设置在面部检测区域中的预定邻近区域中。图3A至3D示意性示出面部检测结果和眼部区域检测结果。图3A示出面部检测结果和预定邻近区域。
在面部以外的例如背景等与眼部特征类似的区域中经常错误地检测到眼部特征检测结果。首先，检测面部。根据面部检测结果设置邻近区域RE1和RE2。仅利用每个邻近区域中的眼部特征检测结果，将眼部区域设置为包括眼部特征检测结果的具有预定大小和预定形状的区域。图3D示出所设置的眼部区域302。为了设置眼部区域，获得眼部特征检测结果303的中心(301)。然后，将大到包括眼部特征检测结果303的区域设置为眼部区域。
利用通过并行分层次处理识别图像的神经网络也可以实现上述检测方法。在M.Matsugu，K.Mori等人的“ConvolutionalSpiking Neural Network Model for Robust Face Detection”，2002，International Conference On Neural InformationProcessing(ICONIP02)中记载了这种方法。将参考图8说明神经网络的处理内容。神经网络分层次处理与识别(检测)输入数据的局部区域中的目标或几何特征有关的信息。其基本结构是所谓卷积网络结构(Le Cun，Y，and Bengio，Y.，1995，“Convolutional Networks for Images Speech，and TimeSeries”in Handbook of Brain Theory and Neural Networks(M.Arbib，Ed)，MIT Press，pp.255-258)。在最后的层(最高层)中，判断是否存在要检测的主题，如果存在，则获得其在输入数据上的位置信息。
数据输入层801输入图像数据。第一特征检测层802(1，0)在将整个画面的各位置设为中心的局部区域中在同一处以多个灰度级或者分辨率检测出多个特征分类数量的从数据输入层801输入的图像图案的低阶局部特征。请注意，低阶局部特征可包含颜色分量特征以及特定方向分量和特定空间频率分量等几何特征。局部区域可分别具有位于整个屏幕上的预定采样点作为中心。
特征综合层803(2，0)具有预定的感受野(receptor field)结构(在下文中，感受野将表示到紧前一层的输出单元的连接范围，感受野结构将表示连接权重分布)。特征综合层803对来自特征检测层802(1，0)的同一感受野中的多个神经元单元的输出进行综合。该综合处理是一种运算，例如，通过最大输出检测进行局部平均或子采样，并且该综合处理具有通过使特征检测层802(1，0)的输出在空间上不透明来允许位置移位或者变形的功能。同一特征综合层中的神经元的感受野具有相同的结构。
在后面的特征检测层802((1，1)、(1，2)、…、(1，M))以及特征综合层803((2，1)、(2，2)、…、(2，M))中，前者((1，1)、…)检测每个特征检测模块中的多个不同特征，而后者((201)，…)对与来自前一特征检测层的多个特征相关的检测结果进行综合。连接(有线连接)特征检测层，以接收属于同一个通道的前一特征综合层的各神经元单元的输出。在特征综合层执行的子采样中，对来自同一特征分类的特征检测神经元组的局部区域(特征综合层的局部感受野)的输出进行平均。
为了在输入图像中的各位置检测图7中所示的特征，针对用于在图8所示特征检测层中进行检测的神经元，形成相同感受野结构以检测特征。此外，为最终面部检测层中的面部检测准备对应于不同大小或者转动量的感受野结构。当通过面部特征检测检测到面部的存在时，根据用于检测面部的感受野结构，可以获得面部的大小和方向等面部数据。
当使用感受野结构时，可以准确设置邻近区域，以获得对应于面部检测结果的眼部特征检测结果。图3B示意性示出面部检测结果和对应于面部检测结果的眼部特征检测结果。图3C示意性示出眼部特征检测结果和眼部特征。当使用上述神经网络时，获得不是作为一个点而是作为具有特定范围的区域的眼部特征。该区域根据图像而改变，但是通常包括眼睛的整个虹膜。在某些图像中，该区域可能包括眉毛区域，如图3C所示。
在非评估区域设置步骤S203中，非评估区域设置单元102在眼部区域检测单元101检测到的眼部区域中设置非评估区域。非评估区域不用于确定在检测红眼区域等不良色调质量区域中执行的区域扩展处理的末端。如本发明的背景技术中所述，利用检测区域的大小或圆形形状的程度确定区域扩展的末端。非评估区域设置单元102将非评估区域设置为不用于计算圆形形状的程度的区域。更具体地说，非评估区域包括例如被眼睑隐藏了虹膜的区域以及虹膜区域中的眼神光区域。
图4是示出非评估区域设置过程的流程图。图5A和5B是示出非评估区域设置的示意图。下面将参考图4、5A和5B说明非评估区域设置方法。参考图4，在边缘提取步骤S401中，对在图像输入步骤S201输入的图像中的在眼部区域检测步骤S202检测到的眼部区域302执行边缘提取处理。为了检测该边缘，可以使用广泛采用的LOG滤波器等滤波器。作为一种选择，可以将图7中所示的一次特征检测结果组合在一起以获得边缘提取结果。图5A示出边缘提取结果504。更具体地说，通过边缘提取处理提取眼部轮廓和眉毛轮廓，如边缘提取结果504所示。
在外眼角/内眼角检测步骤S402中，检测外眼角和内眼角。参考图5B，附图标记505表示检测到向右开口的V形边缘特征的区域，而506表示检测到向左开口的V形边缘特征的区域。向右开口V形边缘特征和向左开口V形边缘特征对应于外眼角或者内眼角。由眼部区域检测单元101的处理检测这些特征，如参考图7所述。除了作为正确检测结果的外眼角和内眼角，在眉毛区域等其它区域内错误地检测到类似特征。仅利用图5A中所示的边缘提取区域504中的检测结果来检测正确的外眼角和内眼角。
更具体地说，获得向右开口V形边缘特征检测结果505和向左开口V形边缘特征检测结果506作为具有特定范围的区域，如图5B所示。在V形边缘特征检测区域与在边缘提取步骤S401中获得的边缘提取结果之间的交叉点中，将位于最外端的点定义为外眼角或者内眼角。例如，通过利用阈值将该边缘提取结果二值化。向右开口的V形边缘特征检测结果505和向左开口的V形边缘特征检测结果506也被二值化。对这些值进行AND运算，以获得各交叉点。通过检查每个交叉点的坐标可以检测交叉点中的端点。此时，可能检测到眉毛的端点而不是外眼角或者内眼角。因此，可以获得多个端点，并且将位于下侧的端点确定为外眼角和内眼角。
在轮廓跟踪步骤S403中，从在外眼角/内眼角检测步骤S402获得的外眼角点到内眼角点，或者从内眼角点到外眼角点，跟踪轮廓。要跟踪的轮廓是在边缘提取步骤S401获得的边缘。当不进行任何处理就使用该边缘提取结果时，该边缘可能是断续的。优选临时执行形态扩展，然后执行细线形成。
在许多参考文献中，例如，在Makoto Nagao，Kindai KagakuSha翻译和指导的、Rosenfeld，Kak的“Digital ImageProcessing”中，描述了轮廓跟踪、扩展和形成细线。当执行轮廓跟踪时，在某些情况下存在虹膜轮廓的分支点，如图6A中示意性示出的。例如，当跟踪轮廓A时，中途存在分支点B和C。这是因为眼部宽度小于虹膜的大小。在图像的眼部不是总存在分支点。基本上，在上侧和下侧存在两组分支点B和C。这两个分支点之间的区域被定义为第一非评估区域。
图6B示出第一非评估区域。当在两个或者更多个方向上的像素存在轮廓时可以确定分支点。当轮廓跟踪结束时，获得上部轮廓(图6A中的轮廓A)和下部轮廓(图6A中的轮廓B)。图1中所示的非校正区域设置单元107将位于上部轮廓上侧的区域设置为上眼睑区域601，而将位于下部轮廓下侧的区域设置为下眼睑区域602。在不良色调质量区域检测步骤S204中，检测不良色调质量区域，使得上眼睑区域601和下眼睑区域602不包括不良色调质量区域(下面做说明)。
在虹膜轮廓检测步骤S404中，跟踪通过轮廓跟踪步骤S403中的轮廓跟踪获得的分支点以检测虹膜轮廓。根据本发明人所做的检查，几乎所有被检查的人在眼睛的虹膜与眼睛的上部轮廓和下部轮廓中的一个之间都存在分支点。因此，当从分支点进行跟踪时，可以检测到虹膜的轮廓。如果图像中的眼睛仅具有下部轮廓上的两个分支点，则在跟踪时，该虹膜轮廓延伸到另一个分支点。
如果图像中的眼睛在上部轮廓和下部轮廓上分别具有两个分支点，则虹膜轮廓从下部轮廓上的分支点延伸到上部分支点，或者虹膜轮廓从上部轮廓上的分支点延伸到下部分支点。轨迹的结合就是虹膜轮廓。图13示出检测到的虹膜轮廓1300。
在眼神光区域检测步骤S405中，在利用轮廓跟踪步骤S403确定的第一非评估区域和虹膜轮廓检测步骤S404检测到的虹膜轮廓获得的区域内检测眼神光区域。眼神光是使瞳孔反射照射到它的光的技术。利用该眼神光，所拍摄到的面部变得富于表情。当使用电子闪光灯时，通常获得具有眼神光的图像。
如上所述，眼神光是闪光灯光的反射光，因此，在图像中形成白色亮点。当为了检测不良色调质量区域而搜索红色亮度值比绿色或者蓝色亮度值高的像素时，该眼神光区域不包括在不良色调质量区域内。图9示意性示出这种状态。出现在虹膜903区域内的不良色调质量区域901的轮廓延伸到眼神光区域902的边界。眼神光区域902几乎是白色的，如上所述。因此，当根据含有大量红色分量的像素扩展该区域时，不良色调质量区域901不具有圆形轮廓，而是在部分圆形上具有凹进的轮廓。当直接使用该轮廓时，圆形形状的程度的计算精度变低。
在本实施例中，检测眼神光区域。将眼神光区域的轮廓设置为第二非评估区域，并且它不包括在用于评估不良色调质量区域的圆形形状程度的轮廓中。眼神光区域作为小亮区域存在。因此，在利用轮廓跟踪步骤S403获得的第一非评估区域和在虹膜轮廓检测步骤S404获得的虹膜轮廓获得的区域中检测到这种小区域，并将其设置为第二非评估区域。
如上所述，当从用于评估不良色调质量区域的圆形形状程度的轮廓中设置第一非评估区域和第二非评估区域时，可以提高确定区域扩展末端的精度。虹膜是圆形的。通常，红眼区域最终变成圆形。因此，基本上需要确定圆形形状。然而，被上部眼睑和下部眼睑部分隐藏的虹膜不是圆形的。隐藏区域的轮廓是眼睑的轮廓。因此，该区域作为第一非评估区域排除在计算之外。当包括眼神光区域的轮廓时，红眼区域的轮廓不是圆形的。因此，眼神光区域作为第二非评估区域排除在该计算之外。
在不良色调质量区域检测步骤S204中，不良色调质量区域检测单元103检测红眼等不良色调质量区域。图10是不良色调质量区域检测处理的流程图。
在中心点设置步骤S1001中，检测利用虹膜轮廓和在非评估区域设置步骤S203设置的非评估区域获得的区域的中心点。该中心点例如是该区域的重心。
在基准像素设置步骤S1002中，设置在通过区域扩展获得不良色调质量区域中使用的基准像素，即，区域扩展的核心。基本上，将中心点设置步骤S1001设置的中心点设置为基准像素。然而，当该中心点包含在眼神光区域中时，将位于眼神光区域之外的且位于通过在非评估区域设置步骤S203获得的非评估区域和虹膜轮廓而获得的区域内的邻近像素设置为基准像素。
在虹膜颜色设置步骤S1003中，在非评估区域设置步骤S203设置的虹膜轮廓内的邻近小区域(被称为虹膜轮廓区域)中的像素中，检测具有高亮度值的像素。例如，检测虹膜轮廓区域中具有前10％亮度值的像素的颜色分布，并将该值的平均值设置为虹膜的颜色信息。通常，即使当出现红眼时，整个虹膜也很少作为总体变得非常红。因此，可以从虹膜轮廓区域的颜色分布获得虹膜的颜色信息(无论瞳孔是蓝色、绿色还是褐色的)。虹膜轮廓区域内的各像素的亮度或颜色不是恒定的。然而，亮度值高的像素的颜色信息与正常拍摄的虹膜的颜色信息相同。因此，使用虹膜轮廓区域内的像素中亮度高的像素的颜色信息。
作为另一种方法，可以从虹膜轮廓区域中的颜色分布来估计虹膜的颜色信息。作为估计方法，例如，根据每种虹膜颜色的颜色信息事先准备虹膜轮廓区域中像素的颜色分布数据。将每个数据与所拍摄的图像的虹膜轮廓区域中的像素的颜色分布进行比较，并通过最大似然性方法来估计虹膜的颜色信息。
更具体地说，检测没有红眼的正常色调的虹膜轮廓区域中具有例如前10％亮度值的高亮度值的像素的颜色分布。事先为每种虹膜颜色准备像素的R、G和B值的平均值分布数据。作为所拍摄的图像的虹膜轮廓区域中的像素分布，与事先准备的数据相同，检测例如前10％亮度值的像素的颜色分布，并获得像素的R、G和B值的平均值分布，然后将所获得的虹膜轮廓区域内的像素的颜色分布与所准备的虹膜颜色的颜色分布数据进行比较，从而通过最大似然性方法估计虹膜的颜色信息。
在区域扩展步骤S1004，将该区域从在基准像素设置步骤S1002设置的基准像素扩展到具有接近在虹膜颜色设置步骤S1003设置的颜色的像素。例如，该区域扩展到表示R、G和B值(被称为设置的R、G和B值)位于关于在虹膜颜色设置步骤S1003设置的虹膜颜色信息的R、G和B值的10％范围内的像素。更具体地说，在该区域扩展中，将设置的R、G和B值与基准像素周围的像素的R、G和B值进行比较。然后，将设置的R、G和B值与位于先前扩展的区域内的像素相邻的像素的R、G和B值进行比较。以这种方式扩展该区域，直到与位于先前扩展的区域中的像素相邻的全部或者预定数量(例如80％)的像素的R、G和B值等于设置的R、G和B值为止。然而，不扩展在非评估区域设置步骤S203设置的第一非评估区域和虹膜轮廓上的区域。当禁止在第一非评估区域上扩展该区域时，在轮廓跟踪步骤S403设置的上部眼睑区域601和下部眼睑区域602不包括不良色调质量区域。
在末端确定步骤S1005，检查在区域扩展步骤S1004扩展的区域的圆形形状程度，并确定区域扩展的末端。为了确定圆形形状，获得在中心点设置步骤S1001设置的中心点与扩展区域的轮廓的像素之间的距离。在该差值等于或者小于预定阈值时，确定该形状是圆形。如果该差值大于阈值，则确定该形状是非圆形。此时，在扩展区域中的像素中，在非评估区域设置步骤S203设置的第一非评估区域和第二非评估区域中的像素排除在用于确定圆形形状的像素之外。利用该处理可以准确确定圆形形状。如果确定扩展区域的形状是圆形，则流程进入近似圆形设置步骤S1006。如果确定该形状不是圆形，则重复区域扩展步骤S1004中的扩展处理。
利用图1所示的不良色调质量区域整形单元108执行近似圆形设置步骤S1006。通过计算获得接近扩展区域轮廓的圆形。更具体地说，获得使该近似圆形与扩展区域轮廓上的代表性点的坐标之间的误差的平方和最小的近似圆形。将该近似圆形定义为该不良色调质量区域。甚至在获得近似圆形中，在非评估区域设置步骤S203设置的第一非评估区域和第二非评估区域中的像素也被排除在为了获得近似圆形的计算所使用的像素之外。当以这种方式获得近似圆形时，可以正确执行不良色调质量区域校正步骤S205中的校正处理。为了缩短处理时间，可以检测该扩展区域作为不良色调质量区域而不执行圆形近似步骤S1006。
在不良色调质量区域校正步骤S205，不良色调质量区域校正单元104校正在不良色调质量区域检测步骤S204或者近似圆形设置步骤S1006中获得的红眼等不良色调质量区域的色调。通过将色调设置为在虹膜颜色设置步骤S1003设置的虹膜颜色来进行校正。基本上，通过改变颜色分布而不改变亮度值来校正色调。在近似圆形设置步骤S1006获得的近似圆形中，在轮廓跟踪步骤S403获得的上部眼睑区域601和下部眼睑区域602不包括在该不良色调质量区域中，并且在不良色调质量区域校正步骤S205中不对其进行校正。
在显示/记录步骤S206，将校正后的图像显示在显示单元上或者利用记录单元记录校正后的图像。
图14是示出根据本实施例的图像处理设备的硬件配置的框图。该图像处理设备作为色调图像拍摄设备的一部分来使用，或者连接到该摄像设备以执行上述校正处理。
CPU 41控制整个设备并且还利用存储在ROM 42和RAM 43中的程序和数据执行下面描述的每个处理。
ROM 42存储该设备的引导程序和设置数据。
RAM 43具有CPU 41执行各种处理所需的工作区。RAM 43还具有用于临时存储从HDD 46装载的程序和数据的区域。
键盘44是能够将用户的各种指令输入到CPU 41的操作单元。还可以设置鼠标等指示装置。
CRT 45是可以利用文本或者图像显示CPU 41的处理结果的显示器件。代替CRT 45，也可以采用液晶显示装置。
硬盘驱动器(HDD)46是外部大容量存储装置。HDD 46存储OS(操作系统)，或者存储用于使CPU 41实现图1所示各单元的功能的程序和数据。在CPU 41的控制下，将它们中的一些或者全部装载到RAM 43。HDD 46还存储校正数据和模型数据。在需要时，在CPU 41的控制下，也将它们装载到RAM 43。作为外部存储装置，可以设置CD或者DVD驱动装置。
I/F 47是用于与外部装置进行数据通信的接口。例如，可以从连接到I/F 47的数字照相机输入或者从计算机下载包括校正目标的图像数据。将该图像数据临时存储在RAM 43内并由CPU 41来处理。上述各单元均连接到总线48。
如上所述，根据本实施例，在根据区域扩展检测图像中的不良色调质量区域中，事先获得虹膜区域中的颜色分布。进行区域扩展直到获得同样的颜色分布为止。利用该处理可以减少区域扩展的重复次数。在该面部检测方法中，首先检测原始特征，然后检测V形边缘、眼睛以及嘴等中间特征，最后检测面部。由于可以准确检测眼睛和内眼角，所以可以提高要校正的红眼区域的检测精度。
第二实施例
在第一实施例中，在根据区域扩展获得不良色调质量区域中，将该区域从被评估为不良色调质量的区域中的基准像素扩展到颜色接近设置的虹膜颜色的像素。在第二实施例中，根据虹膜轮廓上的像素值向内扩展该区域，并检测该区域所包围的空区域作为不良色调质量区域。图11示意性示出本实施例的特征。参考图11，该区域以箭头所示的扩展方向1101从虹膜轮廓1100扩展。即，第二实施例中要扩展的区域与第一实施例中要扩展的区域不同。
更具体地说，在第二实施例中，图10所示的基准像素设置步骤S1102和区域扩展步骤S1004的操作以及在图2所示的不良色调质量区域检测步骤S204的末端确定步骤S1005检验其圆形形状程度的区域与第一实施例中的不同。
图12是本实施例的不良色调质量区域检测步骤的流程图。如上所述，基准像素设置步骤S1202、区域扩展步骤S1204以及末端确定步骤S1205与第一实施例中的不同，下面将说明这三个步骤的操作。
在基准像素设置步骤S1202，将在图4所示虹膜轮廓检测步骤S404检测到的虹膜轮廓上的像素设置为基准像素。
在区域扩展步骤S1204，将该区域从在基准像素设置步骤S1202设置的每个基准像素扩展到颜色接近在虹膜颜色设置步骤S1003设置的颜色的像素。例如，将该区域扩展到表示R、G和B值落入关于在虹膜颜色设置步骤S1003设置的虹膜颜色信息的R、G和B值的10％范围内的像素。然而，不扩展在非评估区域设置步骤S203设置的第一非评估区域和该虹膜轮廓上的区域。即，在区域扩展步骤S1202，利用虹膜轮廓上的像素的颜色信息将该区域从虹膜轮廓向内扩展，如图11所示。然而，不扩展在非评估区域设置步骤S203设置的第一非评估区域和该虹膜轮廓上的区域。
在末端确定步骤S1205，检验通过在非评估区域设置步骤S203设置的非评估区域和虹膜轮廓获得的区域中被在区域扩展步骤S1204扩展的区域包围的扩展区域轮廓1102的圆形形状程度，并确定区域扩展的末端。图11示出扩展区域轮廓1102。确定圆形形状程度的方法与第一实施例中的相同。甚至在此时，在非评估区域设置步骤S203设置的第一非评估区域和第二非评估区域中的像素被排除在用于确定圆形形状像素之外。
如上所述，根据本发明，根据区域扩展，利用即使在产生红眼等不良色调质量时仍保持颜色信息的虹膜轮廓上的像素作为基准像素，检测图像中的不良色调质量区域。因此，可以独立于红眼强度检测不良色调质量区域。
其它实施例
通过将记录了用于实现上述实施例的功能的软件程序代码的记录介质(或者存储介质)提供给照相机或者计算机，然后使该照相机或者计算机的CPU或者MPU读取并执行存储在该记录介质中的程序代码，也可以实现本发明的目的。在这种情况下，从该记录介质读取的程序代码本身实现上述实施例的功能，记录有该程序代码的记录介质构成本发明。
不仅当照相机或者计算机执行读出的程序代码时实现了上述实施例的功能，而且当运行在该照相机上的操作系统(OS)根据该程序代码的指令执行部分或者全部实际处理时也实现上述实施例的功能。
当将从该记录介质读出的程序代码写入插入该照相机或者计算机中的功能扩展板上的或者连接到该照相机或者计算机的功能扩展单元上的存储器内，然后该功能扩展板或者功能扩展单元的CPU根据该程序代码的指令执行部分或者全部实际处理时，也实现上述实施例的功能。
当将本发明应用于记录介质时，记录介质存储对应于上述流程图的程序代码。
由于在不脱离本发明本质和范围的情况下，可以提出许多表面上看大不相同的本发明的实施例，所以本发明不局限于除所附权利要求限定以外的其特定实施例。
优先权要求
本申请要求2004年7月30日提交的日本专利申请第2004-223578号的优先权，在此通过引用将其包含于此。
Claims (26)
1.一种图像处理方法，其特征在于，包括：
输入步骤，用于输入图像；
眼部区域检测步骤，用于从所述输入图像中检测眼部区域；
不良色调质量区域检测步骤，用于检测所述眼部区域中的不良色调质量区域；
不良色调质量区域整形步骤，用于对所述不良色调质量区域进行整形；以及
不良色调质量区域校正步骤，用于校正整形后的不良色调质量区域的色调。
2.根据权利要求1所述的图像处理方法，其特征在于，在所述不良色调质量区域整形步骤中，通过使在所述不良色调质量区域检测步骤中检测到的所述不良色调质量区域的轮廓接近圆形或者椭圆形之一，对所述轮廓进行整形。
3.根据权利要求1所述的图像处理方法，其特征在于，在所述不良色调质量区域校正步骤中，根据从虹膜轮廓内的邻近区域获得的颜色信息校正所述不良色调质量区域的色调。
4.根据权利要求3所述的图像处理方法，其特征在于，在所述不良色调质量区域校正步骤中，根据所述虹膜轮廓内的邻近区域中的基于亮度值选择的像素的颜色信息进行校正。
5.根据权利要求1所述的图像处理方法，其特征在于，在所述不良色调质量区域检测步骤中，执行区域扩展直到扩展后的区域的轮廓的相邻像素的颜色信息与从虹膜轮廓区域获得的颜色信息匹配为止，从扩展后的区域中检测所述不良色调质量区域。
6.根据权利要求1所述的图像处理方法，其特征在于，在所述不良色调质量区域检测步骤中，向内扩展虹膜轮廓区域，检测被扩展后的区域包围的空区域作为所述不良色调质量区域。
7.根据权利要求1所述的图像处理方法，其特征在于，还包括用于从所述眼部区域中检测非校正区域的非校正区域检测步骤，
其中，对除去在所述非校正区域检测步骤中检测到的所述非校正区域之外的区域执行所述不良色调质量区域校正步骤中的校正处理。
8.根据权利要求5所述的图像处理方法，其特征在于，所述非校正区域是眼睑区域。
9.根据权利要求1所述的图像处理方法，其特征在于，还包括非评估区域设置步骤，用于设置不用于所述不良色调质量区域检测步骤中的区域检测处理的非评估区域。
10.根据权利要求9所述的图像处理方法，其特征在于，在所述非评估区域设置步骤中设置的所述非评估区域包括眼神光区域和虹膜被眼睑遮挡了的区域中的至少之一。
11.一种图像处理方法，其特征在于，包括：
输入步骤，用于输入图像；
眼部区域检测步骤，用于从所述输入图像中检测眼部区域；
不良色调质量区域检测步骤，用于检测所述眼部区域中的不良色调质量区域；以及
不良色调质量区域校正步骤，用于根据从虹膜轮廓内的邻近区域获得的颜色信息校正所述不良色调质量区域的色调。
12.根据权利要求11所述的图像处理方法，其特征在于，在所述不良色调质量区域校正步骤中，根据所述虹膜轮廓内的邻近区域中的基于亮度值选择的像素的颜色信息进行校正。
13.一种图像处理方法，其特征在于，包括：
输入步骤，用于输入图像；
眼部区域检测步骤，用于从所述输入图像中检测眼部区域；
不良色调质量区域检测步骤，用于通过执行区域扩展直到扩展后的区域的轮廓的相邻像素的颜色信息与从虹膜轮廓区域获得的颜色信息匹配为止，并从扩展后的区域中检测不良色调质量区域，来检测眼部区域中的不良色调质量区域；以及
不良色调质量区域校正步骤，用于校正所述不良色调质量区域的色调。
14.一种图像处理方法，其特征在于，包括：
输入步骤，用于输入图像；
眼部区域检测步骤，用于从所述输入图像中检测眼部区域；
不良色调质量区域检测步骤，用于在所述眼部区域中向内扩展虹膜轮廓区域，并且检测由扩展后的区域包围的空区域作为不良色调质量区域；以及
不良色调质量区域校正步骤，用于校正所述不良色调质量区域的色调。
15.一种图像处理方法，其特征在于，包括：
输入步骤，用于输入图像；
眼部区域检测步骤，用于从所述输入图像中检测眼部区域；
不良色调质量区域检测步骤，用于检测所述眼部区域中的不良色调质量区域；
非校正区域检测步骤，用于从所述眼部区域中检测非校正区域；以及
不良色调质量区域校正步骤，用于校正通过将所述非校正区域排除在所述不良色调质量区域之外而获得的区域的色调。
16.根据权利要求15所述的图像处理方法，其特征在于，所述非校正区域是眼睑区域。
17.一种图像处理方法，其特征在于，包括：
输入步骤，用于输入图像；
眼部区域检测步骤，用于从所述输入图像中检测眼部区域；
非评估区域设置步骤，用于设置不用于不良色调质量区域检测的非评估区域；
不良色调质量区域检测步骤，用于在不使用所述非评估区域的情况下检测所述眼部区域中的不良色调质量区域；以及
不良色调质量区域校正步骤，用于校正所述不良色调质量区域的色调。
18.根据权利要求17所述的图像处理方法，其特征在于，在所述非评估区域设置步骤中设置的所述非评估区域包括眼神光区域和虹膜被眼睑遮挡了的区域中的至少之一。
19.一种图像处理设备，其特征在于，包括：
输入装置，用于输入图像；
眼部区域检测装置，用于从所述输入图像中检测眼部区域；
不良色调质量区域检测装置，用于检测所述眼部区域中的不良色调质量区域；
不良色调质量区域整形装置，用于对所述不良色调质量区域进行整形；以及
不良色调质量区域校正装置，用于校正整形后的不良色调质量区域的色调。
20.一种图像处理设备，其特征在于，包括：
输入装置，用于输入图像；
眼部区域检测装置，用于从所述输入图像中检测眼部区域；
不良色调质量区域检测装置，用于检测所述眼部区域中的不良色调质量区域；以及
不良色调质量区域校正装置，用于根据从虹膜轮廓内的邻近区域获得的颜色信息来校正所述不良色调质量区域的色调。
21.一种图像处理设备，其特征在于，包括：
输入装置，用于输入图像；
眼部区域检测装置，用于从所述输入图像中检测眼部区域；
不良色调质量区域检测装置，用于执行区域扩展直到扩展后的区域的轮廓的相邻像素的颜色信息与从虹膜轮廓区域获得的颜色信息匹配为止，从所述扩展后的区域中检测不良色调质量区域；以及
不良色调质量区域校正装置，用于校正所述不良色调质量区域的色调。
22.一种图像处理设备，其特征在于，包括：
输入装置，用于输入图像；
眼部区域检测装置，用于从所述输入图像中检测眼部区域；
不良色调质量区域检测装置，用于在所述眼部区域中向内扩展虹膜轮廓区域，并检测由扩展后的区域包围的空区域作为不良色调质量区域；以及
不良色调质量区域校正装置，用于校正所述不良色调质量区域的色调。
23.一种图像处理设备，其特征在于，包括：
输入装置，用于输入图像；
眼部区域检测装置，用于从所述输入图像中检测眼部区域；
不良色调质量区域检测装置，用于检测所述眼部区域中的不良色调质量区域；
非校正区域检测装置，用于从所述眼部区域中检测非校正区域；以及
不良色调质量区域校正装置，用于校正通过将所述非校正区域排除在所述不良色调质量区域之外而获得的区域的色调。
24.一种图像处理设备，其特征在于，包括：
输入装置，用于输入图像；
眼部区域检测装置，用于从所述输入图像中检测眼部区域；
非评估区域设置装置，用于设置不用于不良色调质量区域检测的非评估区域；
不良色调质量区域检测装置，用于在不使用所述非评估区域的情况下，检测所述眼部区域中的不良色调质量区域；以及
不良色调质量区域校正装置，用于校正所述不良色调质量区域的色调。
25.一种摄像设备，其特征在于，包括：
摄像装置；以及
根据权利要求19至24中任一项所述的图像处理设备，
其中，由所述图像处理设备检测并校正所述摄像装置拍摄的图像中的不良色调质量区域。
26.一种程序，其特征在于，使计算机执行根据权利要求1至18中任一项所述的图像处理方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004223578A JP4599110B2 (ja) | 2004-07-30 | 2004-07-30 | 画像処理装置及びその方法、撮像装置、プログラム |
| JP223578/2004 | 2004-07-30 | ||
| PCT/JP2005/014135 WO2006011630A1 (en) | 2004-07-30 | 2005-07-27 | Image processing apparatus and method, image sensig apparatus, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN1993708A true CN1993708A (zh) | 2007-07-04 |
| CN1993708B CN1993708B (zh) | 2013-09-04 |
Family
ID=35786368
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2005800258883A Expired - Fee Related CN1993708B (zh) | 2004-07-30 | 2005-07-27 | 图像处理设备和方法以及摄像设备 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US8285002B2 (zh) |
| EP (1) | EP1779320A4 (zh) |
| JP (1) | JP4599110B2 (zh) |
| CN (1) | CN1993708B (zh) |
| WO (1) | WO2006011630A1 (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104320577A (zh) * | 2014-10-20 | 2015-01-28 | 杭州华为数字技术有限公司 | 一种拍照方法及装置 |
| TWI475187B (zh) * | 2010-10-27 | 2015-03-01 | Hitachi High Tech Corp | Image processing devices and computer programs |
| CN109618098A (zh) * | 2019-01-04 | 2019-04-12 | Oppo广东移动通信有限公司 | 一种人像面部调整方法、装置、存储介质及终端 |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7450756B2 (en) * | 2005-04-28 | 2008-11-11 | Hewlett-Packard Development Company, L.P. | Method and apparatus for incorporating iris color in red-eye correction |
| JP2007272435A (ja) * | 2006-03-30 | 2007-10-18 | Univ Of Electro-Communications | 顔特徴抽出装置及び顔特徴抽出方法 |
| JP2010033305A (ja) * | 2008-07-29 | 2010-02-12 | Hitachi Ltd | 画像情報処理方法、及び装置 |
| JP5642410B2 (ja) * | 2010-03-30 | 2014-12-17 | パナソニック株式会社 | 顔認識装置及び顔認識方法 |
| US8775341B1 (en) | 2010-10-26 | 2014-07-08 | Michael Lamport Commons | Intelligent control with hierarchical stacked neural networks |
| US9015093B1 (en) | 2010-10-26 | 2015-04-21 | Michael Lamport Commons | Intelligent control with hierarchical stacked neural networks |
| US20130009989A1 (en) * | 2011-07-07 | 2013-01-10 | Li-Hui Chen | Methods and systems for image segmentation and related applications |
| CN102306289A (zh) * | 2011-09-16 | 2012-01-04 | 兰州大学 | 基于脉冲耦合神经网络的虹膜特征提取方法 |
| CN104778696B (zh) * | 2015-04-13 | 2017-12-26 | 杭州电子科技大学 | 一种基于视通路方位敏感的图像边缘分级检测方法 |
| US10854136B2 (en) * | 2018-12-21 | 2020-12-01 | Lg Electronics Inc. | Organic light emitting diode display device |
| CN113554648B (zh) * | 2021-09-18 | 2021-11-30 | 四川太平洋药业有限责任公司 | 生产线检测方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5990973A (en) * | 1996-05-29 | 1999-11-23 | Nec Corporation | Red-eye detection/retouch apparatus |
| US20030021478A1 (en) * | 2001-07-25 | 2003-01-30 | Minolta Co., Ltd. | Image processing technology for identification of red eyes in image |
Family Cites Families (36)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4641349A (en) * | 1985-02-20 | 1987-02-03 | Leonard Flom | Iris recognition system |
| JPH0733589B2 (ja) | 1989-07-01 | 1995-04-12 | 株式会社日立サイエンスシステムズ | イオンミリング方法及び装置 |
| US5130789A (en) * | 1989-12-13 | 1992-07-14 | Eastman Kodak Company | Localized image recoloring using ellipsoid boundary function |
| JPH05224271A (ja) | 1992-02-13 | 1993-09-03 | Ricoh Co Ltd | 画像処理装置 |
| JP3036285B2 (ja) * | 1993-03-05 | 2000-04-24 | ミノルタ株式会社 | 赤目位置検出装置 |
| JPH06350914A (ja) | 1993-06-04 | 1994-12-22 | Olympus Optical Co Ltd | 赤目修正システム |
| US5432863A (en) * | 1993-07-19 | 1995-07-11 | Eastman Kodak Company | Automated detection and correction of eye color defects due to flash illumination |
| US6292574B1 (en) * | 1997-08-29 | 2001-09-18 | Eastman Kodak Company | Computer program product for redeye detection |
| US6252976B1 (en) | 1997-08-29 | 2001-06-26 | Eastman Kodak Company | Computer program product for redeye detection |
| JPH11215358A (ja) | 1997-11-14 | 1999-08-06 | Canon Inc | 画像処理装置及びその制御方法、及び画像処理システム |
| US6028949A (en) * | 1997-12-02 | 2000-02-22 | Mckendall; Raymond A. | Method of verifying the presence of an eye in a close-up image |
| US6278491B1 (en) * | 1998-01-29 | 2001-08-21 | Hewlett-Packard Company | Apparatus and a method for automatically detecting and reducing red-eye in a digital image |
| US6631208B1 (en) | 1998-05-29 | 2003-10-07 | Fuji Photo Film Co., Ltd. | Image processing method |
| JP3473832B2 (ja) * | 1999-03-26 | 2003-12-08 | ノーリツ鋼機株式会社 | ディジタル画像の自動補正方法及びそのシステム |
| US7024035B1 (en) * | 1999-09-07 | 2006-04-04 | Fuji Photo Film Co., Ltd. | Method of setting region to be subjected to red eye correction and red eye correcting method |
| US6728401B1 (en) | 2000-08-17 | 2004-04-27 | Viewahead Technology | Red-eye removal using color image processing |
| US7088855B1 (en) * | 2001-01-22 | 2006-08-08 | Adolfo Pinheiro Vide | Method and system for removal of red eye effects |
| EP1229734A1 (en) * | 2001-01-31 | 2002-08-07 | GRETAG IMAGING Trading AG | Automatic colour defect correction |
| US6980691B2 (en) | 2001-07-05 | 2005-12-27 | Corel Corporation | Correction of “red-eye” effects in images |
| EP1288860A1 (de) * | 2001-09-03 | 2003-03-05 | Agfa-Gevaert AG | Verfahren zur Verarbeitung digitaler fotografischer Bilddaten, welches ein Verfahren zum automatischen Erkennen von rote-Augen-Defekten umfasst |
| US7416302B2 (en) * | 2001-09-14 | 2008-08-26 | Stmicroelectronics S.A. | Ring location |
| GB2385736B (en) | 2002-02-22 | 2005-08-24 | Pixology Ltd | Detection and correction of red-eye features in digital images |
| JP2004208132A (ja) * | 2002-12-26 | 2004-07-22 | Nikon Corp | 色不良領域補正方法、色不良領域補正処理プログラム、画像処理装置 |
| JP2004223578A (ja) | 2003-01-23 | 2004-08-12 | Sharp Corp | リフロー半田付け装置 |
| US7116820B2 (en) * | 2003-04-28 | 2006-10-03 | Hewlett-Packard Development Company, Lp. | Detecting and correcting red-eye in a digital image |
| US20050140801A1 (en) * | 2003-08-05 | 2005-06-30 | Yury Prilutsky | Optimized performance and performance for red-eye filter method and apparatus |
| US7454040B2 (en) * | 2003-08-29 | 2008-11-18 | Hewlett-Packard Development Company, L.P. | Systems and methods of detecting and correcting redeye in an image suitable for embedded applications |
| EP1517542B1 (en) * | 2003-09-01 | 2010-11-10 | Samsung Electronics Co., Ltd. | Method and apparatus for adjusting colors of an image |
| US7835572B2 (en) * | 2003-09-30 | 2010-11-16 | Sharp Laboratories Of America, Inc. | Red eye reduction technique |
| US7684642B2 (en) * | 2004-03-03 | 2010-03-23 | Eastman Kodak Company | Correction of redeye defects in images of humans |
| JP4373828B2 (ja) * | 2004-03-22 | 2009-11-25 | 富士フイルム株式会社 | 特定領域検出方法、特定領域検出装置、およびプログラム |
| US20050220346A1 (en) * | 2004-03-30 | 2005-10-06 | Fuji Photo Film Co., Ltd. | Red eye detection device, red eye detection method, and recording medium with red eye detection program |
| JP2005310068A (ja) * | 2004-04-26 | 2005-11-04 | Noritsu Koki Co Ltd | 白目補正方法及びこの方法を実施する装置 |
| US7894666B2 (en) * | 2004-07-30 | 2011-02-22 | Canon Kabushiki Kaisha | Image processing method and apparatus, image sensing apparatus, and program |
| US7403654B2 (en) * | 2004-10-04 | 2008-07-22 | Arcsoft, Inc. | Enhanced automatic red eye removal |
| US7444017B2 (en) * | 2004-11-10 | 2008-10-28 | Eastman Kodak Company | Detecting irises and pupils in images of humans |
-
2004
- 2004-07-30 JP JP2004223578A patent/JP4599110B2/ja not_active Expired - Fee Related
-
2005
- 2005-07-27 US US11/572,884 patent/US8285002B2/en not_active Expired - Fee Related
- 2005-07-27 WO PCT/JP2005/014135 patent/WO2006011630A1/en active Application Filing
- 2005-07-27 CN CN2005800258883A patent/CN1993708B/zh not_active Expired - Fee Related
- 2005-07-27 EP EP05768521A patent/EP1779320A4/en not_active Withdrawn
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5990973A (en) * | 1996-05-29 | 1999-11-23 | Nec Corporation | Red-eye detection/retouch apparatus |
| US20030021478A1 (en) * | 2001-07-25 | 2003-01-30 | Minolta Co., Ltd. | Image processing technology for identification of red eyes in image |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI475187B (zh) * | 2010-10-27 | 2015-03-01 | Hitachi High Tech Corp | Image processing devices and computer programs |
| CN104320577A (zh) * | 2014-10-20 | 2015-01-28 | 杭州华为数字技术有限公司 | 一种拍照方法及装置 |
| CN109618098A (zh) * | 2019-01-04 | 2019-04-12 | Oppo广东移动通信有限公司 | 一种人像面部调整方法、装置、存储介质及终端 |
| CN109618098B (zh) * | 2019-01-04 | 2021-02-26 | Oppo广东移动通信有限公司 | 一种人像面部调整方法、装置、存储介质及终端 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2006040231A (ja) | 2006-02-09 |
| US8285002B2 (en) | 2012-10-09 |
| EP1779320A1 (en) | 2007-05-02 |
| JP4599110B2 (ja) | 2010-12-15 |
| CN1993708B (zh) | 2013-09-04 |
| EP1779320A4 (en) | 2007-12-05 |
| WO2006011630A1 (en) | 2006-02-02 |
| US20080123906A1 (en) | 2008-05-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN1993708A (zh) | 图像处理设备及方法、摄像设备以及程序 | |
| CN1213382C (zh) | 用于从多值图象提取划线的设备 | |
| CN1221925C (zh) | 用于摄影图像的打印处理的图像处理装置 | |
| CN1690678A (zh) | 图像分析方法、图像分析程序及其像素评价系统 | |
| CN1691740A (zh) | 放大显示装置和放大图像控制装置 | |
| CN101079952A (zh) | 图像处理方法和图像处理设备 | |
| CN1741038A (zh) | 面部中央位置检测设备、方法及程序 | |
| CN1940994A (zh) | 缺陷检测装置、图像传感器器件、图像传感器模块 | |
| CN1614991A (zh) | 瞳孔颜色推定装置 | |
| CN1871622A (zh) | 图像比较系统和图像比较方法 | |
| CN1834582A (zh) | 图像处理方法、三维位置测量方法以及图像处理装置 | |
| CN1910613A (zh) | 图像中的人物候选区域抽取方法及人物候选区域抽取系统、人物候选区域抽取程序、以及人物像的上下判定方法、上下判定系统、上下判定程序 | |
| CN1969314A (zh) | 图像处理设备和方法、存储介质及其程序 | |
| CN1874529A (zh) | 摄像头聚焦性能检测系统及方法 | |
| CN1599913A (zh) | 虹膜识别系统和方法以及具有其程序的存储介质 | |
| CN1920539A (zh) | 缺陷检测方法与缺陷检测装置 | |
| CN101032159A (zh) | 图像处理设备及其方法，图像处理程序 | |
| CN1882036A (zh) | 图像处理装置及其方法 | |
| CN1940965A (zh) | 信息处理设备及其控制方法 | |
| JP2010160792A (ja) | 赤目を検出する方法、コンピューター読み取り可能な媒体および画像処理装置 | |
| JP5818552B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| CN1788486A (zh) | 图像处理方法、图像处理装置和程序 | |
| CN1311692C (zh) | 动态矢量检出装置以及动态矢量检出方法 | |
| JP5864936B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| CN1132405C (zh) | 图象处理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20130904 Termination date: 20180727 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |