CN100542220C

CN100542220C - 图像处理设备、图像处理方法和图像捕获设备

Info

Publication number: CN100542220C
Application number: CNB2007100875802A
Authority: CN
Inventors: 高桥贤司
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2006-03-30
Filing date: 2007-03-30
Publication date: 2009-09-16
Anticipated expiration: 2027-03-30
Also published as: US7792355B2; EP1840835A2; US20070273769A1; CN101047794A; EP1840835A3

Abstract

本发明提供一种图像处理设备、图像处理方法和图像捕获设备。本发明可以更准确地校正画面中发生红眼现象的区域。该图像处理设备包括执行用于校正对象图像中满足定义校正对象的条件的区域的校正处理的处理电路，该图像处理设备还包括：判断电路，用于判断对象图像是否已经过了校正处理；以及校正抑制电路，用于当所述判断电路判断出对象图像已经过了校正处理时，抑制对所述对象图像执行校正处理。

Description

图像处理设备、图像处理方法和图像捕获设备

技术领域

本发明总的来说涉及一种图像处理设备、图像处理方法和图像捕获设备，尤其涉及一种用于校正由数字照相机等图像捕获设备捕获的图像中所产生的红眼现象的技术。

背景技术

通常，可以从市场上获得使用具有固态存储元件的存储卡作为记录介质来记录和重放静止图像的数字照相机等图像捕获设备。

使用卤化银胶片的传统照相机会发生红眼现象，即当用户使用电子闪光灯对人进行拍照时，图像捕获设备记录的眼睛是红色的。该红眼现象是进入人的瞳孔的电子闪光灯的光映出视网膜血管的现象。尤其在黑暗的地方，由于眼睛的瞳孔张开，因此更可能发生红眼现象。为了解决该问题，即使传统卤化银照相机也在图像捕获前使用灯、LED或电子闪光灯预发光照射被摄体以在图像捕获时使瞳孔收缩，从而减轻红眼现象。然而，除非被摄者目不转睛地盯住拍摄者，否则由于红眼减轻效果不好而难以完全消除红眼现象。

即使数字照相机也会在电子闪光图像捕获时发生类似的红眼现象。象卤化银照相机一样，传统数字照相机也采取在图像捕获前用光照射被摄体的红眼减轻措施，但是它们不能完全避免图像捕获时的红眼现象。因此，用户必须通过使用图像处理软件等对所捕获数字图像中产生的红眼进行手动校正。

考虑到该问题，提出了一种图像处理设备，该图像处理设备自动检测人的面部和眼睛的位置，如果发生红眼现象，则其基于所检测到的信息自动或以半自动方式对红眼进行校正。例如，存在用于通过提取肉色区域来检测面部以检测所检测到的面部区域内的红眼的技术(参考日本特开平10-233929号公报)。

还提出了一种使用模式匹配和用于将面部形状模型与面部概率进行比较的算法来检测面部的照相机(参考日本特开2001-309225号公报)。

不幸的是，技术上很难自动检测和校正发生了红眼现象的图像中的面部的所有部位。例如，当对多个人进行拍照时，在通过使用模式匹配和用于将面部形状模型与面部概率进行比较的算法来检测面部以校正红眼的方法中，不是必然能检测所有成员的面部。也就是说，该方法可能检测不到眼望他处的人的面部，因而检测不到的一些人的面部中的红眼保持未校正，或者通过识别肉色以指定面部区域来校正红眼的方法在将唇误认为红眼时可能导致不自然的校正。同样地，当再次检测校正后的图像中的红眼时，用于自动检测和校正红眼的方法可能不能准确检测红眼区域。作为例子将说明图像记录因为血管被看透而具有染红的眼睑边缘的人的情况。在红眼校正之前，红色瞳孔比眼睑边缘更可能识别为红眼，因而发生错误检测的可能性较小。然而，由于红眼校正后不存在红眼，因而与当实际存在红眼时相比，更可能将与眼睛邻近的染红的眼睑边缘识别为红眼。这对于已经过红眼校正的图像来说，可能导致错误校正(红眼之外的区域的校正)。

发明内容

考虑到以上问题做出了本发明，并且本发明的目的是使得可以更准确地校正画面中发生红眼现象的区域。

为了解决以上问题和实现该目的，根据本发明的第一方面，提供一种图像处理设备，其包括执行用于校正对象图像中满足定义校正对象的条件的区域的校正处理的处理部件，该图像处理设备包括：判断部件，用于判断所述对象图像是否已经过了所述校正处理；以及校正抑制部件，用于当所述判断部件判断出所述对象图像已经过了所述校正处理时，抑制对所述对象图像执行所述校正处理，其中，所述处理部件用于执行第一校正处理和第二校正处理，其中所述第一校正处理用于从所述对象图像自动检测满足定义所述校正对象的条件的区域并对该区域进行校正，所述第二校正处理用于对所述对象图像中用户所指定的区域进行校正，以及当所述判断部件判断出所述对象图像已经过了所述第一校正处理和所述第二校正处理中的至少一个时，所述校正抑制部件用于抑制对所述对象图像执行所述第一校正处理，但不抑制所述第二校正处理的执行。

根据本发明的第二方面，提供一种图像捕获设备，其包括：图像传感器，用于对被摄体像进行光电转换；存储部件，用于存储由所述图像传感器传感到的图像；以及上述图像处理设备。

根据本发明的第三方面，提供一种图像处理方法，其包括用于校正对象图像中满足定义校正对象的条件的区域的校正步骤，该图像处理方法包括：判断步骤，用于判断所述对象图像是否已经过了所述校正步骤中的校正；以及校正抑制步骤，用于当在所述判断步骤中判断出所述对象图像已经过了所述校正步骤中的校正时，抑制在所述校正步骤中对所述对象图像执行校正，其中，所述校正步骤包括第一校正步骤和第二校正步骤，其中所述第一校正步骤用于从所述对象图像自动检测满足定义所述校正对象的条件的区域并对该区域进行校正，所述第二校正步骤用于对所述对象图像中用户所指定的区域进行校正，以及当在所述判断步骤中判断出所述对象图像已经过了所述第一校正步骤和所述第二校正步骤中的至少一个中的校正时，在所述校正抑制步骤中抑制在所述第一校正步骤中对所述对象图像执行校正，但不抑制所述第二校正步骤的执行。

通过以下(参考附图)对典型实施例的说明，本发明的其它特征将显而易见。

附图说明

图1是示出根据本发明实施例的数字照相机的结构的框图；

图2是示出根据该实施例的数字照相机的外观的透视图；

图3A是用于解释主处理程序中根据该实施例的数字照相机的操作的流程图；

图3B是用于解释主处理程序中根据该实施例的数字照相机的操作的流程图；

图3C是用于解释主处理程序中根据该实施例的数字照相机的操作的流程图；

图4是示出图3C的步骤S134中的红眼自动校正过程的流程图；

图5是示出红眼自动校正后的快速回放窗口的图；

图6是示出当在重放所捕获的图像的同时校正该图像中的红眼时的过程的流程图；

图7是用以选择是自动校正红眼、手动校正红眼还是取消的窗口；

图8是示出用以选择是手动校正红眼还是取消的窗口的图；

图9是示出当用户选择红眼手动校正时的窗口的图；

图10A和10B是示出在用户选择图9中所示的“添加红眼手动框”按钮后的窗口的图；

图11是示出在用户选择红眼手动添加框的“确定位置”按钮后的窗口的图；

图12是示出当在重放所捕获图像的同时对该图像进行红眼校正时的另一处理过程的流程图；

图13是示出用以选择是执行还是取消红眼校正的窗口的图；

图14是示出当在重放所捕获图像的同时对该图像进行红眼校正时的又一处理过程的流程图；以及

图15是示出用以选择是执行还是取消红眼校正的窗口的图。

具体实施方式

以下将参照附图详细说明本发明的优选实施例。

在该实施例中，将说明用于对由数字照相机捕获的红眼图像进行校正的处理。

图1是示出根据本发明实施例的数字照相机(图像处理设备)100的结构的框图。

参照图1，附图标记10表示拍摄镜头；12表示快门；14表示将光学图像转换成电信号的图像传感器；16表示将从图像传感器14输出的模拟信号转换成数字信号的A/D转换器。时序产生单元18向图像传感器14、A/D转换器16和D/A转换器26提供时钟信号或控制信号以控制它们的操作。存储器控制单元22和系统控制单元50控制时序产生单元18。图像处理单元20对来自A/D转换器16的数据或来自存储器控制单元22的数据，执行预定的像素插值处理或颜色转换处理。图像处理单元20还使用所捕获的图像数据执行预定的运算处理。基于所获得的运算结果，系统控制单元50执行TTL(Through The Lens，透过镜头)方案的AF(Auto Focus，自动调焦)处理、AE(Auto Exposure，自动曝光)处理和EF(Electronic-Flashpre-emission，电子闪光灯预发光)处理，以控制曝光控制单元40和测距控制单元42。图像处理单元20还使用所捕获的图像数据执行预定的运算处理，并基于所获得的运算结果，执行TTL方案的AWB(Auto White Balance，自动白平衡)处理。

存储器控制单元22控制A/D转换器16、时序产生单元18、图像显示存储器24、D/A转换器26、存储器30以及压缩/展开单元32。通过图像处理单元20和存储器控制单元22，或直接通过存储器控制单元22，将通过A/D转换器16转换的数字数据写入图像显示存储器24或存储器30中。

图像显示存储器24存储将显示在图像显示单元28上的数据。输出存储在图像显示存储器24中的数据，并通过D/A转换器26将该数据显示在TFT或LCD等图像显示单元28上。图像显示单元28可通过顺序显示所捕获的图像数据，来实现电子取景器功能。图像显示单元28可以根据来自系统控制单元50的指令打开/关闭显示。关闭显示可以大大降低数字照相机100的功耗。

存储器30存储所捕获的静止图像或运动图像。存储器30具有足够大的存储容量以存储预定数量的静止图像或与预定时间段相对应的运动图像。即使在全景拍摄或用于连续拍摄多个静止图像的连拍中，也可以将大量图像快速写入存储器30中。存储器30还可以用作系统控制单元50的工作区。压缩/展开单元32通过例如ADCT(Adaptive Discrete Cosine Transform，自适应离散余弦变换)或小波变换来压缩/展开图像数据。也就是说，压缩/展开单元32可以装载存储在存储器30中的图像数据并压缩该图像数据，或可以装载压缩后的图像数据并展开该图像数据以将处理后的数据写入存储器30中。

曝光控制单元40控制具有光圈(stop)功能的快门12。曝光控制单元40还具有与电子闪光灯单元48协同工作的闪光灯亮度控制功能。测距控制单元42控制镜头10的调焦以检测从镜头10的调焦位置到被摄体的距离。变焦控制单元44控制镜头10的变焦。挡板控制单元46控制保护单元102的操作。电子闪光灯单元48还具有AF辅助光投射功能和闪光灯光控制功能。通过TTL方案控制曝光控制单元40和测距控制单元42。基于通过由图像处理单元20处理所捕获的图像数据而获得的运算结果，系统控制单元50控制曝光控制单元40、测距控制单元42和挡板控制单元46。辅助光源49用作在黑暗地方进行显示的辅助光源、测距控制单元42的辅助光以及减轻红眼的照明灯。

系统控制单元50控制数字照相机100的整体操作。存储器52存储用于系统控制单元50的操作的常量、变量以及程序，并且还用作工作存储器。液晶显示器或扬声器等指示器单元54根据系统控制单元50对程序的执行，使用字符、图像或声音指示操作状态或消息。在数字照相机100的操作单元70附近的显著位置处配置一个或多个指示器单元54。指示器单元54包括例如LCD、LED和发声元件的组合。指示器单元54的某些功能被配置在光学取景器104中。在指示器单元54的指示内容中，LCD等上的指示的例子有单拍/连拍模式、自拍(self timer)、压缩比、记录像素的数量、所记录图像的数量、可记录图像的数量、快门速度、光圈值(F-number)、曝光补偿、电子闪光灯、红眼现象减轻、红眼校正、微距(macro)拍摄、蜂呜器设置、定时器电池电量、电池电量、错误、多个数字的信息、存储介质200或210的连接状态、通信I/F的操作、以及日期/时间。在指示器单元54的指示内容中，光学取景器104中的指示的例子有对焦(in-focus)、照相机振动警告、电子闪光灯充电、快门速度、光圈值、以及曝光补偿。

非易失性存储器56是EEPROM等电可擦除/可记录(可存储)的存储器。模式切换杆60、快门开关62和64、图像显示ON(打开)/OFF(关闭)开关66、快速回放ON/OFF开关68、红眼校正ON/OFF开关69和操作单元70是用以对系统控制单元50输入各种操作指令的操作单元。它们包括开关、拨盘、触摸面板、或通过视线检测的指示、以及语音识别装置等单个装置或多个装置的组合。

这里详细说明这些操作单元。

模式切换杆60可以选择性地设置关闭电源、重放模式、运动图像捕获模式和静止图像捕获模式等功能模式。

快门开关SW1 62在操作快门按钮303(见图2)中途打开，并指示开始AF(自动调焦)处理、AE(自动曝光)处理、或AWB(自动白平衡)处理等操作。快门开关SW2 64在操作快门按钮303结束时打开，并且在电子闪光灯图像捕获模式下指示开始控制电子闪光灯单元48的发光。快门开关SW2 64还指示开始通过A/D转换器16和存储器控制单元22将从图像传感器14读出的信号作为图像数据写入存储器30的曝光处理。快门开关SW2 64还指示开始使用图像处理单元20或存储器控制单元22的运算处理进行显影处理。快门开关SW2 64还指示开始从存储器30读出图像数据、检测和校正红眼、使压缩/展开单元32压缩图像数据、以及将图像数据写到存储介质200或210的记录(存储)处理。

图像显示ON/OFF开关66可以打开或关闭图像显示单元28。该功能可以通过在使用光学取景器104的图像捕获中停止向包括TFT和LCD的图像显示单元28供应电流来省电。

快速回放ON/OFF开关68设置在图像捕获后立即自动重放所捕获的图像数据的快速回放功能。在该实施例中，在图像显示单元28关闭(OFF)时，设置快速回放功能。

红眼校正ON/OFF开关69设置是否使用对所捕获图像中的红眼区域进行检测和校正的红眼校正功能。在该实施例中，当红眼校正ON/OFF开关69打开(ON)时，检测并校正红眼。

操作单元70包括各种按钮和触摸面板。操作单元70具有菜单按钮、设置按钮、微距按钮、多窗口重放分页按钮、电子闪光灯设置按钮、单拍/连拍/自拍切换按钮、菜单移动+(加)按钮、菜单移动-(减)按钮、重放图像移动+(加)按钮、重放图像移动-(减)按钮、所捕获图像质量选择按钮、曝光补偿按钮、日期/时间设置按钮、红眼减轻按钮、红眼编辑按钮、以及红眼校正打印按钮。

电源控制单元80包括电池检测单元、DC/DC转换器、以及选择将要通电的块的开关单元。电源控制单元80检测电池的有/无、电池类型和电池电量，基于检测结果和来自系统控制单元50的指令控制DC/DC转换器，并向包括存储介质的各单元提供所需时间段的所需电压。附图标记82和84表示连接器。电源86包括碱性电池或锂电池等一次电池，镍镉(NiCd)电池、镍氢(NiMH)电池、或锂离子(Li-ion)电池等二次电池，或AC适配器。

附图标记90和94表示到存储卡和硬盘等存储介质的接口；92和96表示连接到存储卡和硬盘等存储介质的连接器。存储介质连接检测单元98检测存储介质200或210是否连接到连接器92或96。

假定该设备具有两套连接存储介质的接口和连接器来说明该实施例。该设备可以具有一套或多套连接存储介质的接口和连接器。另外，可以组合不同标准的接口和连接器。可以使用基于PCMCIA卡或CF(compact

袖珍闪存)卡等标准的接口和连接器。

当所使用的接口90和94及连接器92和96基于P CMCIA卡或CF(compact)卡等标准时，可以执行以下处理。也就是说，连接LAN卡、调制解调器卡、USB卡、IEEE1394卡、P1284卡、SCSI卡、或PHS的通信卡等各种通信卡。这使得可以将图像数据或与图像数据有关的管理信息传送给其它计算机或打印机等外围设备，或从其它计算机或打印机等外围设备传送图像数据或与图像数据有关的管理信息。

保护单元102用作覆盖包括数字照相机100的镜头10的图像捕获单元以防止对图像捕获单元的任何污染或损坏的挡板。可以在不使用图像显示单元28的电子取景器功能的情况下，仅使用光学取景器104执行图像捕获。光学取景器104包含指示器单元54的一些功能，包括例如对焦指示、照相机振动警告指示、电子闪光灯充电指示、快门速度指示、光圈值指示、以及曝光补偿指示。通信单元110具有RS232C、USB、IEEE1394、P1284、SCSI、调制解调器、LAN和无线通信等各种通信功能。天线(连接器)112通过通信单元110将数字照相机100连接到其它装置，并用作有线通信的连接器和无线通信的天线。

存储介质200包括存储卡或硬盘。存储介质200包括：存储单元202，其包括半导体存储器或磁盘；到数字照相机100的接口204；以及与数字照相机100连接的连接器206。存储介质210包括存储卡或硬盘。存储介质210包括：存储单元212，其包括半导体存储器或磁盘；到数字照相机100的接口214；以及与数字照相机100连接的连接器216。

图2是示出根据该实施例的数字照相机的外观的透视图。

附图标记302表示模式切换杆，其可以选择性地设置关闭电源、重放模式、运动图像捕获模式和静止图像捕获模式等功能模式。模式切换杆302对应于图1中所示的模式切换杆60。附图标记303表示快门按钮。图像显示单元304显示照相机所捕获的图像。通常，图像显示单元304是LCD(Liquid Crystal Display，液晶显示器)，因而以下将其称为LCD。图像显示单元304对应于图1中所示的图像显示单元28。LCD 304还显示用于重放静止图像和/或运动图像的窗口。附图标记305表示用以进入和退出改变图像捕获参数和照相机设置的菜单窗口的菜单(MENU)按钮。附图标记306表示用以例如确定菜单的设置(SET)按钮。附图标记307表示允许指定图像删除的删除(DEL)按钮。附图标记308表示用以选择是否在LCD 304上输出显示的显示(DISP)按钮。显示按钮308对应于图1中所示的图像显示ON/OFF开关66。附图标记309表示用以通过上、下、左和右按钮移动菜单窗口上的项、或用以在重放模式下通过按下左和右按钮进给图像的十字按钮。附图标记69表示用以进入校正所捕获图像中的红眼的模式的红眼校正ON/OFF开关。

图3A～3C是用于解释主处理程序中根据该实施例的数字照相机100的操作的流程图。

当在例如装入新电池后打开设备的电源时，开始该处理。在步骤S101，系统控制单元50初始化存储器52的各种标志和控制变量。在步骤S102，系统控制单元50将图像显示单元28和指示器单元54的显示初始化成OFF。在步骤S103，系统控制单元50判断模式切换杆60的设置位置。如果模式切换杆60被设为关闭电源，则处理进入步骤S105以将显示单元的显示状态改变成结束状态。关闭保护单元102的挡板以保护图像捕获单元。非易失性存储器56存储包括标志和控制变量的所需参数、设置值和设置模式。电源控制单元80切断数字照相机100的包括图像显示单元28的各单元的不必要电源。在执行预定结束处理后，处理返回到步骤S 103。

如果在步骤S103中将模式切换杆60设成图像捕获模式，则处理进入步骤S106。如果将模式切换杆60设成任何其它模式，则处理进入步骤S104以执行与通过模式切换杆60所选择的模式相对应的处理。在处理结束后，处理返回步骤S103。

如果模式切换杆60处于图像捕获模式，则处理进入步骤S106以基于来自电源控制单元80的信号判断包括电池等的电源86的电量或工作状况是否OK(正常)。如果在步骤S106中结果为“否”，则处理进入步骤S108以使指示器单元54通过图像或声音执行预定警告指示。处理返回步骤S103。

如果在步骤S106中结果为“是”，则处理进入步骤S107以判断存储介质200或210的工作状态对于数字照相机100的操作尤其是存储介质的图像数据存储/重放操作是否OK。如果在步骤S107中结果为“否”，则处理进入步骤S108以使指示器单元54通过图像或声音执行预定警告指示。处理返回步骤S103。

如果在步骤S107中结果为“是”，则处理进入步骤S109以使指示器单元54通过图像或声音执行数字照相机100的各种设置状态的UI显示。如果图像显示单元28的图像显示为ON(如果图像显示ON/OFF开关66为ON)，则即使图像显示单元28也可以通过图像或声音执行数字照相机100的各种设置状态的UI显示。从而用户进行各种设置。

在步骤S 110，检查红眼校正ON/OFF开关69的设置状态。如果红眼校正为ON(打开)，则处理进入步骤S111以打开红眼校正标志。如果红眼校正ON/OFF开关为OFF(关闭)，则处理进入步骤S112以关闭红眼校正标志。

处理进入步骤S113以检查图像显示ON/OFF开关66的设置状态。如果图像显示为ON(打开)，则处理进入步骤S114以打开存储器52的图像显示标志。在步骤S115，将图像显示单元28的图像显示设为ON。而且，在步骤S116，设置顺序显示由图像传感器14传感到的图像数据的数字取景器(直通显示，through display)状态。处理进入图3B中的步骤S119。在数字取景器状态下，将通过图像传感器14、A/D转换器16、图像处理单元20和存储器控制单元22顺序写入图像显示存储器24的数据，通过存储器控制单元22和D/A转换器26顺序显示在图像显示单元28上。这实现了电子取景器功能。

如果在步骤S113中图像显示ON/OFF开关66处于图像显示OFF(关闭)状态，则处理进入步骤S117以关闭图像显示标志，并进入步骤S118以将图像显示单元28的显示设为OFF。处理进入步骤S119。当图像显示为OFF时，使用光学取景器104而不使用图像显示单元28的电子取景器功能进行图像捕获。这使得可以降低由消耗大量电力的图像显示单元28和D/A转换器26所消耗的电力。

在步骤S119中检查是否按下了快门开关SW1 62。如果没有按下快门开关SW1 62，则处理返回步骤S103。如果按下了快门开关SW1 62，则处理进入步骤S120以查看图像显示标志是否为ON。如果图像显示标志为ON(打开)，则处理进入步骤S121以将图像显示单元28的显示状态设为定格显示(freeze-display)状态。处理进入步骤S122。在定格显示状态下，禁止通过图像传感器14、A/D转换器16、图像处理单元20和存储器控制单元22将图像数据重写入图像显示存储器24中。图像显示单元28通过存储器控制单元22和D/A转换器26显示最终所写的图像数据，从而在光学取景器104上显示定格的视频图像。

如果在步骤S120中图像显示标志为OFF(关闭)，则处理进入步骤S122。在步骤S122，通过执行测距将镜头10聚焦在被摄体上，并通过执行测光确定光圈值和快门速度。需要时在该测光中设置电子闪光灯。

当在步骤S122中完成测距/测光时，处理进入步骤S123以判断图像显示标志的状态。如果图像显示标志为ON(打开)，则处理进入步骤S124以将图像显示单元28的显示状态设为数字取景器状态。处理进入步骤S125。如果在步骤S123图像显示标志为OFF(关闭)，则处理直接进入步骤S125。步骤S124中的数字取景器状态与步骤S116中的数字取景器状态相同。

如果在步骤S125中未按下快门开关SW2 64，并且在步骤S126关闭快门开关SW1 62，则处理返回图3A中的步骤S103。如果在步骤S125中未按下快门开关SW2 64，并且在步骤S126打开快门开关SW1 62，则处理返回步骤S125。

如果在步骤S125中按下了快门开关SW2 64，则处理进入步骤S127以判断图像显示标志是否为ON。如果图像显示标志为ON(打开)，则处理进入步骤S128以将图像显示单元28的显示状态设为单色(solid-color)显示状态。处理进入步骤S129。在单色显示状态下，图像显示单元28不显示任何所捕获的通过图像传感器14、A/D转换器16、图像处理单元20和存储器控制单元22写入图像显示存储器24中的图像数据。相反，图像显示单元28通过存储器控制单元22和D/A转换器26显示单色的替代图像数据。电子取景器以该方式显示单色的视频图像。

如果在步骤S127中图像显示标志为OFF(关闭)，则处理进入步骤S129中的图像捕获处理。在步骤S129，通过图像传感器14、A/D转换器16、图像处理单元20和存储器控制单元22，或直接通过存储器控制单元22从A/D转换器16执行将所拍摄的图像数据写入存储器30的曝光处理。在需要时使用图像处理单元20执行通过读出写入存储器30的图像数据执行各种处理操作的显影处理。通过该曝光处理和该显影处理来执行图像捕获处理。

当执行了步骤S129中的图像捕获处理时，处理进入步骤S130以通过预先检测快速回放ON/OFF开关的状态判断图像显示标志是否为ON。如果图像显示标志为ON(打开)，则处理进入步骤S133以判断在步骤S110中红眼校正开关为ON时是否设置了红眼校正标志。如果在步骤S133中结果为“是”，则在步骤S134中执行红眼自动校正。处理进入步骤S135以执行已经过红眼自动校正的图像的快速回放显示。后面将参照图4所示的流程图详细说明红眼自动校正。如果在步骤S133中结果为“否”，则处理直接进入步骤S135以执行未经过红眼校正的图像的快速回放显示。步骤S130中图像显示标志为ON的状态是即使在图像捕获过程中图像显示单元28也始终作为电子取景器进行显示、并且图像显示单元28还在图像捕获后立即执行快速回放显示的状态。

如果在步骤S130中图像显示标志为OFF(关闭)，则处理进入步骤S131以查看快速回放标志是否为ON。如果快速回放标志为ON(打开)，则处理进入步骤S 132以将图像显示单元28的图像显示设为ON，然后进行步骤S133～S135中的处理操作。处理进入步骤S136。

如果在步骤S130中图像显示标志为OFF，且在步骤S131中快速回放标志也为OFF(关闭)，则在保持图像显示单元28为OFF的同时，处理进入步骤S136中的记录(存储)处理。在这种情况下，即使在图像捕获后，仍保持图像显示单元28为OFF，并且不执行快速回放显示。如当使用光学取景器104继续进行图像捕获时一样，当不需要在图像捕获后立即确认所捕获的图像时，该使用方法强调通过停止使用图像显示单元28的电子取景器功能来省电。

在步骤S136，读出写入存储器30的所捕获的图像数据，并在需要时使用存储器控制单元22、甚至是图像处理单元20来执行各种图像处理操作。压缩/展开单元32执行与设置模式相对应的图像压缩。之后，执行用于将压缩后的图像数据写到存储介质200或210的记录处理。

当完成步骤S136中的记录处理时，处理进入步骤S137以检查快门开关SW2 64是否处于被按下状态。如果按下了快门开关SW264，则处理进入步骤S138以判断连拍标志状态。如果连拍标志为ON，则连续执行图像捕获。处理进入步骤S129以捕获下一个视频图像。如果在步骤S138中连拍标志为OFF，则处理返回步骤S137以重复步骤S137和S138中的处理操作，直到释放快门开关SW2 64为止。

如果在步骤S137中关闭快门开关SW2 64，则处理进入步骤S139。处理等待直到经过了预定最小回放时间为止，然后进入步骤S140。在步骤S140中判断图像显示标志是否为ON。如果图像显示标志为ON(打开)，则处理进入步骤S141以将图像显示单元28的显示状态设为直通显示状态。处理进入步骤S143。在这种情况下，可以设置直通显示状态，其中在通过图像显示单元28上的快速回放显示确认所捕获的图像后，为下一图像捕获顺序显示所捕获的图像数据。如果在步骤S140中图像显示标志为OFF(关闭)，则处理进入步骤S142以将图像显示单元28的显示设为OFF，并且处理进入步骤S143。在这种情况下，通过图像显示单元28上的快速回放显示确认所捕获的图像。之后，停止图像显示单元28的功能以节省电力。这使得可以降低由消耗大量电力的图像显示单元28和D/A转换器26所消耗的电力。

在步骤S143中判断快门开关SW1 62是否为ON。如果在步骤S143中快门开关SW1 62为ON(打开)，则处理返回到步骤S125为下一图像捕获做准备。如果在步骤S143中快门开关SW1 62为OFF(关闭)，则结束这一系列图像捕获操作。处理返回图3A中的步骤S103。

图4是示出图3C的步骤S134中的红眼自动校正过程的流程图。在图像捕获后立即以REC回放执行步骤S134中的红眼校正处理。

当用户通过照相机使用电子闪光灯捕获图像时，该图像可能有红眼。如果在图3C的步骤S133中设置了红眼校正标志，则执行红眼自动校正。

在步骤S402中自动判断是否未执行对象图像的红眼校正。如果在步骤S402中结果为“否”(已进行了红眼校正)，则处理进入步骤S405以结束红眼自动校正操作。一旦执行了红眼区域校正，就已校正了红眼区域。当执行另一红眼自动校正时，将眼睛之外的唇等误认为红眼区域，从而导致错误校正。

如果在步骤S402中结果为“是”(未执行红眼校正)，则处理进入步骤S403。注意，该说明在图像捕获后立即应用REC回放，因而不可能出现除“未执行红眼校正”外的任何情况。尽管省略了对步骤S403中的红眼自动检测的详细说明，但是使用日本特开平10-232934号公报或日本特开2000-48184号公报中所公开的面部检测技术来检测面部、辨别眼睛区域、并在步骤S404中校正红眼。更具体地，使用边缘信息指定考虑到人眼的位置和形状被认为是人眼的区域，并且将落入所指定区域内的且具有满足预定条件的亮度、颜色饱和度和色调的子区域识别为红眼。尽管省略了对红眼校正的详细说明，但是可以利用日本专利号3684017中所公开的技术作为例子，以改变被识别为红眼的区域的亮度和颜色饱和度或色调。当完成红眼自动检测和校正时，在步骤S405中结束红眼自动校正程序。

如图5中所示，在图3C的红眼自动校正后的步骤S135中的快速回放窗口在已通过红眼自动检测所校正的红眼区域处显示框。也就是说，显示框的眼睛区域已经过了红眼自动校正，而未显示框的眼睛区域没有经过红眼自动校正。

图6是示出当在重放所捕获图像的同时校正该图像中的红眼时的过程的流程图。

在步骤S501，按下数字照相机100的显示按钮308(参见图2)以设置重放模式并选择红眼校正对象图像。当用户选择了对象图像时，判断是否按下了红眼校正ON/OFF开关69(参见图2)，并且处理等待直到在步骤S503中按下了红眼校正ON/OFF开关69为止。

如果在步骤S503中结果为“是”，则在步骤S505中自动判断是否未执行对象图像的红眼校正。后面将说明如何判断对象图像是否已经过了红眼校正。如果对象图像仍未经过红眼校正，则在如图7中所示的LCD 304的图像显示部分上，显示用以选择是自动校正红眼、手动校正红眼还是取消的窗口。如果对象图像已经过了红眼校正，则如图8所示，在选择窗口上以灰色等显示用于选择自动校正的图标，以仅允许选择手动校正或取消。无论自动或手动校正，一旦执行了红眼区域校正，就已校正了红眼区域。当执行另一红眼自动校正时，将除眼睛之外的唇等误当作红眼区域的可能性更高。

然后，用户在看图7或8中所示的选择窗口的同时，选择是自动校正、手动校正还是取消。如上所述，如果对象图像已经过了红眼校正，则如图8所示，用户在步骤S507中不能选择红眼自动校正。

如果用户在步骤S507中选择取消，则在什么都不执行的情况下结束红眼校正程序。

如果用户在步骤S507中选择自动校正，则处理进入步骤S509以自动检测红眼。尽管省略对红眼自动检测的详细说明，但可使用日本特开平10-232934号公报或日本特开2000-48184号公报中所公开的面部检测技术来检测面部、辨别眼睛区域、并校正红眼(S511)。尽管省略对红眼校正的详细说明，但是可利用日本专利号3684017中所公开的技术作为例子。

当完成红眼自动检测和校正时，如图5所示，显示通过红眼自动检测所校正的红眼区域处的框。也就是说，显示框的眼睛区域已经过了红眼自动校正，而未显示框的眼睛区域未经过红眼自动校正。

处理进入步骤S521以保存红眼校正后的图像，并且结束红眼校正程序。

如果用户在步骤S507中选择手动校正，并且对象图像也已经过了一次红眼校正，则如图9所示，在以前校正过的红眼区域处显示框。用户在检查图9中所示的图像的同时，在步骤S513中选择是否设置红眼手动框。如果在图9所示的图像中没有要校正的红眼区域，则红眼校正程序直接结束。

如果用户选择执行图9中的红眼手动框添加(对应于步骤S513中的红眼手动框设置执行)，则执行步骤S515中的红眼区域手动设置以设置红眼手动框，从而指定红眼区域。此处将参照图10A和10B来说明红眼手动框添加。

图10A是示出在用户选择图9中所示的“添加红眼手动框”按钮后的窗口的图。在窗口的中心部分显示预设大小的红眼手动添加框。用户使用照相机背面的十字按钮移动红眼手动添加框。变焦杆允许改变红眼手动添加框的大小。当用户确定了红眼手动添加框的位置和大小，并选择图10B中所示的“确定位置”按钮时，出现图11中所示的窗口。在步骤S517中从设置区域提取红眼区域以校正该红眼区域。当用户想要添加另一红眼区域时，他/她必须再次选择并执行图11中的红眼手动框添加。当不需要红眼手动框添加时，用户在步骤S519中选择“保存校正后图像”按钮。

如果选择了校正后图像保存，则在步骤S521中将校正后的图像作为文件进行保存并且程序结束。此时，将表示已执行了红眼校正的信息写入该文件的头区域中。注意，当在快速回放或重放中进行红眼自动校正时，还应用写入表示已执行了红眼校正的信息的操作。

这里将说明如何写入表示对象图像文件是否已经过了红眼校正的信息(以下称之为校正执行信息)、以及如何基于红眼校正执行信息判断对象图像文件是否已经过了红眼校正。

将表示是否已执行了红眼校正的信息(以下称之为红眼校正执行信息)与待保存的图像数据一起作为JPEG图像数据写入文件中。更具体地，通过基于Exif(Exchangeable image file format fordigital still cameras，数字静止照相机的可交换图像文件格式)标准的方法将红眼校正执行信息和图像数据相互分开地保持在同一文件中。

使用基于Exif标准的私有标签的方法将根据该实施例的红眼校正执行信息存储在私有标签区域中。即使当设备或应用程序不能解释存储在私有标签区域中的信息时，该设备或应用程序也可以忽略附加到该标签的信息。由于即使不能够解释红眼校正执行信息的设备或应用程序也可以单独存取正常图像数据，因而不会出现问题。因此，基于Exif标准的方法在将这样的JPEG图像数据和红眼校正执行信息保持在同一文件中时是非常有效的。

在该实施例中，在私有标签区域中预先准备红眼校正执行信息标签RedEyeTag。当未执行红眼校正时，将RedEyeTag设为0。如果执行了红眼校正，则将RedEyeTag设为1，并将RedEyeTag写入私有标签区域中。也就是说，可以判断出当RedEyeTag为0时，未执行红眼校正；而当RedEyeTag为1时，已执行了红眼校正。

如上所述，根据该实施例，在红眼校正处理中，抑制对已经过了红眼校正的图像文件执行红眼校正。这使得可以降低错误红眼校正的概率。另外，即使对于已经过了红眼校正的文件，用户也可以通过红眼手动框设置来设置红眼区域。这使得可以容易地对没有被自动检测到且校正的红眼进行校正。

在以上说明中，数字照相机100执行图6所示的流程图中的操作。然而，本发明不局限于此。数字照相机外部的个人计算机、图像处理设备等可以执行图6所示的流程图中的操作，以进行红眼校正处理。

尽管作为例子说明了禁止对已经过红眼校正的图像文件执行红眼自动校正的处理，但是本发明不局限于此。

图12是示出当对已经过红眼校正的图像文件进行红眼自动校正时，提示用户确认红眼自动校正的必要性的处理的流程图。在图12的步骤中，图12中与图6中相同的步骤编号表示相同的处理操作。

然而，由于该处理即使对于已经过红眼校正的图像文件也允许进行红眼自动校正，因而始终显示图7中所示的窗口以便能够在步骤S507中选择自动校正。

如果在步骤S507中选择了自动校正，则处理进入步骤S601。如果对象图像仍未经过红眼校正，则处理进入步骤S509。对象图像在步骤S509中经过红眼自动检测，并在步骤S511中经过红眼校正。

如果在步骤S601中对象图像已经过了红眼校正，则在步骤S602中如图13所示，显示表示对象图像已经过了红眼校正的消息。此时，还显示用以选择是否执行红眼校正的窗口。用户使用该选择窗口选择是执行还是取消红眼校正。

如果用户在步骤S603中选择取消红眼校正，则结束该流程图中的过程。如果用户在步骤S603中选择执行红眼校正，则处理进入步骤S509以自动检测该对象图像中的红眼。

这样，当对已经过红眼校正的图像文件进行自动红眼校正时，用户确认一次红眼校正执行的必要性。这防止用户在没有仔细考虑的情况下，对同一图像文件多次执行红眼自动校正处理。因此可以降低错误校正的概率。

图14是示出当已经过红眼校正的区域落入所设置的红眼手动框内时，提示用户确认红眼校正的必要性的处理的流程图。图14中与图12中相同的步骤编号表示相同的处理操作。

如果在步骤S507中选择了红眼手动校正，并且在步骤S513和S515中设置了红眼手动框，则在步骤S701中判断已经过红眼校正的区域是否落入红眼手动框内。

如果已经过红眼校正的区域落入红眼手动框内，则在步骤S702中如图15所示，显示表示已经过红眼校正的区域落入红眼手动框内的消息。此时，还显示用以选择是否执行红眼校正的窗口。用户使用该选择窗口选择是执行还是取消红眼校正。

如果用户在步骤S703中选择取消红眼校正，则结束该流程图中的过程。如果用户在步骤S703中选择执行红眼校正，则处理进入步骤S517，以从该红眼手动框中提取红眼区域并校正该红眼区域。

通过这种方式，当对已经过红眼校正的区域进行手动红眼校正时，用户确认一次红眼校正执行的必要性。这防止用户在没有仔细考虑的情况下，对同一区域多次执行红眼自动校正处理。因此可以降低错误校正的概率。

其它实施例

甚至可以通过以下方法来实现该实施例的目的。也就是说，向系统或设备提供记录用于实现上述实施例的功能的软件程序代码的存储介质(或记录介质)。该系统或设备的计算机(或CPU或MPU)读出并执行存储在该存储介质中的程序代码。在这种情况下，从该存储介质读出的程序代码本身实现上述实施例的功能。除在通过计算机执行所读出的程序代码时实现上述实施例的功能的情况外，本发明还可以包含下面的情况。也就是说，当运行在计算机上的操作系统(OS)基于该程序代码的指令执行部分或全部实际处理时，实现上述实施例的功能。

本发明还可以包含以下情况。也就是说，将从该存储介质读出的程序代码写入插入计算机中的功能扩展卡、或与计算机连接的功能扩展单元的存储器中。之后，当功能扩展卡或功能扩展单元的CPU基于该程序代码的指令执行部分或全部实际处理时，实现上述实施例的功能。

当本发明包含在存储介质中时，该存储介质存储与上述过程相对应的程序代码。

尽管参照典型实施例说明了本发明，但应当理解，本发明不局限于所公开的实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改和等同结构和功能。

Claims

1.一种图像处理设备，其包括执行用于校正对象图像中满足定义校正对象的条件的区域的校正处理的处理部件，该图像处理设备包括：

判断部件，用于判断所述对象图像是否已经过了所述校正处理；以及

校正抑制部件，用于当所述判断部件判断出所述对象图像已经过了所述校正处理时，抑制对所述对象图像执行所述校正处理，

其中，所述处理部件用于执行第一校正处理和第二校正处理，其中所述第一校正处理用于从所述对象图像自动检测满足定义所述校正对象的条件的区域并对该区域进行校正，所述第二校正处理用于对所述对象图像中用户所指定的区域进行校正，以及

当所述判断部件判断出所述对象图像已经过了所述第一校正处理和所述第二校正处理中的至少一个时，所述校正抑制部件用于抑制对所述对象图像执行所述第一校正处理，但不抑制所述第二校正处理的执行。

2.根据权利要求1所述的图像处理设备，其特征在于，满足定义所述校正对象的条件的区域为红眼区域。

3.根据权利要求2所述的图像处理设备，其特征在于，还包括显示部件，该显示部件用于显示允许用户从所述对象图像选择所述红眼区域的窗口。

4.根据权利要求3所述的图像处理设备，其特征在于，当所述对象图像已经过了所述第一校正处理和第二校正处理中的至少一个时，所述显示部件在所述对象图像上显示表示已经过了校正的部分的框。

5.一种图像捕获设备，其包括：图像传感器，用于对被摄体像进行光电转换；存储部件，用于存储由所述图像传感器传感到的图像；以及根据权利要求1或2所述的图像处理设备。

6.一种图像处理方法，其包括用于校正对象图像中满足定义校正对象的条件的区域的校正步骤，该图像处理方法包括：

判断步骤，用于判断所述对象图像是否已经过了所述校正步骤中的校正；以及

校正抑制步骤，用于当在所述判断步骤中判断出所述对象图像已经过了所述校正步骤中的校正时，抑制在所述校正步骤中对所述对象图像执行校正，

其中，所述校正步骤包括第一校正步骤和第二校正步骤，其中所述第一校正步骤用于从所述对象图像自动检测满足定义所述校正对象的条件的区域并对该区域进行校正，所述第二校正步骤用于对所述对象图像中用户所指定的区域进行校正，以及

当在所述判断步骤中判断出所述对象图像已经过了所述第一校正步骤和所述第二校正步骤中的至少一个中的校正时，在所述校正抑制步骤中抑制在所述第一校正步骤中对所述对象图像执行校正，但不抑制所述第二校正步骤的执行。

7.根据权利要求6所述的图像处理方法，其特征在于，满足定义所述校正对象的条件的区域为红眼区域。

8.根据权利要求7所述的图像处理方法，其特征在于，还包括显示步骤，该显示步骤用于显示允许用户从所述对象图像选择所述红眼区域的窗口。

9.根据权利要求7所述的图像处理方法，其特征在于，当所述对象图像已经过了所述第一校正步骤和所述第二校正步骤中的至少一个中的校正时，在所述显示步骤中在所述对象图像上显示表示已经过了校正的部分的框。