CN101753822B - 摄像装置和摄像装置中的图像处理方法 - Google Patents

Abstract

本发明提供摄像装置和摄像装置中的图像处理方法。摄像装置(1)具有：摄像部(10)，其对被摄体像进行光电转换并生成图像数据；脸检测部(191)，其检测由摄像部(10)所生成的图像数据中的脸；人数检测部(181)，其检测在图像数据中检测出的脸的数量；特征判别部(183)，其判别在图像数据中检测出的脸的特征；脸选择部(185)，其根据人数检测部的检测结果和/或特征判别部的判别结果，从检测出的脸中选择满足预先设定的预定的校正条件的脸；以及脸图像处理部(187)，其至少对由脸选择部选择出的脸进行预定的校正处理。

Description

摄像装置和摄像装置中的图像处理方法

技术领域

本发明涉及摄像装置和该摄像装置中的图像处理方法。

背景技术

以往，检测照在图像中的人物等的脸的脸检测技术是公知的。例如在数字照相机等摄像装置中，使用该脸检测技术来检测被摄体的脸，将脸检测结果用于曝光和对焦等的控制。

另一方面，提出了使用脸检测技术并根据脸检测的结果对被摄体的脸实施各种校正处理的各种图像处理技术。例如在日本特开2007-157176号公报中公开了这样的图像处理方法：预先登记眼睛的图像，使用该眼睛的图像来校正(修正)摄影图像中的眼睛区域。

另外，如果将上述图像处理技术应用于摄像装置，并在将人物作为被摄体进行了拍摄时对图像中的脸进行校正处理，则能使人物的表情看起来鲜明，或者看起来美丽。这里，作为对摄影图像进行校正处理的定时，期望的是刚摄影后。这是因为，尽管还考虑了在摄影图像的再现显示等与摄影时不同的定时根据用户的操作输入进行校正处理的方法，然而对用户来说作业麻烦，因而不是优选的。然而，由于校正处理花费某种程度的时间，因而用户在摄影后，在结束校正处理之前的期间必须等待。

发明内容

本发明的一方式涉及的摄像装置，该摄像装置具有脸检测功能，该摄像装置的特征在于，该摄像装置具有：摄像部，其对被摄体像进行光电转换并生成图像数据；脸检测部，其检测由所述摄像部生成的图像数据中的脸；人数检测部，其根据所述脸检测部的脸检测结果，检测在所述图像数据中检测出的脸的数量；特征判别部，其根据所述脸检测部的脸检测结果，判别在所述图像数据中检测出的脸的特征；脸选择部，其根据所述人数检测部的检测结果和/或所述特征判别部的判别结果，从所述检测出的脸中选择满足预先设定的预定的校正条件的脸；以及脸图像处理部，其至少对由所述脸选择部选择出的脸进行预定的校正处理。

并且，本发明的另一方式涉及的摄像装置中的摄像方法是如下的摄像装置的图像处理方法，该摄像装置具有摄像部，该摄像部对被摄体像进行光电转换并生成图像数据，该图像处理方法的特征在于，该图像处理方法包含：检测由所述摄像部所生成的图像数据中的脸；检测在所述图像数据中检测出的脸的数量；判别在所述图像数据中检测出的脸的特征；根据所述检测出的脸的数量和/或所述判别出的脸的特征，选择满足预先设定的预定的校正条件的脸；以及至少对所述选择出的脸进行预定的校正处理。

关于以上所述内容、以及本发明的其他目的、特征、优点及技术上和产业上的意义，对照附图阅读以下本发明的详细说，将会进一步理解。

附图说明

图1是数字照相机的背面图。

图2是示出实施方式1的数字照相机的系统结构的框图。

图3是示出通知校正条件的设定请求的校正条件设定画面的一例的图。

图4是示出数字照相机的基本动作的流程图。

图5是示出实时取景图像显示处理的详细处理进程的流程图。

图6是示出摄影处理的详细处理进程的流程图。

图7是示出设定变更处理的详细处理进程的流程图。

图8是示出实施方式1中的脸校正处理的详细处理进程的流程图。

图9是说明第1校正处理和第2校正处理的内容的图。

图10是示出校正处理后的实时取景图像的显示例的图。

图11是示出校正处理后的实时取景图像的另一显示例的图。

图12是示出变形例中的各校正条件的校正处理的一例的图。

图13是示出实施方式2的数字照相机的系统结构的框图。

图14是示出实施方式2中的脸校正处理的详细处理进程的流程图。

具体实施方式

以下，参照附图详细说明本发明的优选实施方式。在本实施方式中，以将本发明的摄像装置应用于数字照相机的情况为例进行说明。另外，本发明不受该实施方式的限定。例如，可以用在具有摄像装置的便携电话、游戏机等便携型装置中。并且，在各附图的记载中，对相同部分附上相同标号来示出。

图1是数字照相机1的背面图。如图1所示，数字照相机1具有：释放开关(快门开关)3、配设在照相机主体2的背面的电源开关4和菜单开关5、十字键6、OK开关7、再现开关8、显示部23等。释放开关3是配设在照相机主体2的上表面上的用于指示摄影定时的部件。该释放开关3例如是二档位式的按下按钮。并且，当半按下释放开关3时，第1释放开关接通，当全按下时，第二释放开关接通。电源开关4用于切换数字照相机1的电源接通/电源遮断来输入。例如使用滑动开关来实现。十字键6具有上下左右的各方向开关(向上开关、向下开关、向左开关和向右开关)。OK开关7用于确定操作内容等。再现开关8用于切换摄影模式和再现模式。显示部23显示各种画面。并且，尽管未图示，在照相机主体2的前表面配设有闪光灯和摄像镜头等。

当在该数字照相机1中使电源开关4滑动来指示电源接通时，数字照相机1成为可摄影状态(摄影模式)。在摄影模式中，通过摄像镜头入射的被摄体像按每1帧(例如1/30秒)被输出，作为实时取景图像实时显示在显示部23上。用户在观看实时取景图像的同时，按下释放开关3来进行静态图像和动态图像的摄影。另一方面，在电源接通时，根据再现开关8的按下操作来切换摄影模式和再现模式。在该再现模式中，将由数字照相机1所拍摄的静态图像或动态图像显示(再现)在显示部23上，用户来欣赏。

图2是示出该数字照相机1的系统结构的框图。如图2所示，数字照相机1具有：摄像元件11，镜头系统单元12，镜头驱动电路13，摄像电路14，SDRAM(Synchronous Dynamic Random Access Memory，同步动态随机存取存储器)15，AE部16，AF部17，图像处理部18，器官检测部19，CPU21，内置存储器22，显示部23，显示驱动电路24，通信接口(I/F)25，操作部26，装卸存储器27，电源电路28，以及电池29。并且，摄像电路14、SDRAM15、AE部16、AF部17、图像处理部18、器官检测部19、CPU21、显示驱动电路24以及装卸存储器27构成为经由总线30连接。并且，摄像元件11、镜头系统单元12、镜头驱动电路13以及摄像电路14构成摄像部10，该摄像部10对被摄体像进行光电转换并生成摄影图像的图像数据。

摄像元件11是例如CCD(Charge Coupled Device，电荷耦合器件)、CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)等图像传感器，将通过镜头系统单元12入射的被摄体像以帧为单位进行光电转换，输出模拟电信号。镜头系统单元12包含摄像镜头、光圈、快门等，其中摄像镜头包含AF(Auto-Focus，自动对焦)用镜头和变焦用镜头等，镜头驱动电路13驱动透镜系统单元12。

摄像电路14对从摄像元件11所输出的模拟电信号进行CDS(Correlated Double Sampling，相关二重采样)和AGC(Automatic GainControl，自动增益控制)等模拟信号处理。之后，转换成数字电信号，并对该数字电信号进行像素插值处理和颜色校正处理等数字信号处理，作为图像数据来输出。该图像数据被暂时记录在SDRAM15内。

SDRAM15用于暂时记录从摄像电路14输出的图像数据、由图像处理部18处理中的图像数据等。例如，暂时记录按每1帧从摄像电路14输出的图像的图像数据(实时取景图像)、在摄影定时从摄像电路14输出的图像的图像数据(以下适当称为“摄影图像”)等。在数字照相机1的模式之一的摄影模式等中，成像在摄像元件11上的被摄体像以动态图像的方式实时显示在显示部23上，实时取景图像就是指该图像。

AE部16根据从摄像电路14所输出的图像数据进行自动曝光。AF部17根据从摄像电路14所输出的图像数据进行自动焦点调节。

图像处理部18对从摄像电路14所输出的图像数据实施各种图像处理，并进行转换成适合于记录用和显示用等的图像数据的处理。例如，在记录摄影图像的图像数据时，或者在显示所记录的图像数据时等，进行基于JPEG(Joint Photographic Experts Group，联合图像专家组)方式等的图像数据的压缩处理和解压缩处理。并且，根据需要进行使像素数增减来使图像数据放大缩小的调整尺寸处理、从图像数据中切出一部分的裁剪处理、调整各像素的亮度分量和颜色分量的亮度调整处理和颜色调整处理、透明处理等对图像数据的各种图像处理。

该图像处理部18包含：人数检测部181，特征判别部183，脸选择部185，以及脸图像处理部187。实施方式1的数字照相机1具有作为摄影模式之一的校正摄影图像中的脸的校正模式。在设定了该校正模式的情况下，人数检测部181根据器官检测部19的实时取景图像中或摄影图像中的脸检测结果，对检测出的脸的数进行检测。

在设定了校正模式的情况下，特征判别部183根据器官检测部19的实时取景图像中或摄影图像中的脸检测结果，判别检测出的脸的特征。该特征判别部183具有：形状判别部183a，性别判别部183b，以及表情判别部183c。形状判别部183a根据由器官检测部19检测出的脸的形状，判别脸的大小。性别判别部183b根据由器官检测部19检测出的脸和各脸部件的检测结果，使用公知方法来判别(估计)其性别。并且，表情判别部183c根据由器官检测部19检测出的脸和各脸部件的检测结果，使用例如专利第2839855号记载的公知方法来判别其表情是否是笑脸。并且，特征判别部183除了根据这些脸的形状和性别、表情以外，还根据由器官检测部19检测出的脸和各脸部件的检测结果，使用公知方法来判别(估计)其年龄。

脸选择部185根据人数检测部181的检测结果和特征判别部183的判别结果，将满足事先根据用户操作所设定的校正条件的脸选择为校正对象。脸图像处理部187对由脸选择部185选择出的实时取景图像或摄影图像中的脸，进行加工其脸区域的预定图像处理(以下称为“校正处理”)。

器官检测部19具有脸检测部191，该脸检测部191根据摄影图像的图像数据，应用作为公知技术的模式匹配来检测该图像数据中的脸的区域(脸区域)。器官检测部19根据该脸检测部191的脸区域的检测结果检测左右眼、鼻、唇等各脸部件。检测出的人物图像中的脸区域的位置坐标、各部分的位置坐标等数据被记录在SDRAM15内。

CPU21根据来自操作部26的操作信号等从内置存储器22中读出照相机程序并执行该照相机程序，进行对构成数字照相机1的各部的指示和数据传送等，统一控制数字照相机1的动作。例如，CPU21将摄影图像(在进行了校正处理的情况下是校正处理后的摄影图像)作为记录图像，进行用于将该记录图像的图像数据记录在装卸存储器27内的处理。并且，CPU21具有显示处理部213，并进行将实时取景图像和确认图像(Rec View)、记录图像显示在显示部23上的处理等。

并且，CPU21具有校正条件设定处理部211。校正条件设定处理部211经由操作部26受理用户的校正条件输入操作，根据输入内容设定校正条件。图像处理部18的脸选择部185将满足这里所设定的校正条件的脸选择为校正对象。

内置存储器22是例如闪存等可电改写的非易失性存储器。在该内置存储器22中预先记录有用于使数字照相机1动作、实现该数字照相机1具有的各种功能的各种照相机程序、以及在该照相机程序的执行中使用的数据等。另外，记录这些照相机程序和在照相机程序的执行中使用的数据的记录介质不限于闪存。例如，可以使用CD-ROM和DVD-ROM等光学记录介质、MD等磁记录介质、磁带介质、IC卡等半导体存储器。

显示部23除了显示摄影图像和实时取景图像之外，还用于显示数字照相机1的各种设定信息等，由LCD(Liquid Crystal Display，液晶显示器)或EL显示器(Electroluminescence Display，电致发光显示器)等显示装置来实现。显示驱动电路24驱动显示部23。在摄影模式中，在该显示部23上以预定的显示帧速率再描绘实时取景图像并将其以动态图形的方式连续显示，在再现模式中，在该显示部23上显示摄影图像。

操作部26用于受理摄影定时的指示、包含校正模式的各种摄影模式和再现模式之类的模式的设定操作、摄影条件的设定操作等用户的各种操作，并将操作信号通知给CPU21。该操作部26由被分配了各种功能的按钮开关和滑动开关、拨盘等来实现。该操作部26包含图1的释放开关3、电源开关4、菜单开关5、十字健6、OK开关7以及再现开关8。

通信接口(I/F)25是用于根据例如USB(Universal Serial Bus，通用串行总线)等的通信标准将数字照相机1与例如个人计算机等外部设备连接的接口。

装卸存储器27是例如xD-Picture Card(注册商标)或Compact Flash(注册商标)卡等在数字照相机1上自由装卸的存储卡。在该装卸存储器27内，由与其种类对应的未图示的读写装置写入摄影图像的图像数据，或者由读写装置读出记录在装卸存储器27内的图像数据。

电源电路28将由所填装的电池29提供的电力转换成预定电力来提供给数字照相机1的各部。

这里，对以上构成的数字照相机1的功能之一的校正模式的概要进行说明。在实施方式1中，在作为与摄影模式相关的设定而设定了校正模式的情况下，数字照相机1进行脸和构成脸的各脸部件的区域的校正处理。

校正处理是用于将人物等被摄体的脸表现得美丽的处理。该校正处理内容没有特别限定，作为例子，可列举：对皮肤进行光滑加工的光滑处理，对皮肤进行增白加工的美白处理，将捕捉光(catch-light)合成到瞳孔的捕捉光处理，调整唇的亮度和颜色来产生艳丽感和立体感的增艳处理等。在光滑处理中，例如进行从皮肤区域检测皱纹和斑痕部分并置换成周围皮肤的状态的校正。在美白处理中，例如进行检测皮肤的红色部分并置换成周边皮肤的颜色的校正、用于使皮肤增白的校正、或者将皮肤校正为晒黑色的处理。另外，除了例示的校正处理以外，例如还可以进行通过调整眼的睁开程度来使眼看起来大的校正。这些校正处理可通过使用例如日本特开2004-180114号公报和日本特开2004-222118号公报、日本特开2004-318205号公报等所公开的公知技术来实现。不过，不限于这些文献公开的公知技术，可适当选择并使用符合需要的校正处理。并且，可以进行这些校正处理中的1种校正处理，也可以将多个校正处理组合来进行。

另外，为了对摄影图像进行所述各种校正处理，需要某种程度的时间。因此，用户在选择校正模式来进行摄影的情况下，在结束各校正处理之前的期间必须等待。因此，在实施方式1中，预先根据用户的操作设定校正条件，通过仅对满足校正条件的脸进行校正处理来实现处理时间的缩短。

图3是示出通知校正条件的设定请求的校正条件设定画面W11的一例的图。在实施方式1的数字照相机1中，例如在按下菜单开关5的情况下，提示各种设定菜单。校正条件设定画面例如在选择了设定菜单之一的校正处理设定菜单时显示。例如，在图3所示的校正条件设定画面W11上提示人数设定、脸尺寸设定、性别设定、年龄设定以及笑脸设定这5种校正条件。并且，分别配置用于设定对应的校正条件的复选框C11～C15。用户对与期望的校正条件对应的复选框C11～C15进行打勾来设定校正条件。

这里，人数设定用于将图像中包含的脸的数量设定为校正条件。当对该人数设定的复选框C11打勾时，在图像中包含的脸的数量是输入到对应的输入框I11的数量(这里是3人)以下的情况下将各脸作为校正对象进行校正处理。另一方面，在图像中包含有多于输入到输入框I11的值的数量的脸的情况下，不进行校正处理。另外，输入框I11的数量可通过操作例如十字键6的向上开关或向下开关来可变地设定。不过，作为该校正条件的脸的数量也可以是固定值。

脸尺寸设定用于将成为校正处理的对象的脸的大小设定为校正条件。当对该脸尺寸设定的复选框C12打勾时，对图像中包含的脸中、脸区域的大小是预定的脸尺寸以上的脸进行校正处理。这里，假定预定的脸尺寸是预先固定地定义的。例如在实施方式1中，将预定的脸尺寸预先设定成对脸区域的短边是图像的短边的1/5以上的脸进行校正处理。不过，该预定的脸尺寸是一例，可适当设定。并且，可以采用根据用户操作可变地设定预定的脸尺寸的结构。

性别设定用于将性别设定为校正条件。当对该性别设定的复选框C13打勾时，对图像中所包含的脸中、估计出的性别是输入到对应的输入框I13的性别(这里是女性)的脸进行校正处理。另一方面，对估计为男性的脸不进行校正处理。另外，输入到输入框I13的性别可通过操作例如十字键6的向上开关或向下开关来可变地设定。不过，作为该校正条件的性别也可以是固定值。

年龄设定用于将年龄(这里是年龄层)设定为校正条件。当对该年龄设定的复选框C14打勾时，对图像中包含的脸中、估计出的年龄包含在输入到对应的输入框I14的年龄层(这里是30年龄代)内的脸进行校正处理。另外，输入到输入框I14的年龄层可通过操作例如十字键6的向上开关或向下开关来可变地设定。不过，作为该校正条件的年龄(年龄层)也可以是固定值。

笑脸设定用于将脸的表情是否是笑脸设定为校正条件。当对该笑脸设定的复选框C15打勾时，对图像中包含的脸中、其表情是笑脸的脸进行校正处理。

下面，说明数字照相机1的动作。图4是示出数字照相机1的基本动作的流程图。如图4所示，在滑动电源开关4来指示电源接通(电源开关接通)之前数字照相机1处于等待状态，在电源开关断开期间(步骤a1：否)，继续休眠状态(步骤a3)，回到步骤a1。

然后，在电源开关接通的情况下(步骤a1：是)，开始电源电路28向各部的电源供给(步骤a5)，首先，进行摄影模式设定(步骤a7)。例如，进行测光和曝光运算相关的设定、AE/AF动作相关的设定等、摄影模式相关的各种设定。在实施方式1中，此时，在摄影图像中检测出脸的情况下，进行校正处理脸区域的校正模式的动作设定。之后，进行测光和运算处理(步骤a9)。

接下来，移到实时取景图像显示处理(步骤a11)。通过该实时取景图像显示处理，成像在摄像元件11上的被摄体像的图像数据被暂时记录在SDRAM15内，作为实时取景图像显示在显示部23上。然后此时，在设定了校正模式的情况下，而且在实时取景图像中包含脸的情况下，将校正了脸的实时取景图像显示在显示部23上。该实时取景图像以预定的帧速率进行更新显示，并以动态图像方式连续显示。

图5是示出实时取景图像显示处理的详细处理进程的流程图。如图5所示，在实时取景图像显示处理中，首先，取入实时取景图像(步骤b1)。接下来，CPU21判定是否设定了校正模式。在未设定校正模式的情况下(步骤b3：否)，转移到步骤b15，显示处理部213进行将在步骤b1所取入的实时取景图像显示在显示部23上的处理。之后，结束实时取景图像显示处理并进到图4的步骤a13。

另一方面，在设定了校正模式的情况下(步骤b3：是)，器官检测部19执行脸检测(步骤b5)。即，器官检测部19通过脸检测部191从摄影图像中检测脸区域，根据该脸区域的检测结果检测脸区域中的各脸部件。

之后，CPU21判定在步骤b5的脸检测中是否检测出脸，在未检测出脸的情况下(步骤b7：否)，转移到步骤b15，显示处理部213进行将在步骤b1所取入的实时取景图像显示在显示部23上的处理。之后，结束实时取景图像显示处理并进到图4的步骤a13。

另一方面，在检测出脸的情况下(步骤b7：是)，移到脸校正处理(步骤b9)，对所取入的实时取景图像进行校正脸的校正处理。详情后述，在该脸校正处理中，检测在实时取景图像中检测出的脸的数量，并判别在实时取景图像中检测出的脸的特征。然后，根据检测结果和判别结果，按照图3所示且说明的要领将满足事先设定的校正条件的脸选择为校正对象来进行校正处理。然后，在没有满足校正条件的脸的情况下，不进行校正处理而结束脸校正处理。

接下来，CPU21判定在步骤b9的脸校正处理中是否实际对实时取景图像中的脸进行了校正处理。在未进行校正处理的情况下(步骤b11：否)，转移到步骤b15，显示处理部213进行将在步骤b1所取入的实时取景图像显示在显示部23上的处理。之后，结束实时取景图像显示处理并进到图4的步骤a13。并且，在进行了校正处理的情况下(步骤b11：是)，图像处理部18进行如下的处理：将预先作为模板准备好的校正标记重叠显示(OSD：On Screen Display，屏幕上显示)在通过步骤b9的脸校正处理被选择为校正对象并进行了校正处理后的脸的附近位置。然后，显示处理部213进行将这样重叠显示了校正标记的校正处理后的实时取景图像显示在显示部23上的处理(步骤b13)。之后，结束实时取景图像显示处理并进到图4的步骤a13。

如果结束了以上的实时取景图像显示处理，则之后如图4所示，根据操作输入对处理进行分支。即，在将释放开关3按下一档位、接通了第一释放开关的情况下(步骤a13：是)，进行摄影处理(步骤a15)。在未接通第一释放开关的情况下(步骤a13：否)，转移到步骤a17。

然后，在接通了再现开关8的情况下(步骤a17：是)，成为再现模式，进行再现处理(步骤a19)。例如，显示处理部213进行从装卸存储器27中读入作为记录图像的摄影图像和校正处理后的摄影图像的处理，进行将所读入的记录图像显示在显示部23上的处理并进行再现。另外，记录图像的再现例如可以采用这样的结构：将过去拍摄且记录在装卸存储器27内的记录图像的图像数据按摄影顺序逐张地依次读入并显示。或者，也可以采用这样的结构：进行读出多个记录图像的缩略图数据来一览显示的处理，显示根据用户操作从一览中所选择的记录图像的图像数据。然后，例如在接通十字键6等并输入了再现中的记录图像的切换操作的情况下，显示处理部213进行从装卸存储器27中读入所指定的记录图像并将其显示在显示部23上的处理。在未接通再现开关8的情况下(步骤a17：否)，转移到步骤a21。

然后，在接通了菜单开关5的情况下(步骤a21：是)，进行设定变更处理(步骤a23)。在未接通菜单开关5的情况下(步骤a21：否)，转移到步骤a25。

然后，在滑动电源开关4来指示电源切断(电源开关断开)之前的期间(步骤a25：否)，回到步骤a9并进行上述处理。然后，在断开了电源开关4的情况下(步骤a25：是)，停止电源电路28进行的各部的电源供给(步骤a27)，结束基本动作。

下面，说明在图4所示的基本动作中接通了第一释放开关的情况下进行的摄影处理(步骤a15)。图6是示出摄影处理的详细处理进程的流程图。如图6所示，在摄影处理中，首先作为摄影准备动作，AF部17进行AF(自动对焦)动作(步骤c1)，AE部16进行AE(自动曝光)动作(步骤c3)。

之后，在第二释放开关未接通(步骤c5：否)而第一释放开关接通的期间(步骤c7：是)，处于等待状态。在断开了第一释放开关的情况下(步骤c7：否)，结束摄影处理并进到图4的步骤a17。

然后，在将释放开关3按下二档位、接通了第二释放开关的情况下(步骤c5：是)，CPU21驱动摄像部10来控制摄影时的曝光(步骤c9)，进行图像数据的读出处理(步骤c11)。通过这里的处理，将接通了第二释放开关的定时的摄影范围的图像生成为摄影图像，其图像数据被暂时记录在SDRAM15内。

接下来，图像处理部18对摄影图像进行必要的图像处理(步骤c13)。然后，CPU21判定是否设定了校正模式。在未设定校正模式的情况下(步骤c15：否)，转移到步骤c23。另一方面，在设定了校正模式的情况下(步骤c15：是)，器官检测部19执行脸检测(步骤c17)。即，器官检测部19通过脸检测部191从摄影图像中检测脸区域，根据该脸区域的检测结果检测脸区域中的各脸部件。

之后，CPU21判定在步骤c17的脸检测中是否检测出脸，在未检测出脸的情况下(步骤c19：否)，转移到步骤c23。另一方面，在检测出脸的情况下(步骤c19：是)，移到脸校正处理(步骤c21)，对摄影图像实施校正脸的校正处理。该脸校正处理与在图5的步骤b9所示的对实时取景图像的脸校正处理一样，根据在摄影图像中检测出的脸的数和其特征，将满足校正条件的脸选择为校正对象来进行校正处理。然后，在没有满足校正条件的脸的情况下，不进行校正处理而结束脸校正处理。之后，转移到步骤c23。

然后，在步骤c23中，显示处理部213进行将确认图像显示在显示部23上的处理(Rec View，确认显示)。这里，Rec View是用于将摄影结果所生成且记录在装卸存储器27内的记录图像的内容提示给用户的确认用的显示。这里，在未设定校正模式的情况下，或者在尽管设定了校正模式、然而在摄影图像中未检测出脸的情况下，或者在摄影图像中的脸未满足校正条件的情况等下，有时不存在通过步骤c21的脸校正处理实际进行了校正处理的脸。在这样的情况下，将在步骤c13实施了通常的图像处理的摄影图像作为确认图像显示在显示部23上。另一方面，如果在步骤c21的脸校正处理中对摄影图像中的脸进行了校正处理，则将校正处理后的摄影图像作为确认图像显示在显示部23上。另外此时，与在图5的步骤b13所说明的实时取景图像的显示一样，可以进行将校正标记重叠显示在通过步骤c21的脸校正处理被选择为校正对象而进行了校正处理的脸的附近位置的处理。

然后，CPU21将摄影图像(在进行了校正处理的情况下为校正处理后的摄影图像)的图像数据作为记录图像记录在装卸存储器27内(步骤c25)。之后，进到图4的步骤a17。另外，可以采用这样的结构：在记录校正处理后的摄影图像时，与该校正处理后的摄影图像的图像数据相对应，来记录在实施校正处理前的原始摄影图像(原始图像)的图像数据。并且，也可以采用这样的结构：在确认图像上进行了校正标记的重叠显示的情况下，将该校正标记的数据及其显示位置作为附带信息一并记录。

下面，说明在图4所示的基本动作中菜单开关5接通了的情况下进行的设定变更处理(步骤a23)。图7是示出设定变更处理的详细处理进程的流程图。

如图7所示，在设定变更处理中，首先，CPU21进行提示各种设定菜单并将设定请求通知显示在显示部23上的处理(步骤d1)。然后，CPU21进行与所选择的设定菜单对应的设定变更处理。

然后此时，在选择了校正处理设定菜单的情况下(步骤d3：是)，校正条件设定处理部211进行将校正条件设定画面显示在显示部23上并通知校正条件设定请求的处理(步骤d5)。这里，显示图3所示的校正条件设定画面，由用户输入例如人数设定、脸尺寸设定、性别设定、年龄设定、笑脸设定等各校正条件的设定操作。然后，校正条件设定处理部211执行用于根据响应于该设定请求通知而输入的设定操作来变更校正条件的设定值的处理(步骤d7)。把这里所变更的校正条件的设定值(表示把人数设定、脸尺寸设定、性别设定、年龄设定、笑脸设定中的哪个项目设定为校正条件的信息)更新并保持在内置存储器22内。之后，转移到步骤d13。

另一方面，在选择了校正处理设定菜单以外的设定菜单的情况下(步骤d3：否)，CPU21进行将与所选择的设定菜单对应的设定画面显示在显示部23上并通知其设定请求的处理(步骤d9)。然后，CPU21执行用于根据响应于该设定请求的通知而输入的设定操作来变更对应的设定值的处理(步骤d11)。通过这里的处理，可变更例如摄影条件的设定、摄影模式和再现模式相关的各种设定，例如作为摄影模式，可变更(切换)是否选择校正模式的设定。之后，转移到步骤d13。

然后，在步骤d13中，判定是否输入了设定结束操作。在未输入设定结束操作的情况下(步骤d13：否)，回到步骤d3。另一方面，在输入了设定结束操作的情况下(步骤d13：是)，结束设定变更处理，进到图4的步骤a25。

下面，说明在图5的步骤b9和图6的步骤c21进行的脸校正处理。图8是示出实施方式1中的脸校正处理的详细处理进程的流程图。该脸校正处理在图5的步骤b9中作为对实时取景图像的处理来进行，在图6的步骤c21中作为对摄影图像的处理来进行。

如图8所示，在脸校正处理中，首先从内置存储器22中读出校正条件的设定值(步骤e1)。然后，根据在图5的步骤b5中对实时取景图像进行的脸检测结果或者在图6的步骤c17中对摄影图像进行的脸检测结果，进行步骤e3～步骤e13的处理，从检测出的脸中选择满足所设定的校正条件的脸。

首先，人数检测部181检测脸检测结果所检测出的脸的数量，判定检测出的脸的数量是否满足人数设定。例如，在图3所示的校正条件设定画面的例子中，在检测出的脸的数量是3个以下的情况下，判定为满足人数设定。在满足人数设定的情况下(步骤e3：是)，转移到步骤e5。并且，在人数设定未被设定为校正条件的情况下，转移到步骤e5。在未满足人数设定的情况下(步骤e3：否)，转移到步骤e17。

然后，在步骤e5中，接下来，形状判别部183a根据脸检测结果所检测出的脸(脸区域)的形状来判别脸的大小，判定是否满足脸尺寸设定。在实施方式1中，将检测出的脸中、其脸区域的短边是其图像(实时取景图像或摄影图像)的短边的1/5以上的脸判定为满足脸尺寸设定。在满足脸尺寸设定的情况下(步骤e5：是)，转移到步骤e7。并且，在脸尺寸设定未被设定为校正条件的情况下，也转移到步骤e7。另外，可以采用这样的结构：在检测出的全部脸是预定的脸尺寸以上的情况下，判定为满足脸尺寸设定。在未满足脸尺寸设定的情况下(步骤e5：否)，转移到步骤e17。

然后，在步骤e7中，性别判别部183b接下来进行根据检测出的脸和各脸部件的检测结果估计其性别的处理。例如，在图3所示的校正条件设定画面的例子中，在检测出的脸包含有性别被估计为女性的脸的情况下，判定为满足性别设定。在满足性别设定的情况下(步骤e7：是)，转移到步骤e9。并且，在性别设定未被设定为校正条件的情况下，转移到步骤e9。另外，也可以采用这样的结构：在检测出的全部脸都满足性别设定的情况下，判定为满足性别设定。在未满足的情况下(步骤e7：否)，转移到步骤e17。

然后，在步骤e9中，特征判别部183接下来进行根据检测出的脸和各脸部件的检测结果估计其年龄的处理。例如，在图3所示的校正条件设定画面的例子中，在检测出的脸包含有年龄被估计为30年龄代的脸的情况下，判定为满足年龄设定。在满足年龄设定的情况下(步骤e9：是)，转移到步骤e11。并且，在年龄设定未被设定为校正条件的情况下，也转移到步骤e11。另外，也可以采用这样的结构：在检测出的全部脸都满足年龄设定的情况下，判定为满足年龄设定。在未满足的情况下(步骤e9：否)，转移到步骤e17。

然后，在步骤e11中，表情判别部183c接下来进行根据检测出的脸和各脸部件的检测结果计算其表情的笑脸度，将在预先设定的基准值以上的笑脸度的脸判别为笑脸。然后，在检测出的脸包含有被判别为笑脸的脸的情况下，判定为满足笑脸设定。在满足笑脸设定的情况下(步骤e11：是)，转移到步骤e13。并且，在笑脸设定未被设定为校正条件的情况下，也转移到步骤e13。另外，也可以采用这样的结构：在检测出的全部脸都满足笑脸设定的情况下，判定为满足笑脸设定。在未满足的情况下(步骤e11：否)，转移到步骤e17。

然后，在步骤e13中，接下来，脸选择部185将满足所设定的全部校正条件的脸选择为校正对象。然后，脸图像处理部187对校正对象的脸进行第1校正处理(步骤e15)，结束脸校正处理(进到图5的步骤b11或图6的步骤c23)。

另一方面，在未满足所设定的任一校正条件而转移到步骤e17的情况下，脸选择部185将检测出的全部脸选择为校正对象。然后，脸图像处理部187对校正对象的脸进行第2校正处理(步骤e19)，结束脸校正处理(进到图5的步骤b11或图6的步骤c23)。

这里，说明在满足所设定的全部校正条件的情况下进行的第1校正处理和在未满足任一校正条件的情况下进行的第2校正处理。图9是说明第1校正处理和第2校正处理的内容的图。例如，在实施方式1中，作为第1校正处理，如记录R11所示，将校正处理A(光滑处理)、校正处理B(增艳处理)以及校正处理C(美白处理)这3种校正处理组合来进行。另一方面，例如如记录R13所示，作为第2校正处理(1)，进行校正处理A(光滑处理)。

这样，在实施方式1中，如果在实时取景图像中或摄影图像中存在满足所设定的全部校正条件的脸，则可针对该脸将多个校正处理组合来进行。然后，在如果在实时取景图像中或摄影图像中不存在满足所设定的全部校正条件的脸的情况下，可针对检测出的全部脸平等地进行1种校正处理。

另外，作为第1校正处理进行的校正处理可以是1种校正处理。并且，在将2种以上的校正处理组合的情况下的组合不限于例示的组合，可适当选择来使用。

并且，如图9中作为记录R15所示出的那样，可以采用这样的结构：作为第2校正处理(2)，不进行校正处理。在该情况下，对未满足校正条件的脸不进行校正处理。

图10是示出在图5的步骤b13中显示在显示部23上的校正处理后的实时取景图像的显示例的图。在图10所示的实时取景图像中，照了女性的2位人物P11、P12和男性的1位人物P13，并显示有表示各人物P11、P12、P13的脸的对焦标记F11、F12、F13。这里，假定作为校正条件设定了人物设定(3人)和性别设定(女性)。在该情况下，通过图8所示的脸校正处理，将人物P11、P12的脸分别选择为校正对象并对各脸进行校正处理，将对人物P11、P12的脸进行了校正处理后的实时取景图像显示在显示部23上。另外，在图10中，作为人物P11、P12的脸未示出实施了校正处理的状态的图像，然而实际上，显示对脸进行了校正处理后的实时取景图像。

并且此时，在选择为校正对象的人物P11的脸的附近位置重叠显示模板M111、M112。同样，在选择为校正对象的人物P12的脸的附近位置也重叠显示模板M121、M122。

这样，可在实时取景图像上，将对校正对象的脸的校正处理图像(精加工图像)提示给用户。并且，通过模板显示，能可识别地提示实时取景图像中的校正对象的脸。

并且，图11是示出校正处理后的实时取景图像的另一显示例的图。在图11中示出在实时取景图像上将包含校正对象的脸的部分图像A21放大处理来显示的例子，在部分图像A21上的校正对象的人物P21的脸的附近位置重叠显示有模板M211、M212。由此，可在实时取景图像上更容易观察地提示对校正对象的脸的校正处理的精加工图像。

另外，这里说明了实时取景画面，然而即使在图6的步骤c23中将校正处理后的摄影图像显示为确认图像的情况下，也可以进行与图10和图11相同的画面显示。

如以上说明那样，根据实施方式1，在作为摄影模式相关的设定而设定了校正摄影图像中的脸的校正模式的情况下，可根据器官检测部19的实时取景图像中或摄影图像中的脸检测结果对检测出的脸的数量进行检测，并判别脸的特征。然后，可根据检测出的脸的数量和判别出的脸的特征，将满足预先根据用户操作而设定的校正条件的脸选择为校正对象，并可对所选择的校正对象的脸进行校正处理。因此，不是对检测出的全部脸进行校正处理，可限定于对满足所设定的校正条件的脸进行校正处理，因而可缩短校正处理所需要的处理时间。

另外，在上述实施方式1中，假定对满足所设定的全部校正条件的脸进行第1校正处理。与此相对，也可以采用这样的结构：在满足所设定的校正条件中的任一个条件的情况下进行校正处理。并且，还可以采用这样的结构：预先与各校正条件相对应来定义校正处理，进行与所满足的校正条件相对应的校正处理。

图12是示出针对每个校正条件所设定的校正处理的一例的图。如图12所示，预先针对假定的每个校正条件分别设定校正处理。然后，对检测出的各脸选择性地进行与所满足的校正条件对应的校正处理。例如，假定性别设定(女性)和笑脸设定被设定为校正条件。然后，假定在实时取景图像或摄影图像中检测出2个脸，一个脸满足性别设定，另一个脸满足笑脸设定。在该情况下，如图12的记录R21所示，针对一个脸进行与性别设定相对应的光滑处理即校正处理A、增艳处理即校正处理B、美白处理即校正处理C、以及眼增大处理即校正处理E。并且，如记录R23所示，针对另一个脸进行与笑脸设定相对应的齿增白处理即校正处理D。

并且，在上述实施方式1中，假定对满足所设定的校正条件的脸进行第1校正处理，在没有满足所设定的全部校正条件的脸的情况下，对在实时取景图像中或摄影图像中检测出的全部脸进行第2校正处理。与此相对，也可以对在实时取景图像中或摄影图像中检测出的全部脸进行第1校正处理。而且，也可以采用这样的结构：对满足所设定的校正条件的脸进一步进行与第1校正处理不同的第2校正处理。例如，作为第1校正处理，对在实时取景图像中或摄影图像中检测出的全部脸进行图9所示的校正处理A(光滑处理)。而且，作为第2校正处理，也可以对满足所设定的校正条件的脸进一步进行校正处理B(增艳处理)和校正处理C(美白处理)。

并且，用于选择校正对象的脸的人数设定和脸尺寸设定、性别设定、年龄设定、笑脸设定等各校正条件不限于根据用户操作来设定(选择)的情况，也可以预先固定地设定。

图13是示出实施方式2的数字照相机1b的系统结构的框图。另外，对与实施方式1相同的结构附上相同标号。如图13所示，数字照相机1b具有：摄像元件11，镜头系统单元12，镜头驱动电路13，摄像电路14，SDRAM15，AE部16，AF部17，图像处理部18b，器官检测部19，脸登记部20b，CPU21b，内置存储器22，显示部23，显示驱动电路24，通信接口(I/F)25，操作部26，装卸存储器27，电源电路28，以及电池29。

在实施方式2中，图像处理部18b包含：人物识别部189b，脸选择部185b，以及脸图像处理部187b。人物识别部189b将实时取景图像中或摄影图像中的脸区域与登记在脸登记部20b内的脸图像进行对照，识别是否是特定人物的脸，从而判别实时取景图像中或摄影图像中的脸的特征。例如，人物识别部189b将由器官检测部19的脸检测部191从实时取景图像或摄影图像中检测出的脸区域与登记在脸登记部20b内的脸图像进行比较，计算类似度。然后，在有类似度高的脸图像的情况下，人物识别部189b将其人物ID作为识别结果来输出。

脸选择部185b根据人物识别部189b的识别结果，将实时取景图像中或摄影图像中包含的特定人物的脸选择为校正对象。脸图像处理部187b对由脸选择部185b选择为登记人物的脸的实时取景图像或摄影图像中的脸进行预定的校正处理。

脸登记部20b是例如与固有地分配给人物的人物ID相对应地登记(记录)了实际拍摄该人物得到的脸的图像数据(脸数据)的数据表，根据用户的登记操作随时登记脸图像。

并且，CPU21b具有脸登记处理部213b。脸登记处理部213b经由操作部26受理用户的人物登记操作。例如，进行这样的处理：作为在按下菜单开关5时提示的设定菜单之一，提示脸的登记菜单，根据该登记菜单的选择操作将脸图像的登记请求的通知显示在显示部23上。然后，脸登记处理部213b进行响应于该登记请求的通知将指示了登记的人物的脸图像记录在脸登记部20b内的处理。例如用户预先拍摄所登记的人物，通过指定其摄影图像来进行人物的登记操作。这里，在登记的脸包含在实时取景图像中或摄影图像中的情况下，图像处理部18b的脸选择部185b将该脸选择为校正对象。

另外，这里假定通过指定对想登记的人物进行拍摄而得到的摄影图像来进行人物的登记。与此相对，例如在数字照相机1b是具有与显示部23的画面整体区域或一部分一体地形成的触摸面板作为操作部26的结构的情况下，也可以使用以下方法进行登记。即，可以采用这样的结构：根据针对在实时取景图像中或摄影图像中所照的人物的触摸操作，将被触摸操作的人物的脸区域的图像作为登记人物的脸图像登记在脸登记部20b内。

图14是示出实施方式2中的脸校正处理的详细处理进程的流程图。如图14所示，在实施方式2的脸校正处理中，首先，人物识别部189b根据对实时取景图像进行的脸检测结果或者对摄影图像进行的脸检测结果，参照登记在脸登记部20b内的脸图像来判定在检测出的脸中是否包含有登记人物的脸。在不包含登记人物的脸的情况下(步骤g1：否)，结束脸校正处理。

另一方面，在实时取景图像中或摄影图像中包含有登记人物的脸的情况下(步骤g1：是)，脸选择部185b将该登记人物的脸选择为校正对象(步骤g3)。然后，脸图像处理部187b对校正对象的脸进行校正处理(步骤g5)，结束脸校正处理。

另外，与实施方式1一样，也可以采用这样的结构：在实时取景图像中或摄影图像中有登记人物的脸的情况下，对该脸进行第1校正处理，在没有登记人物的脸的情况下，对检测出的全部脸进行第2校正处理。并且，也可以构成为：与登记人物相对应地，能够个别地设定对该脸实施的校正处理的内容。例如，在进行人物的登记操作时，一并受理对该脸进行的校正处理的选择操作，与人物ID相对应地记录在例如脸登记部20b、内置存储器22等内。这样，可对检测出的登记人物的脸选择性地进行所指定的校正处理。

然后，对于通过该脸校正处理对脸进行了校正处理后的实时取景图像，与实施方式1一样将其以在脸的附近位置重叠显示了校正标记的状态显示在显示部23上。并且，将通过该脸校正处理对脸进行了校正处理后的摄影图像作为确认图像显示在显示部23上，提示给用户。

如以上说明那样，根据实施方式2，可将想要作为校正对象的期望的脸作为登记人物来进行登记。然后，可对这样事先由用户登记的登记人物的脸进行校正处理。因此，用户可仅对期望的特定人物的脸进行校正处理，实现了校正处理所需要的处理时间的缩短。

另外，在上述各实施方式中，说明了对实时取景图像中和摄影图像中的满足校正条件的脸进行校正处理的情况。与此相对，也可以采用不进行对实时取景图像中的脸的校正处理的结构。不过，也可以采用进行在满足所设定的校正条件的脸的附近位置重叠显示校正标记的处理的结构。由此，可在实时取景图像上将在摄影时成为校正对象的脸提示给用户。

并且，在上述各实施方式中，也能使用硬件来实现假定由CPU21、21b来执行而进行说明的处理的一部分或全部。另一方面，说明了使用硬件来实现图像处理部18、18b和器官检测部19等的结构，然而可以通过执行预定程序来作为软件来实现。

并且，在上述实施方式中，作为摄像装置的具体例以数字照相机为例作了说明，然而不限于此，可以应用于便携电话的照相机部和PC附属的照相机部。并且，说明了加工静态图像数据来进行校正处理的情况，然而校正处理的对象不限于静态图像数据，也能同样应用于动态图像数据。

根据本发明，可根据在图像数据中检测出的脸的数量和脸的特征选择满足校正条件的脸，并至少对所选择的脸进行校正处理。因此，不是对检测出的全部脸进行校正处理，而可限定于对满足校正条件的脸进行校正处理，因而可缩短校正处理所需要的处理时间。

Claims (7)

1.一种摄像装置，该摄像装置具有脸检测功能，该摄像装置的特征在于，该摄像装置具有：

摄像部，其对被摄体像进行光电转换并生成图像数据；

脸检测部，其检测由所述摄像部生成的图像数据中的脸；

人数检测部，其根据所述脸检测部的脸检测结果，检测在所述图像数据中检测出的脸的数量；

特征判别部，其根据所述脸检测部的脸检测结果，判别在所述图像数据中检测出的脸的特征；

脸选择部，其根据所述人数检测部的检测结果和所述特征判别部的判别结果，或者根据所述特征判别部的判别结果，从所述检测出的脸中选择满足预先设定的预定的校正条件的脸；以及

脸图像处理部，其至少对由所述脸选择部选择出的脸进行预定的校正处理；所述脸图像处理部针对由所述脸选择部选择出的脸和未由所述脸选择部选择的脸进行不同的图像处理；

其中，所述预定的校正处理基于校正条件而进行校正处理，所述校正条件对应于校正条件设定画面上显示的人数设定、脸尺寸设定、性别设定、年龄设定或者笑脸设定中的任意种形成的校正条件而设定；

所述特征判别部具有人物识别部，该人物识别部将由所述脸检测部检测出的脸与预先登记的登记人物的脸数据进行对照，来识别所述图像数据内包含的登记人物的脸；所述脸选择部选择由所述人物识别部识别为登记人物的脸；

在记录校正处理后的摄影图像时，将校正标记的数据以及所述校正标记在画面上的显示位置的数据作为图像数据的附带信息与图像一起进行记录。

2.根据权利要求1所述的摄像装置，其特征在于，所述特征判别部具有形状判别部，该形状判别部根据所述检测出的脸的形状来判别所述检测出的脸的大小，

所述脸选择部选择由所述形状判别部判别为所述检测出的脸的大小在预先设定的预定大小以上的脸。

3.根据权利要求1所述的摄像装置，其特征在于，所述特征判别部具有性别判别部，该性别判别部判别所述检测出的脸的性别，

所述脸选择部选择由所述性别判别部判别为所述检测出的脸的性别是预先设定的预定性别的脸。

4.根据权利要求1所述的摄像装置，其特征在于，所述特征判别部具有表情判别部，该表情判别部判别所述检测出的脸的表情，

所述脸选择部选择由所述表情判别部判别为所述检测出的脸的表情是笑脸的脸。

5.根据权利要求1所述的摄像装置，其特征在于，所述脸图像处理部对所述检测出的脸进行第1校正处理，并对由所述脸选择部选择出的脸进行与所述第1校正处理不同的第2校正处理。

6.根据权利要求1所述的摄像装置，其特征在于，所述摄像装置具有显示处理部，该显示处理部至少将由所述脸图像处理部对脸进行了校正处理的所述图像数据显示在显示部上，在进行了所述校正处理的脸的附近位置显示校正标记。

7.一种摄像装置中的图像处理方法，该摄像装置具有摄像部，该摄像部对被摄体像进行光电转换并生成图像数据，该图像处理方法的特征在于，该图像处理方法包含：

检测由所述摄像部所生成的图像数据中的脸；

检测在所述图像数据中检测出的脸的数量；

判别在所述图像数据中检测出的脸的特征；

根据所述检测出的脸的数量和所述判别出的脸的特征，或者根据所述判别出的脸的特征，选择满足预先设定的预定的校正条件的脸；以及

至少对所述选择出的脸进行预定的校正处理；针对选择出的脸和未选择的脸进行不同的图像处理；

其中，所述预定的校正处理基于校正条件而进行校正处理，所述校正条件对应于校正条件设定画面上显示的人数设定、脸尺寸设定、性别设定、年龄设定或者笑脸设定中的任意种形成的校正条件而设定；

将检测出的脸与预先登记的登记人物的脸数据进行对照，来识别所述图像数据内包含的登记人物的脸；并且选择识别为登记人物的脸；

在记录校正处理后的摄影图像时，将校正标记的数据以及所述校正标记在画面上的显示位置的数据作为图像数据的附带信息与图像一起进行记录。

Images