CN101311962A

CN101311962A - 图像编辑装置和控制图像编辑装置的方法

Info

Publication number: CN101311962A
Application number: CNA2008101090349A
Authority: CN
Inventors: 丸山淳; 宫崎敏; 冨泽将臣; 铃木猛士; 野中修
Original assignee: Olympus Imaging Corp
Current assignee: Olympus Corp
Priority date: 2007-05-24
Filing date: 2008-05-23
Publication date: 2008-11-26
Anticipated expiration: 2028-05-23
Also published as: US8526683B2; US8224036B2; JP4823970B2; US20120249825A1; CN101311962B; JP2008294762A; US20080292148A1

Abstract

本发明提供了图像编辑装置和控制图像编辑装置的方法。该图像编辑装置包括图像输入单元，该图像输入单元包括对对象进行拍照以获得对象的图像的摄像电路(107)。脸部检测电路(113)从该图像输入单元所获得的图像中检测对象的脸部图像。脸部表情检测电路(114)基于该脸部检测电路所检测到的脸部图像来检测对象的脸部的方向和表情中的至少任何一个。瞳孔检测电路基于该脸部检测电路所检测到的脸部图像来检测对象的瞳孔图像。反光合成电路(101)根据该脸部表情检测电路所检测到的脸部的方向和表情中的任何一个在该瞳孔检测电路所检测到的瞳孔图像上合成不同的反光。

Description

图像编辑装置和控制图像编辑装置的方法

技术领域

本发明涉及图像编辑装置、控制图像编辑装置的方法及存储图像编辑程序的记录介质，它们在对象脸部的图像上合成反光(catch-light)。

背景技术

在人物摄影中，已知一种通过在对象(比如模特)的眼睛中插入反光而使脸部变得突出(stand out)的技术。可以通过插入这种反光来强调或加强对象脸上的表情。一般而言，人脸有多种表情，比如高兴、生气和忧虑。对于每一种脸部表情都存在最优的反光。

作用于对象上的光线在对象眼睛角膜的球表面上反射，并且反射光由摄像元件来曝光，从而产生了反光。日本专利申请公报第2001-91979号公开了一种利用作为光源而内置在相机中的闪光灯单元来产生这种反光的技术。在日本专利申请公报第2001-91979号中，用于照明对象的光源为点光源，且光的颜色为白色。因此，在对象的瞳孔上产生了白色圆形反光。日本专利申请公报第2006-72743号公开了一种通过图像处理而人为地产生反光的技术。

如上所述，人脸有多种表情，并且对于每个表情都存在最优的反光。日本专利申请公开第2001-91979号中公开的技术仅可以将反光表达成白点。此外，相机镜头与闪光灯单元的发光部件之间的位置关系通常是相同的，在应用反光时无位置灵活性可言。为了利用光源来插入有效的反光，必须设定光源的种类、从光源到对象的距离以及光到眼睛的入射角。然而，这些设定仅可以由有经验的摄影师或高级业余爱好者进行设定。

此外，日本专利申请公开第2006-72743号中公开的这种通过图像处理来产生反光的技术在图像处理时困难且繁琐，并且要求高级的技巧。

发明内容

本发明的目的是提供一种图像编辑装置、控制图像编辑装置的方法及存储图像编辑程序的记录介质，它们根据人脸来实现有效的反光表情，并且使得即使在拍照和编辑图像方面经验很少的用户也能够容易地获得带有反光表情的人物摄影作品。

本发明的第一方面提供了一种图像编辑装置，该图像编辑装置包括：图像输入单元，其包括对对象进行拍照以获得对象的图像的摄像电路；脸部检测电路，其从图像输入单元所获得的图像中检测对象的脸部图像；脸部表情检测电路，其基于脸部检测电路所检测到的脸部图像来检测对象脸部的方向和表情中的至少任何一个；瞳孔检测电路，其基于脸部检测电路所检测到的脸部图像来检测对象的瞳孔图像；以及反光合成(composition)电路，其根据脸部表情检测电路所检测到的脸部的方向和表情中的任何一个，在瞳孔检测电路所检测到的瞳孔图像上合成不同的反光。

本发明的第二方面提供了一种控制装置的方法，该装置用于编辑通过对对象进行拍照而获得的图像，该方法包括以下步骤：从所获得的图像中检测对象的脸部图像；基于所检测到的脸部图像来检测对象的脸部的方向和表情中的至少任何一个；基于所检测到的脸部图像来检测对象的瞳孔图像；以及根据所检测到的脸部的方向和表情中的任何一个，在所检测到的瞳孔图像上合成不同的反光。

本发明的第三方面提供了一种控制装置的方法，该装置用于编辑通过对对象进行拍照而获得的图像，该方法包括以下步骤：从所获得的图像中检测对象的脸部图像；基于所检测到的脸部图像来检测对象的脸部的方向和表情中的至少任何一个；基于所检测到的脸部图像来检测对象的眼睛的方向；基于所检测到的脸部图像来检测对象的瞳孔图像；以及根据所检测到的脸部的方向和表情以及眼睛的方向中的任何一个在所检测到的瞳孔图像上合成反光。

本发明的第四方面提供了一种计算机可读记录介质，其上记录有用于编辑通过对对象进行拍照而获得的图像的程序，该程序使计算机能够执行以下功能：从所获得的图像中检测对象的脸部图像的功能；基于所检测到的脸部图像来检测对象的瞳孔图像的功能；以及根据所检测到的脸部的方向和表情中的任何一个在所检测到的瞳孔图像上合成不同的反光的功能。

本发明的第五方面提供了一种图像编辑装置，其包括：图像输入单元，其包括对对象进行拍照以获得对象的图像的摄像电路；检测电路，其从图像输入单元所获得的图像中检测对象的脸部图像，基于所检测到的脸部图像来检测对象脸部的方向和表情中的至少任何一个，并基于所检测到的脸部图像来检测对象的瞳孔图像；以及反光合成电路，其根据所检测到的脸部的方向和表情中的任何一个在所检测到的瞳孔图像上合成不同的反光。

本发明的优点将在下面的描述中进行阐述，并且将部分地通过这种描述而变得明显，或者可以通过实施发明而获得。可以利用此后特别指出的手段及组合来实现并获得本发明的优点。

附图说明

结合在说明书中并构成了说明书一部分的附图示出了本发明的实施方式，并且与以上给出的概述及以下给出的实施方式的详细说明一起用于解释本发明的原理。

图1为示出了作为根据发明第一实施方式的图像编辑装置的例子的数字相机的构成框图；

图2A、2B和2C示出了光源的位置与从瞳孔反射的光的方向之间的关系；

图3A、3B和3C示出了从瞳孔反射的光与瞳孔内的反光之间的关系；

图4为示出了根据发明第一实施方式的数字相机的操作的流程图；

图5示出了当通过启动辅助发光电路来拍照时对象眼睛的图像数据分布；

图6为示出了计算值R的处理流程的流程图；

图7A示出了具有高R值的表情的例子；

图7B示出了具有低R值的表情的例子；

图8为示出了修正值R的流程的流程图；

图9A示出了当脸部方向朝前时的表情的例子；

图9B示出了当脸部方向朝下时的表情的例子；

图9C示出了当脸部方向朝上时的表情的例子；

图10A、10B、10C、10D、10E以及10F示出了瞳孔图像上的多种反光表情的例子；而

图11为示出了根据发明第二实施方式的数字相机的操作的流程图。

具体实施方式

下面将结合附图来说明本发明的实施方式。

[实施方式1]

图1为示出了作为根据发明第一实施方式的图像编辑装置的例子的数字相机100的构成框图。图1所示的数字相机100具有微处理器单元(MPU)101、操作单元102、相机镜头103、自动聚焦(AF)电路104、光圈机构105、光圈控制电路106、摄像元件107、模拟前端(AFE)电路108、图像处理电路109、显示控制电路110、显示面板111、焦距判定电路112、脸部检测电路113、脸部表情检测电路114、压缩/解压缩电路115、记录控制电路116、记录介质117、辅助发光电路118、反射样式(pattern)检测电路119及通信电路120。数字相机100通过网络300可通信地连接到服务器400。

MPU 101根据用户对操作单元102的操作来依次控制构成数字相机100的每个框。操作单元102包括：用数字相机100进行拍照的释放开关；以及使数字相机100操作模式在拍照模式和播放模式之间改变的模式改变开关。

MPU 101具有用于记录用户所拍照片时间/日期的计时器。计时器可以将拍照时间/日期与通过拍照所获得的图像数据关联起来。

相机镜头103在摄像元件107内形成对象200的图像。相机镜头103包括用于自动聚焦的聚焦镜头。在自动聚焦模式下，MPU 101监控聚焦镜头的位置，并通过控制AF电路104来改变聚焦镜头的位置，从而调节相机镜头103的焦距。光圈机构105设置在相机镜头103内或者附近，并且充当快门和光圈。光圈机构105在拍照开始时打开到预定孔径，而在拍照结束时关闭。

具有摄像单元功能的摄像元件107具有由大量像素的阵列构成的光接收平面。摄像元件107将通过相机镜头103接收到的对象200的图像转换为电信号。在该实施方式中，摄像元件107可以使用CCD系统或CMOS系统。

AFE电路108包括CDS电路、增益调节电路以及AD转换电路。AFE电路108对摄像元件107所获得的模拟电信号进行模拟处理，比如相关双采样和增益调节。AFE电路108将通过模拟处理而获得的图像信号转换为数字数据，并将其输入图像处理电路109。AFE电路108具备一起从构成摄像元件107的像素读取信号的功能。比如，通过AFE电路108一起读取4个像素(2×2像素)的信号或9个像素(3×3像素)的信号并对这些电信号进行相加，可以改善信噪比。通过这种处理，可以增强摄像元件107的表观灵敏度(apparent sensitivity)。

此外，AFE电路108具有从摄像元件107选择输出信号的功能。因此，可以从摄像元件107的所有有效像素中有限的像素范围内仅提取出一个信号。一般来讲，摄像元件107可通过疏化(thin out)而高速地读取信号。通过利用该功能在显示面板111上显示用于确认通过连续地操作摄像元件107而获得的框架(frame)的通像(through image)，在图像处理电路109中对图像进行处理之后，用户可以利用显示在显示面板111上的通像来框住(frame)图像。

图像处理电路109执行多种类型的图像处理：对从AFE电路108输入的图像数据的颜色、等级和锐度进行修正；将图像数据电平放大到预定电平；以及将图像数据调节到正确的浓度和灰度级。

为了显示多种图像(如上述要框住的图像)，图像处理电路109具有将从AFE电路108输入的图像数据的尺寸进行调整(减小)，使之可显示在显示面板111上的功能。

此外，在该实施方式中，当检测到对象200眼睛内的反光时，图像处理电路109将反光消除掉。图像处理电路109具有反光合成电路的功能，用于合成与对象200的脸部表情相对应的反光，取代消除掉的反光而被使用。

显示控制电路110将在图像处理电路109中获得的图像数据或记录在记录介质117中的图像数据转换成视频信号，并基于转化成的视频信号在显示面板111上显示图像。显示面板111是液晶面板或有机EL显示面板。可以在显示面板111上显示发送(上传)到服务器400的图像的列表。用户或摄影师可以通过操作操作单元102而从上传到服务器400的图像的列表中选择要用作由服务器400来管理的博客服务的图像。允许选择在博客上显示图像的布局。

焦距判定电路112检测图像处理电路109所获得的图像的对比度。由焦距判定电路112检测到的对比度被用于自动聚焦。在自动聚焦模式下，焦距判定电路112依次检测图像的对比度，而AF电路104则改变相机镜头103的聚焦镜头的位置。因为相机镜头103的焦距可调，所以当所检测到的对比度最大时，聚焦镜头停止。

脸部检测电路113根据特征点(比如当对象为人时，眼睛、鼻子和嘴)的分布来检测图像处理电路109所获得图像的一部分，特别是与对象脸部相对应的部分。脸部表情检测电路114基于脸部检测电路113所检测到的脸部图像来计算值R(稍后详述)。值R是用于获得对象脸部表情的值。

压缩/解压缩电路115在拍照时对图像处理电路109所处理的图像进行压缩。压缩/解压缩电路115具有：静态图像压缩单元，其具有已知的静态图像压缩功能，比如JPEG；以及动态图像压缩单元，其具有已知的动态图像压缩功能，比如MPEG或H.264。压缩/解压缩电路115还具有对经压缩的静态或动态图像数据进行解压缩的功能。记录控制电路116将压缩/解压缩电路115压缩后的图像数据以及伴随数据(accompanying data)一起记录在记录介质117中。

辅助发光电路118根据拍照条件向对象200发光。这样就防止了在拍照时出现不足或不均的亮度。具有瞳孔检测电路功能的反射样式检测电路119利用辅助发光电路118的发光来检测从对象200的眼睛反射的光的样式。

通信电路120对通过网络300将记录在记录介质117中的图像数据或通过拍照而获得的图像数据发送到服务器400时的通信进行控制。通信电路120还对从服务器400接收各种数据时的通信进行控制。通信电路120例如是无线LAN接口电路。发送到服务器400的图像可以作为显示在服务器400所管理的博客中的图像而立刻展现给用户500。

下面，将对第一实施方式的数字相机100的操作进行说明。首先，将结合图2A-2C及图3A-3C来解释反光。图2A-2C示出了光源的位置与从瞳孔反射的光的方向之间的关系。图3A-3C示出了从瞳孔反射的光与从瞳孔反射的反光之间的关系。

图2A示出了光源600从较高位置来对对象200进行照明的例子。假定来自光源600的入射光以角度θ1施加到对象200的瞳孔200a的上部。在这种情况下，反射光也以相对于瞳孔200a为θ1的角度施加到相机镜头103上。因此，如图3A所示，在瞳孔200a的上部出现了反光200b。图2B示出了来自光源600的光经反射器反射，并且对象200从较低位置被照明的例子。假定来自光源600的入射光以角度θ2施加到对象200的瞳孔200a的下部。在这种情况下，反射光也以相对于瞳孔200a为θ2的角度施加到相机镜头103。因此，在瞳孔200a的下部出现了反光200b。如果没有光源，当然就不会产生反光。

如上所述，根据拍照时光源的状态来产生多种反光。通过改变这些反光，可以产生氛围，比如拍照时对象的脸部表情和情绪。这正是摄影师大量使用反光的原因，因为反光为它们的照片赋予了表情。然而，并不总是可以得到适合产生反光的光源。在这种情况下，已经公开了一种利用通常内置在相机中的闪光灯单元(辅助发光电路118)来产生反光的技术。然而，如图2A或图2B所示，在使用辅助发光电路118的情况下，这种技术无法改变光源的位置。因此，在使用辅助发光电路118时，来自辅助发光电路118的入射光总是以角度θ3进入对象200的瞳孔200a，并且如图2C所示，反射光总是以角度θ3进入相机镜头103。辅助发光电路118作为光源相对较小，并且在瞳孔200a的中央狭窄范围内出现白色反光200b(或者，由于所谓的红眼现象而使瞳孔呈现红色)。结果，表情变得呆滞。

在该实施方式中，通过简单操作即可获得适于对象脸部表情的反光，从而可以在拍照时作出多种表情。

图4为示出根据发明第一实施方式的数字相机100的操作的流程图。

在图4中，MPU 101判断数字相机100的操作模式是否为拍摄模式(步骤S1)。在步骤1的判断中，如果操作模式为拍摄模式，则MPU 101执行多种控制，以在显示面板111上显示要框住的通像(步骤S2)。即，MPU 101通过连续地操作摄像元件107而依次获得通像数据，并且在图像处理电路109中处理所获得的通像数据。然后，MPU 101基于该通像数据在显示面板111上显示通像。在显示了通像之后，MPU 101判断摄影师是否通过对操作单元102进行操作而指示了拍照(步骤S3)。如果步骤3的判断中没有指示拍照，则再次进行步骤1。相反，如果步骤3中指示了拍照，则MPU 101进行拍照(步骤S4)。即，MPU 101调节相机镜头103的焦距，将光圈机构105调节到预定孔径，与摄像元件107一起进行拍照，并且获得图像数据。

然后，MPU 101判断反射样式检测电路119是否在对象200的瞳孔中检测到了辅助光的反射光，或者是否从通过摄像元件107获得的图像数据中检测到了反光(步骤S5)。

接下来将对步骤5中的判断方法举例加以说明。图5示出了在利用辅助发光电路118进行拍照时对象200眼睛内的图像数据的分布。如图3C所示，辅助光线从辅助发光电路118发出时，辅助光线的反射光(反光)看起来靠近瞳孔的中心。因此，靠近对象200瞳孔的图像数据的样式在水平方向上为大(眼白)-小(瞳孔)-大(反射光)-小(瞳孔)-大(眼白)，而在垂直方向上为小(瞳孔)-大(反射光)-小(瞳孔)。通过如上所述判断靠近对象200瞳孔的图像数据的样式，可以判断出瞳孔中是否存在来自辅助发光电路118的反射光。由于瞳孔可能向右或向左偏移，因此优选地在拍照之前显示了通像的情况下检测瞳孔的位置。可以如下来检测瞳孔位置：脸部检测电路113检测拍照之前通过摄像元件107而获得的通像数据中的脸部部分；脸部表情检测电路114根据脸部部分中的阴影分布来检测脸部部分的眼睛部分；并且将眼睛部分的图像数据中表现为低亮度的部分检测为瞳孔。

如果在步骤S5的判断中检测到了反射光，则MPU 101通过使图像处理电路109用周围图像数据(瞳孔)代替图像数据来填充与检测到的反射光部分相对应的图像数据(步骤S6)。然后，MPU 101利用脸部表情检测电路114来计算值R，以在图像中检测对象200的脸部表情(步骤S7)。

接下来对值R进行说明。图6为示出了计算值R时的处理流程的流程图。在图6中，首先，脸部表情检测电路114根据脸部检测电路113检测到的脸部图像中的阴影分布来检测眼睛和嘴(步骤S101)。具体来讲，脸部检测电路113在对比度增强了的图像中检测基本上为圆形的脸部部分。然后，脸部表情检测电路114根据脸部中的阴影分布来检测眼睛和嘴。如果在显示通像时检测到了脸部，则可以省略步骤S101。

在步骤S101中检测到眼睛和嘴之后，脸部表情检测电路114计算连接两个眼睛的瞳孔的直线A上方的眼白的面积EA(参见图7A)(步骤S102)。然后，脸部表情检测电路114计算连接两个眼睛的瞳孔的直线A下方的眼白的面积EB(参见图7A)(步骤S103)。在计算出EA和EB之后，脸部表情检测电路114计算值RE，值RE是通过用EA和EB之间的差值除以EA和EB的和而获得的(步骤S104)。在此，当对象200希望对其他人显示笑脸时，如图7A所示，EB变为接近于0，结果RE变大。相反，当对象的脸部不是笑脸而是例如苦脸时，如图7B所示，EA变为接近于0，结果RE变小。因此，可以从RE的大小判断出脸部表情。

获得RE之后，脸部表情检测电路114计算连接两个嘴角的直线B上方的嘴唇面积LA(参见图7B)(步骤S105)。然后，脸部表情检测电路114计算连接两个嘴角的直线B下方的嘴唇面积LB(参见图7B)(步骤S106)。计算出LA和LB之后，脸部表情检测电路114计算值RL，值RL是通过用LA和LB之间的差值除以LA和LB的和而获得的(步骤S107)。在此，当对象2为笑脸时，如图7A所示，LA变为接近于0，结果RL变大。相反，当对象为苦脸时，如图7B所示，LB变为接近于0，结果RL变小。因此，可以从RL的大小判断出脸部表情。

计算出RE和RL之后，脸部表情检测电路114计算RE和RL的和R(步骤S108)。值R越大，脸部越接近于笑脸。此外，如果嘴角有如图7A中的箭头C所示的阴影或可以看到牙齿，则脸部可能为笑脸。因此，脸部表情检测电路114判断是否可以在嘴中看到牙齿(白色部分)以及嘴角是否有阴影(步骤S109)。如果在步骤S109的判断中从嘴中看到了牙齿并且嘴角有阴影，则脸部表情检测电路114向R增加预定值(在此为1)(步骤S110)。

相反，如果在步骤S 109的判断中从嘴中看到了牙齿而嘴角没有阴影，或者在步骤S110之后，脸部表情检测电路114判断眉毛之间是否出现了如图7B中的箭头D所指示的皱纹(步骤S111)。如果在步骤111的判断中检测到了眉毛之间的皱纹，则脸部表情检测电路114从R中减掉预定值(在此为1)(步骤S112)。也就是说，眉毛之间有皱纹的脸部不是笑脸，并且执行步骤S111中的判断。

在图6的处理中，如果对象200的脸部朝向前方，则容易判断脸部表情。然而，如果对象200的脸部朝向下方或上方，就难以判断脸部表情。因此，MPU 101按照以下方式对值R进行修正(步骤S113)。

图8为示出值R修正流程的流程图。在图8中，首先，脸部表情检测电路114检测由脸部检测电路113检测到的脸部图像的中心位置E的坐标(参见图9A)(步骤S201)。然后，脸部表情检测电路114检测由脸部检测电路113检测到的脸部图像中眼睛的中央位置F的坐标(参见图9A)(步骤S202)。

当脸部朝前时，如图9A所示，眼睛的中央位置F位于脸部的中心位置E的上方。相反，当脸部朝下时，如图9B所示，眼睛的中央位置F位于脸部的中心位置E的下方。如果对象在这种状态下观看相机镜头103，则对象的脸部具有上翻的眼睛。这种脸部看起来很不开心。当脸部朝上时，相对于图9A中的情况而言，眼睛的中央位置F位于脸部的中心位置E的更上方，如图9C所示。如果对象在这种状态下观看相机镜头103，则对象的脸部似乎在向下看。这种脸部看起来也很不开心。

因此，在图8的处理中，对脸部中心位置E与眼睛中央位置F之间的差ΔY进行计算，并且基于ΔY的值来判断对象200的脸部是朝前、朝下还是朝上。

也就是说，在检测出脸部中心位置E和眼睛中央位置F的坐标之后，脸部表情检测电路114计算脸部中心位置E与眼睛中央位置F之间的差ΔY(步骤S203)。然后，脸部表情检测电路114判断差ΔY是否小于预定值-ΔY1(步骤S204)。如果在步骤S204中判断出差ΔY小于预定值-ΔY1，则判断为脸部朝下，如图9B所示，并且脸部表情检测电路114从值R中减掉一预定值(在此为1)(步骤S205)，然后退出图8的处理。

相反，如果在步骤204中判断出差ΔY大于-ΔY1，则脸部表情检测电路114判断差ΔY是否大于预定值ΔY2(步骤S206)。如果在步骤206中判断出差ΔY大于ΔY2，则判断为脸部朝上，如图9C所示，并且脸部表情检测电路114从值R中减掉一预定值(在此为1)(步骤S207)，然后退出图8的处理。

如果在步骤S206中判断出差ΔY小于ΔY2，则判断为脸部朝前，如图9A所示，脸部表情检测电路114不对值R进行修正。在这种情况下，脸部表情检测电路立刻退出图8的处理。

现在返回图5继续进行说明。在步骤S7中计算出值R之后，脸部表情检测电路进行反光处理，即，将适于对象200脸部表情的反光与通过摄像元件107所获得的图像数据进行合成。图10A到10F示出了合成在瞳孔图像上的多种反光图像的例子。

图10A、10B和10C示出了对象200的完全睁开状态的眼睛(值R较高)。在这种情况下，可以有效地使用瞳孔的上部，并且优选地在瞳孔的上部中合成反光图像。当值R较高时，脸部表现为开心或惊喜。因此，如图10A和10B所示，推荐使用心形或星形作为反光图像。与普通反光的情况相同，颜色可以为白色，但优选地对于每种反光图像而不同，比如心形为粉红色，而星形为黄色。

图10D、10E和10F示出了对象200的凝视状态的眼睛(值R较低)。在这种情况下，可以有效地使用瞳孔的下部，并且优选地在瞳孔的下部中合成反光图像。当值R较低时，如前所述，脸部看起来焦虑或凝重。因此，如图10F所示，推荐使用火焰形作为反光图像。与普通反光的情况相同，颜色可以为白色，但优选地例如将红色用于火焰。

在图5的步骤8处理中及处理之后，基于上述概念来合成反光。首先，MPU 101判断在步骤S7中获得的值R是否高于第一预定值(步骤S8)。如果在步骤S8中判断出值R高于第一预定值，则MPU 101利用图像处理单元109在通过摄像元件107所获得的图像数据中的瞳孔的上半部分中合成粉红色心形反光图像，如图10A所示(步骤S9)。如果在步骤S8中判断出值R小于第一预定值，则MPU 101判断在步骤S7中获得的值R1是否小于比第一预定值小的第二预定值(步骤S10)。如果在步骤10中判断出值R小于第二预定值，则MPU 101利用图像处理单元109在通过摄像元件107所获得的图像数据中的瞳孔的下半部分中合成红色火焰形反光图像，如图10F所示(步骤S11)。如果在步骤S10中判断出值R大于第二预定值，则MPU 101利用图像处理单元109在通过摄像元件107所获得的图像数据中的瞳孔的上半部分中合成黄色星形反光图像，如图10C所示(步骤S12)。

在步骤S9、S11或S12中合成了反光图像之后，MPU 101将合成有反光图像的图像数据记录在记录介质117中(步骤S13)，然后完成图4的处理。

如果在步骤S1的判断中未检测到拍照模式，则MPU 101将模式判断为播放模式，并等待由摄影师进行的图像选择。图像被选择后，MPU101从存储介质117中读取与所选图像相对应的数据图像，并将这种图像再现于显示面板111上(步骤S14)。然后，MPU 101判断摄影师是否进行了发送所选图像数据的操作(步骤S15)。如果在步骤15中摄影师没有进行发送所选图像数据的操作，则MPU 101完成图4的处理。相反，如果在步骤S15中摄影师进行了发送所选图像数据的操作，则MPU 101等待摄影师输入图像数据的目的地(步骤S16)。输入了图像数据的目的地后，MPU 101利用通信电路120将此时正在播放的图像发送给步骤S16中指定的目的地(步骤S17)，并且完成图4的处理。

如上所述，根据第一实施方式，当拍照时对象200的瞳孔内有反光时，消除该反光部分，并且在瞳孔中的根据拍照时对象的面部表情而确定的位置上合成根据面部表情而确定了形状和颜色的反光图像。因此，摄影师仅通过使辅助发光电路118发光而进行简单拍照即可获得带有有效反光的人物摄影作品像，而不必进行特殊的设置来获得反光效果。

[实施方式2]

下面将对发明的第二实施方式进行说明。第二实施方式用于在拍照之前显示了通像的情况下确认合成有反光的图像。数字相机100的构成与图1所说明的相同，因此将省略其说明。

图11为示出本发明第二实施方式的数字相机100的操作的流程图。

在图11中，MPU 101判断数字相机100的操作模式是否为拍照模式(步骤S21)。如果在步骤21的判断中操作模式被判断为拍摄模式，则MPU 101执行多种控制，以在显示面板111上显示要框住的通像(步骤S22)。然后，MPU 101利用在图4中的步骤S5的处理中所说明的技术来检测瞳孔的位置和大小(步骤S23)。

MPU 101通过用于在通像中检测对象200的脸部表情的脸部表情检测电路114来计算值R。计算出值R之后，MPU 101判断计算出的值R是否高于第一预定值(步骤S25)。如果在步骤S25中判断出值R高于第一预定值，则MPU 101利用图像处理单元109在通过摄像元件107所获得的图像数据中的瞳孔的上半部分中合成粉色心形反光图像或黄色星形反光图像(步骤S26)。是合成心形反光还是星形反光应当预先设置。如果在步骤S25中判断出值R小于第一预定值，则MPU 101判断计算出的值R是否小于比第一预定值小的第二预定值(步骤S27)。如果在步骤S27中判断出值R小于第二预定值，则MPU 101利用图像处理单元109在通过摄像元件107所获得的图像数据中的瞳孔的下半部分中合成红色火焰形反光图像或黄色火花形反光图像(步骤S28)。反光图像是火焰形还是火花形应当预先设定。

在步骤S26或S28中合成了反光图像之后，MPU 101利用图像处理电路109、根据反光图像的颜色来调整合成的反光图像的大小(步骤S29)。这样就防止了反光图像和眼白的同化作用。因此，如果要合成的反光图像为白色或浅色，则对合成出的反光图像的大小进行压缩，使之不会从瞳孔中突出来。如果要合成的反光图像为深色，则不对反光图像的大小进行调整。可以根据要合成的反光图像的形状来调整反光图像的大小。比如，如果合成了心形或星形反光图像，则可以对图像进行压缩使之待在瞳孔内。如果合成了火焰形或火花形反光图像，则不必调整图像大小。

在步骤S29之后，MPU 101判断摄影师是否通过对操作单元102进行操作而指示了拍照(步骤S30)。如果在步骤S30的判断中没有指示拍照，则处理返回到步骤S21。相反，如果步骤S30的判断中指示了拍照，则MPU 101执行拍照操作(步骤S31)。然后，MPU 101将通过拍照获得的图像数据记录在记录介质117上(步骤S32)，并且完成图11的处理。

如果在步骤S21中操作模式被判断为非拍照模式，则MPU 101判断模式为播放模式，并且等待摄影师进行的图像选择。图像被选择后，MPU101从存储介质117中读取与所选图像相对应的数据图像，并将这种图像再现于显示面板111上(步骤S33)。然后，MPU 101判断摄影师是否进行了发送所选图像数据的操作(步骤S34)。如果在步骤S34中摄影师没有进行发送所选图像数据的操作，则MPU 101完成图11的处理。相反，如果在步骤S34中摄影师进行了发送图像数据的操作，则MPU 101等待摄影师输入图像数据的目的地(步骤S35)。输入了图像数据目的地后，MPU 101利用通信电路120将此时正在播放的图像发送给在步骤S35中指定的目的地(步骤S36)，并且完成图11的处理。

如上所述，根据第二实施方式，可以在拍照之前显示了通像的情况下，在利用目视检查来确认合成有反光图像的图像的同时进行拍照。还可以合成这样一种反光图像，其通过根据要合成的反光图像的颜色和形状来调整反光图像的大小而更好地增强了脸部表情。

在此处描述的实施方式中，为了描述简单，基于值R来判断对象200的脸部表情，值R是通过将作为与眼睛有关的值R的RE和作为与嘴有关的值R的RL相加而获得的。然而，也可以通过单独地评估RE和RL或者单独地判断眼睛和嘴的表情来判断对象200的脸部表情。

此外，在此处描述的实施方式中，以星形和火焰形作为要合成在瞳孔内的反光图像的形状的例子。然而，反光图像的形状并不局限于此。比如，可以合成形状与图3A所示反射光相同(白色圆形)的反光图像。在添加不同形状的反光图像时，必须预先设置与这些反光图像相对应的值R的范围。

还可以在合成反光之后显示合成结果，并且使摄影师能够通过对操作单元102进行操作而编辑所合成的反光图像。还可以在播放模式下编辑这些反光图像。

没有必要使用数字相机100根据对象200的脸部表情来合成反光图像。比如，可以根据安装在个人计算机(PC)内的软件来合成反光图像。

本领域的技术人员将容易地想到其它优点和修改。因此，在较宽的方面上讲，本发明并不局限于文中所示及所述的特定细节和代表性实施方式。因此，在不脱离由所附权利要求及其等同概念所限定的总体发明概念的本意或范围的情况下，可以做出许多修改。

Claims

1、一种图像编辑装置，该图像编辑装置的特征在于包括：

图像输入单元，其包括对对象进行拍照以获得对象的图像的摄像电路；

脸部检测电路，其从该图像输入单元所获得的图像中检测对象的脸部图像；

脸部表情检测电路，其基于该脸部检测电路所检测到的脸部图像来检测对象脸部的方向和表情中的至少任何一个；

瞳孔检测电路，其基于该脸部检测电路所检测到的脸部图像来检测对象的瞳孔图像；以及

反光合成电路，其根据该脸部表情检测电路所检测到的脸部的方向和表情中的任何一个，在该瞳孔检测电路所检测到的瞳孔图像上合成不同的反光。

2、根据权利要求1所述的图像编辑装置，该图像编辑装置的特征在于，这些反光的形状、大小、颜色以及合成位置中的至少任何一个根据脸部的方向和表情中的任何一个而不同。

3、根据权利要求2所述的图像编辑装置，该图像编辑装置的特征在于，该瞳孔检测电路检测瞳孔图像中的反光，并且该反光合成电路从瞳孔图像中消除掉瞳孔图像中的反光。

4、根据权利要求3所述的图像编辑装置，该图像编辑装置的特征在于，该反光合成电路在将反光的大小减小到适合放在瞳孔中之后合成这些反光。

5、根据权利要求4所述的图像编辑装置，该图像编辑装置的特征在于，该反光合成电路在脸部具有睁得很开的眼睛的情况下在瞳孔图像的上部中合成这些反光，而在脸部具有凝视的眼睛的情况下在瞳孔图像的下部中合成这些反光。

6、根据权利要求1所述的图像编辑装置，该图像编辑装置的特征在于还包括眼睛检测电路，该眼睛检测电路基于该脸部检测电路所检测到的脸部图像来检测对象的眼睛的方向，

其中该反光合成电路根据该脸部表情检测电路所检测到的脸部的方向、表情以及该眼睛检测电路所检测到的眼睛的方向中的至少任何一个来合成不同的反光。

7、根据权利要求6所述的图像编辑装置，该图像编辑装置的特征在于，这些反光的形状、大小、颜色以及合成位置中的至少任何一个根据脸部的方向、表情以及眼睛的方向中的任何一个而不同。

8、根据权利要求7所述的图像编辑装置，该图像编辑装置的特征在于，该瞳孔检测电路检测瞳孔图像中的反光，并且该反光合成电路从瞳孔图像中消除掉瞳孔图像中的反光。

9、根据权利要求8所述的图像编辑装置，该图像编辑装置的特征在于，该反光合成电路在将反光的大小减小到适合放在瞳孔中之后合成这些反光。

10、根据权利要求9所述的图像编辑装置，该图像编辑装置的特征在于，该反光合成电路在脸部具有睁得很开的眼睛的情况下在瞳孔图像的上部中合成这些反光，而在脸部具有凝视的眼睛的情况下在瞳孔图像的下部中合成这些反光。

11、一种装置的控制方法，该装置用于编辑通过对对象进行拍照而获得的图像，该控制方法的特征在于包括以下步骤：

从所获得的图像中检测对象的脸部图像；

基于所检测到的脸部图像来检测对象的脸部的方向和表情中的至少任何一个；

基于所检测到的脸部图像来检测对象的瞳孔图像；以及

根据所检测到的脸部的方向和表情中的任何一个，在所检测到的瞳孔图像上合成不同的反光。

12、根据权利要求11所述的控制方法，其特征在于，这些反光的形状、大小、颜色以及合成位置中的至少任何一个根据脸部的方向和表情中的任何一个而不同。

13、根据权利要求12所述的控制方法，其特征在于，检测瞳孔图像的步骤包括在瞳孔图像中检测反光，并且

合成反光的步骤包括从瞳孔图像中消除掉瞳孔图像中的这些反光。

14、根据权利要求13所述的控制方法，其特征在于，合成反光的步骤包括在将反光的大小减小到适合放在瞳孔中之后合成这些反光。

15、根据权利要求14所述的控制方法，其特征在于，合成反光的步骤在脸部具有睁得很开的眼睛的情况下在瞳孔图像的上部中合成这些反光，而在脸部具有凝视的眼睛的情况下在瞳孔图像的下部中合成这些反光。

16、一种装置的控制方法，该装置用于编辑通过对对象进行拍照而获得的图像，该控制方法的特征在于包括以下步骤：

从所获得的图像中检测对象的脸部图像；

基于所检测到的脸部图像来检测对象的眼睛的方向；

基于所检测到的脸部图像来检测对象的瞳孔图像；以及

根据所检测到的脸部的方向和表情以及眼睛的方向中的任何一个在所检测到的瞳孔图像上合成反光。

17、根据权利要求16所述的控制方法，其特征在于，这些反光的形状、大小、颜色以及合成位置中的至少任何一个根据脸部的方向和表情以及眼睛的方向中的任何一个而不同。

18、一种计算机可读记录介质，其上记录有用于编辑通过对对象进行拍照而获得的图像的程序，该程序使计算机能够执行以下功能：

从所获得的图像中检测对象的脸部图像的功能；

基于所检测到的脸部图像来检测对象的瞳孔图像的功能；以及

根据所检测到的脸部的方向和表情中的任何一个在所检测到的瞳孔图像上合成不同的反光的功能。

19、根据权利要求18所述的记录介质，其特征在于，这些反光的形状、大小、颜色以及合成位置中的至少任何一个根据脸部的方向和表情中的任何一个而不同。

20、根据权利要求18所述的记录介质，其特征在于，该程序使计算机能够执行以下功能：

基于所检测到的脸部图像来检测对象眼睛的方向的功能；以及

根据所检测到的脸部的方向、表情以及眼睛的方向中的至少任何一个来合成不同的反光的功能。

21、根据权利要求18所述的记录介质，其特征在于，这些反光的形状、大小、颜色以及合成位置中的至少任何一个根据脸部的方向和表情以及眼睛的方向中的任何一个而不同。

22、一种图像编辑装置，该图像编辑装置的特征在于包括：

检测电路，其从图像输入单元所获得的图像中检测对象的脸部图像，基于所检测到的脸部图像来检测对象脸部的方向和表情中的至少任何一个，并基于所检测到的脸部图像来检测对象的瞳孔图像；以及

反光合成单元，其根据所检测到的脸部的方向和表情中的任何一个在所检测到的瞳孔图像上合成不同的反光。

23、根据权利要求22所述的图像编辑装置，其特征在于，这些反光的形状、大小、颜色以及合成位置中的至少任何一个根据脸部的方向和表情中的任何一个而不同。

24、根据权利要求22所述的图像编辑装置，该图像编辑装置的特征在于还包括眼睛检测单元，该眼睛检测单元基于该检测单元所检测到的脸部图像来检测对象眼睛的方向，其中

该反光合成单元根据该检测电路所检测到的脸部的方向、表情以及该眼睛检测单元所检测到的眼睛的方向中的至少任何一个来合成不同的反光。

25、根据权利要求24所述的图像编辑装置，其特征在于，这些反光的形状、大小、颜色以及合成位置中的至少任何一个根据脸部的方向和表情以及眼睛的方向中的任何一个而不同。