CN101534387B - 摄影装置及摄影装置的图像合成方法 - Google Patents

Abstract

本发明提供摄影装置及摄影装置的图像合成方法。一种摄影装置，具有：原图像指定部，其把摄影部拍摄的摄影图像中的、拍摄了包括脸部的被摄体的摄影图像指定为原图像；加工图像指定部，其把摄影部拍摄的摄影图像中的要合成到原图像中的摄影图像指定为加工图像；图像合成指示部，其指示向原图像合成加工图像；眼睛检测部，其从原图像检测脸部区域，以该脸部区域的检测结果为基础来检测眼睛区域；合成位置设定部，其以由眼睛检测部检测出的眼睛区域的位置为基础，设定原图像中的合成位置；图像加工部，其加工加工图像；图像合成部，其把由图像加工部加工过的加工图像合成到原图像中的合成位置，生成合成图像；合成图像显示控制部，其进行在显示部上显示合成图像的控制。

Description

摄影装置及摄影装置的图像合成方法

对相关申请的交叉引用

本申请以在2008年3月14日提出的日本专利申请第2008-066004号为基础并对其主张优先权，并将其全部内容引用于此。

技术领域

本发明涉及一种具有拍摄被摄体的摄影部的摄影装置及该摄影装置的图像合成方法。

背景技术

以往，已经知道进行肖像摄影的方法之一的摄影光线(catch light)拍摄。该摄影光线拍摄例如使用光源等在摄影时向被摄体照射光，从而使摄影光线映入被摄体的眼睛，可以使人物的表情生动逼真。但是，为了进行摄影光线拍摄需要光源等，并且要求摄影者的熟练技术，所以不容易实施。作为解决这种问题的技术，已经知道检测图像中的眼睛区域并实施加工处理的方法。例如日本特开2006-53718号公报公开了一种技术，通过在眼睛区域中的瞳孔部分粘贴装饰图案，使眼睛产生摄影光线。

发明内容

本发明的一个方式涉及的摄影装置具有拍摄被摄体的摄影部，其特征在于，具有：原图像指定部，其把所述摄影部拍摄的摄影图像中的、拍摄了包括脸部的被摄体的摄影图像指定为原图像；加工图像指定部，其把所述摄影部拍摄的摄影图像中的要合成到所述原图像中的摄影图像指定为加工图像；图像合成指示部，其指示向所述原图像合成所述加工图像；眼睛检测部，其从所述原图像检测脸部区域，以该脸部区域的检测结果为基础来检测眼睛区域；合成位置设定部，其以由所述眼睛检测部检测的眼睛区域的位置为基础，设定所述原图像中的合成位置；图像加工部，其加工所述加工图像；图像合成部，其把由所述图像加工部加工过的所述加工图像合成到所述原图像中的合成位置，生成合成图像；合成图像显示控制部，其进行在显示部上显示所述合成图像的控制。

并且，本发明的其他方式涉及的摄影装置的图像合成方法，该摄影装置具有拍摄被摄体的摄影部，所述图像合成方法的特征在于，包括：原图像指定步骤，把所述摄影部拍摄的摄影图像中的、拍摄了包括脸部的被摄体的摄影图像指定为原图像；加工图像指定步骤，把所述摄影部拍摄的摄影图像中的要合成到所述原图像中的摄影图像指定为加工图像；图像合成指示步骤，指示向所述原图像合成所述加工图像；眼睛检测步骤，从所述原图像中检测脸部区域，以该脸部区域的检测结果为基础来检测眼睛区域；合成位置设定步骤，以在所述眼睛检测步骤检测出的眼睛区域的位置为基础，设定所述原图像中的合成位置；图像加工步骤，加工所述加工图像；图像合成步骤，把在所述图像加工步骤加工过的所述加工图像合成到所述原图像中的合成位置，生成合成图像。

通过使用附图进行的以下的发明的具体说明，将明确本发明的上述及其他目的、特征和优点。

附图说明

图1是数码照相机的背面图。

图2是表示数码照相机的系统结构的方框图。

图3是表示变形加工处理部的结构的方框图。

图4是说明摄影光线的合成原理的说明图。

图5是表示缩小处理后的模板图像的一例的图。

图6是表示对图5所示的缩小处理后的模板图像实施变形加工处理后的变形加工图像的一例的图。

图7是表示数码照相机的基本动作的流程图。

图8是表示数码照相机的再现模式动作的流程图。

图9是表示合成处理的具体处理步骤的流程图。

图10是表示数码照相机的第1操作例的画面转移示例的图。

图11是表示数码照相机的第1操作例的画面转移示例的图。

图12是表示数码照相机的第1操作例的画面转移示例的图。

图13是表示数码照相机的第1操作例的画面转移示例的图。

图14是表示数码照相机的第1操作例的画面转移示例的图。

图15是表示数码照相机的第2操作例的画面转移示例的图。

图16是表示数码照相机的第2操作例的画面转移示例的图。

图17是说明变形例中的变形中心的设定方法的图。

图18是说明变形例中的变形中心的设定方法的图。

图19是说明变形例中的摄影光线的合成原理的说明图。

图20是说明变形加工处理的变形例的图。

具体实施方式

以下，参照附图具体说明本发明的优选实施方式。在本实施方式中，举例说明把本发明的摄影装置适用于数码照相机的情况。

图1是数码照相机的背面图。如图1所示，数码照相机1具有设于照相机主体2的上表面的用于指示摄影定时的快门按钮(快门释放按钮)3。并且，具有设于照相机主体2的背面的电源按钮4和菜单按钮5、具有上下左右各个方向的按钮的十字按钮6、确定操作内容等用的OK按钮7、显示各种画面的显示部24等。十字按钮6由向上按钮、向下按钮、向左按钮和向右按钮构成。并且，虽然没有图示，但在照相机主体2的前表面设有摄像镜头等。

图2是表示该数码照相机1的系统结构的方框图。如图2所示，数码照相机1具有摄像元件11、镜头系统单元12、镜头驱动电路13、摄像电路14、SDRAM15、AE部16、AF部17、图像处理部18、作为眼睛检测部的器官检测部20、CPU21、内置存储器22、显示驱动电路23、显示部24、通信I/F25、操作部26、可装卸存储器27、电源电路28、电池29。并且，摄像电路14、镜头驱动电路13、作为存储部的SDRAM(SynchronousDynamic Random Access Memory)15、AE部16、AF部17、图像处理部18、器官检测部20、CPU21、显示驱动电路23和可装卸存储器27构成为通过总线30连接。摄像元件11和镜头系统单元12、镜头驱动电路13、摄像电路14构成拍摄被摄体的摄影部。

摄像元件11例如是CCD(Charge Coupled Device)或CMOS(Complementary Metal Oxide Semiconductor)等图像传感器，对通过镜头系统单元12入射的被摄体像进行光电转换，并输出模拟电气信号。

镜头系统单元12具有包括AF(Auto-Focus)用透镜和变焦用透镜等的摄像镜头、光圈、快门等，镜头驱动电路13在CPU21的控制下驱动镜头系统单元12。

摄像电路14对从摄像元件11输出的模拟电气信号进行CDS(Correlated Double Sampling，相关双采样)和AGC(Automatic GainControl，自动增益控制)等模拟信号处理。然后，在转换为数字电气信号的同时，对该数字电气信号进行像素插值处理和颜色校正处理等数字信号处理，并作为图像数据输出。该图像数据被临时存储在SDRAM(Synchronous Dynamic Random Access Memory)15中。

SDRAM15用于临时存储从摄像电路14输出的图像数据和图像处理部18正在处理的图像数据等。例如，临时存储在摄影定时从摄像电路14输出的静态图像(以下称为“摄影图像”)的图像数据、和实时浏览图像(实时图像)的图像数据等。在数码照相机1的模式之一即摄影模式等时，成像于摄像元件11上的被摄体像以动态图像形式实时地显示在显示部24上，实时浏览就是指该图像。

AE部16以从摄像电路14输出的图像数据为基础进行自动曝光。AF部17以从摄像电路14输出的图像数据为基础进行自动焦点调节。

图像处理部18对从摄像电路14输出的图像数据实施各种图像处理，并且进行转换为适合于记录用、显示用、摄影光线合成用等的图像数据的处理。例如，在记录摄影图像的图像数据时或者在显示所记录的图像数据等时，进行基于JPEG(Joint Photographic Experts Group)方式等的图像数据的压缩处理和解压缩处理。并且，进行对图像数据进行加工使其变形的变形加工处理。并且进行使像素数增减而扩大或缩小图像数据的尺寸调整处理。另外进行切取图像数据的修剪处理。另外进行调整各个像素的亮度成分和颜色成分的亮度调整处理。除此之外，还进行颜色调整处理和透明处理等针对图像数据的各种图像处理。该图像处理部18包括进行变形加工处理的变形加工处理部181。图3是表示变形加工处理部181的结构的方框图。如图3所示，变形加工处理部181把加工图像中的预定位置作为变形中心，进行使该加工图像以预定的变形率变形的处理。该变形加工处理部181具有坐标生成部183和变形加工坐标转换部185。坐标生成部183生成将要实施变形加工处理的加工对象的摄影图像(加工图像)的原坐标(x，y)。变形加工坐标转换部185使用作为公知技术的变形加工的方法，把坐标生成部183生成的原坐标(x，y)转换为变形加工坐标(x’，y’)并输出。该变形加工处理部181通过控制寄存器191被控制动作，所得到的变形加工坐标(x’，y’)被存储在结果存储用寄存器193中。

器官检测部20以摄影图像的图像数据为基础，使用作为公知技术的模式匹配(pattern matching)来检测该图像数据中的脸部的区域(脸部区域)，以该脸部区域的检测结果为基础，检测左右眼睛和鼻子、嘴唇等各个脸部要素。在本实施方式中，器官检测部20以脸部区域的检测结果为基础来检测左右眼睛的区域(眼睛区域)，以该眼睛区域的检测结果为基础，确定眼睛的大小、形状和视线(视轴)的方向。视线方向的确定可以使用合适的公知方法进行。例如，检测眼睛区域中的瞳孔部分和瞳孔周边的虹膜部分即黑眼球的位置。并且，可以将是否检测到左右两个眼睛区域、检测到的眼睛区域相对于脸部区域的位置、鼻子和嘴唇等其他脸部要素相对于脸部区域的位置、黑眼球相对于眼睛区域的位置等进行组合来进行确定。把包括检测到的人物图像中的脸部区域的位置坐标、眼睛区域的位置坐标、和眼睛的大小、形状及视线方向的脸部要素的数据存储在SDRAM15中。

CPU21根据来自操作部26的操作信号等，从内置存储器22读出照相机程序并执行，进行针对构成数码照相机1的各个部分的指示或数据的传送等，从而统一地控制数码照相机1的动作。内置存储器22例如是闪存等可以电气改写的非易失性存储器。在该内置存储器22中预先记录有使数码照相机1动作并实现该数码照相机1具有的各种功能的各种照相机程序、和在执行该照相机程序的过程中使用的数据等。

显示驱动电路23在CPU21的控制下，驱动显示部24。

显示部24除了摄影图像和实时浏览图像外，还显示数码照相机1的各种设定信息等，利用LCD(Liquid Crystal Display)或EL显示器(Electroluminescence Display)等显示装置实现。在该显示部24上，在摄影模式时例如按照每1帧重新描画实时浏览图像，并以动态图像形式连续显示，在再现模式时显示摄影图像。

操作部26用于接收摄影定时的指示、摄影模式和再现模式的模式设定操作、摄影条件的设定操作等由用户进行的各种操作，将操作信号通知CPU21。例如，利用被分配了各种功能的按钮开关等实现。该操作部26包括图1中的快门按钮3、电源按钮4、菜单按钮5、十字按钮6和OK按钮7。

通信I/F25是例如按照USB(Universal Serial Bus)等通信规范，将数码照相机1与例如电脑等外部设备连接的接口。

可装卸存储器27例如是xD-图像卡(xD-picture card)(注册商标)或袖珍闪存(注册商标)卡等可以在数码照相机1上自由装卸的存储卡。在该可装卸存储器27中，利用与其类型对应的未图示的读写装置写入摄影图像的图像数据，或者利用读写装置读出记录在可装卸存储器27中的图像数据。

电源电路28将由所安装的电池29提供的电力转换为预定的电力，提供给数码照相机1的各个部分。

在此，说明如上所述构成的数码照相机1的功能之一的摄影光线合成功能的概况。本实施方式的数码照相机1把拍摄了包括人物等的脸部在内的被摄体的摄影图像作为原图像，进行在该原图像中的眼睛区域合成摄影光线的处理。此时，把数码照相机1的用户过去拍摄的摄影图像加工为加工图像(以下在本实施方式中称为“模板图像”)。并且，把加工后的模板图像作为摄影光线合成到原图像中的眼睛区域中。

图4是说明摄影光线的合成原理的说明图。在合成摄影光线时，事前检测原图像中的眼睛区域，确定眼睛的大小、形状和视线方向。并且，以所确定的眼睛的视线方向为基础，求出眼睛区域中的瞳孔的基准位置，把该瞳孔的基准位置设定为合成位置。并且，以所确定的眼睛的大小、形状和视线方向为基础来加工模板图像，并将加工的模板图像合成到原图像中的眼睛区域的合成位置。在此，在检测到左右两个眼睛区域时，分别在左右两个眼睛区域设定合成位置，以对应的眼睛的大小、形状和视线方向为基础，单独地加工模板图像，并合成到对应的合成位置。

即，首先如图4所示，对模板图像I1实施缩小处理，以与所确定的眼睛的大小对应的缩小率α(α＜1)将模板图像I1缩小(A)。然后，对缩小处理后的模板图像I3实施变形加工处理，进行把缩小处理后的模板图像I3的例如中心作为变形中心的变形加工，并生成变形加工图像I5(B)。此时，通过变形加工处理部181将缩小后的模板图像I3中的例如原坐标P1(x，y)转换为变形加工坐标P3(x’，y’)。图5是表示缩小处理后的模板图像I11的一例的图。图6是表示对图5所示的缩小处理后的模板图像实施变形加工处理后的变形加工图像I13的一例的图。对缩小处理后的模板图像I11实施变形加工处理是为了将加工后的模板图像最终合成到拍摄到球面状眼球的眼睛区域中。例如，使缩小处理后的模板图像I11以预先设定的预定变形率变形，生成图6所示的变形加工图像I13。由此，可以使合成后的图像不会产生不自然感。

然后，如图4所示，对变形加工图像I5实施修剪处理，按照所确定的眼睛的形状，以不从眼睛区域超出的方式切取变形加工图像I5的外形。具体地讲，首先按照根据所确定的眼睛的视线方向求出的瞳孔的基准位置(在本实施方式中指合成位置)，设定变形加工图像中的切取位置。例如，如果所确定的眼睛的视线方向朝向正面，则按照图4中的修剪处理(C-1)的上部所示，求出眼睛区域E1中的黑眼球的中心作为瞳孔的基准位置P5。然后，在这种情况下，根据所求出的瞳孔的基准位置P5相对于眼睛区域E1的相对位置，设定变形加工图像I5中的切取位置P6。由此，按照与瞳孔的基准位置P5相对于眼睛区域E1的相对位置大致一致的方式将切取位置P6设定在变形加工图像I5的中心附近。对此，例如在视线方向为横向朝向右侧时，按照图4中的修剪处理(C-2)的上部所示，瞳孔的基准位置P7被求出为比黑眼球的中心偏向右侧的位置。然后在这种情况下，根据瞳孔的基准位置P7相对于眼睛区域E3的相对位置，设定变形加工图像I5中的切取位置P8。由此，在变形加工图像I5中，在比其中心偏向右侧的位置设定切取位置P8。

并且，如图4中的修剪处理(C-1)的下部所示，把所求出的切取位置P6作为中心，按照预先设定的预定的修剪形状切取变形加工图像I7。或者，按照图4中的修剪处理(C-2)的下部所示，把所求出的切取位置P8作为中心，按照预先设定的预定的修剪形状切取变形加工图像I9。在图示的例子中，把修剪形状设为圆形。具体地讲，以确定的眼睛的形状为基础来确定修剪形状的尺寸，以使其不超出眼睛区域，按照所确定的尺寸进行变形加工图像I5的切取。

最后，把修剪处理后的变形加工图像I7、I9合成到瞳孔的基准位置P5、P7即原图像中的眼睛区域的合成位置。此时，当原图像中的改写对象位置是黑眼球的位置时，按照修剪处理后的变形加工图像的颜色成分和亮度成分进行改写。另一方面，当不是黑眼球的位置时(是眼白的位置时)，如果修剪处理后的变形加工图像比原图像中的改写对象位置明亮，则只改写亮度成分。例如，在图4中的合成处理(D-1)中，对黑眼球的范围E5改写修剪处理后的变形加工图像I7的颜色成分和亮度成分。并且，如果修剪处理后的变形加工图像I7比原图像中的改写对象位置明亮，则对眼白的范围E6只改写变形加工图像I7的亮度成分。另一方面，在图4中的合成处理(D-2)中，由于修剪处理后的变形加工图像I9的改写对象位置全部在黑眼球的范围E7内，所以改写修剪处理后的变形加工图像I9的颜色成分和亮度成分。由此，即使将修剪处理后的变形加工图像合成到眼白的位置，也能够使合成图像不会产生不自然感。

下面，说明数码照相机1的动作。图7是表示数码照相机1的基本动作的流程图。如图7所示，数码照相机1在电源按钮4被按下而接通电源(电源ON)后(步骤a1：是)，转入电源接通状态(步骤a3)。

并且，在进行了菜单操作时(菜单按钮5被按下时)(步骤a5：是)，转入菜单动作(步骤a7)。在该菜单动作中，CPU21开始菜单处理，使显示部24显示菜单画面，提示模式的设定菜单和各种摄影条件的设定菜单等的菜单项目。并且，CPU21进行与通过用户操作而选择的菜单项目对应的处理，按照来自操作部26的操作信号执行用于进行模式的设定和摄影条件的设定/变更等的处理。通过这些菜单处理，例如可以设定摄影模式和再现模式等模式。

如果没有进行菜单操作(步骤a5：否)，则转入与当前设定的模式对应的动作。即，在当前的模式是摄影模式时(步骤a9：是)，转入摄影模式动作(步骤a11)。在此，当转入了摄影模式动作时，成为使显示部24持续进行实时浏览图像的显示的实时浏览图像显示状态。即，反复进行把成像于摄像元件11的被摄体像的图像数据临时存储在SDRAM 15中，同时在显示部24上显示该图像数据的一系列处理，以动态图像形式连续显示实时浏览图像。并且，例如在快门按钮3被按下的定时进行摄影处理，把此时的摄影范围的图像生成为摄影图像。另一方面，在当前的模式不是摄影模式(步骤a9：否)而是再现模式时(步骤a13：是)，转入再现模式动作(步骤a15)。此时，CPU21例如进行读出记录在可装卸存储器27中的摄影图像的图像数据并在显示部24上再现显示的控制。并且，在当前的模式不是再现模式(步骤a13：否)而是其他模式时(步骤a17：是)，转入对应于该模式的动作(步骤a19)。

并且，在电源按钮4被按下而断开电源时(电源OFF)(步骤a21：是)，数码照相机1转入电源断开状态(步骤a23)，结束基本动作。如果电源没有断开(步骤a21：否)，则返回步骤a5。

下面，说明再现模式时的数码照相机1的再现模式动作。图8是表示数码照相机1的再现模式动作的流程图。在转入再现模式动作后，CPU21开始再现模式处理。CPU21首先进行再现菜单处理，使显示部24显示再现模式的菜单项目，并接受该选择操作(步骤b1)。并且，在选择了摄影光线合成菜单以外的菜单项目时(步骤b3：否)，转入对应于所选择的菜单项目的再现动作(步骤b5)，然后返回图7中的步骤a15，转入步骤a21。

另一方面，在选择了摄影光线合成菜单时(步骤b3：是)，CPU21作为摄影图像显示控制部，进行使显示部24依次显示记录在可装卸存储器27中的摄影图像而进行再现的控制。并且，接受合成摄影光线的原图像的选择操作。具体地讲，CPU21在十字按钮6被按下时(步骤b7：是)，进行原图像切换处理，切换将要再现的摄影图像并对显示部24进行显示控制(步骤b9)。并且，在OK按钮7被按下时(步骤b11：是)，CPU21作为原图像指定部，把正在显示的摄影图像指定为原图像(步骤b13)。如果没有按下OK按钮7(步骤b11：否)，则返回步骤b7。用户从摄影图像中将拍摄了包括人物等的脸部在内的被摄体的摄影图像指定为原图像。

然后，CPU21作为摄影图像显示控制部，再次进行使显示部24依次显示记录在可装卸存储器27中的摄影图像而进行再现的控制，接受合成到在步骤b13指定的原图像中的模板图像的选择操作。具体地讲，CPU21在十字按钮6被按下时(步骤b14：是)，进行模板图像切换处理，切换将要再现的摄影图像并对显示部24进行显示控制(步骤b15)。并且，在OK按钮7被按下时(步骤b17：是)，CPU21作为加工图像指定部，把正在显示的摄影图像指定为模板图像(步骤b19)。如果没有按下OK按钮7(步骤b17：否)，则返回步骤b14。用户从摄影图像中把作为摄影光线而合成到在原图像中拍摄到的被摄体的眼睛区域中的摄影图像指定为模板图像。

并且，如果这样按照用户的选择操作指定了原图像和模板图像，则CPU21作为图像合成指示部控制合成处理的开始。然后，CPU21生成把模板图像作为摄影光线合成到原图像的眼睛区域中的合成图像(步骤b21)。并且，CPU21作为合成图像显示控制部，进行在显示部24显示所生成的合成图像的控制(步骤b23)，并且进行把该合成图像记录在作为记录部的可装卸存储器27中的控制(步骤b25)。然后，返回图7中的步骤a15，转入步骤a21。

图9是表示合成处理的具体处理步骤的流程图。如图9所示，在合成处理中，首先器官检测部20进行器官检测处理，从原图像检测脸部区域，并且以该脸部区域的检测结果为基础，检测左右眼睛区域等的脸部要素(步骤c1)。此时，器官检测部20检测所检测到的眼睛区域中的黑眼球的位置。并且，器官检测部20以眼睛区域的检测结果为基础，确定左眼的大小、形状和视线方向(步骤c3)，确定右眼的大小、形状和视线方向(步骤c5)。在此，在原图像是拍摄了侧脸的摄影图像等时，如果在步骤c1检测出的眼睛区域是一个，则对这一个眼睛区域确定眼睛的大小、形状和视线方向。

然后，图像处理部18作为合成位置设定部，例如以在步骤c3和步骤c5中确定的眼睛的视线方向为基础，求出眼睛区域中的瞳孔的基准位置，把该瞳孔的基准位置作为合成位置(步骤c7)。此时，在检测到左右眼睛区域时，把该瞳孔的基准位置分别设定为合成位置。并且，图像处理部18对所检测出的眼睛区域(在检测到左右眼睛区域时分别对各个眼睛区域独立地)依次执行步骤c9～步骤c13的处理。这样，作为图像加工部加工模板图像，而作为图像合成部把加工后的模板图像作为摄影光线合成到在原图像中的对应的眼睛区域中设定的合成位置。

即，首先图像处理部18进行模板图像的缩小处理(步骤c9)。此时，以在步骤c3和步骤c5确定的眼睛的大小为基础，确定缩小率α，按照该缩小率α将模板图像缩小。然后，在图像处理部18中，变形加工处理部181把缩小处理后的模板图像的例如中心作为变形中心，进行变形加工处理(步骤c11)。通过此处的处理，变形加工处理部181对缩小处理后的模板图像进行变形加工，生成变形加工图像。然后，图像处理部18进行变形加工图像的修剪处理(步骤c13)。具体地讲，首先按照根据在步骤c3和步骤c5确定的眼睛的视线方向求出的瞳孔的基准位置，以瞳孔的基准位置相对于对应的眼睛区域的相对位置为基础，设定变形加工图像中的切取位置。另外，在本实施方式中，在步骤c7设定的合成位置相当于瞳孔的基准位置。并且，以在步骤c3和步骤c5确定的眼睛的形状为基础，进行把所设定的切取位置作为中心的变形加工图像的切取，按照变形加工图像的外形不超出对应的眼睛区域的方式进行切取。

然后，图像处理部18依次把修剪处理后的变形加工图像的像素设定为处理像素(步骤c14)。并且，图像处理部18以原图像中的眼睛区域的合成位置为基础，判定原图像中的与所设定的处理像素对应的改写对象位置的像素是否是黑眼球的位置。如果是黑眼球的位置(步骤c15：是)，则图像处理部18利用处理像素的颜色成分和亮度成分来改写原图像中的改写对象位置的像素的颜色成分和亮度成分，从而进行合成(步骤c17)，并转入步骤c23。在不是黑眼球的位置时，即是眼白的位置时(步骤c15：否)，图像处理部18接着比较原图像中的改写对象位置的像素的亮度成分和处理像素的亮度成分。并且，在改写对象位置的像素的亮度大于等于处理像素的亮度时(步骤c19：否)，转入步骤c23。另一方面，在改写对象位置的像素的亮度小于处理像素的亮度时(步骤c19：是)，利用处理像素的亮度成分来改写原图像中的改写对象位置的像素的亮度成分，从而进行合成(步骤c21)。然后，转入步骤c23。

并且，在步骤c23，判定是否已把修剪处理后的变形加工图像的全部像素作为处理像素进行了步骤c15～步骤c21的处理。在尚未处理完全部像素时(步骤c23：否)，把下一个像素设定为处理像素(步骤c25)，返回步骤c15。在已处理完全部像素时(步骤c23：是)，返回图8中的步骤b21，然后转入步骤b23。

下面，说明在原图像的眼睛区域将模板图像进行摄影光线合成时的数码照相机1的操作例。图10～图14是表示在选择了摄影光线合成菜单时显示在显示部24上的显示画面的迁移示例的图，表示在原图像的眼睛区域将模板图像进行摄影光线合成时的数码照相机1的第1操作例。当把模式切换为再现模式，从再现菜单选择了摄影光线合成菜单后，首先如图10所示，在画面中央的摄影图像显示区域E21中，显示并再现过去拍摄并记录在可装卸存储器27中的摄影图像。并且，按照用户操作切换该摄影图像显示区域E21的最前面的摄影图像，并依次显示摄影图像。具体地讲，用户按下十字按钮6，切换摄影图像显示区域E21的最前面的摄影图像。并且，通过在拍摄了包括人物等的脸部在内的被摄体的期望的摄影图像显示在最前面的状态下按下OK按钮7，从而进行原图像的选择操作。例如当在图10所示的状态下按下OK按钮7时，如图11所示，摄影图像显示区域E21的最前面的摄影图像I21被实施演出显示，使其一边向画面左上方的原图像显示区域E23移动一边分阶段地缩小。并且，最终摄影图像I21被缩小显示在原图像显示区域E23上，该摄影图像I21被指定为原图像。

在指定了原图像后，如图12所示，在原图像的摄影图像I21被缩小显示在画面左上方的原图像显示区域E23上的状态下，在画面中央的摄影图像显示区域E21中再次再现显示摄影图像。并且，按照用户操作切换该摄影图像显示区域E21的最前面的摄影图像，并依次显示摄影图像。用户按照与指定原图像相同的要领，按下十字按钮6，从而切换摄影图像显示区域E21的最前面的摄影图像。并且，通过在所期望的摄影图像被显示在最前面的状态下按下OK按钮7，由此进行模板图像的选择操作。例如，当在图12所示的状态下按下OK按钮7时，如图13所示，摄影图像显示区域E21的最前面的摄影图像I23被实施演出显示，使其一边向画面左下方的模板图像显示区域E25移动一边分阶段地缩小。并且，最终摄影图像I23被缩小显示在模板图像显示区域E25上，该摄影图像I23被指定为模板图像。

在指定了模板图像后，作为内部处理进行图9所示的合成处理，并依次实施缩小处理、变形加工处理和修剪处理。然后，生成把加工后的模板图像即摄影图像I23作为摄影光线分别合成到原图像即摄影图像I21的左右眼睛区域而得到的合成图像I25。并且，如图14所示，原图像的摄影图像I21被缩小显示在画面左上方的原图像显示区域E23。另外，在模板图像的摄影图像I23被缩小显示在画面左下方的模板图像显示区域E25的状态下，在画面中央显示所生成的合成图像I25。该合成图像I25是在其眼睛区域中将实施了包括按照图6所示说明的变形加工处理在内的加工后的摄影图像I23作为摄影光线进行合成而得到的图像。并且，此时当按下了OK按钮7时，合成图像I25被记录在可装卸存储器27中。

根据该第1操作例具有以下效果，可以在相同画面上同时确认把加工后的模板图像作为摄影光线合成到所指定的原图像的眼睛区域中而得到的合成图像、和指定为原图像及模板图像的各个摄影图像。并且，在进行原图像的选择操作时，摄影图像显示在画面中央。在进行模板图像的选择时，缩小显示已经指定的原图像，画面中央的摄影图像被显示得大于原图像。这样，在从摄影图像中选择原图像或模板图像时，容易目视辨认摄影图像。另外，在指定原图像及模板图像后，缩小显示所指定的原图像及模板图像，画面中央的合成图像被显示得大于原图像和模板图像。由此，用户容易确认合成图像。

并且，图15和图16是表示选择了摄影光线合成菜单时显示在显示部24上的显示画面的其他迁移示例的图，表示在原图像的眼睛区域将模板图像进行摄影光线合成时的数码照相机1的第2操作例。

第2操作例是把模式切换为再现模式，从再现菜单选择摄影光线合成菜单时的操作例。首先，如图15所示，在画面左上方的原图像指定区域E31中，显示并再现过去拍摄并记录在可装卸存储器27中的摄影图像。并且，按照用户操作切换该原图像指定区域E31的最前面的摄影图像，并依次显示摄影图像。用户通过按下十字按钮6切换原图像指定区域E31的最前面的摄影图像，通过在使拍摄了包括脸部的被摄体的所期望的摄影图像显示在最前面的状态下按下OK按钮7，由此进行原图像的选择操作。

并且，例如当在图15所示的状态下按下OK按钮7时，该原图像指定区域E31的最前面的摄影图像I31被指定为原图像。然后如图16所示，在原图像的摄影图像I31被缩小显示在画面左上方的原图像显示区域E33上的状态下，在画面左下方的模板图像指定区域E35再现显示摄影图像。并且按照用户操作切换该模板图像指定区域E35的最前面的摄影图像，并依次显示摄影图像。在此，用户通过按下十字按钮6切换模板图像指定区域E35的最前面的摄影图像，可以把所期望的摄影图像指定为模板图像。另外，在第2操作例中，每当在模板图像指定区域E35中切换最前面的摄影图像时，就在画面中央的合成图像显示区域E37预览显示合成图像。具体地讲，作为内部处理，进行模板图像指定区域E35的最前面的摄影图像I33的加工，并作为摄影光线合成到原图像即摄影图像I31的眼睛区域中的处理。结果，在画面中央的合成图像显示区域E37显示所生成的合成图像I35。例如如果在图16所示的状态下按下OK按钮7，则合成图像I35被记录在可装卸存储器27中。另一方面，在没有按钮OK按钮7、而按下十字按钮6时，模板图像指定区域E35的最前面的摄影图像被切换。并且，作为内部处理，进行在模板图像指定区域E35中被重新显示在最前面的摄影图像的加工，并作为摄影光线合成到原图像即摄影图像I31的眼睛区域中的处理。结果，画面中央的合成图像显示区域E37的显示被更新，并显示重新生成的合成图像。

根据该第2操作例，可以在指定了原图像的状态下，在模板图像指定区域E35中切换模板图像。并且，可以实时地确认切换结果、即把模板图像作为摄影光线合成到所指定的原图像的眼睛区域中而得到的情况下的合成图像。根据指定的模板图像(具体地讲是指定的模板图像的亮度分布)合成图像当然不相同。但是，根据该第2操作例，可以在确认合成图像的同时指定合成到原图像中的模板图像。此时，可以在相同画面上同时确认合成图像和指定为原图像及模板图像的摄影图像。

如以上说明的那样，根据本实施方式，可以把摄影图像加工为模板图像，并作为摄影光线合成到拍摄了包括脸部的被摄体的摄影图像的眼睛区域中。在此，被用作模板图像的摄影图像可以从人物和风景等用户过去拍摄的摄影图像中任意选择，并且摄影图像具有自然的亮度分布。因此，可以发挥以下效果，即，不必事前根据由摄影图像得到的自然的亮度分布准备作为摄影光线合成到眼睛区域中的素材，利用简单的结构即可实现自然的摄影光线合成。并且，以眼睛的大小、形状和视线方向为基础对模板图像实施缩小处理、变形加工处理、修剪处理等来进行加工，所以能够实现更自然的摄影光线。

以上说明了本发明的优选实施方式，但本发明不限于上述情况，可以在不脱离发明宗旨的范围内进行适当变更。

例如，在上述的实施方式中，说明了把变形加工处理时的变形中心作为缩小处理后的模板图像的中心的情况。但除此之外，也可以按照根据眼睛的视线方向求出的瞳孔的基准位置，以瞳孔的基准位置相对于对应的眼睛区域的相对位置为基础，设定缩小处理后的模板图像中的变形中心。图17和图18是说明该情况时的变形中心的设定方法的图。例如，按照图17所示说明眼睛的视线方向朝向正面的情况。该情况时，把眼睛区域E41中的黑眼球的中心作为瞳孔的基准位置O41，按照与瞳孔的基准位置O41相对于眼睛区域E41的相对位置大致一致的方式在缩小处理后的模板图像I41的中心附近设定变形中心O43。对此，例如在视线方向横向朝左侧时，按照图18所示，求出瞳孔的基准位置O45为比黑眼球的中心偏向左侧的位置。并且在这种情况下，根据瞳孔的基准位置O45相对于眼睛区域E43的相对位置，设定缩小处理后的模板图像I43中的变形中心O47。

图19是说明本变形例的摄影光线的合成原理的说明图。在本变形例中，与上述实施方式相同，首先对模板图像I51实施缩小处理(E)。然后，按照图17、图18说明的那样，根据瞳孔的基准位置相对于眼睛区域的相对位置，设定缩小处理后的模板图像I51中的变形中心，按照该变形中心进行变形加工，生成变形加工图像I55(F)。在图示的例子中，通过变形加工处理部181将缩小后的模板图像I53中的例如原坐标P51(x，y)转换为变形加工坐标P53(x’，y’)。然后按照图19所示，对变形加工图像I55实施修剪处理，按照确定的眼睛的形状，以不从眼睛区域超出的方式切取变形加工图像I55的外形(G)。具体地讲，把变形加工图像I55中的例如变形中心作为切取位置P55，以该切取位置P55为中心进行变形加工图像I55的切取。最后，把修剪处理后的变形加工图像I57合成到原图像中的眼睛区域中的瞳孔的基准位置P57即合成位置上(H)。

并且，在上述实施方式中，说明了在变形加工处理时使缩小后的模板图像变形以便与其矩形形状内切的情况，但不限于此。图20是说明变形加工处理的变形例的图。例如，进行把缩小后的模板图像I61中的例如原坐标P61(x，y)转换为变形加工坐标P63(x’，y’)的变形加工。另外，也可以使缩小后的模板图像I61变形以便与其矩形形状内切，并生成变形加工图像I63。

并且，也可以以瞳孔(黑眼球)的大小和形状为基础，按照不从瞳孔超出的方式对变形加工图像进行修剪处理。由此，可以把加工后的模板图像作为摄影光线合成到眼睛区域的瞳孔部分。该情况时，还可以按照沿着瞳孔的外形的方式确定修剪处理时的修剪形状。

并且，还可以构成为在把加工后的模板图像作为摄影光线合成到原图像中的眼睛区域中，然后按照用户操作微调该摄影光线的位置。例如，在图8中的步骤b23，控制合成图像显示在显示部24上后，在步骤b25记录合成图像之前，进行在显示部24上显示接受摄影光线位置的微调的信息的控制。并且，也可以例如利用十字按钮6接受摄影光线位置的上下左右这四个方向的微调，利用OK按钮7确定操作。

并且，在上述实施方式中说明了按照预定的变形率进行变形加工处理的情况，还可以按照例如眼睛的大小、形状、视线方向或根据该视线方向计算的瞳孔的基准位置等，改变变形率。该情况时，也可以预先将该变形率存储在内置存储器22或SDRAM15中。

并且，在上述实施方式中说明了把修剪形状设为圆形进行修剪处理的情况，但修剪形状也可以是椭圆形等其他形状。并且，还可以构成为预先在内置存储器22或SDRAM15中存储多种模式(pattern)的修剪形状，按照例如眼睛的大小、形状、视线方向或根据该视线方向计算的瞳孔的基准位置等，选择合适的修剪形状。

并且，在上述实施方式中说明了对被指定为模板图像的摄影图像实施变形加工处理、缩小处理和修剪处理的情况。对此，也可以适当实施亮度调整处理和颜色调整处理、透明处理等图像处理，来加工模板图像。并且，在对模板图像实施透明处理来进行加工时，也可以预先在内置存储器22或SDRAM15中存储在该透明处理时使用的透过率，按照该透过率对模板图像进行透明处理。

并且，在上述实施方式中，以眼睛的大小为基础对模板图像实施缩小处理，然后实施变形加工处理进行加工，但也可以先实施变形加工处理，然后以眼睛的大小为基础实施缩小处理。

并且，在上述实施方式中说明了首先从摄影图像中指定原图像，然后指定作为摄影光线合成到原图像的眼睛区域中的加工图像的情况，但也可以在指定加工图像后指定原图像。

根据实施方式涉及的摄影装置和摄影装置的图像合成方法，可以把具有自然的亮度分布的摄影图像加工为加工图像，并作为摄影光线合成到拍摄了包括脸部的被摄体的摄影图像的眼睛区域中。因此，可以发挥以下效果，即，不必事前准备作为摄影光线合成到眼睛区域中的素材，利用简单的结构即可实现自然的摄影光线在眼睛区域的合成。

本行业人员还可以容易导出进一步的效果及变形例。本发明的实施方式不限于以上说明的特定的实施方式。因此，可以在不超过附带的权利要求书及其同等物的发明精神的范围内进行各种变更。

Claims (17)

1.一种具有拍摄被摄体的摄影部的摄影装置，其特征在于，所述摄影装置具有：

原图像指定部，其把所述摄影部拍摄的摄影图像中的、拍摄了包括脸部的被摄体的摄影图像指定为原图像；

加工图像指定部，其把所述摄影部拍摄的摄影图像中的要合成到所述原图像中的摄影图像指定为加工图像；

图像合成指示部，其指示向所述原图像合成所述加工图像；

眼睛检测部，其从所述原图像中检测脸部区域，以该脸部区域的检测结果为基础来检测眼睛区域；

合成位置设定部，其以由所述眼睛检测部检测出的眼睛区域的位置为基础，设定所述原图像中的合成位置；

图像加工部，其对所述加工图像实施变形加工处理、缩小处理、修剪处理、亮度调整处理、颜色调整处理及透明处理中的至少一种处理；

图像合成部，其把由所述图像加工部加工过的所述加工图像合成到所述原图像中的合成位置上，生成合成图像；以及

合成图像显示控制部，其进行在显示部上显示所述合成图像的控制。

2.根据权利要求1所述的摄影装置，其特征在于，所述眼睛检测部以所述眼睛区域的检测结果为基础来确定眼睛的视线方向，

所述合成位置设定部以所述确定的眼睛的视线方向为基础，求出眼睛区域中的瞳孔的基准位置，把该瞳孔的基准位置设定为所述合成位置。

3.根据权利要求1所述的摄影装置，其特征在于，所述图像加工部进行把所述加工图像中的预定位置作为变形中心的所述加工图像的变形加工，作为所述变形加工处理。

4.根据权利要求3所述的摄影装置，其特征在于，所述图像加工部在所述变形加工处理时，在所述加工图像的中心设定变形中心。

5.根据权利要求3所述的摄影装置，其特征在于，所述眼睛检测部以所述眼睛区域的检测结果为基础来确定眼睛的视线方向，

所述图像加工部在所述变形加工处理时，按照根据所述确定的眼睛的视线方向求出的瞳孔的基准位置，以与所述瞳孔的基准位置相对于所述眼睛区域的相对位置大致一致的方式，设定所述加工图像中的变形中心。

6.根据权利要求1所述的摄影装置，其特征在于，所述眼睛检测部以所述眼睛区域的检测结果为基础来确定眼睛的大小，

所述图像加工部以所述确定的眼睛的大小为基础来进行所述加工图像的缩小，作为所述缩小处理。

7.根据权利要求1所述的摄影装置，其特征在于，所述眼睛检测部以所述眼睛区域的检测结果为基础来确定眼睛的形状，

所述图像加工部以所述确定的眼睛的形状为基础，进行把预定的切取位置作为中心的所述加工图像的切取，作为所述修剪处理。

8.根据权利要求7所述的摄影装置，其特征在于，所述图像加工部在所述修剪处理时，在所述加工图像的中心设定切取位置。

9.根据权利要求7所述的摄影装置，其特征在于，所述眼睛检测部以所述眼睛区域的检测结果为基础来确定眼睛的视线方向，

所述图像加工部在所述修剪处理时，按照根据所述确定的眼睛的视线方向求出的瞳孔的基准位置，以与所述瞳孔的基准位置相对于所述眼睛区域的相对位置大致一致的方式，设定所述加工图像中的切取位置。

10.根据权利要求1所述的摄影装置，其特征在于，所述摄影装置还具有加工数据存储部，该加工数据存储部存储在所述变形加工处理时使用的变形率、在所述缩小处理时使用的缩小率、在所述修剪处理时使用的修剪形状、和在所述透明处理时使用的透过率中的至少一方。

11.根据权利要求1所述的摄影装置，其特征在于，所述摄影装置具有记录由所述图像合成部合成的合成图像的记录部。

12.根据权利要求1所述的摄影装置，其特征在于，所述摄影装置具有摄影图像显示控制部，该摄影图像显示控制部进行在所述显示部上依次切换显示由所述摄影部拍摄的摄影图像的控制，

所述原图像指定部从由所述摄影图像显示控制部进行依次显示控制的摄影图像中，选择拍摄了包括脸部的被摄体的摄影图像，

所述加工图像指定部从由所述摄影图像显示控制部进行依次显示控制的摄影图像中，选择一个摄影图像来指定所述加工图像，

所述合成图像显示控制部进行与所述合成图像一起一并显示所述原图像和所述加工图像的控制。

13.根据权利要求12所述的摄影装置，其特征在于，所述合成图像显示控制部进行将所述合成图像显示得大于所述原图像和所述加工图像的控制。

14.根据权利要求12所述的摄影装置，其特征在于，在由所述原图像指定部指定了所述原图像的情况下，所述摄影图像显示控制部进行在使所述显示部显示该指定的原图像的状态下依次切换显示所述摄影图像的控制。

15.根据权利要求14所述的摄影装置，其特征在于，在由所述原图像指定部指定了所述原图像后，所述加工图像指定部把每次通过所述摄影图像显示控制部切换了所述摄影图像的显示时被重新显示控制的摄影图像指定为所述加工图像，

在每次由所述加工图像指定部指定了所述加工图像时，所述图像合成指示部指示向所述原图像合成所述加工图像。

16.根据权利要求14所述的摄影装置，其特征在于，所述摄影图像显示控制部在使所述显示部显示所述指定的原图像的状态下进行依次切换显示所述摄影图像的控制时，进行将所述摄影图像显示得大于所述原图像的控制。

17.一种摄影装置中的图像合成方法，该摄影装置具有拍摄被摄体的摄影部，其特征在于，该图像合成方法包括：

原图像指定步骤，把所述摄影部拍摄的摄影图像中的、拍摄了包括脸部的被摄体的摄影图像指定为原图像；

加工图像指定步骤，把所述摄影部拍摄的摄影图像中的要合成到所述原图像中的摄影图像指定为加工图像；

图像合成指示步骤，指示向所述原图像合成所述加工图像；

眼睛检测步骤，从所述原图像中检测脸部区域，以该脸部区域的检测结果为基础来检测眼睛区域；

合成位置设定步骤，以在所述眼睛检测步骤检测出的眼睛区域的位置为基础，设定所述原图像中的合成位置；

图像加工步骤，对所述加工图像实施变形加工处理、缩小处理、修剪处理、亮度调整处理、颜色调整处理及透明处理中的至少一种处理；以及

图像合成步骤，把在所述图像加工步骤加工过的所述加工图像合成到所述原图像中的合成位置，生成合成图像。

Images