CN103369238A - 图像生成装置以及图像生成方法 - Google Patents

Abstract

本发明提供一种图像生成装置，其特征在于，具备：取得单元(6a)，其取得图像；构成部生成单元(6c)，其生成包括在由所述取得单元取得的图像中的脸的主要的构成部所涉及的脸构成部图像；提取单元(6d)，其从包括在由所述取得单元取得的图像中的脸提取特征信息；确定单元(6e)，其从与记录于记录单元(5)中的脸的特征信息建立对应并表征头发的轮廓的发型图像中确定与由提取单元提取出的特征信息对应的发型图像；和图像生成单元(6f)，其使用由所述确定单元确定的发型图像和由所述构成部生成单元生成的脸构成部图像来生成肖像画图像。

Description

图像生成装置以及图像生成方法

技术领域

本发明涉及图像生成装置以及图像生成方法。

背景技术

现有技术中，已知使用眼、鼻、嘴、耳、脸的轮廓等的脸部件的特征点来作成肖像画的肖像画作成装置(日本特开2004-145625号公报)。

另外，已知组合按每个部位而预先准备的局部组件(part object)来作成角色的游戏装置(日本特许第4986279号)。

但是，在作成肖像画时，若仅用线来表征脸的特征性的构成的轮廓形状，则会成为缺乏现实感的肖像画，与此相对，若连脸的细微的构造都用线来表征，则存在笔触和纹理变得过细而导致与肖像画的相似度降低的问题。

另外，在组合局部组件来作成肖像画的情况下，有时未准备接近真实的局部组件，不能作成接近真实的肖像画图像。

发明内容

本发明的课题在于提供能简便地生成更丰富表现的肖像画的图像生成装置以及图像生成方法。

本发明的图像生成装置的特征在于，具备：取得单元(6a)，其取得图像；构成部生成单元(6c)，其生成与由所述取得单元取得的图像中所包括的脸的主要的构成部相关的脸构成部图像；提取单元(6d)，其从由所述取得单元取得的图像中所包括的脸中提取特征信息；确定单元(6e)，其从与记录于记录单元(5)中的脸的特征信息建立对应并表征头发的轮廓的发型图像中，确定与由所述提取单元提取出的特征信息对应的发型图像；和图像生成单元(6f)，其使用由所述确定单元确定的发型图像和由所述构成部生成单元生成的脸构成部图像来生成肖像画图像。

本发明的图像生成方法是使用了图像生成装置(100)的图像生成方法，其特征在于，包括：取得步骤(6a)，取得图像；构成部生成步骤(6c)，生成包括在所取得的图像中的脸的主要的构成部所涉及的脸构成部图像；提取步骤(6d)，从包括在所取得的图像中的脸提取特征信息；确定步骤(6e)，从与记录于记录单元的脸的特征信息建立对应并表征头发的轮廓的发型图像中，确定与提取出的特征信息对应的发型图像；和图像生成步骤(6f)，使用确定的发型图像和生成的脸构成部图像来生成肖像画图像。

附图说明

图1是表示应用本发明的一个实施方式的摄像装置的概略构成的框图。

图2是表示图1的摄像装置进行的发型图像生成处理所涉及的动作的一例的流程图。

图3是示意性地表示图2的发型图像生成处理所涉及的图像的一例的图。

图4是表示图1的摄像装置进行的肖像画图像生成处理所涉及的动作的一例的流程图。

图5是示意性地表示图4的肖像画图像生成处理所涉及的图像的一例的图。

图6是示意性地表示图4的肖像画图像生成处理所涉及的图像的一例的图。

图7是示意性地表示肖像画图像生成处理的变形例所涉及的图像的一例的图。

具体实施方式

下面，对于本发明，使用附图来说明具体的形态。但是，发明的范围并不限定于图示例。

图1是表示应用本发明的一个实施方式的摄像装置100的概略构成的框图。

如图1所示，本实施方式的摄像装置100具体地具备：摄像部1、摄像控制部2、图像数据生成部3、存储器4、图像记录部5、图像处理部6、显示控制部7、显示部8、操作输入部9、和中央控制部10。

另外，摄像部1、摄像控制部2、图像数据生成部3、存储器4、图像记录部5、图像处理部6、显示控制部7以及中央控制部10介由总线11而连接。

摄像部1作为摄像单元来对规定的被摄体进行拍摄，并生成帧图像。

具体地，摄像部1具备透镜部1a、电子摄像部1b、透镜驱动部1c。

透镜部1a由例如变焦透镜、聚焦透镜等的多个透镜构成。

电子摄像部1b例如由CCD(Charge Coupled Device，电荷耦合元件)、CMOS(Complementary Metal-oxide Semiconductor，互补金属氧化物半导体)等图像传感器(摄像元件)构成。并且，电子摄像部1b将通过了透镜部1a的各种透镜的光学像变换为二维的图像信号。

虽然省略图示，但透镜驱动部1例如具备使变焦透镜在光轴方向上移动的变焦驱动部、和使聚焦透镜在光轴方向上移动的合焦驱动部等。

另外，摄像部1除了透镜部1a、电子摄像部1b以及透镜部1c以外，也可以还具备调整通过透镜部1a的光的量的光圈(图示略)。

摄像控制部2控制摄像部1进行的被摄体的摄像。即，虽然省略图示，但摄像控制部2具备定时发生器、驱动器等。并且，摄像控制部2通过定时发生器、驱动器来对电子摄像部1b进行扫描驱动，并通过电子摄像部1b每隔规定周期将通过透镜的光学像变换为二维的图像信号，从该电子摄像部1b的摄像区域一个画面一个画面地读取帧图像，将其输出到图像数据生成部3。

另外，摄像控制部2也可以使电子摄像部1b在光轴方向上移动来调整透镜部1a的合焦位置，以取代透镜部1a的聚焦透镜。

另外，摄像控制部2也可以进行AF(自动合焦处理)、AE(自动曝光处理)、AWB(自动白平衡)等的拍摄被摄体时的条件的调整控制。

图像数据生成部3在对从电子摄像部1b传输来的帧图像的模拟值的信号按RGB的各颜色分量进行了适当的增益调整后，用采样保持电路(图示略)进行采样保持，用A/D变换器(图示略)将该信号变换为数字数据，然后，在用彩色加工电路(图示略)进行了包括像素内插处理以及伽玛补正处理在内的彩色加工处理后，生成数字值的亮度信号Y以及色差信号Cb、Cr(YUV数据)。

从彩色加工电路输出的亮度信号Y以及色差信号Cb、Cr介由未图示的DMA控制器而被DMA传输到作为缓冲存储器使用的存储器4。

存储器4例如由DRAM(Dynamic Random Access Memory，动态随机存取存储器)等构成，暂时保存由图像处理部6、中央控制部10等进行处理的数据等。

图像记录部5由例如非易失性存储器(闪速存储器)等构成，记录由图像处理部6的编码部(图示略)以规定的压缩格式(例如JPEG格式等)编码后的记录用的图像数据。

另外，图像记录部(记录单元)5记录规定数的发型图像P1(参照图3B)的图像数据。

发型图像P1的图像数据的每一个例如是示意性地表征人的头发的轮廓的图像，与作为脸的特征信息的轮廓W1(参照图3A)的形状建立对应。即，各发型图像P1的图像数据通过从由脸检测处理(后述)检测出的脸区域F1(参照图3A)内删除比脸的下巴的轮廓W1更内侧的部分而形成。

另外，发型图像P1的图像数据的形成例如能举出如下方法：在对脸区域F1进行使用了AAM(Active Appearance Model，主动表观模型)的处理(详细后述)从而删除掉存在于脸的轮廓W1的内侧的脸构成部(例如眼、鼻、嘴、眉毛等)后，沿着脸的轮廓W1和头发的前端部来描绘线，用规定的颜色涂满脸的轮廓W1的内侧的肌肤部分和头发，由此形成发型图像P1的图像数据。另外，沿着脸的轮廓W1和头发的前端部的线的描绘既可以基于用户对操作输入部9的规定操作来手动进行，也可以在中央控制部10的CPU的控制下自动进行。

另外，作为脸的轮廓W1的形状，例如能举出确定了长轴以及短轴的长度的椭圆形，例如通过使用了AAM的处理来确定与各脸的下巴的轮廓W1相符的椭圆形。另外，作为脸的特征信息，例示了脸的下巴的轮廓W1的形状，但这是一例，并不限定于此，能适当地进行任意的变更。

另外，图像记录部5也可以例如能自由拆装记录介质(图示略)地构成，是控制从安装的记录介质读取数据、和对记录介质写入数据的构成。

图像处理部6具备：图像取得部6a、脸检测部6b、构成部图像生成部6c、特征信息提取部6d、发型图像确定部6e、肖像画图像生成部6f。

另外，图像处理部6的各部分例如由规定的逻辑电路构成，但该构成为一例，并不限定于此。

图像取得部6a取得成为肖像画图像生成处理的处理对象的图像。

即，图像取得部6a作为取得单元取得原始图像(例如照片图像等)P2的图像数据。具体地，图像取得部6a从存储器4取得通过摄像部1以及摄像控制部2进行的被摄体的摄像而由图像数据生成部3生成的原始图像P2的图像数据(YUV数据)的复制，或者取得记录于图像记录部5的原始图像P2的图像数据(YUV数据)的复制(参照图5A)。

脸检测部6b从成为处理对象的原始图像P2检测脸区域F2(参照图5A)。

即，脸检测部6b作为脸检测单元而从由图像取得部6a取得的原始图像P2中检测包括脸的脸区域F2。具体地，脸检测部6b取得由图像取得部6a作为肖像画图像生成处理的处理对象的图像而取得的原始图像P2的图像数据，并对该图像数据进行规定的脸检测处理来检测脸区域F2。

另外，脸检测处理由于是公知的技术，因此在此省略详细的说明。

构成部图像生成部6c生成表征脸的主要的脸构成部的脸构成部图像P4(参照图6B)。

即构成部图像生成部6c作为构成部生成单元来生成由图像取得部6a取得的原始图像P2(参照图5A)内的脸的主要的脸构成部所涉及的脸构成部图像P4。具体地，构成部图像生成部6c对包括原始图像P2的脸的脸区域F2实施细微部提取处理，生成例如用线来表征眼、鼻、嘴、眉毛、头发的发丝、脸的轮廓等的脸构成部的脸细微部图像P3(参照图5B)。例如，构成部图像生成部6c作为细微部提取处理，通过使用了AAM的处理来生成脸细微部图像P3。另外，构成部图像生成部6c对由脸检测部6b从原始图像P2的图像数据中检测出的脸区域F2实施细微部提取处理。

在此，AAM是视觉性事实和现象的模型化的一种手法，进行任意的脸区域F2的图像的模型化。例如，构成部图像生成部6c将多个采样脸图像中的规定的特征部位(例如外眼角、鼻头、脸线等)的位置、和像素值(例如亮度值)的统计性分析结果预先登录在规定的登录单元。然后，构成部图像生成部6c以上述的特征部位的位置为基准，设定表征脸的形状的形状模型、和表征平均的形状中的“Appearance(表观)”的纹理模型，使用这些模型来对脸区域F2的图像模型化。由此，构成部图像生成部6c生成提取并用线来表征原始图像P2内的主要的构成的脸细微部图像P3。

另外，构成部图像生成部6c通过细微部提取处理来确定脸区域F2内的脸的轮廓W2(参照图6A)，生成用线来表征存在于脸的轮廓W2内的脸构成部以及与该轮廓W2相接的脸构成部的脸构成部图像P4。

具体地，构成部图像生成部6c在脸细微部图像P3内确定与脸的轮廓W2相接的像素，删除与该像素连续的像素中的存在于脸的轮廓W2的外侧的像素集合G、…(参照图6A)。即，构成部图像生成部6c删除脸细微部图像P3中的存在于脸的轮廓W2的外侧的部分，并留下存在于脸的轮廓W2的内侧且与该轮廓W2相接的部分(例如面向图6A时左侧的眉毛等)，生成例如包括眼、耳、嘴、眉毛等的主要的脸构成部的局部图像M的脸构成部图像P4(参照图6B)。另外，在图6A中，示意性地用虚线表示脸的轮廓W2。

在此，构成部图像生成部6c提取并取得各脸构成部的局部图像M在XY平面空间的相对的位置关系所涉及的信息、和坐标位置所涉及的信息。

另外，作为细微部提取处理，例示了使用了AAM的处理，但这是一例，并不限于此，能适当地任意变更。

例如，作为细微部提取处理，也可以进行边缘提取处理或各向异性扩散处理来生成包括脸构成部的局部图像M的脸构成部图像P4。具体地，构成部图像生成部6c例如可以对原始图像P2的图像数据(YUV数据)使用规定的微分滤波器(例如高通滤波器等)来进行微分运算，并进行边缘检测处理，将在亮度值、颜色、浓度中有急剧变化的地方检测为边缘。另外，构成部图像生成部6c例如也可以进行各向异性扩散处理，对原始图像P2的图像数据使用规定的各向异性扩散滤波器，使在线状的边缘的切线方向和边缘的垂直方向上权重不同来进行平滑化。

特征信息提取部6d从原始图像P2的脸区域F2提取特征信息。

即，特征信息提取部6d作为提取单元，从由图像取得部6a取得的原始图像P2内的脸例如提取脸的轮廓W2的形状等的特征信息。具体地，特征信息提取部6d基于原始图像P2的图像数据(YUV数据)来进行在脸区域F2内选择特征高的块区域(特征点)并提取的特征提取处理。例如，特征信息提取部6d作为细微部提取处理，例如通过使用了AAM的处理来对构成在脸区域F2内确定的脸的轮廓W2的像素进行特征提取处理，将该脸的轮廓W2的形状作为特征信息来提取。在此，作为脸的轮廓W2的形状，例如能举出确定了长轴以及短轴的长度的椭圆形，特别是与各脸的下巴的轮廓W2相符的椭圆形。

另外，作为在特征提取处理中提取出的特征信息，例示了脸的轮廓的形状，但这是一例，并不限定于此，只要是能以原始图像P2和发型图像P1进行对比的信息，就能适当进行任意变更。例如，在原始图像P2和发型图像P1中，既可以提取脸的轮廓的特征矢量来使用，也可以使用发型的形状。另外，特征提取处理由于是公知的技术，因此在此省略详细的说明。

发型图像确定部6e确定与由特征信息提取部6d提取的特征信息对应的发型图像P1。

即，发型图像确定部6e作为确定单元，基于记录在图像记录部5中的脸的特征信息来确定与由特征信息提取部6d提取的特征信息对应的发型图像P1。具体地，发型图像确定部6e比较对记录在图像记录部5中的规定数的脸的轮廓W1的形状进行规定的椭圆形、和对由特征信息提取部6d提取出的脸的轮廓W2的形状进行规定的椭圆形，并将一致度高于规定值的椭圆形予以确定。然后，发型图像确定部6e对与所确定的椭圆形建立对应的发型图像P1的图像数据予以确定。

另外，发型图像确定部6e也可以确定多个一致度高于规定值的椭圆形，确定在该多个椭圆形中基于用户进行的操作输入部9的规定操作而选择的用户期望的椭圆形。

肖像画图像生成部6f使用发型图像P1和脸构成部图像P4来生成肖像画图像P5。

即，肖像画图像生成部6f作为图像生成单元，使用由发型图像确定部6e确定的发型图像P1的图像数据、和由构成部图像生成部6c生成的脸构成部图像P4的局部图像M来生成肖像画图像P5。具体地，肖像画图像生成部6f在发型图像P1的脸的轮廓W1的内侧确定使例如眼、鼻、嘴、眉毛等各脸构成部的局部图像M重叠的位置，将各脸构成部的局部图像M重叠于该位置，从而生成以肖像画来表征原始图像P2的肖像画图像P5的图像数据(参照图6C)。此时，肖像画图像生成部6f也可以按照规定该脸的轮廓W1的椭圆形与规定原始图像P2的脸的轮廓W2的椭圆形相符的方式来使发型图像P1变形。

另外，肖像画图像生成部6f也可以生成在肖像画图像P5的规定的部分(例如眼、嘴、眉毛等脸构成部等)加上规定的颜色来进行表征的图像。

显示控制部7读取暂时保存在存储器4中的显示用的图像数据，并进行使其显示于显示部8的控制。

具体地，显示控制部7具备：VRAM(Video Random Access Memory，视频随机存取存储器)、VRAM控制器、数字视频编码器等。并且，数字视频编码器介由VRAM控制器从VRAM定期地读取在中央控制部10的控制下从存储器4读取并容纳在VRAM(图示略)中的亮度信号Y以及色差信号Cb、Cr，并以这些数据为基础来产生视频信号，并将视频信号输出给显示部8。

显示部8例如是液晶显示面板，基于来自显示控制部7的视频信号在显示画面上显示由摄像部1拍摄的图像等。具体地，显示部8在静止图像摄像模式或动态图像摄像模式下，一边以规定的帧速率逐次更新通过摄像部1以及摄像控制部2拍摄被摄体而生成的多个帧图像，一边显示实时取景图像。另外，显示部8显示作为静止图像而记录的图像(录制浏览(RECview)图像)，或者显示作为动态图像而记录中的图像。

操作输入部9用于进行该摄像装置100的规定操作。具体地，操作输入部9具备被摄体的摄像指示所涉及的快门按钮、摄像模式和功能等的选择指示所涉及的选择决定按钮、变焦量的调整指示所涉及的变焦按钮等(均未图示)的操作部，按照该操作部的各按钮的操作将规定的操作信号输出到中央控制部10。

中央控制部10控制摄像装置100的各部。具体地，虽未图示，但中央控制部10具备CPU(Central Processing Unit，中央处理单元)等，按照摄像装置100用的各种处理程序(图示略)来进行各种控制动作。

接下来，关于摄像装置100进行的发型图像生成处理，参照图2以及图3来进行说明。

图2是表示发型图像生成处理所涉及的动作的一例的流程图。

发型图像生成处理是如下的处理：在基于用户进行的操作输入部9的选择决定按钮的规定操作而从显示于菜单画面的多个动作模式中选择指示了发型图像生成模式的情况下，在中央控制部10的控制下，通过该摄像装置100的各部、特别是图像处理部6来执行的处理。

另外，成为发型图像生成处理的处理对象的图像P0的图像数据被记录在图像记录部5。

如图2所示，首先，图像记录部5读取在记录于图像记录部5的图像数据中基于用户进行的操作输入部9的规定操作而指定的一个图像P0(参照图3A)的图像数据(YUV数据)，图像处理部6的图像取得部6a取得该读取的图像数据作为该发型图像生成处理的处理对象(步骤S1)。

接下来，脸检测部6b对由图像取得部6a作为处理对象而取得的一个图像P0的图像数据进行规定的脸检测处理，来检测脸区域F1(步骤S2)。

接下来，图像处理部6对检测出的脸区域F1进行使用了AAM的处理，来生成发型图像P1(参照图3B)的图像数据(步骤S3)。具体地，图像处理部6在切取围绕脸区域F1的规定大小的区域A(参照图3A)后，在删除存在于脸区域F1的脸的轮廓W1的内侧的眼、鼻、嘴、眉毛等后，沿着脸的轮廓W1来描绘线，并用规定的颜色(例如肤色等)涂满脸的轮廓W1的内侧的肌肤部分，并且沿着头发的前端部描绘线，并用规定的颜色涂满头发。由此，图像处理部6生成发型图像P1(参照图3B)的图像数据。

接下来，图像处理部6对规定通过使用了AAM的处理而确定的脸的轮廓W1的形状的椭圆形予以确定，并将其作为特征信息提取(步骤S4)。之后，图像记录部5将生成的发型图像P1的图像数据和轮廓W1的形状(特征信息)建立对应来记录(步骤S5)，结束发型图像生成处理。

上述的发型图像生成处理对成为处理对象的图像的图像数据的每一个执行，成为规定数的发型图像P1的图像数据记录在图像记录部5中的状态。

接下来，关于摄像装置100进行的肖像画图像生成处理，参照图4～图6来进行说明。

图4是表示肖像画图像生成处理所涉及的动作的一例的流程图。

肖像画图像生成处理是如下处理：在基于用户进行的操作输入部9的选择决定按钮的规定操作而从显示于菜单画面的多个动作模式中选择指示了肖像画图像生成模式的情况下，在中央控制部10的控制下，由该摄像装置100的各部分、特别是图像处理部6执行的处理。

另外，成为肖像画图像生成处理的处理对象的原始图像P2的图像数据设为记录在图像记录部5中的图像数据。

如图4所示，首先，图像记录部5读取在记录于图像记录部5的图像数据中基于用户进行的操作输入部9的规定操作而指定的原始图像P2(参照图5A)的图像数据，图像处理部6的图像取得部6a取得读取的图像数据作为该肖像画图像生成处理的处理对象(步骤S11)。

接下来，脸检测部6b对由图像取得部6a作为处理对象而取得的原始图像P2的图像数据进行规定的脸检测处理，来检测脸区域F2(步骤S12)。

接着，构成部图像生成部6c对检测出的脸区域F2进行细微部提取处理(例如使用了AAM的处理等)，来生成用线表征原始图像P2的脸区域F2内的眼、鼻、嘴、眉毛、头发的发丝、脸的轮廓等的脸构成部的脸细微部图像P3(参照图5B)(步骤S13)。然后，构成部图像生成部6c通过细微部提取处理来确定脸区域F2内的脸的轮廓W2，从而生成包括存在于脸的轮廓W2内的脸构成部以及与该轮廓W2相接的脸构成部、即例如眼、鼻、嘴、眉毛等的主要的脸构成部的局部图像M的脸构成部图像P4(步骤S14，参照图6B)。

接着，特征信息提取部6d对构成通过细微部提取处理而在脸区域F2内确定的脸的轮廓W2的像素进行特征提取处理，对规定该脸的轮廓W2的形状的椭圆形予以确定，并将其作为特征信息来提取(步骤S15)。

接下来，发型图像确定部6e比较记录在图像记录部5的规定数的对脸的轮廓W1的形状进行规定的椭圆形、和由特征信息提取部6d提取出的对脸的轮廓W2的形状进行规定的椭圆形。然后，发型图像确定部6e确定一致度高于规定值的椭圆形，对与所确定的椭圆形建立对应的发型图像P1的图像数据进行确定，并从图像记录部5中读取并取得该发型图像P1的图像数据(步骤S16)。

之后，肖像画图像生成部6f在由发型图像确定部6e确定的发型图像P1的脸的轮廓W1的内侧确定使由构成部图像生成部6c生成的脸构成部图像P4的例如眼、鼻、嘴、眉毛等的各脸构成部的局部图像M重叠的位置，在该位置重叠各脸构成部的局部图像M，生成以肖像画表征原始图像P2的肖像画图像P5的图像数据(步骤S17，参照图6C)。

然后，图像记录部5取得由肖像画图像生成部6f生成的肖像画图像P5的图像数据(YUV数据)，并将其记录(步骤S18)。

由此，结束肖像画图像生成处理。

如以上那样，根据本实施方式的摄像装置100，生成原始图像P2内的脸的主要的脸构成部所涉及的脸构成部图像P4，基于记录于图像记录部5中的脸的特征信息(例如脸的轮廓W1的形状等)来确定与从原始图像P2内的脸提取出的特征信息对应的发型图像P1，使用确定的发型图像P1和脸构成部图像P4来生成肖像画图像P5，因此，通过与发型图像P1分开生成脸的主要的脸构成部所涉及的发型图像P4，使用与该脸构成部图像P4所涉及的脸的特征信息对应的发型图像P1，能简便地生成特征性地表征脸构成部的更丰富的表现的肖像画图像P5。

即，若用线仅表示脸的特征性构成的轮廓形状，则会成为缺乏现实感的肖像画，另一方面，若脸的细微的构造都用线来表征，则存在笔触和纹理变得过细而导致与肖像画的相似度降低的问题。因此，通过生成脸的主要的脸构成部所涉及的脸构成部图像P4，使用在图像记录部5内确定的发型图像P1来生成肖像画图像P5，能简便地生成至少特征性地表征例如眼、鼻、嘴、眉毛等的特征性的脸构成部的更丰富表现的图像。

另外，由于对包括图像的脸的脸区域F2实施细微部提取处理来生成用线表征脸构成部的脸构成部图像P4，因此，能生成特征性地表征脸构成部的细微的构造的脸构成部图像P4。

特别是，由于通过细微部提取处理确定脸区域F2内的脸的轮廓W2，生成用线表征存在于脸的轮廓W2内的脸构成部以及与该轮廓W2相接的脸构成部的脸构成部图像P4，因此，能适当地进行该脸构成部图像P4的生成。具体地，通过细微部提取处理来生成用线表征脸构成部的脸细微部图像P3，删除脸细微部图像P3中的存在于脸的轮廓W2的外侧的部分，并留下存在于脸的轮廓W2的内侧且与该轮廓W2相接的部分，由此，能适当地进行：生成用线表征存在于脸的轮廓W2内的脸构成部以及与该轮廓W2相接的脸构成部的脸构成部图像P4、即特征性地表征脸构成部的细微的构造的脸构成部图像P4。

另外，通过由脸检测部6b检测脸区域F2，能简便地确定存在于该脸区域F2内的脸构成部，能更简便地生成用线表征该脸构成部的脸构成部图像P4。

进而，通过由脸检测部6b检测脸区域F2，能简便地提取来自该脸区域F2的特征信息。

另外，本发明并不限定于上述实施方式，可以在不脱离本发明的主旨的范围内进行各种改良和设计的变更。

例如，在上述实施方式中，在脸构成部图像P4的生成后进行特征信息(脸的轮廓W2的形状等)的提取，但这些处理顺序是一例，并不限于此，也可以使顺序相反，即，在特征信息的提取处理后进行脸构成部图像P4的生成处理。

另外，从由脸检测部6b检测出的脸区域F1、F2来生成发型图像P1、脸构成部图像P4，但关于是否具备实施脸检测处理的脸检测部6b，能适当地任意变更。

进而，成为发型图像P1和脸构成部图像P4的生成源的图像并不需要是表征正面脸的图像P0、P2，例如，在面向倾斜方向地使脸倾斜的图像的情况下，也可以生成使该脸朝向正面地变形的图像，由此来作为生成源使用。

另外，发型图像P1构成为记录于图像记录部5中，但并不限于此，也可以构成为记录在介由网络而连接的规定的服务器中，图像取得部6a介由网络从规定的服务器取得发型图像P1。

另外，在上述实施方式中，在发型图像P1上重叠眼、鼻、嘴、眉毛等各脸构成部的局部图像M来生成肖像画图像P5，但这是一例，并不限于此。例如，也可以将人以外的动物(例如猫等)或食物(例如番茄等)作为肖像画图像P5的基础图像，生成使各脸构成部的局部图像M重叠的肖像画图像P5a、P5b(参照图7A、图7B)。另外，作为特征信息，例如，在以猫为基础图像的情况下，也可以使用猫的脸部分的轮廓的形状，另外，在以番茄为基础图像的情况下，也可以使用番茄的外形。

进而，在上述实施方式中例示的摄像装置100的构成是一例，并不限于此。另外，作为图像生成装置例示了摄像装置100，但并不限于此，只要是能执行本发明所涉及的图像处理的构成，则能是任何构成。

此外，在上述实施方式中，构成为通过在中央控制部10的控制下，图像取得部6a、构成部图像生成部6c、特征信息提取部6d、发型图像确定部6e、肖像画图像生成部6f进行驱动来实现作为取得单元、构成部生成单元、提取单元、确定单元、图像生产单元的功能，但并不限于此，也可以构成为通过由中央控制部10执行规定的程序来实现。

即，在存储程序的程序存储器(图示略)中预先存储包括取得处理例程、构成部生成处理例程、提取处理例程、确定处理例程、图像生成处理例程的程序。然后，也可以通过取得处理例程使中央控制部10的CPU作为取得图像的单元发挥功能。另外，也可以通过构成部生成处理例程使中央控制部10的CPU作为生成所取得的图像内的脸的主要的构成部所涉及的脸构成部图像P4的单元发挥功能。另外，也可以通过提取处理例程使中央控制部10的CPU作为从所取得的图像内的脸提取特征信息的单元发挥功能。另外，也可以通过确定处理例程使中央控制部10的CPU作为基于记录于图像记录部5的脸的特征信息来确定与提取出的特征信息对应的发型图像P1的单元发挥功能。另外，也可以通过图像生成处理例程使中央控制部10的CPU作为使用确定的发型图像P1和生成的脸构成部图像P4来生成肖像画图像P5的单元发挥功能。

同样地，关于脸检测单元，也可以构成为通过中央控制部10的CPU执行规定的程序等来实现。

进而，作为容纳用于执行上述各处理的程序的计算机可读取的介质，除了能应用ROM、硬盘以外，还能应用闪速存储器等的非易失性存储器、CD-ROM等的可移动型记录介质。另外，作为介由规定的通信线路来提供程序的数据的介质，还能应用载波(carrier wave)。

对本发明的几个实施方式进行了说明，但本发明的范围并不限定于上述的实施方式，还包括权利要求的范围中记载的范围和与其等同的范围。

下面，附记有在本申请的申请书的最初所添附的特许请求的范围中所记载的发明。附记中所记载的权利要求的编号如该申请的申请书最初所添附的特许请求的范围那样。

1、一种图像生成装置，其特征在于，具备：

取得单元(6a)，其取得图像；

构成部生成单元(6c)，其生成与由所述取得单元取得的图像中所包括的脸的主要的构成部相关的脸构成部图像；

提取单元(6d)，其从由所述取得单元取得的图像中所包括的脸中提取特征信息；

确定单元(6e)，其从与记录于记录单元(5)中的脸的特征信息建立对应并表示头发的轮廓的发型图像中，确定与由所述提取单元提取出的特征信息对应的发型图像；和

图像生成单元(6f)，其使用由所述确定单元确定的发型图像和由所述构成部生成单元生成的脸构成部图像来生成肖像画图像。

2、根据技术方案1所述的图像生成装置，其特征在于，

所述构成部生成单元还对所述图像的脸区域实施细微部提取处理，来生成用线表征所述构成部的脸构成部图像。

3、根据技术方案2所述的图像生成装置，其特征在于，

所述构成部生成单元还通过所述细微部提取处理来确定所述脸区域内的脸的轮廓，生成用线表征存在于所述脸的轮廓内的所述构成部以及与该轮廓相接的所述构成部的脸构成部图像。

4、根据技术方案3所述的图像生成装置，其特征在于，

所述构成部生成单元还通过所述细微部提取处理来生成用线表征脸的构成部的脸细微部图像，删除所述脸细微部图像中的存在于所述脸的轮廓的外侧的部分，并留下存在于所述脸的轮廓的内侧且与该轮廓相接的部分，由此来生成所述脸构成部图像。

5、根据技术方案1所述的图像生成装置，其特征在于，

所述特征信息包括脸的轮廓的形状。

6、根据技术方案1所述的图像生成装置，其特征在于，

所述图像生成装置还具备：

脸检测单元(6b)，其从所述图像中检测脸区域，

所述构成部生成单元生成用线表征在由所述脸检测单元检测出的脸区域内存在的所述构成部的脸构成部图像，

所述提取单元从由所述脸检测单元检测出的脸区域提取特征信息。

7、一种图像生成方法，是使用了图像生成装置(100)的图像生成方法，其特征在于，包括：

取得步骤(6a)，取得图像；

构成部生成步骤(6c)，生成包括在所取得的图像中的脸的主要的构成部所涉及的脸构成部图像；

提取步骤(6d)，从包括在所取得的图像中的脸提取特征信息；

确定步骤(6e)，从与记录于记录单元的脸的特征信息建立对应并表征头发的轮廓的发型图像中，确定与提取出的特征信息对应的发型图像；和

图像生成步骤(6f)，使用确定的发型图像和生成的脸构成部图像来生成肖像画图像。

8、根据技术方案7所述的图像生成方法，其特征在于，

所述构成部生成步骤还包括：

细微部提取步骤，对所述图像的脸区域实施细微部提取处理，

生成用线表征所述构成部的脸构成部图像。

9、根据技术方案8所述的图像生成方法，其特征在于，

所述构成部生成步骤还包括：

轮廓确定步骤，通过所述细微部提取步骤来确定所述区域内的脸的轮廓，

生成用线表征存在于所述脸的轮廓内的所述构成部以及与该轮廓相接的所述构成部的脸构成部图像。

10、根据技术方案9所述的图像生成方法，其特征在于，

所述构成部生成步骤还通过所述细微部提取步骤生成用线表征脸的构成部的脸细微部图像，删除所述脸细微部图像中的存在于所述脸的轮廓的外侧的部分，并留下存在于所述脸的轮廓的内侧且与该轮廓相接的部分，由此来生成所述脸构成部图像。

11、根据技术方案7所述的图像生成方法，其特征在于，

所述特征信息包括脸的轮廓的形状。

12、根据技术方案7所述的图像生成方法，其特征在于，

所述图像生成方法还包括：

脸检测步骤(6b)，从所述图像检测脸区域，

所述构成部生成步骤生成用线表征通过所述脸检测步骤检测出的脸区域内存在的所述构成部的脸构成部图像，

所述提取步骤从通过所述脸检测步骤检测出的脸区域提取特征信息。

Claims (12)

1.一种图像生成装置，其特征在于，具备：

取得单元(6a)，其取得图像；

构成部生成单元(6c)，其生成与由所述取得单元取得的图像中所包括的脸的主要的构成部相关的脸构成部图像；

提取单元(6d)，其从由所述取得单元取得的图像中所包括的脸中提取特征信息；

确定单元(6e)，其从与记录于记录单元(5)中的脸的特征信息建立对应并表征头发的轮廓的发型图像中，确定与由所述提取单元提取出的特征信息对应的发型图像；和

图像生成单元(6f)，其使用由所述确定单元确定的发型图像和由所述构成部生成单元生成的脸构成部图像来生成肖像画图像。

2.根据权利要求1所述的图像生成装置，其特征在于，

所述构成部生成单元还对所述图像的脸区域实施细微部提取处理，来生成用线表征所述构成部的脸构成部图像。

3.根据权利要求2所述的图像生成装置，其特征在于，

所述构成部生成单元还通过所述细微部提取处理来确定所述脸区域内的脸的轮廓，生成用线表征存在于所述脸的轮廓内的所述构成部以及与该轮廓相接的所述构成部的脸构成部图像。

4.根据权利要求3所述的图像生成装置，其特征在于，

所述构成部生成单元还通过所述细微部提取处理来生成用线表征脸的构成部的脸细微部图像，删除所述脸细微部图像中的存在于所述脸的轮廓的外侧的部分，并留下存在于所述脸的轮廓的内侧且与该轮廓相接的部分，由此来生成所述脸构成部图像。

5.根据权利要求1所述的图像生成装置，其特征在于，

所述特征信息包括脸的轮廓的形状。

6.根据权利要求1所述的图像生成装置，其特征在于，

所述图像生成装置还具备：

脸检测单元(6b)，其从所述图像中检测脸区域，

所述构成部生成单元生成用线表征在由所述脸检测单元检测出的脸区域内存在的所述构成部的脸构成部图像，

所述提取单元从由所述脸检测单元检测出的脸区域提取特征信息。

7.一种图像生成方法，是使用了图像生成装置(100)的图像生成方法，其特征在于，包括：

取得步骤(6a)，取得图像；

构成部生成步骤(6c)，生成包括在所取得的图像中的脸的主要的构成部所涉及的脸构成部图像；

提取步骤(6d)，从包括在所取得的图像中的脸提取特征信息；

确定步骤(6e)，从与记录于记录单元的脸的特征信息建立对应并表征头发的轮廓的发型图像中，确定与提取出的特征信息对应的发型图像；和

图像生成步骤(6f)，使用确定的发型图像和生成的脸构成部图像来生成肖像画图像。

8.根据权利要求7所述的图像生成方法，其特征在于，

所述构成部生成步骤还包括：

细微部提取步骤，对所述图像的脸区域实施细微部提取处理，

生成用线表征所述构成部的脸构成部图像。

9.根据权利要求8所述的图像生成方法，其特征在于，

所述构成部生成步骤还包括：

轮廓确定步骤，通过所述细微部提取步骤来确定所述区域内的脸的轮廓，

生成用线表征存在于所述脸的轮廓内的所述构成部以及与该轮廓相接的所述构成部的脸构成部图像。

10.根据权利要求9所述的图像生成方法，其特征在于，

所述构成部生成步骤还通过所述细微部提取步骤生成用线表征脸的构成部的脸细微部图像，删除所述脸细微部图像中的存在于所述脸的轮廓的外侧的部分，并留下存在于所述脸的轮廓的内侧且与该轮廓相接的部分，由此来生成所述脸构成部图像。

11.根据权利要求7所述的图像生成方法，其特征在于，

所述特征信息包括脸的轮廓的形状。

12.根据权利要求7所述的图像生成方法，其特征在于，

所述图像生成方法还包括：

脸检测步骤(6b)，从所述图像检测脸区域，

所述构成部生成步骤生成用线表征通过所述脸检测步骤检测出的脸区域内存在的所述构成部的脸构成部图像，

所述提取步骤从通过所述脸检测步骤检测出的脸区域提取特征信息。

Images