CN103679767A - 图像生成装置以及图像生成方法 - Google Patents

Abstract

本发明提供一种图像生成装置和图像生成方法。该图像生成装置具备：获取单元，其获取图像；提取单元，其提取由上述获取单元所获取的图像内的头发区域的特征信息；图像确定单元，其确定与由上述提取单元所提取的特征信息相对应的发型图像；和第1生成单元，其采用由上述图像确定单元所确定的发型图像来生成上述面部的肖像画图像。

Description

图像生成装置以及图像生成方法

技术领域

本发明涉及图像生成装置以及图像生成方法。

背景技术

以往公知有采用眼睛、鼻子、嘴巴、耳朵、面部的轮廓等的面部部位的特征点来作成肖像画的肖像画作成装置(例如日本国专利特开2004-145625号公报)。

此外，公知有对按各部位预先准备的部件对象进行组合来作成人物图像的游戏装置(例如日本国专利特开2008-61896号公报)。

然而，认为在肖像画中，与眼睛、鼻子、嘴巴等相比发型的影响较大，使肖像画的印象变化较大。

在此，在自动地生成肖像画的系统中，提出考虑发型的多样性并利用头发的颜色的手法，但在头发的颜色不是单一颜色的情况下，存在不能从图像中适当地执行头发区域的提取的可能性。

发明内容

在此，本发明的课题在于提供一种考虑原图像的头发的特征并能够生成更适当的肖像画图像的图像生成装置以及图像生成方法。

本发明的一个实施方式提供一种图像生成装置，其特征在于，具备：获取单元，其获取图像；提取单元，其提取由上述获取单元所获取的图像内的头发区域的特征信息；图像确定单元，其确定与由上述提取单元所提取的特征信息相对应的发型图像；和第1生成单元，其采用由上述图像确定单元所确定的发型图像来生成上述面部的肖像画图像。

本发明的一个实施方式提供一种图像生成方法，采用图像生成装置，包括：获取图像的处理；提取所获取的图像内的面部的头发区域的特征信的处理；确定与所提取的特征信息相对应的发型图像的处理；和采用所确定的发型图像，生成上述面部的肖像画图像的处理。

附图说明

图1为表示适用本发明的一实施方式的摄像装置的示意结构的框图。

图2为表示与图1的摄像装置所执行的肖像画图像生成处理相关的动作的一例的流程图。

图3为表示与图2的肖像画图像生成处理中的特征提取处理相关的动作的一例的流程图。

图4为示意地表示图2的肖像画图像生成处理相关的图像的一例的图。

图5为示意地表示图2的肖像画图像生成处理相关的图像的一例的图。

图6为示意地表示图2的肖像画图像生成处理相关的额发的形式的一例的图。

图7为示意地表示图2的肖像画图像生成处理相关的图像的一例的图。

符号说明：

100摄像装置  1摄像部  5图像记录部  6图像处理部  6A图像获取部  6B面部检测部  6C构成部图像生成部  6D轮廓确定部  6E额发确定部  6F特征信息提取部  6G发型图像确定部  G1第1确定部G2第2确定部  6H肖像画图像生成部  10中央控制部

具体实施方式

以下，针对本发明采用附图说明具体的方式。其中，发明的范围并不限定于图示例。

图1为表示适用本发明的一实施方式的摄像装置100的示意结构的框图。

如图1所示，本实施方式的摄像装置100具体地来说，具备：摄像部1；摄像控制部2；图像数据生成部3；存储器4；图像记录部5；图像处理部6；显示控制部7；显示部8；操作输入部9；和中央控制部10。

此外，摄像部1、摄像控制部2、图像数据生成部3、存储器4、图像记录部5、图像处理部6、显示控制部7以及中央控制部10经由总线线路11来连接。

摄像部1作为摄像单元对规定的被摄体进行摄像并生成帧图像。

具体来说，摄像部1具备透镜部1A、电子摄像部1B和透镜驱动部1C。

透镜部1A由例如变焦透镜和聚焦透镜等多个透镜构成。

电子摄像部1B由例如CCD(Charge Coupled Device)或CMOS(Complementary Metal-oxide Semiconductor)等的图像传感器(摄像元件)构成。而且，电子摄像部1B将通过了透镜部1A的各种透镜后得到的光学像变换为二维的图像信号。

虽然未图示，但透镜驱动部1C例如具备使变焦透镜在光轴方向上移动的透镜驱动部、使聚焦透镜在光轴方向上移动的合焦驱动部等。

另外，摄像部1除了透镜部1A、电子摄像部1B以及透镜驱动部1C之外，还具备对通过了透镜部1A的光的量进行调整的光圈(省略图示)。

摄像控制部2对摄像部1所执行的被摄体的摄像进行控制。即虽然省略图示，但摄像控制部2具备定时产生器、驱动器等。而且，摄像控制部2通过定时产生器、驱动器对电子摄像部1B进行扫描驱动，通过电子摄像部1B按每规定周期使通过了透镜部1A后得到的光学像变换为二维的图像信号，从该电子摄像部1B的摄像区域每次按1画面量读出帧图像并使帧图像输出到图像数据生成部3。

另外，摄像控制部2也可代替透镜部1A的聚焦透镜，使电子摄像部1B在光轴方向上移动并对透镜部1A的合焦位置进行调整。

此外，摄像控制部2也可执行AF(自动合焦处理)、AE(自动曝光处理)、AWB(自动白平衡)等的对被摄体进行摄像时的条件的调整控制。

图像数据生成部3对从电子摄像部1B传送来的帧图像的模拟值的信号按RGB的各颜色成分的每一个成分进行适当增益调整，之后由采样保持电路(省略图示)进行采样保持并由A/D变换器(省略图示)变换为数字数据，由色彩工艺电路(省略图示)进行包括像素插补处理以及γ校正处理在内的色彩工艺处理，之后生成数字值的亮度信号Y以及色差信号Cb，Cr(YUV数据)。

从色彩工艺电路输出的亮度信号Y以及色差信号Cb，Cr经由未图示的DMA控制器被DMA传送到作为缓冲存储器使用的存储器4中。

存储器4例如由DRAM(Dynamic Random Access Memory)等构成，暂时保存由图像处理部6和中央控制部10等处理的数据等。

图像记录部5例如由非易失性存储器(闪速存储器)等构成，记录通过图像处理部6的编码部(省略图示)以规定的压缩形式(例如JPEG形式等)被编码的记录用的图像数据。

此外，图像记录部5记录规定数目的发型图像P1(参照图7A)的图像数据。

发型图像P1的各图像数据例如为示意地表示人的头发的轮廓的图像，与包括额发区域(头发前部区域)的头发区域全体的特征信息相对应关联。

在此，举出以下方法：例如对通过面部检测处理(后述)所检测出的面部区域F1执行采用了AAM(Active Appearance Model)的处理(详细后述)，消除存在于比面部的下颌的轮廓更内侧的面部构成部(例如眼睛、鼻子、嘴巴、眉毛等)，之后沿着面部的轮廓或头发的前端部描绘线，通过以规定的颜色填满面部的轮廓的内侧的肌肤部分和头发，形成各发型图像P1的图像数据。此外，也可基于用户所执行的操作输入部9的规定操作手动地执行沿着面部的轮廓和头发的前端部的线的描绘，也可在中央控制部10的CPU的控制下自动地执行沿着面部的轮廓和头发的前端部的线的描绘。

此外，作为头发区域的特征信息，例如可以举出将发型图像P1的生成源的图像的图像数据的亮度信号Y的梯度方向进行了直方图化后得到的特征量(详细后述)。

此外，发型图像P1的各图像数据除了头发区域全体的特征信息之外，还与用于指定该头发区域中的额发区域F2的掩模(mask)信息相对应关联。即、发型图像P1的各图像数据通过掩模信息与头发区域的额发区域F2的特征信息相对应关联并被记录。

此外，发型图像P1的各图像数据也可与作为发型图像P1的生成源的图像内的面部的特征信息的面部的轮廓的形状(详细后述)相对应关联。即、发型图像P1也可为包括面部的轮廓在内的图像数据。

此外，发型图像P1的各图像数据作为额发的形式，也可对应关联向右分、正中分、向左分、没有分界(散开(おろし))、没有分界(露出额头)等各种形式。

另外，图像记录部5例如构成为记录介质(省略图示)自由地安装拆卸，也可构成为对从所装着的记录介质读出数据或对记录介质写入数据进行控制。

图像处理部6具备图像获取部6A、面部检测部6B、构成部图像生成部6C、轮廓确定部6D、额发确定部6E、特征信息提取部6F、发型图像确定部6G和肖像画图像生成部6H。

另外，图像处理部6的各部分例如由规定的逻辑电路构成，但该结构只是一例，并不限于此。

图像获取部6A获取成为肖像画图像生成处理的处理对象的图像。

即、图像获取部6A获取原图像(例如照片图像等)P2的图像数据。具体来说，图像获取部6A从存储器4获取通过摄像部1以及摄像控制部2所执行的被摄体的摄像由图像数据生成部3所生成的原图像P2的图像数据(RGB数据和YUV数据)的复制，并获取在图像记录部5中记录的原图像P2的图像数据的复制(参照图4A)。

另外，后述的图像处理部6所进行的各处理也可对原图像P2的图像数据本身执行，也可按照需要对以规定的比率缩小原图像P2的图像数据后得到的规定尺寸(例如VGA尺寸等)的缩小图像数据执行。

面部检测部6B从成为处理对象的原图像P2中检测面部区域F1(参照图4A)。

即、面部检测部6B从由图像获取部6A所获取的原图像P2中检测包括面部的面部区域F1。具体来说，面部检测部6B获取由图像获取部6A作为肖像画图像生成处理的处理对象的图像而获取的原图像P2的图像数据，并对该图像数据执行规定的面部检测处理来检测面部区域F1。而且，面部检测部6B剪切围绕面部区域F1的规定的大小的区域A(参照图4A)并成为面部区域图像。

另外，面部检测处理为公知的技术，因此在此省略详细的说明。

构成部图像生成部6C生成表示面部的主要的面部构成部的面部构成部图像P4(参照图4C)。

即、构成部图像生成部6C生成与由图像获取部6A所获取的原图像P2(参照图4A)内的面部的主要的面部构成部相关的面部构成部图像P4。具体来说，构成部图像生成部6C对包括原图像P2的面部区域F1的面部区域图像实施细微部提取处理，生成用线来表示例如眼睛、鼻子、嘴巴、眉毛、头发的毛发、面部的轮廓等的面部构成部的面部微细部图像P3(参照图4B)。例如，构成部图像生成部6C作为微细部提取处理，通过采用了AAM的处理来生成面部微细部图像P3。此外，构成部图像生成部6C对由面部检测部6B从原图像P2的图像数据中检测出的面部区域F1实施微细部提取处理。

在此，所谓AAM是视觉上的现象的模型化的一手法，为执行任意的面部区域F1的图像的模型化的处理。例如，构成部图像生成部6C预先将多个采样面部图像中的规定的特征部位(例如外眼角、鼻头和脸部线(faceline)等)的位置和像素值(例如亮度值)的统计的分析结果登录到规定的登录单元中。而且，构成部图像生成部6C以上述的特征部位的位置作为基准，设定表示面部的形状的形状模型和表示平均的形状“Appearance”的结构(texture)模型，采用这些模型对面部区域F1的图像(面部区域图像)进行模型化。由此，构成部图像生成部6C生成提取原图像P2内的主要的构成并用线表示的面部微细部图像P3。

作为面部微细部图像P3，例如可举出设黑色像素为一个像素值(例如“0”等)，设白色像素为与一个像素值不同的其他像素值(例如“255”等)的二值图像。

此外，构成部图像生成部6C由微细部提取处理确定面部区域F1内的面部的轮廓，并生成用线表示在面部的轮廓内存在的面部构成部以及与该轮廓相接的面部构成部的面部构成部图像P4(图4C参照)。

具体地来说，构成部图像生成部6C确定在面部微细部图像P3内与面部的轮廓相接的像素，消除与该像素接续的像素中、存在于比面部的轮廓更外侧的像素集合。即、构成部图像生成部6C消除面部微细部图像P3中、存在于比面部的轮廓更外侧的部分，并且残留存在于比面部的轮廓更内侧且与该轮廓相接的部分，生成例如包括眼睛、鼻子、嘴巴、眉毛等主要的面部构成部的部件图像在内的面部构成部图像P4。

在此，构成部图像生成部6C也可提取并获取各面部构成部的部件图像在XY平面空间中的相对的位置关系相关的信息、和坐标位置相关的信息。

另外，作为微细部提取处理例示了采用AAM的处理，但只是一个例子并不限定于此，也可适当任意地变更。

例如作为微细部提取处理，也可执行边缘提取处理和各向异性扩散处理并生成包括面部构成部的部件图像在内的面部构成部图像P4。具体来说，构成部图像生成部6C也可例如对原图像P2的图像数据采用规定的微分滤波器(例如高通滤波器等)来进行微分运算，执行将亮度值、颜色和浓度具有急剧的变化之处检测为边缘的边缘检测处理。此外，构成部图像生成部6C也可进行例如对原图像P2的图像数据采用规定的各向异性扩散滤波器，使权重在线状的边缘的切线方向和边缘的垂直方向上不同来进行平滑化的各向异性扩散处理。

轮廓确定部6D确定原图像P2内的面部的轮廓W。

即、轮廓确定部6D确定由图像获取部6A所获取的原图像P2内的面部的轮廓W。具体来说，轮廓确定部6D在原图像P2的包括面部区域F1的面部区域图像(区域A的图像)内，将与由构成部图像生成部6C在面部微细部图像P3内被确定的面部的轮廓相对应的部分确定为面部的轮廓W。

在此，作为面部的轮廓W的形状，举出例如经由下颌连结左右的太阳穴之间那样的大致“U”字形状(参照图5A)，但只是一例并不限于此，也可是连结左右的太阳穴、下颌、额头那样的椭圆形、尤其是与下颌的轮廓一致的椭圆形等。

额发确定部6E确定原图像P2内的额发区域F2。

即、额发确定部6E将由轮廓确定部6D所确定的面部的轮廓W的规定位置作为基准来确定额发区域F2。具体来说，额发确定部6E例如在原图像P2的包括面部区域F1的面部区域图像(区域A的图像)内，将构成由轮廓确定部6D所确定的面部的轮廓W的与左右的太阳穴相对应的位置作为基准的规定范围确定为额发区域F2(参照图5A)。而且，额发确定部6E生成用于指定所确定的额发区域F2的掩模信息。

特征信息提取部6F从原图像P2的面部的头发区域提取特征信息。

即、特征信息提取部6F提取由图像获取部6A所获取的原图像P2的面部的头发区域中、至少头发前部区域(例如额发区域F2)的特征信息。具体来说，特征信息提取部6F基于原图像P2的图像数据(YUV数据)执行在面部区域F1的头发区域内选择并提取特征高的模块区域(特征点)的特征提取处理。

例如，特征信息提取部6F作为微细部提取处理，针对构成原图像P2的头发区域全体的像素执行特征提取处理，并提取该头发区域全体的特征信息。

在此，作为特征提取处理，举出提取将成为处理对象的原图像P2的亮度(亮度信号Y)的梯度方向进行了直方图化后得到的特征量(形状特征量)的处理。具体地来说，特征信息提取部6F算出根据成为特征提取处理的处理对象的原图像P2而变换后得到的亮度图像的各像素的梯度方向(例如将0°～179°进行了9分割后得到的每隔20°的9方向等)和梯度强度(例如8bit∶0～255)。而且，特征信息提取部6F以规定的比率(例如垂直方向∶16×水平方向∶16等)对算出各像素的梯度方向以及梯度强度后的该亮度图像进行了分割之后，将各分割区域作为处理对象区域，按各梯度方向的每一个累计梯度强度并生成梯度方向直方图，作为特征量(特征信息)提取。

此时，特征信息提取部6F也可采用由额发确定部6E所生成的掩模信息，只提取原图像P2(面部区域图像)的头发区域的额发区域F2的特征信息。

另外，生成梯度方向直方图的特征提取处理为公知的技术，因此在此省略详细的说明。此外，梯度方向的方向数和梯度强度的灰度数只是一例，并不限于此，可以适当任意地变更。

发型图像确定部6G确定与由特征信息提取部6F所提取的特征信息相对应的发型图像P1。

即、发型图像确定部6G根据在图像记录部5中与头发区域的特征信息对应关联地记录的发型图像P1，确定由特征信息提取部6F所提取的与原图像P2的头发区域的特征信息相对应的发型图像P1。具体来说，发型图像确定部6G具备第1确定部G1和第2确定部G2。

第1确定部G1确定规定数目的候补发型图像。

即、第1确定部G1在图像记录部5中与额发区域(头发前部区域)F2的特征信息对应关联地记录的多个发型图像P1、…中，基于由特征信息提取部6F所提取的额发区域F2的特征信息来确定规定数目的候补发型图像。具体来说，第1确定部G1将与在图像记录部5中记录的多个发型图像P1、…的每一个相对应的额发区域的特征信息(梯度方向直方图)和原图像P2的头发区域中、根据掩模信息所指定的额发区域F2的特征信息(梯度方向直方图)分别标准化来进行比较，将一致度作为基准从该一致度高的一方开始依次到规定的位次(例如10位等)为止重新排列发型图像P1。而且，第1确定部G1确定到规定的位次为止最多的额发的形式(参照图6)，在图像记录部5中记录的多个发型图像P1、…中，将该最多的额发的形式的发型图像P1确定为候补发型图像。

另外，在图6中，作为额发的形式，举出向右分、正中分、向左分、没有分界A、没有分界B等，但这只是一例，并不限定于此，可以适当任意地变更。

第2确定部G2在规定数目的候补发型图像中，确定与原图像P2的头发区域的特征信息相对应的发型图像P1。

即、第2确定部G2在由第1确定部G1所确定的规定数目的候补发型图像中，基于由特征信息提取部6F所提取的头发区域全体的特征信息来确定发型图像P1。具体来说，第2确定部G2将与由第1确定部G1所确定的规定数目的候补发型图像的每一个图像相对应的头发区域的特征信息(梯度方向直方图)和原图像P2的头发区域的特征信息(梯度方向直方图)分别标准化并进行比较，将一致度作为基准从该一致度高的一方开始依次到规定的位次(例如10位等)为止重新排列发型图像P1。

在此，第2确定部G2也可自动地确定一致度最高的一个发型图像P1(参照图7A)，在到规定的位次为止的发型图像P1中，基于用户所进行的操作输入部9的规定操作来确定用户期望的发型图像P1。

肖像画图像生成部6H基于发型图像P1和面部构成部图像P4生成肖像画图像P5。

即、肖像画图像生成部6H采用由发型图像确定部6G所确定的发型图像P1的图像数据生成肖像画图像P5。具体来说，肖像画图像生成部6H在比发型图像P1的面部的轮廓W更内侧，确定例如使眼睛、鼻子、嘴巴、眉毛等的各面部构成部的部件图像叠加的位置，在该位置使各面部构成部的部件图像叠加，生成以肖像画表示原图像P2的肖像画图像P5的图像数据(参照图7B)。

此外，肖像画图像生成部6H也可生成对肖像画图像P5的规定的部分(例如眼睛、嘴巴、眉毛等面部构成部等)赋予规定的颜色来表示的图像。

显示控制部7读出在存储器4中暂时存储的显示用的图像数据并执行在显示部8中显示的控制。

具体地来说，显示控制部7具备VRAM(Video Random AccessMemory)、VRAM控制器、数字视频编码器等。而且，数字视频编码器经由VRAM控制器从VRAM定期地读出在中央控制部10的控制下从存储器4读出并存储于VRAM(图示略)的亮度信号Y以及色差信号Cb，Cr，以这些数据为基础产生视频信号并输出到显示部8。

显示部8例如为液晶表示面板，基于来自显示控制部7的视频信号将由摄像部1所摄像的图像等显示于显示画面。具体来说，显示部8采用静止图像摄像模式或动态图像摄像模式以规定的帧频率逐次更新由摄像部1以及摄像控制部2所执行的被摄体的摄像所生成的多个帧图像，并显示实时取景图像(live view image)。此外，显示部8显示作为静止图像记录的记录浏览图像(rec view image)，或者作为动态图像而显示记录中的图像。

操作输入部9用于执行该摄像装置100的规定操作。具体来说，操作输入部9具备与被摄体的摄像指示相关的快门按键、与摄像模式和功能等的选择指示相关的选择決定按键、与变焦量的调整指示相关的变焦按键等(均省略图示)的操作部，按照该操作部的各按键的操作将规定的操作信号输出到中央控制部10。

中央控制部10控制摄像装置100的各部分。具体来说，虽然省略图示，但中央控制部10具备CPU(Central Processing Unit)等，按照摄像装置100用的各种处理程序(省略图示)执行各种控制动作。

接下来，参照图2～图7对摄像装置100的肖像画图像生成处理进行说明。

图2为表示与肖像画图像生成处理相关的动作的一例的流程图。

肖像画图像生成处理为以下处理，即，在基于用户所执行的操作输入部9的选择決定按键的规定操作，从菜单画面中显示的多个动作模式中选择指示肖像画图像生成模式的情况下，在中央控制部10的控制下由该摄像装置100的各部分、尤其是图像处理部6执行的处理。

此外，成为肖像画图像生成处理的处理对象的原图像P2的图像数据以及用于肖像画图像P5的生成的发型图像P1的图像数据被预先记录到图像记录部5中。

如图2所示，首先图像记录部5在所记录的图像数据中读出基于用户所执行的操作输入部9的规定操作而指定的原图像P2(参照图4A)的图像数据，图像处理部6的图像获取部6A获取所读出的图像数据作为该肖像画图像生成处理的处理对象(步骤S1)。

接下来，面部检测部6B对作为处理对象由图像获取部6A所获取的原图像P2的图像数据执行规定的面部检测处理并检测面部区域F1(步骤S2)。

接下来，构成部图像生成部6C对包括所检测出的面部区域F1的面部区域图像执行微细部提取处理(例如采用AAM的处理等)，生成用线来表示例如眼睛、鼻子、嘴巴、眉毛、头发的毛发、面部的轮廓等的面部构成部的面部微细部图像P3(参照图4B)(步骤S3)。而且，构成部图像生成部6C由微细部提取处理确定面部区域F1内的面部的轮廓，生成包括在面部的轮廓内存在的面部构成部以及与该轮廓相接的面部构成部、即例如眼睛、鼻子、嘴巴、眉毛等主要的面部构成部的部件图像在内的面部构成部图像P4(步骤S4；参照图4C)。

接下来，轮廓确定部6D在原图像P2的面部区域图像内将与由构成部图像生成部6C在面部微细部图像P3内所确定的面部的轮廓对应的部分确定为面部的轮廓W(步骤S5；参照图5A)。而且，额发确定部6E在原图像P2的面部区域图像内，将以由轮廓确定部6D所确定的面部的轮廓W的规定位置(例如与左右的太阳穴相对应的位置)作为基准的规定范围确定为额发区域F2(步骤S6；参照图SA)。而且，额发确定部6E生成用于指定所确定的额发区域F2的掩模信息。

接下来，特征信息提取部6F执行特征提取处理(参照图3)(步骤S7)。

以下，参照图3针对特征提取处理详细地进行说明。图3为表示与特征提取处理相关的动作的一例的流程图。

如图3所示，特征信息提取部6F将原图像P2的面部区域图像的图像数据(例如RGB数据)的复制变换为YUV数据，并从亮度信号Y生成亮度图像(步骤S11)。接下来，特征信息提取部6F算出亮度图像的各像素的梯度方向以及梯度强度(步骤S12)。例如特征信息提取部6F将0°～179°进行了9分割的每隔20°的9方向作为梯度方向，以0～255的256灰度(8bit)算出梯度强度(参照图5B)。另外，图5B为针对各像素，梯度方向以每20°的代表像素值表示的图像。

接下来，特征信息提取部6F对与原图像P2的面部区域图像相对应的面部微细部图像P3的图像数据的复制采用规定尺寸的滤波器(例如高斯滤波器等)实施对颜色进行平滑化的平滑化处理(步骤S13)。而且，特征信息提取部6F采用平滑化处理后的面部微细部图像P3的图像数据对面部区域图像相关的亮度图像的各像素的梯度方向以及梯度强度进行校正(步骤S14)。例如特征信息提取部6F针对平滑化处理后的面部微细部图像P3的白色像素，判断为没有边缘或者边缘的强度低，针对提取了梯度方向以及梯度强度的亮度图像的各像素中、与该白色像素对应的像素执行成为没有梯度的像素那样的校正。

而且，特征信息提取部6F将算出了各像素的梯度方向以及梯度强度的面部区域图像以规定的比率(例如垂直方向：16×水平方向：16等)进行分割并设定多个分割区域之后(步骤S15)，按各分割区域(处理对象区域)的每一个生成梯度方向直方图，并作为特征量(特征信息)提取(步骤S16)。例如设定16×16的分割区域，在梯度方向为9个方向的情况下，提取16×16×9=2304矢量的特征量。

由此，结束特征提取处理。

返回到图2，发型图像确定部6G的第1确定部G1在图像记录部5中记录的多个发型图像P1、…中，基于由特征提取处理所提取的头发区域的额发区域F2的特征信息来确定规定数目的候补发型图像(步骤S8)。

例如，第1确定部G1在从图像记录部5获取与多个发型图像P1、…的每一个相对应的额发区域的特征信息(梯度方向直方图)，并且获取原图像P2的额发区域F2的特征信息(梯度方向直方图)之后，将它们分别标准化来进行比较。而且，第1确定部G1在从与原图像P2的额发区域F2的特征信息相对的一致度高的一方开始依次到规定的位次(例如10位等)为止排列的发型图像P1中，确定最多的额发的形式(例如向右分等；参照图6)之后，从在图像记录部5中记录的多个发型图像P1、…中确定规定数目的该最多的额发的形式的发型图像P1作为候补发型图像。

此时，执行在一致度到规定的位次为止的发型图像P1中所确定的最多的额发的形式的发型图像P1数目是否处于规定的比率(例如50％等)以上的判定，只在判定为规定的比率以上的情况下，第1确定部G1也可将该最多的额发的形式的发型图像P1确定为候补发型图像。

此外，基于预先用户所执行的操作输入部9的规定操作来预先指定原图像P2的面部为男性还是女性，第1确定部G1也可从图像记录部5获取与所指定的性别相对应的发型图像P1的额发区域F2的特征信息。

接下来，发型图像确定部6G的第2确定部G2在由第1确定部G1所确定的规定数目的候补发型图像中，基于由特征提取处理所提取的头发区域全体的特征信息来确定发型图像P1(步骤S9)。

例如第2确定部G2在获取与规定数目的候补发型图像的每一个候补发型图像相对应的头发区域全体的特征信息(梯度方向直方图)和原图像P2的头发区域全体的特征信息(梯度方向直方图)之后，分别将它们标准化并进行比较。而且，第2确定部G2自动地确定一致度相对于原图像P2的头发区域全体的特征信息最高的发型图像P1(参照图7A)。此时，第2确定部G2也可在从一致度高的一方依次到规定的位次(例如10位等)为止排列了发型图像P1之后，在这些发型图像P1中，基于用户所执行的操作输入部9的规定操作来确定用户期望的发型图像P1。

此后，肖像画图像生成部6H采用发型图像P1和面部构成部图像P4生成肖像画图像P5(步骤S10)。具体来说，肖像画图像生成部6H在比由发型图像确定部6G所确定的发型图像P1的面部的轮廓W更内侧，确定使由构成部图像生成部6C所生成的面部构成部图像P4的例如眼睛、鼻子、嘴巴、眉毛等各面部构成部的部件图像叠加的位置，并使各面部构成部的部件图像在该位置叠加，生成以肖像画表示原图像P2的肖像画图像P5的图像数据(参照图7B)。而且，图像记录部5获取并记录由肖像画图像生成部6H所生成的肖像画图像P5的图像数据(YUV数据)。

由此，结束肖像画图像生成处理。

如上所述，根据本实施方式的摄像装置100，从在图像记录部5中与额发区域(头发前部区域)的特征信息对应关联地记录的表示头发的轮廓的发型图像P1中，确定与原图像P2内的面部的头发区域中的额发区域F2的特征信息相对应的发型图像P1，采用该发型图像P1来生成面部的肖像画图像P5，因此能够考虑原图像P2的面部的头发的头发前部的特征来确定与该面部的发型相对应的发型图像P1，能够生成更适当的肖像画图像P5。

即、肖像画中的发型与例如眼睛、鼻子、嘴巴等其他的面部部件相比存在使肖像画的印象变化较大的担心，但在本实施方式中，能够考虑头发的头发前部的特征来确定原图像P2的发型与看到的样子不会相差悬殊那样的自然的发型图像P1，通过采用该发型图像P1，能够生成更适当的肖像画图像P5。具体来说，能够基于所确定的发型图像P1和与原图像P2内的面部的主要的构成部分相关的面部构成部图像P4来生成肖像画图像P5。

进而，即使在图像记录部5中记录有多个发型图像P1、…，也能确定更适当的发型图像P1，因此也能抑制例如如手动地从大量准备的发型的模板中选择用户所期望的模板的手法那样的操作烦杂化。

此外，在图像记录部5中与额发区域(头发前部区域)的特征信息对应关联地记录的多个发型图像P1、…中，基于从原图像P2中提取的额发区域F2的特征信息确定规定数目的候补发型图像，并在该规定数目的候补发型图像中，基于从原图像P2中提取的头发区域全体的特征信息确定发型图像P1，因此在图像记录部5中记录的多个发型图像P1、…中，考虑原图像P2的面部的头发的头发前部的特征并将候补发型图像缩减为规定数目，在该规定数目的候补发型图像中，考虑原图像P2的面部的头发全体的特征能够确定更适当的发型图像P1。

具体来说，在图像记录部5中记录的多个发型图像P1、…中、确定多个与从原图像P2提取的额发区域F2的特征信息相对应的发型图像P1，确定规定数目个在该多个发型图像P1、…中最多的额发的形式的发型图像P1作为候补发型图像，因此除去该最多的额发的形式以外的形式、即判断为额发(头发前部)的看到的样子不太像的形式的发型图像，将额发的看到的样子不会相差悬殊的发型图像P1作为候补发型图像，能够进行考虑了之后的原图像P2的面部的头发全体的特征的发型图像P1的确定处理。

此外，以原图像P2内的面部的轮廓W的规定位置作为基准，确定头发区域中的额发区域F2，因此能够更简单且更适当地执行该额发区域F2的特征信息的提取。

此外，将对额发区域(头发前部区域)F2的亮度的梯度方向进行了直方图化后所得到的特征量作为特征信息提取，因此能够采用额发区域F2的大范围的形状信息(特征量)来确定发型图像P1，能够确定原图像P2的发型与看到的样子不会相差悬殊那样的自然的发型图像P1。

另外，本发明并不限于上述实施方式，在不脱离本发明的主旨的范围中，也能进行各种改良以及设计的变更。

例如在上述实施方式中，例示了额发区域F2作为头发前部区域，但这只是一例并不限于该例子，也可适当任意地变更。例如，也可将在侧头部收束头发的状态下包括存在于颈部或耳朵的侧方的脑后的头发的头发前部在内的区域作为头发前部区域。在这种情况下，例如通过获取原图像P2的面部的背景的平均色(代表色)与头发的平均色之间的差分，也可确定头发前部区域。

此外，在上述实施方式中，将与额发区域F2的特征信息相对应的多个发型图像P1、…中最多的额发的形式的发型图像P1确定为候补发型图像，但候补发型图像的确定的手法只是一例并不限定于此，可以适当任意地变更。

进而，基于额发区域(头发前部区域)F2的特征信息确定规定数目的候补发型图像，但只是一例并不限于该例子，未必需要确定候补发型图像。即、也可从记录于图像记录部5中的发型图像P1中确定与头发前部区域的特征信息相对应的发型图像P1。

此外，在上述实施方式中，将原图像P2内的面部的轮廓W的规定位置作为基准来确定额发区域F2，但额发区域F2的确定的手法只是一例并不限于此，能够适当任意地变更。

进而，在上述实施方式中，在生成肖像画图像P5时，利用在发型图像P1的图像数据中对应关联面部的轮廓的形状的数据，但只是一例并不限定于此，例如也可为将面部的轮廓图像(省略图示)与发型图像P1分开进行确定的结构。

此外，生成与原图像P2内的面部的主要的构成部分相关的面部构成部图像P4，采用该面部构成部图像P4来生成肖像画图像P5，但未必需要生成面部构成部图像P4，可以适当任意地变更是否生成该面部构成部图像P4。

进而，成为发型图像P1或面部构成部图像P4的生成源的图像不必是表示正面面部的图像，例如在按照朝向倾斜的方式而面部产生了倾斜的图像的情况下，也可生成使该面部朝向正面变形的图像来用作生成源。

此外，为具备记录有发型图像P1的图像记录部5的结构，但并不限于此，例如也可为以下结构：在可与该装置本体经由规定的通信网络连接的规定的服务器中预先记录发型图像P1的结构，从未图示的通信处理部经由通信网络访问规定的服务器，图像获取部6A从该服务器获取发型图像P1的结构。

进而，摄像装置100的结构，在上述实施方式中例示的结构只是一例，并不限定于此。此外，作为图像生成装置，例示了摄像装置100，但并不限于此，只要是能够执行本发明相关的图像生成处理的结构则为任何结构都可以。

除此之外，在上述实施方式中，设为在中央控制部10的控制下，通过图像获取部6A、特征信息提取部6F、发型图像确定部6G、肖像画图像生成部6H进行驱动而被实现的结构，但并不限于此，也可为通过中央控制部10执行规定的程序等而被实现的结构。

即、在存储有程序的程序存储器(省略图示)中预先存储包括获取处理例行程序、提取处理例行程序、确定处理例行程序、图像生成处理例行程序在内的程序。而且，也可通过获取处理例行程序使中央控制部10的CPU作为获取原图像P2的单元发挥功能。此外，也可通过提取处理例行程序使中央控制部10的CPU作为提取所获取的原图像P2内的面部的头发区域中、至少头发前部区域的特征信息的单元发挥功能。此外，也可通过确定处理例行程序使中央控制部10的CPU作为从在记录单元中与特征信息对应关联地记录的表示头发的轮廓的发型图像P1中确定与所提取的上述头发前部区域的特征信息相对应的发型图像P1的单元发挥功能。此外，也可通过图像生成处理例行程序使中央控制部10的CPU作为采用确定的发型图像P1来生成面部的肖像画图像P5的单元发挥功能。

同样地，关于第1确定单元、第2确定单元、轮廓确定单元、额发确定单元、第2生成单元，也可成为通过中央控制部10的CPU执行规定的程序等被实现的结构。

进而，作为保存有用于执行上述各处理的程序的计算机可读取介质，除了ROM或硬盘等之外，还可适用闪速存储器等非易失性存储器、CD-ROM等可移动型记录介质。此外，作为通过规定的通信线路提供程序的数据的介质，也可适用载波(carrier wave)。

虽然说明了本发明的几个实施方式，但本发明的范围并不限定于上述的实施方式，包括在专利请求的范围中记载的发明的范围及其均等的范围。

以下附记在该申请的申请文件最初添加的专利请求范围中记载的发明。附记中记载的权利要求的项目编号如本申请的申请文件中最初添加的专利请求的范围。

<权利要求1>

一种图像生成装置，其特征在于，具备：获取单元，其获取图像；提取单元，其提取由上述获取单元所获取的图像内的头发区域的特征信息；图像确定单元，其确定与由上述提取单元所提取的特征信息相对应的发型图像；和第1生成单元，其采用由上述图像确定单元所确定的发型图像来生成上述面部的肖像画图像。

<权利要求2>

根据权利要求1所述的图像生成装置，其特征在于，上述提取单元提取上述图像内的头发的头发前部区域的特征信息，上述图像确定单元确定与由上述提取单元所提取的上述头发前部区域的特征信息相对应的发型图像。

<权利要求3>

根据权利要求2所述的图像生成装置，其特征在于，上述提取单元还提取图像内的头发区域全体的特征信息，上述图像确定单元具备：第1确定单元，其基于由上述提取单元所提取的上述头发前部区域的特征信息来确定规定数目的候补发型图像；和第2确定单元，其在由上述第1确定单元所确定的上述规定数目的候补发型图像中，基于由上述提取单元所提取的上述头发区域全体的特征信息来确定发型图像。

<权利要求4>

根据权利要求3所述的图像生成装置，其特征在于，上述提取单元还提取上述头发区域之中包括额发的头发前部在内的额发区域的特征信息，上述第1确定单元从与由上述提取单元所提取的上述额发区域的特征信息相对应的发型图像中，确定规定数目个最多的额发的形式的发型图像作为候补发型图像。

<权利要求5>

根据权利要求2所述的图像生成装置，其特征在于，上述提取单元还提取上述头发区域之中包括额发的头发前部在内的额发区域的特征信息，上述图像确定单元确定与由上述提取单元所提取的上述额发区域的特征信息相对应的发型图像。

<权利要求6>

根据权利要求4或5所述的图像生成装置，其特征在于，还具备：轮廓确定单元，其确定由上述获取单元所获取的图像内的面部的轮廓；和额发确定单元，其将由上述轮廓确定单元所确定的轮廓的规定位置作为基准来确定上述额发区域，上述提取单元提取由上述额发确定单元所确定的上述额发区域的特征信息。

<权利要求7>

根据权利要求2所述的图像生成装置，其特征在于，上述提取单元将对上述头发前部区域的亮度的梯度方向进行了直方图化后得到的特征量作为上述特征信息来提取。

<权利要求8>

根据权利要求1所述的图像生成装置，其特征在于，还具备第2生成单元，该第2生成单元生成与由上述获取单元所获取的图像内的面部的主要的构成部分相关的面部构成部图像，上述第1生成单元基于由上述第2生成单元所生成的面部构成部图像、和由上述图像确定单元所确定的发型图像，来生成上述肖像画图像。

<权利要求9>

根据权利要求1所述的图像生成装置，其特征在于，具备显示单元，该显示单元显示上述第1生成单元所生成的肖像画图像。

<权利要求10>

一种图像生成方法，采用图像生成装置，该图像生成方法包括：获取图像的处理；提取所获取的图像内的面部的头发区域的特征信息的处理；确定与所提取的特征信息相对应的发型图像的处理；和采用所确定的发型图像，生成上述面部的肖像画图像的处理。

Claims (10)

1.一种图像生成装置，其特征在于，具备：

获取单元，其获取图像；

提取单元，其提取由上述获取单元所获取的图像内的头发区域的特征信息；

图像确定单元，其确定与由上述提取单元所提取的特征信息相对应的发型图像；和

第1生成单元，其采用由上述图像确定单元所确定的发型图像来生成上述面部的肖像画图像。

2.根据权利要求1所述的图像生成装置，其特征在于，

上述提取单元提取上述图像内的头发的头发前部区域的特征信息，

上述图像确定单元确定与由上述提取单元所提取的上述头发前部区域的特征信息相对应的发型图像。

3.根据权利要求2所述的图像生成装置，其特征在于，

上述提取单元还提取图像内的头发区域全体的特征信息，

上述图像确定单元具备：

第1确定单元，其基于由上述提取单元所提取的上述头发前部区域的特征信息来确定规定数目的候补发型图像；和

第2确定单元，其在由上述第1确定单元所确定的上述规定数目的候补发型图像中，基于由上述提取单元所提取的上述头发区域全体的特征信息来确定发型图像。

4.根据权利要求3所述的图像生成装置，其特征在于，

上述提取单元还提取上述头发区域之中包括额发的头发前部在内的额发区域的特征信息，

上述第1确定单元从与由上述提取单元所提取的上述额发区域的特征信息相对应的发型图像中，确定规定数目个最多的额发的形式的发型图像作为候补发型图像。

5.根据权利要求2所述的图像生成装置，其特征在于，

上述提取单元还提取上述头发区域之中包括额发的头发前部在内的额发区域的特征信息，

上述图像确定单元确定与由上述提取单元所提取的上述额发区域的特征信息相对应的发型图像。

6.根据权利要求4或5所述的图像生成装置，其特征在于，

还具备：

轮廓确定单元，其确定由上述获取单元所获取的图像内的面部的轮廓；和

额发确定单元，其将由上述轮廓确定单元所确定的轮廓的规定位置作为基准来确定上述额发区域，

上述提取单元提取由上述额发确定单元所确定的上述额发区域的特征信息。

7.根据权利要求2所述的图像生成装置，其特征在于，

上述提取单元将对上述头发前部区域的亮度的梯度方向进行了直方图化后得到的特征量作为上述特征信息来提取。

8.根据权利要求1所述的图像生成装置，其特征在于，

还具备第2生成单元，该第2生成单元生成与由上述获取单元所获取的图像内的面部的主要的构成部分相关的面部构成部图像，

上述第1生成单元基于由上述第2生成单元所生成的面部构成部图像、和由上述图像确定单元所确定的发型图像，来生成上述肖像画图像。

9.根据权利要求1所述的图像生成装置，其特征在于，

具备显示单元，该显示单元显示上述第1生成单元所生成的肖像画图像。

10.一种图像生成方法，采用图像生成装置，该图像生成方法包括：

获取图像的处理；

提取所获取的图像内的面部的头发区域的特征信息的处理；

确定与所提取的特征信息相对应的发型图像的处理；和

采用所确定的发型图像，生成上述面部的肖像画图像的处理。

Images