CN1503567A - 图像处理方法及其装置 - Google Patents

Abstract

本图像处理装置包括：图像存储部(4)，存储输入图像；模板存储部(6)，存储身体部分区域的模板；脸检测部(7)，用模板存储部的模板从输入图像中，检测脸区域的位置及尺寸；装饰信息存储部(5)，存储具有基准点的装饰的信息；图像合成部(9)，按照检测出的脸区域的尺寸，来缩放装饰，确定缩放过的装饰的基准点的位置，使其与检测出的脸区域的位置吻合，将缩放过的装饰合成在人物图像上。

Description

图像处理方法及其装置

技术领域

本发明涉及使用图像的通信装置(例如，用于可视电话、电视会议、视频邮件或视频聊天的装置或对讲机等)中包含的图像处理装置，更详细地说，涉及编辑人物图像(例如，用户的脸图像或全身图像等)的图像处理装置。

背景技术

有的游戏机将拍摄到的用户的图像打印输出到各种打印媒体上。它在拍摄到的人物图像上重合装饰(例如，花纹或图案等)的框架来进行合成，打印输出到打印媒体(例如，标签(シ—ル)等)上。

这种游戏机本身不具有调整人物图像和装饰之间的位置关系的功能。因此，有时即使用户将人物图像配置得容纳在装饰框架内，装饰也会重叠在人物图像上，遮盖脸部或头部等，人物图像不鲜明。

文献1((日本)特开2000-22929号公报)考虑到这一点，提出下述技术：使得装饰不重叠在人物图像的身体部分、特别是对应于其脸或头而设定的身体部分区域上，来附加装饰。

另一方面，最近，包括下述功能的带摄像机的便携式电话已经实用化：将拍摄到的人物图像与装饰框架重合来进行合成，发送合成的图像。如果发送者使用这种带摄像机的便携式电话，则接收者能够享受观看发送者编辑过的图像这一乐趣。

然而，人们也要求不是使得装饰不重叠在人物图像上，而是积极地将装饰的全部或一部分以应有的尺寸重叠在人物图像的应有的位置上。

这种装饰是与人物有关的图像，是用于表现人物的感情的东西(例如，眼泪(悲伤)、眉间的皱纹(愤怒或不满)等)的图像、或日用品(例如，帽子、眼镜、假须、项链等)的图像等。

现有技术中在这种情况下有下述问题：用户不得不一一通过键输入等来输入应配置装饰的位置及其尺寸，操作极其烦杂。

发明内容

因此，本发明的目的在于提供一种图像处理方法及其关联技术，即使用户不进行麻烦的操作，也能够以应有的尺寸将装饰配置到人物图像的应有的位置上。

第1发明的图像处理方法包含下述步骤：将装饰、和该装饰在身体部分区域上的配置信息密不可分地相关联；设定输入图像上的身体部分区域的位置；用与装饰相关联的配置信息，来确定装饰的配置，使其与设定的身体部分区域的位置吻合，将装饰合成在输入图像上；输出合成的输入图像。

在该结构中，通过将装饰、和该装饰在身体部分区域上的配置信息密不可分地相关联，而将装饰合成在输入图像的应有的位置上。此时，用户无需一一指定应合成装饰的位置，只需指示使用哪个装饰即可，操作极其容易。

在第2发明的图像处理方法中，包含下述步骤：设定输入图像上的身体部分区域的尺寸；根据设定的身体部分区域的尺寸，使输入图像和装饰的尺寸吻合。

根据该结构，用户无需一一进行输入图像和装饰之间的尺寸吻合，能够提高操作性。

在第3发明的图像处理方法中，装饰采取图像文件的形式，该装饰在身体部分区域上的配置信息被包含在该图像文件的属性信息中。

根据该结构，能够容易地处理装饰、和与其关联的配置信息。例如，只要将该图像文件从某个位置(例如，WEB的服务器上)传送到别的位置(例如，客户机)(例如，下载)，则装饰、和与其关联的配置信息被一体传送。即，传送目的地的用户只要接受该图像文件的传送，即使不一一支持显示应合成装饰的位置，也能立即进行反映配置信息的合成。

在第4发明的图像处理方法中，属性信息存在于图像文件的扩展区域中。

根据该结构，不用压迫图像文件的其他区域，就能够在1个图像文件内保存配置信息。

在第5发明的图像处理方法中，装饰采取图像文件的形式，该装饰在身体部分区域上的配置信息被包含在该图像文件的文件名中。

根据该结构，即使图像文件是没有扩展区域的形式，也能够保存配置信息，而且能够在图像文件原来具有的文件名中保存配置信息，抑制图像文件的长度扩大。

在第6发明的图像处理方法中，装饰采取图像文件的形式，该装饰在身体部分区域上的配置信息被包含在与该图像文件的关系密不可分的别的文件中。

根据该结构，通过只编辑其他文件，不打开图像文件，就能够编辑配置信息。

在第7发明的图像处理方法中，装饰在身体部分区域上的配置信息中包含与装饰的基准点有关的信息。

根据该结构，能够用装饰的基准点来简洁地表现装饰的配置。

在第8发明的图像处理方法中，装饰在身体部分区域上的配置信息中包含与确定身体部分区域的尺寸和装饰的尺寸的关系的倍率有关的信息。

根据该结构，能够简单地进行尺寸吻合处理。

在第9发明的图像处理方法中，身体部分区域是人物被摄体的脸区域。

根据该结构，脸如实地表示人物的意志或感情，所以如果将脸区域选择为身体部分区域，则提高游戏性的效果大。此外，使装饰具有基准点，所以装饰以应有的尺寸被粘贴到脸区域的应有的位置上。例如，如果是帽子装饰，则被粘贴到脸区域的头的位置上。

在第10发明的图像处理方法中，装饰的基准点是装饰的左上角点、上边中点、右上角点、左边中点、中心、重心、右边中点、左下角点、下边中点或右下角点中的某一个。

根据该结构，能够按照装饰的性质配置到输入图像上。

在第11发明的图像处理方法中，装饰是表现人物感情的东西的图像及/或日用品的图像。

根据该结构，能够在输入图像上添加感情表现而使其成为有趣的图像，或者对服饰类进行各种变更来欣赏，换言之，能够享受简单的时装表演样的乐趣。

附图说明

图1是本发明实施方式1的图像处理装置的功能方框图。

图2是本发明实施方式1的图像处理装置的方框图。

图3是本发明实施方式1的图像处理装置的流程图。

图4(a)至(c)是本发明实施方式1的模板的示例图。

图5是本发明实施方式1的模式匹配的说明图。

图6是本发明实施方式1的脸区域检测结果的示例图。

图7是本发明实施方式1的脸区域的各点说明图。

图8是本发明实施方式1的装饰的示例图。

图9(a)～(i)是本发明实施方式1的装饰的示例图。

图10是本发明实施方式1的合成结果的示例图。

图11是本发明实施方式2的图像处理装置的功能方框图。

图12是本发明实施方式2的图像处理装置的流程图。

图13是本发明实施方式2的框架图像的示例图。

图14(a)～(i)是本发明实施方式2的框架图像的示例图。

图15(a)～(c)是本发明实施方式2的合成结果的示例图。

具体实施方式

以下参照附图来说明本发明的实施方式。首先，在说明具体结构之前，解说重要的用语。

所谓“人物图像”，是包含人物的一部分或全部图像的图像。因此，可以是人物整体的图像，也可以是只有人物的脸或背影、或者上半身的图像。此外，也可以是摄有多个人物的图像。当然，背景上也可以有人物以外的风景或图案等任何模式(パタ—ン)。

所谓“身体部分”，意思是人物的身体的一部分，即使身体部分穿着了衣服、帽子或鞋子的皮肤看不见，只要能够识别是人物的身体的一部分，就包含在身体部分中。因此，脸是身体部分，头也是身体部分。再者，眼睛、鼻子、嘴巴、耳朵、眉毛、头发、脖子、穿着衣服的上半身、手、胳膊、腿、穿着鞋子的脚、戴着帽子的头、戴着眼镜的眼睛等也是身体部分。

所谓“身体部分区域”，是指人物图像中作为身体部分所占的区域而确定的区域，身体部分区域可以在其内部包含不是身体部分的部分，也可以是位于身体部分的内部的区域。

即，假设身体部分是脸，则与脸对应的身体部分区域可以包含位于脸的周围的区域，也可以是包围两眼、嘴巴以及鼻子的最小尺寸的长方形而不包含额头或耳朵。

所谓“装饰”，是指添加的图像模式，该图像模式可以是预先保持的图像模式，也可以是用计算机图形技术生成的图像模式。此外，该图像模式也可以是字符或记号的模式或图形的模式。

“日用品”比通常更广义，包含衣服、生活用品、兴趣娱乐用品、运动比赛用品、办公用品、小型的机械器具等。

“配置信息”是确定将装饰以何种大小配置到身体部分区域的哪个位置上的信息，在该配置信息中，包含与装饰的基准点有关的信息、与确定身体部分区域的尺寸和装饰的尺寸的关系的倍率有关的信息。这里，装饰有时也可以被配置到身体部分区域外。在这种情况下，定义装饰和身体部分区域之间的距离，将该距离包含到“配置信息”中即可。

在本方式中，将装饰、和该装饰在身体部分区域上的配置信息密不可分地相关联这一点是关键。具体地说，可以采用下面3种信息形态中的任一种。

(例1)装饰采取图像文件的形式，该装饰在身体部分区域上的配置信息被包含在该图像文件的属性信息中，属性信息存在于图像文件的扩展区域中。

(例2)装饰采取图像文件的形式，该装饰在身体部分区域上的配置信息被包含在该图像文件的文件名中。

(例3)装饰采取图像文件的形式，该装饰在身体部分区域上的配置信息被包含在与该图像文件的关系密不可分的别的图像文件中。

当然，以上的(例1)～(例3)是例示，只要能够将装饰、和该装饰在身体部分区域上的配置信息密不可分地相关联，则可以采用其他任意的信息形态。

装饰和配置信息只要密不可分地相关联，也可以不是一一对应，而是例如一对多对应或多对一对应。

此外，装饰不必为图像文件的形式，可以是计算机图形软件或程序输出的图像模式，或者可以用描述语言来表现。

此外，对于框架图像，将以上的“装饰”替换为“框架图像”，将“装饰在身体部分区域上的配置信息”替换为“框架在框架图像上的配置信息”来理解。

(实施方式1)

图1是本发明实施方式1的图像处理装置的功能方框图。

如图1所示，本方式的图像处理装置有下述部件。

控制部1按图3的流程图来控制图1所示的各部件。

图像输入部2得到输入图像。输入图像可以是静止图像，也可以是运动图像的1帧图像。再者，该输入图像可以是用摄像机直接拍摄到的图像，也可以是对拍摄后根据JPEG或MPEG等编码方式编码过的数据(可以下载记录媒体上记录的图像，也可以是从发送装置接收到的图像。)进行解码而得到的图像。

显示部10由显示设备等构成，显示图像输入部2输入并存储到图像存储部4中的输入图像、或图像合成部9在输入图像上合成了装饰图像所得的图像。

操作部3用于接受用户输入的信息。特别是，用户用操作部3来输入在装饰信息存储部5中存储的装饰的信息中、用户使用与哪个装饰有关的信息这一信息。图像存储部4存储图像输入部2输入的输入图像。

模板存储部6存储身体部分区域的模板。以下，在本方式中，将脸区域作为身体部分区域。但是，也同样能够适用于手等其他身体部分区域。

如图4(a)、(b)、(c)所示，对各种尺寸准备并使用将脸部分(头、眼睛、鼻子、嘴巴)分别的轮廓模型化了的模板。

在图1中，脸检测部7相当于检测部。该脸检测部7用模板存储部6的模板，从图像存储部4中存储的输入图像中，检测身体部分区域的位置及尺寸。

这里，如图5所示，脸检测部7对图像存储部4的输入图像施加微分滤波，提取边缘分量。此外，脸检测部7从模板存储部6中选择模板53，用选择出的模板53、和边缘分量来执行模式匹配。

该模式匹配是下述处理：使模板53(Nx*Ny像素)在比其大的输入图像(Mx*My像素)内的搜索范围(Mx-Nx+1)(My-Ny+1)上移动，求使下式所示的残差R达到最小的模板图像的左上位置(a，b)。

【式1】

$R(a,b)=\underset{m_y=0}{\overset{N_y-1}{\mathrm{\Σ}}}\underset{m_x=0}{\overset{N_x-1}{\mathrm{\Σ}}}|I_{(a,b)}(m_x,m_y)-T(m_x,m_y)|$

其中，在(式1)中，I(a，b)(mx，my)是输入图像的部分图像，T(mx，my)是模板53的图像。

此外，也可以取代(式1)，求下式所示的互相关系数C，求互相关系数C达到最大的模板图像的左上位置(a，b)。

【式2】

$C(a,b)=\underset{m_y=0}{\overset{N_y-1}{\mathrm{\Σ}}}\underset{m_x=0}{\overset{N_x-1}{\mathrm{\Σ}}}\frac{\{I(a,b)(m_x,m_y)-\stackrel{\‾}{I}\}\{T(m_x,m_y)-\stackrel{\‾}{T}\}}{\sqrt{I{\mathrm{\σ}}_{\mathrm{ab}}\mathrm{T\σ}}}$

$\stackrel{\‾}{I}=\frac{1}{N_x{N}_y}\underset{m_y=0}{\overset{N_y-1}{\mathrm{\Σ}}}\underset{m_x=0}{\overset{N_x-1}{\mathrm{\Σ}}}{I}_{(a,b)}(m_x,m_y)$

$\stackrel{\‾}{T}=\frac{1}{N_x{N}_y}\underset{m_y=0}{\overset{N_y-1}{\mathrm{\Σ}}}\underset{m_x=0}{\overset{N_x-1}{\mathrm{\Σ}}}T(m_x,m_y)$

$I_{\mathrm{\σab}}=\frac{1}{N_x{N}_y}\underset{m_y=0}{\overset{N_y-1}{\mathrm{\Σ}}}\underset{m_x=0}{\overset{N_x-1}{\mathrm{\Σ}}}{\{I_{(a,b)}(m_x,m_y)-\stackrel{\‾}{I}\}}^2$

$T_{\mathrm{\δ}}=\frac{1}{N_x{N}_y}\underset{m_y=0}{\overset{N_y-1}{\mathrm{\Σ}}}\underset{m_x=0}{\overset{N_x-1}{\mathrm{\Σ}}}{\{T(m_1,n_1)-\stackrel{\‾}{T}\}}^2$

脸检测部7使用图4所示的模板，在使用(式1)时求残差R达到最小的模板，在使用(式2)时求相关系数C达到最大的模板。然后，脸检测部7将求出的模板的位置及尺寸作为输入图像中的脸区域的分别的位置及尺寸。

这里，用图6及图7来说明本方式的脸区域的处理。图6示出脸区域的检测结果的例子。对输入图像60，检测出矩形的脸区域61。

在本方式中，脸检测部7用上述模板来求该脸区域的左上角点的坐标、表示该脸区域的矩形的横向长度L、以及纵向长度M。

进而，如图7所示，在本方式中，脸检测部7根据以上值，对表示脸区域的矩形，求左上角点P0、上边中点P1、右上角点P2、左边中点P3、中心(也可以是重心)P4、右边中点P5、左下角点P6、下边中点P7、右下角点P8合计9个点的位置。

在本方式中，将后述装饰的基准点设定为上述某一个点、或者将从它们中任意选择出的多个点按比例分配所得的点。

根据该关系，只需使装饰的基准点与设定的点吻合，装饰的基准点就处于脸区域的应有的位置。

然而，以上所述的点的取法只是例示，在不变更本发明的主旨的范围内，当然能够任意进行变更。

其中，在图像中存在多个脸的情况下，脸检测部7在除去了已经检测出的第1个人的脸部区域的区域内，检测残差R低的位置或相关系数C高的位置作为第2个人的脸部区域。

进而，对第3个人以后的脸也同样，脸检测部7一边在除去了已经检测出的脸部区域的区域内将残差R低的位置、相关系数C高的位置设定为脸部区域，一边继续重复检测，直至残差R大于过当的阈值，或者直至相关系数C小于过当的阈值。

由此，能够检测多个人物的脸部区域。

这里，在实施方式1中，与后述实施方式2不同，最好不仅检测脸区域，而且检测脸构件(例如，右眼、左眼、鼻子、嘴巴、两眼、右颊、左颊、两颊等)的各区域。这样，能够更详细地配置装饰。

其中，对这些脸构件，如果与脸区域同样，准备模板，则能够分别检测位置及尺寸，所以省略详细说明。此外，也可以只检测脸区域，例如与检测出的脸区域的位置及尺寸成正比等，来估计脸构件的位置及尺寸。

脸检测部7如上所述求出位置及尺寸后，将其结果保存到图1的检测结果存储部8中。

在图1中，装饰信息存储部5存储装饰信息。接着，用图8及图9来说明装饰信息。

在图8所示的例子(帽子(有边的帽子，ハツト)装饰)中，装饰的信息由装饰图像(帽子的图)数据、尺寸的信息(帽子主体的直径a、帽檐的直径b)、基准点c在装饰图像上的位置、以及在表示脸区域的矩形上应与基准点c一致的点相关联而构成。

此外，装饰的例子有图9(a)所示的帽子(运动帽，キヤツプ)、图9(b)所示的头饰、图9(c)所示的包头巾、图9(d)～(f)所示的各种眼镜或太阳镜、图9(g)～图9(i)所示的假须等。

再者，装饰可以是表示眼泪、眉间的皱纹、脸的阴影、汗、脸烫的标记等表现人物感情的东西，也可以是先前定义的日用品。

此外，装饰图像的数据可以是光栅图像，也可以是矢量图像。

在图1中，图像合成部9参照检测结果存储部8中保存的脸区域的位置及尺寸的信息。

图像合成部9按照脸区域的尺寸，来缩放选择出的装饰，确定缩放过的装饰的基准点的位置，使其与脸区域的位置吻合，将缩放过的装饰合成在图像存储部存储的人物图像上。

这里，这种位置吻合、或缩放(尺寸的调整)本身能够用简单的处理来实现。此外，也可以使缩放具有方向性，例如只在横向上实施，在纵向上不实施等。

此外，图像合成可以将缩放过的装饰配置到人物图像的前景上，也可以配置到背景上。再者，也可以用适当的α值与人物图像进行混色来显示。

图像合成或装饰的缩放等加工也可以不是直接操作人物图像和装饰的图像，而是用描述语言(SMIL形式、冲击波形式等)来间接操作人物图像和装饰的图像。

如果将图8所示的帽子装饰应用于图6的脸区域检测结果，则例如为图10所示的结果。由图10可以理解，帽子按照应有的尺寸(人物的头的大小)被配置到应有的位置(在头上略微遮住脑门的位置)。

顺便指出，在这种图像处理中，例如容易出现小得戴不到头上的帽子位于嘴巴前等结果。这种结果作为图像处理本身不能就说是错误，但是脱离现实，是不适当的。

与此相比，本发明在输入人物图像后，用户只要选择帽子装饰，就不用再进行任何麻烦的操作，全自动地变为图10所示的状态，所以使用的方便度大幅提高。

装饰和配置信息被密不可分地相关联，所以用户如果得到装饰，则同时也得到配置信息。这一点也适用于从服务器下载装饰的情况或从记录媒体(例如存储卡等)取出装饰的情况。因此，用户只考虑取得装饰即可，用户能够极其容易地处理装饰和其配置信息。

接着，用图2来说明图1所示的图像处理装置及其外围部分的具体结构。图2是该图像处理装置的方框图。

在图2的例子中，在带摄像机的便携式电话中，包含图1的图像处理装置。如图2所示，该带摄像机的便携式电话有下述部件。

CPU 21经总线20控制图2的各部件，执行ROM 23中记录的、基于图3的流程图的控制程序。

在RAM 22中，保留着CPU 21进行处理所需的临时存储区域。

闪速存储器24是与记录媒体相当的设备。

此外，通信处理部26经由天线25与外部的通信装置进行数据的发送接收。

图像处理部27由与JPEG、MPEG等编码方式有关的编码器/解码器等构成，处理摄像机28拍摄到的图像(静止图像或运动图像)，或者根据CPU 21指示的图像数据，来控制LCD(显示设备的一例)29的显示状态。

声音处理部30控制来自话筒31的输入、和经扬声器32的声音输出。

此外，在总线20上，连接有接口33，用户经接口33通过键盘(キ—セツト)34来进行操作信息的输入，进而能够经端口35来连接别的设备。

这里，图1中的图像输入部2通过CPU 21或图像处理部27处理闪速存储器24中记录的数据、或摄像机28拍摄到的数据来实现。

此外，控制部1、脸检测部7、图像合成部9通过CPU 21一边与RAM 22、闪速存储器24等进行数据的交换、一边实施运算来实现。

再者，图像存储部4、模板存储部6、装饰信息存储部5、检测结果存储部8相当于RAM 22、ROM 23或闪速存储器24中的某一个中保留的区域。此外，图2的键盘34相当于图1的操作部3。

其中，CPU 21识别用户对键盘34进行的操作，从摄像机28取得图像，压缩摄像机图像并保存到闪速存储器24中，读入所保存图像并解压，进行图像合成、图像再生，显示到LCD 29上等，但是这些处理中的一些也可以由图像处理部27来进行。

接着，用图3来说明本方式的图像处理装置中的处理的流程。

首先，在步骤1中，控制部1控制图像输入部2，输入图像经由图像输入部2、控制部1被保存到图像存储部4中。

接着，在步骤2中，控制部1命令显示部10显示图像存储部4中保存的输入图像，在显示部10上显示输入图像。

接着，在步骤3中，控制部1等待用户输入要使用哪个装饰这一信息。

用户使用操作部3输入该信息后，在步骤4中，控制部1命令脸检测部7检测脸区域。由此，脸检测部7使用模板存储部6中存储着的模板，来检测脸区域的位置和尺寸，在步骤5中，将检测结果保存到检测结果存储部8中。

以上处理完成后，在步骤6中，图像合成部9按照脸区域的尺寸来缩放装饰的图像。然后，在步骤7中，图像合成部9使缩放过的装饰的基准点位于脸区域的对应的点上，将缩放过的装饰的图像合成在输入图像上，将合成图像保存到图像存储部4中。然后，在步骤8中，控制部1使显示部10显示合成图像。

其中，在步骤2至步骤5中，也可以在选择装饰之前，或者与选择装饰并行，来进行脸检测。

如果在选择装饰之前，利用用户考虑采用哪个装饰的(作为信息处理装置，是浪费的)时间，来开始脸检测，则从用户来看，脸检测好像是在短时间内完成了的一样。

此外，在步骤6至步骤7中，也可以在决定装饰的基准点的位置后，或者与其并行，来缩放装饰的图像。

(实施方式2)

下面，用图11～图15来说明本发明的实施方式2。图11是本发明实施方式2的图像处理装置的功能方框图。

在图11中，通过对与实施方式1同样的内容附以同一标号，来省略其说明。但是，脸检测部7、模板存储部6与实施方式1不同，只对应脸区域即可，无需考虑脸构件。

如图13所示，框架图像存储部11存储具有嵌入脸图像的框架的框架图像。在图13所示的框架图像中，设有横向长度为d、纵向长度为e的框架。脸区域的图像在使尺寸吻合后被嵌入到该框架内。

此外，作为框架图像，有图14(a)～(i)所示的框架图像。这里，如图13所示，所谓“框架”，不限于具有眼睛能看到的框架线的框架，还包含如图14(b)、(d)、(e)所示、看不到框架线的框架。再者，如图14(g)～(i)所示，也可以将模仿没有头的人体的图形、即其头可作为框架内的图像存在的一定的区域确定为这里所说的“框架”。

在图11中，脸图像剪裁部12从图像存储部4中保存的输入图像中，只剪裁脸检测部7检测出的脸区域的图像。

图像合成部13按照框架的尺寸来缩放脸图像剪裁部12剪裁下的脸区域的图像，嵌入到框架图像的框架中，输出到图像存储部4。

接着，用图12来说明本方式的图像处理装置中的处理的流程。

首先，在步骤11中，控制部1控制图像输入部2，输入图像经由图像输入部2、控制部1被保存到图像存储部4中。

接着，在步骤12中，控制部1命令显示部10显示图像存储部4中保存的输入图像，在显示部10上显示输入图像。

接着，在步骤13中，控制部1等待用户输入要使用哪个装饰这一信息。

用户使用操作部3输入该信息后，在步骤14中，控制部1命令脸检测部7检测脸区域。由此，脸检测部7使用模板存储部6中存储着的模板，来检测脸区域的位置和尺寸，将检测结果保存到检测结果存储部8中。

以上处理完成后，在步骤15中，脸图像剪裁部12从输入图像中只剪裁脸区域的图像，输出到图像合成部13。

图像合成部9按照框架图像的框架的尺寸来缩放剪裁下的脸图像，在步骤17中，图像合成部9将缩放过的脸图像粘贴到框架内，将合成图像保存到图像存储部4中。然后，在步骤18中，控制部1使显示部10显示合成图像。

其中，在步骤15至步骤17中，也可以按不同顺序来执行脸图像的剪裁、和脸图像的缩放。

如果在选择装饰之前，利用用户考虑采用哪个框架图像的(作为信息处理装置，是浪费的)时间，来开始脸检测，则从用户来看，脸检测好像是在短时间内完成了的一样。

图15(a)示出在图13所示的框架图像上粘贴脸图像的结果例。再者，如图15(b)所示，也可以设置多个框架，在各个框架上粘贴脸图像。

以上，说明了对1个框架合成1个脸图像的例子，但是对多个人的脸检测，按实施方式1的后半部分所述的要领来应对即可。例如，如图15(c)所示，在存在多个脸图像的情况下，求包围所有这些脸图像的矩形区域，进行调整、图像合成，使得该矩形区域与1个框架吻合。其结果是，多个人的脸图像被粘贴到1个框架内。

当然，也可以组合实施方式1和实施方式2。

根据本发明，用户无需麻烦的操作，就能够以应有的尺寸简单地将装饰配置到人物图像的应有的位置上。

此外，能够简单地以适当的尺寸只将脸图像配置到框架图像的框架内。因此，用户能快乐地进行操作容易的人物图像编辑。

Claims (27)

1、一种图像处理方法，包含下述步骤：

将装饰、和该装饰在身体部分区域上的配置信息密不可分地相关联；

设定输入图像上的身体部分区域的位置；

用与装饰相关联的配置信息，来确定装饰的配置，使其与设定的身体部分区域的位置吻合，将装饰合成在输入图像上；

输出合成的输入图像。

2、如权利要求1所述的图像处理方法，还包含下述步骤：

设定输入图像上的身体部分区域的尺寸；

根据设定的身体部分区域的尺寸，使输入图像和装饰的尺寸吻合。

3、如权利要求1所述的图像处理方法，其中，装饰采取图像文件的形式，该装饰在身体部分区域上的配置信息被包含在该图像文件的属性信息中。

4、如权利要求3所述的图像处理方法，其中，属性信息存在于图像文件的扩展区域中。

5、如权利要求1所述的图像处理方法，其中，装饰采取图像文件的形式，该装饰在身体部分区域上的配置信息被包含在该图像文件的文件名中。

6、如权利要求1所述的图像处理方法，其中，装饰采取图像文件的形式，该装饰在身体部分区域上的配置信息被包含在与该图像文件的关系密不可分的另的文件中。

7、如权利要求1所述的图像处理方法，其中，装饰在身体部分区域上的配置信息中包含与装饰的基准点有关的信息。

8、如权利要求2所述的图像处理方法，其中，装饰在身体部分区域上的配置信息中包含与确定身体部分区域的尺寸和装饰的尺寸的关系的倍率有关的信息。

9、如权利要求1所述的图像处理方法，其中，身体部分区域是人物被摄体的脸区域。

10、如权利要求7所述的图像处理方法，其中，装饰的基准点是装饰的左上角点、上边中点、右上角点、左边中点、中心、重心、右边中点、左下角点、下边中点或右下角点中的某一个。

11、如权利要求1所述的图像处理方法，其中，装饰是表现人物感情的东西的图像及/或日用品的图像。

12、一种图像处理方法，包含下述步骤：

存储具有合成身体部分区域的框架的框架图像；

设定输入图像上的身体部分区域的位置及尺寸；

将身体部分区域的图像合成在框架图像的框架上并输出。

13、如权利要求12所述的图像处理方法，包含下述步骤：使设定的身体部分区域的图像、和框架的尺寸吻合。

14、如权利要求12所述的图像处理方法，其中，框架图像采取图像文件的形式，该框架图像上的框架的配置信息被包含在该图像文件的属性信息中。

15、如权利要求14所述的图像处理方法，其中，属性信息存在于图像文件的扩展区域中。

16、如权利要求15所述的图像处理方法，其中，框架图像采取图像文件的形式，该框架图像上的框架的配置信息被包含在该图像文件的文件名中。

17、如权利要求12所述的图像处理方法，其中，框架图像采取图像文件的形式，该框架图像上的框架的配置信息被包含在与该图像文件的关系密不可分的别的文件中。

18、如权利要求12所述的图像处理方法，其中，框架图像上的框架的配置信息中包含与框架的基准点有关的信息。

19、如权利要求13所述的图像处理方法，其中，框架图像上的框架的配置信息中包含与确定身体部分区域的尺寸和装饰的尺寸的关系的倍率有关的信息。

20、如权利要求12所述的图像处理方法，其中，身体部分区域是人物被摄体的脸区域。

21、如权利要求18所述的图像处理方法，其中，装饰的基准点是装饰的左上角点、上边中点、右上角点、左边中点、中心、重心、右边中点、左下角点、下边中点或右下角点中的某一个。

22、如权利要求12所述的图像处理方法，其中，装饰是表现人物感情的东西的图像及/或日用品的图像。

23、一种图像处理装置，包括：

图像存储部，存储输入图像；

模板存储部，存储身体部分区域的模板；

检测部，用上述模板存储部的模板，从上述输入图像存储部中存储的输入图像中，检测身体部分区域的位置及尺寸；

装饰信息存储部，存储具有基准点的装饰的信息；

图像合成部，按照上述检测部检测出的身体部分区域的尺寸，来缩放装饰，确定缩放过的装饰的基准点的位置，使其与上述检测部检测出的身体部分区域的位置吻合，将缩放过的装饰合成在上述图像存储部存储的输入图像上。

24、如权利要求23所述的图像处理装置，其中，身体部分区域是人物被摄体的脸区域。

25、如权利要求23所述的图像处理装置，其中，装饰的基准点是装饰的左上角点、上边中点、右上角点、左边中点、中心、重心、右边中点、左下角点、下边中点或右下角点中的某一个。

26、如权利要求23所述的图像处理装置，其中，装饰是表现人物感情的东西的图像及/或日用品的图像。

27、一种图像处理装置，包括：

图像存储部，存储输入图像；

模板存储部，存储脸区域的模板；

检测部，用上述模板存储部的模板，从上述输入图像存储部中存储的输入图像中，检测脸区域的位置及尺寸；

框架图像存储部，存储具有嵌入脸图像框架的框架图像；

图像合成部，按照框架的尺寸，来缩放上述检测部检测出的脸区域的图像，嵌入到框架图像的框架中并输出。

Images