CN101790035A - 照相机、图像显示装置、图像显示方法以及程序 - Google Patents

Abstract

本发明提供一种可相对于衣服的图像替换人物、能简单检索出最适合该衣服的人物的照相机、图像显示装置、图像显示方法以及程序。该照相机具有：摄像部(2)，其输出衣服(23)的图像数据；显示部(8a)，其根据图像数据显示衣服(23)；显示控制部(8)，其将模板(21)叠加在显示部(8a)上来显示，该模板(21)用于在取得衣服(23)的图像数据时，使衣服(23)的一部分对位；以及记录部(4)，其记录衣服(23)的图像数据。

Description

照相机、图像显示装置、图像显示方法以及程序

技术领域

本发明涉及照相机、图像显示装置、图像显示方法以及程序，详细地说，涉及具有显示部的照相机的改进。

背景技术

近年，随着互联网的普及，用户常常利用网上拍卖来买卖不需要的物品。在该情况下，使用数字照相机拍摄衣服等展出品，将该数字图像上传到网上，进行展出品的介绍。并且，年轻女性通常利用网上的服务，使自己的化身等试穿上喜欢的衣服的图像，从是否适合自己的虚拟试穿中享受快乐。

以往提出了各种在试穿衣服的情况下的模拟。例如，在专利文献1中公开了这样的图像合成装置：可自动或通过简单操作进行衣服模拟等肖像图像的合成，即使没有熟练的操作者也能进行。并且，在专利文献2中公开了一种以简单结构自然且没有不协调感地进行图像合成的试穿模拟系统。在该试穿模拟系统中，通过图像输入单元从所拍摄的试穿模拟对象人物的图像中剪切掉脸部，替换成穿上期望衣服的模型的图像的脸部。由于存储有多个穿着衣服的图像数据，因而通过拍摄对象人物的图像，容易检索适于该对象人物的衣服。

【专利文献1】日本特开平10-222649号公报

【专利文献2】日本特开平11-213139号公报

尽管提出了用于进行衣服相关模拟的种种装置，然而未提出针对衣服替换人物的模拟。即，专利文献1公开的图像合成装置是亲自选择各个脸图像和服装图像等，并将这些图像进行合成。并且，在专利文献2公开的试穿模拟系统中，使对象人物换穿衣服。

发明内容

本发明是鉴于上述情况而作成的，本发明的目的是提供一种可针对衣服图像替换人物、并可简单检索最适于该衣服的人物的照相机、图像显示装置、图像显示方法以及程序。

为了达到上述目的，本发明第1方面涉及的照相机具有：摄像部，其输出被摄体的图像数据；显示部，其根据上述图像数据显示上述被摄体；指定部，其用于在取得上述被摄体的上述图像数据时，使上述被摄体的一部分对位；以及记录部，其将由上述指定部所指定的部分与上述被摄体一起记录。

本发明第2方面涉及的照相机，在上述第1方面中，上述指定部具有叠加在上述显示部的画面上的模板。

本发明第3方面涉及的照相机具有：摄像部，其输出被摄体的图像数据；显示部，其根据上述图像数据显示上述被摄体；显示控制部，其将模板叠加在上述显示部上来显示，该模板用于在取得上述被摄体的上述图像数据时，使上述被摄体的一部分对位；以及记录部，其记录上述被摄体的图像数据。

本发明第4方面涉及的照相机，在上述第3方面中，上述记录部将显示上述模板并记录上述被摄体的图像数据的信息作为摄影信息来记录。

本发明第5方面涉及的照相机，在上述第3方面中，该照相机具有对上述被摄体进行分类的图像分类部，上述记录部记录上述分类部对被摄体的分类。

本发明第6方面涉及的照相机，在上述第5方面中，上述图像分类部能至少分类出衣服。

本发明第7方面涉及的照相机具有：摄像部，其输出被摄体的图像数据；显示部，其根据上述图像数据显示上述被摄体；指定部，其用于在取得上述被摄体的上述图像数据时，使上述被摄体的一部分对位；记录部，其将由上述指定部所指定的部分与上述被摄体一起记录；以及检索部，其从记录在上述记录部内的图像数据中检索人物图像。

本发明第8方面涉及的照相机，在上述第7方面中，上述指定部对显示在上述显示部的画面上的脸图像的部分进行对位。

本发明第9方面涉及的照相机，在上述第7方面中，上述检索部使用预先存储的合成用的模板的脸部的、或者所取得的合成用脸图像的脸的大小、方向、角度信息，从记录在上述记录部内的多个被摄体像中检索基本上一致度高的脸图像，该照相机还具有图像合成部，该图像合成部将上述合成用的模板的脸部、或者合成用脸图像与由上述检索部所检索的脸图像进行合成。

本发明第10方面涉及的照相机，在上述第9方面中，上述图像合成部这样进行图像合成：去除上述合成用模板的脸部、或者上述合成用脸图像的脸部，使由上述检索部所检索的图像的脸部与该去除部分大致一致。

本发明第11方面涉及的照相机具有：摄像部，其输出被摄体的图像数据；显示部，其根据上述图像数据显示上述被摄体；记录部，其记录上述被摄体的图像数据；图像分类部，其能从记录在上述记录部内的图像中至少对关于衣服的图像和关于人物的图像进行分类；选择部，其从由上述图像分类部分类为衣服的图像中进行选择；检索部，其从记录在上述记录部内的图像中检索关于人物的图像；图像合成部，其将由上述检索部所检索的人物的脸部与由上述选择部所选择的衣服图像进行合成；以及显示部，其显示由上述图像合成部所合成的图像。

本发明第12方面涉及的图像显示装置具有：记录部，其记录关于被摄体的图像数据；图像分类部，其能从记录在上述记录部内的图像中至少对关于衣服的图像和关于人物的图像进行分类；选择部，其从由上述图像分类部分类为衣服的图像中进行选择；检索部，其从记录在上述记录部内的图像中检索关于人物的图像；图像合成部，其将由上述检索部所检索的人物的脸部与由上述选择部所选择的衣服图像进行合成；以及显示部，其显示由上述图像合成部所合成的图像。

本发明第13方面涉及的图像显示方法，在该图像显示方法中，从记录图像中至少分类为关于衣服的图像和关于人物的图像；从上述所分类的图像中选择衣服图像；从上述记录图像中检索关于人物的图像；将上述所检索的人物的脸部与上述所选择的衣服图像进行图像合成；以及显示上述图像合成后的图像。

本发明第14方面涉及的程序使计算机执行以下：从记录图像中至少分类为关于衣服的图像和关于人物的图像；从上述所分类的图像中选择衣服图像；从上述记录图像中检索关于人物的图像；将上述所检索的人物的脸部与上述所选择的衣服图像进行图像合成；以及显示上述图像合成后的图像。

根据本发明，可提供一种可针对衣服图像替换人物、并可简单检索最适于该衣服的人物的照相机、图像显示装置、图像显示方法以及程序。

附图说明

图1是示出本发明的一实施方式涉及的照相机中的电路的框图。

图2是示出在本发明的一实施方式涉及的照相机中、在摄影时使用的模板的例子的图。

图3是在本发明的一实施方式涉及的照相机中、将人物的图像与所拍摄的衣服重合合成后的图像。

图4是在本发明的一实施方式涉及的照相机中、将人物的图像与所拍摄的衣服重合合成后的另一例子的图像。

图5是示出本发明的一实施方式中的照相机中的照相机控制动作的流程图。

图6是示出本发明的一实施方式中的照相机中的图像分类动作的流程图。

图7是说明在本发明的一实施方式涉及的照相机中、在进行图像分类时使用的图像信息的图。

图8是示出在本发明的一实施方式涉及的照相机中的检索结果显示的变形例的图。

图9是说明在本发明的一实施方式涉及的照相机中、用于取得脸图像与衣服的匹配的人体模型的特征的图。

图10是说明在本发明的一实施方式涉及的照相机中、用于取得脸图像与衣服的匹配的人物图像的脸特征的图。

标号说明

1：图像处理和控制部；1b：脸特征提取部；1c：脸位置和大小判定部；1d：图像检索部；1e：局部去除部；2：摄像部；3：脸检测部；4：记录部；4b：关联信息记录部；5a：模板部；5b：图像合成部；6：操作判定部；7：GPS：8：显示控制部；8a：显示部；8b：触摸面板；9：时钟部；10：照相机；12：通信部；21：模板；21a：脸部；21b：肩部；22：人体模型；22a：脸；22b：手；23：衣服；24：衣服；25：人物；26：人物；27：人物；31：脸轮廓；32：脸轮廓中心；33：脸阴影上下线；34：脸阴影中心；35：画面上下线。

具体实施方式

以下，根据附图，使用应用了本发明的照相机来说明优选的一实施方式。图1是示出本发明的一实施方式涉及的照相机的电路的框图。照相机10是数字照相机，由以下等构成：图像处理和控制部1，摄像部2，脸检测部3，记录部4，操作判定部6，GPS(Global Positioning System，全球定位系统)7，显示部8a，触摸面板8b，时钟部9，以及通信部12。

摄像部2包含摄影镜头、快门等的曝光控制部、摄像元件、摄像元件的驱动和读出电路等，并通过摄像元件将由摄影镜头形成的被摄体像转换成图像数据。脸检测部3根据由摄像部2所取得的图像数据，判定在图像中是否包含有脸部。摄像部2还能进行对焦，以使焦点对准在脸检测部3中检测出的脸部。

图像处理和控制部1根据所存储的程序控制照相机10的整体顺序。并且，取入从摄像部2输出的图像信号，进行疏化处理、边缘强调、颜色校正、图像压缩等各种图像处理，进行实时取景显示、向记录部4内的记录、再现显示等图像处理。在图像处理和控制部1内包含：脸特征提取部1b，脸位置和大小判定部1c，图像检索部1d，局部去除部1e，模板部5a，图像合成部5b，以及显示控制部8。

脸位置和大小判定部1c判定由脸检测部3检测出的脸部的位置和大小。脸特征提取部1b根据由脸检测部3和脸位置和大小判定部1c所判定的脸信息，提取脸特征。在脸特征提取部1b内预先存储有家属和朋友等的脸特征，也可判定是否与所存储的特征一致。如后所述，在脸特征提取部1b中，可以检测脸面朝着的方向等特征。例如象仅拍摄衣服的情况那样，也存在没有脸部的图像，因而在为这样的被摄体时，模板部5a存储用于决定合成时的基准的模板21(参照图2)。关于该模板，使用图2在后面描述。

如后所述，由于图像数据被分类为衣服、快拍、风景等，并与脸特征等信息相关联地存储，因而图像检索部1d使用这些信息来进行图像检索。局部去除部1e从图像数据中去除相当于脸的部分等预定部分。这是为了防止在合成图像时图像重合。图像合成部5以脸图像为基准进行图像合成，根据记录在记录部4内的多个图像数据，也使用由图像检索部1d检索出、且由局部去除部1e去除了局部的图像，来进行图像合成。

显示控制部8进行将在图像合成部5b中所合成的图像数据显示在显示部8上的控制。另外，作为显示部8a上的显示，除了所合成的图像以外，还有摄影前的实时取景显示、以及已记录的图像的再现显示等。并且，显示控制部8在实时取景显示时，将模板21叠加(superimpose)显示在显示部8a上。

记录部4记录在通过释放按钮进行了摄影指示时、由摄像部2所取得、且由图像处理和控制器1进行了图像处理后的图像数据。如上所述，关联信息记录部4b使图像数据与分类信息以及脸特征等信息关联起来，并存储该关联信息。并且，作为关联信息，除了上述信息以外，还包含有通过后述的GPS 7取得的摄影位置信息、以及通过时钟部9取得的摄影日期时间信息等。

操作判定部6包含释放按钮、再现模式设定按钮、模板按钮、换衣服模式按钮、重做操作开关等各种操作部件，判定这些操作部件的操作状态，将判定结果发送到图像处理和控制部1。图像处理和控制部1根据操作部件的操作状态，按预定顺序进行摄影和再现控制。GPS 7测定照相机10的位置，如上所述在摄影时输出摄影位置信息。另外，只要能测定位置，就不限于GPS，例如可以根据便携电话的中继站和热点(hot spot)等的发送位置来判定位置。时钟部9具有日历功能和时钟功能，如上所述在摄影时输出摄影日期时间信息。这些摄影位置信息和摄影日期时间信息可在图像整理和图像检索时利用。

显示部8a配置在照相机主体的背面等，并具有由液晶和有机EL等构成的显示画面。如上所述，在显示部8a中，除了显示合成图像以外，还进行实时取景显示和再现图像显示等。在显示部8a的显示面上，以紧贴的方式设有触摸面板8b。触摸面板8b检测用户的触摸位置等，将检测结果发送到图像处理和控制部1。图像处理和控制部1根据触摸结果，进行照相机控制。并且，在图像检索时，能在触摸面板8b上触摸的同时进行检索。

通信部12通过有线或无线(还包含红外线等)与外部进行通信，能将照相机10所取得的图像和合成图像输出到外部。例如，通过与作为外部装置的大型电视机进行通信，可在大型电视机上观赏由照相机10所拍摄的图像和合成图像，可供许多人欣赏。并且，通过与作为外部装置的便携电话进行通信，可将图像发送给朋友等。

下面，使用图2至图4来说明本实施方式中的照相机的使用。图2是将在拍摄衣服时的模板显示在摄影画面内的图，图3示出在拍摄衣服后与同一人物的脸合成后的合成图像的例子，图4示出与不同人物合成后的合成图像的例子。

图2(a)示出存储在模板部5a内的模板的例子。该图2(a)所示的模板21采用衣架型，并由人物的脸部21a和肩部21b构成。通过沿着该模板21取得被摄体的构图，可拍摄容易合成的图像。图2(b)示出不对照模板21拍摄了衣服23时的图像。在该情况下，脸的位置或手的位置与衣服23的图像不符，难以使人物重合来进行合成。

另一方面，图2(c)示出对照模板21拍摄了衣服23时的图像。在该情况下，由于容易相对于衣服23决定人物的头和手的位置，因而可容易使人物与衣服23重合来获得合成图像。另外，用户可选择是否对照模板21来进行拍摄。并且，为了对照模板21来拍摄衣服23，只要在摄影时适当调整被摄体距离或焦距(变焦)即可。

如图2所示，当使用模板21拍摄了衣服23时，接下来使人物与该衣服23重叠来获得合成图像。通过使用模板21来拍摄，自然可知将脸配置在何处。并且，有时一起拍摄了桌子、墙壁等背景，在该情况下，除了与模板21重合的区域以外，认为不是主要被摄体(衣服)，可以从图像中去除。具体地说，由于使用色度键合成等技术，因而可以将背景颜色作为特定颜色，对特定颜色的部分进行图像处理，以将该特定颜色置换成不同图像。

当进行了这样的图像处理时，如图3(a)～(d)所示，可对人物25穿着衣服23的图像进行合成。在进行该图像合成时，图像检索部1d从记录在记录部4内的图像中检索包含有人脸的图像，图像合成部5对所检索的图像与拍摄了衣服23的图像进行合成。使人物图像的脸部位于模板21的脸部分，而且进行放大或缩小以使脸的大小一致。由此，如图3所示，可将相同的人物25以各种表情和角度与穿着衣服23的图像进行合成。合成图像时也有不自然的图像，然而通过多次合成，可获得看起来自然的图像。

并且，要合成的人物25无需是同一人物。图4(a)、(b)是将衣服24与表情不同的同一人物25a进行了图像合成的例子，图4(c)、(d)是将衣服24与不同的人物25b进行了图像合成的例子。这样，对于同一衣服23，可与表情不同的同一人物25a或不同人物25b进行图像合成，并显示在显示部8a上，因而能使用不同图像来验证衣服是否是适合自己，并且还可以与他人进行比较。

另外，在拍摄衣服时，还有不使用模板的方法。图2(d)是拍摄人体模型22穿着的衣服24的例子。在该情况下，由于与脸22a、手22b一起拍摄衣服24，因而即使不使用模板21，也能容易获得与人物合成的合成图像。通过检测人体模型22的脸部，可以放大和缩小人物的脸图像，并移动位置，以使脸的位置和大小等与检测结果一致。

下面，使用图5所示的流程图来说明本实施方式中的照相机控制动作。当进入了照相机控制流程时，首先判定电源是否接通(S100)。在该步骤中，判定作为照相机10的操作部件的电源开关是否接通，在电源开关断开的情况下，结束照相机控制流程。另外，即使结束照相机控制流程，也检测电源开关的状态，当电源开关接通时，从步骤S100开始动作。

在步骤S100中的判定结果是电源接通的情况下，接下来判定是否是摄影模式(S101)。在该判定结果是摄影模式的情况下，接下来进行实时取景显示(S102)。这里，根据由摄像部2所取得的图像数据，在显示部8a上以每秒30帧的程度对被摄体像进行实时取景显示。用户可根据实时取景显示来决定构图，或者决定快门时机，可进行释放动作。

当开始了实时取景显示时，接下来判定是否进行模板显示(S103)。这里，在用户要拍摄衣服等的情况下，为使模板21显示在显示部8a上，判定是否操作了模板按钮等操作部件。该判定由操作判定部6进行。在步骤S103中的判定结果是要进行模板显示的情况下，读出存储在模板部5a内的模板21，在显示部8a的画面内的预定位置上显示模板21(S104)。

当要进行步骤S104中的模板显示时，或者步骤S103中的判定结果是未进行模板显示时，接下来判定是否进行释放(S105)。这里，利用操作判定部6判定是否操作了释放按钮。在该判定结果不是释放的情况下，回到步骤S100。另一方面，在步骤S105中的判定结果是释放的情况下，接下来进行摄影和记录(S106)。

在步骤S106中，使用图像处理和控制部1对由摄像部2取得的图像数据进行图像处理，将该图像处理后的图像数据记录在记录部4内。在记录图像数据时，将由GPS 7取得的摄影位置、和由时钟部9取得的摄影日期时间信息一并记录。

当要进行摄影和记录时，接下来进行图像分类(S107)。这里，将摄影图像分类为快拍、风景、衣服等各摄影主题，并检测摄影图像中的脸的数量、位置、大小、特征等，然后进行图像分类，以便能获得脸以下部分的颜色、有无使用模板等各种信息。当要进行图像分类时，接下来进行分类结果的记录(S108)。在步骤S106中记录图像数据，而在步骤S108中，与所记录的图像数据关联起来，以后述的图7(a)所示的表形式记录在关联信息记录部4b内。当进行分类结果的记录时，回到步骤S100。

在步骤S101中的判定结果不是摄影模式的情况下，判定是否是再现模式(S110)。在该判定结果不是再现模式的情况下，回到步骤S100。另一方面，在是再现模式的情况下，判定是否是换衣服模式(S111)。在用户想要以换衣服模式进行图像再现的情况下，则操作换衣服模式按钮，因而在该步骤中，判定是否操作了换衣服模式按钮。换衣服模式如使用图3和图4所说明的那样，是表示使人物与所拍摄的衣服重叠后的合成图像的模式。在步骤S111中的判定结果不是换衣服模式的情况下，进行通常再现(S112)。当执行了通常再现模式时，回到步骤S100。

在步骤S111中的判定结果是换衣服模式的情况下，接下来进行对象图像的选择(S113)。这里，从记录在记录部4中的摄影图像中选择在记录于关联信息记录部4b内的图像分类中被赋予了衣服的图像，将其以缩略图像形式进行一览显示，用户从一览显示的衣服中选择任一衣服。

当选择了对象图像时，接下来进行人物图像的检索(S113)。这里，根据关联信息记录部4b内的记录，从所记录的摄影图像中检索拍摄有脸的图像。当进行人物图像检索时，判定是否是模板摄影图像(S115)。这里，与在步骤S113中所选择的图像数据相关联，并参照关联信息记录部4b的关联信息中的模板信息。在使用图2(c)所示的模板21进行了拍摄的情况下，由于记录有模板使用信息(参照图7(a))，因而根据该信息进行判定。

在步骤S115中的判定结果是模板摄影图像的情况下，去除对象图像的背景低对比度部的图像(S116)。这里，对于背景中没有对比度的图像，去除背景，将衣服部分分离。接下来，在模板的脸部配置人物脸部(S117)。这里，在有模板的脸部21a的位置上，嵌入在步骤S114中所检索的人物脸部。接下来，对人物进行对象图像的合成，将其显示在显示部8a上(S118)。通过步骤S116和S117中的处理，将衣服部分分离，决定脸的位置，然后在该步骤S118中，将衣服部分与人物的脸进行合成，再显示在显示部8a上。

在步骤S115中的判定结果不是模板摄影图像的情况下，去除对象图像的脸部(S121)。在该情况下，由于图2(d)所示的对象图像是人体模型22，因而去除由脸检测部3和脸位置和大小判定部1c判定为该人体模型22的脸的这部分，或者将脸部重新涂成预定颜色。接下来，判定所检索的图像的脸部(S122)。这里，使用脸检测部3和脸位置和大小判定部1c从在步骤S114中所检索的人物图像中判定出脸部。

然后，在图像去除部上进行贴附并显示(S123)。这里，使在步骤S122中所判定的脸部与在步骤S121中去除的人体模型22的脸部大小一致地合成贴附图像，将该合成图像显示在显示部8a上。另外，步骤S121～S123实际上是使用脸检测部3、脸位置和大小判定部1c、局部去除部1e、图像合成部5b等的硬件，将脸部重新涂成预定颜色，使所检索的人物的脸部嵌入该预定颜色部，合成图像。并且，即使不是全部使用硬件进行处理，也能使用程序来实施如下：去除由脸检测部3检测出的脸范围，并将满足预定的脸条件的图像的脸部贴附在该去除部分上。另外，为了进行更自然的图像合成，可以使人体模型22的脸面朝着的方向与脸部面朝着的方向一致。关于这一点，使用图9在后面描述。

当在步骤S118中进行了对象图像与人物的合成时，或者当在步骤S123中在图像去除部进行了贴附并显示时，接下来判定是否重做(S125)。在本实施方式中，每次操作重做操作开关时，都合成不同图像，在该步骤中，判定是否操作了重做操作开关。在该判定结果是重做的情况下，设定为下一候补(S126)，回到步骤S114。当回到了步骤S114时，检索下一人物图像，在步骤S115以下，进行所检索的人物图像与在步骤S113中所选择的对象图像之间的图像合成。另一方面，在步骤S125中的判定结果不是重做的情况下，回到步骤S100。

这样，当在步骤S111中选择了换衣服模式时，选择在步骤S113中所选择的拍摄有要进行更换的衣服的对象图像，将在步骤S114中所检索到的人物的脸嵌入作为更换对象的衣服，合成图像。以后，每次进行重做操作时(S125→Y)，都检索下一人物(S114)，在步骤S115以下进行图像合成处理。

另外，关于该嵌入合成，可以在所记录的脸转完一圈之后，改变大小来合成，或者一点一点地改变角度或位置来合成。并且，每次操作重做操作开关时(S126→Y)，都进行下一人物的图像合成，然而也可以连续地检索人物，一个接一个地显示合成图像。

根据该照相机控制流程，只需拍摄喜欢的衣服，就能确定是否适合自己的试穿感。并且，由于嵌入各种脸图像，因而即使不进行轮廓判定那样的严格的图像合成，但只要脸图像的数量足够多，就也能实现看起来自然的情况。

下面，使用图6来说明步骤S107中的图像分类的子例程。在步骤S113中进行对象图像的一览显示，并在步骤S114中进行人物图像的检索。在这些一览显示和检索时，由于需要迅速找出图像，因而在本实施方式中设置图像分类部，使得迅速进行图像分类。关于该图像分类，主要是根据在摄影时获得的摄影图像信息，采用图7所示的形式，以表形式与各图像相关联，并将该结果记录在记录部4中的关联信息记录部4b内。

作为摄影图像的信息，不仅仅是摄影日期时间信息和摄影位置信息，通过使用图6所示的图像分类的子例程预先分类，有助于检索的效率化。在该子例程中，利用摄像部2中的对焦信号等，根据被摄体距离信息进行分类。并且，根据在摄影时是否利用了模板21、根据图像的颜色信息或脸检测部3的脸检测结果，按照在图像内是否包含有脸部、脸的大小和数量、脸的特征等信息，判定为包含人物全身乃至背景也包含较多的快拍照片、以脸的表情为中心的肖像照片、花的照片、衣服的照片、宠物的照片、风景照片等。

当进入了图6所示的图像分类的子例程时，首先判定在图像中是否有脸(S301)。该判定由脸检测部3进行。在该判定结果是存在脸的情况下，接下来判定中央的人脸下部的颜色和图案并将其记录(S302)。之所以观察脸下部的颜色是为了检测服装颜色，并且还检测服装图案，将这些信息记录在关联信息记录部4b内。另外，在为人体模型22的情况下，判定为有脸，进到步骤S302以下。即，在为人体模型22的情况下，在步骤S302中，将从脸的中心起位于脸的大小程度下方的部分判定为服装，并判定该服装的图案。

然后，判定脸的大小是否较大(S303)。在该判定结果是大于预定大小的情况下，判定为肖像照片(S305)；另一方面，在小于预定大小的情况下，判定为快拍照片(S304)。因此，步骤S303中的判定值采用与进行分类相对应的值。

当在步骤S304和S305中进行了分类时，接下来检测并判定脸的数量、位置、大小和特征(S306)。这里，根据脸位置和大小判定部1c的判定结果，检测脸的数量、位置、大小。并且，利用脸特征提取部1b提取出脸特征。家属和朋友等有可能摄影的人物的脸特征例如P-A、P-B那样被预先登记在脸特征提取部1b内，判定与该所登记的脸特征是否一致。这些检测结果被记录在关联信息记录部4b内。

在步骤S301中的判定结果是没有脸的情况下，接下来判定主要颜色(S310)。这里，在画面中央等处判定画面的主要颜色。接下来判定是否是远距离(S311)。该判定是根据由摄像部2进行了对焦时的焦点位置来进行的。在该判定结果是远距离的情况下，判定为图像是风景照片(S317)。

在步骤S311中的判定结果不是远距离的情况下，接下来判定是否是微距(macro)(S312)。该判定也是根据由摄像部2进行了对焦时的焦点位置，判定是否是近距离侧的微距区域内的摄影。在该判定结果是微距区域内的摄影的情况下，判定为图像是花的照片(S317)。

在步骤S312中的判定结果不是微距的情况下，判定是否是使用模板的摄影(S313)。由于是否使用了模板的信息与图像相关联地被记录在关联信息记录部4b内，因而根据该信息进行判定。在该判定结果是使用了模板的情况下，判定为衣服的照片(S314)。另一方面，在判定结果是未使用模板的情况下，判定为是有人气的主题之一的宠物的照片(S315)。在检索宠物的图像的情况下，只要根据该宠物分类进行检索，就能迅速找到。

当步骤S306、S314～S317中的处理结束时，回到原始流程。这样，在图像分类的流程中判定图像是否有脸，在有脸的情况下，检测与该人物相关的信息，分类为快拍照片或肖像照片中的任一种。并且，在图像没有脸的情况下，分类为衣服、宠物、花、风景。

图7(a)示出在图像分类的流程中被分类且被记录在关联信息记录部4b内的信息的一例。并且，图7(b)示出画面的分割例，在本实施方式中是区域A1～A9的9分割。并且，在各区域A1～A9中，将脸的大小分为D1～D3这3个级别。图中的图像1是快拍照片，脸的数量是2个，在区域A4内以脸的大小D2映现出已登记的人物P-A，在区域A6内以脸的大小D3映现出不明人物P-X。并且，脸下部的颜色是蓝色，没有使用模板，摄影日期是9月15日。在图像2～图像4内，如图7(a)所示，也与图像相关联地记录有信息。另外，人物P-A、P-B、P-X等由脸特征提取部1b来判定。这里，P-A和P-B是家属、朋友等预先登记的人物，P-X被赋予给未登记人物。

当进行了这样的图像分类时，可迅速且有效地进行图像检索。例如，在检索脸图像的情况下，在S314～S317中所分类的图像可视为非检索对象，可迅速且有效地进行检索。

下面，使用图8来说明本实施方式中的合成图像的显示变形例。在本发明的一实施方式中，在步骤S118或步骤S123中将人物的脸部贴附在步骤S113中所选择的一个对象图像上，显示合成图像。因此，在显示部8a上总是显示一个合成图像。本变形例以缩略图形式显示多个合成图像。

图8(a)是这样的例子：将不同人物的脸贴附在人体模型22穿着的衣服24上，在显示部8a上进行一览显示，使得能对陈列在橱窗里的衣服24恰如适合谁进行比较。为了进行这样的显示可以进行如下：在步骤S125(参照图5)中，在达到缩略图显示时的图像数量之前，自动回到步骤S114，再在步骤S118或S123中对合成图像进行缩略图显示。

图8(b)是这样的例子：衣服的图像均不同，将同一人物26贴附在不同衣服上。针对同一人物26，能简单地判定哪件衣服适合。为了进行这样的显示，只要在步骤S113(参照图5)中选择人物图像，并在步骤S114中检索对象图像(衣服)即可。

下面，使用图9和图10来说明在将人物图像的脸部与对象图像合成时达到更自然的匹配的变形例。在上述的本发明一实施方式中，在未考虑人体模型22和人物25、25a、25b面朝的方向等的情况下进行了图像合成。在未考虑的情况下，也能通过其他的组合进行欣赏，而在本变形例中，可应用于想使自然组合优先的情况。

图9(a)与图2(d)一样是使人体模型22穿着衣服24的状态下的图像。该人体模型22的脸22a面朝的方向等特征由脸特征提取部1b来检测。首先，如图9(b)所示，从脸22a的轮廓线提取近似椭圆的脸轮廓31。求出该椭圆的长轴与短轴的交点，将该交点作为脸轮廓中心32。并且，将人体模型22的脸22a的阴影的交点、例如连接两眼的线与连接鼻子的线的交点作为脸阴影中心34。根据在各个交点上通过的线的偏差，求出相当于眼和鼻子的阴影的偏差量ΔX、ΔY。并且，根据在脸阴影中心34上通过的长轴方向的长度，求出脸的高度F。

并且，求出画面上下线35与沿上下方向在脸阴影中心34上通过的脸阴影上下线33(在图9(b)中用与通过中心34的线平行的线来表示)的倾角θ。由于该ΔX、ΔY、F和θ表示人体模型22的脸22a的特征，因而将这些特征值与衣服24的图像相关联地存储，检索与该特征值大致一致的人物的脸，进行图像合成，从而得到自然的合成。另外，即使在使用图2(a)所示的模板21来拍摄衣服23的情况下，也可以将针对脸部21a所求出的ΔX、ΔY、F和θ等特征值作为固定值来存储。

下面，使用图10来说明人物图像的特征值。人物图像的特征值也能使用与人体模型22的脸22a相同的方式来求出。在取得了图10(a)所示的包含人物的图像的情况下，如图10(b)所示从其中提取人物27。接下来，如图10(b)、(c)所示，从人物27的脸的轮廓线提取近似椭圆的脸轮廓31。求出该椭圆的长轴与短轴的交点，将该交点作为脸轮廓中心32。并且，将人物27的脸的阴影的交点、例如连接两眼的线与连接鼻子的线的交点作为脸阴影中心34。根据在各个交点上通过的线的偏差，求出相当于眼和鼻子的阴影的偏差量ΔX、ΔY。并且，根据在脸阴影中心34通过的长轴方向的长度求出脸的高度F。

并且，求出画面上下线35与沿上下方向在脸阴影中心34通过的脸阴影上下线33(在图10(c)中用与通过中心34的线平行的线表示)之间的倾角θ。与人体模型22的情况一样，该ΔX、ΔY、F和θ表示人物27的脸的特征，因而将这些特征值与图10(a)的图像相关联地存储，检索与该特征值大致一致的衣服，进行图像合成，从而得到自然的合成。

另外，由于衣服和人物的脸的图像是数字图像，因而可任意进行衣服和脸的图像的放大和缩小。即使在脸的高度F不同的情况下，也能用将ΔX、ΔY除以高度F所得的值进行比较，只要倾角θ大致相同，就可以判定为能合成。在人体模型图像和人物图像能合成的情况下，对应人体模型22的脸的高度F校正人物的脸的大小，之后进行图像合成。并且，在使用模板22所拍摄的衣服的图像和人物图像能合成的情况下，对衣服图像进行放大或缩小，以使模板22的脸的高度F与人物的脸的高度F一致。

这样，在本发明的变形例中，在将人物脸与衣服图像进行了合成的情况下，可防止得到不自然的图像。另外，可以选择这种使脸的方向大致一致的换衣服显示模式和不考虑脸的方向的换衣服显示模式。

如以上说明那样，在本发明的实施方式中，由于设有在摄影时使被摄体的一部分对位的指定部(模板)，因而可相对于衣服图像替换人物，能够简单地检索最适于该衣服的人物。并且，在本发明的实施方式中，当选择了映现有衣服的图像时，对应该图像检索人物，将人物与映现有衣服的图像进行图像合成。在该情况下，也能相对于衣服图像替换人物，能够简单地检索最适于该衣服的人物。

而且，在本实施方式中，通过使用摄影图像来进行换衣服模式显示，可提供各种乐趣，例如，哪个服装适合谁等，可将照相机等用作促进会话的通信设备。并且，取代人体模型22而利用朋友的摄影图像，还能从自己试穿朋友的衣服的感觉中得到快乐。

另外，在本发明的实施方式中，在照相机中进行摄影，并在摄影后根据记录图像以换衣服的方式进行再现显示。然而，不限于此，可以将图像数据存储在再现装置内，根据所存储的该图像数据以换衣服的方式进行再现显示。并且，作为再现装置可以是个人计算机，也可以是再现专用装置。并且，在本发明的实施方式中，在摄影时进行图像分类，图像分类结果也与图像数据一起记录。然而，当然不限于此，可以在再现时进行图像分类。

并且，在本发明的实施方式中，作为摄影用的设备，使用数字照相机作了说明，其中照相机可以是数字单眼反光照相机，也可以是小型数字照相机，也可以是摄像机、摄影机那样的动态图像用的照相机，也可以是内置于便携电话和便携信息终端(PDA：Personal Digital Assist，个人数字助理)等中的照相机。

本发明不限于上述实施方式，可在实施阶段在不背离本发明主旨的范围内使构成要素变形来具体化。并且，通过将上述实施方式所公开的多个构成要件适当组合，可形成各种发明。例如，可以删除实施方式所示的全部构成要素中的若干构成要素。而且，可以将不同实施方式中的构成要素适当组合。

Claims (14)

1.一种照相机，其特征在于，该照相机具有：

摄像部，其输出被摄体的图像数据；

显示部，其根据上述图像数据显示上述被摄体；

指定部，其用于在取得上述被摄体的上述图像数据时，使上述被摄体的一部分对位；以及

记录部，其将由上述指定部所指定的部分与上述被摄体一起记录。

2.根据权利要求1所述的照相机，其特征在于，上述指定部具有叠加在上述显示部的画面上的模板。

3.一种照相机，其特征在于，该照相机具有：

摄像部，其输出被摄体的图像数据；

显示部，其根据上述图像数据显示上述被摄体；

显示控制部，其将模板叠加在上述显示部上进行显示，该模板用于在取得上述被摄体的上述图像数据时，使上述被摄体的一部分对位；以及

记录部，其记录上述被摄体的图像数据。

4.根据权利要求3所述的照相机，其特征在于，上述记录部将显示上述模板并记录上述被摄体的图像数据的信息作为摄影信息来记录。

5.根据权利要求3所述的照相机，其特征在于，该照相机具有对上述被摄体进行分类的图像分类部，

上述记录部记录上述分类部对被摄体的分类。

6.根据权利要求5所述的照相机，其特征在于，上述图像分类部至少能分类出衣服。

7.一种照相机，其特征在于，该照相机具有：

摄像部，其输出被摄体的图像数据；

显示部，其根据上述图像数据显示上述被摄体；

指定部，其用于在取得上述被摄体的上述图像数据时，使上述被摄体的一部分对位；

记录部，其将由上述指定部所指定的部分与上述被摄体一起记录；以及

检索部，其从记录在上述记录部内的图像数据中检索人物图像。

8.根据权利要求7所述的照相机，其特征在于，上述指定部对显示在上述显示部的画面上的脸图像的部分进行对位。

9.根据权利要求7所述的照相机，其特征在于，上述检索部使用预先存储的合成用的模板的脸部的大小、方向、角度信息或者所取得的合成用脸图像的脸的大小、方向、角度信息，从记录在上述记录部内的多个被摄体像中检索基本上一致度高的脸图像，

该照相机还具有图像合成部，该图像合成部将上述合成用的模板的脸部或者上述合成用脸图像与由上述检索部所检索出的脸图像进行合成。

10.根据权利要求9所述的照相机，其特征在于，上述图像合成部这样进行图像合成：去除上述合成用模板的脸部或者上述合成用脸图像的脸部，使由上述检索部所检索出的图像的脸部与该去除的脸部基本上一致。

11.一种照相机，其特征在于，该照相机具有：

摄像部，其输出被摄体的图像数据；

显示部，其根据上述图像数据显示上述被摄体；

记录部，其记录上述被摄体的图像数据；

图像分类部，其至少能从记录在上述记录部内的图像中分类为关于衣服的图像和关于人物的图像；

选择部，其从由上述图像分类部分类为衣服的图像中进行选择；

检索部，其从记录在上述记录部内的图像中检索关于人物的图像；

图像合成部，其对由上述检索部所检索出的人物的脸部与由上述选择部所选择的衣服图像进行合成；以及

显示部，其显示由上述图像合成部所合成的图像。

12.一种图像显示装置，其特征在于，该图像显示装置具有：

记录部，其记录关于被摄体的图像数据；

图像分类部，其至少能从记录在上述记录部内的图像中分类出关于衣服的图像和关于人物的图像；

选择部，其从由上述图像分类部分类为衣服的图像中进行选择；

检索部，其从记录在上述记录部内的图像中检索关于人物的图像；

图像合成部，其对由上述检索部所检索出的人物的脸部与由上述选择部所选择出的衣服图像进行合成；以及

显示部，其显示由上述图像合成部所合成的图像。

13.一种图像显示方法，其特征在于，

至少从记录图像中分类出关于衣服的图像和关于人物的图像；

从上述所分类的图像中选择衣服图像；

从上述记录图像中检索关于人物的图像；

将上述所检索出的人物的脸部与所选择出的上述衣服图像进行图像合成；以及

显示上述图像合成后的图像。

14.一种程序，其特征在于，该程序使计算机执行以下：

从记录图像中至少分类为关于衣服的图像和关于人物的图像；

从上述所分类的图像中选择衣服图像；

从上述记录图像中检索关于人物的图像；

将上述所检索的人物的脸部与所选择的上述衣服图像进行图像合成；以及

显示上述图像合成后的图像。

Images