CN106210504A - 图像处理装置、图像处理系统及图像处理方法 - Google Patents

Abstract

本发明的实施方式涉及图像处理装置、图像处理系统及图像处理方法。实施方式的图像处理装置具备存储单元、取得单元、第一计算单元、第二计算单元、确定单元及生成单元。存储单元存储与被摄体的各旋转角度对应的多个衣服图像。取得单元取得包含被摄体的被摄体图像。第一计算单元计算被摄体图像中包含的被摄体的第一旋转角度。第二计算单元基于第一旋转角度计算不同于第一旋转角度的第二旋转角度。确定单元在存储单元所存储的多个衣服图像当中确定出与第二旋转角度对应的衣服图像。生成单元生成在被摄体图像上重叠有确定出的衣服图像的合成图像。

Description

图像处理装置、图像处理系统及图像处理方法

本申请以日本专利申请2014－180269(申请日：2014年9月4日)为基础，根据该申请享有优先权的利益。本申请通过参照该申请而包含该申请的全部内容。

技术领域

本发明的实施方式涉及图像处理装置、图像处理系统及图像处理方法。

背景技术

近年来，例如开发出了用户能够虚拟地对试穿对象的衣服进行试穿(以下记作虚拟试穿)的技术。

根据该技术，例如能够设置在用户的对面位置的显示部上显示在由摄像部摄像到的包含用户(被摄体)的图像上重叠有衣服的图像的合成图像，因此，用户不用实际进行试穿就能够筛选该用户喜爱的衣服。

另外，根据该技术，在用户相对于上述的摄像部旋转了身体的情况下，也能够显示重叠有与该用户的身体相随和的衣服的图像的合成图像。

为了掌握衣服的整体感觉，有时用户会想要确认自己的背后身姿等。

然而，在虚拟试穿时确认背后身姿等的情况下，用户需要相对于上述的摄像部使身体较大地旋转，这样的动作对于用户来说负担很大。

此外，在用户通过使身体旋转来从所希望的角度来确认衣服(图像)的情况下，需要调整该用户的身体的旋转(角度)以便显示该所希望的角度的衣服，这样的动作对于用户来说负担也很大。

发明内容

本发明所要解决的课题为提供一种能够减轻虚拟试穿时的用户的负担的图像处理装置、图像处理系统及图像处理方法。

实施方式的图像处理装置具备存储单元、取得单元、第一计算单元、第二计算单元、确定单元及生成单元。所述存储单元存储与表示被摄体相对于摄像部的朝向的该被摄体的各旋转角度对应的多个衣服图像。所述取得单元取得由所述摄像部摄像到的包含所述被摄体的被摄体图像。所述第一计算单元计算表示所述取得的第一被摄体图像中包含的被摄体的朝向的、该被摄体的第一旋转角度。所述第二计算单元基于由所述第一计算单元计算出的第一旋转角度，计算不同于该第一旋转角度的第二旋转角度。所述确定单元在所述存储单元所存储的多个衣服图像当中确定出与由所述第二计算单元计算出的第二旋转角度对应的衣服图像。所述生成单元生成在所述取得的被摄体图像上重叠了所述确定出的衣服图像的合成图像。

根据上述构成的图像处理装置，能够减轻虚拟试穿时的用户的负担。

附图说明

图1是表示图像处理系统的外观的一个例子的图。

图2是表示图像处理系统的外观的其他例子的图。

图3是作为图像处理装置的主要部分而示出功能构成的框图。

图4是表示存储部所存储的第一信息的数据构造的一个例子的图。

图5是具体地表示第一信息的示意图。

图6是表示存储部所存储的第二信息的数据构造的一个例子的图。

图7是表示存储部所存储的第三信息的数据构造的一个例子的图。

图8是表示人体的三维模型数据的一个例子的图。

图9是表示对第一被摄体的景深图像匹配人体的三维模型数据而得的模型图像的一个例子的图。

图10是用于说明姿势信息计算部对姿势信息的计算的图。

图11是用于说明确定部对衣服图像的确定的图。

图12是概念地表示第一信息中包含的姿势信息的图。

图13是用于说明调整部对特征区域的大小的计算的图。

图14是用于说明调整部对特征区域的大小的计算的图。

图15是用于说明调整部对轮廓的抽取的一个例子的图。

图16是用于说明位置计算部对第二位置的计算的一个例子的图。

图17是用于说明更新部对第一信息的登录及更新的图。

图18是表示本实施方式的图像处理装置的处理步骤的流程图。

图19是表示第一衣服图像确定处理的处理步骤的流程图。

图20是表示第一位置计算处理的处理步骤的流程图。

图21是表示第二位置计算处理的处理步骤的流程图。

图22是用于说明判定为满足第一条件的情况下的合成图像的生成的图。

图23是表示合成图像的一个例子的图。

图24是表示设定有追随模式的情况下的第二衣服图像确定处理的处理步骤的流程图。

图25是表示设定有身姿观看模式的情况下的第二衣服图像确定处理的处理步骤的流程图。

图26是表示在设定有追随模式的情况下提示的合成图像的一个例子的图。

图27是表示设定有追随模式的情况下的第一被摄体的旋转角度与所显示的衣服的旋转角度之间的对应关系的一个例子的图。

图28是表示在设定有身姿观看模式的情况下提示的合成图像的一个例子的图。

图29是表示设定有身姿观看模式的情况下的第一被摄体的旋转角度与所显示的衣服的旋转角度之间的对应关系的一个例子的图。

图30是表示设定有身姿观看模式的情况下的第一被摄体的旋转角度与所显示的衣服的旋转角度之间的对应关系的其他例子的图。

图31是表示设定有身姿观看模式的情况下的第一被摄体的旋转角度与所显示的衣服的旋转角度之间的对应关系的其他例子的图。

图32是用于说明图像处理系统的示意性的系统构成的图。

图33是表示图像处理装置的硬件构成的一个例子的图。

(附图标记说明)

10…图像处理系统，11…壳体，12…显示部，13…体重测定部，14…输入部，15…摄像部，15A…第一摄像部，15B…第二摄像部，16…存储部，100…图像处理装置，101…图像取得部，101a…被摄体图像取得部，101b…景深图像取得部，102…骨骼信息生成部，103…判定部，104…受理部，105…体型参数取得部，106…姿势信息计算部，107…确定部，108…调整部，109…位置计算部，110…决定部，111…合成图像生成部，112…显示控制部，113…更新部。

具体实施方式

以下，参照附图对实施方式进行说明。

图1示出了包含本实施方式的图像处理装置的图像处理系统的外观的一个例子。图1所述的图像处理系统10具备壳体11、显示部12、体重测定部13、输入部14及摄像部。另外，本实施方式的图像处理装置设置于壳体11的内部，但是图1中被省略。

如图1所示，图像处理系统10所具备的壳体11具有矩形形状，在该壳体11的一面组装有显示部12。显示部12例如是液晶显示装置那样的显示装置，显示各种图像等。

图像处理系统10中，表示被摄体(以下记作第一被摄体)P试穿了各种衣服的状态的合成图像W被显示于显示部12。另外，图像处理系统10也可以还具有印刷这样的合成图像W的印刷装置、将该合成图像W经由网络向外部装置发送的发送器等。

在此，第一被摄体P是试穿衣服的对象。另外，第一被摄体P只要是试穿衣服的对象即可，可以是生物，也可以是非生物。在第一被摄体P为生物的情况下，该第一被摄体P中包含有例如人物等，但是该第一被摄体不限于人物。第一被摄体P也可以是例如狗或猫等宠物。此外，在第一被摄体P为非生物的情况下，该第一被摄体P中例如包含有模拟了人体或宠物的形状的模特、衣服及其他物体等，但该第一被摄体P也可以是这些以外。此外，第一被摄体P也可以是穿戴衣服的状态的生物或非生物。

此外，所谓衣服，是指第一被摄体P能够穿戴的东西(物品)。作为衣服，例如能够列举出上衣、底裙、裤子、鞋子及帽子等。另外，衣服不限于上衣、底裙、裤子、鞋子及帽子等。

第一被摄体P例如能够从与显示部12对面的位置来观看显示部12中提示(显示)的合成图像W。

体重测定部13设置于与显示部12对面的区域的地面部。若第一被摄体P处于与显示部12对面的位置，则体重测定部13测定第一被摄体P的体重。

输入部14按照用户的操作指示而输入各种信息(受理)，例如是鼠标、按钮、遥控器、键盘、麦克风等声音识别装置以及图像识别装置中的1个或者多个的组合。另外，本实施方式中的用户是指，第一被摄体那样的对图像处理系统10的操作者的总称。

在图1所示的例子中，示出了作为输入部14而采用了图像识别装置的情况，在该情况下，能够将站在输入部14前方的用户的摇身摆手等，作为用户的各种指示来受理。该情况下，图像识别装置中，预先存储与摇身摆手等的各个运动对应的指示信息，通过读取与识别出的摇身或摆手对应的指示信息，受理用户的操作指示即可。另外，输入部14也可以是从移动终端等发送各种信息的外部装置受理表示用户的操作指示的信号的通信装置。该情况下，输入部14将从外部装置接收到的表示操作指示的信号，作为用户的操作指示来受理即可。

此外，图1中显示部12及输入部14分别独立设置，但是该显示部12及输入部14也可以构成为一体。具体地说，显示部12及输入部14也可以作为具备输入功能及显示功能的双方的UI(User Interface)部来构成。UI部中包含有带触摸面板的LCD(Liquid Crystal Display)等。

摄像部包含第一摄像部15A及第二摄像部15B。第一摄像部15A按照每规定时间连续地对第一被摄体P进行摄像，依次取得该摄像到的包含第一被摄体P的被摄体图像(以下记作第一被摄体P的被摄体图像)。该被摄体图像是位图图像，是按照每个像素规定了对第一被摄体P的色彩及亮度等进行表示的像素值的图像。作为第一摄像部15A，使用能够取得被摄体图像的摄像装置(摄像机)。

第二摄像部15B按照每规定时间连续地对第一被摄体P进行摄像，依次取得该摄像到的包含第一被摄体P的景深图像(以下记作第一被摄体P的景深图像)。该景深图像也称作距离图像，是按照每个像素规定了与第二摄像部15B之间的距离的图像。作为第二摄像部15B，使用能够取得景深图像的摄像装置(景深传感器)。

另外，本实施方式中，第一摄像部15A及第二摄像部15B在相同的定时对第一被摄体P进行摄像。即，第一摄像部15A及第二摄像部15B被未图示的控制部等控制成在相同的定时同步地依次进行摄像。由此，第一摄像部15A及第二摄像部15B依次取得在相同的定时摄像(取得)到的第一被摄体P的被摄体图像及景深图像(的组)。这样，在相同的定时取得的该第一被摄体P的被摄体图像及景深图像被输出至后述的图像处理装置。

上述的输入部14及摄像部(第一摄像部15A及第二摄像部15B)如图1所示，被支撑于壳体11。输入部14及第一摄像部15A设置于壳体11中的显示部12的水平方向两端部附近。此外，第二摄像部15B设置于壳体11中的显示部12的上部附近。另外，输入部14的设置位置不限于该位置。此外，第一摄像部15A及第二摄像部15B只要设置于能够对第一被摄体P进行摄像的位置即可，不限于图1所示的位置。

另外，图像处理系统10也可以如图2所示那样作为移动终端来实现。该情况下，在作为移动终端的图像处理系统的壳体11A设置有：具备显示部12及输入部14的双方的功能的UI部、第一摄像部15A及第二摄像部15B。此外，本实施方式的图像处理装置设置于壳体11A的内部。

图3是作为本实施方式的图像处理装置的主要部分而示出功能构成的框图。如图3所示，图像处理装置100与显示部12、体重测定部13、输入部14、第一摄像部15A、第二摄像部15B及存储部16以可通信的方式连接。图3中，显示部12、体重测定部13、输入部14、摄像部(第一摄像部15A及第二摄像部15B)及存储部16是与图像处理装置100独立设置的，但是也可以是它们中的至少1个与该图像处理装置100构成为一体。

另外，关于显示部12、体重测定部13、输入部14、第一摄像部15A及第二摄像部15B，与如上述的图1中说明过的一样，因此，省略其详细说明。

存储部16存储各种数据。具体地说，存储部16预先存储第一信息，第二信息，第三信息及第四信息。在此，首先对第一信息～第四信息进行说明。

第一信息是与用于识别衣服的每个识别信息(以下记作衣服ID)建立对应地包含有多个衣服尺寸、与多个衣服尺寸的每个对应地表示不同体型的多个体型参数、表示与衣服尺寸对应的体型参数的体型的被摄体(以下记作第二被摄体)穿戴了该衣服尺寸的衣服的状态的多个衣服图像的信息。

另外，第二被摄体是在第一信息中包含的衣服图像的取得时(即，衣服的摄像时)穿戴了该衣服的被摄体。第二被摄体只要是穿戴了衣服的被摄体即可，与上述的第一被摄体同样，可以是人物等生物，也可以是模拟了人体的形状的模特等非生物。

在此，图4示出了存储部16所存储的第一信息的数据构造的一个例子。图4所示的例子中，第一信息中建立对应地包含有衣服的种类、衣服ID、衣服尺寸、体型参数、模型ID、姿势信息、衣服图像及属性信息。

衣服的种类表示将衣服按照预先规定的分类条件分类成了多个种类时的各个种类。衣服的种类包含例如上衣(tops)、外套(outer)、下装(bottoms)等，但该衣服的种类不限于这些。

衣服ID如上述那样为用于识别衣服的信息。衣服具体地说表示成衣。衣服ID例如包括产品编号及衣服的名称等，但是该衣服ID不限于这些。作为产品编号，能够利用例如JAN码等。作为名称，例如能够利用衣服的品名等。

衣服尺寸是表示衣服的大小的信息。衣服尺寸为作为成衣的尺寸的S、M、L、LL及XL等。另外，衣服尺寸的种类不限于这些。衣服尺寸的种类根据例如成衣的制造地或者销往地的国家等而表述方法是不同的。

体型参数是表示第二被摄体的体型的信息。体型参数包含1个或者多个参数。该参数是例如衣服的缝制时或者购入时等进行量尺寸而得到的与人体的1处或者多处对应的量尺寸值或体重等。具体地说，体型参数例如包括胸围、腹围，腰围，身高、肩宽及体重中的至少1个参数。另外，体型参数中包含的参数不限于这些参数。例如体型参数也可以还包括袖长及裤裆到裤脚的长度等参数。此外，作为参数的量尺寸值不限于实际量尺寸而得到的值，也可以是对量尺寸值进行推测而得到的值、与量尺寸值相当的值(用户任意输入的值等)。

在此，有时即使是相同的或者大致相同的体型的用户，也穿戴不同衣服尺寸“S”、“M”、“L”、“LL”的各个衣服。换言之，某个体型的用户所穿戴的衣服尺寸不限于1个，用户有时根据偏好或衣服的种类等而穿戴不同衣服尺寸的衣服。

因此，本实施方式中的第一信息中，对于1个衣服ID的1个衣服尺寸，对应了表示不同体型的多个体型参数。

模型ID是用于识别对应的体型参数的体型的第二被摄体的识别信息。

衣服图像是按照每个像素规定了对衣服的色彩及亮度等进行表示的像素值的图像。第一信息包含与每个体型参数对应的衣服图像。即，第一信息针对1个衣服ID的1个衣服尺寸，对应有表示不同体型的多个体型参数，针对该多个体型参数的每个，对应有衣服图像。

另外，衣服图像是表示将第一信息中的对应的衣服尺寸的衣服穿戴于对应的体型参数的体型的第二被摄体上的状态的图像。即，与对应于1个衣服尺寸的、表示不同体型的多个体型参数的每个对应的衣服图像，分别示出了将相同衣服尺寸的衣服穿戴于不同体型的多个第二被摄体上的状态。

姿势信息是表示衣服图像的取得时的第二被摄体的姿势的信息。姿势信息表示第二被摄体相对于上述摄像部的朝向及运动等。

在此，所谓第二被摄体的朝向是表示衣服图像的取得时的穿戴了该衣服图像的衣服的第二被摄体相对于摄像部的朝向。例如，作为第二被摄体的朝向有：脸部及身体相对于摄像部朝着正面的方向(正面方向)、脸部及身体相对于摄像部朝着左右的方向(左右方向)、以及这些以外的其他方向等。另外，本实施方式中，第二被摄体的朝向例如通过身体所朝的方向相对于正面方向所成的角度(即，旋转角度)来示出。

第二被摄体的运动通过表示穿戴了衣服图像的衣服的第二被摄体的骨骼的位置的骨骼信息来示出。骨骼信息是按照每个像素对表示与构成衣服图像的各像素的像素位置对应的、穿戴了该衣服图像的衣服的第二被摄体的骨骼位置的信息进行了规定的信息。本实施方式中，姿势信息包含第二被摄体的朝向和骨骼信息。

此外，本实施方式中，第一信息作为与多个体型参数的每个对应的衣服图像，包含与不同姿势信息的每个(即，各旋转角度)对应的多个衣服图像。

即，本实施方式中，衣服图像是表示某个衣服尺寸的衣服被由体型参数确定的体型的第二被摄体穿戴的状态的图像，并且是与第二被摄体的摄像时的姿势相应的图像。

属性信息是表示由对应的衣服ID识别出的衣服的属性的信息。属性信息例如包含衣服的名称、衣服的发售商(品牌名等)、衣服的形状、衣服的色彩、衣服的材料及衣服的价格等。

另外，第一信息是建立对应地至少包含有例如衣服ID、衣服尺寸、体型参数、姿势信息、衣服图像的信息。即，第一信息也可以不包含衣服的种类、模型ID及属性信息中的至少1个。

此外，第一信息中还建立对应地包含有衣服的穿法(系扣穿法、解扣穿法等)。该情况下，第一信息中，对作为与1个姿势信息对应的衣服图像，对应有与穿法相应的多个衣服图像即可。

图5是具体地示出第一信息的示意图。如图5所示，第一信息包含与体型参数201的每个对应的衣服图像。即，第一信息中，对由1个衣服ID识别出的衣服(A品牌、BBB毛衣)的每个衣服尺寸(M衣服尺寸、L衣服尺寸、S衣服尺寸)，对应有表示不同体型的多个体型参数201。此外，第一信息中，对多个体型参数201的每个，对应有衣服图像(在此为衣服图像202A～202C)的每个。另外，图5所示的例子中，体型参数中作为参数而包含身高、胸围、腹围、腰围及肩宽。

即，衣服图像202A～202C是表示相同的衣服尺寸的相同的衣服(图5中为A品牌、BBB毛衣、M尺寸)被体型不同的多个第二被摄体的每个穿戴的状态的图像。

图6示出了存储部16所存储的第二信息的数据构造的一个例子。第二信息中建立对应地包含有衣服ID、表示体型的参数及加权值。表示体型的参数与上述的第一信息中的体型参数中包含的参数同样。加权值表示参数对于穿戴了由对应的衣服ID识别出的衣服时的穿戴效果的影响程度。加权值越小，则参数对穿戴衣服时的穿戴效果的影响程度越小。另一方面，加权值越大，则参数对穿戴衣服时的穿戴效果的影响程度越大。该加权值被用于后述的非相似度的计算。第二信息也可以是还建立对应地包含有衣服的种类的信息。

例如设为身高以外的参数对穿戴了由衣服ID识别出的衣服时的穿戴效果带来的影响程度比身高要大。该情况下，图像处理装置100如图6所示，设定作为与该衣服ID对应的参数的加权值、身高的加权值比其他参数的加权值相对地小的第二信息。

此外，例如，在与衣服ID对应的衣服的种类为“上衣”的情况下，人体的下半身侧的参数对穿戴衣服时的穿戴效果的影响程度较小。该情况下，图像处理装置100设定作为与衣服的种类“上衣”对应的衣服ID的参数的加权值、使腰围及身高的加权值比其他参数的加权值相对地小的第二信息。

与各衣服ID的各参数对应的加权值能够通过用户对输入部14的操作指示等而适当地变更。用户对由各衣服ID识别出的每个衣服，预先输入参数的加权值，登录于第二信息即可。

图7示出了存储部16所存储的第三信息的数据构造的一个例子。第三信息建立对应地包含有衣服的种类、非相似度的计算所使用的参数。另外，第三信息也可以是与每个衣服ID建立对应地包含有非相似度的计算所使用的参数的信息。此外，第三信息也可以是与每个衣服图像建立对应地包含有非相似度的计算所使用的参数的信息。另外，关于非相似度的计算，留待后述。

图7所示的例子中示出了例如在衣服的种类为“外套”的情况下，多个参数当中的胸围、腰围、腹围及肩宽被用于非相似度的计算，身高不被用于非相似度的计算。此外，图7所示的例子中示出了在衣服的种类为“底裙”的情况下，多个参数当中的腹围及腰围被用于非相似度的计算，胸围、肩宽及身高被用于非相似度的计算。

此外，第三信息也可以是与衣服的种类或者衣服ID的每个建立对应地包含有固有的参数的信息。例如在衣服的种类为上衣或者外套的情况下，第三信息也可以作为对应的参数而还包含袖长。此外，在衣服的种类为短裤的情况下，第三信息也可以是作为对应的参数还包含裤裆到裤脚的长度。

第四信息中建立对应地包含有衣服ID、修正值。修正值在后述的表示第一被摄体的体型的体型参数的修正中被使用。图像处理装置100将由对应的衣服ID识别出的衣服对体型遮藏的程度越高，则将“0”以上小于“1”且较小的值作为修正值来预先设定。另一方面，图像处理装置100将由对应的衣服ID识别出的衣服对体型遮藏的程度最低的情况设为“1”，该程度越低，将越接近“1”的值作为修正值来预先设定。

例如，在由衣服ID识别出的衣服为T恤或者内衣等紧贴身体的衣服的情况下，第四信息中，作为与该衣服ID对应的修正值，预先设定“1”或者接近“1”的值。另一方面，在由衣服ID识别出的衣服是质地厚的毛衣或者大衣等对体型遮藏的程度高的衣服的情况下，第四信息中，作为与该衣服ID对应的修正值，预先设定“0”以上小于“1”且接近“0”的值(例如0.3等)。

第四信息中包含的衣服ID及修正值能够通过用户对输入部14的操作指示等而适当地变更。

再次返回图3，对本实施方式的图像处理装置100的功能构成进行说明。另外，图像处理装置100是包含CPU(Central Processing Unit)、RAM(Random Access Memory)及ROM(Read Only Memory)等而构成的计算机。另外，图像处理装置100也可以由CPU以外的电路等构成。

如图3所示，图像处理装置100具备图像取得部101、骨骼信息生成部102、判定部103、受理部104、体型参数取得部105、姿势信息计算部106、确定部107、调整部108、位置计算部109、决定部110、合成图像生成部111、显示控制部112及更新部113。本实施方式中，这些各部101～113的一部分或者全部可以通过使例如CPU等执行程序、即通过软件来实现，也可以通过IC(Integrated Circuit)等硬件来实现，还可以通过该软件及硬件的组合构成来实现。

图像取得部101包含被摄体图像取得部101a及景深图像取得部101b。

被摄体图像取得部101a依次取得由第一摄像部15A连续地摄像到的第一被摄体的被摄体图像。具体地说，被摄体图像取得部101a通过从由第一摄像部15A输出的被摄体图像抽取人物区域，来取得第一被摄体的被摄体图像。

景深图像取得部101b依次取得由第二摄像部15B连续地摄像到的第一被摄体的景深图像(景深图)。具体地说，景深图像取得部101b通过从由第二摄像部15B输出的景深图像抽取人物区域，来取得第一被摄体的景深图像。

该情况下，景深图像取得部101b例如通过对构成景深图像的各像素的三维位置当中的进深方向的距离设定阈值，来抽取人物区域。例如，在第二摄像部15B的坐标系中将第二摄像部15B的位置设为原点，Z轴正方向为从第二摄像部15B的原点向被摄体方向延伸的摄像机的光轴。该情况下，将构成景深图像的各像素当中、进深方向(Z轴向)的位置坐标为预先规定的阈值(例如示出2m的值)以上的像素排除。由此，景深图像取得部101b能够得到由与第二摄像部15B相距2m的范围内存在的人物区域的像素构成的景深图像，即第一被摄体的景深图像。

另外，本实施方式中，说明了景深图像是使用第二摄像部15B来取得的，但是该景深图像也可以根据第一被摄体的被摄体图像、利用立体匹配等方法来制作。

骨骼信息生成部102从由景深图像取得部101b取得的第一被摄体的景深图像抽取表示人体(即，第一被摄体)的骨骼位置的骨骼信息。该情况下，骨骼信息生成部102通过对景深图像匹配人体形状来抽取骨骼信息。

此外，骨骼信息生成部102将抽取到的骨骼信息的各像素的像素位置的坐标系(即，第二摄像部15B的坐标系)，变换为由被摄体图像取得部101a取得的第一被摄体的被摄体图像的各像素位置的坐标系(即，第一摄像部15A的坐标系)。即，骨骼信息生成部102将从由第二摄像部15B摄像到的第一被摄体的景深图像抽取到的骨骼信息的各像素的像素位置的坐标系，变换为在与该景深图像相同的定时由第一摄像部15A取得的第一被摄体的被摄体图像的坐标系。该坐标变换例如通过校准(calibration)等来进行。由此，骨骼信息生成部102生成(计算)第一被摄体的骨骼信息(坐标变换后的骨骼信息)。

判定部103判定由被摄体图像取得部101a取得的被摄体图像是否满足预先规定的第一条件。第一条件是后述的用于判断是否执行第一位置的计算处理的条件。另外，关于第一条件的详细情况，留待后述。

受理部104从输入部14受理各种信息。具体地说，受理部104通过用户对输入部14的操作指示，受理衣服的属性信息(衣服的形状、衣服的名称、衣服的发售商、衣服的色彩、衣服的材料、衣服的价格等)、以及衣服尺寸。

受理部104对从输入部14受理的属性信息进行解析，从存储部16所存储的第一信息检索与受理的属性信息对应的衣服ID。在此，如上述那样，在第一信息中，对于1个衣服ID，对应有衣服尺寸、体型参数及姿势信息不同的多个衣服图像。因此，受理部104针对各衣服ID的每个，将与代表性的1个衣服尺寸、1个体型参数及1个姿势信息对应的1个衣服图像，作为与各衣服ID对应的代表的衣服图像，从第一信息读取。这些衣服图像的一览被显示于显示部12，由此提示给用户。

另外，受理部104所检索的、代表性的1个衣服尺寸、1个体型参数及1个姿势信息是被预先规定的。此外，受理部104也可以将从输入部14受理的衣服尺寸，作为上述代表性的1个衣服尺寸。

若显示部12上显示了衣服图像的一览，则用户对输入部14进行操作指示，由此，从该显示部12上显示的衣服图像的一览中，选择试穿对象的衣服(的衣服图像)。这样由用户选择的衣服图像的衣服ID，被从输入部14对图像处理装置100输出。此外，衣服尺寸也通过用户对输入部14的操作指示而被输入。

受理部104从输入部14受理所选择的衣服ID和所输入的衣服尺寸。换言之，受理部104受理试穿对象的衣服ID、试穿对象的衣服尺寸。

另外，受理部104至少取得试穿对象的衣服的衣服ID即可，也可以是不受理试穿对象的衣服尺寸的方式。即，用户将衣服ID经由输入部14输入即可，也可以是不输入衣服尺寸的方式。

体型参数取得部105取得表示第一被摄体的体型的体型参数(以下记作第一被摄体的体型参数)。该体型参数与上述的第一信息中包含的体型参数同样，包含有1个或者多个参数。

该情况下，体型参数取得部105例如经由受理部104取得通过用户对输入部14的操作指示而输入的体型参数。

具体地说，例如第一被摄体的体型参数的输入画面被显示于显示部12。该输入画面包含例如胸围、腹围、腰围、身高、肩宽及体重等参数的输入栏。用户一边参照显示部12上显示的输入画面一边对输入部14进行操作，由此，向各参数的输入栏输入值。受理部104将从输入部14受理的体型参数对受理部104输出。由此，体型参数取得部105从受理部104取得体型参数。

另外，体型参数取得部105也可以对第一被摄体的体型参数进行推测。本实施方式中说明体型参数取得部105对第一被摄体的体型参数进行推测的情况。

该情况下，体型参数取得部105根据由景深图像取得部101b取得的第一被摄体的景深图像，推测第一被摄体的体型参数。

该情况下，体型参数取得部105例如对第一被摄体的景深图像匹配人体的三维模型数据。体型参数取得部105使用景深图像和对该景深图像匹配的三维模型数据，计算体型参数中包含的各参数的值(例如，身高、胸围、腹围、腰围及肩宽的各个值)。

此外，体型参数取得部105作为上述的第一被摄体的体型参数(中包含的参数)，取得该第一被摄体的体重。该第一被摄体的体重例如能够从体重测定部13取得。另外，第一被摄体的体重例如也可以通过用户对输入部14的操作指示来取得。

由此，体型参数取得部105能够取得包含上述那样推测出的参数和体重的第一被摄体的体型参数。

另外，体型参数取得部105也可以构成为不取得第一被摄体的体重。该情况下，体型参数取得部105取得包含体重以外的参数的体型参数。

在此，参照图8及图9，说明体型参数取得部105对体型参数的推测。图8是表示人体的三维模型数据的一个例子的图。图9是表示对第一被摄体的景深图像匹配人体的三维模型数据而成的图像(模型图像)300的图。另外，图9所示的模型图像300A是表示第一被摄体的背面的三维模型的图像。另一方面，图9所示的模型图像300B是表示第一被摄体的侧面的三维模型的图像。

详细地讲，体型参数取得部105将人体的三维模型数据(三维多边形模型)，对第一被摄体的景深图像进行匹配。体型参数取得部105根据对第一被摄体的景深图像匹配的人体的三维模型数据中的、与多个参数(身高、胸围、腹围、腰围及肩宽等)的每个对应的部位的距离，推测上述的量尺寸值。具体地说，体型参数取得部105根据对景深图像匹配的人体的三维模型数据上的、顶点间的距离及连结某2个顶点的山脊线的长度等，计算身高、胸围、腹围、腰围及肩宽等各参数的值。所谓2个顶点，表示对景深图像匹配的人体的三维模型数据上的、与计算对象的每个参数对应的部位的一端和另一端。另外，针对第二被摄体的第二体型参数中包含的各参数的值也同样地进行计算即可。

此外，优选的是，体型参数取得部105以使由受理部104所受理的衣服ID识别出的衣服对遮藏体型的程度越高而值越变小的方式，对根据景深图像推测出的体型参数进行修正。

该情况下，体型参数取得部105从存储部16所存储的第四信息读取与由受理部104受理的衣服ID对应的修正值。体型参数取得部105对根据景深图像推测出的体型参数中包含的各参数的值，乘以所读取的修正值，由此对该各参数的值进行修正。

例如，在第一被摄体以厚重着装的状态被摄像部摄像到的情况下，体型参数取得部105根据景深图像推测的体型参数的值有时会与实际的第一被摄体的体型有所不同。因此，由体型参数取得部105推测出的体型参数优选被进行修正。

本实施方式中，例如将与由受理部104受理的衣服ID(即，从用户受理的试穿对象的衣服ID)对应的衣服，假定为第一被摄体实际当前正穿戴的衣服来进行修正。修正值如上述那样，设为在遮藏体型的程度最低的情况下为“1”、遮藏体型的程度越高则越接近0的值。通过进行这样的修正，体型参数取得部105能够推测出第一被摄体的示出更正确的体型的体型参数。

另外，也可以是，将用于指示修正的指示按钮显示于显示部12，通过用户对输入部14的操作指示指定(指示)了该指示按钮时，进行上述的修正处理。

再次返回图3，姿势信息计算部106计算第一被摄体的姿势信息。姿势信息计算部106根据由骨骼信息生成部102生成的第一被摄体的骨骼信息，计算该第一被摄体的姿势信息。该情况下，姿势信息计算部106根据由第一被摄体的骨骼信息示出的各关节的位置，计算第一被摄体的朝向。

在此，参照图10，说明姿势信息计算部106对姿势信息的计算。

将由骨骼信息生成部102所生成的第一被摄体的骨骼信息示出的、与第一被摄体的左肩相当的像素位置(图10中的像素位置401d)的坐标，在第一摄像部15A的坐标系中设为Psl。此外，将由骨骼信息生成部102所生成的骨骼信息示出的、与第一被摄体的右肩相当的像素位置(图10中的像素位置401c)的坐标，在第一摄像部15A的坐标系中设为Psr。

姿势信息计算部106根据这些坐标信息，使用下述的式(1)，计算第一被摄体相对于第一摄像部15A的朝向。

第一被摄体的朝向＝arctan(Psl.z－Psr.z/Psl.x－Psr.x) ···式(1)

该式(1)中，Psl.z表示与第一被摄体的左肩相当的像素位置的z坐标值。Psr.z表示与第一被摄体的右肩相当的像素位置的z坐标值。此外，式(1)中，Psl.x表示与第一被摄体的左肩相当的像素位置的x坐标值。Psr.x表示与第一被摄体的右肩相当的像素位置的x坐标值。

姿势信息计算部106通过这样的计算处理，能够将(表示)第一被摄体的朝向(的第一被摄体的旋转角度)作为姿势信息来计算。

再次返回图3，确定部107在存储部16所存储的第一信息中的与由受理部104受理的衣服ID对应的多个衣服图像当中，确定出输出对象的衣服图像。另外，所谓输出对象是指向显示部12或者外部装置等输出的对象。在输出目的地为显示部12的情况下，输出对象意思是指显示对象。

在此，在以下的说明中，为了方便，将由体型参数取得部105取得的体型参数(即，第一被摄体的体型参数)称作第一体型参数。另一方面，将存储部16所存储的第一信息中包含的体型参数称作第二体型参数。

该情况下，确定部107在第一信息中的与由受理部104受理的衣服ID对应的多个衣服图像当中，确定出与和第一体型参数之间的非相似度为阈值以下的第二体型参数对应的衣服图像。非相似度表示第一体型参数与第二体型参数为非相似的程度。非相似度越低，则表示第一体型参数与第二体型参数越相似。非相似度越高，则表示第一体型参数与第二体型参数越非相似。

确定部107针对存储部16所存储的第一信息中的与由受理部104受理的衣服ID对应的多个第二体型参数的每个，计算与第一体型参数之间的非相似度。另外，本实施方式中，将第一体型参数与第二体型参数的差分作为非相似度来使用。

该情况下，确定部107例如使用L1范数(L1norm)或者L2范数，计算第一体型参数与第二体型参数的差分。

在使用L1范数的情况下，确定部107对第一体型参数中包含的各参数各自的值和与由受理部10受理的衣服ID对应的多个第二体型参数中包含的各参数各自的值，按照每个相同的参数，计算值的差(以下记作第一差)。确定部107将第一体型参数和第二体型参数的每个中包含的每个相同参数的第一差的绝对值的合计值，作为该第一体型参数与第二体型参数的差分(即，非相似度)来计算。

具体地说，在使用L1范数的情况下，确定部107使用下述的式(2)计算非相似度。另外，该式(2)是，第一体型参数及第二体型参数作为参数而包含身高、胸围、腹围、腰围、肩宽及体重的情况的式子。

非相似度＝|A1－A2|+|B1－B2|+|C1－C2|+|D1－D2|+|E1－E2|+|F1－F2| ···式(2)

该式(2)中，A1表示第一体型参数中包含的第一被摄体的身高，A2表示第二体型参数中包含的身高。B1表示第一体型参数中包含的第一被摄体的胸围，B2表示第二体型参数中包含的胸围。C1表示第一体型参数中包含的第一被摄体的腹围，C2表示第二体型参数中包含的腹围。D1表示第一体型参数中包含的第一被摄体的腰围，D2表示第二体型参数中包含的腰围。E1表示第一体型参数中包含的第一被摄体的肩宽，E2表示第二体型参数中包含的肩宽。F1表示第一体型参数中包含的第一被摄体的体重，F2表示第二体型参数中包含的体重。

另一方面，在使用L2范数的情况下，确定部107将第一体型参数和第二体型参数的每个中包含的每个相同参数的值的差(即，第一差)的绝对值的平方的合计值，作为这些第一位体型参数与第二体型参数的差分(即，非相似度)来计算。

具体地说，在使用L2范数的情况下，确定部107使用下述的式(3)计算非相似度。另外，该式(3)是第一体型参数及第二体型参数作为参数而包含身高、胸围、腹围、腰围、肩宽及体重的情况的式子。

非相似度＝|A1－A2|²+|B1－B2|²+|C1－C2|²+|D1－D2|²+|E1－E2|²+|F1－F2|² ···式(3)

该式(3)中的A1、A2、B1、B2、C1、C2、D1、D2、E1、E2、F1及F2与上述的式(2)中说明过的一样，因此省略其详细说明。

另外，在该非相似度(本实施方式中差分)的计算时，例如针对第二体型参数中包含的每个参数，以使从该第二体型参数中包含的参数中减去第一体型参数中包含的参数后得到的值(减法值)大于0的情况下的权重，大于该减法值为小于0的情况下的权重的方式，对该非相似度应用变换函数。

通过这样的处理，图像处理装置100能够抑制在显示将第一被摄体的被摄体图像和衣服图像合成的合成图像时，衣服图像被相对于第一被摄体更大地显示。

此外，也可以是，根据上述的存储部16所存储的第二信息中包含的加权值对第一体型参数及第二体型参数的每个中包含的各参数的值进行了变换之后计算非相似度。该情况下，确定部107从第二信息读取与由受理部104受理的衣服ID对应的多个参数的每个的加权值。确定部107在上述的差分的计算前，计算对第一体型参数及第二体型参数的每个中包含的参数的值乘以该读取的对应的参数的加权值后的乘法值。确定部107将与各参数对应的计算出的乘法值，作为各参数的值使用，来计算非相似度。

如上述那样，加权值表示对穿戴第二信息中的由对应的衣服ID识别出的衣服时的穿戴效果的影响程度。因此，通过执行考虑了加权值后的非相似度的计算，能够计算更适当的非相似度，结果，能够确定出与第一被摄体的体型相应的衣服图像。

此外，也可以是，确定部107计算各参数的加权值，用该计算出的加权值代替由第二信息示出的加权值来使用。

该情况下，确定部107根据由姿势信息计算部106计算出的第一被摄体的姿势信息，计算与各参数对应的加权值。

具体地说，确定部107设为，由姿势信息计算部106计算出的第一被摄体的姿势信息表示该第一被摄体朝着正面方向(相对于第一摄像部15A为正面的朝向)。该情况下，确定部107作为参数的加权值，使肩宽及身高的加权值与其他参数的加权值相比相对更大。

这是为了，从正面对第一被摄体进行摄像而取得的景深图像与从正面以外进行摄像的情况相比，第一被摄体的肩宽及身高与其他参数相比能够被更正确地取得(推测)。

此外，第一被摄体的体重被从体重测定部13或者输入部14输入。即，第一被摄体的体重也是，与其他参数相比能够取得更正确的值，因此，确定部107使体重的加权值也与其他参数的加权值相比相对更大。

针对能够这样取得正确的值的参数与其他参数相比计算相对更大的加权值，能够更正确地计算非相似度。

另外，确定部107也可以是使用第一体型参数及第二体型参数中包含的多个参数当中的一部分参数来计算非相似度。

具体地说，确定部107从第三信息读取第一体型参数及第二体型参数中包含的多个参数当中的、与由受理部104受理的衣服ID的衣服的种类对应的、非相似度的计算所使用的参数。与衣服的种类对应的衣服ID从第一信息读取即可。另外，在第三信息中按照每个衣服ID设定有非相似度的计算所使用的参数的情况下，确定部107从第三信息读取与由受理部104受理的衣服ID的对应的、非相似度的计算所使用的参数即可。由此，确定部107能够在第一体型参数及第二体型参数中包含的多个参数当中使用从第三信息读取的非相似度的计算所使用的参数，计算非相似度。

另外，在第一体型参数中包含的参数的种类和第二体型参数中包含的参数的种类不同的情况下，确定部107使用双方共同包含的参数来计算非相似度即可。

通过以上处理，确定部107针对第一信息中的、与由受理部104受理的衣服ID对应的多个第二体型参数的每个，计算与第一体型参数之间的非相似度。

确定部107确定出上述那样计算出的非相似度为阈值以下的第二体型参数。即，确定部107在第一信息中的与由受理部104受理的衣服ID对应的多个第二体型参数当中，确定出与第一体型参数相似的第二体型参数。

如上述那样，非相似度表示第一体型参数与第二体型参数之间的非相似的程度。因此，第一体型参数与第二体型参数之间的非相似度越低，则第一体型参数与第二体型参数之间的相似度越高。

因此，确定部107确定计算出的非相似度为阈值以下的第二体型参数。另外，非相似度的阈值为预先规定。此外，非相似度的阈值能够通过用户对输入部14的操作指示等来适当变更。

由此，确定部107将与被确定成非相似度为阈值以下的第二体型参数对应的衣服图像，确定为输出对象的衣服图像。

另外，如上述那样，存储部16所存储的第一信息中，例如作为与被确定成非相似度为阈值以下的第二体型参数对应的衣服图像，包含有与不同姿势信息(即，第一被摄体的朝向)的每个对应的多个衣服图像。因此，确定部107将与被确定成非相似度为阈值以下的第二体型参数对应的多个衣服图像当中的、与由姿势信息计算部106计算出的姿势信息(表示第一被摄体的朝向的旋转角度)对应的衣服图像，确定为输出对象的衣服图像。

在此，参照图11，说明确定部107对衣服图像的确定。另外，图11中说明第一体型参数及第二体型参数中包含的3个参数的每个分别作为X轴、Y轴及Z轴(的坐标值)而示出的情况。

此外，图11中设为由体型参数取得部105取得(推测)的第一体型参数为第一体型参数500。此外，设为与由受理部104受理的衣服ID对应的多个第二体型参数为第二体型参数501～503。进而，设为第二体型参数501～503当中、与第一体型参数500之间的非相似度为阈值以下的第二体型参数，在图11中为距离最近的第二体型参数501。该情况下，确定部107确定出第二体型参数501。

接下来，确定部107将与第二体型参数501～503的每个对应的衣服图像501A～503A当中的、与确定出的第二体型参数501对应的衣服图像501A，确定为输出对象的衣服图像。

另外，在(与)非相似度为阈值以下的第二体型参数(对应的衣服图像)由确定部107确定出多个的情况下，将与非相似度最小的1个第二体型参数对应的衣服图像确定为输出对象的衣服图像即可。

此外，确定部107也可以还考虑由受理部104从输入部14受理的衣服尺寸地确定衣服图像。该情况下，确定部107在第一信息中的与由受理部104受理的衣服ID及衣服尺寸对应的多个衣服图像当中，确定出与非相似度为阈值以下的第二体型参数对应的衣服图像。

此外，确定部107在上述那样确定输出对象的衣服图像时，使用第一被摄体的姿势信息及第一信息中包含的姿势信息。

该情况下，确定部107将第一信息中的与由受理部104受理的衣服ID对应的多个衣服图像当中的、与由姿势信息计算部106计算出的姿势信息(表示第一被摄体的朝向的该第一被摄体的旋转角度)对应的衣服图像，确定为输出对象的衣服图像。另外，这样的衣服图像的确定处理是在图像处理系统10(图像处理装置100)中设定有追随模式(第一动作模式)的情况下被执行的。该追随模式是用于对用户提示(显示)表示衣服与用户的身体相随和的状态的合成图像的模式。

此外，详细情况留待后述，确定部107也能够基于由姿势信息计算部106计算出的表示第一被摄体的朝向的该第一被摄体的旋转角度，将与不同于该第一被摄体的旋转角度的旋转角度对应的衣服图像，确定为输出对象的衣服图像。另外，在这样的衣服图像的确定处理是在图像处理系统10(图像处理装置100)中设定有身姿观看模式(第二动作模式)的情况下被执行的。该身姿观看模式是用于向用户提示(显示)与上述的设定有追随模式的情况相比能够更容易地确认试穿对象的衣服的感觉的合成图像的模式。

在此，图12是概念地表示第一信息中包含的姿势信息的图。在此，如图12所示那样设为：作为与非相似度为阈值以下的第二体型参数(例如，图11所示的第二体型参数501)对应的衣服图像，在存储部16(所存储的第一信息)中预先登录有与下述的各个姿势信息对应的衣服图像601～603，所述各个姿势信息为：相对于设置于壳体11的第一摄像部15A为正面朝向即“正面(±0度)”、从该正面向右旋转20度的朝向即“+20度”、从该正面向右旋转40度的朝向即“+40度”。此外，设为由姿势信息计算部106计算出的表示第一被摄体的朝向的第一被摄体的旋转角度为“+20度”。

在图像处理系统10中设定有追随模式的情况下，确定部107在第一信息中的与由受理部104受理的衣服ID及非相似度为阈值以下的第二体型参数对应的多个衣服图像601～603当中，将对应于与由姿势信息计算部106计算出的姿势信息(即，第一被摄体的旋转角度“+20度”)对应的衣服图像602的衣服图像，确定为输出对象的衣服图像。

另一方面，在图像处理系统10中设定有身姿观看模式的情况下，确定部107在第一信息中的与由受理部104受理的衣服ID及非相似度为阈值以下的第二体型参数对应的多个衣服图像601～603当中，将与由姿势信息计算部106计算出的姿势信息中包含的与第一被摄体的朝向相应的旋转角度“+20度”不同的旋转角度例如“+40度”所对应的衣服图像，确定为输出对象的衣服图像。

即，本实施方式中，根据图像处理系统10(图像处理装置100)中设定的动作模式，将与不同姿势信息对应的衣服图像确定为输出对象的衣服图像。另外，关于设定有该各动作模式的情况下的衣服图像的确定处理的详细情况，留待后述。此外，该动作模式的切换例如能够通过用户对输入部14的操作指示来切换。

另外，确定部107例如也可以构成为阶段性地缩限用于确定输出对象的衣服图像的第二体型参数。

该情况下，确定部107针对第一体型参数及第二体型参数中包含的多个参数当中的1个参数计算上述的非相似度，确定出该非相似度为阈值以下的多个第二体型参数。进而，确定部107针对确定出的多个第二体型参数当中的、前阶段的确定中未使用过的参数，同样地计算非相似度，进行该非相似度为阈值以下的第二体型参数的确定。确定部107依次改变参数来反复执行该一系列的处理，直至确定出预先规定数量的第二体型参数为止。由此，确定部107也可以阶段性地确定出第二体型参数(所对应的衣服图像)。

此外，在这样阶段性地确定出第二体型参数的情况下，确定部107作为在各阶段中使用的参数，可以使用1个参数，也可以使用多个参数。

此外，确定部107例如也可以依次使用图6所示的加权值高的参数，来阶段性地确定出第二体型参数。

此外，也可以是在各阶段中使用的参数的种类被预先存储于存储部16。即，存储部16将表示阶段的信息与表示该阶段所使用的参数的种类的信息建立对应地预先存储。据此，确定部107也可以从存储部16读取(表示)各阶段所使用的参数的种类(的信息)，使用与该种类对应的参数，阶段性地确定出第二体型参数。

进而，确定部107也可以是，在上述的各阶段或者最终作为输出对象的衣服图像而确定出了多个衣服图像的情况下，将该确定出的多个衣服图像当中的、由用户指定的1个衣服图像，确定为输出对象的衣服图像。具体地说，显示控制部112将由确定部107确定出的多个衣服图像的一览显示于显示部12。该情况下，用户一边阅览显示部12上显示的衣服图像的一览一边对输入部14进行操作，由此能够选择作为输出对象的1个衣服图像。由此，确定部107能够将显示部12所显示的多个衣服图像当中的、由用户选择的衣服图像，确定为输出对象的衣服图像。

此外，在同样在确定出多个衣服图像的情况下，也可以是在后述的模板匹配(template matching)的处理时，将1个衣服图像确定为输出对象的衣服图像。具体地说，本实施方式中，在输出对象的衣服图像和被摄体图像被合成之前，进行使用了衣服图像的特征区域(例如，肩区域)和第一被摄体的景深图像的特征区域(例如，肩区域)的模板匹配。该情况下，也可以是，将由确定部107确定出的多个衣服图像各自的肩区域与第一被摄体的景深图像的肩区域之间的一致程度最高的衣服图像，确定为输出对象的1个衣服图像。

此外，也可以是将由确定部107确定出的1或者多个衣服图像在与被摄体图像合成之前显示于显示部12。另外，在此，显示于显示部12的衣服图像例如是上述的表示第二被摄体穿戴了该衣服的状态的图像。

据此，用户(第一被摄体)能够对该第一被摄体作为试穿对象而指定的衣服，以被与该第一被摄体的体型一致或者相似的体型的第二被摄体穿戴的状态进行确认。

此外，在由受理部104从输入部14受理了用于识别试穿对象的衣服的衣服ID及衣服尺寸的情况下，将表示该衣服尺寸的衣服被与第一被摄体的体型一致或者相似的体型的第二被摄体穿戴的状态的衣服图像显示于显示部12。据此，用户(第一被摄体)能够对该第一被摄体作为试穿对象而指定的衣服尺寸的衣服，以被与该第一被摄体的体型一致或者相似的体型的第二被摄体穿戴的状态来进行确认。

即，通过这样将由确定部107确定出的1或者多个衣服图像在与被摄体图像进行合成前显示于显示部12，使得在与被摄体图像合成前也能够对用户提示(提供)表示与第一被摄体的体型相应的试穿状态的衣服图像。

再次返回图3，调整部108将由景深图像取得部101b取得的第一被摄体的景深图像的坐标系(即，第二摄像部15B的坐标系)，变换为由被摄体图像取得部101a取得的第一被摄体的被摄体图像的坐标系(即，第一摄像部15A的坐标系)。调整部108以使构成坐标变换后的第一被摄体的景深图像的各像素位置的像素位于与构成在相同定时取得的第一被摄体的被摄体图像的各像素的像素位置对应的位置的方式进行射影，由此来将第一被摄体的景深图像的分辨率调整为与被摄体图像相同的分辨率。

例如设为：由第二摄像部15B得到的景深图像(即，由景深图像取得部101b取得的景深图像)的分辨率为640×480像素，由第一摄像部15A得到的被摄体图像(即，由被摄体图像取得部101a取得的被摄体图像)的分辨率为1080×1920像素。该情况下，若将构成景深图像的各像素，作为1像素×1像素的点射影到被摄体图像上，则构成景深图像的各像素之间会产生间隙。因此，调整部108中，根据需要而应用高斯滤波器或者使用了基于形态学运算等的运算的滤波器，进行调整以使得射影到被摄体图像上的构成景深图像的各像素之间不会产生间隙。

调整部108基于由确定部107确定出的输出对象的衣服图像和与该衣服图像对应的姿势信息中包含的骨骼信息，计算该衣服图像中的特征区域的大小。此外，调整部108基于被进行了分辨率调整的第一被摄体的景深图像和由骨骼信息生成部102生成的第一被摄体的骨骼信息，计算第一被摄体的被摄体图像中的特征区域的大小。

另外，特征区域是能够推测出人体的形状的区域。作为该特征区域，能够使用与人体的肩对应的肩区域、与腰对应的腰区域、与腿的长度对应的腿区域等，但是不限于这些。本实施方式中，说明作为特征区域而使用与人体的肩对应的肩区域的情况，但也可以使用其他区域。

例如在作为特征区域而使用了与人体的肩对应的肩区域的情况下，调整部108作为输出对象的衣服图像中的特征区域的大小，计算该衣服图像中的肩宽。

调整部108基于计算出的输出对象的衣服图像中的特征区域的大小及由被摄体图像取得部101取得的被摄体图像中的特征区域的大小，对该衣服图像及该被摄体图像的至少一方进行放大或者缩小。据此，进行使得衣服图像的轮廓的至少一部分与被摄体图像的轮廓的至少一部分一致那样的放大或者缩小。

调整部108从放大或者缩小后的输出对象的衣服图像和被摄体图像，抽取后述的计算第一位置时使用的该各图像的特征区域(例如，肩区域)。

在此，更详细地说明调整部108对特征区域的抽取。首先，参照图13及图14，对上述的特征区域的大小的计算进行说明。在此设为：由景深图像取得部101b取得的第一被摄体的景深图像的分辨率被调整为与由被摄体图像取得部101a取得的被摄体图像相同的分辨率。

该情况下，调整部108根据与由确定部107确定出的输出对象的衣服图像对应的姿势信息中包含的骨骼信息，求出该衣服图像上的关节位置当中的、与左肩相当的位置的像素的Y坐标和与右肩相当的位置的像素的Y坐标平均的Y坐标。接下来，调整部108在求出的Y坐标的位置(高度)，从与上述的左肩相当的位置的像素的X坐标，朝向与衣服的外侧相当的区域进行探索，求出与衣服的左肩侧的分界线的位置相当的X坐标。同样，调整部108在求出的Y坐标的位置(高度)，从与上述的右肩相当的位置的像素的Y坐标，朝向与衣服的外侧相当的区域进行探索，求出与衣服的右肩侧的分界线的位置相当的X坐标。

调整部108通过求出这样的2个X坐标的差，如图13所示，例如能够求出衣服图像700上的肩宽(像素数)Sc。

另外，也可以不是基于从与肩关节的位置相当的像素的Y坐标求出的1个Y坐标来求出肩宽，而是以肩关节的Y坐标为中心在Y坐标的上下方向上带有宽度地针对多个水平方向的行进行探索，通过在两侧求出针对该多个水平方向的行求出的X坐标的平均，来求出衣服图像上的肩宽。

接下来，调整部108使用被调整成与被摄体图像相同的分辨率的第一被摄体的景深图像、以及第一被摄体的骨骼信息(由骨骼信息生成部102生成的骨骼信息)，计算第一被摄体的被摄体图像上的肩宽。

如图14所示，调整部108求出第一被摄体的景深图像中的、与左肩相当的位置的像素的Y坐标和与右肩相当的位置的像素的Y坐标平均的Y坐标。接下来，调整部108从与左肩相当的位置的像素的X坐标，朝向与第一被摄体的外侧相当的区域进行探索，求出作为该第一被摄体的区域的一个分界线的X坐标。

进而，调整部108求出第一被摄体的景深图像中的与右肩相当的位置的像素的X坐标，朝向与第一被摄体的外侧相当的区域进行探索，求出作为该第一被摄体的区域的另一个分界线的X坐标。

调整部108通过求出这样的2个X坐标的差，如图14所示，例如能够求出景深图像(被摄体图像)800上的肩宽(像素数)Sh。

另外，也可以不是基于从与肩关节的位置相当的像素的Y坐标求出的1个Y坐标来求出肩宽，而是以肩关节的Y坐标为中心在Y坐标的上下方向上带有宽度地针对多个水平方向的行进行探索，在两侧求出针对该多个水平方向的行求出的X坐标的平均，由此求出被摄体图像上的肩宽。

接下来，调整部108使用上述那样计算出的特征区域的大小，即衣服图像上的肩宽Sc、被摄体图像上的肩宽Sh，决定该衣服图像的缩放值(放大缩小率)。

具体地说，调整部108将被摄体图像上的肩宽Sh除以衣服图像上的肩宽Sc而得的除法值(Sh/Sc)，作为缩放值来计算。该缩放值也可以是，使用衣服的实际的大小、或者与衣服图像区域的宽度及高度相当的像素数等的值，根据不同的式子来计算。

调整部108对输出对象的衣服图像，用计算出的缩放值(放大缩小率)进行放大或者缩小。此外，调整部108对与输出对象的衣服图像对应的姿势信息中包含的骨骼信息，用同样的缩放值(放大缩小率)进行放大或者缩小。

接下来，调整部108从放大或者缩小后的衣服图像及被摄体图像，抽取在位置计算部109中使用的特征区域。

特征区域如上述那样表示能够推测出衣服图像及被摄体图像各自中的人体的形状的区域。特征区域例如为表示人体的肩或者腰等的区域。本实施方式中说明调整部108将衣服图像及被摄体图像各自的轮廓中的与人体的肩相当的区域(肩区域)作为特征区域来抽取的情况。

首先，调整部108从被调整成与被摄体图像相同的分辨率的第一被摄体的景深图像抽取轮廓。此外，调整部108从上述那样进行了放大或者缩小后的衣服图像中抽取轮廓。调整部108从这样抽取到的轮廓，将与人体的肩相当的肩区域的轮廓，作为特征区域来抽取。另外，轮廓的抽取中能够利用各种方法。

在此，调整部108优选根据衣服图像(中包含的衣服的区域)的形状来抽取轮廓。以下，参照图15，对轮廓的抽取的一个例子进行说明。

如图15所示，放大或者缩小后的输出对象的衣服图像(中包含的衣服的区域)901的形状为在人体的正面侧具有纵长的开口部的形状。在这样的衣服图像901的情况下，如图15所示，抽取到在人体的中央部也示出的轮廓902。若使用这样的轮廓902进行后述的模板匹配，则有时与人体的中央部分相当的区域的匹配精度会降低。

因此，调整部108通过从图15所示的轮廓902中将与人体的中央部相当的区域的轮廓除去，来从衣服图像抽取沿着人体外形的部分的轮廓。

另外，图像处理装置100中，后述的更新部113将各衣服图像登录于存储部16(第一信息)时，将试穿过该衣服图像的衣服的第二被摄体的景深图像与该衣服图像建立对应。调整部108从该景深图像将该景深图像中的与轮廓连续的内侧的区域的一部分，利用例如形态学运算等图像滤波处理删除。通过准备这样的删除处理后的景深图像903，调整部108通过如图15所示那样从轮廓902中删除与景深图像903重叠的区域(的轮廓)，由此，能够将沿着人体外形的部分的轮廓904作为输出对象的衣服图像的轮廓来抽取。

调整部108从上述那样抽取到的输出对象的衣服图像及景深图像(被摄体图像)各自的轮廓中，将与人体的肩相当的肩区域作为特征区域来抽取。

另外，有时输出对象的衣服图像中包含的衣服为无袖背心或吊带背心等，很难从该衣服图像抽取沿着人体外形的形状(肩的轮廓等)。这样的情况下，也可以是如上述那样将试穿过衣服的第二被摄体的景深图像预先存储在存储部16中，从该第二被摄体的肩部抽取(计算)肩区域的轮廓。

再次返回图3，位置计算部109计算使由调整部108抽取到的输出对象的衣服图像的特征区域的位置与由被摄体图像取得部101a取得的被摄体图像的特征区域的位置一致的、在被摄体图像上的衣服图像的第一位置。

另外，位置计算部109在判定部103判定为由被摄体图像取得部101a取得的被摄体图像满足第一条件的情况下，进行第一位置的计算。

位置计算部109对被摄体图像的特征区域，将输出对象的衣服图像的特征区域作为模板，进行模板匹配，由此，探索被摄体图像(景深图像)。由此，位置计算部109将特征区域一致的被摄体图像(景深图像)上的位置作为第一位置来计算。另外，由位置计算部109进行的模板匹配中，能够利用各种方法。

第一位置是通过被摄体图像上的位置坐标来示出的。具体地说，第一位置设为，输出对象的衣服图像的特征区域与被摄体图像的特征区域一致时的、该被摄体图像上的该特征区域的中心位置。

此外，位置计算部109计算使输出对象的衣服图像的特征点的位置与被摄体图像的特征点的位置一致的、该被摄体图像上的该衣服图像的第二位置。

在此，特征点是能够推测出试穿衣服的第一被摄体的体型的位置。特征点根据特征区域而被预先决定。具体地说，特征点被决定为与上述的特征区域的中央相当的位置。即，特征点根据作为特征区域而使用的区域而被预先设定。此外，特征点由图像上的位置坐标来示出。在本实施方式中，作为特征区域使用了肩区域的情况下，肩区域的中心位置(即，与人体的两肩的中央相当的位置)被决定为特征点。

在此，参照图16，说明位置计算部109对第二位置的计算的一个例子。

位置计算部109例如根据图16所示的与输出对象的衣服图像1001a对应的骨骼信息1001b，求出两肩间的中心位置Q1。此外，位置计算部109根据图16所示的被摄体图像1002a的骨骼信息(即，根据该被摄体图像1002a生成的骨骼信息)1002b，求出两肩间的中心位置Q2。位置计算部109计算使输出对象的衣服图像1001a中的两肩间的中心位置Q1与被摄体图像1002a中的两肩间的中心位置Q2一致的、被摄体图像1002a上的衣服图像1001a的第二位置。即，本实施方式中，位置计算部109将被摄体图像1002a上的两肩间的中心位置Q2，作为第二位置来计算。

再次返回图3，决定部110在判定部103判定为由被摄体图像取得部101a取得的被摄体图像满足第一条件的情况下，将由位置计算部109计算出的第一位置，决定为输出对象的衣服图像相对于该被摄体图像的重叠位置。

此外，决定部110在判定部103判定为由被摄体图像取得部101a取得的被摄体图像不满足第一条件的情况下，根据针对在该被摄体图像之前取得的被摄体图像计算出的第一位置与根据该被摄体图像由位置计算部109计算出的第二位置的差分，决定重叠位置。

具体地说，决定部110将由位置计算部109基于由被摄体图像取得部101a取得的被摄体图像计算出的第二位置与上述的差分相应地偏移后的位置，决定为重叠位置。

即，该决定部110中使用的差分是由位置计算部109根据在本次由被摄体图像取得部101a取得的被摄体图像之前取得的满足第一条件的被摄体图像计算出的第一位置、与由位置计算部109根据该被摄体图像计算出的第二位置之间的差分。

合成图像生成部111生成在由被摄体图像取得部101a取得的被摄体图像中的由决定部110决定的重叠位置处重叠了由确定部107确定出的输出对象的衣服图像而得到的合成图像。

详细地讲，合成图像生成部111在由被摄体图像取得部101a取得的被摄体图像上的重叠位置处重叠输出对象的衣服图像。由此，合成图像生成部111生成合成图像。

具体地说，合成图像生成部111针对由确定部107确定、由调整部108调整后的衣服图像，参照按照每个像素定义的色值(Cr，Cg，Cb)、以及α(阿尔法)值(a)。其中，α值a为0以上1以下的值。此外，针对第一被摄体的被摄体图像也参照每个像素的色值(Ir，Ig，Ib)。合成图像生成部111针对相同的像素位置的每个像素，通过使用下述的式(4)规定像素值(色值及α值)，来生成合成图像。

Ox＝(1－a)×Ix+a×Cx ···式(4)

该式(4)中，x表示r、g、b。此外，在衣服图像仅占据第一被摄体的被摄体图像的一部分区域的情况下，在该衣服图像的占据区域外的区域中，α值的值作为“0”(a＝0)来计算。

如上述那样，由合成图像生成部111生成合成图像时使用的第一位置是通过针对特征区域进行模板匹配来计算出的。另一方面，由合成图像生成部111生成合成图像时使用的第二位置是根据特征点的位置来计算出的。因此，使用了第一位置的情况下，能够生成高精度的合成图像。另一方面，使用了第二位置的情况下生成的合成图像与使用了第一位置的情况下生成合成图像相比，精度变低。然而，第二位置的计算中的负荷比第一位置的计算中的负荷低，因此，使用了第二位置的情况下，能够以更低的负荷来生成合成图像。

显示控制部112使各种图像显示于显示部12。具体地说，显示控制部112使上述的衣服图像的一览、表示第一被摄体的体型的体型参数的输入画面及由合成图像生成部111生成的合成图像等进行显示。

更新部113进行上述的第一信息的登录及更新。在此，参照图17，说明更新部113对第一信息的登录及更新。

首先，按照由衣服ID识别出的每个衣服，准备各衣服尺寸的衣服。各衣服尺寸的衣服例如被穿戴于体型不同的多个第二被摄体上。即，在第一信息的登录及更新时，准备了如图17所示那样穿戴了衣服尺寸不同的每个衣服1101的模特等多个第二被摄体1102。另外，图17中，为了方便，衣服1101及第二被摄体1102分别仅示出1个。

对这样的穿戴有衣服1101的第二被摄体1102用与图像处理系统10中的摄像部同样的装置进行摄像，由此，能够得到该第二被摄体1102的被摄体图像及景深图像。更新部113对这样得到的被摄体图像中包含的衣服区域进行切取，由此切取衣服图像。具体地说，更新部113设定表示衣服区域的掩饰(mask)。由此，更新部113如图17所示那样，切取表示将各衣服尺寸的衣服1101穿戴在不同体型的第二被摄体1102上的状态的多个衣服图像1103。另外，图17中，为了方便仅示出了1个衣服图像1103。

此外，更新部113如图17所示那样，与骨骼信息生成部102同样地计算第二被摄体1102的骨骼信息，与姿势信息计算部106同样地计算第二被摄体1102的姿势信息。

进而，更新部113与上述的体型参数取得部105同样地，根据景深图像取得表示第二被摄体1102的体型的体型参数。该体型参数可以通过用户对输入部14的操作等来取得，也可以使用另外地对穿戴着使身体的线条清楚的衣服(例如内衣等)的状态的第二被摄体1102进行摄像而得的景深图像来推测。另外，关于体型参数的推测，与上述的体型参数取得部105对第一体型参数的推测同样，因此省略其详细说明。

建立对应地包含有上述的用于识别衣服1101的衣服ID、该衣服1101的衣服尺寸、所取得的体型参数(第二体型参数)、第二被摄体1102的模型ID、计算出的姿势信息、切取到的衣服图像的第一信息，被存储于存储部16。由此，第一信息被登录或者更新。另外，这样的处理每当对将各衣服尺寸的每个衣服1101穿戴着的各体型的每个第二被摄体1102进行摄像时被执行。另外，更新部113能够受理通过用户对输入部14的操作指示而输入的、衣服的种类或者属性信息，还能够将其与衣服ID建立对应。

接下来，参照图18的流程图，对本实施方式的图像处理装置100的处理步骤进行说明。另外，图18所示的处理每当从图像处理系统10所具备的摄像部(第一摄像部15A及第二摄像部15B)将被摄体图像及景深图像分别受理1张时被执行。另外，图像处理装置100从摄像部受理由例如多个帧构成的动态图像的情况下，该图像处理装置100针对该每个帧执行图18所示的处理。

首先，被摄体图像取得部101a及景深图像取得部101b取得被摄体图像及景深图像(步骤S1)。以下，为了方便，将步骤S1中取得的被摄体图像及景深图像称作对象被摄体图像及对象景深图像。

接下来，骨骼信息生成部102根据对象景深图像生成第一被摄体的骨骼信息(步骤S2)。具体地说，骨骼信息生成部102从对象景深图像抽取骨骼信息，将该抽取到的第一被摄体的骨骼信息的坐标系(即，第二摄像部15B的坐标系)变换为第一摄像部15A的坐标系，由此生成第一被摄体的骨骼信息。

接下来，判定部103判定对象被摄体图像是否满足第一条件(步骤S3)。

在此，第一条件例如能够列举出：在由摄像部摄像的区域(以下记作摄像区域)中存在的第一被摄体被更换成不同的第一被摄体时。即，根据这样的第一条件，在第一被摄体被更换成不同的第一被摄体时，在步骤S3中判定为对象被摄体图像满足第一条件。另一方面，第一被摄体未被更换成不同的第一被摄体时，即，在该第一被摄体仍然停留在摄像区域内对表示试穿着所希望的衣服的状态的合成图像进行确认等的情况下，在步骤S3中，判定为对象被摄体图像不满足第一条件。换言之，如果第一被摄体未被更换成不同的第一被摄体，那么例如即使是该第一被摄体在该摄像区域内旋转身体那样的情况下也判定为对象被摄体图像不满足第一条件。

这样的第一条件的情况下，判定部103根据对象景深图像中的第一被摄体的关节位置的坐标值，判定在被摄体图像中在与显示部12相距预先规定的距离内是否有人物存在。由此，例如判定部103判定为在某个时刻作为第一被摄体有人物存在、在之后的时刻作为第一被摄体未有人物存在、在再之后的时刻作为第一被摄体有人物存在的情况下，该判定部103判定为摄像区域存在的第一被摄体(人物)更换成了不同的第一被摄体。该情况下，判定部103判定为对象被摄体图像满足第一条件。

例如，位于显示部12前进行试穿的第一被摄体被更换了的情况下，优选重新计算第一位置及第二位置。因此，将存在于摄像区域的第一被摄体更换成了不同的第一被摄体时作为判定部103的判定的条件来设定，由此能够实现重叠位置的精度提高。

另外，若根据在位于显示部12前的第一被摄体处于移动中摄像到的被摄体图像计算第一位置，则该第一位置的计算精度可能会降低。因此，判定部103优选将存在于摄像区域的第一被摄体更换成不同的第一被摄体后经过规定时间后、且检测到该第一被摄体的静止之后取得的被摄体图像，判定为满足第一条件的被摄体图像。另外，这些第一被摄体(人物)的移动及该第一被摄体的静止等的检测能够利用各种方法。

在此，说明了第一条件为存在于摄像区域的第一被摄体更换成了不同的第一被摄体时，但是该第一条件也可以是其他条件。以下，简单地说明其他条件。

作为其他第一条件例如能够列举出：通过用户对输入部14的操作指示，而作为试穿对象的衣服ID指定了与显示中的合成图像中包含的衣服图像不同的衣服的衣服ID时。

该情况下，判定部103判定对象被摄体图像是否是通过用户对输入部14的操作指示而指示了新的衣服ID后紧接着取得的被摄体图像。即，在判定为对象被摄体图像是指示了新的衣服ID后取得的被摄体图像的情况下，判定部103判定为该对象被摄体图像满足第一条件。

另外，若根据在位于显示部12前进行试穿的第一被摄体为了对输入部14进行操作指示而处于移动中时摄像到的被摄体图像计算第一位置，则该第一位置的计算精度可能会降低。因此，判定部103优选将在判定为用户对输入部14进行了操作指示之后经过规定时间之后、且检测出第一被摄体(人物)的静止后取得的被摄体图像，判定为满足第一条件的被摄体图像。

此外，作为其他第一条件，能够列举出：对象被摄体图像是在前次判定为是计算第一位置的对象的被摄体图像后取得预先规定张数的被摄体图像之后取得的被摄体图像时。

该情况下，判定部103判定对象被摄体图像是否是在前次被判定为第一位置计算对象的被摄体图像的取得后取得了预先规定张数之后取得的被摄体图像。即，在判定为对象被摄体图像是在取得预先规定张数之后取得的被摄体图像的情况下，判定部103判定为该对象被摄体图像满足第一条件。

另外，作为该预先规定张数，例如列举出15张(为动态图像的情况下为15帧)等，但不限于该数。此外，该预先规定张数可以是位置计算部109的处理负荷越高则设定越大的值，也可以是第一被摄体的移动量越大则设定越大的值。此外，也可以组合这些设定条件。

此外，判定部103也可以判定对象被摄体图像是否是在前次被判定为为第一位置计算对象的被摄体图像的取得后经过预先规定的时间后取得的被摄体图像。即，在判定为对象被摄体图像是在经过预先规定时间后取得的被摄体图像的情况下，判定部103判定为该对象被摄体图像满足第一条件。

该情况下也是，判定部103根据位置计算部109的处理负荷或者第一被摄体的移动量等来设定上述的时间即可。

此外，作为其他第一条件，能够列举出：规定的姿势信息与第一被摄体的姿势信息(由骨骼信息生成部102生成的骨骼信息)一致时。另外，规定的姿势信息中例如包含表示为正面朝向且臂打开10度程度的姿势的姿势信息等。

该情况下，判定部103根据对象被摄体图像判定由骨骼信息生成部102生成的骨骼信息(第一被摄体的骨骼信息)与例如存储部16所存储的规定的姿势信息中包含的骨骼信息是否一致。即，在判定为第一被摄体的骨骼信息与规定的姿势信息中包含的骨骼信息一致的情况下，判定部103判定为对象被摄体图像满足第一条件。

在第一被摄体的姿势与规定的姿势不一致的情况下，即使通过位置计算部109进行模板匹配，有时也很难进行足够精度的模板匹配。

因此，优选在规定的姿势信息与第一被摄体的姿势信息一致的情况下，判定部103判定为对象被摄体图像满足第一条件。

此外，作为其他第一条件，能够列举出：第一被摄体的移动量为预先规定的值以下时。

该情况下，判定部103根据对象景深图像中的第一被摄体的关节位置的坐标值，判定对象被摄体图像中的第一被摄体的位置。第一被摄体的移动量是通过比较由判定部103进行了判定的、前次取得的景深图像中的第一被摄体的位置与本次取得的景深图像(即，对象景深图像)中的第一被摄体的位置来计算的。判定为这样计算出的第一被摄体的移动量为预先规定的值以下的情况下，判定部103判定为对象被摄体图像满足第一条件。

此外，作为其他第一条件，能够列举出：对象被摄体图像中包含的第一被摄体为垂臂的状态的情况。

该情况下，判定部103根据对象景深图像中的第一被摄体的关节位置的坐标值，判定与第一被摄体的臂部相当的位置是否位于比第一被摄体的肩部向下侧(足侧)延伸的方向(即，第一被摄体为垂臂的状态)。判定为第一被摄体为垂臂的状态的情况下，判定部103判定为对象被摄体图像满足第一条件。

在第一被摄体为举臂的姿势的情况下，输出对象的衣服图像的姿势信息与第一被摄体的姿势信息不同的可能性高。若使用这样的姿势的第一被摄体的被摄体图像来进行位置计算部109的模板匹配，则该模板匹配的精度有时会降低。因此，判定部103优选在判定为对象被摄体图像中包含的第一被摄体为垂臂的状态的情况下，判定为该对象被摄体图像满足第一条件。

另外，在此，作为第一条件的例子而说明了多个条件，但是第一条件可以是上述条件中的1个，也可以是该条件中的多个。

步骤S3中判定为对象被摄体图像满足第一条件的情况下(步骤S3为是)，执行第一衣服图像确定处理(步骤S4)。该第一衣服图像确定处理中，由确定部107确定输出对象的衣服图像。此外，第一衣服图像确定处理中，由确定部107确定出的输出对象的衣服图像(以下记作对象衣服图像)及对对象被摄体图像的调整处理是由调整部108来进行的。该调整处理中，进行后述的第一位置计算处理所使用的对象衣服图像及对象被摄体图像的特征区域的抽取等。另外，关于第一衣服图像确定处理的详细情况，留待后述。

接下来，位置计算部109执行第一位置计算处理(步骤S5)。该第一位置计算处理中，计算使第一衣服图像确定处理中抽取到的对象衣服图像的特征区域的位置与对象被摄体图像的特征区域的位置一致的、对象被摄体图像上的对象衣服图像的第一位置。另外，关于第一位置计算处理的详细情况留待后述。

由第一位置计算处理计算出的第一位置与能够确定对象被摄体图像的信息建立对应地存储于存储部16(步骤S6)。作为能够确定该对象被摄体图像的信息，例如使用该对象被摄体图像的取得日期时刻等。

接下来，位置计算部109执行第二位置计算处理(步骤S7)。该第二位置计算处理中，计算使对象衣服图像的特征点的位置与对象被摄体图像的特征点的位置一致的、对象被摄体图像上的对象衣服图像的第二位置。另外，关于第二位置计算处理的详细情况留待后述。

由第二位置计算处理计算出的第二位置与能够确定对象被摄体图像的信息建立对应地存储于存储部16(步骤S8)。作为该能够确定对象被摄体图像的信息，例如使用与上述的步骤S6同样的信息。

接下来，决定部110从存储部16读取步骤S5中计算出的第一位置、步骤S7中计算出的第二位置。决定部110计算所读取的第一位置与第二位置的差分(步骤S9)。

由决定部110计算出的差分与步骤S6及S8中使用的能够确定对象被摄体图像的信息建立对应地存储于存储部16(步骤S10)。

另外，存储部16中已经存储有第一位置与第二位置的差分的情况下，通过将步骤S9中计算出的差分盖写在该已存储的差分上，能够仅将最新的差分存储于存储部16。

接下来，决定部110决定重叠位置(步骤S11)。该情况下，决定部110将步骤S5中计算出的第一位置，决定为对象被摄体图像中的对象衣服图像的重叠位置。

即，在根据上述的步骤S3～S11的处理而判定为对象被摄体图像满足第一条件的情况下，将由位置计算部109计算出的第一位置决定为该对象被摄体图像上的对象衣服图像的重叠位置。

另一方面，在步骤S3中判定为对象被摄体图像不满足第一条件的情况下(步骤S3为否)，执行第二衣服图像确定处理(步骤S12)。该第二衣服图像确定处理中，执行与上述的第一衣服图像确定处理不同的处理，由此，由确定部107确定出输出对象的衣服图像。另外，确定该输出对象的衣服图像时的处理步骤根据图像处理系统10(图像处理装置100)中设定的动作模式而不同。

具体地说，例如在作为动作模式而上述的追随模式被设定于图像处理系统10的情况下，在第二衣服图像确定处理中，存储部16所存储的(第一信息中包含的)多个衣服图像当中，与由姿势信息计算部106计算出的表示第一被摄体的朝向的该第一被摄体的旋转角度对应的衣服图像被确定为输出对象的衣服图像。

另一方面，例如作为动作模式而上述的身姿观看模式被设定于图像处理系统10的情况下，第二衣服图像确定处理中，存储部16所存储的(第一信息中包含的)多个衣服图像当中，与不同于由姿势信息计算部106计算出的表示第一被摄体的朝向的旋转角度的旋转角度对应的衣服图像被确定为输出对象的衣服图像。

此外，第二衣服图像确定处理中，与上述的第一衣服图像确定处理同样，由确定部107确定出的输出对象的衣服图像(对象衣服图像)及对对象被摄体图像的调整处理是由调整部108来进行的。另外，关于第二衣服图像确定处理的详细情况留待后述。

接下来，位置计算部109执行第二位置计算处理(步骤S13)。另外，该步骤S13中执行的第二位置计算处理是与上述的步骤S7中执行的第二位置计算处理同样的处理。

决定部110基于由步骤S13中的第二位置计算处理计算出的第二位置，决定重叠位置(步骤S14)。

具体地说，决定部110从存储部16读取根据在本次取得的被摄体图像(即，对象被摄体图像)之前取得的被摄体图像计算出的第一位置、与根据该第一位置的计算中使用的被摄体图像计算出的第二位置的差分。在存储部16中积蓄有过去计算出的多个差分的情况下，决定部110从该多个差分中读取最新的差分(即，前次计算出的差分)。决定部110将使由步骤S13中的第二位置计算处理计算出的第二位置与所读取的差分相应地偏移后的位置，决定为重叠位置。

另外，使第二位置偏移的方向为相对于以存储部16所存储的第二位置(即，由前次位置计算部109计算出的第二位置)为起点、且以该存储部16所存储的第一位置(即，前次位置计算部109计算出的第一位置)为终点的方向向量平行的方向。

若执行了上述的步骤S11或者S14的处理，则合成图像生成部111生成合成图像(步骤S15)。该情况下，合成图像生成部111在对象被摄体图像上的重叠位置(即，由决定部110决定的重叠位置)处重叠对象衣服图像，由此生成合成图像。

若如上述那样由合成图像生成部111生成合成图像，则显示控制部112进行用于将该合成图像向用户(例如，第一被摄体)进行提示的控制。据此，由合成图像生成部111生成的合成图像例如被显示于显示部12(步骤S16)。

接下来，图像处理装置100中，判定是否结束图像处理(步骤S17)。在此，设为图像处理装置100中设置有用于指示该图像处理装置100中的图像处理的结束的结束指示按钮(未图示)。在由用户指定(指示)了该结束指示按钮的情况下，图像处理装置100受理表示该图像处理装置100中的图像处理的结束指示的信号(以下记作结束指示信号)。即，在图像处理装置100中受理了该结束指示信号的情况下，判定为结束图像处理。

在这样判定为结束图像处理的情况下(步骤S17为是)，图像处理装置100中的图像处理被结束。

另一方面，在判定为不结束图像处理的情况下(步骤S17为否)，返回上述的步骤S1，重复处理。

接下来，参照图19的流程图，对上述的第一衣服图像确定处理(图18所示的步骤S4的处理)的处理步骤进行说明。

首先，受理部104从输入部14受理试穿对象的衣服的衣服ID及衣服尺寸(步骤S21)。

另外，受理衣服ID及衣服尺寸的步骤S21的处理例如也可以在上述的图18所示的处理之前执行。

接下来，体型参数取得部105根据对象景深图像(图18所示的步骤S1中由景深图像取得部101b取得的景深图像)，推测第一被摄体的第一体型参数(步骤S22)。由此，体型参数取得部105取得推测出的第一被摄体的第一体型参数。

另外，体型参数取得部10从体重测定部13取得了体重的情况下，该体型参数取得部105取得包含根据该取得的体重及对象景深图像推测出的各参数的第一体型参数。

接下来，姿势信息计算部106基于由骨骼信息生成部102生成的第一被摄体的骨骼信息，计算该第一被摄体的姿势信息(步骤S23)。该情况下，姿势信息计算部106根据由第一被摄体的骨骼信息示出的各关节的位置，计算第一被摄体的朝向。第一被摄体的朝向例如通过以相对于第一摄像部15A为正面的朝向为基准的情况下的该第一被摄体的旋转角度来示出。由此，姿势信息计算部106计算包含第一被摄体的朝向(及骨骼信息)的姿势信息。另外，由姿势信息计算部106计算出的姿势信息与例如能够确定对象被摄体图像的信息建立对应地存储于存储部16。作为该能够确定对象被摄体图像的信息，例如能够使用与上述的图18所示的步骤S6同样的信息。

接下来，确定部107在存储部16所存储的第一信息中的与由受理部104受理的衣服ID及衣服尺寸对应的多个衣服图像当中，确定出与和由体型参数取得部105取得(推测)的第一体型参数之间的非相似度为阈值以下的第二体型参数、以及由姿势信息计算部106计算出的姿势信息(即，第一被摄体的旋转角度)对应的衣服图像(步骤S24)。

显示控制部112使由确定部107确定出的衣服图像显示于显示部12(步骤S25)。

在此，判定是否由受理部104受理了用户对输入部14的衣服图像的选择指示(步骤S26)。

在判定为未受理选择指示的情况下(步骤S26为否)，受理部104按照用户对输入部14的操作指示，从该输入部14取得例如与上述的步骤S21中受理的衣服尺寸不同的衣服尺寸(步骤S27)。若执行了步骤S27的处理，则返回步骤S24，反复处理。由此，能够将步骤S21中受理的衣服尺寸变更为步骤S27中取得的衣服尺寸来执行步骤S24以后的处理。

另外，说明了步骤S27中取得衣服尺寸的情况，但是也可以是该步骤S27中取得衣服ID及衣服尺寸。该情况下，能够将步骤S21中受理的衣服ID及衣服尺寸变更为步骤S27中取得的衣服ID及衣服尺寸来执行步骤S24以后的处理。

另一方面，在判定为受理了选择指示的情况(步骤S26为是)，将被进行了该选择指示的衣服图像确定为输出对象的衣服图像。即，第一衣服图像确定处理中，执行上述的步骤S21～S27的处理，由此，确定出输出对象的衣服图像。另外，由第一衣服图像确定处理确定的输出对象的衣服图像是与上述的由姿势信息计算部106计算出的姿势信息(第一被摄体的旋转角度)对应的衣服图像(即，用于表示衣服与第一被摄体的身体相随和的状态的衣服图像)。用于识别这样在第一衣服图像确定处理(步骤S21～S27的处理)中确定出的输出对象的衣服图像的、衣服ID及衣服尺寸(即，由用户指定的衣服ID及衣服尺寸)被存储于存储部16。以下，为了方便，将存储部16所存储的衣服ID及衣服尺寸称作指定衣服ID及指定衣服尺寸。

接下来，调整部108调整对象景深图像(步骤S28)。具体地说，调整部108将对象景深图像的各像素的像素位置的坐标系(第二摄像部15B的坐标系)变换为第一摄像部15A的坐标系。调整部108以使构成坐标变换后的对象景深图像的各像素的位置成为与构成在相同的定时取得的对象被摄体图像(图18所示的步骤S1中由被摄体图像取得部101a取得的被摄体图像)的各像素的位置对应的位置的方式进行射影。由此，调整部108将对象景深图像的分辨率调整为与对象被摄体图像相同的分辨率。

接下来，调整部108分别计算对象衣服图像(通过执行步骤S21～S27的处理而确定出的输出对象的衣服图像)中的特征区域的大小、以及对象被摄体图像中的特征区域的大小(步骤S29)。另外，本实施方式中，作为特征区域而使用肩区域。因此，调整部108作为特征区域的大小，分别计算对象衣服图像中的肩宽和对象被摄体图像中的肩宽。

调整部108根据计算出的特征区域的大小，即对象衣服图像中的肩宽和对象被摄体图像中的肩宽，决定对象衣服图像的缩放值(放大缩小率)(步骤S30)。

调整部108使用决定出的缩放值，对对象衣服图像及与该对象衣服图像对应的姿势信息中包含的骨骼信息进行放大或者缩小(即，缩放)(步骤S31)。

接下来，调整部108从放大或者缩小后的对象衣服图像及对象被摄体图像，抽取特征区域。

该情况下，调整部108抽取从放大或者缩小后的对象衣服图像和对象被摄体图像各自的轮廓(步骤S32)。

接下来，调整部108作为对象衣服图像及对象被摄体图像的特征区域，抽取所抽取到的对象衣服图像的轮廓及对象被摄体图像的轮廓各自中的肩区域(步骤S33)。在执行了步骤S33的处理的情况下，第一衣服图像确定处理结束。

另外，上述的步骤S31中说明了使用根据对象衣服图像及对象被摄体图像中的特征区域的大小(肩宽)决定的缩放值来对对象衣服图像进行放大或者缩小的情况，但是例如，以使对象衣服图像的轮廓及对象被摄体图像的轮廓的至少一部分一致的方式，对对象衣服图像及对象被摄体图像的至少一方进行放大或者缩小即可。由此，例如也可以是使用步骤S30中决定的缩放值的倒数来对对象被摄体图像进行放大或者缩小。

通过如上述那样在第一衣服图像确定处理中执行步骤S28～S33的处理，对象衣服图像及对象被摄体图像的至少一方被放大或者缩小，从该放大或者缩小后的对象衣服图像及对象被摄体图像，作为特征区域而抽取肩区域。

另外，衣服图像的特征区域例如也可以在第一信息中与该衣服图像预先建立对应。该情况下，调整部108针对第一信息中包含的(登录的)每个衣服图像预先执行上述的步骤S32及S33的处理即可。另外，这样的构成的情况下的第一衣服图像确定处理中，对基于步骤S30中决定的缩放值而被确定为输出对象的衣服图像的衣服图像的特征区域进行放大或者缩小，能够得到之后执行的第一位置计算处理中使用的特征区域。

接下来，参照图20的流程图，对上述的第一位置计算处理(图18所示的步骤S5的处理)的处理步骤进行说明。

首先，位置计算部109使用由调整部108抽取到的作为特征区域的对象衣服图像的肩区域和对象被摄体图像的肩区域，执行模板匹配(步骤S41)。在此，位置计算部109通过模板匹配，探索由调整部108调整后的对象景深图像，将该对象景深图像(对象被摄体图像)上的与对象衣服图像的特征区域(肩区域)一致的位置，作为第一位置来计算。

接下来，位置计算部109将计算出的第一位置向决定部110输出(步骤S42)。

若执行了步骤S42的处理，则第一位置计算处理结束。另外，由位置计算部109计算出的第一位置如上述那样被存储于存储部16。

接下来，参照图21的流程图，对上述的第二位置计算处理(图18所示的步骤7及S13的处理)的处理步骤进行说明。

首先，位置计算部109计算与对象衣服图像的特征区域相应地决定的该对象衣服图像的特征点的位置。在此，若对象衣服图像的特征区域如上述那样为肩区域，则位置计算部109作为对象衣服图像的特征点，计算该对象衣服图像中的第二被摄体(所穿戴的衣服)的两肩间的中心位置(步骤S51)。该情况下，位置计算部109根据与对象衣服图像对应的姿势信息中包含的骨骼信息(上述的第一衣服图像确定处理中放大或者缩小后的骨骼信息)，计算例如第二被摄体的两肩间的中心位置。

同样，位置计算部109计算与对象被摄体图像的特征区域相应地决定的该对象被摄体图像的特征点的位置。在此，若对象被摄体图像的特征区域如上述那样为肩区域，则位置计算部109作为对象被摄体图像的特征点，计算该对象被摄体图像中的第一被摄体的两肩间的中心位置(步骤S52)。该情况下，位置计算部109根据图18所示的步骤S2中由骨骼信息生成部102生成的第一被摄体的骨骼信息，计算该第一被摄体的两肩间的中心位置。

接下来，位置计算部109以使步骤S51中计算出的中心位置与步骤S52中计算出的中心位置一致的方式计算第二位置(步骤S53)。本实施方式中，位置计算部109将步骤S52中计算出的对象被摄体图像中的第一被摄体的两肩间的中心位置，作为第二位置来计算。

若执行了步骤S53的处理，则第二位置计算处理结束。另外，由位置计算部109计算出的第二位置如上述那样被存储于存储部16。

在此，参照图22，对上述的图18所示的步骤S3中判定为满足第一条件的情况下的合成图像的生成进行说明。

在此，输出对象的衣服图像(对象衣服图像)为图22所示的衣服图像1201，第一被摄体的景深图像(对象景深图像)为图22所示的景深图像1301。

该情况下，如图22所示，通过调整部108的调整处理，从衣服图像1201抽取轮廓1202(步骤S61)。进而，通过调整部108的调整处理，作为特征区域而抽取肩区域1203(步骤S62)。

同样，如图22所示，通过调整部108的调整处理，从景深图像1301抽取轮廓1302(步骤S63)。进而，通过调整部108的调整处理，作为特征区域而抽取肩区域1303(步骤S64)。

接下来，执行使用了衣服图像的肩区域1203和景深图像(被摄体图像)的肩区域1303的模板匹配(步骤S65)。由此，计算上述的第一位置。在此，该第一位置被决定为重叠位置。

该情况下，在第一被摄体的被摄体图像(对象被摄体图像)上的重叠位置(第一位置)处，重叠有衣服图像1201。由此，生成合成图像W(步骤S66)。

即，在上述的图18所示的步骤S3中判定为满足第一条件的情况下，能够将表示衣服与第一被摄体的身体相随和的状态的合成图像W提示(显示)给用户。

在此，图23是表示合成图像W的一个例子的图。如上述那样，合成图像W是在被摄体图像(中包含的第一被摄体P)上重叠了衣服图像1201后的图像。另外，该衣服图像1201是表示由受理部104所受理的衣服ID识别出的衣服被穿戴在与第一被摄体的体型一致或者相似的体型的第二被摄体上的状态的衣服图像。因此，本实施方式中，如图23所示，能够对用户提示表示与第一被摄体的体型相应的试穿状态的合成图像W。

接下来，对上述的第二衣服图像确定处理(图18所示的步骤S12的处理)进行说明。另外，第二衣服图像确定处理的处理步骤如上述那样，根据图像处理系统10中设定的动作模式而不同。以下，分别说明作为图像处理系统10的动作模式而设定有追随模式的情况及设定有身姿观看模式的情况。在此，假定在执行了上述的第一衣服图像确定处理之后用户在摄像区域内使身体旋转了的情况。

首先，参照图24的流程图，对作为图像处理系统10的动作模式而设定有追随模式的情况的第二衣服图像确定处理的处理步骤进行说明。

在设定有追随模式的情况下的第二衣服图像确定处理中，执行与所述的图19所示的步骤S22及S23的处理相当的步骤S71及S72。

接下来，确定部107在存储部16所存储的第一信息中的、与之前执行的第一衣服图像确定处理中由受理部104受理的衣服ID及衣服尺寸(即，存储部16所存储的指定衣服ID及指定衣服尺寸)对应的多个衣服图像当中，将与和步骤S71中取得(推测)的第一体型参数之间的非相似度为阈值以下的第二体型参数、以及步骤S72中计算出的姿势信息(即，第一被摄体的旋转角度)对应的衣服图像，确定为输出对象的衣服图像(步骤S73)。

另外，图24中虽省略，但是也可以通过还执行与所述的图19所示的步骤S25～S27的处理相当的处理来变更指定衣服尺寸等。

接下来，执行与所述的图19所示的步骤S28～S31的处理相当的步骤S74～S77的处理，第二衣服图像确定处理结束。

另外，步骤S77中进行了放大或者缩小的骨骼信息在第二衣服图像确定处理之后执行的第二位置计算处理中被使用。该第二位置计算处理如上述的图21中所说明的那样，因此省略其详细说明。

如上述那样，在图像处理系统10中设定有追随模式的状态下，例如在执行了第一衣服图像确定处理之后第一被摄体在摄像区域内旋转了身体的情况下，通过执行图24所示的第二衣服图像确定处理，能够确定出与第一被摄体旋转了身体后的旋转角度对应的衣服图像(用于表示衣服与用户的身体相随和的状态的衣服图像)。

接下来，参照图25的流程图，对作为图像处理系统10的动作模式而设定有身姿观看模式的情况下的第二衣服图像确定处理的处理步骤进行说明。

在设定有身姿观看模式的情况下的第二衣服图像确定处理中，执行与所述的图19所示的步骤S21及S22(图24所示的步骤S71及S72)的处理相当的步骤S81及S82的处理。

接下来，确定部107基于本次计算出的姿势信息(即，步骤S82中计算出的姿势信息)及前次计算出的姿势信息(即，前次的第一或者第二衣服图像确定处理中存储于存储部16的姿势信息)，计算第一被摄体的旋转速度(步骤S83)。

该情况下，确定部107基于本次计算出的姿势信息中包含的第一被摄体的旋转角度(第一旋转角度)及前次计算出的姿势信息中包含的第一被摄体的旋转角度(第三旋转角度)的变化量，计算第一被摄体的旋转速度。

在此，前次计算出的姿势信息中包含的第一被摄体的旋转角度(以下，记作前次的旋转角度)是基于前次的图18所示的处理中取得的被摄体图像(即，在本次的图18所示的处理中取得的被摄体图像之前取得的被摄体图像)等计算出的第一被摄体的旋转角度。另一方面，本次计算出的姿势信息中包含的第一被摄体的旋转角度(以下，记作本次的旋转角度)是基于本次的图18所示的处理中取得的被摄体图像等计算出的第一被摄体的旋转角度。

该情况下，确定部107例如通过将本次的旋转角度与前次的旋转角度的差分除以被摄体图像的取得间隔(即，由摄像部对第一被摄体进行摄像的间隔)，来计算第一被摄体的旋转速度。

接下来，确定部107基于本次的旋转角度及计算出的旋转速度，计算与该本次的旋转角度不同的旋转角度(第二旋转角度)(步骤S84)。该步骤S84中计算出的旋转角度在用于确定后述的输出对象的衣服图像时被使用。以下，为了方便，将步骤S84中计算出的旋转角度称作身姿观看用的旋转角度。

在此，具体地说明步骤S84中的计算处理。在此，说明作为身姿观看用的旋转角度而计算出比本次的旋转角度大的旋转角度的情况。

该情况下，确定部107计算根据本次的旋转角度(即，实际的第一被摄体的朝向)而唯一地决定的、至少不会成为该本次的旋转角度以下的值(以下记作基准值)。该基准值例如能够使用Sigmoid函数来计算，也可以使用其他函数等来计算。

接下来，确定部107基于规定的函数等决定与计算出的旋转速度相应的偏置值。具体地说，例如计算出的旋转速度的值越大，则作为偏置值而决定越大的值。确定部107通过将这样决定的偏置值加到基准值中来计算身姿观看用的旋转角度。

确定部107通过执行这样的处理，能够计算比本次的旋转角度大的身姿观看用的旋转角度。

若上述的步骤S85中计算出身姿观看用的旋转角度，则确定部107在存储部16所存储的第一信息中的与之前执行的第一衣服图像确定处理中由受理部104受理的衣服ID及衣服尺寸(即，存储部16所存储的指定衣服ID及指定衣服尺寸)对应的多个衣服图像当中，将与和步骤S81中取得(推测)的第一体型参数之间的非相似度为阈值以下的第二体型参数、以及步骤S84中计算出的身姿观看用的旋转角度对应的衣服图像，确定为输出对象的衣服图像(步骤S85)。

另外，图25中虽然省略，但是也可以通过还执行与所述的图19所示的步骤S25～S27的处理相当的处理，来变更指定衣服尺寸等。

接下来，执行了与所述的图19所示的步骤S28～S31(图24所示的步骤S74～S77)的处理相当的步骤S86～S89的处理，第二衣服图像确定处理结束。

另外，步骤S89中进行了放大或者缩小后的骨骼信息在第二衣服图像确定处理后执行的第二位置计算处理中被使用。该第二位置计算处理如上述的图21所说明那样，因此省略其详细说明。

如上述那样，在图像处理系统10中设定有身姿观看模式的状态下，例如执行了第一衣服图像确定处理之后第一被摄体在摄像区域内旋转了身体的情况下，通过执行图25所示的第二衣服图像确定处理，确定出与比第一被摄体旋转了身体后的旋转角度大的身姿观看用的旋转角度对应的衣服图像(即，表示比实际的第一被摄体的身体的旋转更进行了旋转的衣服的状态的衣服图像)。

另外，在图25所示的第二衣服图像确定处理中，说明了在步骤S83中计算第一被摄体的旋转速度，基于本次的旋转角度及该计算出的旋转速度计算身姿观看用的旋转角度的情况，但是例如也可以是，省略步骤S83的处理，仅根据本次的旋转角度来计算身姿观看用的旋转角度。该情况下，将上述的使用例如Sigmoid函数等而计算出的基准值用作身姿观看用的旋转角度即可。另外，身姿观看用的旋转角度的计算中，关于是否利用旋转速度(即，偏置值)，能够通过适当设定来进行变更。

此外，在此说明了计算出比本次的旋转角度大的身姿观看用的旋转角度的情况，但例如也可以是，在本次的旋转角度超过预先规定的值(规定角度)的情况下，将预先规定的旋转角度作为身姿观看用的旋转角度来计算。另外，该情况下，作为身姿观看用的旋转角度而计算出的旋转角度能够适当地设定成成为用户想要确认的所希望的角度。

在此，说明了在上述的图18所示的步骤S3中判定为不满足第一条件的情况下在图像处理系统10中设定有追随模式的情况下提示的合成图像、以及在设定有身姿观看模式的情况下提示的合成图像。在此，说明在提示了上述的图23所示的合成图像W之后第一被摄体P使身体以右旋进行了旋转的情况。

首先，图26示出了在设定有追随模式的情况下提示的合成图像W1的一个例子。图26所示的合成图像W1为，在第一被摄体P的身体朝着例如以右旋旋转了80度程度后的朝向的被摄体图像上重叠了衣服图像1400后的图像。

在此，图27是表示设定有追随模式的情况下的、被摄体图像中的第一被摄体P的旋转角度和与重叠于该被摄体图像上的衣服图像对应的旋转角度(即，所显示的衣服的旋转角度)之间的对应关系的一个例子。如图27所示，在本实施方式中设定有追随模式的情况下，显示的衣服的旋转角度与第一被摄体P的身体的旋转角度一致。

由此，在本实施方式中设定有追随模式的状态下第一被摄体P旋转了身体的情况下，如图26所示，能够提示表示衣服与第一被摄体P的身体相随和的状态(即，第一被摄体P的身体的旋转角度与衣服的旋转角度一致)的合成图像W1。

另一方面，图28是表示设定有身姿观看模式的情况下提示的合成图像W2的一个例子。图28所示的合成图像W2是在与上述的图26的情况同样地使第一被摄体P的身体朝着例如以右旋旋转了80度程度后的朝向的被摄体图像上重叠有衣服图像1500后的图像。

在此，图29示出了设定有身姿观看模式的情况下的、被摄体图像中的第一被摄体P的旋转角度和与重叠于该被摄体图像上的衣服图像对应的旋转角度(即，所显示的衣服的旋转角度)之间的对应关系的一个例子。图29所示的所显示的衣服的旋转角度是使用对应的第一被摄体P的旋转角度计算出的身姿观看用的旋转角度，而在图29中为了方便将上述的使用Sigmoid函数等、根据该第一被摄体P的旋转角度计算出的基准值，作为身姿观看用的旋转角度。该情况下，如图29所示，所显示的衣服的旋转角度是至少不会成为对应的第一被摄体P的旋转角度以下的值。另外，也可以是，将对图29所示的所显示的衣服的旋转角度加上上述的偏置值后的值，作为身姿观看用的旋转角度。

由此，在本实施方式中，在设定有身姿观看模式的状态下第一被摄体P旋转了身体的情况下，如图28所示那样，与追随模式的情况相比虽然衣服未与第一被摄体P的身体相随和，但是能够提示简单地示出了穿戴了衣服的背后身姿等状态的合成图像W2。

另外，图29示出了上述的使用Sigmoid函数计算出的身姿观看用的旋转角度(基准值)，但例如也可以是如图30及图31所示那样在上述的第一被摄体P的旋转角度超过规定角度(第一规定角度)的情况下，将规定角度(第二规定角度)作为身姿观看用的旋转角度(即，所显示的衣服的旋转角度)。图30示出了在第一被摄体P的身体朝着旋转了60度(或者－60度)以上的朝向的情况下，将所显示的衣服的旋转角度设为60度(或者－60度)的例子。此外，图31示出了在第一被摄体P的身体朝着旋转了60度(或者－60度)以上的朝向的情况下，将所显示的衣服的旋转角度设为80度(或者－80度)的例子。

在上述那样的本实施方式中，基于第一被摄体的旋转角度及该第一被摄体的旋转速度，计算与该第一被摄体的旋转角度不同的身姿观看用的旋转角度，在存储部16所存储的多个衣服图像当中确定与该身姿观看用的旋转角度对应的衣服图像，生成在被摄体图像上重叠有该确定出的衣服图像的合成图像。该情况下的身姿观看用的旋转角度例如是通过对根据第一被摄体的旋转角度而唯一地决定的至少不成为该旋转角度以下的基准值，加上与第一被摄体的旋转速度相应的偏置值来计算的。

即，在本实施方式中，对第一被摄体的身体的旋转角度，生成重叠有与该旋转角度及根据旋转速度加权后的旋转角度对应的衣服图像后的合成图像，由此，即使该第一被摄体的身体的实际的旋转角度较小的情况下也能够显示旋转角度较大的衣服图像。本实施方式中，通过这样的构成，用户(第一被摄体)能够以较小负担来确认虚拟试穿了衣服的背后身姿等的状态，因此，能够减轻虚拟试穿时的用户的负担，能够提高适用性。

此外，若第一被摄体以旋转了身体的状态参照显示部12则有时该身体会发生移动，导致每次显示的衣服的旋转角度会发生变化。此外，在通过第一被摄体使身体旋转来确认所希望的角度的衣服(图像)的情况下，需要调整该第一被摄体的身体的旋转(角度)以显示该所希望的角度的衣服。与此相对，本实施方式中，例如在如上述的图30所示那样第一被摄体的旋转角度超过规定角度(例如，60度)的情况下将身姿观看用的旋转角度设为该规定角度(例如，60度)的情况下，第一被摄体不进行身体的旋转(角度)的微调就能够显示所希望的角度的衣服图像，因此，能够减轻虚拟试穿时的用户的负担。同样，例如在上述的图31所示那样第一被摄体的旋转角度超过规定角度(例如，60度)的情况下将身姿观看用的旋转角度设为比该规定角度大的规定角度(例如，80度)的情况下，例如第一被摄体进行较小的旋转也能够显示所希望的角度的衣服图像，因此，能够减轻虚拟试穿时的用户的负担。

此外，本实施方式中，在设定有追随模式的情况下，将与第一被摄体的实际的旋转角度对应的衣服图像确定为输出对象的衣服图像，在设定有身姿观看模式的情况下，将与上述的身姿观看用的旋转角度对应的衣服图像确定为输出对象的衣服图像。进而，本实施方式中，能够根据用户的指示来切换追随模式及身姿观看模式。本实施方式中，通过这样的构成，用户例如在想要确认衣服与第一被摄体的身体相随和的状态的情况下设定追随模式，另一方面，例如在想要确认衣服的整体感觉等的情况下设定身姿观看模式，因此，能够提示与用户的意图相符的合成图像。

此外，在本实施方式中，将与1或者多个衣服尺寸的每个对应的衣服被穿戴在与第一被摄体的体型一致或者相似的体型的第二被摄体上的状态的衣服图像确定为输出对象的衣服图像，生成该衣服图像与第一被摄体的被摄体图像的合成图像。因此，根据本实施方式，能够提供与第一被摄体的体型相应的试穿状态。

另外，本实施方式的图像处理装置100例如也可以具有用于将图像处理系统10(图像处理装置100)中设定的动作模式(追随模式或者身姿观看模式)通知给用户(第一被摄体)的功能。具体地说，也可以构成为，在合成图像生成部111生成合成图像时，实施用于将对重叠于被摄体图像上的衣服图像(由确定部107确定出的输出对象的衣服图像)设定有追随模式或者身姿观看模式的情况进行通知的加工。据此，通过根据与所设定的动作模式而对衣服图像实施不同加工，能够对用户通知是设定了追随模式及身姿观看模式中的哪个。作为对衣服图像实施的加工，例如包含：对该衣服图像的轮廓实施的图像特效、或者对该衣服图像附加的动画等。另外，例如可以是，在显示部12的规定的区域，显示表示所设定的动作模式的字符串或者标志等，由此来通知该设定的动作模式。

此外，在本实施方式中，说明了所述的在图18所示的步骤S3中判定为不满足第一条件的情况下，根据图像处理系统10中设定的动作模式执行不同的第二衣服图像确定处理。与此相对，在图18所示的步骤S3中判定为满足第一条件的情况下，不管设定的动作模式如何，都执行图19所示的第一衣服图像确定处理。但是，也可以构成为在该第一衣服图像确定处理中也根据该设定的动作模式来执行不同的处理。具体地说，在设定有追随模式的情况下，如图19中说明的那样在第一衣服图像确定处理中将与第一被摄体的实际的旋转角度对应的衣服图像确定为输出对象的衣服图像，在设定有身姿观看模式的情况下，在该第一衣服图像确定处理中根据第一被摄体的实际的旋转角度等计算上述的身姿观看用的旋转角度，将与该身姿观看用的旋转角度对应的衣服图像确定为输出对象的衣服图像。

此外，在本实施方式中，假定了受理部104作为用于识别试穿对象的衣服的衣服ID而受理1个衣服ID的情况来进行了说明，但是也可以是，该受理部104作为用于识别试穿对象的衣服而受理多个衣服ID。具体地说，例如在第一被摄体组合试穿了多个衣服的情况下，受理部104能够根据用户对输入部14的操作指示而受理多个衣服ID。这样多个衣服ID被受理部104受理的情况下，针对该多个ID的每个执行上述的处理即可。

另外，该情况下，也可以在图像处理装置100中执行下面的处理。即，确定部107首先针对由受理部104受理的多个衣服ID中的1个，确定与该衣服ID对应的输出对象的衣服图像。然后，确定部107针对受理的多个衣服ID中的其他衣服ID，将与该其他衣服ID的每个对应的多个衣服图像当中、与已确定出的衣服图像的模型ID对应的衣服图像，作为合成对象来确定即可。

另外，在所述的图19所示的第一衣服图像确定处理中，说明了受理部104从输入部14受理衣服ID及衣服尺寸的情况，但是也可以是，该受理部104受理衣服ID，而不从输入部14受理衣服尺寸。

该情况下，确定部107针对与衣服ID对应的全部衣服尺寸的每个，确定与和第一体型参数之间的非相似度为阈值以下的第二体型参数对应的衣服图像即可。

另外，本实施方式的图像处理装置100的应用范围没有限定。即，图像处理装置100可以搭载于在例如店铺等中设置的设备，也可以内置于移动终端、个人计算机(PC)、电视等电子设备。此外，图像处理装置100也可以应用于电子黑板系统(指示牌系统(Signage system))。在图像处理装置100搭载于在店铺等中设置的设备的情况下，包含该图像处理装置100的图像处理系统10例如通过图1所示那样的方式来实现即可。另一方面，在图像处理装置100内置于电子仪器的情况下，图像处理系统10例如通过图2所示那样的方式来实现即可。

以下，参照图32，对本实施方式中的图像处理系统10的示意性的系统构成进行说明。

图像处理系统10中，例如存储装置10A和处理装置10B经由通信线路10C而连接。存储装置10A是具备所述的图2所示的存储部16的装置，例如包含个人计算机等。处理装置10B是所述的图1及图2所示的具备图像处理装置100、显示部12、输入部14及摄像部15(第一摄像部15A及第二摄像部15B)的装置。另外，关于与所述的图1及图2同样的部分，赋予相同参照附图标记并省略其详细说明。通信线路10C例如为因特网等的通信线路，包含有线通信线路及无线通信线路。

如图32所示，通过将存储部16构成为设置在经由通信线路与处理装置10B连接的存储装置10A中，能够从多个处理装置10B访问相同的存储B16。由此，能够进行存储部16所存储的数据的一元化管理。

另外，处理装置10B能够设置于任意的部位。具体地说，处理装置10B也可以设置于用户能够观看合成图像的场所，例如店铺等。此外，处理装置10B的各功能被搭载于移动终端等。

接下来，参照图33，对本实施方式的图像处理装置100的硬件构成进行说明。图33是表示本实施方式的图像处理装置100的硬件构成的一个例子的框图。

如图33所示，在图像处理装置100中，CPU(Central Processing Unit)1601、RAM(Random Access Memory)1602、ROM(Read Only Memory)1603，HDD(Hard Disk Drive)1604、通信I/F部1605、提示部1606、输入部1607及摄像部1608等通过总线1609而相互连接。即，图像处理装置100具有利用了通常的计算机的硬件构成。

CPU1601是控制图像处理装置100的整体处理的运算装置。RAM1602存储CPU1601的各种处理所需的数据。ROM1603存储实现CPU1601的各种处理的程序等。HDD1604对上述的存储部16所存储的数据进行保存。通信I/F部1605是经由通信线路等与外部装置或者外部终端连接、用于与所连接的外部装置或者外部终端之间收发数据的接口。提示部1606相当于上述的显示部12。输入部1607相当于上述的输入部14。摄像部1608相当于上述的摄像部15。

另外，用于执行本实施方式的图像处理装置100中执行的上述各种处理的程序通过预先装入ROM1603等中来提供。此外，该程序也可以预先保存于计算机可读取的存储介质中进行发布。进而，该程序例如还可以经由网络下载于图像处理装置100。

另外，上述的HDD1604中保存的各种信息，即存储部16所存储的各种信息也可以保存于外部装置(例如，服务器装置)等。该情况下，外部装置与CPU1601经由网络等来连接即可。

以上说明了本发明的几个实施方式，但这些实施方式只是作为例子提示，不意图限定发明的范围。这些新的实施方式能够以其他各种方式来实施，在不脱离发明的主旨的范围内，能够进行各种省略、置换、变更。这些实施方式及其变形包含在发明的范围及主旨中，也包含在权利要求所记载的范围及其等同范围内。

本实施方式包括以下的特征。

[附记1]

一种图像处理装置，其特征在于，具备：

存储单元，存储与表示被摄体相对于摄像部的朝向的该被摄体的各旋转角度对应的多个衣服图像；

取得单元，取得由所述摄像部摄像到的包含所述被摄体的被摄体图像；

第一计算单元，计算所述取得的被摄体图像中包含的表示被摄体的朝向的该被摄体的第一旋转角度；

第二计算单元，基于由所述第一计算单元计算出的第一旋转角度，计算不同于该第一旋转角度的第二旋转角度；

确定单元，在所述存储单元所存储的多个衣服图像当中，确定出与由所述第二计算单元计算出的第二旋转角度对应的衣服图像；以及

生成单元，生成在所述取得的被摄体图像上重叠有所述确定出的衣服图像的合成图像。

[附记2]

如附记1所述的图像处理装置，其特征在于，

还具备：

第三计算单元，通过由所述摄像部对所述被摄体连续地进行摄像，来计算在所述被摄体图像之前由所述取得单元取得的被摄体图像中包含的表示被摄体的朝向的该被摄体的第三旋转角度；以及

第四计算单元，基于由所述第一计算单元计算出的第一旋转角度与由所述第三计算单元计算出的第三旋转角度的变化量，计算所述被摄体的旋转速度；

所述第二计算单元计算根据所述第一旋转角度唯一地决定的、至少不会成为所述第一旋转角度以下的基准值，对该基准值加上与所述旋转速度相应的偏置值，由此来计算所述第二旋转角度。

[附记3]

如附记1所述的图像处理装置，其特征在于，

所述第二计算单元在所述第一旋转角度超过预先规定的值的情况下，计算预先规定的第二旋转角度。

[附记4]

如附记1所述的图像处理装置，其特征在于，

所述确定单元在设定有第一动作模式的情况下，在所述存储单元所存储的多个衣服图像当中确定出与由所述第一计算单元计算出的第一旋转角度对应的衣服图像，在设定有不同于所述第一动作模式的第二动作模式的情况下，在所述存储单元所存储的多个衣服图像当中确定出与由所述第二计算单元计算出的第二旋转角度对应的衣服图像。

[附记5]

如附记4所述的图像处理装置，其特征在于，

还具备：

切换单元，按照用户的指示，切换所述第一动作模式及所述第二动作模式。

[附记6]

如附记4所述的图像处理装置，其特征在于，

所述生成单元对所述确定出的衣服图像实施用于通知设定有所述第一动作模式或者所述第二动作模式的加工。

[附记7]

一种图像处理系统，具备：对被摄体进行摄像的摄像部、图像处理装置、以及与该图像处理装置可通信地连接的外部装置，其特征在于，

所述外部装置包括存储单元，该存储单元存储与表示所述被摄体相对于所述摄像部的朝向的该被摄体的各旋转角度对应的多个衣服图像，

所述图像处理装置包括：

取得单元，取得由所述摄像部摄像到的包含所述被摄体的被摄体图像；

第一计算单元，计算所述取得的被摄体图像中包含的表示被摄体的朝向的该被摄体的第一旋转角度；

第二计算单元，基于由所述第一计算单元计算出的第一旋转角度，计算不同于该第一旋转角度的第二旋转角度；

确定单元，在所述存储单元所存储的多个衣服图像当中，确定出与由所述第二计算单元计算出的第二旋转角度对应的衣服图像；以及

生成单元，生成在所述取得的被摄体图像上重叠有所述确定出的衣服图像的合成图像。

[附记8]

一种图像处理方法，利用存储单元的图像处理装置执行该图像处理方法，该存储单元存储与表示被摄体相对于摄像部的朝向的该被摄体的各旋转角度对应的多个衣服图像，其特征在于，包括：

取得由所述摄像部摄像到的包含所述被摄体的被摄体图像的步骤；

计算所述取得的被摄体图像中包含的表示被摄体的朝向的该被摄体的第一旋转角度的步骤；

基于所述计算出的第一旋转角度，计算不同于该第一旋转角度的第二旋转角度的步骤；

在所述存储单元所存储的多个衣服图像当中确定出与所述计算出的第二旋转角度对应的衣服图像的步骤；以及

生成在所述取得的被摄体图像上重叠有所述确定出的衣服图像的合成图像的步骤。

Claims (8)

1.一种图像处理装置，其特征在于，具备：

存储单元，存储与表示被摄体相对于摄像部的朝向的该被摄体的各旋转角度对应的多个衣服图像；

取得单元，取得由所述摄像部摄像到的包含所述被摄体的被摄体图像；

第一计算单元，计算所述取得的被摄体图像中包含的表示被摄体的朝向的该被摄体的第一旋转角度；

第二计算单元，基于由所述第一计算单元计算出的第一旋转角度，计算不同于该第一旋转角度的第二旋转角度；

确定单元，在所述存储单元所存储的多个衣服图像当中，确定出与由所述第二计算单元计算出的第二旋转角度对应的衣服图像；以及

生成单元，生成在所述取得的被摄体图像上重叠有所述确定出的衣服图像的合成图像。

2.如权利要求1所述的图像处理装置，其特征在于，

还具备：

第三计算单元，通过由所述摄像部对所述被摄体连续地进行摄像，来计算在所述被摄体图像之前由所述取得单元取得的被摄体图像中包含的表示被摄体的朝向的该被摄体的第三旋转角度；以及

第四计算单元，基于由所述第一计算单元计算出的第一旋转角度与由所述第三计算单元计算出的第三旋转角度的变化量，计算所述被摄体的旋转速度；

所述第二计算单元计算根据所述第一旋转角度相应唯一地决定的、至少不会成为所述第一旋转角度以下的基准值，对该基准值加上与所述旋转速度相应的偏置值，由此来计算所述第二旋转角度。

3.如权利要求1所述的图像处理装置，其特征在于，

所述第二计算单元在所述第一旋转角度超过预先规定的值的情况下，计算预先规定的第二旋转角度。

4.如权利要求1所述的图像处理装置，其特征在于，

所述确定单元在设定有第一动作模式的情况下，在所述存储单元所存储的多个衣服图像当中确定出与由所述第一计算单元计算出的第一旋转角度对应的衣服图像，在设定有不同于所述第一动作模式的第二动作模式的情况下，在所述存储单元所存储的多个衣服图像当中确定出与由所述第二计算单元计算出的第二旋转角度对应的衣服图像。

5.如权利要求4所述的图像处理装置，其特征在于，

还具备：

切换单元，按照用户的指示，切换所述第一动作模式及所述第二动作模式。

6.如权利要求4所述的图像处理装置，其特征在于，

所述生成单元对所述确定出的衣服图像实施用于通知设定有所述第一动作模式或者所述第二动作模式的加工。

7.一种图像处理系统，具备：对被摄体进行摄像的摄像部、图像处理装置、以及与该图像处理装置可通信地连接的外部装置，其特征在于，

所述外部装置包括存储单元，该存储单元存储与表示所述被摄体相对于所述摄像部的朝向的该被摄体的各旋转角度对应的多个衣服图像，

所述图像处理装置包括：

取得单元，取得由所述摄像部摄像到的包含所述被摄体的被摄体图像；

第一计算单元，计算所述取得的被摄体图像中包含的表示被摄体的朝向的该被摄体的第一旋转角度；

第二计算单元，基于由所述第一计算单元计算出的第一旋转角度，计算不同于该第一旋转角度的第二旋转角度；

确定单元，在所述存储单元所存储的多个衣服图像当中，确定出与由所述第二计算单元计算出的第二旋转角度对应的衣服图像；以及

生成单元，生成在所述取得的被摄体图像上重叠有所述确定出的衣服图像的合成图像。

8.一种图像处理方法，利用存储单元的图像处理装置执行该图像处理方法，该存储单元存储与表示被摄体相对于摄像部的朝向的该被摄体的各旋转角度对应的多个衣服图像，其特征在于，包括：

取得由所述摄像部摄像到的包含所述被摄体的被摄体图像的步骤；

计算所述取得的被摄体图像中包含的表示被摄体的朝向的该被摄体的第一旋转角度的步骤；

基于所述计算出的第一旋转角度，计算不同于该第一旋转角度的第二旋转角度的步骤；

在所述存储单元所存储的多个衣服图像当中确定出与所述计算出的第二旋转角度对应的衣服图像的步骤；以及

生成在所述取得的被摄体图像上重叠有所述确定出的衣服图像的合成图像的步骤。