CN104899910A - 图像处理设备、图像处理系统和图像处理方法 - Google Patents

Abstract

本发明涉及图像处理设备、图像处理系统和图像处理方法。根据实施例，一种图像处理设备包括第一获取器、第二获取器、接收器和识别器。第一获取器获取第一对象的对象图像。第二获取器获取表示第一对象的体型的第一体型参数。接收器接收有关所要试穿的衣物的识别信息。识别器被配置为从第一信息中的与接收到的识别信息相关联的多幅衣物图像中识别出与第二体型参数相关联的衣物图像作为将要输出的衣物图像，其中，所述第二体型参数与所述第一体型参数的非相似度小于等于阈值。

Description

图像处理设备、图像处理系统和图像处理方法

相关申请的交叉引用

本申请以2014年3月3日提交的日本专利申请No.2014-040875和2015年1月15日提交的日本专利申请No.2015-006080为基础，并要求它们的优先权，通过引用的方式将其全部内容并入本文。

技术领域

文中描述的实施例总体上涉及图像处理设备、图像处理系统和图像处理方法。

背景技术

已公开有各种用于显示试穿衣物的对象的虚拟图像的技术。例如，已经公开有显示试穿某件衣服的第一对象的合成图像的技术。

常规的实践方式是使预先准备好的尺码的成衣的图像与第一对象的图像合成，而无论第一对象的体型如何。因此，难以提供表现实际穿着不同尺码衣物的第一对象的图像。

发明内容

文中描述的实施例的目的在于提供一种图像处理设备、图像处理系统和图像处理方法，它们能够在对象的体型的基础上提供对象的试穿衣物的图像。

根据实施例，一种图像处理设备包括第一获取器、第二获取器、接收器和识别器。第一获取器获取第一对象的对象图像。第二获取器获取表示第一对象的体型的第一体型参数。接收器接收有关所要试穿的衣物的识别信息。识别器被配置为从第一信息中的与接收到的识别信息相关联的多幅衣物图像中识别出与第二体型参数相关联的衣物图像作为将要输出的衣物图像，其中，所述第二体型参数与所述第一体型参数的非相似度小于等于阈值，在所述第一信息中，多个衣物尺码、多个第二体型参数和多幅衣物图像与每一个有关衣物的识别信息相关联，所述第二体型参数与每一个所述衣物尺码相对应并表示不同体型，并且所述衣物图像均表示第二对象穿着每一所述衣物尺码的衣物的状态，所述第二对象具有由与相对应的衣物尺码相关联的相对应的第二体型参数所表示的体型。

根据上文所述的图像处理设备，能够在对象的体型的基础上提供对象试穿衣物的状态的图像。

附图说明

图1是说明图像处理系统的功能配置的方框图；

图2A和2B是所述图像处理系统的外视图的示意性表示；

图3是第一信息的示范性数据结构的示意图；

图4是具体说明第一信息的示意图；

图5是第二信息的示范性数据结构的示意图；

图6是第三信息的示范性数据结构的示意图；

图7是用于解释第一体型参数的估算的示意图；

图8是用于解释有关第一对象的姿势信息的计算的示意图；

图9是用于解释衣物图像识别的示意图；

图10是用于解释姿势信息的示意图；

图11是用于解释合成图像的示意图；

图12是用于解释第一信息的配准和更新的示意图；

图13A和13B是用于解释特征区域的尺寸的计算的示意图；

图14是说明示范性轮廓线提取的示意图；

图15是说明示范性第二位置计算的示意图；

图16是图像处理的流程图；

图17是识别过程和调整过程的流程图；

图18是第一位置计算过程的流程图；

图19是第二位置计算过程的流程图；

图20是用于解释合成图像生成的示意图；

图21是说明另一图像处理系统的示意图；以及

图22是说明示范性硬件配置的方框图。

具体实施方式

现在将参考附图详细说明各种实施例。

第一实施例

图1是说明根据第一实施例的图像处理系统10的功能配置的方框图。图像处理系统10包括图像处理设备12、第一成像器和第二成像器14A和14B(下文统称为成像器14)、输入单元16、存储器18、重量测量器19和显示器20。将成像器14、输入单元16、存储器18、重量测量器19和显示器20按照能够交换信号的方式连接至图像处理设备12。

在根据第一实施例的图像处理系统10中，提供与成像器14、输入装置16、存储器18、重量测量器19和显示器20分离的图像处理设备12。但是，在图像处理系统10中，可以使图像处理设备12与成像器件14、输入装置16、存储器18、重量测量器19和显示器20的至少其中之一集成。

第一成像器14A捕获并获取第一对象的图像。第一成像器14A在每一既定间隔内捕获一次第一对象的图像。第一成像器14A将所捕获的对象图像依次输出至图像处理设备12。通过使第一成像器14A一次捕获第一对象的图像，并将所述图像依次输出至图像处理设备12，图像处理设备12可以获取到包括在不同的时间上捕获的多幅对象图像的活动图像。

第一对象是将试穿衣物的对象。第一对象可以是将试穿衣物的任何对象，其可以是生物或者非生物。例如，生物可以是的人，也可以是诸如狗或猫的宠物。非生物可以是人形或者宠物形状的模特、衣物或者其他各种不受限制的物体。第一对象可以是穿着衣物的生物或非生物。

衣物是指第一对象能够穿着的物品。衣物的例子包括外套、裙子、长裤、鞋、帽，但是衣物不限于此。

对象图像是位图图像。对象图像是为每一像素指定指示颜色或亮度的像素值的对象图像。第一成像器14A是能够捕获对象的图像的已知照相机装置。

第二成像器14B通过捕获图像获取深度图。

有时将深度图称为距离图。深度图是为每一个像素指定与第二成形器14B的距离的图像。在第一实施例中，可以通过向对象图像应用诸如立体匹配的已知处理而建立深度图，或者可以通过使第二成像器14B按照与捕获所述对象图像的条件相同的条件捕获图像而获取所述深度图。可以采用任何能够获取深度图的已知照相机装置作为第二成像器14B。

在第一实施例中，第一成像器件14A和第二成像器14B在同一定时上捕获第一对象的图像。通过未示出的控制器对第一成像器14A和第二成像器14B加以控制，从而(例如)使其按照相同的定时依次同步捕获图像。之后，成像器14将第一对象的对象图像和通过捕获图像而获取到的深度图依次输出至图像处理设备12。

显示器20是用于显示各种图像的装置。显示器20是诸如液晶显示器(LCD)的显示装置。在第一实施例中，显示器20显示图像处理设备12生成的后面将予以说明的合成图像。图像处理系统10还可以包括用于打印合成图像的打印单元或者用于将合成图像通过网络传输至外部装置的传输单元。

输入单元16接收用户输入。在第一实施例中，“用户”一词泛指任何操作者，包括第一对象和第二对象。下文将详细描述所述第一对象和第二对象。

输入单元16是用于允许用户做出各种操作输入的机构。输入单元16的例子包括鼠标、按钮、遥控器、键盘、诸如传声器的声音识别装置和图象识别装置之一或者它们的任何组合。在采用图像识别装置作为输入单元16时，所述装置可以接收面向输入单元16的用户的手势作为各种用户指令。在这样的配置中，将对应于诸如手势的运动的指令信息预先存储到图象识别装置中，所述图像识别装置可以读取对应于所识别出的手势的指令信息，并接受用户操作指令。

输入单元16也可以是用于从诸如发射各种类型的信息的移动终端的外部装置接收指示用户操作指令的信号的通信装置。在这样的配置中，输入单元16可以从外部装置接收指示操作指令的信号作为用户发出的操作指令。

输入单元16可以与显示器20集成。具体而言，可以将输入单元16和显示器20提供为具有输入功能和显示功能的用户接口(UI)。这样的UI的例子包括具有触摸屏的LCD。

重量测量器19是已知的用于测量第一对象的重量的仪器。例如，在第一对象到重量测量器19上时，将使重量测量器19测量第一对象的体重。之后，重量测量器19将作为测量结果的重量输出至图像处理设备12。

图2A和2B是所述图像处理系统10的外视图的示意图。

如图2A所示，例如，将图像处理系统10中的显示器20嵌入到矩形外壳51的一面上。在外壳51的内部提供图像处理设备12(参考图1)。在图像处理系统10中，将表现正在试穿各种衣物的第一对象P的图像的合成图像W显示到显示器20上。诸如人的第一对象P从(例如)面向显示器20的位置看到显示器20上显示的合成图像W。在面向显示器20的区域的地面上提供重量测量器19。在第一对象P来到面向显示器20的位置时，重量测量器19测量第一对象P的重量。

外壳51支撑输入单元16和成像器14(第一成像器14A和第二成像器14B)。在图2A所示的范例中，在外壳51的显示器的20沿水平方向的相应端部提供输入单元16和第一成像器14A。在外壳51中的显示器20的顶部提供第二成像器14B。安装输入单元16的位置不限于此。也可以在任何其他能够捕获第一对象P的图像的位置提供第一成像器14A和第二成像器14B，而不限于上文解释的例子。

图像处理系统10可以是图2B所示的移动终端。在这样的配置中，被配置为移动终端的图像处理系统10的外壳51A设有具有显示器20和输入单元16的功能的UI、第一成像器14A和第二成像器14B。在外壳51A的内部提供图像处理设备12(参考图1)。

响应于用户在输入单元16上发出操作指令，通过输入单元16输入各种类型的信息。如前所述，第一成像器14A和第二成像器14B按照相同的定时同步地依次捕获第一对象P的图像。之后，第一成像器14A和第二成像器14B将捕获的对象图像和深度图依次输出至图像处理设备12。

重新参照图1，存储器18在其内存储各种类型的数据。在第一实施例中，将第一信息、第二信息、第三信息和第四信息预先存储到存储器18内。

第一信息是这样的信息，其中，使多个衣物尺码、与每一衣物尺码相关联并且表示不同体型的多个第二体型参数、第二对象的多幅衣物图像与每条衣物识别信息相关联，所述第二对象具有由各自的第二体型参数表示的体型并且穿着对应衣物尺码的衣物。在下文中，有时将衣物识别信息称为衣物ID。

第二对象是在捕获第一信息中所包含的衣物图像时穿着该衣物的对象。按照与第一对象相同的方式，第二对象可以是任何穿戴着衣物的对象，其可以是诸如人的生物或者是诸如人形模特的非生物。

图3是第一信息的示范性数据结构的示意图。

在图3所示的范例中，第一信息是使衣物类型、衣物ID、衣物尺码、第二体型参数、模型ID、姿势信息、衣物图像和属性信息彼此相关联的信息。

衣物类型指定在以预定分类条件将衣物划分成多个类型时衣物被划归的衣物类型。衣物类型的例子包括上装、外衣和下装，但不限于此。

衣物ID(衣物识别信息)是一条用于识别出一件衣物的信息。衣物具体是指已制成的衣物。衣物ID的例子包括产品编号和衣物名称，但不限于此。例如，采用已知的日本货号(JAN)代码作为产品编号。例如，采用衣物的产品名称作为其名称。

衣物尺码是指示衣物的尺寸的信息。例如，衣物尺码是已制成的衣物的尺寸，例如，S、M、L、LL或XL。衣物尺码的类型不限于这一例子。例如，可以根据成衣制造或销售的国家对衣物尺码的类型给出不同的指示。

第二体型参数是一条指示第二对象的体型的信息。第二体型参数可以包括一个或多个参数。所述参数是对人体的一个或多个部位的度量。所述度量不需要实际测量，也可以包括测量的估值以及任何其他对应于测量的值(例如，用户输入的任何值)。

在第一实施例中，例如，参数是与在定制或购买衣物之前测得的人体的每一部分相对应的测量值或者体重。具体而言，第二体型参数包括胸围、腰围、臀围、身高、肩宽和体重中的至少一个参数。第二体型参数不限于上文列举的这些参数。例如，第二体型参数还可以包括袖长和内缝。

在第一信息中，预先使衣物尺码与表示不同体型的多个第二体型参数相关联。换言之，在第一信息中，使某一衣物ID的衣物尺寸中的每者与多个表示不同体型的第二体型参数相关联。

具有相同或大致相同的体型的用户可能穿着不同尺码的衣物，例如，S、M、L或LL。换言之，某一体型的用户所穿着的衣物的尺码不限于一种，用户可能根据衣物的风格或类型而穿着不同尺寸的衣物。

为了解决这一问题，在第一实施例中，预先使第一信息中的某一衣物ID的衣物尺码的每者与多个表示不同体型的第二体型参数相关联。

模型ID是识别具有对应的第二体型参数表示的体型的第二对象的识别信息。

衣物图像是为每一像素指定了指示衣物的颜色、亮度等的像素值的图像。第一信息包括对应于第二体型参数的衣物图像。换言之，在第一信息中，使多个表示不同体型的第二体型参数与和衣物ID相关联的衣物尺码中的每者相关联，并且使衣物图像与第二体型参数中的每者相关联。

衣物图像是具有对应的第二体型参数所表示的体型并穿着对应衣物尺码的衣物的第二对象的图像，所述衣物尺码和第二体型参数是那些在第一信息中与所述衣物图像相关联的衣物尺码和第二体型参数。换言之，与和衣物尺码之一相关联的各体型参数相关联的衣物图像是多个具有各第二体型参数表示的不同体型的第二对象穿着着同一尺码的衣物的图像。

姿势信息是指示在捕获所述衣物图像时第二对象的姿势的信息。姿势信息指示第二对象相对于照相机装置14的取向、移动等。

第二对象的取向指示在捕获所述衣物图像时，穿着着在所述衣物图像中捕获的衣物的第二对象相对于照相机装置14的取向。第二对象的取向的例子包括正向，其中，脸和身体相对于照相机装置14朝向正面，还包括侧向，其中，脸和身体相对于照相机装置14朝向侧面，还包括除了正向和侧向以外的任何其他方向。

通过表示穿着在所述衣物对象中捕获的衣物的第二对象的骨骼的位置的骨骼信息指示第二对象的移动。所述骨骼信息是为每一像素指定的信息，其中，使指示穿着衣物图像中的衣物的第二对象的骨骼的位置的信息对应于衣物图像中的每一像素的像素位置。在第一实施例中，所述姿势信息包括有关第二对象的取向和骨骼信息。

在第一实施例中，第一信息包括多幅对应于不同姿势信息的衣物图像作为对应于第二体型参数的衣物图像。

换言之，在第一实施例中，衣物图像是穿着者特定尺码的衣物，具有对应的第二体型参数表示的体型并且具有拍摄第二对象的图像时所处的姿势的第二对象的图像。

属性信息是指示通过对应的衣物ID识别出的衣物的属性的信息。属性信息的例子包括衣物的名称、制造商(例如，商标名称)、形状、颜色、材料和价格。

第一信息可以是任何至少使衣物ID、衣物尺码、第二体型参数和衣物图像彼此相关联的信息。换言之，第一信息可以不包括衣物类型、模型ID、姿势信息和属性信息的至少其中之一。

第一信息可以是还使穿着衣物的方式(例如，系扣还是不系扣)相关联的信息。在这种情况下，第一信息可以存储多幅对应于各种以外穿着方式的衣物图像作为对应于某一姿势信息的衣物图像。

图4是具体说明第一信息的示意图。如图4所示，第一信息包括对应于第二体型参数的相应集合(参考图4中的附图标记52)的衣物图像。换言之，在第一信息中，使通过衣物ID(具有商标A的毛线衫BBB)识别的衣物的尺码(M尺码、L尺码和S尺码)中的每者与多个第二体型参数的集合相关联，其中，每一参数表示不同的体型。在第一信息中，还使衣物图像61A(衣物图像61A1到61A3)与第二体型参数的相应集合相关联。在图4所示的例子中，第二体型参数包括作为参数集的高度、胸围、腰围、臀围和肩宽。

换言之，衣物图像61A1到61A3是具有不同体型的各第二对象穿着着相同的尺码(图4中的M尺码)的相同衣物(具有商标A的毛线衫BBB)的图像。

重新参照图1，存储器18还在其内存储前述第二信息、第三信息和第四信息。

图5是第二信息的示范性数据结构的示意图。第二信息是使衣物ID、表示体型的参数和加权参数彼此相关联的信息。所述体型参数与所述第二体型参数中包含的那些相同。加权值指示在对象穿着衣物ID指示的衣物时对应的参数对外观的影响程度。加权值越小表示在所述对象穿着所述衣物时该参数对外观的影响越小。加权值越大表示在所述对象穿着所述衣物时该参数对外观的影响越大。图像处理设备12在计算非相似度的过程中采用这一加权值，下文将详细描述所述计算。第二信息也可以还建立与衣物类型的联系的信息。

例如，假设除了高度以外的参数对穿着衣物ID识别的衣物的对象的外观的影响超过高度的影响。在这种情况下，图像处理设备12通过使为高度设定的加权值(图5中低于1的值)相对而言低于为所述衣物ID的其他参数设定的加权值而建立所述第二信息。

例如，如果对应于衣物ID的衣物类型是“上装”，那么穿着该衣物的对象的外观受对应于人体的下部的参数的影响较小。之后，就衣物类型“上装”而言，图像处理设备12通过为臀围参数和高度参数设定比为其他参数设定的更低的加权值而建立第二信息。

用户可以通过在输入单元16上发出操作指令而酌情修改对应于与每一衣物ID相关联的各自参数的加权值。用户可以预先向第二信息输入并寄存衣物ID所识别的每一衣物的各自参数的加权值。

图6是第三信息的示范性数据结构的示意图。第三信息是使衣物类型与非相似度计算中采用的参数相关联的信息。或者，第三信息可以是使衣物ID与非相似度计算中采用的参数相关联的信息。又或者，第三信息可以是使衣物图像与非相似度计算中采用的参数相关联的信息。下文将说明非相似度计算。

图6所示的例子表明，如果衣物类型是(例如)“外衣”，那么在第三信息中指定的参数当中采用胸围、臀围、腰围和肩宽而不采用高度进行非相似度的计算。图6所示的例子还表明，如果衣物类型是(例如)“裙子”，那么在第三信息中指定的参数当中采用腰围和臀围参数而不采用胸围、肩宽和高度进行非相似度的计算。

第三信息可以是进一步建立与相对于衣物类型和衣物ID而言的特殊参数的关联的信息。例如，在衣物类型为上装和外衣时，第三信息还可以包括袖长作为对应的参数。例如，如果衣物类型是裤子，那么第三信息还可以包括内缝作为对应参数。

第四信息(未示出)是使衣物ID与校正值相关联的信息。在第一体型参数的校正中采用校正值，下文将描述所述校正。在对应的衣物ID所识别的衣物将身体掩盖得较多的时候，图像处理设备12预先针对所述衣物ID设置大于等于零小于等于一的较小校正值。在对对应的衣物ID识别的以最低程度掩盖身体的衣物采用校正值一的情况下，这样的程度越低，图像处理设备12预先设置的校正值就越接近一1。

例如，在衣物ID识别的衣物是紧贴身体的衣物，例如是T恤和内衣时，预先针对第四信息中的对应衣物ID设定校正值一或接近一的校正值。相反，在衣物ID识别的衣物是以较大程度掩盖身体的衣物时，例如，是较厚毛线衫或外套时，预先针对第四信息中的对应ID设定在大于等于零小于等于一的范围内更接近零的校正值(例如，0.3)。

用户可以通过在输入单元16上发出操作指令而酌情修改第四信息中包含的衣物ID和校正值。

重新参照图1，图像处理设备12是包括中央处理单元(CPU)、只读存储器(ROM)和随机存取存储器(RAM)的计算机。图像处理设备12可以包括除了CPU之外的任何其他电路。

图像处理设备12包括第一获取器22、第二获取器31、接收器24、标识符28、更新控制器43、判定器29、调整器30、提取器32、第一计算器33、第二计算器34、第三计算器36、确定器38、生成器和显示控制器42。

第一获取器22、第二获取器31、接收器24、识别器28、更新控制器43、判定器29、调整器30、存储控制器36、提取器32、第一计算器33、第二计算器34、第三计算器36、确定器38、生成器40和显示控制器42可以完全或者部分通过使诸如CPU的处理器运行计算机程序实现，即，被实现为软件、诸如集成电路(IC)的硬件或者软件和硬件的组合。

第一获取器22获取第一对象的对象图像。具体而言，第一获取器22通过从第一成像器14A捕获的对象图像提取人的区域而获取第一对象的对象图像。

显示控制器42将各种图像显示在显示器20上。

接收器24接收来自输入单元16的各种类型的信息。

在第一实施例中，接收器24从输入单元16接收有关要试穿的衣物的识别信息(衣物ID)和要试穿的衣物的衣物尺码。用户(例如)通过在输入单元16上发出操作指令而输入有关衣物的属性信息(衣物的形状、名称、销售商(例如，品牌名称)、颜色、材料和价格)以及衣物尺码。

接收器24分析接收自输入单元16的属性信息，并从存储在存储器18内的第一信息检索其属性信息与接收到的信息匹配的衣物ID。显示控制器42实施控制，以选择对应于接收器24检索到的一个或多个衣物ID中的每者的代表性衣物图像。换言之，由于在第一信息中衣物ID与多幅具有不同衣物尺码、不同体型参数和不同姿势信息的衣物图像相关联，因而接收器24针对每一衣物ID从第一信息读取与衣物尺码中的代表性尺码、第二体型参数集中的代表性参数集和姿势信息中的代表性姿势信息相关联的衣物图像作为代表所述衣物ID的衣物图像。之后，显示控制器42实施控制从而将衣物图像的列表显示到显示器20上。

可以预先设置接收器24检索的代表性衣物尺码、第二体型参数集和姿势信息。接收器24可以采用用户输入的并且经由输入单元16接收到的衣物尺码作为代表性衣物尺码。

一旦将所述衣物图像的列表显示到了显示器20上，用户就通过在输入单元16上发出操作指令而从显示器20上显示的衣物图像的列表中选择要试穿的衣物的衣物图像。之后，输入单元16将用户选择的衣物图像的衣物ID输出至图像处理设备12。用户也可以通过在输入单元16上发出操作指令而输入衣物尺码。

接收器24接收选定的衣物ID和从输入单元16输入的衣物尺码。通过这种方式，接收器24接收所要试穿的衣物的衣物ID和衣物尺码。

接收器24可以至少接收所要试穿的衣物的衣物ID而不接收所要试穿的衣物的尺码。换言之，用户可以只在输入单元16上输入衣物ID，而不输入衣物尺码。

第二获取器31获取表示第一对象的体型的第一体型参数。第一体型参数按照与第二体型参数相同的方式包括一个或多个参数。所述参数与所述第二体型参数中包含的那些相同。

第二获取器31经由接收器24获取用户通过在输入单元16上发出操作指令而输入的第一体型参数。

显示控制器42在显示器20上显示(例如)用于输入表示第一对象的体型的第一体型参数的输入屏幕。所述输入屏幕包括(例如)用于输入诸如胸围、腰围、臀围、身高、肩宽和体重的参数的字段。之后，用户在看着显示器20上显示的输入屏幕的同时操作输入单元16，由此将这些值输入到相应的参数字段。接收器24将接收自输入单元16的第一体型参数输出至第二获取器31。之后，第二获取器31从接收器24获取第一体型参数。

第二获取器31可以估算第一对象的第一体型参数。在第一实施例中解释的范例中，第二获取器31估算第一对象的第一体型参数。

第二获取器31包括第三获取器23、第四获取器26和估算器27。

第三获取器23获取第一对象的深度图。第三获取器23通过从接收自第二成像器14B的深度图提取人的区域而获取第一对象的深度图。

例如，第三获取器23通过向构成深度图的像素的每者所表示的三维位置的深度方向距离设定阈值而提取人的区域。这里，我们假设在第二成像器14B的坐标系中，例如，原点处于第二成像器14B的位置上，处于Z轴内的正向对应于从第二成形器14B处的原点朝向对象延伸的照相机光轴。借助这样的假设，从构成深度图的像素中排除深度方向(Z轴方向)坐标大于等于预定阈值(例如，指示两米的值)的像素。通过这种方式，第三获取器23获取第一对象的深度图，它是由人的区域的像素构成的深度图，该区域是表现在从第二成形器14B开始的两米以内的范围内的。

估算器27从第三获取器23获取的第一对象的深度图估算第一对象的第一体型参数。

估算器27将人体的三维模型数据应用于第一对象的深度图。之后，估算器27采用所述深度图以及应用于所述第一对象的三维模型数据计算每一第一体型参数(例如，身高、胸围、腰围、臀围、肩宽值)的值。通过这种方式，估算器27通过这种方式估算出第一对象的第一体型参数。

图7A和7B是用于解释第一体型参数的估算的示意图。图7A是人体的示范性三维模型数据的示意图。图7B是采用应用于第一对象的深度图的人体三维模型数据的模型图像54的示意图。模型图像54A是表示第一对象背面的三维模型的图像。模型图像54B是表示第一对象的侧面的三维模型的图像。

具体地，估算器27将人体的三维模型数据(三维多边形模型)应用于第一对象的深度图。之后，估算器27在应用于第一对象的深度图的人体三维模型数据中的对应于各自参数(例如，身高、胸围、腰围、臀围和肩宽)的区域的距离的基础上估算出测量值。具体地，估算器27在所应用的人体三维模型数据中的两个顶点之间的距离或者连接两个顶点的边线的长度的基础上估算诸如身高、胸围、腰围、臀围和肩宽的每一参数的值。文中的两个顶点是指在所应用的人体的三维模型数据中对应于所要计算的参数的区域的一端和另一端。可以按照相同的方式计算第二对象的第二体型参数的每者的值。

估算器27优选按照某种方式对由所述深度图估算出的第一体型参数中的每者进行校正，从而在通过接收器24接收的衣物ID识别的衣物对身体掩盖得越多的情况下使第一体型参数变得越小。

估算器27从存储器18内存储的第四信息读取对应于接收器24接收的衣物ID的校正值。之后，估算器27将由深度图估算出的第一体型参数的每者的值校正为所述参数与从第四信息读取的校正值的乘积。

例如，在成像器14捕获的第一对象的着装厚重时，估算器27由深度图估算出的第一体型参数的值可能指示不同于第一对象的实际体型的体型。为此优选对第一体型参数予以校正。

在第一实施例中，在假设第一对象现在实际正穿着对应于用户输入的用户所要试穿的衣物的衣物ID的衣物的情况下进行所述校正。在身体被掩盖得较少时采用校正值“1”，在身体被掩盖得较多时采用更接近零的校正值。通过应用上文所述的校正，估算器27能够估算出更加精确地表示第一对象的体型的第一参数。

可以将用于指示校正的指令按钮显示到显示器20上，在通过输入单元16发出操作指令的用户经由所述指令按钮给出执行校正的指令时，估算器27可以执行这样的校正。

重新参照图1，第四获取器26获取第一对象的重量。第四获取器26可以经由接收器24获取用户输入的重量，或者从重量测量器19获取第一对象的重量。

第二获取器31可以不包括第四获取器26。在这样的配置当中，第二获取器31获取包括除了重量以外的参数的第一体型参数。在第二获取器31包括第四获取器26时，第二获取器31获取第四获取器26获取的重量和估算器27估算的参数作为第一体型参数。

提取器32生成有关第一对象的骨骼信息。

具体而言，一开始，由提取器32针对构成第一对象的深度图的像素中的每者生成指示人体的骨骼位置的第一骨骼信息，所述深度图是由第三获取器23获取的。提取器32是通过向所述深度图施加人体的形状而生成所述第一骨骼信息的。

之后，提取器32将所生成的第一骨骼信息的像素的坐标系(即第二成像器14B的坐标系)转换成第一获取器22获取的对象图像的像素的坐标系(即第一成像器14A的坐标系)。换言之，提取器32将由第二成像器14B捕获的对象的深度图计算出的第一骨骼信息的像素的坐标系转换成第一成像器14A按照与深度图相同的定时获取到的对象图像的坐标系。通过执行已知的校准实现这一坐标变换。通过这种方式，提取器32生成被施加了所述坐标变换的第一骨骼信息作为骨骼信息。

第一计算器33计算有关第一对象的姿势信息。第一计算器33由提取器32生成的有关第一对象的骨骼信息计算有关第一对象的姿势信息。

第一计算器33由(例如)第一对象的骨骼信息中表现的关节的位置计算第一对象的取向。

图8是用于解释第一对象的姿势信息的计算的示意图。

Psl表示在第一成像器14A的坐标系中对应于提取器32计算出的第一对象的骨骼信息中所表示的第一对象的左肩的像素的坐标(参考图8中的像素位置724)。Psr表示在第一成像器14A的坐标系中对应于提取器32计算出的第一对象的骨骼信息中所表示的第一对象的右肩的像素的坐标(参考图8中的像素位置723)。

提取器32由这些坐标信息计算通过方程(1)计算第一对象相对于第一成像器14A的取向。

第一对象的取向＝arctan(Psl.z-Psr.z/Psl.x-Psr.x)     (1)

在方程(1)中，Psl.z表示对应于第一对象的左肩的像素的Z坐标。Psr.z表示对应于第一对象的右肩的像素的Z坐标。在方程(1)中，Psl.x表示对应于第一对象的左肩的像素的x坐标。Psr.x表示对应于第一对象的右肩的像素的x坐标。

通过这种方式，第一计算器33计算第一对象的取向作为姿势信息。

重新参照图1，识别器28从第一信息中的与所接收到的衣物ID相关联的多幅衣物图像中识别出所要输出的衣物图像。所要输出的衣物图像是指要输出至显示器20或其他外部装置的图像。在要将衣物图像输出至显示器20时，输出是指要进行显示。

具体而言，识别器28从第一信息中的与所接收到的衣物ID相关联的衣物图像中识别出与第二体型参数相关联的并且与第二获取器31获取到的第一体型参数的非相似度小于等于阈值的衣物图像。所述非相似度指示第一体型参数与第二体型参数不相似的程度。非相似度越低表示第一体型参数与第二体型参数越相似，非相似度越高表示第一体型参数与第二体型参数越不相似。

识别器28首先计算在存储于存储器18内的第一信息当中与接收器24接收到的衣物ID相关联的第二体型参数中的每者与第二获取器31获取的第一体型参数的非相似度。

在第一实施例中，识别器28采用第一体型参数和第二体型参数之间的差异作为非相似度。

之后，识别器28采用(例如)L1规范或L2规范计算第一体型参数和第二体型参数之间的差异。

在采用L1规范时，识别器28计算第二获取器31获取的第一体型参数的值和与接收器24接收到的衣物ID相关联的第一体型参数的值之间的差(下文称为第一差)。因而，识别器28计算各第一体型参数和第二体型参数之间的第一差的绝对值之和作为第一体型参数和第二体型参数之间的差(非相似度)。

具体而言，在采用L1规范时，识别器28采用下面的方程(2)计算非相似度。方程(2)假设第一体型参数和第二体型参数包括身高、胸围、腰围、臀围、肩宽和体重。

非相似度＝|A1-A2|+|B1-B2|+|C1-C2|+|D1-D2|+|E1-E2|+|F1-F2|           (2)

在方程(2)中，A1表示第一体型参数表示的第一对象的身高，A2表示第二体型参数表示的身高。B1表示第一体型参数表示的第一对象的胸围，B2表示第二体型参数表示的胸围。C1表示第一体型参数表示的第一对象的腰围，C2表示第二体型参数表示的腰围。D1表示第一体型参数表示的第一对象的臀围，D2表示第二体型参数表示的臀围。E1表示第一体型参数表示的第一对象的肩宽，E2表示第二体型参数表示的肩宽。F1表示第一体型参数表示的第一对象的体重，F2表示第二体型参数表示的体重。

在采用L2规范时，识别器28计算各第一体型参数与第二体型参数之间的各第一差的值的平方和作为第一体型参数与第二体型参数之间的差(非相似度)。

具体而言，在采用L2规范时，识别器28采用下面的方程(3)计算非相似度。方程(2)假设第一体型参数和第二体型参数包括身高、胸围、腰围、臀围、肩宽和体重。在方程(3)中，A1、A2、B1、B2、C1、C2、D1、D2、E1、E2、F1和F2表示的含义与方程(3)中相同。

非相似度＝|A1-A2|²+|B1-B2|²+|C1-C2^|2+|D1-D2|²+|E1-E2|²+|F1-F2|²       (3)

在计算出非相似度(第一实施例中的差)之后，识别器28可以执行下述过程。

具体而言，识别器28可以向所述差应用转换函数，从而在第二体型参数的值减去对应的第一体型参数的值的结果大于零时提高第二体型参数的每者的加权值，这种情况与所述减法结果小于零时的情况形成了对照。

借助这一处理，图像处理设备12能够在显示第一对象的对象图像和衣物图像的合成图像时避免将衣物图像显示为具有比第一对象大的尺寸。

在计算所述差之前，识别器28可以采用在第二信息中指定的对应加权值转换第一体型参数和第二体型参数的值。在这种情况下，识别器28从第二信息读取对应于接收器24接收到的衣物ID的各自参数的加权值(参考图5)。在计算所述差之前，识别器28使针对所述参数的每者读取的加权值与对应的第一体型参数和对应的第二体型参数相乘。之后，识别器28在非相似度的计算当中采用对应于所述参数中的每者的该乘法的结果作为参数值。

如前面提到的，加权值指示穿着第二信息中的衣物ID识别的衣物的对象的外观受影响的程度。因此，通过允许识别器28在考虑所述加权值的情况下计算非相似度，识别器28能够识别出更加切近地匹配第一对象的体型的衣物图像。

识别器28可以计算所述参数中的每者的加权值。此时，识别器28可以采用计算出的加权值替代第二信息中指定的加权值。

在这种情况下，识别器28在第一计算器33计算出的第一对象的姿势信息的基础上计算对应于所述参数中的每者的加权值。

具体而言，让我们假设识别器28判断第一计算器33计算出的第一对象的姿势信息指示第一对象正在面向前方(相对于第一成像器14A而言的正面)。在这种情况下，相对于其他参数的设定加权值而言，识别器28为肩宽和身高设置更高的加权值。由于第一对象的体重是从重量测量器19或输入单元16接收的，因而相对于其他参数的设定加权值而言，识别器28为体重以及肩宽和身高设定更高的加权值。

这是因为，与从正面以外的方向捕获图像时相比，在由从正面直接捕获的第一对象的图像建立深度图时，能够更加精确地估算出第一对象的肩宽和高度。通过允许识别器28计算这些参数中的每者的加权值，能够更加精确地计算非相似度(第一实施例中的差)。

所述识别器28也可以采用第一体型参数和第二体型参数中一些参数计算非相似度。

具体而言，识别器28由第三信息从对应于接收器24接收到的衣物ID的衣物类型的第一和第二体型参数中的那些参数(参考图6)当中读取用于非相似度计算的参数。识别器28能够从第一信息读取对应于衣物ID的衣物类型。在第三信息为每一衣物ID设定非相似度计算中采用的参数时，识别器28可以由第三信息读取对应于接收器24接收到的衣物ID的参数作为非相似度计算中采用的参数。

之后，识别器28可以采用第一体型参数和第二体型参数当中由第三信息读取的用于非相似度计算的参数执行非相似度计算。

在第一体型参数的类型不同于第二体型参数的类型时，识别器28可以采用第一和第二体型参数中共有的参数执行非相似度计算。

通过上文所述的过程，识别器28计算第一信息中的与接收到的衣物ID相关联的第二体型参数中的每者与第一体型参数的非相似度。

之后，识别器28识别计算出的非相似度小于等于阈值的第二体型参数。换言之，识别器28识别第一信息中与接收到的衣物ID相关联的第二体型参数中的与对应的第一体型参数相似的第二体型参数。

如前文所述，非相似度指示第一体型参数和对应的第二体型参数彼此不相似的程度。第一体型参数和第二体型参数之间的非相似度越低表示第一体型参数和第二体型参数之间相似性越高。

因此，识别器28识别所计算出的非相似度小于等于阈值的第二体型参数。可以预先建立非相似度的阈值。例如，在输入单元16上发出操作指令的用户可以酌情对非相似度的阈值加以修改。

之后，识别器识别与非相似度小于等于阈值的第二体型参数相关联的衣物图像。

图9是用于解释识别器28执行的衣物图像识别的示意图。在图9中，作为范例，分别将第一体型参数和第二体型参数中的三个参数类型表示为X轴、Y轴和Z轴。文中假设第一体型参数是由第二获取器31获取的，第二体型参数S1到S3与接收器24接收到的衣物ID相关联。还假设，与第一体型参数S的非相似度小于等于阈值的第二体型参数是第二体型参数S1到S3中与第一体型参数S相隔最小距离的第二体型参数S1。之后识别器28选择第二体型参数S1。

之后，识别器28从分别与第二体型参数S1到S3相关联的衣物图像61A1到61A3当中确定对应于选定的第二体型参数S1的衣物图像A1作为所要输出的衣物图像。

在识别器28发现与非相似度小于等于阈值的第二体型参数相关联的多幅衣物图像时，识别器28输出非相似度最低的衣物图像作为所要输出的衣物图像。

识别器28可以在考虑接收器24从输入单元16接收的衣物尺码的情况下识别衣物图像。在这种情况下，识别器28在第一信息中的与接收器24接收到的衣物ID和衣物尺码相关联的衣物图像当中识别出与非相似度小于等于阈值的第二体型参数相关联的衣物图像。

在识别器28发现与非相似度小于等于阈值的第二体型参数相关联的多幅衣物图像时，识别器28可以通过下文描述的模板匹配过程识别出所述衣物图像之一。在第一实施例中，在将衣物图像与对象图像合成之前，采用衣物图像的特征区域(例如，肩部区域)和第一对象的深度图的特征区域执行模板匹配，下文将描述所述模板匹配的细节。此时，可以将识别器28识别出的其肩部区域表现出与深度图的肩部区域具有最高的匹配度的衣物图像之一识别为要输出的衣物图像。

识别器28可以在考虑第一对象的姿势信息的情况下识别衣物图像。

在做出这样的考虑时，识别器28可以在第一图像中的与接收器24接收到的衣物ID相关联的那些衣物图像中识别出与非相似度小于等于阈值的第二体型参数相关联并且对应于第一计算器33计算出的姿势信息的衣物图像。

图10是用于解释姿势信息的示意图。

这里，我们假设(例如)在第一信息中预先寄存了多幅衣物图像(61A0、61A20、61A40)作为对应于第二体型参数的衣物图像。衣物图像61A0、61A20和61A40所对应的各条姿势信息包括“正面”，即相对于提供至外壳51的第一成像器14A的正面、作为从所述正面向右旋转20度的取向的“+20度”以及作为从所述正面向右旋转40度的取向的“+40度”。

假设第一计算器33计算的姿势信息是“正面”，那么识别器28从衣物图像61A(61A0、61A20、61A40)中选择在第一信息中对应于第一计算器33计算出的姿势信息和接收器24接收到的衣物ID的衣物图像(例如，衣物图像61A0)，因为衣物图像61A0与作为第一对象的取向的“正面”相关联并且与第一信息中的非相似度小于等于阈值的第二体型参数相关联。

识别器28可以通过递逐步收窄衣物图像的范围而进行衣物图像识别。

在这样的配置当中，识别器28计算第一体型参数之一与对应的第二体型参数的非相似度，并识别出非相似度小于等于阈值的多个第二体型参数。识别器28再次计算在前一识别中未使用的另一对参数的非相似度，并在先前未识别的第二体型参数中识别出非相似度小于等于阈值的第二体型参数。识别器28在改变参数的同时重复这一过程，直到将第二体型参数的范围收窄到预定数量为止。通过这种方式，识别器28可以逐步地识别出所要输出的衣物图像。

在对所要输出的衣物图像进行逐步识别时，识别器可以在所述步骤的每者中采用一个或多个参数。

在对所要输出的衣物图像进行逐步识别时，识别器28可以依次采用具有较高加权值的参数(参考图5)逐步地识别所要输出的衣物图像。

可以将在所述步骤的每者当中要采用的参数的类型预先存储到存储器18中。换言之，存储器18可以在其内存储按照与参数类型相关联的方式指示步骤的信息。在这种情况下，识别器28从存储器18读取在对应的步骤中采用的类型的参数，并采用对应的参数逐步地识别衣物图像。

当识别器28在所述步骤的每者中或者最后识别出多幅衣物图像时，识别器28可以选择用户指定的所述衣物图像之一作为所要输出的衣物图像。

现在假设(例如)识别器28在所述步骤的每者当中或者最后识别出了多幅衣物图像。那么显示控制器42将所识别出的衣物图像的列表显示到显示器20上。之后，用户在看着显示器20上显示的衣物图像的列表的同时通过在输入单元16上发出指令而选择所述衣物图像之一作为要输出的衣物图像。之后，接收器24从输入单元16接收选择所要输出的衣物图像的指令。之后，识别器28能够在显示器20上显示的那些衣物图像当中选择借助于接收器24接收到的选择指令而指定的衣物图像作为所要输出的衣物图像。

可以在如下文所述将识别器28识别出的一幅或多幅衣物图像合成到对象图像之前将所述一幅或多幅衣物图像显示到显示器20上。在这样的配置中，在识别器28逐步地或者最后识别出一幅或多幅衣物图像时，显示控制器42将所识别出的一幅或多幅图像显示到显示器20上。

在将衣物图像合成到对象图像上之前将其显示到显示器20上具有下述优点。

图像处理设备12能够在将衣物图像合成至对象图像之前在显示器20上显示第一对象指定要试穿的衣物，该衣物是由体型与第一对象的匹配或类似的第二对象穿着的。

在接收器24从输入单元16接收到所要试穿的衣物的衣物ID以及衣物尺码时，图像处理设备12能够在将衣物图像合成到对象图像之前在显示器上显示第一对象指定要试穿的衣物，该衣物是由体型与第一对象匹配或类似的第二对象穿着的。

因此，图像处理设备能够基于第一对象的体型呈现所要试穿的衣物的图像。

生成器40生成对象图像和识别器28识别的衣物图像的合成图像。

图11是用于解释合成图像W的示意图。生成器40生成将识别器28识别出的衣物图像61叠加到第一对象P上的合成图像W。所识别出的衣物图像61A是表现体型与第一对象匹配或类似的第二对象穿着与接收器24接收到的衣物ID相关联的衣物的衣物图像。因此，生成器40能够在第一对象的体型的基础上生成表现所要试穿的衣物的图像的合成图像W。

在第一实施例中，生成器40执行更加详细的过程(下文将说明细节)。

重新参照图1，更新控制器43寄存并更新第一信息。

图12是用于解释第一信息的寄存和更新的示意图。

首先，针对衣物ID识别出的每件衣物准备各种衣物尺码的衣物。之后，将每种衣物尺码的衣物穿到多个具有不同体型的第二对象上。例如，如图12中的部分(A)所示，准备穿着衣物61的诸如服装模特的第二对象60。类似地，将其余的不同衣物尺码的衣物61的每者穿到具有不同体型的第二对象60上。

通过采用与成像器14类似的装置捕获穿着每种衣物尺码的衣物61的不同体型的第二对象60的图像而获取各第二对象的对象图像和对应的深度图。之后，更新控制器43通过从每幅对象图像中切割出衣物区域而提取出衣物图像。具体而言，更新控制器43设定表示衣物区域的掩码(mask)。更新控制器43获取表现穿着每种衣物尺码的衣物的不同体型的第二对象的多幅衣物图像61A(参考图12中的部分(B))。

之后，更新控制器43按照与第二获取器31相同的方式从对应的深度图获取表现第二对象60的体型的第二体型参数(参考图12中的部分(D))。更新控制器43还按照与估算器27相同的方式采用穿着显露第二对象的身体曲线的衣物(例如，内衣)的第二对象的深度图估算每一第二对象的第二体型参数。更新控制器43可以按照与第四估算器27相同的方式采用存储在第四信息中的与衣物ID相关联的校正值校正由深度图估算出的第二体型参数。更新控制器43还通过输入单元16的用户操作获取表示对应的第二对象60的体型的第二体型参数。

更新控制器43按照与提取器32相同的方式计算第二对象60的骨骼信息61B，按照与第一计算器33相同的方式计算第二对象60的姿势信息(参考图12的部分(C))。

每当捕获穿着每一尺码的衣物61的具有不同体型的第二对象60之一的图像时，更新控制器43就执行上文解释的计算和提取，并使衣物尺码、计算出的第二体型参数、所计算出的第二对象的模型ID、所计算出的姿势信息和所提取的衣物图像与衣物ID相关联。通过这一过程，更新控制器43寄存并更新第一信息。当用户通过在输入单元16上发出操作指令而输入衣物类型或属性信息时，更新控制器43接收到输入，并使所述信息与对应的衣物ID相关联。

重新参照图1，调整器30放大或缩小衣物图像和对象图像的至少其中之一的尺寸，从而使识别器28识别的所要输出的衣物图像的轮廓线的至少部分与对象图像中的第一对象的轮廓线的至少部分匹配。调整器30还从放大或缩小的衣物图像和对象图像中提取将由下文所述的第二计算器34采用的特征区域。

之后，调整器30将第三获取器23获取的第一对象的深度图的坐标系(即，第二成像器14B的坐标系)转换成第一获取器22获取的第一对象的对象图像的坐标系(即，第一成像器14A的坐标系)。之后，调整器30将施加了所述坐标变换的第一对象的深度图的分辨率调整至按照相同的定时捕获的第一对象的对象图像的分辨率，其方式是将所述深度图中的每一像素位置的像素投影到对象图像中的对应像素上。

例如，在第二成像器14B获取的深度图的分辨率为640×480像素，第一成像器14A捕获的对象图像的分辨率为1080×1920像素时，将构成深度图的每一像素投影到对象图像上以作为具有1×1像素的尺寸的点将导致构成深度图的像素之间的空隙。因此，调整器30应用高斯滤波器或者根据需要采用诸如形态操作的已知操作的滤波器进行分辨率调整，从而使投影到对象图像上的构成深度图的像素之间不形成任何空隙。

之后，调整器30计算识别器28识别的所要输出的衣物图像中的特征区域的尺寸。

所述特征区域是能够实现对要试穿衣物的第一对象的形状的估算的区域。特征区域的例子包括对应于肩部的肩部区域、对应于臀部的臀部区域以及对应于人体的双脚的长度的双脚区域，但是特征区域不限于此。在对第一实施例的说明当中采用了特征区域是对应于人体的肩部的肩部区域的例子，但是特征区域不限于肩部区域。

例如，调整器30计算识别器28识别的所要输出的衣物图像的肩宽作为衣物图像的特征区域的尺寸。

图13A和13B是用于解释调整器30执行的衣物图像中的特征区域的尺寸的计算的示意图。

在衣物图像中的关节当中，调整器30从识别器28识别的所要输出的衣物图像中包含的并且对应于所述衣物图像的骨骼信息当中获取对应于左肩的像素的Y坐标以及对应于右肩的像素的Y坐标。之后，调整器30由这些Y坐标获取平均Y坐标。之后，调整器30通过沿获取到的Y坐标的位置(高度)从对应于左肩的像素的X坐标向衣物外的区域执行检索而寻找指示左肩一侧衣物的边界的位置的X坐标。调整器30还通过沿获取到的Y坐标的位置(高度)从对应于右肩的像素的X坐标向衣物外的区域执行检索而寻找指示右肩一侧衣物的边界的位置的X坐标。

之后，调整器30能够通过计算这两个X坐标之间的差而计算出衣物图像的肩宽(像素的数量)(参考图13A中的衣物图像61A中的肩宽Sc)。

调整器30可以不计算在某一Y坐标上对应于肩关节的肩宽，而是可以按照下文所述的方式计算肩宽。调整器30可以确保得到以所述肩关节的Y坐标为中心的上下一定范围的Y坐标，沿多条水平线执行检索，并计算出水平方向内每一侧的X坐标的平均值，从而允许由所述X坐标计算出肩宽。

之后，调整器30采用其分辨率被调整至了对象图像的分辨率的第一对象深度图以及第一对象的骨骼信息计算出对象图像中的肩宽。

调整器30计算第一对象的深度图中对应于左肩的像素的Y坐标和对应于右肩的像素的Y坐标之间的平均Y坐标，如图13B所示。之后，调整器30通过从对应于左肩的像素的X坐标向对象外的区域执行检索而寻找指示对象区域的一个边界的位置的X坐标。

之后，调整器30通过在第一对象的深度图中从对应于右肩的像素的X坐标朝对象外的区域执行检索而寻找另一个指示对象区域的另一边界的位置的X坐标。

之后，调整器30通过计算这些计算出的X坐标之间的差而计算出对象图像中的第一对象的肩宽(像素数量)(参考图13B中的第一对象的深度图71A中的肩宽Sh)。

调整器30可以不计算在某一Y坐标上对应于肩关节的肩宽，而是可以按照下文所述的方式计算肩宽。调整器30可以确保得到以所述肩关节的Y坐标为中心的上下一定范围的Y坐标，沿多条水平线执行检索，并计算出水平方向内每一侧的X坐标的平均值，从而由所述X坐标计算出肩宽。

之后，调整器30采用所计算出的特征区域的尺寸，即，衣物图像的肩宽Sc和对象图像的肩宽Sh确定衣物图像的缩放比(放大和缩小比)。

具体而言，调整器计算对象图像的肩宽Sh除以衣物图像的肩宽Sc得到的商(Sh/Sc)作为缩放比。可以采用诸如衣物的实际尺寸的数值以及对应于衣物图像区域的宽度或高度的像素数量通过不同的操作计算所述缩放比。

之后，调整器30根据所述缩放比确定的放大和缩小比对所要输出的衣物图像的尺寸进行放大或缩小。类似地，调整器30还根据由同一缩放比(Sh/Sc)确定的放大和缩小比对所要输出的衣物图像的姿势信息中包含的骨骼信息的尺寸进行放大或缩小。

之后，调整器30从识别器28识别的衣物图像和对象图像的每者当中提取将由下文所述的第二计算器34采用的特征区域，其中，两种图像都经过了图像的放大或缩小。

所述特征区域是使所识别出的衣物图像和所述对象图像的每者当中的第一对象的形状能够得以估算的区域。所述特征区域的例子包括表示人体的肩部、臀部等部位的区域。将在下面的第一实施例中解释这样一个例子，其中，调整器30从衣物图像和对象图像的轮廓线的每者当中提取对应于人体的肩部的区域(肩部区域)作为特征区域。

首先，调整器30从应用了坐标变换并且调整了分辨率的第一对象深度图中提取轮廓线。调整器30从按照与对象图像相同的标度受到了尺寸放大或缩小的衣物图像当中提取轮廓线。采用已知方法提取轮廓线。之后，调整器30从这些轮廓线的每者当中提取对应于人体的肩部的区域(肩部区域)的轮廓线作为特征区域。

调整器30优选在衣物图像的形状的基础上提取轮廓线。

图14是说明示范性轮廓线提取的示意图。

假设所识别出的尺寸经过了放大或缩小的衣物图像61A在人体的正面具有垂直延展的开口，如图14中的部分(A)所示。这样的衣物图像包括跨越人体的中央相对延伸的轮廓线，如图14中的部分(B)所示。如果下文所述的第二计算器34在模板匹配(下文将详细描述)中采用这样的轮廓线，那么对应于人体中央的区域的匹配准确度可能下降。

为了解决这一问题，在所要输出的衣物图像61A在人体的正面具有垂直延展的开口时，调整器30从图14中的部分(B)所示的轮廓线中去除跨越对应于人体的中央的区域相对延伸的轮廓线，从而仅提取遵循人体的外部形状的轮廓线61C作为衣物图像的轮廓线(图14中的部分(D))。

在图像处理设备12中，在更新控制器43将衣物图像寄存到第一信息时，更新控制器43还预先将已经试穿过所述衣物图像的衣物的第二对象的深度图存储到存储于存储器18内的第一信息当中。所述第二对象的深度图是按照与衣物图像相关联的方式存储的。调整器30采用图像滤波，例如，采用借助于形态操作的图像滤波从深度图去除内部区域的相对于轮廓线连续的部分。调整器30由此准备了去掉这样的区域的深度图71C(参考图14中的部分(C))。之后，调整器30去除图14的部分(B)中所示的轮廓线61B的与深度图71C(参考图14中的部分(C))重叠的部分。调整器30由此提取出了遵循人体的外部形状的部分的轮廓线61C作为所要输出的衣物图像的轮廓线(图14中的部分(D))。

之后，调整器30从所要输出的衣物图像和对象图像(深度图)的每者提取对应于人体的肩部的肩部区域作为特征区域。

有一些情况下调整器30难以从衣物图像提取遵循人体的外部形状的形状(例如，肩部的轮廓线)，例如，通过所要输出的衣物图像识别的衣物是紧身短背心或露上身装。对于这样的情况而言，可以将穿着所述衣物的第二对象的深度图预先存储到存储器18内，并且调整器30可以由第二对象的肩部部分计算出肩部区域的轮廓线。

现在将继续参考图1的描述。

第二计算器34计算衣物图像相对于对象图像的第一位置，所述第一位置是所要输出的衣物图像中的特征区域与第一获取器22获取的对象图像中的特征区域的位置匹配的位置。

如果下文所述的判定器29判定第一获取器22获取的对象图像满足预定第一条件，那么第二计算器34计算所述第一位置。下文将详细描述判定器29执行的判定过程和判定条件。

第二计算器34采用所要输出的衣物图像的特征区域作为模板向对象图像的特征区域应用已知的模板匹配，由此检索对象图像(深度图)中的第一位置。之后，第二计算器34计算所要输出的衣物图像的具体区域(第一实施例中的肩部区域)与对象图像(深度图)中的同一区域匹配的位置作为第一位置。

将第一位置表示为对象图像中的坐标。具体而言，在使对象图像的特征区域与所要输出的衣物图像的特征区域位置匹配时，将所述第一位置指定为对象图像中的所述特征区域的中心。在第一实施例中，第二计算器34计算对象图像中的特征区域(肩部区域)的中心作为所述第一位置。

第三计算器36计算所要输出的衣物图像在对象图像中的第二位置。所述第二位置是所要输出的衣物图像的特征区域中的预定特征点与对象图像中的特征点匹配的位置。

第二计算器34如前所述通过采用特征区域执行模板匹配计算出第一位置，而第三计算器36则基于所述特征点的位置计算所述第二位置。因此，第二计算器34能够比第三计算器36更加准确地计算出第一位置。第三计算器36计算出的第二位置的准确度低于第二计算器34实现的准确度，但是第三计算器36执行的第二位置计算的负荷低于第二计算器34的计算负荷。

所述特征点是使要试穿衣物的第一对象的体型能够得以估算的位置。所述特征点是参照特征区域预先设定的。例如，将特征点设置为第二计算器34采用的特征区域的中心处的点。通过这种方式参照第二计算器34采用的特征区域设置特征点。通过对应图像中的位置坐标表示所述特征点。

由于在第一实施例中第二计算器34采用肩部区域作为特征区域，因而在下文所述的例子中，第三计算器36将人体两肩之间的中央设定为特征点。

图15是说明第三计算器36执行的示范性第二位置计算的示意图。

例如，第三计算器36由图15的部分(A)所示的所要输出的衣物图像61A的骨骼信息81A计算两肩之间的中心位置Q1。第三计算器36还由图15的部分(B)所示的对象图像71A的骨骼信息81B计算两肩之间的中心位置Q2。之后，第三计算器36计算对象图像71A中的衣物图像61A的第二位置，这些图像是通过使所要输出的衣物图像61A中的两肩中央位置Q1与对象图像71A中的两肩中央位置Q2匹配的方式匹配的。在第一实施例中，第三计算器36计算对象图像71A的两肩的中央位置Q2作为第二位置。

重新参照图1，判定器29判断第一获取器22获取的对象图像是否满足预先指定的第一条件。

所述第一条件是用于判断是否要由第二计算器34执行第一位置的计算过程的条件。换言之，在判定器29判断第一获取器22获取的对象图像满足第一条件时，第二计算器34计算第一位置。不管判定器29是否判定第一获取器22获取的对象图像满足第一条件，第三计算器36都计算所述第二位置。

下文提供了第一条件的例子。可以将这些条件中的任何一者或多者设定为第一条件。

示范性的第一条件是是否采用另一第一对象代替处于成像器14捕获的区域内的第一对象。

就这样的条件而言，判定器29首先在第三获取器23获取的深度图中的第一对象的关节的坐标的基础上判断在距显示器20预定距离的区域内是否存在任何人。如果判定器29判断在某一时间捕获的对象图像内发现了作为第一对象的人，接下来判定器29判断在随后的某一时间上捕获的对象图像中未再发现作为第一对象的人，尔后判定器29又判定在之后的某一时间上获取的对象图像中又发现了作为第一对象的人，那么判定器29判定成像器14捕获的区域内的那个人被另一个人替代了。通过这一过程，判定器29判断所获取到的对象图像满足判定器29预先设定的第一条件。

在处于显示器20前面并且要试穿衣物的第一对象发生了替代时，例如，优选重新计算所述第一位置和第二位置。因此，通过将成像器14捕获的区域内的人是否被替代设定为判定器29的判定条件，能够更加准确地判断下文描述的叠加位置。

如果计算所述第一位置的对象图像是在位于显示器20前面的人处于移动当中的时候捕获的，那么所得到的计算可能不太准确。因此，如果所述对象图像是在从成像器14捕获的区域内的人被另一个人代替并且检测到所述的另一个人不动开始经过了预定时间之后获取的，则优选通过判定器29判断对象图像是否满足第一条件。

可以采用已知的图像处理技术检测人是处于移动当中还是不动。

另一个作为范例的第一条件是在输入单元16商发出操作指令的用户是否指示不同于当前显示的合成图像中包含的衣物的另一衣物的衣物ID作为所要试穿的衣物的衣物ID。

就这样的条件而言，判定器29判断第一获取器22获取的对象图像是否是在通过输入单元16发出操作指令的用户指示了新的衣物ID之后立即获取的。如果是，那么判定器29判断所获取的对象图像是否满足第一条件。

如果计算第一位置的对象图像是在要试穿衣物的第一对象正在显示器20前面移动从而在输入单元16上发出操作指令的时候捕获的，那么所得到的计算将变得不太准确。因此，判定器29优选针对在从判断用户在输入单元16上执行了操作指令并且检测到该人不动的时候开始经过了预定时间之后获取的对象图像判断所述对象图像是否满足第一条件。

另一个示范性的第一条件是所述对象图像是否是第一获取器22在从判定器29先前判定要由另一对象图像计算第一位置的时候开始获取了预定数量的对象图像之后获取的。

就这样的条件而言，判定器29判断所述对象图像是否是由第一获取器22在从第一获取器22获取了先前被判定为计算第一位置的对象图像的对象图像的时候开始获取了预定数量的对象图像之后获取的。如果是，那么判定器29判断所获取的对象图像是否满足第一条件。

所述预定数量可以是15(在所述图像是活动图像时，15帧)，但是所述数量不限于15。在第二计算器34的处理负荷高时或者在第一对象的移动量大时，可以将所述预定数量设置得较大。也可以对这些用于设置所述预定数量的条件进行合并。

判定器29可以判断第一获取器22获取的对象图像是否是在从第一获取器22获取前一被确定为计算第一位置的对象图像的对象图像的时候开始经过了预定时间之后获取的对象图像。如果是，那么判定器29判断所获取的对象图像是否满足第一条件。

而且对于这样的条件，判定器29可以在第一对象的移动量和第二计算器34的处理负荷的基础上确定所经过的时间的长度。

另一个示范性的第一条件是所要输出的衣物图像的姿势信息是否与第一对象的姿势信息匹配。

就这样的条件而言，判定器29判断提取器32由第一获取器22获取的对象图像创建的骨骼信息是否与所要输出的衣物图像的姿势信息中所包含的并且存储在存储器18内的骨骼信息匹配。如果这些骨骼信息匹配，那么判定器29判断所获取的对象图像是否满足第一条件。

如果第一对象的姿势与所要输出的衣物图像的姿势不匹配，那么第二计算器34有时难以以充分的准确性执行模板匹配。

因此，判定器29优选在所要输出的衣物图像的姿势信息与第一对象的姿势匹配时判定所获取的对象图像满足所述第一条件。

另一个示范性第一条件是第一对象的移动量是否小于等于预定量。

就这样的条件而言，判定器29由第三获取器23获取的深度图中的第一对象的关节的坐标找到对象图像中的第一对象的位置。之后，判定器29通过将先前获取的深度图中的第一对象的位置与这一次获取的深度图中的第一对象的位置进行比较而计算出第一对象的移动量。如果判定器29判断第一对象的这一移动量小于等于预定量，那么判定器29判断获取到的对象图像满足第一条件。

另一示范性第一条件是所获取到的对象图像中包含的第一对象是否使其手臂向下。

就这样的条件而言，判定器29在第三获取器23获取的深度图中的第一对象的关节的坐标的基础上判断对应于第一对象的手臂的位置是否朝低于第一对象的肩的位置(朝脚)延伸。如果所获取的深度图中的第一对象使其手臂向下，那么判定器29判断所获取的对象图像满足预定的第一条件。

如果第一对象处于使其手臂向上的姿势，那么有关第一对象的姿势信息很可能不同于所要输出的衣物图像的相关联姿势信息。如果第二计算器34执行与包含具有这样的姿势的第一对象的对象图像的模板匹配，那么所得到的模板匹配可能变得不太准确。因此判定器29优选在对象图像中的第一对象使其手臂向下时判断所获取的对象图像满足预定的第一条件。

现在将说明确定器38。

在判定器29判断第一获取器22获取的对象图像满足第一条件时，确定器38决定以第二计算器34计算的所述第一位置为将所要输出的衣物图像叠加到对象图像上的位置。

如果判定器29判定第一获取器22获取的对象图像不满足第一条件，那么确定器38基于第一位置和第二位置的差决定叠加位置，所述第一位置是由在这次获取的对象图像之前获取的对象图像计算出的，所述第二位置是第三计算器36由该前一对象图像计算出的。

具体而言，如果判定器29判定第一获取器22获取的对象图像不满足第一条件，那么确定器38通过使第三计算器36由对象图像计算出的第二位置偏移以所述差为基础的距离而确定叠加位置。

换言之，如果在这次获取的对象图像之前由第一获取器22获取的对象图像满足第一条件，那么采用第二计算器34由前一对象图像计算出的第一位置和第三计算器36由该前一对象图像计算出的第二位置之间的差作为所述差。

生成器40通过在确定器38确定的叠加位置上将所识别出的所要输出的衣物图像叠加到这次获取的对象图像上而生成合成图像。

具体而言，生成器40使所要输出的衣物图像在所述叠加位置上叠加到第一获取器22获取的对象图像上。通过这种方式，生成器40生成了合成图像。

具体而言，生成器40参考针对构成识别器28所识别的并受到调整器30调整的衣物图像的像素的每者所钉的色值(Cr、Cg、Cb)和α值(a)。Α值是大于等于零小于等于一的值。生成器40还参考构成第一对象的对象图像的对应像素的色值(Ir、Ig、Ib)。之后，生成器40通过借助于下面的方程(4)确定对应位置上的像素的像素值(色值和α值)而生成合成图像。

在衣物图像仅占据第一对象的整个对象图像的部分时，通过向衣物图像外面的区域设置α值“零”(a＝0)而执行下述计算。

Ox＝(1-a)×Ix+a×Cx            (4)

在方程(4)中，x表示r、g或b。

或者，图像处理设备12可以不包括第二计算器34、第三计算器36和确定器38。

在没有这些单元的情况下，例如，在接收器24接收到来自输入单元16的衣物ID时，显示控制器42将与接收到的衣物ID所识别出的衣物的各种衣物尺码中的预定尺码、第二体型参数中的预定第二体型参数和姿势信息中的预定姿势信息(例如，“正面”)相关联的衣物图像的轮廓线显示到显示器20上。之后，第一对象通过在看着显示器20的同时使其身体与所显示的轮廓线匹配的方式移动其身体的位置。当在第一对象的身体与所述轮廓线匹配的同时通过输入单元16接收到指示开始捕获图像的信号时，执行下文所述并且如图16所示的过程。

生成器40还可以在执行合成过程之前将所识别出的所要输出的衣物图像的轮廓线显示到显示器20上。第一对象在看着显示器20上显示的轮廓线的同时调整其身体，从而使其位置和姿势与所述轮廓线匹配，并通过输入单元16输入显示指令。一旦接收器24接收到了显示指令，生成器40就生成所识别的所要输出的衣物图像和第一获取器22获取的对象图像的合成图像，而无需对两者之间的位置进行调整。之后，显示控制器42将合成图像显示到显示器20上。

生成器40还可以在执行合成过程之前将所识别出的所要输出的衣物图像显示到显示器20上。第一对象在看着显示器20上显示的衣物图像的同时调整其身体，从而使其位置和姿势与所述衣物图像匹配，并通过输入单元16输入显示指令。一旦接收器24接收到了显示指令，生成器40就生成所识别的所要输出的衣物图像和第一获取器22获取的对象图像的合成图像，而无需对两者之间的位置进行调整。之后，显示控制器42将合成图像显示到显示器20上。

此时，可以在用户通过输入单元16发出的操作指令的基础上对所要输出的衣物图像的尺寸和对象图像的尺寸的至少其中之一进行放大或缩小。

现在将说明根据第一实施例的图像处理设备12执行的图像处理。

图16是根据第一实施例的由图像处理设备12执行的图像处理的流程图。

每次在从成像器14接收到对象图像和深度图时，图像处理设备12就按照步骤S100到S130执行所述过程。在从成像器14接收到每者包括多个帧的活动图像时，图像处理设备12在步骤S100到S130中针对所述帧中的每者执行所述过程。

首先，第一获取器22获取对象图像，第三获取器23获取深度图(步骤S100)。

之后，提取器32执行提取过程(步骤S102)。具体而言，在步骤S102中，提取器在步骤S100中由深度图提取骨骼信息。在第一实施例中，提取器32还将有关第一对象的骨骼信息的坐标系(即第二成像器14B的坐标系)转换为第一成像器14A的坐标系。

之后，判定器29判定在步骤S100中获取的对象图像是否满足第一条件(步骤S104)。

如果判定器29在步骤S104中判定为是(在步骤S104中为是)，那么系统控制转至步骤S106。

在步骤S106中，执行识别过程和调整过程(步骤S106)。在步骤S106中，识别器28识别所要输出的衣物图像。在步骤S106中，调整器30还对所要输出的衣物图像和对象图像的至少其中之一的尺寸进行放大或缩小，从而使衣物图像的轮廓线的至少部分与对象图像的轮廓线的至少部分匹配。调整器30还从放大或缩小的衣物图像以及放大或缩小的对象图像的每者当中提取将在第二计算器34采用的特征区域。

下文将详细描述在步骤S106中执行的识别过程和调整过程。

第二计算器34执行第一位置计算过程(步骤S108)。在步骤S108中，第二计算器34计算衣物图像在对象图像中的第一位置，所述第一位置是在步骤S106中提取的所要输出的衣物图像中的特征区域的位置与在步骤S100中获取的对象图像中的特征区域的位置匹配的位置。下文将详细描述在步骤S108中执行的第一位置计算过程。

之后，第二计算器34将所计算出的第一位置按照与能够识别出步骤S100中获取的对象图像的信息相关联的方式存储到存储器18内(步骤S110)。例如，能够识别对象图像的信息可以是对象图像的获取日期和时间。

之后，第三计算器36执行第二位置计算过程(步骤S112)。在步骤S112中，第三计算器36计算衣物图像相对于对象图像的第二位置，所述第二位置是所要输出的衣物图像中的特征点的位置与对象图像中的特征点的位置匹配的位置。下文将详细描述第二位置计算过程。

之后第三计算器36将所计算出的第二位置按照与能够识别出步骤S100中获取的对象图像的信息相关联的方式存储到存储器18内(步骤S114)。所述的能够识别出对象图像的信息与步骤S110中采用的信息可以是相同信息。

之后，确定器38从存储器18读取在步骤S108中计算出的第一位置和在步骤S112中计算出的第二位置，并计算出所述第一和第二位置之间的差(步骤S116)。之后，确定器38将所计算出的差按照与能够识别出对象图像的信息相关联的方式存储到存储器18内，所述识别信息与步骤S110和S114中采用的识别信息相同(步骤S118)。

在存储器18内已存储第一位置和第二位置之间的差时，确定器38可以采用在步骤S116中新计算出的差覆盖现有差。确定器38可以仅将最新的差存储到存储器18内。

之后，确定器38确定叠加位置(步骤S120)。在步骤S120中，确定器38决定以步骤S108中计算出的第一位置为将所要输出的衣物图像叠加到步骤S100中获取的对象图像上的位置。之后，系统控制转至下文所述的步骤S126。

在图像处理设备12中，作为从步骤S104到步骤S120的过程的结果，在判定器29判定步骤S100中获取的对象图像满足第一条件，决定以第二计算器34计算的第一位置作为将所要输出的衣物图像叠加到对象图像上的位置。

如果判定器在步骤S104中判定为否(在步骤S104中为否)，那么系统控制转至步骤S121。在步骤S121中，第一计算器33计算有关第一对象的姿势信息(步骤121)。

之后，识别器28从存储在存储器18内的第一信息中的与接收到的衣物ID相关联的衣物图像中相对于步骤S204中计算出的姿势信息识别出与特定第二体型参数相关联的衣物图像，其中，所述第二体型参数是与估算出的第一体型参数的非相似度小于等于阈值的第二体型参数(步骤S122)。

第三计算器36按照与步骤S112中相同的方式执行第二位置计算过程(下文将描述细节)(步骤S123)。

之后，确定器38确定叠加位置(步骤S124)。

具体地，确定器读取由在这次获取的对象图像之前获取的对象图像计算出的第一位置和由第一位置的计算所采用的对象图像计算的第二位置之间的差，所述第一位置和第二位置分别是由第二计算器34和第三计算器36计算的。所述差是从存储器18读出的。确定器38读出存储器18内存储的差中的最新的一个(即，刚刚在前面计算出的那个差)。之后，确定器38通过使在步骤S123中由这次获取的对象图像计算出的第二位置偏移基于从存储器18读出的差的距离而确定叠加位置。

以第三计算器36先前计算的第二位置为起始点，以第二计算器34先前计算的第一位置为结束点形成了方向向量，使所述第二位置沿平行于所述方向向量的方向偏移。之后，所述系统控制转至步骤S126。

之后，生成器40生成合成图像(步骤S126)。在步骤S126中，生成器40通过将在步骤S106中识别出的对尺寸做出了对应于对象图像的放大或缩小的所要输出的衣物图像在叠加位置上叠加到在步骤S100中获取的对象的对象图像上而生成合成图像。

之后，显示控制器42执行控制，从而将步骤S128中生成的合成图像显示到显示器20上(步骤S128)。

之后，图像处理设备12判断是否要终止图像处理(步骤S130)。图像处理设备12基于(例如)是否接收到指示结束指令的信号做出这一判断，所述指令是通过对进行指令操作的用户所操作的图像处理设备12的结束指令按钮(未示出)进行操作而接收到的。

如果图像处理设备12在步骤S130中判定为否(在步骤S130中为否)，那么系统控制返回至步骤S100。如果图像处理设备在步骤S130中判定为是(在步骤S130中为是)，那么结束例程。

现在将解释步骤S106中的识别过程和调整过程。

图17是所述识别过程和调整过程。

首先，接收器24从输入单元16接收所要试穿的衣物的衣物ID和衣物尺码(步骤S200)。

可以在步骤S100之前执行步骤S200中的接收衣物ID和衣物尺码的过程。

之后，估算器27由第三获取器23在步骤S100中获取的深度图估算第一对象的第一体型参数(步骤S202)。在第四获取器26从重量测量器19获取重量时，估算器27估算包括所获取的重量和由深度图估算的参数的第一体型参数。

由于在图17所示的例子中识别器在考虑姿势信息的情况下识别衣物图像，因而第一计算器33计算有关第一对象的姿势信息(步骤S204)。如前所述，识别器28可以在不考虑姿势信息的情况下识别衣物图像。

之后，识别器28从存储器18内存储的第一信息中的与接收到的衣物ID相关联的衣物图像中相对于步骤S204中计算出的姿势信息识别出与特定第二体型参数相关联的衣物图像，其中，所述第二体型参数是与估算出的第一体型参数的非相似度小于等于阈值的第二体型参数。

之后，显示控制器42将所识别出的衣物图像显示到显示器20上(步骤S208)。之后，接收器24判断是否从输入单元16接收到了用户发出的选择指令(步骤S210)。如果接收器24在步骤S210中判断为是(步骤S210中为是)，那么识别器28将针对其发出了选择指令的衣物图像识别为所要合成的图像。之后，所述系统控制转至步骤S214。

如果接收器24在步骤S210中判断为否(步骤S210中为否)，那么接收器24从输入单元16接收衣物尺码(步骤S212)。之后，系统控制返回至步骤S206。或者，系统控制可以在步骤S212中的过程之后返回至步骤S100(参考图16)。在步骤S212中，接收器24可以从输入单元16获取衣物ID以及衣物尺码。在这种情况下，系统控制在步骤S212中的过程之后返回至步骤S200。

通过从步骤S200到步骤S212的过程，识别器28识别所要输出的衣物图像。

之后，调整器30调整第三获取器23获取的深度图(步骤S214)。具体地，调整器30将构成第一对象的深度图的像素的坐标系(第二成像器14B的坐标系)转换成第一成像器14A的坐标系。之后，调整器30将第一对象的深度图的分辨率调整至与第一对象的对象图像相同的分辨率，其方式是将施加了坐标变换的第一对象的深度图的每一像素位置上的像素投影到按照相同的定时捕获的第一对象的对象图像中的对应像素位置上。

之后，调整器30计算在从步骤S200到步骤S212的过程中识别出的所要输出的衣物图像中的特征区域的尺寸以及对象图像中的特征区域的尺寸(步骤S216)。在第一实施例中，由于如前所述将肩部区域用作特征区域，因而调整器30计算所识别出的所要输出的衣物图像中的肩宽和步骤S100中获取的对象图像中的肩宽(参考图16)。

之后，调整器在步骤S216中计算出的特征区域的尺寸，即衣物图像中的肩宽和对象图像中的肩宽的基础上确定对所要输出的衣物图像进行缩放的比率(放大或缩小比)(步骤S218)。

之后，调整器按照步骤218中确定的缩放比所识别的放大或缩小比率在从步骤S200到步骤S212的过程中识别的所要输出的衣物图像的尺寸进行缩放(放大或缩小)(步骤S220)。类似地，调整器30还按照由同一缩放比识别的放大或缩小比对所要输出的衣物图像的姿势信息中包含的骨骼信息的尺寸进行放大或缩小。

之后，调整器30从在步骤S220进行了尺寸放大或缩小的所要输出的衣物图像提取特征区域并且从步骤S100中获取的对象图像提取特征区域(参考图16)。

首先，调整器30从在步骤S220中进行了尺寸放大或缩小的所要输出的衣物图像中提取轮廓线，从在步骤S100中获取的对象图像提取轮廓线(参考图16)(步骤S222)。之后，调整器30从衣物图像的轮廓线提取肩部区域，从对象图像的轮廓线提取肩部区域(步骤S224)。之后，结束例程。

上文解释了调整器在步骤S218中确定对衣物图像进行缩放的比率(放大或缩小比)并按照所述缩放比所识别的放大或缩小比对衣物图像进行缩放的例子。但是，调整器30可以针对衣物图像和对象图像的至少其中之一确定放大或缩小比，所述比率允许衣物图像中的轮廓线的至少部分与对象图像的轮廓线的至少部分匹配。或者，可以按照针对衣物图像确定的放大或缩小比的倒数对对象图像进行缩放。

通过执行从步骤S214到步骤S224的过程，调整器30对衣物图像和对象图像的至少其中之一的尺寸进行放大或缩小，从而使所要输出的衣物图像的轮廓线的至少部分与对象图像的轮廓线的至少部分匹配。之后，调整器30从放大或缩小的衣物图像提取肩部区域，并且从放大或缩小的对象图像提取肩部区域，以作为特征区域。

现在将解释在图16中的步骤S108中由第二计算器34执行的第一位置计算过程。

图18是第二计算器34执行的第一位置计算过程的流程图。

第二计算器34采用对象图像中的肩部区域和所要输出的衣物图像中的肩部区域执行已知的模板匹配，所述区域是调整器30提取出作为特征区域的区域(步骤S400)。在步骤S400中，第二计算器34通过模板匹配检索调整器30调整后的第一对象的深度图中的第一位置，并计算所述深度图中的第一位置。所述第一位置是所要输出的衣物图像中的具体区域(肩部区域)与深度图中的同一区域匹配的位置。

之后，第二计算器34将计算出的第一位置输出至判定器29(步骤S402)。之后，结束例程。

现在将解释第三计算器36在步骤S112和步骤S123中执行的第二位置计算过程。

图19是第三计算器36执行的第二位置计算过程的流程图。

首先，第三计算器36计算所要输出的衣物图像中的两肩之间的中央位置，所述中央位置起着所要输出的衣物图像的特征点的作用(步骤S300)。

之后，第三计算器36计算对象图像的两肩之间的中央位置(步骤S302)。具体地，第三计算器36由提取器32在步骤S106(参考图16)中创建的第一对象的骨骼信息计算第一对象的两肩之间的中央位置。

之后，第三计算器36计算使在步骤S300中计算出的中央位置与在步骤S302中计算出的中央位置匹配的第二位置(步骤S304)。在第一实施例中，第三计算器36计算对象图像的两肩之间的中央位置作为第二位置，这样的中央位置是在步骤S302中计算出的。

之后，结束例程。

图20是用于解释根据第一实施例的由图像处理设备12执行的合成图像生成的示意图。

这里假设，例如，所要输出的衣物图像是衣物图像61A(参考图20中的部分(A))，第一对象的深度图是深度图71C(参考图20中的部分(D))。

在给定这些图像的情况下，调整器30通过所述调整过程提取衣物图像61A的轮廓线61B(参考图20中的部分(B))。调整器30还通过所述调整过程提取肩部区域61D作为特征区域(参考图20中的部分(C))。

调整器30还通过所述调整过程从第一对象的深度图71C提取轮廓线71B(参考图20中的部分(E))。之后，调整器30还通过所述调整过程提取肩部区域71D作为特征区域(参考图20中的部分(F))。

如果判定器29判定满足第一条件，那么第二计算器34采用衣物图像61A的肩部区域61D和对象的深度图71C的肩部区域71D执行模板匹配，由此计算出第一位置(图20中未示出)(参考图20中的部分(G))。如果判定满足第一条件，那么确定器38将所述第一位置确立为叠加位置。

之后，生成器40将在步骤S206中确定的对应于对象图像进行了尺寸放大或缩小的所要输出的衣物图像在叠加位置上叠加到第一获取器22获取的第一对象的对象图像上。通过这一过程，生成器40生成了合成图像W(参考图20中的部分(H))。

可以预先使衣物图像的轮廓线和特征区域与第一信息中的衣物图像中的每者相关联。就这样的信息而言，调整器针对寄存在第一信息中的衣物图像的每者执行上文所述的过程。

如上所述，在根据第一实施例的图像处理设备12中，第一获取器22获取第一对象的对象图像。第二获取器31获取表示第一对象的体型的第一体型参数。接收器24接收所要试穿的衣物的衣物ID。第一信息是这样一条信息，其中，使多个衣物尺码、与每一衣物尺码相关联并且每者指示不同体型的多个第二体型参数以及每者指示具有对应的第二体型参数所代表的体型并且穿着对应衣物尺码的衣物的第二对象的多幅衣物图像与每一衣物ID相关联。识别器28在第一信息中的与接收到的衣物ID相关联的衣物图像中识别出与特定第二体型参数相关联的衣物图像作为所要输出的衣物图像，其中，所述第二体型参数是与第一对象的第一体型参数的非相似度小于等于阈值的第二体型参数。

通过这种方式，根据第一实施例的图像处理设备12识别表现体型与第一对象的体型匹配或类似并且穿着第一对象指定的所要试穿的衣物的第二对象的衣物图像作为所要输出的衣物图像。因此，图像处理设备12能够在第一对象的体型的基础上提供所要试穿的衣物的衣物图像。

因此，根据第一实施例的图像处理设备12能够在第一对象的体型的基础上提供所要试穿的衣物的图像。

就常规而言，用户已经对合成图像中采用的衣物图像进行了尺寸方面的指定。因此，就常规而言，具有特定体型的第一对象一直都无法检验其穿着预先准备好的不同尺码的作为成衣的衣物的图像。

作为对比，根据第一实施例的图像处理设备12能够提供具有与第一对象的体型匹配或类似的体型的第二对象穿着一种或多种衣物尺码的衣物的衣物图像。因此，根据第一实施例的图像处理设备12能够在第一对象的体型的基础上提供所要试穿的衣物的图像。

根据第一实施例的图像处理设备12生成所识别出的作为所要输出的衣物图像的衣物图像与第一对象的对象图像的合成图像。

因此，根据第一实施例的图像处理设备12能够在第一对象的体型的基础上提供所要试穿的衣物的合成图像。

在上文的描述当中采用了这样的例子，其中，接收器接收一个衣物ID作为所要试穿的衣物的衣物ID。但是，接收器24可以接收所要试穿的相应衣物的多个衣物ID。这样的例子包括在第一对象希望穿着多件组合穿着的衣物的时候。

在给定多个衣物ID的情况下图像处理设备12能够针对接收器24接收到的衣物ID的每者执行上文所述的过程。

在给定多个衣物ID的情况下，图像处理设备12可以执行下述过程。首先，识别器28针对接收器24接收到的衣物ID之一执行识别过程，由此识别出对应于所述衣物ID的所要输出的衣物图像。识别器28针对接收到的其余衣物ID中的每者在与所述衣物ID相关联的那些衣物图像中识别与和已经识别出的衣物ID相关联的模型ID相关联的衣物图像。

将参考图17解释接收器24从输入单元16接收到衣物ID和衣物尺码的例子。但是，接收器24可以只从输入单元16接收衣物ID而不接收衣物尺码。

之后，识别器28可以针对与所述衣物ID相关联的衣物尺码中的每者识别与特定第二体型参数相关联的衣物图像，该第二体型参数是与第一体型参数的非相似度小于等于阈值的第二体型参数。之后，识别器28可以通过(例如)借助于用户发出的选择指令逐步收窄衣物图像的范围而识别出所要输出的衣物图像。

能够采用根据第一实施例的图像处理设备12的范围不受特殊限制。例如，可以向商店内安装的装置提供图像处理设备12，或者可以将图像处理设备12置于诸如移动终端、个人计算器和电视的电子装置的内部。也可以在电子黑板系统(标志图样系统)中采用图像处理设备12。在将图像处理设备12提供至商店内安装的装置时，可以按照图2A所示的方式配置包括图像处理设备12的图像处理系统10。在将图像处理设备12置于电子装置内部时，可以按照图2B所示的方式配置图像处理系统10。

第二实施例

图21是说明图像处理系统10A的示意图。

在图像处理系统10A中，使存储装置72和处理装置11通过电信电路74连接。

存储装置72是包括根据第一实施例的存储器18的装置，例如，其为已知类型的个人计算机。处理装置11是配备有根据第一实施例的图像处理设备12、成像器14、输入单元16和显示器20的装置。为与第一实施例中的相同的功能单元分配相同的附图标记，下文将省略对它们的详细说明。电信电路74是诸如因特网之类的电信电路，其例子包括有线电信电路和无线电信电路。

如图15所示，将存储器18提供给通过电信电路74连接至处理装置11的存储装置72，从而使多个处理装置11能够访问同一存储器18，并且能够对存储器18内存储的数据进行中央管理。

可以将处理装置11部署到任何地点。例如，可以将处理装置11部署到用户看合成图像的地点，例如，商店。也可以将处理装置11的功能提供至已知类型的移动终端。

第三实施例

现在解释根据第一和第二实施例的图像处理设备12的硬件配置。图22是说明根据第三实施例的图像处理设备12的示范性硬件配置的方框图。

根据第一和第二实施例的图像处理设备12包括通过总线96彼此连接的呈现器80、通信接口(I/F)82、成像器84、输入单元94、中央处理单元(CPU)86、只读存储器(ROM)88、随机存取存储器(RAM)90和硬盘驱动器(HDD)92，并且具有被实现为通用计算机的硬件配置。

CPU 86是控制图像处理设备12执行的整个过程的处理器。RAM 90将CPU 86执行的各种过程中所需的数据存储于其内。ROM 88将实施CPU 86执行的各种过程的计算机程序等存储于其内。HDD 92在其内存储将存储到存储器18内的数据。通信I/F 82是用于通过(例如)电信电路建立与外部装置或外部终端的连接并与所连接的外部装置或外部终端交换数据的接口。呈现器80对应于上文所述的显示器20。成像器84对应于上文所述的成像器14。输入单元94对应于上文所述的输入单元16。

例如，在ROM88内置入并提供用于实现根据第一和第二实施例由图像处理设备12执行的各种过程的计算机程序。

可以将根据第一和第二实施例所运行的计算机程序记录并提供于计算机可读记录介质内，例如，光盘只读存储器(CD-ROM)、软磁盘(FD)、可记录紧致盘(CD-R)和数字通用盘(DVD)，所述程序作为文件能够安装到这样的装置上并在其上运行。

可以将根据第一和第二实施例所运行的计算机程序存储到连接至诸如因特网之类的网络的计算机内，并使其可供经由所述网络下载。用于实现根据第一和第二实施例由图像处理设备12执行的各种程序的计算机程序可以是通过诸如因特网之类的网络提供或分布的。

用于实现根据第一和第二实施例的各种过程的计算机程序在主存储器上生成如上文所述的单元。

也可以将存储在HDD 92内的各种类型的信息，即存储在存储器18内的各种类型的信息存储到外部装置(例如，服务器)内。例如,在这样的配置中，所述外部装置和CPU 86可以通过网络互相连接。

尽管已经描述了某些实施例，但是这些实施例仅以举例的方式给出，其目的并非在于限制本发明的范围。实际上，可以将文中描述的新颖实施例体现为各种其他形式；此外，可以在不背离本发明的精神的情况下对文中描述的实施例的形式做出各种省略、替换和变型。所附权利要求及其等同技术方案意在覆盖这样的将落在本发明的范围和精神内的形式或变型。

Claims (13)

1.一种图像处理设备，包括：

第一获取器，所述第一获取器被配置为获取第一对象的对象图像；

第二获取器，所述第二获取器被配置为获取表示所述第一对象的体型的第一体型参数；

接收器，所述接收器被配置为接收与所要试穿的衣物有关的识别信息；以及

识别器，所述识别器被配置为从第一信息中的与接收到的识别信息相关联的多幅衣物图像当中识别出与第二体型参数相关联的衣物图像作为将要输出的衣物图像，其中，所述第二体型参数与所述第一体型参数的非相似度小于等于阈值，在所述第一信息中，多个衣物尺码、多个第二体型参数和多幅衣物图像与有关衣物的每一个识别信息相关联，所述第二体型参数与每一个所述衣物尺码相对应并表示不同体型，并且所述衣物图像均表示第二对象穿着每一个所述衣物尺码的衣物的状态，所述第二对象具有由与相对应的衣物尺码相关联的相对应的第二体型参数所表示的体型。

2.根据权利要求1所述的设备，其中，

所述接收器除了接收所述识别信息之外还接收将要试穿的衣物的尺码，并且

所述识别器从第一信息中的与接收到的识别信息和接收到的衣物尺码相关联的所述衣物图像当中识别出与和所述第一体型参数的非相似度小于等于阈值的第二体型参数相关联的衣物图像。

3.根据权利要求1所述的设备，其中，所述第二获取器包括：

第三获取器，所述第三获取器被配置为获取所述第一对象的深度图；以及

估算器，所述估算器被配置为根据所述深度图来估算所述第一体型参数。

4.根据权利要求3所述的设备，其中，当由所述识别信息所识别的衣物对身体的掩盖程度越高时，所述估算器将所述第一体型参数校正为越小的值。

5.根据权利要求1所述的设备，其中，所述第一体型参数和所述第二体型参数包括人体的一个或多个测量值和体重的至少其中之一，来作为参数。

6.根据权利要求1所述的设备，其中，

所述第一体型参数和所述第二体型参数包括人体的一个或多个测量值和体重当中的至少两者，来作为参数，并且

所述识别器在第二信息中的加权值的基础上计算非相似度，在所述第二信息中，每一个所述参数与在计算所述非相似度时采用的加权值相关联。

7.根据权利要求5或6所述的设备，其中，所述估算器在与应用于所述第一对象的深度图和所述第二对象的深度图的人体三维模型数据中的相应参数相对应的区域的距离的基础上对所述测量值进行估算。

8.根据权利要求1所述的设备，还包括生成器，所述生成器被配置为生成所述对象图像和所识别出的衣物图像的合成图像。

9.根据权利要求8所述的设备，还包括显示控制器，所述显示控制器被配置为在显示器上显示所识别出的衣物图像和所述合成图像的至少其中之一。

10.根据权利要求1所述的设备，其中，

所述接收器从接收用户输入的输入单元接收对将要输出的所述衣物图像的选择指令，并且

所述识别器从第一信息中的与和所述第一体型参数的非相似度小于等于阈值的所述第二体型参数相关联的所述衣物图像当中识别出对应于从所述输入单元接收的所述选择指令的衣物图像。

11.根据权利要求1所述的设备，还包括存储器，所述存储器被配置为将所述第一信息存储于其内。

12.一种图像处理系统，包括：

图像处理设备；以及

通过网络连接至所述图像处理设备的外部装置，其中

所述图像处理设备包括：

第一获取器，所述第一获取器被配置为获取第一对象的对象图像；

第二获取器，所述第二获取器被配置为获取表示第一对象的体型的第一体型参数；

接收器，所述接收器被配置为接收与所要试穿的衣物有关的识别信息；以及

识别器，所述识别器被配置为从第一信息中的与接收到的识别信息相关联的多幅衣物图像当中识别出与第二体型参数相关联的衣物图像作为将要输出的衣物图像，其中，所述第二体型参数与所述第一体型参数的非相似度小于等于阈值，在所述第一信息中，多个衣物尺码、多个第二体型参数和多幅衣物图像与有关衣物的每一个识别信息相关联，所述第二体型参数与每一个所述衣物尺码相对应并表示不同体型，并且所述衣物图像均表示第二对象穿着每一个所述衣物尺码的衣物的状态，所述第二对象具有由与相对应的衣物尺码相关联的相对应的第二体型参数所表示的体型，

所述外部装置包括存储器，所述存储器被配置为将所述第一信息存储于其内。

13.一种图像处理方法，包括：

获取第一对象的对象图像；

获取表示所述第一对象的体型的第一体型参数；

接收与所要试穿的衣物有关的识别信息；以及

从第一信息中的与接收到的识别信息相关联的多幅衣物图像当中识别出与第二体型参数相关联的衣物图像作为将要输出的衣物图像，其中，所述第二体型参数与所述第一体型参数的非相似度小于等于阈值，在所述第一信息中，多个衣物尺码、多个第二体型参数和多幅衣物图像与有关衣物的每一个识别信息相关联，所述第二体型参数与每一个所述衣物尺码相对应并表示不同体型，并且所述衣物图像均表示第二对象穿着每一个所述衣物尺码的衣物的状态，所述第二对象具有由与相对应的衣物尺码相关联的相对应的第二体型参数所表示的体型。