CN103198460A - 图像处理设备、图像处理方法和程序 - Google Patents

Abstract

本公开涉及图像处理设备、图像处理方法和程序。提供一种图像处理设备，该图像处理设备包括用于将虚拟对象与捕获图像组合的图像处理单元。该图像处理单元基于在该捕获图像中示出的对象在真实空间中的尺寸来确定虚拟对象。

Description

图像处理设备、图像处理方法和程序

技术领域

本公开涉及图像处理设备、图像处理方法和程序。

背景技术

在购买服装时，用户有时在商店里实际地试穿服装并选择与用户的身体尺寸相匹配的服装作为要购买的服装。但是，例如，在从互联网上购买服装的情况中，用户不能实际地拿起服装和选择服装。此外，用户还会购买与用户的身体尺寸的测量结果匹配的服装。但是，在这种情况中，用户不得不经受测量身体尺寸的麻烦。

另一方面，已知一种技术，其将各种对象与通过捕获得到的图像（在下文中，也被称为“捕获图像”）组合。各种对象可以与捕获图像组合，并且，例如，在被摄体（诸如人或动物）的图像被捕获的情况中，被摄体穿戴之物（诸如服装或包）的图像可以与作为对象的捕获图像组合。作为用于将对象与捕获图像组合的技术，公开了各种技术。

例如，公开了用于将服装的图像与人的图像进行组合的技术（例如，参见JP 2005-136841A）。通过查看通过将服装的图像与人的图像进行组合获得的组合图像，即使用户不实际地在商店里试穿服装，通过了解当该用户穿着该服装时看起来怎么样，该用户也可以选择服装。

发明内容

但是，例如，用于将匹配用户的身体尺寸的服装的图像与人的图像组合的技术没有被公开。因此，存在这样的可能性，即，没有将用户的身体尺寸考虑在内的服装的图像被与人的图像组合。因此，希望实现这样一种技术：基于在捕获图像中示出的对象在真实空间中的尺寸来确定与捕获图像组合的虚拟对象。

根据本公开，提供一种图像处理设备，其包括用于将虚拟对象与捕获图像组合的图像处理单元。该图像处理单元基于在该捕获图像中示出的对象在真实空间中的尺寸来确定虚拟对象。

根据本公开，提供一种图像处理方法，其包括基于在该捕获图像中示出的对象在真实空间中的尺寸来确定要与捕获图像组合的虚拟对象。

根据本公开，提供一种程序，其用于使计算机充当图像处理设备，该图像处理设备包括用于将虚拟对象与捕获图像组合的图像处理单元。该图像处理单元基于在该捕获图像中示出的对象在真实空间中的尺寸来确定虚拟对象。

如上所述，根据本公开，可以基于在捕获图像中示出的对象在真实空间中的尺寸来确定要与该捕获图像组合的虚拟对象。

附图说明

图1是用于解释根据本公开实施例的图像处理系统的概要的示图；

图2是示出图像处理设备的示例配置的框图；

图3是用于解释骨架结构信息和深度信息的示图；

图4是用于解释该图像处理设备的尺寸测量单元和图像处理单元中的每一个的功能的例子的示图；

图5是示出由该图像处理设备生成的组合图像的例子的示图；以及

图6是示出该图像处理设备的操作流程的例子的流程图。

具体实施方式

在下文中，将参照附图详细地描述本公开的优选实施例。请注意，在本说明书和附图中，基本上具有相同的功能和配置的结构元件用相同的附图标记表示，并且省略对这些结构元件的重复解释。

此外，在本说明书和附图中，基本上具有相同功能配置的多个结构元件可以通过每一个都将不同字母添加到相同的附图标记来彼此区分。但是，如果不是特别需要区分具有相同功能配置的多个结构元件中的每一个，那么将只赋予相同的附图标记。

将根据下面的顺序在“具体实施方式”中给出解释。

1.图像处理系统的概要

2.图像处理设备的功能

3.图像处理设备的操作

4.总结

<1.图像处理系统的概要>

接下来，首先，将参考图1描述根据本公开实施例的图像处理系统的概要。

图1是用于解释根据本公开实施例的图像处理系统的概要的示图。如图1所示，根据本公开实施例的图像处理系统10包括图像处理设备100、显示单元130、图像捕获单元140和传感器150。安装图像处理系统10的地方并没有被特别地限制。例如，图像处理系统10可以被安装在被摄体20的家。

此外，在图1中示出的例子中，构成图像处理系统10的多个块（例如，图像处理设备100、显示单元130、图像捕获单元140和传感器150）是分开配置的，但是构成图像处理系统10的多个块中的一些的组合可以被集成为一个。例如，构成图像处理系统10的多个块可以被嵌入智能电话、PDA（个人数字助理）、移动电话、便携式音乐再现装置、便携式视频处理装置或便携式游戏装置中。

图像捕获单元140捕获在真实空间中存在的对象的图像。在真实空间中存在的对象并没有被特别地限制，而且，例如，可以是诸如人或动物的活体，或者除了活体以外的其它物体，诸如车库或电视桌。在图1中示出的例子中，被摄体20（例如，人）作为在真实空间中存在的对象被图像捕获单元140所捕获。由图像捕获单元140捕获的图像（在下文中，也被称为“捕获图像”）可以由显示单元130显示。要被显示单元130显示的捕获图像可以是RGB图像。在图1中示出的例子中，示出被摄体21的捕获图像131由显示单元130显示。

传感器150具有检测真实空间中的参数的功能。例如，在传感器150由红外传感器构成的情况中，传感器150可以检测真实空间中的红外辐射，并把与红外辐射的量相对应的电信号作为检测数据供应给图像处理设备100。例如，图像处理设备100可以基于检测数据来识别存在于真实空间中的对象。传感器150的类型并不限于红外传感器。另外，在图1中示出的例子中，检测数据从传感器150被供应给图像处理设备100，但是要供应给图像处理设备100的检测数据也可以是由图像捕获单元140捕获的图像。

捕获图像由图像处理设备100处理。例如，图像处理设备100可以根据在真实空间中存在的对象的识别结果通过将虚拟对象与捕获图像组合来处理捕获图像。显示单元130还可以显示已经由图像处理设备100处理的捕获图像。例如，在被摄体21的位置被图像处理设备100识别的情况中，其中虚拟对象（诸如服装的图像）在被摄体21的位置处被组合的捕获图像可以由显示单元130显示。可以通过将事先与捕获图像分开登记的图像叠加在捕获图像上，或者通过修改捕获图像（例如，通过将从捕获图像捕获的图像叠加在捕获图像上）来执行虚拟对象的组合。

通过观看以这种方式处理的捕获图像，在不实际地试穿服装的情况下，被摄体20可以了解他/她穿着该服装时他/她看起来怎样来选择服装。但是，将与被摄体20的尺寸匹配的服装的图像与被摄体21组合的技术没有被公开。因此，没有考虑被摄体20的尺寸的服装的图像可能会与被摄体21组合。因此，希望实现这样一种技术：基于在捕获图像中示出的对象在真实空间中的尺寸来确定要与捕获图像组合的虚拟对象。

因此，在将上述情况考虑在内的情况下得到了本公开的实施例。根据本公开的实施例，可以基于在该捕获图像中示出的对象在真实空间中的尺寸来确定要与捕获图像组合的虚拟对象。接下来，将参考图2到图5描述根据本公开实施例的图像处理设备100的功能。

<2.图像处理设备的功能>

图2是示出图像处理设备100的示例配置的框图。参考图2，图像处理设备100包括控制单元110和存储单元120。控制单元110包括尺寸测量单元111、图像处理单元112和显示控制单元113。显示单元130、图像捕获单元140和传感器150被连接到图像处理设备100。

（控制单元）

控制单元110对应于诸如CPU（中央处理单元）或DSP（数字信号处理器）的处理器。通过执行存储在存储单元120或其它存储介质中的程序，控制单元110使稍后描述的控制单元110的各种功能工作。另外，构成控制单元110的块并不需要全部都被嵌入到同一装置中，并且这些块中的一个或一些可以被嵌入到另一个装置（诸如服务器）中。

（存储单元）

存储单元120使用诸如半导体存储器或硬盘的存储介质存储用于图像处理设备100的处理的程序和数据。例如，存储单元120存储用于使计算机起控制单元110的作用的程序。此外，例如，存储单元120存储由控制单元110使用的数据。例如，存储单元120可以存储要被用于对象识别的特征量字典和要被显示的虚拟对象。

（显示单元）

显示单元130是由LCD（液晶显示器）、OLED（有机发光二极管）、CRT（阴极射线管）等构成的显示模块。在本公开的实施例中，假定显示单元130与图像处理设备100分开配置，但是显示单元130可以是图像处理设备100的一部分。

（图像捕获单元）

图像捕获单元140通过使用诸如CCD（电荷耦合器件）或CMOS（互补金属氧化物半导体）的图像传感器捕获真实空间来生成捕获图像。在本公开的实施例中，假定图像捕获单元140与图像处理设备100分开配置，但是图像捕获单元140可以是图像处理设备100的一部分。

（传感器）

传感器150具有检测真实空间中的参数的功能。例如，在传感器150由红外传感器构成的情况中，传感器150可以检测真实空间中的红外辐射，并把与红外辐射的量相对应的电信号作为检测数据供应给图像处理设备100。传感器150的类型并不限于红外传感器。另外，在由图像捕获单元140捕获的图像要作为检测数据被供应到图像处理设备100的情况中，传感器150不必存在。

（尺寸测量单元）

尺寸测量单元111基于检测数据测量在捕获图像中示出的对象在真实空间中的尺寸。测量在捕获图像中示出的对象在真实空间中的尺寸的方法并没有被特别地限制。例如，尺寸测量单元111可以首先识别对象在捕获图像中存在的区域（在下文中，也被称为“对象存在区域”），并且还获取传感器150与对象之间的距离。对象存在区域的尺寸可以是对象存在区域的任何部分的尺寸。然后，尺寸测量单元111可以基于对象存在区域的尺寸和距离来确定在捕获图像中示出的对象在真实空间中的尺寸。

作为识别对象存在区域的方法，可以想到各种方法。例如，在捕获图像作为检测数据被供应到图像处理设备100的情况中，尺寸测量单元111可以基于对象被反射之前的捕获图像与其中示出对象的捕获图像之间的差值来识别对象存在区域。更具体地说，尺寸测量单元111可以识别这样的区域作为对象存在区域：在该区域中，对象被反射之前的捕获图像与其中示出对象的捕获图像之间的差值超出阈值。

此外，在由传感器150检测的参数作为检测数据被供应到图像处理设备100的情况中，尺寸测量单元111可以基于该检测数据来识别对象存在区域。更具体地说，尺寸测量单元111可以识别其中红外辐射的检测量超出阈值的区域作为对象存在区域。

作为获取传感器150与对象之间的距离的方法，也可以想到各种方法。例如，传感器150与对象之间的距离可以被事先设置。也就是说，可以进行这样的限制：使得对象被放置在与传感器150间隔事先设置的距离的位置处。如果进行这样的限制，那么尺寸测量单元111可以将传感器150与对象之间的距离视为固定值（例如，2米）。

此外，尺寸测量单元111可以从捕获图像识别图像捕获单元140与对象之间的距离。例如，尺寸测量单元111可以基于从一个对象到另一个对象不会大幅地变化的部分的长度来识别图像捕获单元140与对象之间的距离。例如，如图1所示，在捕获被摄体20的情况中，图像捕获单元140与被摄体20之间的距离可以基于从一个对象到另一个对象不会大幅地变化的部分的长度（诸如左眼与右眼之间的距离）来识别。尺寸测量单元111将从捕获图像确定的特征量与对象的特征量进行匹配，从而可以识别包括在捕获图像中的对象。使用这样的识别方法，尺寸测量单元111可以识别包括在捕获图像中的左眼和右眼。

更具体地说，尺寸测量单元111根据诸如SIFT方法或RandomFerns方法的特征量确定方法来确定捕获图像中的特征量，并将确定的特征量与对象的特征量进行匹配。然后，尺寸测量单元111识别用于标识同与捕获图像中的特征量匹配最佳的特征量相关联的对象的信息，以及在捕获图像中的对象的位置和姿势。

这里，其中对象的特征量数据与用于识别对象的信息相关联的特征量字典由尺寸测量单元111所使用。该特征量字典可以被存储在存储单元120中，或者可以从服务器接收。对象的特征量数据可以是从用于根据例如SIFT方法或Random Ferns方法对对象进行学习的图像确定的特征量的集合。

此外，例如，如果可以基于由传感器150检测的参数来计算距离，那么尺寸测量单元111还可以基于该检测数据来计算传感器150与对象之间的距离。更具体地说，当诸如红外线的光从未示出的照射装置向对象照射时，尺寸测量单元111可以通过分析由传感器150检测到的光来计算传感器150与对象之间的距离。

例如，尺寸测量单元111可以基于由传感器150检测到的光的相位延迟来计算传感器150与对象之间的距离。该方法被称为TOF（飞行时间）方法。或者，在由未示出的照射装置照射的光由已知图案形成时，尺寸测量单元111可以通过分析形成由传感器150检测到的光的图案的失真程度来计算传感器150与对象之间的距离。

在捕获图像中示出的对象在真实空间中的尺寸可以基于通过上述方法得到的检测数据来测量。尺寸测量单元111还可以不被集成到图像处理设备100中，而是被集成到传感器150中。

在上文中，假定尺寸测量单元111测量对象在真实空间中的尺寸，但是其还可以测量对象的每一部位在真实空间中的尺寸。例如，与在识别对象的情况中一样，尺寸测量单元111可以通过将从捕获图像确定的特征量与该对象的每一部位的特征量进行匹配来识别包含在捕获图像中的对象的一部位。尺寸测量单元111可以基于识别结果、以及传感器150与该对象之间的距离针对每一部位来测量对象在真实空间中的尺寸。

或者，尺寸测量单元111可以通过将根据从传感器150供应的检测数据（而不是捕获图像）确定的特征量与该对象的每一部位的特征量进行匹配来识别对象的一部位。尺寸测量单元111可以基于识别结果、以及传感器150与该对象之间的距离针对每一部位来测量对象在真实空间中的尺寸。

一种已知技术（例如，由Miscrosoft Corporation（注册商标）开发的Kinect（注册商标））可以被用于针对每一部位来测量对象在真实空间中的尺寸。通过使用这样的技术，尺寸测量单元111可以获取骨架结构信息作为示出形成被摄体20的一个或多个部位中的每一个的位置的坐标的例子。尺寸测量单元111可以基于骨架结构信息测量形成被摄体20的每一部位的尺寸。或者，尺寸测量单元111可以基于骨架结构信息和深度信息测量形成被摄体20的每一部位的尺寸。首先，将参考图3描述骨架结构信息和深度信息。

图3是用于解释骨架结构信息和深度信息的示图。尺寸测量单元111可以通过使用上述的已知技术来获取如图3中示出的骨架结构信息。在图3中示出的例子中，骨架结构信息被示出为形成被摄体20的15个部位的坐标B1到B3、B6、B7、B9、B12、B13、B15、B17、B18、B20到B22和B24，但是包含在骨架结构信息中的部位的数量并没有被特别地限制。

另外，坐标B1表示“头”的坐标，坐标B2表示“脖子”的坐标，坐标B3表示“躯干”的坐标，坐标B6表示“左肩”的坐标，并且坐标B7表示“左肘”的坐标。此外，坐标B9表示“左手”的坐标，坐标B12表示“右肩”的坐标，坐标B13表示“右肘”的坐标，并且坐标B15表示“右手”的坐标。

坐标B17表示“左髋”的坐标，坐标B18表示“左膝”的坐标，坐标B20表示“左脚”的坐标，并且坐标B21表示“右髋”的坐标。坐标B22表示“右膝”的坐标，并且坐标B24表示“右脚”的坐标。

此外，尺寸测量单元111可以通过使用上述的已知技术来获取如图3所示的深度信息。深度信息是指示离传感器150的距离的信息，并且，在3图中，为了简便起见，深度低于阈值的对象存在区域R（其中离传感器150的距离小于阈值的区域）和其它区域R’作为深度信息的例子示出。

形成被摄体20的部位的尺寸可以由尺寸测量单元111基于以上述方式获取的骨架结构信息来测量。或者，形成被摄体20的部位的尺寸可以由尺寸测量单元111基于以上述方式获取的骨架结构信息和深度信息来测量。接下来，将参考图4描述测量形成被摄体20的部位的尺寸的方法。

图4是用于解释图像处理设备100的尺寸测量单元111和图像处理单元112中的每一个的功能的例子的示图。例如，尺寸测量单元111可以基于骨架结构信息测量“总长”和“袖长”。更具体地说，尺寸测量单元111可以通过使用坐标B1来测量“总长”。此外，通过使用将坐标B6与坐标B7之间的差值同坐标B7与坐标B9之间的差值相加得到的结果，尺寸测量单元111可以测量“袖长”。或者，通过使用将坐标B12与坐标B13之间的差值同坐标B13与坐标B15之间的差值相加得到的结果，尺寸测量单元111可以测量“袖长”。

此外，例如，尺寸测量单元111可以基于骨架结构信息和深度信息测量“肩”、“胸”和“袖宽”。更具体地说，通过使用将在对象存在区域R中由坐标B6和坐标B12示出的每一部位的厚度加到坐标B6与坐标B12之间的差值而得到的结果，尺寸测量单元111可以测量“肩”。此外，通过使用置于对象存在区域R中的坐标B3与坐标B6或坐标B12之间的部位的厚度，尺寸测量单元111可以测量“胸”。此外，通过使用置于对象存在区域R中的坐标B6或坐标B12处的部位的厚度，尺寸测量单元111可以测量“袖宽”。

在图4中，示出由尺寸测量单元111测量的被摄体20的每个部位的尺寸（y）的例子。在该例子中，被摄体20的每个部位的尺寸被测量为如下：“（1）总长=71.5cm”、“（2）肩=43.5cm”、“（3）胸=51.5cm”、“（4）袖长=21.0cm”和“（5）袖宽=20.5cm”。这里，作为被摄体20的尺寸，五个部位由尺寸测量单元111测量，但是，尺寸要被测量的部位的数量并没有被特别地限制。

（图像处理单元）

接下来，将参考图4描述由图像处理单元112处理捕获图像的方法。图像处理单元112基于在捕获图像中示出的对象在真实空间中的尺寸来处理捕获图像。如上所述，在捕获图像中示出的对象在真实空间中的尺寸可以通过尺寸测量单元111来测量。对图像处理单元112怎样处理捕获图像没有施加特别的限制。例如，如上所述，图像处理单元112可以通过基于在捕获图像中示出的对象在真实空间中的尺寸把虚拟对象与捕获图像组合来处理捕获图像。如上所述，可以通过将事先与捕获图像分开登记的图像叠加在捕获图像上，或者通过修改捕获图像（例如，通过将从捕获图像捕获的图像叠加在捕获图像上）来执行虚拟对象的组合。

例如，图像处理单元112可以将根据基于对象在真实空间中的尺寸与事先登记的一个或多个真实对象中的每一个的尺寸之间的匹配结果选择的真实对象（在下文中，也被称为“选择对象”）的虚拟对象与捕获图像组合。虽然没有特别地限制，但是真实对象可以是诸如人或动物的活体，或者除了活体以外的物体，诸如车辆或一件家具。一个或多个真实对象中的每一个的尺寸可以被事先登记在存储单元120中。

在存在与对象在真实空间中的尺寸与一个或多个真实对象中的每一个的尺寸对应的部位的情况中，可以基于针对各个对应部位的每一个的匹配结果来选择选择对象。更具体地说，选择对象可以是对应部位的差值的平方和是最小的真实对象。图4示出男士衬衫的每一个部位的尺寸（x）作为一个或多个真实对象的每个部位的尺寸被事先登记的例子。

在该例子中，男士衬衫的总长（1）被登记为“（尺寸S）66.5cm、（尺寸M）69.5cm、（尺寸L）72.5cm、（尺寸XL）74.5cm”。此外，男士衬衫的肩（2）被登记为“（尺寸S）40.5cm、（尺寸M）42.0cm、（尺寸L）43.5cm、（尺寸XL）45.5cm”。此外，男士衬衫的胸（3）被登记为“（尺寸S）46.5cm、（尺寸M）49.5cm、（尺寸L）52.5cm、（尺寸XL）56.5cm”。

此外，男士衬衫的袖长（4）被登记为“（尺寸S）19.0cm、（尺寸M）20.5cm、（尺寸L）21.5cm、（尺寸XL）22.5cm”。此外，男士衬衫的袖宽（5）被登记为“（尺寸S）18.5cm、（尺寸M）19.5cm、（尺寸L）20.5cm、（尺寸XL）22.0cm”。例如，图像处理单元112可以基于下面的公式（1）来计算对应部位的差值的平方的和σ²。

σ²=Σ(xi-yi)²        ...(1)

例如，如果针对尺寸S计算σ²，那么得到如下：σ_S ²=(66.5cm-71.5cm)²+(40.5cm-43.5cm)²+(46.5cm-51.5cm)²+(19.0cm-21.0cm)²+(18.5cm-20.5cm)²=67cm²。同样地，如果针对尺寸M、尺寸L和尺寸XL计算σ²，那么得到如下：σ_M ²=11.5cm²、σ_L ²=2.25cm²、σ_XL ²=42.5cm²。

因此，在图4中的例子中，图像处理单元112可以选择尺寸L的衬衫作为具有最小σ²的尺寸的衬衫。另外，这里，假定图像处理单元112选择其对应部位的差值的平方和是最小的真实对象，但是也可以选择其对应部位的差值的和是最小的真实对象。

或者，图像处理单元112可以优选地选择针对特定部位具有小差值的真实对象。如果执行这样的选择，那么可以将这样的条件纳入考虑范围，即，例如，允许针对“总长”、“袖长”等的大差值，但不是针对“肩”、“胸”、“袖宽”等的大差值。也就是说，特定部位可以是“肩”、“胸”、“袖宽”等。图像处理单元112可以通过将根据选择对象的虚拟对象与捕获图像组合来处理捕获图像。

可以针对每一个真实对象准备虚拟对象。在这种情况中，例如，根据选择对象的虚拟对象可以是与选择对象相关联的虚拟对象。此外，不必对每一个真实对象都准备虚拟对象。在这种情况中，例如，根据选择对象的虚拟对象可以是已经根据选择对象的尺寸进行了调整的虚拟对象。可以根据传感器150与对象之间的距离来改变要与捕获图像组合的虚拟对象的尺寸。接下来，将参考图5描述通过图像处理单元112已经与虚拟对象组合的捕获图像的例子。

图5是示出由图像处理设备100生成的组合图像的例子的示图。如图5所示，通过将根据基于被摄体20在真实空间中的尺寸选择的尺寸L衬衫的虚拟对象31C与被摄体21组合，图像处理单元112可以获得捕获图像131C。参考图5，可以看出，组合的虚拟对象31C与被摄体21的尺寸匹配。

另一方面，参考当根据尺寸S衬衫的虚拟对象31A与被摄体21组合时获得的捕获图像131A，可以看出，虚拟对象31A与被摄体21的尺寸不匹配。同样地，参考当根据尺寸M衬衫的虚拟对象31B与被摄体21组合时获得的捕获图像131B，可以看出，虚拟对象31B与被摄体21的尺寸不匹配。进一步参考当根据尺寸XL衬衫的虚拟对象31D与被摄体21组合时获得的捕获图像131D，可以看出，虚拟对象31D与被摄体21的尺寸不匹配。

（显示控制单元）

显示单元130由显示控制单元113控制，从而使得已经由图像处理单元112处理的捕获图像由显示单元130显示。在图5中示出的例子中，显示单元130由显示控制单元113控制，从而使得捕获图像131C由显示单元130显示。

迄今为止，已经参考图2到图5对根据本公开实施例的图像处理设备100的功能进行了描述。在下文中，将参考图6对根据本公开实施例的图像处理设备100的操作的流程的例子进行描述。

<3.图像处理设备的操作>

图6是示出根据本公开实施例的图像处理设备100的操作的流程的例子的流程图。另外，参考图6描述的图像处理设备100的操作尤其是指针对下述情况的图像处理设备100的操作：其中，基于被摄体20的骨架结构信息和深度信息，针对每一部位测量被摄体的尺寸。此外，参考图6描述的图像处理设备100的操作是针对真实对象是衬衫的情况的操作。

如图6所示，首先，尺寸测量单元111检测被摄体20的骨架结构信息和深度信息（步骤S11）。然后，尺寸测量单元111基于骨架结构信息和深度信息针对每一部位测量被摄体20在真实空间中的尺寸（步骤S12）。图像处理单元112计算由尺寸测量单元111测量的被摄体20在真实空间中的尺寸与一个或多个衬衫中的每一个的尺寸之间的欧几里得距离（Euclidean distance）σ（步骤S13）。

图像处理单元112选择具有最小欧几里得距离σ的尺寸的衬衫（步骤S14），并将选择的衬衫的虚拟对象与捕获图像组合（步骤S15）。显示单元130可以由显示控制单元113控制，从而使得已经与虚拟对象组合的捕获图像由显示单元130显示。

迄今为止，已经参考图6描述了图像处理设备100的操作的流程的例子。

<4.总结>

如上所述，根据本公开的实施例，提供一种图像处理设备，其包括用于将虚拟对象与捕获图像组合的图像处理单元，其中，图像处理单元基于在捕获图像中示出的对象在真实空间中的尺寸来确定虚拟对象。根据这样的图像处理设备，在将在捕获图像中示出的对象在真实空间中的尺寸考虑在内的情况下，可以确定虚拟对象。例如，通过事先登记可以提供给用户的服装的尺寸，基于服装的尺寸和用户在真实空间中的尺寸，可以将适当尺寸的服装推荐给用户。

本领域的技术人员应该理解，可以根据设计要求和其它因素进行各种修改、组合、子组合和替换，只要它们在所附权利要求或其等同物的范围即可。

例如，包括图像处理单元112的图像处理设备100可以在服务器中设置或者在能够与服务器通信的终端中设置。此外，上文主要描述了这样的例子，其中，基于捕获图像测量对象的尺寸的功能被设置在图像处理设备100中，但是这样的功能也可以被设置在除了图像处理设备100以外的装置中。例如，这样的功能可以被设置在传感器150中。例如，在图像处理设备100将捕获图像发送到另一个装置的情况中，另一个装置可以基于捕获图像来测量对象的尺寸，而不是由图像处理设备100来测量对象的尺寸。

此外，例如，上文主要描述了这样的例子，其中，在图像处理设备100中设置显示控制单元113，但是显示控制单元113也可以被设置在除了图像处理设备100以外的装置中。例如，图像处理单元112可以被设置在服务器中，并且显示控制单元113可以被设置在终端中。例如，在由服务器处理的捕获图像被发送到终端的情况中，该终端可以控制显示单元130，从而使得捕获图像被显示单元130显示。通过这种方式，本公开的技术也可以被应用于云计算。

此外，例如，上文主要描述了这样的例子，其中，通过图像处理单元112将基于用户在真实空间中的尺寸选择的服装的图像与捕获图像进行组合，但是尺寸要被测量的对象并没有被特别地限制，要与捕获图像组合的虚拟对象也没有被特别地限制。例如，图像处理单元112可以将根据选择的对象的虚拟对象与捕获图像进行组合，该选择的对象是基于车库在真实空间中的尺寸与事先登记的一辆或多辆汽车中的每一个的尺寸之间的匹配结果选择的汽车。因此，可以根据车库在真实空间中的尺寸向用户推荐汽车。

此外，例如，图像处理单元112可以将根据选择的对象的虚拟对象与捕获图像进行组合，该选择的对象是基于电视桌在真实空间中的尺寸与事先登记的一台或多台电视机中的每一个的尺寸之间的匹配结果选择的电视机。因此，可以根据电视桌在真实空间中的尺寸向用户推荐电视机。

此外，例如，图像处理单元112可以将根据选择的对象的虚拟对象与捕获图像进行组合，该选择的对象是基于容纳物在真实空间中的尺寸与事先登记的一个或多个容器中的每一个的尺寸之间的匹配结果选择的容器。因此，可以根据容纳物在真实空间中的尺寸向用户推荐容器。该容器可以是袋子或手提箱。

此外，例如，图像处理单元112可以将根据选择的对象的虚拟对象与捕获图像进行组合，该选择的对象是基于在捕获图像中示出的墙壁在真实空间中的尺寸与事先登记的一张或多张布告中的每一个的尺寸之间的匹配结果选择的布告。因此，可以向用户推荐悬挂在墙壁上的布告。该布告可以是图画或海报。

此外，例如，图像处理单元112可以将根据选择的对象的虚拟对象与捕获图像进行组合，该选择的对象是基于在捕获图像中示出的多个对象之间的空间在真实空间中的尺寸与事先登记的一个或多个对象中的每一个的尺寸之间的匹配结果选择的对象。因此，可以向用户推荐适合于多个对象之间的空间的对象。该对象可以是一件家具或者器具，诸如电视机或扬声器。

此外，例如，上文主要描述了这样的例子，其中，通过基于在捕获图像中示出的对象在真实空间中的尺寸将事先与捕获图像分开登记的图像叠加在捕获图像上来将虚拟对象与捕获图像组合，但是，图像处理单元112可以通过根据对象在真实空间中的尺寸修改捕获图像来将虚拟对象与捕获图像组合。图像处理单元112可以通过根据对象在真实空间中的尺寸改变对象的布置来修改捕获图像。例如，图像处理单元112可以通过下述方式来修改捕获图像：基于在捕获图像中示出的一件家具在真实空间中的尺寸改变其它家具的布置，从而使得该件家具适合于在捕获图像中的其它家具之间。例如，改变捕获图像中的其它家具的布置可以通过将从捕获图像中捕获的其它家具的图像叠加在该捕获图像上来执行。

此外，例如，图像处理单元112可以通过下述方式来修改捕获图像：基于在捕获图像中示出的一件行李在真实空间中的尺寸来改变其它行李的布置，从而使得该件行李适合于在捕获图像中的其它家具之间。例如，改变捕获图像中的其它行李的布置可以通过将从捕获图像中捕获的其它行李的图像叠加在捕获图像上来执行。这些行李可以放在卡车床等上。如果本公开的技术被应用于这样的情况，那么可以提高将行李装载到卡车上的工作效率。

此外，根据本说明书的图像处理设备100的操作的步骤不必一定根据如流程图所描述的顺序按时间序列处理。例如，图像处理设备100的操作的步骤可以以与流程图所示的顺序不同的顺序处理或者并行处理。

因此，也可以创建用于使被嵌入图像处理设备100中的诸如CPU、ROM和RAM的硬件实现与上述图像处理设备100的每一个元件等同的功能的计算机程序。此外，还提供存储该计算机程序的存储介质。

另外，下面的配置也在本公开的技术范围之内。

（1）一种图像处理设备包括：

图像处理单元，用于将虚拟对象与捕获图像组合；

其中，该图像处理单元基于在该捕获图像中示出的对象在真实空间中的尺寸来确定虚拟对象。

（2）根据（1）的图像处理设备，其中，图像处理单元将捕获图像与根据选择的对象的虚拟对象组合，该选择的对象是基于对象在真实空间中的尺寸与事先登记的一个或多个真实对象中的每一个的尺寸之间的匹配结果选择的真实对象。

（3）根据（2）的图像处理设备，其中，在存在与对象在真实空间中的尺寸与一个或多个真实对象中的每一个的尺寸对应的部分的情况中，基于各个相应的对应部分的匹配结果来选择选择的对象。

（4）根据（3）的图像处理设备，其中，选择的对象是其对应部分的差值的平方和最小的真实对象。

（5）根据（2）到（4）中的任一个的图像处理设备，其中，图像处理单元通过将事先与捕获图像分开登记的虚拟对象叠加在捕获图像上来将虚拟对象与捕获图像组合。

（6）根据（1）的图像处理设备，其中，图像处理单元通过根据对象在真实空间中的尺寸修改捕获图像来将虚拟对象与捕获图像组合。

（7）根据（6）的图像处理设备，其中，图像处理单元通过根据对象在真实空间中的尺寸改变在捕获图像中示出的另一个对象的布置来修改捕获图像。

（8）根据（1）的图像处理设备，还包括：

尺寸测量单元，用于测量在捕获图像中示出的对象在真实空间中的尺寸。

（9）根据（1）的图像处理设备，还包括：

显示控制单元，用于控制显示单元，从而使得通过图像处理单元已经与虚拟对象组合的图像由显示单元显示。

（10）一种图像处理方法，包括：

基于在捕获图像中示出的对象在真实空间中的尺寸，确定将与捕获图像组合的虚拟对象。

（11）一种用于使计算机起图像处理设备的作用的程序，该图像处理设备包括：

图像处理单元，用于将虚拟对象与捕获图像组合；

其中，该图像处理单元基于在该捕获图像中示出的对象在真实空间中的尺寸来确定虚拟对象。

本公开包含与在2011年11月4日提交在日本专利局中的日本在先专利申请JP 2011-242012中公开的主题相关的主题，该专利申请的全部内容以引用的方式并入本文中。

Claims (11)

1.一种图像处理设备，包括：

图像处理单元，用于将虚拟对象与捕获图像组合；

其中，图像处理单元基于在捕获图像中示出的对象在真实空间中的尺寸来确定虚拟对象。

2.根据权利要求1所述的图像处理设备，其中，图像处理单元将捕获图像与根据选择的对象的虚拟对象组合，该选择的对象是基于对象在真实空间中的尺寸与事先登记的一个或多个真实对象中的每一个的尺寸之间的匹配结果选择的真实对象。

3.根据权利要求2所述的图像处理设备，其中，在存在与对象在真实空间中的尺寸与一个或多个真实对象中的每一个的尺寸对应的部分的情况中，基于各个相应的对应部分的匹配结果来选择选择的对象。

4.根据权利要求3所述的图像处理设备，其中，选择的对象是其对应部分的差值的平方和最小的真实对象。

5.根据权利要求2所述的图像处理设备，其中，图像处理单元通过将事先与捕获图像分开登记的虚拟对象叠加在捕获图像上来将虚拟对象与捕获图像组合。

6.根据权利要求1所述的图像处理设备，其中，图像处理单元通过根据对象在真实空间中的尺寸修改捕获图像来将虚拟对象与捕获图像组合。

7.根据权利要求6所述的图像处理设备，其中，图像处理单元通过根据对象在真实空间中的尺寸改变在捕获图像中示出的另一个对象的布置来修改捕获图像。

8.根据权利要求1所述的图像处理设备，还包括：

尺寸测量单元，用于测量在捕获图像中示出的对象在真实空间中的尺寸。

9.根据权利要求1所述的图像处理设备，还包括：

显示控制单元，用于控制显示单元，从而使得通过图像处理单元已经与虚拟对象组合的图像由显示单元显示。

10.一种图像处理方法，包括：

基于在捕获图像中示出的对象在真实空间中的尺寸，确定将与捕获图像组合的虚拟对象。

11.一种用于使计算机起图像处理设备的作用的程序，该图像处理设备包括：

图像处理单元，用于将虚拟对象与捕获图像组合；

其中，图像处理单元基于在捕获图像中示出的对象在真实空间中的尺寸来确定虚拟对象。

Images