CN105814611A - 信息处理设备、信息处理方法、以及程序 - Google Patents

Abstract

[问题]提供能够通过使用增强现实技术而给予用户真实世界被增强的更强印象的信息处理设备、信息处理方法、以及程序。[解决方案]该信息处理设备包括：识别单元，其配置为识别包括在真实空间中的物体，以基于该真实空间的三维数据将该物体与背景区分开，以便生成通过改变该物体的状态而得到的虚拟物体图像。

Description

信息处理设备、信息处理方法、以及程序

技术领域

本公开涉及一种信息处理设备、信息处理方法、以及程序。

背景技术

近年来，一种称为增强现实(AR)的技术已引起了关注，该技术将附加信息叠加在真实空间上，且将该信息呈现给用户。在AR技术中，呈现给用户的信息通过使用各种形式的虚拟物体(诸如文本、图标或动画)是可视化的。根据与虚拟物体相关联的真实物体的位置，将虚拟物体定位在AR空间中，并且在AR空间中，例如，虚拟物体能够移动，能够碰撞，且能够变形。

例如，以下引用的专利文献1公开了一种用于使虚拟物体变形的技术和用于移动虚拟物体、同时确定与由虚拟物体表示的地形的碰撞的技术。

引用列表

专利文献

专利文献1：JP2012-141822A

发明内容

技术问题

然而，以上引用的专利文献1中公开的技术仅表示虚拟物体的变化(诸如虚拟物体的变形和虚拟物体之间的相互作用)。为了通过使用AR技术给予用户真实世界被增强的更强印象，希望提供改变真实空间中的物体的表示。

问题的解决方案

根据本公开，提供了一种信息处理设备，其包括：识别单元，其配置为识别包括在真实空间中的物体，以基于该真实空间的三维数据而将该物体与背景区分开，以便生成通过改变该物体的状态而获得的虚拟物体图像。

根据本公开，提供了一种信息处理方法，其包括：通过处理器识别包括在真实空间中的物体，以基于该真实空间的三维数据而将该物体与背景区分开，以便生成通过改变该物体的状态而获得的虚拟物体图像。

根据本公开，提供了一种程序，其使得计算机用作：识别单元，其配置为识别包括在真实空间中的物体，以基于该真实空间的三维数据而将该物体与背景区分开，以便生成通过改变该物体的状态而获得的虚拟物体图像。

本发明的有益效果

如上所述，根据本公开，可能通过使用AR技术而给予用户真实世界被增强的更强印象。请注意，上述效果不一定是有限的，连同这些效果或是代替这些效果，可以展示希望在本说明书中引入的任何效果或能够从本说明书中期望的其它效果。

附图说明

图1为解释根据本公开实施例的AR显示处理概述的图。

图2为示出根据该实施例的智能手机配置示例的框图。

图3为解释用于识别目标物体的处理的图。

图4为解释用于生成背景纹理的处理的解释视图。

图5为解释用于生成背景纹理的处理的解释视图。

图6示出用于生成背景纹理的UI的示例。

图7为解释由目标物体的状态变化引起的动态绘制掩膜生成处理的图。

图8为解释用于显示背景纹理的处理的解释视图。

图9为解释用于显示背景纹理的处理的解释视图。

图10为解释用于显示背景纹理的处理的解释视图。

图11示出用于校正变化纹理的亮度的处理的示例。

图12为示出用于生成变化物体的处理流程示例的流程图，该处理流程示例根据该实施例在智能手机中执行。

图13为示出缓存处理流程示例的流程图，该处理流程示例根据该实施例在智能手机中执行。

图14为示出用于生成背景纹理的处理流程示例的流程图，该处理流程示例根据该实施例在智能手机中执行。

图15为示出用于生成变化纹理的处理流程示例的流程图，该处理流程示例根据该实施例在智能手机中执行。

图16为示出AR显示处理流程示例的流程图，该处理流程示例根据该实施例在智能手机中执行。

具体实施方式

下文将结合附图详细描述本公开的优选实施例。在本说明书和附图中，以相同附图标记表示具有基本相同功能和结构的结构元件，且省略对这些结构元件的重复解释。

注意，将按以下顺序进行说明。

1、概述

2、智能手机的配置示例

3、操作处理

3-1、生成变化物体的处理

3-2、缓存处理

3-3、生成背景纹理的处理

3-4、生成变化纹理的处理

3-5、AR显示处理

4、结论

<1、概述>

将结合图1描述根据本公开的实施例的AR显示处理的概述。

图1为解释根据本公开实施例的AR显示处理概述的图。如图1中所示，用户看着显示单元7，同时手持智能手机1，且位于显示单元7的背面侧的图像拾取单元朝向桌子。在该桌上，放置有电话机10、打包带11、头盔12、饮料罐13、喷雾罐14。如图1中的附图标记100所指示的，根据本实施例的智能手机1能进行通过在真实空间中改变放置在桌上的这些物体而获得的显示。

如图1中的附图标记100所指示的，智能手机1显示一种状态，其中球120(其为虚拟物体)从智能手机1扔出，且与桌上的物体碰撞，以对真实空间产生作用。具体地，智能手机1通过将示出飞出的打包带11和破坏的头盔12的AR图像111和112叠加在通过实时捕捉真实空间图像而获得的捕捉图像上来进行显示。而且，智能手机1通过将示出背景的AR图像121和122叠加在各个区域上来进行显示，在这些区域中，初始地放置有打包带11和头盔12，这些区域是由于移动或破坏而新露出的那些部分。尽管电话机10、饮料罐13、喷雾罐14为真实物体，球120未与电话机10、饮料罐13、或喷雾罐14碰撞。因此，如图1中的附图标记100所指示的，智能手机1按它们的现时状况显示电话机10、饮料罐13、喷雾罐14的直通图像。以下，在真实物体中，成为承受状态变化的目标的物体，诸如飞出或破坏的物体，将被称为目标物体，且除了该目标物体之外的物体，诸如桌子或墙壁，也将被称为背景物体。通过实时捕捉真实空间图像而获得的捕捉图像也将被称为直通图像。

作为实现这种表示的第一事先准备，首先，智能手机1获取真实空间的三维数据。该三维数据是包含关于真实空间中物体的顶点、连接这些顶点的线段、以及由这些线段包围的表面的位置信息的数据，且是表示该真实空间的三维形状(表面)的信息。通过使用该三维数据，智能手机1能在合适位置显示AR图像(物体图像)，且能表示诸如虚拟物体和真实物体之间的碰撞的相互作用。

作为第二事先准备，智能手机1基于哪个与背景物体相关的AR图像被生成而收集图像，且生成该背景物体的表面的纹理(表面图像)。具体地，首先，关于该三维数据中的各表面中与该背景物体对应的部分，智能手机1收集通过捕捉真实空间中对应于该部分的区域的图像而得到的捕捉图像，且缓存该所捕捉图像。例如，在图1中所示的示例中，在其中仅存在于打包带11的前侧捕捉的捕捉图像时，未捕捉打包带11的背面侧的背景物体，因为该背景物体被隐藏。因此，智能手机1不仅缓存于打包带11的前侧捕捉的捕捉图像，也缓存于打包带11的背面侧捕捉的捕捉图像。之后，智能手机1组合缓存的这些捕捉图像(缓存图像)，由此生成虚拟纹理(背景纹理)的图像，其中不存在目标物体。

作为第三事先准备，智能手机1基于哪个与目标物体相关的AR图像被生成而生成纹理。具体地，首先，智能手机1生成通过改变目标物体的状态而获得的虚拟物体(变化物体)，且计算当前位置。例如，在图1中所示的示例中，智能手机1生成头盔12的破坏部分112的三维数据。之后，智能手机1生成要在变化物体的表面上显示的变化纹理。

在其中执行上述的AR显示的情况下，智能手机1显示AR图像，同时根据物体的状态变化(诸如破坏或移动)动态地遮蔽直通图像。具体地，首先，智能手机1计算作为事先准备而生成的变化物体的状态变化，且动态地确定该变化物体在该直通图像中的当前位置。例如，在图1中所示的示例中，计算了飞出的打包带111的当前位置和头盔12的破坏部分112的当前位置。之后，智能手机1生成绘制掩膜，其在AR显示时，在该直通图像中发送用于进行不同于真实空间的显示的区域。例如，关于图1中所示的打包带11，生成了绘制掩膜，该绘制掩膜发送因为打包带11飞出而新露出的背景以及用于显示该飞出的打包带11的区域。之后，智能手机1显示对应于在该绘制掩膜中发送的这些区域的纹理。

关于背景物体的AR图像，通过使用绘制掩膜，智能手机1在该背景物体的表面上显示在事先准备中生成的背景纹理。例如，在图1中所示的示例中，在因打包带11飞出而新露出的背景区域中显示该背景纹理的相应区域112。以这种方法，智能手机1能在由于目标物体的状态变化而新露出的区域中显示自然的背景。

关于目标物体的AR图像，智能手机1在变化物体的表面上显示在事先准备中生成的变化纹理。然而，为了更自然地表示该目标物体的状态变化，智能手机1为在直通图像中露出的该变化物体的表面部分贴附该直通图像中的相应区域，且将变化纹理贴附到其它区域。例如，在图1中所示的示例中，因为露出了打包带11的周缘部分，智能手机1通过将该直通图像中的该周缘部分的图像贴附到该飞出的打包带的周缘部分111而显示该周缘部分。同时，因为例如头盔12的内部是隐藏的，智能手机1在破坏部分112的破坏截面中显示在事先准备中生成的变化纹理。以这种方法，智能手机1能更自然地表示状态已变化的目标物体。

注意，尽管图1示出了一个示例，其中根据本公开的实施例的信息处理设备被实现为智能手机1，但根据本公开的技术不限于此。例如，该信息处理设备可以是头戴式显示器(HMD)、数字照相机、数字摄像机、平板终端、移动电话终端，等等。在其中信息处理设备被实现为HMD的情况下，该HMD可以通过将AR图像叠加在由照相机捕捉的直通图像上进行显示，或是可以在形成于透明或半透明完成状态的显示单元上显示AR图像。

以上已描述了根据本实施例的AR显示处理的概述。接下来，将结合图2至图11描述根据本实施例的智能手机1的配置。

<2、智能手机的配置示例>

图2为示出根据本实施例的智能手机1的配置示例的框图。如图2中所示，智能手机1包括图像拾取单元2、姿势信息采集单元3、三维数据采集单元4、控制单元5、显示控制单元6、以及显示单元7。

(1)图像拾取单元2

图像拾取单元2包括例如包含图像拾取镜头、光圈、变焦镜头、以及聚焦镜头等的镜头系统、用于使得该镜头系统执行聚焦操作和变焦操作的驱动系统、以及用于对在该镜头系统中获得的光进行光电转换和生成图像拾取信号的固态图像拾取元件阵列。该固态图像拾取元件阵列可以通过例如电荷耦合器件(CCD)传感器阵列或互补金属氧化物半导体(CMOS)传感器阵列来实现。该图像拾取单元2可以是单镜头相机或是立体摄像机。使用下述的图像生成单元53，由该单镜头相机或立体摄像机捕捉的捕捉图像可用于生成纹理，或者，使用三维数据采集单元4，该所捕捉图像可用于生成动态三维数据。

根据本实施例的图像拾取单元2具有捕捉真实空间图像，以采集用于使用下述的变化物体生成单元52生成纹理的图像的功能。图像拾取单元2也具有采集通过实时捕捉真实空间图像获得的直通图像的功能。图像拾取单元将所捕捉的图像输出给控制单元5和显示控制单元6。

(2)姿势信息采集单元3

姿势信息采集单元3具有采集指示智能手机1的位置和角度(姿势)的姿势信息的功能。该姿势信息采集单元3特别采集关于图像拾取单元2的姿势信息。在AR技术中，为将真正有用的信息呈现给用户，重要的是计算机准确地抓取真实空间的情况。因此，已经开发成为AR技术的基础的用于抓取真实空间的情况的技术。一种这样的技术为一种例如能够同时推定相机的位置和姿势以及存在于该相机的图像中的特征点的位置的、称为同时定位与地图创建(SLAM)的技术。在＂AndrewJ.Davison，”Real-TimeSimultaneousLocalizationandMappingwithaSingleCamera＂，Proceedingsofthe9thIEEEInternationalConferenceonComputerVisionVolume2，2003，PP.1403-1410”中描述了使用单镜头相机的SLAM技术的基本原理。注意，具体地，用于通过使用相机图像可视地推定位置的SLAM技术也称为可视SLAM(VSLAM)。在SLAM技术中，通过使用环境地图和相机图像来推定相机的位置和姿势。在其中例如使用SLAM技术的情形中，姿势信息采集单元3能准确地定位多边形信息，用于通过将环境地图与属于该物体的特征点的三维位置进行匹配，相对于真实物体而形成物体的形状。基于该定位的结果，姿势信息采集单元3采集关于图像拾取单元2的姿势信息。此外，姿势信息采集单元3可以通过使用采用标记物的姿势推定技术(称为密实时跟踪和映射(DTAM)的技术，或称为Kinect融合的技术)。该姿势信息采集单元3也可以基于由加速度传感器、角速度(陀螺仪)传感器、以及地磁传感器检测的信息来采集姿势信息。该姿势信息采集单元3将所采集的姿势信息输出给控制单元5和显示控制单元6。

(3)三维数据采集单元4

三维数据采集单元4具有采集真实空间的三维数据的功能。可通过例如单镜头图像拾取传感器、多镜头图像拾取传感器、或使用红外线的形状传感器准备该三维数据。三维数据采集单元4可以通过使用图像拾取单元2或使用红外线的形状传感器(未示出)以及姿势信息采集单元3生成三维数据，或是可以从外部设备采集事先在另一终端中生成的三维数据。该三维数据实现为例如计算机辅助设计(CAD)数据。三维数据采集单元4将所采集的三维数据输出给控制单元5和显示控制单元6。

(4)控制单元5

控制单元5用作算术处理单元和控制设备，且根据各种程序控制智能手机1中的全部操作。控制单元5例如通过诸如中央处理单元(CPU)的电子电路或微处理器实现。注意，控制单元5可以包括用于存储要使用的程序、计算参数等的只读存储器(ROM)以及用于临时存储适时变化的参数等的随机存取存储器(RAM)。如图2中所示，控制单元5用作识别单元51、变化物体生成单元52、以及图像生成单元53。

(4-1)识别单元51

识别单元51具有基于由三维数据采集单元4采集的真实空间的三维数据，识别包括在真实空间中的目标物体，以将该目标物体与背景物体区分开的功能。例如，假设该三维数据指示人造物体(例如，房间的内部结构)，则识别单元51从该三维数据识别地板表面(主导平面)和墙表面。之后，识别单元51识别作为目标物体的除了该地板表面或墙表面之外的三维形状，该三维形状在该地板表面上突出，且具有等于或大于一阈值阈值的体积。注意，例如，起初与该地板表面或该墙表面接触的该所识别目标物体的一部分可能是一缺失缺失的部分(孔)，因为该部分在该三维数据中未被登记为表面。因此，识别单元51通过延伸该缺失部分周围的顶点，用线连接该缺失部分周围的这些顶点，或对表面进行补偿，来内插该缺失部分。此外，识别单元51可以通过使用先前存在的算法来内插该缺失部分。使用这种方法，计算体积变得可能，因为保证了目标物体的多样性。因此，识别单元51能适当地识别目标物体。由识别单元51识别的该目标物体是将用于使用下述的变化物体生成单元52来生成变化物体的目标。在由该三维数据指示的三维形状中，识别单元51将除了该目标物体之外的三维形状识别为背景物体。由识别单元51识别的以与目标物体相区分的背景物体被从将用于使用下述的变化物体生成单元52生成变化物体的目标中排除。识别单元51可以以与内插目标物体的缺失部分的方法相同的方法来内插背景物体的缺失部分。以下，将结合图3描述用于使用识别单元51来识别目标物体的处理。

图3为解释用于识别目标物体的处理的图。在本文中，假设图3中由附图标记200指示的三维数据由三维数据采集单元4采集。识别单元51从三维数据200中提取平面，且将具有最大面积的平面201识别为地板表面。此时，识别单元51可以基于由已经采集该三维数据200的终端的加速度传感器检测的重力方向来提取地板表面201。在其中三维数据200由三维数据采集单元4生成的情形中，基于生成该数据时由加速度传感器检测的重力方向来提取地板表面201。使用重力方向提高了地板表面提取的准确度。注意，预期在其中该三维数据指示自然形状的情形中，地板表面(地面)是粗糙的，以及因此识别单元51可以通过使用适度的梯度阈值来提取该地板表面。进一步地，识别单元51从物体中识别安装在该地板表面上的墙表面202。例如，识别单元51定义矩形(轴对准的边界框)，且将垂直于该地板表面以及被提供于由该三维数据指示的三维形状的末端部分中的形状组识别为墙表面202。使用上述的处理，识别单元51识别目标物体210和除了该目标物体之外的背景物体220，以将目标物体210和背景物体220分隔开来。

(4-2)变化物体生成单元52

变化物体生成单元52具有生成通过改变由识别单元51识别的目标物体的状态而获得的变化物体的功能。具体地，变化物体生成单元52生成包含关于变化物体的顶点、连接这些顶点的线段、以及由这些线段包围的表面的位置信息的数据。变化物体可以例如是通过破坏该目标物体获得的被破坏部分或是具有不平坦表面的目标物体。例如，变化物体生成单元52通过将诸如VoronoiFracture或VoronoiShatter的算法应用于目标物体而生成指示被破坏部分的变化物体。以下，将再次结合图3描述使用变化物体生成单元52生成变化物体的处理。

如图3中所示，变化物体生成单元52形成因由识别单元51识别的目标物体210上的破坏而生成的被破坏截面，且将目标物体分成多个部分，由此生成指示被破坏部分的变化物体230。此时，变化物体生成单元52设置指示每个被破坏部分的表面在该目标物体被破坏之前是否是该目标物体的一个表面的标志信息。当下述的显示控制单元6绘制这些被破坏部分时，参考该标志信息。

(4-3)图像生成单元53

图像生成单元53具有基于哪个AR图像被生成而事先生成作为事先准备的纹理，以用于AR显示的功能。具体地，图像生成单元53生成由识别单元51识别的背景物体的虚拟物体图像，即将在因状态变化而新露出的背景物体的表面上显示的纹理(背景纹理)。图像生成单元53也生成通过改变由识别单元51识别的目标物体的状态而获得的虚拟目标图像，即将在由变化物体生成单元52生成的变化物体的表面上显示的纹理(变化纹理)。图像生成单元53基于例如通过使用图像拾取单元2捕捉真实空间的图像而获得的捕捉图像而生成纹理。

(4-3-1)生成背景纹理

图像生成单元53将在通过捕捉真实空间的图像而获得的一个或多个捕捉图像中露出的背景部分组合，由此生成将在背景物体的表面上显示的背景纹理(第一表面图像)。具体地，图像生成单元53从该一个或多个捕捉图像收集对应于背景物体的图像，且通过使用作为最小量单元的由三维数据中的链接顶点的线段划分的区域(以下也称为多边形)来组合这些图像，由此生成背景纹理的图像。图4为解释用于生成背景纹理的处理的解释视图。图4示出了真实空间的捕捉图像与三维数据之间的对应性。在图4中，目标物体的表面被示出为由实线包围的多边形，且背景物体的表面被示出为由虚线包围的多边形。图像生成单元53通过从一个或多个捕捉图像中收集对应于由图4中的虚线指示的背景物体的多边形的图像和组合这些图像，生成背景纹理。

图像生成单元53缓存由图像拾取单元2捕捉的多个捕捉图像，且通过组合一个或多个缓存的图像而形成背景纹理。在缓存时，图像生成单元53优先缓存具有高独立度的捕捉图像。高独立度意指背景被目标物体隐藏的重叠部分小。以这种方法，图像生成单元53能生成具有更多多边形和更少图像的背景纹理，且因此组合时生成的接缝数目被减少。从而，实现了更自然的AR显示。图像生成单元53优先缓存新近捕捉的捕捉图像。以这种方法，图像生成单元53能以更近捕捉的捕捉图像生成背景纹理。这减少了基于哪一个AR图像被生成而捕捉缓存图像的时刻与捕捉直通图像的时刻之间的差异。从而，实现了更自然的AR显示。注意，在本说明书中，将假设图像生成单元53使用多个缓存图像来生成背景纹理而进行描述，但根据本公开的技术不限于此。例如，图像生成单元53可以通过使用多个缓存图像来生成下述的变化纹理。此外，图像生成单元53可以通过使用多个缓存图像来生成与真实物体相关的任意纹理。

图像生成单元53为每个顶点确定独立度。具体地，图像生成单元53进行缓存，以尽可能多地将背景物体的顶点可视化。例如，图像生成单元53确定背景物体的不可见顶点和可见顶点，且进行缓存，使得所有顶点在任何所捕捉图像中变成可见顶点。因为为每个顶点确定了可见性，与其中为每个顶点确定可见性的情形相比，确定次数被减少，且计算量被减少。注意，在三维数据的顶点中，可见顶点是其在所捕捉图像中的对应位置被露出的顶点。同时，在三维数据的顶点中，不可见顶点是其在所捕捉图像中的对应位置被隐藏的顶点。例如，在图4所示的示例中，头盔12前的顶点310为可见顶点，且头盔12后的被隐藏顶点320为不可见顶点。当然，当机器能力增加时，图像生成单元53可以为每个像素确定可见性。

图像生成单元53通过使用由姿势信息采集单元3采集的姿势信息和三维数据计算图像拾取单元2在真实空间中捕捉什么位置和什么角度的图像，由此确定所捕捉图像中顶点的可见性和确定是否进行缓存。图5是解释用于生成背景纹理的处理的解释视图。如图5中所示，图像生成单元53通过使用姿势信息和三维数据动态地计算目标物体的顶点位置，且生成发送所捕捉图像400中的目标物体的区域的掩膜410。之后，图像生成单元53确定包括在掩膜410中发送的区域中的顶点为不可见顶点，且确定其它顶点为可见顶点。注意，不同于使用掩膜410，图像生成单元53可以通过使用通过二维增加掩膜410中的发送区域获得的掩膜420确定顶点的可见性。在这种情况下，更广范围内的顶点被确定为不可见顶点，且因此纠正了姿势信息采集单元3的姿势推定错误。这防止了错误的确定，即防止了将不可见顶点错误地确定为可见顶点。

如上所述，图像生成单元53通过组合一个或多个缓冲图像而生成背景纹理的图像。图像生成单元53优先组合具有大的可见面积的捕捉图像。更具体地，图像生成单元53组合缓存图像，使得通过组合具有大的可见面积的捕捉图像而得到的区域占据背景纹理中的更大区域。以这种方法，用更少的捕捉图像生成了背景纹理，且因此实现了更一致和自然的AR显示。注意，图像生成单元53可以确定在其中可见顶点的数目大的情况下可见面积大，且可以确定在其中可见顶点的数目小的情况下可见面积小。

在背景物体中，在所有缓存图像中不可见的多边形，诸如与目标物体接触的地板表面，在组合的背景纹理中可以是空白的缺失部分。因此，图像生成单元53可以通过使用诸如Inpainting的图像内插算法来在背景纹理中内插该缺失部分。注意，在背景纹理中，通过组合缓存图像获得的区域将被称为可见区域中的背景纹理，而通过使用诸如Inpainting的图像内插算法内插的区域称为不可见区域中的背景纹理。

智能手机1可以提供用于缓存具有高独立度的捕捉图像的用户界面(UI)。例如，智能手机1显示用于引导图像拾取单元2的UI，使得由三维数据指示的实心体的表面中对应于背景的一部分的整个区域在一个或多个缓存的捕捉图像中的至少一个图像中露出。具体地，智能手机1引导用户，使得三维数据中的背景中的所有顶点在任何缓存的捕捉图像中均为可见顶点。图6示出用于生成背景纹理的UI的示例。图6中所示的UI500示出例如显示512，该显示512示出头盔12的后表面以及其与地板接触的表面未被包括在缓存的捕捉图像中。因此，UI500示出用于引导捕捉来自头盔12的后表面侧的图像的显示520。在其中已经缓存通过从打包带11的背景侧捕捉打包带11而得到的捕捉图像的情况下，UI示出显示511，该显示511显示出打包带11的与地板接触的表面未被包括在缓存的捕捉图像中。进一步地，智能手机1可以进行缓存，同时给出一种感觉：用户通过显示示出收集率的显示530来玩游戏。由下述的显示控制单元6进行UI的这样的显示。

例如，环境变化随着时间流逝出现在真实空间中，且在某些情况下多个缓存图像具有不同的亮度值。有鉴于此，在缓存时或在生成纹理时，图像生成单元53记录对应于三维数据中的顶点的位置附近的亮度值，这些位置存在于露出在缓存的捕捉图像中的背景中。下述的显示控制单元6比较这些亮度值，使得这些图像与直通图像相匹配，由此校正纹理的亮度值。因此，实现了更为自然的AR显示。为提高校正的准确度，图像生成单元53可以将与顶点关联的多个亮度值记录为亮度值分布。在可见顶点中，图像生成单元53仅记录显示背景纹理的位置附近的背景物体的可见顶点的像素值。这减少了亮度值比较的次数，该比较是由下述的显示控制单元6执行的，以进行匹配，且提高了亮度值校正的准确度。当然，当机器能力增加时，可以为所有可见顶点进行像素值的记录和亮度值的比较。注意，图像生成单元53可以基于对应于所捕捉图像中的顶点的位置的法向矢量来确定是否记录亮度值。例如，当图像生成单元53在其中法向矢量的方向朝向图像拾取单元2的情况下记录亮度值时，图像生成单元53能防止记录可能引起干扰(诸如侧向干扰)的位置上的亮度值。图像生成单元53记录顶点的足够数目的像素值，以排除由异常值引起的影响。

(4-3-2)生成变化纹理

图像生成单元53生成将在由变化物体生成单元52生成的变化物体的表面上显示的变化纹理。作为将显示的关于该变化物体的纹理，例如，存在两种纹理，即诸如被破坏部分的截面的不可见部分的纹理以及最初被露出的可见部分的纹理。图像生成单元53生成前一种纹理，作为变化纹理(第二表面图像)。关于后一种纹理，由下述的显示控制单元6显示直通图像中的对应部分。

图像生成单元53通过基于对应于所捕捉图像中的目标物体的露出表面的部分进行推定而生成变化纹理。例如，当生成变化纹理时，图像生成单元53可以基于例如在该所捕捉图像中露出的该目标物体的一部分中的像素值的平均值确定单种颜色。由下述的显示控制单元6以该单种颜色涂布该变化物体的不可见区域中的多边形。此外，图像生成单元53可以通过使用诸如Inpainting的图像内插算法生成该变化纹理。在图4所示的示例中，头盔12的表面是可见的，且头盔12的内部是不可见的。因此，在其中显示例如示出图1中所示的被破坏头盔12的AR图像112的情况下，图像生成单元53对头盔12的表面的像素值进行平均，以确定单种颜色作为被破坏部分的不可见被破坏截面的变化纹理的颜色。

如上所述，基于由图像拾取单元2捕捉的图像生成了背景纹理和变化纹理，但是根据本公开的技术不限于此。例如，图像生成单元53可以基于由外部的图像拾取设备事先捕捉的捕捉图像生成背景纹理和变化纹理。然而，考虑图像拾取条件是不同的这一可能性，更可取的是，用于捕捉藉以生成背景纹理与变化纹理的捕捉图像的图像拾取单元和用于捕捉在其上叠加AR图像的直通图像的图像拾取单元是相同的。注意，可以不使用所捕捉图像生成背景纹理和变化纹理。例如，图像生成单元53可以生成以任意单色涂布的纹理或可以基于由深度传感器(未示出)进行的感测的结果而生成表示透视的纹理。

(5)显示控制单元6

显示控制单元6具有控制显示单元7使得显示单元7通过使用由图像生成单元53生成的纹理或直通图像进行AR显示。具体地，首先，显示控制单元6通过使用由姿势信息采集单元3采集的姿势信息和由三维数据采集单元4采集的三维数据而动态地确定直通图像中的背景物体与变化物体的顶点位置。之后，显示控制单元6显示其上叠加该AR图像的该直通图像，同时根据该变化物体的状态变化动态地遮蔽该直通图像。由显示控制单元6进行的控制大体上可被分为以下四类：计算变化物体的状态；生成动态绘制掩膜；显示背景纹理；以及变化物体上的纹理显示。

(5-1)计算变化物体的状态

显示控制单元6计算变化物体的状态。具体地，首先，显示控制单元6计算变化物体的移动。之后，显示控制单元6通过使用姿势信息和三维数据动态地确定直通图像中的背景物体和变化物体的顶点位置。例如，在其中状态变化为破坏的情况下，显示控制单元6完全地计算被破坏部分的位置和姿势，且确定该直通图像中的背景物体的顶点位置以及每个被破坏部分的顶点位置。

(5-2)生成动态绘制掩膜

显示控制单元6动态地生成绘制掩膜，该掩膜在直通图像中发送区域，用于根据目标物体的状态变化进行不同于真实空间的AR显示。例如，在图1中所示的示例中，由于与球120碰撞的冲击的缘故，头盔12向后移动，且因此生成绘制掩膜，该掩膜发送由于该移动而新露出的背景以及其中定位了被破坏的头盔12的被破坏部分的区域。注意，显示控制单元6可以二维增加这样的发送区域，或是将高斯模糊应用于该绘制掩膜。以这种方法，更自然地显示了初始的背景与通过使用该掩膜而绘制的纹理之间的接缝。图7为解释由目标物体的状态变化引起的动态绘制掩膜生成处理的图。图7中的附图标记610和附图标记620指示由显示单元7显示的图像，且附图标记612和附图标记622指示由显示控制单元6动态地生成的绘制掩膜。如图7中的附图标记610所指示的，在其中不存在目标物体的状态变化的情况下，显示控制单元6不进行AR显示，按现状显示直通图像，且因此如附图标记612所示，生成不具有发送区域的绘制掩膜。同时，如图7中的附图标记620所指示的，在其中目标图像的状态变化的情况下，如附图标记622所指示的，显示控制单元6生成绘制掩膜，该掩膜发送用于显示AR图像的区域。

(5-3)显示背景纹理

显示控制单元6显示其中背景纹理被贴附到多边形的AR图像，该多边形为由目标物体隐藏的背景物体，且由于该目标物体的状态变化的缘故被新露出。具体地，显示控制单元6进行显示，以在直通图像上叠加其中背景纹理中的对应区域贴附到背景物体中新露出的多边形的AR图像，同时使用姿势信息和三维数据动态地确定该背景物体在该直通图像中的顶点位置。此时，显示控制单元6可以校正背景纹理的亮度值或像素值。例如，基于在缓存时记录的亮度值分布与直通图像中对应位置中的亮度值分布之间的比较结果，显示控制单元6校正背景纹理的亮度值，使得这两种亮度值变得相互接近。以这种方法，提高了背景纹理与直通图像之间的匹配，且实现了更为自然的AR显示。以下，将结合图8至图10具体描述显示背景纹理的处理。

图8至图10为解释用于显示背景纹理的解释图。图8至图10示出作为示例的显示示例，在该显示示例中所有目标物体被从直通图像删除。图8示出其中可见区域中的背景纹理在由目标物体隐藏的背景中显示的示例。如图8中所示，例如，在其中缓存从头盔12的后表面侧捕捉的捕捉图像的情况下，在头盔12的上半部分的区域中显示可见区域中的背景纹理。以这种方法，如同头盔12的上半部分为透明的一样进行显示。图9示出其中不仅可见区域中的背景纹理而且不可见区域中的背景纹理在由目标物体隐藏的背景中显示的示例。如图9中所示，在其中未缓存通过捕捉头盔12所接触的地板表面的图像而获得的捕捉图像的情况下，在头盔12的下半部分的与地板表面对应的区域中显示不可见区域中的背景纹理。以这种方法，如同头盔12不存在一样进行显示。图10示出其中从图9删除三维数据的显示的显示示例。

(5-4)变化物体上的纹理显示

显示控制单元6通过使用已经动态确定的变化物体的顶点位置将纹理贴附到变化物体的表面而进行显示。如上所述，作为关于变化物体的要显示的纹理，存在两种纹理，即不可见部分中的纹理和可见部分中的纹理。关于前一种纹理，显示控制单元6显示其中由图像生成单元53生成的变化纹理被贴附到因变化物体的状态变化而新露出的多边形上的AR图像。例如，在图1中所示的示例中，显示控制单元6将以由图像生成单元53确定的单种颜色涂布的纹理贴附到对应于被破坏部分的每个表面的多边形中对应于被破坏截面的多边形上。关于后一种纹理，显示控制单元6显示其中在直通图像中露出的目标物体的图像被贴附到变化物体中的对应多边形上的AR图像。例如，在图1中所示的示例中，显示控制单元6将在直通图像中露出的头盔12的表面图像贴附到被破坏部分的每个表面的多边形中对应于头盔12的该表面的多边形上。注意，显示控制单元6可以参考由变化物体生成单元52设置的标志信息而确定显示变化纹理还是显示直通图像的一部分。

显示控制单元6根据目标物体的初始位置和动态确定的变化物体位置之间的差异而校正亮度。例如，显示控制单元6基于直通图像中目标物体的亮度分布而推定光源的位置，且计算如何将变化物体暴露于来自该推定的光源的光下，由此校正变化纹理的亮度分布和显示该变化纹理。以这种方法，显示控制单元6能根据目标物体的状态变化(诸如破坏或移动)来表示如何将目标物体自然地暴露于光下。图11示出校正变化纹理的亮度的处理示例。如图11中所示，由于破坏的缘故，被破坏的电话机10的被破坏部分710的位置和角度被改变。因此，显示控制单元6通过校正被破坏部分710中的听筒的外部的亮度值而表示阴影。通过在破坏时生成阴影，显示控制单元6能更自然地表示目标物体的破坏。注意，光源的位置可以是预定位置。

(6)显示单元7

基于由显示控制单元6进行的控制，显示单元7组合由图像拾取单元2捕捉的直通图像和由图像生成单元53生成的AR图像，且显示该组合的图像。显示单元7通过例如液晶显示器(LCD)或有机发光二极管(OLED)而，实现。在其中根据本实施例的信息处理设备被实现为HMD的情况下，显示单元7可以形成为透明或半透明的完成状态，且在该完成状态下显示显示在显示单元7上的真实空间中的AR图像。此外，基于由显示控制单元6进行的控制，显示单元7显示用于缓存具有高独立度的捕捉图像的UI，已结合图6对该UI进行描述。

以上，已描述根据本实施例的智能手机1的配置示例。接下来，将结合图12至图16描述根据本实施例的智能手机1的操作处理。

<3、操作处理>

以下，将作为示例描述其中智能手机1显示其中目标物体被破坏的AR图像的示例中的操作处理

[3-1、生成变化物体的处理]

图12为示出用于生成变化物体的处理流程示例的流程图，该处理流程示例根据本实施例在智能手机1中执行。

如图12中所示，在步骤S102中，识别单元51提取地板表面。具体地，识别单元51从由三维数据采集单元4采集的三维数据中提取平面，且将具有最大面积的平面识别为地板表面。此时，识别单元51可以将垂直于地板表面、且在由三维数据指示的三维形状的末端部分中提供的形状组识别为墙表面202。

在步骤S104中，识别单元51将目标物体与背景物体分隔开来。具体地，识别单元51将除了地板表面或墙表面之外的三维形状识别为目标物体，该三维形状在地板表面上突出，且具有等于或大于阈值的体积。而且，在由三维数据指示的三维形状中，识别单元51将除了该目标物体之外的三维形状识别为背景物体。

在步骤S106中，识别单元51内插该目标物体的缺失部分。具体地，关于诸如初始与该地板表面或墙表面接触的该目标物体的一部分的缺失部分，识别单元51通过延伸该缺失部分周围的顶点，用线连接该缺失部分周围的这些顶点，或对表面进行补偿，来内插该缺失部分。类似地，识别单元51内插背景物体的缺失部分。

在步骤S108中，变化物体生成单元52生成通过改变目标物体的状态而获得的变化物体。具体地，变化物体生成单元52通过将诸如VoronoiFracture或VoronoiShatter的算法应用于目标物体而生成示出被破坏部分的变化物体。

[3-2、缓存处理]

图13为示出缓存处理流程示例的流程图，该缓存处理流程示例根据本实施例在智能手机1中执行。

如图13中所示，在步骤S202中，图像拾取单元2捕捉真实空间的图像，且将所捕捉图像输出给图像生成单元53。

在步骤S204中，图像生成单元53推定图像拾取单元2的位置和姿势。具体地，在其中图像拾取单元2在步骤S202中捕捉了该图像的情况下，图像生成单元53使用由姿势信息采集单元3采集的姿势信息与由三维数据采集单元4采集的三维数据来推定图像拾取单元2在真实空间的何位置以何角度捕捉了作为缓存候选者的捕捉图像。

在步骤S206中，图像生成单元53确定是否缓存由图像拾取单元2在步骤S202中捕捉的捕捉图像。具体地，首先，图像生成单元53基于图像拾取单元2在真实空间中的的位置和角度而确定所捕捉图像中的背景物体的顶点的可见性，在步骤S204中已推定该位置和角度。之后，图像生成单元53确定是否进行缓存，使得优先缓存具有高独立度和新近被捕捉的捕捉图像。借助于该关于缓存的确定，通过使用在更近一些时候捕捉的更少的缓存图像生成了背景纹理，且因此实现了更为自然的AR显示。注意，在其中新捕捉了具有比已经缓存的缓存图像的独立度更高的独立度的捕捉图像的情况下，图像生成单元53可以通过替代那些缓存图像来更新缓存的内容。

在其中确定进行缓存(S206/是)的情况下，在步骤S208中，图像生成单元53缓存所捕捉图像。相反地，在其中确定不进行缓存(S206/否)的情况下，处理返回到步骤S202。

在步骤S210中，图像生成单元将对应于三维数据中顶点的位置附近的多个亮度值记录为与顶点关联的亮度值分布，这些位置处于在缓存的捕捉图像中露出的背景中。如上所述，由显示控制单元6参考此时记录的该亮度值分布，且在AR显示时校正了背景纹理的亮度值。使用这种方法，实现了更自然的AR显示。

通过重复上述处理，智能手机优先缓存具有更高独立度的且被更新近地捕捉的捕捉图像。

[3-3、生成背景纹理的处理]

图14为示出用于生成背景纹理的处理流程示例的流程图，该处理流程示例根据本实施例在智能手机1中执行。

如图14中所示，在步骤S302中，图像生成单元53基于可见面积按升序(即按从最小可见面积计起的顺序)对缓存图像进行排序。图像生成单元53在下述的步骤S306中以排序顺序组合缓存图像，且因而图像生成单元53优先组合具有大的可见面积的缓存图像。

在步骤S304中，图像生成单元53基于具有最大可见面积的缓存图像为每个缓存图像校正像素值。这防止了其中在接缝周围像素值有很大不同的不自然背景纹理的生成。

在步骤S306中，图像生成单元53通过按在步骤S302中排列的顺序(即从最小可见面积计起的顺序)组合缓存图像而生成背景纹理。具体地，图像生成单元53通过以从最小可见面积开始的顺序重叠这些缓存图像，且最后绘制具有最大可见面积的缓存图像，来绘制缓存图像。较早绘制的缓存图像的重叠部分被后面绘制的缓存图像覆盖，因此，由于可见面积较小，则绘制区域就较小。相应地，图像生成单元53进行组合，使得通过组合具有大的可见面积的捕捉图像而获得的区域在背景纹理中占据较大区域。通过使用高斯模糊掩膜组合缓存图像，图像生成单元53可以更自然地表示接缝。

在步骤S308中，图像生成单元53内插所生成的背景纹理的缺失部分。具体地，通过使用诸如Inpainting的图像内插算法，图像生成单元53内插在所有缓存图像中均不可见的区域(诸如与目标物体接触的地板表面)。

使用上述的处理，智能手机1生成背景纹理的图像。

[3-4、生成变化纹理的处理]

图15为示出用于生成变化纹理的处理流程示例的流程图，该处理流程示例根据本实施例在智能手机1中执行。

如图15中所示，在步骤S402中，图像生成单元53基于目标物体的可见部分确定将由显示控制单元6用于变化纹理的单种颜色。此外，图像生成单元53可以通过使用诸如Inpainting的图像内插算法生成变化纹理。

使用上述的处理，智能手机1生成了变化纹理。事先作为事先准备而执行，或是紧接着在以下的[3-5、AR显示处理]中描述的处理之前，执行迄今为止在[3-1、生成变化物体的处理]至[3-4、生成变化纹理的处理]中描述的处理。这减少了捕捉藉以生成各种纹理的图像的时刻与捕捉直通图像的时刻之间的差异。因此，实现了更自然的AR显示。

[3-5、AR显示处理]

图16为示出根据本实施例在智能手机1中执行的AR显示处理示例的流程图。在图16中，将具体描述其中执行AR显示的示例，该AR显示示出图1中所示的目标物体的破坏。

如图16中所示，在步骤S502中，显示控制单元6采集由图像拾取单元2实时捕捉的直通图像和由姿势信息采集单元3实时采集的姿势信息。

在步骤S504中，显示控制单元6计算被破坏部分的位置和姿势。具体地，使用步骤S502中采集的姿势信息与三维数据，显示控制单元6完全地计算被破坏部分的运动，且计算该直通图像中背景物体和被破坏部分的各个顶点的当前位置。

在步骤S506中，显示控制单元6根据破坏情形动态地生成绘制掩膜。具体地，显示控制单元6通过使用在步骤S504中确定的被破坏部分的顶点位置而生成绘制掩膜，该绘制掩膜发送用于显示被破坏部分的区域和用于显示背景纹理的区域。注意，显示控制单元6二维地增加发送区域，或是将高斯模糊应用于该绘制掩膜，且因此更自然地显示初始背景与通过使用该绘制掩膜而绘制的纹理之间的接缝。

在步骤S508中，显示控制单元6计算用于校正亮度的参数。具体地，基于在缓存时记录的亮度值分布与直通图像中对应位置的亮度值分布之间的比较结果，显示控制单元6校正背景纹理的亮度值，使得两种亮度值变得彼此接近。

在步骤S510中，显示控制单元6绘制由图像拾取单元2实时捕捉的直通图像。在随后的处理中，将变化纹理与背景纹理绘制为叠加的，且从而在该直通图像上叠加AR图像。

在步骤S512中，显示控制单元6用诸如变化物体和背景物体的所有物体填充深度缓存。

在步骤S514中，显示控制单元6基于在步骤S506中生成的绘制掩膜绘制该背景纹理。具体地，结合该深度缓存，通过将背景纹理中的对应区域贴附到在该绘制掩膜中发送的背景物体的区域中包括的多边形上，显示控制单元6绘制该背景纹理。

在步骤S516中，显示控制单元6绘制被破坏部分。具体地，使用该深度缓存，显示控制单元6以由图像生成单元53确定的单种颜色，涂布例如由于被破坏部分中的状态变化而新露出的被破坏部分截面的多边形。进一步地，显示控制单元6在被破坏部分的对应多边形中绘制在直通图像中露出的目标物体的表面图像。

在步骤S518中，显示控制单元6进行各种后处理。例如，显示控制单元6绘制其它虚拟物体或推定光源的位置以绘制阴影。

使用上述的处理，智能手机1进行显示，以在直通图像上叠加表示存在于真实空间中的目标物体被破坏之状态的AR图像。

<4、结论>

至此，已经结合图1至图16描述了根据根据本公开的技术的实施例。根据上述的实施例，提供了改变存在于真实空间的物体的表示，且因此可能通过使用AR技术给予用户真实世界被增强的更强印象。例如，根据本实施例的智能手机1能自然地表示存在于真实世界中的物体的破坏。

以上已经结合附图描述了本公开的优选实施例，然而本公开不限于以上的示例。本领域技术人员可以发现处于所附权利要求的范围内的各种变更和修改，且应当懂得，在本公开的技术范围下，可以自然地得出这些变更和修改。

例如，在上述的实施例中，已经描述了其中在如智能手机1的相同设备中形成图像拾取单元2、姿势信息采集单元3、三维数据采集单元4、控制单元5、显示控制单元6、以及显示单元7的示例，但是本技术不限于这个示例。例如，图像拾取单元2可以被包括在外部设备中，且智能手机1可以基于从外部设备采集的捕捉图像进行上述AR显示。此外，例如，云中的服务器可以包括三维数据采集单元4、控制单元5、以及显示控制单元6，且经由网络连接到该服务器的客户设备可以包括图像拾取单元2、姿势信息采集单元3、以及显示单元7。在这种情况下，该客户设备可以将所捕捉图像和姿势信息发送给该服务器，且根据由该服务器进行的各种计算和控制而显示AR图像。

在上述的实施例中，已经描述了其中目标物体的状态变化为破坏的示例，但是本公开不限于该示例。例如，智能手机1可以表示目标物体的尺寸增/减和移动。在其中表示了目标物体的移动的情况下，根据本公开的技术可以被应用于例如重建模仿真器，以虚拟地移动桌子或椅子。

可以通过软件、硬件或软件与硬件的组合实现由本说明书中描述的每个装置执行的一系列控制过程。可以事先在每个装置内部和外部提供的存储介质(非暂态介质)上存储包括这样的软件的程序。作为一个示例，在执行期间，这样的程序被写入RAM(随机存取存储器)，且由诸如CPU的处理器执行。

此外，本说明书中描述的效果仅仅是说明性的和展示性的，而非限制性的。换言之，连同或者不同于基于本说明书的效果，根据本公开的技术能够展示其它对本领域技术人员而言显而易见的效果。

此外，也可以如下配置本技术。

(1)一种信息处理设备，包括：

识别单元，其配置为识别包括在真实空间中的物体，以基于所述真实空间的三维数据将所述物体与背景区分开，以便生成通过改变所述物体的状态而得到的虚拟物体图像。

(2)根据(1)的信息处理设备，还包括：

图像生成单元，其配置为生成由所述识别单元识别的所述物体的物体图像。

(3)根据(2)的信息处理设备，还包括：

变化物体生成单元，其配置为生成通过改变所述物体的状态而获得的虚拟变化物体；以及

显示控制单元，其配置为控制显示单元，使得所述显示单元在所述变化物体的表面上显示由所述图像生成单元生成的所述物体图像。

(4)根据(3)的信息处理设备，

其中，基于对应于所述物体在通过捕捉所述真实空间的图像而获得的捕捉图像中的露出表面的部分，所述图像生成单元生成第二表面图像，所述第二表面图像通过推定隐藏在所述捕捉图像中的所述物体的表面而获得，以

其中，所述显示控制单元显示所述物体图像，在所述物体图像中，所述第二表面图像被贴附到由于所述变化而新露出的所述变化物体的区域。

(5)根据(3)或(4)的信息处理设备，

其中，该显示控制单元显示所述物体图像，所述物体图像通过将在通过实时捕捉所述真实空间的图像而获得的直通图像中露出的目标物体的图像贴附到所述变化物体的对应区域而获得。

(6)根据(3)至(5)中任一项的信息处理设备，

其中，通过推定光源在所述真实空间中的位置并且根据所述光源的所述推定位置校正所述物体图像的亮度，所述显示控制单元显示所述物体图像。

(7)根据(3)至(6)中任一项的信息处理设备，

其中，所述显示控制单元显示通过将第一表面图像贴附到处于由所述物体隐藏的所述背景中、且由于所述物体的状态变化而新露出的部分而得到的所述物体图像。

(8)根据(7)的信息处理设备，

其中，通过组合在通过捕捉所述真实空间的图像而获得的一个或多个捕捉图像中露出的背景，所述图像生成单元生成所述第一表面图像。

(9)根据(8)的信息处理设备，

其中，在通过捕捉所述真实空间的图像而获得的所述捕捉图像中，所述图像生成单元优先缓存其中所述背景被所述物体隐藏的重叠部分较小且被新近捕捉的所述捕捉图像，且使用所述缓存的捕捉图像来生成所述第一表面图像。

(10)根据(9)的信息处理设备，

其中，基于指示已捕捉到捕捉图像的图像拾取单元的位置及角度的姿势信息和所述三维数据，所述图像生成单元确定是否缓存所述捕捉图像。

(11)根据(9)或(10)的信息处理设备，

其中，为使得由所述三维数据指示的实心体的表面中对应于所述背景的部分的整个区域在所述一个或多个缓存的捕捉图像中的至少一个图像中露出，该显示控制单元进行显示，以引导图像拾取单元的图像拾取姿势，所述图像拾取单元配置为捕捉所述图像生成单元用以生成图像的捕捉图像。

(12)根据(9)至(11)中任一项的信息处理设备，

其中，基于在对应于所述三维数据中顶点的位置附近的亮度值，与通过实时捕捉所述真实空间的图像而获得的直通图像中对应位置的亮度值之间的比较结果，该显示控制单元校正该第一表面图像的亮度值，所述对应于所述三维数据中顶点的位置处于露出在所述缓存的捕捉图像中的所述背景中。

(13)根据(3)至(12)中任一项的信息处理设备，还包括：

图像拾取单元，其配置为捕捉所述图像生成单元用以生成图像的捕捉图像，

其中，所述显示控制单元组合由所述图像拾取单元实时捕捉的捕捉图像，以及由所述图像生成单元生成的图像，且显示所述组合图像。

(14)根据(3)至(13)中任一项的信息处理设备，

其中，从将用于使用所述变化物体生成单元来生成所述变化物体的目标中，排除被识别为由所述识别单元进行区分的所述背景。

(15)根据(1)至(14)中任一项的信息处理设备，

其中，所述识别单元从所述三维数据提取地板表面，且将在所述提取的地板表面上突出的部分识别为所述物体，以及将除了所述物体之外的部分识别为所述背景。

(16)根据(15)的信息处理设备，

其中，所述识别单元基于重力方向提取所述地板表面。

(17)根据(1)至(16)中任一项的信息处理设备，

其中，所述状态变化包括所述物体的破坏。

(18)一种信息处理方法，包括：

通过处理器识别包括在真实空间中的物体，以基于所述真实空间的三维数据将所述物体与背景区分开，以便生成通过改变所述物体的状态而得到的虚拟物体图像。

(19)一种程序，用于使得计算机用作：

识别单元，其配置为识别包括在真实空间中的物体，以基于所述真实空间的三维数据将所述物体与背景区分开，以便生成通过改变所述物体的状态而得到的虚拟物体图像。

附图标记列表

1智能手机

2图像拾取单元

3姿势信息采集单元

4三维数据采集单元

5控制单元

51识别单元

52变化物体生成单元

53图像生成单元

6显示控制单元

7显示单元

10电话机

11打包带

12头盔

13饮料罐

14喷雾罐

Claims (19)

1.一种信息处理设备，包括：

识别单元，其配置为识别包括在真实空间中的物体，以基于所述真实空间的三维数据将所述物体与背景区分开，以便生成通过改变所述物体的状态而得到的虚拟物体图像。

2.根据权利要求1的信息处理设备，还包括：

图像生成单元，其配置为生成由所述识别单元识别的所述物体的所述物体图像。

3.根据权利要求2的信息处理设备，还包括：

变化物体生成单元，其配置为生成通过改变所述物体的状态而获得的虚拟变化物体；以及

显示控制单元，其配置为控制显示单元，使得所述显示单元在所述变化物体的表面上显示由所述图像生成单元生成的所述物体图像。

4.根据权利要求3的信息处理设备，

其中，基于对应于所述物体在通过捕捉所述真实空间的图像而获得的捕捉图像中的露出表面的部分，所述图像生成单元生成第二表面图像，所述第二表面图像通过推定所述物体的隐藏在所述捕捉图像中的表面而获得，以及

其中，所述显示控制单元显示所述物体图像，在所述物体图像中，所述第二表面图像被贴附到由于所述变化而新露出的所述变化物体的区域。

5.根据权利要求3的信息处理设备，

其中，该显示控制单元显示所述物体图像，所述物体图像通过将在通过实时捕捉所述真实空间的图像而获得的直通图像中露出的目标物体的图像贴附到所述变化物体的对应区域而获得。

6.根据权利要求3的信息处理设备，

其中，通过推定光源在所述真实空间中的位置并且根据所述光源的所述推定位置校正所述物体图像的亮度，所述显示控制单元显示所述物体图像。

7.根据权利要求3的信息处理设备，

其中，所述显示控制单元显示通过将第一表面图像贴附到处于由所述物体隐藏的所述背景中、且由于所述物体的状态变化而新露出的部分而得到的所述物体图像。

8.根据权利要求7的信息处理设备，

其中，通过组合在通过捕捉所述真实空间的图像而获得的一个或多个捕捉图像中露出的背景，所述图像生成单元生成所述第一表面图像。

9.根据权利要求8的信息处理设备，

其中，在通过捕捉所述真实空间的图像而获得的所述捕捉图像中，所述图像生成单元优先缓存所述背景被所述物体隐藏的重叠部分较少且被新近捕捉的所述捕捉图像，且使用所述缓存的捕捉图像来生成所述第一表面图像。

10.根据权利要求9的信息处理设备，

其中，基于指示已捕捉到捕捉图像的图像拾取单元的位置及角度的姿势信息和所述三维数据，所述图像生成单元确定是否缓存所述捕捉图像。

11.根据权利要求9的信息处理设备，

其中，为使得由所述三维数据指示的实心体的表面中对应于所述背景的部分的整个区域在所述一个或多个缓存的捕捉图像中的至少一个图像中露出，该显示控制单元进行显示以引导图像拾取单元的图像拾取姿势，所述图像拾取单元配置为捕捉所述图像生成单元用以生成图像的捕捉图像。

12.根据权利要求9的信息处理设备，

其中，基于在对应于所述三维数据中顶点的位置附近的亮度值与通过实时捕捉所述真实空间的图像而获得的直通图像中对应位置的亮度值之间的比较结果，该显示控制单元校正所述第一表面图像的亮度值，所述位置处于露出在所述缓存的捕捉图像中的所述背景中。

13.根据权利要求3的信息处理设备，还包括：

图像拾取单元，其配置为捕捉所述图像生成单元用以生成图像的捕捉图像，

其中，所述显示控制单元组合由所述图像拾取单元实时捕捉的捕捉图像以及由所述图像生成单元生成的图像，且显示所述组合图像。

14.根据权利要求3的信息处理设备，

其中，从将用于使用所述变化物体生成单元来生成所述变化物体的目标中，排除被识别为由所述识别单元进行区分的所述背景。

15.根据权利要求1的信息处理设备，

其中，所述识别单元从所述三维数据提取地板表面，且将在所述提取的地板表面上突出的部分识别为所述物体，并且将除了所述物体之外的部分识别为所述背景。

16.根据权利要求15的信息处理设备，

其中，所述识别单元基于重力方向提取所述地板表面。

17.根据权利要求1的信息处理设备，

其中，所述状态变化包括所述物体的破坏。

18.一种信息处理方法，包括：

通过处理器识别包括在真实空间中的物体，以基于所述真实空间的三维数据将所述物体与背景区分开，以便生成通过改变所述物体的状态而得到的虚拟物体图像。

19.一种程序，用于使得计算机用作：

识别单元，其配置为识别包括在真实空间中的物体，以基于所述真实空间的三维数据将所述物体与背景区分开，以便生成通过改变所述物体的状态而得到的虚拟物体图像。