CN109155082B

CN109155082B - 信息处理设备、信息处理方法和存储介质

Info

Publication number: CN109155082B
Application number: CN201780031298.4A
Authority: CN
Inventors: 贝野彰彦; 本间俊一; 福地正树
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2016-05-26
Filing date: 2017-02-27
Publication date: 2023-06-20
Anticipated expiration: 2037-02-27
Also published as: CN109155082A; EP3467790A4; JPWO2017203774A1; EP3467790A1; US20200394841A1; EP3467790B1; US11367257B2; WO2017203774A1

Abstract

[问题]提供使根据观测信息生成的三维模型更加接近真实对象的特征。[解决方案]一种信息处理设备，具有控制部，该控制部用于向作为在第一三维模型中包含的至少一些三维模型的第二三维模型分配标准模型，该标准模型具有对应于该第二三维模型的形状的预定形状。

Description

信息处理设备、信息处理方法和存储介质

技术领域

本公开涉及信息处理设备、信息处理方法和存储介质。

背景技术

近年来，使用相机的传感器等观测真实世界并生成真实对象的三维模型的技术引起了关注。生成的三维模型可以用于各种应用，诸如，计算机图形(CG)或3D打印机。为了满足来自这些应用的要求，已经开发了用于生成高精度三维模型的技术。

例如，下面描述的专利文献1公开了一种从有待组合的图像中估计相机的拍摄位置和方向的技术，以用于自然地组合立体图像。

现有技术文献

专利文献

专利文献1：特开平10-304244号公报

发明内容

技术问题

然而，在典型的三维模型生成技术中，三维模型是仅根据观测信息生成的，并且在观测信息中包含的误差也反映在了生成的三维模型中。因此，在一些情况下，生成的三维模型变为与真实对象不同的模型。鉴于上述情况，期望提供使三维模型更接近真实对象的技术。

问题的解决方案

根据本公开，提供了一种信息处理设备，包括：控制部，被配置成向作为在第一三维模型中包含的至少一部分三维模型的第二三维模型分配确定形状模型，该确定形状模型具有对应于第二三维模型的形状的预定形状。

此外，根据本公开，提供了一种信息处理方法，包括：由处理器向作为在第一三维模型中包含的至少一部分三维模型的第二三维模型分配确定形状模型，该确定形状模型具有对应于第二三维模型的形状的预定形状。

此外，根据本公开，提供了一种存储有程序的存储介质，该程序使得计算机用作：控制部，被配置成向作为在第一三维模型中包含的至少一部分三维模型的第二三维模型分配确定形状模型，该确定形状模型具有对应于第二三维模型的形状的预定形状。

本发明的有益效果

如上所述，根据本公开，提供了一种使根据观测信息生成的三维模型更接近真实对象的技术。应注意，上面所描述的效果不必是限制性的。藉由上面的效果或在上面的效果的地方，可以实现在本说明书中描述的效果中的任一个或可以从本说明书领会的其他效果。

附图说明

图1是示出了根据本公开的实施方式的系统的示意性配置的实例的示图。

图2是用于描述典型的三维模型生成技术的问题点的示图。

图3是用于描述典型的三维模型生成技术的问题点的示图。

图4是用于描述典型的三维模型生成技术的问题点的示图。

图5是示出了根据本实施方式的信息处理设备的逻辑配置的实例的框图。

图6是示出了根据本实施方式的终端设备的逻辑配置的实例的框图。

图7是用于描述根据本实施方式的提议技术的概述的示图。

图8是用于描述根据本实施方式的提议技术的概述的示图。

图9是用于描述在根据本实施方式的系统中执行的处理的全局的示图。

图10是示出了根据本实施方式的确定形状模型的实例的示图。

图11是示出了根据本实施方式的确定形状模型的实例的示图。

图12是用于描述根据本实施方式的确定形状模型的分配的示图。

图13是用于描述根据本实施方式的确定形状模型的分配的示图。

图14是用于描述根据本实施方式的UI的实例的示图。

图15是用于描述根据本实施方式的UI的实例的示图。

图16是用于描述根据本实施方式的UI的实例的示图。

图17是用于描述根据本实施方式的UI的实例的示图。

图18是用于描述根据本实施方式的UI的实例的示图。

图19是用于描述根据本实施方式的UI的实例的示图。

图20是示出根据本实施方式的系统中执行的处理流程的实例的流程图。

图21是用于描述根据本实施方式的UI的实例的示图。

图22是用于描述根据本实施方式的UI的实例的示图。

图23是示出了根据本实施方式的信息处理设备的硬件配置的实例的框图。

具体实施方式

在下文中，将参考附图详细描述本公开的(多个)优选实施方式。应注意，在本说明书和附图中，具有基本上相同的功能和结构的结构元件用相同的参考数字来表示，并且省略这些结构元件的重复说明。

应注意，将按照下面的顺序给出描述。

1.引言

1.1.系统概述

1.2.相关技术

2.配置实例

2.1.信息处理设备的配置实例

2.2.终端设备的配置实例

3.技术特征

3.1.提议技术的概述

3.2.确定形状模型的登记处理

3.3.三维模型的生成处理

3.4.确定形状模型的分配处理

3.5.输出控制处理

3.6.处理流程

4.应用实例

5.硬件配置实例

6.总结

<<1.引言>>

<1.1.系统概述>

首先，将参考图1描述根据本公开的实施方式的系统的概述。

图1是示出了根据本实施方式的系统的示意性配置的实例的示图。如图1所示，根据本实施方式的系统1包括信息处理设备100和终端设备200。在图1所示的实例中，信息处理设备100是服务器，并且终端设备200是智能电话。

如图1中所示，用户在他/她的手中握着智能电话200的同时正在查看显示器220，并且布置在显示器220的后侧的相机210朝向桌子11。将塑料瓶12放置在桌子11上。

作为实例，假设系统1通过信息处理设备100与终端设备200之间的协作来执行基于增强现实(AR)技术的显示处理。AR技术是一种向用户呈现叠加在真实空间上的附加信息的技术。使用诸如文本、图标或动画等各种类型的形式的虚拟对象将要在AR技术中呈现给用户的信息可视化。虚拟对象根据要关联的真实对象的位置来布置在AR空间中，并且还可以在AR空间中执行诸如移动、碰撞或变形等操作。

在图1所示的实例中，在显示器220上显示UI 10，其中虚拟对象13被叠加在作为真实对象的桌子11和塑料瓶12的实时取景(live-view)图像上。应注意，通过实时捕获真实空间的图像而获得的捕获图像也将被称为实时取景图像。例如，当虚拟对象13与作为真实对象的桌子11和塑料瓶12碰撞时，虚拟对象13反弹。

作为用于实现这种表示的预先准备，首先，系统1生成真实空间的三维模型。通过参考三维模型，系统1可以在适当的位置显示虚拟对象，实现使真实对象隐藏虚拟对象的绘图无效的遮挡表示，并且表示在虚拟对象与真实对象之间的诸如碰撞等交互。

为了适当地执行这种表示，生成正确的三维模型是重要的。然而，在典型的三维模型生成技术中，在某些情况下，难以生成正确的三维模型。

<1.2.相关技术>

在下文中，将参考图2至图4描述典型的三维模型生成技术的问题点。图2至图4是用于描述典型的三维模型生成技术的问题点的示图。

存在各种技术对真实空间执行三维建模。作为这些技术之一，存在通过从各种类型的视角整合由相机、深度传感器等获得的多条观测信息来生成三维模型的技术。观测信息可以包括通过姿势估计获得的估计结果、通过同时定位和映射(SLAM)获得的对观测装置的位置和姿态的估计结果、通过深度传感器或立体匹配获得的每个图像的深度信息等。例如，要输出的三维模型由包括特征点的集合的点云、包括多个特征点的多边形的集合(多边形模型)等表示。三维模型至少包括特征点的坐标信息，并且还可以包括表示通过连接特征点形成的表面的信息等。

三维模型的质量很大程度上取决于观测装置的位置和姿态的估计精度以及深度信息。将参考图2详细描述这一点。如图2中所示，假设观测装置21观测到真实对象22。在错误地估计观测装置21的位置处于位置23的情况下，生成的三维模型24变为与真实对象22不同的三维模型。

因此，为了减少观测误差，通常在经过平均等之后使用多条观测信息。然而，通过对空间位置偏移进行平均，模型在诸如对象边界的边缘部分处变得不那么尖锐。将参考图3详细描述这一点。如图3中所示，假设通过观测特定对象的边缘部分获得的多条观测信息相应地生成三维模型25A至25D。在对该多条观测信息进行平均的情况下，生成了边缘部分被表示得不太清晰的三维模型25E。

此外，难以将平坦区域等表示为稳定的平坦表面，并且趋于保留渐变曲线或不均匀性。从处理效率的方面来看，不期望通过类似于非固定形状部分的方法来处理诸如平坦表面或弯曲表面的固定形状部分。将参考图4详细描述这一点。如图4中所示，假设观测到平坦表面26。通过整合在观测装置位于位置27A至27H的情况下可获得的相应的观测信息，可以对平坦表面26进行建模。然而，可能生成归因于观测误差的不均匀性，而且，需要用于对每条观测信息进行建模的计算。

鉴于前述内容，使用上述情况作为一个着眼点，最终提供了根据本公开的实施方式的系统1。通过将确定形状模型分配给生成的三维模型的至少一部分，根据本实施方式的系统1可以使三维模型更接近真实对象。

<<2.配置实例>>

在下文中，将参考图5和图6描述信息处理设备100和终端设备200的配置实例。

<2.1.信息处理设备的配置实例>

图5是示出根据本实施方式的信息处理设备100的逻辑配置的实例的框图。如图5中所示，根据本实施方式的信息处理设备100包括通信部110、存储部120和控制部130。

(1)通信部110

通信部110是用于以有线/无线的方式在其自身与终端设备200之间执行数据的发送和接收的通信模块。例如，通信部110可以执行符合诸如局域网(LAN)、无线LAN、Wi-Fi(注册商标)、蓝牙(注册商标)或红外通信等任意通信方法的通信。

(2)存储部120

存储部120暂时或永久地存储用于信息处理设备100的操作的程序和各种类型的数据。

(3)控制部130

控制部130对应于中央处理单元(CPU)、数字信号处理器(DSP)等，并且执行用于提供信息处理设备100的各种类型的功能的处理。如图5中所示，控制部130包括登记部131、获取部133、分配部135和输出控制部137。应注意，控制部130还可以包括除这些结构元件之外的结构元件。换言之，控制部130还可以执行除这些结构元件的操作之外的操作。稍后将详细描述这些结构元件的操作。

<2.2.终端设备的配置实例>

图6是示出根据本实施方式的终端设备200的逻辑配置的实例的框图。如图6中所示，根据本实施方式的终端设备200包括输入部210、输出部220、通信部230、存储部240和控制部250。

(1)输入部210

输入部210接收信息输入。例如，输入部210接收来自用户的信息输入。另外，输入部210包括检测关于真实空间的三维形状的信息的传感器，诸如，图像传感器和深度传感器。此外，输入部210包括检测关于终端设备200的姿态的信息的传感器，诸如，加速度传感器、陀螺仪传感器和地磁传感器。输入部210将输入信息输出至输出部220。

(2)输出部220

输出部220执行信息输出。例如，输出部220使用图像、声音、振动等输出信息。输出部220基于控制部250执行的控制来输出信息。

(3)通信部230

通信部230是用于以有线/无线的方式在其自身与信息处理设备100之间执行数据的发送和接收的通信模块。例如，通信部230可以执行符合诸如LAN、无线LAN、Wi-Fi、蓝牙或红外通信等任意通信方法的通信。

(4)存储部240

存储部240暂时或永久地存储用于终端设备200的操作的程序和各种类型的数据。

(5)控制部250

控制部250对应于CPU、DSP等，并且执行用于提供终端设备200的各种类型的功能的处理。如图6中所示，控制部250包括估计部251和生成部253。应注意，控制部250还可以包括除这些结构元件之外的结构元件。换言之，控制部250还可以执行除这些结构元件的操作之外的操作。稍后将详细描述这些结构元件的操作。

<<3.技术特征>>

<3.1.提议技术的概述>

首先，将参考图7和图8描述根据本实施方式的提议技术的概述。图7和图8是用于描述根据本实施方式的提议技术的概述的示图。

如图7中所示，首先，系统1根据作为真实对象的塑料瓶12生成三维模型14。可以使用任意生成方法，例如，可以采用用于三维建模的上述典型技术。作为实例，假设三维模型14是点云。然后，系统1根据生成的三维模型14生成三维模型15(即，对生成的三维模型14进行更新)。

例如，系统1通过将预先准备的相似的确定形状模型分配给生成的三维模型14来生成三维模型15。确定形状模型是具有预定形状的三维模型。将参考图8详细描述确定形状模型的分配。如图8中所示，假设点云16A和16B是根据观测信息生成的。例如，系统1将相似的平坦表面模型17A分配给点云16A。此外，系统1将相似的球形模型17B分配给点云16B。在图7所示的实例中，通过将圆柱形模型15A、正方棱锥模型15B和长方体模型15C、15D和15E分配给生成的点云14，系统1生成三维模型15。通过这样的分配，包括具有三维信息块的特征点的集合的三维模型由一个确定形状模型表示，并且可以退化(degenerate)三维模型的信息量。此外，在不是通过点云而是通过多边形生成三维模型的情况下，通过这种分配，可以退化多边形的数量。如上所述，通过分配确定形状模型，系统1可以通过退化信息量来有效地表示包括巨大信息量的三维模型。

根据提议技术，对于包括边缘部分和平坦区域的真实对象，可以生成具有光滑表面的三维模型，同时保持三维几何结构。具体地，例如，通过分配确定形状模型，可以减少归因于观测误差的渐变曲线或不均匀性。换言之，可以使三维模型更接近真实对象。此外，例如，系统1可以适当地表示在真实对象与虚拟对象之间的交互。

此外，根据提议技术，通过分配确定形状模型，因为可以由确定形状模型表示诸如平坦表面或弯曲表面等固定形状的部分，所以可以提高处理效率。

此外，提议技术还可以对未观测到的区域执行三维模型的预测。三维模型的预测结果可以用于观测信息的可靠性确定、或者可以直接输出。

应注意，在此，将使用AR技术作为实例给出描述，但是本技术不限于该实例。例如，本技术可以类似地应用于使用三维模型的技术，诸如，虚拟现实(VR)技术或混合现实(MR)技术。

上面已经描述了提议技术的概述。

为了实现提议技术，根据本实施方式的系统1执行大致分为四种类型的处理，即，执行：确定形状模型的登记处理、三维模型的生成处理、确定形状模型的分配处理、以及输出控制处理。在下文中，将参考图9描述这四种类型的处理。

图9是用于描述在根据本实施方式的系统1中执行的处理的全局的示图。处理块140指示由系统1执行的处理。例如，可以通过用户操作终端设备200、或者通过互联网上的外部装置与信息处理设备100之间的通信来执行对系统1的输入。此外，系统1的输出可以通过从终端设备200输出或者通过从信息处理设备100的信息发送来执行。

<3.2.确定形状模型的登记处理>

系统1(例如，登记部131)登记(参考数字141)输入的确定形状模型(参考数字151)。然后，系统1在确定形状模型数据库(例如，存储部120)中累积(参考数字142)多个登记的确定形状模型。

确定形状模型是具有预定形状的三维模型。具体地，确定形状模型包括多个顶点的相对坐标以及指示包括该多个顶点的表面的信息。此外，所述确定形状模型可以至少包括作为附加信息的以下各项中的任一项：指示表面的纹理的信息、指示材料的信息、指示表面的法线的信息、或指示接地表面或重力方向的信息。通过这些附加信息，系统1可以生成更符合真实空间的三维模型。确定形状模型可以是多边形。可以考虑确定形状模型可以具有的各种类型的形状。其实例在图10中示出。

图10是示出了根据本实施方式的确定形状模型的实例的示图。如图10中所示，作为确定形状模型，可以记录各种形状，诸如，长方体161、圆柱体162、圆锥体163、圆环形状164、球体165和平坦表面166。

除了如图10所示的简单形状之外，确定形状模型可以具有复杂的形状。例如，系统1可以登记对应于建模目标的确定形状模型。例如，如果建模目标是室内的，则系统1登记有高可能性存在于室内的真实对象的形状的确定形状模型。其实例在图11中示出。

图11是示出了根据本实施方式的确定形状模型的实例的示图。如图11中所示，作为确定形状模型，可以登记诸如计算机171和电话装置172的各种形状。另外，例如，如果建模目标是室外的，则诸如车辆、铭牌和招牌等各种形状可以被登记为确定形状模型。

系统1可以根据建模的精度来登记不同的确定形状模型。

上面已经描述了确定形状模型的登记处理。确定形状模型的登记处理是预先进行的处理。

在确定形状模型的登记处理之后，用户在将终端设备200朝向真实空间的未观测区域时执行观测(例如，获取捕获图像和深度信息)。在观测的同时或在观测之后，系统1执行三维模型的生成处理、确定形状模型的分配处理和输出控制处理，这将在下面描述。

<3.3.三维模型的生成处理>

系统1(例如，估计部251和生成部253)基于输入信息(参考数字153)通过估计终端设备200的位置和姿态以及终端设备200与周围真实对象之间的关系(例如，深度)来生成三维模型(参考数字143)。输入信息包括例如由终端设备200观测到的捕获图像和/或深度信息。通常在终端设备200中执行三维模型的生成。信息处理设备100(例如，获取部133)获取由终端设备200生成的三维模型，并将获取的三维模型累积到三维模型数据库(例如，存储部120)(参考数字144)中。例如，累积是在终端设备200新观测到真实空间的未观测区域的情况下执行的。换言之，累积意味着生成的三维模型的扩展(例如，整合)。在下文中，在三维模型数据库中累积的三维模型也将被称为生成三维模型。

系统1可以使用各种技术生成三维模型。例如，可以采用可以同时估计相机的位置和姿势以及在相机的图像中包含的特征点的位置的SLAM。在采用SLAM的情况下，系统1可以同时获取终端设备200的周围真实空间的环境地图(对应于三维模型)以及指示终端设备200(特别是图像传感器)的位置和姿态的姿态信息。

在2003年第9次IEEE国际计算机视觉会议论文集第2卷第1403-1410页安德鲁·J·戴维森的“使用单个相机进行实时同时定位和映射”中描述了使用单目相机的SLAM技术的基本原理。应注意，使用相机图像在视觉上估计位置的SLAM技术也被特别称为视觉SLAM(VSLAM)。在SLAM技术中，使用环境地图和相机图像来估计相机的位置和姿态。在使用SLAM技术的情况下，例如，通过在环境地图与属于对象的特征点的三维位置之间执行匹配，系统1可以相对于真实对象高精度地定位形成对象的形状的三维模型。

另外，系统1可以通过基于捕获图像的姿势估计和基于捕获图像的深度估计、或者通过读取输入深度信息来生成三维模型。

此外，系统1可以通过使用已知标记或通过诸如迭代最近点(ICP)和照片一致性优化的姿态估计技术来获取终端设备200的姿态信息。此外，系统1可以基于由加速度传感器、角速度(陀螺仪)传感器或地磁传感器检测到的信息来获取姿态信息。

应注意，生成的三维模型可以是点云或可以是多边形。

<3.4.确定形状模型的分配处理>

系统1(例如，分配部135)向在生成三维模型(即，第一三维模型)中包含的至少一部分三维模型(即，第二三维模型)分配确定形状模型，该确定形状模型具有与该一部分三维模型的形状对应的预定形状。例如，系统1顺序地将确定形状模型分配给生成三维模型的未分配的三维模型。在此，分配意味着替换，并且例如，系统1删除由分配的确定形状模型所涵盖的特征点。通过分配确定形状模型，系统1可以通过退化信息量来有效地表示包括巨大信息量的生成三维模型。

具体地，系统1从确定形状模型数据库中存储的多个确定形状模型中选择要分配的确定形状模型(参考数字145)。然后，通过将所选择的确定形状模型分配给生成三维模型(参考数字146)，并将分配结果反馈给三维模型数据库，系统1更新在三维模型数据库中累积的生成三维模型。

可以根据各种标准来执行要分配的确定形状模型的选择。例如，系统1可以根据分配目标的一部分三维模型与确定形状模型之间的相似度来执行选择。由此，可以分配与真实对象的形状符合的确定形状模型。在评估相似度和分配时，任意地扩展、缩小和旋转确定形状模型。

可以通过各种方法来评估相似度。例如，相似度可以是通过在三维模型中包含的特征点与确定形状模型中包含的顶点之间的距离来评估的。例如，上述距离的总和由下式表示。

[数学式1]

在此，“i”表示确定形状模型的索引，“j”表示在三维模型中包含的特征点与确定形状模型中包含的顶点的组合的索引，并且“N”表示组合的数量。例如，系统1通过搜索使“D_i”最小化的“i”来选择相似的确定形状模型。

此外，在评估相似度时可以考虑法线。例如，相似度可以是通过在三维模型中包含的特征点与确定形状模型中包含的顶点之间的法线的重合度来评估的。例如，法线的重合度由下式表示。

[数学式2]

在此，“a”表示具有随着在三维模型中包含的特征点的法线方向与确定形状模型中包含的顶点的法线方向彼此更加一致而变小的值的函数。例如，“a”可以是通过从常数中减去内积的平方值而获得的值(例如，a＝(1-(内积)²))。例如，系统1通过搜索使“A_i”最小化的“i”来选择相似的确定形状模型。

可以考虑距离和法线两者来评估相似度。在这种情况下，可以通过下式进行评估。

[数学式3]

F_i＝w₀D_i+w₁A_i…(3)

在此，“w₀”和“w₁”表示权重。例如，系统1通过搜索使“F_i”最小化的“i”来选择相似的确定形状模型。

此外，可以考虑重力方向来评估相似度。例如，可以通过三维模型与确定形状模型之间的重力方向的重合度来评估相似度。例如，系统1分配确定形状模型，以使得三维模型的重力方向(例如，真实空间的重力方向)与确定形状模型的重力方向或由接地表面指示的重力方向彼此重合或基本上彼此重合。由此，系统1可以执行这样的自然分配，使得例如电话装置的底表面与桌子的顶表面接触。

在分配确定形状模式之后，系统1从生成三维模型中选择与所分配的确定形状模型具有预定关系的三维模型。例如，系统1删除所分配的确定形状模型的周围特征点。将参考图12和图13详细描述这一点。

图12是用于描述根据本实施方式的确定形状模型的分配的示图。图12示出了上述预定关系与距离相关的实例。如图12中所示，假设系统1在三维模型的生成处理中生成三维模型181。随后，系统1分配类似于三维模型181的长方体确定形状模型182，并删除在确定形状模型182中包含的三维模型181的特征点。在这种情况下，保留未包含在确定形状模型182中的特征点183。然后，系统1删除存在于距确定形状模型182预定距离内的特征点183。通过这样的处理，系统1可以删除未分配确定形状模型的特征点。虽然通常可能由观测误差产生了这样的特征点，但是系统1可以校正归因于观测误差的三维模型的误差(下文中也称为噪声)。

图13是用于描述根据本实施方式的确定形状模型的分配的示图。图13示出了上述预定关系与距离和法线相关的实例。如图13中所示，假设系统1分配平坦表面确定形状模型184，并且保留未包含在确定形状模型184中的特征点186A和186B。然后，因为确定形状模型184的法线185的方向与特征点186A的法线187A的方向彼此重合或基本上彼此重合，所以系统1删除特征点186A。另一方面，因为确定形状模型184的法线185的方向与特征点186B的法线187B的方向显著不同，所以系统1留下特征点186B而不删除特征点186B。之后，可以将具有重合或基本重合方向的法线的另一个平坦表面确定形状模型分配给特征点186B。通过这样的处理，系统1可以避免错误地删除可以被分配另一个确定形状模型的特征点。

分配可以是在任意时间实现的。例如，分配是根据用户指令、未分配特征点的数量、或经过时间或观测的移动距离来实现的。此外，分配可以是自动执行的、或者可以是根据用户执行的分配操作(参考数字152)来执行的。由用户执行的分配操作包括：选择要分配的确定形状模型、扩展和缩小、旋转、以及指定分配位置。在下文中，将参考图14至图16描述在根据用户操作执行分配的情况下在终端设备200上显示的UI的实例。应注意，假设UI从图14转变至图16。

图14是用于描述根据本实施方式的UI的实例的示图。UI 310包括实时取景图像311和确定形状模型选择窗口312。作为实时取景图像311，显示了桌子313。此外，在确定形状模型选择窗口中，作为分配候选确定形状模型，显示了长方体、平坦表面和球形的确定形状模型。这些分配候选可以是以上描述的具有高相似度的确定形状模型。假设基于终端设备200(其在UI 310中未确定显示)的姿态信息，对应于桌子313的三维模型是通过三维模型的生成处理来生成的，并且与在实时取景图像中包含的桌子313相匹配。

图15是用于描述根据本实施方式的UI的实例的示图。UI 320是在用户正在执行分配操作时有待显示的UI，并且是在UI 310之后有待显示的UI。如图15中所示，用户通过执行将确定形状模型选择窗口322中选择的确定形状模型拖放到实时取景图像321中包含的真实对象上来执行确定形状模型的分配。在图15所示的实例中，用户将平坦表面确定形状模型324拖放到桌子323的顶表面上。基于该操作，系统1将拖放的平坦表面确定形状模型354分配给对应于桌子323的顶表面的三维模型。

图16是用于描述根据本实施方式的UI的实例的示图。UI 330是在用户正在执行分配操作时有待显示的UI，并且是在UI 320之后有待显示的UI。如图16中所示，用户根据作为分配目标真实对象的桌子333的顶表面的形状，将从确定形状模型选择窗口332拖放到实时取景图像331中的确定形状模型334缩小。在该操作的基础上，系统1减小分配的确定形状模型。除了扩展和缩小之外，用户还可以执行角度的改变等。

在此，在未分配的三维模型中，假设存在难以分配确定形状模型的区域。在这种情况下，系统1分配涵盖该区域的确定形状模型，然后向该确定形状模型授予“未知(Unknown)”标志。在这种情况下，不需要实现与该确定形状模型的分配相关联的特征点的删除。然后，例如，连同附加观测，可以分配新的确定形状模型来代替授予“未知”标志的确定形状模型。

另外，甚至没有分配授予“未知”标识的确定形状模型的未分配三维模型可以作为噪声被删除。例如，可以作为噪声删除在空间中散布的特征点等。

<3.5.输出控制处理>

系统1(例如，输出控制部137和输出部220)输出信息。

例如，系统1(例如，输出控制部137)估计生成三维模型的表面并生成多边形(参考数字147)。在此，例如，因为确定形状模型已经具有表面，所以系统1估计通过连接在三维模型中包含的未分配特征点而获得的表面。然后，系统1(例如，输出部220)输出生成三维模型(参考数字154)。生成三维模型可以作为图像输出，或者可以作为数据输出。

此外，系统1(例如，输出控制部137)生成以下显示控制信息：该显示控制信息用于使得基于在三维模型数据库中更新/累积的生成三维模型的UI(参考数字148)被显示。然后，系统1(例如，输出部220)基于生成的显示控制信息输出UI(参考数字155)。

作为基于生成三维模型的UI，系统1可以显示与在生成三维模型中包含的分配的确定形状模型对应的虚拟对象。例如，在虚拟对象类似于确定形状模型的形状的情况下，系统1可以显示以下虚拟形状：该虚拟形状具有的形状类似于与分配的确定形状模型对应的真实空间中的区域的形状。

在此，在显示虚拟对象时，考虑了终端设备200的姿态信息。例如，在AR显示处理中，系统1基于终端设备200的姿态信息在真实空间与三维模型之间执行匹配，并且在实时取景图像中以适当的位置和姿态显示虚拟对象。这同样适用于VR和MR。

作为基于生成三维模型的UI，系统1可以显示以下虚拟对象：该虚拟对象与未分配确定形状模型的生成三维模型的一部分相对应。例如，系统1可以显示表示被授予“未知”标志的确定形状模型的虚拟对象。此外，系统1可以基于与被授予“未知”标志的确定形状模型的关系来控制另一虚拟对象的显示。具体地，对于存在于被授予“未知”标志的确定形状模型的后侧的虚拟对象，系统1可以执行透明处理而不使遮挡表示中的绘图无效。

作为基于生成三维模型的UI，系统1可以显示提示用户执行附加观测以使生成三维模型更详细的信息。例如，系统1可以通过显示表示被授予“未知”标志的确定形状模型的虚拟对象来提示用户执行附加观测。这是因为，由于观测不充分或真实对象的复杂形状，通常可能生成未分配部分。另外，系统1可以显示具体指示终端设备200的位置和姿态的信息。

例如，基于生成三维模型的UI可以是包括AR、VR或MR显示的UI。在下文中，将参考图17至图19描述UI的实例。

图17是用于描述根据本实施方式的UI的实例的示图。UI 341是示出真实空间的实时取景图像的UI。UI 342是以下UI：在该UI中显示了叠加在实时取景图像上的与生成三维模型中的分配的确定形状模型相对应的虚拟对象。例如，长方体虚拟对象344A叠加在桌子上的键盘343A上，长方体虚拟对象344B叠加在PC的外壳343B上，并且圆柱形虚拟对象344C叠加在杯子343C上。通过这样的UI，用户可以识别三维模型的生成状态和分配状态。

图18是用于描述根据本实施方式的UI的实例的示图。UI 351是示出真实空间的实时取景图像的UI。UI 352是以下UI：在该UI中显示了叠加在实时取景图像上的与生成三维模型中的分配的确定形状模型相对应的虚拟对象。具体地，在UI 352中，对应于被授予“未知”标志的确定形状模型的虚拟对象353被透明地叠加显示到椅子的对应真实对象上。通过这样的UI，用户可以识别分配不充分的区域，并且可以执行附加观测。换言之，可以说这样的UI是提示用户执行附加观测的UI。

图19是用于描述根据本实施方式的UI的实例的示图。UI 361是类似于图17中所示的UI 342的UI，并且在生成三维模型中对应于分配的确定形状模型的虚拟对象362A至362C被叠加显示在实时取景图像中。UI 363是通过进一步将对应于确定形状模型的虚拟对象转换为具有不同形状的虚拟对象而获得的UI。例如，长方体虚拟对象362A被转换为草地虚拟对象364A，长方体虚拟对象362B被转换为石头虚拟对象364B，并且圆柱形虚拟对象被转换为树虚拟对象364C。在转换时，考虑了确定形状模型的法线方向。以这种方式，系统1可以提供与真实空间中的真实对象的形状无关的自由表示。

<3.6.处理流程>

随后，将参考图20描述在根据本实施方式的系统1中执行的处理流程的实例。图20是示出根据本实施方式的系统1中执行的处理流程的实例的流程图。应注意，假设在图20所示的处理之前已经执行了确定形状模型的登记处理。

如图20中所示，首先，系统1获取输入信息(步骤S102)，并生成三维模型(步骤S104)。此时，系统1通过顺序地生成和累积三维模型来生成该生成三维模型。随后，系统1自动地或基于用户操作来分配确定形状模型(步骤S106)，并更新生成三维模型(步骤S108)。在此，可以同时执行三维模型的生成和确定形状模型的分配。接下来，系统1通过估计生成三维模型的表面来生成多边形(步骤S110)，并生成显示控制信息(步骤S112)。然后，系统1基于生成的显示控制信息输出UI(步骤S114)。在该UI中，例如，显示了与在生成三维模型中包含的分配的确定形状模型相对应的虚拟对象。

以上述方式，处理结束。

<<4.应用实例>>

随后，将描述使用本技术的应用实例。

(1)预览系统的数据结构

本技术可以用于不动产、活动现场等的预先预览以用于购买房产或制作租赁合同。在这种情况下，例如，通过经由互联网等、或使用头戴式显示器(HMD)的AR/VR/MR系统进行浏览，显示了基于通过本技术生成的生成三维模型的UI。

例如，数据创建者在确定形状模型数据库中预先登记诸如地板表面、墙壁表面、沙发、椅子、书桌和家用电器的确定形状模型来作为有可能散布在要预先查看的房产中的真实对象。然后，数据创建者观测要预览的房产、生成三维模型、并通过分配确定形状模型来更新三维模型。此时，可以根据数据创建者的意图调整三维模型。例如，数据创建者执行这样的调整：留下对应于墙壁、沙发、椅子和书桌的三维模型，而删除对应于已放置在沙发上的衣服、书籍和物品的三维模型。以这种方式，生成了用于预览系统的三维模型。

在发送房产的三维模型的情况下，延迟是重要的，并且期望执行适当的视频呈现，同时避免过量地发送和接收数据。在这一点上，根据本技术，因为有效地表示了三维模型，所以可以抑制要发送和接收的数据量并且实现低延迟。此外，因为可以通过分配的确定形状模型容易地对三维模型进行分类，所以还可以选择性地仅处理期望预览的部分的三维模型。在这种情况下，可以进一步抑制要发送和接收的数据量，并实现更低的延迟。

除了房产的预览之外，本技术还可以用于生成用于在互联网购物中展示的模型、用于家具的布局确认的房屋建模等。

(2)制造支持

本技术还可以用于支持制造。

例如，近年来，作为制造技术之一，3D打印机引起了关注。为了使用3D打印机，需要有待打印的对象的设计图(例如，三维模型)。为了生成三维模型，可以使用本技术。

例如，用户使用粘土创建粗略的形状、通过观测粘土使得生成三维模型、并且通过分配确定形状模型来更新三维模型。由此，用户可以生成正确的三维模型，而无需使用粘土创建精确的形状。用户还可以通过执行作为后续处理的对要分配的确定形状模型的改变、微调等来直观且容易地编辑和完成自动生成的三维模型。

(3)碰撞避免支持

在VR/AR/MR应用中用户在真实空间中移动的情况下，本技术可以用于防止用户与真实空间中的障碍物之间的碰撞。

例如，用户预先准备确定形状模型数据库。随后，用户通过观测用户的周围真实空间来生成三维模型，并通过分配确定形状模型来更新三维模型。此时，还通过扩展分配的确定形状模型来执行对未观测到的区域的补充，诸如，扩大平坦表面、授予“未知”标记、删除噪声等。接下来，应用设置对应于障碍物的危险区域。例如，应用可以将被授予“未知”标志的确定形状模型设置为危险区域。此外，应用可以将除了分配给地板表面的平坦表面之外的所有确定形状模型设置为危险区域。

应用可以显示提示用户避免接近危险区域的虚拟对象。例如，虚拟对象可以是隐式的警告，诸如，大石头或墙壁。在此，可以根据确定形状模型的形状和大小、危险程度的大小等来改变虚拟对象(诸如，大石头/小石头/墙壁等)的类型。此外，虚拟对象可以是显式的警告，诸如，突出显示危险区域的边界。通过这样的虚拟对象，可以预先抑制用户接近障碍物。

将参考图21描述显示了提示用户避免接近危险区域的虚拟对象的UI的实例。图21是用于描述根据本实施方式的UI的实例的示图。如图21中所示，假设用户使用应用的位置370是在室内的，并且存在墙壁371、椅子372和台阶373。在这种情况下，应用显示UI 380，其包括对应于墙壁371的石壁虚拟对象381、对应于椅子372的石头虚拟对象382、以及对应于台阶373的瀑布虚拟对象383。通过这种显示，应用促使用户避免接近危险区域。

另外，在用户正在接近危险区域的情况下，应用可以执行用于紧急避免的处理。例如，应用基于用户与危险区域之间的距离以及到危险区域的接近速度来计算紧急程度(例如，到碰撞的剩余时间)，并且执行与危险程度相对应的处理。具体地，在紧急程度高(例如，剩余时间很少)的情况下，应用中断应用。此外，在紧急程度中等的情况下，应用显示消息，给予用户警告以防止接近危险区域。此外，在紧急程度低的情况下，应用通过显示虚拟角色或将用户跟随的目标移动到另一位置来将用户引导到较安全的位置。

将参考图22描述UI的实例，其中显示了给予用户警告以防止接近危险区域的消息。图22是用于描述根据本实施方式的UI的实例的示图。如图22中所示，当用户在显示了UI380的情况下接近椅子372时，终端设备200显示包括警告消息391的UI 390。通过这样的显示，应用给予用户警告以防止接近危险区域。

通过这样的显示，VR/AR/MR应用可以防止用户与真实空间中的障碍物之间的碰撞。

(4)对象识别

本技术可以用于对象识别。

假设真实空间由多个对象或区域形成，并且这些对象或区域具有不同的属性。根据本技术，生成包括一个或多个分配的确定形状模型的三维模型。因此，还可以将通过由各个确定形状模型划分真实空间而获得的区域设置为识别处理目标区域。由此可以高精度地执行对象识别。此外，可以通过组合多个确定形状模型来设置识别处理目标区域，并且在这种情况下，可以通过多个对象的组合来执行场景识别。

例如，对真实空间的基于确定形状模型的划分识别对于自身位置估计也是有用的。因为自身位置估计是在静止环境中估计其自身位置的技术，所以移动对象扰乱估计。因此，例如，通过在确定形状模型的基础上检测移动对象，并从SLAM中的环境地图中删除与移动对象相对应的部分，可以增强自身位置估计的准确度。应注意，例如，通过检测执行与相机运动相对立的运动的确定形状模型来执行对移动对象的检测。

<<5.硬件配置实例>>

最后，将参考图23描述根据本实施方式的信息处理设备的硬件配置。图23是示出了根据本实施方式的信息处理设备的硬件配置的实例的框图。同时，例如，图23中示出的信息处理设备900可以实现相应地在图5和图6中示出的信息处理设备100或终端设备200。根据下面描述的软件与硬件之间的协作来实现根据本实施方式的信息处理设备100或终端设备200的信息处理。

如图23中所示，信息处理设备900包括中央处理单元(CPU)901、只读存储器(ROM)902、随机存取存储器(RAM)903和主机总线904a。此外，信息处理设备900包括桥接器904、外部总线904b、接口905、输入装置906、输出装置907、存储装置908、驱动器909、连接端口911和通信装置913。信息处理设备900可以包括诸如DSP或ASIC的处理电路来代替CPU 901或与其一起。

CPU 901用作算术处理装置和控制装置，并且根据各种程序来控制信息处理设备900中的整体操作。此外，CPU 901可以是微处理器。ROM 902存储CPU 901使用的程序、操作参数等。RAM 903暂时存储用于执行CPU 901的程序、在执行中适当改变的参数等。例如，CPU901可以形成图5中所示的控制部130、或图6所示的控制部250。

CPU 901、ROM 902和RAM 903通过包括CPU总线等的主机总线904a连接。主机总线904a经由桥接器904与外部总线904b(诸如，外围部件互连/接口(PCI)总线)连接。此外，主机总线904a、桥接器904和外部总线904b不必单独配置，并且这些功能可以安装在单个总线中。

输入装置906由用户通过其输入信息的装置实现，诸如，鼠标、键盘、触摸板、按钮、麦克风、开关和杆。此外，例如，输入装置906可以是使用红外线或其他电波的遥控装置或者诸如与信息处理设备900的操作相对应的移动电话或PDA等外部连接设备。此外，例如，输入装置906可以包括输入控制电路等，其基于用户使用上述输入装置输入的信息产生输入信号，并且将输入信号输出至CPU 901。信息处理设备900的用户可以通过操作输入装置906来输入各种类型的数据或者对信息处理设备900命令处理操作。

除了以上之外，输入装置906可以由检测与用户有关的信息的装置形成。例如，输入装置906可以包括各种传感器，诸如，图像传感器(例如，相机)、深度传感器(例如，立体相机)、加速度传感器、陀螺仪传感器、地磁传感器、光学传感器、声音传感器，距离测量传感器和力传感器。此外，输入装置906可以获取与信息处理设备900自身的状态有关的信息(诸如，信息处理设备900的姿势和移动速度)，以及与信息处理设备900的周围环境有关的信息(诸如，信息处理设备900周围的亮度或噪声)。此外，输入装置906可以包括GNSS模块，该模块从全球导航卫星系统(GNSS)卫星接收GNSS信号(例如，来自全球定位系统(GPS)卫星的GPS信号)并测量包括设备的纬度、经度和海拔的位置信息。此外，关于位置信息，输入装置906可以通过Wi-Fi(注册商标)检测位置、向移动电话、PHS、智能电话等发送和接收、近场通信等。例如，输入装置906可以形成图6中所示的输入部210。

输出装置907由可以在视觉上或听觉上向用户通知所获取的信息的装置形成。作为这样的装置，存在诸如CRT显示装置、液晶显示装置、等离子显示装置、EL显示装置、激光投影仪、LED投影仪或灯的显示装置，诸如扬声器和耳机的声音输出装置，打印机设备等。例如，输出装置907输出通过信息处理设备900执行的各种处理获取的结果。具体地，显示装置以诸如文本、图像、表格和图形的各种形式在视觉上显示通过信息处理设备900执行的各种处理获取的结果。另一方面，声音输出装置将包括再现的声音数据、音频数据等的音频信号转换为模拟信号，并在听觉上输出模拟信号。例如，上述输出装置907可以形成图6中所示的输出部220。

存储装置908是用于数据存储的装置，被形成为信息处理设备900的存储部的实例。例如，存储装置908由诸如HDD的磁存储装置、半导体存储装置、光学存储装置、磁光存储装置等实现。存储装置908可以包括存储介质、用于在存储介质上记录数据的记录装置、用于从存储介质读取数据的读取装置、用于删除记录在存储介质上的数据的删除装置等。存储装置908存储由CPU 901执行的程序和各种类型的数据、从外部获取的各种类型的数据等。例如，存储装置908可以形成图5中所示的存储部120或图6中所示的存储部240。

驱动器909是用于存储介质的读取器/写入器，并且被包括在信息处理设备900中或外部地附接至该信息处理设备。驱动器909读取记录在诸如磁盘、光盘、磁光盘或安装在其上的半导体存储器的可移动存储介质上的信息，并将该信息输出至RAM 903。此外，驱动器909可以在可移动存储介质上写入信息。

例如，连接端口911是与外部设备连接的接口，并且是通至外部设备的连接器，通过该连接器可以通过通用串行总线(USB)等来传输数据。

例如，通信装置913是由用于连接至网络920等的通信装置形成的通信接口。例如，通信装置913是用于有线或无线局域网(LAN)、长期演进(LTE)、蓝牙(注册商标)或无线USB(WUSB)的通信卡等。此外，通信装置913可以是用于光学通信的路由器、用于非对称数字用户线(ADSL)的路由器、各种通信调制解调器等。例如，通信装置913可以根据预定协议(例如，TCP/IP等)向/从互联网和其他通信设备发送/接收信号等。例如，通信装置913可以形成图5中所示的通信部110或图6中所示的通信部230。

此外，网络920是从连接到网络920的装置发送的信息的有线或无线发送路径。例如，网络920可以包括诸如互联网、电话电路网络或卫星通信网络的公共电路网络、包括以太网(注册商标)的各种局域网(LAN)、广域网(WAN)等。此外，网络920可以包括专用电路网络，诸如，互联网协议-虚拟专用网络(IP-VPN)。

在上文中，示出了能够实现根据本实施方式的信息处理设备900的功能的硬件配置的实例。相应的部件可以使用通用构件来实现，或者可以由特定于相应部件的功能的硬件来实现。因此，根据执行实施方式时的技术水平，可以适当地改变要使用的硬件配置。

此外，可以创建用于实现如上所述的根据本实施方式的信息处理设备900的各个功能的计算机程序，并且可以将其安装在PC等中。此外，可以提供存储有这种计算机程序的计算机可读记录介质。例如，记录介质是磁盘、光盘、磁光盘、闪存等。此外，例如，计算机程序可以在不使用记录介质的情况下通过网络来传送。

<<6.总结>>

上面已经参考图1至图23详细描述了本公开的实施方式。如上所述，根据本实施方式的系统1向作为在生成三维模型中包含的至少一部分三维模型的第二三维模型分配确定形状模型，该确定形状模型具有对应于第二三维模型的形状的预定形状。根据本技术，通过分配确定形状模型，对于包括边缘部分和平坦区域的真实对象，可以生成具有光滑表面的三维模型，同时保持三维几何结构。换言之，可以使三维模型更接近真实对象。此外，根据本技术，通过分配确定形状模型，因为可以由确定形状模型表示诸如平坦表面或弯曲表面等固定形状的部分，所以可以提高处理效率。此外，根据本技术，通过使信息量退化，可以有效地表示包括巨大信息量的三维模型。

上面已经参考附图描述了本公开的(多个)优选实施方式，然而本公开并不限于上面的实例。在所附权利要求的范围内，本领域技术人员可以找到各种变化和修改，并且应该了解，它们将自然处于本公开的技术范围内。

应注意，本说明书中描述的设备可以实现为独立的设备，或者其一部分或全部可以实现为单独的设备。例如，信息处理设备100和终端设备200可以实现为独立的设备。

应注意，本说明书中参考流程图和顺序图描述的处理不必以流程图中所示的顺序来执行。一些处理步骤可以并行执行。此外，可以采用一些附加步骤，或者可以省略一些处理步骤。

另外，在本说明书中描述的效果仅是说明性或例示性效果，并且不是限制性的。即，藉由上面的效果或在上面效果的地方，根据本公开的技术可以实现从本说明书的描述对于本领域的技术人员来说清楚的其它效果。

另外，本技术还可以如下进行配置。

(1)

一种信息处理设备，包括：

控制部，被配置成向作为在第一三维模型中包含的至少一部分三维模型的第二三维模型分配确定形状模型，该确定形状模型具有对应于第二三维模型的形状的预定形状。

(2)

根据(1)所述的信息处理设备，包括

存储部，被配置成存储多个确定形状模型，

其中，控制部从存储部中存储的多个确定形状模型中选择要分配的确定形状模型。

(3)

根据(2)所述的信息处理设备，其中，控制部根据在第二三维模型与确定形状模型之间的相似度来执行选择。

(4)

根据(3)所述的信息处理设备，其中，相似度是通过在第二三维模型中包含的特征点与确定形状模型中包含的顶点之间的距离来评估的。

(5)

根据(3)或(4)所述的信息处理设备，其中，相似度是通过在第二三维模型中包含的特征点与确定形状模型中包含的顶点之间的法线的重合度来评估的。

(6)

根据(3)至(5)中的任一项所述的信息处理设备，其中，相似度是通过在第二三维模型与确定形状模型之间的重力方向的重合度来评估的。

(7)

根据(2)至(6)中的任一项所述的信息处理设备，其中，控制部根据用户操作来执行选择。

(8)

根据(2)至(7)中的任一项所述的信息处理设备，其中，控制部从第一三维模型中删除与所分配的确定形状模型具有预定关系的三维模型。

(9)

根据(1)至(8)中的任一项所述的信息处理设备，其中，控制部生成显示控制信息以用于使对应于第一三维模型中包含的所分配的确定形状模型的虚拟对象被显示。

(10)

根据(9)所述的信息处理设备，其中，显示控制信息包括用于使对应于第一三维模型的未被分配确定形状模型的一部分的虚拟对象被显示的信息。

(11)

根据(9)或(10)所述的信息处理设备，其中，显示控制信息包括用于使提示用户执行附加观测以使第一三维模型更详细的信息被显示的信息。

(12)

根据(9)至(11)中的任一项所述的信息处理设备，

其中，第一三维模型是用户的周围真实空间的三维模型，并且

显示控制信息包括用于使提示用户避免接近在第一三维模型中包含的所分配的确定形状模型的虚拟对象被显示的信息。

(13)

根据(9)至(12)中的任一项所述的信息处理设备，

显示控制信息包括用于使警告用户以防止接近在第一三维模型中包含的所分配的确定形状模型的信息被显示的信息。

(14)

根据(1)至(13)中的任一项所述的信息处理设备，其中，确定形状模型包括多个顶点的相对坐标以及表示包括该多个顶点的表面的信息。

(15)

根据(14)所述的信息处理设备，其中，确定形状模型包括以下各项中的至少任一项：表示表面的纹理的信息、表示材料的信息、表示表面的法线方向的信息、或表示接地表面的信息。

(16)

根据(1)至(15)中的任一项所述的信息处理设备，其中，三维模型是点云。

(17)

根据(1)至(15)中的任一项所述的信息处理设备，其中，三维模型是多边形。

(18)

根据(1)至(17)中的任一项所述的信息处理设备，其中，确定形状模型是多边形。

(19)

一种信息处理方法，包括：

通过处理器向作为在第一三维模型中包含的至少一部分三维模型的第二三维模型分配确定形状模型，该确定形状模型具有对应于第二三维模型的形状的预定形状。

(20)

一种存储有程序的存储介质，该程序使得计算机用作：

参照符号列表

1 系统

100 信息处理设备

110 通信部

120 存储部

130 控制部

131 登记部

133 获取部

135 分配部

137 输出控制部

200 终端设备

210 输入部

220 输出部

230 通信部

240 存储部

250 控制部

251 估计部

253 生成部。

Claims

1.一种信息处理设备，包括：

控制部，被配置成获取基于包括捕获图像和深度信息中的至少一个的观测信息生成的第一三维模型；向作为在所述第一三维模型中包含的至少一部分三维模型的第二三维模型分配确定形状模型，所述确定形状模型具有对应于所述第二三维模型的形状的预定形状；以及使对应于具有预定形状的每个分配的所述第二三维模型的虚拟对象叠加显示在所述第一三维模型的对应部分上，所述第一三维模型是多个所述第二三维模型的整合。

2.根据权利要求1所述的信息处理设备，包括

存储部，被配置成存储多个所述确定形状模型，

其中，所述控制部从所述存储部中存储的多个所述确定形状模型中选择要分配的确定形状模型。

3.根据权利要求2所述的信息处理设备，其中，所述控制部根据在所述第二三维模型与所述确定形状模型之间的相似度来执行选择。

4.根据权利要求3所述的信息处理设备，其中，所述相似度是通过在所述第二三维模型中包含的特征点与所述确定形状模型中包含的顶点之间的距离来评估的。

5.根据权利要求3所述的信息处理设备，其中，所述相似度是通过在所述第二三维模型中包含的特征点与所述确定形状模型中包含的顶点之间的法线的重合度来评估的。

6.根据权利要求3所述的信息处理设备，其中，所述相似度是通过在所述第二三维模型与所述确定形状模型之间的重力方向的重合度来评估的。

7.根据权利要求2所述的信息处理设备，其中，所述控制部根据用户操作来执行选择。

8.根据权利要求2所述的信息处理设备，其中，所述控制部从所述第一三维模型中删除与所分配的确定形状模型具有预定关系的三维模型。

9.根据权利要求1所述的信息处理设备，其中，所述控制部生成显示控制信息以用于使对应于所述第一三维模型中包含的所分配的确定形状模型的虚拟对象被显示。

10.根据权利要求9所述的信息处理设备，其中，所述显示控制信息包括用于使对应于所述第一三维模型的未被分配所述确定形状模型的一部分的虚拟对象被显示的信息。

11.根据权利要求9所述的信息处理设备，其中，所述显示控制信息包括用于使提示用户执行附加观测以使所述第一三维模型更详细的信息被显示的信息。

12.根据权利要求9所述的信息处理设备，

其中，所述第一三维模型是用户的周围真实空间的三维模型，并且

所述显示控制信息包括用于使提示用户避免接近在所述第一三维模型中包含的所分配的确定形状模型的虚拟对象被显示的信息。

13.根据权利要求9所述的信息处理设备，

所述显示控制信息包括用于使警告用户以防止接近在所述第一三维模型中包含的所分配的确定形状模型的信息被显示的信息。

14.根据权利要求1所述的信息处理设备，其中，所述确定形状模型包括多个顶点的相对坐标以及表示包括所述多个顶点的表面的信息。

15.根据权利要求14所述的信息处理设备，其中，所述确定形状模型包括以下各项中的至少任一项：表示所述表面的纹理的信息、表示材料的信息、表示所述表面的法线方向的信息、或表示接地表面的信息。

16.根据权利要求1所述的信息处理设备，其中，所述第一三维模型是点云。

17.根据权利要求1所述的信息处理设备，其中，所述第一三维模型是多边形。

18.根据权利要求1所述的信息处理设备，其中，所述确定形状模型是多边形。

19.一种信息处理方法，包括：

通过处理器获取基于包括捕获图像和深度信息中的至少一个的观测信息生成的第一三维模型；向作为在所述第一三维模型中包含的至少一部分三维模型的第二三维模型分配确定形状模型，所述确定形状模型具有对应于所述第二三维模型的形状的预定形状以及使对应于具有预定形状的每个分配的所述第二三维模型的虚拟对象叠加显示在所述第一三维模型的对应部分上，所述第一三维模型是多个所述第二三维模型的整合。

20.一种存储有程序的存储介质，所述程序使得计算机用作：