CN108463840A - 信息处理设备、信息处理方法以及记录介质 - Google Patents

Abstract

为了使得能够估计对象在真实空间中的尺寸。一种信息处理设备设置有：获取部，其获取由预定的成像部捕获的真实空间中的真实对象的图像以及预定的距离测量部对距真实对象的距离的测量结果；以及估计部，其基于真实对象在图像中的尺寸和距离的测量结果来估计真实对象在真实空间中的尺寸，并且通过将对尺寸的估计结果与多个预设的尺寸候选进行比较来指定真实对象在真实空间中的尺寸。

Description

信息处理设备、信息处理方法以及记录介质

技术领域

本公开内容涉及信息处理设备、信息处理方法以及记录介质。

背景技术

近来，随着图像识别技术变得更加先进，已经可以识别由成像设备捕获的图像中包括的真实对象(即，真实空间中的物体)的位置和姿态。所谓的增强现实(AR)的技术被称为这样的物体识别的一个应用示例。通过利用AR技术，可以向用户呈现叠加到真实空间的图像中捕获到的真实对象上的诸如文本、图标或动画的各种模式的虚拟内容(在下文中也被称为“虚拟对象”)。例如，专利文献1公开了AR技术的一个示例。

此外，通过应用物体识别技术，可以执行所谓的定位，该定位用于识别捕获对象的图像的成像部(具体而言为设置有成像部的设备)在真实空间中的位置。所谓同步定位与地图构建(SLAM)的技术是实现这样的定位的技术的一个示例。

引用文献列表

专利文献

专利文献1：JP 2013-92964A

发明内容

技术问题

作为用于实现定位的方法的一个示例，存在以下方法：在由成像部捕获的图像内检测具有已知尺寸和形状的真实对象(诸如已知标记等)，从而估计真实对象与成像部之间的位置关系。

另一方面，在某些情况下，用作定位的参考的真实对象的尺寸并不一定是已知的。例如，在用作定位的参考的标记显示在显示器上的情况下，标记的尺寸可能根据显示器的尺寸而变化。以这种方式，在用作定位的参考的真实对象的尺寸未知的状态下，在一些情况下可能难以更准确地估计真实对象与成像部之间的位置关系(即，更准确地执行定位)。

因此，本公开内容提出了能够估计对象在真实空间中的尺寸的信息处理设备、信息处理方法和记录介质。

针对问题的解决方案

根据本公开内容，提供了一种信息处理设备，该信息处理设备包括：获取部，其获取由预定的成像部捕获的真实空间中的真实对象的图像以及预定的距离测量部对距真实对象的距离的测量结果；以及估计部，其基于真实对象在图像中的尺寸和距离的测量结果来估计真实对象在真实空间中的尺寸，并且通过将对尺寸的估计结果与多个预设的尺寸候选进行比较来指定真实对象在真实空间中的尺寸。

另外，根据本公开内容，提供了一种信息处理方法，该信息处理方法包括：获取由预定的成像部捕获的真实空间中的真实对象的图像以及预定的距离测量部对距真实对象的距离的测量结果；以及由处理器基于图像中的真实对象的尺寸和距离的测量结果来估计真实对象在真实空间中的尺寸，并且通过将尺寸的估计结果与多个预设的尺寸候选进行比较来指定真实对象在真实空间中的尺寸。

另外，根据本公开内容，提供了一种记录介质，该记录介质存储用于使计算机执行以下操作的程序：获取由预定的成像部捕获的真实空间中的真实对象的图像以及预定的距离测量部对距真实对象的距离的测量结果；以及基于真实对象在图像中的尺寸和距离的测量结果来估计真实对象在真实空间中的尺寸，并且通过将对尺寸的估计结果与多个预设的尺寸候选进行比较来指定真实对象在真实空间中的尺寸。

本发明的有益效果

根据如上所述的本公开内容，提出了能够估计对象在真实空间中的尺寸的信息处理设备、信息处理方法和记录介质。

注意，上述效果不一定是限制性的。利用或代替上述效果，可以实现本说明书中描述的效果或者可以从本说明书理解的其他效果中的任何效果。

附图说明

图1是用于说明根据本公开内容的第一实施方式的终端设备的示意性配置的示例的说明图；

图2是用于说明定位的原理的示例的说明图。

图3是用于说明利用定位结果的处理的示例的说明图。

图4是用于说明根据实施方式的信息处理系统的技术问题的说明图。

图5是示出根据实施方式的信息处理系统的功能配置的示例的框图。

图6是示出根据实施方式的信息处理系统的一系列处理的流程的示例的流程图。

图7是用于说明根据本公开内容的第二实施方式的信息处理系统的概述的说明图。

图8是示出根据实施方式的信息处理系统的功能配置的示例的框图。

图9是示出根据实施方式的信息处理系统1的一系列处理的流程的示例的流程图。

图10是示出根据本公开内容的实施方式的信息处理设备的示例性硬件配置的框图。

具体实施方式

在下文中，将参照附图来详细描述本公开内容的一个或多个优选实施方式。注意，在本说明书和附图中，具有基本相同的功能和结构的结构元件用相同的附图标记来表示，并且省略对这些结构元件的重复说明。

在下文中，将按照以下顺序进行描述。

1.第一实施方式

1.1.终端设备配置

1.2.定位的原理

1.3.功能配置

1.4.处理

1.5.评估

2.第二实施方式

2.1.基本原理

2.2.功能配置

2.3.处理

2.4.评估

3.示例性硬件配置

4.结论

<1.第一实施方式>

<1.1.终端设备配置>

首先，将参照图1描述根据第一实施方式的终端设备的示意性配置的示例。图1是用于说明根据本实施方式的终端设备的示意性配置的示例的说明图。

如图1所示，根据本实施方式的终端设备20包括输出部201以及成像部203a和203b。另外，根据本实施方式的终端设备20被配置为所谓的头戴式显示器(HMD)。换言之，终端设备20被配置成使得通过佩戴在用户的头部上，用于显示图像的输出部201(例如，显示面板)保持在用户的眼睛前方。

成像部203a和203b被配置为所谓的立体摄像机，并且被设置在终端设备20上的相互不同的位置处，使得当终端设备20被佩戴在用户的头部上时，成像部203a和203b指向用户的头部面向的方向(即，用户的前方)。基于这样的配置，成像部203a和203b从相互不同的位置(换言之，不同的视角)对在佩戴终端设备20的用户前方的被摄体(换言之，位于真实空间中的真实对象)进行成像。采用该布置，终端设备20能够获取位于用户的前方的被摄体的图像，另外，基于由成像部203a和203b中的每一个捕获的图像之间的视差来计算从终端设备20到被摄体的距离。

另外，根据本实施方式的终端设备20还可以设置有例如加速度传感器和角速度传感器(陀螺仪传感器)，并且被配置成能够检测佩戴终端设备20的用户的头部的运动(头部的姿态)。作为具体示例，终端设备20可以检测偏航方向、俯仰方向和滚转方向中的每一个上的分量作为用户的头部的运动，并从而识别用户头部的位置和姿态中的至少一个的变化。

基于如上配置，根据本实施方式的终端设备20能够通过输出部201向用户呈现与用户头部的运动匹配的、位于用户前方的被摄体的图像。此外，此时，基于所谓的AR技术，终端设备20还能够通过输出部201向用户呈现其中虚拟内容(即，虚拟对象)被叠加到被摄体(即，位于真实空间中的真实对象)上的图像。注意，稍后将详细描述当将虚拟对象叠加到真实对象上时终端设备20估计其自身在真实空间中的位置和姿态(即，定位)的方法的示例。

注意，例如，可用作终端设备20的头戴式显示器(HMD)的示例包括视频透视HMD、透视HMD和视网膜投影HMD。

在视频透视HMD被佩戴在用户的头部或面部的情况下，视频透视HMD被佩戴以覆盖用户的眼睛，并且诸如显示器的显示单元保持在用户的眼睛前方。此外，视频透视HMD包括用于对周围场景进行成像的成像单元，并且使显示单元显示由成像单元成像的在用户前方的场景的图像。采用这样的配置，对于佩戴视频透视HMD的用户，外部场景难以直接进入人的视野，但是可以通过显示单元上显示的图像来检查外部场景。例如，图1所示的终端设备20可以对应于视频透视HMD的示例。

例如，透视HMD使用半反射镜(half mirror)和透明导光板来将包括透明导光单元等的虚拟图像光学系统保持在用户的眼睛前方，并且在虚拟图像光学系统的内侧显示图像。因此，对于佩戴透视HMD的用户，即使在观看在虚拟图像光学系统的内侧显示的图像时，外部场景也可以进入人的视野。根据这样的配置，例如，基于AR技术，透视HMD能够根据透视HMD的位置和姿态中的至少一个的识别结果而将虚拟对象的图像叠加到位于真实空间中的真实对象的光学图像上。注意，透视HMD的具体示例包括所谓的眼镜式可佩戴装置，其中，与一副眼镜的镜片对应的部分被配置为虚拟图像光学系统。

对于视网膜投影HMD，将投影单元保持在用户的眼睛前方，并且从投影单元朝向用户的眼睛投影图像以使得图像被叠加到外部场景上。更具体地，在视网膜投影HMD中，图像直接从投影单元投影到用户眼睛的视网膜上，并且图像形成在视网膜上。采用这样的配置，即使在近视用户或远视用户的情况下，也可以观看更清晰的图片。此外，对于佩戴视网膜投影HMD的用户，即使在观看从投影单元投影的图像的同时，外部场景也可以进入人的视野。根据这样的配置，例如，基于AR技术，视网膜投影HMD能够根据视网膜投影HMD的位置和姿态中的至少一个的识别结果而将虚拟对象的图像叠加到位于真实空间中的真实对象的光学图像上。

注意，为了参考，除了上述示例之外，被称为沉浸式HMD的HMD也是可以的。类似于视频透视HMD，佩戴沉浸式HMD以覆盖用户的眼睛，并且诸如显示器的显示单元保持在用户眼睛前方。因此，对于佩戴沉浸式HMD的用户，外部场景(即，真实世界的场景)难以直接进入人的视野，并且仅显示单元上显示的图像进入人的视野。采用这样的配置，沉浸式HMD能够给予正在观看图像的用户沉浸感。

以上参照图1描述了根据本实施方式的终端设备的示意性配置的示例。注意，上述终端设备20的配置仅是一个示例，并且该配置并不受特别限制，只要可以捕获佩戴终端设备20的用户的前方的图像并且另外计算从终端设备20到所捕获的被摄体的距离即可。作为具体示例，替代被配置为立体摄像装置的成像部203a和203b，可以提供单眼成像部和测量距被摄体的距离的距离测量部。

注意，该配置和方法不受特别限制，只要终端设备20与被摄体之间的距离是可测量的。作为具体示例，可以基于诸如多摄像装置立体声(multi-camera stereo)、运动视差、飞行时间(TOF)和结构光的方法来测量终端设备20与被摄体之间的距离。在本文中，TOF是指以下方法：将诸如红外线的光投射到被摄体上，并且针对每个像素来测量投射光被被摄体反射并返回的时间，从而基于测量结果获得包括距被摄体的距离(深度)的图像(也称为深度图)。此外，结构光是以下方法：通过诸如红外线的光照射具有图案的被摄体并捕获图像，并且基于从成像结果获得的图案的变化来获得包括距被摄体的距离(深度)的深度图。此外，运动视差是指即使在所谓的单眼摄像装置(monocular camera)的情况下也基于视差来测量距被摄体的距离的方法。具体地，通过移动摄像装置，从相互不同的视点捕获被摄体，并且基于所捕获的图像之间的视差来测量距被摄体的距离。注意，此时通过用各种传感器识别摄像装置的运动距离和运动方向，可以更精确地测量距被摄体的距离。注意，可以根据距离测量方法来改变成像部(例如，诸如单眼摄像装置或立体摄像装置)的配置。

<1.2.定位的原理>

接下来，当终端设备20将虚拟对象叠加到真实对象上时，将描述用于估计其自身在真实空间中的位置和姿态(即，定位)的技术的原理的示例，此外，将概述本实施方式的技术问题。例如，图2是用于说明定位的原理的示例的说明图。

作为定位的具体示例，终端设备20使用诸如设置在其自身上的摄像装置的成像部来捕获真实空间中的真实对象上呈现的已知尺寸的标记V10。另外，通过分析所捕获的图像，终端设备20估计自身相对于标记V10(具体而言，其上呈现有V10的真实对象)的相对位置和姿态中的至少一个。注意，下面的描述关注终端设备20估计其自身的位置和姿态的情况，但是终端设备20也可以如先前描述的那样仅估计其自身的位置和姿态中的一个。

具体地，可以根据在图像中被捕获到的标记V10的方向(例如，标记V10的图案等的方向)来估计成像部(具体而言，设置有成像部的终端设备20)相对于标记V10的相对方向。此外，在标记V10的尺寸已知的情况下，可以根据标记V10在图像中的尺寸来估计标记V10与成像部(即，其中设置有成像部的终端设备20)之间的距离。更具体地，如果从更远处捕获标记V10，则标记V10被捕获得更小。此外，可以基于成像部的视角来估计此时图像中捕获的真实空间的范围。通过利用上述特性，可以根据在图像中捕获的标记V10的尺寸(换言之，标记V10所占据的视角的比例)来反算标记V10与成像部之间的距离。根据如上配置，终端设备20能够估计其自身相对于标记V10的相对位置和姿态。

另外，称为同步定位和地图构建(SLAM)的技术也可以用于终端设备20的定位。SLAM是指通过利用诸如摄像装置的成像部、各种传感器、编码器等来并行地执行定位和环境地图的创建的技术。作为更具体的示例，利用SLAM(特别是视觉SLAM)，基于由成像部捕获的移动图像来依次重构捕获的场景(或被摄体)的三维形状。另外，通过将所捕获的场景的重构结果与成像部的位置和姿态的检测结果相关联来执行对周围环境的地图的创建以及对成像部(具体而言，终端设备20)的位置和姿态的估计。注意，例如，通过使终端设备20设置有诸如加速度传感器和角速度传感器的各种传感器，可以基于传感器的检测结果来估计成像部的位置和姿态作为指示相对变化的信息。显然，只要可以估计成像部的位置和姿态，该方法就不一定仅限于基于诸如加速度传感器和角速度传感器的各种传感器的检测结果的方法。

基于如上配置，例如，基于成像部对标记V10的成像结果而对终端设备20相对于已知标记V10的相对位置和姿态的估计结果也可以用在上述SLAM中的初始化处理和位置校正中。根据这样的配置，即使在标记V10未包括在成像部的视角内的情况下，通过基于接收到先前执行的初始化和位置校正的结果的SLAM的定位，终端设备20能够估计自身相对于标记V10(具体而言，其上呈现有标记V10的真实对象)的位置和姿态。

另外，通过利用上述定位结果，基于AR技术，终端设备20还能够以使得虚拟对象被叠加到真实空间中的期望位置(期望的真实对象)上的方式向用户呈现虚拟对象。

另一方面，在诸如游戏的应用中，例如，如图2所示，可以预期在诸如显示器的显示设备50上显示标记V10的情况。在这样的情况下，例如，通过使显示设备50上显示的标记V10被识别(例如，通过使成像部捕获图像)，终端设备20估计自身相对于显示设备50的相对位置和姿态(即，执行定位)。随后，例如，终端设备20在基于AR技术对虚拟对象进行呈现时利用其自身相对于显示设备50的位置和姿态的估计结果。

例如，图3是用于说明利用定位结果的处理的示例的说明图，并且示出了基于AR技术呈现虚拟对象的情况的示例。具体地，终端设备20基于其自身相对于显示设备50的相对位置和姿态的估计结果而通过输出部201向用户呈现虚拟对象V20，使得虚拟对象V20被叠加在布置有显示设备50的实际空间中的期望位置处。

然而，用于定位的标记的尺寸不一定是已知的。例如，如在图2所示的示例中，在显示设备50上显示标记V10的情况下，标记V10在真实空间中的尺寸根据显示设备50的尺寸(例如，英寸数)而不同。

例如，图4是用于描述根据本实施方式的信息处理系统的技术问题的说明图，并且示出了在相互尺寸不同的显示设备上显示标记的情况的示例。具体地，在图4所示的示例中，呈现标记V10的相同图像显示在具有相互不同的英寸数的显示设备50a和50b上。如图4所示，即使在显示设备50a和50b中的每一个上以相同的方式显示标记V10，显示设备50a上显示的标记V10a在真实空间中的尺寸和显示设备50b上显示的标记V10b在真实空间中的尺寸是不同的。

此外，诸如明确粘附的粘附物的标记不一定用作用于定位的标记。作为具体示例，可以预期利用书籍等的封面作为标记的情况。在这样的情况下，书籍的尺寸是不同的，如诸如精装本和全装订的所谓的硬封面与所谓的平装本之间的差异，并且即使在关注相似标题的情况下，在某些情况下也存在不同尺寸的书籍。

以这种方式，在用于定位的标记的尺寸未知的情况下，终端设备20可能难以准确地估计在真实空间中的维度，并且具体而言，在一些情况下可能难以准确地执行定位。因此，本公开内容提出了如下机构的示例，该机构即使在真实对象的尺寸未知的情况下也能够通过估计真实对象的尺寸来估计成像部(具体而言，终端设备20)相对于真实对象的位置和姿态。因此，在下文中，将进一步详细描述根据本实施方式的信息处理系统的特征。

<1.3.功能配置>

首先，将参照图5来描述根据本实施方式的信息处理系统的功能配置的示例。图5是示出根据本实施方式的信息处理系统的功能配置的示例的框图。

如图5所示，根据本实施方式的信息处理系统1包括终端设备20、信息处理设备10和物体识别字典301。终端设备20和信息处理设备10被配置成能够通过预定网络彼此发送和接收信息。注意，连接终端设备20与信息处理设备10的网络的类型不受特别限制。作为具体示例，例如，网络可以被配置为所谓的无线网络，诸如基于Wi-Fi(注册商标)标准的网络。此外，作为另一示例，网络可以被配置为因特网、专用线路、局域网(LAN)、广域网(WAN)等。另外，网络还可以包括多个网络，并且还可以被配置为部分有线网络。

终端设备20的一个具体示例是参照图1描述的终端设备20。更具体地，如图5所示，终端设备20包括输出部201、成像部203和距离测量部205。输出部201对应于图1所示的输出部201。注意，在图5所示的示例中，在图1中被配置为立体摄像装置的成像部203a和203b之中，与捕获图像有关的部分被示为成像部203，而与对距被摄体的距离的测量有关的部分被示为距离测量部205。

换言之，成像部203捕获真实空间中的物体(被摄体)的图像，并且将捕获的图像输出至信息处理设备10。此外，距离测量部205测量距真实空间中的物体(被摄体)的距离，并且将指示测量结果的深度信息输出至信息处理设备10。

接下来，将关注信息处理设备10的配置。如图5所示，信息处理设备10包括图像分析部101、距离估计部103、尺寸估计部105、位置和姿态估计部107以及输出控制部109。

图像分析部101获取由成像部203捕获的图像并且对所获取的图像执行分析处理，从而识别图像中作为被摄体被捕获到的物体(真实对象)。此时，例如，图像分析部101可以基于图像中捕获到的物体的特征(例如，诸如形状和图案的特征)计算特征量，与指示已知物体的特征量的信息相互对照，从而识别图像中捕获到的物体。注意，将指示已知物体的特征量的信息预先存储在信息处理设备10可读取的存储区域中就足矣。例如，物体识别字典301示出了用于存储指示已知物体的特征量的信息的存储区域的示例。

通过上述，图像分析部101识别图像中捕获到的物体。通过这样的识别结果，可以识别物体在图像中的位置和尺寸。随后，图像分析部101将指示图像中捕获到的物体的识别结果的信息(在下文中，在一些情况下简称为“物体识别结果”)输出至距离估计部103。注意，例如，所获取的图像(即，由成像部203捕获的图像)优选地被保存在稍后描述的信息处理设备10的每个配置可以参考的存储区域(从图示中省略)中。显然，只要信息处理设备10的每个配置能够参考所获取的图像，则该方法不受特别限制。鉴于上述，以下描述假定信息处理设备10的每个配置均能够根据需要参考所获取的图像。

距离估计部103从距离测量部205获取深度信息，该深度信息指示对距由成像部203捕获作为被摄体的物体的距离的测量结果。作为具体示例，在终端设备20使用如图1所示的示例的立体摄像装置作为与距离测量部205对应的配置的情况下，距离估计部103可以基于立体摄像装置的成像结果而获取指示视差的信息作为深度信息。此外，在距离测量部205是基于TOF方式测量距被摄体(物体)的距离的配置的情况下，距离估计部103可以获取所谓的深度图作为深度信息，该深度图包括指示针对每个像素而测量的距被摄体的距离(深度)的信息。

另外，距离估计部103从图像分析部101获取指示物体识别结果的信息。随后，距离估计部103基于所获取的指示物体识别结果的信息和深度信息来估计距所识别的物体的距离。作为更具体的示例，距离估计部103通过基于物体识别结果识别物体在图像中的位置并且从所获取的深度信息中提取与所识别的图像中的位置对应的距离的测量结果来识别(估计)距物体的距离。

随后，距离估计部103将指示所获取的物体识别结果的信息以及指示对距物体的距离的估计结果的信息输出至尺寸估计部105。

尺寸估计部105从距离估计部103获取指示物体识别结果的信息以及指示对距物体的距离的估计结果的信息，并且基于所获取的信息来估计物体在真实空间中的尺寸。作为具体示例，尺寸估计部105基于物体在图像中的尺寸以及对距物体的距离的估计结果来估计物体在真实空间中的尺寸。注意，如之前所述，可以基于成像部203的视角来估计图像中捕获到的真实空间的范围。因此，如果可以估计至图像中捕获到的物体的距离，则可以基于物体在图像中的尺寸(即，占据视角的物体的范围)来估计物体在真实空间中的尺寸。

随后，尺寸估计部105将指示所获取的物体识别结果的信息以及指示对物体的尺寸的估计结果的信息输出至位置和姿态估计部107。

位置和姿态估计部107是用于执行与估计终端设备20在真实空间中的位置和姿态有关的处理(也称为定位相关处理)的配置。位置和姿态估计部107从尺寸估计部105获取指示物体识别结果的信息以及指示对物体的尺寸的估计结果的信息，并且基于所获取的信息来估计终端设备20相对于物体的相对位置和姿态。注意，通过基于所获取的对物体的尺寸的估计结果识别出物体的尺寸是已知的，可以基于之前描述的方法来估计终端设备20相对于所识别的物体(即，图像中所捕获的物体)的相对位置和姿态。

另外，此时，位置和姿态估计部107也可以基于SLAM来估计终端设备20相对于所识别的物体的相对位置和姿态。在这种情况下，位置和姿态估计部107可以从未示出的预定的检测部(例如，设置在终端设备20中的加速度传感器和角速度传感器)来获取指示终端设备20的位置和姿态的变化的信息，并且基于SLAM、使用该信息来进行定位(即，估计终端设备20相对于物体的位置和姿态)。

随后，位置和姿态估计部107将指示所获取的物体识别结果的信息以及指示终端设备20在真实空间中的位置和姿态的估计结果的信息输出至输出控制部109。

输出控制部109是用于基于AR技术、通过输出部201以使得虚拟对象被叠加到真实空间上的方式向用户呈现虚拟对象的配置。注意，输出控制部109对应于“显示控制部”的示例。

随后，输出控制部109从位置和姿态估计部107获取指示物体识别结果的信息以及指示终端设备20在真实空间中的位置和姿态的估计结果的信息。采用该布置，输出控制部109能够估计真实空间中的终端设备20与所识别出的物体之间的位置关系、以及物体在真实空间中的三维位置和姿态。

另外，例如，根据真实空间中的终端设备20与所识别出的物体之间的位置关系，输出控制部109使输出部201将虚拟对象显示成虚拟对象被叠加到真实空间中的期望位置上。

作为更具体的示例，将关注终端设备20被配置为视频透视HMD的情况。在这种情况下，输出控制部109根据真实空间中的终端设备20与所识别出的物体之间的位置关系来将虚拟对象叠加到由成像部203捕获的图像上，并且使输出部201显示叠加有虚拟对象的图像。此时，输出控制部109优选地根据真实空间中的终端设备20与所识别出的物体之间的位置关系来调整虚拟对象的显示位置和虚拟对象的尺寸。采用这样的布置，用户能够感知其中虚拟对象似乎存在于自己前方的图像。

此外，作为另一示例，将关注终端设备20被配置为透视HMD的情况。在这种情况下，当在虚拟图像光学系统(对应于输出部201)的内侧显示虚拟对象时，输出控制部109足以根据真实空间中的终端设备20与所识别出的物体之间的位置关系来控制虚拟对象的显示位置和尺寸。采用这样的布置，用户能够如虚拟对象似乎存在于自己前方那样感知虚拟对象。

应注意，图5所示的配置仅仅是一个示例，并且信息处理系统1的配置不一定限于图5所示的示例。作为具体示例，终端设备20和信息处理设备10也可以以集成方式进行配置。此外，作为另一示例，信息处理设备10的配置的一部分也可以被设置在与信息处理设备10不同的设备(例如，诸如终端设备20或者外部服务器)中。此外，物体识别字典301可以被内置于信息处理设备10中，或者被设置在外部服务器中。

上面参照图5描述了根据本实施方式的信息处理系统1的功能配置的示例。

<1.4.处理>

接下来，将参照图6来描述根据本实施方式的信息处理系统的一系列处理的流程的示例，其中，具体地关注信息处理设备10中的与对终端设备20的位置和姿态的估计有关的处理。图6是示出根据本实施方式的信息处理系统的一系列处理的流程的示例的流程图。

首先，信息处理设备10(图像分析部101)获取由成像部203捕获的图像并且对所获取的图像执行分析处理，从而识别图像中作为被摄体被捕获到的物体(真实对象)(S101)。注意，识别图像中捕获到的物体的方法如之前描述的图像分析部101的处理那样。

接下来，信息处理设备10(距离估计部103)从距离测量部205获取深度信息，该深度信息指示距成像部203捕获作为被摄体的物体的距离的测量结果。随后，信息处理设备10基于指示物体识别结果的信息和所获取的深度信息来估计距所识别出的物体的距离(S103)。注意，估计距所识别出的物体的距离的方法如之前描述的距离估计部103的处理那样。

接下来，信息处理设备10(尺寸估计部105)基于指示物体识别结果的信息以及指示对距物体的距离的估计结果的信息来估计物体在真实空间中的尺寸(S105)。注意，估计所识别出的物体在真实空间中的尺寸的方法如之前描述的尺寸估计部105的处理的那样。

接下来，信息处理设备10(位置和姿态估计部107)基于指示物体识别结果的信息以及指示对物体的尺寸的估计结果的信息来估计终端设备20相对于物体的相对位置和姿态。此时，信息处理设备10基于所获取的对物体的尺寸的估计结果来识别物体的尺寸是已知的，从而使得可以基于先前描述的方法来估计终端设备20相对于物体的相对位置和姿态。此外，此时，信息处理设备10可以基于SLAM估计终端设备20相对于所识别出的物体的相对位置和姿态(S107)。

基于如上一系列处理，信息处理设备10能够估计终端设备20在真实空间中的位置和姿态。采用这种布置，例如，信息处理设备10还能够基于AR技术、通过输出部201以使得虚拟对象被叠加到真实空间上的方式向用户呈现虚拟对象。

注意，信息处理设备10执行上述与对终端设备20的位置和姿态的估计有关的处理的定时不受特别限制。作为具体示例，信息处理设备10可以在图像中捕获到对称物体(例如，诸如标记)的情况下执行上述与对终端设备20的位置和姿态的估计有关的处理。此外，作为另一示例，在基于SLAM而预测到预定的物体将被成像部捕获(换言之，预测到物体在成像部的视角内)的情况下，信息处理设备10还可以执行上述与对终端设备20的位置和姿态的估计有关的处理。

另外，由信息处理设备10进行的与对目标物体的尺寸估计有关的处理以及与基于尺寸估计结果对终端设备20的位置和姿态的估计有关的处理不限于仅执行一次，而是还可以根据期望定时和预定条件来适当地执行。

作为具体示例，关注基于SLAM估计终端设备20的位置和姿态的情况，例如，在尚未捕获用作估计的参考的物体(例如标记)的情况下，基于各种传感器(诸如加速度传感器和角速度传感器)的检测结果来识别终端设备20的位置和姿态的变化。然而，在某些情况下，基于各种传感器的检测结果对终端设备20的位置和姿态的变化的识别可能会出现误差。这样的误差往往在每次执行识别时累积，并且具体而言，在一些情况下，可能影响对终端设备20的位置和姿态的估计结果。另一方面，即使在这样的状况下，例如，在目标对象被捕获的情况下，根据本实施方式的信息处理设备10能够基于所捕获的图像执行与对终端设备20的位置和姿态的估计有关的处理，从而校正上述误差。

上面参照图6描述了根据本实施方式的信息处理系统的一系列处理的流程的示例，其中，具体地关注信息处理设备10中的与对终端设备20的位置和姿态的估计有关的处理。

<1.5.评估>

如上所述，在根据本实施方式的信息处理系统1中，信息处理设备10获取由成像部捕获的位于真实空间中的物体(真实对象)的图像以及距物体的距离的测量结果。另外，信息处理设备10基于物体在图像中的尺寸以及距物体的距离的测量结果来估计物体在真实空间中的尺寸。采用这种布置，即使在用于定位的物体(例如标记)的尺寸未知的情况下，根据本实施方式的信息处理设备10也能够估计物体的尺寸，并且因此能够估计(识别)终端设备20相对于物体的位置和姿态。

<2.第二实施方式>

接下来，将描述根据本公开内容的第二实施方式的信息处理系统。本实施方式针对使用具有已知尺寸候选的物体(诸如所谓的电视接收器、显示器，书籍等)来进行定位的情况来描述与上述第一实施方式相比更精确地估计物体的尺寸的机构的示例。

<2.1.基本原理>

首先，在根据本实施方式的信息处理系统中，将描述信息处理设备10估计终端设备20的位置和姿态的处理的基本原理。

首先，与上述第一实施方式类似，根据本实施方式的信息处理设备10基于由成像部捕获的位于真实空间中的物体的图像以及距物体的距离的测量结果来估计物体(真实对象)在真实空间中的尺寸。另一方面，在通过与第一实施方式类似的技术来估计尺寸的情况下，随着成像部与目标物体之间的距离变大，与物体在图像中的尺寸的测量有关的分辨率下降，并且具体而言，与对物体在真实空间中的尺寸的估计有关的精度下降。

因此，根据本实施方式的信息处理设备10以具有已知尺寸候选的物体为目标，估计物体在真实空间中的尺寸，并且通过将对尺寸的估计结果与物体的尺寸候选进行比较来指定物体的尺寸(换言之，校正尺寸的估计结果)。

例如，图7是用于说明根据本实施方式的信息处理系统的概述的说明图，并且示出了电视接收器或显示器的尺寸候选的示例。注意，在图7中，被标记为高度和宽度的数值的单位是厘米(cm)。如图7所示，电视接收器和显示器的屏幕尺寸具有预定候选，这些预定候选具有离散值。具体地，如图7所示，从32英寸至65英寸，将32英寸、37英寸、42英寸、46英寸、50英寸、55英寸、60英寸和65英寸设置为屏幕尺寸候选。此外，对于书籍，将尺寸候选设置为所谓的A尺寸(例如A4(210mm×297mm)、A5(148mm×210mm)和A6(105mm×148mm))以及B尺寸(例如B4(257mm×364mm)、B5(182mm×257mm)、B6(128mm×182mm)和小B6(112mm×174mm))。类似地，对于诸如海报的纸介质，将尺寸候选设置为所谓的A系列(例如A0、A1、A2、A3...)和B系列(例如B0、B1、B2、B3...)。

作为具体示例，根据本实施方式的信息处理设备10通过与第一实施方式类似的技术来估计如图2所示的显示设备50的屏幕上显示的标记V10在真实空间中的尺寸，并且基于估计结果来估计屏幕的尺寸。随后，信息处理设备10将对屏幕的尺寸的估计结果与如图7所示的那些的屏幕尺寸候选进行比较，并且将与对尺寸的估计结果更接近的候选指定为屏幕的尺寸。

通过这样的配置，即使在成像部与目标物体之间的距离大并且与对物体的尺寸的估计有关的精度下降的情况下，信息处理设备10也能够更精确地指定物体在真实空间中的尺寸。

上面参照图7描述了在根据本实施方式的信息处理系统中信息处理设备10估计终端设备20的位置和姿态的处理的基本原理。

<2.2.功能配置>

接下来，将参照图8来描述根据本实施方式的信息处理系统的功能配置的示例。图8是示出根据本实施方式的信息处理系统的功能配置的示例的框图。

如图8所示，在根据本实施方式的信息处理系统2中，该配置的一部分不同于根据上述第一实施方式的信息处理系统1(参见图5)。更具体地，在根据本实施方式的信息处理设备10中，由附图标记111标记的、与根据上述第一实施方式的信息处理设备10中的尺寸估计部105对应的配置是不同的。此外，根据本实施方式的信息处理系统2包括物体尺寸DB302。因此，在本说明书中，将描述根据本实施方式的信息处理系统2，其中，具体地关注与根据上述第一实施方式的信息处理系统1不同的尺寸估计部111和物体尺寸DB 302。注意，将省略对与根据上述第一实施方式的信息处理系统1基本类似的部分的详细描述。

在根据本实施方式的信息处理设备10中，图像分析部101获取由成像部203捕获的图像，并且对所获取的图像执行分析处理，从而识别图像中被捕获作为被摄体的物体。注意，此时，图像分析部101特别识别具有已知尺寸候选的物体，诸如电视接收器、显示器、书籍等。注意，物体识别方法类似于上述第一实施方式。随后，图像分析部101将指示对图像中捕获到的物体的识别结果的信息输出至距离估计部103。注意，图像分析部101的获取由成像部203捕获的图像的部分对应于获取真实对象的图像的“获取部”的部分。

距离估计部103基于从图像分析部101获取的指示物体识别结果的信息以及从距离测量部205获取的深度信息来估计距所识别出的物体的距离。注意，该操作类似于根据上述第一实施方式的距离估计部103的操作。随后，距离估计部103将指示所获取的物体识别结果的信息以及指示对距物体的距离的估计结果的信息输出至尺寸估计部111。注意，距离估计部103的获取深度信息的部分对应于获取距离测量结果的“获取部”的部分。

尺寸估计部111从距离估计部103获取指示物体识别结果的信息以及指示对距物体的距离的估计结果的信息，并且基于所获取的信息来估计物体在真实空间中的尺寸。

作为具体示例，将关注估计诸如电视接收器、显示器等显示设备50的屏幕在真实空间中的尺寸的情况。在这种情况下，例如，尺寸估计部111足以估计如图2所示的显示设备50的屏幕上显示的标记V10在真实空间中的尺寸，并且基于对标记V10的尺寸的估计结果来估计显示设备50的屏幕在真实空间中的尺寸。此外，作为另一示例，在可以直接识别显示设备50的屏幕本身的情况下，尺寸估计部111也可以直接估计屏幕在真实空间中的尺寸。注意，估计所识别出的物体在真实空间中的尺寸的方法与上述第一实施方式类似。

接下来，尺寸估计部111将对所识别出的物体的尺寸的估计结果与物体的尺寸候选进行比较，并且基于比较结果来将更接近对尺寸的估计结果的候选指定为物体的尺寸。注意，指示诸如电视接收器、显示器、书籍等目标物体的尺寸候选的信息可以预先存储在信息处理设备10可读取的存储区域中。例如，物体尺寸DB 302示出了存储区域的示例，该存储区域用于存储指示诸如电视接收器、显示器、书籍等目标物体的尺寸候选的信息。

随后，尺寸估计部111将指示所获取的物体识别结果的信息以及指示对物体的尺寸的指定结果的信息输出至位置和姿态估计部107。

注意，以下处理类似于根据上述第一实施方式的信息处理设备10。换言之，位置和姿态估计部107基于指示物体识别结果的信息以及指示对物体的尺寸的估计结果的信息来估计终端设备20相对于物体的相对位置和姿态。注意，此时，位置和姿态估计部107还可以基于对物体的尺寸的指定结果来校正对距所识别出的物体的距离的估计结果，并且基于校正结果估计终端设备20相对于物体的相对位置和姿态。采用这样的配置，可以更精确地估计终端设备20的位置和姿态。

此外，输出控制部109基于指示物体识别结果的信息以及指示对终端设备20在真实空间中的位置和姿态的估计结果的信息来识别真实空间中的终端设备20与所识别出的物体之间的位置关系。随后，例如，根据真实空间中的终端设备20与所识别出的物体之间的位置关系，输出控制部109基于AR技术而使输出部201将虚拟对象显示成虚拟对象被叠加到真实空间中的期望位置上。

上面参照图8描述了根据本实施方式的信息处理系统的功能配置的示例。

<2.3.处理>

接下来，将参照图9来描述根据本实施方式的信息处理系统1的一系列处理的流程的示例，其中，具体关注信息处理设备10中的与对终端设备20的位置和姿态的估计有关的处理。图9是示出根据本实施方式的信息处理系统1的一系列处理的示例的流程图。

首先，信息处理设备10(图像分析部101)获取由成像部203捕获的图像并且对获取的图像执行分析处理，从而识别图像中被捕获作为被摄体的物体(真实对象)(S201)。注意，识别图像中捕获到的物体的方法如之前描述的图像分析部101的处理一样。

接下来，信息处理设备10检查单个尺寸是否与所识别出的物体相关联(即，物体的尺寸是否是已知的)(S203)。

在单个尺寸与所识别出的物体相关联的情况下(S203：是)，信息处理设备10识别出物体的尺寸是已知的。在这种情况下，信息处理设备10基于物体的识别结果和物体的尺寸来计算从终端设备20到物体的距离(S213)，并且基于距离的计算结果来估计(识别)终端装置20相对于物体的相对位置和姿态(S205)。

另一方面，在单个尺寸与所识别出的物体不关联的情况下(S203：否)，信息处理设备10(距离估计部103)从距离测量部205获取深度信息，该深度信息指示对距被成像部203捕获作为被摄体的物体的距离的估计结果。随后，信息处理设备10基于指示物体识别结果的信息和所获取的深度信息来估计距所识别出的物体的距离(S205)。注意，估计距所识别出的物体的距离的方法如之前描述的距离估计部103的处理一样。

接下来，信息处理设备10(尺寸估计部111)基于指示物体识别结果的信息以及指示对距物体的距离的估计结果的信息来估计物体在真实空间中的尺寸(S207)。此外，信息处理设备10将对所识别出的物体的尺寸的估计结果与物体的尺寸候选进行比较，并且基于比较结果来将更接近对尺寸的估计结果的候选指定为物体的尺寸(S209)。注意，指定所识别出的物体在真实空间中的尺寸的方法如之前描述的尺寸估计部111的处理一样。

随后，信息处理设备10将所识别出的物体以及对物体的尺寸的指定结果彼此相关联地存储(S211)。

接下来，信息处理设备10(位置和姿态估计部107)还可以基于对物体的尺寸的指定结果来校正对距物体的距离的估计结果(S213)。采用该布置，信息处理设备10能够更准确地估计距所识别出的物体的距离。

另外，信息处理设备10基于指示物体识别结果的信息以及指示对物体的尺寸的估计结果的信息来估计(识别)终端设备20相对于物体的相对位置和姿态。此外，此时，信息处理设备10可以基于SLAM来估计终端设备20相对于所识别出的物体的相对位置和姿态(S215)。注意，估计终端设备20相对于物体的相对位置和姿态的方法如之前描述的位置和姿态估计部107的处理一样。

基于如上一系列处理，信息处理设备10能够估计终端设备20在真实空间中的位置和姿态。采用这种布置，例如，信息处理设备10还能够基于AR技术、通过输出部201以使得虚拟对象被叠加到真实空间上的方式向用户呈现虚拟对象。

注意，信息处理设备10执行上述与对终端设备20的位置和姿态的估计有关的处理的定时不受特别限制。作为具体示例，信息处理设备10可以在图像中捕获到对称物体(例如，诸如标记)的情况下执行上述与对终端设备20的位置和姿态的估计有关的处理。此外，作为另一示例，信息处理设备10还可以在基于SLAM而预测到预定的物体将被成像部捕获(换言之，预测到物体在成像部的视角内)的情况下执行上述与对终端设备20的位置和姿态的估计有关的处理。

另外，作为另一示例，信息处理设备10还可以基于对距目标物体的距离的估计结果来执行上述与对终端设备20的位置和姿态的估计有关的处理。作为更具体的示例，信息处理设备10还可以在对目标物体与终端设备20之间的距离的估计结果是阈值或更大(即，更远)的情况下，执行上述与终端设备20的位置和姿态的估计有关的处理。如之前描述的那样，随着成像部(即，终端设备20)与目标物体之间的距离变大，与基于物体在图像中的尺寸对物体在真实空间中的尺寸的估计有关的精度往往下降。即使在这样的情况下，根据本实施方式的信息处理设备10也能够基于上述处理更精确地估计目标物体的尺寸。

另外，由信息处理设备10进行的与对目标物体的尺寸估计有关的处理以及与基于尺寸估计结果而对终端设备20的位置和姿态的估计有关的处理不限于仅执行一次，而是还可以根据期望定时和预定条件来适当地执行。这一点类似于之前描述的第一实施方式。

另外，信息处理设备10还可以根据情况选择性地在执行本实施方式中描述的与对终端设备20的位置和姿态的估计有关的处理和基于另一方法执行与对终端设备20的位置和姿态的估计有关的处理之间进行切换。作为具体示例，在对目标物体与终端设备20之间的距离的估计结果是阈值或更大(即，更远)的情况下，信息处理设备10可以基于本实施方式中描述的方法来估计终端设备20的位置和姿态。另一方面，在对目标物体与终端设备20之间的距离的估计结果小于阈值(即，位置更近)的情况下，信息处理设备10可以基于另一方法(例如，如第一实施方式所描述的方法)估计终端设备20的位置和姿态。

类似地，信息处理设备10还可以根据情况选择性地在执行本实施方式中描述的与对物体的尺寸的估计有关的处理和执行在之前描述的第一实施方式中描述的与对物体的尺寸的估计有关的处理之间进行切换。作为具体示例，在对目标物体与终端设备20之间的距离的估计结果是阈值或更大(即，更远)的情况下，信息处理设备10可以基于本实施方式中描述的方法来估计用于定位的物体的尺寸。另一方面，在对目标物体与终端设备20之间的距离的估计结果小于阈值(即，位置更近)的情况下，信息处理设备10可以基于在之前描述的第一实施方式中描述的方法而估计用于定位的物体的尺寸。

上面参照图9描述了根据本实施方式的信息处理系统1的一系列处理的流程的示例，其中，具体地关注信息处理设备10中的与对终端设备20的位置和姿态的估计有关的处理。

<2.4.评估>

如上所述，在根据本实施方式的信息处理系统2中，信息处理设备10以具有已知尺寸候选的物体为目标，并且基于物体在真实图像中的尺寸以及对距物体的距离的测量结果来估计物体在真实空间中的尺寸。随后，信息处理设备10将对物体的尺寸的估计结果与物体的尺寸候选进行比较，并且将更接近对尺寸的估计结果的候选指定为屏幕的尺寸。根据如上配置，与之前描述的第一实施方式相比，根据本实施方式的信息处理设备10能够更精确地估计用于定位的物体(诸如标记)的尺寸。此外，根据这样的配置，即使在用于定位的物体的尺寸未知的情况下，根据本实施方式的信息处理设备10也能估计物体的尺寸，并且因此能够更精确地估计(识别)终端设备20相对于物体的位置和姿态。

<3.5.硬件配置示例>

接下来，将参照图10来描述根据本公开内容的实施方式的信息处理设备10的硬件配置。图10是示出根据本公开内容的实施方式的信息处理设备10的硬件配置示例的框图。

如图10所示，信息处理设备10包括中央处理单元(CPU)901、只读存储器(ROM)903以及随机存取存储器(RAM)905。另外，信息处理设备10可以包括主机总线907、桥接器909、外部总线911、接口913、输入装置915、输出装置917、存储装置919、驱动器921、连接端口923和通信装置925。此外，信息处理设备10可以根据需要包括成像装置933以及传感器935。替代CPU 901或者除了CPU 901之外，信息处理设备10可以包括诸如数字信号处理器(DSP)或专用集成电路(ASIC)的处理电路。

CPU 901用作操作处理装置和控制装置，并且根据记录在ROM 903、RAM 905、存储装置919或可移动记录介质927中的各种程序来控制信息处理设备10中的全部操作或部分操作。ROM 903存储由CPU 901使用的程序和操作参数。RAM 905临时存储CPU 901在执行中使用的程序和在执行中适当变化的参数。CPU 901、ROM 903和RAM 905通过包括诸如CPU总线的内部总线的主机总线907彼此连接。另外，主机总线907经由桥接器909连接至诸如外围部件互连/接口(PCI)总线的外部总线911。注意，例如，上述图像分析部101、距离估计部103、尺寸估计部105和111、位置和姿态估计部107以及输出控制部109可以由CPU 901实现。

输入装置915是例如由用户操作的装置，例如鼠标、键盘、触摸面板、按钮、开关、操纵杆等。输入装置915可以包括检测用户的声音的麦克风。输入装置915可以是例如使用红外线或其他无线电波的远程控制单元，或者可以是能够响应于信息处理设备10的操作而进行操作的诸如便携式电话的外部连接装置929。输入装置915包括输入控制电路，该输入控制电路基于由用户输入的信息生成输入信号并且将输入信号输出至CPU 901。通过操作该输入装置915，用户可以将各种类型的数据输入至信息处理设备10或者发出用于使信息处理设备10执行处理操作的指令。另外，下面将描述的成像装置933还可以通过对用户的手的运动等进行成像而用作输入装置。

输出装置917包括能够在视觉上或听觉上向用户通知所获取的信息的装置。例如，输出装置917可以是诸如液晶显示器(LCD)、等离子显示面板(PDP)、有机电致发光(EL)显示器和投影仪的显示装置、全息显示装置、诸如扬声器或耳机的音频输出装置、以及打印机。输出装置917将从信息处理设备10的处理获得的结果以诸如文本或图像的视频形式输出，并且输出语音或声音。另外，输出装置917可以包括灯等以照亮周围环境。注意，例如，上述输出部201可以由输出装置917来实现。

存储装置919是被配置为信息处理设备10的存储单元的示例的用于数据存储的装置。例如，存储装置919包括磁存储装置，诸如硬盘驱动器(HDD)、半导体存储装置、光存储装置或磁光存储装置。存储装置919存储要由CPU 901执行的程序、各种数据以及从外部获得的各种数据。注意，上述物体识别字典301和物体尺寸DB 302可以例如由存储装置919实现。

驱动器921是用于诸如磁盘、光盘、磁光盘或半导体存储器的可移动记录介质927的读写器，并且被并入信息处理设备10中或者从外部附接至信息处理设备10。驱动器921读取所附接的可移动记录介质927中所记录的信息，并且将该信息输出至RAM 905。此外，驱动器921将记录写入所附接的可移动记录介质927中。

连接端口923是用于将装置直接连接至信息处理设备10的端口。连接端口923可以是例如通用串行总线(USB)端口、IEEE 1394端口、小型计算机系统接口(SCSI)端口等。另外，连接端口923可以是RS-232C端口、光学音频终端、高清晰度多媒体接口(HDMI)(注册商标)端口等。通过将外部连接装置929连接至连接端口923，可以在信息处理设备10与外部连接装置929之间交换各种数据。

通信装置925是例如通信接口，该通信接口包括用于与通信网络931连接的通信装置等。通信装置925可以是例如用于有线或无线局域网(LAN)、蓝牙(注册商标)、无线USB(WUSB)等的通信卡。另外，通信装置925可以是用于光通信的路由器、用于非对称数字用户线(ADSL)的路由器、用于各种通信的调制解调器等。通信装置925使用诸如TCP/IP的预定协议来向例如因特网或其他通信装置发送信号以及从例如因特网或其他通信装置接收信号。另外，连接至通信装置925的通信网络931是以有线或无线方式连接的网络，并且是例如因特网、家庭LAN、红外通信、无线电波通信、卫星通信等。

成像装置933例如是以下装置：该装置通过使用图像传感器(诸如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)传感器)以及用于控制图像传感器上的被摄体图像的形成的各种构件(诸如透镜)来对真实空间进行成像而生成图像。成像装置933可以是捕获静止图像的装置，并且还可以是捕获移动图像的装置。注意，上述成像部203可以例如由成像装置933来实现。

例如，传感器935是诸如加速度传感器、陀螺仪传感器、地磁传感器、光学传感器或声音传感器的各种传感器中的任何传感器。例如，传感器935获取与信息处理设备10本身的状态有关的信息(诸如信息处理设备10的壳体的姿态)以及与信息处理装置10周边的环境有关的信息(诸如信息处理装置10周边的亮度或噪声)。传感器935还可以包括接收GPS信号并且测量装置的纬度、经度和海拔的全球定位系统(GPS)传感器。

以上因此示出了信息处理设备10的示例性硬件配置。上述部件中的每一个均可以使用通用构件或专用于每个部件的功能的硬件来实现。这样的配置也可以根据实现时的技术水平而被适当地修改。

另外，还可以将创建如下程序，该程序用于使并入到计算机中的诸如处理器、存储器和存储装置的硬件发挥与上述信息处理设备10中包括的结构元件等效的功能。另外，还可以提供其中记录有程序的计算机可读存储介质。

<4.结论>

以上已参照附图详细描述了本公开内容的一个或多个优选实施方式，而本公开内容不限于上述示例。本领域技术人员可以在所附权利要求的范围内发现各种改变和修改，并且应该理解，它们将自然地落入本公开内容的技术范围内。

此外，本说明书中描述的效果仅是说明性的或示例性效果，而并不是限制性的。即，使用或代替上述效果，根据本公开内容的技术可以实现本领域技术人员从本说明书的描述中显而易见的其他效果。

另外，本技术还可以如下进行配置。

(1)一种信息处理设备，包括：

获取部，其获取由预定的成像部捕获的真实空间中的真实对象的图像以及预定的距离测量部对距所述真实对象的距离的测量结果；以及

估计部，其基于所述真实对象在所述图像中的尺寸和所述距离的测量结果来估计所述真实对象在真实空间中的尺寸，并且通过将尺寸的估计结果与多个预设的尺寸候选进行比较来指定所述真实对象在真实空间中的尺寸。

(2)根据(1)所述的信息处理设备，包括：

识别部，其基于对所述真实对象在真实空间中的尺寸的指定结果来估计所述真实对象与所述成像部之间的位置关系，并且基于估计结果来识别所述成像部的位置和方向中的至少一个。

(3)根据(2)所述的信息处理设备，其中：

所述识别部基于对所述真实对象与所述成像部之间的位置关系的估计结果来校正先前识别出的所述成像部的位置和方向中的至少一个的识别结果。

(4)根据(2)或(3)所述的信息处理设备，包括：

显示控制部，其使虚拟对象被显示成所述虚拟对象被叠加到真实空间上，其中，

所述显示控制部基于所述成像部的位置和方向中的至少一个的识别结果来控制所述虚拟对象的显示位置和显示尺寸中的至少一个。

(5)根据(1)至(4)中任一项所述的信息处理设备，其中：

所述估计部基于对所述真实对象的尺寸的指定结果来校正所述距离的测量结果。

(6)根据(1)至(5)中任一项所述的信息处理设备，其中：

所述获取部获取其上呈现有预定标记的所述真实对象的图像，并且

所述估计部基于所述标记在所述图像中的尺寸以及所述距离的测量结果来估计所述真实对象在真实空间中的尺寸。

(7)根据(1)至(6)中任一项所述的信息处理设备，其中：

在获取了其中捕获到所述真实对象的图像的情况下，所述估计部执行与对所述真实对象在真实空间中的尺寸的估计有关的处理。

(8)根据(1)至(6)中任一项所述的信息处理设备，其中：

所述估计部基于预定的检测部的检测结果来估计所述成像部的位置和方向中的至少一个的变化，并且基于估计结果来控制与对所述真实对象在真实空间中的尺寸的估计有关的处理的执行定时。

(9)根据(8)所述的信息处理设备，其中：

在基于所述成像部的位置和方向中的至少一个的变化的估计结果而预测所述真实对象位于所述成像部的视角内的情况下，所述估计部执行与对所述真实对象在真实空间中的尺寸的估计有关的处理。

(10)根据(1)至(6)中任一项所述的信息处理设备，其中：

所述估计部基于所述距离的测量结果来控制与对所述真实对象在真实空间中的尺寸的估计有关的处理的执行定时。

(11)根据(10)所述的信息处理设备，其中：

在所述距离的测量结果是阈值或更大的情况下，所述估计部执行与对所述真实对象在真实空间中的尺寸的估计有关的处理。

(12)一种信息处理方法，包括：

获取由预定的成像部捕获的真实空间中的真实对象的图像以及预定距离测量部对距所述真实对象的距离的测量结果；以及

由处理器基于所述真实对象在所述图像中的尺寸和所述距离的测量结果来估计所述真实对象在真实空间中的尺寸，并且通过将尺寸的估计结果与多个预设的尺寸候选进行比较来指定所述真实对象在真实空间中的尺寸。

(13)一种记录介质，其存储有用于使计算机执行以下操作的程序：

获取由预定的成像部捕获的真实空间中的真实对象的图像以及预定的距离测量部对距所述真实对象的距离的测量结果；以及

基于所述真实对象在所述图像中的尺寸和所述距离的测量结果来估计所述真实对象在真实空间中的尺寸，并且通过将尺寸的估计结果与多个预设的尺寸候选进行比较来指定所述真实对象在所述真实空间中的尺寸。

附图标记列表

1,2 信息处理系统

10 信息处理设备

101 图像分析部

103 距离估计部

105 尺寸估计部

107 位置和姿态估计部

109 输出控制部

111 尺寸估计部

20 终端设备

201 输出部

203 成像部

205 距离测量部

50 显示设备

301 物体识别字典

302 物体尺寸DB

Claims (13)

1.一种信息处理设备，包括：

获取部，其获取由预定的成像部捕获的真实空间中的真实对象的图像以及预定的距离测量部对距所述真实对象的距离的测量结果；以及

估计部，其基于所述真实对象在所述图像中的尺寸和所述距离的测量结果来估计所述真实对象在真实空间中的尺寸，并且通过将尺寸的估计结果与多个预设的尺寸候选进行比较来指定所述真实对象在真实空间中的尺寸。

2.根据权利要求1所述的信息处理设备，包括：

识别部，其基于对所述真实对象在真实空间中的尺寸的指定结果来估计所述真实对象与所述成像部之间的位置关系，并且基于估计结果来识别所述成像部的位置和方向中的至少一个。

3.根据权利要求2所述的信息处理设备，其中：

所述识别部基于对所述真实对象与所述成像部之间的位置关系的估计结果来校正先前识别出的所述成像部的位置和方向中的至少一个的识别结果。

4.根据权利要求2所述的信息处理设备，包括：

显示控制部，其使虚拟对象被显示成所述虚拟对象被叠加到所述真实空间上，其中，

所述显示控制部基于所述成像部的位置和方向中的至少一个的识别结果来控制所述虚拟对象的显示位置和显示尺寸中的至少一个。

5.根据权利要求1所述的信息处理设备，其中：

所述估计部基于对所述真实对象的尺寸的指定结果来校正所述距离的测量结果。

6.根据权利要求1所述的信息处理设备，其中：

所述获取部获取其上呈现有预定标记的所述真实对象的图像，并且

所述估计部基于所述标记在所述图像中的尺寸以及所述距离的测量结果来估计所述真实对象在真实空间中的尺寸。

7.根据权利要求1所述的信息处理设备，其中：

在获取了其中捕获到所述真实对象的图像的情况下，所述估计部执行与对所述真实对象在真实空间中的尺寸的估计有关的处理。

8.根据权利要求1所述的信息处理设备，其中：

所述估计部基于预定的检测部的检测结果来估计所述成像部的位置和方向中的至少一个的变化，并且基于估计结果来控制与对所述真实对象在真实空间中的尺寸的估计有关的处理的执行定时。

9.根据权利要求8所述的信息处理设备，其中：

在基于所述成像部的位置和方向中的至少一个的变化的估计结果而预测所述真实对象位于所述成像部的视角内的情况下，所述估计部执行与对所述真实对象在真实空间中的尺寸的估计有关的处理。

10.根据权利要求1所述的信息处理设备，其中：

所述估计部基于所述距离的测量结果来控制与对所述真实对象在真实空间中的尺寸的估计有关的处理的执行定时。

11.根据权利要求10所述的信息处理设备，其中：

在所述距离的测量结果为阈值或更大的情况下，所述估计部执行与对所述真实对象在真实空间中的尺寸的估计有关的处理。

12.一种信息处理方法，包括：

获取由预定的成像部捕获的真实空间中的真实对象的图像以及预定的距离测量部对距所述真实对象的距离的测量结果；以及

由处理器基于所述真实对象在所述图像中的尺寸和所述距离的测量结果来估计所述真实对象在真实空间中的尺寸，并且通过将尺寸的估计结果与多个预设的尺寸候选进行比较来指定所述真实对象在真实空间中的尺寸。

13.一种记录介质，其存储有用于使计算机执行以下操作的程序：

获取由预定的成像部捕获的真实空间中的真实对象的图像以及预定的距离测量部对距所述真实对象的距离的测量结果；以及

基于所述真实对象在所述图像中的尺寸和所述距离的测量结果来估计所述真实对象在真实空间中的尺寸，并且通过将尺寸的估计结果与多个预设的尺寸候选进行比较来指定所述真实对象在所述真实空间中的尺寸。