CN108603749A - 信息处理装置、信息处理方法和记录介质 - Google Patents

信息处理装置、信息处理方法和记录介质 Download PDF

Info

Publication number
CN108603749A
CN108603749A CN201680080201.4A CN201680080201A CN108603749A CN 108603749 A CN108603749 A CN 108603749A CN 201680080201 A CN201680080201 A CN 201680080201A CN 108603749 A CN108603749 A CN 108603749A
Authority
CN
China
Prior art keywords
information processing
information
input
real space
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680080201.4A
Other languages
English (en)
Other versions
CN108603749B (zh
Inventor
鹤见辰吾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to CN202111438702.4A priority Critical patent/CN114327043A/zh
Publication of CN108603749A publication Critical patent/CN108603749A/zh
Application granted granted Critical
Publication of CN108603749B publication Critical patent/CN108603749B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Position Input By Displaying (AREA)

Abstract

[问题]为了能够通过更简单的操作来测量真实空间中的距离。[解决方案]一种信息处理装置设置有：获取单元，其用于获取由预定成像单元捕获的图像以及基于成像单元的位置和/或成像单元的取向的位置信息；估计单元，其用于基于作为分别在第一视点和第二视点处捕获的前述图像的第一图像和第二图像以及作为第一视点和第二视点各自的前述位置信息的第一位置信息和第二位置信息来估计真实空间中的第一位置和第二位置；以及测量单元，其用于基于估计结果测量第一位置和第二位置之间的距离。

Description

信息处理装置、信息处理方法和记录介质
技术领域
本公开内容涉及信息处理装置、信息处理方法和记录介质。
背景技术
近来，随着图像识别技术变得更加先进，已经有可能识别在由成像装置捕获的图像中包括的真实对象(即，真实空间中的物体)的位置和姿态。称为增强现实(AR)的技术已知为这种物体识别的一个应用示例。通过利用AR技术，可以向用户呈现以各种模式——例如文本、图标或动画——叠加到在真实空间的图像中捕获的真实对象上的虚拟内容(在下文中也被称为“虚拟对象”)。例如，专利文献1公开了AR技术的一个示例。
此外，通过应用物体识别技术，可以执行所谓的定位，以用于识别捕获对象的图像的成像部(并且扩展而言，设置有成像部的装置)在真实空间中的位置。称为同步定位和地图构建(SLAM)的技术是用于实现这种定位的技术的一个示例。
引用列表
专利文献
专利文献1：JP 2013-92964A
发明内容
技术问题
另一方面，需要一种使得可以通过应用诸如上述AR和SLAM等技术来实现真实空间中的距离的测量并且操作较简单的机制。
因此，本公开内容提供了一种能够测量真实空间中的距离并且操作较简单的信息处理装置、信息处理方法和记录介质。
问题解决方案
根据本公开内容，提供了一种信息处理装置，包括：获取部，其获取由预定成像部捕获的图像以及基于成像部的位置和方向中的至少任一个的位置信息；估计部，其基于作为在第一视点和第二视点中的每一个处捕获的图像的第一图像和第二图像以及作为关于第一视点和第二视点中的每一个的位置信息的第一位置信息和第二位置信息来估计真实空间中的第一位置和第二位置；以及测量部，其基于估计结果来测量第一位置和第二位置之间的距离。
另外，根据本公开内容，提供了一种信息处理方法，包括：获取由预定成像部捕获的图像以及基于成像部的位置和方向中的至少任一个的位置信息；由处理器基于作为在第一视点和第二视点中的每一个处捕获的图像的第一图像和第二图像以及作为关于第一视点和第二视点中的每一个的位置信息的第一位置信息和第二位置信息来估计真实空间中的第一位置和第二位置；以及由处理器基于估计结果来测量第一位置和第二位置之间的距离。
另外，根据本公开内容，提供了一种存储程序的记录介质，所述程序使得计算机执行：获取由预定成像部捕获的图像以及基于成像部的位置和方向中的至少任一个的位置信息；基于作为在第一视点和第二视点中的每一个处捕获的图像的第一图像和第二图像以及作为关于第一视点和第二视点中的每一个的位置信息的第一位置信息和第二位置信息来估计真实空间中的第一位置和第二位置；以及基于估计结果来测量第一位置和第二位置之间的距离。
本发明的有益效果
根据如上所述的本公开内容，提供了一种能够测量真实空间中的距离并且操作较简单的信息处理装置、信息处理方法和记录介质。
注意，上述效果不必是限制性的。利用或替代上述效果，可以实现本说明书中描述的效果中的任何一种效果或可以从本说明书领会的其他效果。
附图说明
图1是用于说明根据本公开内容的实施方式的输入/输出装置的示意性配置的示例的说明图。
图2是根据本公开内容的第一实施方式的信息处理系统的概况。
图3示出了根据距离测量结果呈现的显示信息的示例。
图4是示出根据实施方式的信息处理系统的功能配置的示例的框图。
图5是示出根据实施方式的信息处理系统的一系列处理的流程的示例的流程图。
图6是用于说明根据本公开内容的第二实施方式的信息处理系统的概况的说明图。
图7是示出根据实施方式的信息处理系统的一系列处理的流程的示例的流程图。
图8是示出根据实施方式的信息处理系统的一系列处理的流程的示例的流程图。
图9是示出根据实施方式的信息处理系统的一系列处理的流程的示例的流程图。
图10是根据本公开内容的第三实施方式的信息处理系统的概况。
图11是用于说明根据实施方式的信息处理系统的概况的说明图。
图12是示出根据实施方式的信息处理系统的功能配置的示例的框图。
图13是示出根据实施方式的信息处理系统的一系列处理的流程的示例的流程图。
图14是根据本公开内容的第四实施方式的信息处理系统的概况。
图15是示出根据实施方式的信息处理系统的功能配置的示例的框图。
图16是示出根据实施方式的信息处理系统的一系列处理的流程的示例的流程图。
图17是用于描述根据修改1的信息处理系统的概况的说明图。
图18是用于描述根据修改2的信息处理系统的概况的说明图。
图19是用于描述根据修改3的信息处理系统的概况的说明图。
图20是用于说明利用真实空间中的距离的测量结果来呈现各种信息的方法的示例的说明图。
图21是用于说明利用真实空间中的距离的测量结果来呈现各种信息的方法的示例的说明图。
图22示出了在测量面积的情况下的测量过程的示例。
图23示出了在测量体积的情况下的测量过程的示例。
图24是示出根据本公开内容的实施方式的信息处理装置的示例性硬件配置的框图。
具体实施方式
在下文中，将参照附图详细描述本公开内容的优选实施方式。注意，在本说明书和附图中，具有基本相同的功能和结构的结构元件用相同的附图标记表示，并且省略这些结构元件的重复说明。
在下文中，将按照以下顺序进行描述。
1.介绍
1.1.输入/输出装置的配置
1.2.定位的基本原理
2.第一实施方式
2.1.测量方法
2.2.功能配置
2.3.过程
2.4.评价
3.第二实施方式
3.1.测量方法
3.2.过程
3.3.评价
4.第三实施方式
4.1.测量方法
4.2.功能配置
4.3.过程
4.4.评价
5.第四实施方式
5.1.测量方法
5.2.功能配置
5.3.过程
5.4.评价
6.修改
6.1.修改1：曲线长度的测量
6.2.修改2：基于虚拟对象的操作的测量方法的示例
6.3.修改3：连接多个装置的情况的示例
7.应用示例
8.示例性硬件配置
9.结论
<<1.介绍>>
<1.1.输入/输出装置的配置>
首先，将参照图1描述根据本公开内容的实施方式的输入/输出装置的示意性配置的示例。图1是用于说明根据本实施方式的输入/输出装置的示意性配置的示例的说明图。
输入/输出装置20被配置为通过穿戴在用户的头部的至少一部分上而使用的、所谓的头戴式装置。例如，在图1所示的示例中，输入/输出装置20被配置为所谓的眼镜(眼镜式)装置，其中透镜293a和293b中的至少一个被配置为透射型显示器(输出部211)。另外，输入/输出装置20设置有第一成像部201a和201b、第二成像部203a和203b、操作部207以及与眼镜的框架对应的保持部291。当输入/输出装置20穿戴在用户的头上时，保持部291将输出部211、第一成像部201a和201b、第二成像部203a和203b以及操作部207保持为相对于用户的头成预定的位置关系。另外，尽管在图1中未示出，输入/输出装置20还可以设置有用于收集用户语音的声音收集部。
本文中，将描述输入/输出装置20的更具体的配置。例如，在图1所示的示例中，透镜293a对应于右眼侧的透镜，而透镜293b对应于左眼侧的透镜。换句话说，在输入/输出装置20被穿戴的情况下，保持部291保持输出部211，使得输出部211位于用户眼睛的前方。
第一成像部201a和201b被配置为被称为立体相机，其中当输入/输出装置20被穿戴在用户的头上时，每一个第一成像部被保持部291保持为指向用户的头朝向的方向(即用户的前方向)。此时，第一成像部201a保持在用户的右眼附近，而第一成像部201b保持在用户的左眼附近。基于这种配置，第一成像部201a和201b从互不相同的位置捕获位于输入/输出装置20前方的被摄体(换句话说，位于真实空间中的真实对象)。采用这种布置，输入/输出装置20能够获取位于用户的前方的被摄体的图像，并且另外，基于由第一成像部201a和201b中每一个捕获的图像之间的视差，计算从输入/输出装置20到被摄体的距离。
另外，第二成像部203a和203b中的每一个由保持部291保持，因此当输入/输出装置20穿戴在用户的头上时，用户的眼球位于每一个成像部的成像范围内。作为具体示例，第二成像部203a被保持为使得用户的右眼位于成像范围内。基于这样的配置，可以基于由第二成像部203a捕获的右眼的眼球的图像以及第二成像部203a与右眼之间的位置关系来识别右眼的视线所指向的方向。类似地，第二成像部203b被保持为使得用户的左眼位于成像范围内。换句话说，可以基于由第二成像部203b捕获的左眼的眼球的图像以及第二成像部203b与左眼的位置关系来识别左眼的视线所指向的方向。注意，在以下描述中，视线所指向的方向也将被指定为“视线方向”。此外，虽然图1所示的示例示出输入/输出装置20包括第二成像部203a和203b两者的配置，但也可以提供第二成像部203a和203b中的仅一个。
操作部207是用于接收来自用户的关于输入/输出装置20的操作的配置。例如，操作部207可以由诸如触摸面板或按钮等输入装置来配置。操作部207由保持部291保持在输入/输出装置20上的预定位置处。例如，在图1所示的示例中，操作部207被保持在与眼镜的眼镜腿对应的位置处。
另外，例如，根据本实施方式的输入/输出装置20还可以设置有加速度传感器和角速度传感器(陀螺仪传感器)，并且被配置为能够检测穿戴输入/输出装置20的用户的头的运动(换句话说，输入/输出装置20自身的运动)。作为具体示例，输入/输出装置20可以检测作为用户的头的运动的偏航(yaw)方向、俯仰(pitch)方向和侧倾(roll)方向中的每一个的分量，并且由此识别用户的头的至少位置和姿态的变化。
基于如上所述的配置，根据本实施方式的输入/输出装置20能够识别与用户的头的运动对应的真实空间中输入/输出装置20自身的位置和姿态的变化。此外，输入/输出装置20还能够基于所谓的AR技术在输出部211上呈现内容，使得虚拟内容(即，虚拟对象)被叠加到位于真实空间中的真实对象上。注意，将分别详细描述输入/输出装置20估计自身的位置和姿态(即，定位)的方法的示例。
注意，例如，可用作输入/输出装置20的头戴式显示器(HMD)的示例包括透视HMD、视频透视HMD和视网膜投影HMD。
例如，透视HMD使用半反射镜和透明导光板来将包括透明导光单元等的虚拟图像光学系统保持在用户的眼睛前方，并且在虚拟图像光学系统的内侧显示图像。因此，对于穿戴透视HMD的用户，即使在观看在虚拟图像光学系统的内侧上显示的图像的情况下，外部场景也可以进入用户的视野。根据这样的配置，例如，基于AR技术，透视HMD能够根据透视HMD的位置和姿态中的至少一个的识别结果来将虚拟对象的图像叠加到位于真实空间中的真实对象的光学图像上。注意，透视HMD的具体示例包括所谓的眼镜式可穿戴装置，其中与一副眼镜的透镜对应的部分被配置为虚拟图像光学系统。例如，图1中所示的输入/输出装置20与透视HMD的示例对应。
在将视频透视HMD穿戴在用户的头或脸上的情况下，视频透视HMD被穿戴以覆盖用户的眼睛，并且诸如显示器等显示单元被保持在用户的眼睛前方。此外，视频透视HMD包括用于对周围场景进行成像的成像单元，并且使显示单元显示由成像单元成像的用户前方的场景的图像。利用这样的配置，对于穿戴视频透视HMD的用户，外部场景难以直接进入用户的视野，但可以通过在显示单元上显示的图像来检查外部场景。另外，基于AR技术，例如，此时的视频透视HMD还可以根据视频透视HMD的位置和姿态中的至少一个的识别结果将虚拟对象叠加到外部场景的图像上。
利用视网膜投影HMD，将投影单元保持在用户的眼睛前方，并且从投影单元朝向用户的眼睛投影图像，使得图像叠加到外部场景上。更具体地说，在视网膜投影HMD中，图像从投影单元直接投影到用户眼睛的视网膜上，并且在视网膜上形成图像。利用这样的配置，即使在近视用户或远视用户的情况下，也可以观看较清晰的图片。此外，对于穿戴视网膜投影HMD的用户，即使在观看从投影单元投影的图像时，外部场景也可以进入用户的视野中。根据这样的配置，例如，基于AR技术，视网膜投影HMD能够根据视网膜投影HMD的位置和姿态中的至少一个的识别结果来将虚拟对象的图像叠加到位于真实空间中的真实对象的光学图像上。
注意，作为参照，除了上述示例之外，称为沉浸式HMD的HMD也是可以的。类似于视频透视HMD，沉浸式HMD被穿戴成覆盖用户的眼睛，并且诸如显示器等显示单元被保持在用户的眼睛前方。为此，对于穿戴沉浸式HMD的用户，外部场景(即，真实世界的场景)难以直接进入用户的视野，并且只有在显示单元上显示的图像进入用户的视野。采用这种配置，沉浸式HMD能够赋予观看图像的用户沉浸感。
以上参照图1描述了根据本公开内容的实施方式的输入/输出装置的示意性配置的示例。
<1.2.定位的原理>
接下来，当输入/输出装置20将虚拟对象叠加到真实对象上时，将描述用于估计真实空间中其自身的位置和姿态(即，定位)的技术的原理的示例。
作为定位的具体示例，输入/输出装置20使用诸如设置在其自身上的相机等成像部来捕获呈现在真实空间中的真实对象上的已知尺寸的标记等。另外，通过分析捕获的图像，输入/输出装置20估计自身相对于标记(并且扩展地，呈现有标记的真实对象)的相对位置和姿态中的至少一个。注意，下面的描述集中于输入/输出装置20估计其自身的位置和姿态的情况，但是输入/输出装置20也可以估计其自身的位置和姿态中的至少一个。
具体地，可以根据图像中捕获的标记的方向(例如，标记的图案等的方向)来估计成像部(并且扩展地，设置有成像部的输入/输出装置20)相对于标记的相对方向。另外，在标记的大小已知的情况下，可以根据图像中标记的大小来估计标记与成像部(即，设置有成像部的输入/输出装置20)之间的距离。更具体地，如果标记V10从较远处被捕获，则标记被捕获为较小。此外，可以基于成像部的视角来估计此时在图像中捕获的真实空间的范围。通过利用上述特征，可以根据在图像中捕获的标记的大小(换句话说，标记占据的视角的比例)来反向计算标记与成像部之间的距离。根据如上所述的配置，输入/输出装置20能够估计其自身相对于标记的相对位置和姿态。
另外，称为同步定位和地图构建(SLAM)的技术也可以用于输入/输出装置20的定位。SLAM是指通过利用诸如相机等成像部、各种传感器、编码器等来并行地执行定位和创建环境地图的技术。作为更具体的示例，利用SLAM(特别是视觉SLAM)，基于由成像部捕获的运动图像，连续地重建所捕获的场景(或者被摄体)的三维形状。另外，通过将捕获的场景的重建结果与成像部的位置和姿态的检测结果相关联，创建周围环境的地图以及估计成像部(并且扩展地，输入/输出装置20)的位置和姿态。注意，例如，通过给输入/输出装置20设置诸如加速度传感器或角速度传感器等各种传感器，可以基于传感器的检测结果来将成像部的位置和姿态估计为指示相对变化的信息。显然，方法不一定仅限于基于诸如加速度传感器和角速度传感器等各种传感器的检测结果的方法，只要可以估计成像部的位置和姿态即可。
基于如上所述的配置，例如，基于成像部对标记的成像结果，输入/输出装置20相对于已知标记的相对位置和姿态的估计结果也可以用于上述SLAM中的初始化过程和位置校正。根据这种配置，即使在标记不包括在成像部的视角内的情况下，通过基于接收到之前执行的初始化和位置校正的结果的SLAM的定位，输入/输出装置20能够估计自身相对于标记(并且扩展地，呈现有标记的真实对象)的位置和姿态。
当输入/输出装置20将虚拟对象叠加到真实对象上时，已经描述了用于估计其自身在真实空间中的位置和姿态(即，定位)的技术的原理的示例。注意，在下文中，例如，输入/输出装置20相对于真实空间中的物体(真实对象)的位置和姿态将被描述为能够基于上述基本原理进行估计。
<<2.第一实施方式>>
接下来，将描述根据本公开内容的第一实施方式的信息处理系统的示例。根据本实施方式的信息处理系统通过应用先前描述的AR技术和定位技术(诸如SLAM)，能够基于通过输入/输出装置20的操作来测量真实空间中的多个位置之间的距离。因此，在下文中，对于根据本实施方式的信息处理系统，将描述使用该系统的距离测量方法、系统的配置以及系统的过程中的每一个。
<2.1.测量方法>
首先，将参照图2和图3来描述使用根据本实施方式的信息处理系统来测量真实空间中的距离的方法的示例。例如，图2是用于说明根据本实施方式的信息处理系统的概况的说明图，并且示出了测量真实空间中的距离的方法的示例。注意，在图2中，为了使根据本实施方式的信息处理系统的特征更容易理解，将真实对象和虚拟对象两者一起呈现。
在根据本实施方式的信息处理系统中，用户首先穿戴上输入/输出装置20，并且通过视线指定真实空间中的距离的测量的起点和终点。此时，基于输入/输出装置20与真实对象90之间的距离的测量结果以及用户的视线的识别结果，系统估计在真实对象90上指定的起点和终点的三维位置。更具体地，系统基于输入/输出装置20与真实对象90之间的距离(深度)的测量结果以及表示视线方向的矢量(在下文中也称为“视线矢量”)来识别网格表面之间的交点作为由用户指定的真实对象上的点(即，起点或终点)。
作为具体的过程，首先，用户穿戴上输入/输出装置20，并且执行用于登记起点的预定操作(例如，在操作部207上的操作)同时注视真实对象90上的位置以设置为距离的测量的起点。接收到该操作时，系统估计用户正在注视的真实空间中的三维位置，并将估计的位置登记为起点。另外，此时，系统可以通过输入/输出装置20(例如，输出部211)向用户呈现指示起点的虚拟对象V11，使得虚拟对象V11被叠加到被登记为起点的、在真实空间中的位置上。
在起点的登记完成之后，用户执行用于登记终点的预定操作同时注视真实对象90上的位置以设置为距离的测量的终点。接收到该操作时，与起点的情况类似，系统执行终点的登记。另外，此时，系统可以通过输入/输出装置20向用户呈现指示终点的虚拟对象V13，使得虚拟对象V13被叠加到被登记为终点的在真实空间中的位置上。
另外，基于登记的起点和终点中的每一个的三维位置的估计结果，系统测量(计算)起点和终点之间的距离，并且通过输入/输出装置20(例如，输出部211)向用户呈现指示测量结果的显示信息V17。例如，图3示出了根据距离测量结果呈现的显示信息的示例。根据这种配置，用户能够通过使用输入/输出装置20的较简单的操作来测量真实空间中的距离，而没有通过实际使用诸如尺子或卷尺等工具来测量距离。
另外，此时，系统还可以呈现指示真实空间中的尺度(尺寸)的显示信息。例如，在图2和3所示的示例中，在登记起点之后，根据用户视线的移动，系统在起点和用户的视线所指向的位置之间呈现形状像卷尺的虚拟对象V15a和V15b。具体地，通过呈现与卷尺的情况对应的虚拟对象V15a，系统指示真实空间中的用户视线所指向的位置。此外，在登记的起点和虚拟对象V15a之间，系统呈现虚拟对象V15b，该虚拟对象V15b是带状并且根据真实空间中的尺寸用刻度标记来表示。根据这样的控制，用户能够通过输入/输出装置20的操作来测量真实空间中的距离，其感觉类似于使用诸如尺子或卷尺等工具实际测量距离的情况。注意，在下面的描述中，用户视线所指向的位置被指定为“注视点”，并且用作视线的基点的位置(例如，对应于眼睛的位置，或者换句话说，输入/输出装置20的位置)在一些情况下被指定为“视点”。
以上参照图2和图3描述使用根据本实施方式的信息处理系统来测量真实空间中的距离的方法的示例。
<2.2.功能配置>
接下来，将参照图4来描述根据本实施方式的信息处理系统的功能配置的示例。图4是示出根据本实施方式的信息处理系统的功能配置的示例的框图。
如图4所示，例如，根据本实施方式的信息处理系统1包括输入/输出装置20和信息处理装置10。注意，输入/输出装置20对应于参照图2描述的输入/输出装置20。
首先，描述将集中于输入/输出装置20的配置。如图4所示，输入/输出装置20包括第一成像部201、第二成像部203、输入部205和输出部211。另外，输入部205包括操作部207。另外，输入部205可以包括声音收集部209。注意，第一成像部201对应于图1中所示的第一成像部201a和201b。此外，第二成像部203对应于图1中所示的第二成像部203a和203b。此外，操作部207和输出部211分别对应于图1中所示的操作部207和输出部211。
第一成像部201被配置为所谓的立体相机，并且从多个不同位置捕获被摄体的图像，或者换句话说，从与右眼侧对应的视点捕获被摄体的图像，以及从与左眼侧对应的视点捕获被摄体的图像。注意，在以下描述中，从与右眼侧对应的视点捕获的图像也被指定为“右眼图像”，并且从与左眼侧对应的视点捕获的图像也被指定为“左眼图像“。随后，第一成像部201将捕获的右眼图像和左眼图像输出到信息处理装置10。
第二成像部203捕获穿戴输入/输出装置20的用户的眼球的图像，并且将捕获的图像输出到信息处理装置10。注意，此时，第二成像部203可以捕获用户的右眼和左眼中的每一个的眼球的图像，并且将每个图像输出到信息处理装置10。
在从用户接收操作的情况下，操作部207向信息处理装置10输出指示操作的内容的控制信息。此外，声音收集部209收集诸如用户语音等声音，并且将基于这种声音的声音收集结果的声音信号输出到信息处理装置10。
输出部211被配置为所谓的显示器等，并且基于来自信息处理装置10的控制来显示诸如图像等显示信息。例如，如前面参照图1所描述的，输出部211可以被配置为所谓的透射式显示器。
接下来，描述将集中于信息处理装置10的配置。如图4所示，信息处理装置10包括深度检测部101、位置和姿态估计部103、视线检测部105、注视点检测部107、触发检测部109、参考点估计部111、距离计算部113和输出控制部115。
深度检测部101从第一成像部201获取由第一成像部201捕获的右眼图像和左眼图像。基于右眼图像和左眼图像之间的视差，深度检测部101计算输入/输出装置20与在右眼图像和左眼图像中捕获的被摄体之间的距离(即，深度)。随后，深度检测部101将获取到的被摄体的图像(例如，右眼图像和左眼图像)以及指示所计算的深度的深度信息(例如，基于深度测量结果指示网格表面的信息)输出到位置和姿态估计部103。另外，深度检测部101将深度信息输出到注视点检测部107。
位置和姿态估计部103是用于执行与在真实空间中的输入/输出装置20的位置和姿态的估计有关的处理(与所谓的定位有关的处理)的配置。
具体地，位置和姿态估计部103从深度检测部101获取被摄体的图像和深度信息。位置和姿态估计部103通过对每个获取的图像执行分析处理，来识别被捕获的物体(真实对象)作为图像中的被摄体。此时，位置和姿态估计部103可以基于图像中捕获的物体的特征(例如，诸如形状和图案等特征)来计算特征量，例如交叉参照指示已知物体的特征量的信息，从而识别图像中捕获的物体。
接下来，位置和姿态估计部103基于在获取的图像中捕获的真实对象的识别结果和所获取的深度信息(即，指示输入/输出装置20与真实对象之间的距离的信息)来估计输入/输出装置20相对于真实对象的相对位置和姿态。注意，此时，位置和姿态估计部103还可以基于SLAM来估计输入/输出装置20相对于识别出的真实对象的相对位置和姿态。在这种情况下，位置和姿态估计部103可以从未示出的预定检测部(例如，诸如设置在输入/输出装置20中的加速度传感器和角速度传感器)获取指示输入/输出装置20的位置和姿态的变化的信息，并基于SLAM使用用于定位的信息(即，输入/输出装置20相对于真实对象的位置和姿态的估计)。
随后，位置和姿态估计部103将指示在真实空间中的输入/输出装置20的位置和姿态的估计结果的信息输出到参考点估计部111。另外，位置和姿态估计部103将指示真实对象的识别结果的信息以及指示在真实空间中的输入/输出装置20的位置和姿态的估计结果的信息输出到输出控制部115。
视线检测部105从第二成像部203获取由第二成像部203捕获的用户眼球的图像。视线检测部105通过对所获取的图像执行分析处理来识别图像中捕获的眼球正面向的方向。基于图像中捕获的眼球正面向的方向的识别结果和眼球与第二成像部203之间的位置关系，视线检测部105检测在真实空间中眼球正面向的方向，即视线方向。注意，显然可以基于输入/输出装置20的预期穿戴状态来预先识别或估计眼球与第二成像部203之间的位置关系。另外，此时检测到的视线方向对应于基于输入/输出装置20的位置和姿态的相对方向。随后，视线检测部105将指示视线方向的检测结果的视线信息输出到注视点检测部107。
注视点检测部107从深度检测部101获取指示深度检测结果的深度信息。另外，注视点检测部107从视线检测部105获取指示视线检测结果的视线信息。另外，基于所获取的深度信息和视线信息，注视点检测部107检测用户的视线所指向的真实空间中的位置(即，注视点在真实空间中的位置)作为基于输入/输出装置20的位置和姿态的相对位置。
具体地，注视点检测部107基于视线信息检测视线矢量，并且基于深度信息(即，关于真实对象的表面的三维位置信息)来检测视线矢量与网格表面之间的交点，作为注视点在真实空间中的位置。注意，如前所述，此时检测到的位置是基于输入/输出装置20的位置和姿态的相对位置。随后，注视点检测部107将检测到的位置——即，指示注视点在真实空间中的位置的信息(在下文中也称为“注视点位置信息”)——输出到参考点估计部111。
触发检测部109从输入部205获取指示通过输入部205的用户输入的信息。另外，在所获取的指示用户输入的信息指示预定操作内容的情况下，触发检测部109将用户输入看作触发，并将与操作内容相关联的指令发布到参考点估计部111。作为具体示例，在所获取的指示用户输入的信息指示登记真实空间中的位置以用作距离测量中的参考(在下文中也被称为“参考点”)的情况下，如前面描述的起点和终点等，触发检测部109将用户输入看作触发，并且指示参考点估计部111登记参考点。
作为具体示例，触发检测部109从操作部207获取指示操作内容的控制信息，并且在控制信息指示用于登记参考点的操作的情况下，触发检测部109将操作看作触发，并指示参考点估计部111登记参考点。
此外，作为另一示例，触发检测部109还可以基于来自声音收集部209的声音收集结果来获取声音信号。在这种情况下，触发检测部109通过执行对所获取的声音信号基于所谓的语音识别处理和自然语言处理等各种类型的分析处理来识别用户所说出的内容。另外，在用户说出的内容指示参考点的登记的情况下，触发检测部109可以将所说出的内容的识别结果看作触发，并且指示参考点估计部111登记参考点。
参考点估计部111从位置和姿态估计部103获取指示在真实空间中输入/输出装置20的位置和姿态的估计结果的信息。此外，参考点估计部111从注视点检测部107获取注视点位置信息。另外，在从触发检测部109接收到与参考点的登记有关的指令的情况下，参考点估计部111基于输入/输出装置20的位置和姿态的估计结果以及注视点位置信息来估计参考点在真实空间中的位置，例如起点或终点等。
具体地，基于从注视点检测部107获取的注视点位置信息，参考点估计部111将注视点在真实空间中的三维位置识别为基于输入/输出装置20的位置和姿态的相对位置。此外，参考点估计部111基于从位置和姿态估计部103获取的信息来识别在真实空间中输入/输出装置20的位置和姿态。利用该布置，例如，参考点估计部111能够将注视点在真实空间中的三维位置估计为绝对位置。
另外，参考点估计部111基于与来自触发检测部109的参考点的登记有关的指令来登记诸如起点或终点等参考点。例如，在接收到与参考点的登记有关的指令的情况下，参考点估计部111可以根据参考点登记条件来登记起点或终点。更具体地，在接收到指令时尚未登记起点的情况下，参考点估计部111将此时估计的参考点(即，注视点在真实空间中的位置)登记为起点。此外，在接收到指令时已经登记了起点的情况下，参考点估计部111可以将此时估计的参考点登记为终点。
另外，作为另一示例，参考点估计部111还可以从触发检测部109单独地针对起点和终点中的每一个接收登记相关指令。例如，在识别出起点的登记基于来自触发检测部109的指令由用户指示的情况下，参考点估计部111将在此时估计的参考点登记为起点。类似地，在识别出终点的登记基于来自触发检测部109的指令由用户指示的情况下，参考点估计部111也可以将在此时估计的参考点登记为终点。
如上所述，参考点估计部111基于来自触发检测部109的指令来登记诸如起点或终点等参考点，并将指示每个登记的参考点在真实空间中的位置的位置信息输出到距离计算部113。利用这种布置，距离计算部113能够识别每个登记的参考点在真实空间中的位置。
另外，参考点估计部111还可以将指示注视点在真实空间中的位置的信息连续地输出到距离计算部113。利用这种布置，距离计算部113能够实时地识别在用户的视线所指向的真实空间中的位置(即，注视点在真实空间中的位置)。
距离计算部113从参考点估计部111获取指示每个登记的参考点(例如，起点和终点)在真实空间中的位置的位置信息。基于关于每个登记的参考点的位置信息，距离计算部113计算多个参考点之间的距离，并将指示距离计算结果的信息输出到输出控制部115。另外，此时，距离计算部113还可以将指示关于每个登记的参考点的位置信息的信息输出到输出控制部115。
另外，距离计算部113还可以从参考点估计部111连续地获取指示注视点在真实空间中的位置的信息。在这种情况下，例如，距离计算部113可以计算登记的参考点(例如，起点)与注视点之间的距离，并且将指示距离计算结果的信息输出到输出控制部115。另外，此时，距离计算部113也可以将指示注视点在真实空间中的位置的信息输出到输出控制部115。
输出控制部115通过输出部211向用户呈现基于AR技术的虚拟对象，使得虚拟对象被叠加到真实空间上。
具体地，输出控制部115从位置和姿态估计部103获取指示在真实空间中的真实对象的识别结果的信息和指示在真实空间中输入/输出装置20的位置和姿态的估计结果的信息。利用这种布置，输出控制部115能够估计在真实空间中输入/输出装置20与识别出的真实对象之间的位置关系。
另外，例如，根据在真实空间中输入/输出装置20与识别出的真实对象之间的位置关系，输出控制部115使输出部211显示虚拟对象，使得虚拟对象被叠加在真实空间中的期望位置上。注意，此时，输出控制部115也可以执行与生成显示信息(诸如渲染等)有关的各种类型的处理，以便将虚拟对象呈现为计算机图形(CG)。
另外，输出控制部115还可以从距离计算部113获取指示距离计算结果的信息，并且基于该信息使得输出部211显示与距离计算结果对应的显示信息。另外，此时，输出控制部115也可以从距离计算部113获取关于每个登记的参考点的位置信息。在这种情况下，基于所获取的位置信息，输出控制部115可以使输出部211显示显示信息，使得指示每个参考点的显示信息被叠加到每个参考点在真实空间中的位置上。
另外，输出控制部115还可以从距离计算部113获取指示登记的参考点与注视点之间的距离的计算结果的信息，并且基于该信息，使输出部211显示与距离计算结果对应的显示信息。另外，此时，输出控制部115还可以从距离计算部113获取指示注视点在真实空间中的位置的信息。在这种情况下，例如，输出控制部115可以使输出部211显示与登记的参考点和注视点(例如，如图2和图3所示的虚拟对象V15a和V15b)之间的每个位置关系对应的显示信息。
注意，图4所示的配置仅是一个示例，并且信息处理系统1的配置不一定限于图4所示的示例。作为具体示例，输入/输出装置20和信息处理装置10也可以以集成的方式配置。另外，作为另一示例，信息处理装置10的配置的一部分也可以被设置在与信息处理装置10不同的装置(例如，诸如输入/输出装置20或者外部服务器)中。
另外，以上描述集中于输入/输出装置20被配置为如图1所示的所谓的透视HMD的情况，但是如前所述，输入/输出装置20也可以被配置为视频透视HMD或视网膜投影HMD。注意，在这种情况下，显然可以根据需要替换信息处理装置10的配置和处理的一部分。作为具体示例，在输入/输出装置20被配置为视频透视HMD的情况下，输出控制部115足以使得输出部211显示其中虚拟对象被叠加到由第一成像部201捕获的图像上的图像。
另外，在上述示例中，描述了获取真实空间中的物体(真实对象)的图像和基于由立体相机捕获的图像来指示从输入/输出装置20到物体的距离的深度信息的示例。另一方面，用于获取图像和深度信息的配置没有特别限制，只要能够获取真实空间中的物体的图像和指示从输入/输出装置20到物体的距离的深度信息即可。例如，用于测量距离的距离测量部也可以与用于获取真实空间中的物体的图像的成像部分开地设置。注意，距离测量部的配置显然不受特别限制。作为更具体的示例，可以基于诸如运动视差、飞行时间(TOF)和结构光等方法来测量从输入/输出装置20到物体的距离。
在此，TOF是指如下方法：将诸如红外线等光投射到被摄体上，并针对每个像素测量投射光被被摄体反射并返回的时间，从而基于测量结果获得包括到被摄体的距离(深度)的图像(也称为深度图)。另外，结构光是如下方法：通过诸如红外线等光利用图案照射被摄体并捕获图像，并且基于从成像结果获得的图案的变化来获得包括到被摄体的距离(深度)的深度图。此外，运动视差是指如下方法：即使利用所谓的单眼相机，也基于视差来估计到被摄体的距离。具体地，通过移动相机，从相互不同的视点捕获被摄体，然后基于捕获的图像之间的视差来测量到被摄体的距离。注意，通过此时用各种传感器识别相机的运动距离和运动方向，可以更精确地测量到被摄体的距离。注意，可以根据距离测量方法来改变成像部的配置(例如，诸如单眼相机或立体相机)。
以上参照图4来描述根据本实施方式的信息处理系统的功能配置的示例。
<2.3.处理>
接下来，将参照图5来描述根据本实施方式的信息处理系统的一系列处理的流程的示例，并且特别集中于与信息处理装置10有关的处理。图5是示出根据本实施方式的信息处理系统的一系列处理的流程的示例的流程图。
首先，基于由第一成像部201捕获的右眼图像和左眼图像，信息处理装置10(深度检测部101)计算输入/输出装置20与捕获的被摄体(即真实对象)之间的距离(深度)。利用这种布置，获取了真实对象的图像和指示输入/输出装置20与真实对象之间的距离的深度信息(S101)。
接下来，基于所获取的图像和深度信息，信息处理装置10(位置和姿态估计部103)估计输入/输出装置20相对于在图像中捕获的真实对象的相对位置和姿态。另外，此时，位置和姿态估计部103也可以基于SLAM估计输入/输出装置20相对于识别出的真实对象的相对位置和姿态(S103)。注意，估计输入/输出装置20相对于物体的相对位置和姿态的方法如之前所述的位置和姿态估计部103的处理。
另外，信息处理装置10(视线检测部105)基于由第二成像部203捕获的用户眼球的图像以及眼球与第二成像部203之间的位置关系来检测视线方向(S105)。
接下来，基于视线方向的检测结果和所获得的深度信息，信息处理装置10(注视点检测部107)检测用户的视线所指向的在真实空间中的位置(即，注视点在真实空间中的位置)作为基于输入/输出装置20的位置和姿态的相对位置。另外，基于注视点在真实空间中的位置的检测结果以及在真实空间中输入/输出装置20的位置和姿态的估计结果，信息处理装置10(参考点估计部111)估计注视点在真实空间中的三维位置作为绝对位置(S107)。
注意，只要没有检测到基于通过输入部205的用户输入的预定触发(S109，否)，则信息处理装置10依次执行由从S101到S107的附图标记指示的一系列处理。另外，在检测到基于用户输入的预定触发的情况下(S109，是)，信息处理装置10执行与起点和终点的登记有关的处理。
例如，在没有登记起点的情况下(S111，否)，信息处理装置10(参考点估计部111)将检测到触发时注视点在真实空间中的三维位置登记为起点(S113)。在登记起点之后，信息处理装置10(距离计算部113)计算从登记的起点到当前注视点的距离(S115)。
另外，在已经登记了起点的情况下(S111，是)，信息处理装置10(参考点估计部111)将检测到触发时注视点在真实空间中的三维位置登记为终点(S117)。在这种情况下，信息处理装置10(距离计算部113)计算从登记的起点到终点的距离。随后，信息处理装置10(输出控制部115)使输入/输出装置20的输出部211基于距离计算结果来显示显示信息。
信息处理装置10执行上述一系列处理(S121，否)，直到用户指示结束处理(例如，结束应用程序)为止。另外，当由用户指示结束处理时(S121，是)，信息处理装置10结束上述一系列处理。
以上参照图5描述了根据本实施方式的信息处理系统的一系列处理的流程的示例，并且特别集中于信息处理装置10的处理。
<2.4.评价>
如上所述，在根据本实施方式的信息处理系统中，用户首先穿戴上输入/输出装置20，并且通过视线来指定在真实空间中距离测量的起点和终点。此时，信息处理装置10基于通过输入/输出装置20从多个不同视点捕获的每个图像以及在每个视点处输入/输出装置20的位置和姿态的估计结果来估计诸如起点或终点等参考点在真实空间中的位置。另外，基于起点和终点中的每一个在真实空间中的位置的估计结果，信息处理装置10计算(测量)起点和终点之间的距离。随后，信息处理装置10通过输入/输出装置20向用户呈现基于起点和终点之间的距离的计算结果的显示信息。根据这种配置，用户能够通过使用输入/输出装置20的较简单的操作来测量真实空间中的距离，而没有通过实际使用诸如尺子或卷尺等工具来测量距离。
另外，在根据本实施方式的信息处理系统中，在与真实空间中的距离测量有关的一系列操作期间，基于诸如SLAM等定位技术来连续地估计输入/输出装置20的位置和姿态。根据这样的配置，在登记诸如起点或终点等各个参考点的情况下，能够基于在登记时输入/输出装置20的位置和姿态(换句话说，在登记时的视点)来估计参考点在真实空间中的位置。因此，根据本实施方式的系统，即使在难以保持将真实空间中的各个位置登记为同时包含在由输入/输出装置20捕获的图像内的起点和终点的情况下，也能够估计起点与终点之间的距离。注意，难以保持将真实空间中的各个位置登记为同时包含在图像内的起点和终点的情况包括例如起点和终点相对较远的情况、在起点和终点之间存在障碍的情况等。
注意，上述示例描述了通过将起点和终点登记为参考点来测量起点和终点之间的距离的情况的示例，但是该配置不必仅限于相同的模式。作为具体示例，根据本实施方式的信息处理系统还可以被配置为使得可以登记三个或更多个参考点，并且可以测量登记的三个或更多个参考点中的每一个之间的距离。作为更具体的示例，在登记了终点之后新登记了不同的终点的情况下，信息处理装置10可以将先前登记的终点作为路途点(waypoint)，并且计算起点和路途点之间的距离以及路途点和新登记的终点之间的距离。此外，路途点的数目不限于一个，并且可以登记多个路途点。这同样适用于根据稍后描述的其他实施方式和修改的信息处理系统。
<<3.第二实施方式>>
接下来，将描述根据本公开内容的第二实施方式的信息处理系统的示例。
<3.1.测量方法>
首先，将参照图6来描述使用根据本实施方式的信息处理系统来测量真实空间中的距离的方法的示例。例如，图6是用于说明根据本实施方式的信息处理系统的概况的说明图，并且示出了测量真实空间中的距离的方法的示例。注意，在图6中，为了使根据本实施方式的信息处理系统的特征更容易理解，将真实对象和虚拟对象两者一起呈现。
根据本实施方式的信息处理系统检测穿戴输入/输出装置20的用户的视线，并且基于视线的检测结果来通过输入/输出装置20向用户呈现用于指定诸如起点或终点等等参考点的虚拟对象V19。例如，在图6所示的示例中，呈现了指示用户的视线方向的箭头状的虚拟对象V19a和V19b。用户通过基于输入/输出装置20的操作调整根据用户自身的视线的检测结果所呈现的虚拟对象V19的方向和长度来指定在真实空间中的距离的测量的起点和终点。
具体地，首先，用户穿戴上输入/输出装置20并注视真实空间中的位置以登记为起点(如附图标记P11所示)，并执行与虚拟对象V19相对于输入/输出装置20的布置有关的预定操作。接收到该操作后，系统检测用户的视线，并通过输入/输出装置20向用户呈现与检测到的视线方向(即，视线矢量)对应的虚拟对象V19a，使得虚拟对象V19a被叠加到真实空间上。
随后，如附图标记P12所示，用户从不同的视点(例如，不同角度)参照通过叠加到真实空间上所呈现的虚拟对象V19a，并且通过经由输入/输出装置20的操作，调整虚拟对象V19a的方向和长度。通过这样的操作，用户利用虚拟对象V19a指定真实空间中的位置以登记为起点。一旦接收到该操作，系统将由虚拟对象V19a指定的真实空间中的位置登记为起点。例如，在图6所示的示例中，系统将箭头状的虚拟对象V19a所指向的真实空间中的位置登记为起点。
另外，用户通过与起点类似的方法来登记终点。例如，如参照标记P13所示，用户注视真实空间中的位置以登记为终点，并且执行预定操作。一旦接收到该操作，系统检测用户的视线，并根据检测结果向用户呈现虚拟对象V19b。另外，用户从不同的视点参照所呈现的虚拟对象V19b，并且通过经由输入/输出装置20的操作，调整虚拟对象V19b的方向和长度，从而指定真实空间中的位置以登记为终点。随后，系统将箭头形的虚拟对象V19b所指向的真实空间中的位置登记为终点。
注意，在起点和终点的登记之后的操作与上述第一实施方式类似。即，基于登记的起点和终点中的每一个的三维位置，系统测量(计算)起点和终点之间的距离，并且通过输入/输出装置20向用户呈现根据测量结果的各种显示信息。根据这种配置，用户能够通过使用输入/输出装置20的较简单的操作来测量真实空间中的距离，而没有通过实际使用诸如尺子或卷尺等工具来测量距离。
另外，在根据本实施方式的信息处理系统中，通过调整虚拟对象V19的方向和长度，指定真实空间中的位置以登记为诸如起点或终点等参考点。因此，在根据本实施方式的信息处理系统中，与根据第一实施方式的信息处理系统不同，还可以将真实空间中不存在真实对象的位置登记为参考点。
以上参照图6描述了使用根据本实施方式的信息处理系统来测量真实空间中的距离的方法的示例。
<3.2.处理>
接下来，将参照图7至图9来描述根据本实施方式的信息处理系统的一系列处理的流程的示例，并且特别集中于信息处理装置10的处理。图7至图9是示出根据本实施方式的信息处理系统的一系列处理的流程的示例的流程图。注意，根据本实施方式的信息处理系统的基本功能配置与之前描述的根据第一实施方式的系统(参见图4)相似，但是配置的一部分中的处理不同。因此，在本说明书中，将进一步详细描述根据本实施方式的信息处理系统的特性，并且特别集中于不同于之前描述的根据第一实施方式的信息处理系统的处理。
注意，由从S101到S107的附图标记所示的处理与之前描述的根据第一实施方式的信息处理系统(参见图5)相似。即，基于由第一成像部201捕获的右眼图像和左眼图像，信息处理装置10(深度检测部101)获取真实对象的图像和指示输入/输出装置20与真实对象之间的距离的深度信息(S101)。接下来，基于所获取的图像和深度信息，信息处理装置10(位置和姿态估计部103)估计输入/输出装置20相对于在图像中捕获的真实对象的相对位置和姿态(S103)。另外，信息处理装置10(视线检测部105)基于由第二成像部203捕获的用户眼球的图像以及眼球与第二成像部203之间的位置关系来检测视线方向(S105)。另外，基于视线方向的检测结果和所获取的深度信息，信息处理装置10(注视点检测部107)检测注视点在真实空间中的位置作为基于输入/输出装置20的位置和姿态的相对位置。另外，基于注视点在真实空间中的位置的检测结果以及在真实空间中输入/输出装置20的位置和姿态的估计结果，信息处理装置10(参考点估计部111)估计注视点在真实空间中的三维位置作为绝对位置(S107)。另外，此时，信息处理装置10(参考点估计部111)还可以估计将输入/输出装置20和注视点相连接的矢量(换句话说，视线矢量)在真实空间中的三维位置和方向作为绝对位置。
注意，只要没有检测到基于通过输入部205的用户输入的预定触发(S123，否，并且S125，否)，则信息处理装置10依次执行由从附图标记S101到S107指示的一系列处理。
另外，在检测到用于调整参考点的触发的情况下(S123，是)，信息处理装置10执行与诸如起点或终点等参考点的调整有关的每个处理(S150)。例如，图8是示出与参考点的调整有关的一系列处理的流程的示例的流程图。
具体地，信息处理装置10(显示控制部115)根据连接输入/输出装置20和注视点的矢量在真实空间中的三维位置和方向，通过输入/输出装置20的输出部211向用户呈现用于指定参考点的虚拟对象V19(S151)。
接下来，在没有登记起点的情况下(S153，否)，信息处理装置10(参考点估计部111)根据基于用户输入的虚拟对象V19的方向和长度的调整结果来调整待被登记为起点的参考点的三维位置。换句话说，信息处理装置10将方向和长度被调整的虚拟对象V19所指向的三维位置识别为参考点的调整后位置(S155)。在调整待被登记为起点的参考点的位置之后，信息处理装置10(距离计算部113)计算从具有调整后位置的参考点到当前注视点的距离(S157)。
另外，在已经登记了起点的情况下(S153，是)，根据基于用户输入的虚拟对象V19的方向和长度的调整结果，信息处理装置10(参考点估计部111)调整待被登记为终点的参考点的三维位置。换句话说，信息处理装置10将方向和长度被调整的虚拟对象V19所指向的三维位置识别为参考点的调整后位置(S159)。在这种情况下，信息处理装置10(距离计算部113)计算从起点到具有调整后位置的参考点(即，待被登记为终点的参考点)的距离，并且使得输出输入/输出装置20的输出部211基于距离计算结果来显示显示信息。
此外，如图7所示，在检测到用于登记参考点的触发的情况下(S123，否，并且S125，是)，信息处理装置10执行与诸如起点或终点等参考点的登记及距离的测量有关的处理(S170)。例如，图9是示出与参考点的登记和距离的测量有关的一系列处理的流程的示例的流程图。
具体地，在没有登记起点的情况下(S171，否)，信息处理装置10(参考点估计部111)将检测到触发时注视点在真实空间中的三维位置(即，虚拟对象V19所指向的位置)登记为起点(S173)。在登记起点之后，信息处理装置10(距离计算部113)计算从登记的起点到当前注视点的距离(S175)。
此外，在已经登记了起点的情况下(S171，是)，信息处理装置10(参考点估计部111)将检测到触发时注视点在真实空间中的三维位置(即，虚拟对象V19所指向的位置)登记为终点(S177)。在这种情况下，信息处理装置10(距离计算部113)计算从登记的起点到终点的距离，并且使输入/输出装置20的输出部211基于距离计算结果来显示显示信息。
另外，如图7所示，信息处理装置10执行上述一系列处理(S127，否)，直到用户指示结束处理(例如，结束应用程序)为止。另外，当用户指示结束处理时(S127，是)，信息处理装置10结束上述一系列处理。
以上参照图7至图9描述了根据本实施方式的信息处理系统的一系列处理的流程的示例，并且特别集中于信息处理装置10的处理。
<3.3.评价>
如上所述，在根据本实施方式的信息处理系统中，信息处理装置10检测穿戴输入/输出装置20的用户的视线，并且基于视线的检测结果，通过输入/输出装置20向用户呈现用于指定诸如起点或终点等参考点的虚拟对象V19。用户通过基于经由输入/输出装置20的操作调整根据用户自身的视线的检测结果所呈现的虚拟对象V19的方向和长度，来指定在真实空间中距离测量的起点和终点。信息处理装置10根据方向和长度被调整的虚拟对象V19所指向的真实空间中的位置来识别起点和终点的三维位置，并且计算(测量)起点和终点之间的距离。随后，信息处理装置10通过输入/输出装置20向用户呈现基于起点和终点之间的距离的计算结果的显示信息。根据这种配置，用户能够通过使用输入/输出装置20的较简单的操作来测量真实空间中的距离，而没有通过实际使用诸如尺子或卷尺等工具来测量距离。
另外，在根据本实施方式的信息处理系统中，通过调整虚拟对象V19的方向和长度，指定真实空间中的位置以登记为诸如起点或终点等参考点。为此，在根据本实施方式的信息处理系统中，与根据第一实施方式的信息处理系统不同，还可以将不存在真实对象的真实空间中的位置登记为参考点。
<<4.第三实施方式>>
接下来，将描述根据本公开内容的第三实施方式的信息处理系统的示例。
<4.1.测量方法>
首先，将参照图10和图11来描述使用根据本实施方式的信息处理系统来测量真实空间中的距离的方法的示例。例如，图10和图11是用于说明根据本实施方式的信息处理系统的概况的说明图，并且示出了测量真实空间中的距离的方法的示例。注意，在图10和图11中，为了使得根据本实施方式的信息处理系统的特征更易于理解，将真实对象和虚拟对象两者一起呈现。
例如，如图10所示，在根据本实施方式的信息处理系统中，用户使输入/输出装置20接触或接近真实对象90上的期望位置，从而指定在真实空间中的距离测量的起点和终点。
具体地，首先，如附图标记P21所示，用户使输入/输出装置20接触或接近真实空间中的位置以登记为起点，并且执行相对于输入/输出装置20的与起点的登记有关的预定操作。在接收到该操作时，系统基于输入/输出装置20的位置和姿态以及输入/输出装置20与真实对象90之间的距离(深度)来估计被输入/输出装置20接触或接近的真实空间中的三维位置，并且将估计的位置登记为起点。
此外，终点的登记与起点的情况类似。例如，如附图标记P22所示，用户使输入/输出装置20接触或接近真实空间中的位置以登记为终点并且执行相对于输入/输出装置20的与终点的登记有关的预定操作。在接收到该操作时，系统基于输入/输出装置20的位置和姿态以及输入/输出装置20与真实对象90之间的距离(深度)来估计被输入/输出装置20接触或接近的真实空间中的三维位置，并且将估计的位置登记为终点。
注意，在起点和终点的登记之后的操作与上述每个实施方式类似。即，基于登记的起点和终点中的每一个的三维位置，系统测量(计算)起点和终点之间的距离，并且通过输入/输出装置20向用户呈现根据测量结果的各种显示信息。根据这种配置，用户能够通过使用输入/输出装置20的较简单的操作来测量真实空间中的距离，而没有通过实际使用诸如尺子或卷尺等工具来测量距离。
另外，在根据本实施方式的系统中，也可以替代输入/输出装置20而使用被称为智能手机或平板终端等终端装置30作为用于测量真实空间中的距离的装置。例如，图11示出了在根据本实施方式的信息处理系统中使用终端装置30测量真实空间中的距离的情况下的处理的概况。注意，在根据本实施方式的信息处理系统中，类似于输入/输出装置20，假设终端装置30被配置为能够获取真实对象的图像以及指示终端装置30和真实对象之间的距离的深度信息。
例如，在图11所示的示例中，如附图标记P31所示，用户使终端装置30接触或接近真实空间中的位置以登记为起点，并相对于终端装置30执行与起点的登记有关的预定操作。在接收到该操作时，系统基于终端装置30的位置和姿态以及终端装置30与真实对象90之间的距离(深度)来估计终端装置30接触或接近的真实空间中的三维位置，并且将估计的位置登记为起点。
此外，终点的登记与起点的情况类似。例如，如附图标记P32所示，用户使终端装置30接触或接近真实空间中的位置以登记为终点，并相对于终端装置30执行与终点的登记有关的预定操作。在接收到该操作时，系统足以基于终端装置30的位置和姿态以及终端装置30与真实对象90之间的距离(深度)来估计终端装置30接触或接近的真实空间中的三维位置，并且将估计的位置登记为终点。
已经参照图10和图11描述了使用根据本实施方式的信息处理系统来测量真实空间中的距离的方法的示例。
<4.2.功能配置>
接下来，将参照图12来描述根据本实施方式的信息处理系统的功能配置的示例。图12是示出根据本实施方式的信息处理系统的功能配置的示例的框图。注意，在本说明书中，如图11所示，针对使用终端装置30测量真实空间中的距离的情况来描述根据本实施方式的信息处理系统的功能配置。
如图12所示，例如，根据本实施方式的信息处理系统2包括终端装置30和信息处理装置40。注意，终端装置30对应于图11所示的终端装置30。
首先，描述将集中于终端装置30的配置。如图12所示，终端装置30包括成像部301、输入部303和输出部305。
成像部301被配置为所谓的立体相机，并且从多个不同位置捕获被摄体的图像，或者换句话说，从与右眼侧对应的视点捕获被摄体的图像(即，右眼图像)以及从与左眼侧对应的视点捕获被摄体的图像(即，左眼图像)。随后，成像部301将捕获的右眼图像和左眼图像输出到信息处理装置40。
例如，输入部303由如触摸面板、按钮等输入接口来配置。在从用户接收到操作的情况下，输入部303向信息处理装置40输出指示操作内容的控制信息。注意，类似于之前描述的根据第一实施方式的输入/输出装置20(参见图4)，终端装置30还可以包括用于收集用户语音的声音收集部。
输出部305被配置为显示器等，并且基于来自信息处理装置40的控制来显示诸如图像等显示信息。
注意，例如，终端装置30也可以设置有用于获取指示终端装置30的位置和姿态的变化的信息的检测部(省略示出)，如加速度传感器、角速度传感器等。
接下来，描述将集中于信息处理装置40的配置。如图12所示，信息处理装置40包括深度检测部401、位置和姿态估计部403、触发检测部405、参考点估计部407、距离计算部409和输出控制部411。注意，深度检测部401、位置和姿态估计部403以及触发检测部405对应于之前描述的根据第一实施方式和第二实施方式的信息处理装置10中的深度检测部101、位置和姿态估计部103以及触发检测部109(参见图4)。
换句话说，基于由成像部301捕获的右眼图像和左眼图像，深度检测部401获取被摄体的图像和指示终端装置30与被摄体之间的距离的深度信息。随后，深度检测部401将所获取的被摄体的图像和深度信息输出到位置和姿态估计部403。注意，深度检测部401还可以将深度信息输出到参考点估计部407。
位置和姿态估计部403是用于执行与估计在真实空间中终端装置30的位置和姿态有关的处理(也称为定位相关处理)的配置。换句话说，位置和姿态估计部403从深度检测部401获取被摄体的图像和深度信息，并且基于所获取的图像和深度信息，识别在图像中被捕获为被摄体的真实对象。另外，基于真实对象的识别结果和所获取的深度信息，位置和姿态估计部403估计终端装置30相对于真实对象的相对位置和姿态。注意，此时，位置和姿态估计部403还可以基于SLAM估计终端装置30相对于所识别的真实对象的相对位置和姿态。随后，位置和姿态估计部403将指示在真实空间中终端装置30的位置和姿态的估计结果的信息输出到参考点估计部407。另外，位置和姿态估计部403还可以将指示在真实空间中终端装置30的位置和姿态的估计结果的信息输出到输出控制部411。
触发检测部405从输入部303获取指示通过输入部303的用户输入的信息。另外，在所获取的指示用户输入的信息指示预定操作内容的情况下，触发检测部405将用户输入作为触发，并将与操作内容相关联的指令发出到参考点估计部407。基于这种配置，例如，触发检测部405将预定用户输入作为触发，并指示参考点估计部407登记与距离测量有关的诸如起点或终点等参考点。
参考点估计部407从位置和姿态估计部403获取指示在真实空间中终端装置30的位置和姿态的估计结果的信息。另外，参考点估计部407还可以从深度检测部401获取深度信息。另外，在从触发检测部405接收到与参考点的登记有关的指令的情况下，参考点估计部407基于终端装置30的位置和姿态的估计结果来估计诸如起点或终点等参考点在真实空间中的位置。
更具体地，在从触发检测部405接收到与参考点的登记有关的指令的情况下，参考点估计部407可以将此时在终端装置30上的特定点的位置(换言之，终端装置30的位置)作为在之前描述的第一实施方式和第二实施方式中所描述的注视点，并将注视点登记为参考点。另外，基于终端装置30的位置和姿态的估计结果和所获取的深度信息，参考点估计部407可以将沿着成像部301的成像方向与终端装置30上的特定点的位置相距由深度信息指示的距离的位置(即，真实对象上的位置)看作注视点，并且将注视点登记为参考点。
如上所述，参考点估计部407基于来自触发检测部405的指令登记诸如起点或终点等参考点，并且向距离计算部409输出指示在真实空间中每个登记的参考点的位置的位置信息。
距离计算部409对应于之前描述的根据第一实施方式和第二实施方式的信息处理装置10中的距离计算部113(参见图4)。换句话说，距离计算部409从参考点估计部407获取指示每个登记的参考点在真实空间中的位置的位置信息。另外，基于关于每个登记的参考点的位置信息，距离计算部409计算多个参考点之间的距离，并将指示距离计算结果的信息输出到输出控制部411。另外，此时，距离计算部409还可以向输出控制部411输出指示关于每个登记的参考点的位置信息的信息。此外，距离计算部409可以计算登记的参考点(例如，起点)与注视点之间的距离，并将指示计算出的距离的信息输出到输出控制部411。
输出控制部411基于AR技术通过输出部305向用户呈现虚拟对象，使得虚拟对象被叠加到真实空间上。
作为具体示例，输出控制部411从位置和姿态估计部103获取指示真实对象的识别结果的信息和指示在真实空间中终端装置30的位置和姿态的估计结果的信息。利用这种布置，输出控制部411能够估计在真实空间中终端装置30与所识别的真实对象之间的位置关系。随后，输出控制部411足以根据在真实空间中终端装置30与所识别的真实对象之间的位置关系来使输出部211显示其中虚拟对象被叠加到由成像部301捕获的图像上的图像。
另外，输出控制部411还可以从距离计算部409获取指示距离计算结果的信息，并且基于该信息使输出部305显示与距离计算结果对应的显示信息。该操作类似于在之前描述的根据第一实施方式和第二实施方式的信息处理装置10中的输出控制部115。
注意，图12中所示的配置仅仅是一个示例，并且信息处理系统2的配置不一定限于图12中所示的示例。这同样适用于前面描述的根据第一实施方式的信息处理系统1。此外，类似于之前描述的根据第一实施方式的信息处理系统1，只要能够获取真实空间中的物体的图像和指示从终端装置30到物体的距离的深度信息，则用于获取图像和深度信息的配置不受特别限制。
以上参照图12描述了根据本实施方式的信息处理系统的功能配置的示例。
<4.3.处理>
接下来，将参照图13来描述根据本实施方式的信息处理系统的一系列处理的流程的示例，并且特别集中于信息处理装置40的过程。图13是示出根据本实施方式的信息处理系统的一系列处理的流程的示例的流程图。
首先，基于由成像部301捕获的右眼图像和左眼图像，信息处理装置40(深度检测部401)计算终端装置30与捕获的被摄体(即，真实对象)之间的距离(深度)。利用这种布置，获取真实对象的图像和指示终端装置30与真实对象之间的距离的深度信息(S201)。
接下来，基于所获取的图像和深度信息，信息处理装置40(位置和姿态估计部403)估计终端装置30相对于在图像中捕获的真实对象的相对位置和姿态。另外，此时，位置和姿态估计部403也可以基于SLAM来估计终端装置30相对于识别出的真实对象的相对位置和姿态(S203)。
接下来，基于终端装置30的位置和姿态的估计结果，信息处理装置40(参考点估计部407)将终端装置30上特定点的位置看作注视点，并且将注视点在真实空间中的三维位置估计为绝对位置(S205)。
注意，只要没有检测到基于通过输入部303的用户输入的预定触发(S207，否)，则信息处理装置40依次执行由附图标记S201到S205指示的一系列处理。另外，在检测到基于用户输入的预定触发的情况下(S207，是)，信息处理装置40执行与起点和终点的登记有关的处理。
例如，在没有登记起点的情况下(S209，否)，信息处理装置40(参考点估计部407)将检测到触发时注视点在真实空间中的三维位置登记为起点(S211)。在登记起点之后，信息处理装置40(距离计算部409)计算从登记的起点到当前注视点的距离(S213)。
另外，在已经登记了起点的情况下(S209，是)，信息处理装置40(参考点估计部407)将在检测到触发时注视点在真实空间中的三维位置登记为终点(S215)。在这种情况下，信息处理装置40(距离计算部409)计算从登记的起点到终点的距离。随后，信息处理装置40(输出控制部411)基于距离计算结果来使终端装置30的输出部305显示显示信息。
信息处理装置40执行上述一系列处理(S219，否)，直到用户指示结束处理(例如，结束应用程序)为止。另外，当由用户指示结束处理时(S219，是)，信息处理装置40结束上述一系列处理。
以上参照图13描述了根据本实施方式的信息处理系统的一系列处理的流程的示例，并且特别集中于信息处理装置40的处理。
<4.4.评价>
如上所述，在根据本实施方式的信息处理系统中，例如，用户使终端装置30接触或接近真实空间中的期望位置，并且相对于终端装置30执行预定操作，从而指定真实空间中距离测量的起点和终点。此时，例如，信息处理装置40将终端装置30在真实空间中的估计位置识别为诸如起点或终点等参考点的位置。另外，基于起点和终点中的每一个在真实空间中的位置的识别结果，信息处理装置40计算(测量)起点和终点之间的距离。随后，信息处理装置40通过终端装置30向用户呈现基于起点和终点之间的距离的计算结果的显示信息。根据这种配置，用户能够通过使用终端装置30的较简单的操作来测量真实空间中的距离，而没有通过实际使用诸如尺子或卷尺等工具来测量距离。
特别地，根据按照本实施方式的信息处理系统，在可以接触或接近待测量其距离的真实对象的情况下，用户能够以比根据前述第一实施方式和第二实施方式的信息处理系统更简单的过程来执行距离测量。
<5.第四实施方式>
接下来，将描述根据本公开内容的第四实施方式的信息处理系统的示例。
<5.1.测量方法>
首先，将参照图14来描述使用根据本实施方式的信息处理系统来测量真实空间中的距离的方法的示例。例如，图14是用于说明根据本实施方式的信息处理系统的概况的说明图，并且示出了在真实空间中测量距离的方法的示例。注意，在图14中，为了使得根据本实施方式的信息处理系统的特征更易于理解，将真实对象和虚拟对象两者一起呈现。
根据本实施方式的信息处理系统基于由设置在输入/输出装置20中的成像部(配置为先前描述的立体相机的第一成像部201)捕获的图像来识别诸如终端装置30等物体。随后，根据识别结果，系统通过输入/输出装置20向用户呈现用于指定诸如起点或终点等参考点的虚拟对象V43，使得虚拟对象V43被叠加到所识别的物体(即，终端装置30)上。例如，在图14所示的示例中，系统识别在终端装置30的显示器等上呈现的标记V41，并且根据标记V41的识别结果识别终端装置30。利用这种布置，系统能够基于标记V41的识别结果来识别终端装置30在真实空间中的位置和姿态。另外，根据终端装置30的识别结果，系统呈现从终端装置30沿着终端装置30所指向的方向而延伸的虚拟对象V43。用户通过改变终端装置30的位置和方向同时经由输入/输出装置20确认虚拟对象V43，使用虚拟对象V43来指定真实空间中的位置以登记为真实空间中的距离测量的起点和终点。
具体地，首先，用户在穿戴输入/输出装置20的同时在视觉上确认呈现标记V41的终端装置30。在接收到该操作时，基于由输入/输出装置20的成像部捕获的图像，系统识别在其上呈现标记V41的终端装置30的位置和姿态，并且基于该识别结果，通过输入/输出装置20向用户呈现虚拟对象V43。注意，在此时，系统还可以根据相对于终端装置30或输入/输出装置20的预定操作来控制虚拟对象V43的显示模式(例如，长度等)。
接下来，如附图标记P41所示，用户调整终端装置30的位置和方向，从而利用所呈现的虚拟对象V43指向真实空间中的位置以登记为起点，并且相对于终端装置30或输入/输出装置20执行与起点的登记有关的预定操作。在接收到该操作时，系统将由虚拟对象V43指定的真实空间中的位置登记为起点。例如，在图14所示的示例中，系统将箭头状的虚拟对象V43所指向的真实空间中的位置登记为起点。
另外，用户通过与起点类似的方法来登记终点。例如，如附图标记P42所示，用户利用所呈现的虚拟对象V43指向真实空间中的位置以登记为终点，并且相对于终端装置30或输入/输出装置20执行与终点的登记有关的预定操作。在接收到该操作时，系统将箭头状的虚拟对象V43所指向的真实空间中的位置登记为终点。
注意，在起点和终点的登记之后的操作与上述第一实施方式至第三实施方式类似。即，基于登记的起点和终点中的每一个的三维位置，系统测量(计算)起点和终点之间的距离，并通过输入/输出装置20向用户呈现根据测量结果的各种显示信息。根据这种配置，用户能够通过使用输入/输出装置20的较简单的操作来测量真实空间中的距离，而没有通过实际使用诸如尺子或卷尺等工具来测量距离。
注意，图14中所示的示例描述了使用终端装置30作为其上叠加有虚拟对象V43的物体的示例。另一方面，只要用户能够通过所呈现的虚拟对象V43指定诸如起点或终点等参考点，则虚拟对象V43被叠加在其上的物体(换句话说，被识别为呈现虚拟对象V43的物体)不一定仅限于终端装置30。例如，替代终端装置30，也可以使用其上印刷有标记V41的卡等。
以上参照图14描述了使用根据本实施方式的信息处理系统来测量真实空间中的距离的方法的示例。
<5.2.功能配置>
接下来，将参照图15来描述根据本实施方式的信息处理系统的功能配置的示例。图15是示出根据本实施方式的信息处理系统的功能配置的示例的框图。
如图15所示，根据本实施方式的信息处理系统3例如包括输入/输出装置20、终端装置30和信息处理装置50。注意，输入/输出装置20和终端装置30对应于图14中所示的输入/输出装置20和终端装置30。
首先，描述将集中于输入/输出装置20的配置。如图15所示，根据本实施方式的输入/输出装置20包括第一成像部201、输入部205和输出部211。注意，第一成像部201、输入部205和输出部211与之前描述的根据第一实施方式的输入/输出装置20中的第一成像部201、输入部205和输出部211(参见图4)基本相同，并且将省略详细描述。
接下来，描述将集中于终端装置30的配置。如图15中所示，终端装置30包括输入部303。注意，输入部303与之前描述的根据第三实施方式的终端装置30中的输入部303(参见图12)基本相同，并且将省略详细描述。
接下来，描述将集中于信息处理装置50的配置。如图15所示，信息处理装置50包括深度检测部501、位置和姿态估计部503、物体识别部505、触发检测部507、参考点估计部509、距离计算部511和输出控制部513。注意，深度检测部501以及位置和姿态估计部503对应于之前描述的根据第一实施方式和第二实施方式的信息处理装置10中的深度检测部501以及位置和姿态估计部503(参见图4)。
换句话说，基于由第一成像部201捕获的右眼图像和左眼图像，深度检测部501获取被摄体的图像和指示输入/输出装置20与被摄体之间的距离的深度信息。随后，深度检测部501将所获取的被摄体的图像和深度信息输出到位置和姿态估计部503。
位置和姿态估计部503是用于执行与真实空间中输入/输出装置20的位置和姿态的估计有关的处理(与所谓的定位有关的过程)的配置。换句话说，位置和姿态估计部503从深度检测部501获取被摄体的图像和深度信息，并且基于所获取的图像和深度信息，识别在图像中被捕获为被摄体的真实对象。另外，基于真实对象的识别结果和所获取的深度信息，位置和姿态估计部503估计输入/输出装置20相对于真实对象的相对位置和姿态。注意，此时，位置和姿态估计部503还可以基于SLAM估计输入/输出装置20相对于所识别的真实对象的相对位置和姿态。随后，位置和姿态估计部503将指示在真实空间中输入/输出装置20的位置和姿态的估计结果的信息输出到参考点估计部509。另外，位置和姿态估计部503也可以将指示在真实空间中输入/输出装置20的位置和姿态的估计结果的信息输出到输出控制部513。
物体识别部505是用于基于由第一成像部201捕获的图像来识别终端装置30的位置和姿态的配置。例如，从由第一成像部201捕获的图像，物体识别部505足以识别图14中所示的在终端装置30上呈现的标记V41，并且基于识别结果，物体识别部505足以识别终端装置30的位置和姿态。注意，由于识别终端装置30的方法与位置和姿态估计部503识别在图像中被捕获为被摄体的真实对象的方法基本相同，因此将省略详细描述。随后，物体识别部505向参考点估计部509输出指示终端装置30的位置和姿态的识别结果的信息。另外，物体识别部505还可以向输出控制部513输出指示终端装置30的位置和姿态的识别结果的信息。
注意，如上所述，在一些情况下，物体识别部505的处理可以类似于位置和姿态估计部503的处理的至少一部分。为此，位置和姿态估计部503还可以执行物体识别部505的处理。
触发检测部507从输入部303获取指示通过输入部303的用户输入的信息。此外，触发检测部507可以从输入部205获取指示通过输入部205的用户输入的信息。另外，在所获取的指示用户输入的信息指示预定的操作内容的情况下，触发检测部507将用户输入看作触发，并且向参考点估计部509发出与操作内容相关联的指令。例如，基于这样的配置，触发检测部507将预定的用户输入看作触发，并且指示参考点估计部509登记与距离测量有关的诸如起点或终点等参考点。
参考点估计部509从位置和姿态估计部503获取指示在真实空间中输入/输出装置20的位置和姿态的估计结果的信息。此外，参考点估计部509从物体识别部505获取指示终端装置30的位置和姿态的识别结果的信息。另外，在从触发检测部507接收到与参考点的登记有关的指令的情况下，参考点估计部509基于输入/输出装置20的位置和姿态的估计结果以及终端装置30的位置和姿态的识别结果来估计诸如起点或终点等参考点在真实空间中的位置。
更具体地，基于终端装置30的位置和姿态的识别结果，参考点估计部509将真实空间中终端装置30的位置和姿态识别为基于输入/输出装置20的位置和姿态的相对位置。此外，参考点估计部509基于从位置和姿态估计部503获取的信息来识别在真实空间中输入/输出装置20的位置和姿态。利用这种布置，例如，参考点估计部509能够将终端装置30在真实空间中的三维位置和姿态估计为绝对位置。
接下来，通过终端装置30在真实空间中的三维位置和姿态的估计结果，参考点估计部509估计终端装置30所指向的真实空间中的位置(即，在图14中由虚拟对象V41指定的真实空间中的位置)。注意，通过这样的处理估计的真实空间中的位置对应于在前面描述的第一实施方式和第二实施方式中所述的注视点。因此，在本说明书中，为了方便起见，通过上述处理估计的真实空间中的位置(即，终端装置30所指向的真实空间中的位置)将被指定为“注视点”。
注意，此时，参考点估计部509还可以根据相对于虚拟对象V41的操作结果来估计注视点在真实空间中的三维位置。更具体地，根据虚拟对象V41的长度的调整结果，参考点估计部509可以估计沿着终端装置30所指向的方向与终端装置30在真实空间中的位置相距虚拟对象V41的长度的位置，作为注视点的位置。
另外，参考点估计部509基于与来自触发检测部507的参考点的登记有关的指令来登记诸如起点或终点等参考点，并向距离计算部511输出指示每个登记的参考点在真实空间中的位置的信息。
此外，参考点估计部509还可以将指示注视点在真实空间中的位置的信息连续地输出到距离计算部511。利用这种布置，距离计算部511能够实时识别终端装置30所面对的真实空间中的位置。
距离计算部511的处理基本上类似于根据上述第一实施方式和第二实施方式的信息处理装置10中的距离计算部113的处理。换句话说，距离计算部511从参考点估计部509获取指示每个登记的参考点在真实空间中的位置的位置信息。基于关于每个登记的参考点的位置信息，距离计算部511计算多个参考点之间的距离，并将指示距离计算结果的信息输出到输出控制部513。另外，此时，距离计算部511也可以向输出控制部513输出指示关于每个登记的参考点的位置信息的信息。
另外，距离计算部511还可以从参考点估计部509连续地获取指示注视点在真实空间中的位置的信息。在这种情况下，例如，距离计算部511可以计算在登记的参考点(例如起点)和注视点之间的距离，并将指示距离计算结果的信息输出到输出控制部513。另外，此时，距离计算部511也可以将指示注视点在真实空间中的位置的信息输出到输出控制部513。
输出控制部513基于AR技术通过输出部211向用户呈现虚拟对象，使得虚拟对象被叠加到真实空间上。注意，由于与通过输出控制部513呈现虚拟对象有关的处理与根据之前描述的第一实施方式和第二实施方式的信息处理装置10的输出控制部115(参见图4)基本相同，因此将省略详细描述。
例如，输出控制部513从物体识别部505获取指示终端装置30的位置和姿态的识别结果的信息。另外，输出控制部513从位置和姿态估计部503获取指示在真实空间中输入/输出装置20的位置和姿态的估计结果的信息。随后，基于所获取的指示终端装置30的位置和姿态的识别结果的信息以及所获取的指示在真实空间中输入/输出装置20的位置和姿态的估计结果的信息，输出控制部513可以估计终端装置30在真实空间中的三维位置和姿态。随后，例如，基于估计结果，输出控制部513可以使输出部211输出虚拟对象V41，使得虚拟对象V41被叠加到终端装置30上，如图14所示。
此外，输出控制部513还可以从距离计算部511获取指示距离计算结果的信息，并且基于该信息使输出部211显示与距离计算结果对应的显示信息。该操作类似于之前描述的根据第一实施方式和第二实施方式的信息处理装置10中的输出控制部115。
注意，图15所示的配置仅仅是一个示例，并且信息处理系统3的配置不一定限于图15所示的示例。这同样适用于前面描述的根据第一实施方式的信息处理系统1。另外，类似于之前描述的根据第一实施方式的信息处理系统1，只要能够获取在真实空间中物体的图像以及指示从输入/输出装置20到物体的距离的深度信息，则用于获取图像和深度信息的配置不受特别限制。
以上参照图15描述了根据本实施方式的信息处理系统的功能配置的示例。
<5.3.处理>
接下来，将参照图16来描述根据本实施方式的信息处理系统的一系列处理的流程的示例，并且特别集中于信息处理装置50的处理。图16是示出根据本实施方式的信息处理系统的一系列处理的流程的示例的流程图。
首先，基于由第一成像部201捕获的右眼图像和左眼图像，信息处理装置50(深度检测部501)计算输入/输出装置20与捕获的被摄体(即真实对象)之间的距离(深度)。利用这种布置，获取真实对象的图像和指示输入/输出装置20与真实对象之间的距离的深度信息(S301)。
接下来，基于所获取的图像和深度信息，信息处理装置50(位置和姿态估计部503)估计输入/输出装置20相对于在图像中捕获的真实对象的相对位置和姿态。另外，此时，位置和姿态估计部503还可以基于SLAM估计输入/输出装置20相对于所识别的真实对象的相对位置和姿态(S303)。
此外，信息处理装置50(物体识别部505)基于由第一成像部201捕获的右眼图像和左眼图像来识别终端装置30的位置和姿态。此外，基于终端装置30的位置和姿态的识别结果，信息处理装置50(输出控制部513)通过输入/输出装置20向用户呈现虚拟对象V41，使得虚拟对象V41被叠加在终端装置30上(S305)。注意，识别终端装置30的位置和姿态的方法如之前描述的物体识别部505的处理那样。
接下来，基于输入/输出装置20的位置和姿态的估计结果以及终端装置30的位置和姿态的识别结果，信息处理装置50(参考点估计部509)估计终端装置30所指向的真实空间中的三维位置(即，注视点在真实空间中的位置)。注意，此时，信息处理装置50还可以根据相对于按照终端装置30的位置和姿态的识别结果所呈现的虚拟对象V41的操作结果来估计注视点在真实空间中的三维位置(S307)。注意，估计注视点的位置的方法如之前描述的参考点估计部509的处理那样。
注意，只要没有检测到基于通过输入部205或输入部303的用户输入的预定触发(S309，否)，则信息处理装置50依次执行由从S301到S307的附图标记所指示的一系列处理。另外，在检测到基于用户输入的预定触发的情况下(S309，是)，信息处理装置50执行与起点和终点的登记有关的处理。
例如，在没有登记起点的情况下(311，否)，信息处理装置50(参考点估计部509)将检测到触发时注视点在真实空间中的三维位置登记为起点(313)。在登记起点之后，信息处理装置50(距离计算部511)计算从登记的起点到当前注视点的距离(S315)。
另外，在已经登记了起点的情况下(311，是)，信息处理装置50(参考点估计部509)将检测到触发时注视点在真实空间中的三维位置登记为终点(S317)。在这种情况下，信息处理装置50(距离计算部511)计算从登记的起点到终点的距离。随后，信息处理装置50(输出控制部513)使输入/输出装置20的输出部211基于距离计算结果来显示显示信息。
信息处理装置50执行上述一系列处理(S321，否)，直到用户指示结束处理(例如，结束应用程序)为止。另外，当用户指示结束处理时(S321，是)，信息处理装置50结束上述一系列处理。
以上参照图16描述了根据本实施方式的信息处理系统的一系列处理的流程的示例，并且特别集中于信息处理装置50的处理。
<5.4.评价>
如上所述，在根据本实施方式的信息处理系统中，信息处理装置50基于由设置在输入/输出装置20中的成像部捕获的图像来识别诸如终端装置30等物体。随后，根据识别结果，信息处理装置50通过输入/输出装置20向用户呈现用于指定诸如起点、终点等参考点的虚拟对象V43，使得虚拟对象V43被叠加在所识别的物体上。基于这种配置，用户通过改变终端装置30的位置和方向同时经由输入/输出装置20确认虚拟对象V43，使用虚拟对象V43来指定真实空间中的位置以登记为起点和终点。此时，例如，信息处理装置50基于终端装置30的位置和姿态的识别结果来估计由虚拟对象V43指定的真实空间中的位置，并将估计的位置登记为诸如起点或终点等参考点的位置。
另外，基于起点和终点中的每一个在真实空间中的位置的登记结果，信息处理装置50计算(测量)起点和终点之间的距离。随后，信息处理装置50通过输入/输出装置20向用户呈现基于起点和终点之间的距离的计算结果的显示信息。根据这种配置，用户能够通过使用输入/输出装置20和终端装置30的较简单的操作来测量真实空间中的距离，而没有通过实际使用诸如尺子或卷尺等工具来测量距离。
<<6.修改>>
接下来，将描述根据本公开内容的实施方式的信息处理系统的修改。
<6.1.修改1：曲线长度的测量>
首先，将描述根据修改1的信息处理系统。前面描述的每个实施方式描述了指定诸如起点和终点等参考点以测量多个参考点之间的距离(即，直线距离)的情况的示例。另一方面，根据修改1的信息处理系统不限于直线距离，并且被配置为能够测量曲线的长度，诸如弯曲表面上的距离。例如，图17是用于描述根据修改1的信息处理系统的概况的说明图。注意，在图17中，为了使根据修改1的信息处理系统的特征更易于理解，将真实对象和虚拟对象两者一起呈现。
具体地，在根据修改1的信息处理系统中，用户通过输入/输出装置20或终端装置30指定待测量其距离的路径(轨迹)。
例如，在图17所示的示例中，与通过在物体周围卷绕所谓的卷尺来测量距离的情况一样，用户借助终端装置30的操作通过将虚拟对象V51放置在真实对象91的表面上来设置待在真实空间中测量其距离的路径(轨迹)。此时，例如，系统根据终端装置30与真实对象91之间的位置关系来确定虚拟对象V51的未配置部V51a是否与真实对象91接触。注意，例如，基于诸如SLAM等定位技术根据终端装置30的位置和姿态的估计结果，系统足以识别在真实空间中虚拟对象V51和真实对象91之间的位置关系。另外，系统还可以将在虚拟对象V51的部分V51a中被确定为要接触真实对象91的部分识别为部分V51b，该部分V51b被设置成待被测量距离的路径。
另外，作为另一示例，例如，用户也可以以与前述各实施方式中指定真实空间中的位置的情况相似的方式来设置待被测量距离的路径。作为更具体的示例，用户可以在穿戴输入/输出装置20的同时移动用户的视线，并且通过利用视线所指向的位置(即，注视点)追踪真实空间中的路径(轨迹)来将该路径指定为距离测量的目标。在这种情况下，例如，系统足以检测用户视线的变化并且将与视线所指向的注视点的变化对应的轨迹识别为待被测量距离的路径。
这样，系统通过输入/输出装置20和终端装置30识别由用户指定的路径(轨迹)，并测量路径的距离。根据这样的配置，根据修改1的信息处理系统不限于直线距离，并且还能够测量沿着弯曲轨迹的距离。注意，关于测量曲线长度的方法，由于可应用通常已知的技术，因此将省略详细描述。
以上参照图17描述了根据修改1的信息处理系统。
<6.2.修改2：基于虚拟对象的操作的测量方法的示例>
接下来，将描述根据修改2的信息处理系统。在上述每个实施方式和修改中，测量通过输入/输出装置20和终端装置30指定的多个参考点之间的距离或沿着所指定的轨迹的距离。相比之下，修改2描述了基于与上述每个实施方式和修改不同的处理来测量真实空间中的距离的过程以及用于实现这种过程的控制的示例。例如，图18是用于描述根据修改2的信息处理系统的概况的说明图。注意，在图18中，为了使根据修改2的信息处理系统的特征更容易理解，将真实对象和虚拟对象两者一起呈现。
具体地，在根据修改2的信息处理系统中，用户通过经由输入/输出装置20和终端装置30的操作调整由系统叠加在真实空间中的所呈现的虚拟对象的大小来执行真实空间中的距离的测量。
例如，图18示出了测量真实对象93a和真实对象93b之间的距离的情况的示例。具体地，在图18所示的示例中，系统从用户接收预定操作，并且通过终端装置30的输出部305向用户呈现立方体虚拟对象V61，使得虚拟对象V61被叠加到真实空间中的期望位置上。
此外，系统与虚拟对象V61相关联地呈现指示所呈现的虚拟对象V61的预定部分的大小(长度)的显示信息V63。例如，在图18所示的示例中，系统呈现指示立方体虚拟对象V61的长度、宽度和深度中的每一个的长短的显示信息V64a、V63b和V63c。注意，例如，基于诸如SLAM等定位技术根据终端装置30的位置和姿态的估计结果，系统足以识别在真实空间中虚拟对象V61被叠加的位置和虚拟对象V61在真实空间中的大小。
基于这样的配置，用户能够通过经由终端装置30的输入部303(例如，诸如触控面板)的操作调整在真实空间中所呈现的虚拟对象V61被叠加的位置以及虚拟对象V61的每个部分的大小(例如，诸如长度、宽度和深度)来执行距离的测量。例如，在图18所示的示例中，用户调整虚拟对象V61的位置和宽度，使得虚拟对象V61的宽度恰好适合于在真实对象V93a和V93b之间。根据这样的过程，用户能够测量真实对象93a和真实对象93b之间的距离作为虚拟对象V61的宽度的大小，并且通过显示信息V63b识别测量结果。
另外，作为另一示例，用户还可以调整立方体虚拟对象V61的每个部分的大小，使得目标真实对象被包含在虚拟对象V61内。根据这样的操作，例如，还可以测量包含不是方形的物体(即，真实对象)的箱诸如填充玩具或包的大小。
以上参照图18描述了根据修改2的信息处理系统。
<6.3.修改3：连接多个装置的情况的示例>
接下来，将描述根据修改3的信息处理系统。修改3描述了在通过链接诸如输入/输出装置20或终端装置30等多个装置来测量在真实空间中多个更远位置之间的距离的情况下的配置和控制的示例。例如，图19是用于描述根据修改3的信息处理系统的概况的说明图。注意，在图19中，为了使根据修改3的信息处理系统的特征更易于理解，将真实对象和虚拟对象两者一起呈现。
在图19中所示的示例中，输入/输出装置20a和20b以及信息处理装置10以链接方式操作。信息处理装置10被配置为能够通过与输入/输出装置20a和20b中的每一个的预定通信路径(例如，诸如无线通信路径)发送和接收信息。基于这样的配置，例如，通过经由输入/输出装置20a的操作来指定距离的测量的起点，而通过经由输入/输出装置20b的操作来指定终点。
此时，信息处理装置10基于例如根据诸如全球定位系统(GPS)等定位系统的、输入/输出装置20a和20b中每一个的位置的定位结果或者在输入/输出装置20a和20b中每一个附近的定位结果来识别输入/输出装置20a和20b之间的位置关系。利用这种配置，基于输入/输出装置20a和20b之间的位置关系的识别结果，信息处理装置10能够识别通过输入/输出装置20a指定的起点与通过输入/输出装置20b指定的终点之间的在真实空间中的位置关系。
随后，信息处理装置10足以根据对起点和终点之间的在真实空间中的位置关系的识别结果来测量在起点和终点之间的距离。另外，此时，信息处理装置10可以通过输入/输出装置20a和输入/输出装置20b向用户呈现与距离测量对应的显示信息。
注意，图19中所示的配置仅仅是一个示例，并且只要可以实现上述功能，则根据修改3的信息处理系统的配置不一定限于图19中示出的示例。作为具体示例，由信息处理装置10处理的功能也可以由输入/输出装置20a和20b中的任一个处理。另外，作为另一示例，输入/输出装置20a和输入/输出装置20b可以彼此交换信息并由此识别在真实空间中彼此的位置关系，并且每个可以独立地执行与距离测量有关的处理。
以上参照图19描述了根据修改3的信息处理系统。
<<7.应用示例>>
接下来，将描述根据本公开内容的每个实施方式的信息处理系统的应用示例。
(测量方法的选择性切换)
如上所述，作为每个实施方式和每个修改描述的每个测量方法使用不同的装置和过程。为此，系统也可以被配置为使得上述测量方法中的至少一些可以根据情况选择性地使用。
作为更具体的示例，在诸如当用户和测量目标彼此分隔开时的情形中，如第一实施方式描述的测量方法(参见图2)更适合测量目标的尺寸(距离等)的情况。此外，如第二实施方式描述的测量方法(参见图6)更适合于用户能够接近测量目标的情况。此外，如第三实施方式描述的测量方法(参见图10和图11)更适合于用户能够使输入/输出装置20或终端装置30接触或接近测量目标的情况。为此，可以预期这种情况的差异，并且系统可以被配置为设置与每种测量方法对应的模式(诸如“远程模式”和“短程模式”等)，并且根据由用户指定的模式，选择性地执行上述每种测量方法。
此外，用于选择性地执行每个测量方法的模式也可以根据每个测量方法中的过程的差异来设置。作为具体示例，如第一实施方式描述的测量方法(参见图2)能够基于较简单的过程来执行距离的测量，但是能够仅登记真实对象的表面上的位置作为参考点。相比之下，如第二实施方式描述的测量方法(参见图6)具有比第一实施方式更多的步骤，但是也能够将真实空间中不存在真实对象的点登记为参考点。为此，例如，系统可以将如第一实施方式描述的测量方法呈现为“简单模式”，并将另一测量方法(例如，如第二实施方式描述的测量方法)呈现为“高级模式”。
(指定参考点的方法的示例)
此外，设定诸如起点或终点等参考点的方法不限于上述每个测量过程中示出的示例，并且还可以根据情况适当地切换。作为具体示例，也可以通过利用基于图像分析的所谓的物体识别(例如脸部识别、手部识别或脚部识别等)来自动登记参考点。
作为更具体的示例，例如，根据本公开内容的实施方式的信息处理系统也可以用于跳远中的跳跃距离的测量。在这种情况下，例如，通过捕获带有输入/输出装置20的成像部进行跳跃的运动员的图像并且对图像执行图像分析，系统识别与跳跃运动员的跳跃和着陆相关联的运动。随后，在识别跳跃运动员着陆的情况下，系统足以在着陆时识别运动员的脚部，并将脚部的位置识别为着陆点。利用这种布置，例如，通过将起跳的位置作为起点，将所识别的着陆点作为终点，并且测量距离，系统也能够执行跳远中的跳跃距离的测量。
(利用距离测量结果呈现各种信息)
此外，真实空间中的距离的测量结果也可以用于呈现各种信息。例如，图20和图21是用于说明利用真实空间中的距离的测量结果来呈现各种信息的方法的示例的说明图，并且示出了在露营时根据距离测量结果来呈现帐篷等的布置的指示的示例。
具体地，首先，如图20中所示，基于上述各种测量方法，用户使用输入/输出装置20来测量设置帐篷等的区域的尺寸。此时，系统基于诸如SLAM等定位技术来估计在真实空间中输入/输出装置20的位置和姿态，并且基于估计结果识别由用户指定的区域在真实空间中的位置和尺寸。
另外，系统预先存储指示待放置的物体(例如帐篷等)的形状和大小的信息。此外，基于指示物体的形状和大小的信息以及由用户指定的区域在真实空间中的位置和尺寸的识别结果，系统呈现模仿诸如帐篷等物体以在真实空间中以该大小叠加在该区域上的虚拟对象V71至V73。基于这种配置，例如，如图21中所示，系统呈现了在由用户指定的区域中将诸如帐篷等物体放置为叠加在真实空间上的虚拟对象V71至V73的指示。利用这种布置，例如，用户还能够基于如图21所示的放置指示，识别在真实空间中用于锤击帐篷桩等的更合适的位置。
另外，使用以上参照图20和图21描述的机构的场景不限于仅上述露营时的使用示例。例如，通过利用房间的尺寸的测量结果，也可以呈现家具布置的指示。另外，作为另一示例，通过使用手提箱内的尺寸的测量结果，还可以呈现包含在手提箱内的物品的存储指示。另外，作为另一示例，通过使用诸如手臂和腿等身体部位的尺寸的测量结果，也可以呈现对穿衣的情况的指示。
(对面积和体积的测量的应用)
另外，虽然上面描述了诸如距离等一维尺寸的测量，但是也可以执行诸如面积等二维尺寸的测量或者诸如体积等三维尺寸的测量。
例如，图22示出了测量面积的情况下的测量过程的示例。在图22所示的示例中，系统基于通过输入/输出装置20或终端装置30的来自用户的指定来登记三个或更多个参考点，并且测量由所述三个或更多个参考点包围的区域的面积。
具体地，基于通过输入/输出装置20的操作，用户连续地登记由附图标记V81至V83示出的参考点。此时，例如，基于在真实空间中输入/输出装置20的位置和姿态的估计结果，系统识别登记的参考点V81至V83中的每一个在真实空间中的位置。此外，基于参考点V81至V83中的每一个在实际区段中的识别的位置，系统足以计算由参考点V81至V83包围的区域的面积。另外，此时，系统可以通过输入/输出装置20向用户呈现指示该区域的计算结果的显示信息。
此外，图23示出了测量体积的情况下的测量过程的示例。例如，系统基于通过输入/输出装置20或终端装置30的来自用户的指定来登记四个或更多个参考点，并且测量基于连接该四个或更多个参考点中的每一个参考点的边缘而形成的三维区域的体积。
具体地，图23示出了测量具有立方体形状的真实对象的体积的情况的示例。在图23中所示的示例中，基于通过输入/输出装置20的操作，输入/输出装置20依次指定由附图标记V84至V88指示的参考点，从而登记目标真实对象的长度、宽度和深度的三个边缘。此时，例如，基于在真实空间中输入/输出装置20的位置和姿态的估计结果，系统识别登记的参考点V84至V88中的每一个在真实空间中的位置。此外，基于参考点V84至V88中每一个的位置的识别结果，系统计算待被测量的真实对象的长度、宽度和深度中的每一个的长短。随后，基于待测量的真实对象的长度、宽度和深度中的每一个的长短的计算结果。系统足以计算真实对象的体积。另外，此时，系统可以通过输入/输出装置20向用户呈现待测量的真实对象的长度、宽度和深度中的每一个的长短的计算结果以及指示体积的计算结果的显示信息。
以上描述了根据本公开内容的每个实施方式的信息处理系统的应用示例。注意，上述示例仅仅是一个示例，并不限制根据本公开内容的每个实施方式的信息处理系统的应用范围。作为具体示例，例如，根据本公开内容的每个实施方式的信息处理系统也可以用于测量工作现场等处的长度。
<<8.示例性硬件配置>>
接下来，将参照图24来描述根据本公开内容的实施方式的信息处理装置10、40和50以及类似终端装置30的可以被称为信息处理装置的装置的硬件配置的示例。注意，该描述将集中在信息处理装置10上。例如，图24是示出根据本公开内容的实施方式的信息处理装置10的示例性硬件配置的框图。
如图24所示，信息处理装置10包括中央处理单元(CPU)901、只读存储器(ROM)903和随机存取存储器(RAM)905。另外，信息处理装置10可以包括主机总线907、桥909、外部总线911、接口913、输入装置915、输出装置917、存储装置919、驱动器921、连接端口923以及通信装置925。此外，根据需要，信息处理装置10可以包括成像装置933和传感器935。替代CPU901或除了CPU 901之外，信息处理装置10可以包括诸如数字信号处理器(DSP)或专用集成电路(ASIC)等处理电路。
CPU 901用作操作处理装置和控制装置，并且根据记录在ROM 903、RAM 905、存储装置919或者可移除记录介质927中的各种程序来控制信息处理装置10中的全部或者部分操作。ROM 903存储由CPU 901使用的程序和操作参数。RAM 905临时存储在CPU 901的执行中使用的程序以及在执行时适当改变的参数。CPU 901、ROM 903和RAM 905通过包括诸如CPU总线等内部总线的主机总线907来彼此连接。另外，主机总线907经由桥909连接到诸如外围组件互连/接口(PCI)总线等外部总线911。注意，例如，之前所述的深度检测部101、位置和姿态估计部103、视线检测部105、注视点检测部107、触发检测部109、参考点估计部111、距离计算部113、输出控制部115等可以由CPU 901来实现。
输入装置915例如是由用户通过鼠标、键盘、触摸面板、按钮、开关和控制杆等操作的装置。输入装置915可以包括检测用户声音的麦克风。输入装置915可以是例如使用红外光或其他无线电波的遥控单元，或者可以是能够响应于信息处理装置10的操作而可操作的诸如便携式电话等外部连接装置929。输入装置915包括输入控制电路，该输入控制电路基于由用户输入的信息来生成输入信号并且将输入信号输出到CPU 901。通过操作输入装置915，用户可以将各种类型的数据输入到信息处理装置10或发出用于使信息处理装置10执行处理操作的指令。例如，前述的操作部207和声音收集部209等可以通过例如输入装置915来实现。另外，下面将描述的成像装置933可以通过对用户的手的动作等进行成像来用作输入装置。
输出装置917包括能够可视地或可听地向用户通知所获取的信息的装置。输出装置917可以是例如诸如液晶显示器(LCD)、等离子显示面板(PDP)、有机电致发光(EL)显示器和投影仪等显示装置、全息显示装置、诸如扬声器或头戴式耳机等音频输出装置以及打印机。输出装置917以诸如文本或图像等视频的形式来输出从信息处理装置10的处理获得的结果，并输出语音或声音。另外，输出装置917可以包括用于使周围环境变亮的灯等。注意，上述的输出单元211例如可以由输出装置917来实现。
存储装置919是作为信息处理装置10的存储单元的示例而配置的用于数据存储的装置。存储装置919例如包括诸如硬盘驱动器(HDD)等磁存储装置、半导体存储装置、光存储装置或磁光存储装置。存储装置919存储待由CPU 901执行的程序、各种数据以及从外部获得的数据。
驱动器921是用于诸如磁盘、光盘、磁光盘或半导体存储器等可移除记录介质927的读取器/写入器，并且被嵌入在信息处理装置10中或从外部附接到信息处理装置10。驱动器921读取记录在附接的可移除记录介质927中的信息并将该信息输出到RAM 905。此外，驱动器921将记录写入附接的可移除记录介质927中。
连接端口923是用于将装置直接连接到信息处理装置10的端口。连接端口923可以是例如通用串行总线(USB)端口、IEEE1394端口或小型计算机系统接口(SCSI)端口等。另外，连接端口923可以是RS-232C端口、光学音频端子或高分辨率多媒体接口(HDMI)(注册商标)端口等。通过将外部连接装置929连接到连接端口923，可以在信息处理装置10和外部连接装置929之间交换各种数据。
通信装置925例如是包括用于连接到通信网络931的通信装置等的通信接口。通信装置925可以是例如用于有线或无线局域网(LAN)、蓝牙(注册商标)或无线USB(WUSB)等的通信卡。另外，通信装置925可以是用于光通信的路由器、用于非对称数字用户线路(ADSL)的路由器、用于各种通信的调制解调器等。通信装置925使用诸如TCP/IP等预定协议向例如互联网或其他通信装置发送信号并从其接收信号。另外，待连接到通信装置925的通信网络931是以有线或无线方式连接的网络，并且例如是因特网、家庭LAN、红外通信、无线电波通信或卫星通信等。
例如，成像装置933是通过使用诸如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)等图像传感器以及用于控制在图像传感器上形成被摄体图像的各种构件(诸如一个或更多个透镜)对真实空间进行成像来生成图像的装置。成像装置933可以是捕获静止图像的装置，并且也可以是捕获运动图像的装置。注意，例如，上述第一成像部201和第二成像部203可以通过成像装置933来实现。
传感器935例如是中的任一种，该各种传感器例如是加速度传感器、陀螺仪传感器、地磁传感器、光学传感器或声音传感器。例如，传感器935获取关于信息处理装置10的状态的信息，诸如信息处理装置10的外壳的姿态以及关于信息处理装置10周围的环境的信息，诸如信息处理装置10的周围的亮度或噪声。传感器935还可以包括接收GPS信号并测量装置的纬度、经度和高度的全球定位系统(GPS)传感器。
因此，上述示出了信息处理装置10的示例性硬件配置。可以用通用构件或专用于每个组件的功能的硬件来实现上述组件中的每一个。这种配置也可以根据在实现时的技术水平适当地修改。
此外，还可以创建用于使诸如计算机中包含的处理器、存储器和存储装置等硬件发挥与包括在上述信息处理装置10中的结构元件相同的功能的程序。另外，也可以提供记录有程序的计算机可读存储介质。
<<9.结论>>
以上参照附图描述了本公开内容的优选实施方式，而本公开内容不限于上述示例。本领域技术人员可以在所附权利要求的范围内发现各种变型和修改，并且应该理解，它们自然会落入本公开内容的技术范围内。
此外，在本说明书中描述的效果仅仅是说明性或示例性的效果，而不是限制性的。也就是说，利用或替代上述效果，根据本公开内容的技术可以实现本领域技术人员根据本说明书的描述而清楚的其他效果。
另外，本技术也可以如下配置。
(1)一种信息处理装置，包括：
获取部，其获取由预定成像部捕获的图像以及基于所述成像部的位置和方向中的至少任一个的位置信息；
估计部，其基于作为在第一视点和第二视点中的每一个处捕获的图像的第一图像和第二图像以及作为关于所述第一视点和所述第二视点中的每一个的位置信息的第一位置信息和第二位置信息来估计真实空间中的第一位置和第二位置；以及
测量部，其基于估计结果来测量所述第一位置和所述第二位置之间的距离。
(2)根据(1)所述的信息处理装置，包括：
检测部，其检测用户的视线，其中，
所述估计部
基于在所述第一视点处的视线的检测结果、所述第一图像和所述第一位置信息来估计所述第一位置，并且
基于在所述第二视点处的视线的检测结果、所述第二图像和所述第二位置信息来估计所述第二位置。
(3)根据(2)所述的信息处理装置，其中，
所述估计部
基于来自所述第一视点的视线的指定来估计所述第一位置，并且
基于来自所述第二视点的视线的指定来估计所述第二位置。
(4)根据(2)所述的信息处理装置，包括：
显示控制部，其使得预定显示部根据所述视线的检测结果来显示虚拟对象，其中，
所述估计部
基于根据来自所述第一视点的视线而显示的虚拟对象的指定来估计所述第一位置，并且
基于根据来自所述第二视点的视线而显示的虚拟对象的指定来估计所述第二位置。
(5)根据(1)所述的信息处理装置，其中，
所述估计部基于与预定检测部对真实空间中的真实对象的接触或接近的检测结果对应的指定来估计所述第一位置和所述第二位置中的至少任一个。
(6)根据(1)所述的信息处理装置，包括：
显示控制部，其根据真实空间中的真实对象的识别结果来使预定显示部显示虚拟对象，其中，
所述估计部基于所述虚拟对象的指定来估计所述第一位置和所述第二位置中的至少任一个。
(7)根据(1)所述的信息处理装置，其中，
所述估计部基于与真实空间中的物体的识别结果对应的指定来估计所述第一位置和所述第二位置中的至少任一个。
(8)根据(1)所述的信息处理装置，包括：
显示控制部，其基于所述距离的测量结果使预定显示部显示显示信息。
(9)根据(8)所述的信息处理装置，其中，
所述显示控制部使得指示所述距离的测量结果的显示信息被显示。
(10)根据(8)或(9)所述的信息处理装置，其中，
所述显示控制部基于所述距离的测量结果来使指示真实空间中的尺度的显示信息被显示。
(11)根据(8)至(10)中任一项所述的信息处理装置，其中，
所述显示控制部使得所述显示信息以与所述距离的测量结果对应的尺寸被显示。
(12)根据(1)至(11)中任一项所述的信息处理装置，其中，
所述测量部测量所述第一位置和所述第二位置之间的路径的距离，所述路径经过在所述第一位置和所述第二位置之间指定的第三位置。
(13)根据(1)至(11)中任一项所述的信息处理装置，其中，
所述测量部测量在所述第一位置和所述第二位置之间指定的轨迹的长度作为所述距离。
(14)根据(1)至(13)中任一项所述的信息处理装置，其中，
所述获取部从不同的外部装置获取所述第一图像和所述第一位置信息的集合以及所述第二图像和所述第二位置信息的集合。
(15)一种信息处理方法，包括：
获取由预定成像部捕获的图像以及基于所述成像部的位置和方向中的至少任一个的位置信息；
由处理器基于作为在第一视点和第二视点中的每一个处捕获的图像的第一图像和第二图像以及作为关于所述第一视点和所述第二视点中的每一个的位置信息的第一位置信息和第二位置信息来估计真实空间中的第一位置和第二位置；以及
由所述处理器基于估计结果来测量所述第一位置和所述第二位置之间的距离。
(16)一种存储程序的记录介质，所述程序使得计算机执行：
获取由预定成像部捕获的图像以及基于所述成像部的位置和方向中的至少任一个的位置信息；
基于作为在第一视点和第二视点中的每一个处捕获的图像的第一图像和第二图像以及作为关于所述第一视点和所述第二视点中的每一个的位置信息的第一位置信息和第二位置信息来估计真实空间中的第一位置和第二位置；以及
基于估计结果来测量所述第一位置和所述第二位置之间的距离。
附图标记列表
1、2、3 信息处理系统
10 信息处理装置
101 深度检测部
103 位置和姿态估计部
105 视线检测部
107 注视点检测部
109 触发检测部
111 参考点估计部
113 距离计算部
115 输出控制部
20 输入/输出装置
201 第一成像部
203 第二成像部
205 输入部
207 操作部
209 声音收集部
30 终端装置
301 成像部
303 输入部
305 输出部
40 信息处理装置
401 深度检测部
403 位置和姿态估计部
405 触发检测部
407 参考点估计部
409 距离计算部
411 输出控制部
50 信息处理装置
501 深度检测部
503 位置和姿态估计部
505 物体识别部
507 触发检测部
509 参考点估计部
511 距离计算部
513 输出控制部

Claims (16)

1.一种信息处理装置，包括：
获取部，其获取由预定成像部捕获的图像以及基于所述成像部的位置和方向中的至少任一个的位置信息；
估计部，其基于作为在第一视点和第二视点中的每一个处捕获的图像的第一图像和第二图像以及作为关于所述第一视点和所述第二视点中的每一个的位置信息的第一位置信息和第二位置信息来估计真实空间中的第一位置和第二位置；以及
测量部，其基于估计结果来测量所述第一位置和所述第二位置之间的距离。
2.根据权利要求1所述的信息处理装置，包括：
检测部，其检测用户的视线，其中，
所述估计部
基于在所述第一视点处的视线的检测结果、所述第一图像和所述第一位置信息来估计所述第一位置，并且
基于在所述第二视点处的视线的检测结果、所述第二图像和所述第二位置信息来估计所述第二位置。
3.根据权利要求2所述的信息处理装置，其中，
所述估计部
基于来自所述第一视点的视线的指定来估计所述第一位置，并且
基于来自所述第二视点的视线的指定来估计所述第二位置。
4.根据权利要求2所述的信息处理装置，包括：
显示控制部，其根据所述视线的检测结果来使预定显示部显示虚拟对象，其中，
所述估计部
基于根据来自所述第一视点的视线而显示的虚拟对象的指定来估计所述第一位置，并且
基于根据来自所述第二视点的视线而显示的虚拟对象的指定来估计所述第二位置。
5.根据权利要求1所述的信息处理装置，其中，
所述估计部基于与预定检测部对真实空间中的真实对象的接触或接近的检测结果对应的指定来估计所述第一位置和所述第二位置中的至少任一个。
6.根据权利要求1所述的信息处理装置，包括：
显示控制部，其根据真实空间中的真实对象的识别结果来使预定显示部显示虚拟对象，其中，
所述估计部基于所述虚拟对象的指定来估计所述第一位置和所述第二位置中的至少任一个。
7.根据权利要求1所述的信息处理装置，其中，
所述估计部基于与真实空间中的物体的识别结果对应的指定来估计所述第一位置和所述第二位置中的至少任一个。
8.根据权利要求1所述的信息处理装置，包括：
显示控制部，其基于所述距离的测量结果来使预定显示部显示显示信息。
9.根据权利要求8所述的信息处理装置，其中，
所述显示控制部使得指示所述距离的测量结果的显示信息被显示。
10.根据权利要求8所述的信息处理装置，其中，
所述显示控制部基于所述距离的测量结果使得指示真实空间中的尺度的显示信息被显示。
11.根据权利要求8所述的信息处理装置，其中，
所述显示控制部使得所述显示信息以与所述距离的测量结果对应的尺寸被显示。
12.根据权利要求1所述的信息处理装置，其中，
所述测量部测量所述第一位置和所述第二位置之间的路径的距离，所述路径经过在所述第一位置和所述第二位置之间指定的第三位置。
13.根据权利要求1所述的信息处理装置，其中，
所述测量部测量在所述第一位置和所述第二位置之间指定的轨迹的长度作为所述距离。
14.根据权利要求1所述的信息处理装置，其中，
所述获取部从不同的外部装置获取所述第一图像和所述第一位置信息以及所述第二图像和所述第二位置信息。
15.一种信息处理方法，包括：
获取由预定成像部捕获的图像以及基于所述成像部的位置和方向中的至少任一个的位置信息；
由处理器基于作为在第一视点和第二视点中的每一个处捕获的图像的第一图像和第二图像以及作为关于所述第一视点和所述第二视点中的每一个的位置信息的第一位置信息和第二位置信息来估计真实空间中的第一位置和第二位置；以及
由所述处理器基于估计结果来测量所述第一位置和所述第二位置之间的距离。
16.一种存储程序的记录介质，所述程序使得计算机执行：
获取由预定成像部捕获的图像以及基于所述成像部的位置和方向中的至少任一个的位置信息；
基于作为在第一视点和第二视点中的每一个处捕获的图像的第一图像和第二图像以及作为关于所述第一视点和所述第二视点中的每一个的位置信息的第一位置信息和第二位置信息来估计真实空间中的第一位置和第二位置；以及
基于估计结果来测量所述第一位置和所述第二位置之间的距离。
CN201680080201.4A 2016-02-02 2016-11-04 信息处理装置、信息处理方法和记录介质 Active CN108603749B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111438702.4A CN114327043A (zh) 2016-02-02 2016-11-04 信息处理装置、信息处理方法和记录介质

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-017623 2016-02-02
JP2016017623 2016-02-02
PCT/JP2016/082841 WO2017134886A1 (ja) 2016-02-02 2016-11-04 情報処理装置、情報処理方法、及び記録媒体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202111438702.4A Division CN114327043A (zh) 2016-02-02 2016-11-04 信息处理装置、信息处理方法和记录介质

Publications (2)

Publication Number Publication Date
CN108603749A true CN108603749A (zh) 2018-09-28
CN108603749B CN108603749B (zh) 2021-12-21

Family

ID=59499615

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202111438702.4A Pending CN114327043A (zh) 2016-02-02 2016-11-04 信息处理装置、信息处理方法和记录介质
CN201680080201.4A Active CN108603749B (zh) 2016-02-02 2016-11-04 信息处理装置、信息处理方法和记录介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202111438702.4A Pending CN114327043A (zh) 2016-02-02 2016-11-04 信息处理装置、信息处理方法和记录介质

Country Status (5)

Country Link
US (3) US10942024B2 (zh)
EP (2) EP3413013B1 (zh)
JP (3) JPWO2017134886A1 (zh)
CN (2) CN114327043A (zh)
WO (1) WO2017134886A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111932606A (zh) * 2020-10-12 2020-11-13 歌尔光学科技有限公司 物体边界尺寸检测方法、装置、头戴显示设备及存储介质
CN114923418A (zh) * 2021-02-12 2022-08-19 苹果公司 基于点选择的测量
US11468868B2 (en) 2017-12-20 2022-10-11 Sony Corporation Information processing apparatus and information processing method to perform transition display control

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10587858B2 (en) * 2016-03-14 2020-03-10 Symbol Technologies, Llc Device and method of dimensioning using digital images and depth data
US10657674B2 (en) 2016-06-17 2020-05-19 Immersive Robotics Pty Ltd. Image compression method and apparatus
AU2018218182B2 (en) * 2017-02-08 2022-12-15 Immersive Robotics Pty Ltd Antenna control for mobile device communication
JP2018169428A (ja) * 2017-03-29 2018-11-01 セイコーエプソン株式会社 画像表示装置
KR102450236B1 (ko) * 2017-09-06 2022-10-04 삼성전자주식회사 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체
EP3714602A4 (en) 2017-11-21 2021-07-28 Immersive Robotics Pty Ltd IMAGE COMPRESSION FOR DIGITAL REALITY
TW201935927A (zh) 2017-11-21 2019-09-01 澳大利亞商伊門斯機器人控股有限公司 用於影像壓縮之頻率分量選擇
US10937240B2 (en) * 2018-01-04 2021-03-02 Intel Corporation Augmented reality bindings of physical objects and virtual objects
JP6896688B2 (ja) * 2018-02-28 2021-06-30 東芝デジタルソリューションズ株式会社 位置算出装置、位置算出プログラム、位置算出方法、及びコンテンツ付加システム
CN108917703A (zh) * 2018-03-30 2018-11-30 京东方科技集团股份有限公司 距离测量方法及装置、智能设备
DK201870350A1 (en) * 2018-05-07 2019-12-05 Apple Inc. Devices and Methods for Measuring Using Augmented Reality
EP3814874A1 (en) * 2018-06-27 2021-05-05 Colorado State University Research Foundation Methods and apparatus for efficiently rendering, managing, recording, and replaying interactive, multiuser, virtual reality experiences
CN109217943A (zh) * 2018-07-19 2019-01-15 珠海格力电器股份有限公司 定向播报方法、装置、家用电器及计算机可读存储介质
CN116088783A (zh) * 2018-07-24 2023-05-09 奇跃公司 用于确定和/或评价图像显示设备的定位地图的方法和装置
JP7202805B2 (ja) * 2018-08-03 2023-01-12 北陸電力株式会社 工事記録用プログラム
US10785413B2 (en) 2018-09-29 2020-09-22 Apple Inc. Devices, methods, and graphical user interfaces for depth-based annotation
CN113170075B (zh) * 2018-11-09 2024-04-19 索尼集团公司 信息处理装置、信息处理方法和程序
JP6650639B1 (ja) * 2019-05-31 2020-02-19 株式会社鴻池組 構造物の検査装置、構造物の検査方法及びプログラム
WO2021141055A1 (ja) * 2020-01-08 2021-07-15 株式会社Ｎｔｔドコモ 測定装置
US11003308B1 (en) * 2020-02-03 2021-05-11 Apple Inc. Systems, methods, and graphical user interfaces for annotating, measuring, and modeling environments
US11727650B2 (en) 2020-03-17 2023-08-15 Apple Inc. Systems, methods, and graphical user interfaces for displaying and manipulating virtual objects in augmented reality environments
JP6867071B1 (ja) * 2020-05-08 2021-04-28 アイタックソリューションズ株式会社 測定装置、測定プログラム及び測定方法
JP6867070B1 (ja) * 2020-05-08 2021-04-28 アイタックソリューションズ株式会社 測定装置、測定プログラム及び測定方法
JP6821222B1 (ja) * 2020-05-08 2021-01-27 アイタックソリューションズ株式会社 測定装置、測定プログラム及び測定方法
US11615595B2 (en) 2020-09-24 2023-03-28 Apple Inc. Systems, methods, and graphical user interfaces for sharing augmented reality environments
US11941764B2 (en) 2021-04-18 2024-03-26 Apple Inc. Systems, methods, and graphical user interfaces for adding effects in augmented reality environments
JP7354186B2 (ja) * 2021-06-18 2023-10-02 ヤフー株式会社 表示制御装置、表示制御方法および表示制御プログラム
CN115602286B (zh) * 2022-10-18 2024-06-04 上海诠视传感技术有限公司 一种基于ar眼镜的双眼同时知觉检测和训练方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000152125A (ja) * 1998-11-09 2000-05-30 Sharp Corp ヘッドマウントディスプレイ装置
US20130050070A1 (en) * 2011-08-29 2013-02-28 John R. Lewis Gaze detection in a see-through, near-eye, mixed reality display
WO2013106291A1 (en) * 2012-01-13 2013-07-18 Qualcomm Incorporated Calibrated hardware sensors for estimating real-world distances
JP2015510112A (ja) * 2012-01-13 2015-04-02 クアルコム，インコーポレイテッド 仮想定規
US20150130839A1 (en) * 2013-11-13 2015-05-14 Sony Corporation Display control device, display control method, and program
CN105159450A (zh) * 2015-08-25 2015-12-16 中国运载火箭技术研究院 一种便携式可交互桌面级虚拟现实系统
CN105242400A (zh) * 2015-07-10 2016-01-13 上海鹰为智能科技有限公司 虚拟现实眼镜

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3141049B2 (ja) * 1992-08-14 2001-03-05 オリンパス光学工業株式会社 ３次元計測方法及び３次元計測装置
JPH06241754A (ja) * 1992-08-28 1994-09-02 Kageisa Noro 仮想現実空間を利用した測定システム
JPH06241752A (ja) 1993-02-18 1994-09-02 Sony Corp Ｉｃリード曲り測定方法
JP2006010312A (ja) * 2004-06-21 2006-01-12 Constec Engi Co 撮像装置
EP2546806B1 (en) 2011-07-11 2019-05-08 Deutsche Telekom AG Image based rendering for ar - enabling user generation of 3d content
JP5821526B2 (ja) 2011-10-27 2015-11-24 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US9372621B2 (en) * 2012-09-18 2016-06-21 Asustek Computer Inc. Operating method of electronic device
US9633450B2 (en) * 2012-11-30 2017-04-25 Sharp Kabushiki Kaisha Image measurement device, and recording medium
US20140201023A1 (en) * 2013-01-11 2014-07-17 Xiaofan Tang System and Method for Virtual Fitting and Consumer Interaction
JP5790692B2 (ja) * 2013-03-29 2015-10-07 ソニー株式会社 情報処理装置、情報処理方法および記録媒体
US10114545B2 (en) * 2014-09-03 2018-10-30 Intel Corporation Image location selection for use in depth photography system
CN107072743B (zh) * 2014-09-16 2020-07-28 皇家飞利浦有限公司 被布置为与光学形状感测使能的介入设备协作的处理系统
JP6241752B2 (ja) 2014-11-21 2017-12-06 住友電装株式会社 レバー式コネクタ
US20160147408A1 (en) * 2014-11-25 2016-05-26 Johnathan Bevis Virtual measurement tool for a wearable visualization device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000152125A (ja) * 1998-11-09 2000-05-30 Sharp Corp ヘッドマウントディスプレイ装置
US20130050070A1 (en) * 2011-08-29 2013-02-28 John R. Lewis Gaze detection in a see-through, near-eye, mixed reality display
WO2013106291A1 (en) * 2012-01-13 2013-07-18 Qualcomm Incorporated Calibrated hardware sensors for estimating real-world distances
JP2015510112A (ja) * 2012-01-13 2015-04-02 クアルコム，インコーポレイテッド 仮想定規
US20150130839A1 (en) * 2013-11-13 2015-05-14 Sony Corporation Display control device, display control method, and program
CN105242400A (zh) * 2015-07-10 2016-01-13 上海鹰为智能科技有限公司 虚拟现实眼镜
CN105159450A (zh) * 2015-08-25 2015-12-16 中国运载火箭技术研究院 一种便携式可交互桌面级虚拟现实系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11468868B2 (en) 2017-12-20 2022-10-11 Sony Corporation Information processing apparatus and information processing method to perform transition display control
CN111932606A (zh) * 2020-10-12 2020-11-13 歌尔光学科技有限公司 物体边界尺寸检测方法、装置、头戴显示设备及存储介质
CN114923418A (zh) * 2021-02-12 2022-08-19 苹果公司 基于点选择的测量

Also Published As

Publication number Publication date
CN114327043A (zh) 2022-04-12
EP3413013B1 (en) 2021-09-22
EP3413013A4 (en) 2019-01-23
US20210131790A1 (en) 2021-05-06
EP3979047A1 (en) 2022-04-06
US10942024B2 (en) 2021-03-09
JP2023101560A (ja) 2023-07-21
JP7283506B2 (ja) 2023-05-30
WO2017134886A1 (ja) 2017-08-10
US20190033058A1 (en) 2019-01-31
US11796309B2 (en) 2023-10-24
EP3413013A1 (en) 2018-12-12
JPWO2017134886A1 (ja) 2018-11-22
CN108603749B (zh) 2021-12-21
JP2022000640A (ja) 2022-01-04
US20230417538A1 (en) 2023-12-28

Similar Documents

Publication Publication Date Title
CN108603749A (zh) 信息处理装置、信息处理方法和记录介质
CN111602140B (zh) 分析由头戴式设备的相机记录的图像中的对象的方法
JP5646263B2 (ja) 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法
CN104781849B (zh) 单眼视觉同时定位与建图(slam)的快速初始化
WO2022066578A1 (en) Touchless photo capture in response to detected hand gestures
US10636185B2 (en) Information processing apparatus and information processing method for guiding a user to a vicinity of a viewpoint
CN105094335B (zh) 场景提取方法、物体定位方法及其系统
JP5791433B2 (ja) 情報処理プログラム、情報処理システム、情報処理装置および情報処理方法
US11887246B2 (en) Generating ground truth datasets for virtual reality experiences
CN109615703A (zh) 增强现实的图像展示方法、装置及设备
US20210041702A1 (en) Information processing device, information processing method, and computer program
CN108463840A (zh) 信息处理设备、信息处理方法以及记录介质
JP5791434B2 (ja) 情報処理プログラム、情報処理システム、情報処理装置および情報処理方法
US20240031678A1 (en) Pose tracking for rolling shutter camera
CN114722913A (zh) 姿态检测方法、装置、电子设备及计算机可读存储介质
CN110152293A (zh) 操控对象的定位方法及装置、游戏对象的定位方法及装置
CN110769245A (zh) 一种校准方法及相关设备
CN117315100A (zh) 用于捕捉目标对象的运动的方法、装置及电子设备
JP2001025033A (ja) 動作認識方法、動作認識装置及び動作認識プログラムを記録した記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant