CN113678171A - 信息处理装置、信息处理方法和记录介质 - Google Patents

信息处理装置、信息处理方法和记录介质 Download PDF

Info

Publication number
CN113678171A
CN113678171A CN202080026525.6A CN202080026525A CN113678171A CN 113678171 A CN113678171 A CN 113678171A CN 202080026525 A CN202080026525 A CN 202080026525A CN 113678171 A CN113678171 A CN 113678171A
Authority
CN
China
Prior art keywords
terminal
update
spatial information
key frame
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080026525.6A
Other languages
English (en)
Inventor
藤泽春香
荒井富士夫
青木秀宪
深泽辽
永野京二郎
后藤智彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN113678171A publication Critical patent/CN113678171A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

所公开的是一种信息处理装置，其包括控制单元，该控制单元用于控制通过使用与真实空间相关联的坐标系在真实空间中布置虚拟对象的显示终端，其中，控制单元基于第一显示终端的第一操作状态和与第一显示终端共享虚拟对象的第二显示终端的第二操作状态，确定是否更新用于确定虚拟对象的位置的第一显示终端的第一空间信息和第二显示终端的第二空间信息。

Description

信息处理装置、信息处理方法和记录介质
技术领域
本公开内容涉及信息处理装置、信息处理方法和记录介质。
背景技术
近年来，一种被称为增强现实(AR)的技术引起了人们的关注，其中附加信息(在下文中，也被称为虚拟对象)被叠加在真实空间上，并且叠加的结果被呈现给用户。利用AR技术的信息呈现使用诸如头戴式显示器(HMD)的显示终端。在一些情况下，将全局坐标系中的位置分配给呈现的虚拟对象。在该情况下，显示终端估计在全局坐标系中的自身位置，并且然后确定虚拟对象的显示位置，使得虚拟对象被显示在分配给虚拟对象的全局坐标系中的位置处。
在估计显示终端的自身位置的各种现有方法中，下面的专利文献1公开了使用基于关键帧的同时定位和映射(SLAM)技术的方法。
引用列表
专利文献
专利文献1：JP 2016-528476 A
发明内容
技术问题
显示终端的自身位置的估计结果可以包括误差。这可能导致分配给虚拟对象的全局坐标系中的位置与由显示终端显示的虚拟对象的全局坐标系中的位置之间的误差的出现。这里，在相同虚拟对象要被显示在多个显示终端上的情况下，在各个显示终端中自身位置的估计准确度和估计结果中出现的变化引起在各个显示终端上显示的全局坐标系中的虚拟对象的位置的差异。
鉴于该情况，本公开内容提出了新颖且改进的信息处理装置、信息处理方法和记录介质，其能够在多个显示终端显示相同虚拟对象的情况下减小显示位置的差异。
问题的解决方案
根据本公开内容，提供了一种信息处理装置，其包括控制单元，该控制单元控制通过使用与真实空间相关联的坐标系在真实空间中布置虚拟对象的显示终端，其中，控制单元基于第一显示终端的第一操作状态和与第一显示终端共享虚拟对象的第二显示终端的第二操作状态，确定是否更新用于确定虚拟对象的位置的第一显示终端的第一空间信息和第二显示终端的第二空间信息。
此外，根据本公开内容，提供了一种信息处理装置，包括：输出单元，其包括向第一用户呈现虚拟对象的第一输出装置；以及控制单元，其确定要布置在与真实空间相关联的坐标系中的虚拟对象的位置，其中，控制单元基于第一输出装置的第一操作状态和第二输出装置的第二操作状态来确定是否更新用于确定虚拟对象的位置的第一输出装置的第一空间信息和第二输出装置的第二空间信息，第二输出装置被设置在外部，并且与第一输出装置共享虚拟对象。
此外，根据本公开内容，提供了一种要由处理器执行的信息处理方法，该方法包括：控制通过使用与真实空间相关联的坐标系在真实空间中布置虚拟对象的显示终端；以及基于第一显示终端的第一操作状态和与第一显示终端共享虚拟对象的第二显示终端的第二操作状态，确定是否更新用于确定虚拟对象的位置的第一显示终端的第一空间信息和第二显示终端的第二空间信息。
此外，根据本公开内容，提供了一种记录介质，其记录有使计算机执行处理的程序，该处理包括：控制通过使用与真实空间相关联的坐标系在真实空间中布置虚拟对象的显示终端；以及基于第一显示终端的第一操作状态和与第一显示终端共享虚拟对象的第二显示终端的第二操作状态，确定是否更新用于确定虚拟对象的位置的第一显示终端的第一空间信息和第二显示终端的第二空间信息。
附图说明
图1是示出根据本公开内容的实施方式的信息处理系统的系统配置示例的图。
图2是示出根据实施方式的AR终端的硬件配置示例的框图。
图3是示出根据实施方式的信息处理系统的功能配置示例的框图。
图4是示出标准定位处理的流程的流程图。
图5是示出根据本公开内容的实施方式的定位处理的流程的流程图。
图6是示出根据实施方式的关键帧更新判定处理的流程的流程图。
图7是示出根据实施方式的信息处理系统中的处理的流程的序列图。
图8A是示出根据实施方式的第一具体示例的多个用户之间的位置关系的图。
图8B是示出根据实施方式的第一具体示例的各个用户的视图的图。
图9A是示出根据实施方式的第二具体示例的多个用户之间的位置关系的图。
图9B是示出根据实施方式的第二具体示例的各个用户的视图的图。
图10A是示出根据实施方式的第三具体示例的多个用户之间的位置关系的图。
图10B是示出根据实施方式的第三具体示例的各个用户的视图的图。
图11是示出根据实施方式的第四具体示例的关键帧的时间序列改变的图。
图12是示出根据实施方式的第一修改例的关键帧更新判定处理的流程的流程图。
图13是示出根据实施方式的第二修改例的关键帧更新判定处理的流程的流程图。
图14是示出根据实施方式的信息处理装置的硬件配置示例的框图。
具体实施方式
在下文中，将参照附图详细描述本公开内容的优选实施方式。在本说明书和附图中，具有基本相同的功能配置的部件将由相同的附图标记表示，并且将省略冗余的描述。
注意，将按以下顺序提供描述。
1.第一实施方式
2.第二实施方式
3.硬件配置示例
4.补充
<<1.第一实施方式>>
根据本公开内容的实施方式的技术涉及控制相同虚拟对象在多个显示终端上的显示的信息处理装置。在下文中，作为示例，假设显示终端由AR终端实现，并且信息处理装置由服务器实现。
<1-1.系统配置示例>
首先，将参照图1和图2描述根据本公开内容的实施方式的信息处理系统的系统配置示例。图1是示出根据本公开内容的实施方式的信息处理系统的系统配置示例的图。如图1所示，根据本实施方式的信息处理系统1000包括AR终端10、服务器20和网络30。注意，在本实施方式中，如图1所示，假设用户12a佩戴AR终端10a(第一显示终端)，而用户12b佩戴AR终端10b(第二显示终端)。此外，AR终端10a和AR终端10b执行相同虚拟对象的共享显示。
(1)AR终端10
AR终端10是显示虚拟对象的终端。根据本实施方式的AR终端10例如由头戴式显示器(HMD)等实现。适用于AR终端10的HMD的示例包括透视HMD、视频透视HMD和视网膜投影HMD。
透视HMD使用例如半透明镜或透明导光板来将形成有透明导光单元等的虚拟图像光学系统保持在用户12的眼睛前方，以在虚拟图像光学系统内显示图像。因此，佩戴透视HMD的用户12可以在观看显示在虚拟图像光学系统内的图像的同时观看外部景象。通过这样的配置，透视HMD也可以例如根据透视HMD的位置或姿势中的至少之一的识别结果，基于AR技术将虚拟对象图像叠加在位于真实空间中的真实对象的光学图像上。透视HMD的具体示例是被称为眼镜型可穿戴装置的装置，其具有被配置为虚拟图像光学系统的与眼镜的透镜对应的部分。
当佩戴在用户12的头部或面部上时，视频透视HMD被佩戴以覆盖用户12的眼睛，以使得诸如显示构件的显示单元能够被保持在用户12的眼睛前方。此外，视频透视HMD包括用于捕获周围景象的图像的成像单元，并且使显示单元显示由成像单元捕获的在用户12前方的景象的图像。通过这样的配置，佩戴视频透视HMD的用户12无法容易地直接观看外部景象，但仍然可以通过显示在显示单元上的图像确认外部景象。此外，视频透视HMD此时可以例如根据视频透视HMD的位置或姿势中的至少之一的识别结果，基于AR技术将虚拟对象叠加在外部景象的图像上。
视网膜投影HMD具有这样的配置：投影仪被保持在用户12的眼睛前方，并且图像从投影仪朝向用户12的眼睛投影，使得图像被叠加在外部景象上。更具体地，视网膜投影HMD将来自投影仪的图像直接投影到用户12的眼睛的视网膜上，以使得图像能够形成在视网膜上。通过这样的配置，即使是近视或远视的用户12也可以观看更清晰的图像。此外，佩戴视网膜投影HMD的用户12可以在观看从投影仪投影的图像的同时观看外部景象。通过这样的配置，视网膜投影HMD也可以例如根据视网膜投影HMD的位置或姿势中的至少之一的识别结果，基于AR技术将虚拟对象图像叠加在位于真实空间中的真实对象的光学图像上。
此外，除了上述示例之外，还存在被称为沉浸式HMD的HMD。类似于视频透视HMD，沉浸式HMD被佩戴以覆盖用户12的眼睛，以使得诸如显示构件的显示单元能够被保持在用户12的眼睛前方。因此，佩戴沉浸式HMD的用户12难以直接观看外部景象(即，真实世界的景象)，并且仅显示在显示单元上的图像进入视野。通过这样的配置，沉浸式HMD可以给予观看图像的用户12沉浸感。因此，沉浸式HMD适用于例如主要基于虚拟现实(VR)技术来呈现信息的情况。
注意，AR终端10不限于上述HMD。例如，AR终端10可以是具有显示单元的终端装置，例如智能电话、平板终端、可穿戴终端或代理装置等。
AR终端10经由网络30连接至服务器20，并且可以向服务器20发送信息和从服务器20接收信息。
(AR终端10的硬件配置)
这里，将参照图2描述AR终端10的硬件配置示例。图2是示出根据本公开内容的实施方式的AR终端10的硬件配置示例的框图。注意，AR终端10的硬件配置示例不限于这样的示例。
如图2所示，AR终端10包括中央处理单元(CPU)100、只读存储器(ROM)102和随机存取存储器(RAM)104。此外，AR终端10包括通信接口(I/F)控制器106、输入图像控制器108、相机110、周边状况信息输入控制器112、周边状况信息检测传感器114、输出图像控制器116和显示器118。
CPU 100用作例如算术处理装置或控制装置，并且基于记录在ROM102、RAM 104或存储装置中的各种程序来控制部件中的每个的操作的全部或部分。ROM 102是存储由CPU100加载的程序、用于计算的数据等的装置。RAM 104临时或永久地存储例如由CPU 100加载的程序、在程序执行时适当改变的各种参数等。
通信I/F控制器106是执行与通信有关的控制的控制器。例如，通信I/F控制器106控制经由网络30与外部装置的通信。
输入图像控制器108是执行与图像(静止图像或运动图像)的输入有关的控制的控制器。例如，输入图像控制器108控制由相机110捕获的摄影图像的输入。此外，输入图像控制器108可以控制由相机110执行的成像处理。
相机110是对AR终端10的周围环境进行成像的成像装置。通过成像装置，AR终端10可以获取指示用户12的周围环境的摄影图像。AR终端10中设置的相机110的数目没有具体限制，而是可以设置任何数目的相机110。例如，根据本实施方式的AR终端10设置有右眼相机和左眼相机。
周边状况信息输入控制器112是执行与指示AR终端10周围的状态的信息(在下文中，也被称为“周边状况信息”)的输入有关的控制的控制器。例如，周边状况信息输入控制器112控制由周边状况信息检测传感器114获取的周边状况信息的输入。此外，周边状况信息输入控制器112可以控制由周边状况信息检测传感器114执行的周边状况信息获取处理。
周边状况信息检测传感器114是感测周边状况信息的传感器装置。周边状况信息检测传感器114例如由相机获取指示AR终端10周围的状况的摄影图像，作为周边状况信息。注意，相机可以是上述相机110，或者可以是与相机110不同的相机。
输出图像控制器116是执行与图像的输出有关的控制的控制器。例如，输出图像控制器116控制关于显示器118上的输出图像的输出。此外，输出图像控制器116可以控制与由显示器118输出的输出图像的生成有关的处理。
显示器118是输出输出图像的装置。显示器118的示例包括CRT显示装置、液晶显示装置、等离子显示装置和EL显示装置。注意，AR终端10中设置的显示器118的数目没有具体限制，并且可以设置任何数目的显示器。例如，根据本实施方式的AR终端10设置有右眼显示器和左眼显示器。
(2)服务器20
服务器20是具有控制虚拟对象在多个AR终端10中的显示的功能的信息处理装置。例如，服务器20基于指示AR终端10的操作状态的信息来执行用于控制虚拟对象在AR终端10中的显示的判定处理。具体地，服务器20基于AR终端10a的操作状态(第一操作状态)和AR终端10b的操作状态(第二操作状态)来执行确定是否更新用于确定虚拟对象的位置的关键帧(空间信息)的处理。随后，AR终端10在根据由服务器20作出的确定来顺序地更新关键帧的同时，确定并显示虚拟对象的位置。在下文中，用于确定虚拟对象的位置的关键帧也将被称为“位置确定关键帧”。在下文中，确定是否更新位置确定关键帧的处理也将被称为“关键帧更新判定处理”。在服务器20在关键帧更新判定处理中已判定更新位置确定关键帧的情况下，AR终端10a的位置确定关键帧(第一空间信息)和AR终端10b的位置确定关键帧(第二空间信息)两者被更新。
关键帧可以包括摄影图像、摄影图像的特征点以及指示在捕获摄影图像时相机的自身位置的信息。例如，每次AR终端10的相机110捕获图像时，关键帧被存储在AR终端10中包括的存储单元中。在下文中，存储在AR终端10的存储单元中的多个关键帧也将被称为“关键帧组”。
多个AR终端10中的每个从关键帧组中获取要用于更新位置确定关键帧的候选关键帧(在下文中，被称为“更新目的地候选关键帧”)。例如，AR终端10a从AR终端10a的关键帧组中获取AR终端10a的更新目的地候选关键帧(第三空间信息)。此外，AR终端10b从AR终端10b的关键帧组中获取AR终端10b的更新目的地候选关键帧(第四空间信息)。服务器20接收由多个AR终端10中的每个获取的更新目的地候选关键帧，然后基于接收到的更新目的地候选关键帧来执行关键帧更新判定处理。
由AR终端10基于指示AR终端10的操作状态的信息获取更新目的地候选关键帧。AR终端10的操作状态的示例是AR终端10的姿势。AR终端10的姿势还可以包括指示AR终端10的自身位置的信息。指示操作状态的信息的示例是由AR终端10中包括的相机110获取的摄影图像。例如，AR终端10执行紧接在关键帧更新判定处理之前捕获的摄影图像的特征点与关键帧组的关键帧中的每个中包括的摄影图像的特征点之间的匹配，然后获取匹配成功的关键帧作为更新目的地候选关键帧。
服务器20经由网络30连接至AR终端10，并且可以向AR终端10发送信息和从AR终端10接收信息。例如，服务器20从AR终端10a和AR终端10b接收更新目的地候选关键帧。此外，服务器20将在判定处理中获得的判定结果发送至AR终端10a和AR终端10b。
(3)网络30
网络30具有将AR终端10和服务器20彼此连接的功能。此外，网络30可以具有将多个AR终端10彼此连接的功能。例如，网络30将AR终端10a和AR终端10b彼此连接。
网络30可以包括诸如因特网、电话网络和卫星通信网络的公共网络，或者包括以太网(注册商标)的各种局域网(LAN)、广域网(WAN)等。此外，网络30可以包括专用网络，例如，因特网协议虚拟专用网络(IP-VPN)。网络30还可以包括诸如Wi-Fi(注册商标)或蓝牙(注册商标)的无线通信网络。
<1-2.功能配置示例>
如上已经描述了根据本实施方式的系统配置示例。接下来，将参照图3描述根据本公开内容的实施方式的信息处理系统1000的功能配置示例。图3是示出根据本公开内容的实施方式的信息处理系统1000的功能配置示例的框图。
<1-2-1.AR终端的功能配置>
如图3所示，根据本实施方式的AR终端10包括通信单元120、传感器单元130、控制单元140、存储单元150和输出单元160。
(1)通信单元120
通信单元120具有与外部装置进行通信的功能。例如，在与外部装置的通信中，通信单元120将从外部装置接收的信息输出至控制单元140。例如，通信单元120在经由网络30与服务器20的通信中从服务器20接收判定结果，然后将判定结果输出至控制单元140。
例如，在与外部装置的通信中，通信单元120将从控制单元140输入的信息发送至外部装置。作为示例，通信单元120将更新目的地候选关键帧发送至服务器20。
(2)传感器单元130
传感器单元130具有感测用于控制单元140中的处理的信息的功能。在感测之后，传感器单元130将由各种传感器通过感测获取的感测信息输出至控制单元140。
传感器单元130可以包括各种传感器装置。作为示例，传感器单元130可以包括相机、深度传感器、加速度传感器、陀螺仪传感器等。传感器单元130中包括的传感器装置不限于上述示例，并且可以包括任何其他传感器装置。
相机是包括透镜系统、驱动系统和成像元件并且捕获图像作为摄影图像的成像装置，例如RGB相机。这样的成像装置可以被包括在AR终端10中，以能够捕获AR终端10的周边图像。通过这样的配置，传感器单元130可以获取AR终端10周围的摄影图像。注意，在用户12佩戴或携带AR终端10的情况下，由传感器单元130获取的AR终端10的周边环境的摄影图像也是用户12的周边环境的摄影图像。
深度传感器是获取深度信息的装置，例如红外距离测量装置、超声距离测量装置、激光成像检测和测距(LiDAR)或立体相机。传感器单元130可以基于由深度传感器获取的信息来获取AR终端10的位置信息。在用户12佩戴或携带AR终端10的情况下，由传感器单元130获取的AR终端10的位置信息也是用户12的位置信息。
加速度传感器是获取加速度的装置。例如，加速度传感器测量加速度，即目标的移动中速度的变化率。陀螺仪传感器是获取角速度的装置。例如，陀螺仪传感器测量角速度，即目标的姿势的变化量。在下文中，由加速度传感器和陀螺仪传感器获取的信息也将被称为“惯性信息”。通过这样的配置，传感器单元130可以获取AR终端10的惯性信息。在用户12佩戴或携带AR终端10的情况下，由传感器单元130获取的惯性信息也是用户12的惯性信息。
(3)控制单元140
控制单元140具有控制AR终端10的整个操作的功能。为了实现该功能，如图3所示，控制单元140包括周边状况信息获取单元1402、周边状况信息管理单元1404、空间信息获取单元1406、空间信息管理单元1408、图像输出控制单元1410和输出图像生成单元1412。
(3-1)周边状况信息获取单元1402
周边状况信息获取单元1402具有控制关于AR终端10的周边状况信息的获取的功能。例如，周边状况信息获取单元1402控制传感器单元130的操作，并且使传感器单元130获取周边状况信息。此外，周边状况信息获取单元1402可以控制通信单元120的操作，并且可以经由通信单元120从连接至AR终端10的外部装置获取周边状况信息。外部装置的示例包括安装在AR终端10外部的传感器装置、服务器20等。
(3-2)周边状况信息管理单元1404
周边状况信息管理单元1404具有管理周边状况信息的功能。例如，周边状况信息管理单元1404执行在存储单元150中包括的存储周边状况信息的数据库(在下文中，也被称为“周边状况信息DB”)的更新处理。例如，周边状况信息管理单元1404使存储单元150将周边状况信息获取单元1402所获取的周边状况信息添加至周边状况信息DB。
(3-3)空间信息获取单元1406
空间信息获取单元1406具有控制与AR终端10的空间信息有关的信息的获取的功能。例如，空间信息获取单元1406控制传感器单元130的操作，并且使传感器单元130获取与空间信息有关的信息。作为示例，空间信息获取单元1406控制设置在传感器单元130中的相机来捕获指示AR终端10的操作状态的摄影图像。
(3-4)空间信息管理单元1408
空间信息管理单元1408具有管理空间信息的功能。例如，空间信息管理单元1408控制与空间信息有关的处理。例如，空间信息管理单元1408执行诸如查询图像的生成、更新目的地候选关键帧的获取、位置确定关键帧的更新、初始姿势估计和最终姿势估计的处理。
(查询图像的生成)
空间信息管理单元1408执行与查询图像的生成有关的处理。例如，空间信息管理单元1408基于由空间信息获取单元1406获取的摄影图像来生成查询图像。在从关键帧组获取更新目的地候选关键帧时使用查询图像。
在生成查询图像时，空间信息管理单元1408基于摄影图像来估计成像时相机的自身位置(AR终端10的自身位置)。此外，空间信息管理单元1408对摄影图像执行特征点检测和特征量描述，然后获取二维特征点。
(更新目的地候选关键帧的获取)
空间信息管理单元1408基于AR终端10的操作状态来获取AR终端10的更新目的地候选关键帧。例如，空间信息管理单元1408使用从由传感器单元130的相机捕获的指示AR终端10的操作状态的摄影图像生成的查询图像，从而从存储在存储单元150中的关键帧组中搜索更新目的地候选关键帧。当搜索更新目的地候选关键帧时，空间信息管理单元1408执行在生成查询图像时获取的二维特征点与关键帧组的各个关键帧中包括的二维特征点之间的匹配。空间信息管理单元1408然后获取二维特征点匹配成功的关键帧，作为更新目的地候选关键帧。
(位置确定关键帧的更新)
空间信息管理单元1408基于服务器20中的关键帧更新判定处理的判定结果来执行位置确定关键帧的更新处理。当关键帧更新判定处理已判定更新位置确定关键帧时，空间信息管理单元1408将通过使用更新目的地候选关键帧来更新位置确定关键帧。相比之下，当关键帧更新判定处理已判定不更新位置确定关键帧时，空间信息管理单元1408将不更新位置确定关键帧。
(初始姿势估计)
空间信息管理单元1408基于位置确定关键帧来估计AR终端10的初始姿势。姿势指示AR终端10的位置和姿势。此外，初始姿势指示当相机捕获摄影图像时AR终端10的位置和姿势。例如，空间信息管理单元1408根据指示与位置确定关键帧相关联的自身位置的信息来估计AR终端10的初始姿势。
此时，空间信息管理单元1408执行由传感器单元130的相机捕获的摄影图像的二维特征点与位置确定关键帧的二维特征点之间的特征点匹配。当特征点匹配成功时，空间信息管理单元1408使用位置确定关键帧中包括的指示自身位置的信息作为AR终端10的初始姿势。当特征点匹配不成功时，空间信息管理单元1408更新位置确定关键帧，并且重复特征点匹配，直到特征点匹配成功为止。
(最终姿势估计)
空间信息管理单元1408校正估计的初始姿势，从而估计AR终端10的最终姿势。最终姿势指示AR终端10在当前时间的位置和姿势。关于最终姿势，例如，空间信息管理单元1408执行由传感器单元130的相机捕获的摄影图像与位置确定关键帧中包括的摄影图像之间的图像匹配。当检测到作为图像匹配的结果的两个图像之间的差异时，空间信息管理单元1408基于该差异校正初始姿势，并且将经校正的姿势确定为AR终端10的最终姿势。
(3-5)图像输出控制单元1410
图像输出控制单元1410具有控制图像的输出的功能。例如，图像输出控制单元1410使输出单元160输出由输出图像生成单元1412生成的输出图像。在AR终端10设置有右眼显示器和左眼显示器的情况下，图像输出控制单元1410使显示器中的每个以与显示器中的每个对应的格式输出输出图像。
(3-6)输出图像生成单元1412
输出图像生成单元1412具有生成图像的功能。例如，输出图像生成单元1412生成要由输出单元160输出的输出图像。例如，基于由空间信息管理单元1408估计的AR终端10的最终姿势，输出图像生成单元1412生成其中布置了虚拟对象的输出图像。
(4)存储单元150
存储单元150具有存储与AR终端10中的处理有关的信息的功能。例如，存储单元150在周边状况信息管理单元1404的控制下将周边状况信息获取单元1402所获取的周边状况信息存储到周边状况信息DB中。另外，存储单元150将预先准备的地图DB(关键帧组)存储到空间信息DB中。
注意，要存储在存储单元150中的信息不限于这样的示例。例如，存储单元150可以存储诸如各种应用的程序。
(5)输出单元160
输出单元160具有输出图像的功能。例如，在图像输出控制单元1410的控制下，输出单元160输出由输出图像生成单元1412生成的输出图像。
<1-2-2.服务器的功能配置>
如图3所示，根据本实施方式的服务器20包括通信单元210、控制单元220和存储单元230。
(1)通信单元210
通信单元210具有与外部装置进行通信的功能。例如，在与外部装置的通信中，通信单元210将从外部装置接收的信息输出至控制单元220。作为示例，在经由网络30与AR终端10的通信中，通信单元210从AR终端10接收更新目的地候选关键帧，并且将接收到的更新目的地候选关键帧输出至控制单元220。
例如，在与外部装置的通信中，通信单元210将从控制单元220输入的信息发送至外部装置。例如，通信单元210将判定结果发送至AR终端10。
(2)控制单元220
控制单元220是具有控制服务器20的整个操作的功能的信息处理装置。例如，控制单元220具有执行与AR终端10中的虚拟对象的布置的控制有关的处理的功能。作为处理的示例，控制单元220执行关键帧更新判定处理。
(关键帧更新判定处理)
在关键帧更新判定处理中，控制单元220基于AR终端10a的操作状态和AR终端10b的操作状态，确定是否更新AR终端10a的位置确定关键帧和AR终端10b的位置确定关键帧。基于AR终端10a的操作状态与AR终端10b的操作状态是否相似来确定是否更新AR终端10a的位置确定关键帧和AR终端10b的位置确定关键帧。
操作状态的相似指示用户12a的观看方向与用户12b的观看方向的相似。因此，当AR终端10a的操作状态与AR终端10b的操作状态相似时，控制单元220确定不更AR终端10a的位置确定关键帧或AR终端10b的位置确定关键帧。通过不更新关键帧，可以使得AR终端10a和AR终端10b能够在操作状态相似时继续使用至少位置确定关键帧(准确地说，相似操作状态下获得的关键帧)。这使得可以减小AR终端10中的每个的自身位置估计准确度和自身位置估计结果的变化，并且与此同时可以减小多个AR终端10之间相同虚拟对象的显示位置的差异。
相比之下，操作状态的不相似指示用户12a的观看方向与用户12b的观看方向的不相似。因此，当AR终端10a的操作状态与AR终端10b的操作状态不相似时，控制单元220确定更新AR终端10a的位置确定关键帧和AR终端10b的位置确定关键帧。通过这样的配置，可以针对用户中的每个，在与用户中的每个的观看方向对应的位置处显示虚拟对象。
-基于相似度的判定
基于由控制单元220计算的AR终端10a的操作状态和AR终端10b的操作状态的相似度与第一阈值的比较结果，确定AR终端10a的操作状态与AR终端10b的操作状态是否相似。当相似度为第一阈值或更大时，控制单元220判定AR终端10a的操作状态与AR终端10b的操作状态相似。相比之下，当相似度不为第一阈值或更大时，控制单元220判定AR终端10a的操作状态与AR终端10b的操作状态不相似。
控制单元220基于在AR终端10a的操作状态下由AR终端10a获取的位置确定关键帧以及在AR终端10b的操作状态下由AR终端10b获取的位置确定关键帧来计算相似度。具体地，控制单元220执行由AR终端10a获取的位置确定关键帧中包括的特征点与由AR终端10b获取的位置确定关键帧中包括的特征点之间的特征点匹配，然后基于匹配成功的特征点的数目来计算相似度。例如，控制单元220计算得分作为指示相似度的具体值。例如，控制单元220计算匹配成功的特征点的数目作为得分。
注意，计算相似度的方法不限于这样的示例。例如，可以计算与更新目的地候选关键帧对应的相机的三维坐标系中的位置和姿势矩阵(3×4矩阵)的匹配度作为相似度。注意，矩阵的匹配度是矩阵的每个元素的平方和。
另外，作为第一阈值设置的值没有特别限定，并且可以设置任何值。例如，当在多个AR终端显示相同虚拟对象的情况下期望进一步减小显示位置的差异时，期望将第一阈值设置为高。
另外，第一阈值可以动态地改变。例如，控制单元220根据AR终端10a与AR终端10b之间的位置关系(即用户12a与用户12b之间的位置关系)改变第一阈值。
在用户12a和用户12b处于接近的位置关系的情况下，很可能感知到虚拟对象的显示位置的差异。因此，在用户12a和用户12b处于接近的位置的情况下，控制单元220可以将第一阈值设置为高。通过该设置，由于减小了显示位置的差异，因此虚拟对象的显示位置处的装置不太可能被用户12a和用户12b感知。
相比之下，在用户12a和用户12b处于较远的位置关系的情况下，不太可能感知到虚拟对象的显示位置的差异。因此，在用户12a和用户12b处于较远的位置关系的情况下，控制单元220可以将第一阈值设置为低。通过该设置，虽然显示位置的差异增大，但是可以保持处于虚拟对象的显示位置的装置不太可能被用户12a和用户12b感知的状态。
-相似度的最大值的判定
可以基于相似度的得分是否为最大值来确定在关键帧更新判定处理中是否更新位置确定关键帧。例如，控制单元220还基于相似度是否超过最大值(第三阈值)来确定是否更新AR终端10a的位置确定关键帧和AR终端10b的位置确定关键帧。
最大值是在满足预定条件的时间段内计算的相似度的最大值。预定时间段是例如在下面描述的移动距离判定中连续判定不更新位置确定关键帧的组织。
当作为判定的结果相似度超过最大值时，控制单元220确定更新AR终端10a的位置确定关键帧和AR终端10b的位置确定关键帧。当相似度不超过最大值时，控制单元220确定不更新AR终端10a的位置确定关键帧或AR终端10b的位置确定关键帧。
更新目的地候选关键帧的相似度是最大值的状态指示更新目的地候选关键帧的相似度高于当前使用的位置确定关键帧的相似度。因此，通过使用具有最大相似度的更新目的地候选关键帧来更新当前使用的位置确定关键帧，可以减小虚拟对象的显示位置的差异。
-移动距离的判定
在关键帧更新判定处理中，可以基于在位置确定关键帧的上次更新之后AR终端10的移动距离来确定是否更新位置确定关键帧。例如，控制单元220计算在AR终端10a的位置确定关键帧的上次更新之后AR终端10a的移动距离以及在AR终端10b的位置确定关键帧的上次更新之后AR终端10b的移动距离。
注意，移动距离是连接位置确定关键帧的上次更新时的位置与当前关键帧更新判定处理正被执行的位置的直线的距离。例如，可以基于位置确定关键帧的上次更新时AR终端10的自身位置与当前关键帧更新判定处理正被执行时AR终端10的自身位置之间的差异来计算移动距离。因此，控制单元220获取在位置确定关键帧更新时AR终端10的自身位置，并且将自身位置保存在存储单元230中。
在计算出移动距离之后，控制单元220将计算的移动距离与第二阈值进行比较，并且基于比较的结果来确定是否更新位置确定关键帧。
例如，当AR终端10a的移动距离和AR终端10b的移动距离中的至少一个移动距离为第二阈值或更大时，控制单元220确定更新AR终端10a的位置确定关键帧和AR终端10b的位置确定关键帧。相比之下，在AR终端10a的移动距离和AR终端10b的移动距离中的所有移动距离不为第二阈值或更大的情况下，控制单元220确定不更新AR终端10a的位置确定关键帧或AR终端10b的位置确定关键帧。
注意，在多个AR终端10中的至少一个AR终端10的移动距离为第二阈值或更大的情况下，控制单元220确定更新所有AR终端10的位置确定关键帧。
另外，当比较基于相似度的判定处理的结果与基于移动距离的判定处理的结果时，基于移动距离的判定处理的结果可以被更高优先化。例如，即使在基于相似度的判定处理中判定多个AR终端10的更新目的地候选关键帧相似时，当在基于移动距离的判定处理中判定移动距离为第二阈值或更大时，控制单元220也将判定更新位置确定关键帧。
这是因为由于AR终端10移动了预定距离或更大距离而导致AR终端10的自身位置估计中可能出现误差。即使在多个AR终端10的更新目的地候选关键帧相似时，也存在虚拟对象的显示位置由于误差而具有差异的可能性。
注意，例如，AR终端中的自身位置估计使用通过SLAM进行的跟踪处理。跟踪处理基于与关键帧对应的相机的坐标位置以及基于诸如惯性测量装置的传感器的测量值计算的移动距离来计算AR终端10的移动距离。当AR终端10的移动距离为第二阈值或更大时，AR终端10的自身位置估计结果高度依赖于基于诸如惯性测量装置的传感器的测量值计算的移动距离部分的可能性很高。此外，估计结果中很可能包括大量漂移误差。
因此，在多个AR终端10中的至少一个AR终端10的移动距离为第二阈值或更大的情况下，控制单元220确定更新所有AR终端10的位置确定关键帧。此外，即使当在基于相似度的判定处理中判定多个AR终端10的更新目的地候选关键帧相似时，控制单元220也根据基于移动距离的判定处理的结果来确定是否更新位置确定关键帧。该配置使得可以减小虚拟对象的显示位置的差异。
(3)存储单元230
存储单元230具有存储与服务器20中的处理有关的信息的功能。例如，存储单元230存储由控制单元220计算的得分的最大值。此外，存储单元230存储诸如各种应用、数据等的程序。注意，存储在存储单元230中的信息不限于以上示例。
<1-3.处理示例>
如上已经描述了根据本实施方式的功能配置示例。接下来，将参照图4至图7描述根据本公开内容的实施方式的信息处理系统1000中的处理示例。
(1)定位处理
首先，将参照图4和图5描述定位处理。图4是示出标准定位处理的流程的流程图。图5是示出根据本公开内容的实施方式的定位处理的流程的流程图。注意，标准定位处理应当由标准AR终端执行。此外，根据本实施方式的定位处理应当由根据本实施方式的AR终端10执行。
(1-1)标准定位处理
如图4所示，标准AR终端首先对摄影图像执行特征点检测和特征量描述，然后获取二维特征点(S102)。接下来，标准AR终端使用获取的二维特征点在标准AR终端的存储单元中存储的地图DB的关键帧组上搜索关键帧，从而获取要用于输出图像的生成的关键帧(S104)。接下来，标准AR终端执行获取的关键帧的特征点与摄影图像的特征点之间的特征点匹配，然后估计标准AR终端的初始姿势(S106)。随后，标准AR终端执行获取的关键帧与摄影图像之间的图像匹配，然后估计标准AR终端的最终姿势(S108)。
在上述标准定位处理中，一个标准AR终端不与另一标准AR终端共享诸如关键帧的信息。因此，标准AR终端不会考虑与另一标准AR终端的位置关系来执行虚拟对象的显示位置的确定。
(1-2)根据本实施方式的定位处理
如图5所示，AR终端10首先对摄影图像执行特征点检测和特征量描述，然后获取二维特征点(S202)。接下来，AR终端10使用获取的二维特征点在AR终端10的存储单元150中存储的地图DB的关键帧组上搜索关键帧，并且获取更新目的地候选关键帧(S204)。接下来，AR终端10向服务器20发送更新目的地候选关键帧，并且使服务器20执行关键帧更新判定处理(S206)。注意，将在下面描述关键帧更新判定处理的细节。
在关键帧更新判定处理之后，AR终端10确认在判定处理中是否已经判定更新位置确定关键帧(S208)。当在判定处理中判定更新位置确定关键帧时(S208/“是”)，AR终端10更新位置确定关键帧(S210)，并且进行到S212的处理。当在判定处理中判定不更新位置确定关键帧时(S208/“否”)，AR终端10进行到S212的处理，而不更新位置确定关键帧。
在S212中，AR终端10执行位置确定关键帧的特征点与摄影图像的特征点之间的特征点匹配(S212)。在特征点匹配之后，AR终端10确认特征点是否匹配成功(S214)。
当特征点没有实现匹配时(S214/“否”)，AR终端10重复从S210开始的处理。当特征点匹配成功时(S214/“是”)，AR终端10估计AR终端10的初始姿势(S216)。随后，AR终端10执行位置确定关键帧与摄影图像之间的图像匹配，并且估计AR终端10的最终姿势(S218)。
在上述根据本实施方式的定位处理中，AR终端10与另一AR终端10在服务器20上共享关键帧。另外，AR终端10基于由服务器20执行的关键帧更新判定处理的结果，考虑与另一标准AR终端的位置关系来确定虚拟对象的显示位置。通过这样的配置，当多个AR终端显示相同虚拟对象时，可以减小显示位置的差异。
(2)关键帧更新判定处理
接下来，将参照图6描述根据本公开内容的实施方式的关键帧更新判定处理的流程。图6是示出根据本公开内容的实施方式的关键帧更新判定处理的流程的流程图。另外，根据本实施方式的关键帧更新判定处理应当由根据本实施方式的服务器20执行。
如图6所示，首先，服务器20计算指示由AR终端10a获取的更新目的地候选关键帧与由AR终端10b获取的更新目的地候选关键帧之间的相似度的得分(S302)。在计算得分之后，服务器20确认得分是否为第一阈值或更大(S304)。
当得分不为第一阈值或更大时(S304/“否”)，服务器20判定更新位置确定关键帧(S314)，并且结束关键帧更新判定处理。
当得分为第一阈值或更大时(S304/“是”)，服务器20确认得分是否为最大值或更大(S306)。当得分为最大值或更大时(S306/“是”)，服务器20更新得分的最大值(S308)。在更新最大值之后，服务器20判定更新位置确定关键帧(S314)，并且结束关键帧更新判定处理。
当得分不为最大值或更大时(S306/“否”)，服务器20确认在位置确定关键帧的上次更新之后AR终端10a或AR终端10b的移动距离是否为第二阈值或更大(S310)。
当移动距离为第二阈值或更大时(S310/“是”)，服务器20将得分的最大值更新为0(S312)。在更新最大值之后，服务器20判定更新位置确定关键帧(S314)，并且结束关键帧更新判定处理。
当移动距离不为第二阈值或更大时(S310/“否”)，服务器20判定不更新位置确定关键帧(S316)，并且结束关键帧更新判定处理。
(3)信息处理系统1000中的处理
随后，将参照图7描述根据本公开内容的实施方式的信息处理系统1000中的处理的流程。图7是示出根据本公开内容的实施方式的信息处理系统1000中的处理的流程的序列图。
如图7所示，首先，AR终端10a通过执行S202至S204的处理来获取更新目的地候选关键帧(S402)。在获取之后，AR终端10a将获取的更新目的地候选关键帧发送至服务器20(S404)。类似地，AR终端10b通过执行S202至S204的处理来获取更新目的地候选关键帧(S406)。在获取之后，AR终端10b将获取的更新目的地候选关键帧发送至服务器20(S408)。
在从AR终端10a和AR终端10b接收到更新目的地候选关键帧之后，服务器20通过执行S206来执行关键帧更新判定处理(S410)。在关键帧更新判定处理之后，服务器20将判定结果发送至AR终端10a和AR终端10b(S412和S416)。
在从服务器20接收到判定结果之后，AR终端10a执行S208至S218的处理(S414)。类似地，在从服务器20接收到判定结果之后，AR终端10b执行S208至S218的处理(S418)。
<1-4.具体示例>
如上已经描述了根据本实施方式的配置示例。接下来，将参照图8A至图11描述根据本实施方式的具体示例。下面将描述关于更新位置确定关键帧的具体示例。
(1)第一具体示例
首先，将参照图8A和图8B描述当用户12a的观看方向与用户12b的观看方向相同时更新位置确定关键帧的示例。图8A是示出根据本公开内容的实施方式的第一具体示例中的多个用户12之间的位置关系的图。图8B是示出根据本公开内容的实施方式的第一具体示例中的各个用户12的视图的图。注意，第一具体示例中的时间应当是时间t1。
如图8A所示，为幽灵50的虚拟对象和为室内植物51的真实对象在佩戴AR终端10a的用户12a的视野40a内。此时，用户12a正在观看幽灵50和室内植物51，如图8B左侧所示。
另外，幽灵50的虚拟对象和室内植物51的真实对象也在佩戴AR终端10b的用户12b的视野40b内。此时，用户12b正在观看幽灵50和室内植物51，如图8B的右侧所示。
当在时间tl处执行关键帧更新判定处理时，AR终端10a基于图8B的左侧示出的摄影图像60a来确定更新目的地候选关键帧。此外，AR终端10b基于图8B的右侧示出的摄影图像60b来获取更新目的地候选关键帧。由于摄影图像60a与摄影图像60b相似，因此基于各个摄影图像获取的更新目的地候选关键帧也相似。因此，服务器20中的关键帧更新判定处理判定AR终端10将不更新位置确定关键帧。另外，AR终端10a和AR终端10b将不更新位置确定关键帧，并且继续使用相同的关键帧。
(2)第二具体示例
接下来，将参照图9A和图9B描述当用户12a的观看方向与用户12b的观看方向不同时更新位置确定关键帧的示例。图9A是示出根据本公开内容的实施方式的第二具体示例中的多个用户12之间的位置关系的图。图9B是示出根据本公开内容的实施方式的第二具体示例中的各个用户12的视图的图。注意，第二具体示例中的时间应当是时间t2。
相对于第一具体示例的时间tl处的视野的方向或位置，用户12a没有改变视野40a的方向或位置。因此，如图9A所示，幽灵50的虚拟对象和室内植物51的真实对象在佩戴AR终端10a的用户12a的视野40a内。此时，用户12a正在观看幽灵50和室内植物51，如图9B的左侧所示。
相比之下，用户12b没有改变位置，但是相对于第一具体示例中描述的时间tl处的方向，用户12b改变了视野40b的方向。因此，如图9A所示，只有花52的真实对象在佩戴AR终端10b的用户12b的视野40b内。此时，用户12b正在观看如图9B的右侧所示的花52。
当在时间t2处执行关键帧更新判定处理时，AR终端10a基于图9B的左侧示出的摄影图像60a来确定更新目的地候选关键帧。此外，AR终端10b基于图9B的右侧示出的摄影图像60b来获取更新目的地候选关键帧。由于摄影图像60a与摄影图像60b不相似，因此基于各个摄影图像获取的更新目的地候选关键帧也不相似。因此，服务器20中的关键帧更新判定处理判定AR终端10将更新位置确定关键帧。另外，AR终端10a和AR终端10b将更新位置确定关键帧。
(3)第三具体示例
接下来，将参照图10A和图10B描述当用户12a与用户12b之间的位置关系已经改变时更新位置确定关键帧的示例。图10A是示出根据本公开内容的实施方式的第三具体示例中的多个用户12之间的位置关系的图。图10B是示出根据本公开内容的实施方式的第三具体示例中的各个用户12的视图的图。注意，第三具体示例中的时间应当是时间t3。
从第二具体示例的时间t2起，用户12a没有改变视野40a的方向和位置。因此，如图10A所示，幽灵50的虚拟对象和室内植物51的真实对象在佩戴AR终端10a的用户12a的视野40a内。此时，用户12a正在观看如图10B的左侧所示的幽灵50和室内植物51。
相比之下，相对于第二具体示例中描述的时间t2处的方向，用户12b改变了视野40b的方向，该改变处于与第一具体示例的时间tl处的方向相同的方向。因此，如图10A所示，幽灵50的虚拟对象和室内植物51的真实对象在佩戴AR终端10b的用户12b的视野40b内。此时，用户12b正在观看如图10B的右侧所示的幽灵50和室内植物51。然而，相对于第二具体示例中描述的时间t2处的位置，用户12b改变了位置，使得移动距离为第二阈值或更大。
当在时间t2处执行关键帧更新判定处理时，AR终端10a基于图10B的左侧示出的摄影图像60a来确定更新目的地候选关键帧。此外，AR终端10b基于图10B的右侧示出的摄影图像60b来获取更新目的地候选关键帧。由于摄影图像60a与摄影图像60b相似，因此基于各个摄影图像获取的更新目的地候选关键帧也相似。然而，由于用户12b的移动距离为第二阈值或更大，因此在服务器20中的关键帧更新判定处理中判定要更新位置确定关键帧。另外，AR终端10a和AR终端10b将更新位置确定关键帧。
(4)第四具体示例
最后，将参照图11描述上述第一具体示例至第三具体示例中的位置确定关键帧的时间序列改变。图11是示出根据本公开内容的实施方式的第四具体示例中的关键帧的时间序列改变的图。
图11中示出的表示出了AR终端10a和AR终端10b的位置确定关键帧的时间序列改变。注意，AR终端10a使用位置确定关键帧1至5，而AR终端10b使用位置确定关键帧6至10。
首先，在从时间t0和时间tl的持续时间内，AR终端10a的位置确定关键帧按照位置确定关键帧3、5、4和1的顺序改变。类似地，AR终端10b的位置确定关键帧按照位置确定关键帧8、10、9和7的顺序改变。
如上述第一具体示例所述，在时间tl处的关键帧更新判定处理判定AR终端10将不更新位置确定关键帧。基于该判定，在从时间t1到时间t2的持续时间期间内，在AR终端10a中继续使用位置确定关键帧1，而在AR终端10b中继续使用位置确定关键帧7。
如以上第二具体示例所述，在时间t2处的关键帧更新判定处理已判定AR终端10将更新位置确定关键帧。基于该判定，在从时间t2到时间t3的持续时间内，AR终端10a的位置确定关键帧按照位置确定关键帧3、1、2、1和4的顺序改变。类似地，AR终端10b的位置确定关键帧按照位置确定关键帧6、9、6、8和10的顺序改变。
如上述第三具体示例所述，在时间t3处的关键帧更新判定处理判定AR终端10将更新位置确定关键帧。基于该判定，在时间t3或更晚的时间处，AR终端10a的位置确定关键帧按照位置确定关键帧4、1、3、...的顺序改变。类似地，AR终端10b的位置确定关键帧按照位置确定关键帧10、9、10、...的顺序改变。
<1-5.修改例>
在下文中，将描述本公开内容的实施方式的修改例。注意，下面描述的修改例可以单独地应用于本公开内容的实施方式，或者可以组合地应用于本公开内容的实施方式。此外，可以代替本公开内容的实施方式中描述的配置而应用修改例，或者可以将修改例附加地应用于本公开内容的实施方式中描述的配置。
(1)第一修改例
上述实施方式是共享相同虚拟对象的AR终端10的数目为两个(两个用户12)的示例。然而，共享相同虚拟对象的AR终端10的数目没有具体限制，并且可以是任何数目。在下文中，将参照图12描述共享相同虚拟对象的AR终端10的数目为三个的示例。图12是示出本公开内容的实施方式的第一修改例中的关键帧更新判定处理的流程的流程图。
服务器20从共享相同虚拟对象的所有AR终端10接收更新目的地候选关键帧，并且考虑接收到的更新目的地候选关键帧的所有组合来执行关键帧更新判定处理。例如，服务器20计算接收到的更新目的地候选关键帧的所有组合的相似度的得分，并且将计算的得分与最大值进行比较。此外，服务器20将所有AR终端10的移动距离与第二阈值进行比较。
通过这样的配置，即使当存在共享相同虚拟对象的三个或更多个AR终端10时，服务器20也可以执行关键帧更新判定处理。另外，在三个或更多个显示终端基于关键帧更新判定处理的结果显示相同虚拟对象的情况下，三个或更多个AR终端10中的每个均可以减小显示位置的差异。
这里，将参照图12描述第一修改例中的关键帧更新判定处理的流程。如图12所示，服务器20首先计算指示从N个AR终端10中选择两个AR终端10的情况下所有组合(NC2变形)中的更新目的地候选关键帧的相似度的得分(S502)。在本修改例中，由于AR终端10的数目为三，因此存在3C2＝3个组合。
在计算NC2得分之后，服务器20确认NC2得分是否为第一阈值或更大(S504)。在本修改例中，确认3C2得分是否为第一阈值或更大。
当得分不为第一阈值或更大时(S504/“否”)，服务器20判定更新位置确定关键帧(S514)，并且结束关键帧更新判定处理。
当得分为第一阈值或更大时(S504/“是”)，服务器20确认NC2得分中的至少一个得分是否为最大值或更大(S506)。当得分中的至少之一为最大值或更大时(S506/“是”)，服务器20更新得分的最大值(S508)。在更新最大值之后，服务器20判定更新位置确定关键帧(S514)，并且结束关键帧更新判定处理。
当所有得分均不为最大值或更大时(S506/“否”)，服务器20确认在位置确定关键帧的上次更新之后N个AR终端10中的至少之一的移动距离是否为第二阈值或更大(S510)。
当至少一个AR终端10的移动距离为第二阈值或更大时(S510/“是”)，服务器20将得分的最大值更新为0(S512)。在更新最大值之后，服务器20判定更新位置确定关键帧(S514)，并且结束关键帧更新判定处理。
当至少一个AR终端10的移动距离不为预定阈值或更大时(S510/“否”)，服务器20判定不更新位置确定关键帧(S516)，并且结束关键帧更新判定处理。
(2)第二修改例
虽然上述实施方式是多个AR终端10在相同时间点处共享相同虚拟对象的示例，但是多个AR终端10共享相同虚拟对象的时间点可以彼此不同。在下文中，将参照图13描述多个AR终端10在不同时间共享相同虚拟对象的示例。图13是示出本公开内容的实施方式的第二修改例中的关键帧更新判定处理的流程的流程图。
假设AR终端10a的用户12a在特定时间t4处在显示虚拟对象的预定位置处观看虚拟对象。假设在与用户12a观看虚拟对象的时间不同的时间t5处在相同预定位置处观看相同虚拟对象。此时，虚拟对象应当以与用户12a观看虚拟对象时相同的方式显示在用户12b的AR终端10b上。
该情况的具体示例包括AR解谜游戏和AR逃脱游戏。例如，假设用户12a将虚拟对象放置在房间中的某个位置处并且离开房间。随后，假设用户12b进入相同房间，并且需要掌握由用户12a放置的虚拟对象的位置。此时，如果用户12b没有准确掌握由用户12a放置的虚拟对象的位置，则游戏的进行将受到影响。例如，假设房间中有红色椅子和蓝色椅子，并且用户12a将虚拟对象放置在红色椅子上。然而，假设当用户12B观看虚拟对象时发生位置偏移，并且虚拟对象被显示在蓝色椅子上。在该情况下，用户12b无法获得用户12a放置虚拟对象的位置的正确答案，并且无法通关游戏。
为了解决该问题，即使在不同的时间序列中，服务器20也需要基于AR终端10a的更新目的地候选关键帧和AR终端10b的更新目的地候选关键帧来控制虚拟对象的显示。然而，不幸的是，由于用户12a的AR终端10a在时间t5处与用户12b的AR终端10b不在相同位置处，因此服务器20无法获取该位置处的AR终端10a的更新目的地候选关键帧。
为了处理该问题，服务器20的控制单元220计算与预定位置具有特定位置关系的AR终端10a的操作状态和与不同于AR终端10a的操作状态的时间序列中的预定位置具有特定关系的AR终端10b的操作状态之间的相似度，并且然后执行关键帧更新判定处理。
与预定位置的特定位置关系例如是在用户12观看显示在预定位置处的虚拟对象时预定位置与AR终端10之间的位置关系。因此，换言之，与预定位置具有特定位置关系的AR终端10的操作状态是在用户12观看显示在预定位置处的虚拟对象时AR终端10的操作状态。
例如，服务器20获取基于首先观看显示在预定位置处的虚拟对象的用户12a的AR终端10a的操作状态而获取的位置确定关键帧，作为参考关键帧(在下文中，也被称为“关键帧X”)。当用户12b在与用户12a的时间不同的时间看到显示在预定位置处的虚拟对象时，服务器20获取基于用户12b的AR终端10b的操作状态而获取的更新目的地候选关键帧。随后，服务器20计算关键帧X与AR终端10b的更新目的地候选关键帧之间的相似度，然后执行关键帧更新判定处理。
通过这样的配置，即使当多个用户观看相同虚拟对象的时间点不同时，也可以减小多个显示终端显示相同虚拟对象时的显示位置的差异。
这里，将参照图13描述第二修改例中的关键帧更新判定处理的流程。注意，将首先观看预定位置的用户12a的AR终端10a的位置确定关键帧定义为关键帧X。另外，假设当用户12b在比用户12a的观看时间晚的时间观看预定位置时执行关键帧更新判定处理。
如图13所示，服务器20首先计算指示AR终端10b的位置确定关键帧与关键帧X之间的相似度的得分(S602)。在计算得分之后，服务器20确认得分是否为第一阈值或更大(S604)。
当得分不为第一阈值或更大时(S604/“否”)，服务器20判定更新位置确定关键帧(S614)，并且结束关键帧更新判定处理。
当得分为第一阈值或更大时(S604/“是”)，服务器20确认得分是否为最大值或更大(S606)。当得分为最大值或更大时(S606/“是”)，服务器20更新得分的最大值(S608)。在更新最大值之后，服务器20判定更新位置确定关键帧(S614)，并且结束关键帧更新判定处理。
当得分不为最大值或更大时(S606/“否”)，服务器20确认在位置确定关键帧的上次更新之后AR终端10a或AR终端10b的移动距离是否为第二阈值或更大(S610)。
当移动距离为第二阈值或更大时(S610/“是”)，服务器20将得分的最大值更新为0(S612)。在更新最大值之后，服务器20判定更新位置确定关键帧(S614)，并且结束关键帧更新判定处理。
当移动距离不为第二阈值或更大时(S610/“否”)，服务器20判定不更新位置确定关键帧(S616)，并且结束关键帧更新判定处理。
<<2.第二实施方式>>
上面已经描述了第一实施方式。将描述本公开内容的第二实施方式。虽然上述实施方式是关键帧更新判定处理由服务器20执行的示例，但是关键帧更新处理可以由AR终端10执行。
根据第二实施方式的AR终端10除了第一实施方式中描述的AR终端10的功能之外，还包括与第一实施方式中描述的服务器20的控制单元220相同的功能。通过这样的配置，根据第二实施方式的AR终端10可以独立于服务器20执行关键帧更新判定处理。
注意，在存在能够执行关键帧更新判定处理的多个AR终端10的情况下，可以根据各个AR终端10的处理能力来确定执行关键帧更新判定处理的AR终端。例如，将具有最高处理能力的AR终端确定为执行关键帧更新判定处理的终端。
<<3.硬件配置示例>>
最后，将参照图14描述根据本实施方式的信息处理装置的硬件配置示例。图14是示出根据本实施方式的信息处理装置的硬件配置示例的框图。注意，图14中示出的信息处理装置900例如可以实现图3中示出的服务器20。根据本实施方式的服务器20的处理通过以下描述的软件和硬件的协作操作来实现。
如图14所示，信息处理装置900包括中央处理单元(CPU)901、只读存储器(ROM)902和随机存取存储器(RAM)903。此外，信息处理装置900还包括主机总线904、桥接器905、外部总线906、接口907、输入装置908、输出装置909、存储装置910、驱动器911、连接端口912和通信装置913。注意，这里示出的硬件配置是示例，并且可以省略部件中的一些。另外，硬件配置还可以包括除了这里示出的部件之外的部件。
CPU 901用作例如算术处理装置或控制装置，并且基于记录在ROM902、RAM 903或存储装置910中的各种程序来控制部件中的每个的操作的全部或部分。ROM 902是存储由CPU 901加载的程序、用于计算的数据等的装置。RAM 903临时或永久地存储例如由CPU 901加载的程序、在程序执行时适当改变的各种参数等。这些通过包括CPU总线等的主机总线904互连。CPU 901、ROM 902和RAM 903可以例如与软件协作地实现参照图3描述的控制单元220的功能。
CPU 901、ROM 902和RAM 903例如经由能够进行高速数据传输的主机总线904互连。另一方面，主机总线904例如经由桥接器905连接至具有相对低的数据传输速度的外部总线906。此外，外部总线906经由接口907连接至各种部件。
输入装置908由用户向其输入信息的装置例如鼠标、键盘、触摸面板、按钮、麦克风、开关和控制杆来实现。此外，输入装置908例如可以是使用红外线或其他无线电波的远程控制装置，或者可以是诸如支持信息处理装置900的操作的移动电话或PDA的外部连接装置。此外，输入装置908可以包括例如基于由用户使用上面的输入装置输入的信息来生成输入信号并且将输入信号输出至CPU 901的输入控制电路。通过操作输入装置908，信息处理装置900的用户可以将各种数据输入至信息处理装置900或给出关于处理操作的指令。
另外，输入装置908可以由检测关于用户的信息的装置形成。例如，输入装置908可以包括各种传感器，例如，图像传感器(例如，相机)、深度传感器(例如，立体相机)、加速度传感器、陀螺仪传感器、地磁传感器、光学传感器、声音传感器、距离测量传感器(例如，飞行时间(ToF)传感器)和力传感器。此外，传感器908可以获取关于信息处理装置900的自身状态的信息，例如信息处理装置900的姿势和移动速度，以及关于信息处理装置900的周围环境的信息，例如信息处理装置900周围的亮度和噪声。此外，输入装置908可以包括全球导航卫星系统(GNSS)模块，其接收来自GNSS卫星的GNSS信号(例如，来自全球定位系统(GPS)卫星的GPS信号)，并且测量包括装置的纬度、经度和高度的位置信息。此外，关于位置信息，输入装置908可以通过Wi-Fi(注册商标)、使用移动电话、PHS、智能电话等的传输和接收、近场通信等来检测位置。
输出装置909由能够可视地或可听地向用户通知获取的信息的装置形成。这样的装置的示例包括显示装置(例如，CRT显示装置、液晶显示装置、等离子体显示装置、EL显示装置、激光投影仪、LED投影仪和灯)、语音输出装置(例如，扬声器和头戴式耳机)和打印机装置。输出装置909例如输出通过由信息处理装置900执行的各种处理获得的结果。具体地，显示装置以诸如文本、图像、表和曲线图的各种格式显示通过由信息处理装置900执行的各种处理获得的结果。音频输出装置将包括再现的音频数据、声学数据等的音频信号转换成模拟信号，并且可听地输出该信号。
存储装置910是形成为信息处理装置900的存储单元的示例的数据存储装置。存储装置910例如由磁存储装置(例如，HDD)、半导体存储装置、光存储装置、磁光存储装置等来实现。存储装置910可以包括存储介质、在存储介质上记录数据的记录装置、从存储介质读取数据的读取装置、删除记录在存储介质上的数据的删除装置等。该存储装置910存储由CPU 901执行的程序、各种数据以及从外部获取的各种数据等。存储装置910例如可以实现参照图3描述的存储单元230的功能。
驱动器911是用于存储介质的读取器/写入器，并且被内置在信息处理装置900中或者外部连接至信息处理装置900。驱动器911读取记录在可移除存储介质(例如，已安装的磁盘、光盘、磁光盘或半导体存储器)上的信息，并且将读取的信息输出至RAM 903。驱动器911还可以将信息写入可移除存储介质。
连接端口912例如是用于连接外部连接装置例如通用串行总线(USB)端口、IEEE1394端口、小型计算机系统接口(SCSI)、RS-232C端口或光学音频终端的端口。
通信装置913例如是由用于连接至网络920的通信装置等形成的通信接口。通信装置913例如是用于有线或无线局域网(LAN)、长期演进(LTE)、蓝牙(注册商标)、无线USB(WUSB)等的通信卡。此外，通信装置913可以是用于光通信的路由器、非对称数字用户线(ADSL)路由器、用于各种通信的调制解调器等。通信装置913可以根据诸如TCP/IP的预定协议向因特网和其他通信装置发送信号等以及从因特网和其他通信装置接收信号等。输入装置913例如可以实现参照图3描述的通信单元210的功能。
网络920是用于从连接至网络920的装置发送的信息的有线或无线传输路径。例如，网络920可以包括：诸如因特网、电话网络和卫星通信网络的公共网络，包括以太网(注册商标)的各种局域网(LAN)，广域网(WAN)等。此外，网络920可以包括专用网络，例如，因特网协议虚拟专用网络(IP-VPN)。
上面已经描述了能够实现根据本实施方式的信息处理装置900的功能的硬件配置的示例。上述部件中的每个可以通过使用通用构件来实现，或者可以通过专用于各个部件的功能的硬件装置来实现。因此，可以根据在执行本实施方式时的技术水平适当地改变要使用的硬件配置。
<<4.补充>>
上面已经参照附图详细描述了本公开内容的优选实施方式。然而，本公开内容的技术范围不限于这样的示例。对于本公开内容的领域的技术人员将明显的是，可以在权利要求中描述的技术思想的范围内构思出各种修改和变更，并且这样的修改和变更自然地落入本公开内容的技术范围内。
此外，可以通过使用软件、硬件或软件和硬件的组合中的任何来实现要由本说明书中描述的各个装置执行的一系列处理。将构成软件的程序预先存储在例如被设置在装置中的每一个内部或外部的记录介质(非暂态介质)中。然后，程序中的每一个在由计算机执行时被读入RAM中并且由处理器例如CPU来执行。
此外，使用本说明书中的流程图和序列图描述的处理不必一定以示出的顺序执行。可以并行执行一些处理步骤。另外，可以采用附加的处理步骤，并且可以省略一些处理步骤。
此外，本说明书中描述的效果仅是说明性或示例性的，并且不受限制。即，除了以上效果之外或者代替以上效果，根据本公开内容的技术可以表现出根据本说明书中的描述对本领域技术人员明显的其他效果。
注意，以下配置也属于本公开内容的技术范围。
(1)
一种信息处理装置，包括
控制单元，其控制通过使用与真实空间相关联的坐标系在所述真实空间中布置虚拟对象的显示终端，
其中，所述控制单元基于第一显示终端的第一操作状态和与所述第一显示终端共享所述虚拟对象的第二显示终端的第二操作状态，确定是否更新用于确定所述虚拟对象的位置的所述第一显示终端的第一空间信息和所述第二显示终端的第二空间信息。
(2)
根据(1)所述的信息处理装置，其中，所述控制单元基于所述第一操作状态与所述第二操作状态是否相似来确定是否更新所述第一空间信息和所述第二空间信息。
(3)
根据(2)所述的信息处理装置，
其中，当所述第一操作状态与所述第二操作状态相似时，所述控制单元确定不更新所述第一空间信息和所述第二空间信息，并且当所述第一操作状态与所述第二操作状态不相似时，所述控制单元确定更新所述第一空间信息和所述第二空间信息。
(4)
根据(2)或(3)所述的信息处理装置，其中，所述控制单元计算所述第一操作状态与所述第二操作状态之间的相似度，并且基于所述相似度与第一阈值比较的结果来判定所述第一操作状态与所述第二操作状态是否相似。
(5)
根据(4)所述的信息处理装置，其中，所述控制单元基于作为在所述第一操作状态下由所述第一显示终端获取的更新目的地候选的第三空间信息和作为在所述第二操作状态下由所述第二显示终端获取的更新目的地候选的第四空间信息来计算所述相似度。
(6)
根据(5)所述的信息处理装置，其中，所述控制单元执行所述第三空间信息中包括的特征点与所述第四空间信息中包括的特征点之间的匹配处理，并且基于匹配成功的特征点的数目来计算所述相似度。
(7)
根据(4)所述的信息处理装置，其中，所述控制单元根据所述第一显示终端与所述第二显示终端之间的位置关系来改变所述第一阈值。
(8)
根据(4)至(7)中任一项所述的信息处理装置，
其中，所述控制单元还基于所述相似度是否超过第三阈值来确定是否更新所述第一空间信息和所述第二空间信息，并且
所述第三阈值是在满足预定条件的时间段内计算的相似度的最大值。
(9)
根据(8)所述的信息处理装置，
其中，当所述相似度超过所述第三阈值时，所述控制单元确定更新所述第一空间信息和所述第二空间信息，并且
当所述相似度不超过所述第三阈值时，所述控制单元确定不更新所述第一空间信息和所述第二空间信息。
(10)
根据(2)至(9)中任一项所述的信息处理装置，其中，所述控制单元还根据在所述第一空间信息和所述第二空间信息的上次更新之后所述第一显示终端的移动距离或所述第二显示终端的移动距离来确定是否更新所述第一空间信息和所述第二空间信息。
(11)
根据(10)所述的信息处理装置，
其中，当所述移动距离为第二阈值或更大时，所述控制单元确定更新所述第一空间信息和所述第二空间信息，并且
当所述移动距离不为所述第二阈值或更大时，所述控制单元确定不更新所述第一空间信息和所述第二空间信息。
(12)
根据(4)所述的信息处理装置，其中，所述控制单元计算与预定位置具有特定位置关系的所述第一操作状态和与不同于所述第一操作状态的时间序列中的所述预定位置具有特定关系的所述第二操作状态之间的相似度。
(13)
一种信息处理装置，包括：
输出单元，其包括向第一用户呈现虚拟对象的第一输出装置；以及
控制单元，其确定要布置在与真实空间相关联的坐标系中的所述虚拟对象的位置，
其中，所述控制单元基于所述第一输出装置的第一操作状态和第二输出装置的第二操作状态来确定是否更新用于确定所述虚拟对象的位置的所述第一输出装置的第一空间信息和所述第二输出装置的第二空间信息，所述第二输出装置被设置在外部，并且与所述第一输出装置共享所述虚拟对象。
(14)
一种要由处理器执行的信息处理方法，所述方法包括：
控制通过使用与真实空间相关联的坐标系在所述真实空间中布置虚拟对象的显示终端；以及
基于第一显示终端的第一操作状态和与所述第一显示终端共享所述虚拟对象的第二显示终端的第二操作状态，确定是否更新用于确定所述虚拟对象的位置的所述第一显示终端的第一空间信息和所述第二显示终端的第二空间信息。
(15)
一种记录介质，其记录有使计算机执行处理的程序，所述处理包括：
控制通过使用与真实空间相关联的坐标系在所述真实空间中布置虚拟对象的显示终端；以及
基于第一显示终端的第一操作状态和与所述第一显示终端共享所述虚拟对象的第二显示终端的第二操作状态，确定是否更新用于确定所述虚拟对象的位置的所述第一显示终端的第一空间信息和所述第二显示终端的第二空间信息。
附图标记列表
10AR终端
12用户
20服务器
30网络
120通信单元
130传感器单元
140控制单元
150存储单元
160输出单元
210通信单元
220控制单元
230存储单元
1000信息处理系统
1402周边状况信息获取单元
1404周边状况信息管理单元
1406空间信息获取单元
1408空间信息管理单元
1410图像输出控制单元
1412输出图像生成单元

Claims (15)

1.一种信息处理装置，包括
控制单元，其控制通过使用与真实空间相关联的坐标系在所述真实空间中布置虚拟对象的显示终端，
其中，所述控制单元基于第一显示终端的第一操作状态和与所述第一显示终端共享所述虚拟对象的第二显示终端的第二操作状态，确定是否更新用于确定所述虚拟对象的位置的所述第一显示终端的第一空间信息和所述第二显示终端的第二空间信息。
2.根据权利要求1所述的信息处理装置，其中，所述控制单元基于所述第一操作状态与所述第二操作状态是否相似来确定是否更新所述第一空间信息和所述第二空间信息。
3.根据权利要求2所述的信息处理装置，
其中，当所述第一操作状态与所述第二操作状态相似时，所述控制单元确定不更新所述第一空间信息和所述第二空间信息，并且
当所述第一操作状态与所述第二操作状态不相似时，所述控制单元确定更新所述第一空间信息和所述第二空间信息。
4.根据权利要求2所述的信息处理装置，其中，所述控制单元计算所述第一操作状态与所述第二操作状态之间的相似度，并且基于所述相似度与第一阈值比较的结果来判定所述第一操作状态与所述第二操作状态是否相似。
5.根据权利要求4所述的信息处理装置，其中，所述控制单元基于作为在所述第一操作状态下由所述第一显示终端获取的更新目的地候选的第三空间信息和作为在所述第二操作状态下由所述第二显示终端获取的更新目的地候选的第四空间信息来计算所述相似度。
6.根据权利要求5所述的信息处理装置，其中，所述控制单元执行所述第三空间信息中包括的特征点与所述第四空间信息中包括的特征点之间的匹配处理，并且基于匹配成功的特征点的数目来计算所述相似度。
7.根据权利要求4所述的信息处理装置，其中，所述控制单元根据所述第一显示终端与所述第二显示终端之间的位置关系来改变所述第一阈值。
8.根据权利要求4所述的信息处理装置，
其中，所述控制单元还基于所述相似度是否超过第三阈值来确定是否更新所述第一空间信息和所述第二空间信息，并且
所述第三阈值是在满足预定条件的时间段内计算的相似度的最大值。
9.根据权利要求8所述的信息处理装置，
其中，当所述相似度超过所述第三阈值时，所述控制单元确定更新所述第一空间信息和所述第二空间信息，并且
当所述相似度不超过所述第三阈值时，所述控制单元确定不更新所述第一空间信息和所述第二空间信息。
10.根据权利要求2所述的信息处理装置，其中，所述控制单元还根据在所述第一空间信息和所述第二空间信息的上次更新之后所述第一显示终端的移动距离或所述第二显示终端的移动距离来确定是否更新所述第一空间信息和所述第二空间信息。
11.根据权利要求10所述的信息处理装置，
其中，当所述移动距离为第二阈值或更大时，所述控制单元确定更新所述第一空间信息和所述第二空间信息，并且
当所述移动距离不为所述第二阈值或更大时，所述控制单元确定不更新所述第一空间信息和所述第二空间信息。
12.根据权利要求4所述的信息处理装置，其中，所述控制单元计算与预定位置具有特定位置关系的所述第一操作状态和与不同于所述第一操作状态的时间序列中的所述预定位置具有特定关系的所述第二操作状态之间的相似度。
13.一种信息处理装置，包括：
输出单元，其包括向第一用户呈现虚拟对象的第一输出装置；以及
控制单元，其确定要布置在与真实空间相关联的坐标系中的所述虚拟对象的位置，
其中，所述控制单元基于所述第一输出装置的第一操作状态和第二输出装置的第二操作状态来确定是否更新用于确定所述虚拟对象的位置的所述第一输出装置的第一空间信息和所述第二输出装置的第二空间信息，所述第二输出装置被设置在外部，并且与所述第一输出装置共享所述虚拟对象。
14.一种要由处理器执行的信息处理方法，所述方法包括：
控制通过使用与真实空间相关联的坐标系在所述真实空间中布置虚拟对象的显示终端；以及
基于第一显示终端的第一操作状态和与所述第一显示终端共享所述虚拟对象的第二显示终端的第二操作状态，确定是否更新用于确定所述虚拟对象的位置的所述第一显示终端的第一空间信息和所述第二显示终端的第二空间信息。
15.一种记录介质，其记录有使计算机执行处理的程序，所述处理包括：
控制通过使用与真实空间相关联的坐标系在所述真实空间中布置虚拟对象的显示终端；以及
基于第一显示终端的第一操作状态和与所述第一显示终端共享所述虚拟对象的第二显示终端的第二操作状态，确定是否更新用于确定所述虚拟对象的位置的所述第一显示终端的第一空间信息和所述第二显示终端的第二空间信息。
CN202080026525.6A 2019-04-11 2020-04-03 信息处理装置、信息处理方法和记录介质 Pending CN113678171A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-075688 2019-04-11
JP2019075688A JP2020173656A (ja) 2019-04-11 2019-04-11 情報処理装置、情報処理方法、及び記録媒体
PCT/JP2020/015326 WO2020209199A1 (ja) 2019-04-11 2020-04-03 情報処理装置、情報処理方法、及び記録媒体

Publications (1)

Publication Number Publication Date
CN113678171A true CN113678171A (zh) 2021-11-19

Family

ID=72751572

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080026525.6A Pending CN113678171A (zh) 2019-04-11 2020-04-03 信息处理装置、信息处理方法和记录介质

Country Status (5)

Country Link
US (1) US20220164981A1 (zh)
JP (1) JP2020173656A (zh)
CN (1) CN113678171A (zh)
DE (1) DE112020001867T5 (zh)
WO (1) WO2020209199A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140067869A1 (en) * 2012-08-30 2014-03-06 Atheer, Inc. Method and apparatus for content association and history tracking in virtual and augmented reality
US20220172386A1 (en) * 2020-11-27 2022-06-02 Samsung Electronics Co., Ltd. Method and device for simultaneous localization and mapping (slam)
US11831973B2 (en) * 2021-08-05 2023-11-28 Qualcomm Incorporated Camera setting adjustment based on event mapping

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5158007B2 (ja) * 2009-04-28 2013-03-06 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
JP5499762B2 (ja) * 2010-02-24 2014-05-21 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び画像処理システム
US20140323148A1 (en) 2013-04-30 2014-10-30 Qualcomm Incorporated Wide area localization from slam maps
JP2015192436A (ja) * 2014-03-28 2015-11-02 キヤノン株式会社 送信端末、受信端末、送受信システム、およびそのプログラム
US20170169617A1 (en) * 2015-12-14 2017-06-15 II Jonathan M. Rodriguez Systems and Methods for Creating and Sharing a 3-Dimensional Augmented Reality Space
US10812936B2 (en) * 2017-01-23 2020-10-20 Magic Leap, Inc. Localization determination for mixed reality systems
US10311630B2 (en) * 2017-05-31 2019-06-04 Verizon Patent And Licensing Inc. Methods and systems for rendering frames of a virtual scene from different vantage points based on a virtual entity description frame of the virtual scene
US10347037B2 (en) * 2017-05-31 2019-07-09 Verizon Patent And Licensing Inc. Methods and systems for generating and providing virtual reality data that accounts for level of detail
US10297087B2 (en) * 2017-05-31 2019-05-21 Verizon Patent And Licensing Inc. Methods and systems for generating a merged reality scene based on a virtual object and on a real-world object represented from different vantage points in different video data streams
US11036351B2 (en) * 2017-08-04 2021-06-15 Sony Corporation Information processing device and information processing method

Also Published As

Publication number Publication date
US20220164981A1 (en) 2022-05-26
JP2020173656A (ja) 2020-10-22
WO2020209199A1 (ja) 2020-10-15
DE112020001867T5 (de) 2022-01-20

Similar Documents

Publication Publication Date Title
US11189037B2 (en) Repositioning method and apparatus in camera pose tracking process, device, and storage medium
CN110463165B (zh) 信息处理装置、信息处理方法和记录介质
EP2774022B1 (en) Amplifying audio-visual data based on user&#39;s head orientation
EP3926441A1 (en) Output of virtual content
US10139623B2 (en) Virtual object orientation and visualization
KR20210154814A (ko) 패스 쓰루 이미징을 갖는 헤드 마운트 디스플레이
US11450020B2 (en) Information processing apparatus, method for processing information, and computer program
CN113678171A (zh) 信息处理装置、信息处理方法和记录介质
WO2017126172A1 (ja) 情報処理装置、情報処理方法、及び記録媒体
US11989400B2 (en) Data sharing method and device
JP2021520540A (ja) カメラの位置決め方法および装置、端末並びにコンピュータプログラム
US20230152084A1 (en) Height Measurement Method and Apparatus, and Terminal
CN112788443B (zh) 基于光通信装置的交互方法和系统
US20240094822A1 (en) Ar glasses as iot remote control
US11238658B2 (en) AR space image projecting system, AR space image projecting method, and user terminal
US20230120092A1 (en) Information processing device and information processing method
EP4244703A1 (en) Identifying a position of a controllable device using a wearable device
JP7400810B2 (ja) 情報処理装置、情報処理方法、及び記録媒体
US20240073520A1 (en) Dual camera tracking system
US20220254111A1 (en) Information processing device, information processing method, and recording medium
WO2024116270A1 (ja) 携帯情報端末及び仮想現実表示システム
CN118235162A (zh) 信息处理装置、信息处理方法和程序
CN116266382A (zh) 一种slam前端跟踪失败重定位方法及装置
CN114651282A (zh) 信息处理设备、信息处理方法和程序
TWM601357U (zh) 基於光標籤的自動追蹤拍攝系統

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination