CN114245755A - 信息处理装置、信息处理方法和记录介质 - Google Patents

信息处理装置、信息处理方法和记录介质 Download PDF

Info

Publication number
CN114245755A
CN114245755A CN202080056782.4A CN202080056782A CN114245755A CN 114245755 A CN114245755 A CN 114245755A CN 202080056782 A CN202080056782 A CN 202080056782A CN 114245755 A CN114245755 A CN 114245755A
Authority
CN
China
Prior art keywords
mobile terminal
virtual object
information processing
action
location
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080056782.4A
Other languages
English (en)
Inventor
深泽辽
青木秀宪
荒井富士夫
井上正行
后藤智彦
筒井新太郎
永野京二郎
藤泽春香
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN114245755A publication Critical patent/CN114245755A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/358—Adapting the game course according to the network or server load, e.g. for reducing latency due to different connection speeds between clients
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/847—Cooperative playing, e.g. requiring coordinated actions from several players to achieve a common goal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6009—Methods for processing data by generating or executing the game program for importing or creating game content, e.g. authoring tools during game development, adapting content to different platforms, use of a scripting language to create content
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

信息处理装置(200)包括：控制装置(220)，该控制装置确定第一终端(100a)是否处于真实空间中的第一位置，基于第一终端(100a)处于第一位置的确定，控制第一终端(100a)开始根据第一位置将虚拟对象叠加在真实空间上，确定不同于第一终端(100a)的第二终端(100b)是否处于第一位置，并且基于第二终端(100b)处于第一位置的确定，控制第二终端(100b)开始将虚拟对象叠加在真实空间上。控制装置(220)关于虚拟对象的显示开始时间和显示开始位置中的至少一者，不同地执行下述操作：使第一终端(100a)开始虚拟对象的第一动作和使第二终端(100b)开始虚拟对象的第二动作，并且使第一动作的结束和第二动作的结束同步。

Description

信息处理装置、信息处理方法和记录介质
技术领域
本公开内容涉及信息处理装置、信息处理方法和记录介质。
背景技术
在视频游戏等多人游戏中，从任何用户的角度来看，角色以几乎相同的状态转换移动。此外，这样的视频游戏等采用用于改变剪辑以便切换到电影场景以显示某个特定场景的方法。视频游戏等还采用用于强制禁止用户输入角色控制并自动将渲染摄像机或角色移动到用户想要看到的地方的方法。
此外，作为用于控制角色移动的技术，例如，用于在通过网络进行对话的情况下控制显示在另一方侧的角色的移动的技术是已知的。
引用列表
专利文献
专利文献1：JP 2012-181704 A
发明内容
技术问题
然而，在使用增强现实(AR)技术的多人游戏中，每个用户难以以相同的方式体验特定的场景。例如，在这样的使用AR技术的多人游戏中，针对佩戴头戴式显示器(HMD)等的用户，作为虚拟对象的角色被叠加并显示在真实空间中。在这种情况下，根据用户的位置和定向来控制角色等针对用户的渲染范围，使得难以采用用于强制控制渲染摄像机的方法。此外，由于对HMD视角的限制和用户之间移动方式的差异而难以始终在视角内捕获角色等。
出于该原因，当针对佩戴HMD等的用户使用AR技术等显示角色时，难以以相同的方式向每个用户提供多人游戏的进行所需的特定场景，例如动画。
因此，本公开内容提出了一种信息处理装置、信息处理方法和记录介质，所述信息处理装置、信息处理方法和记录介质使得每个用户即使利用具有有限视角的显示装置也能够以相同的方式体验特定场景。
问题的解决方案
根据本公开内容，一种信息处理装置，包括控制装置，该控制装置被配置成：确定第一移动终端是否处于真实空间中的第一位置，以及基于第一移动终端处于第一位置的确定，控制第一移动终端以开始响应第一位置将虚拟对象叠加在真实空间上，以及确定不同于第一移动终端的第二移动终端是否处于第一位置，以及基于第二移动终端处于第一位置的确定，控制第二移动终端以开始将虚拟对象叠加在真实空间上，其中，控制装置至少根据虚拟对象的显示开始时间或者虚拟对象的显示开始位置而不同地执行下述操作：使第一移动终端开始虚拟对象的第一动作并且使第二移动终端开始虚拟对象的第二动作，以及使第一动作和第二动作同步结束。
附图说明
图1是示出根据第一实施方式的信息处理的示例的图。
图2是示出根据第一实施方式的信息处理系统的示例的图。
图3是示出根据第一实施方式的信息处理系统的示例的图。
图4是示出根据第一实施方式的移动终端的结构的示例的图。
图5是示出如何佩戴根据第一实施方式的移动终端的示例的图。
图6是示出根据第一实施方式的信息处理装置的结构的示例的图。
图7是示出根据第一实施方式的处理流程的序列图。
图8是示出根据第二实施方式的信息处理的示例的图。
图9是示出根据第三实施方式的信息处理的示例的图。
图10是示出实现信息处理装置的功能的计算机的示例的硬件结构图。
具体实施方式
在下文中，将参照附图详细描述本公开内容的实施方式。注意，在以下实施方式中的每一个中，相同的部件由相同的附图标记表示，以避免描述冗余。
将根据以下各项的顺序来描述本公开内容。
1.第一实施方式
1-1.根据第一实施方式的信息处理的示例
1-2.根据第一实施方式的系统的结构
1-3.根据第一实施方式的移动终端的结构
1-4.根据第一实施方式的信息处理装置的结构
1-5.根据第一实施方式的信息处理流程
1-6.效果
2.第二实施方式
2-1.根据第二实施方式的出现范围的示例
3.第三实施方式
3-1.根据第三实施方式的出现范围的示例
4.实施方式的修改
5.硬件结构
6.效果
(1.第一实施方式)
[1-1.根据第一实施方式的信息处理的示例]
图1是示出根据第一实施方式的信息处理的示例的图。根据第一实施方式的信息处理由图1所示的移动终端100a、100b和信息处理装置200执行。
移动终端100a、100b是被配置成提供所谓的AR技术等的信息处理终端。根据第一实施方式，移动终端100a、100b是通过分别佩戴在用户U1、U2的头上来使用的可佩戴显示器。更具体地，移动终端100a、100b可以各自被称为HMD、AR眼镜等。此外，在以下描述中，用户U1的移动终端100a与第一移动终端相对应，并且用户U2的移动终端100b与第二移动终端相对应。注意，当用户U1、U2的移动终端100a、100b未被区分时，移动终端100a、100b各自被简称为移动终端100。
移动终端100包括作为透射显示器的显示器101。例如，移动终端100将由计算机图形(CG)等表示的虚拟对象叠加在真实空间上，并且在显示器101上显示叠加在真实空间上的虚拟对象。注意，在以下描述中，叠加在真实空间上的虚拟对象也被称为AR对象。此外，AR对象的示例包括多人游戏的角色。在图1所示的示例中，用户U1佩戴的移动终端100a显示AR对象V1。此外，用户U2佩戴的移动终端100b显示AR对象V2。在设置在例如真实空间中的门附近的出现范围E1内以叠加的方式显示AR对象V1、V2。移动终端100可以具有除了显示器101之外的用于输出预定输出信号的另一元件。例如，移动终端100可以包括用于输出声音的扬声器102等。
信息处理装置200从移动终端100a、100b获取位置信息，并且做出关于AR对象V1、V2的显示的确定。信息处理装置200基于确定的结果向移动终端100a、100b中的每一个发送显示开始触发。
基于来自稍后描述的传感器110的检测结果，将AR对象V1、V2设置在与真实空间相关联的全局坐标系中。此时，根据用户U1的位置、定向和视角A1，将AR对象V1设置在出现范围E1内的位置。此外，根据用户U2的位置、定向和视角A2，将AR对象V2设置在出现范围E1内的位置。在图1所示的示例中，AR对象V1、V2被设置在出现范围E1内具有不同高度的位置。注意，视角A1、A2例如是水平方向上40度和竖直方向上20度。
AR对象V1、V2从出现范围E1内的位置沿着移动路径R1、R2移动到例如真实空间中的道路中心，并且成为AR对象V3。信息处理装置200基于AR对象V3来指示移动终端100a、100b开始特定场景。移动终端100a、100b向用户U1、U2提供基于AR对象V3的特定场景。
然而，移动终端100a、100b在位置、定向和视角上彼此不同。这使得直到AR对象V1成为AR对象V3的移动路径R1和移动时间与直到AR对象V2成为AR对象V3的移动路径R2和移动时间不同。因此，在移动终端100a、100b上异步显示AR对象V3，这使得难以以相同的方式向用户U1、U2提供基于AR对象V3的特定场景。
根据本公开内容的移动终端100和信息处理装置200执行将在下面描述的信息处理，以便使得每个用户即使利用具有有限视角的显示装置也能够以相同的方式体验特定场景。具体地，每个移动终端100向信息处理装置200发送其自己的位置信息。基于由稍后描述的传感器110获取的各种传感器信息、根据地图匹配等来计算位置信息。例如，基于由移动终端100使用立体摄像机捕获的图像来执行地图匹配，并且通过使用陀螺仪传感器等来确定移动终端100的位置，以计算位置信息。
信息处理装置200基于如此接收的关于移动终端100a、100b中的每一个的位置信息来确定是否显示AR对象V1、V2。例如，当用户U1、U2接近距设置了出现范围E1的特定门一定距离(第一位置)时，信息处理装置200确定显示AR对象V1、V2。当确定显示AR对象V1、V2时，信息处理装置200向移动终端100a、100b发送显示开始触发。显示开始触发包括例如要显示的AR对象的类型(角色的类型)、出现位置和目的地位置(第二位置)。目的地位置例如是上述AR对象V3的位置。此外，显示开始触发可以包括到达目的地位置的时间。
用于关于是否显示AR对象V1、V2的确定的条件的示例除了上述基于用户位置的确定之外还包括特定地点落入用户视角内的条件，以及由于多人游戏场景的进行而到达特定时间的条件。特定时间的示例包括在多人游戏中击败特定敌人的时间、完成任务的时间等。
移动终端100a、100b在从信息处理装置200接收到显示开始触发时基于显示开始触发分别确定AR对象V1、V2的类型和显示位置。首先，针对AR对象V1、V2的显示位置，在玩游戏的环境(区域)中预设位置可调范围。位置可调范围被设置为面或空间。使用例如形状(面/球体/立方体等)、位置(x，y，z)和大小(x，y，z)进行设置。本文中，设置图1所示的出现范围E1。
移动终端100a、100b基于显示开始触发来确定用户的位置、定向和视角是否与作为设置的位置可调范围的出现范围E1相碰撞。移动终端100a、100b计算在出现范围E1内与用户U1、U2的相应视角A1、A2相交的位置。移动终端100a、100b将如此计算的相应位置确定为AR对象V1、V2的显示位置。移动终端100a、100b分别在如此确定的显示位置显示AR对象V1、V2。此时，AR对象V1、V2在显示时间上可能彼此不同。
当在出现范围E1内没有与用户U1、U2的视角A1、A2相交的位置时，移动终端100a、100b可以重复计算相交位置达预定时间段，例如大约几秒钟。在这种情况下，当用户在预定时间段内将他/她的脸转向出现范围E1时，可以确定AR对象的显示位置。另一方面，当在预定时间段内没有找到相交位置时，可以终止碰撞确定，并且可以在默认位置显示AR对象。注意，默认位置可以是例如出现范围E1的中心。
移动终端100a、100b在出现范围E1内显示AR对象V1、V2之后将如此显示的AR对象V1、V2分别移动到目的地位置。例如，移动终端100a通过移动路径R1将AR对象V1移动到AR对象V3的位置。类似地，例如，移动终端100b通过移动路径R2将AR对象V2移动到AR对象V3的位置。
此时，移动终端100a、100b各自基于包括在显示开始触发中的到达目的地位置的时间来调整AR对象V1、V2中的相应一个的移动速度和路径，并且移动AR对象V1、V2。注意，当显示开始触发不包括到达目的地位置的时间时，移动终端100a、100b各自使用默认速度或路径来移动AR对象V1、V2中的相应一个。此外，移动终端100a、100b可以在异步移动AR对象V1、V2——即异步开始动画(动态图像)——时调整动画的再现速度和重复次数，以使动画进入同步状态。此外，根据到达目的地位置的时间长度，要再现的动画可以被改变为例如对于用户U1为5秒以及对于用户U2为10秒。移动终端100a、100b在将AR对象V1、V2中的相应一个移动到AR对象V3的位置时各自向信息处理装置200发送关于移动完成的通知。
信息处理装置200在从移动终端100a、100b接收到关于移动完成的通知时向移动终端100a、100b发送关于AR对象的状态转换的通知。移动终端100a、100b基于如此接收的关于状态转换的通知开始对AR对象V3的同步处理。
如上所述，信息处理装置200基于关于移动终端100a、100b的位置信息，使已经首先在根据用户U1、U2的注视点略有不同的位置显示的AR对象在目的地位置显示。这使得每个用户即使利用具有有限视角的显示装置也能够以相同的方式体验特定场景。也就是说，每个用户都可以在尽可能不错过必要的场景的情况下使用AR技术体验多人应用。
[1-2.根据第一实施方式的系统的结构]
图2和图3是示出根据第一实施方式的信息处理系统的示例的图。如图2所示，信息处理系统1包括多个移动终端100a至100c和信息处理装置200。移动终端100a至100c和信息处理装置200通过例如相同的网络连接。移动终端100a至100c是由用户U1至U3佩戴的并且用户U1至U3利用其玩多人游戏等的信息处理装置。信息处理装置200是负责控制多人游戏的进行并且根据场景的进行或应用状态向移动终端100a至100c发送命令或数据的信息处理装置。注意，与图3所示的信息处理系统2一样，用户U4的移动终端300可以同时用作信息处理装置200。在这种情况下，用户U1至U4是多人游戏等的玩家。
[1-3.根据第一实施方式的移动终端的结构]
图4是示出根据第一实施方式的移动终端的结构的示例的图。如图4所示，移动终端100包括显示器101、扬声器102、通信部分103、操作输入部分104、传感器110、存储器120和控制器130。
显示器101例如是双目光学透视HMD，并且位于佩戴移动终端100的用户的视场上，以将AR对象叠加在真实空间上，并且显示叠加在真实空间上的AR对象。注意，可以使用各种HMD例如单目光学透视HMD、视频透视HMD、视网膜投影HMD和沉浸式HMD作为显示器101。
下面将参照图5给出如何佩戴移动终端100的示例的描述。图5是示出如何佩戴根据第一实施方式的移动终端的示例的图。如图5所示，当用户像戴眼镜一样佩戴移动终端100时，显示器101位于用户眼睛的前方。显示器101包括右眼显示器101a和左眼显示器101b，并且右眼显示器101a和左眼显示器101b各自显示相应的图像。此外，扬声器102可以是佩戴在用户耳朵上的耳机。
返回参照图4的描述。例如可以使用双听式耳机作为扬声器102。扬声器102使得用户能够收听多人游戏的声音，并且同时与另一用户进行对话。
通信部分103由通信模块等实现，该通信模块等适用于例如无线局域网(LAN)如Wi-Fi(注册商标)。通信部分103是负责控制与信息处理装置200的信息通信的通信接口。通信部分103从信息处理装置200接收显示开始触发和关于状态转换的通知。通信部分103将如此接收的显示开始触发和关于状态转换的通知输出到控制器130。此外，通信部分103将从控制器130输入的位置信息和关于移动完成的通知发送到信息处理装置200。
操作输入部分104例如是接收用户输入的按钮。操作输入部分104向控制器130输出用户输入作为操作信息。此外，操作输入部分104可以支持使用传感器110的摄像机通过手识别进行的手势输入。
传感器110包括捕获佩戴移动终端100的用户周围的场景的各种传感器。传感器110包括环境摄像机111、深度传感器112、陀螺仪传感器113、加速度传感器114、方位传感器115和位置传感器116。
环境摄像机111例如是单色立体摄像机，并且捕获移动终端100前方的场景。环境摄像机111使用成像元件例如互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器来拍摄图像。环境摄像机111对由成像元件接收的光执行光电转换，并对光电转换的结果执行模拟/数字(A/D)转换以生成图像。环境摄像机111向控制器130输出捕获的图像，捕获的图像是立体图像。从环境摄像机111输出的捕获的图像被用于使用即时定位与地图构建(SLAM)技术的自身位置估计。注意，环境摄像机111可以是配备有广角镜头或鱼眼镜头的摄像机。
深度传感器112例如是类似于环境摄像机111的单色立体摄像机，并且捕获移动终端100前方的场景。深度传感器112向控制器130输出捕获的图像，捕获的图像是立体图像。从深度传感器112输出的捕获的图像用于测量在用户的视线方向上到被摄体的距离。注意，飞行时间(TOF)传感器可以用作深度传感器112。
陀螺仪传感器113是检测移动终端100的定向——即用户的定向——的传感器。例如，振动型陀螺仪传感器可以用作陀螺仪传感器113。
加速度传感器114是检测移动终端100的每个方向上的加速度的传感器。例如，可以使用三轴加速度传感器例如压阻加速度传感器或电容加速度传感器作为加速度传感器114。
方位传感器115是检测移动终端100的方位的传感器。例如，磁传感器可以用作方位传感器115。陀螺仪传感器113、加速度传感器114和方位传感器115共同用作9自由度(九轴传感器)以向控制器130输出第一位置信息。
位置传感器116是检测移动终端100的位置——即用户的位置——的传感器。位置传感器116例如是基于接收到的GPS信号生成包括经度、纬度和高度的第二位置信息的全球定位系统(GPS)接收器。位置传感器116将如此生成的第二位置信息输出到控制器16。注意，第二位置信息例如用于切换作为划分每个区域的结果而获得的地图。当不需要地图切换时，可以移除位置传感器116。
存储器120由半导体存储元件(例如随机存取存储器(RAM)或闪存)或存储装置(例如硬盘或光盘)来实现。存储器120存储用于计算用户位置的环境地图。环境地图例如是使用SLAM技术预先生成的使用了世界坐标系的三维地图。此外，存储器120临时存储从传感器110获取的捕获图像或位置信息，并且存储用于控制器130中的处理的信息(程序和数据)。
控制器130通过例如中央处理单元(CPU)、微处理单元(MPU)等执行存储在用作工作区域的RAM上的内部存储装置中的程序来实现。可替选地，控制器130可以由集成电路例如专用集成电路(ASIC)或现场可编程门阵列(FPGA)来实现。
控制器130包括环境信息获取部分131、位置信息计算部分132、应用执行部分133和输出控制器134，并且实现或执行将在下面描述的信息处理的功能或动作。注意，控制器130的内部结构不限于图4所示的结构，并且可以是不同的结构，只要执行稍后要描述的信息处理即可。
环境信息获取部分131在接收到从深度传感器112输入的作为立体图像的捕获图像时，基于捕获图像计算到图像中的被摄体的距离(深度)。环境信息获取部分131生成包括如此计算的距离(深度)的距离图像。环境信息获取部分131将如此生成的距离图像输出到应用执行部分133。注意，环境信息获取部分131除了基于立体图像之外还可以基于诸如运动视差、TOF或结构光的方法根据传感器信息计算到被摄体的距离(深度)。
作为立体图像的捕获图像从环境摄像机111输入到位置信息计算部分132。此外，第一位置信息从陀螺仪传感器113、加速度传感器114和方位传感器115输入到位置信息计算部分132，并且第二位置信息从位置传感器116输入到位置信息计算部分132。位置信息计算部分132基于如此接收的第二位置信息来选择存储在存储器120中的环境地图。位置信息计算部分132参考如此选择的环境地图，并且基于输入的捕获图像根据使用SLAM的地图匹配来执行自身位置估计。注意，根据本实施方式，仅有限数量的环境地图可用，使得根据地图匹配在自身位置估计中估计环境地图所在区域的位置。
位置信息计算部分132基于输入的第一位置信息来估计距根据地图匹配估计的位置的距离和方向，并且计算关于用户的位置信息。关于用户的位置信息包括关于用户所在区域的位置的信息以及指示用户面向哪个方向的方向信息。位置信息计算部分132经由通信部分103将如此计算的关于用户的位置信息发送到信息处理装置200。此外，位置信息计算部分132将计算出的关于用户的位置信息输出到应用执行部分133。
应用执行部分133执行诸如多人游戏的应用。距离图像从环境信息获取部分131输入到应用执行部分133。此外，关于用户的位置信息从位置信息计算部分132输入到应用执行部分133。
应用执行部分133将基于命令和数据——例如，从信息处理装置200接收的场景、距离图像和关于用户的位置信息——生成的关于AR对象的数据和音频信息输出到输出控制器134。例如，应用执行部分133在从信息处理装置200接收到显示开始触发时，基于显示开始触发、距离图像和关于用户的位置信息来确定AR对象的类型和显示位置。应用执行部分133基于距离图像来估计作为设置的位置可调范围的出现范围E1与用户之间的距离。
应用执行部分133确定用户的位置、定向和视角是否与作为设置的位置可调范围的出现范围E1相碰撞。应用执行部分133计算在出现范围E1内与用户的视角相交的位置。注意，用户的视角在本文中是预设的。应用执行部分133将如此计算的位置确定为AR对象的显示位置。此外，应用执行部分133基于估计的距离来确定AR对象的大小。
应用执行部分133将AR对象从出现范围E1内的显示位置移动到目的地位置。此时，应用执行部分133基于到达目的地位置的时间来调整AR对象的移动速度或路径，并且然后移动AR对象。应用执行部分133在将AR对象移动到目的地位置之后经由通信部分103向信息处理装置200发送关于移动完成的通知。
应用执行部分133在经由通信部分103从信息处理装置200接收到关于AR对象的状态转换的通知时，基于如此接收到的关于状态转换的通知开始在目的地位置对AR对象的同步处理。
输出控制器134在接收到从应用执行部分133输入的关于AR对象的数据和音频信息时，在显示器101上显示AR对象，并将音频信息输出到扬声器102。输出控制器134在显示器101上显示从应用执行部分133输入的关于AR对象的数据，并且例如根据场景的进行或基于显示开始触发的AR对象的移动来向扬声器102输出音频信息。
[1-4.根据第一实施方式的信息处理装置的结构]
接下来，将参照图6给出信息处理装置200的结构的描述。图6是示出根据第一实施方式的信息处理装置的结构的示例的图。如图6所示，信息处理装置200包括通信部分201、存储器210和控制器220。
通信部分201由适用于无线LAN例如Wi-Fi(注册商标)的通信模块等实现。通信部分201是负责控制与移动终端100的信息通信的通信接口。通信部分201从移动终端100接收位置信息和关于移动完成的通知。通信部分201将如此接收的位置信息和关于移动完成的通知输出到控制器220。此外，通信部分201向移动终端100发送从控制器220输入的显示开始触发和关于状态转换的通知。
存储器210例如由半导体存储元件(例如RAM或闪存)或存储装置(例如硬盘或光盘)来实现。存储器210存储多人游戏等的场景，以及适合于场景的进度或移动终端100的应用状态的命令和数据。此外，存储器210存储用于控制器220中的处理的信息(程序和数据)。
控制器220通过例如CPU、MPU等执行存储在用作工作区域的RAM上的内部存储装置中的程序来实现。可替选地，控制器220可以例如由集成电路如ASIC或FPGA来实现。控制器220包括确定部分221和显示控制器222，并且实现或执行将在下面描述的信息处理的功能或动作。注意，控制器220的内部结构不限于图6所示的结构，并且可以是不同的结构，只要执行稍后将描述的信息处理即可。
确定部分221在经由通信部分201从移动终端100接收到位置信息时基于如此接收的位置信息来确定是否显示AR对象。确定部分221在确定显示AR对象时指示显示控制器222生成显示开始触发。确定部分221在确定不显示AR对象时基于接收的位置信息重复关于是否显示AR对象的确定。
此外，确定部分221确定移动终端100b(第二移动终端)是否处于移动终端100a(第一移动终端)的针对其已经做出关于是否显示AR对象的确定的位置。确定部分221在确定移动终端100b处于移动终端100a的位置时指示显示控制器222也针对移动终端100b生成显示开始触发。也就是说，确定部分221在确定多个移动终端100在场景中经历相同事件时指示显示控制器222针对每个移动终端100生成显示开始触发。换句话说，确定部分221针对每个移动终端100在不同的时间处开始AR对象的动作。
显示控制器222在从确定部分221接收到生成显示开始触发的指令时，针对每个移动终端100生成包括要显示的AR对象的类型(角色的类型)、出现位置、目的地位置和到达目的地位置的时间的显示开始触发。显示控制器222经由通信部分201将如此生成的显示开始触发发送到移动终端100。
显示控制器222在经由通信部分201从已经向其发送显示开始触发的所有移动终端100接收到关于移动完成的通知时，向已经从其接收到关于移动完成的通知的所有移动终端100发送关于AR对象的状态转换的通知。关于状态转换的通知包括例如关于同步开始、AR对象的位置和状态的通知。即，在已经接收到关于状态转换的通知的每个移动终端100中，在位置、移动等同步的情况下在特定场景中显示AR对象。
[1-5.根据第一实施方式的信息处理流程]
图7是示出根据第一实施方式的处理流程的序列图。注意，图7示出了如下情况的示例：在用户U1、U2的移动终端100a、100b中，已经开始异步移动的AR对象同步在端点处停止移动，并且利用彼此同步的AR对象来显示下一个场景。注意，由于移动终端100a、100b以相同的方式操作，因此移动终端100a、100b在下面被统称为移动终端100。
移动终端100的环境信息获取部分131基于从深度传感器112输入的捕获图像生成距离图像，并且将如此生成的距离图像输出到应用执行部分133。此外，位置信息计算部分132基于从位置传感器116输入的第二位置信息来选择存储在存储器120中的环境地图。位置信息计算部分132参考如此选择的环境地图，并且基于从环境摄像机111输入的捕获图像根据地图匹配来执行自身位置估计。位置信息计算部分132基于从陀螺仪传感器113、加速度传感器114和方位传感器115输入的第一位置信息来估计距根据地图匹配估计的位置的距离和方向，并且计算关于用户的位置信息。位置信息计算部分132开始将如此计算的关于用户的位置信息发送到信息处理装置200(步骤S1)。此外，位置信息计算部分132将计算出的关于用户的位置信息输出到应用执行部分133。
信息处理装置200的确定部分221在从移动终端100接收到位置信息时基于如此接收的位置信息来确定是否显示AR对象(步骤S2)。确定部分221基于关于是否显示AR对象的确定结果来指示显示控制器222生成显示开始触发。
显示控制器222在从确定部分221接收到生成显示开始触发的指令时针对每个移动终端100生成显示开始触发。显示控制器222将如此生成的显示开始触发发送到每个移动终端100(步骤S3)。
移动终端100的应用执行部分133在从信息处理装置200接收到显示开始触发时基于显示开始触发、距离图像和关于用户的位置信息来确定AR对象的类型和显示位置(步骤S4)。应用执行部分133开始将AR对象移动到目的地位置(步骤S5)。应用执行部分133在将AR对象移动到目的地位置之后将关于移动完成的通知发送到信息处理装置200(步骤S6)。
信息处理装置200的显示控制器222在从已经向其发送显示开始触发的所有用户的移动终端100接收到关于移动完成的通知时，向已经从其接收到关于移动完成的通知的移动终端100发送关于AR对象的状态转换的通知(步骤S7)。注意，例如，显示控制器222在从已经向其发送显示开始触发的大多数用户的移动终端100接收到关于移动完成的通知时，可以向已经向其发送显示开始触发的移动终端100发送关于状态转换的通知。
移动终端100的应用执行部分133在从信息处理装置200接收到关于AR对象的状态转换的通知时，基于如此接收到的关于状态转换的通知开始在目的地位置对AR对象的同步处理(步骤S8)。这使得每个用户即使使用作为具有有限视角的显示装置的移动终端100也能够以相同的方式体验特定场景。
[1-6.效果]
如上所述，每个用户即使使用作为具有有限视角的显示装置的移动终端100也可以以相同的方式体验特定场景。也就是说，每个用户都可以在尽可能不错过必要的场景的情况下使用AR技术体验多人应用。这还使得可以在目标位置处自然地同步和停止在用户之间异步开始的AR对象的移动。这还使得AR对象能够根据每个用户的当前位置而出现。
(2.第二实施方式)
同时，根据第一实施方式，特定对象例如真实空间中的门被设置为出现范围，但是更宽的范围可以被设置为出现范围，并且这样的情况将被描述为第二实施方式。注意，根据第二实施方式，使用了在结构上与根据第一实施方式的移动终端100和信息处理装置200相同的移动终端100和信息处理装置200，并且因此将不给出共同结构和操作的描述。
[2-1.根据第二实施方式的出现范围的示例]
图8是示出根据第二实施方式的信息处理的示例的图。在图8所示的示例中，当用户U1、U2接近区域内的道路上的特定地点时，AR对象V3、V4从出现范围E2中出现。注意，AR对象V3是显示在用户U1的移动终端100a上的AR对象，并且AR对象V4是显示在用户U2的移动终端100b上的AR对象。
出现范围E2被设置在与真实空间中的街道的一个街区相对应的建筑物的整个墙表面上。在这种情况下，信息处理装置200根据用户U1、U2观看的位置来调整AR对象V3、V4的高度、出现动画的开始时间以及到达目的地位置的时间。如上所述，出现范围E2可以具有比根据第一实施方式的出现范围E1更宽的出现位置可调范围。此外，出现范围可以根据地点或场景设置在例如真实空间中街道的一个街区的地板上。
换句话说，根据第二实施方式，在其上设置出现范围的真实空间中的面具体是真实空间中的墙壁或地板。真实空间中的面可以被视为真实空间中的至少具有由包括深度传感器112等的传感器检测到的特定区域的静止面。真实空间中的地点不限于光滑的面——即平坦的面，并且可以具有不规则性。可替选地，真实空间中的面可以是曲面。根据第二实施方式的真实空间中的面是由传感器稳定检测的区域，使得该面可以适当地用作设置AR对象的区域。
(3.第三实施方式)
此外，当期望使AR对象出现在特定地点时，出现范围可以被限制在特定地点，并且这样的情况将被描述为第三实施方式。注意，根据第三实施方式，使用了在结构上与根据第一实施方式的移动终端100和信息处理装置200相同的移动终端100和信息处理装置200，并且因此将不给出共同结构和操作的描述。
[3-1.根据第三实施方式的出现范围的示例]
图9是示出根据第三实施方式的信息处理的示例的图。在图9所示的示例中，当用户接近建筑物的门时，AR对象V5出现在设置在门上方的照明灯具上上设置的出现范围E3内。出现范围E3被限制在特定的地点，即照明灯具。在这种情况下，信息处理装置200在不调整AR对象V5的位置的情况下调整出现动画的开始时间和动画的再现时间。例如，为了在用户U1、U2的移动终端100a、100b上显示AR对象V5，当用户U1、U2各自接近相对于出现范围E3的预定位置时，信息处理装置200开始使动画出现。随后，例如，当AR对象V5是多人游戏中的敌人并且出现战斗开始动画时，在移动终端100a、100b之间开始同步。如上所述，即使当出现范围被限制时，根据用户位置异步开始的动画也可以在预定的时间处被同步。
(4.实施方式的修改)
根据上述每个实施方式的处理可以在除上述实施方式外的各种不同模式下执行。
在上述每个实施方式中，已经给出了其中移动终端100包括处理器例如控制器130的示例的描述。移动终端100可以被划分成例如眼镜型接口部分、包括控制器130的计算部分以及从用户接收输入操作等的操作部分。此外，如根据每个实施方式所描述的，包括具有透明度并且被保持在用户的视线方向上的显示器101的移动终端100是所谓的AR眼镜。移动终端100可以是与用作外部显示器的显示器101通信并对显示器101执行显示控制的装置。此外，移动终端100可以是例如由用户持有在他/她的眼睛前面的智能电话。
另外，除非另有说明，否则以上和附图中所示的处理过程、具体名称以及包括各种数据和参数的信息可以根据需要改变。例如，每个图中所示的各种类型的信息不限于所示的信息。
此外，附图中示出的每个装置的每个部件是功能概念，并且不一定如附图中示出的那样被物理地配置。即，每个装置的分配和集成的具体形式不限于所示的形式，并且其全部或一部分可以根据各种负载、使用条件等在功能上或物理上被分配和集成在任意单元中。例如，与图3所示的移动终端300一样，移动终端100和信息处理装置200的功能可以被集成。
此外，上述实施方式和修改可以根据需要组合到不使处理内容彼此不一致的程度。
(5.硬件结构)
例如，根据上述每个实施方式的信息设备例如移动终端100或信息处理装置200由具有如图10所示的结构的计算机1000来实现。下面将给出基于根据第一实施方式的信息处理装置200的示例的描述。图10是示出实现信息处理装置的功能的计算机的示例的硬件结构图。计算机1000包括CPU 1100、RAM 1200、只读存储器(ROM)1300、硬盘驱动器(HDD)1400、通信接口1500和I/O接口1600。计算机1000的部件通过总线1050连接。
CPU 1100根据存储在ROM 1300或HDD 1400中的程序操作以控制每个部件。例如，CPU 1100在RAM 1200上加载存储在ROM 1300或HDD1400中的程序，并且执行与各种程序中的每一个相关联的处理。
ROM 1300存储引导程序，例如当计算机1000投入运行时要由CPU1100执行的基本输入输出系统(BIOS)、适用于计算机1000的特定硬件的程序等。
HDD 1400是以非暂态方式记录要由CPU 1100执行的程序、要由程序使用的数据等的计算机可读记录介质。具体地，HDD 1400是记录根据本公开内容的信息处理程序的记录介质，该信息处理程序是程序数据1450的示例。
通信接口1500是用于计算机1000与外部网络1550(例如，因特网)建立连接的接口。例如，CPU 1100经由通信接口1500从另一装置接收数据或者将由CPU 1100生成的数据发送到另一装置。
I/O接口1600是用于计算机1000与I/O装置1650建立连接的接口。例如，CPU 1100经由I/O接口1600从输入装置例如键盘或鼠标接收数据。此外，CPU 1100经由I/O接口1600将数据发送到输出装置例如显示器、扬声器或打印机。此外，I/O接口1600可以用作读取记录在预定记录介质(介质)中的程序等的介质接口。介质的示例包括光学记录介质(例如数字多功能盘(DVD)或相变可重写盘(PD))、磁光记录介质(例如磁光(MO)盘)、磁带介质、磁记录介质、半导体存储器等。
例如，当计算机1000用作根据第一实施方式的信息处理装置200时，计算机1000的CPU 1100执行在RAM 1200上加载的信息处理程序，以实现确定部分221等的功能。此外，HDD1400将根据本公开内容的信息处理程序和数据存储在存储器210中。注意，CPU 1100从HDD1400读取程序数据1450并执行该程序，或者可替选地，作为另一示例，CPU 1100可以通过外部网络1550从另一装置获得这样的程序。
[6.效果]
信息处理装置200包括控制装置(控制器220)。控制装置确定第一移动终端(移动终端100a)是否处于真实空间中的第一位置，并且基于第一移动终端处于第一位置的确定，使第一移动终端开始根据第一位置将虚拟对象叠加在真实空间上，并且确定不同于第一移动终端的第二移动终端(移动终端100b)是否处于第一位置，并且基于第二移动终端处于第一位置的确定，使第二移动终端开始将虚拟对象叠加在真实空间上。此外，控制装置至少根据虚拟对象的显示开始时间或虚拟对象的显示开始位置而不同地使第一移动终端开始虚拟对象的第一动作并且使得第二移动终端开始虚拟对象的第二动作，并且使第一动作和第二动作同步结束。
这允许信息处理装置200使得每个用户即使利用具有有限视角的显示装置也以相同的方式体验特定场景。
虚拟对象的第一动作与到真实空间中的不同于第一位置的第二位置的移动相对应。
这允许信息处理装置200使每个用户在尽可能不错过必要的场景的情况下使用AR技术体验多人游戏应用。
虚拟对象的第二动作与从与第一动作的显示开始位置不同的显示开始位置到第二位置的移动相对应。
这允许信息处理装置200在目的地位置处自然地同步和停止已经在用户之间异步开始的虚拟对象的移动。
虚拟对象与其中对应于第一动作的移动路径和对应于第二动作的移动路径彼此不同的路径相对应。
这允许信息处理装置200使虚拟对象根据每个用户的当前位置而出现。
控制装置在第一动作和第二动作结束之后使第一移动终端和第二移动终端同步移动虚拟对象。
这允许信息处理装置200使每个用户以相同的方式体验特定场景。
虚拟对象的第二动作与在再现速度、重复次数和长度中的至少一者与第一动作不同的动态图像的再现相对应。
这允许信息处理装置200在目的地位置处自然地同步和停止已经在用户之间异步开始的虚拟对象的移动。
显示开始位置被设置在真实空间中的面上。
这允许信息处理装置200使虚拟对象根据每个用户的当前位置而出现。
显示开始位置被设置在与真实空间中的对象相对应的范围内。
这允许信息处理装置200使虚拟对象根据每个用户的当前位置而从真实空间中的对象出现。
虚拟对象的第一动作和虚拟对象的第二动作各自与图像在显示开始位置的显示相对应。
这允许信息处理装置200针对每个用户使其出现位置被限制在真实空间中的预定位置的虚拟对象出现。
注意，本文描述的效果仅仅是示例，而不应被限制性地解释，并且可以提供其他效果。
注意，本技术也可以具有以下配置。
(1)一种信息处理装置，包括控制装置，所述控制装置被配置成：
确定第一移动终端是否处于真实空间中的第一位置，以及
基于所述第一移动终端处于所述第一位置的确定，控制所述第一移动终端以开始响应所述第一位置将虚拟对象叠加在所述真实空间上，以及
确定不同于所述第一移动终端的第二移动终端是否处于所述第一位置，以及
基于所述第二移动终端处于所述第一位置的确定，控制所述第二移动终端以开始将所述虚拟对象叠加在所述真实空间上，其中，
所述控制装置：
关于虚拟对象的显示开始时间及虚拟对象的显示开始位置中的至少一者，不同地执行下述操作：使所述第一移动终端开始所述虚拟对象的第一动作和使所述第二移动终端开始所述虚拟对象的第二动作，以及
使所述第一动作的结束和所述第二动作同步结束。
(2)根据(1)所述的信息处理装置，其中，
所述虚拟对象的所述第一动作是向所述真实空间中的不同于所述第一位置的第二位置的移动。
(3)根据(2)所述的信息处理装置，其中，
所述虚拟对象的所述第二动作是从与所述第一动作的显示开始位置不同的显示开始位置向所述第二位置的移动。
(4)根据(3)所述的信息处理装置，其中，
所述虚拟对象的对应于所述第一动作的移动路径和所述虚拟对象的对应于所述第二动作的移动路径是彼此不同的路径。
(5)根据(1)所述的信息处理装置，其中，
所述控制装置使所述第一移动终端和所述第二移动终端对所述虚拟对象的动作在所述第一动作和所述第二动作结束之后同步。
(6)根据(2)所述的信息处理装置，其中，
所述虚拟对象的所述第二动作是再现速度、重复次数和长度中的至少一者与所述第一动作不同的动态图像的再现。
(7)根据(1)所述的信息处理装置，其中，
所述显示开始位置设置在所述真实空间中的面上。
(8)根据(1)所述的信息处理装置，其中，
所述显示开始位置设置在与所述真实空间中的对象相对应的范围内。
(9)根据(1)所述的信息处理装置，其中，
所述虚拟对象的所述第一动作和所述虚拟对象的所述第二动作是所述显示开始位置处的图像的显示。
(10)一种信息处理方法，包括使控制装置执行以下处理：
确定第一移动终端是否处于真实空间中的第一位置，以及
基于所述第一移动终端处于所述第一位置的确定，控制所述第一移动终端以开始响应所述第一位置将虚拟对象叠加在所述真实空间上，以及
确定不同于所述第一移动终端的第二移动终端是否处于所述第一位置，以及
基于所述第二移动终端处于所述第一位置的确定，控制所述第二移动终端以开始将所述虚拟对象叠加在所述真实空间上，其中，
所述控制装置执行的处理包括：
关于虚拟对象的显示开始时间及虚拟对象的显示开始位置中的至少一者，不同地执行下述操作：使所述第一移动终端开始所述虚拟对象的第一动作和使所述第二移动终端开始所述虚拟对象的第二动作，以及
使所述第一动作的结束和所述第二动作同步结束。
(11)一种记录介质，记录信息处理程序，所述信息处理程序用于使控制装置执行以下处理：
确定第一移动终端是否处于真实空间中的第一位置，以及
基于所述第一移动终端处于所述第一位置的确定，控制所述第一移动终端以开始响应所述第一位置将虚拟对象叠加在所述真实空间上，以及
确定不同于所述第一移动终端的第二移动终端是否处于所述第一位置，以及
基于所述第二移动终端处于所述第一位置的确定，控制所述第二移动终端以开始将所述虚拟对象叠加在所述真实空间上，其中，
所述控制装置执行的处理包括：
关于虚拟对象的显示开始时间及虚拟对象的显示开始位置中的至少一者，不同地执行下述操作：使所述第一移动终端开始所述虚拟对象的第一动作和使所述第二移动终端开始所述虚拟对象的第二动作，以及
使所述第一动作的结束和所述第二动作同步结束。
附图标记列表
100、100a、100b 移动终端
101 显示器
103 通信部分
110 传感器
120 存储器
130 控制器
131 环境信息获取部分
132 位置信息计算部分
133 应用执行部分
134 输出控制器
200 信息处理装置
201 通信部分
210 存储器
220 控制器
221 确定部分
222 显示控制器
A1、A2 视角
E1至E3 出现范围
V1至V5 AR对象
U1至U4 用户。

Claims (11)

1.一种信息处理装置，包括控制装置，所述控制装置被配置成：
确定第一移动终端是否处于真实空间中的第一位置，以及
基于所述第一移动终端处于所述第一位置的确定，控制所述第一移动终端以开始响应所述第一位置将虚拟对象叠加在所述真实空间上，以及
确定不同于所述第一移动终端的第二移动终端是否处于所述第一位置，以及
基于所述第二移动终端处于所述第一位置的确定，控制所述第二移动终端以开始将所述虚拟对象叠加在所述真实空间上，其中，
所述控制装置：
关于虚拟对象的显示开始时间及虚拟对象的显示开始位置中的至少一者，不同地执行下述操作：使所述第一移动终端开始所述虚拟对象的第一动作和使所述第二移动终端开始所述虚拟对象的第二动作，以及
使所述第一动作的结束和所述第二动作同步结束。
2.根据权利要求1所述的信息处理装置，其中，
所述虚拟对象的所述第一动作是向所述真实空间中的不同于所述第一位置的第二位置的移动。
3.根据权利要求2所述的信息处理装置，其中，
所述虚拟对象的所述第二动作是从与所述第一动作的显示开始位置不同的显示开始位置向所述第二位置的移动。
4.根据权利要求3所述的信息处理装置，其中，
所述虚拟对象的对应于所述第一动作的移动路径和所述虚拟对象的对应于所述第二动作的移动路径是彼此不同的路径。
5.根据权利要求1所述的信息处理装置，其中，
所述控制装置使所述第一移动终端和所述第二移动终端对所述虚拟对象的动作在所述第一动作和所述第二动作结束之后同步。
6.根据权利要求2所述的信息处理装置，其中，
所述虚拟对象的所述第二动作是再现速度、重复次数和长度中的至少一者与所述第一动作不同的动态图像的再现。
7.根据权利要求1所述的信息处理装置，其中，
所述显示开始位置设置在所述真实空间中的面上。
8.根据权利要求1所述的信息处理装置，其中，
所述显示开始位置设置在与所述真实空间中的对象相对应的范围内。
9.根据权利要求1所述的信息处理装置，其中，
所述虚拟对象的所述第一动作和所述虚拟对象的所述第二动作是所述显示开始位置处的图像的显示。
10.一种信息处理方法，包括使控制装置执行以下处理：
确定第一移动终端是否处于真实空间中的第一位置，以及
基于所述第一移动终端处于所述第一位置的确定，控制所述第一移动终端以开始响应所述第一位置将虚拟对象叠加在所述真实空间上，以及
确定不同于所述第一移动终端的第二移动终端是否处于所述第一位置，以及
基于所述第二移动终端处于所述第一位置的确定，控制所述第二移动终端以开始将所述虚拟对象叠加在所述真实空间上，其中，
所述控制装置执行的处理包括：
关于虚拟对象的显示开始时间及虚拟对象的显示开始位置中的至少一者，不同地执行下述操作：使所述第一移动终端开始所述虚拟对象的第一动作和使所述第二移动终端开始所述虚拟对象的第二动作，以及
使所述第一动作的结束和所述第二动作同步结束。
11.一种记录介质，记录信息处理程序，所述信息处理程序用于使控制装置执行以下处理：
确定第一移动终端是否处于真实空间中的第一位置，以及
基于所述第一移动终端处于所述第一位置的确定，控制所述第一移动终端以开始响应所述第一位置将虚拟对象叠加在所述真实空间上，以及
确定不同于所述第一移动终端的第二移动终端是否处于所述第一位置，以及
基于所述第二移动终端处于所述第一位置的确定，控制所述第二移动终端以开始将所述虚拟对象叠加在所述真实空间上，其中，
所述控制装置执行的处理包括：
关于虚拟对象的显示开始时间及虚拟对象的显示开始位置中的至少一者，不同地执行下述操作：使所述第一移动终端开始所述虚拟对象的第一动作和使所述第二移动终端开始所述虚拟对象的第二动作，以及
使所述第一动作的结束和所述第二动作同步结束。
CN202080056782.4A 2019-08-19 2020-07-13 信息处理装置、信息处理方法和记录介质 Pending CN114245755A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-149855 2019-08-19
JP2019149855 2019-08-19
PCT/JP2020/027195 WO2021033456A1 (ja) 2019-08-19 2020-07-13 情報処理装置、情報処理方法および記録媒体

Publications (1)

Publication Number Publication Date
CN114245755A true CN114245755A (zh) 2022-03-25

Family

ID=74660916

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080056782.4A Pending CN114245755A (zh) 2019-08-19 2020-07-13 信息处理装置、信息处理方法和记录介质

Country Status (5)

Country Link
US (1) US11854151B2 (zh)
JP (1) JP7472912B2 (zh)
CN (1) CN114245755A (zh)
DE (1) DE112020003932T5 (zh)
WO (1) WO2021033456A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4816789B2 (ja) * 2009-11-16 2011-11-16 ソニー株式会社 情報処理装置、情報処理方法、プログラムおよび情報処理システム
JP2012181704A (ja) 2011-03-01 2012-09-20 Sony Computer Entertainment Inc 情報処理装置および情報処理方法
US9361730B2 (en) * 2012-07-26 2016-06-07 Qualcomm Incorporated Interactions of tangible and augmented reality objects
JP2017091423A (ja) * 2015-11-16 2017-05-25 株式会社ローレル・コード 頭部装着型表示装置に関するプログラムと装置

Also Published As

Publication number Publication date
JP7472912B2 (ja) 2024-04-23
US11854151B2 (en) 2023-12-26
JPWO2021033456A1 (zh) 2021-02-25
US20220254111A1 (en) 2022-08-11
WO2021033456A1 (ja) 2021-02-25
DE112020003932T5 (de) 2022-05-25

Similar Documents

Publication Publication Date Title
US9361732B2 (en) Transitions between body-locked and world-locked augmented reality
KR20210154814A (ko) 패스 쓰루 이미징을 갖는 헤드 마운트 디스플레이
US20180027349A1 (en) Sound localization for user in motion
US11450020B2 (en) Information processing apparatus, method for processing information, and computer program
US10681276B2 (en) Virtual reality video processing to compensate for movement of a camera during capture
KR20160124479A (ko) 서버, 사용자 단말 장치 및 그 제어 방법
WO2013064914A1 (en) Amplifying audio-visual data based on user's head orientation
EP3619685B1 (en) Head mounted display and method
US20220147138A1 (en) Image generation apparatus and information presentation method
JP6661756B2 (ja) 画像生成装置、画像生成方法及びプログラム
CN109791436B (zh) 用于提供虚拟场景的装置及方法
KR102140077B1 (ko) 서버, 사용자 단말 장치 및 그 제어 방법
JP6518645B2 (ja) 情報処理装置および画像生成方法
CN113678171A (zh) 信息处理装置、信息处理方法和记录介质
US11854151B2 (en) Information processing device, information processing method, and recording medium
US20200257112A1 (en) Content generation apparatus and method
JP6563592B2 (ja) 表示制御装置、表示制御方法及びプログラム
US20190089899A1 (en) Image processing device
US20120306855A1 (en) Storage medium having stored therein display control program, display control apparatus, display control method, and display control system
WO2021220866A1 (ja) サーバ装置、端末装置、情報処理システム及び情報処理方法
US10940387B2 (en) Synchronized augmented reality gameplay across multiple gaming environments
CN113093915A (zh) 多人互动的控制方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination