CN117396924A - 信息处理设备、信息处理方法和计算机程序 - Google Patents

信息处理设备、信息处理方法和计算机程序 Download PDF

Info

Publication number
CN117396924A
CN117396924A CN202280038363.7A CN202280038363A CN117396924A CN 117396924 A CN117396924 A CN 117396924A CN 202280038363 A CN202280038363 A CN 202280038363A CN 117396924 A CN117396924 A CN 117396924A
Authority
CN
China
Prior art keywords
game area
user
unit
application
mounted display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280038363.7A
Other languages
English (en)
Inventor
野村雅则
高桥泰生
南野孝范
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Publication of CN117396924A publication Critical patent/CN117396924A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

图像显示系统10包括头戴式显示器100和图像生成设备200。图像生成设备200在佩戴头戴式显示器100的用户周围的空间中设置游戏区域，在该游戏区域中用户可在玩应用时移动。图像生成设备200根据设置的游戏区域的尺寸确定以允许用户的移动的模式操作应用或确定以不允许用户的移动的模式操作应用。

Description

信息处理设备、信息处理方法和计算机程序
技术领域
本发明涉及一种数据处理技术，并且具体地涉及一种信息处理设备、信息处理方法和计算机程序。
背景技术
用于允许佩戴头戴式显示器的用户从任何视点自由地享受目标空间的图像显示系统被广泛使用。例如，存在将虚拟三维(3D)空间指定为显示目标并且在头戴式显示器上显示与用户的视线方向相对应的图像以实现虚拟现实(VR)的已知电子内容。头戴式显示器的使用可以增加沉浸到视频中的感觉并改善诸如游戏的应用的可操作性。已经进一步开发了一种漫游系统，其允许佩戴头戴式显示器的用户在附接有头戴式显示器的情况下通过物理移动在显示为视频的空间周围虚拟地行走。
发明内容
[发明要解决的问题]
佩戴头戴式显示器的用户在玩应用期间可移动的范围需要根据用户的房间的尺寸和布置在用户的房间中的环境(诸如家具和物品)来限制。
本发明是考虑到上述问题而开发的。本发明的目的是提供一种根据所设置的游戏区域的尺寸来确定用于形成VR图像的应用的适当操作模式的技术。
[问题的解决方案]
为了解决上述问题，根据本发明一方面的信息处理设备包括：游戏区域设置单元，在佩戴头戴式显示器的用户周围的空间中设置游戏区域，在该游戏区域中用户在玩应用期间可移动；以及确定单元，根据由游戏区域设置单元设置的游戏区域的尺寸，确定以用户可移动模式操作应用或确定以用户不可移动模式操作应用。
本发明的另一方面涉及一种信息处理方法。该方法由计算机执行，并且包括在佩戴头戴式显示器的用户周围的空间中设置游戏区域的步骤，在该游戏区域中用户在玩应用期间可移动，以及根据设置的游戏区域的尺寸确定以用户可移动模式操作应用或确定以用户不可移动模式操作应用的步骤。
注意，上述构成元素的任何组合以及转换为系统、计算机程序、可读地记录计算机程序的记录介质、数据结构等的表述的本发明的表述也作为本发明的模式有效。
[发明的有益效果]
本发明实现了根据设置的游戏区域的尺寸来确定用于形成VR图像的应用的适当操作模式。
附图说明
图1是描述头戴式显示器的外观示例的图。
图2是描述根据实施例的图像显示系统的配置示例的图。
图3是用于说明由图像生成设备在头戴式显示器上显示的图像世界的示例的图。
图4是描述图像生成设备的内部电路配置的图。
图5是描述头戴式显示器的内部电路配置的图。
图6是描述图像生成设备的功能块的框图。
图7是示出图像生成设备的操作的流程图。
图8是示意性地描述当设置游戏区域时用户的行为的图。
图9是描述相机图像的示例的图。
图10是描述关键帧的示例的图。
图11是描述多个箱的图。
图12是描述游戏区域编辑画面的示例的图。
图13(a)至图13(d)是描述用于扩展游戏区域的编辑的示例的图。
图14(a)至图14(d)是描述用于在游戏区域编辑画面中设置游戏区域的处理的细节的图。
图15(a)至图15(e)是描述用于扩展游戏区域的处理的细节的图。
图16(a)至图16(d)是描述用于减小游戏区域的编辑的示例的图。
图17(a)至图17(d)是描述用于减小游戏区域的处理的细节的图。
图18是示出图像生成设备的操作的流程图。
图19(a)至图19(d)是描述用于扩展游戏区域的编辑的修改的图。
图20(a)至图20(b)示出了用于减小游戏区域的编辑的修改。
具体实施方式
本实施例涉及一种图像显示系统，其在附接到用户的头部的头戴式显示器上显示应用的图像。图1描述了头戴式显示器100的外观的示例。根据实施例的头戴式显示器100包括输出机构单元102和附接机构单元104。附接机构单元104包括附接带106，附接带106附接在用户的头部周围，以在由用户佩戴时实现设备的固定。
输出机构单元102包括壳体108，壳体108被成形为在头戴式显示器100附接到用户的状态下覆盖用户的左眼和右眼，并且在附接状态下将显示面板容纳在面向眼睛的位置中。假设根据实施例的头戴式显示器100的显示面板不透明。换句话说，根据实施例的头戴式显示器100是不透明型头戴式显示器。
壳体108还可以将眼用透镜容纳在内部，以便在头戴式显示器100的附接状态下位于显示面板和用户的眼睛之间，以扩展用户的视角。头戴式显示器100还可以在与处于附接状态的用户的耳朵相对应的位置处包括扬声器和耳机。此外，头戴式显示器100具有内置运动传感器，以检测佩戴头戴式显示器100的用户的头部的平移运动或旋转运动以及每次头部的位置和姿势。
此外，头戴式显示器100包括在壳体108的前表面上的立体相机110。立体相机110捕获对应于用户的视线的视野中的周围真实空间的视频。通常称为视频透视的内容(其在用户按原样面对的方向上呈现真实空间的状态)可通过捕获图像的即时显示来实现。此外，增强现实(AR)可通过在捕获图像中包含的真实对象的图像上绘制虚拟对象的图像来实现。
图2描述了根据实施例的图像显示系统10的配置示例。图像显示系统10包括头戴式显示器100、图像生成设备200和控制器140。头戴式显示器100通过无线通信连接到图像生成设备200。图像生成设备200还可以经由网络连接到服务器。在这种情况下，服务器可以将在线应用(诸如允许多个用户经由网络参与的游戏)的数据提供给图像生成设备200。
图像生成设备200是信息处理设备，其参考佩戴头戴式显示器100的用户的头部的位置和姿势指定视点的位置和视线的方向，形成与指定的位置和方向相对应的视野的显示图像，并将显示图像输出到头戴式显示器100。例如，图像生成设备200可以在推进游戏的同时形成与电子游戏的舞台相对应的虚拟世界的显示图像，或者显示运动图像以用于欣赏或用于提供信息，而不管运动图像是与虚拟世界还是真实世界相关联。此外，图像生成设备200能够通过使头戴式显示器100围绕用户的视点显示具有宽视角的全景图像来给予用户深度沉浸到显示世界中的感觉。注意，图像生成设备200可以是固定游戏机或PC(个人计算机)。
控制器140是由用户的手握持并且接收由用户执行的操作的输入以控制由图像生成设备200进行的图像生成或由头戴式显示器100进行的图像显示的控制器(例如，游戏控制器)。控制器140通过无线通信连接到图像生成设备200。在变型中，头戴式显示器100和控制器140中的任一者或两者可以使用信号电缆等通过有线通信连接到图像生成设备200。
图3是用于说明在图像生成设备200的操作下由头戴式显示器100显示的图像世界的示例的图。在该示例中产生的是这样的状态，其中用户12存在于对应于虚拟空间的房间中。如图所示，诸如墙壁、地板、窗户、桌子和桌子上的物品的对象被布置在定义虚拟空间的世界坐标系中。图像生成设备200根据视点的位置和用户12的视线的方向在该世界坐标系中定义观看屏幕14，并且在观看屏幕14中呈现对象的图像以绘制显示图像。
图像生成设备200以预定速率从头戴式显示器100获取用户12的视点的位置和视线的方向(在下文中，这些位置和方向在一些情况下将统称为“视点”)，并且根据所获取的位置和方向改变观看屏幕14的位置和方向。以这种方式，允许头戴式显示器100在对应于用户视点的视野中显示图像。此外，图像生成设备200还能够通过形成其间具有视差的立体图像并使头戴式显示器100在显示面板的左区域和右区域中显示立体图像来向用户12呈现虚拟空间的三维视图。以这种方式，允许用户12体验虚拟现实，其中用户12感觉好像他或她存在于显示世界的房间中。
图4描述了图像生成设备200的内部电路配置。图像生成设备200包括CPU(中央处理单元)222、GPU(图形处理单元)224和主存储器226。这些单元经由总线230彼此连接。输入/输出接口228还连接到总线230。通信单元232、存储单元234、输出单元236、输入单元238和记录介质驱动单元240连接到输入/输出接口228。
通信单元232包括诸如USB(通用串行总线)和IEEE(电气和电子工程师协会)1394的外围设备接口，以及诸如有线LAN(局域网)和无线LAN的网络接口。存储单元234包括硬盘驱动器、非易失性存储器等。输出单元236将数据输出到头戴式显示器100。输入单元238从头戴式显示器100接收数据输入，并且从控制器140接收数据输入。记录介质驱动单元240驱动诸如磁盘、光盘或半导体存储器的可移动记录介质。
CPU 222执行存储在存储单元234中的操作系统，以控制整体图像生成设备200。此外，CPU 222执行从存储单元234或可移除记录介质读取并加载到主存储器226或经由通信单元232下载的各种程序(例如，VR游戏应用)。具有几何引擎功能和渲染处理器功能的GPU224根据从CPU 222发出的图像绘制命令执行图像绘制处理，并将绘制结果输出到输出单元236。主存储器226包括RAM(随机接入存储器)，并存储处理所需的程序和数据。
图5描述了头戴式显示器100的内部电路配置。头戴式显示器100包括CPU 120、主存储器122、显示单元124和音频输出单元126。这些单元经由总线128彼此连接。输入/输出接口130还连接到总线128。包括无线通信接口的通信单元132、运动传感器134和立体相机110连接到输入/输出接口130。
CPU 120处理经由总线128从头戴式显示器100的各个单元获取的信息，并且将从图像生成设备200获取的显示图像和音频数据提供给显示单元124和音频输出单元126。主存储器122存储CPU 120处理所需的程序和数据。
显示单元124包括诸如液晶面板和有机EL(电致发光)面板的显示面板，并且在佩戴头戴式显示器100的用户的眼睛之前显示图像。显示单元124可以通过在与左眼和右眼对应的区域中显示一对立体图像来提供三维视图。显示单元124还可以包括位于显示面板和佩戴头戴式显示器100的用户的眼睛之间的一对透镜，以扩展用户的视角。
音频输出单元126包括设置在与佩戴头戴式显示器100的用户的耳朵相对应的位置处的扬声器和耳机，以允许用户听到声音。通信单元132是用于向图像生成设备200发送数据和从图像生成设备200接收数据的接口，并且通过诸如蓝牙(注册商标)的已知无线通信技术来实现通信。运动传感器134包括陀螺仪传感器和加速度计，并且获取头戴式显示器100的角速度和加速度。
如图1所示，立体相机110包括一对视频相机，用于分别从左视点和右视点捕获与用户的视点对应的视野中的周围真实空间的图像。由立体相机110捕获并指示用户周围空间的图像在下文中也将被称为“相机图像”，相机图像也被认为是包含存在于用户的视线方向上(通常在用户前方)的对象的图像。由运动传感器134获得的测量值和关于由立体相机110获得的捕获图像(相机图像)的数据根据需要经由通信单元132发送到图像生成设备200。
根据实施例的图像显示系统10设置游戏区域，该游戏区域指定佩戴头戴式显示器100的用户在玩应用时可移动的现实世界的范围。游戏区域被认为是允许用户在用户周围的空间(在用户周围延伸的现实世界的空间)中观看和收听虚拟现实的图像(下文中也称为“VR图像”)时四处移动的区域或范围。在用户试图离开游戏区域或在玩应用时已经离开游戏区域的情况下，图像显示系统10向用户发出警告以引起注意或敦促返回游戏区域。
上述应用被假定为使头戴式显示器100显示VR图像的游戏应用，并且在下文中也将被称为“VR游戏”。例如，VR游戏可以是网球游戏，其显示表示虚拟世界中的网球场的VR图像，并且与用户在现实世界中的移动(例如，行走)相关联地改变角色在虚拟世界的网球场中的位置。
将描述根据实施例的图像显示系统10的第一特征。在第一步骤中，图像生成设备200自动检测佩戴头戴式显示器100的用户在玩应用时可移动的游戏区域。在第一步骤之后的第二步骤中，图像生成设备200接收由用户执行的用于编辑自动检测到的游戏区域的操作，并且根据该操作改变游戏区域的形状。以这种方式，图像生成设备200帮助用户有效地设置具有期望形状的游戏区域。
将描述根据实施例的图像显示系统10的第二特征。图像生成设备200根据当用户手动编辑游戏区域时由用户执行的操作来减小游戏区域。例如，图像生成设备200提供用户界面，该用户界面将被操作用于游戏区域的手动编辑，并且还被配置为接收从游戏区域排除的区域的指定。图像生成设备200经由用户界面从游戏区域删除由用户指定的区域。以这种方式，图像生成设备200帮助用户有效地设置期望的游戏区域。
将描述根据实施例的图像显示系统10的第三特征。图像生成设备200根据游戏区域的尺寸自动切换考虑设置的游戏区域(根据实施例的VR游戏)而形成VR图像的应用的操作模式。具体地，图像生成设备200根据设置的游戏区域的尺寸确定是以用户可移动模式操作应用还是以用户不可移动模式操作应用。以这种方式，应用的操作模式可根据游戏区域的尺寸自动切换。
图6是描述图像生成设备的功能块的框图。如上所述，图像生成设备200执行普通信息处理，诸如VR游戏的推进以及与服务器的通信。图6特别地描述了与游戏区域的设置相关联的功能块的细节。注意，图6中描述的图像生成设备200的至少一些功能可以安装在经由网络连接到图像生成设备200的服务器上。
另外，图6中描述的多个功能块可以通过诸如图4中描述的CPU 222、GPU 224、主存储器226和存储单元234的配置在硬件方面来实现，并且可以通过结合多个功能块的功能的计算机程序在软件方面来实现。因此，本领域技术人员应当理解，这些功能块可以以各种形式实现，例如仅硬件、仅软件以及两者的组合。因此，这些功能块并不旨在限于任何特定形式。
图像生成设备200包括数据处理单元250和数据存储单元252。数据处理单元250执行各种类型的数据处理。数据处理单元250经由图4中描述的通信单元232、输出单元236和输入单元238将数据发送到头戴式显示器100和控制器140以及从头戴式显示器100和控制器140接收数据。数据存储单元252存储由数据处理单元250引用或更新的数据。
数据存储单元252包括App存储单元254、游戏区域存储单元256和地图存储单元258。App存储单元254存储形成VR图像的应用(根据实施例的VR游戏)的数据。
游戏区域存储单元256存储与游戏区域相关联的数据。与游戏区域相关联的数据包括指示构成游戏区域的边界的点云的位置的数据(例如，世界坐标系中的相应点的坐标值)。
地图存储单元258存储用于估计头戴式显示器100的位置(即，佩戴头戴式显示器100的用户的位置)的地图数据。根据实施例的地图数据对应于图像(图像中包含的特征点)，每个图像指示用户玩VR游戏的房间，并且包括一组图像(图像中包含的特征点)，每个图像的位置关系(位置和方向)已被阐明。具体地，地图数据包括头戴式显示器100的多组位置、视线方向和彼此相关联的关键帧。注意，地图数据可以包括通常称为自身位置估计所需的其他项目。
包括在特定集合中的关键帧对应于指示在同一集合的一个位置处和视线方向上观看的图像的特征的数据。关键帧是通过使用由头戴式显示器100的立体相机110捕获的图像生成的图像(下文中也称为“相机图像”)，并且也是包含预定数量或更多特征点的图像。要包含在关键帧中的特征点的数量可以是24或更大。特征点可以包括通过已知的角点检测方法检测的角点，并且可以参考亮度的斜率来检测。关键帧也被认为是从相机图像切割的一组部分图像。
数据处理单元250包括系统单元260、App执行单元290和显示控制单元292。多个这些功能块的功能可以并入计算机程序中。图像生成设备200的CPU 222和GPU 224可以将上述计算机程序从存储单元234或记录介质读取到主存储器226中，并执行计算机程序以发挥上述多个功能块的功能。
App执行单元290从App存储单元254读取由用户选择的应用(根据实施例的VR游戏)的数据，并执行由用户选择的应用。显示控制单元292将由系统单元260和App执行单元290形成的各种图像(例如，VR图像和AR图像)的数据发送到头戴式显示器100，并且使头戴式显示器100的显示单元124(显示面板)显示这些图像。
系统单元260执行与头戴式显示器100相关联的系统处理。系统单元260为头戴式显示器100的多个应用(例如，VR游戏)提供公共服务。系统单元260包括相机图像获取单元262、游戏区域设置单元264、地图生成单元274、模式确定单元276、通知单元278、位置估计单元280和警告处理单元282。
相机图像获取单元262获取从头戴式显示器100发送并由头戴式显示器100的立体相机110捕获的相机图像。
执行用于游戏区域设置辅助的各种处理的游戏区域设置单元264参考由相机图像获取单元262获取的相机图像和经由控制器140从用户输入的操作来设置游戏区域。游戏区域设置单元264包括游戏区域检测单元266、地板表面设置单元268、游戏区域编辑单元270和临时设置单元272。
游戏区域检测单元266参考由相机图像获取单元262获取的相机图像，从佩戴头戴式显示器100的用户周围的空间自动检测游戏区域。地板表面设置单元268接收由用户执行以编辑由游戏区域检测单元266检测为游戏区域的地板表面的高度的操作，并且根据该操作改变地板表面的高度。
游戏区域编辑单元270接收用户执行的用于编辑游戏区域检测单元266自动检测到的游戏区域的操作，并根据该操作改变游戏区域的形状。例如，游戏区域编辑单元270根据从用户接收的操作减小游戏区域检测单元266自动检测到的游戏区域。
在由用户设置的游戏区域具有小于预定阈值的尺寸的情况下，临时设置单元272设置临时有效的临时游戏区域，而不是由用户设置的游戏区域(即，在由用户手动编辑之后可用的游戏区域)。临时游戏区域是用户不可移动的游戏区域(换句话说，禁止用户移动的游戏区域)，并且也是具有固定形状的游戏区域。
地图生成单元274在游戏区域检测单元266检测游戏区域的同时，生成用于参考由相机图像获取单元262获取的相机图像来估计用户的位置的地图。地图生成单元274将生成的地图数据存储在地图存储单元258中。在输入作为指示用户周围的空间并且在多个方向上捕获的多个相机图像的预定或更大数量的相机图像的情况下，地图生成单元274结束地图生成。
模式确定单元276根据由游戏区域设置单元264设置的游戏区域的尺寸(在用户根据实施例手动编辑之后可用的游戏区域)来确定以用户可移动模式操作VR游戏或者确定以用户不可移动模式操作VR游戏。模式确定单元276在游戏区域的尺寸是预定阈值或更大的情况下确定以用户可移动模式操作VR游戏，或者在游戏区域的尺寸小于阈值的情况下确定以用户不可移动模式操作VR游戏。
通知单元278向App执行单元290通知由App执行单元290执行VR游戏所需的信息。例如，在模式确定单元276确定以用户可移动模式操作VR游戏的情况下，通知单元278将指示用户可移动的数据发送到VR游戏(App执行单元290根据实施例执行VR游戏)。同时，在模式确定单元276确定以用户不可移动模式操作VR游戏的情况下，通知单元278将指示用户不可移动的数据发送到VR游戏(App执行单元290根据实施例执行VR游戏)。
位置估计单元280参考存储在地图存储单元258中的地图数据和由相机图像获取单元262获取的相机图像来估计用户在现实世界中的位置，即，用户在游戏区域中的位置。例如，位置估计单元280可以利用相机图像检查地图数据中包括的多个关键帧，并且参考该检查结果以及头戴式显示器100的位置和与相应关键帧相关联的视线方向来估计用户的位置。可替代地，位置估计单元280可以通过使用诸如SLAM(同时定位和映射)的已知的自位置估计技术来估计用户的位置。警告处理单元282根据游戏区域的边界和用户的位置之间的关系为用户执行警告处理。
将描述如上配置的图像显示系统10的操作。
图7是示出图像生成设备200的操作的流程图。该图示出了用于设置游戏区域而执行的图像生成设备200的操作。允许用户从头戴式显示器100的系统的设置菜单中选择默认设置或重置游戏区域。在选择游戏区域的默认设置或重置的情况下，图像生成设备200的游戏区域设置单元264通过使用显示控制单元292使头戴式显示器100显示用于促使用户环顾四周的消息。
图8示意性地描述了为设置游戏区域而执行的用户行为。用户将头戴式显示器100附接到他或她的头部，并且在环顾四周的同时在房间30中移动。图8中描述的每个用户32指示此时用户的位置。箭头34中的每一个指示用户的视线方向。游戏区域36指示要设置的游戏区域的示例。在执行下面描述的S10至S12(游戏区域检测处理和地图生成处理)期间，图像生成设备200的游戏区域设置单元264通过使用显示控制单元292使头戴式显示器100的显示面板显示由相机图像获取单元262获取的相机图像，换句话说，执行视频透视，用于在用户面向的方向上向用户呈现真实空间的状态。以这种方式，增加了用户的安全性。
头戴式显示器100将多个相机图像的数据顺序地发送到图像生成设备200。多个相机图像的多条数据中的每条数据包括在形成相应的相机图像时的传感器数据。传感器数据包括由运动传感器134获得的测量值，诸如头戴式显示器100的角速度和加速度。再次参考图7所描述的，图像生成设备200的相机图像获取单元262获取从头戴式显示器100发送的相机图像的数据(S10)。
图像生成设备200的游戏区域检测单元266参考在S10中获取的相机图像自动检测用户周围的空间中的游戏区域(S11)。具体地，游戏区域检测单元266可以通过参考相机图像和与相机图像对应的传感器数据使用已知方法来估计用户的房间的3D形状。游戏区域检测单元266可以参考房间的估计的3D形状来检测垂直于由传感器数据指示的重力方向的平面(通常是地板表面)，并且检测具有与游戏区域相同高度的多个检测到的平面的合成结果。游戏区域检测单元266在游戏区域存储单元256中存储包括构成游戏区域的边界的点云的坐标值的游戏区域数据。
在游戏区域的检测期间，游戏区域检测单元266检测对应于游戏区域的地板表面的高度。地板表面的高度可以是地板表面与头戴式显示器100之间在重力方向上的距离。游戏区域检测单元266将表示地板表面的高度的数据存储在游戏区域存储单元256中。在头戴式显示器100的位置位于原点的情况下，地板表面的高度可以是例如-1米的高度。
图像生成设备200的地图生成单元274与S11中的处理同时地参照在S10中获取的相机图像生成要用于估计用户的位置的地图(S12)。图9描述相机图像的示例，而图10描述关键帧的示例。地图生成单元274通过使用诸如角点检测方法的已知方法提取相机图像40中包括的多个特征点44，并生成指示所提取的多个特征点44的关键帧42。在从一个相机图像40提取24个或更多个特征点44的情况下，地图生成单元274将包括24个或更多个提取的特征点44的关键帧42存储在地图存储单元258中，同时将关键帧42与由传感器数据指定的用户的位置和视线方向相关联。
地图生成单元274存储多个基准(以下称为“箱(bin)”)，每个基准用于导出指示输入相机图像(根据实施例从相机图像生成的关键帧)对用户周围空间的覆盖率的得分。多个箱是以不同形式划分用户周围的空间的多个基准。
图11描述了多个箱。箱50、52和54中的每一个将用户的位置设置在中心，并且利用与重力方向对准的轴划分用户周围的空间。箱50是参考用户在游戏区域设置开始处的视线方向和垂直于视线方向的方向将用户周围的空间划分为四个分区的基准，每个分区的中心角为90度。箱52是从箱50相移45度之后的基准。箱54是将用户周围的空间划分为16个分区的基准，每个分区的中心角为22.5度。通过划分用户周围的空间并由相应的箱50、52和54指定而产生的区域在下文中将被称为“划分区域”。
地图生成单元274关于箱50、52和54导出指示多个输入相机图像(根据实施例从相机图像生成的关键帧)对用户周围的空间的覆盖率的得分。在分数变为预定阈值或更高的情况下，地图生成单元274结束地图生成处理。
具体地，在从相机图像生成关键帧的情况下，地图生成单元274假设对于箱50、52和54中的每一个箱填充与已经获取关键帧的视线方向一致的划分区域，并且将填充的划分区域的总数计数为箱中的每一个箱的得分。当生成新的关键帧时，地图生成单元274通过使用类似的算法将新填充的划分区域的数量添加到每个箱的得分。
再次图7所描述的，当得分低于阈值“10”时(S13中的“否”)，流程返回到S10以继续实施例中的游戏区域检测处理和地图生成处理。在分数变为阈值“10”或更高的情况下(S13中的“是”)，游戏区域检测单元266结束游戏区域检测处理，并且地图生成单元274结束地图生成处理。分数的阈值“10”被确定为当佩戴头戴式显示器100的用户四处看180度时达到的值，但在用户不四处看的情况下未达到的值。
在执行游戏区域检测处理和地图生成处理之后，图像生成设备200的地板表面设置单元268参考指示地板表面的高度并存储在游戏区域存储单元256中的数据来生成地板表面调整画面。地板表面调整画面可以包括通过将指示地板表面的对象(例如，半透明和网格状对象)叠加在由相机图像获取单元262获取的相机图像上而形成的AR图像。地板表面设置单元268通过使用显示控制单元292使头戴式显示器100的显示面板显示地板表面调整画面。地板表面设置单元268接收用户输入到地板表面调整画面的操作以调整地板表面的高度，并且根据用户输入的操作改变地板表面的高度。地板表面设置单元268将指示地板表面的改变的高度的数据存储在游戏区域存储单元256中(S14)。
图像生成设备200的游戏区域编辑单元270形成表示由游戏区域检测单元266自动检测的游戏区域的图像。具体而言，游戏区域编辑单元270参照存储在游戏区域存储单元256中的游戏区域数据生成游戏区域编辑画面。游戏区域编辑画面包括通过将指示游戏区域的对象叠加在由相机图像获取单元262获取的相机图像上而形成的AR图像。图像生成设备200的显示控制单元292使头戴式显示器100的显示面板显示游戏区域编辑画面(S15)。
图12描述了游戏区域编辑画面的示例。游戏区域编辑画面60包括游戏区域62和边界64。游戏区域62是指示游戏区域(通常是没有障碍物的地板表面)的图像。例如，游戏区域62可以是指示半透明和网格状物体的图像。边界64是指示游戏区域62的边界的图像，并且也是在游戏区域62的边界处垂直穿过游戏区域的图像。例如，边界64也可以是半透明和网格形状的物体。
再次参照图7所描述的，游戏区域编辑单元270接收用户输入到游戏区域编辑画面60的操作以编辑游戏区域62。游戏区域编辑单元270根据用户输入的操作来改变游戏区域62的形状，即，根据用户输入的操作来扩大或缩小游戏区域62。游戏区域编辑单元270将已经经历形状改变的游戏区域62的数据(例如，构成边界的点云的坐标值)存储在游戏区域存储单元256中，以更新存储在游戏区域存储单元256中的游戏区域数据(S16)。
图13(a)至图13(d)是从上方观察的图12中的游戏区域编辑画面60的图示，并且描述了用于扩展游戏区域62的编辑的示例。控制器光标66是指示由佩戴头戴式显示器100的用户输入到控制器140的操作指定的位置的对象。例如，控制器140可以具有作为指向设备的功能，并且游戏区域编辑单元270可以在虚拟空间中在由控制器140指定的位置处显示控制器光标66。
如图13(a)至图13(c)所示，用户在游戏区域编辑画面60中移动控制器光标66，以绘制从游戏区域62的内部延伸到游戏区域62的外部并返回到游戏区域62的内部的线，作为指示控制器光标66的移动轨迹的线。在这种情况下，如图13(d)所示，游戏区域编辑单元270将由所绘制的线围绕的区域添加到游戏区域62。
这里假设用户绘制从游戏区域62的内部延伸到游戏区域62的外部并在游戏区域62的外部结束的线，作为指示控制器光标66的移动轨迹的线。在这种情况下，游戏区域编辑单元270将沿着所绘制的线(即，控制器光标66的移动轨迹)延伸的区域添加到游戏区域62。例如，在用户在图13(b)所示的控制器光标66的位置处结束控制器光标66的移动(即，画线)的情况下，从原始游戏区域62向右延伸的窄区域被添加到游戏区域62。
图14(a)至图14(d)示出了用于在用于编辑游戏区域的游戏区域编辑画面60中设置游戏区域的处理的细节。如图14(a)所示，游戏区域编辑单元270获取游戏区域检测单元266自动检测到的游戏区域62的数据。如图14(b)所示，游戏区域编辑单元270将自动检测到的游戏区域62转换为网格，即，将游戏区域62布置在网格上。
如图14(c)所示，游戏区域编辑单元270用对象68填充游戏区域62内的网格。根据该示例，一个对象68设置在一个网格交叉点处。如图14(d)所示，游戏区域编辑单元270参考填充有对象68的网格提取游戏区域62的边界，并建立游戏区域62的边界线。
图15(a)至图15(e)描述了用于扩展游戏区域以编辑游戏区域的处理的细节。在这种情况下，如图15(a)所示，当用户按下控制器140的触发器(即，为显示控制器光标66提供机会的输入单元)时，控制器光标66的位置位于游戏区域62内。用户在按压触发器的同时将控制器光标66移动到游戏区域62的外部，并且进一步将控制器光标66移动到游戏区域62的内部并释放触发器。在这种情况下，如图15(b)所示，游戏区域编辑单元270用与控制器光标66的移动相关联的对象68填充控制器光标66的移动轨迹内的网格。
如图15(c)所示，游戏区域编辑单元270参照填充有对象68的网格提取游戏区域62的边界。如图15(d)所示，当用户释放触发器时，游戏区域编辑单元270建立游戏区域62的边界。在存在多个边界的情况下，游戏区域编辑单元270选择定义较大范围的边界，即外边界。如图15(e)所示，游戏区域编辑单元270用对象68填充边界内的网格。
图16(a)至图16(d)是从上方观察的图12中的游戏区域编辑画面60的图示，并且描述用于缩小游戏区域62的编辑的示例。如图16(a)至图16(c)所示，用户在游戏区域编辑画面60中移动控制器光标66，以绘制从游戏区域62的外部延伸到游戏区域62的内部并将游戏区域62留在外部的线，作为指示控制器光标66的移动轨迹的线。在这种情况下，如图16(d)所示，游戏区域编辑单元270删除游戏区域62中由画出的线分开的部分之一。
根据实施例，在用户存在于分离的游戏区域之一的情况下，游戏区域编辑单元270参考由位置估计单元280估计的用户位置来检测该状态。在分离的游戏区域中的一个(例如，图16(c)中的游戏区域62a)和另一个(例如，图16(c)中的游戏区域62b)分别对应于用户存在的区域和用户不存在的区域的情况下，游戏区域编辑单元270删除用户不存在的区域(例如，游戏区域62b)。
在修改中，游戏区域编辑单元270可以保留相对较大的分离的游戏区域(例如，游戏区域62a)并删除相对较小的分离的游戏区域(例如，游戏区域62b)。此外，在用户存在于任何一个分离的游戏区域中的情况下，游戏区域编辑单元270可以删除用户不存在的一个或多个分离的游戏区域。在用户不存在于分离的游戏区域中的情况下，游戏区域编辑单元270可以删除相对小的分离的游戏区域。
这里假设用户绘制从游戏区域62的外部延伸到游戏区域62的内部并在游戏区域62内部结束的线，作为指示控制器光标66的移动轨迹的线。在这种情况下，游戏区域编辑单元270从游戏区域62删除沿着所绘制的线(即，控制器光标66的移动轨迹)延伸的区域。例如，在用户在图16(b)所示的控制器光标66的位置处结束控制器光标66的移动的情况下，从原始游戏区域62中删除控制器光标66已经通过的区域。
图17(a)至图17(d)描述了用于减少游戏区域以进行游戏区域编辑的处理的细节。在这种情况下，如图17(a)所示，当用户按下控制器140的触发器时，控制器光标66的位置位于游戏区域62之外。用户在按压触发器的同时将控制器光标66移动到游戏区域62的内部，并且进一步将控制器光标66移动到游戏区域62的外部并释放触发器。在这种情况下，如图17(b)所示，游戏区域编辑单元270与控制器光标66的移动相关联地删除填充控制器光标66的移动轨迹内的网格的对象68。
如图17(c)所示，游戏区域编辑单元270参照填充有对象68的网格提取游戏区域62的边界。如图17(d)所示，当用户释放触发器时，游戏区域编辑单元270仅建立用户存在的游戏区域62的边界，并删除用户不存在的游戏区域62。
再次参考图7进行描述。通过直到S16的处理，由游戏区域设置单元264设置的游戏区域的数据(例如，构成游戏区域的边界的点云的坐标值)被存储在游戏区域存储单元256中，游戏区域设置单元264设置的游戏区域即由用户设置并且具有期望形状的游戏区域(以下也称为“用户设置游戏区域”)。图像生成设备200的模式确定单元276参考用户设置游戏区域的数据导出用户设置游戏区域的尺寸和形状。
在用户设置游戏区域的尺寸(这里包括形状)是预定的第一阈值或更大的情况下(S17中的是)，模式确定单元276确定用户设置游戏区域是可移动游戏区域，并且确定以用户可移动模式操作VR游戏。根据实施例，在用户设置游戏区域中包含垂直长度为2米且水平长度为2米的正方形的情况下，确定用户设置游戏区域的尺寸为第一阈值或更大。模式确定单元276将表示用户设置游戏区域是可移动游戏区域的数据存储在游戏区域存储单元256中(S18)。
在用户设置游戏区域的尺寸小于第一阈值(S17中的N)但等于或大于小于第一阈值的第二阈值(S19中的Y)的情况下，模式确定单元276确定用户设置游戏区域是不可移动游戏区域，并且确定在用户不可移动模式下操作VR游戏。根据实施例，在用户设置游戏区域中包含垂直长度为1米且水平长度为1米的正方形的情况下，确定用户设置游戏区域的尺寸为第二阈值或更大。模式确定单元276将表示用户设置游戏区域是不可移动游戏区域的数据存储在游戏区域存储单元256中(S20)。
在用户设置游戏区域的尺寸小于第二阈值的情况下，即，在用户设置游戏区域中不包含垂直长度为1米且水平长度为1米的正方形(S19中的“否”)，模式确定单元276确定设置临时游戏区域。临时设置单元272使头戴式显示器100显示指示要设置临时设置区域的消息，并且经由控制器140在由用户指定的位置处设置临时游戏区域。临时游戏区域是具有固定形状(即，固定尺寸)并且对应于禁止用户编辑的区域的游戏区域。根据实施例，临时游戏区域具有半径为1.5米的圆形形状。
在设置临时游戏区域的情况下，临时设置单元272将与临时游戏区域相关联的数据存储在游戏区域存储单元256中，而不是先前存储在游戏区域存储单元256中的与用户设置游戏区域相关联的数据。例如，与临时游戏区域相关联的数据包括构成临时游戏区域的边界的点云的坐标值。此外，临时设置单元272将表示临时游戏区域是不可移动游戏区域的数据存储在游戏区域存储单元256中(S21)。
图18也是示出图像生成设备200的操作的流程图。该图示出了在VR游戏的执行期间图像生成设备200的操作。当用户通过使用图像生成设备200开始VR游戏时(S30中的是)，通知单元278将关于存储在游戏区域存储单元256中的游戏区域(用户设置游戏区域或临时游戏区域)的数据(诸如指示游戏区域的形状和尺寸的数据)发送到App执行单元290。此外，通知单元278将表示上述游戏区域是可移动游戏区域或不可移动游戏区域的数据发送到App执行单元290(S31)。
与S31中的处理同时，通知单元278通过使用显示控制单元292通知用户在玩VR游戏期间用户是可移动还是不可移动(S32)。具体地，在模式确定单元276确定以用户可移动模式操作VR游戏的情况下，即，在指示游戏区域是可移动游戏区域的数据存储在游戏区域存储单元256中的情况下，显示控制单元292使头戴式显示器100的显示面板显示指示用户在玩VR游戏期间可移动的消息。
另一方面，在模式确定单元276确定在用户不可移动模式下操作VR游戏的情况下，即，在指示游戏区域是不可移动游戏区域的数据存储在游戏区域存储单元256中的情况下，显示控制单元292使头戴式显示器100的显示面板显示指示用户在玩VR游戏期间不可移动的消息。例如，该消息可以是用于在玩VR游戏期间禁止移动的警告的消息。
图像生成设备200的App执行单元290从App存储单元254读取VR游戏的程序数据，并且开始VR游戏(S33)。例如，App执行单元290可以将游戏项目布置在绘制游戏世界的虚拟空间中的游戏区域(包括临时游戏区域)的范围内，以允许用户获取这些项目。显示控制单元292使头戴式显示器100的显示面板显示由App执行单元290形成的VR游戏的图像(例如，VR图像)。
图像生成设备200的相机图像获取单元262顺序地获取从头戴式显示器100顺序地发送的相机图像，并且位置估计单元280顺序地估计用户在现实世界中的位置和视线方向(S34)。通知单元278向App执行单元290通知由位置估计单元280估计的用户的位置和视线(S35)。App执行单元290根据由此估计的用户的位置和视线方向推进VR游戏(S36)。例如，在用户处于可移动游戏区域的情况下，App执行单元290可以根据用户在现实世界中(即，在游戏区域中)的位置的变化来移动VR游戏中的用户角色。
在用户在现实世界中的位置接近游戏区域的边界的情况下，诸如从附接到用户的头戴式显示器100到游戏区域的边界的距离是预定阈值(例如，30厘米)或更短的情况(S37中的“是”)，图像生成设备200的警告处理单元282检测到该状态。警告处理单元282对用户执行预定的警告处理(S38)。
例如，在用户的位置接近游戏区域的边界的情况下，警告处理单元282可以向显示控制单元292给出指示游戏区域的边界(例如，图12中描述的边界64)的图像。显示控制单元292可以使头戴式显示器100的显示面板显示通过将指示游戏区域的边界的图像叠加在由App执行单元290形成的游戏图像上而形成的图像作为显示图像。此外，在用户在现实世界中的位置接近游戏区域的边界或穿过游戏区域的边界的情况下，警告处理单元282可以通过使用显示控制单元292使头戴式显示器100的显示面板显示视频透视图像。此外，警告处理单元282可以首先使头戴式显示器100的显示面板在用户在现实世界中的位置接近游戏区域的边界(例如，30厘米)的情况下显示指示游戏区域的边界的图像，并且可以使头戴式显示器100的显示面板在用户在现实世界中的位置进一步朝向游戏区域的边界(例如，10厘米)移动的情况下显示视频透视图像。同时，如果用户在现实世界中的位置不靠近游戏区域的边界(S37中的“否”)，则流程跳过S38。
在满足预定结束条件的情况下，诸如用户停止执行VR游戏的情况(S39中的是)，该图中的流程结束。如果不满足结束条件(S39中的否)，则流程返回到S34以继续VR游戏。如果VR游戏未开始(S30中的否)，则跳过S31中的处理和随后的步骤。
根据实施例的图像显示系统10参考由头戴式显示器100捕获的相机图像自动检测游戏区域，然后允许用户手动编辑游戏区域。此外，为了手动编辑游戏区域，图像显示系统10提供能够实现游戏区域的扩展和缩减的用户界面(游戏区域编辑画面60)。以这种方式，图像显示系统10可以帮助用户有效地设置具有期望形状的游戏区域。
此外，根据实施例的图像显示系统10根据设置的游戏区域的尺寸自动确定是以用户可移动模式操作VR游戏，还是以用户不可移动模式操作VR游戏。能够根据设置的游戏区域的尺寸自动切换应用的操作模式的这种配置可以减少用户设置游戏区域的重复尝试，并且提高佩戴头戴式显示器100并播放应用的用户的安全性。
此外，在一些情况下，形成VR图像的应用在游戏区域中布置各种对象(例如，游戏的项目)。因此，优选地，游戏区域具有至少一定的尺寸。在用户设置游戏区域具有小尺寸的情况下(在尺寸小于上述第二阈值的情况下)，根据实施例的图像显示系统10设置具有固定形状的临时游戏区域。以这种方式，游戏区域具有至少一定的尺寸，并且由游戏区域的过小尺寸引起的对头戴式显示器100上的图像显示实现的世界视图的创建的任何损坏(例如，VR游戏的兴奋)是可避免的。
已经参考实施例描述了本发明。该实施例通过示例的方式呈现。本领域技术人员应当理解，可以对各个组成元件或各个处理过程的组合进行各种修改，并且这些修改也包括在本发明的范围内。
将说明与游戏区域的手动编辑相关联的修改。
图19(a)至图19(d)示出了用于扩展游戏区域的编辑的修改。如图19(a)至图19(c)所示，与实施例一样，用户在游戏区域编辑画面60中移动控制器光标66，以绘制从游戏区域62的内部延伸到游戏区域62的外部并返回到游戏区域62的内部的线，作为指示控制器光标66的移动轨迹的线。在这种情况下，如图19(d)所示，游戏区域编辑单元270将由所绘制的线围绕的区域添加到游戏区域62。注意，在修改中指示控制器光标66的移动轨迹的线的宽度小于在实施例中指示控制器光标66的移动轨迹的线的宽度。
这里假设用户绘制从游戏区域62的内部延伸到游戏区域62的外部并在游戏区域62的外部结束的线，作为指示控制器光标66的移动轨迹的线。在这种情况下，游戏区域编辑单元270在该修改中保持游戏区域62的先前形状。换言之，游戏区域编辑单元270取消所绘制的线，即，不扩展游戏区域62。
图20(a)和图20(b)示出了用于减小游戏区域的编辑的修改。如图20(a)所示，与实施例一样，用户在游戏区域编辑画面60中移动控制器光标66，以绘制从游戏区域62的外部延伸到游戏区域62的内部的线，并将游戏区域62留在外部作为指示控制器光标66的移动轨迹的线。在这种情况下，如图20(b)所示，游戏区域编辑单元270删除游戏区域62中由画出的线分开的部分之一。在分离的游戏区域中的一个和另一个分别对应于用户存在的区域和用户不存在的区域的情况下，游戏区域编辑单元270删除用户不存在的区域。
这里假设用户绘制从游戏区域62的外部延伸到游戏区域62的内部并在游戏区域62内部结束的线，作为指示控制器光标66的移动轨迹的线。在这种情况下，游戏区域编辑单元270在该修改中保持游戏区域62的先前形状。换言之，游戏区域编辑单元270取消所绘制的线，即，不减小游戏区域62。
上述实施例和修改的任何组合也可有效地作为实施本公开的模式。由该组合产生的新模式具有由实施例和由此组合的修改提供的各自的有利效果。此外，本领域技术人员还应当理解，由权利要求中描述的相应构成元件施加的功能通过单独或彼此协作地包括在实施例和修改中的相应构成元件来实现。
在实施例和修改中描述的技术思想可以在以下各个项中表达。
[项1-1]
一种信息处理设备，包括：
游戏区域检测单元，参考相机图像来自动检测佩戴头戴式显示器的用户在玩应用期间可移动的游戏区域，相机图像指示用户周围的空间并且由头戴式显示器的相机捕获；
显示控制单元，使头戴式显示器显示表示由游戏区域检测单元自动检测到的游戏区域的图像；以及
游戏区域编辑单元，接收由用户执行的用于编辑游戏区域的操作，并且根据该操作改变游戏区域的形状。
该信息处理设备可以帮助用户有效地设置具有期望形状的游戏区域。
[项1-2]
根据项1-1的信息处理设备，还包括：
地图生成单元，在游戏区域检测单元检测游戏区域的同时，参考相机图像生成用于估计用户的位置的地图，其中
在输入作为指示用户周围的空间并且在多个方向上捕获的多个相机图像的预定或更大数量的相机图像的情况下，地图生成单元结束用于生成地图的地图生成处理。
该信息处理设备可以提高用户位置估计的准确性。
[项1-3]
根据项1-2的信息处理设备，其中，地图生成单元参考以不同形式划分用户周围的空间的多个基准，导出指示多个输入相机图像对用户周围的空间的覆盖率的分数，并且在分数变为预定阈值或更高的情况下结束地图生成处理。
该信息处理设备可以增加用于估计用户位置的地图的完整性。
[项1-4]
一种由计算机执行的信息处理方法，该方法包括：
参考相机图像自动检测佩戴头戴式显示器的用户在玩应用期间可移动的游戏区域的步骤，相机图像指示用户周围的空间并且由头戴式显示器的相机捕获；
使头戴式显示器显示表示自动检测的游戏区域的图像的步骤；以及
接收由用户执行的编辑游戏区域的操作，并根据该操作改变游戏区域的形状的步骤。
该信息处理方法允许计算机帮助用户有效地设置具有期望形状的游戏区域。
[项1-5]
一种计算机程序，用于使计算机实现：
参考指示佩戴头戴式显示器的用户周围的空间并且由头戴式显示器的相机捕获的相机图像来自动检测用户在玩应用期间可移动的游戏区域的功能；
使头戴式显示器显示表示自动检测的游戏区域的图像的功能；以及
接收由用户执行的用于编辑游戏区域的操作并根据该操作改变游戏区域的形状的功能。
该计算机程序允许计算机帮助用户有效地设置具有期望形状的游戏区域。
[项2-1]
一种信息处理设备，包括：
存储单元，存储在佩戴头戴式显示器的用户周围的空间中的游戏区域，在该游戏区域中用户在玩应用期间可移动；
显示控制单元，使头戴式显示器显示存储在存储单元中的表示游戏区域的图像；以及
游戏区域编辑单元，接收由用户执行的用于编辑游戏区域的操作，并且根据由用户执行的操作来减小游戏区域。
该信息处理设备可以帮助用户有效地设置具有期望形状的游戏区域。
[项2-2]
根据项2-1的信息处理设备，还包括：
游戏区域检测单元，参考相机图像自动检测游戏区域，相机图像指示用户周围的空间并且由头戴式显示器的相机捕获，其中
游戏区域编辑单元根据用户执行的操作减小游戏区域检测单元自动检测到的游戏区域。
该信息处理设备可以帮助用户设置具有期望形状的游戏区域。
[项2-3]
根据项2-1或2-2的信息处理设备，其中，在用户绘制从游戏区域的外部延伸到游戏区域的内部并将游戏区域留在外部的线的情况下，游戏区域编辑单元删除由该线分开的游戏区域的一部分。
该信息处理设备可以提供能够通过直观的操作删除不必要的游戏区域的用户界面。
[项2-4]
根据项2-3的信息处理设备，其中，在游戏区域的由线分隔的部分中的一个和另一个分别对应于用户存在的区域和用户不存在的区域的情况下，游戏区域编辑单元删除用户不存在的区域。
该信息处理设备可以提供能够通过直观的操作删除不必要的游戏区域的用户界面。
[项2-5]
根据项2-3或2-4的信息处理设备，其中，在用户绘制从游戏区域的外部延伸到游戏区域的内部并在游戏区域的内部结束的线的情况下，游戏区域编辑单元删除从游戏区域沿着线延伸的区域。
该信息处理设备可以提供能够通过直观的操作删除不必要的游戏区域的用户界面。
[项2-6]
根据项2-3或2-4的信息处理设备，其中，在用户绘制从游戏区域的外部延伸到游戏区域的内部并在游戏区域的内部结束的线的情况下，游戏区域编辑单元保持游戏区域的先前形状。
该信息处理设备可防止违反用户意图而删除游戏区域。
[项2-7]
根据项2-3的信息处理设备，其中，在用户绘制从游戏区域内部延伸到游戏区域外部并返回到游戏区域内部的线的情况下，游戏区域编辑单元将由线围绕的区域添加到游戏区域。
该信息处理设备可以提供能够通过直观操作扩展游戏区域的用户界面。
[项2-8]
根据项2-7的信息处理设备，其中，在用户绘制从游戏区域内部延伸到游戏区域外部并在游戏区域外部结束的线的情况下，游戏区域编辑单元将沿着线延伸的区域添加到游戏区域。
该信息处理设备可以提供能够通过直观操作扩展游戏区域的用户界面。
[项2-9]
根据项2-7的信息处理设备，其中，在用户绘制从游戏区域内部延伸到游戏区域外部并在游戏区域外部结束的线的情况下，游戏区域编辑单元保持游戏区域的先前形状。
该信息处理设备可以防止违反用户意图的游戏区域的扩展。
[项2-10]
一种由计算机执行的信息处理方法，该计算机包括存储单元，存储单元存储在佩戴头戴式显示器的用户周围的空间中的游戏区域，在该游戏区域中用户在玩应用期间可移动，该方法包括：
使头戴式显示器显示存储在存储单元中的表示游戏区域的图像的步骤；以及
接收用户执行的编辑游戏区域的操作，并根据用户执行的操作缩小游戏区域的步骤。
该信息处理方法允许计算机帮助用户设置具有期望形状的游戏区域。
[项2-11]
一种计算机程序，用于使包括存储在佩戴头戴式显示器的用户周围的空间中的游戏区域(在该游戏区域中用户在玩应用期间可移动)的存储单元的计算机实现：
使头戴式显示器显示存储在存储单元中的表示游戏区域的图像的功能；以及
接收由用户执行的用于编辑游戏区域的操作，并且根据由用户执行的操作来缩小游戏区域的功能。
该计算机程序允许计算机帮助用户设置具有期望形状的游戏区域。
[项3-1]
一种信息处理设备，包括：
游戏区域设置单元，所述游戏区域设置单元设置佩戴头戴式显示器的用户在所述用户周围的空间中在玩应用期间可移动的游戏区域；以及
确定单元，所述确定单元根据由所述游戏区域设置单元设置的所述游戏区域的尺寸来确定以用户可移动模式操作所述应用，或者确定以用户不可移动模式操作所述应用。
该信息处理设备可增加佩戴头戴式显示器并玩应用的用户的安全性。
[项3-2]
根据项3-1的信息处理设备，其中，确定单元在游戏区域的尺寸是预定的第一阈值或更高的情况下确定以用户可移动模式操作应用，并且在游戏区域的尺寸小于第一阈值的情况下确定以用户不可移动模式操作应用。
该信息处理设备可增加佩戴头戴式显示器并玩应用的用户的安全性。
[项3-3]
根据项3-2的信息处理设备，其中，在由用户设置的游戏区域具有小于第二阈值的尺寸的情况下，代替由用户设置的游戏区域，游戏区域设置单元设置临时游戏区域，临时游戏区域是用户不可移动的游戏区域并且具有固定形状，第二阈值小于第一阈值。
该信息处理设备可以确保一定尺寸的游戏区域，并且防止由于游戏区域的尺寸过小而导致对头戴式显示器上的图像显示所实现的世界视图的创建的损坏。
[项3-4]
根据项3-1至3-3中任一项的信息处理设备，还包括：
通知单元，在确定单元确定以用户可移动模式操作应用的情况下向应用通知用户可移动的事实，并且在确定单元确定以用户不可移动模式操作应用的情况下向应用通知用户不可移动的事实。
该信息处理设备可以以适合于游戏区域尺寸的模式操作应用。
[项3-5]
根据项3-1至3-4中任一项的信息处理设备，还包括：
显示控制单元，在确定单元确定以用户不可移动模式操作应用的情况下，显示控制单元使头戴式显示器显示用户在玩应用期间不可移动的事实。
该信息处理设备可以通知用户在玩应用期间用户不可移动的事实。
[项3-6]
一种由计算机执行的信息处理方法，该方法包括：
在佩戴头戴式显示器的用户周围的空间中设置游戏区域的步骤，在该游戏区域中用户在玩应用期间可移动；以及
根据所设置的游戏区域的尺寸，确定以用户可移动模式操作应用或确定以用户不可移动模式操作应用的步骤。
该信息处理方法可以增加佩戴头戴式显示器并玩应用的用户的安全性。
[项3-7]
一种计算机程序，用于使计算机实现：
在佩戴头戴式显示器的用户周围的空间中设置游戏区域的功能，在该游戏区域中用户在玩应用期间可移动；以及
根据所设置的游戏区域的尺寸确定以用户可移动模式操作应用或确定以用户不可移动模式操作应用的功能。
该计算机程序可以增加佩戴头戴式显示器并玩应用的用户的安全性。
[工业适用性]
本发明适用于使头戴式显示器显示应用的图像的设备或系统。
[附图标记列表]
10：图像显示系统
100：头戴式显示器
200：图像生成设备
256：游戏区域存储单元
264：游戏区域设置单元
266：游戏区域检测单元
270：游戏区域编辑单元
272：临时设置单元
274：地图生成单元
276：模式确定单元
292：显示控制单元。

Claims (7)

1.一种信息处理设备，包括：
游戏区域设置单元，在佩戴头戴式显示器的用户周围的空间中设置游戏区域，在所述游戏区域中所述用户在玩应用期间能够移动；以及
确定单元，根据由所述游戏区域设置单元设置的所述游戏区域的尺寸，确定以用户可移动模式操作所述应用或确定以用户不可移动模式操作所述应用。
2.根据权利要求1所述的信息处理设备，其中，所述确定单元在所述游戏区域的所述尺寸是预定的第一阈值或更大的情况下确定以所述用户可移动模式操作所述应用，并且在所述游戏区域的尺寸小于所述第一阈值的情况下确定以所述用户不可移动模式操作所述应用。
3.根据权利要求2所述的信息处理设备，其中，在由所述用户设置的所述游戏区域具有小于第二阈值的尺寸的情况下，所述游戏区域设置单元设置临时游戏区域来代替由所述用户设置的所述游戏区域，所述临时游戏区域是用户不可移动的游戏区域并且具有固定形状，所述第二阈值小于所述第一阈值。
4.根据权利要求1所述的信息处理设备，还包括：
通知单元，所述通知单元在所述确定单元确定以所述用户可移动模式操作所述应用的情况下向所述应用通知所述用户可移动，并且在所述确定单元确定以所述用户不可移动模式操作所述应用的情况下向所述应用通知所述用户不可移动。
5.根据权利要求1所述的信息处理设备，还包括：
显示控制单元，在所述确定单元确定以所述用户不可移动模式操作所述应用的情况下，所述显示控制单元使所述头戴式显示器显示所述用户在玩所述应用期间不可移动。
6.一种由计算机执行的信息处理方法，所述方法包括：
在佩戴头戴式显示器的用户周围的空间中设置游戏区域的步骤，在所述游戏区域中所述用户在玩应用期间能够移动；以及
根据所设置的游戏区域的尺寸，确定以用户可移动模式操作所述应用或确定以用户不可移动模式操作所述应用的步骤。
7.一种计算机程序，用于使计算机实现：
在佩戴头戴式显示器的用户周围的空间中设置游戏区域的功能，在所述游戏区域中所述用户在玩应用期间能够移动；以及
根据所设置的游戏区域的尺寸，确定以用户可移动模式操作所述应用或确定以用户不可移动模式操作所述应用的功能。
CN202280038363.7A 2021-07-21 2022-06-21 信息处理设备、信息处理方法和计算机程序 Pending CN117396924A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021-120406 2021-07-21
JP2021120406A JP2023016227A (ja) 2021-07-21 2021-07-21 情報処理装置、情報処理方法およびコンピュータプログラム
PCT/JP2022/024697 WO2023002793A1 (ja) 2021-07-21 2022-06-21 情報処理装置、情報処理方法およびコンピュータプログラム

Publications (1)

Publication Number Publication Date
CN117396924A true CN117396924A (zh) 2024-01-12

Family

ID=84979973

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280038363.7A Pending CN117396924A (zh) 2021-07-21 2022-06-21 信息处理设备、信息处理方法和计算机程序

Country Status (4)

Country Link
EP (1) EP4375945A1 (zh)
JP (1) JP2023016227A (zh)
CN (1) CN117396924A (zh)
WO (1) WO2023002793A1 (zh)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021140194A (ja) * 2018-05-24 2021-09-16 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム

Also Published As

Publication number Publication date
EP4375945A1 (en) 2024-05-29
WO2023002793A1 (ja) 2023-01-26
JP2023016227A (ja) 2023-02-02

Similar Documents

Publication Publication Date Title
US10845969B2 (en) System and method for navigating a field of view within an interactive media-content item
US10864433B2 (en) Using a portable device to interact with a virtual space
US7292240B2 (en) Virtual reality presentation device and information processing method
US10671239B2 (en) Three dimensional digital content editing in virtual reality
US9728011B2 (en) System and method for implementing augmented reality via three-dimensional painting
US20210038975A1 (en) Calibration to be used in an augmented reality method and system
WO2018086532A1 (zh) 一种监控视频的显示控制方法及装置
WO2020050103A1 (ja) 仮想視点の制御装置及びその制御方法
JP6661756B2 (ja) 画像生成装置、画像生成方法及びプログラム
JP2020181263A (ja) 画像生成装置および情報提示方法
CN117396924A (zh) 信息处理设备、信息处理方法和计算机程序
JP6563592B2 (ja) 表示制御装置、表示制御方法及びプログラム
CN117677981A (zh) 信息处理设备、信息处理方法和计算机程序
EP4374941A1 (en) Information processing device, information processing method, and computer program
WO2023140004A1 (ja) 情報処理装置および情報処理方法
US20240078767A1 (en) Information processing apparatus and information processing method
JP2004220626A (ja) 画像処理装置
JP2001175890A (ja) ３次元画像形成システム、３次元画像形成方法および入力装置
WO2023157471A1 (ja) 情報処理装置および情報処理方法
WO2024038787A1 (ja) 情報処理装置および情報処理方法
JP2010125040A (ja) 画像処理装置
WO2023149125A1 (ja) 情報処理装置および情報処理方法
CN112189340A (zh) 3dar内容制作装置、3dar内容再现装置及3dar内容制作系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination