CN117677981A - 信息处理设备、信息处理方法和计算机程序 - Google Patents

信息处理设备、信息处理方法和计算机程序 Download PDF

Info

Publication number
CN117677981A
CN117677981A CN202280050367.7A CN202280050367A CN117677981A CN 117677981 A CN117677981 A CN 117677981A CN 202280050367 A CN202280050367 A CN 202280050367A CN 117677981 A CN117677981 A CN 117677981A
Authority
CN
China
Prior art keywords
play area
user
unit
mounted display
play
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280050367.7A
Other languages
English (en)
Inventor
野村雅则
南野孝范
米富翔威
村瀬百合香
西部满
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Publication of CN117677981A publication Critical patent/CN117677981A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/23—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console
    • A63F13/235—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console using a wireless connection, e.g. infrared or piconet
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/69—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor by enabling or updating specific game elements, e.g. unlocking hidden features, items, levels or versions
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Cardiology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optics & Photonics (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)

Abstract

图像生成设备200基于相机图像自动检测游乐区域，该相机图像由头戴式显示器100的相机捕获并且示出用户的周围空间。图像生成设备200使头戴式显示器100显示指示自动检测到的游乐区域的图像。图像生成设备200从控制器140接收编辑游乐区域的用户操作，并根据该操作改变游乐区域的形状。

Description

信息处理设备、信息处理方法和计算机程序
技术领域
本发明涉及一种数据处理技术，并且具体地涉及一种信息处理设备、信息处理方法和计算机程序。
背景技术
用于允许佩戴头戴式显示器的用户从任何视点自由地享受目标空间的图像显示系统被广泛使用。例如，存在将虚拟三维(3D)空间指定为显示目标并且在头戴式显示器上显示与用户的视线方向相对应的图像以实现虚拟现实(VR)的已知电子内容。头戴式显示器的使用可以增加沉浸到视频中的感觉并改善诸如游戏的应用的可操作性。已经进一步开发了一种漫游系统，其允许佩戴头戴式显示器的用户在附接有头戴式显示器的情况下通过物理移动在显示为视频的空间周围虚拟地行走。
发明内容
[技术问题]
佩戴头戴式显示器的用户在玩(play)应用期间可移动的范围需要根据用户的房间的大小和布置在用户的房间中的环境(诸如家具和物品)来限制。
本发明是为了解决上述问题而开发的。本发明的一个目的是提供一种用于实现游乐(play)区域的设置辅助的技术，其中佩戴头戴式显示器的用户在玩应用期间可移动。
[问题的解决方案]
为了解决上述问题，根据本发明的一方面的信息处理设备包括：游乐区域检测单元，参考相机图像来自动检测佩戴头戴式显示器的用户在玩应用期间可移动的游乐区域，该相机图像指示用户周围的空间并且由头戴式显示器的相机捕获；显示控制单元，使头戴式显示器显示由游乐区域检测单元自动检测的表示游乐区域的图像，以及游乐区域编辑单元，接收由用户执行的编辑游乐区域的操作，并且根据该操作改变游乐区域的形状。
本发明的另一方面涉及一种信息处理方法。该方法由计算机执行，并且包括参考相机图像来自动检测佩戴头戴式显示器的用户在玩应用期间可移动的游乐区域的步骤，该相机图像指示用户周围的空间并且由头戴式显示器的相机捕获；使头戴式显示器显示表示自动检测到的游乐区域的图像的步骤，以及接收由用户执行的编辑游乐区域的操作并且根据该操作改变游乐区域的形状的步骤。
注意，上述构成元素的任何组合以及转换为系统、计算机程序、可读地记录计算机程序的记录介质、数据结构等的表达的本发明的表达也作为本发明的模式是有效的。
[发明的有益效果]
本发明实现游乐区域的设置辅助，其中佩戴头戴式显示器的用户在玩应用期间可移动。
附图说明
图1是示出头戴式显示器的外观示例的图。
图2是示出根据实施例的图像显示系统的配置示例的图。
图3是用于说明由图像生成设备在头戴式显示器上显示的图像世界的示例的图。
图4是示出图像生成设备的内部电路配置的图。
图5是示出头戴式显示器的内部电路配置的图。
图6是示出图像生成设备的功能块的框图。
图7是示出图像生成设备的操作的流程图。
图8是示意性地示出当设置游乐区域时用户的行为的图。
图9是示出相机图像的示例的图。
图10是示出关键帧的示例的图。
图11是示出多个箱(bin)的图。
图12是示出游乐区域编辑画面的示例的图。
图13(a)到图13(d)是示出用于扩展游乐区域的编辑的示例的图。
图14(a)到图14(d)是示出用于在游乐区域编辑画面中设置游乐区域的处理的细节的图。
图15(a)到图15(e)是示出用于扩展游乐区域的处理的细节的图。
图16(a)到图16(d)是示出用于减小游乐区域的编辑的示例的图。
图17(a)至图17(d)是示出用于减小游乐区域的处理的细节的图。
图18是示出图像生成设备的操作的流程图。
图19(a)到图19(d)是示出用于扩展游乐区域的编辑的修改的图。
图20(a)到图20(b)示出了用于减小游乐区域的编辑的修改。
具体实施方式
本实施例涉及一种图像显示系统，其在附接到用户头部的头戴式显示器上显示应用的图像。图1示出了头戴式显示器100的外观的示例。根据实施例的头戴式显示器100包括输出机构单元102和附接机构单元104。附接机构单元104包括附接带106，附接带106附接在用户的头部周围，以在用户穿戴设备时实现设备的固定。
输出机构单元102包括壳体108，壳体108被成形为在头戴式显示器100附接到用户的状态下覆盖用户的左眼和右眼，并且在附接状态下将显示面板容纳在面向眼睛的位置中。假设根据实施例的头戴式显示器100的显示面板不透明。换句话说，根据实施例的头戴式显示器100是不透明型头戴式显示器。
壳体108还可以将眼用透镜容纳在内部，以便在头戴式显示器100的附接状态下位于显示面板和用户的眼睛之间，以扩展用户的视角。头戴式显示器100还可以在与处于附接状态的用户的耳朵相对应的位置处包括扬声器和耳机。此外，头戴式显示器100具有内置运动传感器，以检测佩戴头戴式显示器100的用户的头部的平移运动或旋转运动以及每次头部的位置和姿势。
此外，头戴式显示器100包括在壳体108的前表面上的立体相机110。立体相机110捕获对应于用户的视线的视野中的周围真实空间的视频。通常称为视频透视的内容(其在用户按原样面对的方向上呈现真实空间的状态)可通过捕获图像的即时显示来实现。此外，增强现实(AR)可通过在捕获图像中包含的真实对象的图像上绘制虚拟对象的图像来实现。
图2示出了根据实施例的图像显示系统10的配置示例。图像显示系统10包括头戴式显示器100、图像生成设备200和控制器140。头戴式显示器100通过无线通信连接到图像生成设备200。图像生成设备200还可以经由网络连接到服务器。在这种情况下，服务器可以向图像生成设备200提供在线应用(诸如允许多个用户经由网络参与的游戏)的数据。
图像生成设备200是信息处理设备，其参考佩戴头戴式显示器100的用户的头部的位置和姿势指定视点的位置和视线的方向，形成与指定的位置和方向相对应的视野的显示图像，并将显示图像输出到头戴式显示器100。例如，图像生成设备200可在推进游戏的同时形成与电子游戏的舞台相对应的虚拟世界的显示图像，或者显示用于欣赏或用于提供信息的运动图像，而不管运动图像是与虚拟世界还是真实世界相关联。此外，图像生成设备200能够通过使头戴式显示器100围绕用户的视点显示具有宽视角的全景图像来给予用户深度沉浸到显示世界中的感觉。注意，图像生成设备200可以是固定游戏机或PC(个人计算机)。
控制器140是由用户的手握持并且接收由用户执行以控制由图像生成设备200进行的图像生成或由头戴式显示器100进行的图像显示的操作的输入的控制器(例如，游戏控制器)。控制器140通过无线通信连接到图像生成设备200。在变型中，头戴式显示器100和控制器140中的任一者或两者可以使用信号电缆等通过有线通信连接到图像生成设备200。
图3是用于说明在图像生成设备200的操作下由头戴式显示器100显示的图像世界的示例的图。在该示例中产生的是这样的状态，其中用户12存在于对应于虚拟空间的房间中。如图所示，诸如墙壁、地板、窗户、桌子和桌子上的物品之类的对象被布置在定义虚拟空间的世界坐标系中。图像生成设备200根据视点的位置和用户12的视线的方向在该世界坐标系中定义观看屏幕14，并且在观看屏幕14中呈现对象的图像以绘制显示图像。
图像生成设备200以预定速率从头戴式显示器100获取用户12的视点的位置和视线的方向(在下文中，这些位置和方向在一些情况下将统称为“视点”)，并且根据所获取的位置和方向改变观看屏幕14的位置和方向。以此方式，允许头戴式显示器100在对应于用户视点的视野中显示图像。此外，图像生成设备200还能够通过形成其间具有视差的立体图像并使头戴式显示器100在显示面板的左区域和右区域中显示立体图像来向用户12呈现虚拟空间的三维视图。以这种方式，允许用户12体验虚拟现实，其中用户12感觉好像他或她存在于显示世界的房间中。
图4示出了图像生成设备200的内部电路配置。图像生成设备200包括CPU(中央处理单元)222、GPU(图形处理单元)224和主存储器226。这些单元经由总线230彼此连接。输入/输出接口228还连接到总线230。通信单元232、存储单元234、输出单元236、输入单元238和记录介质驱动单元240连接到输入/输出接口228。
通信单元232包括诸如USB(通用串行总线)和IEEE(电气和电子工程师协会)1394的外围设备接口，以及诸如有线LAN(局域网)和无线LAN的网络接口。存储单元234包括硬盘驱动器、非易失性存储器等。输出单元236将数据输出到头戴式显示器100。输入单元238从头戴式显示器100接收数据输入，并且从控制器140接收数据输入。记录介质驱动单元240驱动诸如磁盘、光盘或半导体存储器的可移动记录介质。
CPU 222执行存储在存储单元234中的操作系统，以控制整个图像生成设备200。此外，CPU 222执行从存储单元234或可移除记录介质读取并加载到主存储器226或经由通信单元232下载的各种程序(例如，VR游戏应用)。具有几何引擎功能和渲染处理器功能的GPU224根据从CPU 222发出的图像绘制命令执行图像绘制处理，并将绘制结果输出到输出单元236。主存储器226包括RAM(随机存取存储器)，并存储处理所需的程序和数据。
图5示出了头戴式显示器100的内部电路配置。头戴式显示器100包括CPU 120、主存储器122、显示单元124和音频输出单元126。这些单元经由总线128彼此连接。输入/输出接口130还连接到总线128。包括无线通信接口的通信单元132、运动传感器134和立体相机110连接到输入/输出接口130。
CPU 120处理经由总线128从头戴式显示器100的各个单元获取的信息，并且将从图像生成设备200获取的显示图像和音频数据提供给显示单元124和音频输出单元126。主存储器122存储CPU 120处理所需的程序和数据。
显示单元124包括诸如液晶面板和有机EL(电致发光)面板的显示面板，并且在佩戴头戴式显示器100的用户的眼睛之前显示图像。显示单元124可以通过在与左眼和右眼对应的区域中显示一对立体图像来提供三维视图。显示单元124还可以包括位于显示面板和佩戴头戴式显示器100的用户的眼睛之间的一对透镜，以扩展用户的视角。
音频输出单元126包括设置在与佩戴头戴式显示器100的用户的耳朵相对应的位置处的扬声器和耳机，以允许用户听到声音。通信单元132是用于向图像生成设备200发送数据和从图像生成设备200接收数据的接口，并且通过诸如蓝牙(注册商标)的已知无线通信技术来实现通信。运动传感器134包括陀螺仪传感器和加速度计，并且获取头戴式显示器100的角速度和加速度。
如图1所示，立体相机110包括一对视频相机，用于分别从左视点和右视点捕获与用户的视点相对应的视野中的周围真实空间的图像。由立体相机110捕获并指示用户周围空间的图像在下文中也将被称为“相机图像”，相机图像也被认为是包含存在于用户的视线方向上(通常在用户前方)的对象的图像。由运动传感器134获得的测量值和关于由立体相机110获得的捕获图像(相机图像)的数据根据需要经由通信单元132发送到图像生成设备200。
根据实施例的图像显示系统10设置游乐区域，该游乐区域指定佩戴头戴式显示器100的用户在玩应用时可移动的现实世界的范围。游乐区域被认为是允许用户在用户周围的空间(在用户周围延伸的现实世界的空间)中观看和收听虚拟现实的图像(下文中也称为“VR图像”)时四处移动的区域或范围。在用户试图离开游乐区域或在玩应用时已经离开游乐区域的情况下，图像显示系统10向用户发出警告以引起注意或敦促返回游乐区域。
上述应用被假定为使头戴式显示器100显示VR图像的游戏应用，并且在下文中也将被称为“VR游戏”。例如，VR游戏可以是网球游戏，其显示表示虚拟世界中的网球场的VR图像，并且与用户在现实世界中的移动(例如，行走)相关联地改变角色在虚拟世界的网球场中的位置。
将示出根据实施例的图像显示系统10的第一特征。在第一步骤中，图像生成设备200自动检测佩戴头戴式显示器100的用户在玩应用时可移动的游乐区域。在第一步骤之后的第二步骤中，图像生成设备200接收由用户执行的用于编辑自动检测到的游乐区域的操作，并且根据该操作改变游乐区域的形状。以这种方式，图像生成设备200帮助用户有效地设置具有期望形状的游乐区域。
将示出根据实施例的图像显示系统10的第二特征。当用户手动编辑游乐区域时，图像生成设备200根据由用户执行的操作来减小游乐区域。例如，图像生成设备200提供用户界面，该用户界面将被操作用于游乐区域的手动编辑，并且还被配置为接收从游乐区域排除的区域的指定。图像生成设备200经由用户界面从游乐区域删除由用户指定的区域。以这种方式，图像生成设备200帮助用户有效地设置期望的游乐区域。
将示出根据实施例的图像显示系统10的第三特征。图像生成设备200根据游乐区域的大小自动切换考虑设置的游乐区域(根据实施例的VR游戏)而形成VR图像的应用的操作模式。具体地，图像生成设备200根据设置的游乐区域的大小来确定是以用户可移动模式操作应用还是以用户不可移动模式操作应用。以这种方式，应用的操作模式可根据游乐区域的大小自动切换。
图6是示出图像生成设备的功能块的框图。如上所述，图像生成设备200执行普通信息处理，诸如VR游戏的前进和与服务器的通信。图6特别地示出了与游乐区域的设置相关联的功能块的细节。注意，图6中示出的图像生成设备200的至少一些功能可以安装在经由网络连接到图像生成设备200的服务器上。
另外，图6中示出的多个功能块可以通过诸如图4中示出的CPU 222、GPU 224、主存储器226和存储单元234的配置在硬件方面来实现，并且可以通过结合多个功能块的功能的计算机程序在软件方面来实现。因此，本领域技术人员应当理解，这些功能块可以以各种形式实现，例如仅硬件、仅软件以及两者的组合。因此，这些功能块并不旨在限于任何特定形式。
图像生成设备200包括数据处理单元250和数据存储单元252。数据处理单元250执行各种类型的数据处理。数据处理单元250经由图4中示出的通信单元232、输出单元236和输入单元238将数据发送到头戴式显示器100和控制器140以及从头戴式显示器100和控制器140接收数据。数据存储单元252存储由数据处理单元250引用或更新的数据。
数据存储单元252包括应用存储单元254、游乐区域存储单元256和地图存储单元258。应用存储单元254存储形成VR图像的应用(根据实施例的VR游戏)的数据。
游乐区域存储单元256存储与游乐区域相关联的数据。与游乐区域相关联的数据包括指示构成游乐区域的边界的点云的位置的数据(例如，世界坐标系中的相应点的坐标值)。
地图存储单元258存储用于估计头戴式显示器100的位置(即，佩戴头戴式显示器100的用户的位置)的地图数据。根据实施例的地图数据对应于图像(图像中包含的特征点)，每个图像指示用户玩VR游戏的房间，并且包括一组图像(图像中包含的特征点)，每个图像的位置关系(位置和方向)已被阐明。具体地，地图数据包括头戴式显示器100的多组位置、视线方向和彼此相关联的关键帧。注意，地图数据可以包括通常称为自位置估计所需的其他项目。
包括在特定集合中的关键帧对应于指示在同一集合的一个位置处和视线方向上观看的图像的特征的数据。关键帧是通过使用由头戴式显示器100的立体相机110捕获的图像生成的图像(下文中也称为“相机图像”)，并且也是包含预定数量或更多特征点的图像。要包含在关键帧中的特征点的数量可以是24或更大。特征点可以包括通过已知的角点检测方法检测的角点，并且可以参考亮度的斜率来检测。关键帧也被认为是从相机图像切割的一组部分图像。
数据处理单元250包括系统单元260、应用执行单元290和显示控制单元292。多个这些功能块的功能可以并入计算机程序中。图像生成设备200的CPU 222和GPU 224可将上述计算机程序从存储单元234或记录介质读取到主存储器226中，并执行计算机程序以发挥上述多个功能块的功能。
应用执行单元290从应用存储单元254读取由用户选择的应用(根据实施例的VR游戏)的数据，并执行由用户选择的应用。显示控制单元292将由系统单元260和应用执行单元290形成的各种图像(例如，VR图像和AR图像)的数据发送到头戴式显示器100，并且使头戴式显示器100的显示单元124(显示面板)显示这些图像。
系统单元260执行与头戴式显示器100相关联的系统处理。系统单元260为头戴式显示器100的多个应用(例如，VR游戏)提供公共服务。系统单元260包括相机图像获取单元262、游乐区域设置单元264、地图生成单元274、模式确定单元276、通知单元278、位置估计单元280和警告处理单元282。
相机图像获取单元262获取从头戴式显示器100发送并由头戴式显示器100的立体相机110捕获的相机图像。
执行用于游乐区域设置辅助的各种处理的游乐区域设置单元264参考由相机图像获取单元262获取的相机图像和经由控制器140从用户输入的操作来设置游乐区域。游乐区域设置单元264包括游乐区域检测单元266、地板表面设置单元268、游乐区域编辑单元270和临时设置单元272。
游乐区域检测单元266参考由相机图像获取单元262获取的相机图像，从佩戴头戴式显示器100的用户周围的空间自动检测游乐区域。地板表面设置单元268接收由用户执行以编辑由游乐区域检测单元266检测为游乐区域的地板表面的高度的操作，并且根据该操作改变地板表面的高度。
游乐区域编辑单元270接收用户执行的用于编辑游乐区域检测单元266自动检测到的游乐区域的操作，并根据该操作改变游乐区域的形状。例如，游乐区域编辑单元270根据从用户接收的操作减小游乐区域检测单元266自动检测到的游乐区域。
在由用户设置的游乐区域具有小于预定阈值的尺寸的情况下，临时设置单元272设置临时有效的临时游乐区域，而不是由用户设置的游乐区域(即，在由用户手动编辑之后可用的游乐区域)。临时游乐区域是用户不可移动的游乐区域(换句话说，禁止用户移动的游乐区域)，并且也是具有固定形状的游乐区域。
地图生成单元274在游乐区域检测单元266检测游乐区域的同时，生成用于参考由相机图像获取单元262获取的相机图像来估计用户的位置的地图。地图生成单元274将生成的地图数据存储在地图存储单元258中。在输入作为指示用户周围的空间并且在多个方向上捕获的多个相机图像的预定或更大数量的相机图像的情况下，地图生成单元274结束地图生成。
模式确定单元276根据由游乐区域设置单元264设置的游乐区域的大小(在用户根据实施例手动编辑之后可用的游乐区域)来确定以用户可移动模式操作VR游戏或者确定以用户不可移动模式操作VR游戏。模式确定单元276在游乐区域的大小是预定阈值或更大的情况下确定以用户可移动模式操作VR游戏，或者在游乐区域的大小小于阈值的情况下确定以用户不可移动模式操作VR游戏。
通知单元278向应用执行单元290通知由应用执行单元290执行VR游戏所需的信息。例如，在模式确定单元276确定以用户可移动模式操作VR游戏的情况下，通知单元278将指示用户可移动的数据发送到VR游戏(应用执行单元290根据实施例执行VR游戏)。同时，在模式确定单元276确定以用户不可移动模式操作VR游戏的情况下，通知单元278将指示用户不可移动的数据发送到VR游戏(应用执行单元290根据实施例执行VR游戏)。
位置估计单元280参考存储在地图存储单元258中的地图数据和由相机图像获取单元262获取的相机图像来估计用户在现实世界中的位置，即，用户在游乐区域中的位置。例如，位置估计单元280可以利用相机图像检查地图数据中包括的多个关键帧，并且参考该检查结果以及头戴式显示器100的位置和与相应关键帧相关联的视线方向来估计用户的位置。可替代地，位置估计单元280可以通过使用诸如SLAM(同时定位和映射)的已知的自位置估计技术来估计用户的位置。警告处理单元282根据游乐区域的边界和用户的位置之间的关系为用户执行警告处理。
将示出如上配置的图像显示系统10的操作。
图7是示出图像生成设备200的操作的流程图。该图示出了用于设置游乐区域而执行的图像生成设备200的操作。允许用户从头戴式显示器100的系统的设置菜单中选择默认设置或重置游乐区域。在选择游乐区域的默认设置或重置的情况下，图像生成设备200的游乐区域设置单元264通过使用显示控制单元292使头戴式显示器100显示用于促使用户环顾四周的消息。
图8示意性地示出了为设置游乐区域而执行的用户行为。用户将头戴式显示器100附接到他或她的头部，并且在环顾四周的同时在房间30中移动。图8中示出的每个用户32指示此时用户的位置。箭头34中的每一个指示用户的视线方向。游乐区域36指示要设置的游乐区域的示例。在执行下面示出的S10至S12(游乐区域检测处理和地图生成处理)期间，图像生成设备200的游乐区域设置单元264通过使用显示控制单元292使头戴式显示器100的显示面板显示由相机图像获取单元262获取的相机图像，换句话说，执行视频透视，用于在用户面向的方向上向用户呈现真实空间的状态。以这种方式，增加了用户的安全性。
头戴式显示器100将多个相机图像的数据顺序地发送到图像生成设备200。所述多个相机图像的所述多条数据中的每条数据包括在形成相应的相机图像时的传感器数据。传感器数据包括由运动传感器134获得的测量值，诸如头戴式显示器100的角速度和加速度。再次参考图7示出，图像生成设备200的相机图像获取单元262获取从头戴式显示器100发送的相机图像的数据(S10)。
图像生成设备200的游乐区域检测单元266参考在S10中获取的相机图像自动检测用户周围的空间中的游乐区域(S11)。具体地，游乐区域检测单元266可以通过参考相机图像和与相机图像对应的传感器数据使用已知方法来估计用户的房间的3D形状。游乐区域检测单元266可以参考房间的估计的3D形状来检测垂直于由传感器数据指示的重力方向的平面(通常是地板表面)，并且检测具有与游乐区域相同高度的多个检测到的平面的合成结果。游乐区域检测单元266在游乐区域存储单元256中存储包括构成游乐区域的边界的点云的坐标值的游乐区域数据。
在游乐区域的检测期间，游乐区域检测单元266检测对应于游乐区域的地板表面的高度。地板表面的高度可以是地板表面与头戴式显示器100之间在重力方向上的距离。游乐区域检测单元266将表示地板表面的高度的数据存储在游乐区域存储单元256中。在头戴式显示器100的位置位于原点的情况下，地板表面的高度可以是例如-1米的高度。
图像生成设备200的地图生成单元274与S11中的处理同时地参照在S10中获取的相机图像生成要用于估计用户的位置的地图(S12)。图9示出相机图像的示例，而图10示出关键帧的示例。地图生成单元274通过使用诸如角点检测方法的已知方法提取相机图像40中包括的多个特征点44，并生成指示所提取的多个特征点44的关键帧42。在从一个相机图像40提取24个或更多个特征点44的情况下，地图生成单元274将包括24个或更多个提取的特征点44的关键帧42存储在地图存储单元258中，同时将关键帧42与由传感器数据指定的用户的位置和视线方向相关联。
地图生成单元274存储多个基准(以下称为“箱”)，每个基准用于导出指示输入相机图像(根据实施例从相机图像生成的关键帧)对用户周围空间的覆盖率的分数。多个箱是以不同形式划分用户周围的空间的多个基准。
图11示出了多个箱。箱50、52和54中的每一个将用户的位置设置在中心，并且利用与重力方向对准的轴划分用户周围的空间。箱50是参考用户在游乐区域设置开始处的视线方向和垂直于视线方向的方向将用户周围的空间划分为四个分区的基准，每个分区的中心角为90度。箱52是从箱50相移45度之后的基准。箱54是将用户周围的空间划分为16个分区的基准，每个分区的中心角为22.5度。通过划分用户周围的空间并由相应的箱50、52和54指定而产生的区域在下文中将被称为“划分区域”
地图生成单元274关于箱50、52和54导出指示多个输入相机图像(根据实施例从相机图像生成的关键帧)对用户周围的空间的覆盖率的分数。在分数变为预定阈值或更高的情况下，地图生成单元274结束地图生成处理。
具体地，在从相机图像生成关键帧的情况下，地图生成单元274假设对于箱50、52和54中的每一个箱填充与已经获取关键帧的视线方向一致的划分区域，并且将填充的划分区域的总数计数为箱中的每一个箱的分数。当生成新的关键帧时，地图生成单元274通过使用类似的算法将新填充的划分区域的数量添加到每个箱的分数。
再次参考图7示出，当分数低于阈值“10”(在S13中为N)时，流程返回到S10以在实施例中继续游乐区域检测处理和地图生成处理。在分数变为阈值“10”或更高的情况下(S13中的“是”)，游乐区域检测单元266结束游乐区域检测处理，并且地图生成单元274结束地图生成处理。分数的阈值“10”被确定为当佩戴头戴式显示器100的用户四处看180度时达到的值，但在用户不四处看的情况下未达到的值。
在执行游乐区域检测处理和地图生成处理之后，图像生成设备200的地板表面设置单元268参考指示地板表面的高度并存储在游乐区域存储单元256中的数据来生成地板表面调整画面。地板表面调整画面可以包括通过将指示地板表面的对象(例如，半透明和网格状对象)叠加在由相机图像获取单元262获取的相机图像上而形成的AR图像。地板表面设置单元268通过使用显示控制单元292使头戴式显示器100的显示面板显示地板表面调整画面。地板表面设置单元268接收用户输入到地板表面调整画面的操作以调整地板表面的高度，并且根据用户输入的操作改变地板表面的高度。地板表面设置单元268将指示地板表面的改变的高度的数据存储在游乐区域存储单元256中(S14)。
图像生成设备200的游乐区域编辑单元270形成表示由游乐区域检测单元266自动检测的游乐区域的图像。具体地，游乐区域编辑单元270参照存储在游乐区域存储单元256中的游乐区域数据生成游乐区域编辑画面。游乐区域编辑画面包括通过将指示游乐区域的对象叠加在由相机图像获取单元262获取的相机图像上而形成的AR图像。图像生成设备200的显示控制单元292使头戴式显示器100的显示面板显示游乐区域编辑画面(S15)。
图12示出了游乐区域编辑画面的示例。游乐区域编辑画面60包括游乐区域62和边界64。游乐区域62是指示游乐区域(通常是没有障碍物的地板表面)的图像。例如，游乐区域62可以是指示半透明和网格状物体的图像。边界64是指示游乐区域62的边界的图像，并且也是在游乐区域62的边界处垂直穿过游乐区域的图像。例如，边界64也可以是半透明和网格形状的物体。
再次参照图7进行说明，游乐区域编辑单元270接收用户输入到游乐区域编辑画面60的操作以编辑游乐区域62。游乐区域编辑单元270根据用户输入的操作来改变游乐区域62的形状，即，根据用户输入的操作来扩大或缩小游乐区域62。游乐区域编辑单元270将已经经历形状改变的游乐区域62的数据(例如，构成边界的点云的坐标值)存储在游乐区域存储单元256中，以更新存储在游乐区域存储单元256中的游乐区域数据(S16)。
图13(a)至图13(d)是从上方观察的图12中的游乐区域编辑画面60的图示，并且示出了用于扩展游乐区域62的编辑的示例。控制器光标66是指示由佩戴头戴式显示器100的用户输入到控制器140的操作指定的位置的对象。例如，控制器140可以具有作为定点设备的功能，并且游乐区域编辑单元270可以在虚拟空间中在由控制器140指定的位置处显示控制器光标66。
如图13(a)至图13(c)所示，用户在游乐区域编辑画面60中移动控制器光标66，以绘制从游乐区域62内部延伸到游乐区域62外部并返回到游乐区域62内部的线，作为指示控制器光标66的移动轨迹的线。在这种情况下，如图13(d)所示，游乐区域编辑单元270将由所绘制的线围绕的区域添加到游乐区域62。
这里假设用户绘制从游乐区域62的内部延伸到游乐区域62的外部并在游乐区域62的外部结束的线，作为指示控制器光标66的移动轨迹的线。在这种情况下，游乐区域编辑单元270将沿着所绘制的线(即，控制器光标66的移动轨迹)延伸的区域添加到游乐区域62。例如，在用户在图13(b)中指示的控制器光标66的位置处结束控制器光标66的移动(即，画线)的情况下，从原始游乐区域62向右延伸的窄区域被添加到游乐区域62。
图14(a)到图14(d)示出了在用于编辑游乐区域的游乐区域编辑画面60中设置游乐区域的处理的细节。如图14(a)所示，游乐区域编辑单元270获取由游乐区域检测单元266自动检测的游乐区域62的数据。如图14(b)所示，游乐区域编辑单元270将自动检测到的游乐区域62转换为网格，即，将游乐区域62排列在网格上。
如图14(c)所示，游乐区域编辑单元270用对象68填充游乐区域62内的网格。根据该示例，一个对象68设置在一个网格交叉点处。如图14(d)所示，游乐区域编辑单元270参考填充有对象68的网格提取游乐区域62的边界，并建立游乐区域62的边界线。
图15(a)到图15(e)示出了用于扩展游乐区域以便编辑游乐区域的处理的细节。在这种情况下，如图15(a)所示，当用户按下控制器140的触发器(即，为显示控制器光标66提供机会的输入单元)时，控制器光标66的位置位于游乐区域62内。用户在按压触发器的同时将控制器光标66移动到游乐区域62的外部，并且进一步将控制器光标66移动到游乐区域62的内部并释放触发器。在这种情况下，如图15(b)所示，游乐区域编辑单元270用与控制器光标66的移动相关联的对象68填充控制器光标66的移动轨道内的网格。
如图15(c)所示，游乐区域编辑单元270参考填充有对象68的网格提取游乐区域62的边界。如图15(d)所示，当用户释放触发器时，游乐区域编辑单元270建立游乐区域62的边界。在存在多个边界的情况下，游乐区域编辑单元270选择定义较大范围的边界，即外边界。如图15(e)所示，游乐区域编辑单元270用对象68填充边界内的网格。
图16(a)至图16(d)是从上方观察的图12中的游乐区域编辑画面60的图示，并且示出了用于减少游乐区域62的编辑的示例。如图16(a)至图16(c)所示，用户在游乐区域编辑画面60中移动控制器光标66，以绘制从游乐区域62的外部延伸到游乐区域62的内部并将游乐区域62留在外部的线，作为指示控制器光标66的移动轨迹的线。在这种情况下，如图16(d)所示，游乐区域编辑单元270删除游乐区域62中由画出的线分开的部分之一。
根据实施例，在用户存在于分离的游乐区域之一的情况下，游乐区域编辑单元270参考由位置估计单元280估计的用户位置来检测该状态。在分离的游乐区域中的一个(例如，图16(c)中的游乐区域62a)和另一个(例如，图16(c)中的游乐区域62b)分别对应于用户存在的区域和用户不存在的区域的情况下，游乐区域编辑单元270删除用户不存在的区域(例如，游乐区域62b)。
在修改中，游乐区域编辑单元270可以保留相对较大的分离的游乐区域(例如，游乐区域62a)并删除相对较小的分离的游乐区域(例如，游乐区域62b)。此外，在用户存在于任何一个分离的游乐区域中的情况下，游乐区域编辑单元270可以删除用户不存在的一个或多个分离的游乐区域。在用户不存在于分离的游乐区域中的情况下，游乐区域编辑单元270可以删除相对小的分离的游乐区域。
这里假设用户绘制从游乐区域62的外部延伸到游乐区域62的内部并在游乐区域62内部结束的线，作为指示控制器光标66的移动轨迹的线。在这种情况下，游乐区域编辑单元270从游乐区域62删除沿着所绘制的线(即，控制器光标66的移动轨迹)延伸的区域。例如，在用户在图16(b)中指示的控制器光标66的位置处结束控制器光标66的移动的情况下，从原始游乐区域62删除控制器光标66已经通过的区域。
图17(a)至图17(d)示出了用于减少游乐区域以进行游乐区域编辑的处理的细节。在这种情况下，如图17(a)所示，当用户按下控制器140的触发器时，控制器光标66的位置位于游乐区域62之外。用户在按压触发器的同时将控制器光标66移动到游乐区域62的内部，并且进一步将控制器光标66移动到游乐区域62的外部并释放触发器。在这种情况下，如图17(b)所示，游乐区域编辑单元270与控制器光标66的移动相关联地删除填充控制器光标66的移动轨迹内的网格的对象68。
如图17(c)所示，游乐区域编辑单元270参考填充有对象68的网格提取游乐区域62的边界。如图17(d)所示，当用户释放触发器时，游乐区域编辑单元270仅建立用户存在的游乐区域62的边界，并删除用户不存在的游乐区域62。
再次参考图7进行描述。通过直到S16的处理，由游乐区域设置单元264设置的游乐区域的数据(例如，构成游乐区域的边界的点云的坐标值)被存储在游乐区域存储单元256中，游乐区域设置单元264设置的游乐区域即由用户设置并且具有期望形状的游乐区域(以下也称为“用户设置游乐区域”)。图像生成设备200的模式确定单元276参考用户设置游乐区域的数据导出用户设置游乐区域的大小和形状。
在用户设置游乐区域的大小(这里包括形状)是预定的第一阈值或更大的情况下(S17中的是)，模式确定单元276确定用户设置游乐区域是可移动游乐区域，并且确定以用户可移动模式操作VR游戏。根据实施例，在用户设置游乐区域中包含垂直长度为2米且水平长度为2米的正方形的情况下，确定用户设置游乐区域的大小为第一阈值或更大。模式确定单元276将表示用户设置游乐区域是可移动游乐区域的数据存储在游乐区域存储单元256中(S18)。
在用户设置游乐区域的大小小于第一阈值(S17中的是)但等于或大于小于第一阈值的第二阈值(S19中的否)的情况下，模式确定单元276确定用户设置游乐区域是不可移动游乐区域，并且确定在用户不可移动模式下操作VR游戏。根据实施例，在用户设置游乐区域中包含垂直长度为1米且水平长度为1米的正方形的情况下，确定用户设置游乐区域的大小为第二阈值或更大。模式确定单元276将表示用户设置游乐区域是不可移动游乐区域的数据存储在游乐区域存储单元256中(S20)。
在用户设置游乐区域的大小小于第二阈值的情况下，即，在用户设置游乐区域中不包含垂直长度为1米且水平长度为1米的正方形(S19中的否)，模式确定单元276确定设置临时游乐区域。临时设置单元272使头戴式显示器100显示指示要设置临时设置区域的消息，并且经由控制器140在由用户指定的位置处设置临时游乐区域。临时游乐区域是具有固定形状(即，固定大小)并且对应于禁止用户编辑的区域的游乐区域。根据实施例，临时游乐区域具有半径为1.5米的圆形形状。
在设置临时游乐区域的情况下，临时设置单元272将与临时游乐区域相关联的数据存储在游乐区域存储单元256中，而不是先前存储在游乐区域存储单元256中的与用户设置游乐区域相关联的数据。例如，与临时游乐区域相关联的数据包括构成临时游乐区域的边界的点云的坐标值。此外，临时设置单元272将表示临时游乐区域是不可移动游乐区域的数据存储在游乐区域存储单元256中(S21)。
图18也是示出图像生成设备200的操作的流程图。该图示出了在VR游戏的执行期间图像生成设备200的操作。当用户通过使用图像生成设备200开始VR游戏时(S30中的是)，通知单元278将关于存储在游乐区域存储单元256中的游乐区域(用户设置游乐区域或临时游乐区域)的数据(诸如指示游乐区域的形状和大小的数据)发送到应用执行单元290。此外，通知单元278将表示上述游乐区域是可移动游乐区域或不可移动游乐区域的数据发送到应用执行单元290(S31)。
与S31中的处理同时，通知单元278通过使用显示控制单元292通知用户在玩VR游戏期间用户是可移动还是不可移动(S32)。具体地，在模式确定单元276确定以用户可移动模式操作VR游戏的情况下，即，在指示游乐区域是可移动游乐区域的数据存储在游乐区域存储单元256中的情况下，显示控制单元292使头戴式显示器100的显示面板显示指示用户在玩VR游戏期间可移动的消息。
另一方面，在模式确定单元276确定在用户不可移动模式下操作VR游戏的情况下，即，在指示游乐区域是不可移动游乐区域的数据存储在游乐区域存储单元256中的情况下，显示控制单元292使头戴式显示器100的显示面板显示指示用户在玩VR游戏期间不可移动的消息。例如，该消息可以是用于在玩VR游戏期间禁止移动的警告的消息。
图像生成设备200的应用执行单元290从应用存储单元254读取VR游戏的程序数据，并且开始VR游戏(S33)。例如，应用执行单元290可以将游戏项目布置在绘制游戏世界的虚拟空间中的游乐区域(包括临时游乐区域)的范围内，以允许用户获取这些项目。显示控制单元292使头戴式显示器100的显示面板显示由应用执行单元290形成的VR游戏的图像(例如，VR图像)。
图像生成设备200的相机图像获取单元262顺序地获取从头戴式显示器100顺序地发送的相机图像，并且位置估计单元280顺序地估计用户在现实世界中的位置和视线方向(S34)。通知单元278向应用执行单元290通知由位置估计单元280估计的用户的位置和视线(S35)。应用执行单元290根据由此估计的用户的位置和视线方向推进VR游戏(S36)。例如，在用户处于可移动游乐区域的情况下，应用执行单元290可以根据用户在现实世界中(即，在游乐区域中)的位置的变化来移动VR游戏中的用户角色。
在用户在现实世界中的位置接近游乐区域的边界的情况下，诸如从附接到用户的头戴式显示器100到游乐区域的边界的距离是预定阈值(例如，30厘米)或更短的情况(S37中的是)，图像生成设备200的警告处理单元282检测到该状态。警告处理单元282对用户执行预定的警告处理(S38)。
例如，在用户的位置接近游乐区域的边界的情况下，警告处理单元282可以向显示控制单元292给出指示游乐区域的边界(例如，图12中示出的边界64)的图像。显示控制单元292可以使头戴式显示器100的显示面板显示通过将指示游乐区域的边界的图像叠加在由应用执行单元290形成的游戏图像上而形成的图像作为显示图像。此外，在用户在现实世界中的位置接近游乐区域的边界或穿过游乐区域的边界的情况下，警告处理单元282可以通过使用显示控制单元292使头戴式显示器100的显示面板显示视频透视图像。此外，警告处理单元282可以首先使头戴式显示器100的显示面板在用户在现实世界中的位置接近游乐区域的边界(例如，30厘米)的情况下显示指示游乐区域的边界的图像，并且可以使头戴式显示器100的显示面板在用户在现实世界中的位置进一步朝向游乐区域的边界(例如，10厘米)移动的情况下显示视频透视图像。同时，如果用户在现实世界中的位置不靠近游乐区域的边界(S37中的否)，则流程跳过S38。
在满足预定结束条件的情况下，诸如用户停止执行VR游戏的情况(S39中的是)，该图中的流程结束。如果不满足结束条件(S39中的否)，则流程返回到S34以继续VR游戏。如果VR游戏未开始(S30中的否)，则跳过S31中的处理和随后的步骤。
根据实施例的图像显示系统10参考由头戴式显示器100捕获的相机图像自动检测游乐区域，然后允许用户手动编辑游乐区域。此外，为了手动编辑游乐区域，图像显示系统10提供能够实现游乐区域的扩展和缩减的用户界面(游乐区域编辑画面60)。以这种方式，图像显示系统10可以帮助用户有效地设置具有期望形状的游乐区域。
此外，根据实施例的图像显示系统10根据设置的游乐区域的大小自动确定是以用户可移动模式操作VR游戏，还是以用户不可移动模式操作VR游戏。能够根据设置的游乐区域的大小自动切换应用的操作模式的这种配置可以减少用户设置游乐区域的重复尝试，并且提高佩戴头戴式显示器100并玩应用的用户的安全性。
此外，在一些情况下，形成VR图像的应用在游乐区域中布置各种对象(例如，游戏的项目)。因此，优选地，游乐区域具有至少一定的尺寸。在用户设置游乐区域具有小尺寸的情况下(在尺寸小于上述第二阈值的情况下)，根据实施例的图像显示系统10设置具有固定形状的临时游乐区域。以这种方式，游乐区域具有至少一定的尺寸，并且由游乐区域的过小尺寸引起的对头戴式显示器100上的图像显示实现的世界视图的创建的任何损坏(例如，VR游戏的兴奋)是可避免的。
已经参考实施例示出了本发明。该实施例通过示例的方式呈现。本领域技术人员应当理解，可以对各个组成元件或各个处理过程的组合进行各种修改，并且这些修改也包括在本发明的范围内。
将说明与游乐区域的手动编辑相关联的修改。
图19(a)到图19(d)示出了用于扩展游乐区域的编辑的修改。如图19(a)至图19(c)所示，与实施例一样，用户在游乐区域编辑画面60中移动控制器光标66，以绘制从游乐区域62内部延伸到游乐区域62外部并返回到游乐区域62内部的线，作为指示控制器光标66的移动轨迹的线。在这种情况下，如图19(d)所示，游乐区域编辑单元270将由所绘制的线围绕的区域添加到游乐区域62。注意，在修改中指示控制器光标66的移动轨迹的线的宽度小于在实施例中指示控制器光标66的移动轨迹的线的宽度。
这里假设用户绘制从游乐区域62的内部延伸到游乐区域62的外部并在游乐区域62的外部结束的线，作为指示控制器光标66的移动轨迹的线。在这种情况下，游乐区域编辑单元270在本修改中保持游乐区域62的先前形状。换言之，游乐区域编辑单元270取消所绘制的线，即，不扩展游乐区域62。
图20(a)和图20(b)示出了用于减小游乐区域的编辑的修改。如图20(a)所示，与实施例一样，用户在游乐区域编辑画面60中移动控制器光标66，以绘制从游乐区域62的外部延伸到游乐区域62的内部的线，并将游乐区域62留在外部作为指示控制器光标66的移动轨迹的线。在这种情况下，如图20(b)所示，游乐区域编辑单元270删除由画出的线分开的游乐区域62的一部分。在分离的游乐区域中的一个和另一个分别对应于用户存在的区域和用户不存在的区域的情况下，游乐区域编辑单元270删除用户不存在的区域。
这里假设用户绘制从游乐区域62的外部延伸到游乐区域62的内部并在游乐区域62内部结束的线，作为指示控制器光标66的移动轨迹的线。在这种情况下，游乐区域编辑单元270在本修改中保持游乐区域62的先前形状。换言之，游乐区域编辑单元270取消所绘制的线，即，不减小游乐区域62。
上述实施例和修饰的任何组合也可有效地作为实施本公开的模式。由该组合产生的新模式具有由实施例和由此组合的修改提供的各自的有利效果。此外，本领域技术人员还应当理解，由权利要求中示出的相应构成元素施加的功能通过单独或彼此协作地包括在实施例和修改中的相应构成元素来实现。
在实施例和修改中示出的技术思想可以在以下各个项中表达。
[目1-1]
一种信息处理设备，包括：
游乐区域检测单元，、参考相机图像来自动检测佩戴头戴式显示器的用户在玩应用期间可移动的游乐区域，所述相机图像指示所述用户周围的空间并且由所述头戴式显示器的相机捕获；
显示控制单元，使所述头戴式显示器显示表示由所述游乐区域检测单元自动检测到的所述游乐区域的图像；以及
游乐区域编辑单元，接收由所述用户执行的用于编辑所述游乐区域的操作，并且根据所述操作改变所述游乐区域的形状。
该信息处理设备可以帮助用户有效地设置具有期望形状的游乐区域。
[项1-2]
根据项1-1所述的信息处理设备，还包括：
地图生成单元，在所述游乐区域检测单元检测所述游乐区域的同时，参考所述相机图像生成用于估计所述用户的位置的地图，其中，
在输入作为指示用户周围的空间并且在多个方向上捕获的多个相机图像的预定或更大数量的相机图像的情况下，所述地图生成单元结束用于生成地图的地图生成处理。
该信息处理设备可以提高用户位置的估计精度。
[项1-3]
根据项1-2所述的信息处理设备，其中，所述地图生成单元参考以不同形式划分所述用户周围的空间的多个基准，导出指示多个输入相机图像对所述用户周围的空间的覆盖率的分数，并且在所述分数变为预定阈值或更高的情况下结束所述地图生成处理。
该信息处理设备可以提高用于估计用户位置的地图的完整性。
[项1-4]
一种由计算机执行的信息处理方法，所述方法包括：
参考相机图像来自动检测佩戴头戴式显示器的用户在玩应用期间可移动的游乐区域的步骤，所述相机图像指示所述用户周围的空间并且由所述头戴式显示器的相机捕获；
使所述头戴式显示器显示表示自动检测到的游乐区域的图像的步骤；以及
接收由所述用户执行的编辑所述游乐区域的操作，并根据所述操作改变所述游乐区域的形状的步骤。
该信息处理方法允许计算机帮助用户有效地设置具有期望形状的游乐区域。
[项1-5]
一种计算机程序，用于使计算机实现：
参考相机图像来自动检测佩戴头戴式显示器的用户在玩应用期间可移动的游乐区域的功能，所述相机图像指示所述用户周围的空间并且由所述头戴式显示器的相机捕获；
使所述头戴式显示器显示表示自动检测到的游乐区域的图像的功能；以及
接收由所述用户执行的用于编辑所述游乐区域的操作并根据所述操作改变所述游乐区域的形状的功能。
该计算机程序允许计算机帮助用户有效地设置具有期望形状的游乐区域。
[项2-1]
一种信息处理设备，包括：
存储单元，所述存储单元存储游乐区域，佩戴头戴式显示器的用户在玩应用期间在所述用户周围的空间中能够在所述游乐区域中移动；
显示控制单元，使所述头戴式显示器显示存储在所述存储单元中的表示所述游乐区域的图像；以及
游乐区域编辑单元，接收由所述用户执行的用于编辑所述游乐区域的操作，并且根据由所述用户执行的所述操作来减小所述游乐区域。
该信息处理设备可以帮助用户有效地设置具有期望形状的游乐区域。
[项2-2]
根据项2-1所述的信息处理设备，还包括：
游乐区域检测单元，所述游乐区域检测单元参考相机图像自动检测所述游乐区域，所述相机图像指示所述用户周围的空间并且由所述头戴式显示器的相机捕获，其中，
游乐区域编辑单元根据所述用户执行的操作减小所述游乐区域检测单元自动检测到的所述游乐区域。
该信息处理设备可以帮助用户设置具有期望形状的游乐区域。
[项2-3]
根据2-1或2-2所述的信息处理设备，其中，在所述用户绘制从所述游乐区域的外部延伸到所述游乐区域的内部并将所述游乐区域留在外部的线的情况下，所述游乐区域编辑单元删除由所述线分开的所述游乐区域的一部分。
该信息处理设备可以提供能够通过直观操作删除不必要的游乐区域的用户界面。
[项2-4]
根据项2-3所述的信息处理设备，其中，在所述游乐区域的由线分隔的部分中的一个和另一个分别对应于所述用户存在的区域和所述用户不存在的区域的情况下，所述游乐区域编辑单元删除所述用户不存在的区域。
该信息处理设备可以提供能够通过直观操作删除不必要的游乐区域的用户界面。
[项2-5]
根据项2-3或2-4所述的信息处理设备，其中，在所述用户绘制从所述游乐区域的外部延伸到所述游乐区域的内部并在所述游乐区域的内部结束的线的情况下，所述游乐区域编辑单元删除从所述游乐区域沿着所述线延伸的区域。
该信息处理设备可以提供能够通过直观操作删除不必要的游乐区域的用户界面。
[项2-6]
根据项2-3或2-4所述的信息处理设备，其中，在所述用户绘制从所述游乐区域的外部延伸到所述游乐区域的内部并在所述游乐区域的内部结束的线的情况下，所述游乐区域编辑单元保持所述游乐区域的先前形状。
该信息处理设备可以防止违反用户意图而删除游乐区域。
[项2-7]
根据项2-3所述的信息处理设备，其中，在所述用户绘制从所述游乐区域内部延伸到所述游乐区域外部并返回到所述游乐区域内部的线的情况下，所述游乐区域编辑单元将由所述线围绕的区域添加到所述游乐区域。
该信息处理设备可以提供能够通过直观操作扩展游乐区域的用户界面。
[项2-8]
根据项2-7所述的信息处理设备，其中，在所述用户绘制从所述游乐区域内部延伸到所述游乐区域外部并在所述游乐区域外部结束的线的情况下，所述游乐区域编辑单元将沿着所述线延伸的区域添加到所述游乐区域。
该信息处理设备可以提供能够通过直观操作扩展游乐区域的用户界面。
[项2-9]
根据项2-7所述的信息处理设备，其中，在所述用户绘制从所述游乐区域内部延伸到所述游乐区域外部并在所述游乐区域外部结束的线的情况下，所述游乐区域编辑单元保持所述游乐区域的先前形状。
该信息处理设备可以防止违反用户意图的游乐区域的扩展。
[项2-10]
一种由计算机执行的信息处理方法，所述计算机包括存储单元，所述存储单元存储游乐区域，在佩戴头戴式显示器的用户在所述用户周围的空间中玩应用期间在所述游乐区域中可移动，所述方法包括：
使所述头戴式显示器显示存储在所述存储单元中的表示所述游乐区域的图像的步骤；以及
接收所述用户执行的编辑游乐区域的操作，并根据所述用户执行的操作缩小游乐区域的步骤。
该信息处理方法允许计算机帮助用户设置具有期望形状的游乐区域。
[项2-11]
一种计算机程序，用于使包括存储游乐区域的存储单元的计算机实现以下功能，佩戴头戴式显示器的用户在所述用户周围的空间中玩应用期间在所述游乐区域中可移动：
使所述头戴式显示器显示存储在所述存储单元中的表示所述游乐区域的图像的功能；以及
接收由所述用户执行的用于编辑所述游乐区域的操作，并且根据由所述用户执行的所述操作来缩小所述游乐区域的功能。
该计算机程序允许计算机帮助用户设置具有期望形状的游乐区域。
[项3-1]
一种信息处理设备，包括：
游乐区域设置单元，所述游乐区域设置单元设置佩戴头戴式显示器的用户在所述用户周围的空间中在玩应用期间可移动的游乐区域；以及
确定单元，所述确定单元根据由所述游乐区域设置单元设置的所述游乐区域的大小来确定以用户可移动模式操作所述应用，或者确定以用户不可移动模式操作所述应用。
该信息处理设备可以增加佩戴头戴式显示器并玩应用的用户的安全性。
[项3-2]
根据项3-1所述的信息处理设备，其中，所述确定单元在所述游乐区域的大小是预定的第一阈值或更高的情况下确定以所述用户可移动模式操作所述应用，并且在所述游乐区域的大小小于所述第一阈值的情况下确定以所述用户不可移动模式操作所述应用。
该信息处理设备可以增加佩戴头戴式显示器并玩应用的用户的安全性。
[项3-3]
根据项3-2所述的信息处理设备，其中，在由所述用户设置的游乐区域具有小于第二阈值的尺寸的情况下，代替由所述用户设置的游乐区域，游乐区域设置单元设置临时游乐区域，所述临时游乐区域是用户不可移动的游乐区域并且具有固定形状，第二阈值小于第一阈值。
该信息处理设备可以确保一定尺寸的游乐区域，并且防止由于游乐区域的尺寸过小而导致的对头戴式显示器上的图像显示所实现的世界视图的创建的损坏。
[项3-4]
根据项3-1至3-3中任一项所述的信息处理设备，还包括：
通知单元，所述通知单元在所述确定单元确定以所述用户可移动模式操作所述应用的情况下向所述应用通知所述用户可移动的事实，并且在所述确定单元确定以所述用户不可移动模式操作所述应用的情况下向所述应用通知所述用户不可移动的事实。
该信息处理设备可以以适合于游乐区域大小的模式操作应用。
[项3-5]
根据项3-1至3-4中任一项所述的信息处理设备，还包括：
显示控制单元，在所述确定单元确定以所述用户不可移动模式操作所述应用的情况下，所述显示控制单元使所述头戴式显示器显示在玩所述应用期间所述用户不可移动的事实。
该信息处理设备可以向用户通知在玩应用期间用户不可移动的事实。
[项3-6]
一种由计算机执行的信息处理方法，所述方法包括：
设置游乐区域的步骤，在所述游乐区域中佩戴头戴式显示器的用户在玩应用期间在所述用户周围的空间中可移动；以及
根据所设置的游乐区域的大小，确定以用户可移动模式操作所述应用或确定以用户不可移动模式操作所述应用的步骤。
该信息处理方法可以增加佩戴头戴式显示器并玩应用的用户的安全性。
[项3-7]
一种计算机程序，用于使计算机实现：
设置游乐区域的功能，在所述游乐区域中佩戴头戴式显示器的用户在所述用户周围的空间中玩应用期间可移动；以及
根据所设置的游乐区域的大小确定以用户可移动模式操作所述应用或确定以用户不可移动模式操作所述应用的功能。
该计算机程序可以增加佩戴头戴式显示器并玩应用的用户的安全性。
[工业适用性]
本发明适用于使头戴式显示器显示应用的图像的设备或系统。
[附图标记列表]
10：图像显示系统
100：头戴式显示器
200：图像生成设备
256：游乐区域存储单元
264：游乐区域设置单元
266：游乐区域检测单元
270：游乐区域编辑单元
272：临时设置单元
274：地图生成单元
276：模式确定单元
292：显示控制单元。

Claims (5)

1.一种信息处理设备，包括：
游乐区域检测单元，参考相机图像来自动检测佩戴头戴式显示器的用户在玩应用期间能够移动的游乐区域，所述相机图像指示所述用户周围的空间并且由所述头戴式显示器的相机捕获；
显示控制单元，使所述头戴式显示器显示表示由所述游乐区域检测单元自动检测到的所述游乐区域的图像；以及
游乐区域编辑单元，接收由所述用户执行的编辑所述游乐区域的操作，并且根据所述操作改变所述游乐区域的形状。
2.根据权利要求1所述的信息处理设备，还包括：
地图生成单元，在所述游乐区域检测单元检测所述游乐区域的同时，参考所述相机图像生成用于估计所述用户的位置的地图，其中，
在输入作为指示所述用户周围的所述空间并且在多个方向上捕获的多个相机图像的预定或更大数量的相机图像的情况下，所述地图生成单元结束用于生成所述地图的地图生成处理。
3.根据权利要求2所述的信息处理设备，其中，所述地图生成单元参考以不同形式划分所述用户周围的所述空间的多个参考，导出指示多个输入相机图像对所述用户周围的所述空间的覆盖率的分数，并且在所述分数变为预定阈值或更高的情况下结束所述地图生成处理。
4.一种由计算机执行的信息处理方法，所述方法包括：
参考相机图像来自动检测佩戴头戴式显示器的用户在玩应用期间能够移动的游乐区域的步骤，所述相机图像指示所述用户周围的空间并且由所述头戴式显示器的相机捕获；
使所述头戴式显示器显示表示自动检测到的游乐区域的图像的步骤；以及
接收由所述用户执行的编辑所述游乐区域的操作，并且根据所述操作改变所述游乐区域的形状的步骤。
5.一种计算机程序，用于使计算机实现：
参考相机图像来自动检测佩戴头戴式显示器的用户在玩应用期间能够移动的游乐区域的功能，所述相机图像指示所述用户周围的空间并且由所述头戴式显示器的相机捕获；
使所述头戴式显示器显示表示自动检测的游乐区域的图像的功能；以及
接收由所述用户执行的编辑所述游乐区域的操作，并且根据所述操作改变所述游乐区域的形状的功能。
CN202280050367.7A 2021-07-21 2022-06-21 信息处理设备、信息处理方法和计算机程序 Pending CN117677981A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021-120404 2021-07-21
JP2021120404A JP2023016226A (ja) 2021-07-21 2021-07-21 情報処理装置、情報処理方法およびコンピュータプログラム
PCT/JP2022/024696 WO2023002792A1 (ja) 2021-07-21 2022-06-21 情報処理装置、情報処理方法およびコンピュータプログラム

Publications (1)

Publication Number Publication Date
CN117677981A true CN117677981A (zh) 2024-03-08

Family

ID=84979970

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280050367.7A Pending CN117677981A (zh) 2021-07-21 2022-06-21 信息处理设备、信息处理方法和计算机程序

Country Status (5)

Country Link
EP (1) EP4375944A1 (zh)
JP (1) JP2023016226A (zh)
KR (1) KR20240038728A (zh)
CN (1) CN117677981A (zh)
WO (1) WO2023002792A1 (zh)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6675209B2 (ja) * 2016-01-20 2020-04-01 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置およびユーザガイド提示方法
JP2021140194A (ja) * 2018-05-24 2021-09-16 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム

Also Published As

Publication number Publication date
EP4375944A1 (en) 2024-05-29
JP2023016226A (ja) 2023-02-02
WO2023002792A1 (ja) 2023-01-26
KR20240038728A (ko) 2024-03-25

Similar Documents

Publication Publication Date Title
US10845969B2 (en) System and method for navigating a field of view within an interactive media-content item
US10864433B2 (en) Using a portable device to interact with a virtual space
US7292240B2 (en) Virtual reality presentation device and information processing method
US20190187876A1 (en) Three dimensional digital content editing in virtual reality
KR101623288B1 (ko) 렌더링 시스템, 렌더링 서버, 그 제어 방법, 및 기록 매체
US20170309077A1 (en) System and Method for Implementing Augmented Reality via Three-Dimensional Painting
US20210038975A1 (en) Calibration to be used in an augmented reality method and system
JP6661756B2 (ja) 画像生成装置、画像生成方法及びプログラム
JP2020181263A (ja) 画像生成装置および情報提示方法
CN117677981A (zh) 信息处理设备、信息处理方法和计算机程序
CN117396924A (zh) 信息处理设备、信息处理方法和计算机程序
JP6563592B2 (ja) 表示制御装置、表示制御方法及びプログラム
EP4374941A1 (en) Information processing device, information processing method, and computer program
JP3951246B2 (ja) ゲーム装置
JPH10230075A (ja) ゲーム装置
WO2023140004A1 (ja) 情報処理装置および情報処理方法
US20240078767A1 (en) Information processing apparatus and information processing method
JP2004220626A (ja) 画像処理装置
JP2001175890A (ja) ３次元画像形成システム、３次元画像形成方法および入力装置
WO2023157471A1 (ja) 情報処理装置および情報処理方法
JP2010125040A (ja) 画像処理装置
WO2024038787A1 (ja) 情報処理装置および情報処理方法
JP7354186B2 (ja) 表示制御装置、表示制御方法および表示制御プログラム
WO2023149125A1 (ja) 情報処理装置および情報処理方法
WO2023204013A1 (ja) 情報処理装置、情報処理方法、及び記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination