CN111417989A - 程序、信息处理方法、信息处理系统、头戴式显示装置和信息处理装置 - Google Patents

程序、信息处理方法、信息处理系统、头戴式显示装置和信息处理装置 Download PDF

Info

Publication number
CN111417989A
CN111417989A CN201880076384.1A CN201880076384A CN111417989A CN 111417989 A CN111417989 A CN 111417989A CN 201880076384 A CN201880076384 A CN 201880076384A CN 111417989 A CN111417989 A CN 111417989A
Authority
CN
China
Prior art keywords
virtual
virtual space
user
information processing
gui object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880076384.1A
Other languages
English (en)
Other versions
CN111417989B (zh
Inventor
谏山英世
仓林修一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cygames Inc
Original Assignee
Cygames Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cygames Inc filed Critical Cygames Inc
Publication of CN111417989A publication Critical patent/CN111417989A/zh
Application granted granted Critical
Publication of CN111417989B publication Critical patent/CN111417989B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G06F3/04855—Interaction with scrollbars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

提供一种使得可以在虚拟现实空间中向用户适当地显示GUI对象的程序。本发明是一种由处理装置执行的程序，所述处理装置用于进行要显示在头戴式显示装置的显示单元上的包括预定的GUI对象的虚拟空间的绘制处理，所述程序使得所述处理装置执行以下步骤：基于现实空间中的头戴式显示装置的位置来确定所述虚拟空间中的用户的视点位置；确定所述虚拟空间中的用户的可移动范围；在所确定的可移动范围的外侧的所述虚拟空间的区域中确定所述GUI对象的位置；通过使用透视法特性曲线来确定所述GUI对象在所述虚拟空间中的大小，使得所确定的位置处的所述GUI对象在所述显示单元上具有恒定显示大小；以及生成包括所述GUI对象的所述虚拟空间的绘制数据。

Description

程序、信息处理方法、信息处理系统、头戴式显示装置和信息 处理装置
技术领域
本发明涉及程序等，并且具体涉及用于在头戴式显示装置的显示单元上进行显示的程序等。
背景技术
已知有头戴式显示器(HMD)，该HMD穿戴在用户的头部上，并且在诸如显示器等的配置在眼睛的前方的显示单元上显示图像(视频)。HMD使得可以通过向穿戴HMD的用户提供虚拟空间中的图像和音频来向该用户提供虚拟现实(VR)世界。
近来，还开发了用户在观看HMD上所显示的画面的同时玩的诸如游戏等的应用。这样的应用显示用于让用户体验虚拟空间的背景和角色图像、以及诸如选择消息窗口等的GUI元素(GUI对象)的图像。例如，专利文献1公开了通过使用虚拟空间中所配置的GUI来进行输入的输入方法。
现有技术文献
专利文献
专利文献1：日本特开2017-004357
发明内容
发明要解决的问题
在将与用户自身的手臂、手等相对应的虚拟对象的图像显示在HMD的显示单元上的VR应用中，在虚拟空间中配置GUI对象的情况下，存在以下的问题。在这样的VR应用中，虚拟空间中所配置的GUI对象必须配置在相对靠近用户的位置处，使得用户可以识别该GUI对象。然而，在GUI对象干扰与用户自身的手臂、手等相对应的虚拟对象的情况下，VR应用所提供的虚拟现实空间(虚拟空间)使得用户直观地感受到极大的不自然感。具体地，体验VR世界的用户将VR世界感觉成仿佛用户的手臂、手等穿透GUI对象或埋在GUI对象中，这极大地损害了沉浸感。
另一方面，尽管存在以仿佛GUI对象与虚拟空间完全分离的方式将GUI对象显示在显示单元的一部分中的方法，但将GUI对象显示成仿佛GUI对象与虚拟空间完全分离也极大地损害了沉浸感。
本发明是为了解决上述问题而作出的，并且其主要目的是提供一种使得能够在虚拟现实空间中向用户适当地显示GUI对象的程序等。
用于解决问题的方案
为了实现上述目的，根据本发明的方面的程序是一种由处理装置执行的程序，所述处理装置用于进行要显示在头戴式显示装置的显示单元上的包括预定的GUI对象的虚拟空间的绘制处理，所述程序的特征在于使得所述处理装置执行以下步骤：基于通过使用传感器获得的、现实空间中的所述头戴式显示装置的位置，来确定所述虚拟空间中的用户的视点位置；确定所述虚拟空间中的用户的可移动范围；在所确定的可移动范围的外侧的虚拟空间区域中确定所述GUI对象的位置；通过使用深度与所述虚拟空间中的单位长度在所述显示单元上的显示大小之间的对应关系，来确定所述GUI对象在所述虚拟空间中的大小，使得所确定的位置处的所述GUI对象在所述显示单元上具有恒定显示大小；以及生成包括具有所确定的大小的所述GUI对象的所述虚拟空间的绘制数据。
此外，在本发明中，优选地，所述处理装置包括在所述头戴式显示装置中。
此外，在本发明中，优选地，所述处理装置包括在以能够通信的方式与所述头戴式显示装置相连接的信息处理装置中。
此外，在本发明中，优选地，所述绘制处理包括用于基于所述现实空间中的用户所把持的控制器的位置来绘制与所述控制器的位置相对应的所述虚拟对象的绘制处理，以及用户的所述可移动范围包括与所述控制器的位置相对应的所述虚拟对象的可移动范围。
此外，在本发明中，优选地，在确定所述GUI对象的位置的步骤中，确定所述GUI对象的位置，使得从用户的视点位置观看的具有所述恒定显示大小的所述GUI对象与其它虚拟对象不重叠。
此外，在本发明中，优选地，所述GUI对象包括选择窗口、定时窗口、进度条和滚动条至少之一。
此外，为了实现上述目的，根据本发明的方面的信息处理方法是一种信息处理方法，用于进行要显示在头戴式显示装置的显示单元上的包括预定的GUI对象的虚拟空间的绘制处理，所述信息处理方法的特征在于包括以下步骤：基于通过使用传感器获得的、现实空间中的所述头戴式显示装置的位置，来确定所述虚拟空间中的用户的视点位置；确定所述虚拟空间中的用户的可移动范围；在所确定的可移动范围的外侧的虚拟空间区域中确定所述GUI对象的位置；通过使用深度与所述虚拟空间中的单位长度在所述显示单元上的显示大小之间的对应关系，来确定所述GUI对象在所述虚拟空间中的大小，使得所确定的位置处的所述GUI对象在所述显示单元上具有恒定显示大小；以及将包括具有所确定的大小的所述GUI对象的所述虚拟空间绘制在所述显示单元上。
此外，为了实现上述目的，根据本发明的方面的信息处理系统是一种信息处理系统，包括头戴式显示装置，所述头戴式显示装置包括用于向用户显示虚拟空间的显示单元，所述信息处理系统的特征在于包括：传感器，用于获得现实空间中的所述头戴式显示装置的位置；处理单元，用于进行要显示在所述显示单元上的包括预定的GUI对象的所述虚拟空间的绘制处理；存储单元，用于存储表示深度与所述虚拟空间中的单位长度在所述显示单元上的显示大小之间的对应关系的数据，其中，所述处理单元被配置为：基于所述传感器所获得的位置来确定所述虚拟空间中的用户的视点位置；确定所述虚拟空间中的用户的可移动范围；在所确定的可移动范围的外侧的虚拟空间区域中确定所述GUI对象的位置；通过使用所述存储单元所存储的数据来确定所述GUI对象在所述虚拟空间中的大小，使得所确定的位置处的所述GUI对象在所述显示单元上具有恒定显示大小；以及将包括具有所确定的大小的所述GUI对象的所述虚拟空间绘制在所述显示单元上。
此外，在本发明中，优选地，所述信息处理系统包括由用户把持的控制器，所述绘制处理包括用于基于现实空间中的所述控制器的位置来绘制与所述控制器的位置相对应的所述虚拟对象的绘制处理，以及用户的所述可移动范围包括与所述控制器的位置相对应的所述虚拟对象的可移动范围。
此外，在本发明中，优选地，所述存储单元所存储的数据是通过针对各深度测量所述虚拟空间中的单位长度在所述显示单元上显示的显示大小而预先准备的。
此外，在本发明中，优选地，所述信息处理系统包括以能够通信的方式与所述头戴式显示装置相连接的信息处理装置，以及所述处理单元由所述头戴式显示装置和所述信息处理装置来实现。
此外，为了实现上述目的，根据本发明的方面的头戴式显示装置是一种头戴式显示装置，包括用于向用户显示虚拟空间的显示单元，所述头戴式显示装置的特征在于包括：处理单元，用于进行要显示在所述显示单元上的包括预定的GUI对象的所述虚拟空间的绘制处理；以及存储单元，用于存储表示深度与所述虚拟空间中的单位长度在所述显示单元上的显示大小之间的对应关系的数据，其中，所述处理单元被配置为：基于通过使用传感器获得的、现实空间中的所述头戴式显示装置的位置，来确定所述虚拟空间中的用户的视点位置；确定所述虚拟空间中的用户的可移动范围；在所确定的可移动范围的外侧的虚拟空间区域中确定所述GUI对象的位置；通过使用所述存储单元所存储的数据来确定所述GUI对象在所述虚拟空间中的大小，使得所确定的位置处的所述GUI对象在所述显示单元上具有恒定显示大小；以及将包括具有所确定的大小的所述GUI对象的所述虚拟空间绘制在所述显示单元上。
此外，为了实现上述目的，根据本发明的方面的信息处理装置是一种信息处理装置，用于进行要显示在头戴式显示装置的显示单元上的包括预定的GUI对象的虚拟空间的绘制处理，所述信息处理装置的特征在于包括：处理单元，用于进行要显示在所述显示单元上的所述虚拟空间的绘制处理；以及存储单元，用于存储表示深度与所述虚拟空间中的单位长度在所述显示单元上的显示大小之间的对应关系的数据，其中，所述处理单元被配置为：基于通过使用传感器获得的、现实空间中的所述头戴式显示装置的位置，来确定所述虚拟空间中的用户的视点位置；确定所述虚拟空间中的用户的可移动范围；在所确定的可移动范围的外侧的虚拟空间区域中确定所述GUI对象的位置；通过使用所述存储单元所存储的数据来确定所述GUI对象在所述虚拟空间中的大小，使得所确定的位置处的所述GUI对象在所述显示单元上具有恒定显示大小；以及向所述头戴式显示装置发送用于将包括具有所确定的大小的所述GUI对象的所述虚拟空间绘制在所述显示单元上的数据。
发明的效果
本发明使得可以在虚拟现实空间中向用户适当地显示GUI对象。
附图说明
图1是根据本发明实施例的信息处理系统的总体结构图。
图2是示出根据本发明实施例的信息处理装置的硬件结构的框图。
图3是示出根据本发明实施例的HMD的硬件结构的框图。
图4是根据本发明实施例的控制器的示意外观图。
图5是根据本发明实施例的信息处理系统的功能框图。
图6是示出根据本发明实施例的显示单元上所显示的GUI对象的示例的图。
图7是示出根据本发明实施例的显示单元上所显示的虚拟身体的示例的图。
图8是示出根据本发明实施例的远近法特性曲线(perspectivepropertyprofile)的示例的图。
图9是示出根据本发明实施例的利用信息处理系统的信息处理的流程图。
具体实施方式
以下将参考附图来说明根据本发明实施例的信息处理系统。由根据本实施例的信息处理系统提供给用户的VR系统(虚拟现实空间)在穿戴HMD的用户自身的手落在用户的视野区域内的情况下，将与用户自身的手相对应的虚拟手的图像显示在HMD的显示单元上。
图1是根据本发明实施例的信息处理系统1的总体结构图。信息处理系统1包括信息处理装置10、穿戴在用户的头部上的头戴式显示装置(HMD)20、由用户把持的控制器30、摄像装置40和输出装置50。信息处理系统1使得穿戴HMD 20的用户能够体验虚拟现实。
摄像装置40包括配备有红外传感器的照相机，并且将按预定帧频拍摄到的图像发送至信息处理装置10。优选地，摄像装置40附接在输出装置50的顶部。如后面将说明的，为了使得用户能够体验虚拟现实，摄像装置40被配置为拍摄用户所穿戴的HMD 20的图像，并将所拍摄到的图像发送至信息处理装置10。在一个示例中，摄像装置40按预定帧频拍摄由用户所穿戴的HMD 20发射的红外线的图像，并将所拍摄到的图像顺次发送至信息处理装置10，并且信息处理装置10顺次获得这些图像。在另一示例中，代替红外线传感器或除红外线传感器之外，摄像装置40的照相机配备有普通照相机中所使用的图像传感器，诸如CCD传感器或CMOS传感器等。
信息处理装置10执行VR应用，该VR应用是诸如游戏等的、向穿戴HMD20的用户提供虚拟现实空间的各种应用。信息处理装置10分别电气连接至HMD 20、控制器30、摄像装置40和输出装置50。信息处理装置10可以通过使用线缆等的已知有线通信或通过诸如无线LAN等的已知无线通信连接至各个装置。本实施例中的VR应用是演出体验VR游戏，该演出体验VR游戏向穿戴HMD 20的用户提供在演出会场的座位中享受流行偶像等的演出的体验。然而，应当理解，信息处理装置10所执行的VR应用不限于此。
图2是示出根据本发明实施例的信息处理装置10的硬件结构的框图。信息处理装置10包括处理器11、存储装置12、输入/输出接口(输入/输出IF)13和通信接口(通信IF)14。这些构成装置经由总线15连接。注意，根据需要来在总线15和各个组成装置之间插入接口。注意，信息处理装置10可以由多个电子装置构成。
处理器11是诸如CPU等的用于控制信息处理装置10的整体操作的处理装置。可选地，可以使用诸如MPU等的电子电路作为处理器11。处理器11通过加载存储装置12中所存储的程序和数据并执行这些程序来执行各种处理。此外，处理器11包括进行绘制处理的GPU，并且信息处理装置10生成要呈现给穿戴HMD 20的用户的虚拟空间图像，并将该虚拟空间图像发送至HMD 20。
输入/输出IF 13是用于连接诸如摄像装置40、显示器、键盘和鼠标等的输入/输出装置的接口。通信IF 14是用于通过有线通信或无线通信连接至其它计算机或装置的通信接口。例如，信息处理装置10经由通信IF 14连接至HMD 20。尽管为了便于说明、如上说明了这些IF，但各个装置所用的接口的种类不限于上述这些种类，并且可以针对各个装置设置不同的接口。
存储装置12包括主存储装置和辅助存储装置。主存储装置是诸如RAM等的半导体存储器。RAM是允许信息的高速读取和写入的易失性存储介质，并且用作在处理器11处理信息时的存储区域以及工作区域。主存储装置可以包括作为只读非易失性存储介质的ROM。在这种情况下，ROM存储诸如固件等的程序。辅助存储装置存储处理器11在执行各个程序时使用的各种程序和数据。辅助存储装置例如是硬盘装置；然而，辅助存储装置可以是能够存储信息的任何类型的非易失性存储设备或非易失性存储器，并且也可以是可移除型。例如，辅助存储装置存储操作系统(OS)、中间件、应用程序、在执行这些程序时可以参考的各种数据等。存储装置12存储VR应用。
图3是示出根据本发明实施例的HMD 20的硬件结构的框图。HMD 20包括处理器21、存储装置22、显示装置(显示单元)23、发光标示物(LED灯)24和通信接口(通信IF)25。这些构成装置经由总线26连接。注意，根据需要来在总线26和各个构成装置之间插入接口。
处理器21是诸如CPU等的用于控制HMD 20的整体操作的处理装置。可选地，可以使用诸如MPU等的电子电路作为处理器21。处理器21通过加载存储装置22中所存储的程序和数据并执行这些程序来执行各种处理。HMD 20将从信息处理装置10接收到的虚拟空间图像显示(绘制)在显示装置23上。可选地，处理器21可以包括用于进行绘制处理的GPU。在这种情况下，HMD 20可以代表信息处理装置10来生成虚拟空间图像。
存储装置22包括主存储装置和辅助存储装置。主存储装置是诸如RAM等的半导体存储器。RAM是允许信息的高速读取和写入的易失性存储介质，并且用作在处理器21处理信息时的存储区域和工作区域。主存储装置可以包括作为只读非易失性存储介质的ROM。在这种情况下，ROM存储诸如固件等的程序21。辅助存储装置存储处理器在执行各个程序时所使用的各种程序和数据。辅助存储装置例如是硬盘装置；然而，辅助存储装置可以是能够存储信息的任何类型的非易失性存储设备或非易失性存储器，并且也可以是可移除型。例如，辅助存储装置存储操作系统(OS)、中间件、应用程序、在执行这些程序时可以参考的各种数据等。
显示装置23是诸如液晶显示器或有机EL显示器等的非透过型显示器，并且向穿戴HMD 20的用户显示虚拟空间图像。因而，例如，HMD 20可以是普通的视频透视型HMD。显示装置23是头戴式显示器(HMD)中的显示装置，并且为了便于说明，在下文将被称为显示单元23。
LED灯24由红外LED构成，并且多个LED灯24附接至HMD 20的壳体等。LED灯24是为了实现随着用户的头部移动而移动的HMD 20的追踪所附接的。LED灯24可以是发射具有特定颜色的光的发光元件，只要可以实现HMD 20的追踪即可。
通信IF 25是用于通过有线通信或无线通信连接至其它计算机或装置的通信接口。例如，HMD 20经由通信IF 25连接至信息处理装置10。
在一个变形例中，HMD 20配备有姿势传感器(未示出)。在这种情况下，姿势传感器25包括陀螺仪传感器和加速度传感器。姿势传感器检测包括HMD 20的位置和转动角度、显示单元23正在面向的方向等的传感器信息，并将该传感器信息发送至信息处理装置10，并且信息处理装置10顺次获得该传感器信息。在另一变形例中，HMD 20配备有由CCD传感器或CMOS传感器等构成的照相机(未示出)。在这种情况下，照相机将所拍摄到的图像顺次发送至信息处理装置10，并且信息处理装置10顺次获得这些图像。
图4是根据本发明实施例的控制器30的示意外观图。控制器30是包括把持部31、操作按钮32和LED灯33的棒状控制器。把持部31是在用户操作控制器30时把持的部分。操作按钮32是普通游戏机上所设置的一个或多个按钮。LED灯33由发射具有预定颜色的光的LED构成，并且附接在控制器的端部。
在本实施例中，控制器30包括分别与两只手相对应的两个控制器，并且用户通过在对把持部31进行把持的状态下移动自身的手臂或手、或者通过对操作按钮32进行操作，来进行用户操作。在一个示例中，信息处理装置10通过追踪从摄像装置40获得的拍摄图像中的LED灯33的位置来确定控制器30的位置和移动。在一个示例中，控制器30将与用户所按下的按钮有关的信息发送至信息处理装置10。
控制器30可以配备有包括陀螺仪传感器和加速度传感器的运动传感器。在这种情况下，控制器30将运动传感器所检测到的包括控制器30的位置、转动角度等的传感器信息发送至信息处理装置10。
输出装置50是输出图像和音频的普通显示器。在一个示例中，输出装置50是液晶显示器、利用有机EL的显示器或等离子体显示器。在一个示例中，输出装置50被配置为输出与呈现给穿戴HMD 20的用户的虚拟空间图像相同的图像。利用该结构，用户经由HMD 20正观看的图像可以由另一用户经由输出装置50确认。然而，在这种情况下，信息处理系统1无需包括输出装置50。在另一示例中，输出装置50显示管理员设置画面。利用该结构，管理员可以通过从诸如键盘或鼠标等的输入装置输入命令来进行与信息处理系统1有关的设置。输出装置50还可以包括输出音频的普通扬声器。
图5是根据本发明实施例的信息处理系统1的功能框图。信息处理系统1包括位置确定单元61、存储单元62和处理单元63。这些功能通过信息处理装置10的处理器11或HMD20的处理器21执行程序来实现。因而，信息处理装置10和HMD 20至少之一具有图5所示的各种功能。由于各种功能均通过加载程序来实现，因此一个部件(功能)的一部分可以包括在另一部件中。注意，根据情况，各个功能的一部分或全部可以通过配置用于实现该功能的电子电路等利用硬件来实现。
位置确定单元61通过使用摄像装置40作为位置确定所用的传感器来根据所获得的传感器信息确定HMD 20的位置。位置确定单元61通过在从摄像装置40顺次获得的用户所穿戴的HMD 20的拍摄图像中识别附接至HMD 20的多个LED灯24的位置，来确定HMD 20的位置和倾斜。
在一个示例中，位置确定单元61所确定的HMD 20的位置是基于HMD 20相对于摄像装置40的位置来确定的。在一个示例中，位置确定单元61进一步通过识别附接至HMD 20的多个LED灯24的位置来确定HMD 20的显示单元23正在面向的方向。利用该结构，信息处理系统1可以识别用户的头部的位置、倾斜、移动等，由此确定用户的位置或用户的视野区域。
在一个示例中，使用HMD 20中所包括的姿势传感器作为位置确定所用的传感器。在这种情况下，位置确定单元61通过进一步使用姿势传感器所检测到的传感器信息来确定HMD 20的位置和倾斜。如上所述，利用通过使用用于识别LED灯24的位置的摄像装置40与用于检测HMD 20的位置、转动角度等的姿势传感器的组合来追踪HMD 20的位置和倾斜的结构，位置确定单元61可以以高精度进行追踪处理。然而，注意，上述的追踪处理是示例，并且也可以使用其它已知技术。在另一示例中，位置确定单元61通过使用用于识别LED灯24的位置的摄像装置40与用于利用参考光照射对象物并测量反射光的传感器的组合来确定HMD20的位置和倾斜。
在一个变形例中，位置确定单元61通过仅使用HMD 20中所包括的照相机作为位置确定所用的传感器来根据所获得的传感器信息确定HMD 20的位置和倾斜。位置确定单元61通过在从HMD 20顺次获得的摄像装置40的拍摄图像中识别HMD 20相对于摄像对象物的位置，来确定HMD 20的位置和倾斜。
此外，位置确定单元61通过使用摄像装置40作为位置确定所用的传感器来根据所获得的传感器信息确定控制器30的位置。位置确定单元61通过在从摄像装置40顺次获得的用户所把持的控制器30的拍摄图像中识别附接至控制器30的LED灯33的位置，来确定控制器30的位置和倾斜。在拍摄图像包括分别附接至两个控制器30的LED灯33的情况下，位置确定单元61确定两个控制器的各个位置和倾斜。
在一个示例中，使用控制器30中所包括的运动传感器作为位置确定所用的传感器。在这种情况下，位置确定单元61通过进一步使用运动传感器所检测到的传感器信息来确定控制器30的位置和倾斜。如上所述，利用通过使用用于识别LED灯33的位置的摄像装置40与用于检测HMD 20的位置、转动角度等的运动传感器的组合来追踪控制器30的位置和倾斜的结构，位置确定单元61可以以高精度进行追踪处理。然而，注意，上述追踪处理是示例，并且也可以使用其它已知技术。
位置确定单元61继续通过使用从位置确定所用的传感器顺次获得的传感器信息来确定HMD 20或控制器30的位置。在一个示例中，位置确定单元61继续根据从摄像装置40顺次获得的拍摄图像来按预定间隔定期地确定HMD 20的位置和倾斜。在另一示例中，位置确定单元61继续根据从摄像装置40顺次获得的拍摄图像来按预定间隔定期地确定控制器30的位置和倾斜。
存储单元62将程序、数据等存储在存储装置12或存储装置22中。存储单元62存储与虚拟空间有关的信息和与虚拟空间中所配置的虚拟对象有关的信息。
处理单元63执行用于执行诸如游戏等的VR应用的各种处理。处理单元63包括用户环境确定单元64、虚拟对象控制单元65、用户操作处理单元66和显示图像生成单元67。
最初，根据VR应用所定义的内容，用户环境确定单元64构建三维虚拟空间，并且基于通过使用位置确定所用的传感器所获得的现实空间中的HMD 20的位置来确定虚拟空间中的用户的初始位置。用户的初始位置是诸如VR系统的启动时的状态等的初始状态中的用户位置。用户位置包括用户的视点位置，并且用户环境确定单元64在用户的视点位置设置虚拟照相机。这里，由于从虚拟照相机观看的图像是用户所观看的图像，因此将理解，虚拟照相机所拍摄的区域(即，虚拟照相机的视野区域)对应于用户的视野区域。用户环境确定单元64通过使用位置确定单元61所确定的HMD 20的位置和倾斜以确定用户的位置和用户正在面向的方向，来确定用户的初始位置和用户的视野区域。
此时，用户环境确定单元64通过使用用户的初始位置来确定作为允许用户在虚拟空间中移动的范围的用户的可移动范围。例如，在VR应用是演出体验VR游戏的情况下，用户环境确定单元64构建演出会场内的三维虚拟空间，确定用户的座位位置和视野区域，并且确定演出会场内的用户的可移动范围。
在一个示例中，位置确定单元61基于HMD 20相对于摄像装置40的位置来确定HMD20的位置，并且用户环境确定单元64根据如此确定的HMD 20的位置来确定虚拟空间中的用户的初始位置。在一个示例中，用户环境确定单元64基于用户在现实空间中可以移动的区域来确定用户的可移动范围。例如，用户环境确定单元64将用户的可移动范围的深度方向上的边界设置在比与现实空间中存在的摄像装置40的位置相对应的虚拟空间中的位置更近的位置。如上所述，在本实施例中，用户环境确定单元64根据现实空间中的HMD 20的位置、以及基于VR应用的内容所构建的虚拟空间的环境，来确定VR系统启动时(诸如构建虚拟空间时等)的用户的可移动范围。
此外，在确定初始位置之后，用户环境确定单元64通过根据位置确定单元61所确定的HMD 20的位置和倾斜来确定用户的位置和用户正在面向的方向，来确定虚拟照相机的视野区域。这里，在本实施例中，用户环境确定单元64所构建的虚拟空间中的长度与现实空间中的长度基本上相同。在穿戴HMD 20的用户在现实空间在一个方向上移动了0.1m时，用户环境确定单元64使虚拟空间中的虚拟照相机在虚拟空间中的与该方向相对应的方向上移动了0.1m。在一个示例中，用户环境确定单元64继续通过使用由位置确定单元61按预定间隔定期地确定的HMD 20的位置和倾斜来确定用户的视点位置和虚拟照相机的视野区域。然而，注意，用户环境确定单元64所构建的虚拟空间中的长度不必与现实空间中的长度相同，只要该长度对应于现实空间中的长度即可。
虚拟对象控制单元65根据VR应用所定义的内容来在所设置的位置处配置所设置的大小的虚拟对象。例如，在VR应用是演出体验VR游戏的情况下，虚拟对象控制单元65配置与构成演出会场的对象(诸如建筑物的墙壁、座位和围栏等)相对应的虚拟对象、以及与人物(诸如流行偶像和其它观众等)相对应的虚拟对象。在虚拟照相机的视野区域内配置有任何虚拟对象的情况下，后面将说明的显示图像生成单元67生成从虚拟照相机观看的包括该虚拟对象的虚拟空间图像。
在本实施例中，虚拟对象包括预定的GUI对象，诸如用于允许用户通过使用控制器30来进行选择操作的选择窗口或者用于向用户提示设置的消息窗口等。为了便于说明，将在虚拟空间中配置有仅一个GUI对象的情况下说明本实施例；然而，可以配置多个GUI对象。在一个示例中，GUI对象包括选择窗口、定时窗口、进度条和滚动条至少之一。
图6示出显示图像生成单元67所生成的虚拟空间图像，该虚拟空间图像包括根据本发明实施例的GUI对象的示例，具体为演出体验VR游戏中的GUI对象的示例。如图6所示，虚拟对象控制单元65将GUI对象以与其它虚拟对象同样的方式配置在虚拟空间中的预定位置处。这是因为，如果处理单元63被配置为将GUI对象以仿佛GUI对象与虚拟世界完全分离的方式显示在HMD20的显示单元23上，则用户体验VR世界所感受到的沉浸感将受损。然而，注意，信息处理系统1配置GUI对象，以使用户识别虚拟空间中的GUI对象、而不是使用户触摸虚拟空间中的GUI对象以进行用户操作。
图6所示的GUI对象包括问用户“再次开始演出？”的询问窗口、以及用于接受来自用户的答复的“是”窗口和“否”窗口。后面将说明的用户操作处理单元66接受用户使用控制器30的选择操作，以确定是否再次开始演出。如上所述，本实施例中的GUI对象是用户必须识别的、促进用户通过使用控制器30来进行选择操作的虚拟对象。
用户操作处理单元66通过使用位置确定单元61所确定的两个控制器30的位置和倾斜，来将与控制器30相对应的棒状虚拟笔形电筒配置在与现实空间中的控制器30的位置相对应的虚拟空间中的位置处。此时，用户操作处理单元66根据虚拟笔形电筒的位置和倾斜来估计把持笔形电筒的手臂和手的位置，并且还配置把持虚拟笔形电筒的虚拟手和虚拟手臂。因而，用户操作处理单元66将包括虚拟笔形电筒、虚拟手和虚拟手臂的虚拟身体配置在与现实空间中的控制器30、用户的手和用户的手臂相对应的虚拟空间中的位置处。然而，注意，虚拟身体可以是包括虚拟笔形电筒、虚拟手和虚拟手臂至少之一的对象。此外，由于用户操作处理单元66的上述功能是根据用户操作来配置虚拟对象，因此该功能可以由虚拟对象控制单元65部分或全部执行。注意，棒状虚拟笔形电筒是与棒状控制器30相对应的棒状虚拟对象的示例，并且形状不限于该形状。此外，在一个示例中，用户操作处理单元66继续通过使用由位置确定单元61按预定间隔定期地确定的控制器30的位置和倾斜来更新虚拟身体的位置。
此外，用户操作处理单元66根据VR应用所定义的内容和与用户所按下的操作按钮32有关的信息来进行VR应用中的预定处理。此时，例如，控制器30将作为与用户所按下的操作按钮32有关的信息的操作信息发送至信息处理装置10，并且用户操作处理单元66通过使用信息处理装置10所接收到的操作信息来进行预定处理。作为另一示例，在显示图6所示的GUI对象的情况下，用户操作处理单元66可以根据从控制器30接收到的操作信息来判断是否再次开始演出。
显示图像生成单元67生成HMD 20的显示单元23上所显示的、从虚拟照相机观看的要呈现给用户的虚拟空间图像。显示图像生成单元67根据所配置的虚拟对象与虚拟照相机的距离来改变这些虚拟对象的显示大小。例如，在显示图像生成单元67生成具有相同大小的虚拟对象的图像的情况下，更近的虚拟对象被显示为更大，并且更远的虚拟对象被显示为更小。在一个示例中，显示图像生成单元67通过实现迄今已知的、多边形的数量根据与虚拟照相机的距离而减少的LOD来实现。
在虚拟照相机的视野区域中存在任何虚拟对象的情况下，显示图像生成单元67生成包括视野区域中存在的虚拟对象的虚拟空间图像。同样，在虚拟照相机的视野区域存在虚拟身体的情况下，显示图像生成单元67生成包括视野区域中存在的虚拟身体的虚拟空间图像。
图7示出根据本发明实施例的显示单元23所显示的虚拟身体的示例，具体为演出体验VR游戏中的显示单元23所显示的虚拟身体的示例。如从该图将理解，在本实施例中，显示图像生成单元67生成包括虚拟照相机的视野区域中存在的虚拟身体的虚拟空间图像，该虚拟身体包括虚拟手臂71、虚拟手72和虚拟笔形灯筒73。利用该结构，在本实施例中，信息处理系统1可以使用户将用户经由显示单元23所识别的虚拟身体识别成仿佛手和手臂是用户自身的手和手臂并且笔形电筒由用户自身把持。这使得可以使用户体验作为VR的魅力的沉浸感。
这里，用户环境确定单元64所确定的用户的可移动范围包括与现实空间中的控制器30相对应的虚拟对象的可移动范围。在本实施例中，用户环境确定单元64所确定的用户的可移动范围包括虚拟空间中的可以配置包括虚拟笔形电筒、虚拟手和虚拟手臂的虚拟身体的区域。
在本实施例中，虚拟对象控制单元65将要配置GUI对象的位置确定在具有比用户的可移动范围更大的深度的预定位置处。利用该结构，在本实施例中，信息处理系统1防止虚拟身体和GUI对象之间的干扰。例如，这使得可以防止用户的手臂看上去仿佛穿透GUI对象或埋在GUI对象中的印象。
然而，在虚拟对象控制单元65将GUI对象配置在具有比用户的可移动范围更大的深度的位置处的情况下，显示图像生成单元67所生成的虚拟空间图像中的GUI对象的显示大小变小。也就是说，由HMD 20显示在显示单元23上的GUI对象的显示大小变小。GUI对象是用户必须识别的、用于允许用户通过使用控制器30来进行选择操作的选择窗口、用于提示用户的消息窗口等。因此，显示大小变小并不是优选的。
在本实施例中，如以下将说明的，虚拟对象控制单元65确定GUI对象在虚拟空间中的大小，使得所确定的位置处的GUI对象在显示单元23上的显示大小是恒定的。例如，虚拟空间中的大小是虚拟空间中的垂直长度和水平长度。
存储单元62存储远近法特性曲线，该远近法特性曲线是指示表示离虚拟照相机的距离的深度与虚拟空间中的单位长度在显示单元23上的显示大小之间的对应关系的数据。在本实施例中，远近法特性曲线是在VR应用变为对一般用户可用之前(例如，在VR应用的开发期间)生成的。由于远近法特性曲线通常根据VR应用而变化，因此需要针对各VR应用生成远近法特性曲线。通过将用作远近法的基础的单位长度显示在显示单元23上、改变单位长度的深度、并且测量该深度与单位长度在显示单元23上的显示大小之间的关系，来预先准备远近法特性曲线。单位长度指示用作虚拟空间中的基础的长度；单位长度不限于任何特定长度，并且可以是能够表示深度与单位长度在显示单元23上的显示大小之间的关系的任何长度。
图8是根据本发明实施例的远近法特性曲线的示例。图8所示的远近法特性曲线是表示用作虚拟空间中的远近法的基础的网格的各边的长度(单位长度)与从虚拟照相机起的深度之间的关系的函数。图8的横轴表示深度(depth)，并且随着值变大而指示更深的位置，即离虚拟照相机更远的位置。图8的纵轴表示在给定深度处单位长度在显示单元23上显示的长度(length(d))，并且随着值变大而指示所显示的长度更长，例如，显示单元23上的像素数更大。
现在，将通过使用图8来说明在用户沿着深度方向的可移动范围与配置GUI对象的位置之间的关系。D1表示由用户环境确定单元64确定的用户的可移动范围中的离虚拟照相机最远的位置，即用户的可移动范围中的深度极限位置，该深度极限位置是用户的虚拟身体的到达极限点。D2表示显示GUI对象的深度的位置，该位置是虚拟对象控制单元65所设置的并且具有比D1大的深度的位置。
通过使用上述的远近法特性曲线来根据虚拟对象的深度位置改变虚拟对象的大小，可以使显示单元23上的显示大小在任何深度位置处均是恒定的。在一个优选示例中，在用length表示在给定长度d处的构成虚拟对象的任意边要显示在显示单元23上的长度的情况下，通过以下的等式1来表示为此所需的该边在虚拟空间中的长度vrscale，其中grid_length表示单位长度。
Figure BDA0002508842710000181
在本实施例中，虚拟对象控制单元65例如根据等式1，通过使用远近法特性曲线来确定GUI对象在虚拟空间中的大小，使得所确定的位置处的GUI对象的显示大小在显示单元23上将是恒定的。例如，GUI对象在显示单元23上的显示大小用显示单元23的画面上的像素数来表示，并且恒定的显示大小是指使得用户能够识别的一定恒定大小。
结果，在虚拟照相机的视野范围中存在GUI对象的情况下，显示图像生成单元67生成包括具有恒定显示大小的GUI对象的虚拟空间图像。利用该结构，在本实施例中，可以在将GUI对象配置在不在用户的手的到达范围内的位置处的情况下，将具有恒定大小的GUI对象显示在显示单元23上。这使得可以显示具有高可视性且不干扰用户的虚拟身体的GUI对象。注意，虚拟对象控制单元65也可以确定GUI对象的位置，使得具有恒定显示大小的GUI对象不会与虚拟照相机的视野区域中的任何其它虚拟对象重叠。
远近法特性曲线无需是函数，并且可以是表示多个深度距离与在各个深度距离处在虚拟空间中的单位长度在显示单元23上的显示大小之间的对应关系的数据。
接着，将通过使用图9所示的流程图来说明根据本发明实施例的利用信息处理系统1的信息处理。图9所示的信息处理是通过使得信息处理装置10执行程序、通过使得HMD20执行程序、或者通过使得信息处理装置10执行程序并且还使HMD 20执行程序来实现的。尽管在以下说明中假定信息处理装置10主要进行信息处理，但HMD 20可以进行信息处理的一部分或全部。
信息处理装置10例如在信息处理系统1所提供的VR系统启动时开始信息处理。首先，在步骤901中，信息处理装置10通过根据通过使用传感器所确定的HMD 20的位置和倾斜而确定用户的位置和用户正在面向的方向，来确定虚拟空间中的用户的视点位置。信息处理装置10在所确定的用户的视点位置处配置虚拟照相机。
然后，在步骤902中，信息处理装置10基于所构建的虚拟空间的环境和用户的视点位置，来确定作为允许用户在虚拟空间中移动的范围的用户的可移动范围。
然后，在步骤903中，信息处理装置10将要配置GUI对象的位置确定在落在用户的可移动范围的外侧的虚拟空间区域中的、具有比用户的可移动范围更大的深度的预定位置处。
然后，在步骤904中，信息处理装置10确定GUI对象在虚拟空间中的大小，使得从所确定的用户的视点位置来看，所配置的位置处的GUI对象在显示单元23上的显示大小将是恒定的。此时，信息处理装置10通过使用诸如远近法特性曲线等的、表示深度与虚拟空间中的单位长度在显示单元23上的显示大小之间的对应关系的数据，来确定GUI对象在虚拟空间中的大小。
然后，在步骤905中，信息处理装置10生成包括具有所确定的大小的GUI对象的虚拟空间的绘制数据。具体地，信息处理装置10生成要显示在HMD 20的显示单元23上的、如从虚拟照相机观看的虚拟空间图像。信息处理装置10将所生成的虚拟空间图像发送至HMD20，并且HMD 20将该虚拟空间图像显示在显示单元23上。然而，可选地，信息处理装置10可以生成诸如绘制命令等的数据，该绘制命令用于生成要由HMD 20显示在显示单元23上的、如从虚拟照相机观看的虚拟空间图像。
然后，除非信息处理系统所提供的VR系统1终止(步骤906)，否则在步骤907中，基于通过使用传感器按预定间隔定期地确定的HMD 20的位置和倾斜来更新用户的视点位置和虚拟照相机的视野区域，并且处理返回到步骤904。此时，信息处理装置10将配置虚拟照相机的位置更新为用户的视点位置。在步骤904中，信息处理装置10确定GUI对象在虚拟空间中的大小，使得从更新后的用户的视点位置来看，所配置的位置处的GUI对象在显示单元23上的显示大小将是恒定的。
该信息处理是在虚拟照相机的视野区域中存在GUI对象的情况下的利用信息处理装置10的信息处理。在一个优选示例中，信息处理装置10在步骤905之前判断在虚拟照相机的视野区域中是否存在GUI对象，并且仅在虚拟照相机的视野区域中存在GUI对象的情况下才执行步骤905。在另一示例中，信息处理装置10在步骤904之前判断在虚拟照相机的视野区域中是否存在GUI对象，并且仅在虚拟照相机的视野区域中存在GUI对象的情况下才执行步骤904和步骤905。
接着，将说明根据本发明实施例的信息处理系统1的操作优势。在本实施例中，在VR系统启动时，用户环境确定单元64基于现实空间中的HMD 20的位置来确定用户的视点位置和用户的可移动范围。在如此根据环境确定了用户的可移动范围之后，虚拟对象控制单元65将GUI对象(GUI元素)配置在具有比可移动范围更大的深度的预定位置处。然后，通过使用远近法特性曲线，虚拟对象控制单元65确定GUI对象在虚拟空间中的大小，使得所确定的位置处的GUI对象在显示单元23上的显示大小将是恒定的。
此外，在本实施例中，显示图像生成单元67生成包括虚拟照相机的视野区域中存在的虚拟身体的虚拟空间图像，该虚拟身体包括虚拟手臂71、虚拟手72和虚拟笔形电筒73。
利用该结构，在本实施例中，可以使用户将用户经由显示单元23所识别的虚拟身体识别成仿佛手和手臂是用户自身的手和手臂并且笔形电筒由用户自身把持。这使得可以使用户体验作为VR的魅力的沉浸感。
此外，利用该结构，在本实施例中，可以在将GUI对象配置在不在用户的手的到达范围内的位置处的情况下，将具有恒定大小的GUI对象显示在显示单元23上。这使得可以显示具有高可视性且不干扰用户的虚拟身体的GUI对象。此外，利用该结构，在本实施例中，与将GUI对象以与VR空间完全分离的状态显示在HMD 20的显示单元23上的结构相比，可以在向用户提供沉浸感的同时，在多种情形下提供高的可视性。
此外，如上所述配置成的根据本实施例的信息处理系统1、信息处理方法、用于执行该方法的程序等通常可用于VR应用，例如显示了独立于构成VR空间的背景的UI元素(例如窗口)的VR游戏。
此外，在本实施例中，虚拟对象控制单元65可以确定GUI对象的位置，使得从用户的视点位置观看的具有恒定显示大小的GUI对象不会与任何其它虚拟对象重叠。这使得可以显示具有高可视性的GUI对象。
根据本发明实施例的一种程序通过使得处理器11或处理器21执行该程序来实现信息处理系统1的操作。因而，该程序的操作优势与信息处理系统1的操作优势相同。
本发明在其另一实施例中，还可以是一种存储有程序的计算机可读存储介质，该程序用于实现本发明的上述实施例的功能或在流程图中示出的信息处理。本发明在其又一实施例中，还可以是一种服务器，其可以向计算机提供程序，该程序用于实现本发明的上述实施例的功能或在流程图中示出的信息处理。本发明在其又一实施例中，还可以是一种虚拟机，该虚拟机实现本发明的上述实施例的功能或在流程图中示出的信息处理。
在上述的处理或操作中，可以自由地修改处理或操作，只要在处理或操作中不出现矛盾(例如在一个步骤中使用在该步骤中不可用的数据的矛盾)即可。此外，上述的实施例是用于说明本发明的示例，并且本发明不限于这些实施例。本发明可以以未背离本发明的主旨的各种形式体现。例如，各个装置中的各个装置的外部形状不限于所示的外部形状。
附图标记说明
1 信息处理系统
10 信息处理装置
11 处理器
12 存储装置
13 输入/输出IF
14 通信IF
20 头戴式显示装置
21 处理器
22 存储装置
23 显示单元
24 LED灯
25 通信IF
30 控制器
31 把持部
32 操作按钮
33 LED灯
61 位置确定单元
62 存储单元
63 处理单元
64 用户环境确定单元
65 虚拟对象控制单元
66 用户操作处理单元
67 显示图像生成单元
71 虚拟手臂
72 虚拟手
73 虚拟笔形电筒

Claims (13)

1.一种由处理装置执行的程序，所述处理装置用于进行要显示在头戴式显示装置的显示单元上的包括虚拟对象的虚拟空间的绘制处理，所述虚拟对象包括预定的GUI对象，所述程序使得所述处理装置执行以下步骤：
基于通过使用传感器获得的、现实空间中的所述头戴式显示装置的位置，来确定所述虚拟空间中的用户的视点位置；
确定所述虚拟空间中的用户的可移动范围；
在所确定的可移动范围的外侧的虚拟空间区域中确定所述GUI对象的位置；
通过使用深度与所述虚拟空间中的单位长度在所述显示单元上的显示大小之间的对应关系，来确定所述GUI对象在所述虚拟空间中的大小，使得所确定的位置处的所述GUI对象在所述显示单元上具有恒定显示大小；以及
生成包括所述虚拟对象的所述虚拟空间的绘制数据，所述虚拟对象包括具有所确定的大小的所述GUI对象。
2.根据权利要求1所述的程序，其中，所述处理装置包括在所述头戴式显示装置中。
3.根据权利要求1所述的程序，其中，所述处理装置包括在以能够通信的方式与所述头戴式显示装置相连接的信息处理装置中。
4.根据权利要求1至3中任一项所述的程序，
其中，所述绘制处理包括用于基于所述现实空间中的用户所把持的控制器的位置来绘制与所述控制器的位置相对应的所述虚拟对象的绘制处理，以及
其中，用户的所述可移动范围包括与所述控制器的位置相对应的所述虚拟对象的可移动范围。
5.根据权利要求1至4中任一项所述的程序，其中，在确定所述GUI对象的位置的步骤中，确定所述GUI对象的位置，使得从用户的视点位置观看的具有所述恒定显示大小的所述GUI对象与其它虚拟对象不重叠。
6.根据权利要求1至5中任一项所述的程序，其中，所述GUI对象包括选择窗口、定时窗口、进度条和滚动条至少之一。
7.一种信息处理方法，用于进行要显示在头戴式显示装置的显示单元上的包括虚拟对象的虚拟空间的绘制处理，所述虚拟对象包括预定的GUI对象，所述信息处理方法包括以下步骤：
基于通过使用传感器获得的、现实空间中的所述头戴式显示装置的位置，来确定所述虚拟空间中的用户的视点位置；
确定所述虚拟空间中的用户的可移动范围；
在所确定的可移动范围的外侧的虚拟空间区域中确定所述GUI对象的位置；
通过使用深度与所述虚拟空间中的单位长度在所述显示单元上的显示大小之间的对应关系，来确定所述GUI对象在所述虚拟空间中的大小，使得所确定的位置处的所述GUI对象在所述显示单元上具有恒定显示大小；以及
将包括所述虚拟对象的所述虚拟空间绘制在所述显示单元上，所述虚拟对象包括具有所确定的大小的所述GUI对象。
8.一种信息处理系统，包括头戴式显示装置，所述头戴式显示装置包括用于向用户显示虚拟空间的显示单元，所述信息处理系统包括：
传感器，用于获得现实空间中的所述头戴式显示装置的位置；
处理单元，用于进行要显示在所述显示单元上的包括虚拟对象的所述虚拟空间的绘制处理，所述虚拟对象包括预定的GUI对象；
存储单元，用于存储表示深度与所述虚拟空间中的单位长度在所述显示单元上的显示大小之间的对应关系的数据，
其中，所述处理单元被配置为：
基于所述传感器所获得的位置来确定所述虚拟空间中的用户的视点位置；
确定所述虚拟空间中的用户的可移动范围；
在所确定的可移动范围的外侧的虚拟空间区域中确定所述GUI对象的位置；
通过使用所述存储单元所存储的数据来确定所述GUI对象在所述虚拟空间中的大小，使得所确定的位置处的所述GUI对象在所述显示单元上具有恒定显示大小；以及
将包括所述虚拟对象的所述虚拟空间绘制在所述显示单元上，所述虚拟对象包括具有所确定的大小的所述GUI对象。
9.根据权利要求8所述的信息处理系统，
其中，所述信息处理系统包括由用户把持的控制器，
其中，所述绘制处理包括用于基于现实空间中的所述控制器的位置来绘制与所述控制器的位置相对应的所述虚拟对象的绘制处理，以及
其中，用户的所述可移动范围包括与所述控制器的位置相对应的所述虚拟对象的可移动范围。
10.根据权利要求8或9所述的信息处理系统，其中，所述存储单元所存储的数据是通过针对各深度测量所述虚拟空间中的单位长度在所述显示单元上显示的显示大小而预先准备的。
11.根据权利要求8至10中任一项所述的信息处理系统，
其中，所述信息处理系统包括以能够通信的方式与所述头戴式显示装置相连接的信息处理装置，以及
其中，所述处理单元由所述头戴式显示装置和所述信息处理装置来实现。
12.一种头戴式显示装置，包括用于向用户显示虚拟空间的显示单元，所述头戴式显示装置包括：
处理单元，用于进行要显示在所述显示单元上的包括虚拟对象的所述虚拟空间的绘制处理，所述虚拟对象包括预定的GUI对象；以及
存储单元，用于存储表示深度与所述虚拟空间中的单位长度在所述显示单元上的显示大小之间的对应关系的数据，
其中，所述处理单元被配置为：
基于通过使用传感器获得的、现实空间中的所述头戴式显示装置的位置，来确定所述虚拟空间中的用户的视点位置；
确定所述虚拟空间中的用户的可移动范围；
在所确定的可移动范围的外侧的虚拟空间区域中确定所述GUI对象的位置；
通过使用所述存储单元所存储的数据来确定所述GUI对象在所述虚拟空间中的大小，使得所确定的位置处的所述GUI对象在所述显示单元上具有恒定显示大小；以及
将包括所述虚拟对象的所述虚拟空间绘制在所述显示单元上，所述虚拟对象包括具有所确定的大小的所述GUI对象。
13.一种信息处理装置，用于进行要显示在头戴式显示装置的显示单元上的包括虚拟对象的虚拟空间的绘制处理，所述虚拟对象包括预定的GUI对象，所述信息处理装置包括：
处理单元，用于进行要显示在所述显示单元上的所述虚拟空间的绘制处理；以及
存储单元，用于存储表示深度与所述虚拟空间中的单位长度在所述显示单元上的显示大小之间的对应关系的数据，
其中，所述处理单元被配置为：
基于通过使用传感器获得的、现实空间中的所述头戴式显示装置的位置，来确定所述虚拟空间中的用户的视点位置；
确定所述虚拟空间中的用户的可移动范围；
在所确定的可移动范围的外侧的虚拟空间区域中确定所述GUI对象的位置；
通过使用所述存储单元所存储的数据来确定所述GUI对象在所述虚拟空间中的大小，使得所确定的位置处的所述GUI对象在所述显示单元上具有恒定显示大小；以及
向所述头戴式显示装置发送用于将包括所述虚拟对象的所述虚拟空间绘制在所述显示单元上的数据，所述虚拟对象包括具有所确定的大小的所述GUI对象。
CN201880076384.1A 2017-09-27 2018-09-27 程序、信息处理方法、信息处理系统、头戴式显示装置和信息处理装置 Active CN111417989B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-186097 2017-09-27
JP2017186097A JP6340464B1 (ja) 2017-09-27 2017-09-27 プログラム、情報処理方法、情報処理システム、頭部装着型表示装置、情報処理装置
PCT/JP2018/035948 WO2019065846A1 (ja) 2017-09-27 2018-09-27 プログラム、情報処理方法、情報処理システム、頭部装着型表示装置、情報処理装置

Publications (2)

Publication Number Publication Date
CN111417989A true CN111417989A (zh) 2020-07-14
CN111417989B CN111417989B (zh) 2024-03-29

Family

ID=62487522

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880076384.1A Active CN111417989B (zh) 2017-09-27 2018-09-27 程序、信息处理方法、信息处理系统、头戴式显示装置和信息处理装置

Country Status (4)

Country Link
US (1) US11036053B2 (zh)
JP (1) JP6340464B1 (zh)
CN (1) CN111417989B (zh)
WO (1) WO2019065846A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11262854B2 (en) * 2017-09-25 2022-03-01 Hewlett-Packard Development Company, L.P. Sensing movement of a hand-held controller
JP2020177283A (ja) 2019-04-15 2020-10-29 株式会社ソニー・インタラクティブエンタテインメント 複数のマーカを備えたデバイス
JP7288792B2 (ja) * 2019-04-24 2023-06-08 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置およびデバイス情報導出方法
CN111913565B (zh) * 2019-05-07 2023-03-07 广东虚拟现实科技有限公司 虚拟内容控制方法、装置、系统、终端设备及存储介质
CN111882672A (zh) * 2020-07-24 2020-11-03 上海光追网络科技有限公司 一种vr游戏中可绘制3d图形识别3d虚拟物件的方法
CN112612363A (zh) * 2020-12-18 2021-04-06 上海影创信息科技有限公司 基于余光区域的用户非偏好比较方法和系统
JP2024031114A (ja) * 2022-08-25 2024-03-07 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像生成方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140133764A (ko) * 2013-05-10 2014-11-20 세종대학교산학협력단 멀티 디스플레이 제어장치 및 콘텐츠 제공 방법
US20140361956A1 (en) * 2013-06-09 2014-12-11 Sony Computer Entertainment Inc. Head Mounted Display
US20150049112A1 (en) * 2013-08-19 2015-02-19 Qualcomm Incorporated Automatic customization of graphical user interface for optical see-through head mounted display with user interaction tracking
US20150205484A1 (en) * 2012-07-27 2015-07-23 Nec Solution Innovators, Ltd. Three-dimensional user interface apparatus and three-dimensional operation method
CN106575153A (zh) * 2014-07-25 2017-04-19 微软技术许可有限责任公司 虚拟现实环境内基于注视的对象放置
CN106575156A (zh) * 2014-07-25 2017-04-19 微软技术许可有限责任公司 虚拟对象的智能放置以停留在头戴式显示器的视野中
JP2017102732A (ja) * 2015-12-02 2017-06-08 株式会社ソニー・インタラクティブエンタテインメント 表示制御装置及び表示制御方法
CN107111340A (zh) * 2014-12-29 2017-08-29 索尼互动娱乐美国有限责任公司 用于使用头戴式显示器在虚拟或增强现实场景内进行用户交互的方法和系统
CN109069927A (zh) * 2016-06-10 2018-12-21 Colopl株式会社 用于提供虚拟空间的方法、用于使计算机实现该方法的程序以及用于提供虚拟空间的系统

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPR963001A0 (en) * 2001-12-19 2002-01-24 Canon Kabushiki Kaisha Selecting moving objects on a system
US8730156B2 (en) * 2010-03-05 2014-05-20 Sony Computer Entertainment America Llc Maintaining multiple views on a shared stable virtual space
JP2009237680A (ja) * 2008-03-26 2009-10-15 Namco Bandai Games Inc プログラム、情報記憶媒体および画像生成システム
JP5614014B2 (ja) * 2009-09-04 2014-10-29 ソニー株式会社 情報処理装置、表示制御方法及び表示制御プログラム
US8913009B2 (en) * 2010-02-03 2014-12-16 Nintendo Co., Ltd. Spatially-correlated multi-display human-machine interface
US9934614B2 (en) * 2012-05-31 2018-04-03 Microsoft Technology Licensing, Llc Fixed size augmented reality objects
US9630105B2 (en) * 2013-09-30 2017-04-25 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
JP5876607B1 (ja) * 2015-06-12 2016-03-02 株式会社コロプラ フローティング・グラフィカルユーザインターフェース
WO2017033777A1 (ja) * 2015-08-27 2017-03-02 株式会社コロプラ ヘッドマウントディスプレイシステムを制御するプログラム
JP5981006B1 (ja) * 2015-09-14 2016-08-31 株式会社コロプラ 視線誘導のためのコンピュータ・プログラム
JP6560974B2 (ja) * 2015-12-17 2019-08-14 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および操作受付方法
JP6518582B2 (ja) * 2015-12-21 2019-05-22 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および操作受付方法
US10617956B2 (en) * 2016-09-30 2020-04-14 Sony Interactive Entertainment Inc. Methods for providing interactive content in a virtual reality scene to guide an HMD user to safety within a real world space
JP6342038B1 (ja) * 2017-05-26 2018-06-13 株式会社コロプラ 仮想空間を提供するためのプログラム、当該プログラムを実行するための情報処理装置、および仮想空間を提供するための方法
US20190033989A1 (en) * 2017-07-31 2019-01-31 Google Inc. Virtual reality environment boundaries using depth sensors

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150205484A1 (en) * 2012-07-27 2015-07-23 Nec Solution Innovators, Ltd. Three-dimensional user interface apparatus and three-dimensional operation method
KR20140133764A (ko) * 2013-05-10 2014-11-20 세종대학교산학협력단 멀티 디스플레이 제어장치 및 콘텐츠 제공 방법
US20140361956A1 (en) * 2013-06-09 2014-12-11 Sony Computer Entertainment Inc. Head Mounted Display
US20150049112A1 (en) * 2013-08-19 2015-02-19 Qualcomm Incorporated Automatic customization of graphical user interface for optical see-through head mounted display with user interaction tracking
CN106575153A (zh) * 2014-07-25 2017-04-19 微软技术许可有限责任公司 虚拟现实环境内基于注视的对象放置
CN106575156A (zh) * 2014-07-25 2017-04-19 微软技术许可有限责任公司 虚拟对象的智能放置以停留在头戴式显示器的视野中
CN107111340A (zh) * 2014-12-29 2017-08-29 索尼互动娱乐美国有限责任公司 用于使用头戴式显示器在虚拟或增强现实场景内进行用户交互的方法和系统
JP2017102732A (ja) * 2015-12-02 2017-06-08 株式会社ソニー・インタラクティブエンタテインメント 表示制御装置及び表示制御方法
US20180318703A1 (en) * 2015-12-02 2018-11-08 Sony Interactive Entertainment Inc. Display control apparatus and display control method
CN109069927A (zh) * 2016-06-10 2018-12-21 Colopl株式会社 用于提供虚拟空间的方法、用于使计算机实现该方法的程序以及用于提供虚拟空间的系统

Also Published As

Publication number Publication date
WO2019065846A1 (ja) 2019-04-04
US11036053B2 (en) 2021-06-15
JP6340464B1 (ja) 2018-06-06
US20200225490A1 (en) 2020-07-16
CN111417989B (zh) 2024-03-29
JP2019061528A (ja) 2019-04-18

Similar Documents

Publication Publication Date Title
CN111417989B (zh) 程序、信息处理方法、信息处理系统、头戴式显示装置和信息处理装置
US10776991B2 (en) Method of providing virtual space, method of providing virtual experience, system and medium for implementing the methods
CN108780360B (zh) 虚拟现实导航
US10664950B2 (en) Information processing method and system for executing the information processing method
JP6342038B1 (ja) 仮想空間を提供するためのプログラム、当該プログラムを実行するための情報処理装置、および仮想空間を提供するための方法
JP6523233B2 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム
US10223064B2 (en) Method for providing virtual space, program and apparatus therefor
US10438411B2 (en) Display control method for displaying a virtual reality menu and system for executing the display control method
US10216261B2 (en) Method of suppressing VR sickness, system for executing the method , and information processing device
JP6189497B1 (ja) 仮想空間を提供する方法、仮想体験を提供する方法、プログラム、および記録媒体
US20220291744A1 (en) Display processing device, display processing method, and recording medium
CN111161396B (zh) 虚拟内容的控制方法、装置、终端设备及存储介质
US20180059788A1 (en) Method for providing virtual reality, program for executing the method on computer, and information processing apparatus
JP6278546B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP6469752B2 (ja) 情報処理方法、情報処理プログラム、情報処理システムおよび情報処理装置
JP6966336B2 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP2019016358A (ja) 情報処理方法、プログラム及びコンピュータ
JP2018014109A (ja) 仮想空間を提供する方法、仮想体験を提供する方法、プログラム、および記録媒体
JP6514416B2 (ja) 画像表示装置、画像表示方法、及び画像表示プログラム
JP2018014084A (ja) 仮想空間を提供する方法、仮想体験を提供する方法、プログラム、および記録媒体
JP6189496B1 (ja) 仮想空間を提供する方法、仮想体験を提供する方法、プログラム、および記録媒体
JP6189495B1 (ja) 仮想空間を提供する方法、仮想体験を提供する方法、プログラム、および記録媒体
KR20230052297A (ko) 게임 프로그램, 게임 처리 방법 및 게임 장치
JP2018200688A (ja) 仮想空間を提供するためのプログラム、当該プログラムを実行するための情報処理装置、および仮想空間を提供するための方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40023762

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant