CN107407964B - 存储有用于在沉浸型虚拟空间控制目标操作的计算机程序的存储器以及计算机系统 - Google Patents

存储有用于在沉浸型虚拟空间控制目标操作的计算机程序的存储器以及计算机系统 Download PDF

Info

Publication number
CN107407964B
CN107407964B CN201680012784.7A CN201680012784A CN107407964B CN 107407964 B CN107407964 B CN 107407964B CN 201680012784 A CN201680012784 A CN 201680012784A CN 107407964 B CN107407964 B CN 107407964B
Authority
CN
China
Prior art keywords
target
virtual
head
computer
field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680012784.7A
Other languages
English (en)
Other versions
CN107407964A (zh
Inventor
马场功淳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japanese Cola Pula Ltd By Share Ltd
Original Assignee
Japanese Cola Pula Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japanese Cola Pula Ltd By Share Ltd filed Critical Japanese Cola Pula Ltd By Share Ltd
Publication of CN107407964A publication Critical patent/CN107407964A/zh
Application granted granted Critical
Publication of CN107407964B publication Critical patent/CN107407964B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/26—Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0308—Detection arrangements using opto-electronic means comprising a plurality of distinctive and separately oriented light emitters or reflectors associated to the pointing device, e.g. remote cursor controller with distinct and separately oriented LEDs at the tip whose radiations are captured by a photo-detector associated to the screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383—Signal control means within the pointing device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Architecture (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)

Abstract

将HMD本体的头部动作与向在沉浸型三维虚拟空间中配置的目标的操作关联起来，提供新的目标操作方式。一种计算机程序，使计算机作为如下单元发挥功能：视野决定部，根据由与计算机连接的头戴式显示器所具备的倾斜传感器探测的头部倾斜信息，决定虚拟空间内的视野信息；图像生成部，为了显示于头戴式显示器，根据视野信息，生成虚拟空间的视野图像；目标确定部，确定在虚拟空间中配置于基准视线上的目标，并且，与视野图像的预定位置对应起来决定基准视线；以及目标操作部，根据目标的确定，依照头戴式显示器的预定方向的头部倾斜动作，实施向上述确定的目标的操作。

Description

存储有用于在沉浸型虚拟空间控制目标操作的计算机程序的 存储器以及计算机系统
技术领域
本发明涉及用于在沉浸型虚拟空间控制目标操作的计算机程序以及计算机系统。更详细而言，涉及以能够通过使用在用户的头部佩戴的头戴式显示器(HMD)的HMD头部操作以及用户保持的控制器的操作，操作在沉浸虚拟空间内配置的目标的方式使计算机控制的计算机程序以及计算机系统。
背景技术
已知在用户的头部佩戴，能够利用在眼前配置的显示器等对用户提示虚拟空间中的图像的HMD。特别在专利文献1公开的那样的HMD中，能够在三维虚拟空间中显示360度的全景图图像。这样的 HMD通常具备各种传感器(例如加速度传感器、角速度传感器)，测量HMD本体的姿势数据。特别能够依照与头部的旋转角有关的信息，变更全景图图像的视线方向。即在佩戴HMD的用户使自身的头部旋转时，通过其一并地变更360度的全景图图像的视线方向，针对用户，提高向影像世界的沉浸感，提高娱乐性(参照专利文献1的段落〔0003〕、〔0033〕、〔0034〕以及〔摘要〕)。
另外，在专利文献1中，公开将头部的活动所致的用户手势和 HMD中的画面上的操作(例如显示画面切换)预先关联起来，在根据头部的倾斜、加速度确定用户的手势时，实施与该手势关联的画面操作。由此，消除用户在佩戴HMD时看不到身边所引起的控制器操作的不便性(参照该文献的段落〔0080〕～〔0083〕)。
现有技术文献
专利文献1：日本特开2013-258614号公报
然而，专利文献1的上述公开只不过简单地为了确定全景图图像的视野、或者确定用户手势，使用通过传感器取得的头部动作的信息。今后，预计通过大量开发与使用HMD的沉浸型虚拟空间对应的各种应用，HMD会更广泛地普及。
在不使用HMD的以往的游戏应用中，一般需要控制器的复杂的操作的情形较多，另一方面，在用户佩戴HMD的状态下，担心看不到自身的身边，而难以操作控制器。关于该点，期待在基于HMD的沉浸型虚拟空间中，不限于上述而在应用启动中的各种场面中应用头部动作的信息。
作为其一个例子，设想操作在三维虚拟空间中配置的目标那样的应用。在以下的发明的详细的说明中，特别设想能够操作如图11至图13的在沉浸型三维虚拟空间中配置的积木目标的积木游戏应用。 HMD本体的头部动作与使积木目标在特定方向上移动等操作关联起来，由此，能够通过HMD的动作进行向积木目标的操作。
发明内容
本发明的目的在于通过将HMD本体的头部动作与在沉浸型三维虚拟空间中配置的目标的确定的操作关联起来，能够容易地实施三维虚拟空间内的目标操作。
本发明提供一种计算机程序，使计算机在沉浸型虚拟空间内控制目标操作，其中，使计算机作为如下单元发挥功能：视野决定部，根据由与计算机连接的头戴式显示器所具备的倾斜传感器探测的倾斜信息，决定虚拟空间内的视野信息；图像生成部，为了显示于头戴式显示器，根据视野信息，生成虚拟空间的视野图像；目标确定部，确定在虚拟空间中配置于基准视线上的目标，并且，与视野图像的预定位置对应起来决定基准视线；以及目标操作部，根据目标的确定，依照头戴式显示器的预定方向的倾斜动作，实施向确定的目标的操作。
另外，在本发明所涉及的计算机程序中，在所述视野决定部中，视野信息还基于由与计算机连接并且能够探测头戴式显示器的位置传感器探测的头戴式显示器的位置信息。
进而，在本发明所涉及的计算机程序中，在所述目标操作部中，进而，与能够与计算机连接的外部控制器协作而实施向确定的目标的操作，外部控制器具备触摸显示器，依照包括向触摸显示器的轻敲、滑动以及保持中的任意个的触摸动作，实施向确定的目标的操作。
本发明提供一种计算机系统，用于沉浸型虚拟空间内的目标操作，其中，具备计算机、和与该计算机连接的具备倾斜传感器的头戴式显示器，所述计算机构成为根据由倾斜传感器探测的倾斜信息，决定虚拟空间内的视野信息，为了显示于头戴式显示器，根据视野信息，生成虚拟空间的视野图像，确定在虚拟空间中配置于基准视线上的目标，与所述视野图像的预定位置对应起来决定基准视线，根据目标的确定，依照头戴式显示器的预定方向的倾斜动作，实施向确定的目标的操作。
根据本发明，通过佩戴HMD的用户的头部的简易的动作，不需要如以往技术那样的复杂的控制器动作，而能够容易地实施沉浸型三维虚拟空间内的目标操作。另外，通过将使用HMD的头部动作与控制器的动作组合，还能够对应于复杂的目标操作。由此，本发明能够在使用HMD的游戏应用中，提供新的游戏操作方式。
本发明的上述、以及其它特征以及优点根据本发明的实施例的以下的更特定的说明、附图、以及权利要求书将更加明确。
附图说明
图1是示出本发明的实施方式所涉及的HMD系统的示意图。
图2示出以佩戴图1所示的HMD的用户的头部为中心规定的实际空间中的正交坐标系。
图3是示出由位置跟踪照相机探测的在HMD上虚拟地设置的多个探测点的概要图。
图4是示出本发明的实施方式所涉及的用于安装三维虚拟空间内的目标操作的功能性的结构的框图。
图5是示意地示出本发明的实施方式所涉及的三维虚拟空间中的虚拟照相机和目标的配置例的立体概要图。
图6是示意地示出本发明的实施方式所涉及的三维虚拟空间中的虚拟照相机和目标的配置例的立体概要图。
图7A是示意地示出本发明的实施方式所涉及的三维虚拟空间中的虚拟照相机和目标的一个操作例的立体概要图。
图7B是示意地示出本发明的实施方式所涉及的三维虚拟空间中的虚拟照相机和目标的另一操作例的立体概要图。
图8是示出本发明的实施方式所涉及的目标控制部中的功能性的结构的框图。
图9是示出本发明的实施方式所涉及的目标操作和用户动作的对应例的概要图。
图10是本发明的实施方式所涉及的用于三维虚拟空间内的目标操作的处理流程图。
图11是本发明的实施方式所涉及的与三维虚拟空间内的目标操作有关的画面影像例。
图12是本发明的实施方式所涉及的与三维虚拟空间内的目标操作有关的画面影像例。
图13是本发明的实施方式所涉及的与三维虚拟空间内的目标操作有关的画面影像例。
(符号说明)
1：虚拟照相机；2：沉浸型三维虚拟空间；100：HMD系统； 110：HMD；112：显示器；114：倾斜传感器(陀螺仪传感器)；120：计算机(控制电路部)；130：位置传感器(位置跟踪照相机)；140：外部控制器；210：活动检测部；220：视野决定部；230：视野图像生成部；240：目标控制部；250：空间信息储存部；260：目标信息储存部；270：虚拟照相机信息储存部；300：目标确定部；320：基准视线计算部；340：目标判定部；360：操作对象目标选择部；400：目标操作部；420：外部控制器动作判定部；440：倾斜动作判定部； 450：虚拟照相机调整部；460：目标操作确定部；470：目标操作表格；480：目标操作实施部。
具体实施方式
以下，参照附图，说明本发明的实施方式所涉及的使计算机在沉浸型虚拟空间内控制目标操作的计算机程序、以及用于沉浸型虚拟空间内的目标操作的计算机系统。在图中，对同一构成要素附加同一符号。
图1是本发明的实施方式所涉及的使用头戴式显示器(以下称为“HMD”)的HMD系统100的整体概略图。如图所示，HMD系统 100具备HMD本体110、计算机(控制电路部)120、位置跟踪照相机(位置传感器)130、以及外部控制器140。
HMD110具备显示器112以及传感器114。显示器112是构成为完全覆盖用户的视野的非透射型的显示装置，用户能够仅观察在显示器112中显示的画面。另外，佩戴非透射型的HMD110的用户完全丧失外界的视野，所以成为完全沉浸到通过在控制电路部120中执行的应用显示的虚拟空间的显示样式。
HMD110所具备的传感器114固定于显示器112附近。传感器 114包括地磁传感器、加速度传感器、和/或倾斜(角速度、陀螺仪) 传感器，能够通过它们的一个以上探测在用户的头部佩戴的HMD110 (显示器112)的各种活动。特别是在角速度传感器的情况下，如图 2所示，能够根据HMD110的活动，经时地探测绕HMD110的三轴的角速度，决定绕各轴的角度(倾斜)的时间变化。
参照图2，说明能够用倾斜传感器探测的角度信息数据。如图所示，以佩戴HMD的用户的头部为中心，规定XYZ坐标。将用户直立的垂直方向设为Y轴，将与Y轴正交且连结显示器112的中心和用户的方向设为Z轴，将与Y轴以及Z轴正交的方向的轴设为X轴。在倾斜传感器中，探测绕各轴的角度(即用表示将Y轴作为轴的旋转的偏航角、表示将X轴作为轴的旋转的间距角、表示将Z轴作为轴的旋转的侧倾角决定的倾斜)，通过其经时的变化，活动探测部220将角度(倾斜)信息数据决定为视野信息。
返回到图1，HMD系统100具备的计算机120作为用于使佩戴 HMD的用户沉浸到三维虚拟空间，实施基于三维虚拟空间的动作的控制电路部120而发挥功能。如图1所示，控制电路部120也可以构成为与HMD110分开的硬件。该硬件能够成为如个人计算机、经由网络的服务器计算机的计算机。即，能够成为具备相互总线连接的 CPU、主存储、辅助存储、发送接收部、显示部、以及输入部的任意的计算机。
作为代替，控制电路部120也可以作为目标操作装置搭载到 HMD110内部。在此，控制电路部120能够仅安装目标操作装置的全部或者一部分的功能。在仅安装一部分的情况下，也可以将剩余的功能安装到HMD110侧或者经由网络的服务器计算机(未图示)侧。
HMD系统100具备的位置跟踪照相机(位置传感器)130与控制电路部120可通信地连接，具有HMD110的位置追踪功能。位置跟踪照相机130是使用红外线传感器、多个光学照相机来实现的。具备位置跟踪照相机130，通过探测用户头部的HMD的位置，HMD系统 100能够将三维虚拟空间中的虚拟照相机/沉浸用户的虚拟空间位置正确地对应起来确定。
更具体而言，如图3例示，在HMD110上虚拟地设置位置跟踪照相机130，与用户的活动对应地经时地对探测红外线的多个探测点的实际空间位置进行探测。另外，能够根据由位置跟踪照相机130探测出的实际空间位置的经时的变化，决定与HMD110的活动对应的绕各轴的角度的时间变化。
再次返回到图1，HMD系统100具备外部控制器140。外部控制器140是一般的用户终端，能够成为如图示的智能手机，但不限于此。例如，只要是如PDA、平板型计算机、游戏用控制台、笔记本 PC的具备触摸显示器的便携型设备终端，则能够成为任意的设备。即，外部控制器140能够成为具备相互总线连接的CPU、主存储、辅助存储、发送接收部、显示部、以及输入部的任意的便携型设备终端。用户能够针对外部控制器140的触摸显示器，实施包括轻敲、滑动以及保持的各种触摸动作。
图4的框图是为了安装本发明的实施方式所涉及的三维虚拟空间内的目标操作，以控制电路装置120为中心示出部件的主要功能性的结构的图。在控制电路部120中，主要接受来自传感器114/130以及外部控制器140的输入，处理该输入而进行向显示器112的输出。控制电路部120主要包括活动探测部210、视野决定部220及视野图像生成部230、以及目标控制部240，与空间信息储存部250、目标信息储存部260、以及虚拟照相机信息储存部270等的各种表格相互作用而处理各种信息。
在活动探测部210中，根据来自传感器114/130的活动信息的输入，测定在用户的头部佩戴的HMD110的活动数据。在本发明的实施方式中，特别是，决定通过倾斜传感器114经时地探测的角度信息、以及通过位置跟踪照相机130经时地探测的位置信息。
视野决定部220根据基于在空间信息储存部250中储存的三维虚拟空间信息、以及被倾斜传感器114探测的角度信息、以及被位置传感器130探测的位置信息的虚拟照相机的视场方向的探测信息，决定来自三维虚拟空间中的虚拟照相机的视野信息。另外，能够根据决定的视野信息，在视野图像生成部230中，生成360度全景图的一部分的视野图像。在图11～13中分别如图所示，生成左眼用和右眼用的两个二维图像，在HMD中使这两个重叠，而生成视野图像，从而对用户如三维图像在HMD中显示。
返回到图4，在目标控制部240中，根据在目标信息储存部260 中储存的三维虚拟空间内的目标信息、以及来自各传感器114/130以及外部控制器140的用户指令，确定操作对象目标。另外，接受向该确定的操作对象目标的预定的用户操作指令，与在虚拟照相机信息储存部270中储存的虚拟照相机信息的调整一起实施向操作对象目标的操作，输出到HMD的显示器112。在图5以后关联地说明目标操作的具体的处理。
此外，在图4中，记载为进行各种处理的功能块的各要素能够在硬件上由CPU、存储器、其它集成电路构成，在软件上通过载入到存储器的各种程序等实现。因此，本领域技术人员应理解能够通过硬件、软件、或者它们的组合实现这些功能块(关于后记的图8也是同样的)。
由此，参照图5至图10，详细说明由图4所示的视野决定部220、视野图像生成部230以及目标控制部240实施的确定操作对象目标的处理以及对象目标的操作处理。图5是示意地示出本发明的实施方式所涉及的沉浸型三维虚拟空间2内的虚拟照相机1以及圆柱目标O1、 O2及长方体目标O3的配置例的立体图。将从虚拟照相机1摄像的视野作为视野图像显示于沉浸用户的显示器。如图所示，根据佩戴HMD 的用户使头向下方向倾斜，虚拟照相机1也比水平朝向下方向。另外，在其视野的中心(箭头)的前端配置圆柱目标O1。另外，在视野的右方向上配置圆柱目标O2，在左方向上配置长方体目标O3。
接着，图6详细示出图5的示意图中的配置。如图所示，在用 XZ坐标面规定水平面，用Z轴规定垂直方向的虚拟空间内，虚拟照相机1配置于(Xcam、Ycam、Zcam)的位置。根据由位置跟踪照相机探测出的位置信息决定该位置坐标。虚拟照相机1具有预定的视场的范围，根据视场范围规定视野而生成视野图像。规定视野的基准视线 Lstd以及针对该基准视线的视野边界线Lbd1、Lbd2。在此，以与视野图像的预定位置(例如中心点)对应的方式规定基准线Lstd。
另外，作为一个例子，各目标O1～O3配置于XZ平面上的O1 (XO1、0、ZO1)、O2(XO2、0、ZO2)、O3(XO3、0、ZO3)。当然，目标具有一定的大小，所以将坐标位置规定为坐标范围即可。在如图 6的例子的虚拟照相机的位置以及朝向和各目标的配置位置的关系中，在基准视线Lstd上配置有目标O1，其结果，作为操作对象目标确定O1。
图7A以及图7B示出针对在图6中确定的目标O1的操作的概要。图7A示意地示出本发明的实施方式所涉及的、三维虚拟空间中的虚拟照相机和目标的一个操作例。如图所示，在确定操作对象目标 O1后，固定虚拟照相机1的位置。通过在该状态下用户进而实施使头部倾斜的HMD动作，针对目标O1实施与该动作预先关联起来的目标操作。在此，通过用户实施使头部在垂直方向上移动的HMD倾斜动作，根据该移动距离，即使在三维虚拟空间中，也使目标O1在 Y轴方向上移动至(XO1、YO1、ZO1)的坐标位置。此时，以使基准视线LOP’始终成为视野的基准位置的方式(例如以在视野图像上维持中心点的方式)，将虚拟照相机的朝向仍向Y轴方向调整角度。
在图7A中，针对在Y轴方向上移动的目标O1’还实施旋转处理。关于目标旋转处理，也与目标移动处理同样地能够与预定的HMD倾斜动作(例如水平方向的HMD倾斜动作)关联起来。除此以外，还能够成为外部控制器140上的预定的动作(例如触摸显示器上的滑动动作)。
图7B示意地示出本发明的实施方式所涉及的三维虚拟空间中的虚拟照相机和目标的另一操作例。在图7A的例子中，伴随操作对象目标O1的确定，固定虚拟照相机1的位置，之后调整照相机的朝向。相对于此，在图7B的例子中，不固定虚拟照相机的位置，而固定其朝向。即，伴随目标O1在Y轴方向上移动至(XO1、YO1、ZO1)的坐标位置，虚拟照相机1的位置也在Y方向上移动至(Xcam、Ycam+YO1、 Zcam)的坐标位置。
虚拟照相机的位置以及朝向的控制不限定于图7A、图7B的处理例。即，本领域技术人员应理解只要是以使基准视线LOP’始终成为视野的基准位置的方式(例如以在视野图像上维持中心点的方式)，调整虚拟照相机的位置和/或朝向的方式，则能够成为任意的处理方式。
由此，参照图8～图10，更详细地说明在上述图6、图7A以及图 7B中说明的与三维虚拟空间内的目标操作有关的处理。图8是构成在图4中说明的目标控制部240的详细的功能框图。如图所示，目标控制部240具备用于确定操作对象目标的目标确定部300、以及用于针对确定的操作对象目标进行操作的目标操作部400。
在目标确定部300中，通过由用户实施的HMD倾斜动作，确定在三维虚拟空间在图6所示的基准视线上配置的目标。为此，该目标确定部300具备：基准视线计算部320，用于计算与视野图像的基准点关联起来的三维虚拟空间的基准视线；目标判定部340，判定在基准视线上是否配置有目标；以及操作对象目标选择部360，在基准视线上配置目标的情况下，将该目标选择为操作对象目标。
另一方面，在目标操作部400中，根据目标确定部300中的操作对象目标的确定，依照由用户使HMD向预定方向倾斜的头部倾斜动作，实施向上述操作对象目标的操作。为此，该目标操作部400包括：外部控制器动作判定部420，判定是否在外部控制器中接受到由用户实施的触摸动作；倾斜动作判定部440，判定由用户实施的HMD倾斜动作(特别是倾斜方向)；虚拟照相机调整部450，在目标操作时调整虚拟照相机的位置、方向；目标操作确定部460，依照目标操作表格470确定针对操作对象目标的目标操作；以及目标操作实施部 480，实施目标操作来生成视野图像。
在此，参照图9，说明使用目标操作表格470的目标操作确定。图9是示出作为目标操作表格470的基础的用户动作和目标操作的对应例的概略图。能够在目标选择部360中选择出操作对象目标时，在接着用户进行向外部控制器的“轻敲”动作后，进行在三维空间内将操作对象目标“抓住”的动作。“轻敲”动作仅为例示，只要是在选择出操作对象目标的状态下能够唯一地关联起来的用户动作，则既可以是其它HMD动作也可以是其它输入动作。
能够依照目标操作表格470，决定进行上述“抓住”的动作之后的目标操作。如图所示，在用户动作中，除了HMD倾斜动作(列) 以外，还包括利用外部控制器的触摸动作(行)，能够通过这些用户动作的组合，确定目标操作。例如，在HMD动作是“上下方向的倾斜”动作的情况、进而用户与外部控制器动作协作而在触摸显示器上实施“轻敲”动作的情况下，被解释为“将目标放开”的动作指令。同样地，在目标操作确定部460中，在HMD动作是“上下方向的倾斜”动作的情况、进而用户与外部控制器协作而实施“滑动”动作的情况下，解释为“目标的旋转移动”动作指令，在外部控制器中实施“保持”动作的情况下，解释为“目标的上下移动”动作指令，在不与外部控制器动作协作而什么都不做的情况下，解释为“目标的前后移动”动作指令，在目标操作实施部480中实施各动作指令。
此外，HMD动作不限于“上下方向的倾斜”，只要是可唯一地确定的倾斜动作，则可以是任意的动作。另外，也可以将用户动作仅视为HMD倾斜动作以及外部控制器动作中的某一方，与目标操作对应起来。然而，在希望设置大量目标操作类别的情况下，优选成为它们的组合。仅通过佩戴HMD的用户转动自身的头部，用户就能够实施HMD倾斜动作，所以对于用户来说是容易的。另外，关于外部控制器中的触摸动作，也仅设为触摸显示器的任意的位置处的“轻敲”、“滑动”、“保持”动作即可，对用户来说是容易的。
接下来，参照图10，详细说明本发明的实施方式所涉及的用于三维虚拟空间内的目标操作的处理流程。通过外部控制器140、位置跟踪照相机(位置传感器)130、HMD100以及计算机(控制电路部) 120的相互作用，实现该目标操作处理。
在该目标操作处理时，在活动检测部210中，探测出HMD的各信息。即，在步骤S130-1中，通过与计算机120连接并且能够探测 HMD的位置传感器，探测HMD100的位置。另外，在步骤S100-1 中，通过与计算机120连接的HMD所具备的倾斜传感器，探测 HMD100的倾斜。然后，在步骤S120-1中，通过活动检测部210分别决定位置信息以及倾斜信息，进而通过视野决定部220，根据上述 HMD100的位置信息和/或倾斜信息决定三维虚拟空间内的视野信息。
在决定视野信息后，接着在步骤S120-2中，为了显示于HMD，通过视野图像生成部220，基于上述视野信息生成视野图像。一并地，在步骤S120-3中，通过空间内基准线计算部320，决定基准视线Lstd。与视野图像的预定位置对应起来决定基准视线Lstd。该预定位置成为视野图像的中心点即可，但不限于此，可以成为视野图像的任意的可设定的位置。另外，将基准点作为某种标志(例如手掌的图标)重叠显示于上述视野图像即可。
接下来，在步骤S100-2中，视野图像显示于HMD。在视野图像中，显示之后可能成为操作对象的多个目标。另外，在视野图像显示于HMD的状态下，佩戴HMD的用户实施头部倾斜动作，并进行对位以使在三维虚拟空间内配置的多个目标中的至少一个与视野图像的预定位置对应的方式。
在步骤S120-4中，通过目标判定部340，判定是否至少一个目标与视野图像的上述预定位置对位、即是否在三维空间中在基准视线上配置有目标。在基准视线上配置有目标的情况下，在步骤S120-5 中，通过目标选择部360将该目标选择为操作对象目标。在假设如在基准视线上配置的目标存在多个的情况下，目标选择部360选择在三维虚拟空间中距离虚拟照相机的位置即视点最近的一个目标即可。
在步骤S140-1中，判断针对步骤S120-5的目标的选择，是否有利用外部控制器140的用户触摸动作(特别是“轻敲动作”)。在有该用户触摸动作的情况下，在步骤S120-6中目标确定部300对其应答，从而操作对象目标的确定完成。在该状态下，在视野图像中，作为由用户实施将操作对象目标“抓住”的行为的方式，显示于HMD。另一方面，在无用户触摸动作的情况下，返回到初始的步骤S130-1以及步骤S100-1，接着探测HMD的位置信息以及倾斜信息。
在用户抓住操作对象目标的状态下，进而，由用户进行外部控制器动作(步骤S140-2)、HMD倾斜动作(步骤S100-3)。针对这些，外部控制器动作判定部420、倾斜动作/方向判定部440分别进行动作判定，在步骤S120-7中，由目标操作确定部460确定向操作对象目标的对应的操作。关于对应的操作，如之前参照图9说明，根据例如垂直(上下)方向的HMD倾斜动作和外部控制器动作的动作的组合，决定唯一的目标操作。
在步骤S120-8以后，实施向操作对象目标的实际的操作，其结果被显示于HMD上。即，在步骤S120-8中，通过虚拟照相机调整部 450进行图7A、图7B所示的虚拟照相机的位置/方向的调整。接着，在步骤S120-9中，通过目标操作实施部480，同样地如图7A、图7B 所示的那样对操作对象目标实施特定的操作。然后，在步骤S120-10 中，生成与操作相伴的一连串的结果图像，在步骤S100-4中，经时地在HMD中显示该操作结果图像。
画面显示例
根据上述，在图11～图13中，示出根据本发明的实施方式安装的与三维虚拟空间内的目标操作关联的在HMD中显示的画面例。在此，设想如能够操作在沉浸型三维虚拟空间中配置的积木目标的积木游戏应用。更具体而言，设想通过与使积木目标在特定方向上移动等操作关联起来，能够在HMD的头部动作中实施向积木目标的操作的积木游戏应用。如上说明，在各图中显示看左眼用和右眼用这两个图像，在HMD中显示时，通过将它们重叠，对用户如三维图像生成。
在图11中，在三维虚拟空间的平面上配置有大量积木目标。另外，在视野图像的中心处，显示有呈手掌的形状的标志。另外，以使该标志与积木目标重叠的方式，用户通过利用HMD倾斜动作进行对位而玩游戏。用户在通过该对位选择出一个积木目标之后，组合HMD倾斜动作以及外部控制器动作，从而依照如图7所示的目标操作规则，操作该积木目标。图12是进行使通过选择抓住的积木目标移动至预定的位置的操作的状态。另外，图13是通过HMD的垂直方向的倾斜动作将一个积木目标向上方向举起，进而想要堆积到在旁边配置的其它积木目标的状态。
这样，根据本发明，能够通过佩戴HMD的用户的头部的简易的动作，实施沉浸型三维虚拟空间内的目标操作。另外，通过将使用 HMD的头部动作与外部控制器的动作组合，还能够对应于更复杂的目标操作。经由这些，本发明能够在使用HMD的游戏应用中，提供新的游戏操作方式。
以上，说明了本发明的实施方式，但本发明不限定于上述实施方式。本领域技术人员应理解能够不脱离上述权利要求记载的本发明的精神以及范围，而进行各种实施方式的变更。

Claims (10)

1.一种存储有用于在沉浸型虚拟空间控制目标操作的计算机程序的存储器，其特征在于：
所述计算机程序使计算机作为如下单元发挥功能：
视野决定部，基于由与所述计算机连接的头戴式显示器所具备的倾斜传感器探测的倾斜信息，决定三维虚拟空间内的视野信息；
图像生成部，为了显示于所述头戴式显示器，基于所述视野信息生成所述三维虚拟空间的视野图像；
目标确定部，确定在所述三维虚拟空间中配置于基准视线上的目标，并且与所述视野图像的预定位置对应起来决定所述基准视线；以及
目标操作部，根据所述目标的确定，依照所述头戴式显示器的预定方向的倾斜动作，实施向确定的所述目标的在所述三维虚拟空间内的操作。
2.根据权利要求1所述的存储器，其特征在于：在所述视野决定部中，所述视野信息还基于由与所述计算机连接并且能够探测所述头戴式显示器的位置的位置传感器探测的所述头戴式显示器的位置信息。
3.根据权利要求1或者2所述的存储器，其特征在于：在所述目标确定部中，进而在配置于所述基准视线上的目标有多个的情况下，选择在所述三维虚拟空间中距离视点最近的一个目标。
4.根据权利要求1或者2所述的存储器，其特征在于：所述预定位置被设定于所述视野图像的中心点。
5.根据权利要求1或者2所述的存储器，其特征在于：所述预定方向是垂直方向。
6.根据权利要求1或者2所述的存储器，其特征在于：在所述目标操作部中，进而与能够和所述计算机连接的外部控制器协作而实施向确定的所述目标的操作。
7.根据权利要求6所述的存储器，其特征在于：所述外部控制器具备触摸显示器，与所述外部控制器协作的向确定的所述目标的操作是依照包括向所述触摸显示器的轻敲、滑动以及保持中的任意动作的触摸动作来实施的。
8.一种计算机系统，其特征在于：
具备计算机和与该计算机连接的具备倾斜传感器的头戴式显示器，
所述计算机构成为：
根据由所述倾斜传感器探测的倾斜信息决定三维虚拟空间内的视野信息，
为了显示于所述头戴式显示器，基于所述视野信息生成所述三维虚拟空间的视野图像，
确定在所述三维虚拟空间中配置于基准视线上的目标，与所述视野图像的预定位置对应起来决定所述基准视线，
根据所述目标的确定，依照所述头戴式显示器的预定方向的倾斜动作，实施向确定的所述目标的在所述三维虚拟空间内的操作。
9.根据权利要求8所述的计算机系统，其特征在于：
还具备与所述计算机连接并且能够探测所述头戴式显示器的位置的位置传感器，
决定的所述视野信息还基于由所述位置传感器探测的所述头戴式显示器的位置信息。
10.根据权利要求8或者9所述的计算机系统，其特征在于：
还具备能够与所述计算机连接的外部控制器，
进而依照所述外部控制器所具备的触摸显示器上的触摸动作实施向确定的所述目标的操作。
CN201680012784.7A 2015-03-17 2016-03-11 存储有用于在沉浸型虚拟空间控制目标操作的计算机程序的存储器以及计算机系统 Active CN107407964B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-052897 2015-03-17
JP2015052897A JP5981591B1 (ja) 2015-03-17 2015-03-17 没入型仮想空間でオブジェクト操作を制御するためのコンピュータ・プログラムおよびコンピュータ・システム
PCT/JP2016/057822 WO2016148072A1 (ja) 2015-03-17 2016-03-11 没入型仮想空間でオブジェクト操作を制御するためのコンピュータ・プログラムおよびコンピュータ・システム

Publications (2)

Publication Number Publication Date
CN107407964A CN107407964A (zh) 2017-11-28
CN107407964B true CN107407964B (zh) 2019-04-05

Family

ID=56820066

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680012784.7A Active CN107407964B (zh) 2015-03-17 2016-03-11 存储有用于在沉浸型虚拟空间控制目标操作的计算机程序的存储器以及计算机系统

Country Status (4)

Country Link
US (1) US9721396B2 (zh)
JP (1) JP5981591B1 (zh)
CN (1) CN107407964B (zh)
WO (1) WO2016148072A1 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6346585B2 (ja) * 2015-04-06 2018-06-20 日本電信電話株式会社 操作支援装置、及びプログラム
US10539797B2 (en) * 2016-05-06 2020-01-21 Colopl, Inc. Method of providing virtual space, program therefor, and recording medium
JP6853638B2 (ja) 2016-09-14 2021-03-31 株式会社スクウェア・エニックス 表示システム、表示方法、及び、コンピュータ装置
JP6457989B2 (ja) * 2016-10-12 2019-01-23 株式会社カプコン ゲームプログラム及びゲーム装置
JP2018061666A (ja) * 2016-10-12 2018-04-19 株式会社カプコン ゲームプログラム及びゲーム装置
DE112017005377T5 (de) * 2016-10-25 2019-08-01 Sony Corporation Vorrichtung, verfahren und programm zur informationsverarbeitung
US11195335B2 (en) 2016-11-30 2021-12-07 Gree, Inc. Application control program, application control method, and application control system
JP6356878B2 (ja) * 2017-07-19 2018-07-11 グリー株式会社 アプリケーション制御プログラム、アプリケーション制御方法及びアプリケーション制御システム
JP6181842B1 (ja) * 2016-11-30 2017-08-16 グリー株式会社 アプリケーション制御プログラム、アプリケーション制御方法及びアプリケーション制御システム
JP6330072B1 (ja) * 2017-03-08 2018-05-23 株式会社コロプラ 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
US10365784B2 (en) 2017-03-08 2019-07-30 Colopl, Inc. Information processing method and apparatus for executing the information processing method
JP6746835B2 (ja) * 2017-03-13 2020-08-26 株式会社コナミデジタルエンタテインメント 表示制御装置及びプログラム
US10908679B2 (en) * 2017-04-24 2021-02-02 Intel Corporation Viewing angles influenced by head and body movements
CN108733206B (zh) * 2017-04-25 2020-10-30 广东虚拟现实科技有限公司 一种坐标对齐方法、系统和虚拟现实系统
US10417827B2 (en) * 2017-05-04 2019-09-17 Microsoft Technology Licensing, Llc Syndication of direct and indirect interactions in a computer-mediated reality environment
CN107517372B (zh) * 2017-08-17 2022-07-26 腾讯科技（深圳）有限公司 一种vr内容拍摄方法、相关设备及系统
JP6582205B2 (ja) * 2018-02-28 2019-10-02 株式会社コナミデジタルエンタテインメント 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、情報処理システム
JP2021096490A (ja) * 2018-03-28 2021-06-24 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
JP6600051B2 (ja) * 2018-06-13 2019-10-30 グリー株式会社 アプリケーション制御プログラム、アプリケーション制御方法及びアプリケーション制御システム
CN109407945B (zh) * 2018-11-08 2021-08-27 山东数字人科技股份有限公司 一种基于vr的三维拼图实现方法和三维拼图系统
JP2020129263A (ja) * 2019-02-08 2020-08-27 セイコーエプソン株式会社 表示システム、情報処理装置の制御プログラム、及び情報処理装置の制御方法
CN111773656A (zh) * 2020-07-09 2020-10-16 网易（杭州）网络有限公司 虚拟对象选择控制方法、装置、手持终端及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1231753A (zh) * 1996-08-14 1999-10-13 挪拉赫梅特·挪利斯拉莫维奇·拉都色夫 追踪并显示使用者在空间的位置与取向的方法,向使用者展示虚拟环境的方法以及实现这些方法的系统
CN1508759A (zh) * 2002-12-19 2004-06-30 索尼公司 用于处理信息的设备、方法和程序
CN101098491A (zh) * 2006-06-27 2008-01-02 松下电器产业株式会社 显示装置及其控制方法
JP4343637B2 (ja) * 2003-09-30 2009-10-14 キヤノン株式会社 操作指示方法および装置
CN102446007A (zh) * 2010-09-07 2012-05-09 索尼公司 信息处理设备、程序和控制方法
CN103162708A (zh) * 2011-12-14 2013-06-19 罗伯特·博世有限公司 具有改善的地图显示的导航系统
CN204741528U (zh) * 2015-04-22 2015-11-04 四川大学 立体沉浸式体感智能控制器

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100800859B1 (ko) * 2004-08-27 2008-02-04 삼성전자주식회사 Ｈｍｄ 정보 단말기에서 키를 입력하는 장치 및 방법
JP2006227934A (ja) * 2005-02-17 2006-08-31 Yoshitaka Fukumoto 実視界・空間座標同期システム
US7773098B2 (en) * 2005-05-11 2010-08-10 Canon Kabushiki Kaisha Virtual reality presentation apparatus and method
US8308563B2 (en) * 2005-08-30 2012-11-13 Nintendo Co., Ltd. Game system and storage medium having game program stored thereon
JP4927631B2 (ja) * 2006-06-27 2012-05-09 パナソニック株式会社 表示装置、その制御方法、プログラム、記録媒体および集積回路
US8957835B2 (en) * 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
JP4679661B1 (ja) * 2009-12-15 2011-04-27 株式会社東芝 情報提示装置、情報提示方法及びプログラム
US10019962B2 (en) * 2011-08-17 2018-07-10 Microsoft Technology Licensing, Llc Context adaptive user interface for augmented reality display
US9268406B2 (en) * 2011-09-30 2016-02-23 Microsoft Technology Licensing, Llc Virtual spectator experience with a personal audio/visual apparatus
JP2013258614A (ja) 2012-06-13 2013-12-26 Sony Computer Entertainment Inc 画像生成装置および画像生成方法
US9645394B2 (en) * 2012-06-25 2017-05-09 Microsoft Technology Licensing, Llc Configured virtual environments
US9292085B2 (en) * 2012-06-29 2016-03-22 Microsoft Technology Licensing, Llc Configuring an interaction zone within an augmented reality environment
US8482527B1 (en) * 2012-09-14 2013-07-09 Lg Electronics Inc. Apparatus and method of providing user interface on head mounted display and head mounted display thereof
US9378592B2 (en) * 2012-09-14 2016-06-28 Lg Electronics Inc. Apparatus and method of providing user interface on head mounted display and head mounted display thereof
US20140146394A1 (en) * 2012-11-28 2014-05-29 Nigel David Tout Peripheral display for a near-eye display device
US20140152558A1 (en) 2012-11-30 2014-06-05 Tom Salter Direct hologram manipulation using imu
JP5974928B2 (ja) 2013-02-22 2016-08-23 ソニー株式会社 表示制御装置、表示装置、表示制御方法、およびプログラム
JP5962547B2 (ja) * 2013-03-08 2016-08-03 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US9563331B2 (en) * 2013-06-28 2017-02-07 Microsoft Technology Licensing, Llc Web-like hierarchical menu display configuration for a near-eye display
US10330931B2 (en) * 2013-06-28 2019-06-25 Microsoft Technology Licensing, Llc Space carving based on human physical data
US10380799B2 (en) * 2013-07-31 2019-08-13 Splunk Inc. Dockable billboards for labeling objects in a display having a three-dimensional perspective of a virtual or real environment
JP6396027B2 (ja) * 2014-02-12 2018-09-26 株式会社バンダイナムコエンターテインメント プログラムおよびゲーム装置
JP6629499B2 (ja) * 2014-06-09 2020-01-15 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置
CN113050802A (zh) * 2014-12-18 2021-06-29 脸谱科技有限责任公司 用于在虚拟现实环境中导航的方法、系统及设备
JP6474278B2 (ja) * 2015-02-27 2019-02-27 株式会社ソニー・インタラクティブエンタテインメント 画像生成システム、画像生成方法、プログラム及び情報記憶媒体

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1231753A (zh) * 1996-08-14 1999-10-13 挪拉赫梅特·挪利斯拉莫维奇·拉都色夫 追踪并显示使用者在空间的位置与取向的方法,向使用者展示虚拟环境的方法以及实现这些方法的系统
CN1508759A (zh) * 2002-12-19 2004-06-30 索尼公司 用于处理信息的设备、方法和程序
JP4343637B2 (ja) * 2003-09-30 2009-10-14 キヤノン株式会社 操作指示方法および装置
CN101098491A (zh) * 2006-06-27 2008-01-02 松下电器产业株式会社 显示装置及其控制方法
CN102446007A (zh) * 2010-09-07 2012-05-09 索尼公司 信息处理设备、程序和控制方法
CN103162708A (zh) * 2011-12-14 2013-06-19 罗伯特·博世有限公司 具有改善的地图显示的导航系统
CN204741528U (zh) * 2015-04-22 2015-11-04 四川大学 立体沉浸式体感智能控制器

Also Published As

Publication number Publication date
JP5981591B1 (ja) 2016-08-31
JP2016173698A (ja) 2016-09-29
US20170024935A1 (en) 2017-01-26
WO2016148072A1 (ja) 2016-09-22
CN107407964A (zh) 2017-11-28
US9721396B2 (en) 2017-08-01

Similar Documents

Publication Publication Date Title
CN107407964B (zh) 存储有用于在沉浸型虚拟空间控制目标操作的计算机程序的存储器以及计算机系统
KR102491443B1 (ko) 애플리케이션을 위한 디스플레이 적응 방법 및 장치, 디바이스, 및 저장 매체
JP5959047B2 (ja) 表示制御システム、表示制御方法、表示制御プログラム、および表示制御装置
JP6057396B2 (ja) ３次元ユーザインタフェース装置及び３次元操作処理方法
KR101340797B1 (ko) 3ｄ 객체 표시가 가능한 휴대용 장치 및 그 방법
US9342925B2 (en) Information processing apparatus, information processing method, and program
US20130176202A1 (en) Menu selection using tangible interaction with mobile devices
US8823647B2 (en) Movement control device, control method for a movement control device, and non-transitory information storage medium
JP2013069224A (ja) 動作認識装置、動作認識方法、操作装置、電子機器、及び、プログラム
JP6189497B1 (ja) 仮想空間を提供する方法、仮想体験を提供する方法、プログラム、および記録媒体
US20180314326A1 (en) Virtual space position designation method, system for executing the method and non-transitory computer readable medium
US10978019B2 (en) Head mounted display system switchable between a first-person perspective mode and a third-person perspective mode, related method and related non-transitory computer readable storage medium
CN110045935A (zh) 处理装置、显示系统以及记录介质
CN108021227B (zh) 在虚拟现实中快速移动的方法及虚拟现实装置
US20220084303A1 (en) Augmented reality eyewear with 3d costumes
JP5565331B2 (ja) 表示システム、表示処理装置、表示方法、および表示プログラム
JP6099237B2 (ja) 表示制御システム、表示制御方法、表示制御プログラム、および表示制御装置
US20210406542A1 (en) Augmented reality eyewear with mood sharing
JP6549066B2 (ja) 没入型仮想空間でオブジェクト操作を制御するためのコンピュータ・プログラムおよびコンピュータ・システム
CN113289336A (zh) 在虚拟环境中标记物品的方法、装置、设备及介质
CN114428548A (zh) 用户交互的光标的方法和系统
CN104704449A (zh) 用户界面设备和用户界面方法
CN105739684B (zh) 具有手势校准机制的电子系统及其操作方法
KR102488903B1 (ko) 정보 처리 장치, 기록 매체, 헤드 마운트 디스플레이 및 정보 처리 시스템
JP2017049960A (ja) Ｈｍｄ装置におけるセンサー類を用いたユーザーインタフェースプログラムおよび装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant