CN109690633B - 模拟系统、处理方法以及信息存储介质 - Google Patents

模拟系统、处理方法以及信息存储介质 Download PDF

Info

Publication number
CN109690633B
CN109690633B CN201780056405.9A CN201780056405A CN109690633B CN 109690633 B CN109690633 B CN 109690633B CN 201780056405 A CN201780056405 A CN 201780056405A CN 109690633 B CN109690633 B CN 109690633B
Authority
CN
China
Prior art keywords
user
display
information
information display
change
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780056405.9A
Other languages
English (en)
Other versions
CN109690633A (zh
Inventor
玉置绚
恩田明生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bandai Namco Entertainment Inc
Original Assignee
Bandai Namco Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bandai Namco Entertainment Inc filed Critical Bandai Namco Entertainment Inc
Publication of CN109690633A publication Critical patent/CN109690633A/zh
Application granted granted Critical
Publication of CN109690633B publication Critical patent/CN109690633B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5252—Changing parameters of virtual cameras using two or more virtual cameras concurrently or sequentially, e.g. automatically switching between fixed virtual cameras when a character changes room or displaying a rear-mirror view in a car-driving game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5258—Changing parameters of virtual cameras by dynamically adapting the position of the virtual camera to keep a game object or game character in its viewing frustum, e.g. for tracking a character or a ball
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/303—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device for displaying additional data, e.g. simulating a Head Up Display
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04804—Transparency, e.g. transparent or translucent windows
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

一种模拟系统，包括：虚拟空间设定部，执行被配置多个对象的虚拟空间的设定处理；虚拟相机控制部，执行与佩戴头部佩戴式显示装置的用户的视点对应的虚拟相机的控制处理；以及显示处理部，生成在虚拟空间中能够从虚拟相机看到的图像作为头部佩戴式显示装置的显示图像。虚拟空间设定部在用户的视线方向上配置至少一个信息显示物。在判断为由于用户的视点变化而满足给定的变更条件时，显示处理部执行信息显示物的显示形态的变更处理。

Description

模拟系统、处理方法以及信息存储介质
技术领域
本发明涉及模拟系统、处理方法以及信息存储介质等。
背景技术
现有技术下，已知有用户将HMD(头部佩戴式显示装置)佩戴于头部，用户通过观看HMD的画面中所显示的图像，从而能够体验所谓的虚拟现实(VR)的世界的系统。作为这样的使用HMD的系统的现有技术，例如有专利文献1、2所公开的技术。
专利文献1中公开了如下方法，即：在用户的头部的变动状态成为规定的变动状态的情况下，打开HMD的液晶快门，将为用户显示的视觉信息切换为周围的环境视觉信息。专利文献2中公开了如下方法，即：通过运动检测部确定用户的头部动作，并执行与其角速度对应的用户所期望的处理，进而不将用户的头部的返回动作反映至处理中，从而正确地执行基于用户的头部动作的操作。
在先技术文献
专利文献
专利文献1：特开平7-261112号公报
专利文献2：特开2012-123812号公报
发明内容
发明要解决的技术问题
在使用HMD的系统中，将在虚拟空间中能够从虚拟相机看到的图像显示在HMD上。通过将这样的图像显示在HMD上，广阔的VR空间在用户的视野的整个周围扩展，因而能够显著提高用户的虚拟现实感。
另一方面，在使用HMD的系统中，优选对用户显示说明信息和状态信息等各种信息。
然而，若不当地将这样的信息显示给用户，则会导致各种问题。例如，在使用HMD的系统中，用户的视线方向会发生各种变化，VR空间中存在多个对象。因此，若对用户的信息显示不当，则会导致画面难以看清、或者损害用户的虚拟现实感等的问题。
根据本发明的几个方面，能够提供在使用头部佩戴式显示装置的系统中能够实现信息显示物的恰当的显示处理的模拟系统、处理方法以及信息存储介质等。
用于解决技术问题的方案
本发明的一方面涉及的模拟系统包括：虚拟空间设定部，执行被配置多个对象的虚拟空间的设定处理；虚拟相机控制部，执行与佩戴头部佩戴式显示装置的用户的视点对应的虚拟相机的控制处理；以及显示处理部，生成在所述虚拟空间中能够从所述虚拟相机看到的图像作为所述头部佩戴式显示装置的显示图像，所述虚拟空间设定部在所述用户的视线方向上配置至少一个信息显示物，在判断为因为所述用户的视点变化而满足给定的变更条件时，所述显示处理部执行所述信息显示物的显示形态的变更处理。另外，本发明涉及使计算机作为上述各部发挥作用的程序、或者存储该程序的计算机能够读取的信息存储介质。
根据本发明的一方面，执行多个对象所配置的虚拟空间的设定处理，并生成能够从与用户的视点对应的虚拟相机看到的图像，作为头部佩戴式显示装置的显示图像。而且，在用户的视线方向上配置有信息显示物，当判断为由于用户的视点变化(视线方向及视点位置中至少一方的变化)而满足给定的变更条件时，执行变更信息显示物的显示形态的处理。这样，关于配置于用户的视线方向上的信息显示物，当满足了变更条件时，通过变更信息显示物的显示形态，能够将更适当的图像显示于头部佩戴式显示装置中。因此，能够提供在使用了头部佩戴式显示装置的系统中可实现信息显示物的恰当的显示处理的模拟系统等。
另外，在本发明的一方面中，也可以是，所述虚拟空间设定部将被控制为追随所述用户的视点变化的所述信息显示物配置在所述虚拟空间中。
这样，当用户的视线方向或视点位置变化时，以追随该变化的方式控制信息显示物，因而能够实现通过信息显示物进行的适当的信息提示等。
另外，在本发明的一方面中，也可以是，所述显示处理部执行与所述信息显示物的种类、优先级或重要度相应的所述显示形态的变更处理。
这样，能够实现与信息显示物的种类、优先级或重要度相应的适当的显示形态的变更处理。
另外，在本发明的一方面中，也可以是，所述显示处理部执行与从显示所述信息显示物起所经过的时间相应的所述显示形态的变更处理。
这样，能够实现反映了从信息显示物被显示起所经过的时间的显示形态的变更处理。
另外，在本发明的一方面中，也可以是，所述显示处理部执行所述信息显示物的消除处理、所述信息显示物的半透明化处理、所述信息显示物对所述用户的视线方向的追随的解除处理、所述信息显示物的移动处理、所述信息显示物的尺寸变更处理或者所述信息显示物的颜色信息变更处理，来作为所述显示形态的变更处理。
这样，当满足变更条件时，执行信息显示物的消除处理或半透明化处理、或者执行信息显示物的追随的解除处理、或者执行信息显示物的移动处理、尺寸变更处理、或者执行信息显示物的颜色信息变更处理，从而能够实现信息显示物的适当的显示处理。
另外，在本发明的一方面中，也可以是，包括判定是否满足所述给定的变更条件的判定部，所述判定部根据所述用户的视点变化信息判定是否满足所述给定的变更条件。
这样，在用户的视点变化大、或者变化剧烈的情况下，判定为满足变更条件，从而能够执行信息显示物的显示形态的变更处理。
另外，在本发明的一方面中，也可以是，包括判定是否满足所述给定的变更条件的判定部(使计算机作为判定部发挥作用)，所述信息显示物被设定有判定范围，所述判定部在所述用户的视线方向的注视位置超出所述判定范围时，判定为满足所述给定的变更条件。
这样，能够以信息显示物为基准，检测视线方向相对于信息显示物的相对变化，从而对显示形态的变更处理用的变更条件进行判定。
另外，在本发明的一方面中，也可以是，对于第一信息显示物，第一判定范围被设定作为所述判定范围，对于第二信息显示物，与所述第一判定范围不同的第二判定范围被设定作为所述判定范围。
这样，根据信息显示物设定不同的判定范围，从而能够以不同的判定基准对变更条件进行判定。
另外，在本发明的一方面中，也可以是，在多个所述信息显示物配置于所述虚拟空间中的情况下，所述显示处理部对从所述用户的视点来看位于中央部的所述信息显示物执行所述显示形态的变更处理。
这样，能够防止从用户的视点来看位于中央部的信息显示物妨碍用户的视野等事态。
另外，在本发明的一方面中，也可以是，在多个所述信息显示物配置于所述虚拟空间中的情况下，所述显示处理部使所述给定的变更条件的内容或者所述显示形态的变更处理的内容在第一信息显示物与第二信息显示物间不同。
这样，能够设定与各信息显示物相应的适当的变更条件或变更处理内容来执行显示形态的变更处理。
另外，在本发明的一方面中，也可以是，所述显示处理部执行与所述信息显示物的深度值相应的所述显示形态的变更处理。
这样，能够实现有效利用了信息显示物的深度值的信息显示物的显示形态的变更处理。
另外，在本发明的一方面中，也可以是，所述显示处理部执行与从满足所述给定的变更条件起所经过的时间相应的所述显示形态的变更处理。
这样，能够实现反映了从满足变更条件起所经过的时间的显示形态的变更处理。
另外，在本发明的一方面中，也可以是，包括判定是否满足所述给定的变更条件的判定部(使计算机作为判定部发挥作用)，在通过所述判定部判定为满足所述给定的变更条件时，所述显示处理部执行所述信息显示物的所述显示形态的变更处理，在执行了所述信息显示物的所述显示形态的变更处理之后，通过所述判定部判定为满足给定的恢复条件的情况下，所述显示处理部执行所述信息显示物的所述显示形态的变更处理的恢复处理。
这样，在满足变更条件而执行了信息显示物的显示形态的变更处理的情况下，能够防止信息显示物的显示形态保持变更后的状态不变。
另外，在本发明的一方面中，也可以是，在执行了所述显示形态的变更处理之后经过了给定的时间时、在执行了所述显示形态的变更处理之后在给定的时间期间未检测到所述用户的视线方向的变化时或者在执行了所述显示形态的变更处理之后检测到所述用户注视给定的对象时，所述判定部判定为满足所述给定的恢复条件。
这样，能够对与各种状况对应的适当的恢复条件进行判定来执行恢复处理。
另外，在本发明的一方面中，也可以是，所述显示处理部在未执行所述信息显示物的所述显示形态的变更处理时与执行了所述信息显示物的所述显示形态的变更处理时之间，使所述头部佩戴式显示装置的所述显示图像的明亮度不同。
这样，能够根据是否执行了显示形态的变更处理来设定显示图像的明亮度，从而生成更为适当的显示图像。
另外，本发明的另一方面涉及的处理方法中，执行以下处理：虚拟空间设定处理，设定被配置多个对象的虚拟空间；虚拟相机控制处理，控制与佩戴头部佩戴式显示装置的用户的视点对应的虚拟相机；以及显示处理，生成在所述虚拟空间中能够从所述虚拟相机看到的图像作为所述头部佩戴式显示装置的显示图像，在所述虚拟空间设定处理中，在所述用户的视线方向上配置至少一个信息显示物，在所述显示处理中，在判断为因为所述用户的视点变化而满足给定的变更条件时，执行所述信息显示物的显示形态的变更处理。
附图说明
图1是表示本实施方式的模拟系统的构成例的框图。
图2的(A)、图2的(B)是本实施方式中使用的HMD的一例。
图3的(A)、图3的(B)是本实施方式中使用的HMD的其它例。
图4是通过本实施方式生成的游戏图像的例子。
图5是通过本实施方式生成的游戏图像的例子。
图6是通过本实施方式生成的游戏图像的例子。
图7是关于角色的状态的显示的说明图。
图8的(A)～图8的(D)是信息显示物的显示方法的说明图。
图9的(A)、图9的(B)是本实施方式的显示形态变更方法的说明图。
图10的(A)、图10的(B)是本实施方式的显示形态变更方法的说明图。
图11的(A)、图11的(B)是本实施方式的显示形态变更方法的说明图。
图12的(A)、图12的(B)是本实施方式的显示形态变更方法的说明图。
图13的(A)、图13的(B)是与信息显示物的种类、优先级、重要度相应的显示形态变更方法的说明图。
图14是与从信息显示物的显示起所经过的时间相应的显示形态变更方法的说明图。
图15的(A)、图15的(B)是使用了变化角度、变化速度或变化加速度的变更条件的判定方法的说明图。
图16是根据变化角度、变化速度或变化加速度使显示形态的变更处理的内容不同的方法的说明图。
图17的(A)、图17的(B)是使用了判定范围的变更条件的判定方法的说明图。
图18是针对多个信息显示物的判定范围的设定方法的说明图。
图19是对中央部的信息显示物执行显示形态的变更处理的方法的说明图。
图20是根据信息显示对象使变更条件或变更处理的内容不同的方法的说明图。
图21的(A)、图21的(B)是根据信息显示物的深度值执行显示形态的变更处理的方法的说明图。
图22的(A)～图22的(C)是与从满足变更条件起所经过的时间相应的显示形态变更方法的说明图。
图23的(A)～图23的(C)是显示形态的变更处理的恢复处理的说明图。
图24的(A)～图24的(C)是显示形态的变更处理的恢复处理的说明图。
图25是表示显示形态的变更处理的恢复处理的详细例的流程图。
图26的(A)、图26的(B)是在不执行显示形态的变更处理时和执行时使显示图像的明亮度不同的方法的说明图。
图27的(A)、图27的(B)是与用户和角色的位置关系信息相应的指令的效果的激活处理的说明图。
图28的(A)、图28的(B)是与用户和角色的位置关系信息相应的指令的效果的激活处理的说明图。
图29的(A)、图29的(B)是与用户和角色的视线关系信息相应的指令的效果的激活处理的说明图。
图30是与用户的注视信息相应的指令的效果的激活处理的说明图。
图31是表示本实施方式的详细处理例的流程图。
具体实施方式
以下，对本实施方式进行说明。需要说明的是，以下说明的本实施方式并不对权利要求书中记载的本发明的内容进行不当限定。另外，本实施方式中说明的全部构成并不一定是本发明的必需构成要件。
1.模拟系统
图1是表示本实施方式的模拟系统(模拟器、游戏系统)的构成例的框图。本实施方式的模拟系统例如是模拟虚拟现实(VR)的系统，能够适用于提供游戏内容的游戏系统、体育比赛模拟器或驾驶模拟器等实时模拟系统、提供影像等内容的内容提供系统、或者实现远程作业的操作系统等各种系统。此外，本实施方式的模拟系统并不限于图1的构成，可以实施省略其构成要素(各部分)的一部分、或追加其它构成要素等的各种变形。
拍摄部150由一个或多个相机构成。各相机由透镜(广角透镜)等光学系统、CCD或CMOS传感器等摄像元件构成。另外，也可以在拍摄部150中设置一个或多个麦克风。通过使用拍摄部150，能够检测用户的运动信息(各部位的运动信息、骨架信息)、或者实现用户的识别处理(脸部识别等)。另外，通过在拍摄部150中设置多个相机，能够识别空间的深度方向，从而能够判断在拍摄部150的前方玩游戏的两位用户的前后关系等。另外，通过在拍摄部150中设置多个麦克风，能够检测声源的方向等。通过使用例如设置有多个相机和多个麦克风的拍摄部150，能够实现可将用户的运动、声音等作为操作信息直观地进行游戏的游戏。
操作部160供用户(玩家)输入各种操作信息(输入信息)。操作部160能够通过例如操作按钮、方向指示键、操纵杆、手柄、踏板或者控制杆等各种操作设备来实现。
存储部170存储各种信息。存储部170作为处理部100、通信部196等的工作区域发挥作用。游戏程序、执行游戏程序所需的游戏数据被保存在该存储部170中。存储部170的功能能够通过半导体存储器(DRAM、VRAM)、HDD(硬盘驱动器)、SSD、光盘装置等实现。存储部170包括对象信息存储部172、描绘缓冲器178。
信息存储介质180(计算机可读介质)存储程序或数据等，其功能可通过光盘(DVD、BD、CD)、HDD或半导体存储器(ROM)等实现。处理部100根据存储在信息存储介质180中的程序(数据)执行本实施方式的各种处理。即，在信息存储介质180中，存储有使计算机(具备输入装置、处理部、存储部、输出部的装置)作为本实施方式的各部发挥作用的程序(用于使计算机执行各部的处理的程序)。
HMD200(头部佩戴式显示装置)是佩戴于用户的头部，在用户的眼前显示图像的装置。HMD200优选为非透射型，但也可以为透射型。另外，HMD200也可以是所谓的眼镜型的HMD。
HMD200包括传感器部210、显示部220以及处理部240。传感器部210用于实现例如头部跟踪等跟踪处理。例如，通过使用传感器部210的跟踪处理来确定HMD200的位置、方向。通过确定HMD200的位置、方向，能够确定作为用户的视点信息的视点位置、视线方向。
作为跟踪方式，可以采用各种方式。在作为跟踪方式的一例的第一跟踪方式中，如后述的图2的(A)、图2的(B)中详细说明的那样，作为传感器部210而设置多个发光元件(LED)。并且，通过利用拍摄部150拍摄来自该多个发光元件的光，从而确定现实世界的三维空间中的HMD200(用户的头部)的位置、方向。在第二跟踪方式中，如后述的图3的(A)、图3的(B)中详细说明的那样，作为传感器部210而设置多个受光元件(光电二极管等)。并且，通过由该多个受光元件接收来自外部设置的发光元件(LED等)的光(激光等)，从而确定HMD200的位置、方向。在第三跟踪方式中，作为传感器部210而设置运动传感器，并使用该运动传感器来确定HMD200的位置、方向。运动传感器可以通过例如加速度传感器、陀螺仪传感器等实现。通过使用例如使用三轴的加速度传感器和三轴的陀螺传感器的六轴的运动传感器，可以确定现实世界的三维空间中的HMD200的位置、方向。此外，也可以通过第一跟踪方式和第二跟踪方式的组合、或者第一跟踪方式和第三跟踪方式的组合等确定HMD200的位置、方向。另外，也可以不通过确定HMD200的位置、方向来确定用户的视点位置、视线方向，而采用直接确定用户的视点位置、视线方向的跟踪处理。
HMD200的显示部220可以通过例如有机EL显示器(OEL)、液晶显示器(LCD)等实现。例如，在HMD200的显示部220中，设置在用户的左眼前设定的第一显示器或第一显示区域、和在右眼前设定的第二显示器或第二显示区域，能够实现立体显示。在进行立体显示的情况下，例如生成视差不同的左眼用图像和右眼用图像，并在第一显示器上显示左眼用图像，在第二显示器上显示右眼用图像。或者，在一个显示器的第一显示区域中显示左眼用图像，在第二显示区域中显示右眼用图像。另外，在HMD200中设置左眼用、右眼用的两个目镜(鱼眼透镜)，从而体现出在用户的视野的整个周围扩展的VR空间。并且，对左眼用图像、右眼用图像进行用于校正目镜等光学系统中产生的畸变的校正处理。该校正处理由显示处理部120执行。
HMD200的处理部240执行HMD200中所需的各种处理。例如，处理部240执行传感器部210的控制处理、显示部220的显示控制处理等。另外，处理部240也可以执行三维声(立体声)处理，从而实现三维的声音的方向、距离、扩散的再现。
声音输出部192输出由本实施方式生成的声音，能够通过例如扬声器或耳机等实现。
I/F(接口)部194执行与便携式信息存储介质195的接口处理，其功能可以通过I/F处理用的ASIC等实现。便携式信息存储介质195是供用户保存各种信息的介质，且是在未供给电源的情况下也保持这些信息的存储的存储装置。便携式信息存储介质195可以通过IC卡(存储卡)、USB存储器、或者磁卡等实现。
通信部196经由有线或无线的网络与外部(其它装置)之间进行通信，其功能可以通过通信用ASIC或通信用处理器等硬件、或者通信用固件实现。
此外，用于使计算机作为本实施方式的各部发挥作用的程序(数据)也可以从服务器(主机装置)具有的信息存储介质经由网络及通信部196向信息存储介质180(或者存储部170)传送。上述基于服务器(主机装置)的信息存储介质的使用也可以包含在本发明的范围内。
处理部100(处理器)根据来自操作部160的操作信息、HMD200中的跟踪信息(HMD的位置及方向中至少一方的信息。视点位置及视线方向中至少一方的信息)、程序等，执行游戏处理(模拟处理)、移动体处理、虚拟相机控制处理、显示处理、或者声音处理等。
处理部100的各部所执行的本实施方式的各处理(各功能)可以通过处理器(包含硬件的处理器)实现。例如，本实施方式的各处理可以通过根据程序等信息进行动作的处理器、和存储程序等信息的存储器而实现。处理器例如既可以通过单独的硬件实现各部的功能，或者也可以通过一体的硬件实现各部的功能。例如，处理器可以包括硬件，并且该硬件包括处理数字信号的电路和处理模拟信号的电路中至少一方。例如，处理器也可以由安装于电路基板上的一个或多个电路装置(例如IC等)、一个或多个电路元件(例如电阻、电容器等)构成。处理器例如也可以是CPU(Central Processing Unit、中央处理器)。但是，处理器并不限定于CPU，可以使用GPU(Graphics Processing Unit、图形处理器)或DSP(DigitalSignal Processor、数字信号处理器)等各种处理器。另外，处理器也可以是基于ASIC的硬件电路。另外，处理器也可以包括处理模拟信号的放大电路、滤波电路等。存储器(存储部170)既可以是SRAM、DRAM等半导体存储器，也可以是寄存器。或者，也可以是硬盘装置(HDD)等磁存储装置，还可以是光盘装置等光学式存储装置。例如，存储器存储计算机可读取的指令，并通过处理器执行该指令，从而实现处理部100的各部的处理(功能)。这里的指令既可以是构成程序的指令集，也可以是对处理器的硬件电路指示动作的指令。
处理部100包括输入处理部102、运算处理部110以及输出处理部140。运算处理部110包括游戏处理部112、移动体处理部114、判定部115、虚拟空间设定部116、虚拟相机控制部118、显示处理部120以及声音处理部130。如上所述，由这些各部执行的本实施方式的各处理可以通过处理器(或者处理器及存储器)而实现。此外，可以实施省略这些构成要素(各部分)的一部分、或者追加其它构成要素等的各种变形。
输入处理部102作为输入处理而执行接收操作信息、跟踪信息的处理、从存储部170读出信息的处理、经由通信部196接收信息的处理。例如，输入处理部102作为输入处理而执行如下处理，即：获取由用户使用操作部160输入的操作信息或者由HMD200的传感器部210等检测出的跟踪信息的处理、从存储部170读出由读出指令指定的信息的处理、经由网络从外部装置(服务器等)接收信息的处理。在此，接收处理是指示通信部196接收信息、或者获取通信部196接收到的信息并写入存储部170的处理等。
运算处理部110执行各种运算处理。例如，执行游戏处理(模拟处理)、移动体处理、虚拟相机控制处理、显示处理、或者声音处理等的运算处理。
游戏处理部112(游戏处理的程序模块)执行供用户玩游戏的各种游戏处理。换言之，游戏处理部112(模拟处理部)执行供用户体验虚拟现实(virtual reality)的各种模拟处理。游戏处理例如是满足游戏开始条件时开始游戏的处理、使已开始的游戏运行的处理、满足游戏结束条件时结束游戏的处理、或者运算游戏成绩的处理等。
移动体处理部114(移动体处理的程序模块)执行关于在虚拟空间内移动的移动体的各种处理。例如，执行在虚拟空间(对象空间、游戏空间)中使移动体移动的处理、使移动体进行动作的处理。例如，移动体处理部114根据用户通过操作部160输入的操作信息、所获取的跟踪信息、程序(移动/动作算法)、各种数据(运动数据)等，执行使移动体(模型对象)在虚拟空间内移动、或者使移动体进行动作(运动、动画)的控制处理。具体而言，执行依次求出每一帧(例如1/60秒)内的移动体的移动信息(位置、旋转角度、速度、或者加速度)、动作信息(角色对象的位置或者旋转角度)的模拟处理。此外，帧是进行移动体的移动/动作处理(模拟处理)、图像生成处理的时间的单位。移动体例如是与真实空间的用户(玩家)对应的虚拟空间的虚拟用户(虚拟玩家)、该虚拟用户所搭乘(操作)的搭乘移动体(操作移动体)、或者成为虚拟用户的游戏对象的角色等。
判定部115(判定处理的程序模块)执行各种判定处理。关于判定部115的详情，之后进行说明。
虚拟空间设定部116(虚拟空间设定处理的程序模块)执行被配置多个对象的虚拟空间(对象空间)的设定处理。例如，执行将表示移动体(人、机器人、车、电车、飞机、船、怪物或动物等)、地图(地形)、建筑物、观众席、路线(道路)、树木、墙壁、水面等显示物的各种对象(由多边形、自由曲面或细分曲面等基本曲面构成的对象)配置设定于虚拟空间中的处理。即，确定世界坐标系中的对象的位置、旋转角度(与朝向、方向同义)，并根据该旋转角度(绕X、Y、Z轴的旋转角度)将对象配置于该位置(X、Y、Z)处。具体而言，在存储部170的对象信息存储部172中，与对象编号相对应地存储虚拟空间中的对象(角色对象)的位置、旋转角度、移动速度、移动方向等信息即对象信息。虚拟空间设定部116例如按照各帧执行更新该对象信息的处理等。
虚拟相机控制部118(虚拟相机控制处理的程序模块)执行用于生成能够从虚拟空间的给定(任意)的视点看到的图像的虚拟相机(视点、基准虚拟相机)的控制处理。例如，执行控制虚拟相机的视点位置或视线方向(虚拟相机的位置或姿势)的处理。具体而言，执行控制虚拟相机的位置(X、Y、Z)、作为姿势信息的旋转角度(绕X、Y、Z轴的旋转角度)的处理(控制视点位置、视线方向或者视场角的处理)。该虚拟相机对应于用户(虚拟用户)的视点。在立体显示的情况下，设定左眼用的第一视点(左眼用的第一虚拟相机)和右眼用的第二视点(右眼用的第二虚拟相机)。
显示处理部120(显示处理的程序模块)执行游戏图像(模拟图像)的显示处理。例如，根据处理部100中执行的各种处理(游戏处理、模拟处理)的结果进行描绘处理，由此生成图像，并显示于HMD200的显示部220中。具体而言，执行坐标转换(世界坐标转换、相机坐标转换)、限幅处理、透视转换、或者光源处理等几何处理，并根据该处理结果创建描绘数据(基本曲面的顶点的位置坐标、纹理坐标、颜色数据、法线向量或者α值等)。然后，根据该描绘数据(基本曲面数据)，将透视转换后(几何处理后)的对象(一个或多个基本曲面)描绘至描绘缓冲器178(帧缓冲器、工作缓冲器等能够以像素为单位存储图像信息的缓冲器)中。由此，生成在虚拟空间中能够从虚拟相机(给定的视点。左眼用、右眼用的第一、第二视点)看到的图像。此外，显示处理部120中执行的描绘处理可以通过顶点着色处理、像素着色处理等实现。
声音处理部130(声音处理的程序模块)根据处理部100执行的各种处理的结果执行声音处理。具体而言，生成乐曲(音乐、BGM)、效果音或语音等游戏声音，并将游戏声音输出至声音输出部192。此外，也可以通过HMD200的处理部240实现声音处理部130的声音处理的一部分(例如三维声处理)。
输出处理部140执行各种信息的输出处理。例如，输出处理部140作为输出处理而执行将信息写入存储部170的处理、经由通信部196发送信息的处理。例如，输出处理部140执行将写入指令指定的信息写入存储部170的处理、经由网络向外部的装置(服务器等)发送信息的处理。发送处理是指示通信部196发送信息、或者对通信部196指示所要发送的信息的处理等。
于是，如图1所示，本实施方式的模拟系统包括虚拟空间设定部116、虚拟相机控制部118以及显示处理部120。虚拟空间设定部116执行被配置多个对象的虚拟空间的设定处理。例如，执行设定多个对象中的各对象的位置、方向并配置于虚拟空间中的处理。对象是作为游戏中出现、或者构成游戏空间的游戏要素的显示物。
虚拟相机控制部118执行与佩戴HMD200的用户的视点对应的虚拟相机的控制处理。例如，虚拟相机控制部118执行以用户的第一人称视点设定的虚拟相机的控制。例如，通过在与虚拟空间中移动的虚拟用户的视点对应的位置处设定虚拟相机，并设定虚拟相机的视点位置、视线方向，从而控制虚拟相机的位置(位置坐标)、姿势(绕旋转轴的旋转角度)。
显示处理部120生成在虚拟空间中能够从虚拟相机(用户视点)看到的图像作为HMD200的显示图像(显示影像)。例如，生成在作为虚拟空间的对象空间中能够从给定的视点看到的图像。所生成的图像例如为立体观察用的图像。
并且，在本实施方式中，虚拟空间设定部116在用户的视线方向(视野范围)上配置至少一个信息显示物。例如，以位于用户的视野范围(正面方向)的方式配置信息显示物。具体而言，以在用户的正面方向能够看到信息显示物的方式将信息显示物配置在虚拟空间中。
此外，在判断为因为用户的视点变化而满足给定的变更条件时，显示处理部120执行信息显示物的显示形态(显示方法、显示方式)的变更处理。在此，视点变化例如为视线方向及视点位置中至少一方的变化。例如，在用户大幅移动了视线方向或视点位置(用户位置)而被判断为满足了变更条件的情况下，执行变更信息显示物的显示形态的处理。例如，在满足变更条件的情况下，显示处理部120以看起来为与不满足该变更条件时的图像不同的图像的方式生成HMD200的显示图像，并将其显示于HMD200中。
即，如上所述，信息显示物例如在虚拟空间中配置在用户的视线方向上。例如，以位于用户的视线方向(正面方向、视野范围)的方式配置信息显示物。因此，在用户的视线方向或视点位置发生大幅变化的情况下，若以视线方向或视点位置变化前的显示形态显示信息显示物，则有可能在HMD200中显示不当的显示图像。例如，在用户的视线方向朝向正面方向的情况下，通过在该方向上显示信息显示物，能够实现基于信息显示物的适当的信息传递。另一方面，在使用HMD200的系统中，由于广阔的VR空间在用户的视野的整个周围扩展，因此，用户有时不仅在正面方向上移动视线方向，还会移动视线方向以便环视周围方向、或者向各种方向移动。在这样的情况下，若以视线方向朝向正面方向时的显示形态、或者视点位置(用户位置)静止时的显示形态显示信息显示物，则有可能成为对于用户来说不当的显示。因此，在判断为因为用户的视点变化而满足给定的变更条件时，显示处理部120执行变更信息显示物的显示形态的处理，从而防止进行上述不当的显示。
另外，虚拟空间设定部116也可以将被控制为追随用户的视点变化(虚拟相机的视点变化)的信息显示物(至少一个信息显示物)配置在虚拟空间中。即，配置以追随用户的视线方向及视点位置中至少一方的方式进行控制的信息显示物。例如，当用户的视线方向或视点位置发生变化时，虚拟空间中的信息显示物的配置位置(三维位置)与该变化相联动地也发生变化。例如，当用户的视线方向朝向左方、右方、上方、下方变化时，虚拟空间中的信息显示物的位置、方向也追随该方向的变化而变化。或者，当用户的视点位置(用户位置)朝向左方、右方、上方、下方移动时，虚拟空间中的信息显示物的位置等也追随该移动(位置的变化)而变化。例如，当信息显示物由公告板多边形构成时，以正对用户的视点的方式(与用户的视线方向正交的方式)配置构成信息显示物的公告板多边形。
在将信息显示物控制为追随用户的视点变化的情况下，当用户的视线方向或视点位置大幅变化时，信息显示物的位置等也追随于此大幅变化，从而产生无法显示适当的显示图像的事态。该情况下，在本实施方式中，通过由显示处理部120执行变更信息显示物的显示形态的处理，从而也可以防止发生这样的事态。
另外，虚拟空间设定部116以追随视点变化的方式将信息显示物配置在用户的视线方向上的给定的深度位置处。例如，以一边使相对于用户的视点(虚拟相机)的信息显示物的深度位置(深度距离)不变，一边追随视点变化(视线方向或视点位置的变化)的方式配置信息显示物。例如，在从用户的视点(虚拟相机)到给定的深度位置(Z坐标轴上的位置)上配置例如由公告板多边形构成的信息显示物。
另外，显示处理部120也可以执行与信息显示物的种类、优先级或重要度相应的显示形态的变更处理。例如，执行反映了信息显示物的种类、优先级或重要度的信息显示物的显示形态的变更处理。信息显示物的种类根据例如信息显示物提示的信息的类型等进行区分。例如，在存储部170中，与各信息显示物相关联地存储有其种类的信息，使用该种类的信息执行显示形态的变更处理。信息显示物的优先级或重要度是表示由信息显示物提示的信息的优先级、重要度有多高的信息。例如，在存储部170中，与各信息显示物相关联地存储有其优先级、重要度的信息，使用该优先级、重要度的信息执行显示形态的变更处理。
例如，在信息显示物为第一种类(例如用于选择指令的信息显示物等)的情况下，显示处理部120不执行信息显示物的显示形态的变更处理。相对于此，在信息显示物为第二种类(例如用于显示说明的信息显示物等)的情况下，执行信息显示物的显示形态的变更处理(消除、半透明化等)。信息显示物为第一种类还是第二种类与该信息显示物相关联地存储在存储部170中。
另外，显示处理部120使用与信息显示物相关联的优先级或重要度执行显示形态的变更处理。例如，在存储部170中，与信息显示物相关联地存储有优先级、重要度的信息。显示处理部120在执行显示形态的变更处理时，从存储部170读出与作为处理对象的信息显示物相关联的优先级、重要度的信息，并执行变更信息显示物的显示形态的处理。
另外，显示处理部120执行与信息显示物被显示起所经过的时间相应的显示形态的变更处理。例如，预先测定并记录各信息显示物被显示起所经过的时间。然后，在执行信息显示物的显示形态的变更处理时，执行反映了该经过时间的处理。例如，与所经过的时间短的信息显示物相比，优先执行从显示起所经过的时间长的信息显示物的显示形态的变更处理。
另外，作为显示形态的变更处理，显示处理部120执行信息显示物的消除处理、信息显示物的半透明化处理、信息显示物对用户的视点变化的追随的解除处理、信息显示物的移动处理、信息显示物的尺寸变更处理、或者信息显示物的颜色信息变更处理等。
信息显示物的消除处理可以通过将信息显示物从显示对象(显示列表)中除去的处理、将信息显示物透明化的处理等而实现。信息显示物的半透明化处理可以通过改变信息显示物的半透明度(α值)，例如使其变得更加半透明等方式实现。另外，如上所述，信息显示物以追随用户的视点变化的方式进行控制，但是，通过解除(降低)该追随的控制，能够实现信息显示物对用户的视点变化的追随的解除处理。信息显示物的移动处理可以通过使信息显示物移动，例如使信息显示物不显示在用户的视线方向上等方式实现。信息显示物的尺寸变更处理可以通过例如缩小其尺寸以使信息显示物在用户的视线方向上变得不明显的处理等而实现。信息显示物的颜色信息变更处理可以通过例如变更信息显示物的颜色的明度、彩度或者色相等的处理等而实现。例如，作为信息显示物的颜色信息变更处理，可以考虑使信息显示物的颜色信息接近例如背景的颜色信息，使其溶入背景的处理等。这样的处理可以通过例如基于信息显示物的颜色信息和背景的颜色信息的α混合处理、景深效果处理等而实现。
信息显示物例如是用于显示说明的显示物、用于显示状态的显示物、用于显示对话的显示物、用于选择指令的显示物、或者用于显示菜单的显示物等。用于显示说明的显示物例如是用于对用户进行关于游戏等的各种说明的显示物。用于显示状态的显示物例如是用于向用户传达关于游戏等的各种状况的显示物。用于显示对话的显示物例如是用于将各种对话内容传达给用户的显示物。例如是用于传达作为用户的游戏对象的角色的对话内容的显示物。用于选择指令的显示物例如是在游戏等中用户为了选择指令而使用的显示物。例如是用于向用户提示指令的选项的显示物。用于显示菜单的显示物例如是用于向用户提示游戏等中的菜单画面的显示物。例如是用于提示游戏模式、游戏设定(选项设定)、或者游戏的结束指示等的菜单画面的显示物。信息显示物是使用例如字符、图标或图形等向用户传递信息的显示物。作为一例，信息显示物可以通过描绘有向用户提示的信息的公告板多边形等而实现。
在虚拟空间中，除了这样的信息显示物以外，还配置有多个对象。作为这样的信息显示物以外的对象，例如有游戏中出现的移动体、固定物、装备、或者背景的对象等。游戏中出现的移动体例如是作为用户的游戏对象的角色、在游戏中向各种方向、位置移动的显示物。固定物是不会像移动体那样移动而被固定在虚拟空间的规定位置处的显示物。装备是游戏中出现的各种道具等显示物，且是作为用户的游戏对象、携带对象或者把持对象的显示物。背景的对象是构成游戏等的背景的对象。
另外，模拟系统包括判断部115，判断部115判断是否满足给定的变更条件。并且，显示处理部120在通过判定部115判定为满足了给定的变更条件的情况下，执行信息显示物的显示形态的变更处理。
判定部115例如根据用户的视点变化信息来判定是否满足给定的变更条件。视点变化信息例如为视线方向变化信息或视点位置变化信息。视线方向变化信息例如为视线方向的变化角度、视线方向的变化速度、或者视线方向的变化加速度等。视点位置变化信息是视点位置的变化距离(位移)、视点位置的变化速度、或者视点位置的变化加速度等。例如，判定部115在用户的视线方向的变化角度达到给定的角度以上时、用户的视线方向的变化速度达到给定的速度以上时、或者用户的视线方向的变化加速度达到给定的加速度以上时，判定为满足给定的变更条件。或者，判定部115在用户的视点位置的变化距离达到给定的距离以上时、用户的视点位置的变化速度达到给定的速度以上时、或者用户的视点位置的变化加速度达到给定的加速度以上时，判定为满足给定的变更条件。然后，当这样满足了变更条件时，显示处理部120执行信息显示物的显示形态的变更处理。
用户的视线方向的变化角度例如是视线方向的矢量的变化角度。例如，在表示视线方向的矢量的方向的角度(相对于规定的基准轴的角度)从第一角度变化为第二角度的情况下，该第一角度与第二角度之差为变化角度。视线方向的变化速度例如是视线方向的矢量的角度在规定单位时间(例如1帧)内的变化量，相当于角速度。视线方向的变化加速度例如是视线方向的矢量的角度的变化速度在规定单位时间内的变化量，相当于角加速度。用户的视点位置的变化距离例如是用户的视点位置从第一位置变化为第二位置时的第一位置与第二位置之间的距离。用户的视点位置的变化速度是视点位置在规定单位时间内的变化量。用户的视点位置的变化加速度是视点位置的变化速度在规定单位时间内的变化量。
另外，显示处理部120根据用户的视点变化信息，使信息显示物的显示形态的变更处理的内容不同。例如，根据用户的视线方向的变化角度、变化速度或变化加速度，使信息显示物的显示形态的变更处理的内容不同。或者，根据用户的视点位置的变化距离、变化速度或变化加速度，使信息显示物的显示形态的变更处理的内容不同。例如，根据视线方向的变化角度、变化速度或变化加速度(视点位置的变化距离、变化速度或变化加速度)，使信息显示物的消除处理、半透明化处理的内容、信息显示物的追随的解除处理的内容、信息显示物的移动处理、尺寸变更处理的内容、或者信息显示物的颜色信息变更处理的内容不同。例如，视线方向的变化角度、变化速度或变化加速度(视点位置的变化距离、变化速度或变化加速度)越大，则使至信息显示物被消除为止的时间越短、或者使半透明度的变化速度越快、或者使至追随被解除为止的时间越短、或者使移动处理中的移动速度、尺寸变更处理中的尺寸变化速度越快。另外，视线方向的变化角度、变化速度或变化加速度(视点位置的变化距离、变化速度或变化加速度)越小，则使至信息显示物被消除为止的时间越长、或者使半透明度的变化速度越慢、或者使至追随被解除为止的时间越长、或者使移动处理中的移动速度、尺寸变更处理中的尺寸变化速度越慢。
另外，对信息显示物设定有例如判定范围(视线方向的接收范围)，判定部115在用户的视线方向的注视位置超出判定范围的情况下，判定为满足了给定的变更条件。
例如，以从用户的视点来看将信息显示物包含在内的方式设定判定范围。该判定范围的设定例如可以通过判定部115进行。判定范围既可以是碰撞处理中的三维形状的判定用容量，也可以是二维形状的范围。于是，进行例如沿着用户的视线方向的直线(视线方向矢量的直线)与判定范围的交叉判定，当该直线与判定范围交叉时，判定为不满足给定的变更条件。另一方面，当该直线与判定范围不交叉时，判断为用户的视线方向的注视位置超出判定范围，从而判定为满足了给定的变更条件。沿着视线方向的直线与判定范围的交叉判定可以使用公知的碰撞处理(碰撞判定)实现。
该情况下，优选判定范围例如按每个信息显示物设定为不同的范围。例如对于多个信息显示物中的第一信息显示物，作为判定范围而设定第一判定范围。另一方面，对于多个信息显示物中的第二信息显示物，作为判定范围而设定与第一判定范围不同的第二判定范围。例如，第一判定范围和第二判定范围从用户的视点来看是不同大小的范围。例如，对于从用户的视点来看位于中央部的信息显示物，设定例如小范围的判定范围(第一判定范围)。另一方面，对于从用户的视点来看位于周边部的信息显示物，设定例如大范围的判定范围(大于第一判定范围的第二判定范围)。
另外，在虚拟空间中配置有多个信息显示物的情况下，显示处理部120也可以针对从用户的视点来看位于中央部的信息显示物执行显示形态的变更处理。例如，对于从用户的视点来看位于中央部的信息显示物执行显示形态的变更处理，而对于从用户的视点来看位于周边部的信息显示物不执行显示形态的变更处理。在此，中央部是例如沿着用户的视线方向延伸的直线交叉的区域，且是通过规定的边界划分的规定尺寸的区域。另一方面，周边部是中央部周围的区域，且是该直线不交叉的区域。中央部和周边部通过上述规定的边界划分。作为一例，也可以是对于与沿着用户的视线方向延伸的直线交叉的信息显示物执行显示形态的变更处理，而对于与该直线不交叉的信息显示物不执行显示形态的变更处理。
另外，在虚拟空间中配置有多个信息显示物的情况下，显示处理部120也可以使给定的变更条件的内容或显示形态的变更处理的内容在第一信息显示物与第二信息显示物间不同。例如，按多个信息显示物中的各信息显示物，使变更条件的内容或显示形态的变更处理的内容不同。此外，也可以使变更条件的内容及显示形态的变更处理的内容两者不同。例如，通过使基于视线方向的变化角度、变化速度或变化加速度(视点位置的变化距离、变化速度或变化加速度)的变更条件的判定时的阈值不同，从而可以使变更条件的内容不同。另外，通过使上述判定范围的尺寸等不同，从而可以使变更条件的内容不同。另外，通过使信息显示物的消除处理、半透明化处理的内容、信息显示物的追随的解除处理的内容、信息显示物的移动处理、尺寸变更处理的内容、或者信息显示物的颜色信息变更处理的内容不同，从而可以使信息显示物的显示形态的变更处理的内容不同。
另外，显示处理部120也可以执行与信息显示物的深度值相应的显示形态的变更处理。深度值表示从用户的视点来看时的、信息显示物在深度方向上的距离，例如是视点坐标系(相机坐标系)中的Z坐标轴的坐标值等。例如，假设第一信息显示物的深度值为第一深度值，第二信息显示物的深度值为与第一深度值不同的第二深度值。该情况下，显示处理部120对第一信息显示物(例如从视点来看位于眼前侧的信息显示物)执行显示形态的变更处理，而不对第二信息显示物(例如从视点来看位于深处侧的信息显示物)执行显示形态的变更处理。或者，也可以使在第一信息显示物与第二信息显示物之间，显示形态的变更处理的内容不同。
另外，显示处理部120也可以执行与从满足给定的变更条件起所经过的时间相应的显示形态的变更处理。例如，将满足变更条件起所经过的时间作为参数，执行信息显示物的消除处理、半透明化处理、信息显示物的追随的解除处理、信息显示物的移动处理、尺寸变更处理、或者信息显示物的颜色信息变更处理。例如，根据从满足变更条件起所经过的时间改变半透明化处理的半透明度。例如，经过时间越长，则设定为越透明的半透明度。或者，也可以根据满足变更条件起所经过的时间，设定移动处理中的移动速度、尺寸变更处理中的尺寸变化速度。
另外，显示处理部120在执行了信息显示物的显示形态的变更处理之后，通过判定部115判定为满足了给定的恢复条件的情况下，执行信息显示物的显示形态的变更处理的恢复处理。恢复处理是返回至显示形态变更前的状态、或者使其接近于显示形态变更前的状态的处理。例如，在通过显示形态的变更处理执行了信息显示物的消除处理的情况下，执行使被消除的信息显示物再次显示的恢复处理。另外，在通过显示形态的变更处理执行了信息显示物的半透明化处理的情况下，执行使变为半透明的信息显示物恢复为非半透明的信息显示物的恢复处理。另外，在通过显示形态的变更处理执行了信息显示物的追随的解除处理的情况下，执行使该解除处理无效而使信息显示物追随视线方向的恢复处理。另外，在通过显示形态的变更处理执行了信息显示物的移动处理、尺寸变化处理的情况下，执行使信息显示物恢复为移动前的状态、尺寸变更前的状态的恢复处理。另外，在通过显示形态的变更处理执行了信息显示物的颜色信息变更处理的情况下，执行将信息显示物的颜色信息恢复为变更前的颜色信息的恢复处理。
该情况下，判定部115在执行了显示形态的变更处理之后经过了给定的时间时、或者在执行了显示形态的变更处理之后在给定的时间期间未检测到用户的视线方向发生变化时、或者在执行了显示形态的变更处理之后检测到用户注视给定的对象时，判定为满足给定的恢复条件。然后，执行信息显示物的显示形态的变更处理的恢复处理。例如，判定部115在执行了显示形态的变更处理之后，测量经过时间，并在判断为经过了规定的给定时间时，执行恢复处理。另外，在执行了显示形态的变更处理之后，执行用户的视线方向的变化的检测处理，并在判断为视线方向的变化小，在规定变化量以下时，执行恢复处理。另外，在执行了显示形态的变更处理之后，检测到用户在例如给定的期间内注视给定的对象时，执行恢复处理。
另外，显示处理部120也可以在未执行信息显示物的显示形态的变更处理时与执行了信息显示物的显示形态的变更处理时之间，使HMD200的显示图像的明亮度不同。显示图像的明亮度是显示图像的整体的明亮度，例如可以通过构成显示图像的全部像素的平均亮度(明度)等规定。于是，在未执行信息显示物的显示形态的变更处理而信息显示物的显示为常规显示的情况下，例如将HMD200的显示图像设定为昏暗。另一方面，在执行了信息显示物的显示形态的变更处理而例如信息显示物变为非显示、或者变为半透明的情况下，例如将HMD200的显示图像设定为明亮。
另外，虚拟相机控制部118根据用户的视点信息的跟踪信息控制虚拟相机，以使其追随用户的视点变化。
例如，输入处理部102(输入接收部)获取佩戴HMD200的用户的视点信息的跟踪信息。例如，获取是用户的视点位置、视线方向中至少之一的视点信息的跟踪信息(视点跟踪信息)。该跟踪信息可以通过例如执行HMD200的跟踪处理而获取。此外，也可以通过跟踪处理直接获取用户的视点位置、视线方向。作为一例，跟踪信息可以包含用户的视点位置从初始视点位置起的变化信息(视点位置的坐标的变化值)、以及用户的视线方向从初始视线方向起的变化信息(视线方向绕旋转轴的旋转角度的变化值)中至少一方。根据这样的跟踪信息所包含的视点信息的变化信息，可以确定用户的视点位置、视线方向(用户的头部的位置、姿势的信息)。
然后，虚拟相机控制部118根据所获得的跟踪信息(用户的视点位置及视线方向中至少一方的信息)改变虚拟相机的视点位置、视线方向。例如，虚拟相机控制部118以虚拟空间中的虚拟相机的视点位置、视线方向(位置、姿势)根据真实空间中的用户的视点位置、视线方向的变化而变化的方式设定虚拟相机。由此，能够根据用户的视点信息的跟踪信息控制虚拟相机，以使其追随用户的视点变化。
此外，在本实施方式中，作为用户所玩的游戏的游戏处理，执行虚拟现实的模拟处理。虚拟现实的模拟处理是用于在虚拟空间中模拟真实空间中的现象的模拟处理，且是用于使用户虚拟体验该现象的处理。例如，执行用于使与真实空间的用户对应的虚拟用户、其搭乘移动体等移动体在虚拟空间中移动、或者使用户体验伴随移动的环境、周围的变化的处理。
另外，模拟系统包括执行游戏处理的游戏处理部112。并且，游戏处理部112执行使作为用户的游戏对象的角色的信息和用户的视点信息的相应的指令的效果激活的处理。
例如，在本实施方式中，执行接收用户从多个指令中选择的指令的处理。例如，存储部170(指令信息存储部)中存储有用户可选择的N个指令的信息。然后，例如，自动或者由用户从该N个指令中选择M个(M＜N)指令，并编成被称为所谓牌组(deck)的指令的集合。在玩游戏期间，用户从该M个指令中选择自身所希望的指令。于是，所选择的指令作为激活对象的指令而被接收。
然后，游戏处理部112作为游戏处理而执行使所接收的指令的效果激活的处理。例如，各指令的效果与各指令相关联，并作为指令信息存储在存储部170中。游戏处理部112执行使与用户选择的指令相关联的效果激活的处理。
然后，游戏处理部112根据指令的效果的激活结果，执行运算游戏参数的处理、使游戏运行的处理、运算游戏成绩(游戏结果)的处理、或者与指令对应的图标的控制处理等游戏处理。
具体而言，游戏处理部112执行使游戏参数的值增减的运算处理。然后，根据运算处理后的游戏参数而执行各种游戏处理，如控制角色的动作(举动)、进行故事的分支处理、或者进行产生游戏事件的处理、等等。例如，执行通过作为用户的游戏对象的角色和用户使故事发展的游戏处理。
显示处理部120根据上述游戏处理的结果，执行游戏图像的显示处理。例如，执行用于将与游戏参数的运算结果、游戏运行处理的结果、游戏成绩的运算结果、图标的控制处理的结果相应的游戏图像显示于HMD200的显示部220中的处理。另外，声音处理部130也根据游戏处理的结果执行用于从声音输出部192输出BGM、效果音或者语音等游戏声音的处理。
此外，在本实施方式中，游戏处理部112执行使与作为用户的游戏对象的角色的信息和用户的视点信息相应的指令的效果激活的处理。例如，执行使与根据角色的信息和用户的视点信息设定(确定)的信息(例如位置关系信息、视线关系信息、或者注视信息等)相应的指令的效果激活的处理。
具体而言，游戏处理部112根据角色的信息和用户的视点信息，执行使指令的效果的程度及指令的效果的内容中至少一方变化的处理。例如，当根据角色的信息和用户的视点信息而设定(确定)的信息(例如位置关系信息、视线关系信息或者注视信息等)发生变化时，游戏处理部112以使指令的效果的程度及指令的效果的内容中至少一方根据上述变化而变化的方式执行指令的激活处理。
在此，角色的信息例如为角色的位置信息、方向信息、游戏参数信息、部位信息、姿势信息以及种类信息中至少一方。角色是游戏中出现的游戏要素，例如表示真实世界中的人、动物、机器人、或者移动体等的要素、作为对象显示于游戏图像上的要素。
具体而言，作为用户的游戏对象的角色例如是作为用户的游戏的对手的角色。以与异性角色的交流游戏(人际关系模拟游戏)为例，则是作为用户的交流对手(候补)的角色。例如，在本实施方式中，显示处理部120生成用户的例如第一人称视点下的游戏图像，并将所生成的第一人称视点下的图像显示于HMD200的显示部220中。由此，能够向用户带来好像自己进入游戏空间(CG动画的世界)中一样的虚拟现实感。而且，角色在该游戏空间(对象空间、虚拟三维空间)中作为用户的游戏对象而出现。由此，用户能够感觉到好像真人(角色)存在于用户的眼前一样的虚拟现实。此外，作为用户的游戏对象的角色，也可以使用在战争游戏、RPG游戏、体育游戏等中作为用户的敌方、同伴而出现的角色。
另外，游戏参数是游戏处理(游戏运行处理等)中使用的参数。例如，游戏参数是表示角色、用户的状态、能力等的参数。例如，作为角色的游戏参数，可以设想表示角色的心理、状态的状态参数、表示角色的能力的参数、与角色的行动相关的参数、或者与角色的持有物有关的参数等各种参数。另外，角色的游戏参数也可以是表示对于用户的角色的评价的参数。
角色的部位信息是构成角色的部位(部位对象)的种类信息(头、胸、腰、脚或手等)、部位的位置信息(相对于角色的代表位置的相对位置)、或者部位的形状信息(部位对象的形状)等。角色的姿势信息例如是确定坐、站、走或跑等角色的动作的姿势的信息。例如在用骨架模型表现角色的情况下，该骨架的形状信息对应于角色的姿势信息。角色的种类信息例如是被称为角色的类型或属性的信息，若是异性的角色，则为活泼型、正直型、甜美型、或者清秀型等。
另外，用户的视点信息例如是用户的视点位置信息、视线方向信息以及虚拟相机属性信息中至少之一。视点位置信息例如是在游戏空间(对象空间、虚拟三维空间)内被设定为用户的视点的位置的信息。视线方向信息是表示该视点下的用户的视线方向的信息。虚拟相机属性信息是关于设定为用户的视点的虚拟相机的信息，可以设想例如视场角信息、立体视觉中的双眼视差信息等各种信息。
更为具体而言，游戏处理部112执行使与用户和角色的位置关系信息相应的指令的效果激活的处理。例如，在第一人称视点的情况下，使与用户的视点位置和角色的位置(代表位置)的位置关系信息相应的指令的效果激活。位置关系信息是表示用户的位置(视点位置、用户角色的位置)与角色的位置(代表位置、视点位置)的关系的信息。作为该位置关系信息，可以设想例如用户与角色的距离(游戏空间中的距离)等，但并不限定于此。例如，也可以是用户与角色的方向关系的信息。
另外，游戏处理部112执行使与表示用户的视线与角色的关系的视线关系信息相应的指令的效果激活的处理。视线关系信息是表示用户的视线与角色的关系的信息，例如表示用户的视线与角色的相对关系的信息。例如，视线关系信息是关于以角色的位置(代表位置)或各部位为基准，用户的视线朝向哪个方向的信息。
另外，游戏处理部112执行使与用户的注视信息相应的指令的效果激活的处理。注视信息是用户所注视的角色的部位的信息即注视部位信息、用户是否注视角色的信息即有无注视信息、表示用户注视角色的时间的注视时间信息、以及表示用户注视时与角色之间的距离的注视距离信息中至少一种信息。
2.跟踪处理
接着，对跟踪处理的例子进行说明。图2的(A)中示出本实施方式的模拟系统中使用的HMD200的一例。在图2的(A)中，多个发光元件231～236设置于HMD200。这些发光元件231～236通过例如LED等实现。发光元件231～234设置于HMD200的前表面侧，发光元件235和未图示的发光元件236设置于背面侧。这些发光元件231～236射出(发出)例如可见光的频带的光。具体而言，发光元件231～236射出互不相同的颜色的光。此外，图2的(B)所示的拍摄部150设置于用户PL的前方侧，通过该拍摄部150拍摄这些发光元件231～236的光。即，在拍摄部150的拍摄图像中，映出这些发光元件231～236的光点。然后，通过执行该拍摄图像的图像处理，从而实现用户PL的头部(HMD)的跟踪。即，检测用户PL的头部的三维位置和朝向(视点位置、视线方向)。
例如，如图2的(B)所示，拍摄部150中设置有第一、第二相机151、152，通过使用该第一、第二相机151、152的第一、第二拍摄图像，能够检测出用户PL的头部在深度方向上的位置等。另外，根据设置于HMD200的传感器部210中的运动传感器的运动检测信息，还能够检测出用户PL的头部的旋转角度(视线)。因此，通过使用这样的HMD200，无论用户PL朝向周围360度全方位中的哪个方向，都能够将与其对应的虚拟空间(虚拟三维空间)中的图像(能够从与用户的视点对应的虚拟相机看到的图像)显示于HMD200的显示部220中。此外，作为发光元件231～236，也可以使用红外线而非可见光的LED。另外，也可以通过例如使用深度相机等的其它方法来检测用户的头部的位置、运动等。
另外，HMD200中设置有头带260和未图示的耳机端子。通过将耳机270(声音输出部192)连接到耳机端子上，用户PL能够听到例如实施了三维声处理的游戏声音。
另外，如图2的(A)所示，用户PL持有游戏控制器166、167。游戏控制器166、167相当于图1的操作部160。游戏控制器166、167中设置有发光元件237、238。通过利用拍摄部150拍摄来自该发光元件237、238的光，能够利用与HMD200的情况相同的方法检测出游戏控制器166、167的位置等。由此，用户PL能够输入各种操作信息。此外，也可以通过跟踪处理检测用户头部的点头动作、摇头动作，从而能够输入用户的操作信息。
图3的(A)中示出本实施方式的模拟系统中使用的HMD200的另一例。如图3的(A)所示，HMD200中设置有多个受光元件201、202、203(光电二极管)。受光元件201、202设置于HMD200的前表面侧，受光元件203设置于HMD200的右侧面。另外，HMD的左侧面、上表面等上也设置有未图示的受光元件。另外，HMD200中设置有头带260，用户PL佩戴耳机270。
如图3的(B)所示，用户PL的周边设置有基站280、284。基站280中设置有发光元件281、282，基站284中设置有发光元件285、286。发光元件281、282、285、286通过例如射出激光(红外线激光等)的LED而实现。基站280、284使用这些发光元件281、282、285、286，例如呈放射状射出激光。此外，通过由设置于图3的(A)的HMD200中的受光元件201～203等接收来自基站280、284的激光而实现HMD200的跟踪，从而能够检测用户PL的头的位置、朝向(视点位置、视线方向)。
另外，如图3的(A)所示，用户PL所持有的游戏控制器166、167中设置有受光元件204～206、207～209。于是，通过利用受光元件204～206、207～209接收来自基站280、284的发光元件281、282、285、286的激光，从而能够利用与HMD200的情况相同的方法检测游戏控制器166、167的位置等。由此，用户PL能够输入各种操作信息。
此外，检测用户的视点位置、视线方向(用户的位置、方向)的跟踪处理的方法并不限定于图2的(A)～图3的(B)中说明的方法。例如，也可以使用设置于HMD200中的运动传感器等，以HMD200的单体实现跟踪处理。即，无需设置图2的(B)的拍摄部150、图3的(B)的基站280、284等外部装置即实现跟踪处理。或者，也可以通过公知的眼部跟踪、脸部跟踪或者头部跟踪等各种视点跟踪方法来检测用户的视点位置、视线方向等视点信息。例如，在眼部跟踪中，识别用户的左眼、右眼的瞳孔的位置、形状等。然后，通过确定左眼的位置、右眼的位置、左眼的视线方向、右眼的视线方向等来获取用户的视点信息，从而实现跟踪处理。该眼部跟踪可以通过例如利用拍摄部拍摄用户的左眼、右眼，并对其拍摄图像进行瞳孔等的图像识别处理等而实现。另外，在脸部跟踪中，利用拍摄部拍摄用户的脸部，并执行脸部的图像识别处理。然后，根据图像识别处理的结果，确定用户的脸部的位置、朝向，求出用户的视点位置、视线方向，从而实现跟踪处理。
3.本实施方式的方法
接着，对本实施方式的方法进行具体说明。
3.1游戏的说明
首先，对通过本实施方式的方法实现的游戏的概要进行说明。该游戏是用户一边与游戏中出现的异性角色进行交流，一边指导学习、提供各种建议、回答问题或者解决各种事件，从而提高角色对于用户的好感度等的交流游戏(人际关系模拟游戏)。此外，以下主要以适用本实施方式的方法的游戏是与异性角色等的交流游戏的情况为例进行说明。但是，适用本实施方式的方法的游戏并不限定于此，能够适用于战斗游戏、RPG游戏、体育游戏、动作游戏等各种游戏。
图4～图6中示出通过本实施方式的模拟系统(游戏系统)生成的游戏图像的例子。在通过本实施方式实现的游戏中，用户(玩家)作为角色CH的家庭教师到访其家，并指导学习等。在游戏中，准备了多个故事，并且每个故事中会出现不同类型的角色CH。用户一边达到各故事中的目的，一边享受与角色CH的亲密交流。
玩游戏的用户佩戴HMD200。然后，当用户将视线朝向周围360度全方位的各方向时，在HMD200的显示部220中显示在各方向上应该能够看到的图像。例如，在图4中，当用户将视线朝向角色CH的方向时，在显示部220中显示正在学习的角色CH的图像。另一方面，当用户转动头部，使视线朝向用户的背面侧时，在显示部220中显示位于角色CH背面侧的房间的家具等的图像。因此，用户能够体验好像自己进入了游戏世界一样的虚拟现实感。即，能够对用户带来实际进入房间并指导眼前的异性学习一样的虚拟现实感，从而能够提高用户对游戏的投入感。
在图4的游戏图像中，显示有角色CH(广义上为移动体)、角色CH所持有的书(广义上为装备)、窗帘CT(广义上为固定物)、墙壁WL(广义上为背景)等对象。另外，显示有信息显示物DSA、DSB。
信息显示物DSA是用于显示说明的显示物。例如，通过信息显示物DSA来说明角色CH正在读书。信息显示物DSB是用于显示状态的显示物。如在后述的图7中说明的那样，通过信息显示物DSB来显示角色CH的各种状态信息。
当在图4中用户进行靠近角色CH，并使视线朝向角色CH等动作时，显示图5所示的游戏图像。在图5中，还显示有信息显示物DSC、DSD1、DSD2。信息显示物DSC是用于显示对话的显示物。例如，在信息显示物DSC中，显示角色CH的对话“有什么事吗？”。信息显示物DSD1、DSD2是用于选择指令(输入指令)的显示物。例如，显示针对来自角色CH的对话的回答(是、否)的指令。
当在图5中用户选择了“是”的指令时，显示图6所示的游戏图像。在图6中，显示有信息显示物DSE1、DSE2、DSE3。信息显示物DSE1、DSE2、DSE3是用于选择指令的显示物(图标)。例如，信息显示物DSE1、DSE2、DSE3与指令CM1、CM2、CM3相对应。例如，当用户选择信息显示物DSE1时，激活“更加集中注意力”这样的指令CM1的效果。当选择信息显示物DSE2时，激活“批评”这样的指令CM2的效果。当选择信息显示物DSE3时，激活“打招呼”这样的指令CM3的效果。
此外，使用图1的操作部160进行与指令对应的信息显示物(DSE1、DSE2、DSE3、DSD1、DSD1)的选择。例如，用户使用操作部160选择与用户所希望的指令对应的信息显示物(图标)，进行使与所选择的信息显示物对应的指令的效果激活这样的指令操作。以图2的(A)、图3的(A)为例，用户通过移动双手持有的游戏控制器166、167来进行这样的指令操作。或者，也可以使用以有线方式连接的游戏控制器(未图示)来进行指令操作。或者，头部佩戴HMD200的用户也可以通过进行使视线方向朝向与指令对应的信息显示物、或者朝向纵向或横向摆动头等的动作来进行指令操作。
在图6中，用户选择了与“打招呼”这一指令CM3对应的信息显示物DSE3。由此，“打招呼”这一指令CM3的效果被激活。例如，指令CM3与对应于“打招呼”的语言(例如“喂！”、“在努力吗？”、“在学习吗？”)的语音数据相对应。然后，当指令CM3激活时，进行该语音数据的再现，从图1的声音输出部192输出该言语(句子)的语音。
另外，当指令被激活(指令的效果激活)时，对角色CH的游戏参数也造成影响。例如，当“打招呼”这一指令CM3被激活时，与其对应的角色CH的游戏参数也发生变化。
例如，在图4～图6中，显示有用于将作为角色CH的各种状态的游戏参数的状态传达给用户的信息显示物DSB。例如如图7所示，通过该信息显示物DSB而将角色CH的当前的心理状态、动力、注意力集中、脉搏等的状态传达给用户。这些心理状态、动力、注意力集中、脉搏作为角色CH的游戏参数而准备。
角色CH的心理状态例如使用颜色等来表现。例如，在本实施方式的游戏中，提出课程的课题，例如经过规定时间后课程结束。然后，根据例如课程结束时的课题的完成量来确定用户的游戏成绩。例如，在用户的游戏成绩高的情况下，对用户给予例如效果高、或者稀有度高的指令(动作)的卡片。
对于课程中提出的各课题，赋予例如红色、绿色、蓝色的属性，角色CH的心理状态也具有红色、绿色、蓝色的成分。例如，在角色CH的心理状态中的红色成分多的情况下，可以立即消化红色属性的课题，但绿色、蓝色属性的课题的消化慢。同样地，在角色CH的心理状态中的绿色成分多的情况下，可以立即消化绿色属性的课题，但红色、蓝色属性的课题的消化慢。因此，用户通过观察信息显示物DSB中显示的角色CH的心理状态，使符合心理状态的属性的课题消化，从而完成的课题量变多，能够恰当地完成课程。
另外，如图7所示，对角色CH设定了动力、注意力集中的游戏参数。这些动力、注意力集中的游戏参数的值在例如0～100(％)之间变化，其值越大，则动力、注意力集中越高。当动力的值变高时，课题的消化速度变快。另一方面，注意力集中的值随着时间的经过而下降，但根据角色CH的心理状态，其下降程度变大、或者不易下降。另外，当注意力集中的值低于规定值，变为注意力集中不够的状态时，需要课程休息。
另外，图7的信息显示物DSB的脉搏例如作为表示角色CH对用户的兴奋度、好感度的游戏参数发挥作用。例如，当兴奋度高时，脉搏也变高，动力提高，或者注意力集中不易下降，从而课题的消化速度变快。
3.2显示形态的变更处理
如图4～图6所示，在通过本实施方式实现的游戏中，显示各种信息显示物。在不使用HMD而在显示部中显示虚拟三维图像的现有图像生成系统中，作为这样的信息显示物，使用以二维形式显示在投影屏幕上的二维显示物(精灵(Sprite)等)。
但是，在使用了HMD的VR(虚拟现实)的系统中，若使用二维显示物作为说明显示、状态显示、指令选择、菜单显示等的信息显示物，则会导致损害用户的虚拟现实感、或者难以观察画面等的问题。例如，在立体显示图4的角色CH、书BK、窗帘CT、墙壁WL等三维对象的VR空间中，若仅将信息显示物以二维形式显示在投影屏幕上，则会损害虚拟现实感。另外，当显示多个二维的信息显示物时，这些信息显示物二维重叠、或者对象被信息显示物遮住而变得看不见，从而成为非常难以观察的画面。
因此，在本实施方式中，在用户的视线方向(用户的视野范围、正面方向)上配置至少一个信息显示物。例如，与虚拟空间的其它对象同样地通过具有三维坐标值的对象构成信息显示物，并将其配置在虚拟空间中。具体而言，将被控制为追随用户的视点变化(视线方向及视点位置中至少一方的变化)的信息显示物配置在虚拟空间中。更为具体而言，以追随用户的视点变化的方式将信息显示物配置在用户的视线方向上的给定的深度位置处。
图8的(A)～图8的(D)是关于这样的信息显示物的显示方法的说明图。例如，在图8的(A)中，VP是佩戴HMD的用户PL的视点，VL是用户PL的视线方向。这些视点VP、视线方向VL相当于与用户PL对应的虚拟相机的视点、视线方向。
而且，在图8的(A)中，在用户PL的视线方向VL上的深度值Z1、Z2的位置处，分别配置有信息显示物DS1、DS2。深度值Z1、Z2例如是视点坐标系(相机坐标系)中的Z坐标轴的坐标值。信息显示物DS1、DS2通过例如公告板多边形而实现。即，通过对公告板多边形映射如图4～图6中所说明的说明显示、状态显示、对话显示、指令选择显示、菜单显示用的字符、图标或图形等的图像，从而实现信息显示物DS1、DS2。公告板多边形(公告板基本曲面)是以正对(大致正对)用户PL的视点VP(虚拟相机)的方式配置的多边形(基本曲面)。例如，信息显示物DS1、DS2的公告板多边形以与视线方向VL(视线方向矢量)正交(大致正交)的方式配置。例如，以公告板多边形的面的法线方向与视线方向VL平行的方式配置。此外，公告板多边形的配置方向并不限定于这样的方向，能够设定为各种配置方向。另外，也可以利用与公告板多边形不同形式的显示物来实现信息显示物。例如，也可以通过由多个基本曲面(多边形等)构成的三维形状的对象来实现信息显示物。
此外，在本实施方式中，信息显示物DS1、DS2被控制为追随用户PL的视线方向VL的变化。例如，在图8的(B)中，用户PL的视线方向VL朝向右侧方向变化。例如佩戴HMD的用户PL朝向右侧方向，由此，虚拟空间中的虚拟相机的视线方向也朝向右侧方向变化。该情况下，如图8的(B)所示，信息显示物DS1、DS2的位置、方向追随该视线方向VL的变化而变化。例如，在图8的(B)中，也以正对用户PL的视点VP的方式配置构成信息显示物DS1、DS2的公告板多边形。
另外，在图8的(C)中，用户PL的视线方向VL朝向左侧方向变化。例如佩戴HMD的用户PL朝向左侧方向，由此，虚拟空间中的虚拟相机的视线方向也朝向左侧方向变化。该情况下，如图8的(C)所示，信息显示物DS1、DS2的位置、方向也追随该视线方向VL的变化而变化。例如，在图8的(C)中，也以正对用户PL的视点VP的方式配置构成信息显示物DS1、DS2的公告板多边形。
另外，在图8的(D)中，用户PL的视线方向朝向上侧方向变化。该情况下，如图8的(D)所示，信息显示物DS1、DS2的位置、方向也追随该视线方向VL的变化而变化。同样地，在用户PL的视线方向朝向下侧方向变化的情况下，信息显示物DS1、DS2的位置、方向也追随该变化而变化。
这样，在图8的(A)～图8的(D)的显示方法中，信息显示物与虚拟空间的其它对象同样地以三维形式配置在虚拟空间中。因此，能够解决因为信息显示物的显示而损害用户的虚拟现实感的问题。即，在平面显示二维的信息显示物的现有方法中，产生因为信息显示物的存在而损害虚拟现实感的问题，但是，根据将信息显示物以三维形式配置在虚拟空间中的本实施方式的方法，能够防止发生这样的问题。另外，若如此以三维形式配置信息显示物，即使在显示多个信息显示物的情况下，也能够实现对于用户来说容易观察的适当的显示。例如，如图8的(A)～图8的(D)所示，也能够实现以使深度值(Z1、Z2)不同的方式配置多个信息显示物(DS1、DS2)等的情况，从而能够实现对于用户来说容易观察的适当的信息显示物的显示。另外，根据图8的(A)～图8的(D)的显示方法，在用户的正面侧总是显示信息显示物。因此，即使在用户的视线方向朝向各种方向的情况下，也能够在用户的正面侧显示信息显示物，可以使用信息显示物适当地提示用户所需的各种信息。
此外，信息显示物的显示方法并不限定于图8的(A)～图8的(D)所示的方法，能够实施各种变形。例如，信息显示物只要至少配置于用户的视线方向上即可，也可以不追随视点变化。例如，关于特定的信息显示物，也可以不追随用户的视点变化。例如，关于显示特定对象(例如作为用户的游戏对象的角色)的状态等的信息显示物，也可以以显示于该特定对象附近的方式进行控制。
另外，在图8的(A)～图8的(D)中，对于信息显示物追随用户的视线方向的变化的情况进行了说明，但也可以使信息显示物追随用户的视点位置的变化。例如，当用户的视点位置(用户位置)上下左右移动时，使信息显示物追随该移动上下左右移动。信息显示物既可以仅追随用户的视线方向的变化，也可以仅追随视点位置的变化，还可以追随视线方向的变化及视点位置的变化两者。但是，以下为了简化说明，主要以用户的视点变化为用户的视线方向的变化的情况为例进行说明。
如图8的(A)～图8的(D)所示，在本实施方式中，采用将信息显示物配置在用户的视线方向上进行显示的方法。这样，由于信息显示物总是配置于用户的正面方向，因此，能够通过信息显示物适当地向用户传递信息。另外，通过不以二维形式显示信息显示物，而与角色等其它对象同样地配置在虚拟空间中，从而能够实现不损害用户的虚拟现实感这样的信息显示物的适当的显示。
然而，在如此将信息显示物配置于用户的视线方向上的方法中，当用户的视线方向大幅变化时(视点位置大幅变化时)，有可能在HMD200中显示不当的显示图像。另外，在使用HMD的系统中，VR空间在用户的视野的整个周围扩展。因此，用户有时会移动视线方向来环视VR空间。这样的情况下，若以视线方向朝向正面方向时的显示形态显示信息显示物，则有可能成为对于用户来说不当的显示。
因此，在本实施方式中，在因为视线方向大幅变化等而满足给定的变更条件时，执行变更信息显示物的显示形态的处理。另外，以不仅是正面方向，而且在用户移动视线方向来环视周围方向的情况下，也在HMD中显示适当的图像的方式执行变更信息显示物的显示形态的处理。
例如，在图9的(A)、图9的(B)中，变更了信息显示物DS的显示形态。即，如图9的(A)所示，信息显示物DS配置于用户PL的视线方向VL上。具体而言，如图8的(A)～图8的(D)中所说明的那样，以追随用户PL的视线方向VL的变化的方式配置信息显示物DS。
然后，如图9的(B)所示，假设用户PL改变了视线方向VL。例如在使用了HMD的系统中，由于VR空间在整个周围扩展，因此，用户PL为了环视VR空间，有时会如图9的(B)所示那样大幅改变视线方向VL。该情况下，在本实施方式中，判断是否因为这样的视线方向VL的变化而满足后述的变更条件。然后，在判断为满足变更条件的情况下，如图9的(B)所示，执行消除信息显示物DS的显示、或者使信息显示物DS半透明化的显示形态的变更处理。信息显示物DS的消除处理可以通过例如从显示列表(显示对象列表)中除去信息显示物DS的处理等而实现。信息显示物DS的半透明化处理可以通过执行例如使信息显示物DS的半透明度(α值)接近于透明的处理而实现。或者，也可以将信息显示物DS变更为例如框架模型等，从而消除说明显示、状态显示等的字符、图标、图形。
如图9的(A)所示，在用户PL观察正面方向的情况下，通过将信息显示物DS配置在用户PL的视线方向VL上，能够使用信息显示物DS适当地传递信息。例如，如图4～图6所示，能够将说明显示、状态显示、对话显示、指令选择或者菜单显示用的各种信息适当地传递给用户PL。
另一方面，当用户PL为了环视VR空间而改变视线方向VL时，若显示这样的信息显示物DS，则信息显示物DS成为障碍，从而无法适当地环视周围方向。
关于这一点，在本实施方式中，在如此大幅改变了视线方向VL的情况下(视点位置大幅变化的情况下)，如图9的(B)所示，执行消除信息显示物DS、或者使其半透明化的处理。由此，信息显示物DS不会妨碍视野，从而用户PL能够适当地环视VR空间。此外，以下，主要以用户PL的视线方向VL朝向上方变化的情况为例进行说明，但在视线方向VL朝向下方、左方、右方等其它方向大幅变化时，也可以执行信息显示物的显示形态的变更处理。
作为信息显示物的显示形态的变更处理，除了图9的(A)、图9的(B)所示那样的信息显示物的消除处理、半透明化处理以外，还有信息显示物对于用户的视线方向的追随的解除处理、信息显示物的移动处理、信息显示物的尺寸变更处理、信息显示物的颜色信息变更处理等。
例如，在图10的(A)、图10的(B)中，作为显示形态的变更处理，执行信息显示物DS对于用户PL的视线方向VL的追随的解除处理。例如，在本实施方式中，如图8的(A)～图8的(D)中所说明的那样，信息显示物DS被控制为追随用户PL的视线方向VL的变化。
相对于此，在图10的(A)、图10的(B)中，当随着视线方向VL的变化而满足了变更条件时，解除该追随的控制。由此，如图10的(B)所示，即使在用户PL的视线方向VL发生变化时，信息显示物DS的位置也不会变化。因此，信息显示物DS几乎不会进入视线方向VL朝向上方的用户PL的视野中，从而能够防止信息显示物DS妨碍视野这一事态。
另外，在图11的(A)、图11的(B)中，作为显示形态的变更处理，执行信息显示物DS的移动处理。即，当随着视线方向VL的变化(广义上为视点变化。下同)而满足了变更条件时，在朝向上方的用户PL的视野中，如图11的(B)所示，使信息显示物DS从视野的中央部向周边部移动。例如，由于用户PL的视线方向VL朝向上方变化，因此，使信息显示物DS朝向与其相反的下方(斜下方)移动。由此，由于信息显示物DS移动至用户PL的视野的周边部，因而能够防止信息显示物DS妨碍视野这一事态。
另外，在图12的(A)、图12的(B)中，作为显示形态的变更处理，执行信息显示物DS的尺寸变更处理。具体而言，当随着视线方向VL的变化而满足了变更条件时，如图12的(B)所示缩小信息显示物DS的尺寸。在像这样地缩小信息显示物DS的尺寸的情况下，在朝向上方的用户PL的视野中，能够缩小信息显示物DS遮挡视野的区域的面积。因此，能够有效地抑制信息显示物DS妨碍视野的事态。
另外，在执行图9的(A)～图12的(B)所示那样的显示形态的变更处理的情况下，也可以进行使信息显示物在时间上产生延迟地追随视线方向的变化的控制。例如进行竞赛游戏中的橡皮筋控制那样的控制。于是，在如此产生时间延迟地使信息显示物进行追随之后(或者追随的同时)，执行图9的(A)～图12的(B)所示那样的最终的显示形态的变更处理。例如，在使信息显示物产生时间延迟地追随视线方向的变化之后，执行图9的(B)那样的信息显示物的消除处理、半透明化处理、或者执行图10的(B)那样的追随的完全解除处理。
另外，在本实施方式中，执行与信息显示物的种类、优先级或重要度相应的显示形态的变更处理。例如，在信息显示物为第一种类(例如重要度或优先级高的种类的显示物)的情况下，即使在视线方向大幅变化而满足了变更条件时，也不变更该信息显示物的显示形态。这样，关于传递例如重要度、优先级高的信息的信息显示物，即使在视线方向发生了变化的情况下，也能够配置在用户的视线方向上，从而能够适当地向用户传递信息。另一方面，在信息显示物DS2为第二种类(例如重要度或优先级低的种类的显示物)的情况下，当满足了变更条件时，变更该信息显示物的显示形态。这样，能够防止该信息显示物妨碍用户视野的事态。
例如，在图13的(A)的表数据中，信息显示物DSF1、DSF2、DSF3与其种类TPA、TPB、TPA相关联。该表数据存储在图1的存储部170中。于是，由于种类TPA是例如优先级、重要度低的种类，因此，当视线方向大幅变化而满足了变更条件时，信息显示物的显示形态被变更。例如，执行将信息显示物消除或半透明化的处理。另一方面，由于种类TPB是例如优先级、重要度高的种类，因此，即使在视线方向大幅变化而满足了变更条件时，信息显示物的显示形态也未变更。不会执行例如信息显示物的消除处理、半透明化处理。
在图13的(B)的表数据中，信息显示物DSG1、DSG2、DSG3与其优先级(重要度)PRA、PRB、PRC相关联。该表数据存储在图1的存储部170中。于是，当因为视线方向的变化而满足变更条件时，使用与DSG1、DSG2、DSG3的各信息显示物相关联的优先级(重要度)PRA、PRB、PRC执行显示形态的变更处理。例如，对于与高优先级(重要度)相关联的信息显示物，即使在满足了变更条件时，也不执行显示形态的变更处理。另一方面，对于与低优先级(重要度)相关联的信息显示物，当满足了变更条件时，执行显示形态的变更处理。另外，在显示多个信息显示物的情况下，根据优先级(重要度)来选择作为显示形态的变更处理的对象的信息显示物。例如，进行第一信息显示物与第二信息显示物的优先级(重要度)的比较处理，假设判断为第一信息显示物的信息显示的优先级(重要度)比第二信息显示物高。该情况下，当满足了变更条件时，不对第一信息显示物执行显示形态的变更处理，而对第二信息显示物执行显示形态的变更处理。
这样，在本实施方式中，能够实现与信息显示物的种类、优先级或重要度相应的适当的显示形态的变更处理。例如，对于特定种类的信息显示物，即使在视线方向大幅变化而满足了变更条件时，也不变更显示形态。另外，在通过信息显示物提示的信息的优先级、重要度高的情况下，即使在满足了变更条件时，也不变更显示形态。反之，在通过信息显示物提示的信息的优先级、重要度低的情况下，优先执行该信息显示物的显示形态的变更处理。
另外，在本实施方式中，如图13的(B)所示，使用与信息显示物相关联的优先级或重要度来执行显示形态的变更处理。这样，预先使信息显示物与优先级或重要度建立关联，从而能够使用该优先级或重要度来执行适当的显示形态的变更处理。
例如，在图4～图6中，用于选择指令的信息显示物(DSD1、DSD2、DSE1～DSE3)是优先级或重要度高的信息显示物。例如，在因为用户的视线方向改变而满足了变更条件的情况下，若用于选择指令的信息显示物被消除或半透明化，则用户无法选择(输入)指令，从而导致游戏运行停止。因此，对于这种用于选择指令的信息显示物，预先与高的优先级或重要度建立关联，从而在满足了变更条件的情况下，不执行信息显示物的消除处理、半透明化处理。
另一方面，用于显示说明的信息显示物(DSA)是优先级或重要度不那么高的信息显示物，例如在因为用户的视线方向改变而满足了变更条件的情况下，即使用于显示说明的信息显示物被消除或半透明化，也不会对游戏运行带来太大障碍。因此，对于这种用于显示说明的信息显示物，预先与低的优先级或重要度建立关联，从而在满足了变更条件的情况下，执行信息显示物的消除处理、半透明化处理。由此，能够实现反映了信息显示物的优先级或重要度的适当的显示处理。
另外，例如在显示用于选择指令的信息显示物和用于显示说明的信息显示物两者的情况下，只要根据优先级或重要度选择作为显示形态的变更处理的对象的信息显示物即可。即，在满足了变更条件的情况下，优先选择用于显示说明的信息显示物并变更其显示形态。
另外，在本实施方式中，也可以执行与从信息显示物被显示起所经过的时间相应的显示形态的变更处理。
例如，在图14中，信息显示物DSH1、DSH2在显示后经过了长的经过时间TE1、TE2的时机成为显示形态变更处理的对象。另一方面，信息显示物DSH3在显示后经过了短的经过时间TE3的时机成为显示形态变更处理的对象。该情况下，对从显示起所经过的时间TE1、TE2长的信息显示物DSH1、DSH2，执行消除、半透明化等显示形态的变更处理。另一方面，对于从显示起所经过的时间TE3短的信息显示物DSH3，不执行消除、半透明化等显示形态的变更处理。
例如，关于从显示起所经过的时间TE1、TE2长的信息显示物DSH1、DSH2，在该长的经过时间TE1、TE2的期间，用户看到这些信息显示物DSH1、DSH2的可能性高，从而认为充分进行了利用信息显示物DSH1、DSH2的信息传递。因此，对于这样的信息显示物DSH1、DSH2，在满足了变更条件时，执行消除或半透明化等显示形态的变更处理。
另一方面，关于从显示起所经过的时间TE3短的信息显示物DSH3，在短的经过时间TE3的期间，用户充分看到信息显示物DSH3的可能性低，从而认为利用信息显示物DSH3的信息传递不充分。因此，对于这样的信息显示物DSH3，即使在满足了变更条件时，也不执行消除或半透明化等显示形态的变更处理。
即，在显示有多个信息显示物的状况下，在用户的视线方向大幅变化而满足了变更条件的情况下，若将全部的信息显示物消除或半透明化，则会产生利用信息显示物的信息传递不充分的问题。关于这一点，根据图14的方法，将从显示起所经过的时间作为判断素材，决定是否执行显示形态的变更处理，因此，能够有效地防止发生这样的问题。
3.3变更条件的判定
接着，对变更条件的判定的具体例进行说明。在本实施方式中，图1的判定部115判定是否满足变更条件。然后，在通过判定部115判定为满足了变更条件时，执行信息显示物的显示形态的变更处理。具体而言，判定部115根据用户的视点变化信息判定是否满足给定的变更条件。视点变化信息例如是视线变化信息或视点位置变化信息。具体而言，当用户的视线方向的变化角度达到给定的角度以上时、当视线方向的变化速度达到给定的速度以上时、或者当视线方向的变化加速度达到给定的加速度以上时，判定部115判定为满足了给定的变更条件。
例如，在图15的(A)中，用户PL的视线方向VL例如朝向上方变化。而且，视线方向VL的变化角度Δθ达到作为阈值的角度θth以上(给定的角度以上)。该情况下，判定为满足了变更条件，从而执行信息显示物的显示形态的变更处理。
另外，在图15的(B)中，用户PL的视线方向的变化速度ω达到作为阈值的速度ωth以上(给定的速度以上)。或者，用户PL的视线方向的变化加速度α达到作为阈值的加速度αth以上(给定的加速度以上)。该情况下，判定为满足了变更条件，从而执行信息显示物的显示形态的变更处理。需要说明的是，变化速度ω、变化加速度α分别与角速度、角加速度对应。
根据图15的(A)、图15的(B)的方法，在用户PL的视线方向VL的变化大、或者变化剧烈的情况下，判断为满足了变更条件，执行信息显示物的显示形态的变更处理，从而能够实现信息显示物的适当的显示处理。
另外，在本实施方式中，如图16所示，也可以使显示形态的变更处理的内容根据用户的视线方向的变化角度Δθ、变化速度ω或变化加速度α(广义上为视点变化信息)等而不同。
例如，在信息显示物的消除处理中，根据变化角度Δθ、变化速度ω或变化加速度α等使到信息显示物被消除为止的时间不同。例如，在变化角度Δθ、变化速度ω或变化加速度α大的情况下，缩短到信息显示物被消除为止的时间，从而使信息显示物立即被消除。另一方面，在变化角度Δθ、变化速度ω或变化加速度α小的情况下，延长到信息显示物被消除为止的时间。
另外，在信息显示物的半透明化处理中，使半透明度的变化速度(变化率)根据变化角度Δθ、变化速度ω或变化加速度α等而不同。例如，在变化角度Δθ、变化速度ω或变化加速度α大的情况下，加快半透明度的变化速度，从而使信息显示物立即接近于透明。另一方面，在变化角度Δθ、变化速度ω或变化加速度α小的情况下，减慢半透明度的变化速度，从而使信息显示物慢慢地接近于透明。
这样，显示形态的变更处理的内容根据视线方向的变化角度、变化速度或变化加速度而变化，从而能够实现反映了变化角度、变化速度或变化加速度的显示形态的变更处理。
此外，在通过图11的(A)、图11的(B)的移动处理执行的显示形态的变更处理中，例如只要使信息显示物的移动速度根据变化角度Δθ、变化速度ω或变化加速度α等而不同即可。另外，在通过图12的(A)、图12的(B)的尺寸变化处理执行的显示形态的变更处理中，例如只要使信息显示物的尺寸的变化速度根据变化角度Δθ、变化速度ω或变化加速度α等而不同即可。
另外，此处的变化角度Δθ、变化速度ω、变化加速度α的大小可以设为例如与作为阈值的θth、ωth、αth的差分的大小。该差分的大小例如为Δθ-θth、ω-ωth、α-αth的大小。例如，在执行信息显示物的消除处理、半透明化处理等显示形态的变更处理时，以Δθ-θth、ω-ωth、α-αth为0以上为前提条件。
图17的(A)、图17的(B)是与图15的(A)、图15的(B)不同的变更条件的判定方法的说明图。在该判定方法中，如图17的(A)所示，对于信息显示物DS设定判定范围RG(碰撞范围、碰撞盒)。具体而言，以从用户的视点来看包含信息显示物DS的方式设定判定范围RG。然后，如图17的(B)所示，在用户PL的视线方向VL的注视位置GP超出判定范围RG(视线方向的接收范围)的情况下，判定为满足了变更条件。
具体而言，进行沿着视线方向VL的直线(连接VP与GP的直线)与判定范围RG的交叉判定。该交叉判定可以通过公知的碰撞处理(碰撞判定)而实现。于是，在沿着视线方向VL的直线与判定范围RG交叉的情况下，不执行信息显示物DS的显示形态的变更处理。另一方面，如图17的(B)所示，在沿着视线方向VL的直线与判定范围RG不交叉的情况下，执行信息显示物DS的显示形态的变更处理。即，在该直线的端部即注视位置GP位于超过判定范围RG的位置的情况下(位于判定范围RG的外侧的情况下)，执行信息显示物DS的显示形态的变更处理。
这样，可以以信息显示物DS为基准，检测视线方向VL相对于信息显示物DS的相对变化，从而对显示形态的变更处理用的变更条件进行判定。
另外，在对信息显示物设定这样的判定范围的情况下，也可以按每个信息显示物使判定范围不同。例如，在图18中，对信息显示物DS1(第一信息显示物)设定判定范围RG1(第一判定范围)。对信息显示物DS2(第二信息显示物)设定大小与判定范围RG1不同的判定范围RG2(第二判定范围)。对信息显示物DS3(第三信息显示物)设定大小与判定范围RG1、RG2不同的判定范围RG3(第三判定范围)。
这样，根据信息显示物设定不同的判定范围，从而可以根据不同的判定基准判定变更条件。例如，在图18中，对于从用户的视点来看位于中央部的信息显示物DS1，设定例如小范围的判定范围RG1。因此，从图17的(B)明确可知，即使是视线方向VL的小幅变化(相对于判定范围的相对变化)，也执行信息显示物DS1的显示形态的变更处理。另一方面，对于从用户的视点来看位于周边部(周缘部)的信息显示物DS2、DS3，设定大范围的判定范围RG2、RG3。因此，在视线方向VL的小幅变化中，不执行信息显示物DS2、DS3的显示形态的变更处理，在视线方向VL大幅变化的情况下，执行显示形态的变更处理。此外，也可以与图18相反，对位于中央部的信息显示物DS1设定大范围的判定范围，对位于周边部的信息显示物DS3、DS4设定小范围的判定范围。
另外，在本实施方式中，在虚拟空间中配置有多个信息显示物的情况下，也可以对于从用户的视点来看位于中央部的信息显示物执行显示形态的变更处理。例如，在图19中，信息显示物DS1从用户的视点来看位于中央部(中心部)。该中央部例如是以用户的视线方向的注视位置为中心的规定大小的范围。另一方面，信息显示物DS2、DS3、DS4、DS5从用户的视点来看位于周边部(周缘部)。该周边部是中央部周围的区域，中央部与周边部通过规定的边界划分。
于是，如图19所示，在配置有多个信息显示物DS1～DS5的情况下，对于中央部的信息显示物DS1执行显示形态的变更处理(消除、半透明化等)。另一方面，对于周边部的信息显示物DS2～DS5，不执行显示形态的变更处理。例如，假设用户移动视线方向以环视广阔的VR空间。在这样的状况的情况下，若位于图19的中央部的大尺寸的信息显示物DS1保持常规显示不变，则信息显示物DS1会妨碍用户的视野。
关于这一点，在图19中，对于中央部的信息显示物DS1优先执行显示形态的变更处理。这样，在环视VR空间的用户的视野中，信息显示物DS1被消除或者变为半透明，因此，能够有效地防止信息显示物DS1妨碍用户视野的事态。
另外，在本实施方式中，在虚拟空间中配置多个信息显示物的情况下，也可以按每个信息显示物使变更条件的内容、显示形态的变更处理的内容不同。例如，在多个信息显示物的第一信息显示物与第二信息显示物间，使变更条件的内容或显示形态的变更处理的内容不同。
例如，在图20中，配置有多个信息显示物DS1、DS2、DS3。并且，对于信息显示物DS1，变更条件被设定为CD1，显示形态的变更处理被设定为PR1。同样地，对于信息显示物DS2、DS3，分别将变更条件设定为CD2、CD3，将显示形态的变更处理设定为PR2、PR3。而且，变更条件CD1、CD2、CD3的内容互不相同。另外，显示形态的变更处理PR1、PR2、PR3的内容互不相同。
例如，关于变更条件CD1、CD2、CD3，图15的(A)、图15的(B)的视线方向VL的变化角度Δθ、变化速度ω或变化加速度α的阈值θth、ωth、αth互不相同。或者，关于变更条件CD1、CD2、CD3，如图18所示，对各信息显示物设定的判定范围的大小等互不相同。另外，关于显示形态的变更处理PR1、PR2、PR3，例如到被消除为止的时间、半透明度的变化速度、移动速度、尺寸变化速度等互不相同。
这样，能够设定与多个信息显示物的种类、优先级、重要度或作用等相应的适当的变更条件、变更处理内容，来执行显示形态的变更处理。
另外，在本实施方式中，也可以执行与信息显示物的深度值相应的显示形态的变更处理。例如，在图21的(A)中，从用户PL的视点VP起的信息显示物DS1、DS2的深度值(Z值)分别为Z1、Z2。在此，Z1＜Z2，与信息显示物DS2相比，信息显示物DS1从用户PL的视点VP来看位于眼前侧。
然后，如图21的(B)所示，假设用户PL的视线方向VL大幅变化而满足了变更条件。该情况下，在图21的(B)中，对深度值Z1小的信息显示物DS1执行显示形态的变更处理。另一方面，对于深度值Z2大的信息显示物DS2，不执行显示形态的变更处理。即，根据深度值的大小选择在变更条件成立时执行或不执行显示形态的变更处理。
例如，当用户PL使视线方向VL大幅变化而环视VR空间时，深度值Z1小而位于眼前侧的信息显示物DS1会妨碍用户的视野。另一方面，认为深度值Z2大而位于深处侧的信息显示物DS2对用户的视野造成妨碍的程度小。因此，在图21的(B)中，对于深度值Z1小的信息显示物DS1，执行显示形态的变更处理，从而使其消除或变为半透明。另一方面，对于深度值Z2大的信息显示物DS1，不执行显示形态的变更处理，保持通常的显示状态。由此，能够实现有效利用了信息显示物的深度值的信息显示物的显示形态的变更处理。
另外，在本实施方式中，也可以执行与满足变更条件起所经过的时间相应的显示形态的变更处理。
例如，图22的(A)、图22的(B)、图22的(C)示出满足变更条件起所经过的时间为TF1、TF2、TF3时的状态。在此，TF3＞TF2＞TF1，图22的(A)是经过时间TF1短的情况，图22的(C)是经过时间TF3长的情况。
在图22的(A)中，用户PL使视线方向VL朝向上方大幅变化，作为显示形态的变更处理，执行信息显示物DS1的半透明化处理。该情况下的半透明度变为AL1。在图22的(B)中，用户PL使视线方向VL朝向下方大幅变化，执行信息显示物DS2的半透明化处理。该情况下的半透明度变为AL2。在图22的(C)中，用户PL使视线方向VL朝向上方大幅变化，执行信息显示物DS1的半透明化处理。该情况下的半透明度变为AL3。
这样，在图22的(A)～图22的(C)中，用户PL为了环视VR空间而使视线方向VL朝向上方、下方大幅变化。此时，由于视线方向VL的变化大，因此，在满足变更条件的状态下时间流逝。在这样的情况下，在图22的(A)～图22的(C)中，以信息显示物DS1、DS2随着经过时间而逐渐接近于透明的方式设定半透明度AL1、AL2、AL3。例如，与如图22的(A)所示经过时间为TF1时的半透明度AL1相比，如图22的(C)所示经过时间为TF3时的半透明度AL3被设定为更接近于透明的半透明度。
这样，在用户环视VR空间时，在满足变更条件之后，随着时间的经过，信息显示物逐渐接近于透明。而且，当经过充分的时间时，信息显示物几乎透明，信息显示物不会妨碍视野，用户能够环视VR空间。
3.4恢复处理
接着，对显示形态的变更处理的恢复处理进行说明。在本实施方式中，在执行了信息显示物的显示形态的变更处理之后，判定为满足了恢复条件的情况下，执行显示形态的变更处理的恢复处理。
例如，在图23的(A)中，在用户PL的视线方向VL上配置有信息显示物DS。然后，在图23的(B)中，由于用户PL的视线方向VL大幅变化而满足了变更条件，因而执行了信息显示物DS的显示形态的变更处理。具体而言，执行了信息显示物DS的消除处理、半透明化处理。
然后，在图23的(C)中，例如在执行了显示形态的变更处理之后，因为经过给定的时间等而满足恢复条件，因而执行了显示形态的变更处理的恢复处理。具体而言，执行使图23的(B)中被消除的信息显示物DS再次显示的恢复处理。或者，对于图23的(B)中被半透明化的信息显示物DS，执行解除半透明化处理而变为常规显示的恢复处理。
在图24的(A)、图24的(B)中，由于用户PL的视线方向VL大幅变化而满足了变更条件，因此，作为信息显示物DS的显示形态的变更处理，执行了对视线方向VL的追随的解除处理。即，执行了图10的(A)、图10的(B)中说明的显示形态的变更处理。
然后，在图24的(C)中，例如在执行了显示形态的变更处理之后，因为经过给定的时间等而满足了恢复条件，因而执行了显示形态的变更处理的恢复处理。具体而言，执行了使图24的(B)的追随解除处理无效而使信息显示物DS追随视线方向VL的恢复处理。
如果能够执行这样的恢复处理，则能够防止在满足了变更条件而执行了信息显示物的显示形态的变更处理时、信息显示物的显示形态保持变更后的状态不变。于是，能够恢复为显示形态的变更处理前的通常的显示状态。
图25是说明恢复处理的详细处理例的流程图。首先，判断是否满足了给定的变更条件(步骤S11)，在满足的情况下，执行信息显示物的显示形态的变更处理(步骤S12)。即，执行图23的(B)、图24的(B)所示那样的消除处理、半透明化处理或者追随的解除处理等。
接着，判断在执行了显示形态的变更处理之后是否经过了给定的时间、或者在执行了显示形态的变更处理之后是否在给定的时间内未检测到用户的视线方向的变化、或者在执行了显示形态的变更处理之后是否检测到用户注视着对象(步骤S13)。即，判断是否满足恢复条件。于是，在经过了给定的时间时、或者在给定的时间内未检测到视线方向的变化时、或者在检测到用户注视着对象时，判断为满足了恢复条件。然后，执行显示形态的变更处理的恢复处理(步骤S14)。即，执行图23的(C)、图24的(C)所示那样的恢复处理。
例如，在执行了显示形态的变更处理之后经过了给定的时间时，即使恢复为常规显示也没有问题，因而执行显示形态的变更处理的恢复处理。例如，在用户进行了环视VR空间的动作的情况下，也认为在经过了充分时间之后，即便使信息显示物恢复为常规显示，也不会妨碍用户环视VR空间。
另外，在执行了显示形态的变更处理之后，在给定的时间内未检测到用户的视线方向的变化的情况下，认为用户在给定的期间内未移动视线方向而持续看着VR空间的期望的地方。因此，该情况下，认为用户已充分观察期望的地方，因而执行显示形态的变更处理的恢复处理。例如，使被消除的信息显示物再次显示、或者使变为半透明的信息显示物恢复为常规显示。
另外，在执行了显示形态的变更处理之后，检测到用户对于对象的注视的情况下，认为用户注视了VR空间的期望的对象(位于周边方向的对象)。因此，该情况下，认为用户已充分观察期望的对象，因而执行显示形态的变更处理的恢复处理。这样，若判断各种恢复条件来进行恢复处理，则能够对与用户的各种状况对应的适当的恢复条件进行判定来执行恢复处理。
另外，在本实施方式中，也可以在未执行信息显示物的显示形态的变更处理时与执行了信息显示物的显示形态的变更处理时之间，使HMD的显示图像的明亮度不同。例如在常规显示信息显示物和非常规显示时，变更显示图像的明亮度。
例如，图26的(A)示出未执行信息显示物的显示形态的变更处理时的状态。该情况下，不执行信息显示物的消除处理、半透明化处理等，而常规显示信息显示物。此时，将HMD的显示图像IMG例如设定为昏暗。即，将显示图像IMG整体的明亮度设定为昏暗。
另一方面，图26的(B)示出执行了信息显示物的显示形态的变更处理时的状态。在图26的(B)中，用户PL使视线方向VL朝向上方或下方变化，进行了环视VR空间的动作。通过这样改变视线方向VL，满足了变更条件，从而执行信息显示物的消除处理、半透明化处理等显示形态的变更处理。此时，将HMD的显示图像IMG例如设定为明亮。即，将显示图像IMG整体的明亮度(整体的亮度)与图26的(A)相比设定为更亮。
例如，在如图26的(A)所示用户PL使视线方向VL朝向正面方向的情况下，如图4～图6所示显示多个信息显示物，向用户PL传递各种信息是妥当的。因此，在图26的(A)中，不执行信息显示物的显示形态的变更处理，而常规显示信息显示物。
另一方面，在如图26的(B)所示用户PL使视线方向VL上下左右变化而环视VR空间的情况下，确保用户PL的视野是妥当的。因此，在图26的(B)中，执行信息显示物的消除处理、半透明化处理，使信息显示物不会妨碍环视VR空间的用户PL的视野。
此外，在图26的(B)中，进一步将显示图像IMG整体设定为明亮。这样，用户PL能够通过设定为明亮的显示图像IMG环视VR空间，能够生成更妥当的HMD的显示图像。
3.5指令处理
接着，对于图6中说明的本实施方式的指令处理进行详细说明。在以往使用角色等的交流游戏中，所谓的二维游戏为主流，未考虑用户与角色的位置关系、视线关系等关系。因此，在用户行使了例如图6的“打招呼”这一指令CM3的情况下，无论用户与角色的距离近或远，通过该指令CM3激活的效果都相同。因此，用户无法感觉到与角色的距离感等，存在无法提高用户的虚拟现实感这一问题。
因此，在本实施方式中，采用根据用户与角色的位置关系、视线关系、注视状况等改变指令的效果的方法。例如，在本实施方式中，使与作为用户的游戏对象的角色的信息和用户的视点信息相应的指令的效果激活。例如，根据角色的信息和用户的视点信息而改变指令的效果的程度、效果的内容。具体而言，使与角色的位置信息、方向信息、游戏参数信息、部位信息、姿势信息或者种类信息即角色的信息、和用户的视点位置信息、视线方向信息或者虚拟相机属性信息即视点信息相应的指令的效果激活。
图27的(A)～图28的(B)是使与用户PL和角色CH的位置关系信息相应的指令的效果激活的方法的说明图。
例如，在图27的(A)、图27的(B)中，根据用户PL和角色CH的位置关系信息而改变指令的效果的程度。在此，位置关系信息为用户PL与角色CH的距离LC，该距离LC根据作为用户PL的视点信息的视点VP和作为角色CH的信息的位置PC而求出。此外，位置关系信息也可以是表示用户PL的方向与角色CH的方向的关系的信息。
于是，在图27的(A)、图27的(B)中，用户选择并行使了“更加集中注意力”这一指令CM1，但在图27的(A)中，用户PL与角色CH的距离LC远。另一方面，在图27的(B)中，距离LC近。
该情况下，在本实施方式中，如图27的(A)、图27的(B)所示，即使用户行使了同一指令CM1，也根据距离LC而改变通过指令CM1激活的效果的程度。例如，在图27的(A)中，由于距离LC远，因而指令CM1的效果的程度相应地变低，在图27的(B)中，由于距离LC近，因而指令CM1的效果的程度相应地变高。
具体而言，在行使了“更加集中注意力”这一指令CM1的情况下，在图27的(A)中，由于距离LC远，因此，如A1所示，角色CH的注意力集中的游戏参数的提高程度小。相对于此，在图27的(B)中，由于距离LC近，因此，如A2所示，角色CH的注意力集中的游戏参数的提高程度变大。
这样，用户在行使“更加集中注意力”这一指令CM1时，通过走到角色CH的附近，并行使该指令CM1，从而能够进一步提高角色CH的注意力集中。因此，能够给予用户走到角色CH的附近并说出“更加集中注意力”这句话这样的感觉，能够提高用户的虚拟现实感。
图28的(A)、图28的(B)根据用户PL与角色CH的位置关系信息而改变指令的效果的内容。即，在图27的(A)、图27的(B)中改变了效果的程度，但在图28的(A)、图28的(B)中改变效果的内容。
例如，在图28的(A)中，用户在与角色CH的距离LC远的状态下行使了“打招呼”这一指令CM3。该情况下，作为用户的“打招呼”的话语，输出例如“喂！”这样的语音、或者在游戏画面上显示“喂！”的字幕(对话框)。
另一方面，在图28的(B)中，用户在与角色CH的距离LC近的状态下行使了“打招呼”这一指令CM3。该情况下，作为用户的“打招呼”的话语，输出例如“没问题吧？”、“在努力吗？”这样的话语的语音、或者在游戏画面上显示这些话语的字幕。
即，在图28的(A)中，“打招呼”这一指令CM3的效果的内容为“喂！”这一话语的语音输出(字幕显示)这样的内容。相对于此，在图28的(B)中，通过使距离LC靠近，变化为“没问题吧？”、“在努力吗？”这一话语的语音输出这样的内容。
这样，即使是相同的“打招呼”这一指令CM3，该指令的效果的内容也根据用户PL与角色CH的位置关系而变化。因此，能够实现用户的虚拟现实感、游戏表现的多样性的提高等。
图29的(A)、图29的(B)是使与用户PL和角色CH的视线关系信息相应的指令的效果激活的方法的说明图。
例如，在图29的(A)、图29的(B)中，根据用户PL与角色CH的视线关系信息而改变指令的效果的程度、效果的内容。在图29的(A)、图29的(B)中，视线关系信息是表示用户PL的视线方向VL与角色CH的位置PC、视线方向VLC的关系的信息。
于是，在图29的(A)、图29的(B)中，用户选择并行使了“提供建议”这一指令CM5，但在图29的(A)中，用户PL的视线方向VL未朝向角色CH的位置PC的方向。相对于此，在图29的(B)中，用户PL的视线方向VL朝向角色CH的位置PC的方向。另外，在图29的(A)中，用户PL的视线方向VL与角色CH的视线方向VLC不一致。相对于此，在图29的(B)中，视线方向VL与VLC一致。
该情况下，在本实施方式中，如图29的(A)、图29的(B)所示，即使用户行使了同一指令CM5，也根据视线关系信息而改变通过指令CM2激活的效果的程度、效果的内容。
例如，在图29的(A)的视线关系的情况下，作为通过“提供建议”这一指令CM5激活的效果的内容，进行“普通的建议”。例如，以普通的语调提供普通内容的建议。于是，作为指令CM5的“普通的建议”的效果，作为角色CH的游戏参数的动力提高，但在图29的(A)中，如B1所示，其提高程度小。
另一方面，在图29的(B)的视线关系的情况下，作为“提供建议”这一指令CM5的效果的内容，进行“恳切的建议”。例如，以恳切的语调提供充满干劲这样的内容的建议。于是，作为指令CM5的“恳切的建议”的效果，角色CH的动力提高，而且在图29的(B)中，如B2所示，其提高程度大。
这样，如图29的(A)所示，与用户不看角色CH而看向别处行使了“提供建议”的指令CM5时相比，如图29的(B)所示，用户认真看着角色CH行使了指令CM5时，建议的内容更好，而且作为建议的效果的动力的提高程度也变大。因此，用户可以感觉到好像朝向眼前的异性说出建议的话语一样的感觉，从而可以大幅提高用户的虚拟现实感。
图30是使与用户的注视信息相应的指令的效果激活的方法的说明图。例如，在图30中，使与用户正在注视的角色CH的部位的信息即注视部位信息相应的指令的效果激活。
具体而言，在图30中，行使了“触碰”这一指令CM4。在此，如图30的C1所示，假设用户一边注视作为角色CH的部位的肩膀，一边行使了“触碰”这一指令CM4。该情况下，显示表现用户触碰角色CH的肩膀的场景的图像(影像)。例如，显示用户的手(对象)出现在画面上，而且该手触碰角色CH的肩膀这样的图像。另一方面，如图30的C2所示，假设用户一边注视作为角色CH的部位的头部(前额)，一边行使了“触碰”这一指令CM4。该情况下，显示表现用户触碰角色CH的头部的场景的图像。例如，显示用户的手出现在画面上，而且该手触碰角色CH的头部这样的图像。
这样，即使在行使了相同的“触碰”这一指令CM4的情况下，也根据用户注视的角色CH的部位而进行不同内容的动作的“触碰”。并且，由于是对用户注视的部分进行用户的动作，因此，用户能够感觉到真实触碰角色CH一样的感觉，从而能够提高用户的虚拟现实感。
根据以上那样的本实施方式的指令处理的方法，能够进一步提高用户的虚拟现实感。另一方面，在本实施方式那样的指令处理的方法中，如图6、图30所示，配置并显示多个信息显示物。因此，在用户环视VR空间等情况下，若常规显示该多个信息显示物，则会妨碍用户的视野。关于这一点，在本实施方式中，当因为视线方向的变化而满足变更条件时，执行变更信息显示物的显示形态的处理，因而能够在HMD中显示更加适当的显示图像。
3.6处理例
接着，使用图31的流程图对本实施方式的处理例进行说明。首先，获取用户的视点信息的跟踪信息(步骤S21)。例如，获取通过在图2的(A)～图3的(B)等中说明的跟踪处理而得到的跟踪信息。然后，根据所获取的跟踪信息，以追随用户的视点变化的方式控制虚拟相机(步骤S22)。例如，以在现实世界中用户使视线方向朝向上下左右方向时，与此对应地使虚拟空间中的虚拟相机的视线方向也朝向上下左右方向的方式控制虚拟相机。另外，以在现实世界中用户的视点位置在上下左右方向移动时，与此对应地使虚拟空间中的虚拟相机的视点位置也在上下左右方向移动的方式控制虚拟相机。
接着，判定是否因为用户的视线方向的变化而满足给定的变更条件(步骤S23)。例如，通过图15的(A)、图15的(B)、图17的(A)、图17的(B)中说明的方法，判定是否满足了变更条件。然后，当满足了变更条件时，执行信息显示物的显示形态的变更处理(步骤S24)。例如，执行在图9的(A)～图12的(B)等中说明的显示形态的变更处理。然后，生成在虚拟空间中能够从虚拟相机看到的图像，并显示在HMD上(步骤S25)。例如，作为能够从虚拟相机看到的图像，生成立体的左眼用、右眼用的图像并显示于HMD中。
此外，如上所述，对本实施方式详细进行了说明，但是，本领域技术人员可以容易地理解，能够实施实质上不脱离本发明的新事项和效果的多种变形。因此，这样的变形例全部包含在本发明的范围内。例如，在说明书或者附图中，至少一次与更为广义或者同义的不同术语(视点变化、移动体、装备等)同时记载的术语(视线方向的变化、角色、书等)，在说明书或者附图的任意位置均可替换为该不同术语。另外，虚拟空间的设定处理、虚拟相机的控制处理、信息显示物的配置处理、显示形态的变更处理、变更条件的判定处理、恢复条件的判定处理等也不限定于本实施方式中说明的处理，与其等效的方法、处理、构成也包含在本发明的范围内。另外，本发明能够适用于各种游戏。另外，本发明能够适用于工作用游戏装置、家庭用游戏装置、或者多个用户参加的大型游乐设施系统等的各种模拟系统。
附图标记说明
DSA、DSB、DSC、DSD1、DSD2、DSE1～DSE3信息显示物、
DS、DS1～DS5信息显示物、RG、RG1～RG3判定范围、
CH角色(移动体)、BK书(装备)、
CT窗帘(固定物)、WL墙壁(背景)、PL用户、VP视点、
VL视线方向、IMG显示图像、
100处理部、102输入处理部、110运算处理部、
112游戏处理部、114移动体处理部、115判定部、
116虚拟空间设定部、118虚拟相机控制部、120显示处理部、
130声音处理部、140输出处理部、150拍摄部、
151、152第一、第二相机、
160操作部、166、167游戏控制器、
170存储部、172对象信息存储部、178描绘缓冲器、
180信息存储介质、192声音输出部、194I/F部、
195便携式信息存储介质、196通信部、
200HMD(头部佩戴式显示装置)、201～209受光元件、
210传感器部、220显示部、231～238发光元件、
240处理部、260头带、270耳机、
280、284基站

Claims (15)

1.一种模拟系统，其特征在于，包括：
虚拟空间设定部，执行被配置多个对象的虚拟空间的设定处理；
虚拟相机控制部，执行与佩戴头部佩戴式显示装置的用户的视点对应的虚拟相机的控制处理；
显示处理部，生成在所述虚拟空间中能够从所述虚拟相机看到的图像作为所述头部佩戴式显示装置的显示图像；以及
判定部，根据所述用户的视点变化信息判定是否满足给定的变更条件，
所述虚拟空间设定部将被控制为追随所述用户的视点变化的信息显示物配置于所述虚拟空间中，
所述判定部在所述用户的视线方向或视点位置的变化速度达到给定的速度以上时或者所述用户的所述视线方向或所述视点位置的变化加速度达到给定的加速度以上时，判定为满足所述给定的变更条件，
在判断为满足所述给定的变更条件时，所述显示处理部执行所述信息显示物的消除处理、所述信息显示物的半透明化处理或者所述信息显示物对所述用户的视点变化的追随的解除处理，来作为所述信息显示物的显示形态的变更处理，
在执行了所述信息显示物的所述显示形态的变更处理之后，通过所述判定部判定为满足给定的恢复条件时，所述显示处理部执行所述信息显示物的所述显示形态的变更处理的恢复处理。
2.根据权利要求1所述的模拟系统，其特征在于，
所述视线方向或所述视点位置的所述变化速度或所述变化加速度越大，所述显示处理部使至所述信息显示物被消除为止的时间越短、使所述半透明化处理的半透明度的变化速度越快或者使至所述信息显示物的所述追随被解除为止的时间越短。
3.根据权利要求1所述的模拟系统，其特征在于，
在执行了所述显示形态的变更处理之后经过了给定的时间时、在执行了所述显示形态的变更处理之后在给定的时间期间未检测到所述用户的视线方向的变化时或者在执行了所述显示形态的变更处理之后检测到所述用户注视给定的对象时，所述判定部判定为满足所述给定的恢复条件。
4.根据权利要求1至3中任一项所述的模拟系统，其特征在于，
所述显示处理部执行与所述信息显示物的种类、优先级或重要度相应的所述显示形态的变更处理。
5.根据权利要求4所述的模拟系统，其特征在于，
当所述信息显示物为用于选择指令的信息显示物时，所述显示处理部不执行所述信息显示物的显示形态的变更处理，
当所述信息显示物为用于显示说明的信息显示物时，所述显示处理部执行所述信息显示物的显示形态的变更处理。
6.根据权利要求1至3中任一项所述的模拟系统，其特征在于，
所述显示处理部执行与从显示所述信息显示物起所经过的时间相应的所述显示形态的变更处理。
7.根据权利要求6所述的模拟系统，其中，
与从显示起所经过的时间短的信息显示物相比，所述显示处理部优先对从显示起所经过的时间长的信息显示物执行所述显示形态的变更处理。
8.根据权利要求1至3中任一项所述的模拟系统，其特征在于，
在多个所述信息显示物配置于所述虚拟空间中的情况下，所述显示处理部使所述给定的变更条件的内容或者所述显示形态的变更处理的内容在第一信息显示物与第二信息显示物间不同。
9.根据权利要求8所述的模拟系统，其特征在于，
所述显示处理部使基于所述视线方向或所述视点位置的所述变化速度或所述变化加速度的所述变更条件的判定时的阈值在所述第一信息显示物与所述第二信息显示物间不同。
10.根据权利要求1至3中任一项所述的模拟系统，其特征在于，
所述显示处理部执行与所述信息显示物的深度值相应的所述显示形态的变更处理。
11.根据权利要求10所述的模拟系统，其特征在于，
在所述虚拟空间中配置有所述深度值为第一深度值的第一信息显示物和所述深度值为第二深度值的第二信息显示物的情况下，所述显示处理部对于所述第一信息显示物执行所述显示形态的变更处理，而对于所述第二信息显示物不执行所述显示形态的变更处理，所述第一信息显示物是从所述视点来看位于眼前侧的信息显示物，所述第二信息显示物是从所述视点来看位于深处侧的信息显示物。
12.根据权利要求1至3中任一项所述的模拟系统，其特征在于，
所述显示处理部执行与从满足所述给定的变更条件起所经过的时间相应的所述显示形态的变更处理。
13.根据权利要求1至3中任一项所述的模拟系统，其特征在于，
所述显示处理部在未执行所述信息显示物的所述显示形态的变更处理时与执行了所述信息显示物的所述显示形态的变更处理时之间，使所述头部佩戴式显示装置的所述显示图像的明亮度不同。
14.一种处理方法，其特征在于，在所述处理方法中执行以下处理：
虚拟空间设定处理，设定被配置多个对象的虚拟空间；
虚拟相机控制处理，控制与佩戴头部佩戴式显示装置的用户的视点对应的虚拟相机；
显示处理，生成在所述虚拟空间中能够从所述虚拟相机看到的图像作为所述头部佩戴式显示装置的显示图像；以及
判定处理，根据所述用户的视点变化信息判定是否满足给定的变更条件，
在所述虚拟空间设定处理中，将被控制为追随所述用户的视点变化的信息显示物配置于所述虚拟空间中，
在所述判定处理中，在所述用户的视线方向或视点位置的变化速度达到给定的速度以上时或者所述用户的所述视线方向或所述视点位置的变化加速度达到给定的加速度以上时，判定为满足所述给定的变更条件，
在所述显示处理中，在判断为满足所述给定的变更条件时，执行所述信息显示物的消除处理、所述信息显示物的半透明化处理或者所述信息显示物对所述用户的视点变化的追随的解除处理，来作为所述信息显示物的显示形态的变更处理，
在所述显示处理中，在执行了所述信息显示物的所述显示形态的变更处理之后，通过所述判定处理判定为满足给定的恢复条件时，执行所述信息显示物的所述显示形态的变更处理的恢复处理。
15.一种计算机能够读取的信息存储介质，其特征在于，
存储有使计算机作为虚拟空间设定部、虚拟相机控制部、显示处理部以及判定部发挥作用的程序，
所述虚拟空间设定部执行被配置多个对象的虚拟空间的设定处理，
所述虚拟相机控制部执行与佩戴头部佩戴式显示装置的用户的视点对应的虚拟相机的控制处理，
所述显示处理部生成在所述虚拟空间中能够从所述虚拟相机看到的图像作为所述头部佩戴式显示装置的显示图像，
所述判定部根据所述用户的视点变化信息判定是否满足给定的变更条件，
所述虚拟空间设定部将被控制为追随所述用户的视点变化的信息显示物配置于所述虚拟空间中，
所述判定部在所述用户的视线方向或视点位置的变化速度达到给定的速度以上时或者所述用户的所述视线方向或所述视点位置的变化加速度达到给定的加速度以上时，判定为满足所述给定的变更条件，
在判断为满足所述给定的变更条件时，所述显示处理部执行所述信息显示物的消除处理、所述信息显示物的半透明化处理或者所述信息显示物对所述用户的视点变化的追随的解除处理，来作为所述信息显示物的显示形态的变更处理，
在执行了所述信息显示物的所述显示形态的变更处理之后，通过所述判定部判定为满足给定的恢复条件时，所述显示处理部执行所述信息显示物的所述显示形态的变更处理的恢复处理。
CN201780056405.9A 2016-09-14 2017-09-12 模拟系统、处理方法以及信息存储介质 Active CN109690633B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-179890 2016-09-14
JP2016179890A JP6373920B2 (ja) 2016-09-14 2016-09-14 シミュレーションシステム及びプログラム
PCT/JP2017/032827 WO2018051970A1 (ja) 2016-09-14 2017-09-12 シミュレーションシステム、処理方法及び情報記憶媒体

Publications (2)

Publication Number Publication Date
CN109690633A CN109690633A (zh) 2019-04-26
CN109690633B true CN109690633B (zh) 2023-02-28

Family

ID=61619183

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780056405.9A Active CN109690633B (zh) 2016-09-14 2017-09-12 模拟系统、处理方法以及信息存储介质

Country Status (4)

Country Link
US (1) US11094106B2 (zh)
JP (1) JP6373920B2 (zh)
CN (1) CN109690633B (zh)
WO (1) WO2018051970A1 (zh)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018116537A (ja) * 2017-01-19 2018-07-26 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US10438393B2 (en) * 2017-03-16 2019-10-08 Linden Research, Inc. Virtual reality presentation of body postures of avatars
US20180268614A1 (en) * 2017-03-16 2018-09-20 General Electric Company Systems and methods for aligning pmi object on a model
EP4235263A3 (en) 2017-09-29 2023-11-29 Apple Inc. Gaze-based user interactions
JP7197268B2 (ja) * 2017-12-25 2022-12-27 グリー株式会社 ゲーム装置、制御方法及び制御プログラム
JP7123554B2 (ja) * 2017-12-25 2022-08-23 グリー株式会社 ゲーム装置、制御方法及び制御プログラム
US11188287B2 (en) * 2017-12-27 2021-11-30 Sony Corporation Display control apparatus, display control method, and computer program
EP3907685A1 (en) * 2018-01-21 2021-11-10 Anzu Virtual Reality Ltd An object viewability determination system and method
US11845002B2 (en) * 2018-02-02 2023-12-19 Lü Aire De Jeu Interactive Inc. Interactive game system and method of operation for same
JP6582205B2 (ja) * 2018-02-28 2019-10-02 株式会社コナミデジタルエンタテインメント 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、情報処理システム
JP6623481B2 (ja) * 2018-03-23 2019-12-25 株式会社コナミデジタルエンタテインメント 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、情報処理システム
US11695908B2 (en) * 2018-03-30 2023-07-04 Sony Corporation Information processing apparatus and information processing method
CN112041788B (zh) 2018-05-09 2024-05-03 苹果公司 使用眼睛注视来选择文本输入字段
JP7152873B2 (ja) * 2018-05-10 2022-10-13 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP7115061B2 (ja) * 2018-06-26 2022-08-09 コニカミノルタ株式会社 表記変換装置、変換表示装置、変換表示システム、制御方法及び記録媒体
US11402646B2 (en) 2018-11-12 2022-08-02 Sony Group Corporation Display apparatus, display control method, and program
JP7307568B2 (ja) 2019-03-20 2023-07-12 任天堂株式会社 画像表示システム、画像表示プログラム、表示制御装置、および画像表示方法
US20220152475A1 (en) * 2019-03-29 2022-05-19 Sony Interactive Entertainment Inc. Boundary display control device, boundary display control method, and program
KR102149732B1 (ko) * 2019-04-17 2020-08-31 라쿠텐 인코포레이티드 표시 제어 장치, 표시 제어 방법, 프로그램, 및 비일시적인 컴퓨터 판독 가능한 정보 기록 매체
CN110413108B (zh) * 2019-06-28 2023-09-01 广东虚拟现实科技有限公司 虚拟画面的处理方法、装置、系统、电子设备及存储介质
JP6655751B1 (ja) * 2019-07-25 2020-02-26 エヌ・ティ・ティ・コミュニケーションズ株式会社 映像表示制御装置、方法およびプログラム
CN110393916B (zh) 2019-07-26 2023-03-14 腾讯科技（深圳）有限公司 视角转动的方法、装置、设备及存储介质
JP6688423B1 (ja) * 2019-08-20 2020-04-28 任天堂株式会社 情報処理システム、情報処理プログラム、情報処理装置、および情報処理方法
KR102533465B1 (ko) * 2019-12-24 2023-05-19 주식회사 브이알애드 시각에 따른 가상현실내의 도구패널 위치 지정방법
CN111626264B (zh) * 2020-06-06 2020-12-08 金宝兴电子(深圳)有限公司 一种实景反馈式模拟驾驶方法、装置及服务器
KR20220008118A (ko) 2020-07-13 2022-01-20 삼성전자주식회사 가상 객체들의 밝기를 다르게 표시하는 방법 및 장치
WO2022046340A1 (en) * 2020-08-31 2022-03-03 Sterling Labs Llc Object engagement based on finger manipulation data and untethered inputs
CN112704876B (zh) * 2020-12-30 2022-10-04 腾讯科技（深圳）有限公司 虚拟对象互动模式的选择方法、装置、设备及存储介质
WO2023069363A1 (en) * 2021-10-19 2023-04-27 Within Unlimited, Inc. Virtual and augmented reality fitness training activity or games, systems, methods, and devices
US20230135974A1 (en) * 2021-11-04 2023-05-04 Microsoft Technology Licensing, Llc Multi-factor intention determination for augmented reality (ar) environment control

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1977290A (zh) * 2004-04-29 2007-06-06 科乐美数码娱乐株式会社 显示装置、显示方法、信息记录介质和程序
JP2011215886A (ja) * 2010-03-31 2011-10-27 Namco Bandai Games Inc プログラム、情報記憶媒体、及び、画像生成装置
CN104076513A (zh) * 2013-03-26 2014-10-01 精工爱普生株式会社 头戴式显示装置、头戴式显示装置的控制方法、以及显示系统
JP2015231445A (ja) * 2014-06-09 2015-12-24 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置
CN105607255A (zh) * 2014-11-17 2016-05-25 精工爱普生株式会社 头部佩戴型显示装置、控制其的方法及计算机程序

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07261112A (ja) 1994-03-22 1995-10-13 Hitachi Ltd 頭部搭載型ディスプレイ装置
US6987512B2 (en) 2001-03-29 2006-01-17 Microsoft Corporation 3D navigation techniques
JP4151982B2 (ja) 2006-03-10 2008-09-17 任天堂株式会社 動き判別装置および動き判別プログラム
JP2008136694A (ja) 2006-12-01 2008-06-19 Namco Bandai Games Inc プログラム、情報記憶媒体及びゲーム装置
JP5176112B2 (ja) * 2008-07-03 2013-04-03 財団法人ヒューマンサイエンス振興財団 制御システム及び制御方法
US8619005B2 (en) * 2010-09-09 2013-12-31 Eastman Kodak Company Switchable head-mounted display transition
US9345957B2 (en) 2011-09-30 2016-05-24 Microsoft Technology Licensing, Llc Enhancing a sport using an augmented reality display
US9454849B2 (en) * 2011-11-03 2016-09-27 Microsoft Technology Licensing, Llc Augmented reality playspaces with adaptive game rules
JP5365684B2 (ja) 2011-12-27 2013-12-11 株式会社ニコン 制御装置、及びヘッドマウントディスプレイ装置
US9219901B2 (en) * 2012-06-19 2015-12-22 Qualcomm Incorporated Reactive user interface for head-mounted display
US9310611B2 (en) * 2012-09-18 2016-04-12 Qualcomm Incorporated Methods and systems for making the use of head-mounted displays less obvious to non-users
JP6007712B2 (ja) * 2012-09-28 2016-10-12 ブラザー工業株式会社 ヘッドマウントディスプレイ、それを作動させる方法およびプログラム
US9908048B2 (en) 2013-06-08 2018-03-06 Sony Interactive Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display
CN106233227B (zh) 2014-03-14 2020-04-28 索尼互动娱乐股份有限公司 具有体积感测的游戏装置
US20170038838A1 (en) * 2014-05-09 2017-02-09 Sony Corporation Information processing system and information processing method
US9990774B2 (en) 2014-08-08 2018-06-05 Sony Interactive Entertainment Inc. Sensory stimulus management in head mounted display
US10156721B2 (en) * 2015-03-09 2018-12-18 Microsoft Technology Licensing, Llc User-based context sensitive hologram reaction

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1977290A (zh) * 2004-04-29 2007-06-06 科乐美数码娱乐株式会社 显示装置、显示方法、信息记录介质和程序
JP2011215886A (ja) * 2010-03-31 2011-10-27 Namco Bandai Games Inc プログラム、情報記憶媒体、及び、画像生成装置
CN104076513A (zh) * 2013-03-26 2014-10-01 精工爱普生株式会社 头戴式显示装置、头戴式显示装置的控制方法、以及显示系统
JP2015231445A (ja) * 2014-06-09 2015-12-24 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置
CN105607255A (zh) * 2014-11-17 2016-05-25 精工爱普生株式会社 头部佩戴型显示装置、控制其的方法及计算机程序

Also Published As

Publication number Publication date
CN109690633A (zh) 2019-04-26
US20190244416A1 (en) 2019-08-08
JP6373920B2 (ja) 2018-08-15
WO2018051970A1 (ja) 2018-03-22
JP2018045459A (ja) 2018-03-22
US11094106B2 (en) 2021-08-17

Similar Documents

Publication Publication Date Title
CN109690633B (zh) 模拟系统、处理方法以及信息存储介质
CN109716397B (zh) 模拟系统、处理方法以及信息存储介质
CN106023289B (zh) 图像生成系统及图像生成方法
JP6401841B1 (ja) 情報処理方法、コンピュータ、及びプログラム
CN109643161A (zh) 动态进入和离开由不同hmd用户浏览的虚拟现实环境
US11738270B2 (en) Simulation system, processing method, and information storage medium
WO2018124280A1 (ja) シミュレーションシステム、画像処理方法及び情報記憶媒体
US10515481B2 (en) Method for assisting movement in virtual space and system executing the method
JP6509938B2 (ja) 情報処理方法、コンピュータ、及びプログラム
JP7144796B2 (ja) シミュレーションシステム及びプログラム
JP2019175323A (ja) シミュレーションシステム及びプログラム
JP2019152899A (ja) シミュレーションシステム及びプログラム
JP6794390B2 (ja) シミュレーションシステム及びプログラム
US20190114841A1 (en) Method, program and apparatus for providing virtual experience
JP7030669B2 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP7104539B2 (ja) シミュレーションシステム及びプログラム
JP6419268B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP2022020686A (ja) 情報処理方法、プログラム、およびコンピュータ
JP2018171309A (ja) シミュレーションシステム及びプログラム
JP6392953B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP7111848B2 (ja) プログラム、情報処理装置、および方法
JP2019166325A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP2019033894A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant