CN109716397B - 模拟系统、处理方法以及信息存储介质 - Google Patents

模拟系统、处理方法以及信息存储介质 Download PDF

Info

Publication number
CN109716397B
CN109716397B CN201780056299.4A CN201780056299A CN109716397B CN 109716397 B CN109716397 B CN 109716397B CN 201780056299 A CN201780056299 A CN 201780056299A CN 109716397 B CN109716397 B CN 109716397B
Authority
CN
China
Prior art keywords
information
display
user
information display
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780056299.4A
Other languages
English (en)
Other versions
CN109716397A (zh
Inventor
玉置绚
山本治由
青木隆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bandai Namco Entertainment Inc
Original Assignee
Bandai Namco Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bandai Namco Entertainment Inc filed Critical Bandai Namco Entertainment Inc
Publication of CN109716397A publication Critical patent/CN109716397A/zh
Application granted granted Critical
Publication of CN109716397B publication Critical patent/CN109716397B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/26—Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/533—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game for prompting the player, e.g. by displaying a game menu
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A63F13/57—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game
    • A63F13/577—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game using determination of contact between game characters or objects, e.g. to avoid collision between virtual racing cars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种模拟系统，包括：虚拟空间设定部，执行被配置多个对象的虚拟空间的设定处理；虚拟相机控制部，执行与佩戴头部佩戴式显示装置的用户的视点对应的虚拟相机的控制处理；以及显示处理部，生成在虚拟空间中能够从虚拟相机看到的图像作为头部佩戴式显示装置的显示图像。虚拟空间设定部将被控制为追随用户的视点变化的至少一个信息显示物配置在虚拟空间中。在信息显示物与虚拟空间的对象成为给定的位置关系时，显示处理部执行信息显示物或对象的显示形态的变更处理。

Description

模拟系统、处理方法以及信息存储介质
技术领域
本发明涉及模拟系统、处理方法以及信息存储介质等。
背景技术
现有技术下，已知有用户将HMD(头部佩戴式显示装置)佩戴于头部，用户通过观看HMD的画面中所显示的图像，从而能够体验所谓的虚拟现实(VR)的世界的系统。作为这样的使用HMD的系统的现有技术，例如有专利文献1、2所公开的技术。
专利文献1中公开了如下方法，即：在用户的头部的变动状态成为规定的变动状态的情况下，打开HMD的液晶快门，将为用户显示的视觉信息切换为周围的环境视觉信息。专利文献2中公开了如下方法，即：通过运动检测部确定用户的头部动作，并执行与其角速度对应的用户所期望的处理，进而不将用户的头部的返回动作反映至处理中，从而正确地执行基于用户的头部动作的操作。
现有技术文献
专利文献
专利文献1：特开平7-261112号公报
专利文献2：特开2012-123812号公报
发明内容
发明要解决的技术问题
在使用HMD的系统中，将在虚拟空间中能够从虚拟相机看到的图像显示在HMD上。通过将这样的图像显示在HMD上，广阔的VR空间在用户的视野的整个周围扩展，因而能够显著提高用户的虚拟现实感。
另一方面，在使用HMD的系统中，优选对用户显示说明信息和状态信息等各种信息。
然而，若不当地将这样的信息显示给用户，则会导致各种问题。例如，在使用HMD的系统中，用户的视线方向会发生各种变化，VR空间中存在多个对象。因此，若对用户的信息显示不当，则会导致画面难以看清、或者损害用户的虚拟现实感等的问题。
根据本发明的几个方面，能够提供在使用头部佩戴式显示装置的系统中能够实现信息显示物的恰当的显示处理的模拟系统、处理方法以及信息存储介质等。
用于解决技术问题的方案
本发明的一方面涉及的模拟系统包括：虚拟空间设定部，执行被配置多个对象的虚拟空间的设定处理；虚拟相机控制部，执行与佩戴头部佩戴式显示装置的用户的视点对应的虚拟相机的控制处理；以及显示处理部，生成在所述虚拟空间中能够从所述虚拟相机看到的图像作为所述头部佩戴式显示装置的显示图像，所述虚拟空间设定部将被控制为追随所述用户的视点变化的至少一个信息显示物配置于所述虚拟空间中，在所述信息显示物与所述虚拟空间的对象成为给定的位置关系时，所述显示处理部执行所述信息显示物或所述对象的显示形态的变更处理。另外，本发明涉及使计算机作为上述各部发挥作用的程序、或者存储有该程序的计算机能够读取的信息存储介质。
根据本发明的一方面，执行被配置多个对象的虚拟空间的设定处理，并生成能够从与用户的视点对应的虚拟相机看到的图像作为头部佩戴式显示装置的显示图像。而且，在虚拟空间中配置被控制为追随用户的视点变化(视线方向及视点位置中至少一方的变化)的信息显示物，在信息显示物与虚拟空间的对象成为给定的位置关系时，执行变更信息显示物或对象的显示形态的处理。这样，即使在被控制为追随用户的视点变化的信息显示物与对象成为给定的位置关系时，也可以通过变更信息显示物或对象的显示形态来防止在头部佩戴式显示装置中显示不当的图像。因此，能够提供可在使用了头部佩戴式显示装置的系统中实现信息显示物的恰当的显示处理的模拟系统等。
另外，在本发明的一方面中，也可以是，所述显示处理部执行与所述信息显示物的种类、优先级或重要度相应的所述显示形态的变更处理。
这样，能够实现与信息显示物的种类、优先级或重要度相应的适当的显示形态的变更处理。
另外，在本发明的一方面中，也可以是，在所述信息显示物为第一种类的情况下，所述显示处理部变更所述对象的显示形态，在所述信息显示物为第二种类的情况下，所述显示处理部变更所述信息显示物的显示形态。
这样，通过根据信息显示物的种类变更信息显示物和对象中一方的显示形态，从而能够实现信息显示物的适当的显示处理。
另外，在本发明的一方面中，也可以是，所述显示处理部使用与所述信息显示物建立关联的所述优先级或所述重要度执行所述显示形态的变更处理。
这样，预先使信息显示物与优先级或重要度建立关联，从而能够使用该优先级或重要度来执行适当的显示形态的变更处理。
另外，在本发明的一方面中，也可以是，所述显示处理部执行与从所述信息显示物被显示起所经过的时间相应的所述显示形态的变更处理。
这样，能够实现反映了从信息显示物被显示起所经过的时间的显示形态的变更处理。
另外，在本发明的一方面中，也可以是，所述显示处理部执行所述信息显示物或所述对象的消除处理、所述信息显示物或所述对象的半透明化处理、所述信息显示物对所述用户的视线方向的追随的解除处理、所述信息显示物或所述对象的移动处理、所述信息显示物或所述对象的尺寸变更处理或者所述信息显示物或所述对象的颜色信息变更处理，来作为所述显示形态的变更处理。
这样，即使在信息显示物与对象成为给定的位置关系的情况下，也可以通过执行信息显示物或对象的消除处理或半透明化处理、或者执行信息显示物的追随的解除处理、或者执行信息显示物或对象的移动处理、尺寸变更处理、或者执行信息显示物或对象的颜色信息变更处理来实现信息显示物的恰当的显示处理。
另外，在本发明的一方面中，也可以是，所述信息显示物是用于显示说明的显示物、用于显示状态的显示物、用于显示对话的显示物、用于选择指令的显示物或者用于显示菜单的显示物。
这样，可以使用信息显示物实现说明显示、状态显示、对话显示、指令选择或者菜单显示等。
另外，在本发明的一方面中，也可以是，所述对象是游戏中出现的移动体、固定物、装备或背景的对象。
这样，即使在游戏中出现的移动体、固定物、装备或背景等对象与信息显示物成为给定的位置关系的情况下，也能够实现信息显示物的适当的显示处理。
另外，在本发明的一方面中，也可以是，包括判定所述信息显示物与所述对象的位置关系的判定部(使计算机作为判定部发挥作用)，在通过所述判定部判定为所述信息显示物与所述对象成为所述给定的位置关系时，所述显示处理部执行所述显示形态的变更处理。
这样，可以通过判定部判定信息显示物与对象的位置关系，并根据该判定结果执行信息显示物或对象的显示形态的变更处理。
另外，在本发明的一方面中，也可以是，在通过所述判定部判定为所述信息显示物与所述对象成为冲突的位置关系或接近的位置关系时，所述显示处理部执行所述显示形态的变更处理。
这样，即使在信息显示物与对象成为冲突或接近的位置关系而显示图像中发生不良情况这样的情况下，也可以通过执行信息显示物或对象的显示形态的变更处理来防止这样的不良情况。
另外，在本发明的一方面中，也可以是，所述判定部根据所述信息显示物和所述对象的三维坐标值、所述信息显示物和所述对象的深度值或者将所述信息显示物和所述对象投影至平面时的二维坐标值来判定所述位置关系。
这样，可以利用信息显示物和对象的三维坐标值、深度值、或者将信息显示物和对象投影至平面时的二维坐标值来判定信息显示物与对象的位置关系，从而执行显示形态的变更处理。
另外，在本发明的一方面中，也可以是，所述虚拟空间设定部以追随用户的视点变化的方式将所述信息显示物配置在所述用户的视线方向上的给定的深度位置处。
这样，即使在用户的视线方向或视点位置发生了变化的情况下，也可以追随该变化地将信息显示物配置并显示在用户的视线方向上的给定的深度位置处。因此，能够防止损害用户的虚拟现实感、或者难以看到显示图像等事态。
另外，在本发明的一方面中，也可以是，所述虚拟相机控制部根据所述用户的视点信息的跟踪信息控制所述虚拟相机，使得追随所述用户的视点变化。
这样，可以追随例如现实世界中的用户的视点变化而使虚拟空间中的虚拟相机的视线方向、视点位置变化，从而能够将可从该虚拟相机看到的图像显示在头部佩戴式显示装置中。
另外，在本发明的一方面中，也可以是，包括执行游戏处理的游戏处理部(使计算机作为游戏处理部发挥作用)，所述游戏处理部执行使作为所述用户的游戏对象的角色的信息和所述用户的视点信息的相应的指令的效果激活的处理。
这样，能够实现反映了角色与用户的关系的指令的效果的激活处理，能够实现目前尚无的类型的游戏，等等。
另外，本发明的另一方面涉及的处理方法中执行以下处理：虚拟空间设定处理，设定被配置多个对象的虚拟空间；虚拟相机控制处理，控制与佩戴头部佩戴式显示装置的用户的视点对应的虚拟相机；以及显示处理，生成在所述虚拟空间中能够从所述虚拟相机看到的图像作为所述头部佩戴式显示装置的显示图像，在所述虚拟空间设定处理中，将被控制为追随所述用户的视点变化的至少一个信息显示物配置在所述虚拟空间中，在所述显示处理中，在所述信息显示物与所述虚拟空间的对象成为给定的位置关系时，执行所述信息显示物或所述对象的显示形态的变更处理。
附图说明
图1是表示本实施方式的模拟系统的构成例的框图。
图2的(A)、图2的(B)是本实施方式中使用的HMD的一例。
图3的(A)、图3的(B)是本实施方式中使用的HMD的其它例。
图4是通过本实施方式生成的游戏图像的例子。
图5是通过本实施方式生成的游戏图像的例子。
图6是通过本实施方式生成的游戏图像的例子。
图7是关于角色的状态的显示的说明图。
图8的(A)～图8的(D)是信息显示物的显示方法的说明图。
图9的(A)、图9的(B)是信息显示物与对象的冲突的说明图。
图10的(A)～图10的(C)是本实施方式的显示形态变更方法的说明图。
图11的(A)、图11的(B)是与信息显示物的种类、优先级、重要度相应的显示形态变更方法的说明图。
图12是与从信息显示物显示起所经过的时间对应的显示形态变更方法的说明图。
图13的(A)～图13的(C)是信息显示物的显示形态变更处理的具体例。
图14的(A)～图14的(C)是信息显示物的显示形态变更处理的具体例。
图15的(A)、图15的(B)是位置关系的判定方法的具体例。
图16的(A)、图16的(B)是位置关系的判定方法的具体例。
图17的(A)、图17的(B)是位置关系的判定方法的具体例。
图18的(A)、图18的(B)是与用户和角色的位置关系信息相应的指令的效果的激活处理的说明图。
图19的(A)、图19的(B)是与用户和角色的位置关系信息相应的指令的效果的激活处理的说明图。
图20的(A)、图20的(B)是与用户和角色的视线关系信息相应的指令的效果的激活处理的说明图。
图21是与用户的注视信息对应的指令的效果的激活处理的说明图。
图22是表示本实施方式的详细处理例的流程图。
具体实施方式
以下，对本实施方式进行说明。需要说明的是，以下说明的本实施方式并不对权利要求书中记载的本发明的内容进行不当限定。另外，本实施方式中说明的全部构成并不一定是本发明的必需构成要件。
1.模拟系统
图1是表示本实施方式的模拟系统(模拟器、游戏系统)的构成例的框图。本实施方式的模拟系统例如是模拟虚拟现实(VR)的系统，能够适用于提供游戏内容的游戏系统、体育比赛模拟器或驾驶模拟器等实时模拟系统、提供影像等内容的内容提供系统、或者实现远程作业的操作系统等各种系统。此外，本实施方式的模拟系统并不限于图1的构成，可以实施省略其构成要素(各部分)的一部分、或追加其它构成要素等的各种变形。
拍摄部150由一个或多个相机构成。各相机由透镜(广角透镜)等光学系统、CCD或CMOS传感器等摄像元件构成。另外，也可以在拍摄部150中设置一个或多个麦克风。通过使用拍摄部150，能够检测用户的运动信息(各部位的运动信息、骨架信息)、或者实现用户的识别处理(脸部识别等)。另外，通过在拍摄部150中设置多个相机，能够识别空间的深度方向，从而能够判断在拍摄部150的前方玩游戏的两位用户的前后关系等。另外，通过在拍摄部150中设置多个麦克风，能够检测声源的方向等。通过使用例如设置有多个相机和多个麦克风的拍摄部150，能够实现可将用户的运动、声音等作为操作信息直观地进行游戏的游戏。
操作部160供用户(玩家)输入各种操作信息(输入信息)。操作部160能够通过例如操作按钮、方向指示键、操纵杆、手柄、踏板或者控制杆等各种操作设备来实现。
存储部170存储各种信息。存储部170作为处理部100、通信部196等的工作区域发挥作用。游戏程序、执行游戏程序所需的游戏数据被保存在该存储部170中。存储部170的功能能够通过半导体存储器(DRAM、VRAM)、HDD(硬盘驱动器)、SSD、光盘装置等实现。存储部170包括对象信息存储部172、描绘缓冲器178。
信息存储介质180(计算机可读介质)存储程序或数据等，其功能可通过光盘(DVD、BD、CD)、HDD或半导体存储器(ROM)等实现。处理部100根据存储在信息存储介质180中的程序(数据)执行本实施方式的各种处理。即，在信息存储介质180中，存储有使计算机(具备输入装置、处理部、存储部、输出部的装置)作为本实施方式的各部发挥作用的程序(用于使计算机执行各部的处理的程序)。
HMD200(头部佩戴式显示装置)是佩戴于用户的头部，在用户的眼前显示图像的装置。HMD200优选为非透射型，但也可以为透射型。另外，HMD200也可以是所谓的眼镜型的HMD。
HMD200包括传感器部210、显示部220以及处理部240。传感器部210用于实现例如头部跟踪等跟踪处理。例如，通过使用传感器部210的跟踪处理来确定HMD200的位置、方向。通过确定HMD200的位置、方向，能够确定作为用户的视点信息的视点位置、视线方向。
作为跟踪方式，可以采用各种方式。在作为跟踪方式的一例的第一跟踪方式中，如后述的图2的(A)、图2的(B)中详细说明的那样，作为传感器部210而设置多个发光元件(LED)。并且，通过利用拍摄部150拍摄来自该多个发光元件的光，从而确定现实世界的三维空间中的HMD200(用户的头部)的位置、方向。在第二跟踪方式中，如后述的图3的(A)、图3的(B)中详细说明的那样，作为传感器部210而设置多个受光元件(光电二极管等)。并且，通过由该多个受光元件接收来自外部设置的发光元件(LED等)的光(激光等)，从而确定HMD200的位置、方向。在第三跟踪方式中，作为传感器部210而设置运动传感器，并使用该运动传感器来确定HMD200的位置、方向。运动传感器可以通过例如加速度传感器、陀螺仪传感器等实现。通过使用例如使用三轴的加速度传感器和三轴的陀螺传感器的六轴的运动传感器，可以确定现实世界的三维空间中的HMD200的位置、方向。此外，也可以通过第一跟踪方式和第二跟踪方式的组合、或者第一跟踪方式和第三跟踪方式的组合等确定HMD200的位置、方向。另外，也可以不通过确定HMD200的位置、方向来确定用户的视点位置、视线方向，而采用直接确定用户的视点位置、视线方向的跟踪处理。
HMD200的显示部220可以通过例如有机EL显示器(OEL)、液晶显示器(LCD)等实现。例如，在HMD200的显示部220中，设置在用户的左眼前设定的第一显示器或第一显示区域、和在右眼前设定的第二显示器或第二显示区域，能够实现立体显示。在进行立体显示的情况下，例如生成视差不同的左眼用图像和右眼用图像，并在第一显示器上显示左眼用图像，在第二显示器上显示右眼用图像。或者，在一个显示器的第一显示区域中显示左眼用图像，在第二显示区域中显示右眼用图像。另外，在HMD200中设置左眼用、右眼用的两个目镜(鱼眼透镜)，从而体现出在用户的视野的整个周围扩展的VR空间。并且，对左眼用图像、右眼用图像进行用于校正目镜等光学系统中产生的畸变的校正处理。该校正处理由显示处理部120执行。
HMD200的处理部240执行HMD200中所需的各种处理。例如，处理部240执行传感器部210的控制处理、显示部220的显示控制处理等。另外，处理部240也可以执行三维声(立体声)处理，从而实现三维的声音的方向、距离、扩散的再现。
声音输出部192输出由本实施方式生成的声音，能够通过例如扬声器或耳机等实现。
I/F(接口)部194执行与便携式信息存储介质195的接口处理，其功能可以通过I/F处理用的ASIC等实现。便携式信息存储介质195是供用户保存各种信息的介质，且是在未供给电源的情况下也保持这些信息的存储的存储装置。便携式信息存储介质195可以通过IC卡(存储卡)、USB存储器、或者磁卡等实现。
通信部196经由有线或无线的网络与外部(其它装置)之间进行通信，其功能可以通过通信用ASIC或通信用处理器等硬件、或者通信用固件实现。
此外，用于使计算机作为本实施方式的各部发挥作用的程序(数据)也可以从服务器(主机装置)具有的信息存储介质经由网络及通信部196向信息存储介质180(或者存储部170)传送。上述基于服务器(主机装置)的信息存储介质的使用也可以包含在本发明的范围内。
处理部100(处理器)根据来自操作部160的操作信息、HMD200中的跟踪信息(HMD的位置及方向中至少一方的信息。视点位置及视线方向中至少一方的信息)、程序等，执行游戏处理(模拟处理)、移动体处理、虚拟相机控制处理、显示处理、或者声音处理等。
处理部100的各部所执行的本实施方式的各处理(各功能)可以通过处理器(包含硬件的处理器)实现。例如，本实施方式的各处理可以通过根据程序等信息进行动作的处理器、和存储程序等信息的存储器而实现。处理器例如既可以通过单独的硬件实现各部的功能，或者也可以通过一体的硬件实现各部的功能。例如，处理器可以包括硬件，并且该硬件包括处理数字信号的电路和处理模拟信号的电路中至少一方。例如，处理器也可以由安装于电路基板上的一个或多个电路装置(例如IC等)、一个或多个电路元件(例如电阻、电容器等)构成。处理器例如也可以是CPU(Central Processing Unit、中央处理器)。但是，处理器并不限定于CPU，可以使用GPU(Graphics Processing Unit、图形处理器)或DSP(DigitalSignal Processor、数字信号处理器)等各种处理器。另外，处理器也可以是基于ASIC的硬件电路。另外，处理器也可以包括处理模拟信号的放大电路、滤波电路等。存储器(存储部170)既可以是SRAM、DRAM等半导体存储器，也可以是寄存器。或者，也可以是硬盘装置(HDD)等磁存储装置，还可以是光盘装置等光学式存储装置。例如，存储器存储计算机可读取的指令，并通过处理器执行该指令，从而实现处理部100的各部的处理(功能)。这里的指令既可以是构成程序的指令集，也可以是对处理器的硬件电路指示动作的指令。
处理部100包括输入处理部102、运算处理部110以及输出处理部140。运算处理部110包括游戏处理部112、移动体处理部114、判定部115、虚拟空间设定部116、虚拟相机控制部118、显示处理部120以及声音处理部130。如上所述，由这些各部执行的本实施方式的各处理可以通过处理器(或者处理器及存储器)而实现。此外，可以实施省略这些构成要素(各部分)的一部分、或者追加其它构成要素等的各种变形。
输入处理部102作为输入处理而执行接收操作信息、跟踪信息的处理、从存储部170读出信息的处理、经由通信部196接收信息的处理。例如，输入处理部102作为输入处理而执行如下处理，即：获取由用户使用操作部160输入的操作信息或者由HMD200的传感器部210等检测出的跟踪信息的处理、从存储部170读出由读出指令指定的信息的处理、经由网络从外部装置(服务器等)接收信息的处理。在此，接收处理是指示通信部196接收信息、或者获取通信部196接收到的信息并写入存储部170的处理等。
运算处理部110执行各种运算处理。例如，执行游戏处理(模拟处理)、移动体处理、虚拟相机控制处理、显示处理、或者声音处理等的运算处理。
游戏处理部112(游戏处理的程序模块)执行供用户玩游戏的各种游戏处理。换言之，游戏处理部112(模拟处理部)执行供用户体验虚拟现实(virtual reality)的各种模拟处理。游戏处理例如是满足游戏开始条件时开始游戏的处理、使已开始的游戏运行的处理、满足游戏结束条件时结束游戏的处理、或者运算游戏成绩的处理等。
移动体处理部114(移动体处理的程序模块)执行关于在虚拟空间内移动的移动体的各种处理。例如，执行在虚拟空间(对象空间、游戏空间)中使移动体移动的处理、使移动体进行动作的处理。例如，移动体处理部114根据用户通过操作部160输入的操作信息、所获取的跟踪信息、程序(移动/动作算法)、各种数据(运动数据)等，执行使移动体(模型对象)在虚拟空间内移动、或者使移动体进行动作(运动、动画)的控制处理。具体而言，执行依次求出每一帧(例如1/60秒)内的移动体的移动信息(位置、旋转角度、速度、或者加速度)、动作信息(角色对象的位置或者旋转角度)的模拟处理。此外，帧是进行移动体的移动/动作处理(模拟处理)、图像生成处理的时间的单位。移动体例如是与真实空间的用户(玩家)对应的虚拟空间的虚拟用户(虚拟玩家)、该虚拟用户所搭乘(操作)的搭乘移动体(操作移动体)、或者成为虚拟用户的游戏对象的角色等。
判定部115(判定处理的程序模块)执行各种判定处理。关于判定部115的详情，之后进行说明。
虚拟空间设定部116(虚拟空间设定处理的程序模块)执行被配置多个对象的虚拟空间(对象空间)的设定处理。例如，执行将表示移动体(人、机器人、车、电车、飞机、船、怪物或动物等)、地图(地形)、建筑物、观众席、路线(道路)、树木、墙壁、水面等显示物的各种对象(由多边形、自由曲面或细分曲面等基本曲面构成的对象)配置设定于虚拟空间中的处理。即，确定世界坐标系中的对象的位置、旋转角度(与朝向、方向同义)，并根据该旋转角度(绕X、Y、Z轴的旋转角度)将对象配置于该位置(X、Y、Z)处。具体而言，在存储部170的对象信息存储部172中，与对象编号相对应地存储虚拟空间中的对象(角色对象)的位置、旋转角度、移动速度、移动方向等信息即对象信息。虚拟空间设定部116例如按照各帧执行更新该对象信息的处理等。
虚拟相机控制部118(虚拟相机控制处理的程序模块)执行用于生成能够从虚拟空间的给定(任意)的视点看到的图像的虚拟相机(视点、基准虚拟相机)的控制处理。例如，执行控制虚拟相机的视点位置或视线方向(虚拟相机的位置或姿势)的处理。具体而言，执行控制虚拟相机的位置(X、Y、Z)、作为姿势信息的旋转角度(绕X、Y、Z轴的旋转角度)的处理(控制视点位置、视线方向或者视场角的处理)。该虚拟相机对应于用户(虚拟用户)的视点。在立体显示的情况下，设定左眼用的第一视点(左眼用的第一虚拟相机)和右眼用的第二视点(右眼用的第二虚拟相机)。
显示处理部120(显示处理的程序模块)执行游戏图像(模拟图像)的显示处理。例如，根据处理部100中执行的各种处理(游戏处理、模拟处理)的结果进行描绘处理，由此生成图像，并显示于HMD200的显示部220中。具体而言，执行坐标转换(世界坐标转换、相机坐标转换)、限幅处理、透视转换、或者光源处理等几何处理，并根据该处理结果创建描绘数据(基本曲面的顶点的位置坐标、纹理坐标、颜色数据、法线向量或者α值等)。然后，根据该描绘数据(基本曲面数据)，将透视转换后(几何处理后)的对象(一个或多个基本曲面)描绘至描绘缓冲器178(帧缓冲器、工作缓冲器等能够以像素为单位存储图像信息的缓冲器)中。由此，生成在虚拟空间中能够从虚拟相机(给定的视点。左眼用、右眼用的第一、第二视点)看到的图像。此外，显示处理部120中执行的描绘处理可以通过顶点着色处理、像素着色处理等实现。
声音处理部130(声音处理的程序模块)根据处理部100执行的各种处理的结果执行声音处理。具体而言，生成乐曲(音乐、BGM)、效果音或语音等游戏声音，并将游戏声音输出至声音输出部192。此外，也可以通过HMD200的处理部240实现声音处理部130的声音处理的一部分(例如三维声处理)。
输出处理部140执行各种信息的输出处理。例如，输出处理部140作为输出处理而执行将信息写入存储部170的处理、经由通信部196发送信息的处理。例如，输出处理部140执行将写入指令指定的信息写入存储部170的处理、经由网络向外部的装置(服务器等)发送信息的处理。发送处理是指示通信部196发送信息、或者对通信部196指示所要发送的信息的处理等。
于是，如图1所示，本实施方式的模拟系统包括虚拟空间设定部116、虚拟相机控制部118以及显示处理部120。虚拟空间设定部116执行被配置多个对象的虚拟空间的设定处理。例如，执行设定多个对象中的各对象的位置、方向并配置于虚拟空间中的处理。对象是作为游戏中出现、或者构成游戏空间的游戏要素的显示物。
虚拟相机控制部118执行与佩戴HMD200的用户的视点对应的虚拟相机的控制处理。例如，虚拟相机控制部118执行以用户的第一人称视点设定的虚拟相机的控制。例如，通过在与虚拟空间中移动的虚拟用户的视点对应的位置处设定虚拟相机，并设定虚拟相机的视点位置、视线方向，从而控制虚拟相机的位置(位置坐标)、姿势(绕旋转轴的旋转角度)。
显示处理部120生成在虚拟空间中能够从虚拟相机(用户视点)看到的图像作为HMD200的显示图像(显示影像)。例如，生成在作为虚拟空间的对象空间中能够从给定的视点看到的图像。所生成的图像例如为立体观察用的图像。
并且，在本实施方式中，虚拟空间设定部116在用户的视线方向(用户的视野范围)上配置至少一个信息显示物。具体而言，将被控制为追随用户的视点变化(虚拟相机的视点变化)的至少一个信息显示物配置在虚拟空间中。在此，视点变化例如为视线方向及视点位置中至少一方的变化。即，虚拟空间设定部116配置以追随用户的视线方向及视点位置中至少一方的方式进行控制的信息显示物。例如，当用户的视线方向或视点位置发生变化时，虚拟空间中的信息显示物的配置位置(三维位置)与该变化相联动地也发生变化。例如，当用户的视线方向朝向左方、右方、上方、下方变化时，虚拟空间中的信息显示物的位置、方向也追随该方向的变化而变化。或者，当用户的视点位置(用户位置)朝向左方、右方、上方、下方移动时，虚拟空间中的信息显示物的位置等也追随该移动(位置的变化)而变化。例如，当信息显示物由公告板多边形构成时，以正对用户的视点的方式(与用户的视线方向正交的方式)配置构成信息显示物的公告板多边形。
然后，显示处理部120在信息显示物与虚拟空间的对象(多个对象中的各个对象)成为给定的位置关系的情况下，执行信息显示物或对象的显示形态(显示方法、显示方式)的变更处理。例如，在信息显示物与对象成为该位置关系的情况下，显示处理部120以看起来为同信息显示物与对象成为该位置关系时的图像不同的图像的方式生成HMD200的显示图像。即，如上所述，用户的视线方向或视点位置发生变化时，信息显示物在虚拟空间中的位置或方向追随该变化而变化。因此，信息显示物与虚拟空间的多个对象中的各个对象之间的位置关系变化为各种关系。此外，当信息显示物与对象的位置关系成为规定的位置关系(冲突、接近的位置关系等)时，信息显示物或对象的显示形态(显示图像)发生变更。此外，也可以执行信息显示物及对象双方的显示形态的变更处理。
该情况下，显示处理部120也可以执行与信息显示物的种类、优先级或重要度相应的显示形态的变更处理。例如，执行反映了信息显示物的种类、优先级或重要度的信息显示物或对象的显示形态的变更处理。信息显示物的种类根据例如信息显示物提示的信息的类型等进行区分。例如，在存储部170中，与各信息显示物相关联地存储有其种类的信息，使用该种类的信息执行显示形态的变更处理。信息显示物的优先级或重要度是表示由信息显示物提示的信息的优先级、重要度有多高的信息。例如，在存储部170中，与各信息显示物相关联地存储有其优先级、重要度的信息，使用该优先级、重要度的信息执行显示形态的变更处理。
例如，当信息显示物是第一种类时，显示处理部120变更对象的显示形态。例如，在信息显示物为第一种类(例如用于选择指令的信息显示物等)的情况下，变更(消除、半透明化等)对象的显示形态，而不变更信息显示物的显示形态。相对于此，在信息显示物为第二种类(例如用于显示说明的信息显示物等)的情况下，变更信息显示物的显示形态。例如，在信息显示物为第二种类的情况下，变更(消除、半透明化等)信息显示物的显示形态，而不变更对象的显示形态。信息显示物为第一种类还是第二种类与该信息显示物相关联地存储在存储部170中。
另外，显示处理部120使用与信息显示物建立关联的优先级或重要度执行显示形态的变更处理。例如，在存储部170中，与信息显示物相关联地存储有优先级、重要度的信息。显示处理部120在执行显示形态的变更处理时，从存储部170读出与作为处理对象的信息显示物相关联的优先级、重要度的信息，来执行变更信息显示物或对象(作为位置关系的判定对象的对象)的显示形态的处理。
另外，显示处理部120执行与从信息显示物被显示起所经过的时间相应的显示形态的变更处理。例如，预先测定并记录各信息显示物从被显示起所经过的时间。然后，在执行信息显示物或对象的显示形态的变更处理时，执行反映了该经过时间的处理。例如，与经过时间短的信息显示物相比，优先执行从显示起所经过的时间长的信息显示物的显示形态的变更处理。
另外，作为显示形态的变更处理，显示处理部120执行信息显示物或对象的消除处理、信息显示物或对象的半透明化处理、信息显示物对用户的视线方向的追随的解除处理、信息显示物或对象的移动处理、信息显示物或对象的尺寸变更处理、或者信息显示物或对象的颜色信息变更处理等。
信息显示物或对象的消除处理可以通过将信息显示物或对象从显示对象(显示列表)中除去的处理、或者将信息显示物或对象透明化的处理等而实现。信息显示物或对象的半透明化处理可以通过改变信息显示物或对象的半透明度(α值)、例如使其变得更加半透明等方式实现。另外，如上所述，信息显示物被控制为追随用户的视线方向的变化，但是，通过解除(降低)该追随的控制，能够实现信息显示物对用户的视线方向的追随的解除处理。信息显示物或对象的移动处理、尺寸变更处理可以通过使信息显示物或对象移动、或者变更信息显示物或对象的尺寸而使信息显示物与对象的位置关系不会成为例如冲突或接近的位置关系等方式实现。信息显示物或对象的颜色信息变更处理可以通过例如变更信息显示物或对象的颜色的明度、彩度或者色相等的处理等而实现。例如，作为信息显示物或对象的颜色信息变更处理，可以考虑使信息显示物或对象的颜色信息接近例如背景的颜色信息，使其溶入背景的处理等。这样的处理可以通过例如基于信息显示物或对象的颜色信息和背景的颜色信息的α混合处理、景深效果处理等而实现。
信息显示物例如是用于显示说明的显示物、用于显示状态的显示物、用于显示对话的显示物、用于选择指令的显示物、或者用于显示菜单的显示物等。用于显示说明的显示物例如是用于对用户进行关于游戏等的各种说明的显示物。用于显示状态的显示物例如是用于向用户传达关于游戏等的各种状况的显示物。用于显示对话的显示物例如是用于将各种对话内容传达给用户的显示物。例如是用于传达作为用户的游戏对象的角色的对话内容的显示物。用于选择指令的显示物例如是在游戏等中用户为了选择指令而使用的显示物。例如是用于向用户提示指令的选项的显示物。用于显示菜单的显示物例如是用于向用户提示游戏等中的菜单画面的显示物。例如是用于提示游戏模式、游戏设定(选项设定)、或者游戏的结束指示等的菜单画面的显示物。信息显示物是使用例如字符、图标或图形等向用户传递信息的显示物。作为一例，信息显示物可以通过描绘有向用户提示的信息的公告板多边形等而实现。
另一方面，对象(作为与信息显示物的位置关系的判定对象的对象)例如是游戏中出现的移动体、固定物、装备、或者背景的对象等。游戏中出现的移动体例如是作为用户的游戏对象的角色、在游戏中移动到各种方向、位置的显示物。固定物是不会像移动体那样移动而被固定在虚拟空间的规定位置处的显示物。装备是游戏中出现的各种道具等显示物，且是作为用户的游戏对象、携带对象或者把持对象的显示物。背景的对象是构成游戏等的背景的对象。例如，对象是配置在虚拟空间中的多个对象中除了信息显示物以外的对象，该对象可以作为与信息显示物的位置关系的判定对象。
另外，模拟系统包括判定部115，判定部115判定信息显示物与对象之间的位置关系。例如，判定部115判定信息显示物与对象是否成为给定的位置关系(冲突或接近的位置关系等)。然后，当通过判定部115判定为信息显示物与对象成为给定的位置关系时，显示处理部120执行信息显示物或对象的显示形态的变更处理。
具体而言，当通过判定部115判定为信息显示物与对象成为冲突或接近(靠近)的位置关系时，显示处理部120执行显示形态的变更处理。例如，关于是否成为接近的位置关系，可以通过判断信息显示物与对象的距离(三维坐标中的距离、进深方向上的距离等)是否在规定的距离以下来进行判定。关于是否成为冲突的位置关系，可以通过对信息显示物和对象执行公知的碰撞处理来进行判定。例如，可以通过执行信息显示物和对象的碰撞判定(交叉判定)而实现。
另外，判定部115可以根据信息显示物和对象的三维坐标值、信息显示物和对象的深度值、或者将信息显示物和对象投影至平面时的二维坐标值来判定位置关系。例如，根据信息显示物和对象的三维坐标值、尺寸信息(形状信息)等，判定信息显示物与对象是否成为冲突或接近的位置关系等。或者，通过比较信息显示物的深度值(Z值)和对象的深度值(Z值)，从而判定信息显示物和对象是否成为给定的位置关系。或者，将信息显示物和对象投影至平面(屏幕)上，使用该平面(投影图像)中的信息显示物和对象的二维坐标值(二维形状)判定信息显示物和对象是否成为冲突或接近的位置关系等。例如，通过判断该平面上的信息显示物与对象的重叠、距离，从而可以判定是否成为冲突或接近的位置关系等。
另外，虚拟空间设定部116以追随用户的视点变化(视线方向及视点位置中至少一方的变化)的方式将信息显示物配置在用户的视线方向上的给定的深度位置处。例如，以一边使相对于用户的视点(虚拟相机)的信息显示物的深度位置(深度距离)不变，一边追随视点变化(视线方向或视点位置的变化)的方式配置信息显示物。例如，在距离用户的视点(虚拟相机)给定的深度的位置(Z坐标轴上的位置)上配置例如由公告板多边形构成的信息显示物。
另外，虚拟相机控制部118根据用户的视点信息的跟踪信息控制虚拟相机，使得追随用户的视点变化。
例如，输入处理部102(输入接收部)获取佩戴HMD200的用户的视点信息的跟踪信息。例如，获取是用户的视点位置、视线方向中至少之一的视点信息的跟踪信息(视点跟踪信息)。该跟踪信息可以通过例如执行HMD200的跟踪处理而获取。此外，也可以通过跟踪处理直接获取用户的视点位置、视线方向。作为一例，跟踪信息可以包含用户的视点位置从初始视点位置起的变化信息(视点位置的坐标的变化值)、以及用户的视线方向从初始视线方向起的变化信息(视线方向绕旋转轴的旋转角度的变化值)中至少一方。根据这样的跟踪信息所包含的视点信息的变化信息，可以确定用户的视点位置、视线方向(用户的头部的位置、姿势的信息)。
然后，虚拟相机控制部118根据所获得的跟踪信息(用户的视点位置及视线方向中至少一方的信息)改变虚拟相机的视点位置、视线方向。例如，虚拟相机控制部118以虚拟空间中的虚拟相机的视点位置、视线方向(位置、姿势)根据真实空间中的用户的视点位置、视线方向的变化而变化的方式设定虚拟相机。由此，能够根据用户的视点信息的跟踪信息控制虚拟相机，以使其追随用户的视点变化。
此外，在本实施方式中，作为用户所玩的游戏的游戏处理，执行虚拟现实的模拟处理。虚拟现实的模拟处理是用于在虚拟空间中模拟真实空间中的现象的模拟处理，且是用于使用户虚拟体验该现象的处理。例如，执行用于使与真实空间的用户对应的虚拟用户、其搭乘移动体等移动体在虚拟空间中移动、或者使用户体验伴随移动的环境、周围的变化的处理。
另外，模拟系统包括执行游戏处理的游戏处理部112。并且，游戏处理部112执行使作为用户的游戏对象的角色的信息和用户的视点信息的相应的指令的效果激活的处理。
例如，在本实施方式中，执行接收用户从多个指令中选择的指令的处理。例如，存储部170(指令信息存储部)中存储有用户可选择的N个指令的信息。然后，例如，自动或者由用户从该N个指令中选择M个(M＜N)指令，并编成被称为所谓牌组(deck)的指令的集合。在玩游戏期间，用户从该M个指令中选择自身所希望的指令。于是，所选择的指令作为激活对象的指令而被接收。
然后，游戏处理部112作为游戏处理而执行使所接收的指令的效果激活的处理。例如，各指令的效果与各指令相关联，并作为指令信息存储在存储部170中。游戏处理部112执行使与用户选择的指令相关联的效果激活的处理。
然后，游戏处理部112根据指令的效果的激活结果，执行运算游戏参数的处理、使游戏运行的处理、运算游戏成绩(游戏结果)的处理、或者与指令对应的图标的控制处理等游戏处理。
具体而言，游戏处理部112执行使游戏参数的值增减的运算处理。然后，根据运算处理后的游戏参数而执行各种游戏处理，如控制角色的动作(举动)、进行故事的分支处理、或者进行产生游戏事件的处理、等等。例如，执行通过作为用户的游戏对象的角色和用户使故事发展的游戏处理。
显示处理部120根据上述游戏处理的结果，执行游戏图像的显示处理。例如，执行用于将与游戏参数的运算结果、游戏运行处理的结果、游戏成绩的运算结果、图标的控制处理的结果相应的游戏图像显示于HMD200的显示部220中的处理。另外，声音处理部130也根据游戏处理的结果执行用于从声音输出部192输出BGM、效果音或者语音等游戏声音的处理。
此外，在本实施方式中，游戏处理部112执行使与作为用户的游戏对象的角色的信息和用户的视点信息相应的指令的效果激活的处理。例如，执行使与根据角色的信息和用户的视点信息设定(确定)的信息(例如位置关系信息、视线关系信息、或者注视信息等)相应的指令的效果激活的处理。
具体而言，游戏处理部112根据角色的信息和用户的视点信息，执行使指令的效果的程度及指令的效果的内容中至少一方变化的处理。例如，当根据角色的信息和用户的视点信息而设定(确定)的信息(例如位置关系信息、视线关系信息或者注视信息等)发生变化时，游戏处理部112以使指令的效果的程度及指令的效果的内容中至少一方根据上述变化而变化的方式执行指令的激活处理。
在此，角色的信息例如为角色的位置信息、方向信息、游戏参数信息、部位信息、姿势信息以及种类信息中至少一方。角色是游戏中出现的游戏要素，例如表示真实世界中的人、动物、机器人、或者移动体等的要素、作为对象显示于游戏图像上的要素。
具体而言，作为用户的游戏对象的角色例如是作为用户的游戏的对手的角色。以与异性角色的交流游戏(人际关系模拟游戏)为例，则是作为用户的交流对手(候补)的角色。例如，在本实施方式中，显示处理部120生成用户的例如第一人称视点下的游戏图像，并将所生成的第一人称视点下的图像显示于HMD200的显示部220中。由此，能够向用户带来好像自己进入游戏空间(CG动画的世界)中一样的虚拟现实感。而且，角色在该游戏空间(对象空间、虚拟三维空间)中作为用户的游戏对象而出现。由此，用户能够感觉到好像真人(角色)存在于用户的眼前一样的虚拟现实。此外，作为用户的游戏对象的角色，也可以使用在战争游戏、RPG游戏、体育游戏等中作为用户的敌方、同伴而出现的角色。
另外，游戏参数是游戏处理(游戏运行处理等)中使用的参数。例如，游戏参数是表示角色、用户的状态、能力等的参数。例如，作为角色的游戏参数，可以设想表示角色的心理、状态的状态参数、表示角色的能力的参数、与角色的行动相关的参数、或者与角色的持有物有关的参数等各种参数。另外，角色的游戏参数也可以是表示对于用户的角色的评价的参数。
角色的部位信息是构成角色的部位(部位对象)的种类信息(头、胸、腰、脚或手等)、部位的位置信息(相对于角色的代表位置的相对位置)、或者部位的形状信息(部位对象的形状)等。角色的姿势信息例如是确定坐、站、走或跑等角色的动作的姿势的信息。例如在用骨架模型表现角色的情况下，该骨架的形状信息对应于角色的姿势信息。角色的种类信息例如是被称为角色的类型或属性的信息，若是异性的角色，则为活泼型、正直型、甜美型、或者清秀型等。
另外，用户的视点信息例如是用户的视点位置信息、视线方向信息以及虚拟相机属性信息中至少之一。视点位置信息例如是在游戏空间(对象空间、虚拟三维空间)内被设定为用户的视点的位置的信息。视线方向信息是表示该视点下的用户的视线方向的信息。虚拟相机属性信息是关于设定为用户的视点的虚拟相机的信息，可以设想例如视场角信息、立体视觉中的双眼视差信息等各种信息。
更为具体而言，游戏处理部112执行使与用户和角色的位置关系信息相应的指令的效果激活的处理。例如，在第一人称视点的情况下，使与用户的视点位置和角色的位置(代表位置)的位置关系信息相应的指令的效果激活。位置关系信息是表示用户的位置(视点位置、用户角色的位置)与角色的位置(代表位置、视点位置)的关系的信息。作为该位置关系信息，可以设想例如用户与角色的距离(游戏空间中的距离)等，但并不限定于此。例如，也可以是用户与角色的方向关系的信息。
另外，游戏处理部112执行使与表示用户的视线与角色的关系的视线关系信息相应的指令的效果激活的处理。视线关系信息是表示用户的视线与角色的关系的信息，例如表示用户的视线与角色的相对关系的信息。例如，视线关系信息是关于以角色的位置(代表位置)或各部位为基准，用户的视线朝向哪个方向的信息。
另外，游戏处理部112执行使与用户的注视信息相应的指令的效果激活的处理。注视信息是用户所注视的角色的部位的信息即注视部位信息、用户是否注视角色的信息即有无注视信息、表示用户注视角色的时间的注视时间信息、以及表示用户注视时与角色之间的距离的注视距离信息中至少一种信息。
2.跟踪处理
接着，对跟踪处理的例子进行说明。图2的(A)中示出本实施方式的模拟系统中使用的HMD200的一例。在图2的(A)中，多个发光元件231～236设置于HMD200。这些发光元件231～236通过例如LED等实现。发光元件231～234设置于HMD200的前表面侧，发光元件235和未图示的发光元件236设置于背面侧。这些发光元件231～236射出(发出)例如可见光的频带的光。具体而言，发光元件231～236射出互不相同的颜色的光。此外，图2的(B)所示的拍摄部150设置于用户PL的前方侧，通过该拍摄部150拍摄这些发光元件231～236的光。即，在拍摄部150的拍摄图像中，映出这些发光元件231～236的光点。然后，通过执行该拍摄图像的图像处理，从而实现用户PL的头部(HMD)的跟踪。即，检测用户PL的头部的三维位置和朝向(视点位置、视线方向)。
例如，如图2的(B)所示，拍摄部150中设置有第一、第二相机151、152，通过使用该第一、第二相机151、152的第一、第二拍摄图像，能够检测出用户PL的头部在深度方向上的位置等。另外，根据设置于HMD200的传感器部210中的运动传感器的运动检测信息，还能够检测出用户PL的头部的旋转角度(视线)。因此，通过使用这样的HMD200，无论用户PL朝向周围360度全方位中的哪个方向，都能够将与其对应的虚拟空间(虚拟三维空间)中的图像(能够从与用户的视点对应的虚拟相机看到的图像)显示于HMD200的显示部220中。此外，作为发光元件231～236，也可以使用红外线而非可见光的LED。另外，也可以通过例如使用深度相机等的其它方法来检测用户的头部的位置、运动等。
另外，HMD200中设置有头带260和未图示的耳机端子。通过将耳机270(声音输出部192)连接到耳机端子上，用户PL能够听到例如实施了三维声处理的游戏声音。
另外，如图2的(A)所示，用户PL持有游戏控制器166、167。游戏控制器166、167相当于图1的操作部160。游戏控制器166、167中设置有发光元件237、238。通过利用拍摄部150拍摄来自该发光元件237、238的光，能够利用与HMD200的情况相同的方法检测出游戏控制器166、167的位置等。由此，用户PL能够输入各种操作信息。此外，也可以通过跟踪处理检测用户头部的点头动作、摇头动作，从而能够输入用户的操作信息。
图3的(A)中示出本实施方式的模拟系统中使用的HMD200的另一例。如图3的(A)所示，HMD200中设置有多个受光元件201、202、203(光电二极管)。受光元件201、202设置于HMD200的前表面侧，受光元件203设置于HMD200的右侧面。另外，HMD的左侧面、上表面等上也设置有未图示的受光元件。另外，HMD200中设置有头带260，用户PL佩戴耳机270。
如图3的(B)所示，用户PL的周边设置有基站280、284。基站280中设置有发光元件281、282，基站284中设置有发光元件285、286。发光元件281、282、285、286通过例如射出激光(红外线激光等)的LED而实现。基站280、284使用这些发光元件281、282、285、286，例如呈放射状射出激光。此外，通过由设置于图3的(A)的HMD200中的受光元件201～203等接收来自基站280、284的激光而实现HMD200的跟踪，从而能够检测用户PL的头的位置、朝向(视点位置、视线方向)。
另外，如图3的(A)所示，用户PL所持有的游戏控制器166、167中设置有受光元件204～206、207～209。于是，通过利用受光元件204～206、207～209接收来自基站280、284的发光元件281、282、285、286的激光，从而能够利用与HMD200的情况相同的方法检测游戏控制器166、167的位置等。由此，用户PL能够输入各种操作信息。
此外，检测用户的视点位置、视线方向(用户的位置、方向)的跟踪处理的方法并不限定于图2的(A)～图3的(B)中说明的方法。例如，也可以使用设置于HMD200中的运动传感器等，以HMD200的单体实现跟踪处理。即，无需设置图2的(B)的拍摄部150、图3的(B)的基站280、284等外部装置即实现跟踪处理。或者，也可以通过公知的眼部跟踪、脸部跟踪或者头部跟踪等各种视点跟踪方法来检测用户的视点位置、视线方向等视点信息。例如，在眼部跟踪中，识别用户的左眼、右眼的瞳孔的位置、形状等。然后，通过确定左眼的位置、右眼的位置、左眼的视线方向、右眼的视线方向等来获取用户的视点信息，从而实现跟踪处理。该眼部跟踪可以通过例如利用拍摄部拍摄用户的左眼、右眼，并对其拍摄图像进行瞳孔等的图像识别处理等而实现。另外，在脸部跟踪中，利用拍摄部拍摄用户的脸部，并执行脸部的图像识别处理。然后，根据图像识别处理的结果，确定用户的脸部的位置、朝向，求出用户的视点位置、视线方向，从而实现跟踪处理。
3.本实施方式的方法
接着，对本实施方式的方法进行具体说明。
3.1游戏的说明
首先，对通过本实施方式的方法实现的游戏的概要进行说明。该游戏是用户一边与游戏中出现的异性角色进行交流，一边指导学习、提供各种建议、回答问题或者解决各种事件，从而提高角色对于用户的好感度等的交流游戏(人际关系模拟游戏)。此外，以下主要以适用本实施方式的方法的游戏是与异性角色等的交流游戏的情况为例进行说明。但是，适用本实施方式的方法的游戏并不限定于此，能够适用于战斗游戏、RPG游戏、体育游戏、动作游戏等各种游戏。
图4～图6中示出通过本实施方式的模拟系统(游戏系统)生成的游戏图像的例子。在通过本实施方式实现的游戏中，用户(玩家)作为角色CH的家庭教师到访其家，并指导学习等。在游戏中，准备了多个故事，并且每个故事中会出现不同类型的角色CH。用户一边达到各故事中的目的，一边享受与角色CH的亲密交流。
玩游戏的用户佩戴HMD200。然后，当用户将视线朝向周围360度全方位的各方向时，在HMD200的显示部220中显示在各方向上应该能够看到的图像。例如，在图4中，当用户将视线朝向角色CH的方向时，在显示部220中显示正在学习的角色CH的图像。另一方面，当用户转动头部，使视线朝向用户的背面侧时，在显示部220中显示位于角色CH背面侧的房间的家具等的图像。因此，用户能够体验好像自己进入了游戏世界一样的虚拟现实感。即，能够对用户带来实际进入房间并指导眼前的异性学习一样的虚拟现实感，从而能够提高用户对游戏的投入感。
在图4的游戏图像中，显示有角色CH(广义上为移动体)、角色CH所持有的书(广义上为装备)、窗帘CT(广义上为固定物)、墙壁WL(广义上为背景)等对象。另外，显示有信息显示物DSA、DSB。
信息显示物DSA是用于显示说明的显示物。例如，通过信息显示物DSA来说明角色CH正在读书。信息显示物DSB是用于显示状态的显示物。如在后述的图7中说明的那样，通过信息显示物DSB来显示角色CH的各种状态信息。
当在图4中用户进行靠近角色CH，并使视线朝向角色CH等动作时，显示图5所示的游戏图像。在图5中，还显示有信息显示物DSC、DSD1、DSD2。信息显示物DSC是用于显示对话的显示物。例如，在信息显示物DSC中，显示角色CH的对话“有什么事吗？”。信息显示物DSD1、DSD2是用于选择指令(输入指令)的显示物。例如，显示针对来自角色CH的对话的回答(是、否)的指令。
当在图5中用户选择了“是”的指令时，显示图6所示的游戏图像。在图6中，显示有信息显示物DSE1、DSE2、DSE3。信息显示物DSE1、DSE2、DSE3是用于选择指令的显示物(图标)。例如，信息显示物DSE1、DSE2、DSE3与指令CM1、CM2、CM3相对应。例如，当用户选择信息显示物DSE1时，激活“更加集中注意力”这样的指令CM1的效果。当选择信息显示物DSE2时，激活“批评”这样的指令CM2的效果。当选择信息显示物DSE3时，激活“打招呼”这样的指令CM3的效果。
此外，使用图1的操作部160进行与指令对应的信息显示物(DSE1、DSE2、DSE3、DSD1、DSD1)的选择。例如，用户使用操作部160选择与用户所希望的指令对应的信息显示物(图标)，进行使与所选择的信息显示物对应的指令的效果激活这样的指令操作。以图2的(A)、图3的(A)为例，用户通过移动双手持有的游戏控制器166、167来进行这样的指令操作。或者，也可以使用以有线方式连接的游戏控制器(未图示)来进行指令操作。或者，头部佩戴HMD200的用户也可以通过进行使视线方向朝向与指令对应的信息显示物、或者朝向纵向或横向摆动头等的动作来进行指令操作。
在图6中，用户选择了与“打招呼”这一指令CM3对应的信息显示物DSE3。由此，“打招呼”这一指令CM3的效果被激活。例如，指令CM3与对应于“打招呼”的语言(例如“喂！”、“在努力吗？”、“在学习吗？”)的语音数据相对应。然后，当指令CM3激活时，进行该语音数据的再现，从图1的声音输出部192输出该言语(句子)的语音。
另外，当指令被激活(指令的效果激活)时，对角色CH的游戏参数也造成影响。例如，当“打招呼”这一指令CM3被激活时，与其对应的角色CH的游戏参数也发生变化。
例如，在图4～图6中，显示有用于将作为角色CH的各种状态的游戏参数的状态传达给用户的信息显示物DSB。例如如图7所示，通过该信息显示物DSB而将角色CH的当前的心理状态、动力、注意力集中、脉搏等的状态传达给用户。这些心理状态、动力、注意力集中、脉搏作为角色CH的游戏参数而准备。
角色CH的心理状态例如使用颜色等来表现。例如，在本实施方式的游戏中，提出课程的课题，例如经过规定时间后课程结束。然后，根据例如课程结束时的课题的完成量来确定用户的游戏成绩。例如，在用户的游戏成绩高的情况下，对用户给予例如效果高、或者稀有度高的指令(动作)的卡片。
对于课程中提出的各课题，赋予例如红色、绿色、蓝色的属性，角色CH的心理状态也具有红色、绿色、蓝色的成分。例如，在角色CH的心理状态中的红色成分多的情况下，可以立即消化红色属性的课题，但绿色、蓝色属性的课题的消化慢。同样地，在角色CH的心理状态中的绿色成分多的情况下，可以立即消化绿色属性的课题，但红色、蓝色属性的课题的消化慢。因此，用户通过观察信息显示物DSB中显示的角色CH的心理状态，使符合心理状态的属性的课题消化，从而完成的课题量变多，能够恰当地完成课程。
另外，如图7所示，对角色CH设定了动力、注意力集中的游戏参数。这些动力、注意力集中的游戏参数的值在例如0～100(％)之间变化，其值越大，则动力、注意力集中越高。当动力的值变高时，课题的消化速度变快。另一方面，注意力集中的值随着时间的经过而下降，但根据角色CH的心理状态，其下降程度变大、或者不易下降。另外，当注意力集中的值低于规定值，变为注意力集中不够的状态时，需要课程休息。
另外，图7的信息显示物DSB的脉搏例如作为表示角色CH对用户的兴奋度、好感度的游戏参数发挥作用。例如，当兴奋度高时，脉搏也变高，动力提高，或者注意力集中不易下降，从而课题的消化速度变快。
3.2显示形态的变更处理
如图4～图6所示，在通过本实施方式实现的游戏中，显示各种信息显示物。在不使用HMD而在显示部中显示虚拟三维图像的现有图像生成系统中，作为这样的信息显示物，使用以二维形式显示在投影屏幕上的二维显示物(精灵(Sprite)等)。
但是，在使用了HMD的VR(虚拟现实)的系统中，若使用二维显示物作为说明显示、状态显示、指令选择、菜单显示等的信息显示物，则会导致损害用户的虚拟现实感、或者难以观察画面等的问题。例如，在立体显示图4的角色CH、书BK、窗帘CT、墙壁WL等三维对象的VR空间中，若仅将信息显示物以二维形式显示在投影屏幕上，则会损害虚拟现实感。另外，当显示多个二维的信息显示物时，这些信息显示物二维重叠、或者对象被信息显示物遮住而变得看不见，从而成为非常难以观察的画面。
因此，在本实施方式中，在用户的视线方向(用户的视野范围、正面方向)上配置至少一个信息显示物。例如，与虚拟空间的其它对象同样地通过具有三维坐标值的对象构成信息显示物，并将其配置在虚拟空间中。具体而言，将被控制为追随用户的视点变化(视线方向及视点位置中至少一方的变化)的信息显示物配置在虚拟空间中。更为具体而言，以追随用户的视点变化的方式将信息显示物配置在用户的视线方向上的给定的深度位置处。
图8的(A)～图8的(D)是关于这样的信息显示物的显示方法的说明图。例如，在图8的(A)中，VP是佩戴HMD的用户PL的视点，VL是用户PL的视线方向。这些视点VP、视线方向VL相当于与用户PL对应的虚拟相机的视点、视线方向。
而且，在图8的(A)中，在用户PL的视线方向VL上的深度值Z1、Z2的位置处，分别配置有信息显示物DS1、DS2。深度值Z1、Z2例如是视点坐标系(相机坐标系)中的Z坐标轴的坐标值。信息显示物DS1、DS2通过例如公告板多边形而实现。即，通过对公告板多边形映射如图4～图6中所说明的说明显示、状态显示、对话显示、指令选择显示、菜单显示用的字符、图标或图形等的图像，从而实现信息显示物DS1、DS2。公告板多边形(公告板基本曲面)是以正对(大致正对)用户PL的视点VP(虚拟相机)的方式配置的多边形(基本曲面)。例如，信息显示物DS1、DS2的公告板多边形以与视线方向VL(视线方向矢量)正交(大致正交)的方式配置。例如，以公告板多边形的面的法线方向与视线方向VL平行的方式配置。此外，公告板多边形的配置方向并不限定于这样的方向，能够设定为各种配置方向。另外，也可以利用与公告板多边形不同形式的显示物来实现信息显示物。例如，也可以通过由多个基本曲面(多边形等)构成的三维形状的对象来实现信息显示物。
此外，在本实施方式中，信息显示物DS1、DS2被控制为追随用户PL的视线方向VL的变化。例如，在图8的(B)中，用户PL的视线方向VL朝向右侧方向变化。例如佩戴HMD的用户PL朝向右侧方向，由此，虚拟空间中的虚拟相机的视线方向也朝向右侧方向变化。该情况下，如图8的(B)所示，信息显示物DS1、DS2的位置、方向追随该视线方向VL的变化而变化。例如，在图8的(B)中，也以正对用户PL的视点VP的方式配置构成信息显示物DS1、DS2的公告板多边形。
另外，在图8的(C)中，用户PL的视线方向VL朝向左侧方向变化。例如佩戴HMD的用户PL朝向左侧方向，由此，虚拟空间中的虚拟相机的视线方向也朝向左侧方向变化。该情况下，如图8的(C)所示，信息显示物DS1、DS2的位置、方向也追随该视线方向VL的变化而变化。例如，在图8的(C)中，也以正对用户PL的视点VP的方式配置构成信息显示物DS1、DS2的公告板多边形。
另外，在图8的(D)中，用户PL的视线方向朝向上侧方向变化。该情况下，如图8的(D)所示，信息显示物DS1、DS2的位置、方向也追随该视线方向VL的变化而变化。同样地，在用户PL的视线方向朝向下侧方向变化的情况下，信息显示物DS1、DS2的位置、方向也追随该变化而变化。
这样，在图8的(A)～图8的(D)的显示方法中，信息显示物与虚拟空间的其它对象同样地以三维形式配置在虚拟空间中。因此，能够解决因为信息显示物的显示而损害用户的虚拟现实感的问题。即，在平面显示二维的信息显示物的现有方法中，产生因为信息显示物的存在而损害虚拟现实感的问题，但是，根据将信息显示物以三维形式配置在虚拟空间中的本实施方式的方法，能够防止发生这样的问题。另外，若如此以三维形式配置信息显示物，即使在显示多个信息显示物的情况下，也能够实现对于用户来说容易观察的适当的显示。例如，如图8的(A)～图8的(D)所示，也能够实现以使深度值(Z1、Z2)不同的方式配置多个信息显示物(DS1、DS2)等的情况，从而能够实现对于用户来说容易观察的适当的信息显示物的显示。另外，根据图8的(A)～图8的(D)的显示方法，在用户的正面侧总是显示信息显示物。因此，即使在用户的视线方向朝向各种方向的情况下，也能够在用户的正面侧显示信息显示物，可以使用信息显示物适当地提示用户所需的各种信息。
此外，信息显示物的显示方法并不限定于图8的(A)～图8的(D)所示的方法，能够实施各种变形。另外，不需要以总是追随视线方向的变化的方式显示信息显示物，也可以例外地不追随。或者，也可以以产生时间延迟地追随视线方向的变化的方式显示信息显示物。例如，在视线方向大幅变化的情况(视线方向的变化角度、变化速度或变化加速度在规定值以上的情况)下，也可以使信息显示物不追随视线方向的变化、或者产生时间延迟地追随。此外，在经过了给定的时间的情况下，也可以执行信息显示物的重配置等恢复处理。例如，关于特定的信息显示物，也可以不追随用户的视线方向的变化。例如，关于显示特定对象(例如作为用户的游戏对象的角色)的状态等的信息显示物，也可以控制为显示于该特定对象附近。
另外，在图8的(A)～图8的(D)中，对于信息显示物追随用户的视线方向的变化的情况进行了说明，但也可以使信息显示物追随用户的视点位置的变化。例如，当用户的视点位置(用户位置)上下左右移动时，使信息显示物追随该移动上下左右移动。信息显示物既可以仅追随用户的视线方向的变化，也可以仅追随视点位置的变化，还可以追随视线方向的变化及视点位置的变化两者。但是，以下为了简化说明，主要以用户的视点变化为用户的视线方向的变化的情况为例进行说明。
根据图8的(A)～图8的(D)的方法，能够实现不损害用户的虚拟现实感这样的信息显示物的适当的显示。然而，虚拟空间内除了信息显示物以外还存在多个对象，因此，可知与这些对象的关系成为问题。
例如，在图9的(A)中，在虚拟空间内，在用户PL的正面方向配置有信息显示物DS1、DS2，并且还配置有其它的对象OB1、OB2。这些对象OB1、OB2例如是相当于图4的角色CH(移动体)、书BK(装备)、窗帘CT(固定物)、墙壁WL(背景)等的对象。而且，在图9的(A)中，信息显示物DS1、DS2与对象OB1、OB2未发生冲突。
另一方面，当如图9的(B)所示用户PL的视线方向VL从图9的(A)发生变化时，信息显示物DS1、DS2的位置等追随该视线方向VL的变化而变化。该情况下，在图9的(B)中，发生信息显示物DS1、DS2与对象OB1、OB2冲突(接近、干扰)的事态。当发生这样的事态时，例如信息显示物DS1、DS2陷入对象OB1、OB2，从而产生显示为信息显示物DS1、DS2的一部分缺失、或者显示为对象OB1、OB2的一部分缺失等的不良情况。例如，当在图9的(B)的状态下用户PL的视线方向稍微改变时，显示也会发生闪烁，从而导致显示质量大幅劣化。
另外，在信息显示物追随用户的视点位置(用户位置)的变化的情况下，通过使用户的视点位置上下左右移动，会产生信息显示物与对象冲突的问题。
因此，在本实施方式中，在信息显示物DS1、DS2与对象OB1、OB2成为图9的(B)那样的位置关系的情况下，执行信息显示物DS1、DS2或者对象OB1、OB2的显示形态的变更处理。即，执行消除图9的(B)那样的冲突(接近、干扰)所引起的显示的不良情况的显示形态的变更处理。
例如，在图10的(A)中，变更了信息显示物DS1、DS2的显示形态。具体而言，执行了消除信息显示物DS1、DS2的显示、或者使信息显示物DS1、DS2半透明化的处理。另一方面，未对对象OB1、OB2执行这样的显示形态的变更处理。信息显示物DS1、DS2的消除处理可以通过例如从显示列表(显示对象列表)中除去信息显示物DS1、DS2的处理等而实现。信息显示物DS1、DS2的半透明化处理可以通过执行例如使信息显示物DS1、DS2的半透明度(α值)接近于透明的处理而实现。或者，也可以将信息显示物DS1、DS2变更为例如框架模型等，从而消除说明显示、状态显示等的字符、图标或图形。或者，也可以变更信息显示物DS1、DS2的颜色信息。例如，将信息显示物DS1、DS2的颜色变更为视觉辨认性低的颜色(不显眼的颜色)、或者变更为溶入背景的颜色。
在图10的(B)中，变更了对象OB1、OB2的显示形态。具体而言，执行了消除对象OB1、OB2的显示、或者使对象OB1、OB2半透明化的处理。另一方面，未对信息显示物DS1、DS2执行这样的显示形态的变更处理。对象OB1、OB2的消除处理可以通过例如从显示列表中除去对象OB1、OB2的处理等而实现。对象OB1、OB2的半透明化处理可以通过执行例如使对象OB1、OB2的半透明度接近于透明的处理而实现。或者，也可以将对象OB1、OB2变更为例如框架模型等，从而不显示颜色、纹理等属性。或者，也可以变更对象OB1、OB2的颜色信息。例如，将对象OB1、OB2的颜色变更为视觉辨认性低的颜色(不显眼的颜色)、或者变更为溶入背景的颜色。
在图10的(C)中，在信息显示物DS1与对象OB1的关系中，变更了对象OB1的显示形态，执行了将对象OB1消除或者半透明化的处理。例如，在信息显示物DS1为优先级或重要度高的显示物的情况下，变更对象OB1的显示形态而非信息显示物DS1的显示形态。另一方面，在信息显示物DS2与对象OB2的关系中，变更了信息显示物DS1的显示形态，执行了将信息显示物DS1消除或者半透明化的处理。例如，在信息显示物DS2为优先级或重要度低的显示物的情况下，变更信息显示物DS2的显示形态而非对象OB2的显示形态。
即，在信息显示物DS1为第一种类(例如重要度或优先级高的种类的显示物)的情况下，变更对象OB1的显示形态。另一方面，在信息显示物DS2为第二种类(例如重要度或优先级低的种类的显示物)的情况下，变更信息显示物DS2的显示形态。
例如，在图11的(A)的表数据中，信息显示物DSF1、DSF2、DSF3与其种类TPA、TPB、TPA相关联。该表数据存储在图1的存储部170中。而且，由于种类TPA是例如优先级、重要度低的种类，因此，在与对象发生冲突(接近、干扰)的情况下，变更信息显示物的显示形态。例如，执行将信息显示物消除或者半透明化的处理。另一方面，由于种类TPB是例如优先级、重要度高的种类，因此，在与对象发生冲突的情况下，不变更信息显示物的显示形态。例如，不执行信息显示物的消除处理、半透明化处理，而执行对象的消除处理、半透明化处理。
在图11的(B)的表数据中，信息显示物DSG1、DSG2、DSG3与其优先级(重要度)PRA、PRB、PRC相关联。该表数据存储在图1的存储部170中。然后，在信息显示物DSG1、DSG2、DSG3与其它对象发生冲突的情况下，使用与DSG1、DSG2、DSG3的各信息显示物相关联的优先级(重要度)PRA、PRB、PRC来执行显示形态的变更处理。例如，对于与高优先级(重要度)相关联的信息显示物，即使在与对象成为冲突或接近的位置关系的情况下，也不执行显示形态的变更处理。于是，变更例如对象的显示形态。另一方面，对于与低优先级(重要度)相关联的信息显示物，在与对象成为冲突或接近的位置关系的情况下，执行显示形态的变更处理。于是，不变更例如对象的显示形态。该情况下，也可以预先对于对象也关联优先级(重要度)，执行与信息显示物相关联的优先级(重要度)和与对象相关联的优先级(重要度)的比较处理。然后，根据比较处理的结果，执行显示形态的变更处理。例如，在信息显示物的优先级(重要度)高于对象的优先级(重要度)的情况下，变更对象的显示形态。另一方面，在对象的优先级(重要度)高于信息显示物的情况下，变更信息显示物的显示形态。
这样，在本实施方式中，能够实现与信息显示物的种类、优先级或重要度相应的适当的显示形态的变更处理。例如，对于特定种类的信息显示物，即使在与对象之间成为冲突或接近的位置关系的情况下，也可以仅变更对象的显示形态，反之仅变更信息显示物的显示形态。或者，在通过信息显示物提示的信息的优先级或重要度高的情况下，即使在与对象之间成为冲突或接近的位置关系时，也可以不变更信息显示物的显示形态，而仅变更对象的显示形态。
另外，在本实施方式中，如图11的(B)所示，使用与信息显示物相关联的优先级或重要度来执行显示形态的变更处理。这样，预先使信息显示物与优先级或重要度建立关联，从而能够使用该优先级或重要度来执行适当的显示形态的变更处理。
例如，在图4～图6中，用于选择指令的信息显示物(DSD1、DSD2、DSE1～DSE3)是优先级或重要度高的信息显示物。例如，在因为用户的视线方向发生变化而使信息显示物与对象成为冲突或接近的位置关系的情况下，若用于选择指令的信息显示物被消除或半透明化，则用户无法选择(输入)指令，从而导致游戏运行停止。因此，对于这种用于选择指令的信息显示物，预先与高的优先级或重要度建立关联，从而在与对象成为冲突或接近的位置关系时，不执行信息显示物的消除处理、半透明化处理，而执行对象的消除处理、半透明化处理。
另一方面，用于显示说明的信息显示物(DSA)是优先级或重要度不那么高的信息显示物，在与对象成为冲突或接近的位置关系时，即使用于显示说明的信息显示物被消除或半透明化，也不会对游戏运行带来太大障碍。因此，对于这种用于显示说明的信息显示物，预先与低的优先级或重要度建立关联，从而在与对象成为冲突或接近的位置关系时，执行信息显示物的消除处理、半透明化处理。由此，能够实现反映了信息显示物的优先级或重要度的适当的显示处理。
另外，在本实施方式中，也可以执行与从信息显示物被显示起所经过的时间相应的显示形态的变更处理。
例如，在图12中，信息显示物DSH1、DSH2在显示后经过了长的经过时间TE1、TE2的时机成为显示形态变更处理的对象。另一方面，信息显示物DSH3在显示后经过了短的经过时间TE3的时机成为显示形态变更处理的对象。该情况下，对从显示起所经过的时间TE1、TE2长的信息显示物DSH1、DSH2，执行消除、半透明化等显示形态的变更处理。另一方面，对于从显示起所经过的时间TE3短的信息显示物DSH3，不执行消除、半透明化等显示形态的变更处理。
例如，关于从显示起所经过的时间TE1、TE2长的信息显示物DSH1、DSH2，在该长的经过时间TE1、TE2的期间，用户看到这些信息显示物DSH1、DSH2的可能性高，从而认为充分进行了利用信息显示物DSH1、DSH2的信息传递。因此，对于这样的信息显示物DSH1、DSH2，在与对象成为冲突或接近的位置关系时，执行消除或半透明化等显示形态的变更处理。
另一方面，关于从显示起所经过的时间TE3短的信息显示物DSH3，在短的经过时间TE3的期间，用户充分看到信息显示物DSH3的可能性低，从而认为利用信息显示物DSH3的信息传递不充分。因此，对于这样的信息显示物DSH3，在与对象成为冲突或接近的位置关系时，不执行消除或半透明化等显示形态的变更处理。
即，在显示有多个信息显示物的情况下，若将与对象成为冲突或接近的位置关系的全部信息显示物消除或半透明化，则会产生利用信息显示物的信息传递不充分的问题。关于这一点，根据图12的方法，将从显示起所经过的时间作为判断素材，决定是否执行显示形态的变更处理，因此，能够有效地防止发生这样的问题。
3.3显示形态的变更处理、位置关系的判定的具体例
接着，对显示形态的变更处理、位置关系的判定的具体例进行说明。例如，作为显示形态的变更处理，有信息显示物或对象的消除处理或半透明化处理、信息显示物对用户的视线方向的追随的解除处理、信息显示物或对象的移动处理、或者信息显示物或对象的尺寸变更处理等。
例如，在图13的(A)中，作为显示形态的变更处理，执行了信息显示物DS或对象OB的消除处理或半透明化处理。例如，在信息显示物DS与对象OB成为冲突或接近的位置关系的情况下，执行将任意一方消除或半透明化的处理。
在图13的(B)、图13的(C)中，作为显示形态的变更处理，执行了信息显示物DS对于用户PL的视线方向VL的追随的解除处理。例如，在本实施方式中，如图8的(A)～图8的(D)中所说明的那样，信息显示物DS以追随用户PL的视线方向VL的变化的方式进行控制。
相对于此，在图13的(B)中，在信息显示物DS与对象OB成为冲突或接近的位置关系的情况下，解除该追随的控制。由此，如图13的(C)所示，即使在用户PL的视线方向VL发生变化时，信息显示物DS的位置也不会变化。因此，能够防止发生信息显示物DS与对象OB冲突而陷入其中等不良情况。
另外，在图14的(A)中，在信息显示物DS与对象OB成为冲突或接近的位置关系的情况下，移动例如信息显示物DS以使两者分离。例如，在图14的(A)中，由于对象OB位于信息显示物DS的右侧，因而使信息显示物DS朝向左方移动，从而使两者分离。由此，即使在信息显示物DS与对象OB成为冲突或接近的位置关系的情况下，通过移动而使两者分离，从而也可以显示更适当的图像。此外，在图14的(A)中，使信息显示物DS移动，但也可以使对象OB移动。具体而言，使对象OB朝向右方移动，从而使信息显示物DS与对象OB分离。
在图14的(B)中，在信息显示物DS与对象OB成为冲突或接近的位置关系的情况下，变更了信息显示物DS的尺寸。例如，通过缩小信息显示物DS的尺寸，信息显示物DS的右侧端部与对象OB的左侧端部之间的距离扩大，从而使两者的冲突消除。此外，也可以缩小对象OB的尺寸。
在图14的(C)中，呈信息显示物DS相对于用户的视点位于比对象OB更靠眼前侧的位置处的位置关系。该情况下，作为显示形态的变更处理，执行缩小例如信息显示物DS的尺寸的处理。通过这样，能够防止发生对象OB被信息显示物DS遮挡而看不见的事态。此外，在对象OB位于比信息显示物DS更靠眼前侧的位置处的位置关系的情况下，也可以缩小对象OB的尺寸。
接着，对信息显示物与对象的位置关系的判定的具体例进行说明。在本实施方式中，图1的判定部115判定信息显示物与对象的位置关系，在通过判定部115判定成为接近或冲突的位置关系的情况下，执行信息显示物或对象的显示形态的变更处理。具体而言，判定部115根据信息显示物和对象的三维坐标值、信息显示物和对象的深度值、或者将信息显示物和对象投影至平面时的二维坐标值来判定上述位置关系。
例如，在图15的(A)中，使用信息显示物DS的三维坐标值(XA、YA、ZA)和对象OB的三维坐标值(XB、YB、ZB)，判定两者是否成为接近的位置关系。具体而言，除了这些三维坐标值以外，还使用信息显示物DS、对象OB的尺寸信息、形状信息来判定接近的位置关系。例如，通过判定信息显示物DS的端部(例如右侧端部)与对象OB的端部(例如左侧端部)之间的距离是否在规定距离以下，从而能够判定接近的位置关系。或者，也可以根据构成信息显示物DS、对象OB的多边形的多个顶点的三维坐标值来判定接近的位置关系。
在图15的(B)中，使用信息显示物DS的三维坐标值(XA、YA、ZA)和对象OB的三维坐标值(XB、YB、ZB)来判定两者是否成为冲突的位置关系。该冲突的位置关系的判定可以通过公知的碰撞处理(碰撞判定)而实现。例如，通过公知的碰撞处理来判定信息显示物DS与对象OB是否交叉，从而能够实现冲突的位置关系的判定。
在图16的(A)、图16的(B)中，使用信息显示物DS的深度值ZA(Z值)和对象OB的深度值ZB来判定两者的位置关系。例如，在图16的(A)中，ZA＜ZB，从而判定为呈从用户的视点来看信息显示物DS位于比对象OB更靠眼前侧的位置处的位置关系。因此，变更信息显示物DS的显示形态。例如，通过执行将信息显示物DS消除或半透明化的处理，从而防止对象OB被信息显示物DS遮挡而看不见的事态。另一方面，在图16的(B)中，ZA＞ZB，从而判定为呈从用户的视点来看对象OB位于比信息显示物DS更靠眼前侧的位置处的位置关系。因此，变更对象OB的显示形态。例如，通过执行将对象OB消除或半透明化的处理，从而能够防止信息显示物DS被对象OB遮挡而看不见的事态。
另外，在图17的(A)、图17的(B)中，根据将信息显示物DS、对象OB投影至投影屏幕等平面SPL时的二维坐标值(平面SPL中的X、Y坐标值)来判定两者的位置关系。例如，在图17的(A)、图17的(B)中，判定为在平面SPL中信息显示物DS与对象OB重叠。在图17的(A)中，从视点来看信息显示物DS位于眼前侧，在图17的(B)中，从视点来看对象OB位于眼前侧。判定这样的位置关系，并变更信息显示物DS、对象OB中的一方的显示形态。例如，在图17的(A)中，通过执行将信息显示物DS消除或半透明化的处理，从而防止被信息显示物DS隐藏而使对象OB的一部分图像缺失的事态。另一方面，在图17的(B)中，通过执行将对象OB消除或半透明化的处理，从而防止被对象OB隐藏而使信息显示物DS的一部分图像缺失的事态。
通过执行以上那样的位置关系的判定，并执行信息显示物或对象的显示形态的变更处理，从而能够实现考虑了两者的位置关系的适当的显示形态的变更处理，由此能够将更适当的显示图像显示于HMD中。
3.4指令处理
接着，对于图6中说明的本实施方式的指令处理进行详细说明。在以往使用角色等的交流游戏中，所谓的二维游戏为主流，未考虑用户与角色的位置关系、视线关系等关系。因此，在用户行使了例如图6的“打招呼”这一指令CM3的情况下，无论用户与角色的距离近或远，通过该指令CM3激活的效果都相同。因此，用户无法感觉到与角色的距离感等，存在无法提高用户的虚拟现实感这一问题。
因此，在本实施方式中，采用根据用户与角色的位置关系、视线关系、注视状况等改变指令的效果的方法。例如，在本实施方式中，使与作为用户的游戏对象的角色的信息和用户的视点信息相应的指令的效果激活。例如，根据角色的信息和用户的视点信息而改变指令的效果的程度、效果的内容。具体而言，使与角色的位置信息、方向信息、游戏参数信息、部位信息、姿势信息或者种类信息即角色的信息、和用户的视点位置信息、视线方向信息或者虚拟相机属性信息即视点信息相应的指令的效果激活。
图18的(A)～图19的(B)是使与用户PL和角色CH的位置关系信息相应的指令的效果激活的方法的说明图。
例如，在图18的(A)、图18的(B)中，根据用户PL和角色CH的位置关系信息而改变指令的效果的程度。在此，位置关系信息为用户PL与角色CH的距离LC，该距离LC根据作为用户PL的视点信息的视点VP和作为角色CH的信息的位置PC而求出。此外，位置关系信息也可以是表示用户PL的方向与角色CH的方向的关系的信息。
于是，在图18的(A)、图18的(B)中，用户选择并行使了“更加集中注意力”这一指令CM1，但在图18的(A)中，用户PL与角色CH的距离LC远。另一方面，在图18的(B)中，距离LC近。
该情况下，在本实施方式中，如图18的(A)、图18的(B)所示，即使用户行使了同一指令CM1，也根据距离LC而改变通过指令CM1激活的效果的程度。例如，在图18的(A)中，由于距离LC远，因而指令CM1的效果的程度相应地变低，在图18的(B)中，由于距离LC近，因而指令CM1的效果的程度相应地变高。
具体而言，在行使了“更加集中注意力”这一指令CM1的情况下，在图18的(A)中，由于距离LC远，因此，如A1所示，角色CH的注意力集中的游戏参数的提高程度小。相对于此，在图18的(B)中，由于距离LC近，因此，如A2所示，角色CH的注意力集中的游戏参数的提高程度变大。
这样，用户在行使“更加集中注意力”这一指令CM1时，通过走到角色CH的附近，并行使该指令CM1，从而能够进一步提高角色CH的注意力集中。因此，能够给予用户走到角色CH的附近并说出“更加集中注意力”这句话这样的感觉，能够提高用户的虚拟现实感。
图19的(A)、图19的(B)根据用户PL与角色CH的位置关系信息而改变指令的效果的内容。即，在图18的(A)、图18的(B)中改变了效果的程度，但在图19的(A)、图19的(B)中改变效果的内容。
例如，在图19的(A)中，用户在与角色CH的距离LC远的状态下行使了“打招呼”这一指令CM3。该情况下，作为用户的“打招呼”的话语，输出例如“喂！”这样的语音、或者在游戏画面上显示“喂！”的字幕(对话框)。
另一方面，在图19的(B)中，用户在与角色CH的距离LC近的状态下行使了“打招呼”这一指令CM3。该情况下，作为用户的“打招呼”的话语，输出例如“没问题吧？”、“在努力吗？”这样的话语的语音、或者在游戏画面上显示这些话语的字幕。
即，在图19的(A)中，“打招呼”这一指令CM3的效果的内容为“喂！”这一话语的语音输出(字幕显示)这样的内容。相对于此，在图19的(B)中，通过使距离LC靠近，变化为“没问题吧？”、“在努力吗？”这一话语的语音输出这样的内容。
这样，即使是相同的“打招呼”这一指令CM3，该指令的效果的内容也根据用户PL与角色CH的位置关系而变化。因此，能够实现用户的虚拟现实感、游戏表现的多样性的提高等。
图20的(A)、图20的(B)是使与用户PL和角色CH的视线关系信息相应的指令的效果激活的方法的说明图。
例如，在图20的(A)、图20的(B)中，根据用户PL与角色CH的视线关系信息而改变指令的效果的程度、效果的内容。在图20的(A)、图20的(B)中，视线关系信息是表示用户PL的视线方向VL与角色CH的位置PC、视线方向VLC的关系的信息。
于是，在图20的(A)、图20的(B)中，用户选择并行使了“提供建议”这一指令CM5，但在图20的(A)中，用户PL的视线方向VL未朝向角色CH的位置PC的方向。相对于此，在图20的(B)中，用户PL的视线方向VL朝向角色CH的位置PC的方向。另外，在图20的(A)中，用户PL的视线方向VL与角色CH的视线方向VLC不一致。相对于此，在图20的(B)中，视线方向VL与VLC一致。
该情况下，在本实施方式中，如图20的(A)、图20的(B)所示，即使用户行使了同一指令CM5，也根据视线关系信息而改变通过指令CM2激活的效果的程度、效果的内容。
例如，在图20的(A)的视线关系的情况下，作为通过“提供建议”这一指令CM5激活的效果的内容，进行“普通的建议”。例如，以普通的语调提供普通内容的建议。于是，作为指令CM5的“普通的建议”的效果，作为角色CH的游戏参数的动力提高，但在图20的(A)中，如B1所示，其提高程度小。
另一方面，在图20的(B)的视线关系的情况下，作为“提供建议”这一指令CM5的效果的内容，进行“恳切的建议”。例如，以恳切的语调提供充满干劲这样的内容的建议。于是，作为指令CM5的“恳切的建议”的效果，角色CH的动力提高，而且在图20的(B)中，如B2所示，其提高程度大。
这样，如图20的(A)所示，与用户不看角色CH而看向别处行使了“提供建议”的指令CM5时相比，如图20的(B)所示，用户认真看着角色CH行使了指令CM5时，建议的内容更好，而且作为建议的效果的动力的提高程度也变大。因此，用户可以感觉到好像朝向眼前的异性说出建议的话语一样的感觉，从而可以大幅提高用户的虚拟现实感。
图21是使与用户的注视信息相应的指令的效果激活的方法的说明图。例如，在图21中，使与用户正在注视的角色CH的部位的信息即注视部位信息相应的指令的效果激活。
具体而言，在图21中，行使了“触碰”这一指令CM4。在此，如图21的C1所示，假设用户一边注视作为角色CH的部位的肩膀，一边行使了“触碰”这一指令CM4。该情况下，显示表现用户触碰角色CH的肩膀的场景的图像(影像)。例如，显示用户的手(对象)出现在画面上，而且该手触碰角色CH的肩膀这样的图像。另一方面，如图21的C2所示，假设用户一边注视作为角色CH的部位的头部(前额)，一边行使了“触碰”这一指令CM4。该情况下，显示表现用户触碰角色CH的头部的场景的图像。例如，显示用户的手出现在画面上，而且该手触碰角色CH的头部这样的图像。
这样，即使在行使了相同的“触碰”这一指令CM4的情况下，也根据用户注视的角色CH的部位而进行不同内容的动作的“触碰”。并且，由于是对用户注视的部分进行用户的动作，因此，用户能够感觉到真实触碰角色CH一样的感觉，从而能够提高用户的虚拟现实感。
根据以上那样的本实施方式的指令处理的方法，能够进一步提高用户的虚拟现实感。另一方面，在本实施方式那样的指令处理的方法中，如图6、图21所示，配置并显示多个信息显示物。因此，容易产生信息显示物与虚拟空间内的其它对象的冲突等问题。关于这一点，在本实施方式中，在信息显示物与对象成为冲突等的位置关系的情况下，也执行变更信息显示物或对象的显示形态的处理，因而能够在HMD中显示更加适当的显示图像。
3.5处理例
接着，使用图22的流程图对本实施方式的处理例进行说明。首先，获取用户的视点信息的跟踪信息(步骤S1)。例如，获取通过在图2的(A)～图3的(B)等中说明的跟踪处理而得到的跟踪信息。然后，根据所获取的跟踪信息，以追随用户的视点变化的方式控制虚拟相机(步骤S2)。例如，以在现实世界中用户使视线方向朝向上下左右方向时，与此对应地使虚拟空间中的虚拟相机的视线方向也朝向上下左右方向的方式控制虚拟相机。另外，以在现实世界中用户的视点位置在上下左右方向移动时，与此对应地使虚拟空间中的虚拟相机的视点位置也在上下左右方向移动的方式控制虚拟相机。
接着，判定信息显示物与对象的位置关系(步骤S3)。例如，通过图15的(A)～图17的(B)中说明的方法判定两者的位置关系。然后，判断信息显示物与对象是否成为冲突或接近的位置关系(步骤S4)。然后，在成为冲突或接近的位置关系的情况下，执行信息显示物或对象的显示形态的变更处理(步骤S5)。例如，执行在图13的(A)～图14的(C)中说明的显示形态的变更处理。然后，生成在虚拟空间中能够从虚拟相机看到的图像，并显示在HMD中(步骤S6)。例如，作为能够从虚拟相机看到的图像，生成立体的左眼用、右眼用的图像并显示于HMD中。
此外，如上所述，对本实施方式详细进行了说明，但是，本领域技术人员可以容易地理解，能够实施实质上不脱离本发明的新事项和效果的多种变形。因此，这样的变形例全部包含在本发明的范围内。例如，在说明书或者附图中，至少一次与更为广义或者同义的不同术语(视点变化、移动体、装备等)同时记载的术语(视线方向的变化、角色、书等)，在说明书或者附图的任意位置均可替换为该不同术语。另外，虚拟空间的设定处理、虚拟相机的控制处理、信息显示物的配置处理、显示形态的变更处理、位置关系的判定处理等也不限定于本实施方式中说明的处理，与其等效的方法、处理、构成也包含在本发明的范围内。另外，本发明能够适用于各种游戏。另外，本发明能够适用于工作用游戏装置、家庭用游戏装置、或者多个用户参加的大型游乐设施系统等的各种模拟系统。
附图标记说明
DSA、DSB、DSC、DSD1、DSD2、DSE1～DSE3 信息显示物、
DS、DS1、DS2 信息显示物、
CH 角色(移动体)、
BK 书(装备)、
CT 窗帘(固定物)、
WL 墙壁(背景)、
OB、OB1、OB2 对象、
PL 用户、
VP 视点、
VL 视线方向、
100 处理部、
102 输入处理部、
110 运算处理部、
112 游戏处理部、
114 移动体处理部、
115 判定部、
116 虚拟空间设定部、
118 虚拟相机控制部、
120 显示处理部、
130 声音处理部、
140 输出处理部、
150 拍摄部、
151、152 第一、第二相机、
160 操作部、
166、167 游戏控制器、
170 存储部、
172 对象信息存储部、
178 描绘缓冲器、
180 信息存储介质、
192 声音输出部、
194 I/F部、
195 便携式信息存储介质、
196 通信部、
200 HMD(头部佩戴式显示装置)、
201～209 受光元件、
210 传感器部、
220 显示部、
231～238 发光元件、
240 处理部、
260 头带、
270 耳机、
280、284 基站

Claims (15)

1.一种模拟系统，其特征在于，包括：
虚拟空间设定部，执行被配置多个对象的虚拟空间的设定处理；
虚拟相机控制部，执行与佩戴头部佩戴式显示装置的用户的视点对应的虚拟相机的控制处理；以及
显示处理部，生成在所述虚拟空间中能够从所述虚拟相机看到的图像作为所述头部佩戴式显示装置的显示图像，
所述虚拟空间设定部将被控制为追随所述用户的视点变化的至少一个信息显示物配置于所述虚拟空间中，
在所述信息显示物与所述虚拟空间的对象成为给定的位置关系时，所述显示处理部执行所述信息显示物或所述对象的显示形态的变更处理，并且，在所述信息显示物为第一种类的情况下，所述显示处理部变更所述对象的显示形态，在所述信息显示物为第二种类的情况下，所述显示处理部变更所述信息显示物的显示形态。
2.根据权利要求1所述的模拟系统，其特征在于，
所述显示处理部执行与所述信息显示物的优先级或重要度相应的所述显示形态的变更处理。
3.根据权利要求2所述的模拟系统，其特征在于，
所述显示处理部使用与所述信息显示物建立关联的所述优先级或所述重要度执行所述显示形态的变更处理。
4.根据权利要求1至3中任一项所述的模拟系统，其特征在于，
所述显示处理部执行与从所述信息显示物被显示起所经过的时间相应的所述显示形态的变更处理。
5.根据权利要求1至3中任一项所述的模拟系统，其特征在于，
所述显示处理部执行所述信息显示物或所述对象的消除处理、所述信息显示物或所述对象的半透明化处理、所述信息显示物对所述用户的视线方向的追随的解除处理、所述信息显示物或所述对象的移动处理、所述信息显示物或所述对象的尺寸变更处理或者所述信息显示物或所述对象的颜色信息变更处理，来作为所述显示形态的变更处理。
6.根据权利要求1至3中任一项所述的模拟系统，其特征在于，
所述信息显示物是用于显示说明的显示物、用于显示状态的显示物、用于显示对话的显示物、用于选择指令的显示物或者用于显示菜单的显示物。
7.根据权利要求1至3中任一项所述的模拟系统，其特征在于，
所述对象是游戏中出现的移动体、固定物、装备或背景的对象。
8.根据权利要求1至3中任一项所述的模拟系统，其特征在于，
所述模拟系统包括判定所述信息显示物与所述对象的位置关系的判定部，
在通过所述判定部判定为所述信息显示物与所述对象成为所述给定的位置关系时，所述显示处理部执行所述显示形态的变更处理。
9.根据权利要求8所述的模拟系统，其特征在于，
在通过所述判定部判定为所述信息显示物与所述对象成为冲突的位置关系或接近的位置关系时，所述显示处理部执行所述显示形态的变更处理。
10.根据权利要求8所述的模拟系统，其特征在于，
所述判定部根据所述信息显示物和所述对象的三维坐标值、所述信息显示物和所述对象的深度值或者将所述信息显示物和所述对象投影至平面时的二维坐标值来判定所述位置关系。
11.根据权利要求1至3中任一项所述的模拟系统，其特征在于，
所述虚拟空间设定部以追随所述用户的视点变化的方式将所述信息显示物配置在所述用户的视线方向上的给定的深度位置处。
12.根据权利要求1至3中任一项所述的模拟系统，其特征在于，
所述虚拟相机控制部根据所述用户的视点信息的跟踪信息控制所述虚拟相机，使得追随所述用户的视点变化。
13.根据权利要求1至3中任一项所述的模拟系统，其特征在于，
所述模拟系统包括执行游戏处理的游戏处理部，
所述游戏处理部执行使作为所述用户的游戏对象的角色的信息和所述用户的视点信息的相应的指令的效果激活的处理。
14.一种处理方法，其特征在于，在所述处理方法中执行以下处理：
虚拟空间设定处理，设定被配置多个对象的虚拟空间；
虚拟相机控制处理，控制与佩戴头部佩戴式显示装置的用户的视点对应的虚拟相机；以及
显示处理，生成在所述虚拟空间中能够从所述虚拟相机看到的图像作为所述头部佩戴式显示装置的显示图像，
在所述虚拟空间设定处理中，将被控制为追随所述用户的视点变化的至少一个信息显示物配置在所述虚拟空间中，
在所述显示处理中，在所述信息显示物与所述虚拟空间的对象成为给定的位置关系时，执行所述信息显示物或所述对象的显示形态的变更处理，并且，在所述信息显示物为第一种类的情况下，变更所述对象的显示形态，在所述信息显示物为第二种类的情况下，变更所述信息显示物的显示形态。
15.一种计算机能够读取的信息存储介质，其特征在于，
存储有使计算机作为虚拟空间设定部、虚拟相机控制部以及显示处理部发挥作用的程序，
所述虚拟空间设定部执行被配置多个对象的虚拟空间的设定处理，
所述虚拟相机控制部执行与佩戴头部佩戴式显示装置的用户的视点对应的虚拟相机的控制处理，
所述显示处理部生成在所述虚拟空间中能够从所述虚拟相机看到的图像作为所述头部佩戴式显示装置的显示图像，
所述虚拟空间设定部将被控制为追随所述用户的视点变化的至少一个信息显示物配置在所述虚拟空间中，
在所述信息显示物与所述虚拟空间的对象成为给定的位置关系时，所述显示处理部执行所述信息显示物或所述对象的显示形态的变更处理，并且，在所述信息显示物为第一种类的情况下，所述显示处理部变更所述对象的显示形态，在所述信息显示物为第二种类的情况下，所述显示处理部变更所述信息显示物的显示形态。
CN201780056299.4A 2016-09-14 2017-09-12 模拟系统、处理方法以及信息存储介质 Active CN109716397B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016179889A JP6298130B2 (ja) 2016-09-14 2016-09-14 シミュレーションシステム及びプログラム
JP2016-179889 2016-09-14
PCT/JP2017/032826 WO2018051969A1 (ja) 2016-09-14 2017-09-12 シミュレーションシステム、処理方法及び情報記憶媒体

Publications (2)

Publication Number Publication Date
CN109716397A CN109716397A (zh) 2019-05-03
CN109716397B true CN109716397B (zh) 2022-12-16

Family

ID=61619182

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780056299.4A Active CN109716397B (zh) 2016-09-14 2017-09-12 模拟系统、处理方法以及信息存储介质

Country Status (4)

Country Link
US (1) US10744411B2 (zh)
JP (1) JP6298130B2 (zh)
CN (1) CN109716397B (zh)
WO (1) WO2018051969A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5724544B2 (ja) * 2011-03-31 2015-05-27 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
JP2017211694A (ja) * 2016-05-23 2017-11-30 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2018116537A (ja) * 2017-01-19 2018-07-26 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US20180268614A1 (en) * 2017-03-16 2018-09-20 General Electric Company Systems and methods for aligning pmi object on a model
CN116328317A (zh) * 2018-02-06 2023-06-27 日本聚逸株式会社 应用处理系统、应用处理方法以及应用处理程序
KR102664710B1 (ko) 2018-08-08 2024-05-09 삼성전자주식회사 외부 객체의 위치의 변화에 따라 외부 객체에 대응하는 아바타를 표시하기 위한 전자 장치
JP7304701B2 (ja) * 2019-01-28 2023-07-07 株式会社コーエーテクモゲームス ゲームプログラム、記録媒体、ゲーム処理方法
JP6688423B1 (ja) * 2019-08-20 2020-04-28 任天堂株式会社 情報処理システム、情報処理プログラム、情報処理装置、および情報処理方法
CN111626264B (zh) * 2020-06-06 2020-12-08 金宝兴电子(深圳)有限公司 一种实景反馈式模拟驾驶方法、装置及服务器

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005327125A (ja) * 2004-05-14 2005-11-24 Mitsubishi Precision Co Ltd 衝突検知方法及び衝突検知装置
CN103493106A (zh) * 2011-03-29 2014-01-01 高通股份有限公司 使用骨骼跟踪来选择性地将手遮蔽在物理表面上的虚拟投影之上
CN104076513A (zh) * 2013-03-26 2014-10-01 精工爱普生株式会社 头戴式显示装置、头戴式显示装置的控制方法、以及显示系统
CN104995583A (zh) * 2012-12-13 2015-10-21 微软技术许可有限责任公司 用于混合现实环境的直接交互系统
JP2015231445A (ja) * 2014-06-09 2015-12-24 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07261112A (ja) 1994-03-22 1995-10-13 Hitachi Ltd 頭部搭載型ディスプレイ装置
US6987512B2 (en) * 2001-03-29 2006-01-17 Microsoft Corporation 3D navigation techniques
JP4151982B2 (ja) * 2006-03-10 2008-09-17 任天堂株式会社 動き判別装置および動き判別プログラム
JP2008136694A (ja) * 2006-12-01 2008-06-19 Namco Bandai Games Inc プログラム、情報記憶媒体及びゲーム装置
JP5176112B2 (ja) * 2008-07-03 2013-04-03 財団法人ヒューマンサイエンス振興財団 制御システム及び制御方法
US8619005B2 (en) 2010-09-09 2013-12-31 Eastman Kodak Company Switchable head-mounted display transition
US9345957B2 (en) * 2011-09-30 2016-05-24 Microsoft Technology Licensing, Llc Enhancing a sport using an augmented reality display
US9454849B2 (en) 2011-11-03 2016-09-27 Microsoft Technology Licensing, Llc Augmented reality playspaces with adaptive game rules
JP5365684B2 (ja) 2011-12-27 2013-12-11 株式会社ニコン 制御装置、及びヘッドマウントディスプレイ装置
US9219901B2 (en) 2012-06-19 2015-12-22 Qualcomm Incorporated Reactive user interface for head-mounted display
US9310611B2 (en) 2012-09-18 2016-04-12 Qualcomm Incorporated Methods and systems for making the use of head-mounted displays less obvious to non-users
JP6007712B2 (ja) * 2012-09-28 2016-10-12 ブラザー工業株式会社 ヘッドマウントディスプレイ、それを作動させる方法およびプログラム
US9908048B2 (en) * 2013-06-08 2018-03-06 Sony Interactive Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display
CN106233227B (zh) * 2014-03-14 2020-04-28 索尼互动娱乐股份有限公司 具有体积感测的游戏装置
KR102391860B1 (ko) 2014-05-09 2022-04-29 소니그룹주식회사 정보 처리 시스템 및 정보 처리 방법
US9990774B2 (en) * 2014-08-08 2018-06-05 Sony Interactive Entertainment Inc. Sensory stimulus management in head mounted display

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005327125A (ja) * 2004-05-14 2005-11-24 Mitsubishi Precision Co Ltd 衝突検知方法及び衝突検知装置
CN103493106A (zh) * 2011-03-29 2014-01-01 高通股份有限公司 使用骨骼跟踪来选择性地将手遮蔽在物理表面上的虚拟投影之上
CN104995583A (zh) * 2012-12-13 2015-10-21 微软技术许可有限责任公司 用于混合现实环境的直接交互系统
CN104076513A (zh) * 2013-03-26 2014-10-01 精工爱普生株式会社 头戴式显示装置、头戴式显示装置的控制方法、以及显示系统
JP2015231445A (ja) * 2014-06-09 2015-12-24 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置

Also Published As

Publication number Publication date
WO2018051969A1 (ja) 2018-03-22
CN109716397A (zh) 2019-05-03
US10744411B2 (en) 2020-08-18
JP6298130B2 (ja) 2018-03-20
JP2018045458A (ja) 2018-03-22
US20190247751A1 (en) 2019-08-15

Similar Documents

Publication Publication Date Title
CN109690633B (zh) 模拟系统、处理方法以及信息存储介质
CN109716397B (zh) 模拟系统、处理方法以及信息存储介质
CN106023289B (zh) 图像生成系统及图像生成方法
JP6761340B2 (ja) シミュレーションシステム及びプログラム
US20190079597A1 (en) Information processing method, computer and program
US11738270B2 (en) Simulation system, processing method, and information storage medium
CN109643161A (zh) 动态进入和离开由不同hmd用户浏览的虚拟现实环境
US20180196506A1 (en) Information processing method and apparatus, information processing system, and program for executing the information processing method on computer
US10894211B2 (en) Information processing method, apparatus, and system for executing the information processing method
JP2019175323A (ja) シミュレーションシステム及びプログラム
US10515481B2 (en) Method for assisting movement in virtual space and system executing the method
JP7144796B2 (ja) シミュレーションシステム及びプログラム
JP2019152899A (ja) シミュレーションシステム及びプログラム
US20190114841A1 (en) Method, program and apparatus for providing virtual experience
JP6794390B2 (ja) シミュレーションシステム及びプログラム
JP7104539B2 (ja) シミュレーションシステム及びプログラム
JP7030669B2 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP6419268B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP2019036122A (ja) 情報処理方法、プログラム、およびコンピュータ
JP2018171309A (ja) シミュレーションシステム及びプログラム
US20180246579A1 (en) Method executed on computer for communicating via virtual space, program for executing the method on computer, and computer apparatus therefor
JP7111848B2 (ja) プログラム、情報処理装置、および方法
JP2019166325A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP2019033894A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP2018112885A (ja) プログラム及び画像生成システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant