CN109478340B - 模拟系统、处理方法以及信息存储介质 - Google Patents

模拟系统、处理方法以及信息存储介质 Download PDF

Info

Publication number
CN109478340B
CN109478340B CN201780043158.9A CN201780043158A CN109478340B CN 109478340 B CN109478340 B CN 109478340B CN 201780043158 A CN201780043158 A CN 201780043158A CN 109478340 B CN109478340 B CN 109478340B
Authority
CN
China
Prior art keywords
virtual camera
user
moving
moving body
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780043158.9A
Other languages
English (en)
Other versions
CN109478340A (zh
Inventor
石井嘉明
牧野伸哉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bandai Namco Entertainment Inc
Original Assignee
Bandai Namco Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bandai Namco Entertainment Inc filed Critical Bandai Namco Entertainment Inc
Publication of CN109478340A publication Critical patent/CN109478340A/zh
Application granted granted Critical
Publication of CN109478340B publication Critical patent/CN109478340B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00Training appliances or apparatus for special sports
    • A63B69/18Training appliances or apparatus for special sports for skiing
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/24Constructional details thereof, e.g. game controllers with detachable joystick handles
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/52Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525Changing parameters of virtual cameras
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/52Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525Changing parameters of virtual cameras
    • A63F13/5255Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55Controlling game characters or game objects based on the game progress
    • A63F13/57Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80Special adaptations for executing a specific game genre or game mode
    • A63F13/807Gliding or sliding on surfaces, e.g. using skis, skates or boards
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • G06F3/0308Detection arrangements using opto-electronic means comprising a plurality of distinctive and separately oriented light emitters or reflectors associated to the pointing device, e.g. remote cursor controller with distinct and separately oriented LEDs at the tip whose radiations are captured by a photo-detector associated to the screen
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • A63B2071/0638Displaying moving images of recorded environment, e.g. virtual environment
    • A63B2071/0644Displaying moving images of recorded environment, e.g. virtual environment with display speed of moving landscape controlled by the user's performance
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8041Skating using skis, skates or board
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Cardiology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开了模拟系统、处理方法以及信息存储介质,模拟系统包括:输入处理部,取得佩戴HMD的用户的视点信息的跟踪信息;移动体处理部,进行使与用户对应的移动体(CH)在虚拟空间中移动的处理;虚拟相机控制部,进行被设定为用户的第一人称视点的虚拟相机(VC)的控制;以及显示处理部,生成在虚拟空间中从虚拟相机上能够看见的图像作为HMD的显示图像,虚拟相机控制部根据跟踪信息来使虚拟相机的位置、姿势变化,另一方面,按如下方式设定虚拟相机:在移动体的行进方向发生了变化的情况下,也对虚拟相机的俯仰和滚转中的至少一个姿势变化进行无效或限制。

Description

模拟系统、处理方法以及信息存储介质
技术领域
本发明涉及模拟系统、处理方法以及信息存储介质等。
背景技术
以往,已知有一种模拟系统,该模拟系统通过用户将HMD(头戴式显示装置)佩戴于头部并观看在HMD的画面中显示的图像,能够感受到所谓的虚拟现实(VR)的世界。作为这样的模拟系统的现有技术,存在例如专利文献1等中所公开的技术。
专利文献1日本特开平11-309269号公报
发明内容
使用了HMD的模拟系统将在虚拟空间中从虚拟相机上能够看见的图像显示于HMD。通过在HMD上显示这样的图像,广阔的VR空间沿用户的视野的整个周围扩展,因此能够显著提高用户的虚拟现实感。
但是,当在虚拟空间中对应于用户的角色等移动体移动而虚拟相机随之发生了移动时,存在HMD的显示图像与用户的意思无关地剧烈变化的情况。当角色等移动体在例如具有凹凸的路线上移动时,HMD的显示图像(影像)也会随着路线的凹凸而上下等剧烈地摇晃。进而,这样的显示图像的摇晃会导致用户的3D眩晕等问题。
根据本发明的几个方面,能够提供一种能够抑制以显示图像的摇晃等为原因的3D眩晕等问题的产生的模拟系统、处理方法以及信息存储介质等。
本发明的一方面涉及一种模拟系统,包括:输入处理部,取得佩戴头戴式显示装置的用户的视点信息的跟踪信息;移动体处理部,进行使与所述用户对应的移动体在虚拟空间中移动的处理;虚拟相机控制部,进行被设定为所述用户的第一人称视点的虚拟相机的控制;以及显示处理部,生成在所述虚拟空间中从所述虚拟相机上能够看见的图像作为所述头戴式显示装置的显示图像,所述虚拟相机控制部根据所述跟踪信息来使所述虚拟相机的位置、姿势变化,另一方面,所述虚拟相机控制部按如下方式设定所述虚拟相机:在所述移动体的行进方向发生了变化的情况下,也对所述虚拟相机的俯仰和滚转中的至少一个姿势变化进行无效或限制。
根据本发明的一方面,进行使与用户对应的移动体在虚拟空间中移动的处理,作为头戴式显示装置的显示图像,生成从被设定为该用户的第一人称视点的虚拟相机上能够看见的图像。而且,取得佩戴头戴式显示装置的用户的视点信息的跟踪信息,基于该跟踪信息,虚拟相机的位置、姿势变化。另一方面,在移动体的行进方向发生了变化的情况下,也对虚拟相机的俯仰、滚转姿势变化进行无效或限制。通过像这样根据用户的视点信息的跟踪信息来使虚拟相机的位置、姿势变化,从而能够将虚拟现实感高的显示图像显示于头戴式显示装置。另一方面,通过在移动体的行进方向发生了变化的情况下也对虚拟相机的俯仰、滚转姿势变化进行无效或限制,从而能够抑制以显示图像的摇晃等为原因的3D眩晕等问题的产生。
另外,在本发明的一方面中,也可以是,所述输入处理部取得通过所述头戴式显示装置的跟踪处理而得到的所述跟踪信息,所述跟踪信息包括从所述用户的初始视点信息起的视点信息的变化信息。
这样一来,通过进行头戴式显示装置的跟踪处理并取得从初始视点信息起的变化信息作为跟踪信息,从而能够根据用户的视点信息来使虚拟相机的位置、姿势变化。
另外,在本发明的一方面中,也可以是,所述移动体处理部进行使所述移动体按如下方式移动的处理:在所述移动体的行进方向发生了变化的情况下,所述移动体的俯仰和滚转中的至少一个姿势变化也被无效或限制,所述虚拟相机控制部将所述虚拟相机设定于所述姿势变化已被无效或限制的所述移动体的视点的位置。
这样一来,将虚拟相机设定于在移动体的行进方向发生了变化的情况下俯仰、滚转姿势变化也被无效或限制那样的移动体的视点的位置,从而能够将虚拟相机的俯仰、滚转姿势变化进行无效或限制。
另外,本发明的一方面涉及一种模拟系统,包括:移动体处理部,进行使与所述用户对应的移动体在虚拟空间中移动的处理;虚拟相机控制部,进行被设定为所述用户的第一人称视点的虚拟相机的控制;以及显示处理部,生成在所述虚拟空间中从所述虚拟相机上能够看见的图像作为显示图像,所述移动体处理部进行使所述移动体按如下方式移动的处理:在所述移动体的行进方向发生了变化的情况下,所述移动体的俯仰和滚转中的至少一个姿势变化也被无效或限制,所述虚拟相机控制部将所述虚拟相机设定于所述姿势变化已被无效或限制的所述移动体的视点的位置。
根据本发明的一方面,进行使与用户对应的移动体在虚拟空间中移动的处理,生成从被设定为该用户的第一人称视点的虚拟相机上能够看见的图像作为显示图像。而且,将虚拟相机设定于在移动体的行进方向发生了变化的情况下俯仰、滚转姿势变化也被无效或被限制那样的移动体的视点的位置。这样一来,能够将虚拟相机的俯仰、滚转姿势变化无效或限制,能够抑制以显示图像的摇晃等为原因的3D眩晕等问题的产生。
另外,在本发明的一方面中,也可以是,进行在世界坐标系下使所述移动体的局部坐标系的基准位置移动的处理,并且以所述局部坐标系相对于所述世界坐标系的俯仰和滚转中的至少一个旋转移动被无效或者被限制的方式设定所述局部坐标系,在所述局部坐标系下的所述移动体的视点的位置设定所述虚拟相机的视点坐标系。
通过进行这样的坐标系的设定,能够将虚拟相机设定于在移动体的行进方向发生了变化的情况下俯仰、滚转姿势变化也被无效或限制那样的移动体的视点的位置。
另外,在本发明的一方面中,也可以是,所所述移动体处理部进行使所述移动体在所述路线上按如下方式移动的处理:在所述移动体的行进方向因所述虚拟空间的路线的状态变化而发生了变化的情况下所述移动体的俯仰和滚转中的至少一个姿势变化也被无效或者限制,所述移动体处理部针对附随于所述移动体的给定目标,根据所述路线的状态而使姿势变化。
这样一来,能够防止在移动体的俯仰、滚转姿势变化已被无效或限制的情况下对附随于移动体的目标生成不自然的图像。
另外,在本发明的一方面中,也可以是,所述显示处理部针对对战用图像、观赏用图像或演示图像而生成显示有俯仰和滚转中的至少一个姿势变化未被无效或限制的第二移动体的图像。
这样一来,对于对战用图像、观赏用图像或演示图像,使用俯仰、滚转姿势变化未被无效或限制那样的第二移动体来生成,因此能够防止生成不自然的图像的情况。
另外,在本发明的一方面中,也可以是,所述虚拟相机控制部根据给定条件是否已成立来开启或关闭将所述移动体的俯仰和滚转中的至少一个姿势变化无效或限制的处理。
这样一来,能够根据给定条件是否已成立来开启或者关闭将移动体的俯仰、滚转姿势变化无效或限制的处理。
另外,在本发明的一方面中,也可以是,所述虚拟相机控制部根据在所述虚拟空间中所述移动体移动的路线的状况来开启或关闭将所述移动体的俯仰、滚转中的至少一个姿势变化无效或限制的处理。
这样一来,能够根据移动体移动的路线的状况来开启或者关闭将移动体的俯仰、滚转姿势变化无效或限制的处理。
另外,在本发明的一方面中,也可以是,所述移动体处理部进行使所述移动体按如下方式移动的处理:所述移动体的姿势根据所述移动体的行进方向的变化而变化,所述虚拟相机控制部按如下方式设定所述虚拟相机:在所述移动体的姿势根据所述移动体的行进方向的变化而发生了变化的情况下,也对所述虚拟相机的俯仰和滚转中的至少一个姿势变化进行无效或限制。
这样一来,移动体的姿势根据移动体的行进方向的变化而变化,从而能够生成看起来更自然的图像,并且通过将虚拟相机的俯仰、滚转姿势变化无效或者限制,能够抑制3D眩晕的产生等。
另外,在本发明的一方面中,也可以是,所述移动体处理部以所述虚拟相机的位置和姿势中的至少一方为基准来设定所述移动体的姿势。
这样一来,能够以俯仰、滚转姿势变化已被无效或限制的虚拟相机的位置、姿势为基准来设定移动体的姿势,能够生成看起来更自然的图像。
另外,在本发明的一方面中,也可以是,所述模拟系统包括可动框体,该可动框体根据所述移动体的行进方向的变化或所述移动体移动的路线的状况来使所述用户的玩游戏位置变化。
这样一来,通过利用可动框体来使用户的玩游戏位置变化,从而能够使用户感受到移动体的行进方向的变化和路线的状况,能够进一步抑制3D眩晕的产生等。
另外,在本发明的一方面中,也可以是,所述模拟系统包括声音处理部,该声音处理部生成与所述移动体的行进方向的变化相应的声音或者与所述移动体移动的路线的状况相应的输出音(可以使计算机作为声音处理部而发挥功能)。
这样一来,能够通过输出音的变化来使用户在听觉上识别移动体的行进方向的变化和路线的状况,能够进一步抑制3D眩晕的产生等。
另外,在本发明的一方面中,也可以是,所述虚拟相机控制部基于所述用户的设定信息或所述用户的玩游戏历史记录信息来设定将所述虚拟相机的所述姿势变化进行无效或限制的处理的开启或关闭。
这样一来,能够根据用户已输入的设定信息、用户的过去的玩游戏历史记录信息等来设定将虚拟相机的俯仰、滚转姿势变化无效或限制的处理的开启或关闭。
另外,本发明的其他方面涉及一种处理方法,其进行:输入处理,取得佩戴头戴式显示装置的用户的视点信息的跟踪信息;移动体处理,进行使与所述用户对应的移动体在虚拟空间中移动的处理;虚拟相机控制处理,进行被设定为所述用户的第一人称视点的虚拟相机的控制;以及显示处理,生成在所述虚拟空间中从所述虚拟相机上能够看见的图像作为所述头戴式显示装置的显示图像,在所述虚拟相机控制处理中,根据所述跟踪信息来使所述虚拟相机的位置、姿势变化,另一方面,按如下方式设定所述虚拟相机:在所述移动体的行进方向发生了变化的情况下,也对所述虚拟相机的俯仰和滚转中的至少一个姿势变化进行无效或限制。
另外,本发明的其他方面涉及一种处理方法,其进行:移动体处理,进行使与所述用户对应的移动体在虚拟空间中移动的处理;虚拟相机控制处理,进行被设定为所述用户的第一人称视点的虚拟相机的控制;以及显示处理,生成在所述虚拟空间中从所述虚拟相机上能够看见的图像作为显示图像,在所述移动体处理中,进行使所述移动体按如下方式移动的处理:在所述移动体的行进方向发生了变化的情况下所述移动体的俯仰和滚转中的至少一个姿势变化也被无效或限制,在所述虚拟相机控制处理中,将所述虚拟相机设定于所述姿势变化已被无效或限制的所述移动体的视点的位置。
附图说明
图1是示出本实施方式的模拟系统的结构例的框图。
图2的(A)、图2的(B)是在本实施方式中使用的HMD的一个例子。
图3的(A)、图3的(B)是在本实施方式中使用的HMD的其他例子。
图4是作为模拟系统的一个例子的滑雪模拟器的结构例。
图5是滑雪模拟器中的游戏图像的例子。
图6是作为模拟系统的一个例子的机器人模拟器的结构例。
图7是机器人模拟器中的游戏图像的例子。
图8是虚拟相机伴随于移动体的行进方向的变化而姿势变化的问题点的说明图。
图9的(A)~图9的(C)是基于跟踪信息来使虚拟相机的位置、姿势变化的方法的说明图。
图10是说明基于跟踪信息来使虚拟相机的位置、姿势变化的处理的具体例的流程图。
图11是使虚拟相机的姿势变化无效的本实施方式的方法的说明图。
图12是使虚拟相机的姿势变化无效的本实施方式的方法的说明图。
图13是示出虚拟相机的姿势变化的无效处理的第一实现方法的说明图。
图14是世界坐标系、局部坐标系、视点坐标系的设定方法的说明图。
图15是关于附随目标的姿势的控制方法的说明图。
图16是对战用图像、观赏用图像、演示图像的生成方法的说明图。
图17的(A)、图17的(B)是设定使移动体的姿势变化无效的处理的开启或关闭的方法的说明图。
图18是示出虚拟相机的姿势变化的无效处理的第二实现方法的说明图。
图19的(A)、图19的(B)是以虚拟相机的位置、姿势为基准来设定移动体的姿势的方法的说明图。
图20是可动框体、输出音的控制方法的说明图。
图21是基于用户的设定信息而开启或关闭虚拟相机的姿势变化的无效处理的方法的说明图。
图22是基于玩游戏历史记录而开启或关闭虚拟相机的姿势变化的无效处理的方法的说明图。
图23是示出本实施方式的详细的处理例的流程图。
具体实施方式
以下,对本实施方式进行说明。需要说明的是,以下说明的本实施方式并非对权利要求书中记载的本发明的内容进行不当限定。另外,在本实施方式中说明的全部结构不一定是本发明的必需构成要件。
1.模拟系统
图1是示出本实施方式的模拟系统(模拟器、游戏系统)的结构例的框图。本实施方式的模拟系统例如是模拟虚拟现实(VR)的系统,能够应用于提供游戏内容的游戏系统、体育比赛模拟器和驾驶模拟器等实时模拟系统、提供影像等内容的内容提供系统、或者实现远程作业的操作系统等各种系统。需要说明的是,本实施方式的模拟系统不限于图1的结构,可以实施省略其构成要素(各部分)的一部分、或追加其他构成要素等各种变形。
可动框体40是使用户的玩游戏位置等变化的框体,例如可动框体40根据移动体的行进方向的变化或移动体移动的路线的状况而使用户的玩游戏位置变化。关于可动框体40的详情将在后面说明。
操作部160是供用户(玩家)输入各种操作信息(输入信息)的部分。操作部160能够通过例如操作按钮、方向指示键、控制杆、手柄、踏板或者杆等各种操作设备来实现。例如在后述的图4中,通过操作部件43、44、脚台45、46等实现了操作部160。在图6中,通过操作杆161、162、加速踏板163、制动踏板164等实现了操作部160。
存储部170存储各种信息。存储部170作为处理部100、通信部196等的工作区域而发挥功能。游戏程序、游戏程序的执行所需的游戏数据保持于该存储部170中。存储部170的功能能够通过半导体存储器(DRAM、VRAM)、HDD(硬盘驱动器)、SSD、光盘装置等来实现。存储部170包括目标信息存储部172、描绘缓冲器178。
信息存储介质180(可由计算机读取的介质)存储程序、数据等,其功能可通过光盘(DVD、BD、CD)、HDD或半导体存储器(ROM)等来实现。处理部100基于存储在信息存储介质180中的程序(数据)来进行本实施方式的各种处理。即,在信息存储介质180中存储有用于使计算机(具备输入装置、处理部、存储部、输出部的装置)作为本实施方式的各部而发挥功能的程序(用于使计算机执行各部的处理的程序)。
HMD200(头戴式显示装置)是佩戴于用户的头部来在用户的眼前显示图像的装置。HMD200优选为非透射型,但也可以为透射型。另外,HMD200也可以是所谓的眼镜型的HMD。
HMD200包括传感器部210、显示部220、处理部240。需要说明的是,也可以实施在HMD200设置发光元件的变形。传感器部210是用于实现例如头跟踪等跟踪处理的部分。例如,通过使用了传感器部210的跟踪处理,确定HMD200的位置、方向。通过确定HMD200的位置、方向,能够确定用户的视点位置、视线方向。
作为跟踪方式,可以采用各种方式。在作为跟踪方式的一个例子的第一跟踪方式中,如在后述的图2的(A)、图2的(B)中详细说明的那样,作为传感器部210,设置多个受光元件(光电二极管等)。进而,通过利用这些多个受光元件来接收来自设置于外部的发光元件(LED等)的光(激光等),从而确定HMD200(用户的头部)在现实世界的三维空间中的位置、方向。在第二跟踪方式中,如在后述的图3的(A)、图3的(B)中详细说明的那样,在HMD200中设置多个发光元件(LED)。进而,通过利用设置在外部的摄像部对来自这些多个发光元件的光进行摄像,从而确定HMD200的位置、方向。在第三跟踪方式中,作为传感器部210而设置运动传感器,使用该运动传感器来确定HMD200的位置、方向。运动传感器可以通过例如加速度传感器、陀螺仪传感器等来实现。通过利用例如使用了三轴加速度传感器和三轴陀螺仪传感器的六轴运动传感器,可以确定HMD200在现实世界的三维空间中的位置、方向。需要说明的是,也可以通过第一跟踪方式和第二跟踪方式的组合、或者第一跟踪方式和第3跟踪方式的组合等,确定HMD200的位置、方向。另外,也可以采用不是通过确定HMD200的位置、方向来确定用户的视点位置、视线方向而是直接确定用户的视点位置、视线方向的跟踪处理。
HMD200的显示部220能够通过例如液晶显示器(LCD)、有机EL显示器等来实现。例如,在HMD200中,作为显示部220,设置有配置于用户的左眼前的第一显示器和配置于右眼前的第二显示器,例如能够进行立体视觉显示。在进行立体视觉显示的情况下,例如生成视差不同的左眼用图像和右眼用图像并在第一显示器上显示左眼用图像、在第二显示器上显示右眼用图像即可。需要说明的是,也可以在1个显示器的第一、第二显示区域显示左眼用图像、右眼用图像。
HMD200的处理部240进行HMD200中所需的各种处理。例如,处理部240进行传感器部210的控制处理、显示部220的显示控制处理等。另外,处理部240也可以进行3D音效(立体音效)处理而实现三维的声音的方向、距离、扩散的再现。
声音输出部192输出由本实施方式生成的声音,能够通过例如扬声器或头戴式耳机等来实现。
I/F(接口)部194进行与便携式信息存储介质195的接口处理,其功能能够通过I/F处理用的ASIC等来实现。便携式信息存储介质195是供用户保存各种信息的介质,是在电源未供给的情况下也保持这些信息的存储的存储装置。便携式信息存储介质195可以通过IC卡(存储卡)、USB存储器、或者磁卡等来实现。
通信部196是经由有线或无线的网络而与外部(其他装置)之间进行通信的部分,其功能可以通过通信用ASIC或通信用处理器等硬件、通信用固件来实现。
需要说明的是,用于使计算机作为本实施方式的各部而发挥功能的程序(数据)也可以从服务器(主机装置)具有的信息存储介质中经由网络以及通信部196而分发至信息存储介质180(或者存储部170)。这样的基于服务器(主机装置)的信息存储介质的使用也能够包含在本发明的范围内。
处理部100(处理器)基于来自操作部160的操作信息、HMD200中的跟踪信息(HMD的位置和方向中的至少一个信息、视点位置和视线方向中的至少一个信息)以及程序等而进行游戏处理(模拟处理)、移动体处理、虚拟相机控制处理、显示处理、或者声音处理等。
处理部100的各部执行的本实施方式的各处理(各功能)能够通过处理器(包括硬件的处理器)来实现。例如,本实施方式的各处理能够通过基于程序等信息进行动作的处理器和存储程序等信息的存储器来实现。处理器例如可以通过单独的硬件来实现各部的功能,或者也可以通过一体的硬件来实现各部的功能。例如,处理器包括硬件,该硬件能够包括处理数字信号的电路和处理模拟信号的电路中的至少一个。例如,处理器也可以由安装在电路基板上的一个或多个电路装置(例如IC等)、一个或多个电路元件(例如电阻、电容器等)构成。处理器例如也可以是CPU(中央处理单元)。但是,处理器并不限定于CPU,能够使用GPU(图形处理单元)或DSP(数字信号处理器)等各种处理器。另外,处理器也可以是基于ASIC的硬件电路。另外,处理器也可以包括处理模拟信号的放大电路、滤波电路等。存储器(存储部170)既可以是SRAM、DRAM等半导体存储器,也可以是寄存器。或者,既可以是硬盘装置(HDD)等磁存储装置,也可以是光学磁盘装置等光学式存储装置。例如,存储器存储有能够由计算机读取的命令,通过由处理器执行该命令,从而实现处理部100的各部的处理(功能)。这里的命令既可以是构成程序的指令集,也可以是对处理器的硬件电路指示动作的命令。
处理部100包括输入处理部102、运算处理部110、输出处理部140。运算处理部110包括游戏处理部112、可动框体处理部113、移动体处理部114、目标空间设定部116、虚拟相机控制部118、显示处理部120、声音处理部130。如上所述,由这些各部执行的本实施方式的各处理能够通过处理器(或者处理器以及存储器)来实现。需要说明的是,可以实施省略这些构成要素(各部分)的一部分、或追加其他构成要素等各种变形。
输入处理部102进行接收操作信息和跟踪信息的处理、从存储部170中读出信息的处理、或经由通信部196来接收信息的处理作为输入处理。例如,输入处理部102进行如下处理作为输入处理:取得用户使用操作部160输入的操作信息和由HMD200的传感器部210等检测出的跟踪信息的处理、从存储部170中读出由读出命令已指定的信息的处理、或从外部装置(服务器等)中经由网络来接收信息的处理。这里,接收处理是指示通信部196接收信息、取得通信部196接收到的信息并写入存储部170的处理等。
运算处理部110进行各种运算处理。例如,进行游戏处理(模拟处理)、移动体处理、虚拟相机控制处理、显示处理、或者声音处理等运算处理。
游戏处理部112(游戏处理的程序模块)进行供用户玩游戏的各种游戏处理。换言之,游戏处理部112(模拟处理部)执行供用户体验虚拟现实(Virtual Reality)的各种模拟处理。游戏处理例如是在满足了游戏开始条件的情况下开始游戏的处理、使已开始的游戏进行的处理、在满足了游戏结束条件的情况下结束游戏的处理、或者运算游戏成绩的处理等。
可动框体处理部113(可动框体处理的程序模块)进行关于可动框体40的各种处理。例如,进行可动框体40的控制处理,或进行用于控制可动框体40的各种信息的检测处理。例如,可动框体处理部113进行后述的图4的空气弹簧部50~53等的控制处理。例如进行用于使空气弹簧部50~53伸缩的控制处理。另外,在进行了基于操作部件43、44的摆动操作或基于脚台45、46的立刃(エッジング)操作的情况下,可动框体处理部113进行该操作信息的检测处理,基于检测出的操作信息来执行可动框体40的控制处理等。另外,可动框体处理部113进行使图6的基部452的姿势变化(俯仰、滚转等)的电动缸(未图示)的控制处理。例如,进行控制电动缸的杆部的直线运动的处理。另外,可动框体处理部113进行图6的操作杆161及162、加速踏板163、制动踏板164的操作信息的检测处理,基于检测出的操作信息来执行可动框体40的控制处理等。
移动体处理部114(移动体处理的程序模块)进行关于在虚拟空间内移动的移动体的各种处理。例如,进行使移动体在作为虚拟空间的目标空间(游戏空间)中移动的处理、使移动体动作的处理。例如,移动体处理部114根据用户通过操作部160已输入的操作信息、已取得的跟踪信息、程序(移动/动作算法)以及各种数据(运动数据)等而进行使移动体(模型目标)在目标空间内(虚拟空间内)移动、或使移动体动作(运动、动画)的控制处理。具体而言,进行按每1帧(例如1/60秒)依次求出移动体的移动信息(位置、旋转角度、速度、或者加速度)、动作信息(部件目标的位置或者旋转角度)的模拟处理。需要说明的是,帧是进行移动体的移动、动作处理(模拟处理)、图像生成处理的时间的单位。
移动体例如是与真实空间的用户(玩家)对应的虚拟空间的虚拟用户(虚拟玩家)、或者该虚拟用户搭乘(操作)的搭乘移动体(操作移动体)等。例如,移动体在后述的图4的滑雪模拟器中是与用户相对应地在虚拟空间中进行滑雪的角色(虚拟用户)。或者在图6的机器人模拟器中是与用户对应的角色(虚拟用户)搭乘的机器人(搭乘移动体)。
目标空间设定部116(目标空间设定处理的程序模块)进行配置有多个目标的目标空间(广义上为虚拟空间)的设定处理。例如进行将表示移动体(人、机器人、车、电车、飞机、船、怪兽或动物等)、地图(地形)、建筑物、观众座位、路线(道路)、树木、壁、水面等显示物的各种目标(由多边形、自由曲面或细分曲面等图元面构成的目标)配置并设定于目标空间中的处理。即,决定目标在世界坐标系下的位置和旋转角度(与朝向、方向同义),在该位置(X、Y、Z)处以该旋转角度(绕X、Y、Z轴的旋转角度)配置目标。具体而言,在存储部170的目标信息存储部172中,与目标编号对应地存储目标(部件目标)在目标空间中的位置、旋转角度、移动速度、移动方向等信息即目标信息。目标空间设定部116例如进行按每个各帧更新该目标信息的处理等。
虚拟相机控制部118(虚拟相机控制处理的程序模块)进行用于生成从目标空间的给定(任意)的视点可见的图像的虚拟相机(视点、基准虚拟相机)的控制处理。例如,进行控制虚拟相机的位置(视点位置)或姿势(视线方向)的处理。具体而言,进行控制虚拟相机的位置(X、Y、Z)、作为姿势信息的旋转角度(绕X、Y、Z轴的旋转角度)的处理(控制视点位置、视线方向或者视场角的处理)。该虚拟相机相当于用户(虚拟用户)的视点。在立体视觉显示的情况下,设定左眼用的第一视点(左眼用的第一虚拟相机)和右眼用的第二视点(右眼用的第二虚拟相机)。
显示处理部120(显示处理的程序模块)进行游戏图像(模拟图像)的显示处理。例如,基于在处理部100中进行的各种处理(游戏处理、模拟处理)的结果而进行描绘处理,由此生成图像,并显示于HMD200的显示部220。具体而言,进行坐标变换(世界坐标变换、摄像机坐标变换)、限幅处理、透视变换、或者光源处理等几何处理,根据该处理结果而生成描绘数据(图元面的顶点的位置坐标、纹理坐标、颜色数据、法线向量或者α值等)。然后,基于该描绘数据(图元面数据),将透视变换后(几何处理后)的目标(1个或多个图元面)描绘在描绘缓冲器178(帧缓冲器、工作缓冲器等能够以像素为单位存储图像信息的缓冲器)中。由此,生成在目标空间(虚拟空间)中从虚拟相机(给定视点、左眼用、右眼用的第一、第二视点)上能够看见的图像。需要说明的是,在显示处理部120中进行的描绘处理能够通过顶点着色器处理、像素着色器处理等来实现。
声音处理部130(声音处理的程序模块)根据由处理部100进行的各种处理的结果来进行声音处理。具体而言,生成乐曲(音乐、BGM)、效果音或声音等游戏音,使游戏音输出到声音输出部192。需要说明的是,也可以通过HMD200的处理部240来实现声音处理部130的声音处理的一部分(例如3D音效处理)。
输出处理部140进行各种信息的输出处理。例如,输出处理部140将信息写入存储部170的处理、经由通信部196而发送信息的处理作为输出处理来进行。例如,输出处理部140进行将由写入命令已指定的信息写入存储部170的处理、经由网络向外部的装置(服务器等)发送信息的处理。发送处理是向通信部196指示信息的发送或者向通信部196指示要发送的信息的处理等。
并且,如图1所示,本实施方式的模拟系统包括输入处理部102、移动体处理部114、虚拟相机控制部118以及显示处理部120。
输入处理部102(输入接收部)取得佩戴HMD200(头戴式显示装置)的用户的视点信息的跟踪信息。例如,获取作为用户的视点位置和视线方向中的至少一个的视点信息的跟踪信息(视点跟踪信息)。该跟踪信息例如能够通过进行HMD200的跟踪处理来取得。需要说明的是,也可以通过跟踪处理来直接取得用户的视点位置、视线方向。
移动体处理部114进行使与用户对应的移动体(虚拟用户、搭乘移动体等)在虚拟空间(目标空间)中移动的处理。例如进行按照每个规定期间(例如每帧)求出移动体的位置、方向的信息的处理,然后进行使移动体在虚拟空间的路线等上移动的处理。另外,移动体处理部114还进行使移动体动作的处理(运动处理)等。
虚拟相机控制部118进行例如被设定为用户的第一人称视点(广义上为用户的视点)的虚拟相机的控制。例如,在与在虚拟空间中移动的移动体的视点对应的位置设定虚拟相机,然后设定虚拟相机的视点位置和视线方向,由此控制虚拟相机的位置(位置坐标)、姿势(绕旋转轴的旋转角度)。显示处理部120生成在虚拟空间中从虚拟相机(用户视点)能够看见的图像作为HMD200的显示图像(显示影像)。例如,生成在作为虚拟空间的目标空间中从给定视点能够看见的图像。所生成的图像优选为立体视觉用图像。
并且,虚拟相机控制部118基于跟踪信息(用户的视点位置和视线方向中的至少一方的信息)来使虚拟相机的位置、姿势变化。例如,虚拟相机控制部118按如下方式设定虚拟相机:虚拟相机的位置(视点位置)、姿势(视线方向)根据用户在实际空间中的视点位置、视线方向的变化而变化。
例如,对虚拟空间中的虚拟用户的视点(第一人称视点)设定虚拟相机。当用户的视点位置和视线方向因佩戴有HMD 200的真实空间(真实世界)的用户摇头或者移动身体等而变化时,虚拟空间的虚拟用户的视点位置和视线方向也与其相应地变化。即,当真实空间中的用户的视点位置和视线方向变化时,虚拟空间中的虚拟相机的位置和姿势与其相应地变化。另外,当由于用户对操作部160进行操作等而虚拟用户(角色)或其搭乘移动体(机器人、电车、车、摩托车、自行车、飞机或船等)在虚拟空间内移动时,虚拟相机的位置(虚拟用户的视点位置)也以追随该移动的方式变化。通过这样做,用户能够体验好像作为自己的分身的虚拟用户或其搭乘移动体在虚拟空间中移动那样的虚拟现实。需要说明的是,虚拟空间中的虚拟用户的视点虽然是例如第一人称视点,但也可以在该第一人称视点的图像中映现例如虚拟用户(角色)的身体的一部分或者映现搭乘移动体的内部情形。
另一方面,虚拟相机控制部118按如下方式设定虚拟相机:即使在移动体的行进方向发生了变化的情况下,也对虚拟相机的俯仰和滚转中的至少一个姿势变化进行无效或限制。例如将虚拟相机的姿势设定为不依赖于移动体的行进方向的变化、不进行俯仰和滚转。例如,当用户在真实空间中的视点位置和视线方向变化时,虚拟相机的位置和姿势与其相应地变化,但是在移动体的行进方向发生了变化的情况下,虚拟相机不进行与移动体的行进方向相对应的俯仰、滚转。例如,以俯仰角、滚转角不从初始的设定角度变化而为恒定的方式设定虚拟相机。例如,关于俯仰(俯仰角),在虚拟空间的世界坐标系下例如以与水平方向的面(XZ平面)平行的方式设定虚拟相机。关于滚转(滚转角),例如以不从世界坐标系的铅垂方向(Y轴)变化的方式设定虚拟相机。需要说明的是,使俯仰、滚转姿势变化无效就是使之不进行俯仰、滚转姿势变化。限制俯仰、滚转姿势变化就是使其以比与移动体的行进方向相对应的俯仰、滚转的旋转角度小的旋转角度(充分小的旋转角度)进行俯仰、滚转姿势变化。
需要说明的是,虚拟相机的姿势能够由例如虚拟相机的视线方向的向量和虚拟相机的上方向的向量(表示虚拟相机的向上方向是哪一个方向的向量)来规定。视线方向的向量能够根据虚拟相机的注视位置来设定。例如通过使虚拟相机的视线方向的向量变化,能够实现虚拟相机的俯仰、偏航姿势变化(旋转移动)。例如通过使虚拟相机的上方向的向量变化,能够实现虚拟相机的滚转姿势变化(旋转移动)。
另外,输入处理部102取得通过HMD200的跟踪处理而得到的跟踪信息。例如通过后述的图2的(A)~图3的(B)那样的HMD200的跟踪处理,取得用于确定作为用户的视点位置和视线方向中的至少一个的视点信息的跟踪信息。并且,该跟踪信息包含从用户的初始视点信息起的视点信息的变化信息。例如跟踪信息包含从用户的初始视点位置起的视点位置的变化信息(视点位置的坐标的变化值)以及从用户的初始视线方向起的视线方向的变化信息(视线方向绕旋转轴的旋转角度的变化值)中的至少一个。基于这样的跟踪信息所包含的视点信息的变化信息,能够确定用户的视点位置、视线方向。
另外,移动体处理部114进行以在移动体的行进方向发生了变化的情况下移动体的俯仰和滚转中的至少一个姿势变化也被无效或限制的方式使移动体移动的处理。将移动体的模型目标按如下方式配置设定于其移动位置:例如在路线上等移动的移动体的行进方向发生了变化的情况下,移动体的姿势的俯仰、滚转也不变化。然后,虚拟相机控制部118将虚拟相机设定于姿势变化已被无效或已被限制的移动体的视点的位置。例如,在与虚拟用户对应的移动体的第一人称视点的位置配置设定虚拟相机。通过这样做,从而在移动体的行进方向发生了变化的情况下,也会对虚拟相机的俯仰和滚转中的至少一个姿势变化进行无效或限制。
在该情况下,具体而言,例如进行在世界坐标系下使移动体的局部坐标系的基准位置移动的处理。局部坐标系的基准位置例如是原点位置,例如,以移动体的规定位置(例如后述的脚下位置或腰的位置等)成为局部坐标系的原点位置的方式配置设定移动体。然后,以局部坐标系相对于世界坐标系的俯仰和滚转中的至少一个旋转移动被无效或限制的方式设定局部坐标系。然后,在局部坐标系下的移动体的视点的位置处设定虚拟相机的视点坐标系(视点坐标系的原点)。
需要说明的是,在使移动体以移动体的行进方向发生了变化的情况下移动体的俯仰、滚转姿势变化也被无效或限制的方式移动的方法中,虚拟相机的姿势的控制方法并不限定于上述的方法。另外,也可以通过投影装置来对投影用的屏幕投影图像而不是对HMD200显示图像。投影用屏幕是由一个曲面或多个面构成的屏幕,例如是被称为圆顶形状的屏幕的曲面屏幕。
另外,移动体的姿势能够由多个绕各旋转轴(X轴、Y轴、Z轴)的移动体(模型目标)的旋转角度规定。移动体的姿势变化是绕各旋转轴的旋转移动。例如移动体的姿势能够由移动体的局部坐标系相对于世界坐标系绕各旋转轴的旋转角度规定,能够通过例如坐标变换的旋转矩阵来表示。
另外,移动体处理部114进行以在移动体的行进方向因虚拟空间的路线的状态的变化而发生了变化的情况下移动体的俯仰和滚转中的至少一个姿势变化也被无效或者被限制的方式使移动体在路线上移动的处理。并且针对附随于移动体的给定目标,根据路线的形状而使姿势变化。
例如,与路线对应的路线信息存储于存储部170中,移动体处理部114根据该路线信息而进行移动体的移动处理。例如与路线上的各点建立对应地存储路线的高度信息、方向信息等路线信息,移动体处理部114读出与移动体的位置对应的点的路线信息,然后执行使移动体沿行进方向移动的处理。例如以在下坡的路线上向下行方向移动、在上坡的路线上向上行方向移动的方式设定移动体的行进方向。另外,以在右拐弯的路线上向右方向弯曲、在左拐弯的路线上向左方向弯曲的方式设定移动体的行进方向。并且,按如下方式执行移动体的移动处理:即使在移动体的行进方向像这样地发生了变化的情况下移动体也不进行俯仰、滚转姿势变化(该姿势变化被限制)。并且,在该情况下,对于附随于移动体的给定目标(例如后述的滑雪板、作为移动体的角色的身体的一部分等),也根据路线的状态(形状等)来使姿势变化。例如在下坡的路线上,使该给定目标的姿势变化为沿着下坡,在上坡的路线上,使该给定目标的姿势变化为沿着上坡。
另外,显示处理部120针对对战用图像、观赏用图像或演示图像而生成显示有俯仰和滚转中的至少一个姿势变化未被无效或未被限制的第二移动体的图像。即,使用姿势变化未被无效或未被限制的移动体来生成对战用图像、观赏用图像或演示图像。在此,对战用图像是作为对战用而使用的图像。例如,对战用图像是用于作为对战对手的对手用户观看该用户的移动体的图像,是显示在例如该对手用户的HMD(显示部)上的图像。观赏用图像(观战用图像)是用于观赏的图像。例如,观赏用图像是用于观赏(观战)用户的移动体移动的游戏的情况的图像。例如,观赏用图像是用于观众观看游戏的情况而显示于观赏用监视器的图像。演示图像是用作演示用的图像。例如演示用图像是在游戏开始之前或开始之后等为演示用而显示的图像。例如,表示使用用户的移动体而进行了的游戏的情况(过去的游戏玩法的情况)的影像的信息被存储于存储部170中,通过对该影像进行重放等来显示演示用图像。
另外,虚拟相机控制部118根据给定条件是否已成立来开启或关闭对移动体的俯仰和滚转中的至少一个姿势变化进行无效或限制的处理。例如,通过用户的选择,开启或关闭对该姿势变化进行无效或限制的模式(处理)。具体而言,在进行游戏的各种设定的选项设定画面中,能够将对该姿势变化进行无效或限制的模式开启或关闭。或者,虚拟相机控制部118可以根据在虚拟空间中移动体移动的路线的状况来开启或关闭对移动体的俯仰和滚转中的至少一个姿势变化进行无效或限制的处理。例如,在平坦的路线上,由于不需要对该姿势变化进行无效或限制的处理,因此关闭。或者,在很陡的上坡路等上进行对该姿势变化进行无效或限制的处理时导致生成不自然的图像的情况下关闭对该姿势变化进行无效或限制的处理。另一方面,在有凹凸的路线或下坡的路线等需要防止3D眩晕的路线状况下开启对该姿势变化进行无效或限制的处理。
另外,移动体处理部114进行以移动体的姿势根据移动体的行进方向的变化而变化的方式使移动体移动的处理。例如在为向下行方向前进的行进方向的情况下使其变化为看起来好像正在向下行方向移动的姿势、在为向上行方向前进的行进方向的情况下使其变化为看起来好像正在向上行方向移动的姿势后再使移动体移动。同样地,在为向右方向或左方向弯曲的行进方向的情况下,使其变化为看起来正在向右弯曲或向左弯曲的姿势后使移动体移动。在这种情况下,虚拟相机控制部118按如下方式设定虚拟相机:即使在移动体的姿势根据移动体的行进方向的变化而发生了变化的情况下,也对虚拟相机的俯仰和滚转中的至少一个姿势变化进行无效或限制。例如是向下行方向或上行方向前进的行进方向,即使在移动体的姿势变化为了与下行方向或上行方向对应的姿势的情况下,也对虚拟相机的俯仰姿势变化进行无效或限制。例如使虚拟相机不进行俯仰姿势变化。另外,在例如为向右方向或左方向弯曲的行进方向且在移动体的姿势变化为了向右方向或左方向转弯的姿势的情况下,也对虚拟相机的滚转姿势变化进行无效或限制。例如使虚拟相机不进行滚转姿势变化。
在该情况下,移动体处理部114可以以虚拟相机的位置以及姿势中的至少一方为基准来设定移动体的姿势。例如,设定滚转或俯仰姿势变化已被无效或已被限制的虚拟相机的位置、姿势。然后,以该虚拟相机的位置和姿势为基准来设定移动体的最终姿势。例如在移动体的视点位置设定该虚拟相机的位置,以移动体的规定部位(例如脚)或附属目标(例如滑雪板)与路线接触的方式设定移动体的姿势。该移动体的姿势的设定能够通过进行例如运动处理中的逆运动学处理等来实现。
另外,本实施方式的模拟系统能够包括使用户的玩游戏位置变化的可动框体40。并且,可动框体40根据移动体的行进方向的变化或移动体移动的路线的状况(游戏状况)而使用户的玩游戏位置(用户的位置或姿势)变化。由该可动框体40产生的玩游戏位置的变化通过由可动框体处理部113进行的可动框体40的控制处理来实现。例如在后述的图4中,使用空气弹簧部50~53来使玩游戏位置(PPL)发生了变化。在后述的图6中,通过利用未图示的电动缸等来使基部452的姿势变化,从而使用户的玩游戏位置发生了变化。
例如,在本实施方式中,作为用户所玩的游戏的游戏处理,进行虚拟现实的模拟处理。虚拟现实的模拟处理是用于在虚拟空间中模拟实际空间中的事情现象的模拟处理,是用于使用户虚拟体验该事情现象的处理。例如,进行用于使与实际空间的用户对应的虚拟用户或其搭乘移动体等移动体在虚拟空间中移动、或使用户感受到伴随移动出现的环境、周围的变化的处理。而且,可动框体40基于作为游戏处理的模拟处理的结果来使玩游戏位置变化。例如,基于在虚拟空间中的移动体的移动处理的结果等来使玩游戏位置变化。例如,作为用于使用户体验与用户的行进方向的变化相伴随的加速度的变化(加速、减速)的模拟处理,进行通过可动框体40来使玩游戏位置变化的处理。或者,当移动体在路线上移动时,作为用于使用户感受到路线的升降或凹凸的模拟处理,进行通过可动框体40来使玩游戏位置变化的处理。通过像这样通过可动框体40来使玩游戏位置变化,从而HMD200上的显示图像的摇晃和用户感受到的加速度等的变化在某种程度上联动,能够抑制用户的3D眩晕等。
需要说明的是,玩游戏位置是在玩虚拟现实(VR)的模拟游戏时用户所位于的玩游戏位置。例如,玩游戏位置是用户在座椅等乘坐部上的乘坐位置。例如,在坐于作为乘坐部的座椅等上而正在玩虚拟现实的模拟游戏的情况下,玩游戏位置例如是座椅的乘坐位置即就座位置。另外,在用户骑乘于摩托车、自行车、或马等乘坐物、模拟了动物的乘坐部的情况下,玩游戏位置是正在骑乘的位置。另外,在用户以站立姿势玩模拟游戏的情况下,玩游戏位置例如是用户的站立位置。
另外,本实施方式的模拟系统具有声音处理部130,声音处理部130进行生成与移动体的行进方向的变化相应的声音或与移动体移动的路线的状况相应的输出音的处理。例如在移动体的行进方向变化或路线的状况发生了变化的情况下,生成用于使用户识别该变化的输出音。例如对于具有凹凸的路线,输出“喀哒喀哒”这样的声音,使用户在听觉上识别路线存在凹凸。另外,在用户的行进方向急剧地发生了变化的情况下,输出用于使用户识别使行进方向变化的加速度的变化(加速、减速等)的声音,从而使用户在听觉上识别行进方向发生了变化。通过这样做,可以减少用户的3D眩晕的产生。
另外,虚拟相机控制部118基于用户的设定信息或用户的玩游戏历史记录信息来设定使虚拟相机的姿势变化无效或限制的处理的开启或关闭。在例如供用户输入游戏的各种设定信息的选项设定画面等中,能够设定使虚拟相机的姿势变化无效或限制的模式的开启或关闭。或者,基于过去的用户的玩游戏历史记录信息来设定使虚拟相机的姿势变化无效或限制的处理的开启或关闭。例如,对于更频繁地选择了开启的设定的用户,将该处理设定为开启,对更频繁地选择关闭的设定的用户,将该处理设定为关闭。该玩游戏历史记录信息例如既可以从用户携带的便携式信息存储介质195中读出,也可以基于便携式信息存储介质195中存储的用户ID等识别信息而从服务器中下载。
2.跟踪处理
接着,对跟踪处理的例子进行说明。在图2的(A)中示出本实施方式的模拟系统中使用的HMD200的一例。如图2A所示,在HMD200中设置有多个受光元件201、202、203(光电二极管)。受光元件201、202设置在HMD200的前面侧,受光元件203设置在HMD200的右侧面。另外,在HMD的左侧面、上表面等也设置有未图示的受光元件。
另外,在HMD200中设置有头带260等,用户PL能够以更良好的佩戴感稳定地将HMD200佩戴于头部。另外,在HMD200中设置有未图示的耳机端子,通过在该耳机端子上连接耳机270(声音输出部192),能够使用户PL听到例如实施了3D音效(3D音频)处理的游戏音。另外,也可以通过由HMD200的传感器部210等检测用户的头部的点头动作、摇头动作,从而能够输入用户的操作信息。
如图2的(B)所示,在模拟系统(可动框体40)的周边设置有基站280、284。在基站280上设置有发光元件281、282,在基站284上设置有发光元件285、286。发光元件281、282、285、286例如通过射出激光(红外线激光等)的LED来实现。基站280、284使用这些发光元件281、282、285、286,例如以放射状射出激光。并且,设置于图2的(A)的HMD200的受光元件201~203等接收来自基站280、284的激光,由此实现HMD200的跟踪,能够检测用户PL的头的位置、朝向的方向(视点位置、视线方向)。
图3的(A)表示HMD200的其他例子。在图3的(A)中,对HMD200设置有多个发光元件231~236。这些发光元件231~236例如由LED等实现。发光元件231~234设置在HMD200的前面侧,发光元件235、未图示的发光元件236设置在背面侧。这些发光元件231~236射出(发光)例如可见光的频带的光。具体而言,发光元件231~236射出互不相同的颜色的光。然后,将图3的(B)所示的摄像部150设置在用户PL的前方侧,通过该摄像部150来对这些发光元件231~236的光进行摄像。即,在摄像部150的摄像图像中映现这些发光元件231~236的点光。然后,通过进行该摄像图像的图像处理,实现用户PL的头部(HMD)的跟踪。即,检测用户PL的头部的三维位置、朝向的方向(视点位置、视线方向)。
例如,如图3的(B)所示,在摄像部150设置有第一、第二摄像机151、152,通过使用这些第一、第二摄像机151、152的第一、第二摄像图像,能够检测出用户PL的头部在纵深方向上的位置等。此外,基于设置在HMD200中的运动传感器的运动检测信息,还能够检测用户PL的头部的旋转角度(视线)。因此,通过使用这样的HMD200,不论在用户PL朝向周围的360度的全部方向中的哪一个方向的情况下,都能够将与其对应的虚拟空间(虚拟三维空间)中的图像(从与用户的视点对应的虚拟相机上能够看见的图像)显示于HMD200的显示部220。需要说明的是,作为发光元件231~236,可以使用红外线LED而非可见光LED。另外,可以通过例如使用深度摄像机等;等其他方法来检测用户的头部的位置、动作等。
需要说明的是,检测用户的视点位置、视线方向(用户的位置、方向)的跟踪处理的方法并不限定于图2的(A)~图3的(B)中说明过的方法。也可以使用例如设置于HMD200的运动传感器等而用单一的HMD200来实现跟踪处理。即,不设置图2的(B)的基站280、284、图3的(B)的摄像部150等外部装置而实现跟踪处理。或者,可以通过公知的眼睛跟踪、面部跟踪或者头跟踪等各种视点跟踪方法来检测用户的视点位置、视线方向等视点信息等。
3.模拟系统的具体例子
接着,对模拟系统的具体例进行说明。图4是示出作为模拟系统的一个例子的滑雪模拟器的结构例的立体图。
图4的滑雪模拟器具有可动框体40,该可动框体40包括相对的基部41、42。基部41、42以在图4的DRC方向上对置的方式设置。在基部41、42之间,在其四角设置有空气弹簧部50、51、52、53(广义上为伸缩部)。这些空气弹簧部50、51、52、53通过使用空气压缩机、泡沫进行空气的供给、排出,从而在DRC方向上伸缩。
例如,如图4所示,将铅垂方向设为Y轴方向,将用户PL所面向的方向设为Z轴方向,将与Y轴方向和Z轴方向正交的方向设为X轴方向。在该情况下,通过所有的空气弹簧部50、51、52、53伸长,能够使基部41在Y轴方向上向上侧(相对于基部42向上侧)移动。另外,通过全部的空气弹簧部50、51、52、53收缩,能够使基部41在Y轴方向上向下侧移动。通过基部41在这些上下方向上的移动,例如能够再现用滑雪板滑动时的雪面的状态等。通过例如以较少的行程、且较快的速度使基部41在上下方向上移动,从而能够表现雪面上的凹凸等。
另外,通过四角的空气弹簧部50、51、52、53中的左侧的空气弹簧部50、51收缩而右侧的空气弹簧部52、53伸长或者左侧的空气弹簧部50、51伸长而右侧的空气弹簧部52、52、53收缩,能够使基部41绕Z轴滚转。另外,通过后侧的空气弹簧部50、52收缩而前侧的空气弹簧部51、53伸长或者后侧的空气弹簧部50、52伸长而前侧的空气弹簧部51、53收缩,能够使基部41绕X轴俯仰。通过进行这样的滚转、俯仰,能够表现用滑雪板滑动的斜面的状态等。
另外,可动框体40包括操作部件43、44。操作部件43、44设置在基部41上。在操作部件43上转动自如地设置有用于载置用户PL的左脚的脚台45。在操作部件44上转动自如地设置有用于载置右脚的脚台46。
具体而言,操作部件43、44沿图4的DRD方向摆动移动(摆动)。即,能够进行绕Y轴的偏航的摆动移动。脚台45、46沿DRE方向转动。
即,能够绕Z轴旋转。
用户PL按滑动滑雪板的要领进行使用了操作部件43、44和脚台45、46的操作。通过进行例如使操作部件43、44沿DRD方向摆动移动的摆动操作、使脚台45、46沿DRE方向转动的立刃操作,进行犹如在现实世界的滑雪中进行的那样的滑雪操作。由此,使其在HMD200上显现出的虚拟用户进行对应的滑雪操作,用户PL能够感受到在虚拟空间内的路线上滑动滑雪板的虚拟现实。
另外,在可动框体40设置有引导部60、62。用户PL站在由引导部60、62规定的玩游戏位置PPL处,玩滑雪的模拟游戏。在引导部60、62设置有供用户PL用手把持的把持部61、63(把持部63未图示)。把持部61、63相当于现实世界的滑雪的滑雪杖的握柄。用户PL通过用手握住这样的模仿了滑雪的滑雪杖的引导部60、62的把持部61、63来支承自身的身体。进而,一边用手握住左右的把持部61、63来支承身体,一边按进行滑雪的要领来进行使操作部件43、44摆动移动的摆动操作或者进行使用了脚台45、46的立刃操作,从而乐享滑雪的模拟游戏。需要说明的是,从设置于用户PL的前方的风洞部69送出风,能够提供犹如由用滑雪板进行了滑动所产生的风碰到身体那样的虚拟现实感。
另外,引导部60从下方向上方沿着规定路径引导来自生成HMD200的显示图像的处理装置(包括图1的处理部100、存储部170等的装置。例如游戏装置、PC等)的线缆20。例如,引导部60由中空结构的管构成,来自处理装置的线缆20在该引导部60的管中通过后,从线缆取出口65中取出。具体而言,引导部60具有在作为经由点TP的线缆取出口65处支承线缆20的棒状的支承引导件64,线缆20从作为经由点TP的线缆取出口65中取出后与HMD200连接。
并且,在图4中,通过使空气弹簧部50~53伸缩,进行基部41的上下方向的移动、基部41绕Z轴的滚转以及绕X轴的俯仰的旋转移动,与此相应,用户PL的玩游戏位置PPL也发生变化。即,当用户PL站立的基部41在上下方向上移动或者进行滚转或俯仰的旋转移动时,作为用户PL的站立位置的玩游戏位置PPL也发生变化。并且,如上所述,可动框体40根据虚拟空间的虚拟用户、搭乘移动体等移动体的行进方向的变化或移动体移动的路线的状况而使用户PL的玩游戏位置PPL变化。
图5是在图4的滑雪模拟器中显示于HMD200的游戏图像(模拟图像)的例子。该游戏图像是所谓的第一人称视点下的图像。在图5的游戏图像中,真实地显示有与用户对应的虚拟用户(虚拟滑雪者)行进的滑雪路线的图像、路线周围的风景的图像。这些图像以所谓的立体视觉图像的形式通过HMD 200而显示给用户。另外,在该游戏图像中,对虚拟用户的身体的一部分、滑雪板和滑雪杖也适当地进行显示。例如在图4中,当用户将视线朝向下方时,通过在图2的(A)~图3的(B)等中说明过的方法来检测视线方向的变化,如图5那样,虚拟用户的身体的一部分(手、脚等)、滑雪板和滑雪杖被显示于游戏图像中。由此,能够给予用户在虚拟空间中犹如作为现实的滑雪者而正在使滑雪板行进那样的虚拟现实感。
图6是示出作为模拟系统的一个例子的机器人模拟器(机器人游戏装置)的结构例的立体图。图6所示的可动框体40在底部450(基部)之上设有罩部451,在其上设置有基部452(基座部)。在该基部452上设置有座椅支承部464,通过在座椅支承部464上安装座椅462,从而构成了乘坐部460。
另外,在基部452设置有移动部470。具体而言,在基部452设置有导轨部454、455,以能够在沿着导轨部454、455的方向上移动的方式设置移动部470。
移动部470具有支承部472,在支承部472的上端设置有上面部473(操作基台)。而且,在上面部473设置有操作杆161、162和具有传感器部的游戏控制器165。游戏控制器165具有的传感器部检测位置和方向中的至少一方。操作杆161、162构成图1的操作部160。当用户用手操作操作杆161、162时,与之联动地显示虚拟空间的机器人的座舱内的虚拟用户操作设置于座舱的操作杆的情形。
当用户将操作杆161、162向前方侧放倒时,虚拟空间的机器人向前方侧移动,当将操作杆161、162向后方侧放倒时,机器人向后方侧移动。当用户将操作杆161、162向右方向侧、左方向侧放倒时,机器人向右方向侧、左方向侧移动。另外,通过将操作杆161、162中的一方向前方侧放倒、将另一方向后方侧放倒,能够改变机器人朝向的方向。
在游戏控制器165设置有用作传感器部的至少一个受光元件。并且,通过与图2的(A)、图2的(B)的跟踪处理相同的处理,实现游戏控制器165的传感器部的检测功能(位置和方向中的至少一方的检测功能)。通过该检测功能,例如能够检测由可动框体40的可动所引起的玩游戏位置(乘坐部460上的乘坐位置、就座位置)的变化。
在移动部470的支承部472的下端设置有下面部474,在下面部474设置有加速踏板163、制动踏板164。当用户踩踏加速踏板163时,虚拟空间的机器人进行加速后移动的猛冲移动。当用户踩踏制动踏板164时,机器人的移动停止。
在可动框体40的基部452上设置有框架部430。而且,框架部430的引导部432对来自处理装置的线缆20进行引导。例如,以从下方朝向上方的规定路径引导线缆20。并且,被引导的线缆20通过经由点TP而与HMD200连接。具体而言,线缆20在经由点TP处由固定器具433固定后连接于HMD200。
在乘坐部460的座椅462的背面侧设置有未图示的两根电动缸。通过这些电动缸的杆部伸缩,基部452的姿势发生变化。例如,实现基部452的俯仰、滚转等姿势变化。例如通过两根电动缸的杆部一起伸长,实现基部452向前侧俯仰的姿势变化。通过两根电动缸的杆部一起收缩,实现基部452向后侧俯仰的姿势变化。通过两根电动缸的杆部的一方伸长、另一方收缩,实现基部452向右侧或左侧滚转的姿势变化。通过这些基部452的俯仰、滚转的姿势变化,能够使用户的身体的朝向俯仰或滚转。
图7示出在图6的机器人模拟器中显示于HMD200的游戏图像的例子。在本实施方式中,与用户对应的虚拟用户搭乘于虚拟空间内的机器人的座舱,生成与敌方机器人等对战的机器人游戏的游戏图像。当机器人出击时,在虚拟世界中座舱的遮光罩被关闭。进而,用户(虚拟用户)在狭窄的空间的座舱内操纵机器人而乐享与敌方机器人等对战的游戏。
如图7的游戏图像所示,在虚拟世界的机器人的有视野式座舱的遮光罩FD上设置有窗口WD,用户能够经由该窗口WD观察外界的情况。在图7中,在窗口WD内显示有敌方机械人ERB、瞄准SG、战斗场的地图。另外,还显示有作为用户操作的机器人的武器的导弹的发射器LAA、加农炮CNB以及表示这些武器的剩余弹数的弹数图标SNA、SNB。
瞄准SG以追随佩戴HMD200的用户的视线(头部、HMD)的动作的方式移动。例如,如果用户向右移动,则游戏图像上的瞄准SG就向右移动,如果向左,则瞄准SG就向左移动。用户通过将瞄准SG的位置移动到敌方机器人ERB的位置并利用发射器LAA、加农炮CNB进行攻击,从而乐享对战游戏。
需要说明的是,实现本实施方式的模拟系统的装置并不限定于图4、图6所示那样的装置。例如,本实施方式的模拟系统能够应用于使用HMD作为显示部的家庭用游戏装置、业务用游戏装置、个人计算机(PC)、便携式信息终端、多个用户参加的大型游乐设施装置等各种装置。另外,本实施方式的模拟系统也可以通过经由网络而与多个终端装置(游戏装置、PC、便携式信息终端等)进行通信连接的服务器系统来实现。在该情况下,本实施方式的各处理也可以通过模拟系统和终端装置的分散处理来实现。
4.本实施方式的方法
接着,对本实施方式的方法进行详细说明。另外,以下,主要以将本实施方式的方法应用于图4的滑雪模拟器的滑雪游戏的情况为例进行说明。但是,本实施方式并不限定于此,各种游戏(RPG、机器人对战游戏、动作游戏、对战游戏、竞争游戏、体育游戏、恐怖体验游戏、电车或飞机等交通工具的模拟游戏、益智游戏、交流游戏、或者音乐游戏等),也能够应用于游戏以外。另外,以下,以移动体是作为虚拟用户的角色的情况为例进行说明,但移动体也可以是虚拟用户搭乘的机器人、车、飞机或电车等搭乘移动体。
4.1虚拟相机的姿势变化的无效处理
图8是示出在虚拟空间中作为滑雪者的角色CH(广义上是移动体)正在路线CS上滑动行进的情况的图。在与虚拟空间的虚拟用户对应的角色CH的视点的位置设定有虚拟相机VC,从该虚拟相机VC上能够看见的图像如图5所示那样显示(立体视觉显示)于HMD200。由此,能够将第一人称视点下的图像显示于HMD200,能够给予用户仿佛成为虚拟空间中的滑雪者而正在路线CS上行进那样的虚拟现实感。
在图8中,水平面HS是虚拟空间在世界坐标系下的水平面(XZ平面)。在平坦的路线CS上,如图8的A1所示,角色CH的行进方向DT成为与水平面HS平行(大致平行。以下同样)的方向。而且,虚拟相机VC的视线方向CVL也成为与水平面HS平行(大致平行)的方向。需要说明的是,虚拟相机VC的视点位置CVP设定于例如角色CH的视点的位置(例如眼睛的位置),由此实现第一人称视点。
另一方面,在图8的A2、A3中,角色CH正在下坡的路线CS上行进,角色CH的行进方向DT成为相对于水平面HS呈俯角的方向。而且,角色CH成为相对于下坡的路线CS的面垂直(大致垂直。以下,同样)的站立姿势,因此虚拟相机VC的视线方向CVL也成为相对于水平面HS呈俯角的方向。并且,其后,在A4中,角色CH在平坦的路线CS上行进,因此行进方向DT以及虚拟相机VC的视线方向CVL正在向与水平面HS平行的方向恢复。
这样,在图8中,当随着路线CS的角色CH的行进而行进方向DT如A1~A4所示那样变化时,虚拟相机VC的视线方向CVL也随之变化。在将第一人称视点的图像显示于HMD的情况下,通常是,如图8所示,与行进方向DT的变化联动地使虚拟相机VC的视线方向CVL变化。并且,当虚拟相机VC的视线方向CVL如此变化时,图5的HMD的显示图像也会根据视线方向CVL的变化而大幅变化。例如,在图8的A1、A2、A3中,从与水平面HS平行的视线方向CVL下的显示图像变化为相对于水平面HS呈俯角的视线方向CVL下的显示图像,其后,在A4中,恢复为与水平面HS平行的视线方向CVL下的显示图像。即,随着角色CH的行进方向DT的变化,虚拟相机VC的视线方向CVL大幅变化,导致HMD的显示图像也大幅摇晃。另外,例如在路线CS存在细小的凹凸这样的情况下,显示图像会根据该凹凸而剧烈地摇晃。
于是,当显示图像以这种方式摇晃时,引起所谓的用户的3D眩晕。在此,所谓3D眩晕,是指例如由于持续观看具有立体感的运动激烈的影像,从而产生晕眩等像晕车这样的症状。
例如现实世界的滑雪者在具有图8那样的路线起伏的情况下,通过三半规管等检测行进方向的变化(加速度的变化、重力方向的变化、离心力的变化)而将例如视线方向朝向观察远处的方向。由此,眼睛可见的图像也不再变化,防止了眩晕。
可是,在像经由HMD观看虚拟空间的世界这样的VR系统中,当如图8那样虚拟相机VC的视线方向CVL随着行进方向DT的变化而变化时,导致HMD的显示图像与用户的意思和感觉无关地摇晃。例如,现实世界中的用户实际上明明未沿着下行或上行的路线行进,只有HMD的显示图像却根据虚拟空间的路线的下行或上行的倾斜而变化。因此,产生与用户的意思和感觉的偏差,从而引起3D眩晕。
在该情况下,图4的可动框体40根据虚拟空间中的路线的下行或上行的倾斜而使基部41绕X轴俯仰,由此,能够使用户在某种程度上感受到虚拟空间的路线的下行或上行的倾斜。然而,例如在虚拟空间中的路线的倾斜为20度~40度这样的倾斜的情况下,图4的基部41的俯仰所引起的倾斜例如为10度以下左右。因此,与虚拟世界的线路的倾斜有很大的差异,即使使图4的基部41俯仰,也无法充分地防止以显示图像的摇晃为原因的3D眩晕的产生。
这样,在图8的虚拟相机VC的控制方法中,会将与用户的意思和感觉无关地根据虚拟空间的路线的形状而使用户的头部好像强制性地朝下或朝上那样的图像显示于HMD,所以引起3D眩晕。
因此,在本实施方式中,只要用户自己不转动自身的头部,则就使与用户的视线方向对应的虚拟相机VC的视线方向CVL例如总是与水平面HS平行(大致平行)。即,控制虚拟相机VC,使得在虚拟空间的路线CS存在倾斜(起伏)的情况下也不会如图8那样虚拟相机VC的视线方向CVL变化为沿着路线CS的倾斜而是视线方向CVL与水平面HS平行。此时,虚拟相机VC的视线方向CVL并非总是与水平面HS平行,而是在用户以自身的意思或感觉而使视线方向朝向了下方向或上方向的情况下,虚拟相机VC的视线方向CVL也与其相应地朝向下方向或上方向。通过这样做,能够允许视线方向根据用户的意思和反应而变化,同时又抑制视线方向与用户的意思和感觉无关地发生变化的情况。因此,能够以兼顾两者的方式实现用户的虚拟现实感的提高和以HMD的显示图像的摇晃为原因的3D眩晕的防止。
更具体而言,在本实施方式中,取得用户的视点信息的跟踪信息,根据已取得的跟踪信息来使虚拟相机VC的位置、姿势变化。在此,虚拟相机VC的位置对应于视点位置CVP,虚拟相机VC的姿势对应于视线方向CVL。
例如,当如图9的(A)~图9的(C)所示现实世界的用户PL将视线方向VL(头部)朝向下方向或上方向时,该用户PL的视点信息的跟踪信息(视点跟踪信息)例如通过HMD200的跟踪处理取得。然后,根据所取得的跟踪信息(用户的视点位置、视线方向的确定信息)来设定虚拟相机VC的视点位置CVP、视线方向CVL,由此如图9的(A)~图9的(C)那样使虚拟相机VC的位置、姿势变化。例如,若如图9的(B)那样用户PL的视线方向VL朝向下方向,则虚拟相机VC的视线方向CVL也朝向下方向。若如图9的(C)那样用户PL的视线方向VL朝向上方,则虚拟相机VC的视线方向CVL也朝向上方。通过这样做,当现实世界的用户PL使视点位置VP和视线方向VL变化时,虚拟相机VC的视点位置CVP、视线方向CVL也与其相应地变化。因此,虚拟相机VC会像用户PL的实际的第一人称视点那样进行动作,所以能够提高虚拟现实感。
图10是说明基于跟踪信息来使虚拟相机的位置、姿势变化的处理的具体例的流程图。在图3中,通过HMD200的跟踪处理,作为跟踪信息,取得了从用户的初始视点信息起的视点信息的变化信息。
首先,指示用户采取基准姿势(步骤S1)。例如,在图4中,通过HMD200的显示图像,对已搭乘于可动框体40的用户指示采取基准姿势(成为基准的站立姿势)。然后,通过HMD200的跟踪处理来检测用户的初始视点位置、初始视线方向,并保存在存储部(HMD或模拟系统的存储部)中(步骤S2)。检测例如在步骤S1中采取了基准姿势时的用户的视点位置、视线方向作为初始视点位置、初始视线方向并保存。然后,基于该初始视点位置、初始视线方向来设定虚拟相机的初始视点位置、初始视线方向。
接着,当开始游戏时(步骤S3),此次取得从步骤S2中已保存的初始视点位置、初始视线方向起的变化信息作为跟踪信息。即,取得用户的视点位置、视线方向的变化信息作为跟踪信息。例如,视点位置的变化信息是视点位置的坐标的变化值,视线方向的变化信息是表示视线方向的旋转角度(绕旋转轴的旋转角度)的变化值。例如,将初始视点位置的坐标设为(x0,y0,z0),将视点位置的坐标的变化值设为(Δx,Δy,Δz)。另外,将表示初始视线方向的旋转角度设为(θx0,θy0,θz0),将表示视线方向的旋转角度的变化值设为(Δθx,Δθy,Δθz)。于是,当前的视点位置能够表示为(x,y,z)=(x0+Δx,y0+Δy,z0+Δz),当前的视线方向的旋转角度能够表示为(θx,θy,θz)=(θx0+Δθx,θy0+Δθy,θz0+Δθz)。
接着,根据跟踪信息来设定虚拟相机的视点位置、视线方向,以使虚拟相机的位置、姿势变化(步骤S5)。进行这些处理直至游戏结束为止(步骤S6)。在该情况下,虚拟相机的视点位置、视线方向的设定能够通过对表示虚拟相机的初始视点位置的坐标、初始视线方向的旋转角度加上上述的(Δx,Δy,Δz)、(Δθx,Δθy,Δθz)的处理等来实现。
根据图10中说明过的方法,在图4中不依赖于搭乘于可动框体40的用户的身高(体格)的大小而在角色的视点位置设定虚拟相机。因此,不需要例如根据用户的身高来准备不同的模型的角色,因此能够实现数据量的削减等。例如,对于身高较高的用户和身高较低的用户双方,能够利用相同形状的模型的角色来实现该用户的虚拟用户。需要说明的是,也可以采用根据用户的身高(体格)而准备不同的模型的角色的方法。
如以上那样,在本实施方式中,基于通过跟踪处理取得的跟踪信息而如图9的(A)~图10中说明过的那样使虚拟相机VC的位置、姿势变化。通过这样做,当现实世界的用户使视点位置或视线方向变化时,虚拟相机VC在虚拟空间中的视点位置、视线方向也与其联动地变化,因此能够提高用户的虚拟现实感。
另一方面,在本实施方式中,按如下方式设定虚拟相机VC:即使在如图8那样角色CH(移动体)的行进方向DT发生了变化的情况下,虚拟相机VC的俯仰和滚转中的至少一个姿势变化也为无效(或限制)。
例如,在图11中,由于在下坡的路线CS上行进,从而如B1、B2、B3、B4所示角色CH的行进方向DT不断在变化。在该情况下,图11中也不进行虚拟相机VC的俯仰的姿势变化(绕与俯仰对应的旋转轴的旋转运动),例如虚拟相机VC的视线方向CVL被维持在与水平面HS平行的方向。即,在图8中,虚拟相机VC的视线方向CVL根据路线CS的状态(倾斜、起伏、形状等)而不断变化,一直在进行虚拟相机VC的俯仰姿势变化。与此相反,在图11中,虚拟相机VC的视线方向CVL不依赖于路线CS的状态,不进行虚拟相机VC的俯仰姿势变化。但是,在图11中,虚拟相机VC的视线方向CVL并非总是与水平面HS平行,如在图9的(A)~图10中说明过的那样,当用户使视线方向朝向上方向或下方向时,虚拟相机VC的视线方向CVL也与其相应地变化。
另外,在本实施方式中,在由于角色CH向右方向或左方向转弯那样的行进方向变化而成为了发生滚转这种状况的情况下,如图12所示,也不进行虚拟相机VC的滚转姿势变化。即,以不绕滚转的旋转轴旋转的方式设定虚拟相机VC。通过如此地设置,在图5的HMD的显示图像中,只要用户不使头左右倾斜,则水平线的方向就不会变化,能够抑制3D眩晕。
需要注意的是,在具有像角色CH向右方向或左方向弯曲这样的行进方向变化的情况下,例如进行了虚拟相机VC的偏航姿势变化。例如按如下方式进行偏航姿势变化:在角色CH向右方向弯曲了的情况下,虚拟相机VC的视线方向CVL朝向右方向,在角色CH向左方向弯曲了的情况下,虚拟相机VC的视线方向CVL朝向左方向。通过这样做,用户能够经由虚拟相机VC而观看在作为虚拟用户的角色CH的行进方向上应该看到的图像,能够显示适当的图像作为图5的HMD的显示图像。
例如,将沿着虚拟相机VC的长轴(光轴)的轴设为ZV轴,将与ZV轴正交且与世界坐标系的铅垂方向的轴平行的轴设为YV轴,将与ZV轴以及YV轴正交的轴设为XV轴。在该情况下,虚拟相机VC的俯仰例如是绕XV轴的旋转运动。虚拟相机VC的滚转例如是绕ZV轴的旋转运动。另外,偏航例如是绕YV轴的旋转运动。以在图11中不进行作为绕XV轴的旋转运动的虚拟相机VC的俯仰、在图12中不进行作为绕ZV轴的旋转运动的虚拟相机VC的滚转的方式设定了虚拟相机VC。另一方面,允许作为绕YV轴的旋转运动的虚拟相机VC的偏航。
需要说明的是,在图11、图12中,虽然对使由于行进方向的变化引起的虚拟相机VC的俯仰、滚转姿势变化无效的情况进行了说明,但也可以进行对该姿势变化限制(抑制)这样的虚拟相机VC的控制。将在例如像图8那样虚拟相机VC的视线方向CVL变化为了与角色CH的行进方向DT平行的情况下的、虚拟相机VC的俯仰角的变化设为α。在这种情况下,在图11中,虚拟相机VC的俯仰角的变化Δθp=0,但也可以如Δθp<α那样,限制虚拟相机VC的俯仰姿势变化,使Δθp变得足够小。另外,在图12的由转弯引起的滚转中,将作为角色CH的体轴(沿着长边方向的轴。纵轴)相对于铅垂方向的轴的角度的滚转角的变化设为β。在这种情况下,在图12中,虚拟相机VC的滚转角的变化Δθr=0,但也可以如Δθr<β那样,限制虚拟相机VC的滚转姿势变化,使Δθr变得足够小。
如以上那样,根据本实施方式,即使在由于角色CH(移动体)的行进方向DT的变化而成为了发生俯仰、滚转这种状况的情况下,虚拟相机VC的俯仰角、滚转角也不会变化(或者俯仰角、滚转角的变化被限制)。因此,能够防止HMD的显示图像大幅摇晃或者剧烈摇晃这种情况,能够抑制3D眩晕的产生。在该情况下,如图9的(A)~图9的(C)所示,在用户移动头部等而使视点位置VP、视线方向VL发生了变化的情况下,虚拟相机VC的姿势与其相应地变化。由此,能够给予用户犹如成为真正的滑雪者而正在沿路线滑动这样的虚拟现实感。因此,根据本实施方式,可以提供一种能够以兼顾两者的方式实现防止产生3D眩晕等不良情况和提高虚拟现实感的模拟系统。
例如,作为本实施方式的比较例的方法,考虑将虚拟相机的视线方向设定为总是与水平面平行的方法。该比较例的方法适合于生成通常的第三人视点的伪三维图像的系统。但是,在该比较例的方法中,不依赖于用户的意思和反应而使虚拟相机的视线方向总是朝向水平方向,因此不适合于使用HMD这样的系统。
与此相对,在本实施方式的方法中,在由于用户的意思或无意识的反应使头部移动等而现实世界中的用户的视点位置、视线方向变化时,虚拟世界中的虚拟相机的视点位置、视线方向与其联动地变化(图9的(A)~图9的(C))。因此,视点基于用户的意思或反应的变化反映为虚拟相机的视点的变化,所以能够实现最适合于使用HMD的系统的虚拟相机的控制,可谋求用户的虚拟现实感的提高等。而且,在本实施方式中,使这样的基于用户的意思、反应的视点变化得以反映,同时对于移动体的行进方向的变化带来的影响,使其不反映到虚拟相机的俯仰、滚转的姿势变化上。因此,可以提供一种能够在实现虚拟现实的提高的同时防止3D眩晕等的产生的模拟系统。
4.2具体例
作为虚拟相机的俯仰、滚转姿势变化的无效处理(限制处理)的实现方法,能够设想各种方法。例如图13是说明第一实现方法的图。
在图13中,进行了使角色CH按如下方式移动的处理:在如C1~C4所示角色CH(移动体)的行进方向DT发生了变化的情况下角色CH的俯仰和滚转中的至少一个姿势变化也变为无效(或限制)。而且,在姿势变化已被设为无效(或限制)的角色CH的视点的位置设定有虚拟相机VC。换言之,当与用户对应的角色CH(虚拟用户)在虚拟空间中移动时,将其视线方向转换为角色CH和基准坐标(脚下位置LP)通用且体轴(Y轴)与世界坐标系的水平面HS(基准面)垂直的基本模型(基本姿势)的视点坐标系后进行运算,由此防止了3D眩晕的产生。
例如在图8中,角色CH的俯仰的姿势根据路线CS的状态(倾斜)而不断在变化。例如在下坡的路线CS上,进行角色CH向前侧俯仰的姿势变化。即,进行相对于水平方向成为俯角的俯仰角的姿势变化。在上坡的路线CS上,进行角色CH向后侧俯仰的姿势变化。即,进行相对于水平方向成为仰角的俯仰角的姿势变化。
与此相对,在图13中,在如C1~C4所示那样角色CH的行进方向DT发生了变化的情况下,角色CH也不进行俯仰姿势变化。例如以角色CH的体轴(连结头部和脚下的轴)相对于世界坐标系的水平面HS呈例如直角(大致直角)的方式设定(固定)角色CH的姿势。例如,相对于角色CH的脚下的位置LP(基准坐标)而配置基本姿势(直立姿势)的角色CH。而且,即使在角色CH的行进方向DT发生了变化的情况下,角色CH也始终以基本姿势(直立姿势)沿路线CS行进。例如在作为路线信息而设定了在各点处的路线的高度信息的情况下,当使角色CH移动时,仅参照该路线信息的高度信息。而且,不使角色CH的姿势变化而例如只使作为基准位置的脚下位置LP的高度变化。在图13中,由于是下坡的路线CS,所以随着角色CH沿路线CS行进,只有角色CH(脚下位置LP)的高度变化,角色CH的姿势不变化。
同样地,在由于向右方向或左方向的转弯而如在图12中说明过的那样发生了使姿势滚转那样的状况的情况下,也不进行角色CH的滚转姿势变化。即,在具有由转弯所引起的行进方向DT的变化的情况下,角色CH也保持图13那样的基本姿势(站立姿势),不进行图12那样的滚转姿势变化而在路线CS上行进。
并且,在这样的基本姿势的角色CH的视点(视点坐标系)的位置设定虚拟相机VC的视点位置CVP。另外,虚拟相机VC的视线方向CVL朝向与水平面HS平行的方向。例如,角色CH的姿势在基本姿势的状态下不变化,因此角色CH相对于脚下的位置LP的视点位置成为固定的位置,在该固定的位置设定虚拟相机VC的视点位置CVP。另外,角色CH的基本姿势为直立姿势,虚拟相机VC的视线方向CVL朝向与角色CH的体轴正交(大致正交)的方向。
需要说明的是,实际上,作为滑雪者的角色CH成为前倾一点的基本姿势。因此,角色CH的体轴与水平面HS所成的角度比90度小一点,角色CH的体轴与虚拟相机VC的视线方向CVL所成的角度比90度大一点。
这样,在图13中,在行进方向DT发生了变化的情况下,角色CH也不进行俯仰、滚转姿势变化而始终以基本姿势(直立姿势、前倾姿势)在路线CS上行进。并且,通过在这样的基本姿势的状态下的角色CH的视点位置设定虚拟相机VC,其结果是,能够实现图11所示那样的虚拟相机VC的姿势控制。即,能够实现在行进方向DT发生了变化的情况下也不进行虚拟相机VC的俯仰、滚转那样的姿势控制。
图14是示出作为虚拟世界的坐标系的世界坐标系(XW,YW,ZW)、作为角色CH的局部坐标系的局部坐标系(XL,YL,ZL)和作为虚拟相机的坐标系的视点坐标系(XV,YV,ZV)的关系的图。在本实施方式中,进行在图14的世界坐标系(XW、YW、ZW)下使角色CH(移动体)的局部坐标系(XL、YL、ZL)的基准位置(原点位置。脚下位置)移动的处理。并且,以局部坐标系相对于世界坐标系的俯仰和滚转中的至少一个旋转移动被无效或限制的方式设定局部坐标系。然后,在局部坐标系下的角色CH的视点位置设定虚拟相机的视点坐标系。例如在生成从虚拟相机上能够看见的图像的描绘处理中,以图14所示那样的各坐标系的设定进行坐标变换处理(几何处理)。通过这样做,能够实现图13所示的方法。
另外,在如图13那样使角色CH始终以基本姿势在路线CS上行进的情况下,例如对于与路线CS接触的滑雪板的图像等,有可能生成不自然的图像。在图5的第一人称视点的图像中,例如在用户使脸部朝下的情况等下滑雪板的图像也被显示,因此滑雪板以这种方式成为不自然的图像的情况是不可取的。
因此,在本实施方式中,进行使角色CH在路线CS上按如下方式移动的处理:在角色CH(移动体)的行进方向由于虚拟空间的路线CS的状态(形状等)的变化而发生了变化的情况下俯仰和滚转等姿势变化也被无效或(限制),并且对于附随于角色CH的给定目标,根据路线CS的状态(倾斜、起伏、凹凸等)而使姿势变化。
例如在图15的D1中,以其长边与采取基本姿势的角色CH的体轴正交的方式附随有作为滑雪板SK的目标。因此,滑雪板SK不再与下坡的路线CS适当地接触,导致成为不自然的图像。
因此,在本实施方式中,如图15的D2所示,对于作为附随于角色CH的滑雪板SK的目标,根据路线CS的状态而使姿势变化。例如使作为滑雪板SK的目标的姿势变化为与路线CS的面(接地面)平行。例如从路线信息中取得路线的倾斜的角度信息,以与路线的倾斜平行的方式而在角色CH的脚下位置LP配置作为滑雪板SK的目标。通过这样做,能够显示滑雪板SK总是与路线CS适当地接触的图像,能够防止给用户带来不自然感的情况。
需要说明的是,根据路线的状态而使姿势变化的目标并不限定于图15那样的滑雪板,能够设想各种目标。例如,也可以是角色的脚、手等部位、机器人等移动体中的与路线的接触部。例如对于与虚拟空间的路线等接触的部分,与图14的滑雪板同样地,根据路线的状态而使其姿势变化。需要说明的是,路线不需要像车游戏中的路线那样明确地划分其区域,例如在虚拟空间的映射图中,只要是已预定作为移动体移动的区域那样的路线(例如RPG的路线)就足够。
另外,在本实施方式中,对于对战用图像、观赏用图像或演示图像,可以生成显示俯仰和滚转中的至少一个姿势变化未被无效或未被限制的第二移动体的图像。
例如,在图16的E1中,如在图13中说明的那样,使角色CH按如下方式移动:在角色CH的行进方向DT发生了变化的情况下也不进行角色CH的俯仰、滚转姿势变化(或者限制姿势变化)。然后,在用户的HMD上生成并显示使用了图16的E1所示那样的角色CH的显示图像。通过这样做,能够防止在HMD的显示图像中产生大的摇晃或剧烈摇晃,能够防止3D眩晕的产生。
另一方面,在图16的E2中,与图8同样地,使用根据行进方向DT的变化而进行俯仰、滚转姿势变化的角色CH2(广义上为第二移动体)来生成图像。例如,如果是下坡的路线CS,则角色CH2进行向前侧俯仰的姿势变化,如果是上坡的路线CS,则进行向后侧俯仰的姿势变化。另外,在角色CH2向右方向或左方向转弯的情况下,如图12所示那样进行滚转姿势变化。然后,使用这样的角色CH2来生成对战用图像、观赏用图像或演示图像。例如对战用图像是显示在作为用户的对战对手的对手用户的HMD等上的图像。观赏用图像是为了例如观众等观赏使用了用户的角色的游戏(对战等)的情况而显示的图像。演示图像是在游戏开始前或开始后的演示模式下显示的图像,例如是表示用户的过去的游戏玩法的情况的重放图像。
在这样的对战用图像、观赏用图像或演示图像中,若使用如图16的E1所示那样始终为基本姿势的角色CH来生成图像,则就会成为对手用户、观众等感觉到不自然的图像。
这一点,根据图16的方法,关于HMD的显示图像,由于使用图16的E1所示那样的始终以基本姿势行进的角色CH来生成,因此能够防止显示图像的摇晃,防止3D眩晕的产生。另一方面,关于对战用图像、观赏用图像或演示图像,如图16的E2所示,使用姿势根据行进方向DT而适当变化的角色CH2来生成,因此能够生成不使他们感到不自然的适当的图像。因此,能够以兼顾两者的方式实现防止产生3D眩晕和生成适当的对战用图像、观赏用图像或演示图像。
另外,在本实施方式中,可以采用根据给定条件是否已成立来开启或关闭如图13那样将移动体的俯仰和滚转中的至少一个姿势变化无效或限制的处理(模式)的方法。图17的(A)是说明该方法的流程图。首先,判断关于是否使移动体(角色、搭乘移动体等)的俯仰、滚转姿势变化无效(限制)的给定条件是否已成立(步骤S11)。然后,在给定条件已成立的情况下,开启或关闭使移动体的俯仰、滚转姿势变化无效(限制)的模式(步骤S12)。该情况下的给定条件可以是开启该模式的条件,也可以是关闭该模式的条件。另外,也可以是能够只开启或关闭移动体的俯仰、滚转中的一方。
例如在图17的(B)中,作为移动体的车CA正在攀爬陡坡道的路线CS。在该情况下,若车CA的俯仰姿势变化被设定为无效,则有可能生成例如车CA的发动机罩钻入路线CS中那样的不自然的图像。因此,在为这种状况的情况下,判断为给定条件已成立,然后将使车辆CA的俯仰姿势变化无效的模式设定为关闭。通过这样做,车CA的姿势就会沿着路线CS的倾斜,能够防止生成图17的(B)那样的不自然的图像的情况。
作为图17的(A)的步骤S11的给定条件,可以设想各种条件。例如在路线(移动面)为下行的情况下、或者即使路线为水平也存在凹凸等特殊形状的情况下,可以认为给定条件已成立而开启使移动体的俯仰、滚转姿势变化无效的无效模式(或者限制模式。以下同样)。并且,在例如如图17的(B)所示路线为上坡且其倾斜角度为规定角度以上的情况下,关闭该无效模式。或者,在路线(移动面)为水平或接近水平的状态的情况下,也可以关闭该无效模式。即,根据在虚拟空间中移动体移动的路线的状况而将使移动体的俯仰和滚转中的至少一个姿势变化无效或限制的处理设定为开启或关闭。通过如此地进行,在为了防止3D眩晕而需要该无效模式的状况下,能够将该无效模式设为开启,在不需要该无效模式的状况下,能够将该无效模式设定为关闭。
需要说明的是,也可以如后述的图21、图22那样基于在选项设定画面等中的用户的设定信息、用户的玩游戏历史记录信息来开启或关闭该无效模式。这样一来,能够根据用户的意思、用户的过去的玩游戏状况来将该无效模式设定为开启或关闭。
图18是说明虚拟相机的俯仰、滚转姿势变化的无效处理(限制处理)的第二实现方法的图。
在图18的F1~F4中,进行使角色CH按如下方式移动的处理:角色CH的姿势随角色CH(移动体)的行进方向DT的变化而变化。例如如果是下坡的路线CS,则进行角色CH向前侧俯仰的姿势变化,如果是上坡的路线CS,则进行向后侧俯仰的姿势变化。另外,在向右方向或左方向弯曲的情况下,进行滚转的姿势变化。
而且,在图18的F1~F4中,按如下方式设定虚拟相机VC:即使在像这样角色CH的姿势根据行进方向DT的变化而发生了变化的情况下,虚拟相机VC的俯仰、滚转姿势变化也为无效(限制)。
例如,图18的F2、F3由于是下坡的路线CS,所以行进方向DT朝向了下方向,对角色CH也进行向前侧俯仰的姿势变化。但是,虚拟相机VC的视线方向CVL一直朝向水平方向,一直朝向与行进方向DT不同的方向。
这样一来,即使在角色CH的行进方向根据路线CS的状态等而发生了变化的情况下,只要用户不移动头部等,虚拟相机VC的视线方向CVL也朝向一定的方向(水平方向)。因此,能够防止HMD的显示图像大幅摇晃或者剧烈晃动的情况,能够防止3D眩晕的产生。而且,与图13的第一实现方法不同,在图18的第二实现方法中,角色CH的姿势根据行进方向DT而变化。例如,如果是下坡的路线CS,则就变为朝向下方向的姿势,如果是上坡的路线CS,则就变为朝向上方的姿势。另外,在转弯时,变为如图12那样使体轴向右或向左倾斜的滚转的姿势。因此,在图16的E2中说明过的对战用图像、观赏用图像或演示图像中,也能够显示对手用户、观众等不会感到不自然的图像。因此,能够以兼顾两者的方式实现防止由HMD的显示图像的摇晃所引起的3D眩晕的产生和生成适当的对战用图像、观赏用图像或演示图像。
需要说明的是,在执行图18的方法的情况下,也可以以虚拟相机VC的位置和姿势中的至少一方为基准来设定角色CH(移动体)的姿势。
例如如图19的(A)那样,以即使在角色CH的行进方向DT发生了变化的情况下也不进行俯仰、滚转姿势变化的方式设定了虚拟相机VC的位置、姿势(视点位置CVP、视线方向CVL)。在该情况下,如图19的(B)所示,以如图19的(A)那样已设定的虚拟相机VC的位置和姿势为基准来设定角色CH的姿势。例如按如下方式设定角色CH的姿势:虚拟相机VC的位置成为角色CH的视点位置,角色CH的脚下位置LP与路线CS接触。另外,例如以作为滑雪板SK的目标与路线CS的移动面适当接触的方式设定角色CH的姿势(前倾姿势)。
这样的角色CH的姿势的设定例如能够通过运动处理中的逆运动学处理等来实现。例如,通过逆运动学处理来求出各关节、各骨骼的位置,使得在角色CH的运动数据(骨架数据)中,头部的位置(视点位置)设定于虚拟相机VC的位置,脚的位置设定于与路线CS接触的脚下位置LP。此时,使滑雪板SK的方向(长边方向)也沿着路线CS的移动面的方向。由此,能够实现如下这样的处理:如图18那样即使行进方向DT变化,对虚拟相机VC也不进行俯仰、滚转姿势变化,另一方面,角色CH的姿势根据路线CS的倾斜、形状等而变为恰当的姿势。
另外,在本实施方式中,可以如图20所示根据移动体(角色等)的行进方向的变化或移动体移动的路线的状况(状态)而由在图4、图6等中已说明的可动框体40使用户的玩游戏位置变化。或者,也可以生成与移动体的行进方向的变化相应的声音或与移动体移动的路线的状况相应的输出音。
例如,在虚拟空间的移动体(角色等)的行进方向在下坡的路线上朝向了下方向的情况下,控制可动框体40,使现实空间的用户的姿势向前侧俯仰。以图4为例,使后侧的空气弹簧部50、52伸长,同时使前侧的空气弹簧部51、53收缩。另外,输出例如使用户感到好像正在沿下坡的路线下去那样的输出音(例如风噪)。另外,在虚拟空间的移动体的行进方向在上坡的路线上朝向了上方向的情况下,控制可动框体40,使现实空间的用户的姿势向后侧俯仰。以图4为例,使后侧的空气弹簧部50、52收缩,同时使前侧的空气弹簧部51、53伸长。另外,输出例如使用户感到正在攀爬上坡的路线这样的输出音。
另外,在路线为具有凹凸的、崎岖不平路的情况下,进行使用户的玩游戏位置上下摇动那样的可动框体40的控制。以图4为例,使各空气弹簧部50~52在上下方向上细微地伸缩。另外,输出表示高低不平的道路那样的输出音。
如果像这样控制可动框体40和输出音,则就能够使用可动框体40、输出音来使用户感受到在虚拟空间中的移动体的行进方向的变化、路线的状况。例如,能够通过由可动框体40产生的玩游戏位置的变化来使用户感受或者通过输出音的变化来使用户在听觉上识别行进方向的变化、由路线状况引起的加速度等的变化。因此,现实世界中的用户的体感、听觉状态与虚拟世界中的移动体、路线的状况在某种程度上一致,能够实现3D眩晕的产生的抑制。例如,如果在没有这样的由可动框体40产生的玩游戏位置的变化、输出音变化的状态下虚拟空间中的移动体的行进方向、路线状况剧烈地变化,则用户的体感、听觉状态与虚拟空间的状况就不一致。因此,有可能产生3D眩晕的情况,但根据图20的本实施方式的方法,能够防止这种情况的发生。
另外,在本实施方式中,可以基于用户的设定信息或用户的玩游戏历史记录信息来设定虚拟相机的姿势变化(俯仰、滚转)的无效处理(或者限制处理)的开启或关闭。
例如,图21是用户设定游戏的各种选项的选项设定画面的例子。在该选项设定画面中,用户能够进行将虚拟相机的俯仰、滚转的无效处理(无效设定)开启或关闭的选择。这样一来,例如不容易发生3D眩晕的用户通过关闭虚拟相机的俯仰、滚转的无效处理,能够乐享更真实的虚拟相机的设定下的游戏。另一方面,容易发生3D眩晕的用户通过将该无效处理设定为开启,能够有效地防止3D眩晕的产生。
另外,在图22中,根据用户的玩游戏历史记录的信息来将虚拟相机的俯仰、滚转的无效处理设定为开启或关闭。例如,对于根据用户的玩游戏历史记录信息而判断为在图21的选项设定画面等中开启该无效处理的倾向高的用户,自动地将该无效处理设定为开启。另一方面,对于根据玩游戏历史记录信息而判断为在选项设定画面等中关闭该无效处理的倾向高的用户,自动地将该无效处理设定为关闭。或者,对于根据玩游戏历史记录信息而判断为频繁地进行该游戏的赏玩用户,已习惯游戏,可以判断为难以发生3D眩晕而将该无效处理设定为关闭。玩游戏历史记录的信息已被存储于例如图1的便携式信息存储介质195(IC卡等)中,从便携式信息存储介质195中根据玩游戏历史记录的信息来进行该无效处理的开启、关闭的设定。或者,也可以从外部的服务器中下载用户的玩游戏历史记录的信息。
需要说明的是,在进行对虚拟相机的俯仰、滚转限制的处理的情况下,可以基于用户的设定信息或用户的玩游戏历史记录信息来设定该限制处理的程度。例如,用户能够在图21的选项设定画面中设定限制处理的程度、或者基于用户的玩游戏历史记录信息来增强或减弱限制处理的程度。在此,限制处理的程度例如表示虚拟相机的俯仰角、滚转角的变化相对于移动体的行进方向的变化的程度。例如,对于初级的用户或未习惯游戏的用户,使虚拟相机的俯仰角、滚转角的变化相对于移动体的行进方向的变化的程度变得更小(或者为零)。另一方面,对于高级的用户或已习惯游戏的用户,使虚拟相机的俯仰角、滚转角的变化相对于移动体的行进方向的变化的程度增大(或者设为1)。由此,能够进行与用户对应的最佳的处理程度的设定。
4.3.处理例
接着,使用图23的流程图来对本实施方式的处理例进行说明。
首先,取得用户的操作信息(步骤S21)。例如,取得使用图1的操作部160而已输入的用户的操作信息。另外,取得用户的视点信息的跟踪信息(步骤S22)。例如,取得通过在图2的(A)~图3的(B)等中说明过的跟踪处理而得到的跟踪信息。
接着,执行基于用户的操作信息、路线信息等的移动体的移动处理(步骤S23)。例如,基于用户的操作信息而执行使角色等移动体在由路线信息规定的路线上移动的处理。接着,根据移动体的移动信息(行进方向等)和在步骤S22中取得的跟踪信息等而执行使虚拟相机的位置(视点位置)、姿势(视线方向)变化的处理(步骤S24)。例如,以追随移动体的移动的方式使虚拟相机的位置等变化。例如,在作为移动体的角色的视点位置设定虚拟相机的位置。另外,如图9的(A)~图9的(C)中说明的那样,基于跟踪信息来执行根据用户的视点位置、视线方向而使虚拟相机的位置、姿势变化的处理。并且,此时,如图11~图18等中说明的那样,使虚拟相机的俯仰、滚转姿势变化无效(限制)。接着,生成从这样设定的虚拟相机上能够看见的图像,并显示于HMD(步骤S25)。即,生成图5、图7所示那样的图像,并显示于HMD。
需要注意的是,虽然如上述那样对本实施方式进行了详细说明,但是可以有在实质上不脱离本发明的新颖事项以及效果的多种变形,这对于本领域技术人员来说是能够容易理解的。因此,这样的变形例均应包含在本发明的范围之中。例如,在说明书或者附图中,至少一次与更广义或同义的不同用语(移动体、伸缩部等)一起记载的用语(角色、空气弹簧部等)不论在说明书或附图的任何地方都能置换为上述不同的用语。另外,跟踪信息的取得处理、移动体的移动处理、虚拟相机的控制处理(设定处理)、HMD的显示图像的显示处理、移动体的姿势的控制处理等也不限定于本实施方式中说明过的处理。与这些处理同等的方法、处理、结构也包含在本发明的范围内。另外,本发明能够应用于各种游戏。另外,本发明能够应用于业务用游戏装置、家庭用游戏装置、或大量用户参加的大型游乐设施系统等各种模拟系统。
附图标记说明
CH…角色(移动体);DT…行进方向;CS…路线;VC…虚拟相机;VP、CVP…视点位置;VL、CVL…视线方向;LP…脚下位置;HS…水平面;SK…滑雪板(附随目标);PL…用户;PPL…玩游戏位置;TP…经由点;CP…线缆连接点;20…线缆;40…可动框体;41、42…基部;43、44…操作部件;45、46…脚台;50~53…空气弹簧部;60、62…引导部;61、63…把持部;64…支承引导件;65…线缆取出口;69…风洞部;100…处理部;102…输入处理部;110…运算处理部;112…游戏处理部;113…可动框体处理部;114…移动体处理部;116…目标空间设定部;118…虚拟相机控制部;120…显示处理部;130…声音处理部;140…输出处理部;150…摄像部;151、152…摄像机;160…操作部;161、162…操作杆;163…加速踏板;164…制动踏板;165…游戏控制器;170…存储部;172…目标信息存储部;178…描绘缓冲器;180…信息存储介质;192…声音输出部;194…I/F部;195…便携式信息存储介质;196…通信部;200…HMD(头戴式显示装置);201~203…受光元件;210…传感器部;220…显示部;231~236…发光元件;240…处理部;260…头带;270…耳机;280、284…基站;281、282、285、286…发光元件;430…框架部;432…引导部;433…固定器具;450…底部;451…罩部;452…基部;454、455…导轨部;460…乘坐部;462…座椅;464…座椅支承部;470…移动部;472…支承部;473…上面部;474…下面部。

Claims (18)

1.一种模拟系统,其特征在于,包括:
输入处理部,取得佩戴头戴式显示装置的用户的视点信息的跟踪信息;
移动体处理部,进行使与所述用户对应的移动体在虚拟空间中移动的处理;
虚拟相机控制部,进行被设定为所述用户的第一人称视点的虚拟相机的控制;以及
显示处理部,生成在所述虚拟空间中从所述虚拟相机上能够看见的图像作为所述头戴式显示装置的显示图像,
所述虚拟相机控制部根据所述跟踪信息来使所述虚拟相机的位置、姿势变化,另一方面,所述虚拟相机控制部按如下方式设定所述虚拟相机:在所述移动体的行进方向发生了变化的情况下,也对所述虚拟相机的俯仰和滚转中的至少一个姿势变化进行无效或限制。
2.根据权利要求1所述的模拟系统,其特征在于,
所述输入处理部取得通过所述头戴式显示装置的跟踪处理而得到的所述跟踪信息,
所述跟踪信息包括从所述用户的初始视点信息起的视点信息的变化信息。
3.根据权利要求1或2所述的模拟系统,其特征在于,
所述移动体处理部进行使所述移动体按如下方式移动的处理:在所述移动体的行进方向发生了变化的情况下,所述移动体的俯仰和滚转中的至少一个姿势变化也被无效或限制,
所述虚拟相机控制部将所述虚拟相机设定于所述姿势变化已被无效或限制的所述移动体的视点的位置。
4.根据权利要求1或2所述的模拟系统,其特征在于,
所述移动体处理部进行使所述移动体按如下方式移动的处理:所述移动体的姿势根据所述移动体的行进方向的变化而变化,
所述虚拟相机控制部按如下方式设定所述虚拟相机:
在所述移动体的姿势根据所述移动体的行进方向的变化而发生了变化的情况下,也对所述虚拟相机的俯仰和滚转中的至少一个姿势变化进行无效或限制。
5.根据权利要求4所述的模拟系统,其特征在于,
所述移动体处理部以所述虚拟相机的位置和姿势中的至少一方为基准来设定所述移动体的姿势。
6.一种模拟系统,其特征在于,包括:
移动体处理部,进行使与用户对应的移动体在虚拟空间中移动的处理;
虚拟相机控制部,进行被设定为所述用户的第一人称视点的虚拟相机的控制;以及
显示处理部,生成在所述虚拟空间中从所述虚拟相机上能够看见的图像作为显示图像,
所述移动体处理部进行使所述移动体按如下方式移动的处理:在所述移动体的行进方向发生了变化的情况下,所述移动体的俯仰和滚转中的至少一个姿势变化也被无效或限制,
所述虚拟相机控制部将所述虚拟相机设定于所述姿势变化已被无效或限制的所述移动体的视点的位置。
7.根据权利要求6所述的模拟系统,其特征在于,
进行在世界坐标系下使所述移动体的局部坐标系的基准位置移动的处理,并且以所述局部坐标系相对于所述世界坐标系的俯仰和滚转中的至少一个旋转移动被无效或者被限制的方式设定所述局部坐标系,在所述局部坐标系下的所述移动体的视点的位置设定所述虚拟相机的视点坐标系。
8.根据权利要求6所述的模拟系统,其特征在于,
所述移动体处理部进行使所述移动体在路线上按如下方式移动的处理:在所述移动体的行进方向因所述虚拟空间的所述路线的状态变化而发生了变化的情况下所述移动体的俯仰和滚转中的至少一个姿势变化也被无效或者限制,
所述移动体处理部针对附随于所述移动体的给定目标,根据所述路线的状态而使姿势变化。
9.根据权利要求6所述的模拟系统,其特征在于,
所述显示处理部针对对战用图像、观赏用图像或演示图像而生成显示有俯仰和滚转中的至少一个姿势变化未被无效或限制的第二移动体的图像。
10.根据权利要求6所述的模拟系统,其特征在于,
所述虚拟相机控制部根据给定条件是否已成立来开启或关闭将所述移动体的俯仰和滚转中的至少一个姿势变化无效或限制的处理。
11.根据权利要求10所述的模拟系统,其特征在于,
所述虚拟相机控制部根据在所述虚拟空间中所述移动体移动的路线的状况来开启或关闭将所述移动体的俯仰、滚转中的至少一个姿势变化无效或限制的处理。
12.根据权利要求6至11中任一项所述的模拟系统,其特征在于,
所述模拟系统包括可动框体,该可动框体根据所述移动体的行进方向的变化或所述移动体移动的路线的状况来使所述用户的玩游戏位置变化。
13.根据权利要求6至11中任一项所述的模拟系统,其特征在于,
所述模拟系统包括声音处理部,该声音处理部生成与所述移动体的行进方向的变化相应的声音或者与所述移动体移动的路线的状况相应的输出音。
14.根据权利要求6至11中任一项所述的模拟系统,其特征在于,
所述虚拟相机控制部基于所述用户的设定信息或所述用户的玩游戏历史记录信息来设定将所述虚拟相机的所述姿势变化进行无效或限制的处理的开启或关闭。
15.一种处理方法,其特征在于,进行:
输入处理,取得佩戴头戴式显示装置的用户的视点信息的跟踪信息;
移动体处理,进行使与所述用户对应的移动体在虚拟空间中移动的处理;
虚拟相机控制处理,进行被设定为所述用户的第一人称视点的虚拟相机的控制;以及
显示处理,生成在所述虚拟空间中从所述虚拟相机上能够看见的图像作为所述头戴式显示装置的显示图像,
在所述虚拟相机控制处理中,
根据所述跟踪信息来使所述虚拟相机的位置、姿势变化,另一方面,按如下方式设定所述虚拟相机:在所述移动体的行进方向发生了变化的情况下,也对所述虚拟相机的俯仰和滚转中的至少一个姿势变化进行无效或限制。
16.一种处理方法,其特征在于,进行:
移动体处理,进行使与用户对应的移动体在虚拟空间中移动的处理;
虚拟相机控制处理,进行被设定为所述用户的第一人称视点的虚拟相机的控制;以及
显示处理,生成在所述虚拟空间中从所述虚拟相机上能够看见的图像作为显示图像,
在所述移动体处理中,进行使所述移动体按如下方式移动的处理:在所述移动体的行进方向发生了变化的情况下所述移动体的俯仰和滚转中的至少一个姿势变化也被无效或限制,
在所述虚拟相机控制处理中,将所述虚拟相机设定于所述姿势变化已被无效或限制的所述移动体的视点的位置。
17.一种计算机可读取的信息存储介质,其特征在于,
存储使计算机作为如下部分而发挥功能的程序:
输入处理部,取得佩戴头戴式显示装置的用户的视点信息的跟踪信息;
移动体处理部,进行使与所述用户对应的移动体在虚拟空间中移动的处理;
虚拟相机控制部,进行被设定为所述用户的第一人称视点的虚拟相机的控制;以及
显示处理部,生成在所述虚拟空间中从所述虚拟相机上能够看见的图像作为所述头戴式显示装置的显示图像,
所述虚拟相机控制部根据所述跟踪信息来使所述虚拟相机的位置、姿势变化,另一方面,所述虚拟相机控制部按如下方式设定所述虚拟相机:在所述移动体的行进方向发生了变化的情况下,也对所述虚拟相机的俯仰和滚转中的至少一个姿势变化进行无效或限制。
18.一种计算机可读取的信息存储介质,其特征在于,
存储使计算机作为如下部分而发挥功能的程序:
移动体处理部,进行使与用户对应的移动体在虚拟空间中移动的处理;
虚拟相机控制部,进行被设定为所述用户的第一人称视点的虚拟相机的控制;以及
显示处理部,生成在所述虚拟空间中从所述虚拟相机上能够看见的图像作为显示图像,
所述移动体处理部进行使所述移动体按如下方式移动的处理:在所述移动体的行进方向发生了变化的情况下,所述移动体的俯仰和滚转中的至少一个姿势变化也被无效或限制,
所述虚拟相机控制部将所述虚拟相机设定于所述姿势变化已被无效或限制的所述移动体的视点的位置。
CN201780043158.9A 2016-07-13 2017-07-06 模拟系统、处理方法以及信息存储介质 Active CN109478340B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016138927A JP6689694B2 (ja) 2016-07-13 2016-07-13 シミュレーションシステム及びプログラム
JP2016-138927 2016-07-13
PCT/JP2017/024792 WO2018012393A1 (ja) 2016-07-13 2017-07-06 シミュレーションシステム、処理方法及び情報記憶媒体

Publications (2)

Publication Number Publication Date
CN109478340A CN109478340A (zh) 2019-03-15
CN109478340B true CN109478340B (zh) 2022-12-20

Family

ID=60951710

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780043158.9A Active CN109478340B (zh) 2016-07-13 2017-07-06 模拟系统、处理方法以及信息存储介质

Country Status (4)

Country Link
US (1) US10915166B2 (zh)
JP (1) JP6689694B2 (zh)
CN (1) CN109478340B (zh)
WO (1) WO2018012393A1 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6719308B2 (ja) * 2016-07-13 2020-07-08 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム
JP6689694B2 (ja) 2016-07-13 2020-04-28 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム
GB2554914B (en) * 2016-10-14 2022-07-20 Vr Chitect Ltd Virtual reality system and method
KR102374404B1 (ko) * 2017-07-25 2022-03-15 삼성전자주식회사 콘텐트를 제공하기 위한 디바이스 및 방법
US10498964B2 (en) * 2017-12-28 2019-12-03 Gopro, Inc. Adaptive modes of operation based on user intention or activity
JP6446150B1 (ja) * 2018-03-29 2018-12-26 株式会社コロプラ プログラム、情報処理装置、および方法
CN112119451A (zh) * 2018-05-22 2020-12-22 索尼公司 信息处理装置、信息处理方法和程序
JP7382954B2 (ja) 2018-11-01 2023-11-17 株式会社ソニー・インタラクティブエンタテインメント Vr酔い低減システム、ヘッドマウントディスプレイ、vr酔い低減方法及びプログラム
JP7330683B2 (ja) * 2018-11-06 2023-08-22 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP6664778B1 (ja) * 2019-03-31 2020-03-13 アヘッド・バイオコンピューティング株式会社 情報処理装置、情報処理方法、および、プログラム
JP7305185B2 (ja) * 2019-03-31 2023-07-10 アヘッド・バイオコンピューティング株式会社 情報処理装置、情報処理方法、および、プログラム
US11612316B2 (en) * 2019-06-20 2023-03-28 Awss Zidan Medical system and method operable to control sensor-based wearable devices for examining eyes
JP6924799B2 (ja) * 2019-07-05 2021-08-25 株式会社スクウェア・エニックス プログラム、画像処理方法及び画像処理システム
CN110850977B (zh) * 2019-11-06 2023-10-31 成都威爱新经济技术研究院有限公司 一种基于6dof头戴式显示器的立体图像交互方法
NL1043556B1 (nl) * 2020-02-04 2021-09-13 Virtuwalk Bv Haptische VR simulatie-inrichting waarmee een gebruiker zich intuïtief door een virtuele omgeving kan verplaatsen
CN111610861A (zh) * 2020-05-25 2020-09-01 歌尔科技有限公司 跨平台交互方法、ar装置及服务器和vr装置及服务器
CN111708169B (zh) * 2020-07-10 2021-12-21 重庆三原色展览展示有限公司 一种适于舒适佩戴的vr眼镜整体镜框
US11465031B2 (en) * 2020-09-16 2022-10-11 RevolutioNice, Inc. Ambulation simulation systems, terrain simulation systems, treadmill systems, and related systems and methods
CN112817453A (zh) * 2021-01-29 2021-05-18 聚好看科技股份有限公司 虚拟现实设备和虚拟现实场景中物体的视线跟随方法
CN113457132B (zh) * 2021-06-23 2024-03-01 北京达佳互联信息技术有限公司 对象投放方法、装置、电子设备及存储介质
CN113926187A (zh) * 2021-10-20 2022-01-14 腾讯科技(深圳)有限公司 虚拟场景中的对象控制方法、装置及终端设备
TWI812273B (zh) * 2022-06-10 2023-08-11 仁寶電腦工業股份有限公司 基於影像的環境模擬的運算裝置、運動系統及控制方法
CN115346415B (zh) * 2022-09-05 2023-07-25 中国航空工业集团公司沈阳空气动力研究所 一种沉浸式滑雪模拟系统及其使用方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101034309A (zh) * 2007-04-10 2007-09-12 南京航空航天大学 基于多加速度传感器的虚拟现实头盔防眩晕系统及方法
CN102013185A (zh) * 2010-11-26 2011-04-13 南京多伦科技有限公司 一种汽车驾驶模拟器少自由度体感装置及其位姿调整方法
CN104076513A (zh) * 2013-03-26 2014-10-01 精工爱普生株式会社 头戴式显示装置、头戴式显示装置的控制方法、以及显示系统
CN104474665A (zh) * 2014-11-27 2015-04-01 曦煌科技(北京)有限公司 一种基于虚拟现实环境的模拟步行器及其模拟方法

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57173232A (en) 1981-04-17 1982-10-25 Hitachi Ltd Automatic equalizer
WO1994024652A1 (en) 1993-04-20 1994-10-27 Kabushiki Kaisha Ace Denken Driving simulation system
JP3428151B2 (ja) 1994-07-08 2003-07-22 株式会社セガ 画像表示装置を用いた遊戯装置
US5921780A (en) 1996-06-28 1999-07-13 Myers; Nicole J. Racecar simulator and driver training system and method
TW394702B (en) 1996-10-09 2000-06-21 Sega Enterprises Kk Player, solution and play implementation and play system
JP3145059B2 (ja) * 1997-06-13 2001-03-12 株式会社ナムコ 情報記憶媒体及び画像生成装置
JP3127137B2 (ja) * 1997-08-14 2001-01-22 株式会社ナムコ 画像生成装置及び情報記憶媒体
ES2275316T3 (es) 1997-11-07 2007-06-01 Kabushiki Kaisha Sega Doing Business As Sega Corporation Maquina de juego.
US6010403A (en) 1997-12-05 2000-01-04 Lbe Technologies, Inc. System and method for displaying an interactive event
JPH11309269A (ja) 1998-04-27 1999-11-09 Sony Corp ゲーム装置、シミュレーション装置及びゲーム画像表示方法
JP3046578B2 (ja) 1998-06-11 2000-05-29 株式会社ナムコ 画像生成装置及び情報記憶媒体
JP2002157607A (ja) * 2000-11-17 2002-05-31 Canon Inc 画像生成システム、画像生成方法および記憶媒体
JP2003066825A (ja) 2001-08-24 2003-03-05 Mitsubishi Heavy Ind Ltd 擬似体感装置
JP4957938B2 (ja) 2001-09-19 2012-06-20 株式会社セガ ゲームプログラム、ゲーム装置及びネットワークサーバ
AU2003223488A1 (en) 2002-04-05 2003-10-27 Konstantin Sizov Portable in-the-vehicle road simulator
US7126607B2 (en) 2002-08-20 2006-10-24 Namco Bandai Games, Inc. Electronic game and method for effecting game features
JP3822617B2 (ja) 2004-07-16 2006-09-20 株式会社コナミデジタルエンタテインメント ゲーム機の衝撃体感装置およびこの装置を備えたゲーム機
US7625287B2 (en) 2005-10-05 2009-12-01 Nintendo Co., Ltd. Driving game steering wheel simulation method and apparatus
JP4761528B2 (ja) 2005-10-11 2011-08-31 任天堂株式会社 ゲームプログラムおよびゲーム装置
JP4698701B2 (ja) * 2008-05-07 2011-06-08 株式会社バンダイナムコゲームス 画像生成システム、プログラム及び情報記憶媒体
US8021270B2 (en) 2008-07-03 2011-09-20 D Eredita Michael Online sporting system
US9418568B2 (en) 2009-09-29 2016-08-16 Advanced Training System Llc System, method and apparatus for driver training system with dynamic mirrors
CN101780321B (zh) 2009-12-30 2012-01-25 永春至善体育用品有限公司 一种高临场感的运动健身器材虚拟实景的制作方法以及基于该虚拟实景的互动系统和方法
JP5738569B2 (ja) * 2010-10-15 2015-06-24 任天堂株式会社 画像処理プログラム、装置、システムおよび方法
JP2012215934A (ja) * 2011-03-31 2012-11-08 Namco Bandai Games Inc プログラム、情報記憶媒体、端末、及びサーバ
JP6085411B2 (ja) * 2011-06-02 2017-02-22 任天堂株式会社 画像処理装置、画像処理方法、および画像処理装置の制御プログラム
US9179619B1 (en) 2012-03-01 2015-11-10 Pioneer Hi-Bred International, Inc. Soybean variety XB72D12
JP5888372B2 (ja) 2013-08-29 2016-03-22 キヤノンマーケティングジャパン株式会社 情報処理システムとその処理方法及びプログラム
US9978202B2 (en) 2014-02-14 2018-05-22 Igt Canada Solutions Ulc Wagering gaming apparatus for detecting user interaction with game components in a three-dimensional display
US9589384B1 (en) 2014-11-26 2017-03-07 Amazon Technologies, Inc. Perspective-enabled linear entertainment content
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
US10139902B2 (en) * 2015-09-16 2018-11-27 Colopl, Inc. Method and apparatus for changing a field of view without synchronization with movement of a head-mounted display
US10133343B2 (en) 2015-12-02 2018-11-20 Tactonic Tecnologies, LLC Foot operated navigation and interaction for virtual reality experiences
US20170228931A1 (en) 2016-02-08 2017-08-10 Google Inc. Limited field of view in virtual reality
JP5996814B1 (ja) 2016-02-08 2016-09-21 株式会社コロプラ 仮想空間の画像をヘッドマウントディスプレイに提供する方法及びプログラム
US10338392B2 (en) * 2016-06-13 2019-07-02 Microsoft Technology Licensing, Llc Identification of augmented reality image display position
JP6714791B2 (ja) 2016-07-13 2020-07-01 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム
JP6689694B2 (ja) 2016-07-13 2020-04-28 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム
JP6715192B2 (ja) 2017-01-06 2020-07-01 任天堂株式会社 ゲームシステム、ゲームプログラム、情報処理装置およびゲーム制御方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101034309A (zh) * 2007-04-10 2007-09-12 南京航空航天大学 基于多加速度传感器的虚拟现实头盔防眩晕系统及方法
CN102013185A (zh) * 2010-11-26 2011-04-13 南京多伦科技有限公司 一种汽车驾驶模拟器少自由度体感装置及其位姿调整方法
CN104076513A (zh) * 2013-03-26 2014-10-01 精工爱普生株式会社 头戴式显示装置、头戴式显示装置的控制方法、以及显示系统
CN104474665A (zh) * 2014-11-27 2015-04-01 曦煌科技(北京)有限公司 一种基于虚拟现实环境的模拟步行器及其模拟方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
虚拟现实头盔的延时感与立体感的研究;沈冰;《中国优秀硕士学位论文全文数据库信息科技辑》;20160415;全文 *

Also Published As

Publication number Publication date
US20190220087A1 (en) 2019-07-18
CN109478340A (zh) 2019-03-15
JP6689694B2 (ja) 2020-04-28
US10915166B2 (en) 2021-02-09
WO2018012393A1 (ja) 2018-01-18
JP2018010486A (ja) 2018-01-18

Similar Documents

Publication Publication Date Title
CN109478340B (zh) 模拟系统、处理方法以及信息存储介质
US11493990B2 (en) Simulation system, processing method, and information storage medium
US10955909B2 (en) Simulation system, processing method, and information storage medium
US20200254353A1 (en) Synchronized motion simulation for virtual reality
US11014000B2 (en) Simulation system, processing method, and information storage medium
CN110769906B (zh) 模拟系统、图像处理方法以及信息存储介质
JP6712423B2 (ja) シミュレーションシステム
JP6849317B2 (ja) ゲームシステム
JP7071823B2 (ja) シミュレーションシステム及びプログラム
CN112104857A (zh) 图像生成系统、图像生成方法及信息存储介质
JP7072441B2 (ja) シミュレーションシステム及びプログラム
JP6935218B2 (ja) シミュレーションシステム及びプログラム
JP6820299B2 (ja) プログラム、情報処理装置、および方法
JP6918189B2 (ja) シミュレーションシステム及びプログラム
JP2020004060A (ja) プログラム、情報処理装置および方法
JP6660321B2 (ja) シミュレーションシステム及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant