JP2017184048A - プログラム及び仮想現実体験提供装置 - Google Patents

プログラム及び仮想現実体験提供装置 Download PDF

Info

Publication number
JP2017184048A
JP2017184048A JP2016069267A JP2016069267A JP2017184048A JP 2017184048 A JP2017184048 A JP 2017184048A JP 2016069267 A JP2016069267 A JP 2016069267A JP 2016069267 A JP2016069267 A JP 2016069267A JP 2017184048 A JP2017184048 A JP 2017184048A
Authority
JP
Japan
Prior art keywords
virtual
sound
virtual reality
reality space
reference body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016069267A
Other languages
English (en)
Other versions
JP6783541B2 (ja
Inventor
絢 玉置
Aya Tamaki
絢 玉置
治由 山本
Haruyoshi Yamamoto
治由 山本
哲一 中西
Tetsukazu Nakanishi
哲一 中西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bandai Namco Entertainment Inc
Original Assignee
Bandai Namco Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bandai Namco Entertainment Inc filed Critical Bandai Namco Entertainment Inc
Priority to JP2016069267A priority Critical patent/JP6783541B2/ja
Priority to CN201780021823.4A priority patent/CN109076301B/zh
Priority to PCT/JP2017/011786 priority patent/WO2017170146A1/ja
Publication of JP2017184048A publication Critical patent/JP2017184048A/ja
Priority to US16/144,404 priority patent/US10713001B2/en
Application granted granted Critical
Publication of JP6783541B2 publication Critical patent/JP6783541B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/165Management of the audio stream, e.g. setting of volume, audio stream path
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/52Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/54Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55Controlling game characters or game objects based on the game progress
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/60Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6033Substation equipment, e.g. for use by subscribers including speech amplifiers for providing handsfree use or a loudspeaker mode in telephone sets
    • H04M1/6041Portable telephones adapted for handsfree use
    • H04M1/6058Portable telephones adapted for handsfree use involving the use of a headset accessory device connected to the portable telephone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/724094Interfacing with a device worn on the user's body to provide access to telephonic functionalities, e.g. accepting a call, reading or composing a message
    • H04M1/724097Worn on the head
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/033Headphones for stereophonic communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/04Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303Tracking of listener position or orientation
    • H04S7/304For headphones
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082Virtual reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11Positioning of individual sound objects, e.g. moving airplane, within a sound field

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Stereophonic System (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】仮想現実空間内にてユーザに仮想の小道具を使わせる場面における臨場感をより高めることができるVRに係る音響制御技術を提供すること。
【解決手段】仮想現実空間に、プレーヤの手に対して追従制御される仮想基準体10と、プレーヤの耳に対して追従制御される仮想身体部位14と、小道具としての仮想オブジェクトである仮想スマートフォン12を配置する。仮想基準体10が仮想スマートフォン12に接近して以降は、仮想スマートフォン12が把持されたと見なし両者を一体的に移動させる。そして、仮想基準体10又は仮想スマートフォン12が仮想身体部位14に接近するまでは、仮想スマートフォン12の発生音を着信音として立体音響制御をし、接近すると発生音を通話音に切り換えて立体音響制御をし、ヘッドフォン5で立体音響をプレーヤに聴かせる。
【選択図】図8

Description

本発明は、コンピュータに、仮想現実空間と実空間とを対応づけさせて、ユーザが装着するヘッドトラッキング型のHMD(Head Mounted Display)に仮想現実空間の画像を表示させ、ユーザが装着するヘッドフォンに仮想現実空間の音響を出力させるためのプログラム等に関する。
ユーザに立体視可能な映像とともに立体音響を提供して仮想現実空間に居るかのような体感をもたらす所謂VR(Virtual Reality)技術が公知である。
また、音声による仮想現実を表現する技術として、特許文献1には、移動音源が多数ある場合の処理負荷の低減技術が開示されている。また、特許文献2には、移動音源との相対位置を検出して、音像定位におけるパラメータを逐次変更することで移動音源の動きに連動した正確な音像定位を実現する技術が開示されている。
特開2002−51399号公報 特開2007−50267号公報
現状の技術レベルで、民生用に比較的安価に提供できるVR環境は、プレーヤに、ヘッドトラッキング機能付きのVR型のHMDを頭部に装着させ、ゲームコントローラを手に持たせるのが精一杯で、触覚や力覚の再現提供には至っていない。
一方で、仮想現実体験を、ゲームなりのエンターテインメントとして提供する場合、何らかのストーリーを用意する必要がでてくる。また、ストーリーを円滑に進めるうえで小道具の存在もまた重要であり、仮想現実空間内でプレーヤにその小道具を使わせて、当該小道具に係る音響をどのようにリアルに再現するかが没入感を向上させる上で重要な技術課題となる。
例えば、仮想現実空間内でプレーヤに仮想の携帯電話機を手にとって使わせる場面を想像するとよい。この仮想電話機は勿論実際には存在せず、プレーヤは実体の無い携帯電話機を手に取るかのような動作をして、さらに耳元に寄せ、仮想的に通話することになる。仮想電話機を手に持ったときの力覚や通話ボタンを押すなどの細かな触覚を再現できない分、VR体験としてのリアリティは仮想電話機に係る音響を如何にリアルに再現するかにかかってくる。
また、他の例として、金属探知機のような仮想のレーダーセンサーをプレーヤに手にとって使わせる場面や、仮想の指向性マイクをプレーヤに手にとって使わせる場面なども同様である。
本発明は、仮想現実空間内にてユーザに仮想の小道具を使わせる場面における臨場感をより高めることができるVRに係る音響制御技術を提供することを目的に考案されたものである。
上述した課題を解決するための第1の発明は、コンピュータに、仮想現実空間と実空間とを対応づけさせて、ユーザが装着するヘッドトラッキング型のHMD(ヘッドマウントディスプレイ)に前記仮想現実空間の画像を表示させ、前記ユーザが装着するヘッドフォンに前記仮想現実空間の音響を出力させるためのプログラムであって、
前記ユーザの第1の身体部位又はコントローラを基準体として前記実空間内の前記基準体の位置をトラッキングする基準体トラッキング手段(例えば、図9のサーバ処理部200s、ゲーム進行制御部210、基準体トラッキング部212、図12のステップS4)、
前記仮想現実空間において所与の役割が設定された仮想オブジェクトの位置を、前記基準体の位置に対応づけて追従させる仮想オブジェクト位置制御手段(例えば、図9のサーバ処理部200s、ゲーム進行制御部210、仮想オブジェクト位置制御部226、図12のステップS30)、
前記基準体の前記実空間内の位置、又は、前記仮想オブジェクトの前記仮想現実空間内の位置に基づいて定められた前記音響を変化させる位置条件を満たすか否かを判定し、判定結果に従って前記役割に応じた音響の前記ヘッドフォンからの出力を制御させる音響出力制御手段(例えば、図9のサーバ処理部200s、ゲーム進行制御部210、音響出力制御部230、図13のステップS70〜S74)、
として前記コンピュータを機能させるためのプログラムである。
第1の発明によれば、ユーザの第1の身体部位又はコントローラを基準体としてその実空間における位置をトラッキングする一方で、仮想現実空間内に所与の役割が設定された一種の小道具として利用可能な仮想オブジェクトを配置し、トラッキングしている基準体の移動に追従制御させることができる。そして、基準体の実空間における位置、又は仮想オブジェクトの仮想現実空間における位置が、ある位置条件を満たすと、仮想オブジェクトに割り当てられた役割に応じた音響をヘッドフォンから放音させることができる。
よって、ユーザに仮想の小道具を手にとって使わせるような場面の音響を仮想現実空間内にてリアルに再現できる。
第2の発明は、前記音響出力制御手段が、前記位置条件を満たさない場合には、前記役割に応じた音響を出力せずに前記仮想現実空間の環境音を出力させる、又は、前記役割に応じた音響よりも前記仮想現実空間の環境音の方を大きくして出力させ、前記位置条件を満たす場合には、前記仮想現実空間の前記環境音を出力せずに前記役割に応じた音響を出力させる、又は、前記仮想現実空間の前記環境音よりも前記役割に応じた音響の方を大きくして出力させる、第1の発明のプログラムである。
第2の発明によれば、ある位置条件を満たすまでは役割に応じた音響よりも環境音を主としてプレーヤに聞かせ、位置条件を満たすと逆に役割に応じた音響を主として聞かせることができる。つまり、現実世界において実際に使われているときに有るような位置関係を満たすと、仮想オブジェクトが役割を果たし始めて機能しているように思わせる音響を提供できる。よって、仮想現実空間内にてユーザに仮想の小道具を手にとって使わせるような場面の音響のリアリティをより高めることができる。
第3の発明は、前記基準体の前記実空間内の位置、又は、前記仮想オブジェクトの前記仮想現実空間内の位置に基づいて前記環境音を変化させる環境音変更制御手段(例えば、図9の音響出力制御部230)、として前記コンピュータを更に機能させる第1又は第2の発明のプログラムである。
第3の発明によれば、基準体の実空間内の位置や仮想オブジェクトの仮想現実空間内の位置に基づいて環境音を変化させことも可能になる。
第4の発明は、前記音響出力制御手段が、前記実空間において所与の実対象物と前記基準体とが接近したことを示す距離条件、又は、前記実対象物に対応する前記仮想現実空間内の仮想対象物と前記仮想オブジェクトとが接近したことを示す距離条件を、前記位置条件として前記判定を行う(例えば、図13のステップS70)、第1〜第3の何れかの発明のプログラムである。
第4の発明によれば、実空間において実対象物と基準体とが接近した場合、或いは、仮想現実空間において仮想対象物と仮想オブジェクトとが接近した場合に、仮想オブジェクトの役割に応じた音響が発生して仮想オブジェクトの役割が機能したかのように演出することができる。
第5の発明は、前記仮想オブジェクトは、前記仮想現実空間において音響を発する音響発生物(例えば、図3のスマートフォン12)として前記役割が設定されており、前記音響出力制御手段は、前記実対象物を前記ユーザの耳として前記位置条件を満たすかを判定することで、あたかも前記仮想現実空間における前記音響発生物が前記ユーザの耳に接近したかのような音響を前記ヘッドフォンから出力させる、第4の発明のプログラムである。
第5の発明によれば、仮想オブジェクトを、音を発生する小道具に仕立て、当該小道具が実際のユーザの耳に接近したかのような音響を実現できる。
第6の発明は、前記仮想オブジェクトが、電話機能を有する音響出力機器として前記役割が設定されており、前記音響出力制御手段は、前記役割に応じた音響として前記電話機能による通話音声を出力させる、第5の発明のプログラムである。
第6の発明によれば、仮想オブジェクトに電話機能を有する仮想の音響出力機器としての役割を果たさせることができる。プレーヤにしてみれば、音響出力機器を耳元まで持ってくるアクションをすれば、当該音響出力機器が通話モードになり通話音声が聞こえてくると言ったVR体験を実現できる。携帯電話機(スマートフォンも含む意。)のように現実世界に存在するモノの実際の使用状況をリアルに再現した臨場感溢れるVR体験を提供できる。
第7の発明は、前記音響出力制御手段が、前記位置条件を満たさない場合には、前記電話機能による前記通話音声を出力させず、前記電話機能による着信音を出力させ、前記位置条件を満たす場合には、前記電話機能による前記着信音を出力させず、前記電話機能による前記通話音声を出力させる、第6の発明のプログラムである。
第7の発明によれば、音響出力機器を耳元に寄せるまでは着信音を放ち、耳元に寄せると通話音に切り替わるように音響制御できる。よって、より一層リアルなVR体験を提供できる。
第8の発明は、前記音響出力制御手段が、前記位置条件を満たさない場合には、前記仮想現実空間の環境音を出力させ、前記位置条件を満たす場合には、前記仮想現実空間の環境音の大きさを小さくし、且つ、前記環境音の高音域を減衰させて出力させる(例えば、図13のステップS42)、第6又は第7の発明のプログラムである。
第8の発明によれば、音響出力機器を耳の近くに近づけることで環境音が幾分遮蔽され、こもったような音になると言った実空間でも良く体験する音響の変化を疑似再現できる。
第9の発明は、前記音響出力制御手段が、前記位置条件を満たす場合に、所与の反響音を更に出力させる(例えば、図13のステップS44)、第6〜第8の何れかの発明のプログラムである。
第9の発明によれば、音響出力機器を耳の近くに近づけることで反響音が生じると言った実空間でも良く体験する音響の変化を疑似再現できる。
第10の発明は、前記音響出力制御手段が、前記位置条件を満たす場合に、所与のノイズ音を更に出力させる、第6〜第9の何れかの発明のプログラムである。
第10の発明によれば、音響出力機器を耳の近くに近づけることでノイズ音が聞こえてくると言った実空間でも良く体験する音響の変化を疑似再現できる。
第11の発明は、前記音響出力制御手段が、前記ユーザの左右の耳それぞれについて前記位置条件を満たすかを判定し、満たす場合に、前記ヘッドフォンの左右出力のうちの満たしたほうの耳に対応する出力から、あたかも前記仮想現実空間における前記音響発生物が当該耳に接近したかのような音響を出力させる(例えば、図13のステップS72)、第5〜第10の何れかの発明のプログラムである。
第11の発明によれば、音響発生物を左右何れの耳に寄せるかによって左右の聞こえ方の違いが生じる事象を体感させることができる。
第12の発明は、前記音響出力制御手段が、前記ユーザの左右の耳それぞれについて前記位置条件を満たすかを判定し、満たす場合に、前記ヘッドフォンの左右出力のうちの満たさなかったほうの耳に対応する出力からの出力音響を低減させる(例えば、図13のステップS74)、第11の発明のプログラムである。
第12の発明によれば、位置条件が満たされなかった側(すなわち音響発生物が寄せられなかった側)の音量を、位置条件が満たされた側(すなわち音響発生物が寄せられた側)より下げることで、プレーヤが、仮想オブジェクトの役割に応じた音響に集中して聞き入ることを可能に演出できる。
なお、仮想オブジェクトの役割は、音響発生物に限らない。第13の発明として、前記仮想オブジェクトは、前記仮想現実空間において音響を入力する音響入力機器として前記役割が設定されており、前記音響出力制御手段は、前記実対象物を前記ユーザの第2の身体部位として前記位置条件を満たすかを判定することで、あたかも前記仮想現実空間における前記音響入力機器が前記ユーザの前記第2の身体部位での発生音響を入力したかのような前記発生音響を前記ヘッドフォンから出力させる、第4の発明のプログラムを構成することもできる。
第14の発明は、前記音響出力制御手段が、所与のイベントの発生済み、実行済み又は達成済みであることを示すイベントクリア条件を満たしているか否かで、前記位置条件を満たした場合の前記音響を変更する、第1〜第13の何れかの発明のプログラムである。
第14の発明によれば、発生するイベントとの関係で音響の変更を制御できるようになる。
第15の発明は、前記仮想現実空間内に、前記基準体の位置に追従する仮想基準体を配置制御する仮想基準体位置制御手段(例えば、図9のサーバ処理部200s、ゲーム進行制御部210、仮想基準体位置制御部214、図12のステップS6)、
前記仮想現実空間に前記仮想オブジェクトを初期配置する初期配置手段(例えば、図9のサーバ処理部200s、ゲーム進行制御部210、仮想オブジェクト初期配置制御部220、図12のステップS2)、
前記ユーザに対して、前記仮想基準体を前記初期配置の位置に近づけるように指示する指示手段(例えば、図9のサーバ処理部200s、ゲーム進行制御部210、指示制御部222、図12のステップS24)、
前記指示の後、前記仮想基準体の位置と前記初期配置の位置とが所定条件を満たした場合に、前記仮想オブジェクトと前記基準体との対応付けを設定する対応付け設定手段(例えば、図9のサーバ処理部200s、ゲーム進行制御部210、対応付け設定部224、図12のステップS30)、として前記コンピュータを更に機能させ、前記仮想オブジェクト位置制御手段は、前記対応付け設定手段による設定後に、前記仮想オブジェクトの位置を前記基準体の位置に対応づけて追従させる、第1〜第14の何れかの発明のプログラムである。
第15の発明によれば、仮想基準体と初期配置された仮想オブジェクトとが所定の位置関係をなして以降は、仮想基準体の移動に追従させて仮想オブジェクトを移動させることができる。例えば、仮想基準体で仮想オブジェクトを持つ、仮想基準体に仮想オブジェクトを付着させる・装備させる・装着させるといった状態を実現できる。
第16の発明は、仮想現実空間と実空間とを対応づけて、ユーザが装着するヘッドトラッキング型のHMD(ヘッドマウントディスプレイ)に前記仮想現実空間の画像を表示させ、前記ユーザが装着するヘッドフォンに前記仮想現実空間の音響を出力させる仮想現実体験提供装置であって、
前記ユーザの第1の身体部位又はコントローラを基準体として前記実空間内の前記基準体の位置をトラッキングする基準体トラッキング手段(例えば、図1のHMD6、トラッキング用カメラ7、コントローラ8、制御基板1150)と、
前記仮想現実空間において所与の役割が設定された仮想オブジェクトの位置を、前記基準体の位置に対応づけて追従させる仮想オブジェクト位置制御手段(例えば、図1の制御基板1150、図9の仮想オブジェクト位置制御部226)と、
前記基準体の前記実空間内の位置、又は、前記仮想オブジェクトの前記仮想現実空間内の位置に基づいて定められた前記音響を変化させる位置条件を満たすか否かを判定し、判定結果に従って前記役割に応じた音響の前記ヘッドフォンからの出力を制御させる音響出力制御手段(例えば、図1の制御基板1150、図9の音響出力制御部230、音生成部290s)と、を備えた仮想現実体験提供装置である。
第16の発明によれば、第1の発明と同様の効果を奏する仮想現実体験提供装置を実現できる。
ゲームシステム(仮想現実体験提供装置)の構成の一例を示す図。 コントローラの構成例を示す図。 ゲーム内の小道具をプレーヤに手にとって使わせる場面における音響制御の原理について説明するための概念図。 テーブルの上に置かれている仮想スマートフォンが鳴っている状態の、仮想現実空間と実空間それぞれの状況を示す図。 テーブルの上に置かれていた仮想スマートフォンをプレーヤが手に取った状態の、仮想現実空間と実空間それぞれの状況を示す図。 手に取った仮想スマートフォンをプレーヤの頭部に近づける過程の仮想現実空間と実空間それぞれの状況を示す図。 手に取った仮想スマートフォンをプレーヤの耳元に近づける過程の仮想現実空間と実空間それぞれの状況を示す図。 手に取った仮想スマートフォンをヘッドフォン越しにプレーヤの耳に寄せきった状態の仮想現実空間と実空間それぞれの状況を示す図。 サーバシステムの機能構成例を示す機能ブロック図。 サーバ記憶部が記憶するプログラムやデータの例を示す図。 プレイデータのデータ構成例を示す図。 サーバシステムにおける処理の流れを説明するためのフローチャートのデータ構成例を示す図。 図12より続くフローチャート。 ゲームシステムの変形例を示す図。 音響入力機器の役割を与えられた小道具をプレーヤに手にとって使わせる場面における音響制御の原理について説明するための概念図。
図1は、本実施形態におけるゲームシステム1000の構成の一例を示す図である。本実施形態のゲームシステム1000は、仮想現実体験(VR体験)をユーザに提供する仮想現実体験提供装置である。ゲームシステム1000は、プレーヤがヘッドトラッキング機能付きのVR(Virtual Reality)型のHMDを頭部に装着するとともにコントローラを把持して、実空間である所定のプレイフィールド内を移動しながらプレイするゲームを実行するためにデザインされたコンピュータシステムである。
具体的には、ゲームシステム1000は、プレイフィールドの床面に敷き詰められる保護シート4と、プレーヤ2が頭部に装着するヘッドフォン5及びHMD6と、プレーヤ2が把持するコントローラ8と、HMD6やコントローラ8の位置や姿勢のトラッキングをするための複数のトラッキング用カメラ7と、これら(HMD6・コントローラ8・トラッキング用カメラ7)とデータ通信可能に接続されたサーバシステム1100と、を備える。
本実施形態のゲームシステム1000は、シングルプレイ用を想定しており、保護シート4とHMD6とコントローラ8とトラッキング用カメラ7のセット(図示の例では3台で1セット)とはそれぞれ1つずつ備えられているとする。しかし、ゲームシステム1000を、マルチプレイ用として運用する場合には、適宜、HMD6とコントローラ8とトラッキング用カメラ7のセットとを1組として、複数組をサーバシステム1100に接続すればよい。
なお、ゲーム操作のデザインによっては1人当たりのコントローラ8は複数でもよい。また、1セットとされるトラッキング用カメラ7の台数や配置位置関係は、採用するトラッキング技術によって適宜設定可能であり、図示の例に限定されるものではない。例えば、マルチプレイであっても、トラッキング用カメラ7のセットを兼用とし、1組で実現するとしてもよい。
保護シート4は、HMD6を装着したプレーヤ2が転倒しても怪我をしないように床面を被う保護材である。例えば、人が立つなどの静的荷重に対しては適度な硬さを示すが、衝撃は適切に吸収する弾性体シートである。なお、保護シート4の代わりに、プレーヤ2にヘルメットの装着や、肩・肘・膝などへの保護パッドの装着を義務づけるとしてもよい。
ヘッドフォン5は、プレーヤ2の左右の耳をそれぞれ被う左右のスピーカ部を備える。1つのスピーカ部が備えるスピーカの数は適宜設定可能である。
HMD6は、頭部の向きと方向とがトラッキング可能なVR型のヘッドマウントディスプレイである。本実施形態では、装着すると両眼が被われて周囲の様子が見えなくなる没入型(非透過型)とするが、透過制御により透過/非透過を制御できるタイプでもよい。その場合、非常時を除くゲームプレイ中は基本的に非透過に制御されるものとする。
なお、本実施形態のHMD6は、3軸加速度センサと、ジャイロセンサと、トラッキング用のマーカとして機能する単数又は複数の発光部と、ヘッドフォン5と、を一体に有するタイプとする。ただし、3軸加速度センサ・ジャイロセンサ・発光部は、HMD6のプレイフィールド内での位置や姿勢を追跡するヘッドトラッキングを実現するために使用されるので、採用するトラッキング技術によって不要な要素は適宜省略できる。
図2は、コントローラ8の構成例を示す図である。本実施形態のコントローラ8は、人が片手で把持できるサイズの棒状の把持部81と、その先端に設けられた先端発光体82と、を有する。
把持部81は、コントローラ制御基板85と、バッテリー86とを内蔵する。適宜その表面に、操作スイッチやダイヤルスイッチなどを設けても良い。
コントローラ制御基板85は、CPU851と、ICメモリ852と、インターフェースIC853と、無線通信モジュール854と、3軸加速度センサ855と、ジャイロセンサ856と、を備える。勿論、これら以外の電子部品も適宜備えることができる。
CPU851は、ICメモリ852に記憶されているプログラムを実行することにより、先端発光体82の発光制御と、ダイヤルスイッチ84の切り換え状態信号や3軸加速度センサ855及びジャイロセンサ856による検出信号を無線通信モジュール854を介してサーバシステム1100へ送信する制御と、を実行する。
なお、3軸加速度センサ855と、ジャイロセンサ856と、先端発光体82とは、コントローラ8のプレイフィールド内での位置や姿勢を追跡するコントローラトラッキングを実現するために使用されるので、採用するトラッキング技術によって不要な要素は適宜省略できる。
また、コントローラ8の外観形状は、これに限らず適宜設定可能である。家庭用据置型ゲーム装置のゲームコントローラをコントローラ8として使用してもよいし、専用のコントローラ8を設けることとしてもよい。専用のコントローラ8を設ける場合には、その形状は適宜設定でき、例えば指輪型や、腕輪型、指サック型、などでもよい。
図1に戻って、トラッキング用カメラ7は、プレイフィールド(本実施形態では保護シート4の上)を撮影範囲に収め、HMD6やコントローラ8を撮影した画像の信号やデータを、サーバシステム1100へ送信する。そして、撮影した画像は、公知のモーションキャプチャ技術と同様にして、HMD6のプレイフィールド内での位置や姿勢を追跡するヘッドトラッキングや、コントローラ8のプレイフィールド内での位置や姿勢を追跡するコントローラトラッキングに使用される。なお、採用するトラッキング技術によっては、トラッキング用カメラ7を省略してもよい。或いは、カメラに代えて深度センサを採用するとしてもよい。
サーバシステム1100は、ゲームシステム1000に含まれるコンピュータシステムの1つである。本実施形態のサーバシステム1100は、本体装置1101と、タッチパネル1108と、を有し、本体装置1101は、プレイ対価支払部1110と、制御基板1150とを搭載する。
プレイ対価支払部1110は、ゲームプレイの対価の支払いを受け付け、支払操作の検知信号を制御基板1150へ出力する。プレイ対価支払部1110は、例えば硬貨投入装置や、仮想通貨に紐付けられた情報を記憶する媒体(例えば、クレジットカード、プリペイドカード、電子マネーカード、ユーザカードなど)の読み取り装置で実現され、現金やクレジット、仮想通貨による支払いに対応する。
制御基板1150には、CPU(Central Processing Unit)1151やGPU(Graphics Processing Unit)、DSP(Digital Signal Processor)などの各種マイクロプロセッサ、VRAMやRAM,ROM等の各種ICメモリ1152、通信装置1153が搭載されている。なお、制御基板1150の一部又は全部は、ASIC(Application Specific Integrated Circuit)や、FPGA(field-programmable gate array)、SoC(System on a Chip)により実現するとしてもよい。
そして、サーバシステム1100は、制御基板1150が所定のプログラム及びデータに基づいて演算処理することにより、1)ユーザ登録等に係るユーザ管理機能と、2)ヘッドトラッキング及びコントローラトラッキングの機能と、3)HMD6及びコントローラ8を1組のユーザ端末と見なしたゲーム進行に係る各種制御を実行するゲーム管理機能と、を実現する。つまり、本実施形態におけるゲームは、一種のクライアント・サーバ型のオンラインゲームとして実現される。
なお、制御基板1150が実行する制御は、これらに限らず、クレジットや仮想通貨によるプレイ対価の支払いに係る制御を、適宜含む。マルチプレイ用にデザインした場合には、他のサーバシステム1100を使用する他プレーヤとのマッチング機能を行うとしてもよい。
また、本実施形態ではサーバシステム1100を単体として記しているが、それら各機能を分担する複数のブレードサーバを搭載して相互に内部バスを介してデータ通信可能に接続した構成であっても良い。或いは、離れた場所に設置された独立した複数のサーバを、通信回線(有線/無線を問わない)を介してデータ通信させることで、全体としてサーバシステム1100として機能させる構成であっても良い。
[原理の説明]
図3は、ゲーム内の小道具をプレーヤに手にとって使わせる場面における音響制御の原理について説明するための概念図である。
本実施形態のゲームは、仮想現実空間(VR空間)に配置された様々な小道具を使用して仮想現実空間の住人とコミュニケーションしながらミッションをクリアするゲームである。
以降では、小道具として電話機能を有する仮想の音響入出力装置である「仮想スマートフォン」を例示する。そして、プレーヤは、ゲーム開始直後に当該仮想スマートフォンを介して通話相手から自身が置かれている状況を理解するための前提情報を得て、通話終了後にゲーム終了条件を達成すべく本格的なゲームプレイに入るものとして説明する。
勿論、本実施形態を実際に運用するに当たっては、小道具とその役割は、音響発生物であればゲーム内容によって適宜設定可能である。例えば、オルゴールや、昆虫、想像の生物、装備品、などであってもよい。
本実施形態では、コントローラ8、又は当該コントローラを持つ手(第1の身体部位;図示の例ではプレーヤ2の右手2h)は、小道具を使用するうえで位置や姿勢の参照基準となる基準体とされ、実空間におけるその位置や姿勢はトラッキング用カメラ7やコントローラ8のトラッキングにより把握される。
そして、仮想現実空間には、当該仮想現実空間における基準体に対応付けられる仮想基準体10が用意され、実空間における基準体の位置や姿勢を追従するように制御される。本実施形態における仮想基準体10はプレーヤ2の仮想の右手とするが、左手であってもゲーム進行には影響しない。また、ゲーム内容によっては脚でも良い。
さて、本実施形態における小道具である仮想スマートフォン12は、仮想基準体10との相対位置が所定の「把持状態認識条件」を満たすと、仮想基準体10により把持されたものと見なされる。それ以降、仮想スマートフォン12は仮想基準体10と対応づけられ、仮想基準体10と一体的に仮想現実空間内を移動制御されることになる。なお、一体的とは、仮想基準体10と仮想スマートフォン12とが一体に密着又は結合している状態に限らず、少しの距離がある近接状態にある場合も含む意味である。小道具が、仮想基準体10にまとわりつくように移動する妖精などであれば、仮想基準体10との間で所定の相対位置関係を維持してまとわりつくように移動する状態も一体的と言える。
また、本実施形態では、プレーヤ2の第2の身体部位として左右の耳2Eの位置や姿勢が、音響制御に係る基準としてトラッキングの対象とされる。具体的には、HMD6のトラッキングにより求められるプレーヤ2の頭部の所定位置に耳2Eがあるものとして位置や姿勢が把握される。
そして、仮想現実空間には、当該仮想現実空間における第2の身体部位である仮想身体部位14(本実施形態では、仮想右耳14Rと仮想左耳14L)が用意され、実空間における耳2Eの位置や姿勢を追従するように制御される。
さて、仮想スマートフォン12に係る基本的な音は、仮想現実空間内に設定された立体音響場に組み込まれ、音源毎に頭外音像定位を有するように(音源までの方向と距離とを立体的に認識できるように)コントロールされた立体音響がヘッドフォン5にて放音される。つまり、仮想スマートフォン12が音を発している状態でプレーヤ2が頭の向きを変えると、仮想スマートフォン12の音像定位が補正される。
加えて、本実施形態では、仮想スマートフォン12に係るリアルな使用感を演出するための各種の効果音が、仮想基準体10又は仮想スマートフォン12と、仮想身体部位14との相対位置関係に応じて選択され立体音響に付加される。
では、プレーヤ2がテーブルの上に置かれている仮想スマートフォン12を手にとって通話を開始するまでの流れに沿って、仮想スマートフォン12に係る効果音の付加について具体的に述べる。
図4は、テーブルの上に置かれている仮想スマートフォン12が鳴っている(着信音を発している)状態の、仮想現実空間と実空間それぞれの状況を示す図である。
仮想現実空間に配置された仮想テーブル16の上に置かれている仮想スマートフォン12が着信音を発している。この段階では、仮想基準体10と仮想スマートフォン12との距離は、所定の「把持状態認定距離条件」を満たさず、よって仮想スマートフォン12は仮想テーブル16の上に単に置かれており、把持されていないものと見なされる。
「把持状態認定距離条件」は、仮想スマートフォン12(仮想オブジェクト)の仮想現実空間内の位置に基づいて定められた音響を変化させる第1の位置条件である。
この状況の音響制御としては、仮想スマートフォン12に係る音データから「非把持状態着信音」が選択され、仮想スマートフォン12を仮想現実空間において音響を発する音響発生物すなわち仮想音源として、環境音を含む立体音響場に組み込まれる。
ここで言う「環境音」は、仮想スマートフォン12(仮想オブジェクト)以外を起源にする音を言う。音源不明で空間に満ちている音は勿論のこと、プレーヤ2が移動することにより発生する音も含まれる。例えば、移動により生じる歩行音、プレーヤ2が金属製の鎧を着用している設定ならば、身体を動かすことにより生じる金属が摺れたりぶつかって生じる音も含まれる。手に持っているモノを床に落としたり、手に持っているモノを他のモノにぶつけて生じる衝突音、或いは他のモノにめり込む音なども含めることができる。
つまり、仮想スマートフォン12が音を発している状態でプレーヤ2が頭の向きを変えると、ヘッドフォン5からは、環境音を背景にして仮想スマートフォン12の着信音が、頭の向きを変えるのに対応して音像定位補正されて聞こえてくることになる。例えば、プレーヤ2が仮想スマートフォン12を正面に見ている状態から、頭を左90°に向けると、仮想スマートフォン12の音像定位は右90°補正される。
なお、本実施形態の非把持状態着信音は、仮想スマートフォン12から直接発せられる着信音そのものだけでなく、当該着信音(更にはバイブレータによる振動)が仮想テーブル16に伝達してその表面から間接的に発せられる音を含んでいるようにデザインされている。
図5は、テーブルの上に置かれていた仮想スマートフォン12をプレーヤ2が手に取った状態の、仮想現実空間と実空間それぞれの状況を示す図である。
プレーヤ2が仮想スマートフォン12を取ろうとコントローラ8を持った手を伸ばすと、やがて仮想基準体10と仮想スマートフォン12との距離が把持状態認定距離条件を満たし、仮想スマートフォン12がプレーヤ2に把持されたものと見なされる。これ以降、仮想スマートフォン12は、仮想基準体10に対応づけられ、以降は一緒に仮想現実空間内を移動することになる。
この状況の音響制御としては、仮想スマートフォン12が発する音は「非把持状態着信音」から「把持状態着信音」へ切り換えられる。ここで言う「把持状態着信音」とは、着信音そのものである。
なお、把持状態認定距離条件は、仮想スマートフォン12(仮想オブジェクト)を基準点とする位置関係を定義する位置条件と読み替えることができる。すなわち、仮想スマートフォン12の位置を基準点として、基準体である右手2h或いはコントローラ8の実空間の位置、又は当該基準体に対応する仮想基準体10の仮想現実空間内の位置が、所与の位置関係を満たす条件、と読み替えることができる。以降の説明においても、他の「距離条件」が登場するが、同様に仮想オブジェクトを基準点とする位置関係を定義する位置条件と読み替えできる。
図6は、手に取った仮想スマートフォン12をプレーヤ2の頭部に近づける過程の仮想現実空間と実空間それぞれの状況を示す図である。
手に取った仮想スマートフォン12を頭部に近づける過程においては、ヘッドフォン5では、仮想スマートフォン12を移動音源とする「把持状態着信音」と、仮想スマートフォン12以外の音源からの音の混合音である環境音とが、立体音響制御されて放音される。つまり、ヘッドフォン5からは、プレーヤ2が手に取った仮想スマートフォン12を耳元に近づけるにつれて、HDM6では仮想スマートフォン12が近づく様子が映し出され、それに応じてヘッドフォン5から聞こえてくる着信音の位置が変化しつつ、近づいた分だけ着信音の音量が徐々に大きくなってくるように音が聞こえてくる。
この状況の音響制御としては、ヘッドフォン5の左右で聞こえる音に差が生じる。すなわち、本実施形態ではプレーヤ2は右手で仮想スマートフォン12を持って右耳に寄せるので、環境音については略左右同じ音量であるが、仮想スマートフォン12の着信音については、立体音響制御されることによってヘッドフォン5の左側スピーカから聞こえる音量よりも右側スピーカから聞こえる音量の方が大きくなる。
図7は、手に取った仮想スマートフォン12をプレーヤ2の耳元に近づける過程の仮想現実空間と実空間それぞれの状況を示す図である。
仮想現実空間では、仮想基準体10及び仮想スマートフォン12が、仮想身体部位14(仮想右耳14R)に、「反響音発生距離条件」を満たすほどに近づく。
「反響音発生距離条件」は、「反響音」が聞こえるようになる距離条件であって、実空間において所与の実対象物(本実施形態ではプレーヤ2の右耳)と基準体(本実施形態ではプレーヤ2の右手又はコントローラ8)とが接近したことを示す第1の距離条件である。なお、「反響音発生距離条件」は、後述する通話認定距離条件と同じとしてもよい。
また、ここで言う「反響音」とは、仮想スマートフォン12の着信音(仮想音源を起源とする音)や環境音が、仮想身体部位14と仮想スマートフォン12との間で反射して生じる音である。
この状況の音響制御としては、反響音発生距離条件を満たした側のヘッドフォン5のスピーカから放音される環境音の音量は低減され、更にローパスフィルタ処理が施されて当該環境音に含まれる所定の高周波成分が低減又は削減される。これにより、仮想スマートフォン12が仮想右耳14Rに近づいたことにより環境音がこもったような感じになる現象を再現することができる。
また、仮想スマートフォン12に関連して用意されている音データのなかから「反響音」が選択され立体音響に付加される。具体的には、反響音発生距離条件を満たした側のヘッドフォン5のスピーカから放音される立体音響に反響音が加えられる。反対側のヘッドフォン5のスピーカから放音される立体音響には反響音は加えられない。加えられる反響音の音量は、所定の上限音量まで仮想スマートフォン12と仮想身体部位14(仮想右耳14R)との距離が近づくにつれて徐々に大きくなるように変更される。
図8は、手に取った仮想スマートフォン12をヘッドフォン越しにプレーヤ2の耳に寄せきった状態の仮想現実空間と実空間それぞれの状況を示す図である。
プレーヤ2が仮想スマートフォン12を更に仮想身体部位14(仮想右耳14R)へ近づけるようにアクションすると、やがて両者の距離が所定の「通話認定距離条件」を満たすほどに接近する。すると、仮想スマートフォン12は、着信状態から通話状態に状態設定が変更され、仮想スマートフォン12を音源とする音は、把持状態着信音から通話内容を再生する「通話音声」に変更される。
「通話認定距離条件」は、実空間において所与の実対象物(本実施形態ではプレーヤ2の右耳)と基準体(本実施形態ではプレーヤ2の右手又はコントローラ8)とが接近したことを示す第2の距離条件である。通話状態設定距離は適宜設定可能であるが、本実施形態ではヘッドフォン5が耳を被う厚さより少し大きい値とする。これにより、ヘッドフォン越しではあるが、あたかも見えないスマートフォンを耳に十分寄せると、自動的に通話状態になったかのように演出することができる。
この状況の音響制御としては、通話音声は、通話認定距離条件を満たした側のヘッドフォン5のスピーカから放音される立体音響に加えられるが、反対側のスピーカから放音される立体音響には加えられない。本実施形態では、ヘッドフォン5の右側スピーカから放音される音に加えられるが、左側スピーカから放音される音には加えられないことになる。
また、通話認定距離条件を満たした側のヘッドフォン5のスピーカから放音される立体音響では、環境音及び反響音の音量は、通話音声に切り替わる前よりも低減される。これにより、リアリティを損なわずに、ゲーム進行に重要な通話音声が明確にプレーヤ2に聞き取られるようにする。なお、低減後の環境音及び反響音の音量は「0」でもよい。
また、本実施形態では通話認定距離条件は「ノイズ発生距離条件」を兼ねており、仮想スマートフォン12がノイズ発生距離条件を満たすほどに仮想身体部位14(仮想右耳14R)に接近すると、仮想スマートフォン12に関連して用意されている音データのなかから「ノイズ音」が選択され、ノイズ発生距離条件を満たした側のヘッドフォン5のスピーカから放音される立体音響に加えられる。なお、ノイズ発生距離条件と通話認定距離条件とを違えても良い。
ここで言う「ノイズ音」とは、耳穴近傍に硬質の物体が密接すると聞こえてくる「シャー」と表現される高周波いわゆるホワイトノイズである。ゲーム内容や、小道具の設定、演出目的によっては、プレーヤの心音(例えば、ドキドキ音)などであってもよい。
また、通話認定距離条件を満たさなかった側のヘッドフォン5のスピーカから放音される立体音響では、通話音声以外の音の音量が、通話音声が再生されている間、一時的に低減されるように又は全く含まれないように制御される。これにより、プレーヤが通話音声に集中して聞き入っている状況を演出する。
このように、本実施形態では、HMD6では見えているが、生身の手の感覚としてその重さも触感も感じられない仮想スマートフォン12を「手に取り→頭に近づけ→耳元へ寄せ→使用開始する」までの過程の音をリアルに再現できる。すなわち、プレーヤには、仮想スマートフォン12の相対方位や相対距離が徐々に変わってゆくように聞こえ、ある位置からは物体を耳に近づけた時に聞こえる反響音やノイズ音までも聞こえてくる。そして更に、仮想スマートフォン12が所定の使用ポジション(実世界におけるスマートフォンを使う時と同様のポジション)に到達すると、自動的に通話音声を再生させるとともに、その他の音の音量を下げる(或いは出力しないとしても良い。)ことで、通話音声に聞き入っている状況をリアルに再現し聴かせることができる。よって、触覚やモノを持った重さの力覚を再現できないVR環境であっても、リアルでリッチなVR体験を提供できる。
しかも、反響音やノイズ音などの演出音は、仮想スマートフォン12を近づけた側のヘッドフォン5のスピーカから放音する立体音響に対して適当な音量で追加するに過ぎないので少ない演算付加で実現できる。立体音響場を物理的にシミュレートできる程のリッチな演算リソースが無いゲーム装置でも実現できる。
[機能構成の説明]
図9は、本実施形態におけるサーバシステム1100の機能構成例を示す機能ブロック図である。本実施形態におけるサーバシステム1100は、操作入力部100sと、サーバ処理部200sと、音出力部390sと、画像表示部392sと、通信部394sと、サーバ記憶部500sとを備える。
操作入力部100sは、サーバシステム1100の管理やゲームプレイのための各種操作を入力するための手段である。本実施形態では、図1のHMD6及びトラッキング用カメラ7は、プレーヤ2が見ている位置や方向、第2の身体部位の位置を入力する機能を果たし、トラッキング用カメラ7及びコントローラ8は、第1の身体部位の位置を入力する機能を果たす。
サーバ処理部200sは、例えばCPUやGPU等のマイクロプロセッサや、ASIC、ICメモリなどの電子部品によって実現され、操作入力部100sやサーバ記憶部500sを含む各機能部との間でデータの入出力制御を行う。図1の制御基板1150がこれに該当する。そして、サーバ処理部200sは、所定のプログラムやデータ、操作入力部100sからの操作入力信号、HMD6やコントローラ8、トラッキング用カメラ7などから受信したデータに基づいて各種の演算処理を実行して、サーバシステム1100の動作を統合的に制御する。
具体的には、本実施形態のサーバ処理部200sは、ユーザ管理部202と、ゲーム進行制御部210と、計時部280と、音生成部290sと、画像生成部292sと、通信制御部294sとを含む。勿論、これら以外の機能部も適宜含めることができる。
ユーザ管理部202は、ユーザ登録手続きに係る処理及びアカウント(ユーザID)に紐付けられるデータの記憶管理を行う。本実施形態では、1)アカウントの付与制御と、2)ゲーム内課金に使用される当該アカウントに紐付けられる仮想口座の設定と入出金制御すなわち電子決済に関する制御と、3)ログイン/ログアウトの管理と、4)ユーザに関する個人情報の登録管理と、を行う。勿論、これら以外のデータについての管理を適宜含めることもできる。
ゲーム進行制御部210は、ゲームの実行管理に係る各種処理を行う。具体的には、ゲーム進行制御部210は、基準体トラッキング部212と、仮想基準体位置制御部214と、第2身体部位トラッキング部216と、仮想身体部位位置制御部218と、仮想オブジェクト初期配置制御部220と、指示制御部222と、対応付け設定部224と、仮想オブジェクト位置制御部226と、音響出力制御部230と、を有する。
なお、本実施形態のゲームは、シングルプレイを前提としているが、もしPvP(Player versus Player)形式でゲームを実行する場合には、ゲーム進行制御部210に対戦者のマッチングに関する制御を実行させることとしてもよい。
基準体トラッキング部212は、ユーザの第1の身体部位又はコントローラを基準体として、その実空間における位置をトラッキングする。本実施形態では、第1の身体部位としてプレーヤ2の右手2h又はコントローラ8を基準体とする(図3参照)。なお、第1身体部位は、ゲーム内容や小道具の役割によっては、左手は勿論のこと、手指、関節、脚、頭部、腹部、背、肩、額、口、鼻、などその他の部位でもよい。
仮想基準体位置制御部214は、仮想現実空間内に、基準体の位置に追従する仮想基準体10(図3、図4参照)を配置し、基準体トラッキング部212によるトラッキングの結果に応じて、実空間内の基準体の位置や姿勢を追従するように仮想基準体10を制御する。
第2身体部位トラッキング部216は、ユーザの第2の身体部位の実空間における位置をトラッキングする。本実施形態では、左右の耳2Eを第2の身体部とする(図3参照)。
仮想身体部位位置制御部218は、仮想現実空間内に、第2の身体部位の位置に追従する仮想身体部位14を配置し、第2身体部位トラッキング部216によるトラッキングの結果に応じて、実空間内の第2の身体部位の位置や姿勢を追従するように仮想身体部位14を制御する(図3参照)。
仮想オブジェクト初期配置制御部220は、仮想現実空間において所与の役割が設定された仮想オブジェクトを初期配置する。本実施形態では、仮想オブジェクトとして、音響発生物であり、音響入出力装置である仮想スマートフォン12を仮想テーブル16の上に初期配置する(図4参照)。
指示制御部222は、ユーザに対して、仮想基準体10を初期配置の位置に近づけるように指示する制御を行う。
対応付け設定部224は、指示制御部222による指示の後、仮想基準体10の位置と、仮想オブジェクトの位置又はその初期配置の位置と、が所定条件を満たした場合に、仮想オブジェクトと仮想基準体10との対応付けを設定する。つまり、対応付け以降は、仮想オブジェクトが仮想基準体10と一体的に移動する付帯状態にあると見なす。
仮想オブジェクト位置制御部226は、仮想オブジェクトの位置や姿勢を制御する。仮想オブジェクトが妖精のように自律的に行動する設定の場合は、その行動制御を実行する。本実施形態の仮想オブジェクトは仮想スマートフォン12すなわち静物なので、対応付け設定部224に対応付けが設定された状態においてのみ仮想オブジェクトの位置を、基準体の位置又は仮想基準体10の位置に対応づけて追従させる(図5〜図8参照)。
音響出力制御部230は、仮想現実空間の立体音響場を管理して、プレーヤが居る仮想現実空間の位置にて立体音響場から聞こえる音の出力制御を行う。特に、本実施形態では仮想オブジェクトに係り、基準体の実空間内の位置、又は、仮想オブジェクトの仮想現実空間内の位置に基づいて定められた音響を変化させる位置条件を満たすか否かを判定し、判定結果に従って役割に応じた音響のヘッドフォン5からの出力を制御させるように音響出力制御する。
より具体的には、実空間において所与の実対象物(左右の耳2E)と基準体(右手2h)とが接近したことを示す距離条件、又は、実対象物に対応する仮想現実空間内の仮想対象物(仮想身体部位14)と仮想オブジェクト(仮想スマートフォン12)とが接近したことを示す距離条件を、音響を変化させる位置条件として判定する(図3参照)。
そして、音響出力制御部230は、ユーザの左右の耳それぞれについて位置条件を満たすかを判定し、満たす場合に、ヘッドフォン5の左右出力のうちの満たしたほうの耳に対応する出力から、あたかも仮想現実空間における音響発生物が当該耳に接近したかのような立体音響を出力させる。
また、環境音の扱いに着目すると、音響出力制御部230は、基準体の実空間内の位置、又は、仮想オブジェクトの仮想現実空間内の位置に基づいて環境音を変化させる環境音変更制御部として機能する。
すなわち、音響を変化させる位置条件を満たさない場合には、仮想オブジェクトの役割に応じた音響を出力せずに仮想現実空間の環境音を出力させる、又は、役割に応じた音響よりも仮想現実空間の環境音の方を大きくして出力させることができる。そして、音響を変化させる位置条件を満たす場合には、仮想現実空間の前記環境音を出力せずに役割に応じた音響を出力させる、又は、仮想現実空間の環境音よりも役割に応じた音響の方を大きくして出力させる。
そしてその一環として、音響出力制御部230は、音響を変化させる位置条件を満たさない場合には、仮想現実空間の環境音を出力させ、位置条件を満たす場合には、仮想現実空間の環境音の大きさを小さくし、且つ、環境音の高音域を減衰させて出力させる。
また、ヘッドフォン5の左右それぞれの音量に着目すると、音響出力制御部230は、ユーザの左右の耳それぞれについて音響を変化させる位置条件を満たすかを判定し、満たす場合に、ヘッドフォン5の左右出力のうちの満たさなかったほうの耳に対応する出力からの出力音響を低減させる。
加えて、音響出力制御部230は、所与の反響音を更に出力させたり、所与のノイズ音を更に出力させることができる。
計時部280は、システムクロックを利用して現在日時や制限時間等の計時を行う。
音生成部290sは、音声データの生成や合成、デコードなどをする回路やIC、ソフトウェアの実行により実現され、サーバシステム1100のシステム管理やゲームプレイに係る立体音響や、操作音、BGMなどの音声データを生成或いはデコードする。そして、システム管理に関する音声やゲームプレイに係る音声の信号を音出力部390sへ出力する。
音出力部390sは、音声信号から音声を再生して放音する。図1の例ではヘッドフォン5や、タッチパネル1108に一体的に備えられたスピーカ(不図示)がこれに該当する。
画像生成部292sは、サーバシステム1100のシステム管理に関する画像や、ゲームプレイに必要な画像等を生成し、画像表示部392sへ出力することができる。
画像表示部392sは、画像生成部292sから入力される画像信号に基づいてシステム管理のための各種画像や、ゲームプレイに必要な画像を表示する。例えば、フラットパネルディスプレイ、ブラウン管(CRT)、プロジェクター、ヘッドマウントディスプレイといった画像表示装置によって実現できる。図1の例では、HMD6及びタッチパネル1108がこれに該当する。
通信制御部294sは、データ通信に係るデータ処理を実行し、通信部394sを介して外部装置(本実施形態では、ヘッドフォン5、HMD6、トラッキング用カメラ7、コントローラ8)とのデータのやりとりを実現する。
通信部394sは、通信回線9と接続して通信を実現する。例えば、無線通信機、モデム、TA(ターミナルアダプタ)、有線用の通信ケーブルのジャックや制御回路等によって実現される。図1の例では通信装置1153が該当する。
サーバ記憶部500sは、サーバ処理部200sにサーバシステム1100を統合的に制御させるための諸機能を実現するためのプログラムや各種データ等を記憶する。また、サーバ処理部200sの作業領域として用いられ、サーバ処理部200sが各種プログラムに従って実行した演算結果などを一時的に記憶する。この機能は、例えばRAMやROMなどのICメモリ、ハードディスク等の磁気ディスク、CD−ROMやDVDなどの光学ディスク、オンラインストレージなどによって実現される。図1の例ではICメモリ1152がこれに該当する。
図10は、本実施形態のサーバ記憶部500sに記憶されるプログラムやデータの例を示す図である。サーバ記憶部500sは、サーバシステムプログラム501と、サーバプログラム503と、ゲーム初期設定データ510と、を予め記憶する。また、逐次生成・管理されるデータとして、ユーザ管理データ600と、プレイデータ700と、現在日時800と、を記憶する。その他、タイマや、カウンタ、各種フラグなどの情報を適宜記憶できる。
サーバシステムプログラム501は、サーバ処理部200sが読み出して実行することでサーバシステム1100にコンピュータとして必要な基本的な入出力機能を実現するためのシステムプログラムである。
サーバプログラム503は、サーバ処理部200sが読み出して実行することで、ユーザ管理部202、ゲーム進行制御部210、計時部280などの機能を実現させるためのプログラムである。
ゲーム初期設定データ510は、ゲームに関する各種初期設定データを格納する。
本実施形態では、仮想現実空間初期設定データ512と、仮想基準体初期設定データ514と、仮想スマートフォン初期設定データ516と、環境音データ520と、反響音データ522と、ノイズ音データ524と、仮想スマートフォン起源音定義データ530と、を含む。勿論、これら以外のデータも適宜含めることができる。
仮想現実空間初期設定データ512は、仮想現実空間を構成する各種オブジェクト(例えば、図4の仮想テーブル16など)のモデルデータ、テクスチャデータ、初期配置位置データなどを格納する。
仮想基準体初期設定データ514は、仮想基準体10(図4参照)のモデルデータ、テクスチャデータ、初期配置位置データなどを格納する。
仮想スマートフォン初期設定データ516は、仮想スマートフォン12(図4参照)のモデルデータ、テクスチャデータ、初期配置位置データなどを格納する。
環境音データ520は、環境音(図6参照)の音データ又は当該音データを生成することができる基礎データである。
反響音データ522は、反響音(図7参照)の音データ又は当該音データを生成することができる基礎データである。
ノイズ音データ524は、ノイズ音(図8参照)の音データ又は当該音データを生成することができる基礎データである。
仮想スマートフォン起源音定義データ530は、仮想スマートフォン12を起源とする音、逆に言えば仮想スマートフォン12が発する各種音を定義するデータを格納する。
本実施形態では、1)非把持状態着信音(図4参照)の音データ又は当該音データを生成することができる基礎データである非把持状態着信音データ531と、2)把持状態着信音(図5参照)の音データ又は当該音データを生成することができる基礎データである把持状態着信音データ532と、3)通話音声(図8参照)の音データ又は当該音データを生成することができる基礎データである通話音声データ533と、4)通話終了後の音の音データ又は当該音データを生成することができる基礎データである通話終了音データ534と、5)当該定義データが使用される条件を定義する発音条件535と、を含む。
仮想スマートフォン起源音定義データ530に格納される起源音のデータは、非把持状態着信音データ531、把持状態着信音データ532、通話音声データ533、通話終了音データ534以外にも適宜設定可能である。仮想スマートフォン12を音源とする音であれば、例えば、仮想スマートフォン12が他のモノと接触や衝突した場合に生じる効果音も適宜含めることができる。仮想スマートフォン12に精霊が宿っている設定ならば、その精霊の声も含めることができる。
発音条件535は、適宜設定可能である。本実施形態では、ゲーム内の所与のイベントが発生済み、実行済み又は達成済みであること(イベントクリア条件)を発音条件535として設定するので、イベントとの対応づけを定義する情報ともなる。具体的には、例えば、プレーヤ2がゲーム開始から所定時間仮想現実空間を歩き回って所与のキャラクタの存在を知ったこと又は知人となったことをイベントクリア条件としてこの条件を発音条件535としてもよい。或いは、ゲーム中で所与の状況に至ったこと(例えば通話イベントが発生したことや、所与の出来事が発生したこと等)をイベントクリア条件として発音条件535としてもよい。
なお、本実施形態では理解を容易にするために仮想スマートフォン起源音定義データ530を1つとして図示・説明しているが、実際には異なる発音条件535を設定し、それぞれで仮想スマートフォン起源音定義データ530を用意することで、1つの仮想オブジェクト(仮想スマートフォン12)にて、様々な状況に応じて異なる内容の音(通話)を実現させることができる。
ユーザ管理データ600は、登録ユーザ毎に用意され、固有の識別情報であるアカウントと紐付けられる各種データを格納する。一つのユーザ管理データ600には、例えば、固有のアカウントや、登録日時、アイテム購入などの課金の支払に使用される仮想通貨口座残高、ログイン履歴データ、などを適宜含めることができる。
プレイデータ700は、ゲームプレイ毎に用意され、ゲーム進行状況を記述する各種データを格納する。1つのプレイデータ700は、例えば図11に示すように、プレーヤアカウント701と、プレイ開始日時702と、ヘッドトラッキングデータ710と、コントローラトラッキングデータ712と、仮想現実空間制御データ730と、仮想立体音場制御データ760と、を含む。
仮想現実空間制御データ730は、仮想現実空間に設定される各種要素の制御データを格納する。本実施形態では、右眼用仮想カメラ制御データ732と、左眼用仮想カメラ制御データ733と、仮想右耳制御データ735と、仮想左耳制御データ736と、仮想右手制御データ737と、仮想左手制御データ738と、仮想スマートフォン制御データ740と、仮想スマートフォン起源音設定742と、を格納する。
プレーヤアカウント701は、ログインしたプレーヤの登録アカウントに設定される。
プレイ開始日時702は、ログイン時の現在日時800に設定される。
ヘッドトラッキングデータ710及びコントローラトラッキングデータ712は、それぞれHMD6及びコントローラ8のプレイフィールド内の位置と姿勢の追跡データであって、トラッキング処理により逐一更新される。
右眼用仮想カメラ制御データ732と、左眼用仮想カメラ制御データ733は、仮想現実空間内におけるプレーヤ2の頭部に設定された右眼用仮想カメラ及び左眼用仮想カメラの制御データであって、それぞれ、仮想現実空間内における配置位置座標と姿勢データとを含み、ヘッドトラッキングデータ710に基づいて逐一変更される。右眼用仮想カメラ及び左眼用仮想カメラは、それぞれHMD6にて右眼/左眼用として表示する仮想現実空間の画像を撮影する。
仮想右耳制御データ735と、仮想左耳制御データ736は、仮想現実空間内におけるプレーヤ2の頭部に設定された仮想右耳14R及び仮想左耳14Lの制御データであって(図3参照)、それぞれ、仮想現実空間内における配置位置座標と姿勢データとを含み、ヘッドトラッキングデータ710に基づいて逐一変更される。本実施形態における、仮想身体部位14の制御データに該当する。
仮想右手制御データ737と、仮想左手制御データ738は、プレーヤ2の仮想現実空間内における仮想右手及び仮想左手の制御データであって、それぞれ、仮想現実空間内における配置位置座標と姿勢データとを含み、ヘッドトラッキングデータ710に基づいて逐一変更される。前者が、本実施形態における仮想基準体10(図3参照)の制御データに該当する。
仮想スマートフォン制御データ740は、仮想スマートフォン12の制御データであって仮想現実空間内における配置位置座標と姿勢データとを含む。
仮想スマートフォン起源音設定742は、仮想スマートフォン12を音源として発せられる音の種類の設定を格納する。本実施形態では「無音」「非把持状態着信音」「把持状態着信音」「通話音声」「通話終了音」の何れかが設定される。
仮想立体音場制御データ760は、仮想現実空間内の仮想立体音場を制御するための各種データを格納する。例えば、音源毎の仮想現実空間内における音源位置座標、放音方向、音量設定値、などを格納する。
[動作の説明]
次に、サーバシステム1100における処理の流れについて説明する。ここで説明する処理の流れは、サーバ処理部200sがサーバシステムプログラム501とサーバプログラム503とを実行することにより実現される。
図12〜図13は、プレーヤ2が仮想スマートフォン12を手にとって通話し、ゲーム世界における自分の置かれている状況を把握し、本格的なゲーム進行が始まるまでのゲーム進行の冒頭部分の処理の流れを説明するためのフローチャートである。
先ず図12に示すように、先ず、サーバシステム1100は、ログインしたユーザ向けに新たなプレイデータ700を用意して、仮想現実空間初期設定データ512(図10参照)に基づいて各種オブジェクトを配置して仮想現実空間を形成し、当該仮想現実空間の立体音場を設定する(ステップS2)。なお、立体音響場には、環境音を生み出す音源が初期設定される。また、仮想スマートフォン12はこの時点で仮想テーブル16の上に未着信の状態で初期配置される。
次に、サーバシステム1100は、プレーヤにプレイフィールドに入って、HMD6を頭部に装着し、コントローラ8を片手で持つように促し、ヘッドトラッキングとコントローラトラッキングとを開始する(ステップS4)。そして、ヘッドトラッキングに応じた、仮想右眼用カメラ・仮想左眼用カメラ・仮想右耳・仮想左耳の追従制御を開始し、コントローラトラッキングに応じた、仮想右手・仮想左手の追従制御を開始する(ステップS6)。
次に、サーバシステム1100は、HMD6にて仮想空間画像(VR画像)を表示させる制御と、ヘッドフォン5にて立体音響を放音させる制御を開始する(ステップS8)。これにより、プレーヤ2へ仮想現実空間に居るかのような視界とサラウンド音響を提供できるようになる。
ゲームを開始したならば(ステップS10)、サーバシステム1100は発音条件535を満たしているかを判定する(ステップS20)。
そして、発音条件535が満たされている場合(ステップS20のYES)、サーバシステム1100は、仮想スマートフォン12にて「非把持状態着信音」の発生を開始する(ステップS22;図4参照)。これにより、仮想立体音場には仮想スマートフォン12が追加され、プレーヤ2にはヘッドフォン5を介して、仮想スマートフォン12の着信音が聞こえる。
次に、サーバシステム1100は、プレーヤに仮想スマートフォン12の電話にでるように促す表示を行う(ステップS24)。具体的には、コントローラ8の位置に追従表示させている仮想基準体10を仮想スマートフォン12に近づけるように促す表示をする。なお、当該表示は省略することもできる。
プレーヤ2が仮想スマートフォン12を取るように手を延ばし、やがて仮想基準体10と仮想スマートフォン12との距離が把持状態認定距離条件を満たすかを判定する(ステップS26)。
当該判定は、仮想基準体10と仮想スマートフォン12の距離に基づいて判定するに限らず、仮想スマートフォン12の仮想現実空間内の現在位置(本実施形態では、仮想スマートフォン12が静物なので初期配置位置に同じ)を基準点として設定される所定範囲に、仮想基準体10が到達したかの位置条件の判定としてもよい。
そして、当該判定の結果が肯定の場合(ステップS26のYES)、サーバシステム1100は仮想スマートフォン12にて発せられる音を「把持状態着信音」に変更する(ステップS28)。また、仮想スマートフォン12は仮想基準体10(本実施形態では仮想右手)で把持されたものと見なして、両者を対応付け、仮想スマートフォン12の位置及び姿勢を仮想基準体10に対して所定の相対位置関係を維持するように追従させる対応付け後追従処理を開始する(ステップS30;図5〜図6参照)。
また、サーバシステム1100は、プレーヤ2が仮想スマートフォン12を頭部に近づけるアクションを続け、やがて仮想身体部位14(仮想右耳14R)と、仮想スマートフォン12又は仮想基準体10(仮想右手)との距離Lが反響音発生距離条件を満たすほどに接近したかを判定する(ステップS40)。
当該判定は、仮想身体部位14と、仮想スマートフォン12又は仮想基準体10との距離に基づいて判定するに限らず、仮想スマートフォン12又は仮想基準体10が仮想身体部位14を基準点として設定される所定範囲に到達したかの位置条件の判定としてもよい。
そして、当該判定の結果が肯定の場合(ステップS40のYES)、サーバシステム1100は、反響音発生距離条件を満たした側(本実施形態では右側)のヘッドフォン5のスピーカから放音される立体音響の環境音について、その音量を低減するとともにローパスフィルタ処理を施して所定の高周波成分の削除を開始する(ステップS42;図7参照)。そして、反響音発生距離条件を満たした側のヘッドフォン5のスピーカから放音する音に、反響音を追加する制御を開始する(ステップS44)。
逆に、仮想身体部位14と、仮想スマートフォン12又は仮想基準体10との距離Lが反響音発生距離条件を満たさなくなるように離れると(ステップS40のNO)、サーバシステム1100はステップS44の環境音の音量低減及び高周波成分の削除を止め(ステップS46)、反響音の追加も止める(ステップS48)。
更に、サーバシステム1100は、プレーヤ2が仮想スマートフォン12を耳元に近づけるアクションを続け、やがて仮想身体部位14と、仮想スマートフォン12又は仮想基準体10との距離Lがノイズ発生距離条件を満たすほどに接近したかを判定する(ステップS60)。
当該判定は、仮想身体部位14と、仮想スマートフォン12又は仮想基準体10との距離に基づいて判定するに限らず、仮想スマートフォン12又は仮想基準体10が仮想身体部位14を基準点として設定される所定範囲に到達したかの位置条件の判定としてもよい。
そして、当該判定の結果が肯定の場合(ステップS60のYES)、サーバシステム1100は、ヘッドフォン5の右側スピーカから放音する立体音響にノイズ音を追加する制御を開始する(ステップS62;図8参照)。逆に、ノイズ発生距離条件を満たさなくなると(ステップS60のNO)、ノイズ音を追加する制御を止める(ステップS64)。
次いで、サーバシステム1100は、仮想身体部位14と、仮想スマートフォン12又は仮想基準体10との距離Lが通話認定距離条件を満たすかを判定する(ステップS70)。
換言すると、プレーヤ2の右の耳2E(第2の身体部位;図2参照)と言う実対象物に対応する仮想現実空間内の仮想対象物である仮想身体部位14(仮想右耳14R)と、仮想オブジェクトである仮想スマートフォン12とがある閾値以上に接近したことを判定する。
また、当該判定は、仮想身体部位14と、仮想スマートフォン12又は仮想基準体10との距離に基づいて判定するに限らず、仮想スマートフォン12又は仮想基準体10が仮想身体部位14を基準点として設定される所定範囲に到達したかの位置条件の判定としてもよい。
そして、当該判定の結果が肯定の場合(ステップS70のYES)、サーバシステム1100は、仮想スマートフォン12から発する音を「通話音声」に切り換える(ステップS72;図8参照)。
更に、サーバシステム1100は、通話音声以外の音量を低減させる(ステップS74)。具体的には、通話音声の内容は、ゲーム内容に応じて適宜設定される。本実施形態では、通話相手が電話越しにプレーヤが置かれている状況とゲーム終了条件を理解するための情報を提供する内容とする。そして、サーバシステム1100は、ヘッドフォン5の仮想スマートフォン12を近づけた側(本実施形態では右側)のスピーカから放音される立体音響のうち、通話音声以外の音成分を通話音声開始前の状態より低減させて通話音声が主に聞こえるようにする。また、ヘッドフォン5の仮想スマートフォン12を近づけたのとは反対側(本実施形態では左側)のスピーカから放音される立体音響全体の音量を、右側よりも小さくなるように低減する。
通話音声が終了すると(ステップS80)、サーバシステム1100は仮想スマートフォン12が発する音を「通話終了音」に切り換え(ステップS82)、ステップS74で開始した音量低減を解除する(ステップS84)。そして、先の仮想の通話によりプレーヤには十分な前提情報が提供されたものと見なし、サーバシステム1100はゲーム終了まで本格的なゲーム進行制御を行う(ステップS86)。
ゲーム終了が満たされれば(ステップS88のYES)、サーバシステム1100は一連の処理を終了する。
以上、本実施形態によれば、仮想現実空間内にてユーザに仮想の小道具を使わせる場面における臨場感をより高めることができるVRに係る音響制御技術を提供することができる。
なお、本実施形態では、ゲームに登場させる小道具は仮想スマートフォンと仮定して説明したが、実際に運用するに当たっては様々な種類の小道具を登場させることができる。その場合でも、それぞれの小道具について本実施形態の仮想スマートフォン12と同様に処理すれば何れの小道具を登場させても同様の効果を得ることができる。
〔変形例〕
以上、本発明を適用した実施形態の一例について説明したが、本発明を適用可能な形態は上記形態に限定されるものではなく適宜構成要素の追加・省略・変更を施すことができる。
[その1]
例えば、上記実施形態では、仮想現実空間に配置された様々な小道具を使用して仮想現実空間の住人とコミュニケーションしながらミッションをクリアするゲームとして説明したが、ゲームのジャンルや内容は適宜設定可能である。また、ゲームではなく、仮想の世界を旅したり探索するといったVR体験を提供するものであってもよい。
[その2]
また、登場させる仮想オブジェクトの種類や数は適宜設定可能である。仮想現実空間におけるモノとしての役割に応じて、その仮想現実空間におけるサイズや特性も適宜設定可能である。
もし、複数種類の仮想オブジェクトを登場させる場合には、その初期設定データと当該仮想オブジェクトの起源音定義データを登場させる種類別に用意すればよい。上記実施形態の例で言えば、機種違いの複数台の仮想スマートフォン12を登場させる場合には、仮想スマートフォン初期設定データ516と、仮想スマートフォン起源音定義データ530とにそれぞれ固有の仮想オブジェクトIDのデータを含ませ、機種毎に紐付けられるように用意すればよい(図10参照)。
また、仮想オブジェクトは仮想スマートフォン12に限らない。仮想オブジェクトのサイズは手で持てるサイズであっても良いし、プレーヤが動かすことができないものであってもよい。具体的には、仮想オブジェクトを仮想現実空間における壁に設定し、基準体及び第2の身体部位を左右の耳に設定すれば、プレーヤが当該壁に耳を当てると或いは壁に接近すると、あたかも壁の向こうの音が聞こえてくるかのような音響をヘッドフォン5で再現することもできる。
[その3]
また、トラッキング技術は適宜選定可能であると述べたが、例えば図14で示すゲームシステム1000Bのように、プレーヤ2を正面から撮影するカメラや、プレーヤ2の正面各部までの距離を測定する測距センサを備えたセンサユニット70を用いて、プレーヤ2の骨格の動作を認識するタイプのジェスチャー認識技術を用いて、上記実施形態のヘッドトラッキング及びコントローラトラッキングの代用とすることができる。この場合、コントローラ8をトラッキングするというよりも、コントローラ8を持つ第1の身体部位(手)をトラッキングすることになる。
そして、ジェスチャー認識により全身骨格の動作が認識できるならば、上記実施形態における仮想右耳14Rに該当する第2の身体部位は、耳に限らず適宜設定可能である。
また、小道具の役割は、移動可能な音源に限らず、仮想現実空間において音響を入力する音響入力機器としての役割を設定してもよい。例えば、マイクのような持ち運び可能で集音した音をヘッドフォン5で聴くことができる小道具(例えば仮想集音装置17)を設定することもできる。
より具体的には、図15に示すように、第2の身体部位をプレーヤ2の心臓2tとして、仮想現実空間に仮想身体部位として不可視の仮想心臓14tを設定する。また、仮想集音装置17が集音する音は「無音」を初期設定しておく。
ゲームが開始され、仮想集音装置17がプレーヤ2によって胸元に移動され、仮想集音装置17と仮想心臓14tとの相対位置が集音可能距離条件を満たすほどに近接すると、仮想集音装置17が集音した音を所定の「心音(第2の身体部位での発生音響)」に切り換えて、ヘッドフォン5にて心音を再生させるとしてもよい。環境音、反響音、ノイズ音の扱いは上記実施形態と同様でもよい。
また、別の例として次のような割り当ての構成も可能である。
第1の基準体=プレーヤの右手(第1の身体部位A)
第2の基準体=プレーヤの左手(第1の身体部位B)
第1の仮想基準体=仮想の右手
第2の仮想基準体=仮想の左手
第2の身体部位=プレーヤの胴体
仮想オブジェクトと役割=変身機能を内蔵したベルトバックル型アイテム
そして、仮想オブジェクトに係る音響を次のように制御すると、変身ヒーローの変身ベルトを仮想現実空間で再現できる。
1)初期状態の音響は無音(仮想オブジェクトは未作動を意味する)。
2)仮想オブジェクトと仮想の右手又は仮想の左手とが接近すると、仮想オブジェクトと仮想の右手又は仮想の左手とを対応づけ、以降、仮想オブジェクトは仮想の右手又は仮想の左手に合わせて追従移動させる。
3)仮想オブジェクトが第2の身体部位に接近すると、仮想オブジェクトと仮想の右手又は仮想の左手との対応づけを解除。新たに、仮想オブジェクトと第2の身体部位とを対応づけ、仮想オブジェクトはプレーヤの腰部前面に密着配置させ、音響を作動準備音に変更。
4)仮想右手と仮想左手をそれぞれ仮想オブジェクトの右側と左側に寄せると、音響を作動音に変更し、変身機能を仮想現実空間内で発揮。
2…プレーヤ
2E…耳
2h…右手
2t…心臓
5…ヘッドフォン
6…HMD(Head Mounted Display)
7…トラッキング用カメラ
8…コントローラ
10…仮想基準体
12…仮想スマートフォン
14…仮想身体部位
14R…仮想右耳
14t…仮想心臓
17…仮想集音装置
70…センサユニット
200s…サーバ処理部
210…ゲーム進行制御部
212…基準体トラッキング部
214…仮想基準体位置制御部
216…第2身体部位トラッキング部
218…仮想身体部位位置制御部
220…仮想オブジェクト初期配置制御部
222…指示制御部
224…対応付け設定部
226…仮想オブジェクト位置制御部
230…音響出力制御部
500s…サーバ記憶部
503…サーバプログラム
510…ゲーム初期設定データ
512…仮想現実空間初期設定データ
514…仮想基準体初期設定データ
516…仮想スマートフォン初期設定データ
520…環境音データ
522…反響音データ
524…ノイズ音データ
530…仮想スマートフォン起源音定義データ
531…非把持状態着信音データ
532…把持状態着信音データ
533…通話音声データ
534…通話終了音データ
700…プレイデータ
710…ヘッドトラッキングデータ
712…コントローラトラッキングデータ
728…仮想左手制御データ
730…仮想現実空間制御データ
732…右眼用仮想カメラ制御データ
733…左眼用仮想カメラ制御データ
735…仮想右耳制御データ
736…仮想左耳制御データ
737…仮想右手制御データ
740…仮想スマートフォン制御データ
742…仮想スマートフォン起源音設定
760…仮想立体音場制御データ
1000、1000B…ゲームシステム
1100…サーバシステム
1150…制御基板
L…距離

Claims (16)

  1. コンピュータに、仮想現実空間と実空間とを対応づけさせて、ユーザが装着するヘッドトラッキング型のHMD(ヘッドマウントディスプレイ)に前記仮想現実空間の画像を表示させ、前記ユーザが装着するヘッドフォンに前記仮想現実空間の音響を出力させるためのプログラムであって、
    前記ユーザの第1の身体部位又はコントローラを基準体として前記実空間内の前記基準体の位置をトラッキングする基準体トラッキング手段、
    前記仮想現実空間において所与の役割が設定された仮想オブジェクトの位置を、前記基準体の位置に対応づけて追従させる仮想オブジェクト位置制御手段、
    前記基準体の前記実空間内の位置、又は、前記仮想オブジェクトの前記仮想現実空間内の位置に基づいて定められた前記音響を変化させる位置条件を満たすか否かを判定し、判定結果に従って前記役割に応じた音響の前記ヘッドフォンからの出力を制御させる音響出力制御手段、
    として前記コンピュータを機能させるためのプログラム。
  2. 前記音響出力制御手段は、前記位置条件を満たさない場合には、前記役割に応じた音響を出力せずに前記仮想現実空間の環境音を出力させる、又は、前記役割に応じた音響よりも前記仮想現実空間の環境音の方を大きくして出力させ、前記位置条件を満たす場合には、前記仮想現実空間の前記環境音を出力せずに前記役割に応じた音響を出力させる、又は、前記仮想現実空間の前記環境音よりも前記役割に応じた音響の方を大きくして出力させる、
    請求項1に記載のプログラム。
  3. 前記基準体の前記実空間内の位置、又は、前記仮想オブジェクトの前記仮想現実空間内の位置に基づいて前記環境音を変化させる環境音変更制御手段、
    として前記コンピュータを更に機能させる請求項1又は2に記載のプログラム。
  4. 前記音響出力制御手段は、前記実空間において所与の実対象物と前記基準体とが接近したことを示す距離条件、又は、前記実対象物に対応する前記仮想現実空間内の仮想対象物と前記仮想オブジェクトとが接近したことを示す距離条件を、前記位置条件として前記判定を行う、
    請求項1〜3の何れか一項に記載のプログラム。
  5. 前記仮想オブジェクトは、前記仮想現実空間において音響を発する音響発生物として前記役割が設定されており、
    前記音響出力制御手段は、前記実対象物を前記ユーザの耳として前記位置条件を満たすかを判定することで、あたかも前記仮想現実空間における前記音響発生物が前記ユーザの耳に接近したかのような音響を前記ヘッドフォンから出力させる、
    請求項4に記載のプログラム。
  6. 前記仮想オブジェクトは、電話機能を有する音響出力機器として前記役割が設定されており、
    前記音響出力制御手段は、前記役割に応じた音響として前記電話機能による通話音声を出力させる、
    請求項5に記載のプログラム。
  7. 前記音響出力制御手段は、前記位置条件を満たさない場合には、前記電話機能による前記通話音声を出力させず、前記電話機能による着信音を出力させ、前記位置条件を満たす場合には、前記電話機能による前記着信音を出力させず、前記電話機能による前記通話音声を出力させる、
    請求項6に記載のプログラム。
  8. 前記音響出力制御手段は、前記位置条件を満たさない場合には、前記仮想現実空間の環境音を出力させ、前記位置条件を満たす場合には、前記仮想現実空間の環境音の大きさを小さくし、且つ、前記環境音の高音域を減衰させて出力させる、
    請求項6又は7に記載のプログラム。
  9. 前記音響出力制御手段は、前記位置条件を満たす場合に、所与の反響音を更に出力させる、
    請求項6〜8の何れか一項に記載のプログラム。
  10. 前記音響出力制御手段は、前記位置条件を満たす場合に、所与のノイズ音を更に出力させる、
    請求項6〜9の何れか一項に記載のプログラム。
  11. 前記音響出力制御手段は、前記ユーザの左右の耳それぞれについて前記位置条件を満たすかを判定し、満たす場合に、前記ヘッドフォンの左右出力のうちの満たしたほうの耳に対応する出力から、あたかも前記仮想現実空間における前記音響発生物が当該耳に接近したかのような音響を出力させる、
    請求項5〜10の何れか一項に記載のプログラム。
  12. 前記音響出力制御手段は、前記ユーザの左右の耳それぞれについて前記位置条件を満たすかを判定し、満たす場合に、前記ヘッドフォンの左右出力のうちの満たさなかったほうの耳に対応する出力からの出力音響を低減させる、
    請求項11に記載のプログラム。
  13. 前記仮想オブジェクトは、前記仮想現実空間において音響を入力する音響入力機器として前記役割が設定されており、
    前記音響出力制御手段は、前記実対象物を前記ユーザの第2の身体部位として前記位置条件を満たすかを判定することで、あたかも前記仮想現実空間における前記音響入力機器が前記ユーザの前記第2の身体部位での発生音響を入力したかのような前記発生音響を前記ヘッドフォンから出力させる、
    請求項4に記載のプログラム。
  14. 前記音響出力制御手段は、所与のイベントの発生済み、実行済み又は達成済みであることを示すイベントクリア条件を満たしているか否かで、前記位置条件を満たした場合の前記音響を変更する、
    請求項1〜13の何れか一項に記載のプログラム。
  15. 前記仮想現実空間内に、前記基準体の位置に追従する仮想基準体を配置制御する仮想基準体位置制御手段、
    前記仮想現実空間に前記仮想オブジェクトを初期配置する初期配置手段、
    前記ユーザに対して、前記仮想基準体を前記初期配置の位置に近づけるように指示する指示手段、
    前記指示の後、前記仮想基準体の位置と前記初期配置の位置とが所定条件を満たした場合に、前記仮想オブジェクトと前記基準体との対応付けを設定する対応付け設定手段、
    として前記コンピュータを更に機能させ、
    前記仮想オブジェクト位置制御手段は、前記対応付け設定手段による設定後に、前記仮想オブジェクトの位置を前記基準体の位置に対応づけて追従させる、
    請求項1〜14の何れか一項に記載のプログラム。
  16. 仮想現実空間と実空間とを対応づけて、ユーザが装着するヘッドトラッキング型のHMD(ヘッドマウントディスプレイ)に前記仮想現実空間の画像を表示させ、前記ユーザが装着するヘッドフォンに前記仮想現実空間の音響を出力させる仮想現実体験提供装置であって、
    前記ユーザの第1の身体部位又はコントローラを基準体として前記実空間内の前記基準体の位置をトラッキングする基準体トラッキング手段と、
    前記仮想現実空間において所与の役割が設定された仮想オブジェクトの位置を、前記基準体の位置に対応づけて追従させる仮想オブジェクト位置制御手段と、
    前記基準体の前記実空間内の位置、又は、前記仮想オブジェクトの前記仮想現実空間内の位置に基づいて定められた前記音響を変化させる位置条件を満たすか否かを判定し、判定結果に従って前記役割に応じた音響の前記ヘッドフォンからの出力を制御させる音響出力制御手段と、
    を備えた仮想現実体験提供装置。
JP2016069267A 2016-03-30 2016-03-30 プログラム及び仮想現実体験提供装置 Active JP6783541B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016069267A JP6783541B2 (ja) 2016-03-30 2016-03-30 プログラム及び仮想現実体験提供装置
CN201780021823.4A CN109076301B (zh) 2016-03-30 2017-03-23 控制方法、虚拟现实体验提供装置以及记录介质
PCT/JP2017/011786 WO2017170146A1 (ja) 2016-03-30 2017-03-23 制御方法、仮想現実体験提供装置およびプログラム
US16/144,404 US10713001B2 (en) 2016-03-30 2018-09-27 Control method and virtual reality experience provision apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016069267A JP6783541B2 (ja) 2016-03-30 2016-03-30 プログラム及び仮想現実体験提供装置

Publications (2)

Publication Number Publication Date
JP2017184048A true JP2017184048A (ja) 2017-10-05
JP6783541B2 JP6783541B2 (ja) 2020-11-11

Family

ID=59965597

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016069267A Active JP6783541B2 (ja) 2016-03-30 2016-03-30 プログラム及び仮想現実体験提供装置

Country Status (4)

Country Link
US (1) US10713001B2 (ja)
JP (1) JP6783541B2 (ja)
CN (1) CN109076301B (ja)
WO (1) WO2017170146A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109614171A (zh) * 2018-12-07 2019-04-12 腾讯科技(深圳)有限公司 虚拟道具转移方法、装置、电子设备及计算机存储介质
KR20190110422A (ko) * 2018-03-20 2019-09-30 존 케일 발레이 가상환경 내의 사용자 행동에 따른 가청음의 사용자 인식 구조의 생성 방법 및 시스템
CN111246014A (zh) * 2020-01-13 2020-06-05 维沃移动通信有限公司 通话方法、头戴式设备及介质
JP2020195672A (ja) * 2019-06-04 2020-12-10 株式会社カプコン ゲームプログラムならびにゲームシステム
KR20210133601A (ko) * 2020-04-29 2021-11-08 연세대학교 산학협력단 사운드의 병행 출력을 통한 공간 이동에 따른 사운드 인터렉션 시스템 및 방법
KR102398850B1 (ko) * 2020-11-23 2022-05-17 제이씨스퀘어 (주) 증강현실 및 가상현실에서의 입체 음향효과를 구현하는 사운드제어시스템
WO2022220373A1 (ko) * 2021-04-13 2022-10-20 삼성전자 주식회사 외부 웨어러블 전자 장치의 노이즈 캔슬링을 제어하는 웨어러블 전자 장치 및 이의 동작 방법
US12062127B2 (en) 2021-04-13 2024-08-13 Samsung Electronics Co., Ltd. Wearable electronic device controlling noise canceling of external wearable electronic device and method of operating the same

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11595760B2 (en) 2011-12-23 2023-02-28 Shenzhen Shokz Co., Ltd. Bone conduction speaker and compound vibration device thereof
US11582563B2 (en) 2014-01-06 2023-02-14 Shenzhen Shokz Co., Ltd. Systems and methods for suppressing sound leakage
US11617045B2 (en) 2014-01-06 2023-03-28 Shenzhen Shokz Co., Ltd. Systems and methods for suppressing sound leakage
US11570556B2 (en) 2014-01-06 2023-01-31 Shenzhen Shokz Co., Ltd. Systems and methods for suppressing sound leakage
US11706574B2 (en) 2014-01-06 2023-07-18 Shenzhen Shokz Co., Ltd. Systems and methods for suppressing sound leakage
US11582564B2 (en) 2014-01-06 2023-02-14 Shenzhen Shokz Co., Ltd. Systems and methods for suppressing sound leakage
US11627419B2 (en) 2014-01-06 2023-04-11 Shenzhen Shokz Co., Ltd. Systems and methods for suppressing sound leakage
JP7203305B2 (ja) * 2017-11-08 2023-01-13 パナソニックIpマネジメント株式会社 撮影システム、撮影方法、及びプログラム
US10466960B2 (en) * 2018-04-02 2019-11-05 Avid Technology, Inc Augmented reality audio mixing
US10871939B2 (en) * 2018-11-07 2020-12-22 Nvidia Corporation Method and system for immersive virtual reality (VR) streaming with reduced audio latency
US10846898B2 (en) * 2019-03-28 2020-11-24 Nanning Fugui Precision Industrial Co., Ltd. Method and device for setting a multi-user virtual reality chat environment
JP7524219B2 (ja) 2019-04-30 2024-07-29 シェンツェン・ショックス・カンパニー・リミテッド 音響出力装置
JP6935452B2 (ja) * 2019-05-29 2021-09-15 株式会社バンダイ システム、装置、方法及びプログラム
CN110335630B (zh) * 2019-07-08 2020-08-28 北京达佳互联信息技术有限公司 虚拟道具显示方法、装置、电子设备及存储介质
US11178384B2 (en) * 2019-07-10 2021-11-16 Nintendo Co., Ltd. Information processing system, storage medium, information processing apparatus and information processing method
US10976543B1 (en) * 2019-09-04 2021-04-13 Facebook Technologies, Llc Personalized equalization of audio output using visual markers for scale and orientation disambiguation
CN112379771A (zh) * 2020-10-10 2021-02-19 杭州翔毅科技有限公司 基于虚拟现实的实时交互方法、装置、设备及存储介质
CN112791381B (zh) * 2021-01-21 2022-12-27 深圳市瑞立视多媒体科技有限公司 虚拟现实中腰带跟随玩家的移动方法、装置和计算机设备
US11599338B2 (en) * 2021-06-18 2023-03-07 Qingdao Pico Technology Co., Ltd. Model loading method and apparatus for head-mounted display device, and head-mounted display device
US20230398435A1 (en) * 2022-05-27 2023-12-14 Sony Interactive Entertainment LLC Methods and systems for dynamically adjusting sound based on detected objects entering interaction zone of user

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07116348A (ja) * 1993-10-27 1995-05-09 Casio Comput Co Ltd ゲーム装置
JPH10153946A (ja) * 1996-11-25 1998-06-09 Mitsubishi Electric Corp 感覚情報提示装置
JP2010035978A (ja) * 2008-08-08 2010-02-18 Sega Corp ゲームプログラムおよびゲーム装置
WO2014197230A1 (en) * 2013-06-07 2014-12-11 Sony Computer Entertainment America Llc Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system
WO2015048659A1 (en) * 2013-09-30 2015-04-02 Qualcomm Incorporated Classification of gesture detection systems through use of known and yet to be worn sensors
US20150245159A1 (en) * 2008-10-27 2015-08-27 Sony Computer Entertainment Inc. Sound localization for user in motion
US20160232404A1 (en) * 2015-02-10 2016-08-11 Yusuke KITAZONO Information processing device, storage medium storing information processing program, information processing system, and information processing method
US10353532B1 (en) * 2014-12-18 2019-07-16 Leap Motion, Inc. User interface for integrated gestural interaction and multi-user collaboration in immersive virtual reality environments

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4304845B2 (ja) 2000-08-03 2009-07-29 ソニー株式会社 音声信号処理方法及び音声信号処理装置
JP2007050267A (ja) 2006-10-02 2007-03-01 Victor Co Of Japan Ltd 音像定位技術を利用したゲーム装置び音像定位プログラムの記録された記録媒体
CN201594225U (zh) * 2010-02-03 2010-09-29 姜开淦 一种带动作识别功能的游戏手柄
JP5869236B2 (ja) * 2011-06-03 2016-02-24 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
CN103713746B (zh) * 2013-12-18 2017-01-04 深圳市宇恒互动科技开发有限公司 三维惯性遥控装置的输入方法及三维惯性遥控装置
WO2015152937A1 (en) * 2014-04-04 2015-10-08 Empire Technology Development Llc Modifying sound output in personal communication device
CN104460986A (zh) * 2014-10-31 2015-03-25 王辉堂 基于立体声的游戏操作方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07116348A (ja) * 1993-10-27 1995-05-09 Casio Comput Co Ltd ゲーム装置
JPH10153946A (ja) * 1996-11-25 1998-06-09 Mitsubishi Electric Corp 感覚情報提示装置
JP2010035978A (ja) * 2008-08-08 2010-02-18 Sega Corp ゲームプログラムおよびゲーム装置
US20150245159A1 (en) * 2008-10-27 2015-08-27 Sony Computer Entertainment Inc. Sound localization for user in motion
WO2014197230A1 (en) * 2013-06-07 2014-12-11 Sony Computer Entertainment America Llc Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system
WO2015048659A1 (en) * 2013-09-30 2015-04-02 Qualcomm Incorporated Classification of gesture detection systems through use of known and yet to be worn sensors
US10353532B1 (en) * 2014-12-18 2019-07-16 Leap Motion, Inc. User interface for integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
US20160232404A1 (en) * 2015-02-10 2016-08-11 Yusuke KITAZONO Information processing device, storage medium storing information processing program, information processing system, and information processing method

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102135117B1 (ko) * 2018-03-20 2020-08-26 존 케일 발레이 가상환경 내의 사용자 행동에 따른 가청음의 사용자 인식 구조의 생성 방법 및 시스템
KR20190110422A (ko) * 2018-03-20 2019-09-30 존 케일 발레이 가상환경 내의 사용자 행동에 따른 가청음의 사용자 인식 구조의 생성 방법 및 시스템
CN109614171B (zh) * 2018-12-07 2021-09-14 腾讯科技(深圳)有限公司 虚拟道具转移方法、装置、电子设备及计算机存储介质
CN109614171A (zh) * 2018-12-07 2019-04-12 腾讯科技(深圳)有限公司 虚拟道具转移方法、装置、电子设备及计算机存储介质
US11628371B2 (en) 2018-12-07 2023-04-18 Tencent Technology (Shenzhen) Company Limited Method, apparatus, and storage medium for transferring virtual items
JP2020195672A (ja) * 2019-06-04 2020-12-10 株式会社カプコン ゲームプログラムならびにゲームシステム
CN111246014A (zh) * 2020-01-13 2020-06-05 维沃移动通信有限公司 通话方法、头戴式设备及介质
CN111246014B (zh) * 2020-01-13 2021-04-06 维沃移动通信有限公司 通话方法、头戴式设备及介质
KR20210133601A (ko) * 2020-04-29 2021-11-08 연세대학교 산학협력단 사운드의 병행 출력을 통한 공간 이동에 따른 사운드 인터렉션 시스템 및 방법
KR102324816B1 (ko) * 2020-04-29 2021-11-09 연세대학교 산학협력단 사운드의 병행 출력을 통한 공간 이동에 따른 사운드 인터렉션 시스템 및 방법
KR102398850B1 (ko) * 2020-11-23 2022-05-17 제이씨스퀘어 (주) 증강현실 및 가상현실에서의 입체 음향효과를 구현하는 사운드제어시스템
WO2022220373A1 (ko) * 2021-04-13 2022-10-20 삼성전자 주식회사 외부 웨어러블 전자 장치의 노이즈 캔슬링을 제어하는 웨어러블 전자 장치 및 이의 동작 방법
US12062127B2 (en) 2021-04-13 2024-08-13 Samsung Electronics Co., Ltd. Wearable electronic device controlling noise canceling of external wearable electronic device and method of operating the same

Also Published As

Publication number Publication date
CN109076301B (zh) 2021-05-18
US20190026071A1 (en) 2019-01-24
CN109076301A (zh) 2018-12-21
WO2017170146A1 (ja) 2017-10-05
JP6783541B2 (ja) 2020-11-11
US10713001B2 (en) 2020-07-14

Similar Documents

Publication Publication Date Title
WO2017170146A1 (ja) 制御方法、仮想現実体験提供装置およびプログラム
JP6602803B2 (ja) 双方向性コンテンツの触覚的に強化された双方向性
CN107533233B (zh) 用于增强现实的系统和方法
US10996757B2 (en) Methods and apparatus for generating haptic interaction for virtual reality
US20150070274A1 (en) Methods and systems for determining 6dof location and orientation of head-mounted display and associated user movements
JP6147486B2 (ja) ゲームシステム、ゲーム処理制御方法、ゲーム装置、および、ゲームプログラム
GB2556347A (en) Virtual reality
CN109416585A (zh) 虚拟、增强及混合现实
US9981182B2 (en) Systems and methods for providing immersive game feedback using haptic effects
CN106997238A (zh) 用于修改触觉效果以补偿音频‑触觉干扰的可编程触觉装置和方法
US9219961B2 (en) Information processing system, computer-readable non-transitory storage medium having stored therein information processing program, information processing control method, and information processing apparatus
JP2015231443A (ja) プログラム及びゲームシステム
CN108295465A (zh) 在三维虚拟环境中分享视野的方法、装置、设备及存储介质
US9241231B2 (en) Information processing system, computer-readable non-transitory storage medium having stored therein information processing program, information processing control method, and information processing apparatus
JP2014094160A (ja) ゲームシステム、ゲーム処理制御方法、ゲーム装置、および、ゲームプログラム
JP2019175323A (ja) シミュレーションシステム及びプログラム
WO2019087564A1 (ja) 情報処理装置、情報処理方法、およびプログラム
Yun et al. Generating real-time, selective, and multimodal haptic effects from sound for gaming experience enhancement
CN114253393A (zh) 信息处理设备、终端、方法以及计算机可读记录介质
JP6672047B2 (ja) プログラム及びコンピュータシステム
JP2019175322A (ja) シミュレーションシステム及びプログラム
US10242241B1 (en) Advanced mobile communication device gameplay system
CN113209609B (zh) 基于牌类对象的交互方法、装置、设备及介质
WO2023246159A1 (zh) 一种虚拟现实的交互方法、相关装置、设备以及存储介质
CN114984563A (zh) 云游戏控制系统、游戏手柄、游戏手柄的控制方法及装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190311

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200512

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200713

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200923

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201022

R150 Certificate of patent or registration of utility model

Ref document number: 6783541

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250