JP2022097681A - 移動音生成システム - Google Patents

移動音生成システム Download PDF

Info

Publication number
JP2022097681A
JP2022097681A JP2022078595A JP2022078595A JP2022097681A JP 2022097681 A JP2022097681 A JP 2022097681A JP 2022078595 A JP2022078595 A JP 2022078595A JP 2022078595 A JP2022078595 A JP 2022078595A JP 2022097681 A JP2022097681 A JP 2022097681A
Authority
JP
Japan
Prior art keywords
moving
sound
moving body
virtual space
contact
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022078595A
Other languages
English (en)
Inventor
峰布子 堀田
Fuuko Hotta
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dentsu Group Inc
Original Assignee
Dentsu Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dentsu Inc filed Critical Dentsu Inc
Priority to JP2022078595A priority Critical patent/JP2022097681A/ja
Publication of JP2022097681A publication Critical patent/JP2022097681A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00—Acoustics not otherwise provided for
    • G10K15/02—Synthesis of acoustic waves
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/54—Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A63F13/57—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game
    • A63F13/577—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game using determination of contact between game characters or objects, e.g. to avoid collision between virtual racing cars
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00—Acoustics not otherwise provided for
    • G10K15/08—Arrangements for producing a reverberation or echo sound
    • G10K15/12—Arrangements for producing a reverberation or echo sound using electronic time-delay networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)
  • Processing Or Creating Images (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract

【課題】 リアリティのある移動音を生成することができ、仮想空間でのユーザの体感を向上することのできる移動音生成システムを提供する。【解決手段】 移動音生成システム１は、仮想空間において所定の移動面の上を移動体が移動するときの移動音を生成する。仮想空間における移動体の質量に基づいて、移動音の音量を決定する。仮想空間の移動面と接触する移動体の接地部分の素材情報と、移動体の接地部分が接触する移動面の素材情報とに基づいて、移動音の音質を決定する。移動体の接地部分が移動面と接触するタイミングに基づいて、移動音の発音タイミングを決定する。このようにして決定された音量、音質、発音タイミングで、仮想空間において移動体の移動音を再生する。【選択図】 図１

Description

本発明は、仮想空間において移動体が移動するときの移動音を生成する移動音生成シス
テムに関する。
従来、仮想空間において移動体が移動するときの移動音を生成するシステムが提案され
ている。例えば、仮想空間で移動オブジェクト（ノンプレイヤキャラクタ、非商物、乗物
等）の移動を表すために、音源を一定方向に所定の移動速度で移動させる手法が提案され
ている（例えば、特許文献１参照）。
特開２０１８－２０１７９０号公報
しかしながら、従来の手法では、ユーザが操作する移動体（キャラクタ）周辺の移動オ
ブジェクトの移動音が再生され、ある程度のリアリティは得られるものの、ユーザが操作
する移動体（キャラクタ）自身や他の移動体が発生する移動音は生成されていないため、
仮想空間におけるユーザの体感が低いという問題があった。例えば、現実空間において、
人は、移動している時、その自身の移動音の音量や音質、リズムが聞こえることで、どの
ような地面環境であるか、どれくらいの速さで移動しているかといった状況判別を類推し
認知している。また、他者や車の接近や通過も移動音から視覚に頼らず音源の音像を定位
し類推している。
本発明は、上記の課題に鑑みてなされたもので、現実空間における類推及び認知を仮想
空間においても再現できるよう、リアリティのある移動音を生成することができ、仮想空
間におけるユーザの体感を向上することのできる移動音生成システムを提供することを目
的とする。
本発明の移動音生成システムは、仮想空間において所定の移動面の上を移動体が移動す
るときの移動音を生成する移動音生成システムであって、前記仮想空間における前記移動
体の質量に基づいて、前記移動音の音量を決定する音量決定部と、前記仮想空間の移動面
と接触する前記移動体の接地部分の素材情報と、前記移動体の接地部分が接触する前記移
動面の素材情報とに基づいて、前記移動音の音質を決定する音質決定部と、前記移動体の
接地部分が前記移動面と接触するタイミングに基づいて、前記移動音の発音タイミングを
決定する発音タイミング決定部と、前記仮想空間において、前記移動音決定部で決定され
た音量、前記音質決定部で決定された音質、前記発音タイミング決定部で決定された発音
タイミングで、前記移動体の移動音を再生する移動音再生部と、を備えている。
この構成によれば、仮想空間（例えば、ＶＲ空間など）において所定の移動面（例えば
、地面や床面など）の上を移動体（例えば、アバターなど）が移動するときの移動音が自
動的に生成される。この場合、移動体の質量に基づいて移動音の音量が決定され、移動体
の接地部分と移動面の素材情報に基づいて移動音の音質が決定され、移動体の接地部分が
移動面と接触するタイミングに基づいて、移動音の発音タイミングが決定される。このよ
うにして、仮想空間内の個々の移動体（ユーザが操作する移動体も含む）について、リア
リティのある移動音を生成することができ、仮想空間でのユーザの体感が向上する。
すなわち、この構成によれば、現実空間における類推及び認知を仮想空間においても再
現できるよう、リアリティのある移動音を生成することができる。この場合、移動体自身
が発生する移動音を生成し、リアリティを向上させることができる。また、全ての移動体
の移動音を発生させることで、他の移動体の音源の音像を定位し類推することができる。
また、本発明の移動音生成システムでは、前記音質決定部は、前記移動体の移動情報に
基づいて、前記移動体の接地部分が接触する前記移動面の接触部分を予測し、予測した前
記移動面の接触部分の素材情報のみを事前に読み込んでもよい。
この構成によれば、移動音の音質を決定するときに、移動体の接地部分が接触する移動
面の接触部分が予測され、その移動面の接触部分の素材情報のみが事前に読み込まれる。
したがって、移動面全体の素材情報を読み込む場合に比べて、移動音を生成するための処
理の負荷を軽減することができる。
また、本発明の移動音生成システムでは、前記移動音再生部は、前記移動体の接地部分
が接触する前記移動面の接触部分に、前記移動体の移動音を再生する仮想スピーカーを設
置してもよい。
この構成によれば、移動体の接地部分が接触する移動面の接触部分に、移動体の移動音
を再生する仮想スピーカーが設置される。このようにして設定された仮想スピーカーから
移動体の移動音を再生することで、リアリティのある移動音を生成することができる。
また、本発明の移動音生成システムでは、前記音量決定部は、前記仮想空間における前
記移動体の質量が設定されていない場合には、前記移動体の体積に基づいて前記移動体の
質量を推定してもよい。
この構成によれば、仮想空間における移動体の質量が設定されていない場合であっても
、移動体の体積に基づいて移動体の質量を推定し、移動音の音量を適切に決定することが
できる。
また、本発明の移動音生成システムでは、前記発音タイミング決定部は、前記移動体の
接地部分の位置エネルギーが極小となるタイミングに基づいて、前記移動体の接地部分が
前記移動面と接触するタイミングを判定してもよい。
この構成によれば、移動体の接地部分の位置エネルギーが極小となるタイミングに基づ
いて、移動体の接地部分が移動面と接触するタイミングを適切に判定することができ、し
たがって、移動音の発音タイミングを適切に決定することができる。
本発明の方法は、移動音生成システムで実行される、仮想空間において所定の移動面の
上を移動体が移動するときの移動音を生成する方法であって、前記仮想空間における前記
移動体の質量に基づいて、前記移動音の音量を決定するステップと、前記仮想空間の移動
面と接触する前記移動体の接地部分の素材情報と、前記移動体の接地部分が接触する前記
移動面の素材情報とに基づいて、前記移動音の音質を決定するステップと、前記移動体の
接地部分が前記移動面と接触するタイミングに基づいて、前記移動音の発音タイミングを
決定するステップと、前記仮想空間において、前記ステップで決定された音量、音質、発
音タイミングで、前記移動体の移動音を再生するステップと、を含んでいる。
この方法によっても、上記のシステムと同様に、仮想空間内の個々の移動体（ユーザが
操作する移動体も含む）について、リアリティのある移動音を生成することができ、仮想
空間でのユーザの体感が向上する。
本発明のプログラムは、仮想空間において所定の移動面の上を移動体が移動するときの
移動音を生成するプログラムであって、コンピュータに、前記仮想空間における前記移動
体の質量に基づいて、前記移動音の音量を決定する処理と、前記仮想空間の移動面と接触
する前記移動体の接地部分の素材情報と、前記移動体の接地部分が接触する前記移動面の
素材情報とに基づいて、前記移動音の音質を決定する処理と、前記移動体の接地部分が前
記移動面と接触するタイミングに基づいて、前記移動音の発音タイミングを決定する処理
と、前記仮想空間において、前記処理で決定された音量、音質、発音タイミングで、前記
移動体の移動音を再生する処理と、を実行させる。
このプログラムによっても、上記のシステムと同様に、仮想空間内の個々の移動体（ユ
ーザが操作する移動体も含む）について、リアリティのある移動音を生成することができ
、仮想空間でのユーザの体感が向上する。
本発明によれば、リアリティのある移動音を生成することができ、仮想空間でのユーザ
の体感を向上することができる。
本発明の実施の形態における移動音生成システムの構成を示すブロック図である。 移動音の音質決定の例を示す説明図である。 移動面の接触部分の予測の例を示す説明図である。 仮想スピーカーの設置の例を示す説明図である。 仮想スピーカーの設置の他の例を示す説明図である。 本発明の実施の形態における移動音生成システムの動作を説明するためのシーケンス図である。
以下、本発明の実施の形態の移動音生成システムについて、図面を用いて説明する。本
実施の形態では、仮想現実空間において所定の移動面（地面や床面など）の上を移動体（
アバターなど）が移動するときの移動音を生成するシステムの場合を例示する。
本実施の形態の移動音生成システムの構成を、図面を参照して説明する。図１は、本実
施の形態の移動音生成システムの構成を示すブロック図である。図１に示すように、移動
音生成システム１は、互いにネットワークＮで接続されたユーザ装置２とサーバ装置３で
構成されている。
ユーザ装置２は、ユーザによって操作される装置であり、例えばヘッドマウントディス
プレイ４（ＨＭＤ）とコントローラ５を備えている。なお、ユーザ装置２は、ヘッドマウ
ントディスプレイ４を備えるものに限定されない。ユーザ装置２は、例えば、パーソナル
コンピュータやスマートフォン、タブレット端末などを備えてもよい。
ヘッドマウントディスプレイ４は、ユーザの頭部に装着され、ユーザの両眼の視野を覆
うタイプのディスプレイ装置である。ヘッドマウントディスプレイ４を装着したユーザは
、ヘッドマウントディスプレイ４に表示された映像を見ることができる。ヘッドマウント
ディスプレイ４の表示態様に特に制限はなく、奥行きを持った仮想空間（仮想現実空間）
の任意の位置にオブジェクトが表示される態様でもよいし、仮想平面の任意の位置にオブ
ジェクトが表示される態様でもよい。
コントローラ５は、ユーザからの操作入力を受け付ける入力インターフェースである。
ここでは図示を省略するが、例えば、コントローラ５は、少なくとも１つの操作ボタンを
有し、コントローラ５の向きや動き（加速、回転等）を検出する種々のセンサを内蔵して
いる。コントローラ５からの操作入力により、ユーザは、仮想現実空間内でアバターを移
動させることができる。また、コントローラによる操作以外でもユーザ自身が実環境で移
動することに同期してアバターを移動させてもよい。
サーバ装置３は、制御部６と記憶部７を備えている。例えば、制御部６は、プロセッサ
などで構成され、記憶部７は、大容量メモリなどで構成される。
制御部６は、音量決定部８と、音質決定部９と、発音タイミング決定部１０と、移動音
再生部１１とを備えている。記憶部７には、ユーザ情報（例えば、ユーザアカウント情報
など）、アバター情報（例えば、アバターの種類、サイズ、質量、接地部分の素材など）
、移動情報（例えば、アバターの位置（座標）、移動方向、移動速度、移動姿勢（二足歩
行、二足走行、四足歩行、四足走行、車輪走行など）など）、ワールド情報（例えば、重
力加速度、移動面の素材など）が記憶される。
アバターの種類には、例えば、人間型、動物型、昆虫型、植物型、食品型、空想上の生
物型（ドラゴン、ペガサス、雪男など）、ロボット型、車輪を有する物体型（車のキャラ
クターなど）等が含まれる。
アバターの接地部分の素材としては、例えば、裸足、布（靴下の布、足袋の布、スリッ
パの布）、ラバー（靴のラバー、ランニングシューズのラバー、ゴム長靴のラバー、タイ
ヤのラバーなど）、木や草などの植物（下駄の木、草鞋の藁など）、革（革靴の革、スリ
ッパの革など）、金属（車輪の金属など）等が含まれる。
移動面の素材としては、例えば、屋外の場合には、アスファルト、コンクリート、タイ
ル、石畳、水たまり、土、砂、砂利、岩、湿地、草原、木、草、苔、霜、雪、雹、落ち葉
等が含まれ、例えば、屋内の場合には、フローリング、カーペット、タイルカーペット、
畳、コルク、ジュータン、ラグ、マット等が含まれる。
音量決定部８は、仮想空間における移動体（アバター）の質量に基づいて、移動音の音
量を決定する。例えば、質量が大きいほど音量が大きくなるように、移動音の音量を決定
することができる。また、音量決定部８は、仮想空間における移動体（アバター）の重量
（＝質量×重力加速度）に基づいて、移動音の音量を決定してもよい。例えば、重量が大
きいほど音量が大きくなるように、移動音の音量を決定することができる。さらに、音量
決定部８は、移動体の接地部分（アバターの足）の振り上げ位置（ｚ座標）に基づいて、
移動音の音量を決定してもよい。例えば、振り上げ位置が高いほど音量が大きくなるよう
に、移動音の音量を決定することができる。
また、音量決定部８は、仮想空間における移動体の質量が設定されていない場合には、
移動体の体積に基づいて移動体の質量を推定してもよい。例えば、移動体の体積が大きい
ほど移動体の質量が大きいと推定することにより、体積が大きいほど音量が大きくなるよ
うに、移動音の音量を決定することができる。
音質決定部９は、仮想空間の移動面と接触する移動体の接地部分（アバターの足）の素
材情報と、移動体の接地部分が接触する移動面（地面や床面）の素材情報とに基づいて、
移動音の音質を決定する。
図２は、移動音の音質決定の例を示す説明図である。図２に示すように、例えば、移動
体の接地部分（アバターの足）の素材が「裸足」であり、移動面（地面）の素材が「アス
ファルト」である場合には、移動音の音質を「音質ａ」と決定する。移動音の音質（音質
ａ、ｂ・・・）のデータは、予めライブラリとして用意されていてもよい。あるいは、移
動体の接地部分（アバターの足）の素材情報と、移動体の接地部分が接触する移動面（地
面や床面）の素材情報とに基づいて、その都度、移動音の音質を計算してもよい。
また、音質決定部９は、移動体の移動情報に基づいて、移動体の接地部分が接触する移
動面の接触部分を予測し、予測した移動面の接触部分の素材情報のみを事前に読み込んで
もよい。
図３は、移動音の音質決定の例を示す説明図である。図３では、移動体（アバターＡ）
の左足が接触している移動面の接触部分がＲ１として図示され、右足が接触している移動
面の接触部分がＲ２として図示されている。この場合、移動体（アバターＡ）の移動情報
（アバターの位置、移動方向、移動速度、移動姿勢など）に基づいて、移動体の接地部分
が接触する移動面の接触部分Ｒ３、Ｒ４、Ｒ５を予測することができる。そして、予測し
た接触部分Ｒ３、Ｒ４、Ｒ５の素材情報のみが事前に読み込まれる。
発音タイミング決定部１０は、移動体の接地部分が移動面と接触するタイミングに基づ
いて、移動音の発音タイミングを決定する。例えば、発音タイミング決定部１０は、移動
体の接地部分が移動面と接触しているか否かを判定し、その判定結果に基づいて、移動音
の発音タイミングを決定してもよい。
また、発音タイミング決定部１０は、移動体の接地部分の位置エネルギーが極小となる
タイミングに基づいて、移動体の接地部分が移動面と接触するタイミングを判定してもよ
い。この場合、移動体の接地部分の位置エネルギーは、下記の式に基づいて算出すること
ができる。
位置エネルギー＝アバターの質量×重力加速度×移動体の接地部分の高さ
ここで、移動体の接地部分の高さは、移動体の接地部分（例えば、左右それぞれの足）
の最下点または重心のｚ座標である。
なお、アバターの質量と重力加速度が一定である場合には、発音タイミング決定部１０
は、移動体の接地部分の高さが極小となるタイミングに基づいて、移動体の接地部分が移
動面と接触するタイミングを判定してもよい。
移動音再生部１１は、仮想空間において、移動音決定部で決定された音量、音質決定部
９で決定された音質、発音タイミング決定部１０で決定された発音タイミングで、移動体
の移動音を再生する。例えば、移動体の接地部分が接触する移動面の接触部分に、移動体
の移動音を再生する仮想スピーカーを設置することにより、移動体の移動音を再生するこ
とができる。
図４は、仮想スピーカーの設置の例を示す説明図である。図４の例では、移動体（アバ
ターＡ）の左足が接触している移動面の接触部分Ｒ１と、右足が接触している移動面の接
触部分Ｒ２に、それぞれ仮想スピーカーＳが設置されている。
図５は、仮想スピーカーの設置の他の例を示す説明図である。図５の例では、二足歩行
しているアバターＡの両足が接触している移動面の接触部分、二足走行しているアバター
Ｂの片足が接触している移動面の接触部分、四足歩行しているアバターＣの足が接触して
いる移動面の接触部分に、それぞれ仮想スピーカーＳが設置されている。
以上のように構成された移動音生成システム１について、図６のシーケンス図を参照し
てその動作を説明する。
本実施の形態の移動音生成システム１を用いる場合、まず、ユーザ装置２でログイン情
報を入力すると（Ｓ１）、入力したログイン情報がユーザ装置２からサーバ装置３へ送信
され（Ｓ２）、サーバ装置３でユーザ認証の処理が行われる（Ｓ３）。ユーザ認証が成功
すると、サーバ装置３からユーザ装置２にログイン許可が送られる（Ｓ４）。
次に、ログイン許可されたユーザがユーザ装置２を操作して、仮想現実空間でアバター
を生成し（Ｓ５）、仮想空間内でアバターを移動させると（Ｓ６）、アバターの移動情報
がユーザ装置２からサーバ装置３へ送られる（Ｓ７）。
サーバ装置３では、仮想空間における移動体の質量に基づいて、移動音の音量が決定さ
れ（Ｓ８）、仮想空間の移動面と接触する移動体の接地部分の素材情報と、移動体の接地
部分が接触する移動面の素材情報とに基づいて、移動音の音質が決定される（Ｓ９）。さ
らに、移動体の接地部分が移動面と接触するタイミングに基づいて、移動音の発音タイミ
ングが決定される（Ｓ１０）。
続いて、サーバ装置３からユーザ装置２に、仮想スピーカーの設置要求が送られ（Ｓ１
１）、移動体の接地部分が接触する前記移動面の接触部分に、前記移動体の移動音を再生
する仮想スピーカーが設置する（Ｓ１２）。
そして、ステップＳ１０で決定された発音タイミングの時点になると（Ｓ１３）、サー
バ装置３からユーザ装置２に、移動音の再生要求が送られる（Ｓ１４）。そうすると、ス
テップ８、９で決定された音量、音質の移動音が、ステップ１２で設置された仮想スピー
カーで再生される（Ｓ１５）。
このような本実施の形態の移動音生成システム１によれば、仮想空間（例えば、ＶＲ空
間など）において所定の移動面（例えば、地面や床面など）の上を移動体（例えば、アバ
ターなど）が移動するときの移動音が自動的に生成される。この場合、移動体の質量に基
づいて移動音の音量が決定され、移動体の接地部分と移動面の素材情報に基づいて移動音
の音質が決定され、移動体の接地部分が移動面と接触するタイミングに基づいて、移動音
の発音タイミングが決定される。このようにして、仮想空間内の個々の移動体（ユーザが
操作する移動体も含む）について、リアリティのある移動音を生成することができ、仮想
空間でのユーザの体感が向上する（図５参照）。
すなわち、本実施の形態の移動音生成システム１によれば、現実空間における類推及び
認知を仮想空間においても再現できるよう、リアリティのある移動音を生成することがで
きる。この場合、移動体自身が発生する移動音を生成し、リアリティを向上させることが
できる。また、全ての移動体の移動音を発生させることで、他の移動体の音源の音像を定
位し類推することができる。
また、本実施の形態では、移動音の音質を決定するときに、移動体の接地部分が接触す
る移動面の接触部分が予測され、その移動面の接触部分の素材情報のみが事前に読み込ま
れる。したがって、移動面全体の素材情報を読み込む場合に比べて、移動音を生成するた
めの処理の負荷を軽減することができる。
また、本実施の形態では、移動体の接地部分が接触する移動面の接触部分に、移動体の
移動音を再生する仮想スピーカーが設置される。このようにして設定された仮想スピーカ
ーから移動体の移動音を再生することで、リアリティのある移動音を生成することができ
る。
また、本実施の形態では、仮想空間における移動体の質量が設定されていない場合であ
っても、移動体の体積に基づいて移動体の質量を推定し、移動音の音量を適切に決定する
ことができる。
また、本実施の形態では、移動体の接地部分の位置エネルギーが極小となるタイミング
に基づいて、移動体の接地部分が移動面と接触するタイミングを適切に判定することがで
き、したがって、移動音の発音タイミングを適切に決定することができる。
以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定され
るものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが
可能である。
以上のように、本発明にかかる移動音生成システムは、リアリティのある移動音を生成
することができ、仮想空間でのユーザの体感を向上することができるという効果を有し、
仮想現実空間システム等として有用である。
１ 移動音生成システム
２ ユーザ装置
３ サーバ装置
４ ヘッドマウントディスプレイ
５ コントローラ
６ 制御部
７ 記憶部
８ 音量決定部
９ 音質決定部
１０ 発音タイミング決定部
１１ 移動音再生部
Ｎ ネットワーク

Claims (6)

  1. 仮想空間において所定の移動面の上を移動体が移動するときの移動音を生成する移動音生成システムであって、
    前記仮想空間における重力加速度に基づいて、前記移動音の音量を決定する音量決定部と、
    前記仮想空間の移動面と接触する前記移動体の接地部分の素材情報と、前記移動体の接地部分が接触する前記移動面の素材情報とに基づいて、前記移動音の音質を決定する音質決定部と、
    前記移動体の接地部分が前記移動面と接触するタイミングに基づいて、前記移動音の発音タイミングを決定する発音タイミング決定部と、
    前記仮想空間において、前記音量決定部で決定された音量、前記音質決定部で決定された音質、前記発音タイミング決定部で決定された発音タイミングで、前記移動体の移動音を再生する移動音再生部と、
    を備えることを特徴とする移動音生成システム。
  2. 前記音質決定部は、前記移動体の移動情報に基づいて、前記移動体の接地部分が接触する前記移動面の接触部分を予測し、予測した前記移動面の接触部分の素材情報のみを事前に読み込む、請求項１に記載の移動音生成システム。
  3. 前記移動音再生部は、前記移動体の接地部分が接触する前記移動面の接触部分に、前記移動体の移動音を再生する仮想スピーカーを設置する、請求項１または請求項２に記載の移動音生成システム。
  4. 前記発音タイミング決定部は、前記移動体の接地部分の位置エネルギーが極小となるタイミングに基づいて、前記移動体の接地部分が前記移動面と接触するタイミングを判定する、請求項１～請求項３のいずれか一項に記載の移動音生成システム。
  5. 移動音生成システムで実行される、仮想空間において所定の移動面の上を移動体が移動するときの移動音を生成する方法であって、
    前記仮想空間における重力加速度に基づいて、前記移動音の音量を決定するステップと、
    前記仮想空間の移動面と接触する前記移動体の接地部分の素材情報と、前記移動体の接地部分が接触する前記移動面の素材情報とに基づいて、前記移動音の音質を決定するステップと、
    前記移動体の接地部分が前記移動面と接触するタイミングに基づいて、前記移動音の発音タイミングを決定するステップと、
    前記仮想空間において、前記ステップで決定された音量、音質、発音タイミングで、前記移動体の移動音を再生するステップと、
    を含むことを特徴とする方法。
  6. 仮想空間において所定の移動面の上を移動体が移動するときの移動音を生成するプログラムであって、
    コンピュータに、
    前記仮想空間における重力加速度に基づいて、前記移動音の音量を決定する処理と、
    前記仮想空間の移動面と接触する前記移動体の接地部分の素材情報と、前記移動体の接地部分が接触する前記移動面の素材情報とに基づいて、前記移動音の音質を決定する処理と、
    前記移動体の接地部分が前記移動面と接触するタイミングに基づいて、前記移動音の発音タイミングを決定する処理と、
    前記仮想空間において、前記処理で決定された音量、音質、発音タイミングで、前記移動体の移動音を再生する処理と、
    を実行させることを特徴とするプログラム。
JP2022078595A 2020-10-06 2022-05-12 移動音生成システム Pending JP2022097681A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022078595A JP2022097681A (ja) 2020-10-06 2022-05-12 移動音生成システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020168890A JP7478640B2 (ja) 2020-10-06 2020-10-06 移動音生成システム
JP2022078595A JP2022097681A (ja) 2020-10-06 2022-05-12 移動音生成システム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020168890A Division JP7478640B2 (ja) 2020-10-06 2020-10-06 移動音生成システム

Publications (1)

Publication Number Publication Date
JP2022097681A true JP2022097681A (ja) 2022-06-30

Family

ID=81125822

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020168890A Active JP7478640B2 (ja) 2020-10-06 2020-10-06 移動音生成システム
JP2022078595A Pending JP2022097681A (ja) 2020-10-06 2022-05-12 移動音生成システム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2020168890A Active JP7478640B2 (ja) 2020-10-06 2020-10-06 移動音生成システム

Country Status (4)

Country Link
US (1) US20230377555A1 (ja)
JP (2) JP7478640B2 (ja)
CN (1) CN116210235A (ja)
WO (1) WO2022074943A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005218706A (ja) * 2004-02-06 2005-08-18 Nintendo Co Ltd ゲーム装置およびゲームプログラム
JP2008200255A (ja) * 2007-02-20 2008-09-04 Copcom Co Ltd ゲーム装置、ゲームプログラムおよび記憶媒体
JP2010022646A (ja) * 2008-07-22 2010-02-04 Namco Bandai Games Inc プログラム、情報記憶媒体および画像生成システム
WO2018186178A1 (ja) * 2017-04-04 2018-10-11 ソニー株式会社 情報処理装置、情報処理方法、並びにプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000045387A1 (en) 1999-01-29 2000-08-03 Kent Ridge Digital Labs A method of labelling a sound or a representation thereof
JP2007212635A (ja) 2006-02-08 2007-08-23 Copcom Co Ltd 効果音発生装置、この効果音発生装置を備えたビデオゲーム装置、この効果音発生装置を実現するためのプログラム及び記録媒体
JP5147253B2 (ja) 2007-02-06 2013-02-20 株式会社カプコン ゲーム装置、ゲームプログラムおよび記憶媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005218706A (ja) * 2004-02-06 2005-08-18 Nintendo Co Ltd ゲーム装置およびゲームプログラム
JP2008200255A (ja) * 2007-02-20 2008-09-04 Copcom Co Ltd ゲーム装置、ゲームプログラムおよび記憶媒体
JP2010022646A (ja) * 2008-07-22 2010-02-04 Namco Bandai Games Inc プログラム、情報記憶媒体および画像生成システム
WO2018186178A1 (ja) * 2017-04-04 2018-10-11 ソニー株式会社 情報処理装置、情報処理方法、並びにプログラム

Also Published As

Publication number Publication date
CN116210235A (zh) 2023-06-02
JP7478640B2 (ja) 2024-05-07
JP2022061113A (ja) 2022-04-18
WO2022074943A1 (ja) 2022-04-14
US20230377555A1 (en) 2023-11-23

Similar Documents

Publication Publication Date Title
US11559743B2 (en) Cross-pollination of in-game events, assets and persistent communications using signs and likes across virtual environments in gaming sessions of a video game
JP6281495B2 (ja) 情報処理装置、端末装置、情報処理方法及びプログラム
JP6281496B2 (ja) 情報処理装置、端末装置、情報処理方法及びプログラム
CN112755458B (zh) 用于使虚拟现实与室内运动器材联动的系统和方法
US9526983B2 (en) Virtual reality avatar traveling control system and virtual reality avatar traveling control method
CN110769906B (zh) 模拟系统、图像处理方法以及信息存储介质
JP6055657B2 (ja) ゲームシステム、ゲーム処理制御方法、ゲーム装置、および、ゲームプログラム
JP7431955B2 (ja) 仮想環境における仮想キャラクタ制御方法、装置及びコンピュータプログラム
JP2018010486A (ja) シミュレーションシステム及びプログラム
US20190204909A1 (en) Apparatus and Method of for natural, anti-motion-sickness interaction towards synchronized Visual Vestibular Proprioception interaction including navigation (movement control) as well as target selection in immersive environments such as VR/AR/simulation/game, and modular multi-use sensing/processing system to satisfy different usage scenarios with different form of combination
CN105188516A (zh) 用于增强和虚拟现实的系统与方法
JP2014149712A (ja) 情報処理装置、端末装置、情報処理方法及びプログラム
US20110242316A1 (en) Shoe-integrated tactile display for directional navigation
US10616033B2 (en) Different perspectives from a common virtual environment
WO2018122600A2 (en) Apparatus and method of for natural, anti-motion-sickness interaction towards synchronized visual vestibular proprioception interaction including navigation (movement control) as well as target selection in immersive environments such as vr/ar/simulation/game, and modular multi-use sensing/processing system to satisfy different usage scenarios with different form of combination
WO2019150781A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP2018026034A (ja) シミュレーションシステム
WO2022074943A1 (ja) 移動音生成システム
JPH11153949A (ja) 体感モーション装置
Smeddinck et al. Hoverboard: A Leap to the Future of Locomotion in VR!?
KR102106200B1 (ko) 실감형 바이애슬론 시뮬레이터 시스템
Steinicke et al. Perceptually inspired methods for naturally navigating virtual worlds
JP6974750B2 (ja) 音声制御プログラム、および音声制御装置
WO2024166207A1 (ja) 振動制御装置、ｖｒ装置、振動制御方法及びコンピュータプログラム
Zordan et al. MechVR: A physics-based proxy for locomotion and interaction in a virtual environment

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220512

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230509

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230706

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20231003