JP2023013768A - 音声生成装置、音声生成方法およびそのプログラム - Google Patents
音声生成装置、音声生成方法およびそのプログラム Download PDFInfo
- Publication number
- JP2023013768A JP2023013768A JP2021118176A JP2021118176A JP2023013768A JP 2023013768 A JP2023013768 A JP 2023013768A JP 2021118176 A JP2021118176 A JP 2021118176A JP 2021118176 A JP2021118176 A JP 2021118176A JP 2023013768 A JP2023013768 A JP 2023013768A
- Authority
- JP
- Japan
- Prior art keywords
- rotation
- sound source
- time
- source data
- sound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000012937 correction Methods 0.000 claims abstract description 105
- 238000013519 translation Methods 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims description 109
- 238000009877 rendering Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 14
- 230000033001 locomotion Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000035945 sensitivity Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 210000005069 ears Anatomy 0.000 description 3
- 238000007654 immersion Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/25—Output arrangements for video game devices
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/54—Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Stereophonic System (AREA)
Abstract
【課題】音声の生成から表示までの間のレイテンシを低減した補正音声を提供可能な技術を提供する。【解決手段】本開示の音声生成装置300は、ユーザの頭部の位置及び回転を取得する取得部301と、第1時刻において取得した位置及び回転に基づいて所定の位置を仮想空間の三次元座標系の原点として音源データを生成する音源データ生成部303と、第1時刻よりも後の第2時刻の位置及び回転に対する第1時刻における位置及び回転の差分に基づいて第1時刻における音源データに対して仮想空間内での仮想的な音源の平行移動及び回転の少なくとも何れかを含む補正処理を実行する補正処理部304と、補正処理が実行された音源データを用いてレンダリングされるべき音声を生成する音声生成部305と、を備える。【選択図】図4
Description
本開示は、音声を生成し補正する装置、方法およびプログラムに関する。
ゲーム機に接続されたヘッドマウントディスプレイ(以下、HMDという場合がある)を頭部に装着して、HMDに表示された画面を見ながら、コントローラなどを操作してゲームプレイすることが行われている。ゲーム機に接続された通常の据え置き型のディスプレイでは、ディスプレイの画面の外側にもユーザの視野範囲が広がっているため、ディスプレイの画面に集中できなかったり、ゲームへの没入感に欠けることがある。その点、ヘッドマウントディスプレイを装着すると、HMDに表示される映像以外はユーザは見ないため、映像世界への没入感が高まり、ゲームのエンタテインメント性を一層高める効果がある。
また、HMDを装着したユーザが頭部を回転させると、360度の仮想空間が表示されるようにすると、さらに映像への没入感が高まり、ゲームなどのアプリケーションの操作性も向上する。このとき、ユーザの頭部の動きと連動して音声を生成される。
このようにHMDにヘッドトラッキング機能をもたせて、ユーザの頭部の動きと連動して音声を生成した場合、音声の生成から出力までの間にレイテンシがある。そのため、音声生成時に前提としたユーザの頭部の向きと、音声を実際に出力した時点でのユーザの頭部の向きとの間でずれが発生する場合がある。この音声のずれにより、ユーザが違和感を持つことがある。
本開示はこうした課題に鑑みてなされたものであり、その目的は、音声の生成から出力までの間のレイテンシを低減した補正音声を提供することが可能な音声生成装置および音声生成方法を提供することにある。
上記課題を解決するために、本開示のある態様の音声生成装置は、ユーザの頭部の位置及び回転の少なくともいずれかを取得する取得部と、第1時刻において取得した前記位置及び回転の少なくともいずれかに基づいて、前記ユーザの所定の位置を仮想空間の三次元座標系の原点として、前記仮想空間に配置された仮想的な音源の三次元座標を示す音源データを生成する音源データ生成部と、前記取得部から前記第1時刻よりも後の第2時刻において更新された前記位置及び前記回転の少なくともいずれかを受け取り、前記更新された位置及び回転の少なくともいずれかに対する前記第1時刻における前記位置及び回転の少なくともいずれかの差分に基づいて、前記第1時刻における前記音源データに対して前記仮想空間内での前記仮想的な音源の平行移動及び回転の少なくとも何れかを含む補正処理を実行する補正処理部と、前記補正処理が実行された前記音源データを用いてレンダリングされるべき音声を生成する音声生成部と、を備える。
本開示の他の態様の音声生成装置は、ユーザの頭部の位置及び回転の少なくともいずれかを取得する取得部と、第1時刻において取得した前記位置及び回転の少なくともいずれかに基づいて、前記ユーザの所定の位置を中心とした仮想空間において球面調和関数によって仮想的な音源が表されるアンビソニックスデータである音源データを生成する音源データ生成部と、前記取得部から前記第1時刻よりも後の第2時刻において更新された前記位置及び前記回転の少なくともいずれかを受け取り、前記更新された位置及び回転の少なくともいずれかに対する前記第1時刻における前記位置及び回転の少なくともいずれかの差分に基づいて、前記第1時刻における前記音源データに対して前記仮想空間内での前記仮想的な音源の平行移動及び回転の少なくとも何れかを含む補正処理を実行する補正処理部と、前記補正処理が実行された前記音源データを用いてレンダリングされるべき音声を生成する音声生成部と、を備える。
本開示の他の態様の音声生成方法は、ユーザの頭部の位置及び回転の少なくともいずれかを取得するステップと、第1時刻において取得した前記位置及び回転の少なくともいずれかに基づいて、前記ユーザの所定の位置を仮想空間の三次元座標系の原点として、前記仮想空間に配置された仮想的な音源の三次元座標を示す音源データを生成するステップと、前記第1時刻よりも後の第2時刻において更新された前記位置及び前記回転の少なくともいずれかを受け取るステップと、前記更新された位置及び回転の少なくともいずれかに対する前記第1時刻における前記位置及び回転の少なくともいずれかの差分に基づいて、前記第1時刻における前記音源データに対して前記仮想空間内での前記仮想的な音源の平行移動及び回転の少なくとも何れかを含む補正処理を実行するステップと、前記補正処理が実行された前記音源データを用いてレンダリングされるべき音声を生成するステップと、を含む。
本開示のさらに他の態様の音声生成方法は、ユーザの頭部の位置及び回転の少なくともいずれかを取得するステップと、第1時刻において取得した前記位置及び回転の少なくともいずれかに基づいて、前記ユーザの所定の位置を中心とした仮想空間において球面調和関数によって仮想的な音源が表されるアンビソニックスデータである音源データを生成するステップと、前記第1時刻よりも後の第2時刻において更新された前記位置及び前記回転の少なくともいずれかを受け取るステップと、前記更新された位置及び回転の少なくともいずれかに対する前記第1時刻における前記位置及び回転の少なくともいずれかの差分に基づいて、前記第1時刻における前記音源データに対して前記仮想空間内での前記仮想的な音源の平行移動及び回転の少なくとも何れかを含む補正処理を実行するステップと、前記補正処理が実行された前記音源データを用いてレンダリングされるべき音声を生成するステップと、を含む。
本開示のさらに他の態様のプログラムは、第1時刻において取得した前記位置及び回転の少なくともいずれかに基づいて、前記ユーザの所定の位置を仮想空間の三次元座標系の原点として、前記仮想空間に配置された仮想的な音源の三次元座標を示す音源データを生成するステップと、前記第1時刻よりも後の第2時刻において更新された前記位置及び前記回転の少なくともいずれかを受け取るステップと、前記更新された位置及び回転の少なくともいずれかに対する前記第1時刻における前記位置及び回転の少なくともいずれかの差分に基づいて、前記第1時刻における前記音源データに対して前記仮想空間内での前記仮想的な音源の平行移動及び回転の少なくとも何れかを含む補正処理を実行するステップと、前記補正処理が実行された前記音源データを用いてレンダリングされるべき音声を生成するステップと、をコンピュータに実行させるためのプログラムである。
本開示のさらに他の態様のプログラムは、ユーザの頭部の位置及び回転の少なくともいずれかを取得するステップと、第1時刻において取得した前記位置及び回転の少なくともいずれかに基づいて、前記ユーザの所定の位置を中心とした仮想空間において球面調和関数によって仮想的な音源が表されるアンビソニックスデータである音源データを生成するステップと、前記第1時刻よりも後の第2時刻において更新された前記位置及び前記回転の少なくともいずれかを受け取るステップと、前記更新された位置及び回転の少なくともいずれかに対する前記第1時刻における前記位置及び回転の少なくともいずれかの差分に基づいて、前記第1時刻における前記音源データに対して前記仮想空間内での前記仮想的な音源の平行移動及び回転の少なくとも何れかを含む補正処理を実行するステップと、前記補正処理が実行された前記音源データを用いてレンダリングされるべき音声を生成するステップと、をコンピュータに実行させるためのプログラムである。
なお、以上の構成要素の任意の組合せ、本開示の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本開示の態様として有効である。
本開示によれば、音声の生成から表示までの間のレイテンシを低減した補正音声を提供することができる。
(第1の実施形態)
図1は、HMD100の外観図である。HMD100は、ユーザの頭部に装着してディスプレイに表示される静止画や動画などを鑑賞し、ヘッドホンから出力される音声や音楽などを聴くための装置である。HMD100に内蔵または外付けされたGPS(Global Positioning System)などの位置センサによりユーザの位置情報を計測することができる。また、HMD100に内蔵または外付けされた姿勢センサによりHMD100を装着したユーザの頭部の回転角や傾きといった姿勢情報を計測することができる。
図1は、HMD100の外観図である。HMD100は、ユーザの頭部に装着してディスプレイに表示される静止画や動画などを鑑賞し、ヘッドホンから出力される音声や音楽などを聴くための装置である。HMD100に内蔵または外付けされたGPS(Global Positioning System)などの位置センサによりユーザの位置情報を計測することができる。また、HMD100に内蔵または外付けされた姿勢センサによりHMD100を装着したユーザの頭部の回転角や傾きといった姿勢情報を計測することができる。
本実施形態のHMD100は、ユーザに音声を提供する音声提供装置の一例である。しかし、音声提供装置は、HMDに限らず、ヘッドフォン、ヘッドセット(マイクつきヘッドフォン)、イヤホン、イヤリングなどであってもよい。
図2は、本実施形態のHMD100の機能構成図である。制御部10は、画像信号、センサ信号などの信号や、命令やデータを処理して出力するメインプロセッサである。入力インタフェース20は、タッチパネルおよびタッチパネルコントローラから操作信号や設定信号を受け付け、制御部10に供給する。出力インタフェース30は、制御部10から画像信号を受け取り、ディスプレイに表示させる。出力インタフェース30は、制御部10から音声信号を受け取り、スピーカに音声出力させる。
通信制御部40は、ネットワークアダプタ42またはアンテナ44を介して、有線または無線通信により、制御部10から入力されるデータを外部に送信する。通信制御部40は、また、ネットワークアダプタ42またはアンテナ44を介して、有線または無線通信により、外部からデータを受信し、制御部10に出力する。
記憶部50は、制御部10が処理するデータやパラメータ、操作信号などを一時的に記憶する。
GPSユニット60は、制御部10からの操作信号にしたがって、GPS衛星から位置情報を受信して制御部10に供給する。無線ユニット62は、制御部10からの操作信号にしたがって、無線基地局から位置情報を受信して制御部10に供給する。
姿勢センサ64は、HMD100の本体部110の回転角や傾きなどの姿勢情報を検出する。姿勢センサ64は、ジャイロセンサ、加速度センサ、角加速度センサなどを適宜組み合わせて実現される。
外部入出力端子インタフェース70は、USB(Universal Serial Bus)コントローラなどの周辺機器を接続するためのインタフェースである。外部メモリ72は、フラッシュメモリなどの外部メモリである。
時計部80は、制御部10からの設定信号によって時間情報を設定し、時間データを制御部10に供給する。
図3は、本実施形態の音声生成システムの構成図である。音声生成システム1は、HMD100と、レンダリング装置200と、を含む。HMD100は、無線通信またはUSBなどの周辺機器を接続するインタフェースでレンダリング装置200に接続される。本実施形態のレンダリング装置200はゲーム機である。レンダリング装置200は、さらにネットワークを介してサーバに接続されてもよい。その場合、サーバは、複数のユーザがネットワークを介して参加できるゲームなどのオンラインアプリケーションをレンダリング装置200に提供してもよい。HMD100は、レンダリング装置200の代わりに、コンピュータや携帯端末に接続されてもよい。
レンダリング装置200は基本的に、コンテンツのプログラムを処理し、音声を生成してHMD100に送信する。コンテンツのプログラムやデータは、ゲームなどのコンテンツのアプリケーションソフトウェア、およびライセンス情報を記録したROM媒体(不図示)からメディアドライブ(不図示)によって読み出される。このROM媒体は、光ディスクや光磁気ディスク、ブルーレイディスクなどの読出専用の記録メディアである。ある態様のレンダリング装置200は、HMD100を装着したユーザの頭部の位置や姿勢に応じたコンテンツの音声を所定のレートで生成する。
図4は、本実施形態に係る音声生成装置300の機能構成図である。同図は機能に着目したブロック図を描いており、これらの機能ブロックはハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現することができる。
音声生成装置300は、位置・回転取得部301と、感度調整部302と、音源データ生成部303と、補正処理部304と、音声生成部305と、音声提供部306と、記憶部307と、を備える。本実施形態では、音声生成装置300は、HMD100が接続されたレンダリング装置200に実装される。しかし、これに限定されず、音声生成装置300の少なくとも一部の機能をHMD100の制御部10に実装してもよい。特に後述の補正処理部304の機能をHMD100側に実装してもよい。あるいは、音声生成装置300の少なくとも一部の機能を、ネットワークを介してレンダリング装置200に接続されたサーバに実装してもよい。
位置・回転取得部301は、HMD100のGPSユニット60やモーションセンサにより検知される位置情報と姿勢センサ64により検知される姿勢情報とに基づいて、HMD100を装着したユーザの頭部の位置および回転を取得する。ユーザの頭部の位置は、レンダリング装置200のカメラによりHMD100の動きを検出することにより取得されてもよい。本実施形態の位置・回転取得部301は、取得部の一例である。
位置・回転取得部301は、感度調整部302から指示された感度にもとづいて、ユーザの頭部の位置および回転を取得する。たとえば、ユーザが頭を回すと、姿勢センサ64によりユーザの頭部の角度の変化が検出されるが、感度調整部302は、角度の変化が所定の値を超えるまでは検出された角度の変化を無視するように位置・回転取得部301に指示する。
モーションセンサとして、3軸地磁気センサ、3軸加速度センサおよび3軸ジャイロ(角速度)センサの少なくとも1つ以上の組み合わせを用いて、ユーザの頭部の前後、左右、上下の動きを検出してもよい。また、ユーザの頭部の位置情報を組み合わせて頭部の動き検出の精度を向上させてもよい。
音源データ生成部303は、第1時刻において取得した位置及び回転の少なくともいずれかに基づいて、ユーザの所定の位置を仮想空間の三次元座標系の原点として、サウンドオブジェクトを仮想空間内に配置する。音源データ生成部303は、仮想空間に配置されたサウンドオブジェクトの三次元座標を示す音源データを生成する。本実施形態のサウンドオブジェクトは仮想的な音源の一例である。ここでのユーザの所定の位置は、ユーザの頭部の中心とすることができるが、これに限定されない。仮想空間の三次元座標系の原点となるユーザの所定の位置は、ユーザの首などの他の部位の箇所であってもよい。例えば、音源データ生成部303は、シーンに応じて記憶部307から仮想空間におけるサウンドオブジェクトの三次元座標を読み出すことにより、1つ又は複数のサウンドオブジェクトを仮想空間内に配置する。また、音源データ生成部303は、シーンに応じて各サウンドオブジェクトの音声波形データを記憶部307から読み出す。音源データ生成部303は、音源データ及び音声波形データを補正処理部304に与える。
補正処理部304は、位置・回転取得部301から第1時刻よりも後の第2時刻において更新されたHMD100の位置および回転を受け取る。補正処理部304は、第2時刻での更新された位置および回転に対する第1時刻での位置および回転の差分に基づいて第1時刻における音源データに対して仮想空間内でのサウンドオブジェクトの平行移動及び回転を含む補正処理を実行する。この補正処理の詳細については後述する。補正処理部304は、補正処理が実行された音源データ及び音声波形データを音声生成部305に与える。
音声生成部305は、補正処理が実行された音源データ及び音声波形データを用いて仮想空間においてレンダリングされるべき音声を生成する。例えば、音声生成部305は、補正処理が実行された音源データ及び音声波形データに基づいてバイノーラルレンダリングを実行することにより、各サウンドオブジェクトからユーザの左耳及び右耳の各々に聞こえる音声を生成する。例えば、音声波形データに基づく音量の音声がユーザとサウンドオブジェクトとの間の距離に応じた倍率で生成される。
音声提供部306は、生成した音声をHMD100に供給する。その結果、HMD100から音声が出力される。
図5(a)~図5(d)を用いて、仮想空間内でユーザの両耳に届く音声について説明する。HMD100に出力される音声を説明する。図5(a)に示すように、仮想空間において、ユーザUがサウンドオブジェクトSに対して正対している場合、サウンドオブジェクトSからの音声はユーザUの正面方向から届く。このとき、図5(c)の音声の波形データからわかるように、ユーザUの左耳L及び右耳Rにはほぼ同じ音量及び遅延の音声が到達する。一方で、図5(b)に示すように、ユーザUが右方を向いている場合、サウンドオブジェクトSからの音声はユーザの左方向から届く。このとき、図5(d)の音声の波形データからわかるように、ユーザUの右耳Rでの音声の遅延よりも左耳Lでの音声の遅延の方が小さく、またユーザUの右耳Rでの音量よりも左耳Lでの音量の方が大きくなる。
音声を補正しない場合について説明する。図5(a)のユーザUがサウンドオブジェクトSに対して正対している状態から21.2msかけて頭を回して図5(b)のユーザUが右方を向いた場合を考える。この場合、図5(a)の状態での図5(c)の波形データの音声が生成される。その結果、音声生成装置300における音声の更新頻度が21.2msの場合、上記正対している状態から21.2msの間、図5(c)の波形データの音声がユーザUの左耳Lおよび右耳Rに届く。ここで、ユーザUが頭を右方に回すことによりサウンドオブジェクトSに対するユーザUの向きが変わるため、本来であれば向きの変化に応じてサウンドオブジェクトSからの音声の聞こえ方が変わるはずである。しかし、音声は図5(a)の状態を基に生成されているため、ユーザUにはユーザUの向きが変わる前の図5(c)の波形データの音声が聞こえることになる。その結果、ユーザUが時間差による向きのずれに起因する違和感を持つ場合がある。同様に、ユーザUの向きの変化だけでなくユーザUが移動した場合(位置が変化した場合)にも、移動前後の位置のずれによりユーザUが違和感を持つ場合がある。
本実施形態では、この時間差による向きや位置のずれに起因する違和感を解消するために音源データを補正する処理を行う。まず比較のために、図6を参照して、補正処理を行わない従来の音声生成処理を説明し、その後、図7を参照して本実施形態の補正処理を説明する。
図6は、補正処理を行わない従来の音声生成処理を説明するシーケンス図である。
音声生成装置300は、サウンドオブジェクトの配置や音源データの生成などのアセットの準備を行い、第1時刻t1におけるHMD100の位置p1および回転q1を取得する。アセット準備と並行して、第1時刻t1における位置p1および回転q1での音声をレンダリングする処理が行われる。この音声レンダリング処理は、一定の処理時間を要する。
音声生成装置300が生成した音声はHMD100に供給される。HMD100と音声生成装置300は、有線又は無線で接続されており、音声生成装置300からHMD100への音声の供給には一定の伝送時間を要する。音声生成装置300とHMD100がネットワークを介して接続されている場合は、ネットワーク遅延が発生する。
HMD100は、音声生成装置300が生成した音声を取得して、音声の出力処理を行う。この出力処理のために遅延が発生し、音声が時刻t’においてスピーカから出力される。
このように、第1時刻t1においてHMD100の位置p1および回転q1を音声生成装置300に提供してから、時刻t’においてHMD100のスピーカから音声が出力されるまでに、レンダリング処理、音声伝送処理、出力処理に一定の時間を要し、図6に示すようにレイテンシが発生する。音声生成のためにHMD100の位置および回転を与えた第1時刻t1と、HMD100に音声が出力される時刻t’の間にも、HMD100を装着したユーザは移動したり、姿勢を変えている。その結果、ユーザは時間差分Δt=t’-t1だけ過去のHMD100の位置および回転における音声を聞くことになり、出力されている音声が前提とする位置および回転と、現在の位置および回転とのずれのゆえに、ユーザは違和感を持つ場合がある。
図7は、本実施形態の補正処理を伴う音声生成処理を説明するシーケンス図である。
音声生成装置300がHMD100から第1時刻t1における位置p1および回転q1を取得して、アセット準備を行うところまでは、図6の従来の音声生成処理と同じである。本実施形態では、音声生成装置300が音声レンダリングを開始する第2時刻t2において、生成された音源データに対して補正処理を行う。この補正処理はHMD100、音声生成装置300のどちらで行われてもよい。HMD100が十分な処理性能をもっている場合はHMD100において補正処理を行うことができるが、そうではない場合は、音声生成装置300が補正処理を行い、補正後の音源データに基づいて生成された音声をHMD100に提供する。
補正処理では、第2時刻t2におけるHMD100の位置p2および回転q2の情報が取得され、第1時刻t1と最新の第2時刻t2の間でのHMD100の位置および回転のずれに基づいて、音源データが補正される。HMD100は補正された音源データに基づく音声の出力処理を実行し、音声をスピーカから出力する。これにより、みかけ上のレイテンシは、図7に示すように第2時刻t2と時刻t’の差に低減される。
以下、本実施形態の補正処理を詳述するが、まず前提となる技術事項を説明する。
音声生成部305は、HMD100の位置pおよび回転qの基準となる三次元座標系を定める。この三次元座標系は、直交座標系であればよく、各軸をどの方向に選んでもよい。三次元座標系の原点は例えばユーザの頭部の中心であるが、頭部の中心以外の点であってもよい。たとえば、ゲームなどのアプリケーションの開始時に、HMD100を装着したユーザに基準となる位置で基準となる姿勢を取ってもらい、そのときのHMD100のセンサ情報からHMD100の基準位置p0および基準回転q0を取得して三次元座標系が定められてもよい。
次に、本実施の形態の音声生成装置300によってHMD100に出力される音声を生成する手順の概略を説明する。
図8は、音声生成装置300による音声生成処理S100を説明するフローチャートである。
ステップS101で、HMD100は、初期化処理として、基準となる三次元座標系を定める。これは、HMD100の動きの基準となる位置と回転を決める作業である。ユーザの指示した位置でHMD100のセンサ情報から初期位置p0および初期回転q0を取得し、その値を原点(0,0,0)として三次元座標系を定める。
ステップS102で、HMD100は、HMD100のセンサ情報から、第1時刻t1におけるHMD100の位置p1および回転q1を取得する。
ステップS103で、HMD100は、第1時刻t1における位置p1および回転q1を音声生成装置300に与える。
ステップS104で、音声生成装置300は、第1時刻t1における位置p1および回転q1に基づいて、仮想空間に配置されたサウンドオブジェクトの三次元座標を示す音源データを生成する。具体的には、位置・回転取得部301は、HMD100から第1時刻t1における位置p1および回転q1を取得して音源データ生成部303に供給するとともに記憶部307に記憶させる。音源データ生成部303は、シーンに応じた各サウンドオブジェクトの三次元座標データ及び音声波形データを記憶部307から読み出す。音源データ生成部303は、シーンに基づいて位置p1および回転q1に対応するように仮想空間内にサウンドオブジェクトを配置する。音源データ生成部303は、時刻t1での仮想空間における各サウンドオブジェクトの三次元座標を示す音源データを生成し、音源データ及び音声波形データを補正処理部304に供給する。
音声生成装置300による第1時刻t1における音源データの生成が完了した後、ステップS105で、HMD100は、HMD100のセンサ情報から、第2時刻t2におけるHMD100の位置p2および回転q2を取得する。
ステップS106で、HMD100は、第2時刻t2における位置p2および回転q2を音声生成装置300に与える。音声生成装置300がアセットを準備している間も、HMD100を装着したユーザは、移動したり向きを変えたりするため、HMD100の第2時刻t2における位置p2および回転q2は、第1時刻t1における位置p1および回転q1とは少しずれている。
ステップS107で、音声生成装置300は、第1時刻t1と第2時刻t2との間のHMD100の位置および回転のずれを吸収するために、音源データの補正処理を実行する。具体的には、位置・回転取得部301は、HMD100から最新の第2時刻t2における更新された位置p2および回転q2を取得して補正処理部304に供給する。補正処理部304は、さらに、HMD100の第1時刻t1における位置p1および回転q1を記憶部307から読み出す。補正処理部304は、最新の第2時刻t2における更新された位置p2および回転q2に対する第1時刻t1における位置p1および回転q1の位置の差分p2-p1および回転の差分q2-q1を算出する。補正処理部304は、第1時刻t1における仮想空間内のサウンドオブジェクトの三次元座標を位置の差分p2-p1だけ平行移動させるとともに回転の差分q2-q1だけ回転させることにより、音源データを補正する。補正処理部304は、補正後の音源データ及び音声波形データを音声提供部306に供給する。
音源データを補正して各サウンドオブジェクトの三次元座標を最新の位置及び回転に合わせて調整することにより、第1時刻t1と第2時刻t2の間にHMD100の位置および回転がずれても、その時間差によるずれを吸収することができる。
以下、補正処理部304による補正処理について数式を用いて詳細に説明する。補正処理部304に与えられる入力は、第1時刻t1におけるHMD100の位置p1および回転q1に対して生成された音源データ、この音源データを生成する際に用いられた位置p1および回転q1、最新の第2時刻t2におけるHMD100の更新された位置p2および回転q2である。補正処理部304は、第1時刻t1における位置p1および回転q1における音源データに対して、以下の補正処理を実行する。
前提として、HMD100の絶対的な基準からの位置および回転の情報をセンサが提供できるものとする。センサとして、HMD100のGPSユニット60および姿勢センサ64が用いられる。またセンサとしてモーションコントローラ(不図示)が用いられてもよい。HMD100を装着したユーザの動きに応じて位置pおよび回転qは変化する。HMD100は、剛体であり、点ではないが、位置pはHMD100上の固定された一点の位置として定義する。以下、この固定された一点をHMD100の中心点と呼ぶ。
第1時刻t1でのHMD100の位置をp=(x,y,z)とし、第1時刻t1と第2時刻t2との間のHMD100の位置の差分をp’=(tx,ty,tz)とした場合、サウンドオブジェクトの平行移動後の三次元座標は次式から求められる。
クォータニオンqを用いたコンピュータグラフィックスに関する3次元回転などの計算方法については「3D-CGプログラマーのためのクォータニオン入門」(工学社、2004年1月)に記載されている。
ステップS107で、音声生成装置300は、補正後の音源データを用いてHMD100のスピーカに出力すべき音声をレンダリングする。具体的には、音声生成部305は、補正後の音源データ及び音声波形データに基づいて、各サウンドオブジェクトからユーザの左右の耳毎に聞こえる音声をレンダリングする。音声生成部305は、レンダリングした音声を音声提供部306に供給する。
このように三次元座標が平行移動および回転されたサウンドオブジェクトからレンダリングされる音声は、第1時刻t1の位置p1および回転q1に対してレンダリングされた音声を第2時刻t2の位置p2および回転q2に対してレンダリングされた音声に補正したものに対応する。第1時刻t1と第2時刻t2での位置及び回転の差分p2-p1及びq2-q1を用いて第1時刻t1でのサウンドオブジェクトの三次元座標を平行移動及び回転することにより、アセット準備等の処理を実施せずに第2時刻t2の位置p2および回転q2に対応する音声をレンダリングすることが可能となる。その結果、データの処理量が少なくなって迅速なレンダリングが可能となり、補正後の音声を生成する際の遅延時間を低減することが可能となる。
ステップS108で、音声提供部306は、レンダリングされた音声をHMD100に与える。
ステップS109で、HMD100に補正後の音声が出力される。ユーザには、第1時刻t1と第2時刻t2の間にHMD100の位置および回転がずれた分を補正した音声が聞こえるようになり、第1時刻t1と第2時刻t2の時間差分のレイテンシが吸収され、ユーザの「違和感」が軽減される。その後、音声生成処理S100はステップS101に戻って、それ以降の処理が繰り返される。
このように頭部の動きに応じてHMD100から出力される音声を補正できるため、ユーザの頭部の位置及び向きの変化に対するレイテンシが小さくなり、ユーザに対するサウンドオブジェクトの相対的な位置をより明確に把握できるようになる。その結果、仮想空間に対する没入感を高めることができる。
特にゲームアプリケーションにおいて、ユーザがゲームコントローラのボタンや携帯端末のタッチスクリーンなどを使って仮想空間内の位置および方向を変え、ゲーム中の他のユーザのキャラクタとインタラクションする場合、リアルタイム性が重要な要素となる。このような場合、補正処理により擬似的にリアルタイム性をもたせることは有益である。
(変形例)
以下、変形例を説明する。
以下、変形例を説明する。
実施形態では、1フレーム分のデータを読み出して音声をレンダリングしたが、複数フレーム分のデータを読み出して複数フレームの音声をレンダリングしてもよい。例えば、4フレーム分のデータが読み出された場合を考える。音声の更新頻度は例えば21.2msであるものとすると、1フレームで5.3ms分の音声が生成されることになる。ユーザが真右(左右,高さ,奥行)=(1,0,0)を向いた状態で、サウンドオブジェクトが(0,0,2)に配置された場合、ユーザには(0,0,2)からサウンドオブジェクトの音声が聞こえる。この状態からユーザが21.2msかけて正面(0,0,1)を向くと、21.2ms後にユーザには(2,0,0)からサウンドオブジェクトの音声が聞こえる。ここで、仮に上述の補正処理を実行しない場合、ユーザが真右から正面に向きを変えているにも関わらず、4フレームのいずれについても(0,0,2)からサウンドオブジェクトの音声が聞こえる。その結果、21.2msの間、ユーザには正面(0,0,2)から音声が聞こえることになる。
一方で、本変形例では、フレーム毎に(すなわち5.3ms毎に)最新の位置および回転が取得され、各フレームでの位置および回転に基づいて各フレームについて位置および回転が補正される。その結果、ユーザには5.3ms毎に、(0,0,2)→(1,0,√3)→(√3,0,1)→(2,0,0)からサウンドオブジェクトの音声が聞こえるようになる。これにより、サウンドオブジェクトからの音声がよりスムーズに聞こえるようになる。
第1実施形態では、位置及び回転の各差分に基づいて音源データの補正処理が実行されたが、これに限定されない。位置・回転取得部301は位置及び回転の少なくともいずれかを取得し、補正処理部304は位置及び回転の少なくともいずれかの差分に基づいて音源データの補正処理を実行してもよい。
(第2実施形態)
以下、本開示の第2実施形態を説明する。第2実施形態の説明では、第1実施形態と重複する説明を適宜省略し、第1実施形態と相違する構成について重点的に説明する。
以下、本開示の第2実施形態を説明する。第2実施形態の説明では、第1実施形態と重複する説明を適宜省略し、第1実施形態と相違する構成について重点的に説明する。
第2実施形態では、音声生成部305は、第1の頻度でレンダリングされるべき音声を生成する。補正処理部304は、HMD100の単位時間当たりの音声データの処理量を示す音声処理粒度に合わせた第2の頻度で位置・回転取得部301から第2時刻での更新された位置及び回転を受け取る。補正処理部304は、第1の頻度よりも高い第2の頻度で受け取った複数の更新された位置及び回転に基づいて、音声生成部305により生成された音源データ及び補正処理が実行された音源データのいずれかに対して補正処理を複数回実行する。
図9および図10を参照して、第2実施形態の補正処理を説明する。図9は、比較のため、第1実施形態の音声補正処理を説明する図である。図9に示すように、音声生成装置300は、第1時刻t1でHMD100の位置p1および回転q1を受け取り、音源データの生成を開始する。音声生成装置300は、第2時刻t2でHMD100の最新の位置p2および回転q2を用いて音源データを補正処理する。HMD100の音声処理粒度が30フレーム/秒であるとすると、音声生成装置300は、30フレーム/秒でフレーム(音声)を生成し、補正処理を行い、HMD100に補正後の音声を提供する。なお、補正処理はHMD100側で行われてもよい。
図10は、第2実施形態の音声補正処理を説明する図である。音声生成装置300によるレンダリングの音声処理粒度が30フレーム/秒であるのに対して、HMD100の音声処理粒度が高フレームレートである。たとえばHMD100の音声処理粒度が60フレーム/秒である場合、第2実施形態ではHMD100の音声処理粒度に合わせて補正処理の頻度を上げる。
図10に示すように、音声生成装置300は、第2時刻t2におけるHMD100の位置p2および回転q2を用いて時刻t1における音源データに対して1回目の補正処理を行い、補正後の音源データを用いて音声をHMD100から出力する。その後、音声生成装置300は、時刻t3におけるHMD100の位置p3および回転q3を用いて同じ音源データに対して2回目の補正処理を行い、2回目の補正後の音源データを用いて音声をHMD100から出力する。これにより、音声生成装置300の音声処理粒度が30フレーム/秒であっても、補正後の音声が60フレーム/秒で出力される。このように、所定の頻度で補正処理を行うことにより、音声処理粒度を上げたり、下げたりすることができ、特に音声生成装置300とHMD100との音声処理粒度が異なる場合に、システムに音声処理粒度変換の機能をもたせることができる。
図10の説明では、音声生成装置300が生成した同じ音源データに対して、第2時刻t2における位置p2および回転q2を用いた1回目の補正処理と、時刻t3における位置p3および回転q3を用いた2回目の補正処理を行った。別の方法として、2回目の補正処理は、1回目の補正処理によって生成される補正後の音源データに対して行ってもよい。
以上説明したように、第1の実施の形態および第2の実施の形態によれば、音声生成時点のユーザの位置及び回転を前提に生成された音源データを、音声出力時点のユーザの位置および回転を用いて補正することにより、音声生成時点から音声出力時点までの時間差分を吸収して、見かけ上のレイテンシを軽減することができる。
(第3実施形態)
以下、本開示の第3実施形態を説明する。第2実施形態の説明では、第1実施形態と重複する説明を適宜省略し、第1実施形態と相違する構成について重点的に説明する。
以下、本開示の第3実施形態を説明する。第2実施形態の説明では、第1実施形態と重複する説明を適宜省略し、第1実施形態と相違する構成について重点的に説明する。
第1実施形態では、位置座標を有するサウンドオブジェクトを用いた音源データに対して補正処理が実行されたが、これに限定されない。第3実施形態では、アンビソニックスデータを用いた音源データに対して補正処理が実行される。
第3実施形態では、音源データ生成部303は、第1時刻において取得した位置及び回転に基づいて、仮想空間において球面調和関数によって仮想的な音源が表されるアンビソニックスデータを音源データとして生成する。具体的には、音源データ生成部303は、シーンに応じて記憶部307から仮想空間における音声波形データを読み出し、読み出した音声波形データに対して球面調和関数を適用することにより、アンビソニックスデータを生成する。音源データ生成部303は、生成したアンビソニックスデータを補正処理部304に供給する。
補正処理部304は、上述した手法により、アンビソニックスデータに対して補正処理を実行する。補正処理の詳細については、第1実施形態の補正処理と同様であるため、その説明を省略する。補正処理部304は、補正処理を実行したアンビソニックスデータを音声生成部305に供給する。音声生成部305は、補正処理を実行したアンビソニックスデータを用いて音声をレンダリングし、音声提供部306に供給する。音声提供部306は、レンダリングされた音声をHMD100に供給することにより、ユーザはHMD100を介してアンビソニックスを利用した音声を体験することが可能となる。
以上、本開示を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本開示の範囲にあることは当業者に理解されるところである。そのような変形例を説明する。
1 音声生成システム、 10 制御部、 20 入力インタフェース、 30 出力インタフェース、 32 バックライト、 40 通信制御部、 42 ネットワークアダプタ、 44 アンテナ、 50 記憶部、 60 GPSユニット、 62 無線ユニット、 64 姿勢センサ、 70 外部入出力端子インタフェース、 72 外部メモリ、 80 時計部、 100 ヘッドマウントディスプレイ、200 レンダリング装置、 300 音声生成装置、 301 位置・回転取得部301、 302 感度調整部、 303 音源データ生成部、 304 補正処理部、305 音声生成部、 306 音声提供部、 307 記憶部。
Claims (8)
- ユーザの頭部の位置及び回転の少なくともいずれかを取得する取得部と、
第1時刻において取得した前記位置及び回転の少なくともいずれかに基づいて、前記ユーザの所定の位置を仮想空間の三次元座標系の原点として、前記仮想空間に配置された仮想的な音源の三次元座標を示す音源データを生成する音源データ生成部と、
前記取得部から前記第1時刻よりも後の第2時刻において更新された前記位置及び前記回転の少なくともいずれかを受け取り、前記更新された位置及び回転の少なくともいずれかに対する前記第1時刻における前記位置及び回転の少なくともいずれかの差分に基づいて、前記第1時刻における前記音源データに対して前記仮想空間内での前記仮想的な音源の平行移動及び回転の少なくとも何れかを含む補正処理を実行する補正処理部と、
前記補正処理が実行された前記音源データを用いてレンダリングされるべき音声を生成する音声生成部と、
を備える、音声生成装置。 - 前記補正処理部は、前記仮想空間内に配置された複数の前記仮想的な音源の各々についての前記差分に基づいて前記複数の仮想的な音源の各々の前記平行移動及び回転の少なくともいずれかを含む前記補正処理を実行する、請求項1に記載の音声生成装置。
- ユーザの頭部の位置及び回転の少なくともいずれかを取得する取得部と、
第1時刻において取得した前記位置及び回転の少なくともいずれかに基づいて、前記ユーザの所定の位置を中心とした仮想空間において球面調和関数によって仮想的な音源が表されるアンビソニックスデータである音源データを生成する音源データ生成部と、
前記取得部から前記第1時刻よりも後の第2時刻において更新された前記位置及び前記回転の少なくともいずれかを受け取り、前記更新された位置及び回転の少なくともいずれかに対する前記第1時刻における前記位置及び回転の少なくともいずれかの差分に基づいて、前記第1時刻における前記音源データに対して前記仮想空間内での前記仮想的な音源の平行移動及び回転の少なくとも何れかを含む補正処理を実行する補正処理部と、
前記補正処理が実行された前記音源データを用いてレンダリングされるべき音声を生成する音声生成部と、
を備える、音声生成装置。 - 前記音声生成部は、第1の頻度で前記レンダリングされるべき音声を生成し、
前記補正処理部は、前記ユーザに前記補正した音声を提供する音声提供装置の音声処理粒度に合わせた第2の頻度で前記取得部から前記更新された位置及び回転を受け取り、前記第1の頻度よりも高い前記第2の頻度で受け取った複数の前記更新された位置及び回転に基づいて、前記音源データ及び前記補正処理が実行された音源データのいずれかに対して前記補正処理を複数回実行する、請求項1から3のいずれか1項に記載の音声生成装置。 - ユーザの頭部の位置及び回転の少なくともいずれかを取得するステップと、
第1時刻において取得した前記位置及び回転の少なくともいずれかに基づいて、前記ユーザの所定の位置を仮想空間の三次元座標系の原点として、前記仮想空間に配置された仮想的な音源の三次元座標を示す音源データを生成するステップと、
前記第1時刻よりも後の第2時刻において更新された前記位置及び前記回転の少なくともいずれかを受け取るステップと、
前記更新された位置及び回転の少なくともいずれかに対する前記第1時刻における前記位置及び回転の少なくともいずれかの差分に基づいて、前記第1時刻における前記音源データに対して前記仮想空間内での前記仮想的な音源の平行移動及び回転の少なくとも何れかを含む補正処理を実行するステップと、
前記補正処理が実行された前記音源データを用いてレンダリングされるべき音声を生成するステップと、
を含む、音声生成方法。 - ユーザの頭部の位置及び回転の少なくともいずれかを取得するステップと、
第1時刻において取得した前記位置及び回転の少なくともいずれかに基づいて、前記ユーザの所定の位置を仮想空間の三次元座標系の原点として、前記仮想空間に配置された仮想的な音源の三次元座標を示す音源データを生成するステップと、
前記第1時刻よりも後の第2時刻において更新された前記位置及び前記回転の少なくともいずれかを受け取るステップと、
前記更新された位置及び回転の少なくともいずれかに対する前記第1時刻における前記位置及び回転の少なくともいずれかの差分に基づいて、前記第1時刻における前記音源データに対して前記仮想空間内での前記仮想的な音源の平行移動及び回転の少なくとも何れかを含む補正処理を実行するステップと、
前記補正処理が実行された前記音源データを用いてレンダリングされるべき音声を生成するステップと、
をコンピュータに実行させるためのプログラム。 - ユーザの頭部の位置及び回転の少なくともいずれかを取得するステップと、
第1時刻において取得した前記位置及び回転の少なくともいずれかに基づいて、前記ユーザの所定の位置を中心とした仮想空間において球面調和関数によって仮想的な音源が表されるアンビソニックスデータである音源データを生成するステップと、
前記第1時刻よりも後の第2時刻において更新された前記位置及び前記回転の少なくともいずれかを受け取るステップと、
前記更新された位置及び回転の少なくともいずれかに対する前記第1時刻における前記位置及び回転の少なくともいずれかの差分に基づいて、前記第1時刻における前記音源データに対して前記仮想空間内での前記仮想的な音源の平行移動及び回転の少なくとも何れかを含む補正処理を実行するステップと、
前記補正処理が実行された前記音源データを用いてレンダリングされるべき音声を生成するステップと、
を含む、音声生成方法。 - ユーザの頭部の位置及び回転の少なくともいずれかを取得するステップと、
第1時刻において取得した前記位置及び回転の少なくともいずれかに基づいて、前記ユーザの所定の位置を中心とした仮想空間において球面調和関数によって仮想的な音源が表されるアンビソニックスデータである音源データを生成するステップと、
前記第1時刻よりも後の第2時刻において更新された前記位置及び前記回転の少なくともいずれかを受け取るステップと、
前記更新された位置及び回転の少なくともいずれかに対する前記第1時刻における前記位置及び回転の少なくともいずれかの差分に基づいて、前記第1時刻における前記音源データに対して前記仮想空間内での前記仮想的な音源の平行移動及び回転の少なくとも何れかを含む補正処理を実行するステップと、
前記補正処理が実行された前記音源データを用いてレンダリングされるべき音声を生成するステップと、
をコンピュータに実行させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021118176A JP2023013768A (ja) | 2021-07-16 | 2021-07-16 | 音声生成装置、音声生成方法およびそのプログラム |
PCT/JP2022/023880 WO2023286513A1 (ja) | 2021-07-16 | 2022-06-15 | 音声生成装置、音声生成方法およびそのプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021118176A JP2023013768A (ja) | 2021-07-16 | 2021-07-16 | 音声生成装置、音声生成方法およびそのプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023013768A true JP2023013768A (ja) | 2023-01-26 |
JP2023013768A5 JP2023013768A5 (ja) | 2024-06-21 |
Family
ID=84919253
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021118176A Pending JP2023013768A (ja) | 2021-07-16 | 2021-07-16 | 音声生成装置、音声生成方法およびそのプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2023013768A (ja) |
WO (1) | WO2023286513A1 (ja) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102517906B1 (ko) * | 2017-06-15 | 2023-04-05 | 돌비 인터네셔널 에이비 | 컴퓨터 매개 현실 애플리케이션에서 송신기와 수신기 사이의 통신을 최적화하는 방법, 장치 및 시스템 |
US20230007430A1 (en) * | 2019-11-29 | 2023-01-05 | Sony Group Corporation | Signal processing device, signal processing method, and program |
-
2021
- 2021-07-16 JP JP2021118176A patent/JP2023013768A/ja active Pending
-
2022
- 2022-06-15 WO PCT/JP2022/023880 patent/WO2023286513A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2023286513A1 (ja) | 2023-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11914147B2 (en) | Image generation apparatus and image generation method using frequency lower than display frame rate | |
EP3584539B1 (en) | Acoustic navigation method | |
WO2017077918A1 (ja) | 情報処理装置、情報処理システム、および情報処理方法 | |
US20170195795A1 (en) | Intelligent 3d earphone | |
US20150163473A1 (en) | Image generating device and image generating method | |
CN114885274B (zh) | 空间化音频系统以及渲染空间化音频的方法 | |
JP7317024B2 (ja) | 画像生成装置および画像生成方法 | |
WO2016002657A1 (ja) | 画像生成装置および画像生成方法 | |
CN112335264A (zh) | 用于呈现用于向用户回放的音频信号的装置和方法 | |
WO2020031486A1 (ja) | 情報処理装置、情報処理方法、プログラム及び情報処理システム | |
KR101963244B1 (ko) | 현실 음향을 반영한 증강 현실 3차원 음향 구현 시스템 및 프로그램 | |
WO2023286513A1 (ja) | 音声生成装置、音声生成方法およびそのプログラム | |
JP7405083B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US20220322024A1 (en) | Audio system and method of determining audio filter based on device position | |
JP2024019911A (ja) | ヘッドマウントディスプレイおよび画像表示方法 | |
US10659905B1 (en) | Method, system, and processing device for correcting energy distributions of audio signal | |
JP2019074881A (ja) | 画像生成装置および画像生成方法 | |
JP6499805B2 (ja) | 映像表示装置および映像表示方法 | |
WO2023058162A1 (ja) | 音声拡張現実オブジェクト再生装置及び音声拡張現実オブジェクト再生方法 | |
US20240196152A1 (en) | Spatial audio processing method and apparatus therefor | |
JP2014127967A (ja) | 仮想空間中の音声再生装置及び方法、並びにプログラム | |
US20220382390A1 (en) | Information processing apparatus, information processing method, and program | |
KR20240088517A (ko) | 공간 음향 처리 방법 및 이를 위한 장치 | |
CN117897687A (zh) | 基于用户电信号的音频调整 | |
JP2024056580A (ja) | 情報処理装置及びその制御方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240613 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240613 |