JP2003078999A - ３次元移動音生成方法とその装置 - Google Patents

Abstract

(57)【要約】 【課題】 ３次元的に音を正確に移動させる３次元移動
音生成方法と装置を提供する。 【解決手段】 ３次元移動音生成方法は、複数の音再生
手段を移動音を再生可能に３次元状に配設するステップ
２と、移動方向に沿った複数の位置における複数の仮想
音源における予め得られた音情報と、移動する音情報を
させるべき予め得られた視聴者の両耳応答とを、ある位
置における仮想音源ｘ(n) における音情報とその位置に
対する両耳応答ｈ_k (n) とを次式：ｈ_k (n) ×ｘ(n) ＝
ｙ(n) 、ｙ(n) は音信号に基づいて畳み込み、前回のサ
ンプリング処理のときの繰越分を残響成分として上記畳
み込み結果に加算し、前回までのサンプリングにおける
処理結果を今回の処理結果を結合するステップ５と、前
記生成された音信号を前記複数の音再生手段に、前記仮
想音源から発せられた音が移動していくように出力する
音出力ステップ６とを有する。３次元移動音生成装置は
上記方法を実施する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は３次元移動音を生成
する方法と装置に関する。

【０００２】

【従来の技術】コンピュータゲーム、遠隔会議、航空管
制など音に関して仮想現実感を体験させるような場合、
視聴者に対して、音が移動していく状況が要望されてい
る。たとえば、コンピュータゲームにおいて、戦闘機が
視聴者に接近し、去っていく映像を提供する際、その戦
闘機の移動に関連づけた音を生成することが行われてい
る。同様に、航空管制において複数の航空機の位置およ
びその移動位置に応じた航空機の音、もしくはその時の
機長の声を管制官に聞かせると臨場感が高まり管制官の
認識が向上することが期待されている。逆に、不確かな
航空機の移動音は管制官のご判断を招く可能性もある。
このように、正確に視覚と聴覚とを関連づけた情報を提
供することは種々の分野で有効である。視聴者に対し
て、３次元的に移動する映像および音声を提供する技術
のうちで、本発明は特に、移動音を生成する方法と装置
に関する。

【０００３】３次元的に移動音を生成する従来の試みに
ついて例示する。第１例として、ステレオ再生装置が知
られている。ステレオ再生装置においては、たとえば、
視聴者の前方の左右に２個のスピーカを離して設置し、
音再生装置から２個のスピーカに出力する音信号の音量
を音の移動に対応させて変化させていく。しかしなが
ら、このような方法では正確な移動音の提供にはならな
い。第２例としては、仮想音源位置と視聴者の両耳との
間のインパルス応答または伝達関数を減衰器、遅延器、
および、１対のスピーカによって模擬して希望する位置
に音像を定位させる技術が知られている。しかしなが
ら、このような方法でも音像を希望するようには動かす
ことはできないので、この方法も正確な移動音の提供に
はならない。

【０００４】音像を移動させる方法として、たとえば、
図９に図解したように複数の仮想音源を準備し、それら
の仮想音源を順次（逐次）切り換えていく方法も試みら
れている。

【０００５】

【発明が解決しようとする課題】しかしながら、図９に
図解した方法において、仮想音源が２つの実音源、たと
えば、スピーカの間にあるとき、同時に２か所からの音
によって音像が形成されることになるため、音像がぼけ
て曖昧になり、実際に音源が移動した状況とは物理的に
異なるという不具合がある。

【０００６】本発明の目的はより正確な移動音像を提供
可能な３次元移動音生成技術を提供することにある。本
発明の他の目的は、視聴者の両耳特性をも考慮して、よ
り正確な移動音像を提供可能な３次元移動音生成技術を
提供することにある。本発明のさらに他の目的は、比較
的簡易な方法で、上記より正確な移動音像を提供可能な
３次元移動音生成技術を提供することにある。

【０００７】

【課題を解決するための手段】本発明の第１の観点によ
れば、（ａ）複数の音再生手段を移動音を再生可能に３
次元状に配設する段階と、（ｂ）移動方向に沿った複数
の位置における複数の仮想音源における予め得られた音
情報と、移動する音情報を定位させるべき予め得られた
視聴者の両耳応答とを、ある位置における仮想音源にお
ける音情報とその位置に対する両耳応答を用いて畳み込
み、前回の処理のときの繰越分を残響成分として上記畳
み込み結果に加算し、前回までの処理結果と今回の処理
結果とを結合する段階と、（ｃ）前記生成された音信号
を前記複数の音再生手段に、前記仮想音源から発せられ
た音が移動していくように出力する音出力段階とを有す
る３次元移動音生成方法が提供される。

【０００８】好ましくは、前記音情報と両耳応答ｈ_k
(n) との畳み込み演算を下記の演算式に従って行うこと
を特徴とする。

【数３】ｈ_k (n) ＊ｘ(n) ＝ｙ(n) ただし、ｘ(n) はｎ番目の位置における仮想音源であ
り、ｈ_k (n) はｋ番目の仮想音源位置ｘ(n) と視聴者の
両耳（左右の耳の）との間の応答であり、ｙ(n) は音信
号である。

【０００９】さらに好ましくは、前記処理結果には、そ
れ以前の処理における音情報の直接音を含まない。

【００１０】また好ましくは、一連の複数の仮想音源の
音情報を複数フレームに分割し、該フレームに分割され
た音情報について上記演算処理を行う。

【００１１】さらに好ましくは、前記各フレームに分割
した音について、移動方向に沿って隣接する仮想音源の
間、あるいは、隣接した補間仮想音源の間を複数に補間
した補間仮想音源に対する音情報を補間する。

【００１２】本発明の第２の観点によれば、上記３次元
移動音生成方法を実施する装置、すなわち、３次元移動
音生成装置が提供される。当該３次元移動音生成装置
は、（イ）移動音を再生可能に３次元状に配設された複
数の音再生手段と、（ロ）移動方向に沿った複数の位置
における複数の仮想音源における予め得られた音情報
と、移動する音情報を定位させるべき予め得られた視聴
者の両耳応答とを、ある位置における仮想音源における
音情報とその位置に対する両耳応答を用いて畳み込み、
前回の処理のときの繰越分を残響成分として上記畳み込
み結果に加算し、前回までの処理結果と今回の処理結果
とを結合する演算処理手段と、（ハ）前記生成された音
信号を前記複数の音再生手段に前記仮想音源から発せら
れた音が移動していくように出力する音出力手段と、を
有する。

【００１３】事前に音像を移動させたい経路に沿った、
少なくとも、主要な位置における複数の仮想音源の音を
決定し、その時の移動方向に沿った視聴者の両耳応答を
測定しておく。主要な位置の仮想音源とする意味は、デ
ータ数を必要最小限にするため、主要な位置についての
み、仮想音源を決定してその両耳応答を測定し、その間
の位置の仮想音源は補間により推定させるためである。
もちろん、極力、多数の位置における仮想音源と両耳応
答を測定することが望ましい。仮想音源は移動音像の移
動経路、そのときの音量、高低、その他の音条件を考慮
して決定する。また、仮想音源に対する左右の耳の位置
が異なるから、左右の耳ごとに両耳応答を測定すること
が望ましい。

【００１４】視聴者の両耳応答については、上述したよ
うに、特定の視聴者についての両耳応答を測定してもよ
いし、不特定多数に対する標準的な両耳応答でもよい。

【００１５】このようにして得られた仮想音源ｘ(n) の
音情報および両耳応答ｈ_k (n) を上記式を用いて演算
し、その結果をスピーカなどの音再生手段に順次出力し
ていくことにより、両耳応答を考慮した移動音を再生す
ることができる。

【００１６】

【発明の実施の形態】本発明の基本事項について述べ
る。本発明の発明者の研究によれば、図１に図解したよ
うに、仮想音源ｘ(n) が視聴者Ｈの周囲を１サンプル毎
に方向を変えて移動したとき、対応する方向の視聴者Ｈ
の両耳Ｌｅ、Ｒｅで再生される音信号ｙ(n) は下記式１
で表されることが判った。

【００１７】両耳応答ｈ_k (n) におけるインデックスｎ
はｎ番目の位置を示し、ｈ_k (n) はｋ番目の仮想音源位
置ｘ(n) と視聴者Ｈの両耳との間の応答を示す。たとえ
ば、ｈ₀ (0) 、ｈ₁ (0) _, ｈ₂ (0) はそれぞれ、０、
１、２番目における仮想音源ｘ(0) 、ｘ(1) 、ｘ(2) と
視聴者の両耳との間の応答ｈ_k (n) である。また、たと
えば、ｈ₂ (0) は、サンプル位置２において、仮想音源
ｘ(0) を残響として感じる両耳応答である。

【００１８】

【数４】

【００１９】式１の意味を図２を参照して述べる。図２
は仮想音源ｘ(n) が移動したときに視聴者Ｈの両耳で感
じる音信号を図解した図である。 （１）視聴者の両耳で感覚される音信号ｙ(0) は、０番
目の仮想音源ｘ(0) ×両耳応答ｈ₀ (0) になる。 （２）視聴者の両耳で感覚される音信号ｙ(1) は、１番
目の仮想音源ｘ(1) ×両耳応答ｈ₁ (0) と、前のサンプ
ル位置０における仮想音源ｘ(0) ×両耳応答ｈ ₀(1)との
和となる。ｘ(0) ×ｈ₀(1)で規定される成分は、仮想音
源ｘ(n) の残響成分を示している。 （３）視聴者の両耳で感覚される音信号ｙ(2) は、０番
目の仮想音源ｘ(0) ×両耳応答ｈ₀ (2) と、１番目の仮
想音源ｘ(1) ×両耳応答ｈ₁ (1) と、２番目の仮想音源
ｘ(2) ×両耳応答ｈ₂(0)との和となる。この場合は、ｘ
(0) ×ｈ₀ (2)の項が仮想音源ｘ(0) による残響成分、
ｘ(1) ×ｈ₁ (1) が仮想音源ｘ(1) による残響成分を意
味している。 もちろん、仮想音源ｘ(1) による残響成分は、図１に図
解した例示および一般的な見地から時間の経過とともに
減衰していくから、たとえば、音信号ｙ(1) に含まれる
ｘ(0) ×ｈ₀(1)は音信号ｙ(2) に含まれるｘ(0) ×ｈ₀
(2) よりは大きい。換言すれば、ｘ(0) ×ｈ₀ (2) はｘ
(0) ×ｈ₀(1)より小さい。

【００２０】本発明においては、仮想音源ｘ(n) の音信
号ｙ(n) に対して、それ以前の残響音を考慮している
が、それ以前の直接音成分、たとえば、１つ前の直接音
の仮想音源ｘ(n_-1 )、２つ前の直接音の仮想音源ｘ(n_-2
)それ自体を含めていないことである。換言すれば、本
発明においては、従来方法のように、単に音の強弱を変
化させるだけで前の処理の音の成分を次の処理の音成分
に重畳した方法とは異なり、仮想音源ｘ(n) そのものを
次の処理の音信号ｙ(n) には含めず、従来方法における
重複音による曖昧さを克服している。

【００２１】本例においては、ディジタル信号処理装置
を用いて仮想音源ｘ(n) などの扱いをサンプル処理した
ものとしているが、もちろん、アナログ信号を連続的に
処理した場合でもよい。ただし下記の記述においては、
ディジタル信号処理した場合について述べる。

【００２２】図１の図解は、視聴者と一定の距離を保っ
て視聴者の周囲を回るように仮想音源ｘ(n) が移動して
いく場合を例示したが、視聴者と仮想音源ｘ(n) との移
動関係は、図１の図解に限らず、任意であってもよい。
たとえば、仮想音源ｘ(n) が視聴者に向かって直線的に
接近し、そして、遠ざかる方向に移動してもよい。ま
た、視聴者と仮想音源ｘ(n) との移動関係は二次元状態
に限らず、３次元的であってもよい。以下、簡単化のた
め、図１に図解したように、二次元空間において仮想音
源ｘ(n) が移動する場合を例示する。

【００２３】図３に図解したように、仮想音源ｘ(n) か
ら視聴者Ｈの左右の両耳Ｌｅ、Ｒｅへの距離ｄｌ，ｄｒ
は異なる。したがって、視聴者の両耳応答ｈ_k (n) 、す
なわち、左右の耳の応答は、視聴者Ｈと仮想音源ｘ(n)
との位置に応じて異なるから、視聴者の両耳応答ｈ_k
(n) を、視聴者と仮想音源ｘ(n) との離隔間隔に応じて
異ならせる。

【００２４】通常、視聴者Ｈは仮想音源ｘ(n) の位置に
応じて顔の向きを変化させる可能性が高い。しかし、こ
こでは、視聴者Ｈは仮想音源ｘ(n) の位置に応じて顔の
向きを変化させないと仮定して述べる。もし、視聴者Ｈ
が仮想音源ｘ(n) の移動に合わせて顔の向きを変え、そ
の結果、視聴者Ｈの両耳応答ｈ_k (n) に相違がない場合
は、その処理は簡単になる。

【００２５】視聴者の聴覚は個人差があるから、視聴者
の両耳応答ｈ_k (n) は視聴者によっても異なる。したが
って、厳密には視聴者に応じて両耳応答ｈ_k (n) を異な
らせることが望ましい。視聴者が特定される場合などに
は、その視聴者に応じた両耳応答ｈ_k (n) を用いること
が望ましい。ただし、簡便化のためには、あるいは、多
数の不特定の視聴者を対象とする場合は、標準的な視聴
者についての両耳応答ｈ_k (n) を用いてもよい。以下の
記述においては、視聴者についてはこだわらないで述べ
る。

【００２６】式１は行列を用いて下記式２で表すことが
できる。仮想音源ｘ(n) が移動するときは、式２の左辺
の視聴者の両耳の応答から行列の各列のベクトルは同じ
ではない。このことは通常の畳み込みとは異なることを
示している。仮想音源ｘ(n) の移動方向がｍサンプル毎
に変化するとき、視聴者の両耳における音信号は、図２
を参照して上述したように、対応する移動方向の両耳応
答ｈ _k (n) との畳み込みとなる。

【００２７】

【数５】

【００２８】式２を一般的に表現すれば、下記式３で表
される。下記式３は、〔課題を解決するための手段〕に
おいて記載した式と実質的に同じである。

【００２９】

【数６】 ｈ_k (n) ＊ｘ(n) ＝ｙ(n) ・・・（３） ただし、ｘ(n) はｎ番目の位置における仮想音源であ
り、ｈ_k (n) はｋ番目の仮想音源位置ｘ(n) と視聴者の
両耳（左右の耳の）との間の応答であり、ｙ(n) は音信
号である。

【００３０】実験結果 上記方法により、仮想音源ｘ(n) が１サンプルあたりΔ
ｘ移動するときの視聴者の両耳応答ｈ_k (n) をシミュレ
ーションによって算出した結果と、実測した結果とを比
較した結果を図４のグラフに示す。

【００３１】本発明に基づく仮想音源ｘ(n) が１サンプ
ル当たり４．５×１０^-4度（°）移動したとき、両耳応
答ｈ_k (n) として実測した応答、たとえば、毎５°方
向、１方向当たり５１２サンプル、サンプリング周波数
ｆ_s ＝４４．１ｋＨｚで実測した応答を用いて視聴者Ｈ
の両耳位置での音信号ｙ(n) を求めた。曲線Ａは仮想音
源ｘ(n) の信号と０〜１５°の範囲で４方向の両耳応答
ｈ_k (n) について実測した結果を示す。曲線Ｂは５°、
１０°に対応する両耳応答ｈ_k (n) を０°、１５°の両
耳応答ｈ_k (n) から補間した場合の視聴者Ｈの両耳での
音信号ｙ(n) を示す。曲線Ｃは曲線Ａの結果と曲線Ｂの
結果との差異、すなわち、誤差を示す。

【００３２】試聴した結果、曲線Ａに示す実測した両耳
応答ｈ_k (n) を用いた場合に違和感がない移動音像を知
覚（感覚）できた。また曲線Ｂに示した補間による両耳
応答ｈ_k (n) についても音像に違和感のない移動音像を
知覚（感覚）できた。したがって、上述した本発明の基
本事項に基づく仮想音源ｘ(n) の移動および両耳応答ｈ
_k (n) を適用すると、良好な移動音像が得られることが
判った。

【００３３】実施の形態 本発明の３次元移動音生成方法および装置の実施の形態
として、上述した方法を参照して実現した方法と装置の
例を下記に述べる。図５は本発明の実施の形態としての
３次元移動音生成方法を説明するフローチャートであ
る。

【００３４】ステップ１：仮想音源ｘ(n) の音の決定と
両耳応答ｈ_k (n) の測定 第１の準備段階として、音像を移動させたい経路に沿っ
た、少なくとも、主要な位置における複数の仮想音源ｘ
(n) の音を決定し、その時の移動方向に沿った視聴者Ｈ
の両耳応答ｈ_k (n) を測定する。主要な位置の仮想音源
ｘ(n) とする意味は、データ数を必要最小限にするた
め、主要な位置についてのみ、仮想音源ｘ(n) を決定し
てその両耳応答ｈ_k (n) を測定し、その間の位置の仮想
音源ｘ(n) は補間により推定させるためである。もちろ
ん、極力、多数の位置における仮想音源ｘ(n) と両耳応
答ｈ_k (n) を測定することが望ましい。仮想音源ｘ(n)
は移動音像の移動経路、そのときの音量、高低、その他
の音条件を考慮して決定する。また、図３を参照して述
べたように、仮想音源ｘ(n) に対する左右の耳の位置が
異なるから、左右の耳ごとに両耳応答ｈ_k (n) を測定す
ることが望ましい。しかしながら、簡略化する場合、あ
るいは、左右の耳の感覚に相違がない場合は一方の耳で
代表させるか、両耳が同じ特性であるとしてもよい。

【００３５】ステップ２：スピーカの配置 第２の準備段階として、図６に例示したように、複数の
スピーカを仮想音源ｘ(n) が移動していく経路に従って
仮想音源ｘ(n) から移動音像が再生できるように配置す
る。複数のスピーカの配置は、後述する音信号の出力に
よって、複数のスピーカから、結果として、図１に図解
した仮想音源ｘ(n) の移動が達成されるような配置にす
る。本発明の実施の形態における音出力は３次元音が移
動するようにすることを前提としているから、スピーカ
はもちろん、ステレオ用スピーカを用い、視聴者Ｈにと
って左右の耳で感覚される音の相違が出るように出力さ
れる。なお、スピーカの配置は上述したステップ１の処
理と同時、または、ステップ１の処理の前に行ってもよ
い。

【００３６】視聴者Ｈの両耳応答ｈ_k (n) については、
上述したように、特定の視聴者Ｈについての両耳応答ｈ
_k (n) を測定してもよいし、不特定多数に対する標準的
な両耳応答ｈ_k (n) でもよい。不特定多数の視聴者Ｈの
両耳応答ｈ_k (n) は事前にわかっているから、その場合
は、この段階の処理を行う必要はない。また、特定の視
聴者Ｈについて事前に両耳応答ｈ_k (n) を測定してある
場合も、この段階の処理を行う必要はない。

【００３７】ステップ３：音源の音を複数フレームに分
割 一連の複数の仮想音源ｘ(n) の音情報を複数フレームに
分割する。その理由は、信号処理を容易にするため、各
フレームごとに信号処理するためである。複数フレーム
に分割された音は、メモリに蓄積しておく。

【００３８】ステップ４：補間処理 データ量の関係で、主要部分、あるいは、サンプルを粗
くした場合には、各フレームに分割した音について、移
動方向に沿って隣接する仮想音源ｘ(n) の間、あるい
は、隣接した補間仮想音源ｘ(n) の間を複数に補間した
補間仮想音源ｘ(n) に対する音情報を補間して生成す
る。補間方法としては、線型補間などを適用する。この
ような補間したデータをメモリに記憶する。図４を参照
して、適切な補間を行えば十分正確な移動音像が再生で
きることは上述した。もちろん、補間する必要がないほ
ど十分な仮想音源ｘ(n) が測定されている場合はこの処
理は不要である。

【００３９】ステップ５：移動音像の生成 上述のごとく生成された各フレームの各サンプル位置の
仮想音源ｘ(n) の音を、移動音像を生成させたい方向の
両耳応答ｈ_k (n) とを、式２に従って畳み込む演算処理
を行う。次いで、前回の処理のときの繰越分を残響成分
として上記今回の演算結果に加算する。さらに、前回ま
での処理結果を今回の処理結果を結合する。上述したよ
うに、この信号処理によって、直接音は次の処理には含
ませず、その残響音が時間経過に伴って減衰しているよ
うに、音信号が生成される。また、この信号処理によっ
て左右の耳の知覚状況に則した音信号が生成される。

【００４０】ステップ６：音信号の出力 このようにして生成された音信号は、適切に配設された
複数のスピーカ、たとえば、図６に図解したように配設
した少なくとも２個の複数のスピーカ、図６の例示は３
個のスピーカ、から出力される。

【００４１】複数のスピーカに対して上述した生成した
音信号を分配するかは、複数のスピーカの位置、音量な
どの移動音の状態、および、音の移動方向などを考慮し
て決定する。たとえば、図１に例示したように、仮想音
源ｘ(n) が右方向に移動していく場合は、図６の右側に
位置するスピーカへの音量が大きくなるように、複数の
スピーカへの音出力信号を調整していく。その結果、図
１を参照して述べた仮想音源ｘ(n) の移動に則した音が
視聴者Ｈで感覚される。

【００４２】ステップ５の処理について述べたように、
そして、図２および図４の実験結果を参照して述べたよ
うに、再生された仮想音源ｘ(n) の移動音は正確であ
る。その１つの理由として、たとえば、仮想音源ｘ(0)
の直接音は０番目にのみ存在させ、仮想音源ｘ(0) の直
接音自体とそれ以降のサンプル期間、たとえば、１番
目、２番目には存在させず、その残響のみ関連させてい
る、たとえば、順次、減衰させるように関連させてい
る。したがって、そのように処理された音信号を複数の
スピーカから出力した場合、従来技術におけるように、
単に前回の音の音量を逓減していった場合のように音の
不明瞭さは起きず、希望する移動音が再生できる。もち
ろん、左右の耳の知覚状況に則した音信号が生成され
る。

【００４３】ステップ７：終了判定 全フレームの仮想音源ｘ(n) の音について上記処理を行
うまで、上述したステップ３〜５の処理を反復する。

【００４４】図５および図６を参照して述べた、本発明
の１実施の形態としての３次元移動音生成方法は比較的
簡単な処理であり、その実施は容易である。

【００４５】図７は本発明の実施の形態としての、上記
図５および図６を参照して述べた３次元移動音生成方法
を実施する３次元移動音生成装置の構成図である。図７
に図解した３次元移動音生成装置は、本発明の音出力手
段としての図６に図解した複数のスピーカと、記憶手段
１１と、演算処理手段１２と、出力手段１３とを有す
る。記憶手段１１は、図５のステップ１で得られた結
果、すなわち、仮想音源ｘ(n) の音情報と、両耳応答ｈ
_k (n) を保持し、さらにステップ２で複数のフレームに
分割される音情報を記憶する。記憶手段１１はまた、必
要に応じて補間を行うときは、ステップ３における補間
結果も保持する。演算処理手段１２は、ステップ２にお
ける複数フレームへの分割処理、ステップ３の補間処
理、ステップ４の移動音の生成処理、ステップ５の図６
に図解したステップへの生成した音信号の出力処理、お
よび、ステップ６の終了判断処理を行う。 出力手段１
３は、演算処理手段１２で演算した音信号結果を複数の
スピーカに出力する。記憶手段１１、演算処理手段１２
および出力手段１３はたとえば、メモリ、ＣＰＵ、出力
インタフェースを有するコンピュータを用いて実現でき
る。

【００４６】たとえば、コンピュータのＣＰＵで構成さ
れる演算処理手段１２の処理は、各サンプリング時間ご
とに、上述したステップ２における複数フレームへの分
割処理、ステップ３の補間処理、ステップ４の移動音の
生成処理、ステップ５の図６に図解したステップへの生
成した音信号の出力処理、および、ステップ６の終了判
断処理を行う。なお、演算処理手段１２を、上記各ステ
ップの処理に対応させて、図８に図解したように、フレ
ーム分割手段１２１と、補間処理手段１２２と、移動音
生成処理手段１２３と、音信号出力処理手段１２４に分
割して構成することもできる。なお、高速な信号処理が
必要な場合、これらの手段をディジタル信号プロセッサ
（ＤＳＰ）などで実現することもできる。

【００４７】図７および図８に図解した本発明の１実施
の形態としての３次元移動音生成装置は既存のハードウ
エア、たとえば、既存のコンピュータ、既存のＤＳＰな
どを用いて実現することができ、その実施は容易であ
る。

【００４８】上述した本発明の実施の形態の３次元移動
音生成方法または３次元移動音生成装置を、コンピュー
タゲーム、航空管制、会議電話などに適用すると、映像
の移動に同期して音が移動する仮想音源の移動が実現で
きる。そのような移動音を用いると臨場感が一層向上す
る。

【００４９】本発明の実施の形態に際しては上述した実
施の形態に限定されず、種々の変形態様をとることがで
きる。

【００５０】

【発明の効果】本発明の３次元移動音生成方法によれ
ば、比較的簡単な方法で、仮想音源が移動していく移動
音を正確に再生することができる。特に、本発明の３次
元移動音生成方法は、視聴者の移動方向に対する両耳応
答を考慮しており、視聴者にとって臨場感に富んだ正確
な移動音を提供できる。

【００５１】本発明の３次元移動音生成装置によれば、
比較的簡単な方法で、既存のハードウエアを活用して、
仮想音源が移動していく移動音を正確に再生することが
できる。特に、本発明の３次元移動音生成方法は、視聴
者の移動方向に対する両耳応答を考慮しており、視聴者
にとって臨場感に富んだ正確な移動音を提供できる。

【図面の簡単な説明】

【図１】図１は本発明の例示として仮想音源の音を移動
させて移動音を生成する態様を図解した図である。

【図２】図２は本発明の移動音を生成する方法を図解し
たグラフである。

【図３】図３は視聴者の左右の耳と仮想音源との距離の
相違を図解した図である。

【図４】図４は本発明の１例の実験結果を示すグラフで
ある。

【図５】図５は本発明の１実施の形態としての３次元移
動音生成方法の処理を示すフローチャートである。

【図６】図６は本発明の音再生手段の１例としての複数
のスピーカの配置を図解した図である。

【図７】図７は図５に図解した処理を実施する本発明の
１実施の形態の３次元移動音生成装置の構成図である。

【図８】図８は図７に図解した演算処理手段の構成を図
解した図である。

【図９】図９は従来技術の１例を図解した図である。

【符号の説明】

１１・・記憶手段、１２・・演算処理手段、１３・・出
力手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者 山中 晋 東京都八王子市中野町2665−１ 工学院大 学内 Ｆターム(参考） 5D062 CC16

Claims (10)

【特許請求の範囲】
1. 【請求項１】複数の音再生手段を移動音を再生可能に３
   次元状に配設する段階と、 移動方向に沿った複数の位置における複数の仮想音源に
   おける予め得られた音情報と、移動する音情報を定位さ
   せるべき予め得られた視聴者の両耳応答とを、ある位置
   における仮想音源における音情報とその位置に対する両
   耳応答を用いて畳み込み、前回の処理のときの繰越分を
   残響成分として上記畳み込み結果に加算し、前回までの
   処理結果と今回の処理結果とを結合する段階と、 前記生成された音信号を前記複数の音再生手段に、前記
   仮想音源から発せられた音が移動していくように出力す
   る音出力段階と、 を有する３次元移動音生成方法。
2. 【請求項２】前記音情報と両耳応答との畳み込み演算を
   下記の演算式に従って行うことを特徴とする、 【数１】ｈ_k (n) ＊ｘ(n) ＝ｙ(n) ただし、ｘ(n) はｎ番目の位置における仮想音源であ
   り、ｈ_k (n) はｋ番目の仮想音源位置ｘ(n) と視聴者の
   両耳（左右の耳の）との間の応答であり、ｙ(n) は音信
   号である。 請求項１記載の３次元移動音生成方法。
3. 【請求項３】前記処理結果には、それ以前の処理におけ
   る音情報の直接音を含まない、 請求項２記載の３次元移動音生成方法。
4. 【請求項４】一連の複数の仮想音源の音情報を複数フレ
   ームに分割し、該フレームに分割された音情報について
   上記演算処理を行う、 請求項１〜３いずれか記載の３次元移動音生成方法。
5. 【請求項５】前記各フレームに分割した音について、移
   動方向に沿って隣接する仮想音源の間、あるいは、隣接
   した補間仮想音源の間を複数に補間した補間仮想音源に
   対する音情報を補間する、 請求項４記載の３次元移動音生成方法。
6. 【請求項６】移動音を再生可能に３次元状に配設された
   複数の音再生手段と、 移動方向に沿った複数の位置における複数の仮想音源に
   おける予め得られた音情報と、移動する音情報を定位さ
   せるべき予め得られた視聴者の両耳応答とを、ある位置
   における仮想音源における音情報とその位置に対する両
   耳応答を用いて畳み込み、前回の処理のときの繰越分を
   残響成分として上記畳み込み結果に加算し、前回までの
   処理結果と今回の処理結果とを結合する演算処理手段
   と、 前記生成された音信号を前記複数の音再生手段に前記仮
   想音源から発せられた音が移動していくように出力する
   音出力手段と、 を有する３次元移動音生成装置。
7. 【請求項７】前記演算処理手段は、前記音情報と両耳応
   答との畳み込み演算を下記の演算式に従って行う、 【数２】ｈ_k (n) ＊ｘ(n) ＝ｙ(n) ただし、ｘ(n) はｎ番目の位置における仮想音源であ
   り、ｈ_k (n) はｋ番目の仮想音源位置ｘ(n) と視聴者の
   両耳（左右の耳の）との間の応答であり、ｙ(n) は音信
   号である。 請求項６記載の３次元移動音生成装置。
8. 【請求項８】前記演算処理手段における前記処理結果に
   は、それ以前の処理における音情報の直接音を含まな
   い、 請求項７記載の３次元移動音生成装置。
9. 【請求項９】前記演算処理手段は、一連の複数の仮想音
   源の音情報を複数フレームに分割し、該フレームに分割
   された音情報について上記演算処理を行う、 請求項６〜８いずれか記載の３次元移動音生成装置。
10. 【請求項１０】前記演算処理手段は、前記各フレームに
    分割した音について、移動方向に沿って隣接する仮想音
    源の間、あるいは、隣接した補間仮想音源の間を複数に
    補間した補間仮想音源に対する音情報を補間する、 請求項９記載の３次元移動音生成装置。