JP2007088807A - 音像提示方法および音像提示装置 - Google Patents

Abstract

【課題】仮想音源の位置の上下方向方位（ＥＬｓ）の情報が不足または不明確な場合でも、３次元音像処理を利用することができ、音像信号の方向感覚の直感的な理解を向上させる音像提示方法および音像提示装置を実現する。
【解決手段】提示音像情報と、仮想音源位置情報または仮想音源方向情報と、聴取者の頭部の位置および方向の情報とから、聴取者に対して３次元の音像を生成し提供する音像提示方法において、仮想音源位置または仮想音源方向を上下に移動させて聴取者に提示することを特徴とする音像提示方法。
【選択図】 図１

Description

本発明は、３次元音像により情報を提示する音像提示方法および音像提示装置に関し、詳しくは、聴取者の方向認識性を向上させることのできる音像提示方法および音像提示装置に関するものである。

近年、民生のゲーム機を中心として立体音響や３Ｄ（３次元）オーディオと呼ばれるシステムが利用されている。これは、ヘッドホンやスピーカを使用したゲーム音響により臨場感を与えるために利用される。例えば、目の前を戦闘機等が通過していく場面では、コンピュータグラフィックスによる映像とともに、あたかも目の前を戦闘機が通過していくような方向感覚を持った音を生成している。

提示する音は、従来使用されているモノラルの音像に人間の音に対する方向認識を模擬したコンピュータ処理を加えたものである。３次元空間で人間が音の方向を認識する際に行っている処理をコンピュータで模擬したものであり、模擬の主要素は聴取者の耳介の形状による周波数変調、左右の耳に聞こえる音量の変化、左右の耳への音の到達時間の差である。

３次元空間のさまざまな方向からの音は、聴取者の耳介の形状により周波数変調され、耳道を通過して鼓膜に達し音として認識される。耳介は前後左右非対称な複雑な形状をしており、音が到達する方向により異なる周波数変調特性を持ち、人間の方向感覚を生んでいる。このような頭部や外耳による音の歪み方を数値化したものを頭部伝達関数（ＨＲＴＦ：Ｈｅａｄ Ｒｅｌａｔｅｄ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）と呼ぶ。

このように、従来から頭部伝達関数等を用いてモノラルの音像を３次元化し聴取者に提示する技術が提案されている。

特願２００４−３７２５０３

図４は聴取者位置と音源の位置関係を示した図である。音像の３次元処理においては、音源を点音源（仮想音源）として扱い、図４に示すような空間上で指定した音源の３次元座標（Ｘｓ，Ｙｓ，Ｚｓ）または方位（ＡＺｓ，ＥＬｓ）と、聴取者の頭部位置および方位（ＡＺｈ，ＥＬｈ，ＲＬｈ）から、モノラルの提示音像信号に頭部伝達関数等を用いた演算処理を行い、左右両耳の音像信号を生成し、ヘッドホン等の音像出力装置で聴取者に提示する。ここで、ＡＺはアジマス角、ＥＬはエレベーション角、ＲＬはロール角を意味し、ｓは音源の位置を、ｈは聴取者の頭部を意味するものとする。

図５は従来の３次元音像提示装置の一例を示す構成図であり、提示音像信号源１、聴取者頭部位置検出部２、提示位置指定部３、提示音像信号の３次元処理を行う３次元音像処理部４、聴取者に３次元の音像を提示する音像出力部６から構成される。

提示音像信号源１では、３次元音像化する提示音像を準備する。この音像信号はモノラル信号で準備される。

聴取者頭部位置検出部２では、音像を提示する聴取者の頭部の位置および向き（ＡＺｈ，ＥＬｈ，ＲＬｈ）を検出し、３次元音像処理部４に出力する。

提示位置指定部３では、聴取者に対し提示する音像の音源の位置（Ｘｓ，Ｙｓ，Ｚｓ）または方位（ＡＺｓ，ＥＬｓ）を指定する位置データを３次元音像処理部４に出力する。

３次元音像処理部４では、音源の位置と聴取者頭部の位置から、提示音像信号の３次元処理を行う。提示位置指定部３の出力から、頭部伝達関数等を用いたアルゴリズムにより、モノラルの入力信号から右耳用および左耳用音像を生成し、ヘッドホン等の音像出力部６により人間に提示する。このとき、音像出力部６から聴取者に提示する音像（仮想音源）の位置は、聴取者頭部位置検出部２の出力を考慮して決定する。すなわち、聴取者が頭を動かした場合は、頭部方向をヘッドトラッカなどの手段により検出し、音像が空間上の所定の方向から聞こえるよう、演算処理を行う。

従来技術では提示する音像の音源は点音源として扱われるため、音源の位置は必ず空間上の一点に指定される必要がある。しかしながら、音源の位置または座標は、測定システムによっては必ずしも３次元座標として得られるものではなく、提示すべき水平方向方位（ＡＺｓ）は測定できるものの、上下方向方位（ＥＬｓ）は測定できず、情報が得られない場合がある。

一例としては次のような場面が考えられる。実際の戦闘機などに搭載された敵機警戒レーダで敵機を捕捉した場合に、敵機が存在する方向から警戒音を鳴らし、パイロットに脅威の存在とその方向を認識させる。しかし、敵機警戒レーダでは、敵機の水平方向方位はレーダで捕捉できるものの、通常は上下方向方位は把握することができず、上下方向方位の情報を得ることができない。

このように、音源となる位置情報のうち上下方向方位の情報が不足または不明確な場合には、３次元音像処理に必要な位置または方位に関する情報が不足するため、３次元音像提示自体が利用できなくなり、モノラル音像提示にせざるを得なくなるという問題がある。

対策として、音源の上下方向方位（ＥＬｓ）を所定の値（例えば、ＥＬｓ＝０）に固定して３次元処理することが考えられる。しかし、この場合は、聴取者の意識が誤った点に集中してしまうという欠点がある。

また、人間の耳には、音源がある一点に固定された音は認識しにくく、音源が移動している方がその位置を認識しやすいという特性がある。そのため、聴取者に音源の方向の正確な理解が要求されるような場合には、音源を一点に固定すると位置を理解しにくいという問題がある。

本発明は、上記のような従来技術の問題をなくし、仮想音源の位置の上下方向方位（ＥＬｓ）の情報が不足または不明確な場合でも、３次元音像処理を利用することができ、音像信号の方向感覚の直感的な理解を向上させる音像提示方法および音像提示装置を実現することを目的としたものである。

上記のような目的を達成するために、本発明の請求項１では、提示音像情報と、仮想音源位置情報または仮想音源方向情報と、聴取者の頭部の位置および方向の情報とから、聴取者に対して３次元の音像を生成し提供する音像提示方法において、仮想音源位置または仮想音源方向を上下に移動させて聴取者に提示することを特徴とする。

請求項２では、請求項１に記載の音像提示方法において、仮想音源位置または仮想音源方向の上下の移動は、聴取者位置の存在する水平面を中心として上下に往復させることを特徴とする。

請求項３では、提示音像情報と、仮想音源位置情報または仮想音源方向情報と、聴取者の頭部の位置および方向の情報を基に、聴取者の周囲の一の固定点を仮想音源として音像を再生する３次元音像処理部とを備え、聴取者に対して３次元の音像を生成し提供する音像提示装置において、前記３次元音像処理部の前段に仮想音源位置または仮想音源方向に上下方向方位の情報を追加する上下方向方位情報追加部を有することを特徴とする。

請求項４では、請求項３に記載の音像提示装置において、前記上下方向方位情報追加部は、聴取者位置の存在する水平面を中心として上下に往復する情報を追加することを特徴とする。

請求項５では、請求項３または４に記載の音像提示装置において、前記上下方向方位情報追加部は、仮想音源位置または仮想音源方向の上下方向方位の移動の大きさを調整することができることを特徴とする。

請求項６では、請求項３乃至５のいずれかに記載の音像提示装置において、前記上下方向方位情報追加部は、仮想音源位置または仮想音源方向の上下方向方位の移動の速さを調整することができることを特徴とする。

仮想音源の上下方向方位（ＥＬｓ）の情報が不足または不明確な場合でも、音源に上下方向方位（ＥＬｓ）の情報を追加することによって、３次元音像処理を利用することができる。

また、仮想音源の位置を上下方向に移動させながら音像を提示するため、聴取者に線状の音として認識させることが可能であり、誤った点に意識が集中してしまうことがない。さらに、音源が一点に固定されず移動するため、聴取者は音源の位置を認識しやすくなる利点がある。

このように、仮想音源の位置に上下方向方位（ＥＬｓ）の情報を追加し、上下方向に移動させながら聴取者に提示することによって、仮想音源の位置の上下方向方位（ＥＬｓ）の情報が不足または不明確な場合でも、３次元音像処理を利用することができ、音像信号の方向感覚の直感的な理解を向上させる音像提示方法および音像提示装置を実現することができる。

以下、図面を用いて本発明の音像提示方法および音像提示装置を説明する。

図１は本発明による音像提示方法および装置の実施例を示す構成図であり、図４の従来例で示した構成に、音像提示位置に上下方向の情報を追加する上下方向方位情報追加部５を追加した構成となっている。

従来例では、音源は点音源として扱われるため、仮想音源の位置は３次元座標（Ｘｓ，Ｙｓ，Ｚｓ）または方位（ＡＺｓ，ＥＬｓ）と、聴取者の頭部位置および方位（ＡＺｈ，ＥＬｈ，ＲＬｈ）をすべて指定する必要がある。仮想音源の位置情報のうち、水平方向方位（ＡＺｓ）の情報のみ得られ、上下方向方位（ＥＬｓ）の情報が得られない場合には、このままでは３次元処理できない。そのため、３次元音像処理部に入力する前段に上下方向方位情報追加部５を設け、仮想音源を上下方向に移動するよう位置情報に上下方向方位（ＥＬｓ）の情報を追加する。

図２は、仮想音源の位置の移動の例を示す図である。仮想音源の位置は、水平方向方位（ＡＺｓ）はレーダによる測定等で得られた情報を使用し、上下方向方位（ＥＬｓ）はＥＬｓ＝０の水平面を中心として音源の位置が上下に高速に往復するよう、上下方向方位の情報を追加する。他は従来例と同様に、上下方向追加後の仮想音源の位置および聴取者の頭部位置（ＡＺｈ，ＥＬｈ，ＲＬｈ）から、モノラルの提示音像信号に頭部伝達関数等を用いた演算処理を行い、左右両耳の音像信号を生成し、ヘッドホン等の音像出力装置で聴取者に提示する。

位置を移動させる速度が速すぎると、上下方向に変化させている範囲の全体から同時に音が発せられているのと同様となる。複数点から同時に音を提示すると、人間の耳にはその音源の中央の一点から音が発せられているように聞こえるという性質がある。これは、人間がモノラルのヘッドホンを使用したときに、頭の中央（音源となる右耳用のヘッドホンと左耳用のヘッドホンの中央）に音が感じられるのと同様の現象である。人間は、音源がある一点に固定された音は認識しにくいため、複数点から同時に音を提示する構成とすると、音源を一点に固定した場合と同じ効果となり、聴取者は音源の方向を正確に理解することが難しい。一方、移動させる速度が遅すぎると、音源の位置が上下に振られているのが感じられてしまい、聴取者が音源の位置を把握する際に混乱してしまう。

また、移動させる位置の範囲が大きすぎると、音源の上下方向の変化が激しくなり、やはり聴取者は混乱する。逆に、移動させる位置の範囲が小さすぎると、線状の音とならず、音源が固定された一点からの音と同様となり、聴取者は音源の方向を正確に理解することが困難となる。

仮想音源の位置を変化させる範囲や速度は、以上の点を考慮して決定するのが望ましい。たとえば、ＥＬｓ＝＋３０°から−３０°の間を１０°刻みで０．１秒で往復するように移動させる。

本発明は、音源の上下方向方位の情報が得られない場合だけでなく、水平方向方位および上下方向方位の情報が両方とも得られる場合にも適用することが可能である。

図３は仮想音源の位置の移動の例を示す図である。実施例１ではＥＬｓ＝０の水平面を中央として上下に仮想音源の位置を移動させたが、もともと上下方向方位の情報が得られる場合には、その上下方向方位を上下方向の移動の中央となるように往復させる。このように、上下方向の移動の情報を追加する際に、もとの上下方向方位が中央となるように往復させることで、水平方向方位の直感的な理解と上下方向の大まかな位置を同時に把握させることが可能となる。

本発明は、音像により水平方向方位を知ることは重要であるが、上下方向の位置は不要という場合にも適用できる。上下方向方位の情報が得られる場合であっても、意図的にその情報を削除し、ＥＬｓ＝０の水平面を中心として上下に仮想音源を移動させて音像を提示することで、必要な情報のみを、わかりやすく提示することができる。

図１は本発明の音像提示装置の構成例を示す図。 図２は本発明の音像提示装置（実施例１）において、仮想音源の位置の移動の例を示す図。 図３は本発明の音像提示装置（実施例２）において、仮想音源の位置の移動の例を示す図。 図４は従来例の音像提示装置における聴取者と仮想音源の位置関係を示す図。 図５は従来例の音像提示装置の構成例を示す図。

符号の説明

１ 提示音像信号源
２ 聴取者頭部位置検出部
３ 提示位置指定部
４ ３次元音像処理部
５ 上下方向方位情報追加部
６ 音像出力部
７ 仮想音源位置

Claims (6)

1. 提示音像情報と、仮想音源位置情報または仮想音源方向情報と、聴取者の頭部の位置および方向の情報とから、聴取者に対して３次元の音像を生成し提供する音像提示方法において、仮想音源位置または仮想音源方向を上下に移動させて聴取者に提示することを特徴とする音像提示方法。
2. 前記仮想音源位置または仮想音源方向の上下の移動は、聴取者位置の存在する水平面を中心として上下に往復させることを特徴とする請求項１に記載の音像提示方法。
3. 提示音像情報と、仮想音源位置情報または仮想音源方向情報と、聴取者の頭部の位置および方向の情報を基に、聴取者の周囲の一の固定点を仮想音源として音像を再生する３次元音像処理部とを備え、聴取者に対して３次元の音像を生成し提供する音像提示装置において、前記３次元音像処理部の前段に仮想音源位置または仮想音源方向に上下方向方位の情報を追加する上下方向方位情報追加部を有することを特徴とする音像提示装置。
4. 前記上下方向方位情報追加部は、聴取者位置の存在する水平面を中心として上下に往復する情報を追加することを特徴とする請求項３に記載の音像提示装置。
5. 前記上下方向方位情報追加部は、仮想音源位置または仮想音源方向の上下方向方位の移動の大きさを調整することができることを特徴とする請求項３または４に記載の音像提示装置。
6. 前記上下方向方位情報追加部は、仮想音源位置または仮想音源方向の上下方向方位の移動の速さを調整することができることを特徴とする請求項３乃至５のいずれかに記載の音像提示装置。
   
   
   
   
   

Images