JP2007318188A - 音像提示方法および音像提示装置 - Google Patents

Abstract

【課題】聴取者が提示音像信号の方向を探すために頭部を動かすことなく、方向感覚の直感的な理解を向上させる音像提示方法および音像提示装置を実現する。
【解決手段】提示音像情報と、提示音像位置情報または提示音像方向情報と、聴取者の頭部の位置および方向の情報とから、聴取者に対して３次元の提示音像を生成し提供する音像提示方法において、前記提示音像とともに参照音像を併せて聴取者に提示することを特徴とする。
【選択図】図１

Description

本発明は、３次元音像により情報を提示する音像提示方法および音像提示装置に関し、詳しくは、聴取者の方向認識性を向上させることのできる音像提示方法および音像提示装置に関するものである。

近年、民生のゲーム機を中心として立体音響や３Ｄ（３次元）オーディオと呼ばれるシステムが利用されている。これは、ヘッドホンやスピーカを使用したゲーム音響により臨場感を与えるために利用される。例えば、目の前を戦闘機等が通過していく場面では、コンピュータグラフィックスによる映像とともに、あたかも目の前を戦闘機が通過していくような方向感覚を持った音を生成している。

提示する音は、従来使用されているモノラルの音像に人間の音に対する方向認識を模擬したコンピュータ処理を加えたものである。３次元空間で人間が音の方向を認識する際に行っている処理をコンピュータで模擬したものであり、模擬の主要素は聴取者の耳介の形状による周波数変調、左右の耳に聞こえる音量の変化、左右の耳への音の到達時間の差である。

３次元空間のさまざまな方向からの音は、聴取者の耳介の形状により周波数変調され、耳道を通過して鼓膜に達し音として認識される。耳介は前後左右非対称な複雑な形状をしており、音が到達する方向により異なる周波数変調特性を持ち、人間の方向感覚を生んでいる。このような頭部や外耳による音の歪み方を数値化したものを頭部伝達関数（ＨＲＴＦ：Ｈｅａｄ Ｒｅｌａｔｅｄ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）と呼ぶ。

このように、従来から頭部伝達関数等を用いてモノラルの音像を３次元化し聴取者に提示する技術が提案されている。

特開昭５９−４４１９９号公報

図３は聴取者位置と提示音像の位置関係を示した図である。音像の３次元処理においては、提示音像を点音源（仮想音源）として扱い、図３に示すような空間上で指定した音源の３次元座標（Ｘｓ，Ｙｓ，Ｚｓ）または方位（ＡＺｓ，ＥＬｓ）と、聴取者の頭部位置および方位（ＡＺｈ，ＥＬｈ，ＲＬｈ）から、モノラルの提示音像信号に頭部伝達関数等を用いた演算処理を行い、左右両耳の音像信号を生成し、ヘッドホン等の音像出力装置で聴取者に提示する。ここで、ＡＺはアジマス角、ＥＬはエレベーション角、ＲＬはロール角を意味し、ｓは提示音像を、ｈは聴取者の頭部を意味するものとする。

図４は従来の３次元音像提示装置の一例を示す構成図であり、提示音像信号源１、聴取者頭部位置検出部２、提示位置指定部３、提示音像信号の３次元処理を行う３次元提示音像処理部４、聴取者に３次元の音像を提示する音像出力部９から構成される。

提示音像信号源１では、３次元音像化する提示音像を準備する。この音像信号はモノラル信号で準備される。

聴取者頭部位置検出部２では、音像を提示する聴取者の頭部の位置および向き（ＡＺｈ，ＥＬｈ，ＲＬｈ）を検出し、３次元提示音像処理部４に出力する。

提示位置指定部３では、聴取者に対し提示する音像の音源の位置（Ｘｓ，Ｙｓ，Ｚｓ）または方位（ＡＺｓ，ＥＬｓ）を指定する位置データを３次元提示音像処理部４に出力する。

３次元提示音像処理部４では、提示音像の位置と聴取者頭部の位置から、提示音像信号の３次元処理を行う。提示位置指定部３の出力から、頭部伝達関数等を用いたアルゴリズムにより、モノラルの入力信号から右耳用および左耳用音像を生成し、ヘッドホン等の音像出力部９により聴取者に提示する。このとき、音像出力部９から聴取者に提示する音像（仮想音源）の位置は、聴取者頭部位置検出部２の出力を考慮して決定する。すなわち、聴取者が頭を動かした場合は、頭部方向をヘッドトラッカなどの手段により検出し、提示音像が空間上の所定の方向から聞こえるよう、演算処理を行う。

従来技術では提示する音像の音源は点音源として扱われるため、音源の位置は必ず空間上の一点に固定される。しかしながら、人間が音像の３次元方向を認識する場合、認識の容易さは方向により差がある。

一般に、音源位置が人間の左右方向に存在する場合には方向認識が容易となり、音源位置が人間の正中面（身体を左右に等分する平面）に存在する場合には方向認識が難しくなる。すなわち、音像が人間の正面〜真上〜真後ろ〜真下の方向から発せられる場合には、音像の方向認識性が低下してしまう。方向認識性の低い方向からの音はすぐに方向を認識することはできず、日常生活において我々は、意識する・しないに関わらず、頭部を動かして耳に対する音源の方向を相対的に変化させることにより、方向認識性を向上させている。

従来の３次元音像処理においても方向認識性の低い方向からの音の認識は困難であり、さらに、聴取者がヘッドホン等で３次元音像を聴取している場合には、ヘッドホンから音像を聴取していることに意識が集中する結果、頭部が静止する傾向が強まり、方向認識性が低くなってしまう。

本発明は、上記のような従来技術の問題をなくし、聴取者が提示音像信号の方向を探すために頭部を動かすことなく、方向感覚の直感的な理解を向上させる音像提示方法および音像提示装置を実現することを目的としたものである。

上記のような目的を達成するために、本発明の請求項１では、提示音像情報と、提示音像位置情報または提示音像方向情報と、聴取者の頭部の位置および方向の情報とから、聴取者に対して３次元の提示音像を生成し提供する音像提示方法において、
前記提示音像とともに参照音像を併せて聴取者に提示することを特徴とする。

請求項２では、請求項１に記載の音像提示方法において、前記参照音像は、その提示位置が聴取者に既知の音像であることを特徴とする。

請求項３では、請求項１または２に記載の音像提示方法において、前記参照音像は、聴取者に対する提示位置が固定されていることを特徴とする。

請求項４では、請求項１乃至３のいずれかに記載の音像提示方法において、前記参照音像は、聴取者が認識しやすい方向から聴取者に提示されることを特徴とする。

請求項５では、請求項１乃至４のいずれかに記載の音像提示方法において、前記参照音像は、音像の種類や音量を任意に設定可能であることを特徴とする。

請求項６では、請求項１乃至５のいずれかに記載の音像提示方法において、前記参照音像は、提示音像の有無にかかわらず常時提示されることを特徴とする。

請求項７では、提示音像情報と、提示音像位置情報または提示音像方向情報と、聴取者の頭部の位置および方向の情報を基に、聴取者の周囲の一の固定点を仮想音源として提示音像を再生する３次元提示音像処理部とを備え、聴取者に対して３次元の音像を生成し提供する音像提示装置において、
参照音像情報と、参照音像位置情報または参照音像方向情報と、前記聴取者の頭部の位置および方向の情報を基に、聴取者の周囲の一の固定点を仮想音源として参照音像を再生する３次元参照音像処理部を有することを特徴とする。

請求項８では、請求項７に記載の音像提示装置において、前記３次元参照音像処理部は、その提示位置が聴取者に既知である音像を再生することを特徴とする。

請求項９では、請求項７または８に記載の音像提示装置において、前記３次元参照音像処理部は、聴取者に対する提示位置を固定して参照音像を再生することを特徴とする。

請求項１０では、請求項７乃至９のいずれかに記載の音像提示装置において、前記３次元参照音像処理部は、聴取者が認識しやすい方向から参照音像を聴取者に再生することを特徴とする。

請求項１１では、請求項７乃至１０のいずれかに記載の音像提示装置において、前記３次元参照音像処理部は、参照音像の種類や再生音量を任意に設定可能とすることを特徴とする。

請求項１２では、請求項７乃至１１のいずれかに記載の音像提示装置において、前記３次元参照音像処理部は、前記３次元提示音像処理部の出力にかかわらず常時参照音像を再生することを特徴とする。

このように、提示音像の再生と併せて参照音像を提供することによって、聴取者が提示音像信号の方向を探すために頭部を動かすことなく、方向感覚の直感的な理解を向上させる音像提示方法および音像提示装置を実現することができる。

また、請求項２および請求項８のように、提示位置を聴取者が分かっている音像を参照音像として再生すれば、聴取者はその参照音像を方向認識の手がかりとしてより容易に提示音像の方向認識を行うことができる。

請求項３および請求項９によれば、参照音像の聴取者に対する提示位置が固定されているため、聴取者は参照音像を方向認識の基準としてより容易に提示音像の方向認識を行うことができる。
また、請求項４および請求項１０のように、参照音像を聴取者が認識しやすい方向、たとえば聴取者の左右方向などから提示すれば、聴取者はより容易に参照音像を方向認識の基準とすることができる。

請求項５および請求項１１によれば、音像の種類や音量が任意に設定可能であるため、参照音像の提示にバリエーションを持たせることができるとともに、聴取者の耳の個人差にも対応することができる。
なお、参照音像は提示音像の再生のある場合にのみ提示してもよいし、請求項６および請求項１２のように提示音像の有無にかかわらず常時提示するようにしてもよい。

以下、図面を用いて本発明の音像提示方法および音像提示装置を説明する。

図１は本発明による音像提示方法および装置の実施例を示す構成図であり、図４の従来例で示した構成に、参照音像信号源５、参照位置指定部６、参照音像信号の３次元処理を行う３次元参照音像処理部７、３次元提示音像および３次元参照音像の合成を行う合成部８を追加した構成となっている。
なお、提示音像信号としては警報等や通話など方向認識が必要な音像が考えられ、方向を知らせるべき新たな事象が発生したときにその方向から聴取者に提示される。

参照音像信号源５は、参照音像として３次元音像化する音像をモノラル信号で準備する。参照音像の種類や音量は任意に設定可能な構成にする。

参照位置指定部６は、聴取者に提示する参照音像の音源を指定する方位データ（ＡＺｒ，ＥＬｒ）または座標データ（Ｘｒ，Ｙｒ，Ｚｒ）を３次元参照音像処理部７に出力する。なお、添え字ｒは参照音像を意味するものとする。
参照位置は任意に設定可能な構成とし、設定された参照位置の情報をあらかじめ聴取者に与えたり、あるいは聴取者に自ら設定させるなどして、聴取者に参照位置が既知となるようにする。なお、参照位置は聴取者の左右方向（たとえば左斜め後ろ下）など、聴取者が認識しやすい方向に設定するのが望ましい。また、一旦参照位置を設定した後は再度設定されるまで参照位置が固定されるようにする。

３次元参照音像処理部７では、参照音像の参照位置と聴取者頭部の位置から、参照音像信号の３次元化処理を行う。参照位置指定部６の出力から、頭部伝達関数等を用いたアルゴリズムにより、モノラルの参照音像信号から右耳用および左耳用の参照音像を生成する。このとき、音像出力部９から聴取者に提示する参照音像の位置は、聴取者頭部位置検出部２の出力を考慮して決定する。すなわち、３次元提示音像処理部４の処理と同様に、聴取者が頭を動かした場合は、頭部方向をヘッドトラッカなどの手段により検出し、参照音像が空間上の所定の方向から聞こえるよう、演算処理を行う。

３次元提示音像処理部４および３次元参照音像処理部７からは、それぞれ左耳用および右耳用の提示音像および参照音像が合成部８に入力される。合成部８では、入力された左耳用および右耳用の提示音像と参照音像をそれぞれ合成し、音像出力部９へ出力する。

図２は、聴取者と提示音像と参照音像の位置関係の一例を示す図である。１０は提示音像の仮想音源位置であり、方位（ＡＺｓ，ＥＬｓ）または座標（Ｘｓ，Ｙｓ，Ｚｓ）の地点から聴取者に対し提示音像を提示する。１１は参照音像の仮想音源位置であり、方位（ＡＺｒ，ＥＬｒ）または座標（Ｘｒ，Ｙｒ，Ｚｒ）の地点から聴取者に対し参照音像を提示する。

人間の提示音像に対する方向認識性能は音源の方向や個人差により異なるが、提示音像の提示の際に音源の方向（ＡＺｒ，ＥＬｒ）や座標（Ｘｒ，Ｙｒ，Ｚｒ）が分かっている参照音像があると、この参照音像との相対比較により、提示音像の方位（ＡＺｓ，ＥＬｓ）や位置（Ｘｓ，Ｙｓ，Ｚｓ）を認識しやすくなる。提示音像と併せてあらかじめ方向や位置の分かっている参照音像を提示することにより、聴取者は参照音像を方向認識の基準あるいは手がかりとすることができ、提示音像の方向認識性を向上させることができる。

なお、参照音像は提示音像の再生のある場合にのみ提示してもよいし、提示音像の有無にかかわらず背景音として常時出力するようにしてもよい。この場合には背景音に音楽等の利用も考えられる。

図１は本発明の音像提示装置の構成例を示す図。 図２は本発明の音像提示装置における、聴取者と提示音像と参照音像の位置関係の一例を示す図。 図３は従来例の音像提示装置における聴取者と提示音像の位置関係を示す図。 図４は従来例の音像提示装置の構成例を示す図。

符号の説明

１ 提示音像信号源
２ 聴取者頭部位置検出部
３ 提示位置指定部
４ ３次元提示音像処理部
５ 参照音像信号源
６ 参照位置指定部
７ ３次元参照音像処理部
８ 合成部
９ 音像出力部
１０ 提示音像位置
１１ 参照音像位置

Claims (12)

1. 提示音像情報と、提示音像位置情報または提示音像方向情報と、聴取者の頭部の位置および方向の情報とから、聴取者に対して３次元の提示音像を生成し提供する音像提示方法において、
   前記提示音像とともに参照音像を併せて聴取者に提示することを特徴とする音像提示方法。
2. 前記参照音像は、その提示位置が聴取者に既知の音像であることを特徴とする請求項１に記載の音像提示方法。
3. 前記参照音像は、聴取者に対する提示位置が固定されていることを特徴とする請求項１または２に記載の音像提示方法。
4. 前記参照音像は、聴取者が認識しやすい方向から聴取者に提示されることを特徴とする請求項１乃至３のいずれかに記載の音像提示方法。
5. 前記参照音像は、音像の種類や音量を任意に設定可能であることを特徴とする請求項１乃至４のいずれかに記載の音像提示方法。
6. 前記参照音像は、提示音像の有無にかかわらず常時提示されることを特徴とする請求項１乃至５のいずれかに記載の音像提示方法。
7. 提示音像情報と、提示音像位置情報または提示音像方向情報と、聴取者の頭部の位置および方向の情報を基に、聴取者の周囲の一の固定点を仮想音源として提示音像を再生する３次元提示音像処理部とを備え、聴取者に対して３次元の音像を生成し提供する音像提示装置において、
   参照音像情報と、参照音像位置情報または参照音像方向情報と、前記聴取者の頭部の位置および方向の情報を基に、聴取者の周囲の一の固定点を仮想音源として参照音像を再生する３次元参照音像処理部を有することを特徴とする音像提示装置。
8. 前記３次元参照音像処理部は、その提示位置が聴取者に既知である音像を再生することを特徴とする請求項７に記載の音像提示装置。
9. 前記３次元参照音像処理部は、聴取者に対する提示位置を固定して参照音像を再生することを特徴とする請求項７または８に記載の音像提示装置。
10. 前記３次元参照音像処理部は、聴取者が認識しやすい方向から参照音像を聴取者に再生することを特徴とする請求項７乃至９のいずれかに記載の音像提示装置。
11. 前記３次元参照音像処理部は、参照音像の種類や再生音量を任意に設定可能とすることを特徴とする請求項７乃至１０のいずれかに記載の音像提示装置。
12. 前記３次元参照音像処理部は、前記３次元提示音像処理部の出力にかかわらず常時参照音像を再生することを特徴とする請求項７乃至１１のいずれかに記載の音像提示装置。
    

Images