JP2006222801A

JP2006222801A - 移動音像提示装置

Info

Publication number: JP2006222801A
Application number: JP2005035047A
Authority: JP
Inventors: Hiroshi Abe; 洋阿部; Yoichi Suzuki; 陽一鈴木; Yukio Iwatani; 幸雄岩谷; Masashi Toyoda; 将志豊田; Shigenori Kawai; 滋典川合; Hisashi Komatsu; 寿小松; Keiki Hatakeyama; 慶輝畠山
Original assignee: Tohoku University NUC; Tsuken Electric Industrial Co Ltd; Oi Electric Co Ltd; P Softhouse Co Ltd; NEC Tokin Corp
Current assignee: Tohoku University NUC; Tokin Corp; Tsuken Electric Industrial Co Ltd; Oi Electric Co Ltd; P Softhouse Co Ltd
Priority date: 2005-02-10
Filing date: 2005-02-10
Publication date: 2006-08-24

Abstract

【課題】刻々と移り変わる位置情報のみを与えれば、ドップラー効果を含む演出効果が得られ、現実感・定位感の良い移動音像提示装置を提供する。
【解決手段】頭部伝達関数を初期遅延と主応答に分離し、遅延についてはドップラー効果と共に処理をし、スペクトル成分は主応答部分で後からレンダリングをするようにしてドップラー効果を付加したので、レンダリング方法がより物理現象に近く（アプリケーション作成者に使用しやすく）、現実感がよいという効果が得られる。また、個人別により一致した頭部伝達関数を選択して使用することで、不特定多数の聴取者に対して現実感・定位感の良い移動音像を提示できるという効果が得られる。
【選択図】図１

Description

本発明は、三次元空間内で刻々と位置が変化する音像をパラメータ（音源・聴取者の位置情報,モノラル音源）と頭部伝達インパルス応答（HRIR：Head Related Impulse Response 以後HRIRと記す）より演算処理を施し、聴取者に対して仮想現実的に移動音像を提示する移動音像提示装置の構成に関する。

三次元空間内で発せられた音は、反射、回折を始めとする様々な物理現象を経て最終的に両耳に届く。このような現象を聴衆者に擬似的に知覚させるには、原音を演出（レンダリング）を加える必要がある。

考え得るレンダリングの種類は音源位置情報、初期反射音、後部残響音、回折音、ドップラー効果などがあるが、特に音がその位置を動的に変化させる場合、特に位置情報とドップラー効果が重要である。

音源の位置をレンダリングするには、主に頭部伝達関数合成法が用いられている。このような技術は、例えば特許文献１に開示されている。特許文献１では、あらかじめ複数の位置で観測しておいた頭部音響伝達関数を用い、頭部音響伝達関数を近似するディジタルフィルターに距離減衰を加えることで任意の位置に音像を定位させる方法が示されている。しかしこの方法ではドップラー効果を得られないため、音像の定位感や現実感が十分ではない。

従来の移動音像提示装置でのドップラー効果を伴う位置移動のレンダリングでは、予め周波数を必要なだけ上下にシフトさせた上で、位置を付加させるように二段でレンダリングさせている。

特開平８−２６５９００号公報

このように従来の技術では、距離に応じた音圧減衰で音像定位を行うため、実世界で存在する音源・聴取者の相対位置移動に伴うドップラー効果が考慮されておらず、現実感が足りないという問題があった。また、予め周波数をシフトさせる方法ではレンダリングが二段になるため物理現象との整合性が薄く、使用者及びアプリケーション開発者に煩雑な作業を要求するために使用しにくいという問題があった。

また、頭部伝達関数は聴取者ごとに異なるため、予め実測した頭部伝達関数と聴取者の頭部伝達関数が異なると、音像の現実感・定位感が失われ、不特定多数の聴取者が使用するには難しいという問題がある。

本発明は、位置情報のみを刻々と与えれば、位置情報とドップラー効果の両方が付加され、さらに個人間で異なる頭部伝達関数をより一致させることで、音像の現実感・定位感のよい移動音源提示装置を提供することを目的としている。

本発明によれば、空間内の多数の点で測定したHRIRを記憶するHRIR記憶手段と、前記HRIRより遅延を取り除く遅延無HRTF演算手段と、前記遅延無しHRTF演算手段により計算されたHRIRを記憶するHRIR記憶手段と、両耳それぞれに生じるドップラー効果を演算する両耳到達波面算出手段と、畳み込み演算手段と、アプリケーション・聴取者との時間差を調整するパラメータ補間手段を具備し、音源・聴取者の位置・頭部の角度及びドップラー効果による両耳に到達する音波面の精密な模擬を行うことによって、聴取者に仮想現実的な三次元音像を提示することを特徴とした移動音像提示装置が得られる。

また本発明の遅延無HRIR演算手段は、空間内の多数の点で測定したHRIRを記憶するHRIR記憶手段と、アップサンプリング手段と、HRIRの二つのペアに対して相互相関係数を演算し、その値が最大になるように片方のHRIRを遅延させるHRIR遅延手段と、一連の遅延処理を前記HRIR記憶手段に記憶している全HRIRに施した後、全てのHRIRから同一量の遅延を除去する遅延除去手段と、使用するサンプリング周波数に戻すためのダウンサンプリング手段から構成されることを特徴とする、遅延成分を取り除いたHRIRの算出方法及びHRIT算出手段を提供する。

また本発明の両耳到達波面算出手段は、頭部の回折を考慮した伝達距離算出手段と、左右の伝達距離算出手段より算出された距離に対しアプリケーションによるパラメータ更新までにパラメータ補間を行い、毎補間ごとの距離差を補間間隔で除し左右それぞれの耳に到達する音の相対速度を算出する相対速度算出手段と、算出した相対速度から遅延線の音サンプル読み出し位置を決定する遅延時間成長率の算出手段と、遅延線からの音サンプル読み込みの際のポインタ補間手段と、伝達距離に応じた音の減衰を表現する距離減衰付加手段から構成され、遅延線からの音サンプル読み込み位置を遅延時間成長率に従い刻々と変化させることで、両耳に到達する波面を模擬し、両耳間時間差と両耳それぞれのドップラー効果の付加を可能にしたことを特徴とする移動音像提示装置を提供する。

また本発明のHRIR記憶手段は、複数の人間から採取したHRIR情報を記憶してあり、HRIR選択手段によって聴取者個人により適合したHRIRを選択して使用することを特徴とした移動音像提示装置を提供する。

また本発明のHRIR選択手段は、複数のHRTFより特定の軌道を持った仮想的な移動音像を作成し、あらかじめ聴取者に作成した移動音像の軌道を教示した上で二つの移動音源提示し、どちらの移動音源が教示した軌道と一致するかをトーナメント方式で次々に行い、聴取者個人に一番合致したHRTFを選択することによって、HRTFを個人化し、より定位感の高い三次元音像の提示を特徴とした移動音像提示装置を提供する。

本発明によれば、頭部伝達関数を初期遅延と主応答に分離し、遅延についてはドップラー効果と共に処理をし、スペクトル成分は主応答部分で後からレンダリングをするようにしてドップラー効果を付加したので、レンダリング方法がより物理現象に近く（アプリケーション作成者に使用しやすく）、現実感がよいという効果が得られる。また、個人別により一致した頭部伝達関数を選択して使用することで、不特定多数の聴取者に対して提示する移動音像の現実感・定位感が向上するという効果が得られる。

以下、本発明の実施の形態について図面を参照しながら説明する。

図１は本発明の実施の形態による移動音源提示装置の概略構成を示すブロック図である。図１を参照すると、移動音源提示装置３００はアプリケーション１００からの情報（音源位置１０１,聴取者位置１０２,モノラル音源データ１０３）を受け取って、それに基づいて演出（レンダリング）を施し、聴取者に装着されたヘッドホン２００に伝達することで、聴取者に仮想現実的な音像を提示するものである。

図１の移動音源提示装置３００は、空間内の多数の点で測定したHRIRを記憶するHRIR記憶手段１と、聴視者に一番適合した個人化HRIRを選択する個人化HRIR選択手段２と、前記HRIRより遅延を取り除く遅延無HRTF演算手段３と、前記遅延無しHRTF演算手段３により計算されたHRIRを記憶する遅延無HRIR記憶手段４と、両耳それぞれに生じるドップラー効果を演算する両耳到達波面算出手段５と、畳み込み演算手段７と、アプリケーション・聴取者との時間差を調整するパラメータ補間手段６とから構成されている。

図２は本発明における遅延無HRIR演算手段３の詳細を説明するための構成図である。

図２において、本発明における個人化HRIR選択手段２は、すでに選択したものとして省略して記す。

HRIR記憶手段１に予め空間内の多数の点で測定して記憶し、HRIR選択手段２で選択したHRIRは、アップサンプリング手段３ａにおいて８倍のアップサンプリングが施される。この状態で、二つのHRIRに対して相互相関係数検査手段３ｂで相互相関関数を演算し、その値が最大になるように片方のHRIRをHRIR遅延手段３ｃで遅延させる。一連の遅延処理を前記HRIR記憶手段に記憶している全HRIRに施した後、初期遅延除去手段３ｄで全てのHRIRから同一量の遅延を除去する。

なお、本実施例では８倍アップサンプリングとしたが、それ以外の数値も選択できる。

図１の両耳到達波面計算手段５における伝達距離算出手段５ａは、音源より発せられた音波が聴取者の両耳を通るまでに辿る経路を考えた算出手段である。本発明では図４のように２つの場合に分けた算出を行う。図４（ａ）のように、音源から球状を仮定した頭部に引いた接線の接点位置が両耳を結んだ直線（以後、耳軸と記す）をまたがない位置に存在する場合、音源から接点までの直線距離と接点から耳までの曲線距離を伝達距離とする。この場合、右耳への伝達距離は図中のＲ₁＋Ｒ₂、左耳への伝達距離はＬ₁＋Ｌ₂となる。これに対し図４（ｂ）のように、接点が耳軸をまたいだ位置に存在する場合、片方の耳までの伝達距離は音源との直線距離により算出し、他方の耳は、前記と同様に音源と接点までの直線距離と接点から耳までの曲線距離により算出する。この場合、音源側の耳の到達距離は図中のＤ₁、音源に対して影になる側の耳への到達距離はＳ₁＋Ｓ₂となる。以上のように、本発明の実施例における移動音像提示装置の伝達距離算出手段は、単に音源と耳との直線距離を考えるのみでなく、回折を考慮した算出手法としている。

相対速度算出手段５ｂは、前記伝達距離算出手段に示したように、回折経路を考慮したものにする必要がある。最も単純な算出手段として、音源及び聴取者の速度ベクトルを両耳方向に分解する方法があるが、この方法は、相対速度が音源から両耳への直線経路に依存したものとなる。そこで、本発明の移動音像提示装置では、微少時間における相対位置の変化に基づき相対速度を算出する。相対速度をν_r、ある時間における一方の耳と音源との経路距離をγ_n、次の時刻における距離をγ_n+1とすると、補間間隔Δt時間における相対速度を次の数１式によって算出する。

この方法により、相対速度は回折経路を考慮したものになる。

遅延線５ｄ１は、両耳に到達する音サンプルの読み出しをそれぞれの耳に対し独立に行うために用意する。アプリケーション１００より得た音源サンプル１０３は単位時間あたりに１サンプルずつ左右の遅延線５ｄ１に入れる。これに対し遅延線５ｄ１から音サンプルを読み出す際は、前記の相対速度算出手段５ｂから伝達経路を考慮した相対速度を算出し、遅延時間成長率を算出し、音サンプル読み込み位置を動的に変化させ、ある時刻における両耳への到達音サンプルを算出する。

前記のように、遅延線からの音サンプル読み出し位置の制御に遅延時間成長率を使用する。遅延時間成長率は、音源の速度をν_sl、聴取者の速度をν_lsとし、次の数２式
により算出する。この遅延時間成長率を用いて、単位時間あたりに読み出し位置を次の数２−１式
ずつインクリメントすることにより、両耳到達音波の模擬が可能になる。

ポインタ補間手段５ｄ２は、遅延線５ｄ１上の読み出し位置が、整数値の遅延線インデックスを示していない場合に用いる。読み込み位置が整数インデックスを示す場合は、そのインデックスに格納されている音サンプル値を出力する。整数インデックスを示さない場合の補間は、ラグランジェ補間により、読み出し位置に対応する音サンプル値の算出を行う。ラグランジェ補間は、曲線の関数上の点を補間する方法であり、ｎ＋１点の座標（ｘ₀，ｙ₀）〜（ｘ_n，ｙ_n）が与えられたとき、このｎ＋１を通るｎ次多項式を次の数３式により算出する。

本装置では、前後それぞれ２サンプルずつのデータから３次の補間多項式を用いて所望の音サンプル値を算出する。

距離減衰付加手段５ｅは、前記の手段を用いて求めた出力サンプルに対し、伝達距離に応じた音の減衰を付加する手段を指す。本装置では、無限大バフル内の振動体を仮定し、音源と各耳との距離をρ、音源の半径をσとし、次の数４式
による減衰量を音サンプルに対し加える。

以上の構成要素により移動音像提示装置は構成される。本装置を用いて、シミュレーションを行った結果を示す。シミュレーションの条件は、
・音源：４kHzを中心周波数とするオクターブバンドノイズ
・軌道：前方５０m，左１.５mの方向から，後方に直線移動
・速度：１cm/ms （約時速３６km）
・HRIR：ダミーヘッドを用いて録音されたもの
である。時間と周波数の関係として、音源のスペクトログラムを図４に、装置の左出力のスペクトログラムを図５に示す。

図５が４kHzを中心としたオクターブバンド帯域における成分が定常的に優勢であるのに対し、図６では、時間によって、優勢な帯域が変化している。これにより、ドップラー効果が付加されていることが分かる。

また、時間と音源位置との関係を調べるために、横軸を時間、縦軸を頭部中心からの音源角度として、時間と音源角度の関係を調べた。音源角度は、出力音の両耳間レベル差（ILD：Interaural Level Difference，以後ILDとする）とHRIRにおけるILDとの対応を調べることによって算出した。この結果を図７に示す。

この音源角度は、正面方向を０度とし、半時計回りで増加する。図７を見ると、左前方から左後方に移動する軌道に応じた音源角度の変化をしていることがわかる。

以上の結果から、本発明の実施例における移動音像提示装置は、位置とドップラー効果の同時模擬を実現していることがわかる。

図３は本発明の一実施例におけるHRTF個人化手段２の具体的な音像提示位置を示す概念図である。

HRTF個人化は下記の手順によって行う。
（１）予め複数の人間（本実施例では１６人）からHRTFを計測して用意しておく。
（２）上記複数のHRTFを用いて、図３ｂに示される矢状面の軌道を持った仮想的な移動音像を作成する。
（３）聴取者に作成した移動音像の軌道を教示する。
（４）聴取者に二つずつ移動音像を提示し、どちらの音像があらかじめ教示した音像の軌道とイメージが合致していたかを比較・選択させる。
（５）この比較をトーナメント方式で行い、最終的に成績が良かったHRTFを決定し選択する。

移動音像の軌道は、図３（ａ）に示されるような水平面に提示すると、左右の時間差のみで正確にHRTFの結果を反映し難いので、図３（ｂ）のような矢状面が望ましい。

（５）の手順で用いるトーナメントは、スイス式トーナメントを絞り込みに使用することでより厳密に個人化を行うことができるだけでなく、第二の候補や第三の候補となる聴覚ディスプレイの個人化ＨＲＴＦを求めることができる。

予め用意する音像の数は複数で多いほど良いが、トーナメントの性格上２の倍数または２の乗数がのぞましい。本実施例では初めに３２個のHRTFを１６組にわけ、それぞれどちらのHRTFを用いた場合の定位感が良いかを選択する。定位感の良いほうは一勝を獲得し悪いほうは一敗となる。次に同じ勝ち数のHRTF同士で１６組をつくり選択する。

無敗のHRTFが１つになるまでこれを繰り返す。

このスイス式トーナメントを使用すれば、本来優秀な（より個人に合致した）HRTFが、早い段階で敗退して選択されないことを避けることができる。

図８は、本発明による移動音像提示装置を、音空間訓練装置に適用した例である。

聴取者に取り付けられる位置センサ付ヘッドホンと、同様に位置センサを具備したハンマー型コントローラと、移動音像提示装置からなる。

移動音像提示装置では、音空間訓練アプリケーションにより指定された位置とヘッドホンに具備された位置センサによる頭部姿勢情報から仮想的な移動音像を提示する。

聴取者は、提示された音像の場所をコントローラで指し示す。

指し示す位置は、コントローラに具備された位置センサにより検出され、指し示した位置と提示音像の位置が同一だった場合には得点とする。

このようなアプリケーションを用いることで、提示された移動音像を正確に把握して指し示す訓練を行うことができる。

本発明に係る音源提示装置は、視覚障害者に三次元的な音像を提示して、音の位置を認識する訓練をおこなう訓練装置や、三次元的に提示される音像を操縦する娯楽機器等の様々な分野に適用できる。

また本発明によって製造された移動音像提示装置は高精度聴覚ディスプレイとして広く用いることが出来る。

本発明による移動音像提示装置の一実施例を示すブロック図である。本発明の一実施例における移動音像提示装置の、遅延HRIR算出手段の詳細構成を示すブロック図である。本発明の一実施例における移動音像提示装置の、個人化HRIR選択手段において、聴視者に提示する音像の軌道を示す図である。本発明の一実施例における移動音像提示装置において、両耳までの伝達距離の算出手段を説明する概念図である。本発明の移動音像提示装置の効果を説明するための音源のスペクトログラムを示す図である。本発明の移動音像提示装置の効果を説明するための装置出力音のスペクトログラムを示す図である。本発明の移動音像提示装置の効果を説明するための時間と音源角度との関係を示す図である。本発明の移動音像提示装置の一実施例を訓練装置に応用したときの一実施例を示す図である。

符号の説明

１ HRIR記憶手段
２個人化HRIR選択手段
３遅延無HRIR算出手段
４遅延無HRIR記憶手段
５両耳到達差波面算出手段
５ａ伝達距離算出手段
５ｂ相対速度算出手段
５ｃ遅延時間成長率算出手段
５ｄ時変遅延回路
５ｄ１遅延線
５ｄ２ポインタ補間手段
５ｅ距離減衰付加手段
６ａパラメータ補間手段
６ｂパラメータ補間手段
７畳み込み演算手段
１００アプリケーション
１０１音源位置
１０２聴取者位置
１０３モノラル音源データ
２００ヘッドホン
３００移動音像提示装置

Claims

三次元空間内で刻々と位置が変化する音像をパラメータ（音源・聴取者の位置情報,モノラル音源）と頭部伝達インパルス応答（HRIR：Head Related Impulse Response 以後HRIRと記す）より演算処理を施し聴取者に対して提示する移動音像提示装置において、
空間内の多数の点で測定したHRIRを記憶するHRIR記憶手段と、前記HRIRより遅延を取り除く遅延無HRTF演算手段と、前記遅延無しHRTF演算手段により計算されたHRIRを記憶するHRIR記憶手段と、両耳それぞれに生じるドップラー効果を演算する両耳到達波面算出手段と、畳み込み演算手段と、アプリケーション・聴取者との時間差を調整するパラメータ補間手段を具備し、音源・聴取者の位置・頭部の角度及びドップラー効果による両耳に到達する音波面の精密な模擬を行うことによって、聴取者に仮想現実的な三次元音像を提示することを特徴とした移動音像提示装置。
前記請求項１記載の遅延無HRIR演算手段は、空間内の多数の点で測定したHRIRを記憶するHRIR記憶手段と、アップサンプリング手段と、HRIRの二つのペアに対して相互相関係数を演算し、その値が最大になるように片方のHRIRを遅延させるHRIR遅延手段と、一連の遅延処理を前記HRIR記憶手段に記憶している全HRIRに施した後、全てのHRIRから同一量の遅延を除去する遅延除去手段と、使用するサンプリング周波数に戻すためのダウンサンプリング手段から構成されることを特徴とする、遅延成分を取り除いたHRIRの算出方法及びHRIR算出手段。
前記請求項１の両耳到達波面算出手段は、頭部の回折を考慮した伝達距離算出手段と、左右の伝達距離算出手段より算出された距離に対しアプリケーションによるパラメータ更新までにパラメータ補間を行い、毎補間ごとの距離差を補間間隔で除し左右それぞれの耳に到達する音の相対速度を算出する相対速度算出手段と、算出した相対速度から遅延線の音サンプル読み出し位置を決定する遅延時間成長率の算出手段と、遅延線からの音サンプル読み込みの際のポインタ補間手段と、伝達距離に応じた音の減衰を表現する距離減衰付加手段から構成され、遅延線からの音サンプル読み込み位置を遅延時間成長率に従い刻々と変化させることで、両耳に到達する波面を模擬し、両耳間時間差と両耳それぞれのドップラー効果の付加を可能にしたことを特徴とする移動音像提示装置。
前記請求項１のHRIR記憶手段は、複数の人間から採取したHRIR情報を記憶してあり、HRIR選択手段によって聴取者個人により適合したHRIRを選択して使用することを特徴とした移動音像提示装置。
前記請求項４のHRIR選択手段は、複数のHRTFより特定の軌道を持った仮想的な移動音源を作成し、あらかじめ聴取者に作成した移動音像の軌道を教示した上で二つの移動音源提示し、どちらの移動音源が教示した軌道と一致するかをトーナメント方式で次々に行い、聴取者個人に一番合致したHRTFを選択することによって、HRTFを個人化し、より定位感の良い三次元音像を提示できるようにした特徴とした移動音像提示装置。