JP2006174052A

JP2006174052A - 音像提示方法、音像提示装置、音像提示プログラム、及びこれを記録した記録媒体

Info

Publication number: JP2006174052A
Application number: JP2004363280A
Authority: JP
Inventors: Takashi Uematsu; 尚植松; Yoichi Haneda; 陽一羽田; Akitoshi Kataoka; 章俊片岡
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2004-12-15
Filing date: 2004-12-15
Publication date: 2006-06-29

Abstract

【課題】頭部伝達関数を用いて音像位置を定位し、音像位置を移動させる音像提示方法において、音の不連続正を発生させずに音像の位置を移動させる。
【解決手段】頭部伝達関数を入力信号に畳み込むことで音像を任意の位置に知覚させる手法において、空間内のＭ個の位置における頭部伝達関数を既知とし、このＭ個の頭部伝達関数それぞれに畳み込まれる入力信号の振幅を変化させた後にそれぞれの位置における頭部伝達関数を畳み込み、畳み込み済のＭ個の信号を合成して出力する。音像を移動させる場合は移動開始位置と移動終了位置を定位するための頭部伝達関数畳み込み手段に入力する入力信号の振幅を互いに差動的に変化させ、２点間の信号の振幅差に応じて音像位置を移動させる。
【選択図】図１

Description

本発明は、オーディオ信号を再生する音響機器、通信機器にあって、特にスピーカの位置に依らずに任意の位置に音像を提示させる音像提示方法及び音像の位置を移動させる音像提示方法、これらの装置、プログラム及びこれらのプログラムを記録した記録媒体に関する。

音がヘッドホンから出ているかスピーカから出ているか、あるいはスピーカの設置位置に関わらず、あたかも目の前にスピーカがあり、そのスピーカから出ているような聞こえを作り出すことができれば、リアルな音空間を手軽に創出することが可能となる。一般的には音源から耳元までのインパルス応答（頭部伝達関数）を音源で発生した信号に畳み込んだ後に聴取者に提示することで、あたかもその音源が実際には存在しない位置にあるような知覚を作り出す手法が多く用いられる。さらにこの場合、頭部伝達関数はディジタルフィルタで近似され、これと離散化された入力信号とが畳み込まれた後にＤ／Ａ変換されて音として提示されることが多い。このような場合、一つの頭部伝達関数を用いる場合、すなわち、ある一点にある音源を仮想的に提示する場合には、比較的良好にその位置にある音像を聴取者に知覚させることが可能である。

一方、動く音源に対する場合は、ある時刻間隔ごとにその音源が位置する場所からの頭部伝達関数を切り替えて畳み込むことで、その時刻間隔ごとに場所が変わる音場を作りだすこととなる（非特許文献１）。
この場合、頭部伝達関数を切り替えるごとにＤ／Ａ変換された音の波形に不連続が生じ、その不連続が音の自然性に大きく影響を及ぼすこととなる。また、より滑らかな動きを実現するためには、短い時間間隔で頻繁に頭部伝達関数を切り替える方法が考えられるが、この場合波形の不連続はより大きくなるとともに、多数の場所における頭部伝達関数を測定する必要があり、滑らかな動きをもつ音像を作りだすことは容易ではない。さらに、ある頭部伝達関数の畳み込み期間中にある時間から頭部伝達関数を切り替えて畳み込みが始められた場合は、前頭部伝達関数がもつ残響成分に相当する部分が畳み込まれなくなり、これも再生される音の自然性を損なう原因となる。これらの問題を解決するために、頭部伝達関数の切り替え時に波形の不連続を小さくする手法（非特許文献２）や、測定された２点の頭部伝達関数を用いて、その間の各点における頭部伝達関数を補完により作りだす手法（非特許文献３）などが報告されている。
Wightman, et al., "Resolution of front-back amibiguity in spatial hearing by listener and source movement," J.Acoust. Soc.Am., vol.105,No,5,May 1999 「水平面上の頭部伝達関数の補間」、日本音響学会誌55巻2号(1999),PP.91-99 「音質に着目した伝達関数切替法の一検討」、日本音響学会講演論文集、２００４年３月、PP.641-642

上述した頭部伝達関数の切り替え時に発生する波形の不連続を小さくする手法（非特許文献３）は、これを用いない場合に比べ波形の不連続は小さくなるものの、完全に無くすことはできない。また、頭部伝達関数を補間する方法（非特許文献２）は、少ない点数の頭部伝達関数だけを用いれば良くなる利点はあるが、これらを切り替える際の波形の不連続は相変わらず生じることとなり、結果として提示される音が不自然となる。
本発明の目的は、頭部伝達関数切り替え時に生じる波形の不連続を生じないようにすることで、提示される音の不自然さを解消する。また、頭部伝達関数を補間する方法と同程度の少ない点数の頭部伝達関数のみを用いた場合でも、従来の方法よりも自然で滑らかな音の動きを作りだす音像提示方法、及びこれを実現する装置を提供するものである。

本発明は頭部伝達関数を入力信号に畳み込むことで音像を任意の位置に知覚させる音像提示方法において、空間内のＭ個の位置における頭部伝達関数を既知のものとして、このＭ個の頭部伝達関数それぞれに畳みこまれる入力信号の振幅を変化させた後にそれぞれの位置における頭部伝達関数を畳み込み、これら畳み込み済みのＭ個の信号を合成して出力する。
本発明は更に前記音像提示方法において、Ｍ個の既知の位置以外の位置に音像を定位させる場合には、その最も近い少なくとも２個の位置における頭部伝達関数が畳み込まれる信号の振幅のみが０でない値を持ち、その他の頭部伝達関数が畳み込まれる信号の振幅が全て０となるように設定される。

本発明では更に前記音像提示方法の何れかにおいて、振幅が０でない値を持つ信号の振幅と、立ち上がり開始時間とを操作することで、既知の２点間における音像の位置を制御する。
本発明では更に空間内の任意の位置に音像を定位させるための頭部伝達関数を用いて音像を任意の位置から任意の位置に移動させる音像提示方法において、空間内のＭ個の位置における頭部伝達関数を既知のものとし、少なくとも移動を開始する位置と、移動を終了する位置を含むＮ（Ｎ≦Ｍ）個の頭部伝達関数を乗算する入力信号のそれぞれに対し、時間軸方向に振幅を差動的に変化させた後に、上記Ｎ個の頭部伝達関数を畳み込む。

本発明では更に前記音像提示方法において、頭部伝達関数の畳み込み演算は、少なくとも正の値の振幅を持つ信号の振幅が０になった時刻から頭部伝達関数のタップ長の残存分まで継続させる。
本発明の音像提示装置は空間内のＭ個における頭部伝達関数を既知のものとし、このＭ個の頭部伝達関数のそれぞれに畳み込まれる入力信号の振幅を変化させるＭ個の振幅乗算手段と、音像情報に基づいて上記Ｍ個の振幅乗算手段のそれぞれに、音像定位位置に対応した振幅値を与える振幅決定手段と、振幅乗算手段で振幅が乗算された信号のそれぞれに空間内のＭ個の位置に対応した頭部伝達関数を畳み込む頭部伝達関数畳み込み手段と、頭部伝達関数畳み込み手段で頭部伝達関数が畳み込まれた信号を合成して出力する加算手段とを備える。

本発明による音像提示装置は空間内のＭ個の位置における頭部伝達関数を既知のものとし、このＭ個の頭部伝達関数のそれぞれに畳み込まれる入力信号の振幅を変化させるＭ個の振幅乗算手段と、音像情報の移動開始指令に基づいてＭ個の振幅乗算手段の中の任意の１個に時間の経過と共に漸次減少する振幅を印加し、他の任意の１個に時間の経過と共に漸次増大する振幅を印加する振幅決定手段と、時間の経過と共に漸次減少する振幅が乗算された信号に音像の移動開始位置を定位するための頭部伝達関数を畳み込む第１頭部伝達関数畳み込み手段と、時間の経過と共に漸次増大する振幅が乗算された信号に音像の移動終了位置を定位するための頭部伝達関数を畳み込む第２頭部伝達関数畳み込み手段と、第１頭部伝達関数畳み込み手段及び第２頭部伝達関数畳み込み手段で頭部伝達関数が畳み込まれた信号を合成して出力する加算手段とを備える。

この発明によれば、頭部伝達関数を切替えて畳み込みを行なうものではないから、頭部伝達関数の切り替え時に生じる波形の不連続を生じないようにすることができ、提示される音の不自然さを解消することが可能となる。また、頭部伝達関数を補間する方法と同程度の少ない点数の頭部伝達関数のみを用いた場合でも、従来の方法よりも自然で滑らかな音の動きを作りだすことが可能となる。

本発明による音像提示装置はハードウェアによって構成することも可能であるが、望ましくはコンピュータが読み取り可能な記録媒体から音像定位プログラム或は移動音像提示プログラムをインストールし、コンピュータに音像提示装置として機能させる実施形態が最良である。
コンピュータに音像提示装置として機能させる場合、コンピュータには音像提示プログラムにより入力信号を空間内のＭ個の位置に対応したＭ（Ｍ≧２）個のチャネル信号に分岐させる信号分岐手段と、この信号分岐手段で分岐したＭ個のチャネル信号に振幅を掛けるＭ個の振幅乗算手段と、音像情報に基づいて上記Ｍ個の振幅乗算手段のそれぞれに、音像提示位置に対応した振幅値を与える振幅決定手段と、振幅乗算手段で振幅が乗算された信号のそれぞれに上記空間内のＭ個の位置に対応した頭部伝達関数を畳み込む頭部伝達関数畳み込み手段と、頭部伝達関数畳み込み手段で頭部伝達関数が畳み込まれた信号を合成して出力する加算手段とを構築する。

この発明による音像提示装置の構成によれば信号分岐手段は入力信号をＭ個のチャネルに分岐する。Ｍ個のチャネルには振幅乗算手段と頭部伝達関数畳み込み手段から成る縦続ユニットが設けられる。各縦続ユニットの各頭部伝達関数畳み込み手段には空間内のＭ個の位置に対応する頭部伝達関数が用意される。
信号分岐手段でＭチャネルの信号に分岐された入力信号の中の任意のチャネルの信号に０以外の振幅を持つ振幅を乗算し、その振幅が乗算された入力信号に頭部伝達関数畳み込み手段に用意した頭部伝達関数を畳み込むことにより、この頭部伝達関数で決まる位置に音像を定位することができる。

Ｍ個の位置以外の位置に音像を定位したい場合は、音像を定位したい位置に最も近いＭ個の位置の中の２位置を選択し、この２位置の頭部伝達関数を乗算するチャネル信号に時間窓を乗算し、２チャネルの信号を合成して出力し、合成した信号を音として再生することにより２点間の位置に音像を定位させることができる。時間窓の振幅のレベル差を任意に設定することにより２点間の任意の位置に音像を定位することができる。
コンピュータに本発明による移動音像を提示する音像提示装置として機能させる場合、コンピュータには音像提示プログラムにより入力信号をＭ（Ｍ≧２）個のチャネル信号に分岐させる信号分岐手段と、この信号分岐手段で分岐したＭ個のチャネル信号に振幅を掛けるＭ個の振幅乗算手段と、音像情報の移動開始指令に基づいて上記Ｍ個の振幅乗算手段の中の任意の１個のチャネル信号に時間の経過と共に漸次減少する振幅を乗算し、他の任意の１個に時間の経過と共に漸次増大する振幅を乗算する制御を行なう振幅決定手段と、漸次減小する振幅が乗算されたチャネル信号に音像の移動開始位置を定位するための頭部伝達関数を畳み込む第１伝達関数畳み込み手段と、漸次増大する振幅が乗算されたチャネル信号に音像の移動終了位置を定位するための頭部伝達関数を畳み込む第２頭部伝達関数畳み込み手段と、第１頭部伝達関数畳み込み手段及び第２頭部伝達関数畳み込み手段で頭部伝達関数が畳み込まれた信号を合成して出力する加算手段とを構築する。

この移動音像を提示する音像提示装置の構成によれば音像の移動開始位置を定位するチャネル信号に時間の経過と共に漸次低下する振幅を乗算し、音像の移動終了位置を定位するチャネル信号に時間の経過と共に漸次増大する振幅を乗算したから、音の音像位置はレベルの変化に従って移動する。この結果音像の移動開始位置から移動終了位置までの間において音像の位置を円滑に移動させることができる。

図１に本発明による音像提示装置として機能させることができる装置の構成概念図を示す。入力信号x(t)はＡ／Ｄ変換手段１１でディジタル信号に変換され、信号分岐手段１２に出力される。信号分岐手段１２はＡ／Ｄ変換手段１１でＡ／Ｄ変換されたディジタル信号をＭチャネルのチャネル信号X_１(n), X₂(n),…X_M(n)に分岐する。分岐された個々のチャネル信号X_１(n), X₂(n),…X_M(n)は、振幅決定手段１５から与えられる振幅値に従って振幅を乗算する振幅乗算手段１３Ａ〜１３Ｍを通った後に、Ｍ個の異なる頭部伝達関数を保持する頭部伝達関数畳み込み手段１４Ａ〜１４Ｍに入力される。ここで、Ｍ個の頭部伝達関数は、図２に一例が示されるように、音源ON_１〜ON_Mの位置と聴取者RSの位置の関係に応じて異なるものとなる。各振幅乗算器１３Ａ〜１３Ｍで乗算する振幅値は、音像を定位、あるいは移動させたい音源情報に応じた振幅値を生成する振幅決定手段１５によって決定される。頭部伝達関数畳み込み手段１４Ａ〜１４Ｍの出力信号であるＭ個の信号Y_１(n)〜Y_M(n)は加算手段１６で加算され合成信号y(t)された後、D/A変換手段１７でアナログ信号に変換された後、音響再生手段１８に出力される。

ここで、本発明による固定の音像を提示する音像提示装置として機能させるに場合には振幅決定手段１５は、Ｍ個の頭部伝達関数畳み込み手段１４Ａ〜１４Ｍが保持しているいずれかの音源位置に音像を定位させる。つまり音像を定位したい位置に対応した頭部伝達関数畳み込み手段に入力される信号のみに振幅が０でない値を与え、その他の信号は振幅が全て０となるように設定する（図３）。これにより、音響再生手段１８から再生される音響は音源に対してある特定の方向における頭部伝達関数のみが畳み込まれた音が出力されることとなり、従来からの頭部伝達関数を畳み込んだ音を出力する方法と実効的に同じとなる。

一方、Ｍ個の頭部伝達関数畳み込み手段１４Ａ〜１４Ｍのいずれもが保持していない方向に音像を定位させる場合は、その方向に最も近い頭部伝達関数を保持する少なくとも２個の頭部伝達関数畳み込み手段に入力される信号に対して振幅を０でない値を持たせ、それ以外の頭部伝達関数畳み込み手段に入力される信号の振幅を０となるように設定する。
図４にその一例を示すように、既知の音源位置αとβの中央に音像を定位させる場合には、音源位置αとβに相当する頭部伝達関数を乗算するチャネルの信号の振幅を０．５となるように設定し、その他のチャネル信号の振幅を０となるようにする。この場合、通常のステレオ装置おける２個のスピーカの中央に音像が定位されることと同様な状況が作り出されていることとなる。また、ステレオ装置の２個のスピーカ振幅を操作することで、スピーカ間に定位される音像の位置が変化するのと同様に、２個の頭部伝達関数畳み込み手段の時間窓の振幅と時間窓の立ち上がり時刻を同一時刻に操作することで音源位置αとβの間での音像位置を操作することができる。この際、既知の点以外の場所に音像を定位させる場合に、その音像を定位させたい点における頭部伝達関数を補間などの方法によって用意する必要がなく、頭部伝達関数の補間に起因する音像の定位の誤差、不自然さは原理的に生じない。

図１に示した装置を本発明による移動音像を提示する音像提示装置として機能させる場合には、Ｍ個の振幅乗算手段１３Ａ〜１３Ｍにおける振幅値を、図５に示すように連続的に且つ差動的に変化させることで、滑らかに移動する音像を作りだすことも可能である。この際、図５の右図の0〜T1,T2〜T3,T4以後の各時間においては、左図のそれぞれに対応する位置A,B,Cに音像が提示される。一方、それぞれの時間帯の重なりあう時間窓（T1→T2,T3→T4部分）において振幅に傾斜をつけ、互いに差動的に変化させることで、滑らかな動きを実現できる。この時間帯（T1→T2,T3→T4）においては、図５左図のそれぞれの対応する位置A,B,C間で移動する音像を提示することができる。この際、既存の手法で用いられるような頭部伝達関数を切り替えて畳み込むことをしていないために、原理的に頭部伝達関数切り替えに伴う出力波形の不連続は生じない。

また、頭部伝達関数畳み込み手段において、少なくとも振幅が０でなくなった時点から頭部伝達関数畳み込み手段１４Ａ〜１４Ｍが保持する頭部伝達関数の長さの残存分（タップ長の残存分）の畳み込み演算を継続させることとする。これにより、頭部伝達関数を切り替える従来方法では、残響成分の畳み込みが打ち切られることによって発生する再生音の自然性が損なわれるという問題を解決できる。この時間以外で振幅が０となっている間においては、畳み込み演算を行わないとすることで、演算時間の削減が可能となる利点がある。

図５に示した実施例では音像の移動中に少なくとも２チャネルの信号に０でない振幅を与えたが、図６に示すように３チャネルの信号に０でない振幅を与える。従って音像の移動中に０でない振幅をあたえるチャネル数は２に限られるものでないことは明らかである。
また、上述では振幅乗算手段１３Ａ〜１３Ｍは振幅決定手段１５から与えられる振幅値を各チャネルの信号に乗算するものとして説明したが、振幅決定手段１５から与えられる振幅値は長時間分の入力信号に予め用意した振幅値を乗算する蓄積型処理であっても、また、ディジタル入力信号のサンプル毎に振幅をその都度乗算するリアルタイム型の処理であってもよい。

以上説明した音像提示装置はコンピュータに音像提示プログラムをインストールし、コンピュータに固定の音像提示装置及び移動の音像提示装置として機能させることにより実現することができる。固定の音像提示プログラム或は移動の音像提示プログラムはコンピュータが解読可能なプログラム言語によって記述され、コンピュータが読み取り可能な例えば磁気ディスク、CD-ROM等の記録媒体に記録され、これらの記録媒体或は通信回線を通じてコンピュータにインストールされる。

本発明は電話会議システム等の分野で活用される。

この発明の音像提示装置を説明するための構成概念図。受聴者と音源の位置と頭部伝達関数の関係を説明するための図。本発明の音像提示装置の動作を説明するための図。図３と同様の図。本発明の移動の音像提示方法及び移動の音像提示装置の動作を説明するための図。図５を用いて説明した音像提示方法及び移動音像提示装置の動作の他の例を説明するための図。

符号の説明

１１Ａ／Ｄ変換手段１５振幅決定手段
１２信号分岐手段１６加算手段
１３Ａ〜１３Ｍ振幅乗算手段１７Ｄ／Ａ変換手段
１４Ａ〜１４Ｍ頭部伝達関数畳み込み手段１８音響再生手段

Claims

頭部伝達関数を入力信号に畳み込むことで音像を任意の位置に知覚させる音像定位方法において、空間内のＭ個の位置における頭部伝達関数を既知のものとして、このＭ個の頭部伝達関数それぞれに畳み込まれる入力信号の振幅を変化させた後に、それぞれの位置における頭部伝達関数を畳み込み、これら畳み込み済みのＭ個の信号を合成して出力することを特徴とした音像提示方法。
請求項１記載の音像定位方法において、Ｍ個の既知の位置以外の位置に音像を定位させる場合には、その最も近い少なくとも２個の位置における頭部伝達関数が畳み込まれる信号の振幅のみが０でない値を持ち、その他の頭部伝達関数が畳み込まれる信号の振幅が全て０となるように設定されることを特徴とする音像提示方法。
請求項１又は２に記載の音像定位方法の何れかにおいて、振幅が０でない値を持つ信号の振幅と、立ち上がり開始時間とを操作することで、既知の２点間における音像の位置を制御することを特徴とした音像提示方法。
空間内の任意の位置に音像を定位させるための頭部伝達関数を用いて音像を任意の位置から任意の位置に移動させる音像提示方法において、
空間内のＭ個の位置における頭部伝達関数を既知のものとし、少なくとも移動を開始する位置と、移動を終了する位置を含むＮ（Ｎ≦Ｍ）個の頭部伝達関数を乗算する入力信号のそれぞれに対し、時間軸方向に振幅を差動的に変化させた後に、上記Ｎ個の頭部伝達関数を畳み込むことを特徴とする音像提示方法。
請求項１乃至４記載の音像提示方法の何れかにおいて、頭部伝達関数の畳み込み演算は、少なくとも正の値の振幅を持つ信号の振幅が０になった時刻から頭部伝達関数のタップ長の残存分まで継続させることを特徴とする音像提示方法。
空間内のＭ個の位置における頭部伝達関数を既知のものとし、このＭ個の頭部伝達関数それぞれに畳み込まれる入力信号の振幅を変化させるＭ個の振幅乗算手段と、
音像情報に基づいて上記Ｍ個の振幅乗算手段のそれぞれに、音像定位位置に対応した振幅値を与える振幅値決定手段と、
振幅値乗算手段で振幅値が乗算された信号のそれぞれに上記空間内のＭ個の位置に対応した頭部伝達関数を畳み込む頭部伝達関数畳み込み手段と、
頭部伝達関数畳み込み手段で頭部伝達関数が畳み込まれた信号を合成して出力する加算手段と、
を備えることを特徴とする音像提示装置。
空間内の任意の位置に音像を定位させるための頭部伝達関数を用いて音像を任意の位置から任意の位置に移動させて音像の移動を提示する音像提示装置において、
空間内のＭ個の位置における頭部伝達関数を既知のものとし、このＭ個の頭部伝達関数のそれぞれに畳み込まれる入力信号の振幅を変化させるＭ個の振幅乗算手段と、
音像情報の移動開始指令に基づいて上記Ｍ個の振幅乗算手段の中の任意の１個に時間の経過と共に漸次減少する振幅を印加し、他の任意の１個に時間の経過と共に漸次増大する振幅を印加する振幅決定手段と、
上記時間の経過と共に漸次減少する振幅が乗算された信号に音像の移動開始位置を定位するための頭部伝達関数を畳み込む第１頭部伝達関数畳み込み手段と、
上記時間の経過と共に漸次増大する振幅が乗算された信号に音像の移動終了位置を定位するための頭部伝達関数を畳み込む第２頭部伝達関数畳み込み手段と、
上記第１頭部伝達関数畳み込み手段及び第２頭部伝達関数畳み込み手段で頭部伝達関数が畳み込まれた信号を合成して出力する加算手段と、
を備えることを特徴とする音像提示装置。
コンピュータが解読可能なプログラム言語によって記述され、コンピュータに請求項６又は７の何れかに記載の音像提示装置として機能させる音像提示プログラム。
コンピュータが読み取り可能な記録媒体によって構成され、この記録媒体に少なくとも請求項８記載の音像提示プログラムを記録した記録媒体。