JP2017046256A - バイノーラル信号生成装置、方法及びプログラム - Google Patents

Abstract

【課題】精度の高いバイノーラル信号を生成することができるバイノーラル信号生成技術を提供する。【課題を解決するための手段】バイノーラル信号生成装置は、円状に配置された円状スピーカアレーからの再生音に基づく複数の頭部伝達関数を考慮して所望音場と合成音場を一致させることで得られるフィルタと、円状に配置された円状マイクロホンアレーによる観測信号とを時空間方向に畳み込むことによりバイノーラル信号を生成するフィルタリング部１を備えている。【選択図】図１

Description

この発明は、ある音場に設置されたマイクロホンで音信号を収音し、その音信号を用いてその音場を再現する技術に関する。

複数のマイクロホンを用いて遠隔地の音場を仮想的に再現するためのバイノーラル信号を生成する技術として例えば非特許文献１に記載された技術が知られている。非特許文献１に記載された技術では、一方向に対して対応する１個の頭部伝達関数（Head Related Transfer Function:HRTF）を畳み込むことにより、バイノーラル信号を生成している。

平原達也, et al. , "頭部伝達関数の計測とバイノーラル再生にかかわる諸問題," 電子情報通信学会 基礎・境界ソサイエティ Fundamentals Review, vol. 2, no. 4, pp. 68-85, 2009.

非特許文献１に記載された技術では、頭部伝達関数が１個だけしか用いられていない。このため、生成されるバイノーラル信号の精度が必ずしも高くなかった。

この発明の目的は、より精度の高いバイノーラル信号を生成するバイノーラル信号生成装置、方法及びプログラムを提供することである。

この発明の一態様によるバイノーラル信号生成装置によれば、円状に配置された円状スピーカアレーからの再生音に基づく複数の頭部伝達関数を考慮して所望音場と合成音場を一致させることで得られるフィルタと、円状に配置された円状マイクロホンアレーによる観測信号とを時空間方向に畳み込むことによりバイノーラル信号を生成するフィルタリング部を備えている。

複数の頭部伝達関数を用いることにより、精度の高いバイノーラル信号を生成することができる。

第一実施形態のバイノーラル信号生成装置の例を示す機能ブロック図。 第一実施形態のバイノーラル信号生成方法の例を示す流れ図。 座標系を説明するための図。 第一実施形態のバイノーラル信号生成装置の例を示す機能ブロック図。 第一実施形態のバイノーラル信号生成方法の例を示す流れ図。

以下、図面を参照してこの発明の実施形態を説明する。以下の説明において、テキスト中で使用する記号「~」「^-」「^」等は、本来直前の文字の真上に記載されるべきものであるが、テキスト記法の制限により、当該文字の直後に記載する。式中においてはこれらの記号は本来の位置に記述している。また、ベクトルや行列の各要素単位で行われる処理は、特に断りが無い限り、そのベクトルやその行列の全ての要素に対して適用されるものとする。

［第一実施形態］
第一実施形態は、２次元に配置された円状マイクロホンアレーで収音した信号に基づいてバイノーラル信号を生成するバイノーラル信号生成装置及び方法に関する。まず、第一実施形態の技術的背景について説明する。

＜技術的背景＞
半径R_sの円周上に３個以上のスピーカから構成される円状スピーカアレーを配置し、その円の中心に頭部が存在することを仮定する。スピーカ位置は円筒座標系（図３を参照のこと）でr_s=(R_s,φ_s,0)と書く。左耳および右耳の位置をそれぞれr_L=(R_L,φ_L,0)，r_R=(R_R,φ_R,0)とし、時間周波数領域のHRTFをG^L(r_L-r_s)，G^R(r_R-r_s)と書く。G^L(r_L-r_s)とG^R(r_R-r_s)は事前に測定し、既知であるとする。HRTFの測定は、スピーカアレーを用いてする必要は必ずしもなく、各方向から別々にHRTFを測定してもよい。なお、頭部形状をモデル化し、HRTFをシミュレーションして求めても構わない。以降、左耳の時間周波数領域信号P^L(r_L)についてのみ議論するが、右耳に関しても全く同じ議論が成り立つ。

各スピーカ位置からの伝達関数に対して、信号D(r_s)を畳み込むことで、左耳信号P^L(r_L)を合成することを考えると、P^L(r_L)は以下のように書ける。

ここで、「~」を付けた変数は円筒調和関数領域表現であることを表し、mは円筒調和関数領域表現における次数である。また、jは虚数であり、eはネイピア数であり、πは円周率である。

さて、D(・)は所望の音場P^des(r)を合成するための駆動信号であればよい。

r=(r,φ,0)を半径R_sの円の内部領域における任意の位置とし、頭部がない状態で円周上のスピーカを用いて合成される音場をP^syn(r)とする。このとき、

となる。ここで、G(r-r_s)は各スピーカの伝達特性を表し、測定もしくは物理現象をモデル化（線音源としてモデル化した例を後述する。）することで得られる。なお、従来はHRTFを求める時点でスピーカ方向からの平面波伝搬を仮定して信号変換を定式化していたのに対し、ここででは点音源からの球面波伝搬を仮定して以下の定式化を行う。

収音側では所望音場の円筒調和スペクトル~P^des(r,m)=^-P^des(m)J_m(kr)が推定されているものとする。これはシミュレーションによって合成しても構わない。ここで、kは波数、J_mはm次のベッセル関数である。また、^-P^des(m)は所望音場の円筒調和関数展開の係数である。P^syn(r)とP^des(r) とが一致すればよいことから、

となる。~G(r-R_s,m)を半径R_refの円周上で測定することで取得する場合、

となる。
したがって、式(1)に式(2)を代入することで、バイノーラル信号が得られる。

所望音場の円筒調和スペクトル~P^des(r,m)=P^des(m)J_m(kr)はいくつかの推定方法があるが、ここでは半径R_mの円筒形状の剛体のバッフル上に配置された円状マイクロホンアレーを用いることを考える。円状マイクロホンアレーは、３個以上のマイクロホンから構成される。ここで、バッフルは、マイクロホンやスピーカを取り付けるものを意味する。バッフルそのものの存在が、収音または再生の際の音の伝達関数に影響する。また、バッフルが剛体であるか吸音体であるかによって、所望音場の円筒調和スペクトルと観測信号の円筒調和スペクトルの関係式にも影響する。

マイクロホンアレーによる観測信号の円筒調和スペクトルを~P^rcv(R_m,m)とすれば、~P^des(r,m)は以下のようになる。

ここで、H_m ⁽¹⁾′はm次の第一種ハンケル関数H_m ⁽¹⁾の微分である。もう一つの例として、半径R_mの球状の剛体のバッフル上の半径R_mの円状マイクロホンアレーを用いることを考える。マイクロホンアレーによる観測信号の円筒調和スペクトルを~P^rcv(R_m,m)とすれば、~P^des(r,m)は以下のようになる。

なお、~P^des(r,m)は、マイクロホンアレーの配置、バッフルの形状や性質（剛体、吸音体、空中に配置されているか等の性質）により、上記以外の式により定義されてもよい。

ここで、P_n ^mはルジャンドル陪関数である。式(4)を式(3)に代入すれば、

となる。この式により、円状マイクロホンアレー信号から、以下で定義される時間周波数領域のフィルタの時空間畳み込みによって、バイノーラル信号を合成できることになる。

正確に言えば、畳み込みではF^Lの逆フーリエ変換で求まる時空間領域のフィルタを用いる。すなわち、F^Lの逆フーリエ変換で求まる時空間領域のフィルタを用いて、円状マイクロホンアレーの観測信号に対し時空間領域の時空間畳み込みを行うことによって、バイノーラル信号を生成することができる。

なお、次数mの時空間周波数領域のフィルタ係数~F^L(m)を

で定義すれば、バイノーラル信号は次数mの時空間周波数領域のフィルタ係数~F^L(m)と円状マイクロホンアレー信号で以下のように表すこともできる。

式(5)は測定によって得られた~Gを用いることを仮定したものだったが、ここでは線音源としてモデル化した場合について考える。

であることより、

となる。ただし、実際のスピーカは線音源よりは点音源に近い特性を持っていることより、補正項として(2πj/k)^1/2を乗じることが必要である。

なお、聴者の頭部の移動に対する追従は，収録側の円状マイクロホンアレーで取得した円筒調和スペクトルに対する処理によって実現可能である。単純な回転に対しては、単純な位相シフトを適用すればよい。回転角をφ_rotとして、位相シフトを適用した円筒調和スペクトル~P^rot(R_m,m)は、

となる。
円状マイクロホンアレーの中心とは異なる位置を原点とした円筒調和スペクトルを推定することも可能である。例えば、位置(R_t,φ_t)における円筒調和スペクトル^-P^transは、

として得られる。複数の位置における円筒調和スペクトルが取得可能な場合には、最小二乗法による推定が可能となる。

式(A)又は式(B)のフィルタを用いて、以下の式のように空間方向の畳み込みを行うことによりバイノーラル信号を生成してもよい。空間方向の畳み込みによりバイノーラル信号を生成する場合には、円状スピーカアレーを構成するスピーカの数＝円状マイクロホンアレーを構成するマイクロホンの数と同じにする必要があるところ、N_Lはそのスピーカの数=マイクロホンの数である。φ_iはφ_Lに対応する方向である。

＜バイノーラル信号生成装置及び方法＞
第一実施形態のバイノーラル信号生成装置は、図１に示すように、フィルタリング部１、フィルタ生成部２を備えている。バイノーラル信号生成装置が、図２に示すステップＳ１の処理を実行することによりバイノーラル信号生成方法が実現される。

フィルタリング部１には、円状に配置された円状スピーカアレーからの再生音に基づく複数の頭部伝達関数を考慮して所望音場と合成音場を一致させることで得られるフィルタが入力される。

このフィルタは、式(A)又は式(B)により定義されるフィルタを逆フーリエ変換することにより得られるフィルタである。このフィルタは、フィルタリング部１の処理に先立ってフィルタ生成部２により予め生成される。

また、フィルタリング部１には、円状に配置された円状マイクロホンアレーによる観測信号が入力される。

フィルタリング部１は、入力されたフィルタと入力された観測信号とを時空間方向に畳み込むことによりバイノーラル信号を生成する（ステップＳ１）。

上記のフィルタリング部１の処理は、一例に過ぎない。フィルタリング部１は、＜技術的背景＞の欄で説明した他のフィルタ処理や畳み込み処理によりバイノーラル信号を生成してもよい。

すなわち、例えば、フィルタリング部１は、上記フィルタF^Lに代えて、F^Lの逆フーリエ変換で求まるフィルタを用いてフィルタリング処理を行ってもよい。

また、例えば、フィルタリング部１は、~P^rcv(R_m,m)を上記観測信号の円筒調和スペクトルとして、聴者がφ_rotだけ向きを変えた場合には、上記観測信号に代えて式(C)により定義される~P^rcv(R_m,m)と上記フィルタを畳み込み、

聴者が位置(R_t,φ_t)に移動した場合には、上記観測信号に代えて式(D)により定義される~P^trans(R_m,m)と上記フィルタとを畳み込んでもよい。

このように、複数の頭部伝達関数を考慮することより、精度の高いバイノーラル信号を生成することができる。

［第二実施形態］
第二実施形態は、３次元に配置された球状マイクロホンアレーで収音した信号に基づいてバイノーラル信号を生成するバイノーラル信号生成装置及び方法である。まず、第二実施形態の技術的背景について説明する。

＜技術的背景＞
半径R_sの球面上に３個以上のスピーカから構成される球状スピーカアレーを配置し、その中心に頭部が存在すると仮定する。スピーカ位置は球座標系でr_s=(R_s,θ_s,φ_s)と書く。左耳および右耳の位置をそれぞれr_L=(R_L,θ_L,φ_L)，r_R=(R_R,θ_R,φ_R)とし、時間周波数領域のHRTFをG^L(r_L-r_s)，G^R(r_R-r_s)と書く。G^L(r_L-r_s)とG^R(r_R-r_s)は事前に測定し、既知であるとする。HRTFの測定は、スピーカアレーを用いてする必要は必ずしもなく、各方向から別々にHRTFを測定してもよい。なお、頭部形状をモデル化し、HRTFをシミュレーションして求めても構わない。以降、左耳の時間周波数領域信号P^L(r_L)についてのみ議論するが、右耳に関しても全く同じ議論が成り立つ。

各スピーカ位置からの伝達関数に対して、信号D(r_s)を畳み込むことで、左耳信号P^L(r_L)を合成することを考えると、P^L(r_L)は以下のように書ける。

円状のアレーを用いる第一実施形態とは異なり、球状のアレーを用いる第二実施形態では、空間の畳み込みとしては記述できないことに注意する。

さて、D(・)は所望の音場を合成するための駆動信号であればよい。r=(r,θ,φ)を内部領域における任意の位置とし、頭部がない状態で球面上のスピーカを用いて合成される音場をP^syn(r)とする。このとき、各スピーカの軸対称性を仮定すれば、η=(0,0,R_s)の北極位置をおいて、

となる。SO(3)は、３次の回転群（特殊直交群）である。ここで、G(r-r_s)は各スピーカの伝達特性を表し、測定もしくはモデル化することで得られる。従来はHRTFを求める時点で音源からの平面波を仮定して信号変換を定式化していたのに対し、ここでは点音源からの球面波を仮定して以下の定式化を行う。Y_n ^mは球面調和関数であり、nとmはその次数である。ここでは、「~」付きの変数は球面調和スペクトル領域を表すこととする。

収音側では所望音場の球面調和スペクトル~P^des(r,n,m)=^-P^des(n,m)j_n(kr)が推定されているものとする。これは、シミュレーションによって合成しても構わない。P^syn(r)とP^des(r)とが一致すればよいことから、

となる。j_nはn次の第一種球ベッセル関数である。~G(r-R_s,n,0)を半径R_refの球面上で測定することで取得する場合、

となる。
したがって、式(6)に式(7)を代入することで、バイノーラル信号が得られる。

所望音場の球面調和スペクトル~P^des(r,n,m)=^-P^des(n,m)j_n(kr)はいくつかの推定方法があるが、ここでは、半径R_mの球バッフル上に配置された球状マイクロホンアレーを用いることを考える。球状マイクロホンアレーは、３個以上のマイクロホンから構成される。

ここで、バッフルは、マイクロホンやスピーカを取り付けるものを意味する。バッフルそのものの存在が、収音または再生の際の音の伝達関数に影響する。また、バッフルが剛体であるか吸音体であるかによって、球面調和スペクトルと観測信号の球面調和スペクトルの関係式に影響する。

マイクロホンアレーによる観測信号の球面調和スペクトルを~P^rcv(R_m,n,m)とすれば、~P^des(r,n,m)は以下のようになる。h_n ⁽¹⁾'は、n次の第一種ハンケル関数h_n ⁽¹⁾の微分を意味する。

この式(8)に代入すれば、

となる。SはHRTFの測定に用いた球状スピーカアレーを構成するスピーカの集合である。円状アレーの場合と異なり、単一のフィルタ畳み込みでの信号変換はできないが、マイクロホンアレーの信号に対して以下の式(E)のフィルタを適用後、各HRTFとの畳み込みを、HRTFの測定に用いたスピーカの数の分だけ足しあわせた信号をバイノーラル信号とすれば良い。

すなわち、式(E)のフィルタと球状に配置された球状マイクロホンアレーによる観測信号とを時空間畳み込みすることにより信号を得て、得られた信号の球状スピーカアレーの各スピーカ位置に対応する時間信号と、球状スピーカアレーからの再生音に基づく複数の頭部伝達関数の球状スピーカアレーの各スピーカ位置に対応する時間信号とを時間方向に畳み込みしたものを球状スピーカアレーを構成するスピーカの数の分だけ足し合わせることにより時間領域のバイノーラル信号を生成する。

なお、次数n,mのフィルタ係数~F^L(r_s,n,m)を

で定義すれば、バイノーラル信号は次数n,mのフィルタ係数と円状マイクロホンアレー信号で以下のように表される。

式(F)は測定によって得られた~Gを用いることを仮定したものだったが、ここでは、点音源としてモデル化した場合について考える。

であることより、

となる。この式(F)のフィルタを式(E)のフィルタの代わりに用いてもよい。

＜バイノーラル信号生成装置及び方法＞
第二実施形態のバイノーラル信号生成装置は、図４に示すように、フィルタリング部１、フィルタ生成部２を備えている。バイノーラル信号生成装置が、図５に示す各ステップの処理を実行することによりバイノーラル信号生成方法が実現される。

フィルタリング部１には、球状に配置された球状スピーカアレーを考慮して所望音場と合成音場を一致させることで得られるフィルタが入力される。

このフィルタは、式(E)又は式(F)により定義されるフィルタである。このフィルタは、フィルタリング部１の処理に先立ってフィルタ生成部２により予め生成される。

また、フィルタリング部１には、球状に配置された円状マイクロホンアレーによる観測信号が入力される。

フィルタリング部１は、入力されたフィルタと入力された観測信号とを時空間畳み込みすることにより信号を得る。得られた信号は、信号生成部３に出力される。

信号生成部３は、フィルタリング部１により得られた信号のHRTFを得るために用いた球状スピーカアレーの各スピーカ位置に対応する時間信号と、球状スピーカアレーからの再生音に基づく複数の頭部伝達関数の球状スピーカアレーの各スピーカ位置に対応する時間信号とを時間方向に畳み込みしたものを球状スピーカアレーを構成するスピーカの数の分だけ足し合わせることにより時間領域のバイノーラル信号を生成する。

上記のフィルタリング部１の処理は、一例に過ぎない。フィルタリング部１は、＜技術的背景＞の欄で説明した他のフィルタ処理や畳み込み処理によりバイノーラル信号を生成してもよい。

すなわち、例えば、フィルタリング部１は、~P^rcv(R_m,m)を上記観測信号の球面調和スペクトルとして、式(9)により定義される処理を行うことによりバイノーラル信号を生成してもよい。

このように、複数の頭部伝達関数を考慮することより、精度の高いバイノーラル信号を生成することができる。

［関数］
上記の説明で用いた各関数について説明する。

・を任意の実数として、n次の第一種ハンケル関数H_n ⁽¹⁾(・)及びn次のベッセル関数J_n(・)は、以下のように定義される。Γ(z)はガンマ関数であり、Y_n(z)はノイマン関数である。

n次の第一種球ハンケル関数h⁽¹⁾ _n(・)及びn次の球ベッセル関数j_n(・)は、以下のように定義される。

ルジャンドル陪関数P^m _n(・)であり、以下のように定義される。P_n(・)はルジャンドル多項式を表す。

球面調和関数Y_n ^mは下記式により定義される。

［変形例］
上記の時間周波数領域又は時空間周波数領域でのフィルタリング処理は、時空間領域で行ってもよい。すなわち、上記フィルタリング処理を、時間方向の畳み込みと空間方向の畳み込みでフィルタリングによりを行ってもよい。

バイノーラル信号生成装置は、コンピュータによって実現することができる。この場合、この装置の各部の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、この装置における各部がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、これらの装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

この発明は、上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。

１ フィルタリング部
２ フィルタ生成部
３ 信号生成部

Claims (8)

1. 円状に配置された円状スピーカアレーからの再生音に基づく複数の頭部伝達関数を考慮して所望音場と合成音場を一致させることで得られるフィルタと、円状に配置された円状マイクロホンアレーによる観測信号とを時空間方向に畳み込むことによりバイノーラル信号を生成するフィルタリング部を含むバイノーラル信号生成装置。
2. 請求項１のバイノーラル信号生成装置において、
   jを虚数とし、kを波数とし、J_mをm次のベッセル関数とし、H_m ⁽¹⁾'をm次の第一種ハンケル関数H_m ⁽¹⁾の微分とし、聴者の何れか一方の耳の円筒座標系における位置を(R_L,φ_L,0)とし、~G^Lを円筒調和関数領域表現された頭部伝達関数とし、~Gを各スピーカの円筒調和関数領域表現された伝達関数とし、~Gは半径R_refの円周上で測定されるとし、R_mを上記円状マイクロホンアレーの半径とし、R_sを上記円状スピーカアレーの半径として、
   上記フィルタは、以下の式(A)又は式(B)により定義されるF^Lを逆フーリエ変換することにより得られるフィルタである、
   

   

   
   バイノーラル信号生成装置。
3. 請求項２のバイノーラル信号生成装置において、
   ~P^rcv(R_m,m)を上記観測信号の円筒調和スペクトルとして、
   上記聴者がφ_rotだけ向きを変えた場合には、上記フィルタリング部は、上記観測信号に代えて以下の式(C)により定義される~P^rcv(R_m,m)と上記フィルタを畳み込み、
   

   

   
   上記聴者が位置(R_t,φ_t)に移動した場合には、上記フィルタリング部は、上記観測信号に代えて以下の式(D)により定義される~P^trans(R_m,m)と上記フィルタとを畳み込む、
   

   

   
   バイノーラル信号生成装置
4. 球状に配置された球状スピーカアレーを考慮して所望音場と合成音場を一致させることで得られるフィルタと球状に配置された球状マイクロホンアレーによる観測信号とを時空間畳み込みすることにより信号を得るフィルタリング部と、
   上記得られた信号の上記球状スピーカアレーの各スピーカ位置に対応する時間信号と、上記球状スピーカアレーからの再生音に基づく複数の頭部伝達関数の上記球状スピーカアレーの各スピーカ位置に対応する時間信号とを時間方向に畳み込みしたものを上記球状スピーカアレーを構成するスピーカの数の分だけ足し合わせることにより時間領域のバイノーラル信号を生成する信号生成部と、
   を含むバイノーラル信号生成装置。
5. 請求項４のバイノーラル信号生成装置において、
   jを虚数とし、kを波数とし、h_m ⁽¹⁾'をm次の第一種球ハンケル関数h_m ⁽¹⁾の微分とし、Y_n ^mを球面調和関数とし、~Gを球状スピーカアレーを構成するスピーカの円筒調和関数領域表現された伝達関数とし、~Gは半径R_refの円周上で測定されるとし、R_mを上記球状マイクロホンアレーの半径とし、R_sを上記球状スピーカアレーの半径として、
   上記フィルタは、以下の式(E)又は式(F)により定義されるF^Lである、
   

   

   
   バイノーラル信号生成装置。
6. フィルタリング部が、円状に配置された円状スピーカアレーからの再生音に基づく複数の頭部伝達関数を考慮して所望音場と合成音場を一致させることで得られるフィルタと、円状に配置された円状マイクロホンアレーによる観測信号とを時空間方向に畳み込むことによりバイノーラル信号を生成するフィルタリングステップを含むバイノーラル信号生成方法。
7. フィルタリング部が、球状に配置された球状スピーカアレーを考慮して所望音場と合成音場を一致させることで得られるフィルタと球状に配置された球状マイクロホンアレーによる観測信号とを時空間畳み込みすることにより信号を得るフィルタリングステップと、
   信号生成部が、上記得られた信号の上記球状スピーカアレーの各スピーカ位置に対応する時間信号と、上記球状に配置された球状スピーカアレーからの再生音に基づく複数の頭部伝達関数の上記球状スピーカアレーの各スピーカ位置に対応する時間信号とを時間方向に畳み込みしたものを上記球状スピーカアレーを構成するスピーカの数の分だけ足し合わせることにより時間領域のバイノーラル信号を生成する信号生成ステップと、
   を含むバイノーラル信号生成方法。
8. 請求項１から５の何れかに記載されたバイノーラル信号生成装置の各部としてコンピュータを機能させるためのプログラム。

Images