JP2017112415A - 音場推定装置、その方法及びプログラム - Google Patents

Abstract

【課題】従来よりも、外挿が有効な空間領域が大きい音場推定装置、その方法及びプログラムを提供する。
【解決手段】音場推定装置２００は、J個の位置(r_a,Ω_j)にそれぞれマイクロホンを備える球面マイクロホンアレー１の収音信号y(ｔ，r_a,Ω_j)（ｊ＝１，２，・・・，Ｊ）から算出される球面波スペクトルu_n,m(ω,r_a)(n=0,1,…,N、m=-n,-n+1,…,n)を用いて、音場を構成する平面波の強度からなるベクトルを推定する平面波分解部２１３と、ｒを極座標の動径、Ωを極座標の偏角とし、平面波の強度からなるベクトルの推定値a(ω)と仮想マイクロホンの位置(r,Ω)とを用いて、仮想マイクロホンの位置での周波数領域の収音信号u^(ω,r,Ω)を推定する外挿推定部２１６とを含む。
【選択図】図２

Description

本発明は、ある位置に配置されたマイクロホンの収音信号を用いて、他の位置にマイクロホンが配置された場合に得られる収音信号を推定する技術に関する。

近年、オーディオ再生技術は２チャネルステレオから５．１チャネル再生に拡大し、さらに２２．２チャネル再生や波面合成法の研究開発が進められ、再生そのものの臨場感を大きく向上させることと、臨場感の高い再生エリアをなるべく拡大することが図られている。

このような多チャネルオーディオ再生方法を評価検証するには、再生された音場を計測することが重要になる。例えば波面合成法では、実際に収録された音場と再現された音場とを比較し、その相違を把握する必要がある。その理由は、収録音場を再生信号へ変換する信号処理、収録した信号のエンコードとデコード、再生装置が設置された部屋の音響特性などの諸要因が音場の再現精度に影響するためであり、再現精度の高い手法を確立することが重要だからである。

（従来法１）
音場を計測する方法として、対象とする測定エリアの一部に局所的にマイクロホンを集中配置し、その測定結果から周辺エリアの音場を推定することが考えられる。一例として球面マイクロホンアレーの検討が進められている。球面マイクロホンアレーとは、数十以上のマイクロホン素子を半径r_aの球面上に配置して構成するマイクロホンアレーであり、r_aは数cmから十数cmの範囲にある。

図１は、従来技術における球面マイクロホンアレー１をもちいる音場推定処理の信号フローを示す。球面上に配置されたJ個のマイクロホンでそれぞれ収音された時間領域の信号y(t,r_a,Ω_j)は、短時間フーリエ変換部１１１により周波数領域の信号u(i,ω,r_a,Ω_j)に変換される。ただし、tは時刻、iはフレーム、Jは2以上の整数、ωは時間周波数、j=1,2,…,Jである。なお、以下の処理では、フレーム単位で処理を行うが、表記を簡略化するために、iを省略する。Ω_jはj番目のマイクロホン素子の球面上の位置であり、elevation角θ_jとazimuth角φ_jのペアで指定される。Ω_j=(θ_j,φ_j)である。

球面波スペクトル変換部１１２は、周波数ωごとに次式により球面波スペクトルu_n,m(ω,r_a)を求める。

ただしα_jは、式(1)の積和が次式で表される球調和関数の直交条件を満たすように適切に設定された重みである。

なお、Y_n ^m(θ_j,φ_j)はオーダーn、次数mの球調和関数であり、*は複素共役を意味する。n=0,1,…,N、m=-n,-n+1,…,nである。δ_nn'はn=n'のときに１、n≠n'のときに0となる値であり、δ_mm'はm=m'のときに１、m≠m'のときに0となる値である。オーダー数Nまでの球面波スペクトルを得るには、(N+1)²個以上のマイクロホン素子が必要になる。

なお、これ以降は測定対象範囲の外側にある音源によって生成された音場を測定すること、すなわち内部問題を扱う。別の言い方をすると、球面マイクロホンアレーの成す球体の外側にある音源によって生成された音場を測定する。

球面マイクロホンアレーの中心を原点として、極座標系(r,Ω)=(r,θ,φ)で音場を考える。

外挿推定部１１６では、周波数ωで次式により、半径r_aの位置から半径rへと音場を外挿し、極座標系(r,Ω)=(r,θ,φ)における収音信号u(ω,r,Ω)を求める。言い換えると、球面マイクロホンアレー上に配置されたマイクロホンの収音信号を用いて球面マイクロホンアレーの成す球体の外側にある音場を推定する。

ただしkは波数k=ω/c(cは音速)であり、b_n( )はモード強度関数である。

非特許文献１では、マイクロホン素子を中空で球面上に配置する開球型(open sphere)の球面マイクロホンアレーの場合が示されている。この場合、モード強度関数は次式で表される。

である。ただしiは虚数であり、j_n( )はn次の球ベッセル関数である。球面マイクロホンアレーが剛球表面にマイク素子を配置して構成されている場合には、非特許文献２に基づき、モード強度関数は次式で表される。

ただしh_n( )はｎ次の第1種ハンケル関数である。なお、「A'」はAの微分を意味する。

短時間逆フーリエ変換部１１８は、空間的に外挿した収音信号を周波数領域の信号u(ω,r,Ω)から時間領域の信号y(t,r,Ω)に戻し、出力する。

なお、式（３）は、球面波スペクトルにb_n(kr)/b_n(kr_a)を適用し、Y_n ^m(θ,φ)で積和をとっている。このY_n ^m(θ,φ)の積和は、逆球面波スペクトル変換に対応する。そのため、空間的に外挿した収音信号u(ω,r,Ω)は周波数領域の信号となっている。

開球型のマイクロホンアレーによる計測では、特異点の影響を避けられず、j_n(kr)=0になるkおよびrで測定不能になる。具体的には、音場が存在してもｊ_n(kr)=0が満たされるとき、その出力が0になる。しかし剛球型のマイクロホンアレーには特異点がなく、測定不能にならない。そのため球面型マイクロホンアレーとしては、剛球型のマイクロホンアレーを使うことが主流である。

T. Abhayapala and D. Ward, "Theory and design of high order sound field microphones using spherical microphone array", in Acoustics, Speech, and Signal Processing (ICASSP), IEEE International Conference on, 2002, pp. II-1949. Meyer, Jens; Elko, Gary, "A highly scalable spherical microphone array based on an orthonormal decomposition of the soundfield", Acoustics, Speech, and Signal Processing (ICASSP), 2002 IEEE International Conference on, 2002, II-1781 - II-1784.

従来技術では、半径r_aの位置から半径rへと音場を外挿する際に、ベッセル関数j_n(kr)もしくはベッセル関数j_n(kr)とハンケル関数h_n(kr)とを使用している。参考文献１によれば、2関数とも大域的な傾向としてkrが増大すると、1/krのペースで減少する。
（参考文献１）Ｅ．Ｇ．ウィリアムズ、「フーリエ音響学」、シュプリンガー・フェアラーク、２００５、p.234-236．

例えばrがr_aの10倍になると、外挿の推定値は約1/10と急激に小さくなってしまう。そのため、外挿が有効な空間領域は球面マイクロホンアレー表面の周囲に限定されてしまう。まだ同じ理由により、周波数ωが高くなってもk=ω/cが大きくなり、外挿の推定値が急激に小さくなる。つまり周波数を高くすると外挿が有効な空間領域が急激に狭まってしまう。

本発明は、従来技術よりも、外挿が有効な空間領域が大きい音場推定装置、その方法及びプログラムを提供することを目的とする。

上記の課題を解決するために、本発明の一態様によれば、音場推定装置は、j=1,2,…,J、r_aを極座標の動径、θ_j及びφ_jを極座標の偏角、ωを時間周波数のインデックスとし、J個の位置(r_a,θ_j,φ_j)にそれぞれマイクロホンを備える球面マイクロホンアレーの収音信号y(r_a,θ_j,φ_j)から算出される球面波スペクトルu_n,m(ω,r_a)(n=0,1,…,N、m=-n,-n+1,…,n)を用いて、音場を構成する平面波の強度からなるベクトルを推定する平面波分解部と、ｒを極座標の動径、θ及びφを極座標の偏角とし、平面波の強度からなるベクトルの推定値a(ω)と仮想マイクロホンの位置(r,θ,φ)とを用いて、仮想マイクロホンの位置(r,θ,φ)での周波数領域の収音信号u^(ω,r,θ,φ)を推定する外挿推定部とを含む。

上記の課題を解決するために、本発明の他の態様によれば、音場推定方法は、j=1,2,…,J、r_aを極座標の動径、θ_j及びφ_jを極座標の偏角、ωを時間周波数のインデックスとし、J個の位置(r_a,θ_j,φ_j)にそれぞれマイクロホンを備える球面マイクロホンアレーの収音信号y(r_a,θ_j,φ_j)から算出される球面波スペクトルu_n,m(ω,r_a)(n=0,1,…,N、m=-n,-n+1,…,n)を用いて、音場を構成する平面波の強度からなるベクトルを推定する平面波分解ステップと、ｒを極座標の動径、θ及びφを極座標の偏角とし、平面波の強度からなるベクトルの推定値a(ω)と仮想マイクロホンの位置(r,θ,φ)とを用いて、仮想マイクロホンの位置(r,θ,φ)での周波数領域の収音信号u^(ω,r,θ,φ)を推定する外挿推定ステップとを含む。

本発明によれば、従来技術よりも、外挿が有効な空間領域が大きいという効果を奏する。

従来技術に係る音場推定装置の機能ブロック図。 第一実施形態に係る音場推定装置の機能ブロック図。 第一実施形態に係る音場推定装置の処理フローの例を示す図。 第一実施形態、その変形例１及び変形例２における仮想マイクロホンの位置の概要を示す図。 第二実施形態に係る音場推定装置の機能ブロック図。 第二実施形態に係る音場推定装置の処理フローの例を示す図。 第三実施形態に係る音場推定装置の機能ブロック図。 第三実施形態に係る音場推定装置の処理フローの例を示す図。

以下、本発明の実施形態について、説明する。なお、以下の説明に用いる図面では、同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を記し、重複説明を省略する。以下の説明において、テキスト中で使用する記号「^」「^-」等は、本来直前の文字の真上に記載されるべきものであるが、テキスト記法の制限により、当該文字の直後に記載する。式中においてはこれらの記号は本来の位置に記述している。また、ベクトルや行列の各要素単位で行われる処理は、特に断りが無い限り、そのベクトルやその行列の全ての要素に対して適用されるものとする。

＜第一実施形態のポイント＞
本実施形態では、球面波スペクトルを外挿する代わりに、球面波スペクトルから音場を構成する平面波の集まりを求め、この平面波をもちいて音場を外挿する。平面波を経由することで、外挿が有効な空間領域を大きく広げることが可能になる。以下、その方法を説明する。

＜第一実施形態に係る音場推定装置２００＞
図１は第一実施形態に係る音場推定装置２００の機能ブロック図を、図２はその処理フローを示す。

音場推定装置２００は、短時間フーリエ変換部２１１、球面波スペクトル変換部２１２、平面波分解部２１３、外挿推定部２１６及び短時間逆フーリエ変換部２１８を含む。

音場推定装置２００は、球面マイクロホンアレー１から時間領域の収音信号y(t,r_a,Ω_j)(ただし、j=1,2,…,J)と、仮想マイクロホンの位置情報(r,Ω)とを受け取り、仮想マイクロホンの位置における時間領域の収音信号y(t,r,Ω)を推定し、出力する。球面マイクロホンアレー１には、半径r_aの球面上にJ個のマイクロホンが配置され、j番目のマイクロホンの位置はΩ_j=(θ_j,φ_j)で特定される。つまり、球面マイクロホンアレー１の成す球面の中心を原点として、r_aを極座標の動径、θ_j及びφ_jを極座標の偏角とし、j番目のマイクロホンの位置は(r_a,θ_j,φ_j)で表される。

＜短時間フーリエ変換部２１１＞
短時間フーリエ変換部２１１は、時間領域の収音信号y(t,r_a,Ω_j)(ただし、j=1,2,…,J)を受け取り、短時間フーリエ変換により、時間領域の収音信号y(t,r_a,Ω_j)を周波数領域の収音信号u(i,ω,r_a,Ω_j)(ただし、iはフレーム番号、ω=1,2,…,F、j=1,2,…,J)に変換し（Ｓ２１１）、出力する。なお、以降の処理はフレームi毎に行うが、記載を簡略化するため、フレーム番号iを省略する。なお、時間領域の信号を周波数領域の信号に変換する方法であれば、短時間フーリエ変換以外の方法を用いてもよい。

＜球面波スペクトル変換部２１２＞
球面波スペクトル変換部２１２は、周波数領域の収音信号u(i,ω,r_a,Ω_j)(ただし、ω=1,2,…,F、j=1,2,…,J)を受け取り、周波数ω毎に、式（１）により、球面波スペクトルu_n,m(ω,r_a)を求め（Ｓ２１２）、球面波スペクトルu_n,m(ω,r_a)(ただし、n=0,1,…,N、m=-n,-n+1,…,n、ω=1,2,…,F)を出力する。

なお、α_j及びY_n ^m(θ_j,φ_j)については上述の（従来法１）で説明した通りである。

＜平面波分解部２１３＞
平面波分解部２１３は、球面波スペクトルu_n,m(ω,r_a)(ただし、n=0,1,…,N、m=-n,-n+1,…,n、ω=1,2,…,F)を受け取り、音場を構成する平面波の強度からなるベクトルを推定し（Ｓ２１３）、推定値a(ω)(ただし、ω=1,2,…,F)を出力する。例えば、平面波分解部２１３は、音場を構成する平面波の集まりを求めるために、最初にＬ１ノルムをもちいる以下の凸最適化問題を解く。

行列D(ω)は、次式で表される。

で与えられる。行列D(ω)のl’列目の縦ベクトルは、振幅１の平面波が単一で入射角Ω_l’、すなわちelevation角θ_l’かつazimuth角φ_l’で入射したときに、球面マイクロホンアレー１の収音信号y(t,r_a)から算出される球面波スペクトルのベクトルである。例えば、L'個の平面波が全方位から万遍なく取得できるようにL'個の入射角Ω_l’を設定する。例えば、正多面体の頂点の方向から平面波が入射するようにL'個の入射角Ω_l’を設定する。l’列目の縦ベクトルは次式で与えられる。

オーダーNまでの球調和関数を使うとき、そのサイズは(N+1)²になる。なおこのサイズは球面マイクロホンアレー１に含まれるマイクロホンの素子数Ｊよりも小さい必要がある(よって(N+1)²<J)。また推定値a(ω)は、各平面波の強度の推定値からなるベクトルである。a(ω)=[a₁(ω),a₂(ω),…,a_l'(ω),…,a_L'(ω)]^Tとする。

Ｌ１ノルムによる凸最適化は、解ベクトルa(ω)として0を多く含むスパースなベクトルを導きだす。そのため、参考文献２で示されているように、あらかじめ想定する平面波の個数L'がマイクロホン数を大きく上回るような冗長な場合でも、平面波をうまく抽出することが可能である。
(参考文献２)A. Wabnitz, N. Epain, A. van.Shaik, C. Jin, "Reconstruction of spatial sound field using compressed sensing", in Acoustics, Speech, and Signal Processing (ICASSP), IEEE International Conference on, 2011.
一例として、32個のマイクロホン素子をもつ球面マイクロホンアレーの場合、N≦4である。またL’を百以上に設定可能である。

＜外挿推定部２１６＞
外挿推定部２１６は、推定値a(ω)と仮想マイクロホンの位置情報(r,Ω)とを受け取り、仮想マイクロホンの位置(r,Ω)での周波数領域の収音信号u^(ω,r,Ω)(ただし、ω=1,2,…,F)を次式により推定し（Ｓ２１６）、出力する。

ただし、●は内積を意味し、k^- _lはl番目の平面波の入射方向に対応する波数ベクトルであり、次式により表される。

^Tは転置を表す。また、r^-はXYZ3次元空間における指定位置の表現であり、次式により表される。

なお、仮想マイクロホンの位置情報(r,Ω)は、例えば、音場推定装置２００の利用者により入力される。

＜短時間逆フーリエ変換部２１８＞
短時間逆フーリエ変換部２１８は、周波数領域の収音信号u^(ω,r,Ω)(ただし、ω=1,2,…,F)を受け取り、逆短時間フーリエ変換により、収音信号u^(ω,r,Ω)を時間領域の収音信号y(t,r,Ω)に変換し（Ｓ２１８）、出力する。なお、時間領域の信号を周波数領域の信号に変換する方法として、短時間フーリエ変換部２１１における変換方法に対応する方法を用いればよい。

＜効果＞
以上の構成により、従来技術よりも、外挿が有効な空間領域が大きい音場推定装置を実現することができる。

＜変形例１＞
第一実施形態では、１つの仮想的なマイクロホンを想定し、その位置で収音される信号を推定した。しかし、当然、複数の位置に仮想的なマイクロホンを想定してもよい。また、仮想的なマイクロホンを同一の球面上に配置することで、半径rの開球型の仮想的なマイクロホンアレーを構成することができる。例えば、P個の仮想的なマイクロホンを備える仮想的なマイクロホンアレーを構成した場合、音場推定装置２００は、P個の仮想マイクロホンの位置情報(r,Ω_p)(ただし、p=1,2,…,P)を受け取り、収音信号y(t,r,Ω_p)(ただし、p=1,2,…,P)を出力する。

仮想的なマイクロホンアレーが備える仮想的なマイクロホンの個数Pが1のとき、第一実施形態となるため、第一実施形態は変形例１の一例とも言える。

＜変形例２＞
第一実施形態の変形例１では、球面マイクロホンアレー１の中心と仮想的なマイクロホンアレーの中心とが同一である。しかし、次式により、仮想的なマイクロホンアレーの中心を変更することができる。仮想的なマイクロホンアレーの中心が、球面マイクロホンアレー１の中心（原点）から見てD=[d_x d_y d_z]の位置にあり、仮想的なマイクロホンアレーの球面上のp番目のマイクロホン位置をΩ_p=(θ_p,φ_p)(ただし、p=1,2,…,P)とするとき、外挿推定部２１６は、周波数領域の収音信号u^(ω,r,Ω_p)を次式により推定する。

音場推定装置２００は、仮想マイクロホンの中心DとP個の仮想マイクロホンの位置情報(r,Ω_p)(ただし、p=1,2,…,P)を受け取り、収音信号y(t,r,Ω_p)(ただし、p=1,2,…,P)を出力する。

図４は、第一実施形態、その変形例１及び変形例２における仮想マイクロホンの位置の概要を示している。なお、変形例２の仮想的なマイクロホンアレーの中心[d_x d_y d_z]が[0 0 0]のとき、変形例１となるため、変形例１は変形例２の一例とも言える。

＜第二実施形態＞
第一実施形態の変形例２と異なる部分を中心に説明する。

第一実施形態の変形例２では、仮想的に開球型のマイクロホンアレーを想定し、その収音信号を推定した。第二実施形態では、第一実施形態の変形例２の構成をベースとして、開球型のマイクロホンアレーの代わりに、仮想的に剛球型マイクロホンアレーを想定し、その収音信号を推定する。

図５は第二実施形態に係る音場推定装置３００の機能ブロック図を、図６はその処理フローを示す。

音場推定装置３００は、短時間フーリエ変換部２１１、球面波スペクトル変換部２１２、平面波分解部２１３、外挿推定部２１６及び短時間逆フーリエ変換部２１８を含み、さらに、アレー型変換部３１７を含む。

最初に、仮想的な球面マイクロホンアレーとして、参考文献３の二重式開球型の球面マイクロホンアレー(dual open sphere microphone array)による収音を想定する。このマイクロホンアレーではマイクロホン素子が半径rの球面もしくは半径αrの球面上に配置されており、α=1.2が推奨されている。
（参考文献３）I. Balmages, B. Rafaely, "Open-Sphere Designs for Spherical Microphone Arrays", IEEE Transactions on Audio, Speech, and Language Processing, vol. 15, no. 2, pp 727-732, 2007.

例えば、Q=P×2とし、Q個の仮想的なマイクロホン素子のうち、P個の仮想的なマイクロホン素子の位置を変形例２と同様とする。つまり、仮想的なマイクロホンアレーの中心が、球面マイクロホンアレー１の中心（原点）から見て[d_x d_y d_z]の位置にあり、仮想的なマイクロホンアレーの球面上のp番目の仮想的なマイクロホンの位置をΩ_p=(θ_p,φ_p)とする。Q個の仮想的なマイクロホン素子のうち、残りP個の仮想的なマイクロホンを中心が[d_x d_yd_z]、半径αrの球面上に配置し、q番目の仮想的なマイクロホンの位置をΩ_q=(θ_q,φ_q)=Ω_q=(θ_q,φ_q)とする。つまり、q番目のマイクロホンとp番目のマイクロホンとは、仮想的なマイクロホンアレーの中心からみて同じ方向にあり、q番目のマイクロホンまでの半径はrであり、q番目のマイクロホンまでの半径はαrである。

外挿推定部２１６は、推定値Aと仮想的なマイクロホンアレーの中心Dと、仮想マイクロホンのP個の位置情報(r,Ω_p)(ただし、p=1,2,…,P)とP個の位置情報(αr,Ω_q)(ただし、q=P+1,P+2,…,Q)とを受け取り、仮想マイクロホンの位置(r,Ω_p)及び(αr,Ω_q)での周波数領域の収音信号u^(ω,r,Ω_p)(ただし、p=1,2,…,P)、u^(ω,r,Ω_q)(ただし、q=P+1,P+2,…,Q)を推定し（Ｓ２１６）、出力する。なお、P個の位置情報(αr,Ω_q)(ただし、q=P+1,P+2,…,Q)に代えて、αのみを受け取る構成としてもよい。

＜アレー型変換部３１７＞
アレー型変換部３１７は、周波数領域の収音信号u^(ω,r,Ω_p)(ただし、p=1,2,…,P)、u^(ω,r,Ω_q)(ただし、q=P+1,P+2,…,Q)を受け取り、次式により、球面波スペクトルu_n,m(ω,r)およびu_n,m(ω,αr)に変換する。

開球型の球面マイクロホンアレーでは、特異点の影響によりj_n(kr)=0になるkおよびrで測定が不可能になる。しかしu_n,m(ω,r)とu_n,m(ω,αr)のうち、絶対値の大きい方を選択することで、二重式開球型の球面マイクロホンアレーは特異点の影響を回避することができる。

そこで、アレー型変換部３１７は、

を用い、
|u_n,m(ω,r)|>|u_n,m(ω,αr)|のとき

とし、|u_n,m(ω,r)|≦|u_n,m(ω,αr)|のとき

として、球面波スペクトルv_n,m(ω,r)を求める。

アレー型変換部３１７は、最後に逆球面波スペクトル変換

を適用する。これにより、最初に仮想的に設置した二重式開球型の球面マイクロホンアレーの位置に、半径ｒの剛球型マイクロホンアレーを設置した場合の収音信号を周波数領域で得ることができる。アレー型変換部３１７は周波数領域の信号v(ω,r,Ω_p)(ただし、p=1,2,…,P)を短時間逆フーリエ変換部２１８に出力する。

＜効果＞
このような構成とすることで、第一実施形態の変形例２と同様の効果を得ることができる。さらに、剛球型のマイクロホンアレーを設置した場合の収音信号を仮想的に得ることができる。

＜第三実施形態＞
剛球型マイクロホンアレーのバーチャルリアリティへの適用が、参考文献４で示されている。
（参考文献４）R. Duraiswami1, D. N. Zotkin1, Z. Li, E. Grassi, N. A. Gumerov, L. S. Davis, "High Order Spatial Audio Capture and Binaural Head-Tracked Playback over Headphones with HRTF Cues", Proceedings 119th convention of AES, 2005.

この参考文献４では、固定された剛球型マイクロホンアレーの収音信号および仮想的な頭部の方向を入力とし、指定方向に頭を向けたときに右耳および左耳に聞こえる信号（バイノーラル信号）を出力する方法が示されている。球面マイクロホンアレーが全方向に収音しているために、マイクロホン素子およびマイクロホンアレーを動かすことなく、指定された任意の方向に対応したバイノーラル信号を生成可能である。すなわち、受聴者の頭部回転をリアルタイムに計測して入力すると、その回転運動に追随してバイノーラル信号を生成して、受聴者に提示できる。

第二実施形態では、仮想的に設置した剛球型マイクロホンアレーの収音信号を求める方法を示した。この収音信号に対して、図７のようにこのバイノーラル信号生成法を組み合わせる構成が、本実施形態の構成である。

第二実施形態と異なる部分を中心に説明する。

図７は第三実施形態に係る音場推定装置４００の機能ブロック図を、図８はその処理フローを示す。

音場推定装置４００は、短時間フーリエ変換部２１１、球面波スペクトル変換部２１２、平面波分解部２１３、外挿推定部２１６、アレー型変換部３１７及び短時間逆フーリエ変換部２１８を含み、さらに、バイノーラル信号生成部４１９を含む。

＜バイノーラル信号生成部４１９＞
バイノーラル信号生成部４１９は、仮想的な頭部の方向（姿勢）と時間領域の収音信号y(t,r,Ω_p)(ただし、p=1,2,…,P、剛球型球面マイクロホンアレーの収音信号に相当)とを受け取り、例えば参考文献４に記載の方法により、これらの信号から仮想的な頭部の位置と方向におけるバイノーラル信号y(t,R),y(t,L)を生成し（Ｓ４１９）、音場推定装置４００の出力値として出力する。なお、仮想的な頭部の位置は、仮想的なマイクロホンアレーの中心D=[d_x d_y d_z]に相当し、時間領域の収音信号y(t,r,Ω_p)は、仮想的な頭部の位置における剛球型球面マイクロホンアレーの収音信号に相当する。そのため、バイノーラル信号生成部４１９では、仮想的な頭部の方向（姿勢）と時間領域の収音信号y(t,r,Ω_p)とから仮想的な頭部の位置と方向におけるバイノーラル信号y(t,R),y(t,L)を生成することができる。

参考文献４の手法は頭での回転運動にしか追随できず、頭の並進運動には対応できない。しかし、本実施形態の構成では、剛球型球面マイクロホンアレーを仮想的に並進移動させることができる。そのために本実施形態は、頭部の回転運動および並進運動の両方に追随してバイノーラル信号を生成することを可能にする。

＜その他の変形例＞
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。

＜プログラム及び記録媒体＞
また、上記の実施形態及び変形例で説明した各装置における各種の処理機能をコンピュータによって実現してもよい。その場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶部に格納する。そして、処理の実行時、このコンピュータは、自己の記憶部に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実施形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよい。さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

また、コンピュータ上で所定のプログラムを実行させることにより、各装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (8)

1. j=1,2,…,J、r_aを極座標の動径、θ_j及びφ_jを極座標の偏角、ωを時間周波数のインデックスとし、J個の位置(r_a,θ_j,φ_j)にそれぞれマイクロホンを備える球面マイクロホンアレーの収音信号y(r_a,θ_j,φ_j)から算出される球面波スペクトルu_n,m(ω,r_a)(n=0,1,…,N、m=-n,-n+1,…,n)を用いて、音場を構成する平面波の強度からなるベクトルを推定する平面波分解部と、
   ｒを極座標の動径、θ及びφを極座標の偏角とし、前記平面波の強度からなるベクトルの推定値a(ω)と仮想マイクロホンの位置(r,θ,φ)とを用いて、前記仮想マイクロホンの位置(r,θ,φ)での周波数領域の収音信号u^(ω,r,θ,φ)を推定する外挿推定部とを含む、
   音場推定装置。
2. 請求項１の音場推定装置であって、
   ||a(ω)||₁をa(ω)=[a₁(ω),a₂(ω),…,a_l'(ω),…,a_L'(ω)]^TのL1ノルムとし、Y_n ^m(Ω_l')をオーダーn、次数mの球調和関数とし、kを波数、b_n(kr_a)をモード強度関数とし、前記平面波分解部は、
   

   

   
   をコスト関数とし、
   

   

   
   を拘束条件とし、凸最適化問題を解くことで、前記平面波の強度からなるベクトルの推定値a(ω)を求め、
   iを虚数、Pを1以上の整数、p=1,2,…,Pとし、前記外挿推定部は、
   

   

   
   により、[d_x d_y d_z]を中心とする半径rの球体上の偏角θ_p及びφ_pの仮想的なマイクロホンの周波数領域の収音信号u^(ω,r,θ_p,φ_p)を推定する、
   音場推定装置。
3. 請求項１または請求項２の音場推定装置であって、
   αを所定の実数、p=1,2,…,Pとし、rを極座標の動径、θ_p及びφ_pを極座標の偏角、収音信号u^(ω,r,θ_p,φ_p)の球面波スペクトルu_n,m(ω,r)の絶対値|u_n,m(ω,r)|と、収音信号u^(ω,αr,θ_p,φ_p)の球面波スペクトルu_n,m(ω,αr)の絶対値|u_n,m(ω,αr)|との大小関係に基づき、剛球型マイクロホンアレーの収音信号から算出される球面波スペクトルv_n,m(ω,r)を推定するアレー型変換部を含む、
   音場推定装置。
4. 請求項３の音場推定装置であって、仮想的な頭部の位置を剛球型マイクロホンアレーの位置として、
   前記球面波スペクトルv_n,m(ω,r)から得られるP個の時間領域の収音信号y(t,r,Ω_p)と仮想的な頭部の方向に基づき、仮想的な頭部の位置と方向におけるバイノーラル信号を生成するバイノーラル信号生成部を含む、
   音場推定装置。
5. j=1,2,…,J、r_aを極座標の動径、θ_j及びφ_jを極座標の偏角、ωを時間周波数のインデックスとし、J個の位置(r_a,θ_j,φ_j)にそれぞれマイクロホンを備える球面マイクロホンアレーの収音信号y(r_a,θ_j,φ_j)から算出される球面波スペクトルu_n,m(ω,r_a)(n=0,1,…,N、m=-n,-n+1,…,n)を用いて、音場を構成する平面波の強度からなるベクトルを推定する平面波分解ステップと、
   ｒを極座標の動径、θ及びφを極座標の偏角とし、前記平面波の強度からなるベクトルの推定値a(ω)と仮想マイクロホンの位置(r,θ,φ)とを用いて、前記仮想マイクロホンの位置(r,θ,φ)での周波数領域の収音信号u^(ω,r,θ,φ)を推定する外挿推定ステップとを含む、
   音場推定方法。
6. 請求項５の音場推定方法であって、
   αを所定の実数、p=1,2,…,Pとし、rを極座標の動径、θ_p及びφ_pを極座標の偏角、収音信号u^(ω,r,θ_p,φ_p)の球面波スペクトルu_n,m(ω,r)の絶対値|u_n,m(ω,r)|と、収音信号u^(ω,αr,θ_p,φ_p)の球面波スペクトルu_n,m(ω,αr)の絶対値|u_n,m(ω,αr)|との大小関係に基づき、剛球型マイクロホンアレーの収音信号から算出される球面波スペクトルv_n,m(ω,r)を推定するアレー型変換ステップを含む、
   音場推定方法。
7. 請求項６の音場推定方法であって、仮想的な頭部の位置を剛球型マイクロホンアレーの位置として、
   前記球面波スペクトルv_n,m(ω,r)から得られるP個の時間領域の収音信号y(t,r,Ω_p)と仮想的な頭部の方向に基づき、仮想的な頭部の位置と方向におけるバイノーラル信号を生成するバイノーラル信号生成ステップを含む、
   音場推定方法。
8. 請求項１から請求項４の何れかの音場推定装置としてコンピュータを機能させるためのプログラム。

Images