JP2017028494A - 音場収音再生装置、その方法及びプログラム - Google Patents

Abstract

【課題】音場を機動的に収音することができる音場収音再生装置等を提供する。【解決手段】音場収音再生装置は、基準座標系における各マイクロホンアレイの位置から得られる物体座標系の原点位置と、各マイクロホンアレイの姿勢から得られる物体座標系から基準座標系への回転変換行列とを用いて、各マイクホンアレイに搭載された各マイクロホンの基準座標系における座標を得、その座標から仮想マイクロホンアレイのマイクロホンの座標への伝搬を記述する自由空間グリーン関数と、各マイクロホンアレイの周波数領域の収音信号とから各マイクロホンアレイでキャプチャした音波面から仮想マイクロホンアレイに直接伝搬する波面を求め、複数の波面を加算し、各マイクロホンアレイでキャプチャした音波面から仮想マイクロホンアレイに直接伝搬する波面の合計値を求める。【選択図】図２

Description

本発明は、ある音場に設置されたマイクロホンアレイで音信号を収音し、その音信号を用いてスピーカアレイでその音場を再生する波面合成法（Wave Field Synthesis）の技術に関する。

音波面を多数のマイクロホンでキャプチャし、波面再構成フィルタ（wave field reconstruction filter：以下「ＷＦＲフィルタ」ともいう）で処理し、多数のスピーカで再構成することで、音場を伝送し再現することが可能になっている（非特許文献１）。そのシステムは、マイクロホンアレイ１、ＷＦＲフィルタ４、スピーカアレイ７から構成され（図１参照）、マイクロホンアレイ１を構成するマイクロホン１−ｐとスピーカアレイ７を構成するスピーカ７−ｐの総数Pは数十以上になる。ただし、p=1,2,…,Pとする。P個のマイクロホン１−ｐは数ｃｍ以下の間隔で等間隔に配置され、P個のスピーカ７−ｐも同じ間隔で等間隔に配置される。ＷＦＲフィルタ４は、短時間フーリエ変換部４１、空間フーリエ変換部４２、時空間周波数領域でのフィルタ部４３、空間逆フーリエ変換部４４、短時間逆フーリエ変換部４５からなる。フィルタ部４３で用いるフィルタ係数は波面の伝搬を記述するキルヒホッフ・ヘルムホルツ方程式から導出される。この方法は、音場をそのまま再現するために、３Ｄ映像コンテンツと組み合わせたときに、音の臨場感を飛躍的に高めることができる。またこの方法による音場再現は、多人数へ等しく臨場感を提供でき、受聴エリアがこれまでのマルチチャネル再生方法と比較してとても広い。

小山、「音場再現技術における数理問題」、日本音響学会誌、2012年、Vol.68、No.11,pp.584-589.

しかしながら、従来技術では、広い範囲で音波面をキャプチャし再構成するために長さ数ｍ以上のマイクロホンアレイが必要になる。そのため、音場を機動的に収音することが非常に困難である。例えば、対象が動いているときに、その動きにマイクロホンアレイを追随させたり、対象にマイクロホンアレイを近づけたりすることが困難である。それは、マイクロホンアレイが長さ数ｍ以上になるため、ビデオカメラのようには機動的に動かせないためである。

本発明は、音場を機動的に収音することができる音場収音再生装置、その方法及びプログラムを提供することを目的とする。

上記の課題を解決するために、本発明の一態様によれば、音場収音再生装置は、Mを2以上の整数の何れか、m=1,2,…,M、P_mを2以上の整数の何れかとし、第一の音場にはM個のマイクロホンアレイmが配置されるものとし、各マイクロホンアレイmにはP_m個のマイクロホンが搭載されるものとし、P'を2以上の整数の何れか、p'=1,2,…,P'とし、仮想的に配置され、P'個のマイクロホンp'が仮想的に搭載されるマイクロホンアレイを仮想マイクロホンアレイとし、仮想マイクロホンアレイの座標系を基準座標系とし、各マイクロホンアレイmの座標系を物体座標系とし、仮想マイクロホンアレイに仮想的に搭載されるマイクロホンp'の基準座標系における座標をr_v(p')とし、基準座標系における各マイクロホンアレイの位置から得られる物体座標系の原点位置s_mと、各マイクロホンアレイの姿勢から得られる物体座標系から基準座標系への回転変換行列R_mとを用いて、各マイクホンアレイmに搭載された各マイクロホンp_mの基準座標系における座標r_m(p)を得、座標r_m(p)から座標r_V(p')への伝搬を記述する自由空間グリーン関数G(r_m(p),r_V(p'))と、各マイクロホンアレイmの周波数領域の収音信号X_m=[X_m(1)X_m(2)…X_m(P_m)]とから各マイクロホンアレイmでキャプチャした音波面から仮想マイクロホンアレイに直接伝搬する波面X_V,m(p')を求めるアレイブロック伝搬部と、M個の波面X_V,m(p')を加算し、M個の各マイクロホンアレイmでキャプチャした音波面から仮想マイクロホンアレイに直接伝搬する波面の合計値X_V(p')を求める伝搬加算部と、を含む。

上記の課題を解決するために、本発明の他の態様によれば、音場収音再生方法は、Mを2以上の整数の何れか、m=1,2,…,M、P_mを2以上の整数の何れかとし、第一の音場にはM個のマイクロホンアレイmが配置されるものとし、各マイクロホンアレイmにはP_m個のマイクロホンが搭載されるものとし、P'を2以上の整数の何れか、p'=1,2,…,P'とし、仮想的に配置され、P'個のマイクロホンp'が仮想的に搭載されるマイクロホンアレイを仮想マイクロホンアレイとし、仮想マイクロホンアレイの座標系を基準座標系とし、各マイクロホンアレイmの座標系を物体座標系とし、仮想マイクロホンアレイに仮想的に搭載されるマイクロホンp'の基準座標系における座標をr_v(p')とし、基準座標系における各マイクロホンアレイの位置から得られる物体座標系の原点位置s_mと、各マイクロホンアレイの姿勢から得られる物体座標系から基準座標系への回転変換行列R_mとを用いて、各マイクホンアレイmに搭載された各マイクロホンp_mの基準座標系における座標r_m(p)を得、座標r_m(p)から座標r_V(p')への伝搬を記述する自由空間グリーン関数G(r_m(p),r_V(p'))と、各マイクロホンアレイmの周波数領域の収音信号X_m=[X_m(1)X_m(2)…X_m(P_m)]とから各マイクロホンアレイmでキャプチャした音波面から仮想マイクロホンアレイに直接伝搬する波面X_V,m(p')を求めるアレイブロック伝搬ステップと、M個の波面X_V,m(p')を加算し、M個の各マイクロホンアレイmでキャプチャした音波面から仮想マイクロホンアレイに直接伝搬する波面の合計値X_V(p')を求める伝搬加算ステップと、を含む。

本発明によれば、音場を機動的に収音することができるという効果を奏する。

従来技術に係る音場収音再生装置の機能ブロック図。 第一実施形態に係る音場収音再生装置の機能ブロック図。 第一実施形態に係る音場収音再生装置の処理フローの例を示す図。 仮想マイクロホンアレイと各マイクロホンアレイ間の位置計測と計測結果の取り扱い説明するための図。 マイクロホンアレイの一部が仮想マイクロホンアレイよりも後方にある場合を説明するための図。 第一実施形態の変形例に係るアレイブロック伝搬部の処理を説明するための図。 第二実施形態に係る音場収音再生装置の機能ブロック図。 第二実施形態の変形例に係る音場収音再生装置の機能ブロック図。 第二実施形態の変形例に係る音場収音再生装置の機能ブロック図。

以下、本発明の実施形態について、説明する。以下の説明において、テキスト中で使用する記号「~」、「⁻」等は、本来直前の文字の真上に記載されるべきものであるが、テキスト記法の制限により、当該文字の直後に記載する。式中においてはこれらの記号は本来の位置に記述している。また、ベクトルや行列の各要素単位で行われる処理は、特に断りが無い限り、そのベクトルやその行列の全ての要素に対して適用されるものとする。

＜第一実施形態のポイント＞
本実施形態では、従来技術では長さ数ｍ以上もあったマイクロホンアレイを、それよりも小さいマイクロホンアレイに分割し、マイクロホンアレイの可搬性を高め、音場の機動的な収音を可能とする。しかし、線状、あるいは、面状に配置されるマイクロホンアレイを分割し、各マイクロホンアレイの位置や姿勢（向き、方向）を変えてしまうと、従来技術では、複数のマイクロホンアレイでそれぞれキャプチャした音波面を、再生側のスピーカアレイで適切に再構成することができない。本実施形態では、各マイクロホンアレイの位置、姿勢をセンシングし、各マイクロホンアレイでキャプチャした音波面を仮想的な単一のマイクロホンアレイ（以下「仮想マイクロホンアレイ」ともいう）へに仮想的に伝搬させ、そこで統合する。

＜第一実施系板に係る音場収音再生装置＞
図２は第一実施形態に係る音場収音再生装置１００の機能ブロック図を、図３はその処理フローを示す。

音場収音再生装置１００は、M個のマイクロホンアレイ１_ｍと、仮想アレイ合成部３と波面再構成フィルタ５とスピーカアレイ７とを含む。ただし、Mは２以上の整数の何れかであり、m=1,2,…,Mである。さらに、仮想アレイ合成部３は、M個の短時間フーリエ変換部３１_ｍと、M個のアレイブロック伝搬部３２_ｍと、伝搬加算部３５と、位置姿勢計測部３７とを含む。波面再構成フィルタ５は、空間フーリエ変換部５２と、フィルタ部５３と、空間逆フーリエ変換部５４と、短時間逆フーリエ変換部５５とを含む。

M個のマイクロホンアレイ１_ｍで収音された時間領域の収音信号x_m(t)は、仮想アレイ合成部３に入力される。ただし、tは時刻を表すインデックスである。M個の収音信号x_m(t)は、それぞれM個の短時間フーリエ変換部３１_ｍにより周波数領域の収音信号X_m(i)へ変換される。ただし、iはフレーム時刻を表すインデックスである。各マイクロホンアレイ１_ｍの位置と姿勢は位置姿勢計測部３７により計測される。M個のアレイブロック伝搬部３２_ｍにおいて、各マイクロホンアレイ１_ｍから仮想マイクロホンアレイへの音波面の伝搬が算出される。各伝搬波面は伝搬加算部３５でミキシングにより統合される。この結果が、後段の波面再構成フィルタ５への入力となる。以下、各部の詳細を説明する。

＜マイクロホンアレイ１_ｍ＞
第一の音場にM個のマイクロホンアレイ１_ｍが配置され、各マイクロホンアレイ１_ｍにはP_m個の無指向性マイクロホン１−ｐ_ｍが間隔ｄで等間隔に搭載される。本実施形態では、P₁=P₂=…=P_M=Pとし、p_m=1_m,2_m,…,P_m（ただし、下付き添え字ｍはマイクロホンアレイを示すインデックスである）の場合を説明する。

第一の音場に配置されたM個のマイクロホンアレイ１_ｍは、第一の音場の音源Ｓで発せられた音を収音して（Ｓ１）、時間領域の収音信号x_m(t)を生成する。生成された信号は、仮想アレイ合成部３内の短時間フーリエ変換部３１_ｍに送られる。マイクロホンアレイ１_ｍに搭載されるp番目のマイクロホン１−ｐ_ｍで収音された時間領域の時刻ｔの収音信号をx_m(p,t)と表記する。ただし、p=1,2,…,Pとし、x_m(t)=[x_m(1,t),x_m(2,t),…,x_m(P,t)]とする。

＜短時間フーリエ変換部３１_ｍ＞
短時間フーリエ変換部３１_ｍは、マイクロホンアレイ１_ｍに搭載されるP個のマイクロホンで収音された時間領域の信号x_m(t)をフーリエ変換により周波数領域信号X_m(i)=[X_m(1,i),X_m(2,i),…,X_m(P,i)]に変換する（Ｓ３１）。生成された周波数領域信号X_m(i)は、アレイブロック伝搬部３２_ｍに送られる。例えば、短時間離散フーリエ変換により周波数領域信号X_m(p,i)が生成される。もちろん、他の既存の方法により周波数領域信号X_m(p,i)を生成してもよい。また、オーバーラップアド等の方法にしたがって周波数領域信号X_m(p,i)を生成してもよい。入力信号が長い場合や、リアルタイム処理のように連続して信号が入力される場合には、例えば10msごとといったフレームごとに処理を行う。例えば、ｍ番目のマイクロホンアレイ１_ｍ上のｐ番目のマイクロホン１−ｐ_ｍで収音された信号x_m(p,t)を、Ｆ点（シフト長）ごとに長さ２Ｆ（フレーム長）のフレームにフレーム化し、短時間フーリエ変換部３１_ｍにより次式のように高速フーリエ変換（ＦＦＴ）することで、周波数ごとに波面がキャプチャされる。

ただしiはブロック化した信号フレームのフレーム時刻である。信号のサンプリング周波数をf_Sとすると、X_m,f(p,i)はフレームiにおけるマイクロホン１−ｐ_ｍの収音信号の周波数f_Sf/2F[Hz]の成分を表す。

＜位置姿勢計測部３７＞
位置姿勢計測部３７は、各マイクロホンアレイ１_ｍの位置と姿勢とを計測し（Ｓ３７）、出力する。

仮想マイクロホンアレイ９と各マイクロホンアレイ１_ｍ間の位置計測と計測結果の取り扱いを図４をもちいて説明する。

第一の音場に、P'個のマイクロホンp'が間隔ｄで等間隔に仮想的に搭載されるマイクロホンアレイ（以下「仮想マイクロホンアレイ」ともいう）９を仮想的に配置する。なお、P'を2以上の整数の何れか、p'=1,2,…,P'とする。

仮想マイクロホンアレイ９の座標系を基準座標系(X_v,Y_v,Z_v)とし、各マイクロホンアレイ１_ｍにはりつけた座標系を物体座標系(X_m,Y_m,Z_m)とし、マイクロホンアレイ１_ｍ毎に物体座標系(X_m,Y_m,Z_m)を持つ。仮想マイクロホンアレイに仮想的に搭載されるマイクロホン９−ｐ’の基準座標系における座標をr_v(p')とし、各マイクロホンアレイ１_ｍの位置から得られる、基準座標系における物体座標系の原点位置をs_m(i)とし、各マイクロホンアレイ１_ｍの姿勢から得られる物体座標系(X_m,Y_m,Z_m)から基準座標系(X_v,Y_v,Z_v)への回転変換行列をR_m(i)とする。

基準座標系(X_v,Y_v,Z_v)と各マイクロホンアレイ１_ｍにはりつけた物体座標系(X_m,Y_m,Z_m)との関係は、例えば、磁気式の位置姿勢計測システムをもちい、各マイクロホンアレイ１_ｍに磁気センサを搭載することで計測できる（参考文献１）。
（参考文献１）舘ススム、広瀬通孝、「バーチャル・テック・ラボ―「超」現実への接近」、株式会社工業調査会、１９９２年、p.36-39

もしくは、複数台のカメラを使用し、三角測量の原理で計測することも可能である。これら方式にもとづく位置姿勢計測部３７により、基準座標系(X_v,Y_v,Z_v)における物体座標系(X_m,Y_m,Z_m)の原点位置s_m(i)、物体座標系(X_m,Y_m,Z_m)から基準座標系(X_v,Y_v,Z_v)への回転変換行列R_m(i)が毎フレーム時刻iで求められる。なお、各マイクロホンアレイ１_ｍの位置及び姿勢と、原点位置s_m(i)及び回転変換行列R_m(i)とはそれぞれ等価な関係にあり、上述の通り位置姿勢計測部３７において原点位置s_m(i)及び回転変換行列R_m(i)を求めてもよいし、位置と姿勢とから各アレイブロック伝搬部３２_ｍにおいて原点位置s_m(i)及び回転変換行列R_m(i)を求めてもいよい。

＜アレイブロック伝搬部３２_ｍ＞
アレイブロック伝搬部３２_ｍは、周波数領域信号X_m(i)と、原点位置s_m(i)及び回転変換行列R_m(i)とを受け取る。

まず、アレイブロック伝搬部３２_ｍは、原点位置s_m(i)と回転変換行列R_m(i)とを用いて、基準座標系におけるマイクロホン１−ｐ_ｍの座標r_m(p,i)を得る。例えば、マイクロホン１−ｐ_ｍの位置が物体座標系で[pd,0,0]で与えられるとする。フレーム時刻iにおいて、基準座標系から見たマイクロホン１−ｐ_ｍの座標r_m(p,i)は、原点位置s_m(i)と回転変換行列R_m(i)とを用いて、次式で求めることができる。

次に、アレイブロック伝搬部３２_ｍは、座標r_m(p,i)から座標r_V(p')への伝搬を記述する自由空間グリーン関数G(r_m(p),r_V(p'))と、各マイクロホンアレイ１_ｍの周波数領域の収音信号X_m(i)とから各マイクロホンアレイ１_ｍでキャプチャした音波面から仮想マイクロホンアレイ９に搭載されるマイクロホン９−ｐ’に直接伝搬する波面X_V,m(p',i)を求め（Ｓ３２）、X_V,m(i)=[X_V,m(1,i),X_V,m(2,i),…,X_V,m(P',i)]を出力する。ただし、X_V,m(p',i)=[X_V,m(p',i,0),…,X_V,m(p',i,f),…,X_V,m(p',i,2F-1)]^Tである。

例えば、参考文献２によれば、以下のモデルにより、上述の波面X_V,m(p',i)を計算することができる。
（参考文献２）A.J. Berkhout, D.D. Vries and P. Vogel, "Acoustic control by wave field synthesis", J Acoust. Soc Am, 93, p.2764-2778 (1993)
(i)マイクロホンアレイ１_ｍ上の各マイクロホン１−ｐ_ｍの素子の位置に、ダイポール特性を持つスピーカ素子を仮想的に配置する。
(ii)マイクロホンアレイ１_ｍの各マイクロホン１−ｐ_ｍの収音信号x_m(p,t)を、このスピーカ素子で再生する。
(iii)再生したときに、仮想マイクロホンアレイ９上の各マイクロホン９−ｐ’の素子で収音される収音信号を求める。

このモデルは、キルヒホッフ・ヘルムホルツ積分方程式をもとに導かれている。ダイポール特性を持つスピーカは、近接配置された２つの無指向性スピーカで表現できる。この２つの無指向性スピーカ間の間隔を２δとする。上述のモデルは、グリーン関数をもちいて次式で表現できる。

なお、r⁺ _m(p,i)及びr^- _m(p,i)は、フレームｉにおける、マイクロホン１_ｍのp番目のマイクロホンの位置に仮想的に配置されるダイポール特性を持つスピーカ素子に相当する２個の無指向性のスピーカの位置である。例えば、収音信号の周波数として20kHz以下を想定する場合には、δを0.5cm以下に設定すればよい。また、

は基準座標系における仮想マイクロホンアレイ９上のp’番目のマイクロホン９−ｐ’の位置である。G(r₁,r₂,f)は周波数ｆにおける自由空間グリーン関数であり、位置ｒ_１から位置ｒ_２への伝搬は次式により記述される。

ただし、ｊは虚数単位を、ｃは音速を表す。

＜伝搬加算部３５＞
伝搬加算部３５は、M個のX_V,m(i)を受け取り、これらの値を加算し（Ｓ３５）、M個の各マイクロホンアレイ１_ｍでキャプチャした音波面から仮想マイクロホンアレイ９に直接伝搬する波面の合計値X_V(p',i)=[X_V(p',i,0),…,X_V(p',i,f),…,X_V(p',i,2F-1)]^Tを求め（Ｓ３５）、出力する。ただし、前述の通りX_V,m(i)=[X_V,m(1,i),X_V,m(2,i),…,X_V,m(P',i)]、X_V,m(p',i)=[X_V,m(p',i,0),…,X_V,m(p',i,f),…,X_V,m(p',i,2F-1)]^Tであり、各マイクロホン９−ｐ’、各フレームｉ及び各周波数ｆの組合せ毎に加算すればよい。

例えば、次式により、M個のマイクロホンアレイ１_ｍから仮想マイクロホンアレイ９のマイクロホン９−ｐ’への波面の仮想伝搬および加算をまとめて記述することができる。

この仮想マイクロホンアレイ９における収音信号（波面X_V(p',i,f)）は周波数領域信号であり、これを後段の波面再構成フィルタ５に入力する。各信号はすでに周波数領域に変換されているため、波面再構成フィルタ５の内部では、時間領域信号を周波数領域へ変換する必要が無く、この周波数領域の入力信号（波面X_V(p',i,f)）に空間ＦＦＴを適用すればよい。よって、空間フーリエ変換部５２、フィルタ部５３、空間逆フーリエ変換部５４、短時間逆フーリエ変換部５５における処理は、従来技術（例えば、非特許文献１や参考文献３、参考文献４）の空間フーリエ変換部４２、フィルタ部４３、空間逆フーリエ変換部４４、短時間逆フーリエ変換部４５における処理と同じである。また、スピーカアレイ７の再生方法や配置も従来技術と同様である。
（参考文献３）S Koyama, K Furuya, Y Hiwasaki, Y Haneda,"Design of transform filter for sound field reproduction using microphone array and loudspeaker array", Applications of Signal Processing to Audio and Acoustics (WASPAA), 2011 IEEE ,p.5-8
（参考文献４）
S. Koyama and K. Furuya and H. Uematsu and Y. Hiwasaki and Y. Haneda, "Real-Time Sound Field Transmission System by Using Wave Field Reconstruction Filter and Its Evaluation", IEICE Trans. Fundamentals., E97-A, 9, 2014, pp.1840--1848.

＜効果＞
以上の構成により、従来技術のマイクロホンアレイよりも小さなマイクロホンアレイを複数用いて、可搬性を高め、従来よりも音場を機動的に収音することができる。

＜変形例＞
第一実施形態では、仮想マイクロホンアレイ９がM個のマイクロホンアレイ１_ｍ全ての後方に位置することが想定されていた。すなわち第一実施形態では、前方の音源からの音波面をM個のマイクロホンアレイ１_ｍでキャプチャし、マイクロホンアレイ１_ｍの後方にある仮想マイクロホンアレイ９へ仮想伝搬させて統合している。本変形例では、この想定が成立しないケースの扱いかたを示す。

上記想定が成立しないケースの例を図５に示す。ここではマイクロホンアレイ１_３の一部が仮想マイクロホンアレイ９よりも後方にある。マイクロホンアレイ１_３上のマイクロホンには、仮想マイクロホンアレイの前方にあるものと、後方にあるものが混在している。

第一実施形態の仮想アレイ合成部３から、マイクロホンアレイ１_３上のP個のマイクロホンの位置は全て基準座標系で分かっている。そのためどのマイクロホンが仮想マイクロホンアレイよりも後方に位置するかを検出できる。そのため、後方に位置するマイクロホンの信号について、式３及び式６の計算から除外すればよい。つまり、仮想マイクロホンアレイ９よりも各マイクロホン１−ｐ_ｍの座標r_m(p)が、音源に対して、後方に位置する場合には、そのマイクロホン１−ｐ_ｍの収音信号X_m(p)を波面X_V,m(p')を求める際に除外する。

例えば、基準座標系の原点を(0,0,0)として、X_v-Z_v平面上に仮想マイクロホンアレイ９のマイクロホン９−ｐ’が位置するように設定し、基準座標系においてy≧0側に音源がある場合には、基準座標系においてy≧0となるマイクロホンは仮想マイクロホンアレイ９よりも前方にあるものとし、y＜0に位置するマイクロホンは仮想マイクロホンアレイ９よりも後方にあるものとする。このとき、アレイブロック伝搬部３２_ｍは、座標r_m(p,i)から座標r_V(p')への伝搬を記述する自由空間グリーン関数G(r_m(p),r_V(p'))と、各マイクロホンアレイ１_ｍの周波数領域の収音信号X_m(i)とから各マイクロホンアレイ１_ｍでキャプチャした音波面から仮想マイクロホンアレイ９に搭載されるマイクロホン９−ｐ’に直接伝搬する波面X_V,m(p',i)を求めるが、式３のように、全ての伝搬を加算するのではなく、座標r_m(p,i)のY_v値が0以上の場合のみ、その座標r_m(p,i)に対応する伝搬を加算する（図６参照）。これは、本来の波面伝搬が、(1)音源 → (2)マイクロホンアレイ１_ｍ上にあり仮想マイクロホンアレイ９より前方のマイクロホン → (3)仮想マイクロホンアレイ９であるため、仮想マイクロホンアレイ９より後方のマイクロホンを式３及び式６の計算により加算すると、適切な波面伝搬ができないためである。

通常、音源が仮想マイクロホンアレイ９より前方になるように仮想マイクロホンアレイ９を設定する。このとき、音源、マイクロホンアレイ１_ｍの少なくとも何れかが移動等することを想定すると、仮想マイクロホンアレイ９の前方領域が広くなるように、音源から仮想マイクロホンアレイ９を離して設定する必要がある。しかし、音源とマイクロホンアレイ１_ｍとの距離が離れすぎると、適切な収音が困難になる。そこで、この変形例の構成により、適切な収音と波面伝搬を同時に実現している。なお、各マイクロホン１−ｐ_ｍが仮想マイクロホンアレイ９よりも前方にあるか、後方にあるかは、仮想マイクロホンアレイ９の位置及び姿勢と、音源の位置から適宜設定すればよい。

＜その他の変形例＞
第一実施形態におけるM個のマイクロホンアレイでは、マイクロホンを直線状に等間隔に配置している。しかし、この配置は本発明の原理を制約するものではなく、マイクロホンを湾曲線上に配置したり、非等間隔に配置することも可能である。

音場収音再生装置を構成する各部は、第一の音場に配置された収音装置と第二の音場に配置された再生装置の何れに備えられていてもよい。換言すれば、短時間フーリエ変換部３１_ｍ、アレイブロック伝搬部３２_ｍ、位置姿勢計測部３７、伝搬加算部３５、空間フーリエ変換部５２、フィルタ部５３、空間逆フーリエ変換部５４、短時間逆フーリエ変換部５５のそれぞれの処理は、第一の音場に配置された収音装置で実行されてもよいし、第二の音場に配置された再生装置で実行されてもよい。収音装置で生成された信号は、再生装置に送信される。

第一の音場と第二の音場の位置は、図１に示したものに限定されない。第一の音場と第二の音場は、隣接していても互いに離れた位置にあってもよい。また、第一の音場と第二の音場の向きもどのようなものであってもよい。

音場収音再生装置は、アレイブロック伝搬部３２_ｍ、伝搬加算部３５を含みさえすれば、他の部を備えていなくてもよい。例えば、位置姿勢計測部３７を含まずに、人手により、マイクロホン１_ｍの位置、姿勢を入力してもよい。ただし、仮想マイクロホンアレイ９とマイクロホン１_ｍとの位置関係、仮想マイクロホンアレイ９に対するマイクロホン１_ｍの姿勢により、波面X_V,m(p',i)の値が変動するため、即座に適切な信号を再生するためには、位置姿勢計測部３７を用いることが望ましい。また、音場収音再生装置は、再生側に配置され、アレイブロック伝搬部３２_ｍ、伝搬加算部３５、フィルタ部５３、空間逆フーリエ変換部５４及び短時間逆フーリエ変換部５５から構成されていてもよい。また、音場収音再生装置は、収音側に配置され、短時間フーリエ変換部３１_ｍ、アレイブロック伝搬部３２_ｍ、伝搬加算部３５から構成されていてもよい。

また、本実施形態では、マイクロホンアレイ１_ｍに搭載されるマイクロホン１−ｐ_ｍの総数をP個としたが、マイクロホンアレイ１_ｍ毎に搭載されるマイクロホン１−ｐ_ｍの総数を変え、P_m個としてもよい。この場合、次式により、波面X_V,m(p',i)を求めればよい。

また、スピーカアレイ７に搭載されるスピーカの個数については特に限定していないが、例えば、仮想マイクロホンアレイ９に搭載されるマイクロホン９−ｐ’の総数と同じP'個でもよいし、再生装置側で、再生信号を補完することでスピーカの個数をP'個よりも多くしてもよいし、間引くことでスピーカの個数をP'個よりも小さくしてもよい。このとき、P'は伝送のチャネル数を表す。

＜第二実施形態＞
図７は第二実施形態に係る音場収音再生装置１００の機能ブロック図を示す。

音場収音再生装置１００は、M個のマイクロホンアレイ１_ｍと、受信部２と仮想アレイ合成部３と波面再構成フィルタ５とスピーカアレイ７と収音信号同期部８とを含む。各マイクロホンアレイ１_ｍは、送信部１_ｍ−ｓを含む。この構成では、マイクロホンアレイ１_ｍと後段の信号処理部が別装置になっており、その間を無線通信で接続する。

また、各マイクロホンアレイ１_ｍの内部では時刻が同期しており、各マイクロホンアレイ１_ｍは、時間領域の収音信号x_m(t)を生成するとともに、時刻情報を付与して、時刻情報付き収音信号x_m,time(t)を送信部１_ｍ−ｓを介して無線で送信する。なお、時刻情報付き収音信号x_m,time(t)は、符号化技術によりエンコードされて送信され、受信後にデコードされてもよい。受信部２は、各マイクロホンアレイ１_ｍから時刻情報付き収音信号x_m,time(t)を受信し、収音信号同期部８に出力する。収音信号同期部８は、時刻情報に基づき時刻情報付き収音信号x_m,time(t)を同期させ、同期させた収音信号x_m(t)を仮想アレイ合成部３に出力する。仮想アレイ合成部３以降の処理は第一実施形態と同様である。

この装置構成は、各マイクロホンアレイ１_ｍがケーブル等により拘束されないために、機動性がさらに高まるというメリットを持つ。

＜変形例＞
なお、図８では、図２や図７のように処理結果の多チャネルの再生信号をスピーカアレイ７に出力するかわりに、ハードディスク等の記憶部１２に蓄積保管するケースを示している。

収音信号同期部８、仮想アレイ合成部３、波面再構成フィルタ５の処理は、図９のように受信部２からネットワーク１１を経由して離れた場所にある計算機上で実行することも可能である。この構成では汎用コンピュータによるサーバを信号処理に使用することができるため、専用の信号処理装置を用意しなくてもよいというメリットを持つ。

＜その他の変形例＞
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。

＜プログラム及び記録媒体＞
また、上記の実施形態及び変形例で説明した各装置における各種の処理機能をコンピュータによって実現してもよい。その場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶部に格納する。そして、処理の実行時、このコンピュータは、自己の記憶部に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実施形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよい。さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

また、コンピュータ上で所定のプログラムを実行させることにより、各装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (8)

1. Mを2以上の整数の何れか、m=1,2,…,M、P_mを2以上の整数の何れかとし、第一の音場にはM個のマイクロホンアレイmが配置されるものとし、各マイクロホンアレイmにはP_m個のマイクロホンが搭載されるものとし、
   P'を2以上の整数の何れか、p'=1,2,…,P'とし、仮想的に配置され、P'個のマイクロホンp'が仮想的に搭載されるマイクロホンアレイを仮想マイクロホンアレイとし、仮想マイクロホンアレイの座標系を基準座標系とし、各マイクロホンアレイmの座標系を物体座標系とし、仮想マイクロホンアレイに仮想的に搭載されるマイクロホンp'の基準座標系における座標をr_v(p')とし、基準座標系における前記各マイクロホンアレイの位置から得られる物体座標系の原点位置s_mと、前記各マイクロホンアレイの姿勢から得られる物体座標系から基準座標系への回転変換行列R_mとを用いて、各マイクホンアレイmに搭載された各マイクロホンp_mの基準座標系における座標r_m(p)を得、座標r_m(p)から座標r_V(p')への伝搬を記述する自由空間グリーン関数G(r_m(p),r_V(p'))と、前記各マイクロホンアレイmの周波数領域の収音信号X_m=[X_m(1) X_m(2) … X_m(P_m)]とから各マイクロホンアレイmでキャプチャした音波面から前記仮想マイクロホンアレイに直接伝搬する波面X_V,m(p')を求めるアレイブロック伝搬部と、
   M個の前記波面X_V,m(p')を加算し、M個の前記各マイクロホンアレイmでキャプチャした音波面から前記仮想マイクロホンアレイに直接伝搬する波面の合計値X_V(p')を求める伝搬加算部と、を含む、
   音場収音再生装置。
2. 請求項１の音場収音再生装置であって、
   前記各マイクロホンアレイmに搭載されるマイクロホン間の間隔をdとし、前記各マイクロホンアレイmの各マイクロホンの位置にダイポール特性を持つスピーカが仮想的に配置されるものとし、そのスピーカは近接配置された2つの無指向性スピーカで表現されるものとし、2つの無指向性スピーカの間隔を2δとし、前記アレイブロック伝搬部は、前記波面X_V,m(p')を
   

   

   
   として求める、
   音場収音再生装置。
3. 請求項２の音場収音再生装置であって、
   前記アレイブロック伝搬部は、前記仮想マイクロホンアレイよりも各マイクロホンの座標r_m(p)が、音源に対して、後方に位置する場合には、そのマイクロホンの収音信号X_m(p)を前記波面X_V,m(p')を求める際に除外する、
   音場収音再生装置。
4. 請求項１から請求項３の何れかの音場収音再生装置であって、
   前記各マイクロホンアレイmの位置と姿勢とを計測する位置姿勢計測部を含む、
   音場収音再生装置。
5. Mを2以上の整数の何れか、m=1,2,…,M、P_mを2以上の整数の何れかとし、第一の音場にはM個のマイクロホンアレイmが配置されるものとし、各マイクロホンアレイmにはP_m個のマイクロホンが搭載されるものとし、
   P'を2以上の整数の何れか、p'=1,2,…,P'とし、仮想的に配置され、P'個のマイクロホンp'が仮想的に搭載されるマイクロホンアレイを仮想マイクロホンアレイとし、仮想マイクロホンアレイの座標系を基準座標系とし、各マイクロホンアレイmの座標系を物体座標系とし、仮想マイクロホンアレイに仮想的に搭載されるマイクロホンp'の基準座標系における座標をr_v(p')とし、基準座標系における前記各マイクロホンアレイの位置から得られる物体座標系の原点位置s_mと、前記各マイクロホンアレイの姿勢から得られる物体座標系から基準座標系への回転変換行列R_mとを用いて、各マイクホンアレイmに搭載された各マイクロホンp_mの基準座標系における座標r_m(p)を得、座標r_m(p)から座標r_V(p')への伝搬を記述する自由空間グリーン関数G(r_m(p),r_V(p'))と、前記各マイクロホンアレイmの周波数領域の収音信号X_m=[X_m(1) X_m(2) … X_m(P_m)]とから各マイクロホンアレイmでキャプチャした音波面から前記仮想マイクロホンアレイに直接伝搬する波面X_V,m(p')を求めるアレイブロック伝搬ステップと、
   M個の前記波面X_V,m(p')を加算し、M個の前記各マイクロホンアレイmでキャプチャした音波面から前記仮想マイクロホンアレイに直接伝搬する波面の合計値X_V(p')を求める伝搬加算ステップと、を含む、
   音場収音再生方法。
6. 請求項５の音場収音再生方法であって、
   前記各マイクロホンアレイmに搭載されるマイクロホン間の間隔をdとし、前記各マイクロホンアレイmの各マイクロホンの位置にダイポール特性を持つスピーカが仮想的に配置されるものとし、そのスピーカは近接配置された2つの無指向性スピーカで表現されるものとし、2つの無指向性スピーカの間隔を2δとし、前記アレイブロック伝搬ステップは、前記波面X_V,m(p')を
   

   

   
   として求める、
   音場収音再生方法。
7. 請求項６の音場収音再生方法であって、
   前記アレイブロック伝搬ステップは、前記仮想マイクロホンアレイよりも各マイクロホンの座標r_m(p)が、音源に対して、後方に位置する場合には、そのマイクロホンの収音信号X_m(p)を前記波面X_V,m(p')を求める際に除外する、
   音場収音再生方法。
8. 請求項１から請求項４の何れかに記載の音場収音再生装置としてコンピュータを機能させるためのプログラム。

Images