JP2012039275A - 反射音情報推定装置、反射音情報推定方法、プログラム - Google Patents

Abstract

【課題】収音信号から反射音情報を推定する技術を提供する。
【解決手段】ｐ番目（１≦ｐ≦Ｐ）の位置とＭ個のマイクロホンの各位置との間の周波数ごとの伝達特性を表すテンプレート（ＴＰ）の集合であるテンプレート情報を予め用意しておく。観測信号とテンプレート情報とを用いて、ｐ番目のＴＰにｐ番目の複素振幅を乗じたｐ番目の反射音を観測信号から減じて得られる残差信号のパワーが最小になるようにｐ番目の複素振幅を決定し、決定されたｐ番目の複素振幅をｐ番目のＴＰに乗じたｐ番目の反射音を観測信号から減じて得られる残差信号のパワーを各ｐについて求め、これらのうち最小のパワーを与えたＴＰを決定し、決定されたＴＰに対応する位置により定まる方向Ｄの近傍で、伝達特性関数に複素振幅を乗じたものを上記観測信号から減じて得られる残差信号Ｅのパワーが最小になるように当該方向Ｄを補正することにより反射音の到来方向を推定する。
【選択図】図４

Description

本発明は、音声信号をマイクロホンで収音して得られる収音信号から反射音に関する情報（到来振幅、到来方向）を推定する技術に関する。

電話や音声会議といった音声情報をやりとりするシステムを一般に音声通信システムと呼ぶ。音声通信システムにおいて、反射音に関する情報（到来振幅、到来方向など）を得ることは非常に重要なことである。会議室のような残響環境下において、マイクロホンを通して収音される収音信号の中には発話者のような音源から直接到来する直接音だけではなく、床、壁や天井に反射して到来する反射音が混在する。したがって、このような残響環境下で或る話者の発言を収録すると、直接音から遅延して反射音が混入するため、聞き取りづらくなってしまう。収音信号から各反射音の到来情報を推定して、反射音を除去することができれば、聞き取りやすい音声に回復することができる。ここで、反射音情報を推定する従来研究として、非特許文献１が挙げられる。

非特許文献１に開示される技術を実現する機能構成を図１に示す。この技術における処理手順は次のとおりである。

１．インパルス音源１００から放射された音源信号を４ｃｈのマイクロホン１１０−１，１１０−２，１１０−３，１１０−４を用いて収音する。ＡＤ変換部１２０は、収音されたアナログ信号をデジタル信号x^→(t)＝[x₁(t),x₂(t),x₃(t),x₄(t)]^Tへ変換する。ここで、[・]^Tは転置を表す。ｔは離散時間のインデックスを表す。４本のマイクロホンは正四面体の頂点に配置されていることとする。

２．インパルス応答算出部１３０は、デジタル信号x^→(t)＝[x₁(t),x₂(t),x₃(t),x₄(t)]^Tを入力とし、各マイクロホンのインパルス応答h^→(t)＝[h₁(t),h₂(t),h₃(t),h₄(t)]^Tを算出する。インパルス応答の算出方法には、ＴＳＰ法やＭ系列法等があり、いかなる方法を用いてインパルス応答を算出してもよい。

３．仮想音源算出部１４０は、４ｃｈのインパルス応答h^→(t)＝[h₁(t),h₂(t),h₃(t),h₄(t)]^Tを入力とし、仮想音源情報v^→＝[v^→ ₁,…,v^→ _D]^Tを出力する。Ｄは仮想音源の数を表す。仮想音源とは、各反射音の到来振幅、到来方向、到来時間を表現するために仮想的に存在するとされる音源である。図２を参照して、仮想音源について説明する。図２には、右側の壁で反射した音源信号をマイクロホンで受音する経路が書かれている。右側の壁で反射して到来する音源信号（反射音）は、「仮想音源」と書かれた位置から直接到来する信号と等価である（ただし、壁での反射による減衰や距離減衰の影響は受ける）。

この従来技術の詳細について説明する。インパルス応答を近接した４つの受音点（マイクロホンの位置）で測定すると反射音の到来時刻にわずかな差が生じる。インパルス応答の短い区間の相互相関を利用して、各マイクロホンにおける反射音の対応付けを行うことで、図３のように、ｎ番目の反射波に関するそれぞれの受音点での到来時刻ｔ_1n，ｔ_2n，ｔ_3n，ｔ_4n（１≦ｎ≦Ｄ）が求まる。正四面体マイクロホンアレーの辺の長さをｄ、音速をｃとすると、各仮想音源情報v_n ^→＝[X_n,Y_n,Z_n,S_n]^Tが求まる。ここで、X_n,Y_n,Z_nはｎ番目の仮想音源の位置を表し（式（１）−（３）参照）、これは各反射音の到来方向と到来時間に対応する情報を持つ。また、S_nはｎ番目の仮想音源の強さを表し、４ｃｈのインパルスで対応付けされたｎ番目の反射音の振幅の平均で求まる。

山崎芳男ら、「近接する４点のインパルス応答により求めたホールの空間情報」、日本音響学会講演論文集、１９８１年５年、pp.759-760.

従来技術によると、仮想音源情報と呼んでいた反射音の「到来振幅」、「到来方向」、「到来時刻」を推定するためには、インパルス応答をあらかじめ用意することが必要であった。しかし、インパルス応答を用意するためには特殊な信号を用いて観測する必要があるため、あらゆる位置でのインパルス応答が事前に用意されているという条件は現実的ではない。

そこで本発明は、特殊な信号を用いることなく、収音信号から反射音情報（反射音の「到来方向」や「到来振幅」）を推定する技術を提供することを目的とする。

Ｐを２以上の予め定められた整数、ｐを１以上Ｐ以下の各整数として、ｐ番目の位置とＭ個のマイクロホンが配置される各位置との間の周波数ごとの伝達特性を表すテンプレートの集合であるテンプレート情報を予め用意しておく。音声信号をＭ個のマイクロホンで収音して得られるＭ個の収音信号がそれぞれ周波数領域に変換された信号（観測信号）とテンプレート情報とを用いて、（１）ｐ番目のテンプレートにｐ番目の複素振幅を乗じて表されるｐ番目の反射音を観測信号から減じて得られる残差信号のパワーが最小になるようにｐ番目の複素振幅を決定し、決定されたｐ番目の複素振幅をｐ番目のテンプレートに乗じて表されるｐ番目の反射音を上記観測信号から減じて得られる残差信号のパワーを各ｐについて求め、これらのうち最小のパワーを与えたテンプレートを決定し、（２）決定されたテンプレートに対応する位置により定まる方向Ｄの近傍で、空間中の任意の位置と各マイクロホンとの間の周波数ごとの伝達特性を模擬した関数（伝達特性関数）に複素振幅を乗じたものを観測信号から減じて得られる残差信号Ｅのパワーが最小になるように当該方向Ｄを補正することにより反射音の到来方向を推定する。

Ｐを２以上の予め定められた整数、ｐを１以上Ｐ以下の各整数として、ｐ番目の位置とＭ個のマイクロホンが配置される各位置との間の周波数ごとの伝達特性を表すテンプレートの集合であるテンプレート情報を予め用意しておく。音声信号をＭ個のマイクロホンで収音して得られるＭ個の収音信号がそれぞれ周波数領域に変換された信号（観測信号）とテンプレート情報とを用いて、（１）ｐ番目のテンプレートにｐ番目の複素振幅を乗じて表されるｐ番目の反射音を観測信号から減じて得られる残差信号のパワーが最小になるようにｐ番目の複素振幅を決定し、決定されたｐ番目の複素振幅をｐ番目のテンプレートに乗じて表されるｐ番目の反射音を上記観測信号から減じて得られる残差信号のパワーを各ｐについて求め、これらのうち最小のパワーを与えたテンプレートを決定し、（２）決定されたテンプレートに対応する位置により定まる方向Ｄの近傍で、空間中の任意の位置と各マイクロホンとの間の周波数ごとの伝達特性を模擬した関数（伝達特性関数）に複素振幅を乗じたものを観測信号から減じて得られる残差信号Ｅのパワーが最小になるように当該方向Ｄを補正することにより反射音の到来方向を推定するとともに、当該到来方向に対応する伝達特性関数に乗じられた複素振幅を反射音の到来振幅として推定する。

Ｐを２以上の予め定められた整数、ｐを１≦ｐ≦Ｐを満たす整数として、ｐ番目の位置とＭ個のマイクロホンが配置される各位置との間の周波数ごとの伝達特性を表すテンプレートの集合であるテンプレート情報を予め用意しておく。音声信号をＭ個のマイクロホンで収音して得られるＭ個の収音信号がそれぞれ周波数領域に変換された信号（観測信号）とテンプレート情報とを用いて、Ｑを１以上の予め定められた整数、ｑを１以上Ｑ以下の各整数として、各ｑについて、（１）ｐ番目のテンプレートにｐ番目の複素振幅を乗じて表されるｐ番目の反射音をｑ番目の最小の残差信号（ただし、１番目の最小の残差信号は観測信号とする）から減じて得られる残差信号のパワーが最小になるようにｐ番目の複素振幅を決定し、決定されたｐ番目の複素振幅をｐ番目のテンプレートに乗じて表されるｐ番目の反射音をｑ番目の最小の残差信号から減じて得られるｑ＋１番目の残差信号のパワーを各ｐについて求め、これらのうち最小のパワーを与えたテンプレートを決定し、（２）決定されたテンプレートに対応する位置により定まる方向Ｄの近傍で、空間中の任意の位置と各マイクロホンとの間の周波数ごとの伝達特性を模擬した関数（伝達特性関数）に複素振幅を乗じたものをｑ番目の最小の残差信号から減じて得られる残差信号Ｅのパワーが最小になるように当該方向Ｄを補正することにより反射音の到来方向を推定する。

Ｐを２以上の予め定められた整数、ｐを１≦ｐ≦Ｐを満たす整数として、ｐ番目の位置とＭ個のマイクロホンが配置される各位置との間の周波数ごとの伝達特性を表すテンプレートの集合であるテンプレート情報を予め用意しておく。音声信号をＭ個のマイクロホンで収音して得られるＭ個の収音信号がそれぞれ周波数領域に変換された信号（観測信号）とテンプレート情報とを用いて、Ｑを１以上の予め定められた整数、ｑを１以上Ｑ以下の各整数として、各ｑについて、（１）ｐ番目のテンプレートにｐ番目の複素振幅を乗じて表されるｐ番目の反射音をｑ番目の最小の残差信号（ただし、１番目の最小の残差信号は観測信号とする）から減じて得られる残差信号のパワーが最小になるようにｐ番目の複素振幅を決定し、決定されたｐ番目の複素振幅をｐ番目のテンプレートに乗じて表されるｐ番目の反射音をｑ番目の最小の残差信号から減じて得られるｑ＋１番目の残差信号のパワーを各ｐについて求め、これらのうち最小のパワーを与えたテンプレートを決定し、（２）決定されたテンプレートに対応する位置により定まる方向Ｄの近傍で、空間中の任意の位置と各マイクロホンとの間の周波数ごとの伝達特性を模擬した関数（伝達特性関数）に複素振幅を乗じたものをｑ番目の最小の残差信号から減じて得られる残差信号Ｅのパワーが最小になるように当該方向Ｄを補正することにより反射音の到来方向を推定するとともに、当該到来方向に対応する伝達特性関数に乗じられた複素振幅を反射音の到来振幅として推定する。

残差信号のパワーは、全ての周波数に亘って加算して得られたパワーであるとしてもよい。このとき、到来方向は、全ての周波数に亘って加算して得られた残差信号Ｅのパワーが最小になるように当該方向Ｄを補正することにより推定される。

また、周波数をω、周波数ωの集合をΩ、ｉを虚数単位、ｃを音速、ｐ番目の位置[x_p,y_p,z_p]とｍ番目（１≦ｍ≦Ｍ）のマイクロホンが配置される位置[u_m,v_m,w_m]との間の伝達特性をS_pm(ω)、ただし
として、テンプレートS_p(ω)={S_p1(ω),…,S_pM(ω)}（ω∈Ω）の集合であるテンプレート情報{S₁(ω),…,S_P(ω)}（ω∈Ω）を生成するテンプレート生成処理を含んでもよい。

例えば、伝達特性関数は、空間中の任意の位置[x,y,z]とＭ個のマイクロホンが配置される各位置[u_m,v_m,w_m]との間の周波数ごとの各伝達特性R_m(ω)（１≦ｍ≦Ｍ）によって表され、当該伝達特性R_m(ω)は、周波数をω、ｉを虚数単位、ｃを音速として、
で表される。

本発明に拠ると、空間（あるいは平面）位置とＭ個のマイクロホンが配置される各位置との間の周波数ごとの伝達特性を表すテンプレートの集合であるテンプレート情報を予め作成しておき、テンプレート情報に基づいて観測信号を一つまたは複数の反射音に分解することから、インパルス応答を求めるために音源信号に特殊な信号を用いることなく、収音信号から反射音情報を推定することが可能である。反射音情報が得られると、従来の音声情報処理技術では実現できなかった音源向きの推定や、音声強調（遠方音の収音や距離別の収音）といった用途に応用できる。

従来技術における反射音情報推定技術の機能構成を示す図。 仮想音源を説明するための図。 従来技術における反射音の対応付けを説明するための図。 第１実施形態に係る反射音情報推定装置の機能構成を示す図。 第１実施形態に係る反射音情報推定方法の処理手順を示す図。 ２次元マイクロホンアレーの構成例を示す図。 ｐ番目の点[x_p,y_p,z_p]とｍ番目の受音点[u_m,v_m,w_m]との間の伝達特性を説明するための図。 図６に示すマイクロホンアレーを用いて観測した或る平面での音圧分布が例えば直接音と反射音１と反射音２との重畳で得られていることを説明するための図。 本発明の原理を説明するための図。 第２実施形態に係る反射音情報推定方法の処理手順を示す図。 （ａ）理想的には、推定到来方向に関する情報だけが抽出されるべきことを説明するための図。（ｂ）実際には、推定到来方向以外の方向に関する情報も混在してしまうことを説明するための図。 残差信号のパワーを全周波数に亘って総括することにより、推定到来方向以外の方向の影響を減らすことを説明するための図。 実用レベルの２次元マトリクスマイクロホンアレーを用いた場合における音圧分布とその分解を示す図。

《第１実施形態》
本発明は、発話信号のような音源から放射された音声信号（音源信号）を複数のマイクロホンで構成されるマイクロホンアレーで収音した信号（収音信号）から反射音の「到来方向」ないし、「到来振幅」と「到来方向」を推定する。第１実施形態の機能構成および処理フローを図４と図５に示す。

音源２００から放射された音源信号をＭｃｈのマイクロホン２１０−１，…，２１０−Ｍを用いて収音する（ステップＳ１）。Ｍは、４より大きい値が望ましい。ＡＤ変換部２２０が、収音されたアナログ信号をデジタル信号xx^→(t)＝[xx₁(t),…,xx_M(t)]^Tへ変換する（ステップＳ２）。ここで、[・]^Tは転置を表す。ｔは離散時間のインデックスを表す。

Ｍ本のマイクロホンの並べ方は、２次元または３次元的に等間隔で配置することが望ましい。これは、反射音の到来方向とテンプレート（後で説明するが、反射音の伝達特性を模擬したものである）の対応を一意に定めるためである。なお、原理的に、１次元的にマイクロホンを配置しても、あるいは等間隔に配置しなくても、本発明を実施できるが、反射音の伝達特性と反射音の到来方向が一対一の関係とならないため、２次元または３次元的に等間隔で配置することが望ましい。２次元平面上に等間隔にマイクロホンを並べた場合の一例を図６に示す。マイクロホン間隔ｄは、空間サンプリング定理を満たすように設定されていることが望ましい。空間サンプリング定理を満たす場合、マイクロホン間隔ｄは、式（４）を満たす数値となる。ｃは音速であり、ｆは解析対象とする周波数である。例えば、４ｋＨｚの周波数を解析する場合、マイクロホン間隔を４ｃｍ程度に設定するのがよい。

フレーム分割部２３０は、ＡＤ変換部２００が出力したデジタル信号xx^→(t)＝[xx₁(t),…,xx_M(t)]^Tを入力とし、チャネルごとに複数サンプルから成るデジタル信号の組（フレーム）に分割された信号x^→(k)＝[x₁(k),…,x_M(k)]^Tを出力する（ステップＳ３）。ｋはフレーム番号を表すインデックスである。フレーム分割は、各チャネルのデジタル信号xx_i(t)（１≦ｉ≦Ｍ）ごとにＷ点分をバッファリングして出力する処理である。Ｗはサンプリング周波数にもよるが、１６ｋＨｚサンプリングの場合には５１２点あたりが妥当である。

周波数領域変換部２４０は、各フレームのデジタル信号x^→(k)を入力として、周波数領域の信号X^→(ω,k)＝[X₁(ω,k),…,X_M(ω,k)]^Tに変換して出力する（ステップＳ４）。この信号X^→(ω,k)を観測信号と呼ぶことにする。ここで、ωは離散周波数のインデックスを指し（周波数ｆと角周波数ωとの間にはω=2πfの関係があるから、周波数のインデックスωをこの角周波数ωと同一視してもかまわない。以下、ωに関して「周波数のインデックス」を単に「周波数」ともいう）、ｋはフレームのインデックスを指す。周波数領域に変換する方法の一つに、離散フーリエ変換があるが、周波数領域に変換するのであれば、他の方法を用いてもよい。周波数領域の観測信号X^→(ω,k)は、各周波数ω、フレームｋごとに出力される。

テンプレート生成部２５０は、Ｐ個のテンプレートS_p ^→(ω)の集合（ただし、計算の都合、ベクトル表記している）であるテンプレート情報S^→(ω)＝[S₁ ^→(ω),…,S_P ^→(ω)]（^∀ω∈Ω；Ωは周波数のインデックスωの集合）を周波数ωごとに生成する（ステップＳｐ）。この処理は通常、ステップＳ１−Ｓ４の各処理に先立ち実施される。Ｐはテンプレートの総数を表し、予め２以上の整数値に設定されている。テンプレート総数Ｐは多ければ多いほど高精度な反射音情報の推定に繋がるが、計算量が多くなるので、例えばＰ＝１０００くらいに設定するのが良い。この処理は、マイクロホンで信号を観測する以前にあらかじめ行う処理である。また、マイクロホンの位置（例えばマイクロホンの間隔ｄ）を変更したり、テンプレート総数Ｐを変更したりしない限り、通常、テンプレートを毎回作り直す必要はない。ここで言う“テンプレート”とは、反射音の到来方向に対応する伝達特性（音響伝播特性）を模擬したものである。ｐ番目（１≦ｐ≦Ｐ）のテンプレートS_p ^→(ω)＝[S_p1(ω),…,S_pM(ω)]^T（ω∈Ω）は、予め定められたｐ番目の点[x_p,y_p,z_p]とＭ個の受音点（ここで受音点はマイクロホンが配置される位置であり、ｍ番目（１≦ｍ≦Ｍ）の受音点を[u_m,v_m,w_m]とする）の間の周波数ごとの伝達特性を表す（図７を参照）。ｐ番目のテンプレートS_p ^→(ω)の各要素S_pm(ω)の算出式の一例を式（５）に示す。記号ｉは虚数単位を表す。

ｐ番目のテンプレートS_p ^→(ω)には方向情報θ_p ^→(ω)が対応付けられている。方向情報θ_p ^→(ω)は、ｐ番目の点[x_p,y_p,z_p]および受音点[u_m,v_m,w_m]の位置座標の基準となる３次元直交座標系の原点からｐ番目の点[x_p,y_p,z_p]を見た方向であり、例えば（当該３次元直交座標系の原点と共通の原点を持つ）球座標系における二つの偏角（極角θ_p,polと方位角θ_p,azi）として表される。つまり、θ_p ^→(ω)＝[θ_p,pol(ω),θ_p,azi(ω)]である。なお、ｐ番目のテンプレートS_p ^→(ω)にｐ番目の点[x_p,y_p,z_p]が関連付けられていれば方向情報θ_p ^→(ω)は位置[x_p,y_p,z_p]から計算可能であるから、ｐ番目のテンプレートS_p ^→(ω)に方向情報θ_p ^→(ω)が対応付けられていることは必須要件ではない。なお、３次元直交座標系と球座標系とは相互に転換可能であるから（座標変換）、式（５）の右辺は位置[x,y,z]でなく方向情報θ_p ^→(ω)＝[θ_p,pol(ω),θ_p,azi(ω)]を用いて、例えば式（５ａ）のように表すこともできる。ここで、ｄはマイクロホン間隔であり、マイクロホンアレーをΦ行Ξ列（Φ×Ξ＝Ｍ）の２次元マイクロホンアレーとし、ｍ番目のマイクロホンの位置をφ行ξ列（１≦φ≦Φ，１≦ξ≦Ξ）にあるとする。

また、第１実施形態のようにテンプレートが方向に対応している場合、Ｐ個の点[x_p,y_p,z_p]（１≦ｐ≦Ｐ）の位置は互いに方向の異なる位置であることが好ましく、例えば各点[x_p,y_p,z_p]が原点から十分に離れた等距離にあるとして、上記原点を中心とする球面上の異なるＰ個の点とすればよい。各点[x_p,y_p,z_p]を原点から十分に離れた位置とする理由は、音源ないし仮想音源から放射された信号は球面的に伝達するが音源ないし仮想音源から十分に離れた位置（原点）での局所領域では直接音ないし反射音を平面波として模擬できるからである。ただし、テンプレート情報が同じ方向の位置に対応するテンプレートを含むことを排除する趣旨ではない。なお、マイクロホンアレーは上記座標系の原点の近傍（局所領域）に配置されているとする。

テンプレート記憶部２６０は、テンプレート生成部２５０が出力したテンプレート情報S^→(ω)を記憶し、解析時に反射音情報推定部２７０にテンプレート情報S^→(ω)を提供する役割を果たす。

反射音情報推定部２７０は、周波数領域の観測信号X^→(ω,k)とテンプレート情報S^→(ω)を入力として、Ｑ個の反射音情報成分rs_q ^→(ω,k)の集合（ただし、計算の都合、ベクトル表記している）である反射音情報rs^→(ω,k)＝[rs₁ ^→(ω,k),…,rs_Q ^→(ω,k)]^Tを各フレームｋについて周波数ωごとに出力する（ステップＳ５）。ここで、Ｑは推定される反射音の総数を表し、予め１以上の整数値に設定されている。ｑ番目（１≦ｑ≦Ｑ）の反射音情報成分rs_q ^→(ω,k)は、rs_q ^→(ω,k)＝[rsA_q(ω,k),rsB_q(ω,k)]の２要素から成り、rsA_q(ω,k)はｑ番目の反射音の到来振幅であり、rsB_q(ω,k)はｑ番目の反射音の到来方向である。

反射音情報を推定する原理について説明する。図６に示すような２次元マイクロホンアレーを用いて観測した或る平面での音圧分布の一例を図８の左端の濃淡図として示す。濃淡図として示された音圧分布の見方について、黒い部分は音圧が小さく、白い部分は音圧が大きいことを示す。観測した音圧分布には直接音の音圧分布だけではなく、反射音の音圧分布も混入している。直接音や反射音が十分に遠方より到来する場合において、２次元平面上でのそれぞれの音圧分布は、図８の右側の３つの濃淡図のように縞模様となる。縞模様の「濃淡」が直接音ないし反射音の到来振幅、「回転・周期」が直接音ないし反射音の到来方向にそれぞれ対応する。図８の例では、到来振幅や到来方向が異なる直接音、反射音１、反射音２の各音圧分布の重畳で観測信号の音圧分布が構成されることを示している。周波数領域で考えると、直接音や各反射音は到来方向に応じて周波数の変化する複素正弦波で表され、観測信号は直接音と各反射音に対応する複数の複素正弦波が重畳したものとして表される。ところで、本発明で解決する問題は、観測信号のみを用いて、反射音の到来振幅および／または到来方向を推定することである。この課題解決は、図８の左端に描かれた音圧分布から図８の右側の３つの濃淡図の直接音や各反射音に対応する縞模様の「濃淡」や「回転・周期」を推定することに対応する。

図９を参照して、反射音情報rs^→(ω,k)を推定する手法の概略について説明する。ある２次元平面で観測した観測信号に含まれているパワーの最も強い反射音０（q=1に相当し、最も強いパワーを持つことから、通常、この反射音０は「直接音」として理解される）を推定し、観測信号から当該反射音０を減算して残差信号E₂を得る。次に当該残差信号E₂に含まれているパワーの最も強い反射音１（q=2に相当する）を推定し、当該残差信号E₂から当該反射音１を減算して新たな残差信号E₃を得る。次に、当該残差信号E₃に含まれているパワーの最も強い反射音２（q=Q=3に相当する）を推定する。ここでは、Ｑ＝３の場合を説明したが、一般的に、ｑ番目の残差信号E_q（ただし１番目の残差信号は観測信号とする）に含まれているパワーの最も強いｑ番目の反射音q-1（ただし反射音０は直接音である）を減算する操作をｑ＝Ｑまで逐次実行することでＱ個の反射音情報成分（rs₁ ^→(ω,k),…,rs_Q ^→(ω,k)）を得る。１番目の反射音情報成分rs₁ ^→(ω,k)は反射音０（直接音）に対応し、２番目の反射音情報成分rs₂ ^→(ω,k)は反射音１に対応し、３番目の反射音情報成分rs₃ ^→(ω,k)は反射音２に対応し、・・・、Ｑ番目の反射音情報成分rs_Q ^→(ω,k)は反射音Q-1に対応する。Ｑは、計算パワーや反射音情報を用いるアプリケーションにも依存するが、３０くらいに設定するのが良い。

なお、図８および図９の音圧分布はそれぞれ高解像度の濃淡図として示されているが、このような高解像度の濃淡図として音圧分布を示すためには極めて多くのマイクロホンを必要とし、実用的ではない。他方、実用レベルの２次元マトリクスマイクロホンアレーとして例えば１００個のマイクロホンを１０×１０の２次元マトリクスマイクロホンアレーとして用いた場合でさえ、粗い（低解像度）濃淡図（図１３参照）として示される音圧分布しか得られない。そこで、実用の観点から、低解像度の音圧分布しか得られないような状況の下で、精度良く反射音の到来振幅や到来方向を推定することが求められる。本発明では、空間分解能の向上のために任意の位置から到来する平面波を具体的に表現することとし（定式化）、パワーが大きな反射音の影響を受けてパワーの小さいな反射音を推定できなくなることを防止するために、既に推定された反射音を観測信号から除去して次の反射音を推定する（分解）。定式化についてはテンプレート情報として説明したとおりであり、分解については反射音情報rs^→(ω,k)の推定手法の概略で説明したとおりである。

上で述べた反射音情報rs^→(ω,k)を推定する手法について詳細を述べる。説明に先立ち、記号の定義を行う。ｑ番目の残差信号をE_q ^→(ω,k)=[E_q1(ω,k),…,E_qM(ω,k)]^T、ｑ番目の反射音（q=1の場合は直接音を表す）をA_q(ω,k)R_q ^→(ω,θ_q ^→(ω,k))とする。反射音を構成するR_q ^→(ω,θ_q ^→(ω,k))=[R₁(ω,θ_q ^→(ω,k)),…,R_M(ω,θ_q ^→(ω,k))]^Tは、空間中の任意の位置[x,y,z]と各マイクロホンとの間の周波数ごとの伝達特性を模擬した関数（以下、伝達特性関数という）であり、各マイクロホンに対する伝達特性を模擬した関数であれば何でもよい。このような伝達特性関数を反射音の構成要素とする理由は、反射音の推定されるべき到来方向に最も近いと考えられる方向に対応するテンプレートを決定して、そのテンプレートに対応する方向Ｄの近傍で当該方向Ｄを補正することにより、反射音の到来方向の推定精度を向上させるためである（この詳細は反射音A_q(ω,k)R_q ^→(ω,θ_q ^→(ω,k))の最適化として後述する）。通常、伝達特性関数を構成する各伝達特性R_m(ω,θ_q ^→(ω,k))とテンプレートの各要素S_pm(ω)の算出式とは同じである。この場合、方向情報θ_q ^→(ω,k)で表される方向に在る位置[x,y,z]とｍ番目の受音点[u_m,v_m,w_m]との間の周波数ごとの伝達特性R_m(ω,θ_q ^→(ω,k))は式（６）で表される。なお、方向情報θ_q ^→(ω,k)で表される方向に在る位置[x,y,z]は、例えば、上記座標系原点から十分に離れた球面上の位置とすればよい。位置[x,y,z]を原点から十分に離れた位置とする理由は既述のとおりであり、詳しくは位置[x,y,z]はマイクロホンアレーが配置されている局所領域にて音源ないし仮想音源からの直接音ないし反射音を平面波として模擬できる距離にある空間中の任意の位置であることが好ましい。なお、３次元直交座標系と球座標系とは相互に転換可能であるから（座標変換）、式（６）の右辺は位置[x,y,z]でなく方向情報θ_q ^→(ω,k)＝[θ_q,pol(ω,k),θ_q,azi(ω,k)]を用いて、例えば式（６ａ）のように表すこともできる。ここで、ｄはマイクロホン間隔であり、マイクロホンアレーをΦ行Ξ列（Φ×Ξ＝Ｍ）の２次元マイクロホンアレーとし、ｍ番目のマイクロホンの位置をφ行ξ列（１≦φ≦Φ，１≦ξ≦Ξ）にあるとする。

反射音を構成するA_q(ω,k)は、音源２００自身が持つ位相や壁での反射、距離による減衰といったテンプレートR_q ^→(ω,θ_q ^→(ω,k))と反射音との相違を表し、到来振幅に相当する。ｑの昇順に残差信号から反射音を減算する上述の方法を式で表すと式（７）のようになる。ただし、１≦ｑ≦Ｑであり、E₁ ^→(ω,k)=X^→(ω,k)である。

次に、反射音A_q(ω,k)R_q ^→(ω,θ_q ^→(ω,k))を最適化する方法について説明する。
ｑ番目の最適化された反射音A_q(ω,k)R_q ^→(ω,θ_q ^→(ω,k))は、式（７）で表されるｑ＋１番目の残差信号E_q+1 ^→(ω,k)のパワー(E_q+1 ^→(ω,k))^HE_q+1 ^→(ω,k)を最小とする基準に従って決定される。具体的には、伝達特性関数R_q ^→(ω,θ_q ^→(ω,k))が方向情報θ_q ^→(ω,k)で決定されることに注意すると、ｑ番目の反射音A_q(ω,k)R_q ^→(ω,θ_q ^→(ω,k))を表現するパラメータA_q(ω,k)，θ_q ^→(ω,k)の最適値A_q,opt(ω,k)，θ_q,opt ^→(ω,k)は式（８）によって得られる。なお、記号Ｈは共役転置を表す。

このとき、ｑ番目の反射音情報成分rs_q ^→(ω,k)＝[rsA_q(ω,k),rsB_q(ω,k)]は式（９）、式（１０）で与えられる。

式（８）の具体的な計算方法は種々考えられるが、ここではその一例を示す。下記に説明する最適化方法はｑの昇順に各ｑに対して適用される。

§１ 方向情報の初期値設定
最初に、方向情報θ_q ^→(ω,k)の初期値θ_ini,q ^→(ω,k)をテンプレート情報S^→(ω)を用いて決定する。このために、推定されるべき到来方向に最も近いと考えられる方向に対応するテンプレートを決定し、この決定されたテンプレートに対応する方向情報を方向情報θ_q ^→(ω,k)の初期値θ_ini,q ^→(ω,k)とすればよい。

そこで、テンプレート情報の中から上述のようなテンプレートを決定するために、便宜上、反射音をA_q(ω,k,g(ω,q))S_g(ω,q) ^→(ω)と表すことにする。ここで、g(ω,q)は、テンプレート情報の中でｑ番目の反射音を最も精度良く表現できるテンプレートのインデックスを表す。反射音を構成する係数A_q(ω,k,g(ω,q))は、音源２００自身が持つ位相や壁での反射、距離による減衰などによるテンプレートS_g(ω,q) ^→(ω)と反射音との相違を表す。この場合、ｑ＋１番目の残差信号E_q+1 ^→(ω,k)は式（１１）のように表される。ただしE₁ ^→(ω,k)=X^→(ω,k)である。

反射音A_q(ω,k,g(ω,q))S_g(ω,q) ^→(ω)は、式（１１）に基づくｑ＋１番目の残差信号E_q+1 ^→(ω,k)のパワー(E_q+1 ^→(ω,k))^HE_q+1 ^→(ω,k)を最小とする基準に従って推定される。推定方法は様々あるが、そのうちの一つの方法について述べる。反射音は、A_q(ω,k,g(ω,q))とS_g(ω,q) ^→(ω)の２つの要素で構成されるので、２つの要素に対して最適化することが必要となる。後述の＜処理１＞と＜処理２＞はｑの昇順に各ｑについて行われる。

＜処理１＞
記号Λはインデックスｐの全体の集合{1,…,p,…,P}から後述する式（１３）により決定されたインデックスの集合を除いた集合である。つまり、Λ＝{1,…,p,…,P}-{g(ω,1),…,g(ω,q-1)}とする。ただし、初めて＜処理１＞を行うときはΛ＝{1,…,p,…,P}である。
ｐ番目のテンプレートS_p ^→(ω)が残差信号E_q+1 ^→(ω,k)のパワー(E_q+1 ^→(ω,k))^HE_q+1 ^→(ω,k)を最小化するための最適なテンプレートであると仮定した場合の係数A_q(ω,k,p)は、最小二乗法に基づき、式（１２）により求められる。なお、この段階では、式（９）左辺のｑは意味を持たないことに留意されたい。

＜処理２＞
集合Λの要素の個数（濃度）を|Λ|とすると、式（１２）に基づき得られた|Λ|個の係数A_q(ω,k,p)（ｐ∈Λ）を用いて、テンプレートS_g(ω,q) ^→(ω)のインデックスを表すg(ω,q)は、残差信号E_q+1 ^→(ω,k)のパワー(E_q+1 ^→(ω,k))^HE_q+1 ^→(ω,k)を最小とするインデックスとして式（１３）により得られる。

従って、方向情報θ_q ^→(ω,k)の初期値θ_ini,q ^→(ω,k)は、式（１３）により得られるg(ω,q)をインデックスに持つテンプレートS_g(ω,q) ^→(ω)に対応する方向情報θ_g(ω,q) ^→(ω)＝[θ_g(ω,q),pol(ω),θ_g(ω,q),azi(ω)]として与えられる。すなわち、θ_ini,q ^→(ω,k)＝[θ_g(ω,q),pol(ω),θ_g(ω,q),azi(ω)]である。初期値θ_ini,q ^→(ω,k)はフレームインデックスｋに依存しないことに留意されたい。

§２ 反射音の最適化
次に、方向情報θ_q ^→(ω,k)の初期値θ_ini,q ^→(ω,k)を起点として、式（７）で表されるｑ＋１番目の残差信号E_q+1 ^→(ω,k)のパワー(E_q+1 ^→(ω,k))^HE_q+1 ^→(ω,k)を最小とするように、反射音A_q(ω,k)R_q ^→(ω,θ_q ^→(ω,k))を最適化する。反射音は、係数A_q(ω,k)とR_q ^→(ω,θ_q ^→(ω,k))の２つの要素で構成されるので、２つの要素に対して最適化することが必要となる。この最適化方法は様々あるが、そのうちの一つの方法（勾配法）について述べる。例示する方法では、方向情報θ_q ^→(ω,k)の補正と係数A_q(ω,k)の補正が交互に所定回数（δ回）反復して行われることにより反射音A_q(ω,k)R_q ^→(ω,θ_q ^→(ω,k))が最適化される。δは例えば５０程度の値とされるが１でもよい。

§２．１ 方向情報の補正
方向情報θ_q ^→(ω,k)＝[θ_q,pol(ω,k),θ_q,azi(ω,k)]の補正は、式（１４）による更新によって行われる。初めて§２．１の処理を行う場合、式（１４）右辺の方向情報θ_q ^→(ω,k)は§１の処理で得られた初期値θ_ini,q ^→(ω,k)であり、§２．１の処理が初めてではない場合、式（１４）右辺の方向情報θ_q ^→(ω,k)は直前の§２．１の処理で得られた方向情報とする。また、初めて§２．１の処理を行う場合、パワー(E_q+1 ^→(ω,k))^HE_q+1 ^→(ω,k)の計算に用いられる係数A_q(ω,k)は式（１２）で得られたA_q(ω,k,p)とし、§２．１の処理が初めてではない場合、パワー(E_q+1 ^→(ω,k))^HE_q+1 ^→(ω,k)の計算に用いられる係数A_q(ω,k)は直前の§２．２の処理（後述する）で得られた係数A_q(ω,k)とする。ステップ幅α₁およびα₂は小さい正の定数であり、収束速度などを考慮して決定されるが、例えばそれぞれ0.1程度の値とされる。

§２．２ 係数の補正
係数A_q(ω,k)の補正は、最小二乗法に基づき、式（１５）に従って新たな係数A_q(ω,k)を求めることにより行われる。式（１５）で用いるR_q ^→(ω,θ_q ^→(ω,k))は§２．１の処理で得られた方向情報θ_q ^→(ω,k)と式（６）から得られる。

δ回の反復処理が終了した時点で得られている係数A_q(ω,k)と方向情報θ_q ^→(ω,k)がA_q,opt(ω,k)とθ_q,opt ^→(ω,k)であり、ｑ番目の反射音情報成分rs_q ^→(ω,k)となる。すなわち、ｑ番目の反射音情報成分rs_q ^→(ω,k)＝[rsA_q(ω,k),rsB_q(ω,k)]は式（１６）、式（１７）で与えられる。

以上の過程により、Ｑ個の反射音情報成分rs_q ^→(ω,k)＝[rsA_q(ω,k),rsB_q(ω,k)]（ｑ＝１，…，Ｑ）が求められる。なお、δ＝１に設定されている場合、係数の補正を行わないことにより、反射音情報として到来方向のみを求めることができる。

《第２実施形態》
第１実施形態ではテンプレート情報S^→(ω)を用いて反射音情報rs^→(ω,k)を求めたが、Ｐ個のテンプレートS_p ^→(ω)の集合であるテンプレート情報S^→(ω)を事前に求めておくことは必ずしも必須ではない。テンプレート情報S^→(ω)を事前に求めておかない実施形態を第２実施形態として説明する。

第２実施形態では、第１実施形態におけるステップＳ１−Ｓ４の各処理が実施されるが、第１実施形態におけるステップＳｐの処理が不要であり、さらに第１実施形態のステップＳ５の処理に替えてステップＳ５ａの処理が行われる（図１０参照）。そこで、第１実施形態と同じ事項については重複説明を省略し、第１実施形態と異なる事項について説明する。

第２実施形態におけるステップＳ５ａの処理を説明する。第２実施形態におけるステップＳ５ａの処理では、「§１ 方向情報の初期値設定」が第１実施形態と異なる。方向情報θ_q ^→(ω,k)の初期値θ_ini,q ^→(ω,k)を、例えばビームフォーマ法などの到来方位推定方法によって定める。ビームフォーマ法は、指向性ビームを空間走査し、得られた電力スペクトルから電力が大きくなる方向を探索する方法である。ここでは、ビームフォーマ法によりＰ個の到来方向が推定できたとする。

実際には、ビームフォーマ法によって得られる電力スペクトルは到来方向に対して急峻でないことがあり、このような場合、例えば、予め定めたスペクトル強度以上のスペクトル強度を示す電力スペクトルに対応する方向の範囲にて予め定めた間隔で到来方向を定めればよい。具体例として、極角５°、方位角１０°から２０°の範囲で予め定めたスペクトル強度以上のスペクトル強度を示す電力スペクトルが得られたとすると、予め定めた間隔２°ごとに到来方向を定めるとして、（極角５°，方位角１０°），（極角５°，方位角１２°），（極角５°，方位角１４°），（極角５°，方位角１６°），（極角５°，方位角１８°），（極角５°，方位角２０°）を到来方向とすればよい。

また、電力スペクトルが或る方向にて急峻なピークを示したとしても、単純に当該方向を到来方向の一つとして定めるのではなく、当該方向の所定の範囲で到来方向を定めてもよい。具体例として、極角３０°、方位角５０°で急峻なピークを示す電力スペクトルが得られたとすると、所定の範囲（極角±４°，方位角±４°，間隔２°）で到来方向を定めるとして、（極角２６°，方位角４６°），（極角２８°，方位角４６°），（極角３０°，方位角４６°），（極角３２°，方位角４６°），（極角３４°，方位角４６°），（極角２６°，方位角４８°），（極角２８°，方位角４８°），（極角３０°，方位角４８°），（極角３２°，方位角４８°），（極角３４°，方位角４８°），（極角２６°，方位角５０°），（極角２８°，方位角５０°），（極角３０°，方位角５０°），（極角３２°，方位角５０°），（極角３４°，方位角５０°），（極角２６°，方位角５２°），（極角２８°，方位角５２°），（極角３０°，方位角５２°），（極角３２°，方位角５２°），（極角３４°，方位角５２°），（極角２６°，方位角５４°），（極角２８°，方位角５４°），（極角３０°，方位角５４°），（極角３２°，方位角５４°），（極角３４°，方位角５４°）を到来方向とすればよい。なお、第１実施形態ではＰは固定値であったが、第２実施形態ではＰはビームフォーマ法などの到来方位推定方法による推定成果に依存する値であることに留意されたい。

ビームフォーマ法によって得られたＰ個の到来方向についてテンプレートを生成する。テンプレートの各要素の算出式は例えば式（６）である。このＰ個のテンプレート（テンプレート情報S^→(ω)）を用いて第１実施形態で説明した「§１ 方向情報の初期値設定」を行えばよい。初期値設定以降の処理は第１実施形態で説明したとおりである。

＜変形例＞
上述の第１実施形態では周波数ごとに観測信号X^→(ω,k)を用いて反射音情報rs^→(ω,k)を推定したが、周波数ごとに反射音情報を推定すると、一意に推定されるべき仮想音源の方向（推定到来方向）以外の方向に関する情報も含んでしまうことがあり、この結果、反射音情報に誤差が生じることがありうる。例えば、図１１（ａ）に示すように推定到来方向に関する情報だけを抽出できることが望ましいが、実際には図１１（ｂ）に示すように推定到来方向以外の方向に関する情報が混在してしまうことがありえる。

そこで変形例では、全周波数に亘り一括してパワーを算出することで、反射音情報の推定誤差を小さくする。つまり、図１２に示すように、残差信号のパワーを全周波数に亘り統括することによって、推定到来方向以外の方向の影響を極力減らすことができる。一般的に推定到来方向以外の方向では各周波数でのパワーにバラつきが生じるので、残差信号のパワーを全周波数に亘り統括することにより、推定到来方向のパワーに比してそれ以外の方向のパワーの相対的な影響を低減することができる。なお、図１２では、縦軸のパワーは相対値を示しているので各グラフのスケールが同じであるわけではないことに留意されたい。

この変形例での処理は次のとおりである。解析する周波数帯域に含まれる周波数のインデックスωの集合をΩとする。例えば、音声信号を扱うのであれば、1.0〜3.0kHz帯域に対応するインデックスの集合をΩとすればよい。そして、テンプレートS_g(ω,q) ^→(ω)のインデックスg(ω,q)を式（１３）の替わりに式（１８）によって求める。また、方向情報θ_q ^→(ω,k)＝[θ_q,pol(ω,k),θ_q,azi(ω,k)]の補正は、式（１４）の替わりに式（１９）による更新によって行われる。

＜応用例＞
反射音情報は人間が生活する上で、非常に重要な音声情報である。例えば、視覚障害者は、タッピングによって発した音源信号が壁や天井等で反射して耳で観測することにより、環境を把握している。また、日常会話でも、適度な反射が生じる部屋で会話することと、反射音が比較的少ない環境で会話することでは会話のしやすさに相違が生じる。以下、本発明により推定された反射音情報を用いたサービス例について述べる。
１つ目は、会議システムに本発明を組み込んだ例である。指向性音源の向きに応じて反射音の振幅は変化するので、反射音情報が分かると、どの方向に音源が向いているのかを推定することができる。会議システムに音源向きの推定装置を組み込めば、誰に向かって発言したのかを提示することに応用できる。
２つ目は、自由な位置で映像や音声を鑑賞できるシステムである。遠方にある音は直接到来する音源のパワーが小さいので収音することが困難である。反射音情報が分かると、直接音だけでなく、反射音も強調収音できるので、遠方の音を強調することが可能となる。また、音声処理の分野では、方向別に音源の強調収音は可能であるが、距離別に音声を強調収音することは非常に難しいとされている。反射音情報が分かると、距離に対応する物理的な特徴量が得られるので、距離別に収音することが可能となる。遠方の音を収音したり、方向別、距離別に収音することができれば、視聴者の選択した位置に対応した音場を擬似的に生成することが可能となる。

音声通信システムにおいて、反射音情報を推定することは、直接音だけでは得られなかった音場の情報を得ることにつながる。反射音情報が分かれば、これまでの音声強調技術ではできなかったような遠方音の収音や距離別の収音に結びついたり、従来の収音技術では推定できなかった音場の情報（例えば音源の向き）を推定できる。こういった音場の情報の推定は、これまでの技術では実現できなかった音声処理装置の開発に繋がる。反射音情報の推定に関する従来技術は、インパルス応答を求めるために特殊な信号を観測する必要があったが、本発明は音声信号のような一般的な観測信号で反射音情報を得られるという利点を持つ。

＜反射音情報推定装置のハードウェア構成例＞
上述の実施形態に関わる反射音情報推定装置は、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ＣＰＵ（Central Processing Unit）〔キャッシュメモリなどを備えていてもよい。〕、メモリであるＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）と、ハードディスクである外部記憶装置、並びにこれらの入力部、出力部、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置間のデータのやり取りが可能なように接続するバスなどを備えている。また必要に応じて、反射音情報推定装置に、ＣＤ−ＲＯＭなどの記憶媒体を読み書きできる装置（ドライブ）などを設けるとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。

反射音情報推定装置の外部記憶装置には、反射音情報を推定するためのプログラム並びにこのプログラムの処理において必要となるデータなどが記憶されている〔外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるＲＯＭに記憶させておくなどでもよい。〕。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭや外部記憶装置などに適宜に記憶される。以下、データやその格納領域のアドレスなどを記憶する記憶装置を単に「記憶部」と呼ぶことにする。

反射音情報推定装置の記憶部には、アナログ信号に対してＡＤ変換を行うためのプログラム、フレーム分割処理を行うためのプログラム、フレームごとのデジタル信号を周波数領域の観測信号に変換するためのプログラム、テンプレート情報を生成するためのプログラム、周波数領域の観測信号とテンプレート情報を用いて反射音情報を推定するためのプログラムが記憶されている。

反射音情報推定装置では、記憶部に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてＲＡＭに読み込まれて、ＣＰＵで解釈実行・処理される。この結果、ＣＰＵが所定の機能（ＡＤ変換部、フレーム分割部、周波数領域変換部、テンプレート生成部、反射音情報推定部）を実現することで反射音情報の推定が実現される。

＜補記＞
本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。

また、上記実施形態において説明したハードウェアエンティティ（反射音情報推定装置）における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (15)

1. Ｐを２以上の予め定められた整数、ｐを１以上Ｐ以下の各整数として、ｐ番目の位置とＭ個のマイクロホンが配置される各位置との間の周波数ごとの伝達特性を表すテンプレートの集合であるテンプレート情報を記憶する記憶部と、
   音声信号をＭ個のマイクロホンで収音して得られるＭ個の収音信号がそれぞれ周波数領域に変換された信号（以下、観測信号という）と上記テンプレート情報とを入力とし、（１）ｐ番目のテンプレートにｐ番目の複素振幅を乗じて表されるｐ番目の反射音を上記観測信号から減じて得られる残差信号のパワーが最小になるようにｐ番目の複素振幅を決定し、決定されたｐ番目の複素振幅をｐ番目のテンプレートに乗じて表されるｐ番目の反射音を上記観測信号から減じて得られる残差信号のパワーを各ｐについて求め、これらのうち最小のパワーを与えたテンプレートを決定し、
   （２）決定されたテンプレートに対応する上記位置により定まる方向Ｄの近傍で、空間中の任意の位置と各上記マイクロホンとの間の周波数ごとの伝達特性を模擬した関数（以下、伝達特性関数という）に複素振幅を乗じたものを上記観測信号から減じて得られる残差信号Ｅのパワーが最小になるように当該方向Ｄを補正することにより反射音の到来方向を推定する反射音情報推定部と
   を含む反射音情報推定装置。
2. Ｐを２以上の予め定められた整数、ｐを１以上Ｐ以下の各整数として、ｐ番目の位置とＭ個のマイクロホンが配置される各位置との間の周波数ごとの伝達特性を表すテンプレートの集合であるテンプレート情報を記憶する記憶部と、
   音声信号をＭ個のマイクロホンで収音して得られるＭ個の収音信号がそれぞれ周波数領域に変換された信号（以下、観測信号という）と上記テンプレート情報とを入力とし、（１）ｐ番目のテンプレートにｐ番目の複素振幅を乗じて表されるｐ番目の反射音を上記観測信号から減じて得られる残差信号のパワーが最小になるようにｐ番目の複素振幅を決定し、決定されたｐ番目の複素振幅をｐ番目のテンプレートに乗じて表されるｐ番目の反射音を上記観測信号から減じて得られる残差信号のパワーを各ｐについて求め、これらのうち最小のパワーを与えたテンプレートを決定し、
   （２）決定されたテンプレートに対応する上記位置により定まる方向Ｄの近傍で、空間中の任意の位置と各上記マイクロホンとの間の周波数ごとの伝達特性を模擬した関数（以下、伝達特性関数という）に複素振幅を乗じたものを上記観測信号から減じて得られる残差信号Ｅのパワーが最小になるように当該方向Ｄを補正することにより反射音の到来方向を推定するとともに、当該到来方向に対応する上記伝達特性関数に乗じられた上記複素振幅を反射音の到来振幅として推定する反射音情報推定部と
   を含む反射音情報推定装置。
3. Ｐを２以上の予め定められた整数、ｐを１≦ｐ≦Ｐを満たす整数として、ｐ番目の位置とＭ個のマイクロホンが配置される各位置との間の周波数ごとの伝達特性を表すテンプレートの集合であるテンプレート情報を記憶する記憶部と、
   音声信号をＭ個のマイクロホンで収音して得られるＭ個の収音信号がそれぞれ周波数領域に変換された信号（以下、観測信号という）と上記テンプレート情報とを入力とし、Ｑを１以上の予め定められた整数、ｑを１以上Ｑ以下の各整数として、各ｑについて、（１）ｐ番目のテンプレートにｐ番目の複素振幅を乗じて表されるｐ番目の反射音をｑ番目の最小の残差信号（ただし、１番目の最小の残差信号は上記観測信号とする）から減じて得られる残差信号のパワーが最小になるようにｐ番目の複素振幅を決定し、決定されたｐ番目の複素振幅をｐ番目のテンプレートに乗じて表されるｐ番目の反射音をｑ番目の最小の残差信号から減じて得られるｑ＋１番目の残差信号のパワーを各ｐについて求め、これらのうち最小のパワーを与えたテンプレートを決定し、
   （２）決定されたテンプレートに対応する上記位置により定まる方向Ｄの近傍で、空間中の任意の位置と各上記マイクロホンとの間の周波数ごとの伝達特性を模擬した関数（以下、伝達特性関数という）に複素振幅を乗じたものをｑ番目の最小の残差信号から減じて得られる残差信号Ｅのパワーが最小になるように当該方向Ｄを補正することにより反射音の到来方向を推定する反射音情報推定部と
   を含む反射音情報推定装置。
4. Ｐを２以上の予め定められた整数、ｐを１≦ｐ≦Ｐを満たす整数として、ｐ番目の位置とＭ個のマイクロホンが配置される各位置との間の周波数ごとの伝達特性を表すテンプレートの集合であるテンプレート情報を記憶する記憶部と、
   音声信号をＭ個のマイクロホンで収音して得られるＭ個の収音信号がそれぞれ周波数領域に変換された信号（以下、観測信号という）と上記テンプレート情報とを入力とし、Ｑを１以上の予め定められた整数、ｑを１以上Ｑ以下の各整数として、各ｑについて、（１）ｐ番目のテンプレートにｐ番目の複素振幅を乗じて表されるｐ番目の反射音をｑ番目の最小の残差信号（ただし、１番目の最小の残差信号は上記観測信号とする）から減じて得られる残差信号のパワーが最小になるようにｐ番目の複素振幅を決定し、決定されたｐ番目の複素振幅をｐ番目のテンプレートに乗じて表されるｐ番目の反射音をｑ番目の最小の残差信号から減じて得られるｑ＋１番目の残差信号のパワーを各ｐについて求め、これらのうち最小のパワーを与えたテンプレートを決定し、
   （２）決定されたテンプレートに対応する上記位置により定まる方向Ｄの近傍で、空間中の任意の位置と各上記マイクロホンとの間の周波数ごとの伝達特性を模擬した関数（以下、伝達特性関数という）に複素振幅を乗じたものをｑ番目の最小の残差信号から減じて得られる残差信号Ｅのパワーが最小になるように当該方向Ｄを補正することにより反射音の到来方向を推定するとともに、当該到来方向に対応する上記伝達特性関数に乗じられた上記複素振幅を反射音の到来振幅として推定する反射音情報推定部と
   を含む反射音情報推定装置。
5. 請求項１から請求項４のいずれかに記載の反射音情報推定装置において、
   上記残差信号のパワーはそれぞれ、全ての上記周波数に亘って加算して得られたパワーであり、
   上記到来方向は、全ての上記周波数に亘って加算して得られた上記残差信号Ｅのパワーが最小になるように当該方向Ｄを補正することにより推定される
   ことを特徴とする反射音情報推定装置。
6. 請求項１から請求項５のいずれかに記載の反射音情報推定装置において、
   周波数をω、周波数ωの集合をΩ、ｉを虚数単位、ｃを音速、ｐ番目の位置[x_p,y_p,z_p]とｍ番目（１≦ｍ≦Ｍ）のマイクロホンが配置される位置[u_m,v_m,w_m]との間の伝達特性をS_pm(ω)、ただし
   として、上記テンプレートS_p(ω)={S_p1(ω),…,S_pM(ω)}（ω∈Ω）の集合である上記テンプレート情報{S₁(ω),…,S_P(ω)}（ω∈Ω）を生成するテンプレート生成部を
   さらに含むことを特徴とする反射音情報推定装置。
7. 請求項１から請求項６のいずれかに記載の反射音情報推定装置において、
   上記伝達特性関数は、空間中の任意の位置[x,y,z]とＭ個のマイクロホンが配置される各位置[u_m,v_m,w_m]との間の周波数ごとの各伝達特性R_m(ω)（１≦ｍ≦Ｍ）によって表され、当該伝達特性R_m(ω)は、周波数をω、ｉを虚数単位、ｃを音速として、
   で表されることを特徴とする反射音情報推定装置。
8. Ｐを２以上の予め定められた整数、ｐを１以上Ｐ以下の各整数として、記憶部には、ｐ番目の位置とＭ個のマイクロホンが配置される各位置との間の周波数ごとの伝達特性を表すテンプレートの集合であるテンプレート情報が記憶されているとし、
   音声信号をＭ個のマイクロホンで収音して得られるＭ個の収音信号がそれぞれ周波数領域に変換された信号（以下、観測信号という）と上記テンプレート情報とを用い、（１）ｐ番目のテンプレートにｐ番目の複素振幅を乗じて表されるｐ番目の反射音を上記観測信号から減じて得られる残差信号のパワーが最小になるようにｐ番目の複素振幅を決定し、決定されたｐ番目の複素振幅をｐ番目のテンプレートに乗じて表されるｐ番目の反射音を上記観測信号から減じて得られる残差信号のパワーを各ｐについて求め、これらのうち最小のパワーを与えたテンプレートを決定し、
   （２）決定されたテンプレートに対応する上記位置により定まる方向Ｄの近傍で、空間中の任意の位置と各上記マイクロホンとの間の周波数ごとの伝達特性を模擬した関数（以下、伝達特性関数という）に複素振幅を乗じたものを上記観測信号から減じて得られる残差信号Ｅのパワーが最小になるように当該方向Ｄを補正することにより反射音の到来方向を推定する反射音情報推定過程
   を有する反射音情報推定方法。
9. Ｐを２以上の予め定められた整数、ｐを１以上Ｐ以下の各整数として、記憶部には、ｐ番目の位置とＭ個のマイクロホンが配置される各位置との間の周波数ごとの伝達特性を表すテンプレートの集合であるテンプレート情報が記憶されているとし、
   音声信号をＭ個のマイクロホンで収音して得られるＭ個の収音信号がそれぞれ周波数領域に変換された信号（以下、観測信号という）と上記テンプレート情報とを用い、（１）ｐ番目のテンプレートにｐ番目の複素振幅を乗じて表されるｐ番目の反射音を上記観測信号から減じて得られる残差信号のパワーが最小になるようにｐ番目の複素振幅を決定し、決定されたｐ番目の複素振幅をｐ番目のテンプレートに乗じて表されるｐ番目の反射音を上記観測信号から減じて得られる残差信号のパワーを各ｐについて求め、これらのうち最小のパワーを与えたテンプレートを決定し、
   （２）決定されたテンプレートに対応する上記位置により定まる方向Ｄの近傍で、空間中の任意の位置と各上記マイクロホンとの間の周波数ごとの伝達特性を模擬した関数（以下、伝達特性関数という）に複素振幅を乗じたものを上記観測信号から減じて得られる残差信号Ｅのパワーが最小になるように当該方向Ｄを補正することにより反射音の到来方向を推定するとともに、当該到来方向に対応する上記伝達特性関数に乗じられた上記複素振幅を反射音の到来振幅として推定する反射音情報推定過程
   を有する反射音情報推定方法。
10. Ｐを２以上の予め定められた整数、ｐを１≦ｐ≦Ｐを満たす整数として、記憶部には、ｐ番目の位置とＭ個のマイクロホンが配置される各位置との間の周波数ごとの伝達特性を表すテンプレートの集合であるテンプレート情報が記憶されているとし、
    音声信号をＭ個のマイクロホンで収音して得られるＭ個の収音信号がそれぞれ周波数領域に変換された信号（以下、観測信号という）と上記テンプレート情報とを用い、Ｑを２以上の予め定められた整数、ｑを１以上Ｑ以下の各整数として、各ｑについて、（１）ｐ番目のテンプレートにｐ番目の複素振幅を乗じて表されるｐ番目の反射音をｑ番目の最小の残差信号（ただし、１番目の最小の残差信号は上記観測信号とする）から減じて得られる残差信号のパワーが最小になるようにｐ番目の複素振幅を決定し、決定されたｐ番目の複素振幅をｐ番目のテンプレートに乗じて表されるｐ番目の反射音をｑ番目の最小の残差信号から減じて得られるｑ＋１番目の残差信号のパワーを各ｐについて求め、これらのうち最小のパワーを与えたテンプレートを決定し、
    （２）決定されたテンプレートに対応する上記位置により定まる方向Ｄの近傍で、空間中の任意の位置と各上記マイクロホンとの間の周波数ごとの伝達特性を模擬した関数（以下、伝達特性関数という）に複素振幅を乗じたものをｑ番目の最小の残差信号から減じて得られる残差信号Ｅのパワーが最小になるように当該方向Ｄを補正することにより反射音の到来方向を推定する反射音情報推定過程
    を有する反射音情報推定方法。
11. Ｐを２以上の予め定められた整数、ｐを１≦ｐ≦Ｐを満たす整数として、記憶部には、ｐ番目の位置とＭ個のマイクロホンが配置される各位置との間の周波数ごとの伝達特性を表すテンプレートの集合であるテンプレート情報が記憶されているとし、
    音声信号をＭ個のマイクロホンで収音して得られるＭ個の収音信号がそれぞれ周波数領域に変換された信号（以下、観測信号という）と上記テンプレート情報とを用い、Ｑを２以上の予め定められた整数、ｑを１以上Ｑ以下の各整数として、各ｑについて、（１）ｐ番目のテンプレートにｐ番目の複素振幅を乗じて表されるｐ番目の反射音をｑ番目の最小の残差信号（ただし、１番目の最小の残差信号は上記観測信号とする）から減じて得られる残差信号のパワーが最小になるようにｐ番目の複素振幅を決定し、決定されたｐ番目の複素振幅をｐ番目のテンプレートに乗じて表されるｐ番目の反射音をｑ番目の最小の残差信号から減じて得られるｑ＋１番目の残差信号のパワーを各ｐについて求め、これらのうち最小のパワーを与えたテンプレートを決定し、
    （２）決定されたテンプレートに対応する上記位置により定まる方向Ｄの近傍で、空間中の任意の位置と各上記マイクロホンとの間の周波数ごとの伝達特性を模擬した関数（以下、伝達特性関数という）に複素振幅を乗じたものをｑ番目の最小の残差信号から減じて得られる残差信号Ｅのパワーが最小になるように当該方向Ｄを補正することにより反射音の到来方向を推定するとともに、当該到来方向に対応する上記伝達特性関数に乗じられた上記複素振幅を反射音の到来振幅として推定する反射音情報推定過程
    を有する反射音情報推定方法。
12. 請求項８から請求項１１のいずれかに記載の反射音情報推定方法において、
    上記残差信号のパワーはそれぞれ、全ての上記周波数に亘って加算して得られたパワーであり、
    上記到来方向は、全ての上記周波数に亘って加算して得られた上記残差信号Ｅのパワーが最小になるように当該方向Ｄを補正することにより推定される
    ことを特徴とする反射音情報推定方法。
13. 請求項８から請求項１２のいずれかに記載の反射音情報推定方法において、
    周波数をω、周波数ωの集合をΩ、ｉを虚数単位、ｃを音速、ｐ番目の位置[x_p,y_p,z_p]とｍ番目（１≦ｍ≦Ｍ）のマイクロホンが配置される位置[u_m,v_m,w_m]との間の伝達特性をS_pm(ω)、ただし
    として、上記テンプレートS_p(ω)={S_p1(ω),…,S_pM(ω)}（ω∈Ω）の集合である上記テンプレート情報{S₁(ω),…,S_P(ω)}（ω∈Ω）を生成するテンプレート生成過程を
    さらに有することを特徴とする反射音情報推定方法。
14. 請求項８から請求項１３のいずれかに記載の反射音情報推定方法において、
    上記伝達特性関数は、空間中の任意の位置[x,y,z]とＭ個のマイクロホンが配置される各位置[u_m,v_m,w_m]との間の周波数ごとの各伝達特性R_m(ω)（１≦ｍ≦Ｍ）によって表され、当該伝達特性R_m(ω)は、周波数をω、ｉを虚数単位、ｃを音速として、
    で表されることを特徴とする反射音情報推定方法。
15. コンピュータに、請求項８から請求項１４のいずれかに記載の反射音情報推定方法の処理を実行させるためのプログラム。