JP2006066988A - 収音方法、収音装置、収音プログラム、およびこれを記録した記録媒体 - Google Patents

Abstract

【課題】音像定位を明確に行うことができる収音方法及び装置を提供する。
【解決手段】
Ｎ個の空間的範囲と、各空間的範囲に付した範囲番号とを記憶する空間的範囲及び範囲番号設定部と、各空間的範囲に対応するミキシング係数を記憶するミキシング係数設定部とを備え、音源位置を検出する音源位置検出部と、音源位置が空間的範囲に含まれる場合その範囲番号を出力する範囲番号検出部と、受音信号から共分散行列を計算する共分散行列計算部と、共分散行列を範囲番号毎に記憶する共分散行列記憶部と、共分散行列記憶部に記憶された共分散行列とミキシング係数からＭチャネルのフィルタ係数を求めるフィルタ係数計算部と、受話信号をフィルタ係数計算処理で求めたフィルタ係数でフィルタリングするフィルタ部と、フィルタ処理された出力信号を加算して出力信号を得る加算器とを備える。
【選択図】 図１

Description

本発明は、ＴＶ会議システムや音声会議システム、電話会議システム、遠隔講義システムなどに適用することができる収音方法及び装置に関する。

従来技術の収音方法について説明する。
図１０は非特許文献１で開示された従来技術の収音方法の構成図である。従来技術の収音方法は指向性マイクロホン９０１_Ｌと９０１_Ｒで構成され、その指向性の主軸は１２０°程度の開き角で配置されている。
指向性マイクロホン９０１_Ｌと９０１_Ｒで話者音声を収音すると、話者の位置によって指向性マイクロホン９０１_Ｌに収音される音声と指向性マイクロホン９０１_Ｒに収音される音声のレベルに差が生じる。このＬチャネルの出力信号とＲチャネル出力信号を伝送などし、２つのスピーカ９０２_Ｌと９０２_Ｒから再生することにより、音像の定位感のある再生が可能となる。

例えば、図１０の話者ＣはＬチャネルマイクロホンの主軸方向にいるので、収音された話者Ｃの音声レベルはＬチャネルのほうが大きく、再生した時にＬチャネル側のスピーカ９０２_Ｌに音像が定位する。またＬチャネルとＲチャネルのマイクロホンの中間にいる話者Ａの音声は、両マイクロホン９０１_Ｌと９０１_Ｒにほぼ同じレベルで収音されるので、Ｌチャネルのスピーカ９０２_ＬとＲチャネルのスピーカ９０２_Ｒの中間に音像が定位する。
このように、従来技術では音像の定位感のあるステレオ収音を行うことができる。

しかし、従来技術の収音方法では、以下に示す問題がある。
（問題１）図１０の話者Ａと話者Ｂのようにマイクロホン９０１_Ｌと９０１_Ｒから見た開き角が小さい場合、話者Ａと話者Ｂのマイクロホン間のレベル差はほぼ同じとなり、音像の定位感が得られなくなる。
（問題２）音声の距離減衰の影響により、マイクロホンから距離が離れている話者の音声レベルが小さく聞き取りづらい。もし、マイクの感度を上昇させ距離の離れている話者に対して適性なレベルとしたとしても、マイクロホンに近い話者の音声が過大なレベルとなる。
（問題３）雑音や、スピーカから再生される受話信号がマイクロホンに収音され、聞き取りづらい音声となる。

複数人でテーブルを囲むＴＶ会議システムや音声会議システムに従来技術を適用した場合、上記の問題が生じ、高品質な音声で音像の定位のある通信を行うことが難しい。
中島平太郎ら著、応用電気音響、コロナ社出版、日本音響学会編、ｐｐ．２６２−２６８、昭和５４年

従来技術の収音方法では、マイクロホンから見た開き角が小さい位置に話者がいる場合に音像の定位感が得られないという問題があった。この問題が、本発明で解決しようとする課題である。
本発明の目的は、マイクロホンから見た開き角が小さい位置に話者がいる場合でもチャネル間のレベル差を大きくすることで音像の定位感のある収音を実現し、マイクロホンから距離が離れている話者の音声を適正レベルにすることで聞き取りやすい音量での通話を実現し、雑音を抑圧した高品質な送話音声を得ようとするものである。

上記課題を解決するために、本発明は、あらかじめ１つ以上の空間的範囲（以下では単に範囲と称す）と、各範囲に対応したミキシング係数をあらかじめ設定する。次に、複数マイクロホンの受音信号から共分散行列の計算と話者位置を検出し、設定した範囲内の何れに含まれるか判定する。検出位置が範囲内に含まれる場合は、計算された共分散行列を、判定された範囲の共分散行列として保存する。次に、保存してある全ての共分散行列とミキシング係数から、以下に示す（条件１）を満たす指向特性を形成するマイクロホン数と同数のフィルタ係数を出力チャネルごとに求める。ただし、出力チャネル数は範囲数と同数である。

（条件１）マイクロホンから見た開き角が小さい位置に話者がいる場合でも出力チャネル間のレベル差を大きくすること。
次に、求められたフィルタ係数でマイクロホン受音信号をそれぞれフィルタリングし、出力チャネルごとで加算し、出力信号を求める。これにより、マイクロホンから見た開き角が小さい位置に話者がいる場合でもチャネル間で大きなレベル差のある範囲数と同数の出力信号が得られ、音像の定位感のある収音が実現される。
上記課題を解決するために、本発明は、あらかじめ１つ以上の範囲と、出力チャネルごとに各範囲に対応したミキシング係数と、出力チャネルごとに収音範囲と抑圧範囲番号をあらかじめ設定する。ただし、出力チャネル数は１以上であり、範囲数と異なっていてもよい。次に、複数マイクロホンの受音信号から共分散行列の計算と話者位置を検出し、設定した範囲内の何れかに含まれるかを判定する。検出位置が範囲内に含まれる場合は、計算された共分散行列を、判定された範囲の共分散行列として保存する。次に、保存してある全ての共分散行列とミキシング係数と収音範囲及び抑圧範囲番号から、上記（条件１）を満たす指向特性を形成するマイクロホン数と同数のフィルタ係数を出力チャネルごとに求める。次に、求められたフィルタ係数でマイクロホン受音信号をそれぞれフィルタリングし、出力チャネルごとで加算し、出力信号を求める。

これにより、マイクロホンから見た開き角が小さい位置に話者がいる場合でもチャネル間で大きなレベル差のある任意チャネル数の出力信号が得られ、音像の定位感のある収音が実現される。
上記課題を解決するために、本発明は、上記の２つの手段に加え、さらに、出力信号のレベルを各々調整する手段を有する。上記共分散行列と上記ミキシング係数から推定される出力レベルに基づいて、以下の（条件２）を満たすゲインを出力チャネルごとに計算する。（条件２）マイクロホンから距離が離れている話者の音声を適切レベル（聞き取りやすいレベル）にすること。上記ゲインを出力信号のレベルを調整する手段に各々設定し、出力信号のレベルを調整することで、音像の定位感のある収音に加えて、聞き取りやすい音量での収音が実現する。

上記課題を解決するために、本発明は、上記のフィルタ係数計算部において範囲ごとのレベル差がないようなフィルタ計算式を用いることで、音像の定位感のある収音に加えて、収音範囲間でレベル差をなくし、全ての収音範囲から到来する音声を適正レベルで収音することを実現する。
上記課題を解決するために、本発明は、上記のフィルタ係数計算部において、さらに下記の（条件３）を満たすフィルタ計算式を用いる。（条件３）雑音を抑圧すること。これにより、音像の定位感のある収音と、聞き取りやすい音量での収音に加えて、雑音を抑圧した収音を実現する。

以上まとめると、本発明は、複数の収音手段と１つ以上の出力を有し、上記の３つの条件（条件１）マイクロホンから見た開き角が小さい位置に話者がいる場合でも出力チャネル間のレベル差を大きくすること、（条件２）マイクロホンから距離が離れている話者の音声を適切レベル（聞き取りやすいレベル）にすること、（条件３）雑音を抑圧すること、を１つ以上満たすフィルタ係数を求め、そのフィルタ係数でマイクロホン受音信号をそれぞれフィルタリングして、出力チャネルごとで加算することにより、（条件１）（条件２）（条件３）を１つ以上実現する出力信号を得ることができる。

本発明によれば、出力チャネル間のレベル差を大きくすることで音像の定位感のある収音を実現できる。さらに、本発明の実施例によれば音声を適正レベルにすることで聞き取りやすい音量での通話を実現でき、加えて、雑音を抑圧した高品質な送話音声を得ることができる。

本発明による収音方法及び収音装置は、主にコンピュータに本発明による収音プログラムをインストールし、コンピュータに収音プログラムを解読させて実行させることにより収音方法及び収音装置を実現する実施形態が最良の実施形態となる。
コンピュータは少なくとも以下の処理ステップを実行する。
１つ以上Ｎ個の範囲と、各範囲のそれぞれに付した範囲番号とを設定し、記憶する空間的な範囲及び範囲番号設定部と、前記各空間的範囲に応答するミキシング係数を設定し、記憶するミキシング係数設定部とを備え、

２つ以上Ｍ個の受音手段の各々で受音された受音信号から音源位置または音源方向を検出する音源位置検出処理と、検出された音源位置または音源方向が、設定された空間的範囲の何れかに含まれるかを検出し、検出された場合は検出された音源位置が含まれる範囲番号を出力する範囲番号検出処理と、Ｍ個の受音手段の各々で受音された受音信号から共分散行列を計算する共分散行列計算処理と、範囲番号検出処理で範囲番号が出力された時に共分散行列を範囲番号毎に記憶する共分散行列記憶処理と、範囲毎に、Ｍ個の受話信号のうち、対応する範囲から到来した信号に予め設定したミキシング係数を乗じてから加算した信号が出力信号となり、その他の音が抑圧されるように、共分散行列記憶処理で記憶された共分散行列とミキシング係数からＭチャンネルそれぞれのフィルタ係数を求めるフィルタ係数計算処理と、Ｎ個の範囲毎に、Ｍ個の受話信号をそれぞれフィルタ係数計算処理で求めたフィルタ係数でフィルタリングするフィルタ処理と、Ｎ個の範囲毎に、Ｍ個のフィルタ処理された出力信号を加算して出力信号を得る加算処理とを実行する。
これらの処理を実行することにより、「音像の定位感のある収音を実現できる」とする本発明の作用効果が得られる。

図１は、本発明の第１の実施例である収音装置のブロック図である。
本実施例の収音装置は、マイクロホン１０１_１〜１０１_Ｍと、範囲ｎフィルタ１０２_ｎ，１〜１０２_ｎ，Ｍ（ｎ＝１，．．．，Ｎ）と、範囲ｎ加算器１０３_ｎ（ｎ＝１，．．．，Ｎ）と、共分散行列計算部１０４と、話者位置検出部１０５と、範囲設定部１０６と、範囲番号検出部１０７と、共分散行列記憶部１０８と、範囲ｎフィルタ係数計算部１０９_ｎ（ｎ＝１，．．．，Ｎ）と、範囲ｎミキシング係数設定部１１０_ｎ（ｎ＝１，．．．，Ｎ）と、範囲の設定ミキシング係数の設定等を入力する入力手段１０６Ａにより構成される。ただし、ｎは範囲番号を表わす記号であり、Ｎは範囲数であり、Ｍはマイクロホン数を表わす。

本実施例は、話者位置または方向を検出し、予め設定したＮ個の範囲の中に検出した話者位置が含まれるか判定し、含まれる場合は、その範囲の共分散行列として保存しておく。これらを用いて各範囲出力信号間で大きなレベル差を持つように各範囲のフィルタ係数を求める。これらのフィルタ係数で、それぞれマイクロホン受音信号をフィルタリングし加算し、各範囲に対応する出力信号を得る。これにより、各話者からの音声信号が出力信号間で大きなレベル差を持ち、良好な音像の定位が実現する。
図２は本発明において実現したい指向性を示した図である。図２に示すマイクロホンと話者の配置では、マイクロホンから見た開き角が小さい位置に複数の話者が存在する。このような場合、従来技術のステレオマイクロホンでは、ほとんど音像の定位感を得ることはできない。そこで、本発明では音像の定位感を強調する指向性を形成する。例えば、話者位置３に対しては、左チャネルのレベルを大きくし、右チャネルと正面チャネルのレベルを小さくして、大きなレベル差が付くようにする。このようにすれば、再生した時に左チャネルから大きな音が聞こえ、良好な音像定位感が得られる。このような指向性を形成するために、本発明は、複数の範囲を例えば図２に示すように３つ設定し、範囲１から発せられる音は右チャネル、範囲２から発せられる音は正面チャネル、範囲３から発せられる音は左チャネルに、それぞれ分離して出力されるように動作する。

以下に、本実施例の処理の詳細を述べる。
まず、話者位置検出部１０５は、マイクロホン１０１_１〜１０１_Ｍで受音したマイクロホン受音信号から、話者の位置または方向を検出する。話者位置の検出方法は、例えば相互相関法による方法がある。話者方向推定は、話者位置検出方法に求められた位置を方向に置き換えることにより実現するか、遅延和法による方向検出などを用いる。
以下、相互相関法による話者位置推定方法について具体的に説明する。
ある位置から発せられた音波をＭ個のマイクロホンで受音した場合に、ｉ番目マイクロホンとｊ番目マイクロホンで受音された信号より求められる受音信号間遅延時間差をτ_ｉｊとする。受音信号間遅延時間差は、信号間の相互相関を求め、その最大ピーク位置から求めることができる。次に、ｍ番目の受音位置を（ｘ_ｍ，ｙ_ｍ，ｚ_ｍ）、推定音源位置を（ｘ＾，ｙ＾，ｚ＾）と表わす。これらの位置から求められる推定受音信号間遅延時間差τ＾_ｉｊは、式（１）で表される。

ただし、ｃは音速である。また、文中の（ ）＾と数式中の（ ）の真上にある＾は同一である。
次に、受音信号間遅延時間差τ_ｉｊ、τ＾_ｉｊに音速ｃを乗じ距離に換算したものを、それぞれ受音位置間距離差ｄ_ｉｊ、ｄ＾_ｉｊとし、測定値ｄ_ｉｊと推定値ｄ＾_ｉｊの二乗平均誤差ｅ（ｑ）を求めれば、式（２）となる。

ただし、ｑ＝（Ｘ＾，Ｙ＾，Ｚ＾）である。
式（２）の二乗平均誤差ｅ（ｑ）を最小化する解を求めれば、受音信号間遅延時間差の測定値と推定値の誤差が最小となる推定音源位置を求めることができる。ただし、式（２）は非線形連立方程式となっており、解析的に解くことは困難であるので、逐次修正を用いた数値解析により求める。

式（２）を最小化する推定音源位置（Ｘ＾，Ｙ＾，Ｚ＾）を求めるには、ある点における勾配を求め、誤差が小さくなる方向に、推定音源位置を修正していき、勾配が０となる点を求めればよいので、修正式は式（３）のようになる。

ただし、αは修正のステップサイズ、ｑ_（ｕ）は、ｕ回修正後のｑを表し、gradは勾配を表し、式（４）〜式（８）で表される。

式（３）を、推定音源位置の修正量gradｅ（ｑ）｜_{ｑ＝ｑ（ｕ）}の全要素があらかじめ設定した閾値未満となるまで繰返し計算し、得られたｑ_（ｕ）を推定音源位置とする。
以上で、相互相関法による話者位置検出方法について述べた。
次に、遅延和法による話者方向推定方法について具体的に説明する。

ある方向から到来する音波をＭ個のマイクロホンで収音した場合、音波の到来方向θに応じてマイクロホン間で遅延が生じる。ここで、音波の到来方向がθである場合にｉ番目マイクロホンとｊ番目マイクロホン間の遅延差をτ_ｉｊ（θ）と定義し、各マイクロホンで受音した信号をＤ−τ_１ｊ（θ）だけ遅延させれば、θの方向から到来した音波はマイクロホン間で同位相となる。ただしＤはあらかじめ与えた定数である。この遅延させた信号を加算（遅延和）すれば、θの方向から到来した音波の信号成分は同位相で加算されるので大きなパワーとなる。一方、θの方向とは異なる方向から到来した音波の信号成分は様々な位相で加算されるので、θの方向から到来した音波の信号成分ほど大きなパワーとならない。したがって、マイクロホン受音信号に与えた遅延Ｄ−τ_１ｊ（θ）と、音波の到来方向が一致した時のみ遅延和の出力パワーが大きくなる。

遅延和法では、上記を利用した方法であり、あらかじめ複数の方向を設定し、それぞれ対応した遅延Ｄ−τ_１ｊ（θ）を与えて、遅延和の出力パワーを方向ごとにそれぞれ求める。これらパワーのうち最大値を持つ方向を、推定話者方向とする。
以上で、遅延和法による話者方向検出方法について述べた。
次に、範囲番号検出部１０７は、検出した話者位置または方向が、範囲設定部１０６に予め設定してあるＮ個の範囲内の何れかに含まれるかを検出する。範囲は、例えば図２に示すようにマイクロホンの正面、左、右に設定しておく。ただし、設定範囲には、重なり（複数の範囲に重複して属する位置が存在）や、隙間（どの範囲にも属さない位置が存在）があってもよく、さらに１つの範囲が２つに分離していても良い。

次に、共分散行列計算部１０４では、マイクロホン受音信号間の共分散を求め、それを行列にする。まず、マイクロホン受音信号の周波数領域変換信号をＸ_１（ω）〜Ｘ_Ｍ（ω）とする。周波数領域変換信号に変換する手段に関しては後に図９を用いて説明する。これらの信号の共分散行列Ｒ_ＸＸ（ω）は、式（９）により算出される。

ただし、＊は共役を表わす。
次に、共分散行列記憶部１０８では、範囲番号検出部１０７の検出結果に基づき、共分散行列Ｒ_ＸＸ（ω）を、検出範囲番号に対する共分散行列Ｒ_ＳｎＳｎ（ω）として保存する。保存は、現在記憶されている共分散行列と新しい共分散行列を置き換えるか、現在記憶されている共分散行列と新しい共分散行列を平均することで行われる。ただし、初期状態の共分散行列記憶部１０８には、適当な初期値（例えば単位行列）を設定しておく。尚、共分散行列の実用例については参考文献１を参照。

範囲ｎミキシング係数設定部１１０_ｎ（ｎ＝１，．．．，Ｎ）は、予め各範囲に対応したミキシング係数を設定する。ミキシング係数の設定方法については、下記の範囲ｎフィルタ係数算出部についての記述において説明する。
範囲ｎフィルタ係数計算部１０９_ｎ（ｎ＝１，．．．，Ｎ）は、記憶された全ての共分散行列とミキシング係数から、各範囲から発せられた音を大きなレベル差で収音するためのフィルタ係数を計算する。すなわち、範囲ｎフィルタ係数は、範囲ｎで発せられた音を収音し、それ以外の範囲で発せられた音を抑圧するようなフィルタ係数計算式（１３）に基づいて算出される。

以下、フィルタ係数計算式について説明する。
まず、各マイクロホンに接続された範囲ｎフィルタ１０２_ｎ，１〜１０２_ｎ，Ｍ（ｎ＝１，．．．，Ｎ）のフィルタ係数を周波数領域に変換したものを、Ｈ_ｎ，１（ω）〜Ｈ_ｎ，Ｍ（ω）（ｎ＝１，．．．，Ｎ）とする。次に、これらのフィルタ係数を式（１０）により行列としたものをＨ_ｎ（ω）（ｎ＝１，．．．，Ｎ）とする。また、ｉ番目範囲内の音源が発音している期間のマイクロホン受音信号の周波数領域変換信号をＸ_Ｓｉ，１（ω）〜Ｘ_Ｓｉ，Ｍ（ω）とする。

ここで、フィルタ係数行列Ｈｎ（ω）に要求される理想条件は、マイクロホン受音信号Ｘ_Ｓｉ，１（ω）〜Ｘ_Ｓｉ，Ｍ（ω）をフィルタ係数行列Ｈｎ（ω）でそれぞれフィルタリングし、フィルタリング後の信号を範囲ｎ加算器１０３_ｎで加算し、範囲ｎ出力信号を求めた時に、範囲ｎから到来した音のみが出力されており、それ以外の範囲から到来した音の成分は出力信号で０となっていることである。このような出力信号が全ての範囲ｎ出力（ｎ＝１，．．．，Ｎ）で得られれば、出力信号間のレベル差は最大となり、これらの信号を再生した時に明確な音像定位が得られる。また、理想的な範囲ｎ出力信号は、Ｍチャネルのマイクロホン受音信号を、所定のミキシング係数でミキシングした信号とする。このミキシング係数をＭ行１列のベクトルとしたものをミキシングベクトルＧ_ｉ（ω）と表わす。

ミキシング係数は、予め範囲ｉミキシング係数設定部１１０ｉに設定された値であり、マイクロホン配置や範囲配置に応じて設定される。例えば図２に示す配置の場合、範囲１に対するミキシング係数は、Ｇ_１（ω）＝（0.2，0.6，0.2，0.0，0.0）のように設定される。範囲１で発せられる音が大きく収音されるマイクロホンの係数を大きくした方が指向性形成に有利であるので、範囲１にマイクロホンの指向性の正面が向いている２番目マイクロホンの係数を大きな値に設定している。
次に、上述の理想条件（ｎ番目範囲内の音源から発せられた音を範囲ｎ出力のみから出力し、他の範囲から発せられた音は範囲ｎ出力には出力しないという条件）を式で表せば、ｎ番目範囲から発せられた音に対しては式（１１）、それ以外の範囲（ｉ≠ｎとなるｉ番目範囲）から発せられた音に対しては式（１２）となる。

ｉ＝１，．．．，Ｎの全てにおいて、式（１１）、式（１２）を満たすフィルタ係数Ｈ_ｎ（ω）を求めれば、理想的な出力信号を得ることができる。しかし、式（１１）、式（１２）を完全に満たすフィルタ係数を求めることは、フィルタ長の制約やセンサ雑音の影響により困難であるので、本発明では最小自乗誤差となるようにフィルタ係数を求める。式（１１）、式（１２）を最小自乗誤差となるように解けば、式（１３）となる。

ただし、Ｃ_ＳｎとＤ_Ｓｉは誤差の配分を決める定数であり、Ｃ_Ｓｎが大きい程範囲ｎ出力信号の音の劣化が少なくなり、Ｄ_Ｓｉが大きい程範囲ｎ出力信号における範囲ｉ（ｉ≠ｎ）から発せられる音の抑圧量が増加する。これらの定数はトレードオフの関係にあり、その値は音質劣化と音像定位の両者バランスが取れるように実験的に予め設定される。

以上、フィルタ係数の算出式について説明した。
範囲ｎフィルタ係数Ｈ_ｎ（ω）（ｎ＝１，．．．，Ｎ）は、式（１３）を用いて全ての範囲（ｎ＝１，．．．，Ｎ）に対して求められ、範囲ｎフィルタ部１０２_ｎ，１〜１０２_Ｎ，Ｍにそれぞれ設定される。
次に、範囲ｎフィルタ部１０２_ｎ，１〜１０２_Ｎ，Ｍは、設定されたフィルタ係数Ｈ_ｎ（ω）（ｎ＝１，．．．，Ｎ）でマイクロホン受音信号をそれぞれフィルタリングする。このフィルタリングは全ての範囲（ｎ＝１，．．．，Ｎ）について行われる。

範囲ｎ加算器１０３_ｎは、範囲ｎフィルタ部１０２_ｎ，１〜１０２_Ｎ，Ｍの出力信号を、範囲ごとに加算する。加算は全ての範囲（ｎ＝１，．．．，Ｎ）について行われる。
範囲ｎ加算器１０３_ｎで加算された信号は、本実施例の出力信号（範囲ｎ出力信号）となる。
以上示したように、本発明は、複数マイクロホンの受音信号から、話者位置を検出し、話者がどの範囲にいるか検出し、範囲ごとに共分散行列を保存する。次に、保存した共分散行列から各範囲に対応するフィルタ係数を求め、それらのフィルタ係数でマイクロホン受音信号を範囲ごとにフィルタリングする。これらの処理により、各範囲から発せられた音を分離した範囲数と同数の出力信号を得ることができ、良好な音像定位を実現することができる。

図３は、本発明の第２の実施例を示す収音装置のブロック図である。図３に示す実施例では図１に示した共分散行列計算部１０４と、話者位置検出部１０５と、範囲設定部１０６と、範囲番号検出部１０７と、共分散行列記憶部１０８を総称して音声データ記憶部１００として示している。
本実施例の収音装置は、マイクロホン１０１_１〜１０１_Ｍと、出力チャネルｋフィルタ２０４_ｋ，１〜２０４_ｋ、Ｍ（ｋ＝１，．．．，Ｋ）と、出力チャネルｋ加算器２０５ｋ（ｋ＝１，．．．，Ｋ）と、音声データ記憶部１００と、ｋフィルタ係数計算部２０２ｋ（ｋ＝１，．．．Ｋ）と、出力チャネルｋミキシング係数設定部２０３ｋ（ｋ＝１，．．．，Ｋ）と、出力チャネルｋ毎に設けた収音範囲番号・抑圧範囲番号設定部２０１ｋ（ｋ＝１，．．．，Ｋ）により構成される。ただし、ｋは出力チャネル番号を表わす記号であり、Ｋは出力チャネル数である。

本発明の第２の実施例は、範囲数と出力信号数が異なる場合にも適用可能な方法であり、本発明の第１の実施例の出力をミキシングして任意のチャネル数を出力した場合と同等な出力信号を得ることができる。
本発明の第１の実施例では、範囲数と出力信号数が同数であり、各出力には対応する範囲から発せられた音が出力される。出力信号数を範囲数と異なる数とする場合には、例えば、図４に示すように、範囲を３つ設定し、本発明の第１の実施例を用いて３つの出力（右、正面、左）を得てから、それら出力を増幅器９０４、９０５及び加算器９０２、９０３を用いてミキシングして、２チャネルのステレオ信号を得ることを行う。この場合、少なくとも３チャネル分のフィルタリング処理、フィルタ算出処理が必要となる。

これに対し、本発明の第２の実施例は、上記の例において、２チャネル分のフィルタリング処理、フィルタ算出処理で同等の出力を得ることができ、演算量、メモリ量を削減することを目的とする。
第２の実施例では、Ｎ個の空間的範囲に対して、ミキシング係数設定部及びフィルタ係数計算部は出力チャネル数Ｋに対応させて設ける点と、各フィルタ係数計算部に収音範囲番号設定部及び抑圧範囲番号設定部を付加する構成が実施例１と異なる点である。
つまり、Ｎ個の空間的範囲と、各空間的範囲のそれぞれに付した範囲番号とを設定し、記憶する空間的範囲及び範囲番号設定部と、出力チャネル数Ｋに対応したミキシング係数を設定し記憶したＫ個のミキシング係数設定部と、Ｋ個の収音範囲番号及び抑圧範囲番号を設定し記憶した収音範囲及び抑圧範囲番号設定部とを備え、音源位置検出処理と、検出された音源位置に対応した範囲番号を特定する範囲番号検出処理と、受音信号から共分散行列を計算する共分散行列計算処理と、計算した共分散行列を範囲番号毎に記憶する共分散行列記憶処理と、Ｍ個の受音手段の各々で受音された信号のうち、設定された収音範囲番号に対応する空間的範囲から到来した音をミキシング係数を乗じてからミキシングした信号のみが出力信号となり、設定された抑圧範囲番号に対応する空間的範囲から到来する音を抑圧する条件で記憶された共分散行列とミキシング係数と収音範囲番号及び抑圧範囲番号とからＭチャネルのフィルタ係数を各々出力チャネル毎に算出するフィルタ係数計算処理と、Ｍ個の受音手段で各々受音された受音信号をＫチャネルのフィルタ係数で各々フィルタリングするフィルタ処理と、Ｋチャネルのフィルタ係数でフィルタリングされたＭチャネルのフィルタリング出力をそれぞれ加算し、Ｋチャネルの出力信号を得る加算処理とを実行する。

以下に、本実施例の処理の詳細を述べる。
共分散行列計算部１０４と、話者位置検出部１０５と、範囲設定部１０６と、範囲番号検出部１０７と、共分散行列記憶部１０８に関しては、本発明の第一の実施例と同様であるのでここでは音声データ記憶部１００として総称して表示する。
出力チャネルｋ収音範囲番号・抑圧範囲番号設定部２０１_ｋ（ｋ＝１，．．．，Ｋ）は、上記範囲設定部１０６で設定された範囲のうち、出力チャネルｋにおいて収音したい範囲と抑圧したい範囲の番号を予め設定する。例えば、図４に示す構成と同等の出力信号を得たい場合には、右出力に対して、収音範囲に範囲１と範囲２を設定し、抑圧範囲に範囲３を設定する。ただし、収音範囲と抑圧範囲には、同じ範囲を同時に設定できない。また、収音範囲と抑圧範囲のどちらにも含まれない範囲が存在しても良い。

出力チャネルｋミキシング係数設定部２０３_ｋ（ｋ＝１，．．．，Ｋ）は、本発明の実施例１と同様にミキシング係数を予め設定する。ただし、本実施例では、出力チャネルごとに収音範囲に対するミキシング係数が必要であるので、出力チャネルｋで範囲ｎに対するミキシングベクトルをＧ_ｋ，ｎ（ω）（ｋ＝１，．．．，Ｋ），（ｎ＝１，．．．，Ｎ）として設定する。
出力チャネルｋフィルタ係数算出部２０２_ｋ（ｋ＝１，．．．，Ｋ）は、音声データ記憶部１００に記憶されている全ての共分散行列と、上記収音したい範囲と抑圧したい範囲の番号と、ミキシングベクトルをＧ_ｋ，ｎ（ω）から、各範囲から発せられた音のうち、収音したい範囲の音を収音し、抑圧したい範囲の音を抑圧するためのフィルタ係数を式（１６）により計算する。

以下、フィルタの計算式について説明する。
本発明の第１の実施例と同様に、各マイクロホンに接続された出力チャネルｋフィルタ２０４_ｋ，１〜２０４_ｋ，Ｍ（ｋ＝１，．．．，Ｋ）のフィルタ係数を周波数領域に変換したものを、Ｈ_ｋ，１（ω）〜Ｈ_ｋ，Ｍ（ω）（ｋ＝１，．．．，Ｋ）とする。
次に、これらのフィルタ係数を式（１０）により行列としたものをＨ_ｋ（ω）（ｋ＝１，．．．，Ｋ）とする。また、ｉ番目範囲内の音源が発音している期間のマイクロホン受音信号の周波数領域変換信号をＸ_Ｓｉ，１（ω）〜Ｘ_Ｓｉ，Ｍ（ω）とする。

ここで、出力チャネルｋのフィルタ係数行列Ｈ_ｋ（ω）に要求される理想条件は、出力チャネルｋ収音範囲番号・抑圧範囲番号設定部２０１_ｋ（ｋ＝１，．．．，Ｋ）で設定されている収音範囲内から発せられた音は出力チャネルKに出力され、抑圧範囲内から発せられた音は出力チャネルKに出力されないことである。ここで、出力チャネルK収音範囲番号・抑圧範囲番号設定部２０１_ｋ（ｋ＝１，．．．，Ｋ）に設定されている収音範囲番号をＡｋ（ｐ）（ｐ＝１，．．．，Ｐｋ）とし、抑圧範囲番号Ｂｋ（ｑ）（ｑ＝１，．．．，Ｑｋ）とする。Ｐｋは収音範囲数、Ｑｋは抑圧範囲数である。また、出力チャネルｋの範囲ｎに対するミキシングベクトルＧ_ｋ，ｎ（ω）（ｋ＝１，．．．，Ｋ），（ｎ＝１，．．．，Ｎ）は、出力チャネルｋミキシング係数設定部２０３ｋ（ｋ＝１，．．．，Ｋ）に予め設定されている。

次に、上述の出力チャネルｋに対する理想条件（収音範囲内Ａｋ（ｐ）（ｐ＝１，．．．，Ｐｋ）から発せられた音を出力チャネルｋに出力し、抑圧範囲内Ｂｋ（ｑ）（ｑ＝１，．．．，Ｑｋ）から発せられた音は出力チャネルｋに出力しないという条件）を式で表せば、収音範囲に対しては式（１４）、抑圧範囲に対しては式（１５）となる。

次に、本発明の実施例１と同様にして、式（１４）、式（１５）を最小自乗誤差でフィルタ係数Ｈ_ｋ（ω）（ｋ＝１，．．．，Ｋ）を求めれば、式（１６）となる。

ただし、Ｃ_{ｋ，ＳＡｋ（ｐ）}とＤ_{ｋ，ＳＢｋ（ｑ）}は誤差の配分を決める定数であり、Ｃ_{ｋ，ＳＡｋ（ｐ）}が大きいほど出力チャネルｋにおける収音範囲Ａｋ（ｐ）から発せられた音の劣化が少なくなり、Ｄ_{ｋ，ＳＢｋ（ｑ）}が大きいほど出力チャネルｋにおける収音範囲Ａｋ（ｐ）から発せられた音の抑圧量が増加する。これらの定数はトレードオフの関係にあり、その値は音質劣化と音像定位の両者バランスの取れる値に実験的にあらかじめ設定される。

以上、フィルタ係数の算出式について説明した。
出力チャネルｋフィルタ係数Ｈ_ｋ（ω）（ｋ＝１，．．．，Ｋ）は、式（１６）を用いて全てのチャネル（ｋ＝１，．．．，Ｋ）に対して求められ、出力チャネルｋフィルタ部２０４_ｋ，１〜２０４_Ｋ，Ｍにそれぞれ設定される。
次に、出力チャネルｋフィルタ部２０４_ｋ，１〜２０４_Ｋ，Ｍは、設定されたフィルタ係数Ｈ_ｋ（ω）（ｋ＝１，．．．，Ｋ）で、マイクロホン受音信号をそれぞれフィルタリングする。このフィルタリングは全ての出力チャネル（ｋ＝１，．．．，Ｋ）について行われる。

出力チャネルｋ加算器２０５_ｋは、出力チャネルｋフィルタ部２０４_ｋ，１〜２０４_Ｋ，Ｍの出力信号を、出力チャネルごとに加算する。加算は全ての出力チャネル（ｋ＝１，．．．，Ｋ）について行われる。
出力チャネルｋ加算器２０５_ｋで加算された信号は、本実施例の出力信号（チャネルｋ出力信号）となる。
以上のような処理を行うことにより、本発明の実施例１の範囲数と同数の出力信号をミキシングして、異なるチャネル数Ｋに変換したのと同等の出力信号が得られる。ただし、本実施例では、出力チャネル数Ｋの分だけフィルタリング処理を行えばよいので、本発明の実施例１と出力チャネルのミキシングを行った場合よりも演算量とメモリ量を少なくすることができる。

図５は、本発明の第３の実施例である収音装置のブロック図である。この図５においても、図１に示した共分散行列計算部１０４と、話者位置検出部１０５と、範囲設定部１０６と、範囲番号検出部１０７と、共分散行列記憶部１０８を総称して音声データ記憶部１００として表示している。
本実施例の収音装置は、図１を用いて説明した本発明の第１の実施例に、範囲ｎ音声レベル推定部３０１_ｎ（ｎ＝１，．．．，Ｎ）と、範囲ｎゲイン計算部３０２_ｎ（ｎ＝１，．．．，Ｎ）と、範囲ｎ増幅器３０３_ｎ（ｎ＝１，．．．，Ｎ）を追加した構成である。

本実施例は、本発明の第１の実施例の効果に加え、各出力信号を、それぞれ適正レベルとする効果を有する。これにより、出力信号を再生した時に聞き取りやすい音量とすることができる。
マイクロホン１０１_１〜１０１_Ｍと、範囲ｎフィルタ１０２_ｎ，１〜１０２_ｎ，Ｍ（ｎ＝１，．．．，Ｎ）と、範囲ｎ加算器１０３_ｎ（ｎ＝１，．．．，Ｎ）と、音声データ記憶部１００と、範囲ｎフィルタ係数計算部１０９_ｎ（ｎ＝１，．．．，Ｎ）と、範囲ｎミキシング係数設定部１１０_ｎ（ｎ＝１，．．．，Ｎ）は、本発明の実施例１と同様であるので説明を省略する。

範囲ｎ音声レベル推定部３０１_ｎ（ｎ＝１，．．．，Ｎ）は、共分散行列記憶部１０８に記憶されている共分散行列Ｒ_ＳｎＳｎ（ω）と、ミキシング係数設定部１１０_ｎ（ｎ＝１，．．．，Ｎ）に設定されているミキシングベクトルＧ_ｎ（ω）から、式（１７）を用いて範囲ｎから発音されている音のレベルＬ_ｎを推定する。

ただし、（ ）^Ｈは行列の共役転置を表し、Ｗは話者音声パワーを求める帯域の最大周波数を表わす。

次に、範囲ｎゲイン計算部３０２_ｎ（ｎ＝１，．．．，Ｎ）は、範囲ｎ音声レベルＬ_ｎを適正レベルＬ_ｏｐｔ（聞き取りやすいレベルで、あらかじめ設定される）にするための範囲ｎに対するゲインα_ｎを算出する。ゲインα_ｎは、式（１８）により求めることができる。
α_n＝Ｌ_ｏｐｔ／Ｌ_ｎ （１８）
算出された範囲ｎに対するゲインα_ｎは、範囲ｎ増幅器３０３_ｎ（ｎ＝１，．．．，Ｎ）に設定される。

次に、範囲ｎ増幅器３０３_ｎ（ｎ＝１，．．．，Ｎ）は、範囲ｎ加算器１０３_ｎ（ｎ＝１，．．．，Ｎ）の出力信号にそれぞれゲインα_ｎを乗じる。これにより、ゲインを乗じられた範囲ｎ出力信号は、それぞれ適正レベル（聞き取りやすい音量）となる。

以上示したように、本実施例では、本発明の第１の実施例の効果（各範囲から発せられた音を分離した範囲数と同数の出力信号を得ることができ、良好な音像定位を実現）に加え、各出力信号が適正レベルとなり、再生時に聞き取りやすい音量とすることを実現する。

図６は、本発明の第４の実施例である収音装置のブロック図である。この図６に示す音声データ記憶部１００の内部構成は図３、図５の場合と同じである。
本実施例の収音装置は、図３を用いて説明した本発明の第２の実施例に、出力チャネルK音声レベル推定部４０１_ｋ（ｋ＝１，．．．，Ｋ）と、出力チャネルKゲイン計算部４０２_ｋ（ｋ＝１，．．．，Ｋ）と、出力チャネルｋゲイン４０３_ｋ（ｋ＝１，．．．，Ｋ）を追加した構成である。
本実施例は、本発明の第２の実施例の効果に加え、各出力信号を、それぞれ適正レベルとする効果を有する。これにより、出力信号を再生したときに聞き取りやすい音量とすることができる。

マイクロホン１０１_１〜１０１_Ｍと、出力チャネルｋフィルタ２０４_ｋ，１〜２０４_ｋ，Ｍ（ｋ＝１，．．．，Ｋ）と、出力チャネルｋ加算器２０５_ｋ（ｋ＝１，．．．，Ｋ）と、音声データ記憶部１００と、出力チャネルｋフィルタ係数計算部２０２_ｋ（ｋ＝１，．．．，Ｋ）と、出力チャネルKミキシング係数設定部２０３_ｋ（ｋ＝１，．．．，Ｋ）と、出力チャネルK収音範囲番号・抑圧範囲番号設定部２０１_ｋ（ｋ＝１，．．．，Ｋ）は図３を用いて説明した本発明の第２の実施例と同様であるので説明を省略する。
出力チャネルｋ音声レベル推定部４０１_ｋ（ｋ＝１，．．．，Ｋ）は、音声データ記憶部１００に記憶されている共分散行列Ｒ_ＳｎＳｎ（ω）と、出力チャネルKミキシング係数設定部２０３_ｋ（ｋ＝１，．．．，Ｋ）に設定されているミキシングベクトルG_ｋ，ｎ（ω）と、出力チャネルｋ収音範囲番号・抑圧範囲番号設定部２０１_ｋ（ｋ＝１，．．．，Ｋ）に設定されている収音範囲番号をＡｋ（ｐ）（ｐ＝１，．．．，Ｐｋ）から、式（１９）を用いて出力チャネルｋの音声レベルＬ_ｋを推定する。

次に、出力チャネルｋゲイン計算部４０２_ｋ（ｋ＝１，．．．，Ｋ）は、出力チャネルｋ音声レベルＬ_ｋを適正レベルＬ_ｏｐｔ（聞き取りやすいレベルで、あらかじめ設定される）にするための出力チャネルｋに対するゲインα_ｋを算出する。ゲインα_ｋは式（２０）により求めることができる。
α_ｋ＝Ｌ_ｏｐｔ／Ｌ_ｋ （２０）
算出された出力チャネルｋに対するゲインα_ｋは、出力チャネルｋ増幅器４０３_ｋ（ｋ＝１，．．．，Ｋ）に設定される。

出力チャネルｋ増幅器４０３_ｋ（ｋ＝１，．．．，Ｋ）は、出力チャネルｋ加算器２０５_ｋ（ｋ＝１，．．．，Ｋ）の出力信号にそれぞれゲインα_ｋを乗じる。これによりゲインを乗じられたチャネルｋの出力信号は、それぞれ適正レベル（聞き取りやすい音量）となる。
以上示したように、本実施例では、本発明の第２の実施例の効果に加え、各チャネルの出力信号が適正レベルとなり、再生時に聞き取りやすい音量とすることを実現する。

図７は、、本発明の第５の実施例である収音装置のブロック図である。
本実施例の収音装置は、図６を用いて説明した本発明の第４の実施例に、出力チャネルｋ範囲別ゲイン計算部５０１_ｋ（ｋ＝１，．．．，Ｋ）を追加した構成である。
本発明の第４の実施例では、出力チャネルごとに、ゲインα_ｋを乗じることで、各出力チャネルを適正レベルとなるようにしている。この場合、出力チャネルごとに１つのゲインα_ｋでレベルの調整を行っているので、その出力チャネルの収音範囲でレベル差があると、その調整ができない。例えば、範囲１と範囲２を収音範囲とする出力チャネルにおいて、範囲１から到来する音声が適正レベルよりも１２ｄＢ大きく、範囲２から到来する音声が適正レベルであった場合、本発明の第４の実施例ではゲインα_ｋが−６ｄＢとなり、範囲１から到来する音声は適正レベルよりも６ｄＢ大きく、範囲２から到来する音声は適正レベルよりも６ｄＢ小さくなる。

これを解決するため、本実施例では範囲別のゲイン計算を行い、フィルタ係数計算部２０２_１〜２０２_Ｋにおいて、範囲別のレベル差がないようなフィルタを生成する。
マイクロホン１０１_１〜１０１_Ｍと、出力チャネルｋフィルタ２０４_ｋ，１〜２０４_ｋ、Ｍ（ｋ＝１，．．．，Ｋ）と、出力チャネルｋ加算器２０５_ｋ（ｋ＝１，．．．，Ｋ）と、音声データ記憶部１００と、出力チャネルｋミキシング係数設定部２０３_ｋ（ｋ＝１，．．．，Ｋ）と、出力チャネルｋ収音範囲番号・抑圧範囲番号設定部２０１_ｋ（ｋ＝１，．．．，Ｋ）と、出力チャネルｋゲイン計算部４０２_ｋ（ｋ＝１，．．．，Ｋ）と、出力チャネルｋ増幅器４０３_ｋ（ｋ＝１，．．．，Ｋ）は、本発明の第４の実施例と同様であるので説明を省略する。

出力チャネルｋ音声レベル推定部４０１_ｋ（ｋ＝１，．．．，Ｋ）は、音声データ記憶部１００に記憶されている共分散行列Ｒ_ＳｎＳｎ（ω）と、出力チャネルｋミキシング係数設定部２０３_ｋ（ｋ＝１，．．．，Ｋ）に設定されているミキシングベクトルＧ_ｋ，ｎ（ω）と、出力チャネルｋ収音範囲番号・抑圧範囲番号設定部２０１_ｋ（ｋ＝１，．．．，Ｋ）に設定されている収音範囲番号をＡｋ（ｐ）（ｐ＝１，．．．，Ｐｋ）から、本発明の第４の実施例と同様に式（１９）を用いて出力チャネルｋの音声レベルＬ_ｋを推定する。本実施例では、加えて収音範囲毎の音声レベルＬ_{ｋ，Ａｋ（ｐ）}も推定する。この計算式は式（２１）で表される。

次に、出力チャネルｋ範囲別ゲイン計算部５０１_ｋ（ｋ＝１，．．．，Ｋ）は、各収音範囲のレベルがすべて同じになるように、収音範囲毎のゲインβ_{ｋ，Ａｋ（ｐ）}を計算する。その計算式は式（２２）で表される。
β_{ｋ，Ａｋ(Ｐ)}＝Ｌ_ｋ／Ｌ_{ｋ，Ａｋ(Ｐ)} （２２）
次に、出力チャネルｋフィルタ係数計算部２０２_ｋ（ｋ＝１，．．．，Ｋ）は、式（１４）と式（１５）の条件に加え、各収音範囲に対してゲインβ_{ｋ，Ａｋ（ｐ）}を与えるような条件でフィルタ係数を計算する。

以下、フィルタ係数計算式について説明する。
式（１４）と式（１５）にゲインβ_{ｋ，Ａｋ（ｐ）}を与える条件を付加した式は、式（２３）と式（２４）となる。

次に、本発明の実施例２と同様にして、式（２３）、式（２４）を最小自乗誤差でフィルタ係数Ｈ_ｋ（ω）（ｋ＝１，．．．，Ｋ）を求めれば、式（２５）となる。

ただし、Ｃ_{ｋ，ＳＡｋ（ｐ）}とＤ_{ｋ，ＳＢｋ（ｑ）}は誤差の配分を決める定数であり、本発明の第２の実施例と同様である。
フィルタ係数は式（２５）により求められ、出力チャネルｋフィルタ部２０４_ｋ，１〜２０４_Ｋ，Ｍにそれぞれ設定される。

求められたフィルタ係数には、各収音範囲のレベルがすべて同じになるような収音範囲毎ゲインβ_{ｋ，Ａｋ（ｐ）}が含まれているので、出力チャネルｋ加算器２０５_ｋ（ｋ＝１，．．．，Ｋ）の出力信号は、各収音範囲から到来する音声が全て同じレベルとなった信号となる。これらの出力信号は、本発明の第４の実施例と同様に、ゲインα_ｋを乗じられ、それぞれ適正レベル（聞き取りやすい音量）となって出力される。
これら以外の部分に付いては、本発明の第４の実施例と同様であるので説明を省略する。

以上示したように、本実施例では、収音範囲毎ゲインβ_{ｋ，Ａｋ（ｐ）}の計算を行い、フィルタ係数計算部２０２_１〜２０２_Ｋにおいて、範囲毎のレベル差がないようなフィルタを生成することにより、本発明の第４の実施例の効果に加え、収音範囲間でレベル差をなくし、全ての収音範囲から到来する音声を適正レベルで出力することが可能となる。

図８は、本発明の第６の実施例である収音装置のブロック図の一部である。
本実施例は、上述した本発明の第１〜５の実施例のうち、いずれか１つの実施例に、雑音区間検出部６０１を追加した構成である。
本実施例は、本発明の第１〜５の実施例の効果に加え、雑音抑圧を行うものである。
雑音区間検出部６０１は、マイクロホン１０１_１〜１０１_Ｍで受音した信号から、雑音区間を検出する。例えば、それぞれのマイクロホン受音信号を加算した信号に対し、短時間平均パワー（０．１〜１ｓ程度）と、長時間平均パワー（１ｓ〜１００ｓ程度）を求め、短時間平均パワーと長時間平均パワーの比が雑音区間の閾値未満の場合に雑音区間と判定する。

雑音区間検出部６０１で雑音区間が検出された場合は、共分散行列計算部１０４で計算された共分散行列を雑音の共分散行列Ｒ_ＮＮ（ω）として記憶する。
ここで、雑音を抑圧する条件は、マイクロホン受音信号の雑音成分Ｘ_Ｎ，１（ω）〜Ｘ_Ｎ，Ｍ（ω）が、出力信号において０となる式であるので、式（２６）で表される。
（Ｘ_Ｎ，１（ω）……Ｘ_Ｎ，Ｍ（ω））Ｈ_ｋ（ω）＝０ （２６）
本発明の第１〜５の実施例のフィルタ係数計算のために条件に式（２６）の条件を加え、各実施例と同様にして、最小自乗誤差でフィルタ係数Ｈ_ｋ（ω）（ｋ＝１，．．．，Ｋ）を求めると、本発明の実施例１と３実施例に対しては式（２７）、本発明の実施例２と４に対しては式（２８）、本発明の実施例５に対しては式（２９）となる。

ただし、Ｄ_ＮとＤ_ｋ，Ｎは、Ｃ_{ｋ，ＳＡｋ（ｐ）}とＤ_{ｋ，ＳＢｋ（ｑ）}などと同様に誤差の配分を決める定数であり、Ｄ_ＮとＤ_ｋ，Ｎが大きいほど雑音抑圧量が増加する。また、これらＤ_Ｎ、Ｄ_ｋ，Ｎ、Ｃ_{ｋ，ＳＡｋ（ｐ）}、Ｄ_{ｋ，ＳＢｋ（ｑ）}などの定数はトレードオフの関係にあり、音質劣化と音像定位と雑音抑圧のバランスの取れる値に設定される。

以上示したフィルタ係数計算式によりフィルタ係数を算出することにより、本発明の第１〜５の実施例の効果に加え雑音抑圧を行うことが可能となる。

本実施例の収音装置は、本発明の第１〜６の実施例の範囲ｎフィルタ係数計算部１０９ｎ（ｎ＝１，．．．，N）または出力チャネルｋフィルタ係数計算部２０２ｋ（ｋ＝１，．．．，N）のいずれかに、白色化部を含む構成である。白色化部は、各共分散行列をフィルタ係数計算の前段階で白色化する。これにより、マイクロホンで受音された信号の周波数特性に関与しないフィルタ係数が求められ、安定した動作が可能となる。
白色化は、共分散行列R_XX（ω）の対角成分のうち最もパワーの大きい要素で割り算をするか、共分散行列の対角成分の平均パワーで割り算をすることで行なう。

ここで、共分散行列R_XX（ω）のα行β列の要素をR_XXαβ（ω）とし、白色化後の共分散行列をR_W，XX（ω）とする。次に白色化後の共分散行列R_W，XX（ω）を式で表せば、共分散行列R_XX（ω）の対角成分のうち最もパワーの大きい要素R_XX，ｒｒ（ω）で割り算をした場合は式（３０）となり、共分散行列の対角成分の平均パワーで割り算をした場合は式（３１）となる。

ただし、βは、あらかじめ設定される白色化の度合いを調整する係数であり、１となれば完全に白色化となり、０となれば白色化は行われなくなる。
次に、式（３０）または式（３１）により求められた白色化後の共分散行列を用い、フィルタ係数の計算式によりフィルタ係数を計算する。
この共分散行列の白色化により、音源の周波数特性に依存しないフィルタを求めることができる。これにより、音源の周波数特性が変化しても、フィルタ係数の変化がなく、本発明の処理による音色の変化を防ぐことができる。

これら以外の部分に関しては、本発明の第１〜６の実施例のいずれかの収音装置と同じであるので、説明を省略する。
以上説明した実施例１〜６では共分散行列計算部１０４、話者位置検出部１０５、フィルタ部等の各部で周波数領域変換信号Ｘ_１（ω）〜Ｘ_Ｍ（ω）を用いるものとして説明したが、各実施例ではマイクロホンで受音した受音信号を周波数領域変換信号に変換する手段について省略して説明したが、現実には図９に示すように、マイクロホン１０１_１〜１０１_Ｍの各受音信号はＦＦＴ（高速フーリエ変換手段）１５０_１〜１５０_Ｍで周波数領域変換信号に変換し、この周波数領域変換信号を各部供給する構成とされる。更に、各加算器１０３_１〜１０３_Ｎの出力側には逆ＦＦＴ１６０_１〜１６０_Ｎが設けられ、時間領域信号に変換して出力される。

本発明による収音方法及び収音装置は主にコンピュータで実現することができる。コンピュータに本発明で提案する収音プログラムをインストールし、コンピュータに収音プログラムを実行させることにより本発明の収音方法及び収音装置が実現される。本発明による収音プログラムはコンピュータが解読可能なプログラム言語によって記述され、コンピュータが読み取り可能な例えば磁気ディスク、ＣＤ−ＲＯＭのような記録媒体に記録され、これらの記録媒体からコンピュータにインストールするか、或は通信回線を通じてインストールされる。インストールされた収音プログラムはコンピュータに備えられたＣＰＵに解読されて実行される。

本発明による収音方法及び装置はＴＶ会議システムや、音声会議システム、電話会議システム、遠隔講義システム等に活用される。
(参考文献１)

日本音響学会誌５０巻７号（１９９４）．ｐｐ５４０−５４８．音源方向推定法の室内残響下での性能評価、田中、金田、小島

本発明の第１の実施例である収音装置を示すブロック図。 図１に示した実施例の動作を説明するための図。 本発明の第２の実施例である収音装置を示すブロック図。 図３に示した実施例の動作を説明するための図。 本発明の第３の実施例である収音装置を示すブロック図。 本発明の第４の実施例である収音装置を示すブロック図。 本発明の第５の実施例である収音装置を示すブロック図。 本発明の第６の実施例である収音装置を示すブロック図。 本発明の各実施例１〜６で用いられるＦＦＴと逆ＦＦＴの存在を説明するためのブロック図。 従来の収音方法を説明するための図。

符号の説明

１０１_１〜１０１_Ｍ マイクロホン １００ 音声データ記憶部
１０２_ｎ，１〜１０２_ｎ，Ｍ 範囲ｎフィルタ部 １０４ 共分散行列計算部
１０３ｎ 範囲ｎ加算器 １０５ 話者位置検出部
１０６ 範囲設定部 ４０２_ｋ 出力チャネルｋゲイン計算部
１０７ 範囲番号検出部 ４０３_ｋ 出力チャネルｋ増幅器
１０８ 共分散行列記憶部 ５０１_ｋ 出力チャネルｋ範囲別ゲイン計算部
１０９_ｎ 範囲ｎフィルタ係数計算部 ６０１ 雑音区間検出部
１１０_ｎ 範囲ｎミキシング係数設定部 ７０１_Ｌ 左チャネルマイクロホン
２０１_ｋ 出力チャネルｋ収音範囲番号・抑圧範囲番号設定部
２０２_ｋ 出力チャネルｋフィルタ係数計算部 ７０１_Ｒ 右チャネルマイクロホン
２０３_ｋ 出力チャネルｋミキシング係数設定部 ８０１_Ｌ 左チャネル指向性
２０４_ｋ，１〜２０４_ｋ，Ｍ 出力チャネルｋフィルタ部 ８０１_Ｒ 右チャネル指向性
２０５_ｋ 出力チャネルｋ加算器 ８０１_Ｃ 正面チャネル指向性
３０１_ｎ 範囲ｎ音声レベル推定部 ８０２ 本発明の処理部
３０２_ｎ 範囲ｎゲイン計算部 ９０１ 本発明の第１の実施例の処理部
３０３_ｎ 範囲ｎ増幅器 ９０２、９０３ 加算器
４０１_ｋ 出力チャネルｋ音声レベル推定部 ９０４、９０５ 増幅器

Claims (18)

1. １つ以上Ｎ個の空間的範囲と、各空間的範囲のそれぞれに付した範囲番号とを設定し、記憶する空間的な範囲及び範囲番号設定部と、前記各空間的範囲に対答するミキシング係数を設定し、記憶するミキシング係数設定部とを備え、
   ２つ以上Ｍ個の受音手段の各々で受音された受音信号から音源位置または音源方向を検出する音源位置検出処理と、
   前記検出された音源位置または音源方向が、前記設定された空間的範囲の何れに含まれるかを検出し、検出された場合は前記検出された音源位置が含まれる前記範囲番号を出力する範囲番号検出処理と、
   前記Ｍ個の受音手段の各々で受音された受音信号から共分散行列を計算する共分散行列計算処理と、
   前記範囲番号検出処理で範囲番号が出力された時に前記共分散行列を範囲番号毎に記憶する共分散行列記憶処理と、
   前記空間的範囲毎に、前記Ｍ個の受話信号のうち、対応する範囲から到来した信号に前記予め設定したミキシング係数を乗じてから加算した信号が出力信号となり、その他の音が抑圧されるように、前記共分散行列記憶処理で記憶された共分散行列と前記ミキシング係数からＭチャンネルそれぞれのフィルタ係数を求めるフィルタ係数計算処理と、
   Ｎ個の範囲毎に、Ｍ個の受話信号をそれぞれ前記フィルタ係数計算処理で求めたフィルタ係数でフィルタリングするフィルタ処理と、
   Ｎ個の範囲毎に、前記Ｍ個のフィルタ処理された出力信号を加算して出力信号を得る加算処理と、
   を含むことを特徴とする収音方法。
2. １つ以上Ｎ個の空間的範囲と、各空間的範囲のそれぞれに付した範囲番号とを設定し記憶する空間的範囲及び範囲番号設定部と、
   出力チャネル数Ｋに対応したミキシング係数を設定し、記憶したＫ個のミキシング係数設定部と、Ｋ個の収音範囲番号及びＫ個の抑圧範囲番号を設定し記憶する収音範囲番号及び抑圧範囲番号設定部とを備え、
   ２つ以上Ｍ個の受音手段の各々で受音された受音信号から音源位置又は音源方向を検出する音源位置検出処理と、
   検出された音源位置または音源方向が、前記設定された空間的範囲の何れかに含まれるかを検出し、検出された場合は前記検出された音源位置が含まれる前記空間的範囲番号を出力する範囲番号検出処理と、
   Ｍ個の受音手段の各々で受音された受音信号から共分散行列を計算する共分散行列計算処理と、
   前記範囲番号検出処理で範囲番号が出力された時に前記共分散行列を前記範囲番号毎に記憶する共分散行列記憶処理と、
   Ｍ個の受音手段の各々で受音された信号のうち、前記設定された収音範囲番号に対応する範囲から到来した音を上記ミキシング係数を乗じてからミキシングした信号のみが出力信号となり、前記設定された抑圧範囲番号に対応する範囲から到来する音を抑圧する条件で前記記憶された共分散行列と前記ミキシング係数と前記収音範囲番号及び抑圧範囲番号とから、Ｋチャネルのフィルタ係数を各々算出するフィルタ係数計算処理と、
   Ｍ個の受音手段の各々で受音されたＭチャネルの受音信号を前記Ｋチャネルのフィルタ係数で各々フィルタリングするフィルタ処理と、
   前記フィルタ処理されたＭチャネルの出力信号をそれぞれ加算し、Ｋチャネルの出力信号を得る加算処理と、
   を含むことを特徴とする収音方法。
3. 前記共分散行列記憶部に記憶された共分散行列と前記ミキシング係数設定部に設定されたミキシング係数に基づき、各空間的範囲の音声レベルを推定する音声レベル推定処理と、
   前記各空間的範囲の音声レベルと、予め設定した適正レベルに基づき、出力信号を適正レベルとするＮ個のゲインを算出するゲイン算出処理と、
   前記Ｎ個のゲインを前記Ｎチャネルの出力信号に各々乗じ、Ｎチャネルの出力信号とする出力処理と、
   とを含むことを特徴とする請求項１に記載の収音方法。
4. 前記共分散行列記憶部に記憶された共分散行列と、前記ミキシング係数設定部に設定されたミキシング係数と、前記収音範囲番号及び、抑圧範囲番号設定部に設定された収音範囲番号及び抑圧範囲番号に基づき、各出力チャネルの音声レベルを推定する音声レベル推定処理と、
   前記出力チャネルの音声レベルと、予め設定した適正レベルに基づき、出力信号を適正レベルとするゲインを算出するゲイン算出処理と、
   前記ゲインを前記Ｋチャネルの出力信号に各々乗じ、Ｋチャネルの出力信号とする出力処理と、
   を含む特徴とする請求項２記載の収音方法。
5. 前記共分散行列記憶部に記憶された共分散行列と、前記ミキシング係数設定部に設定されたミキシング係数と、前記収音範囲番号及び抑圧範囲番号設定部に設定された収音範囲番号及び抑圧範囲番号に基づき、各出力チャネルの音声レベルと収音範囲ごとの音声レベルを推定する音声レベル推定処理と、
   前記出力チャネルの音声レベルと、前記収音範囲ごとの音声レベルに基づき、各収音範囲から到来する音が同レベルとなるような収音範囲毎のゲインを算出する範囲別ゲイン算出処理とを含み、前記フィルタ係数算出処理は、Ｍ個の受音手段の各々で受音された信号のうち、前記対応する収音範囲番号及び抑圧範囲番号設定部に設定された収音範囲から到来する音を収音し、抑圧範囲から到来する音を抑圧し、収音範囲から到来する音が同レベルとなる条件で、前記記憶された共分散行列と前記ミキシング係数と前記収音範囲及び前記抑圧範囲と、前記収音範囲毎のゲインから、Ｍチャネルフィルタ係数を各々の出力チャネルについて算出することを特徴とする請求項２または請求項４の何れかに記載の収音方法。
6. 前記Ｍ個の受音手段で受音した信号から雑音区間を検出する雑音区間検出処理を含み、
   前記共分散行列記憶処理は、前記範囲番号検出処理で範囲番号が出力された時前記共分散行列を範囲番号毎に記憶し、前記雑音区間検出段階で雑音区間が検出された時に雑音区間の共分散行列を記憶し、
   前記フィルタ係数算出処理は、雑音成分も抑圧する処理を含むことを特徴とする請求項１〜５の何れかに記載の収音方法。
7. 前記フィルタ係数計算処理は白色化処理過程を有し、
   前記白色化処理は前記記憶された共分散行列のうち対角成分で最もパワーの大きい成分、または前記記憶された共分散行列の対角成分の加算値の周波数特性を平滑化するゲインを、前記記憶された共分散行列に乗算し、前記フィルタ係数計算段階は、前記白色化された共分散行列を用いて、フィルタ係数計算を行うことを特徴とする請求項１〜６の何れかに記載の収音方法。
8. １つ以上Ｎ個の空間的範囲と、各空間的範囲のそれぞれに付した範囲番号とを設定し、記憶する空間的な範囲及び範囲番号設定部と、前記各空間的範囲に対答するミキシング係数を設定し、記憶するミキシング係数設定部とを備え、
   ２つ以上Ｍ個の受音手段の各々で受音された受音信号から音源位置または音源方向を検出する音源位置検出部と、
   前記検出された音源位置または音源方向が、前記設定された空間的範囲の何れに含まれるかを検出し、検出された場合は前記検出された音源位置が含まれる前記範囲番号を出力する範囲番号検出部と、
   前記Ｍ個の受音手段の各々で受音された受音信号から共分散行列を計算する共分散行列計算部と、
   前記範囲番号検出部で範囲番号が出力された時に前記共分散行列を範囲番号毎に記憶する共分散行列記憶部と、
   前記空間的範囲毎に、前記Ｍ個の受話信号のうち、対応する範囲から到来した信号に前記予め設定したミキシング係数を乗じてから加算した信号が出力信号となり、その他の音が抑圧されるように、前記共分散行列記憶部に記憶された共分散行列と前記ミキシング係数からＭチャンネルそれぞれのフィルタ係数を求めるフィルタ係数計算部と、
   Ｎ個の空間的範囲毎に、Ｍ個の受話信号をそれぞれ前記フィルタ係数計算処理で求めたフィルタ係数でフィルタリングするフィルタ部と、
   Ｎ個の空間的範囲毎に、前記Ｍ個のフィルタ処理された出力信号を加算して出力信号を得る加算器と、
   を備えることを特徴とする収音装置。
9. １つ以上Ｎ個の空間的範囲と、各空間的範囲のそれぞれに付した範囲番号とを設定し記憶する空間的範囲及び範囲番号設定部と、
   出力チャネル数Ｋに対応したミキシング係数を設定し、記憶したＫ個のミキシング係数設定部と、Ｋ個の収音範囲番号及びＫ個の抑圧範囲番号を設定し記憶する収音範囲番号及び抑圧範囲番号設定部とを備え、
   ２つ以上Ｍ個の受音手段の各々で受音された受音信号から音源位置又は音源方向を検出する音源位置検出部と、
   検出された音源位置または音源方向が、前記設定された空間的範囲の何れに含まれるかを検出し、検出された場合は前記検出された音源位置が含まれる前記空間的範囲番号を出力する範囲番号検出部と、
   Ｍ個の受音手段の各々で受音された受音信号から共分散行列を計算する共分散行列計算処理と、
   前記範囲番号検出部で範囲番号が出力された時に前記共分散行列を前記範囲番号毎に記憶する共分散行列記憶部と、
   Ｍ個の受音手段の各々で受音された信号のうち、前記設定された収音範囲番号に対応する範囲から到来した音を上記ミキシング係数を乗じてからミキシングした信号のみが出力信号となり、前記設定された抑圧範囲番号に対応する範囲から到来する音を抑圧する条件で前記記憶された共分散行列と前記ミキシング係数と前記収音範囲番号及び抑圧範囲番号とから、Ｋチャネルのフィルタ係数を各々算出するフィルタ係数計算部と、
   Ｍ個の受音手段の各々で受音されたＭチャネルの受音信号を前記Ｋチャネルのフィルタ係数で各々フィルタリングするフィルタ部と、
   前記フィルタ部でフィルタリング処理されたＭチャネルの出力信号をそれぞれ加算し、Ｋチャネルの出力信号を得る加算器と、
   を備えることを特徴とする収音装置。
10. 前記共分散行列記憶部に記憶された共分散行列と前記ミキシング係数設定部に設定されたミキシング係数に基づき、各空間的範囲の音声レベルを推定するＮ個の音声レベル指定部と、
    前記各空間的範囲の音声レベルと、予め設定した適正レベルに基づき、出力信号を適正レベルとするゲインを算出するＮ個のゲイン算出手段と、
    前記算出したゲインを前記Ｎチャネルの出力信号に各々乗じ、Ｎチャネルの出力信号とする出力手段と、
    を備えることを特徴とする請求項８に記載の収音装置。
11. 前記共分散行列記憶部に記憶された共分散行列と、前記ミキシング係数設定部に設定されたミキシング係数と、前記収音範囲番号及び抑圧範囲番号設定部に設定された収音範囲番号及び抑圧範囲番号に基づき、各出力チャネルの音声レベルを推定するＫ個の音声レベル推定部と、
    前記出力チャネルの音声レベルと、予め設定した適正レベルに基づき、出力信号を適正レベルとするゲインを算出するゲイン算出部と、
    前記ゲインを前記Ｋチャネルの出力信号に各々乗じ、Ｋチャネルの出力信号とする出力手段と、
    を備えることを特徴とする請求項９に記載の収音装置。
12. 前記共分散行列記憶部に記憶された共分散行列と、前記ミキシング係数設定部に設定されたミキシング係数と、前記収音範囲番号及び抑圧範囲番号設定部に設定された収音範囲番号と、抑圧範囲番号に基づき、各出力チャネルの音声レベルと収音範囲毎の音声レベルを推定するＫ個の音声レベル推定部と、
    前記出力チャネルの音声レベルと、前記収音範囲毎の音声レベルに基づき、各収音範囲から到来する音が同レベルとなるような収音範囲毎のゲインを算出する、Ｋ個の範囲別ゲイン算出部とを備え、
    前記フィルタ係数算出部は、Ｍ個の受音手段の各々で受音された信号のうち、前記対応する収音範囲番号及び抑圧範囲番号設定部に設定された収音範囲から到来する音を収音し、抑圧範囲から到来する音を抑圧し、収音範囲から到来する音が同レベルとなる条件で、前記記憶された共分散行列と前記ミキシング係数と前記収音範囲と前記抑圧範囲と、前記収音範囲別ゲインから、Ｍチャネルフィルタ係数を各々の出力チャネルについて算出することを特徴とする請求項９または請求項１１に記載の収音装置。
13. 前記Ｍ個の受音手段で受音した信号から雑音区間を検出する雑音区間検出部を備え、
    共分散行列記憶部は、前記範囲番号検出部で範囲番号が出力されたとき前記共分散行列を範囲番号毎に記憶し、前記雑音区間検出部で雑音区間が検出された時に雑音区間の共分散行列を記憶し、
    前記フィルタ係数算出手段は、雑音成分も抑圧することを特徴とする請求項８乃至１２の何れかに記載の収音装置。
14. 前記フィルタ係数計算手段は白色化手段を有し、
    前記白色化手段は前記記憶された共分散行列のうち対角成分で最もパワーの大きい成分、または前記記憶された共分散行列の対角成分の加算値の周波数特性を平滑化するゲインを、前記記憶された共分散行列に乗算し、
    前記フィルタ係数計算手段は、前記白色化された共分散行列を用いて、フィルタ係数計算を行うことを特徴とする請求項８乃至１３の何れかに記載の収音装置。
15. 前記Ｍ個の受音手段の各々で受音された信号を時間領域信号から周波数領域信号に変換するＦＦＴ変換手段と、
    前記加算手段の出力信号を周波数領域信号から時間領域信号に変換する逆ＦＦＴ変換手段と、
    を備えることを特徴とする請求項８乃至１４の何れかに記載の収音装置。
16. 前記範囲設定部は入力手段を有し、入力手段は入力に応じて前記空間的範囲を変化させることを特徴とする請求項請求項８乃至１５の何れかに記載の収音装置。
17. コンピュータが解読可能なプログラム言語によって記述され、コンピュータに請求項１乃至７記載の収音方法の何れかを実行させる収音プログラム。
18. コンピュータが読み取り可能な記録媒体で構成され、この記録媒体に請求項１７記載の収音プログラムを記録した記録媒体。
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    

Images