JP2005136709A - 収音方法、装置、プログラム、および記録媒体 - Google Patents

Abstract

【課題】マイクロホンから見た開き角が小さい位置に話者がいる場合でも音像の定位感のある収音を実現する。
【解決手段】共分散行列計算部１０４は、受音信号から共分散行列を計算し、共分散行列記憶部１０６に話者位置検出部１０５で検出された話者位置ごとに記憶する。Ｌ（Ｒ）チャネルフィルタ係数計算部１０７_L、１０７_Rはそれぞれ受音された各話者音声成分が各話者位置に対応するＬ（Ｒ）チャネルミキシング係数でミキシングされる条件で、記憶された共分散行列とＬ（Ｒ）チャネルミキシング係数からＬ（Ｒ）チャネルフィルタ係数を算出し、Ｌ（Ｒ）チャネルフィルタ１０２_L1〜１０２_LM、１０２_R1〜１０２_RMに設定する。Ｌチャネルフィルタ１０２_L1〜１０２_LMの出力はＬチャネル加算器１０３_Lで、Ｒチャネルフィルタ１０２_R1〜１０２_RMの出力はＲチャネル加算器１０３_Rで加算され、Ｌチャネル出力信号、Ｒチャネル出力信号が得られる。
【選択図】図１

Description

本発明は、ＴＶ会議や音声会議、電話、遠隔講義などの収音方法および装置に関する。

図１０は従来技術の収音装置の構成図である。従来技術の収音装置は指向性マイクロホン９０１_Lと９０１_Rで構成され、その指向性の主軸は１２０°程度の開き角で配置されている。

２個の指向性マイクロホンを異なる方向を向けて配置することにより、話者の位置によってＬチャネルとＲチャネルに収音される音声レベルに差が生じる。これらの出力信号を２つのスピーカから再生することにより、音像の定位感のある再生を行うことができる。

例えば、図１０の話者ＣはＬチャネルマイクロホン９０１_Lの主軸方向にいるので、収音された話者Ｃの音声レベルはＬチャネルのほうが大きく、再生したときにＬチャネル側のスピーカに音像が定位する。また、ＬチャネルとＲチャネルのマイクロホン９０１_L，９０１_Rの中間にいる話者Ａの音声は、両マイクロホンにほぼ同じレベルで収音されるので、ＬチャネルとＲチャネルのスピーカの中間に音像が定位する。

このように、従来技術では音像の定位感のあるステレオ収音を行うことができる。
中島平太郎ら著、応用電気音響、コロナ社出版、日本音響学会編、ｐｐ．２６２−２６８、昭和５４年

上述した従来技術の収音方法では、以下に示す問題がある。

音声の距離減衰の影響により、マイクロホンから距離が離れている話者の音声レベルが小さく聞き取りづらい。もし、マイクの感度を上昇させ距離の離れている話者に対して適正なレベルとしたとしても、マイクロホンに近い話者の音声が過大なレベルとなる。

図１０の話者Ａと話者Ｂのようにマイクロホンから見た開き角が小さい場合、話者Ａと話者Ｂのマイクロホン間のレベル差はほぼ同じとなり、音像の定位感が得られなくなる。

雑音や、スピーカから再生される受話信号がマイクロホンに収音され、聞き取りづらい音声となる。

複数人でテーブルを囲むＴＶ会議や音声会議に従来技術を適用した場合、上記の問題を生じ、高品質な音声で音像の定位感のある通信を行うことが難しい。

本発明の目的は、マイクロホンから距離が離れている話者の音声を適正レベルにすることで聞き取りやすい音量での通話を実現し、マイクロホンから見た開き角が小さい位置に話者がいる場合でもＬＲチャネル間のレベル差を所望のレベル差とすることで音像の定位感のある収音を実現し、雑音と受話信号を抑圧した高品質な送話音声を得る収音方法、装置、およびプログラムを提供することである。

本発明の第１の態様によれば、収音方法は、
複数の収音手段の各々で受音された受音信号から話者位置を検出する話者位置検出段階と、
複数の収音手段の各々で受音された受音信号から共分散行列を計算する共分散行列計算段階と、
前記共分散行列を話者位置ごとに記憶する共分散行列記憶段階と、
各話者位置に対応するＬチャネルミキシング係数をあらかじめ設定するＬチャネルミキシング係数設定段階と、
複数の収音手段の各々で受音された各話者音声成分が各話者位置に対応する前記Ｌチャネルミキシング係数でミキシングされる条件で、前記記憶された共分散行列と前記Ｌチャネルミキシング係数からＬチャネルフィルタ係数を算出するＬチャネルフィルタ係数計算段階と、
各話者位置に対応するＲチャネルミキシング係数をあらかじめ設定するＲチャネルミキシング係数設定段階と、
複数の収音手段の各々で受音された各話者音声成分が各話者位置に対応する前記Ｒチャネルミキシング係数でミキシングされる条件で、前記記憶された共分散行列と前記Ｒチャネルミキシング係数からＲチャネルフィルタ係数を算出するＲチャネルフィルタ係数計算段階と、
前記複数の収音手段の各々で受音された受音信号を、前記Ｌチャネルフィルタ係数で各々フィルタリングするＬチャネルフィルタ段階と、
前記複数の収音手段の各々で受音された受音信号を、前記Ｒチャネルフィルタ係数で各々フィルタリングするＲチャネルフィルタ段階と、
前記Ｌチャネルフィルタ段階の出力信号を加算するＬチャネル加算段階と、
前記Ｒチャネルフィルタ段階の出力信号を加算するＲチャネル加算段階を有する。

複数マイクロホンからの受音信号から話者位置を検出し、共分散行列を求め、話者位置ごとに所望のＬＲチャネル間のレベル差を与えるフィルタ係数を求め、それらのフィルタ係数でマイクロホン受音信号をチャネルごとにフィルタリングすることで、話者位置ごとに所望のレベル差をもったステレオ出力信号を得ることができる。

本発明の第２の態様によれば、収音方法は、
複数の収音手段の各々で受音された受音信号から話者位置と雑音区間を検出する話者位置検出段階と、
複数の収音手段の各々で受音された受音信号から共分散行列を計算する共分散行列計算段階と、
前記共分散行列を雑音区間と話者位置ごとに記憶する共分散行列記憶段階と、
各話者位置に対応するＬチャネルミキシング係数をあらかじめ設定するＬチャネルミキシング係数設定段階と、
複数の収音手段の各々で受音された各話者音声成分が各話者位置に対応する前記Ｌチャネルミキシング係数でミキシングされ、雑音成分が抑圧される条件で、前記記憶された共分散行列と前記Ｌチャネルミキシング係数からＬチャネルフィルタ係数を算出するＬチャネルフィルタ係数計算段階と、
各話者位置に対応するＲチャネルミキシング係数をあらかじめ設定するＲチャネルミキシング係数設定段階と、
複数の収音手段の各々で受音された各話者音声成分が各話者位置に対応する前記Ｒチャネルミキシング係数でミキシングされ、雑音成分が抑圧される条件で、前記記憶された共分散行列と前記Ｒチャネルミキシング係数からＲチャネルフィルタ係数を算出するＲチャネルフィルタ係数計算段階と、
前記複数の収音手段の各々で受音された受音信号を、前記Ｌチャネルフィルタ係数で各々フィルタリングするＬチャネルフィルタ段階と、
前記複数の収音手段の各々で受音された受音信号を、前記Ｒチャネルフィルタ係数で各々フィルタリングするＲチャネルフィルタ段階と、
前記Ｌチャネルフィルタ段階の出力信号を加算するＬチャネル加算段階と、
前記Ｒチャネルフィルタ段階の出力信号を加算するＲチャネル加算段階を有する。

話者位置および雑音区間を推定し、各話者位置に対する共分散行列と雑音に対する共分散行列を保存しておき、これらを用いてＬチャネルとＲチャネルフィルタ係数を求め、これらのフィルタ係数で、それぞれマイクロホン受音信号をフィルタリングし加算し、Ｌチャネル出力信号とＲチャネル出力信号を得る。これにより、雑音の抑圧と、各話者からの音声信号がＬチャネルとＲチャネルでレベル差を持った良好な音像の定位が実現する。

本発明の第３の態様によれば、収音方法は、
複数の収音手段の各々で受音された受音信号と、通信相手からのＬチャネル受話信号とＲチャネル受話信号から、送話区間、受話区間、雑音区間を検出する送受話検出段階と、
複数の収音手段の各々で受音された受音信号から話者位置を検出する話者位置検出段階と、
複数の収音手段の各々で受音された受音信号から共分散行列を計算する共分散行列計算段階と、
前記共分散行列を受話区間と雑音区間と話者位置ごとに記憶する共分散行列記憶段階と、
各話者位置に対応するＬチャネルミキシング係数をあらかじめ設定するＬチャネルミキシング係数設定段階と、
複数の収音手段の各々で受音された各話者音声成分が各話者位置に対応する前記Ｌチャネルミキシング係数でミキシングされ、受話信号成分が抑圧され、雑音成分が抑圧される条件で、前記記憶された共分散行列と前記Ｌチャネルミキシング係数からＬチャネルフィルタ係数を算出するＬチャネルフィルタ係数計算段階と、
各話者位置に対応するＲチャネルミキシング係数をあらかじめ設定するＲチャネルミキシング係数設定段階と、
複数の収音手段の各々で受音された各話者音声成分が各話者位置に対応する前記Ｒチャネルミキシング係数でミキシングされ、受話信号成分が抑圧され、雑音成分が抑圧される条件で、前記記憶された共分散行列と前記Ｒチャネルミキシング係数からＲチャネルフィルタ係数を算出するＲチャネルフィルタ係数計算段階と、
前記複数の収音手段の各々で受音された受音信号を、前記Ｌチャネルフィルタ係数で各々フィルタリングするＬチャネルフィルタ段階と、
前記複数の収音手段の各々で受音された受音信号を、前記Ｒチャネルフィルタ係数で各々フィルタリングするＲチャネルフィルタ段階と、
前記Ｌチャネルフィルタ段階の出力信号を加算するＬチャネル加算段階と、
前記Ｒチャネルフィルタ段階の出力信号を加算するＲチャネル加算段階を有する。

受話信号とマイクロホン受音信号から受話区間、送話区間、雑音区間を検出し、送話区間であった場合に話者位置を推定し、各話者位置に対する共分散行列と雑音の共分散行列とエコーの共分散行列を保存しておき、これらを用いてＬチャネルとＲチャネルフィルタ係数を求め、これらのフィルタ係数で、それぞれマイクロホン受音信号をフィルタリングし加算し、Ｌチャネル出力信号とＲチャネル出力信号を得る。これにより、雑音とエコーが抑圧され、各話者からの音声信号がＬチャネルとＲチャネルでレベル差を持ち、高品質な音声での通話と良好な音像の定位が実現する。

本発明の第４の態様によれば、収音方法は、
複数の収音手段の各々で受音された受音信号と、通信相手からのＬチャネル受話信号とＲチャネル受話信号から、送話区間、受話区間、雑音区間を検出する送受話検出段階と、
複数の収音手段の各々で受音された受音信号から話者位置を検出する話者位置検出段階と、
複数の収音手段の各々で受音された受音信号とＬチャネル受話信号とＲチャネル受話信号から共分散行列を計算する共分散行列計算段階と、
前記共分散行列を受話区間と雑音区間と話者位置ごとに記憶する共分散行列記憶段階と、
各話者位置に対応するＬチャネルミキシング係数をあらかじめ設定するＬチャネルミキシング係数設定段階と、
複数の収音手段の各々で受音された各話者音声成分が各話者位置に対応する前記Ｌチャネルミキシング係数でミキシングされ、受話信号成分が抑圧され、雑音成分が抑圧される条件で、前記記憶された共分散行列と前記Ｌチャネルミキシング係数からＬチャネルフィルタ係数を算出するＬチャネルフィルタ係数計算段階と、
各話者位置に対応するＲチャネルミキシング係数をあらかじめ設定するＲチャネルミキシング係数設定段階と、
複数の収音手段の各々で受音された各話者音声成分が各話者位置に対応する前記Ｒチャネルミキシング係数でミキシングされ、受話信号成分が抑圧され、雑音成分が抑圧される条件で、前記記憶された共分散行列と前記Ｒチャネルミキシング係数からＲチャネルフィルタ係数を算出するＲチャネルフィルタ係数計算段階と、
前記複数の収音手段の各々で受音された受音信号とＬチャネル受話信号とＲチャネル受話信号を、前記Ｌチャネルフィルタ係数で各々フィルタリングするＬチャネルフィルタ段階と、
前記複数の収音手段の各々で受音された受音信号とＬチャネル受話信号とＲチャネル受話信号を、前記Ｒチャネルフィルタ係数で各々フィルタリングするＲチャネルフィルタ段階と、
前記Ｌチャネルフィルタ段階の出力信号を加算するＬチャネル加算段階と、
前記Ｒチャネルフィルタ段階の出力信号を加算するＲチャネル加算段階を有する。

複数マイクロホンの受音信号から受話区間と雑音区間と送話区間を検出し、送話区間では話者位置を検出し、共分散行列を求め、エコー抑圧と雑音抑圧と話者位置ごとに所望のＬＲチャネル間のレベル差を与えるフィルタ係数を求め、それらのフィルタ係数でマイクロホン受音信号をチャネルごとにフィルタリングすることで、エコーと雑音を抑圧し、話者位置ごとに所望のレベル差をもったステレオ出力信号を得ることができる。第３の態様の収音方法に受話信号をフィルタリングすることを追加したことにより、第３の態様の収音方法よりも高いエコー抑圧が実現する。

本発明の第１の実施態様によれば、収音方法は、
前記記憶された各話者の共分散行列から各話者の音声レベルを推定する話者音声レベル推定段階と、
前記各話者の音声レベルから、各話者音声が適正レベルで出力されるための各話者に対するゲインを各々算出するゲイン算出部とをさらに有し、
前記Ｌチャネルフィルタ係数計算段階は、さらに前記各話者に対するゲインが乗算され、受話信号成分が抑圧され、雑音成分が抑圧される条件で、前記記憶された共分散行列と前記Ｌチャネルミキシング係数からＬチャネルフィルタ係数を算出し、
前記Ｒチャネルフィルタ係数計算段階は、さらに前記各話者に対するゲインが乗算され、受話信号成分が抑圧され、雑音成分が抑圧される条件で、前記記憶された共分散行列と前記Ｒチャネルミキシング係数からＲチャネルフィルタ係数を算出する。

複数マイクロホンの受音信号から受話区間と雑音区間と送話区間を検出し、送話区間では話者位置を検出し、共分散行列を求め、エコー抑圧と雑音抑圧と話者位置ごとに所望のＬＲチャネル間のレベル差を与え、各話者から発せられた音を適正レベルで収音するフィルタ係数を求め、それらのフィルタ係数でマイクロホン受音信号をチャネルごとにフィルタリングすることで、エコーと雑音を抑圧し、各話者から発せられた音を適正レベルで収音し、話者位置ごとに所望のレベル差をもったステレオ出力信号を得ることができる。

本発明の第２の実施態様によれば、収音方法は、
前記記憶された共分散行列のうち対角成分で最もパワーの大きい成分、または前記記憶された共分散行列の対角成分の加算値の周波数特性を平滑化するゲインを、前記記憶された共分散行列に乗算し、白色化された共分散行列を、前記Ｌチャネルフィルタ係数計算段階と前記Ｒチャネルフィルタ係数計算段階に入力する白色化段階をさらに有する。

共分散行列の白色化により、音源の周波数特性に依存しないフィルタを求めることができる。これにより、音源の周波数特性が変化しても、フィルタ係数の変化がなく、本発明の処理による音色の変化を防ぐことができる。

本発明の第３の実施態様によれば、収音方法は、
前記複数の収音手段の各々で受音された信号および前記受話信号の時間領域信号から周波数領域信号に変換するＦＦＴ段階と、
前記Ｌチャネル加算段階と前記Ｒチャネル加算段階の出力信号を周波数領域信号から時間領域信号に変換するＩＦＦＴ段階をさらに有し、
前記各段階は周波数領域で演算する。

これにより、時間領域の演算に比べ低演算量を実現できる。

本発明の第４の実施態様によれば、収音方法は、
前記ＬおよびＲチャネルフィルタ係数計算段階と前記ＬおよびＲチャネルフィルタ段階と前記ＬおよびＲチャネル加算段階を、３チャネル以上の１〜Ｊチャネルフィルタ係数計算段階と１〜Ｊチャネルフィルタ段階と１〜Ｊチャネル加算段階に置き換えている。

複数マイクロホンで収音した信号および受話信号から、以下の条件を満たす指向性を形成するＬチャネルフィルタ係数とＲチャネルフィルタ係数を求める。（条件１）マイクロホンから距離が離れている話者の音声を適切レベル（聞き取りやすいレベル）にする。（条件２）マイクロホンから見た開き角が小さい位置に話者がいる場合でもＬＲチャネルのレベル差を所望のレベル差（音像の定位感のあるレベル差）とする。（条件３）雑音と受話信号を抑圧する。次に、求められたＬチャネルフィルタ係数とＲチャネルフィルタ係数で複数マイクロホンで収音した信号および受話信号をフィルタリングし、それらの出力をＬチャネル、Ｒチャネルごとに加算する。

これにより、マイクロホンから距離が離れている話者とマイクロホンに近い話者の音声レベルが適切となり、聞き取りやすい音量での通話が実現する。また、マイクロホンから見た開き角が小さい位置に話者がいる場合でもＬＲチャネル間で所望のレベル差となり、音像の定位感のある収音を実現する。さらに、雑音と受話信号を抑圧した高品質な音声での通信が実現する。

［第１の実施形態］
図１は本発明の第１の実施形態の収音装置のブロック図である。

本実施形態の収音装置は、マイクロホン１０１₁〜１０１_Mと、Ｌチャネルフィルタ１０２_L1〜１０２_LMと、Ｒチャネルフィルタ１０２_R1〜１０２_RMと、Ｌチャネル加算器１０３_Lと、Ｒチャネル加算器１０３_Rと、話者位置検出部１０５と、共分散行列計算部１０４と、共分散行列記憶部１０６と、Ｌチャネルフィルタ係数計算部１０７_Lと、Ｒチャネルフィルタ係数計算部１０７_Rと、Ｌチャネルミキシング係数設定部２０３_Lと、Ｒチャネルミキシング係数設定部２０３_Rにより構成される。

本実施形態は、話者位置を推定し、各話者位置に対する共分散行列を保存しておき、これらを用いてＬチャネルとＲチャネルフィルタ係数を求め、これらのフィルタ係数で、それぞれマイクロホン受音信号をフィルタリングし加算し、Ｌチャネル出力信号とＲチャネル出力信号を得る。これにより、各話者からの音声信号がＬチャネルとＲチャネルで所望のレベル差を持ち、良好な音像の定位が実現する。

まず、話者位置検出部１０５は、マイクロホン１０１₁〜１０１_Mで受音したマイクロホン受音信号から、話者の位置を検出する。音源位置の推定方法は、例えば相互相関法による方法がある。

Ｍ個のマイクロホンがあると想定し、ｉ番目マイクロホン１００_iとｊ番目マイクロホン１００_jで受音された信号より求められる受音信号間遅延時間差を

とする。受音信号間遅延時間差は、信号間の相互相関を求め、その最大ピーク位置から求めることができる。次に、ｍ番目の受音位置を（ｘ_m，ｙ_m，ｚ_m）、推定音源位置を

と表す。これらの位置から求められる推定受音信号間遅延時間差

は、式（１）で表される。

次に、受音信号間遅延時間差

に音速ｃを乗じ距離に換算したものを、それぞれ受音位置間距離差

とし、測定値

と推定値

の二乗平均誤差

を求めれば、式（２）となる。

式（２）の二乗平均誤差

を最小化する解を求めれば、受音信号間遅延時間差の測定値と推定値の誤差が最小となる推定音源位置を求めることができる。ただし、式（２）は非線形連立方程式となっており、解析的に解くことは困難であるので、逐次修正を用いた数値解析により求める。

式（２）を最小化する推定音源位置

を求めるには、ある点における勾配を求め、誤差が小さくなる方向に推定音源位置を修正していき、勾配が０となる点を求めればよいので、修正式は式（３）のようになる。

以上、式（３）を繰返し計算することで、誤差が最小となる推定音源位置を求めることができる。

次に、共分散行列計算部１０４では、マイクロホン受音信号の共分散を求め、それを行列にする。まず、マイクロホン受音信号の周波数領域変換信号をＸ₁（ω）〜Ｘ_M（ω）とする。これれらの信号の共分散行列

は、式（９）により算出される。

次に、共分散行列記憶部１０６では、話者位置検出部１０５の検出結果に基づき、共分散行列

を、各音源位置に対する共分散行列

として保存する。

Ｌチャネルフィルタ係数算出部１０７_LとＲチャネルフィルタ係数算出部１０７_Rは、各話者から発せられた音を所望のレベル差で収音するためのフィルタ係数を計算する。まず、各マイクロホンに接続されたＬチャネルフィルタ１０２_L1〜１０２_LMとＲチャネルフィルタ１０２_R1〜１０２_RMのフィルタ係数を周波数領域に変換したものを、それぞれＨ_L,1（ω）〜Ｈ_L,M（ω）とＨ_R,1（ω）〜Ｈ_R,M（ω）とする。次に、これらのフィルタ係数を式（１０）と式（１１）により行列としたものを

とする。

また、ｉ番目音源が発音している期間のマイクロホン受音信号の周波数領域変換信号をＸ_Si,1（ω）〜Ｘ_Si,M（ω）とする。

ここで、フィルタ係数行列

に要求される条件は、ｉ番目話者のマイクロホン受音信号Ｘ_Si,1（ω）〜Ｘ_Si,M（ω）をフィルタ係数行列

でそれぞれフィルタリングし、フィルタリング後の信号をチャネルごとに加算したときに、ＬチャネルとＲチャネルの各話者音声信号がｉ番目話者位置（Ｘ_i，Ｙ_i，Ｚ_i）に対応した所望のレベル差Ｐ_Diff（Ｘ_i，Ｙ_i，Ｚ_i）（良好な音像定位を実現するレベル差であり、あらかじめ話者位置ごとに設定される）となっていることである。したがって、各音源の信号をそれぞれフィルタリングおよび加算した信号が所望のレベル差Ｐ_Diff（Ｘ_i，Ｙ_i，Ｚ_i）となるようにＭ行のミキシング係数行列

をマイクロホン受音信号にそれぞれ乗じた信号となる式（１２）と式（１３）が理想条件となる。

所望のレベル差Ｐ_Diff（Ｘ_i，Ｙ_i，Ｚ_i）を実現するミキシング係数行列

は、Ｌチャネルミキシング係数設定部２０３_LとＲチャネルミキシング係数設定部２０３_Rで話者位置ごとにあらかじめ設定されている。例えば以下に述べるように設定される。図９は本発明において実現する指向性例を示した図である。図９に示すマイクロホンと話者の配置では、マイクロホンから見た開き角が小さい位置に複数の話者が存在する。このような場合、従来技術のステレオマイクロホンでは、ほとんど音像の定位感を得ることはできない。そこで、本発明では音像の定位感を強調する指向性を形成する。例えば、話者位置３に対しては、Ｌチャネルのレベルを大きくし、Ｒチャネルのレベルを小さくして、大きなレベル差が付くようにする。このときミキシング係数行列は

のように設定する。このようにすることで、話者位置３からの発話に対して２０ｄＢのレベル差を得ることができる。他の話者位置に対しても同様にミキシング係数行列を設定すれば、図９に示すような指向性が得られ、良好な音像定位を実現できる。

次に、式（１２）と式（１３）の条件をフィルタ係数行列

について最小二乗解で解けば、式（１４）と式（１５）となる。ただし、Ｃ_Siは音源位置の感度拘束に対する重みの定数であり、値が大きくなるほど感度拘束が強くなる。

以上で、所望のレベル差を得るためのフィルタ係数を求める式（１４）と式（１５）を導出した。

次に、式（１４）と式（１５）により求められた、Ｌチャネルフィルタ係数

とＲチャネルフィルタ係数

は、Ｌチャネルフィルタ１０２_L1〜１０２_LMとＲチャネルフィルタ１０２_R1〜１０２_RMにそれぞれコピーされ、マイクロホン受音信号をそれぞれフィルタリングする。フィルタリング後の信号は、チャネルごとに加算器１０３_Lと１０３_Rで加算され、ステレオ出力信号として出力される。

以上示したように、本実施形態では、複数マイクロホンの受音信号から話者位置を検出し、共分散行列を求め、話者位置ごとに所望のＬＲチャネル間のレベル差を与えるフィルタ係数を求め、それらのフィルタ係数でマイクロホン受音信号をチャネルごとにフィルタリングすることで、話者位置ごとに所望のレベル差をもったステレオ出力信号を得ることができる。

［第２の実施形態］
本発明の第２の実施形態の収音装置について説明する。本実施形態のブロック図は、第１の実施形態と同じ図１である。本実施形態は、第１の実施形態の収音装置に雑音抑圧機能を加えたものである。

本実施形態の収音装置は、マイクロホン１０１₁〜１０１_Mと、Ｌチャネルフィルタ１０２_L1〜１０２_LMと、Ｒチャネルフィルタ１０２_R1〜１０２_RMと、Ｌチャネル加算器１０３_Lと、Ｒチャネル加算器１０３_Rと、話者位置検出部１０５と、共分散行列計算部１０４と、共分散行列記憶部１０６と、Ｌチャネルフィルタ係数計算部１０７_Lと、Ｒチャネルフィルタ係数計算部１０７_Rと、Ｌチャネルミキシング係数設定部２０３_Lと、Ｒチャネルミキシング係数設定部２０３_Rにより構成される。

本実施形態は、話者位置および雑音区間を推定し、各話者位置に対する共分散行列と雑音に対する共分散行列を保存しておき、これらを用いてＬチャネルとＲチャネルフィルタ係数を求め、これらのフィルタ係数で、それぞれマイクロホン受音信号をフィルタリングし加算し、Ｌチャネル出力信号とＲチャネル出力信号を得る。これにより、雑音の抑圧と、各話者からの音声信号がＬチャネルとＲチャネルでレベル差を持った、良好な音像の定位が実現する。

まず、話者位置検出部１０５は、マイクロホン１０１₁〜１０１_Mで受音したマイクロホン受音信号のパワーから雑音区間と発話区間を検出する。例えば、それぞれのマイクロホン受音信号について、短時間平均パワー（０．１〜１ｓ程度）と、長時間平均パワー（１ｓ〜１００ｓ程度）を求め、短時間平均パワーと長時間平均パワーの比が雑音区間の閾値未満の場合に雑音区間と判定し、発話の閾値以上の場合に発話区間と判定する。発話区間と判定された場合は、第１の実施形態と同様にして、話者位置を検出する。

次に、共分散行列計算部１０４は、第１の実施形態と同様にして、共分散行列

を算出する。

共分散行列記憶部１０８では、話者位置検出部１０５の検出結果に基づき、共分散行列

を、各音源位置に対する共分散行列

と雑音の共分散行列

として保存する。

Ｌチャネルフィルタ係数算出部１０７_LとＲチャネルフィルタ係数算出部１０７_Rは、各話者から発せられた音を所望のレベル差で収音し、雑音を抑圧するためのフィルタ係数を計算する。ここで、各マイクロホンに接続されたＬチャネルフィルタ

とＲチャネルフィルタ

に要求される条件は、以下の２つである。１つ目は、第１の実施形態の式（１２）と式（１３）に示したＬチャネルとＲチャネルの各話者音声信号がｉ番目の話者位置（Ｘ_i，Ｙ_i，Ｚ_i）に対応した所望のレベル差Ｐ_Diff（Ｘ_i，Ｙ_i，Ｚ_i）となる条件である。２つ目は、雑音を抑圧する条件であり、マイクロホン受音信号の雑音成分Ｘ_N,1（ω）〜Ｘ_N,M（ω）がフィルタ部に入力された場合に各チャネルの出力が０となる式（１６）と式（１７）である。

次に、式（１２）と式（１６）、式（１３）と式（１７）の条件をフィルタ係数行列

について最小二乗解で解けば、式（１８）と式（１９）となる。ただし、Ｃ_Siは音源位置の感度拘束に対する重みの定数であり、値が大きくなるほど感度拘束が強くなる。Ｃ_Nは雑音抑圧に対する重みの定数であり、値が大きくなるほど雑音抑圧量が増加する。

以上で、雑音を抑圧し、所望のレベル差を得るためのフィルタ係数を求める式（１８）と式（１９）を導出した。

次に、式（１８）と式（１９）により求められた、Ｌチャネルフィルタ係数

とＲチャネルフィルタ係数

は、Ｌチャネルフィルタ１０２_L1〜１０２_LMとＲチャネルフィルタ１０２_R1〜１０２_RMにそれぞれコピーされ、マイクロホン受音信号をそれぞれフィルタリングする。フィルタリング後の信号は、チャネルごとに加算器１０３_Lと１０３_Rで加算され、ステレオ出力信号として出力される。

以上示したように、本実施形態では、複数マイクロホンの受音信号から、話者位置と雑音区間を検出し、共分散行列を求め、雑音抑圧と話者位置ごとに所望のＬＲチャネル間のレベル差を与えるフィルタ係数を求め、それらのフィルタ係数でマイクロホン受音信号をチャネルごとにフィルタリングすることで、雑音を抑圧し、話者位置ごとに所望のレベル差をもったステレオ出力信号を得ることができる。

［第３の実施形態］
図２は本発明の第３の実施形態の収音装置のブロック図である。

本実施形態の収音装置は、マイクロホン１０１₁〜１０１_Mと、Ｌチャネルフィルタ１０２_L1〜１０２_LMと、Ｒチャネルフィルタ１０２_R1〜１０２_RMと、Ｌチャネル加算器１０３_Lと、Ｒチャネル加算器１０３_Rと、送受話検出部２０１と、話者位置検出部１０５と、共分散行列計算部１０４と、共分散行列記憶部１０６と、Ｌチャネルフィルタ係数計算部１０７_Lと、Ｒチャネルフィルタ係数計算部１０７_Rと、Ｌチャネルミキシング係数設定部２０３_Lと、Ｒチャネルミキシング係数設定部２０３_Rにより構成される。

本実施形態は、第１と第２のいずれかの実施形態の収音装置にエコー（マイクロホンにより収音された受話信号）抑圧機能を加えたものである。

本実施形態は、受話信号とマイクロホン受音信号から受話区間、送話区間、雑音区間を検出し、送話区間であった場合に話者位置を推定し、各話者位置に対する共分散行列と雑音の共分散行列とエコーの共分散行列を保存しておき、これらを用いてＬチャネルとＲチャネルフィルタ係数を求め、これらのフィルタ係数で、それぞれマイクロホン受音信号をフィルタリングし加算し、Ｌチャネル出力信号とＲチャネル出力信号を得る。これにより、雑音とエコーが抑圧され、各話者からの音声信号がＬチャネルとＲチャネルでレベル差を持ち、高品質な音声での通話と良好な音像の定位が実現する。

まず、送受話検出部２０１は、マイクロホン１０１₁〜１０１_Mで受音したマイクロホン受音信号とＬチャネルおよびＲチャネルの受話信号のパワーから受話区間と発話区間と雑音区間を検出する。例えば、各チャネルの受話信号について、短時間平均パワー（０．１〜１ｓ程度）と、長時間平均パワー（１ｓ〜１００ｓ程度）を求め、短時間平均パワーと長時間平均パワーの比が受話区間の閾値以上だった場合に受話区間と判定する。また、それぞれのマイクロホン受音信号について、短時間平均パワー（０．１〜１ｓ程度）と長時間平均パワー（１ｓ〜１００ｓ程度）を求め、短時間平均パワーと長時間平均パワーの比が雑音区間の閾値未満の場合に雑音区間と判定し、発話の閾値以上の場合に発話区間と判定する。

話者位置検出部１０５は、送受話検出部２０１で発話区間と判定された場合に、第１の実施形態と同様にして、話者位置を検出する。

次に、共分散行列計算部１０４は、第１の実施形態と同様にして、共分散行列

を算出する。

共分散行列記憶部１０６は、送受話検出部２０１と話者位置検出部１０５の検出結果に基づき、共分散行列

を、各音源位置に対する共分散行列

と雑音の共分散行列

とエコーの共分散行列

として保存する。

Ｌチャネルフィルタ係数算出部１０７_LとＲチャネルフィルタ係数算出部１０７_Rは、各話者から発せられた音を所望のレベル差で収音し、エコーと雑音を抑圧するためのフィルタ係数を計算する。ここで、各マイクロホンに接続されたＬチャネルフィルタ

とＲチャネルフィルタ

に要求される条件は、以下の３つである。１つ目は、第１の実施形態の式（１２）と式（１３）に示したＬチャネルとＲチャネルの各話者音声信号がｉ番目の話者位置（Ｘ_i，Ｙ_i，Ｚ_i）に対応した所望のレベル差Ｐ_Diff（Ｘ_i，Ｙ_i，Ｚ_i）となる条件である。２つ目は、第２の実施形態の式（１６）と式（１７）で示した雑音を抑圧する条件である。３つ目の条件は、エコー成分を抑圧する条件であり、マイクロホン受音信号のエコー成分Ｘ_E,1（ω）〜Ｘ_E,M（ω）がフィルタ部に入力された場合に各チャネルの出力が０となる式（２０）と式（２１）である。

次に、式（１２）と式（１６）と式（２０）、式（１３）と式（１７）と式（２１）の条件をフィルタ係数行列

について最小二乗解で解けば、式（２２）と式（２３）となる。ただし、Ｃ_Siは音源位置の感度拘束に対する重みの定数であり、値が大きくなるほど感度拘束が強くなる。Ｃ_Nは雑音抑圧に対する重みの定数であり、値が大きくなるほど雑音抑圧量が増加する。Ｃ_Eはエコー抑圧に対する重みの定数であり、値が大きくなるほどエコー抑圧量が増加する。

以上で、雑音とエコーを抑圧し、所望のレベル差を得るためのフィルタ係数を求める式（２２）と式（２３）を導出した。

次に、式（２２）と式（２３）により求められた、Ｌチャネルフィルタ係数

とＲチャネルフィルタ係数

は、Ｌチャネルフィルタ１０２_L1〜１０２_LMとＲチャネルフィルタ１０２_R1〜１０２_RMにそれぞれコピーされ、マイクロホン受音信号をそれぞれフィルタリングする。フィルタリング後の信号は、チャネルごとに加算器１０３_Lと１０３_Mで加算され、ステレオ出力信号として出力される。

以上示したように、本実施形態では、複数マイクロホンの受音信号から受話区間と雑音区間と送話区間を検出し、送話区間では話者位置を検出し、共分散行列を求め、エコー抑圧と雑音抑圧と話者位置ごとに所望のＬＲチャネル間のレベル差を与えるフィルタ係数を求め、それらのフィルタ係数でマイクロホン受音信号をチャネルごとにフィルタリングすることで、エコーと雑音を抑圧し、話者位置ごとに所望のレベル差をもったステレオ出力信号を得ることができる。

［第４の実施形態］
図３は本発明の第４の実施形態の収音装置のブロック図である。

本実施形態の収音装置は、マイクロホン１０１₁〜１０１_Mと、Ｌチャネルフィルタ１０２_L1〜１０２_LM、３０１_LL、３０１_LRと、Ｒチャネルフィルタ１０２_R1〜１０２_RM、３０１_RL、３０１_RRと、Ｌチャネル加算器１０３_Lと、Ｒチャネル加算器１０３_Rと、送受話検出部２０１と、話者位置検出部１０５と、共分散行列計算部１０４と、共分散行列記憶部１０６と、Ｌチャネルフィルタ係数計算部１０７_Lと、Ｒチャネルフィルタ係数計算部１０７_Rと、Ｌチャネルミキシング係数設定部２０３_Lと、Ｒチャネルミキシング係数設定部２０３_Rにより構成される。

本実施形態は、第３の実施形態の収音装置のＬチャネルフィルタとＲチャネルフィルタに受話信号をフィルタリングするフィルタ３０１_LL、３０１_LR、３０１_RL、３０１_RRを追加した構成であり、第３の実施形態よりもさらに高いエコー抑圧を実現する。

まず、送受話検出部２０１は、第３の実施形態と同様に受話区間と発話区間と雑音区間を検出する。

話者位置検出部１０５は、送受話検出部２０１で発話区間と判定された場合に、第１の実施形態と同様にして、話者位置を検出する。

次に、共分散行列計算部１０４は、受話信号も含めた共分散行列

を算出する。マイクロホン受音信号の周波数領域変換信号をＸ₁（ω）〜Ｘ_M（ω）とし、ＬチャネルとＲチャネルの受話信号の周波数領域変換信号をそれぞれＺ_L（ω）とＺ_R（ω）とする。これらの信号の共分散行列

は、式（２４）により算出される。

次に、共分散行列記憶部１０６は、送受話検出部２０１と話者位置検出部１０５の検出結果に基づき、共分散行列

を、各音源位置に対する共分散行列

と雑音の共分散行列

とエコーの共分散行列

として保存する。

次に、Ｌチャネルフィルタ係数算出部１０７_LとＲチャネルフィルタ係数算出部１０７_Rは、各話者から発せられた音を所望のレベル差で収音し、エコーと雑音を抑圧するためのフィルタ係数を計算する。まず、各マイクロホンに接続されたＬチャネルフィルタ１０２_L1〜１０２_LMとＲチャネルフィルタ１０２_R1〜１０２_RMのフィルタ係数を周波数領域に変換したものを、それぞれＨ_L,1（ω）〜Ｈ_L,M（ω）とＨ_R,1（ω）〜Ｈ_R,M（ω）とし、ＬおよびＲチャネル受話信号をフィルタリングするためのＬチャネルフィルタをＦ_L,L（ω）とＦ_L,R（ω）とし、ＬおよびＲチャネル受話信号をフィルタリングするためのＲチャネルフィルタをＦ_R,L（ω）とＦ_R,R（ω）とする。次に、これらのフィルタ係数を式（２５）と式（２６）により行列としたものを

とする。

ここで、Ｌチャネルフィルタ

とＲチャネルフィルタ

に要求される条件は、以下の３つである。

１つ目は、ＬチャネルとＲチャネルの出力信号の各話者音声信号がｉ番目の話者位置（Ｘ_i，Ｙ_i，Ｚ_i）に対応した所望のレベル差Ｐ_Diff（Ｘ_i，Ｙ_i，Ｚ_i）となる条件である。第１の実施形態と同様に、この条件は式（２６）と式（２７）で表される。

ただし、ミキシング係数行列

は、１〜Ｍ番目の要素が第１の実施形態のミキシング係数行列

と同様に設定され、Ｍ＋１とＭ＋２番目の要素が０であるＭ＋２行１列の行列である。

２つ目は、雑音を抑圧する条件である。マイクロホン受音信号のエコー成分Ｘ_E,1（ω）〜Ｘ_E,M（ω）がフィルタ部に入力された場合に各チャネルの出力が０となる式（２８）と式（２９）が、その条件となる。

３つ目の条件は、エコー成分を抑圧する条件である。マイクロホン受音信号のエコー成分Ｘ_E,1（ω）〜Ｘ_E,M（ω）と受話信号Ｚ_L（ω）、Ｚ_R（ω）がフィルタ部に入力された場合に各チャネルの出力が０となる式（３０）と式（３１）がその条件となる。

次に、式（２６）と式（２８）と式（３０）、式（２７）と式（２９）と式（３１）の条件をフィルタ係数行列

について最小二乗解で解けば、式（３２）と式（３３）となる。ただし、Ｃ_Siは音源位置の感度拘束に対する重みの定数であり、値が大きくなるほど感度拘束が強くなる。Ｃ_Nは雑音抑圧に対する重みの定数であり、値が大きくなるほど雑音抑圧量が増加する。Ｃ_Eはエコー抑圧に対する重みの定数であり、値が大きくなるほどエコー抑圧量が増加する。

以上で、雑音とエコーを抑圧し、所望のレベル差を得るためのフィルタ係数を求める式（３２）と式（３３）を導出した。

次に、式（３２）と式（３３）により求められた、Ｌチャネルフィルタ係数

とＲチャネルフィルタ係数

は、Ｌチャネルフィルタ１０２_L1〜１０２_LM、３０１_LL、３０１_LRと、Ｒチャネルフィルタ１０２_R1〜１０２_RM、３０１_RL、３０１_RRにそれぞれコピーされ、マイクロホン受音信号と受話信号をそれぞれフィルタリングする。フィルタリング後の信号は、チャネルごとに加算器１０３_Lと１０３_Rで加算され、ステレオ出力信号として出力される。

以上示したように、本実施形態では、複数マイクロホンの受音信号から受話区間と雑音区間と送話区間を検出し、送話区間では話者位置を検出し、共分散行列を求め、エコー抑圧と雑音抑圧と話者位置ごとに所望のＬＲチャネル間のレベル差を与えるフィルタ係数を求め、それらのフィルタ係数でマイクロホン受音信号をチャネルごとにフィルタリングすることで、エコーと雑音を抑圧し、話者位置ごとに所望のレベル差をもったステレオ出力信号を得ることができる。また、第３の実施形態の収音装置に受話信号をフィルタリングするフィルタを追加したことにより、第３の実施形態の収音装置よりも高いエコー抑圧が実現する。

［第５の実施形態］
図４は本発明の第５の実施形態の収音装置の要部のブロック図である。

本実施形態の収音装置は、第１〜４の実施形態のいずれかの収音装置に話者音声レベル推定部１０８とゲイン算出部１０９を追加した構成である。話者音声レベル推定部１０８は、各話者の共分散行列より各話者の音声レベルを推定し、ゲイン算出部１０９は、各話者の音声レベルから、各話者の出力音声レベルが適正レベルとなるゲインを算出する。これにより、全ての話者の音声レベルを適正レベルとし、聞き取りやすい音量での収音を実現する。また、第１〜４の実施形態のいずれかの収音装置と同様に、エコー抑圧、雑音抑圧、チャネル間のレベル差をつけた良好な音像定位も同時に実現する。

まず、送受話検出部２０１、話者位置検出部１０５、共分散行列計算部１０４、共分散記憶部１０６については、第１から第４の実施形態のいずれかの収音装置と同様な処理となる。

話者音声レベル推定部１０８は、各話者の音声レベルＰ_Siを、共分散行列記憶部１０６に記憶されている各話者位置に対する共分散行列

と、話者位置ごとのシングルチャネルミキシング係数行列

から式（３４）または式（３５）を用いて求められる。シングルチャネルミキシング係数行列

には、例えばミキシング係数行列

を加算平均した行列、またはミキシング係数行列

を加算平均した行列を用いる。

次に、ゲイン算出部１０９は、各話者音声レベルＰ_Siを適正レベルＰ_opt（聞き取りやすいレベルで、あらかじめ設定される）にするためのゲインＡ_Siを算出する。ゲインＡ_Siは、式（３６）により求めることができる。

Ｌチャネルフィルタ係数算出部１０７_LとＲチャネルフィルタ係数算出部１０７_Rは、各話者から発せられた音を適正レベルで収音し、各話者から発せられた音をＬＲチャネルで所望のレベル差とし、エコーと雑音を抑圧するためのフィルタ係数を計算する。エコーと雑音を抑圧する条件は、第１〜４の実施形態のいずれかの収音装置と同様である。各話者から発せられた音を適正レベルで収音し、各話者から発せられた音をＬＲチャネルで所望のレベル差とする条件は、式（３７）と式（３８）、または式（３９）と式（４０）で表される。

次に、第１〜４の実施形態のいずれかの収音装置のエコーと雑音を抑圧する条件と、各話者から発せられた音を適正レベルで収音し、各話者から発せられた音をＬＲチャネルで所望のレベル差とする条件である式（３７）と式（３８）、または式（３９）と式（４０）を、フィルタ係数行列

または

について最小二乗解で解けば、式（４１）と式（４２）、または式（４３）と式（４４）、または式（４５）と式（４６）、または式（４７）と式（４８）となる。

ただし、式（４１）と式（４２）は各話者から発せられた音を適正レベルで収音し、各話者から発せられた音をＬＲチャネルで所望のレベル差とする条件で求めたフィルタ係数、式（４３）と式（４４）は各話者から発せられた音を適正レベルで収音し、各話者から発せられた音をＬＲチャネルで所望のレベル差とし、雑音を抑圧する条件で求めたフィルタ係数、式（４５）と式（４６）は、各話者から発せられた音を適正レベルで収音し、各話者から発せられた音をＬＲチャネルで所望のレベル差とし、エコーと雑音を抑圧する条件で求めたフィルタ係数、式（４７）と式（４８）は、受話信号をフィルタリングするフィルタを持ち、各話者から発せられた音を適正レベルで収音し、各話者から発せられた音をＬＲチャネルで所望のレベル差とし、エコーと雑音を抑圧する条件で求めたフィルタ係数である。

次に、式（４１）と式（４２）、または式（４３）と式（４４）、または式（４５）と式（４６）、または式（４７）と式（４８）により求められた、Ｌチャネルフィルタ係数とＲチャネルフィルタ係数は、Ｌチャネルフィルタ１０２_L1〜１０２_LM、３０１_LL、３０１_LRと、Ｒチャネルフィルタ１０２_R1〜１０２_RM、３０１_RL、３０１_RRにそれぞれコピーされ、マイクロホン受音信号と受話信号をそれぞれフィルタリングする。フィルタリング後の信号は、チャネルごとに加算器１０３_Lと１０３_Rで加算され、ステレオ出力信号として出力される。

以上示したように、本実施形態では、複数のマイクロホンの受音信号から受話区間と雑音区間と送話区間を検出し、送話区間では話者位置を検出し、共分散行列を求め、エコー抑圧と雑音抑圧と話者位置ごとに所望のＬＲチャネル間のレベル差を与え、各話者から発せられた音を適正レベルで収音するフィルタ係数を求め、それらのフィルタ係数でマイクロホン受音信号をチャネルごとにフィルタリングすることで、エコーと雑音を抑圧し、各話者から発せられた音を適正レベルで収音し、話者位置ごとに所望のレベル差をもったステレオ出力信号を得ることができる。

［第６の実施形態］
図５は本発明の第６の実施形態の収音装置の要部のブロック図である。

本実施形態の収音装置は、第１〜５の実施形態のいずれかの収音装置に白色化部１１０を追加した構成である。白色化部１１０は、各共分散行列をＬＲチャネルフィルタ係数計算部１０７_L，１０７_Rの前段階で白色化する。これにより、マイクロホンで受音された信号の周波数特性に関与しないフィルタ係数が求められ、安定した動作が可能となる。

白色化は、共分散行列

の対角成分のうち最もパワーの大きいＲ_kk（ω）を平均化する白色化ゲイン

を乗算するか、共分散行列の対角成分の平均パワーを平均化する白色化ゲイン

を乗算することで行う。これらは、それぞれ式（４９）または式（５０）と、式（５１）または式（５２）により表される。

ただし、βは白色化の度合いを調整する係数であり、１となれば完全な白色化となり、０となれば白色化は行われなくなる。

第５の実施形態の収音装置では、共分散行列の白色化により、音源の周波数特性に依存しないフィルタを求めることができる。これにより、音源の周波数特性が変化しても、フィルタ係数の変化がなく、本発明の処理による音色の変化を防ぐことができる。

これら以外の部分に関しては、第１〜５の実施形態のいずれかの収音装置と同じであるので、説明を省略する。

［第７〜９の実施形態］
図６〜図８はそれぞれ本発明の第７、第８、第９の実施形態の収音装置のブロック図である。

本実施形態の収音装置は、第１〜６の実施形態のいずれかの収音装置にＦＦＴ部４０１₁〜４０１_M、５０１_L、５０１_RとＩＦＦＴ部４０２_L、４０２_Rを追加した構成である。ＦＦＴ部４０１₁〜４０１_Mは、各マイクロホン受音信号をそれぞれＦＦＴして、時間領域信号から周波数領域信号に変換する。ＦＦＴ部５０１_L、５０１_Rは、ＬＲチャネル受話信号をそれぞれＦＦＴして、時間領域信号から周波数領域信号に変換する。ＩＦＦＴ部４０２_L、４０２_Rは、ＬＲチャネル加算器１０３_L、１０３_Rの出力信号をそれぞれＩＦＦＴして周波数領域信号から時間領域信号に変換する。また、第１〜第６の実施形態の各処理部は全て周波数領域での計算とし、時間領域の演算に比べ低演算量を実現する。

これら以外の部分に関しては、第１〜６の実施形態のいずれかの収音装置と同じであるので、説明を省略する。

［第１０の実施形態］
本発明の第１０の実施形態について説明する。

本実施形態の収音装置は、第１〜９の実施形態のいずれかの収音装置の出力チャネル数を３チャネル以上のＪチャネルとしたものである。ＬとＲチャネルフィルタ係数計算部１０７_L、１０７_RとＬとＲチャネルフィルタ１０２_L1〜１０２_LM、３０１_LL、３０１_LR、１０２_R1〜１０２_RM、３０１_RL、３０１_RRとＬとＲチャネル加算器１０３_L、１０３_Rを、３チャネル以上の１〜Ｊチャネルフィルタ係数計算手段と、１〜Ｊチャネルフィルタ手段と、１〜Ｊチャネル加算手段に置き換えた構成である。

出力チャネルを増加させたことにより、３チャネル以上の多チャンネルでの収音が可能となる。

これら以外の部分に関しては、第１〜９の実施形態のいずれかの収音装置と同じであるので、説明を省略する。

なお、本発明は専用のハードウェアにより実現されるもの以外に、その機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するものであってもよい。コンピュータ読み取り可能な記録媒体とは、フロッピーディスク、光磁気ディスク、ＣＤ−ＲＯＭ等の記録媒体、コンピュータシステムに内蔵されるハードディスク装置等の記憶装置を指す。さらに、コンピュータ読み取り可能な記録媒体は、インターネットを介してプログラムを送信する場合のように、短時間の間、動的にプログラムを保持するもの（伝送媒体もしくは伝送波）、その場合のサーバとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含む。

本発明の第１および第２の実施形態の収音装置を示すブロック図である。 本発明の第３の実施形態の収音装置を示すブロック図である。 本発明の第４の実施形態の収音装置を示すブロック図である。 本発明の第５の実施形態の収音装置の要部を示すブロック図である。 本発明の第６の実施形態の収音装置の要部を示すブロック図である。 本発明の第７の実施形態の収音装置を示すブロック図である。 本発明の第８の実施形態の収音装置を示すブロック図である。 本発明の第９の実施形態の収音装置を示すブロック図である。 本発明により形成される指向性を示す図である。 従来の収音方法を説明する図である。

符号の説明

１０１₁〜１０１_M マイクロホン
１０２_L1〜１０２_LM、３０１_LL、３０１_LR Ｌチャネルフィルタ
１０２_R1〜１０２_RM、３０１_RL、３０１_RR Ｒチャネルフィルタ
１０３_L Ｌチャネル加算器
１０３_R Ｒチャネル加算器
１０４ 共分散行列計算部
１０５ 話者位置検出部
１０６ 共分散行列記憶部
１０７_L Ｌチャネルフィルタ係数計算部
１０７_R Ｒチャネルフィルタ係数計算部
１０８ 話者音声レベル推定部
１０９ ゲイン計算部
１１０ 白色化部
２０１ 送受話検出部
２０２_L Ｌチャネルスピーカ
２０２_R Ｒチャネルスピーカ
２０３_L Ｌチャネルミキシング係数設定部
２０３_R Ｒチャネルミキシング係数設定部
４０１₁〜４０１_M、５０１_L、５０１_R ＦＦＴ
４０２_L、４０２_R ＩＦＦＴ
９０１_L、９０１_R 従来技術の指向性マイクロホン
９０２_L、９０２_R 本発明により形成される指向特性
９０３ 本発明の処理

Claims (18)

1. 収音方法であって、
   複数の収音手段の各々で受音された受音信号から話者位置を検出する話者位置検出段階と、
   複数の収音手段の各々で受音された受音信号から共分散行列を計算する共分散行列計算段階と、
   前記共分散行列を話者位置ごとに記憶する共分散行列記憶段階と、
   各話者位置に対応するＬチャネルミキシング係数をあらかじめ設定するＬチャネルミキシング係数設定段階と、
   複数の収音手段の各々で受音された各話者音声成分が各話者位置に対応する前記Ｌチャネルミキシング係数でミキシングされる条件で、前記記憶された共分散行列と前記Ｌチャネルミキシング係数からＬチャネルフィルタ係数を算出するＬチャネルフィルタ係数計算段階と、
   各話者位置に対応するＲチャネルミキシング係数をあらかじめ設定するＲチャネルミキシング係数設定段階と、
   複数の収音手段の各々で受音された各話者音声成分が各話者位置に対応する前記Ｒチャネルミキシング係数でミキシングされる条件で、前記記憶された共分散行列と前記Ｒチャネルミキシング係数からＲチャネルフィルタ係数を算出するＲチャネルフィルタ係数計算段階と、
   前記複数の収音手段の各々で受音された受音信号を、前記Ｌチャネルフィルタ係数で各々フィルタリングするＬチャネルフィルタ段階と、
   前記複数の収音手段の各々で受音された受音信号を、前記Ｒチャネルフィルタ係数で各々フィルタリングするＲチャネルフィルタ段階と、
   前記Ｌチャネルフィルタ段階の出力信号を加算するＬチャネル加算段階と、
   前記Ｒチャネルフィルタ段階の出力信号を加算するＲチャネル加算段階と
   を有する収音方法。
2. 収音方法であって、
   複数の収音手段の各々で受音された受音信号から話者位置と雑音区間を検出する話者位置検出段階と、
   複数の収音手段の各々で受音された受音信号から共分散行列を計算する共分散行列計算段階と、
   前記共分散行列を雑音区間と話者位置ごとに記憶する共分散行列記憶段階と、
   各話者位置に対応するＬチャネルミキシング係数をあらかじめ設定するＬチャネルミキシング係数設定段階と、
   複数の収音手段の各々で受音された各話者音声成分が各話者位置に対応する前記Ｌチャネルミキシング係数でミキシングされ、雑音成分が抑圧される条件で、前記記憶された共分散行列と前記Ｌチャネルミキシング係数からＬチャネルフィルタ係数を算出するＬチャネルフィルタ係数計算段階と、
   各話者位置に対応するＲチャネルミキシング係数をあらかじめ設定するＲチャネルミキシング係数設定段階と、
   複数の収音手段の各々で受音された各話者音声成分が各話者位置に対応する前記Ｒチャネルミキシング係数でミキシングされ、雑音成分が抑圧される条件で、前記記憶された共分散行列と前記Ｒチャネルミキシング係数からＲチャネルフィルタ係数を算出するＲチャネルフィルタ係数計算段階と、
   前記複数の収音手段の各々で受音された受音信号を、前記Ｌチャネルフィルタ係数で各々フィルタリングするＬチャネルフィルタ段階と、
   前記複数の収音手段の各々で受音された受音信号を、前記Ｒチャネルフィルタ係数で各々フィルタリングするＲチャネルフィルタ段階と、
   前記Ｌチャネルフィルタ段階の出力信号を加算するＬチャネル加算段階と、
   前記Ｒチャネルフィルタ段階の出力信号を加算するＲチャネル加算段階と
   を有する収音方法。
3. 収音方法であって、
   複数の収音手段の各々で受音された受音信号と、通信相手からのＬチャネル受話信号とＲチャネル受話信号から、送話区間、受話区間、雑音区間を検出する送受話検出段階と、
   複数の収音手段の各々で受音された受音信号から話者位置を検出する話者位置検出段階と、
   複数の収音手段の各々で受音された受音信号から共分散行列を計算する共分散行列計算段階と、
   前記共分散行列を受話区間と雑音区間と話者位置ごとに記憶する共分散行列記憶段階と、
   各話者位置に対応するＬチャネルミキシング係数をあらかじめ設定するＬチャネルミキシング係数設定段階と、
   複数の収音手段の各々で受音された各話者音声成分が各話者位置に対応する前記Ｌチャネルミキシング係数でミキシングされ、受話信号成分が抑圧され、雑音成分が抑圧される条件で、前記記憶された共分散行列と前記Ｌチャネルミキシング係数からＬチャネルフィルタ係数を算出するＬチャネルフィルタ係数計算段階と、
   各話者位置に対応するＲチャネルミキシング係数をあらかじめ設定するＲチャネルミキシング係数設定段階と、
   複数の収音手段の各々で受音された各話者音声成分が各話者位置に対応する前記Ｒチャネルミキシング係数でミキシングされ、受話信号成分が抑圧され、雑音成分が抑圧される条件で、前記記憶された共分散行列と前記Ｒチャネルミキシング係数からＲチャネルフィルタ係数を算出するＲチャネルフィルタ係数計算段階と、
   前記複数の収音手段の各々で受音された受音信号を、前記Ｌチャネルフィルタ係数で各々フィルタリングするＬチャネルフィルタ段階と、
   前記複数の収音手段の各々で受音された受音信号を、前記Ｒチャネルフィルタ係数で各々フィルタリングするＲチャネルフィルタ段階と、
   前記Ｌチャネルフィルタ段階の出力信号を加算するＬチャネル加算段階と、
   前記Ｒチャネルフィルタ段階の出力信号を加算するＲチャネル加算段階と
   を有する収音方法。
4. 収音方法であって、
   複数の収音手段の各々で受音された受音信号と、通信相手からのＬチャネル受話信号とＲチャネル受話信号から、送話区間、受話区間、雑音区間を検出する送受話検出段階と、
   複数の収音手段の各々で受音された受音信号から話者位置を検出する話者位置検出段階と、
   複数の収音手段の各々で受音された受音信号とＬチャネル受話信号とＲチャネル受話信号から共分散行列を計算する共分散行列計算段階と、
   前記共分散行列を受話区間と雑音区間と話者位置ごとに記憶する共分散行列記憶段階と、
   各話者位置に対応するＬチャネルミキシング係数をあらかじめ設定するＬチャネルミキシング係数設定段階と、
   複数の収音手段の各々で受音された各話者音声成分が各話者位置に対応する前記Ｌチャネルミキシング係数でミキシングされ、受話信号成分が抑圧され、雑音成分が抑圧される条件で、前記記憶された共分散行列と前記Ｌチャネルミキシング係数からＬチャネルフィルタ係数を算出するＬチャネルフィルタ係数計算段階と、
   あらかじめ各話者位置に対応するＲチャネルミキシング係数をあらかじめ設定するＲチャネルミキシング係数設定段階と、
   複数の収音手段の各々で受音された各話者音声成分が各話者位置に対応する前記Ｒチャネルミキシング係数でミキシングされ、受話信号成分が抑圧され、雑音成分が抑圧される条件で、前記記憶された共分散行列と前記Ｒチャネルミキシング係数からＲチャネルフィルタ係数を算出するＲチャネルフィルタ係数計算段階と、
   前記複数の収音手段の各々で受音された受音信号とＬチャネル受話信号とＲチャネル受話信号を、前記Ｌチャネルフィルタ係数で各々フィルタリングするＬチャネルフィルタ段階と、
   前記複数の収音手段の各々で受音された受音信号とＬチャネル受話信号とＲチャネル受話信号を、前記Ｒチャネルフィルタ係数で各々フィルタリングするＲチャネルフィルタ段階と、
   前記Ｌチャネルフィルタ段階の出力信号を加算するＬチャネル加算段階と、
   前記Ｒチャネルフィルタ段階の出力信号を加算するＲチャネル加算段階と
   を有する収音方法。
5. 前記記憶された各話者の共分散行列から各話者の音声レベルを推定する話者音声レベル推定段階と、
   前記各話者の音声レベルから、各話者音声が適正レベルで出力されるための各話者に対するゲインを各々算出するゲイン算出部とをさらに有し、
   前記Ｌチャネルフィルタ係数計算段階は、さらに前記各話者に対するゲインが乗算され、受話信号成分が抑圧され、雑音成分が抑圧される条件で、前記記憶された共分散行列と前記Ｌチャネルミキシング係数からＬチャネルフィルタ係数を算出し、
   前記Ｒチャネルフィルタ係数計算段階は、さらに前記各話者に対するゲインが乗算され、受話信号成分が抑圧され、雑音成分が抑圧される条件で、前記記憶された共分散行列と前記Ｒチャネルミキシング係数からＲチャネルフィルタ係数を算出する、
   請求項１から４のいずれかに記載の収音方法。
6. 前記記憶された共分散行列のうち対角成分で最もパワーの大きい成分、または前記記憶された共分散行列の対角成分の加算値の周波数特性を平滑化するゲインを、前記記憶された共分散行列に乗算し、白色化された共分散行列を、前記Ｌチャネルフィルタ係数計算段階と前記Ｒチャネルフィルタ係数計算段階に入力する白色化段階をさらに有する、請求項１から５のいずれかに記載の収音方法。
7. 前記複数の収音手段の各々で受音された信号および前記受話信号を時間領域信号から周波数領域信号に変換するＦＦＴ段階と、
   前記Ｌチャネル加算段階と前記Ｒチャネル加算段階の出力信号を周波数領域信号から時間領域信号に変換するＩＦＦＴ段階をさらに有し、
   前記各段階は周波数領域で演算する、
   請求項１から６のいずれかに記載の収音方法。
8. 前記ＬおよびＲチャネルフィルタ係数計算段階と前記ＬおよびＲチャネルフィルタ段階と前記ＬおよびＲチャネル加算段階を、３チャネル以上の１〜Ｊチャネルフィルタ係数計算段階と１〜Ｊチャネルフィルタ段階と１〜Ｊチャネル加算段階に置き換えた、
   請求項１から７のいずれかに記載の収音方法。
9. 収音装置であって、
   複数の収音手段の各々で受音された受音信号から話者位置を検出する話者位置検出手段と、
   複数の収音手段の各々で受音された受音信号から共分散行列を計算する共分散行列計算手段と、
   前記共分散行列を話者位置ごとに記憶する共分散行列記憶手段と、
   各話者位置に対応するＬチャネルミキシング係数をあらかじめ設定するＬチャネルミキシング係数設定手段と、
   複数の収音手段の各々で受音された各話者音声成分が各話者位置に対応する前記Ｌチャネルミキシング係数でミキシングされる条件で、前記記憶された共分散行列と前記Ｌチャネルミキシング係数からＬチャネルフィルタ係数を算出するＬチャネルフィルタ係数計算手段と、
   各話者位置に対応するＲチャネルミキシング係数をあらかじめ設定するＲチャネルミキシング係数設定手段と、
   複数の収音手段の各々で受音された各話者音声成分が各話者位置に対応する前記Ｒチャネルミキシング係数でミキシングされる条件で、前記記憶された共分散行列と前記Ｒチャネルミキシング係数からＲチャネルフィルタ係数を算出するＲチャネルフィルタ係数計算手段と、
   前記複数の収音手段の各々で受音された受音信号を、前記Ｌチャネルフィルタ係数で各々フィルタリングするＬチャネルフィルタ手段と、
   前記Ｌチャネル複数の収音手段の各々で受音された受音信号を、前記Ｒチャネルフィルタ係数で各々フィルタリングするＲチャネルフィルタ手段と、
   前記Ｌチャネルフィルタ手段の出力信号を加算するＬチャネル加算手段と、
   前記Ｒチャネルフィルタ手段の出力信号を加算するＲチャネル加算手段と
   を有する収音装置。
10. 収音装置であって、
    複数の収音手段の各々で受音された受音信号から話者位置と雑音区間を検出する話者位置検出手段と、
    複数の収音手段の各々で受音された受音信号から共分散行列を計算する共分散行列計算手段と、
    前記共分散行列を雑音区間と話者位置ごとに記憶する共分散行列記憶手段と、
    各話者位置に対応するＬチャネルミキシング係数をあらかじめ設定するＬチャネルミキシング係数設定手段と、
    複数の収音手段の各々で受音された各話者音声成分が各話者位置に対応する前記Ｌチャネルミキシング係数でミキシングされ、雑音成分が抑圧される条件で、前記記憶された共分散行列と前記Ｌチャネルミキシング係数からＬチャネルフィルタ係数を算出するＬチャネルフィルタ係数計算手段と、
    各話者位置に対応するＲチャネルミキシング係数をあらかじめ設定するＲチャネルミキシング係数設定手段と、
    複数の収音手段の各々で受音された各話者音声成分が各話者位置に対応する前記Ｒチャネルミキシング係数でミキシングされ、雑音成分が抑圧される条件で、前記記憶された共分散行列と前記Ｒチャネルミキシング係数からＲチャネルフィルタ係数を算出するＲチャネルフィルタ係数計算手段と、
    前記複数の収音手段の各々で受音された受音信号を、前記Ｌチャネルフィルタ係数で各々フィルタリングするＬチャネルフィルタ手段と、
    前記複数の収音手段の各々で受音された受音信号を、前記Ｒチャネルフィルタ係数で各々フィルタリングするＲチャネルフィルタ手段と、
    前記Ｌチャネルフィルタ手段の出力信号を加算するＬチャネル加算手段と、
    前記Ｒチャネルフィルタ手段の出力信号を加算するＲチャネル加算手段と
    を有する収音装置。
11. 収音装置であって、
    複数の収音手段の各々で受音された受音信号と、通信相手からのＬチャネル受話信号とＲチャネル受話信号から送話区間、受話区間、雑音区間を検出する送受話検出手段と、
    複数の収音手段の各々で受音された受音信号から話者位置を検出する話者位置検出手段と、
    複数の収音手段の各々で受音された受音信号から共分散行列を計算する共分散行列計算手段と、
    前記共分散行列を受話区間と雑音区間と話者位置ごとに記憶する共分散行列記憶手段と、
    各話者位置に対応するＬチャネルミキシング係数をあらかじめ設定するＬチャネルミキシング係数設定手段と、
    複数の収音手段の各々で受音された各話者音声成分が各話者位置に対応する前記Ｌチャネルミキシング係数でミキシングされ、受話信号成分が抑圧され、雑音成分が抑圧される条件で、前記記憶された共分散行列と前記Ｌチャネルミキシング係数からＬチャネルフィルタ係数を算出するＬチャネルフィルタ係数計算手段と、
    各話者位置に対応するＲチャネルミキシング係数をあらかじめ設定するＲチャネルミキシング係数設定手段と、
    複数の収音手段の各々で受音された各話者音声成分が各話者位置に対応する前記Ｒチャネルミキシング係数でミキシングされ、受話信号成分が抑圧され、雑音成分が抑圧される条件で、前記記憶された共分散行列と前記Ｒチャネルミキシング係数からＲチャネルフィルタ係数を算出するＲチャネルフィルタ係数計算手段と、
    前記複数の収音手段の各々で受音された受音信号を、前記Ｌチャネルフィルタ係数で各々フィルタリングするＬチャネルフィルタ手段と、
    前記複数の収音手段の各々で受音された受音信号を、前記Ｒチャネルフィルタ係数で各々フィルタリングするＲチャネルフィルタ手段と、
    前記Ｌチャネルフィルタ手段の出力信号を加算するＬチャネル加算手段と、
    前記Ｒチャネルフィルタ手段の出力信号を加算するＲチャネル加算手段とを有する収音装置。
12. 収音装置であって、
    複数の収音手段の各々で受音された受音信号と、通信相手からのＬチャネル受話信号とＲチャネル受話信号から、送話区間、受話区間、雑音区間を検出する送受話検出手段と、
    複数の収音手段の各々で受音された受音信号から話者位置を検出する話者位置検出手段と、
    複数の収音手段の各々で受音された受音信号とＬチャネル受話信号とＲチャネル受話信号から共分散行列を計算する共分散行列計算手段と、
    前記共分散行列を受話区間と雑音区間と話者位置ごとに記憶する共分散行列記憶手段と、
    各話者位置に対応するＬチャネルミキシング係数をあらかじめ設定するＬチャネルミキシング係数設定手段と、
    複数の収音手段の各々で受音された各話者音声成分が各話者位置に対応する前記Ｌチャネルミキシング係数でミキシングされ、受話信号成分が抑圧され、雑音成分が抑圧される条件で、前記記憶された共分散行列と前記Ｌチャネルミキシング係数からＬチャネルフィルタ係数を算出するＬチャネルフィルタ係数計算手段と、
    各話者位置に対応するＲチャネルミキシング係数をあらかじめ設定するＲチャネルミキシング係数設定手段と、
    複数の収音手段の各々で受音された各話者音声成分が各話者位置に対応する前記Ｒチャネルミキシング係数でミキシングされ、受話信号成分が抑圧され、雑音成分が抑圧される条件で、前記記憶された共分散行列と前記Ｒチャネルミキシング係数からＲチャネルフィルタ係数を算出するＲチャネルフィルタ係数計算手段と、
    前記複数の収音手段の各々で受音された受音信号とＬチャネル受話信号とＲチャネル受話信号を、前記Ｌチャネルフィルタ係数で各々フィルタリングするＬチャネルフィルタ手段と、
    前記複数の収音手段の各々で受音された受音信号とＬチャネル受話信号とＲチャネル受話信号を、前記Ｒチャネルフィルタ係数で各々フィルタリングするＲチャネルフィルタ手段と、
    前記Ｌチャネルフィルタ手段の出力信号を加算するＬチャネル加算手段と、
    前記Ｒチャネルフィルタ手段の出力信号を加算するＲチャネル加算手段とを有する収音装置。
13. 前記記憶された各話者の共分散行列から各話者の音声レベルを推定する話者音声レベル推定手段と、
    前記各話者の音声レベルから、各話者音声が適正レベルで出力されるための各話者に対するゲインを各々算出するゲイン算出部とをさらに有し、
    前記Ｌチャネルフィルタ係数計算手段は、さらに前記各話者に対するゲインが乗算され、受話信号成分が抑圧され、雑音成分が抑圧される条件で、前記記憶された共分散行列と前記Ｌチャネルミキシング係数からＬチャネルフィルタ係数を算出し、
    前記Ｒチャネルフィルタ係数計算手段は、さらに前記各話者に対するゲインが乗算され、受話信号成分が抑圧され、雑音成分が抑圧される条件で、前記記憶された共分散行列と前記Ｒチャネルミキシング係数からＲチャネルフィルタ係数を算出する、
    請求項９から１２のいずれかに記載の収音装置。
14. 前記記憶された共分散行列のうち対角成分で最もパワーの大きい成分、または前記記憶された共分散行列の対角成分の加算値の周波数特性を平滑化するゲインを、前記記憶された共分散行列に乗算し、白色化された共分散行列を前記Ｌチャネルフィルタ係数計算手段と前記Ｒチャネルフィルタ係数計算手段に入力する白色化手段をさらに有する、
    請求項９から１３のいずれかに記載の収音装置。
15. 前記複数の収音手段の各々で受音された信号および前記受話信号を時間領域信号から周波数領域信号に変換するＦＦＴ手段と、
    前記Ｌチャネル加算手段と前記Ｒチャネル加算手段の出力信号を周波数領域信号から時間領域信号に変換するＩＦＦＴ手段とをさらに有し、
    前記各手段は周波数領域で演算する、
    請求項９から１４のいずれかに記載の収音装置。
16. 前記ＬおよびＲチャネルフィルタ係数計算手段と前記ＬおよびＲチャネルフィルタ手段と前記ＬおよびＲチャネル加算手段を、３チャネル以上の１〜Ｊチャネルフィルタ係数計算手段と１〜Ｊチャネルフィルタ手段と１〜Ｊチャネル加算手段に置き換えた、
    請求項９から１５のいずれかに記載の収音装置。
17. 請求項１から８のいずれかに記載の収音方法をコンピュータに実行させるための収音プログラム。
18. 請求項１７に記載の収音プログラムを記載した記録媒体。

Images