JP2010232717A - 受音信号処理装置、方法およびプログラム - Google Patents

Abstract

【課題】マイクロホンアレーを構成するマイクロホンの感度を補正することのできる受音信号処理装置を提供する。
【解決手段】受音信号処理装置は、マイクロホン１１１，１１２が受音した受音信号が、近接音源からの音声を含む音声信号であるか、音声を含まない背景雑音信号かを判断する音声判断部１５０と、マイクロホンが受音した複数の受音信号それぞれの信号レベルを算出する信号レベル算出部１３１，１３２と、受音信号が背景雑音信号であると判断された場合に、複数の受音信号それぞれの信号レベルに基づいて、マイクロホン１１１，１１２のうち少なくとも１つのマイクロホンの受音信号に乗じるべき利得値であって、マイクロホンの間の信号レベルの差を減少させる利得値を決定し、少なくとも１つのマイクロホンの受音信号の利得値として設定する設定部１６０と、少なくとも１つのマイクロホンの受音信号に、利得値を乗じる演算部１２１，１２２とを備える。
【選択図】図１

Description

本発明は、複数のマイクロホンが取得した受音信号を処理する受音信号処理装置、方法およびプログラムに関する。

近年、複数のマイクロホンを用いて、特定の方向から到来する信号を強調し、その他の音を抑圧する技術や、音源の方向を検出する技術の研究が盛んである。代表的なマイクロホンアレー方式として、遅延和アレーがあげられる(非特許文献１)。この方法は、各マイクロホンの信号に所定の遅延を挿入し加算処理を行うと、事前に設定された方向から到来した信号のみが同位相で足し合わされ強調されるのに対し、その他の方向から到来した信号は位相が揃わず弱め合うという原理に基づいている。遅延和アレーでは、この原理に基づき加算処理を行うことにより、特定の方向からの信号を強調する。すなわち、特定の方向に指向性を形成する。遅延和アレーにより得られる出力信号Ｙ（ｔ）は、（式１）で表される。

（式１）において、Ｎはマイクロホンの個数、Ｘ_ｎ（ｔ）は、各マイクロホンで得られた受音信号であり、ｎ＝１〜Ｎである。マイクロホンは等間隔に添え字ｎの順に配置されているものとする。また、τは、目的音の到来方向に受音信号を同相化するための遅延時間である。

マイクロホンアレー方式の別の例としては、Ｇｒｉｆｆｉｔｈ−Ｊｉｍ型アレーがあげられる（非特許文献２）。Ｇｒｉｆｆｉｔｈ−Ｊｉｍ型アレーは適応フィルタを用いて妨害音を除去する方式である。例えば、２つのマイクを利用したＧｒｉｆｆｉｔｈ−Ｊｉｍ型アレーにおいて、目的音がアレーの正面から到来し、妨害音がアレーの側方から到来するとする。この場合、正面から到来する目的音は左右のマイクに同相で受音される。その結果、加算部では前述の遅延和アレーと同じ原理で目的音は強調される。一方、減算部では目的音は同相で減算されるため消去される。妨害音はマイク間で位相がそろっていないため、加算部、減算部のいずれでも強調もされなければ消去もされずに出力される。ここで、ポイントになるのが減算部の出力信号が目的音を除いた、いわゆる雑音成分のみから成る点である。Ｇｒｉｆｆｉｔｈ−Ｊｉｍ型アレーではこの出力信号を参照信号として適応フィルタを駆動し、加算部の出力に残留している雑音成分を除去することにより、目的音の強調を行う。

J.L. Flanagan, J.D.Johnston, R.Zahn and G.W.Elko,"Computer-steered microphone arrays for sound transduction in large rooms,"J.Acoust. Soc. Am., vol.78, no.5, pp.1508-1518, 1985 L.J. Griffiths and C.W. Jim, "An Alternative Approach to Linearly Constrained Adaptive Beamforming," IEEE Trans. Antennas&Propagation, Vol.AP-30, No.1, Jan., 1982

このようなアレー処理においては、複数のマイクロホンの感度が同一であることが前提となっている。しかしながら、実際にはマイクロホンの感度にはバラつきがあり、また経時変化も無視できない。このため、常に同一感度を維持することは困難である。感度が不揃いなマイクロホンを用いてアレーを構成すると設計通りの指向性を形成することができない。例えばＧｒｉｆｆｉｔｈ−Ｊｉｍ型アレーでは、減算部で目的音を除去する構成になっているが、２つのマイクロホンの感度が異なると同相で減算しても振幅の差分が消し残ってしまう。この消し残しは適応フィルタに供給される。この適応フィルタを用いた場合には、加算部の出力から目的音成分を一部除去することとなり、最終的な出力信号に歪みを生じる「目的音除去」という致命的な問題が発生してしまう。

本発明は、上記に鑑みてなされたものであって、マイクロホンアレーを構成するマイクロホンの感度を補正することのできる受音信号処理装置、方法およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、音声を受音する複数のマイクロホンと、前記複数のマイクロホンが受音した受音信号が、前記マイクロホンに近接する近接音源からの音声を含む音声信号であるか、前記音声を含まない背景雑音信号かを、受音信号に基づいて判断する音声判断部と、前記複数のマイクロホンが受音した複数の受音信号それぞれの信号レベルを算出する信号レベル算出部と、前記音声判断部において前記受音信号が前記背景雑音信号であると判断された場合に、前記複数の受音信号それぞれの信号レベルに基づいて、前記複数のマイクロホンのうち少なくとも１つのマイクロホンの前記受音信号に乗じるべき利得値であって、前記複数のマイクロホンの間の信号レベルの差を減少させる利得値を決定し、前記利得値を、前記少なくとも１つのマイクロホンの前記受音信号の前記利得値として設定する設定部と、前記少なくとも１つのマイクロホンの前記受音信号に、前記設定部によって設定された前記利得値を乗じる演算部とを備えたことを特徴とする。

また、本発明の他の形態は、予め定められた規定位置に設置され、音声を受音する複数のマイクロホンと、前記複数のマイクロホンが受信した受音信号が、マイクロホンに近接する近接音源からの音声を含む音声信号であるか、前記音声を含まない背景雑音信号かを、受音信号に基づいて判断する音声判断部と、前記複数のマイクロホンが受音した複数の受音信号それぞれの信号レベルを算出する信号レベル算出部と、前記音声判断部において前記受音信号が音声信号であると判断された場合に、前記複数の受音信号それぞれの信号レベルに基づいて、複数のマイクロホンのうち少なくとも１つのマイクロホンの前記受音信号に乗じるべき利得値であって、前記複数のマイクロホンそれぞれが受音する複数の受音信号の信号レベルのバランスを、予め記憶部に記憶されている、前記規定位置に設置された複数のマイクロホンによる前記複数の受音信号の理想的なレベルバランスに近づける利得値を決定し、前記利得値を、前記少なくとも１つのマイクロホンの前記受音信号の利得値として設定する設定部と、前記少なくとも１つのマイクロホンの前記受音信号に、前記設定部によって設定された前記利得値を乗じる演算部とを備えたことを特徴とする。

本発明によれば、各マイクロホンの受音信号に乗じるべき利得値を自動的に継続して更新することができる。さらに、受音信号が背景雑音信号である場合に限り、利得値の調整を行うので、音声信号を利用することにより、不適切な利得値の調整を行うことがなく適切な利得値を設定することができるという効果を奏する。

第１の実施の形態にかかる受音信号処理装置１００の構成を示すブロック図である。 マイクロホンと音源の配置例を示す図である。 マイクロホンと音源の配置例を示す図である。 受音信号処理装置１００における受音信号処理を示すフローチャートである。 第５の変更例にかかる受音信号処理装置１０１の構成を示すブロック図である。 第２の実施の形態にかかる受音信号処理装置１０２の構成を示すブロック図である。 第１処理部２１１の構成を示すブロック図である。 第３の実施の形態にかかる受音信号処理装置１０３の構成を示すブロック図である。 第４の実施の形態にかかる受音信号処理装置１０４の構成を示すブロック図である。 第５の実施の形態にかかる受音信号処理装置１０５の構成を示すブロック図である。 第６の実施の形態にかかる受音信号処理装置１０６の構成を示すブロック図である。

以下に添付図面を参照して、この発明にかかる受音信号処理装置、方法およびプログラムの最良な実施の形態を詳細に説明する。

（第１の実施の形態）
図１は、本発明の第１の実施の形態にかかる受音信号処理装置１００の構成を示すブロック図である。本実施の形態にかかる受音信号処理装置１００は、２つのマイクロホンを有するマイクロホンアレーにおける受音信号処理を行う。なお、マイクロホンアレーを構成するマイクロホンの個数は２つに限定されるものではなく、３つ以上のマイクロホンを有してもよい。

受音信号処理装置１００は、第１マイクロホン１１１と、第２マイクロホン１１２と、第１利得演算部１２１と、第２利得演算部１２２と、第１レベル算出部１３１と、第２レベル算出部１３２と、相関算出部１４０と、音声判断部１５０と、利得設定部１６０と、アレー処理部１７０とを備えている。

第１マイクロホン１１１および第２マイクロホン１１２は、マイクロホンアレーを構成し、それぞれ受音信号を取得する。第１マイクロホン１１１が取得した受音信号は、第１利得演算部１２１、第１レベル算出部１３１および相関算出部１４０に入力される。第２マイクロホン１１２が取得した受音信号は、第２利得演算部１２２、第２レベル算出部１３２および相関算出部１４０に入力される。

第１利得演算部１２１は、第１マイクロホン１１１が取得した受音信号に対し利得値を乗じる。第２利得演算部１２２は、第１マイクロホン１１１が取得した受音信号に対し利得値を乗じる。これにより、マイクロホンアレーを構成する複数のマイクロホンの感度の差を補正することができる。なお、第１利得演算部１２１および第２利得演算部１２２が利用する利得値は、利得設定部１６０により設定される。

第１レベル算出部１３１は、第１マイクロホン１１１が取得した受信信号の信号レベルを算出する。第２レベル算出部１３２は、第２マイクロホン１１２が取得した受信信号の信号レベルを算出する。具体的には、第１レベル算出部１３１および第２レベル算出部１３２は、それぞれ（式２）により信号パワーの平均値Ｌ_ｎを信号レベルとして算出する。

（式２）において、Ｅ｛｝は、期待値を表し、時間平均により算出する。Ｘは、受音信号、ｔは時間インデックス、ｎはマイクロホンを識別する識別情報、すなわちチャネル番号を表している。なお、第１レベル算出部１３１および第２レベル算出部１３２は、それぞれ予め設定されているレベル算出時間周期で定期的に信号レベル算出を行う。

他の例としては、（式３）により再帰平均Ｌ_ｎ（ｔ）を信号レベルとして算出してもよい。

（式３）において、αは１より小さな正の値である。

また、他の例としては、信号パワーの平均値と再帰平均とを組み合わせて、時間窓の平均パワーに対して再帰平均を適用してもよい。また、受音信号の２乗に替えて、振幅を用いることとしてもよい。また、平均値に替えて、最大値を用いてもよい。このように、受音信号の信号レベルは既存の技術を用いて算出すればよく、その方法は本実施の形態に限定されるものではない。

相関算出部１４０は、予め設定された相関算出時間周期で定期的に、第１マイクロホン１１１および第２マイクロホン１１２から受音信号を取得し、これらの相関を求める。第１マイクロホン１１１および第２マイクロホン１１２から取得した受音信号をそれぞれＸ_１（ｔ），Ｘ_２（ｔ）とすると、Ｘ_１（ｔ）とＸ_２（ｔ）の相互相関Ｒ_１２は、（式４）で定義される。

相関算出部１４０は、窓幅Ｔでの相関を信号のパワーで正規化した正規化相互相関関数ｒ_１２によりＸ_１（ｔ）とＸ_２（ｔ）の相関を算出する。ｒの添え字１，２は、それぞれチャネル番号を表している。相関算出部１４０は具体的には、（式５）により時刻ｔ_０におけるＸ_１（ｔ）とＸ_２（ｔ）の相関ｒ_１２を算出する。

ここで、φ_１２は、（式６）により算出される。また、Ｐ_ｉｉは、（式７）により算出される。

なお、φの添え字１，２およびＰの添え字ｉはそれぞれチャネル番号を表している。正規化相互相関関数では値が０〜１に正規化される。このため、相関の強さを表す指標として用いるのに便利である。なお、マイクロホンの数が３以上の場合、すなわち３チャネル以上の場合には、２つのマイクロホン、すなわち２チャネルの相関値の統合により求めることができる。

相関算出部１４０は、３以上のチャネルにおける全チャネルの組み合わせを用いる場合は、（式８）により相関ｒｍ（ｔ_０，τ）を算出する。

他の例としては、全チャネルの統合（ｉ＜ｊ）に替えて、隣接チャネルの統合（ｊ＝ｉ＋１）のように、他の統合方法を用いても良い。なお、以下では、簡単のため２チャネルの正規化相互相関関数ｒ_１２（ｔ_０，τ）を用いる場合について説明するが、３チャネル以上の場合も同様である。

相関算出部１４０は、異なるτの値に対する複数の相関値を算出し、τに関する相関値の最大値ｒ_{１２＿ｍａｘ}（ｔ_０，τ_＿ｍａｘ）を特定する。相関値が大きいことは、相関の大きい信号が到来していることを意味し、またこのときのτ_＿ｍａｘは、これらの信号が２つのマイクロホンに到達するまでの時間差、すなわち音源方向を示している。なお、相関算出部１４０は、算出規定時間周期で観測時刻ｔ_０を設定し、各時刻ｔ_０に対して算出された相関値の最大値ｒ_{１２＿ｍａｘ}を特定し、特定するごとに音声判断部１５０に出力する。

なお、第１レベル算出部１３１および第２レベル算出部１３２による信号レベル算出のタイミングであるレベル算出時間周期と、相関算出部１４０による相関算出のタイミングである相関算出時間周期は等しいことが望ましいが、互いに近いタイミングで信号レベルおよび相関が算出されていればよく、必ずしも一致する必要はない。

一般的に音源がマイクロホンアレーから遠ざかるに従い、チャネル間の相関は減少する。このため、チャネル間の相関を手がかりに近接音源の存在を検出することが可能である。音声信号のように時間的に不連続な信号を扱う場合、音声信号が存在する音声信号区間と、音声信号の存在しない区間、すなわち背景雑音信号の区間である背景雑音区間とが存在する。ここで、音声信号とは近接音源から発せられた音声を含む信号である。すなわち、近接音源とは、マイクロホンアレーが音声として認識可能な音を発する音源である。背景雑音信号とは、近接音源からの音声信号が存在しない場合に、マイクロホンアレーが受音する雑音信号である。例えば、ドライバーの声を受音することを目的として設定されたマイクロホンアレーにおいて、助手席に座っている人物の声の信号も、マイクロホンアレーに対する近接音源からの信号であり、音声信号である。一方、例えば遠くを走行する救急車のサイレンの信号は、近接音源からの信号ではなく、背景雑音信号である。

受音信号がマイクロホンアレーに近接する近接音源から発せられた音声信号である場合には、チャネル間の相関は大きくなる。一方、受音信号が背景雑音のみを含む背景雑音信号である場合には、チャネル間の相関は小さくなる。そこで、本実施の形態においては、相関の最大値ｒ_{１２＿ｍａｘ}を算出し、相関の最大値ｒ_{１２＿ｍａｘ}を用いて受音信号が音声信号であるか背景雑音信号であるかを判断する。

音声判断部１５０は、相関算出部１４０から相関の最大値ｒ_{１２＿ｍａｘ}を取得する。そして、予め設定された相関値の閾値ｒ_{１２＿ｔｈ}と比較し、最大値ｒ_{１２＿ｍａｘ}が閾値ｒ_{１２＿ｔｈ}に比べて小さい場合には、相関が小さく、受音信号は背景雑音信号であると判断する。また、最大値ｒ_{１２＿ｍａｘ}が閾値ｒ_{１２＿ｔｈ}以上である場合には、相関が大きく、受音信号は音声信号であると判断する。なお、閾値ｒ_{１２＿ｔｈ}は、実験により求めた値である。実験においては、背景雑音および音声に対する受音信号を測定し、これらの測定結果から閾値を算出する。なお、受音信号が背景雑音信号であるか音声信号であるかをより正確に判断するためには、受音信号処理装置１００が設置される環境にできるだけ近い環境において測定を行うのが望ましい。

利得設定部１６０は、予め設定された利得設定時間周期で音声判断部１５０から受音信号が音声信号であるか背景雑音信号であるかの判断結果を取得する。利得設定部１６０は、また第１レベル算出部１３１および第２レベル算出部１３２から第１マイクロホン１１１および第２マイクロホン１１２の受音信号の信号レベルを取得する。利得設定部１６０は、受音信号が背景雑音信号である場合には、第１マイクロホン１１１および第２マイクロホン１１２それぞれが取得した受音信号の信号レベルに基づいて、各受音信号に乗じるべき利得値を決定する。利得設定部１６０は、第１マイクロホン１１１が取得した受音信号に対して決定した利得値を第１利得演算部１２１に設定し、第２マイクロホン１１２が取得した受音信号に対して決定した利得値を第２利得演算部１２２に設定する。

例えば、受音信号の平均パワーがＬ_１＜Ｌ_２の場合、第２利得演算部１２２に設定されているチャネル２の利得を減少させ、第１利得演算部１２１に設定されているチャネル１の利得を増加させる。これにより、２つのマイクロホンの感度差を減少させる方向に利得値を更新することができる。具体的には、利得設定部１６０は、（式９）および（式１０）に示す利得を各チャネルの利得演算部に設定する。なお、チャネルｎに現在設定している利得値をＧ_{ｎ＿ｏｌｄ}、利得設定部１６０が新たにチャネルｎの利得演算部に設定する利得値をＧ_{ｎ＿ｎｅｗ}とする。

なお、Ｌ_ｘは、平均パワーの目標値であり、（式１１）で表される。

利得設定部１６０は、第１レベル算出部１３１および第２レベル算出部１３２から取得した受音信号の信号レベルに基づいて算出した新たな利得値Ｇ_{１＿ｎｅｗ}，Ｇ_{２＿ｎｅｗ}をそれぞれ第１利得演算部１２１および第２利得演算部１２２に設定する。これにより、第１マイクロホン１１１および第２マイクロホン１１２が取得した受音信号の感度、すなわち信号レベルの差が小さくなるように、より好ましくは等しくなるように信号レベルを調整することができる。

受音信号の利得を調整して感度補正を行うだけならば、目標レベル（例えば基準マイクのレベル）になるように、各マイクロホンの利得を独立に制御する方法が考えられる。しかしながら、この方法には問題がある。図２に示す配置例では、マイクロホンアレー１１１，１１２の正面、すなわち各マイクロホン１１１，１１２からの距離が等しい位置に音源１１，１２がある。この場合、各音源１１，１２と２つのマイクロホン１１１，１１２の間の距離の比（ｄ_１１／ｄ_１２およびｄ_２１／ｄ_２２)は音源１１，１２とマイクロホン１１１，１１２の間の距離によらず１である。

図３に示す例では、マイクロホンアレー１１１，１１２の斜め方向に音源１３，１４がある。この場合には、２つのマイクロホン１１１，１１２までの距離の比（ｄ_３１／ｄ_３２およびｄ_４１／ｄ_４２)は音源距離によって異なる。すなわち、マイクロホン１１１，１１２と音源１３，１４の間の距離が大きくなるほど音源１３，１４からマイクロホン１１１，１１２までの距離の比が１に近づくのに対し、マイクロホン１１１，１１２と音源１３，１４の間の距離が小さくなるほど音源１３，１４からマイクロホン１１１，１１２までの距離の比は１よりも大きくなる。

一般に、マイクロホンで受音した音波のエネルギーは、音源からの距離の２乗に反比例する。したがって、距離の比が大きくなるにつれて受音信号のパワーの比も大きくなる。すなわち、音源がマイクロホンアレーの近くであって、かつ斜め方向に存在する場合には、複数のマイクロホンの感度が等しければ各マイクロホンは異なる信号パワー、すなわち信号レベルの受音信号を取得するはずである。このようにマイクロホン毎に異なるべき信号レベルをすべて等しくなるように利得調整を行うことは、感度の等しいマイクロホンを用いた場合に得られる受音信号とは異なる受音信号に調整することになってしまう。

例えば、自動車内でドライバーの声を受音するために、ルームミラーにマイクロホンアレーを設置する場合がある。この場合、主な音源であるドライバーはマイクロホンアレーに対し斜め方向に存在する。単純にマイクロホン間の信号パワーが等しくなるように利得を調整すると、ドライバーの発話時に、ドライバーにより近いマイクロホンほど大きな信号を出力するという現象と一致しなくなってしまう。また、使用中に同乗者など他の方向に音源が現れると、その都度、音源方向に逆らうように利得調整を行うことになる。しかしながら、これはマイクロホンの感度をそろえることにはならず、適切な利得調整を行うことはできない。

そこで、上述のように利得設定部１６０は、近接音源が存在しない場合、すなわち受音信号が背景雑音信号である場合に限り、新たな利得値を算出し、これを第１利得演算部１２１および第２利得演算部１２２に設定する。これにより、本来異なるべき信号パワーを等しくするような、不適切な利得調整を行うのを防ぐことができる。

アレー処理部１７０は、利得設定部１６０により設定された利得値により第１利得演算部１２１および第２利得演算部１２２において調整された後の受音信号を用いてアレー処理を行う。なお、アレー処理としては、Ｇｒｉｆｆｉｔｈ−Ｊｉｍ型アレーによる処理を行う。なお、他の例としては、アレー処理部１７０は、遅延和アレーやＩＣＡなど、複数のマイクロホンを用いた信号処理を行ってもよい。アレー処理部１７０は、第１利得演算部１２１および第２利得演算部１２２により信号レベルが調整された受音信号を利用して処理を行うので、設計通りの指向性を形成することができる。

図４は、受音信号処理装置１００における受音信号処理を示すフローチャートである。まず、マイクロホンアレーを形成する第１マイクロホン１１１および第２マイクロホン１１２は、受音信号を取得する（ステップＳ１００）。次に、第１レベル算出部１３１および第２レベル算出部１３２は、それぞれレベル算出時間が経過する度に、第１マイクロホン１１１および第２マイクロホン１１２が取得した受音信号の信号レベルを算出する（ステップＳ１０２）。相関算出部１４０は、相関算出時間が経過する度に、第１マイクロホン１１１が取得した受音信号および第２マイクロホン１１２が取得した受音信号の相関値を算出し、相関の最大値ｒ_{１２＿ｍａｘ}を音声判断部１５０に出力する（ステップＳ１０４）。

音声判断部１５０は、相関算出部１４０から取得した最大値ｒ_{１２＿ｍａｘ}と、予め設定されている閾値ｒ_{１２＿ｔｈ}とを比較する。最大値ｒ_{１２＿ｍａｘ}が閾値ｒ_{１２＿ｔｈ}よりも小さい場合には（ステップＳ１０６，Ｙｅｓ）、受音信号は背景雑音信号であると判断する。一方、最大値ｒ_{１２＿ｍａｘ}が閾値ｒ_{１２＿ｔｈ}以上である場合には（ステップＳ１０６，Ｎｏ）、受音信号は音声信号であると判断する。

利得設定部１６０は、利得設定時間が経過する度に、音声判断部１５０から判断結果を取得する。算出された相関の最大値ｒ_{１２＿ｍａｘ}が閾値ｒ_{１２＿ｔｈ}よりも小さい場合には（ステップＳ１０６，Ｙｅｓ）、受音信号は背景雑音信号であるとの判断結果を取得する。この場合、利得設定部１６０は、第１利得演算部１２１および第２利得演算部１２２に設定されている利得値を更新する（ステップＳ１０８）。

具体的には、利得設定部１６０は、第１レベル算出部１３１および第２レベル算出部１３２が算出した受音信号の信号レベルに基づいて、第１利得演算部１２１および第２利得演算部１２２に設定する新たな利得値Ｇ_{１＿ｎｅｗ}，Ｇ_{２＿ｎｅｗ}を算出する。そして、算出した新たな利得値を第１利得演算部１２１および第２利得演算部１２２にそれぞれ設定する。

一方、ステップＳ１０６において、最大値ｒ_{１２＿ｍａｘ}が閾値ｒ_{１２＿ｔｈ}以上である場合、すなわち受音信号が音声信号である場合には（ステップＳ１０６，Ｎｏ）、利得設定部１６０は、利得を更新しない。そして第１マイクロホン１１１および第２マイクロホン１１２による受音信号の取得が終了していなければ（ステップＳ１１０，Ｎｏ）、再びステップＳ１０２に戻り、更新処理を継続し、第１マイクロホン１１１および第２マイクロホン１１２による受音信号の取得が終了すると（ステップＳ１１０，Ｙｅｓ）、処理は完了する。

このように、第１の実施の形態にかかる受音信号処理装置１００においては、背景雑音区間においてのみ利得値の更新を行うので、近接斜方向の音源が存在する環境下において、音声信号を用いた利得調整により、異なるべき信号パワーを等しい信号パワーに調整するような不適切な利得調整を行うことなく、正しくマイクロホンの感度を合わせることができる。

また、受音信号処理装置１００においては、受音信号が背景雑音信号である場合には、利得設定部１６０は、予め設定された利得設定時間が経過する度に必要に応じて利得を更新するので、マイクロホンアレーが作動している間継続して自動的に利得調整を行うことができる。したがって、マイクロホンの経時変化にも対応した利得調整を行うことができる。

実施の形態の第１の変更例としては、音声判断部１５０は、所定の時間間隔内の複数のｔ_０に対して得られた複数の相関値の最大値それぞれと閾値との比較を行い、予め設定された規定連続時間以上の間連続して相関値の最大値が閾値以下である場合に、受音信号が背景雑音であると判断してもよい。これにより、相関値の一時的な変動の影響を受けにくくすることができる。

第２の変更例としては、利得設定部１６０は、既に第１利得演算部１２１および第２利得演算部１２２に設定されている利得値Ｇ_{１＿ｏｌｄ}，Ｇ_{２＿ｏｌｄ}から１回の調整量を比較的小さい値にし、算出した新たな利得値である目標利得値まで徐々に更新していくこととしてもよい。これにより、急な感度調整により聴覚的な違和感を与えるのを避けることができる。

この場合、利得設定部１６０が、設定時間周期で第１利得演算部１２１および第２利得演算部１２２に設定する、新たな利得値は、（式１２）および（式１３）により示される。

ここで、Ｇ_＿ｕｐ，Ｇ_{＿ｄｗｏｎ}はそれぞれ、Ｇ_＿ｕｐ＞１，Ｇ_{＿ｄｏｗｎ}＜１なる値である。例えば１回の更新時の利得値の変化量が１ｄＢｕｐ，１ｄＢｄｏｗｎ程度であれば更新による変化が知覚されることはまずない。このように、１回に変更する調整幅（ステップサイズ）を制限することにより、緩やかにゲイン調整を行うことができる。

さらに、チャネル間の信号レベルの差が大きいほど大きい調整幅を設定し、この調整幅ずつ利得値を更新してもよい。これにより、新たな利得値Ｇ_{１＿ｎｅｗ}，Ｇ_{２＿ｎｅｗ}を設定するまでの収束時間を短縮することができる。また、他の例としては、チャネル間の信号レベルの差が大きいほど利得値の更新を行う時間間隔、すなわち設定時間周期を短くしてもよい。なお、いずれの場合にも、緩やかに利得値を変更している間も、目標利得値の算出を行い、目標利得値を定期的に更新する。

また、第３の変更例としては、第１の実施の形態においては、受音信号が背景雑音信号である場合には、利得更新を行わないこととしたが、これにかえて更新時のステップサイズを小さくし、利得更新の程度を小さくすることとしてもよい。これにより、緩やかにゲイン調整を行うことができる。

第４の変更例について説明する。図２および図３を参照しつつ説明したように、マイクロホンアレーの正面に音源が存在する場合には、音源とマイクロホンアレーの距離によらず、音源と各マイクロホンの間の距離は等しくなる。そこで、受音信号が音声信号であっても、音源がマイクロホンアレーの正面に位置する場合には、利得の更新を行うこととしてもよい。

例えば、音声判断部１５０は、さらに最大の相関値を与える時間差の絶対値|τ_＿ｍａｘ|と所定の閾値τ_＿ｔｈとを比較する。そして、利得設定部１６０は、|τ_＿ｍａｘ|＜τ_＿ｔｈの関係にある場合、すなわち、音源がマイクロホンアレーのほぼ正面付近に存在する場合には、利得の更新を行う。なお、ここで閾値τ_＿ｔｈは、音源がマイクロホンアレーのほぼ正面に位置する場合に得られるτを実測して求めたものである。

図５は、第５の変更例にかかる受音信号処理装置１０１の構成を示すブロック図である。第５の変更例にかかる受音信号処理装置１０１においては、第１レベル算出部１３３および第２レベル算出部１３４はそれぞれ第１利得演算部１２３および第２利得演算部１２４により利得値の演算が施された後の受音信号を取得する。そして、これらの受音信号の信号レベルを算出する。また、相関算出部１４２は、第１利得演算部１２３および第２利得演算部１２４から受音信号を取得し、これらの受音信号に基づいて相関値を算出し、音声判断部１５２に送出する。このように、利得調整後の受音信号の信号レベルを利用するので、利得設定部１６２による（式９）および（式１０）を利用した相対的な更新の実装を簡単にすることができる。

さらに、他の例としては、信号レベル算出には利得調整前の受音信号を利用し、相関算出には利得調整後の受音信号を利用してもよい。またこれとは逆に、信号レベル算出には利得調整後の受音信号を利用し、相関算出には、利得調整後の受音信号を利用してもよい。なお、上記変更例は、いずれも他の実施の形態においても同様に適用することができることはいうまでもない。

（第２の実施の形態）
図６は、第２の実施の形態にかかる受音信号処理装置１０２の構成を示すブロック図である。第２の実施の形態にかかる受音信号処理装置１０２は、時間信号である受音信号を周波数領域の信号に変換する。そして、各周波数成分に対し、利得調整を行う。

受音信号処理装置１０２は、第１マイクロホン１１１と、第２マイクロホン１１２と、第１ＤＦＴ２０１と、第２ＤＦＴ２０２と、第１処理部２１１〜第Ｌ処理部２２０と、ＩＤＦＴ２３０とを備えている。第１ＤＦＴ２０１は、第１マイクロホン１１１が取得した受音信号を周波数領域の信号に変換する。第２ＤＦＴ２０２は、第２マイクロホン１１２が取得した受音信号を周波数領域の信号に変換する。第１ＤＦＴ２０１および第２ＤＦＴ２０２は、受音信号を周波数領域の信号に変換する処理として、具体的には離散フーリエ変換（ＤＦＴ）を行う。ＤＦＴでは、所定の時間幅の時間窓を設定する。そして、この時間窓をシフトしながら連続時間信号を処理する。以下、時間窓により切り出される信号の単位をフレームと称する。フレーム毎にＬ個の周波数成分が得られる。各周波数成分は、それぞれ第１処理部２１１〜第Ｌ処理部２２０に入力される。

第１処理部２１１〜第Ｌ処理部２２０は、それぞれ各周波数成分に対する処理を行い、処理後の信号を出力する。なお、第１処理部２１１〜第Ｌ処理部２２０は同一の構成であり、第１処理部２１１〜第Ｌ処理部２２０には、それぞれ第１マイクロホン１１１および第２マイクロホン１１２が取得した受音信号の第１周波数成分〜第Ｌ周波数成分が入力される。第１処理部２１１〜第Ｌ処理部２２０は、取得した周波数信号に対して利得調整処理を行う。ＩＤＦＴ２３０は、各処理部から取得した周波数成分を時間信号に変換し出力する。ＩＤＦＴ２３０は、具体的には、逆離散フーリエ変換（ＩＤＦＴ）を行う。

図７は、第１処理部２１１の構成を示すブロック図である。第１処理部２１１には、第１ＤＦＴ２０１から、第１マイクロホン１１１の受音信号の第１周波数成分が入力される。第１処理部２１１には、また第２ＤＦＴ２０２から第２マイクロホン１１２の受音信号の第１周波数成分が入力される。第１処理部２１１は、これらの周波数信号に対して利得調整処理を行う。

第１処理部２１１は、第１利得演算部２４１と、第２利得演算部２４２と、第１レベル算出部２５１と、第２レベル算出部２５２と、相関算出部２６０と、音声判断部２７０と、利得設定部２８０と、アレー処理部２９０とを備えている。

第１利得演算部２４１および第２利得演算部２４２は、それぞれ第１ＤＦＴ２０１および第２ＤＦＴ２０２から第１周波数成分を取得する。そして、第１利得演算部２４１および第２利得演算部２４２は、各第１周波数成分に対し、利得値を乗じる。なお、第１利得演算部２４１および第２利得演算部２４２が利用する利得値は、利得設定部２８０により設定される。

第１レベル算出部２５１および第２レベル算出部２５２はそれぞれ第１ＤＦＴ２０１および第２ＤＦＴ２０２から第１周波数成分を取得する。そして、これらの周波数成分の信号レベルを算出する。具体的には、第１レベル算出部２５１および第２レベル算出部２５２は、それぞれ（式１４）により第ｌ周波数成分の信号パワーの平均値Ｌ_ｎ（１）を算出する。ここで、ｌは、周波数成分番号である。

なお、期待値はフレーム平均として算出する。Ｘ_ｎ（１）は複素数であるので、信号パワーの算出には絶対値の２乗を用いる。

相関算出部２６０は、第１ＤＦＴ２０１および第２ＤＦＴ２０２から第１周波数成分を取得し、これらの相関を求める。相関算出部２６０は、周波数成分毎の相関を表す代表的な指標である、コヒーレンスを用いて相関を算出する。具体的には、（式１５）により第ｌ周波数成分におけるチャネル１，２間のコヒーレンスを相関としてを算出する。ここで、ｃｏｎｊ（）は共役複素数を、ｓｑｒｔ（）は平方根を表している。

コヒーレンスは複素数であり、その絶対値は、０〜１の範囲の値をとる。絶対値が１に近いほど相関が高いことを意味する。

音声判断部２７０は、相関算出部２６０により算出された相関値と、予め定めた閾値ｒ_{１２＿ｔｈ}とを比較し、相関算出部２６０により算出された相関値ｒ_１２が閾値ｒ_{１２＿ｔｈ}に比べて小さい場合には、相関が小さく、受音信号は背景雑音信号であると判断する。また、相関値ｒ_１２が閾値ｒ_{１２＿ｔｈ}以上である場合には、相関が大きく、受音信号は音声信号であると判断する。なお、閾値ｒ_{１２＿ｔｈ}は実験により求めた値である。このように、コヒーレンスの絶対値が大きいことは、近接音源の存在を示唆しているので、コヒーレンスの絶対値に基づいて、受音信号が背景雑音信号か音声信号かを判断することができる。

利得設定部２８０は、音声判断部２７０から受音信号が音声信号であるか背景雑音信号であるかの判断結果を取得する。利得設定部２８０はまた、第１レベル算出部２５１および第２レベル算出部２５２から第１マイクロホン１１１および第２マイクロホン１１２が取得した受音信号の第ｌ周波数成分の信号レベルを算出する。利得設定部２８０は、受音信号が背景雑音信号である場合には、第１マイクロホン１１１および第２マイクロホン１１２の受音信号の第ｌ周波数成分の信号レベルに基づいて、各マイクロホンに対応する第ｌ周波数成分に対して乗じる利得値を決定し、この値を第１利得演算部２４１および第２利得演算部２４２に設定する。

アレー処理部２９０は、第１利得演算部２４１および第２利得演算部２４２から利得調整後の第ｌ周波数成分を取得し、第ｌ周波数成分に対するアレー処理を行い、処理後の第ｌ周波数成分をＩＤＦＴ２３０に出力する。

このように、本実施の形態にかかる受音信号処理装置１０２においては、Ｌ個の周波数成分それぞれに対して、利得の調整を行うことができる。これにより、マイクロホンの感度差が周波数領域毎に異なる場合には、周波数成分毎にそれぞれ適した値に利得値を調整することができる。

なお、第２の実施の形態にかかる受音信号処理装置１０２のこれ以外の構成および処理は、第１の実施の形態にかかる受音信号処理装置１００の構成および処理と同様である。

第２の実施の形態にかかる受音信号処理装置１０２の第１の変更例としては、所定の周波数成分に対して求めた相関値を用いて、音声信号が背景雑音信号であるか音声信号であるかを判定し、この判定結果を他の周波数成分においても利用することとしてもよい。例えば、特定の周波数に大きなノイズが存在する場合、その周波数で求めた相関値を利用して音声信号か雑音信号かを判定するのは困難である。例えば、音声のような広帯域信号の近接音源が存在する場合には、この存在を検出するために、所定の周波数成分により算出した相関値を利用することができる。

さらに、低い周波数成分は近接音源の有無に関わらず相関が高くなる。このため、受音信号が音声信号であるか雑音信号であるかの判定精度が低下する可能性がある。そこで、比較的低い周波数成分に対応する処理部においては、相関算出部および音声判断部による処理を行わず、比較的高い周波数成分に対する処理部において得られた判断結果を利用することとする。これにより、受音信号が音声信号であるか雑音信号であるかの判断精度を向上させることができる。

また、第２の変更例としては、受音信号処理装置１０２は、ＩＤＦＴ２３０を備えなくともよい。例えば、音声認識などの用途でスペクトル情報のみが必要な場合は、ＩＤＦＴを行わず周波数成分を出力してもよい。

（第３の実施の形態）
図８は、第３の実施の形態にかかる受音信号処理装置１０３の構成を示すブロック図である。第３の実施の形態にかかる受音信号処理装置１０３は、第２の実施の形態にかかる受音信号処理装置１０２と同様に、各周波数成分に対する利得調整を行う複数の処理部、すなわち第１処理部３１１〜第Ｌ処理部３２０を備えている。ただし、受音信号処理装置１０３は、各周波数成分に対応する複数の相関算出部および音声判断部を有するのではなく、１つの相関算出部３４０および１つの音声判断部３５０を有している。

相関算出部３４０は、第１ＤＦＴ２０１により得られたすべての周波数成分を取得する。さらに、第２ＤＦＴ２０２により得られたすべての周波数成分を取得する。相関算出部３４０は、取得したすべての周波数成分から、第１マイクロホン１１１が取得した受音信号と第２マイクロホン１１２が取得した受音信号の相関を算出する。相関算出部３４０は、すべての周波数成分を用いて（式１６）により、一般化相互相関関数（ＧＣＣ）を相関値として算出する。

ここで、Ｇ_１２（ｌ）はＸ_１（ｌ）とＸ_２（ｌ）のクロススペクトルである。ｗ（ｌ）は周波数ごとの重みである。また、クロススペクトルはＥ{ｃｏｎｊ（Ｘ_１（ｌ）＊Ｘ_２（ｌ））}として期待値を用いる。フレーム毎に独立に求めても良いが、前者のほうが高い精度で得ることができる。ｗ（ｌ）は、（式１７）により算出する。ｗ（ｌ）の決め方により異なる種類の相互相関関数が得られる点が一般化相互相関関数の特徴であり、詳細は、C. H. Knapp and G. C. Carter, "The Generalized Correlation Method for Estimation of Time Delay," IEEE Trans, Acoust., Speech, Signal Processing, Vol.ASSP-24, No.4, pp.320-327, 1976に記載されている。

ＧＣＣ（τ）は周波数ごとに重み付けされている点を除いては第１の実施の形態において説明した相互相関関数Ｒ_１２（τ）と同じ性質の関数である。したがって、第１の実施の形態にかかるＲ_１２（τ）と同様に扱うことができる。例えば、ＧＣＣ（τ）のピークは相関の強さを表し、ピークを与える時間は音源方向に対応する。

なお、ＧＣＣと類似した相関関数としてＣＳＰ（Ｃｒｏｓｓ Ｓｐｅｃｔｒａｌ Ｐｈａｓｅ）と呼ばれるものがある。また、これに重みを付けた重みつきＣＳＰも提案されている。これらはＧＣＣの一形態と考えられ、相関算出部３４０はこれらの関数により相関値を算出してもよい。

音声判断部３５０は、相関算出部３４０から相関値ＧＣＣ（τ）を取得する。そして、予め設定された閾値ＧＣＣ（τ）_＿ｔｈと比較する。相関算出部３４０が算出した相関値ＧＣＣ（τ）が閾値ＧＣＣ（τ）_＿ｔｈよりも小さい場合には、受音信号は背景雑音信号であると判断する。相関算出部３４０が算出した相関値ＧＣＣ（τ）が閾値ＧＣＣ（τ）_＿ｔｈ以上である場合には、受音信号は音声信号であると判断する。音声判断部３５０は、判断結果を各処理部３１１〜３２０の利得設定部に出力する。

第１処理部３１１は、第１利得演算部３６１と、第２利得演算部３６２と、第１レベル算出部３７１と、第２レベル算出部３７２と、利得設定部３８０と、アレー処理部３９０とを備えている。なお、第１処理部３１１は、相関算出部および音声判断部は備えない。利得設定部３８０は、音声判断部３５０から受音信号が音声信号であるか背景雑音信号であるかの判断結果を取得する。利得設定部３８０は、さらに第１レベル算出部３７１および第２レベル算出部３７２からそれぞれ受音信号の第１周波数成分の信号レベルを取得する。利得設定部３８０は、背景雑音信号区間である場合に、第１レベル算出部３７１および第２レベル算出部３７２から取得した信号レベルに基づいて、第１利得演算部３６１および第２利得演算部３６２に設定すべき利得値を決定し、これを第１利得演算部３６１および第２利得演算部３６２に設定する。

なお、第２処理部３１２〜第Ｌ処理部３２０の構成および処理は、第１処理部３１１の構成および処理と同様である。また、第３の実施の形態にかかる受音信号処理装置１０３のこれ以外の構成は、第２の実施の形態にかかる受音信号処理装置１０２の構成と同様である。

このように、第３の実施の形態にかかる受音信号処理装置１０３においては、利得設定部は周波数毎に設けられているので、周波数毎に独立に利得設定を行うことができる。したがって、周波数毎にマイクロホンの感度が異なる場合には、周波数毎に適切な利得調整を行うことができる。

（第４の実施の形態）
図９は、第４の実施の形態にかかる受音信号処理装置１０４の構成を示すブロック図である。受音信号処理装置１０４は、第２，３の実施の形態にかかる受音信号処理装置と同様に、各周波数成分に対する利得調整を行う複数の処理部、すなわち第１処理部４１１〜第Ｌ処理部４２０を備えている。ただし、本実施の形態にかかる受音信号処理装置１０４においては、アレー処理部は、入力信号の処理に加えて、音源方向の推定と受音信号の強度の推定を行う。音声判断部は、アレー処理部による推定結果に基づいて、受音信号が音声信号であるか背景雑音信号であるかの判断を行う。

他の実施の形態において述べた相関の大きさは、本実施の形態において述べた信号の強度に対応する。また、コヒーレンスの位相や相関値の時間差τが音源方向に対応する。

アレー処理部４８０は、ビームフォーマ法により、アレーの指向性をスキャンしながら各方向の出力パワーを測定し、高い出力パワーを与える方向に音源が存在すると判定する。ビームフォーマ法では方向θにおける出力パワーは、（式１８）で表される。

ここで、ａ（θ）は音源方向に対応する縦ベクトルであり、方向ベクトルまたはモードベクトル等と呼ばれる。ａ（θ）の次元は、マイクロホンの数に相当する。すなわち、マイクロホンの数がＮ個である場合には、ａ（θ）は、Ｎ次元となる。ａ’（θ）は、ａ（θ）を転置した横ベクトルである。Ｒ_ｘｘは空間相関行列であり、チャネル間の相互相関を行列で表したものである。２チャネルの場合の周波数領域でＲ_ｘｘは（式１９）で表現される。

ここで、ｌは周波数成分番号である。（式１９）の成分Ｇ_ｘｘは、第３の実施の形態において説明したクロススペクトルであり、チャネル間の相関を表している。

（式１８）において方向ベクトルａ（θ）は入力信号によらないベクトルである。したがって、Ｐｏｗ（θ）が大きな値をとるためには、Ｒ_ｘｘ（ｌ）の成分が大きな値となる必要がある。つまり、他の実施の形態において説明した、受音信号間の相関が大きくなることと、アレー処理においてある方向に強い方向性が観測されることは等価なことである。

音声判断部４６０は、アレー処理部４８０により算出されたＰｏｗ（θ）の最大値と予め設定された閾値Ｐｏｗ_＿ｔｈとを比較する。そして、Ｐｏｗ（θ）が閾値よりも小さい場合には、相関が低く受音信号は背景雑音信号であると判断する。また、Ｐｏｗ（θ）が閾値Ｐｏｗ_＿ｔｈ以上である場合には、相関が高く受音信号は音声信号であると判断する。

利得設定部４７０は、受音信号が背景雑音信号であると判断される区間である背景雑音区間において第１レベル算出部４５１および第２レベル算出部４５２から取得した信号レベルに基づいて、利得値を決定し、これを第１利得演算部４４１および第２利得演算部４４２に設定する。

なお、第２処理部４１２〜第Ｌ処理部４２０における処理および構成は、図９を参照しつつ説明した第１処理部４１１の処理および構成と同様である。また、受音信号処理装置１０４のこれ以外の構成および処理は、他の実施の形態にかかる受音信号処理装置の構成および処理と同様である。

本実施の形態の変更例としては、アレー処理部４８０は、例えば空間相関行列の固有値分解を利用したＭＵＳＩＣ法など、従来から知られている他の方法を用いて音源方向を推定してもよい。方向推定の詳細な方法にいては、M. Brandstein and D. Ward,"Microphone Arrays," Springer, Part II , 2001に記載されている。ビームフォーマ法以外の方向探索アルゴリズムを用いた場合でも、大抵の場合、強い方向性が観測されることと、大きな相関値が得られることは同じことであり、表現方法の違いに過ぎない。

（第５の実施の形態）
図１０は、第５の実施の形態にかかる受音信号処理装置１０５の構成を示すブロック図である。受音信号処理装置１０５は、第１の実施の形態にかかる受音信号処理装置１００の相関算出部１４０にかえて音声検出部５００を備えている。音声検出部５００は、例えばＶＡＤ（Voice Activity Detector)等の音声検出器であり、音声の存在の有無を検出する。音声判断部５１０は、音声が存在する場合には、受音信号は音声信号であると判断する。また、音声が存在しない場合には、受音信号は雑音信号であると判断する。

例えば、受音信号処理装置１０５が設置された周辺環境において想定され得る近接音源が音声信号に限られている場合には、本実施の形態にかかる受音信号処理装置１０５のように、音声検出部５００による検出結果に基づいて、受音信号が音声信号であるか背景雑音信号であるかを判定することにより、精度よく受音信号の判断を行うことができる。

なお、受音信号処理装置１０５のこれ以外の構成および処理は、第１の実施の形態にかかる受音信号処理装置１００の構成および処理と同様である。

なお音声検出部５００による音声検出の方法は、本実施の形態に限定されるものではない。音声検出は、信号のパワー情報を用いる手法、スペクトル情報を用いる手法、信号対雑音比に基づく手法など様々な方法が提案されており、音声検出部５００はこれらの方法により音声を検出してもよい。

（第６の実施の形態）
図１１は、第６の実施の形態にかかる受音信号処理装置１０６の構成を示すブロック図である。受音信号処理装置１０６は、背景雑音区間ではなく音声区間において、マイクロホンアレーの理想的な利得バランスに近づくように利得値を調整する。受音信号処理装置１０６は、第１の実施の形態にかかる受音信号処理装置１００の音声判断部１５０にかえて相関判断部６００を備えている。また、第１の実施の形態にかかる受音信号処理装置１００の構成に加えて利得データ記憶部６１０を備えている。

相関判断部６００は、相関算出部１４０から相関値の最大値ｒ_{１２＿ｍａｘ}と、このときの位相τ_１２、すなわちτ_{１２＿ｍａｘ}の組を取得する。相関判断部６００は、予め相関値およびこのときの位相の設定値の組を記憶しており、これと取得した最大値の組とを比較する。なお、設定値は、近接音源が存在する場合に得られる相関値の最大値ｒ_{１２＿ｍａｘ}と、このときの位相τ_１２であり、予め実験等により求めたものである。相関算出部１４０により算出されたｒ_{１２＿ｍａｘ}とτ_{１２＿ｍａｘ}の値がそれぞれｒ_{１２＿ｍａｘ}とτ_{１２＿ｍａｘ}の設定値と一致した場合には、利得設定部６２０に対し利得調整を行う旨の指示を出力する。なお、相関算出部１４０により算出されたｒ_{１２＿ｍａｘ}とτ_{１２＿ｍａｘ}の値がそれぞれｒ_{１２＿ｍａｘ}とτ_{１２＿ｍａｘ}の設定値を基準としたある範囲内の値であれば、一致したと判断することとする。

利得データ記憶部６１０は、利得データを記憶している。ここで、利得データとは、相関が相関判断部６００に記憶されている設定値になるような状況において感度のそろった複数のマイクロホンを用いて受音した場合の理想的な利得バランスを示す情報である。すなわち、利得データには、理想的な状況での各マイクロホンの信号パワーが示されている。利得設定部６２０は、利得データに基づいて、第１マイクロホン１１１および第２マイクロホン１１２の受音信号に乗じるべき利得値を決定する。具体的には、利得値を乗じた受音信号のパワーが理想的な利得バランスと一致するような利得値を決定する。そして、決定した利得値を第１利得演算部１２１および第２利得演算部１２２に設定する。なお、この場合にも、利得設定部６２０は目標値を理想的な利得バランスとして段階的に利得値を設定してもよい。

本実施の形態にかかる受音信号処理装置１０６においては、固定位置に音源が存在し、かつ、その音源から音が発せられている時間帯が長い場合において、効率良く利得調整を行うことが可能となる。

なお、本実施の形態にかかる受音信号処理装置１０６の構成および処理は、他の実施の形態にかかる受音信号処理装置の構成および処理と同様である。

本実施の形態の受音信号処理装置は、ＣＰＵなどの制御装置と、ＲＯＭ（Read Only Memory）やＲＡＭなどの記憶装置と、ＨＤＤ、ＣＤドライブ装置などの外部記憶装置と、ディスプレイ装置などの表示装置と、キーボードやマウスなどの入力装置を備えており、通常のコンピュータを利用したハードウェア構成となっている。

本実施の形態の受音信号処理装置で実行される受音信号処理プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、本実施の形態の受音信号処理装置で実行される受音信号処理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の受音信号処理装置で実行される受音信号処理プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。また、本実施形態の受音信号処理プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

本実施の形態の受音信号処理装置で実行される受音信号処理プログラムは、上述した各部（第１利得演算部、第２利得演算部、第１レベル算出部、第２レベル算出部、相関算出部、音声判断部、利得設定部、アレー処理部など）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体から受音信号処理プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、各部が主記憶装置上に生成されるようになっている。

なお、本発明は、上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態にわたる構成要素を適宜組み合わせても良い。

１００〜１０６ 受音信号処理装置
１１１ 第１マイクロホン
１１２ 第２マイクロホン
１２１ 第１利得演算部
１２２ 第２利得演算部
１３１ 第１レベル算出部
１３２ 第２レベル算出部
１５０ 音声判断部
１６０ 利得設定部

Claims (11)

1. 音声を受音する複数のマイクロホンと、
   前記複数のマイクロホンが受音した受音信号が、前記マイクロホンに近接する近接音源からの音声を含む音声信号であるか、前記音声を含まない背景雑音信号かを、受音信号に基づいて判断する音声判断部と、
   前記複数のマイクロホンが受音した複数の受音信号それぞれの信号レベルを算出する信号レベル算出部と、
   前記音声判断部において前記受音信号が前記背景雑音信号であると判断された場合に、前記複数の受音信号それぞれの信号レベルに基づいて、前記複数のマイクロホンのうち少なくとも１つのマイクロホンの前記受音信号に乗じるべき利得値であって、前記複数のマイクロホンの間の信号レベルの差を減少させる利得値を決定し、前記利得値を、前記少なくとも１つのマイクロホンの前記受音信号の前記利得値として設定する設定部と、
   前記少なくとも１つのマイクロホンの前記受音信号に、前記設定部によって設定された前記利得値を乗じる演算部と
   を備えたことを特徴とする受音信号処理装置。
2. 前記設定部は、現在設定されている利得値を前記複数のマイクロホンの信号レベルが等しくなる目標利得値まで変更させる際の利得値の調整幅を決定し、予め設定された第１規定時間が経過する度に、前記調整幅だけ既に設定されている前記利得値を変更した値を、新たな利得値として設定することを特徴とする請求項１に記載の受音信号処理装置。
3. 前記複数のマイクロホンが受音した複数の受音信号の相関を算出する相関算出部をさらに備え、
   前記音声判断部は、前記相関算出部により算出された前記相関が予め定められた閾値に比べて小さい場合に、前記背景雑音信号であると判断することを特徴とする請求項１に記載の受音信号処理装置。
4. 前記受音信号を周波数成分に変換する変換部をさらに備え、
   前記信号レベル算出部は、前記変換部により得られた周波数成分毎に前記受音信号それぞれの信号レベルを算出し、
   前記相関算出部は、前記周波数成分の相関を算出し、
   前記設定部は、前記周波数成分毎に前記利得値を決定し、前記周波数成分毎に前記受音信号の前記利得値を設定し、
   前記演算部は、前記受音信号の前記周波数成分それぞれに対し、各周波数成分に対して設定された前記利得値を乗じることを特徴とする請求項３に記載の受音信号処理装置。
5. 前記音声判断部は、予め設定された第２規定時間が経過する度に、前記受音信号が前記音声信号であるか前記背景雑音信号であるかを判断し、
   前記決定部は、予め設定された第３規定時間の間、前記受音信号が前記背景雑音信号であるとの判断が連続して得られた場合に、前記受音信号の前記利得値を決定することを特徴とする請求項１に記載の受音信号処理装置。
6. 前記受音信号から発話を検出する音声検出部をさらに備え、
   前記音声判断部は、前記音声検出部により発話が検出されない場合に、前記背景雑音信号であると判断することを特徴とする請求項１に記載の受音信号処理装置。
7. 予め定められた規定位置に設置され、音声を受音する複数のマイクロホンと、
   前記複数のマイクロホンが受信した受音信号が、マイクロホンに近接する近接音源からの音声を含む音声信号であるか、前記音声を含まない背景雑音信号かを判断する音声判断部と、
   前記複数のマイクロホンが受音した複数の受音信号それぞれの信号レベルを算出する信号レベル算出部と、
   前記音声判断部において前記受音信号が音声信号であると判断された場合に、前記複数の受音信号それぞれの信号レベルに基づいて、複数のマイクロホンのうち少なくとも１つのマイクロホンの前記受音信号に乗じるべき利得値であって、前記複数のマイクロホンそれぞれが受音する複数の受音信号の信号レベルのバランスを、予め記憶部に記憶されている、前記規定位置に設置された複数のマイクロホンによる前記複数の受音信号の理想的なレベルバランスに近づける利得値を決定し、前記利得値を、前記少なくとも１つのマイクロホンの前記受音信号の利得値として設定する設定部と、
   前記少なくとも１つのマイクロホンの前記受音信号に、前記設定部によって設定された前記利得値を乗じる演算部と
   を備えたことを特徴とする受音信号処理装置。
8. 複数のマイクロホンの受音信号を処理する受音信号処理をコンピュータに実行させるための受音信号処理プログラムであって、
   前記コンピュータを、
   前記複数のマイクロホンから前記受音信号を取得する取得部と、
   前記受音信号が、前記マイクロホンに近接する近接音源からの音声を含む音声信号であるか、前記音声を含まない背景雑音信号かを、受音信号に基づいて判断する音声判断部と、
   前記複数のマイクロホンが受音した複数の受音信号それぞれの信号レベルを算出する信号レベル算出部と、
   前記音声判断部において前記受音信号が前記背景雑音信号であると判断された場合に、前記複数の受音信号それぞれの信号レベルに基づいて、前記複数のマイクロホンのうち少なくとも１つのマイクロホンの前記受音信号に乗じるべき利得値であって、前記複数のマイクロホンの間の信号レベルの差を減少させる利得値を決定し、前記利得値を、前記少なくとも１つのマイクロホンの前記受音信号の前記利得値として設定する設定部と、
   前記少なくとも１つのマイクロホンの前記受音信号に、前記設定部によって設定された前記利得値を乗じる演算部と
   して機能させるためのプログラム。
9. 予め定められた規定位置に設置された複数のマイクロホンの受音信号を処理する受音信号処理をコンピュータに実行させるための受音信号処理プログラムであって、
   前記コンピュータを、
   前記複数のマイクロホンから前記受音信号を取得する取得部と、
   前記受音信号が、マイクロホンに近接する近接音源からの音声を含む音声信号であるか、前記音声を含まない背景雑音信号かを、受音信号に基づいて判断する音声判断部と、
   前記複数のマイクロホンが受音した複数の受音信号それぞれの信号レベルを算出する信号レベル算出部と、
   前記音声判断部において前記受音信号が音声信号であると判断された場合に、前記複数の受音信号それぞれの信号レベルに基づいて、複数のマイクロホンのうち少なくとも１つのマイクロホンの前記受音信号に乗じるべき利得値であって、前記複数のマイクロホンそれぞれが受音する複数の受音信号の信号レベルのバランスを、予め記憶部に記憶されている、前記規定位置に設置された複数のマイクロホンによる前記複数の受音信号の理想的なレベルバランスに近づける利得値を決定し、前記利得値を、前記少なくとも１つのマイクロホンの前記受音信号の利得値として設定する設定部と、
   前記少なくとも１つのマイクロホンの前記受音信号に、前記設定部によって設定された前記利得値を乗じる演算部と
   して機能させるためのプログラム。
10. 複数のマイクロホンが音声を受音する受音ステップと、
    音声判断部が、前記複数のマイクロホンが受音した受音信号が、前記マイクロホンに近接する近接音源からの音声を含む音声信号であるか、前記音声を含まない背景雑音信号かを、受音信号に基づいて判断する音声判断ステップと、
    信号レベル算出部が、前記複数のマイクロホンが受音した複数の受音信号それぞれの信号レベルを算出する信号レベル算出ステップと、
    設定部が、前記音声判断ステップにおいて前記受音信号が前記背景雑音信号であると判断された場合に、前記複数の受音信号それぞれの信号レベルに基づいて、前記複数のマイクロホンのうち少なくとも１つのマイクロホンの前記受音信号に乗じるべき利得値であって、前記複数のマイクロホンの間の信号レベルの差を減少させる利得値を決定し、前記利得値を、前記少なくとも１つのマイクロホンの前記受音信号の前記利得値として設定する設定ステップと、
    演算部が、前記少なくとも１つのマイクロホンの前記受音信号に、前記設定部によって設定された前記利得値を乗じる演算ステップと
    を有することを特徴とする受音信号処理方法。
11. 予め定められた規定位置に設置された複数のマイクロホンが音声を受音する受音ステップと、
    音声判断部が、前記複数のマイクロホンが受信した受音信号が、マイクロホンに近接する近接音源からの音声を含む音声信号であるか、前記音声を含まない背景雑音信号かを、受音信号に基づいて判断する音声判断ステップと、
    信号レベル算出部が、前記複数のマイクロホンが受音した複数の受音信号それぞれの信号レベルを算出する信号レベル算出ステップと、
    設定部が、前記音声判断ステップにおいて前記受音信号が音声信号であると判断された場合に、前記複数の受音信号それぞれの信号レベルに基づいて、複数のマイクロホンのうち少なくとも１つのマイクロホンの前記受音信号に乗じるべき利得値であって、前記複数のマイクロホンそれぞれが受音する複数の受音信号の信号レベルのバランスを、予め記憶部に記憶されている、前記規定位置に設置された複数のマイクロホンによる前記複数の受音信号の理想的なレベルバランスに近づける利得値を決定し、前記利得値を、前記少なくとも１つのマイクロホンの前記受音信号の利得値として設定する設定ステップと、
    演算部が、前記少なくとも１つのマイクロホンの前記受音信号に、前記設定部によって設定された前記利得値を乗じる演算ステップと
    を有することを特徴とする受音信号処理方法。

Images