JP2007147732A - 雑音低減システム及び雑音低減方法 - Google Patents
雑音低減システム及び雑音低減方法 Download PDFInfo
- Publication number
- JP2007147732A JP2007147732A JP2005338727A JP2005338727A JP2007147732A JP 2007147732 A JP2007147732 A JP 2007147732A JP 2005338727 A JP2005338727 A JP 2005338727A JP 2005338727 A JP2005338727 A JP 2005338727A JP 2007147732 A JP2007147732 A JP 2007147732A
- Authority
- JP
- Japan
- Prior art keywords
- noise
- signal
- frequency spectrum
- microphones
- reference signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
【課題】非コヒーレント雑音フィールドでも高い雑音抑圧性能が得られるようにする。
【解決手段】ブロッキングマトリクス（ＢＭ）ユニット１４は、マイクロホン１１１-1〜１１１-Mから出力される観測信号に含まれている目的音声信号の到来時刻のずれが較正された信号を受けて、基準チャネルとしてのマイクロホン１１１-1を除く残りのマイクロホンから出力される観測信号に対応し、目的音声信号が抑圧された雑音基準信号を生成する。フィルタユニット１５は、ＢＭユニット１４によって生成される雑音基準信号の周波数スペクトルの歪みを、コヒーレンス関数を用いて定義された、雑音基準信号の周波数スペクトル及び音声基準信号の周波数スペクトルの相互相関と、コヒーレンス関数を用いて定義された、雑音基準信号の周波数スペクトルの自己相関との関係を反映した雑音キャンセラ係数を用いて補正する。
【選択図】 図１
【解決手段】ブロッキングマトリクス（ＢＭ）ユニット１４は、マイクロホン１１１-1〜１１１-Mから出力される観測信号に含まれている目的音声信号の到来時刻のずれが較正された信号を受けて、基準チャネルとしてのマイクロホン１１１-1を除く残りのマイクロホンから出力される観測信号に対応し、目的音声信号が抑圧された雑音基準信号を生成する。フィルタユニット１５は、ＢＭユニット１４によって生成される雑音基準信号の周波数スペクトルの歪みを、コヒーレンス関数を用いて定義された、雑音基準信号の周波数スペクトル及び音声基準信号の周波数スペクトルの相互相関と、コヒーレンス関数を用いて定義された、雑音基準信号の周波数スペクトルの自己相関との関係を反映した雑音キャンセラ係数を用いて補正する。
【選択図】 図１
Description
本発明は、雑音環境における音声認識に必要な雑音低減を含む前処理に好適な雑音低減システム及び雑音低減方法に関する。
音声認識システムは、既に一部の分野で実用化されており、当該音声認識システムの種々の分野への普及には大きな期待が寄せられている。しかし、実使用環境には望まれない雑音が存在し、当該雑音により歪みが生じた音声が入力されると認識性能は大幅に低下する。そこで、雑音中の音声認識のための前処理として、雑音低減（雑音抑圧もしくは雑音除去）のための処理が行われている。
この種の処理では、複数のマイクロホン（マイクロホン対）から構成されるマイクロホンアレイを利用して、各マイクロホン間に生じる到来音の到達時間差（到来時間差）に基づいてビームフォーマを構築することにより、雑音（のスペクトル）が推定される。この推定された雑音（のスペクトル）をマイクロホンから出力される信号（のスペクトル）から差し引くことにより、雑音が低減（キャンセル）された目的音声（のスペクトル）が得られる。
このような雑音低減手法を実現するアルゴリズムは、多チャンネルアルゴリズムと呼ばれる。多チャンネルアルゴリズム、例えばビームフォーマに基づくアルゴリズムは、マイクロホンアレイにより空間フィルタを構成する手法である。
ビームフォーマとして、遅延和（delay-and-sum）ビームフォーマ（ＤＳＢＦ）、例えば非特許文献１に記載された線形制約付きビームフォーマが知られている。この線形制約付きビームフォーマは、当該ビームフォーマの出力を最小化することにより、目的の方向とは異なる方向からの信号を抑圧している間、当該目的の方向から到着する信号が歪まないように維持する。また、非特許文献１に記載のビームフォーマを改良したものに、非特許文献２に記載された一般化（汎用）サイドローブ・キャンセラー（generalized side lobe canceller: ＧＳＣ）ビームフォーマがある。これらのビームフォーマでは、目的の音声信号がキャンセルされる（打ち消される）のを回避するために、適応信号処理が使用される。しかしながら適応信号処理は、実際の雑音状況の下でのシステム（雑音低減システム）の安定性を減少させる。
そこで、マイクロホン対を使用する、差分型（subtractive）ビームフォーマに基づいたアルゴリズムが提案されている（例えば、非特許文献３及び４参照）。この非特許文献３及び４に記載のビームフォーマのうち、例えば非特許文献４に記載のビームフォーマの優位性は、特に突然の雑音に関し、少ないマイクロホンと分析的な雑音推定スキームだけで、高い方向性雑音低減（抑圧）性能を有する点にある。この優位性は、完全なコヒーレント雑音フィールド（干渉性雑音場）に対応する環境に方向性雑音だけが存在するという仮定の下で引き出される。
ここで、非特許文献４に記載のビームフォーマ、つまり雑音低減アルゴリズムに基づく差分型ビームフォーマについて説明する。雑音の多い環境の中にマイクロホンアレイを構成する複数のマイクロホンが配置されているものとする。この場合、各マイクロホンで観測される信号は、２つの成分からなる。第１は目的とする音声信号（認識されるべき音声信号）であり、第２は決定される方向から到来する付加的な方向性雑音（Directional Noise）である。したがって、隣接する１対のマイクロホンで観測される信号ｘ1(ｔ)及びｘ2(ｔ)は、次式
ｘ1(ｔ)＝ｓ(ｔ) + ｎ(ｔ) （１）
ｘ2(ｔ)＝ｓ(ｔ) + ｎ(ｔ-δ) （２）
のように表すことができる。ここで、δは方向性雑音信号の隣接するマイクロホン間の相対的時間遅れである。
ｘ1(ｔ)＝ｓ(ｔ) + ｎ(ｔ) （１）
ｘ2(ｔ)＝ｓ(ｔ) + ｎ(ｔ-δ) （２）
のように表すことができる。ここで、δは方向性雑音信号の隣接するマイクロホン間の相対的時間遅れである。
この信号モデルに基づき、非特許文献４に記載の差分型ビームフォーマでは、次の３ステップに要約される雑音低減アルゴリズム（以下、基本雑音低減アルゴリズムと称する）が実行される。
ステップ１：雑音スペクトル推定
方向性雑音のスペクトルを推定するために、時間領域（time domain）のビームフォーマ（差分型ビームフォーマ）がτ≠０を条件として次式
ｕ12(ｔ)＝ 1/4{[ｘ1(ｔ+τ) - ｘ1(ｔ-τ)] - [ｘ2(ｔ+τ) - ｘ2(ｔ-τ)]} （３）
のように構築される。ここで、ビームフォーマの出力がいかなる目的の音声成分を含まないことに注目する。
方向性雑音のスペクトルを推定するために、時間領域（time domain）のビームフォーマ（差分型ビームフォーマ）がτ≠０を条件として次式
ｕ12(ｔ)＝ 1/4{[ｘ1(ｔ+τ) - ｘ1(ｔ-τ)] - [ｘ2(ｔ+τ) - ｘ2(ｔ-τ)]} （３）
のように構築される。ここで、ビームフォーマの出力がいかなる目的の音声成分を含まないことに注目する。
方向性雑音信号の到着の方向（direction of arrival：ＤＯＡ）が与えられると、周波数領域の雑音スペクトルＮ(ω)は、上記ビームフォーマの出力ｕ12(ｔ)から、次式
Ｎ(ω)＝Ｕ12(ω)／{ｅｘｐ(jωδ/2)ｓｉｎ(ωδ/2)ｓｉｎωτ} （４）
に従い容易に推定することができる。ここで、分子のＵ12(ω)は、ｕ12(ｔ)の短時間フーリエ変換であり、分母のｅｘｐ(jωδ/2)ｓｉｎωδ/2ｓｉｎωτは重み係数である。
Ｎ(ω)＝Ｕ12(ω)／{ｅｘｐ(jωδ/2)ｓｉｎ(ωδ/2)ｓｉｎωτ} （４）
に従い容易に推定することができる。ここで、分子のＵ12(ω)は、ｕ12(ｔ)の短時間フーリエ変換であり、分母のｅｘｐ(jωδ/2)ｓｉｎωδ/2ｓｉｎωτは重み係数である。
ステップ２：雑音方向推定
式（４）の中で示されるように、方向性雑音信号のＤＯＡ情報は雑音スペクトルの推定のために必要不可欠である。このために、従来の相互相関ＤＯＡ推定を適用する２種のビームフォーマを統合した強健な方向方位測定器が、例えば非特許文献５に記載されている。
式（４）の中で示されるように、方向性雑音信号のＤＯＡ情報は雑音スペクトルの推定のために必要不可欠である。このために、従来の相互相関ＤＯＡ推定を適用する２種のビームフォーマを統合した強健な方向方位測定器が、例えば非特許文献５に記載されている。
ステップ３：雑音低減
雑音スペクトルを推定した後に、非線形のスペクトル減算が、複数のマイクロホンのうちのある１つのマイクロホンによって受信された雑音のある信号から推定雑音を低減するために使用される。
雑音スペクトルを推定した後に、非線形のスペクトル減算が、複数のマイクロホンのうちのある１つのマイクロホンによって受信された雑音のある信号から推定雑音を低減するために使用される。
上述の基本雑音低減アルゴリズムは、他の雑音低減アルゴリズムと比較して次のような利点を有する。それは、フレーム単位でスペクトル分析し、フレーム単位で雑音スペクトルを推定することにより種々の方向性雑音に対処することができる点である。
O.L. Frost，「An algorithm for linearly constrained adaptive array processing」，In Proc，IEEE，vol. 60，pp. 926-935，1972 L.J. Griffiths and C.W. Jim，「An alternative approach to linearly constrained adaptive beamforming」，IEEE Trans. on Antennas Propagat.，vol.AP-30，pp. 27-34，1982 水町，赤木，「マイクロホン対を用いたスペクトルサブトラクションによる雑音除去法」，電子情報通信学会論文誌，１９９９年４月，A，Vol.J82-A，N0.4，pp.503-512 M. Akagi and M. Mizumachi，「Noise Reduction by Paired Microphones」， In Proc. EUROSPEECH97，pp. 335-338，1997 M. Mizumachi and M. Akagi，「Noise reduction method that is equipped for a robust direction finder in adverse environments」, In Proc. IEEE Workshop on Robust Method for Speech Recognition in Adverse Conditions，pp. 179-182，1999
O.L. Frost，「An algorithm for linearly constrained adaptive array processing」，In Proc，IEEE，vol. 60，pp. 926-935，1972 L.J. Griffiths and C.W. Jim，「An alternative approach to linearly constrained adaptive beamforming」，IEEE Trans. on Antennas Propagat.，vol.AP-30，pp. 27-34，1982 水町，赤木，「マイクロホン対を用いたスペクトルサブトラクションによる雑音除去法」，電子情報通信学会論文誌，１９９９年４月，A，Vol.J82-A，N0.4，pp.503-512 M. Akagi and M. Mizumachi，「Noise Reduction by Paired Microphones」， In Proc. EUROSPEECH97，pp. 335-338，1997 M. Mizumachi and M. Akagi，「Noise reduction method that is equipped for a robust direction finder in adverse environments」, In Proc. IEEE Workshop on Robust Method for Speech Recognition in Adverse Conditions，pp. 179-182，1999
しかしながら、実際的な雑音状況、例えば、拡散雑音（diffuse noise）フィールドとして近似的にモデル化することができる自動車環境或いは残響のある部屋の中は、一般にコヒーレント雑音フィールドではない。したがって、自動車環境或いは残響のある部屋の中のような実際的な雑音状況の下では、上述した非特許文献３に記載の基本雑音低減アルゴリズムを適用したビームフォーマの優位性は低下する。
本発明は上記事情を考慮してなされたものでその目的は、非コヒーレント雑音フィールドでも高い方向性雑音抑圧性能が得られる雑音低減システム及び雑音低減方法を提供することにある。
本発明の１つの観点によれば、雑音環境における音声認識に必要な雑音低減を含む前処理を行う雑音低減システムが提供される。この雑音低減システムは、認識すべき目的音声を含む音響を電気信号に変換して観測信号として出力するための複数のマイクロホンから構成されるマイクロホンアレイと、前記複数のマイクロホンから出力される観測信号に含まれている目的音声信号の到来時刻のずれを当該複数のマイクロホンのうち基準チャネルとして予め定められたマイクロホンを基準に較正する較正器と、前記複数のマイクロホンから出力される観測信号に対応する前記較正器による較正後の信号に基づき、前記基準チャネルに対応し且つ目的の方向とは異なる方向からの信号が抑圧された信号の周波数スペクトルを、音声基準信号の周波数スペクトルとして生成する固定ビームフォーマユニットと、前記複数のマイクロホンから出力される観測信号に対応する前記較正器による較正後の信号を受けて、前記基準チャネルを除く残りのマイクロホンから出力される観測信号に対応し、目的音声信号が抑圧された信号の周波数スペクトルを、雑音基準信号の周波数スペクトルとして生成するブロッキングマトリクスユニットと、前記ブロッキングマトリクスユニットによって生成される、前記残りのマイクロホンから出力される観測信号に対応する雑音基準信号の周波数スペクトルの歪みを、コヒーレンス関数を用いて定義された、前記雑音基準信号の周波数スペクトル及び前記音声基準信号の周波数スペクトルの相互相関と、コヒーレンス関数を用いて定義された、前記雑音基準信号の周波数スペクトルの自己相関との関係を反映した雑音キャンセラ係数を用いて補正するフィルタユニットと、前記フィルタユニットの出力から、前記固定ビームフォーマユニットによって生成される音声基準信号の周波数スペクトルに含まれていると推定される雑音スペクトルを生成する推定雑音生成器と、前記固定ビームフォーマユニットによって生成される音声基準信号の周波数スペクトルから前記推定雑音生成器によって生成される雑音スペクトルを除去する推定雑音除去器とを具備する。
本発明によれば、ブロッキングマトリクスユニットによって生成される雑音基準信号の周波数スペクトルの歪みが、当該ブロッキングマトリクスユニットの次段に設けられたフィルタユニットによって、コヒーレンス関数を用いて定義された、雑音基準信号の周波数スペクトル及び音声基準信号の周波数スペクトルの相互相関と、コヒーレンス関数を用いて定義された、雑音基準信号の周波数スペクトルの自己相関との関係を反映した雑音キャンセラ係数を用いて補正される。これにより、非コヒーレント雑音フィールドでも高い方向性雑音抑圧性能を確保できる。
以下、本発明の実施の形態につき図面を参照して説明する。
図１は本発明の一実施形態に係る雑音低減システムの構成を示すブロック図である。本実施形態において、図１の雑音低減システムは、音声認識システムの音声入力システムに用いられる。音声入力システムは、話者が発声した音声を入力し、当該音声に雑音が重畳されている場合に当該雑音を推定し、その雑音推定の結果に基づいて目的音を強調する処理を行う機能を有する。つまり音声入力システム１は、雑音環境における音声認識のための前処理を行う機能を有する。音声入力システムは音声認識のための前処理の一部として、話者が発声した音声に含まれている雑音を低減する図１に示す雑音低減システムを含む。音声認識システムは、音声入力システムによる前処理によって強調された目的音声信号に基づき目的音声を認識する。ここでは、音声認識システムは、車載用、例えばカーナビゲーション装置用の音声認識システムであるものとする。
図１は本発明の一実施形態に係る雑音低減システムの構成を示すブロック図である。本実施形態において、図１の雑音低減システムは、音声認識システムの音声入力システムに用いられる。音声入力システムは、話者が発声した音声を入力し、当該音声に雑音が重畳されている場合に当該雑音を推定し、その雑音推定の結果に基づいて目的音を強調する処理を行う機能を有する。つまり音声入力システム１は、雑音環境における音声認識のための前処理を行う機能を有する。音声入力システムは音声認識のための前処理の一部として、話者が発声した音声に含まれている雑音を低減する図１に示す雑音低減システムを含む。音声認識システムは、音声入力システムによる前処理によって強調された目的音声信号に基づき目的音声を認識する。ここでは、音声認識システムは、車載用、例えばカーナビゲーション装置用の音声認識システムであるものとする。
図１の雑音低減システムは、マイクロホンアレイ１１と、較正器１２と、固定ビームフォーマ（ＦＢＦ）ユニット１３と、ブロッキングマトリクス（ＢＭ）ユニット１４と、雑音キャンセラ１５と、逆短時間フーリエ変換器（ＩＳＴＦＴ）１６とから構成される。
マイクロホンアレイ１１は、複数のマイクロホン、好ましくは少なくとも３個のマイクロホン、例えばＭ個（Ｍは３以上の整数）の無指向性マイクロホン１１１-1，１１１-2，…，１１１-Mから構成される。マイクロホン１１１-1〜１１１-Mは、直線上に等間隔（例えば１０ｃｍ間隔）で配置されている。このようなマイクロホン１１１-1〜１１１-M（の配列からなるマイクロホンアレイ１１）が雑音の多い環境に配置されている場合、マイクロホン１１１-1〜１１１-Mの各々で観測される音（音響）は少なくとも２つの成分に大別される。第１は、ある１つの方向から到来する認識されるべき音声（目的音声）である。第２は、決定される方向から到来する、付加的な、方向性のある低減（抑圧もしくは除去）されるべき雑音（方向性雑音：Directional Noise）である。
マイクロホン１１１-1〜１１１-Mは、それぞれ当該マイクロホンに到来する、目的音声及び雑音（方向性雑音）を受けて、その目的音声及び雑音が重畳された音を電気信号（観測信号）に変換する。マイクロホン１１１-1〜１１１-Mに到来する目的音声の方向が、当該マイクロホン１１１-1〜１１１-Mの配列方向に直交していない場合、この目的音声は当該マイクロホン１１１-1〜１１１-Mにそれぞれ時間差をもって到達する。今、目的音声がマイクロホン１１１-1に到達する時刻をｔ、目的音声が隣接するマイクロホンの各々に到達する時刻の差分をζとする。この場合、目的音声は、マイクロホン１１１-2〜１１１-Mにそれぞれ時刻ｔ−ζ〜ｔ−(Ｍ−１)ζに到達する。つまり、目的音声がマイクロホン１１１-1に到達する時刻ｔを基準とした場合、当該目的音声は、マイクロホン１１１-2〜１１１-Mに、それぞれ時間差（到来時間差）ζ〜(Ｍ−１)ζをもって到達する。ここでは、マイクロホンアレイ１１に対する目的音声の到来方向は予め分かっており、ζは既知であるものと仮定する。この仮定は、図１の雑音低減システムを含む音声認識システムがカーナビゲーション装置に用いられる本実施形態では成立する。なお、ζが既知でない構成でも、当該ζは前記非特許文献３に記載されているように推定可能である。方向性雑音についても同様である。
較正器１２は、マイクロホンアレイ１のマイクロホン１１１-1，１１１-2，…，１１１-Mからそれぞれ出力される観測信号ｘ'1(ｔ)，ｘ'2(ｔ)，…，ｘ'M(ｔ)を入力する。較正器１２は、入力された信号ｘ'1(ｔ)〜ｘ'M(ｔ)に含まれている目的音声信号ｓ()の到来方向が、仮想的に、マイクロホン１１１-1〜１１１-Mの配列方向に直交する方向、つまりマイクロホンアレイ１の正中面に揃えられるように、時間シフト操作を行う。ここでは較正器１２は、信号ｘ'1(ｔ)を基準に、信号ｘ'2(ｔ)〜ｘ'M(ｔ)に対して相対的にそれぞれ時間ζ〜(Ｍ−１)ζだけシフト（プラス方向にシフト）する。
このような較正器１２による時間シフトにより、目的音声の音源（話者）とマイクロホンアレイ１との間の位置関係に影響される目的音声の伝搬特性が補償されて、信号ｘ'1(ｔ)〜ｘ'M(ｔ)にそれぞれ含まれている目的音声信号ｓ()の到来時刻が揃えられる。つまり、較正器１２による時間シフトにより、目的音声の到来方向がマイクロホンアレイ１の正中面であると仮定できる。このことは、各マイクロホン１１１-1〜１１１-Mが、同相の同一の音声信号ｓ(ｔ)を出力するように予め較正されていること、つまり各マイクロホン１１１-1〜１１１-Mが目的音声の到来方向に向かって事前に配置されていることと等価である。以下の説明では、較正器１２の出力(時間遅れ補償出力)である較正（時間シフト）後の信号ｘ'1(ｔ)〜ｘ'M(ｔ)をｘ1(ｔ)〜ｘM(ｔ)で表す。
ｉ番目（ｉ＝１，２，…，Ｍ）のマイクロホン１１１-iから出力される観測信号ｘ'i(ｔ)に対応する時間シフト後の信号ｘi(ｔ)は、信号ｘ1(ｔ)を基準とした場合、次式
ｘi(ｔ)＝ｓ(ｔ) + ｎ(ｔ-(i-1)δ) （５）
のように表される。ここで、ｓ(ｔ)は目的音声信号、ｎ()は方向性雑音信号、δは方向性雑音信号の隣接するマイクロホン間の相対的時間遅れである。この例のように、信号ｘ1(ｔ)を基準とした場合、当該信号ｘ1(ｔ)に対応するマイクロホン１１１-1を基準（参照）チャネルと呼び、当該信号ｘ1(ｔ)を基準（参照）信号と呼ぶ。
ｘi(ｔ)＝ｓ(ｔ) + ｎ(ｔ-(i-1)δ) （５）
のように表される。ここで、ｓ(ｔ)は目的音声信号、ｎ()は方向性雑音信号、δは方向性雑音信号の隣接するマイクロホン間の相対的時間遅れである。この例のように、信号ｘ1(ｔ)を基準とした場合、当該信号ｘ1(ｔ)に対応するマイクロホン１１１-1を基準（参照）チャネルと呼び、当該信号ｘ1(ｔ)を基準（参照）信号と呼ぶ。
ここで、ｎ(ｔ-(i-1)δ)を
ｎi(ｔ)＝ｎ(ｔ-(i-1)δ) （６）
のように表すと、式（５）は次式
ｘi(ｔ)＝ｓ(ｔ) + ｎi(ｔ) （７）
に示す信号モデルで表される。この式（７）は、信号ｘi(ｔ)を、ｉ番目のマイクロホン１１１-iで観察される雑音のある信号と仮定した場合、当該信号ｘi(ｔ）が、目的音声信号ｓ(ｔ)及び付加雑音信号ｎi(ｔ)からなることを意味する。ここで、各マイクロホン１１１-iで観察される付加雑音信号ｎi(ｔ)が全ての望まない信号を含むことに注目する。この望まない信号が、前記基本雑音低減アルゴリズムの中で仮定されるような方向性雑音だけでなく、同時に全方向に伝搬する、方向性のない雑音（非方向性雑音: Non-Directional Noise）を含んでいても構わない。
ｎi(ｔ)＝ｎ(ｔ-(i-1)δ) （６）
のように表すと、式（５）は次式
ｘi(ｔ)＝ｓ(ｔ) + ｎi(ｔ) （７）
に示す信号モデルで表される。この式（７）は、信号ｘi(ｔ)を、ｉ番目のマイクロホン１１１-iで観察される雑音のある信号と仮定した場合、当該信号ｘi(ｔ）が、目的音声信号ｓ(ｔ)及び付加雑音信号ｎi(ｔ)からなることを意味する。ここで、各マイクロホン１１１-iで観察される付加雑音信号ｎi(ｔ)が全ての望まない信号を含むことに注目する。この望まない信号が、前記基本雑音低減アルゴリズムの中で仮定されるような方向性雑音だけでなく、同時に全方向に伝搬する、方向性のない雑音（非方向性雑音: Non-Directional Noise）を含んでいても構わない。
較正器１２からの出力信号ｘ1(ｔ)，ｘ2(ｔ)，…，ｘM(ｔ)はＦＢＦ（固定ビームフォーマ）ユニット１３に入力される。ＦＢＦユニット１３は、短時間フーリエ変換器（ＳＴＦＴ）１３１とＦＢＦ（固定ビームフォーマ）１３２とから構成される。ＳＴＦＴ１３１は、信号ｘi(ｔ)（ｉ＝１，２，…，Ｍ）を一定のサンプリング周期でサンプリングして得られるデジタル信号（つまり信号ｘi(ｔ)に対応するデジタル信号）を、短時間フーリエ変換（Short Time Fourier Transform: STFT）する。これによりＳＴＦＴ１３１は、較正器１２からの出力信号ｘ1(ｔ)，ｘ2(ｔ)，…，ｘM(ｔ)に対する短時間フーリエ変換結果Ｘ1(ω)，Ｘ2(ω)，…，ＸM(ω)を出力する。
ＳＴＦＴ１３１による短時間フーリエ変換結果Ｘ1(ω)，Ｘ2(ω)，…，ＸM(ω)はＦＢＦ１３２に入力される。このＦＢＦ１３２には、例えば従来から知られている遅延和ビームフォーマが用いられる。ＦＢＦ１３２は、目的の方向とは異なる方向からの信号（妨害信号）を抑圧している間、当該目的の方向から到着する信号（目的音声信号）が歪まないように維持する。本実施形態におけるＦＢＦ１３２は、短時間フーリエ変換結果Ｘ1(ω)，Ｘ2(ω)，…，ＸM(ω)のうち、基準（参照）チャネルからの出力信号（つまり音声基準信号）に対する短時間フーリエ変換結果だけを取り出すフィルタ（all-passフィルタ）をなす。また本実施形態では、マイクロホン１１１-1が基準チャネルに割り当てられている。この場合、ＦＢＦ１３２は、基準チャネル以外のチャネル、即ちマイクロホン１１１-2〜１１１-Mに対応するｘ2(ｔ)〜ｘM(ｔ)に対する短時間フーリエ変換結果Ｘ2(ω)〜ＸM(ω)をブロックする。
ＦＢＦ１３２（ＦＢＦユニット１３）の出力をＹFBF(ω)とすると、このＹFBF(ω)は次式
ＹFBF(ω)＝Ｘ1(ω)＝Ｓ(ω) + Ｎ1(ω) （８）
に示すように、音声基準信号ｘ1(ｔ)＝ｓ(ｔ) + ｎ1(ｔ)に対する短時間フーリエ変換結果Ｘ1(ω)＝Ｓ(ω) + Ｎ1(ω)によって与えられる。ここでは、ＹFBF(ω)自体を便宜的に音声基準信号と呼ぶ。但し、この音声基準信号ＹFBF(ω)は雑音信号（雑音スペクトル）を含む。
ＹFBF(ω)＝Ｘ1(ω)＝Ｓ(ω) + Ｎ1(ω) （８）
に示すように、音声基準信号ｘ1(ｔ)＝ｓ(ｔ) + ｎ1(ｔ)に対する短時間フーリエ変換結果Ｘ1(ω)＝Ｓ(ω) + Ｎ1(ω)によって与えられる。ここでは、ＹFBF(ω)自体を便宜的に音声基準信号と呼ぶ。但し、この音声基準信号ＹFBF(ω)は雑音信号（雑音スペクトル）を含む。
なお、ＳＴＦＴ１３１とＦＢＦ１３２との配置を入れ替えても構わない。この場合、基準チャネルとしてのマイクロホン１１１-1に対応する較正器１２からの出力信号ｘ1(ｔ)だけがＦＢＦ１３２により取り出される。このＦＢＦ１３２により取り出された信号ｘ1(ｔ)がＳＴＦＴ１３１により短時間フーリエ変換される。このＳＴＦＴ１３１によるｘ1(ｔ)に対する短時間フーリエ変換結果Ｘ1(ω)が、ＦＢＦユニット１３の出力（ＦＢＦ出力信号）ＹFBF(ω)として用いられる。
較正器１２からの出力信号ｘ1(ｔ)，ｘ2(ｔ)，…，ｘM(ｔ)はＢＭ（ブロッキングマトリクスユニット）１４にも入力される。ＢＭユニット１４は、Ｍ−１個の差分型ビームフォーマ（ＳＢＦ）１４１-2，１４１-3，…，１４１-MとＳＴＦＴ（短時間フーリエ変換器）１４２とから構成される。ＳＢＦ１４１-i（ｉ＝２，…，Ｍ）は、前記基本雑音低減アルゴリズムで適用される差分型ビームフォーマと同様の仕組みにより、目的の音声成分（目的音声信号）をブロックする。即ちＳＢＦ１４１-iは、ｘ1(ｔ)及びｘi(ｔ)に基づき、τ≠０を条件として、前記式（３）と同様の次式
ｕ1i(ｔ)＝ 1/4{[ｘ1(ｔ+τ) - ｘ1(ｔ-τ)] - [ｘi(ｔ+τ) - ｘi(ｔ-τ)]} （９）
で示される雑音基準信号ｕ1i(ｔ)を出力する機能を有する。この雑音基準信号ｕ1i(ｔ)、つまりＳＢＦ１４１-iの出力ｕ1i(ｔ)は、目的音声信号がブロッキング（抑圧）された信号である。
ｕ1i(ｔ)＝ 1/4{[ｘ1(ｔ+τ) - ｘ1(ｔ-τ)] - [ｘi(ｔ+τ) - ｘi(ｔ-τ)]} （９）
で示される雑音基準信号ｕ1i(ｔ)を出力する機能を有する。この雑音基準信号ｕ1i(ｔ)、つまりＳＢＦ１４１-iの出力ｕ1i(ｔ)は、目的音声信号がブロッキング（抑圧）された信号である。
ＢＭユニット１４内のＳＴＦＴ（短時間フーリエ変換器）１４２は、当該ＢＭユニット１４内のＳＢＦ１４１-2〜１４１-Mの各々の出力ｕ12(ｔ)〜ｕ1M(ｔ)を短時間フーリエ変換する。これによりＳＴＦＴ１４２は、ＳＢＦ１４１-2〜１４１-Mの出力ｕ12(ｔ)〜ｕ1M(ｔ)の周波数スペクトルＵ12(ω)〜Ｕ1M(ω)を生成する。スペクトルＵ1i(ω)（ｉ＝２，…，Ｍ）は、上記式（７）で示される信号モデルに従い、次式
Ｕ1i(ω)＝1/2{ｊsinωτ(Ｎ1(ω) - Ｎi(ω))} （１０）
のように表される。
Ｕ1i(ω)＝1/2{ｊsinωτ(Ｎ1(ω) - Ｎi(ω))} （１０）
のように表される。
本実施形態では、１番目のマイクロホン１１１-1及びｉ番目のマイクロホン１１１-iでそれぞれ観測される雑音信号Ｎ1(ω)及びＮi(ω)が直接関連付けられず、それらに関する事前仮定（推定）がなされていない。このため、式（８）の周波数表現を、基本雑音低減アルゴリズムで適用される前記式（４）で示されるように公式化できないことに注目する。
雑音キャンセラ１５は、フィルタユニット１５１と加算回路１５２，１５３とから構成される。フィルタユニット１５１は、フィルタ１５１-2〜１５１-Mから構成される。フィルタユニット１５１のフィルタ１５１-2〜１５１-Mの個数Ｍ−１が、マイクロホンアレイ１１を構成するマイクロホン１１１-1〜１１１-Mの個数Ｍより１つ少ないことに注意する。
フィルタ１５１-i（ｉ＝２，…，Ｍ）は、ＢＭユニット１４内のＳＴＦＴ１４２の出力Ｕ1i(ω)を雑音キャンセラ係数Ｈi(ω)によりフィルタリングし、Ｈi(ω)Ｕ1i(ω)を出力する。ＳＴＦＴ１４２の出力Ｕ1i(ω)に対応するＳＢＦ１４１-iの出力（雑音基準信号）ｕ1i(ｔ)は、前記したように目的音声信号がブロッキング（抑圧）された信号である。しかし、ＳＢＦ１４１-iにより、目的音声信号をブロッキングすると、つまり目的音声信号を消し去って雑音成分だけを取り出すと、雑音スペクトルに歪みが生じる。この歪みの補正（スペクトル補正）のために、Ｕ1i(ω)を雑音キャンセラ係数Ｈi(ω)によりフィルタリングするフィルタ１５１-iが用いられる。加算回路１５２は、各マイクロホン（チャネル）１１１-iに対応したフィルタ１５１-iの出力Ｈi(ω)Ｕ1i(ω)、つまりフィルタ１５１-2〜１５１-Mの出力Ｈ2(ω)Ｕ12(ω)〜ＨM(ω)Ｕ1M(ω)を受けて、その和Ｈ(ω)Ｕ(ω)を算出し、その和Ｈ(ω)Ｕ(ω)を雑音キャンセラ出力ＹNC(ω)として出力する。このＹNC(ω)は、音声基準信号に含まれている雑音の評価結果としての推定された雑音スペクトル（推定雑音スペクトル）を表す。つまり加算回路１５２は、フィルタ１５１-2〜１５１-Mの出力Ｈ2(ω)Ｕ12(ω)〜ＨM(ω)Ｕ1M(ω)から推定雑音スペクトルを生成する推定雑音生成器として用いられる。Ｈi(ω)Ｕ1i(ω)はＹNC(ω)＝Ｈ(ω)Ｕ(ω)のｉ番目（ｉ＝２，…，Ｍ）の要素である。
さて、フィルタ１５１-iの雑音キャンセラ係数Ｈi(ω)の最適値、つまり最適フィルタ（雑音キャンセラフィルタ）Ｈ*i,opt(ω)は、雑音信号（雑音スペクトル）Ｕ1i(ω)と音声基準信号ＹFBF(ω)とに基づいて与える（設定する）ことができる。この最適フィルタＨ*i,opt(ω)は、目的（推定）雑音信号と当該フィルタＨ*i,opt(ω)、つまりフィルタ１５１-iの出力との誤差の二乗を最小にする（Least Mean Square:LMS）ように設定される。ここで、Ｕ1i(ω)は、ＢＭユニット１４(内のＳＢＦ１４１-i）によって目的音声信号がブロッキングされた雑音信号の周波数スペクトルである。そこで、Ｕ1i(ω)をＢＭ出力信号と呼ぶこともある。一方、ＹFBF(ω)は、ＦＢＦユニット１３（内のＦＢＦ１３２）の出力である。そこで、ＹFBF(ω)をＦＢＦ出力信号と呼ぶこともある。
ウィーナーの理論並びに音声基準信号ＹFBF(ω)及び推定雑音スペクトル（雑音キャンセラ出力）ＹNC(ω)の間の平均二乗誤差の最小化（Minimum Mean Square Error：ＭＭＳＥ）によれば、ｉ番目のチャネルにおける最適フィルタＨ*i,opt(ω)は次式
Ｈ*i,opt(ω)＝φＵ1iＹFBF(ω)/φＵi1Ｕ1i(ω) （１１）
によって与えられる。ここで、＊は共役オペレータを表し、φＵ1iＹFBF(ω)は、ＢＭ出力信号Ｕ1i(ω)及びＦＢＦ出力信号ＹFBF(ω)のクロス（相互）パワーのスペクトル密度（ＣＰＳＤ）である。またφＵ1iＵ1i(ω)は、ＢＭ出力信号Ｕ1i(ω)のオート（自己）パワーのスペクトル密度（ＡＰＳＤ）である。
Ｈ*i,opt(ω)＝φＵ1iＹFBF(ω)/φＵi1Ｕ1i(ω) （１１）
によって与えられる。ここで、＊は共役オペレータを表し、φＵ1iＹFBF(ω)は、ＢＭ出力信号Ｕ1i(ω)及びＦＢＦ出力信号ＹFBF(ω)のクロス（相互）パワーのスペクトル密度（ＣＰＳＤ）である。またφＵ1iＵ1i(ω)は、ＢＭ出力信号Ｕ1i(ω)のオート（自己）パワーのスペクトル密度（ＡＰＳＤ）である。
ＦＢＦ出力信号（音声基準信号）ＹFBF(ω)＝Ｓ(ω) + Ｎ1(ω)に含まれている目的音声信号Ｓ(ω)と雑音Ｎ1(ω)とは無相関（零相関）、つまりφＳ(ω) Ｎ1(ω)＝０（φs,n1(ω)＝０）であると仮定できる。すると、雑音成分しか含んでいないＵ1i(ω)とＳ(ω)も無相関（零相関）、つまりφＳ(ω) Ｕ1i(ω)＝０となる。この場合、ＣＰＳＤ（相互相関） φＵ1iＹFBF(ω)は次式
φＵ1iＹFBF(ω)＝φＵ1i（Ｓ(ω) + Ｎ1(ω)）＝φＵ1iＮ1(ω) （１２）
のように表されることから、式（１１）に示されるＨi,opt(ω)の分子は，フィルタ１５１-iの入力Ｕi(ω)と目的雑音信号（フィルタ１５１-iの出力として得たい値）との相互相関となる。
φＵ1iＹFBF(ω)＝φＵ1i（Ｓ(ω) + Ｎ1(ω)）＝φＵ1iＮ1(ω) （１２）
のように表されることから、式（１１）に示されるＨi,opt(ω)の分子は，フィルタ１５１-iの入力Ｕi(ω)と目的雑音信号（フィルタ１５１-iの出力として得たい値）との相互相関となる。
上述の、雑音と目的音声信号との間の零相関φＳ(ω) Ｕ1i(ω)＝０（φni,s(ω)＝０）と各マイクロホン１１１-iでの雑音パワースペクトルは等しい（φni,ni(ω)＝φn,n(ω)）という仮定の下では、ＣＰＳＤ（相互相関）“φＵ1iＹi(ω)”及びＡＰＳＤ（自己相関）“φＵ1iＵ1i(ω)”は次式
φＵ1iＹ1i(ω)＝1/2{ｊφn,nsinωτ(1 - Γn1,ni(ω))} （１３）
φＵ1iＵ1i(ω)＝1/2[ｊφn,nsin2ωτ(1 - Ｒ{Γn1,ni(ω)})] （１４）
のように計算することができる。ここで、Γn1,ni(ω)は次式
Γn1,ni＝φn1,ni(ω)/{φn1,n1(ω)φni,ni(ω)}1/2 （１５）
で定義された１番目のマイクロホン１１１-1とｉ番目のマイクロホン１１１-iとの間のコヒーレンス関数である。Ｒ{Γn1,ni(ω)}）は、コヒーレンス関数Γn1,ni(ω)の関数である。このコヒーレンス関数は、雑音フィールドの特性を分析する手段として、広く使用されている。つまり、ＣＰＳＤ（相互相関）“φＵ1iＹi(ω)”及びＡＰＳＤ（自己相関）“φＵ1iＵ1i(ω)”が、コヒーレンス関数を用いて定義される。
φＵ1iＹ1i(ω)＝1/2{ｊφn,nsinωτ(1 - Γn1,ni(ω))} （１３）
φＵ1iＵ1i(ω)＝1/2[ｊφn,nsin2ωτ(1 - Ｒ{Γn1,ni(ω)})] （１４）
のように計算することができる。ここで、Γn1,ni(ω)は次式
Γn1,ni＝φn1,ni(ω)/{φn1,n1(ω)φni,ni(ω)}1/2 （１５）
で定義された１番目のマイクロホン１１１-1とｉ番目のマイクロホン１１１-iとの間のコヒーレンス関数である。Ｒ{Γn1,ni(ω)}）は、コヒーレンス関数Γn1,ni(ω)の関数である。このコヒーレンス関数は、雑音フィールドの特性を分析する手段として、広く使用されている。つまり、ＣＰＳＤ（相互相関）“φＵ1iＹi(ω)”及びＡＰＳＤ（自己相関）“φＵ1iＵ1i(ω)”が、コヒーレンス関数を用いて定義される。
上記式（１３）及び（１４）で表されるφＵ1iＵ1i(ω)及びφＵ1iＹi(ω)を式（１１）に代入すると、次式に示す雑音キャンセラＮＣ（雑音低減ＮＲ）のための最適フィルタ（最適ＮＣフィルタ、最適ＮＲフィルタ）Ｈi,opt(ω)
Ｈi,opt(ω)＝ -ｊ(1 - Γn1,ni)/{sinωτ(1 - Ｒ{Γn1,ni(ω)}) （１６）
を得ることができる。ここで、Ｈi,opt(ω)は上述した音声基準信号ＹFBF(ω)及び雑音キャンセラ出力ＹNC(ω)の間の平均二乗誤差の最小化（ＭＭＳＥ）、つまり最小二乗法（Least Mean Square：ＬＭＳ）による最適解を提供し、コヒーレンス関数の関数を表すことに注意する。
Ｈi,opt(ω)＝ -ｊ(1 - Γn1,ni)/{sinωτ(1 - Ｒ{Γn1,ni(ω)}) （１６）
を得ることができる。ここで、Ｈi,opt(ω)は上述した音声基準信号ＹFBF(ω)及び雑音キャンセラ出力ＹNC(ω)の間の平均二乗誤差の最小化（ＭＭＳＥ）、つまり最小二乗法（Least Mean Square：ＬＭＳ）による最適解を提供し、コヒーレンス関数の関数を表すことに注意する。
このように本実施形態では、コヒーレンス関数を使用して最適フィルタＨi,opt(ω)が設定される。このことは、基準のマイクロホン１１１-1と他のマイクロホン１１１-iとの間のコヒーレンス関数だけ分かれば、最適フィルタＨi,opt(ω)が設計できることを表す。この最適フィルタＨi,opt(ω)を適用した雑音低減アルゴリズムは、完全にコヒーレントな雑音フィールドを前提としない一般的な表現を示す。
さて、ＦＢＦユニット１３（内のＦＢＦ１３２）によって音声基準信号ＹFBF(ω)＝Ｘ1(ω)＝Ｓ(ω) + Ｎ1(ω)が取得され、ＢＭユニット１４（内のＳＢＦ１４１-2〜１４１-M及びＳＴＦＴ１４２）によって雑音基準信号ｕ12(ｔ)〜ｕ1M(ｔ)の周波数スペクトルＵ12(ω)〜Ｕ1M(ω)（Ｕ(ω)＝［Ｕ12(ω)，…，Ｕ1M(ω)］）が取得されたものとする。また、雑音キャンセラ１５内のフィルタ１５１-2〜１５１-M及び加算回路（推定雑音生成器）１５２によって音声基準信号ＹFBF(ω)に含まれている雑音の評価結果（推定雑音スペクトル）ＹNC(ω)が取得されたものとする。すると、雑音キャンセラ１５内の加算回路１５３は、ＹFBF(ω)と、ＹNC(ω)の符号が反転された−ＹNC(ω)との和、つまりＹFBF(ω)とＹNC(ω)との差分Ｙo(ω)を、次式
Ｙo(ω)＝ＹFBF(ω) - ＹNC(ω)＝ＹFBF(ω) - Ｈ(ω)Ｕ(ω) （１７）
に従って計算する。
Ｙo(ω)＝ＹFBF(ω) - ＹNC(ω)＝ＹFBF(ω) - Ｈ(ω)Ｕ(ω) （１７）
に従って計算する。
このように、加算回路１５３の出力Ｙo(ω)は、雑音を含む音声基準信号ＹFBF(ω)から雑音の評価結果（推定雑音スペクトル）ＹNC(ω)を差し引くことにより取得される。しかも、Ｙo(ω)の計算に用いられるＹNC(ω)は完全にコヒーレントな雑音フィールドを前提とせずに取得される。したがってＹo(ω)は、非コヒーレントな雑音フィールドでも、拡散雑音フィールドでも、雑音が抑圧されたものとなる。このように加算回路１５３は、音声基準信号ＹFBF(ω)から推定雑音スペクトルＹNC(ω)を除去する雑音除去器として用いられる。ＩＳＴＦＴ１６は、加算回路１５３の出力Ｙo(ω)、即ち音声基準信号ＹFBF(ω)から推定雑音スペクトルＹNC(ω)が除去されたＹo(ω)を逆フーリエ変換（逆短時間フーリエ変換）することにより、認識されるべき目的音声信号を生成する。
本実施形態で適用される雑音低減アルゴリズム（以下、本雑音低減アルゴリズムと称する）において、Ｙo(ω)を求めるのに用いられるＨ(ω)、Ｕ(ω)及びＹFBF(ω)のうち、Ｈ(ω)はコヒーレンス関数に依存し、ＹFBF(ω)及びＵ(ω)はそれぞれＦＢＦユニット１３及びＢＭユニット１４によって決定される。したがってＹo(ω)はコヒーレンス関数のみに依存する。よって、コヒーレンス関数を使用して、本雑音低減アルゴリズムの性能を検討することは可能である。
以下、本雑音低減アルゴリズムの性能の理論的解析について説明する。ここでは、本雑音低減アルゴリズムの雑音低減性能を示すために使用される手段（性能評価手段）が与えられる。次に、その性能は、理論上定義された雑音フィールドでのコヒーレンス関数に基づいて検討される。
本雑音低減アルゴリズムの性能を検討するために、目的信号が存在しない場合の入力のパワースペクトル密度（ＰＳＤ）とシステム出力のパワースペクトル密度との比率として、次式
ＮＲ＝φx,x(ω)/φＹoＹo(ω) （１８）
に示す雑音低減性能（ＮＲ）が定義される。ここで、φx,x(ω)及びφＹoＹo(ω)は、それぞれ、システム入力とシステム出力のＰＳＤ（パワースペクトル密度）である。
ＮＲ＝φx,x(ω)/φＹoＹo(ω) （１８）
に示す雑音低減性能（ＮＲ）が定義される。ここで、φx,x(ω)及びφＹoＹo(ω)は、それぞれ、システム入力とシステム出力のＰＳＤ（パワースペクトル密度）である。
式（１４），（１６）及び（１７）を式（１８）に代入すると、複雑なコヒーレンス関数の項におけるＮＲ（雑音低減性能）を次式
ＮＲ＝1/{1 - (Σ｜Ｈi(ω)｜2φＵ1iＵ1i)/((Ｍ - 1)φn,n)}
＝1/{1 - (Σ｜1 - Γn1,ni(ω)｜2/2(1 - Ｒ{Γn1,ni(ω)}/(Ｍ - 1)} （１９）
のように書き直すことができる。
ＮＲ＝1/{1 - (Σ｜Ｈi(ω)｜2φＵ1iＵ1i)/((Ｍ - 1)φn,n)}
＝1/{1 - (Σ｜1 - Γn1,ni(ω)｜2/2(1 - Ｒ{Γn1,ni(ω)}/(Ｍ - 1)} （１９）
のように書き直すことができる。
ここで、Ｚi＝｜Ｈi(ω)｜2φＵ1iＵ1i)/((Ｍ - 1)φn,n)）またはＺi＝｜1 - Γn1,ni(ω)｜2/2(1 - Ｒ{Γn1,ni(ω)}/(Ｍ - 1)}とすると、ΣＺiはｉ＝２〜ｉ＝ＭまでのＺiの総和を表す。式（１９）は、雑音低減性能が雑音フィールドのコヒーレンス関数にのみ依存することを示す。
以下では、理論上定義された雑音フィールドにおける本雑音低減アルゴリズムの性能を検討する。
(1) コヒーレント雑音フィールド
マイクロホンアレイ１１から遠く離れたフィールドにおける点音源のようなコヒーレント雑音フィールドにおいて、コヒーレンス関数Γni,nj(ω)は次式
Γni,nj(ω)＝exp(-jωδij) （２０）
で与えられる。ここでδijは、ｉ番目のマイクロホンとｊ番目のマイクロホンの間の時間遅れを表わす。
マイクロホンアレイ１１から遠く離れたフィールドにおける点音源のようなコヒーレント雑音フィールドにおいて、コヒーレンス関数Γni,nj(ω)は次式
Γni,nj(ω)＝exp(-jωδij) （２０）
で与えられる。ここでδijは、ｉ番目のマイクロホンとｊ番目のマイクロホンの間の時間遅れを表わす。
式（２０）において、ｉを１に、ｊをｉに、それぞれ置き換えて、その置き換え後の式（２０）を式（１６）に代入すると、最適フィルタ（最適ＮＣフィルタ、最適ＮＲフィルタ）のための最適解は次式
Ｈ^i,opt(ω)＝1/{exp(jωδ1i/2)sinωτsin(ωδ1i/2)} （２１）
で表される。
Ｈ^i,opt(ω)＝1/{exp(jωδ1i/2)sinωτsin(ωδ1i/2)} （２１）
で表される。
本雑音低減アルゴリズムと基本雑音低減アルゴリズムとの関係を見つけ出すために、マイクロホンアレイ１１アレイが２つのマイクロホンだけからなるものと仮定する。この場合、式（２１）では、時間遅れδ1iをδによって表すことができる。この式（２１）を式（４）と比較すると、当該２つの式はまさしく同じであるといえる。それは次の結論を示す。
(a) 本雑音低減アルゴリズムは、完全なコヒーレント雑音フィールドでは、基本雑音低減アルゴリズムに帰着する。
(b) 本雑音低減アルゴリズムは、完全なコヒーレント雑音のためのＭＭＳＥセンスの最適解を与える。
(c) 本雑音低減アルゴリズム及び基本雑音低減アルゴリズムは２つの最小分散無歪み応答（minimum variance distortionless responds: ＭＶＤＲ）ビームフォーマに基づいた手法である。
式（２０）を式（１９）に代入すると、本雑音低減アルゴリズムの雑音低減性能ＮＲがコヒーレント雑音フィールドでの全ての周波数で無限大に達することが分かる。
(2) 非コヒレント雑音フィールド
マイクロホン自身の雑音のような非コヒレント雑音フィールドにおいては、コヒーレンス関数は全ての周波数でゼロ（つまりΓn1,ni(ω)＝０，∀ω）である。このような雑音フィールドでは、雑音は全ての周波数で約３ｄＢ低減する。
マイクロホン自身の雑音のような非コヒレント雑音フィールドにおいては、コヒーレンス関数は全ての周波数でゼロ（つまりΓn1,ni(ω)＝０，∀ω）である。このような雑音フィールドでは、雑音は全ての周波数で約３ｄＢ低減する。
(3) 拡散雑音フィールド
拡散雑音フィールドは、反響する空間及び自動車環境のような多くの実際的なノイズ環境のための合理的なモデルであることが知られている。拡散雑音フィールドは次式
Γ(ω)＝sin(ωｄ/ｃ)/(ωｄ/ｃ) （２２）
に示すコヒーレンス関数によって特徴付けられる。ここでｄ及びｃは、それぞれ、隣接するマイクロホン間の間隔（以下、エレメント間間隔と称する）及び音速を表わす。式（２２）を式（１９）に代入すると、雑音低減性能がエレメント間間隔ｄ及びマイクロホンＭの数に依存することが分かる。
拡散雑音フィールドは、反響する空間及び自動車環境のような多くの実際的なノイズ環境のための合理的なモデルであることが知られている。拡散雑音フィールドは次式
Γ(ω)＝sin(ωｄ/ｃ)/(ωｄ/ｃ) （２２）
に示すコヒーレンス関数によって特徴付けられる。ここでｄ及びｃは、それぞれ、隣接するマイクロホン間の間隔（以下、エレメント間間隔と称する）及び音速を表わす。式（２２）を式（１９）に代入すると、雑音低減性能がエレメント間間隔ｄ及びマイクロホンＭの数に依存することが分かる。
図２及び図３は、図１の雑音低減システムが拡散雑音フィールドに置かれている場合における、それぞれ、異なるマイクロホンの数Ｍ及びエレメント間間隔ｄ毎の雑音低減性能を表す。図２の例ではエレメント間間隔ｄは１０ｃｍに固定され、図３の例ではマイクロホンの数Ｍは３に固定されている。この図２及び図３は、本雑音低減アルゴリズムが低周波領域（５００ＨＺ以下の領域）を除く周波数領域で高い雑音低減能力を達成し、低周波領域（特にエレメント間間隔ｄが小さい場合）の中で比較的低い雑音低減能力を達成することを示す。本雑音低減アルゴリズムは、従来から知られている他の雑音低減アルゴリズムと比較して、拡散雑音フィールドでの低周波領域を除く周波数領域の雑音を低減する際にその優位性を発揮する。
次に、本雑音低減アルゴリズムの性能を評価するための実験及び結果について説明する。まず、マイクロホンアレイ１１として、エレメント間間隔ｄが１０ｃｍの３つのマイクロホンからなる等間隔線形アレイが、自動車に搭載される。この自動車が１００ｋｍ／ｈの速度で走っている状態で、多チャネル雑音記録が全てのチャネルに亙って行われた。ここでは、ＡＴＲ音声言語通信研究所のデータベースから得られる２０の日本の文からなるクリーンな（雑音のない）音声信号が用いられた。この音声信号及び雑音信号は、１６ビットの精度で８ｋＨｚで再サンプリングされる。本発明者らは、クリーンな音声信号及び実際の多チャネル自動車雑音信号を人為的に混合することにより、異なる広域のＳＮＲ（信号雑音比）レベル［−５，１５］ｄＢで多チャネル雑音信号を生成した。
ここでは、本雑音低減アルゴリズム、及び基本雑音低減アルゴリズムを含む他の従来の雑音低減アルゴリズムが、雑音推定精度を改善するために最も適切なマイクロホンアレイ（Ｍ＝３、ｄ＝１０ｃｍ）を使用して実施された。ここで、本雑音低減アルゴリズムをＰＲＯ−ＧＳＢＦ（a proposed noise reduction algorithm based on a generalized subtractive beamformer）と呼ぶ、基本雑音低減アルゴリズムをＯＲＧ−ＧＳＢＦ（a original noise reduction algorithm based on a subtractive beamformer）と呼ぶ。また、基本雑音低減アルゴリズム以外の他の雑音低減アルゴリズムとして、ＧＳＣビームフォーマ（ＯＲＧ−ＧＳＣ）及び遅延和ビームフォーマ（ＤＳＢＦ）が適用された。
図４は、雑音を含む入力の種々のＳＮＲに対する平均のセグメンタル信号雑音比（segmental ＳＮＲ：ＳＥＧＳＮＲ）の実験結果を示す。図４において、特性４１は、本雑音低減アルゴリズム（ＰＲＯ−ＧＳＢＦ）を適用した場合の平均のＳＥＧＳＮＲを示し、特性４２，４３及び４４は、それぞれ、他の雑音低減アルゴリズムである、ＯＲＧ−ＳＢＦ（基本雑音低減アルゴリズム、ＯＲＧ−ＧＳＣ（ＧＳＣビームフォーマ）及びＤＳＢＦ（遅延和ビームフォーマ）を適用した場合の平均のＳＥＧＳＮＲを示す。図４から、ＰＲＯ−ＧＳＢＦが、最も高い音声品質に対応する最も高いＳＥＧＳＮＲ環境を提供することは明らかである。
図５は、入力のＳＮＲに対する平均のメル周波数ケプストラム係数（Mel Frequency Cepstral Coefficient：ＭＦＣＣ）距離（distance）の実験結果を示す。図５において、特性５０は、基準チャネルのマイクロホンでの平均のＭＦＣＣ距離を示し、特性５１は、ＰＲＯ−ＧＳＢＦを適用した場合の平均のＭＦＣＣ距離を示す。また、特性５２，５３及び５４は、それぞれ、ＯＲＧ−ＳＢＦ、ＯＲＧ−ＧＳＣ及びＤＳＢＦを適用した場合の平均のＭＦＣＣ距離を示す。図５から、ＰＲＯ−ＧＳＢＦが、最も低い音声歪みに対応する最も低いＭＦＣＣ距離を提供することは明らかである。
本雑音低減アルゴリズムの利点は、他の従来の雑音低減アルゴリズムと比較して、自動車環境中の全てのＳＮＲで最も高い雑音低減性能を示すことから確認される。この高い雑音低減性能は、任意の信号モデル（基本雑音低減アルゴリズムを適用する上で仮定される完全にコヒーレントな雑音フィールドを前提としない信号モデル）に基づいた一般的な差分型ビームフォーマの使用に寄与することができる。
上記実施形態では、雑音低減システム（を含む音声入力システム）が、カーナビゲーション装置用の音声認識システムに適用される場合を想定している。しかし、雑音低減システムを他の音声認識システムに適用することも可能である。
なお、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。
１１…マイクロホンアレイ、１２…較正器、１３…固定ビームフォーマ（ＦＢＦ）ユニット、１４…ブロッキングマトリクス（ＢＭ）ユニット、１５…雑音キャンセラ、１６…逆短時間フーリエ変換器（ＩＳＴＦＴ）、１１１-1〜１１１-M…マイクロホン、１３１，１４２…短時間フーリエ変換器（ＳＴＦＴ）、１３２…固定ビームフォーマ（ＦＢＦ）、１４１-2〜１４１-M…差分型ビームフォーマ（ＳＢＦ）、１５１…フィルタユニット、１５１-2〜１５１-M…フィルタ、１５２…加算回路（推定雑音生成器），１５３…加算回路（推定雑音除去器）。
Claims (4)
- 雑音環境における音声認識に必要な雑音低減を含む前処理を行う雑音低減システムにおいて、
認識すべき目的音声を含む音響を電気信号に変換して観測信号として出力するための複数のマイクロホンから構成されるマイクロホンアレイと、
前記複数のマイクロホンから出力される観測信号に含まれている目的音声信号の到来時刻のずれを当該複数のマイクロホンのうち基準チャネルとして予め定められたマイクロホンを基準に較正する較正器と、
前記複数のマイクロホンから出力される観測信号に対応する前記較正器による較正後の信号に基づき、前記基準チャネルに対応し且つ目的の方向とは異なる方向からの信号が抑圧された信号の周波数スペクトルを、音声基準信号の周波数スペクトルとして生成する固定ビームフォーマユニットと、
前記複数のマイクロホンから出力される観測信号に対応する前記較正器による較正後の信号を受けて、前記基準チャネルを除く残りのマイクロホンから出力される観測信号に対応し、目的音声信号が抑圧された信号の周波数スペクトルを、雑音基準信号の周波数スペクトルとして生成するブロッキングマトリクスユニットと、
前記ブロッキングマトリクスユニットによって生成される、前記残りのマイクロホンから出力される観測信号に対応する雑音基準信号の周波数スペクトルの歪みを、コヒーレンス関数を用いて定義された、前記雑音基準信号の周波数スペクトル及び前記音声基準信号の周波数スペクトルの相互相関と、コヒーレンス関数を用いて定義された、前記雑音基準信号の周波数スペクトルの自己相関との関係を反映した雑音キャンセラ係数を用いて補正するフィルタユニットと、
前記フィルタユニットの出力から、前記固定ビームフォーマユニットによって生成される音声基準信号の周波数スペクトルに含まれていると推定される雑音スペクトルを生成する推定雑音生成器と、
前記固定ビームフォーマユニットによって生成される音声基準信号の周波数スペクトルから前記推定雑音生成器によって生成される雑音スペクトルを除去する推定雑音除去器と
を具備することを特徴とする雑音低減システム。 - 前記ブロッキングマトリクスユニットは、
前記複数のマイクロホンの個数がＭの場合、前記複数のマイクロホンのうち前記基準チャネルに対応するマイクホンを除く残りのＭ−１個のマイクロホンに対応するＭ−１個の差分型ビームフォーマであって、前記基準チャネルとしてのマイクロホンから出力される観測信号に対応する前記較正器による較正後の信号と、前残りのＭ−１個のマイクロホンから出力される観測信号に対応する前記較正器による較正後の信号とに基づき前記雑音基準信号を生成するＭ−１個の差分型ビームフォーマと、
前記Ｍ−１個の差分型ビームフォーマによって生成される前記雑音信号を受けて、当該雑音信号の周波数スペクトルを生成するフーリエ変換器と
から構成されることを特徴とする請求項１記載の雑音低減システム。 - 前記フィルタユニットは、前記Ｍ−１個の差分型ビームフォーマによって生成される、前記残りのマイクロホンから出力される観測信号に対応する前記雑音基準信号の周波数スペクトルを、前記雑音キャンセラ係数によりフィルタリングするＭ−１個のフィルタを含み、当該Ｍ−１個のフィルタの前記雑音キャンセラ係数に反映される前記相互相関及び前記自己相関は、前記基準チャネルとしてのマイクロホンと前記残りのマイクロホンとの間のコヒーレンス関数を用いて定義されることを特徴とする請求項２記載の雑音低減システム。
- 雑音環境における音声認識のための前処理の一部として雑音を低減するための雑音低減方法において、
マイクロホンアレイを構成する複数のマイクロホンから出力される観測信号に含まれている目的音声信号の到来時刻のずれを当該複数のマイクロホンのうち基準チャネルとして予め定められたマイクロホンを基準に較正するステップと、
前記複数のマイクロホンから出力される観測信号に対応する前記較正後の信号に基づき、前記基準チャネルに対応し且つ目的の方向とは異なる方向からの信号が抑圧された信号の周波数スペクトルを、音声基準信号の周波数スペクトルとして生成するステップと、
前記複数のマイクロホンから出力される観測信号に対応する前記較正後の信号に基づき、前記基準チャネルを除く残りのマイクロホンから出力される観測信号に対応し、目的音声信号が抑圧された信号の周波数スペクトルを、雑音基準信号の周波数スペクトルとして生成するステップと、
前記残りのマイクロホンから出力される観測信号に対応して生成される前記雑音基準信号の周波数スペクトルの歪みを、コヒーレンス関数を用いて定義された、前記雑音基準信号の周波数スペクトル及び前記音声基準信号の周波数スペクトルの相互相関と、コヒーレンス関数を用いて定義された、前記雑音基準信号の周波数スペクトルの自己相関との関係を反映した雑音キャンセラ係数を持つフィルタを用いて補正するステップと、
前記フィルタを用いて補正された前記雑音基準信号の周波数スペクトルから、前記音声基準信号の周波数スペクトルに含まれていると推定される雑音スペクトルを生成するステップと、
前記音声基準信号の周波数スペクトルから前記推定される雑音スペクトルを除去するステップと
を具備することを特徴とする雑音低減方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005338727A JP4096104B2 (ja) | 2005-11-24 | 2005-11-24 | 雑音低減システム及び雑音低減方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005338727A JP4096104B2 (ja) | 2005-11-24 | 2005-11-24 | 雑音低減システム及び雑音低減方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2007147732A true JP2007147732A (ja) | 2007-06-14 |
| JP4096104B2 JP4096104B2 (ja) | 2008-06-04 |
Family
ID=38209245
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005338727A Active JP4096104B2 (ja) | 2005-11-24 | 2005-11-24 | 雑音低減システム及び雑音低減方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4096104B2 (ja) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009052444A2 (en) * | 2007-10-19 | 2009-04-23 | Creative Technology Ltd | Microphone array processor based on spatial analysis |
| KR100917460B1 (ko) | 2007-08-07 | 2009-09-14 | 한국과학기술원 | 잡음제거 장치 및 방법 |
| CN101964934A (zh) * | 2010-06-08 | 2011-02-02 | 浙江大学 | 二元麦克风微阵列语音波束形成方法 |
| KR20110021419A (ko) * | 2009-08-26 | 2011-03-04 | 삼성전자주식회사 | 복소 스펙트럼 잡음 제거 장치 및 방법 |
| WO2012026126A1 (ja) * | 2010-08-25 | 2012-03-01 | 旭化成株式会社 | 音源分離装置、音源分離方法、及び、プログラム |
| CN102664023A (zh) * | 2012-04-26 | 2012-09-12 | 南京邮电大学 | 一种麦克风阵列语音增强的优化方法 |
| US8477962B2 (en) | 2009-08-26 | 2013-07-02 | Samsung Electronics Co., Ltd. | Microphone signal compensation apparatus and method thereof |
| WO2016027680A1 (ja) * | 2014-08-18 | 2016-02-25 | ソニー株式会社 | 音声処理装置、音声処理方法、並びにプログラム |
| WO2016174491A1 (en) * | 2015-04-29 | 2016-11-03 | Intel Corporation | Microphone array noise suppression using noise field isotropy estimation |
| JP2017040752A (ja) * | 2015-08-19 | 2017-02-23 | 沖電気工業株式会社 | 音声判定装置、方法及びプログラム、並びに、音声信号処理装置 |
| CN107742522A (zh) * | 2017-10-23 | 2018-02-27 | 科大讯飞股份有限公司 | 基于麦克风阵列的目标语音获取方法及装置 |
| WO2018219582A1 (en) * | 2017-05-29 | 2018-12-06 | Harman Becker Automotive Systems Gmbh | Sound capturing |
| CN108962274A (zh) * | 2018-07-11 | 2018-12-07 | 会听声学科技（北京）有限公司 | 一种语音增强方法，装置及耳机 |
| CN112201229A (zh) * | 2020-10-09 | 2021-01-08 | 百果园技术(新加坡)有限公司 | 一种语音处理方法、装置及系统 |
| CN113744752A (zh) * | 2021-08-30 | 2021-12-03 | 西安声必捷信息科技有限公司 | 语音处理方法及装置 |
-
2005
- 2005-11-24 JP JP2005338727A patent/JP4096104B2/ja active Active
Cited By (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8934640B2 (en) | 2007-05-17 | 2015-01-13 | Creative Technology Ltd | Microphone array processor based on spatial analysis |
| KR100917460B1 (ko) | 2007-08-07 | 2009-09-14 | 한국과학기술원 | 잡음제거 장치 및 방법 |
| CN101828407A (zh) * | 2007-10-19 | 2010-09-08 | 创新科技有限公司 | 基于空间分析的麦克风阵列处理器 |
| WO2009052444A3 (en) * | 2007-10-19 | 2009-06-25 | Creative Tech Ltd | Microphone array processor based on spatial analysis |
| CN105376673B (zh) * | 2007-10-19 | 2020-08-11 | 创新科技有限公司 | 一种电子设备 |
| CN105376673A (zh) * | 2007-10-19 | 2016-03-02 | 创新科技有限公司 | 基于空间分析的麦克风阵列处理器 |
| WO2009052444A2 (en) * | 2007-10-19 | 2009-04-23 | Creative Technology Ltd | Microphone array processor based on spatial analysis |
| GB2466172A (en) * | 2007-10-19 | 2010-06-16 | Creative Tech Ltd | Microphone array processor based on spatial analysis |
| GB2466172B (en) * | 2007-10-19 | 2013-03-06 | Creative Tech Ltd | Microphone array processor based on spatial analysis |
| US8477962B2 (en) | 2009-08-26 | 2013-07-02 | Samsung Electronics Co., Ltd. | Microphone signal compensation apparatus and method thereof |
| KR101581885B1 (ko) * | 2009-08-26 | 2016-01-04 | 삼성전자주식회사 | 복소 스펙트럼 잡음 제거 장치 및 방법 |
| KR20110021419A (ko) * | 2009-08-26 | 2011-03-04 | 삼성전자주식회사 | 복소 스펙트럼 잡음 제거 장치 및 방법 |
| CN101964934A (zh) * | 2010-06-08 | 2011-02-02 | 浙江大学 | 二元麦克风微阵列语音波束形成方法 |
| KR101339592B1 (ko) | 2010-08-25 | 2013-12-10 | 아사히 가세이 가부시키가이샤 | 음원 분리 장치, 음원 분리 방법, 및 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체 |
| WO2012026126A1 (ja) * | 2010-08-25 | 2012-03-01 | 旭化成株式会社 | 音源分離装置、音源分離方法、及び、プログラム |
| CN102664023A (zh) * | 2012-04-26 | 2012-09-12 | 南京邮电大学 | 一种麦克风阵列语音增强的优化方法 |
| WO2016027680A1 (ja) * | 2014-08-18 | 2016-02-25 | ソニー株式会社 | 音声処理装置、音声処理方法、並びにプログラム |
| US20170229137A1 (en) * | 2014-08-18 | 2017-08-10 | Sony Corporation | Audio processing apparatus, audio processing method, and program |
| US10580428B2 (en) * | 2014-08-18 | 2020-03-03 | Sony Corporation | Audio noise estimation and filtering |
| US10186278B2 (en) | 2015-04-29 | 2019-01-22 | Intel Corporation | Microphone array noise suppression using noise field isotropy estimation |
| WO2016174491A1 (en) * | 2015-04-29 | 2016-11-03 | Intel Corporation | Microphone array noise suppression using noise field isotropy estimation |
| JP2017040752A (ja) * | 2015-08-19 | 2017-02-23 | 沖電気工業株式会社 | 音声判定装置、方法及びプログラム、並びに、音声信号処理装置 |
| WO2018219582A1 (en) * | 2017-05-29 | 2018-12-06 | Harman Becker Automotive Systems Gmbh | Sound capturing |
| US10869126B2 (en) | 2017-05-29 | 2020-12-15 | Harman Becker Automotive Systems Gmbh | Sound capturing |
| CN107742522A (zh) * | 2017-10-23 | 2018-02-27 | 科大讯飞股份有限公司 | 基于麦克风阵列的目标语音获取方法及装置 |
| CN107742522B (zh) * | 2017-10-23 | 2022-01-14 | 科大讯飞股份有限公司 | 基于麦克风阵列的目标语音获取方法及装置 |
| CN108962274A (zh) * | 2018-07-11 | 2018-12-07 | 会听声学科技（北京）有限公司 | 一种语音增强方法，装置及耳机 |
| CN112201229A (zh) * | 2020-10-09 | 2021-01-08 | 百果园技术(新加坡)有限公司 | 一种语音处理方法、装置及系统 |
| CN113744752A (zh) * | 2021-08-30 | 2021-12-03 | 西安声必捷信息科技有限公司 | 语音处理方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4096104B2 (ja) | 2008-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4096104B2 (ja) | 雑音低減システム及び雑音低減方法 | |
| CN107039045B (zh) | 用于语音增强的全局优化最小二乘后滤波 | |
| JP6584930B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
| Omologo et al. | Environmental conditions and acoustic transduction in hands-free speech recognition | |
| EP2647221B1 (en) | Apparatus and method for spatially selective sound acquisition by acoustic triangulation | |
| CN110085248B (zh) | 个人通信中降噪和回波消除时的噪声估计 | |
| EP1658751B1 (en) | Audio input system | |
| JP4671303B2 (ja) | マイクロホンアレイ用ポストフィルタ | |
| US5574824A (en) | Analysis/synthesis-based microphone array speech enhancer with variable signal distortion | |
| KR101239604B1 (ko) | 잡음 감소를 위한 다중채널 적응형 음성 신호 처리 | |
| US8204252B1 (en) | System and method for providing close microphone adaptive array processing | |
| US8345890B2 (en) | System and method for utilizing inter-microphone level differences for speech enhancement | |
| JP5091948B2 (ja) | ブラインド信号抽出 | |
| Schmalenstroeer et al. | Multi-stage coherence drift based sampling rate synchronization for acoustic beamforming | |
| JPH10207490A (ja) | 信号処理装置 | |
| Song et al. | An integrated multi-channel approach for joint noise reduction and dereverberation | |
| KR20110021306A (ko) | 마이크로폰의 신호 보상 장치 및 그 방법 | |
| Priyanka et al. | Adaptive Beamforming Using Zelinski-TSNR Multichannel Postfilter for Speech Enhancement | |
| Comminiello et al. | A novel affine projection algorithm for superdirective microphone array beamforming | |
| CN115932733A (zh) | 声源定位及语音增强方法、装置 | |
| Ayllón et al. | An evolutionary algorithm to optimize the microphone array configuration for speech acquisition in vehicles | |
| Adcock | Optimal filtering and speech recognition with microphone arrays | |
| Li et al. | A two-microphone noise reduction method in highly non-stationary multiple-noise-source environments | |
| Pfeifenberger et al. | A multi-channel postfilter based on the diffuse noise sound field | |
| KR101537653B1 (ko) | 주파수 또는 시간적 상관관계를 반영한 잡음 제거 방법 및 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070802 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20070802 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20070829 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070911 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071026 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071127 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080219 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |