JP2005308771A - 雑音除去方法、雑音除去装置とシステム及び雑音除去用プログラム - Google Patents

Abstract

【課題】
複数の音声および雑音が混在した複数の信号から、目的音声以外の信号成分（雑音成分）を精度良く除去するシステム及び方法の提供。
【解決手段】
入力時系列信号を信号分離部１により分離し、分離信号に含まれる雑音成分を、複数の分離信号を用いて、雑音推定部２で推定し、雑音除去部４では、分離信号から推定した雑音を除去する。
【選択図】
図１

Description

本発明は雑音除去方法、雑音除去システムおよび雑音除去用プログラムに関し、特にマイクロフォンで集音した信号から雑音を除去できる雑音除去方法、雑音除去システムおよび雑音除去用プログラムに関する。

従来、この種の雑音除去装置は、複数の音響・音声信号および雑音が空間的に混在する環境下で、混在する前の目的信号以外の雑音を除去するために用いられている。従来の雑音除去装置の一例として、後記特許文献１の記載を参照する。後記特許文献１には、音声に混入した定常雑音も非定常雑音も雑音の性質に依らず効率よく除去する雑音除去装置が提案されている。

図１１は、後記特許文献１に開示されている雑音除去装置の構成を示す図である。以下、後記特許文献１の記載に基づき、図１１に示す構成を概説しておく。図１１に示す雑音除去装置は、音声を集音するためのマイクロフォン１１０１から入力された音声信号を時系列特徴ベクトルに変換する第１の特徴抽出部１１０３と、周囲雑音を集音するマイクロフォン１１０２から入力された周囲雑音を時系列特徴ベクトルに変換する第２の特徴抽出部１１０４と、第１の特徴抽出部１１０３が出力する時系列特徴ベクトルから定常雑音を除去する第１の定常雑音除去部１１０５と、第２の特徴抽出部１１０４が出力する時系列特徴ベクトルから定常雑音を除去する第２の定常雑音除去部１１０６と、第１の定常雑音除去部１１０５が出力する時系列特徴ベクトルと第２の定常雑音除去部１１０６が出力する時系列特徴ベクトルとを用いて非定常雑音を除去する非定常雑音除去部１１０７と、を有する。

図１１に示した従来の雑音除去装置においては、周囲雑音を集音するマイクロフォン１１０２に音声が混入しないようにする必要があるため、マイクロフォンの配置が制限される、という問題がある。一方、この問題の解決を図る雑音除去装置として、例えば後記特許文献２の記載が参照される。

図１２は、後記特許文献２に開示されている雑音除去装置を備える音声認識装置を示す図である。以下、後記特許文献２の記載に基づき、図１２の音声認識装置１２０１に備えられている雑音除去装置の構成を概説しておく。図１２の雑音除去装置１２１０は、音声と雑音が混合した信号を集音するマイクロフォンＭ１と、マイクロフォンＭ２と、マイクロフォンＭ１から出力されるアナログ信号をディジタル信号に変換するＡ／Ｄ変換器１２１２１１と、マイクロフォンＭ２から出力されるアナログ信号をディジタル信号に変換するＡ／Ｄ変換器１２１３と、Ａ／Ｄ変換器１２１１から出力されたディジタル信号x(t)とＡ／Ｄ変換器１２１３から出力されたディジタル信号y(t)に共通して含まれる音声成分を除去することによりx(t)に含まれる雑音成分n(t)を抽出する雑音抽出部１２１５と、雑音抽出部１２１５で抽出された雑音n(t)をx(t)から除去することにより音声信号を得る雑音除去部１２１７と、を有する。

このように、図１２に示す雑音除去装置においては、雑音除去部１２１７でＡ／Ｄ変換器１２１１の出力信号x(t)から雑音抽出部１２１５で抽出された雑音n(t)を除去する構成とされている。

特開平４−２４５３００号公報（図１） 特開２００４−６９７７２号公報（図１） Y. Ephraim and D. Malah, "Speech enhancement using a minimum mean-square error short-time spectral amplitude estimator," IEEE Trans. Acoust., Speech, Signal Processing, vol. ASSP-32, no.6, pp.1109-1121, Dec. 1984.

図１２を参照して説明した従来の雑音除去装置は、目的音声以外の雑音を除去することを意図したものであるが、本発明者が検討したところ、下記の問題点を有していることが判明した。

第１の問題点は、図１２の雑音抽出部１２１５で音声成分を除去する際、雑音抽出部１２１５により雑音成分が歪んでしまうことである。歪んだ雑音成分をＡ／Ｄ変換器１２１１の出力信号から除去しても雑音成分を精度良く除去できない。
第２の問題点は、図１２の雑音抽出部１２１５で抽出可能な音声成分を利用していないことである。雑音抽出部１２１５では、音声成分が除去された雑音成分の抽出が可能なことに加えて、ある程度の雑音が除去された音声成分の抽出が可能である。この抽出可能な音声成分から残留した雑音を除去する方が、全く雑音除去されていない信号から雑音を除去するよりも、全体として精度良く雑音を除去することができる。しかしながら、抽出可能な音声成分に残留している雑音は未知であるため、その残留雑音を高精度に推定しなければならないという問題がある。

したがって、本発明の目的は、従来法の第１および第２の問題点を解決するために、雑音抽出部（本発明では信号分離部）が出力する音声成分（ある程度は雑音除去されている）を用い、そこに残留する雑音を、歪みを含めて高精度に推定し、目的信号以外の雑音を除去可能とした雑音除去システム及び装置方法並びにプログラムを提供することにある。

本願で開示される発明は、概略を述べれば、以下のようなものである。

本発明の一つのアスペクト（側面）に係る方法は、複数のチャネルの入力時系列信号を信号分離して得られる分離信号の雑音除去を行うにあたり、
信号分離されてなる複数の分離信号から雑音信号を推定するステップと、
前記複数の分離信号の内の少なくとも一の分離信号と前記推定された雑音信号とを用いて雑音区間を検出するステップと、
前記一の分離信号から前記推定された雑音信号を除去するステップと、
を含む。

本発明の他のアスペクト（側面）に係る方法は、複数のチャネルの入力時系列信号を信号分離して得られる分離信号の雑音除去を行うにあたり、
信号分離されてなる複数の分離信号から雑音信号を推定するステップと、
前記複数の分離信号の内の少なくとも一の分離信号と前記推定された雑音信号とを用いて雑音区間を検出するステップと、
前記一の分離信号の定常的な雑音を除去するステップと、
前記推定された雑音信号の定常的な雑音を除去し推定雑音信号を生成するステップと、
前記一の分離信号から前記推定雑音信号を除去するステップと、
を含む。

本発明の他のアスペクト（側面）に係る方法は、複数のチャネルの入力時系列信号を信号分離して得られる分離信号の雑音除去を行うにあたり、
信号分離されてなる複数の分離信号から雑音信号を推定するステップと、
前記複数の分離信号の内の少なくとも一の分離信号と前記推定された雑音信号とを用いて雑音区間を検出するステップと、
前記一の分離信号から前記推定された雑音信号を除去するステップと、
前記雑音信号が除去された前記一の分離信号から定常的な雑音を除去するステップと、
を含む。

本発明の他のアスペクト（側面）に係る方法は、複数のチャネルの入力時系列信号を信号分離して得られる分離信号の雑音除去を行うにあたり、
信号分離されてなる複数の分離信号から雑音信号を推定するステップと、
前記複数の分離信号の内の少なくとも一の分離信号と前記推定された雑音信号とを用いて雑音区間を検出するステップと、
前記一の分離信号から雑音区間における雑音信号を推定するステップと、
前記一の分離信号から、前記一の分離信号に関して前記推定された雑音信号を除去するステップと、
を含む。

本発明に係る方法において、前記信号分離された少なくとも一つの信号と、前記信号分離された複数の信号から推定された雑音信号との強度比を計算するステップを有し、前記雑音を除去するステップの少なくとも一つのステップで、前記計算した強度比を利用するようにしてもよい。

本発明の一つのアスペクト（側面）に係る雑音除去装置は、複数のチャネルの入力時系列信号を複数の信号に分離する信号分離部と、信号分離後の分離信号に含まれる雑音成分を複数の分離信号から推定する雑音推定部と、信号分離後の分離信号と推定した雑音を用いて雑音区間を検出する雑音区間検出部と、雑音区間検出結果に基づいて、信号分離後の分離信号から、推定した雑音成分を除去する雑音除去部と、を有する。

本発明の他のアスペクト（側面）に係る雑音除去装置は、複数のチャネルの入力時系列信号を複数の信号に分離する信号分離部と、信号分離後の分離信号に含まれる雑音成分を複数の分離信号から推定する雑音推定部と、信号分離後の分離信号と推定した雑音を用いて雑音区間を検出する雑音区間検出部と、雑音区間検出結果に基づいて、信号分離後の分離信号から定常的な雑音を除去する第１の定常雑音除去部と、推定した雑音成分に含まれる定常的な雑音を除去する第２の定常雑音除去部と、第１の定常雑音除去部の出力信号から第２の定常雑音除去部の出力信号を除去する雑音除去部と、を有する。

本発明の他のアスペクト（側面）に係る雑音除去装置は、複数のチャネルの入力時系列信号を複数の信号に分離する信号分離部と、信号分離後の分離信号に含まれる雑音成分を複数の分離信号から推定する雑音推定部と、信号分離後の分離信号と推定した雑音を用いて雑音区間を検出する雑音区間検出部と、雑音区間検出結果に基づいて、信号分離後の分離信号から推定した雑音成分を除去する雑音除去部と、雑音除去部の出力信号から定常的な雑音を除去する定常雑音除去部と、を有する。

本発明の他のアスペクト（側面）に係る雑音除去装置は、複数のチャネルの入力時系列信号を複数の信号に分離する信号分離部と、信号分離後の分離信号に含まれる雑音成分を複数の分離信号から推定する雑音推定部と、信号分離後の分離信号と推定した雑音を用いて雑音区間を検出する雑音区間検出部と、一つの分離信号と雑音区間検出部からの雑音区間検出結果を受け、一つの分離信号の雑音成分を推定する分離信号雑音推定部と、一つの分離信号から前記分離信号雑音推定部で推定された雑音信号を除去する雑音除去部と、を有する。

本発明に係る雑音除去装置においては、前記信号分離後の信号と雑音推定部の出力信号の強度比を計算する強度比計算部を有し、雑音推定部と、雑音区間検出部と、雑音除去部と、定常雑音除去部と、分離信号雑音推定部で、強度比計算部の出力を利用することができる。

本発明に係る雑音除去装置において、雑音推定部は、信号分離後の複数の信号の強度比較結果に基づいて雑音を推定する強度比較雑音推定部を含む構成としてもよい。

本発明に係る雑音除去装置において、雑音推定部は、信号分離後の複数の信号の強度を比較する強度比較部と、強度比較部の出力結果において、雑音除去される分離信号後の分離信号の強度が他の信号分離後の分離信号より小さい場合に、他の信号分離後の分離信号を前記信号分離後の分離信号で置換する置換部と、置換部の出力信号を推定雑音とする置換雑音推定部と、を含む構成としてもよい。

本発明に係る雑音除去装置において、雑音推定部は、信号分離後の複数の信号の強度を比較する強度比較部と、強度比較部の出力結果において、雑音除去される分離信号後の分離信号の強度が他の信号分離後の分離信号より小さい場合に、他の信号分離後の分離信号を前記信号分離後の分離信号で置換する置換部と、置換部の出力信号を強度比計算部の出力信号で補正する補正部と、補正部の出力信号を推定雑音とする補正雑音推定部と、を含む構成としてもよい。

本発明の他のアスペクトに係るプログラムは、複数のチャネルの入力時系列信号を信号分離して得られた信号（「分離信号」という）から雑音を除去する装置を構成するコンピュータに、
信号分離されてなる複数の分離信号から雑音信号を推定する処理と、
前記複数の分離信号の内の少なくとも一の分離信号と、前記推定された雑音信号とに基づき、雑音区間を検出する処理と、
前記一の分離信号から前記推定された雑音信号を除去する処理と、
を実行させるプログラムよりなる。

本発明によれば、信号分離後の分離信号に含まれる雑音を、複数の信号分離後の分離信号を用いて推定し、雑音区間検出結果に基づいて、信号分離後の分離信号から、推定した雑音を除去することにより、精度よく、雑音成分を除去することができる。これは、本発明においては、信号分離により、ある程度雑音を除去した後に、信号分離後に残留している雑音を推定し、除去する構成としたためである。

本発明について詳細に説述するため、添付図面を参照してこれを説明する。

図１は、本発明を実施するための最良の形態の雑音除去システムの構成を示したものである。図１を参照すると、本実施の形態の雑音除去システムは、複数のチャネルの入力時系列信号を受けて分離する信号分離部１と、信号分離部１から出力される分離信号を受け強度比計算部６からの強度比に基づき雑音を推定する雑音推定部２と、信号分離部１から出力される分離信号と、雑音推定部２で推定された雑音成分と、強度比計算部６の出力を受けて雑音区間／音声区間を検出する雑音区間検出部３と、信号分離部１からの分離信号と雑音区間検出部３での雑音区間／音声区間の検出結果とを受け分離信号から定常雑音を除去する定常雑音除去部５１と、雑音推定部２で推定された雑音成分と雑音区間検出部３での雑音区間／音声区間の検出結果を受け雑音成分から定常雑音を除去する定常雑音除去部５２と、信号分離部１からの分離信号と、雑音推定部２で推定された雑音成分と、雑音区間検出部３での雑音区間／音声区間の検出結果とを受け雑音区間において強度比を更新する強度比計算部６と、定常雑音除去部５１、５２、雑音区間検出部３、強度比計算部６からの出力を受け、雑音が除去された信号（目的音声信号）を出力する雑音除去部４と、を有する。なお、図１には、信号分離部１に入力される複数のチャネルとして簡単のため２チャネルが図示されているが、３チャネル以上であってもよいことは勿論である。

図１０は、本実施の形態の動作を説明する流れ図である。図１及び図１０を参照して、本実施の形態の雑音除去システムの詳細について以下に説明する。

信号分離部１に入力される複数のチャネルの入力時系列信号を時系列周波数スペクトルXk(f,t)とする。ただし、kはチャネル番号（図１では，説明を簡略化するため２チャネルとし、k=1,2）、fは，周波数番号（f=0,1,…,N/2:Nは離散フーリエ変換の点数）、tはフレーム番号（t=0,1,…）である。

時系列周波数スペクトルXk(f,t)は、複数の音声信号および雑音が混在した信号とする。

信号分離部１では、時系列周波数スペクトルXk(f,t)を複数の信号に分離する（図１０ステップＳ１０１）。

信号分離部１では、例えば、独立成分分析（ＩＣＡ）に基づくブラインド音源分離法（ＢＳＳ）、適応マイクロフォンアレイが用いられる。また、音声信号や雑音信号などの音源の物理的な位置が既知の場合には、ディレイアンドサム（Delay and Sum）ビームフォーマやヌルビームフォーマ等の技術を用いることができる。

信号分離部１で分離された複数の分離信号をYk(f,t)とし、その振幅スペクトルを|Yk(f,t)|とする。信号分離部１から分離信号の振幅スペクトル|Yk(f,t)|が出力されるものとする。

この|Yk(f,t)|を、複数の音声信号および雑音が混在する前の複数の音声信号の振幅スペクトル|Sk(f,t)|と、信号分離部１で分離できない雑音成分の振幅スペクトル|N(f,t)|とを用いて、以下のようにモデル化する。

|Y1(f,t)| = |S1(f,t)| + a|S2(f,t)| + c|N(f,t)| …(1)

|Y2(f,t)| = b|S1(f,t)| + |S2(f,t)| + c|N(f,t)| / R(f,t) …(2)

ただし、
a（a<1.0）とb（b<1.0）は、それぞれ信号分離部１で分離し残した音声信号の割合、
cは、信号分離部１での処理によって|N(f,t)|が変化した割合、
R(f,t)は、|Y1(f,t)|と|Y2(f,t)|に含まれる|N(f,t)|のゲイン差（強度比）を表す係数である。

以下では、目的音声信号の振幅スペクトルを|S1(f,t)|とし、|Y1(f,t)|から雑音成分(|S1(f,t)|以外の成分）を除去することで、|S1(f,t)|を求めるものとする。

図１において、定常雑音除去部５１に入力される信号分離後の分離信号は|Y1(f,t)|である。

雑音推定部２は、分離信号から雑音を推定する（図１０ステップＳ１０２）。雑音推定部２には、分離信号の振幅スペクトル|Yk(f,t)|と、強度比計算部６から推定強度比R’(f,t)が入力される。そして、次式（３）にしたがって雑音信号|Z(f,t)|を計算し、推定雑音信号|Z(f,t)|として出力する。

(|Y1(f,t)| >= |Y2(f,t)|)のとき
|Z(f,t)| = |Y2(f,t)|
(|Y1(f,t)| < |Y2(f,t)|)のとき
|Z(f,t)| = |Y1(f,t)| / R’(f,t)
…(3)

上式（３）では、|S1(f,t)|と|S2(f,t)|が、音声や音響信号のように、非定常的な信号の場合に、両者が、同時刻tかつ同周波数fにおいて大きな値をとることはない、という仮定の下で計算している。

上述の仮定に基づくと、(|Y1(f,t)| >= |Y2(f,t)|)のときは、|S2(f,t)|の値が小さいので、|Y1(f,t)|、|Y2(f,t)|はそれぞれ次式（４）、（５）で近似することができる。

|Y1(f,t)| =~ |S1(f,t)| + c|N(f,t)| …(4)
|Y2(f,t)| =~ b|S1(f,t)| + c|N(f,t)| / R(f,t) …(5)

ここで、|Y1(f,t)|に含まれる雑音成分（|S1(f,t)|以外の成分）は、c|N(f,t)|であることから上式（５）の|Y2(f,t)|を、雑音信号|Z(f,t)|に代入する。

一方、(|Y1(f,t)| < |Y2(f,t)|)のときは、|S1(f,t)|の値が小さいので、|Y1(f,t)|、|Y2(f,t)|はそれぞれ次式（６）、（７）で近似することができる。

|Y1(f,t)| =~ a|S2(f,t)| + c|N(f,t)| …(6)
|Y2(f,t)| =~ |S2(f,t)| + c|N(f,t)| / R(f,t) …(7)

ここで、|Y1(f,t)|に含まれる雑音成分（|S1(f,t)|以外の成分）は、
a|S2(f,t)|+c|N(f,t)|
であることから、強度比R(f,t)を考慮して、|Y1(f,t)|/R’(f,t)を、雑音信号|Z(f,t)|に代入する。

推定された雑音成分|Z(f,t)|は、|Y1(f,t)|に含まれる雑音成分（|S1(f,t)|以外の成分）を1/R(f,t)倍したもの、つまり、
(a|S2(f,t)|+c|N(f,t)|)/R(f,t)
に相当する。

雑音区間検出部３は雑音区間を検出する（図１０ステップＳ１０３）。雑音区間検出部３は、分離信号|Y1(f,t)|と、雑音推定部２で推定した雑音成分|Z(f,t)|と、推定強度比R’(f,t)とを入力として受け、雑音区間を検出する。

前述のように、推定した雑音成分|Z(f,t)|は、分離信号|Y1(f,t)|に含まれる雑音成分の1/R(f,t)倍に相当するものを推定しているので、次式（８）のD(t)の値を観測することで、雑音区間と、音声区間を検出することができる。

D(t) = Σ_{f}|Y1(f,t)| / Σ_{f}R(f,t)|Z(f,t)| …(8)

ここで、Σ_{*}は、変数*に関する加算を表す。

D(t)の値は、理想的には、雑音区間で１、音声区間で１以上となるので、両区間（雑音区間／音声区間）を検出することができる。

定常雑音除去部５１は、雑音区間検出部３から雑音区間であるか音声区間であるかの情報を受け取り、雑音区間の|Y1(f,t)|の時間方向の平均値を定常雑音（図１０ステップＳ１０４）とし、それを|Y1(f,t)|から除去することで、次式（９）にしたがって、定常的な雑音を除去する（図１０ステップＳ１０６）。

|Y1’(f,t)| = max[ |Y1(f,t)| - <|Y1(f,t)|>_{t} + α<|Y1(f,t)|>_{f,t}, α<|Y1(f,t)|>_{f,t}] …(9)

ここで、<>_{*}は<>内を変数*に関する加算平均を表し、またα<|Y1(f,t)|>_{f,t}は、|Y1(f,t)|- <|Y1(f,t)|>_{t}という演算の結果が負にならないようにするためのフロアリングである。なお、αは、フロアリングパラメタであり事前に設定したものである。

定常雑音除去部５２は、定常雑音除去部５１と同様の動作により、次式（１０）にしたがって、|Z(f,t)|に含まれる定常的な雑音を、除去する（図１０ステップＳ１０６）。

|Z’(f,t)| = max[ |Z(f,t)| - <|Z(f,t)|>_{t} + α<|Z(f,t)|>_{f,t}, α<|Z(f,t)|>_{f,t}] …(10)

雑音除去部４は、定常雑音除去部５１から|Y1’(f,t)|を入力として受け、定常雑音除去部５２から|Z’(f,t)|を入力として受け、雑音区間検出部３から雑音区間であるか音声区間であるかの情報を入力として受け、強度比計算部６からR’(f,t)を入力として受ける。そして、雑音除去部４は、次式（１１）にしたがって、|Y1’(f,t)|の雑音を除去する（図１０ステップＳ１０７）ことにより、推定目的音声信号|S1’(f,t)|を出力する。

|S1’(f,t)| = max[ |Y1’(f,t)| - R’(f,t)|Z’(f,t)| + αR’(f,t)<|Z(f,t)|>_{f,t}, αR’(f,t)<|Z(f,t)|>_{f,t}] …(11)

雑音除去部４には、雑音区間検出部３から雑音区間であるか音声区間であるかの情報が入力されているので、雑音区間と音声区間の処理を別々に行ってもよい。

例としては、雑音区間では０を出力し、音声区間では音声の歪を最小限に抑えるために雑音除去量を少なくするなどの処理である。

強度比計算部６は、分離信号|Y1(f,t)|と、推定された雑音成分|Z(f,t)|と、雑音区間検出部３から雑音区間であるか音声区間であるかの情報とを入力として受け、雑音区間において、R’(f,t)を、次式（１２）にしたがって更新する（図１０ステップＳ１０４）。

R(f,t) = Σ_{t}|Y1(f,t)| / Σ_{t}|Z(f,t)| …(12)

強度比計算部６は、更新したR’(f,t)を、雑音推定部２と、雑音区間検出部３と、雑音除去部４とに供給する。

次に本発明の第１の実施の形態の作用効果について説明する。

本実施の形態では、信号分離部１から出力される複数の分離信号のうち、一つの分離信号|Y1(f,t)|に含まれる雑音成分を、雑音推定部２で推定し、|Y1(f,t)|と、推定された雑音成分|Z(f,t)|の強度比により、雑音区間と音声区間を検出し、雑音区間の検出結果に基づいて、分離信号|Y1(f,t)|から、雑音を除去する構成としたことにより、雑音を精度良く除去することができる。

次に、本発明の別の好適な実施の形態について説明する。図２は、本発明を実施するための第２の形態の雑音除去システムの構成を示したものである。本発明の第２の実施の形態を、図１に示した前記第１の実施の形態と比較すると、本発明の第２の実施の形態においては、図１の定常雑音除去部５１の配置が相違していること、及び、定常雑音除去部５２が省略されている点が相違している。

すなわち、図２を参照すると、本実施の形態の雑音除去システムは、複数のチャネルの入力時系列信号を受けて分離する信号分離部１と、信号分離部１から出力される分離信号と、強度比計算部６からの強度比に基づき雑音を推定する雑音推定部２と、信号分離部１から出力される分離信号と、雑音推定部２で推定された雑音成分と、強度比計算部６の出力を受けて雑音区間を検出する雑音区間検出部３と、信号分離部１からの分離信号と、雑音推定部２で推定された雑音成分と、雑音区間検出部３での雑音区間／音声区間の検出結果と、強度比計算部６からの強度比を受け、分離信号から雑音を除去する雑音除去部４と、雑音除去部４からの出力と雑音区間検出部３での雑音区間／音声区間の検出結果を受け、定常雑音を除去する定常雑音除去部５１と、信号分離部１からの分離信号と、雑音推定部２で推定された雑音成分と、雑音区間検出部３での雑音区間／音声区間の検出結果とを受け雑音区間において強度比を更新する強度比計算部６とを有する。なお、図１には、信号分離部１に入力される複数のチャネルとして簡単のため２チャネルが図示されているが、３チャネル以上であってもよいことは勿論である。

本発明の第２の実施の形態では、雑音除去部４で雑音を除去した後に、さらに、定常的な雑音を、定常雑音除去部５１で除去する構成となっている。なお、定常雑音除去部５１、雑音除去部４は、入力される信号が異なるのみで動作は同じである。

次に本発明の第２の実施の形態においては、定常雑音除去部５２を削除し、構成を簡易化しながら、前記第１の実施の形態とほぼ同様の作用効果を奏する。

図３は、本発明を実施するための第３の形態の雑音除去システムの構成を示したものである。本発明の第３の実施の形態を、図２に示した前記第２の実施の形態と比較すると、本発明の第３の実施の形態においては、図２の定常雑音除去部５１が省略されている。これ以外の構成は、図２に示した前記第２の実施の形態と同一とされる。

次に本発明の第３の実施の形態の作用効果について説明する。本実施の形態においては、前記第２の実施の形態と比べて、計算量が少ない。

図４は、本発明を実施するための第４の形態の雑音除去システムの構成を示したものである。本発明の第４の実施の形態を、図３に示した前記第３の実施の形態と比較すると、本発明の第４の実施の形態においては、信号分離部１から分離信号を入力し、雑音区間検出部３から雑音区間／音声区間の検出結果を入力し、分離信号から雑音区間における雑音成分を推定する分離信号雑音推定部１０が追加されている。雑音除去部４は、分離信号雑音推定部１０からの出力（分離信号中の雑音成分の推定結果）と、分離信号と、雑音区間検出部３の出力を受け、分離信号から雑音を除去した信号を出力する。この実施の形態においては、前記第３の実施の形態と比べて、分離信号雑音推定部１０での計算量が増えるが、雑音区間の雑音をより精度よく除去することができる。

以上、前記第１乃至第４の実施の形態では、強度比計算部６を有する構成について説明したが、例えば強度比R(f,t)=1と、固定値とすることにより、強度比計算部６を省略した構成にしてもよい。

また、前記第１乃至第４の実施の形態では、目的音声として、第１のチャネルの音声信号|S1(f,t)|を求める例に即して説明したが、第２のチャネルの音声信号|S2(f,t)|についても同様にして適用できる。

さらに、前記第１乃至第４の実施の形態では、信号分離部１の出力を時系列周波数振幅スペクトル|Yk(f,t)|として説明したが、他の特徴量（例えば、パワスペクトル|Yk(f,t)||Yk(f,t)|）を利用してもよい。

そして、前記第１乃至第４の実施の形態では、信号分離システムに入力される時系列信号が、時系列周波数スペクトルであったが、他の特徴量でもよい。また、信号分離部１は時間領域で分離処理を行う構成としてもよい。

また、前記第１乃至第４の実施の形態では、入力時系列信号のチャネル数を２として説明したが、式（３）における大小比較について、max,min演算（最大値、最小値演算）などを用いれば、３以上となっても構わない。

また、雑音除去部４、定常雑音除去部５１、定常雑音除去部５２において、スペクトルサブトラクション法を用いた場合について説明したが、ウィナーフィルタや、Minimum Mean-Square Error Short-Time Spectral Amplitude（MMSE STSA）法(上記非特許文献１参照)などを用いてもよい。また、フロアリング方法に他のフロアリング方法を用いてもよい。また、定常雑音除去部における定常雑音推定方法については、単なる加算平均でなくてもよい。

図５は、本発明を実施するための第５の形態の音声認識システムの構成を示したものである。本発明の第５の実施の形態は、雑音除去システム７と、音声認識部８と、を有する。雑音除去システム７は、前記した本発明の第１乃至第４の実施の形態に説明した雑音除去システムのいずれかにより構成される。雑音除去システム７から出力された雑音除去信号は音声認識部８に入力される。音声認識部８は、入力された信号を認識し、認識結果を出力する。

本実施の形態によれば、雑音除去システム７により、雑音除去された信号を音声認識部８が認識するため、雑音環境下でも音声認識を行うことが可能である。

図６は、本発明を実施するための第６の形態の信号送信システムの構成を示したものである。本発明の第６の実施の形態は、雑音除去システム７と、信号送信部９と、を有する。

雑音除去システム７は、前記した本発明の第１乃至第４の実施の形態に説明した雑音除去システムのいずれかにより構成される。雑音除去システム７から出力された雑音除去信号は信号送信部９に入力される。信号送信部９は、入力された信号を送信する。

本実施の形態によれば、雑音除去システム７により雑音除去された信号を信号送信部９が送信するため、雑音除去されたクリアな信号を送信することができる。

次に、本発明の第７の実施の形態について説明する。図７は、本発明の第７の実施の形態の構成を示す図である。図７を参照すると、本実施の形態は、入力装置Ｐ２０１と、出力装置Ｐ２０３と、前述した本発明の第１乃至第４の実施の形態の雑音除去システムのうちのいずれかを構成する雑音除去システムＰ２０２（コンピュータシステム）と、雑音除去用プログラムＰ２０４とを備える。

雑音除去用プログラムＰ２０４は、雑音除去システムＰ２０２（コンピュータシステム）に読み込まれ、プログラム制御される雑音除去システムＰ２０２の動作を制御する。

雑音除去用プログラムＰ２０４により、雑音除去システムＰ２０２は、本発明第１乃至第４の実施の形態の雑音除去システムのうちのいずれか１つと同じ処理を実行する。

次に、本発明の第８の実施の形態について説明する。図８は、本発明の第８の実施の形態の構成を示す図である。図８を参照すると、本実施の形態は、入力装置Ｐ２０１と、出力装置Ｐ２０６と、前述した本発明の第５の実施の形態の音声認識システムＰ２０５（コンピュータシステム）と、音声認識用プログラムＰ２０７とを備える。

音声認識用プログラムＰ２０７は音声認識システムＰ２０５に読み込まれ、プログラム制御される音声認識システムＰ２０５の動作を制御する。

音声認識用プログラムＰ２０７により、音声認識システムＰ２０５は、本発明第５の実施の形態の音声認識システムと同じ処理を実行する。

次に、本発明の第９の実施の形態について説明する。図９は、本発明の第９の実施の形態の構成を示す図である。図９を参照すると、本実施の形態は、入力装置Ｐ２０１と、出力装置Ｐ２０９と、前述した本発明の第６の実施の形態の信号送信システムＰ２０８（コンピュータシステム）と、信号送信用プログラムＰ２１０を備える。

信号送信用プログラムＰ２１０は信号送信システムＰ２０８に読み込まれ、プログラム制御される信号送信システムＰ２０８の動作を制御する。

信号送信用プログラムＰ２１０により、信号送信システムＰ２０８は、本発明第６の実施の形態の信号送信システムと同じ処理を実行する。

以上本発明を上記各実施例に即して説明したが、本発明は、上記実施例の構成にのみ限定されるものでなく、本発明の原理に準ずる範囲内で当業者であればなし得るであろう各種変形、修正を含むことは勿論である。本発明において、信号として音に限定されるものでなく、電磁波、光（赤外線等）、あるいは画像信号（画像解析等）の雑音除去に適用可能とされる。

本発明によれば、複数の信号および雑音が混在した複数の時系列信号から、混在する前の信号以外の雑音を除去するといった各種用途に適用できる。

本発明の第１の実施の形態の雑音除去システムの構成を示す図である。 本発明の第２の実施の形態の雑音除去システムの構成を示す図である。 本発明の第３の実施の形態の雑音除去システムの構成を示す図である。 本発明の第４の実施の形態の雑音除去システムの構成を示す図である。 本発明の第５の実施の形態の構成を示す図である。 本発明の第６の実施の形態の構成を示す図である。 本発明の第７の実施の形態の構成を示す図である。 本発明の第８の実施の形態の構成を示す図である。 本発明の第９の実施の形態の構成を示す図である。 本発明の第１の実施の形態の処理手順を示す流れ図である。 従来の雑音除去システムの構成を示す図である。 従来の雑音除去システムの構成を示す図である。

符号の説明

１ 信号分離部
２ 雑音推定部
３ 雑音区間検出部
４ 雑音除去部
６ 強度比計算部
７ 雑音除去システム
８ 音声認識部
９ 信号送信部
１０ 分離信号雑音推定部
５１ 定常雑音除去部
５２ 定常雑音除去部
１１０１、１１０２ マイクロフォン
１１０３、１１０４ 特徴抽出部
１１０５、１１０６ 定常雑音除去部
１１０７ 非定常雑音除去部
１２０１ 音声認識装置
１２１０ 雑音除去装置
１２１１、１２１３ Ａ／Ｄ変換器
１２１５ 雑音抽出部
１２１７ 雑音除去部
１２２０ 音声認識部
１２３０ ナビ制御部
Ｐ２０１ 入力装置
Ｐ２０２ 雑音除去システム
Ｐ２０３ 出力装置
Ｐ２０４ 雑音除去用プログラム
Ｐ２０５ 音声認識システム
Ｐ２０６ 出力装置
Ｐ２０７ 音声認識プログラム
Ｐ２０８ 信号送信システム
Ｐ２０９ 出力装置
Ｐ２１０ 信号送信プログラム

Claims (31)

1. 複数のチャネルの入力時系列信号を信号分離して得られる分離信号の雑音除去を行うにあたり、
   信号分離されてなる複数の分離信号から雑音信号を推定するステップと、
   前記複数の分離信号の内の少なくとも一の分離信号と前記推定された雑音信号とを用いて雑音区間を検出するステップと、
   前記一の分離信号から前記推定された雑音信号を除去するステップと、
   を含む、ことを特徴とする雑音除去方法。
2. 複数のチャネルの入力時系列信号を信号分離し、信号分離された信号（「分離信号」という）から雑音除去を行うにあたり、
   複数の分離信号から雑音信号を推定するステップと、
   前記複数の分離信号の内の少なくとも一の分離信号と前記推定された雑音信号とを用いて雑音区間を検出するステップと、
   前記一の分離信号の定常的な雑音を除去するステップと、
   前記推定された雑音信号の定常的な雑音を除去し推定雑音信号を生成するステップと、
   前記一の分離信号から前記推定雑音信号を除去するステップと、
   を含む、ことを特徴とする雑音除去方法。
3. 複数のチャネルの入力時系列信号を信号分離して得られる分離信号の雑音除去を行うにあたり、
   信号分離されてなる複数の分離信号から雑音信号を推定するステップと、
   前記複数の分離信号の内の少なくとも一の分離信号と前記推定された雑音信号とを用いて雑音区間を検出するステップと、
   前記一の分離信号から前記推定された雑音信号を除去するステップと、
   前記雑音信号が除去された前記一の分離信号から定常的な雑音を除去するステップと、
   を含む、ことを特徴とする雑音除去方法。
4. 複数のチャネルの入力時系列信号を信号分離して得られる分離信号の雑音除去を行うにあたり、
   信号分離されてなる複数の分離信号から雑音信号を推定するステップと、
   前記複数の分離信号の内の少なくとも一の分離信号と前記推定された雑音信号とを用いて雑音区間を検出するステップと、
   前記一の分離信号から雑音区間における雑音信号を推定するステップと、
   前記一の分離信号から、前記一の分離信号に関して前記推定された雑音信号を除去するステップと、
   を含む、ことを特徴とする雑音除去方法。
5. 請求項１乃至４のいずれか一に記載の雑音除去方法において、
   前記一の分離信号と、前記複数の分離信号から推定された雑音信号との強度比を計算するステップを有し、
   前記雑音を除去するステップの少なくとも一つのステップにおいて、前記計算した強度比を利用する、ことを特徴とする雑音除去方法。
6. 前記複数の分離信号から雑音信号を推定するステップが、
   前記複数の分離信号の強度比の比較結果に基づき、雑音信号を推定するステップを含む、ことを特徴とする請求項１乃至５のいずれか一に記載の雑音除去方法。
7. 前記複数の分離信号から雑音信号を推定するステップが、
   前記複数の分離信号の強度を比較するステップと、
   雑音が除去される一の分離信号の強度が、他の分離信号の強度よりも小さい場合に、他の分離信号を、前記雑音除去される一の分離信号で置換し、置換された分離信号を、推定雑音信号とするステップと、
   を含む、ことを特徴とする請求項１乃至５のいずれか一に記載の雑音除去方法。
8. 前記複数の分離信号から雑音信号を推定するステップが、
   複数の分離信号の強度を比較するステップと、
   雑音除去される一の分離信号の強度が、他の分離信号の強度よりも小さい場合に、他の分離信号を、前記雑音除去される一の分離信号で置換するステップと、
   前記強度比を計算するステップで計算した強度比にて、前記置換された信号を補正するステップと、
   前記補正された信号を推定雑音信号とするステップと、
   を含む、ことを特徴とする請求項５記載の雑音除去方法。
9. 請求項１乃至８のいずれか一に記載の雑音除去方法により得られた雑音除去された信号を入力して音声認識を行うステップを有する、ことを特徴とする音声認識方法。
10. 請求項１乃至８のいずれか一に記載の雑音除去方法により得られた雑音除去された信号を入力し、該入力した信号を送信するステップを有する、ことを特徴とする信号送信方法。
11. 複数のチャネルの入力時系列信号を信号分離して得られる信号（「分離信号」という）から雑音を除去する装置において、
    複数の分離信号を入力とし、前記複数の分離信号から雑音信号を推定する雑音推定部と、
    前記複数の分離信号の内の少なくとも一の分離信号と、前記雑音推定部で推定された雑音信号とを入力とし、前記一の分離信号と前記推定された雑音信号とに基づき、雑音区間を検出する雑音区間検出部と、
    前記一の分離信号と、前記雑音推定部で推定された雑音信号と、前記雑音区間検出部からの雑音区間の検出結果とを入力とし、前記一の分離信号から、前記推定された雑音信号を除去する雑音除去部と、
    を含む、ことを特徴とする雑音除去装置。
12. 複数のチャネルの入力時系列信号を信号分離して得られる信号（「分離信号」という）から雑音を除去する装置において、
    信号分離されてなる複数の分離信号を入力とし、前記複数の分離信号から雑音信号を推定する雑音推定部と、
    前記複数の分離信号の内の少なくとも一の分離信号と、前記推定された雑音信号とを入力とし、入力した前記一の分離信号と前記推定された雑音信号とに基づき、雑音区間を検出する雑音区間検出部と、
    前記一の分離信号と、前記雑音区間検出部からの雑音区間の検出結果とを入力とし、前記一の分離信号から定常的な雑音を除去する第１の定常雑音除去部と、
    前記雑音推定部で推定された雑音信号と、前記雑音区間検出部からの雑音区間の検出結果とを入力とし、前記雑音信号から定常的な雑音を除去し、前記定常的な雑音が除去された推定雑音信号を出力する第２の定常雑音除去部と、
    前記第１及び第２の定常雑音除去部からの出力を少なくとも入力とし、前記第１の定常雑音除去部からの前記定常的な雑音が除去された前記一の分離信号から、前記第２の定常雑音除去部からの前記推定雑音信号を除去する雑音除去部と、
    を含む、ことを特徴とする雑音除去装置。
13. 複数のチャネルの入力時系列信号を信号分離して得られる信号（「分離信号」という）から雑音を除去する装置において、
    信号分離されてなる複数の分離信号を入力とし、前記複数の分離信号から雑音信号を推定する雑音推定部と、
    前記複数の分離信号の内の少なくとも一の分離信号と前記推定された雑音信号とを入力とし、入力した前記一の分離信号と前記推定された雑音信号を用いて雑音区間を検出する雑音区間検出部と、
    前記一の分離信号と、前記雑音推定部からの雑音信号と、前記雑音区間検出部からの雑音区間の検出結果とを入力とし、前記一の分離信号から、前記推定された雑音信号を除去する雑音除去部と、
    前記雑音除去部で前記雑音除去された信号を入力とし、前記入力した信号から、定常的な雑音を除去して出力する定常雑音除去部と、
    を含む、ことを特徴とする雑音除去装置。
14. 複数のチャネルの入力時系列信号を信号分離して得られる信号（「分離信号」という）から雑音を除去する装置において、
    信号分離されてなる複数の分離信号を入力し、前記複数の分離信号から雑音信号を推定する雑音推定部と、
    前記複数の分離信号の内の少なくとも一の分離信号と、前記雑音推定部で推定された雑音信号とを入力し、入力した前記一の分離信号と前記推定された雑音信号とに基づき、雑音区間を検出する雑音区間検出部と、
    前記一の分離信号と、前記雑音区間検出部からの雑音区間の検出結果とを入力とし、前記一の分離信号の雑音成分を推定する分離信号雑音推定部と、
    前記一の分離信号と、前記分離信号雑音推定部で推定された雑音信号とを少なくとも入力とし、前記一の分離信号から、前記分離信号雑音推定部で推定された雑音信号を除去する雑音除去部と、
    を含む、ことを特徴とする雑音除去装置。
15. 前記雑音除去部は、前記雑音区間検出部からの雑音区間の検出結果とを入力として雑音除去を行う、ことを特徴とする請求項１２又は１４のいずれか一に記載の雑音除去装置。
16. 前記定常雑音除去部は、前記雑音区間検出部からの雑音区間の検出結果とを入力として雑音除去を行う、ことを特徴とする請求項１３に記載の雑音除去装置。
17. 請求項１１乃至１６のいずれか一に記載の雑音除去装置において、
    前記一の分離信号と、前記複数の分離信号から推定された雑音信号との強度比を計算する強度比計算部を有し、
    前記雑音除去部が、前記強度比計算部で計算された強度比を入力し、前記強度比を用いて雑音除去を行う、ことを特徴とする雑音除去装置。
18. 前記雑音推定部が、前記複数の分離信号の強度比較結果に基づいて、雑音信号を推定する、ことを特徴とする請求項１１乃至１４のいずれか一に記載の雑音除去装置。
19. 前記雑音推定部が、前記複数の分離信号の強度を比較する手段と、
    雑音除去される一の分離信号の強度が、他の分離信号の強度よりも小さい場合に、他の分離信号を、前記雑音除去される一の分離信号で置換し、置換後の分離信号を、推定雑音信号とする手段と、
    を含む、ことを特徴とする請求項１１乃至１４のいずれか一に記載の雑音除去装置。
20. 前記雑音推定部が、
    前記複数の分離信号の強度を比較する手段と、
    雑音除去される一の分離信号の強度が、他の分離信号の強度よりも小さい場合には、他の分離信号を、前記雑音除去される一の分離信号で置換し、前記強度比計算部で計算された強度比にて、前記置換された信号を補正し、補正された前記分離信号を、推定雑音信号とする手段と、
    を含む、ことを特徴とする請求項１７に記載の雑音除去装置。
21. 請求項１１乃至２０のいずれか一に記載の雑音除去装置を備え、
    前記雑音除去装置により得られた雑音除去された信号を音声認識する音声認識部を有する、ことを特徴とする音声認識システム。
22. 請求項１１乃至２０のいずれか一に記載の雑音除去装置を備え、
    前記雑音除去装置により得られた雑音除去された信号を送信する信号送信部を有する、ことを特徴とする信号送信システム。
23. 複数のチャネルの入力時系列信号を信号分離して得られる信号（「分離信号」という）から雑音を除去する装置を構成するコンピュータに、
    信号分離されてなる複数の分離信号から雑音信号を推定する処理と、
    前記複数の分離信号の内の少なくとも一の分離信号と、前記推定された雑音信号とに基づき、雑音区間を検出する処理と、
    前記一の分離信号から前記推定された雑音信号を除去する処理と、
    を実行させるプログラム。
24. 複数のチャネルの入力時系列信号を信号分離して得られる信号（「分離信号」という）から雑音を除去する装置を構成するコンピュータに、
    信号分離されてなる複数の分離信号から雑音信号を推定する処理と、
    前記複数の分離信号の内の少なくとも一の分離信号と、前記推定された雑音信号とに基づき、雑音区間を検出する処理と、
    前記一の分離信号と、前記雑音区間の検出結果に基づき、前記一の分離信号から定常的な雑音を除去する処理と、
    前記推定された雑音信号と、前記雑音区間の検出結果とに基づき、前記雑音信号から定常的な雑音を除去し、前記定常的な雑音が除去された推定雑音信号を出力する処理と、
    前記定常的な雑音が除去された前記一の分離信号から、前記推定雑音信号を除去する処理と、
    を実行させるプログラム。
25. 複数のチャネルの入力時系列信号を信号分離して得られる信号（「分離信号」という）から雑音を除去する装置を構成するコンピュータに、
    信号分離されてなる複数の分離信号から雑音信号を推定する処理と、
    前記複数の分離信号の内の少なくとも一の分離信号と、前記推定された雑音信号とに基づき、雑音区間を検出する処理と、
    前記一の分離信号と、前記雑音推定部からの雑音信号と、前記雑音区間検出部からの雑音区間の検出結果とに基づき、前記一の分離信号から前記推定された雑音信号を除去する処理と、
    前記一の分離信号から前記推定された雑音信号から定常的な雑音を除去して出力する処理と、
    を実行させるプログラム。
26. 複数のチャネルの入力時系列信号を信号分離して得られる信号（「分離信号」という）から雑音を除去する装置を構成するコンピュータに、
    信号分離されてなる複数の分離信号を入力し、前記複数の分離信号から雑音信号を推定する処理と、
    前記複数の分離信号の内の少なくとも一の分離信号と、前記雑音推定部で推定された雑音信号とに基づき、雑音区間を検出する処理と、
    前記一の分離信号と、前記雑音区間の検出結果とを入力とし、前記一の分離信号の雑音成分を推定する処理と、
    前記一の分離信号から、前記一の分離信号に関して前記推定された雑音信号を除去する処理と、
    を実行させるプログラム。
27. 請求項２３乃至２６のいずれか一に記載のプログラムにおいて、
    前記一の分離信号と、前記複数の分離信号から推定された雑音信号の強度比を計算する処理を含み、
    前記雑音を除去する処理の少なくとも１つの処理が、前記計算した強度比を利用する、ことを特徴とする、プログラム。
28. 請求項２３乃至２６のいずれか一に記載のプログラムにおいて、
    前記複数の分離信号から雑音信号を推定する処理が、前記複数の分離信号の強度の比較結果に基づいて、雑音信号を推定する強度比較雑音推定処理を含み、
    前記強度比較雑音推定処理を、前記コンピュータに実行させるプログラム。
29. 請求項２３乃至２６のいずれか一に記載のプログラムにおいて、
    前記複数の分離信号から雑音信号を推定する雑音推定処理が、前記複数の分離信号の強度を比較する強度比較処理と、
    雑音除去される一の分離信号の強度が、他の分離信号の強度よりも小さい場合に、前記他の分離信号を、前記雑音除去される一の分離信号で置換し、前記置換された分離信号を、推定雑音信号とする置換雑音推定処理と、
    を含み、
    前記強度比較処理、及び前記置換雑音推定処理を、前記コンピュータに実行させるプログラム。
30. 請求項２７に記載のプログラムにおいて、
    前記複数の分離信号から雑音信号を推定する雑音推定処理が、
    前記複数の分離信号の強度を比較する強度比較処理と、
    雑音除去される一の分離信号の強度が、他の分離信号の強度よりも小さい場合に、前記他の分離信号を、前記雑音除去される一の分離信号で置換し、前記計算された強度比で、置換された分離信号を補正し、信号分離され補正された信号を、推定雑音信号とする補正雑音推定処理と、
    を含み、
    前記強度比較処理、及び前記補正雑音推定処理を、前記コンピュータに実行させるプログラム。
31. 複数のチャネルの入力時系列信号を受け複数の分離信号に分離する信号分離部と、
    前記信号分離部からの複数の分離信号を受け、前記複数の分離信号に基づき、一の分離信号に含まれる雑音成分を推定する雑音推定部と、
    前記信号分離部で分離された一の分離信号と、前記雑音推定部で推定された雑音成分とを入力し、前記雑音成分の強度にしたがって、雑音区間と音声区間を検出する雑音区間検出部と、
    前記雑音区間検出部からの雑音区間の検出結果に基づき、前記信号分離部で分離された前記一の分離信号から雑音を除去し雑音が除去された信号を出力する雑音除去部と、
    を備えている、ことを特徴とする雑音除去装置。

Images