JP2002513479A

JP2002513479A - ノイズを含む音声信号内のノイズモデルを探索する方法

Info

Publication number: JP2002513479A
Application number: JP50654799A
Authority: JP
Inventors: パストール，ドミニーク; レイノー，ジェラール
Original assignee: セクスタンアビオニク
Priority date: 1997-07-04
Filing date: 1998-07-03
Publication date: 2002-05-08
Anticipated expiration: 2018-07-03
Also published as: US6438513B1; EP0993671A1; DE69806006D1; FR2765715A1; EP0993671B1; FR2765715B1; WO1999001862A1; DE69806006T2; JP4338226B2

Abstract

(57)【要約】この発明は、主に、ノイズを含む環境、例えば、飛行機のパイロットのコックピットまたは他の車両内の音声信号におけるノイズ低減に関し、さらに詳細には、音声信号内のノイズモデルの探索に関するものである。この方法は、入力信号をディジタル化し、これらの信号をノイズモデルによって、該モデルに対応するノイズを可能な限り消滅させるために処理するものである。入力信号は、それぞれ、Ｐ個のサンプルの連続したパターンに分割され、予期した特徴のノイズを有するＮ個（Ｎは最小値Ｎ１と最大値Ｎ２との間に配される）の連続したパターンを探索するノイズモデルの反復した探索が、入力信号のノイズ低減処理に有用なノイズモデルを構成するために、Ｎ×Ｐ個の対応するサンプルを記憶し、新たなノイズモデルを発見するための探索を繰り返し、新旧２つのモデルのそれぞれの特徴によって、前のモデルを新たなモデルに置き換えて記憶し、または、前のモデルを維持することにより、入力信号自体において永久的に実行される。モデルは、エネルギ成分が相互に近似する（エネルギ成分の比が値Ｓ〜１／Ｓの範囲に配される）Ｎ個のパターンを発見することにより得られる。

Description

【発明の詳細な説明】ノイズを含む音声信号内のノイズモデルを探索する方法この発明は、ノイズの存在する音声通信の明瞭さを改善する技術に関するものである。この発明は、さらに詳細には、電話または無線電話通信または他の電子手段による通信に関し、音声を拾う環境が、ノイズの多い環境であり、伝達される音声の知覚または認識を損なうことがある全ての場合の音声認識等に適用されるが、これらに限定されるものではない。この発明が適用される場合としては、飛行機または騒音の多い自動車内における音声通信を、例に挙げることができる。飛行機の場合には、ノイズは、エンジン、空調、機内装置のための換気および空力的ノイズに起因する。これらのノイズは全て、パイロットや乗務員が使用するマイクロフォンによって拾われる。この発明は、特に、ノイズ低減処理に有用なノイズモデルを探索する処理を提案している。発見されたノイズモデルに基づく音声低減処理は、伝送される信号の信号／ノイズ比（Ｓ／Ｎ比）を向上することができ、信号の明瞭さの損失を最小限に抑えることを１つの目標としている。この特許出願では、信号内に存在するノイズ成分を除去しまたは低減することを目的とした操作を言うときに、「ノイズ除去」または「デノイズ」という新造語を使用することにする。ノイズ除去は、以下に述べるように、環境ノイズモデルの連続的な探索、このノイズのディジタルスペクトル解析、および、モデル化されたノイズを可能な限り除去する有用な信号のディジタル的な再構成に基づいている。ノイズモデルは、ノイズを含む信号それ自体において探索され、それらしいノイズモデルが発見されたときはいつでも、このノイズモデルを使用できるように記憶する。その後、より好適な、または、単に、最新のモデルを見つけるために、新たな探索が開始される。さらに詳細には、この発明は、入力信号をディジタル化し、これらの信号を、発見されたモデルに基づいて（例えば、モデルに一致するノイズを可能な限り除去するという観点から）処理することを含む、ノイズを含む音声入力信号におけるノイズモデルの自動探索方法であって、入力信号を、各々Ｐ個のサンプルからなる連続したフレームに切断し、予期したノイズ特性を有するＮ個の連続したフレームを探索し、入力信号のノイズ除去処理に有用なノイズモデルを構築するようにＮ×Ｐ個の対応するサンプルを記憶し、新たなノイズモデルを発見し、新旧のモデルの特徴に従って、旧モデルを新モデルに置き換え、または、旧モデルを維持するように、探索を反復して繰り返すことにより、入力信号自体におけるノイズモデルの繰り返し探索を連続して行うことを特徴とする方法を提案する。したがって、特に、ノイズ除去に有用なノイズモデルは、所定の既知モデル、または、複数の所定のモデルから選択されたモデルではなく、ノイズを含む信号自体の中から見つけたモデルであり、これにより、現実に有害なノイズに対してノイズ除去を適応させることができるのみならず、このノイズが変化してもノイズ除去を適応させることができる。このノイズモデルは、ノイズを示す一定期間にわたって、そのエネルギが安定（かつ、好ましくは、以下に述べるように、そのエネルギが最小）である信号に注目することにより得られ、したがって、ノイズモデルの探索は、そのエネルギが相互に近いＮ個の連続したフレーム（ここで、Ｎは最小値Ｎ１と最大値Ｎ２との間の値である）を探索し、Ｎ個の連続したフレームの平均エネルギを計算し、この平均エネルギと以前に記憶されたアクティブモデルのフレームの平均エネルギとの比が所定の置換しきい値より小さい場合に、Ｎ×Ｐ個のサンプルを新たなアクティブモデルとして記憶することを含んでいる。したがって、Ｎ個の連続したフレームの探索は、少なくとも以下の反復ステップを含んでいる。すなわち、ｎ−１個の連続したフレームを既に含む定式化モデルに追加することができるｎ番目の最新フレームのエネルギの計算と、このエネルギと、ｎ−１番目のフレームのエネルギ（好ましくは１〜ｎ−１番目間の他のフレームのエネルギ）との比の計算と、この比と、１より小さい下側しきい値および１より大きい上側しきい値との比較と、ｎ番目のフレームを定式化モデルに組み込めるか否かの判断とを含み、比が２つのしきい値の間にない場合には、このフレームはモデル内に組み込まれず、比がこれら２つのしきい値の間にある場合には、モデルに組み込まれることになる。この処理は、入力信号の次の最新のフレームに対して、ｎを漸増させて、モデルの定式化が停止するまで反復して繰り返される。モデルの定式化は、ｎが最高値Ｎ２に達するか、計算されたエネルギの比が規定した範囲から外れたために、ｎ番目のフレームがモデルに組み込まれないかのいずれかの場合に停止される。ノイズモデルは、少なくともＮ１個のフレームにわたってほぼ安定したエネルギを有することが原則であるので、後者の場合には、ｎ−１が既に最小値Ｎ１以上でない限り、定式化されたモデルをアクティブモデルとして考慮することはできない。好ましくは、定式化されたモデルは、そのフレームごとの平均エネルギ間の比および旧モデルの平均エネルギが所定の置換しきい値を超えない限り、旧モデルの代わりにアクティブモデルになることはない。全ての場合において、新モデルの探索は、旧モデルの定式化が中断され次第、即座に再開される。結局、ノイズを含む信号内に会話が検出され次第、旧モデルの新モデルによる置き換えが行われることが好ましい。会話の存在は、実際には、（会話認識に使用される処理のような）ディジタル信号処理により検出することができる。この発明の他の特徴および効果は、以下に、添付図面を参照して行う詳細な説明により明らかになる。図１は、この発明の処理を用いた、ノイズ低減処理の概略のフローチャートを示している。図２は、ノイズを含む音声信号の典型例を示している。図３は、入力信号におけるノイズモデルの探索ステップのフローチャートを示している。図４は、この発明に係る処理を用いたノイズ除去操作を実行するための電子回路の構成例を示している。会話解析においては、通常、１０〜２０ミリ秒間にわたる定常的な音声生成時間を考慮する。ノイズ除去を可能とする信号解析は、持続時間Ｄの時間間隔内の信号のスペクトル解析によるものであり、この信号は、以下「フレーム」と呼ばれ、ほぼこの持続時間を有する。各フレームは、Ｐ＝２ｐ個のディジタル化された信号のサンプルを含んでおり、数Ｐは、処理された信号のサンプリング周波数に依存しており、このため、フレームは、サンプリング周波数Ｆｅ＝１／Ｔｅに関わらず、１０〜２０ｍｓ程度の持続時間を有する。例えば、１０ｋＨｚのサンプリング周波数に対して、フレームは、Ｐ＝１２８個のサンプル（ｐ＝７）を含み、持続時間１２．８ｍｓにわたって持続する。図１は、ノイズ除去処理の一般原理を説明するフローチャートである。例えば、マイクロフォンから発せられた、処理されるべき入力信号は、ｕ（ｔ）で示され、有用な部分ｓ（ｔ）と望ましくないノイズｂ（ｔ）とを有し、ｕ（ｔ）＝ｓ（ｔ）＋ｂ（ｔ）であり、信号は、アナログ／ディジタル変換器でディジタル化される前にサンプリングされるので、時間ｔは離散的（ｔ＝ｋＴｅ）であると仮定される。以下において、入力信号の処理は、この発明の主な適用例を示す実施形態によって、発見されたノイズモデルに基づくノイズ除去処理であるが、他の適用例（例えば、歯擦音または口蓋歯茎音的摩擦音の探索）も考慮することができる。ノイズ除去処理の一般原理は、入力信号をデノイズするために、該入力信号の処理に有用なノイズモデルを連続的にかつ自動的に探索するものである。この探索は、バッファ入力メモリ内に記憶された、ディジタル化された信号サンプルｕ（ｔ）に対して実行される。このメモリは、入力信号の複数のフレーム（例えば、少なくとも２フレーム）のサンプル全てを同時に記憶することができる。探索したノイズモデルは、そのエネルギ安定性および相対エネルギレベルから、音声信号または他の擾乱ノイズよりもむしろ環境ノイズが含まれていると考えられる複数の連続したフレームからなっている。この自動探索の実施方法については、後述する。ノイズモデルが発見されたとき、このノイズモデルを表すＮ個の連続したフレームのサンプル全てがメモリ内に保持され、それによって、このノイズのスペクトルを解析することができ、かつ、ノイズ除去のために利用することができる。しかしながら、環境ノイズをより良好に表していること、または、環境ノイズが変化したことのいずれかの理由から、より好適な最新のモデルを発見できるように、ノイズの自動探索が入力信号ｕ（ｔ）に基づいて継続される。より新しいノイズモデルは、前のモデルとの比較の結果、前のモデルの代わりにメモリ内に入力される。入力信号ｕ（ｔ）のノイズ除去は、メモリ内のノイズモデルに基づいて、さらに詳細には、このモデルのスペクトル特性に基づいて行われる。その後、フーリエ変換および平均スペクトルノイズ密度推定が、記憶されているノイズモデルに基づいて遂行される。ノイズ除去操作は、以下に詳細に説明するウィーンディジタルフィルタによって行うことが好ましい。ヴィーナーフィルタは、記録されたノイズモデルのスペクトル特性およびノイズ除去される信号ｕ（ｔ）のスペクトル特性を用いてパラメータで表される。したがって、ディジタル化された入力信号は、フーリエ変換およびスペクトル密度推定にかけられる。フーリエ変換のディジタル値、すなわち、その周波数成分で表された入力信号は、ヴィーナーフィルタによって処理され、該ヴィーナーフィルタからの出力は、周波数空間において、ノイズ除去されたディジタル信号、すなわち、記録されたモデル内に存在するノイズを可能な限り除去したディジタル信号を表す。フィルタにかけられたディジタル信号は、環境ノイズが部分的に消滅させられた音声信号の再構築または音声認識のいずれかにおいて有用である。ノイズモデルの自動探索およびこのモデルの連続的な更新の段階は、処理の重要なステップであり、さらに詳細には、この発明の主題を形成している。ノイズモデルの自動定式化の開始条件は以下の通りである。すなわち、 − 消滅させたいノイズが環境背景騒音であり； − 該環境ノイズが、短期間において比較的安定なエネルギを有し； − 環境ノイズと混同されるべきでないパイロットによる気息音ノイズが、通常は会話に先行するが、この気息音ノイズが、最初の音声そのものの伝達前に数百ミリ秒で消え、そのために、環境ノイズのみが会話の伝達の直前に入り； − 最後に、異なるノイズおよび会話が、信号エネルギによって重ね合わせられ、それによって、会話、または、マイクへの気息音を含む擾乱ノイズを含む信号が、必然的に、環境ノイズ信号よりも大きなエネルギを含むことである。この結果、以下の簡単な仮説が構成される：環境ノイズは最小短期安定エネルギを示す信号である。「短期」とは、数フレームを意味し、以下に説明される実際の実施形態では、ノイズの安定性を評価するために予定されるフレームの数は、５〜２０である。エネルギは、複数フレームにわたって安定でなければならず、そうでない場合には、信号が実際に会話または環境ノイズ以外の何らかの他のノイズを含むと仮定されなければならない。また、エネルギは最小でなければならず、そうでない場合には、信号は、環境ノイズに重ね合わせられた気息音または音声会話成分類似のノイズを含むものと考えられる。図２は、会話の伝達開始の瞬間におけるマイクロフォンのエネルギの時間変化の典型的な形態を示しており、環境ノイズのみに置き換わるように数十〜数百ミリ秒で消滅する気息音ノイズ段階と、その後の、会話の存在を示す上昇したエネルギレベルの段階と、最後に環境ノイズに戻る段階とを有している。したがって、環境ノイズの自動探索は、エネルギが相互に近似した、すなわち、フレーム内に含まれている信号のエネルギと、前のフレーム、または、好ましくは、複数の前のフレーム内に含まれている信号のエネルギとの比が、所定の値の範囲（例えば、１／３〜３）である、少なくともＮ１個（例えば、Ｎ１＝５）の連続したフレームを発見することである。比較的安定したエネルギを有するそのような連続したフレームが発見されたときには、これらＮ個のフレームの全てのサンプルのディジタル値が記憶される。このＮ×Ｐ個のサンプルの組が、最新のノイズモデルを構成する。このノイズモデルは、ノイズ除去に使用される。そして、次のフレームの解析が続けられる。同じエネルギ安定条件（所定範囲内のフレームのエネルギの比）の他の少なくともＮ１個の連続したフレームが発見された場合には、この新たな連続したフレームの平均エネルギが、記憶されているモデルの平均エネルギと比較され、新たな連続フレームの平均エネルギと記憶されているモデルの平均エネルギとの比が、所定の置換しきい値、例えば、１．５、より小さい場合には、記憶されているモデルが新たな連続フレームによって置き換えられる。ノイズモデルを、より低いエネルギまたはあまり高くないエネルギを有する、より最新のモデルに置き換えることにより、ノイズモデルは、全体として、連続した環境ノイズに固定されることになる。気息音が前置される会話を拾う前においてさえも、環境ノイズのみが、アクティブノイズモデルとして考慮に入れることができる十分な持続時間にわたって存在する段階が存在する。この気息音後の環境ノイズのみの段階は短く、フレームの数Ｎ１は比較的小さく選択され、そのために、気息音段階後に、環境ノイズにノイズモデルを再調節するために、時間を利用することができる。環境ノイズがゆっくりと変化する場合には、記憶されているモデルとの比較のためのしきい値が１より大きいために、その変化も考慮されることになる。環境ノイズが増加方向に迅速に変化する場合には、その変化は考慮されず、そのために、ノイズモデルの探索の再初期化を時々行うことが好ましい。例えば、地上に静止している飛行機では、環境ノイズは比較的小さく、離陸中の段階では、ノイズモデルが、より低いエネルギまたはあまり高くないエネルギを有するモデルによってのみ置き換えられるので、ノイズモデルを、静止していたときのノイズモデルに凍結して維持する必要はない。考え得る再初期化方法については、後述する。図３は、環境ノイズモデルの自動探索のための操作のフローチャートを示している。周波数Ｆｅ＝１／Ｔｅにおいてサンプリングされ、アナログ／ディジタル変換器によりディジタル化された入力信号ｕ（ｔ）は、少なくとも２フレームの全てのサンプルを記憶することができるバッファメモリ内に記憶される。ノイズモデル探索操作における最新のフレームの数は、ｎによって指定され、探索の進行中にカウンタにより計数される。探索を初期化すると、ｎは１に設定される。この数ｎは、複数の連続したフレームのモデルの定式化が進行するにつれて漸増される。最新のフレームｎが解析されるときには、モデルは、モデルを構成するために課される条件に合致するｎ−１個の連続フレームを、既に具備していると仮定する。まず第１に、最初のモデル定式化に関し、他の前のモデルは構成されていないと考える。次の定式化に関して生じる事項についてはその後に述べる。フレームの信号エネルギは、フレームのサンプルの数値の二乗を合計することにより計算される。その結果は、メモリ内に記憶される。ｎ＝２番目の次のフレームが、その後、読みとられ、そのエネルギが同様にして計算される。これも同様に、メモリ内に記憶される。２つのフレームのエネルギの比が計算される。この比が、一方が１より大きく、他方が１より小さい２つのしきい値Ｓ，Ｓ’間にある場合には、２つのフレームのエネルギは近似していると考えられ、かつ、２つのフレームは、ノイズモデルの一部を構成することができるものと考えられる。しきい値Ｓ，Ｓ’は、他方を得るために一方を定義すれば十分であるように、相互に逆数の関係（Ｓ’＝１／Ｓ）であることが好ましい。例えば、典型的な値はＳ＝３、Ｓ’＝１／３である。これらのフレームが同じノイズモデルの部分を構成することができる場合には、それらが構成するサンプルは、モデルの構築を開始するために記憶され、ｎを１ずつ漸増させながら、探索が反復により継続される。最初の２つのフレームのエネルギの比が、与えられた間隔より隔たっている場合には、それらのフレームは、不適当であると判断され、探索は再初期化され、ｎが１に再設定される。探索が継続する場合には、最新のフレームのｎ番目は漸増され、反復ループにおいて、次のフレームのエネルギの計算および前の１のフレームまたは前の複数のフレームのエネルギとの比較が、しきい値Ｓ，Ｓ’を使用して行われる。この点に関しては、既にエネルギ的に同質のものと考えられているｎ−１個の前のフレームにフレームを追加するために、２つの形式の比較が可能であることを特筆しておく。第１の比較形式は、フレームｎのエネルギとフレームｎ−１のエネルギとのみを比較するものである。第２の比較形式は、フレームｎのエネルギとフレーム１〜ｎ−１の各エネルギとを比較するものである。第２の方法は、モデルのより高い同質性を達成するが、ノイズレベルが急激に増加または減少する場合を十分に考慮に入れることができないという欠点を有する。このように、ｎ番目のフレームのエネルギが、ｎ−１番目のフレームのエネルギと比較され、あるいは、他の前のフレーム（必ずしも全てではないが）のエネルギと比較される。エネルギの比が１／ＳとＳとの間になく、比較が、前のフレームとの同質性がないと示す場合としては、次の２つの場合が考えられる。すなわち、 − 同質性の持続時間が非常に短く、例えば、Ｎ１＝５であるために、ｎが、モデルを環境ノイズにおいて重要であると考えることができない最小数Ｎ１以下である場合であって、この場合には定式化モデルが廃棄され、探索が、ｎを１に再設定することにより開始時に再初期化される場合、または、 − ｎが最小数Ｎ１より大きい場合のいずれかである。この場合には、同質性がないことがわかったので、均質なノイズ段階後の会話の開始段階であると考えられ、均質でないフレームに先行するｎ−１個の均質なノイズフレームのサンプル全てが、ノイズモデルとして維持される。このモデルは、環境ノイズを表すと考えられる、より新しいモデルが発見されるまで、記憶された状態に維持される。探索は、少なくともｎを１に再設定することにより再初期化される。しかしながら、フレームｎと前のフレームとの比較は、前の、一または複数のフレームとエネルギ的に同質なフレームを登録することにより達成できる。この場合には、ｎが、ノイズモデルの望ましい長さの最大値を示す第２の数Ｎ２（例えば、Ｎ２＝２０）より小さいか、または、ｎがこの数Ｎ２と等しくなったかのいずれかである。数Ｎ２は、スペクトルノイズ密度を推定する後続の操作における計算時間を制限する等の方法により選択される。ｎがＮ２より小さい場合には、ノイズモデルの構築を補助するように、同質のフレームが前のフレームに追加され、ｎが漸増され、次のフレームが解析される。ｎがＮ２に等しい場合には、フレームは、ｎ−１個の前の同質のフレームに追加され、ｎ個の同質のフレームからなるモデルが、ノイズの推定に利用するために記憶される。モデルの探索は、さらに、ｎを１に再設定することにより再初期化される。前のステップは、最初のモデル探索に関連する。しかしながら、モデルは一旦記憶されても、より新しいモデルによっていつでも置き換えることができる。置換条件は、これもエネルギ条件であるが、この場合には、各フレームのエネルギよりもむしろモデルの平均エネルギに属している。したがって、Ｎ個（Ｎ１＜Ｎ＜Ｎ２）のフレームを有するモデルが発見された場合には、このモデルの平均エネルギが、Ｎ個のフレームのエネルギを合計してＮで除算することにより計算され、前に記憶されているモデルのＮ’個のフレームの平均エネルギと比較される。新たなモデルの平均エネルギと、現在有効なモデルの平均エネルギとの比が、置換しきい値ＳＲより小さい場合には、新たなモデルがより良好であると考えられ、旧モデルの代わりに記憶される。そうでない場合には、新たなモデルは拒絶され、旧モデルが有効な状態に維持される。しきい値ＳＲは、１より若干大きいことが好ましい。しきい値ＳＲが１以下である場合には、最小エネルギを有する同質のフレームが、毎回記憶され、このことは、環境ノイズが、決してそれ以下に落ちることのないエネルギレベルとして考慮されるという事実に良く一致している。しかしながら、モデルの変更は、環境ノイズが増加し始めた場合には行われない。しきい値ＳＲが、１よりもずっと大きい場合には、環境ノイズおよび他の擾乱ノイズ(気息音)、または、一定のノイズに似た現象（例えば、歯擦音または摩擦により生ずる日蓋歯茎音）を十分に区別することができない。したがって、気息音、歯擦音または摩擦により生ずる口蓋歯茎音に固定されたノイズモデルに基づいてノイズを消滅させることは、デノイズされた信号を不明瞭にすることになる。好ましい実施形態においては、しきい値ＳＲは約１．５である。このしきい値を超えると、旧モデルが維持され、このしきい値を下回ると、新たなモデルによって置き換えられる。いずれの場合においても、探索は、入力信号ｕ（ｔ）の最初のフレームの読込みを再開し、かつ、ｎを１に設定することにより、再初期化される。ノイズモデルの定式化をより信頼性の高いものにするために、有効な信号内に会話の伝達が検出された場合には、無効にされるモデルの探索が行われる。会話検出に一般に使用されるディジタル信号処理は、一定の現象、特に、母音または有声音に一致する現象の特徴的な周期性スペクトルに基づいて、会話の存在を識別することができる。この無効化の目的は、有効な現象である一定の音が、ノイズとして捉えられること防止し、これらの音に基づくノイズモデルが記憶されることを防止し、かつ、モデルの定式化後にノイズを抑制することが、その後に同様の音の全てを抑制する傾向になることを防止することである。さらに、モデルの再更新を可能とするように、モデルの探索の再初期化を時々行うことが望ましい一方、環境ノイズの増加は、ＳＲが１よりあまり大きくないために考慮されない。環境ノイズは、実際には、例えば、飛行機または他の飛行体、地上または水上の乗り物のエンジンの加速中に、大幅かつ迅速に増大することがある。しかしながら、しきい値ＳＲにより、平均ノイズエネルギが非常に迅速に増大したときには、前のノイズモデルが維持される。この状況を解消することが望まれる場合には、種々の方法を行うことが可能であるが、最も簡易な方法は、新たなモデルを探索し、かつ、このモデルを、該モデルと前に記憶されているモデルとの間の比較とは無関係に、アクティブモデルとなるようにすることにより、周期的に再初期化することである。この周期性は、想定した適用例における発声の平均存続時間に基づいて定めることができ、例えば、発声の持続時間は、飛行機の搭乗員の場合は平均して数秒であり、再初期化は、数秒の周期で行うことができる。記憶されたノイズモデルに基づいて行われるノイズ除去処理は、以下の方法で、入力信号のフーリエ変換を行うことにより遂行される。入力信号のフーリエ変換は、フレームごとに行われ、各フレームごとに、周波数空間内のＰ個のサンプルであって、各々が１〜Ｐまで変化するｉによって周波数Ｆｅ／ｉに一致するサンプルを提供する。これらのＰ個のサンプルは、ヴィーナーフィルタで処理されることが好ましい。ヴィーナーフィルタは、各々が周波数空間の周波数Ｆｅ／ｉの内の１つに対応するＰ個の係数を有するディジタルフィルタである。周波数空間における入力信号の各サンプルに、フィルタの各係数Ｗｉが乗じられる。このように処理されたＰ個のサンプルの組は、周波数空間内において、デノイズされた信号フレームを構成する。音声認識アプリケーションのために、これらの周波数空間内のデノイズされたフレームを直接使用することができる。デノイズされた現実の音声信号を再構成することを望むアプリケーションに対しては、各フレームに対する逆フーリエ変換、ディジタル／アナログ変換およびスムージングが連続して行われる。ヴィーナーフィルタの係数Ｗｉは、ノイズを含む入力信号のスペクトル密度および記憶されているノイズモデルのスペクトルノイズ密度から計算される。入力信号のフレームのスペクトル密度は、ノイズを含む入力信号をフーリエ変換することにより得られる。各周波数に対して、各周波数Ｆｅ／ｉごとの値ＤＳｉを得るために、フーリエ変換により供給されるサンプルの二乗係数を得る。ノイズモデルのスペクトル密度に対して、Ｐ個のサンプルの二乗係数が、各フレームに対して計算され、全く同じ周波数Ｆｅ／ｉに対応するＮ個の二乗係数がノイズモデルのＮ個のフレームにわたって平均される。ノイズ密度のＰ個の値ＤＢｉが得られる。したがって、周波数Ｆｅ／ｉに対するヴィーナーフィルタの係数Ｗｉは、Ｗｉ＝１−ＤＢｉ／ＤＳｉである。入力信号フレームのフーリエ変換のランクｉのサンプルにＷｉが乗じられ、このようにして、Ｐ個のヴィーナーフィルタの係数を乗じられた連続したＰ個のサンプルがデノイズされた入力フレームを構成する。この発明に係る処理は、必要な計算プログラムを含みかつアナログ／ディジタル変換器により供給されるディジタル化された信号サンプルを受信する、一般的なコンピュータを用いて実行することができる。また、この処理は、ディジタル信号プロセッサに基づく特殊なコンピュータを用いても実行することができ、それによって、より多くのディジタル信号をより迅速に処理することができる。図４は、デノイズされる音声信号を受信し、デノイズされた音声信号を実時間で供給する特殊なコンピュータの概略の構造例を示している。コンピュータは、２つのディジタル信号プロセッサＤＳＰ１，ＤＳＰ２と、これらのプロセッサに接続された作業メモリを具備している。ノイズを含む音声信号は、アナログ／ディジタル変換器Ａ／ＤＣを通って、（「ファーストイン・ファーストアウト」形式の）２つのバッファメモリＦＩＦＯ１，ＦＩＦＯ２内に並列に記憶される。これらのメモリの一方は、プロセッサＤＳＰ１に接続され、他方はプロセッサＤＳＰ２に接続されている。プロセッサＤＳＰ１は、マスタープロセッサであり、本質的にノイズモデルを探索するために演算を行う。したがって、プロセッサＤＳＰ１は、少なくとも以下の演算を実行するようにプログラムされている。すなわち、フレームのエネルギの計算、エネルギの平均の計算、しきい値との比較、Ｎ１，Ｎ２番目のフレームの比較等である。また、ＤＳＰ１は、ノイズモデルに対するスペクトルエネルギ密度をも計算する。このプロセッサＤＳＰ１は、計算中の現在のフレームサンプル、現在のフレームのエネルギ、１または複数の前のフレームのエネルギ、ノイズモデルのフーリエ変換サンプルを記憶する動的作業メモリＤＲＡＭ１に結合されている。また、プロセッサＤＳＰ１は、フーリエ変換に使用されるテーブルおよび比較しきい値Ｓ，ＳＲを記憶する静的作業メモリにも接続されている。プロセッサＤＳＰ２は、本質的に、デノイズされる信号のフーリエ変換の計算、この信号のスペクトル密度の計算、ウィーン係数の計算、ヴィーナーフィルタリングおよび必要がある場合には逆フーリエ変換を行う。プロセッサＤＳＰ２は、動的作業メモリＤＲＡＭ２および静的作業メモリＳＲＡＭ２に接続されている。メモリＤＲＡＭ２は、現在のフレームサンプル、フーリエ変換の計算結果、信号のスペクトルエネルギ密度の計算結果、計算されたウィーン係数等を記憶する。メモリＳＲＡＭ２は、特に、フーリエ変換の計算に用いられるテーブルを記憶する。プロセッサＤＳＰ２により計算された、デノイズされた音声信号サンプルは、循環バッファメモリＦＩＦＯ３を介して、ディジタル／アナログ変換器Ｄ／ＡＣに伝達され、かつ、アナログ形態でデノイズされた音声信号を再構成するスムージング回路に伝達される。

【手続補正書】特許法第１８４条の８第１項【提出日】平成１１年７月２６日（１９９９．７．２６）【補正内容】請求の範囲１．ノイズを含む音声入力信号内のノイズモデルを自動的に探索する処理方法であって、入力信号をディジタル化し、これらの信号を、発見されたモデルに基づいて処理する方法において、入力信号を、それぞれ、Ｐ個のサンプルからなる連続したフレームに切断し、予期した特徴のノイズを有するＮ個の連続したフレームを探索し、入力信号のノイズ除去処理に有用なノイズモデルを構築するために、Ｎ×Ｐ個の対応するサンプルを記憶し、かつ、新たなノイズモデルを発見するために探索を反復して繰り返し、新旧２つのモデルのそれぞれの特徴に従って、旧モデルの代わりに新たなモデルを記憶するか、または、旧モデルを維持するかのいずれかにより、入力信号自体の中のノイズモデルの探索を繰り返し、ノイズモデルの探索が、相互に近似するエネルギを有し、最小値Ｎ１と最大値Ｎ２との間に配されるＮ個の連続したフレームを探索し、発見したＮ個の連続したフレームの平均エネルギを計算し、この平均エネルギと前に記憶されているアクティブモデルのフレームの平均エネルギとの比が、所定の置換しきい値よりも小さい場合に、新たなアクティブモデルとして、Ｎ×Ｐ個のサンプルを記憶することからなることを特徴とする処理方法。２．Ｎ個の連続したフレームの探索が、少なくとも、ｎ−１個の連続したフレームを既に具備する定式化モデルに追加することができる最新のｎ番目のフレームのエネルギを計算するステップと、このエネルギと、前のｎ−１番目のフレームのエネルギとの比を計算するステップと、これらの比を１より小さい下位しきい値および１より大きい上位しきい値と比較するステップと、比較の結果によって該ｎ番目のフレームを定式化モデルに組み込むことができるか否かを判断するステップとを含むことを特徴とする請求項１記載の処理方法。３．前記Ｎ個の連続したフレームの探索が、最新のフレームのエネルギと１以上の他の前のフレームのエネルギとの比を計算し、しきい値と比較し、比較の結果に依存して定式化モデル内にそのフレームを組み入れることをも含むことを特徴とする請求項２記載の処理方法。４．ｎ番目のフレームがモデル内に組み込まれる場合には、ｎがＮ２より小さい場合に、モデルの定式化を続けるように、ｎが１だけ漸増され、反対の場合には、モデルの定式化が中止され、ｎ個のフレームの平均エネルギが計算され、前記比の値に従って、前のモデルが維持され、または、定式化モデルにより置き換えられ、新たなモデルの繰り返し探索が再開されることを特徴とする請求項２または請求項３記載の処理方法。５．前記ｎ番目の最新フレームが、定式化モデルに組み込まれない場合に、 − ｎ−１個のフレームからなるモデルの定式化が中止され、 − ｎがＮ１より大きい場合には、定式化モデルのフレームの平均エネルギと、前に記憶されているモデルのフレームの平均エネルギとの比が計算され、その比の値に従って、前のモデルが維持され、または、新たなモデルによって置き換えられ、 − 新たなモデルの繰り返し探索が再開されることを特徴とする請求項２または請求項３記載の処理方法。６．入力信号内の会話の存在が探索され、会話の存在が検出された場合には、新たなモデルの探索が無効にされることを特徴とする請求項１から請求項５のいずれかに記載の処理方法。７．新たなモデルおよび前のモデルのそれぞれの特徴に関わりなく、新たなモデルを強制的に採用することにより、前記探索が定期的に再初期化されることを特徴とする請求項１から請求項６のいずれかに記載の処理方法。８．前記ノイズを含む信号を、発見されたモデルに基づいて、該モデルに対応するノイズを可能な限り消滅させる観点から、スペクトルフィルタリングにより処理することを特徴とする請求項１から請求項７のいずれかに記載の処理方法。

───────────────────────────────────────────────────── 【要約の続き】のパターンを発見することにより得られる。

Claims

【特許請求の範囲】１．ノイズを含む音声入力信号内のノイズモデルを自動的に探索する処理方法であって、入力信号をディジタル化し、これらの信号を、発見されたモデルに基づいて処理する方法において、入力信号を、それぞれ、Ｐ個のサンプルからなる連続したフレームに切断し、予期した特徴のノイズを有するＮ個の連続したフレームを探索し、入力信号のノイズ除去処理に有用なノイズモデルを構築するように、Ｎ×Ｐ個の対応するサンプルを記憶し、かつ、新たなノイズモデルを発見するように探索を反復して繰り返し、新旧２つのモデルのそれぞれの特徴に従って、前のモデルの代わりに新たなモデルを記憶するか、または、前のモデルを維持するかのいずれかにより、入力信号自体の中のノイズモデルの探索を繰り返すことを特徴とする処理方法。２．ノイズモデルの探索が、相互に近似するエネルギを有し、最小値Ｎ１と最大値Ｎ２との間に配されるＮ個の連続したフレームを探索し、発見したＮ個の連続したフレームの平均エネルギを計算し、この平均エネルギと前に記憶されているアクティブモデルのフレームの平均エネルギとの比が、所定の置換しきい値よりも小さい場合に、新たなアクティブモデルの形態で、Ｎ×Ｐ個のサンプルを記憶することからなることを特徴とする請求項１記載の処理方法。３．Ｎ個の連続したフレームの探索が、少なくとも、ｎ−１個の連続したフレームを既に具備する定式化モデルに追加することができる最新のｎ番目のフレームのエネルギを計算するステップと、このエネルギと、前のｎ−１番目のフレームのエネルギとの比を計算するステップと、これらの比を１より小さい下位しきい値および１より大きい上位しきい値と比較するステップと、比較の結果によって該ｎ番目のフレームを定式化モデルに組み込むことができるか否かを判断するステップとを含むことを特徴とする請求項２記載の処理方法。４．前記Ｎ個の連続したフレームの探索が、最新のフレームのエネルギと１以上の他の前のフレームのエネルギとの比を計算し、しきい値と比較し、比較の結果に依存して定式化モデル内にそのフレームを組み入れることをも含むことを特徴とする請求項３記載の処理方法。５．ｎ番目のフレームがモデル内に組み込まれる場合には、ｎがＮ２より小さい場合に、モデルの定式化を続けるように、ｎが１だけ漸増され、反対の場合には、モデルの定式化が中止され、ｎ個のフレームの平均エネルギが計算され、前記比の値に従って、前のモデルが維持され、または、定式化モデルにより置き換えられ、新たなモデルの繰り返し探索が再開されることを特徴とする請求項３または請求項４記載の処理方法。６．前記ｎ番目の最新フレームが、定式化モデルに組み込まれない場合に、 − ｎ−１個のフレームからなるモデルの定式化が中止され、 − ｎがＮ１より大きい場合には、定式化モデルのフレームの平均エネルギと、前に記憶されているモデルのフレームの平均エネルギとの比が計算され、その比の値に従って、前のモデルが維持され、または、新たなモデルによって置き換えられ、 − 新たなモデルの繰り返し探索が再開されることを特徴とする請求項３または請求項４記載の処理方法。７．入力信号内の会話の存在が探索され、会話の存在が検出された場合には、新たなモデルの探索が無効にされることを特徴とする請求項１から請求項６のいずれかに記載の処理方法。８．新たなモデルおよび前のモデルのそれぞれの特徴に関わりなく、新たなモデルを強制的に採用することにより、前記探索が定期的に再初期化されることを特徴とする請求項１から請求項７のいずれかに記載の処理方法。９．前記ノイズを含む信号を、発見されたモデルに基づいて、該モデルに対応するノイズを可能な限り消滅させる観点から、スペクトルフィルタリングにより処理することを特徴とする請求項１から請求項８のいずれかに記載の処理方法。