JP2004254329A - ウィンドノイズを抑圧するシステム - Google Patents

Abstract

【課題】 ウィンドノイズが存在する場合、特殊なハードウェアを必要とせずに信号を保存する一方で、音響データを解析し、ウィンドノイズを選択的に抑制すること。
【解決手段】
本発明は、ウィンドノイズを選択的に抑制する一方で、音響データにおける狭帯域信号を保存する方法、装置、およびコンピュータプログラムを含む。１つ以上のマイクロホンからの音は、バイナリデータにデジタル化される。時間周波数変換は、一連のスペクトルを生成するためにデータに適用される。スペクトルは、ウィンドノイズおよび狭帯域信号の存在を検出するために解析される。ウィンドノイズは、選択的に抑制される一方で、狭帯域信号を保存する。狭帯域信号がウィンドノイズによってマスクされる場合、時間および周波数を通じて内挿される。その後、聴かれ得る信号スペクトル推定からの時系列が合成される。
【選択図】 図１

Description

（関連出願）
本出願は、米国特許仮出願第６０／４４９，５１１号（２００３年２月２１日出願）の利益を主張する。

（発明の背景）
（１．発明の分野）
本発明は、音響の分野に関し、特に、ウィンドノイズを抑制する方法および装置に関する。

（２．関連技術の説明）
マイクロホンを風または強い通風が存在する状態で用いる場合、あるいは、話し手の息がマイクロホンに直接当たる場合、マイクロホンにおける風圧のゆらぎによって、明確な衝撃性低周波数吹音が引き起こされ得る。この吹音（ｐｕｆｆｉｎｇ ｓｏｕｎｄ）は、音響信号の品質を著しく劣化し得る。この問題に対するほとんどの解決策は、マイクロホンの周囲に、フェアリング、オープンセルフォーム、またはシェル等の風に対する物理的障壁の使用を含む。このような物理的障壁は、常に実用的または実現可能であるとは限らない。物理的障壁法は、風速が高い場合に失敗することもある。この理由で、従来技術は、ウィンドノイズを電子的に抑制する方法を含む。

例えば、非特許文献１は、マイクロホンの近傍のウィンドノイズレベルを予測するために、熱線風速計を用いて局所的風速を測定する方法を提供した。特許文献１および特許文献２の２つの特許は、両方とも、レコーディングを行うために２つのマイクロホンが用いられることを必要とし、一般的に単一のマイクロホンを用いることができない。

これらの従来技術の発明は、適用可能性を著しく制限し、かつ、コストを上昇させる特殊なハードウェアの使用を必要とする。従って、ウィンドノイズが存在する場合、特殊なハードウェアを必要とせずに信号を保存する一方で、音響データを解析し、ウィンドノイズを選択的に抑制することが有利である。
ＳｈｕｓｔおよびＲｏｇｅｒｓ、「Ｅｌｅｃｔｒｏｎｉｃ Ｒｅｍｏｖａｌ ｏｆ Ｏｕｔｄｏｏｒ Ｍｉｃｒｏｐｈｏｎｅ Ｗｉｎｄ Ｎｏｉｓｅ」、１９９８年１０月１３日、Ａｃｏｕｓｔｉｃａｌ Ｓｏｃｉｅｔｙ ｏｆ Ａｍｅｒｉｃａ第１３６回会合 米国特許第５，５６８，５５９号明細書 米国特許第５，１４６，５３９号明細書

本発明は、ウィンドノイズが存在する場合、特殊なハードウェアを必要とせずに信号を保存する一方で、音響データを解析し、ウィンドノイズを選択的に抑制することを目的とする。

本発明により、信号におけるウィンドノイズを減衰する方法であって、変換されたデータを取得するために、該信号に対して時間周波数変換を実行するステップと、ウィンドノイズによって占められたスペクトルを識別するために、該変換されたデータに対して信号解析を実行するステップと、該変換されたデータにおけるウィンドノイズを減衰するステップと、該変換されたデータから時系列を構築するステップとを包含する、方法が提供され、それにより、上記目的が達成される。

信号解析を実行する前記ステップは、前記変換されたデータのスペクトルの特徴を解析するステップと、該解析するステップに基づいて、証明のための重みを割り当てるステップと、ウィンドノイズの存在を決定するために、該証明のための重みを処理するステップとをさらに包含してもよい。

前記解析するステップは、ピーク閾値を超過する信号対雑音比（ＳＮＲ）を有するピークを、ウィンドノイズから発生するピークではないと識別するステップをさらに包含してもよい。

前記解析するステップは、特定の基準よりも鋭く、かつ狭い前記スペクトルにおけるピークを、目的の信号から発生するピークとして識別するステップをさらに包含してもよい。

前記識別するステップは、前記最高ポイントと、該最高ポイントの両側に隣接するポイントとの間の平均差をとることによって、ピーク幅を測定してもよい。

前記解析するステップは、前記変換されたデータの現在のスペクトルにおけるピークを、該変換されたデータの前のスペクトルからのピークと比較することによって、該ピークの安定性を決定するステップと、安定したピークを、ウィンドノイズから発生するピークではないと識別するステップとをさらに包含してもよい。

前記解析するステップは、複数のマイクロホンからの信号からのピークの位相および振幅の差を決定するステップと、位相および振幅の差が差の閾値を超過するピークを識別して、該ピークを、ウィンドノイズから発生するピークとしてタグ付けするステップとをさらに包含してもよい。

前記ウィンドノイズを減衰するステップは、ウィンドノイズによって占められた前記スペクトルの部分を抑制するステップと、目的の信号によって占められた部分を保存するステップとを包含してもよい。

変換されたデータの低ノイズバージョンを生成するステップをさらに包含してもよい。

ウィンドノイズによってマスクされた前記時間または周波数領域を通じて内挿または外挿することによって、信号の再構築を実行するステップをさらに包含してもよい。

本発明により、ウィンドノイズを抑制する装置であって、時間ベースの信号を周波数ベースのデータに変換するように構成された時間周波数変換コンポーネントと、ウィンドノイズによって占められたスペクトルを識別するように構成された信号アナライザと、該信号アナライザから取得された結果を用いて、該周波数ベースでウィンドノイズを最小化するように構成されたウィンドノイズ減衰コンポーネントと該周波数ベースのデータに基づいて、時系列を構築するように構成された時系列合成コンポーネントとを備える装置が提供され、それにより、上記目的が達成される。

前記信号アナライザは、前記周波数ベースのデータのスペクトルの特徴を解析し、該特徴を解析した結果に基づいて、証明のための重みを割り当て、ウィンドノイズの存在を決定するために該証明のための重みを処理するように構成されてもよい。

前記信号アナライザは、ピーク閾値を超過する信号対雑音比（ＳＮＲ）を有するピークを、ウィンドノイズから発生するピークではないと識別することによって、前記特徴を解析するように構成されてもよい。

前記信号アナライザは、特定の基準よりも鋭く、かつ狭い前記スペクトルにおけるピークを、目的の信号から発生するピークとして識別することによって、前記特徴を解析するように構成されてもよい。

前記信号アナライザは、前記最高ポイントと、該最高ポイントの両側に隣接するポイントとの間の差の平均をとることによってピーク幅を測定するように構成されてもよい。

前記信号アナライザは、前記周波数ベースのデータの現在のスペクトルにおけるピークを、該周波数ベースのデータの前のスペクトルからのピークと比較することによってピークの安定性を決定するステップと、安定したピークをウィンドノイズから発生したピークではないと識別するステップとによって解析するように構成されてもよい。

前記信号アナライザは、複数のマイクロホンからの信号からのピークの位相および振幅の差を決定するステップと、位相および振幅の差が差の閾値を超過するピークを識別し、該ピークをウィンドノイズから発生するピークとしてタグ付けするステップとによって解析するように構成されてもよい。

前記ウィンドノイズ減衰コンポーネントは、ウィンドノイズによって占められた前記スペクトルの部分を抑制するステップと、目的の信号によって占められた部分を保存するステップとによってウィンドノイズを減衰するように構成されてもよい。

前記ウィンドノイズ減衰コンポーネントは、変換されたデータの低ノイズバージョンを生成することによって、ウィンドノイズを減衰するように構成されてもよい。

ウィンドノイズによってマスクされた前記時間または周波数領域を通じて内挿または外挿することによって、前記信号を再構築するように構成された再構築コンポーネントをさらに備えてもよい。

（発明の要旨）
本発明は、音響データにおけるウィンドノイズを解析合成によって抑制する方法、装置、およびコンピュータプログラムを含む。入力信号は、人のスピーチを表し得るが、本発明は、音楽または機械等の任意のタイプの狭帯域音響データの品質を向上するために用いられ得ることが理解されるべきである。データは、単一のマイクロホンから生じ得るが、いくつかのマイクロホンを単一の処理済みチャネル、すなわち、「ビームフォーミング」として公知のプロセスに組み合わせた出力でもあり得る。本発明は、いくつかのマイクロホンが用いられた場合に、さらなる情報が利用可能であることを利用する方法をさらに提供する。

本発明の好適な実施形態は、音響データにおけるウィンドノイズを以下のように減衰させる。マイクロホンからの音の入力は、バイナリデータにデジタル化される。その後、一連の周波数スペクトルを生成するために、時間周波数変換（例えば、短時間フーリエ変換）が適用される。その後、音声、音楽、または機械類等のウィンドノイズおよび狭帯域信号の存在を検出するために、周波数スペクトルが解析される。ウィンドノイズが検出された場合、これは選択的に抑制される。その後、ウィンドノイズによって信号がマスクされる本来の位置で、時間および周波数に対する外挿によって信号が再構築される。最後に、聴かれ得る時系列が合成される。本発明の別の実施形態において、システムは、時間周波数変換を実行した後、すべての低周波数の広帯域ノイズを抑制し、その後、この信号を合成する。

本発明は、解析を実行するコンピュータを除いて、特殊なハードウェアが必要とされないという有利な点を有する。単一のマイクロホンからのデータが必要であるが、このデータは、いくつかのマイクロホンが利用可能である場合にも適用され得る。結果として生じた時系列は、心地よく聴かれる。なぜなら、やかましいウィンドパフィングノイズ（ｗｉｎｄ ｐｕｆｆｉｎｇ ｎｏｉｓｅ）が、ほぼ一定の低レベルノイズおよび信号と置換されているからである。

本発明の１つ以上の実施形態の詳細は、添付の図面および以下の説明で示される。本発明の他の特徴、目的、および有利な点は、説明および図面ならびに請求項から明らかである。

本発明、ならびに、本発明のさらなる局面および有利な点をより完璧に説明するために以下の図が参照される。

本発明は、ウィンドノイズが存在する場合、特殊なハードウェアを必要とせずに信号を保存する一方で、音響データを解析し、ウィンドノイズを選択的に抑制し、ウィンドノイズによって著しく劣化されたデータから良質なスピーチをもたらす。

（発明の詳細な説明）
ウィンドノイズを抑制するための方法、装置、およびコンピュータプログラムが記載される。本発明のより詳細な説明を提供するために、以下の記載において、種々の特定の詳細が示される。しかしながら、本発明がこれらの特定の詳細なしで実用化され得ることが、当業者に明らかである。他の例において、本発明を不明瞭にしないために、周知の詳細は提供されない。

（動作環境の概観）
図１は、本発明のウィンドノイズ減衰システムを実現するために用いられ得るプログラム可能な処理システムのブロック図を示す。音響信号は、複数の変換器マイクロホン１０（これらのうちの１つが示され得る）にて受信される。変換器マイクロホンは、音響信号を表す、対応する電気信号を生成する。変換器マイクロホン１０からの信号は、その後、アナログデジタル変換器１４によってデジタル化される前に、好適には、関連した増幅器１２によって増幅される。アナログデジタル変換器１４の出力は、処理システム１６に印加され、これは、本発明の風減衰法を応用する。処理システムは、示されるように、ＣＰＵバス２４によって接続されるＣＰＵ１８、ＲＯＭ２０、ＲＡＭ２２（フラッシュＲＯＭ等、書き込み可能であり得る）、および磁気ディスク等のオプションの格納デバイス２６を備え得る。

エンハンスメントプロセスの出力は、音声認識システム等の他の処理システムに印加されるか、ファイルに保存されるか、または、人の聞き手にとって有利になるように再生され得る。再生は、通常、デジタルアナログ変換器２８によって、処理されたデジタル出力ストリームをアナログ信号に変換し、かつ、オーディオスピーカ３２（例えば、拡声器、ヘッドホンまたはイアホン）を駆動する出力増幅器３０でアナログ信号を増幅することによって達成される。

（システムの機能的概観）
本発明のウィンドノイズ抑制システムの１実施形態は、以下のコンポーネントから構成される。これらのコンポーネントは、図１に示される信号処理システムにおいて、処理ソフトウェア、ハードウェアプロセッサ、またはこれらの組み合わせとして実現され得る。図２は、タスクのウィンドノイズ抑制を実行するために、これらのコンポーネントが共に動作する態様を示す。

本発明の第１の機能コンポーネントは、時系列信号の時間周波数変換である。

本発明の第２の機能コンポーネントは、連続的またはゆっくりと変化するバックグラウンドノイズを推定する手段を提供するバックグラウンドノイズ推定である。動的バックグラウンドノイズ推定は、連続的バックグラウンドノイズのみを推定する。好適な実施形態において、パワー検出器は、複数の周波数帯域の各々において動作する。データのノイズのみの部分は、ノイズの平均値をデシベル（ｄＢ）で生成するために用いられる。

動的バックグラウンドノイズ推定は、第３の機能コンポーネント、すなわち、過渡状態検出と密接に関連して動作する。好適には、パワーが、周波数帯域における特定の数のデシベル（通常、６〜１２ｄＢ）よりも大きい数の分だけ平均値を超過した場合、対応する時間周期は、過渡状態を含むものとしてフラグされ、連続的バックグラウンドノイズスペクトルを推定するためには用いられない。

第４の機能コンポーネントは、ウィンドノイズ検出器である。これは、スペクトルドメインにおける、典型的なパターンのウィンドバフェットであり、かつ、これらが時間とともに変化する態様を探す。このコンポーネントは、以下のステップを適用するか否かの決定を支援する。ウィンドバフェッティングが検出されない場合、以下のコンポーネントは、適宜、省略され得る。

第５の機能コンポーネントは、信号とノイズとの間を弁別し、かつ、信号を後で保存および回復するために信号にタグ付けする信号解析である。

第６の機能コンポーネントは、ウィンドノイズ減衰である。このコンポーネントは、ウィンドノイズによって占められたことが見出されたスペクトルの部分を選択的に減衰し、存在する場合、ウィンドノイズによってマスクされた信号を再構築する。

第７の機能コンポーネントは、時系列合成である。人または機械によって聴かれ得る出力信号が合成される。

これらのコンポーネントのより詳細な説明は、図２〜図７と共に与えられる。

（風抑制の概観）
図２は、コンポーネントが本発明において用いられる態様を示すフローチャートである。図２に示される方法は、図１に示されるアナログデジタル変換器１４からの出力として生成された複数のデータサンプルからなる、ウィンドノイズによって乱された入来する音響信号を品質向上するために用いられる。方法は、開始状態で開始する（ステップ２０２）。入来するデータストリーム（例えば、前に生成された音響データファイルまたはデジタル化されたライブ音響信号）は、サンプルのセットとしてコンピュータメモリに読み込まれる（ステップ２０４）。好適な実施形態において、本方法は、通常、連続的音響データストリームの部分を表すデータの「移動窓（ｍｏｖｉｎｇ ｗｉｎｄｏｗ）」を品質向上するために適用され、これにより、データストリーム全体が処理される。通常、品質向上されるべき音響データストリームは、もとの音響データストリームの持続時間に関係なく、固定した長さの一連のデータ「バッファ」として表される。好適な実施形態において、バッファの長さは、８または１１ｋＨｚでサンプリングされる場合、５１２個のデータポイントである。データポイントの長さは、サンプリングレートに比例してスケーリングされる。

現在のウィンドウのサンプルは、事前フィルタリング、シェーディング等の適切なコンディショニング動作を含み得る時間周波数変換を受ける（２０６）。短時間フーリエ変換、フィルタ解析のバンク、離散ウェーブレット変換等、任意のいくつかの時間周波数変換が用いられ得る。時間周波数変換の結果、初期時系列ｘ（ｔ）が変換データに変換される。変換データは、時間周波数表現Ｘ（ｆ，ｉ）を含み、ここで、ｔは、時系列ｘに対するサンプリングインデクスであり、ｆおよびｉは、それぞれ、Ｘの周波数および時間次元にインデックス付けされた離散変数である。時間および周波数の関数としての２次元アレイＸ（ｆ，ｉ）は、以後、「スペクトログラム（ｓｐｅｃｔｒｏｇｒａｍ）」と呼ばれる。個々の帯域ｆにおけるパワーレベルは、その後、過渡状態検出（ステップ２１０）と接続されたバックグラウンドノイズ推定（ステップ２０８）を受ける。過渡状態検出は、定常ノイズに埋め込まれた過渡信号の存在を探し、かつ、そのような過渡状態について推定された開始および終了時間を決定する。過渡状態は、探されるべき信号の例であり得るが、風によって引き起こされた「吹音」、すなわち、ウィンドノイズ、または、任意の他の衝撃的ノイズでもあり得る。バックグラウンドノイズ推定は、過渡状態間のバックグラウンドノイズパラメータの推定を更新する。バックグラウンドノイズは、ノイズの連続的部分であり、過渡状態は、連続的でないものとして定義されるので、各々が測定されるように、これらが分離される必要がある。従って、バックグラウンド推定は、過渡状態検出と平行して行われなければならない。

バックグラウンドノイズ推定を実行する実施形態は、周波数帯域ｆごとに、スライディング窓における音響パワーを平均化するパワー検出器を含む。所定の数の周波数帯域内のパワーがデシベルの特定の数ｃとして決定された閾値を超過してバックグラウンドノイズよりも大きくなった場合、すなわち、
Ｘ（ｆ，ｉ）＞Ｂ（ｆ）＋ｃ （１）
であり、ここで、Ｂ（ｆ）は、帯域ｆにおける平均バックグラウンドノイズ出力であり、ｃが閾値である。Ｂ（ｆ）は、決定されるバックグラウンドノイズ推定である。

一旦過渡信号が検出されると、バックグラウンドノイズの追跡が一時停止される。これは、過渡信号がバックグラウンドノイズ推定プロセスを汚染しないように行われる必要がある。パワーが閾値よりも低くなってもとに戻った場合、バックグラウンドノイズの追跡が再び開始される。閾値ｃが、１実施形態において、信号の中に過渡状態がないと想定される最初のいくつかのバッファ信号を測定することによって取得される。１実施形態において、ｃは、６〜１２ｄＢの間の範囲に設定される。代替的実施形態において、ノイズ推定は、動的である必要がなく、１回測定され得（例えば、本発明を実現するコンピュータによって走行するソフトウェアのブートアップの間）るか、または、必ずしも頻度に依存し得ない。

次に、ステップ２１２において、スペクトログラムＸは、ウィンドノイズの存在について走査される。走査は、ウィンドノイズに典型的なスペクトルパターン、およびこれらが時間と共に変化する態様を探すことによって行われる。このコンポーネントは、以下のステップを適用するか否かを決定することを支援する。ウィンドノイズが検出されなかった場合、ステップ２１４、２１６および２１８は、省略され得、プロセスは、ステップ２２０に飛ばされる。

ウィンドノイズが検出された場合、過渡状態検出器をトリガーした変換データは、この後、信号解析機能に適用される（ステップ２１４）。このステップは、目的の信号を検出およびマークし、次に、システムが目的の信号を保存することを可能にする一方で、ウィンドノイズを減衰する。例えば、スピーチが目的の信号である場合、音声検出器は、ステップ２１４において適用される。このステップは、「信号解析」と題される節において、より詳細に記載される。

次に、低ノイズスペクトログラムＣが、ウィンドノイズによって占められた周波数でＸを選択的に減衰することによって生成される（ステップ２１６）。このコンポーネントは、ウィンドノイズによって占められたことが見出されたスペクトルの部分を選択的に減衰する一方で、信号によって占められたことが見出されたスペクトルのこれらの部分を保存する。次のステップ、すなわち、信号の再構築（ステップ２１８）は、存在する場合、ウィンドバフェット間の期間において検出された信号コンポーネントを内挿または外挿することによって、ウィンドノイズでマスクされた信号を再構築する。ウィンドノイズ減衰および信号再構築ステップのより詳細な説明は、「ウィンドノイズ減衰および信号再構築」と題される節において、与えられる。

ステップ２２０において、低ノイズ出力時系列ｙが合成される。時系列ｙは、人または自動スピーチ認識システム（Ａｕｔｏｍａｔｅｄ Ｓｐｅｅｃｈ Ｒｅｃｏｇｎｉｔｉｏｎ ｓｙｓｔｅｍ）によって聴くために適切である。好適な実施形態において、時系列は、逆フーリエ変換によって合成される。

ステップ２２２において、任意の入力データが処理されるべき状態で残っているか否かが決定される。残っている場合、プロセス全体が音響データの次のサンプルに対して繰返される（ステップ２０４）。そうでない場合、処理は終了する（ステップ２２４）。最終の出力は、時系列であり、ここで、ウィンドノイズが減衰される一方で、狭帯域信号が保存される。

コンポーネントのいくつかの順序は、反対にされ得るか、省略すらされ得、さらに、本発明によってカバーされ得る。例えば、特定の実施形態において、ウィンドノイズ検出器は、バックグラウンドノイズ推定の前に実行されるか、または、全体が省略すらされ得る。

（信号解析）
信号解析の好適な実施形態は、信号チャネル（マイクロホン）システムにおけるウィンドノイズから狭帯域信号を区別するために、少なくとも３つの異なった特徴を用いる。さらなる第４の特徴は、複数のマイクロホンが利用可能である場合に用いられ得る。これらの特徴を用いた結果は、検出決定を下すように組み合わされる。

これらの特徴は、
１）狭帯域信号のスペクトルにおけるピークは、ウィンドノイズのピークとは異なって調和的に関連付けられ、
２）これらの周波数は、ウィンドノイズのものよりも狭く、
３）これらはウィンドノイズよりも長期間続き、
４）それらの位置および振幅の変化率は、ウィンドノイズのものほど急激でなく、
５）（複数のマイクロホンのみ）これらは、マイクロホン間で、ウィンドノイズよりも強力に相関する。

本発明の信号解析（ステップ２１４において実行される）は、非周期的ウィンドノイズから区別するために、目的の信号の準周期的性質を利用する。これは、スピーチ、音楽、およびモーター騒音を含む、種々の準周期的音響波形が、ゆっくりとした時変振幅、周波数および位相が変調された正弦波の和

として表され得、ここで、正弦波周波数は、基本周波数ｆ_０の倍数あり、Ａ_ｋ（ｎ）は、各コンポーネントごとの時変振幅である。

ボイス等の準周期的信号のスペクトルは、対応する高調波周波数で有限ピークを有する。さらに、すべてのピークは、任意の２つの隣接し合うピーク間の周波数帯域および距離に一様に分布し得る。

準周期的信号と対照的に、ウィンドノイズ等のノイズのような信号は、明瞭な高調波構造を有しない。これらの周波数および位相は、ランダムであり、短時間で変化する。その結果、ウィンドノイズのスペクトルは、不規則に間隔を空けたピークを有する。

ピークの調和の性質の観察と並んで、３つの他の特徴が用いられる。第１の、大抵の場合、ノイズの密な周波数コンポーネントのオーバーラッピング効果のために、低周波数帯域におけるウィンドノイズスペクトルのピークは、狭帯域信号のスペクトルにおけるピークよりも幅広い。第２に、ウィンドノイズスペクトルの隣接し合うピーク間の距離もまた一貫性がない（非一定）。最後に、狭帯域信号を検出するために用いられる別の特徴は、それらの相対的に一時的安定性を有する。狭帯域信号のスペクトルは、概して、ウィンドノイズのものよりもゆっくりと変化する。従って、ピーク位置および振幅の変化率は、ウィンドノイズと信号との間を区別するために特徴としても用いられる。

（信号解析の例）
図３は、ただ一つのチャネルが存在する場合、ウィンドノイズと目的の信号との間を区別するために、本発明において用いられる基本スペクトルの特徴のいくつかを示す。ここで用いられるアプローチは、発見的方法に基づく。特に、これは、音声スピーチのスペクトログラムを観察する場合、通常、複数の狭いピーク３０２が検出され得るという観察に基づく。他方、ウィンドノイズのスペクトログラムを観察した場合、ピーク３０４は、スピーチ３０２のピークよりも幅が広い。本発明は、スペクトログラムの隣接し合うピーク間の各ピークの幅および距離を測定し、かつ、これらを、パターンによって、可能なウィンドノイズピークまたは可能な高調波ピークに分類する。従って、ウィンドノイズと目的の信号との間の区別がなされ得る。

図４は、複数のマイクロホンが利用可能である場合、ノイズと目的の信号との間を区別するために、本発明において用いられる基本スペクトルの特徴のいくつかを示す例示的信号グラフである。実線は、１つのマイクロホンからの信号を示し、点線は、別の近傍のマイクロホンからの信号を示す。

複数のマイクロホンが存在する場合、本発明は、図３に示される発見的規則に加えて、ウィンドノイズを区別するために、さらなる特徴を用いる。この特徴は、マイクロホン間の分離に依存して、音響信号について、特定の最大位相および振幅差が予測される（すなわち、信号がマイクロホン間で高度に相関する）という観察に基づく。対照的に、ウィンドノイズが、マイクロホンメンブレンにおける無秩序な圧力変動から生成されるので、それが生成する圧力の変化は、マイクロホン間で相関しない。従って、他のマイクロホンからのスペクトルピーク４０２と対応するスペクトル４０４との間の位相および振幅の差が特定の閾値を超過した場合、対応するピークは、ほとんど確実にウィンドノイズが原因である。従って、差異は、減衰のためにラベル化され得る。逆に、他のマイクロホンからのスペクトルピーク４０６と対応するスペクトル４０４との間の位相および振幅の差が特定の閾値未満である場合、対応するピークは、ほぼ確実に音響信号が原因である。従って、この差は、保存および復元のためにラベル化され得る。

（信号解析の実現）
図５Ａは、狭帯域信号検出器が信号を解析する態様を示すフローチャートである。ステップ５０４において、スペクトルの種々の特徴が解析される。その後、ステップ５０６において、各信号の特徴に関する解析に基づいて、証明のための重みが割り当てられる。最後に、ステップ５０８において、信号がウィンドノイズであるか否かを決定するために、すべての証明のための重みが処理される。

１実施形態において、ステップ５０４を達成するために、以下の特徴
１）ＳＮＲ＞Ｔを有するスペクトルにおけるすべてのピークを見出すステップ、
２）ピークがウィンドノイズから発生するかどうかを決定する方法としてピーク幅を測定するステップ、
３）ピーク間の調和関係を測定するステップ、
４）現在のバッファのスペクトルにおけるピークを前のバッファからのスペクトルと比較するステップ、
５）異なったマイクロホンからのスペクトルにおけるピークを比較するステップ（複数のマイクロホンが用いられる場合）
の任意の１つが、単独、または、それらの任意の組み合わせで用いられ得る。

図５Ｂは、１実施形態におけるウィンドノイズから狭帯域信号を区別するために、狭帯域信号検出器が種々の特徴を用いる態様を示すフローチャートである。検出器は、開始状態で開始し（ステップ５１２）、ステップ５１４におけるスペクトルにおけるすべてのピークを検出する。特定の閾値を超過する信号対雑音比（ＳＮＲ）を有するスペクトルにおけるすべてのピークは、タグ付けされる。その後、ステップ５１６において、ピークの幅が測定される。１実施形態において、これは、最高ポイントとその両側の隣接するポイントとの間の平均差をとることによって達成される。厳密に言うと、この方法は、ピークの高さを測定する。しかしながら、高さおよび幅は関連するので、ピークの高さを測定することは、ピークの幅のより効率的な解析をもたらす。別の実施形態において、幅を測定するためのアルゴリズムは、以下の通りである。第ｉ番目の周波数ビンにおけるスペクトルｓ（ｉ）のポイントを想定して、
ｓ（ｉ）＞ｓ（ｉ−１） （３）
および
ｓ（ｉ）＞ｓ（ｉ＋１） （４）
である場合、およびこのようである場合にのみ、これはピークであると考えられる。さらに、
ｓ（ｉ）＞ｓ（ｉ−２）＋７ｄＢ （５）
および
ｓ（ｉ）＞ｓ（ｉ＋２）＋７ｄＢ （６）
である場合、ピークは、音声（すなわち、目的の信号）として分類される。そうでない場合、ピークは、ノイズとして分類される（例えば、ウィンドノイズ）。等式に示される数（例えば、ｉ＋２，７ｄＢ）は、この１つの例示的実施形態であるにすぎず、他の実施形態においては改変され得る。ピークが隣接するポイントよりも著しく高い場合（等式５および等式６）、目的の信号から生じるピークとして分類される。これは、図３に示される例と一致している。ここで、対象の信号からのピーク３０２は、鋭くかつ狭い。対照的に、ウィンドノイズからのピーク３０４は広く、それほど鋭くない。上述のアルゴリズムは、相違を見分け得る。

再び、図５を参照して、ステップ５１８において、ピーク間の調和関係が測定される。ピーク間の測定は、好適には、周波数軸に沿って、ＤＣＴ（ｄｉｒｅｃｔ ｃｏｓｉｎｅ ｔｒａｎｓｆｏｒｍ）を振幅スペクトログラムＸ（ｆ，ｉ）に適用することを通じて実現されるＤＣＴ変換の第１の値によって正規化される。周波数ドメインの少なくともいくつかの領域の間に音声（すなわち、目的の信号）によって占められた場合、スペクトルの正規化されたＤＣＴは、音響データ（すなわち、音声）に対応するピッチ周期の値で最大を示す。この音声検出法の有利な点は、この方法が、スペクトルの大部分にわたって、ノイズの外乱に対してロバストであることである。これは、正規化されたＤＣＴが高いために、スペクトルの部分にわたって良好なＳＮＲが存在するにちがいないからである。

ステップ５２０において、狭帯域信号のピークの安定性が、その後、測定される。このステップは、前のスペクトルにおけるピークの周波数を現在のスペクトルの周波数と比較する。バッファからバッファにおいて安定したピークは、これらが音響源に属し、ウィンドノイズに属するのではないという追加的証明を受ける。

最後に、ステップ５２２において、複数のマイクロホンからの信号が利用可能である場合、それぞれのピークのスペクトルの位相および振幅が比較される。振幅または位相差が特定の閾値を超過するピークは、ウィンドノイズに属すると考えられる。他方、振幅または位相差が特定の閾値未満であるピークは、音響信号に属すると考えられる。これらの異なったステップからの証明は、ステップ５２４において、好適には、ファジー分類器、または人工ニューラルネットワークによって組み合わされ、所与のピークが信号またはウィンドノイズのどちらかに属するかの確率を与える。信号解析は、ステップ５２６にて終了する。

（ウィンドノイズ検出）
図６Ａおよび図６Ｂは、ウィンドノイズ検出の原理を示す（図２のステップ２１２）。図６Ａに示されるように、ウィンドノイズ６０２のスペクトル（点線）は、これが、連続的バックグラウンドノイズ６０４の値に達するまで、平均的に、周波数にわたって一定の下降勾配（ｄＢで測定された場合）を有する。図６Ｂは、ウィンドノイズ検出のプロセスを示す。好適な実施形態において、ステップ６５２において、最初に、スペクトルの低周波数部分６０２（例えば、５００Ｈｚ未満）に直線６０６を適合させることによって、ウィンドノイズの存在が検出される。勾配および交点の値は、その後、いくつかの閾値と比較される（ステップ６５４）。これらの値が両方とも閾値を越えることが見出された場合、バッファは、ウィンドノイズを含むことが宣言される（ステップ６５６）。これらが閾値を越えなかった場合、バッファは、任意のウィンドノイズを含むと宣言されない（ステップ６５８）。

（ウィンドノイズ減衰および信号再構築）
図７は、ウィンドノイズを選択的に減衰する一方で、目的の信号を保存および再構築する本発明の実施形態を示す。ステップ２１４の信号解析によってウィンドノイズ（７０２）によって引き起こされると考えられるピークが減衰される。他方、目的の信号からであると考えられるピーク（７０４）は保存される。ウィンドノイズが減衰された結果の値は、以下の２つの値の最大値である。これらは、（１）バックグラウンドノイズ推定器によって測定された連続的バックグラウンドノイズ（７０６）の値（図２のステップ２０８）、または、（２）特性が信号解析（図２のステップ２１４）によって決定された信号の外挿値（７０８）。ウィンドノイズ減衰の出力は、測定された連続的バックグラウンドノイズおよび信号と一致するが、ウィンドノイズを欠いたスペクトログラム（７１０）である。

（コンピュータインプリメンテーション）
本発明は、ハードウェアまたはソフトウェア、あるいは、これらの組み合わせ（例えば、プログラム可能ロジックアレイ）で実現され得る。特に明示なき場合、本発明の一部分として含まれるアルゴリズムは、任意の特定のコンピュータまたは他の装置と固有に関連付けられない。特に種々の汎用マシンが本明細書中の教示により書き込まれたプログラムで用いられ得るか、または、必要とされる方法ステップを実行するために、より専用の装置を製作することがより便利であり得る。しかしながら、好適には、本発明は、少なくとも１つのプロセッサ、少なくとも１つのデータ格納システム（揮発性および不揮発性メモリおよび／または格納素子を含む）、ならびに少なくとも１つのマイクロホン入力をそれぞれ備えるプログラム可能なシステム上で実行する１つ以上のコンピュータプログラムで実現される。プログラムコードは、本明細書中で記載された機能を実行するために、プロセッサ上で実行される。

このようなプログラムの各々は、コンピュータシステムと通信するために、任意の所望のコンピュータ言語で実現され得る（マシン、アセンブリ、ハイレベル手順、またはオブジェクト指向プログラミング言語を含む）。いずれも場合も、言語は、コンパイルされるか、または翻訳された言語であり得る。

このようなプログラムの各々は、好適には、本明細書中に記載された手順を実行するコンピュータによって、格納媒体またはデバイスが読み出された場合、コンピュータを構成および動作させるために、汎用または専用のプログラム可能なコンピュータによって可読の格納媒体またはデバイス（例えば、ソリッドステート、磁気または光学媒体）上に格納される。例えば、コンピュータプログラムは、図１のストレージ２６に格納され得、ＣＰＵ１８で実行される。本発明は、さらに、コンピュータプログラムで構成される、コンピュータ可読格納媒体として実現され得ることが考えられ、ここで、格納媒体は、コンピュータが特定および所定の態様で動作して、本明細書中に記載される機能を実行するように構成される。

本発明は、ウィンドノイズを選択的に抑制する一方で、音響データにおける狭帯域信号を保存する方法、装置、およびコンピュータプログラムを含む。１つ以上のマイクロホンからの音は、バイナリデータにデジタル化される。時間周波数変換は、一連のスペクトルを生成するためにデータに適用される。スペクトルは、ウィンドノイズおよび狭帯域信号の存在を検出するために解析される。ウィンドノイズは、選択的に抑制される一方で、狭帯域信号を保存する。狭帯域信号がウィンドノイズによってマスクされる場合、時間および周波数を通じて内挿される。その後、聴かれ得る信号スペクトル推定からの時系列が合成される。本発明は、複数のマイクロホンを必要とし、かつ、風速の測定に依存しない従来技術を超える。本発明の適用は、ウィンドノイズによって著しく劣化されたデータから良質なスピーチをもたらす。

以上のように、本発明の好ましい実施形態を用いて本発明を例示してきたが、本発明は、この実施形態に限定して解釈されるべきものではない。本発明の主旨および範囲から逸脱することなく、種々の改変が行われ得ることが理解される。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。本明細書において引用した特許、特許出願および文献は、その内容自体が具体的に本明細書に記載されているのと同様にその内容が本明細書に対する参考として援用されるべきであることが理解される。

図１は、本発明のウィンドノイズ減衰法を実現するために適切なプログラム可能なコンピュータシステムのブロック図である。 図２は、本発明の好適な実施形態のフローチャートである。 図３は、音響データの単一チャネルの信号解析の基本原理を示す。 図４は、複数のマイクロホンの信号解析の基本原理を示す。 図５Ａは、信号アナライザの動作を示すフローチャートである。 図５Ｂは、本発明の１実施形態による、信号解析において信号の特徴が用いられる態様を示すフローチャートである。 図６Ａは、ウィンドノイズ検出の基本原理を示す。 図６Ｂは、ウィンドノイズ検出に含まれるステップを示すフローチャートである。 図７は、ウィンドノイズ減衰の基本原理を示す。

符号の説明

１０ マイクロホン
１２ 増幅器
１４ アナログデジタル変換器
１６ 処理システム
１８ ＣＰＵ
２０ ＲＯＭ
２２ ＲＡＭ
２４ ＣＰＵバス
２６ 格納媒体
２８ デジタルアナログ変換器
３０ 増幅器
３２ スピーカ

Claims (20)

1. 信号におけるウィンドノイズを減衰する方法であって、
   変換されたデータを取得するために、該信号に対して時間周波数変換を実行するステップと、
   ウィンドノイズによって占められたスペクトルを識別するために、該変換されたデータに対して信号解析を実行するステップと、
   該変換されたデータにおけるウィンドノイズを減衰するステップと、
   該変換されたデータから時系列を構築するステップと
   を包含する、方法。
2. 信号解析を実行する前記ステップは、
   前記変換されたデータのスペクトルの特徴を解析するステップと、
   該解析するステップに基づいて、証明のための重みを割り当てるステップと、
   ウィンドノイズの存在を決定するために、該証明のための重みを処理するステップと
   をさらに包含する、請求項１に記載の方法。
3. 前記解析するステップは、
   ピーク閾値を超過する信号対雑音比（ＳＮＲ）を有するピークを、ウィンドノイズから発生するピークではないと識別するステップをさらに包含する、請求項２に記載の方法。
4. 前記解析するステップは、
   特定の基準よりも鋭く、かつ狭い前記スペクトルにおけるピークを、目的の信号から発生するピークとして識別するステップをさらに包含する、請求項２に記載の方法。
5. 前記識別するステップは、前記最高ポイントと、該最高ポイントの両側に隣接するポイントとの間の平均差をとることによって、ピーク幅を測定する、請求項４に記載の方法。
6. 前記解析するステップは、
   前記変換されたデータの現在のスペクトルにおけるピークを、該変換されたデータの前のスペクトルからのピークと比較することによって、該ピークの安定性を決定するステップと、
   安定したピークを、ウィンドノイズから発生するピークではないと識別するステップと
   をさらに包含する、請求項２に記載の方法。
7. 前記解析するステップは、
   複数のマイクロホンからの信号からのピークの位相および振幅の差を決定するステップと、
   位相および振幅の差が差の閾値を超過するピークを識別して、該ピークを、ウィンドノイズから発生するピークとしてタグ付けするステップと
   をさらに包含する、請求項２に記載の方法。
8. 前記ウィンドノイズを減衰するステップは、ウィンドノイズによって占められた前記スペクトルの部分を抑制するステップと、
   目的の信号によって占められた部分を保存するステップと
   を包含する、請求項１に記載の方法。
9. 変換されたデータの低ノイズバージョンを生成するステップをさらに包含する、請求項８に記載の方法。
10. ウィンドノイズによってマスクされた前記時間または周波数領域を通じて内挿または外挿することによって、信号の再構築を実行するステップをさらに包含する、請求項１に記載の方法。
11. ウィンドノイズを抑制する装置であって、
    時間ベースの信号を周波数ベースのデータに変換するように構成された時間周波数変換コンポーネントと、
    ウィンドノイズによって占められたスペクトルを識別するように構成された信号アナライザと、
    該信号アナライザから取得された結果を用いて、該周波数ベースでウィンドノイズを最小化するように構成されたウィンドノイズ減衰コンポーネントと
    該周波数ベースのデータに基づいて、時系列を構築するように構成された時系列合成コンポーネントと
    を備える、装置。
12. 前記信号アナライザは、
    前記周波数ベースのデータのスペクトルの特徴を解析し、
    該特徴を解析した結果に基づいて、証明のための重みを割り当て、
    ウィンドノイズの存在を決定するために該証明のための重みを処理するように構成される、請求項１１に記載の装置。
13. 前記信号アナライザは、ピーク閾値を超過する信号対雑音比（ＳＮＲ）を有するピークを、ウィンドノイズから発生するピークではないと識別することによって、前記特徴を解析するように構成される、請求項１２に記載の装置。
14. 前記信号アナライザは、特定の基準よりも鋭く、かつ狭い前記スペクトルにおけるピークを、目的の信号から発生するピークとして識別することによって、前記特徴を解析するように構成される、請求項１２に記載の装置。
15. 前記信号アナライザは、前記最高ポイントと、該最高ポイントの両側に隣接するポイントとの間の差の平均をとることによってピーク幅を測定するように構成される、請求項１４に記載の装置。
16. 前記信号アナライザは、
    前記周波数ベースのデータの現在のスペクトルにおけるピークを、該周波数ベースのデータの前のスペクトルからのピークと比較することによってピークの安定性を決定するステップと、
    安定したピークをウィンドノイズから発生したピークではないと識別するステップと
    によって解析するように構成される、請求項１２に記載の装置。
17. 前記信号アナライザは、
    複数のマイクロホンからの信号からのピークの位相および振幅の差を決定するステップと、
    位相および振幅の差が差の閾値を超過するピークを識別し、該ピークをウィンドノイズから発生するピークとしてタグ付けするステップと
    によって解析するように構成される、請求項１２に記載の装置。
18. 前記ウィンドノイズ減衰コンポーネントは、
    ウィンドノイズによって占められた前記スペクトルの部分を抑制するステップと、
    目的の信号によって占められた部分を保存するステップと
    によってウィンドノイズを減衰するように構成される、請求項１１に記載の装置。
19. 前記ウィンドノイズ減衰コンポーネントは、変換されたデータの低ノイズバージョンを生成することによって、ウィンドノイズを減衰するように構成される、請求項１８に記載の装置。
20. ウィンドノイズによってマスクされた前記時間または周波数領域を通じて内挿または外挿することによって、前記信号を再構築するように構成された再構築コンポーネントをさらに備える、請求項１１に記載の装置。

Images