JP2004502977A - サブバンド指数平滑雑音消去システム - Google Patents
サブバンド指数平滑雑音消去システム Download PDFInfo
- Publication number
- JP2004502977A JP2004502977A JP2002508786A JP2002508786A JP2004502977A JP 2004502977 A JP2004502977 A JP 2004502977A JP 2002508786 A JP2002508786 A JP 2002508786A JP 2002508786 A JP2002508786 A JP 2002508786A JP 2004502977 A JP2004502977 A JP 2004502977A
- Authority
- JP
- Japan
- Prior art keywords
- noise
- value
- signal
- processing
- input value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
- G10L19/0208—Subband vocoders
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L2021/02168—Noise filtering characterised by the method used for estimating noise the estimation exclusively taking place during speech pauses
Abstract
デジタル入力信号のサブバンドを時間領域処理することにより雑音を消去する方法および装置である。入力信号が多数の周波数限定時間領域サブバンドに分割され、各サブバンドが個別に処理され信号に含まれている雑音が消去される。雑音処理には入力の指数平均処理、雑音の推定、および減算処理が含まれている。雑音減算処理は、指数平滑され、一定の範囲内に厳格に限定され、入力信号に乗じられることによって、各サブバンドの雑音処理を施した出力が生成されるフィルタ係数を生成することによって簡素化されている。次いで、雑音処理が施されたサブバンドがデジタル出力信号に再結合される。この雑音処理方法は、ソフトウェアまたはハードウェアによって具体化することができ、各種雑音消去および信号処理アプリケーションに適用することができる。
Description
【0001】
関連出願の説明
下記の出願および特許をここに引用することにより、本出願に編入されたものとする。1999年2月18付米国特許出願第09/252,874号、2000年4月11に米国特許第6,049,607号として発行された米国特許出願第09/157,035号、1998年4月7日付米国特許出願第09/055,709号、1998年8月6日付米国特許出願第09/130,923号、1998年10月20に米国特許第5,825,898号として発行された米国特許出願第08/672,899号、および国際特許出願第PCT/US99/21186号。また前記すべての書類は、引用文書または参照文書として本明細書に包含されたものとする。
【0002】
発明の属する技術分野
本発明は雑音消去および低減に関するものである。具体的には、サブバンド処理および指数平滑法を用いた雑音消去および低減に関するものである。
【0003】
発明の背景
音声に重畳された周囲雑音は、音声処理アルゴリズムの性能低下を招く。かかる処理アルゴリズムには、ディクテーション(音声による文書入力)、音声起動システム、音声圧縮システム等が含まれる。また、周囲雑音は音響および音声の質および明瞭度も低下させる。前記のようなシステムにおいては、音声および音声特性に影響を与えることなく、雑音を低減し信号対雑音比(S/N比)を改善することが望まれている。
【0004】
近傍雑音消去マイクロフォンが、前記問題を充分に解決するが、前記マイクロフォンは音源(即ち、口)の近傍に配置する必要があり、多くの場合、ヘッドセット・ブームの先端に取り付けることにより、着用者の口の近傍に配置している。しかし、ヘッドセットは着用心地が良くないことや、例えば、車の中では操作上制約があり過ぎることが立証されている。
【0005】
一般に、マイクロフォン・アレー技術、特にアダプティブ・ビームフォーミング・アレー(適応型指向性形成アレー)が厳しい方向性雑音を最も効果的に処理する。前記のようなシステムは雑音電界をマッピングして雑音源に対してナル(null)を形成する。ナルの数はマイクロフォン要素の数と処理能力とによって制約を受ける。前記のようなアレーは、ヘッドセットを必要とせず、かつハンドフリーの操作が可能であるという利点を有している。
【0006】
しかし、雑音源が拡散している場合には、前記アダプティブ・ビームフォーミング・アレーの性能は通常の遅延和マイクロフォン・アレーの性能レベルに低下し、必ずしも満足のいくものではない。前記のような状況には、雑音が部屋の壁に強く反響して無限の方向からマイクロフォン・アレーに到達するような反響性の強い環境があげられる。また、車体から発せられる雑音の一部が放射される車の中も前記状況の1つである。アレー技術のもう1つの弱点は、多数のマイクロフォンを必要とすることであり、物理的なサイズおよび価格に影響を与える。また、既に1つのマイクロフォンが導入されており、別のマイクロフォンを追加することができない既存のシステムに対し、雑音低減機能を提供することもできない。
【0007】
雑音を更に低減する1つの方法として、音声スイッチによって検出される無音時間帯の雑音を測定することによって、雑音が混入している信号の雑音強度スペクトルを予測し、前記スペクトルを信号から減算するスペクトル減算法が提案されている。前記スペクトル減算法は、“Suppression of Acoustic Noise in Speech Using Spectral Subtraction”(Steven F Boll、 IEEE ASSP−27 No.2 、1979年4月)に詳述されており、音声信号との相関関係を有しない静的拡散雑音に対し効果を発揮する。しかし、スペクトル減算法は、ミュージカル・ノイズとも呼ばれる人工的なノイズを生成するので、スペクトル減算が巧く制御されないと、(音声録音や音声起動システムのような)音声処理アルゴリズムの性能低下をきたす。
【0008】
もう1つの問題は、FFT(高速フーリエ変換)結果に基づくスペクトル強度の計算は非常に複雑であるということである。これには二重平方根の計算が伴い、計算負荷の点から非常に高価となる。更に別の問題は、IFFT(逆高速フーリエ変換)に必要な情報を得るために、雑音を含まない振幅スペクトルに位相情報を関連付ける必要があるということである。これには位相の計算、計算結果の格納および振幅データへの適用が伴い、計算負荷および記憶装置を必要とする点から高価となる。各ビンの帯域幅をより広くし安定性を高めることによってFFT結果を短くしてもシステムの性能が低下する。更に、長期間の平均を取るとデータが不鮮明になるので、数フレームまでの平均を取ることしかできない。
【0009】
改良型スペクトル減算法が、1999年2月18日に出願された、米国特許出願第09/252,874号に提案されている。前記改良型システムは、入力信号の周波数スペクトル要素またはビンが、所定の期間にわたる周波数スペクトル要素の最低値に基づいて設定される閾値内であるか否かを判定することによって、連続音声セグメントの中でも雑音成分の位置を正確に検出する閾値検出器を備えている。より正確に言えば、現在および将来における周波数スペクトル要素の最低値である。従って、各音節に対し、全体の信号エネルギーを調べることなく、個別の閾値によって雑音成分エネルギーが割出されるので、良好かつ安定した雑音の推定が可能である。更に、前記システムは連続的に閾値をセットし、所定の時間内、例えば5秒以内にリセットすることが好ましい。
【0010】
スペクトル推定の安定性を高めるため、前記改良型スペクトル減算法は、二次元(2D)平滑処理を信号の推定に適用している。各タイム・フレーム内の第一隣接ビンを使用した二段階平滑機能および指数時間平均を適用した各周波数ビンの長時間平均の実現により卓越した結果をもたらしている。
【0011】
減算要素の位相を合わせ、スペクトル減算時における周波数ビンの位相割出しの複雑さを緩和するため、前記改良型スペクトル減算法はフィルタ乗算法を用いて減算を行っている。フィルタ関数、例えばウィーナーフィルタ関数、あるいはウィナーフィルタの近似値に周波数領域音声信号の複素数データが乗じられる。
【0012】
しかし、前記のようなスペクトル減算法においても、周波数領域のデータを扱う限り依然として複雑かつ計算負荷の大きいFFT計算が必要である。この計算時間に付加されるのが、計算に必要なデータ・ポイント/サンプルがバッファに蓄積されるまでの間の待ち時間である。この待ち時間によって、システム全体の遅延が大きくなり、リアルタイムのアプリケーションを困難にしている。また、二次元の平滑処理によって人工的なノイズ(ミュージカル・ノイズとも呼ばれている)が低減されるが、特に無音時において依然として聞こえる。静かな場所においては、この残留雑音が人工的な音に聞こえ不快に感じられる。
【0013】
本発明の目的および概要
従って、信号対雑音比が悪い状況下および早い連続音声下においても雑音を推定し減算することができる、簡単かつ効果的な機構を備えるサブバンド時間領域雑音消去システムを提供することが本発明の目的である。
【0014】
関連技術システムにおける待ち時間の問題を軽減することによって、処理スループットを向上させる効果的な機構を提供することも本発明のもう1つの目的である。
【0015】
また、関連技術システムにおける残留雑音(ミュジカル・ノイズ)を除去する効果的な機構を提供することも本発明の更なる目的である。
【0016】
前記目的に基づき、本発明は音声信号の無音セグメントを正しく判断することにより、有音声セグメント時の誤った雑音消去信号処理を防止するシステムを提供する。
【0017】
本発明は、上記目的を達成するため、雑音信号成分を含むデジタル信号を入力するための入力、前記デジタル入力信号を多数の周波数限定時間領域信号サブバンドに分割するための帯域スプリッタ、前記サブバンドの各々に対応し前記デジタル入力信号に含まれる雑音信号成分を消去するための雑音処理装置、および雑音処理を施した前記サブバンドをデジタル出力信号として再結合させるための再結合器を提供する。
【0018】
本発明の特別な態様は、帯域スプリッタによって入力ビームを多数の周波数限定サブバンド、好ましくは16の等間隔帯域に分割し、各周波数帯域に対し個別に雑音処理を行うことである。前記帯域を例えば16チャンネルに分割することにより、雑音処理装置に必要なサンプリング速度を遅くしている。本システムは遙かに扱いやすいのみならず、例えば、所定帯域内の予想雑音レベルに対応する各種閾値パラメータを調整することによって、各周波数に対し雑音処理装置を個別に最適化できることが実感できる。帯域スプリッタは、例えば単側帯波変調方式を用いてデジタル入力信号を分割するDFTフィルタ・バンクである。
【0019】
雑音処理装置の各々は指数アバレイジャー、雑音推定器、および減算処理装置を備えている。指数アバレイジャーは、前回の平均値と現在の入力値との加重平均に基づいて周期平均入力値を計算する。雑音推定器は、前回の雑音値と現在の入力値との加重平均に基づいて指数平滑を行うことにより、帯域雑音値を生成する。現在の入力が雑音であり、その値が所定の現行最低値の2倍を超える場合には、前記入力は新しい雑音推定値の生成には用いられない。減算処理装置は、前記周期平均入力値および帯域雑音値に基づいてフィルタ係数Hを生成し、現在の入力値にその係数を乗ずることによって雑音消去値を生成する。
【0020】
更に、前記減算処理装置は最低フィルタ係数閾値機能も果たす。前記計算結果が一定の最低値より小さい場合には、一定の最低値が実際の計算結果に置き換えられ、置き換えられた最低値に基づいて雑音低減量を制御することができる。更に、現在の入力が所定の雑音閾値の2倍未満であるとき、フィルタ係数の指数平滑が行われる。
【0021】
本発明は、本出願に引用することによって本出願に編入された米国特許出願書類に記載のシステムを含みこれに限定されない各種雑音消去システムに適用することができる。例えば、本発明は携帯電話、携帯情報端末(PDA)、オーディオ装置、車の音響装置、ヘッドフォーン、およびマイクロフォン・アレーに適用できる。更に、本発明は、アプリケーション・ソフトウェアまたはハードウェアとして組込むことにより、コンピュータ処理装置を駆動するコンピュータ・プログラムとして具体化することができる。
【0022】
発明の実施の形態
本発明および本発明の多くの効果は、図面を参照した以下の詳細説明によってより完全に理解することができる。
【0023】
図1は本発明の実施の形態100を示す図である。図1のシステムは入力102において、音声信号帯域幅の少なくとも2倍の周波数でサンプリングしたデジタル音声信号を受信する。1つの実施の形態では、マイクロフォン信号をアナログのフロント・エンド、A/D変換器および必要なサンプリング周波数を得るためのデシメーション・フィルタに通して前記信号を得ている。別の実施の形態では、前記入力はビームフォーマ、更にはアダプティブ・ビームフォーマの出力から得ている。前記の場合、信号を処理して、一定の方向から発する主に雑音の到来方向として定めた所定の方向を除くすべての方向から到達する雑音を除去している。更に別の実施の形態では、雑音消去処理をPC処理装置あるいは同様のコンピュータ処理装置で実行する場合、前記入力信号をサウンドボードから得ることができる。
【0024】
入力信号102は、信号を16の時間領域サブバンド信号Yn (Y0 − Y15) に分割する帯域スプリッタに送られる。次に、前記サブバンドの各々が対応する雑音処理装置106n (1060 − 10615) によって処理される。前記雑音処理装置は、ソース(音声)信号を保持しながら、各サブバンドの雑音信号を低減する。本雑音処理技術は、ミュジカル・ノイズの発生を抑えるのに特に適している。次に、雑音低減処理が施された16のサブバンドが再結合器108によって再結合される。再結合器108は、雑音成分が著しく低減された点だけが異なる入力信号102に相当する出力デジタル音声信号110を出力する。
【0025】
本発明の特別な態様は、帯域スプリッタ104によって入力ビーム102を多数の周波数限定サブバンドに分割し、各周波数帯域に対し個別に雑音処理を行うことである。図2は、本発明の帯域スプリッタ200(図1の要素104)を示す図である。各種の帯域分割技術を用いることができるが、単側帯波変調方式を用いた汎用DFTフィルタ・バンクを使用することが好ましい。前記フィルタ・バンクについては、例えば“Multirate Digital Signal Processing” (Ronald E. Crochiere, Prentice Hall Signal Processing Series) または“Multirate Digitals Filters, Filter Banks, Polyphase Networks, and Applications A Tutorial” (P.P. Vaidyanathan、 IEEE会議録、Vol. 78, No. 1、1990年1月) に記載されている。帯域スプリッタの目的は入力信号を複数の周波数限定帯域、好ましくは16の等間隔帯域に分割することである。基本的には、例えば8入力ポイントを同時に処理することによって、各々が各周波数帯域当たりの1つの時間領域サンプルに相当する16の出力ポイントが生じる。勿論、別のサンプル数の処理も可能であり、当業者が認識しているように、それはシステムの処理能力に左右される。
【0026】
詳述すれば、入力信号102が、128ポイント入力ベクトルを表す128タップ遅延線204に格納される8入力ポイント202として集められ、これに乗算器206を介して予め設計されている128ポイント複素係数フィルタ208の係数が乗じられる。その結果生じた128複素ポイント・ベクトルが、前記乗算結果を128ポイント・バッファ210に格納し、加算器212を使用して第一16ポイントに第二16ポイントを加算し、以下順次加算を繰り返すことによって折返される。エイリアシング・シーケンス214と呼ばれる前記折返結果が16ポイント高速フーリエ変換器(FFT)216を通して処理される。乗算器218を介して、前記FFTの出力に16ポイント変調係数サイクリック・バッファ220の変調係数が乗じられる。例えば、各々16から成る8グループの変調係数を含む前記サイクリック・バッファは、サイクル毎に新しいグループを選択する。前記乗算結果の実数部は、要求された16ポイント出力224として実バッファ222に格納される。好ましい実施の形態では、具体的な変換方式を用いているが、勿論、本発明に別の変換方式を適用してサブバンドを得ることもできる。
【0027】
周波数限定サブバンドYn302(224)の各々は、対応する雑音処理装置300(106n)によって処理される。図3は1つの雑音処理装置300の処理を詳述した図である。雑音処理装置の各々は、指数アバレイジャー304、雑音推定器308、および減算処理装置306を備えている。前記サブバンド信号が前記要素の各々に供給され順次処理される。まず、指数アバレイジャー304が等式(1)に基づいて平均入力値YAn を生成する。
【0028】
YAn =0.95*YAn+0.05|Yn(t)| (1)
指数平滑の時定数は一般に0.95であり、最後の20フレームの平均を取ったものであると解釈できる。前記平均入力値が以下に説明する雑音推定器308および減算処理装置306に順次送られる。
【0029】
図4は雑音推定器308の処理を詳述した図である。理論的には、雑音は無音時間帯における信号の長期間の平均を取る必要がある。そのためには、音声スイッチを用いて有音声/無音時間帯を検出する必要がある。しかし、スイッチの感度が高すぎると、音声信号が雑音の推定に使用されることになり、音声信号の質が低下する。これに反し、前記スイッチの感度が低すぎると、(特に連続音声の場合)雑音の時間間隔が劇的に減少し、雑音推定の妥当性に影響を与える。
【0030】
本発明では、サブバンド402の各々に対し、個別適応型閾値を導入している。これにより、周波数限定サブバンドの各々における雑音成分を個別に処理することができる。従って、雑音に対してあまり感度の高くない閾値を設定することができ、かつ連続音声セグメント内においても、各ビンにおける多くの無音データ・ポイントを検出することができる。前記方法の効果は、連続音声セグメント内においても、多くの雑音セグメントが収集可能であり、良好かつ安定した雑音の推定が可能であるということである。
【0031】
各サブバンドの閾値の決定過程において、2つの最低値が計算される。未来の最低値が、現在の値|Yn(t)|(Yの絶対値)に基づいて未来の最低値計算部404において5秒毎に計算され、以下の処理過程によって、より値の小さい最低値が次の5秒間使用される。各サブバンドの未来の最低値が、現在の信号値と比較され、現在の信号値が未来の最低値より小さい場合には、未来の最低値が現在の信号値に置き換えられ、それが新しい未来の最低値になる。
【0032】
同時に、現在の最低値が、現在の最低値計算部406で計算される。現在の最低値が、直前の5秒間で決定された未来の最低値に基づいて5秒毎に計算され、未来の最低値と現在の最低値とを比較することによって、次の5秒間の最低値が求められる。現在の最低値が減算処理に用いられ、未来の最低値が現在の最低値の計算開始およびリフレッシュ用として使用される。
【0033】
本発明の雑音推定機構は、僅かなメモリ容量(5秒)を必要とするのみで、厳格で素早い雑音レベルの推定を確実に行う一方、過剰な雑音レベルの推定を抑制する。
【0034】
各サブバンドの値|Yn(t)|が、比較器408によって、当該サブバンドの現在の最低値を4倍した値と比較される。前記のことが当該サブバンドに対する適応型閾値としての役割を果す。前記の値が前記の範囲内(従って閾値未満)であれば、雑音と認識され当該サブバンドの雑音レベルNn412を割出す指数平均部410によって利用される。また、前記値が前記閾値を超える場合には、棄却される(即ち、雑音の推定に利用されない)。指数平滑の時定数は一般に0.95であり、最後の20フレームの平均を取ったものであると解釈できる。前記最低値の4倍という閾値は、一部のアップリケーションにおいては変更される。
【0035】
図5は減算処理装置500(306)の処理を詳述した図である。単純な方法では、推定サブバンド雑音値が現在の平均入力値から減算される。本発明においては、前記減算はフィルタHn(フィルタ係数)によるフィルタ乗算と捉えている。Hnは下記の等式(2)に基づいて、フィルタ計算器504によって計算される。
【0036】
【数1】
ここで、YAnは指数アバレイジャー304によって算出されるサブバンドnの現在の平均値である。また、Nnは雑音推定器308によって算出されるサブバンドnの現在の推定雑音である。
【0037】
次に、フィルタHnが調整/限定操作過程を経ることによって、適切なフィルタ値が確実に用いられるようにする。前記操作はH指数アバレイジャー506および最低Hリミッターによって行われる。まず、YAnが推定雑音レベルNnの2倍未満であるとき、前記指数アバレイジャーが下記等式(3)に基づいて、前記フィルタの指数平均を取る。
【0038】
Hn(t) = 0.95*Hn(t−1) + 0.05Hn(t) (3)
前記の操作により、信号が雑音に比べ顕著に大きくないとき、前記フィルタが平滑される。前記のような状況は、無音時の場合であって、ミュージカル・ノイズが最も現れ易くかつ干渉し易い。前記の平滑処理によってこのミュージカル・ノイズが除去される。第二の操作は、Hnが0.3未満であるとき、最低Hリミッター508がHnを0.3にセットする厳格な閾値限定操作である。これにより、特に雑音が信号に対し相対的に強いときの最低フィルタ・レベルが効果的に設定される。前記2つの操作が、前記人工的なノイズの発生を抑制しフィルタの性能向上を目的とした改良点であり、関連技術における処理方法に対し優位な点である。
【0039】
次に、対応するフィルタ係数Hnがポイント・ベースで入力サブバンド502(302)に乗じられ、雑音処理を施した出力サブバンド510(310)が生成される。
【0040】
図6は本発明の再結合器を示す図であり、先に説明したサブバンド分割方法と対称的、即ち反対である。再結合器の目的は、雑音処理を施した16の周波数限定バンドを1つのブロードバンド出力に再結合することである。この処理では、逆高速フーリエ変換(IFFT)過程を経るが、入力および出力共に時間領域の信号である。例示的な実施の形態の再結合器は、各々が各周波数帯域当りの1つの時間領域サンプルを表わす16の入力ポイント602(510、310)を処理し、ブロードバンド信号の8つの出力ポイント604を出力する。勿論、当業者にとって、本発明に前記以外の数のサンプリング入力ポイントが適用できることは容易に理解できる。
【0041】
詳述すれば、乗算器606によって、例えば、各グループが16の係数から成る8グループの復調係数を含み、各サイクル毎に別のグループが選択される、復調係数サイクリック・バッファに格納されている16ポイント復調フィルタ係数が新しい16の入力ポイント602に乗じられる。前記結果が16ポイントIFFT610、またはそれと同等の変換器を通して処理され、16ポイント・データを8回繰り返すことによって、前記IFFT結果が128複素ポイントとして抽出される。バッファ612に格納されている前記128ポイント複素ベクトルに、乗算器614を介して、予め設計されている複素フィルタ616によって生成される128ポイント複素係数が乗じられ、実バッファ618に格納される。前記乗算結果の実数部が加算器620によって、最初の8ポイントが結果604として取り出され、その部分がゼロに置き換えられ次の再結合処理に備える128ポイント・サイクリック履歴バッファ622に合計される。
【0042】
本発明では、入力データが僅か8データ・ポイントのグループ(202)として連続的に処理されることがよく理解できる。このことにより周波数領域において処理を行い、FFT処理を行う前に充分なデータ・ポイント、例えば1024ポイントが蓄積されるまで待つ必要がある関連技術システムに対し、スループットの点で優位である。従って、本発明では他の関連技術システムに特有の待ち時間の大半が解消される。
【0043】
本発明によれば、信号対雑音比が悪い状況下および早い連続音声下においても雑音を予測し減算することができる簡単かつ効果的な機構を備えるサブバンド雑音減算システムが提供される。僅かな費用で雑音強度を推定することができ、処理待ち時間の問題を克服する効果的な機構が提供される。雑音強度を推定すると共にミュージカル・ノイズを発生しない安定した機構が提供される。
【0044】
本発明の雑音処理方法は、アレー技術や近接マイクロフォン技術と併用することも、単独システムとして用いることもできる。本発明の雑音減算方法は、埋込ハードウェア(DSP)単独システムとして、アダプティブ・ビームフォーミングのような他の埋込アルゴリズムの一部として、あるいはサウンド・ポートで取得するデータを用いるPC上で実行されるファームウェア・アプリケーションとして具体化することができる。
【0045】
本発明は、好ましくはCまたはその他のプログラミング言語で書かれ、例えばプログラマブル・メモリ・チップに埋込まれるか、あるいは、例えば光ディスクのようなコンピュータ可読媒体に格納され、コンピュータ処理装置を駆動するために検索されるソフトウェア・アプリケーションとして導入することができることもよく理解できる。
【0046】
本発明で使用した幾つかの等式および計算では具体的な値を用いたが、これらの値は変わり得ることが充分理解される。
【0047】
本発明の好ましい実施の形態および改良点ついて詳細に説明したが、本発明は前記実施の形態および改良に限定されるものではなく、当業者にとって、特許請求の範囲に明示する本発明の精神および範囲を逸脱することなく、その他の改良および変更を容易に想到することができる。
【図面の簡単な説明】
【図1】
本発明のサブバンド雑音消去システムを示す図。
【図2】
本発明の帯域分割ユニットを示す図。
【図3】
本発明の雑音処理ユニットを示す図。
【図4】
本発明の雑音推定処理を示す図。
【図5】
本発明の減算処理を示す図。
【図6】
本発明の再結合器を示す図。
関連出願の説明
下記の出願および特許をここに引用することにより、本出願に編入されたものとする。1999年2月18付米国特許出願第09/252,874号、2000年4月11に米国特許第6,049,607号として発行された米国特許出願第09/157,035号、1998年4月7日付米国特許出願第09/055,709号、1998年8月6日付米国特許出願第09/130,923号、1998年10月20に米国特許第5,825,898号として発行された米国特許出願第08/672,899号、および国際特許出願第PCT/US99/21186号。また前記すべての書類は、引用文書または参照文書として本明細書に包含されたものとする。
【0002】
発明の属する技術分野
本発明は雑音消去および低減に関するものである。具体的には、サブバンド処理および指数平滑法を用いた雑音消去および低減に関するものである。
【0003】
発明の背景
音声に重畳された周囲雑音は、音声処理アルゴリズムの性能低下を招く。かかる処理アルゴリズムには、ディクテーション(音声による文書入力)、音声起動システム、音声圧縮システム等が含まれる。また、周囲雑音は音響および音声の質および明瞭度も低下させる。前記のようなシステムにおいては、音声および音声特性に影響を与えることなく、雑音を低減し信号対雑音比(S/N比)を改善することが望まれている。
【0004】
近傍雑音消去マイクロフォンが、前記問題を充分に解決するが、前記マイクロフォンは音源(即ち、口)の近傍に配置する必要があり、多くの場合、ヘッドセット・ブームの先端に取り付けることにより、着用者の口の近傍に配置している。しかし、ヘッドセットは着用心地が良くないことや、例えば、車の中では操作上制約があり過ぎることが立証されている。
【0005】
一般に、マイクロフォン・アレー技術、特にアダプティブ・ビームフォーミング・アレー(適応型指向性形成アレー)が厳しい方向性雑音を最も効果的に処理する。前記のようなシステムは雑音電界をマッピングして雑音源に対してナル(null)を形成する。ナルの数はマイクロフォン要素の数と処理能力とによって制約を受ける。前記のようなアレーは、ヘッドセットを必要とせず、かつハンドフリーの操作が可能であるという利点を有している。
【0006】
しかし、雑音源が拡散している場合には、前記アダプティブ・ビームフォーミング・アレーの性能は通常の遅延和マイクロフォン・アレーの性能レベルに低下し、必ずしも満足のいくものではない。前記のような状況には、雑音が部屋の壁に強く反響して無限の方向からマイクロフォン・アレーに到達するような反響性の強い環境があげられる。また、車体から発せられる雑音の一部が放射される車の中も前記状況の1つである。アレー技術のもう1つの弱点は、多数のマイクロフォンを必要とすることであり、物理的なサイズおよび価格に影響を与える。また、既に1つのマイクロフォンが導入されており、別のマイクロフォンを追加することができない既存のシステムに対し、雑音低減機能を提供することもできない。
【0007】
雑音を更に低減する1つの方法として、音声スイッチによって検出される無音時間帯の雑音を測定することによって、雑音が混入している信号の雑音強度スペクトルを予測し、前記スペクトルを信号から減算するスペクトル減算法が提案されている。前記スペクトル減算法は、“Suppression of Acoustic Noise in Speech Using Spectral Subtraction”(Steven F Boll、 IEEE ASSP−27 No.2 、1979年4月)に詳述されており、音声信号との相関関係を有しない静的拡散雑音に対し効果を発揮する。しかし、スペクトル減算法は、ミュージカル・ノイズとも呼ばれる人工的なノイズを生成するので、スペクトル減算が巧く制御されないと、(音声録音や音声起動システムのような)音声処理アルゴリズムの性能低下をきたす。
【0008】
もう1つの問題は、FFT(高速フーリエ変換)結果に基づくスペクトル強度の計算は非常に複雑であるということである。これには二重平方根の計算が伴い、計算負荷の点から非常に高価となる。更に別の問題は、IFFT(逆高速フーリエ変換)に必要な情報を得るために、雑音を含まない振幅スペクトルに位相情報を関連付ける必要があるということである。これには位相の計算、計算結果の格納および振幅データへの適用が伴い、計算負荷および記憶装置を必要とする点から高価となる。各ビンの帯域幅をより広くし安定性を高めることによってFFT結果を短くしてもシステムの性能が低下する。更に、長期間の平均を取るとデータが不鮮明になるので、数フレームまでの平均を取ることしかできない。
【0009】
改良型スペクトル減算法が、1999年2月18日に出願された、米国特許出願第09/252,874号に提案されている。前記改良型システムは、入力信号の周波数スペクトル要素またはビンが、所定の期間にわたる周波数スペクトル要素の最低値に基づいて設定される閾値内であるか否かを判定することによって、連続音声セグメントの中でも雑音成分の位置を正確に検出する閾値検出器を備えている。より正確に言えば、現在および将来における周波数スペクトル要素の最低値である。従って、各音節に対し、全体の信号エネルギーを調べることなく、個別の閾値によって雑音成分エネルギーが割出されるので、良好かつ安定した雑音の推定が可能である。更に、前記システムは連続的に閾値をセットし、所定の時間内、例えば5秒以内にリセットすることが好ましい。
【0010】
スペクトル推定の安定性を高めるため、前記改良型スペクトル減算法は、二次元(2D)平滑処理を信号の推定に適用している。各タイム・フレーム内の第一隣接ビンを使用した二段階平滑機能および指数時間平均を適用した各周波数ビンの長時間平均の実現により卓越した結果をもたらしている。
【0011】
減算要素の位相を合わせ、スペクトル減算時における周波数ビンの位相割出しの複雑さを緩和するため、前記改良型スペクトル減算法はフィルタ乗算法を用いて減算を行っている。フィルタ関数、例えばウィーナーフィルタ関数、あるいはウィナーフィルタの近似値に周波数領域音声信号の複素数データが乗じられる。
【0012】
しかし、前記のようなスペクトル減算法においても、周波数領域のデータを扱う限り依然として複雑かつ計算負荷の大きいFFT計算が必要である。この計算時間に付加されるのが、計算に必要なデータ・ポイント/サンプルがバッファに蓄積されるまでの間の待ち時間である。この待ち時間によって、システム全体の遅延が大きくなり、リアルタイムのアプリケーションを困難にしている。また、二次元の平滑処理によって人工的なノイズ(ミュージカル・ノイズとも呼ばれている)が低減されるが、特に無音時において依然として聞こえる。静かな場所においては、この残留雑音が人工的な音に聞こえ不快に感じられる。
【0013】
本発明の目的および概要
従って、信号対雑音比が悪い状況下および早い連続音声下においても雑音を推定し減算することができる、簡単かつ効果的な機構を備えるサブバンド時間領域雑音消去システムを提供することが本発明の目的である。
【0014】
関連技術システムにおける待ち時間の問題を軽減することによって、処理スループットを向上させる効果的な機構を提供することも本発明のもう1つの目的である。
【0015】
また、関連技術システムにおける残留雑音(ミュジカル・ノイズ)を除去する効果的な機構を提供することも本発明の更なる目的である。
【0016】
前記目的に基づき、本発明は音声信号の無音セグメントを正しく判断することにより、有音声セグメント時の誤った雑音消去信号処理を防止するシステムを提供する。
【0017】
本発明は、上記目的を達成するため、雑音信号成分を含むデジタル信号を入力するための入力、前記デジタル入力信号を多数の周波数限定時間領域信号サブバンドに分割するための帯域スプリッタ、前記サブバンドの各々に対応し前記デジタル入力信号に含まれる雑音信号成分を消去するための雑音処理装置、および雑音処理を施した前記サブバンドをデジタル出力信号として再結合させるための再結合器を提供する。
【0018】
本発明の特別な態様は、帯域スプリッタによって入力ビームを多数の周波数限定サブバンド、好ましくは16の等間隔帯域に分割し、各周波数帯域に対し個別に雑音処理を行うことである。前記帯域を例えば16チャンネルに分割することにより、雑音処理装置に必要なサンプリング速度を遅くしている。本システムは遙かに扱いやすいのみならず、例えば、所定帯域内の予想雑音レベルに対応する各種閾値パラメータを調整することによって、各周波数に対し雑音処理装置を個別に最適化できることが実感できる。帯域スプリッタは、例えば単側帯波変調方式を用いてデジタル入力信号を分割するDFTフィルタ・バンクである。
【0019】
雑音処理装置の各々は指数アバレイジャー、雑音推定器、および減算処理装置を備えている。指数アバレイジャーは、前回の平均値と現在の入力値との加重平均に基づいて周期平均入力値を計算する。雑音推定器は、前回の雑音値と現在の入力値との加重平均に基づいて指数平滑を行うことにより、帯域雑音値を生成する。現在の入力が雑音であり、その値が所定の現行最低値の2倍を超える場合には、前記入力は新しい雑音推定値の生成には用いられない。減算処理装置は、前記周期平均入力値および帯域雑音値に基づいてフィルタ係数Hを生成し、現在の入力値にその係数を乗ずることによって雑音消去値を生成する。
【0020】
更に、前記減算処理装置は最低フィルタ係数閾値機能も果たす。前記計算結果が一定の最低値より小さい場合には、一定の最低値が実際の計算結果に置き換えられ、置き換えられた最低値に基づいて雑音低減量を制御することができる。更に、現在の入力が所定の雑音閾値の2倍未満であるとき、フィルタ係数の指数平滑が行われる。
【0021】
本発明は、本出願に引用することによって本出願に編入された米国特許出願書類に記載のシステムを含みこれに限定されない各種雑音消去システムに適用することができる。例えば、本発明は携帯電話、携帯情報端末(PDA)、オーディオ装置、車の音響装置、ヘッドフォーン、およびマイクロフォン・アレーに適用できる。更に、本発明は、アプリケーション・ソフトウェアまたはハードウェアとして組込むことにより、コンピュータ処理装置を駆動するコンピュータ・プログラムとして具体化することができる。
【0022】
発明の実施の形態
本発明および本発明の多くの効果は、図面を参照した以下の詳細説明によってより完全に理解することができる。
【0023】
図1は本発明の実施の形態100を示す図である。図1のシステムは入力102において、音声信号帯域幅の少なくとも2倍の周波数でサンプリングしたデジタル音声信号を受信する。1つの実施の形態では、マイクロフォン信号をアナログのフロント・エンド、A/D変換器および必要なサンプリング周波数を得るためのデシメーション・フィルタに通して前記信号を得ている。別の実施の形態では、前記入力はビームフォーマ、更にはアダプティブ・ビームフォーマの出力から得ている。前記の場合、信号を処理して、一定の方向から発する主に雑音の到来方向として定めた所定の方向を除くすべての方向から到達する雑音を除去している。更に別の実施の形態では、雑音消去処理をPC処理装置あるいは同様のコンピュータ処理装置で実行する場合、前記入力信号をサウンドボードから得ることができる。
【0024】
入力信号102は、信号を16の時間領域サブバンド信号Yn (Y0 − Y15) に分割する帯域スプリッタに送られる。次に、前記サブバンドの各々が対応する雑音処理装置106n (1060 − 10615) によって処理される。前記雑音処理装置は、ソース(音声)信号を保持しながら、各サブバンドの雑音信号を低減する。本雑音処理技術は、ミュジカル・ノイズの発生を抑えるのに特に適している。次に、雑音低減処理が施された16のサブバンドが再結合器108によって再結合される。再結合器108は、雑音成分が著しく低減された点だけが異なる入力信号102に相当する出力デジタル音声信号110を出力する。
【0025】
本発明の特別な態様は、帯域スプリッタ104によって入力ビーム102を多数の周波数限定サブバンドに分割し、各周波数帯域に対し個別に雑音処理を行うことである。図2は、本発明の帯域スプリッタ200(図1の要素104)を示す図である。各種の帯域分割技術を用いることができるが、単側帯波変調方式を用いた汎用DFTフィルタ・バンクを使用することが好ましい。前記フィルタ・バンクについては、例えば“Multirate Digital Signal Processing” (Ronald E. Crochiere, Prentice Hall Signal Processing Series) または“Multirate Digitals Filters, Filter Banks, Polyphase Networks, and Applications A Tutorial” (P.P. Vaidyanathan、 IEEE会議録、Vol. 78, No. 1、1990年1月) に記載されている。帯域スプリッタの目的は入力信号を複数の周波数限定帯域、好ましくは16の等間隔帯域に分割することである。基本的には、例えば8入力ポイントを同時に処理することによって、各々が各周波数帯域当たりの1つの時間領域サンプルに相当する16の出力ポイントが生じる。勿論、別のサンプル数の処理も可能であり、当業者が認識しているように、それはシステムの処理能力に左右される。
【0026】
詳述すれば、入力信号102が、128ポイント入力ベクトルを表す128タップ遅延線204に格納される8入力ポイント202として集められ、これに乗算器206を介して予め設計されている128ポイント複素係数フィルタ208の係数が乗じられる。その結果生じた128複素ポイント・ベクトルが、前記乗算結果を128ポイント・バッファ210に格納し、加算器212を使用して第一16ポイントに第二16ポイントを加算し、以下順次加算を繰り返すことによって折返される。エイリアシング・シーケンス214と呼ばれる前記折返結果が16ポイント高速フーリエ変換器(FFT)216を通して処理される。乗算器218を介して、前記FFTの出力に16ポイント変調係数サイクリック・バッファ220の変調係数が乗じられる。例えば、各々16から成る8グループの変調係数を含む前記サイクリック・バッファは、サイクル毎に新しいグループを選択する。前記乗算結果の実数部は、要求された16ポイント出力224として実バッファ222に格納される。好ましい実施の形態では、具体的な変換方式を用いているが、勿論、本発明に別の変換方式を適用してサブバンドを得ることもできる。
【0027】
周波数限定サブバンドYn302(224)の各々は、対応する雑音処理装置300(106n)によって処理される。図3は1つの雑音処理装置300の処理を詳述した図である。雑音処理装置の各々は、指数アバレイジャー304、雑音推定器308、および減算処理装置306を備えている。前記サブバンド信号が前記要素の各々に供給され順次処理される。まず、指数アバレイジャー304が等式(1)に基づいて平均入力値YAn を生成する。
【0028】
YAn =0.95*YAn+0.05|Yn(t)| (1)
指数平滑の時定数は一般に0.95であり、最後の20フレームの平均を取ったものであると解釈できる。前記平均入力値が以下に説明する雑音推定器308および減算処理装置306に順次送られる。
【0029】
図4は雑音推定器308の処理を詳述した図である。理論的には、雑音は無音時間帯における信号の長期間の平均を取る必要がある。そのためには、音声スイッチを用いて有音声/無音時間帯を検出する必要がある。しかし、スイッチの感度が高すぎると、音声信号が雑音の推定に使用されることになり、音声信号の質が低下する。これに反し、前記スイッチの感度が低すぎると、(特に連続音声の場合)雑音の時間間隔が劇的に減少し、雑音推定の妥当性に影響を与える。
【0030】
本発明では、サブバンド402の各々に対し、個別適応型閾値を導入している。これにより、周波数限定サブバンドの各々における雑音成分を個別に処理することができる。従って、雑音に対してあまり感度の高くない閾値を設定することができ、かつ連続音声セグメント内においても、各ビンにおける多くの無音データ・ポイントを検出することができる。前記方法の効果は、連続音声セグメント内においても、多くの雑音セグメントが収集可能であり、良好かつ安定した雑音の推定が可能であるということである。
【0031】
各サブバンドの閾値の決定過程において、2つの最低値が計算される。未来の最低値が、現在の値|Yn(t)|(Yの絶対値)に基づいて未来の最低値計算部404において5秒毎に計算され、以下の処理過程によって、より値の小さい最低値が次の5秒間使用される。各サブバンドの未来の最低値が、現在の信号値と比較され、現在の信号値が未来の最低値より小さい場合には、未来の最低値が現在の信号値に置き換えられ、それが新しい未来の最低値になる。
【0032】
同時に、現在の最低値が、現在の最低値計算部406で計算される。現在の最低値が、直前の5秒間で決定された未来の最低値に基づいて5秒毎に計算され、未来の最低値と現在の最低値とを比較することによって、次の5秒間の最低値が求められる。現在の最低値が減算処理に用いられ、未来の最低値が現在の最低値の計算開始およびリフレッシュ用として使用される。
【0033】
本発明の雑音推定機構は、僅かなメモリ容量(5秒)を必要とするのみで、厳格で素早い雑音レベルの推定を確実に行う一方、過剰な雑音レベルの推定を抑制する。
【0034】
各サブバンドの値|Yn(t)|が、比較器408によって、当該サブバンドの現在の最低値を4倍した値と比較される。前記のことが当該サブバンドに対する適応型閾値としての役割を果す。前記の値が前記の範囲内(従って閾値未満)であれば、雑音と認識され当該サブバンドの雑音レベルNn412を割出す指数平均部410によって利用される。また、前記値が前記閾値を超える場合には、棄却される(即ち、雑音の推定に利用されない)。指数平滑の時定数は一般に0.95であり、最後の20フレームの平均を取ったものであると解釈できる。前記最低値の4倍という閾値は、一部のアップリケーションにおいては変更される。
【0035】
図5は減算処理装置500(306)の処理を詳述した図である。単純な方法では、推定サブバンド雑音値が現在の平均入力値から減算される。本発明においては、前記減算はフィルタHn(フィルタ係数)によるフィルタ乗算と捉えている。Hnは下記の等式(2)に基づいて、フィルタ計算器504によって計算される。
【0036】
【数1】
ここで、YAnは指数アバレイジャー304によって算出されるサブバンドnの現在の平均値である。また、Nnは雑音推定器308によって算出されるサブバンドnの現在の推定雑音である。
【0037】
次に、フィルタHnが調整/限定操作過程を経ることによって、適切なフィルタ値が確実に用いられるようにする。前記操作はH指数アバレイジャー506および最低Hリミッターによって行われる。まず、YAnが推定雑音レベルNnの2倍未満であるとき、前記指数アバレイジャーが下記等式(3)に基づいて、前記フィルタの指数平均を取る。
【0038】
Hn(t) = 0.95*Hn(t−1) + 0.05Hn(t) (3)
前記の操作により、信号が雑音に比べ顕著に大きくないとき、前記フィルタが平滑される。前記のような状況は、無音時の場合であって、ミュージカル・ノイズが最も現れ易くかつ干渉し易い。前記の平滑処理によってこのミュージカル・ノイズが除去される。第二の操作は、Hnが0.3未満であるとき、最低Hリミッター508がHnを0.3にセットする厳格な閾値限定操作である。これにより、特に雑音が信号に対し相対的に強いときの最低フィルタ・レベルが効果的に設定される。前記2つの操作が、前記人工的なノイズの発生を抑制しフィルタの性能向上を目的とした改良点であり、関連技術における処理方法に対し優位な点である。
【0039】
次に、対応するフィルタ係数Hnがポイント・ベースで入力サブバンド502(302)に乗じられ、雑音処理を施した出力サブバンド510(310)が生成される。
【0040】
図6は本発明の再結合器を示す図であり、先に説明したサブバンド分割方法と対称的、即ち反対である。再結合器の目的は、雑音処理を施した16の周波数限定バンドを1つのブロードバンド出力に再結合することである。この処理では、逆高速フーリエ変換(IFFT)過程を経るが、入力および出力共に時間領域の信号である。例示的な実施の形態の再結合器は、各々が各周波数帯域当りの1つの時間領域サンプルを表わす16の入力ポイント602(510、310)を処理し、ブロードバンド信号の8つの出力ポイント604を出力する。勿論、当業者にとって、本発明に前記以外の数のサンプリング入力ポイントが適用できることは容易に理解できる。
【0041】
詳述すれば、乗算器606によって、例えば、各グループが16の係数から成る8グループの復調係数を含み、各サイクル毎に別のグループが選択される、復調係数サイクリック・バッファに格納されている16ポイント復調フィルタ係数が新しい16の入力ポイント602に乗じられる。前記結果が16ポイントIFFT610、またはそれと同等の変換器を通して処理され、16ポイント・データを8回繰り返すことによって、前記IFFT結果が128複素ポイントとして抽出される。バッファ612に格納されている前記128ポイント複素ベクトルに、乗算器614を介して、予め設計されている複素フィルタ616によって生成される128ポイント複素係数が乗じられ、実バッファ618に格納される。前記乗算結果の実数部が加算器620によって、最初の8ポイントが結果604として取り出され、その部分がゼロに置き換えられ次の再結合処理に備える128ポイント・サイクリック履歴バッファ622に合計される。
【0042】
本発明では、入力データが僅か8データ・ポイントのグループ(202)として連続的に処理されることがよく理解できる。このことにより周波数領域において処理を行い、FFT処理を行う前に充分なデータ・ポイント、例えば1024ポイントが蓄積されるまで待つ必要がある関連技術システムに対し、スループットの点で優位である。従って、本発明では他の関連技術システムに特有の待ち時間の大半が解消される。
【0043】
本発明によれば、信号対雑音比が悪い状況下および早い連続音声下においても雑音を予測し減算することができる簡単かつ効果的な機構を備えるサブバンド雑音減算システムが提供される。僅かな費用で雑音強度を推定することができ、処理待ち時間の問題を克服する効果的な機構が提供される。雑音強度を推定すると共にミュージカル・ノイズを発生しない安定した機構が提供される。
【0044】
本発明の雑音処理方法は、アレー技術や近接マイクロフォン技術と併用することも、単独システムとして用いることもできる。本発明の雑音減算方法は、埋込ハードウェア(DSP)単独システムとして、アダプティブ・ビームフォーミングのような他の埋込アルゴリズムの一部として、あるいはサウンド・ポートで取得するデータを用いるPC上で実行されるファームウェア・アプリケーションとして具体化することができる。
【0045】
本発明は、好ましくはCまたはその他のプログラミング言語で書かれ、例えばプログラマブル・メモリ・チップに埋込まれるか、あるいは、例えば光ディスクのようなコンピュータ可読媒体に格納され、コンピュータ処理装置を駆動するために検索されるソフトウェア・アプリケーションとして導入することができることもよく理解できる。
【0046】
本発明で使用した幾つかの等式および計算では具体的な値を用いたが、これらの値は変わり得ることが充分理解される。
【0047】
本発明の好ましい実施の形態および改良点ついて詳細に説明したが、本発明は前記実施の形態および改良に限定されるものではなく、当業者にとって、特許請求の範囲に明示する本発明の精神および範囲を逸脱することなく、その他の改良および変更を容易に想到することができる。
【図面の簡単な説明】
【図1】
本発明のサブバンド雑音消去システムを示す図。
【図2】
本発明の帯域分割ユニットを示す図。
【図3】
本発明の雑音処理ユニットを示す図。
【図4】
本発明の雑音推定処理を示す図。
【図5】
本発明の減算処理を示す図。
【図6】
本発明の再結合器を示す図。
Claims (24)
- デジタル入力信号のサブバンドを時間領域処理することにより雑音を消去する装置であって、
雑音信号を含むデジタル入力信号を入力する入力と、
前記デジタル入力信号を複数のサブバンドに分割する帯域スプリッタと、
各々が前記複数のサブバンドのそれぞれに対応し、前記デジタル入力信号に含まれる前記雑音信号を消去する複数の雑音処理装置と、
前記雑音処理を施した前記複数のサブバンドをデジタル出力信号に再結合する再結合器
とを備えることを特徴とする装置。 - 前記複数のサブバンドが周波数限定時間領域信号であることを特徴とする、請求項1記載の装置。
- 前記帯域スプリッタが単側帯波変調方式を用いて前記デジタル入力信号を分割するDFTフィルタ・バンクを備えることを特徴とする、請求項1記載の装置。
- 前記雑音処理装置の各々が指数アバレイジャー、雑音推定器および減算処理装置を備えることを特徴とする、請求項1記載の装置。
- 前記指数アバレイジャーが前回の平均値と現在の入力値との加重平均に基づいて周期平均入力値を算出することを特徴とする、請求項4記載の装置。
- 前記雑音推定器が前回の雑音値と現在の入力値との加重平均に基づいて指数平滑を行うことにより帯域雑音値を生成することを特徴とする、請求項4記載の装置。
- 前記現在の入力値が所定の現行最低値の2倍を超える場合には雑音と見なされず、前記雑音推定器が更新されないことを特徴とする、請求項6記載の装置。
- 前記減算処理装置が前記周期平均入力値および前記帯域雑音値に基づいてフィルタ係数Hを生成し、前記現在の入力値に該フィルタ係数を乗じることにより雑音消去値を生成することを特徴とする、請求項4記載の装置。
- 前記減算処理装置が更に最低フィルタ係数閾値機能を果たすことを特徴とする、請求項8記載の装置。
- 前記現在の入力値が所定の雑音閾値未満であるとき、前記減算処理装置が更に前記フィルタ係数の指数平滑を行うことを特徴とする、請求項8記載の装置。
- デジタル入力信号のサブバンドを時間領域処理することにより雑音を消去する装置であって、
雑音信号を含むデジタル入力信号を入力する入力手段と、
単側帯波変調方式およびDFTフィルタ・バンクを使用して前記デジタル入力信号を複数の周波数限定時間領域信号サブバンドに分割する帯域分割手段と、
各々が指数平均手段、雑音推定手段および減算処理手段を備え、それぞれ対応する前記複数の信号サブバンドを処理し、前記デジタル入力信号に含まれる前記雑音信号を消去する複数の雑音処理手段と、
前記雑音処理を施した前記複数の信号サブバンドをデジタル出力信号に再結合する結合手段
とを備えることを特徴とする装置。 - 前記指数平均手段が前回の平均値と現在の入力値との加重平均に基づいて周期平均入力値を算出することを特徴とする、請求項11記載の装置。
- 前記雑音処理装置が前回の雑音値と現在の入力値との加重平均に基づいて指数平滑を行うことにより帯域雑音値を生成することを特徴とする、請求項11記載の装置。
- 前記現在の入力値が所定の現行最低値の2倍を超える場合には雑音と見なされず、前記雑音推定器が更新されないことを特徴とする、請求項13記載の装置。
- 前記減算処理装置が前記周期平均入力値および前記帯域雑音値に基づいてフィルタ係数Hを生成し、前記現在の入力値に該フィルタ係数を乗じることにより雑音消去値を生成することを特徴とする、請求項11記載の装置。
- 前記減算処理装置が更に最低フィルタ係数閾値機能を果たすことを特徴とする、請求項15記載の装置。
- 前記現在の入力値が所定の雑音閾値未満であるとき、前記減算処理装置が更に前記フィルタ係数の指数平滑を行うことを特徴とする、請求項15記載の装置。
- デジタル入力信号のサブバンドを時間領域処理することにより雑音を消去する方法であって、
雑音信号を含むデジタル入力信号を入力するステップ、
単側帯波変調方式およびDFTフィルタ・バンクを用いて、前記デジタル入力信号をサブバンドに分割するステップ、
指数平均、雑音推定および減算処理ステップを含む、対応する前記複数のサブバンドの雑音を処理することによって、前記デジタル入力信号に含まれる前記雑音を消去するステップ、
再結合手段を用いて前記雑音処理を施した前記複数のサブバンドをデジタル出力信号に再結合するステップ
を有して成ることを特徴とする方法。 - 前記指数平均ステップが、前回の平均値と現在の入力値との加重平均に基づいて周期平均入力値を算出することを特徴とする、請求項18記載の方法。
- 前記雑音推定ステップが、前回の雑音値と現在の入力値との加重平均に基づいて指数平滑を行うことにより帯域雑音値を生成することを特徴とする、請求項18記載の方法。
- 前記現在の入力値が所定の現行最低値の2倍を超える場合には雑音と見なされず、前記雑音推定器が更新されないことを特徴とする、請求項20記載の方法。
- 前記減算処理ステップが前記周期平均入力値および前記帯域雑音値に基づいてフィルタ係数Hを生成し、前記現在の入力値に該フィルタ係数を乗じることにより雑音消去値を生成することを特徴とする、請求項18記載の方法。
- 前記減算処理ステップが更に最低フィルタ係数閾値機能を果たすことを特徴とする、請求項22記載の方法。
- 前記現在の入力値が所定の雑音閾値未満であるとき、前記減算処理ステップが更に前記フィルタ係数の指数平滑を行うことを特徴とする、請求項22記載の方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US09/614,875 US6377637B1 (en) | 2000-07-12 | 2000-07-12 | Sub-band exponential smoothing noise canceling system |
PCT/US2001/019450 WO2002005262A2 (en) | 2000-07-12 | 2001-06-19 | Sub-band exponential smoothing noise canceling system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004502977A true JP2004502977A (ja) | 2004-01-29 |
Family
ID=24463067
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002508786A Withdrawn JP2004502977A (ja) | 2000-07-12 | 2001-06-19 | サブバンド指数平滑雑音消去システム |
Country Status (8)
Country | Link |
---|---|
US (1) | US6377637B1 (ja) |
EP (1) | EP1316088A2 (ja) |
JP (1) | JP2004502977A (ja) |
CN (1) | CN1460323A (ja) |
AU (1) | AU2001269889A1 (ja) |
CA (1) | CA2416128A1 (ja) |
IL (1) | IL153881A0 (ja) |
WO (1) | WO2002005262A2 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008020913A (ja) * | 2006-07-10 | 2008-01-31 | Harman Becker Automotive Systems Gmbh | 時間および周波数領域内のパーティションされた高速畳み込み |
JP2008116686A (ja) * | 2006-11-06 | 2008-05-22 | Nec Engineering Ltd | 雑音抑圧装置 |
WO2009119460A1 (ja) | 2008-03-24 | 2009-10-01 | 日本ビクター株式会社 | オーディオ信号処理装置及びオーディオ信号処理方法 |
JP2010523047A (ja) * | 2007-03-29 | 2010-07-08 | ソニー株式会社 | 信号処理システムにおけるノイズを解析する方法及び装置 |
WO2011040549A1 (ja) * | 2009-10-01 | 2011-04-07 | 日本電気株式会社 | 信号処理方法、信号処理装置、及び信号処理プログラム |
JP2020190606A (ja) * | 2019-05-21 | 2020-11-26 | 日本放送協会 | 音声雑音除去装置及びプログラム |
Families Citing this family (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100561390B1 (ko) * | 1999-08-27 | 2006-03-16 | 삼성전자주식회사 | 디지털 에코 제거장치 |
WO2001033814A1 (en) * | 1999-11-03 | 2001-05-10 | Tellabs Operations, Inc. | Integrated voice processing system for packet networks |
JP3480437B2 (ja) * | 2000-09-04 | 2003-12-22 | ヤマハ株式会社 | 暗騒音除去装置、暗騒音除去方法および記録媒体 |
US6563885B1 (en) * | 2001-10-24 | 2003-05-13 | Texas Instruments Incorporated | Decimated noise estimation and/or beamforming for wireless communications |
JP2004023481A (ja) * | 2002-06-17 | 2004-01-22 | Alpine Electronics Inc | 音響信号処理装置及び方法並びにオーディオ装置 |
US7146315B2 (en) * | 2002-08-30 | 2006-12-05 | Siemens Corporate Research, Inc. | Multichannel voice detection in adverse environments |
GB2398913B (en) * | 2003-02-27 | 2005-08-17 | Motorola Inc | Noise estimation in speech recognition |
KR100520224B1 (ko) | 2003-12-23 | 2005-10-11 | 삼성전자주식회사 | 반도체 메모리 장치에서의 isi 제거장치 및 그에 따른isi 제거방법 |
CN1317691C (zh) * | 2004-05-18 | 2007-05-23 | 中国科学院声学研究所 | 一种自适应谷点降噪方法及系统 |
US7383179B2 (en) * | 2004-09-28 | 2008-06-03 | Clarity Technologies, Inc. | Method of cascading noise reduction algorithms to avoid speech distortion |
US7454010B1 (en) * | 2004-11-03 | 2008-11-18 | Acoustic Technologies, Inc. | Noise reduction and comfort noise gain control using bark band weiner filter and linear attenuation |
US7844059B2 (en) * | 2005-03-16 | 2010-11-30 | Microsoft Corporation | Dereverberation of multi-channel audio streams |
US20070078645A1 (en) * | 2005-09-30 | 2007-04-05 | Nokia Corporation | Filterbank-based processing of speech signals |
US7620263B2 (en) * | 2005-10-06 | 2009-11-17 | Samsung Electronics Co., Ltd. | Anti-clipping method for image sharpness enhancement |
JP4863713B2 (ja) * | 2005-12-29 | 2012-01-25 | 富士通株式会社 | 雑音抑制装置、雑音抑制方法、及びコンピュータプログラム |
EP1993320B1 (en) * | 2006-03-03 | 2015-01-07 | Nippon Telegraph And Telephone Corporation | Reverberation removal device, reverberation removal method, reverberation removal program, and recording medium |
US8711249B2 (en) * | 2007-03-29 | 2014-04-29 | Sony Corporation | Method of and apparatus for image denoising |
WO2009043066A1 (en) * | 2007-10-02 | 2009-04-09 | Akg Acoustics Gmbh | Method and device for low-latency auditory model-based single-channel speech enhancement |
US9392360B2 (en) | 2007-12-11 | 2016-07-12 | Andrea Electronics Corporation | Steerable sensor array system with video input |
US20090248411A1 (en) * | 2008-03-28 | 2009-10-01 | Alon Konchitsky | Front-End Noise Reduction for Speech Recognition Engine |
US8606573B2 (en) * | 2008-03-28 | 2013-12-10 | Alon Konchitsky | Voice recognition improved accuracy in mobile environments |
US8818000B2 (en) | 2008-04-25 | 2014-08-26 | Andrea Electronics Corporation | System, device, and method utilizing an integrated stereo array microphone |
KR101340520B1 (ko) * | 2008-07-22 | 2013-12-11 | 삼성전자주식회사 | 잡음을 제거하는 장치 및 방법 |
US9838784B2 (en) | 2009-12-02 | 2017-12-05 | Knowles Electronics, Llc | Directional audio capture |
WO2011127832A1 (en) * | 2010-04-14 | 2011-10-20 | Huawei Technologies Co., Ltd. | Time/frequency two dimension post-processing |
US8538035B2 (en) | 2010-04-29 | 2013-09-17 | Audience, Inc. | Multi-microphone robust noise suppression |
US8473287B2 (en) | 2010-04-19 | 2013-06-25 | Audience, Inc. | Method for jointly optimizing noise reduction and voice quality in a mono or multi-microphone system |
US8781137B1 (en) | 2010-04-27 | 2014-07-15 | Audience, Inc. | Wind noise detection and suppression |
CN101866381A (zh) * | 2010-04-30 | 2010-10-20 | 中国科学院声学研究所 | 一种基于逐元技术的Lengendre谱元法弹性波传播并行模拟方法 |
US8447596B2 (en) | 2010-07-12 | 2013-05-21 | Audience, Inc. | Monaural noise suppression based on computational auditory scene analysis |
CN102185586B (zh) * | 2011-02-25 | 2014-04-02 | 华为技术有限公司 | 一种基于场景的滤波方法及自适应滤波器 |
US8918197B2 (en) | 2012-06-13 | 2014-12-23 | Avraham Suhami | Audio communication networks |
US9286907B2 (en) | 2011-11-23 | 2016-03-15 | Creative Technology Ltd | Smart rejecter for keyboard click noise |
JP5774138B2 (ja) * | 2012-01-30 | 2015-09-02 | 三菱電機株式会社 | 残響抑圧装置 |
US9319791B2 (en) * | 2012-04-30 | 2016-04-19 | Conexant Systems, Inc. | Reduced-delay subband signal processing system and method |
US9030571B2 (en) * | 2012-07-11 | 2015-05-12 | Google Inc. | Abstract camera pipeline for uniform cross-device control of image capture and processing |
US9536540B2 (en) | 2013-07-19 | 2017-01-03 | Knowles Electronics, Llc | Speech signal separation and synthesis based on auditory scene analysis and speech modeling |
CN104575513B (zh) * | 2013-10-24 | 2017-11-21 | 展讯通信(上海)有限公司 | 突发噪声的处理系统、突发噪声的检测及抑制方法与装置 |
DE112015004185T5 (de) | 2014-09-12 | 2017-06-01 | Knowles Electronics, Llc | Systeme und Verfahren zur Wiederherstellung von Sprachkomponenten |
KR20160076059A (ko) * | 2014-12-22 | 2016-06-30 | 삼성전자주식회사 | 디스플레이장치 및 그 반향 제거방법 |
US9820042B1 (en) | 2016-05-02 | 2017-11-14 | Knowles Electronics, Llc | Stereo separation and directional suppression with omni-directional microphones |
WO2018082051A1 (en) * | 2016-11-04 | 2018-05-11 | Goertek.Inc | Signal processing device, air pressure sensor assembly and electronics apparatus |
DE102017203469A1 (de) * | 2017-03-03 | 2018-09-06 | Robert Bosch Gmbh | Verfahren und eine Einrichtung zur Störbefreiung von Audio-Signalen sowie eine Sprachsteuerung von Geräten mit dieser Störbefreiung |
US11295083B1 (en) * | 2018-09-26 | 2022-04-05 | Amazon Technologies, Inc. | Neural models for named-entity recognition |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE3471218D1 (en) * | 1983-11-25 | 1988-06-16 | British Telecomm | Sub-band coders, decoders and filters |
US4965834A (en) * | 1989-03-20 | 1990-10-23 | The United States Of America As Represented By The Secretary Of The Navy | Multi-stage noise-reducing system |
JPH06318885A (ja) * | 1993-03-11 | 1994-11-15 | Nec Corp | 帯域分割適応フィルタによる未知システム同定の方法及び装置 |
DE69526892T2 (de) * | 1994-09-01 | 2002-12-19 | Nec Corp | Bündelerreger mit adaptiven Filtern mit beschränkten Koeffizienten zur Unterdrückung von Interferenzsignalen |
AU7118696A (en) * | 1995-10-10 | 1997-04-30 | Audiologic, Inc. | Digital signal processing hearing aid with processing strategy selection |
US5825898A (en) * | 1996-06-27 | 1998-10-20 | Lamar Signal Processing Ltd. | System and method for adaptive interference cancelling |
US5937009A (en) * | 1996-06-28 | 1999-08-10 | Wong; Kon Max | Sub-band echo canceller using optimum wavelet packets and cross-band cancellation |
US5890125A (en) * | 1997-07-16 | 1999-03-30 | Dolby Laboratories Licensing Corporation | Method and apparatus for encoding and decoding multiple audio channels at low bit rates using adaptive selection of encoding method |
US6049607A (en) * | 1998-09-18 | 2000-04-11 | Lamar Signal Processing | Interference canceling method and apparatus |
-
2000
- 2000-07-12 US US09/614,875 patent/US6377637B1/en not_active Expired - Lifetime
-
2001
- 2001-06-19 WO PCT/US2001/019450 patent/WO2002005262A2/en not_active Application Discontinuation
- 2001-06-19 EP EP01948439A patent/EP1316088A2/en not_active Withdrawn
- 2001-06-19 CA CA002416128A patent/CA2416128A1/en not_active Abandoned
- 2001-06-19 JP JP2002508786A patent/JP2004502977A/ja not_active Withdrawn
- 2001-06-19 CN CN01815516A patent/CN1460323A/zh active Pending
- 2001-06-19 AU AU2001269889A patent/AU2001269889A1/en not_active Abandoned
- 2001-06-19 IL IL15388101A patent/IL153881A0/xx unknown
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008020913A (ja) * | 2006-07-10 | 2008-01-31 | Harman Becker Automotive Systems Gmbh | 時間および周波数領域内のパーティションされた高速畳み込み |
JP2008116686A (ja) * | 2006-11-06 | 2008-05-22 | Nec Engineering Ltd | 雑音抑圧装置 |
JP4757775B2 (ja) * | 2006-11-06 | 2011-08-24 | Necエンジニアリング株式会社 | 雑音抑圧装置 |
JP2010523047A (ja) * | 2007-03-29 | 2010-07-08 | ソニー株式会社 | 信号処理システムにおけるノイズを解析する方法及び装置 |
WO2009119460A1 (ja) | 2008-03-24 | 2009-10-01 | 日本ビクター株式会社 | オーディオ信号処理装置及びオーディオ信号処理方法 |
WO2011040549A1 (ja) * | 2009-10-01 | 2011-04-07 | 日本電気株式会社 | 信号処理方法、信号処理装置、及び信号処理プログラム |
JP5565593B2 (ja) * | 2009-10-01 | 2014-08-06 | 日本電気株式会社 | 信号処理方法、信号処理装置、及び信号処理プログラム |
US9384757B2 (en) | 2009-10-01 | 2016-07-05 | Nec Corporation | Signal processing method, signal processing apparatus, and signal processing program |
JP2020190606A (ja) * | 2019-05-21 | 2020-11-26 | 日本放送協会 | 音声雑音除去装置及びプログラム |
JP7316093B2 (ja) | 2019-05-21 | 2023-07-27 | 日本放送協会 | 音声雑音除去装置及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
CN1460323A (zh) | 2003-12-03 |
AU2001269889A1 (en) | 2002-01-21 |
EP1316088A2 (en) | 2003-06-04 |
WO2002005262A2 (en) | 2002-01-17 |
CA2416128A1 (en) | 2002-01-17 |
IL153881A0 (en) | 2003-07-31 |
WO2002005262A3 (en) | 2002-06-13 |
US6377637B1 (en) | 2002-04-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2004502977A (ja) | サブバンド指数平滑雑音消去システム | |
US20230419983A1 (en) | Post-processing gains for signal enhancement | |
US6549586B2 (en) | System and method for dual microphone signal noise reduction using spectral subtraction | |
JP5528538B2 (ja) | 雑音抑圧装置 | |
EP1252796B1 (en) | System and method for dual microphone signal noise reduction using spectral subtraction | |
US6363345B1 (en) | System, method and apparatus for cancelling noise | |
JP4210521B2 (ja) | 雑音低減法および装置 | |
US7133825B2 (en) | Computationally efficient background noise suppressor for speech coding and speech recognition | |
JP4173641B2 (ja) | 音声活動に基づくゲイン制限による音声強化 | |
JP4195267B2 (ja) | 音声認識装置、その音声認識方法及びプログラム | |
JP4256280B2 (ja) | ウィンドノイズを抑圧するシステム | |
JP4402295B2 (ja) | 線形たたみ込みおよび因果的フィルタリングを用いたスペクトルサブトラクションによる信号雑音低減 | |
US20190172480A1 (en) | Voice activity detection systems and methods | |
US6487257B1 (en) | Signal noise reduction by time-domain spectral subtraction using fixed filters | |
KR101737824B1 (ko) | 잡음 환경의 입력신호로부터 잡음을 제거하는 방법 및 그 장치 | |
CN108172231A (zh) | 一种基于卡尔曼滤波的去混响方法及系统 | |
JP2011033717A (ja) | 雑音抑圧装置 | |
US7917359B2 (en) | Noise suppressor for removing irregular noise | |
US9418677B2 (en) | Noise suppressing device, noise suppressing method, and a non-transitory computer-readable recording medium storing noise suppressing program | |
JP2002537586A (ja) | 雑音を消去するためのシステム、方法及び装置 | |
JP2005514668A (ja) | スペクトル出力比依存のプロセッサを有する音声向上システム | |
WO2022068440A1 (zh) | 啸叫抑制方法、装置、计算机设备和存储介质 | |
CN111226278A (zh) | 低复杂度的浊音语音检测和基音估计 | |
Vashkevich et al. | Speech enhancement in a smartphone-based hearing aid | |
WO2024012868A1 (en) | Audio signal processing method and system for echo suppression using an mmse-lsa estimator |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20080902 |