JP2013525843A - 単一又は複数のマイクを備えるシステムにおける雑音低減と音声品質を共に最適化する方法 - Google Patents

単一又は複数のマイクを備えるシステムにおける雑音低減と音声品質を共に最適化する方法 Download PDF

Info

Publication number
JP2013525843A
JP2013525843A JP2013506188A JP2013506188A JP2013525843A JP 2013525843 A JP2013525843 A JP 2013525843A JP 2013506188 A JP2013506188 A JP 2013506188A JP 2013506188 A JP2013506188 A JP 2013506188A JP 2013525843 A JP2013525843 A JP 2013525843A
Authority
JP
Japan
Prior art keywords
noise
signal
value
subband
subband signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013506188A
Other languages
English (en)
Other versions
JP2013525843A5 (ja
Inventor
エヴリ,マーク
アヴェンダノ,カーロス
Original Assignee
オーディエンス,インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オーディエンス,インコーポレイテッド filed Critical オーディエンス,インコーポレイテッド
Publication of JP2013525843A publication Critical patent/JP2013525843A/ja
Publication of JP2013525843A5 publication Critical patent/JP2013525843A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • G10L21/0232Processing in the frequency domain
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/002Damping circuit arrangements for transducers, e.g. motional feedback circuits
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L2021/02087Noise filtering the noise being separate speech, e.g. cocktail party

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)

Abstract

【解決手段】本技術は、音声の損失歪みと雑音低減との間のトレードオフのバランスをとるために、洗練された制御レベルを用いる、音響信号の適応型の雑音低減方法を提供する。音響信号のサブバンド信号における雑音成分のエネルギーレベルは、サブバンド信号について推定された信号対雑音比と、サブバンド信号の音声歪みについて推測された閾値レベルとに基づいて、低減される。いくつかの実施形態において、サブバンド信号における雑音成分のエネルギーレベルは、少なくとも、残留雑音目標レベルまで低減され得る。かかる目標レベルとは、雑音成分が知覚されなくなるレベルとして定義され得る。

Description

本発明は、音声処理に関し、特に、音声信号の適応型の雑音低減に関する。
現在、都合の悪い音声環境において、音響信号内の背景雑音を低減するための、数多くの方法が存在する。かかる一つの方法は、定常雑音抑制システム(stationary noise suppression system)を用いることである。定常雑音抑制システムは、入力雑音より小さい、固定量の出力雑音を常に提供する。一般的に、この雑音抑制は、12−13デシベル(dB)の範囲である。この雑音抑制は、音声の損失歪み(speech loss distortion)の生成を回避するために、控えめなレベルに固定される。そのような歪みは、より大きな雑音抑制を用いることで、より顕著となる。
より大きな雑音抑制を提供するために、信号対雑音比(SNR)に基づいた、動的な雑音抑制システムが利用されてきた。かかるSNRは、抑制値(suppression value)を決定するために、用いることができる。不幸なことに、SNRそのものは、音声歪みの良い予測手段ではない。これは、音声環境の種々の雑音の存在に起因する。SNRは、音声が、雑音より、どれだけ大きいかを示す比率である。しかしながら、音声は、非定常的な信号であり、絶えず変動し、また、無音(pause)を含み得る。一般的には、ある期間にわたる音声エネルギーは、単語、無音、単語、無音等を含み得る。さらに、音声環境において定常雑音及び動的雑音が、表れる可能性がある。SNRは、かかる定常的又は非定常的な音声及び雑音の全てを平均化し、雑音の全体的なレベルがどの程度かに基づいて、比率を決定する。雑音信号の統計に関する考慮はなされていない。
いくつかの先行技術のシステムにおいて、雑音スペクトルの推定に基づいて、強調フィルタ(enhancement filter)が生成され得る。ある一般的な強調フィルタは、ウィーナーフィルタである。
都合の悪いことに、強調フィルタは、一般的に、ユーザの知覚を考慮せずに、特定の数学的な誤差量を最小化するように構成されている。その結果、雑音を抑制する信号強調の副作用として、一定量の音声劣化(speech degradation)が生ずる。例えば、エネルギーが雑音より低い音声成分は、一般的に、強調フィルタにより、抑制されてしまう。これにより、音声スペクトルの出力の変更がもたらされ、音声歪みとして知覚される。雑音レベルが上昇すると、かかる音声劣化は、より厳しくなり、より多くの音声成分が、拡張フィルタによって、減衰する。すなわち、SNRが低下すると、より多くの音声成分が、雑音に埋もれるか、又は雑音として解釈され、より多くの音声の損失歪みをもたらす。このことは、より多くの音声の損失歪みと、音声劣化をもたらす。
従って、音声の損失歪みと、残留雑音との間のトレードオフのバランスをとる、適応型の雑音低減方法が提供されることが望まれる。
本技術は、音声の損失歪みと雑音低減との間のトレードオフのバランスをとるために、洗練された制御レベルを用いる、音響信号の適応型の雑音低減方法を提供する。音響信号のサブバンド信号における雑音成分のエネルギーレベルは、サブバンド信号について推定された信号対雑音比と、サブバンド信号の音声歪みについて推測された閾値レベルとに基づいて、低減される。いくつかの実施形態において、サブバンド信号における雑音成分のエネルギーレベルは、少なくとも、残留雑音目標レベルまで低減され得る。かかる目標レベルとは、雑音成分が知覚されなくなるレベルとして定義され得る。
本明細書で説明される、音響信号の雑音を低減する方法は、音響信号を受信する段階と、前記音響信号を、複数のサブバンド信号へと分離する段階とを含む。次に、低減値(reduction value)が、前記複数のサブバンド信号のうちの一のサブバンド信号に適用され、前記サブバンド信号の雑音成分のエネルギーレベルを低減させる。前記低減値は、前記サブバンド信号の推定された信号対雑音比と、前記サブバンド信号における音声損失歪みの推定された閾値レベルとに基づく。
本明細書で説明される、音響信号内の雑音を低減するシステムは、メモリに保管され、かつプロセッサによって実行される、周波数分析モジュールを含み、前記周波数モジュールは、音響信号を受信し、前記音響信号を、複数のサブバンド信号へと分離する。本システムは、さらに、メモリに保管され、かつプロセッサによって実行される、雑音低減モジュールを含み、前記雑音低減モジュールは、低減値(reduction value)を、前記複数のサブバンド信号のうちの一のサブバンド信号に適用し、前記サブバンド信号の雑音成分のエネルギーレベルを低減させる。前記低減値は、前記サブバンド信号の推定された信号対雑音比と、前記サブバンド信号における音声の損失歪みの推定された閾値レベルとに基づく。
本明細書で説明される、コンピュータ読取可能な記憶媒体は、コンピュータに、音響信号を受信する段階と、前記音響信号を、複数のサブバンド信号へと分離する段階とを実行させるプログラムを具体化する。
本発明の、他の実施形態と利点は、以下の図面、詳細な説明及びクレームを検討することによって、理解することができる。
本技術が用いられ得る実施形態の環境の例を表す図。 例示的なオーディオ装置のブロック図。 例示的な音声処理システムのブロック図。 例示的なマスクジェネレータモジュールのブロック図。 例示的な最大抑制値の参照テーブルを表す図。 種々のレベルの音声損失歪みの例示的な抑制値を表す図。 サブバンドにわたる最終的な(final)ゲイン下限を表す図。 音響信号の雑音低減を実行する例示的な方法のフローチャート。 音響信号の雑音抑制を実行する例示的な方法のフローチャート。
本技術は、音声の損失歪みと雑音低減との間のトレードオフのバランスをとるために、洗練された制御レベルを用いる、音響信号の適応型の雑音低減方法を提供する。雑音低減(Noise reduction)は、低減値(reduction value)(例えば、減算値(subtraction value)及び/又はゲインマスクの乗算)を、音響信号の対応するサブバンド信号に適用し、同時に、雑音低減によってもたらされる音声損失歪みを、許容可能な閾値レベルに制限することによって、なされ得る。低減値及び実行される雑音低減は、サブバンド信号にわたって、変動し得る。雑音低減は、個々のサブバンド信号の特性と、雑音低減によってもたらされた、知覚された音声損失歪みによる特性に基づき得る。雑音低減は、音声信号における雑音低減と音声の品質とを、共に最適化するように、実行され得る。
本技術は、サブバンド信号において実行される雑音低減量の下限(すなわち、下限の閾値)を提供する。雑音低減の下限は、サブバンド信号の音声損失歪みの量を制限する働きをする。結果として、あるサブバンド信号において、可能であれば、大きな量の雑音低減がなされ得る。大きな量の雑音低減に対する、高い音声損失歪みが許容されないような場合には、雑音低減は、より小さくなり得る。
本システムにより実行される雑音低減は、雑音抑制(noise suppression)及び/又は雑音消去(noise cancellation)の方法をとり得る。本システムは、主たる音響サブバンド信号に適用される、低減値を生成し、雑音低減を達成する。低減値は、サブバンド信号に乗算されるゲインマスクとして実装され、サブバンド信号における雑音成分のエネルギーレベルを抑制する。乗法による処理は、乗法性(multiplicative)雑音抑制と呼ばれる。雑音消去において、低減値は、混合(mixture)サブバンド信号から、雑音参照(noise reference)サブバンド信号を減算することにより、サブバンド信号において実行された雑音消去量の下限として生成され得る。
本システムは、サブバンドの雑音成分のエネルギーレベルを、少なくとも、残留雑音目標レベルまで、減少させ得る。残留雑音目標レベルは、固定されるか、あるいは、ゆっくりと時間で変動し得る。また、いくつかの実施形態においては、各サブバンド信号に対して、同一である。残留雑音目標レベルは、例えば、雑音成分が、聞き取れなくなるか、又は知覚できなくなるレベルとして定義され得るか、あるいは、音響信号を取得するために用いるマイクの自己雑音のレベルより低いレベルとして定義され得る。別の例として、残留雑音目標レベルは、本明細書で説明される、雑音低減技術を実行するために用いられるシステム内の、内部AGCノイズゲート又はベースバンドノイズゲートのような、ある成分についてのノイズゲートより低くなり得る。
いくつかの先行技術のシステムは、一般化されたサイドローブキャンセラを実行する。一般化されたサイドローブキャンセラは、受信した信号に含まれる、望ましい信号と、干渉信号を識別するために、使用される。望ましい信号は、望ましい位置から伝播し、干渉信号は、他の位置から伝播する。干渉信号は、干渉を消去する目的で、受信した信号から減算される。かかる減算は、さらに、音声損失歪みと音声劣化をもたらし得る。
本技術の実施形態は、音声を受信し、かつ/あるいは提供するよう構成された、あらゆるオーディオ装置(例えば、携帯電話、ヘッドセット、会議システム。これに限定されない)において、実施され得る。本技術のいくつかの実施形態は、携帯電話における処理について説明されるが、本技術は、あらゆるオーディオ装置において、実施され得る。
図1は、本技術の実施形態が用いられ得る環境の例を表す図である。ユーザは、オーディオ装置104への音源102として、振舞う。例示的なオーディオ装置104は、二つのマイク:音源102に対する主たるマイク106及び主たるマイク106から離れて位置する補助的なマイク108を含む。代わりに、オーディオ装置104は、単一のマイクを含んでもよい。さらなる他の実施形態において、オーディオ装置104は、二以上のマイク、例えば、3、4、5、6、7、8、9、10又はそれ以上のマイクを含んでもよい。
主たるマイク106及び補助的なマイク108は、全方位マイクであってもよい。代わりの実施形態は、他の方式のマイク又は音響センサを利用してもよい。
マイク106、108は、音源102からの音(すなわち、音響信号)を受信するが、マイク106、108は、雑音110をも拾う。図1において、雑音110は、単一の場所からやってくるように示されているが、音源102の位置と異なる、一以上の場所からの、あらゆる音を含み得る。さらに、雑音110は、反射とエコーを含み得る。雑音110は、定常雑音、非定常雑音及び/又はそれらの組み合わせであり得る。
いくつかの実施形態は、二つのマイク106、108によって受信される音響信号の間のレベルの差(例えば、エネルギーの差)を利用することができる。主たるマイク106は、補助的なマイク108よりも音源102に非常に近いため、主たるマイク106の強度レベルは、より高くなり、例えば、音声区間(speech/voice segment)に主たるマイク106によって受信される、より大きなエネルギーレベルをもたらす。
レベルの差は、時間周波数領域において、音声と雑音を区別するために用いられ得る。さらなる実施形態は、音声を区別するために、エネルギーレベルの差と、時間遅延との組み合わせを用いることができる。両耳キュー符号化に基づいて、音声信号抽出又は音声強調が、実施され得る。
図2は、例示的なオーディオ装置104のブロック図である。図示される実施形態において、オーディオ装置104は、受信器200と、プロセッサ202と、主たるマイク106と、任意の補助的なマイク108と、音声処理システム210と、出力デバイス206を含む。オーディオ装置104は、動作に必要な、さらなる、あるいは他の部品を含んでもよい。同様に、オーディオ装置104は、図2に示される部品と同様又は同等の機能を実行する、より少ない部品を含んでもよい。
プロセッサ202は、オーディオ装置104のメモリ(図2にて図示されない)に保管された命令及びモジュールを実行し、本明細書で説明される、音響信号に対する雑音抑制を含む機能を実行する。プロセッサ202は、演算装置として具体化される、ハードウェア及びソフトウェアを含み得る。演算装置は、プロセッサ202の、浮動小数点演算や、他の演算を行うことができる。
例示的な受信器200は、通信ネットワークから信号を受信するよう構成された音響センサである。いくつかの実施形態において、受信器200は、アンテナデバイスを含んでもよい。その信号は、音声処理システム210へと転送され、本明細書で説明される技術を用いて、雑音を低減し、音声信号を、出力デバイス206へと提供する。本技術は、オーディオ装置104の送信パス及び受信パスの一方又は両方において、使用され得る。
音声処理システム210は、主たるマイク160と補助的なマイク108を用いて、音源から音響信号を受信し、その音響信号を処理するよう構成される。処理は、音響信号において雑音低減を実行する段階を含み得る。音声処理システム210は、以下で、より詳細に説明される。主たるマイク106と補助的なマイク108は、それらの間で、エネルギーレベルの差の検出を可能にするために、一定の距離、離れて配置され得る。主たるマイク106と補助的なマイク108により受信される音響信号は、電気信号(すなわち、主たる電気信号及び補助的な電気信号)へと変換され得る。電気信号そのものは、アナログデジタル変換器(図示しない)により、デジタル信号へと変換され、いくつかの実施形態に従って処理される。明確化を目的として、音響信号を区別するために、本明細書では、主たるマイク106により受信された音響信号は、主たる音響信号と呼び、補助的なマイク108で受信された音響信号は、補助的な音響信号と呼ぶ。主たる音響信号及び補助的な音響信号は、音声処理システム210によって処理され、信号対雑音比の改善した信号を生成する。本明細書で説明される技術についての実施形態は、主たるマイク106のみを利用して、実施され得ることに留意する。
出力デバイス206は、音声出力をユーザに提供する、あらゆるデバイスである。例えば、出力デバイス206は、スピーカ、ヘッドセット若しくはハンドセットのイヤホン又は会議装置のスピーカを含み得る。
様々な実施形態において、主たるマイク及び補助的なマイクが、近接して配置される(例えば、1−2cm)全方位マイクである場合には、前方対向(forwards-facing)及び後方対向(backwards- facing)な方向性マイクをシミュレートするために、ビームフォーミング技術が用いられ得る。レベルの差は、時間周波数領域での音声と雑音を区別するために用いられ、雑音低減において利用され得る。
図3は、本明細書で説明される雑音低減方法を実行するための、例示的な音声処理システム210のブロック図である。例示的な実施形態において、音声処理システム210は、オーディオ装置104の中のメモリの中に具体化される。音声処理システム210は、周波数分析モジュール302、特徴抽出器モジュール304、音源推定エンジンモジュール306、マスク生成器モジュール308、雑音消去器(NPNS)モジュール310、調整器モジュール312及び再構成器モジュール314を含むことができる。ここで、マスク生成器モジュール308は、調整器モジュール312及び雑音消去器モジュール310とともに、雑音低減モジュールと呼ぶ。音声処理システム210は、図3に示されるより、より多くの部品、あるいはより少ない部品を含み得る。また、複数のモジュールの機能は、より少ないモジュールか、又は追加のモジュールへ、組み合わされるか、または拡張され得る。例示的な通信ラインが、図3及び本明細書の他の図面において、様々なモジュールとの間に示されている。通信ラインは、どのモジュールが通信により他のモジュールと接続されているかを限定することを意図するものではない。また、モジュール間で通信される信号の数や種類を限定することを意図するものではない。
動作において、主たるマイク106及び補助的なマイク108から受信した音響信号は、電気信号へと変換され、その電気信号は、周波数分析モジュール302を通じて処理される。一実施形態において、周波数分析モジュール302は、音響信号を取得し、フィルタバンクによりシミュレーションされる、蝸牛の周波数分析(例えば、蝸牛領域(cochlear domain))を模倣する。周波数分析モジュール302は、主たる音響信号と補助的な音響信号のそれぞれを、二つ以上の周波数サブバンド信号へと、分離する。サブバンド信号は、入力信号に関するフィルタリング処理の結果である。ここで、フィルタの帯域幅は、周波数分析モジュール302により受信される信号の帯域幅よりも狭い。代わりに、短時間フーリエ変換(STFT)のような他のフィルタ、サブバンドフィルタバンク、変調複素重ね(lapped)変換、蝸牛モデル、ウェーブレット等を、周波数分析及び合成のために、用いることができる。ほとんどの音声(例えば、音響信号)は複雑であり、一以上の周波数を含むため、音響信号のサブバンド分析は、フレームの間(例えば、既定の期間)の複雑な音響信号の各サブバンドの中で、どの個別の周波数が存在するかを決定する。例えば、フレームの長さは、4ms、8ms又は他の時間長であってもよい。いくつかの実施形態において、全くフレームが存在しなくてもよい。その結果は、高速蝸牛変換(FCT;fast cochlea transform)領域において、サブバンド信号を含み得る。
サブバンドのフレーム信号は、周波数分析モジュール302から、分析パスサブシステム320と、信号パスサブシステム330へと提供される。分析パスサブシステム320は、その信号を処理し、信号の特徴を識別し、サブバンド信号の音声成分と雑音成分とを区別し、信号調整器(modifier)を生成する。信号パスサブシステム330は、分析パスサブシステム320で生成された、乗算(multiplicative)ゲインマスクのような、ノイズキャンセラ又は雑音調整器を適用することにより、主たる音響信号のサブバンド信号を調整する責任を有する。その調整は、雑音を低減することができ、サブバンド信号における望ましい音声成分を保存する。
信号パスサブシステム330は、NPNSモジュール310及び調整器モジュール312を含む。NPNSモジュール310は、周波数分析モジュール302から、サブバンドのフレーム信号を受信する。NPNSモジュール310は、主たる音響信号の、一以上のサブバンド信号から、雑音成分を取り去る(subtract)(すなわち、消去する)ことができる。または、NPNSモジュール310は、主たる信号の中の雑音成分のサブバンド推定と、雑音除去済みのサブバンド信号の形式による音声成分のサブバンド推定を、出力する。
NPNSモジュール310は、様々な方法で、実装され得る。いくつかの実施形態において、NPNSモジュール310は、単一のNPNSモジュールによって、実装され得る。代わりに、NPNSモジュール310は、例えば、直接接続によって配置され得る、二以上のNPNSモジュールを含み得る。
NPNSモジュール310は、例えば、音源の位置に基づく二つのマイク構成に対し、減算(subtractive)アルゴリズムを用いることにより、雑音消去を提供する。NPNSモジュール310は、エコー消去を提供するためにも、用いられ得る。雑音消去及びエコー消去は、通常、音声品質の劣化がほとんどなく、あるいはまったくなく、達成され得る。そのため、NPNSモジュール310により実行される処理は、皇族のポストフィルタリング及び乗算処理の段階によって受信される、主たる音響信号において、増幅されたSNRをもたらす。実行される雑音消去の量は、雑音源の拡散と、マイク間の距離に依存し得る。これらは、共に、マイクの間の雑音の一貫性に貢献し、同時に、より高い一貫性が、よりよい消去をもたらす。
いくつかの実施形態において、雑音消去器モジュール310により実行される、雑音消去の例は、
米国特許出願第12/215,980号(タイトル「System and Method for Providing Noise Suppression Utilizing Null Processing Noise Subtraction」、2008年6月30日出願)、
米国特許出願第12/422,917号(タイトル「Adaptive Noise Cancellation」、2009年4月13日出願)、
米国特許出願第12/693,998号(タイトル「Adaptive Noise Reduction Using Level Cues」、2010年1月26日出願)、
において開示される。ここで、これらの内容を、本明細書に援用する。
分析パスサブシステム320の特徴抽出器モジュール304は、周波数分析モジュール302により提供される、主たる音響信号及び補助的な音響信号に由来する、サブバンドのフレーム信号を受信する。特徴抽出器モジュール304は、NPNSモジュール310の出力を受信し、サブバンド信号のフレームのエネルギー推定と、主たる音響信号と補助的な音響信号との間のマイク間レベル差(ILD)と、主たるマイクと補助的なマイクの自己雑音推定とを計算する。特徴抽出器モジュール304は、さらに、他のモジュールによって必要とされ得る、ピッチの推定や、マイク信号間の相互相関のような、他のモノラル又はステレオの特徴を計算してもよい。特徴抽出器モジュール304は、NPNSモジュール310への入力を提供し、NPNSモジュール310からの出力を処理することができる。
特徴抽出器モジュール304は、主たる音響信号と補助的な音響信号の、サブバンド信号のエネルギーレベルを計算することができ、また、そのエネルギーレベルから、マイク間のレベル差(ILD)を計算することができる。ILDは、特徴抽出器モジュール304の中の、ILDモジュールによって、決定され得る。
エネルギーレベル推定と、マイク間のレベル差の決定は、米国特許出願第11/343,524号(タイトル「System and Method for Utilizing Inter-Microphone Level Differences for Speech Enhancement」)において、より詳細に議論される。ここで、その内容を、本明細書に援用する。
音源推定エンジンモジュール306は、フレームのエネルギー推定(量)を処理し、雑音推定を計算する。そして、サブバンド信号における雑音と音声のモデルを得る。音源推定エンジンモジュール306は、NPNSモジュール310の出力信号のエネルギースペクトルのような、音源の属性を、適応的に見積もる。エネルギースペクトル属性は、マイク生成モジュール308において、乗算マスクを生成するために用いられ得る。
音源推定エンジンモジュール306は、特徴抽出器モジュール304から、ILDを受信することができる。そして、そのILDの確率分布又は対象となる音源102の「クラスタ」、背景雑音及び任意でエコーを追跡することができる。一般性の損失がなく、エコーを無視し、音声と雑音のILD分布が重複しないとき、二つの分布の間の、分類境界又は優性(dominance)閾値を特定することが可能である。分類境界又は優性閾値は、SNRが十分に肯定的であるとき、信号を音声として分類し、SNRが十分に否定的であるとき、信号を雑音として分類するために用いられる。かかる分類は、優性マスクとして、サブバンド又は時間フレームごとに決定され、クラスタ追跡モジュールにより、音源推定エンジンモジュール306の中の雑音推定モジュールへと出力される。
クラスタ追跡モジュールは、サブバンドごとに、雑音/音声分類信号を生成し、その分類を、NPNSモジュール310に提供することができる。いくつかの実施形態において、その分類は、雑音と信号の間の区別を示す制御信号である。NPNSモジュール310は、分類信号を利用し、受信したマイクエネルギー推定信号において雑音を推定する。いくつかの実施形態において、クラスタ追跡モジュールの結果は、音源推定エンジンモジュール306の中の雑音推定モジュールへと転送され得る。言い換えれば、音声処理システム210で雑音信号を処理するために、現在の雑音推定が、雑音のある可能性のある、エネルギースペクトルにおける位置とともに、提供される。
クラスタ追跡モジュールによる、クラスタを追跡する例は、米国特許出願第13/004,897号(タイトル「System and method for Adaptive Classification of Audio Sources」、2007年12月21日出願)に開示される。ここで、その開示内容を、本明細書に援用する。
音源推定エンジンモジュール306は、クラスタ追跡モジュールから、雑音/音声分類制御信号を受信し、NPNSモジュール310の出力を受信して雑音N(t,w)を推定する、雑音推定モジュールを含み得る。雑音推定モジュールにより決定された雑音推定は、マイク生成モジュール308に提供される。いくつかの実施形態において、マスク生成器モジュール308は、NPNSモジュール310の雑音推定出力と、クラスタ追跡モジュールの出力を受信する。
音源推定エンジンモジュール306の雑音推定モジュールは、ILD雑音推定器と、定常雑音推定器を含むことができる。一実施形態において、雑音推定は、max()演算と組み合わされ、それにより、組み合わされた雑音推定によって生ずる雑音抑制能力は、少なくとも、個別の雑音推定の能力となる。ILD雑音推定は、優性マスクと、NPNSモジュール310の出力信号エネルギーとから、算出される。
マスク生成器モジュール308は、音源推定エンジンモジュール306により推定された、サブバンドの音声成分と雑音成分のモデルを受信する。音声スペクトルを推定するために、各サイドバンド信号に対する雑音スペクトルの雑音推定は、主たるスペクトルのエネルギー推定から減じられる。マスク生成器モジュール308は、主たる音響信号のサブバンド信号に対する、ゲインマスクを決定し、そのゲインマスクを調整器モジュール312へと提供することができる。調整器モジュール312は、そのゲインマスクを、NPNSモジュール310により出力された、雑音が減じられた主たる音響信号のサブバンド信号に、乗算する。そのマスクの適用により、主たる音響信号のサブバンド信号における雑音成分のエネルギーレベルが低減され、雑音低減が成し遂げられる。
以下でより詳細に説明されるように、マイク生成モジュール308から出力されるゲインマスクの値は、時間とサブバンド信号に依存し、サブバンドごとに雑音低減を最適化する。雑音低減は、音声損失歪みが、許容される閾値の制限に従うという、制約を受けることがある。閾値の制限は、例えば、音質最適化抑制(VQOS;voice quality optimized suppression)レベルのような、多くの要因に基づく可能性がある。VQOSレベルは,雑音低減によって取り込まれる、サブバンド信号における音声損失歪みの、推定される最大閾値レベルである。VQOSは、調整することができ、サブバンド信号の特性を考慮に入れる。その結果、システム及び音響設計者に対して、十分な設計の柔軟性を提供する。サブバンド信号において実施される雑音低減の量の下限は、VQOS閾値により決定される。その結果、サブバンド信号の音声損失歪みの量を制限する。結果として、可能な場合には、サブバンド信号において、大きな雑音低減が実施される。大きな量の雑音による、高い音声損失歪みが許容されない状況においては、より小さな雑音低減が実施され得る。
いくつかの実施形態において、サブバンド信号の雑音成分のエネルギーレベルは、少なくとも、残留雑音目標レベルまで低減され得る。残留雑音目標レベルは、固定されるか、あるいは、ゆっくりと時間で変動し得る。いくつかの実施形態において、残留雑音目標レベルは、各サブバンド信号に対して、同一となる。かかる目標レベルは、例えば、目標レベルは、例えば、雑音成分が、聞き取れなくなるか、又は知覚できなくなるレベルとして定義され得るか、あるいは、音響信号を取得するために用いるマイクの自己雑音のレベルより低いレベルであってもよい。別の例として、残留雑音目標レベルは、本明細書で説明される、雑音低減技術を実行するために用いられるシステム内の、内部AGCノイズゲート又はベースバンドノイズゲートのような、ある成分についてのノイズゲートより低くなり得る。
再構成器モジュール314は、マスクされた周波数サブバンド信号を、蝸牛領域から、時間領域へと変換することができる。その変換は、マスクされた周波数サブバンド信号と位相シフトされた信号とを加算する段階を含むことができる。代わりに、その変換は、マスクされた周波数サブバンド信号を、蝸牛チャネル(cochlea channel)の逆(inverse)周波数で乗算する段階を含むことができる。時間領域への変換が完了すると、合成された音響信号は、出力装置206を介して、ユーザへ出力され、かつ/あるいは、符号化のために、コーデックへと提供され得る。
いくつかの実施形態において、合成された時間領域の音響信号についての、追加の事後処理が実行され得る。例えば、快適雑音生成器により生成される、快適雑音(comfort noise)が、ユーザに信号を提供する前に、合成された音響信号に追加され得る。快適雑音は、通常、聞き手にとって認識できない、一様な快適雑音(例えば、ピンク雑音)であり得る。かかる快適雑音は、合成された音響信号に加えられ、可聴性についての閾値を強制し、低レベルの非定常出力雑音成分をマスクする。いくつかの実施形態において、快適雑音レベルは、可聴性についての閾値よりちょうど上になるよう選択され、さらに、ユーザによって設定可能とされ得る。いくつかの実施形態において、マスク生成器モジュール308は、雑音を、快適雑音のレベルか、又はそれより低いレベルに抑えるゲインマスクを生成するために、快適雑音のレベルへのアクセスを有する。
図3のシステムは、オーディオ装置によって処理される、複数の種類の信号を処理することができる。そのシステムは、一以上のマイクを介して受信される音響信号に、適用され得る。そのシステムは、デジタルのRx信号のような、アンテナ又は他の接続を通じて受信される信号をも処理することができる。
図4は、マスク生成器モジュール308の例示的なブロック図である。マスク生成器モジュール308は、ウィーナーフィルタモジュール400、マスク平滑器モジュール402、信号対雑音比(SNR)推定器モジュール404、VQOSマッパモジュール406、残留雑音目標抑制(値)(RNTS;residual noise target suppressor)推定器モジュール408及びゲイン調整器モジュール410を含むことができる。マスク生成器モジュール308は、図4に示されるより、より多くの、あるいはより少ない部品を含んでもよい。また、モジュールの機能は、より少ないモジュール又は追加のモジュールへと、組み合わされるか、あるいは拡張されてもよい。
ウィーナーフィルタモジュール400は、ウィーナーフィルタのゲインマスク値Gwf(t,ω)を、主たる音響信号の各サブバンド信号に対して、計算する。ゲインマスク値は、時間フレームtの間の雑音と音声の短時間パワースペクトルと、サブバンド信号インデックスωに基づき得る。これは、数学的に、以下のように表される。
Figure 2013525843
Psは、時間フレームtの間の、主たる音響信号の、サブバンド信号ωにおける、音声の推定パワースペクトル密度である。Pnは、時間フレームtの間の、主たる音響信号の、サブバンド信号ωにおける、雑音の推定パワースペクトル密度である。上述したように、Pnは、音源推定エンジンモジュール306によって計算され得る。PSは、数学的に、以下のように求めることができる。
Figure 2013525843
λSは、一次再帰形IIRフィルタ又は漏洩積分器(leaky integrator)の忘却因子であり、Pyは、上述したように、NPNSモジュールによって出力された、主たる音響信号のパワースペクトル密度である。音声及び雑音推定に由来する、ウィーナーフィルタのゲインマスク値Gwf(t,ω)は、知覚による認識からの最適値でなくてもよい。すなわち、ウィーナーフィルタは、一般的に、結果として生ずる音声歪みのついてのユーザの近くを考慮することなく、特定の数学的な誤差量を最小化するよう構成され得る。結果として、特定の量の音声歪みは、ウィーナーフィルタのゲインマスク値を用いる、雑音抑制の副作用として、取り入れられる可能性がある。例えば、雑音より低いエネルギーの音声成分は、一般的に、雑音抑制器によって抑制され、その結果、音声歪みとして知覚される、出力音声スペクトルの修正をもたらす。かかる音声劣化は、雑音レベルが高くなると、より厳しくなり、より多くの音声成分が、雑音抑制器によって、減衰される。すなわち、SNRが低くなると、一般的に、より多くの音声成分が、雑音に埋もれるか、雑音として解釈される。したがって、より多くの音声損失歪みが存在する。いくつかの実施形態において、音声及び雑音のPSDに基づいて初期のゲイン値を決定するために、スペクトル減算法若しくはエフライム−マラ(Ephraim-Malah)の公式又は他の方式が、利用され得る。
マスクを適用した結果として、音声歪みの量を制限するために、ウィーナーゲイン値は、知覚的に生成されたゲイン下限Glb(t,ω)を用いて、下方の境界となり得る:
Figure 2013525843
ここで、Gn(t,ω)は、雑音抑制マスクであり、Glb(t,ω)は、サブバンド信号、周波数、パワー及びVQOSレベルにおける瞬間のSNRの複合関数である。ゲイン下限は、以下で説明される、VQOSマッパモジュール406と、RNTS推定器モジュール408の両方を利用して、導かれる。
ウィーナーフィルタモジュール400は、さらに、全体的な(global)音声区間検出器(VAD)と、各サブバンド又は「VADマスク」に対するサブバンドVADを含んでもよい。全体的なVADとサブバンドVADは、マスク生成器モジュール308によって、例えば、マスク平滑器モジュール402の中で使用され、また、例えば自動ゲイン制御(AGC)のような、マスク生成器モジュール308の外で、使用され得る。サブバンドVADマスクと全体的なvADは、ウィーナーゲインから、直接に導かれる。
Figure 2013525843
ここで、g1は、ゲイン閾値であり、n1及びn2は、VADマスクがアクティブな音声を示すサブバンドの数についての閾値であり、n1>n2である。従って、VADは、三つの意味をもつ。VAD(t)=1は、音声フレームを示し、VAD(t)=-1は、雑音フレームを示し、VAD(t)=0は、音声フレームか、雑音フレームかが決定的でないことを示す。VADとVADマスクは、ウィーナフィルタゲインから導かれるため、ゲイン下限及びVQOSレベルについて独立している。このことは、例えば、雑音抑制の量は変化するにもかかわらず、類似したAGCの振る舞いを取得する場合に、都合が良い。
SNR推定器モジュール404は、あるサブバンドにおける雑音成分と音声成分のエネルギー推定を受け取り、主たる音響信号のサブバンド信号ごとのSNRを計算する。サブバンドごとに計算されたSNRは、以下で説明される、知覚によって生成されたゲイン下限を計算するために、VQOSマッパモジュール406及びRNTS推定器モジュール408に提供され、使用される。
例示される実施形態において、SNR推定器モジュール404は、長期ピーク音声エネルギーの割合PS(t,ω)の、瞬間的な雑音エネルギーPn(t,ω)に対する割合として、瞬間のSNRを計算する。
Figure 2013525843
PS(t,ω)は、入力された音声パワー推定及び雑音パワー推定Pn(t,ω)に基づく、一以上の方式を用いて、決定され得る。その方式は、ピーク音声レベル追跡器を含み、音声信号のダイナミックレンジの最大xdBにおける音声エネルギーの平均値を求め、例えば叫び声の後のような、音声レベルの急な落下の後に、音声レベル追跡器をリセットし、(発話者の基本成分を下回る可能性のある)低い周波数にて、下限を音声推定に適用し、サブバンドにわたって音声パワーと雑音パワーを平滑化し、その音声パワー推定とSNRが、成功した(oracle)混合物の一組の正しい値と一致するように、固定されたバイアスを、それらの値に加算することができる。
SNR推定器モジュール404は、(全てのサイドバンド信号にわたる)全体的なSNRを、さらに計算することができる。SNR推定器モジュール404は、システム210の中の他のモジュールの中にあると有益である。あるいは、該モジュールは、オーディオ装置104の他の機能を制御するための、OSの出力APIとして構成され得る。
VQOSマッパモジュール406は、各サブバンド信号Glb(t,ω)の最小ゲイン下限を決定する。最小ゲイン下限は、取り込まれた知覚による音声損失歪みが、少なくとも、指定されたVQOSレベルにより決定される、許容される閾値レベルでなくてはならないという制約を受ける。最大抑制値(Glb(t,ω)の逆数(inverse))は、サブバンド信号にわたって変動し、各サブバンド信号の周波数及びSNR並びにそのVQOSレベルに基づいて決定される。
各サブバンド信号の最小ゲイン下限は、数学的に、以下のように表される。
Figure 2013525843
VQOSレベルは、最大許容音声損失歪みを定義する。VQOSレベルは、多数の、音声歪みの閾値レベルの中から、選択可能であるか、あるいは調整可能であり得る。または、VQOSレベルは、主たる音響信号の特性を考慮に入れ、システム及び音響設計者に対して、完全な設計の柔軟性を提供する。
例示される実施形態において、各サブバンド信号の最小ゲイン下限Glb(t,ω)は、オーディオ装置104のメモリに保管される参照テーブルを用いて決定される。
参照テーブルは、経験的に、主観的な音質評価テストを使用して、生成され得る。例えば、聞き手は、様々な抑制レベルと信号対雑音比の音声信号の音声損失歪みのレベル(VQOSレベル)を評価することができる。かかる評価は、音声信号品質の主観的な評価基準として、参照テーブルを生成するために用いられることができる。いくつかの実施形態において、コンピュータ化された技術を用いて音声信号品質を推定する、客観的な測定基準を用いるような代わりの技術が、参照テーブルを生成するために用いられてもよい。
一実施形態において、音声損失歪みのレベルは、以下のように定義され得る。
Figure 2013525843
かかる例において、VQOSレベル0は、抑制がゼロであることと対応し、事実上、雑音抑制器はバイパスされる。VQOSレベル4と6の間のVQOSレベル5のような、上記で特定される複数のレベルの間のVQOSレベルの参照テーブルは、レベル間の補間(interpolation)により、決定され得る。音声歪みのレベルは、過剰な音声歪みを超えて、拡張されてもよい。VQOSレベル10は、上記の例では、過剰な音声歪みを表すため、10より高い各レベルは、3dBのように、追加のノイズ抑制の定数dBとして表してもよい。
図5は、VQOSレベル2、4、6、8、10に対する、最大抑制値(最小のGlb(t,ω)の逆数(inverse))の、信号対雑音比及びサブバンド信号の中央周波数の関数としての、例示的な参照テーブルを表す。図5において例示される各テーブルのタイトルが示すように、そのテーブルは、音声歪みの特定のレベルが得られる前の、達成可能な最大の抑制値を示す。例えば、18dBの信号対雑音比、0.5kHzのサブバンド中央周波数、およびVQOSレベル2に対して、達成可能な最大の抑制値は、略18dBである。抑制値が18dBを超えるにつれて、音声歪みは、「知覚可能な音声歪みがない」状態を上回る。上述したように、参照テーブルの値は、経験的に決定され、実施形態によって変動し得る。
図5の参照テーブルは、三つの振る舞いを説明する。第一に、達成可能な最大抑制値は、VQOSレベルとともに、単調増加する。第二に、達成可能な最大抑制値は、サブバンド信号SNRとともに、単調増加する。第三に、既定の抑制量は、低い周波数より、高い周波数において、より高い音声損失歪みをもたらす。
また、VQOSマッパモジュール406は、音声損失歪みが、いくつかの許容可能な閾値レベルを下回り、同時に、SNRと雑音の種類に対して抑制量を最大化する、知覚モデルに基づく。結果として、あるサブバンド信号において、可能であれば、大きな量の雑音低減がなされ得る。大きな量の雑音低減に対する、高い音声損失歪みが許容されないような場合には、雑音低減は、より小さくなり得る。
図4に戻ると、RNTS推定器モジュール408は、最終的な(final)ゲイン下限Glb(t,ω)を決定する。VQOSマッパモジュール406によって提供される、最小のゲイン下限
Figure 2013525843
は、各サブバンド信号における雑音成分のエネルギーレベルが、少なくとも、残留雑音目標レベル(RNTL)まで低減されるという制約を受ける。以下でより詳細に説明されるように、いくつかの例において、VQOSマッパモジュール406により提供される最小ゲイン下限は、RNTLより低い残留雑音にするために必要な値より低くなり得る。結果として、VQOSマッパモジュール406により提供される最小ゲイン下限は、残留雑音がRNTLより低いという目標を達成するために必要とされるより多くの音声損失歪みをもたし得る。そのような場合には、RNTS推定器モジュール408は、最小ゲイン下限を制限し、抑制と、結果として生ずる音声損失歪みを弱める。例えば、ゲイン下限の最初の値は、排他的に、推定SNR及びVQOSレベルに基づいて、決定され得る。ゲイン下限の二番目の値は、サブバンド信号の雑音成分のエネルギーレベルを、RNTLに減少させることに基づいて、決定され得る。最終的なGLBであるGlb(t,ω)は、二つの抑制値のうちの小さなほうを選択することにより、決定され得る。
最終的なゲイン下限は、雑音成分のエネルギーレベルPn(t,ω)が、RNTLのエネルギーレベルPrntl(t,ω)である場合に、適用される最大の抑制が、低減された雑音をもたらさないように、さらに制限され得る。すなわち、エネルギーレベルが、既にRNTLを下回っているとき、最終的なゲイン下限は、1(unity)となる。そのような場合には、最終的なゲイン下限は、数学的に、以下のように表される。
Figure 2013525843
低いSNRでは、残留雑音が可聴となる場合がある。これは、VQOSマッパモジュール406について上述したように、ゲイン下限が、一般に、過剰な音声損失歪みを回避するために、低い境界となるからである。しかしながら、高いSNRでは、残留雑音は、完全に不可聴とされ得る。実際に、VQOSマッパモジュール406により提供される最小ゲイン下限は、雑音を不可聴とするのに必要な値より低くなり得る。結果として、VQOSマッパモジュール406により提供される最小ゲイン下限を用いることにより、残留雑音がRNTLを下回るという目標を達成するために必要とされるより、多くの音声損失歪みをもたらし得る。そのような場合には、RNTS推定器モジュール408は、最小ゲイン下限を制限し、その抑制を控える。
RNTLの選択は、システムの目的に依存する。RNTLは、固定的若しくは適応的であるか、周波数依存若しくはスカラであるか、又は、較正時に計算されるか、任意の装置依存のパラメータ若しくはAPI(application program interface)を通じて設定可能である。いくつかの実施形態において、NRTLは、各サブバンド信号に対して、同一である。RNTLは、例えば、雑音成分が知覚できなくなるレベルか、主たる音響信号を取得するために用いられる、主たるマイク106の自己雑音レベルのエネルギー推定Pmsnを下回るレベルとして、定義され得る。自己雑音レベルのエネルギー推定は、特徴抽出器モジュール304によって、事前に較正され得るか、又は求められ得る。別の例として、RNTLは、本明細書で説明される、雑音低減技術を実行するために用いられるシステム内の、内部AGCノイズゲート又はベースバンドノイズゲートのような、ある成分についてのノイズゲートより低くなり得る。
雑音成分を残留雑音目標レベルへと低減することは、いくつかの有益な効果をもたらす。第一に、残留雑音が「白色化」され(すなわち、時間とともに平滑化され、より一定の大きさのスペクトルを有する)、わずらわしく聞こえず、より快適雑音のように聞こえるようになる。第二に、不連続送信(DTX;discontinuous transmission)を有するコーデックによりエンコーディングする場合に、「白色化」による効果は、時間と共に、取り込まれる変調(modulation)を少なくする。そのコーデックが、時間と共に、大きく変調する残留雑音を受信した場合には、残留雑音のいくつかを、音声として誤って識別し、エンコーディングし得る。その結果、雑音の可聴な爆発音が、低減雑音信号へと加わる。時間の経過による、変調の低減は、信号をエンコードするために必要とされる、MIPSの量を低減させる。このことは、電力を節約する。時間の経過による、変調の低減は、エンコードされた信号に対する、フレームごとのビットの量を少なくする。このことは、エンコードされた信号を送信するために必要とされる電力をも低減し、その信号を伝播させるネットワークの容量を効果的に増大させる。
図6は、例示的な抑制値を、異なるVQOSレベルに対するサブバンドSNRの関数として示す図である。図6において、例示的な抑制値は、0.2kHz、1kHz及び5kHzの中央周波数をそれぞれ有するサブバンド信号に対して示される。例示的な抑制値は、残留雑音目標抑制値推定器モジュールからの出力として、最終ゲイン下限Glb(t,ω)の逆数となる。図6における、各プロットの、RNTSとラベルの付された、傾斜のある破線は、各サブバンド信号の残留雑音を、既定の残留雑音目標レベルより小さくするために必要な最小抑制値を示す。かかる特定の例における残留雑音目標レベルのスペクトルは、フラットである。
実線は、残留雑音目標抑制値推定器モジュール408によって決定され、各サブバンド信号に対する実際の抑制値である。実線から伸びる、RNTSとラベル付けされた線より上の破線は、RNTS推定器モジュール408によって課される、残留雑音目標レベルの制約がない場合の、各サブバンド信号に対する抑制値を表す。例えば、残留雑音目標レベルの制約がない場合には、示される例における抑制値は、VQOSレベルが2で、SNRが24dBで、かつ、サブバンドの中央周波数が0.2kHzである場合に対して、略48dBとなる。反対に、残留雑音目標レベルの制約がある場合には、最終的な抑制値は、略26dBとなる。
図6において示されるように、高いSNR値の抑制値は、RNTS推定器モジュール408により課される残留雑音目標レベルに束縛される。適度なSNR値において、それぞれ、高い抑制値は、許容可能な音声損失歪みの閾値レベルに到達する前に、適用され得る。低いSNR値において、抑制値は、雑音低減によって取り込まれる音声損失歪みにより、大きく束縛されるため、抑制値は、相対的に小さくなる。
図7は、例示的な入力音声パワースペクトル700、雑音パワースペクトル710及びRNTL720に対する、複数のサブバンドにわたる、最終的なゲイン下限Glb(t,ω)を表す。示される例において、周波数f1における最終的なゲイン下限は、雑音パワー710をRNTL720まで低減させるために必要となる値より、小さい抑制値に制限される。結果として、周波数f1における残留雑音パワーは、RNTL720を上回る。周波数f2における最終的なゲイン下限は、雑音パワー710の抑制値を、RNTL720まで下げる。従って、そのゲイン下限は、上述した技術を用いる、残留雑音目標抑制値推定器モジュール408により、制限される。周波数f3において、雑音パワー710は、RNTL720より小さい。従って、周波数f3において、最終的なゲイン下限は、1(unity)となり、抑制値は適用されず、雑音パワー710は変化しない。
図4に戻ると、ウィーナーフィルタモジュール400からのウィーナーゲイン値は、任意のマスク平滑化モジュール402へとさらに提供される。マスク平滑化モジュール402は、ウィーナーゲイン値の時間平滑化を実行し、音楽雑音(musical noise)を低減することを支援する。ウィーナーゲイン値は、俊敏に(例えば、あるフレームから次のフレームへと)変動し得る。そして、音声と雑音の推定値は、各フレーム間で、大きく変動し得る。従って、ウィーナーゲイン値のそのままの使用は、不自然な結果(例えば、不連続、ブリップ、過渡(transient)等)を生じ得る。従って、ウィーナーゲイン値を時間平滑化するために、任意のフィルタ平滑化が、マスク平滑化モジュール402において、実行されてもよい。
ゲイン調節器モジュール410は、制限あるいは下限と、平滑化されたウィーナーゲイン値と、残留雑音目標抑制値推定器モジュール408により提供されるゲイン下限とを保つ。これは、著しく音声を歪めないように、マスクを加減するためになされ、数学的に、以下のように表される。
Figure 2013525843
各サブバンド信号の最終的なゲイン下限は、ゲイン調節器モジュール410から、調節器モジュール312へと渡される。上述したように、調節器モジュール312は、(主たる音響信号の、NPNSモジュール310により出力される)雑音が減ぜられたサブバンド信号により、ゲイン下限を乗算する。乗算処理は、主たる音響信号のサブバンド信号内の雑音成分のエネルギーレベルを低減し、その結果、雑音低減をもたらす。
図8は、音響信号の雑音低減を実行する例示的な方法を表すフローチャートである。図8の各ステップは、任意の順序で実行されることができる。また、図8の方法は、例示されるより、追加のステップを含んでもよいし、より少ないステップであってもよい。
ステップ802において、音響信号が、主たるマイク106と補助的なマイク108により、受信される。例示的な実施形態において、音響信号は、処理のために、デジタル形式へと変換される。いくつかの実施形態において、音響信号は、二つより多い、あるいは二つより少ないマイクから、受信される。
ステップ804において、音響信号についての周波数分析が実行され、音響信号を、サブバンド信号へと分離する。周波数分析は、フィルタバンクか、あるいは、例えば離散フーリエ変換若しくは離散コサイン変換を利用することができる。
ステップ806において、主たるマイクと補助的なマイクの両方で受信された音響信号のサブバンド信号のエネルギースペクトルが、計算される。エネルギー推定が計算されると、ステップ808において、マイク間のレベル差(ILD)が計算される。一実施形態において、ILDは、主たる音響信号と、補助的な音響信号の両方のエネルギー推定(すなわち、エネルギースペクトル)に基づいて、計算される。
ステップ810において、音声成分及び雑音成分は、適応的に、分類される。ステップ810は、受信されたエネルギー推定を分析し、可能であれば、音声を、音響信号の雑音と区別するために、ILDを分析する。
ステップ812において、サブバンド信号の雑音スペクトルが、決定される。複数の実施形態において、各サブバンド信号の雑音推定は、主たるマイク106において受信される、主たる音響信号に基づく。雑音推定は、主たるマイク106から受信された、主たる音響信号のサブバンド信号に対する現在のエネルギー推定と、以前に計算された雑音推定に基づき得る。雑音推定を決定する際に、例示的な実施形態に従い、IDLが増加したときに、雑音推定を凍結してもよいし、あるいは、そのペースを落としてもよい。
ステップ813において、雑音消去が実行される。ステップ814において、雑音抑制が実行される。雑音抑制処理については、図9において、以下でより詳細に説明する。ステップ816において、雑音抑制済みの音響信号は、ユーザへと出力され得る。いくつかの実施形態において、デジタル音響信号は、出力のために、アナログ信号へと変換される。出力は、例えば、スピーカ、イヤホン又は他の同様の装置を用いて、なされ得る。
図9は、音響信号の雑音抑制を実行する例示的な方法を表すフローチャートである。図9の各ステップは、任意の順序で実行されてもよい。また、図9の方法は、例示されるより、追加のステップを含んでもよいし、より少ないステップで実行されてもよい。
ステップ900において、サブバンド信号のウィーナフィルタゲインが、計算される。ステップ901において、主たる音響信号の各サブバンド信号の、推定信号対雑音比が計算される。SNRは、長期ピーク音声エネルギーの瞬間的な雑音エネルギーに対する割合として表される、瞬間のSNRであってもよい。
ステップ902において、各サブバンド信号の最小ゲイン下限
Figure 2013525843
は、各サブバンド信号の、推測SNRに基づいて決定される。最小ゲイン下限は、取り込まれた知覚による音声損失歪みが、許容可能な閾値レベル未満となるように、決定される。許容可能な閾値レベルは、指定されたVQOSレベルによって決定されるか、他のいくつかの基準に基づいて、決定され得る。
ステップ904において、最終的なゲイン下限は、各サブバンド信号に対して、決定される。最終的なゲイン下限は、最小ゲイン下限を制限することにより、決定され得る。最終的なゲイン下限は、サブバンド信号における雑音成分のエネルギーレベルが、少なくとも、残留雑音目標レベルまで低減されるという制約を受ける。
ステップ906において、各サブバンド信号に対する、最終的なゲイン下限の最大値と、ウィーナフィルタゲインは、NPNSモジュール310により出力される、主たる音響信号についての、対応する、雑音の減ぜられたサブバンド信号により、乗算される。乗算により、雑音の減ぜられたサブバンド信号における、雑音のレベルを低減し、雑音低減をもたらす。
ステップ908において、主たる音響信号の、マスクされたサブバンド信号は、時間領域へと変換される。例示的な変換技術は、マスクされたサブバンド信号を合成するために、蝸牛チャンネルの逆(inverse)周波数を、マスクされたサブバンド信号へと適用する。ステップ908において、快適雑音を適用するような、追加の後処理が実行されてもよい。いくつかの実施形態において、快適雑音は、加算器を用いて、適用される。
本明細書で説明された雑音低減技術は、サブバンド信号に乗算されるゲインマスクとして、低減値を実現し、サブバンド信号の雑音成分のエネルギーレベルを抑制する。かかる処理は、乗法性雑音抑制とよばれる。実施形態において、本明細書で説明された雑音低減技術は、さらに、あるいは代替的に、減法性(subtractive)雑音消去処理において、利用されてもよい。そのような場合には、低減値は、例えば、任意に雑音消去されたサブバンド信号と、元の雑音のある主たるサブバンド信号との間のクロスフェード値を制御することにより、サブバンド信号において実行される雑音消去の量に対する下限を提供するために、求められる。減算性雑音消去処理は、例えば、NPNSモジュール310において、実行され得る。
図3、4に関して説明されたものを含む、上述したモジュールは、コンピュータ読取可能な媒体(例えば、コンピュータ読取可能な媒体)のような、記憶媒体に保管される命令として、含まれ得る。これらの命令は、プロセッサ202によって読み出され、実行され、上述した機能を実行することができる。いくつかの命令の例は、ソフトウェア、プログラムコード及びファームウェアを含む。記憶媒体の例は、メモリ装置及び集積回路を含む。
本発明は、上述した、好ましい実施形態及び実施例への参照によって開示されるが、かかる例は、例示的なものであり、限定する意図をもってなされたものではない点に留意する。修正及び組み合わせは、容易に当業者の頭に思い浮かぶであろうことが予期される。これらの修正及び組み合わせは、本発明の精神及び以下のクレームの範囲内にある。

Claims (23)

  1. 音響信号の雑音を低減する方法であって:
    音響信号を受信する段階と;
    前記音響信号を、複数のサブバンド信号へと分離する段階と;
    低減値を前記複数のサブバンド信号のうちの一のサブバンド信号に適用する段階であって、前記サブバンド信号の雑音成分のエネルギーレベルを低減させ、
    前記低減値は、前記サブバンド信号の推定された信号対雑音比と、前記サブバンド信号における音声損失歪みの推定された閾値レベルとに基づく、段階と;
    を有する、方法。
  2. 前記低減値を適用する前記段階は、前記低減値に基づいて、前記サブバンド信号の雑音消去を実行する段階を含む、
    請求項1に記載の方法。
  3. 前記低減値を適用する前記段階は、前記低減値を、前記サブバンド信号に乗算する段階を含む、
    請求項1に記載の方法。
  4. 第二の低減値を、前記サブバンド信号に乗算する段階であって、さらに前記雑音成分のエネルギーレベルを低減させる、段階
    をさらに有する、請求項2に記載の方法。
  5. 前記サブバンド信号における前記雑音成分のエネルギーレベルは、少なくとも残留雑音目標レベルまで減少させられる、
    請求項1に記載の方法。
  6. 前記推定された信号対雑音比と、前記音声損失歪みの推定された閾値レベルとに基づいて、前記低減値の第一の値を決定する段階と;
    前記サブバンド信号における、前記雑音成分のエネルギーレベルの、前記残留雑音目標レベルへの低減に基づいて、前記低減値の第二の値を決定する段階と;
    前記低減値として、前記第一の値と前記第二の値のうち一を選択する段階と;
    をさらに有する、請求項5に記載の方法。
  7. 前記低減値を低減した後に、分離された前記音響信号をエンコードする段階
    をさらに有する、請求項6に記載の方法。
  8. 前記残留雑音目標レベルは、可聴なレベルより低いレベルである、
    請求項5に記載の方法。
  9. 前記第二の低減値は、第二のサブバンド信号の前記雑音成分のエネルギーレベルが、前記残留雑音目標レベルより低い場合に、1となる、
    請求項5に記載の方法。
  10. 前記低減値は、さらに、前記サブバンド信号における、前記雑音成分及び前記音声成分の、推定されたパワースペクトル密度に基づく、
    請求項1に記載の方法。
  11. プログラムを格納するコンピュータ読取可能な記憶媒体であって、前記プログラムは、プロセッサに、音響信号の雑音を低減する方法を実行させ、該方法は:
    音響信号を受信する段階と;
    前記音響信号を、複数のサブバンド信号へと分離する段階と;
    低減値を前記複数のサブバンド信号のうちの一のサブバンド信号に適用する段階であって、前記サブバンド信号の雑音成分のエネルギーレベルを低減させ、
    前記低減値は、前記サブバンド信号の推定された信号対雑音比と、前記サブバンド信号における音声損失歪みの推定された閾値レベルとに基づく、段階と;
    を有する、記憶媒体。
  12. 前記低減値を適用する前記段階は、前記低減値に基づいて、前記サブバンド信号の雑音消去を実行する段階を含む、
    請求項11に記載の記憶媒体。
  13. 前記低減値を適用する前記段階は、前記低減値を、前記サブバンド信号に乗算する段階を含む、
    請求項11に記載の記憶媒体。
  14. 前記サブバンド信号における前記雑音成分のエネルギーレベルは、少なくとも残留雑音目標レベルまで減少させられる、
    請求項11に記載の記憶媒体。
  15. 前記方法は:
    前記推定された信号対雑音比と、前記音声損失歪みの推定された閾値レベルとに基づいて、前記低減値の第一の値を決定する段階と;
    前記サブバンド信号における、前記雑音成分のエネルギーレベルの、前記残留雑音目標レベルへの低減に基づいて、前記低減値の第二の値を決定する段階と;
    前記低減値として、前記第一の値と前記第二の値のうち一を選択する段階と;
    をさらに有する、請求項14に記載の記憶媒体。
  16. 前記方法は、
    第二の低減値を、前記サブバンド信号に乗算する段階であって、さらに前記雑音成分のエネルギーレベルを低減する、段階
    をさらに有する、請求項11に記載の記憶媒体。
  17. 前記残留雑音目標レベルは、可聴なレベルより低いレベルである、
    請求項14に記載の記憶媒体。
  18. 前記第二の低減値は、第二のサブバンド信号の前記雑音成分のエネルギーレベルが、前記残留雑音目標レベルより低い場合に、1となる、
    請求項14に記載の記憶媒体。
  19. 音響信号の雑音を低減するシステムであって:
    プロセッサにより実行される、メモリに保管された周波数分析モジュール及び雑音低減モジュールを有し、
    前記周波数分析モジュールは、
    音響信号を受信し、
    前記音響信号を、複数のサブバンド信号へと分離し;
    前記雑音低減モジュールは、
    低減値を前記複数のサブバンド信号のうちの一のサブバンド信号に適用し、前記サブバンド信号の雑音成分のエネルギーレベルを低減させ、
    前記低減値は、前記サブバンド信号の推定された信号対雑音比と、前記サブバンド信号における音声損失歪みの推定された閾値レベルとに基づく、
    システム。
  20. 前記雑音低減モジュールは、前記低減値に基づいて、前記サブバンド信号の雑音消去を実行する、
    請求項19に記載のシステム。
  21. 前記雑音低減モジュールは、前記低減値を、前記サブバンド信号に乗算する、
    請求項19に記載のシステム。
  22. 前記サブバンド信号における前記雑音成分のエネルギーレベルは、少なくとも残留雑音目標レベルまで減少させられる、
    請求項19に記載のシステム。
  23. 前記低減値は、さらに、前記雑音低減モジュールのアプリケーション・プログラム・インターフェースを介して受信された入力に基づく、
    請求項19に記載のシステム。
JP2013506188A 2010-04-19 2011-04-14 単一又は複数のマイクを備えるシステムにおける雑音低減と音声品質を共に最適化する方法 Pending JP2013525843A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US32576410P 2010-04-19 2010-04-19
US61/325,764 2010-04-19
US12/832,901 US8473287B2 (en) 2010-04-19 2010-07-08 Method for jointly optimizing noise reduction and voice quality in a mono or multi-microphone system
US12/832,901 2010-07-08
PCT/US2011/032578 WO2011133405A1 (en) 2010-04-19 2011-04-14 Method for jointly optimizing noise reduction and voice quality in a mono or multi-microphone system

Publications (2)

Publication Number Publication Date
JP2013525843A true JP2013525843A (ja) 2013-06-20
JP2013525843A5 JP2013525843A5 (ja) 2014-05-22

Family

ID=44788878

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013506188A Pending JP2013525843A (ja) 2010-04-19 2011-04-14 単一又は複数のマイクを備えるシステムにおける雑音低減と音声品質を共に最適化する方法

Country Status (5)

Country Link
US (4) US8473287B2 (ja)
JP (1) JP2013525843A (ja)
KR (1) KR20130061673A (ja)
TW (1) TW201207845A (ja)
WO (1) WO2011133405A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9437180B2 (en) 2010-01-26 2016-09-06 Knowles Electronics, Llc Adaptive noise reduction using level cues
US9502048B2 (en) 2010-04-19 2016-11-22 Knowles Electronics, Llc Adaptively reducing noise to limit speech distortion
US9830899B1 (en) 2006-05-25 2017-11-28 Knowles Electronics, Llc Adaptive noise cancellation
US11056128B2 (en) 2016-10-18 2021-07-06 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for processing an audio signal using noise suppression filter values

Families Citing this family (78)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110125497A1 (en) * 2009-11-20 2011-05-26 Takahiro Unno Method and System for Voice Activity Detection
US9838784B2 (en) 2009-12-02 2017-12-05 Knowles Electronics, Llc Directional audio capture
US8538035B2 (en) 2010-04-29 2013-09-17 Audience, Inc. Multi-microphone robust noise suppression
US8798290B1 (en) 2010-04-21 2014-08-05 Audience, Inc. Systems and methods for adaptive signal equalization
US8781137B1 (en) 2010-04-27 2014-07-15 Audience, Inc. Wind noise detection and suppression
US8798992B2 (en) * 2010-05-19 2014-08-05 Disney Enterprises, Inc. Audio noise modification for event broadcasting
US9558755B1 (en) 2010-05-20 2017-01-31 Knowles Electronics, Llc Noise suppression assisted automatic speech recognition
US8447596B2 (en) 2010-07-12 2013-05-21 Audience, Inc. Monaural noise suppression based on computational auditory scene analysis
EP2603914A4 (en) * 2010-08-11 2014-11-19 Bone Tone Comm Ltd REMOVING BACKGROUND NOISE FOR PRIVATE, PERSONALIZED USE
US10353495B2 (en) 2010-08-20 2019-07-16 Knowles Electronics, Llc Personalized operation of a mobile device using sensor signatures
US9772815B1 (en) 2013-11-14 2017-09-26 Knowles Electronics, Llc Personalized operation of a mobile device using acoustic and non-acoustic information
WO2012127278A1 (en) * 2011-03-18 2012-09-27 Nokia Corporation Apparatus for audio signal processing
US8972251B2 (en) * 2011-06-07 2015-03-03 Qualcomm Incorporated Generating a masking signal on an electronic device
EP2590165B1 (en) 2011-11-07 2015-04-29 Dietmar Ruwisch Method and apparatus for generating a noise reduced audio signal
US20130282372A1 (en) * 2012-04-23 2013-10-24 Qualcomm Incorporated Systems and methods for audio signal processing
US9159964B2 (en) 2012-09-25 2015-10-13 Front Edge Technology, Inc. Solid state battery having mismatched battery cells
US9640194B1 (en) 2012-10-04 2017-05-02 Knowles Electronics, Llc Noise suppression for speech processing based on machine-learning mask estimation
US9424859B2 (en) * 2012-11-21 2016-08-23 Harman International Industries Canada Ltd. System to control audio effect parameters of vocal signals
US9330677B2 (en) 2013-01-07 2016-05-03 Dietmar Ruwisch Method and apparatus for generating a noise reduced audio signal using a microphone array
US9536540B2 (en) 2013-07-19 2017-01-03 Knowles Electronics, Llc Speech signal separation and synthesis based on auditory scene analysis and speech modeling
CN104347067B (zh) 2013-08-06 2017-04-12 华为技术有限公司 一种音频信号分类方法和装置
US9508345B1 (en) 2013-09-24 2016-11-29 Knowles Electronics, Llc Continuous voice sensing
US9781106B1 (en) 2013-11-20 2017-10-03 Knowles Electronics, Llc Method for modeling user possession of mobile device for user authentication framework
US9953634B1 (en) 2013-12-17 2018-04-24 Knowles Electronics, Llc Passive training for automatic speech recognition
JP6337519B2 (ja) * 2014-03-03 2018-06-06 富士通株式会社 音声処理装置、雑音抑圧方法、およびプログラム
US9437188B1 (en) 2014-03-28 2016-09-06 Knowles Electronics, Llc Buffered reprocessing for multi-microphone automatic speech recognition assist
US9500739B2 (en) 2014-03-28 2016-11-22 Knowles Electronics, Llc Estimating and tracking multiple attributes of multiple objects from multi-sensor data
US10446168B2 (en) * 2014-04-02 2019-10-15 Plantronics, Inc. Noise level measurement with mobile devices, location services, and environmental response
US9807725B1 (en) 2014-04-10 2017-10-31 Knowles Electronics, Llc Determining a spatial relationship between different user contexts
WO2015157827A1 (en) * 2014-04-17 2015-10-22 Wolfson Dynamic Hearing Pty Ltd Retaining binaural cues when mixing microphone signals
CN106797512B (zh) 2014-08-28 2019-10-25 美商楼氏电子有限公司 多源噪声抑制的方法、系统和非瞬时计算机可读存储介质
DE112015004185T5 (de) 2014-09-12 2017-06-01 Knowles Electronics, Llc Systeme und Verfahren zur Wiederherstellung von Sprachkomponenten
US9712915B2 (en) 2014-11-25 2017-07-18 Knowles Electronics, Llc Reference microphone for non-linear and time variant echo cancellation
DE102015201073A1 (de) 2015-01-22 2016-07-28 Sivantos Pte. Ltd. Verfahren und Vorrichtung zur Rauschunterdrückung basierend auf Inter-Subband-Korrelation
US9668048B2 (en) 2015-01-30 2017-05-30 Knowles Electronics, Llc Contextual switching of microphones
US9401158B1 (en) 2015-09-14 2016-07-26 Knowles Electronics, Llc Microphone signal fusion
US10297269B2 (en) 2015-09-24 2019-05-21 Dolby Laboratories Licensing Corporation Automatic calculation of gains for mixing narration into pre-recorded content
WO2017096174A1 (en) 2015-12-04 2017-06-08 Knowles Electronics, Llc Multi-microphone feedforward active noise cancellation
US20170195811A1 (en) 2015-12-30 2017-07-06 Knowles Electronics Llc Audio Monitoring and Adaptation Using Headset Microphones Inside User's Ear Canal
US9830930B2 (en) 2015-12-30 2017-11-28 Knowles Electronics, Llc Voice-enhanced awareness mode
US9779716B2 (en) 2015-12-30 2017-10-03 Knowles Electronics, Llc Occlusion reduction and active noise reduction based on seal quality
WO2017127646A1 (en) 2016-01-22 2017-07-27 Knowles Electronics, Llc Shared secret voice authentication
US9812149B2 (en) 2016-01-28 2017-11-07 Knowles Electronics, Llc Methods and systems for providing consistency in noise reduction during speech and non-speech periods
US10157629B2 (en) * 2016-02-05 2018-12-18 Brainchip Inc. Low power neuromorphic voice activation system and method
US10923132B2 (en) 2016-02-19 2021-02-16 Dolby Laboratories Licensing Corporation Diffusivity based sound processing method and apparatus
US9820042B1 (en) 2016-05-02 2017-11-14 Knowles Electronics, Llc Stereo separation and directional suppression with omni-directional microphones
US10249305B2 (en) * 2016-05-19 2019-04-02 Microsoft Technology Licensing, Llc Permutation invariant training for talker-independent multi-talker speech separation
FR3056813B1 (fr) * 2016-09-29 2019-11-08 Dolphin Integration Circuit audio et procede de detection d'activite
US10262673B2 (en) 2017-02-13 2019-04-16 Knowles Electronics, Llc Soft-talk audio capture for mobile devices
US10224053B2 (en) * 2017-03-24 2019-03-05 Hyundai Motor Company Audio signal quality enhancement based on quantitative SNR analysis and adaptive Wiener filtering
EP3428918B1 (en) * 2017-07-11 2020-02-12 Harman Becker Automotive Systems GmbH Pop noise control
US11263522B2 (en) 2017-09-08 2022-03-01 Analog Devices, Inc. Analog switched-capacitor neural network
US10096311B1 (en) 2017-09-12 2018-10-09 Plantronics, Inc. Intelligent soundscape adaptation utilizing mobile devices
US20190090052A1 (en) 2017-09-20 2019-03-21 Knowles Electronics, Llc Cost effective microphone array design for spatial filtering
US10339949B1 (en) 2017-12-19 2019-07-02 Apple Inc. Multi-channel speech enhancement
US10957337B2 (en) 2018-04-11 2021-03-23 Microsoft Technology Licensing, Llc Multi-microphone speech separation
CN109003622B (zh) * 2018-09-11 2021-06-04 广州小鹏汽车科技有限公司 降噪处理方法、装置、收音机及交通工具
CN110364162B (zh) * 2018-11-15 2022-03-15 腾讯科技(深圳)有限公司 一种人工智能的重置方法及装置、存储介质
US10771887B2 (en) * 2018-12-21 2020-09-08 Cisco Technology, Inc. Anisotropic background audio signal control
US11170799B2 (en) * 2019-02-13 2021-11-09 Harman International Industries, Incorporated Nonlinear noise reduction system
US10964314B2 (en) * 2019-03-22 2021-03-30 Cirrus Logic, Inc. System and method for optimized noise reduction in the presence of speech distortion using adaptive microphone array
EP3764360B1 (en) 2019-07-10 2024-05-01 Analog Devices International Unlimited Company Signal processing methods and systems for beam forming with improved signal to noise ratio
EP3764358B1 (en) 2019-07-10 2024-05-22 Analog Devices International Unlimited Company Signal processing methods and systems for beam forming with wind buffeting protection
EP3764664A1 (en) 2019-07-10 2021-01-13 Analog Devices International Unlimited Company Signal processing methods and systems for beam forming with microphone tolerance compensation
EP3764359A1 (en) 2019-07-10 2021-01-13 Analog Devices International Unlimited Company Signal processing methods and systems for multi-focus beam-forming
EP3764660B1 (en) 2019-07-10 2023-08-30 Analog Devices International Unlimited Company Signal processing methods and systems for adaptive beam forming
US11587575B2 (en) * 2019-10-11 2023-02-21 Plantronics, Inc. Hybrid noise suppression
US11238853B2 (en) 2019-10-30 2022-02-01 Comcast Cable Communications, Llc Keyword-based audio source localization
CN113038318B (zh) * 2019-12-25 2022-06-07 荣耀终端有限公司 一种语音信号处理方法及装置
TWI760676B (zh) * 2020-01-07 2022-04-11 瑞昱半導體股份有限公司 具有抗噪機制的音訊播放裝置及方法
KR20210101670A (ko) 2020-02-10 2021-08-19 삼성전자주식회사 음질 개선 방법 및 이를 이용한 전자 장치
CN112289333B (zh) * 2020-12-25 2021-04-13 北京达佳互联信息技术有限公司 语音增强模型的训练方法和装置及语音增强方法和装置
US20220262342A1 (en) * 2021-02-18 2022-08-18 Nuance Communications, Inc. System and method for data augmentation and speech processing in dynamic acoustic environments
CN113409813B (zh) * 2021-05-26 2023-06-06 北京捷通华声科技股份有限公司 语音分离方法及装置
US20230230599A1 (en) * 2022-01-20 2023-07-20 Nuance Communications, Inc. Data augmentation system and method for multi-microphone systems
US20230230581A1 (en) * 2022-01-20 2023-07-20 Nuance Communications, Inc. Data augmentation system and method for multi-microphone systems
US20230230580A1 (en) * 2022-01-20 2023-07-20 Nuance Communications, Inc. Data augmentation system and method for multi-microphone systems
US20230230582A1 (en) * 2022-01-20 2023-07-20 Nuance Communications, Inc. Data augmentation system and method for multi-microphone systems

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003140700A (ja) * 2001-11-05 2003-05-16 Nec Corp ノイズ除去方法及び装置
JP2008065090A (ja) * 2006-09-07 2008-03-21 Toshiba Corp ノイズサプレス装置
US20090012783A1 (en) * 2007-07-06 2009-01-08 Audience, Inc. System and method for adaptive intelligent noise suppression
WO2010005493A1 (en) * 2008-06-30 2010-01-14 Audience, Inc. System and method for providing noise suppression utilizing null processing noise subtraction

Family Cites Families (314)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3581122A (en) 1967-10-26 1971-05-25 Bell Telephone Labor Inc All-pass filter circuit having negative resistance shunting resonant circuit
US3989897A (en) 1974-10-25 1976-11-02 Carver R W Method and apparatus for reducing noise content in audio signals
US4630304A (en) 1985-07-01 1986-12-16 Motorola, Inc. Automatic background noise estimator for a noise suppression system
US4811404A (en) 1987-10-01 1989-03-07 Motorola, Inc. Noise suppression system
US4910779A (en) 1987-10-15 1990-03-20 Cooper Duane H Head diffraction compensated stereo system with optimal equalization
IL84948A0 (en) 1987-12-25 1988-06-30 D S P Group Israel Ltd Noise reduction system
US4991166A (en) 1988-10-28 1991-02-05 Shure Brothers Incorporated Echo reduction circuit
US5027306A (en) 1989-05-12 1991-06-25 Dattorro Jon C Decimation filter as for a sigma-delta analog-to-digital converter
US5050217A (en) 1990-02-16 1991-09-17 Akg Acoustics, Inc. Dynamic noise reduction and spectral restoration system
US5103229A (en) 1990-04-23 1992-04-07 General Electric Company Plural-order sigma-delta analog-to-digital converters using both single-bit and multiple-bit quantization
JPH0566795A (ja) 1991-09-06 1993-03-19 Gijutsu Kenkyu Kumiai Iryo Fukushi Kiki Kenkyusho 雑音抑圧装置とその調整装置
JP3279612B2 (ja) 1991-12-06 2002-04-30 ソニー株式会社 雑音低減装置
JP3176474B2 (ja) 1992-06-03 2001-06-18 沖電気工業株式会社 適応ノイズキャンセラ装置
JP2508574B2 (ja) 1992-11-10 1996-06-19 日本電気株式会社 多チャンネルエコ―除去装置
US5408235A (en) 1994-03-07 1995-04-18 Intel Corporation Second order Sigma-Delta based analog to digital converter having superior analog components and having a programmable comb filter coupled to the digital signal processor
US5544250A (en) 1994-07-18 1996-08-06 Motorola Noise suppression system and method therefor
JP3307138B2 (ja) 1995-02-27 2002-07-24 ソニー株式会社 信号符号化方法及び装置、並びに信号復号化方法及び装置
US5828997A (en) 1995-06-07 1998-10-27 Sensimetrics Corporation Content analyzer mixing inverse-direction-probability-weighted noise to input signal
US5809463A (en) 1995-09-15 1998-09-15 Hughes Electronics Method of detecting double talk in an echo canceller
US5687104A (en) 1995-11-17 1997-11-11 Motorola, Inc. Method and apparatus for generating decoupled filter parameters and implementing a band decoupled filter
FI100840B (fi) 1995-12-12 1998-02-27 Nokia Mobile Phones Ltd Kohinanvaimennin ja menetelmä taustakohinan vaimentamiseksi kohinaises ta puheesta sekä matkaviestin
US5819217A (en) 1995-12-21 1998-10-06 Nynex Science & Technology, Inc. Method and system for differentiating between speech and noise
US5937060A (en) 1996-02-09 1999-08-10 Texas Instruments Incorporated Residual echo suppression
US5774562A (en) 1996-03-25 1998-06-30 Nippon Telegraph And Telephone Corp. Method and apparatus for dereverberation
JP3325770B2 (ja) 1996-04-26 2002-09-17 三菱電機株式会社 ノイズ低減回路及びノイズ低減装置及びノイズ低減方法
US5701350A (en) 1996-06-03 1997-12-23 Digisonix, Inc. Active acoustic control in remote regions
US5825898A (en) 1996-06-27 1998-10-20 Lamar Signal Processing Ltd. System and method for adaptive interference cancelling
US5796819A (en) 1996-07-24 1998-08-18 Ericsson Inc. Echo canceller for non-linear circuits
US5806025A (en) 1996-08-07 1998-09-08 U S West, Inc. Method and system for adaptive filtering of speech signals using signal-to-noise ratio to choose subband filter bank
US5887032A (en) 1996-09-03 1999-03-23 Amati Communications Corp. Method and apparatus for crosstalk cancellation
JPH10124088A (ja) 1996-10-24 1998-05-15 Sony Corp 音声帯域幅拡張装置及び方法
US5963651A (en) 1997-01-16 1999-10-05 Digisonix, Inc. Adaptive acoustic attenuation system having distributed processing and shared state nodal architecture
JP3328532B2 (ja) 1997-01-22 2002-09-24 シャープ株式会社 デジタルデータの符号化方法
US5933495A (en) 1997-02-07 1999-08-03 Texas Instruments Incorporated Subband acoustic noise suppression
US6104993A (en) 1997-02-26 2000-08-15 Motorola, Inc. Apparatus and method for rate determination in a communication system
US6151397A (en) 1997-05-16 2000-11-21 Motorola, Inc. Method and system for reducing undesired signals in a communication environment
TW392416B (en) 1997-08-18 2000-06-01 Noise Cancellation Tech Noise cancellation system for active headsets
US6122384A (en) 1997-09-02 2000-09-19 Qualcomm Inc. Noise suppression system and method
JP4132154B2 (ja) 1997-10-23 2008-08-13 ソニー株式会社 音声合成方法及び装置、並びに帯域幅拡張方法及び装置
US6343267B1 (en) 1998-04-30 2002-01-29 Matsushita Electric Industrial Co., Ltd. Dimensionality reduction for speaker normalization and speaker and environment adaptation using eigenvoice techniques
US6549586B2 (en) 1999-04-12 2003-04-15 Telefonaktiebolaget L M Ericsson System and method for dual microphone signal noise reduction using spectral subtraction
US6160265A (en) 1998-07-13 2000-12-12 Kensington Laboratories, Inc. SMIF box cover hold down latch and box door latch actuating mechanism
US6240386B1 (en) 1998-08-24 2001-05-29 Conexant Systems, Inc. Speech codec employing noise classification for noise compensation
US6539355B1 (en) 1998-10-15 2003-03-25 Sony Corporation Signal band expanding method and apparatus and signal synthesis method and apparatus
US6011501A (en) 1998-12-31 2000-01-04 Cirrus Logic, Inc. Circuits, systems and methods for processing data in a one-bit format
US6453287B1 (en) 1999-02-04 2002-09-17 Georgia-Tech Research Corporation Apparatus and quality enhancement algorithm for mixed excitation linear predictive (MELP) and other speech coders
US6381570B2 (en) 1999-02-12 2002-04-30 Telogy Networks, Inc. Adaptive two-threshold method for discriminating noise from speech in a communication signal
US6377915B1 (en) 1999-03-17 2002-04-23 Yrp Advanced Mobile Communication Systems Research Laboratories Co., Ltd. Speech decoding using mix ratio table
SE514948C2 (sv) 1999-03-29 2001-05-21 Ericsson Telefon Ab L M Förfarande och anordning för att reducera överhörning
US6490556B2 (en) 1999-05-28 2002-12-03 Intel Corporation Audio classifier for half duplex communication
US20010044719A1 (en) 1999-07-02 2001-11-22 Mitsubishi Electric Research Laboratories, Inc. Method and system for recognizing, indexing, and searching acoustic signals
US6453284B1 (en) 1999-07-26 2002-09-17 Texas Tech University Health Sciences Center Multiple voice tracking system and method
US6480610B1 (en) 1999-09-21 2002-11-12 Sonic Innovations, Inc. Subband acoustic feedback cancellation in hearing aids
US7054809B1 (en) 1999-09-22 2006-05-30 Mindspeed Technologies, Inc. Rate selection method for selectable mode vocoder
US6326912B1 (en) 1999-09-24 2001-12-04 Akm Semiconductor, Inc. Analog-to-digital conversion using a multi-bit analog delta-sigma modulator combined with a one-bit digital delta-sigma modulator
US6594367B1 (en) 1999-10-25 2003-07-15 Andrea Electronics Corporation Super directional beamforming design and implementation
US6473733B1 (en) 1999-12-01 2002-10-29 Research In Motion Limited Signal enhancement for voice coding
TW510143B (en) 1999-12-03 2002-11-11 Dolby Lab Licensing Corp Method for deriving at least three audio signals from two input audio signals
US6934387B1 (en) 1999-12-17 2005-08-23 Marvell International Ltd. Method and apparatus for digital near-end echo/near-end crosstalk cancellation with adaptive correlation
GB2357683A (en) 1999-12-24 2001-06-27 Nokia Mobile Phones Ltd Voiced/unvoiced determination for speech coding
US6757395B1 (en) 2000-01-12 2004-06-29 Sonic Innovations, Inc. Noise reduction apparatus and method
US7076315B1 (en) 2000-03-24 2006-07-11 Audience, Inc. Efficient computation of log-frequency-scale digital filter cascade
US20010046304A1 (en) 2000-04-24 2001-11-29 Rast Rodger H. System and method for selective control of acoustic isolation in headsets
JP2001318694A (ja) 2000-05-10 2001-11-16 Toshiba Corp 信号処理装置、信号処理方法および記録媒体
US7346176B1 (en) 2000-05-11 2008-03-18 Plantronics, Inc. Auto-adjust noise canceling microphone with position sensor
US6377637B1 (en) 2000-07-12 2002-04-23 Andrea Electronics Corporation Sub-band exponential smoothing noise canceling system
US8467543B2 (en) 2002-03-27 2013-06-18 Aliphcom Microphone and voice activity detection (VAD) configurations for use with communication systems
US8254617B2 (en) 2003-03-27 2012-08-28 Aliphcom, Inc. Microphone array with rear venting
US20070233479A1 (en) 2002-05-30 2007-10-04 Burnett Gregory C Detecting voiced and unvoiced speech using both acoustic and nonacoustic sensors
US6782253B1 (en) 2000-08-10 2004-08-24 Koninklijke Philips Electronics N.V. Mobile micro portal
CN100337405C (zh) 2000-08-11 2007-09-12 皇家菲利浦电子有限公司 用于同步∑△调制器的方法和装置
JP3566197B2 (ja) 2000-08-31 2004-09-15 松下電器産業株式会社 雑音抑圧装置及び雑音抑圧方法
US6804203B1 (en) 2000-09-15 2004-10-12 Mindspeed Technologies, Inc. Double talk detector for echo cancellation in a speech communication system
US6859508B1 (en) 2000-09-28 2005-02-22 Nec Electronics America, Inc. Four dimensional equalizer and far-end cross talk canceler in Gigabit Ethernet signals
US7472059B2 (en) 2000-12-08 2008-12-30 Qualcomm Incorporated Method and apparatus for robust speech classification
US20020128839A1 (en) 2001-01-12 2002-09-12 Ulf Lindgren Speech bandwidth extension
US20020097884A1 (en) 2001-01-25 2002-07-25 Cairns Douglas A. Variable noise reduction algorithm based on vehicle conditions
US6990196B2 (en) 2001-02-06 2006-01-24 The Board Of Trustees Of The Leland Stanford Junior University Crosstalk identification in xDSL systems
US7617099B2 (en) 2001-02-12 2009-11-10 FortMedia Inc. Noise suppression by two-channel tandem spectrum modification for speech signal in an automobile
US7006636B2 (en) 2002-05-24 2006-02-28 Agere Systems Inc. Coherence-based audio coding and synthesis
WO2002093561A1 (de) 2001-05-11 2002-11-21 Siemens Aktiengesellschaft Verfahren zur erweiterung der bandbreite eines schmalbandig gefilterten sprachsignals, insbesondere eines von einem telekommunikationsgerät gesendeten sprachsignals
US6675164B2 (en) 2001-06-08 2004-01-06 The Regents Of The University Of California Parallel object-oriented data mining system
CN1326415C (zh) 2001-06-26 2007-07-11 诺基亚公司 对音频信号进行代码变换的方法、码变换器、网元、无线通信网和通信系统
US6876859B2 (en) 2001-07-18 2005-04-05 Trueposition, Inc. Method for estimating TDOA and FDOA in a wireless location system
CA2354808A1 (en) 2001-08-07 2003-02-07 King Tam Sub-band adaptive signal processing in an oversampled filterbank
US6895375B2 (en) 2001-10-04 2005-05-17 At&T Corp. System for bandwidth extension of Narrow-band speech
US6988066B2 (en) 2001-10-04 2006-01-17 At&T Corp. Method of bandwidth extension for narrow-band speech
KR100648760B1 (ko) 2001-11-29 2006-11-23 코딩 테크놀러지스 에이비 고주파 재생 기술 향상을 위한 방법들 및 그를 수행하는 프로그램이 저장된 컴퓨터 프로그램 기록매체
US7042934B2 (en) 2002-01-23 2006-05-09 Actelis Networks Inc. Crosstalk mitigation in a modem pool environment
WO2007106399A2 (en) 2006-03-10 2007-09-20 Mh Acoustics, Llc Noise-reducing directional microphone array
US7171008B2 (en) 2002-02-05 2007-01-30 Mh Acoustics, Llc Reducing noise in audio systems
US8098844B2 (en) 2002-02-05 2012-01-17 Mh Acoustics, Llc Dual-microphone spatial noise suppression
US7050783B2 (en) 2002-02-22 2006-05-23 Kyocera Wireless Corp. Accessory detection system
CA2420989C (en) 2002-03-08 2006-12-05 Gennum Corporation Low-noise directional microphone system
US7590250B2 (en) 2002-03-22 2009-09-15 Georgia Tech Research Corporation Analog audio signal enhancement system using a noise suppression algorithm
GB2387008A (en) 2002-03-28 2003-10-01 Qinetiq Ltd Signal Processing System
US7072834B2 (en) 2002-04-05 2006-07-04 Intel Corporation Adapting to adverse acoustic environment in speech processing using playback training data
US7065486B1 (en) 2002-04-11 2006-06-20 Mindspeed Technologies, Inc. Linear prediction based noise suppression
US7190665B2 (en) 2002-04-19 2007-03-13 Texas Instruments Incorporated Blind crosstalk cancellation for multicarrier modulation
CN1647156B (zh) 2002-04-22 2010-05-26 皇家飞利浦电子股份有限公司 参数编码方法、参数编码器、用于提供音频信号的设备、解码方法、解码器、用于提供解码后的多声道音频信号的设备
DK1359787T3 (en) 2002-04-25 2015-04-20 Gn Resound As Fitting method and hearing prosthesis which is based on signal to noise ratio loss of data
US7319959B1 (en) 2002-05-14 2008-01-15 Audience, Inc. Multi-source phoneme classification for noise-robust automatic speech recognition
US7257231B1 (en) 2002-06-04 2007-08-14 Creative Technology Ltd. Stream segregation for stereo signals
US7242762B2 (en) 2002-06-24 2007-07-10 Freescale Semiconductor, Inc. Monitoring and control of an adaptive filter in a communication system
US20050238238A1 (en) 2002-07-19 2005-10-27 Li-Qun Xu Method and system for classification of semantic content of audio/video data
CA2399159A1 (en) 2002-08-16 2004-02-16 Dspfactory Ltd. Convergence improvement for oversampled subband adaptive filters
JP4155774B2 (ja) 2002-08-28 2008-09-24 富士通株式会社 エコー抑制システム及び方法
US7539273B2 (en) 2002-08-29 2009-05-26 Bae Systems Information And Electronic Systems Integration Inc. Method for separating interfering signals and computing arrival angles
US7574352B2 (en) 2002-09-06 2009-08-11 Massachusetts Institute Of Technology 2-D processing of speech
US6917688B2 (en) 2002-09-11 2005-07-12 Nanyang Technological University Adaptive noise cancelling microphone system
US7283956B2 (en) 2002-09-18 2007-10-16 Motorola, Inc. Noise suppression
CN1685626A (zh) 2002-09-27 2005-10-19 肯奈克斯特公司 用来减小由握手音调导致的干扰的系统和方法
US7657427B2 (en) 2002-10-11 2010-02-02 Nokia Corporation Methods and devices for source controlled variable bit-rate wideband speech coding
US7003099B1 (en) 2002-11-15 2006-02-21 Fortmedia, Inc. Small array microphone for acoustic echo cancellation and noise suppression
US7359504B1 (en) 2002-12-03 2008-04-15 Plantronics, Inc. Method and apparatus for reducing echo and noise
US20040105550A1 (en) 2002-12-03 2004-06-03 Aylward J. Richard Directional electroacoustical transducing
US7162420B2 (en) 2002-12-10 2007-01-09 Liberato Technologies, Llc System and method for noise reduction having first and second adaptive filters
EP1432222A1 (de) 2002-12-20 2004-06-23 Siemens Aktiengesellschaft Echounterdrückung für komprimierte Spache
KR100477699B1 (ko) 2003-01-15 2005-03-18 삼성전자주식회사 양자화 잡음 분포 조절 방법 및 장치
GB2397990A (en) 2003-01-31 2004-08-04 Mitel Networks Corp Echo cancellation/suppression and double-talk detection in communication paths
US7949522B2 (en) 2003-02-21 2011-05-24 Qnx Software Systems Co. System for suppressing rain noise
US7895036B2 (en) 2003-02-21 2011-02-22 Qnx Software Systems Co. System for suppressing wind noise
GB2398913B (en) 2003-02-27 2005-08-17 Motorola Inc Noise estimation in speech recognition
EP1604352A4 (en) 2003-03-15 2007-12-19 Mindspeed Tech Inc SINGLE NOISE DELETION MODEL
EP1473964A3 (en) 2003-05-02 2006-08-09 Samsung Electronics Co., Ltd. Microphone array, method to process signals from this microphone array and speech recognition method and system using the same
US7577084B2 (en) 2003-05-03 2009-08-18 Ikanos Communications Inc. ISDN crosstalk cancellation in a DSL system
GB2401744B (en) 2003-05-14 2006-02-15 Ultra Electronics Ltd An adaptive control unit with feedback compensation
WO2005004113A1 (ja) 2003-06-30 2005-01-13 Fujitsu Limited オーディオ符号化装置
DE602004029899D1 (de) 2003-07-11 2010-12-16 Cochlear Ltd Verfahren und einrichtung zur rauschverminderung
US7289554B2 (en) 2003-07-15 2007-10-30 Brooktree Broadband Holding, Inc. Method and apparatus for channel equalization and cyclostationary interference rejection for ADSL-DMT modems
DE112004001455B4 (de) 2003-08-07 2020-04-23 Intersil Americas LLC Verfahren und System zum Löschen von Übersprechen
US7245767B2 (en) 2003-08-21 2007-07-17 Hewlett-Packard Development Company, L.P. Method and apparatus for object identification, classification or verification
US7516067B2 (en) 2003-08-25 2009-04-07 Microsoft Corporation Method and apparatus using harmonic-model-based front end for robust speech recognition
US7099821B2 (en) 2003-09-12 2006-08-29 Softmax, Inc. Separation of target acoustic signals in a multi-transducer arrangement
CA2452945C (en) 2003-09-23 2016-05-10 Mcmaster University Binaural adaptive hearing system
US20050075866A1 (en) 2003-10-06 2005-04-07 Bernard Widrow Speech enhancement in the presence of background noise
US7461003B1 (en) 2003-10-22 2008-12-02 Tellabs Operations, Inc. Methods and apparatus for improving the quality of speech signals
US20060116874A1 (en) 2003-10-24 2006-06-01 Jonas Samuelsson Noise-dependent postfiltering
US7672693B2 (en) 2003-11-10 2010-03-02 Nokia Corporation Controlling method, secondary unit and radio terminal equipment
US7725314B2 (en) 2004-02-16 2010-05-25 Microsoft Corporation Method and apparatus for constructing a speech filter using estimates of clean speech and noise
JP5230103B2 (ja) 2004-02-18 2013-07-10 ニュアンス コミュニケーションズ,インコーポレイテッド 自動音声認識器のためのトレーニングデータを生成する方法およびシステム
DE602004004242T2 (de) 2004-03-19 2008-06-05 Harman Becker Automotive Systems Gmbh System und Verfahren zur Verbesserung eines Audiosignals
KR101149571B1 (ko) 2004-04-28 2012-05-29 코닌클리케 필립스 일렉트로닉스 엔.브이. 적응성 빔 형성기, 사이드로브 소거기, 핸즈프리 음성 통신 디바이스
US8712768B2 (en) 2004-05-25 2014-04-29 Nokia Corporation System and method for enhanced artificial bandwidth expansion
US7254535B2 (en) 2004-06-30 2007-08-07 Motorola, Inc. Method and apparatus for equalizing a speech signal generated within a pressurized air delivery system
US7383179B2 (en) 2004-09-28 2008-06-03 Clarity Technologies, Inc. Method of cascading noise reduction algorithms to avoid speech distortion
US20060089836A1 (en) 2004-10-21 2006-04-27 Motorola, Inc. System and method of signal pre-conditioning with adaptive spectral tilt compensation for audio equalization
US8170879B2 (en) 2004-10-26 2012-05-01 Qnx Software Systems Limited Periodic signal enhancement system
US7469155B2 (en) 2004-11-29 2008-12-23 Cisco Technology, Inc. Handheld communications device with automatic alert mode selection
GB2422237A (en) 2004-12-21 2006-07-19 Fluency Voice Technology Ltd Dynamic coefficients determined from temporally adjacent speech frames
US7561627B2 (en) 2005-01-06 2009-07-14 Marvell World Trade Ltd. Method and system for channel equalization and crosstalk estimation in a multicarrier data transmission system
US8170221B2 (en) 2005-03-21 2012-05-01 Harman Becker Automotive Systems Gmbh Audio enhancement system and method
AU2006232361B2 (en) 2005-04-01 2010-12-23 Qualcomm Incorporated Methods and apparatus for encoding and decoding an highband portion of a speech signal
US8249861B2 (en) 2005-04-20 2012-08-21 Qnx Software Systems Limited High frequency compression integration
US7813931B2 (en) 2005-04-20 2010-10-12 QNX Software Systems, Co. System for improving speech quality and intelligibility with bandwidth compression/expansion
US8280730B2 (en) 2005-05-25 2012-10-02 Motorola Mobility Llc Method and apparatus of increasing speech intelligibility in noisy environments
US8311819B2 (en) 2005-06-15 2012-11-13 Qnx Software Systems Limited System for detecting speech with background voice estimates and noise estimates
US20070005351A1 (en) 2005-06-30 2007-01-04 Sathyendra Harsha M Method and system for bandwidth expansion for voice communications
EP1923866B1 (en) 2005-08-11 2014-01-01 Asahi Kasei Kabushiki Kaisha Sound source separating device, speech recognizing device, portable telephone, sound source separating method, and program
KR101116363B1 (ko) 2005-08-11 2012-03-09 삼성전자주식회사 음성신호 분류방법 및 장치, 및 이를 이용한 음성신호부호화방법 및 장치
US20070041589A1 (en) 2005-08-17 2007-02-22 Gennum Corporation System and method for providing environmental specific noise reduction algorithms
US8326614B2 (en) 2005-09-02 2012-12-04 Qnx Software Systems Limited Speech enhancement system
US7590530B2 (en) 2005-09-03 2009-09-15 Gn Resound A/S Method and apparatus for improved estimation of non-stationary noise for speech enhancement
US20070053522A1 (en) 2005-09-08 2007-03-08 Murray Daniel J Method and apparatus for directional enhancement of speech elements in noisy environments
WO2007028250A2 (en) 2005-09-09 2007-03-15 Mcmaster University Method and device for binaural signal enhancement
JP4742226B2 (ja) 2005-09-28 2011-08-10 国立大学法人九州大学 能動消音制御装置及び方法
EP1772855B1 (en) 2005-10-07 2013-09-18 Nuance Communications, Inc. Method for extending the spectral bandwidth of a speech signal
US7813923B2 (en) 2005-10-14 2010-10-12 Microsoft Corporation Calibration based beamforming, non-linear adaptive filtering, and multi-sensor headset
WO2007049644A1 (ja) 2005-10-26 2007-05-03 Nec Corporation エコー抑圧方法及び装置
US7546237B2 (en) 2005-12-23 2009-06-09 Qnx Software Systems (Wavemakers), Inc. Bandwidth extension of narrowband speech
US8345890B2 (en) 2006-01-05 2013-01-01 Audience, Inc. System and method for utilizing inter-microphone level differences for speech enhancement
US8032369B2 (en) 2006-01-20 2011-10-04 Qualcomm Incorporated Arbitrary average data rates for variable rate coders
US8194880B2 (en) 2006-01-30 2012-06-05 Audience, Inc. System and method for utilizing omni-directional microphones for speech enhancement
EP1827002A1 (en) 2006-02-22 2007-08-29 Alcatel Lucent Method of controlling an adaptation of a filter
JP4774100B2 (ja) 2006-03-03 2011-09-14 日本電信電話株式会社 残響除去装置、残響除去方法、残響除去プログラム及び記録媒体
US7555075B2 (en) 2006-04-07 2009-06-30 Freescale Semiconductor, Inc. Adjustable noise suppression system
US8180067B2 (en) 2006-04-28 2012-05-15 Harman International Industries, Incorporated System for selectively extracting components of an audio input signal
US8204253B1 (en) 2008-06-30 2012-06-19 Audience, Inc. Self calibration of audio device
US8934641B2 (en) 2006-05-25 2015-01-13 Audience, Inc. Systems and methods for reconstructing decomposed audio signals
US8949120B1 (en) 2006-05-25 2015-02-03 Audience, Inc. Adaptive noise cancelation
US8150065B2 (en) 2006-05-25 2012-04-03 Audience, Inc. System and method for processing an audio signal
US20070299655A1 (en) 2006-06-22 2007-12-27 Nokia Corporation Method, Apparatus and Computer Program Product for Providing Low Frequency Expansion of Speech
JP5249207B2 (ja) 2006-06-23 2013-07-31 ジーエヌ リザウンド エー/エス 適応性のある方向性信号処理を備えた補聴装置
US10811026B2 (en) 2006-07-03 2020-10-20 Nec Corporation Noise suppression method, device, and program
DE602007010330D1 (de) 2006-09-14 2010-12-16 Lg Electronics Inc Dialogerweiterungsverfahren
US7587056B2 (en) 2006-09-14 2009-09-08 Fortemedia, Inc. Small array microphone apparatus and noise suppression methods thereof
DE102006051071B4 (de) * 2006-10-30 2010-12-16 Siemens Audiologische Technik Gmbh Pegelabhängige Geräuschreduktion
CN101197798B (zh) 2006-12-07 2011-11-02 华为技术有限公司 信号处理系统、芯片、外接卡、滤波、收发装置及方法
CN101197592B (zh) 2006-12-07 2011-09-14 华为技术有限公司 远端串扰抵消方法、装置及信号发送装置和信号处理系统
ATE403928T1 (de) 2006-12-14 2008-08-15 Harman Becker Automotive Sys Sprachdialogkontrolle basierend auf signalvorverarbeitung
US20080152157A1 (en) 2006-12-21 2008-06-26 Vimicro Corporation Method and system for eliminating noises in voice signals
US7783478B2 (en) 2007-01-03 2010-08-24 Alexander Goldin Two stage frequency subband decomposition
US7986794B2 (en) 2007-01-11 2011-07-26 Fortemedia, Inc. Small array microphone apparatus and beam forming method thereof
TWI465121B (zh) 2007-01-29 2014-12-11 Audience Inc 利用全方向麥克風改善通話的系統及方法
US8103011B2 (en) 2007-01-31 2012-01-24 Microsoft Corporation Signal detection using multiple detectors
JP4882773B2 (ja) 2007-02-05 2012-02-22 ソニー株式会社 信号処理装置、信号処理方法
JP5401760B2 (ja) 2007-02-05 2014-01-29 ソニー株式会社 ヘッドフォン装置、音声再生システム、音声再生方法
US8060363B2 (en) 2007-02-13 2011-11-15 Nokia Corporation Audio signal encoding
EP1962559A1 (en) 2007-02-21 2008-08-27 Harman Becker Automotive Systems GmbH Objective quantification of auditory source width of a loudspeakers-room system
EP2118885B1 (en) 2007-02-26 2012-07-11 Dolby Laboratories Licensing Corporation Speech enhancement in entertainment audio
US20080208575A1 (en) 2007-02-27 2008-08-28 Nokia Corporation Split-band encoding and decoding of an audio signal
US7925502B2 (en) 2007-03-01 2011-04-12 Microsoft Corporation Pitch model for noise estimation
KR100905585B1 (ko) 2007-03-02 2009-07-02 삼성전자주식회사 음성신호의 대역폭 확장 제어 방법 및 장치
US7912567B2 (en) 2007-03-07 2011-03-22 Audiocodes Ltd. Noise suppressor
EP1970900A1 (en) 2007-03-14 2008-09-17 Harman Becker Automotive Systems GmbH Method and apparatus for providing a codebook for bandwidth extension of an acoustic signal
CN101266797B (zh) 2007-03-16 2011-06-01 展讯通信(上海)有限公司 语音信号后处理滤波方法
US8560320B2 (en) 2007-03-19 2013-10-15 Dolby Laboratories Licensing Corporation Speech enhancement employing a perceptual model
US8005238B2 (en) 2007-03-22 2011-08-23 Microsoft Corporation Robust adaptive beamforming with enhanced noise suppression
US7873114B2 (en) 2007-03-29 2011-01-18 Motorola Mobility, Inc. Method and apparatus for quickly detecting a presence of abrupt noise and updating a noise estimate
US8180062B2 (en) 2007-05-30 2012-05-15 Nokia Corporation Spatial sound zooming
US8982744B2 (en) 2007-06-06 2015-03-17 Broadcom Corporation Method and system for a subband acoustic echo canceller with integrated voice activity detection
JP4455614B2 (ja) 2007-06-13 2010-04-21 株式会社東芝 音響信号処理方法及び装置
US8428275B2 (en) 2007-06-22 2013-04-23 Sanyo Electric Co., Ltd. Wind noise reduction device
US20090012786A1 (en) 2007-07-06 2009-01-08 Texas Instruments Incorporated Adaptive Noise Cancellation
US8140331B2 (en) 2007-07-06 2012-03-20 Xia Lou Feature extraction for identification and classification of audio signals
US7817808B2 (en) 2007-07-19 2010-10-19 Alon Konchitsky Dual adaptive structure for speech enhancement
US8189766B1 (en) 2007-07-26 2012-05-29 Audience, Inc. System and method for blind subband acoustic echo cancellation postfiltering
US7856353B2 (en) 2007-08-07 2010-12-21 Nuance Communications, Inc. Method for processing speech signal data with reverberation filtering
US20090043577A1 (en) 2007-08-10 2009-02-12 Ditech Networks, Inc. Signal presence detection using bi-directional communication data
ATE448649T1 (de) 2007-08-13 2009-11-15 Harman Becker Automotive Sys Rauschverringerung mittels kombination aus strahlformung und nachfilterung
WO2009029076A1 (en) 2007-08-31 2009-03-05 Tellabs Operations, Inc. Controlling echo in the coded domain
WO2009035614A1 (en) 2007-09-12 2009-03-19 Dolby Laboratories Licensing Corporation Speech enhancement with voice clarity
US8538763B2 (en) 2007-09-12 2013-09-17 Dolby Laboratories Licensing Corporation Speech enhancement with noise level estimation adjustment
US8073125B2 (en) 2007-09-25 2011-12-06 Microsoft Corporation Spatial audio conferencing
US8954324B2 (en) 2007-09-28 2015-02-10 Qualcomm Incorporated Multiple microphone voice activity detector
EP2202531A4 (en) 2007-10-01 2012-12-26 Panasonic Corp DETECTOR FOR SOUND SOUND ALIGNMENT
ATE477572T1 (de) 2007-10-01 2010-08-15 Harman Becker Automotive Sys Effiziente audiosignalverarbeitung im subbandbereich, verfahren, vorrichtung und dazugehöriges computerprogramm
US8107631B2 (en) 2007-10-04 2012-01-31 Creative Technology Ltd Correlation-based method for ambience extraction from two-channel audio signals
US20090095804A1 (en) 2007-10-12 2009-04-16 Sony Ericsson Mobile Communications Ab Rfid for connected accessory identification and method
US8046219B2 (en) * 2007-10-18 2011-10-25 Motorola Mobility, Inc. Robust two microphone noise suppression system
US8488776B2 (en) 2007-10-19 2013-07-16 Nec Corporation Echo suppressing method and apparatus
US8606566B2 (en) 2007-10-24 2013-12-10 Qnx Software Systems Limited Speech enhancement through partial speech reconstruction
ATE456130T1 (de) 2007-10-29 2010-02-15 Harman Becker Automotive Sys Partielle sprachrekonstruktion
EP2058804B1 (en) 2007-10-31 2016-12-14 Nuance Communications, Inc. Method for dereverberation of an acoustic signal and system thereof
DE602007014382D1 (de) 2007-11-12 2011-06-16 Harman Becker Automotive Sys Unterscheidung zwischen Vordergrundsprache und Hintergrundgeräuschen
KR101444100B1 (ko) 2007-11-15 2014-09-26 삼성전자주식회사 혼합 사운드로부터 잡음을 제거하는 방법 및 장치
US20090150144A1 (en) 2007-12-10 2009-06-11 Qnx Software Systems (Wavemakers), Inc. Robust voice detector for receive-side automatic gain control
US8175291B2 (en) 2007-12-19 2012-05-08 Qualcomm Incorporated Systems, methods, and apparatus for multi-microphone based speech enhancement
JP5140162B2 (ja) 2007-12-20 2013-02-06 テレフオンアクチーボラゲット エル エム エリクソン(パブル) 雑音抑圧方法及び装置
US8143620B1 (en) * 2007-12-21 2012-03-27 Audience, Inc. System and method for adaptive classification of audio sources
GB0800891D0 (en) 2008-01-17 2008-02-27 Cambridge Silicon Radio Ltd Method and apparatus for cross-talk cancellation
US8554551B2 (en) 2008-01-28 2013-10-08 Qualcomm Incorporated Systems, methods, and apparatus for context replacement by audio level
US8223988B2 (en) 2008-01-29 2012-07-17 Qualcomm Incorporated Enhanced blind source separation algorithm for highly correlated mixtures
DE102008039330A1 (de) 2008-01-31 2009-08-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Berechnen von Filterkoeffizienten zur Echounterdrückung
US20090220197A1 (en) 2008-02-22 2009-09-03 Jeffrey Gniadek Apparatus and fiber optic cable retention system including same
US8194882B2 (en) 2008-02-29 2012-06-05 Audience, Inc. System and method for providing single microphone noise suppression fallback
US8355511B2 (en) 2008-03-18 2013-01-15 Audience, Inc. System and method for envelope-based acoustic echo cancellation
US8374854B2 (en) 2008-03-28 2013-02-12 Southern Methodist University Spatio-temporal speech enhancement technique based on generalized eigenvalue decomposition
US20090248411A1 (en) 2008-03-28 2009-10-01 Alon Konchitsky Front-End Noise Reduction for Speech Recognition Engine
US8131541B2 (en) 2008-04-25 2012-03-06 Cambridge Silicon Radio Limited Two microphone noise reduction system
US8275136B2 (en) 2008-04-25 2012-09-25 Nokia Corporation Electronic device speech enhancement
US9197181B2 (en) 2008-05-12 2015-11-24 Broadcom Corporation Loudness enhancement system and method
US8831936B2 (en) 2008-05-29 2014-09-09 Qualcomm Incorporated Systems, methods, apparatus, and computer program products for speech signal processing using spectral contrast enhancement
US20090315708A1 (en) 2008-06-19 2009-12-24 John Walley Method and system for limiting audio output in audio headsets
US9253568B2 (en) 2008-07-25 2016-02-02 Broadcom Corporation Single-microphone wind noise suppression
US20100027799A1 (en) 2008-07-31 2010-02-04 Sony Ericsson Mobile Communications Ab Asymmetrical delay audio crosstalk cancellation systems, methods and electronic devices including the same
ES2678415T3 (es) 2008-08-05 2018-08-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Aparato y procedimiento para procesamiento y señal de audio para mejora de habla mediante el uso de una extracción de característica
EP2670165B1 (en) 2008-08-29 2016-10-05 Biamp Systems Corporation A microphone array system and method for sound acquistion
US8392181B2 (en) 2008-09-10 2013-03-05 Texas Instruments Incorporated Subtraction of a shaped component of a noise reduction spectrum from a combined signal
EP2164066B1 (en) 2008-09-15 2016-03-09 Oticon A/S Noise spectrum tracking in noisy acoustical signals
ES2385293T3 (es) 2008-09-19 2012-07-20 Dolby Laboratories Licensing Corporation Procesamiento de señales ascendentes para dispositivos clientes en una red inalámbrica de células pequeñas
US8583048B2 (en) 2008-09-25 2013-11-12 Skyphy Networks Limited Multi-hop wireless systems having noise reduction and bandwidth expansion capabilities and the methods of the same
US20100082339A1 (en) 2008-09-30 2010-04-01 Alon Konchitsky Wind Noise Reduction
US20100094622A1 (en) 2008-10-10 2010-04-15 Nexidia Inc. Feature normalization for speech and audio processing
US8724829B2 (en) 2008-10-24 2014-05-13 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for coherence detection
US8218397B2 (en) 2008-10-24 2012-07-10 Qualcomm Incorporated Audio source proximity estimation using sensor array for noise reduction
US8111843B2 (en) 2008-11-11 2012-02-07 Motorola Solutions, Inc. Compensation for nonuniform delayed group communications
US8243952B2 (en) 2008-12-22 2012-08-14 Conexant Systems, Inc. Microphone array calibration method and apparatus
EP2211339B1 (en) 2009-01-23 2017-05-31 Oticon A/s Listening system
JP4892021B2 (ja) 2009-02-26 2012-03-07 株式会社東芝 信号帯域拡張装置
JP5127754B2 (ja) * 2009-03-24 2013-01-23 株式会社東芝 信号処理装置
US8359195B2 (en) * 2009-03-26 2013-01-22 LI Creative Technologies, Inc. Method and apparatus for processing audio and speech signals
US8320852B2 (en) * 2009-04-21 2012-11-27 Samsung Electronic Co., Ltd. Method and apparatus to transmit signals in a communication system
US8184822B2 (en) 2009-04-28 2012-05-22 Bose Corporation ANR signal processing topology
US8144890B2 (en) 2009-04-28 2012-03-27 Bose Corporation ANR settings boot loading
US8611553B2 (en) 2010-03-30 2013-12-17 Bose Corporation ANR instability detection
US8071869B2 (en) 2009-05-06 2011-12-06 Gracenote, Inc. Apparatus and method for determining a prominent tempo of an audio work
JP5169986B2 (ja) 2009-05-13 2013-03-27 沖電気工業株式会社 電話装置、エコーキャンセラ及びエコーキャンセルプログラム
US8160265B2 (en) 2009-05-18 2012-04-17 Sony Computer Entertainment Inc. Method and apparatus for enhancing the generation of three-dimensional sound in headphone devices
US8737636B2 (en) 2009-07-10 2014-05-27 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for adaptive active noise cancellation
US7769187B1 (en) 2009-07-14 2010-08-03 Apple Inc. Communications circuits for electronic devices and accessories
US8571231B2 (en) 2009-10-01 2013-10-29 Qualcomm Incorporated Suppressing noise in an audio signal
US20110099010A1 (en) 2009-10-22 2011-04-28 Broadcom Corporation Multi-channel noise suppression system
US8244927B2 (en) 2009-10-27 2012-08-14 Fairchild Semiconductor Corporation Method of detecting accessories on an audio jack
US8340278B2 (en) 2009-11-20 2012-12-25 Texas Instruments Incorporated Method and apparatus for cross-talk resistant adaptive noise canceller
US8526628B1 (en) 2009-12-14 2013-09-03 Audience, Inc. Low latency active noise cancellation system
US8848935B1 (en) 2009-12-14 2014-09-30 Audience, Inc. Low latency active noise cancellation system
US8385559B2 (en) 2009-12-30 2013-02-26 Robert Bosch Gmbh Adaptive digital noise canceller
US9008329B1 (en) 2010-01-26 2015-04-14 Audience, Inc. Noise reduction using multi-feature cluster tracker
US8718290B2 (en) 2010-01-26 2014-05-06 Audience, Inc. Adaptive noise reduction using level cues
US8700391B1 (en) 2010-04-01 2014-04-15 Audience, Inc. Low complexity bandwidth expansion of speech
US20110251704A1 (en) 2010-04-09 2011-10-13 Martin Walsh Adaptive environmental noise compensation for audio playback
US8606571B1 (en) 2010-04-19 2013-12-10 Audience, Inc. Spatial selectivity noise reduction tradeoff for multi-microphone systems
US8473287B2 (en) 2010-04-19 2013-06-25 Audience, Inc. Method for jointly optimizing noise reduction and voice quality in a mono or multi-microphone system
US8958572B1 (en) 2010-04-19 2015-02-17 Audience, Inc. Adaptive noise cancellation for multi-microphone systems
US8538035B2 (en) 2010-04-29 2013-09-17 Audience, Inc. Multi-microphone robust noise suppression
US8781137B1 (en) 2010-04-27 2014-07-15 Audience, Inc. Wind noise detection and suppression
US9245538B1 (en) 2010-05-20 2016-01-26 Audience, Inc. Bandwidth enhancement of speech signals assisted by noise reduction
US8447595B2 (en) 2010-06-03 2013-05-21 Apple Inc. Echo-related decisions on automatic gain control of uplink speech signal in a communications device
US8515089B2 (en) 2010-06-04 2013-08-20 Apple Inc. Active noise cancellation decisions in a portable audio device
US8447596B2 (en) 2010-07-12 2013-05-21 Audience, Inc. Monaural noise suppression based on computational auditory scene analysis
US8719475B2 (en) 2010-07-13 2014-05-06 Broadcom Corporation Method and system for utilizing low power superspeed inter-chip (LP-SSIC) communications
US8761410B1 (en) 2010-08-12 2014-06-24 Audience, Inc. Systems and methods for multi-channel dereverberation
US8611552B1 (en) 2010-08-25 2013-12-17 Audience, Inc. Direction-aware active noise cancellation system
US8447045B1 (en) 2010-09-07 2013-05-21 Audience, Inc. Multi-microphone active noise cancellation system
US9049532B2 (en) 2010-10-19 2015-06-02 Electronics And Telecommunications Research Instittute Apparatus and method for separating sound source
US8682006B1 (en) 2010-10-20 2014-03-25 Audience, Inc. Noise suppression based on null coherence
US8311817B2 (en) 2010-11-04 2012-11-13 Audience, Inc. Systems and methods for enhancing voice quality in mobile device
CN102486920A (zh) 2010-12-06 2012-06-06 索尼公司 音频事件检测方法和装置
US9229833B2 (en) 2011-01-28 2016-01-05 Fairchild Semiconductor Corporation Successive approximation resistor detection
US9107023B2 (en) 2011-03-18 2015-08-11 Dolby Laboratories Licensing Corporation N surround
US9049281B2 (en) 2011-03-28 2015-06-02 Conexant Systems, Inc. Nonlinear echo suppression
JP5817366B2 (ja) 2011-09-12 2015-11-18 沖電気工業株式会社 音声信号処理装置、方法及びプログラム
US8737188B1 (en) 2012-01-11 2014-05-27 Audience, Inc. Crosstalk cancellation systems and methods

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003140700A (ja) * 2001-11-05 2003-05-16 Nec Corp ノイズ除去方法及び装置
JP2008065090A (ja) * 2006-09-07 2008-03-21 Toshiba Corp ノイズサプレス装置
US20090012783A1 (en) * 2007-07-06 2009-01-08 Audience, Inc. System and method for adaptive intelligent noise suppression
WO2010005493A1 (en) * 2008-06-30 2010-01-14 Audience, Inc. System and method for providing noise suppression utilizing null processing noise subtraction

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9830899B1 (en) 2006-05-25 2017-11-28 Knowles Electronics, Llc Adaptive noise cancellation
US9437180B2 (en) 2010-01-26 2016-09-06 Knowles Electronics, Llc Adaptive noise reduction using level cues
US9502048B2 (en) 2010-04-19 2016-11-22 Knowles Electronics, Llc Adaptively reducing noise to limit speech distortion
US11056128B2 (en) 2016-10-18 2021-07-06 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for processing an audio signal using noise suppression filter values
US11664040B2 (en) 2016-10-18 2023-05-30 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for reducing noise in an audio signal

Also Published As

Publication number Publication date
KR20130061673A (ko) 2013-06-11
US20120179461A1 (en) 2012-07-12
US8473287B2 (en) 2013-06-25
US8473285B2 (en) 2013-06-25
US20160064009A1 (en) 2016-03-03
TW201207845A (en) 2012-02-16
WO2011133405A1 (en) 2011-10-27
US9502048B2 (en) 2016-11-22
US20110257967A1 (en) 2011-10-20
US9143857B2 (en) 2015-09-22
US20130251170A1 (en) 2013-09-26

Similar Documents

Publication Publication Date Title
US9502048B2 (en) Adaptively reducing noise to limit speech distortion
US9438992B2 (en) Multi-microphone robust noise suppression
TWI463817B (zh) 可適性智慧雜訊抑制系統及方法
US8606571B1 (en) Spatial selectivity noise reduction tradeoff for multi-microphone systems
US9076456B1 (en) System and method for providing voice equalization
US8521530B1 (en) System and method for enhancing a monaural audio signal
JP5762956B2 (ja) ヌル処理雑音除去を利用した雑音抑制を提供するシステム及び方法
US9558755B1 (en) Noise suppression assisted automatic speech recognition
US8447596B2 (en) Monaural noise suppression based on computational auditory scene analysis
US8204253B1 (en) Self calibration of audio device
US9699554B1 (en) Adaptive signal equalization
US8761410B1 (en) Systems and methods for multi-channel dereverberation
US10262673B2 (en) Soft-talk audio capture for mobile devices
TW201142829A (en) Adaptive noise reduction using level cues

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140407

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140407

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150522

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150630

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150928

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20151021

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151125

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20160401

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160809

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170228