JP2016518628A - マルチチャネルエコー消去および雑音抑圧 - Google Patents

マルチチャネルエコー消去および雑音抑圧 Download PDF

Info

Publication number
JP2016518628A
JP2016518628A JP2016511767A JP2016511767A JP2016518628A JP 2016518628 A JP2016518628 A JP 2016518628A JP 2016511767 A JP2016511767 A JP 2016511767A JP 2016511767 A JP2016511767 A JP 2016511767A JP 2016518628 A JP2016518628 A JP 2016518628A
Authority
JP
Japan
Prior art keywords
echo
communication device
estimate
masking
noise
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016511767A
Other languages
English (en)
Other versions
JP2016518628A5 (ja
Inventor
モハンマド、アシフ・イクバル
キム、レ−ホン
リウ、イアン・アーナン
ビッサー、エリック
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2016518628A publication Critical patent/JP2016518628A/ja
Publication of JP2016518628A5 publication Critical patent/JP2016518628A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/002—Damping circuit arrangements for transducers, e.g. motional feedback circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M9/00—Arrangements for interconnection not involving centralised switching
    • H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/082—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
  • Telephone Function (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

マルチチャネルエコー消去および雑音抑圧のための方法について説明する。非線形エコー消去のために複数のエコー推定値のうちの１つが選択される。エコー抑制済み信号を生成するためにエコー到着方向（ＤＯＡ）に基づいて雑音抑制済み信号にエコーノッチマスキングが実施される。選択されたエコー推定値に少なくとも部分的に基づいてエコー抑制済み信号に非線形エコー消去が実施される。

Description

関連出願
[0001]本出願は、「ＭＵＬＴＩ−ＣＨＡＮＮＥＬ ＥＣＨＯ ＣＡＮＣＥＬＬＡＴＩＯＮ ＡＮＤ ＮＯＩＳＥ ＳＵＰＰＲＥＳＳＩＯＮ」と題する２０１３年５月３日に出願された米国仮特許出願第６１／８１９，４２３号に関し、その優先権を主張する。
[0002]本開示は、一般に電子デバイスに関する。より詳細には、本開示は、マルチチャネルエコー消去および雑音抑圧に関する。
[0003]電子デバイス（セルラー電話、ワイヤレスモデム、コンピュータ、デジタル音楽プレーヤ、全地球測位システムユニット、携帯情報端末、ゲームデバイスなど）は、日常生活の一部になっている。現在、自動車からハウジングロックまで、あらゆるものに小型コンピューティングデバイスが入っている。電子デバイスの複雑さは、ここ数年で劇的に増加した。たとえば、多くの電子デバイスは、デバイスを制御するのを助ける１つまたは複数のプロセッサ、ならびにプロセッサとデバイスの他の部分とをサポートするためのいくつかのデジタル回路を有する。
[0004]ワイヤレス通信システムは、音声、ビデオ、データなど、様々なタイプの通信コンテンツを提供するために広く展開されている。これらのシステムは、１つまたは複数の基地局との複数の通信デバイスの同時通信をサポートすることが可能な多元接続システムであり得る。
[0005]ワイヤレス通信システムにおける音声品質を改善するために、通信デバイスは、様々な信号処理技法を使用し得る。これらの技法は、不要な音を除去しながら話者の音声を再作成／保持しようと試み得る。したがって、マルチチャネルエコー消去および雑音抑圧のためのシステムおよび方法によって利益が実現され得る。
[0006]マルチチャネルエコー消去および雑音抑圧のための方法について説明する。非線形エコー消去のために複数のエコー推定値のうちの１つが選択される。エコー抑制済み信号を生成するためにエコー到着方向（ＤＯＡ：direction of arrival）に基づいて雑音抑制済み信号に対してエコーノッチマスキングが実施される。選択されたエコー推定値に少なくとも部分的に基づいてエコー抑制済み信号に対して非線形エコー消去が実施される。
[0007]複数のエコー推定値のうちの１つは、空間処理済みエコー推定値と、１次マイクロフォンエコー推定値と、２次マイクロフォンエコー推定値とのうちの１つであり得る。複数のエコー推定値のうちの１つを選択することは、複数のエコー推定値のうちの最大値を選択することを含み得る。複数のエコー推定値のうちの１つを選択することは、選択されたエコー推定値を生成するために複数のエコー推定値を組み合わせることを含み得る。
[0008]エコーノッチマスキングは、音声尤度とエコーＤＯＡとに基づいてマスキング利得を決定することを含み得る。エコーノッチマスキングはまた、エコー抑制済み信号を生成するために雑音抑制済み信号にマスキング利得を適用することを含み得る。
[0009]非線形エコー消去を実施することは、選択されたエコー推定値とエコー抑制済み信号とに基づいてエコーの非線形モデルを使用することを含み得る。
[0010]マルチチャネルエコー消去および雑音抑圧のためのコンピュータプログラム製品についても説明する。本コンピュータプログラム製品は、命令をその中に有する非一時的コンピュータ可読媒体を含む。命令は、非線形エコー消去のために複数のエコー推定値のうちの１つを選択することを通信デバイスに行わせるためのコードを含む。命令はまた、エコー抑制済み信号を生成するためにエコーＤＯＡに基づいて雑音抑制済み信号に対してエコーノッチマスキングを実施することを通信デバイスに行わせるためのコードを含む。命令は、さらに、選択されたエコー推定値に少なくとも部分的に基づいてエコー抑制済み信号に対して非線形エコー消去を実施することを通信デバイスに行わせるためのコードを含む。
[0011]雑音抑制済み信号は、少なくとも２つのマイクロフォンチャネルの線形エコー消去の出力中の雑音を抑制することを通信デバイスに行わせることによって生成され得る。線形エコー消去は、１次マイクロフォンチャネルから１次マイクロフォンエコー推定値を減算することを含み得る。線形エコー消去はまた、２次マイクロフォンチャネルから２次マイクロフォンエコー推定値を減算することを含み得る。
[0012]本コンピュータプログラム製品は、さらに、空間処理済みエコー推定値を生成するために１次マイクロフォンエコー推定値と２次マイクロフォンエコー推定値とを空間処理することを通信デバイスに行わせるためのコードを含み得る。空間処理は、線形エコー消去の出力中の雑音を抑制することを通信デバイスに行わせることによって実施される空間処理を複製し得る。１次マイクロフォンエコー推定値と２次マイクロフォンエコー推定値とは、線形エコー消去中に決定され得る。
[0013]１次マイクロフォンエコー推定値と２次マイクロフォンエコー推定値とを決定することを通信デバイスに行わせるためのコードは、１次マイクロフォンと２次マイクロフォンとについて音響エコーキャンセラ（ＡＥＣ：acoustic echo canceller）フィルタ中で室内応答をモデル化することを通信デバイスに行わせるためのコードを含み得る。１次マイクロフォンエコー推定値は、１次マイクロフォンのための室内応答に基づいて決定され得る。２次マイクロフォンエコー推定値は、２次マイクロフォンのための室内応答に基づいて決定され得る。
[0014]マルチチャネルエコー消去および雑音抑圧のための通信デバイスについても説明する。本通信デバイスは、プロセッサと、プロセッサと電子通信しているメモリと、メモリに記憶された命令とを含む。命令は、非線形エコー消去のために複数のエコー推定値のうちの１つを選択することを行うように実行可能である。命令はまた、エコー抑制済み信号を生成するためにエコーＤＯＡに基づいて雑音抑制済み信号に対してエコーノッチマスキングを実施することを行うように実行可能である。命令は、さらに、選択されたエコー推定値に少なくとも部分的に基づいてエコー抑制済み信号に対して非線形エコー消去を実施することを行うように実行可能である。
[0015]エコーノッチマスキングを実施することを行うように実行可能な命令は、さらに、ファーエンド音声（far-end speech）の指示に基づき得る。エコーＤＯＡは、１つまたは複数のマイクロフォンと１つまたは複数のラウドスピーカーとのロケーションに基づいて決定され得る。エコーＤＯＡは、較正ステージ中に決定され得る。エコーＤＯＡは、ファーエンドアクティビティ（far-end activity）が検出されるときにリアルタイムで決定され得る。
[0016]エコーノッチマスキングを実施することを行うように実行可能な命令は、音声尤度とエコーＤＯＡとに基づいてマスキング利得を決定することを行うように実行可能な命令を含み得る。エコーノッチマスキングを実施することを行うように実行可能な命令はまた、エコー抑制済み信号を生成するために雑音抑制済み信号にマスキング利得を適用することを行うように実行可能な命令を含み得る。
[0017]マスキング利得を決定することを行うように実行可能な命令は、エコーＤＯＡに基づいて位置を特定されたマスキング窓を適用することを行うように実行可能な命令を含み得る。マスキング利得を決定することを行うように実行可能な命令はまた、マスキング窓内で雑音抑制済み信号を抑制すべき量を決定することを行うように実行可能な命令を含み得る。
[0018]マルチチャネルエコー消去および雑音抑圧のための通信デバイスについても説明する。本通信デバイスはまた、非線形エコー消去のために複数のエコー推定値のうちの１つを選択するための手段を含み得る。本通信デバイスはまた、エコー抑制済み信号を生成するためにエコーＤＯＡに基づいて雑音抑制済み信号に対してエコーノッチマスキングを実施するための手段を含み得る。本通信デバイスは、さらに、選択されたエコー推定値に少なくとも部分的に基づいてエコー抑制済み信号に対して非線形エコー消去を実施するための手段を含み得る。
[0019]マルチチャネルエコー消去および雑音抑圧モジュールをもつ通信デバイスを示すブロック図。 [0020]プロセッサによって実施される図１のシステム内のいくつかの構成要素を示す図。 [0021]マルチチャネルエコー消去および雑音抑圧モジュールの一構成を示すブロック図。 [0022]マルチチャネルエコー消去および雑音抑圧のための方法を示す流れ図。 [0023]マルチチャネルエコー消去および雑音抑圧のために構成されたフルバンドエコーポストプロセッサのブロック図。 [0024]エコーノッチマスキングモジュールの一構成のブロック図。 [0025]エコーノッチマスキングモジュールの別の構成のブロック図。 [0026]エコーノッチマスキングの一構成を示すグラフ。 [0027]電子デバイス／ワイヤレスデバイス内に含まれ得るいくつかの構成要素を示す図。
[0028]厳しい音響環境において、信号強化と、エコー消去（ＥＣ：echo cancellation）と、雑音抑圧（ＮＳ：noise suppression）とが使用され得る。モバイルフォンおよびＢｌｕｅｔｏｏｔｈ（登録商標）ヘッドセットは自宅またはオフィス環境の外で広く使用されるので、背景雑音が大きくなり得る。ヘッドセット／ハンドセットがより小さくなるとマイクロフォンとラウドスピーカーとの間の距離が縮小するので、音響エコーピックアップがより厳しくなる。さらに、ヘッドセット／ハンドセットデバイス中のラウドスピーカーのサイズが小さいために音響エコーが非線形になり得る。したがって、残留エコーを抑制し、ユーザに心地良いフル・デュプレックス（full-duplex）体験を与えるために非線形エコープロセッサが使用され得る。ＥＣ以外のエコー抑制方法は、フル・デュプレックスコミュニュケーションを損なうことがあり、したがって、補完的手段としてのみ許容され得る。
[0029]音響エコーが望ましくない空間的方向から来る場合、雑音抑圧モジュールが何らかのエコー抑制を行い得る。たとえば、雑音抑圧モジュールは、空間指向性に基づいて０〜１５デシベル（ｄＢ）のエコー抑制を行い得る。遠隔会議または自動車電話環境では、少なくとも、シングルトーク中の４０ｄＢとダブルトーク中の３０ｄＢとのエコー減衰が使用され得る。この減衰を達成するために、明示的なエコーキャンセラが使用され得る。さらに、マイクロフォンアレイが、良好な信号対雑音比で所望の話者をピックアップし、所望の話者がエコーソースと比較して比較的遠くに位置する場合でも信号強化を与えることが望ましいことがある。したがって、そのような遠隔会議デバイスを使用して効率的な心地良いフル・デュプレックス会話を達成するために、マルチマイクロフォンエコー消去雑音抑圧システムの全体的なパフォーマンスを改善する方法で音響エコー消去およびマイクロフォンアレイが使用され、組み合わされ得る。エコー消去および雑音抑圧機能の相互運用性および統合は、優れたパフォーマンスを達成するのに役立ち得る。
[0030]図１は、マルチチャネルエコー消去および雑音抑圧モジュール１０６をもつ通信デバイス１０２を示すブロック図である。通信デバイス１０２は、１つまたは複数のソース（たとえば、ラウドスピーカー１０８、背景雑音、話者からのエコー（ステレオ／サラウンド音）など）から音入力を受信する１次マイクロフォン１０４ａと１つまたは複数の２次マイクロフォン１０４ｂとを含み得る。マイクロフォン１０４の各々は、互いにわずかに異なり得るオーディオの信号またはチャネルを生成し得る。任意の数のマイクロフォン１０４が使用され得るが、一構成では、オーディオの２つのチャネルを生成する２つのマイクロフォン１０４（たとえば、１次マイクロフォン１０４ａおよび２次マイクロフォン１０４ｂ）があり得る。マイクロフォン１０４とラウドスピーカー１０８とは、音響信号をデジタルオーディオに、その逆も同様に、処理するために追加のモジュール（図示せず）を使用し得る。たとえば、通信デバイス１０２は、アナログデジタル変換器、デジタルアナログ変換器、オーディオバッファ、自動ボリューム制御モジュールなどを含み得る。通信デバイス１０２はまた、２つ以上のラウドスピーカー１０８を含み得る。
[0031]本明細書で使用する「通信デバイス」という用語は、ユーザからオーディオを受信すること、ユーザにオーディオを外部的に再生すること、および／またはユーザにオーディオを最適化することを行うために使用され得る電子デバイスを指す。通信デバイス１０２の例としては、電話、スピーカーフォン、セルラーフォン、携帯情報端末（ＰＤＡ）、ハンドヘルドデバイス、ワイヤレスモデム、ラップトップコンピュータ、パーソナルコンピュータなどがある。通信デバイス１０２は、代替的に、アクセス端末、モバイル端末、移動局、リモート局、ユーザ端末、端末、加入者ユニット、加入者局、モバイルデバイス、ワイヤレスデバイス、ワイヤレス通信デバイス、ユーザ機器（ＵＥ）、または何らかの他の同様の用語で呼ばれることがある。
[0032]通信デバイス１０２はまた、オーディオ信号をそれぞれ分解および再構成するために分析モジュール１１０と合成モジュール１１２とを含み得る。これにより、本明細書で説明する他のモジュールが、オーディオを処理すること（たとえば、エコー消去および雑音抑圧を実施すること）が可能になり得る。分析モジュール１１０と合成モジュール１１２とは、それぞれ、ワイドバンド信号をサブバンドに分解し、サブバンドをシングルバンドに再構成する有限インパルス応答フィルタ（ＦＩＲ）バンクを指すことがある。
[0033]ビームフォーミングまたはマスキングなどのエコー消去（ＥＣ）およびマルチマイクロフォン雑音抑圧（ＮＳ）は、２つの別個の信号処理概念であり得るが、それらの目的は、音響エコーに関して収束し得る。詳細には、線形エコー消去は、基準情報に基づいて所望の信号からエコー推定値を減算し得、一方、雑音抑圧は、空間フィルタ処理を使用してマイクロフォン信号内の望ましくない干渉（たとえば、エコー）をブラインド除去し得る。したがって、通信デバイス１０２は、線形エコーキャンセラ（ＬＥＣ：linear echo canceller）１１４と、雑音抑圧器（ＮＳ：noise suppressor）１１６と、エコーポストプロセッサ１１８とをもつマルチチャネルエコー消去および雑音抑圧モジュール１０６を含み得る。
[0034]線形エコーキャンセラ１１４は、マイクロフォン１０４から受信された信号のための選択された周波数に線形エコー消去を実施し得る。一構成では、ＬＥＣが２次（非１次）マイクロフォン１０４ｂのためのローバンド周波数のセットにのみ実施される間に、１次マイクロフォン１０４ａから受信された周波数のフルバンドの線形エコーが消去される。２次チャネル上のＬＥＣのために選択された周波数は、雑音抑圧器での空間処理が効果的である周波数範囲に対応し得る。本明細書で使用する「１次マイクロフォン」は、ユーザの口に最も近いマイクロフォン１０４ａを指すことがある。すべての非１次マイクロフォンは、２次マイクロフォン１０４ｂと見なされ得る。
[0035]雑音抑圧器１１６は、空間プロセッサからの雑音基準に基づいて空間処理と雑音抑圧後処理とを実施し得る。言い換えれば、雑音抑圧器１１６は、空間フィルタ処理に基づいて望ましくない干渉としてエコーを減衰させ得る。
[0036]エコーポストプロセッサ１１８は、非線形エコーを減衰させることによって非線形エコー後処理を実施し得る。エコーポストプロセッサ１１８はまた、非線形エコークリッピングおよびコンフォート雑音注入を実施し得る。エコーポストプロセッサ１１８は、エコーノッチマスキングモジュール１２０を含み得る。エコーノッチマスキングモジュール１２０は、雑音抑圧器１１６からの雑音抑制済み信号中のエコーを低減し得る。エコーノッチマスキングモジュール１２０は、エコー到着方向（ＤＯＡ）と音声尤度情報とに基づいて振幅抑制を実施し得る。音声尤度情報を使用して、エコー到着方向（ＤＯＡ）の尤度が高い周波数ビンが抑制され得る。
[0037]時として、雑音抑圧器１１６によって使用される適応空間処理は、１次マイクロフォン１０４ａに２次マイクロフォン１０４ｂからのエコーを追加し、エコーポストプロセッサ１１８は、これを認識しないことがある。エコーポストプロセッサ１１８がこのエコーを認識しないので、エコーポストプロセッサ１１８は、この追加されたエコーを消去することができないことがある。１次マイクロフォン１０４ａ中にエコーが初めからほとんどまたはまったくないとき、この残留エコーはリスナーに知覚可能であり、極めて不快であり得る。
[0038]したがって、本システムおよび方法は、残留エコーを消去するために非線形エコーモデルとともに使用され得る追加情報をエコーポストプロセッサ１１８に与え得る。一構成では、空間処理済みエコー推定値は、補足空間プロセッサ１２２によって決定され得る。したがって、線形エコーキャンセラからのエコー推定値に対して補足空間プロセッサ１２２によって実施される空間処理は、雑音抑圧器１１６によって線形エコー消去済み出力に対して行われる処理を複製し得る。これは、エコーポストプロセッサ１１８に（雑音抑圧器１１６による）ＬＥＣ１１４出力の空間処理を認識させ得、したがって、エコーポストプロセッサ１１８は、１次マイクロフォン１０４ａ中にいかなるエコーをも追加しない。代替的に、または追加として、エコーポストプロセッサ１１８によって非線形エコーを消去するために、１次マイクロフォン１０４ａからのエコー推定値と少なくとも１つの２次マイクロフォン１０４ｂとが使用され得る。
[0039]セレクタ１２４は、エコーポストプロセッサ１１８に与えられるエコー推定値を選択し得る。一構成では、セレクタ１２４は、１次マイクロフォンエコー推定値、２次マイクロフォンエコー推定値または空間処理済みエコー推定値のうちの１つを選択し得る。セレクタ１２４は、選択されたエコー推定値をスケーリングし得る。セレクタ１２４はまた、１次マイクロフォンエコー推定値、２次マイクロフォンエコー推定値または空間処理済みエコー推定値の組合せを選択し得る。図１に示す構成では、セレクタ１２４がエコーポストプロセッサ１１８中に含まれることに留意されたい。別の構成では、セレクタ１２４は、エコーポストプロセッサ１１８の外側に位置し得る。
[0040]図１Ａに示されているように、マルチチャネルエコー消去および雑音抑圧モジュール１０６はプロセッサ１０１によって実装され得る。代替的に、異なる構成要素を実装するために、異なるプロセッサが使用され得る（たとえば、１つのプロセッサが、線形エコー消去を実施し得、別のプロセッサが、雑音抑圧を実施するために使用され得、別のプロセッサが、エコー後処理を実施するために使用され得、また別のプロセッサが、補足空間処理を実施するために使用され得る）。
[0041]図２は、マルチチャネルエコー消去および雑音抑圧モジュール２０６の一構成を示すブロック図である。マルチチャネルエコー消去および雑音抑圧モジュール２０６は、線形エコーキャンセラ２１４と、雑音抑圧器２１６と、エコーポストプロセッサ２１８とを含み得る。効率的なエコー消去のために、線形エコーキャンセラ２１４は、すなわち、いかなる非線形プロセスをも回避することと、空間プロセッサ２３８による処理経路の迅速な変動の再モデル化／再学習を回避することとを行うために処理チェーンの前面にあり得る。
[0042]線形エコーキャンセラ２１４は、１次マイクロフォン２０４ａから１次オーディオチャネルを受信し、１つまたは複数の２次マイクロフォン２０４ｂから１つまたは複数の２次オーディオチャネルを受信し得る。ラウドスピーカー２０８が、所望の話者と比較して、マイクロフォン２０４に比較的近いファーエンド音声２２６を再生し得るので、マイクロフォン２０４は、−５〜−１２ｄＢの範囲内でニアエンド（near-end）の信号対エコー比率を受け得る。したがって、フルバンドＬＥＣとサブバンドＬＥＣとは、効率的に、空間プロセッサ２３８が最適に動作するために残留エコーが常に所望の話者のレベルを下回るように設計され得る。
[0043]詳細には、線形エコーキャンセラ２１４は、ファーエンド音声２２６に基づいてマイクロフォン２０４ごとにエコー推定値を決定するために音響エコー消去（ＡＥＣ：acoustic echo cancelling）フィルタ２２８を使用し得る。各ＡＥＣフィルタ２２８は、マイクロフォンチャネルごとのエコー推定値を決定するために室内伝達関数を使用し得る。１つのＡＥＣフィルタ２２８ａは、１次マイクロフォン２０４ａにおいて測定された伝達関数に基づいて（１次マイクロフォンエコー推定値（
Figure 2016518628
 ）２３６ａと呼ばれる）１次マイクロフォンのためのエコー推定値を決定し得る。同様に、別のＡＥＣフィルタ２２８ｂは、２次マイクロフォン２０４ｂにおいて測定された伝達関数に基づいて（２次マイクロフォンエコー推定値（
Figure 2016518628
 ）２３６ｂと呼ばれる）２次マイクロフォンのためのエコー推定値を決定し得る。
[0044]１次マイクロフォンエコー推定値（
Figure 2016518628
 ）２３６ａは、加算器２３４ａを使用して１次マイクロフォンチャネルから減算され得る。同様に、２次マイクロフォンエコー推定値（
Figure 2016518628
 ）２３６ｂは、加算器２３４ｂを使用して２次マイクロフォンチャネルから減算され得る。
[0045]線形エコー消去済み１次マイクロフォンチャネルと線形エコー消去済み２次マイクロフォンチャネルとは、雑音抑圧器（ＮＳ）２１６中の空間プロセッサ２３８に渡され得る。単一の２次マイクロフォン２０４ｂで図示しているが、本システムおよび方法は、任意の数のマイクロフォン２０４とともに使用され得る。
[0046]空間エイリアシングにより、高周波数で空間的に区別することはしばしば困難であるかまたは不可能である。したがって、線形エコー消去は、２次チャネル上の低周波数の選択範囲中でのみ実施され得る。雑音抑圧器２１６内での空間処理は、周波数のこの選択範囲に対してしか行われ得ない。言い換えれば、２次チャネルのための線形エコー消去は、（サブバンドＬＥＣを使用して）空間処理が効果的である周波数範囲中でのみ実施され得る。
[0047]線形エコー消去は、（フルバンドＬＥＣを使用して）１次チャネルについてのみバンド全体に対して行われ得るので、１次マイクロフォン２０４ａの高周波数は、図２に示される空間プロセッサ２３８の処理を免れる。言い換えれば、ＮＳ２１６の空間プロセッサ２３８は、各マイクロフォンチャネルの選択された低周波数を取得し、空間処理済み低周波数の対応するセットを生成し得る。
[0048]１次マイクロフォン２０４ａの線形エコー消去済み高周波数は、低周波数と組み合わされ、データのバンド全体に作用するフルバンド雑音抑圧ポストプロセッサ２４０に与えられ得る。雑音抑圧後処理は、非線形の、スペクトル減算ベースの処理を含み得、ここで、空間処理からの雑音基準は、不要な成分として働き得る。したがって、雑音抑圧ポストプロセッサ２４０は、少なくとも２つのマイクロフォンチャネルの線形エコー消去の出力中の雑音を抑制することによって、雑音抑制済み信号２６２と雑音抑圧利得２６４とを生成し得る。
[0049]理想的な環境では、非線形エコー処理は、エコー制御システム中で使用されないことになり、すなわち、線形エコーキャンセラ２１４は、エコーフリーなフル・デュプレックス会話を達成するのに十分であろう。しかしながら、線形エコーキャンセラ２１４中の音響エコーキャンセラ（ＡＥＣ）フィルタ２２８中で使用される１つまたは複数の線形適応フィルタは、線形エコーしか除去し得ない。言い換えれば、線形エコーキャンセラ２１４は、一般に線形エコーと混合される非線形エコー成分を抑制することができないことがある。この残りの非線形エコーは、可聴であり得、通信の全体的な品質を劣化させ得る。さらに、室内応答をモデル化するために音響エコーキャンセラ（ＡＥＣ）フィルタ２２８中で使用される適応フィルタは、真の室内応答よりも短くなり、したがって、線形エコー消去の後に何らかの残留テールエコーを残し得る。残留テール／非線形エコーのこの問題に対処するために、一般に、非線形エコーポストプロセッサ２１８が採用され得る。
[0050]エコーポストプロセッサ２１８は、雑音抑圧器２１６から雑音抑制済み信号チャネルデータ２６２を受信し、残留テールおよび／または非線形エコーを除去し得る。詳細には、フルバンドエコーポストプロセッサ２５４は、ラウドスピーカー２０８により作成される高調波ひずみのモデルを使用することによっていかなる残留非線形エコーをも除去するためにスペクトル減算ベースの方式を使用し得る。フルバンドエコーポストプロセッサ２５４は、非線形エコー抑制済み信号２６８を生成し得る。
[0051]しかしながら、時として、雑音抑圧器２１６によって使用される適応空間処理は、１次マイクロフォン２０４ａに２次マイクロフォン２０４ｂからのエコーを追加し、エコーポストプロセッサ２１８は、これを認識しないことがある。いくつかの状況では、通信デバイス１０２は２つ以上のマイクロフォン２０４を含み得る。たとえば、１次マイクロフォン２０４ａは、ラウドスピーカー２０８から離れて（たとえば、通信デバイス１０２の下部に）配置され得る。２次マイクロフォン２０４ｂは、ラウドスピーカー２０８から離れて（たとえば、通信デバイス１０２の上部に）配置され得る。この構成では、ラウドスピーカー２０８から離れて配置された１次マイクロフォン２０４ａは、ラウドスピーカー２０８のより近くに配置された２次マイクロフォン２０４ｂと比較してエコーがより小さくなり得る。したがって、２次マイクロフォン２０４ｂは、著しく強いエコーをピックアップし得る。
[0052]線形エコーキャンセラ２１４は、線形エコーを消去し、雑音抑圧器２１６の空間プロセッサ２３８に線形エコー抑制済み信号を与え得る。ただし、線形消去が実施された後、１次マイクロフォン２０４ａからの１次オーディオチャネルはエコーの残りを有し得ないが、２次マイクロフォン２０４ｂからの２次オーディオチャネルはかなりの量のエコーを有し得る。空間プロセッサ２３８は、空間処理が信号を加算および減算することによって作用する方法により、２次マイクロフォン２０４ｂからの残留エコーを１次マイクロフォン２０４ａに追加し得る。空間処理は、環境雑音を除去し、ニアエンドユーザ音声２３２を保持し得る。空間処理済み信号は、次いで、エコーポストプロセッサ２１８に与えられる雑音抑制済み信号２６２と雑音抑圧利得２６４とを生成するためにフルバンド雑音抑圧ポストプロセッサ２４０に与えられる。言い換えれば、雑音抑圧器２１６中での空間処理の後に、追加されたエコーは、１次マイクロフォン２０４ａからの雑音抑制済み信号２６２の一部として見え得、エコーポストプロセッサ２１８は、追加されたエコーを認識しないことがある。
[0053]エコーポストプロセッサ２１８がこのエコーを認識しない場合、エコーポストプロセッサ２１８は、この追加されたエコーを消去することができないことがある。したがって、追加されたエコーをエコーポストプロセッサを認識させるために、選択されたエコー推定値２６６がフルバンドエコーポストプロセッサ２５４に与えられ得る。複数のエコー推定値がセレクタ２２４において受信され得る。図２に示す構成では、セレクタ２２４がエコーポストプロセッサ２１８中に含まれることに留意されたい。別の構成では、セレクタ２２４は、エコーポストプロセッサ２１８の外側に位置し得る。セレクタ２２４は、複数のエコー推定値のうちの１つを選択し、フルバンドエコーポストプロセッサ２５４に選択されたエコー推定値２６６を渡し得る。
[0054]セレクタ２２４に与えられ得る１つのエコー推定値は、空間処理済みエコー推定値２５２である。一構成では、１次マイクロフォンエコー推定値（
Figure 2016518628
 ）２３６ａと２次マイクロフォンエコー推定値（
Figure 2016518628
 ）２３６ｂとは、空間処理済みエコー推定値２５２を生成するために補足空間プロセッサ２２２によって空間処理され得る。１次マイクロフォンエコー推定値（
Figure 2016518628
 ）２３６ａと２次マイクロフォンエコー推定値（
Figure 2016518628
 ）２３６ｂとに対して補足空間プロセッサ２２２によって実施される空間処理は、雑音抑圧器２１６中の空間プロセッサ２３８によって線形エコー消去済み出力に対して行われる処理を複製し得る。補足空間プロセッサ２２２によって生成された空間処理済みエコー推定値２５２は、雑音抑圧器２１６中の空間プロセッサ２３８によって追加されたエコーの推定値であり得る。
[0055]セレクタ２２４に与えられ得る他のエコー推定値は、１次マイクロフォンエコー推定値（
Figure 2016518628
 ）２３６ａと２次マイクロフォンエコー推定値（
Figure 2016518628
 ）２３６ｂとである。１次マイクロフォンエコー推定値（
Figure 2016518628
 ）２３６ａと２次マイクロフォンエコー推定値（
Figure 2016518628
 ）２３６ｂとは、（たとえば、高速フーリエ変換（ＦＦＴ）を使用することによって）エコーポストプロセッサ２１８にパスされる前に、周波数変換モジュール２４２によって周波数ドメインに変換され得る。
[0056]エコーポストプロセッサ２１８は、非線形エコー消去のために複数のエコー推定値のうちの１つを受信し得る。一構成では、セレクタ２２４は、フルバンドエコーポストプロセッサ２５４による処理のために、受信されたエコー推定値のうちの１つを選択し得る。たとえば、セレクタ２２４は、非線形エコー消去のために、空間処理済みエコー推定値２５２、１次マイクロフォンエコー推定値（
Figure 2016518628
 ）２３６ａまたは２次マイクロフォンエコー推定値（
Figure 2016518628
 ）２３６ｂを選択し得る。セレクタ２２４は、受信されたエコー推定値のうちの最大値に基づいて、選択されたエコー推定値２６６を決定し得る。セレクタ２２４は、選択されたエコー推定値２６６をスケーリングし得る。
[0057]選択されたエコー推定値２６６はまた、信号の組合せを含み得る。複数のエコー推定値のうちの１つを選択することは、選択されたエコー推定値２６６を生成するために複数のエコー推定値を組み合わせることを含み得る。たとえば、１次マイクロフォンエコー推定値（
Figure 2016518628
 ）２３６ａと、２次マイクロフォンエコー推定値（
Figure 2016518628
 ）２３６ｂと、空間処理済みエコー推定値２５２とのうちの２つ以上が様々な方法で組み合わせられ得る。たとえば、セレクタ２２４は、１次マイクロフォンエコー推定値（
Figure 2016518628
 ）と２次マイクロフォンエコー推定値（
Figure 2016518628
 ）のスケーリングまたは変更バージョンとを直接組み合わせ得る。代替的に、セレクタ２２４はまた、これらの信号、すなわち、
Figure 2016518628
 または
Figure 2016518628
 または
Figure 2016518628
 の２つ以上の関数にかけた結果である信号を生成し得る。たとえば、これらの関数は、最大値、加算、減算、スケーリング、これらの信号の平均、信号エネルギーの平均などであり得る。
[0058]選択されたエコー推定値２６６は、非線形エコーを消去するために非線形エコーモデルとともにフルバンドエコーポストプロセッサ２５４によって使用され得る。エコーポストプロセッサ２１８に、選択されたエコー推定値２６６を与えることによって、エコーポストプロセッサ２１８は、ＬＥＣ出力の（雑音抑圧器２１６中の空間プロセッサ２３８による）空間処理を認識し得、したがって、エコーポストプロセッサ２１８は、１次マイクロフォンチャネル中のいかなる残留エコーをも消去し得る。一構成では、フルバンドエコーポストプロセッサ２５４は、雑音抑制済み信号２６２中のエコーを消去するために、選択されたエコー推定値２６６を使用してスペクトル減算を実施し得る。
[0059]フルバンドエコーポストプロセッサ２５４は、雑音抑制済み信号２６２中のエコーをさらに低減するために、エコーノッチマスキングモジュール２２０を含み得る。エコーノッチマスキングモジュール２２０は、特定のビームがエコーによって支配されているか否かの尤度を示す音声尤度情報２４８に基づいて振幅抑制を実施し得る。一構成では、空間プロセッサ２３８は、アングログラム（anglogram）に基づいて音声尤度情報２４８を決定し得、それはターゲット音声の周波数ビン当たりの角度当たりの尤度を示し得る。空間プロセッサ２３８は、１次および２次マイクロフォンチャネルに基づいて様々な空間ビームを決定し得る。各ビームは特定の方向（たとえば、角度）に関連付けられ得る。時間内のフレームごとに、周波数範囲が周波数ビンにグループ化され得る。角度ごとに、空間プロセッサ２３８は、周波数ビンごとに推定音声尤度を決定し得る。音声尤度情報２４８を使用して、エコー到着方向（ＤＯＡ）の尤度が高い周波数ビンが抑制され得る。
[0060]エコーＤＯＡは、１つまたは複数のマイクロフォン２０４と１つまたは複数のラウドスピーカー２０８とのロケーションに基づいて決定され得る。一構成では、１つまたは複数のラウドスピーカー２０８が通信デバイス１０２に関して固定される場合、エコーＤＯＡは、較正ステージ中に決定され得る。別の構成では、１つまたは複数のラウドスピーカー２０８が通信デバイス１０２に関して固定されない（たとえば、補助である）場合、エコーＤＯＡは、ファーエンドアクティビティが検出されるときにリアルタイムで決定され得る。エコーＤＯＡは、角度として表され得る。
[0061]エコーＤＯＡを決定すると、エコーノッチマスキングモジュール２２０は、雑音抑制済み信号２６２に適用されるべきマスキング利得を決定し得る。エコーノッチマスキングモジュール２２０は、エコー信号を含む可能性がある周波数ビンを選択的に抑制し得る。一構成では、エコーノッチマスキングモジュール２２０は、あるマージンをエコーＤＯＡの周りにもたせてエコーＤＯＡに基づいて位置を特定されたマスキング窓を適用し得る。雑音抑制済み信号２６２の周波数ビンの方向がマスキング窓内に入る場合、エコーノッチマスキングモジュール２２０は、エコー抑制済み信号を生成するために周波数ビンにマスキング利得を適用し得る。一構成では、エコーノッチマスキングモジュール２２０は、ファーエンドアクティビティ中にアクティブ化され得る。たとえば、エコーノッチマスキングモジュール２２０は、ファーエンドフラグ２４６を受信するとアクティブ化され得、ダブルトークフラグ２４４またはニアエンドフラグ２５０を受信すると非アクティブ化され得る。
[0062]フルバンド非線形エコークリッパー２５６は、次いで、いかなる残留エコーをもさらに抑制し得る。したがって、非線形エコークリッパー２５６は、強い残留エコーを除去する際の（エコーポストプロセッサ２１８中での）スペクトル減算ベースの方式の負荷を緩和し、それによって、フル・デュプレックス能力を改善し得る。これらのモジュールは、フルバンドＮＳポストプロセッサ２４０によって機械的にもたらされるエコー減衰を追跡し、それに応じてそれらの利得を更新し、それによって、過剰なエコー減衰を防ぎ得る。フルバンド非線形エコークリッパー２５６は、非線形エコー抑制済み信号２６８を受信し得る。一構成では、フルバンド非線形エコークリッパー２５６は、エコーポストプロセッサ２１８によって生成された非線形エコーモデルを使用し得る。これらの非線形プロセスは、雑音フロアを変調し得、対処されずに残される場合、ファーエンドのリスナーに不快であり得る。これらの変調を処理するために、フルバンドコンフォートノイズインジェクタ２５８は、これらの非線形プロセスにより雑音フロアに適用された変調を元に戻し得る。
[0063]本明細書で使用する「ファーエンド（far-end）」という用語は、通信デバイス１０２に相対的に近接していないものを指す。逆に、本明細書で使用する「ニアエンド（near-end）」という用語は、通信デバイス１０２に相対的に近接しているものを指す。言い換えれば、通信デバイス１０２のユーザの音声（たとえば、ニアエンドユーザ音声２３２）は、ニアエンド信号を生成し得、一方、リモートで通信している別の人（ファーエンドユーザ）の音声は、ファーエンド信号を生成し得る。
[0064]ＬＥＣ２１４と、ＮＳ２１６と、エコーポストプロセッサ２１８との図示されたシーケンスを使用することに加えて、オーディオチャネルの特性に基づいて１つまたは複数のフラグが生成され得る。これらのフラグは、マルチチャネルエコー消去および雑音抑圧モジュール１０６中で行われる処理を適応させるために使用され得る。詳細には、クリッピングフラグ２６０と、ファーエンドフラグ２４６と、ダブルトークフラグ２４４と、ニアエンドフラグ２５０との４つの異なるタイプのフラグが、生成され、最適なパフォーマンスのために後続のモジュールによって使用され得る。
[0065]クリッピングフラグ２６０は、線形エコーキャンセラ２１４によって行われるエコー減衰に基づいて線形エコーキャンセラ２１４内で生成され得る。クリッピングフラグ２６０は、残留エコー抑制のためにエコーポストプロセッサ２１８によって使用され得る。スピーカーフォン環境では、音響エコーは主要な問題になり得、所望の話者対エコー比率は、−４〜−１２ｄＢ程度であり得る。クリッピングフラグ２６０は、残留エコーをさらに抑制するために、フルバンド非線形エコークリッパー２５６中で使用され得る。これらのクリッピングフラグ２６０は、線形エコーキャンセラ２１４によって行われるエコー減衰を使用して生成され得る。線形エコーキャンセラ２１４によって行われるエコー減衰が高い場合、それは、可能性が最も高いエコー限定期間である強エコー部分を暗示し得る。したがって、エコー消去および雑音抑圧の後の残差信号は、さらに抑制され得る。１次チャネルが雑音抑圧方式を免れるので、ローバンドおよびハイバンドにおいて１次チャネルの線形エコーキャンセラ２１４によって行われるエコー減衰は、対応する周波数バンドのための２つの非線形クリッピングフラグ２６０の値を決定するために使用され得る。
[0066]ファーエンドボイスアクティビティを示すファーエンドフラグ２４６も決定され得る。ファーエンドアクティビティを検出するために、単純なエネルギーベースのボイスアクティビティ検出器（ＶＡＤ：voice activity detector）が使用され得る。比較的強いファーエンド音声２２６部分のみが検出されるように、ファーエンドボイスアクティビティのしきい値がハイエンドで選定され得る。詳細には、線形エコー消去の後に何らかの残留エコーを残し得るファーエンド音声２２６の部分を検出することが望ましいことがある。この２値ファーエンドフラグ２４６は、ソース位置を学習すべきかどうか決定することと、所望のソース方向としてエコーの方向で誤って学習するのを回避することとを行うために雑音抑圧器２１６によって使用され得る。一構成では、ファーエンドフラグ２４６は、空間プロセッサ２３８が所望の信号の方向で学習しようと試みるべきかどうかを決定するために使用されるダブルトークフラグ２４４を決定するために使用され得る。
[0067]ダブルトークフラグ２４４は、線形エコーキャンセラ２１４のステータスを更新し得る。言い換えれば、ダブルトークフラグ２４４は、真のダブルトーク状況において高であり得、すなわち、ファーエンド音声期間とニアエンド音声期間との真の重複であり得る。ダブルトークフラグ２４４はまた、線形エコーキャンセラ２１４によって行われるエコー減衰が非常に低いときに高であり得る。したがって、ダブルトークフラグ２４４は、２つの異なる目的にかない得る。最初に、ダブルトークフラグ２４４は、真のダブルトーク期間中の空間プロセッサ２３８による空間処理およびソース学習を妨げ、それによって、そのような期間中のいかなる望ましくないニアエンド話者減衰をも妨げ得る。第２に、ダブルトークフラグ２４４はまた、線形エコーキャンセラ２１４によって行われるエコー減衰が最小であるときに高であり得る。ソース学習は、比較的強い残留音響エコーに向かういかなる偶発的学習をも妨げるために、そのような期間中に空間プロセッサ２３８によって実施され得ない。
[0068]ニアエンドボイスアクティビティを示すニアエンドフラグ２５０も決定され得る。ニアエンドフラグ２５０は、非線形エコー後処理のアグレッシブネス（aggressiveness）を決定するためにエコーポストプロセッサ２１８によって使用され得る。たとえば、いかなるダブルトーク検出フラグ２４４も、ニアエンドフラグ２５０として働き得る。
[0069]図３は、マルチチャネルエコー消去および雑音抑圧のための方法３００を示す流れ図である。方法３００は、たとえば、図１に示すように通信デバイス１０２によって実施され得る。
[0070]通信デバイス１０２は、３０２において、非線形エコー消去のために複数のエコー推定値のうちの１つを選択し得る。通信デバイス１０２は、少なくとも２つのマイクロフォンチャネルの線形エコー消去中に１次マイクロフォンエコー推定値（
Figure 2016518628
 ）２３６ａと２次マイクロフォンエコー推定値（
Figure 2016518628
 ）２３６ｂとを決定し得る。これは、１次マイクロフォン２０４ａと２次マイクロフォン２０４ｂとについて音響エコーキャンセラ（ＡＥＣ）フィルタ２２８ｂ中で室内応答をモデル化することと、１次マイクロフォン２０４ａのための室内応答に基づいて１次マイクロフォンエコー推定値（
Figure 2016518628
 ）２３６ａを決定することと、２次マイクロフォン２０４ｂのための室内応答に基づいて第２のマイクロフォンエコー推定値（
Figure 2016518628
 ）２３６ｂを決定することとを行うことを含み得る。
[0071]通信デバイス１０２は、空間処理済みエコー推定値２５２を生成するために１次マイクロフォンエコー推定値（
Figure 2016518628
 ）２３６ａと２次マイクロフォンエコー推定値（
Figure 2016518628
 ）２３６ｂとを空間処理し得る。一構成では、空間処理は、雑音抑圧器２１６中の空間プロセッサ２３８によって線形エコー消去済み出力に対して行われる処理を複製し得る。
[0072]通信デバイス１０２は、３０２において、非線形エコー消去のために、空間処理済みエコー推定値２５２と、１次マイクロフォンエコー推定値（
Figure 2016518628
 ）２３６ａと、２次マイクロフォンエコー推定値（
Figure 2016518628
 ）２３６ｂとのうちの１つを選択し得る。通信デバイス１０２は、３０２において、複数のエコー推定値のうちの最大値に基づいてエコー推定値を選択し得る。通信デバイス１０２はまた、３０２において、選択されたエコー推定値２６６を生成するために複数のエコー推定値の組合せを選択し得る。１次マイクロフォンエコー推定値（
Figure 2016518628
 ）２３６ａと、２次マイクロフォンエコー推定値（
Figure 2016518628
 ）２３６ｂと、空間処理済みエコー推定値２５２とのうちの１つまたは複数は、様々な方法で調整または組み合わせられ得る。たとえば、通信デバイス１０２は、選択されたエコー推定値２６６をスケーリングし得る。通信デバイス１０２は、加算、減算、スケーリング、平均化などを通して２つ以上のエコー推定値を組み合わせ得る。
[0073]線形エコー消去は、線形エコー消去済み１次マイクロフォンチャネルを生成するために１次マイクロフォンチャネルから１次マイクロフォンエコー推定値（
Figure 2016518628
 ）２３６ａを減算することと、線形エコー消去済み２次マイクロフォンチャネルを生成するために２次マイクロフォンチャネルから２次マイクロフォンエコー推定値（
Figure 2016518628
 ）２３６ｂを減算することとをさらに含み得る。通信デバイス１０２は、線形エコー消去済みの１次マイクロフォンチャネルと２次マイクロフォンチャネルとに基づいて雑音抑制済み信号２６２を生成し得る。一構成では、雑音抑圧は、線形エコー消去済み１次マイクロフォンチャネルと線形エコー消去済み２次マイクロフォンチャネルとを空間処理することを含み得る。雑音抑圧後処理は、非線形の、スペクトル減算ベースの処理を含み得、ここで、空間処理からの雑音基準は、不要な成分として働く。
[0074]通信デバイス１０２は、３０４において、エコー抑制済み信号を生成するためにエコー到着方向（ＤＯＡ）に基づいて雑音抑制済み信号２６２に対してエコーノッチマスキングを実施し得る。エコーノッチマスキングは、特定のビームがエコーによって支配されているか否かの尤度を示す音声尤度情報２４８に基づく振幅抑制を含み得る。通信デバイス１０２は、線形エコー消去済み１次マイクロフォンチャネルと線形エコー消去済み２次マイクロフォンチャネルとの空間処理中に音声尤度情報２４８を計算し得る。音声尤度情報２４８は、音声の周波数ビン当たりの角度当たりの尤度を示し得る。空間処理は、周波数ビンごとに推定方向を決定し得る。音声尤度情報２４８を使用して、エコーＤＯＡの尤度が高い周波数ビンが抑制され得る。
[0075]エコーＤＯＡは、１つまたは複数のマイクロフォン２０４と１つまたは複数のラウドスピーカー２０８とのロケーションに基づいて決定され得る。一構成では、１つまたは複数のラウドスピーカー２０８が通信デバイス１０２に関して固定される場合、エコーＤＯＡは、較正ステージ中に決定され得る。別の構成では、１つまたは複数のラウドスピーカー２０８が通信デバイス１０２に関して固定されない（たとえば、補助である）場合、エコーＤＯＡは、ファーエンドアクティビティが検出されるときにリアルタイムで決定され得る。
[0076]エコーＤＯＡを決定すると、通信デバイス１０２は、エコー抑制済み信号を生成するために雑音抑制済み信号２６２に適用されるべきマスキング利得を決定し得る。通信デバイス１０２は、エコー信号を含む可能性がある周波数ビンを選択的に抑制し得る。一構成では、通信デバイス１０２は、一定のマージンをエコーＤＯＡの周りにもたせてエコーＤＯＡに基づいて位置を特定されたマスキング窓を適用し得る。雑音抑制済み信号２６２の周波数ビンの方向（たとえば、角度）がマスキング窓内に入る場合、通信デバイス１０２は、エコー抑制済み信号を生成するために周波数ビンにマスキング利得を適用し得る。
[0077]通信デバイス１０２は、３０６において、選択されたエコー推定値２６６に少なくとも部分的に基づいてエコー抑制済み信号に対して非線形エコー消去を実施し得る。非線形エコー消去は、選択されたエコー推定値２６６とエコー抑制済み信号とに基づいて非線形エコーモデルを使用することを含み得る。たとえば、通信デバイス１０２は、ラウドスピーカー２０８により作成される高調波ひずみの非線形エコーモデルを含み得る。通信デバイス１０２は、非線形エコー推定値を取得するために非線形モデルにエコー抑制済み信号を適用し得る。通信デバイス１０２は、いかなる残留非線形エコーをも除去するためにスペクトル減算ベースの方式を使用し得る。さらに、通信デバイス１０２は、選択されたエコー推定値２６６を使用することによって雑音抑圧中に空間処理によって追加されたいかなる残留エコーをも消去し得る。通信デバイス１０２は、雑音抑制済み信号２６２中のエコーを消去するために、選択されたエコー推定値２６６を使用してスペクトル減算を実施し得る。
[0078]図４は、マルチチャネルエコー消去および雑音抑圧のために構成されたフルバンドエコーポストプロセッサ４５４のブロック図である。フルバンドエコーポストプロセッサ４５４は、図１に関して上記で説明したように、通信デバイス１０２のエコーポストプロセッサ１１８中に含まれ得る。フルバンドエコーポストプロセッサ４５４は、エコーノッチマスキングモジュール４２０とフルバンドエコー後処理モジュール４７０とを含み得る。
[0079]エコーノッチマスキングモジュール４２０は、（たとえば、雑音抑圧器２１６から）雑音抑制済み信号４６２を受信し得る。雑音抑制済み信号４６２は、図２に関して上記で説明したように生成され得る。たとえば、雑音抑圧器２１６は、線形エコー消去済み１次マイクロフォンチャネルと線形エコー消去済み２次マイクロフォンチャネルとを空間処理し得る。雑音抑圧器２１６は、次いで、非線形の、スペクトル減算ベースの処理を含み得る雑音抑圧後処理を実施し得、ここで、空間処理からの雑音基準は、不要な成分として働く。
[0080]エコーノッチマスキングモジュール４２０は、特定のビームがエコーによって支配されているか否かの尤度を示す音声尤度情報４４８に基づいて振幅抑制を実施し得る。一構成では、エコーノッチマスキングモジュール４２０は、図２に関して上記で説明したように、空間プロセッサ２３８から音声尤度情報４４８を受信し得る。音声尤度情報４４８は、ターゲット音声の周波数ビン当たりの角度当たりの尤度を示し得る。
[0081]エコー到着方向（ＤＯＡ）４７８は、１つまたは複数のマイクロフォン２０４と１つまたは複数のラウドスピーカー２０８とのロケーションに基づいて決定され得る。一構成では、エコーＤＯＡ４７８は、エコー信号のみを再生することによって決定され得る。固定ラウドスピーカー１０８について、エコーＤＯＡ４７８は、図５に関して以下で説明するように、較正ステージ中に決定され得る。１つまたは複数の補助ラウドスピーカー１０８について、エコーＤＯＡ４７８は、図６に関して以下で説明するように、ファーエンドアクティビティが検出されるときにリアルタイムで決定され得る。エコーＤＯＡ４７８は、角度として表され得る。エコーＤＯＡ４７８において尤度が高い音声はエコーであると仮定され得る。
[0082]エコーＤＯＡ４７８を決定すると、エコーノッチマスキングモジュール４２０は、雑音抑制済み信号４６２に適用されるべきマスキング利得を決定し得る。エコーノッチマスキングモジュール４２０は、エコー信号を含む可能性がある周波数ビンを選択的に抑制し得る。一構成では、尤度しきい値（たとえば、０．９＊理論最尤）が設定され得る。周波数ビンに関連する尤度が尤度しきい値を上回る場合、マスキング利得計算がその周波数ビンに適用され得る。エコーノッチマスキングモジュール４２０は、あるマージンをエコーＤＯＡ４７８の周りにもたせてエコーＤＯＡ４７８に基づいて位置を特定されたマスキング窓を適用し得る。雑音抑制済み信号４６２の周波数ビンの方向がマスキング窓内に入る場合、エコーノッチマスキングモジュール４２０は、エコー抑制済み信号４７４を生成するために周波数ビンにマスキング利得を適用し得る。
[0083]一構成では、エコーノッチマスキングモジュール４２０は、ファーエンドアクティビティ中にアクティブ化され得る。たとえば、エコーノッチマスキングモジュール４２０は、ファーエンドフラグ４４６を受信するとアクティブ化され得、ダブルトークフラグ４４４ａまたはニアエンドフラグ４５０ａを受信すると非アクティブ化され得る。
[0084]エコーノッチマスキングモジュール４２０は、非線形エコー消去のためにフルバンドエコー後処理モジュール４７０にエコー抑制済み信号４７４と雑音およびエコー抑制利得４７２とを与え得る。これは、図２に関して説明したように行われ得る。たとえば、フルバンドエコー後処理モジュール４７０は、非線形エコー抑制済み信号４６８を生成するために、選択されたエコー推定値４６６に基づいてエコー抑制済み信号４７４に対して非線形モデルベースのエコー消去を実施し得る。フルバンドエコー後処理モジュール４７０は、ミュージカルノイズアーティファクトを回避するために、雑音およびエコー抑制利得４７２に基づいて平滑化を適用し得る。
[0085]雑音およびエコー抑制利得４７２は、雑音抑圧利得４６４に加えてマスキング利得を含み得る。雑音およびエコー抑制利得４７２は、エコー抑制済み信号４７４にすでに適用されている利得に従って後処理のアグレッシブネスを制御するためにフルバンドエコー後処理モジュール４７０に渡され得る。エコー抑制済み信号４７４に適用された利得がすでにアグレッシブである場合、フルバンドエコー後処理モジュール４７０は、あまりアグレッシブでない利得を適用し得（またその逆も同様）、それにより、より一貫したエコー消去および雑音抑圧を達成し得る。ニアエンドフラグ４５０ｂまたはダブルトークフラグ４４４ｂは、非線形エコー後処理のアグレッシブネスを決定するためにフルバンドエコー後処理モジュール４７０によって使用され得る。一構成では、いかなるダブルトークフラグ４４４ｂも、ニアエンドフラグ４５０ｂとして働き得る。
[0086]図５は、エコーノッチマスキングモジュール５２０の一構成のブロック図である。エコーノッチマスキングモジュール５２０は、図４に関して上記で説明したように、フルバンドエコーポストプロセッサ４５４中に含まれ得る。図５に示すエコーノッチマスキングモジュール５２０は、固定ラウドスピーカーシナリオのために使用され得る。ラウドスピーカー１０８位置は、典型的なハンドセット動作では通信デバイス１０２上に固定され得る。エコーノッチマスキングモジュール５２０は、エコー信号を含む可能性がある、雑音抑制済み信号５６２中の周波数ビンを選択的に抑制し得る。
[0087]エコーノッチマスキングモジュール５２０は、ノッチマスキングパラメータ５７６を含み得る。エコーノッチマスキングモジュール５２０は、エコー信号のみを再生することによって較正ステージ中に固定エコーＤＯＡ５７８を決定し得る。一構成では、これは、（空間プロセッサ２３８によって）アングログラム計算を実施することによって行われ得る。エコーＤＯＡ５７８は、ランタイムより先に取得され、ノッチマスキングパラメータ５７６に記憶され得る。ラウドスピーカー１０８位置が通信デバイス１０２上に固定されているので、エコーＤＯＡ５７８も固定されている。一構成では、エコーＤＯＡ５７８は、角度として表され得る。
[0088]エコーＤＯＡ５７８を決定すると、エコーノッチマスキングモジュール５２０は、ノッチ幅５８０とノッチ深さ５８２とを決定し得る。ノッチ幅５８０は、マスキング窓を形成するマージンであり得る。一構成では、ノッチ幅５８０は、ノッチマスキング計算中に含まれ得るエコーＤＯＡ５７８からのいくつかの角度であり得る。たとえば、ノッチ幅５８０は、エコーＤＯＡ４７８からプラスマイナス１０度であり得る。ノッチ幅５８０の他の値が利用され得ることに留意されたい。ノッチ深さ５８２は、エコーＤＯＡ５７８において周波数ビンに適用され得るマスキング利得の量であり得る。一構成では、エコーノッチマスキングモジュール５２０は、ノッチ幅５８０の中間に線形抑制を適用し得る。
[0089]マスキング利得計算モジュール５８４は、フレームのための音声尤度情報５４８を受信し得る。音声尤度情報５４８は、ターゲット音声の周波数ビン当たりの角度当たりの尤度を示し得る。一構成では、音声尤度情報５４８は、空間プロセッサ２３８によってアングログラム計算を実施することによって決定され得る。マスキング利得計算モジュール５８４は、周波数ビンに対してノッチマスキングを実施すべきかどうかを決定するために、角度ごとに周波数ビンに尤度しきい値５８３を適用し得る。周波数ビンのための音声尤度が尤度しきい値５８３よりも大きい場合、マスキング利得計算モジュール５８４は、ノッチ幅５８０とノッチ深さ５８２とに基づいてその周波数ビンのためのマスキング利得を計算し得る。ノッチフィルタ処理を使用することによって、エコーノッチマスキングモジュール５２０は、エコーリークを抑制するためにエコービームごとに各エコーＤＯＡ５７８に対応するエコー信号をノッチアウトし得る。
[0090]マスキング利得計算モジュール５８４は、マスキング窓内で雑音抑制済み信号５６２を抑制すべき量を決定し得る。周波数ビンの角度が、（エコーＤＯＡ５７８とノッチ幅５８０とによって定義される）ノッチマスキング窓外にある場合、マスキング利得は適用されない（たとえば、０ｄＢの単位利得が適用され得る）。しかしながら、周波数ビンの角度がマスキング窓内にある場合、周波数ビンのためのマスキング利得は、ノッチ深さ５８２に基づいて決定され得る。マスキング利得計算モジュール５８４は、フレームごとにノッチマスキングを実施し得る。図７にノッチマスキングの一例が示されている。
[0091]一構成では、雑音抑制済み信号５６２は、ニアエンド干渉物を抑制するためのＮＳモジュール２１６からのビームヌル形成済み出力を表す。雑音抑圧利得５６４は、計算されたＮＳ後処理利得を表す。ファーエンドアクティビティがない場合、エコーノッチマスキング出力モジュール５８６は、雑音抑圧利得５６４を適用するための単純な後処理方式になる。ファーエンドアクティビティがある場合、マスキング利得計算モジュール５８４によって判断された追加の後処理利得（たとえば、エコーのためのマスキング利得）が既存の雑音抑圧利得５６４とともに適用され得る。最終後処理利得を取得するためのこれらの２つの異なる利得の１つの可能な組合せ（たとえば、雑音およびエコー抑制利得５７２）は、雑音抑圧利得５６４とマスキング利得の両方を一緒に適用することである。別の構成では、最小抑制利得制約が適用され得る。最小抑制利得は、雑音抑圧利得５６４と、マスキング利得と、組み合わされた雑音およびエコー抑制利得５７２とのうちの最小値から選択され得る。
[0092]マスキング利得を決定すると、エコーノッチマスキング出力モジュール５８６は、雑音抑制済み信号５６２にマスキング利得を適用し得る。たとえば、選択された周波数ビンは、エコー抑制済み信号５７４を生成するために、決定されたマスキング利得に従って抑制され得る。これは、雑音抑制済み信号５６２中の残留エコーをさらに抑制し得る。エコーノッチマスキング出力モジュール５８６はまた、雑音およびエコー抑制利得５７２を出力し得、それはマスキング利得と雑音抑圧利得５６４とを含み得る。
[0093]一構成では、エコーノッチマスキングモジュール５２０は、ファーエンドアクティビティ中にアクティブ化され得る。たとえば、エコーノッチマスキングモジュール５２０は、マスキング利得計算モジュール５８４においてファーエンドフラグ５４６を受信するとアクティブ化され得る。
[0094]図６は、エコーノッチマスキングモジュール６２０の別の構成のブロック図である。エコーノッチマスキングモジュール６２０は、図４に関して上記で説明したように、フルバンドエコーポストプロセッサ４５４中に含まれ得る。図６に示すエコーノッチマスキングモジュール６２０は、非固定ラウドスピーカーシナリオのために使用され得る。たとえば、１つまたは複数のラウドスピーカー１０８は、補助ラウドスピーカー１０８であり得る。この構成は、（たとえば、遠隔会議中に）通信デバイス１０２に取り付けられ得るラウドスピーカー１０８のアレイとともに使用され得る。さらに、補助ラウドスピーカー１０８は、通信デバイス１０２と通信し得る代替デバイス（たとえば、ＴＶ）があるときに通信デバイス１０２に接続し得る。
[0095]この場合、マイクロフォン１０４位置が１つまたは複数のラウドスピーカー１０８に対して変化するので、エコーＤＯＡ６７８は時間的に変化し得る。したがって、エコーノッチマスキングモジュール６２０は、ランタイム中にエコーＤＯＡ６７８を決定するためにエコーＤＯＡ推定モジュール６８８を含み得る。これは、図５に関して上記で説明したように行われ得るが、較正中にエコーＤＯＡ６７８を１回決定するのではなく、エコーＤＯＡ推定モジュール６８８は、（ファーエンドフラグ６４６ａによって示されるように）ファーエンドアクティビティが検出されるときにフレームごとにエコーＤＯＡ６７８を決定し得る。一構成では、エコーＤＯＡ推定モジュール６８８は、ニアエンドフラグ６５０またはダブルトークフラグ６４４を受信すると非アクティブ化され得る。
[0096]エコーノッチマスキングモジュール６２０は、ユーザがデバイス内ラウドスピーカー１０８を使用しているのか補助ラウドスピーカー１０８を使用しているのかを決定し得る。一構成では、エコーノッチマスキングモジュール６２０は、補助ラウドスピーカー１０８のための補助経路がアクティブ化されると補助ラウドスピーカーモードフラグ６８９を受信し得る。補助ラウドスピーカーモードフラグ６８９を受信すると、エコーＤＯＡ推定モジュール６８８は、（空間プロセッサ２３８から取得された）フレームのための音声尤度情報６４８に基づいてエコーＤＯＡ６７８を決定し得る。たとえば、空間プロセッサ２３８は、音声尤度情報６４８を取得するためにエコー信号を再生することによってアングログラム計算を実施し得る。
[0097]エコーノッチマスキングモジュール６２０は、ノッチマスキングパラメータ６７６を含み得る。エコーＤＯＡ６７８を決定すると、エコーノッチマスキングモジュール６２０は、図５に関して上記で説明したように、ノッチ幅６８０とノッチ深さ６８２とを決定し得る。エコーノッチマスキングモジュール６２０はまた、尤度しきい値６８３を設定し得る。
[0098]マスキング利得計算モジュール６８４は、音声尤度情報６４８を受信し得る。音声尤度情報６４８は、ターゲット音声の周波数ビン当たりの角度当たりの尤度を示し得る。マスキング利得計算モジュール６８４は、図５に関して上記で説明したように、マスキング利得を決定し得る。一構成では、マスキング利得計算モジュール６８４は、ファーエンドフラグ６４６ｂがファーエンドアクティビティを示すときにマスキング利得を決定し得る。さらに、マスキング利得計算モジュール６８４は、マスキング利得のアグレッシブネスを決定するときに雑音抑圧利得６６４を考慮し得る。これは、図５に関して上記で説明したように行われ得る。
[0099]マスキング利得を決定すると、エコーノッチマスキング出力モジュール６８６は、雑音抑制済み信号６６２にマスキング利得を適用し得る。たとえば、選択された周波数ビンは、エコー抑制済み信号６７４を生成するために、決定されたマスキング利得に従って抑制され得る。エコーノッチマスキング出力モジュール６８６はまた、マスキング利得と雑音抑圧利得６６４とを含み得る雑音およびエコー抑制利得６７２を出力し得る。
[00100]図７は、エコーノッチマスキングの一構成を示すグラフである。エコーノッチマスキングは、エコーノッチマスキングモジュール１２０によって実施され得る。図７に、様々な角度７９０のために適用され得るマスキング利得７９１を示す。空間プロセッサ２３８は、１次および２次マイクロフォンチャネルに基づいて様々な空間ビームを決定し得る。各ビームは特定の方向（たとえば、角度７９０）に関連付けられ得る。時間内のフレームごとに、周波数範囲が周波数ビンにグループ化され得る。周波数ビンごとの推定音声尤度が角度７９０ごとに決定され得る。エコーＤＯＡ７７８のあるマージン内にある尤度が高い（たとえば、尤度しきい値５８３を上回る）周波数ビンが抑制され得る。
[00101]図７に示す例では、エコーＤＯＡ７７８は、４５度と決定され得る。一構成では、エコーＤＯＡ７７８は、図５に関して上記で説明したように、空間処理中にアングログラム計算を実施することによって決定され得る。マスキング窓７９２のノッチ幅５８０は２０度である。したがって、３５度と５５度との間の角度７９０をもつ周波数ビンがマスキング利得７９１によって抑制され得る。マスキング窓７９２外の角度７９０をもつ周波数ビンは０ｄＢの単位利得を有することになる。
[00102]マスキング窓７９２は、エコーＤＯＡ７７８に基づいて位置を特定され得る。この例では、マスキング窓７９２は、エコーＤＯＡ７７８を中心に、エコーＤＯＡ７７８の両側に１０度のマージンをもたせている。しかしながら、他の構成では、マスキング窓７９２はエコーＤＯＡ７７８を中心とする必要はない（たとえば、エコーＤＯＡ７７８のいずれかの側のマージンが異なり得る）。
[00103]（エコーＤＯＡ７７８において）４５度の角度７９０の場合、マスキング利得７９１は−２０ｄＢとなる。最大マスキング利得７９１はノッチ深さ５８２と呼ばれることがある。この例では、マスキング利得７９１は、マスキング窓７９２内で線形的に変動する。別の構成では、マスキング利得７９１は、マスキング窓７９２内で非線形的に変動し得る。
[00104]図８に、電子デバイス／ワイヤレスデバイス８０２内に含まれ得るいくつかの構成要素を示す。電子デバイス／ワイヤレスデバイス８０２は、図１に示された通信デバイス１０２など、アクセス端末、移動局、ユーザ機器（ＵＥ）、基地局、アクセスポイント、ブロードキャスト送信機、ノードＢ、発展型ノードＢなどであり得る。電子デバイス／ワイヤレスデバイス８０２はプロセッサ８０１を含む。プロセッサ８０１は、汎用シングルまたはマルチチップマイクロプロセッサ（たとえば、高度ＲＩＳＣ（縮小命令セットコンピュータ）マシン（ＡＲＭ）プロセッサ）、専用マイクロプロセッサ（たとえば、デジタル信号プロセッサ（ＤＳＰ））、マイクロコントローラ、プログラマブルゲートアレイなどであり得る。プロセッサ８０１は中央処理ユニット（ＣＰＵ）と呼ばれることがある。図８の電子デバイス／ワイヤレスデバイス８０２中に単一のプロセッサ８０１のみが示されるが、代替的な構成では、プロセッサの組合せ（たとえば、ＡＲＭとＤＳＰ）が使用され得る。
[00105]電子デバイス／ワイヤレスデバイス８０２はまた、メモリ８０９を含む。メモリ８０９は、電子情報を記憶することが可能な任意の電子的構成要素であり得る。メモリ８０９は、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、磁気ディスク記憶媒体、光記憶媒体、ＲＡＭ中のフラッシュメモリデバイス、プロセッサとともに含まれた内蔵メモリ、消去可能プログラマブル読取り専用メモリ（ＥＰＲＯＭ）、電気的消去可能ＰＲＯＭ（ＥＥＰＲＯＭ（登録商標））、レジスタ等、およびこれらの組合せを含むものとして具体化され得る。
[00106]データ８１３ａおよび命令８１１ａがメモリ８０９に記憶され得る。命令８１１ａは、本明細書で開示する方法を実装するようにプロセッサ８０１によって実行可能であり得る。命令８１１ａを実行することは、メモリ８０９に記憶されたデータ８１３ａの使用を含み得る。プロセッサ８０１が命令８１１ａを実行すると、命令８１１ｂの様々な部分がプロセッサ８０１上にロードされ得、様々ないくつかのデータ８１３ｂがプロセッサ８０１上にロードされ得る。
[00107]電子デバイス／ワイヤレスデバイス８０２はまた、電子デバイス／ワイヤレスデバイス８０２との間での信号の送信および受信を可能にするために、送信機８１７と受信機８１９とを含み得る。送信機８１７と受信機８１９とはトランシーバ８０５と総称されることがある。複数のアンテナ８０７ａ〜ｎがトランシーバ８０５に電気的に結合され得る。電子デバイス／ワイヤレスデバイス８０２はまた、複数の送信機、複数の受信機、複数のトランシーバおよび／または追加のアンテナ（図示せず）を含み得る。
[00108]電子デバイス／ワイヤレスデバイス８０２はデジタル信号プロセッサ（ＤＳＰ）８２３を含み得る。電子デバイス／ワイヤレスデバイス８０２はまた、通信インターフェース８２５を含み得る。通信インターフェース８２５は、ユーザが電子デバイス／ワイヤレスデバイス８０２と対話することを可能にし得る。
[00109]電子デバイス／ワイヤレスデバイス８０２の様々な構成要素は、電力バス、制御信号バス、ステータス信号バス、データバスなどを含み得る、１つまたは複数のバスによって互いに結合され得る。明快のために、図８では様々なバスはバスシステム８２１として示されている。
[00110]本明細書に記載された技法は、直交多重化方式に基づく通信システムを含む様々な通信システムに使用され得る。そのような通信システムの例としては、直交周波数分割多元接続（ＯＦＤＭＡ）システム、シングルキャリア周波数分割多元接続（ＳＣ−ＦＤＭＡ）システムなどがある。ＯＦＤＭＡシステムは、全システム帯域幅を複数の直交サブキャリアに区分する変調技法である、直交周波数分割多重化（ＯＦＤＭ）を利用する。これらのサブキャリアは、トーン、ビンなどと呼ばれることもある。ＯＦＤＭでは、各サブキャリアは独立してデータで変調され得る。ＳＣ−ＦＤＭＡシステムは、システム帯域幅にわたって分散されたサブキャリア上で送信するためのインターリーブＦＤＭＡ（ＩＦＤＭＡ）、隣接するサブキャリアのブロック上で送信するための局所ＦＤＭＡ（ＬＦＤＭＡ）、または隣接するサブキャリアの複数のブロック上で送信するための拡張ＦＤＭＡ（ＥＦＤＭＡ）を利用し得る。概して、変調シンボルは、ＯＦＤＭでは周波数領域で、ＳＣ−ＦＤＭＡでは時間領域で送られる。
[00111]「決定すること」という用語は、多種多様のアクションを含み、したがって、「決定すること」は、算出することと、演算することと、処理することと、引き出すことと、調査することと、探索すること（たとえば、テーブル、データベースあるいは別のデータ構造を調べること）と、確かめることなどを含み得る。また、「決定すること」は、受け取ること（たとえば、情報を受け取る）と、アクセスすること（たとえば、メモリ内のデータにアクセスすること）などを含み得る。また、「決定する」は、解決すること、選択すること、選ぶこと、および確立することなどを含み得る。
[00112]「に基づいて」という句は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という句は、「のみに基づいて」と「に少なくとも基づいて」の両方を表す。
[00113]「プロセッサ」という用語は、汎用プロセッサ、中央処理ユニット（ＣＰＵ）、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、コントローラ、マイクロコントローラ、状態機械などを包含するものと広く解釈されたい。いくつかの状況下では、「プロセッサ」は、特定用途向け集積回路（ＡＳＩＣ）、プログラマブル論理デバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などを指すことがある。「プロセッサ」という用語は、処理デバイスの組合せ、たとえば、ＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つまたは複数のマイクロプロセッサ、あるいは他のそのような構成を指すことがある。
[00114]「メモリ」という用語は、電子情報を記憶することが可能な任意の電子構成要素を包含するように広く解釈されるべきである。メモリという用語は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、プログラム可能リードオンリーメモリ（ＰＲＯＭ）、消去可能プログラム可能リードオンリーメモリ（ＥＰＲＯＭ）、電気的消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）、フラッシュメモリ、磁気または光データ記憶装置、レジスタなど、様々なタイプのプロセッサ可読媒体を指すことがある。プロセッサがメモリから情報を読み取り、および／または情報をメモリに書き込むことができる場合、メモリはプロセッサと電子通信していると言われる。プロセッサに一体化されたメモリは、プロセッサと電子通信している。
[00115]「命令」および「コード」という用語は、任意のタイプのコンピュータ可読ステートメントを含むように広く解釈されるべきである。たとえば、「命令」および「コード」という用語は、１つまたは複数のプログラム、ルーチン、サブルーチン、関数、プロシージャなどを指すことがある。「命令」および「コード」は、単一のコンピュータ可読ステートメントまたは多くのコンピュータ可読ステートメントを備え得る。
[00116]本明細書で説明した機能は、ハードウェアによって実行されているソフトウェアまたはファームウェアで実装され得る。機能は、１つまたは複数の命令としてコンピュータ可読媒体上に記憶され得る。「コンピュータ可読媒体」または「コンピュータプログラム製品」という用語は、コンピュータまたはプロセッサによってアクセスされ得る任意の有形記憶媒体を指す。限定ではなく例として、コンピュータ可読媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭまたは他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気ストレージデバイス、あるいは命令またはデータ構造の形態の所望のプログラムコードを搬送または記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備え得る。本明細書で使用するディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）およびＢｌｕ−ｒａｙ（登録商標）ディスク（disc）を含み、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザーで光学的に再生する。
[00117]本明細書で開示する方法は、説明する方法を達成するための１つまたは複数のステップまたはアクションを備える。本方法のステップおよび／またはアクションは、特許請求の範囲を逸脱することなく互いに交換され得る。言い換えれば、説明している方法の適切な動作のために、ステップまたはアクションの特定の順序が必要とされない限り、特定のステップおよび／またはアクションの順序および／または使用は、請求項の範囲から逸脱することなく、変更され得る。
[00118]さらに、図３によって示されたものなど、本明細書で説明する方法および技法を実行するためのモジュールおよび／または他の適切な手段は、デバイスによってダウンロードされ、および／または他の方法で取得され得ることを諒解されたい。たとえば、デバイスは、本明細書で説明した方法を実施するための手段の転送を可能にするために、サーバに結合され得る。代替的に、本明細書で説明した様々な方法は、デバイスが、記憶手段をそのデバイスに結合するかまたは与えると様々な方法を得ることがあるように、記憶手段（たとえば、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、コンパクトディスク（ＣＤ）またはフロッピーディスクなどの物理記憶媒体など）によって与えられ得る。
[00119]特許請求の範囲は、上記に示した正確な構成および構成要素に限定されないことを理解されたい。特許請求の範囲から逸脱することなく、本明細書で説明したシステム、方法、および装置の構成、動作および詳細において、様々な修正、変更および変形が行われ得る。
[00119]特許請求の範囲は、上記に示した正確な構成および構成要素に限定されないことを理解されたい。特許請求の範囲から逸脱することなく、本明細書で説明したシステム、方法、および装置の構成、動作および詳細において、様々な修正、変更および変形が行われ得る。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］ マルチチャネルエコー消去および雑音抑圧のための方法であって、
非線形エコー消去のために複数のエコー推定値のうちの１つを選択することと、
エコー抑制済み信号を生成するためにエコー到着方向（ＤＯＡ）に基づいて雑音抑制済み信号にエコーノッチマスキングを実施することと、
前記選択されたエコー推定値に少なくとも部分的に基づいて前記エコー抑制済み信号に非線形エコー消去を実施することと、
を備える、方法。
［Ｃ２］ 複数のエコー推定値のうちの前記１つが、空間処理済みエコー推定値と、１次マイクロフォンエコー推定値と、２次マイクロフォンエコー推定値とのうちの１つである、Ｃ１に記載の方法。
［Ｃ３］ 複数のエコー推定値のうちの１つを前記選択することが、前記複数のエコー推定値のうちの最大値を選択することを備える、Ｃ１に記載の方法。
［Ｃ４］ 複数のエコー推定値のうちの１つを前記選択することが、前記選択されたエコー推定値を生成するために複数のエコー推定値を組み合わせることを備える、Ｃ１に記載の方法。
［Ｃ５］ エコーノッチマスキングが、
音声尤度と前記エコー到着方向（ＤＯＡ）とに基づいてマスキング利得を決定することと、
前記エコー抑制済み信号を生成するために前記雑音抑制済み信号に前記マスキング利得を適用することと、
を備える、Ｃ１に記載の方法。
［Ｃ６］ 非線形エコー消去を前記実施することが、前記選択されたエコー推定値と前記エコー抑制済み信号とに基づいてエコーの非線形モデルを使用することを備える、Ｃ１に記載の方法。
［Ｃ７］ 命令をその中に有する非一時的コンピュータ可読媒体を備える、マルチチャネルエコー消去および雑音抑圧のためのコンピュータプログラム製品であって、前記命令が、
非線形エコー消去のために複数のエコー推定値のうちの１つを選択することを通信デバイスに行わせるためのコードと、
エコー抑制済み信号を生成するためにエコー到着方向（ＤＯＡ）に基づいて雑音抑制済み信号にエコーノッチマスキングを実施することを前記通信デバイスに行わせるためのコードと、
前記選択されたエコー推定値に少なくとも部分的に基づいて前記エコー抑制済み信号に非線形エコー消去を実施することを前記通信デバイスに行わせるためのコードと、
を備える、コンピュータプログラム製品。
［Ｃ８］ 複数のエコー推定値のうちの前記１つが、空間処理済みエコー推定値と、１次マイクロフォンエコー推定値と、２次マイクロフォンエコー推定値とのうちの１つである、Ｃ７に記載のコンピュータプログラム製品。
［Ｃ９］ 複数のエコー推定値のうちの１つを選択することを前記通信デバイスに行わせるための前記コードが、前記選択されたエコー推定値を生成するために複数のエコー推定値を組み合わせることを前記通信デバイスに行わせるためのコードを備える、Ｃ７に記載のコンピュータプログラム製品。
［Ｃ１０］ エコーノッチマスキングを実施することを前記通信デバイスに行わせるための前記コードが、
音声尤度と前記エコー到着方向（ＤＯＡ）とに基づいてマスキング利得を決定することを前記通信デバイスに行わせるためのコードと、
前記エコー抑制済み信号を生成するために前記雑音抑制済み信号に前記マスキング利得を適用することを前記通信デバイスに行わせるためのコードと、
を備える、Ｃ７に記載のコンピュータプログラム製品。
［Ｃ１１］ 前記雑音抑制済み信号が、少なくとも２つのマイクロフォンチャネルの線形エコー消去の出力中の雑音を抑制することを前記通信デバイスに行わせることによって生成される、Ｃ７に記載のコンピュータプログラム製品。
［Ｃ１２］ 前記線形エコー消去が、
１次マイクロフォンチャネルから１次マイクロフォンエコー推定値を減算することを前記通信デバイスに行わせるためのコードと、
２次マイクロフォンチャネルから２次マイクロフォンエコー推定値を減算することを前記通信デバイスに行わせるためのコードと、
を備える、Ｃ１１に記載のコンピュータプログラム製品。
［Ｃ１３］ 空間処理済みエコー推定値を生成するために１次マイクロフォンエコー推定値と２次マイクロフォンエコー推定値とを空間処理することを前記通信デバイスに行わせるためのコードをさらに備える、Ｃ１１に記載のコンピュータプログラム製品。
［Ｃ１４］ 空間処理を行うことを前記通信デバイスに行わせるための前記コードが、前記線形エコー消去の出力中の雑音を抑制することを前記通信デバイスに前記行わせることによって実施される空間処理を複製する、Ｃ１３に記載のコンピュータプログラム製品。
［Ｃ１５］ 前記１次マイクロフォンエコー推定値と前記２次マイクロフォンエコー推定値とを決定することを前記通信デバイスに行わせるためのコードが、
１次マイクロフォンと２次マイクロフォンとについて音響エコーキャンセラ（ＡＥＣ）フィルタ中で室内応答をモデル化することを前記通信デバイスに行わせるためのコードと、
前記１次マイクロフォンのための前記室内応答に基づいて前記１次マイクロフォンエコー推定値を決定することを前記通信デバイスに行わせるためのコードと、
前記２次マイクロフォンのための前記室内応答に基づいて前記２次マイクロフォンエコー推定値を決定することを前記通信デバイスに行わせるためのコードと、
を備える、Ｃ１３に記載のコンピュータプログラム製品。
［Ｃ１６］ 前記１次マイクロフォンエコー推定値と前記２次マイクロフォンエコー推定値とが、前記線形エコー消去中に決定される、Ｃ１３に記載のコンピュータプログラム製品。
［Ｃ１７］ マルチチャネルエコー消去および雑音抑圧のための通信デバイスであって、
プロセッサと、
前記プロセッサと電子通信しているメモリと、
メモリに記憶された命令であって、前記命令が、
非線形エコー消去のために複数のエコー推定値のうちの１つを選択することと、
エコー抑制済み信号を生成するためにエコー到着方向（ＤＯＡ）に基づいて雑音抑制済み信号に対してエコーノッチマスキングを実施することと、
前記選択されたエコー推定値に少なくとも部分的に基づいて前記エコー抑制済み信号に非線形エコー消去を実施することと、
を行うように実行可能である前記命令と、
を備える通信デバイス。
［Ｃ１８］ 複数のエコー推定値のうちの前記１つが、空間処理済みエコー推定値と、１次マイクロフォンエコー推定値と、２次マイクロフォンエコー推定値とのうちの１つである、Ｃ１７に記載の通信デバイス。
［Ｃ１９］ 複数のエコー推定値のうちの１つを選択することを行うように実行可能な前記命令が、前記選択されたエコー推定値を生成するために複数のエコー推定値を組み合わせることを行うように実行可能な命令を備える、Ｃ１７に記載の通信デバイス。
［Ｃ２０］ 前記エコー到着方向（ＤＯＡ）が、１つまたは複数のマイクロフォンと１つまたは複数のラウドスピーカーとのロケーションに基づいて決定される、Ｃ１７に記載の通信デバイス。
［Ｃ２１］ 前記エコー到着方向（ＤＯＡ）が、較正ステージ中に決定される、Ｃ１７に記載の通信デバイス。
［Ｃ２２］ 前記エコー到着方向（ＤＯＡ）が、ファーエンドアクティビティが検出されるときにリアルタイムで決定される、Ｃ１７に記載の通信デバイス。
［Ｃ２３］ エコーノッチマスキングを実施することを行うように実行可能な前記命令が、
音声尤度と前記エコー到着方向（ＤＯＡ）とに基づいてマスキング利得を決定することと、
前記エコー抑制済み信号を生成するために前記雑音抑制済み信号に前記マスキング利得を適用することと、
を行うように実行可能な命令を備える、Ｃ１７に記載の通信デバイス。
［Ｃ２４］ 前記マスキング利得を決定することを行うように実行可能な前記命令が、
前記エコー到着方向（ＤＯＡ）に基づいて位置を特定されたマスキング窓を適用することと、
前記マスキング窓内で前記雑音抑制済み信号を抑制すべき量を決定することと、
を行うように実行可能な命令を備える、Ｃ２３に記載の通信デバイス。
［Ｃ２５］ エコーノッチマスキングを実施することを行うように実行可能な前記命令が、ファーエンド音声の指示にさらに基づく、Ｃ１７に記載の通信デバイス。
［Ｃ２６］ マルチチャネルエコー消去および雑音抑圧のための通信デバイスであって、
非線形エコー消去のために複数のエコー推定値のうちの１つを選択するための手段と、
エコー抑制済み信号を生成するためにエコー到着方向（ＤＯＡ）に基づいて雑音抑制済み信号にエコーノッチマスキングを実施するための手段と、
前記選択されたエコー推定値に少なくとも部分的に基づいて前記エコー抑制済み信号に非線形エコー消去を実施するための手段と、
を備える、通信デバイス。
［Ｃ２７］ 複数のエコー推定値のうちの前記１つが、空間処理済みエコー推定値と、１次マイクロフォンエコー推定値と、２次マイクロフォンエコー推定値とのうちの１つである、Ｃ２６に記載の通信デバイス。
［Ｃ２８］ 複数のエコー推定値のうちの１つを選択するための前記手段が、前記選択されたエコー推定値を生成するために複数のエコー推定値を組み合わせるための手段を備える、Ｃ２６に記載の通信デバイス。
［Ｃ２９］ エコーノッチマスキングのための前記手段が、
音声尤度と前記エコー到着方向（ＤＯＡ）とに基づいてマスキング利得を決定するための手段と、
前記エコー抑制済み信号を生成するために前記雑音抑制済み信号に前記マスキング利得を適用するための手段と、
を備える、Ｃ２６に記載の通信デバイス。

Claims (29)

  1. マルチチャネルエコー消去および雑音抑圧のための方法であって、
    非線形エコー消去のために複数のエコー推定値のうちの１つを選択することと、
    エコー抑制済み信号を生成するためにエコー到着方向（ＤＯＡ）に基づいて雑音抑制済み信号にエコーノッチマスキングを実施することと、
    前記選択されたエコー推定値に少なくとも部分的に基づいて前記エコー抑制済み信号に非線形エコー消去を実施することと、
    を備える、方法。
  2. 複数のエコー推定値のうちの前記１つが、空間処理済みエコー推定値と、１次マイクロフォンエコー推定値と、２次マイクロフォンエコー推定値とのうちの１つである、請求項１に記載の方法。
  3. 複数のエコー推定値のうちの１つを前記選択することが、前記複数のエコー推定値のうちの最大値を選択することを備える、請求項１に記載の方法。
  4. 複数のエコー推定値のうちの１つを前記選択することが、前記選択されたエコー推定値を生成するために複数のエコー推定値を組み合わせることを備える、請求項１に記載の方法。
  5. エコーノッチマスキングが、
    音声尤度と前記エコー到着方向（ＤＯＡ）とに基づいてマスキング利得を決定することと、
    前記エコー抑制済み信号を生成するために前記雑音抑制済み信号に前記マスキング利得を適用することと、
    を備える、請求項１に記載の方法。
  6. 非線形エコー消去を前記実施することが、前記選択されたエコー推定値と前記エコー抑制済み信号とに基づいてエコーの非線形モデルを使用することを備える、請求項１に記載の方法。
  7. 命令をその中に有する非一時的コンピュータ可読媒体を備える、マルチチャネルエコー消去および雑音抑圧のためのコンピュータプログラム製品であって、前記命令が、
    非線形エコー消去のために複数のエコー推定値のうちの１つを選択することを通信デバイスに行わせるためのコードと、
    エコー抑制済み信号を生成するためにエコー到着方向（ＤＯＡ）に基づいて雑音抑制済み信号にエコーノッチマスキングを実施することを前記通信デバイスに行わせるためのコードと、
    前記選択されたエコー推定値に少なくとも部分的に基づいて前記エコー抑制済み信号に非線形エコー消去を実施することを前記通信デバイスに行わせるためのコードと、
    を備える、コンピュータプログラム製品。
  8. 複数のエコー推定値のうちの前記１つが、空間処理済みエコー推定値と、１次マイクロフォンエコー推定値と、２次マイクロフォンエコー推定値とのうちの１つである、請求項７に記載のコンピュータプログラム製品。
  9. 複数のエコー推定値のうちの１つを選択することを前記通信デバイスに行わせるための前記コードが、前記選択されたエコー推定値を生成するために複数のエコー推定値を組み合わせることを前記通信デバイスに行わせるためのコードを備える、請求項７に記載のコンピュータプログラム製品。
  10. エコーノッチマスキングを実施することを前記通信デバイスに行わせるための前記コードが、
    音声尤度と前記エコー到着方向（ＤＯＡ）とに基づいてマスキング利得を決定することを前記通信デバイスに行わせるためのコードと、
    前記エコー抑制済み信号を生成するために前記雑音抑制済み信号に前記マスキング利得を適用することを前記通信デバイスに行わせるためのコードと、
    を備える、請求項７に記載のコンピュータプログラム製品。
  11. 前記雑音抑制済み信号が、少なくとも２つのマイクロフォンチャネルの線形エコー消去の出力中の雑音を抑制することを前記通信デバイスに行わせることによって生成される、請求項７に記載のコンピュータプログラム製品。
  12. 前記線形エコー消去が、
    １次マイクロフォンチャネルから１次マイクロフォンエコー推定値を減算することを前記通信デバイスに行わせるためのコードと、
    ２次マイクロフォンチャネルから２次マイクロフォンエコー推定値を減算することを前記通信デバイスに行わせるためのコードと、
    を備える、請求項１１に記載のコンピュータプログラム製品。
  13. 空間処理済みエコー推定値を生成するために１次マイクロフォンエコー推定値と２次マイクロフォンエコー推定値とを空間処理することを前記通信デバイスに行わせるためのコードをさらに備える、請求項１１に記載のコンピュータプログラム製品。
  14. 空間処理を行うことを前記通信デバイスに行わせるための前記コードが、前記線形エコー消去の出力中の雑音を抑制することを前記通信デバイスに前記行わせることによって実施される空間処理を複製する、請求項１３に記載のコンピュータプログラム製品。
  15. 前記１次マイクロフォンエコー推定値と前記２次マイクロフォンエコー推定値とを決定することを前記通信デバイスに行わせるためのコードが、
    １次マイクロフォンと２次マイクロフォンとについて音響エコーキャンセラ（ＡＥＣ）フィルタ中で室内応答をモデル化することを前記通信デバイスに行わせるためのコードと、
    前記１次マイクロフォンのための前記室内応答に基づいて前記１次マイクロフォンエコー推定値を決定することを前記通信デバイスに行わせるためのコードと、
    前記２次マイクロフォンのための前記室内応答に基づいて前記２次マイクロフォンエコー推定値を決定することを前記通信デバイスに行わせるためのコードと、
    を備える、請求項１３に記載のコンピュータプログラム製品。
  16. 前記１次マイクロフォンエコー推定値と前記２次マイクロフォンエコー推定値とが、前記線形エコー消去中に決定される、請求項１３に記載のコンピュータプログラム製品。
  17. マルチチャネルエコー消去および雑音抑圧のための通信デバイスであって、
    プロセッサと、
    前記プロセッサと電子通信しているメモリと、
    メモリに記憶された命令であって、前記命令が、
    非線形エコー消去のために複数のエコー推定値のうちの１つを選択することと、
    エコー抑制済み信号を生成するためにエコー到着方向（ＤＯＡ）に基づいて雑音抑制済み信号に対してエコーノッチマスキングを実施することと、
    前記選択されたエコー推定値に少なくとも部分的に基づいて前記エコー抑制済み信号に非線形エコー消去を実施することと、
    を行うように実行可能である前記命令と、
    を備える通信デバイス。
  18. 複数のエコー推定値のうちの前記１つが、空間処理済みエコー推定値と、１次マイクロフォンエコー推定値と、２次マイクロフォンエコー推定値とのうちの１つである、請求項１７に記載の通信デバイス。
  19. 複数のエコー推定値のうちの１つを選択することを行うように実行可能な前記命令が、前記選択されたエコー推定値を生成するために複数のエコー推定値を組み合わせることを行うように実行可能な命令を備える、請求項１７に記載の通信デバイス。
  20. 前記エコー到着方向（ＤＯＡ）が、１つまたは複数のマイクロフォンと１つまたは複数のラウドスピーカーとのロケーションに基づいて決定される、請求項１７に記載の通信デバイス。
  21. 前記エコー到着方向（ＤＯＡ）が、較正ステージ中に決定される、請求項１７に記載の通信デバイス。
  22. 前記エコー到着方向（ＤＯＡ）が、ファーエンドアクティビティが検出されるときにリアルタイムで決定される、請求項１７に記載の通信デバイス。
  23. エコーノッチマスキングを実施することを行うように実行可能な前記命令が、
    音声尤度と前記エコー到着方向（ＤＯＡ）とに基づいてマスキング利得を決定することと、
    前記エコー抑制済み信号を生成するために前記雑音抑制済み信号に前記マスキング利得を適用することと、
    を行うように実行可能な命令を備える、請求項１７に記載の通信デバイス。
  24. 前記マスキング利得を決定することを行うように実行可能な前記命令が、
    前記エコー到着方向（ＤＯＡ）に基づいて位置を特定されたマスキング窓を適用することと、
    前記マスキング窓内で前記雑音抑制済み信号を抑制すべき量を決定することと、
    を行うように実行可能な命令を備える、請求項２３に記載の通信デバイス。
  25. エコーノッチマスキングを実施することを行うように実行可能な前記命令が、ファーエンド音声の指示にさらに基づく、請求項１７に記載の通信デバイス。
  26. マルチチャネルエコー消去および雑音抑圧のための通信デバイスであって、
    非線形エコー消去のために複数のエコー推定値のうちの１つを選択するための手段と、
    エコー抑制済み信号を生成するためにエコー到着方向（ＤＯＡ）に基づいて雑音抑制済み信号にエコーノッチマスキングを実施するための手段と、
    前記選択されたエコー推定値に少なくとも部分的に基づいて前記エコー抑制済み信号に非線形エコー消去を実施するための手段と、
    を備える、通信デバイス。
  27. 複数のエコー推定値のうちの前記１つが、空間処理済みエコー推定値と、１次マイクロフォンエコー推定値と、２次マイクロフォンエコー推定値とのうちの１つである、請求項２６に記載の通信デバイス。
  28. 複数のエコー推定値のうちの１つを選択するための前記手段が、前記選択されたエコー推定値を生成するために複数のエコー推定値を組み合わせるための手段を備える、請求項２６に記載の通信デバイス。
  29. エコーノッチマスキングのための前記手段が、
    音声尤度と前記エコー到着方向（ＤＯＡ）とに基づいてマスキング利得を決定するための手段と、
    前記エコー抑制済み信号を生成するために前記雑音抑制済み信号に前記マスキング利得を適用するための手段と、
    を備える、請求項２６に記載の通信デバイス。
JP2016511767A 2013-05-03 2014-04-23 マルチチャネルエコー消去および雑音抑圧 Pending JP2016518628A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361819423P 2013-05-03 2013-05-03
US61/819,423 2013-05-03
US14/156,292 2014-01-15
US14/156,292 US9936290B2 (en) 2013-05-03 2014-01-15 Multi-channel echo cancellation and noise suppression
PCT/US2014/035190 WO2014179135A1 (en) 2013-05-03 2014-04-23 Multi-channel echo cancellation and noise suppression

Publications (2)

Publication Number Publication Date
JP2016518628A true JP2016518628A (ja) 2016-06-23
JP2016518628A5 JP2016518628A5 (ja) 2018-05-24

Family

ID=51841451

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016511767A Pending JP2016518628A (ja) 2013-05-03 2014-04-23 マルチチャネルエコー消去および雑音抑圧

Country Status (6)

Country Link
US (1) US9936290B2 (ja)
EP (1) EP2992668B1 (ja)
JP (1) JP2016518628A (ja)
KR (1) KR20160003844A (ja)
CN (1) CN105144674B (ja)
WO (1) WO2014179135A1 (ja)

Families Citing this family (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9357080B2 (en) * 2013-06-04 2016-05-31 Broadcom Corporation Spatial quiescence protection for multi-channel acoustic echo cancellation
GB2525051B (en) 2014-09-30 2016-04-13 Imagination Tech Ltd Detection of acoustic echo cancellation
GB2527865B (en) * 2014-10-30 2016-12-14 Imagination Tech Ltd Controlling operational characteristics of an acoustic echo canceller
US9516159B2 (en) * 2014-11-04 2016-12-06 Apple Inc. System and method of double talk detection with acoustic echo and noise control
US9769587B2 (en) 2015-04-17 2017-09-19 Qualcomm Incorporated Calibration of acoustic echo cancelation for multi-channel sound in dynamic acoustic environments
US9554207B2 (en) 2015-04-30 2017-01-24 Shure Acquisition Holdings, Inc. Offset cartridge microphones
US9565493B2 (en) 2015-04-30 2017-02-07 Shure Acquisition Holdings, Inc. Array microphone system and method of assembling the same
US9407989B1 (en) 2015-06-30 2016-08-02 Arthur Woodrow Closed audio circuit
WO2017115098A1 (en) * 2015-12-29 2017-07-06 Otis Elevator Company Acoustic elevator communication system and method of adjusting such a system
US9653060B1 (en) * 2016-02-09 2017-05-16 Amazon Technologies, Inc. Hybrid reference signal for acoustic echo cancellation
US9659555B1 (en) * 2016-02-09 2017-05-23 Amazon Technologies, Inc. Multichannel acoustic echo cancellation
US10095470B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Audio response playback
US9811314B2 (en) 2016-02-22 2017-11-07 Sonos, Inc. Metadata exchange involving a networked playback system and a networked microphone system
US9772817B2 (en) 2016-02-22 2017-09-26 Sonos, Inc. Room-corrected voice detection
US10264030B2 (en) 2016-02-22 2019-04-16 Sonos, Inc. Networked microphone device control
CN105788607B (zh) * 2016-05-20 2020-01-03 中国科学技术大学 应用于双麦克风阵列的语音增强方法
TWI579833B (zh) * 2016-06-22 2017-04-21 瑞昱半導體股份有限公司 信號處理裝置與信號處理方法
US10134399B2 (en) 2016-07-15 2018-11-20 Sonos, Inc. Contextualization of voice inputs
US10115400B2 (en) 2016-08-05 2018-10-30 Sonos, Inc. Multiple voice services
US10181323B2 (en) 2016-10-19 2019-01-15 Sonos, Inc. Arbitration-based voice recognition
US10264116B2 (en) * 2016-11-02 2019-04-16 Nokia Technologies Oy Virtual duplex operation
US10367948B2 (en) 2017-01-13 2019-07-30 Shure Acquisition Holdings, Inc. Post-mixing acoustic echo cancellation systems and methods
CN108694956B (zh) * 2017-03-29 2023-08-22 大北欧听力公司 具有自适应子频带波束成形的听力设备及相关方法
WO2018229821A1 (ja) * 2017-06-12 2018-12-20 ヤマハ株式会社 信号処理装置、遠隔会議装置、および信号処理方法
US10475449B2 (en) 2017-08-07 2019-11-12 Sonos, Inc. Wake-word detection suppression
US10048930B1 (en) 2017-09-08 2018-08-14 Sonos, Inc. Dynamic computation of system response volume
US10446165B2 (en) 2017-09-27 2019-10-15 Sonos, Inc. Robust short-time fourier transform acoustic echo cancellation during audio playback
US10482868B2 (en) 2017-09-28 2019-11-19 Sonos, Inc. Multi-channel acoustic echo cancellation
US10466962B2 (en) 2017-09-29 2019-11-05 Sonos, Inc. Media playback system with voice assistance
JP6954370B2 (ja) * 2017-11-14 2021-10-27 日本電信電話株式会社 音声コミュニケーション装置、音声コミュニケーション方法、プログラム
US10522167B1 (en) * 2018-02-13 2019-12-31 Amazon Techonlogies, Inc. Multichannel noise cancellation using deep neural network masking
US11175880B2 (en) 2018-05-10 2021-11-16 Sonos, Inc. Systems and methods for voice-assisted media content selection
US10847178B2 (en) * 2018-05-18 2020-11-24 Sonos, Inc. Linear filtering for noise-suppressed speech detection
CN108766456B (zh) * 2018-05-22 2020-01-07 出门问问信息科技有限公司 一种语音处理方法及装置
US10959029B2 (en) 2018-05-25 2021-03-23 Sonos, Inc. Determining and adapting to changes in microphone performance of playback devices
WO2019231632A1 (en) 2018-06-01 2019-12-05 Shure Acquisition Holdings, Inc. Pattern-forming microphone array
US11297423B2 (en) 2018-06-15 2022-04-05 Shure Acquisition Holdings, Inc. Endfire linear array microphone
WO2020045898A1 (ko) * 2018-08-27 2020-03-05 서강대학교산학협력단 스테레오 노이즈 제거 장치 및 스테레오 노이즈 제거 방법
US11076035B2 (en) 2018-08-28 2021-07-27 Sonos, Inc. Do not disturb feature for audio notifications
CN109841206B (zh) * 2018-08-31 2022-08-05 大象声科（深圳）科技有限公司 一种基于深度学习的回声消除方法
US10587430B1 (en) 2018-09-14 2020-03-10 Sonos, Inc. Networked devices, systems, and methods for associating playback devices based on sound codes
WO2020061353A1 (en) 2018-09-20 2020-03-26 Shure Acquisition Holdings, Inc. Adjustable lobe shape for array microphones
US11024331B2 (en) 2018-09-21 2021-06-01 Sonos, Inc. Voice detection optimization using sound metadata
US11100923B2 (en) 2018-09-28 2021-08-24 Sonos, Inc. Systems and methods for selective wake word detection using neural network models
US11899519B2 (en) 2018-10-23 2024-02-13 Sonos, Inc. Multiple stage network microphone device with reduced power consumption and processing load
CN111261179A (zh) * 2018-11-30 2020-06-09 阿里巴巴集团控股有限公司 回声消除方法及装置和智能设备
US11183183B2 (en) 2018-12-07 2021-11-23 Sonos, Inc. Systems and methods of operating media playback systems having multiple voice assistant services
US11205437B1 (en) * 2018-12-11 2021-12-21 Amazon Technologies, Inc. Acoustic echo cancellation control
US11132989B2 (en) 2018-12-13 2021-09-28 Sonos, Inc. Networked microphone devices, systems, and methods of localized arbitration
US10937418B1 (en) * 2019-01-04 2021-03-02 Amazon Technologies, Inc. Echo cancellation by acoustic playback estimation
US10867604B2 (en) 2019-02-08 2020-12-15 Sonos, Inc. Devices, systems, and methods for distributed voice processing
US11438691B2 (en) 2019-03-21 2022-09-06 Shure Acquisition Holdings, Inc. Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition functionality
US11303981B2 (en) 2019-03-21 2022-04-12 Shure Acquisition Holdings, Inc. Housings and associated design features for ceiling array microphones
US11558693B2 (en) 2019-03-21 2023-01-17 Shure Acquisition Holdings, Inc. Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition and voice activity detection functionality
US11120794B2 (en) 2019-05-03 2021-09-14 Sonos, Inc. Voice assistant persistence across multiple network microphone devices
CN110085247B (zh) * 2019-05-06 2021-04-20 上海互问信息科技有限公司 一种针对复杂噪声环境的双麦克风降噪方法
US11445294B2 (en) 2019-05-23 2022-09-13 Shure Acquisition Holdings, Inc. Steerable speaker array, system, and method for the same
TW202105369A (zh) 2019-05-31 2021-02-01 美商舒爾獲得控股公司 整合語音及雜訊活動偵測之低延時自動混波器
US11200894B2 (en) 2019-06-12 2021-12-14 Sonos, Inc. Network microphone device with command keyword eventing
US11017792B2 (en) * 2019-06-17 2021-05-25 Bose Corporation Modular echo cancellation unit
WO2021021857A1 (en) * 2019-07-30 2021-02-04 Dolby Laboratories Licensing Corporation Acoustic echo cancellation control for distributed audio devices
US10871943B1 (en) 2019-07-31 2020-12-22 Sonos, Inc. Noise classification for event detection
US11297426B2 (en) 2019-08-23 2022-04-05 Shure Acquisition Holdings, Inc. One-dimensional array microphone with improved directivity
US10984815B1 (en) * 2019-09-27 2021-04-20 Cypress Semiconductor Corporation Techniques for removing non-linear echo in acoustic echo cancellers
US11587575B2 (en) * 2019-10-11 2023-02-21 Plantronics, Inc. Hybrid noise suppression
US11189286B2 (en) 2019-10-22 2021-11-30 Sonos, Inc. VAS toggle based on device orientation
CN110767247B (zh) * 2019-10-29 2021-02-19 支付宝(杭州)信息技术有限公司 语音信号处理方法、声音采集装置和电子设备
US11804233B2 (en) 2019-11-15 2023-10-31 Qualcomm Incorporated Linearization of non-linearly transformed signals
US11200900B2 (en) 2019-12-20 2021-12-14 Sonos, Inc. Offline voice control
US11562740B2 (en) 2020-01-07 2023-01-24 Sonos, Inc. Voice verification for media playback
US11308958B2 (en) 2020-02-07 2022-04-19 Sonos, Inc. Localized wakeword verification
US11552611B2 (en) 2020-02-07 2023-01-10 Shure Acquisition Holdings, Inc. System and method for automatic adjustment of reference gain
US11482224B2 (en) 2020-05-20 2022-10-25 Sonos, Inc. Command keywords with input detection windowing
WO2021243368A2 (en) 2020-05-29 2021-12-02 Shure Acquisition Holdings, Inc. Transducer steering and configuration systems and methods using a local positioning system
CN111756943B (zh) * 2020-06-05 2021-04-20 中原工学院 一种增广复值成比例子带自适应立体声学回声消除方法
US11386911B1 (en) * 2020-06-29 2022-07-12 Amazon Technologies, Inc. Dereverberation and noise reduction
CN111726464B (zh) * 2020-06-29 2021-04-20 珠海全志科技股份有限公司 一种多通道回声滤除方法、滤除装置和可读存储介质
US11259117B1 (en) * 2020-09-29 2022-02-22 Amazon Technologies, Inc. Dereverberation and noise reduction
US11984123B2 (en) 2020-11-12 2024-05-14 Sonos, Inc. Network device interaction by range
US11785380B2 (en) 2021-01-28 2023-10-10 Shure Acquisition Holdings, Inc. Hybrid audio beamforming system
CN113709607A (zh) * 2021-08-20 2021-11-26 深圳市京华信息技术有限公司 声信号传播方法、系统和计算机可读存储介质
US11875810B1 (en) 2021-09-29 2024-01-16 Amazon Technologies, Inc. Echo cancellation using neural networks for environments with unsynchronized devices for audio capture and rendering
US11902757B2 (en) * 2022-06-14 2024-02-13 Tencent America LLC Techniques for unified acoustic echo suppression using a recurrent neural network

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010531567A (ja) * 2007-06-21 2010-09-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ オーディオ信号を処理する装置及び方法
WO2013032001A1 (ja) * 2011-08-29 2013-03-07 日本電気株式会社 音声処理装置、その制御方法および制御プログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6148078A (en) * 1998-01-09 2000-11-14 Ericsson Inc. Methods and apparatus for controlling echo suppression in communications systems
US7359504B1 (en) * 2002-12-03 2008-04-15 Plantronics, Inc. Method and apparatus for reducing echo and noise
DE602005008914D1 (de) * 2005-05-09 2008-09-25 Mitel Networks Corp Verfahren und System zum Reduzieren der Trainingszeit eines akustischen Echokompensators in einem Vollduplexaudiokonferenzsystem durch akustische Strahlbildung
US7773743B2 (en) 2006-04-28 2010-08-10 Microsoft Corporation Integration of a microphone array with acoustic echo cancellation and residual echo suppression
US8213598B2 (en) * 2008-02-26 2012-07-03 Microsoft Corporation Harmonic distortion residual echo suppression
US9113240B2 (en) 2008-03-18 2015-08-18 Qualcomm Incorporated Speech enhancement using multiple microphones on multiple devices
US8645129B2 (en) 2008-05-12 2014-02-04 Broadcom Corporation Integrated speech intelligibility enhancement system and acoustic echo canceller
US8385557B2 (en) 2008-06-19 2013-02-26 Microsoft Corporation Multichannel acoustic echo reduction
US9202456B2 (en) * 2009-04-23 2015-12-01 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for automatic control of active noise cancellation
JP5060631B1 (ja) * 2011-03-31 2012-10-31 株式会社東芝 信号処理装置及び信号処理方法
US8811601B2 (en) 2011-04-04 2014-08-19 Qualcomm Incorporated Integrated echo cancellation and noise suppression
US9966067B2 (en) * 2012-06-08 2018-05-08 Apple Inc. Audio noise estimation and audio noise reduction using multiple microphones

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010531567A (ja) * 2007-06-21 2010-09-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ オーディオ信号を処理する装置及び方法
WO2013032001A1 (ja) * 2011-08-29 2013-03-07 日本電気株式会社 音声処理装置、その制御方法および制御プログラム

Also Published As

Publication number Publication date
EP2992668B1 (en) 2018-02-21
CN105144674A (zh) 2015-12-09
CN105144674B (zh) 2017-09-29
US20140328490A1 (en) 2014-11-06
US9936290B2 (en) 2018-04-03
WO2014179135A8 (en) 2015-05-07
WO2014179135A1 (en) 2014-11-06
KR20160003844A (ko) 2016-01-11
EP2992668A1 (en) 2016-03-09

Similar Documents

Publication Publication Date Title
US9936290B2 (en) Multi-channel echo cancellation and noise suppression
US8811601B2 (en) Integrated echo cancellation and noise suppression
US11297178B2 (en) Method, apparatus, and computer-readable media utilizing residual echo estimate information to derive secondary echo reduction parameters
CN107636758B (zh) 声学回声消除系统和方法
US9800734B2 (en) Echo cancellation
JP5762956B2 (ja) ヌル処理雑音除去を利用した雑音抑制を提供するシステム及び方法
US8842851B2 (en) Audio source localization system and method
US8498407B2 (en) Systems and methods for double-talk detection in acoustically harsh environments
US9699554B1 (en) Adaptive signal equalization
US8774423B1 (en) System and method for controlling adaptivity of signal modification using a phantom coefficient
US20130322643A1 (en) Multi-Microphone Robust Noise Suppression
KR20130061673A (ko) 모노 또는 다중 마이크로폰 시스템 내의 잡음 제거 및 음성 품질을 공동으로 최적화하는 방법
US9191519B2 (en) Echo suppressor using past echo path characteristics for updating
US9491306B2 (en) Signal processing control in an audio device
CN111756906B (zh) 一种语音信号的回声抑制方法、装置和计算机可读介质
Fukui et al. Double-talk robust acoustic echo cancellation for CD-quality hands-free videoconferencing system
JP2007336132A (ja) エコー抑圧装置
TW202331701A (zh) 雙麥克風陣列回音消除方法、雙麥克風陣列回音消除裝置、電子設備、及非揮發性電腦可讀儲存媒體

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170323

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170323

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180403

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180403

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180413

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180413

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180417

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190205