JP2006101499A - 結合されたノイズ低減およびエコー補償による音声信号処理 - Google Patents

Abstract

【課題】マイクロホンによって再度受信される遠隔利用者からの信号を抑制する。
【解決手段】第１の音声信号を受信し、適応ビームフォーム信号を取得するように構成された適応ビームフォーミング信号処理手段１３、適応ビームフォーム信号中の音響エコーを低減するように構成された適応エコー補償手段１４、および適応ビームフォーミング手段および適応エコー補償手段の結合された適応を同時に実行するように構成された適応手段を備える、結合されたノイズ低減およびエコー補償を有する音声信号処理のためのシステム。
【効果】出力のマイクロホン信号は、所望のターゲット信号に対応して同期化される。
【選択図】図１

Description

本発明は、結合されたノイズ低減および音響エコー補償による多重チャネル音声信号処理のためのシステムおよび方法に関する。

音声信号処理は、背後に存在するノイズ環境において実施されることを必要とすることが多い。車両中のハンズフリーの音声通信が顕著な例である。ハンズフリーの電話機は、自動車における特定用途の快適な通信システムおよび安全な通信システムを提供する。ハンズフリー電話機の場合、通信を保証するためにノイズを抑制することが必須である。ノイズ信号の振幅および周波数は、例えば、車両の速さおよび道路からのノイズにより、時間的に変化する。

特に重要なのは、拡声器によって発せられ、マイクロホンによって再度受信される遠隔利用者からの信号を抑制することであり、それは、不快なエコーが、会話音声の品質および明瞭性に影響を与え得るからである。最も悪い場合では、音響のフィードバックにより、コミュニケーションが完全に停止し得る。

１つの主な問題は、部屋の反響特性にある。自動車におけるハンズフリー電話機の場合には、例えば、自動車の乗員の動きによる音響中の急激な変化が識別される必要があるので、内部音響の検出は非常に難しい。

上述の問題を克服するために、音響エコー補償（ａｃｏｕｓｔｉｃ ｅｃｈｏ ｃｏｍｐｅｎｓａｔｉｏｎ（ＡＥＣ））手段が提供され、基本的にこれは次のように働く。線形（ＥＰ ０２０４７１８Ｂ１）適応フィルタまたは非線形（ＥＰ １０２００６８ Ｂ１；ＷＯ−Ａ−９６／２６５９２）適応フィルタによって、音響フィードバックの複製が同期化され、補償信号が拡声器の受信信号から取得される。補償信号はマイクロホンの送信信号から減算され、これによって生じる信号を生成して、遠隔利用者に送信される。

ハンズフリー通信では、音響エコーに加え、相対的に低いＳＮＲ（ｓｉｇｎａｌ−ｔｏ−ｎｏｉｓｅ ｒａｔｉｏ）に苦しめられる。結果的には、音声信号の質を改善するために何らかのノイズ低減が使用され得る。

現在の多重チャネルシステムは主に、適応ビームフォーマーまたは非適応ビームフォーマー（例えば、Ｈ．Ｌ． ｖａｎ Ｔｒｅｅｓ、Ｗｉｌｅｙ ＆ Ｓｏｎｓによる「Ｏｐｔｉｍｕｍ Ａｒｒａｙ Ｐｒｏｃｅｓｓｉｎｇ，ＰａｒｔＩＶ ｏｆ Ｄｅｔｅｃｔｉｏｎ，Ｅｓｔｉｍａｔｉｏｎ，ａｎｄ Ｍｏｄｕｌａｔｉｏｎ Ｔｈｅｏｒｙ」，Ｎｅｗ Ｙｏｒｋ ２００２参照）を活用する。このビームフォーマーは、複数のマイクロホン入力信号と向上したＳＮＲを有する１つのビームフォーム信号とを結合する。

ＡＥＣ手段と適応ビームフォーマーとの結合は技術として知られている（例えば、Ｋｅｌｌｅｒｍａｎｎ，Ｗ，Ｓｐｒｉｎｇｅｒ，Ｂｅｒｌｉｎ，２００１による「Ｍｉｃｒｏｐｈｏｎｅ Ａｒｒａｙ：Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｔｅｃｎｉｑｕｅｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ」参照）。しかしながら、現実の実施によると、適応ビームフォーマーとエコー消去手段との様々な収束特性が、共作用効果および／または１つのエコー補償手段の使用必要性を抑止し得る。

（発明の要旨）
近年の発達および改善にもかかわらず、音声信号処理においては、効果的なエコー補償およびノイズ低減が主要な課題であることがわかる。それゆえ、上述される欠点を克服することおよび音声信号処理のためのシステムおよび方法を提供することが本発明に存する課題であり、より詳細には、ＳＮＲ（ｓｉｇｎａｌ−ｔｏ−ｎｏｉｓｅ）および有効な音響エコー補償のように改善された音響特性を示すハンズフリーの遠距離通信システムのために適切なシステムおよび方法を提供することである。

問題は、請求項１に記載のノイズ低減およびエコー補償による音声信号処理のシステムおよび請求項１２に記載の方法によって解決される。本発明によるシステムは、第１の音声信号受信し、第１の音声信号から適切なビームフォームされた信号を得るように構成される適応ビームフォーミング信号処理手段、適切にビームフォームされた信号中の音響エコーを減少させるように構成される適応エコー補償手段、および適応ビームフォーミング手段と適応エコー補償手段の結合された適応を同時に実行されるように構成される適応手段、を備える。

本発明のシステムは、第２の音声信号を有する拡声器信号を出力するための少なくとも１つの拡声器と同様に、マイクロホン信号を検出するために少なくとも２つのマイクロホンを有するマイクロホンアレイをさらに備え得、上述された第１の音声信号は、マイクロホン信号に基づいて得られ得、適応エコー補償手段は、拡声器信号に基づいて、適応ビームフォーム信号中の音響のエコーを低減し得る。

音声信号処理のためのこのようなシステムは、有意に向上したＳＮＲを提供し、理想的には、完全なエコー消去を提供する。音声信号は、発声情報を示すいずれかの信号を意味する。本発明のシステムにより処理された音声信号は、例えば、離散化された時刻を引数とする関数として、または周波数領域にフーリエ変換された信号として利用され得る。このマイクロホンは、音声信号を検出するだけでなく、ノイズおよび音響のエコーも検出する。結果的に、適応ビームフォーミング手段は、音声信号を受信するだけでなく、ノイズおよびエコー信号をも受信する。

ビームフォーミング手段およびエコー補償手段は、それらの手段が、一時的に変化するフィルタベクトルを有するフィルタを使用することを意味する適応手段であり、このフィルタベクトルは音声通信中に連続的に再計算され、ノイズ低減およびエコー補償について音声信号処理を最適化する。エコー補償手段は、単一のチャネル手段または複数のチャネル手段であり得る。

適応ビームフォーミング手段および適応エコー消去手段の同時適応および結合された適応は、所望の共作用効果を生じる。

技術的に話すと、結合された適応は有効な重みベクトルの適応により実現され、重みベクトルはビームフォーミング手段およびＡＥＣ手段の適応フィルタの結合された重みを示す。

適応ビームフォーミング手段の第１の使用とこれに引き続いたＡＥＣ手段の使用とを特徴とする典型的な最先端のシステムとは異なるが（ＡＥＣ手段は、低い収束速度の影響を受け、その結果、エコー消去に貢献し得ないことが多い）、本発明のシステムにより、ノイズとエコー消去はともに非常に効率よく実行される。この技術とは逆に、適応ビームフォーミング手段および適応ＡＥＣ手段の本発明の結合された適応は、両手段を同時に更新することを可能にする（すなわち、追従問題（ｔｒａｃｋｉｎｇ ｐｒｏｂｌｅｍ）は全く生じない）。

本発明によれば、唯一のエコー補償手段が必要であることも注目すべきである。これは、各マイクロホンのチャネルに対して１つのＡＥＣ手段を必要とし、第１にＡＥＣ手段を使用し、次にビームフォーミング手段を使用するという技術から知られる構成とは異なる。

さらに、ノイズ低減とエコー消去の両方に対する自由度の数は、拡声器の数により増加し、ビームフォーミング手段およびＡＥＣ手段それぞれによって使用される適応フィルタの最適化を改善する。

本発明の一実施形態によれば、適応ビームフォーミング信号処理手段は適応ビームフォーマーである。

本発明のシステムの実現化は、最も単純かつ安易なもののように思える。ビームフォーマーは、同時受信された異なる入力信号を、ある単一のビームフォーム信号へと結合する。各チャネルにおける信号部分のノイズレベルは互いに異なる。非常に低いＳＮＲを有するその異なるチャネルの単純平均により、出力信号のＳＮＲを悪化し得る。その結果、異なるチャネルに対して重み係数（重み）を導入することが望まれ、この係数は、好ましくは、音声検出条件の変更（例えば、時間依存のノイズおよび／または拡声器の動き）に応答して、時間に依存して計算される。好都合な一実施形態によれば、ビームフォーム信号は、重み付きの同時受信の入力信号を加算することにより得られる。

しかし、本出願により、改善された性能が望まれ得る。

その結果、本発明の他の実施形態によれば、適応ビームフォーミング信号処理手段は、第１の音声信号を受信しおよびノイズ基準信号を得るように構成されるブロッキングマトリクス（ｂｌｏｃｋｉｎｇ ｍａｔｒｉｘ）、ノイズ基準信号を受信しおよび適応ノイズ信号を得るように構成される適応ノイズ消去手段、第１の音声信号を受信しおよび第１のビームフォーム信号を得るように構成されるビームフォーマー、および適応ノイズ消去手段により得られた適応ノイズ信号を第１のビームフォーム信号から減算して適応ビームフォーム信号を得るように構成される手段を備える。

ビームフォーマー、ブロッキングマトリクス（非適応または適応のものとして選択され得る）、および適応ノイズ消去手段を備える一般的な構成は、ＧＳＣ（Ｇｅｎｅｒａｌ Ｓｉｄｅｌｏｂｅ Ｃａｎｃｅｌｌｅｒ）である。ＧＳＣ設計は、２つの信号処理経路を備え、１つはノイズ低減経路であり、もう１つは基準信号処理手段経路である。基準信号処理経路はビームフォーマーを備え、このビームフォーマーは、マイクロホンアレイにより検出される１以上の所望の信号源に向けられる。マイクロホンアレイにより同時検出され、所望の音声信号とともにノイズおよびエコーを有するマイクロホン信号は、向上したＳＮＲを有する１つのビームフォーム信号に結合される。

ノイズ低減信号処理経路は、音声信号を受信し、ノイズ基準信号を生成するように使用されるブロッキングマトリクスを備えることが多い。最も容易な実現においては、ブロッキングマトリクスが隣接チャネルの受信信号の減算を実行する。

ノイズ基準信号は、適応ノイズ消去手段の入力信号としての機能を果たす。適応ノイズ消去は、（複素化された）フィルタによってなされる。これらのフィルタは、出力信号のパワが最小化されるという目的で適応されることが多い。従来のＧＳＣにおいては、適応ノイズ消去手段の出力信号をビームフォーム信号から減算して出力信号を得る。本発明によれば、適応ノイズ消去は、適応エコー消去と結合される。結合された適応ノイズ消去手段および適応エコー消去手段のフィルタは、同時に適応される。

ＧＳＣ構成の取り込みは処理負荷を有意に低減する。ＧＳＣ手段およびＡＥＣ手段の以前の組合せとは異なり、ＧＳＣおよびＡＥＣの構成要素の本発明の同時適応および結合された適応は、音響のエコーが効率的に抑制される場合でさえ、ブロッキングマトリクス手段および適応ノイズ消去手段を介して音響のエコーの漏洩を抑制する。

さらに、この技術とは異なり、本発明のシステムは、このマイクロホンアレイによって局所的な強いノイズ信号が検出される場合および／またはこのエコー経路が連続的に変化する場合でさえ、確実に働く。

適応ノイズ消去手段および適応エコー補償手段は適応フィルタを備え、好ましくは、適応エコー補償手段の適応フィルタのフィルタ長は、適応ノイズ消去手段の適応フィルタのフィルタ長と等しいかそれより長い。

一般的に「フィルタ長」はフィルタ係数の数を意味する。ＡＥＣ手段は、非常に多くのフィルタ係数が十分確実に作用することを必要とし、ＡＥＣ手段は、適応ビームフォーミング手段と比べると低い収束速度となる。しかし、相対的に低い残響を有するノイズ環境では、例えば車中では、ＡＥＣ手段およびビームフォーミング手段に対して同等または等しい数のフィルタ係数の選択が相当とされ得る。

適応手段が、最小二乗の最適化基準を適用することによって、適応ビームフォーミング手段と適応エコー補償手段との結合された適応を同時に実行することが望まれ得る。

最小二乗の最適化は、複素フィルタを適応するための音声信号処理におけるウェル−テステッドおよびロバスト法を示し、これを使用することは比較的単純である。これは、少なくとも出力信号の一様性を仮定する制限に制約される平方出力信号の標本値のウィンドウ和（ｗｉｎｄｏｗｅｄ ｓｕｍ）を最小化することによって実行される。総和において使用されるウィンドウ関数（ｗｉｎｄｏｗｉｎｇ ｆｕｎｃｔｉｏｎ）は、最適化手順として考えられる出力信号のサンプルを選択する。

最小二乗の最適化基準の制限は、

として数式化され得、ここで、上付きの添字Ｔは、ベクトルの転置操作を示し、

は、線形拘束付最小分散ビームフォーミング（ｌｉｎｅａｒｌｙ−ｃｏｎｓｔｒａｉｎｅｄ ｍｉｎｉｍｕｍ ｖａｒｉａｎｃｅ ｂｅａｍｆｏｒｍｉｎｇ）から既知の従来の制限行列であり、ｗ（ｋ）およびａ（ｋ）はそれぞれ、適応ビームフォーミングのフィルタおよび適応ノイズ消去のフィルタであり、Ｑは少なくとも１つの拡声器の数であり、Ｎ_ａは適応エコー消去手段のフィルタのフィルタ係数の数であり、ｃは制限Ｃを示す制限ベクトルである。

これらの制限は、マトリクス（ｗ^Ｔ（ｋ），ａ^Ｔ（ｋ））^Ｔにより、適応ビームフォーミング手段および適応エコー補償手段のフィルタの結合された適応を示す。零行列Ｃ×ＱＮ_ａの次元は、拡声器信号が無相関であるという適切な仮定から生じる。

本発明によるこのシステムはさらに、マイクロホン信号の時間遅延補償を実行するように構成される手段を備え得て第１の音声信号を得、この第１の信号は適応ビームフォーマーまたはＧＳＣは同じ構成であるが、適合ビームフォーミング手段に対する入力信号として連続的に使用される。

所望のターゲット信号（ｔａｒｇｅｔ ｓｉｇｎａｌ）に対応してマイクロホン信号を同期し、さらに本発明のシステムの性能を改善することは有利なことであり得る。この目的のために、各信号の時間遅延が計算および補償される必要がある。

第１の音声信号を得るために、マイクロホン信号または時間遅延補償マイクロホン信号の位相および振幅を一致するように構成された適応セルフキャリブレーション手段をさらに使用することは、好ましいことであり得る。

適応セルフキャリブレーション手段の適応フィルタは、正規化最小平均二乗アルゴリズムにより計算され得る。時間遅延補償の後、マイクロホン信号は、正確には整合され得ないが、それは、例えば話し手の動き、および異なるマイクロホンの位相および振幅の不一致によるものである。適応セルフキャリブレーションにより、位相および振幅に関する不一致は最小化される。したがって、各チャネルにおける所望の信号は、時刻（位相）列であり、所望の信号部分の振幅は各チャネルにおいてほとんど等しく、この信号は、非常に近い周波数特性を示すと予測される。

適応ビームフォーミング信号処理手段および適応エコー補償手段および／またはマイクロホン信号の時間遅延補償を実行するように構成される手段および／または適合セルフキャリブレーション手段は、時間領域または周波数領域または副バンド周波数領域において処理を実行するように構成される。

適応周波数領域は、より良い収束特性およびトラッキングケイパビリティー（ｔｒａｃｋｉｎｇ ｃａｐａｂｉｌｉｔｙ）を示し得る。高速フーリエ変換および必要に応じて逆高速フーリエ変換を実行するための適切な手段は、公知技術から既知であるので、周波数領域で作用する本発明のシステムの実現には都合がよいと考えられ得る。

本発明は、上述のような音声信号処理のためのシステムをさらに提供し、そこでマイクロホンアレイは、少なくとも指向性のマイクロホンを備える。

さらに、本発明は、上述のような結合されたノイズ低減およびエコー補償による音声信号処理のための本発明のシステムを備えるハンズフリーシステムを提供する。

さらに、本発明は、車中における、音声信号処理のための前記システムおよびハンズフリーシステムの使用に向けられる。改善されたＳＮＲおよびエコー消去は、車両キャビン中の通信機器の音響のチャレンジングコンテンツ（ｃｈａｌｌｅｎｇｉｎｇ ｃｏｎｔｅｎｔｓ）において特に望まれる。

さらに、本発明により、音声信号処理のために１つの上述されたシステムおよびハンズフリーシステムを備える車両が提供される。

さらに、本発明は、結合されたノイズ低減およびエコー補償による音声信号処理のための方法を提供し、適応ビームフォーミングフィルタを使用する適応ビームフォーミングのための入力信号として第１の音声信号を受信することと、適応エコー補償フィルタを使用する音響エコーの適応補償のための入力信号を受信することと、適応ビームフォーミングフィルタおよび適応エコー補償フィルタから結合された適応フィルタを決定することと、結合された適応フィルタを適応することによって適応ビームフォーミングフィルタおよび適応エコー補償フィルタを同時に適応することと、および適応ビームフォーミングおよびエコー補償適応ビームフォームされた信号によって適応してビームフォームされた信号を得て、音声信号処理の出力信号を得ること、を含む。

適応エコー補償と同様、適応ビームフォーミングは、それぞれの適応フィルタを利用して実行される。関連する重みベクトルは、結合された１つのフィルタベクトルに結合され得る。この結合されたフィルタベクトルの適応は、結合された適応ビームフォーミング手段および適応エコー補償手段のフィルタの同時適応となる。

本発明の方法は、好ましくは、少なくとも２つのマイクロホンを備えるマイクロホンアレイによりマイクロホン信号を検出することと、および少なくとも１つの拡声器により出力される第２の音声信号を備える拡声器信号を得ること、を含む。この場合、上述の第１の音声信号が、マイクロホン信号に基づいて得られ得、拡声器信号は、音響エコーの適合補償に対する入力信号として使用され得る。

適応ビームフォーミングは、適応ビームフォーマーによって、つまり、ブロッキングマトリクスにより第１の音声信号を受信および処理しノイズ基準信号を得るステップ、適応ノイズ九案背リング手段によりノイズ基準信号を処理し適応ノイズ信号を得るステップ、ビームフォーマーにより第１の音声信号を受信および処理し、第１のビームフォームされた信号を得るステップ、および適応ノイズ消去手段によって得られた適応ノイズ信号を第１のビームフォームされた信号から減算し適応ビームフォームされた信号を得るステップ、により実行され得る。

適応フィルタは、適応エコー補償および適応ノイズ消去のために使用され、適応エコー補償手段のフィルタのフィルタ長は、好ましくは、適応ノイズ消去手段のフィルタのフィルタ長と等しいかまたはそれより長い。

結合された適応フィルタは、好ましくは、以下による制限を有する最小二乗の最適化基準を適用することにより適応される。

ここで、上付きの添字Ｔは、ベクトルの転置操作を示し、

は、ＬＣＭＶビームフォーミングから既知の従来の制限行列であり、ｗ（ｋ）およびａ（ｋ）はそれぞれ、適応ビームフォーミングのフィルタおよび適応ノイズ消去のフィルタであり、Ｑは、少なくとも１つの拡声器の数であり、Ｎ_ａは、適応エコー消去手段のフィルタのフィルタ係数の数であり、ｃは、制限Ｃを示す制限ベクトルである。

好都合には、マイクロホン信号は時間遅延に対して補償され、第１の音声信号を得、マイクロホン信号または時間遅延補償マイクロホン信号は、適応セルフキャリブレーションされ得る。

適応ビームフォーミングおよび適合エコー補償および／または時間遅延補償および／または適応セルフキャリブレーティングは、時間領域または周波数領域または副バンド周波数領域で実行され得る。

さらに、本発明はコンピュータプログラム製品を提供し、この製品は、上述のようにノイズ低減による音声信号処理のための本発明の方法のステップを実行するためのコンピュータが実行可能な命令を有する１以上のコンピュータ読み取り可能媒体を備える。

さらに、本発明は以下：
（項目１） 第１の音声信号を受信し、適合ビームフォーム信号を該第１の音声信号から得るように構成される適合ビームフォーミング信号処理手段（１３）、
該適応ビームフォーム信号中の音響エコーを低減するように構成された適応エコー補償手段（１４，２４）、および
該適応ビームフォーミング手段と該適応エコー補償手段との結合された適応を同時に実行するように構成された適応手段、
を備える、結合されたノイズ低減およびエコー補償による音声信号処理システム、
（項目２） マイクロホン信号を検出するための少なくとも２つのマイクロホンを備えるマイクロホンアレイ（１１，２１）、
第２の音声信号を有する拡声器信号を出力するための少なくとも１つの拡声器（１２，２２）を備え、
前記第１の音声信号が該マイクロホン信号に基づいて得られ、
前記適応エコー補償手段（１４，２４）が、該拡声器信号に基づいて、前記適応ビームフォーム信号中の音響エコーを低減する、項目１に記載のシステム、
（項目３） 前記適応ビームフォーミング信号処理手段が適応ビームフォーマー（１３）である、項目１または項目２に記載のシステム、
（項目４） 前記適応ビームフォーミング信号処理手段が、
前記第１の音声信号を受信し、ノイズ基準信号を取得するように構成されたブロッキングマトリクス（２５）、
該ノイズ基準信号を受信し、適応ノイズ信号を取得するように構成された適応ノイズ消去手段（２６）、および
該第１の音声信号を受信し、第１のビームフォーム信号を取得するように構成されたビームフォーマー（２３）、および
前記適応ビームフォーム信号を取得するために、該第１のビームフォーム信号から該適応ノイズ消去手段（２６）により取得された該適応ノイズ信号を減算するように構成された手段、
を備える、項目１または項目２に記載のシステム、
（項目５） 前記適応ノイズ消去手段（２６）および前記適応エコー補償手段（２４）が適応フィルタを備え、該適応エコー補償手段の適応フィルタのフィルタ長が、該適応ノイズ消去手段の適応フィルタのフィルタ長と等しいか、またはそれより長い、項目４に記載のシステム、
（項目６） 前記適応手段が、最小二乗の最適化基準を適用することにより、前記適応ビームフォーミング手段および前記適応エコー補償手段の結合された適応を同時に実行する、項目１から項目５のいずれか１項に記載のシステム、
（項目７） 最小二乗の最適化基準の制限が、

を示し、ここで、上付きの添字Ｔはベクトル転置操作を示し、

は線形拘束付最小分散ビームフォーミングから既知の従来の制限行列であり、ｗ（ｋ）およびａ（ｋ）はそれぞれ、前記適応ビームフォーミングおよび適応ノイズ消去のフィルタであり、Ｑは前記少なくとも１つの拡声器数であり、Ｎ_ａは前記適応エコー消去手段のフィルタのフィルタ係数の数であり、ｃは制限Ｃを示す制限ベクトルである、項目６に記載のシステム、
（項目８） 前記第１の音声信号を取得するために、前記マイクロホン信号の時間遅延補償を実行するように構成される手段をさらに備える、項目１から項目７のいずれか１項に記載のシステム、
（項目９） 前記第１の音声信号を取得するために、マイクロホン信号または前記時間遅延補償マイクロホン信号の位相および振幅を一致するように構成された適応セルフキャリブレーション手段をさらに備える、項目１から項目７のいずれか１項に記載のシステム、
（項目１０） 前記適応ビームフォーミング信号処理手段および前記適応エコー補償手段および／または前記マイクロホン信号の時間遅延補償を実行するように構成された手段および／または適応セルフキャリブレーション手段が、時間領域または周波数領域または副バンド周波数領域において処理を実行するように構成される、項目１から項目９のいずれか１項に記載のシステム、
（項目１１） 前記マイクロホンアレイが、方向性を有する少なくとも１つのマイクロホンを備える、項目１から項目１０のいずれか１項に記載のシステム、
（項目１２） 適応ビームフォーミングフィルタを使用する適応ビームフォーミングのために入力信号として第１の音声信号を受信すること、
適応エコー補償フィルタを使用する音響エコーの適応補償のために入力信号を受信すること、
該適応ビームフォーミングフィルタおよび該適応エコー補償フィルタから、結合された適応フィルタを決定すること、
結合された適応フィルタを適応することによって、該適応ビームフォーミングフィルタおよび該適応エコー補償フィルタを同時に適応すること、および
該音声信号処理の出力信号を取得するために、適応ビームフォーム信号を該適応ビームフォーミングおよびエコー補償することによって、適応ビームフォーム信号を取得すること、
を含む、結合されたノイズ低減およびエコー補償による音声信号処理の方法、
（項目１３） 少なくとも２つのマイクロホンを備えるマイクロホンアレイによって、マイクロホン信号を検出すること、
少なくとも１つの拡声器によって、第２の音声信号出力を備える拡声器信号を取得することを含む方法であって、
前記第１の音声信号が、該マイクロホン信号に基づいて取得され、および
音響エコーの適応補償のための入力信号が拡声器信号である、項目１２に記載の方法、
（項目１３） 前記適応ビームフォーミングが適応ビームフォーマーにより実行される、項目１１または項目１２に記載の方法、
（項目１４） 前記適応ビームフォーミングが、
ノイズ基準信号を取得するためにブロッキングマトリクスにより、前記第１の音声信号を受信および処理すること、
適応ノイズ信号を取得するために、適応ノイズ消去手段により、該ノイズ基準信号を処理すること、および
第１のビームフォーム信号を取得するために、ビームフォーマーにより該第１の音声信号を受信および処理すること、および
適応ビームフォーム信号を取得するために、該第１のビームフォーム信号から、該適応ノイズ消去手段により取得された前記適応ノイズ信号を減算すること、
を備える、項目１１または項目１２に記載の方法、
（項目１５） 前記適応エコー補償および前記適応ノイズ消去に対して適応フィルタが使用され、該適応エコー補償手段のフィルタのフィルタ長が、該適応ノイズ消去手段のフィルタのフィルタ長と等しいかまたはそれより長い、項目１４に記載の方法、
（項目１６） 最小平方の最適化基準を適用することによって、前記結合された適応フィルタが適応される、項目１２から項目１５のいずれか１項に記載の方法、
（項目１７） 最小二乗の最適化基準の制限が、

を示し、ここで、上付きの添字Ｔはベクトル転置操作を示し、

はＬＣＭＶビームフォーミングから既知の従来の制限行列であり、ｗ（ｋ）およびａ（ｋ）はそれぞれ、前記適応ビームフォーミングおよび適応ノイズ消去のフィルタであり、Ｑは前記少なくとも１つの拡声器数であり、Ｎ_ａは前記適応エコー消去手段のフィルタのフィルタ係数の数であり、ｃは制限Ｃを示す制限ベクトルである、項目１６に記載の方法、
（項目１８） 前記マイクロホン信号が、前記第１の音声信号を取得するために、時間遅延が補償される、項目１３から項目１７のいずれか１項に記載の方法、
（項目１９） 前記第１の音声信号を取得するために、前記マイクロホン信号または前記時間遅延補償マイクロホン信号が適応セルフキャリブレーションをされる、項目１３から項目１８のいずれか１項に記載の方法、
（項目２０） 前記適応ビームフォーミングおよび適応エコー補償および／または前記時間遅延補償および／または前記適応セルフキャリブレーションが、時間領域または周波数領域または副バンド周波数領域実行される、項目１３から項目１９のいずれか１項に記載の方法。

（項目２１） 項目１２から項目１８のいずれか１項に記載の方法のステップを実行するために、コンピュータ実行可能な命令を有する、１以上のコンピュータ読み取り可能媒体を備えるコンピュータプログラム製品、
を提供する。

本発明は、結合されたノイズ低減およびエコー補償を有する音声信号処理のためのシステムに関し、第１の音声信号を受信し第１の音声信号から適応ビームフォーム信号を得るように構成された適応ビームフォーミング信号処理手段、適応ビームフォーム信号中の音響エコーを低減するように構成される適応エコー補償手段、および結合された適応の適応ビームフォーミング手段および適応エコー補償手段を同時に実行するように構成される適応手段を、
備える。

本発明による音声信号処理の一実施形態の一般的な構成は、図１に示される。例示の目的として、この処理は離散化の時間領域においてなされる。代替的には、このアルゴリズムは、全離散フーリエ変換領域または副バンド領域において適用され得る。

Ｍ個のマイクロホン１１により検出されたマイクロホン信号が、ｘ（ｋ）（ｋは離散化された時間の引数）として利用され得、および線形和で表される信号であると仮定される。
ｘ（ｋ）＝ｄ（ｋ）＋ｎ（ｋ）＋ｅ（ｋ）
ここで、ｄ（ｋ）、ｎ（ｋ）およびｅ（ｋ）はそれぞれ、所望の信号、局所的なノイズ信号、および音響エコー信号を示す。このエコーは、少なくとも１つの拡声器１２の出力信号により引き起こされ、その部屋の反響特性を示す。

信号ｘ（ｋ）は、結合された適応ビームフォーマーにより処理される。ビームフォーマーは、異なるＭ個のマイクロホンチャネルの入力信号を、信号−ノイズ比（ＳＮＲ）を有する１つの単一のビームフォームされた出力信号に結合するように設計される。この目的のために、ビームフォーマーは、適応フィルタｗ（ｋ）を利用する。ＡＥＣ手段はこのエコー経路（例えば、線形応答のような）をモデル化する。適応フィルタａ（ｋ）により、処理されたマイクロホン信号のエコー部分は減算され得る。

結合されたシステムの出力信号は、適応フィルタｗ（ｋ）およびａ（ｋ）と同様、センサ信号ｘ（ｋ）、拡声器信号ｖ（ｋ）の関数として記載され得る。

ここで、

またここで、上付きの添字Ｔは、ベクトルの転置操作を示す。拡声器チャネルＱの拡声器信号ｖ（ｋ）は、一般に、音響エコーのための基準信号である（すなわち、この基準信号は、適応エコー補償手段１４入力信号として役に立つ）。この信号ｖ（ｋ）は、ビームフォーマーのさらなるセンサチャネルまたは経路としてみなされ得、それによって、適応ビームフォーミングに有効な自由度を増加させる。

同時に適応される手段（図１においては、破線ボックスで示される）によって、ビームフォーマーゲインが維持され、音響エコーが抑制されるという方法で、適応ビームフォーマー（すなわち、フィルタ係数Ｎ_Ｗを有する適応フィルタｗ（ｋ））およびＡＥＣ手段（すなわち、フィルタ係数Ｎ_ａを有する適応フィルタａ（ｋ））は、ここで結合して最適化される。最適手順として、最小二乗の最適化基準が適用され得る。原理では、この数学的技法は、従来の線形拘束付最小分散（ＬＣＭＶ）ビームフォーマー（例えば、Ｈ．Ｌ． ｖａｎ Ｔｒｅｅｓ，Ｗｉｌｅｙ ＆ Ｓｏｎｓによる「Ｏｐｉｍｕｍ Ａｒｒａｙ Ｐｒｏｃｅｓｓｉｎｇ，Ｐａｒｔ ＩＶ ｏｆ Ｄｅｔｅｃｔｉｏｎ，Ｅｓｔｉｍａｔｉｏｎ，ａｎｄ Ｍｏｄｕｌａｔｉｏｎ Ｔｈｅｏｒｙ」，Ｎｅｗ Ｙｏｒｋ ２００２参照）に適用されたものと類似している。１つは、以下のようして解く必要がある。

ここで、

さらにここで、

は、ＬＣＭＶビームフォーマーから既知の従来の制限行列（ＭＮ_Ｗ×Ｃ）であり、ｃ（ｋ）は、ビームフォームされた出力信号の一様性を仮定するために制限Ｃを示す長さＣの制限ベクトルである。制限行列中の零行列Ｃ×ＱＮａは妥当な仮定から生じ、それは拡声器信号ｖ（ｋ）が無相関であるということである。この窓関数（ｗｉｎｄｏｗｉｎｇ ｆｕｎｃｔｉｏｎ）ｗ_１が、最適化手順中に含まれ得る出力信号から所望の標本値を抽出する。

上述の最適化基準により、任意の数のマイクロホンに対して、唯一の誤り信号が最小化される必要があることに注目したい。この最適化問題の数学的解法は、信号処理技術の状態である。

図２は、同時に最適化される一般化サイドローブキャンセラ（ＧＳＣ）手段およびＡＥＣ手段を備える本発明による音声信号処理手段の一実施形態を示す。図１のビームフォーマーは、ＧＳＣ構成により置き換えられている。ＧＳＣは、適応ビームフォーマー１つの好都合な実現とみなされ得、２つの信号処理経路を備える。

基準（または、上側の）信号処理経路は固定ビームフォーマー２３を備え、この固定ビームフォーマーは、マイクロホン２１によって検出される１以上の所望の信号源に向けられる。このビームフォームされた信号ｙ_Ｗｃ（ｋ）は、向上したＳＮＲを特徴とする。

ノイズ低減（下側の）信号処理経路は、ノイズ基準信号ｙ_Ｂ（ｋ）を生成する非適応または適応のブロッキングマトリクス２５を備える。これらの信号中には、所望の音声信号はほとんど存在しない。最も簡単な実現においては、ブロッキングマトリクスは、隣接チャネルの減算を実行する。

ノイズ基準信号ｙ_Ｂ（ｋ）は、適応ノイズ消去手段２６に対する入力信号として使用される。適応ノイズ消去が、複素値フィルタＷ_ａ（ｋ）によりなされる。これらのフィルタは、出力信号のパワが最小化される目的で適応されることが多い。次いで、適応ノイズ消去手段の出力信号は、ビームフォームされた信号から減算される。理想的には基準信号は信号部分を含まないので、信号ｙ_ＷＣ（ｋ）の残余ノイズは、適応ノイズ消去手段によってほとんど完全に低減され、それによって、最終的な出力信号ｙ（ｋ）のＳＮＲは増加する。

ノイズ低減のためのフィルタ適応の従来の設定においては、正規化最小平均二乗法（ＮＬＭＳ）アルゴリズムが使用され得、以下を読み取る。

ここで、ｙ_ＧＳＣは、ＧＳＣ単独の出力信号を示し（すなわちＡＥＣ手段が存在しない場合）、βはある正の実数値であり、アスタリスクはノイズ基準信号の複素共役を示す。したがって、ノイズ基準信号および適応フィルタｗ_ａ（ｋ）が、ビームフォーマー２３によりビームフォームされた信号ｙ_Ｗｃの出力から減算される適応ノイズ信号を生成するために使用される。

しかし、本発明により、ＧＳＣ手段およびＡＥＣ手段の両方の適応フィルタは、

に対する最適化をすることによって、同時に適応される必要がある。したがって、代数がさらに含まれる。

図１の記載中に導入される重みベクトル

は、２つの直交部分空間上に射影（ｐｒｏｊｅｃｔ）され得、そのうちの１つである

は、制限Ｃ（制限部分空間）を満たすように選択され得る。

第２の部分空間は、以下のように選択され得る。

ここで、

および

である。さらに、Ｉ_{ＱＮａ ＱＮａ}は、大きさがＱＮａ×ＱＮａの恒等行列であり、および行列Ｂ（ｋ）の列は、制限行列

の列に対して直交である。最終的な出力信号ｙ（ｋ）の最小二乗の最小化は、ここで以下を読み込む。

ここで、

は、重み付きベクトル

の第２の直交部分空間への射影であり、この部分空間は最適化問題の制限を満たす。

最小化問題の解法により、最適な重み付きベクトル

を得、これは、

と示され、ここで、

である。

データベクトル

の標本相関行列は、

によって示され、上付きの添字^＋は、擬似逆行列（ｔｈｅ ｐｓｅｕｄｏｉｎｖｅｒｓｅ ｏｆ ｔｈｅ ｍａｔｒｉｘ）を意味する。形式的には、この最適化重み付きベクトルの解法は、ＧＳＣに対する最適化の重み付きベクトルと等しい（例えば、「Ｂｒｏａｄ ｂａｎｄ ｂｅａｍｆｏｒｍｉｎｇ ａｎｄ ｔｈｅ ｇｅｎｅｒａｌｉｚｅｄ ｓｉｄｅｌｏｂｅ ｃａｎｃｅｌｌｅｒ」，ＩＥＥＥ Ｔｒａｎｓ．ｏｎ Ａｃｏｕｓｔｉｃ Ｓｐｅｅｃｈ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ， ｖｏｌ．３４ ｐ．１３２２参照）。

図３は、１つの好ましい実施形態による本発明の音声信号処理の基本ステップを示す。少なくとも２つのマイクロホンを備えるマイクロホンアレイは、音声信号３１、ノイズ信号３２およびエコー信号３３からなる信号３０を検出し、マイクロホン出力３４を生成する。

この実施形態によれば、出力のマイクロホン信号は、所望のターゲット信号に対応して同期化される。この目的のために、各信号の時間遅延は、計算および補償される必要がある３５。

同期化信号は、使用されるＧＳＣの信号処理経路のどちらに対しても入力信号として有効である。従来の上側の信号処理経路の遅延和ビームフォーマー（ｄｅｌａｙ−ａｎｄ−ｓｕｍ ｂｅａｍｆｏｒｍｅｒ）は信号を結合し得、向上したＳＮＲを有する出力信号３６を得る。ブロッキングマトリクスは、隣接チャネルを減算することによって、ノイズ基準信号３７を生成する。代替的には、例えば、ブロッキングマトリクスのＷａｌｓｈ−Ｈａｄａｍａｒｄ、またはＧｒｉｆｆｉｔｈｓ−Ｊｉｍブロッキングマトリクスのような技術から既知のさらに複雑な行列が使用され得る。

ノイズ基準信号は、適応ノイズ消去３８に対する入力信号として使用される。１つの実用的な問題は、ノイズ消去手段の適応フィルタの最適化にある。ノイズ低減に加え、本発明の音声信号システムは、エコー補償を提供する。ＡＥＣ手段は拡声器信号３９を利用して音響エコー４０を補償する。

本発明により、ＧＳＣ手段およびＡＥＣ手段の両方のフィルタの適応は同時に実行される。ビームフォーミング３６により得られたビームフォーム信号は、適応ノイズ消去３６および適応エコー補償４０によってさらに処理され、高純度の出力信号４１を得る。

適応して時間遅延信号をセルフキャリブレーションすること（示されず）によるマイクロホン出力信号の時間遅延補償３５のステップを補充することは好都合であり得る。理想的には、さらなる処理ステップの後、キャリブレーションされた信号は所望の信号に関する位相列であり、所望の信号部分の振幅は複数のチャネルのそれぞれに等しい。

各チャネルにおける時間遅延信号のマッチングを実行する複素セルフキャリブレーションフィルタは、誤り信号のパワが最小化するという目的のＮＬＭＳアルゴリズム（上記参照）によって適応され得る。

前述の実施形態のすべては、制限として意図されるのではなく、本発明の特徴または利点を示す実施例として有効である。上述の特徴の一部またはすべてが、様々な方法で組み合わされ得ることが理解され得る。

本発明のさらなる特徴および利点は、明細書中の図面を参照して記載され得、本発明の好ましい実施形態を例示し得る添付図面が参照される。このような実施形態は、本発明のすべての範囲を表現しているわけではないことが理解される。

同時に最適化される適応ビームフォーマーおよびＡＥＣ手段を備える本発明の音声信号処理手段の一実施形態を示す。 同時に最適化されるＧＳＣ手段およびＡＥＣ手段を備える本発明による音声信号処理手段の他の実施形態を示す。 結合されたノイズ低減および音響エコー補償を有する音声信号処理のために本発明の方法の選択ステップを示す。

Claims (22)

1. 第１の音声信号を受信し、適合ビームフォーム信号を該第１の音声信号から得るように構成される適合ビームフォーミング信号処理手段（１３）、
   該適応ビームフォーム信号中の音響エコーを低減するように構成された適応エコー補償手段（１４，２４）、および
   該適応ビームフォーミング手段と該適応エコー補償手段との結合された適応を同時に実行するように構成された適応手段、
   を備える、結合されたノイズ低減およびエコー補償による音声信号処理システム。
2. マイクロホン信号を検出するための少なくとも２つのマイクロホンを備えるマイクロホンアレイ（１１，２１）、
   第２の音声信号を有する拡声器信号を出力するための少なくとも１つの拡声器（１２，２２）を備え、
   前記第１の音声信号が該マイクロホン信号に基づいて得られ、
   前記適応エコー補償手段（１４，２４）が、該拡声器信号に基づいて、前記適応ビームフォーム信号中の音響エコーを低減する、請求項１に記載のシステム。
3. 前記適応ビームフォーミング信号処理手段が適応ビームフォーマー（１３）である、請求項１または請求項２に記載のシステム。
4. 前記適応ビームフォーミング信号処理手段が、
   前記第１の音声信号を受信し、ノイズ基準信号を取得するように構成されたブロッキングマトリクス（２５）、
   該ノイズ基準信号を受信し、適応ノイズ信号を取得するように構成された適応ノイズ消去手段（２６）、および
   該第１の音声信号を受信し、第１のビームフォーム信号を取得するように構成されたビームフォーマー（２３）、および
   前記適応ビームフォーム信号を取得するために、該第１のビームフォーム信号から該適応ノイズ消去手段（２６）により取得された該適応ノイズ信号を減算するように構成された手段、
   を備える、請求項１または請求項２に記載のシステム。
5. 前記適応ノイズ消去手段（２６）および前記適応エコー補償手段（２４）が適応フィルタを備え、該適応エコー補償手段の適応フィルタのフィルタ長が、該適応ノイズ消去手段の適応フィルタのフィルタ長と等しいか、またはそれより長い、請求項４に記載のシステム。
6. 前記適応手段が、最小二乗の最適化基準を適用することにより、前記適応ビームフォーミング手段および前記適応エコー補償手段の結合された適応を同時に実行する、請求項１から請求項５のいずれか１項に記載のシステム。
7. 最小二乗の最適化基準の制限が、
   

   

   を示し、ここで、上付きの添字Ｔはベクトル転置操作を示し、
   

   

   は線形拘束付最小分散ビームフォーミングから既知の従来の制限行列であり、ｗ（ｋ）およびａ（ｋ）はそれぞれ、前記適応ビームフォーミングおよび適応ノイズ消去のフィルタであり、Ｑは前記少なくとも１つの拡声器数であり、Ｎ_ａは前記適応エコー消去手段のフィルタのフィルタ係数の数であり、ｃは制限Ｃを示す制限ベクトルである、請求項６に記載のシステム。
8. 前記第１の音声信号を取得するために、前記マイクロホン信号の時間遅延補償を実行するように構成される手段をさらに備える、請求項１から請求項７のいずれか１項に記載のシステム。
9. 前記第１の音声信号を取得するために、マイクロホン信号または前記時間遅延補償マイクロホン信号の位相および振幅を一致するように構成された適応セルフキャリブレーション手段をさらに備える、請求項１から請求項７のいずれか１項に記載のシステム。
10. 前記適応ビームフォーミング信号処理手段および前記適応エコー補償手段および／または前記マイクロホン信号の時間遅延補償を実行するように構成された手段および／または適応セルフキャリブレーション手段が、時間領域または周波数領域または副バンド周波数領域において処理を実行するように構成される、請求項１から請求項９のいずれか１項に記載のシステム。
11. 前記マイクロホンアレイが、方向性を有する少なくとも１つのマイクロホンを備える、請求項１から請求項１０のいずれか１項に記載のシステム。
12. 適応ビームフォーミングフィルタを使用する適応ビームフォーミングのために入力信号として第１の音声信号を受信すること、
    適応エコー補償フィルタを使用する音響エコーの適応補償のために入力信号を受信すること、
    該適応ビームフォーミングフィルタおよび該適応エコー補償フィルタから、結合された適応フィルタを決定すること、
    結合された適応フィルタを適応することによって、該適応ビームフォーミングフィルタおよび該適応エコー補償フィルタを同時に適応すること、および
    該音声信号処理の出力信号を取得するために、適応ビームフォーム信号を該適応ビームフォーミングおよびエコー補償することによって、適応ビームフォーム信号を取得すること、
    を含む、結合されたノイズ低減およびエコー補償による音声信号処理の方法。
13. 少なくとも２つのマイクロホンを備えるマイクロホンアレイによって、マイクロホン信号を検出すること、
    少なくとも１つの拡声器によって、第２の音声信号出力を備える拡声器信号を取得することを含む方法であって、
    前記第１の音声信号が、該マイクロホン信号に基づいて取得され、および
    音響エコーの適応補償のための入力信号が拡声器信号である、請求項１２に記載の方法。
14. 前記適応ビームフォーミングが適応ビームフォーマーにより実行される、請求項１１または請求項１２に記載の方法。
15. 前記適応ビームフォーミングが、
    ノイズ基準信号を取得するためにブロッキングマトリクスにより、前記第１の音声信号を受信および処理すること、
    適応ノイズ信号を取得するために、適応ノイズ消去手段により、該ノイズ基準信号を処理すること、および
    第１のビームフォーム信号を取得するために、ビームフォーマーにより該第１の音声信号を受信および処理すること、および
    適応ビームフォーム信号を取得するために、該第１のビームフォーム信号から、該適応ノイズ消去手段により取得された前記適応ノイズ信号を減算すること、
    を備える、請求項１１または請求項１２に記載の方法。
16. 前記適応エコー補償および前記適応ノイズ消去に対して適応フィルタが使用され、該適応エコー補償手段のフィルタのフィルタ長が、該適応ノイズ消去手段のフィルタのフィルタ長と等しいかまたはそれより長い、請求項１４に記載の方法。
17. 最小平方の最適化基準を適用することによって、前記結合された適応フィルタが適応される、請求項１２から請求項１５のいずれか１項に記載の方法。
18. 最小二乗の最適化基準の制限が、
    

    

    を示し、ここで、上付きの添字Ｔはベクトル転置操作を示し、
    

    

    はＬＣＭＶビームフォーミングから既知の従来の制限行列であり、ｗ（ｋ）およびａ（ｋ）はそれぞれ、前記適応ビームフォーミングおよび適応ノイズ消去のフィルタであり、Ｑは前記少なくとも１つの拡声器数であり、Ｎ_ａは前記適応エコー消去手段のフィルタのフィルタ係数の数であり、ｃは制限Ｃを示す制限ベクトルである、請求項１６に記載の方法。
19. 前記マイクロホン信号が、前記第１の音声信号を取得するために、時間遅延が補償される、請求項１３から請求項１７のいずれか１項に記載の方法。
20. 前記第１の音声信号を取得するために、前記マイクロホン信号または前記時間遅延補償マイクロホン信号が適応セルフキャリブレーションをされる、請求項１３から請求項１８のいずれか１項に記載の方法。
21. 前記適応ビームフォーミングおよび適応エコー補償および／または前記時間遅延補償および／または前記適応セルフキャリブレーションが、時間領域または周波数領域または副バンド周波数領域実行される、請求項１３から請求項１９のいずれか１項に記載の方法。
22. 請求項１２から請求項１８のいずれか１項に記載の方法のステップを実行するために、コンピュータ実行可能な命令を有する、１以上のコンピュータ読み取り可能媒体を備えるコンピュータプログラム製品。

Images