JP2007306553A - マルチチャネルの反響補償 - Google Patents

マルチチャネルの反響補償 Download PDF

Info

Publication number
JP2007306553A
JP2007306553A JP2007106374A JP2007106374A JP2007306553A JP 2007306553 A JP2007306553 A JP 2007306553A JP 2007106374 A JP2007106374 A JP 2007106374A JP 2007106374 A JP2007106374 A JP 2007106374A JP 2007306553 A JP2007306553 A JP 2007306553A
Authority
JP
Japan
Prior art keywords
signal
audio signal
microphone
loudspeaker
echo compensation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007106374A
Other languages
English (en)
Other versions
JP5288723B2 (ja
Inventor
Tim Haulick
ホーリック ティム
Gerhard Uwe Schmidt
ウベ シュミット ゲールハルト
Martin Roessler
レスラー マルティン
Markus Buck
バック マルクス
Hans-Joerg Koepf
コーエフ ハンス−イェルク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harman Becker Automotive Systems GmbH
Original Assignee
Harman Becker Automotive Systems GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harman Becker Automotive Systems GmbH filed Critical Harman Becker Automotive Systems GmbH
Publication of JP2007306553A publication Critical patent/JP2007306553A/ja
Application granted granted Critical
Publication of JP5288723B2 publication Critical patent/JP5288723B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M9/00Arrangements for interconnection not involving centralised switching
    • H04M9/08Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/082Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
  • Noise Elimination (AREA)
  • Stereophonic System (AREA)
  • Variable-Direction Aerials And Aerial Arrays (AREA)
  • Telephone Function (AREA)

Abstract

【課題】マルチチャネル反響補償の方法を提供する。
【解決手段】該方法は、第1のチャネルにおける第1のオーディオ信号および第2のチャネルにおける第2のオーディオ信号を提供することと、第1のデコリレーションされたオーディオ信号および第2のデコリレーションされたオーディオ信号を生成することと、第1の拡声器信号を生成し、かつ第2の拡声器信号を生成することと、該第1の拡声器信号および第2の拡声器信号ならびに少なくとも必要な信号を検出して、少なくとも1つのマイクロフォン信号を生成することと、該少なくとも1つのマイクロフォン信号を反響補償して、反響補償された信号を生成することとを包含し、オーディオ信号を該デコリレーションすることは、該反響補償フィルタリング手段の該適合されたフィルタ係数に依存して制御されるということを特徴とする。
【選択図】図2

Description

(本発明の技術分野)
本発明は、信号処理のためのシステムおよび方法に関し、特に、音響の反響補償(echo compensation)を用いた音声信号処理に関する。本発明は、個々のチャネルの間で相関性を示すマルチチャネルシステムにおける反響補償に特に関係する。
(本発明の背景)
反響補償は、例えば音声認識システムまたはハンズフリーセットのユーザの音声信号のような所望の信号だけでなく、同じ通信システムの拡声器によって出力される阻害信号をも検出するマイクロフォンを備える通信システムでの、オーディオ信号処理におけるベーシックな話題である。ハンズフリーセットの場合においては、例えば、リモートの相手から受信した信号とニアエンドの拡声器による出力とが、ニアエンドのマイクロフォンによってシステムに再び入力され、リモートの相手に返信されることは望ましくない。拡声器によって出力された信号のマイクロフォンによる検出は、不快な音響の反響という結果になり得、音響の反響がかなり希釈されるかまたは実質的に取り除かれない場合には、完全な通信の破綻さえも引き起こし得る。
騒々しい環境下で使用される音声認識システムの場合において、同様の問題が生じる。ユーザの音声信号とは異なる信号が認識ユニットに供給されるということが、防止されなければならない。しかしながら、音声認識システムのマイクロフォンは、例えば、CDもしくはDVDのようなオーディオデバイスまたはラジオによって再生されたオーディオ信号に相当する拡声器出力を検出し得る。これらの信号が十分にフィルタリングされない場合には、ユーザの発声に相当する必要な信号は、おそらくは適切な音声認識を不可能とする程度まで騒音の中に埋もれてしまうであろう。
近年、反響補償のいくつかの方法が提案され、通信システムにインプリメントされてきた。適合可能なフィルタが、音響信号の反響補償のために用いられており(例えば、非特許文献1を参照)、それらは、適合可能な有限インパルス応答(FIR)フィルタ手段によって、拡声器〜部屋〜マイクロフォン(LRM)システムの伝達関数をモデル化するために使用される。多数の拡声器によって出力された複数の拡声器信号が個々にある場合には、拡声器の各々に対して1つのフィルタが用いられなければならない。
しかしながら、マルチチャネルシステムにおいては、例えば複数のマイクロフォンが拡声器からの音を検出する場合のように、個々のチャネルがかなりの相関性を示すときには、深刻な問題が生じる。個々のチャネル間の相関性の場合においては、反響補償フィルタを適合する処理、すなわちそれぞれのフィルタ係数の再帰的な計算は、LRMシステムの所望のインパルス応答に収束しないかもしれない。なぜならば、例えばある拡声器によって出力されあるマイクロフォンによって検出された信号の一部が、別の拡声器によって出力され別のマイクロフォンによって検出される信号を反響補償するように意図された反響補償フィルタによって補償され得るからである。
マルチチャネル通信においては、反響補償フィルタリング手段の最適化は、特に拡声器の正確な位置に依存する。従って、全ての拡声器の動きは、フィルタ係数の再計算を要求する。
上述の収束の問題は、適合問題の非一意性からの結果である。一意性を再構築する公知のアプローチは、個々のチャネルにおける信号の時間遅延およびチャネル経路における非線形性の導入を含む(例えば、非特許文献2、非特許文献3を参照)。
しかしながら、その種の方法の主たる難点は、そのようなマルチチャネル信号の相関性を無くすこと(デコリレーション)が、再生されるオーディオ信号の質および、とくに音声信号の明瞭度を劣化させる感知可能なアーチファクトを必然的に持ち込む、という事実によって生じさせられる。
従って、近年における巧みな処理にもかかわらず、出力オーディオ信号を著しく劣化させることなくマルチチャネル信号をデコリレーションする上での問題が、今も残されている。
E.Haensler and G.Schmidt、John Wiley & Sons、「Acoustic Echo and Noise Control」、New York、2004年 D.R.Morgan、J.L.Hall and J.Benesty、「Investigation of Several Types of Nonlinearities for Use in Acoustic Echo Cancellation」、IEEE Transactions on Speech and Audio Processing、2001年9月、第9巻、第6号、p.686 A.Sugiyama、Y.Joncour and A.Hirano、「A Stereo Echo Canceller with Correct Echo−Path Identification Based on an Input Sliding Technique」、IEEE Transaction on Signal Processing、2001年11月、第49巻、第11号、p.2577
(本発明の概要)
上述の問題は、請求項1に記載のマルチチャネル反響補償の方法によって解決されるが、該方法は、
第1のチャネルにおける第1のオーディオ信号(x)および第2のチャネルにおける第2のオーディオ信号(x)を提供することと、
該第1のオーディオ信号(x1)および該第2のオーディオ信号(x)をデコリレーションして、第1のデコリレーションされたオーディオ信号
Figure 2007306553
および第2のデコリレーションされたオーディオ信号
Figure 2007306553
を生成することと、
第1の拡声器によって、該第1のデコリレーションされた信号
Figure 2007306553
を出力して第1の拡声器信号を生成し、かつ第2の拡声器によって、該第2のデコリレーションされた信号
Figure 2007306553
を出力して第2の拡声器信号を生成することと、
少なくとも1つのマイクロフォンによって、該第1の拡声器信号および第2の拡声器信号ならびに少なくとも必要な信号を検出して、少なくとも1つのマイクロフォン信号(y)を生成することと、
反響補償フィルタリング手段のフィルタ係数を適合することによって、該少なくとも1つのマイクロフォン信号(y)を反響補償して、反響補償された信号(e)を生成することと
を包含し、該第1のオーディオ信号(x)および該第2のオーディオ信号(x)をデコリレーションすることは、該反響補償フィルタリング手段の該適合されたフィルタ係数に依存して制御される。
2つのチャネルは、2つのステレオチャネルまたはマルチチャネルオーディオシステムの2つの複数チャネルであり得る。少なくとも1つの拡声器が、個々のチャネルの各々に対して提供される。マイクロフォンは、拡声器信号とは異なる必要な信号を検出するように意図されるが、それはまた、反響補償によって、低減されるかまたはマイクロフォン信号から実質的に取り除かれるべき拡声器信号を不本意にも検出する。
反響補償は、適合可能な反響補償フィルタリング手段によって実行される。反響補償フィルタ係数は、マイクロフォン信号の質、特に、マイクロフォンによって検出され、その後、例えば通信システムと関連するリモートの相手に送信される音声信号の明瞭度を改善するために、各チャネルに対して別々に動的に調節される。
第1および第2のオーディオ信号は、反響補償フィルタリング手段のパフォーマンス、すなわち動的に適合されたフィルタ係数による適合状態に依存してデコリレーションされる。反響補償フィルタリング手段が、マイクロフォン信号を反響補償するようにうまく適合されていない場合には、デコリレーションは、提供されたオーディオ信号を比較的強力に修正する。例えば、反響補償フィルタリング手段のパフォーマンスが十分と考えられた場合には、デコリレーションが省略されることすらあり得る(反響補償フィルタリング手段パフォーマンス状態/適合状態の決定については以下の検討を参照)。
反響補償に動的に応答してオーディオ信号をデコリレーションすることによって、得られる反響補償されたマイクロフォン信号の質は、著しくかつ確実に向上される。さらに、デコリレーションステップによって持ち込まれるアーチファクトは、反響補償された音声信号の明瞭度を保証するために必要な最小のものにまで低減され得る。これらの信号は、例えば電話を介してリモートの相手に送信され得る。
好ましくは、提供されるオーディオ信号の相関性が決定され得、決定の結果に依存してデコリレーションが制御され得る。相関性の度合いは、以下で検討されるように決定され得る。相関性がごくわずかであると考えられる場合には、デコリレーションは全く必要ない。この場合においては、処理は最も簡単であり、アーチファクトはデコリレーションステップによって持ち込まれない。逆に、強い相関性は、反響補償フィルタリング手段の適合状態に依存して、強力なデコリレーションがこれから実行されるように要求する。
一般的には、相関性は、提供されるオーディオ信号の短時間の相関によって計算され得る。代わりに、相関特性は、短時間のコヒーレンスから判断され得(本明細書においては、提供される信号の相関性に対する指標とみなされる)、短時間相関もしくは短時間コヒーレンス、またはそれらのうちの1つの平均値が、所定のレベルを超過したことが決定された場合にだけ、デコリレーションは実行され得る。
平均短時間コヒーレンスは、サブバンドμにおける離散的フーリエ変換の後に周波数と時間とについて平均することによって規定される。
Figure 2007306553
ここに、X1,2(Oμ,n)は、離散的時刻(サンプリング時刻 n)での中心周波数がOμであるμ番目のサブバンドに対するフーリエスペクトルである。記号<>は、例えば1次の無限インパルス応答フィルタによって、時間でスムージングすることを表し、アスタリスク記号は複素共役を表す。離散的フーリエ変換(DFT)スペクトルのノードの数(サンプリングポイント)は、NDFTによって与えられ、λは、例えば[0.0,0.99]から選択される任意の時間定数を表す。所定の閾値に対する合理的な値は、[0.96,0.99]の範囲にある。
実験においては、短時間コヒーレンスは、反響補償されたマイクロフォン信号の質の点において、デコリレーションステップを制御するための適切な指標であることが判明している。
デコリレーションステップは、提供される第1および第2のオーディオ信号の時間変化フィルタリングおよび/または適合可能な非線形処理を包含し得、またはそれらで構成され得る、非線形処理のパラメータおよび時間変化フィルタリングのフィルタ係数は、提供される第1のオーディオ信号に対してと、提供される第2のオーディオ信号に対してとでは異なる。開示された方法が、2つ以上のチャネルに適用され得ることをもう一度述べておく。時間変化フィルタリングによって、信号の遅延が導入される。非線形処理によって、第1および第2のオーディオ信号xおよびxの信号経路に非線形性が導入されるが、例えばそれは下式に従い、
Figure 2007306553
ここに、波形符号は最終的なデコリレーション信号を表し、aは非線形性の度合いを表す任意のパラメータである。
これら種類のマルチチャネルオーディオ信号のデコリレーションは、非常に効果的であり、収束の点において比較的ロバストである。特に、時間変化フィルタリングは、x’(n)=−β(n)x(n)+x(n−1)+β(n)x’(n−1)に従って、全域通過フィルタリングすることによって、非常に効果的な方法で実行され得、ここに、βは時間変化パラメータであり、nは離散的時刻のインデックスであり、xはあるチャネルのオーディオ信号であり、そしてアクセント記号はフィルタリングされたオーディオ信号を表す。係数βは、各チャネルに対して異なって選ばれるべきであり、例えばβ∈[−0.1,0.1]の範囲で、ゆっくりと時間変化され得る。
反響補償されたマイクロフォン信号の質の向上に非常に効を奏することが判明している、本明細書に開示された方法の1つの好適な実施例に従って、以下のステップが引き続き実行されるが、該ステップは、
第1のオーディオ信号と第2のオーディオ信号との相関性を決定するステップと、決定された相関性が所定の閾値よりも上である場合にだけ、
第1のオーディオ信号および/または第2のオーディオ信号を時間変化フィルタリングするステップと、
フィルタリングされた第1のオーディオ信号および/または第2のオーディオ信号の適合可能な非線形処理をするステップとを包含し、非線形の度合いは、反響補償フィルタリング手段のパフォーマンス、つまり反響補償フィルタリング手段の適合されたフィルタ係数に依存する。
上述のように、例えば用いられる非線形性の度合いにα、および/または時間変化フィルタリングにβを選んだデコリレーションは、適合された反響補償フィルタ係数によって与えられる反響補償フィルタリング手段の適合状態/パフォーマンスに依存して、実行され得る。
いくつかの研究において、適合状態の適切な指標が、下式で規定されるシステムディスタンス(system distance)によって与えられるということが判明しており、
Figure 2007306553
ここに、nは離散的時刻インデックス、Nは反響補償フィルタリング手段の長さ(すなわち、フィルタ係数の数)、Nは所定のサンプリング時刻の数、および
Figure 2007306553
は、それぞれ、第1のチャネルおよび第2のチャネルに対する反響補償フィルタリング手段のフィルタ係数を表す(インパルス応答を表す)。
ニアの相手とリモートの相手との間のある期間の通信の後に、ニア側での反響補償を満足する結果が得られた場合には、さらなるデコリレーションは、ニア側ではあまり重要ではなくなり得る(リモートの相手によって引き続き提供されるマルチチャネルオーディオ信号が、それまでに提供された信号と比較して劇的な相関性の増大を見せない限りにおいて)。例えば、後に、そこからの音が必要な信号に相当する拡声器の突然の動きのために、反響補償がマイクロフォン信号の質を十分に向上させることに失敗した場合には、そのときにデコリレーションが、再起動されるかまたは強制される。
例えば拡声器からの音と反響補償によって低減されるかまたは実質的に消去されるべき騒々しい成分とのような、必要な信号を含むあるビームフォーム(beamform)されたマイクロフォン信号を得るために、少なくとも1つのマイクロフォンの配列の一部である1つ以上の指向性マイクロフォンを使用し、異なるマイクロフォン信号を生成し、これらの信号をビームフォームすることによって、反響補償されたマイクロフォン信号の全体的な質はさらに向上され得る。
ビームフォーミングは、例えば、簡単な遅延補償および個々のマイクロフォン信号の合計によって、マイクロフォンの配列が特定の指向性を提供することを可能とする。
本発明はまた、コンピュータプログラム製品を提供し、該製品は、上述の本発明の方法の実施例のステップを実行するコンピュータが実行可能な命令を有する1つ以上のコンピュータ読み取り可能な媒体を備える。
上述の問題は、マルチチャネル反響補償を含む信号処理システムによっても解決され、該システムは、
マルチチャネルソースによって提供されたオーディオ信号をデコリレーションし、提供されたオーディオ信号に基づきデコリレーションされたオーディオ信号を生成するように構成される、デコリレーション手段と、
デコリレーションされたオーディオ信号に基づき生成されたマイクロフォン信号を反響補償するように構成される、適合可能な反響補償フィルタリング手段と、
適合可能な反響補償フィルタリング手段の適合状態に基づいて、デコリレーション手段を制御するように構成される、制御手段と
を備える。
マルチチャネルソースは、例えば、ラジオ、CDもしくはDVDのプレーヤであり得、または電話もしくはビデオ会議システムの一部であり得る。電話もしくはビデオ会議システムにおいては、1つのチャネルが、会議参加者の各々に対して割当てられ得る。デコリレーション手段は、拡声器にデコリレーションされた信号を出力し、各チャネルに対して少なくとも1つの拡声器がある。各拡声器は、1つのチャネルからの信号だけを出力する。拡声器部屋マイクロフォン(LRM)システムの一部であるマイクロフォンは、例えば話し手の発した声である必要な信号とデコリレーションされたオーディオ信号に基づき生成された拡声器信号とを検出し得、従って、マイクロフォンは、(検出された拡声器信号を介し)デコリレーション手段によって生成されたデコリレーションされた信号にも基づきマイクロフォン信号を生成する。
引き続き、マイクロフォン信号は、反響補償フィルタリング手段によって処理される。反響補償フィルタリング手段によって生成された信号は、制御手段に入力され得、反響補償フィルタリング手段によって生成された反響補償信号に基づいて、デコリレーション手段をさらに制御する。従って、制御手段は、反響補償信号の質を直接判断し得る。
反響補償フィルタリング手段は、各チャネルに対して別々に一式のフィルタ係数を備える。各一式のフィルタ係数は、個々のチャネルの各々に対して動的に適合されなければならない。
デコリレーション手段は、時間変化フィルタリング手段、詳細には、2つのフィルタ係数だけを有する有限インパルス応答遅延フィルタまたは全域通過フィルタ、および/または非線形処理手段を備える(上での検討も参照)。
制御手段は、反響補償フィルタリング手段の適合されたフィルタ係数による適合状態によって与えられる反響補償フィルタリング手段のパフォーマンスに依存して、デコリレーション手段を制御する。それによって、反響補償フィルタリング手段によって生成された反響補償されたマイクロフォン信号の高い質が、保証され得る。詳細には、反響補償フィルタリング手段の適合を満足する場合においては、デコリレーション手段は、提供された信号をわずかに修正するだけであるように制御され得(例えば、非線形処理によって導入される非線形性の比較的低い度合い、および/または時間変化フィルタリングによって引き起こされる小さな時間の遅延によって)、または可能な限りアーチファクトを持ち込むことを抑えるために、停止すらされ得る。
制御手段は有利にも、マルチチャネルソースによって提供されたオーディオ信号の相関状態に基づいて、デコリレーション手段を制御するように、および、マルチチャネルソースによって提供されたオーディオ信号の短時間相関または短時間コヒーレンスの値または平均値に基づいて、相関状態を決定するようにも、さらに構成され得る。
信号処理のための本発明のシステムのさらなる実施例に従って、制御手段は、システムディスタンス指標に基づいて、適合可能な反響補償フィルタリング手段の適合状態を決定するように適合され得、
Figure 2007306553
ここに、nは離散的時刻インデクス、Nは反響補償フィルタリング手段の長さ、Nは、所定のサンプリング時刻の数、
Figure 2007306553
は第1のチャネルおよび第2のチャネルそれぞれに対する反響補償フィルタリング手段のフィルタ係数を表す。D(n)が、所定の値を超過した場合には、制御手段は、マルチチャネルソースによって提供されたオーディオを、少しだけ修正するようにデコリレーション手段を制御し得、またはデコリレーション手段を停止させることすらもあり得る。いくらかの時間の後に、例えばLRMシステムの変化によって引き起こされて、ディスタンス指標が閾値を下回る場合には、デコリレーション手段は、(再)起動されるかまたは提供されたオーディオ信号をよりはっきりとデコリレーションするように制御される。
システムディスタンスの見積りと共に、時間変化フィルタリング手段のフィルタ係数、特に全域通過フィルタの適合は、各サンプリング時刻に対して実行される必要はなく、例えば2回に1回でよい。
さらなる実施形態においては、本明細書において開示されたシステムは、マイクロフォンの配列を備え、該マイクロフォンの配列は、少なくとも1つの指向性マイクロフォンとビームフォーミング手段とを備え、該ビームフォーミング手段は、マイクロフォン配列の中のマイクロフォンからの信号を受信し、個々のマイクロフォン信号に基づきビームフォームされたマイクロフォン信号(y)を生成するように構成される。ビームフォーミングは、ノイズの中に埋もれている必要な信号についてのマイクロフォン信号の質を向上させる周知の方法である。
システムはまた、ジェネラルサイドローブキャンセラー(General Sidelobe Canceller、例えば、Griffiths,L.J. and Jim,C.W.「An alternative approach to linearly constrained adaptive beamforming」、Antennas and PropagationについてのIEEE報告書、第30巻、p.27、1982年を参照)を備え得、それは、ブロッキングマトリクスおよび適合可能なノイズキャンセリング手段を有する第1(または低位)の適合可能な経路と、固定ビームフォーマを有する第2(または上位)の適合可能でない経路との2つの信号処理経路から成る。固定ビームフォーマの代わりに、適合可能なものも選ばれ得る。
本発明は、ハンズフリーセットおよび音声認識システムも提供し、各々は、上述のように、そのようなデバイスにおいて特に有効な、信号処理のための本システムの実施例のうちの1つを備える。
さらに、上述の本システムの実施例のうちの1つ、および/または言及されたハンズフリーセット、および/または言及された音声認識システムを備える車両通信システム、および上述の本発明のシステムの実施例のうちの1つを備える電話またはビデオ会議システムが提供される。会議システムは、上述のハンズフリーセットも備え得る。
本発明は、さらに以下の手段を提供する。
(項目1)
マルチチャネル反響補償の方法であって、
第1のチャネルにおける第1のオーディオ信号(x)および第2のチャネルにおける第2のオーディオ信号(x)を提供することと、
該第1のオーディオ信号(x)および該第2のオーディオ信号(x)をデコリレーションして、第1のデコリレーションされたオーディオ信号
Figure 2007306553
および第2のデコリレーションされたオーディオ信号
Figure 2007306553
を生成することと、
第1の拡声器によって、該第1のデコリレーションされた信号
Figure 2007306553
を出力して第1の拡声器信号を生成し、かつ第2の拡声器によって、該第2のデコリレーションされた信号
Figure 2007306553
を出力して第2の拡声器信号を生成することと、
少なくとも1つのマイクロフォンによって、該第1の拡声器信号および第2の拡声器信号ならびに少なくとも必要な信号を検出して、少なくとも1つのマイクロフォン信号(y)を生成することと、
反響補償フィルタリング手段のフィルタ係数を適合することによって、該少なくとも1つのマイクロフォン信号(y)を反響補償して、反響補償された信号(e)を生成することと
を包含し、該第1のオーディオ信号(x)および該第2のオーディオ信号(x)を該デコリレーションすることは、該反響補償フィルタリング手段の該適合されたフィルタ係数に依存して制御されるということを特徴とする、方法。
(項目2)
上記第1のオーディオ信号(x)と上記第2のオーディオ信号(x)との相関性を決定することをさらに包含し、該第1のオーディオ信号(x)および該第2のオーディオ信号(x)を上記デコリレーションするステップは、該第1のオーディオ信号(x)および該第2のオーディオ信号(x)の該決定された相関性によって制御される、項目1に記載の方法。
(項目3)
上記相関性は、上記第1のオーディオ信号(x)および上記第2のオーディオ信号(x)の短期間相関または短期間コヒーレンスによって決定され、該短期間相関または該短期間コヒーレンスの値または平均値が所定の閾値を超過した場合にだけ、上記デコリレーションステップが実行されるように制御される、項目2に記載の方法。
(項目4)
上記第1のオーディオ信号(x)および上記第2のオーディオ信号(x)を上記デコリレーションすることは、該第1のオーディオ信号(x)および/または該第2のオーディオ信号(x)の時間変化フィルタリングおよび/または適合可能な非線形処理によって実行される、項目1〜3のうちの1項に記載の方法。
(項目5)
上記非線形処理は、半波整流と
x’(n)=−β(n)x(n)+x(n−1)+β(n)x’(n−1)
に従う全域通過フィルタリングと
を包含し、βは時間変化パラメータ、nは離散的時刻インデックス、xはあるチャネルのオーディオ信号、x’はフィルタリングされたオーディオ信号である、項目4に記載の方法。
(項目6)
以下のステップが引き続き実行される項目4または項目5に記載される方法であって、該ステップは、
a.上記決定された相関性が所定の閾値より上である場合にだけ、上記第1のオーディオ信号(x)と上記第2のオーディオ信号(x)との相関性を決定するステップと、
b.該第1のオーディオ信号(x)および/または該第2のオーディオ信号(x)を時間変化フィルタリングするステップと、
c.該フィルタリングされた第1のオーディオ信号(x’)および/または第2のオーディオ信号(x’)を適合可能な非線形処理するステップであって、非線形性の度合いは、上記反響補償フィルタリング手段の上記適合されたフィルタ係数に依存する、ステップと
を包含する、方法。
(項目7)
上記時間変化フィルタリングのために使用される時間変化フィルタリング手段の上記非線形性の度合いおよび上記フィルタ係数は、システムディスタンス指標
Figure 2007306553
に依存し、nは上記離散的時刻インデックス、Nは上記反響補償フィルタリング手段の長さ、Nは所定のサンプリング時刻の数、
Figure 2007306553
は、上記第1および上記第2のチャネルそれぞれに対する該反響補償フィルタリング手段の該フィルタ係数を表す、項目4〜6のうちの1項に記載の方法。
(項目8)
上記第1および第2の拡声器信号を検出することは、少なくとも1つの指向性マイクロフォンを備える、少なくとも1つのマイクロフォン配列に配置された2つ以上のマイクロフォンによって実行され、該マイクロフォンによって生成されたマイクロフォン信号のビームフォーミングによって、ビームフォームされたマイクロフォン信号(y)を生成することをさらに包含する、項目1〜7のうちの1項に記載の方法。
(項目9)
コンピュータプログラム製品であって、項目1〜8のうちの1項に記載の方法の上記ステップを実行するために、コンピュータ実行可能な命令を有する1つ以上のコンピュータ読み取り可能な媒体を備える、製品。
(項目10)
音響信号処理のシステムであって、
マルチチャネルソース(60)によって提供されたオーディオ信号(x,x)をデコリレーションし、該提供されたオーディオ信号(x,x)に基づきデコリレーションされたオーディオ信号
Figure 2007306553
を生成するように構成される、デコリレーション手段(10)と、
該デコリレーションされたオーディオ信号
Figure 2007306553
に基づき生成されたマイクロフォン信号を反響補償するように構成される、適合可能な反響補償フィルタリング手段(20)と、
該適合可能な反響補償フィルタリング手段(20)の適合状態に基づいて、該デコリレーション手段(10)を制御するように構成される、制御手段(50)と
を備える、システム。
(項目11)
上記制御手段(50)は、上記マルチチャネルソース(60)によって提供された上記オーディオ信号(x,x)の相関状態に基づいて、上記デコリレーション手段(10)を制御するようにさらに構成される、項目10に記載のシステム。
(項目12)
上記制御手段は、上記マルチチャネルソース(60)によって提供された上記オーディオ信号(x,x)の短時間相関または短時間コヒーレンスの値または平均値に基づいて、上記相関状態を決定するように構成される、項目11に記載のシステム。
(項目13)
デコリレーションされたオーディオ信号
Figure 2007306553
を受信し、該デコリレーションされたオーディオ信号
Figure 2007306553
に基づき拡声器信号を生成するように構成される、拡声器(30)であって、該拡声器の各々(40)は、上記マルチチャネルソース(60)の1つのチャネルの信号だけに基づき拡声器信号を生成するように構成される、拡声器(30)と、
該拡声器信号と少なくとも1つの必要な信号とを受信し、該拡声器信号と該少なくとも1つの必要な信号とに基づき少なくとも1つのマイクロフォン信号(y)を生成するように構成される、少なくとも1つのマイクロフォン(40)と
をさらに備え、
上記反響補償フィルタリング手段(20)は、該少なくとも1つのマイクロフォン信号(y)を反響補償し、該少なくとも1つのマイクロフォン信号(y)に基づき反響補償された音響信号(e)を生成するように構成され、
上記制御手段(50)は、該必要な信号(e)を受信し、該受信された必要な信号(e)に基づいて、上記デコリレーション手段(10)を制御するように構成される、
項目10〜12のうちの1項に記載のシステム。
(項目14)
上記デコリレーション手段(10)は、時間変化フィルタリング手段(11、13)、特に、全域通過フィルタおよび/または非線形処理手段(12、14)を備える、項目10〜13のうちの1項に記載のシステム。
(項目15)
上記制御手段(50)は、システムディスタンス指標
Figure 2007306553
に基づいて、上記適合可能な反響補償フィルタリング手段(20)の上記適合状態を決定するように構成され、ここに、nは離散的時刻インデックス、Nは上記反響補償フィルタリング手段(20)の長さ、Nはサンプリング時刻の数、
Figure 2007306553
は、第1および第2のチャネルそれぞれに対する上記反響補償フィルタリング手段(20)のフィルタ係数を表す、項目10〜14のうちの1項に記載のシステム。
(項目16)
少なくとも1つの指向性マイクロフォンを備える少なくとも1つのマイクロフォン配列と、該少なくとも1つのマイクロフォン配列の該マイクロフォンからのマイクロフォン信号を受信し、ビームフォームされたマイクロフォン信号(y)を生成するように構成されるビームフォーミング手段とをさらに備える、項目10〜15のうちの1項に記載のシステム。
(項目17)
項目10〜16のうちの1項に記載のシステムを備える、ハンズフリーセット。
(項目18)
項目10〜16のうちの1項に記載のシステムを備える、音声認識システム。
(項目19)
項目10〜16のうちの1項に記載のシステム、および/または項目17に記載のハンズフリーセット、および/または項目18に記載の音声認識システムを備える、車両通信システム。
(項目20)
項目10〜16のうちの1項に記載のシステム、および/または項目17に記載のハンズフリーセットのうちの1つを備える、電話またはビデオ会議システム。
(摘要)
本発明は、マルチチャネル反響補償の方法に関し、本発明は、第1のチャネルにおける第1のオーディオ信号および第2のチャネルにおける第2のオーディオ信号を提供することと、該第1のオーディオ信号および該第2のオーディオ信号をデコリレーションして、第1のデコリレーションされたオーディオ信号と第2のデコリレーションされたオーディオ信号とを生成することと、第1の拡声器によって、該第1のデコリレーションされた信号を出力して第1の拡声器信号を生成し、かつ第2の拡声器によって、該第2のデコリレーションされた信号を出力して第2の拡声器信号を生成することと、少なくとも1つのマイクロフォンによって、該第1の拡声器信号および第2の拡声器信号を検出して、少なくとも1つのマイクロフォン信号を生成することと、反響補償フィルタリング手段のフィルタ係数を適合することによって、該少なくとも1つのマイクロフォン信号を反響補償して、反響補償された信号を生成することとを包含し、該第1のオーディオ信号および該第2のオーディオ信号を該デコリレーションすることは、該反響補償フィルタリング手段の該適合されたフィルタ係数に依存して制御される。本発明はまた、該方法を実現するシステムに関する。
本発明のさらなる特徴および利点が、図面を参照して説明される。説明においては、参照は、本発明の好適な実施形態を例示することが意図されている添付の図に対してなされる。そのような実施形態が、本発明の全範囲を表すものではないことが理解される。
本明細書において開示されるマルチチャネル反響補償の方法の1つの実施例に従う制御が、図1を参照して以下に説明される。マルチチャネル通信システムの一部である拡声器〜部屋〜マイクロフォンシステムにおける場合を考えると、マイクロフォンは、各々が1つの個々のチャネルの信号を出力する数個の拡声器による拡声器信号の出力を検出する。
マイクロフォンによって生成されたマイクロフォン信号の反響補償が起動され(1)、すなわち、反響補償フィルタリング手段のフィルタ係数が、マイクロフォンによって検出された拡声器信号により引き起こされた音響上の反響を減らすように調節される。反響補償が起動された後に、リモートの通信相手から受信した次のサンプリング時刻または信号フレーム(2)は、拡声器による出力の前に、デコリレーションのために前処理され得る。ここおよび以下の実施例においては、ステレオシステムにおけるように、2つの別個の音響チャネルが存在すると想定される。しかしながら、2つのチャネルに制限するのは、説明を簡単にするためだけであって、本明細書において開示される方法およびシステムは、実際に2つのチャネルに制限されるものでは決してない。
本発明の実施例に従って、第1および第2のチャネルの信号の平均短時間コヒーレンスは、周波数および時間について平均することによって計算され、
Figure 2007306553
ここに、X1,2(Oμ,n)は、離散的時刻(サンプリング時刻 n)での中心周波数がOμである、μ番目のサブバンドに対するフーリエスペクトルである。記号<>は、例えば1次の無限インパルス応答フィルタによって、時間でスムージングすることを表し、アスタリスク記号は複素共役を表す。離散的フーリエ変換(DFT)スペクトルのノードの数(サンプリングポイント)は、NDFTによって与えられる。当業者に公知の用語法において、C(Oμ,n)は、クロスピリオドグラムの二乗平均平方根、すなわち、複素短時間クロスパワー密度スペクトルの二乗平均平方根と、オートピリオドグラムの積との比率によって与えられことが留意されなければならない。時間定数λは、[0.9,99]から選択され得る。
平均短時間コヒーレンスが所定の値、例えば[0.96,0.99]から選択された値を超過した場合には、デコリレーションが以下に説明されるように実行される。閾値に達していない場合には、デコリレーションは実行されないか、または以前のサンプルに対して実行される全てのデコリレーションが停止(4)される。
本発明の実施例においては、デコリレーションは2段階で実行される。最初に、第1の信号と第2の信号との両方に対して、時間変化全域通過フィルタリングが実行され(5)、
x’1,2(n)=−β1,2(n)x1,2(n)+x1,2(n−1)+β1,2(n)x’1,2(n−1)
ここで、x1,2は、第1チャネルまたは第2チャネルそれぞれの受信信号であり、βは、各チャネルに対してそれぞれに選択される時間変化パラメータであり、nは、離散的時刻インデックスであり、ダッシュ記号はそれぞれがフィルタリングされた信号であることを示す。パラメータβが十分にゆっくりと変化する場合には、周波数応答の絶対値の修正はごくわずかである。
パラメータβ(n)は、例えば、1秒間にわたってβ(n)=0.1であるなど、複数のサンプリング時刻にわたって一定値に保たれ得、その後200サンプリング時刻にわたって線形補間によってβ(n)=−0.1へと変化され得る。そのようなモデリングは、拡声器信号において感知可能なアーチファクトをほとんどもたらさない。しかしながら、得られる2つのチャネルの信号のデコリレーションは、十分ではない。
従って、時間変化フィルタリングは、フィルタリングされた信号x’1,2(n)の非線形処理(7)によって補完される。しかしながら、全域通過フィルタリングが、すでに全体的な適合および以下の非線形処理に対して最小の収束速度を補償していることが留意されねばならない。次に、後者は下式に従って非線形特性によって実行され、
Figure 2007306553
ここで、波形符号は最終的にデコリレーションされた信号を意味し、aは、非線形の度合いを表す任意のパラメータである。最初に起動されたときに、上式に従う非線形処理が、例えばa=0.7で実行され得る。
しかしながら、非線形の度合いaは、通信処理を通して一定であるよりは適合され得る。事実として、システムディスタンスD(n)
Figure 2007306553
は、定期的に決定され(6)、ここで、Nは、反響補償のために使用される反響補償フィルタリング手段の長さであり、Nは、所定のサンプリング時刻の数であり、
Figure 2007306553
は、第1および第2のチャネルそれぞれに対する反響補償フィルタリング手段のフィルタ係数を表す。
システムディスタンスは、用いられる反響補償フィルタリング手段のパフォーマンス指標である。より反響補償が達成されるほど、より低い非線形度が選択される。システムディスタンスに基づいて、a(n)を制御することによって、処理されたオーディオ信号の中のアーチファクトは低く抑えられ得る。システムディスタンスから非線形処理のために適切に選択されるべきa(n)にマッピングすることは、格納された適切な特性曲線またはテーブルの手段によって実行され得る。システムディスタンスを再決定することは、上記の時間変化フィルタリングのパラメータβが変えられた(例えば、1秒ごと)後だけで十分と考えられる。
一実施例として、上記の制御プロセスにおいては、非線形処理(この場合では、一種の半波整流)のパラメータa(n)は、
Figure 2007306553
に従って1つのチャネルに対して、設定され得る(7)。
数秒間の通信の後にマルチチャネル信号のデコリレーションを制御する上述の実施例によって、用いられる非線形性の度合いは、感知可能なアーチファクトを回避するために必要なまで低減され得る。用いられる反響補償フィルタリング手段の全体的な適合/パフォーマンスを満足した後の場合には、LRMシステムは、著しく変化し、a(n)は、反響補償が再び効を奏するまで再び増やされる。
図2は、信号処理のための本発明の実施例を示す。2つの音響信号、第1チャネルのx(n)および第2チャネルのx(n)は、デコリレーション手段(10)によって受信される。デコリレーション手段は、受信信号に基づきデコリレーションされた信号
Figure 2007306553
を生成するように構成される。デコリレーションされた信号は、LRMシステムの一部である拡声器(30)によって受信される。受信されデコリレーションされた信号
Figure 2007306553
に基づき拡声器(30)によって生成された拡声器信号は、検出された拡声器信号に基づきマイクロフォン信号y(n)を生成するマイクロフォン(40)によって検出される。示される実施例においては、拡声器(30)のうちの1つは、1つのチャネルの信号を出力し、もう一方の拡声器は、もう一方のチャネルの信号を出力する。
信号
Figure 2007306553
は、反響補償フィルタリング手段(20)における入力でもあり、反響補償フィルタリング手段(20)は、第1および第2の音響チャネルそれぞれのためのフィルタ係数
Figure 2007306553
を備える。フィルタ係数は、LRMシステムの伝達関数をモデル化するために適合される。各チャネル
Figure 2007306553
に対する反響成分の見積りは、
Figure 2007306553
に加えられ、かつマイクロフォン信号y(n)から差し引かれる。結果として、反響補償信号e(n)が得られる。
しかしながら、本発明の実施例に従って、音響入力信号x(n)およびx(n)は、制御ユニット(50)によっても受信される。このユニットは、例えば、コンピュータ上で稼動するソフトウェア製品の形でインプリメントされ得る上述の方法によって、信号x(n)およびx(n)の相関性(コリレーション)の度合いを決定するように構成される。相関性の度合いが、所定の閾値の下であることが決定された場合には、デコリレーション手段(10)は、制御手段50によって停止される。この場合においては、デコリレーションされた信号
Figure 2007306553
は、受信された入力信号x(n)およびx(n)それぞれと一致する。相関性がある閾値を超過した場合には、再起動または強制されたデコリレーション手段によって、デコリレーションが実行される。
制御ユニット(50)は、反響補償フィルタリング手段(20)および反響補償された信号e(n)の適合状態についての情報も受信する。従って、制御ユニット(50)は、例えば上で検討されたシステムディスタンスに基づいて、反響補償フィルタリング手段の適合パフォーマンスを判断し得る。適合パフォーマンス、すなわち反響補償の有効性に基づいて、デコリレーション手段(10)のインパクト、すなわち受信したオーディオ信号x(n)およびx(n)をデコリレーションする度合いが、制御手段(50)によって制御される。
図3において、本発明のシステムの実施例がもう少し詳しく示される。オーディオ信号x(n)およびx(n)は、マルチチャネルソース(60)によって提供される。この供給源は、2つのステレオチャネルを有するラジオまたはCDプレーヤであり得る。マイクロフォン(40)によって検出され、反響補償フィルタリング手段(20)によって強化される必要な信号は、リモートの相手との通信のために、電話(70)に供給される。拡声器(30)によって出力されるリモートの相手の信号は、どれか他のマルチチャネルソース(60)からの信号と同様に処理した後に、可能な限り低減される。理想的には、マイクロフォン(40)を使用する拡声器からの音だけが、電話(70)を介してリモートの相手に送信される。
図2の実施例におけるように、デコリレーションされた信号は、拡声器(30)によって受信されて、例えばリモートの相手に提示されるべく意図された拡声器からの音に付加されて、不本意にもLRMシステムの転送に従ってマイクロフォン(40)によって検出された拡声器信号を生成する。対応するマイクロフォン信号y(n)は、反響補償フィルタリング手段(20)によって反響補償される。制御ユニット(50)は、マルチチャネル信号x(n)およびx(n)の相関性を決定し、決定された相関性が所定の有意なレベルより上の場合にだけ、以下に説明される処理を開始する。
信号x(n)およびx(n)は、各チャネルに対して提供される時間変化フィルタリング手段(11)および(13)、ならびに半波修正手段(12)および(14)によってデコリレーションされる。時間変化パラメータβ1,2(n)を有する全域通過フィルタが用いられ、それは、図1と関連して説明されたように動作する。フィルタのフィルタ係数は、制御ユニット(50)によって制御される。β1,2(n)は、好ましくは、反響補償フィルタリング手段のパフォーマンス、特に、上で説明されたように制御ユニットによって決定されるシステムディスタンスD(n)に基づいて、制御され得る。
両チャネルのフィルタされた信号x’1,2(n)は、
Figure 2007306553
に従って動作する半波整流手段(12)および(14)によって受信されるが、上式において、波形符号は最終的にデコリレーションされた信号を意味し、aは、制御手段(50)によって制御される非線形の度合いを表す任意のパラメータである(上での検討を参照)。実際的なアプリケーションにおいては、時間変化フィルタリング手段(11)および(13)、ならびに非線形処理手段(12)および(14)によるデコリレーションの開始の後、わずか数秒の後に、実施されたデコリレーションのためにもはや感知可能なアーチファクトを生じない値にまで、aは低減され得る。
図2および図3における両方の実施例は、簡単な方法で任意の数の別個のチャネルに対して一般化され得る。
全てのこれまでに検討された実施形態は、限定を意図するものではなく、本発明の特徴および利点を示す実施例として役立つことを意図されている。上で説明された特徴の一部または全てが、異なる方法で組み合わされ得ることが理解される。
図1は、音響入力信号の時間変化フィルタリングと非線形処理とを包含する、本発明の方法の実施例の基本を示すフロー図を示す。 図2は、制御手段によって制御されるデコリレーション手段と反響補償フィルタリング手段とを備える、信号処理のための本発明のシステムの実施例を示す。 図3は、その両方が制御手段によって制御される時間変化フィルタリング手段と非線形処理手段と共に、反響補償フィルタリング手段を備える、信号処理のための本発明のシステムの実施例を示す。
符号の説明
10 デコリレーション手段
20 反響補償フィルタリング手段
30 拡声器
40 マイクロフォン
50 制御ユニット
60 マルチチャネルソース
70 電話

Claims (20)

  1. マルチチャネル反響補償の方法であって、
    第1のチャネルにおける第1のオーディオ信号(x)および第2のチャネルにおける第2のオーディオ信号(x)を提供することと、
    該第1のオーディオ信号(x)および該第2のオーディオ信号(x)をデコリレーションして、第1のデコリレーションされたオーディオ信号
    Figure 2007306553
    および第2のデコリレーションされたオーディオ信号
    Figure 2007306553
    を生成することと、
    第1の拡声器によって、該第1のデコリレーションされた信号
    Figure 2007306553
    を出力して第1の拡声器信号を生成し、かつ第2の拡声器によって、該第2のデコリレーションされた信号
    Figure 2007306553
    を出力して第2の拡声器信号を生成することと、
    少なくとも1つのマイクロフォンによって、該第1の拡声器信号および第2の拡声器信号ならびに少なくとも必要な信号を検出して、少なくとも1つのマイクロフォン信号(y)を生成することと、
    反響補償フィルタリング手段のフィルタ係数を適合することによって、該少なくとも1つのマイクロフォン信号(y)を反響補償して、反響補償された信号(e)を生成することと
    を包含し、該第1のオーディオ信号(x)および該第2のオーディオ信号(x)を該デコリレーションすることは、該反響補償フィルタリング手段の該適合されたフィルタ係数に依存して制御されるということを特徴とする、方法。
  2. 前記第1のオーディオ信号(x)と前記第2のオーディオ信号(x)との相関性を決定することをさらに包含し、該第1のオーディオ信号(x)および該第2のオーディオ信号(x)を前記デコリレーションするステップは、該第1のオーディオ信号(x)および該第2のオーディオ信号(x)の該決定された相関性によって制御される、請求項1に記載の方法。
  3. 前記相関性は、前記第1のオーディオ信号(x)および前記第2のオーディオ信号(x)の短期間相関または短期間コヒーレンスによって決定され、該短期間相関または該短期間コヒーレンスの値または平均値が所定の閾値を超過した場合にだけ、前記デコリレーションステップが実行されるように制御される、請求項2に記載の方法。
  4. 前記第1のオーディオ信号(x)および前記第2のオーディオ信号(x)を前記デコリレーションすることは、該第1のオーディオ信号(x)および/または該第2のオーディオ信号(x)の時間変化フィルタリングおよび/または適合可能な非線形処理によって実行される、請求項1〜3のうちの1項に記載の方法。
  5. 前記非線形処理は、半波整流と
    x’(n)=−β(n)x(n)+x(n−1)+β(n)x’(n−1)
    に従う全域通過フィルタリングと
    を包含し、βは時間変化パラメータ、nは離散的時刻インデックス、xはあるチャネルのオーディオ信号、x’はフィルタリングされたオーディオ信号である、請求項4に記載の方法。
  6. 以下のステップが引き続き実行される請求項4または請求項5に記載される方法であって、該ステップは、
    a.前記決定された相関性が所定の閾値より上である場合にだけ、前記第1のオーディオ信号(x)と前記第2のオーディオ信号(x)との相関性を決定するステップと、
    b.該第1のオーディオ信号(x)および/または該第2のオーディオ信号(x)を時間変化フィルタリングするステップと、
    c.該フィルタリングされた第1のオーディオ信号(x’)および/または第2のオーディオ信号(x’)を適合可能な非線形処理するステップであって、非線形性の度合いは、前記反響補償フィルタリング手段の前記適合されたフィルタ係数に依存する、ステップと
    を包含する、方法。
  7. 前記時間変化フィルタリングのために使用される時間変化フィルタリング手段の前記非線形性の度合いおよび前記フィルタ係数は、システムディスタンス指標
    Figure 2007306553
    に依存し、nは前記離散的時刻インデックス、Nは前記反響補償フィルタリング手段の長さ、Nは所定のサンプリング時刻の数、
    Figure 2007306553
    は、前記第1および前記第2のチャネルそれぞれに対する該反響補償フィルタリング手段の該フィルタ係数を表す、請求項4〜6のうちの1項に記載の方法。
  8. 前記第1および第2の拡声器信号を検出することは、少なくとも1つの指向性マイクロフォンを備える、少なくとも1つのマイクロフォン配列に配置された2つ以上のマイクロフォンによって実行され、該マイクロフォンによって生成されたマイクロフォン信号のビームフォーミングによって、ビームフォームされたマイクロフォン信号(y)を生成することをさらに包含する、請求項1〜7のうちの1項に記載の方法。
  9. コンピュータプログラム製品であって、請求項1〜8のうちの1項に記載の方法の前記ステップを実行するために、コンピュータ実行可能な命令を有する1つ以上のコンピュータ読み取り可能な媒体を備える、製品。
  10. 音響信号処理のシステムであって、
    マルチチャネルソース(60)によって提供されたオーディオ信号(x,x)をデコリレーションし、該提供されたオーディオ信号(x,x)に基づきデコリレーションされたオーディオ信号
    Figure 2007306553
    を生成するように構成される、デコリレーション手段(10)と、
    該デコリレーションされたオーディオ信号
    Figure 2007306553
    に基づき生成されたマイクロフォン信号を反響補償するように構成される、適合可能な反響補償フィルタリング手段(20)と、
    該適合可能な反響補償フィルタリング手段(20)の適合状態に基づいて、該デコリレーション手段(10)を制御するように構成される、制御手段(50)と
    を備える、システム。
  11. 前記制御手段(50)は、前記マルチチャネルソース(60)によって提供された前記オーディオ信号(x,x)の相関状態に基づいて、前記デコリレーション手段(10)を制御するようにさらに構成される、請求項10に記載のシステム。
  12. 前記制御手段は、前記マルチチャネルソース(60)によって提供された前記オーディオ信号(x,x)の短時間相関または短時間コヒーレンスの値または平均値に基づいて、前記相関状態を決定するように構成される、請求項11に記載のシステム。
  13. デコリレーションされたオーディオ信号
    Figure 2007306553
    を受信し、該デコリレーションされたオーディオ信号
    Figure 2007306553
    に基づき拡声器信号を生成するように構成される、拡声器(30)であって、該拡声器の各々(40)は、前記マルチチャネルソース(60)の1つのチャネルの信号だけに基づき拡声器信号を生成するように構成される、拡声器(30)と、
    該拡声器信号と少なくとも1つの必要な信号とを受信し、該拡声器信号と該少なくとも1つの必要な信号とに基づき少なくとも1つのマイクロフォン信号(y)を生成するように構成される、少なくとも1つのマイクロフォン(40)と
    をさらに備え、
    前記反響補償フィルタリング手段(20)は、該少なくとも1つのマイクロフォン信号(y)を反響補償し、該少なくとも1つのマイクロフォン信号(y)に基づき反響補償された音響信号(e)を生成するように構成され、
    前記制御手段(50)は、該必要な信号(e)を受信し、該受信された必要な信号(e)に基づいて、前記デコリレーション手段(10)を制御するように構成される、
    請求項10〜12のうちの1項に記載のシステム。
  14. 前記デコリレーション手段(10)は、時間変化フィルタリング手段(11、13)、特に、全域通過フィルタおよび/または非線形処理手段(12、14)を備える、請求項10〜13のうちの1項に記載のシステム。
  15. 前記制御手段(50)は、システムディスタンス指標
    Figure 2007306553
    に基づいて、前記適合可能な反響補償フィルタリング手段(20)の前記適合状態を決定するように構成され、ここに、nは離散的時刻インデックス、Nは前記反響補償フィルタリング手段(20)の長さ、Nはサンプリング時刻の数、
    Figure 2007306553
    は、第1および第2のチャネルそれぞれに対する前記反響補償フィルタリング手段(20)のフィルタ係数を表す、請求項10〜14のうちの1項に記載のシステム。
  16. 少なくとも1つの指向性マイクロフォンを備える少なくとも1つのマイクロフォン配列と、該少なくとも1つのマイクロフォン配列の該マイクロフォンからのマイクロフォン信号を受信し、ビームフォームされたマイクロフォン信号(y)を生成するように構成されるビームフォーミング手段とをさらに備える、請求項10〜15のうちの1項に記載のシステム。
  17. 請求項10〜16のうちの1項に記載のシステムを備える、ハンズフリーセット。
  18. 請求項10〜16のうちの1項に記載のシステムを備える、音声認識システム。
  19. 請求項10〜16のうちの1項に記載のシステム、および/または請求項17に記載のハンズフリーセット、および/または請求項18に記載の音声認識システムを備える、車両通信システム。
  20. 請求項10〜16のうちの1項に記載のシステム、および/または請求項17に記載のハンズフリーセットのうちの1つを備える、電話またはビデオ会議システム。
JP2007106374A 2006-05-10 2007-04-13 マルチチャネルの反響補償 Expired - Fee Related JP5288723B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP06009692.2 2006-05-10
EP06009692A EP1855457B1 (en) 2006-05-10 2006-05-10 Multi channel echo compensation using a decorrelation stage

Publications (2)

Publication Number Publication Date
JP2007306553A true JP2007306553A (ja) 2007-11-22
JP5288723B2 JP5288723B2 (ja) 2013-09-11

Family

ID=37072941

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007106374A Expired - Fee Related JP5288723B2 (ja) 2006-05-10 2007-04-13 マルチチャネルの反響補償

Country Status (5)

Country Link
US (1) US8085947B2 (ja)
EP (1) EP1855457B1 (ja)
JP (1) JP5288723B2 (ja)
AT (1) ATE436151T1 (ja)
DE (1) DE602006007685D1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015521063A (ja) * 2012-05-10 2015-07-27 ユニバーシティ オブ ワシントン スルー イッツ センター フォー コマーシャリゼーション 音ベースの肺活量測定のデバイス、システムおよび方法
JP2020507955A (ja) * 2017-01-13 2020-03-12 シュアー アクイジッション ホールディングス インコーポレイテッドShure Acquisition Holdings,Inc. ミキシング後音響エコーキャンセルシステム及び方法

Families Citing this family (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5101292B2 (ja) * 2004-10-26 2012-12-19 ドルビー ラボラトリーズ ライセンシング コーポレイション オーディオ信号の感知音量及び/又は感知スペクトルバランスの計算と調整
EP1879181B1 (en) * 2006-07-11 2014-05-21 Nuance Communications, Inc. Method for compensation audio signal components in a vehicle communication system and system therefor
US8385557B2 (en) 2008-06-19 2013-02-26 Microsoft Corporation Multichannel acoustic echo reduction
US8219394B2 (en) * 2010-01-20 2012-07-10 Microsoft Corporation Adaptive ambient sound suppression and speech tracking
CN102457632B (zh) * 2011-12-29 2014-07-30 歌尔声学股份有限公司 一种多受话端回声消除方法
US9116098B2 (en) 2013-02-12 2015-08-25 General Electric Company Ultrasonic detection method and system
US9232072B2 (en) 2013-03-13 2016-01-05 Google Inc. Participant controlled spatial AEC
US9482645B2 (en) 2013-05-17 2016-11-01 General Electric Company Ultrasonic detection method and ultrasonic analysis method
DE102013218176A1 (de) 2013-09-11 2015-03-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und verfahren zur dekorrelation von lautsprechersignalen
US20160171988A1 (en) * 2014-12-15 2016-06-16 Wire Swiss Gmbh Delay estimation for echo cancellation using ultrasonic markers
US9554207B2 (en) 2015-04-30 2017-01-24 Shure Acquisition Holdings, Inc. Offset cartridge microphones
US9565493B2 (en) 2015-04-30 2017-02-07 Shure Acquisition Holdings, Inc. Array microphone system and method of assembling the same
US9947316B2 (en) 2016-02-22 2018-04-17 Sonos, Inc. Voice control of a media playback system
US10264030B2 (en) 2016-02-22 2019-04-16 Sonos, Inc. Networked microphone device control
US9772817B2 (en) 2016-02-22 2017-09-26 Sonos, Inc. Room-corrected voice detection
US9811314B2 (en) 2016-02-22 2017-11-07 Sonos, Inc. Metadata exchange involving a networked playback system and a networked microphone system
US9965247B2 (en) 2016-02-22 2018-05-08 Sonos, Inc. Voice controlled media playback system based on user profile
US10095470B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Audio response playback
US10134399B2 (en) 2016-07-15 2018-11-20 Sonos, Inc. Contextualization of voice inputs
US10115400B2 (en) 2016-08-05 2018-10-30 Sonos, Inc. Multiple voice services
US9942678B1 (en) 2016-09-27 2018-04-10 Sonos, Inc. Audio playback settings for voice interaction
US10181323B2 (en) 2016-10-19 2019-01-15 Sonos, Inc. Arbitration-based voice recognition
US10475449B2 (en) 2017-08-07 2019-11-12 Sonos, Inc. Wake-word detection suppression
US10048930B1 (en) 2017-09-08 2018-08-14 Sonos, Inc. Dynamic computation of system response volume
US10446165B2 (en) 2017-09-27 2019-10-15 Sonos, Inc. Robust short-time fourier transform acoustic echo cancellation during audio playback
US10482868B2 (en) 2017-09-28 2019-11-19 Sonos, Inc. Multi-channel acoustic echo cancellation
US10621981B2 (en) 2017-09-28 2020-04-14 Sonos, Inc. Tone interference cancellation
US10466962B2 (en) 2017-09-29 2019-11-05 Sonos, Inc. Media playback system with voice assistance
WO2019152722A1 (en) 2018-01-31 2019-08-08 Sonos, Inc. Device designation of playback and network microphone device arrangements
US11175880B2 (en) 2018-05-10 2021-11-16 Sonos, Inc. Systems and methods for voice-assisted media content selection
US10959029B2 (en) 2018-05-25 2021-03-23 Sonos, Inc. Determining and adapting to changes in microphone performance of playback devices
CN112335261B (zh) 2018-06-01 2023-07-18 舒尔获得控股公司 图案形成麦克风阵列
US11297423B2 (en) 2018-06-15 2022-04-05 Shure Acquisition Holdings, Inc. Endfire linear array microphone
KR20200024066A (ko) * 2018-08-27 2020-03-06 서강대학교산학협력단 스테레오 노이즈 제거 장치 및 스테레오 노이즈 제거 방법
US11076035B2 (en) 2018-08-28 2021-07-27 Sonos, Inc. Do not disturb feature for audio notifications
US10461710B1 (en) 2018-08-28 2019-10-29 Sonos, Inc. Media playback system with maximum volume setting
US10587430B1 (en) 2018-09-14 2020-03-10 Sonos, Inc. Networked devices, systems, and methods for associating playback devices based on sound codes
EP3854108A1 (en) 2018-09-20 2021-07-28 Shure Acquisition Holdings, Inc. Adjustable lobe shape for array microphones
US11024331B2 (en) 2018-09-21 2021-06-01 Sonos, Inc. Voice detection optimization using sound metadata
US11100923B2 (en) 2018-09-28 2021-08-24 Sonos, Inc. Systems and methods for selective wake word detection using neural network models
US11899519B2 (en) 2018-10-23 2024-02-13 Sonos, Inc. Multiple stage network microphone device with reduced power consumption and processing load
DE102018127071B3 (de) * 2018-10-30 2020-01-09 Harman Becker Automotive Systems Gmbh Audiosignalverarbeitung mit akustischer Echounterdrückung
EP3654249A1 (en) 2018-11-15 2020-05-20 Snips Dilated convolutions and gating for efficient keyword spotting
US11183183B2 (en) 2018-12-07 2021-11-23 Sonos, Inc. Systems and methods of operating media playback systems having multiple voice assistant services
US11132989B2 (en) 2018-12-13 2021-09-28 Sonos, Inc. Networked microphone devices, systems, and methods of localized arbitration
US10867604B2 (en) 2019-02-08 2020-12-15 Sonos, Inc. Devices, systems, and methods for distributed voice processing
US11094333B2 (en) * 2019-03-15 2021-08-17 Sogang University Research & Business Development Foundation Device and method for stereo noise cancellation
EP3942845A1 (en) 2019-03-21 2022-01-26 Shure Acquisition Holdings, Inc. Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition functionality
US11558693B2 (en) 2019-03-21 2023-01-17 Shure Acquisition Holdings, Inc. Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition and voice activity detection functionality
CN113841419A (zh) 2019-03-21 2021-12-24 舒尔获得控股公司 天花板阵列麦克风的外壳及相关联设计特征
US11120794B2 (en) 2019-05-03 2021-09-14 Sonos, Inc. Voice assistant persistence across multiple network microphone devices
WO2020237206A1 (en) 2019-05-23 2020-11-26 Shure Acquisition Holdings, Inc. Steerable speaker array, system, and method for the same
CN114051637A (zh) 2019-05-31 2022-02-15 舒尔获得控股公司 集成语音及噪声活动检测的低延时自动混波器
US10586540B1 (en) 2019-06-12 2020-03-10 Sonos, Inc. Network microphone device with command keyword conditioning
US11200894B2 (en) 2019-06-12 2021-12-14 Sonos, Inc. Network microphone device with command keyword eventing
US10871943B1 (en) 2019-07-31 2020-12-22 Sonos, Inc. Noise classification for event detection
CN114467312A (zh) 2019-08-23 2022-05-10 舒尔获得控股公司 具有改进方向性的二维麦克风阵列
US10984815B1 (en) * 2019-09-27 2021-04-20 Cypress Semiconductor Corporation Techniques for removing non-linear echo in acoustic echo cancellers
CN110718093B (zh) * 2019-10-16 2021-11-16 联想(北京)有限公司 针对车辆鸣笛的处理方法和第一车辆
US11189286B2 (en) 2019-10-22 2021-11-30 Sonos, Inc. VAS toggle based on device orientation
US11200900B2 (en) 2019-12-20 2021-12-14 Sonos, Inc. Offline voice control
US11562740B2 (en) 2020-01-07 2023-01-24 Sonos, Inc. Voice verification for media playback
US11552611B2 (en) 2020-02-07 2023-01-10 Shure Acquisition Holdings, Inc. System and method for automatic adjustment of reference gain
US11308958B2 (en) 2020-02-07 2022-04-19 Sonos, Inc. Localized wakeword verification
USD944776S1 (en) 2020-05-05 2022-03-01 Shure Acquisition Holdings, Inc. Audio device
US11482224B2 (en) 2020-05-20 2022-10-25 Sonos, Inc. Command keywords with input detection windowing
US11308962B2 (en) 2020-05-20 2022-04-19 Sonos, Inc. Input detection windowing
US11706562B2 (en) 2020-05-29 2023-07-18 Shure Acquisition Holdings, Inc. Transducer steering and configuration systems and methods using a local positioning system
US11984123B2 (en) 2020-11-12 2024-05-14 Sonos, Inc. Network device interaction by range
JP2024505068A (ja) 2021-01-28 2024-02-02 シュアー アクイジッション ホールディングス インコーポレイテッド ハイブリッドオーディオビーム形成システム
US11863710B2 (en) * 2021-11-01 2024-01-02 Mediatek Inc. Audio device and method for detecting device status of audio device in audio/video conference

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09312597A (ja) * 1995-09-26 1997-12-02 Nippon Telegr & Teleph Corp <Ntt> 多チャネル音声通信会議用反響消去方法及び装置
JP2003503871A (ja) * 1999-06-24 2003-01-28 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 音響エコー及びノイズ除去
JP2005523624A (ja) * 2002-04-22 2005-08-04 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 信号合成方法
WO2005079109A1 (en) * 2004-02-11 2005-08-25 Koninklijke Philips Electronics N.V. Acoustic feedback suppression

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5263019A (en) 1991-01-04 1993-11-16 Picturetel Corporation Method and apparatus for estimating the level of acoustic feedback between a loudspeaker and microphone
US5828756A (en) * 1994-11-22 1998-10-27 Lucent Technologies Inc. Stereophonic acoustic echo cancellation using non-linear transformations
US6895093B1 (en) * 1998-03-03 2005-05-17 Texas Instruments Incorporated Acoustic echo-cancellation system
DE19814971A1 (de) 1998-04-03 1999-10-07 Daimlerchrysler Aerospace Ag Verfahren zur Störbefreiung eines Mikrophonsignals
US6421377B1 (en) 1998-05-13 2002-07-16 Globespanvirata, Inc. System and method for echo cancellation over asymmetric spectra
US6442275B1 (en) 1998-09-17 2002-08-27 Lucent Technologies Inc. Echo canceler including subband echo suppressor
US6049607A (en) 1998-09-18 2000-04-11 Lamar Signal Processing Interference canceling method and apparatus
JP2000209135A (ja) 1999-01-20 2000-07-28 Oki Electric Ind Co Ltd エコ―キャンセラ
US6510225B1 (en) 1999-02-16 2003-01-21 Denso Corporation Ultrasonically-calibrated fast-start echo canceller for cellular and pcs telephone car kits
FR2793629B1 (fr) 1999-05-12 2001-08-03 Matra Nortel Communications Procede et dispositif d'annulation d'echo stereophonique a filtrage dans le domaine frequentiel
US6522746B1 (en) 1999-11-03 2003-02-18 Tellabs Operations, Inc. Synchronization of voice boundaries and their use by echo cancellers in a voice processing system
EP1356589B1 (en) * 2001-01-23 2010-07-14 Koninklijke Philips Electronics N.V. Asymmetric multichannel filter
JP3608525B2 (ja) * 2001-05-09 2005-01-12 ヤマハ株式会社 2チャンネルエコーキャンセル用フィルタのインパルス応答設定方法および2チャンネルエコーキャンセラ並びに双方向2チャンネル音声伝送装置
JP3506138B2 (ja) 2001-07-11 2004-03-15 ヤマハ株式会社 複数チャンネルエコーキャンセル方法、複数チャンネル音声伝送方法、ステレオエコーキャンセラ、ステレオ音声伝送装置および伝達関数演算装置
US20030185402A1 (en) * 2002-03-27 2003-10-02 Lucent Technologies, Inc. Adaptive distortion manager for use with an acoustic echo canceler and a method of operation thereof
JP4161628B2 (ja) 2002-07-19 2008-10-08 日本電気株式会社 エコー抑圧方法及び装置
DE50205504D1 (de) 2002-09-12 2006-03-30 Siemens Ag Kommunikationsendgerät mit Bandbreitenerweiterung und Echokompensation
US20040059571A1 (en) 2002-09-24 2004-03-25 Marantz Japan, Inc. System for inputting speech, radio receiver and communication system
US6990193B2 (en) 2002-11-29 2006-01-24 Mitel Knowledge Corporation Method of acoustic echo cancellation in full-duplex hands free audio conferencing with spatial directivity
US20050213747A1 (en) 2003-10-07 2005-09-29 Vtel Products, Inc. Hybrid monaural and multichannel audio for conferencing
US7577248B2 (en) 2004-06-25 2009-08-18 Texas Instruments Incorporated Method and apparatus for echo cancellation, digit filter adaptation, automatic gain control and echo suppression utilizing block least mean squares
KR100827146B1 (ko) 2004-09-20 2008-05-02 삼성전자주식회사 이동 단말에서 반향 제거 방법 및 장치
DE602005003643T2 (de) 2005-04-01 2008-11-13 Mitel Networks Corporation, Ottawa Verfahren zur Beschleunigung des Trainings eines akustischen Echokompensators in einem Vollduplexaudiokonferenzsystem durch akustische Strahlbildung
US7970123B2 (en) 2005-10-20 2011-06-28 Mitel Networks Corporation Adaptive coupling equalization in beamforming-based communication systems

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09312597A (ja) * 1995-09-26 1997-12-02 Nippon Telegr & Teleph Corp <Ntt> 多チャネル音声通信会議用反響消去方法及び装置
JP2003503871A (ja) * 1999-06-24 2003-01-28 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 音響エコー及びノイズ除去
JP2005523624A (ja) * 2002-04-22 2005-08-04 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 信号合成方法
WO2005079109A1 (en) * 2004-02-11 2005-08-25 Koninklijke Philips Electronics N.V. Acoustic feedback suppression
JP2007522754A (ja) * 2004-02-11 2007-08-09 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 音響フィードバック抑制

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015521063A (ja) * 2012-05-10 2015-07-27 ユニバーシティ オブ ワシントン スルー イッツ センター フォー コマーシャリゼーション 音ベースの肺活量測定のデバイス、システムおよび方法
JP2020507955A (ja) * 2017-01-13 2020-03-12 シュアー アクイジッション ホールディングス インコーポレイテッドShure Acquisition Holdings,Inc. ミキシング後音響エコーキャンセルシステム及び方法
JP7127032B2 (ja) 2017-01-13 2022-08-29 シュアー アクイジッション ホールディングス インコーポレイテッド ミキシング後音響エコーキャンセルシステム及び方法

Also Published As

Publication number Publication date
JP5288723B2 (ja) 2013-09-11
US8085947B2 (en) 2011-12-27
EP1855457A1 (en) 2007-11-14
DE602006007685D1 (de) 2009-08-20
US20080031469A1 (en) 2008-02-07
EP1855457B1 (en) 2009-07-08
ATE436151T1 (de) 2009-07-15

Similar Documents

Publication Publication Date Title
JP5288723B2 (ja) マルチチャネルの反響補償
US9008327B2 (en) Acoustic multi-channel cancellation
US11297178B2 (en) Method, apparatus, and computer-readable media utilizing residual echo estimate information to derive secondary echo reduction parameters
JP4954334B2 (ja) エコー抑制のためのフィルタ係数を演算する装置および方法
EP3080975B1 (en) Echo cancellation
JP5394373B2 (ja) オーディオ信号を処理する装置及び方法
JP5148150B2 (ja) 音響信号処理における均等化
CN111128210B (zh) 具有声学回声消除的音频信号处理的方法和系统
US8682006B1 (en) Noise suppression based on null coherence
WO2009117084A2 (en) System and method for envelope-based acoustic echo cancellation
KR20040019339A (ko) 반향 억제기 및 확성기 빔 형성기를 구비한 사운드 보강시스템
US20080031468A1 (en) System for improving communication in a room
KR101791444B1 (ko) 동적 마이크로폰 신호 믹서
JP2004537232A (ja) 多数のマイクロフォンのエコーを抑圧する回路をポストプロセッサとして有する音響補強システム
AU2002367002A1 (en) System and method for controlling a filter to enhance speakerphone performance
JP2004349806A (ja) 多チャネル音響エコー消去方法、その装置、そのプログラム及びその記録媒体
JP3607625B2 (ja) 多チャネル反響抑圧方法、その装置、そのプログラム及びその記録媒体
JP4897921B2 (ja) マルチチャネル音声通信システムにおいて音響エコーを低減するための方法およびシステム
JP3756828B2 (ja) 反響消去方法、この方法を実施する装置、プログラムおよびその記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100409

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110328

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20110819

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120605

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120904

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120907

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120928

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20121003

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121101

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130516

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130604

R150 Certificate of patent or registration of utility model

Ref document number: 5288723

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D04

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees