JP2005142756A - エコーキャンセラ - Google Patents

エコーキャンセラ Download PDF

Info

Publication number
JP2005142756A
JP2005142756A JP2003376068A JP2003376068A JP2005142756A JP 2005142756 A JP2005142756 A JP 2005142756A JP 2003376068 A JP2003376068 A JP 2003376068A JP 2003376068 A JP2003376068 A JP 2003376068A JP 2005142756 A JP2005142756 A JP 2005142756A
Authority
JP
Japan
Prior art keywords
echo
signal
offset
component
echo canceller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003376068A
Other languages
English (en)
Other versions
JP4403776B2 (ja
Inventor
Shinsuke Takada
真資 高田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP2003376068A priority Critical patent/JP4403776B2/ja
Priority to PCT/JP2004/015890 priority patent/WO2005046077A1/ja
Priority to GB0608298A priority patent/GB2423681B/en
Priority to US10/578,323 priority patent/US7773742B2/en
Priority to CN2004800300975A priority patent/CN1868136B/zh
Publication of JP2005142756A publication Critical patent/JP2005142756A/ja
Application granted granted Critical
Publication of JP4403776B2 publication Critical patent/JP4403776B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B3/00Line transmission systems
    • H04B3/02Details
    • H04B3/20Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other
    • H04B3/23Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other using a replica of transmitted signal in the time domain, e.g. echo cancellers
    • H04B3/234Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other using a replica of transmitted signal in the time domain, e.g. echo cancellers using double talk detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B3/00Line transmission systems
    • H04B3/02Details
    • H04B3/20Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other
    • H04B3/23Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other using a replica of transmitted signal in the time domain, e.g. echo cancellers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/60Substation equipment, e.g. for use by subscribers including speech amplifiers

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
  • Telephone Function (AREA)
  • Filters That Use Time-Delay Elements (AREA)

Abstract

【課題】 演算量が少なく、通過させたい信号に低域周波数成分が含まれていても適切にエコーをキャンセルできるエコーキャンセラを提供する。
【解決手段】 本発明は、フィルタ部と係数更新部とを有する適応フィルタを利用し、遠端入力信号から、エコーレプリカ信号を形成するエコーレプリカ形成手段と、近端入力信号からエコーレプリカ信号を減算して近端入力信号におけるエコー成分を除去するエコー除去手段とを有するエコーキャンセラに関する。そして、適応フィルタのフィルタ係数から、低域周波数の影響によるオフセット成分を除去するオフセット除去手段を有することを特徴とする。
【選択図】 図1

Description

本発明はエコーキャンセラに関し、例えば、広帯域音声電話におけるハイブリッド回路で生じる回線エコーを除去するものに適用して好適である。
エコーキャンセラは、周知のように、適応フィルタを利用してエコーレプリカ信号を形成し、近端入力信号におけるエコー成分を形成されたエコーレプリカ信号によって除去しようとしたものである。そして、適応フィルタに対するフィルタ係数を所定のアルゴリズム(例えばLMS)により更新、収束させ、適切なエコーレプリカ信号を形成させようとしている。ここで、フィルタ係数の収束速度が速ければ速いほど、適切なエコーレプリカ信号が形成させるようになる時間も短縮されて好ましい。
フィルタ係数は、一般に、遠端入力信号と、エコー成分除去後の近端入力信号とに基づいて更新制御される。従来から、エコーキャンセラは、遠端入力信号にバイアスのようなノイズが存在すると(直流オフセットが加わると)、フィルタ係数を適切に更新できず、エコー除去性能が劣化することが知られている。
非特許文献1は、エコーキャンセラではなく、能動騒音制御に関する技術を開示しているが、適応フィルタに係るバイアス補償に関する技術であるため、エコーキャンセラにも流用可能と考えられる。
野本他著、「Filterd−X法におけるバイアス補償と可変ステップサイズアルゴリズムの検討」、信学技報、DSP97−14(1997−05)
しかしながら、非特許文献1に記載の技術は、以下のような課題を有するものであった。
1.所望信号のバイアス除去のための計算をサンプル毎に行うので演算処理量が多く必要である。
2.所望信号中のバイアス成分(非特許文献1の技術は、直流だけでなく、緩やかに変化する成分も前述のバイアスの範疇に入れている)を必ず“雑音か起因している”と仮定しており、所望信号から直接バイアス成分を除去してしまう。従って、例えば、通信にこれを直接用いると、所望信号の中に、本当に通過させたい低周波数成分(緩やかに変化する成分)があったときにも、これをもバイアス成分とみなして除去してしまい、音質に悪影響を与える。
本発明は、上記の課題に鑑みてなされたものであり、演算量が少なく、ハードウェア規模、ソフトウエア規模を小さくし、通過させたい信号に低域周波数成分が含まれている場合でも、通過信号の成分を損なうことがない音質の良いエコーキャンセラを提供することを目的としている。
かかる課題を解決するため、本発明は、フィルタ部と係数更新部とを有する適応フィルタを利用し、遠端入力信号から、エコーレプリカ信号を形成するエコーレプリカ形成手段と、近端入力信号からエコーレプリカ信号を減算して近端入力信号におけるエコー成分を除去するエコー除去手段とを有するエコーキャンセラにおいて、上記適応フィルタのフィルタ係数から、低域周波数の影響によるオフセット成分を除去するオフセット除去手段を有することを特徴とする。
本発明によれば、演算量が少なく、ハードウェア規模、ソフトウエア規模を小さくでき、通過させたい信号に低域周波数成分が含まれている場合でもエコーを適切に除去できるエコーキャンセラを実現することができる。
(A)第1の実施形態
以下、本発明によるエコーキャンセラを、回線エコーの除去用に適用した第1の実施形態を図面を参照しながら詳述する。
(A−1)第1の実施形態の構成
図1は、第1の実施形態のエコーキャンセラの構成を示すブロック図である。図1において、第1の実施形態のエコーキャンセラ14は、通信の遠方にいる話者(以下、遠端と呼ぶ:図示せず)からのディジタル音声信号Rinの入力端子1、遠端からの音声信号Routを受信者(以下、近端と呼ぶ)へ向けて出力する出力端子2、近端からの信号Sinの入力端子7、遠端への信号Soutの出力端子9を有している。
エコーキャンセラ14の出力端子2からの信号Routは、ディジタル/アナログ変換器3を介してアナログ信号に変換された後、さらに、ハイブリッド回路4を介して電話機5に与えられるようになされている。電話機5からの音声信号は、ハイブリッド回路4及びアナログ/ディジタル変換器6を介して、エコーキャンセラ14の入力端子7に入力される。ここで、出力端子2からの信号Routの一部が、ハイブリッド回路4をそのまま通過してエコーとして入力端子7に入力され、エコーキャンセラ14は、このエコー成分を除去する。
エコーキャンセラ14は、加算器8、双方向通信検出部10、係数更新部11、フィルタ部12、オフセット除去部13及びカウンタ16を有し、係数更新部11及びフィルタ部12が適応フィルタ15を構成している。
この第1の実施形態の場合、オフセット除去部13及びカウンタ16が一般的な構成に加えて設けられているものであり、これに応じて、フィルタ部12も多少異なっている。これらフィルタ部12、オフセット除去部13及びカウンタ16の機能も、以下の動作説明で明らかにする。
(A−2)第1の実施形態の動作
以下、第1の実施形態のエコーキャンセラ14の動作を説明する。以下では、電話機5が、例えば、近年急速に普及しているIP電話機であるとして説明を行う。IP電話機においては、従来の電話機とは異なり、音声信号の周波数帯域に制限が設けられていない。例えば、従来の固定電話機においては、音声信号の周波数帯域は300〜3400Hzに制限されている(以下、この信号を従来帯域信号と呼ぶ)。しかし、IP電話機においては、音声信号の周波数帯域は前述の300〜3400Hzに制限されていないため、広い周波数帯域の信号を授受することができる。例えば、国際規格ITU―T G.722では、50〜7000Hzの帯域を通信するための音声符号化技術が開示されている、このような技術を用いれば、従来よりも広帯域の、音質の良い音声信号を伝達することが可能である。例えば、この第1の実施形態では、20〜7000Hzの信号(以下、広帯域信号と呼ぶ)を取り扱う例を引き合いにして説明する。勿論、周波数帯域はこれに限定するものではない。
図1の遠端入力端子1に入力した広帯域信号Rinは、双方向通信検出部10、フィルタ部12及び遠端出力端子2に入力される。双方向通信検出部10及びフィルタ部12の機能については後述する。遠端出力端子2から出力された信号Routは、ディジタル/アナログ変換器3を経由しアナログ信号になり、電話機5に出力される。その一方で、遠端出力端子2から出力された信号Routは、ハイブリッド回路4で一部の信号が反射され、アナログ/ディジタル変換器6でディジタル信号Sinに変換され、近端入力端子7に入力される。近端入力端子7に入力された信号Sinは、エコー除去後の信号Soutに変換されて近端出力端子9を経由して遠端にいる話者に至る。遠端出力端子2の出力信号Routが近端入力端子7に入力されると、図示しない遠端話者には自分の声がエコー成分yとして聞こえるようになり、会話を妨げる。このようなエコー成分yを除去するために、エコーキャンセラ14が設けられている。
エコーキャンセラ14において、近端入力端子7から入力されたエコー成分yを含む信号Sinは、加算器8に入力される。加算器8では、この信号Sinから、適応フィルタ15で後述するように作成されたエコーレプリカ信号(擬似エコー信号)y’が減算される。加算器8でエコー成分yが除去された信号Sout(e)は遠端話者への出力端子9に出力される。この信号SoutはIP網などの経路を通り、図示しない遠端の話者電話機に向かって出力される。このようにしてエコーが除去された信号が遠端音声話者に到達する。
次に、エコーレプリカ信号y’の作成方法について説明する。この第1の実施形態では、エコーレプリカ信号の生成アルゴリズムには公知である学習同定法を用いている。勿論、エコーレプリカ信号の作成アルゴリズムはこれに限定されない。
上述のように、係数更新部11とフィルタ部12とで適応フィルタ15が構成されている。まず、適応フィルタ15の動作に関して説明する。遠端入力端子1から入力された信号Rinはフィルタ部12に入力される。フィルタ部12は、公知のFIR(有限インパルス応答長)フィルタである。適応フィルタ15のタップ係数は、後述するように時間と共に更新される。
今、時刻kで、フィルタ部12の第m番目のタップ係数をh(k,m)とする。遠端入力端子1からの信号Rinの時刻kでの値をx(k)とすると、フィルタ部12では、(1)式に従ってエコーレプリカ信号y’を作成する。ここで、Mはフィルタ部12のタップ数である(例えば、256を適用できるが、これに限定されない)。(1)式から分かるように、エコーレプリカ信号y’は、x(k)の過去Mサンプル分のデータと、タップ係数との積和演算で形成される。
Figure 2005142756
フィルタ部12のタップ係数は、(2)式に従って更新制御され、次回のフィルタ処理に備える。(2)式において、hやxの初期値は0である。また、μは、エコーキャンセラ14の追従速度を決める定数(0≦μ≦1)である。例えば、0.5を適用できるが、これに限定されない。この追従速度決定定数μを大きくすれば、エコーキャンセラ14の追従速度は速くなるが、定常状態でのエコー消去性能が良くない。一方、追従速度決定定数μを小さくすれば、エコーキャンセラ14の定常状態でのエコー消去性能が良くなるが、追従速度は遅くなってしまう。
Figure 2005142756
(2)式におけるe(k)は、加算器8の出力(エコー除去残差)であり、時刻kでのエコー成分yをy(k)、エコーレプリカ信号y’をy’(k)とすると、(3)式で表される。
e(k)=y(k)−y’(k) (3)
上述したように、(2)式及び(3)式に従うタップ係数制御は公知の“学習同定法”であり、タップ係数h(k,m)は、(3)式に示すエコー除去残差e(k)(又はそのパワー)が徐々に0になるように推移していくことが公知の事実として知られている。すなわち、エコー成分yが加算器8で徐々に除去されるようにタップ係数が更新されていく(フィルタが収束する)。以上のようにして、エコー経路であるハイブリッド回路4の特性をフィルタ部12のタップ係数として推定し、エコー成分yの除去を行うが、近端入力端子7に近端話者信号sも入力されていると、(3)式の右辺に近端話者信号sも混入して、(4)式のようになってしまい、タップ係数の更新がうまくいかない。(4)式において、s(k)は、時刻kでの近端話者信号の値である。
e(k)=y(k)−y’(k)+s(k) (4)
従って、(4)式に従うような近端話者信号があるときには係数更新を停止する必要がある。双方向通信検出部10は、(4)式に従うような状態などを検出するものである。双方向通信検出部10には、遠端入力端子1からの出力信号x(k)と、加算器8の出力e(k)が入力されており、(5)式、(6)式に従って、これら信号のパワー平滑値をそれぞれ求める。
Figure 2005142756
ここで、δは平滑の滑らかさを表わす定数(1≧δ≧0)なる定数である。平滑定数δが大きければ信号x、eの大まかな変化を反映するようになり、雑音の影響が小さくなる。一方、平滑定数δが小さければ信号x、eの急峻な変化に敏感に反応するが、雑音の影響も受け易くなる。例えば、δ=0.5を適用できるが、これに限定されない。
双方向通信検出部10は、後述するような方法で、パワー平滑値pow_x(k)、pow_e(k)から各々の信号の有無(有音/無音)を検出し、遠端入力端子1から遠端出力端子2に至る信号経路の側だけに信号があるときに、適応フィルタ15の係数更新が実行されるようにする。それ以外の期間では、双方向通信検出部10は、係数更新を停止するための信号ntを係数更新部11に出力する。
双方向通信検出部10は、以下のように、信号有無を判定する。双方向通信検出部10は、条件1が成立するときには、係数更新を実行させるように係数更新部11には何も出力しない。
条件1;
pow_x(k)>無音閾値、かつ、
pow_x(k)>pow_e(k)+マージン値
例えば、無音閾値=−38dBm、マージン値=6dBを適用できるが、これに限定されない。
一方、条件1以外のときには、(1)近端入力信号7に入力信号があるか、(2)遠端入力端子1に入力信号がないか、(3)遠端入力端子1及び近端入力信号7に共に入力信号がないか、(4)遠端入力端子1及び近端入力信号7に共に入力信号があると判定し、係数更新部11に対して、係数更新停止信号ntを出力する。係数更新部11は、係数更新停止信号ntを入力されたときには、(2)式に従う係数更新を実行しない。
以上のように、双方向通信検出部10は、(4)式に従うような状態(ダブルトーク状態)のときには係数を更新させない。また、遠端入力端子1に信号がなければエコー自体発生しないので、係数を更新させない。すなわち、(3)式に従う様態のときだけ係数更新を実行させるので、フィルタ部12の係数が公知の学習同定法を用いれば、正しく収束できるようになる。上記では、双方向通信検出部10がx(k)、e(k)のパワー平滑値を用いて、遠端入力端子1への入力信号の有音/無音と、近端入力端子7への入力信号の有音/無音の検出を行うものを示したが、少なくとも、遠端入力端子1への入力信号の無音と、近端入力端子7への入力信号の有音(近端話者)との検出を実行できれば、どのような方法を用いても構わない。
次に、第1の実施形態のエコーキャンセラ14の特徴をなしているオフセット除去部13の機能、動作について説明する。
従来から、エコーキャンセラは入力信号に直流オフセットが加わると、エコー除去性能が劣化することが知られている。従来は、このオフセット成分は、専らアナログ/ディジタル変換器6の特性や、近端入力端子7側の背景ノイズによるものであるとされていた。しかし、広帯域電話機のように定常的に広い範囲の周波数帯域で通信を行う場合、たとえ、背景ノイズやアナログ/ディジタル変換器の影響がなくとも、エコーキャンセラがオフセット成分、又は、オフセットとみなせる成分の影響を受けることが判明した。以下、図2(A)及び(B)を用いてこの現象の発生について説明する。
従来の一般の電話通信では音声信号の周波数帯域は300〜3400Hzに帯域制限されており、周波数の下限はせいぜい300Hzであった。また、従来の電話機では、通常用いられるサンプリング周波数は8000Hzであった。従来技術では、上述のFIRフィルタを用いたとき、再現できる周波数に限界が存在する。上限は、公知の標本化定理に基づき、サンプリング周波数の半分すなわち4000Hzである。下限は、FIRフィルタのタップ長によって決まる。例えば、サンプリング周波数が8000Hz、エコーキャンセラのタップ長が256タップぼとき、このFIRフィルタで表現できる最低の周波数は256タップで1周期の波形までである。すなわち、下限周波数は、1/(256×(1/8000))=31.25Hzである。
従来通りの電話機であれば、入力信号の最低周波数は300Hzなので、エコーキャンセラは十分に信号を表現可能である。従って、エコーキャンセラのフィルタのタップ係数は低域のオフセットの影響を受けることはない。図2(A)には、この様子を示している。
一方、広帯域通信での様子を説明する。サンプリング周波数を16kHzとする。このとき、エコーキャンセラのタップ長を上記と同じ256タップとすると、エコーキャンセラのタップ長で表現できる下限周波数は、1/(256×(1/16000))=62.5Hzである。これ以下の周波数成分は、1周期の長さがフィルタのタップ長を越えるため、エコーキャンセラのフィルタ部12では表現できない。しかも、広帯域電話機では低域周波数が20Hz〜50Hzの成分も通信に用いられる場合がしばしばであり、エコーキャンセラのFIRフィルタでは、広帯域電話通信での低域周波数を表現することができないことになる。
これを単純に解決するには、エコーキャンセラのタップ長を大きくしてFIRフィルタが表現できる周波数領域を大きく(表現可能な周波数をさらに低く)することが考えられるが、フィルタのタップ長を大きくすることは積和演算量の増大を意味している。その結果、エコーキャンセラをディジタルシグナルプロセッサで実現する場合など、演算量の増大を招いたり、ハードウエア規模が大きくなるなどの弊害が不可避的に生じる。例えば、サンプリング周波数が16kHzで20Hzまで表現できるフィルタを所望した場合、800タップもの長大なフィルタを必要としてしまい、実際には実現不可能になる。その上、入力に表現不可能なほど低い周波数成分があるときには、エコーキャンセラは表現限界を超えた低域周波数の影響を受け、図2(B)に示すように、時間区間a〜cで、恰も時間毎に異なるオフセットを印加されたがごとく振る舞ってしまう。このとき、タップ係数は、その時々に応じた偏り(オフセット)が発生し、恰もオフセットが重畳したがごとく、平均値が0にならない(オフセット有)。
エコーキャンセラでは、本来、タップ係数が直接、エコー経路の伝達関数を表わすように収束するものである。すなわち、広帯域電話通信では、タップ係数にオフセットが発生することにより、エコーキャンセラは本来収束すべき真の伝達関数に収束できなくなってしまう。図3に、オフセットを受けたときのタップ係数とエコー経路の真の伝達関数の様子を示す。図3(A)は、時間区間a〜c毎のタップ係数の平均値を示し、図3(B1)〜(B3)は、時間区間a〜c毎のタップ係数の収束状況を示している。区間bは、低域周波数がゼロクロスする場合であり、この区間bでは、オフセットが見かけ上なくなっている。図3に示すように、真のエコー経路の伝達関数と、推定したタップ係数が一致しないのでエコー除去特性は非常に劣化する。
そこで、この第1の実施形態では、オフセット除去部13及びカウンタ16を設け、オフセット除去部13及びカウンタ16により、タップ係数のオフセットを次のように除去する。
上述した(3)式に示すように、エコーキャンセラ14は、遠端入力端子1に新たなサンプルx(k)が入力される毎に、その都度、エコー除去処理が行われる。カウンタ16は、適応フィルタ15から、n個のサンプルの入力回数だけエコーレプリカ信号の作成処理(従って、エコー除去処理)が実行されるのをカウントする。そして、カウンタ16はオフセット除去部13に対し、nサンプル分の処理が終ったことを示す信号を出力する。すなわち、この信号は、nサンプル分毎に出力されるものである。
オフセット除去部13は、カウンタ16からのnサンプル計時信号を受け、(7)式に従って、オフセット除去処理を行う。(7)式における右辺第2項が除去するオフセット成分を表わしている。(7)式は、時刻k+1の第m番目のタップ係数h(k+1,m)として、(2)式に従って求められたものから、オフセットを除去したものを適用することを表している。オフセットは、計算により一旦求められた時刻k+1における、長さM個のタップ係数の平均値として求めている。
Figure 2005142756
なお、オフセット除去部13は、(7)式に代え、(8)式に従って、オフセットを除去するようにしても良い。(8)式では、オフセットの計算方法が(7)式と異なっている。すなわち、(7)式では、M個のタップの係数の平均を全てのタップに共通するオフセットとして算出していたが、(8)式では、タップ係数の各々のタップに関して、時間軸での平均をオフセットとして算出するようにしている。時間軸及びタップ位置の双方についての平均で、オフセットを算出するようにしても良い。
Figure 2005142756
オフセット成分の除去計算である(7)式又は(8)式をh(k+1,m)の時間タイミングで行わず、h(k,m)のタイミングで実行しても良いのは勿論である。nとして、例えば、160を適用可能であるが、これに限定されないことは勿論である。例えば、遠端入力端子1や近端入力端子7のデータを各々160サンプルまとめて1フレームとして処理するようにした場合には、nとして160を適用すること都合が良いが、nをフィルタ長(例えば256)に合わせるようにしても良いことは勿論である。
実際上、上述したオフセットの除去は最低限タップ長と同じサンプル数に1回実行すれば良く、サンプル毎に実行はしなくても良く、その後は、(2)式に従ったタップ係数の更新がなされるので、1回行われたオフセットの除去がそれ以降も反映される。また、この第1の実施形態では、近端入力端子7への入力信号Sin自体から直接バイアス信号(オフセット信号)を除去することを実行していない。以上のような点は、上述した非特許文献1に記載の方法と異なっている。
図4は、図3での図示内容に加え、(7)式に従って、区間a〜c毎に、低域周波数のオフセットを補正した様子を示している(特に、図4(C1)〜(C3))。区間aでは、タップ係数の正のオフセットを0に補正しており、区間cでは、タップ係数の負のオフセットを0に補正している。
(A−3)第1の実施形態の効果
以上のように、タップ係数のオフセットを区間毎に除去するので、演算量を節約しつつ、送信信号(近端音声信号)自体にはエコー除去以外の影響を与えず、通信信号が広帯域であっても効果的にエコー成分を除去することができる。演算量を節約できることは、エコーキャンセラをDSPなどを利用したソフトウェアで実現した場合には処理速度の短縮化を意味し、ハードウェアで実現した場合には装置規模の縮小化を意味する。
(B)第2の実施形態
次に、本発明によるエコーキャンセラを、回線エコーの除去用に適用した第2の実施形態を図面を参照しながら詳述する。図5は、第2の実施形態のエコーキャンセラ14Aの構成をその周囲構成と共に示すブロックであり、上述した第1の実施形態に係る図1との同一部分には同一符号を付して示している。
図5及び図1の比較から明らかなように、第2の実施形態のエコーキャンセラ14Aは、第1の実施形態の構成に加え、近端入力端子7からの入力信号Sinを周波数分析してオフセット除去部22に与える送信側FFT部20と、遠端入力端子1からの入力信号Rinを周波数分析してオフセット除去部22に与える受信側FFT部21とが設けられており、これにより、オフセット除去部22の機能も、第1の実施形態のオフセット除去部13から多少異なっている。
第1の実施形態は、広帯域電話機同士で通話をすることを前提にしているものである。しかし、実際には、近端と遠端との間で、広帯域電話機と従来帯域の電話機(従来電話機)が通話をすることもあり得る。第2の実施形態は、従来電話機と広帯域電話機が通話したり、従来電話機同士が通話したりするような、近端及び遠端の電話機の種別が明確に定まっていない位置に当該エコーキャンセラ14Aが介在されたときにも、第1の実施形態で説明したような効果が適宜発揮されるようにしたものである。すなわち、電話機種別に応じて、広帯域電話信号特有の低域成分でのオフセットを適宜除去しようとしたものである。
まず、遠端に広帯域電話機があって近端には従来電話機5があるときの第2の実施形態のエコーキャンセラ14Aの動作について説明する。
遠端入力端子1から入力された信号Rinは、受信側FFT部21に入力される。受信側FFT部21では入力信号を周波数分析し、300Hz以下の成分、及び又は、3400Hz以上の成分の有無を検出する。成分の有無検出は、FFTの結果として求まるパワースペクトルが例えば−30dBmを越えるか否かで判定すれば良い。受信側FFT部21は、300Hz以下の成分及び又は3400Hz以上の成分があるときは(一方を条件としても双方を条件としても良い)、遠端には広帯域電話機がつながっているとして、オフセット除去実行信号をオフセット除去部22に出力する。オフセット除去部22は、受信側FFT部21又は送信側FFT部20のどちらか一方からオフセット除去実行信号が入力されたときには、第1の実施形態と同様なオフセット除去を実行するようになされており、受信側FFT部21からオフセット除去実行信号が与えられたときにはオフセット除去を実行する。なお、このとき、送信側FFT部20からオフセット除去実行信号が与えられているか否かは問われない。
次に、遠端に従来電話機があって近端に広帯域電話機があるときの第2の実施形態のエコーキャンセラ14Aの動作について説明する。
近端入力端子7から入力された信号Sinは、送信側FFT部20に入力される。送信側FFT部20は、入力信号を周波数分析し、300Hz以下の成分及び又は3400Hz以上の成分の有無を検出する。成分有無の検出は、FFTの結果として求まるパワースペクトルが例えば−30dBmを越えるか否かで判定すれば良い。送信側FFT部20は、300Hz以下の成分及び又は3400Hz以上の成分があるときは(一方を条件としても双方を条件としても良い)、近端に広帯域電話機がつながっているので、オフセット除去実行信号をオフセット除去部22に出力する。オフセット除去部22は、送信側FFT部20からオフセット除去実行信号が入力されたので、第1の実施形態と同様なオフセット除去を実行する。なお、このとき、受信側FFT部21からオフセット除去実行信号が与えられているか否かは問われない。
次に、遠端と近端の両方に従来電話機があるときの第2の実施形態のエコーキャンセラ14Aの動作について説明する。
このときには、送信側FFT部20も受信側FFT部21も、周波数分析対象の信号に、300Hz以下の成分も3400Hz以上の成分も存在しないので、共に、オフセット除去実行信号をオフセット除去部22に出力しない。オフセット除去部32は、いずれのFFT部20、21からもオフセット除去実行信号が入力されないので、オフセット除去を実行しない。
なお、遠端と近端の両方に広帯域電話機があるときには、送信側FFT部20も受信側FFT部21も、オフセット除去実行信号をオフセット除去部22に出力するので、第1の実施形態と同様なオフセット除去が実行されない。
送信側FFT部20も受信側FFT部21の判定は、回線接続直後に1回だけ行い、その後は、次に回線が再接続されるまで待つようにしても良く、当初の判定後も、継続的(連続的な継続、間欠的な継続を問わない)に判定を行うようにしても良い。
第2の実施形態によれば、遠端及び近端の電話機種別を判別し、判別された遠端及び近端の電話機種別の組み合わせに応じて、タップ係数のオフセット除去を実行するか否かを定めるようにしたので、無駄な演算を省略でき、ディジタルシグナルプロセッサ(ソフトウェアの処理主体)の演算規模を小さくできて消費電力を小さくしたり、ハードウェア規模を小さくしたりできる。
(C)第3の実施形態
次に、本発明によるエコーキャンセラを、回線エコーの除去用に適用した第3の実施形態を図面を参照しながら詳述する。図6は、第3の実施形態のエコーキャンセラ14Bの構成をその周囲構成と共に示すブロックであり、上述した第2の実施形態に係る図5との同一部分には同一符号を付して示している。
図6及び図5の比較から明らかなように、第3の実施形態は、第2の実施形態の受信側FFT部21を受信側ローパスフィルタ部31に置き換え、第2の実施形態の送信側FFT部20を送信側ローパスフィルタ部30に置き換えたものである。
送信側ローパスフィルタ部30及び受信側ローパスフィルタ部31はそれぞれ、自己への入力信号に300Hz以下の成分が存在するか否かを検出し(ローパスフィルタの結果として求まるレベルが例えば−30dBmを超えるか否かで検出する)、300Hz以下の成分が検出されたときは、オフセット除去実行信号をオフセット除去部22に出力するものである。
従って、遠端と近端の電話機種別の組み合わせと、オフセット除去部22がタップ係数のオフセット除去を実行するか否かとの関係は、第2の実施形態の場合と同様である。
上述した第2の実施形態では、電話機種別の判定に、FFT部による周波数分析を利用していた。しかし、FFTは、公知のように、FFT窓長サンプル数に応じて、低周波数域から高周波数域まで万遍なく周波数を分析する。例えば、16000Hzのサンプリング周波数を用い、FFT窓長を256点に設定すると、正の周波数成分として62.5Hzから8000Hz(又は0Hzから7937.5Hz)の成分を等分に算出する。しかし、エコーキャンセラに重要なオフセットに関する限り、興味のあるのは極端な低周波数領域の成分だけである。従って、低周波数成分だけの検出と検出結果を以ってオフセット除去処理の制御をすることはディジタル信号処理でのプロセッサ演算量の節約、電力の節約の観点からも都合が良い。そのため、第3の実施形態では、FFT部に代え、ローパスフィルタ部を適用することとした。
この第3の実施形態によっても、電話機種別の組み合わせに応じてオフセット除去制御を行うことに伴う第2の実施形態と同様な効果を奏することができ、これに加え、さらに、無駄な演算を一段と省略できるという効果を期待できる。
(D)第4の実施形態
次に、本発明によるエコーキャンセラを、回線エコーの除去用に適用した第4の実施形態を図面を参照しながら詳述する。図7は、第4の実施形態のエコーキャンセラ14Cの構成をその周囲構成と共に示すブロックであり、上述した第3の実施形態に係る図6との同一部分には同一符号を付して示している。
第4の実施形態も、第3の実施形態と同様に、送信側ローパスフィルタ部40と受信側ローパスフィルタ部41とを備えているが、第3の実施形態と異なり、送信側ローパスフィルタ部40及び受信側ローパスフィルタ部41内のローパスフィルタは可変ローパスフィルタとなっており、オフセット除去処理を実行するか否かを決定するための低域の周波数成分を可変できるようになっている。送信側ローパスフィルタ部40及び受信側ローパスフィルタ部41の低域の周波数成分を定めるための情報を、適応フィルタ45が出力するようになされている。
送信側ローパスフィルタ部40及び受信側ローパスフィルタ部41に、可変構成のものを適用した理由は、以下の通りである。
第4の実施形態は、ローパスフィルタ処理の演算を第3の実施形態より更に削減し、実際の装置設定を容易にすることを考慮してなされたものであり、ローパスフィルタの周波数設定を自動的に行うようにしたものである。
第3の実施形態では、300Hzを閾値として低域検出を行い、オフセット除去の実行有無を判断していた。このような決め方は一般電話回線では有用である。しかし、独自の専用線を敷設している場合などは、回線の許容する下限の周波数が300Hzとは限らず、第3の実施形態を適用できないことも生じる。第3の実施形態では、このようなときに、ローパスフィルタの遮断周波数を設計し直さなければならない。一方、エコーキャンセラにおいて、フィルタ部12のタップ長は、ハイブリッド回路4の様子(交換機の種類、ハイブリッド回路までの距離)などに応じて、適宜変更しなければならない場合が多い。すなわち、エコーキャンセラのタップ長によっても、エコーキャンセラの表現可能な低域周波数が影響を受けてしまう。上述したように、低周波数成分によるエコーキャンセラの性能劣化は、そのとき、エコーキャンセラに設定したフィルタ部のタップ長で表現できない低域周波数成分があると必ず発生してしまう。第4の実施形態では、以下に述べるように、回線の許容する低域周波数の値や、エコーキャンセラのフィルタタップ長の様子に関わらず、オフセットを適切に除去しようとしている。
第4の実施形態では、エコーキャンセラのフィルタ部12で表現でない周波数があるか否かは、タップ長をパラメータとして後述するように検出する((8)式参照)。すなわち、第4の実施形態では、上述のような事情でエコーキャンセラのタップ長を変更しても、自動的に設定タップ長で表現不可能な周波数成分があるか否かを判別して、最適なオフセット除去を実行できるようにしてエコーキャンセル性能を確保する。
設計者などは、適応フィルタ45のフィルタ部12のタップ長Lを設定する。タップ長は、上述したように、設計者がハイブリッド回路4の様子を考慮して適宜設定すれば良い。例えば、256タップを適用可能であるが、これに限定されない。適応フィルタ45は、送信側ローパスフィルタ部40及び受信側ローパスフィルタ部41にタップ長Lを出力する。
送信側ローパスフィルタ部40では、タップ長Lに応じて、下限周波数LF(Hz)を(9)式のように計算する。(9)式において、sfはサンプリング周波数であり、例えば、1600Hzを適用可能であるがこれに限定されない。
LF=sf/(L−1) (9)
次に、送信側ローパスフィルタ部40は、(9)式に従って求めた下限周波数LF以下を通過させるようにする。受信側ローパスフィルタ部41も同様に、(9)式に従って下限周波数LFを求め、求めた下限周波数LF以下を通過させるようにする。このような設定後の動作は、第3の実施形態と同様であり、その説明は省略する。
第4の実施形態によれば、第3の実施形態と同様な効果を奏することができる。さらに、送信側ローパスフィルタ部及び受信側ローパスフィルタ部が、適応フィルタのタップ長Lの可変設定に連動して自動的に下限周波数LF(Hz)を変更するようにしたので、エコーキャンセラのタップ長を設置状況に応じて変更しても、自動的に最適なオフセットの除去を行い、エコーのない広帯域通信を実現可能にできる。
(E)他の実施形態
第4の実施形態では、可変ローパスフィルタを用いた場合を説明したが、FFT等の周波数分析を用いる場合にも、可変構成を採用し、フィルタタップ数で定まる下限周波数LF(Hz)を検出閾値に設定するようにしても良い。
第2〜第4の実施形態においては、受信信号及び送信信号の周波数成分を処理するFFT部又はローパスフィルタ部を設けたものを示したが、受信信号のみの周波数成分を処理するFFT部又はローパスフィルタ部を設けて、タップ係数のオフセット成分の除去制御を行うようにしても良い。
以上の各実施形態では、広帯域VoIP通信における適用することを意図して説明したが、例えば、従来のようにA/D変換器がオフセット成分を付与することが原因となるVoIPを使わない交換通話などに介在するエコーキャンセラにも本発明を適用することができる。
また、上記実施形態においては、本発明のエコーキャンセラを、回線エコーを除去するエコーキャンセラに適用した場合を示したが、マイクロホンからスピーカに流れるエコーを除去するエコーキャンセラに適用することができる。
さらに、上記実施形態においては、タップ係数のオフセットを、その時刻の全てのタップ係数の平均値で求めたり、過去のタップ係数の平均で求めたりするものを示したが、中央値や重み付け平均など、他の算出方法を適用しても良い。また、適応フィルタのタップ数の設定値Lに応じたりし、タップ係数のオフセットの算出に用いる過去のタップ係数の個数nを変化させるようにしても良い。
第1の実施形態のエコーキャンセラの構成を示すブロック図である。 第1の実施形態でタップ係数のオフセットを除去するオフセット除去部を設けた理由の説明図(その1)である。 第1の実施形態でタップ係数のオフセットを除去するオフセット除去部を設けた理由の説明図(その2)である。 第1の実施形態でタップ係数のオフセットを除去するオフセット除去部を設けた理由の説明図(その3)である。 第2の実施形態のエコーキャンセラの構成を示すブロック図である。 第3の実施形態のエコーキャンセラの構成を示すブロック図である。 第4の実施形態のエコーキャンセラの構成を示すブロック図である。
符号の説明
8…加算器、10…双方向通信検出部、11…係数更新部、12…フィルタ部、13、22…オフセット除去部、14、14A、14B、14C…エコーキャンセラ、15、45…適応フィルタ、16…カウンタ、20…送信側FFT部、21…受信側FFT部、30、40…送信側ローパスフィルタ部、31、41…受信側ローパスフィルタ部。

Claims (6)

  1. フィルタ部と係数更新部とを有する適応フィルタを利用し、遠端入力信号から、エコーレプリカ信号を形成するエコーレプリカ形成手段と、近端入力信号からエコーレプリカ信号を減算して近端入力信号におけるエコー成分を除去するエコー除去手段とを有するエコーキャンセラにおいて、
    上記適応フィルタのフィルタ係数から、低域周波数の影響によるオフセット成分を除去するオフセット除去手段を有することを特徴とするエコーキャンセラ。
  2. 上記オフセット除去手段は、所定タイミングにおける、タップ長分のフィルタ係数自体の平均値をオフセット成分と算出して、上記適応フィルタのフィルタ係数から、オフセット成分を除去することを特徴とする請求項1に記載のエコーキャンセラ。
  3. 上記オフセット除去手段は、過去の所定期間のフィルタ係数の平均値をオフセット成分と算出して、上記適応フィルタのフィルタ係数から、オフセット成分を除去することを特徴とする請求項1に記載のエコーキャンセラ。
  4. 上記オフセット除去手段は、所定期間毎に1回ずつ、オフセット成分の除去を行うことを特徴とする請求項2又は3に記載のエコーキャンセラ。
  5. 遠端入力信号及び又は近端入力信号が所定周波数以下の低域成分を含むか否かを検出する周波数成分検出手段を有し、上記オフセット除去手段は、上記周波数成分検出手段が、低域成分を含むと検出したことを条件として、オフセット成分の除去を行うことを特徴とする請求項1〜4のいずれかに記載のエコーキャンセラ。
  6. 上記周波数成分検出手段は、上記適応フィルタのタップ長の設定値に応じ、上記所定周波数を変化するものであることを特徴とする請求項5に記載のエコーキャンセラ。
JP2003376068A 2003-11-05 2003-11-05 エコーキャンセラ Expired - Fee Related JP4403776B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2003376068A JP4403776B2 (ja) 2003-11-05 2003-11-05 エコーキャンセラ
PCT/JP2004/015890 WO2005046077A1 (ja) 2003-11-05 2004-10-27 エコーキャンセラ
GB0608298A GB2423681B (en) 2003-11-05 2004-10-27 Echo canceller
US10/578,323 US7773742B2 (en) 2003-11-05 2004-10-27 Echo canceller
CN2004800300975A CN1868136B (zh) 2003-11-05 2004-10-27 回波消除器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003376068A JP4403776B2 (ja) 2003-11-05 2003-11-05 エコーキャンセラ

Publications (2)

Publication Number Publication Date
JP2005142756A true JP2005142756A (ja) 2005-06-02
JP4403776B2 JP4403776B2 (ja) 2010-01-27

Family

ID=34567098

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003376068A Expired - Fee Related JP4403776B2 (ja) 2003-11-05 2003-11-05 エコーキャンセラ

Country Status (5)

Country Link
US (1) US7773742B2 (ja)
JP (1) JP4403776B2 (ja)
CN (1) CN1868136B (ja)
GB (1) GB2423681B (ja)
WO (1) WO2005046077A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011514706A (ja) * 2008-01-31 2011-05-06 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ エコー抑制のためのフィルタ係数を演算する装置および方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8457614B2 (en) 2005-04-07 2013-06-04 Clearone Communications, Inc. Wireless multi-unit conference phone
GB2439988A (en) * 2005-06-01 2008-01-16 Tecteon Plc Subband coefficient adaptor for adaptive filter
GB2449720A (en) * 2007-05-31 2008-12-03 Zarlink Semiconductor Inc Detecting double talk conditions in a hands free communication system
JP5321914B2 (ja) * 2007-09-20 2013-10-23 日本電気株式会社 システム同定装置及びシステム同定方法
US8199927B1 (en) 2007-10-31 2012-06-12 ClearOnce Communications, Inc. Conferencing system implementing echo cancellation and push-to-talk microphone detection using two-stage frequency filter
US8050398B1 (en) 2007-10-31 2011-11-01 Clearone Communications, Inc. Adaptive conferencing pod sidetone compensator connecting to a telephonic device having intermittent sidetone
US8254588B2 (en) * 2007-11-13 2012-08-28 Stmicroelectronics Asia Pacific Pte., Ltd. System and method for providing step size control for subband affine projection filters for echo cancellation applications
JP5321372B2 (ja) * 2009-09-09 2013-10-23 沖電気工業株式会社 エコーキャンセラ
US9628141B2 (en) 2012-10-23 2017-04-18 Interactive Intelligence Group, Inc. System and method for acoustic echo cancellation
WO2016037349A1 (en) * 2014-09-12 2016-03-17 Lattice Semiconductor Corporation Calibration for echo cancellation in a full duplex communication system

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06101759B2 (ja) * 1988-02-02 1994-12-12 沖電気工業株式会社 エコーキャンセラ
JPH0678046A (ja) * 1992-08-25 1994-03-18 Fujitsu Ltd ハンズフリー・システムで用いられる音声スイッチ
US5307405A (en) * 1992-09-25 1994-04-26 Qualcomm Incorporated Network echo canceller
JPH08251082A (ja) * 1995-03-13 1996-09-27 Sony Corp エコー除去装置
EP0771515A2 (en) 1995-04-03 1997-05-07 Koninklijke Philips Electronics N.V. Signal amplification system with automatic equalizer
US6408070B2 (en) * 1998-04-30 2002-06-18 Nortel Networks Limited Method and apparatus for echo control in a communication system
US6876751B1 (en) * 1998-09-30 2005-04-05 House Ear Institute Band-limited adaptive feedback canceller for hearing aids
AU6168099A (en) 1998-09-30 2000-04-17 House Ear Institute Band-limited adaptive feedback canceller for hearing aids
US6901143B1 (en) * 1999-01-11 2005-05-31 Nec Corporation Voice switching system capable of improving a quality of conversation
JP3929686B2 (ja) * 2000-08-14 2007-06-13 松下電器産業株式会社 音声スイッチング装置およびその方法
JP3680009B2 (ja) * 2001-07-25 2005-08-10 株式会社東芝 エコーキャンセラ
US7242762B2 (en) * 2002-06-24 2007-07-10 Freescale Semiconductor, Inc. Monitoring and control of an adaptive filter in a communication system
JP4457639B2 (ja) * 2003-11-04 2010-04-28 沖電気工業株式会社 エコーキャンセラ

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011514706A (ja) * 2008-01-31 2011-05-06 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ エコー抑制のためのフィルタ係数を演算する装置および方法

Also Published As

Publication number Publication date
US7773742B2 (en) 2010-08-10
JP4403776B2 (ja) 2010-01-27
GB2423681B (en) 2007-09-26
WO2005046077A1 (ja) 2005-05-19
CN1868136B (zh) 2010-04-14
GB2423681A (en) 2006-08-30
GB0608298D0 (en) 2006-06-07
CN1868136A (zh) 2006-11-22
US20070058798A1 (en) 2007-03-15

Similar Documents

Publication Publication Date Title
CN110838300B (zh) 回声消除的处理方法及处理系统
US7203308B2 (en) Echo canceller ensuring further reduction in residual echo
JP2538176B2 (ja) エコ―制御装置
KR101089481B1 (ko) 스펙트럼 음향 특성에 기초한 더블 토크 검출 방법
JP4568439B2 (ja) エコー抑圧装置
US8098813B2 (en) Communication system
US20050286714A1 (en) Echo canceling apparatus, telephone set using the same, and echo canceling method
JP4457639B2 (ja) エコーキャンセラ
US8160239B2 (en) Echo canceller and speech processing apparatus
JP2008263336A (ja) エコーキャンセラおよびその残留エコー抑制方法
US20080247559A1 (en) Electricity echo cancellation device and method
JP4403776B2 (ja) エコーキャンセラ
JPH11331046A (ja) エコー抑圧方法及び装置並びにエコー抑圧プログラムが記憶されたコンピュータに読取り可能な記憶媒体
KR19980086461A (ko) 핸드 프리 전화기
WO2001054296A1 (fr) Dispositif de communication de sons et processeur d'echo
JP2009094802A (ja) 通信装置
CN106297816B (zh) 一种回声消除的非线性处理方法和装置及电子设备
JP4312227B2 (ja) エコー処理方法及び装置
JP4475155B2 (ja) エコーキャンセラ
JP2006033802A (ja) エコーキャンセル装置およびそれを用いた電話機、並びにエコーキャンセル方法
JP3187716B2 (ja) 反響消去装置
EP2223522B1 (en) Non linear acoustic feedback suppression in a telephone device
JP3187715B2 (ja) 反響消去装置
JP4442381B2 (ja) エコー・キャンセラ制御方法と装置。
JP3403891B2 (ja) 反響消去装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080304

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080428

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090406

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20090413

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091013

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091026

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121113

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121113

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121113

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121113

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131113

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees