JP2013017192A - 反響消去装置、反響消去方法、反響消去プログラム - Google Patents

反響消去装置、反響消去方法、反響消去プログラム Download PDF

Info

Publication number
JP2013017192A
JP2013017192A JP2012180010A JP2012180010A JP2013017192A JP 2013017192 A JP2013017192 A JP 2013017192A JP 2012180010 A JP2012180010 A JP 2012180010A JP 2012180010 A JP2012180010 A JP 2012180010A JP 2013017192 A JP2013017192 A JP 2013017192A
Authority
JP
Japan
Prior art keywords
signal
echo
adaptive filter
unit
pseudo echo
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012180010A
Other languages
English (en)
Other versions
JP5406966B2 (ja
Inventor
Shoichiro Saito
翔一郎 齊藤
Akira Nakagawa
朗 中川
Yoichi Haneda
陽一 羽田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2012180010A priority Critical patent/JP5406966B2/ja
Publication of JP2013017192A publication Critical patent/JP2013017192A/ja
Application granted granted Critical
Publication of JP5406966B2 publication Critical patent/JP5406966B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Circuit For Audible Band Transducer (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
  • Telephone Function (AREA)

Abstract

【課題】エコー経路の音響特性が非線形となってしまう場合でも、十分に反響を消去できる反響消去装置を提供する。
【解決手段】本発明の反響消去装置は、係数計算部、M個の適応フィルタ部、重み付け加算部、減算部を備える。係数計算部は、予め定めた複数の音量範囲のうち受話信号の音量が属する音量範囲とその近傍の音量範囲に対応する重み係数が他の音量範囲に対応する重み係数よりも大きな値となるようにM個の重み係数を求める。適応フィルタ部は、重み係数ごとに対応し受話信号をフィルタリングすることで個別擬似エコー信号を生成するフィルタ手段と、受話信号と送話信号と対応する重み係数からフィルタ手段を更新する更新量計算手段とを有する。重み付け加算部は、各適応フィルタ部が生成する個別擬似エコー信号に各適応フィルタ部に対応する重み係数を乗算したものを加算して擬似エコー信号を求める。減算部は、収音信号から擬似エコー信号を減算する。
【選択図】図9

Description

本発明は、収音信号から受話信号の反響を取り除くことにより送話信号を生成する反響消去装置、反響消去方法、反響消去プログラムに関する。
反響消去装置(エコーキャンセラ)は、スピーカから出て部屋のエコー経路(音響特性など)を経てマイクに入った信号を推定し、マイクで収音した信号(収音信号)から差し引いて送話信号とするものである。従来の技術とした、非特許文献1の「線形適応フィルタ」を用いた反響消去装置と、非特許文献2の「Volterraフィルタ」を用いた非線形反響消去装置がある。
非特許文献1の反響消去装置の構成例を図1に示す。通信相手の装置から送られてきた受話信号x(n)は、スピーカ970から出力され、部屋などのエコー経路990を経てマイク980で収音される。反響消去装置900は、フィルタ手段911と更新量計算手段912を有する適応フィルタ部910と、減算部920とを備える。反響消去装置900は、受話信号x(n)とマイクで収音した収音信号y(n)とを入力とし、通信相手の装置に送る送話信号e(n)を出力する。nはデジタル信号の時刻を示す整数である。適応フィルタ部910のフィルタ手段911のタップ長をL(Lは1以上の整数)とすると、時刻nのときのフィルタ手段911の適応フィルタ係数h^(n)は、
h^(n)=[h(n),h(n),…,h(n)] (1)
と表現できる。ただし、Tは転置を意味する。このまた、現在を含めた過去L個分の受話信号x(n)のベクトル表現を
x^(n)=[x(n),x(n−1),…,x(n−L+1)] (2)
とおく。フィルタ手段911は、受話信号ベクトルx^(n)と適応フィルタ係数h^(n)から、擬似エコー信号z(n)を、
z(n)=h^(n)x^(n) (3)
のように求め出力する。減算部920は、収音信号y(n)から擬似エコー信号z(n)を減算し、
e(n)=y(n)−z(n) (4)
のように送話信号e(n)を求める。また、適応フィルタ部910が、例えばNLMSアルゴリズムによる適応フィルタの場合、更新量計算手段912は、更新量w^(n)を
Figure 2013017192
のように求め、フィルタ手段911の次の時刻n+1の適応フィルタ係数h^(n+1)を、
h^(n+1)=h^(n)+w^(n) (6)
のように毎時刻更新する。ただし、‖・‖はベクトルのノルム、μは更新量を調整する係数(ステップサイズ、0<μ<2)、δは式(5)の分母が0にならないための微小な正の定数である。ただし、適応フィルタ部910では線形な反響しか推定しないため、送話信号には非線形な反響が残ってしまい、通話品質が劣化する可能性がある。
非特許文献2は、線形の適応フィルタ以外にVolterra級数の高次項に対応する適応フィルタを用意し、その入力に受話信号に処理を加えたものを用いる点が異なる。例えば、時刻nの2次のVolterraフィルタとその入力は、受話信号x(n)の過去Lサンプル分を考慮すると、
h^(n)=[h0,0(n),h0,1(n),…,h0,L−1(n),
1,1(n),…,hL−1,L−1(n)] (7)
x^(n)=[x(n),x(n)x(n−1),…,x(n)x(n−L+1)

(n−1),…,x(n−L+1)] (8)
となる。
このフィルタは非線形時不変な入力に対応可能だが、高次項を考慮すると次数のべき乗でフィルタ長が長くなり、演算量が多くなる。また、実測では定常音には高い性能を発揮するものの、音量の変動が大きい音声では推定が不安定になり、効果が得られないことがある。
S.Haykin, "Adaptive Filter Theory," Prentice-Hall International Inc., pp.432〜436, 1996. A. Stenger, L. Trautmann, and R. Rabenstein, "Nonlinear acoustic echo cancellation with 2ndorder adaptive volterra filters," Int. Conf. on Acoustics, Speech and Signal Processing, vol.2, pp877〜880, 1999.
例えばハンズフリー通話装置ではスピーカの径が小さいなどの理由から、スピーカとマイクの間のエコー経路の音響特性が非線形となる場合がある。このような場合、非特許文献1の反響消去装置ではエコー経路の線形性を仮定しているので、十分な反響消去ができないため、通話品質が劣化してしまう。また、非特許文献2の反響消去装置では、上述のように演算量が多くなることや音量の変動が大きい音声では不安定になるなどの問題がある。
本発明は、このような問題に鑑みてなされたものであり、通信装置の構造などの様々な理由からエコー経路の音響特性が非線形となってしまう場合でも、十分に反響を消去できる反響消去装置を提供することを目的とする。
本発明の反響消去装置は、係数計算部、M個の適応フィルタ部、重み付け加算部、減算部を備える。
係数計算部は、予め定めた複数の音量範囲のうち、受話信号の音量が属する音量範囲とその近傍の音量範囲とに対応する重み係数が、他の音量範囲に対応する重み係数よりも大きな値となるように、M個(ただし、Mは2以上の整数)の重み係数を求める。適応フィルタ部は、重み係数ごとに対応し、受話信号をフィルタリングすることで個別擬似エコー信号を生成するフィルタ手段と、受話信号と送話信号と対応する重み係数からフィルタ手段を更新する更新量計算手段とをそれぞれ有する。重み付け加算部は、各適応フィルタ部が生成する個別擬似エコー信号に各適応フィルタ部に対応する重み係数を乗算したものを加算して擬似エコー信号を求める。減算部は、収音信号から擬似エコー信号を減算する。
本発明の反響消去装置は、複数個の適応フィルタ部を備え、各適応フィルタ部が主にフィルタリングする音量がそれぞれ異なる。なお、「主にフィルタリングする音量」とは、適応フィルタの出力(個別擬似エコー信号)に対する重み係数が最も大きくなる音量範囲に相当する。
本発明の反響消去装置によれば、複数個の適応フィルタ部を備え、各適応フィルタ部が主にフィルタリングする音量がそれぞれ異なるので、受話信号の音量に依存して変動するインパルス応答を精度よく推定できる。したがって、エコー経路の音響特性が非線形な場合でも、本発明の反響消去装置は十分に反響を消去できる。また、各適応フィルタ部は線形なフィルタリングを行うので、演算量が多くなることを避けることができる。
従来の反響消去装置の機能構成例を示す図。 実施例1の反響消去装置の機能構成例を示す図。 実施例1から3の適応フィルタ部の機能構成例を示す図。 実施例1の反響消去装置の処理フロー例を示す図。 実施例2の反響消去装置の機能構成例を示す図。 実施例2の反響消去装置の処理フロー例を示す図。 実施例3の反響消去装置の機能構成例を示す図。 実施例3の反響消去装置の処理フロー例を示す図。 実施例4の反響消去装置の機能構成例を示す図。 実施例4から6の適応フィルタ部の機能構成例を示す図。 実施例4の反響消去装置の処理フロー例を示す図。 実施例5の反響消去装置の機能構成例を示す図。 実施例5の反響消去装置の処理フロー例を示す図。 実施例6の反響消去装置の機能構成例を示す図。 実施例6の反響消去装置の処理フロー例を示す図。 コンピュータの機能構成例を示す図。 M系列を用いて測定した5つのインパルス応答を示す図。 図17の点線で囲んだ部分を拡大した図。 インパルス応答1とその他のインパルス応答の振幅波形の差分を示す図。 従来の反響消去装置と本発明の反響消去装置の違いを確認した実験の結果を示す図。
以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。以降の説明では、nはデジタル信号の時刻を示す整数、Mは2以上の整数、mは1〜Mの整数、Lは2以上の整数である。x(n)は時刻nの受話信号、y(n)は時刻nの収音信号、e(n)は時刻nの送話信号である。x^(n)は、過去L個分の受話信号x(n)のベクトル表現であり、
x^(n)=[x(n),x(n−1),…,x(n−L+1)] (7)
のように表現される。ただし、Tは転置を意味する。
図2に実施例1の反響消去装置の機能構成例を、図3に適応フィルタ部の機能構成例を示す。また、図4に実施例1の反響消去装置の処理フロー例を示す。反響消去装置100は、音量判定部130、タップ長がLのM個の適応フィルタ部110−1,…,110−M、受話信号切替部140、送話信号切替部150、減算部920を備える。図3(A)に示した適応フィルタ部110−mは、フィルタ手段111−mと更新量計算手段112−mとをそれぞれ有する。なお、フィルタ手段111−mの適応フィルタ係数h^(n)は、
^(n)=[h1,m(n),h2,m(n),…,hL,m(n)] (8)
と表現できる。
音量判定部130は、受話信号x(n)の音量があらかじめ定めたM個の音量範囲の中のどの音量範囲に属すかを判定し、該当する音量範囲を示す音量情報mを出力する(S130)。具体的には、以下のように行えばよいがこの方法に限定する必要はない。あらかじめM−1個の閾値v,…,vM−1(ただし、v<v<…<vM−1)を定めておく。そして、受話信号x(n)の音量として受話信号ベクトルx^(n)のノルム‖x^(n)‖を求め、
Figure 2013017192
のように音量情報mを求める。このように音量情報mを求めた場合、mが大きくなるほど大きい音量に対応することになる。なお、受話信号x(n)の音量は、時刻n−L+1〜nの間の受話信号x(n)の最大値としてもよいし、要素の数をL(適応フィルタ部のタップ長)とは異なる数とした受話信号ベクトルのノルムとしてもよい。
受話信号切替部140は、音量情報mに従って受話信号x(n)を、いずれか1つの適応フィルタ部110−mに入力する(S140)。送話信号切替部150は、音量情報mに従って送話信号e(n)を、受話信号切替部140が受話信号x(n)を入力した適応フィルタ部110−mに入力する(S150)。
適応フィルタ部110−mのフィルタ手段111−mは、受話信号x(n)をフィルタリングすることで擬似エコー信号z(n)を生成する(S111)。具体的には、適応フィルタ係数h^(n)と受話信号ベクトルx^(n)を用いて、
Figure 2013017192
のように求めればよい。減算部920は、収音信号y(n)から擬似エコー信号z(n)を減算し、
e(n)=y(n)−z(n) (11)
のように送話信号e(n)を求める(S920)。
更新量計算手段112−mは、受話信号x(n)と送話信号e(n)からフィルタ手段111−mの適応フィルタ係数h^(n)を更新して次の時刻n+1の適応フィルタ係数h^(n+1)を求める(S112)。具体的には、更新量計算手段112−mは、更新量w^(n)を
Figure 2013017192
のように求め、フィルタ手段111−mの次の時刻n+1の適応フィルタ係数h^(n+1)を、
^(n+1)=h^(n)+w^(n) (13)
のように毎時刻更新する。ただし、‖・‖はベクトルのノルム、μは更新量を調整する係数(ステップサイズ、0<μ<2)、δは式(13)の分母が0にならないための微小な正の定数である。
反響消去装置100は、このような処理を時刻ごとに繰り返す。反響消去装置100では、各時刻で受話信号x(n)の音量に従って適応フィルタ部を選択するので、適応フィルタ係数h^(n)が更新される適応フィルタ部110−mも1つだけである。つまり、1つの適応フィルタ部110−mに着目すると、特定の音量範囲のときだけ受話信号x(n)が入力され、適応フィルタ係数h^(n)が更新される。したがって、その適応フィルタ部110−mの適応フィルタ係数h^(n)は、次第にその適応フィルタ部110−mがフィルタリングする音量範囲に適合したものに更新されていく。そして、特定の音量範囲に適合した適応フィルタ部110−mだけを受話信号の音量に従って選定し、フィルタリングする。したがって、エコー経路990の音響特性が音量に依存する非線形性を有していても、的確に擬似エコー信号を推定できるので、十分に反響を消去できる。また、各時刻では、線形なフィルタリングを行う1つの適応フィルタ部がフィルタリングするだけなので、演算量が多くなることを避けることができる。
なお、適応フィルタ部110−mは、周波数領域での処理を行ってもよい。例えば、図3(B)に示したように、適応フィルタ部110−mは、周波数変換手段113−m、115−m、周波数逆変換手段114−m、周波数領域の処理を行うフィルタ手段116−m、周波数領域の処理を行う更新量計算手段117−mを備えてもよい。図3(B)の適応フィルタ部110−mの場合は、受話信号x(n)は、いくつかの受話信号x(n),…,x(n−F+1)ごとに周波数変換手段113−mで受話信号スペクトルX^(k)に変換される。ただし、Fは1フレームを構成する受話信号x(n)の数、kは周波数を示すインデックスである。フィルタ手段116−mはフィルタリングによって擬似エコー信号スペクトルY^(k)を求める。周波数逆変換手段114−mは擬似エコー信号スペクトルY^(k)を擬似エコー信号y(n),…,y(n−F+1)に変換する。また、周波数変換手段115−mは、いくつかの送話信号e(n),…,e(n−F+1)ごとに送話信号スペクトルE^(k)に変換する。更新量計算手段117−mは、受話信号スペクトルX^(k)と送話信号スペクトルE^(k)から更新量W^(k)を求め、フィルタ手段116−mの適応フィルタ係数を更新する。このような周波数領域での処理を行う適応フィルタを用いても、同様の効果が得られる。
[変形例]
実施例1では、式(12)に示すように、すべての適応フィルタ部110−1,…,110−Mで、更新量w^(n)を求める式は同じであった。本変形例の適応フィルタ部110’−1,…,110’−Mでは、更新量を調整する係数μ(ステップサイズ)を適応フィルタ部110’−mごとに設定する。この点のみが実施例1と異なる。具体的には、μ,…,μをあらかじめ用意しておき、更新量計算手段112’−mが更新量w^(n)を
Figure 2013017192
のように求め、フィルタ手段111−mの次の時刻n+1の適応フィルタ係数h^(n+1)を、
^(n+1)=h^(n)+w^(n) (15)
のように毎時刻更新する。ここで、フィルタリングする受話信号の音量が大きい適応フィルタ部110’−mほど、更新量計算手段112’−mが求める更新量を調整する係数μを、大きい値に設定しておく。つまり、式(9)のように音量情報mを求める場合は、μ<μ<…<μのようにμ,…,μを設定することになる。
このように更新量を調整する係数を設定することで、実施例1と同様の効果が得られる他に、次のような効果も得られる。受話信号x(n)の音量が小さくSN比が悪い場合には、更新量w^(n)が小さくなるので反響消去量が低下しないようにできる。また、受話信号x(n)の音量が大きくSN比がよい場合には、更新量w^(n)が大きくなるので収束速度を速くできる。
図5に実施例2の反響消去装置の機能構成例を、図6に実施例2の反響消去装置の処理フロー例を示す。実施例2の反響消去装置200は、固定フィルタ部210と加算部260が追加された点が反響消去装置100と異なる。固定フィルタ部210は、受話信号x(n)をフィルタリングし、固定擬似エコー信号z(n)を出力する(S210)。例えば、固定フィルタ部210のタップ長をL’(ただし、L’は2以上の整数)、固定フィルタ係数h^を
^=[h1,f,h2,f,…,hL’,f] (16)
とすると、固定フィルタ部210から出力される固定擬似エコー信号z(n)は、
Figure 2013017192
となる。なお、固定フィルタ係数h^は、無響室であらかじめ測定しておいたある音量でのインパルス応答などを用いればよい。
加算部260は、適応フィルタ部110−mが出力した擬似エコー信号と固定擬似エコー信号z(n)とを加算した信号を、新たな擬似エコー信号z(n)とする(S260)。したがって、減算部920に入力される擬似エコー信号z(n)は、
Figure 2013017192
となる。その他の処理フローは実施例1と同じである。また、実施例1変形例のように、更新量を調整する係数がそれぞれ異なる適応フィルタ部110’−1,…,110’−Mを用いてもよい。
反響消去装置200は固定フィルタ部210を備えているので、M個の適応フィルタ部110−1,…,110−Mは、固定フィルタ係数を求めたときの条件との差によって生じる反響の変化分を推定することになる。例えば、固定フィルタ係数が、無響室であらかじめ測定しておいたある音量でのインパルス応答の場合、実際の部屋での反響の違いと受話信号の音量の違いによるインパルス応答の変化のみを推定することになる。このインパルス応答の変化が、固定フィルタ部210のタップ長L’よりも短いタップ数で表現できる場合、適応フィルタ部110−mのタップ数LをL’よりも小さくできる。したがって、反響消去装置200では、実施例1や実施例1変形例と同様の効果が得られる他に、適応フィルタ係数h^(n)の要素の数を少なくでき、演算量を減らすことも期待できる。
図7に実施例3の反響消去装置の機能構成例を、図8に実施例3の反響消去装置の処理フロー例を示す。実施例3の反響消去装置300は、遅延部370、適応フィルタ部310、加算部360が追加された点が反響消去装置100と異なる。また、適応フィルタ部310の機能構成例は図3に示す。
遅延部370は、受話信号x(n)をあらかじめ定めた時間Dだけ遅延させて、遅延信号x(n−D)を出力する(S370)。適応フィルタ部310は、フィルタ手段311(316)と更新量計算手段312(317)とを有する。適応フィルタ部310のフィルタ手段311は、遅延信号x(n−D)をフィルタリングすることで遅延擬似エコー信号z(n)を生成する(S311)。例えば、適応フィルタ部310のタップ長をL”(ただし、L”は2以上の整数)、適応フィルタ係数h^を
^(n)=[h1,0(n),h2,0(n),…,hL”,0(n)] (19)
とすると、適応フィルタ部310から出力される遅延擬似エコー信号z(n)は、
Figure 2013017192
となる。
加算部360は、適応フィルタ部110−mが出力した擬似エコー信号と遅延擬似エコー信号z(n)とを加算した信号を、新たな擬似エコー信号z(n)とする(S360)。したがって、減算部920に入力される擬似エコー信号z(n)は、
Figure 2013017192
となる。適応フィルタ部310の更新量計算手段312は、受話信号x(n)と送話信号e(n)からフィルタ手段311を更新する(S312)。具体的には、更新量計算手段312は、更新量w^(n)を
Figure 2013017192
のように求め、フィルタ手段111−mの次の時刻n+1の適応フィルタ係数h^(n+1)を、
^(n+1)=h^(n)+w^(n) (23)
のように毎時刻更新する。その他の処理フローは実施例1と同じである。また、実施例1変形例のように、更新量を調整する係数がそれぞれ異なる適応フィルタ部110’−1,…,110’−Mを用いてもよい。
反響消去装置300では、L+L”が実質的なタップ長となる。系の非線形性の影響がフィルタのはじめのL個までにしか含まれていない場合、非線形性に対応するためにM個備えられている適応フィルタ部110−mのタップ長Lを短くできる。そして、音量に依存しない線形な範囲を適応フィルタ部310で対応すればよい。このようにLとL”とを定めれば、反響消去の性能は反響消去装置100と同等にできる。さらに、適応フィルタ係数を記録するメモリは、M×L+L”必要であるが、Lを短くできるので全体としてはメモリを節約できる。例えば、ΔLだけ短くできた場合、反響消去装置100の場合よりも、M×ΔL−L”だけメモリを節約できる。
図9に実施例4の反響消去装置の機能構成例を、図10に適応フィルタ部の機能構成例を示す。また、図11に実施例4の反響消去装置の処理フロー例を示す。反響消去装置400は、係数計算部430、タップ長がLのM個の適応フィルタ部410−1,…,410−M、重み付け加算部461、減算部920を備える。図10(A)に示した適応フィルタ部410−mは、フィルタ手段111−mと更新量計算手段412−mとをそれぞれ有する。
係数計算部430は、受話信号x(n)の音量に基づいて、M個の重み係数β,…,βを求める(S430)。重み係数βは、適応フィルタ部410−mごとに対応している。具体的には、以下のように行えばよいがこの方法に限定する必要はない。あらかじめM個の閾値v,…,v(ただし、v<v<…<v)を定めておく。そして、受話信号x(n)の音量として受話信号ベクトルx^(n)のノルム‖x^(n)‖を求め、
Figure 2013017192
のように重み係数β,…,βを求める。なお、受話信号x(n)の音量は、時刻n−L+1〜nの間の受話信号x(n)の最大値としてもよいし、要素の数をL(適応フィルタ部のタップ長)とは異なる数とした受話信号ベクトルのノルムとしてもよい。
各適応フィルタ部410−mのフィルタ手段111−mは、受話信号x(n)をフィルタリングすることで個別擬似エコー信号z(n)を生成する(S110−1,…,S110−M)。重み付け加算部461は、適応フィルタ部410−1,…,410−Mが生成する個別擬似エコー信号z(n),…,z(n)を、重み係数β,…,βを用いて重み付け加算して擬似エコー信号z(n)を求める(S461)。例えば、重み付け加算部461は、係数乗算部440−1,…,440−Mと加算部460で構成すればよい。係数乗算部440−mは、入力された個別擬似エコー信号z(n)と重み係数βとを乗算し、β(n)を出力する(S440−1,…,S440−M)。これらの乗算結果を、加算部460が加算することで、擬似エコー信号z(n)を
Figure 2013017192
のように求める(S460)。減算部920は、収音信号y(n)から擬似エコー信号z(n)を減算し、送話信号e(n)を求める(S920)。
更新量計算手段412−mは、受話信号x(n)と送話信号e(n)と重み係数βからフィルタ手段111−mの適応フィルタ係数h^(n)を更新して次の時刻n+1の適応フィルタ係数h^(n+1)を求める(S412)。具体的には、更新量計算手段412−mは、更新量w^(n)を
Figure 2013017192
のように求め、フィルタ手段111−mの次の時刻n+1の適応フィルタ係数h^(n+1)を、
^(n+1)=h^(n)+w^(n) (27)
のように毎時刻更新する。ただし、‖・‖はベクトルのノルム、μは更新量を調整する係数(ステップサイズ、0<μ<2)、δは式(26)の分母が0にならないための微小な正の定数である。
反響消去装置400は、このような処理を時刻ごとに繰り返す。反響消去装置400では、各時刻で受話信号x(n)の音量に従って適応フィルタ部の重み係数βを計算し、重み係数βに応じた更新量で適応フィルタ係数h^(n)が更新される。つまり、1つの適応フィルタ部110−mに着目すると、重み係数βが大きくなる音量範囲のときには、適応フィルタ係数h^(n)の更新量が大きくなる。したがって、その適応フィルタ部110−mの適応フィルタ係数h^(n)は、次第にその適応フィルタ部110−mが主にフィルタリングする音量範囲に適合したものに更新されていく。そして、特定の音量範囲に適合した適応フィルタ部110−mからの出力の重み係数βが大きくなるように重み付け加算する。したがって、エコー経路990の音響特性が音量に依存する非線形性を有していても、的確に擬似エコー信号を推定できるので、十分に反響を消去できる。なお、いずれか1つの適応フィルタ部に対する重み係数を1とし、他の重み係数を0とするように重み係数を求めると、実質的に反響消去装置100と同じとなる。
反響消去装置400と反響消去装置100とは、複数個の適応フィルタ部を備え、各適応フィルタ部が主にフィルタリングする音量がそれぞれ異なる点で共通する。ここで、「主にフィルタリングする音量」とは、反響消去装置100の場合には、音量情報mに従って受話信号切替部140と送話信号切替部150とが選択した適応フィルタ部110−mがフィルタリングする音量(音量情報が示す音量範囲)である。また、反響消去装置400の場合には、適応フィルタ部410−mの出力(個別擬似エコー信号)に対する重み係数βが最も大きくなる音量範囲に相当する。
なお、適応フィルタ部410−mは、周波数領域での処理を行ってもよい。例えば、図10(B)に示したように、適応フィルタ部410−mは、周波数変換手段113−m、115−m、周波数逆変換手段114−m、周波数領域の処理を行うフィルタ手段116−m、周波数領域の処理を行う更新量計算手段417−mを備えてもよい。図10(B)の適応フィルタ部410−mの場合は、受話信号x(n)は、いくつかの受話信号x(n),…,x(n−F+1)ごとに周波数変換手段113−mで受話信号スペクトルX^(k)に変換される。ただし、Fは1フレームを構成する受話信号x(n)の数、kは周波数を示すインデックスである。フィルタ手段116−mはフィルタリングによって擬似エコー信号スペクトルY^(k)を求める。周波数逆変換手段114−mは擬似エコー信号スペクトルY^(k)を擬似エコー信号y(n),…,y(n−F+1)に変換する。また、周波数変換手段115−mは、いくつかの送話信号e(n),…,e(n−F+1)ごとに送話信号スペクトルE^(k)に変換する。更新量計算手段417−mは、受話信号スペクトルX^(k)と送話信号スペクトルE^(k)と重み係数βから更新量W^(k)を求め、フィルタ手段116−mの適応フィルタ係数を更新する。このような周波数領域での処理を行う適応フィルタを用いても、同様の効果が得られる。
[変形例1]
実施例4では、式(26)に示すように、適応フィルタ部410−1,…,410−Mの更新量w^(n)は重み係数βには依存しているが、主にフィルタリングする音量は考慮していなかった。本変形例の適応フィルタ部410’−1,…,410’−Mでは、更新量を調整する係数μ(ステップサイズ)を適応フィルタ部410’−mごとに設定する。この点のみが実施例4と異なる。具体的には、μ,…,μをあらかじめ用意しておき、更新量計算手段412’−mが更新量w^(n)を
Figure 2013017192
のように求め、フィルタ手段411−mの次の時刻n+1の適応フィルタ係数h^(n+1)を、
^(n+1)=h^(n)+w^(n) (29)
のように毎時刻更新する。ここで、フィルタリングする受話信号の音量が大きい適応フィルタ部410’−mほど、更新量計算手段412’−mが求める更新量を調整する係数μを、大きい値に設定しておく。つまり、式(24)のように音量情報mを求める場合は、μ<μ<…<μのようにμ,…,μを設定することになる。
このように更新量を調整する係数を設定することで、実施例4と同様の効果が得られる他に、次のような効果も得られる。受話信号x(n)の音量が小さくSN比が悪い場合には、更新量w^(n)が小さくなるので反響消去量が低下しないようにできる。また、受話信号x(n)の音量が大きくSN比がよい場合には、更新量w^(n)が大きくなるので収束速度を速くできる。
[変形例2]
実施例4では、係数計算部430がM個の重み係数β,…,βを求める方法として式(24)の例を示した。しかし、この式に限定する必要はない。例えば、式(24)の代わりに、
β=f(x^(n),v,v,…,v) (30)
ただし、
Figure 2013017192
を用いてもよい。この式の場合、重みは正規分布を用いて決めることになる。なお、σは正規分布の標準偏差である。
図12に実施例5の反響消去装置の機能構成例を、図13に実施例5の反響消去装置の処理フロー例を示す。実施例5の反響消去装置500は、固定フィルタ部510が追加された点と、重み付き加算部561が固定フィルタ部510からの出力も加算する点が反響消去装置400と異なる。固定フィルタ部510は、受話信号x(n)をフィルタリングし、固定擬似エコー信号z(n)を出力する(S510)。例えば、固定フィルタ部510のタップ長をL’(ただし、L’は2以上の整数)、固定フィルタ係数h^を
^=[h1,f,h2,f,…,hL’,f] (32)
とすると、固定フィルタ部510から出力される固定擬似エコー信号z(n)は、
Figure 2013017192
となる。なお、固定フィルタ係数h^は、無響室であらかじめ測定しておいたある音量でのインパルス応答などを用いればよい。
重み付き加算部561は、適応フィルタ部410−1,…,410−Mが出力した個別擬似エコー信号z(n),…,z(n)と固定擬似エコー信号z(n)とを重み付け加算した信号を、擬似エコー信号z(n)とする(S561)。例えば、重み付け加算部561は、係数乗算部440−1,…,440−Mと加算部560で構成すればよい。係数乗算部440−mは、入力された個別擬似エコー信号z(n)と重み係数βとを乗算し、β(n)を出力する(S440−1,…,S440−M)。これらの乗算結果と固定擬似エコー信号z(n)を、加算部560が加算することで、擬似エコー信号z(n)を
Figure 2013017192
のように求める(S560)。その他の処理フローは実施例4と同じである。また、実施例4変形例1のように、更新量を調整する係数がそれぞれ異なる適応フィルタ部410’−1,…,410’−Mを用いてもよい。
反響消去装置500は固定フィルタ部510を備えているので、M個の適応フィルタ部410−1,…,410−Mは、固定フィルタ係数を求めたときの条件との差によって生じる反響の変化分を推定することになる。例えば、固定フィルタ係数が、無響室であらかじめ測定しておいたある音量でのインパルス応答の場合、実際の部屋での反響の違いと受話信号の音量の違いによるインパルス応答の変化のみを推定することになる。このインパルス応答の変化が、固定フィルタ部510のタップ長L’よりも短いタップ数で表現できる場合、適応フィルタ部410−mのタップ数LをL’よりも小さくできる。したがって、反響消去装置500では、実施例4や実施例4変形例1と同様の効果が得られる他に、適応フィルタ係数h^(n)の要素の数を少なくでき、演算量を減らすことも期待できる。
図14に実施例6の反響消去装置の機能構成例を、図15に実施例6の反響消去装置の処理フロー例を示す。実施例6の反響消去装置600は、遅延部370、適応フィルタ部610が追加された点と、重み付き加算部661が適応フィルタ部610の出力も加算する点が反響消去装置400と異なる。また、適応フィルタ部610の機能構成例は図10に示す。
遅延部370は、受話信号x(n)をあらかじめ定めた時間Dだけ遅延させて、遅延信号x(n−D)を出力する(S370)。適応フィルタ部610は、フィルタ手段611(616)と更新量計算手段612(617)とを有する。適応フィルタ部610のフィルタ手段611は、遅延信号x(n−D)をフィルタリングすることで遅延擬似エコー信号z(n)を生成する(S611)。例えば、適応フィルタ部610のタップ長をL”(ただし、L”は2以上の整数)、適応フィルタ係数h^を
^(n)=[h1,0(n),h2,0(n),…,hL”,0(n)] (35)
とすると、適応フィルタ部610から出力される遅延擬似エコー信号z(n)は、
Figure 2013017192
となる。
重み付き加算部661は、適応フィルタ部410−1,…,410−Mが出力した個別擬似エコー信号z(n),…,z(n)と遅延擬似エコー信号z(n)とを重み付き加算した信号を、擬似エコー信号z(n)とする(S361)。例えば、重み付け加算部661は、係数乗算部440−1,…,440−Mと加算部660で構成すればよい。係数乗算部440−mは、入力された個別擬似エコー信号z(n)と重み係数βとを乗算し、β(n)を出力する(S440−1,…,S440−M)。これらの乗算結果と遅延擬似エコー信号z(n)とを、加算部660が加算することで、擬似エコー信号z(n)を
Figure 2013017192
のように求める(S460)。
適応フィルタ部610の更新量計算手段612は、受話信号x(n)と送話信号e(n)からフィルタ手段611を更新する(S612)。具体的には、更新量計算手段312は、更新量w^(n)を
Figure 2013017192
のように求め、フィルタ手段111−mの次の時刻n+1の適応フィルタ係数h^(n+1)を、
^(n+1)=h^(n)+w^(n) (39)
のように毎時刻更新する。その他の処理フローは実施例4と同じである。また、実施例4変形例1のように、更新量を調整する係数がそれぞれ異なる適応フィルタ部410’−1,…,410’−Mを用いてもよい。
反響消去装置600では、L+L”が実質的なタップ長となる。系の非線形性の影響がフィルタのはじめのL個までにしか含まれていない場合、非線形性に対応するためにM個備えられている適応フィルタ部410−mのタップ長Lを短くできる。そして、音量に依存しない線形な範囲を適応フィルタ部610で対応すればよい。このようにLとL”とを定めれば、反響消去の性能は反響消去装置400と同等にできる。さらに、適応フィルタ係数を記録するメモリは、M×L+L”必要であるが、Lを短くできるので全体としてはメモリを節約できる。例えば、ΔLだけ短くできた場合、反響消去装置400の場合よりも、M×ΔL−L”だけメモリを節約できる。
図16に、コンピュータの機能構成例を示す。なお、本発明の反響消去装置は、コンピュータ2000の記録部2020に、本発明の各構成部としてコンピュータ2000を動作させるプログラムを読み込ませ、処理部2010、入力部2030、出力部2040などを動作させることで実現できる。また、コンピュータに読み込ませる方法としては、プログラムをコンピュータ読み取り可能な記録媒体に記録しておき、記録媒体からコンピュータに読み込ませる方法、サーバ等に記録されたプログラムを、電気通信回線等を通じてコンピュータに読み込ませる方法などがある。
効果が生じる理由の分析
次に、本発明の効果を確認する。非線形歪みがインパルス応答に及ぼす影響を調べるために、振幅の異なる複数のM系列を用いてインパルス応答の測定を行った。図17に、M系列を用いて測定した5つのインパルス応答を示す。図18は、図17の点線で囲んだ部分を拡大した図である。振幅の小さいM系列で測定したものから順にインパルス応答1〜5と表記している。各インパルス応答はほぼ同じ形をしているが、ピーク値が異なっていることが分かる。
次に、各インパルス応答のピーク値の変動に着目する。まず、測定信号の振幅が一番小さく、非線形歪みの影響が一番少ないと考えられるインパルス応答1を基準とする。ただし、インパルス応答1も雑音の影響は受けている。そして、インパルス応答1とその他のインパルス応答の振幅波形の差分を、インパルス応答のはじめの10個のピーク(12サンプル目から32サンプル目の間)において算出する。その結果を図19に示す。図19の横軸はM系列の振幅、縦軸はインパルス応答の差分である。この図によると、インパルス応答の差分は、多くの場合、入力であるM系列の振幅に応じて単調に増加または減少することが分かる。
このように、系の非線形性はインパルス応答に影響を及ぼすだけでなく、入力信号の大きさによってインパルス応答が規則的に変化することが分かった。これが、入力信号の大きさに応じてインパルス応答を別々に推定することが有効な理由である。
実験結果
筺体内に小型のスピーカ(40mm×20mm)とマイクロホンを設置したものを用い、簡易無響室で測定したデータに対する評価を図20に示す。音声データは8kHzサンプリング、40秒の女声(読み上げ音声)を用いた。このうち最初の10秒間は従来通り単一の適応フィルタ部を学習し、そこまでの推定値をすべての適応フィルタ部の初期値とした。そして、反響消去装置100と反響消去装置300の構成で10秒後から40秒後まで学習した。平均エコー消去量は、20秒後から40秒後の音声が存在する区間で算出した。また、20秒後に適応フィルタの更新を止めた場合についても、同様に平均エコー消去量を計算した。実験に用いたパラメータは、タップ長L=256、適応フィルタ部の数M=13、ステップサイズμ=0.2である。
図20から、図1に示した従来の反響消去装置900よりも、反響消去装置100や反響消去装置300の方がエコー消去量で上回っていることが分かる。
100、200、300 反響消去装置 110、310 適応フィルタ部
111、116、311 フィルタ手段 112、117、312 更新量計算手段
113、115 周波数変換手段 114 周波数逆変換手段
130 音量判定部 140 受話信号切替部
150 送話信号切替部 210 固定フィルタ部
260、360 加算部 370 遅延部
400、500、600 反響消去装置 410、610 適応フィルタ部
411、611 フィルタ手段 412、417、612 更新量計算手段
430 係数計算部 440 係数乗算部
460、560、660 加算部 461、561、661 重み付き加算部
510 固定フィルタ部 900 反響消去装置
910 適応フィルタ部 911 フィルタ手段
912 更新量計算手段 920 減算部

Claims (9)

  1. 受話信号と収音信号が入力され、送話信号を出力する反響消去装置であって、
    予め定めた複数の音量範囲のうち、前記受話信号の音量が属する音量範囲とその近傍の音量範囲とに対応する重み係数が、他の音量範囲に対応する重み係数よりも大きな値となるように、M個(ただし、Mは2以上の整数)の重み係数を求める係数計算部と、
    前記重み係数ごとに対応し、前記受話信号をフィルタリングすることで個別擬似エコー信号を生成するフィルタ手段と、前記受話信号と前記送話信号と対応する前記重み係数から前記フィルタ手段を更新する更新量計算手段とを、それぞれ有するM個の適応フィルタ部と、
    各適応フィルタ部が生成する前記個別擬似エコー信号に前記各適応フィルタ部に対応する前記重み係数を乗算したものを加算して擬似エコー信号を求める重み付け加算部と、
    前記収音信号から前記擬似エコー信号を減算して送話信号を求める減算部と
    を備える反響消去装置。
  2. 請求項1記載の反響消去装置であって、
    さらに
    前記受話信号をフィルタリングし、固定擬似エコー信号を生成する固定フィルタ部
    を備え、
    前記重み付け加算部は、前記固定擬似エコー信号も加算した信号を擬似エコー信号とする
    ことを特徴とする反響消去装置。
  3. 請求項1記載の反響消去装置であって、
    さらに、
    前記受話信号をあらかじめ定めた時間分遅延させて、遅延信号を出力する遅延部と、
    前記遅延信号をフィルタリングすることで遅延擬似エコー信号を生成する第2フィルタ手段と、前記受話信号と前記送話信号から前記第2フィルタ手段を更新する第2更新量計算手段とを有する第2適応フィルタ部と、
    を備え、
    前記重み付け加算部は、前記遅延擬似エコー信号も加算した信号を擬似エコー信号とする
    ことを特徴とする反響消去装置。
  4. 請求項1から3のいずれかに記載の反響消去装置であって、
    主にフィルタリングする受話信号の音量が大きい適応フィルタ部ほど、当該適応フィルタ部の更新量計算手段が求める更新の量を調整する係数が大きい値である
    ことを特徴とする反響消去装置。
  5. 受話信号と収音信号が入力され、適応フィルタを用いて擬似エコー信号を推定し、送話信号を出力する反響消去方法であって、
    予め定めた複数の音量範囲のうち、前記受話信号の音量が属する音量範囲とその近傍の音量範囲とに対応する重み係数が、他の音量範囲に対応する重み係数よりも大きな値となるように、M個(ただし、Mは2以上の整数)の重み係数を求める係数計算ステップと、
    前記重み係数ごとに対応し、前記受話信号を適応フィルタでフィルタリングすることで個別擬似エコー信号を生成するフィルタサブステップと、前記受話信号と前記送話信号と対応する前記重み係数から前記フィルタサブステップの適応フィルタを更新する更新量計算サブステップとを、それぞれ有するM個の適応フィルタステップと、
    各適応フィルタステップが生成する前記個別擬似エコー信号に前記各適応フィルタステップに対応する前記重み係数を乗算したものを加算して擬似エコー信号を求める重み付け加算ステップと、
    前記収音信号から前記擬似エコー信号を減算して送話信号を求める減算ステップと
    を有する反響消去方法。
  6. 請求項5記載の反響消去方法であって、
    さらに
    前記受話信号をフィルタリングし、固定擬似エコー信号を生成する固定フィルタステップ
    を有し、
    前記重み付け加算ステップは、前記固定擬似エコー信号も加算した信号を擬似エコー信号とする
    ことを特徴とする反響消去方法。
  7. 請求項5記載の反響消去方法であって、
    さらに、
    前記受話信号をあらかじめ定めた時間分遅延させて、遅延信号を出力する遅延ステップと、
    前記遅延信号を適応フィルタでフィルタリングすることで遅延擬似エコー信号を生成する第2フィルタサブステップと、前記受話信号と前記送話信号から前記第2フィルタサブステップの適応フィルタを更新する第2更新量計算サブステップとを有する第2適応フィルタステップと、
    を有し、
    前記重み付け加算ステップは、前記遅延擬似エコー信号も加算した信号を擬似エコー信号とする
    ことを特徴とする反響消去方法。
  8. 請求項5から7のいずれかに記載の反響消去方法であって、
    主にフィルタリングする受話信号の音量が大きい適応フィルタステップほど、当該適応フィルタステップの更新量計算サブステップが求める更新の量を調整する係数が大きい値である
    ことを特徴とする反響消去方法。
  9. 請求項1から4のいずれかに記載の反響消去装置としてコンピュータを動作させる反響消去プログラム。
JP2012180010A 2012-08-15 2012-08-15 反響消去装置、反響消去方法、反響消去プログラム Expired - Fee Related JP5406966B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012180010A JP5406966B2 (ja) 2012-08-15 2012-08-15 反響消去装置、反響消去方法、反響消去プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012180010A JP5406966B2 (ja) 2012-08-15 2012-08-15 反響消去装置、反響消去方法、反響消去プログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2009040644A Division JP5149833B2 (ja) 2009-02-24 2009-02-24 反響消去装置、反響消去方法、反響消去プログラム

Publications (2)

Publication Number Publication Date
JP2013017192A true JP2013017192A (ja) 2013-01-24
JP5406966B2 JP5406966B2 (ja) 2014-02-05

Family

ID=47689364

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012180010A Expired - Fee Related JP5406966B2 (ja) 2012-08-15 2012-08-15 反響消去装置、反響消去方法、反響消去プログラム

Country Status (1)

Country Link
JP (1) JP5406966B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107333017A (zh) * 2017-05-22 2017-11-07 西南交通大学 一种重用权系数指数型误差自适应回声消除方法
CN108702424A (zh) * 2016-06-30 2018-10-23 谷歌有限责任公司 用于移动装置中的非线性回声消除的双幅度处理框架

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002016691A (ja) * 2000-06-29 2002-01-18 Toshiba Corp エコーキャンセラ
WO2007049643A1 (ja) * 2005-10-26 2007-05-03 Nec Corporation エコー抑圧方法及び装置
JP2008060715A (ja) * 2006-08-29 2008-03-13 Nippon Telegr & Teleph Corp <Ntt> エコー消去装置、その方法、そのプログラム、およびその記録媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002016691A (ja) * 2000-06-29 2002-01-18 Toshiba Corp エコーキャンセラ
WO2007049643A1 (ja) * 2005-10-26 2007-05-03 Nec Corporation エコー抑圧方法及び装置
JP2008060715A (ja) * 2006-08-29 2008-03-13 Nippon Telegr & Teleph Corp <Ntt> エコー消去装置、その方法、そのプログラム、およびその記録媒体

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108702424A (zh) * 2016-06-30 2018-10-23 谷歌有限责任公司 用于移动装置中的非线性回声消除的双幅度处理框架
CN108702424B (zh) * 2016-06-30 2021-04-20 谷歌有限责任公司 用于声学回声消除的方法、存储介质及电子设备
CN107333017A (zh) * 2017-05-22 2017-11-07 西南交通大学 一种重用权系数指数型误差自适应回声消除方法
CN107333017B (zh) * 2017-05-22 2019-08-20 西南交通大学 一种重用权系数指数型误差自适应回声消除方法

Also Published As

Publication number Publication date
JP5406966B2 (ja) 2014-02-05

Similar Documents

Publication Publication Date Title
CN107636758B (zh) 声学回声消除系统和方法
US5680450A (en) Apparatus and method for canceling acoustic echoes including non-linear distortions in loudspeaker telephones
Guo et al. Novel acoustic feedback cancellation approaches in hearing aid applications using probe noise and probe noise enhancement
US9800734B2 (en) Echo cancellation
JP5751110B2 (ja) 残響抑制装置および残響抑制方法並びに残響抑制プログラム
KR20190085924A (ko) 빔 조향
JP5422054B2 (ja) 時間領域・周波数領域統合反響消去装置及び方法
EP2410763A1 (en) Howling canceller
US9667803B2 (en) Nonlinear acoustic echo cancellation based on transducer impedance
KR102190833B1 (ko) 에코 억제
JP2004349806A (ja) 多チャネル音響エコー消去方法、その装置、そのプログラム及びその記録媒体
KR102157276B1 (ko) 비선형 음향 에코 소거 장치 및 그 방법
JP5406966B2 (ja) 反響消去装置、反響消去方法、反響消去プログラム
JP2003188776A (ja) 音響エコー消去方法、装置及び音響エコー消去プログラム
JP3756828B2 (ja) 反響消去方法、この方法を実施する装置、プログラムおよびその記録媒体
JP2005051744A (ja) 通話装置
KR101442700B1 (ko) 독립성분분석 적응필터를 이용한 헤드폰 유입잡음 제거방법 및 장치
JP5149833B2 (ja) 反響消去装置、反響消去方法、反響消去プログラム
CN112863532A (zh) 回音抑制装置、回音抑制方法以及存储介质
JP2002223182A (ja) 反響消去方法、その装置、そのプログラム及びその記録媒体
JP6143702B2 (ja) エコー消去装置、その方法及びプログラム
Kotte Performance Analysis of Adaptive Algorithms based on different parameters Implemented for Acoustic Echo Cancellation in Speech Signals
Saito et al. Dynamic impulse response model for nonlinear acoustic system and its application to acoustic echo canceller
JP3917116B2 (ja) 反響消去装置、方法、及び反響消去プログラム、そのプログラムを記録した記録媒体
JP5925149B2 (ja) 音響結合量推定装置、エコー消去装置、その方法及びプログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131011

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131022

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131101

R150 Certificate of patent or registration of utility model

Ref document number: 5406966

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees