JP2010199809A - 反響消去装置、反響消去方法、反響消去プログラム - Google Patents
反響消去装置、反響消去方法、反響消去プログラム Download PDFInfo
- Publication number
- JP2010199809A JP2010199809A JP2009040644A JP2009040644A JP2010199809A JP 2010199809 A JP2010199809 A JP 2010199809A JP 2009040644 A JP2009040644 A JP 2009040644A JP 2009040644 A JP2009040644 A JP 2009040644A JP 2010199809 A JP2010199809 A JP 2010199809A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- echo
- adaptive filter
- pseudo echo
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Circuit For Audible Band Transducer (AREA)
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
Abstract
【解決手段】本発明の反響消去装置は、音量判定部または係数計算部、M個の適応フィルタ部(ただし、Mは2以上の整数)を備える。音量判定部は、受話信号の音量があらかじめ定めたM個の音量範囲の中のどの音量範囲に属すかを判定し、該当する音量範囲を示す音量情報を出力する。係数計算部は、受話信号の音量に基づいて、M個の重み係数を求める。適応フィルタ部は、受話信号をフィルタリングすることで擬似エコー信号を生成するフィルタ手段と、受話信号と送話信号からフィルタ手段を更新する更新量計算手段とをそれぞれ有する。音量判定部からの音量情報または係数計算部からの重み係数に従って、主に用いられる適応フィルタ部が異なるように調整される。
【選択図】図2
Description
h^(n)=[h1(n),h2(n),…,hL(n)]T (1)
と表現できる。ただし、Tは転置を意味する。このまた、現在を含めた過去L個分の受話信号x(n)のベクトル表現を
x^(n)=[x(n),x(n−1),…,x(n−L+1)]T (2)
とおく。フィルタ手段911は、受話信号ベクトルx^(n)と適応フィルタ係数h^(n)から、擬似エコー信号z(n)を、
z(n)=h^T(n)x^(n) (3)
のように求め出力する。減算部920は、収音信号y(n)から擬似エコー信号z(n)を減算し、
e(n)=y(n)−z(n) (4)
のように送話信号e(n)を求める。また、適応フィルタ部910が、例えばNLMSアルゴリズムによる適応フィルタの場合、更新量計算手段912は、更新量w^(n)を
h^(n+1)=h^(n)+w^(n) (6)
のように毎時刻更新する。ただし、‖・‖はベクトルのノルム、μは更新量を調整する係数(ステップサイズ、0<μ<2)、δは式(5)の分母が0にならないための微小な正の定数である。ただし、適応フィルタ部910では線形な反響しか推定しないため、送話信号には非線形な反響が残ってしまい、通話品質が劣化する可能性がある。
h^2(n)=[h0,0(n),h0,1(n),…,h0,L−1(n),
h1,1(n),…,hL−1,L−1(n)] (7)
x^2(n)=[x2(n),x(n)x(n−1),…,x(n)x(n−L+1),
x2(n−1),…,x2(n−L+1)] (8)
となる。
x^(n)=[x(n),x(n−1),…,x(n−L+1)]T (7)
のように表現される。ただし、Tは転置を意味する。
hm^(n)=[h1,m(n),h2,m(n),…,hL,m(n)]T (8)
と表現できる。
e(n)=y(n)−z(n) (11)
のように送話信号e(n)を求める(S920)。
hm^(n+1)=hm^(n)+w^(n) (13)
のように毎時刻更新する。ただし、‖・‖はベクトルのノルム、μは更新量を調整する係数(ステップサイズ、0<μ<2)、δは式(13)の分母が0にならないための微小な正の定数である。
実施例1では、式(12)に示すように、すべての適応フィルタ部110−1,…,110−Mで、更新量w^(n)を求める式は同じであった。本変形例の適応フィルタ部110’−1,…,110’−Mでは、更新量を調整する係数μ(ステップサイズ)を適応フィルタ部110’−mごとに設定する。この点のみが実施例1と異なる。具体的には、μ1,…,μMをあらかじめ用意しておき、更新量計算手段112’−mが更新量w^(n)を
hm^(n+1)=hm^(n)+w^(n) (15)
のように毎時刻更新する。ここで、フィルタリングする受話信号の音量が大きい適応フィルタ部110’−mほど、更新量計算手段112’−mが求める更新量を調整する係数μmを、大きい値に設定しておく。つまり、式(9)のように音量情報mを求める場合は、μ1<μ2<…<μMのようにμ1,…,μMを設定することになる。
hf^=[h1,f,h2,f,…,hL’,f]T (16)
とすると、固定フィルタ部210から出力される固定擬似エコー信号zf(n)は、
h0^(n)=[h1,0(n),h2,0(n),…,hL”,0(n)]T (19)
とすると、適応フィルタ部310から出力される遅延擬似エコー信号zd(n)は、
加算部360は、適応フィルタ部110−mが出力した擬似エコー信号と遅延擬似エコー信号zd(n)とを加算した信号を、新たな擬似エコー信号z(n)とする(S360)。したがって、減算部920に入力される擬似エコー信号z(n)は、
h0^(n+1)=h0^(n)+w^(n) (23)
のように毎時刻更新する。その他の処理フローは実施例1と同じである。また、実施例1変形例のように、更新量を調整する係数がそれぞれ異なる適応フィルタ部110’−1,…,110’−Mを用いてもよい。
hm^(n+1)=hm^(n)+w^(n) (27)
のように毎時刻更新する。ただし、‖・‖はベクトルのノルム、μは更新量を調整する係数(ステップサイズ、0<μ<2)、δは式(26)の分母が0にならないための微小な正の定数である。
実施例4では、式(26)に示すように、適応フィルタ部410−1,…,410−Mの更新量w^(n)は重み係数βmには依存しているが、主にフィルタリングする音量は考慮していなかった。本変形例の適応フィルタ部410’−1,…,410’−Mでは、更新量を調整する係数μ(ステップサイズ)を適応フィルタ部410’−mごとに設定する。この点のみが実施例4と異なる。具体的には、μ1,…,μMをあらかじめ用意しておき、更新量計算手段412’−mが更新量w^(n)を
hm^(n+1)=hm^(n)+w^(n) (29)
のように毎時刻更新する。ここで、フィルタリングする受話信号の音量が大きい適応フィルタ部410’−mほど、更新量計算手段412’−mが求める更新量を調整する係数μmを、大きい値に設定しておく。つまり、式(24)のように音量情報mを求める場合は、μ1<μ2<…<μMのようにμ1,…,μMを設定することになる。
実施例4では、係数計算部430がM個の重み係数β1,…,βMを求める方法として式(24)の例を示した。しかし、この式に限定する必要はない。例えば、式(24)の代わりに、
βi=fi(x^(n),v1,v2,…,vM) (30)
ただし、
hf^=[h1,f,h2,f,…,hL’,f]T (32)
とすると、固定フィルタ部510から出力される固定擬似エコー信号zf(n)は、
重み付き加算部561は、適応フィルタ部410−1,…,410−Mが出力した個別擬似エコー信号z1(n),…,zM(n)と固定擬似エコー信号zf(n)とを重み付け加算した信号を、擬似エコー信号z(n)とする(S561)。例えば、重み付け加算部561は、係数乗算部440−1,…,440−Mと加算部560で構成すればよい。係数乗算部440−mは、入力された個別擬似エコー信号zm(n)と重み係数βmとを乗算し、βmzm(n)を出力する(S440−1,…,S440−M)。これらの乗算結果と固定擬似エコー信号zf(n)を、加算部560が加算することで、擬似エコー信号z(n)を
h0^(n)=[h1,0(n),h2,0(n),…,hL”,0(n)]T (35)
とすると、適応フィルタ部610から出力される遅延擬似エコー信号zd(n)は、
重み付き加算部661は、適応フィルタ部410−1,…,410−Mが出力した個別擬似エコー信号z1(n),…,zM(n)と遅延擬似エコー信号zd(n)とを重み付き加算した信号を、擬似エコー信号z(n)とする(S361)。例えば、重み付け加算部661は、係数乗算部440−1,…,440−Mと加算部660で構成すればよい。係数乗算部440−mは、入力された個別擬似エコー信号zm(n)と重み係数βmとを乗算し、βmzm(n)を出力する(S440−1,…,S440−M)。これらの乗算結果と遅延擬似エコー信号zd(n)とを、加算部660が加算することで、擬似エコー信号z(n)を
適応フィルタ部610の更新量計算手段612は、受話信号x(n)と送話信号e(n)からフィルタ手段611を更新する(S612)。具体的には、更新量計算手段312は、更新量w^(n)を
h0^(n+1)=h0^(n)+w^(n) (39)
のように毎時刻更新する。その他の処理フローは実施例4と同じである。また、実施例4変形例1のように、更新量を調整する係数がそれぞれ異なる適応フィルタ部410’−1,…,410’−Mを用いてもよい。
次に、本発明の効果を確認する。非線形歪みがインパルス応答に及ぼす影響を調べるために、振幅の異なる複数のM系列を用いてインパルス応答の測定を行った。図17に、M系列を用いて測定した5つのインパルス応答を示す。図18は、図17の点線で囲んだ部分を拡大した図である。振幅の小さいM系列で測定したものから順にインパルス応答1〜5と表記している。各インパルス応答はほぼ同じ形をしているが、ピーク値が異なっていることが分かる。
筺体内に小型のスピーカ(40mm×20mm)とマイクロホンを設置したものを用い、簡易無響室で測定したデータに対する評価を図20に示す。音声データは8kHzサンプリング、40秒の女声(読み上げ音声)を用いた。このうち最初の10秒間は従来通り単一の適応フィルタ部を学習し、そこまでの推定値をすべての適応フィルタ部の初期値とした。そして、反響消去装置100と反響消去装置300の構成で10秒後から40秒後まで学習した。平均エコー消去量は、20秒後から40秒後の音声が存在する区間で算出した。また、20秒後に適応フィルタの更新を止めた場合についても、同様に平均エコー消去量を計算した。実験に用いたパラメータは、タップ長L=256、適応フィルタ部の数M=13、ステップサイズμ=0.2である。
111、116、311 フィルタ手段 112、117、312 更新量計算手段
113、115 周波数変換手段 114 周波数逆変換手段
130 音量判定部 140 受話信号切替部
150 送話信号切替部 210 固定フィルタ部
260、360 加算部 370 遅延部
400、500、600 反響消去装置 410、610 適応フィルタ部
411、611 フィルタ手段 412、417、612 更新量計算手段
430 係数計算部 440 係数乗算部
460、560、660 加算部 461、561、661 重み付き加算部
510 固定フィルタ部 900 反響消去装置
910 適応フィルタ部 911 フィルタ手段
912 更新量計算手段 920 減算部
Claims (15)
- 受話信号と収音信号が入力され、送話信号を出力する反響消去装置であって、
前記受話信号の音量があらかじめ定めたM個(ただし、Mは2以上の整数)の音量範囲の中のどの音量範囲に属すかを判定し、該当する音量範囲を示す音量情報を出力する音量判定部と、
前記受話信号をフィルタリングすることで擬似エコー信号を生成するフィルタ手段と、前記受話信号と前記送話信号から前記フィルタ手段を更新する更新量計算手段とを、それぞれ有するM個の適応フィルタ部と、
前記音量情報に従って前記受話信号が入力される適応フィルタ部を切り替える受話信号切替部と、
前記音量情報に従って前記送話信号が入力される適応フィルタ部を切り替える送話信号切替部と、
前記収音信号から前記擬似エコー信号を減算して送話信号を求める減算部と
を備える反響消去装置。 - 請求項1記載の反響消去装置であって、
さらに
前記受話信号をフィルタリングし、固定擬似エコー信号を生成する固定フィルタ部と、
前記擬似エコー信号と前記固定擬似エコー信号とを加算した信号を、新たな擬似エコー信号とする加算部と
を備えることを特徴とする反響消去装置。 - 請求項1記載の反響消去装置であって、
さらに、
前記受話信号をあらかじめ定めた時間分遅延させて、遅延信号を出力する遅延部と、
前記遅延信号をフィルタリングすることで遅延擬似エコー信号を生成する第2フィルタ手段と、前記受話信号と前記送話信号から前記第2フィルタ手段を更新する第2更新量計算手段とを有する第2適応フィルタ部と、
前記擬似エコー信号と前記遅延擬似エコー信号とを加算した信号を、新たな擬似エコー信号とする加算部と
を備えることを特徴とする反響消去装置。 - 受話信号と収音信号が入力され、送話信号を出力する反響消去装置であって、
前記受話信号の音量に基づいて、M個(ただし、Mは2以上の整数)の重み係数を求める係数計算部と、
前記重み係数ごとに対応し、前記受話信号をフィルタリングすることで個別擬似エコー信号を生成するフィルタ手段と、前記受話信号と前記送話信号と対応する前記重み係数から前記フィルタ手段を更新する更新量計算手段とを、それぞれ有するM個の適応フィルタ部と、
各適応フィルタ部が生成する前記個別擬似エコー信号を、前記重み係数を用いて重み付け加算して擬似エコー信号を求める重み付け加算部と、
前記収音信号から前記擬似エコー信号を減算して送話信号を求める減算部と
を備える反響消去装置。 - 請求項4記載の反響消去装置であって、
さらに
前記受話信号をフィルタリングし、固定擬似エコー信号を生成する固定フィルタ部
を備え、
前記重み付け加算部は、前記固定擬似エコー信号も加算した信号を擬似エコー信号とする
ことを特徴とする反響消去装置。 - 請求項4記載の反響消去装置であって、
さらに、
前記受話信号をあらかじめ定めた時間分遅延させて、遅延信号を出力する遅延部と、
前記遅延信号をフィルタリングすることで遅延擬似エコー信号を生成する第2フィルタ手段と、前記受話信号と前記送話信号から前記第2フィルタ手段を更新する第2更新量計算手段とを有する第2適応フィルタ部と、
を備え、
前記重み付け加算部は、前記遅延擬似エコー信号も加算した信号を擬似エコー信号とする
ことを特徴とする反響消去装置。 - 請求項1から6のいずれかに記載の反響消去装置であって、
主にフィルタリングする受話信号の音量が大きい適応フィルタ部ほど、当該適応フィルタ部の更新量計算手段が求める更新の量を調整する係数が大きい値である
ことを特徴とする反響消去装置。 - 受話信号と収音信号が入力され、適応フィルタを用いて擬似エコー信号を推定し、送話信号を出力する反響消去方法であって、
前記受話信号の音量があらかじめ定めたM個(ただし、Mは2以上の整数)の音量範囲の中のどの音量範囲に属すかを判定し、該当する音量範囲を示す音量情報を出力する音量判定ステップと、
前記音量情報に従って前記受話信号が入力される適応フィルタを切り替える受話信号切替ステップと、
前記音量情報に従って前記送話信号が入力される適応フィルタを切り替える送話信号切替ステップと、
前記受話信号を適応フィルタでフィルタリングすることで擬似エコー信号を生成するフィルタサブステップと、前記受話信号と前記送話信号から前記フィルタサブステップの適応フィルタを更新する更新量計算サブステップとを、それぞれ有するM個の適応フィルタステップと、
前記収音信号から前記擬似エコー信号を減算して送話信号を求める減算ステップと
を有する反響消去方法。 - 請求項8記載の反響消去方法であって、
さらに
前記受話信号をフィルタリングし、固定擬似エコー信号を生成する固定フィルタステップと、
前記擬似エコー信号と前記固定擬似エコー信号とを加算した信号を、前記減算ステップで用いる擬似エコー信号として出力する加算ステップと
を有することを特徴とする反響消去方法。 - 請求項8記載の反響消去方法であって、
さらに、
前記受話信号をあらかじめ定めた時間分遅延させて、遅延信号を出力する遅延ステップと、
前記遅延信号を適応フィルタでフィルタリングすることで遅延擬似エコー信号を生成する第2フィルタサブステップと、前記受話信号と前記送話信号から前記第2フィルタサブステップの適応フィルタを更新する第2更新量計算サブステップとを有する第2適応フィルタステップと、
前記擬似エコー信号と前記遅延擬似エコー信号とを加算した信号を、前記減算ステップで用いる擬似エコー信号として出力する加算ステップと
を有することを特徴とする反響消去方法。 - 受話信号と収音信号が入力され、適応フィルタを用いて擬似エコー信号を推定し、送話信号を出力する反響消去方法であって、
前記受話信号の音量に基づいて、M個(ただし、Mは2以上の整数)の重み係数を求める係数計算ステップと、
前記重み係数ごとに対応し、前記受話信号を適応フィルタでフィルタリングすることで個別擬似エコー信号を生成するフィルタサブステップと、前記受話信号と前記送話信号と対応する前記重み係数から前記フィルタサブステップの適応フィルタを更新する更新量計算サブステップとを、それぞれ有するM個の適応フィルタステップと、
各適応フィルタステップが生成する前記個別擬似エコー信号を、前記重み係数を用いて重み付け加算して擬似エコー信号を求める重み付け加算ステップと、
前記収音信号から前記擬似エコー信号を減算して送話信号を求める減算ステップと
を有する反響消去方法。 - 請求項11記載の反響消去方法であって、
さらに
前記受話信号をフィルタリングし、固定擬似エコー信号を生成する固定フィルタステップ
を有し、
前記重み付け加算ステップは、前記固定擬似エコー信号も加算した信号を擬似エコー信号とする
ことを特徴とする反響消去方法。 - 請求項11記載の反響消去方法であって、
さらに、
前記受話信号をあらかじめ定めた時間分遅延させて、遅延信号を出力する遅延ステップと、
前記遅延信号を適応フィルタでフィルタリングすることで遅延擬似エコー信号を生成する第2フィルタサブステップと、前記受話信号と前記送話信号から前記第2フィルタサブステップの適応フィルタを更新する第2更新量計算サブステップとを有する第2適応フィルタステップと、
を有し、
前記重み付け加算ステップは、前記遅延擬似エコー信号も加算した信号を擬似エコー信号とする
ことを特徴とする反響消去方法。 - 請求項8から13のいずれかに記載の反響消去方法であって、
主にフィルタリングする受話信号の音量が大きい適応フィルタステップほど、当該適応フィルタステップの更新量計算サブステップが求める更新の量を調整する係数が大きい値である
ことを特徴とする反響消去方法。 - 請求項1から7のいずれかに記載の反響消去装置としてコンピュータを動作させる反響消去プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009040644A JP5149833B2 (ja) | 2009-02-24 | 2009-02-24 | 反響消去装置、反響消去方法、反響消去プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009040644A JP5149833B2 (ja) | 2009-02-24 | 2009-02-24 | 反響消去装置、反響消去方法、反響消去プログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012180010A Division JP5406966B2 (ja) | 2012-08-15 | 2012-08-15 | 反響消去装置、反響消去方法、反響消去プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010199809A true JP2010199809A (ja) | 2010-09-09 |
JP5149833B2 JP5149833B2 (ja) | 2013-02-20 |
Family
ID=42824095
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009040644A Expired - Fee Related JP5149833B2 (ja) | 2009-02-24 | 2009-02-24 | 反響消去装置、反響消去方法、反響消去プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5149833B2 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002016691A (ja) * | 2000-06-29 | 2002-01-18 | Toshiba Corp | エコーキャンセラ |
WO2007049643A1 (ja) * | 2005-10-26 | 2007-05-03 | Nec Corporation | エコー抑圧方法及び装置 |
JP2007150586A (ja) * | 2005-11-25 | 2007-06-14 | Yamaha Corp | 回帰音除去装置 |
-
2009
- 2009-02-24 JP JP2009040644A patent/JP5149833B2/ja not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002016691A (ja) * | 2000-06-29 | 2002-01-18 | Toshiba Corp | エコーキャンセラ |
WO2007049643A1 (ja) * | 2005-10-26 | 2007-05-03 | Nec Corporation | エコー抑圧方法及び装置 |
JP2007150586A (ja) * | 2005-11-25 | 2007-06-14 | Yamaha Corp | 回帰音除去装置 |
Also Published As
Publication number | Publication date |
---|---|
JP5149833B2 (ja) | 2013-02-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107636758B (zh) | 声学回声消除系统和方法 | |
US5680450A (en) | Apparatus and method for canceling acoustic echoes including non-linear distortions in loudspeaker telephones | |
JP5451876B2 (ja) | 音響マルチチャネル相殺 | |
US9800734B2 (en) | Echo cancellation | |
JP5751110B2 (ja) | 残響抑制装置および残響抑制方法並びに残響抑制プログラム | |
KR20190085924A (ko) | 빔 조향 | |
WO2001056328A1 (en) | System and method for dual microphone signal noise reduction using spectral subtraction | |
EP2410763A1 (en) | Howling canceller | |
US9667803B2 (en) | Nonlinear acoustic echo cancellation based on transducer impedance | |
KR102190833B1 (ko) | 에코 억제 | |
TW200844980A (en) | Apparatus with an acoustic echo cancellation system and acoustic echo cancellation method | |
CN112863532A (zh) | 回音抑制装置、回音抑制方法以及存储介质 | |
JP2004349806A (ja) | 多チャネル音響エコー消去方法、その装置、そのプログラム及びその記録媒体 | |
JP2013507804A (ja) | 時間領域・周波数領域統合反響消去装置及び方法 | |
JP5662232B2 (ja) | エコー消去装置、その方法及びプログラム | |
JP3787088B2 (ja) | 音響エコー消去方法、装置及び音響エコー消去プログラム | |
JP5406966B2 (ja) | 反響消去装置、反響消去方法、反響消去プログラム | |
KR101442700B1 (ko) | 독립성분분석 적응필터를 이용한 헤드폰 유입잡음 제거방법 및 장치 | |
JP3756828B2 (ja) | 反響消去方法、この方法を実施する装置、プログラムおよびその記録媒体 | |
JP5149833B2 (ja) | 反響消去装置、反響消去方法、反響消去プログラム | |
JP2002223182A (ja) | 反響消去方法、その装置、そのプログラム及びその記録媒体 | |
JP6143702B2 (ja) | エコー消去装置、その方法及びプログラム | |
Kotte | Performance Analysis of Adaptive Algorithms based on different parameters Implemented for Acoustic Echo Cancellation in Speech Signals | |
JP6356087B2 (ja) | エコー消去装置、その方法及びプログラム | |
JP3917116B2 (ja) | 反響消去装置、方法、及び反響消去プログラム、そのプログラムを記録した記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110118 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20110715 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120611 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120619 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120815 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121120 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121130 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5149833 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151207 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |