JP2004128825A - エコーキャンセラ装置及びそれに用いるエコーキャンセラ方法 - Google Patents

エコーキャンセラ装置及びそれに用いるエコーキャンセラ方法 Download PDF

Info

Publication number
JP2004128825A
JP2004128825A JP2002289328A JP2002289328A JP2004128825A JP 2004128825 A JP2004128825 A JP 2004128825A JP 2002289328 A JP2002289328 A JP 2002289328A JP 2002289328 A JP2002289328 A JP 2002289328A JP 2004128825 A JP2004128825 A JP 2004128825A
Authority
JP
Japan
Prior art keywords
signal
impulse response
transmission
correlation
echo
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002289328A
Other languages
English (en)
Other versions
JP4348924B2 (ja
Inventor
Tadasuke Maruyama
丸山 唯介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2002289328A priority Critical patent/JP4348924B2/ja
Publication of JP2004128825A publication Critical patent/JP2004128825A/ja
Application granted granted Critical
Publication of JP4348924B2 publication Critical patent/JP4348924B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)

Abstract

【課題】受信信号レベルの低い、インパルス応答の推定が困難な場合にもエコー経路を推定可能なエコーキャンセラ装置を提供する。
【解決手段】信号相関検出器2ではM系列の周期毎に送信入力信号と1サンプル時間づつ遅れたM系列信号とで相関をとることによって、同期したM系列信号成分だけが取り出される。信号相関検出器2で求まったインパルス応答HM(i)及びレベル検出器2で見つけた送受信号x(i),y(i)のレベルが共に一定値以下の小さな信号の状態の場合には、その状態がインパルス応答推定回路4に伝えられる。インパルス応答推定回路4はLMSアルゴリズムによって求まったインパルス応答と、信号相関検出器2によって得られたインパルス応答HM(i)とを選択あるいは加重平均して求めたインパルス応答をH(i)として畳み込み計算器3に出力する。
【選択図】   図1

Description

【0001】
【発明の属する技術分野】
本発明はエコーキャンセラ装置及びそれに用いるエコーキャンセラ方法に関し、特にM系列信号によるインパルス応答推定機能を有したエコーキャンセラ装置に関する。
【0002】
【従来の技術】
従来、エコーキャンセラ装置においては、疑似エコー生成部において音声復号化処理後の受信信号に対して畳み込み演算を行い、疑似エコー信号を生成している。疑似エコー生成部はフィルタであり、エコー経路の推定インパルス応答のタップ係数を有している。
【0003】
疑似エコー生成部で生成された疑似エコー信号はディジタル信号に変換された送信信号から減算器で減算される。ここで、疑似エコー生成部におけるタップ係数は減算器の出力のモニタ結果に応じて逐次更新され、その更新方法としては、例えば学習同定法等のアルゴリズムが用いられる(例えば、特許文献1参照)。
【0004】
上記のエコーキャンセラ装置では、エコー経路の推定が重要な機構ではあるが、受信信号がない場合や低い信号レベルの場合、戻ってくるエコーも小さくなり、推定精度が劣化する。このため、これまでは受信信号レベルが一定レベル以下の場合、エコー経路のインパルス応答更新を停止するのが一般的である。
【0005】
【特許文献1】
特開2000−324234号公報(第1,2頁、図4)
【0006】
【発明が解決しようとする課題】
しかしながら、上述した従来のエコーキャンセラ装置では、エコー経路の特性が様々な理由によって変動している場合が多い。例えば、音響用エコーキャンセラのようなスピーカとマイクとの音響結合の場合には、温度の変化/反射物の移動等によって大きく変化し、これらはスピーカへの音声の有無に関係なく変化する。
【0007】
また、電話回線用のエコーキャンセラ装置では、回線接続の当初は当然特性が不明であり、接続後すぐに音声が流れるとは限らない。このような環境で受信レベルが低い時に、インパルス応答の更新停止を実施すると、エコー消去の劣化につながる。
【0008】
尚、上記の特許文献1では、通話開始前に内蔵のアナウンス信号や白色ノイズを流してインパルス応答を推定しているが(第3〜7頁、図1及び図3)、受話側に「しばらくお待ち下さい」等の不要な音声や白色ノイズによる不要な信号音が流れることとなり、受話側に不快感を生じさせることとなる。また、上記の特許文献1では、通話の途中で送信側及び受信側双方の音声がとぎれた場合にはインパルス応答の更新停止が実施されることとなる。
【0009】
そこで、本発明の目的は上記の問題点を解消し、受信信号レベルの低い、インパルス応答の推定が困難な場合にもエコー経路を推定することができるエコーキャンセラ装置及びそれに用いるエコーキャンセラ方法を提供することにある。
【0010】
【課題を解決するための手段】
本発明によるエコーキャンセラ装置は、受信信号の一部が送信信号に戻ってくることを防ぐためにインパルス応答の推定を行うエコーキャンセラ装置であって、前記受信信号に微少なM系列雑音を加える手段と、前記送信信号と前記M系列雑音との相関を求める手段と、前記受信信号及び前記送信信号に音声信号を含んでいない時に前記送信信号と前記M系列雑音との相関を基に前記インパルス応答を推定する手段とを備えている。
【0011】
本発明による他のエコーキャンセラ装置は、受信信号の一部が送信入力信号に戻ってくることを防ぐためにエコー経路のインパルス応答の推定を行い、そのインパルス応答の推定結果から生成された疑似エコー信号を送信入力信号から減算して送信出力信号を出力するエコーキャンセラ装置であって、疑似雑音を発生するM系列発生器と、前記M系列発生器から発生した疑似雑音を受信信号に付加する加算器と、前記M系列発生器から発生した疑似雑音と送信入力信号との相関を求める信号相関検出器と、前記信号相関検出器で求めた前記疑似雑音と送信入力信号との相関及び前記送信出力信号のいずれかを用いて周期的に受信側出力から送信側入力までのエコー経路のインパルス応答を推定するインパルス応答推定回路とを備えている。
【0012】
本発明によるエコーキャンセラ方法は、受信信号の一部が送信信号に戻ってくることを防ぐためにインパルス応答の推定を行うエコーキャンセラ方法であって、前記受信信号に微少なM系列雑音を加えるステップと、前記送信信号と前記M系列雑音との相関を求めるステップと、前記受信信号及び前記送信信号に音声信号を含んでいない時に前記送信信号と前記M系列雑音との相関を基に前記インパルス応答を推定するステップとを備えている。
【0013】
本発明による他のエコーキャンセラ方法は、受信信号の一部が送信入力信号に戻ってくることを防ぐためにエコー経路のインパルス応答の推定を行い、そのインパルス応答の推定結果から生成された疑似エコー信号を送信入力信号から減算して送信出力信号を出力するエコーキャンセラ方法であって、疑似雑音を発生するM系列発生器から発生した疑似雑音を受信信号に付加するステップと、前記M系列発生器から発生した疑似雑音と送信入力信号との相関を求めるステップと、その疑似雑音と送信入力信号との相関及び前記送信出力信号のいずれかを用いて周期的に受信側出力から送信側入力までのエコー経路のインパルス応答を推定するステップとを備えている。
【0014】
すなわち、本発明のエコーキャンセラ装置は、受信信号[音声信号がのっていない受信信号(背景ノイズだけの受信信号)]に微少なM系列雑音を加え、送受信信号がない場合(送受信信号に音声信号がのっていない場合)に、M系列雑音との相関によってインパルス応答を推定している。
【0015】
より具体的に説明すると、本発明のエコーキャンセラ装置では、受信信号の一部が送信信号に戻ってくることを防ぐエコーキャンセラ装置において、M系列発生器から発生した疑似雑音を受信信号に付加して送出するとともに、送信入力信号とM系列信号との相関を求めて、周期的に受信出力から送信入力までのエコー経路のインパルス応答を計算している。
【0016】
これによって、本発明のエコーキャンセラ装置では、従来のエコーキャンセラで推定することができなかった受信信号レベルの低い信号に対しても、インパルス応答の推定が可能となる。
【0017】
【発明の実施の形態】
次に、本発明の実施例について図面を参照して説明する。図1は本発明の一実施例によるエコーキャンセラ装置の構成を示すブロック図である。図1において、本発明の一実施例によるエコーキャンセラ装置はレベル検出器1と、信号相関検出器2と、畳み込み計算器3と、インパルス応答推定部4と、引き算回路5と、加算器6と、M系列発生器7とから構成されている。
【0018】
レベル検出器1は受信信号及び送信入力信号の低い状態(音声信号のない状態)を検出する。信号相関検出器2は送信入力信号y(i)とM系列信号sm(i)との相関によって周期的にエコー経路のインパルス応答を求める。
【0019】
畳み込み計算器3はエコーキャンセラの基本構成である受信信号x(i)から疑似エコーの生成を行う。インパルス応答推定部4は畳み込み計算器3で必要なインパルス応答H(i)を送信出力信号e(i)から求める。
【0020】
引き算回路5は送信入力信号y(i)から疑似エコー信号を除き、送信出力信号e(i)とする。加算器6はM系列発生器7の発生したM系列信号sm(i)を受信信号x(i)に加え、新たな受信信号xm(i)とする。M系列発生器7はM系列信号を発生する。
【0021】
M系列発生器7では信号サンプル毎にM系列を駆動して、0/1を発生させ、0/1によって信号レベル、+Δ/−Δの信号を送出する。Δの大きさは受信信号の無通話時ノイズレベル以下に設定するため、受信側では無信号時ノイズ以下の付加信号のため、この信号を背景ノイズ以外としては識別することができず、本来の信号を伝達することを阻害することはない。
【0022】
信号相関検出器2ではM系列の周期毎に送信入力信号と1サンプル時間づつ遅れたM系列信号とで相関をとることによって、同期したM系列信号成分だけが取り出される。これはインパルス信号に対する応答(インパルス応答)をまず、インパルス信号をM系列で符号拡散した後に、受信側で逆拡散して、インパルス応答を得るのと同等の機能となる。
【0023】
信号相関検出器2で求まったインパルス応答HM(i)及びレベル検出器1で見つけた送受信号x(i),y(i)のレベルが共に一定値以下の小さな信号の状態の場合には、それらの状態がインパルス応答推定回路4に伝えられる。
【0024】
インパルス応答推定回路4はLMS(Least Mean Square)(学習的)アルゴリズムによって求まったインパルス応答と、信号相関検出器2によって得られたインパルス応答HM(i)とをレベル検出器1の検出結果に応じて選択あるいは加重平均して求めたインパルス応答をH(i)として畳み込み計算器3に出力する。
【0025】
図2は本発明の一実施例によるエコーキャンセラ装置におけるインパルス応答推定処理を示すフローチャートである。これら図1及び図2を参照して本発明の一実施例によるエコーキャンセラ装置の動作について説明する。
【0026】
まず、以下の説明で用いる記号及び図1に示す各信号の説明を簡単に行う。MはM系列の最大周期、Nはインパルス応答の次数、x(i)は時刻iでの受信信号、h(j)は時刻位置jのインパルス応答、y(i)は時刻iでの送信入力信号、hm(j)は時刻位置jの相関によるインパルス応答、e(i)は時刻iでの送信出力信号、ys(i)は時刻iの疑似エコー信号、xm(i)は時刻iでの受信送出信号、sm(k)は時刻k(=i mod M)のM系列ノイズ、g(j)は時刻位置jでの真のインパルス応答をそれぞれ示している。
【0027】
また、各信号をベクトル的に扱う場合には各文字を大文字で表し、X(i)=[x(i),x(i−1),x(i−2),・・・,x(i−N−1)]と記述する。
【0028】
まず、受信送出信号xm(i)は、加算器6でM系列発生器7の信号と加算され、
xm(i)=x(i)+sm(k)        ・・・(1)
という式で求められる(図2ステップS1)。
【0029】
畳み込み計算器3では受信送出信号ベクトルXM(i)とインパルス応答ベクトルH(i)とから疑似エコー信号ys(i)が、
ys(i)=<H(i)・XM(i)>      ・・・(2)
という式で求められる(図2ステップS3)。尚、<・>はベクトルの内積を求める計算である。
【0030】
送信出力信号e(i)は、引き算回路5で送信入力信号y(i)から疑似エコー信号ys(i)が除かれ、
e(i)=y(i)−ys(i)         ・・・(3)
となる(図2ステップS4)。
【0031】
従来のエコーキャンセラ装置では、インパルス応答推定回路でインパルス応答Ho(i)を、
Figure 2004128825
という式で推定している(図2ステップS5)。
【0032】
しかしながら、この方法では、受信送出信号ベクトルXM(i)の信号レベルが低い場合に精度が落ち、正しいインパルス応答Ho(i)の推定には障害となるため、受信レベルの低い場合にインパルス応答Ho(i)の推定を停止している[上記(4)式の右辺第2項をゼロとする]。
【0033】
ここで、本実施例ではさらに加算されたM系列信号から、信号相関検出器2によってエコー経路のインパルス応答HM(i)が求められる(図2ステップS2)。例えば、インパルス応答HMのk番目の信号は、
Figure 2004128825
HM(k)=<SM(k)・Y(i)>      ・・・(6)
という式で求められる。受信信号X(i)はM系列信号とは相関が無く、(6)式によってほとんどゼロとなる。
【0034】
一方、受信信号に付加したM系列信号とは相関があり、時間遅れのない項のみが残り、インパルス応答のk番目の信号が判明する。この信号相関検出器2から求められたインパルス応答HM(i)はインパルス応答推定回路4に送られ、従来のLMSアルゴリズム[(1)−(4)]で求められるインパルス応答Ho(i)とを送受信信号の有無によって、
Figure 2004128825
と切替えてインパルス応答H(i)として推定する(図2ステップS6〜S8)。尚、上記の処理動作は、一般に、システムとして時変系が想定されるため、再び最初のステップS1に戻り、繰り返し実行される(図2ステップS1〜S8)。
【0035】
このように、本実施例では、従来、停止していた受信信号レベルの低い時のインパルス応答の推定動作を、受信信号レベルの低い場合もM系列ノイズを付加することによって、受話側に不要な音声や白色ノイズによる不要な信号音を流すことなく、インパルス応答の推定動作を続けることができるので、エコー経路が変動するような系でもエコー消去量が劣化せずにすむ。
【0036】
これによって、送信側と受信側との回線の確立後に、あるいは会話の途中で音声がとぎれた場合の音声送信の再開時に、音声に重畳されるエコーを小さく抑えることができる。
【0037】
【発明の効果】
以上説明したように本発明は、受信信号の一部が送信信号に戻ってくることを防ぐためにインパルス応答の推定を行うエコーキャンセラ装置において、受信信号に微少なM系列雑音を加え、送信信号とM系列雑音との相関を求め、受信信号及び送信信号に音声信号を含んでいない時に送信信号とM系列雑音との相関を基にインパルス応答を推定することによって、受信信号レベルの低い、インパルス応答の推定が困難な場合にもエコー経路を推定することができるという効果が得られる。
【図面の簡単な説明】
【図1】本発明の一実施例によるエコーキャンセラ装置の構成を示すブロック図である。
【図2】本発明の一実施例によるエコーキャンセラ装置におけるインパルス応答推定処理を示すフローチャートである。
【符号の説明】
1 レベル検出器
2 信号相関検出器
3 畳み込み計算器
4 インパルス応答推定部
5 引き算回路
6 加算器
7 M系列発生器

Claims (6)

  1. 受信信号の一部が送信信号に戻ってくることを防ぐためにインパルス応答の推定を行うエコーキャンセラ装置であって、前記受信信号に微少なM系列雑音を加える手段と、前記送信信号と前記M系列雑音との相関を求める手段と、前記受信信号及び前記送信信号に音声信号を含んでいない時に前記送信信号と前記M系列雑音との相関を基に前記インパルス応答を推定する手段とを有することを特徴とするエコーキャンセラ装置。
  2. 受信信号の一部が送信入力信号に戻ってくることを防ぐためにエコー経路のインパルス応答の推定を行い、そのインパルス応答の推定結果から生成された疑似エコー信号を送信入力信号から減算して送信出力信号を出力するエコーキャンセラ装置であって、疑似雑音を発生するM系列発生器と、前記M系列発生器から発生した疑似雑音を受信信号に付加する加算器と、前記M系列発生器から発生した疑似雑音と送信入力信号との相関を求める信号相関検出器と、前記信号相関検出器で求めた前記疑似雑音と送信入力信号との相関及び前記送信出力信号のいずれかを用いて周期的に受信側出力から送信側入力までのエコー経路のインパルス応答を推定するインパルス応答推定回路とを有することを特徴とするエコーキャンセラ装置。
  3. 送受信信号のレベルを検出するレベル検出器を含み、
    前記インパルス応答推定回路は前記レベル検出器が前記送受信信号の一定レベル以上を検出した時に前記送信出力信号を用いて前記エコー経路のインパルス応答を推定し、前記レベル検出器が前記送受信信号の一定レベル以下を検出した時に前記信号相関検出器で求めた前記疑似雑音と送信入力信号との相関を用いて前記エコー経路のインパルス応答を推定することを特徴とする請求項1記載のエコーキャンセラ装置。
  4. 受信信号の一部が送信信号に戻ってくることを防ぐためにインパルス応答の推定を行うエコーキャンセラ方法であって、前記受信信号に微少なM系列雑音を加えるステップと、前記送信信号と前記M系列雑音との相関を求めるステップと、前記受信信号及び前記送信信号に音声信号を含んでいない時に前記送信信号と前記M系列雑音との相関を基に前記インパルス応答を推定するステップとを有することを特徴とするエコーキャンセラ方法。
  5. 受信信号の一部が送信入力信号に戻ってくることを防ぐためにエコー経路のインパルス応答の推定を行い、そのインパルス応答の推定結果から生成された疑似エコー信号を送信入力信号から減算して送信出力信号を出力するエコーキャンセラ方法であって、疑似雑音を発生するM系列発生器から発生した疑似雑音を受信信号に付加するステップと、前記M系列発生器から発生した疑似雑音と送信入力信号との相関を求めるステップと、その疑似雑音と送信入力信号との相関及び前記送信出力信号のいずれかを用いて周期的に受信側出力から送信側入力までのエコー経路のインパルス応答を推定するステップとを有することを特徴とするエコーキャンセラ方法。
  6. 送受信信号のレベルを検出するステップを含み、
    前記エコー経路のインパルス応答を計算するステップは、前記送受信信号の一定レベル以上を検出した時に前記送信出力信号を用いて前記エコー経路のインパルス応答を推定し、前記送受信信号の一定レベル以下を検出した時に前記疑似雑音と送信入力信号との相関を用いて前記インパルス応答を推定することを特徴とする請求項1記載のエコーキャンセラ装置。
JP2002289328A 2002-10-02 2002-10-02 エコーキャンセラ装置及びそれに用いるエコーキャンセラ方法 Expired - Fee Related JP4348924B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002289328A JP4348924B2 (ja) 2002-10-02 2002-10-02 エコーキャンセラ装置及びそれに用いるエコーキャンセラ方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002289328A JP4348924B2 (ja) 2002-10-02 2002-10-02 エコーキャンセラ装置及びそれに用いるエコーキャンセラ方法

Publications (2)

Publication Number Publication Date
JP2004128825A true JP2004128825A (ja) 2004-04-22
JP4348924B2 JP4348924B2 (ja) 2009-10-21

Family

ID=32281525

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002289328A Expired - Fee Related JP4348924B2 (ja) 2002-10-02 2002-10-02 エコーキャンセラ装置及びそれに用いるエコーキャンセラ方法

Country Status (1)

Country Link
JP (1) JP4348924B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009290872A (ja) * 2008-05-28 2009-12-10 Zarlink Semiconductor (Us) Inc ノイズ発生器および平均パワー検出を使用したエコー・キャンセル平衡
JP2010130070A (ja) * 2008-11-25 2010-06-10 Yamaha Corp ループゲイン推定装置
JP2010157806A (ja) * 2008-12-26 2010-07-15 Yamaha Corp ハウリング防止装置
JP2010245992A (ja) * 2009-04-09 2010-10-28 Yamaha Corp ハウリング防止装置
JP2010263600A (ja) * 2009-04-09 2010-11-18 Yamaha Corp ハウリング防止装置
JP2013509774A (ja) * 2009-10-29 2013-03-14 ユニベルシテ・パリ・デカルト オーディオ透かしによって音響エコーをキャンセルするための方法および装置
US8917885B2 (en) 2008-09-24 2014-12-23 Yamaha Corporation Loop gain estimating apparatus and howling preventing apparatus

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009290872A (ja) * 2008-05-28 2009-12-10 Zarlink Semiconductor (Us) Inc ノイズ発生器および平均パワー検出を使用したエコー・キャンセル平衡
US8917885B2 (en) 2008-09-24 2014-12-23 Yamaha Corporation Loop gain estimating apparatus and howling preventing apparatus
JP2010130070A (ja) * 2008-11-25 2010-06-10 Yamaha Corp ループゲイン推定装置
JP2010157806A (ja) * 2008-12-26 2010-07-15 Yamaha Corp ハウリング防止装置
JP2010245992A (ja) * 2009-04-09 2010-10-28 Yamaha Corp ハウリング防止装置
JP2010263600A (ja) * 2009-04-09 2010-11-18 Yamaha Corp ハウリング防止装置
JP2013509774A (ja) * 2009-10-29 2013-03-14 ユニベルシテ・パリ・デカルト オーディオ透かしによって音響エコーをキャンセルするための方法および装置

Also Published As

Publication number Publication date
JP4348924B2 (ja) 2009-10-21

Similar Documents

Publication Publication Date Title
JP5332733B2 (ja) エコーキャンセラ
JP3727258B2 (ja) エコー抑制処理システム
JPH10304489A (ja) エコー・雑音成分除去装置
JP4579301B2 (ja) エコー消去装置
JP2010119033A (ja) 適応フィルタ及びこれを有するエコーキャンセラ
JP2015521421A (ja) 長く遅延したエコーのためのエコーキャンセレーションアルゴリズム
JP2013509774A (ja) オーディオ透かしによって音響エコーをキャンセルするための方法および装置
KR20160014679A (ko) 에코 제거기
JP5469564B2 (ja) 多チャネルエコー消去方法、多チャネルエコー消去装置及びそのプログラム
JP2004088647A (ja) エコー抑制システム及び方法
JP4348924B2 (ja) エコーキャンセラ装置及びそれに用いるエコーキャンセラ方法
JPWO2005046076A1 (ja) エコー抑圧装置
JP4403776B2 (ja) エコーキャンセラ
JP4345208B2 (ja) 反響及び雑音除去装置
JP2003309493A (ja) 反響低減方法、反響低減装置、反響低減プログラム
JP2000059270A (ja) 音響エコーキャンセラ
JP2003051879A (ja) 通話装置
KR100545832B1 (ko) 간섭신호에 강인한 음향 반향 제거장치
JP2019035915A (ja) トーク状態判定装置、方法及びプログラム
JP2005318571A (ja) エコーキャンセラ
JP3121983B2 (ja) 音響反響除去装置
JP2003264483A (ja) エコー抑圧装置、エコー抑圧方法、電話機、及びテレビ電話システム
JP3152815B2 (ja) 音響反響除去装置
JPH0622025A (ja) エコーキャンセラ
JP2019036917A (ja) パラメータ制御装置、方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050913

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070910

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080603

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080630

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090630

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090713

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120731

Year of fee payment: 3

R150 Certificate of patent (=grant) or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120731

Year of fee payment: 3

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130731

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees