JP2004128825A - エコーキャンセラ装置及びそれに用いるエコーキャンセラ方法 - Google Patents
エコーキャンセラ装置及びそれに用いるエコーキャンセラ方法 Download PDFInfo
- Publication number
- JP2004128825A JP2004128825A JP2002289328A JP2002289328A JP2004128825A JP 2004128825 A JP2004128825 A JP 2004128825A JP 2002289328 A JP2002289328 A JP 2002289328A JP 2002289328 A JP2002289328 A JP 2002289328A JP 2004128825 A JP2004128825 A JP 2004128825A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- impulse response
- transmission
- correlation
- echo
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
Abstract
【解決手段】信号相関検出器2ではM系列の周期毎に送信入力信号と1サンプル時間づつ遅れたM系列信号とで相関をとることによって、同期したM系列信号成分だけが取り出される。信号相関検出器2で求まったインパルス応答HM(i)及びレベル検出器2で見つけた送受信号x(i),y(i)のレベルが共に一定値以下の小さな信号の状態の場合には、その状態がインパルス応答推定回路4に伝えられる。インパルス応答推定回路4はLMSアルゴリズムによって求まったインパルス応答と、信号相関検出器2によって得られたインパルス応答HM(i)とを選択あるいは加重平均して求めたインパルス応答をH(i)として畳み込み計算器3に出力する。
【選択図】 図1
Description
【発明の属する技術分野】
本発明はエコーキャンセラ装置及びそれに用いるエコーキャンセラ方法に関し、特にM系列信号によるインパルス応答推定機能を有したエコーキャンセラ装置に関する。
【0002】
【従来の技術】
従来、エコーキャンセラ装置においては、疑似エコー生成部において音声復号化処理後の受信信号に対して畳み込み演算を行い、疑似エコー信号を生成している。疑似エコー生成部はフィルタであり、エコー経路の推定インパルス応答のタップ係数を有している。
【0003】
疑似エコー生成部で生成された疑似エコー信号はディジタル信号に変換された送信信号から減算器で減算される。ここで、疑似エコー生成部におけるタップ係数は減算器の出力のモニタ結果に応じて逐次更新され、その更新方法としては、例えば学習同定法等のアルゴリズムが用いられる(例えば、特許文献1参照)。
【0004】
上記のエコーキャンセラ装置では、エコー経路の推定が重要な機構ではあるが、受信信号がない場合や低い信号レベルの場合、戻ってくるエコーも小さくなり、推定精度が劣化する。このため、これまでは受信信号レベルが一定レベル以下の場合、エコー経路のインパルス応答更新を停止するのが一般的である。
【0005】
【特許文献1】
特開2000−324234号公報(第1,2頁、図4)
【0006】
【発明が解決しようとする課題】
しかしながら、上述した従来のエコーキャンセラ装置では、エコー経路の特性が様々な理由によって変動している場合が多い。例えば、音響用エコーキャンセラのようなスピーカとマイクとの音響結合の場合には、温度の変化/反射物の移動等によって大きく変化し、これらはスピーカへの音声の有無に関係なく変化する。
【0007】
また、電話回線用のエコーキャンセラ装置では、回線接続の当初は当然特性が不明であり、接続後すぐに音声が流れるとは限らない。このような環境で受信レベルが低い時に、インパルス応答の更新停止を実施すると、エコー消去の劣化につながる。
【0008】
尚、上記の特許文献1では、通話開始前に内蔵のアナウンス信号や白色ノイズを流してインパルス応答を推定しているが(第3〜7頁、図1及び図3)、受話側に「しばらくお待ち下さい」等の不要な音声や白色ノイズによる不要な信号音が流れることとなり、受話側に不快感を生じさせることとなる。また、上記の特許文献1では、通話の途中で送信側及び受信側双方の音声がとぎれた場合にはインパルス応答の更新停止が実施されることとなる。
【0009】
そこで、本発明の目的は上記の問題点を解消し、受信信号レベルの低い、インパルス応答の推定が困難な場合にもエコー経路を推定することができるエコーキャンセラ装置及びそれに用いるエコーキャンセラ方法を提供することにある。
【0010】
【課題を解決するための手段】
本発明によるエコーキャンセラ装置は、受信信号の一部が送信信号に戻ってくることを防ぐためにインパルス応答の推定を行うエコーキャンセラ装置であって、前記受信信号に微少なM系列雑音を加える手段と、前記送信信号と前記M系列雑音との相関を求める手段と、前記受信信号及び前記送信信号に音声信号を含んでいない時に前記送信信号と前記M系列雑音との相関を基に前記インパルス応答を推定する手段とを備えている。
【0011】
本発明による他のエコーキャンセラ装置は、受信信号の一部が送信入力信号に戻ってくることを防ぐためにエコー経路のインパルス応答の推定を行い、そのインパルス応答の推定結果から生成された疑似エコー信号を送信入力信号から減算して送信出力信号を出力するエコーキャンセラ装置であって、疑似雑音を発生するM系列発生器と、前記M系列発生器から発生した疑似雑音を受信信号に付加する加算器と、前記M系列発生器から発生した疑似雑音と送信入力信号との相関を求める信号相関検出器と、前記信号相関検出器で求めた前記疑似雑音と送信入力信号との相関及び前記送信出力信号のいずれかを用いて周期的に受信側出力から送信側入力までのエコー経路のインパルス応答を推定するインパルス応答推定回路とを備えている。
【0012】
本発明によるエコーキャンセラ方法は、受信信号の一部が送信信号に戻ってくることを防ぐためにインパルス応答の推定を行うエコーキャンセラ方法であって、前記受信信号に微少なM系列雑音を加えるステップと、前記送信信号と前記M系列雑音との相関を求めるステップと、前記受信信号及び前記送信信号に音声信号を含んでいない時に前記送信信号と前記M系列雑音との相関を基に前記インパルス応答を推定するステップとを備えている。
【0013】
本発明による他のエコーキャンセラ方法は、受信信号の一部が送信入力信号に戻ってくることを防ぐためにエコー経路のインパルス応答の推定を行い、そのインパルス応答の推定結果から生成された疑似エコー信号を送信入力信号から減算して送信出力信号を出力するエコーキャンセラ方法であって、疑似雑音を発生するM系列発生器から発生した疑似雑音を受信信号に付加するステップと、前記M系列発生器から発生した疑似雑音と送信入力信号との相関を求めるステップと、その疑似雑音と送信入力信号との相関及び前記送信出力信号のいずれかを用いて周期的に受信側出力から送信側入力までのエコー経路のインパルス応答を推定するステップとを備えている。
【0014】
すなわち、本発明のエコーキャンセラ装置は、受信信号[音声信号がのっていない受信信号(背景ノイズだけの受信信号)]に微少なM系列雑音を加え、送受信信号がない場合(送受信信号に音声信号がのっていない場合)に、M系列雑音との相関によってインパルス応答を推定している。
【0015】
より具体的に説明すると、本発明のエコーキャンセラ装置では、受信信号の一部が送信信号に戻ってくることを防ぐエコーキャンセラ装置において、M系列発生器から発生した疑似雑音を受信信号に付加して送出するとともに、送信入力信号とM系列信号との相関を求めて、周期的に受信出力から送信入力までのエコー経路のインパルス応答を計算している。
【0016】
これによって、本発明のエコーキャンセラ装置では、従来のエコーキャンセラで推定することができなかった受信信号レベルの低い信号に対しても、インパルス応答の推定が可能となる。
【0017】
【発明の実施の形態】
次に、本発明の実施例について図面を参照して説明する。図1は本発明の一実施例によるエコーキャンセラ装置の構成を示すブロック図である。図1において、本発明の一実施例によるエコーキャンセラ装置はレベル検出器1と、信号相関検出器2と、畳み込み計算器3と、インパルス応答推定部4と、引き算回路5と、加算器6と、M系列発生器7とから構成されている。
【0018】
レベル検出器1は受信信号及び送信入力信号の低い状態(音声信号のない状態)を検出する。信号相関検出器2は送信入力信号y(i)とM系列信号sm(i)との相関によって周期的にエコー経路のインパルス応答を求める。
【0019】
畳み込み計算器3はエコーキャンセラの基本構成である受信信号x(i)から疑似エコーの生成を行う。インパルス応答推定部4は畳み込み計算器3で必要なインパルス応答H(i)を送信出力信号e(i)から求める。
【0020】
引き算回路5は送信入力信号y(i)から疑似エコー信号を除き、送信出力信号e(i)とする。加算器6はM系列発生器7の発生したM系列信号sm(i)を受信信号x(i)に加え、新たな受信信号xm(i)とする。M系列発生器7はM系列信号を発生する。
【0021】
M系列発生器7では信号サンプル毎にM系列を駆動して、0/1を発生させ、0/1によって信号レベル、+Δ/−Δの信号を送出する。Δの大きさは受信信号の無通話時ノイズレベル以下に設定するため、受信側では無信号時ノイズ以下の付加信号のため、この信号を背景ノイズ以外としては識別することができず、本来の信号を伝達することを阻害することはない。
【0022】
信号相関検出器2ではM系列の周期毎に送信入力信号と1サンプル時間づつ遅れたM系列信号とで相関をとることによって、同期したM系列信号成分だけが取り出される。これはインパルス信号に対する応答(インパルス応答)をまず、インパルス信号をM系列で符号拡散した後に、受信側で逆拡散して、インパルス応答を得るのと同等の機能となる。
【0023】
信号相関検出器2で求まったインパルス応答HM(i)及びレベル検出器1で見つけた送受信号x(i),y(i)のレベルが共に一定値以下の小さな信号の状態の場合には、それらの状態がインパルス応答推定回路4に伝えられる。
【0024】
インパルス応答推定回路4はLMS(Least Mean Square)(学習的)アルゴリズムによって求まったインパルス応答と、信号相関検出器2によって得られたインパルス応答HM(i)とをレベル検出器1の検出結果に応じて選択あるいは加重平均して求めたインパルス応答をH(i)として畳み込み計算器3に出力する。
【0025】
図2は本発明の一実施例によるエコーキャンセラ装置におけるインパルス応答推定処理を示すフローチャートである。これら図1及び図2を参照して本発明の一実施例によるエコーキャンセラ装置の動作について説明する。
【0026】
まず、以下の説明で用いる記号及び図1に示す各信号の説明を簡単に行う。MはM系列の最大周期、Nはインパルス応答の次数、x(i)は時刻iでの受信信号、h(j)は時刻位置jのインパルス応答、y(i)は時刻iでの送信入力信号、hm(j)は時刻位置jの相関によるインパルス応答、e(i)は時刻iでの送信出力信号、ys(i)は時刻iの疑似エコー信号、xm(i)は時刻iでの受信送出信号、sm(k)は時刻k(=i mod M)のM系列ノイズ、g(j)は時刻位置jでの真のインパルス応答をそれぞれ示している。
【0027】
また、各信号をベクトル的に扱う場合には各文字を大文字で表し、X(i)=[x(i),x(i−1),x(i−2),・・・,x(i−N−1)]と記述する。
【0028】
まず、受信送出信号xm(i)は、加算器6でM系列発生器7の信号と加算され、
xm(i)=x(i)+sm(k) ・・・(1)
という式で求められる(図2ステップS1)。
【0029】
畳み込み計算器3では受信送出信号ベクトルXM(i)とインパルス応答ベクトルH(i)とから疑似エコー信号ys(i)が、
ys(i)=<H(i)・XM(i)> ・・・(2)
という式で求められる(図2ステップS3)。尚、<・>はベクトルの内積を求める計算である。
【0030】
送信出力信号e(i)は、引き算回路5で送信入力信号y(i)から疑似エコー信号ys(i)が除かれ、
e(i)=y(i)−ys(i) ・・・(3)
となる(図2ステップS4)。
【0031】
従来のエコーキャンセラ装置では、インパルス応答推定回路でインパルス応答Ho(i)を、
という式で推定している(図2ステップS5)。
【0032】
しかしながら、この方法では、受信送出信号ベクトルXM(i)の信号レベルが低い場合に精度が落ち、正しいインパルス応答Ho(i)の推定には障害となるため、受信レベルの低い場合にインパルス応答Ho(i)の推定を停止している[上記(4)式の右辺第2項をゼロとする]。
【0033】
ここで、本実施例ではさらに加算されたM系列信号から、信号相関検出器2によってエコー経路のインパルス応答HM(i)が求められる(図2ステップS2)。例えば、インパルス応答HMのk番目の信号は、
HM(k)=<SM(k)・Y(i)> ・・・(6)
という式で求められる。受信信号X(i)はM系列信号とは相関が無く、(6)式によってほとんどゼロとなる。
【0034】
一方、受信信号に付加したM系列信号とは相関があり、時間遅れのない項のみが残り、インパルス応答のk番目の信号が判明する。この信号相関検出器2から求められたインパルス応答HM(i)はインパルス応答推定回路4に送られ、従来のLMSアルゴリズム[(1)−(4)]で求められるインパルス応答Ho(i)とを送受信信号の有無によって、
と切替えてインパルス応答H(i)として推定する(図2ステップS6〜S8)。尚、上記の処理動作は、一般に、システムとして時変系が想定されるため、再び最初のステップS1に戻り、繰り返し実行される(図2ステップS1〜S8)。
【0035】
このように、本実施例では、従来、停止していた受信信号レベルの低い時のインパルス応答の推定動作を、受信信号レベルの低い場合もM系列ノイズを付加することによって、受話側に不要な音声や白色ノイズによる不要な信号音を流すことなく、インパルス応答の推定動作を続けることができるので、エコー経路が変動するような系でもエコー消去量が劣化せずにすむ。
【0036】
これによって、送信側と受信側との回線の確立後に、あるいは会話の途中で音声がとぎれた場合の音声送信の再開時に、音声に重畳されるエコーを小さく抑えることができる。
【0037】
【発明の効果】
以上説明したように本発明は、受信信号の一部が送信信号に戻ってくることを防ぐためにインパルス応答の推定を行うエコーキャンセラ装置において、受信信号に微少なM系列雑音を加え、送信信号とM系列雑音との相関を求め、受信信号及び送信信号に音声信号を含んでいない時に送信信号とM系列雑音との相関を基にインパルス応答を推定することによって、受信信号レベルの低い、インパルス応答の推定が困難な場合にもエコー経路を推定することができるという効果が得られる。
【図面の簡単な説明】
【図1】本発明の一実施例によるエコーキャンセラ装置の構成を示すブロック図である。
【図2】本発明の一実施例によるエコーキャンセラ装置におけるインパルス応答推定処理を示すフローチャートである。
【符号の説明】
1 レベル検出器
2 信号相関検出器
3 畳み込み計算器
4 インパルス応答推定部
5 引き算回路
6 加算器
7 M系列発生器
Claims (6)
- 受信信号の一部が送信信号に戻ってくることを防ぐためにインパルス応答の推定を行うエコーキャンセラ装置であって、前記受信信号に微少なM系列雑音を加える手段と、前記送信信号と前記M系列雑音との相関を求める手段と、前記受信信号及び前記送信信号に音声信号を含んでいない時に前記送信信号と前記M系列雑音との相関を基に前記インパルス応答を推定する手段とを有することを特徴とするエコーキャンセラ装置。
- 受信信号の一部が送信入力信号に戻ってくることを防ぐためにエコー経路のインパルス応答の推定を行い、そのインパルス応答の推定結果から生成された疑似エコー信号を送信入力信号から減算して送信出力信号を出力するエコーキャンセラ装置であって、疑似雑音を発生するM系列発生器と、前記M系列発生器から発生した疑似雑音を受信信号に付加する加算器と、前記M系列発生器から発生した疑似雑音と送信入力信号との相関を求める信号相関検出器と、前記信号相関検出器で求めた前記疑似雑音と送信入力信号との相関及び前記送信出力信号のいずれかを用いて周期的に受信側出力から送信側入力までのエコー経路のインパルス応答を推定するインパルス応答推定回路とを有することを特徴とするエコーキャンセラ装置。
- 送受信信号のレベルを検出するレベル検出器を含み、
前記インパルス応答推定回路は前記レベル検出器が前記送受信信号の一定レベル以上を検出した時に前記送信出力信号を用いて前記エコー経路のインパルス応答を推定し、前記レベル検出器が前記送受信信号の一定レベル以下を検出した時に前記信号相関検出器で求めた前記疑似雑音と送信入力信号との相関を用いて前記エコー経路のインパルス応答を推定することを特徴とする請求項1記載のエコーキャンセラ装置。 - 受信信号の一部が送信信号に戻ってくることを防ぐためにインパルス応答の推定を行うエコーキャンセラ方法であって、前記受信信号に微少なM系列雑音を加えるステップと、前記送信信号と前記M系列雑音との相関を求めるステップと、前記受信信号及び前記送信信号に音声信号を含んでいない時に前記送信信号と前記M系列雑音との相関を基に前記インパルス応答を推定するステップとを有することを特徴とするエコーキャンセラ方法。
- 受信信号の一部が送信入力信号に戻ってくることを防ぐためにエコー経路のインパルス応答の推定を行い、そのインパルス応答の推定結果から生成された疑似エコー信号を送信入力信号から減算して送信出力信号を出力するエコーキャンセラ方法であって、疑似雑音を発生するM系列発生器から発生した疑似雑音を受信信号に付加するステップと、前記M系列発生器から発生した疑似雑音と送信入力信号との相関を求めるステップと、その疑似雑音と送信入力信号との相関及び前記送信出力信号のいずれかを用いて周期的に受信側出力から送信側入力までのエコー経路のインパルス応答を推定するステップとを有することを特徴とするエコーキャンセラ方法。
- 送受信信号のレベルを検出するステップを含み、
前記エコー経路のインパルス応答を計算するステップは、前記送受信信号の一定レベル以上を検出した時に前記送信出力信号を用いて前記エコー経路のインパルス応答を推定し、前記送受信信号の一定レベル以下を検出した時に前記疑似雑音と送信入力信号との相関を用いて前記インパルス応答を推定することを特徴とする請求項1記載のエコーキャンセラ装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002289328A JP4348924B2 (ja) | 2002-10-02 | 2002-10-02 | エコーキャンセラ装置及びそれに用いるエコーキャンセラ方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002289328A JP4348924B2 (ja) | 2002-10-02 | 2002-10-02 | エコーキャンセラ装置及びそれに用いるエコーキャンセラ方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004128825A true JP2004128825A (ja) | 2004-04-22 |
JP4348924B2 JP4348924B2 (ja) | 2009-10-21 |
Family
ID=32281525
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002289328A Expired - Fee Related JP4348924B2 (ja) | 2002-10-02 | 2002-10-02 | エコーキャンセラ装置及びそれに用いるエコーキャンセラ方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4348924B2 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009290872A (ja) * | 2008-05-28 | 2009-12-10 | Zarlink Semiconductor (Us) Inc | ノイズ発生器および平均パワー検出を使用したエコー・キャンセル平衡 |
JP2010130070A (ja) * | 2008-11-25 | 2010-06-10 | Yamaha Corp | ループゲイン推定装置 |
JP2010157806A (ja) * | 2008-12-26 | 2010-07-15 | Yamaha Corp | ハウリング防止装置 |
JP2010245992A (ja) * | 2009-04-09 | 2010-10-28 | Yamaha Corp | ハウリング防止装置 |
JP2010263600A (ja) * | 2009-04-09 | 2010-11-18 | Yamaha Corp | ハウリング防止装置 |
JP2013509774A (ja) * | 2009-10-29 | 2013-03-14 | ユニベルシテ・パリ・デカルト | オーディオ透かしによって音響エコーをキャンセルするための方法および装置 |
US8917885B2 (en) | 2008-09-24 | 2014-12-23 | Yamaha Corporation | Loop gain estimating apparatus and howling preventing apparatus |
-
2002
- 2002-10-02 JP JP2002289328A patent/JP4348924B2/ja not_active Expired - Fee Related
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009290872A (ja) * | 2008-05-28 | 2009-12-10 | Zarlink Semiconductor (Us) Inc | ノイズ発生器および平均パワー検出を使用したエコー・キャンセル平衡 |
US8917885B2 (en) | 2008-09-24 | 2014-12-23 | Yamaha Corporation | Loop gain estimating apparatus and howling preventing apparatus |
JP2010130070A (ja) * | 2008-11-25 | 2010-06-10 | Yamaha Corp | ループゲイン推定装置 |
JP2010157806A (ja) * | 2008-12-26 | 2010-07-15 | Yamaha Corp | ハウリング防止装置 |
JP2010245992A (ja) * | 2009-04-09 | 2010-10-28 | Yamaha Corp | ハウリング防止装置 |
JP2010263600A (ja) * | 2009-04-09 | 2010-11-18 | Yamaha Corp | ハウリング防止装置 |
JP2013509774A (ja) * | 2009-10-29 | 2013-03-14 | ユニベルシテ・パリ・デカルト | オーディオ透かしによって音響エコーをキャンセルするための方法および装置 |
Also Published As
Publication number | Publication date |
---|---|
JP4348924B2 (ja) | 2009-10-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5332733B2 (ja) | エコーキャンセラ | |
JP3727258B2 (ja) | エコー抑制処理システム | |
JPH10304489A (ja) | エコー・雑音成分除去装置 | |
JP4579301B2 (ja) | エコー消去装置 | |
JP2010119033A (ja) | 適応フィルタ及びこれを有するエコーキャンセラ | |
JP2015521421A (ja) | 長く遅延したエコーのためのエコーキャンセレーションアルゴリズム | |
JP2013509774A (ja) | オーディオ透かしによって音響エコーをキャンセルするための方法および装置 | |
KR20160014679A (ko) | 에코 제거기 | |
JP5469564B2 (ja) | 多チャネルエコー消去方法、多チャネルエコー消去装置及びそのプログラム | |
JP2004088647A (ja) | エコー抑制システム及び方法 | |
JP4348924B2 (ja) | エコーキャンセラ装置及びそれに用いるエコーキャンセラ方法 | |
JPWO2005046076A1 (ja) | エコー抑圧装置 | |
JP4403776B2 (ja) | エコーキャンセラ | |
JP4345208B2 (ja) | 反響及び雑音除去装置 | |
JP2003309493A (ja) | 反響低減方法、反響低減装置、反響低減プログラム | |
JP2000059270A (ja) | 音響エコーキャンセラ | |
JP2003051879A (ja) | 通話装置 | |
KR100545832B1 (ko) | 간섭신호에 강인한 음향 반향 제거장치 | |
JP2019035915A (ja) | トーク状態判定装置、方法及びプログラム | |
JP2005318571A (ja) | エコーキャンセラ | |
JP3121983B2 (ja) | 音響反響除去装置 | |
JP2003264483A (ja) | エコー抑圧装置、エコー抑圧方法、電話機、及びテレビ電話システム | |
JP3152815B2 (ja) | 音響反響除去装置 | |
JPH0622025A (ja) | エコーキャンセラ | |
JP2019036917A (ja) | パラメータ制御装置、方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050913 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070910 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080603 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080630 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090630 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090713 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120731 Year of fee payment: 3 |
|
R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120731 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130731 Year of fee payment: 4 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |