JP2003099093A - 雑音抑圧方法及びその装置、雑音抑圧プログラム並びにそのプログラム記録媒体 - Google Patents

雑音抑圧方法及びその装置、雑音抑圧プログラム並びにそのプログラム記録媒体

Info

Publication number
JP2003099093A
JP2003099093A JP2001291277A JP2001291277A JP2003099093A JP 2003099093 A JP2003099093 A JP 2003099093A JP 2001291277 A JP2001291277 A JP 2001291277A JP 2001291277 A JP2001291277 A JP 2001291277A JP 2003099093 A JP2003099093 A JP 2003099093A
Authority
JP
Japan
Prior art keywords
output signal
noise
delay
signal
sound source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001291277A
Other languages
English (en)
Other versions
JP3831220B2 (ja
Inventor
Makoto Mukai
良 向井
Akiko Araki
章子 荒木
Hiroshi Sawada
宏 澤田
Shoji Makino
昭二 牧野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2001291277A priority Critical patent/JP3831220B2/ja
Publication of JP2003099093A publication Critical patent/JP2003099093A/ja
Application granted granted Critical
Publication of JP3831220B2 publication Critical patent/JP3831220B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 独立成分分析(ICA)を適用する周波数領
域ブラインド音源分離法により分離した出力信号y1
…,yN を更に処理して、その残響成分に基づく雑音を
抑圧する。 【解決手段】 yi(ω,t)と他の各yj(ω,t−τ)と
相互相関を最大とする各遅延τijを求め(i=1,…,
N)j≠iを除く(j=1,…,N)(S2)、各y
i(ω,t)に遅延τijをそれぞれ与え(S3)、これら
遅延された信号とyj(t−τij)とyi(t)との相関と、
それぞれの総和の比との積により、yi(t)に含まれる
雑音成分の係数αij(ω)を求め(S4)、各yj(ω,
t−τij)に対応するαijを乗算して加算し、yi(t,
ω)に対する雑音y^i (c)(ω,t)を求め(S5)、こ
のy^i (c)(ω,t)をyi(ω,t)から差し引いて雑音
抑圧したyi(t)を得る(S6)。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、複数の音源信号
が混在した混合音を分離した分離信号に残留する雑音を
抑圧する方法、その方法に用いる雑音抑圧装置、その方
法をコンピュータにより実行するためのプログラムおよ
びそのプログラムを記録した記録媒体に関する。
【0002】
【従来の技術】複数の音源信号が混在した混合音から、
元の音源信号を推定して分離する音源分離技術として、
音源の独立性を仮定し、出力信号を互いに独立にするこ
とで元の音源を推定する独立成分分析(Independent Co
mponent Analysis,ICA)による方法が知られている。I
CAについては、例えば文献J.Herault and C.Jutten,
“An Information-Maximization Approach to Blind Se
paration and Blind Deconvolution”,Neural Computat
ion 7,1129-1159(1995)に記載されている。空間にお
いて畳み込みの影響を受けながら混合された信号を分離
するためには、信号をフーリエ変換によって周波数領域
の信号に変換し、周波数領域の信号に対してICAを適
用する、周波数領域ブラインド音源分離(Blind Source
Separation:BSS)という技術が用いられる。周波数領
域BSSについては、例えば文献S.Araki et. al.,“Fu
ndamental limitation of frequency domain blind sou
rce separation for convolutive mixture of speec
h”,Proc.ICASSP2001,MULT-P2.1に記載されている。
【0003】
【発明が解決しようとする課題】周波数領域BSSは、
妨害音の直接音部分はほぼ完全に除去できるが、残響を
伴なう環境においては性能が著しく低下する。これは残
響の影響によって分離信号中に雑音が残留しているため
である。この発明の目的は、残響を伴なう環境において
混合された音源信号から、元の音源信号を分離する音源
分離手段によって得られた出力信号に基づいて、出力信
号に残留する雑音を推定し、推定した雑音に基づいて、
分離信号に含まれる雑音を抑圧する方法、その装置、雑
音抑圧プログラム及びその記録媒体を提供することにあ
る。
【0004】
【課題を解決するための手段】この発明の雑音抑圧方法
では、音源分離過程の後段で行う処理として、音源分離
過程によって出力された第1の出力信号を用い、第1の
出力信号自身に含まれる残留雑音を推定し、第1の出力
信号から推定雑音を引き去ることによって、第1の出力
信号に含まれる雑音を抑圧する。その残留雑音の推定は
以下のようにして行う。上記第1の出力信号の相互相関
を最大にするような遅延を遅延推定過程によって求め、
その遅延に基づいて第1の出力信号を遅延させて第2の
出力信号を求め、係数推定過程により、第1の出力信号
と第2の出力信号を用いて第1の出力信号中に含まれる
雑音成分の係数を推定し、上記係数を第2の出力信号に
乗じることにより、第1の出力信号に含まれる上記残留
雑音を雑音推定過程で推定する。
【0005】
【発明の実施の形態】この発明の実施の形態を実施例に
より図面に基づいて説明する。図1は、この発明による
雑音抑圧装置におけるN個の第1の信号yi (1
N)のうちのy1 に関する雑音抑圧部分の構成を示して
いる。残りのyi (2N)についても同様の構成
で雑音を抑圧する。時間領域において遅れや畳み込みの
影響を受けながらの、複数の音源信号の混合は、周波数
領域での瞬時混合に変換できる。このためこの実施例に
おける雑音抑圧方法では、信号を周波数領域の信号とし
て扱う。時間領域信号から周波数領域信号へは、例えば
離散フーリエ変換(DFT)によって変換し、周波数領
域信号から時間領域信号へは、離散フーリエ逆変換(I
DFT)によって互いに変換する。
【0006】まず、この実施例に使用する信号の名前お
よび関係について説明する。 音源信号をS(ω,t)=[s1 ,s2 ,…,sN T , 混合信号をX(ω,t)=[x1 ,x2 ,…,xM T , 分離信号をY(ω,t)=[y1 ,y2 ,…,yN T , 混合行列をH(ω),分離行列をW(ω) とすると、 X(ω,t)=H(ω)s(ω,t) (1) Y(ω,t)=W(ω)x(ω,t)=W(ω)H(ω)s(ω,t) (2 ) という関係がある。[ ]T は転置行列を示す。
【0007】ここで、G=WHとすると、 yi =Σj=1 Nijj (3) と書くことができる。yi を、目的信号si に起因する
出力であるストレート成分yi (s)と、妨害音sj (j≠
i)に起因するクロス成分yi (c)に分けて考えると、 yi =yi (s)+yi (c) (4) yi (s)=giii (5)
【0008】
【数1】 となる。この発明の実施例ではyi (s)を抽出することを
目標とする。すなわち、除去されるべき残留雑音はクロ
ス成分yi (c)とする。ところでストレート成分は音源信
号の直接音および残響、クロス成分は音源信号の残響に
起因しており、両者のスペクトルには関連がある。2入
力2出力のICAによる分離信号の狭帯域信号のパワー
スペクトルの例を図3に示す。これはf=320Hzの
1 (s)とy2 (c)の各パワーの経時変化である。この例を
見ると、ストレート成分y1 (s)がある遅延と係数をかけ
られてクロス成分y2 (c)として漏洩して現われていると
いうことができる。そこで、これを複数信号の場合に拡
張し、各周波数ビンおよびチャンネルの組合せごとの遅
延τij(ω)および係数αij(ω)をパラメータとした
モデル化を行う。係数は本来はフィルタであるが、推定
を簡単にするためにスカラ値とする。この考えに基づ
き、以下のようにτij(ω)および係数αij(ω)を求
めてモデル化されたyi (c)を求める。
【0009】次に、図1及び図2を参照してこの実施例
の装置の各部の動作と、この装置の処理の手順を説明す
る。図1はi=1の場合のみを示している。 (1)音源分離過程(図2、S1) N個(Nは2以上の整数)の音源からの信号s1
2 ,…,sN は空間で遅れや畳み込みの影響を受けて
M個(MN)の混合信号x1 ,x2 ,…,xM として
音源分離装置11に入力される。音源分離装置11では
ICAを用いた周波数領域BSSにより、混合信号x
i(1M)から音源信号s1 ,s2 ,…,sN と対
応するN個の第1の出力信号yi(ω,t)(1
N)に分離される。 (2)遅延推定過程(図2、S2) これからの処理がこの発明の実施例である。
【0010】第1の出力信号yi(ω,t)の各周波数帯
域ωに関して、|yi (c)(t)|と|yj (s)(t−
τij)|と(j≠i)との相関が大きくなるような遅延
を求め、これをτij(ω)とする。ここで、y
i (c)(t)とyj (s)(t)は未知であるから、それぞれ
i(t)とyj(t)で置き換えた以下の式を遅延推定手
段12によって演算してτij(ω)を求める。これは、
音源信号として互いに独立な音声を想定した場合、狭帯
域信号|yi ( s)|と|yj (s)|が同時刻に値を持つこと
は少なく、ほとんどの時刻において|yi(t)||y
j(t−τ)|(τ>0)で|yi (c)(t)||y
j (s)(t−τ)|を近似できるであろうという仮定によ
る置き換えである。
【0011】 τij(ω)=argmaxΣ|yi(ω,t)||yj(ω,t−τ)| (7) ここでΣは、系が時不変であるとみなせる適当な期間、
かつ|yi(t)||yj(t−τ)|が成り立っている
時刻での総和とする。また、τmax は予想される残響時
間の最大値から決まる定数である。argmaxは0<ττ
max でΣの値が最大となるτを求めることを示す。つま
り各yi(ω,t)ごとに他の各yj(ω,t)との相関が
それぞれ最大となる各yi(ω,t)に対する遅延τ
ij(ω)を求める。 (3)遅延過程(図2、S3) 上記遅延推定手段12によって求めた各遅延τij(ω)
の分だけ対応する第1の出力信号yj(ω,t)を遅延手
段13でそれぞれ遅延させ、第2の出力信号y j(ω,t
−τij(ω))を得る。 (4)係数推定過程(図2、S4) 雑音推定のための係数αij(ω)を、|yi (c)(t)|
b と|yj (s)(t−τij)|b の相関の正規化値と|yi
(c)(t)|及び|yj (s)(t−τij)|の各総和の比と
の積として求める。b=1の場合は振幅スペクトル、b
=2の場合はパワースペクトルによる処理になる。
【0012】ここでもやはりyi (c)(t)とyj (s)(t)
は未知であるから、それぞれyi(t)とyj(t)で置き
換え、係数推定手段14で以下の式を演算してα
ij(ω)を求める。
【0013】
【数2】
【0014】ここで、Σは、|yi(ω,t)|が|y
j(ω,t−τij(ω))|より小さい時刻の集合 Tij(ω)={t||yi(ω,t)||yj(ω,t−τij(ω))|} ( 9) 中の総てのt∈Tij(ω)に関する総和である。これ
は、yi とyj のどちらがストレート成分の近似でどち
らがクロス成分の近似とするかをスペクトルの大きさで
判断していることに相当する。 (5)雑音推定過程(図2、S5) 先に述べたようにストレート成分は音源信号の直接音お
よび残響、クロス成分は音源信号の残響に起因してお
り、両者のスペクトルには関連があり、ストレート成分
がある遅延と係数をかけられてクロス成分に漏洩してい
るという見方ができる。そこで、これを複数信号の場合
に拡張し、各周波数ビンおよびチャンネルの組合せごと
の遅延τij(ω)および係数αij(ω)をパラメータと
したモデル化を行う。また、yi (s)は未知であるため、
iをyi (s)の近似値として用い、雑音推定手段15で
次式を計算して雑音のスペクトル|yi(c)(ω,t)
|を求める。
【0015】
【数3】
【0016】b=1の場合は振幅スペクトル、b=2の
場合はパワースペクトルによる処理になる。 (6)雑音減算過程(図2、S6) 雑音推定手段15によって推定した雑音を第1の出力信
号yi(ω,t)から減算器16で次式の演算により引き
去ることにより第3の出力信号yi(s)を求める。
【0017】
【数4】
【0018】b=1の場合は振幅スペクトル、b=2の
場合はパワースペクトルによる処理になる。yi(ω,
t)/|yi(ω,t)|の乗算は位相成分を与えるもの
である。以上の過程により、第1の出力信号中の雑音が
抑圧された第3の出力信号を得ることができる。図1に
示した雑音抑圧装置を、コンピュータによりプログラム
を実行させて機能させることもできる。つまり図2に示
したステップS2以下の処理をコンピュータに行わせる
雑音抑圧プログラムをコンピュータに、CD−ROM、
可撓性磁気ディスクその他の記録媒体又は通信回線を介
してインストロールして、そのプログラムを実行させれ
ばよい。
【0019】
【発明の効果】この発明の効果を、N=2の場合につい
て実験によって評価した結果を示す。話者4名(男声
2、女声2)、2通りの文の音声を用い、計24通りの
組み合わせについて音源分離過程により得た第1の出力
信号の分離性能と、この発明によって雑音抑圧された第
3の出力信号の分離性能とを比較した。ストレート成分
i (s)をリファレンス信号として、 出力SNRi ≡10log(|yi (s)2 /|y^i (s)−yi (s)2 )(dB ) (12) から雑音抑圧比(Noise Reduction Rate)NRRi ≡出
力SNRi −入力SNR i を求め、NRR1 とNRR2
の平均値NRRを評価尺度として用いる。
【0020】実験結果を図4に示す。横軸は第1の出力
信号のNRR、縦軸はこの発明による第3の出力信号の
NRRであり、音声の組合せごとに点をプロットしてい
る。すべての組合せにおいてこの発明で処理した第3の
出力信号の方が性能が向上しており、NRR改善量は残
響時間150msの場合に1.3〜6.3dB(平均
3.9dB)、残響時間300msの場合に1.7〜
4.4dB(平均3.1dB)であり、第1の信号に含
まれる雑音が抑圧されていることが確認できた。以上説
明したように、この発明によれば、音源分離過程によっ
て出力された出力信号中に含まれる残留雑音を抑圧する
ことができる。
【図面の簡単な説明】
【図1】この発明の実施例の機能構成を示す図。
【図2】この発明の実施例の処理手順を示す流れ図。
【図3】第1の出力信号の狭帯域信号のストレートおよ
びクロス成分の例を示す図。
【図4】この発明の効果を説明するための実験結果を示
す図。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 澤田 宏 東京都千代田区大手町二丁目3番1号 日 本電信電話株式会社内 (72)発明者 牧野 昭二 東京都千代田区大手町二丁目3番1号 日 本電信電話株式会社内 Fターム(参考) 5D015 DD02 EE05

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】 N(N≧2)個の音源信号が混在するM
    (M≧N)個の混合音を第1の入力信号とし、第1の入
    力信号からN個の音源信号を推定して、第1の出力信号
    を出力する音源分離過程の後段で行う処理として、第1
    の出力信号に含まれる雑音を抑圧する雑音抑圧方法であ
    って、 上記第1の出力信号の他の各第1の出力信号との相互相
    関を最大にするような遅延を求める遅延推定過程と、 上記遅延推定過程によって求めた遅延に基づいて対応す
    る第1の出力信号を遅延させて第2の出力信号を出力す
    る遅延過程と、 第1の出力信号と第2の出力信号を用いて第1の出力信
    号中に含まれる雑音成分の係数を推定する係数推定過程
    と、 上記係数を第2の出力信号に乗じて雑音を推定する雑音
    推定過程と、 推定した雑音を第1の出力信号から引き去ることにより
    第3の出力信号を得る雑音減算過程とを有することを特
    徴とする雑音抑圧方法。
  2. 【請求項2】 N(N≧2)個の音源信号が混在するM
    (M≧N)個の混合音を第1の入力信号とし、第1の入
    力信号からN個の音源信号を推定して、第1の出力信号
    を出力する音源分離装置よりの第1の出力信号に含まれ
    る雑音を抑圧する雑音抑圧装置であって、 上記各第1の出力信号の他の各第1の出力信号との相互
    相関を最大にするような遅延を求める遅延推定手段と、 上記遅延推定手段によって求めた遅延に基づいて対応す
    る第1の出力信号を遅延させて第2の出力信号を出力す
    る遅延手段と、 第1の出力信号と第2の出力信号を用いて第1の出力信
    号中に含まれる雑音成分の係数を推定する係数推定手段
    と、 上記係数を第2の出力信号に乗じて雑音を推定する雑音
    推定手段と、 推定した雑音を第1の出力信号から引き去ることにより
    第3の出力信号を得る雑音減算手段とを備えることを特
    徴とする雑音抑圧装置。
  3. 【請求項3】 N(N≧2)個の音源信号が混在するM
    (M≧N)個の混合音を第1の入力信号とし、第1の入
    力信号からN個の音源信号を推定して、第1の出力信号
    を出力する音源分離過程の後段で行う処理として、 上記各第1の出力信号の他の各第1の出力信号との相互
    相関を最大にするような遅延を求める処理と、 求めた遅延に基づいて対応する第1の出力信号を遅延さ
    せて第2の出力信号を出力する処理と、 第1の出力信号と第2の出力信号を用いて第1の出力信
    号中に含まれる雑音成分の係数を推定する処理と、 上記係数を対応する第2の出力信号に乗じて雑音を推定
    する処理と、 その推定した雑音を第1の出力信号から引き去ることに
    より雑音抑圧された第3の出力信号を得る処理と、をコ
    ンピュータに実行させるための雑音抑圧プログラム。
  4. 【請求項4】 請求項3記載の雑音抑圧プログラムを記
    録したコンピュータにより読み出し可能な記録媒体。
JP2001291277A 2001-09-25 2001-09-25 雑音抑圧方法及びその装置、雑音抑圧プログラム並びにそのプログラム記録媒体 Expired - Fee Related JP3831220B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001291277A JP3831220B2 (ja) 2001-09-25 2001-09-25 雑音抑圧方法及びその装置、雑音抑圧プログラム並びにそのプログラム記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001291277A JP3831220B2 (ja) 2001-09-25 2001-09-25 雑音抑圧方法及びその装置、雑音抑圧プログラム並びにそのプログラム記録媒体

Publications (2)

Publication Number Publication Date
JP2003099093A true JP2003099093A (ja) 2003-04-04
JP3831220B2 JP3831220B2 (ja) 2006-10-11

Family

ID=19113450

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001291277A Expired - Fee Related JP3831220B2 (ja) 2001-09-25 2001-09-25 雑音抑圧方法及びその装置、雑音抑圧プログラム並びにそのプログラム記録媒体

Country Status (1)

Country Link
JP (1) JP3831220B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004079388A1 (ja) * 2003-03-04 2004-09-16 Nippon Telegraph And Telephone Corporation 位置情報推定装置、その方法、及びプログラム
JP2005308771A (ja) * 2004-04-16 2005-11-04 Nec Corp 雑音除去方法、雑音除去装置とシステム及び雑音除去用プログラム
JP2009540378A (ja) * 2006-06-14 2009-11-19 シーメンス アウディオローギッシェ テヒニク ゲゼルシャフト ミット ベシュレンクテル ハフツング 信号分離器、マイクロフォン信号に基づいて出力信号を決定するための方法、及び、コンピュータプログラム
US8208648B2 (en) * 2007-03-09 2012-06-26 Pioneer Corporation Sound field reproducing device and sound field reproducing method

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004079388A1 (ja) * 2003-03-04 2004-09-16 Nippon Telegraph And Telephone Corporation 位置情報推定装置、その方法、及びプログラム
US7039546B2 (en) 2003-03-04 2006-05-02 Nippon Telegraph And Telephone Corporation Position information estimation device, method thereof, and program
JP2005308771A (ja) * 2004-04-16 2005-11-04 Nec Corp 雑音除去方法、雑音除去装置とシステム及び雑音除去用プログラム
JP4543731B2 (ja) * 2004-04-16 2010-09-15 日本電気株式会社 雑音除去方法、雑音除去装置とシステム及び雑音除去用プログラム
JP2009540378A (ja) * 2006-06-14 2009-11-19 シーメンス アウディオローギッシェ テヒニク ゲゼルシャフト ミット ベシュレンクテル ハフツング 信号分離器、マイクロフォン信号に基づいて出力信号を決定するための方法、及び、コンピュータプログラム
US8208648B2 (en) * 2007-03-09 2012-06-26 Pioneer Corporation Sound field reproducing device and sound field reproducing method

Also Published As

Publication number Publication date
JP3831220B2 (ja) 2006-10-11

Similar Documents

Publication Publication Date Title
US10650796B2 (en) Single-channel, binaural and multi-channel dereverberation
EP2360685B1 (en) Noise suppression
US7706550B2 (en) Noise suppression apparatus and method
US9418678B2 (en) Sound processing device, sound processing method, and program
KR100721069B1 (ko) 오디오 장치 및 그 재생용 프로그램을 포함하는 컴퓨터 판독 가능한 기록매체
CN110619882B (zh) 用于降低去相关器电路中瞬态信号的时间伪差的系统和方法
WO2015129760A1 (ja) 信号処理装置、方法及びプログラム
US10199048B2 (en) Bass enhancement and separation of an audio signal into a harmonic and transient signal component
JP4434813B2 (ja) 雑音スペクトル推定方法、雑音抑圧方法および雑音抑圧装置
US20090141912A1 (en) Object sound extraction apparatus and object sound extraction method
EP1286334A2 (en) Method and circuit arrangement for reducing noise during voice communication in communications systems
JP2003099093A (ja) 雑音抑圧方法及びその装置、雑音抑圧プログラム並びにそのプログラム記録媒体
JP2005258158A (ja) ノイズ除去装置
JP5971646B2 (ja) 多チャネル信号処理装置、方法、及びプログラム
JP5107956B2 (ja) 雑音抑圧方法、装置およびプログラム
JP3673727B2 (ja) 反響消去方法、その装置、そのプログラム及びその記録媒体
Uhle et al. Determined source separation for microphone recordings using IIR filters
Miyazaki et al. Theoretical analysis of parametric blind spatial subtraction array and its application to speech recognition performance prediction
JP2006178333A (ja) 近接音分離収音方法、近接音分離収音装置、近接音分離収音プログラム、記録媒体
JP6790659B2 (ja) 音響処理装置および音響処理方法
KR101096091B1 (ko) 음성 분리 장치 및 이를 이용한 단일 채널 음성 분리 방법
US20190027159A1 (en) Signal processing apparatus, gain adjustment method, and gain adjustment program
US11322168B2 (en) Dual-microphone methods for reverberation mitigation
JP7270869B2 (ja) 情報処理装置、出力方法、及び出力プログラム
KR20180087021A (ko) 실내전달함수 추정 방법 및 신호 처리 방법

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050621

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050819

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20050819

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060627

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060713

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090721

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100721

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100721

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110721

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees