JP2002268669A - 音響信号分析方法、音響信号分析装置、音響信号分析プログラム、音響信号分析プログラムを記憶したコンピュータが読取り可能な記憶媒体 - Google Patents

音響信号分析方法、音響信号分析装置、音響信号分析プログラム、音響信号分析プログラムを記憶したコンピュータが読取り可能な記憶媒体

Info

Publication number
JP2002268669A
JP2002268669A JP2001070803A JP2001070803A JP2002268669A JP 2002268669 A JP2002268669 A JP 2002268669A JP 2001070803 A JP2001070803 A JP 2001070803A JP 2001070803 A JP2001070803 A JP 2001070803A JP 2002268669 A JP2002268669 A JP 2002268669A
Authority
JP
Japan
Prior art keywords
analysis
parameter
change rate
signal
characteristic parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001070803A
Other languages
English (en)
Other versions
JP3584001B2 (ja
Inventor
Takehiro Moriya
健弘 守谷
Kazuaki Chikira
和明 千喜良
Akio Jin
明夫 神
Takeshi Mori
岳至 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2001070803A priority Critical patent/JP3584001B2/ja
Publication of JP2002268669A publication Critical patent/JP2002268669A/ja
Application granted granted Critical
Publication of JP3584001B2 publication Critical patent/JP3584001B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 音響信号の種類を分析する音響信号分析方法
及び装置を提案する。 【解決手段】 音響信号をフレーム毎に分析し、特徴パ
ラメータを算出するパラメータ算出処理と、このパラメ
ータ算出処理で得られた各フレーム毎の特徴パラメータ
を少なくとも2以上のフレームに跨って回帰分析し、特
徴パラメータの時間的変化率を算出する変化率算出処理
と、この変化率算出処理により算出された特徴パラメー
タの時間的変化率の値により入力信号の種類を分析する
信号分析処理と、を含む音響信号分析方法及びこの分析
方法を適用した装置を提案する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明はディジタル音響信
号を処理する方法で、例えば音声信号かそれ以外の信号
かを分析することに利用することができる音響信号分析
方法及びこの方法を用いて動作する装置、この装置を構
成するためのコンピュータプログラム及びこれを記憶し
た記憶媒体に関する。
【0002】
【従来の技術】従来から、音声が存在する区間と無音の
区間を判別する技術や、音声認識の技術ではスペクトル
包絡パラメータ、特にLPCケプストラムの時間変化率
を使った特徴パラメータの抽出や音素の境界を判別する
技術がよく使われている。
【0003】
【発明が解決しようとする課題】音声或いは音楽などを
含む一般の音響信号のうち、例えば音声信号を自動的に
判別したり、或いは音声信号らしさを自動的に推定する
ことができるとその後の処理が適応して制御できること
になるため、各信号に適した処理を行うことができる。
この発明の目的は、音声或いは音楽などを含む一般の音
響信号の予め設定した特定の信号か、それ以外の信号か
を自動的に分析することができる音響信号分析方法及び
この分析方法を用いた装置を提案しようとするものであ
る。
【0004】
【課題を解決するための手段】この発明の請求項1では
分析すべき信号の特徴パラメータを求めると共に、この
特徴パラメータの時間的変化率を算出し、この算出され
た特徴パラメータの時間的変化率に応じて信号の分析処
理を行う音響信号分析方法を提案する。この発明の請求
項2では音響信号をフレーム毎に分析し、特徴パラメー
タを算出するパラメータ算出処理と、このパラメータ算
出処理で得られた各フレーム毎の特徴パラメータを少な
くとも2以上のフレームに跨って回帰分析し、特徴パラ
メータの時間的変化率を算出する変化率算出処理と、こ
の変化率算出処理により算出された特徴パラメータの時
間的変化率に適応した分析処理と、を含む音響信号分析
方法を提案する。
【0005】この発明の請求項3では請求項1又は2記
載の音響信号分析方法の何れかにおいて、分析処理は時
間的変化率算出処理により算出された特徴パラメータの
時間的変化率をあらかじめ設定したしきい値と比較し、
その比較結果により入力信号の種類を分析する分析処理
とする音響信号分析方法を提案する。この発明の請求項
4では請求項1、2、3記載の音響信号分析方法の何れ
かにおいて、音響信号の分析は線形予測分析であり、特
徴パラメータはフレーム毎のエネルギー、線形予測ケプ
ストラム係数、線スペクトル対パラメータ、周波数領域
の伸縮による変形を行った線形予測ケプストラム係数の
何れか一つで実行する音響信号分析方法を提案する。
【0006】この発明の請求項5では音響信号をフレー
ム毎に分析して特徴パラメータを算出するパラメータ算
出手段と、このパラメータ算出手段が算出した各フレー
ム毎の特徴パラメータを少なくとも2以上のフレームに
跨って回帰分析し、特徴パラメータの時間的変化率を算
出する変化率算出手段と、この変化率算出処理により算
出された特徴パラメータの時間的変化率に適応して入力
信号の分析を実行する信号分析手段と、によって構成し
た音響信号分析装置を提案する。
【0007】この発明の請求項6では音響信号をフレー
ム毎に分析し、特徴パラメータを算出するパラメータ算
出プログラムと、このパラメータ算出プログラムが算出
した各フレーム毎の特徴パラメータを少なくとも2以上
のフレームに跨って回帰分析し、フレーム間の変化率を
算出する変化率算出プログラムと、この変化率算出プロ
グラムにより算出した特徴パラメータの時間的変化率に
適応させた信号分析プログラムと、によって構成される
音響信号分析プログラムを提案する。
【0008】この発明の請求項7では音響信号をフレー
ム毎に分析し、特徴パラメータを算出するパラメータ算
出プログラムと、このパラメータ算出プログラムが算出
した各フレーム毎の特徴パラメータを少なくとも2以上
のフレームに跨って回帰分析し、特徴パラメータの時間
的変化率を算出する変化率算出プログラムと、この変化
率算出プログラムにより算出した特徴パラメータの時間
的変化率に適応させた分析処理を実行する分析処理プロ
グラムと、によって構成された音響信号分析プログラム
を記憶したコンピュータが読取り可能な記憶媒体を提案
する。
【0009】作用 この発明による音響信号分析方法及び音響信号分析装置
によれば、分析すべき入力信号の特徴パラメータを求め
ると共に、この特徴パラメータの時間的変化率を算出し
て、この特徴パラメータの時間的変化率の値から、信号
の種類が例えば音声信号であるか、音楽信号であるか、
或いはその中間的な音の信号であるかを分析する方法を
採ったから、信頼性よく分析処理することができる。
【0010】
【発明の実施の形態】図1にこの発明による音響信号分
析装置10にその利用形態の一例を示す。この例では入
力信号Sを音響信号分析装置10に入力することによ
り、この入力信号の種類を例えば音声信号であるか、音
楽信号であるか、或いはその中間の音の信号であるかを
分析し、その分析結果に適応して、信号処理手段20は
音響信号の分析結果に適応した信号処理を行う構成とし
た例を示す。音響信号分析装置10では入力信号Sの特
徴パラメータを求め、この特徴パラメータの時間的変化
率を算出し、この時間的変化率の値に応じて入力信号の
種類を判別する。つまり、特徴パラメータの時間的変化
率が大きいほど音声信号らしさが強く、特徴パラメータ
の時間的変化率が小さいほど音楽信号らしさが強いと判
定することができる。
【0011】このように、入力信号Sの種類を特定する
ことにより、その判定結果を利用することにより、次の
処理ステップではそれぞれの信号に適した処理を行うこ
とができる。入力信号Sの種類を判別する具体的な方法
を以下に説明する。この発明では、音声信号をフレーム
ごとに分析し、特徴パラメータを算出する。この特徴パ
ラメータを少なくとも2以上のフレームに跨って回帰分
析し、フレーム間の変化率を算出する。
【0012】特徴パラメータとしては、例えばLPC
(線形予測)ケプストラム係数を適用することができ
る。図2に線形予測ケプストラム係数を適応した場合の
音響信号分析装置10の一例を示す。線形予測ケプスト
ラム係数は先ず線形予測係数算出手段11が音響信号か
らフレーム毎にP次の線形予測係数を求める。この線形
予測係数から特徴パラメータ算出手段12は一般的には
2P次の線形予測ケプストラム係数yj,iを求める。
尚、音響信号から線形予測係数を求める方法及び線形予
測係数から線形予測ケプストラム係数を求める方法は既
によく知られており、例えば「守谷健弘著、音声符号
化、電子情報通信学会編、2章」を参照。
【0013】時間軸の複数のフレームにわたってケプス
トラム係数を求めた後で、変化率算出手段13A、13
B…13nはある次数jの係数についてその時間軸(フ
レーム番号の増加)に沿った変化の傾向(時間変化率)
を例えば回帰直線の傾きから求める。この時間変化率を
求める処理をここでは変化率算出処理と称することにす
る。0からm−1フレームの回帰係数は直線と実際の係
数の2乗誤差の最小化から求める。尚、分析による遅延
が許されない場合には現在のフレームをmとする。つま
り、過去のフレーム0〜m−1のフレームだけから分析
する。遅延が許される場合には現在のフレーム(符号化
の対象とするフレーム)をm/2とすることができる実
測値yを近似するため、a,bをパラメータとする回帰
直線を y^=ax+b (1) とすると
【0014】
【数1】
【0015】から|E|2を最小とするa,bを連立方
程式から求める。実際は次の連立方程式の解となる。
【0016】
【数2】
【0017】この処理を複数の次数jで計算し、判定手
段14はajのエネルギーの総和A(A=Σaj 2)また
はAを時間方向又は振幅方向で正規化した値を求め、こ
の値を変化率とする。尚、ajのエネルギーの総和Aは
上記以外に重みωjを付したA=Σωjj 2或いはA=Σ
|aj|等を用いることができる。また、ここではxi
フレームの番号として説明したが、サンプリング周波数
やフレーム長によってxiの実際の時間は異なる例えば
1秒当たりの変化率を統一的に使う場合には、ajをフ
レーム更新周期で正規化した後で総エネルギーAを求め
ても良い。
【0018】音声信号では、多くの音楽の信号と比較し
て、Aの値が大きくなる傾向があるので、このAの値そ
のものを利用して音声らしさ、音楽らしさ、中間的な音
らしさを決定することができる。また、Aの値を長期的
に平均化し、その平均化したAの値を判定基準に使うこ
とにより音声信号か音楽か、或いは中間的な音かを判別
することができる。図2に示す信号分析手段14は出力
端子10A、10B、10Cを有し、その分析結果をこ
れらの出力端子10A、10B、10Cに出力し、その
分析結果により信号処理手段20は音声信号に適応した
信号処理、中間的な音の信号に適した信号処理、音楽に
適した信号処理を実行する構成とした場合を示す。
【0019】判定結果の利用方法としては例えばAの値
に適応して音声らしさが強いときほど、信号の伝送路の
帯域を狭くする方向に制限して入力信号Sを音声符号化
処理ステップに送り込むことにより歪みの少ない音声符
号化を実現することができる。また音楽らしさが強いと
きは帯域を拡げて符号化処理ステップに送り込むことに
より、音楽らしさを損うことなく符号化を実行すること
ができ、入力信号の性格に適応した処理を実行すること
ができる。上述では図3のように、線形(1次式)の回
帰係数である傾きをパラメータとしているが、高次の回
帰係数を利用することも可能である。例えば図4のよう
に2次の場合はyを実測値、y^を回帰推定値とすると、 y^=ax2+bx+c (4) で E=Σ(y−y^)2 (5) を最小にするa,bを連立方程式で求め、a,bの絶対
値で変化の程度が分かる。
【0020】
【数3】
【0021】換言すれば、 y=ax2+bx+c =a(x−b/2a)2+c−b2/4a となるから、aを一次回帰式の場合の係数ajと同じよ
うに扱うことができる。つまり、Σa2が大きい程、音
声らしさが強くなる。また、a、bを2次元に配置して
音声らしい領域を実験的に抽出することも可能である。
更にa2、b2或いはA=Σa 2、B=Σb2を2次元に配
置してもよい。
【0022】上述と同様の効果は信号波形のエネルギ
ー、p次の線スペクトル対パラメータ、周波数軸を伸縮
して変形した線形予測ケプストラム係数などにも同様に
適用可能である。また上記係数ajを変形したり重みを
つけて総和を求めたりすることでより判別精度を改善す
ることも可能である。上述した、音響信号からフレーム
毎の特徴パラメータを求める特徴パラメータ算出手段1
2及び特徴パラメータの時間的変化率を求める変化率算
出手段13A〜13n、信号分析手段14はそれぞれコ
ンピュータ上で動作するプログラムによって構成するこ
とができる。これらの各プログラムは記憶媒体に記憶さ
れて販売されるか或いは通信回線を通じて要求先のコン
ピュータに伝送されてインストールされ、そのインスト
ールにより売買が成立するなどの形態で販売される。
【0023】
【発明の効果】以上説明したように、この発明によれば
音声の特徴パラメータの時間的変化率を算出して音声ら
しさ或いは音楽らしさを判定する方法を採ったから、そ
の判定は信頼性に富み、その判定結果を利用することに
より、例えば音声に適した符号化処理或いは音楽に適し
た符号化処理を実行することができ、この結果として、
音声に対しても、また音楽に対しても歪みの小さい符号
化を実現できる利点が得られる。
【0024】尚、上述では信号の種別の例として音声、
音楽、その中間的な音を例示して説明したが、この発明
は特にこの音に限定されるものでなく、他のあらゆる音
の判別に利用することが考えられよう。
【図面の簡単な説明】
【図1】この発明による音声信号判定装置の概要を説明
するためのブロック図。
【図2】この発明による音声信号判定装置の要部の構成
を説明するためのブロック図。
【図3】この発明の動作を説明するためのグラフ。
【図4】図3と同様のグラフ。
【符号の説明】
10 音響信号分析装置 11 線形予測係数算出手段 12 特徴パラメータ算出手段 13A、13B…13n 変化率算出手段 14 信号分析手段 20 信号処理手段
フロントページの続き (72)発明者 神 明夫 東京都千代田区大手町二丁目3番1号 日 本電信電話株式会社内 (72)発明者 森 岳至 東京都千代田区大手町二丁目3番1号 日 本電信電話株式会社内 Fターム(参考) 5D015 CC01 CC11

Claims (7)

    【特許請求の範囲】
  1. 【請求項1】 分析すべき信号の特徴パラメータを求め
    ると共に、この特徴パラメータの時間的変化率を算出
    し、この算出された特徴パラメータの時間的変化率に応
    じて信号の分析処理を行うことを特徴とする音響信号分
    析方法。
  2. 【請求項2】 A、音響信号をフレーム毎に分析し、特
    徴パラメータを算出するパラメータ算出処理と、 B、このパラメータ算出処理で得られた各フレーム毎の
    特徴パラメータを少なくとも2以上のフレームに跨って
    回帰分析し、特徴パラメータの時間的変化率を算出する
    変化率算出処理と、 C、この変化率算出処理により算出された特徴パラメー
    タの時間的変化率に適応した分析処理と、 を含むことを特徴とする音響信号分析方法。
  3. 【請求項3】 請求項1又は2記載の音響信号分析方法
    の何れかにおいて、上記分析処理は時間的変化率算出処
    理により算出された特徴パラメータの時間的変化率をあ
    らかじめ設定したしきい値と比較し、その比較結果によ
    り入力信号の種類を分析する分析処理であることを特徴
    とする音響信号分析方法。
  4. 【請求項4】 請求項1、2、3記載の音響信号分析方
    法の何れかにおいて、上記音響信号の分析は線形予測分
    析であり、上記特徴パラメータはフレーム毎のエネルギ
    ー、線形予測ケプストラム係数、線スペクトル対パラメ
    ータ、周波数領域の伸縮による変形を行った線形予測ケ
    プストラム係数の何れか一つで実行することを特徴とす
    る音響信号分析方法。
  5. 【請求項5】 A、音響信号をフレーム毎に分析して特
    徴パラメータを算出するパラメータ算出手段と、 B、このパラメータ算出手段が算出した各フレーム毎の
    特徴パラメータを少なくとも2以上のフレームに跨って
    回帰分析し、特徴パラメータの時間的変化率を算出する
    変化率算出手段と、 C、この変化率算出処理により算出された特徴パラメー
    タの時間的変化率に適応して入力信号の分析を実行する
    信号分析手段と、 によって構成したことを特徴とする音響信号分析装置。
  6. 【請求項6】 A、音響信号をフレーム毎に分析し、特
    徴パラメータを算出するパラメータ算出プログラムと、 B、このパラメータ算出プログラムが算出した各フレー
    ム毎の特徴パラメータを少なくとも2以上のフレームに
    跨って回帰分析し、フレーム間の変化率を算出する変化
    率算出プログラムと、 C、この変化率算出プログラムにより算出した特徴パラ
    メータの時間的変化率に適応させた信号分析プログラム
    と、 によって構成される音響信号分析プログラム。
  7. 【請求項7】 A、音響信号をフレーム毎に分析し、特
    徴パラメータを算出するパラメータ算出プログラムと、 B、このパラメータ算出プログラムが算出した各フレー
    ム毎の特徴パラメータを少なくとも2以上のフレームに
    跨って回帰分析し、特徴パラメータの時間的変化率を算
    出する変化率算出プログラムと、 C、この変化率算出プログラムにより算出した特徴パラ
    メータの時間的変化率に適応させた分析処理を実行する
    分析処理プログラムと、 によって構成された音響信号分析プログラムを記憶した
    コンピュータが読取り可能な記憶媒体。
JP2001070803A 2001-03-13 2001-03-13 音響信号分析方法、音響信号分析装置、音響信号分析プログラム、音響信号分析プログラムを記憶したコンピュータが読取り可能な記憶媒体 Expired - Lifetime JP3584001B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001070803A JP3584001B2 (ja) 2001-03-13 2001-03-13 音響信号分析方法、音響信号分析装置、音響信号分析プログラム、音響信号分析プログラムを記憶したコンピュータが読取り可能な記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001070803A JP3584001B2 (ja) 2001-03-13 2001-03-13 音響信号分析方法、音響信号分析装置、音響信号分析プログラム、音響信号分析プログラムを記憶したコンピュータが読取り可能な記憶媒体

Publications (2)

Publication Number Publication Date
JP2002268669A true JP2002268669A (ja) 2002-09-20
JP3584001B2 JP3584001B2 (ja) 2004-11-04

Family

ID=18928605

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001070803A Expired - Lifetime JP3584001B2 (ja) 2001-03-13 2001-03-13 音響信号分析方法、音響信号分析装置、音響信号分析プログラム、音響信号分析プログラムを記憶したコンピュータが読取り可能な記憶媒体

Country Status (1)

Country Link
JP (1) JP3584001B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007034262A (ja) * 2005-06-23 2007-02-08 Nippon Telegr & Teleph Corp <Ntt> 信号判定装置、信号判定方法、信号判定プログラムおよび記録媒体

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007034262A (ja) * 2005-06-23 2007-02-08 Nippon Telegr & Teleph Corp <Ntt> 信号判定装置、信号判定方法、信号判定プログラムおよび記録媒体
JP4653673B2 (ja) * 2005-06-23 2011-03-16 日本電信電話株式会社 信号判定装置、信号判定方法、信号判定プログラムおよび記録媒体

Also Published As

Publication number Publication date
JP3584001B2 (ja) 2004-11-04

Similar Documents

Publication Publication Date Title
JP6694426B2 (ja) ランニング範囲正規化を利用したニューラルネットワーク音声活動検出
KR100636317B1 (ko) 분산 음성 인식 시스템 및 그 방법
US5991718A (en) System and method for noise threshold adaptation for voice activity detection in nonstationary noise environments
KR100438826B1 (ko) 스무딩 필터를 이용한 음성 합성 시스템 및 그 방법
KR100581413B1 (ko) 음성 복호기에서 프레임 오류 은폐를 위한 개선된스펙트럼 매개변수 대체
US5305422A (en) Method for determining boundaries of isolated words within a speech signal
JP5411936B2 (ja) 音声信号区間推定装置と音声信号区間推定方法及びそのプログラムと記録媒体
JP4520732B2 (ja) 雑音低減装置、および低減方法
JP4173641B2 (ja) 音声活動に基づくゲイン制限による音声強化
CN109313893B (zh) 用于确定应用目标域的音频和声学特性的系统、表征目标应用声学域的方法及介质
RU2680352C1 (ru) Способ и устройство для определения режима кодирования, способ и устройство для кодирования аудиосигналов и способ и устройство для декодирования аудиосигналов
JP6077957B2 (ja) 音声処理装置、音声処理方法、及び音声処理プログラム
JP2008534989A (ja) 音声アクティビティ検出装置および方法
US20110238417A1 (en) Speech detection apparatus
KR102410850B1 (ko) 잔향 제거 오토 인코더를 이용한 잔향 환경 임베딩 추출 방법 및 장치
US6920424B2 (en) Determination and use of spectral peak information and incremental information in pattern recognition
JP4891805B2 (ja) 残響除去装置、残響除去方法、残響除去プログラム、記録媒体
KR100784456B1 (ko) Gmm을 이용한 음질향상 시스템
JP2002261553A (ja) 音声自動利得制御装置、音声自動利得制御方法、音声自動利得制御用のアルゴリズムを持つコンピュータプログラムを格納する記憶媒体及び音声自動利得制御用のアルゴリズムを持つコンピュータプログラム
JP2002268669A (ja) 音響信号分析方法、音響信号分析装置、音響信号分析プログラム、音響信号分析プログラムを記憶したコンピュータが読取り可能な記憶媒体
JP3270866B2 (ja) 雑音除去方法および雑音除去装置
JP2002268657A (ja) 音響信号の立ち上がり・立ち下がり検出方法及び装置並びにプログラム及び記録媒体
Ayat et al. An improved spectral subtraction speech enhancement system by using an adaptive spectral estimator
JPH11133997A (ja) 有音無音判定装置
JP2020190606A (ja) 音声雑音除去装置及びプログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040405

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040706

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040730

R151 Written notification of patent or utility model registration

Ref document number: 3584001

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080806

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080806

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090806

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090806

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100806

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100806

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110806

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120806

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130806

Year of fee payment: 9

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term