JP2002189499A - ディジタルオーディオ信号圧縮方法および圧縮装置 - Google Patents

ディジタルオーディオ信号圧縮方法および圧縮装置

Info

Publication number
JP2002189499A
JP2002189499A JP2000387351A JP2000387351A JP2002189499A JP 2002189499 A JP2002189499 A JP 2002189499A JP 2000387351 A JP2000387351 A JP 2000387351A JP 2000387351 A JP2000387351 A JP 2000387351A JP 2002189499 A JP2002189499 A JP 2002189499A
Authority
JP
Japan
Prior art keywords
digital audio
audio signal
frequency
subband
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000387351A
Other languages
English (en)
Other versions
JP3478267B2 (ja
Inventor
Norio Suzuki
典雄 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2000387351A priority Critical patent/JP3478267B2/ja
Publication of JP2002189499A publication Critical patent/JP2002189499A/ja
Application granted granted Critical
Publication of JP3478267B2 publication Critical patent/JP3478267B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

(57)【要約】 【課題】 計算時間を従来より大幅に短縮することがで
きるディジタルオーディオ信号圧縮方法を提供する。 【解決手段】 この圧縮方法は、まず、各サブバンド毎
に周波性成分を求め(ステップS1)、次に、その周波
数成分を音圧レベルに変換し(ステップS2)、次に、
各サブバンド毎に音圧レベルの平均値を計算し(ステッ
プS3)、次に、各サブバンド毎に最大音圧レベルの重
み付けを行い(ステップS4)、次に、各サブバンド毎
に音圧レベルの分散を計算し(ステップS5)、次に、
聴覚感度データによる補正を行ってSMRを求める(ス
テップS6)。求めたSMRに基づいてビット割り当て
を行い、ビット割り当てに従って各サブバンドの信号を
量子化して出力する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、MPEG/Audio規
格、ATRAC規格、ドルビーディジタル規格等によるオー
ディオ信号圧縮において用いられるディジタルオーディ
オ信号圧縮方法および圧縮装置に関する。
【0002】
【従来の技術】図3は、MPEG(Moving Picture Coding E
xperts Group)/Audio規格によるディジタルオーディオ
信号圧縮回路の構成を示す回路図である。この図におい
て、入力ディジタルオーディオ信号Daは所定のサンプ
ル数毎にブロック化(フレームと言う)され、2つのパ
スに分かれて処理される。まず、一方のパスにおけるフ
ィルタバンク1は、入力信号を等しい帯域幅を持つ32
バンドのサブバンド信号に分割する。この場合、各々の
サブバンド信号は1/32のサンプリング周波数にダウ
ンサンプルされる。スケールファクタ抽出・正規化回路
2は、1フレームにおける各々のサブバンド信号に対
し、最大絶対値を持つサンプルを検出する。その値を対
数に変換し量子化したものをスケールファクタと呼ぶ。
そして、このスケールファクタによって各サブバンドサ
ンプルを除算し、それらの値を±1の範囲内に正規化す
る。
【0003】一方、心理聴覚分析部3は、FFT(高速
フーリエ変換)による周波数スペクトルの計算を行い、
それよって得られた各周波数データに基づき各サブバン
ド毎のマスキングしきい値を計算して出力する。ビット
割当部4は心理聴覚分析部3の出力と、ビットレートで
決まる1フレームで使用可能なビット数の制限の下で反
復ループ処理により各サブバンド毎の量子化ビット数を
決定する。量子化部5は、各サブバンド毎に設定された
量子化ビット数でスケールファクタ抽出・正規化回路2
から出力されるサブバンド信号を量子化する。ビットス
トリーム生成部6は、量子化されたサブバンドサンプ
ル、各サブバンドに対するビット割当情報およびスケー
ルファクタをマルチプレックスし、それにヘッダを付け
てビットストリームを作成し出力する。
【0004】次に、従来の心理聴覚分析部3における処
理手順の一例を説明する。なお、以下に説明する手順
は、ISO/IEC 11172-3による心理聴覚モデルにおけるMOD
EL1の手順である。 (1)FFTによって周波数特性を求め、512の周波数
データを得る。 (2)32のサブバンドの各音圧レベルを求める。 (3)絶対しきい値を決定する。 (4)音として聞こえる周波数(マスカー)を選ぶ。 (5)マスカーを減らす。 (6)個々のマスクしきい値を計算する。 (7)大域的マスクしきい値を計算する。 (8)各サブバンドの最小マスクしきい値を決定する。 (9)各サブバンドの信号対マスク比(SMR)を計算す
る。そして、上記SMRがビット割当情報としてビット
割当部4へ出力される。
【0005】
【発明が解決しようとする課題】ところで、上述した従
来の心理聴覚分析部3における処理は、計算に時間がか
かる欠点があった。特に、上記(6)、(7)の計算に時間が
かかっていた。例えば、上記(7)の計算は、
【数1】 なる式の計算であり、logの計算を除外したとして
も、iは1〜約130であり、m、nは音の数とノイズ
の数で10〜20程度あり、したがって、LTtmとLT
nmをそれぞれ1000回以上計算しなくてはならない。
LTtmとLTnmは3項の和で表現されるが、その内2項
は1次関数となっており、計算に時間がかかる。
【0006】この発明は、このような事情を考慮してな
されたもので、その目的は、計算時間を従来より大幅に
短縮することができるディジタルオーディオ信号圧縮方
法および圧縮装置を提供することにある。
【0007】
【課題を解決するための手段】この発明は上記の課題を
解決すべくなされたもので、請求項1に記載の発明は、
入力ディジタルオーディオ信号に対して複数のサブバン
ドに周波数分割すると共に、心理聴覚分析処理を行い、
該心理聴覚分析処理の結果に従って各サブバンドのビッ
ト割り当てを行い、ビット割り当てに従って各サブバン
ドの信号を量子化して出力するディジタルオーディオ信
号圧縮方法において、前記心理聴覚分析処理は、入力デ
ィジタルオーディオ信号を周波数解析して周波数成分に
変換し、次に、各サブバンド毎の前記周波数成分の分散
を計算する処理であることを特徴とするディジタルオー
ディオ信号圧縮方法である。
【0008】また、請求項2に記載の発明は、請求項1
に記載のディジタルオーディオ信号圧縮方法において、
前記心理聴覚分析処理は、入力ディジタルオーディオ信
号を周波数解析して周波数成分に変換した後、各サブバ
ンド毎の周波数成分の最大値を検出し、検出した最大値
にそのサブバンドの周波数帯域に応じた重み付けを行
い、重み付けを行った最大値を用いて前記分散を計算す
ることを特徴とする。また、請求項3に記載の発明は、
請求項1または請求項2に記載のディジタルオーディオ
信号圧縮方法において、前記心理聴覚分析処理は、前記
分散を計算した後、該計算によって得られた値に、予め
求められている聴覚感度に対応するデータを演算するこ
とを特徴とする。
【0009】また、請求項4に記載の発明は、入力ディ
ジタルオーディオ信号に対して複数のサブバンドに周波
数分割すると共に、心理聴覚分析処理を行う心理聴覚分
析手段と、該心理聴覚分析処理の結果に従って各サブバ
ンドのビット割り当てを行うビット割り当て手段と、該
ビット割り当てに従って各サブバンドの信号を量子化し
て出力する量子化手段とを具備するディジタルオーディ
オ信号圧縮装置において、前記心理聴覚分析手段は、入
力ディジタルオーディオ信号を周波数解析して周波数成
分に変換する第1の手段と、各サブバンド毎の前記周波
数成分の分散を計算する第2の手段とを具備することを
特徴とするディジタルオーディオ信号圧縮装置である。
【0010】
【発明の実施の形態】以下、図面を参照し、この発明の
一実施の形態について説明する。この実施形態による圧
縮方法を適用した圧縮回路は図3と同じであり、以下に
説明する処理手順は、図3の心理聴覚分析部3において
用いられる。図1は同実施の形態による圧縮方法を説明
するためのフローチャートである。以下、各ステップS
1〜S6を順次説明する。なお、以下の説明において
は、サブバンドの数を32、各サブバンド内の周波数デ
ータの数を16とする。
【0011】○ステップS1(周波数解析) 入力されるディジタルオーディオデータ(実数)に対
し、FFT処理(ステップS1に記載される式の演算)
を行い、MPEG/Audio Layer2(MP2)の場合、周波数データ
F(k)として、1024データを得る。この周波数デ
ータF(k)は複素数データであり、実数入力のFFT
の対象性により、意味があるのは512データである。
なお、図の式においてjは虚数単位である。
【0012】○ステップS2(音圧レベル測定) 各周波数データF(k)の実部と虚部の二乗の和、すな
わちF(k)の絶対値の二乗P(k)を求める。この値
P(k)が音圧レベルに相当する。 ○ステップS3(平均値の測定) 上述した512の音圧データを16データ毎に32のサ
ブバンド(帯域)に分ける。そして、各サブバンド毎
に、音圧レベルP(k)の平均値E(sb)を求める。
なお、sbはサブバンド番号であり、低音側から0〜3
1が割り当てられている。例えば、sb=3のサブバン
ドには、P(48)〜P(63)の音圧レベルが含まれ
る。
【0013】○ステップS4(最大値の重み付け) 各サブバンド毎に音圧レベルP(k)の最大値P’
(k)を検出し、検出した音圧レベルP’(k)にsqrt
(33/(sb+1)){sqrt:二乗根}なる値を乗算
することによって、重み付けした音圧レベルP’(k)
を得る。 ○ステップS5(分散の計算) 各サブバンド毎に、上述したステップS2〜S4の演算
結果を用いて、音圧レベルP(k)の分散V(sb)を
計算する。ここで、各帯域の最大音圧レベルP(k)に
ついては、上記重み付けした音圧レベルP’(k)を用
いる。
【0014】○ステップS6(SMRの計算) 各サブバンドのSMRを計算する。すなわち、各サブバ
ンドについて、分散V(sb)の対数をとり、2.5倍
し、その値から聴覚感度データQ’(sb)の0.5倍
を減算する。ここで、聴覚感度データQ’(sb)と
は、人間の耳の聴覚感度曲線に対応したデータであり、
予めメモリ内に記憶させておく。図2に感度聴覚データ
の一例を示す。この図において「Fs」は、アナログオ
ーディオ信号をディジタルオーディオ信号に変換する際
のサンプリング周波数である。
【0015】以上がこの発明の実施形態による処理手順
である。上述したことから明らかなように、この実施形
態による心理聴覚分析部3のSMR計算方法は、基本的
には、各サブバンド毎に音圧レベルP(k)の分散を求
め、求めた分散値をSMRとして使用するという方法で
ある。ここで、分散がSMRとして使用できる理由は次
の通りである。すなわち、各サブバンドの16の音圧レ
ベルの平均値が同じであったとしても、バラツキが大き
ければ分散は大きな値となり、逆に、バラツキが小さけ
れば分散は小さな値となる。全ての音圧レベルが等しけ
れば分散は0となる。一方、1つのサブバンドにおける
周波数成分にバラツキが少ない場合、それぞれの周波数
成分の位相がまちまちであれば、人間の耳には雑音に聞
こえる。これに対し、サブバンド内にピークがあれば、
その音が知覚される。すなわち、周波数成分(振幅また
は音圧レベル)の分散を計算した時に、分散が小さい波
形より大きい波形の方がより重要な波形であり、したが
って、ビット数も多くすることが必要となり、一方、分
散が小さい波形はビット数を少なくすることができる。
【0016】ところで、SMRと分散には以下の性質が
ある。 (1)データ量割り当て1(ビット)がSMRの約6(d
B)に相当する。 (2)分散は音圧レベルの二乗の次元を持っている。 (3)音圧レベルは振幅の二乗の次元を持っている。 (4)データ量は振幅が2倍になった時に1(ビット)増
やすのが妥当である。すなわち、分散を振幅に直すため
に4乗根をとり、さらに、常用対数をとって20倍(d
Bへの変換)してSMRとするのが妥当である。実際に
は、対数の性質から、分散の常用対数をとって5倍すれ
ばよい。つまり、SMRは、基本的には、 SMR(sb)=5×log10V(sb) なる式によって求められる。
【0017】しかし、人間の耳には各種聴覚特性がある
ため、その特性を利用した方がよりよい結果が得られ
る。まず、人間の耳は低域ほど周波数分解能がよく、高
域になるに従い分解能が悪くなる性質がある。この性質
を考慮し、次の補正方法が考えられる。分散を計算する
時、各サブバンドにおける最大の音圧レベルP(k)の
み周波数に反比例させて大きくする。すなわち、各サブ
バンドにおける最大の音圧レベルをP’(k)とする
と、このP’(k)に、 P’(k)=P’(k)×(32/sb) なる補正を加え、この補正後の音圧レベルP’(k)を
使用して分散を計算する。
【0018】実験的には、直接反比例させると高域特性
が著しく劣化するため、二乗根に反比例させた方が良い
結果が得られる。また、sbは0から始まるため計算の
都合上「1」を加算する。結局、次式によって音圧レベ
ルを補正することが好ましい。 P’(k)=P’(k)×sqrt(33/(sb+1)) 前述したステップS4の重み付けはこの補正である。な
お、平均値の計算(ステップS3)においては、補正前
の音圧レベルP(k)を使用する。
【0019】次に、人間の耳にはいわゆる聴覚曲線で表
される周波数特性がある。各サブバンドの中央における
聴覚感度をQ(sb)とすると、この値は音圧レベル
(dB)単位で表されており、値が小さい(負にもな
る)ほど、耳の感度が良いことを示している。そこで、
この聴覚感度Q(sb)を加味した次式によってSMR
を計算する方が好ましい。 SMR2(sb)=5×log10V(sb)−Q(s
b)
【0020】しかし、実際には、例えばMP2でサンプ
リング周波数48KHzの時を考えてみると、sb=0
に相当する周波数は0〜750Hzであり、この範囲に
は多くの音の基本波が存在するため、感度を落とすと音
質が低下し、ゴソゴソという感じのノイズが増加する。
したがって、耳の感度がある程度良くなる2KHz程度
までは補正をしない方がよい結果が得られる。そのよう
に修正した値をQ’(sb)とする。図2はこのQ’
(sb)の値を示す。また、実験的には、単純に和をと
るより、0.5:0.5の割合で和をとった方が良い結
果が得られる。すわわち、次式によってSMRを計算し
た方がより好ましい。 SMR3(sb)=2.5×log10V(sb)−0.
5Q’(sb) 上述したステップS6はこの計算処理を示している。
【0021】以上詳述したように、上記実施形態によれ
ば、各サブバンド毎に分散を計算し、この計算結果から
SMRを求めているので、従来の演算([数1]参照)よ
りはるかに簡単な演算によってSMRを求めることがで
きる。実験では、従来の方法の約1/3の時間でSMR
を求めることができた。なお、上記実施形態による方法
は、従来の心理聴覚モデルに比較し、ビットレートが下
がると、高域の特性が早く落ちる傾向がある。この結
果、従来の心理聴覚モデルでは目立つ高域の「ピロピ
ロ」という感じの量子化ノイズがこの実施形態による方
法では目立たず、代わりに、低域の「ゴソゴソ」という
量子化ノイズが目立つようになる。
【0022】
【発明の効果】以上説明したように、この発明によれ
ば、各サブバンド毎に周波性成分を求め、求めた周波数
成分の分散を計算し、この計算結果に基づいてビット割
り当てを行うので、ビット割り当てのための計算時間を
従来より大幅に短縮することができる利点が得られる。
【図面の簡単な説明】
【図1】 この発明による方法の一実施形態の処理手順
を示すフローチャートである。
【図2】 同実施形態において用いられる聴覚感度デー
タを示す図である。
【図3】 ディジタルオーディオ信号圧縮回路の構成例
を示すブロック図である。
【符号の説明】
3…心理聴覚分析部、4…ビット割当部、5…量子化回
路。

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】 入力ディジタルオーディオ信号に対して
    複数のサブバンドに周波数分割すると共に、心理聴覚分
    析処理を行い、該心理聴覚分析処理の結果に従って各サ
    ブバンドのビット割り当てを行い、ビット割り当てに従
    って各サブバンドの信号を量子化して出力するディジタ
    ルオーディオ信号圧縮方法において、 前記心理聴覚分析処理は、入力ディジタルオーディオ信
    号を周波数解析して周波数成分に変換し、次に、各サブ
    バンド毎の前記周波数成分の分散を計算する処理である
    ことを特徴とするディジタルオーディオ信号圧縮方法。
  2. 【請求項2】 前記心理聴覚分析処理は、入力ディジタ
    ルオーディオ信号を周波数解析して周波数成分に変換し
    た後、各サブバンド毎の周波数成分の最大値を検出し、
    検出した最大値にそのサブバンドの周波数帯域に応じた
    重み付けを行い、重み付けを行った最大値を用いて前記
    分散を計算することを特徴とする請求項1に記載のディ
    ジタルオーディオ信号圧縮方法。
  3. 【請求項3】 前記心理聴覚分析処理は、前記分散を計
    算した後、該計算によって得られた値に、予め求められ
    ている聴覚感度に対応するデータを演算することを特徴
    とする請求項1または請求項2に記載のディジタルオー
    ディオ信号圧縮方法。
  4. 【請求項4】 入力ディジタルオーディオ信号に対して
    複数のサブバンドに周波数分割すると共に、心理聴覚分
    析処理を行う心理聴覚分析手段と、該心理聴覚分析処理
    の結果に従って各サブバンドのビット割り当てを行うビ
    ット割り当て手段と、該ビット割り当てに従って各サブ
    バンドの信号を量子化して出力する量子化手段とを具備
    するディジタルオーディオ信号圧縮装置において、 前記心理聴覚分析手段は、入力ディジタルオーディオ信
    号を周波数解析して周波数成分に変換する第1の手段
    と、各サブバンド毎の前記周波数成分の分散を計算する
    第2の手段とを具備することを特徴とするディジタルオ
    ーディオ信号圧縮装置。
JP2000387351A 2000-12-20 2000-12-20 ディジタルオーディオ信号圧縮方法および圧縮装置 Expired - Fee Related JP3478267B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000387351A JP3478267B2 (ja) 2000-12-20 2000-12-20 ディジタルオーディオ信号圧縮方法および圧縮装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000387351A JP3478267B2 (ja) 2000-12-20 2000-12-20 ディジタルオーディオ信号圧縮方法および圧縮装置

Publications (2)

Publication Number Publication Date
JP2002189499A true JP2002189499A (ja) 2002-07-05
JP3478267B2 JP3478267B2 (ja) 2003-12-15

Family

ID=18854301

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000387351A Expired - Fee Related JP3478267B2 (ja) 2000-12-20 2000-12-20 ディジタルオーディオ信号圧縮方法および圧縮装置

Country Status (1)

Country Link
JP (1) JP3478267B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007525707A (ja) * 2004-02-18 2007-09-06 ヴォイスエイジ・コーポレーション Acelp/tcxに基づくオーディオ圧縮中の低周波数強調の方法およびデバイス
JP2016218465A (ja) * 2011-07-13 2016-12-22 ▲ホア▼▲ウェイ▼技術有限公司Huawei Technologies Co.,Ltd. 音声信号の符号化と復号化の方法および装置
CN113450846A (zh) * 2020-03-27 2021-09-28 上海汽车集团股份有限公司 一种声压级标定方法及装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007525707A (ja) * 2004-02-18 2007-09-06 ヴォイスエイジ・コーポレーション Acelp/tcxに基づくオーディオ圧縮中の低周波数強調の方法およびデバイス
US7933769B2 (en) 2004-02-18 2011-04-26 Voiceage Corporation Methods and devices for low-frequency emphasis during audio compression based on ACELP/TCX
US7979271B2 (en) 2004-02-18 2011-07-12 Voiceage Corporation Methods and devices for switching between sound signal coding modes at a coder and for producing target signals at a decoder
JP4861196B2 (ja) * 2004-02-18 2012-01-25 ヴォイスエイジ・コーポレーション Acelp/tcxに基づくオーディオ圧縮中の低周波数強調の方法およびデバイス
JP2016218465A (ja) * 2011-07-13 2016-12-22 ▲ホア▼▲ウェイ▼技術有限公司Huawei Technologies Co.,Ltd. 音声信号の符号化と復号化の方法および装置
US9984697B2 (en) 2011-07-13 2018-05-29 Huawei Technologies Co., Ltd. Audio signal coding and decoding method and device
US10546592B2 (en) 2011-07-13 2020-01-28 Huawei Technologies Co., Ltd. Audio signal coding and decoding method and device
US11127409B2 (en) 2011-07-13 2021-09-21 Huawei Technologies Co., Ltd. Audio signal coding and decoding method and device
CN113450846A (zh) * 2020-03-27 2021-09-28 上海汽车集团股份有限公司 一种声压级标定方法及装置
CN113450846B (zh) * 2020-03-27 2024-01-23 上海汽车集团股份有限公司 一种声压级标定方法及装置

Also Published As

Publication number Publication date
JP3478267B2 (ja) 2003-12-15

Similar Documents

Publication Publication Date Title
KR100269213B1 (ko) 오디오신호의부호화방법
Johnston Transform coding of audio signals using perceptual noise criteria
US7548850B2 (en) Techniques for measurement of perceptual audio quality
JP3297051B2 (ja) 適応ビット配分符号化装置及び方法
RU2500043C2 (ru) Кодер, декодер, способ кодирования и способ декодирования
JP5539203B2 (ja) 改良された音声及びオーディオ信号の変換符号化
US7917369B2 (en) Quality improvement techniques in an audio encoder
JP2906646B2 (ja) 音声帯域分割符号化装置
JPH066236A (ja) 高能率符号化及び/又は復号化装置
JP4091994B2 (ja) ディジタルオーディオ符号化方法及び装置
JP3081378B2 (ja) 毎秒32kbの可聴周波数信号の符号化方法
EP1398761A1 (en) Bit rate reduction in audio encoders by exploiting inharmonicity effects and auditory temporal masking
JP3188013B2 (ja) 変換符号化装置のビット配分方法
KR100477701B1 (ko) Mpeg 오디오 인코딩 방법 및 mpeg 오디오 인코딩장치
JP3395001B2 (ja) ディジタルオーディオ信号の適応的符号化方法
JP3297050B2 (ja) デコーダスペクトル歪み対応電算式適応ビット配分符号化方法及び装置
JPH0653911A (ja) 音声データ符号化方法及び音声データ符号化装置
US20130085762A1 (en) Audio encoding device
JP2002189499A (ja) ディジタルオーディオ信号圧縮方法および圧縮装置
JP3297238B2 (ja) 適応的符号化システム及びビット割当方法
EP0720146A1 (en) A method for measuring speech masking properties
JP2993324B2 (ja) 音声高能率符号化装置
JPH08167878A (ja) デジタルオーディオ信号符号化装置
JP2011141540A (ja) 音声信号処理装置、テレビジョン受像機、音声信号処理方法、プログラム、および、記録媒体
Gunjal et al. Traditional Psychoacoustic Model and Daubechies Wavelets for Enhanced Speech Coder Performance

Legal Events

Date Code Title Description
S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313532

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313532

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071003

Year of fee payment: 4

R370 Written measure of declining of transfer procedure

Free format text: JAPANESE INTERMEDIATE CODE: R370

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071003

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081003

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091003

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101003

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101003

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111003

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111003

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121003

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121003

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131003

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees