JP2001331198A - 音声・楽音信号符号化方法及びこの方法を実行するプログラムを記録した記録媒体 - Google Patents

音声・楽音信号符号化方法及びこの方法を実行するプログラムを記録した記録媒体

Info

Publication number
JP2001331198A
JP2001331198A JP2000150212A JP2000150212A JP2001331198A JP 2001331198 A JP2001331198 A JP 2001331198A JP 2000150212 A JP2000150212 A JP 2000150212A JP 2000150212 A JP2000150212 A JP 2000150212A JP 2001331198 A JP2001331198 A JP 2001331198A
Authority
JP
Japan
Prior art keywords
signal
frequency domain
voice
component
components
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000150212A
Other languages
English (en)
Other versions
JP3616307B2 (ja
Inventor
Takehiro Moriya
健弘 守谷
Naoki Iwagami
直樹 岩上
Akio Jin
明夫 神
Takeshi Mori
岳至 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2000150212A priority Critical patent/JP3616307B2/ja
Publication of JP2001331198A publication Critical patent/JP2001331198A/ja
Application granted granted Critical
Publication of JP3616307B2 publication Critical patent/JP3616307B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Stereophonic System (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

(57)【要約】 【課題】与えられた情報量と信号の帯域に基づいて音声
・楽音再生信号の品質の低下を抑えた音声・楽音信号符
号化方法を提供する。 【解決手段】音声・楽音信号をフレーム単位で周波数領
域成分に変換し、周波数領域成分のうち予め定められた
閾値以下の成分に対して振幅を減衰させることによって
変形させ、変形された周波数領域成分を音声・楽音信号
のスペクトル包絡で平坦化し、スペクトル包絡成分及び
平坦化された周波数領域成分を量子化して補助情報及び
主情報を出力する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は楽音や音声信号をで
きるだけ少ない情報量でディジタル符号化する高能率信
号符号化法に関するものである。
【0002】
【従来の技術】従来の信号の変換符号化復号化器は図1
に示されるような構成となっている。符号器は、楽音や
音声信号を時間窓で切り出したフレームを例えば、周波
数変換としてMDCT(Modified Discrete Cosine Tra
nsform)を使い、スペクトル推定部により、その変換後
の成分全体、すなわちスペクトルの包絡や全体の平均振
幅を求め、平坦化・正規化部でMDCT係数を正規化し
たあとで量子化部において量子化する。量子化には適応
ビット配分または適応重み付けベクトル量子化などを利
用する。符号器は、スペクトル推定部で生成された補助
情報(スペクトル包絡成分情報)と量子化部で生成され
た主情報(周波数領域成分情報)を出力する。
【0003】復号器は、主情報(周波数領域成分情報)
を逆量子化部で逆量子化し、逆平坦化部において、逆量
子化信号を補助情報(スペクトル包絡成分情報)を用い
て逆平坦化し、さらに、逆MDCTを行ない音声や楽音
信号を出力する。符号化する帯域に対して、与えられた
ビット数が少ないと量子化雑音が多くなり、品質が劣化
する。このため、ビット数が少ないときには高い周波数
成分を固定的に減衰させ、帯域を狭めるかわりに量子化
雑音を軽減する。音声などのようにもともと帯域が狭い
場合はこの効果があるが、通常の音楽では量子化雑音が
目立ちにくい反面、帯域が狭いことによる劣化が問題と
なり、量子化雑音と帯域の両立は難しかった。
【0004】
【発明が解決しようとする課題】本発明の目的は、でき
るだけ高品質で楽音や音声を伝送することであり、特に
符号化に先立って、量子化雑音を抑えきれない周波数成
分を減衰させることで、再生信号の品質の低下を抑える
方法およびこの方法を実行するためのプログラムを記録
した記録媒体を提供することである。
【0005】
【課題を解決するための手段】前記目的を達成するため
に、本発明は、与えられた情報量と信号の帯域に基づい
て十分な精度で量子化できない周波数成分を推定し、符
号化の前にその成分を減衰させることで最終的な聴覚上
の歪を軽減する。すなわち、入力信号の特徴にあわせて
適応的に帯域を制限する点を特徴とする。
【0006】
【発明の実施の形態】〈実施例〉図2は、本発明の第1
の実施例の符号器の構成図である。音声・楽音信号を時
間窓で切り出した1フレームについての処理を説明す
る。この例ではフレーム単位でMDCT係数に変換し、
MDCT係数をスペクトル包絡とパワーで正規化したあ
とで量子化を行なっている。この枠組みは従来法と同じ
である。
【0007】典型的な数値としては1フレームは例えば
1024サンプルからなり、ベクトルは8サンプルからな
る。すなわち、1フレームあたりのベクトルの数Nは12
8である。本発明ではMDCT係数を平坦化する前に前
処理の変形を行なう。この前処理は、スペクトル算出
部、減衰量算出部、前処理変形部によりMDCT係数の
スペクトルを分析し、符号化条件により減衰量を算出
し、それに基づいてMDCT係数を変形する。具体例と
してはベクトルの絶対値または複数サンプルごとにベク
トルとしてまとめたときの平均パワーEiを求める。
【0008】
【数1】 一方、フレームあたりのサンプル数とビット数からサン
プルあたりのビット数を求め、閾値を求める。
【0009】ベクトルあたりの平均パワーが閾値以下の
ベクトルに対しては振幅を減衰させる。例えば量子化前
のMDCT係数そのものに
【0010】
【数2】 をかける。さらにこの変形で信号全体のパワーが減衰す
るのでMDCT係数全体に係数をかけて、全体のパワー
が保たれるように変形してもよい。この減衰係数は、符
号化条件、すなわち、サンプリング周波数、与えられる
量子化ビット数などに依存し、詳細なパラメータは実験
的に調整したほうがよい。
【0011】この変形されたMDCT係数を入力とみな
して従来の平坦化と量子化を行なう。この前処理による
変形の情報は復号器には伝えられないので、復号器で再
生される信号は量子化精度がよくても元の入力信号とは
異なる。ただし、この変形は低ビット量子化で生じる量
子化歪より十分小さいように設定することで、品質を改
善できる。図3は、この処理によるMDCT係数の変形
例である。
【0012】(A)の実線で表わされるもとのスペクト
ル(ベクトル毎の平均パワー)の閾値Tより小さいベク
トルに対して(B)のような減衰係数をかける。係数が
1ということは変形なしということになる。この結果
(A)の破線で表わされるスペクトルに変形される。こ
の処理の原理はレート歪理論にある。
【0013】
【数3】 ベクトルあたりの平均ビット数が少ない時にはbi が負
の値になる場合がある。実際に配分するビット数bi^は
負にはなりえないからbi が負の場合は0とする。すな
わち情報を送らずに復号器でそのベクトルの値を0とす
る。情報量が少ないときにはパワーの小さい成分の伝送
を放棄することになる。
【0014】実際の符号化ではビット配分を示す補助情
報を細かく送ることは情報量が増えてしまい得策ではな
いし、すでに標準化された方法では補助情報を送ること
はできない。本発明では、あらかじめ量子化ビットを配
分できないような帯域の信号を減衰させることでその帯
域の量子化雑音を小さくする。図4は、本発明の第2の
実施例の符号器の構成図である。
【0015】この第2の実施例では、周波数領域の振幅
を求める手段として線形予測分析部で時間領域の線形予
測を使うものである。時間領域の相関係数から予測係数
を求め、予測係数からスペクトル包絡を求める。スペク
トル包絡値が閾値以下の周波数成分を減衰させる。閾値
以上の成分は変化しない。このパラメータも情報として
復号器に送らないので次数制約や量子化の制約はない。
図5は、ステレオの場合の実施例である。
【0016】左右の信号の全体の平均を基準にスペクト
ルの小さい部分をさらに小さくする。また量子化は左右
信号を統合して行なう例である。さらにMDCT処理の
前または直後に左右の信号を和の信号と差の信号に変換
した系列としてもよい。図6は、ステレオ信号の場合
で、本発明の処理を和と差のベクトルに対して適用した
ときの変形例である。和の信号が差の信号より大きい場
合が多く、情報量が少ない時には差の信号の振幅を抑え
ることになる。
【0017】図7は、同じフレームのなかで時間的に分
割して周波数領域に変換する場合の実施例である。この
実施例の場合、一つのフレームを4つのサブフレームに
分割して、それぞれのサブフレームごとにMDCT係数
を求めたものである。フレーム全体のパワーから閾値T
を基準に減衰量を決定する。図8は、聴覚のマスキング
効果を利用した減衰量を決定する実施例である。
【0018】ここまでの実施例では(A)のようにもと
のスペクトルに対して量子化雑音が周波数軸上で平坦に
なるように最適量子化を行なうことを前提としてきた。
実際の符号化では(B)のようにマスキング効果を考慮
してもとのスペクトルと相関をもつように量子化雑音を
整形することがよく行なわれる。そこで(B)の量子化
雑音が平坦となるように逆特性をもとの信号にかけるこ
とで(C)の変形したスペクトルを作る。このスペクト
ルを入力のスペクトルとみなしてこれまでの実施例に適
用すればよい。
【0019】また、スペクトルのパワーを算出するベク
トルは聴覚の分解能を考慮して、低域ほど幅が狭く、広
域が広くなる周波数目盛り尺度(例えば、バーク尺度)
で分割することもできる。なお、本発明の符号器をCP
Uやメモリ等を有するコンピュータで構成し、記録媒体
に記録されたプログラムをコンピュータに読取り、コン
ピュータの動作を制御して前述の実施の形態の各構成要
素を実現する。
【0020】
【発明の効果】本発明により、量子化歪が避けられない
周波数成分を適応的に減衰させているので、その成分に
対する量子化誤差を相対的に小さくすることができ、品
質を改善できる。音声信号のように低域にパワーが集中
している場合には量子化する帯域が狭められ、低域の量
子化誤差が小さくなる。また、一般の音楽ではパワーが
少なく聴覚的に重要でない帯域の信号が減衰し、その他
の重要な帯域の歪が小さくなる。
【0021】周波数領域の量子化を行なう符号化には処
理量の大きな増加はなく簡単に組み入れることができ、
時間領域の符号化と組み合わせることも可能である。
【図面の簡単な説明】
【図1】従来のMDCT係数を量子化する符号器及び復
号器の構成を示す図。
【図2】本発明の第1実施例である符号器の構成を示す
図。
【図3】本発明の第1実施例の符号化のMDCT係数の
変形例を示す説明図。
【図4】本発明の第2実施例である線形予測を利用した
符号器の構成を示す図。
【図5】本発明をステレオ信号に適用した符号器の構成
を示す図。
【図6】本発明をステレオ信号の左右信号の和と差のベ
クトルに対して適用した処理を説明する図。
【図7】1つのフレームを4つのサブフレームに分割し
たMDCT係数の例を示す図。
【図8】聴覚特性の補正を行なう場合の説明図。
フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G10L 9/16 (72)発明者 神 明夫 東京都千代田区大手町二丁目3番1号 日 本電信電話株式会社内 (72)発明者 森 岳至 東京都千代田区大手町二丁目3番1号 日 本電信電話株式会社内 Fターム(参考) 5D045 CC07 DA11 5D062 AA02 AA05 5J064 AA01 BA16 BB03 BC02 BC16 BC17 BC18 BC19 BC22 BD03

Claims (12)

    【特許請求の範囲】
  1. 【請求項1】音声・楽音信号をフレーム単位、またはフ
    レームをさらに分割してサブフレーム単位とし、ベクト
    ル単位で符号化出力を得る音声・楽音信号符号化方法で
    あって、 前記音声・楽音信号をフレーム単位またはサブフレーム
    単位で周波数領域成分に変換し、 前記音声・楽音信号の各周波数領域成分の振幅、または
    複数サンプル毎の平均振幅を算出し、その値をフレーム
    全体の平均振幅と比較した相対的な閾値以下またはフレ
    ームの量子化に与えれたビット数から計算した閾値以下
    の周波数領域成分を減衰させることによって周波数領域
    成分を変形させて量子化することを特徴とする音声・楽
    音信号符号化方法。
  2. 【請求項2】前記変形された周波数領域成分を前記音声
    ・楽音信号のスペクトル包絡で平坦化し、 前記スペクトル包絡成分及び前記平坦化された周波数領
    域成分を各々量子化して補助情報及び主情報を符号化出
    力として得ることを特徴とする請求項1に記載の音声・
    楽音信号符号化方法。
  3. 【請求項3】前記周波数領域成分の変形において、 前記周波数領域成分を構成するベクトル毎の平均パワー
    を求め、前記ベクトル毎の平均パワーからフレーム毎の
    平均パワーを求め、ベクトル毎にビット配分を求め、ビ
    ット配分が一定閾値以下となるベクトルに対して周波数
    領域成分を減衰させることを特徴とする請求項1に記載
    の音声・楽音信号符号化方法。
  4. 【請求項4】前記音声・楽音信号を時間領域で線形予測
    して線形予測係数を求め、前記予測係数から前記スペク
    トル包絡を求めることを特徴とする請求項1に記載の音
    声・楽音信号符号化方法。
  5. 【請求項5】前記音声・楽音信号は左信号と右信号から
    なるステレオ信号であり、前記左信号と右信号を各々周
    波数領域成分に変換し、前記左信号と右信号の周波数領
    域成分の平均パワーに基づいて前記左信号と右信号の周
    波数領域成分を変形することを特徴とする請求項3に記
    載の音声・楽音信号符号化方法。
  6. 【請求項6】前記音声・楽音信号は左信号と右信号から
    なるステレオ信号であり、前記左信号と前記右信号との
    和からなる和信号と、前記左信号と前記右信号との差か
    らなる差信号を各々周波数領域成分に変換し、前記和信
    号と差信号の周波数領域成分の平均パワーに基づいて前
    記左信号と右信号の周波数領域成分を変形することを特
    徴とする請求項3に記載の音声・楽音信号符号化方法。
  7. 【請求項7】音声・楽音信号をフレーム単位、またはフ
    レームをさらに分割してサブフレーム単位とし、ベクト
    ル単位で符号化出力を得る音声・楽音信号符号化方法を
    コンピュータに実行させるプログラムを記録した機械読
    取可能な記録媒体であって、 前記音声・楽音信号をフレーム単位またはサブフレーム
    単位で周波数領域成分に変換する処理と、 前記音声・楽音信号の各周波数領域成分の振幅、または
    複数サンプル毎の平均振幅を算出する処理と、 前記算出した各周波数領域成分の振幅、または複数サン
    プルごとの平均振幅をフレーム全体の平均振幅と比較し
    た相対的な閾値以下またはフレームの量子化に与えられ
    たビット数から計算した閾値以下の周波数領域成分を減
    衰させることによって周波数領域成分を変形させる処理
    と、 前記変形させた周波数領域成分を量子化する処理をコン
    ピュータに実行させるプログラムを記録した機械読取可
    能な記録媒体。
  8. 【請求項8】前記変形された周波数領域成分を前記音声
    ・楽音信号のスペクトル包絡で平坦化させる処理と、 前記スペクトル包絡成分及び前記平坦化された周波数領
    域成分を各々量子化して補助情報及び主情報を符号化出
    力として得る処理を備えた請求項7に記載の機械読取可
    能な記録媒体。
  9. 【請求項9】前記周波数領域成分を変形させる処理にお
    いて、 前記周波数領域成分を構成するベクトル毎の平均パワー
    を求め、前記ベクトル毎の平均パワーからフレーム毎の
    平均パワーを求め、ベクトル毎にビット配分を求め、ビ
    ット配分が一定閾値以下となるベクトルに対して周波数
    領域成分を減衰させる処理を備えた請求項7に記載の機
    械読取可能な記録媒体。
  10. 【請求項10】前記音声・楽音信号を時間領域で線形予
    測して線形予測係数を求め、前記予測係数から前記スペ
    クトル包絡を求める処理を備えた請求項7に記載の機械
    読取可能な記録媒体。
  11. 【請求項11】前記音声・楽音信号は左信号と右信号か
    らなるステレオ信号であり、前記左信号と右信号を各々
    周波数領域成分に変換し、前記左信号と右信号の周波数
    領域成分の平均パワーに基づいて前記左信号と右信号の
    周波数領域成分を変形する処理を備えた請求項9に記載
    の機械読取可能な記録媒体。
  12. 【請求項12】前記音声・楽音信号は左信号と右信号か
    らなるステレオ信号であり、前記左信号と前記右信号と
    の和からなる和信号と、前記左信号と前記右信号の差か
    らなる差信号を各々周波数領域成分に変換し、前記和信
    号と差信号の周波数領域成分の平均パワーに基づいて前
    記左信号と右信号の周波数領域成分を変形する処理を備
    えた請求項9に記載の機械読取可能な記録媒体。
JP2000150212A 2000-05-22 2000-05-22 音声・楽音信号符号化方法及びこの方法を実行するプログラムを記録した記録媒体 Expired - Lifetime JP3616307B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000150212A JP3616307B2 (ja) 2000-05-22 2000-05-22 音声・楽音信号符号化方法及びこの方法を実行するプログラムを記録した記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000150212A JP3616307B2 (ja) 2000-05-22 2000-05-22 音声・楽音信号符号化方法及びこの方法を実行するプログラムを記録した記録媒体

Publications (2)

Publication Number Publication Date
JP2001331198A true JP2001331198A (ja) 2001-11-30
JP3616307B2 JP3616307B2 (ja) 2005-02-02

Family

ID=18655957

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000150212A Expired - Lifetime JP3616307B2 (ja) 2000-05-22 2000-05-22 音声・楽音信号符号化方法及びこの方法を実行するプログラムを記録した記録媒体

Country Status (1)

Country Link
JP (1) JP3616307B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005530205A (ja) * 2002-06-17 2005-10-06 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション スペクトルホール充填を用いるオーディオコーディングシステム
JP2008532395A (ja) * 2005-03-04 2008-08-14 フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー.フアー. オーディオ断片またはオーディオデータストリームの符号化ステレオ信号を生成するための装置および方法
WO2011086924A1 (ja) * 2010-01-14 2011-07-21 パナソニック株式会社 音声符号化装置および音声符号化方法
JP5097217B2 (ja) * 2008-01-24 2012-12-12 日本電信電話株式会社 符号化方法、符号化装置、及びそのプログラムと記録媒体
CN110992965A (zh) * 2014-02-24 2020-04-10 三星电子株式会社 信号分类方法和装置以及使用其的音频编码方法和装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005530205A (ja) * 2002-06-17 2005-10-06 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション スペクトルホール充填を用いるオーディオコーディングシステム
JP2010156990A (ja) * 2002-06-17 2010-07-15 Dolby Lab Licensing Corp オーディオ情報生成方法
JP2013214103A (ja) * 2002-06-17 2013-10-17 Dolby Lab Licensing Corp オーディオ情報生成方法
JP2008532395A (ja) * 2005-03-04 2008-08-14 フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー.フアー. オーディオ断片またはオーディオデータストリームの符号化ステレオ信号を生成するための装置および方法
US8553895B2 (en) 2005-03-04 2013-10-08 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Device and method for generating an encoded stereo signal of an audio piece or audio datastream
JP5097217B2 (ja) * 2008-01-24 2012-12-12 日本電信電話株式会社 符号化方法、符号化装置、及びそのプログラムと記録媒体
WO2011086924A1 (ja) * 2010-01-14 2011-07-21 パナソニック株式会社 音声符号化装置および音声符号化方法
JPWO2011086924A1 (ja) * 2010-01-14 2013-05-16 パナソニック株式会社 音声符号化装置および音声符号化方法
JP5809066B2 (ja) * 2010-01-14 2015-11-10 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 音声符号化装置および音声符号化方法
CN110992965A (zh) * 2014-02-24 2020-04-10 三星电子株式会社 信号分类方法和装置以及使用其的音频编码方法和装置

Also Published As

Publication number Publication date
JP3616307B2 (ja) 2005-02-02

Similar Documents

Publication Publication Date Title
US8209188B2 (en) Scalable coding/decoding apparatus and method based on quantization precision in bands
JP5539203B2 (ja) 改良された音声及びオーディオ信号の変換符号化
JP3881943B2 (ja) 音響符号化装置及び音響符号化方法
US6725192B1 (en) Audio coding and quantization method
KR100814673B1 (ko) 오디오 부호화
JP5267362B2 (ja) オーディオ符号化装置、オーディオ符号化方法及びオーディオ符号化用コンピュータプログラムならびに映像伝送装置
JP3513292B2 (ja) 雑音荷重フィルタリング方法
US6654716B2 (en) Perceptually improved enhancement of encoded acoustic signals
KR101157930B1 (ko) 오디오 인코딩에서 mdct 데이터에 기초한 윈도우 유형의 결정 방법
US20040162720A1 (en) Audio data encoding apparatus and method
JP3881946B2 (ja) 音響符号化装置及び音響符号化方法
KR100813193B1 (ko) 정보 신호의 양자화 방법 및 장치
JP4679513B2 (ja) 階層符号化装置および階層符号化方法
US11335355B2 (en) Estimating noise of an audio signal in the log2-domain
KR100848370B1 (ko) 오디오 부호화
JP4657570B2 (ja) 音楽情報符号化装置及び方法、音楽情報復号装置及び方法、並びにプログラム及び記録媒体
JP4750707B2 (ja) オーディオ符号化におけるショートウィンドウグループ化方法
US20050075871A1 (en) Rate-distortion control scheme in audio encoding
KR20130109793A (ko) 잡음 감쇄를 위한 오디오 신호 부호화 방법 및 장치
JP2008261999A (ja) オーディオ復号装置
KR100513815B1 (ko) 신호부호화방법및장치
EP1619666B1 (en) Speech decoder, speech decoding method, program, recording medium
JP2001331198A (ja) 音声・楽音信号符号化方法及びこの方法を実行するプログラムを記録した記録媒体
KR100338606B1 (ko) 피치 강조 방법 및 그 장치
JP3353266B2 (ja) 音響信号変換符号化方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040409

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040810

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040825

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20041012

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20041104

R151 Written notification of patent or utility model registration

Ref document number: 3616307

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071112

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081112

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091112

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101112

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101112

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111112

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111112

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121112

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121112

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131112

Year of fee payment: 9

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term