JP2000132538A - フィルタ演算装置 - Google Patents

フィルタ演算装置

Info

Publication number
JP2000132538A
JP2000132538A JP30514798A JP30514798A JP2000132538A JP 2000132538 A JP2000132538 A JP 2000132538A JP 30514798 A JP30514798 A JP 30514798A JP 30514798 A JP30514798 A JP 30514798A JP 2000132538 A JP2000132538 A JP 2000132538A
Authority
JP
Japan
Prior art keywords
coefficient
address
input data
multipliers
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP30514798A
Other languages
English (en)
Other versions
JP3629981B2 (ja
Inventor
Masaiku Yugami
昌郁 湯上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Priority to JP30514798A priority Critical patent/JP3629981B2/ja
Publication of JP2000132538A publication Critical patent/JP2000132538A/ja
Application granted granted Critical
Publication of JP3629981B2 publication Critical patent/JP3629981B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Complex Calculations (AREA)
  • Image Processing (AREA)
  • Studio Circuits (AREA)

Abstract

(57)【要約】 【課題】 正規化誤差,丸め誤差に起因する直流分の変
動を防止することができ、妨害のない品位のよい映像と
することができるフィルタ演算装置を提供する。 【解決手段】 乗算器32,33は入力データに係数C
n,Dnを乗算し、加算器34は乗算器32,33の出
力を加算する。直流検出回路4によって入力データが直
流分であるか否かを検出する。固定アドレス発生器51
は固定アドレスを発生する。入力データが直流分であれ
ば、選択器52は入力されたアドレスを固定アドレスに
切り換えて出力する。係数記憶部2はそのアドレスの係
数Cn,Dnを発生し、乗算器32,33に入力する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、画像を拡大縮小す
る際に用いられるフィルタ演算装置に関する。
【0002】
【従来の技術】近年になって、テレビジョン受像機や投
射型表示装置(プロジェクタ装置)においては、複数の
画像を1つの画面内に表示する多画面表示を行ったり、
画像の一部を拡大して表示する等、画像表示方法が多様
化している。また、テレビジョン信号のみならず、パー
ソナルコンピュータ信号(パソコン信号)も表示するよ
うになってきた。さらに、陰極線管を用いたディスプレ
イ装置に加え、プラズマディスプレイ装置(PDP)や
液晶表示装置(LCD)のような非ラスタ型の表示パネ
ルを用いたマトリクス型表示装置も登場している。
【0003】このような画像表示方法及び入力映像フォ
ーマットの多様化や画像表示装置の多様化等に伴って、
テレビジョン画像あるいはコンピュータ画像を、ハード
ウェアを用いたデジタル信号処理によって拡大縮小する
画像拡大縮小装置が必須の構成要素となっている。画像
拡大縮小装置は、デジタル信号処理装置であるフィルタ
演算装置によって画像を拡大縮小する。
【0004】図2は従来のフィルタ演算装置の一例を示
すブロック図である。この図2の例では、フィルタ演算
装置のタップ数を2としている。図2において、アドレ
ス発生器1には、フィルタ演算の開始位置、即ち、画像
を拡大もしくは縮小する際の先頭位置を示す開始信号が
入力される。アドレス発生器1は、その開始信号を基に
してアドレスを発生し、係数記憶部2に入力する。
【0005】係数記憶部2は、複数の係数組を記憶する
ものであり、リード・オンリ・メモリ(ROM)やラン
ダム・アクセス・メモリ(RAM)より構成される。こ
こでは、係数記憶部2をRAMよって構成した場合を示
している。係数記憶部2には、係数記憶部2に記憶する
係数データと、この係数データを書き込むアドレスを指
定する書き込みアドレスと、係数データを書き込むこと
を許可する書き込み制御信号(書き込みイネーブル信
号)が入力される。係数記憶部2に係数データが書き込
まれた後、アドレス発生器1よりアドレスが入力される
と、係数記憶部2はそのアドレスで指定された係数デー
タを発生し、フィルタ部3に入力する。この例では、フ
ィルタ演算装置のタップ数が2であるので、係数記憶部
2は係数Cnと係数Dnの2つの係数を発生する。
【0006】フィルタ部3には、フィルタ演算の対象と
されている映像信号が入力データとして入力される。フ
ィルタ部3は、係数記憶部2より入力された2つの係数
Cn,Dnを用い、入力された映像信号をフィルタ演算
して出力する。フィルタ部3の具体的構成及び動作は、
後述する。
【0007】ここで、図3を用いて、フィルタ演算装置
による補間演算の動作について説明する。図3におい
て、(A)は入力映像信号(以下、入力データ)を示し
ており、(B)は出力映像信号(以下、出力データ)を
示している。入力データは、画素A0,A1,A2,A
3,A4,A5…よりなり、出力データは、B1,B
2,B3,B4,B5,B6…よりなる。図3(A)に
おけるxは、入力データの画素より補間して得る出力デ
ータの画素までの距離(位相)を示している。
【0008】出力データは、B1,B2,B3,B4,
B5…は、以下の演算によって得られる。 B1=A0×C1+A1×D1,B2=A1×C2+A2
×D2,B3=A2×C3+A3×D3,B4=A3×
C4+A4×D4,B5=A4×C5+A5×D5…
(これを(1)式と呼ぶ) C1,C2,C3…は係数記憶部2が発生する係数Cn
であり、D1,D2,D3…は係数記憶部2が発生する
係数Dnである。
【0009】係数Cn,Dnは画素の補間位置と大きな
相関関係があり、入力データの画素3周期で出力データ
の画素4周期を生成する場合、係数Cn,Dnは位置情
報として次のように表される。 (C1,D1)=(1,0),(C2,D2)=(0.2
5,0.75),(C3,D3)=(0.5,0.
5),(C4,D4)=(0.75,0.25),(C
5,D5)=(0,1)…(これを(2)式と呼ぶ)
【0010】この(2)式より、実際の係数Cn,Dn
を得る手法は種々あるが、最も簡易な例として直線補間
法がある。直線補間法では、位置情報をフィルタ係数と
するものであり、入力データの画素から出力データの画
素までの距離xによって重み付けすると、次のようにな
る。 (C1,D1)=(0,1),(C2,D2)=(0.7
5,0.25),(C3,D3)=(0.5,0.
5),(C4,D4)=(0.25,0.75),(C
5,D5)=(1,0)…(これを(3)式と呼ぶ)
【0011】以上の(1)式と(3)式によって、出力
データを得ることができる。図4は、係数記憶部2に記
憶する係数Cn,Dnの例である。上記の例では、簡略
化のため、入力データの画素3周期で出力データの画素
4周期を生成する場合について示したが、実際には、画
素の間隔をさらに細かく細分化して係数を決定する。図
4の例では、入力データの画素間隔を32分割した場合
の係数Cn,Dnを示している。補間画素を生成すべき
出力データの位置情報をアドレスとして与えることによ
って、フィルタ演算に必要な係数Cn,Dnを発生する
ことができる。このとき、係数Cn,Dnは正規化して
おく必要があり、Cn+Dnは必ず1としなければなら
ない。これは、Cn+Dnが1でないと、フィルタ演算
の結果に直流分の変動を生じ、出力映像に妨害が発生す
るからである。
【0012】図2中のフィルタ部3は、図5に示すよう
に構成される。図5において、入力データはDフリップ
フロップ(以下、DFF)31及び乗算器32に入力さ
れる。DFF31は入力データを1画素分遅延し、乗算
器33に入力する。入力データをAn(n=0,1,2
…)とすると、DFF31の出力はA(n+1)とな
る。乗算器32は入力データAnと係数Cnとを乗算
し、信号M1を出力する。乗算器33は入力データA
(n+1)と係数Dnとを乗算し、信号M2を出力す
る。加算器34は信号M1と信号M2とを加算し、信号
M3を出力する。この信号M3がフィルタ演算装置の出
力データである。
【0013】
【発明が解決しようとする課題】従来のフィルタ演算装
置においては、フィルタ係数を正規化しているにもかか
わらず、直流分が変動してしまうという問題点がある。
デジタル信号処理装置であるフィルタ演算装置では、フ
ィルタ係数や映像信号のデータは有限語長であり、高々
8ビットである。従来のフィルタ演算装置に入力データ
として直流データ、即ち、一定の振幅値の信号を連続し
て入力した場合には、図4で説明したように、補間すべ
き位置に応じて変化するフィルタ係数を用いて演算した
結果、元の直流値を正確に再現することができない。
【0014】上記の例では、係数Cn,Dnが(0.
5,0.5)の場合には誤差は発生しないが、(1/
3,2/3)のような値を有限語長で表現すると、余り
が生じる。この場合、Cn+Dnが1となるように正規
化しても、結局は、フィルタ部3を構成する乗算器3
2,33や加算器34における演算処理で誤差が発生し
てしまう。フィルタ部3にて誤差を解消するよう、有限
語長の丸めを行うことも考えられるが、そのような乗算
器32,33や加算器34を構成するのは困難である。
【0015】上記の例では、2タップであるが、通常は
4タップや6タップであり、この場合に使用されるsi
n(x)/xで表現される補間関数を用いると、フィル
タ係数の正規化や演算処理における丸め処理はさらに複
雑化してしまう。従って、フィルタ係数や映像信号のデ
ータが有限語長であるがために発生する正規化誤差,丸
め誤差に起因する直流分の変動を解消することは極めて
困難であった。直流分が変動すると、映像信号を水平方
向にフィルタリングした場合には縦線の妨害が生じ、映
像信号を垂直方向にフィルタリングした場合には横線の
妨害が生じ、映像の品位を著しく損ねてしまう。
【0016】本発明はこのような問題点に鑑みなされた
ものであり、正規化誤差,丸め誤差に起因する直流分の
変動を防止することができ、もって、妨害のない品位の
よい映像とすることができるフィルタ演算装置を提供す
ることを目的とする。
【0017】
【課題を解決するための手段】本発明は、上述した従来
の技術の課題を解決するため、入力データに所定の係数
を乗じて出力する複数の乗算器(32,33)と、この
複数の乗算器の出力を加算して出力する加算器(34)
とを備えるフィルタ演算装置において、前記入力データ
が直流分であることを検出する直流検出手段(4)と、
前記直流検出手段によって前記入力データが直流分であ
ることが検出されたら、前記乗算器に入力する係数を一
定化する一定化手段(5)とを備えて構成したことを特
徴とするフィルタ演算装置を提供するものである。
【0018】
【発明の実施の形態】以下、本発明のフィルタ演算装置
について、添付図面を参照して説明する。図1は本発明
のフィルタ演算装置の一実施例を示すブロック図であ
る。なお、図1において、図2,図5と同一部分には同
一符号が付してある。
【0019】図1において、入力データはDフリップフ
ロップ(以下、DFF)31及び乗算器32に入力され
る。DFF31は入力データを1画素分遅延し、乗算器
33に入力する。入力データをAn(n=0,1,2
…)とすると、DFF31の出力はA(n+1)とな
る。乗算器32は入力データAnと係数Cnとを乗算
し、信号M1を出力する。乗算器33は入力データA
(n+1)と係数Dnとを乗算し、信号M2を出力す
る。加算器34は信号M1と信号M2とを加算し、信号
M3を出力する。この信号M3がフィルタ演算装置の出
力データとなる。DFF31と乗算器32,33と加算
器34がフィルタ部3を構成している。
【0020】入力データAnは、最大値検出器41及び
最小値検出器42にも入力される。DFF31より出力
されたデータA(n+1)も、最大値検出器41及び最
小値検出器42に入力される。最大値検出器41は入力
されたデータの同時点における最大値を検出し、最小値
検出器42は入力されたデータの同時点における最小値
を検出する。この例では、簡略化のため、フィルタ演算
装置(フィルタ部3)のタップ数を2としているので、
データAnとデータA(n+1)との大小関係を見れば
よく、最大値検出器41及び最小値検出器42は特には
必要ないが、上述のように、通常は、タップ数は4もし
くは6であるので、最大値検出器41及び最小値検出器
42が必要となる。
【0021】フィルタ演算装置のタップ数は特に限定さ
れることはなく、2以上(複数)であればよい。タップ
数が増えれば、フィルタ係数を乗算する乗算器や遅延器
であるDFFも増える。最大値検出器41は、フィルタ
演算装置を構成する乗算器に入力する同時点のデータよ
り最大値を検出するものであり、最小値検出器42はフ
ィルタ演算装置を構成する乗算器に入力する同時点のデ
ータより最小値を検出するものである。最大値検出器4
1が検出した最大値Maxと最小値検出器42が検出し
た最小値Minは、減算器43に入力される。
【0022】減算器43は最大値Maxと最小値Min
との差分を生成し、絶対値回路44に入力する。絶対値
回路44は減算器43の出力の絶対値ABSをとり、比
較器45に入力する。最大値Maxと最小値Minとの
差分の絶対値ABSが0であれば、データAnとデータ
A(n+1)とは同じ値である。即ち、これは直流分で
あることを意味する。0を超えれば、直流分ではないと
いうことになる。実際には、ノイズ等の影響を考慮し
て、最大値Maxと最小値Minとの差分の絶対値AB
Sが所定の値よりも小さければ直流分であると判断す
る。
【0023】比較器45には、設定値発生器46より設
定値Kが入力される。比較器45は、入力された絶対値
ABSと設定値Kとを比較し、比較結果を選択器52に
入力する。設定値Kは固定値であってもよく、外部より
適宜可変するよう構成してもよい。また、設定値Kを比
較器45に保持させるようにしてもよい。比較器45
は、例えば、ABS>Kのときハイレベルの制御信号を
発生し、ABS≦Kのときローレベルの制御信号を発生
する構成とすればよい。以上の説明より分かるように、
最大値検出器41,最小値検出器42,減算器43,絶
対値回路44,比較器45,設定値発生器46は、入力
データが直流分であることを検出する直流検出回路4と
して動作している。
【0024】選択器52には、図2に示すアドレス発生
器1からのアドレスと、固定アドレス発生器51によっ
て発生した固定アドレスとが入力される。アドレス発生
器1からのアドレスは、補間すべき位置に応じて図4の
0〜31で切り換わるものである。固定アドレス発生器
51が発生する固定アドレスは、図4の0〜31におけ
るいずれかのアドレスである。この固定アドレスは、特
に限定されることはないが、例えば、図4の例では誤差
が発生しないアドレス0がよい。アドレス0では、係数
Cnが0、係数Dnが1であるので、係数Cn,Dnの
正規化が発生せず、また、フィルタ部3の演算処理にお
いても丸め誤差が一切発生しない。勿論、他のアドレス
でもよい。
【0025】選択器52は、直流分でないと判断された
場合、即ち、ABS>Kであれば、アドレス発生器1か
らのアドレスを選択してそのまま出力し、直流分である
と判断された場合、即ち、ABS≦Kであれば、アドレ
ス発生器1からのアドレスの代わりに固定アドレス発生
器51が発生する固定アドレスを選択して、アドレスを
すげ替える。選択器52より出力されたアドレスはRA
Mよりなる係数記憶部2に入力される。ここでは、係数
記憶部2に入力する係数データ,書き込みアドレス,書
き込み制御信号の図示を省略している。係数記憶部2と
してROMを用いてもよい。なお、係数記憶部2が記憶
する係数の組は図4に限定されることはなく、アドレス
も0〜31に限定されることはない。係数記憶部2は、
複数のアドレスに対応させて複数の係数の組を記憶する
ものであればよい。
【0026】係数記憶部2は、入力されたアドレスに応
じて、係数Cnと係数Dnを発生する。係数Cn,Dn
は乗算器32,33に入力される。直流分でなければ、
補間すべき位置に応じて係数記憶部2のアドレスが切り
換わるので、係数Cn,Dnも切り換わり、従来通りの
フィルタ演算が行われる。なお、直流分でなければ、正
規化誤差や丸め誤差は認知できない。直流分であれば、
アドレスは固定されるので、係数Cn,Dnも固定さ
れ、一定の値が出力され続けることになる。
【0027】このように、本発明のフィルタ演算装置で
は、直流分であると判断されたときに、係数Cn,Dn
を変化させず、固定することに特徴がある。直流分であ
れば、フィルタ演算装置によるフィルタリングの作用は
及ばない。従って、どのような係数Cn,Dnを用いて
フィルタ演算を行っても問題ない。但し、従来のよう
に、係数Cn,Dnを変化させてしまうと、正規化誤差
や丸め誤差の変動によって妨害が発生し、映像の品位を
損ねてしまう。これに対し、本発明のフィルタ演算装置
では、直流分のとき係数Cn,Dnは変化せず一定値で
あるので、正規化誤差や丸め誤差は変動しない。よっ
て、妨害が発生して、映像の品位を損ねてしまうことは
ない。
【0028】固定アドレス発生器51及び選択器52
は、入力データが直流分であると判断されたときに、乗
算器32,33に入力する係数Cn,Dnを変化させ
ず、一定化する係数一定化回路5として動作しているこ
とが分かる。本実施例では、アドレスを固定することに
よって係数Cn,Dnを固定するよう構成したが、入力
データが直流分であると判断されたときに、係数Cn,
Dnそのものを正規化して、ある値にすげ替えるよう構
成することもできる。但し、このようにすると、タップ
数が増えて選択回路が新たに必要となったり、RAMや
ROMの係数記憶部2を用いず、係数Cn,Dnを直接
発生する場合にも、係数Cn,Dnそのものをすげ替え
る構成が必要となり、回路及び制御が複雑化する。従っ
て、本実施例のように、アドレスを固定することによっ
て係数Cn,Dnを固定する構成は、好ましい実施形態
である。
【0029】本発明は、以上説明した本実施例に限定さ
れることはなく、本発明の要旨を逸脱しない範囲におい
て種々変更可能である。本実施例では、フィルタ演算装
置を拡大縮小装置に用いた例を示したが、他の用途に用
いてもよい。
【0030】
【発明の効果】以上詳細に説明したように、本発明のフ
ィルタ演算装置は、入力データが直流分であることを検
出する直流検出手段と、この直流検出手段によって入力
データが直流分であることが検出されたら、乗算器に入
力する係数を一定化する一定化手段とを備えて構成した
ので、正規化誤差,丸め誤差に起因する直流分の変動を
防止することができ、もって、妨害のない品位のよい映
像とすることができる。
【図面の簡単な説明】
【図1】本発明の一実施例を示すブロック図である。
【図2】従来例を示すブロック図である。
【図3】フィルタ演算装置による補間演算の動作を説明
するための図である。
【図4】図1,図2中の係数記憶部2に記憶するフィル
タ係数の例を示す図である。
【図5】図2中のフィルタ部3の具体的構成を示すブロ
ック図である。
【符号の説明】
1 アドレス発生器 2 係数記憶部 3 フィルタ部 4 直流検出回路(直流検出手段) 5 係数一定化回路(一定化手段) 41 最大値検出器 42 最小値検出器 43 減算器 44 絶対値回路 45 比較器 46 設定値発生器 51 固定アドレス発生器 52 選択器

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】入力データに所定の係数を乗じて出力する
    複数の乗算器と、この複数の乗算器の出力を加算して出
    力する加算器とを備えるフィルタ演算装置において、 前記入力データが直流分であることを検出する直流検出
    手段と、 前記直流検出手段によって前記入力データが直流分であ
    ることが検出されたら、前記乗算器に入力する係数を一
    定化する一定化手段とを設けて構成したことを特徴とす
    るフィルタ演算装置。
  2. 【請求項2】前記直流検出手段は、 前記複数の乗算器に入力する同時点の入力データの中よ
    り最大値を検出する最大値検出器と、 前記複数の乗算器に入力する同時点の係数の中より最小
    値を検出する最小値検出器と、 前記最大値検出器の出力と前記最小値検出器の出力との
    差分をとる減算器と、 前記減算器の出力の絶対値をとる絶対値回路と、 前記絶対値回路の出力と所定の設定値とを比較し、前記
    絶対値回路の出力が前記設定値より小さいとき直流分で
    あるとする制御信号を発生する比較器とよりなることを
    特徴とする請求項1記載のフィルタ演算装置。
  3. 【請求項3】前記複数の乗算器に入力する係数を複数の
    アドレスに対応させて記憶する係数記憶部と、この係数
    記憶部より読み出す係数のアドレスを発生するアドレス
    発生器とをさらに備え、 前記一定化手段は、前記アドレス発生器が発生するアド
    レスを固定アドレスにすげ替える手段であることを特徴
    とする請求項1または2に記載のフィルタ演算装置。
JP30514798A 1998-10-27 1998-10-27 フィルタ演算装置 Expired - Fee Related JP3629981B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP30514798A JP3629981B2 (ja) 1998-10-27 1998-10-27 フィルタ演算装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP30514798A JP3629981B2 (ja) 1998-10-27 1998-10-27 フィルタ演算装置

Publications (2)

Publication Number Publication Date
JP2000132538A true JP2000132538A (ja) 2000-05-12
JP3629981B2 JP3629981B2 (ja) 2005-03-16

Family

ID=17941650

Family Applications (1)

Application Number Title Priority Date Filing Date
JP30514798A Expired - Fee Related JP3629981B2 (ja) 1998-10-27 1998-10-27 フィルタ演算装置

Country Status (1)

Country Link
JP (1) JP3629981B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001339724A (ja) * 2000-05-30 2001-12-07 Sony Corp 画像符号化装置および方法、並びに記録媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001339724A (ja) * 2000-05-30 2001-12-07 Sony Corp 画像符号化装置および方法、並びに記録媒体

Also Published As

Publication number Publication date
JP3629981B2 (ja) 2005-03-16

Similar Documents

Publication Publication Date Title
US20070081743A1 (en) Image interpolation apparatus and method thereof
JP2000148128A (ja) 画像拡大処理回路
JPH1042204A (ja) 映像信号処理装置
JP4572144B2 (ja) 表示パネル駆動装置および表示パネル駆動方法
US7023443B2 (en) Memory management apparatus and method for preventing image tearing in video reproducing system
KR970019572A (ko) 고화질을 위한 보간방법 및 장치
JP3629981B2 (ja) フィルタ演算装置
US6008854A (en) Reduced video signal processing circuit
JP5207732B2 (ja) 表示装置
TWI288393B (en) Signal processing apparatus and image output apparatus
JP4316217B2 (ja) 画像処理装置
JP2010010778A (ja) 映像処理装置及び映像処理装置の制御方法
US20050122434A1 (en) Apparatus and method for determining image region
JP4334160B2 (ja) 子画面表示用の映像信号処理回路
JP2721387B2 (ja) ビデオ信号処理回路
US5786802A (en) Circuit and method for vertically expanding a display image
JP2010039150A (ja) 画像表示装置
JP3392624B2 (ja) 垂直ズーム回路
JP2008187320A (ja) 画像表示装置、画像表示方法および制御プログラム
JP2000020014A (ja) 画像表示装置
US6339452B1 (en) Image display device and image displaying method
US20070222799A1 (en) Method and apparatus for image upscaling
JP2000137802A (ja) フィルタ演算装置
JP3527603B2 (ja) テレビ受像機のためのディジタル信号処理回路
US20070217711A1 (en) Image scaling method and related apparatus

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20041109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20041124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20041207

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071224

Year of fee payment: 3

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081224

Year of fee payment: 4

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091224

Year of fee payment: 5

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101224

Year of fee payment: 6

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111224

Year of fee payment: 7

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111224

Year of fee payment: 7

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111224

Year of fee payment: 7

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121224

Year of fee payment: 8

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121224

Year of fee payment: 8

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131224

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees