JP2001016441A - 画像処理装置 - Google Patents

画像処理装置

Info

Publication number
JP2001016441A
JP2001016441A JP11188380A JP18838099A JP2001016441A JP 2001016441 A JP2001016441 A JP 2001016441A JP 11188380 A JP11188380 A JP 11188380A JP 18838099 A JP18838099 A JP 18838099A JP 2001016441 A JP2001016441 A JP 2001016441A
Authority
JP
Japan
Prior art keywords
line
data
intermittent
resolution
thinning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11188380A
Other languages
English (en)
Other versions
JP3901878B2 (ja
Inventor
Yuji Takahashi
祐二 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP18838099A priority Critical patent/JP3901878B2/ja
Publication of JP2001016441A publication Critical patent/JP2001016441A/ja
Application granted granted Critical
Publication of JP3901878B2 publication Critical patent/JP3901878B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 【課題】画像読取密度を切り換えたときに発生するジタ
ーを低減して良質な画像を得る。 【解決手段】基本解像度間欠制御部1で入力画像データ
を基本解像度となるように間引き処理を行い、間欠ライ
ン補正部3で所定の解像度に応じた間引き処理と間引き
処理によって発生する位置誤差を注目ラインの近傍のラ
インのデータを用いて補間演算を行う。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、複写機やスキャ
ナ,ファクシミリ等の画像形成装置で読み取った画像デ
ータを処理する画像処理装置、特に画像データの密度変
換処理に関するものである。
【0002】
【従来の技術】複写機やスキャナ等では解像度を下げた
り変倍率を変えるために、画像読取密度の切り換えがで
きるようになっている。この画像読取密度の切り換え方
法としては、例えば特開平10−210237号公報に
示されているように、画像読取部のステッピングモータ
の速度を一定速度に制御するため制御装置(CPU)か
ら送られるステッピングモータパルス(以下、モータク
ロックという)毎にゲートイネーブル信号を発生し、画
像読取部から送られる画像データの1ライン毎に入力さ
れるラインゲート信号を出力ゲート信号(有効ラインゲ
ート信号)とするかどうかをゲートイネーブル信号の可
否により決定して目標画像読取密度に切り換えるように
している。
【0003】この画像読取密度を切り換えるため、例え
ば図5のブロック図に示すように、間欠制御部101は
入力ラインシンク信号31と入力ラインゲート信号32
と入力データ33及びモータクロック34を入力し、ラ
インゲート信号を間引くことにより解像度を下げるため
にあらかじめ間引きパターンRAM102に格納された
間引きパターンをモータクロック34のタイミングで読
み出してゲートイネーブル信号を発生し、発生したゲー
トイネーブル信号により入力ラインゲート信号32を間
引いて出力ゲート信号62を生成し、生成した出力ゲー
ト信号62を出力ラインシンク信号61と出力データ6
3とともに出力している。例えば図6(a)に示すよう
に入力ラインシンク信号31と入力ラインゲート信号3
2とD1〜D9ラインの入力データ33が間欠制御部1
01に入力し、間欠制御部101で600dpiの入力
データ33を400dpiのデータに変更するためにD
3,D6,D9の入力ラインゲート信号32を間引い
て、図6(b)に示す出力ゲート信号62を生成した場
合、出力データ63のD3ラインとD6ライン及びD9
ラインは後段の処理でラインゲート信号がないため捨て
られる。
【0004】この入力データ33のラインを間引く順番
は要求解像度により異なり、要求解像度によってはライ
ンを間引く順番が不均一になりジターが発生する。この
ラインゲート信号の間引き処理により発生するジターは
45度の斜め線を読み取ったとき顕著になる。すなわ
ち、ライン方向の間引きが一定でないときに45度の斜
め線は角度が45度でなくなり目立つからである。例え
ば図7(a)に600dpiを基本解像度として斜め線
を読み取ったときの画素71の並びのイメージを示す。
読み取り時の電気的な要因以外のジターがないとすれ
ば、図7(a)に示すドット配置になる。この入力デー
タ33をライン間引きにより1/2の解像度である30
0dpiにする場合、入力データ33の主走査方向と副
走査方向ともに1/2に間引いた出力データ63の画素
71の並びのイメージは、図7(b)に示すように、主
走査方向と副走査方向とも2ドッド中で1ドッドの間引
きとなるから画素71のずれはなく、この場合にはジタ
ーは発生しない。しかし、入力データ33を2/3の解
像度である400dpiにする場合、入力データ33の
主走査方向と副走査方向ともに2/3に間引いた出力デ
ータ63は、主走査方向と副走査方向とも3ドッド中で
1ドッドの間引きとなるから、図7(c)に示すよう
に、画素71の並びのなかに主走査方向と副走査方向に
ずれた画素72が発生し、図7(c)の場合、ずれた画
素72により2個所73,74でジターが発生じ、この
ジターが無視できない場合も出てくる。
【0005】この発明はかかる短所を改善し、画像読取
密度を切り換えたときに発生するジターを低減して良質
な画像を得ることができる画像処理装置を提供すること
を目的とするものである。
【0006】
【課題を解決するための手段】この発明に係る画像処理
装置は、基本解像度間欠制御部と間欠ライン補正部とを
有し、基本解像度間欠制御部は画像読取部から送られた
入力画像データのラインゲート信号を基本解像度となる
ように間引き処理を行い、間欠ライン補正部は基本解像
度間欠制御部から出力した画像データを所定の解像度に
応じて間引き処理を行うとともに、間引き処理によって
発生する位置誤差を注目ラインの近傍のラインのデータ
を用いて補間演算を行うことを特徴とする。
【0007】この発明に係る第2の画像処理装置は、間
欠制御部と間欠ライン補正部とを有し、間欠制御部は画
像読取部から送られた入力画像データのラインゲート信
号を所定の解像度となるように間引き処理を行い、間欠
ライン補正部は間欠制御部で所定の解像度に応じて間引
き処理を行つたことによって発生する位置誤差を注目ラ
インの近傍のラインのデータを用いて補間演算を行うこ
とを特徴とする。
【0008】上記補間演算を3次関数コンボリュージョ
ン法により行うと良い。
【0009】
【発明の実施の形態】この発明の画像形成装置の画像読
取密度切換部には基本解像度間欠制御部と間引きターン
RAMと間欠ライン補正部を有する。間引きパターンR
AMには画像読取部で読み取った入力データの基本解像
度の間引きパターンがあらかじめ格納してある。基本解
像度間欠制御部は画像読取部から出力する入力ラインシ
ンク信号と入力ラインゲート信号と入力データ及び画像
読取部のステッピングモータの速度を一定速度に制御す
るためにCPUから送られるステッピングモータパルス
(以下、モータクロックという)を入力し、間引きパタ
ーンRAMに格納された基本解像度の間引きパターンを
モータクロックのタイミングで読み出してゲートイネー
ブル信号を発生し、発生したゲートイネーブル信号によ
り基本解像度となる間引き処理を行い、出力ラインシン
ク信号と出力データ及び出力ゲート信号を出力する。間
欠ライン補正部は基本解像度間欠制御部から出力する出
力ラインシンク信号と出力ゲート信号及び出力データを
入力して所定の解像度に応じて間引き処理を行うととも
に、間引き処理によって発生する位置誤差を注目ライン
の近傍のラインのデータを用いて補間演算を行い、補正
ライシング信号51と補正ゲート信号52及び補正デー
タ53を出力する。
【0010】
【実施例】図1はこの発明の一実施例の構成を示すブロ
ック図である。図に示すように、画像形成装置の画像読
取密度切換部には基本解像度間欠制御部1と間引きター
ンRAM2と間欠ライン補正部3を有する。間引きパタ
ーンRAM2には画像読取部10で読み取った入力デー
タ33の基本解像度の間引きパターンがあらかじめ格納
してある。基本解像度間欠制御部1は画像読取部10か
ら出力する入力ラインシンク信号31と入力ラインゲー
ト信号32と入力データ33及び画像読取部10のステ
ッピングモータの速度を一定速度に制御するためにCP
U9から送られるステッピングモータパルス(以下、モ
ータクロックという)34を入力し、間引きパターンR
AM2に格納された基本解像度の間引きパターンをモー
タクロック34のタイミングで読み出してゲートイネー
ブル信号を発生し、発生したゲートイネーブル信号によ
り基本解像度となる間引き処理を行い、出力ラインシン
ク信号41と出力データ43及び出力ゲート信号42を
出力する。
【0011】間欠ライン補正部3は基本解像度間欠制御
部1から出力する出力ラインシンク信号41と出力ゲー
ト信号42及び出力データ43を入力して、入力したデ
ータに補間演算を行い所定の解像度に応じて不要なデー
タのラインを間引くための処理を行うものであり、ライ
ン補正部4と補正用RAM5とライン遅延用の複数、例
えば,副走査方向の4つのデータをもとに演算を行う場
合には3個のFIFO6,7,8を有する。補正用RA
M5には出力データ43を補正する補間係数とライン間
引きデータがあらかじめ格納してある。
【0012】ライン補正部4は、図2のブロック図に示
すように、複数、例えば副走査方向の4つのデータをも
とに演算を行う場合には4個のレジスタ11,12,1
3,14と補間係数乗算部15,16,17,18と加
算部19と除算部20とFIFO制御部21とRAM制
御部22及びゲート間引き部23及びタイミング調整部
24を有する。レジスタ11〜14はFIFO6〜8に
より3ライン遅延された出力データ43を現データとと
もにラッチする。補間係数乗算部15〜18はレジスタ
11〜14にラッチされたデータの各画素毎に補正用R
AM5に格納された補間係数を乗算する。加算部19は
補間係数乗算部15〜18から出力されるデータを加算
し、除算部20は加算されたデータをあらかじめ定めた
除算係数で除算して補正データを生成する。FIFO制
御部21は間欠制御部1から送られる出力ラインシンク
信号41と出力ゲート信号42によりFIFO6〜8を
制御する。RAM制御部22は出力ラインシンク信号4
1により補正用RAM5を制御する。ゲート間引き部2
3は出力ラインシンク信号41と出力ゲート信号42と
補正用RAM5に格納されたライン間引きデータを入力
してゲート間引き処理をする。タイミング調整部24は
演算によるデータ遅延とゲートのタイミングを合わせて
補正ライシング信号51と補正ゲート信号52及び補正
データ53を出力する。
【0013】上記のように構成された画像読取密度切換
部の基本解像度間欠制御部1に画像読取部10で読み取
った入力データ33、例えば図3(a)に示すように、
D1〜D9ラインのデータが入力ラインシンク信号31
と入力ラインゲート信号32とともに送られると、基本
解像度間欠制御部1は基本解像度、例えば600dpi
になる間引き処理を行い、図3(b)に示すように、出
力ラインシンク信号41と出力ゲート信号42とD1〜
D9ラインの出力データ43を欠陥ライン補正部3に送
る。この基本解像度間欠制御部1で基本解像度となる間
引き処理のみ行うことにより、読み取り間欠動作により
読み取りが中断されモータ速度が徐々に低速になっても
常にラインゲート信号を基本解像度のデータのところで
アクティブにすることができるとともに基本解像度であ
る600dpi刻みのデータを簡単に認識することがで
きる。
【0014】欠陥ライン補正部3は送られた出力データ
43をFIFO6〜8により3ライン遅延し、現データ
とともにレジスタ11〜14にラッチする。このレジス
タ11〜14にラッチした現データと遅延した3ライン
の各データの各画素毎に補間係数乗算部15で補正用R
AM5に格納された補間係数h(−1)を乗算し、補間
係数乗算部16で補間係数h(0)を乗算し、補間係数
乗算部17で補間係数h(1)を乗算し、補間係数乗算
部18で補間係数h(2)を乗算する。例えば600d
piの出力データ43を400dpiの解像度に下げる
場合、D1〜D9ラインの出力データ43を2/3に間
引くが、このときの理想的なデータ位置は、図3(b)
に示すように、D2はD21の位置、D5はD51の位
置、D8はD81の位置にあるべきである。しかしなが
ら600dpiきざみのデータしかないためそれができ
ない。そこで周辺画素、例えばD1,D2,D3,D4
からD21のデータを演算してD2のデータを置き換え
るような補間演算を行う。この補間係数乗算部15〜1
8で乗算する補間は周辺画素の平均をとることが一般的
である。このように周辺画素の平均をとる場合、補間係
数〔h(−1),h(0),h(1),h(2)〕=
(1,1,1,1)となる。加算部19は補間係数乗算
部15〜18から出力されるデータを加算し、除算部2
0は加算されたデータをあらかじめ定めた除算係数で除
算してデータD21を生成する。この補間をするとき
に、周辺画素の平均をとり、補間係数〔h(−1),h
(0),h(1),h(2)〕=(1,1,1,1)の
場合には除算係数を「4」として除算する。この生成し
たデータD1,D21,D3,D4,D51,D6,D
7,D81,D9を補正データ53としてタイミング調
整部24に送る。
【0015】一方、ゲート間引き部23は出力ラインシ
ンク信号41と出力ゲート信号42と補正用RAM5に
格納されたライン間引きデータを入力してゲート間引き
処理を行い、図3(c)に示す補正ライシング信号51
と補正ゲート信号52を発生してタイミング調整部24
に送る。タイミング調整部24は補正データ53の演算
によるデータ遅延に対してゲートのタイミングを合わ
せ、補正ライシング信号51と補正ゲート信号52及び
補正データ53を出力する。
【0016】このようにゲート信号を間引くことにより
発生する位置誤差を周辺画素を用いて補間演算すること
により、例えば図7(a)に示すように600dpiを
基本解像度として斜め線を読み取って2/3の解像度で
ある400dpiにする場合でも、図4に示すように、
斜め線と一致した補正後の画素75,76を得ることが
できる。
【0017】上記実施例は間欠ライン補正部3のライン
補正部4で注目画素を周辺画素の平均をとり補間する場
合について説明したが、注目画素の周辺画素による内挿
を行う3次関数コンボリュージョン法により補間しても
良い。この3次関数コンボリュージョン法による補間係
数の一例を下記表に示す。
【0018】
【表1】
【0019】上記表において補間位置とは本来あるべき
位置のことであり、例えばドット間を1/8に分け、一
番近い位置を補間位置としている。例えば図3(b)の
D21はD2とD3の丁度1/2の位置のデータである
ため、補間位置は4/8の「4」となる。この補間位置
は要求解像度によって異なるためライン間引きパターン
と一緒に補正用RAM5にあらかじめ格納しておく。ま
た、周辺画素は4画素でなくとも良い。さらに、補間演
算係数は上記表以外のものでも良いし、1ドットの分割
も補正精度によって1/4また1/16に変更しても良
い。
【0020】このように3次関数コンボリュージョン法
によって補間することにより、より精度の高い補間を行
うことができる。
【0021】上記実施例は基本解像度間欠制御部1で基
本解像度となる間引き処理を行い、間欠ライン補正部3
で入力データの補間演算と所定の解像度に応じた間引き
処理を行った場合について説明したが、図5に示す従来
の間欠制御部101で所定の解像度に応じた間引き処理
を行い、間欠ライン補正部3で入力データの補間演算を
行うようにしても良い。
【0022】
【発明の効果】この発明は以上説明したように、画像読
取部から送られた入力画像データを所定の解像度に応じ
て間引き処理を行い、この間引き処理によって発生する
位置誤差を注目ラインの近傍のラインのデータを用いて
補間演算するから、間引きによるラインずれを低減し、
良質な画質を形成することができる。
【0023】さらに、基本解像度間欠制御部で入力画像
データを基本解像度となるように間引き処理を行い、間
欠ライン補正部で所定の解像度に応じた間引き処理と間
引き処理によって発生する位置誤差を注目ラインの近傍
のラインのデータを用いて補間演算を行うことにより、
読み取りが間欠動作をしたときのライン補正演算処理を
簡単にすることができ、ライン補正演算処理回路を削減
して低コスト化を図ることができる。
【0024】また、補間演算を3次関数コンボリュージ
ョン法により行うことにより、より精度の高い補間を行
うことができ、良質な画像を形成することができる。
【図面の簡単な説明】
【図1】この発明の実施例の構成を示すブロック図であ
る。
【図2】ライン補正部の構成を示すブロック図である。
【図3】上記実施例の動作を示す信号系列図である。
【図4】上記実施例による補正後の画素の並びのイメー
ジを示す配置図である。
【図5】従来例の構成を示すブロック図である。
【図6】従来例のの動作を示す信号系列図である。
【図7】従来例による画素の並びのイメージを示す配置
図である。
【符号の説明】
1;基本解像度間欠制御部、2;間引きターンRAM、
3;間欠ライン補正部、4;ライン補正部、5;補正用
RAM、6,7,8;FIFO、11〜14;レジス
タ、15〜18;補間係数乗算部、19;加算部、2
0;除算部、23;ゲート間引き部、24;タイミング
調整部。

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 基本解像度間欠制御部と間欠ライン補正
    部とを有し、 基本解像度間欠制御部は画像読取部から送られた入力画
    像データのラインゲート信号を基本解像度となるように
    間引き処理を行い、 間欠ライン補正部は基本解像度間欠制御部から出力した
    画像データを所定の解像度に応じて間引き処理を行うと
    ともに、間引き処理によって発生する位置誤差を注目ラ
    インの近傍のラインのデータを用いて補間演算を行うこ
    とを特徴とする画像処理装置。
  2. 【請求項2】 間欠制御部と間欠ライン補正部とを有
    し、 間欠制御部は画像読取部から送られた入力画像データの
    ラインゲート信号を所定の解像度となるように間引き処
    理を行い、 間欠ライン補正部は間欠制御部で所定の解像度に応じて
    間引き処理を行つたことによって発生する位置誤差を注
    目ラインの近傍のラインのデータを用いて補間演算を行
    うことを特徴とする画像処理装置。
  3. 【請求項3】 上記補間演算を3次関数コンボリュージ
    ョン法により行う請求項1又は2記載の画像処理装置。
JP18838099A 1999-07-02 1999-07-02 画像処理装置 Expired - Fee Related JP3901878B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP18838099A JP3901878B2 (ja) 1999-07-02 1999-07-02 画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP18838099A JP3901878B2 (ja) 1999-07-02 1999-07-02 画像処理装置

Publications (2)

Publication Number Publication Date
JP2001016441A true JP2001016441A (ja) 2001-01-19
JP3901878B2 JP3901878B2 (ja) 2007-04-04

Family

ID=16222619

Family Applications (1)

Application Number Title Priority Date Filing Date
JP18838099A Expired - Fee Related JP3901878B2 (ja) 1999-07-02 1999-07-02 画像処理装置

Country Status (1)

Country Link
JP (1) JP3901878B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002259999A (ja) * 2001-02-28 2002-09-13 Canon Inc データ処理装置および方法ならびに記憶媒体およびプログラム
WO2004051987A1 (ja) * 2002-12-02 2004-06-17 Olympus Corporation 撮像装置
US7561195B2 (en) 2003-01-29 2009-07-14 Olympus Corporation Image sensing apparatus
US7948543B2 (en) 2003-09-04 2011-05-24 Olympus Corporation Imaging apparatus provided with image scaling function and image data thinning-out readout function
US8040385B2 (en) 2002-12-02 2011-10-18 Olympus Corporation Image pickup apparatus

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002259999A (ja) * 2001-02-28 2002-09-13 Canon Inc データ処理装置および方法ならびに記憶媒体およびプログラム
JP4663140B2 (ja) * 2001-02-28 2011-03-30 キヤノン株式会社 データ処理装置および方法ならびに記憶媒体およびプログラム
WO2004051987A1 (ja) * 2002-12-02 2004-06-17 Olympus Corporation 撮像装置
CN100350794C (zh) * 2002-12-02 2007-11-21 奥林巴斯株式会社 图像拾取装置及其信号处理方法
US8040385B2 (en) 2002-12-02 2011-10-18 Olympus Corporation Image pickup apparatus
US7561195B2 (en) 2003-01-29 2009-07-14 Olympus Corporation Image sensing apparatus
US7692701B2 (en) 2003-01-29 2010-04-06 Olympus Corporation Image sensing apparatus
US7948543B2 (en) 2003-09-04 2011-05-24 Olympus Corporation Imaging apparatus provided with image scaling function and image data thinning-out readout function

Also Published As

Publication number Publication date
JP3901878B2 (ja) 2007-04-04

Similar Documents

Publication Publication Date Title
JPH05260287A (ja) 画像伸縮装置の改良
JP2003219116A (ja) 画像処理装置及びその制御方法
JP2001016441A (ja) 画像処理装置
JP2771712B2 (ja) 画素密度変換装置
JP2632871B2 (ja) 画像読取装置
JP2009272891A (ja) 画像読取装置、画像形成装置、画像読取方法及び画像形成方法
JP2976877B2 (ja) キーストン歪み補正装置
US20010050774A1 (en) Image processing device
US7564594B2 (en) Digital multifunctional imaging apparatus
JP3631597B2 (ja) 画像読取装置
JP2003219111A (ja) 画像処理装置及びその制御方法
US20100165420A1 (en) Image processing appratus, image processing method and computer program
JPH08279949A (ja) 電子ズーム処理装置および電子ズーム処理方法
JP2677118B2 (ja) 固体撮像装置
JP2532775B2 (ja) 電子ズ―ム回路
JP2006139697A (ja) 画像処理装置及び画像処理方法
JP2004241809A (ja) 画像読取装置、画像形成装置および画像処理方法
JPH0738805A (ja) 画像拡大装置
JPH11177836A (ja) 画像処理装置
JPH0946478A (ja) カラー画像読取方法及び装置
JPH04186970A (ja) カラー画像入力装置
JPH1198351A (ja) 画像読取装置
JPH0461561A (ja) 画像処理装置
JP2001016401A (ja) 画像読み取り装置
JPH08154173A (ja) 画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050121

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061019

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061024

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061227

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110112

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120112

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130112

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees