JP2002027255A - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法

Info

Publication number
JP2002027255A
JP2002027255A JP2000205083A JP2000205083A JP2002027255A JP 2002027255 A JP2002027255 A JP 2002027255A JP 2000205083 A JP2000205083 A JP 2000205083A JP 2000205083 A JP2000205083 A JP 2000205083A JP 2002027255 A JP2002027255 A JP 2002027255A
Authority
JP
Japan
Prior art keywords
data
image
block
spatial frequency
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000205083A
Other languages
English (en)
Other versions
JP3343104B2 (ja
Inventor
Shinichi Sato
真一 佐藤
Toshiaki Watanabe
俊明 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic System Solutions Japan Co Ltd
Original Assignee
Matsushita Graphic Communication Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Graphic Communication Systems Inc filed Critical Matsushita Graphic Communication Systems Inc
Priority to JP2000205083A priority Critical patent/JP3343104B2/ja
Priority to US09/891,165 priority patent/US7050645B2/en
Publication of JP2002027255A publication Critical patent/JP2002027255A/ja
Application granted granted Critical
Publication of JP3343104B2 publication Critical patent/JP3343104B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/007Transform coding, e.g. discrete cosine transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Discrete Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 【課題】 画像圧縮後に編集しても正確に且つ画質
劣化を伴わずに復元でき、要求されるメモリ容量の増大
を抑制でき、ファクシミリ標準規格の符号化・復号化に
も適合する画像符号化/復号化を実現すること。 【解決手段】 直交変換係数を空間周波数毎に所定のビ
ット数に変換し、量子化データを空間周波数毎にバンド
化した配置に並べ替えて隣接ブロック間で同一空間周波
数バンドの量子化データが連続するビットシリアルデー
タを生成し、このビットシリアルデータを圧縮する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、画像データを圧縮
/復元する画像処理装置及び方法に係り、特にスキャナ
等で読み取られた連続階調性を持った多値画像データを
階調記録できるプリンタを使用した複写機に適用可能な
画像処理装置に関する。
【0002】
【従来の技術】従来のデジタル複写機は、スキャナ部か
ら読み込んだ画像データを画像メモリに蓄積し、回転又
は合成等の編集を加えた後に画像メモリから読み出して
プリンタ部から印刷出力していた。例えば、スキャナ部
の読取り面に横向きに載置された原稿に対して、プリン
タ部で記録紙が縦向きに給紙される場合、スキャナ部か
ら読み込んだ画像データを回転させて記録紙の向きに合
わせるといった柔軟な対応が可能であった。
【0003】一方、2値データだけでなく中間データま
で記録できる多値プリンタが開発されている。多値プリ
ンタは、これまで1画素あたり1ビットで現されていた
画像データを、1画素あたり2ビット以上の多値データ
で現せることから、連続階調画像を記録でき画質向上を
図ることができる。
【0004】多値画像データを扱う場合、2値画像デー
タに比べてデータ量が数倍に増大するので、画像データ
を蓄積する画像メモリの記憶容量も大きくなり、コスト
アップになる。画像データを圧縮してから蓄積すればメ
モリ容量を抑えることができるが、圧縮方式によっては
圧縮後の画像データを編集できなくなるといった問題が
ある。例えば、広く使われている圧縮方式であるJPE
G符号化は可変長符号化であるので画素位置の情報が保
存されなくなり編集が困難である。そのため、図15に
示すようにJPEG符号化の前段で編集しなければなら
ないが、この方式であっても編集メモリの容量が増大す
るためコストアップになってしまう。しかも、編集デー
タ量が多いためにメモリアクセスを高速化しなければ処
理速度が低下するといった不具合もある。
【0005】また、コピー機能とファクシミリ送受信機
能とを併せ持つデジタル複合機の場合、ファクシミリ標
準規格の圧縮方式の一つであるJBIG方式と異なる例
えばJPEG等の圧縮方式を採用すると、2系統の符号
化・復号化方式を搭載しなければならないので、回路規
模が大きくなりコストアップにもつながるといった問題
がある。
【0006】この様な問題に対して、多値連続階調デー
タをハーフトーン処理してから圧縮・蓄積・復元する方
式が考えられている。図16に示すように、初めに画像
データをハーフトーン処理して2値データに変換し、編
集メモリ11を使ったブロック回転処理によって2値デ
ータを回転させる。その後、ファクシミリ標準規格の符
号化(JBIG符号化)を行い、圧縮画像を画像蓄積メ
モリ12に蓄積する。そして、画像蓄積メモリ12から
圧縮画像を読み出して復号化(JBIG復号化)し、復
元されたハーフトーンデータから多値推定処理によって
多値画像データを推定して多値連続階調データとして出
力する。
【0007】
【発明が解決しようとする課題】しかしながら、上記し
たようにハーフトーン処理してから圧縮・蓄積・復元す
る方式は、多値画像データを推定する手法としてローパ
ス型の空間周波数特性を持つ空間フィルターを使用する
ため、復元画像にボケが生じる一方、ハーフトーン処理
で発生する低周波ムラを十分に減衰できず、画質劣化が
大きいといった問題がある。
【0008】本発明は以上のような実情に鑑みてなされ
たもので、画像圧縮後に編集しても正確に且つ画質劣化
を伴わずに復元でき、要求されるメモリ容量の増大を抑
制でき、しかもJBIG等のファクシミリ標準規格の符
号化・復号化にも適合する画像符号化/復号化を実現す
る画像処理装置を提供することを目的とする。
【0009】
【課題を解決するための手段】本発明は、直交変換係数
を空間周波数毎に所定のビット数に変換し、量子化デー
タを空間周波数毎にバンド化した配置に並べ替えて隣接
ブロック間で同一空間周波数バンドの量子化データが連
続するビットシリアルデータを生成し、このビットシリ
アルデータを圧縮するものとした。
【0010】これにより、量子化データを編集すれば要
求されるメモリ容量の増大を抑制でき、しかも隣接ブロ
ック間で同一空間周波数バンドの量子化データが連続す
るビットシリアルデータはJBIG等のファクシミリ標
準規格の符号化・復号化にも適合する。
【0011】
【発明の実施の形態】本発明の第1の態様は、所定のブ
ロックサイズに切り出された多値画像データを空間周波
数に対応した直交変換係数に分解する直交変換手段と、
前記直交変換係数を空間周波数毎に所定のビット数に変
換する量子化手段と、前記量子化データを空間周波数毎
にバンド化した配置に並べ替えて隣接ブロック間で同一
空間周波数バンドの量子化データが連続するビットシリ
アルデータを生成するバンド化手段と、前記ビットシリ
アルデータを圧縮する符号化手段とを具備する画像処理
装置である。
【0012】この様に構成された画像処理装置によれ
ば、量子化データを編集することにより要求されるメモ
リ容量の増大を抑制でき、しかも隣接ブロック間で同一
空間周波数バンドの量子化データが連続するビットシリ
アルデータはJBIG等のファクシミリ標準規格の符号
化・復号化にも適合するといった効果がある。
【0013】本発明の第2の態様は、第1の態様の画像
処理装置において、前記量子化手段で計算された量子化
データに対してブロック単位で画像編集を加える編集手
段を備え、編集後の量子化データを前記バンド化手段で
空間周波数毎にバンド化した配置に並べ替えるものとし
た。
【0014】これにより、直交変換係数の量子化により
圧縮された量子化データを編集するので、編集用のメモ
リに要求されるメモリ容量の増大を抑制できる。
【0015】本発明の第3の態様は、第1、2の態様の
画像処理装置において、前記符号化手段で圧縮されたデ
ータを伸張する復号化手段と、復号化されたビットシリ
アルデータからブロック毎に各空間周波数成分の量子化
データを復元する周波数成分復元手段と、復元された各
空間周波数成分の量子化データを逆量子化して直交変換
係数を復元する逆量子化手段と、復元された直交変換係
数から元のブロック画像を復元する逆直交変換手段と、
復元されたブロック画像を合成して元の多値画像データ
を生成するブロック合成手段と、を具備するものとし
た。
【0016】この様な構成によれば、多値画像データの
圧縮・蓄積・復元といった一連のプロセスにおいて、圧
縮された画像データを編集できるとともに、圧縮された
画像データを復元してブロック合成することにより、編
集された画像を出力する事ができる。
【0017】本発明の第4の態様は、第3の態様の画像
処理装置において、前記編集手段は、量子化データが書
き込まれるメモリの書き込みアドレス又は読出しアドレ
スを画像の回転量及び又は回転方向を示す回転制御デー
タに応じて制御してブロック単位で画像を回転し、前記
ブロック合成手段は、復元されたブロック画像が書き込
まれるメモリの書き込みアドレス又は読出しアドレスを
回転制御データに応じて制御して個々のブロック内画像
を回転するものとした。
【0018】これにより、直交変換係数の量子化によっ
て圧縮された画像データを回転編集することができ、回
転制御データといった外部制御信号によって編集内容を
操作することができる。
【0019】本発明の第5の態様は、第4の態様の画像
処理装置において、前記編集手段によって回転させた画
像のビットシリアルデータに対して回転制御の内容を示
す回転情報をページ単位で付加する情報付加手段と、復
号化されたビットシリアルデータから前記回転情報を検
出する情報検出手段とを具備し、前記ブロック合成手段
は、前記情報検出手段によって検出された回転情報に応
じてブロック内画像の回転を制御するものである。
【0020】これにより、圧縮過程においてページ単位
で回転情報を各ブロックのビットシリアルデータに対し
て付与し、復元過程においてブロック毎に回転情報を検
出して回転制御に用いるようにしたので、圧縮過程にお
いてページ単位で異なる回転編集を行ったとしても復元
過程において回転情報を用いることで、圧縮過程での回
転編集に応じた回転制御をブロック単位及びページ単位
で可能になる。
【0021】本発明の第6の態様は、第3、4、5の態
様の画像処理装置において、前記符号化手段の符号化方
式及び前記復号化手段の復号化方式はファクシミリの符
号化復号化方式であることを特徴とする。
【0022】これにより、符号化手段の前段でファクシ
ミリの標準規格の一つであるJBIG符号化に適した形
式のビットシリアルデータに変換されているので、前記
符号化手段の符号化方式及び前記復号化手段の復号化方
式はファクシミリの符号化復号化方式であったとして
も、ファクシミリの符号化復号化方式でさらなる圧縮が
可能となり、且つ復元もできる。
【0023】本発明の第7の態様は、第3から第6の態
様の画像処理装置において、前記多値画像データをハー
フトーンデータに変換するハーフトーン処理手段と、コ
ピー動作かファクシミリ送信かを指示する機能選択信号
に応じて前記ハーフトーンデータ及び前記ビットシリア
ルデータの中から前記符号化手段へ入力するデータを切
換える機能選択手段とを具備し、ファクシミリ送信が選
択された場合は前記符号化データを、外部出力すること
を特徴とする。
【0024】これにより、符号化手段をファクシミリの
符号化器として使用する場合にコピー動作かファクシミ
リ送信か機能選択することができる。
【0025】本発明の第8の態様は、原稿をスキャンし
て画像データを入力する画像入力手段と、第3から第7
の態様の画像処理装置と、前記画像処理装置で復元され
た画像を記録する記録手段と、前記画像処理装置で圧縮
された画像のうちファクシミリ送信が指示された画像を
ファクシミリ送信する通信部と、を具備する複合機であ
る。
【0026】本発明の第9の態様は、所定のブロックサ
イズに切り出された多値画像データを空間周波数に対応
した直交変換係数に分解し、前記直交変換係数を空間周
波数毎に所定のビット数に変換し、前記量子化データを
空間周波数毎にバンド化した配置に並べ替えて隣接ブロ
ック間で同一空間周波数バンドの量子化データが連続す
るビットシリアルデータを生成し、前記ビットシリアル
データを圧縮することを特徴とする符号化方法である。
【0027】本発明の第10の態様は、所定のブロック
サイズに切り出された多値画像データを空間周波数に対
応した直交変換係数に分解し、前記直交変換係数を空間
周波数毎に所定のビット数に変換し、前記量子化データ
を空間周波数毎にバンド化した配置に並べ替えて隣接ブ
ロック間で同一空間周波数バンドの量子化データが連続
するビットシリアルデータを生成し、前記ビットシリア
ルデータを圧縮して記憶する一方、圧縮されたデータを
読み出して復号化し、復号化されたビットシリアルデー
タからブロック毎に各空間周波数成分の量子化データを
復元し、復元された各空間周波数成分の量子化データを
逆量子化して直交変換係数を復元し、復元された直交変
換係数から元のブロック画像を復元し、復元されたブロ
ック画像を合成して元の多値画像データを生成すること
を特徴とする画像処理方法である。
【0028】以下、本発明にかかる画像処理装置の実施
の形態について図面を参照しながら具体的に説明する。
【0029】(実施の形態1)図1は、実施の形態1に
かかる画像処理装置の圧縮・蓄積・復元の一連のプロセ
スに係わるブロック図である。本実施の形態1では、符
号化/復号化方式として、ファクシミリ標準規格のJB
IG方式を用いている。
【0030】図1に示す画像処理装置では、画像データ
が第1のラインメモリ101に順次書き込まれる。本例
における画像データは、1画素が8ビットで現された連
続階調の多値データであるが、8ビットに限定されるも
のではない。ブロック分割部102は第1のラインメモ
リ101の読出しアドレスを制御して4×4画素のブロ
ックデータをブロック単位でハール変換部103へ出力
する。ハール変換部103は、4×4画素のブロックデ
ータを直交変換の一種であるHAAR変換を行ってHA
AR係数を得る。
【0031】図2はHAAR変換に使用する基底パター
ンの一例である。HAAR変換は、4×4個の画像デー
タ(Dxy)を4×4個のHAAR係数(HAmn)に
変換する処理である。入力画像の位置(x、y)とHA
AR係数の基底ベクトル番号(m、n)により定まる基
底パターン(Pmnxy)により以下の演算を行う。
【0032】
【数1】 図3はHAAR変換により得られたHAAR係数を示し
た図である。左下のHAAR係数[HA00]はDC成
分で対角位置にあるHAAR係数[HA33]に向けて
周波数成分が高くなるように配置されている。本例で
は、各HAAR係数(HAmn)は8ビットで表現され
ている。HAAR変換部103によって計算されたHA
AR係数(HAmn)は量子化部104に入力される。
【0033】量子化部104は、8ビットのHAAR係
数をその周波数成分と4×4マトリクス上の位置とに応
じて決められる量子化ビット数で量子化する。図4に量
子化処理の具体例を示す。同図に示すように、量子化ビ
ット数の配分は、DC成分に連続階調表現するのに必要
なビット数(本例では8ビット)を割当て、AC成分は
高周波成分よりも低周波成分により多くのビット数を割
り振っている。これは、一般に中間調画像ではAC成分
が少ないのでAC成分を荒く量子化しても中間調画質へ
の影響は少ないが、文字画像では文字のエッジ部でAC
成分が多いが中間調のように高いビット精度は必要とさ
れないからである。また、一般の画像では高周波の斜め
成分は少なくて画質への影響も小さいことから、本例で
は量子化ビット数を0ビットとしている。
【0034】ブロックデータ生成部105は、以上のよ
うに量子化された量子化データが量子化部104から与
えられる。そして、DC成分(QD)8ビット、AC低
周波成分(QB)8ビット、AC高周波成分(QA)1
6ビットの総計32ビットをブロックデータ(E)とし
て生成する。ブロックデータ(E)は周波数別バンド化
部106によって第2のラインメモリ107へ書き込ま
れる。
【0035】以上のように、画像データをハール変換し
てHAAR変換係数を量子化して量子化係数に変換する
ことにより、1ブロック当たり16×8ビットの画像デ
ータが32ビットのデータ(量子化係数)に圧縮され
る。ここまでの圧縮処理は固定長符号化であるので、こ
の圧縮されたデータであれば回転等の編集を加えても復
元することができ、しかも編集用のメモリも圧縮後のデ
ータ容量に合わせた小さな容量に抑えることができる。
【0036】図5は、第2のラインメモリ107に書き
込まれた量子化データのデータ配置を示す図である。1
ブロックの量子化データは、DC成分(QD)、AC低
周波成分(QB)、AC高周波成分(QA)の周波数別
にバンド化されるような配置で、個々の周波数成分のビ
ットシリアル化データが第2のラインメモリ107に書
き込まれる。図5に示す配置図の主走査方向(水平方
向)に連続したアドレスを読み出すことにより、隣接す
るブロック間で同一の周波数バンドのデータをビットシ
リアル列として出力することができる。
【0037】周波数別バンド化部106は、第2のライ
ンメモリ107から隣接するブロック間で同一の周波数
バンドのデータをビットシリアル列で読み出す際に、A
Cバンド部は各AC成分データの0がビットマップの白
ドットに対応するようにコード化し、DCバンド部はD
C成分データがFF(hex)の白状態の時、白8ドッ
トに対応するようにパターン化する。
【0038】図6は、中間調画像の量子化係数を周波数
別バンド化した実際のビットマップデータである。破線
で区切られた1ますが1ブロックに相当する。DCバン
ドには不規則に黒点画像が出現するが、AC低周波バン
ドでは黒点画像の発生が少なくなり、AC高周波バンド
ではほとんどが白抜け状態となっている。これは中間調
画像や文字の背景部分では高周波成分が少ないからであ
る。また、文字原稿の背景部ではAC成分が発生せず、
白地部(8ビット入力で255レベル)はDCバンド、
ACバンドともに白ドットの連続画像となる。
【0039】通常画像では、バンド状又はブロック状に
白ドットが頻繁に発生する。JBIG符号化は、2次元
的に白又は黒の連続ドットが多いほど圧縮効率が上がる
ので、図6に示すようにバンド状又はブロック状に白ド
ットが頻繁に発生する2値画像パターンはJBIG符号
化にとって最も圧縮効率を上げる事のできる画像である
といえる。
【0040】この様に、本発明は第1段の圧縮処理によ
って編集可能な圧縮を行うと共に第2段の圧縮処理で実
行されるJBIG符号化にとって最も圧縮効率を上げる
ことのできるビットマップパターンを生成している。
【0041】第2のラインメモリ107からビットシリ
アル化した2値画像データを読み出してJBIG符号化
部108でファクシミリ標準規格のJBIG方式で符号
化し、符号化データを画像蓄積メモリ109へページ単
位で蓄積する。JBIG符号化により圧縮されたページ
データを、画像蓄積メモリ109上でページの並べ代え
や電子ファイリング等を行う。
【0042】次に、圧縮されたページデータは画像蓄積
メモリ109から読み出され、JBIG復号化部110
によるJBIG復号化によりビットマップデータに復元
される。そして、ブロックデータ復元部112により第
3のラインメモリ111に書き込まれる。ブロックデー
タ復元部112は、図5に示すビットマップパターン配
置を復元するように書き込みアドレスを制御する。
【0043】第3のラインメモリ111に4ライン分の
復元データが書き込まれると、周波数成分復元部113
が、図5に実線でしきられた8×4ビットのブロックを
単位として、1ブロック32ビットのデータを読出し、
DC成分(DD)8ビット、AC低周波成分(DB)8
ビット、AC高周波成分(DA)16ビットの周波数成
分を復元する。周波数成分復元部113によって復元さ
れたDC成分(DD)、AC低周波成分(DB)、AC
高周波成分はブロック単位で逆量子化部114へ入力さ
れる。
【0044】図7は、逆量子化部114において実行さ
れる逆量子化の概念図である。同図に示すように、逆量
子化部114は量子化係数を、量子化時と同様に周波数
と位置条件に応じて決まる量子化ビット数に従い、単純
比例計算により8ビット化してHAAR係数を復元す
る。復元されたHAAR係数は逆ハール変換部115へ
与えられる。
【0045】逆ハール変換部115は、復元されたHA
AR係数(HBmn)を基底パターンによって逆ハール
変換して画像データに変換する。具体的には、4×4個
のHAAR係数(HBmn)を4×4個の画像データ
(Rxy)に変換する処理であり、入力したHAAR係
数の基底ベクトル番号(m,n)、出力画像データ位置
(x,y)により基底パターン(Pmnxy)により以
下の演算を行う。
【0046】
【数2】 逆ハール変換によって得られた画像データ(Rxy)
は、ブロック合成部117によって第4のラインメモリ
116にブロック単位で書き込まれる。そして、第4の
ラインメモリ116からライン単位で画像データを読み
出すことにより、復元された画像データが出力される。
【0047】以上のように本実施の形態によれば、画像
データをブロック単位でハール変換してHAAR変換係
数を量子化することにより第1段のデータ圧縮を固定長
符号化で実現しているので、この時点での圧縮データで
画像編集を行えば編集メモリの容量を抑制する事ができ
る。しかも、HAAR変換係数を量子化して得られた量
子化係数(DC成分(8ビット)、AC低周波成分(8
ビット)、AC高周波成分(16ビット)をビットシリ
アル化して周波数別に並べ(バンド化)、バンド化した
ビットシリアル化データから構成されたビットマップデ
ータを第2段の圧縮であるJBIG符号化するようにし
たので、バンド化されていないビットマップデータを圧
縮する場合に比べて高い圧縮率を実現する事ができる。
【0048】(実施の形態2)次に、本発明の実施の形
態2にかかる画像処理装置ついて説明する。本実施の形
態の画像処理装置は、HAAR係数を量子化してブロッ
クデータを生成した段階で画像データを90度単位で回
転可能にした例である。
【0049】図8は本実施の形態にかかる画像処理装置
の圧縮・蓄積・復元の一連のプロセスに係わるブロック
図である。なお、上記実施の形態1の画像処理装置と同
一機能の部分には同一符号を付している。
【0050】本実施の形態は、第1のラインメモリ10
1に書き込まれた連続階調の多値画像データをHAAR
変換し、HAAR変換係数を量子化してブロックデータ
(E)を生成するところまでは、上記実施の形態1と同
様である。本実施の形態では、ブロックデータ(E)が
ブロック回転編集処理部201により1ブロックを1ア
ドレスとしてページメモリ202へ書き込まれる。この
ページメモリ202が編集用メモリに相当する。ブロッ
ク回転編集処理部201は、画像の回転方向及び回転量
を指示する回転制御データにしたがった回転位置アドレ
スでページメモリ202からブロックデータを読み出
す。なお、回転制御データは回転量が固定であれば回転
方向情報だけを含むようにしてもよく、また回転方向が
固定であれば回転量だけを含むようにしてもよい。さら
に、回転量及び回転方向が固定であれば、回転制御の有
無だけでもよい。
【0051】図9はブロック回転編集処理部201によ
るブロック回転編集処理の概念図である。同図に示すよ
うに、ページメモリ202へ書き込まれたブロックデー
タ(E)は回転していないが、読出しアドレス(回転位
置アドレス)を制御する事によりブロックデータ(E)
が反時計回りに90度回転するようにしている。
【0052】このように、16×8ビットの画像データ
が入力した場合であっても、32ビットに圧縮された状
態で画像データ(ブロックデータ(E))を編集できる
ので、編集用メモリであるページメモリ202の容量を
本例の場合であれば、従来方式に比べて1/4に抑える
ことができる。
【0053】ブロック回転編集処理部201により編集
されたブロックデータ(E)は周波数別バンド化部10
8により、図5に示すように周波数別にバンド化された
状態で第2のラインメモリ107へ書き込まれる。そし
て、隣接するブロック間で同一の周波数バンドのデータ
をビットシリアルデータ列として取り出してJBIG符
号化する。
【0054】一方、画像蓄積メモリ109に格納されて
いる符号化データをJBIG復号化し、さらにブロック
データ復元部112によってブロックデータを復元す
る。図10にブロックデータが復元された状態を示す。
同図に示すように、ブロック内がその向きは回転されて
いないままである。復元ブロックデータの周波数成分復
元を行った後、逆量子化して逆HAAR変換する。復元
過程において、ここまでは上記実施の形態1と同様であ
る。
【0055】本実施の形態では、逆HAAR変換により
復元された4×4個の画像データ(Rxy)はブロック
合成回転部203により第4のラインメモリ116へブ
ロック単位で書き込まれる。ブロック合成回転部203
は、図10に示すように第4のラインメモリ116から
回転制御データにしたがった回転位置アドレスからブロ
ック内画像を反時計回りに90度回転させて読み出す。
これにより、図10に示すようにページ全体及びブロッ
ク内画像の双方が反時計回りに90度回転した画像とし
て出力される。
【0056】このように本実施の形態によれば、多値画
像データを直交変換した変換係数を量子化して圧縮した
ブロックデータ(E)を回転編集するようにしたので、
回転編集用のページメモリ202の容量は処理画素数×
2ビットとなることから、従来の容量(処理画素数×8
ビット)に比べて、1/4のメモリ容量に抑制する事が
できる。
【0057】また、圧縮過程において1ページ内のブロ
ック配置をページメモリ202の読出しアドレスを制御
して回転させ、復元過程においてブロック内画像をペー
ジ回転方向と同方向に回転させることにより、1ページ
分の画像を回転させるようにしたので、圧縮時間を短縮
する事ができる。
【0058】なお、上記実施の形態2では編集処理とし
て回転を例に説明したが、回転以外の編集機能を持つ事
もできる。たとえば、図11に示すようにページメモリ
202上で2つの画像を合成する画像合成処理を行わせ
ることができる。この場合も、1ブロック当たりのデー
タ量が1/4に圧縮されているのでページメモリ202
の容量は大幅に削減できる。
【0059】(実施の形態3)次に、本発明の実施の形
態3にかかる画像処理装置について説明する。本実施の
形態は、上記実施の形態2の画像処理装置にページ毎に
回転方向を変更する編集機能を持たせた例である。
【0060】図12は本実施の形態にかかる画像処理装
置の圧縮・蓄積・復元の一連のプロセスに係わるブロッ
ク図である。なお、上記実施の形態1、2の画像処理装
置と同一機能の部分には同一符号を付している。
【0061】本実施の形態は、第1のラインメモリ10
1に書き込まれた連続階調の多値画像データをHAAR
変換し、HAAR変換係数を量子化してブロックデータ
(E)を生成し、ブロックデータを周波数別バンド化処
理するところまでは、上記実施の形態2と同様である。
本実施の形態では、ビットマップデータ(BT)の生成
後、ビットマップデータ(BT)のヘッダに、画像回転
制御データにしたがい、回転情報を付加する。
【0062】ブロック回転編集処理部201は、CPU
からページ単位で回転編集のための回転制御データが与
えられるのでページ毎に指示された回転方向にブロック
データを回転させて読み出す。
【0063】一方、回転情報ヘッダ付加部301は、ブ
ロック回転編集処理部201で加えられた回転方向を示
す回転情報がページ単位で与えられ、回転編集されたペ
ージのビットマップデータのヘッダに当該ページの回転
情報を付加する。
【0064】これにより、ブロック回転編集処理部20
1においてCPUからの指示に基づいてページ単位で回
転編集の内容を変化させた場合であっても、各ページの
ビットマップデータには回転編集の内容が付加されてい
るので、復元過程でページ毎に回転方向を判断する事が
できる。
【0065】一方、画像蓄積メモリ109に格納されて
いる符号化データをJBIG復号化したところで、復号
化されたビットマップデータのヘッダに付加されている
回転情報を回転情報ヘッダ検出部302が検出して、後
段のブロック合成回転部117へ与える。ブロック合成
回転部117は、第4のラインメモリ116から画像デ
ータを回転読出し処理する際に該当するブロックの回転
情報を使って回転読出し制御する。すなわち、ブロック
内画像の回転方向として、圧縮過程における当該ブロッ
クが属しているページの回転方向を検出できるので、検
出された回転方向に基づいて圧縮過程での当該ページの
回転方向と同方向にブロック内画像を回転させる。
【0066】このように本実施の形態によれば、圧縮過
程においてページ単位で回転方向を示す回転情報をビッ
トマップデータに付加し、復元過程においてビットマッ
プデータのヘッダから回転情報を取り出してブロック内
画像の回転方向をページ単位で制御することができるの
で、原稿毎に回転方向が異なるような場合であっても原
稿毎の回転方向を別に管理することなく復元する事がで
きる。
【0067】(実施の形態4)次に、本発明の実施の形
態4にかかる画像処理装置について説明する。本実施の
形態は、上記実施の形態1の画像処理装置におけるJB
IG符号化部108を、上記実施の形態1で説明したコ
ピー系とファクシミリ系の双方で使用可能にした例であ
る。
【0068】図13は本実施の形態にかかる画像処理装
置のコピー系(圧縮・蓄積・復元)の一連のプロセス及
びファクシミリ系のハーフトーン処理に係わるブロック
図である。なお、上記実施の形態1の画像処理装置と同
一機能の部分には同一符号を付している。
【0069】本実施の形態は、周波数別バンド化部とJ
BIG符号化部108との間に、選択機能としてコピー
系又はファクシミリ系を選択するセレクタ401が設け
られている。セレクタ401は、ハーフトーン処理部4
02から出力されたハーフトーンデータと周波数別バン
ド化部106から出力されるビットマップデータとが入
力し、CPUから与えられる機能選択信号によってハー
フトーンデータ(HT)又はビットマップデータ(B
T)のいずれかを選択出力する。ハーフトーン処理部4
02は、コピー系の圧縮プロセスと並列に設けられてい
て、連続階調を持つ多値画像データが入力され、その多
値画像データをハーフトーン処理したハーフトーンデー
タ(HT)をセレクタ401へ出力する。なお、復元過
程は上記実施の形態1と同様である。
【0070】以上の画像処理装置において、CPUから
ファクシミリ系を選択する機能選択信号がセレクタ40
1に入力した場合、ハーフトーン処理部402から出力
されるハーフトーンデータをセレクタ401で選択して
JBIG符号化部108へ入力する。そして、JBIG
符号化部108から出力される符号化データは画像蓄積
メモリ109から読み出されてファクシミリ送信され
る。コピー系を選択する機能選択信号がセレクタ401
に入力した場合は、上記実施の形態1と同様にして圧縮
・蓄積・復元の処理が実行される。
【0071】なお、上記実施の形態4においてハーフト
ーン処理部402に代えて単純2値化処理部を設けても
ファクシミリ送信する事はできる。
【0072】図14は上記実施の形態1,2,3,4の
いずれかの画像処理装置を備えた複合機の全体構成図で
ある。同図において、符号500は上記実施の形態1,
2,3,4のいずれかの画像処理装置であり、スキャナ
501は連続階調の多値画像データを画像処理装置50
0へ入力し、プリンタ502は画像処理装置500で圧
縮・蓄積・復元された多値画像データを印刷する多値プ
リンタである。上記実施の形態4のように画像処理装置
500のJBIG符号化部108を符号器として使用す
る場合は、画像蓄積メモリ109に蓄積された圧縮デー
タをモデム503から公衆回線に送出する。画像処理装
置500は内部バスを介してCPU504から回転制御
データ、機能選択信号が与えられる。
【0073】なお、上記したように周波数別バンド化処
理したビットマップデータとJBIG符号化との組合せ
は圧縮効率が極めて高くすることができるが、JBIG
符号化に代えて他の符号化、例えばMH,MR等を使用
することもできる。
【0074】また、上記実施の形態1の画像処理装置
に、実施の形態2,3,4を適宜組合せて画像処理装置
及び複合機を構成することもできる。
【0075】
【発明の効果】以上詳記したように本発明によれば、画
像圧縮後に編集しても正確に且つ画質劣化を伴わずに復
元でき、要求されるメモリ容量の増大を抑制でき、しか
もJBIG等のファクシミリ標準規格の符号化・復号化
にも適合する画像符号化/復号化を実現する画像処理装
置を提供できる。
【図面の簡単な説明】
【図1】実施の形態1にかかる画像処理装置のブロック
【図2】ハール変換で使用する基底パターン図
【図3】周波数成分の順番で並べ替えたHAAR変換係
数を示す図
【図4】実施の形態1における量子化処理の概念図
【図5】実施の形態1において周波数別バンド化処理さ
れたビットマップパターン図
【図6】サンプルを実際に周波数別バンド化処理したビ
ットマップパターン図
【図7】実施の形態1における逆量子化処理の概念図
【図8】実施の形態2にかかる画像処理装置のブロック
【図9】ブロック回転編集処理の概念図
【図10】ブロック内回転処理の概念図
【図11】画像合成編集処理の概念図
【図12】実施の形態3にかかる画像処理装置のブロッ
ク図
【図13】実施の形態4にかかる画像処理装置のブロッ
ク図
【図14】複合機の全体構成図
【図15】JPEG符号化前に編集処理する従来例のブ
ロック図
【図16】ハーフトーン処理してからJBIG符号化す
る従来例のブロック図
【符号の説明】
101 第1のラインメモリ 102 ブロック分割部 103 ハール変換部 104 量子化部 105 ブロックデータ生成部 106 周波数別バンド化部 107 第2のラインメモリ 108 JBIG符号化部 109 画像蓄積メモリ 110 JBIG復号化部 111 第3のラインメモリ 112 ブロックデータ復元部 113 周波数成分復元部 114 逆量子化部 115 逆ハール変換部 116 第4のラインメモリ 117 ブロック合成部 201 ブロック回転編集処理部 202 ページメモリ 203 ブロック合成回転部 301 回転情報ヘッダ付加部 302 回転情報ヘッダ検出部 401 セレクタ 402 ハーフトーン処理部
───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 5B057 AA11 BA02 CA08 CA12 CA16 CB08 CB12 CB16 CC02 CD04 CE08 CE12 CG05 CG07 CH08 CH18 DA17 5C076 AA24 BA03 BA04 BA06 BA09 5C078 BA21 BA57 CA14 DA00 DA01 DA02 DB05 5J064 BA13 BA16 BB11 BB13 BC01 BC02 BC16 BC18 BD02 BD06 BD07

Claims (10)

    【特許請求の範囲】
  1. 【請求項1】 所定ブロックサイズの多値画像データを
    空間周波数に対応した直交変換係数に分解する直交変換
    手段と、前記直交変換係数を空間周波数毎に所定のビッ
    ト数に変換する量子化手段と、量子化データを空間周波
    数毎にバンド化した配置に並べ替えて隣接ブロック間で
    同一空間周波数バンドの量子化データが連続するビット
    シリアルデータを生成するバンド化手段と、前記ビット
    シリアルデータを圧縮する符号化手段とを具備する画像
    処理装置。
  2. 【請求項2】 前記量子化手段で計算された量子化デー
    タに対してブロック単位で画像編集を加える編集手段を
    備え、編集後の量子化データを前記バンド化手段で空間
    周波数毎にバンド化した配置に並べ替えることを特徴と
    する請求項1記載の画像処理装置。
  3. 【請求項3】 前記符号化手段で圧縮されたデータを伸
    張する復号化手段と、復号化されたビットシリアルデー
    タからブロック毎に各空間周波数成分の量子化データを
    復元する周波数成分復元手段と、復元された各空間周波
    数成分の量子化データを逆量子化して直交変換係数を復
    元する逆量子化手段と、復元された直交変換係数から元
    のブロック画像を復元する逆直交変換手段と、復元され
    たブロック画像を合成して元の多値画像データを生成す
    るブロック合成手段と、を具備する請求項1又は請求項
    2記載の画像処理装置。
  4. 【請求項4】 前記編集手段は、量子化データが書き込
    まれるメモリの書き込みアドレス又は読出しアドレスを
    画像の回転量及び回転方向を示す回転制御データに応じ
    て制御してブロック単位で画像を回転し、前記ブロック
    合成手段は、復元されたブロック画像が書き込まれるメ
    モリの書き込みアドレス又は読出しアドレスを前記回転
    制御データに応じて制御して個々のブロック内画像を回
    転することを特徴とする請求項3記載の画像処理装置。
  5. 【請求項5】 前記編集手段によって回転させた画像の
    ビットシリアルデータに対して回転制御の内容を示す回
    転情報をページ単位で付加する情報付加手段と、復号化
    されたビットシリアルデータから前記回転情報を検出す
    る情報検出手段とを具備し、前記ブロック合成手段は、
    前記情報検出手段によって検出された回転情報に応じて
    ブロック内画像の回転を制御することを特徴とする請求
    項4記載の画像処理装置。
  6. 【請求項6】 前記符号化手段の符号化方式及び前記復
    号化手段の復号化方式はファクシミリの符号化復号化方
    式であることを特徴とする請求項3から請求項5のいず
    れかに記載の画像処理装置。
  7. 【請求項7】 前記多値画像データをハーフトーンデー
    タに変換するハーフトーン処理手段と、コピー動作かフ
    ァクシミリ送信かを指示する機能選択信号に応じて前記
    ハーフトーンデータ又は前記ビットシリアルデータを切
    換えて前記符号化手段へ入力する機能選択手段とを具備
    し、ファクシミリ送信が選択された場合は前記符号化デ
    ータを、外部出力することを特徴とする請求項3から請
    求項6のいずれかに記載の画像処理装置。
  8. 【請求項8】 原稿をスキャンして画像データを入力す
    る画像入力手段と、請求項3から請求項7のいずれかに
    記載の画像処理装置と、前記画像処理装置で復元された
    画像を記録する記録手段と、前記画像処理装置で圧縮さ
    れた画像のうちファクシミリ送信が指示された画像をフ
    ァクシミリ送信する通信部と、を具備する複合機。
  9. 【請求項9】 所定のブロックサイズに切り出された多
    値画像データを空間周波数に対応した直交変換係数に分
    解し、前記直交変換係数を空間周波数毎に所定のビット
    数に変換し、前記量子化データを空間周波数毎にバンド
    化した配置に並べ替えて隣接ブロック間で同一空間周波
    数バンドの量子化データが連続するビットシリアルデー
    タを生成し、前記ビットシリアルデータを圧縮すること
    を特徴とする符号化方法。
  10. 【請求項10】 所定のブロックサイズに切り出された
    多値画像データを空間周波数に対応した直交変換係数に
    分解し、前記直交変換係数を空間周波数毎に所定のビッ
    ト数に変換し、前記量子化データを空間周波数毎にバン
    ド化した配置に並べ替えて隣接ブロック間で同一空間周
    波数バンドの量子化データが連続するビットシリアルデ
    ータを生成し、前記ビットシリアルデータを圧縮して記
    憶する一方、圧縮されたデータを読み出して復号化し、
    復号化されたビットシリアルデータからブロック毎に各
    空間周波数成分の量子化データを復元し、復元された各
    空間周波数成分の量子化データを逆量子化して直交変換
    係数を復元し、復元された直交変換係数から元のブロッ
    ク画像を復元し、復元されたブロック画像を合成して元
    の多値画像データを生成することを特徴とする画像処理
    方法。
JP2000205083A 2000-07-06 2000-07-06 画像処理装置及び画像処理方法 Expired - Fee Related JP3343104B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2000205083A JP3343104B2 (ja) 2000-07-06 2000-07-06 画像処理装置及び画像処理方法
US09/891,165 US7050645B2 (en) 2000-07-06 2001-06-26 Image processing apparatus and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000205083A JP3343104B2 (ja) 2000-07-06 2000-07-06 画像処理装置及び画像処理方法

Publications (2)

Publication Number Publication Date
JP2002027255A true JP2002027255A (ja) 2002-01-25
JP3343104B2 JP3343104B2 (ja) 2002-11-11

Family

ID=18702230

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000205083A Expired - Fee Related JP3343104B2 (ja) 2000-07-06 2000-07-06 画像処理装置及び画像処理方法

Country Status (2)

Country Link
US (1) US7050645B2 (ja)
JP (1) JP3343104B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7355762B2 (en) 2002-05-31 2008-04-08 Fujitsu Limited Image inputting apparatus, method, and storage medium recording image inputting program

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004266513A (ja) * 2003-02-28 2004-09-24 Canon Inc 画像入出力制御方法及び画像入出力装置
JP2006086579A (ja) * 2004-09-14 2006-03-30 Ricoh Co Ltd 画像処理装置、プログラム、及び記憶媒体
US7643694B2 (en) * 2004-12-31 2010-01-05 Zoran Corporation Method and apparatus for processing a compressed image in an order other than the order in which it was compressed
JP4302661B2 (ja) * 2005-05-02 2009-07-29 富士通マイクロエレクトロニクス株式会社 画像処理システム
US7471422B2 (en) * 2005-12-07 2008-12-30 Andrew William Peter Cave Computer program and method for generating a multiple-bit image data file from a 1-bit image data file
JP2007293606A (ja) * 2006-04-25 2007-11-08 Matsushita Electric Ind Co Ltd 画像処理装置
US8238677B2 (en) * 2008-03-07 2012-08-07 International Business Machines Corporation Adaptive lossless data compression method for compression of color image data
WO2012121744A1 (en) * 2011-03-10 2012-09-13 Vidyo, Inc Adaptive picture rotation
AU2012226283B2 (en) 2011-03-10 2016-09-15 Vidyo, Inc. Render-orientation information in video bitstream
US20140208201A1 (en) * 2013-01-22 2014-07-24 International Business Machines Corporation Image Obfuscation in Web Content

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3996565A (en) * 1974-04-19 1976-12-07 Toyoda Koki Kabushiki Kaisha Programmable sequence controller
US4172289A (en) * 1977-10-05 1979-10-23 Allen-Bradley Company Programmable controller with programmable I/O scan rate
JPS625779A (ja) * 1985-03-04 1987-01-12 Kokusai Denshin Denwa Co Ltd <Kdd> 階調フアクシミリ画像信号の符号化方式
JPH0583696A (ja) * 1991-06-07 1993-04-02 Sony Corp 画像符号化装置
JP3162773B2 (ja) * 1992-01-06 2001-05-08 キヤノン株式会社 画像処理方法及び装置
JP2800633B2 (ja) * 1993-04-30 1998-09-21 富士ゼロックス株式会社 画像符号化装置
US5710636A (en) * 1995-06-05 1998-01-20 Xerox Corporation Method and apparatus for generating halftone images having human readable patterns formed therein
JPH099040A (ja) * 1995-06-21 1997-01-10 Minolta Co Ltd 画像処理装置
US6307962B1 (en) * 1995-09-01 2001-10-23 The University Of Rochester Document data compression system which automatically segments documents and generates compressed smart documents therefrom
US5675384A (en) * 1995-10-03 1997-10-07 Nec Usa, Inc. VBR MPEG video encoding for ATM networks with dynamic bandwidth renegotiation
JPH10290462A (ja) 1997-02-14 1998-10-27 Ricoh Co Ltd 画像処理装置
US6459816B2 (en) * 1997-05-08 2002-10-01 Ricoh Company, Ltd. Image processing system for compressing image data including binary image data and continuous tone image data by a sub-band transform method with a high-compression rate
AUPP248298A0 (en) * 1998-03-20 1998-04-23 Canon Kabushiki Kaisha A method and apparatus for hierarchical encoding and decoding an image
US6175653B1 (en) * 1998-05-12 2001-01-16 Xerox Corporation Fast decompression and rotation for devices with asymmetric resolution
JP2000048036A (ja) * 1998-07-28 2000-02-18 Canon Inc 画像処理装置およびその方法
JP2000134459A (ja) 1998-10-28 2000-05-12 Konica Corp 画像処理方法
US6700933B1 (en) * 2000-02-15 2004-03-02 Microsoft Corporation System and method with advance predicted bit-plane coding for progressive fine-granularity scalable (PFGS) video coding

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7355762B2 (en) 2002-05-31 2008-04-08 Fujitsu Limited Image inputting apparatus, method, and storage medium recording image inputting program

Also Published As

Publication number Publication date
JP3343104B2 (ja) 2002-11-11
US20020012474A1 (en) 2002-01-31
US7050645B2 (en) 2006-05-23

Similar Documents

Publication Publication Date Title
US5751865A (en) Method and apparatus for image rotation with reduced memory using JPEG compression
US7813575B2 (en) Enhancing compression while transcoding JPEG images
US6459816B2 (en) Image processing system for compressing image data including binary image data and continuous tone image data by a sub-band transform method with a high-compression rate
US6947600B1 (en) Information processing method, apparatus and storage medium for receiving and decoding a code sequence obtained by encoding an image
JP3848443B2 (ja) 圧縮デジタルデータ処理方法
US6985634B2 (en) Image processing system for compressing image data including binary image data and continuous tone image data by a sub-band transform method with a high-compression rate
JP3461309B2 (ja) ハフマン符号化データ圧縮装置
JPH08116448A (ja) 画像信号の符号化装置及び復号装置
JP3343104B2 (ja) 画像処理装置及び画像処理方法
US5991450A (en) Image encoding and decoding apparatus
EP1001604A2 (en) Information processing apparatus and method
JP2004242290A (ja) 画像処理装置および画像処理方法、画像編集処理システム、画像処理プログラム及び記憶媒体
JP3387738B2 (ja) 画像パターン変換装置
JP3231800B2 (ja) 画像符号化装置及び画像符号化方法
JP2000151973A (ja) 情報処理装置およびその方法、並びに、記憶媒体
JP3311221B2 (ja) 画像処理装置及びその方法
JP3023215B2 (ja) 画像処理装置
JPH04220081A (ja) 画像データ復元方法及び装置
JP3122481B2 (ja) 画像符号化装置及び画像符号化方法
JPH1098620A (ja) 画像処理装置
JP3910107B2 (ja) デジタル複写機
JPH11284840A (ja) 画像形成装置
JP3793357B2 (ja) 画像符号化装置及び方法
JP3531844B2 (ja) 画像処理装置
JP3340006B2 (ja) 画像処理装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070823

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080823

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080823

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090823

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090823

Year of fee payment: 7

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090823

Year of fee payment: 7

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090823

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100823

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110823

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110823

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120823

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130823

Year of fee payment: 11

LAPS Cancellation because of no payment of annual fees