JP2009033427A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】画像データを入力し、可変長符号化方式により圧縮して、バスへ送出するときに、単純な処理により、バスのトラフィックの増加により画像データを入力出来なくなる事態を防止する。
【解決手段】スキャナ装置１から圧縮率の低い画像データが画像符号化部２に入力されると、そこから出力される符号化データのサイズが大きくなり、転送レートが増加するため、バス５へのデータの流れが悪くなる。量子化ブロック11によるバッファ10からの読み出しが遅れ、バッファ10の切り替えも遅れる。バッファ10の切り替え間隔を切り替え間隔測定回路15で測定し、量子化ブロック11では、その測定値と基準値との差異に応じて、量子化ブロック11の量子化の度合を制御する。
【選択図】 図１

Description

本発明は、画像データを入力し、可変長符号化方式により圧縮して、バスへ送出する画像処理装置及び画像処理方法に関し、詳細には、バスのトラフィックの増加により画像データを入力出来なくなる事態を防止することの出来る画像処理装置及び画像処理方法に関する。

ファクシミリ機能、プリンタ機能、スキャナ機能、及び複写機能を備えたマルチファンクションプリンタやデジタル複合機などの画像形成装置においては、高速化、多機能化、高画質化などを達成するため、入力された画像データを一旦画像メモリ（フレームメモリ）に蓄積し、印刷タイミングの調整、画像の加工・編集などができるように構成されている。このとき、画像データをそのまま画像メモリに記憶したのでは記憶される画像データの量が膨大になるため、一般に画像データを符号化してデータ量を削減（圧縮）した後にメモリに記憶している。

ここで、画像データの符号化方式には、所定画素数の画像データからなるブロックを符号長が一定の固定長符号に変換する固定長符号化方式と、固定長符号をさらに可変長符号に変換する可変長符号化方式とがある。可変長符号化方式には、固定長符号化方式と比べて、圧縮率が高いという長所があるため、高画質化などの要求に応じた多量の画像データの処理に適している。

しかし、可変長符号化方式では、画像の複雑さなどに応じて、生成される符号量が大きく変動するため、符号化された画像データを記憶するためのメモリの容量は、圧縮率が最低の場合を考慮して定めることになり、メモリの利用効率が低いという問題がある。

そこで、このような問題を解決するため、スキャナから入力された画像データをＪＰＥＧ（Joint Photographic Experts Group）方式により可変長符号化し、符号化データをバス上の画像メモリに転送して記憶する機能を有するデジタル複合機において、生成される符号量が所定の目標範囲に収まるように、量子化ステップ幅をフィードバック制御することにより、画像メモリを最大限に活用するとともに、符号化処理全体の乱れを防止することの出来るデジタル複合機が知られている（特許文献１参照）。

しかしながら、このデジタル複合機では、生成される符号量が所定の目標範囲に収まるように量子化ステップ幅のフィードバック制御を行うときに、タイル毎の符号量の変化に基づいて、生成される符号量を推定するという複雑な処理が必要である。

また、バスのトラフィックの増大により、所定の目標範囲の符号化データを画像メモリに転送するために必要な転送レートを確保することが困難になると、転送処理が滞ることで、画像データ処理の上流側である画像データの入力及び符号化も滞ってしまうおそれがある。これを避けるため、生成される符号量の目標範囲をバスのトラフィックの最大量を考慮して低く設定してしまうと、画像データの符号化速度及び入力速度の高速化が出来ないという問題がある。

特開２００２−２５２７７０号公報

本発明は、このような問題を解決するためになされたもので、その目的は、画像データを入力し、可変長符号化方式により圧縮して、バスへ送出するときに、単純な処理により、バスのトラフィックの増加により画像データを入力出来なくなる事態を防止することである。

請求項１の発明は、画像を読み取り、画像データを生成する画像入力手段と、該画像データを蓄積する複数のバッファ手段と、該複数のバッファ手段から読み出された画像データを可変長符号化する符号化手段と、該符号化手段で符号化された符号化データをバスを通して記憶手段へ転送する転送手段と、前記複数のバッファ手段の書き込み及び読み出しを切り替えるバッファ切り替え手段と、該バッファ切り替え手段の切り替え間隔を検出する手段と、該切り替え間隔とその基準値との差異に応じて、前記符号化手段で所定量毎の画像データに対して生成される符号量を制御する制御手段とを有することを特徴とする画像処理装置である。
請求項２の発明は、請求項１記載の画像処理装置において、前記符号化手段は画像データの量子化部と、量子化された画像データの符号化部とからなり、前記制御手段は、前記量子化部の量子化の度合を制御することを特徴とする。
請求項３の発明は、請求項２記載の画像処理装置において、それぞれが異なる量子化の度合を規定する複数の量子化テーブルを有し、前記制御手段は、前記量子化テーブルの選択を行うことを特徴とする。
請求項４の発明は、請求項１記載の画像処理装置において、前記画像入力手段で生成される画像データのライン周期を検知するライン周期検知手段と、該ライン周期検知手段の検知結果に応じて、前記基準値を決定する手段とを有することを特徴とする。
請求項５の発明は、請求項１記載の画像処理装置において、前記転送手段に接続されたアービタ手段と、該アービタ手段に接続された画像データ変換処理手段とを有し、該アービタ手段が前記バスに接続されていることを特徴とする。
請求項６の発明は、画像を読み取り、画像データを生成する工程と、該画像データを複数のバッファ手段に書き込み、読み出す一時的蓄積工程と、該複数のバッファ手段から読み出された画像データを可変長符号化データに変換する符号化工程と、該可変長符号化データをバスを通して記憶手段へ転送する工程と、前記一時的蓄積工程におけるバッファ手段の書き込み及び読み出しの切り替え間隔を検出する工程とを有し、該検出された切り替え間隔とその基準値との差異に応じて、前記符号化工程で所定量毎の画像データに対して生成する符号量を制御することを特徴とする画像処理方法である。
請求項７の発明は、請求項６記載の画像処理方法において、前記画像データのライン周期を検出する工程と、該検出されたライン周期に基づいて前記基準値を決定する工程とを有することを特徴とする。

［作用］
請求項１、６の発明によれば、バッファ手段における書き込み、読み出しの切り替え間隔を検出し、基準値との差異に応じて、所定量毎の画像データに対して生成する可変長符号の量を制御する。
請求項２の発明によれば、可変長符号化手段の入力側のバッファ切り替え手段における切り替え間隔を検出し、基準値との差異に応じて、可変長符号化手段の量子化部における量子化の度合を制御する。
請求項３の発明によれば、可変長符号化手段の入力側のバッファ切り替え手段における切り替え間隔を検出し、基準値との差異に応じて、可変長符号化手段の量子化部における量子化の度合を規定する複数の量子化テーブルの中から適当な量子化テーブルを選択する。
請求項４、７の発明によれば、画像データのライン周期を検知し、そのライン周期に基づいて、バッファ切り替え手段における書き込み、読み出しの切り替え間隔の基準値を決定する。
請求項５の発明によれば、転送手段及び画像データ変換処理手段は、アービタ手段を介してバスに接続される。

本発明によれば、画像データを入力し、可変長符号化方式により圧縮して、バスへ送出するときに、単純な処理により、バスのトラフィックの増加により画像データを入力出来なくなる事態を防止することが出来る。

以下、本発明の実施形態について図面を参照しながら説明する。
図１は本発明の実施形態の画像処理装置のブロック図である。この画像処理装置は、ＣＣＤ（Charge Coupled Device）などのイメージセンサにより原稿の画像を読み込んで画像データを生成するスキャナ装置１と、スキャナ装置１からの画像データをＪＰＥＧ2000形式で可変長符号化する画像符号化部２と、バス５と、バス５に接続されたアービタ回路４及びＤＤＲ（Double Data Rate）メモリ６とを有する。アービタ回路４はバス５の使用権の調停を行うものであり、暗号化ブロック７及び前記画像符号化部２が接続されている。バス５はＰＣＩ−Expressバスである。なお、ここでは、画像符号化部２と暗号化ブロック７をアービタ回路４に接続したが、その他に画像回転ブロック、画像変倍ブロックなどの画像変換処理ブロックを接続してもよい。

画像符号化部２は、スキャナ装置１で生成された画像データが一時的に蓄積される第１のＳＤＲＡＭ（Synchronous ＤＲＡＭ）群７及び第２のＳＤＲＡＭ（Synchronous ＤＲＡＭ）群８と、第１のＳＤＲＡＭ７及び第２のＳＤＲＡＭ群８から読み出された画像データをウェーブレット変換するウェーブレット変換回路９と、ウェーブレット変換された画像データが順次に一時的に蓄積される一対のバッファ10a，10bからなるバッファ10と、一対のバッファ10a，10bから順次に読み出された画像データを量子化する量子化ブロック11と、量子化された画像データを算術符号化する算術符号化ブロック12と、アービタ回路４にアクセスしてバス５の使用権を取得し、バス５を通して、ＤＤＲメモリ６に算術符号化ブロック12の出力を転送するＤＭＡコントローラ３とを有する。ここで、量子化ブロック11及び算術符号化ブロック12が、本発明における可変長符号化手段である。

また、画像符号化部２は、スキャナ装置１が生成するライントリガ信号のタイミングに同期したタイミング信号を生成するタイミング生成装置14と、タイミング生成装置14で生成されたタイミング信号に基づいて、バッファ10a，10bの切り替えタイミング間隔の基準値を決定し、保持するとともに、その基準値に基づいて、バッファ10a，10bの切り替えを行うバッファ切り替えブロック13と、バッファ切り替えブロック13の切り替え間隔を測定し、量子化ブロック11に供給する切り替え遅延測定回路15とを有する。量子化ブロック11は、それぞれが異なる量子化の度合を規定する複数の量子化テーブルを備えており、切り替え間隔測定回路15から供給されるバッファ切り替え間隔とその基準値との差異に応じて、適切な量子化テーブルを選択することにより、量子化の度合を制御することが出来る。また、図示を省略したが、画像符号化部２の全体の制御などを行う、マイクロコンピュータなどからなる制御装置を有する。

図２に示すように、スキャナ装置１は100μsecのライントリガ信号に同期した画像データを出力する。図３に示すように、この画像データは１ピクセル（画素）が８ビットであり、１ラインが7400ピクセルからなる。

スキャナ装置１で生成された画像データは画像符号化部２に供給される。１枚の紙文書の読み取り期間中は、スキャナ装置１のモータの作りから、読み取り動作を停止することは不可能であり、画像符号化部２は、100μsec周期で必ず１ラインの画像データの入力を完了する仕様を持っている。

画像符号化部２の入力部に実装されている第１及び第２のＳＤＲＡＭ群７及び８は、入力された画像データのラスターブロック変換を行うためのバッファであり、それぞれ１ライン分の画像データ（８ビット×7400ピクセル）の記憶容量を有する128個のＳＤＲＡＭからなる。スキャナ装置１から100μsec周期で転送されてくる１ライン分毎の画像データは、まず第１のＳＤＲＡＭ群７に記憶され、128ライン分記憶された段階で第２のＳＤＲＡＭ群８に記憶され始める。また、これと同時に、既にデータが記憶された第１のＳＤＲＡＭ群７からは、図３に示すように、128ライン分の画像データがパラレルに読み出され、ウェーブレット変換回路９に対し、図４Ａに示すように、タイル単位（128ピクセル×128ライン）で転送されていく。以下、同様にして、１ページ分の画像データの入力が完了するまで、第１及び第２のＳＤＲＡＭ群７及び８に交互に書き込み、読み出しを行う動作を繰り返す。

ウェーブレット変換回路９では、タイル単位で２次元ウェーブレット変換処理による周波数変換を行うことで、画像データを周波数分解する。このウェーブレット変換は、後段の量子化ブロック11において、人間の目では検知しづらい、高周波成分の量子化を行うための事前処理にあたる。このウェーブレット変換回路９では、下記の式［１］及び［２］に示す変換式によるハイパスフィルタ処理及びローパスフィルタ処理を水平方向、垂直方向に適応することで、２次元のウェーブレット変換を行い、入力された画像データを複数のサブバンド情報に分解する。

Ｙ(2n＋1)＝Ｘ(2n−1)−｛Ｘ(2n)＋Ｘ(2n＋2)｝/２・・・式［１］
Ｙ(2n)＝Ｘ(2n)＋｛Ｙ(2n−1)＋Ｙ(2n＋1)｝/２・・・式［２］
ただし、Ｘ（α）は入力画像データの画素αにおける画素値であり、Ｙ（β）は画素βにおける変換結果である。

ここでは、図４Ｂに示すように、デコンポジションレベル２のサブバンド情報（2LL、2HL、2LH、2HH、1HL、1LH、1HH）に分解した。このような１タイルのウェーブレット変換処理の結果は、１画素10ビットのウェーブレット係数として、それぞれが１タイル分、即ち10ビット×128×128の記憶容量を有し、バッファ切り替えブロック13により交互に書き込み、読み出しが行われる一対のバッファ10a，10bに一旦蓄積される。蓄積された１タイル分のウェーブレット係数を図５Ａに示す。

量子化ブロック11では、一対のバッファ10a，10bから読み出される１タイル分のウェーブレット係数に対し、図５Ｂに示されるような量子化テーブルを基に、サブバンド毎にビットプレーン単位でデータ破棄を行う。例えばテーブル０の場合、２LH成分の"４"という値は、２LH成分のビットプレーンの下位から４レイヤー分を破棄することを意味している。図５Ａで斜線が付されたビットプレーンは、テーブル０を用いた場合に破棄されるビットプレーンを示す。ここでは、テーブル０をデフォルトテーブルとし、より多くのビットプレーンを破棄して符号量を低減する場合のためにテーブル１、２を用意した。

量子化ブロック11で破棄処理を受けたウェーブレット係数は、算術符号化ブロック12へ送られ、ビットプレーン単位でＭＱコーダによる算術符号化処理を施され、ＪＰＥＧ2000形式の符号化データが生成される。この符号化データはＤＭＡコントローラ３に出力され、バス５を経由してＤＤＲメモリ６に記憶される。

ここで、ウェーブレット変換回路９の後段のバッファ10における、ウェーブレット変換回路９からの書き込みと、量子化ブロック11からの読み出しの、バッファ切り替えは、バッファ切り替えブロック13が行う。スキャナ装置１のライン周期が100μsecであることから、スキャナ装置１の転送レートを維持するためには、100×128/(7400/128) ≒221μsec（125ＭＨｚのクロックの場合27,625クロック）以内で、このバッファ切り替えを行う必要がある。

しかし、ＪＰＥＧ2000形式で可変長符号化する本実施形態では、スキャナ装置１から圧縮率の低い画像データが入力された場合、算術符号化ブロック12から出力される符号化データのサイズが大きくなり、バス５に対する転送レートが増加する。アービタ回路４や、バス５のデータ転送供給能力が追いつかなくなれば、ＤＭＡコントローラ３からバス５へのデータの流れが悪くなる。その結果、量子化ブロック11によるバッファ10からのデータの読み出しが遅くなっていき、バッファ10の切り替えも遅れてくる。

そこで、バッファ切り替えブロック13の切り替え間隔を切り替え間隔測定回路15で測定して量子化ブロック11に供給し、量子化ブロック11では、測定値と基準値との差異に応じて、テーブル０からテーブル１又は２に変更することで、より多くのビットプレーンを破棄して符号量を低減する。このように、バッファ切り替え間隔の遅延情報から、量子化ブロック11の量子化テーブルの選択を制御する処理のフローを図６に示す。

スタート時は、ステップＳ１に示すように、量子化ブロック11を初期化し、デフォルトで量子化テーブル０を選択し、タイマーの値Ｔを０に設定し、タイルカウンタのカウント値Ｎを０に設定するとともに、バッファ10から最初の１タイル分（10ビット×128ピクセル×128ライン）のウェーブレット係数の入力を開始する。ここで、タイマーの値Ｔは、例えばタイミング生成装置14で、125ＭＨｚのクロックの１個毎に１ずつカウントアップして生成する。また、タイル数カウンタのカウント値Ｎは、例えばバッファ切り替えブロック13で、バッファ切り替え数をカウントして生成する。

次いでステップＳ２にて、タイマーを０に設定した後にカウントアップを開始する。
次にステップＳ３にて、ウェーブレット変換回路９からの１タイル分のデータのバッファ10への蓄積が完了したと判断し（Ｓ３：Yes）、さらにステップＳ４にて、バッファ10から最初の１タイル分のウェーブレット係数が読み出され、量子化ブロック11へ入力されたと判断した（Ｓ４：Yes）ときに、ステップＳ５にてバッファ切り替えブロック13がバッファ10a，10bの書き込み、読み出しを切り替える。即ち、それまでバッファ10a，10bでそれぞれ書き込み、読み出しが行われていたのであれば、読み出し、書き込みに切り替える。

次に、ステップＳ６にて、タイル数カウンタの値Ｎをカウントアップし、ステップＳ７にてＮ＝４と判断する（Ｓ７：Yes）まで、換言すれば量子化ブロック11が４個のタイルのウェーブレット係数の入力を完了するまで、ステップＳ３〜Ｓ６の処理を繰り返す。なお、ここではＮ＝４としているが、この値はバッファ切り替え間隔の測定対象となるタイル数を定義する値であり、スキャナ装置４のライン周期等から最適値に設定する。

Ｎ＝４となったとき、ステップＳ８にて、１ページ分のウェーブレット係数の入力が完了していないと判断する（Ｓ８：No）と、量子化テーブルの選択ステップに移行する。即ち、まずタイマーＴの値を確認し、ステップＳ９にてＴが27,625×4×0.8（＝88,400）以上であるか否かを判断し、27,625×4×0.8以上であった場合は、ステップＳ10にて27,625×4（＝110,500）以上であるか否かを判断する。そして、Ｔが27,625×4×0.8以上（Ｓ９：Yes）、かつ27,625×4未満（Ｓ10：No）の場合はテーブル１に変更し、27,625×4以上（Ｓ10：Yes）の場合はテーブル２に変更する。27,625×4×0.8未満の場合（Ｓ９：No）はテーブル０から変更しない。

ここで、「27,625」はスキャナ装置１の転送レートを維持するために必要な切り替え間隔（以下、基準切り替え間隔）に対応するクロック数、「4」はタイル数の定義値、「0.8」は基準切り替え間隔に対して20％の余裕を加味するための係数値である。

例えばＴ＝89,000の場合は、ステップＳ９の条件を満たしている（Ｓ９：Yes）が、Ｓ10の条件は満たしていない（Ｓ10：No）。従って、４個のタイルのウェーブレット係数の入力が完了した時点でのバッファ切り替えのタイミングが、所定の基準切り替え間隔（27,625×4クロック）に対しては間に合っているものの、20％以上の余裕は無い状況と判断し、ステップＳ11にて、量子化テーブル０から、１段階高圧縮な量子化テーブル１に変更する。

ステップＳ11にてテーブルを変更した後、ステップＳ13にて１ページ分のウェーブレット係数の入力が完了していないと判断する（Ｓ13：No）と、ステップＳ２へ移行する。そして、前述したステップＳ３〜Ｓ９の処理を実行し、次の４個のタイルの入力完了時に例えばＴ＝120,000であった場合は、基準切り替え間隔（＝27,625×4クロック）に対して、完全に間に合っていないことから、ステップＳ12にて更に１段階高圧縮な量子化テーブル２に変更する。

ステップＳ８又はＳ13にて1ページ分のタイルのウェーブレット係数の入力が完了したと判断するまで、上記のようなフローによる量子化テーブルの制御を繰り返す。

さらに、本実施形態の画像処理装置において、タイミング生成装置14を設けたことで、スキャナ装置１のパフォーマンスから自動的に上記のバッファ切り替えの基準切り替え間隔情報を生成することが出来る。例えば画像入力前に１ライン周期以上のアイドル期間を設け、そのアイドル期間で、図２に示すライン周期を計測する。ライン周期の計測方法は、最初のライントリガを検知したら、タイマーをカウントアップし、次のライントリガ検知と同時にタイマーを止めるだけでよい。こうして得られたライン周期情報、例えば27,625クロックという情報を、バッファ切り替えブロック13に転送することで、バッファ切り替えブロック13における基準切り替え間隔情報を自動的に生成することが可能となる。

また、本実施形態では、スキャナ装置１から画像データを入力し、画像符号化部２で符号化し、アービタ回路４及びバス５を経由して、ＤＤＲメモリ６に記憶するとともに、ＤＤＲメモリ６に記憶された符号化データを読み出し、暗号化ブロック７で暗号化し、暗号化された符号化データをＤＤＲメモリ６に再記憶する機能を備えている。

このときスキャナ装置１から入力される画像データは圧縮率の高い画像とする。通常、アービタ回路４はスキャナ装置１からの画像データを符号化する画像符号化部２からのデータ入力を優先させるが、それでもアービタ回路４、バス５に複数のデータパスが形成されることとなり、バス５の転送レートが追いつかず、結果として、画像符号化部２からのデータ出力がスムーズに行かない場合があり得る。本実施形態では、このような状況においても、量子化テーブルの制御を行い、画像符号化部２のデータ出力レートを意図的に落とすことで、スムーズなデータ出力が可能となる。

本発明の実施形態の画像処理装置のブロック図である。 本発明の実施形態のスキャナ装置が生成するライントリガ信号及び画像データのタイミング図である。 本発明の実施形態におけるラスターブロック変換を説明するための図である。 本発明の実施形態のウェーブレット変換における１タイル及びサブバンド情報を示す図である。 本発明の実施形態における１タイルのビットプレーン及び量子化テーブルを示す図である。 本発明の実施形態における量子化テーブルの選択制御のフローチャートである。

符号の説明

１・・・スキャナ装置、２・・・画像符号化部、４・・・アービタ回路、５・・・バス、６・・・ＤＤＲメモリ、７・・・暗号化ブロック、９・・・ウェーブレット変換回路、10・・・バッファ、11・・・量子化ブロック、12・・・算術符号化ブロック、13・・・バッファ切り替えブロック、14・・・タイミング生成装置、15・・・切り替え間隔遅延測定回路。

Claims (7)

1. 画像を読み取り、画像データを生成する画像入力手段と、該画像データを蓄積する複数のバッファ手段と、該複数のバッファ手段から読み出された画像データを可変長符号化する符号化手段と、該符号化手段で符号化された符号化データをバスを通して記憶手段へ転送する転送手段と、前記複数のバッファ手段の書き込み及び読み出しを切り替えるバッファ切り替え手段と、該バッファ切り替え手段の切り替え間隔を検出する手段と、該切り替え間隔とその基準値との差異に応じて、前記符号化手段で所定量毎の画像データに対して生成される符号量を制御する制御手段とを有することを特徴とする画像処理装置。
2. 請求項１記載の画像処理装置において、
   前記符号化手段は画像データの量子化部と、量子化された画像データの符号化部とからなり、前記制御手段は、前記量子化部の量子化の度合を制御することを特徴とする画像処理装置。
3. 請求項２記載の画像処理装置において、
   それぞれが異なる量子化の度合を規定する複数の量子化テーブルを有し、前記制御手段は、前記量子化テーブルの選択を行うことを特徴とする画像処理装置。
4. 請求項１記載の画像処理装置において、
   前記画像入力手段で生成される画像データのライン周期を検知するライン周期検知手段と、該ライン周期検知手段の検知結果に応じて、前記基準値を決定する手段とを有することを特徴とする画像処理装置。
5. 請求項１記載の画像処理装置において、
   前記転送手段に接続されたアービタ手段と、該アービタ手段に接続された画像データ変換処理手段とを有し、該アービタ手段が前記バスに接続されていることを特徴とする画像処理装置。
6. 画像を読み取り、画像データを生成する工程と、該画像データを複数のバッファ手段に書き込み、読み出す一時的蓄積工程と、該複数のバッファ手段から読み出された画像データを可変長符号化データに変換する符号化工程と、該可変長符号化データをバスを通して記憶手段へ転送する工程と、前記一時的蓄積工程におけるバッファ手段の書き込み及び読み出しの切り替え間隔を検出する工程とを有し、該検出された切り替え間隔とその基準値との差異に応じて、前記符号化工程で所定量毎の画像データに対して生成する符号量を制御することを特徴とする画像処理方法。
7. 請求項６記載の画像処理方法において、
   前記画像データのライン周期を検出する工程と、該検出されたライン周期に基づいて前記基準値を決定する工程とを有することを特徴とする画像処理方法。

Images