JP2008109195A - 画像処理装置 - Google Patents

Abstract

【課題】 非可逆符号化部のハードウェア規模を削減するために並列度を下げた場合の、非可逆符号化部の性能が低下（所定時間内に非可逆符号化処理を終えることができないこと）を回避する。
【解決手段】 全タイルデータを可逆符号化するのと平行して、該タイルデータの各種画像情報を収集し、それに基づき可逆符号化する優先度を表すパラメータを計算する。計算したパラメータを該タイルの符号データのヘッダ情報として付加し、該符号データをメモリへ格納する。タイル毎のパラメータ情報から前記閾値を決定し、該閾値とパラメータを比較して、各タイルの符号化方式（可逆／非可逆）を判定する。
【選択図】 図１

Description

本発明は、画像データをタイル単位で可逆符号化もしくは非可逆符号化する機能を有する画像処理装置に関する。

画像データを解像度と階調と言う尺度で分類すると、解像度の高さが重視されるテキスト（文字）系、階調表現が重視される自然画系と、両者のバランスが重視されるグラフィックス系の画像とに大別される。

以下に述べるように、画像データの種類によって、それに適した符号化方法が異なる。

テキスト系の画像は、局所的に見ると２値の階調からなる画像である場合が多く、たとえ多値であっても、その階調数は限定されており、他の種類の画像に比べ可逆符号化するのに適している。

別の表現を用いると、画像のエントロピーが低いため、可逆符号化に適していると言える。但し、エントロピーが低いため、僅かな劣化が視覚上目立つことがある。それ故に、高品質のテキスト系画像は可逆符号化することが求められる。

それに対し、自然画系の画像は（被写体によって大きく異なるが）一般的にエントロピーが高く、可逆符号化してもあまり圧縮することができず、可逆符号化に適していない。

この種の画像は、視覚上目立ちにくい部分の劣化を許容する符号化により、高い圧縮率を実現することが可能である。このような符号化を前記可逆符号化に対し非可逆符号化と言う。

よって、テキスト系の画像データは可逆符号化、自然画系の画像データは非可逆符号化によって画像データを圧縮する手法が、高い画像品位を求められる機器で採用されてきている。

周波数軸上で見ると低周波域より高周波域の方が、劣化が目立ちにくい。そのため、非可逆符号化では、実空間上の画像データを周波数空間データに変換する処理を行うのが一般的である。その代表的な変換が離散コサイン変換（ＤＣＴ）である。そして、周波数空間へ変換したデータに対して、エントロピーを減らすための量子化処理を行う。その際に、低周波域の劣化をなるべく少なく抑え、高周波域の劣化が出やすいよう量子化テーブルに周波数に依存した特性を持たせる。最後に量子化した値をハフマン符号などを用いてエントロピー符号化する。

自然画像のデータは、撮像素子で光電変換した信号をＡＤ変換して生成する関係上、どうしてもランダムノイズが重畳してしまう。このランダムノイズが重畳したデータは可逆符号化にすこぶる不向きである。

それに対して、グラフィックス系の画像は、基本的にランダムノイズの無い画像であり、この点では可逆符号化に向いていると言える。また、自然画には存在しないようなシャープなエッジが随所に存在し、上記ＤＣＴ変換をするのに不向きである。

グラフィックス画像の種類は千差万別で、階調数の少ない画像から階調数の多い画像まで何でもあり、自然画に近い画像も生成できるため、一概に可逆符号化に適しているとは言えない。可逆符号化に適した画像もあれば、非可逆符号化に向く画像もあると言うことはできる。

前記離散コサイン変換は実数係数の乗算を伴う演算処理である上に、量子化した値はエントロピー符号化の前に、所定の順序に並び替えを行う必要がある等、単純な整数演算以外の処理が多いため、非可逆符号化器はハードウェア規模が大きくなる要因が多い。

それに対し、可逆符号化は実数演算を行う必要がなく、最後まで整数値のまま処理することができ、前述した周波数空間などへの変換を行わなければ、データの並び替えも必要なく、ハードウェア規模を簡略化しやすい。

近年、プリンタ等の出力装置のさらなる高画質化を図るために、出力装置の高解像度化が図られている。それに合せて画像データの高解像度化も進み、民生機器においても、これまで６００ｄｐｉであった画像の解像度が、１２００ｄｐｉさらには２４００ｄｐｉへと上がっていく傾向にある。

これは、画像データを符号化・復号するソフトウェアやハードウェアのへ求められる性能が４倍、１６倍に上がることを意味する。

画像データをブロックやタイルといった所定の単位で可逆または非可逆で符号化する先行技術として、特許文献１が知られている。

この先行技術資料に記載されている技術は、図４に示す構成に適用することができる。

先行技術では、イメージスキャナやページ記述言語レンダリングなどで生成された画像データ１０１をタイル単位で、可逆符号化部４０３と非可逆符号化部４０５にて並列に符号化する。そして、可逆符号化部で発生する符号量に基づいて、可逆で符号化すべきか非可逆で符号化すべきかを判定部４０７にて判定し、判定結果を選択部４０９に送る。

２つの符号化器から出力される２種類の符号化データの一方を、前記判定結果に基づいて選択部４０９にて選択し、メモリ１１１に格納すると、該タイルデータの符号化が完了する。１ページ画像の全タイルデータの符号化が終了したら、該ページ画像の符号化データをまとめてハードディスクドライブ１２１に転送し格納する。

前記メモリ１１１はいわゆる半導体メモリであり、該メモリ１１１には数ページ〜数十ページ程度の符号化データしか保持できないが、現在では一般的な数百Ｇバイトの容量のハードディスクドライブなら、数万ページ以上の符号化データを保存することが可能である。

図４の構成では、任意の画像データを１ページに割当てられた所定時間（以下、「１ページ時間」という）内に符号化するには、前記２つの符号化部は、全画像データを１ページ時間内に符号化する性能を持っていなければならない。

６００ｄｐｉの解像度の全画像データを１ページ時間内に符号化するために、１つの符号化器を８５％以上の稼働率で使用していたとすると、１２００ｄｐｉの解像度の画像データはデータ量が４倍になるため、前記符号化器を４つ並列に動作させて符号化する必要がある。さらに、２４００ｄｐｉの解像度になると、データ量が１６倍になるため、１４〜１６個の符号化器を並列に動作させなければ、符号化処理が１ページ時間内に終わらない。
特開平０８−０３６６３５号公報 国際標準化文書：ISO/IEC IS 14495-1, "Information technology - Lossless and near-lossless compression of continuous-tone still images: Baseline"

よって、従来は、解像度の高い大量の画像データを符号化するには、多数の符号化器を並列に動作させて符号化を行う必要があり、符号化器の回路規模が膨大になるため、非常にコストの高い符号化装置になるといった問題があった。

本発明は、非可逆符号化部のハードウェア規模を削減するため、並列に動作させていた非可逆符号化器の並列度を下げる。しかし、並列度を下げてしまうと、非可逆符号化部の性能が低下するため、所定時間内に非可逆符号化処理を終えることができないといった別の問題が発生する。本発明はこの問題を解決するものである。

上記目的を達成するために、本発明の画像処理装置によれば、
入力画像データをタイル単位で可逆符号化する可逆符号化手段と、
タイル毎に該タイルデータを非可逆符号化すべき優先度を表すパラメータを計算する数値化手段と、
前記可逆符号化手段で符号化して生成した可逆符号データを格納する格納手段と、
前記タイル毎のパラメータとそれに対する閾値とに基づいて、該タイルを可逆符号化すべきか非可逆符号化すべきかを判定する判定手段と、
該格納手段に格納された可逆符号データを前記判定結果に基づいて復号する可逆復号手段と、
該逆復号手段によって復号されて得られた画像データを非可逆符号化する非可逆符号化手段とを有し、
単位時間内に画像データのＮ％のデータしか符号化することができない性能の非可逆符号化手段を使って、単位時間内で確実に、非可逆符号化処理を終わらせるために、
前記パラメータが大きい方から順にＮ％のタイルの可逆符号データを、
前記可逆復号手段で復号し、前記非可逆符号化手段で符号化することを特徴とする。

以上説明したように本発明によれば、該非可逆符号化手段で、非可逆符号化対象データをすべて単位時間内に符号化することができる。

＜第１の実施形態＞
以下、本発明において特徴的な符号化処理を行う為の、第１の基本構成を図１に示し、図３、図５を用いて説明する。

まず、図１の画像処理装置１００の処理概要を説明する。

図１における画像処理装置１００は、イメージスキャナやページ記述言語レンダリングなどで生成された画像データ１０１を入力し、可逆符号化部１０３は、入力された画像データの符号化を行う。画像データ１０１の解像度は２４００ｄｐｉとする。

なお、本実施形態では、可逆符号化の一例として公知のいわゆるＪＰＥＧ−ＬＳ符号化方式（非特許文献１）を用いることが可能である。

ＪＰＥＧ−ＬＳ符号化方式は、非線形適応フィルタとコンテキストベースエントロピー符号化を用いて、多値の画素をラスタースキャン順序で可逆符号化する方式である。

各画素を符号化するために、該符号化画素の周辺画素を参照して該符号化画素のコンテキストを計算し、該コンテキストに基づいて画素を符号化する。

１ページ分の画像データすべてを、一旦タイル単位で可逆符号化部１０３にて、符号化してメモリ１１１に格納し、該可逆符号化の後、一部のタイルのみを可逆復号部１１３にて復号し、非可逆符号化部１１５にて非可逆符号化する。そして、該符号化結果を圧縮後の符号データとしてハードディスクドライブ１２１に保存する。

以上が処理の概要であり、詳細説明を以下で行う。

この装置で重要なことは、性能がＮ％に制限されている非可逆符号化部で、確実に非可逆符号化処理を完結させることである。それには、非可逆符号化するタイルをＮ％以下にする必要がある。

そのために、可逆符号部１０３で画像データをタイル単位（例えば３２×３２）で符号化するのと平行して次のような処理を行う。

前記符号化画素のコンテキストを計算するために、周辺画素を参照するが、該周辺画素の色数や、該周辺画素の隣接画素間の変化状況、それに画素値のヒストグラムといった、画像情報を同時に収集する。

これらの情報を用いて、該符号化中のタイルデータに自然画部分や、グラフィックス画像部分、あるいは、テキスト画像部分がどれぐらいあるのかを判定して、非可逆符号化すべき優先度を数値化する。

この数値は非可逆符号化に適したデータである程、大きな値をとるように諸々の情報を統合する。実際にこの処理を行うのが数値化部１０５であり、該数値化部１０５は、前記符号化部１０３から必要な画像情報を受け取る。

数値化されたパラメータは、判定情報付加部１０７に送る。一方、可逆符号化部１０３で符号化されて出力される可逆符号データも、前記判定情報付加部１０７に送り、該可逆符号データのヘッダ情報の一部として前記パラメータを付加する。パラメータを付加した可逆符号データは、メモリ１１１に格納する。

１ページ分の画像データすべてを、可逆符号化して前記パラメータを付加し終えたところで、該パラメータに対する閾値を決定する。

以上の処理を総称して＜可逆符号化処理＞と称し、該＜可逆符号化処理＞を１ページ時間内に終わらせ、次の１ページ時間内に後述する＜非可逆符号化処理＞を行う。この＜可逆符号化処理＞と＜非可逆符号化処理＞のタイミング関係を図３に示して説明する。

＜可逆符号化処理＞も＜非可逆符号化処理＞も、各々１ページ時間内に、１ページの画像データに対して必要な符号化を行うが、後述するように同一ページに同時に２種類の処理を施すことができない。そのため、＜可逆符号化処理＞が終わったページ画像に対して、次のページ時間で＜非可逆符号化処理＞を行うことを、図３は表している。＜非可逆符号化処理＞が終わった画像の符号データは、最後にメモリ１１１からハードディスクドライブ１２１に転送する。

符号化処理による遅延は２ページ時間と大きくなるが、スループット（処理性能）は１ページ／ページ時間であり、従来と同じである。

＜非可逆符号化処理＞では、１ページ時間内で、前記パラメータが閾値以上であるタイルデータをメモリ１１１から読出し、可逆復号部１１３にて復号し、非可逆符号化部１１５にて非可逆符号化する。

本実施形態では、非可逆符号化の一例として公知のＪＰＥＧ符号化方式を用い、８×８画素単位に相当する画像データを直交変換し、変換係数を量子化した後、ハフマン符号化処理を行うものとする。

本発明の目的は、非可逆符号化部１１５の回路規模を小さくしてコストを抑えることにあるため、該非可逆符号化部１１５は、１ページ時間内で１ページの全画像データを符号化できるだけの性能がなく、全画像データのＮ％を符号化する性能しかないものとする。

この性能は、本発明の画像処理装置の仕様と非可逆符号化部で使用する非可逆符号化器単体の処理性能と該符号化器の並列動作個数とによって決まるものであり、先に性能が決まるものではないが、本実施形態では、Ｎ＝（１／１６〜１／４）×１００％の範囲の性能を想定する。

本発明の画像処理装置は、上記制限された符号化性能で、目的とするタイルデータを非可逆符号化するために、閾値以上の前記パラメータを有するタイルの量がＮ％以下になるように閾値を設定する。そして、該閾値以上のパラメータ値を有するＮ％以下のタイルを次のページ時間をフルに使って可逆符号化する。（ここが本発明の最大のポイントになる）
タイルの量がＮ％以下となるような閾値は、パラメータ値の大きい方からの累積ヒストグラムを計算して行き、該累積ヒストグラムの値がＮ％を超える直前のパラメータ値にすればよい。該閾値を数値化部１０５で計算し、判定部１１２に転送する。

判定部１１２は、各タイルの可逆符号データのヘッダに付加されたパラメータと前記閾値とを比較して、可逆符号化・非可逆符号化を判定する。

一連の処理をフローチャートで表現すると図５のようになる。

ステップＳ５０１では、１ページの画像データの内、１タイル分のデータが入力されるのを待ち、該データが入力されて蓄積したら、ステップＳ５０３で可逆符号化処理を行うと共に、該タイル単位で非可逆符号化する優先度を表すパラメータを計算し、可逆符号データのヘッダに格納する。

該符号化処理の後、ステップＳ５０５にて１ページの画像データの可逆符号化処理が終了したかどうか検出し、終了していなければステップＳ５０１に戻り画像データの入力を待ち、終了していればステップＳ５０７に進み、前記パラメータに対する閾値を決定する。

以上の処理は、前述の＜可逆符号化処理＞に対応し、以下に述べる処理が、前述の＜非可逆符号化処理＞に対応する。

ステップ５０９では、タイル単位の可逆符号データのヘッダから前記パラメータを取り出し前記閾値とを比較して、該タイルの符号化方式を判定する。

判定結果が可逆であれば、該タイルに対して、それ以上処理を行わず次のタイルへ移り、判定結果が非可逆であれば、該タイルの符号データをステップＳ５１１にて可逆復号した後、ステップＳ５１３にて非可逆符号化する。

該符号化処理の後、ステップＳ５１５にて１ページの画像データの非可逆符号化処理が終了したかどうか検出し、終了していなければステップＳ５０９に戻り、次のタイルの符号化方式の判定を行い、終了していればステップＳ５１７に進み、非可逆符号化処理後の符号データをハードディスクに転送する。

図１の構成では、数値化部１０５から出力するパラメータを、判定情報付加部１０７にて、各タイルの符号データのヘッダ情報に付加しているが、該パラメータを各タイルに分散せずに一箇所で一元管理してもよい。

例えば、不図示の制御用ＣＰＵに接続されたメモリ上に、各タイルのパラメータリストとして保存し、該ＣＰＵにて該パラメータリストを参照して閾値を決定し、各タイルの符号化方式の判定まで行うことが可能である。

＜第２の実施形態＞
以下、本発明において特徴的な符号化処理を行う為の、第２の基本構成を図２に示し、動作を説明する。

前記タイルデータを非可逆符号化すると、当然、画質が劣化する。この時、画質劣化に見合う分だけ符号データ量が減少すればよいが、ほとんどデータ量が減らない場合もあれば、逆に符号量が増えたりすることもある。このような場合は、該タイルの符号化方法を非可逆から可逆に戻した方がよい。

本実施形態は、非可逆符号化したタイルのデータ量と劣化電力、及び、可逆符号データ量を参考に、非可逆符号化する妥当性を判定する再判定部２０１を新たに設ける。そして、該再判定結果に基づいて、非可逆符号データを廃棄して可逆符号データを残すか、あるいは、可逆符号データを廃棄して非可逆符号データを残す。

本実施形態の非可逆符号化部１１５は、該符号化部における量子化処理で発生する歪み電力を計算し、非可逆符号化した時のデータ量と共に、再判定部２０１に送る。

該歪み電力は、ＤＣＴ変換係数を量子化した値を逆量子化して得られた逆量子化値と、前記変換係数との差分を二乗し、該二乗した値を、全周波数成分について合計することによって求める。（ＤＣＴのような正規直交変換では、周波数空間上の歪み電力と、実空間に戻した時の歪み電力が同じであるので、このように計算できる）
判定部１１２は、メモリ１１１から読み出した可逆符号データのヘッダから、前記可逆符号データ量を抽出して、再判定部２０１に送る。再判定部２０１は該可逆符号データ量、前記非可逆符号データ量、及び歪み電力等の情報に基づき、非可逆符号化したタイル毎に該非可逆符号データを用いるべきか、可逆符号データを用いるべきかどうかを判定する。

判定結果を得る１つの方法として、ルックアップテーブル（ＬＵＴ）使う方法が考えられる。前記可逆符号データ量、非可逆符号データ量、及び歪み電力、各々を所定のビット数に丸めた値を入力とする３次元のＬＵＴを用いて判定結果を出力する。もちろん、ＬＵＴの内容はシミュレーションや画質評価など行ってあらかじめ決めておく。

また、３次元ＬＵＴの替わりに、可逆符号データ量と非可逆符号データ量との差分値と、歪み電力を入力とする２次元ＬＵＴを用いてもよい。

本実施形態のフローチャートを図６に示す。フローチャートで見たときの、本実施形態と前記第１の実施形態との違いは、ステップＳ６０１の再判定処理が、ステップＳ５１３の非可逆符号化処理の後に入ることである。

本実施形態の変形例として以下のことが考えられる。

復号時の処理時間の制限に対して、符号化時の処理時間の制限が緩い場合、すなわち、非可逆符号化したタイルの割合が復号時には厳密にＮ％以下でなければならないが、符号化時は１ページ時間を延長でき、前記タイルの割合がＮ％を超えてもよい場合、次のような処理が可能である。

前記再判定により、非可逆符号データではなく可逆符号データを用いるタイルがいくつか現れると、Ｎ％という制限に届かなくなり、新たな枠ができる。そこで、判定部１１２で用いる閾値の値を少し下げて、非可逆符号化へ流れるタイル数を増やす。

そして、該閾値を下げたことによって、前記新たな枠を使い切ってしまったら、閾値を元の値に戻す。これによって、性能が制限された非可逆復号部を、復号時に有効に利用することができる。

この考え方は、符号化時の非可逆符号化部の性能（Ｎｆ％）と、復号時の非可逆復号部の性能（Ｎｒ％）とが異なる場合にも応用できる。Ｎｆ＞Ｎｒの場合には、１ページ時間を延長することなく対応できる場合もある。

前記判定部１１２に対する最初の閾値はＮｒに対応したものとし、前記再判定結果が可逆となるタイルが現れたら、閾値を下げる。１ページ時間を延長することなく、Ｎｆ％の性能の範囲内で、非可逆符号化タイルの割合をＮｒ％に近づけるのも１つの方法であり、さらに１ページ時間を延長して、非可逆符号化タイルの割合をＮｒ％にするのも１つの方法である。これ以外にも様々なバリエーションが考えられるが省略する。

以下では、上記各実施形態に対応する復号装置について説明する。

＜前記実施形態で生成した符号データを復号可能な復号装置＞
前記実施形態の画像処理装置で生成した符号データを復号するための装置の構成を図７に示す。図８に示す復号処理のタイミングチャートを用いて図７の説明を行う。

符号化処理を行うのに２ページ時間を要したのと同様、復号処理を行うのに２ページ時間を要する。

まず、ハードディスクドライブ４１３に保存してある符号化データをページ単位でメモリ７０１に転送する。この符号化データは、タイル単位で可逆符号化もしくは非可逆符号化された符号化データである。

第１ページ時間では、タイル単位で非可逆符号化されたデータを非可逆復号部７０３にて復号処理した後、可逆符号化部７０５で符号化して、再びメモリ７０１に格納する。この非可逆復号部７０３はＮ％以上の処理性能が必要である。

第２ページ時間では、タイル単位で可逆符号化された符号化データを可逆復号部７０７にて復号処理して画像データ７０９として出力する。

以上で説明した復号処理により、前記第１または第２の実施形態で生成した符号データを、画像データに戻すことができる。

また、前記非可逆復号部７０３で復号して得られるデータを、そのままメモリ７０１に格納して、第２ページ時間では該データをそのまま出力する方式も考えられる。

第１の実施形態における画像処理装置の構成図。 第２の実施形態における画像処理装置の構成図。 符号化処理のタイミングを表わす図。 従来の画像処理装置の構成の一例を表わす図。 第１の実施形態における画像処理装置の動作を示すフローチャート。 第２の実施形態における画像処理装置の動作を示すフローチャート。 第１、第２の実施形態で得た符号化データを復号する装置の構成図。 復号処理のタイミングチャートを表わす図。

符号の説明

１０３ 可逆符号化部
１０５ 数値化部
１０７ 判定情報付加部
１１５ 非可逆符号化部
１１３ 可逆復号部
１１２ 判定部
１１１ メモリ
１２１ ハードディスクドライブ（ＨＤＤ）

Claims (4)

1. 入力画像データをタイル単位で可逆符号化する可逆符号化手段と、
   タイル毎に該タイルデータを非可逆符号化すべき優先度を表すパラメータを計算する数値化手段と、
   前記可逆符号化手段で符号化して生成した可逆符号データを格納する格納手段と、
   前記タイル毎のパラメータとそれに対する閾値とに基づいて、該タイルを可逆符号化すべきか非可逆符号化すべきかを判定する判定手段と、
   該格納手段に格納された可逆符号データを前記判定結果に基づいて復号する可逆復号手段と、
   該可逆復号手段によって復号されて得られた画像データを非可逆符号化する非可逆符号化手段とを有し、
   前記非可逆符号化手段は、単位時間内に全画像データの一部のデータしか符号化することができない性能を有し、
   該非可逆符号化手段で、非符号化する対象データをすべて単位時間内に非可逆符号化できるように、前記パラメータが大きい方から所定数のタイルの可逆符号データを、前記可逆復号手段で復号し、前記非可逆符号化手段で符号化することを特徴とする画像処理装置。
2. 前記非可逆符号化した符号データの歪みを計算し、該歪みと該符号データ量、それに、前記可逆符号化時の符号データ量とに基づいて、該タイルを可逆符号化すべきか非可逆符号化すべきかを再判定する再判定手段を有し、
   一旦、非可逆符号化と判定したタイルを可逆符号化に変更することを特徴とする請求項１に記載の画像処理装置。
3. タイル単位で可逆符号化もしくは非可逆符号化された符号データを保持する保持手段と、
   該保持手段中の符号データの内、非可逆符号化データのみを復号する非可逆復号手段と、
   該非可逆復号されたデータを、可逆符号化する手段と、
   前記保持手段中の可逆符号化データを復号する可逆復号手段とを有し、
   最初の単位時間では非可逆復号と該復号データの可逆符号化を行い、前記保持手段中の符号化データ全てを可逆符号化データに統一し、次の単位時間では該可逆符号化データを可逆復号処理することにより、前記符号化データを復号する画像処理装置。
4. タイル単位で可逆符号化もしくは非可逆符号化された符号データを保持する保持手段と、
   該保持手段中の符号データの内、非可逆符号化データのみを復号する非可逆復号手段と、
   前記保持手段中の可逆符号化データを復号する可逆復号手段とを有し、
   最初の単位時間では非可逆符号データに対して非可逆復号を行って前記保持手段に格納し、次の単位時間では前記復号済みのデータはそのまま出力し、前記可逆符号データは前記可逆復号手段で復号して出力することを特徴とする画像処理装置。

Images