JP2005101712A - 画像処理装置およびプログラム - Google Patents

Abstract

【課題】間引きと圧縮がされたカラー画像を取り扱う画像処理装置において、処理負荷を増大させずに色変換処理を施すことができるようにする。
【解決手段】基底信号線形変換部は、逆ＤＣＴ処理の要否を判断する。たとえば、変換係数が０になるブロックは逆ＤＣＴ変換処理を省略させる。また、各成分のうち変換係数が同じものについては、何れかについて逆ＤＣＴ変換するだけでよく、他の色成分については実際に逆ＤＣＴ処理を実行する必要のないブロックとする。さらに、同じ間引き率の成分については、出力色ごとにその同じ間引き率のブロックの情報を足し合わせる。基底信号線形変換部は、間引きモードを示す識別情報と、逆ＤＣＴ処理が必要なブロックのデータのみを逆ＤＣＴ変換部に入力する。逆ＤＣＴ変換部では、基底信号線形変換部から送られたブロックについて、Ｙ成分とＣｂ＋Ｃｒ成分の逆ＤＣＴ処理を分けて行なう。
【選択図】図７

Description

本発明は、カラー画像を取り扱う画像処理装置およびコンピュータを利用して画像処理をするためのプログラムに関する。より詳細には、データ圧縮されたカラー画像データの伸長処理技術に関する。

カラー画像を取り扱うデータ処理プロセスにおいては、データを用いた実際のアプリケーションのために非常に多数のデータが存在し、通常はデータ圧縮がなされる。たとえば、カラー写真画像などをデジタル化したフルカラー画像はデータ量が大きいため、画像を記憶保持しておく記憶装置の記憶容量、あるいはネットワーク伝送時の帯域幅や転送時間などが大きくなる欠点がある。そこでデータ量を削減するために、ＪＰＥＧ（Joint Photographic Experts Group）などの圧縮画像フォーマットが用いられている。

たとえばＪＰＥＧフォーマットではコサイン波を基底信号としており、画像を離散的なコサイン波の強度データとして周波数的に表現している。また、色空間としてＹＣｂＣｒ色空間が用いられている。復号化処理（伸長処理）においては、圧縮データを復号化し、次に逆量子して離散的なコサイン波の強度データに復元し、前記色空間のＹ，Ｃｂ，Ｃｒの３つの成分ごとのブロックデータに変換する。

ここで、色空間のクロミナンス成分Ｃｂ，Ｃｒのブロックデータは、通常１／４あるいは１／２に間引かれているため、クロミナンス成分を４倍あるいは２倍にアップサンプリングして、明るさ成分Ｙと同じサイズのブロックデータに戻す必要がある。このアップサンプリングの後、出力装置の色空間に適合するように、所定の変換関数を用いて、ＹＣｂＣｒの各値を、Ｒ（レッド），Ｇ（グリーン），Ｂ（ブルー）のＲＧＢ色値、あるいはＣ（シアン），Ｍ（マゼンタ），Ｙｅｌ（イエロー）のＣＭＹ色値、またはＣ，Ｍ，ＹｅｌにＫ（ブラック）を追加したＣＭＹＫ色値に変換する色空間変換処理をして出力する。

またＪＰＥＧフォーマットで圧縮された画像をプリンタやディスプレイなどの出力装置に出力する場合、ＲＧＢ色値やＣＭＹ色値またはＣＭＹＫ色値に対して、各出力装置の色空間特性に合わせた色補正処理や色調補正処理、あるいは先鋭度に関わる強調処理を施すこともある。以下、色空間変換処理、色補正処理、色調補正処理、あるいは強調処理など、色信号の変換に関わる処理を纏めて信号変換処理という。また、この信号変換処理のうち、色空間変換処理、色補正処理、および色調補正処理などの、色情報の変更に関わる処理を特に色変換処理という。

ここで、色変換処理など、ＪＰＥＧフォーマットの画像データに対して何らかの信号変換処理を施す場合には、圧縮画像を生成する手順とは逆に、その圧縮画像データに対して、復号化処理（特にハフマン復号化処理）、逆量子化処理、逆ＤＣＴ（Discrete Cosine Transform ）処理、およびアップサンプリング処理といった、一連の伸長処理を全て順に行なった後に、この信号変換処理を行なう必要がある。すなわち、カラー圧縮画像データに信号変換処理を施す場合には、逆ＤＣＴなどの処理を事前に行なっておかなければならない。

このように、カラー圧縮画像データを出力装置で出力するまでには、一旦圧縮画像データをそのフォーマットが用いている所定の色空間データに伸長（復号化処理）してから、これを出力装置に適合するように信号変換処理を行なうといった手順を踏まなければならず、結果として処理負荷の重さが問題となる。特に、これらの手順の中で、ＪＰＥＧフォーマットの画像データを離散的なコサイン波の強度データに復元する逆量子化処理や、その強度データを色画素表現の画像データに戻す逆ＤＣＴ処理などについては、処理負荷の重さが問題となる可能性が高い。

このような処理負荷の重さの問題を解消する一手法として、たとえば特許文献１には、ＪＰＥＧフォーマットで保持されている８×８画素からなるブロックのうち、低周波側のＮ×Ｎ（Ｎ≦８）のサブブロックだけを取り出して逆ＤＣＴ変換し、この逆ＤＣＴ変換された色データ（高周波成分を含まない近似された色データ）に対して色補正処理をし、再度ＤＣＴ変換してＮ×Ｎサブブロックのデータに戻した後に、元の８×８画素からなるブロックに合成（マージ）することで、色補正処理を実現する方法が提案されている。この方法では、低周波側のＮ×Ｎのサブブロックだけ逆ＤＣＴ変換をしているため、通常の逆ＤＣＴ変換に比べ負荷が軽くなっている。

特開平１０−１９１０７４号公報

ところが、この特許文献１に記載の技術では、Ｎ×Ｎサブブロックに含まれない高周波成分については色補正されていないため色補正誤差が大きい。また、色補正誤差を小さくするためにＮの値を大きくすると、元々の８×８画素からなるブロックに近くなり、これに対し逆ＤＣＴや色補正処理をするだけでなく、さらにＤＣＴやサブブロック合成などの処理をするため、画像出力までの処理負荷が却って重くなってしまう。また、色補正後の画像をＪＰＥＧ画像とする場合には、ＤＣＴ係数のマージ処理を必要とするなど非常に複雑な処理の組み合わせになり、ＪＰＥＧ画像出力処理の負荷が重くなる。つまり、特許文献１に開示された技術では、結局処理負荷の重さの問題を解決することはできない。

また、たとえば特許文献２には、ＪＰＥＧ伸長処理においてハフマン復号化後にＤＣＴ係数のゼロ以外の値と位置情報との対データ形式に変換し、逆ＤＣＴ処理後に位置合わせを行なって演算量を削減することで、通常よりも処理負荷を軽減する技術が提案されている。

特開平７−１４３４８８号公報

ところが、この特許文献２に記載の技術では、ＤＣＴ係数と位置情報とを組み合わせたデータを生成する必要があり、データ生成時間や逆ＤＣＴ処理後の位置合わせに時間が掛かってしまう。また、ＤＣＴ係数にゼロの値が少ない場合は、却ってＪＰＥＧ伸長処理の負荷が重くなってしまう。したがって、特許文献２に開示された技術によっても、処理負荷の重さの問題は解決できないといえる。

前記のような処理負荷の重さの問題を解消する一手法として、本願出願人は、特許文献３にて、色成分ごとに基底信号強度として表現されているデータ圧縮されたカラー画像について、色成分ごとに、基底信号強度を線形変換して色変換処理などの信号変換処理をする手法を提案している。

特開２００３−１２５２０７号公報

この特許文献３に提案した技術に依れば、基底信号強度を線形変換することで逆ＤＣＴ変換などの無駄な逆変換処理が省けるため、計算効率を向上させることができ、高速かつ演算量が少ない色変換処理を実現することができる。また、全ての基底信号強度を用いて線形変換するため、無損失圧縮画像の色補正を実行でき、色変換誤差が発生し難く、正しい色をもつ圧縮デジタル画像が要求される機器に好適な信号処理となっている。

しかしながら、たとえばＹ，Ｃｂ，Ｃｒ成分のうちＣｂ，Ｃｒ成分が水平方向および垂直方向の両方にもしくは何れか一方にのみ間引かれているＪＰＥＧ圧縮画像を取り扱う場合、Ｃｂ，Ｃｒ成分の補間処理やＹ成分との合成など複雑な処理が必要になり、実際には、この特許文献３による高速化手法の適用が困難であるということが分かった。

本発明は、上記事情に鑑みてなされたもので、圧縮カラー画像データを取り扱いかつ色信号に対して所定の変換処理をする場合においても、処理負担を増大させることがなく、さらに水平垂直方向や水平方向に間引かれている圧縮画像を取り扱うことも容易な画像処理装置およびプログラムを提供することを目的とする。

本発明に係る画像処理装置は、データ圧縮されたカラー画像に対して伸長処理を施す画像処理装置であって、データ圧縮されたカラー画像データとして、複数の色成分のそれぞれのデータを含み、かつ、複数の色成分のうちの少なくとも１つの色成分については間引き処理がされている画像データを受け取り、このカラー画像データについて、色成分ごとに、間引き処理の態様に応じて伸長処理を必要とする部分信号を特定し、この特定した部分信号に対して伸長処理を施す信号処理部を備えるものとした。

また従属項に記載された発明は、本発明に係る画像処理装置のさらなる有利な具体例を規定する。また、本発明に係るプログラムは、本発明に係る画像処理装置を、電子計算機（コンピュータ）を用いてソフトウェアで実現するために好適なものである。なお、プログラムは、コンピュータ読取り可能な記憶媒体に格納されて提供されてもよいし、有線あるいは無線による通信手段を介して配信されてもよい。

たとえば、信号処理部は、実質的に無効な変換係数を含む部分信号を伸長処理が不要な部分信号であるとし、この伸長処理が不要な部分信号を除く部分信号を、伸長処理を必要とする部分信号とすればよい。

また、信号処理部は、複数の部分信号のうち、共通な変換係数を含む部分信号については、そのうちの１つの部分信号を、伸長処理を必要とする部分信号として伸長処理をすればよい。この場合、信号処理部は、この１つの部分信号について伸長処理を施すことで得られる符号化係数を、複数の部分信号のうち伸長処理を必要とする部分信号とした１つの部分信号を除く部分信号についての伸長処理の結果として使用するとよい。

なお、本発明の画像処理装置においては、上述した構成に加えて、本願出願人が特開２００３−１２５２０７号公報にて提案している技術を適用するとよい。こうすることで、高速かつ演算量が少ない色変換処理を実現することができることに加えて、間引き画像を取り扱うことも容易となる。

本発明に依れば、色成分ごとに、間引き処理の態様に応じて伸長処理を必要とする部分信号を特定し、この特定した部分信号に対して伸長処理を施すようにした。これにより、逆変換処理（伸長処理）の不要なブロックについてその処理を省略して、その後に間引きのない画像に復元することができるようになる。不要ブロックについて伸長処理を省略するので、高速かつ演算量が少ない伸長処理を実現することができる。

加えて、本願出願人が特開２００３−１２５２０７号公報にて提案している技術を適用すれば、カラー圧縮画像データに対する色変換処理などの信号変換処理を、色成分ごとに、そのカラー圧縮画像データにおける基底強度信号を色画素表現に戻す処理に先立って行なうため、たとえば無駄な部分の色変換や逆変換（たとえば逆ＤＣＴ変換）の処理を省くといったことが可能となる。間引き画像を対象とする場合でも、逆変換処理の不要なブロックについてその処理を省略して、その後に間引きのない画像に復元することができる。

したがって、間引き処理されたカラー圧縮画像データを取り扱い、かつ、色信号に対して所定の変換処理をする場合においても、従来あったような処理負荷の重さの問題を解決した、高速かつ演算量が少ない信号変換処理（色変換処理）を実現することができる。

以下、図面を参照して本発明の実施形態について詳細に説明する。

＜画像処理システムの全体構成＞
図１は、本発明に係る画像処理装置を備えた画像処理システム（以下単にシステムという）１を示すブロック図である。システム１は、画像入力端末３、画像処理装置５、および画像出力端末７を備える。

画像入力端末３は、たとえばデジタルドキュメント（以下単にドキュメントという）ＤＯＣを作成し、または他の方法でドキュメントＤＯＣを提供するのに適した、カラースキャナ３２またはハードディスクなどの記憶媒体３４など、任意数の画像ソースを含み得る。このドキュメントＤＯＣはカラー画像データで表されている。画像入力端末３は、デジタルドキュメントＤＯＣを、システム１の一部を構成する画像処理装置５に入力する。

本実施形態の画像処理装置５は、ＪＰＥＧ圧縮符号化方式を利用するために、以下のような構成をなしている。すなわち画像処理装置５は、先ず、ドキュメントＤＯＣの画像を表すデジタルデータを、複数のＭ×Ｍブロックまたはセグメントに分割する画像ブロック化部５２を備える。

画像ブロック化部５２は、ブロック化操作をする手段として、たとえば１つ以上のＭ×Ｍブロックデータを含むデータを入力ドキュメントＤＯＣからＭ×Ｍバッファへ伝送できるウィンドウまたはクロップ回路（a windowing or cropping circuit:窓開けまたは切取回路）を有する。画像ブロック化操作では、３つの分解色のそれぞれについて、８画素×８スキャンラインからなるセグメント群を特定する処理がなされる。画像ブロック化部５２は、ブロック化したデータＤ０を、図示しないデータバッファに一旦記憶する。

また画像処理装置５は、図示しないデータバッファに記憶された画像データＤ０を読み出して圧縮処理をする圧縮部５４と、圧縮部５４によりデータ圧縮されたデータＤ１に対して、色補正や色調変更あるいは強調処理などの色変換処理を施す画像処理プロセッサ（信号処理部）５６とを備える。

圧縮部５４は、図示しないデータバッファに記憶された画像データＤ０を読み出して単にデータ圧縮するだけでなく、カラー画像の色成分が色成分ごとの基底信号強度として表現されているカラー画像（ドキュメントＤＯＣ）に対して、ＪＰＥＧ圧縮基準に関連した各種の圧縮処理を用いて処理し、圧縮データＤ１を画像処理プロセッサ５６に入力する。

画像処理プロセッサ５６は、圧縮部５４から入力された圧縮画像に対して信号変換処理を施し、信号変換処理後のデータの一例である伸長色補正デジタルデータＤ１０や圧縮色補正デジタルデータＤ２０を画像出力端末７に入力する。

なお、画像処理プロセッサ５６は、圧縮部５４からではなく、他の圧縮画像ソースを記憶した記憶媒体３９から圧縮データＤ１を取り込んでもよい。また画像処理プロセッサ５６は、信号変換処理後のデータ（Ｄ１０，Ｄ２０）を、記憶媒体３９に格納してもよい。

画像出力端末７は、画像処理装置５の各種機能とともに動作可能であって、システム１をデジタル印刷システムとして稼働させるためのラスタ出力スキャン（ＲＯＳ）ベースのプリントエンジン７０や、画像表示システムとして稼働させるためのディスプレイ装置８０などを備える。

プリントエンジン７０は、画像処理プロセッサ５６から出力された伸長色補正デジタルデータＤ１０に対してプリント出力用の所定の処理をするプリント出力処理部７２と、光ビームを発するレーザ光源７４と、プリント出力処理部７２から出力されたデータに従ってレーザ光源７４を制御すなわち変調するレーザ駆動部７６と、レーザ光源７４から発せられた光ビームを感光性部材７９に向けて反射させるポリゴンミラー（回転多面鏡）７８とを有する。

プリント出力処理部７２は、カラー画像を表す伸長色補正デジタルデータＤ１０に対して、周知技術に従って、複数、好ましくは最低３つの分解色を表すデータを生成しレンダリング（ラスタデータに展開）する。たとえば、ＹＣｂＣｒ表色系からＣＭＹ表色系あるいはＣＭＹＫ表色系へのマッピングをし、プリント出力用に色分解されたラスタデータを生成する。この際、プリント出力処理部７２は、アンダーカラー除去（ＵＣＲ）、グレー成分交換（ＧＣＲ）、色分解の直線化または同様の処理をする。

この構成により、プリントエンジン７０は、画像処理プロセッサ５６から出力された伸長色補正デジタルデータＤ１０を受け取ると、これにプリント出力処理部７２がプリント出力用の所定処理を行なった後、レーザ光源７４が発生する光ビームをポリゴンミラー７８上の複数の面で反射させて感光性部材７９を露光し、スキャン走査によって感光性部材７９上に潜像を形成する。潜像が形成されると、当該技術分野で公知の多数の方法のうち任意の方法に従って像を現像して用紙上に転写することで、カラー画像データの可視像化を行なう。

一方、ディスプレイ装置８０は、画像処理プロセッサ５６から出力された伸長色補正デジタルデータＤ１０や圧縮色補正デジタルデータＤ２０に従って所定の出力処理をする表示出力処理部８２と、表示出力処理部８２から出力されたデータに基づいて可視像を表示出力するＣＲＴや液晶（ＬＣＤ）あるいは有機ＥＬなどのディスプレイ部８４とを備える。表示出力処理部８２は、たとえばディスプレイ部８４とともに使用されるパソコン本体８６の内部にソフトウェアあるいはハードウェアで組み込むとよい。

表示出力処理部８２は、圧縮色補正デジタルデータＤ２０が入力されたときには先ず伸長処理をする。これにより伸長色補正デジタルデータＤ１０相当の伸長色補正デジタルデータＤ２２が得られる。また表示出力処理部８２は、画像処理プロセッサ５６から入力された伸長色補正デジタルデータＤ１０や自身が生成した伸長色補正デジタルデータＤ２２に対して、周知技術に従って、複数、好ましくは最低３つの分解色を表すデータを生成しレンダリング（ラスタデータに展開）する。たとえばＹＣｂＣｒ表色系から、たとえばＲＧＢ表色系へのマッピングをし、表示出力用に色分解されたラスタデータを生成する。また表示出力処理部８２は、このようなラスタデータ化の処理に際して、オペレータの好みに応じた色補正処理など、所定の出力処理を行なってもよい。この構成により、ディスプレイ装置８０は、画像処理プロセッサ５６にて信号変換処理されたカラー画像を可視像として出力する。

なお、プリント出力処理部７２や表示出力処理部８２としては、たとえばパソコン（パーソナルコンピュータ；ＰＣ）などを利用することもできる。

＜画像処理プロセッサの構成例＞
図２は、画像処理プロセッサ５６の一実施形態の詳細を示すブロック図である。なお、ここでは、ＪＰＥＧフォーマットを取り扱うものとして説明する。

本実施形態の画像処理プロセッサ５６は、高速かつ演算量が少ない色変換処理を実現するための構成として、特開２００３−１２５２０７号と同様に、色成分ごとに基底信号強度を線形変換する点に第１の特徴を有する。

また本実施形態の画像処理プロセッサ５６は、間引き画像についても取扱い容易にするための構成として、必要なブロック信号に対してのみ逆ＤＣＴ処理をし、不要なブロック信号については処理を省略する点に第２の特徴を有する。色成分ごとに逆ＤＣＴ処理をしようとすると、それだけでは処理対象ブロックが増えるが、その中には必ずしも実際に逆ＤＣＴ処理を実行する必要のないものがある（詳細は後述する）点を利用して、真に逆ＤＣＴ処理を必要とするブロックを対象として逆ＤＣＴ処理を実行することで、処理負担を軽減する。なお、補間処理によって間引き画像を元に戻す構成要素もを備える。

また本実施形態の画像処理プロセッサ５６は、強度データの大半が“０”になるという特徴と、ある周波数における強度データ値が全て“０”ならば強度変換結果も“０”となるという特徴とを活かし、復号された場合に、強度データ値が“０”になるハフマン符号を検出することによって、全ての色成分における強度データ値が“０”になる周波数では強度変換を省略する点に第３の特徴を有する。以下、具体的に説明する。

画像処理プロセッサ５６は先ず、ゼロ検出部１１２とハフマン復号化部１１４とを有し、圧縮された画像データの一例であるＪＰＥＧ画像データＤ１をハフマン復号化形式によって復号化するハフマン復号化部１１４と、復号化されたＪＰＥＧ画像データＤ２を逆量子化して離散的なコサイン波の強度データＤ３に復元する逆量子化部２００を備える。

本実施形態の画像処理プロセッサ５６では、強度データの大半が“０”になるという特徴と、ある周波数における強度データ値が全て“０”ならば強度変換結果も“０”となるという特徴とを活かし、復号された場合に、強度データ値が“０”になるハフマン符号を検出することによって、全ての色成分における強度データ値が“０”になる周波数では強度変換を省略する。このため、先ずゼロ検出部１１２は、ハフマン符号化された信号から、ＥＯＢ（End of Block）符号を検出する。ハフマン復号化部１１４は、ＥＯＢ位置の前まで入力符号化信号を復号化する。ゼロ検出付きハフマン復号化部１１０は、決定したＥＯＢ位置と、復号化されたブロック画像信号とを逆量子化部２００に入力する。

逆量子化部２００は、Ｙ，Ｃｂ，Ｃｒの３つの成分ごとのブロックデータ（ブロック画像信号）Ｄ３ｙ，Ｄ３ｒ，Ｄ３ｂを出力する。この際、ゼロ検出付きハフマン復号化部１１０から入力されたＥＯＢ位置信号を読み取り、ＥＯＢ位置の前までを逆量子化し、残りのＥＯＢ位置以降については値“０”で埋める。そして、ＥＯＢ位置信号と逆量子化されたブロック画像信号を色変換部３００に入力する。

また画像処理プロセッサ５６は、プリンタやディスプレイなどの出力装置の色空間特性に合わせた色補正処理や色調補正処理あるいは強調処理を施すために、３つの成分ごとのブロックデータ（離散的なコサイン波の強度データ）を線形変換処理する色変換部３００を備える。

ここで、色変換部３００は、信号変換処理を線形変換と非線形変換に分割し、線形変換については色成分ごとの基底信号強度の線形変換として実施するとともに、信号成分Ｙ，Ｃｂ，Ｃｒの周波数強度データの大半が“０”になるという特徴と、ある周波数における強度データ値が全て“０”ならば強度変換結果も“０”となるという特徴とを活かし、ＪＰＥＧ圧縮された画像においてはハフマン符号化されたデータから復号すると“０”になることを表す符号を検出することで、逆量子化および基底信号強度変換処理を一部省略する。

このため、色変換部３００は、各色成分の基底信号強度を線形変換することで第１の信号変換処理をする基底信号線形変換部３１０と、基底信号線形変換部３１０から出力された変換後の画像データを色画素表現に変換してカラー画像を生成する（復号化する）カラー画像復号部の一例である逆ＤＣＴ変換部３２０と、逆ＤＣＴ変換部３２０により復号されたカラー画像が間引き画像である場合に補間処理を行なうことで間引き前の画像に戻す画像補間部３３０と、画像補間部３３０から出力されたカラー画像の各画素の画素値（色値）に対し第２の信号変換処理をする非線形信号変換部の一例である色値変換部３４０とを備える。逆ＤＣＴ変換部３２０、画像補間部３３０、および色値変換部３４０は、通常の色画素表現として出力するための構成として備えられたものである。

また、画像処理プロセッサ５６は、出力をＪＰＥＧ画像とするための構成として、色変換部３００の基底信号線形変換部３１０から出力された色変換後の画像データを圧縮ＪＰＥＧ画像に変換（再圧縮）する量子化部４００およびハフマン符号化部５００を備える。

基底信号線形変換部３１０は、第１の信号変換処理として、線形変換処理のみを実施する。たとえば、基底信号線形変換部３１０は、画像出力端末７の色空間特性に合わせた色補正処理、色調補正処理、強調処理等を施すために、３つの成分ごとのブロックデータ（離散的なコサイン波の強度データ）を線形変換処理する。また、基底信号線形変換部３１０は、ＪＰＥＧ画像の間引きの種類を識別する情報と線形変換後のブロックデータを逆ＤＣＴ変換部３２０に入力する。

画像処理プロセッサ５６は、入力ＪＰＥＧ画像を、ハフマン復号化および逆量子化して離散コサイン波の強度データに変換し、さらに基底信号線形変換部３１０により強度データを線形変換する。量子化部４００およびハフマン符号化部５００を経由することで、色変換された圧縮ＪＰＥＧ画像を表す圧縮色補正デジタルデータＤ２０が処理済み画像として出力される。この圧縮色補正デジタルデータＤ２０は、画像処理プロセッサ５６にて処理中の画像を画像出力端末７によって直ちに出力（レンダリングなど）しない場合に好適なデータである。

逆ＤＣＴ変換部３２０は、基底信号線形変換部３１０から出力された画像データを色画素表現に変換することで、色変換されたカラー画像を生成する。この際、逆ＤＣＴ変換部３２０は、基底信号線形変換部３１０から出力された間引き方法識別フラグと線形変換による色変換後の画像データから、必要なブロックの逆ＤＣＴ処理を行なうことで、色画素表現に逆変換する。

画像補間部３３０は、逆ＤＣＴ変換部３２０によって出力された間引き方法識別フラグと逆ＤＣＴ処理を行なったブロックデータから、必要な補間処理を行ない各成分の画像を合成する。したがって、画像処理プロセッサ５６に間引きなしの画像が入力された場合および間引き画像が入力された場合の何れにおいても、画像補間部３３０からは、線形変化による色変換がなされ、かつ、伸長されたカラー画像データである伸長色補正デジタルデータＤ１０が出力されることになる。この伸長色補正デジタルデータＤ１０は、画像処理プロセッサ５６にて処理中の画像データをその後直ちに画像出力端末７にて出力（レンダリングなど）する場合に好適なデータである。

色値変換部３４０は、第２の信号変換処理として、たとえば非線形マトリックス、補間付き多次元ルックアップテーブル、あるいはＵＣＲ（下色除去）によるＣＭＹＫ化など、既知の手法を使用した非線形変換処理のみを実施する。あるいは輪郭をあいまい（不明確）にするまたはその逆に先鋭度を向上させるフィルタ処理などをしてもよい。

つまり、基底信号線形変換部３１０と色値変換部３４０とにより、信号値の変換を線形変換と非線形変換とに分割して実施する。色値変換部３４０は、基底信号線形変換部３１０にて線形処理により色変換された画像を非線形変換やフィルタ処理などの線形変換処理をして出力カラー画像を得る。したがって、色値変換部３４０からは、線形な色変換だけでなく非線形な色変換も施された出力カラー画像を表す伸長色補正デジタルデータＤ１２が出力される。

なお、図中点線で示すように、色値変換部３４０の後段に、ＤＣＴ変換部６１０、量子化部６２０、およびハフマン符号化部６３０を設けることで、色値変換部３４０から出力された伸長色補正デジタルデータＤ１２に対してＤＣＴ変換部６１０にてＤＣＴ変換処理をし、さらに量子化部６２０およびハフマン符号化部６３０により、ＤＣＴ変換部６１０から出力された画像データを圧縮ＪＰＥＧ画像に変換することができる。したがって、ハフマン符号化部６３０は、所望の線形な色変換だけでなく所望の非線形な色変換が施された出力ＪＰＥＧ画像を表す圧縮色補正デジタルデータＤ２２を出力することができる。

＜第１の特徴の詳細＞
次に、本実施形態の第１の特徴である、色変換部３００の基底信号線形変換部３１０における作用について詳細に説明する。ここではＪＰＥＧフォーマットをＲＧＢに変換する場合を一例として説明する。なお、色変換部３００を除く各機能部分の処理は、それぞれ公知のものと同じであるので、その詳細についての説明は割愛する。

図３および図４は、ＪＰＥＧフォーマットでの圧縮伸長処理を説明する図である。ここで、図３は、その処理手順の概要を示したフローチャートである。また、図４は、間引きについて説明する図である。

ＪＰＥＧフォーマットでは、コサイン波を基底信号としており、画像を離散的なコサイン波の強度データとして周波数的に表現している。また、通常、色空間としてＹＣｂＣｒが用いられている。たとえば圧縮処理では、所定の変換関数を用いて、Ｒ，Ｇ，Ｂの各値をＹＣｂＣｒ色値に色変換し（Ｓ１１）、Ｃｂ成分とＣｒ成分とについては所定の間引き率でダウンサンプリングする（Ｓ１２）。この後、離散コサイン変換（ＤＣＴ）を行なって離散的なコサイン波の強度データからなる、Ｙ，Ｃｂ，Ｃｒ色空間の３つの色成分ごとのブロックデータに変換する（Ｓ１３）。そして、これらブロックデータを量子化して（Ｓ１４）、最後にハフマン符号化することで（Ｓ１５）、圧縮データを得る。

一方、伸長処理では、先ず、圧縮データをハフマン復号化し（Ｓ２１）、次に逆量子化して離散的なコサイン波の強度データに復元し（Ｓ２２）、その後に逆離散コサイン変換（ＤＣＴ；Discrete Cosine Transform）を行なってＹ，Ｃｂ，Ｃｒ色空間の３つの色成分ごとのブロックデータに変換する（Ｓ２３）。

すなわち、逆量子化部２００からは、色空間の成分ごとの離散的なコサイン波の強度データＤ３が色変換部３００に入力される。この強度データＤ３に対して逆ＤＣＴ変換処理をすると、色空間の成分ごとのブロックデータに変換される。たとえば、ブロック中の位置（ｘ，ｙ）における明るさ成分Ｙの値Ｙ（ｘ，ｙ）は式（１）で表される。式（１）中のｕとｖがそれぞれｘ方向とｙ方向の周波数パラメータで、周波数ブロック中での位置を表している。また、ＦＹ（ｕ，ｖ）が、明るさ成分Ｙの周波数強度を表している。クロミナンス成分Ｃｂ（ｘ，ｙ）とＣｒ（ｘ，ｙ）についても同様の式で表される。

この式（１）中において、ｕとｖは、それぞれｘ方向とｙ方向の周波数パラメータで、周波数ブロック中での位置を表している。また、ＦＹ （ｕ，ｖ）は、明るさ成分Ｙの周波数強度を表している。なお、クロミナンス成分Ｃｂ（ｘ，ｙ）とＣｒ（ｘ，ｙ）についても同様の式で表される。

ここで、色空間のクロミナンス成分Ｃｂ，Ｃｒのブロックデータは、図４に示すように、通常４：２：２あるいは４：２：０の間引きが施されている。すなわち、間引き無しの場合は、図４（Ａ）に示すように、Ｙ，Ｃｂ，Ｃｒそれぞれ１６画素×１６画素からなるブロックのデータ、すなわち８画素×８画素からなるブロックの２個×２個分が使われる。これに対して、間引きが４：２：２の場合は、図４（Ｂ）に示すように、Ｃｂ，Ｃｒ成分が水平方向に１／２に間引かれ１６画素×８画素からなるブロックとなり、間引きが４：２：０の場合は、図４（Ｃ）に示すように、Ｃｂ，Ｃｒ成分が水平方向、垂直方向ともに１／２に間引かれ８画素×８画素からなるブロックとなる。

そのため、伸長処理を行なう際は、クロミナンスＣｂ，Ｃｒ成分を、間引きが４：２：２の場合は水平方向に２倍、間引きが４：２：０の場合は水平方向、垂直方向ともに２倍にアップサンプリングして、明るさ成分Ｙと同じサイズのブロックデータに戻す必要がある（Ｓ２４）。このアップサンプリングの後、たとえば出力装置の色空間がＲ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）の各色成分からなれば、式（２）に示す変換関数を用いて、Ｙ，Ｃｂ，Ｃｒの各値をＲＧＢ色値に色変換する（Ｓ２５）。

また、ＪＰＥＧフォーマットで圧縮された画像をプリンタやディスプレイなどの出力装置に出力するため、出力装置の色空間特性に合わせるための色補正をする。たとえば、プリンタ色値であるＣ（シアン），Ｍ（マゼンタ），Ｙｅｌ（イエロー）のＣＭＹ色値への変換には式（３）に示すような３×３マトリックスによる線形変換をする。この色補正関数は、特定の装置の特性を反映して、色空間中の座標位置を変化させる処理である。これは、Ｃ，Ｍ，ＹにＫ（ブラック）を追加したＣＭＹＫ色値に色変換する場合も同様である。

さらにまた、画像編集システムなどにおいて、ＪＰＥＧフォーマットで圧縮された画像データをディスプレイやプリンタなどの出力装置にて出力する場合、ＲＧＢ色値やＣＭＹ色値またはＣＭＹＫ色値に対して、各出力装置の色空間特性に合わせた色補正処理や色調補正処理、あるいは先鋭度に関わる強調処理を施すこともある。ここでは、これらの色空間変換処理、色補正処理、色調補正処理、強調処理などといった色信号の変換に関わる処理を、全て纏めて信号変換処理という。また、これらの信号変換処理のうち、特に、色空間変換処理、色補正処理、色調補正処理などといった色情報の変更に関わる処理を、色変換処理という。

たとえば、ＪＰＥＧフォーマットの画像データをＲＧＢ色空間に伸長した後、線形変換処理をすることで色調補正を行なう場合には、たとえば式（４）に示すような線形変換処理をすることで色調補正などをする。

ここで、式（２）に式（１）を当てはめる。ここでは便宜上、式（２）の３×３マトリックスを一般的な形式で記述する。これにより式（５）が導き出せる。

式（１）と式（５）とを比較すると、式（５）は式（１）の周波数強度Ｆ_Y（ｕ，ｖ）が、周波数強度の線形変換ａ_ryＦ_Y（ｕ，ｖ）＋ａ_rcbＦ_Cb（ｕ，ｖ）＋ａ_rcrＦ_Cr（ｕ，ｖ）に置き換わっただけであることが分かる。つまり、色成分での線形変換は、周波数強度での線形変換に置換できるということである。式（３）は、式（１）の出力に対して、色空間変換するためにさらに線形変換を施しているだけなので、式（１）と式（２）の線形変換を結合できるため、式（５）と同様に表現できる。

一方、ＲＧＢ色空間での色調補正処理を表す式（４）については、平行移動項（Ｒ0，Ｇ0，Ｂ0）が含まれているため式（５）に対して変形が必要である。しかし、周波数強度Ｆ（０，０）は直流成分すなわち平行移動項と等価なので、周波数強度に変換した平行移動項ΔＦ（０，０）をＤＣ係数Ｆ（０，０）の値に加算すれば式（６）となる。したがって、結局、式（５）と同様に表現することができる。

そこで、基底信号線形変換部３１０は、色成分での線形変換を基底信号強度での線形変換に置換することで、各色成分の基底信号強度を線形変換し色変換処理を実現する（以下この処理を「基底信号強度変換処理」ともいう）。たとえば出力装置の色空間特性に合わせた色補正処理を実現する際には、式（５）に基づいて線形変換処理をする。また、ＲＧＢ色空間での色調補正処理を実現する際には、式（６）に基づいて線形変換処理をする。

これらの変換処理に際しては、たとえば前記関数に従って実際に算術してもよいし、ルックアップテーブルを利用して変換してもよい。ルックアップテーブルとしては、たとえば３次元（３−Ｄ）補間をもつ３−Ｄルックアップテーブルを用いるとよい。また、式（５）に基づいて色補正処理をする際には、係数を適当に採ることで、ＹＣｂＣｒの１組の色座標を、対応する装置座標Ｙ’Ｃｂ’Ｃｒ’にマッピングさせてもよい。これにより、色空間の変換だけでなく、好みの色調となるように色調補正を同時に実現することもできる。

このように色成分ごとに基底信号強度を線形変換することで、処理対象となるカラー圧縮画像データにおけるたとえば逆ＤＣＴのような基底強度信号を色画素表現に戻すのに先立って、カラー圧縮画像データに対する信号変換処理（色空間変換処理、色補正処理、色調補正処理、強調処理、など）を行なうことが可能となる。つまり、色変換と逆ＤＣＴ処理の順番を逆にすることができる。そのため、逆ＤＣＴなどの処理を事前に行なう必要がなく、その分だけ信号変換処理までの処理が軽くなる。また、事前に逆ＤＣＴなどの処理を行なわなくても、たとえば基底強度信号を線形変換すれば、適切な信号変換処理が実現可能となる。

逆ＤＣＴ変換部３２０は、基底信号線形変換部３１０により線形な色変換処理が施された画像データを逆ＤＣＴ変換処理することで、出力カラー画像を得る。これにより、逆ＤＣＴ変換部３２０は、所望の線形な色変換が施された出力カラー画像を表す伸長色補正デジタルデータＤ１０を出力することができる。また、量子化部４００およびハフマン符号化部５００により、基底信号線形変換部３１０から出力された色変換後の画像データを圧縮ＪＰＥＧ画像に変換する。したがって、ハフマン符号化部５００は、所望の線形な色変換が施された出力ＪＰＥＧ画像を表す圧縮色補正デジタルデータＤ２０を出力することができる。

このように、本実施形態の色変換部３００では、基底信号強度を線形変換することで色変換処理を実現する（基底信号強度変換処理をする）ようにしたので、特開平１０−１９１０７４号における処理のように、無駄な逆ＤＣＴ変換などの処理が省けるため、高速かつ演算量が少ない色変換処理を実現することができる。また、高周波成分を省くことなく、全ての基底信号の強度データを用いて線形変換するため、色変換誤差が発生し難い。

また、色変換された画像を再度ＪＰＥＧ画像として出力する際には、量子化およびハフマン符号化をして再圧縮し出力するだけでよく、特開平１０−１９１０７４号における処理のように、色変換された一部データ（ＤＣＴ係数データ）と残りのＤＣＴ係数データとをマージする必要がないので、ＪＰＥＧ画像生成処理も軽くなる。

また、基底信号強度を線形変換することで色変換処理を実現することに加えて、線形な色変換が施された画像データを一旦色画素表現に変換した後ではあるものの、非線形な色変換処理を実現することができる。また、全ての基底信号の強度データを用いて線形変換されているので、非線形な色変換においても、色変換誤差が発生し難い。

＜第２と第３の特徴の詳細＞
次に、本実施形態の第２および第３の特徴である、ゼロ検出部１１２、基底信号線形変換部３１０、および逆ＤＣＴ変換部３２０における作用について詳細に説明する。図５は、第２の特徴を実現する処理の根拠を説明する図である。図６は、強度データ値が“０”になる周波数での演算省略方法の一例を示す図である。

図５は、あるサンプルＪＰＥＧ画像のハフマン復号化されたブロックのうち２組をサンプルとして示している。この図５から、高周波方向（各ブロックの右下方向）の強度データは大半が“０”になることが分かる。また、式（５）から分かるように、Ｙ，Ｃｂ，Ｃｒ成分の周波数強度データ値ＦＹ（ｕ，ｖ），ＦＣｂ（ｕ，ｖ），ＦＣｒ（ｕ，ｖ）が全て“０”の場合は、その周波数における強度変換の結果も“０”になることが分かる。

そこで、本実施形態の画像処理プロセッサ５６では、強度データの大半が“０”になるという特徴と、ある周波数における強度データ値が全て“０”ならば強度変換結果も“０”となるという特徴とを活かし、復号された場合に、強度データ値が“０”になるハフマン符号を検出することによって、全ての色成分における強度データ値が“０”になる周波数では強度変換を省略する。

このため先ず、ゼロ検出部１１２は、ハフマン符号化された入力ＪＰＥＧ画像Ｄ１から、ＥＯＢ（End of Block）符号を検出する。なお、ＥＯＢ符号とは、ＥＯＢの位置以降、ブロックの終端まで値“０”で復号されることを意味する。また、ＪＰＥＧ規格のデフォルトでは明るさ成分Ｙについては符号“１０１０”が、クロミナンス成分Ｃｂ，Ｃｒについては符号“００”が割り当てられている。

そこでゼロ検出部１１２は、もしＥＯＢ符号が検出されれば、それまでに復号される量子化された強度データの個数をＥＯＢ位置とし、ＥＯＢ符号が検出されなければブロック画素数（たとえば８×８画素からなるブロックであれば６４）をＥＯＢ位置とする。またハフマン復号化部１１４は、ＥＯＢ位置の前まで入力符号化信号を復号化する。ゼロ検出付きハフマン復号化部１１０は、ゼロ検出部１１２が決定したＥＯＢ位置と、ハフマン復号化部１１４により復号化されたブロック画像信号とを逆量子化部２００に入力する。

逆量子化部２００は、ゼロ検出付きハフマン復号化部１１０から入力されたＥＯＢ位置信号を読み取り、ＥＯＢ位置の前までを逆量子化し、残りのＥＯＢ位置以降については値“０”で埋める。そして、ＥＯＢ位置信号と逆量子化されたブロック画像信号を色変換部３００の基底信号線形変換部３１０に入力する。

基底信号線形変換部３１０は、色成分ごとのＥＯＢ位置信号を読み取り、最も値が大きいＥＯＢ位置を最大ＥＯＢ位置とする。ここで最大ＥＯＢ位置とは、全ての色成分において、最大ＥＯＢ位置以降、各色成分ブロックの終端まで逆量子化信号値が“０”であるという意味である。基底信号線形変換部３１０は、最大ＥＯＢ位置の前まで、強度データを線形変換することで色変換処理をする一方、残りの最大ＥＯＢ位置以降については、値“０”で埋める。そして、基底信号線形変換部３１０は、線形変換したブロック画像データを出力する。

強度データ値が“０”になる周波数での演算省略方法の一例を図６に示す。図６（Ａ）に示すように、ジグザグスキャンデータをＥＯＢの値まで順番に演算していき、図６（Ｂ）の表から求めたｕ，ｖ座標に結果を代入し、ＥＯＢ以降は“０”を代入する。これにより、ＥＯＢ以降の演算を省略することができる。

式（５）は間引きなしの場合であるが、ＪＰＥＧ画像のＣｂ，Ｃｒ成分が間引かれている場合には、式（７）に示すように、Ｙ成分とＣｂ，Ｃｒ成分の色変換処理を分けることにより、色変換と逆ＤＣＴ処理の順番を逆にすることができ、強度データ値が“０”になる周波数の演算を省略することができる。

＜間引き画像に対する対処＞
次に、間引き画像を処理対象とする場合における特有の伸長処理について説明する。以下では、間引きが４：２：２の場合と、４：２：０の場合とについて具体的に説明するが、その他の間引きモードの場合であっても、処理の考え方に相違はない。以下具体的に説明する。

図７は、間引きが４：２：２の場合の伸長処理の概略を示す図である。間引きが４：２：２の場合には、Ｃｂ，Ｃｒ成分が水平方向に１／２に間引かれ、１６×８画素からなるブロックとなる。ブロック信号のそれぞれが、原則として、間引き処理の態様に応じて伸長処理（復号処理）を必要とする部分信号となる。ただし、後述するように、その中には、実際の伸長処理（復号処理）を必要としないものも存在する。

たとえば、ＪＰＥＧフォーマットでは、８×８画素からなるブロックを１単位として処理するので、入力画像を示すＹ，Ｃｂ，Ｃｒの各成分は、図７（Ａ）の実線で示すブロックのように、Ｙ成分は２ブロック、Ｃｂ成分とＣｒ成分は各１ブロックの合計４ブロックが処理対象の１単位となる。

先ず基底信号線形変換部３１０は、図７（Ａ）に示すＹ，Ｃｂ，Ｃｒの４ブロックの入力画像をＲＧＢ色空間に変換するため、式（２）の３×３マトリクス係数を掛け、図７（Ｂ）に示すように、Ｒ，Ｇ，ＢについてのＹ成分６ブロック、Ｃｂ成分３ブロック、Ｃｒ成分３ブロックの合計１２ブロックの画像について、線形変換処理を施す。ここで、基底信号線形変換部３１０は、逆量子化部２００から送られたＥＯＢ位置信号によって強度データ値が“０”になる周波数では強度変換を省略する。これは、強度データ値が“０”であれば、強度変換を行なっても実質的にはその意義がなく、無効なデータと考えてよいからである。なお、この点は、処理対象画像が間引き画像であるのか否かに左右されない。また、逆ＤＣＴ変換処理における変換係数が全て“０”になるブロックについては、ブロック全体を強度変換の省略対象としてもよい。

次に基底信号線形変換部３１０は、各ブロックについて、逆ＤＣＴ処理の要否を判断し、この後、間引きモード（間引きの状態）を示す識別情報と、逆ＤＣＴ処理が必要なブロックのデータのみを逆ＤＣＴ変換部３２０に入力する。

たとえば、１２ブロックのうちの、変換係数が“０”になるブロックは逆ＤＣＴ変換処理を省略させる。これは、変換係数が“０”であれば、逆変換を行なっても実質的にはその意義がなく、無効な係数と考えてよいからである。出力の色成分ごとに逆ＤＣＴ変換処理しようとすると、処理対象ブロック数が１２ブロックに増えるが、その中には実際に逆ＤＣＴ処理を実行する必要のない、変換係数が“０”になるブロックがある。このようなブロックについては処理を省略することで、処理負担を軽減する。

また、Ｒ，Ｇ，ＢのＹ成分，Ｃｂ成分、Ｃｒ成分の各変換係数が同じものについては、Ｒ，Ｇ，Ｂの何れかについて逆ＤＣＴ変換するだけでよく、他の色成分については、実際に逆ＤＣＴ処理を実行する必要のないブロックとなる。他の色成分については、何れかについて逆ＤＣＴ変換により求められる符号化係数をそのまま使用することができる。

たとえば、式（２）より先ず、Ｒ成分についてのＣｂ成分と、Ｂ成分についてのＣｒ成分の変換係数が“０”であるから、これら２ブロックが省略対象のブロックとなる。加えて、式（２）よりＲ，Ｇ，Ｂの各Ｙ成分の変換係数は“１”であり、Ｒ，Ｇ，ＢそれぞれのＹ成分は値が同じになり、Ｒ，Ｇ，Ｂの何れかについて逆ＤＣＴ変換するだけでよく、２ブロックのみが処理対象のブロックとなる。残りのブロックについては、何れかについて逆ＤＣＴ変換された結果（求められた符号化係数）をそのまま利用すればよい。

これにより、間引きが４：２：２の場合において逆ＤＣＴ処理が必要なブロックは、図７（Ｂ）の図中に格子ハッチで示す、Ｙ成分２ブロック（図ではＲ成分について）と、何れも変換係数が“０”のブロックを除くＲ，Ｇ，ＢそれぞれについてのＣｂ成分２ブロックおよびＣｒ成分２ブロックの合計６ブロックとなる。

また、本実施形態では、さらに処理効率を高めるため、同じ間引き率の成分については、合成処理が可能である点に着目して、出力色ごとに、その同じ間引き率のブロックの情報を足し合わせる。たとえば、間引きが４：２：２の場合、Ｃｂ成分とＣｒ成分とが水平方向に同じ間引き率であるので、Ｃｂ成分とＣｒ成分を、Ｒ，Ｇ，Ｂのそれぞれについて足し合わせることにより、図７（Ｃ）に示すように、Ｃｂ＋Ｃｒ成分の３ブロックに纏める。

これにより、間引きが４：２：２の場合において逆ＤＣＴ処理が必要なブロックは、図７（Ｃ）に示すように、図中に格子ハッチで示す、Ｙ成分２ブロック（図ではＲ成分について）とＲ，Ｇ，ＢそれぞれについてのＣｂ＋Ｃｒ成分３ブロックの合計５ブロックとなる。

基底信号線形変換部３１０は、間引きモードを示す識別情報と、逆ＤＣＴ処理が必要なＹ成分２ブロックとＲ，Ｇ，ＢそれぞれについてのＣｂ＋Ｃｒ成分３ブロックの各データを逆ＤＣＴ変換部３２０に入力する。

逆ＤＣＴ変換部３２０では、基底信号線形変換部３１０から送られたブロックについて、Ｙ成分とＣｂ＋Ｃｒ成分の逆ＤＣＴ処理を分けて行なう。間引きが４：２：２の場合は、たとえばＲ成分についてのＹ成分２ブロックと、Ｒ，Ｇ，ＢのそれぞれについてのＣｂ＋Ｃｒ成分３ブロックの逆ＤＣＴ処理を行なう。そして、Ｇ成分とＢ成分の各Ｙ成分２ブロックについては、Ｒ成分についてのＹ成分２ブロックの処理結果を利用する。こうすることで、図７（Ｄ）に示すように、全ての成分について逆ＤＣＴ処理が完了する。逆ＤＣＴ変換部３２０は、間引きモード識別情報と逆ＤＣＴ処理を行なった結果を画像補間部３３０に入力する。

画像補間部３３０では、逆ＤＣＴ処理部から送られた間引きモード識別情報と各ブロックの値から、間引きのないＲ，Ｇ，Ｂそれぞれについての出力画像を合成する。たとえば、間引きが４：２：２の場合は、Ｃｂ成分とＣｒ成分をそれぞれ水平方向に２倍に拡大し、Ｙ成分に足し合わせる。その結果、図７（Ｅ）に示すように、Ｒ，Ｇ，Ｂそれぞれ２ブロックずつの出力画像が得られる。

これにより、逆ＤＣＴ変換部３２０は、間引きが４：２：２の画像を対象とする場合であっても、線形な色変換が施された出力カラー画像を表す伸長色補正デジタルデータＤ１０を不都合なく出力することもがきる。たとえば、カラー画像として出力する場合には、図７（Ｆ）に示すように、これらＲ，Ｇ，Ｂ各２ブロックずつの出力画像に基づいてたとえば印刷出力することで、２ブロックの１つの出力画像にする。

図８は、間引きが４：２：０（４：１：１と呼ばれることもある）の場合の伸長処理の概略を示す。間引きが４：２：０の場合には、Ｃｂ，Ｃｒ成分が水平方向、垂直方向ともに１／２に間引かれ８×８画素からなるブロックとなる。ＪＰＥＧフォーマットでは、８×８画素からなるブロックを１単位として処理するので、入力画像を示すＹ，Ｃｂ，Ｃｒの各成分は、図８（Ａ）の実線で示すブロックのように、Ｙ成分は４ブロック、Ｃｂ成分とＣｒ成分は各１ブロックの合計６ブロックが処理対象の１単位となる。

先ず基底信号線形変換部３１０は、図８（Ａ）に示すＹ，Ｃｂ，Ｃｒの６ブロックの入力画像をＲＧＢ色空間に変換するため、式（２）の３×３マトリクス係数を掛け、図８（Ｂ）に示すように、Ｒ，Ｇ，ＢそれぞれについてのＹ成分１２ブロックと、Ｒ，Ｇ，ＢそれぞれについてのＣｂ成分３ブロックと、Ｒ，Ｇ，ＢそれぞれについてのＣｒ成分３ブロックの合計１８ブロックの画像について、線形変換処理を施す。この際、基底信号線形変換部３１０は、間引きが４：２：２の場合と同様に、逆量子化部２００から送られたＥＯＢ位置信号によって強度データ値が“０”になる周波数では強度変換を省略する。

次に基底信号線形変換部３１０は、各ブロックについて、逆ＤＣＴ処理の要否を判断する。判断条件は、間引きが４：２：２の場合と同様であり、先ず、変換係数が“０”になるブロックは逆ＤＣＴ変換処理を省略させる。また、Ｒ，Ｇ，ＢのＹ成分，Ｃｂ成分、およびＣｂ成分の各変換係数が同じものについては、Ｒ，Ｇ，Ｂの何れかについてのみを処理対象とする。これにより、間引きが４：２：０の場合において逆ＤＣＴ処理が必要なブロックは、図８（Ｂ）右下に示すように、図中に格子ハッチで示す、Ｙ成分４ブロック（図ではＲ成分について）とＲ，Ｇ，ＢそれぞれについてのＣｂ成分２ブロック（およびＣｒ成分２ブロック（色成分は何れも変換係数が“０”のブロックを除く）の合計８ブロックとなる。

また、さらに処理効率を高めるため、同じ間引き率の成分については、出力色ごとに、その同じ間引き率のブロックの情報を足し合わせる。これにより、間引きが４：２：０の場合で逆ＤＣＴ処理が必要なブロックは、図８（Ｃ）に示すように、図中に格子ハッチで示す、Ｙ成分４ブロック（図ではＲ成分について）とＲ，Ｇ，ＢそれぞれについてのＣｂ＋Ｃｒ成分３ブロックの合計７ブロックとなる。

基底信号線形変換部３１０は、間引きモードを示す識別情報と、逆ＤＣＴ処理が必要なＹ成分４ブロックとＲ，Ｇ，ＢそれぞれについてのＣｂ＋Ｃｒ成分３ブロックの各データを逆ＤＣＴ変換部３２０に入力する。

逆ＤＣＴ変換部３２０は、基底信号線形変換部３１０から送られたＲ成分についてのＹ成分４ブロックと、Ｒ，Ｇ，ＢのそれぞれについてのＣｂ＋Ｃｒ成分３ブロックについて、逆ＤＣＴ処理を個別に行なう。そして、Ｇ成分とＢ成分の各Ｙ成分４ブロックについては、Ｒ成分についてのＹ成分４ブロックの処理結果を利用する。こうすることで、図８（Ｄ）に示すように、全ての成分について逆ＤＣＴ処理が完了する。逆ＤＣＴ変換部３２０は、間引きモード識別情報と逆ＤＣＴ処理を行なった結果を画像補間部３３０に入力する。

画像補間部３３０では、逆ＤＣＴ処理部から送られた間引きモード識別情報と各ブロックの値から、Ｃｂ成分とＣｒ成分を、それぞれ水平方向および垂直方向に２倍に拡大し、Ｙ成分に足し合わせることで、間引きのないＲ，Ｇ，Ｂそれぞれについての出力画像を合成する。その結果、図８（Ｅ）に示すように、Ｒ，Ｇ，Ｂそれぞれ４ブロックずつの出力画像が得られる。
これにより、逆ＤＣＴ変換部３２０は、間引きが４：２：０の画像を対象とする場合であっても、線形な色変換が施された出力カラー画像を表す伸長色補正デジタルデータＤ１０を不都合なく出力することもがきる。カラー画像として出力する場合には、図８（Ｆ）に示すように、これらＲ，Ｇ，Ｂ各４ブロックずつの出力画像に基づいてたとえば印刷出力することで、４ブロックの１つの出力画像にする。

以上のように、本実施形態の画像処理プロセッサ５６では、カラー圧縮画像データに対する色変換処理などの信号変換処理を、そのカラー圧縮画像データにおける基底強度信号を色画素表現に戻す処理に先立って行なうようになっている。加えて、処理対象のブロック内でも、強度データ値が“０”になる周波数についてはさらに無駄な線形変換処理を省略する。したがって、カラー圧縮画像データを取り扱い、かつ、色信号に対して所定の変換処理をする場合においても、従来あったような処理負荷の重さの問題を解決した、高速かつ演算量が少ない信号変換処理（色変換処理）を実現することができる。また、高周波成分を省くことなく、全ての基底信号の強度データを用いて線形変換するため、色変換誤差が発生し難い。

加えて、輝度成分（前例ではＹ成分）と色成分（前例ではＣｂ＋Ｃｒ成分）の逆ＤＣＴ処理を分け、また真に必要なブロックについてのみ逆ＤＣＴ変換処理を行なうことで、間引き画像を対象とする場合であっても、Ｃｂ，Ｃｒ成分の補間処理やＹ成分との合成が簡単に実現でき、特段の不都合を生じることなく、処理効率を高め、高速に色変換処理を実現することができる。

このように、本実施形態の画像処理プロセッサ５６に依れば、所定の条件を満たす部分について、逆量子化および基底信号強度変換処理や逆ＤＣＴ処理を省略し、これにより、間引き画像を対象とする場合であっても、高速に色変換処理を実現することができるようになった。

図９は、ＣＰＵやメモリを利用して、ソフトウェア的に画像処理装置５を構成する、すなわち電子計算機（コンピュータ）を用いて構成する場合のハードウェア構成の一例を示した図である。

この画像処理装置５は、ＣＰＵ９０２、ＲＯＭ（Read Only Memory）９０４、ＲＡＭ９０６、および通信Ｉ／Ｆ（インターフェース）９０８を備える。また、たとえばハードディスク装置９１４、フレキシブルディスク（ＦＤ）ドライブ９１６、あるいはＣＤ−ＲＯＭ（Compact Disk ROM）ドライブ９１８などの、記憶媒体からデータを読み出したり記録したりするための記録・読取装置を備えてもよい。ハードディスク装置９１４、ＦＤドライブ９１６、あるいはＣＤ−ＲＯＭドライブ９１８は、たとえば、ＣＰＵ９０２にソフトウェア処理をさせるためのプログラムデータを登録するなどのために利用される。通信Ｉ／Ｆ９０８は、インターネットなどの通信網との間の通信データの受け渡しを仲介する。

このような構成の画像処理装置５は、上記実施形態に示した基本的な構成および動作と同様とすることができる。また、上述した処理をコンピュータに実行させるプログラムは、ＣＤ−ＲＯＭ９２２などの記録媒体を通じて配布される。あるいは、前記プログラムは、ＣＤ−ＲＯＭ９２２ではなくＦＤ９２０に格納されてもよい。また、ＭＯドライブを設け、ＭＯに前記プログラムを格納してもよく、またフラッシュメモリなどの不揮発性の半導体メモリカード９２４などのその他の記録媒体に前記プログラムを格納してもよい。

さらに、他のサーバなどからインターネットなどの通信網を経由して前記プログラムをダウンロードして取得し、あるいは更新してもよい。なお、記録媒体としては、ＦＤ９２０やＣＤ−ＲＯＭ９２２などの他にも、ＤＶＤなどの光学記録媒体、ＭＤなどの磁気記録媒体、ＰＤなどの光磁気記録媒体、テープ媒体、磁気記録媒体、ＩＣカードやミニチュアカードなどの半導体メモリを用いることができる。

記録媒体の一例としてのＦＤ９２０やＣＤ−ＲＯＭ９２２などには、上記実施形態で説明した画像処理装置５における処理の一部または全ての機能を格納することができる。したがって、以下のプログラムや当該プログラムを格納した記憶媒体を提供することができる。たとえば、画像処理装置５用のプログラム、すなわちＲＡＭ９０６などにインストールされるソフトウェアは、上記各実施形態に示された画像処理装置５と同様に、種々の形態の色変換部３００、量子化部４００、ハフマン符号化部５００、逆ＤＣＴ変換部３２０、ＤＣＴ変換部７００、あるいはゼロ検出部１１２などの各機能部をソフトウェアとして備える。このソフトウェアは、たとえばプリンタドライバやディスプレイドライバなどとして、ＣＤ−ＲＯＭやＦＤなどの可搬型の記憶媒体に格納され、あるいはネットワークを介して配布される。そして、このようなソフトウェアは、たとえば画像処理用ソフトウェアに利用されるライブラリの一部として登録しておくとよい。

そしてたとえば画像処理装置５をコンピュータにより構成する場合、ＣＤ−ＲＯＭドライブ９１８は、ＣＤ−ＲＯＭ９２２からデータまたはプログラムを読み取ってＣＰＵ９０２に渡す。そしてソフトウェアはＣＤ−ＲＯＭ９２２からハードディスク装置９１４にインストールされる。ハードディスク装置９１４は、ＦＤドライブ９１６またはＣＤ−ＲＯＭドライブ９１８によって読み出されたデータまたはプログラムや、ＣＰＵ９０２がプログラムを実行することにより作成されたデータを記憶するとともに、記憶したデータまたはプログラムを読み取ってＣＰＵ９０２に渡す。ハードディスク装置９１４に格納されたソフトウェアは、ＲＡＭ９０６に読み出された後にＣＰＵ９０２により実行される。たとえばＣＰＵ９０２は、記録媒体の一例であるＲＯＭ９０４およびＲＡＭ９０６に格納されたプログラムに基づいて上記の処理を実行することにより、上記処理における基底信号強度変換処理（線形な色変換処理）あるいは非線形な色変換処理のための機能をソフトウェア的に実現することができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることができ、そのような変更または改良を加えた形態も本発明の技術的範囲に含まれる。また、上記の実施形態は、クレームにかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組合せの全てが発明の解決手段に必須であるとは限らない。

たとえば、色変換を周波数強度における線形変換で実現する手法は、ＪＰＥＧフォーマットだけに限らず、任意の基底信号で強度表現された画像に対して適用することができる。

また上記実施形態では、ＪＰＥＧ準拠の画像処理をするために、コサイン波を基底信号として使用したが、基底信号はこれに限らない。たとえば、ウェーブレット信号を用いることもできる。

また、上記実施形態では、ゼロ検出にＥＯＢ符号を用いたが、ＥＯＢ符号の代わりに値“０”が１６個続くことを表すＺＲＬ（Zero Run Length） 符号を用いることも、あるいは、ＥＯＢ符号とＺＲＬ符号の両者を用いることなどもできる。なお、ＪＰＥＧ規格のデフォルトでは、明るさ成分Ｙについては符号“１１１１１１１１００１”が、クロミナンス成分Ｃｂ，Ｃｒについては、符号“１１１１１１１０１０”が、それぞれＺＲＬに割り振られている。

また、上記実施形態では、周波数強度データ値Ｆ_Y（ｕ，ｖ），Ｆ_Cb（ｕ，ｖ），Ｆ_Cr（ｕ，ｖ）が全て“０”である場合に強度変換処理を省略したが、たとえばクロミナンス成分Ｆ_Cb（ｕ，ｖ），Ｆ_Cr（ｕ，ｖ）の方が明るさ成分Ｆ_Y（ｕ，ｖ）よりも値が“０”になることが多いので、クロミナンス成分だけゼロ検出してもよい。また、全ての色成分が“０”になる場合と、クロミナンス成分だけが“０”になる場合とに分けてゼロ検出をしてもよい。

また、上記実施形態では、色変換後のデータを用いて印刷処理したり表示する画像処理システムについて説明したが、これに限らず、たとえば、圧縮画像データの伝送や記憶蓄積を行なうものなど、圧縮画像を取り扱う種々の機器やシステムであれば、上述した処理を同様に適用することができる。

たとえば、カラースキャナ３２、画像処理装置５、およびプリントエンジン７０を一体化させた複写装置に適用することもできる。また、ディジタルカメラに適用することで、画像圧縮データを変換する場合において、メモリに記憶させておいた圧縮ＪＰＥＧ画像を外部機器に出力する前に、基底信号強度変換処理（線形な色変換処理）あるいは非線形な色変換処理をすることで色補正をし、色補正された圧縮ＪＰＥＧ画像を出力するようにしてもよい。

上記実施形態で示した本発明の構成は、間引き画像を処理対象としつつ、正しい色をもつ圧縮デジタル画像が要求されるデジタルプリンタやコピー機などカラー作像システムに適用すると好適である。

本発明に係る画像処理装置を備えた画像処理システムを示すブロック図である。 画像処理プロセッサの一実施形態の詳細を示すブロック図である。 ＪＰＥＧフォーマットでの圧縮伸長処理の概要を示したフローチャートである。 ＪＰＥＧフォーマットでの圧縮伸長処理における、間引きについて説明する図である。 本実施形態の画像処理プロセッサにおける第２の特徴を実現する処理の根拠を説明する図であって、サンプルＪＰＥＧ画像のハフマン復号化されたブロックのうち２組をサンプルとして示した図である。 強度データ値が“０”になる周波数での演算省略方法の一例を示す図である。 間引きが４：２：２の場合の伸長処理の概略を示す図である。 間引きが４：２：０の場合の伸長処理の概略を示す図である。 画像処理装置を電子計算機を用いて構成する場合のハードウェア構成の一例を示した図である。

符号の説明

１…画像処理システム、３…画像入力端末、５…画像処理装置、７…画像出力端末、５６…画像処理プロセッサ（信号処理部）、７０…プリントエンジン、８０…ディスプレイ装置、１１０…ゼロ検出付きハフマン復号化部、１１２…ゼロ検出部、１１４…ハフマン復号化部、２００…逆量子化部、３００…色変換部、３１０…基底信号線形変換部、３２０…逆ＤＣＴ変換部、３３０…画像補間部、３４０…色値変換部、４００…量子化部、５００…ハフマン符号化部、６１０…ＤＣＴ変換部、６２０…量子化部、６３０…ハフマン符号化部、Ｄ１０，Ｄ１２…伸長色補正デジタルデータ、Ｄ２０，Ｄ２２…圧縮色補正デジタルデータ

Claims (12)

1. データ圧縮されたカラー画像に対して伸長処理を施す画像処理装置であって、
   前記データ圧縮されたカラー画像データとして、複数の色成分のそれぞれのデータを含み、かつ、前記複数の色成分のうちの少なくとも１つの色成分については間引き処理がされている画像データを受け取り、前記色成分ごとに、前記間引き処理の態様に応じて伸長処理を必要とする部分信号を特定してこの特定した部分信号に対して伸長処理を施す信号処理部
   を備えたことを特徴とする画像処理装置。
2. 前記信号処理部は、実質的に無効な変換係数を含む部分信号を前記伸長処理が不要な部分信号であるとし、この伸長処理が不要な部分信号を除く部分信号を、前記伸長処理を必要とする部分信号とする
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記信号処理部は、複数の部分信号のうち、共通な変換係数を含む部分信号については、そのうちの１つの部分信号を、前記伸長処理を必要とする部分信号とする
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記信号処理部は、前記複数の部分信号のうち、前記伸長処理を必要とする部分信号とした前記１つの部分信号を除く部分信号については、当該１つの部分信号について前記伸長処理を施すことで得られる符号化係数を、前記伸長処理の結果として使用する
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記信号処理部は、前記複数の色成分のうちの間引き率の同じ成分については、対応する部分信号を合成してから前記伸長処理を施す
   ことを特徴とする請求項１から４のうちの何れか１項に記載の画像処理装置。
6. 前記信号処理部は、ＪＰＥＧ圧縮画像のＹ，Ｃｂ，Ｃｒ成分のうちＣｂ，Ｃｒ成分が水平方向および垂直方向の少なくとも一方に間引かれている画像データを前記データ圧縮されたカラー画像データとして受け取る
   ことを特徴とする請求項１から５のうちの何れか１項に記載の画像処理装置。
7. 前記信号処理部は、
   色成分ごとに基底信号強度として表現されているデータを前記データ圧縮されたカラー画像データとして受け取り、前記色成分ごとに、前記基底信号強度を線形変換することで信号変換処理をする線形信号変換部を有し、
   当該線形信号変換部により処理された処理済みデータに対して前記伸長処理を施す
   ことを特徴とする請求項１から６のうちの何れか１項に記載の画像処理装置。
8. 前記線形信号変換部は、前記信号変換処理として、色変換処理をする
   ことを特徴とする請求項７に記載の画像処理装置。
9. 前記線形信号変換部は、前記線形変換処理として、Ｙ，Ｃｂ，Ｃｒ色空間からＲ，Ｇ，Ｂ色空間への色変換処理をする
   ことを特徴とする請求項８に記載の画像処理装置。
10. 前記信号処理部は、
    前記伸長処理がされると基底信号強度値がゼロとなることを表すゼロ判定符号を検出するゼロ検出部を有し、
    前記線形信号変換部は、前記ゼロ検出部により検出された、前記伸長処理がされると基底信号強度値がゼロとなる基底信号については、前記線形変換を省略する
    ことを特徴とする請求項８または９に記載の画像処理装置。
11. 前記信号処理部は、前記複数の色成分のうちの前記間引き処理がされている画像データについて、補間処理をすることで間引き前の画像を復元する画像補間部
    を有することを特徴とする請求項１から１０のうち何れか１項に記載の画像処理装置。
12. データ圧縮されたカラー画像に対して、伸長処理を施すためのプログラムであって、
    コンピュータを、
    前記データ圧縮されたカラー画像データとして、複数の色成分のそれぞれのデータを含み、かつ、前記複数の色成分のうちの少なくとも１つの色成分については間引き処理がされている画像データを受け取る画像データ取得部と、
    前記画像データ取得部が取得したカラー画像データについて、前記色成分ごとに、前記間引き処理の態様に応じて伸長処理を必要とする部分信号を特定してこの特定した部分信号に対して伸長処理を施す伸長処理部と
    して機能させることを特徴とするプログラム。
    

Images