JP2020129728A - 画像処理装置およびその制御方法 - Google Patents

Abstract

【課題】復号画像における見た目の違和感が低減される画像符号化を行う。【解決手段】画像処理装置は、入力画像を構成する複数の矩形画像のそれぞれに対して第１の符号化又は第２の符号化を適用し符号化画像データを生成する。画像処理装置は、所定の条件を満たす矩形画像に対して、所定の直交変換、所定の量子化、エントロピー符号化を含む第１の符号化を行う第１の符号化手段と、所定の条件を満たさない矩形画像に対して、所定の直交変換、所定の量子化、所定の量子化の逆変換、所定の直交変換の逆変換を含む第２の符号化を行う第２の符号化手段と、第１の符号化手段又は第２の符号化手段により符号化されて得られる符号化データを結合することにより符号化画像データを生成する生成手段と、を有する。【選択図】図１

Description

本発明は、画像の圧縮符号化技術に関するものである。

高解像度の画像データはデータ量が膨大になるため、より少ないメモリ資源で画像データを記憶したり、より短時間でネットワーク転送するために、画像圧縮技術が広く適用されている。一方で、画像圧縮技術には画像品位を損なわないことが求められている。特許文献１は、データ量をより小さくし、画像品位をより損なわない画像圧縮技術として、画像を一個以上の画素からなる一個以上の領域に分割して、領域毎に圧縮方式を切り換える技術を開示している。

画像を一個以上の領域に分割し、圧縮方式を切り換える技術として、画像を領域の境界データと、領域の圧縮画素データに符号化する技術が実現されている。当該技術では、符号化対象の画像に対してＮ×Ｎ画素の矩形画像に分割する前処理が行われ、矩形画像毎に符号化される。また、圧縮方式として可逆圧縮（ロスレス）方式のランレングス符号化と非可逆圧縮（ロッシー）方式のＪＰＥＧを採用している。また、当該技術では、領域が細かく分割されるとデータサイズが符号化前よりも大きくなるため、領域数の閾値を定めて、領域数（または境界数）が閾値を超える矩形画像に対しては符号化データとして非圧縮ラスタ画像を出力する。

米国特許第５，８８３，９７６号公報

上述の技術においては、領域数が閾値を超えることにより非圧縮ラスタ画像が符号化データとして出力された矩形画像と、領域数が閾値を超えなかったために境界データと圧縮画素データに符号化された矩形画像が隣接することがある。このとき、元の圧縮対象画像にＪＰＥＧ圧縮対象となる自然画領域が含まれており、自然画領域が前述の隣接する矩形画像に分割されていると、自然画領域の中で非圧縮領域とＪＰＥＧ圧縮された領域が隣接するため異なる画質の領域が隣接することになる。

図１０は、従来技術において問題が生じ得る画像１００１を例示的に示す図である。符号化対象の画像１００１は、白地で示される自然画領域１００２、ハッチで示されるグラフィック領域１００３、単一色のテキスト領域１００４から構成されている。グラフィック領域１００３は単にハッチで示しているが、実際には複雑なグラフィックが描かれている。画像１００１は複数の矩形領域に分割され符号化される。上述の従来技術では、矩形画像１００５は、テキスト領域と自然画領域が多いため領域数が閾値を超えず符号化される。一方、矩形画像１００６は、グラフィック領域が多いため領域数が閾値を超え非圧縮ラスタ画像となる。その結果、矩形画像１００５の自然画領域はＪＰＥＧ圧縮され、矩形画像１００６の自然画領域は非圧縮となる。そのため、このように符号化された画像を復号した場合、矩形画像１００５と矩形画像１００６との境界において自然画領域の画質が異なることになり、見る人に違和感を生じさせる場合がある。

本発明は、このような問題に鑑みてなされたものであり、復号画像における見た目の違和感が低減される画像符号化技術を提供することを目的としている。

上述の問題点を解決するため、本発明に係る画像処理装置は以下の構成を備える。すなわち、入力画像を構成する複数の矩形画像のそれぞれに対して第１の符号化又は第２の符号化を適用し符号化画像データを生成する画像処理装置は、
前記複数の矩形画像のうち所定の条件を満たす矩形画像に対して、所定の直交変換、所定の量子化、エントロピー符号化を含む前記第１の符号化を行う第１の符号化手段と、
前記複数の矩形画像のうち前記所定の条件を満たさない矩形画像に対して、前記所定の直交変換、前記所定の量子化、該所定の量子化の逆変換、該所定の直交変換の逆変換を含む前記第２の符号化を行う第２の符号化手段と、
前記第１の符号化手段又は前記第２の符号化手段により符号化されて得られる符号化データを結合することにより前記符号化画像データを生成する生成手段と、
を有する。

本発明によれば、復号画像における見た目の違和感が低減される画像符号化技術を提供することができる。

第１実施形態に係る画像処理装置の構成を示す図である。 画像処理装置における符号化処理のフローチャートである。 入力画像の一例を示す図である。 入力画像に対する領域分割及び境界を説明する図である。 境界に関するヘッダと軌跡情報を説明する図である。 整列により得られる符号化データを例示的に示す図である。 前処理のフローチャートである。 符号化データを処理する画像処理システムの構成を示す図である。 変形例に係る画像処理装置の構成を示す図である。 従来技術において問題が生じ得る画像を例示的に示す図である。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

（第１実施形態）
本発明に係る画像処理装置の第１実施形態として、可逆（ロスレス）符号化及び非可逆（ロッシー）符号化を用いて画像データを圧縮する符号化装置を例に挙げて以下に説明する。

＜符号化装置の構成＞
図１は、第１実施形態に係る画像処理装置である符号化装置の構成を示す図である。以下の説明においては説明を簡単にするために、図７を参照して後述する前処理に従って分割された１６×１６画素の矩形画像を処理する例について説明するが、１６×１６画素に限定されるものではない。

符号化装置１００は、１６×１６画素の画像を示す画像データを符号化して、符号化データを出力する。上述したように、符号化対象の入力画像データは、符号化装置１００に入力される前に、前処理に従って１６×１６画素の矩形画像に分割され、矩形画像が予め定められた順序に従って、符号化装置１００に入力される。

領域分割部１０１は、入力された１６×１６画素の矩形画像を、図３及び図４を参照して後述する方法で、同一色の画素が隣接する領域に分割し領域情報を生成する。領域数カウント部１０２は、１６×１６画素の矩形画像を領域分割部１０１によって分割して得られた領域数をカウントする。

画素置換部１０３は、可逆圧縮対象の領域にある画素のＲＧＢ値を非可逆圧縮領域にある画素のＲＧＢ値を参照して算出した置換値で置換することにより、非可逆圧縮対象画像を生成する。非可逆圧縮領域を補完処理によって１６×１６画素に拡張することによって非可逆圧縮対象画像を生成してもよい。

第一の色空間変換部１０４は、ＲＧＢの画素をＹＣｂＣｒの画素に変換する。ＤＣＴ部１０５は、１６×１６画素のＹＣｂＣｒ画像データを４つに分割した８ｘ８画素の画像データ毎に離散コサイン変換（ＤＣＴ）を行う。量子化部１０６は、量子化テーブルに従ってＤＣＴ部１０５の出力データを量子化する。

第一の選択部１０７は、領域数カウント部１０２によってカウントされた領域数が予め設定された閾値以上のときは量子化部１０６の出力データを逆量子化部１１４に転送する。一方、領域数が閾値以下のときは量子化部１０６の出力データをエントロピー符号化部１０８に転送する。

エントロピー符号化部１０８は、量子化部１０６の出力データをエントロピー符号化する。エントロピー符号化されたデータはＪＰＥＧ符号化データとなる。

第二の選択部１０９は、領域数カウント部１０２によってカウントされた領域数が予め設定された閾値以上のときは入力画像データと領域分割部１０１によって生成された領域情報を画素結合部１１７に転送する。一方、領域数が閾値以下のときは入力画像データと領域分割部１０１によって生成された領域情報を境界生成部１１０に転送する。

境界生成部１１０は、領域分割部１０１によって分割された領域の左端の画素の座標の集合と領域の画素値から境界データを生成する。境界ヘッダ生成部１１１は、境界生成部１１０が生成した境界データの始点のＸ座標とＹ座標、終点のＹ座標、および領域の画素値から境界ヘッダを生成する。境界軌跡情報生成部１１２は、境界生成部１１０が生成した境界データから、始点から終点までの隣接ライン（Ｙ座標）間のＸ座標の変位量を計算することにより、変位量の集合からなる境界軌跡情報を生成する。整列部１１３は、後述する規則に従って、境界ヘッダと境界軌跡情報を整列する。

逆量子化部１１４は、量子化部１０６の出力データを逆量子化する。ＩＤＣＴ部１１５は、逆量子化部１１４の出力データに対してＤＣＴ部１０５が行うＤＣＴの逆変換（すなわち逆離散コサイン変換（ＩＤＣＴ））を行う。第二の色空間変換部１１６は、ＹＣｂＣｒの画素をＲＧＢの画素に変換する。

画素結合部１１７は、領域分割部１０１が生成した領域情報に基づいて、非可逆圧縮領域では色空間変換部１１６の出力画素を選択し、可逆圧縮領域では入力画像の画素を選択して１６×１６画素の画像データを出力する。

なお、ここでは、上述の各機能部は、ＣＰＵなどのプロセッサがプログラムを実行することによりソフトウェアとして実装されることを想定する。ただし、上述の１以上の機能部を、ＡＳＩＣなどのハードウェアとして実装してもよい。

＜符号化装置の動作＞
図２は、画像処理装置における符号化処理のフローチャートである。当該処理は、例えば、ユーザが画像処理アプリケーションプログラムに対して、符号化処理の開始を指示することにより開始される。

Ｓ２０１では、符号化装置１００は、１６×１６画素に分割された画像３００を読み込む。図３は、符号化装置１００に入力される矩形画像である入力画像の一例を示す図である。画像３００において、ハッチのパターンが領域の画素値に対応している。すなわち、同じパターンのハッチの画素は同じ色であることを示しており、異なるパターンのハッチの画素は異なる色であることを示している。また、ハッチがかかっていない領域は自然画のように異なる値の画素が混在して隣接する領域である。また、Ｌ０〜Ｌ１５は、ぞれぞれ、横方向に連なる１６個の画素からなるラインを示す。

Ｓ２０２では、領域分割部１１０は、画像３００を、それぞれが同じ画素値を有する複数の領域に分割する。まず、領域分割部１０１はラインＬ０〜ラインＬ１５を左から右へと走査して、同じ画素値の隣接画素から成る領域に分割する。各領域は内部に記憶され、次のラインを処理する際に参照される。

画像３００の最初のラインＬ０は、次の８つの領域（領域０〜領域７）に分割される。
・０番目の画素（０，０）と１番目の画素（１，０）の領域０
・２番目の画素（２，０）と３番目の画素（３，０）の領域１
・４番目の画素（４，０）と５番目の画素（５，０）の領域２
・６番目の画素（６，０）と７番目の画素（７，０）の領域３
・８番目の画素（８，０）と９番目の画素（９，０）の領域４
・１０番目の画素（１０，０）と１１番目の画素（１１，０）の領域５
・１２番目の画素（１２，０）と１３番目の画素（１３，０）の領域６
・１４番目の画素（１４，０）と１５番目の画素（１５，０）の領域７

画像３００の次のラインＬ１は、まず次の９つの領域（領域８’〜領域１６’）に分割される。
・０番目の画素（０，１）の領域８’
・１番目の画素（１，１）と２番目の画素（２，１）の領域９’
・３番目の画素（３，１）と４番目の画素（４，１）の領域１０’
・５番目の画素（５，１）と６番目の画素（６，１）の領域１１’
・７番目の画素（７，１）と８番目の画素（８，１）の領域１２’
・９番目の画素（９，１）と１０番目の画素（１０，１）の領域１３’
・１１番目の画素（１１，１）と１２番目の画素（１２，１）の領域１４’
・１３番目の画素（１３，１）と１４番目の画素（１４，１）の領域１５’
・１５番目の画素（１５，１）の領域１６’

次に領域８’〜 領域１６’は、先行して処理した前のラインＬ０から得られた領域０〜領域７と比較され、同じ色かつ隣接する領域は、前のラインＬ０から得られた領域０〜領域７に統合される。隣接する領域とは、ラインＬ０とラインＬ１とで同じＸ座標の画素を含む領域を意味する。その結果、以下の９つの領域が生成される。
・領域０：画素（０，０）、画素（１，０）、画素（１，１）、画素（２，１）
・領域１：画素（２，０）、画素（３，０）、画素（３，１）、画素（４，１）
・領域２：画素（４，０）、画素（５，０）、画素（５，１）、画素（６，１）
・領域３：画素（６，０）、画素（７，０）、画素（７，１）、画素（８，１）
・領域４：画素（８，０）、画素（９，０）、画素（９，１）、画素（１０，１）
・領域５：画素（１０，０）、画素（１１，０）、画素（１１，１）、画素（１２，１）
・領域６：画素（１２，０）、画素（１３，０）、画素（１３，１）、画素（１４，１）
・領域７：画素（１４，０）、画素（１５，０）、画素（１５，１）
・領域８：画素（０，１）

以降のラインＬ２〜ラインＬ１５も同様に処理する。最後に画素数が２以下の領域が３つ以上隣接し、かつ当該隣接領域の画素値の差分が予め決められた閾値以下である場合、当該隣接領域は一つに結合され、非可逆圧縮対象の領域とされる。

図４は、入力画像に対する領域分割及び境界を説明する図である。上述の処理をラインＬ０〜ラインＬ１５に対して行うことにより、画像３００は、図４に示す２１個の領域（領域０〜領域２０）に分割される。図４において、ハッチがかかっていない領域は非可逆圧縮対象の領域となる。

Ｓ２０３では、領域数カウント部１０２は、領域の個数をカウントし、所定の条件を満たす場合に圧縮データを生成すると決定し、満たさない場合に非圧縮ラスタ画像を生成すると決定する。ここでは、領域数が所定の個数未満（例えば１２８個未満）であれば圧縮データを生成すると決定し、所定の個数以上であれば非圧縮ラスタ画像を生成すると決定する。

Ｓ２０４では、符号化装置１００は、圧縮データを生成する場合は、まず非可逆圧縮対象の領域があるか判定する。非可逆圧縮対象の領域がある場合は、領域分割部１０１から画素置換部１０３に画像３００と領域情報が転送され、画素置換部１０３は、画像３００における非可逆圧縮対象領域以外の画素を置換する（Ｓ２０５）。色空間変換部１０４は、画素置換部１０３で処理された画像をＲＧＢの画素値からＹＣｂＣｒの画素値に変換する（Ｓ２０６）。ＤＣＴ部１０５は、色空間変換部１０４によってＹＣｂＣｒの画素値に変換された画像に対してＤＣＴ変換を行う（Ｓ２０７）。量子化部１０６は、ＤＣＴ部１０５によってＤＣＴ変換された画像を量子化テーブルに従って量子化する（Ｓ２０８）。選択部１０７は、量子化部１０６によって量子化された画像をエントロピー符号化部１０８に転送し、エントロピー符号化部１０８は、量子化された画像に対してエントロピー符号化を行う（Ｓ２０９）。以上Ｓ２０６〜Ｓ２０９によってＪＰＥＧ圧縮された符号化データは、整列部１１３によって出力データの所定の位置に出力される（Ｓ２１０）。

領域分割部１０１は、画像３００と領域情報を選択部１０９にも転送し、選択部１０９は画像３００と領域情報を境界生成部１１０に転送する。Ｓ２１１では、境界生成部１１０は、境界情報を生成する。ここで、境界情報は、領域０〜領域２０それぞれの左端画素の座標と画素値を含む。図４において、縦の太い実線は境界を示し、横の太い点線は境界が繋がっていることを示す補助線を示す。白丸は境界の開始点を示し、黒丸は境界の終端点を示す。以降、領域Ｒの境界を境界Ｒと呼ぶ。例えば境界９は（２，２）を開始点として、（３，３）（４，４）（５，５）（６，６）と続き、（７，７）を終端点とする。

Ｓ２１２では、境界ヘッダ生成部１１１は、境界生成部１１０で生成した領域０〜領域２０の境界から、境界の開始点座標（Ｘ，Ｙ）と、終端点Ｙ座標と領域の画素値から境界ヘッダを生成する。Ｓ２１３では、境界軌跡情報生成部１１２は、境界生成部１１０で生成した領域０〜領域２０の境界から、境界の隣接するライン間のＸ座標の変位量を計算し、境界軌跡情報を生成する。Ｓ２１４では、境界生成部１１０は、境界の生成が終わると、符号化データの先頭に境界数（Ｅ）を出力する。

図５は、境界に関するヘッダと軌跡情報を説明する図である。具体的には、図４に示される境界を数値として表現したデータである。ヘッダは、それぞれの境界を特定する画素の、開始点Ｙ座標、開始点Ｘ座標、終端点Ｙ座標、の情報を含む。また、ヘッダは、可逆圧縮領域か非可逆圧縮領域かを示す属性の情報を含み、可逆圧縮領域の場合はさらに当該領域の画素値の情報を含む。軌跡情報は、それぞれの境界のライン間のＸ座標の変位量の集合を示す。例えば、境界２は座標Ｙ＝０〜１５にまたがって存在するため、境界２の軌跡情報は、以下の１５個の変位量の集合として生成される。
・ラインＬ０からラインＬ１へのＸ座標の変位量は＋１である
・ラインＬ１からラインＬ２へのＸ座標の変位量は＋１である
・ラインＬ２からラインＬ３へのＸ座標の変位量は＋１である
・ラインＬ３からラインＬ４へのＸ座標の変位量は＋１である
・ラインＬ４からラインＬ５へのＸ座標の変位量は＋１である
・ラインＬ５からラインＬ６へのＸ座標の変位量は＋１である
・ラインＬ６からラインＬ７へのＸ座標の変位量は＋１である
・ラインＬ７からラインＬ８へのＸ座標の変位量は−１である
・ラインＬ８からラインＬ９へのＸ座標の変位量は−１である
・ラインＬ９からラインＬ１０へのＸ座標の変位量は−１である
・ラインＬ１０からラインＬ１１へのＸ座標の変位量は−１である
・ラインＬ１１からラインＬ１２へのＸ座標の変位量は−１である
・ラインＬ１２からラインＬ１３へのＸ座標の変位量は−１である
・ラインＬ１３からラインＬ１４へのＸ座標の変位量は−１である
・ラインＬ１４からラインＬ１５へのＸ座標の変位量は−１である

整列部１１３は、ＪＰＥＧ符号化データと、境界ヘッダ生成部１１１が生成した境界ヘッダと、境界軌跡情報生成部１１２が生成した境界軌跡情報を整列して、符号化データを生成する。Ｓ２１５では、整列部１１３は、境界数（Ｅ）の次に境界ヘッダをＹ、Ｘの昇順に整列し出力する。Ｓ２１６では、整列部１１３は、境界ヘッダの次に境界軌跡情報をＹ，Ｘの昇順に出力する。境界軌跡情報の次にはＪＰＥＧ符号化データへのポインタ（ＪＰＥＧ符号化データを出力した領域の先頭アドレス）が出力される。従って、ＪＰＥＧ符号化データは境界データと隣接したアドレスに出力される必要はない。

図６は、整列により得られる符号化データを例示的に示す図である。具体的には、図５に示される境界０〜境界２０に関するデータとＪＰＥＧ符号化データとを整列することによって得られる符号化データを示している。

図６において、「境界軌跡情報＠ Ｙ＝０」は、境界０、境界１、境界２、境界３、境界４、境界５、境界６、境界７のラインＬ０とラインＬ１との間のＸ座標の変位量である。「境界軌跡情報＠ Ｙ＝１」は、境界８、境界２、境界５のラインＬ１とラインＬ２との間のＸ座標の変位量である。「境界軌跡情報＠ Ｙ＝２」は、境界８、境界９、境界１０、境界２、境界１１、境界１２、境界５、境界１３のラインＬ２とラインＬ３との間のＸ座標の変位量である。「境界軌跡情報＠ Ｙ＝３」は、境界８、境界９、境界１０、境界２、境界１１、境界１２、境界５のラインＬ３とラインＬ４との間のＸ座標の変位量である。「境界軌跡情報＠ Ｙ＝４」は、境界８、境界９、境界１０、境界２、境界１１、境界１２、境界５のラインＬ４とラインＬ５との間のＸ座標の変位量である。「境界軌跡情報＠ Ｙ＝５」は、境界８、境界９、境界１０、境界２、境界１１、境界１２のラインＬ５とラインＬ６との間のＸ座標の変位量である。「境界軌跡情報＠ Ｙ＝６」は、境界８、境界９、境界１０、境界２、境界１１、境界１２のラインＬ６とラインＬ７との間のＸ座標の変位量である。「境界軌跡情報＠ Ｙ＝７」は、境界８、境界２のラインＬ７とラインＬ８との間のＸ座標の変位量である。「境界軌跡情報＠ Ｙ＝８」は、境界８、境界１４、境界１５、境界１６、境界１７、境界２、境界１８、境界１９のラインＬ８とラインＬ９との間のＸ座標の変位量である。「境界軌跡情報＠ Ｙ＝９」は、境界１４、境界１５、境界１６、境界１７、境界２、境界１８、境界１９、境界２０のラインＬ９とラインＬ１０との間のＸ座標の変位量である。「境界軌跡情報＠ Ｙ＝１０」は、境界１４、境界１５、境界１６、境界１７、境界２、境界１８、境界１９、境界２０のラインＬ１０とラインＬ１１との間のＸ座標の変位量である。「境界軌跡情報＠ Ｙ＝１１」は、境界１５、境界１６、境界１７、境界２、境界１８、境界１９、境界２０のラインＬ１１とラインＬ１２との間のＸ座標の変位量である。「境界軌跡情報＠ Ｙ＝１２」は、境界１５、境界１６、境界１７、境界２、境界１８、境界１９、境界２０のラインＬ１２とラインＬ１３との間のＸ座標の変位量である。「境界軌跡情報＠ Ｙ＝１３」は、境界１６、境界１７、境界２、境界１８、境界１９、境界２０のラインＬ１３とラインＬ１４との間のＸ座標の変位量である。「境界軌跡情報＠ Ｙ＝１４」は、境界１６、境界１７、境界２、境界１８、境界１９、境界２０のラインＬ１４とラインＬ１５との間のＸ座標の変位量である。

Ｓ２１７では、符号化装置１００は、非圧縮ラスタ画像を生成する場合は、まず非可逆圧縮対象の領域があるか判定する。非可逆圧縮対象の領域がある場合は、領域分割部１０１から画素置換部１０３に画像３００と領域情報が転送され、画素置換部１０３は、非可逆圧縮対象領域以外の画素を置換する（Ｓ２１８）。色空間変換部１０４は、画素置換部１０３で処理された画像をＲＧＢの画素値からＹＣｂＣｒの画素値に変換する（Ｓ２１９）。ＤＣＴ部１０５は、色空間変換部１０４によってＹＣｂＣｒの画素値に変換された画像に対してＳ２０７と同じＤＣＴ変換を行う（Ｓ２２０）。すなわち、現在注目している矩形画像に隣接する矩形画像に対する直交変換パラメータと同じ直交変換パラメータで直交変換する。量子化部１０６は、ＤＣＴ部１０５によってＤＣＴ変換された画像をＳ２０８と同じ量子化テーブルに従って量子化する（Ｓ２２１）。すなわち、現在注目している矩形画像に隣接する矩形画像に対する量子化パラメータと同じ量子化パラメータで直交変換する。以上、Ｓ２１７〜Ｓ２２１の処理は、圧縮画像を生成する場合の処理Ｓ２０４〜Ｓ２０８と同様である。

選択部１０７は、量子化部１０６によって量子化された画像を逆量子化部１１４に転送し、逆量子化部１１４は、量子化された画像を逆量子化する（Ｓ２２２）。Ｓ２２２では後述するＪＰＥＧ復号装置８０７と同じ逆量子化パラメータを用いて逆量子化が行われる。ＩＤＣＴ部１１５は、逆量子化された画像に対してＩＤＣＴ変換を行う（Ｓ２２３）。Ｓ２２３では後述するＪＰＥＧ復号装置８０７と同じＩＤＣＴ変換が行われる。色空間変換部１１６は、ＩＤＣＴ部１１５によってＩＤＣＴ変換された画像の画素をＹＣｂＣｒからＲＧＢに変換する（Ｓ２２４）。以上、Ｓ２１９〜Ｓ２２４の処理によってＪＰＥＧ符号化とＪＰＥＧ復号を行った場合と同じ画質の画像を生成する。

一方で、画像３００と領域情報は領域分割部１０１から選択部１０９を経て画素結合部１１７に転送される。画素結合部１１７は、非可逆圧縮対象領域の画素としてＳ２１７〜Ｓ２２４の処理を経て生成された画像の画素を選択し、それ以外の領域の画素として画像３００の画素を選択して結合し、１６×１６画素の画像データを生成する。

なお、入力画像データが前処理により分割されている場合は、符号化装置１００は、分割されて複数の矩形画像に対応する複数の符号化データを結合することにより、入力画像データに対応する符号化画像データを生成する。

なお、上述の符号化装置１００の構成において、第一の色空間変換部１０４と第二の色空間変換部１１６を省略してもよい。第一の色空間変換部１０４と第二の色空間変換部１１６を省略した場合は、符号化処理における色空間変換処理Ｓ２０６、Ｓ２１９およびＳ２２４は省略される。また、色空間変換部１０４とＤＣＴ部１０５の間にサブサンプリング部を設け、ＩＤＣＴ部１１５と色空間変換部１１６の間にアップサンプリング部を設けてもよい。サブサンプリング部とアップサンプリング部を設けた場合は、符号化処理のＳ２０６とＳ２０７の間及びＳ２１９とＳ２２０の間でサブサンプリングが行われ、Ｓ２２３とＳ２２４の間でアップサンプリングが行われる。

なお、上述の説明においては、符号化装置１００は、非可逆圧縮方式としてＪＰＥＧを用いたが、例えばＪＰＥＧ２０００のようにＤＣＴ以外の直交変換を行う他の圧縮方式を用いてもよい。

図７は、前処理のフローチャートである。当該処理は、ユーザが処理を指定する画像データ（一面の画像）を、それぞれが１６×１６画素で構成される複数の画像データに分割する処理である。当該処理は、図２を参照して説明した符号化処理の前処理として、不図示の前処理装置により実施される。もちろん、当該前処理装置を符号化装置１００の一部として組み込んでもよい。

前処理装置は、ユーザが処理を指定する画像データ（一面の画像）が符号化対象として入力される（Ｓ７０１）と、非可逆圧縮対象となる領域を処理するために量子化パラメータが決定される（Ｓ７０２）。量子化パラメータは、あらかじめ決定しておいた値を用いてもよい。Ｓ７０１で入力される画像データは縦横任意の画素数の画像データである。

前処理装置は、入力された画像データの横方向の画素数を調べる（Ｓ７０３）。画素数が１６の倍数でなければ、画素数が１６の倍数となるようにあらかじめ定められた値の画素を画像の右端に付加（パディング）する（Ｓ７０４）。同様に、前処理装置は、入力された画像データの縦方向の画素数を調べる（Ｓ７０５）。画素数が１６の倍数でなければ、画素数が１６の倍数となるようにあらかじめ定められた値の画素を画像の下端に付加する（Ｓ７０６）。

前処理装置は、Ｓ７０３〜Ｓ７０６の処理により縦横ともに画素が付加されて画素数が１６の倍数となった画像を１６×１６画素の画像データに分割する（Ｓ７０７）。以上の処理によって分割され生成された１６×１６画素の画像データが符号化装置１００に入力される。なお、Ｓ７０２で量子化パラメータを決定しているため、１６×１６画素の画像データは、圧縮符号化データとして出力される場合も、非圧縮ラスタ画像として出力される場合も、同じパラメータで量子化が行われる。

＜復号を行うシステム＞
図８は、符号化データを処理する画像処理システムの構成を示す図である。すなわち、符号化装置１００による上述の符号化処理により得られた符号化データを処理する画像処理システムの構成を示している。

ＣＰＵ８０１は、システム全体の制御を行う。ＲＡＭ８０２は、メモリコントローラとＤＲＡＭとから構成され、ＣＰＵで動作するプログラムが展開される。また、ＣＰＵおよびシステム上で動作する処理装置のワークメモリとして使われる。ＲＯＭ８０３は、ＣＰＵで動作するプログラムが記憶される。外部ＩＦ８０４は、外部機器とデータの送受信を行うＥｔｈｅｒｎｅｔ（登録商標）やＵＳＢなどのインタフェース（ＩＦ）である。ＤＭＡＣ８０５は、ＣＰＵの制御の下、可逆符号化データ復号装置８０６とＪＰＥＧ復号装置８０７の入出符号化データと出力復号画像データをＲＡＭ８０２との間で転送する。

可逆符号化データ復号装置８０６は、可逆符号化データを復号して復号画像データを生成する。また非可逆圧縮データを含む符号化データを処理する際には、ＪＰＥＧ復号装置８０７が出力する画像データを結合して復号画像データを生成する。ＪＰＥＧ復号装置８０７は、ＪＰＥＧ符号化データや符号化装置１００によって符号化された画像データに含まれる非可逆圧縮データを復号して画像データを生成する。

画像処理装置８０８は、復号画像データを印刷装置８０９の特性に好適な画像になるように処理するとともに、印刷装置８０９の入力データフォーマットに変換して印刷画像データを生成する。印刷装置８０９は、印刷画像データに基づいて、トナーやインクを紙面に定着させて、紙面に画像を形成する。経路切替装置８１０は、ＣＰＵ８０１によって設定されたパラメータに従って、ＪＰＥＧ復号装置８０７の出力データをＤＭＡＣ８０５と可逆符号化データ復号装置８０６のいずれかに転送する。インターコネクト８１０は、ＣＰＵ８０１、ＲＡＭ８０２、ＲＯＭ８０３、外部ＩＦ８０４、ＤＭＡＣ８０５、画像処理装置８０８、印刷装置８０９の間に介在する、共有バスやスイッチによって構成された、データ転送経路である。

図８に示す画像処理システムでは、外部ＩＦ８０４を介して処理対象となる符号化画像データを受信する。具体的には、符号化装置１００を搭載した外部のホストコンピュータ（不図示）によって生成された符号化画像データを外部ＩＦ８０４を介して受信する。符号化画像データは、ＣＰＵ８０１の制御の元で、復号されるまでＲＡＭ８０２に記憶される。また、外部ＩＦ８０４で入力画像データを受信して、ＣＰＵ８０１で入力画像データの符号化を行ってもよい。以下、ＲＡＭ８０２に記憶された符号化画像データの処理（復号及び画像形成）について説明する。ここでは、ＲＡＭ８０２に記憶された符号化画像データは、入力画像データ（一面の画像）を構成する複数の（一連の）１６×１６画素の画像データを符号化して得られる複数の符号化データを結合したものである。

まず、画像処理装置８０８は、符号化画像データに含まれる複数の符号化データを抽出する。抽出された１６×１６画素の符号化データのうち、可逆符号化データはＤＭＡＣ８０５によって可逆符号化データ復号装置８０６に転送される。可逆符号化データは可逆符号化データ復号装置８０６によって復号された後ＤＭＡＣ８０５によってＲＡＭ８０２に転送される。

一方、抽出された１６×１６画素の符号化データがＪＰＥＧ符号化データを含む場合は、ＪＰＥＧ符号化データはＤＭＡＣ８０５によってＪＰＥＧ復号装置８０７に転送される。ＪＰＥＧ符号化データはＪＰＥＧ復号装置８０７によって復号された後、経路切替装置８１０を介して可逆符号化データ復号装置８０６に転送される。可逆符号化データ復号装置８０６は、可逆符号化データから復号された画素とＪＰＥＧ復号装置８０７によって復号された画素のうち非可逆圧縮領域の画素とを結合して１６×１６画素の画像データを生成する。復号された１６×１６画素の画像データは、画像処理装置８０８によってＲＡＭ８０２から読み出され、処理された後に印刷データとして印刷装置８０９に転送される。印刷装置８０９は印刷データに基づいて紙面に画像を形成する。

非可逆ラスタ画像は、画像処理装置８０８によってＲＡＭ８０２から読み出され、処理された後に印刷データとして印刷装置８０９に転送される。なお、非可逆ラスタ画像をいったんＤＭＡＣ８０５によって可逆符号化データ復号装置８０６に転送してもよい。その場合、可逆符号化データ復号装置８０６は当該非可逆ラスタ画像を復号処理することなく出力画素としてＤＭＡＣ８０５に転送し、ＤＭＡＣ８０５によってＲＡＭ８０２に転送される。この１６×１６画素の画像データは、画像処理装置８０８によってＲＡＭ８０２から読み出され、処理された後に印刷データとして印刷装置８０９に転送される。印刷装置８０９は印刷データに基づいて紙面に画像を形成する。

以上説明したとおり第１実施形態によれば、処理対象の画像データを複数の矩形画像に分割し、矩形領域ごとに可逆圧縮と非可逆圧縮を切り替えた符号化データを生成する。このとき、矩形領域内の同一色領域の個数に応じて符号化方法を切り替える。そして、可逆圧縮される矩形領域については、非可逆圧縮におけるＤＣＴ変換及び量子化と同等の処理を施す。このようにして得られた符号化データを復号した際には、上述の複数の矩形画像における画質のばらつきが軽減されることになる。すなわち、復号された画像における見た目の違和感を低減することが可能となる。

（変形例）
図９は、変形例に係る画像処理装置の構成を示す図である。符号化装置９００は、第１実施形態における符号化装置１００を簡素化した構成としたものに相当する。具体的には、色空間変換部１０４〜量子化部１０６がＪＰＥＧ符号化部９０１に置換され、逆量子化部１１４〜色空間変換部１１６がＪＰＥＧ復号部９０２に置換されている。また、エントロピー符号化部１０８が省略されている。

符号化装置９００は、非可逆圧縮対象領域に対してＪＰＥＧ符号化処理を行う。非圧縮ラスタ画像を出力する場合は、ＪＰＥＧ符号化処理及びＪＰＥＧ復号処理により得られる画像の画素と可逆圧縮領域の画素とを結合することによって、１６×１６画素の復号画像データを生成する。圧縮符号化データを出力する場合は、ＪＰＥＧ符号化データを復号せずに出力する。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００ 符号化装置； １０１ 領域分割部； １０２ 領域数カウント部； １０３ 画素置換部； １０４ 色空間変換部； １０５ ＤＣＴ部； １０６ 量子化部； １０７ 選択部； １０８ エントロピー符号化部； １０９ 選択部； １１０ 境界生成部； １１１ 境界ヘッダ生成部； １１２ 境界軌跡情報生成部； １１３ 整列部； １１４ 逆量子化部； １１５ ＩＤＣＴ部； １１６ 色空間変換部； １１７ 画素結合部

Claims (13)

1. 入力画像を構成する複数の矩形画像のそれぞれに対して第１の符号化又は第２の符号化を適用し符号化画像データを生成する画像処理装置であって、
   前記複数の矩形画像のうち所定の条件を満たす矩形画像に対して、所定の直交変換、所定の量子化、エントロピー符号化を含む前記第１の符号化を行う第１の符号化手段と、
   前記複数の矩形画像のうち前記所定の条件を満たさない矩形画像に対して、前記所定の直交変換、前記所定の量子化、該所定の量子化の逆変換、該所定の直交変換の逆変換を含む前記第２の符号化を行う第２の符号化手段と、
   前記第１の符号化手段又は前記第２の符号化手段により符号化されて得られる符号化データを結合することにより前記符号化画像データを生成する生成手段と、
   を有することを特徴とする画像処理装置。
2. 前記入力画像を前記複数の矩形画像に分割する前処理手段を更に有する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記矩形画像を、それぞれが、隣接しかつ同じ色である複数の画素から構成される第１の領域と異なる色である複数の画素が混在する第２の領域との何れかである複数の領域に分割する領域分割手段と、
   前記領域分割手段により得られた前記複数の領域の個数をカウントするカウント手段と、
   を更に有し、
   前記所定の条件は、前記複数の領域の個数が所定の個数未満であることである
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記領域分割手段は、前記矩形画像の領域を特定する領域情報を生成する
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記領域情報は、前記複数の領域の間の境界を特定する画素に関する情報と、該境界の軌跡に関する情報と、を含む
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記第１の符号化手段は、前記第１の領域に対しては可逆符号化を行う
   ことを特徴とする請求項３に記載の画像処理装置。
7. 前記第２の符号化手段は、前記第１の領域に対しては前記矩形画像の画素に置換する
   ことを特徴とする請求項３に記載の画像処理装置。
8. 前記第１の符号化手段と前記第２の符号化手段との少なくともいずれか一方は、現在注目する矩形画像を、隣接する矩形画像に対する量子化パラメータと同じ量子化パラメータで量子化し、前記隣接する矩形画像に対する直交変換パラメータと同じ直交変換パラメータで直交変換する
   ことを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
9. 前記直交変換は、離散コサイン変換（ＤＣＴ）である
   ことを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
10. 前記第１の符号化は、ＪＰＥＧ符号化処理を含み、
    前記第２の符号化は、ＪＰＥＧ符号化処理及びＪＰＥＧ復号処理を含む
    ことを特徴とする請求項１乃至９の何れか１項に記載の画像処理装置。
11. 請求項１乃至１０の何れか１項に記載の画像処理装置によって生成された符号化画像データを復号する画像処理装置であって、
    前記符号化画像データに含まれ前記複数の矩形画像に対応する複数の符号化データを抽出する抽出手段と、
    前記複数の符号化データのうち前記第１の符号化で符号化された符号化データを、前記所定の量子化の逆変換及び前記所定の直交変換の逆変換を含む処理により復号する第１の復号手段と、
    前記複数の符号化データのうち前記第２の符号化で符号化された符号化データを、前記所定の量子化の逆変換及び該所定の直交変換の逆変換を含まない処理により復号する第２の復号手段と、
    前記第１の復号手段又は前記第２の復号手段により復号されて得られる矩形画像を結合することにより画像を生成する生成手段と、
    を有することを特徴とする画像処理装置。
12. 入力画像を構成する複数の矩形画像のそれぞれに対して第１の符号化又は第２の符号化を適用し符号化画像データを生成する画像処理装置の制御方法であって、
    前記複数の矩形画像のうち所定の条件を満たす矩形画像に対して、所定の直交変換、所定の量子化、エントロピー符号化を含む前記第１の符号化を行う第１の符号化工程と、
    前記複数の矩形画像のうち前記所定の条件を満たさない矩形画像に対して、前記所定の直交変換、前記所定の量子化、該所定の量子化の逆変換、該所定の直交変換の逆変換を含む前記第２の符号化を行う第２の符号化工程と、
    前記第１の符号化工程又は前記第２の符号化工程により符号化されて得られる符号化データを結合することにより前記符号化画像データを生成する生成工程と、
    を含むことを特徴とする画像処理装置の制御方法。
13. コンピュータを、請求項１乃至１０の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images