JP2004112610A - 画像処理装置 - Google Patents

Abstract

【課題】画像データをサブサンプリングした後に回転処理する場合に、色差成分の入れ替えを行うと画質の低下を招いてしまう。
【解決手段】画像処理装置の構成として、画像データを入力する画像入力部１と、入力された画像データを輝度成分と色差成分に分離するＹ／Ｃ分離部２と、分離処理された画像データをサブサンプリングするサブサンプリング部３と、サブサンプリング処理された後の画像データを回転する画像回転部４と、画像回転部４で適用される画像の回転角度に応じて、サブサンプリング部３で画像データをサブサンプリング処理するときの処理方向を切り替える制御部９とを備える。
【選択図】　　　　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、入力された画像データを処理する画像処理装置に関する。
【０００２】
【従来の技術】
従来、多値のカラー画像に対して画像処理（特に圧縮処理）を行う場合、１ページ分の画像処理に要する処理時間を短縮したり、画像データを蓄積するためのメモリ容量を削減したり、圧縮後の１ページ分の符号データ量を削減（高圧縮率化）したりするために、画像処理の対象となる多値のカラー画像データを輝度成分（輝度信号）と色差成分（色差信号）に分解し（ＹＣｂＣｒ、Ｌ＊ａ＊ｂ＊色空間）、そのうちの色差成分をサブサンプリングすることにより、処理対象となる画像データの容量を削減する手法が広く用いられている。
【０００３】
また、ＩＳＯ　ＤＩＳ　１０９１８−１（ＩＴＵ−Ｔ　Ｒｅｃ．　Ｔ．８１）で定義されるＪＰＥＧ（Ｊｏｉｎｔ　Ｐｈｏｔｏｇｒａｐｈｉｃ　Ｃｏｄｉｎｇ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）方式では、複数の成分（ＲＧＢ、ＹＭＣＫ、Ｌ＊ａ＊ｂ＊、ＹＣｂＣｒ）からなるカラー画像データの所望の成分をサブサンプリングして圧縮処理することが可能である。このＪＰＥＧ方式で規定されるサブサンプリングのフォーマットは多数のバリエーションが存在し、一般的にはあまり用いられていないフォーマットも存在する。また、特にハードウェアで圧縮／伸長処理機能を実装する場合は、圧縮／伸長手段が備えるバッファメモリの容量が増大してしまうことがある。そのため、主走査方向のサブサンプリング処理のみを行う４：２：２形式のフォーマットが用いられることが多い。
【０００４】
サブサンプリング／アップサンプリング処理を実行するハードウェアにおいても、単純に画素を間引く手法ではなく、対象となる画素間の演算処理によってサブサンプリング／アップサンプリング後の画素値を算出する手法を採用した場合に、副走査方向のサブサンプリング／アップサンプリング処理に対応するためにはバッファメモリを持たなければならない。このことも、主走査方向のサブサンプリング処理のみを行う４：２：２形式のフォーマットが多く用いられる要因となっている。
【０００５】
そこで従来においては、ＲＧＢ（赤，緑，青）の三原色の成分からなるカラー画像データをＹ／Ｃ分離処理することにより、輝度成分Ｙと色差成分Ｃｒ，Ｃｂに分解し、このうちの色差成分Ｃｒ，Ｃｂを主走査方向に１／２にサブサンプリングして４：２：２形式の画像データ（サブサンプリングデータ）を生成し、この４：２：２形式の画像データに対して回転処理を行う技術が開示されている（例えば、特許文献１参照）。このように４：２：２形式のサブサンプリングを採用することにより、サブサンプリング実行前と比較してデータ量が２／３になるため、その分だけメモリ容量を削減することが可能となる。
【０００６】
【特許文献１】
特開平１１−６９１３５号公報（段落００１０）
【０００７】
【発明が解決しようとする課題】
しかしながら、従来の技術においては、次のような問題があった。先ず、図１０（Ａ）に示すように、４：２：２形式のサブサンプリング処理によって得られた４×４画素の輝度成分Ｙと色差成分Ｃｒ，Ｃｂの画像データに対し、図１０（Ｂ）に示すように、左９０°の回転処理を行った場合、１ライン目と３ライン目の色差成分はＣｂ成分のみとなり、２ライン目と４ライン目の色差成分はＣｒ成分のみとなる。そうした場合、ライン方向で隣接する２つの画素の情報から色差成分をアップサンプリングするときに、この２つの画素の色差成分が共にＣｒ成分又はＣｂになっていると、本来の色情報を再現することができず、結果的に回転画像を適切に表示できないといった状況を招いてしまう。
【０００８】
そこで、上記特許文献１に記載の技術では、図１０（Ｂ）に矢印で示すように対角位置の色差成分Ｃｒ，Ｃｂを入れ替えることにより、図１０（Ｃ）に示すような画像データを生成し、これによって各ラインの画素間でＣｒ成分とＣｂ成分を隣接させるようにしている。しかしながら、このような色差成分Ｃｂ，Ｃｒの入れ替えを行うと、元々の画像データと比較した場合に、輝度成分Ｙと色差成分Ｃｒ，Ｃｂの対応関係が異なるものとなる。具体例として、図１０（Ａ）に示す画像データの場合は、［Ｙ（０，０）、Ｃｒ（０，０）］の画素と［Ｙ（１，０）、Ｃｂ（０，０）］の画素の情報から色差成分をアップサンプリングすることになるが、図１０（Ｃ）に示す画像データの場合は、［Ｙ（０，０）、Ｃｒ（０，０）］の画素と［Ｙ（０，１）、Ｃｂ（０，０）］の画素の情報から色差成分をアップサンプリングすることになる。そのため、輝度成分Ｙと色差成分Ｃｒ，Ｃｂの対応関係の違いによって画質の低下を招くという問題があった。
【０００９】
【課題を解決するための手段】
本発明に係る画像処理装置は、画像データを入力する画像入力手段と、この画像入力手段から入力された画像データを輝度成分と色差成分に分離する分離手段と、この分離手段で分離処理された画像データをサブサンプリングするサブサンプリング手段と、このサブサンプリング手段でサブサンプリング処理された後の画像データを回転する画像回転手段と、この画像回転手段で適用される画像の回転角度に応じて、サブサンプリング手段で画像データをサブサンプリング処理するときの処理方向を切り替える制御手段とを備えるものである。
【００１０】
この画像処理装置においては、画像回転手段で適用される画像の回転角度に応じて、サブサンプリング手段で画像データをサブサンプリング処理するときの処理方向を切り替えることにより、画像データの輝度成分と色差成分の対応関係を変えることなく、回転処理後の画像データの形式に適合した方向でアップサンプリングを行うことが可能となる。
【００１１】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しつつ詳細に説明する。
【００１２】
図１は本発明の実施形態に係る画像処理装置の構成例を示すブロック図である。図１において、画像入力部１は、処理対象となるＲＧＢのカラー画像データを入力するものである。Ｙ／Ｃ分離部２は、画像入力部１から入力されたカラー画像データを輝度成分（輝度信号）Ｙと色差成分（色差信号）Ｃｒ（Ｒ−Ｙ），Ｃｂ（Ｂ−Ｙ）に分離するものである。輝度成分Ｙは明るさを表すもので、色差成分Ｃｒ，Ｃｂは色の種類（色相）とあざやかさ（彩度）を表すものである。
【００１３】
サブサンプリング部３は、Ｙ／Ｃ分離部２から供給される輝度成分Ｙと色差成分Ｃｒ，Ｃｂの画像データに対して、４：２：２形式のサブサンプリング処理を行うものである。画像回転部４は、画像データの回転処理を行うものである。画像圧縮部５は、画像データの圧縮処理を行うものである。画像伸長部６は、画像データの伸長処理を行うものである。アップサンプリング部７は、４：２：２形式でサブサンプリング処理された画像データを、元の状態に復元するためにアップサンプリング処理を行うものである。画像出力部８は、アップサンプリング部７で生成された画像データを印刷、表示等のために出力するものである。
【００１４】
一方、制御部９は、上述したサブサンプリング部３、画像回転部４、画像圧縮部５、画像伸長部６、アップサンプリング部７の各々の処理動作を統括的に制御するものである。記憶部１０は、各々の処理動作を行うにあたって、例えば、データを一時的に保持するためのバッファ等として用いられるものである。各々の機能部（３〜１０）は、共通のデータバス１１を介して相互に接続されている。
【００１５】
ここで、サブサンプリング部３が行う４：２：２形式のサブサンプリング処理とこれに対応してアップサンプリング部７が行うアップサンプリング処理について図２を用いて説明する。図２の（Ａ）はオリジナルの画像データを示し、（Ｂ）はオリジナルの画像データをサブサンプリングしたときの画像データを示し、（Ｃ）はサブサンプリング後の画像データをアップサンプリングしたときの画像データを示している。
【００１６】
図２（Ａ）〜（Ｃ）から分かるように、オリジナルの画像データを８×８画素の４ブロックで表すと、輝度成分Ｙは、サブサンプリング処理やアップサンプリング処理に際しても、８×８画素の４ブロックのまま変わらない。これに対して、元の８×８画素の４ブロックで色差成分Ｃｒ，Ｃｂを主走査方向に１／２にサブサンプリング処理すると、主走査方向で元々２画素であったものが１画素でまとめて表されるため、色差成分Ｃｒ，Ｃｂのデータ数が元の半分、つまり「２」になる。同様に、元の８×８画素の４ブロックで色差成分Ｃｒ，Ｃｂを副走査方向に１／２にサブサンプリング処理すると、副走査方向で元々２画素であったものが１画素でまとめて表されるため、色差成分Ｃｒ，Ｃｂのデータ数が元の半分、つまり「２」になる。これにより、サブサンプリング処理後の画像データは、輝度成分Ｙが４ブロックのままで、色差成分Ｃｒ，Ｃｂが縦横それぞれ２ブロックの比率になることから、この処理形式を適用したサブサンプリング処理を４：２：２形式のサブサンプリング処理（サブサンプリングモード）という。
【００１７】
一方、４：２：２形式で主走査方向に１／２にサブサンプリング処理された色差成分Ｃｒ，Ｃｂの画像データを元の状態（８×８画素の４ブロックの画像データ）に戻す場合は、サブサンプリング処理後の色差成分Ｃｒ，Ｃｂの画像データを主走査方向に２倍にアップサンプリング処理する。また、４：２：２形式で副走査方向に１／２にサブサンプリング処理された色差成分Ｃｒ，Ｃｂの画像データを元の状態（８×８画素の４ブロックの画像データ）に戻す場合は、サブサンプリング処理後の色差成分Ｃｒ，Ｃｂの画像データを副走査方向に２倍にアップサンプリング処理する。
【００１８】
ちなみに、「主走査方向」は本発明における「第１の方向」に該当するものとなり、「副走査方向」は本発明における「第２の方向」に該当するものとなる。主走査方向と副走査方向に関しては、例えば、画像入力部１から入力される画像データが、原稿をスキャナで読み取って得た画像データである場合に、スキャナにおける撮像素子（ＣＣＤセンサ等）の読み取りライン方向が主走査方向（第１の方向）となり、この主走査方向に直交する方向（例えば、キャリッジの移動方向や原稿の移動方向）が副走査方向（第２の方向）となる。
【００１９】
続いて、上記構成からなる画像処理装置を用いた画像処理方法の具体的な処理例について説明する。なお、以下に述べる各々の処理例は、いずれも制御部９の制御処理に基づいて実行されるものである。
【００２０】
図３は本発明の画像処理装置によって行われる第１処理例を示すフローチャートである。この第１処理例は、入力された画像データを０°、９０°、１８０°、２７０°のいずれかで回転させる場合に、この回転処理に適用される画像の回転角度を、サブサンプリングを行う前に予め制御部９で把握している場合に適用されるものである。
【００２１】
先ず、画像入力部１からカラー画像データが入力されると、この入力されたカラー画像データをＹ／Ｃ分離部２で輝度成分Ｙと色差成分Ｃｒ，Ｃｂに分離する（ステップＳ１０１、Ｓ１０２）。次に、後述する画像の回転処理で適用される画像の回転角度が０°又は１８０°であるか否かを判定し（ステップＳ１０３）、「Ｙｅｓ」の場合（画像の回転角度が０°又は１８０°の場合）はステップＳ１０４に、「Ｎｏ」の場合（画像の回転角度が９０°又は２７０°の場合）はステップＳ１０５に進む。
【００２２】
ステップＳ１０４においては、先のステップＳ１０２で分離した画像データの色差成分Ｃｒ，Ｃｂを、サブサンプリング部３で主走査方向に１／２にサブサンプリング処理する。また、ステップＳ１０５においては、先のステップＳ１０２で分離した画像データの色差成分Ｃｒ，Ｃｂを、サブサンプリング部３で副走査方向に１／２にサブサンプリング処理する。
【００２３】
続いて、画像回転部４で画像データを回転処理する（ステップＳ１０６）。画像の回転角度は、右回り（時計回り）又は左廻り（反時計回り）のいずれで規定されてもよい。このとき、画像の回転角度が０°又は１８０°で指定されている場合は、先のステップＳ１０４で色差成分Ｃｒ，Ｃｂを主走査方向に１／２にサブサンプリング処理した画像データを指定の回転角度（０°又は１８０°）にしたがって回転処理する。また、画像の回転角度が９０°又は２７０°で指定されている場合は、先のステップＳ１０５で色差成分Ｃｒ，Ｃｂを副走査方向に１／２にサブサンプリング処理した画像データを指定の回転角度（９０°又は２７０°）にしたがって回転処理する。
【００２４】
これにより、画像の回転角度にかかわらず、画像回転部４で回転処理された後の画像データのサンプリング形式が同一のものとなる。具体的には、０°、９０°、１８０°、２７０°のいずれの回転角度で回転処理された画像データであっても、回転処理後のデータ形式はいずれも色差成分Ｃｒ，Ｃｂを主走査方向に１／２にサブサンプリング処理したデータと同様の形式となる。したがって、回転処理後の画像データにおいては、色差成分Ｃｒ，Ｃｂの並べ替えを行わなくても、主走査方向で色差成分Ｃｒ，Ｃｂが互いに隣接した状態で配列される。
【００２５】
その後は、画像圧縮部５による画像の圧縮処理（ステップＳ１０７）、画像伸長部６による画像の伸長処理（ステップＳ１０８）及びアップサンプリング部７による画像のアップサンプリング処理（ステップＳ１０９）を順に行った後、画像出力部８で画像データを出力する（ステップＳ１１０）。このとき、アップサンプリング部７は、回転処理後のデータ形式にしたがって、画像データを主走査方向に２倍にアップサンプリングする。
【００２６】
この第１処理例においては、画像データをサブサンプリング処理した後に回転処理するとともに、この回転処理に際して画像回転部４で適用される画像の回転角度に応じて、サブサンプリング部４によるサブサンプリング処理の処理方向（主走査方向、副走査方向）を切り替えることにより、画像データの輝度成分Ｙと色差成分Ｃｒ，Ｃｂの対応関係を変えることなく、２つの画素間で色差成分Ｃｒ，Ｃｂが隣接する方向にアップサンプリング処理を行うことができる。これにより、色差成分Ｃｒ，Ｃｂの組み合わせでアップサンプリングが行われるため、画像の色情報を適切に再現することができる。
【００２７】
さらに詳述すると、上記従来の技術で記述した特許文献１に記載の技術では、先ず、図４（Ａ）に示すサブサンプリング実行前の画像データ（輝度信号Ｙと色差信号Ｃｒ，Ｃｂに分離された画像データ）に対して、主走査方向にサブサンプリング処理を行うことにより、図４（Ｂ）に示すサブサンプリング実行後の画像データを生成する。次に、サブサンプリング実行後の画像データを例えば左９０°で回転処理することにより、図４（Ｃ）に示す回転後の画像データを生成する。次いで、回転後の画像データにおいて対角位置の関係にある色差成分Ｃｒ，Ｃｂを入れ替えることにより、図４（Ｄ）に示す入れ替え後の画像データを生成する。この場合、サンプリング実行前の画像データと色差成分Ｃｒ，Ｃｂの入れ替え後の画像データで、輝度成分Ｙと色差成分Ｃｒ，Ｃｂの対応関係が崩れてしまう。
【００２８】
これに対して、上記第１処理例においては、先ず、図５（Ａ）に示すサブサンプリング後の画像データに対して、例えば回転処理時に適用される画像の回転角度が左９０°であることを予め認識していると、この回転角度に応じて、サブサンプリング処理を副走査方向に行うため、図５（Ｂ）に示すサブサンプリング実行後の画像データを生成する。次いで、サブサンプリング実行後の画像データを左９０°で回転処理することにより、図５（Ｃ）に示す回転後の画像データを生成する。この場合、サンプリング実行前の画像データと色差成分Ｃｒ，ｃｂの入れ替え後の画像データで、輝度成分Ｙと色差成分Ｃｒ，Ｃｂの対応関係が変わらずに保持される。また、主走査方向にサブサンプリングを行う場合に、その処理方向に沿う２つの画素間で色差成分Ｃｒ，Ｃｂが互いに隣接した状態となる。
【００２９】
また、上記第１処理例においては、サブサンプリング処理した画像データを回転処理するため、回転処理後の画像データを格納するためのメモリ容量を削減できるとともに回転処理時間を短縮することができる。さらに、画像圧縮部５、画像伸長部６及びアップサンプリング部７は、それぞれ４：２：２形式の主走査方向のサブサンプリングにのみ対応するだけで済む。
【００３０】
ちなみに、上記第１処理例においては、記憶部１０のバッファ構成として、画像の回転処理後の画像データを記憶するページバッファ、画像の圧縮処理によって符号化された画像データを記憶する符号バッファ、画像の伸長処理によって復号化されかつアップサンプリング処理された画像データをラスターデータに変換するためのバッファを持つ構成となる。
【００３１】
また、上記第１処理例において、例えば、「投影法」のように２つの画素間の演算処理（平均化処理など）によって２つの画素の代表画素値を算出するサブサンプリングの手法を採用すると、副走査方向のサブサンプリング処理を行う際にラインメモリが必要になる。このラインメモリを不要とするには、主走査方向のサブサンプリング処理では２つの画素間の演算処理によって代表画素値を算出する手法（投影法など）を採用し、副走査方向のサブサンプリング処理では２つの画素のうちの一方を間引く、いわゆる単純間引き法によって２つの画素の代表画素値を求める方法を採用すればよい。
【００３２】
図６は本発明の画像処理装置によって行われる第２処理例を示すフローチャートである。先ず、画像入力部１からカラー画像データが入力されると、この入力されたカラー画像データをＹ／Ｃ分離部２で輝度成分Ｙと色差成分Ｃｒ，Ｃｂに分離する（ステップＳ２０１、Ｓ２０２）。続いて、先のステップＳ２０２で分離した画像データの色差成分Ｃｒ，Ｃｂを、サブサンプリング部３で主走査方向に１／２にサブサンプリング処理する（ステップＳ２０３）。このサンプリング処理は、後述する画像の回転角度にかかわらず、常に主走査方向に対してのみ行われる。
【００３３】
次いで、画像回転部４で画像データを回転処理する（ステップＳ２０４）。このとき、画像の回転角度は、０°、９０°、１８０°、２７０°のいずれかが適用されるため、この適用された回転角度にしたがって画像データを回転処理する。
【００３４】
これにより、画像の回転角度が０°又は１８０°で回転処理された後の画像データは、いずれも色差成分Ｃｒ，Ｃｂを主走査方向に１／２にサブサンプリング処理したデータと同様のものとなる。この場合、色差成分Ｃｒ，Ｃｂは主走査方向に沿う２つの画素間で互いに隣接した状態となる。一方、画像の回転角度が９０°又は２７０°で回転処理された後の画像データは、いずれも色差成分Ｃｒ，Ｃｂを副走査方向に１／２にサブサンプリング処理したデータと同様のものとなる。この場合、色差成分Ｃｒ，Ｃｂは副走査方向に沿う２つの画素間で互いに隣接した状態となる。
【００３５】
そこで、続くステップＳ２０５においては、その前のステップＳ２０４の画像回転処理で適用された画像の回転角度が０°又は１８０°であるか否かを判定する。そして、画像の回転角度が０°又は１８０°である場合（ステップＳ２０５で「Ｙｅｓ」の場合）は、画像回転部４で回転処理された画像データを、色差成分Ｃｒ，Ｃｂを主走査方向に１／２にサブサンプリング処理した４：２：２形式の画像データとして、画像圧縮部５による画像の圧縮処理（ステップＳ２０６）、画像伸長部６による画像の伸長処理（ステップＳ２０７）及びアップサンプリング部７による画像のアップサンプリング処理（ステップＳ２０８）を順に行う。このとき、アップサンプリング部７は、画像データの取り扱い形式にしたがって、画像データを主走査方向（色差成分Ｃｒ，Ｃｂが隣接する方向）に２倍にアップサンプリングする。この主走査方向のアップサンプリングに際しては、一つの画素の画素値から演算処理によって２つの画素の画素値を算出する手法を用いることが望ましい。
【００３６】
これに対して、画像の回転角度が９０°又は２７０°である場合（ステップＳ２０５で「Ｎｏ」の場合）は、画像回転部４で回転処理された画像データを、色差成分Ｃｒ，Ｃｂを副走査方向に１／２にサブサンプリング処理した４：２：２形式の画像データとして、画像圧縮部５による画像の圧縮処理（ステップＳ２０９）、画像伸長部６による画像の伸長処理（ステップＳ２１０）及びアップサンプリング部７による画像のアップサンプリング処理（ステップＳ２１１）を順に行う。このとき、アップサンプリング部７は、画像データの取り扱い形式にしたがって、画像データを副走査方向（色差成分Ｃｒ，Ｃｂが隣接する方向）に２倍にアップサンプリングする。この副走査方向のアップサンプリングに際しては、一つの画素の画素値を、副走査方向で隣接する２つの画素の画素値として複数回出力する手法を採用することが望ましい。その後は、アップサンプリング部７から供給された画像データを画像出力部８で出力する（ステップＳ２１２）。
【００３７】
この第２処理例においては、サブサンプリング部４で常に色差成分Ｃｒ，Ｃｂを主走査方向に１／２にサブサンプリング処理するとともに、その後の画像データのアップサンプリング処理の処理方向を、画像の回転処理で適用された画像の回転角度に応じて切り替えることにより、画像データの輝度成分Ｙと色差成分Ｃｒ，Ｃｂの対応関係を変えることなく、２つの画素間で色差成分Ｃｒ，Ｃｂが隣接する方向にアップサンプリング処理を行うことができる。これにより、色差成分Ｃｒ，Ｃｂの組み合わせでアップサンプリングが行われるため、画像の色情報を適切に再現することができる。
【００３８】
また、第２処理例においては、サブサンプリング処理した画像データを回転処理するため、回転処理後の画像データを格納するためのメモリ容量を削減できるとともに回転処理時間を短縮することができる。さらに、サブサンプリング部３は、４：２：２形式の主走査方向のサブサンプリングにのみ対応するだけで済む。
【００３９】
ちなみに、上記第２処理例においては、記憶部１０のバッファ構成として、、画像の回転処理後の画像データを記憶するページバッファ、画像の圧縮処理によって符号化された画像データを記憶する符号バッファ、画像の伸長処理によって復号化されかつアップサンプリング処理された画像データをラスターデータに変換するためのバッファを持つ構成となる。
【００４０】
図７は本発明の画像処理装置によって行われる第３処理例を示すフローチャートである。先ず、画像入力部１からカラー画像データが入力されると、この入力されたカラー画像データをＹ／Ｃ分離部２で輝度成分Ｙと色差成分Ｃｒ，Ｃｂに分離する（ステップＳ３０１、Ｓ３０２）。続いて、先のステップＳ３０２で分離した画像データの色差成分Ｃｒ，Ｃｂを、サブサンプリング部３で主走査方向に１／２にサブサンプリング処理する（ステップＳ３０３）。このサンプリング処理は、後述する画像の回転角度にかかわらず、常に主走査方向に対してのみ行われる。
【００４１】
次いで、画像圧縮部５で画像の圧縮処理を行った後、画像伸長部６で画像の伸長処理を行う（ステップＳ３０４、Ｓ３０５）。次に、画像回転部４で画像データを回転処理する（ステップＳ３０６）。このとき、画像の回転角度は、０°、９０°、１８０°、２７０°のいずれかが適用されるため、この適用された回転角度にしたがって画像データを回転処理する。
【００４２】
これにより、画像の回転角度が０°又は１８０°で回転処理された後の画像データは、いずれも色差成分Ｃｒ，Ｃｂを主走査方向に１／２にサブサンプリング処理したデータと同様のものとなる。この場合、色差成分Ｃｒ，Ｃｂは主走査方向に沿う２つの画素間で互いに隣接した状態となる。また、画像の回転角度が９０°又は２７０°で回転処理された後の画像データは、いずれも色差成分Ｃｒ，Ｃｂを副走査方向に１／２にサブサンプリング処理したデータと同様のものとなる。この場合、色差成分Ｃｒ，Ｃｂは副走査方向に沿う２つの画素間で互いに隣接した状態となる。
【００４３】
そこで、続くステップＳ３０７においては、その前のステップＳ３０６の画像回転処理で適用された画像の回転角度が０°又は１８０°であるか否かを判定する。そして、画像の回転角度が０°又は１８０°である場合（ステップ３０７で「Ｙｅｓ」の場合）は、画像回転部４で回転処理された画像データを、色差成分Ｃｒ，Ｃｂを主走査方向に１／２にサブサンプリング処理した４：２：２形式の画像データとして、アップサンプリング部７による画像のアップサンプリング処理を行う（ステップＳ３０８）。このとき、アップサンプリング部７は、画像データの取り扱い形式にしたがって、画像データを主走査方向（色差成分Ｃｒ，Ｃｂが隣接する方向）に２倍にアップサンプリングする。この主走査方向のアップサンプリングに際しては、一つの画素の画素値から演算処理によって２つの画素の画素値を算出する手法を用いることが望ましい。
【００４４】
これに対して、画像の回転角度が９０°又は２７０°である場合（ステップＳ３０７で「Ｎｏ」の場合）は、画像回転部４で回転処理された画像データを、色差成分Ｃｒ，Ｃｂを副走査方向に１／２にサブサンプリング処理した４：２：２形式の画像データとして、アップサンプリング部７による画像のアップサンプリング処理を行う（ステップＳ３０９）。このとき、アップサンプリング部７は、画像データの取り扱い形式にしたがって、画像データを副走査方向（色差成分Ｃｒ，Ｃｂが隣接する方向）に２倍にアップサンプリングする。この副走査方向のアップサンプリングに際しては、一つの画素の画素値を、副走査方向で隣接する２つの画素の画素値として複数回出力する手法を採用することが望ましい。その後は、アップサンプリング部７から供給された画像データを画像出力部８で出力する（ステップＳ３１０）。
【００４５】
この第３処理例においては、サブサンプリング部４で常に色差成分Ｃｒ，Ｃｂを主走査方向に１／２にサブサンプリング処理するとともに、その後の画像データのアップサンプリング処理の処理方向を、画像の回転処理で適用された画像の回転角度に応じて切り替えることにより、画像データの輝度成分Ｙと色差成分Ｃｒ，Ｃｂの対応関係を変えることなく、２つの画素間で色差成分Ｃｒ，Ｃｂが隣接する方向にアップサンプリング処理を行うことができる。これにより、色差成分Ｃｒ，Ｃｂの組み合わせでアップサンプリングが行われるため、画像の色情報を適切に再現することができる。
【００４６】
また、第３処理例においては、サブサンプリング処理した画像データを回転処理するため、回転処理後の画像データを格納するためのメモリ容量を削減できるとともに回転処理時間を短縮することができる。さらに、サブサンプリング部３、画像圧縮部５及び画像伸長部６は、それぞれ４：２：２形式の主走査方向のサブサンプリングにのみ対応するだけで済む。
【００４７】
また、アップサンプリング処理後に画像の回転処理を行う場合は、アップサンプリング処理後に画像データを一旦メモリに書き戻す必要がある。これに対して、上記第３処理例で示すように、画像の回転処理後にアップサンプリング処理を行う場合は、アップサンプリング処理後に画像データをメモリに書き戻す必要がないため、メモリ容量としてはサブサンプリング処理後の画像データの容量分だけで済む。
【００４８】
ちなみに、上記第３処理例においては、記憶部１０のバッファ構成として、画像の圧縮処理によって符号化された画像データを記憶する符号バッファ、画像の伸長処理によって復号化されかつアップサンプリング処理された画像データをラスターデータに変換するためのバッファ、画像の回転処理後の画像データを記憶するページバッファを持つ構成となる。
【００４９】
図８は本発明の画像処理装置によって行われる第４処理例を示すフローチャートである。先ず、画像入力部１からカラー画像データが入力されると、この入力されたカラー画像データをＹ／Ｃ分離部２で輝度成分Ｙと色差成分Ｃｒ，Ｃｂに分離する（ステップＳ４０１、Ｓ４０２）。続いて、先のステップ４０２で分離した画像データの色差成分Ｃｒ，Ｃｂを、サブサンプリング部３で主走査方向に１／２にサブサンプリング処理する（ステップＳ４０３）。このサブサンプリング処理は、後述する画像の回転角度にかかわらず、常に主走査方向に対してのみ行われる。
【００５０】
次いで、画像圧縮部５で画像の圧縮処理を行った後、画像伸長部６で画像の伸長処理を行う（ステップＳ４０４、Ｓ４０５）。次に、画像伸長部６から供給された画像データの色差成分Ｃｒ，Ｃｂをアップサンプリング部７で主走査方向に２倍にアップサンプリング処理した後、画像回転部４で画像の回転処理を行う（ステップＳ４０６、Ｓ４０７）。アップサンプリング部７でアップサンプリング処理された画像データはページ単位でページバッファ（格納手段）に格納される。その後、画像回転部４から供給された画像データを画像出力部８で出力する（ステップＳ４０８）。
【００５１】
ここで、画像回転部４は、アップサンプリング処理後にページバッファに格納された画像データを、画像の回転角度に応じた順序でページバッファから読み出して回転処理した後、１ページ分の画像データをバッファ手段に記憶することなく画像出力部８に供給し、この画像出力部８からプリンタ等で出力可能なラスター順序で画像データを出力する。ページバッファからの画像データの読み出しは、例えば、画像の回転角度が０°の場合は、ページバッファ内の画像データを左上から右下に向かって順に読み出すことで行われ、画像の回転角度が左９０°の場合は、ページバッファ内の画像データを右上から左下に向かって順に読み出すことで行われる。また、画像の回転角度が１８０°の場合は、ページバッファ内の画像データを右下から左上に向かって順に読み出すことで行われ、画像の回転角度が左２７０°の場合は、ページバッファ内の画像データを左下から右上に向かって順に読み出すことで行われる。
【００５２】
この第４処理例においては、サブサンプリング部４で常に色差成分Ｃｒ，Ｃｂを主走査方向に１／２にサブサンプリング処理し、その後、画像データをアップサンプリング処理した後で、画像の回転角度に応じた順序でページバッファから画像データを読み出して回転処理することにより、画像データの輝度成分Ｙと色差成分Ｃｒ，Ｃｂの対応関係を変えることなく、２つの画素間で色差成分Ｃｒ，Ｃｂが隣接する方向にアップサンプリング処理を行うことができる。これにより、色差成分Ｃｒ，Ｃｂの組み合わせでアップサンプリングが行われるため、画像の色情報を適切に再現することができる。
【００５３】
また、第４処理例においては、サブサンプリング処理した画像データを回転処理するため、回転処理後の画像データを格納するためのメモリ容量を削減できるとともに回転処理時間を短縮することができる。さらに、サブサンプリング部３、画像圧縮部５、画像伸長部６、アップサンプリング部７は、それぞれ４：２：２形式の主走査方向のサブサンプリングにのみ対応するだけで済む。
【００５４】
ちなみに、上記第４処理例においては、記憶部１０のバッファ構成として、画像の圧縮処理によって符号化された画像データを記憶する符号バッファ、画像の伸長処理によって復号化された画像データを記憶するページバッファを持つ構成となる。
【００５５】
また、上記第４処理例においては、画像の回転角度が０°又は１８０°の場合、回転処理するデータ量を削減するために、画像を回転処理した後にアップサンプリング処理することも可能である。
【００５６】
図９は本発明の画像処理装置によって行われる第５処理例を示すフローチャートである。先ず、画像入力部１からカラー画像データが入力されると、この入力されたカラー画像データをＹ／Ｃ分離部２で輝度成分Ｙと色差成分Ｃｒ，Ｃｂに分離する（ステップＳ５０１、Ｓ５０２）。次に、先のステップＳ５０１で入力された画像データが既に４：２：２形式で主走査方向にサブサンプリングされた画像データ（サブサンプリング済の画像データ）であるかどうかを確認する（ステップＳ５０３）。そして、「Ｙｅｓ」の場合はステップＳ５０４に進み、「Ｎｏ」の場合はステップＳ５０５に移行する。
【００５７】
ステップＳ５０４においては、上記入力されたカラー画像データが既に圧縮処理された符号データ（圧縮済の画像データ）であるかどうかを確認する。そして、「Ｙｅｓ」の場合は上記第３処理例のステップＳ３０５（図７参照）からの処理に移行し、「Ｎｏ」の場合は上記第３処理例のステップＳ３０４（図７参照）からの処理に移行する。
【００５８】
一方、ステップＳ５０５においては、画像の回転処理に適用される回転角度を、サブサンプリングを行う前に予め把握しているかどうかを確認し、予め把握している場合（「Ｙｅｓ」の場合）は上記第１処理例のステップＳ１０３（図３参照）からの処理に移行し、予め把握していない場合（「Ｎｏ」の場合）は上記第３処理例のステップＳ３０３（図７参照）からの処理に移行する。
【００５９】
この第５処理例においては、入力された画像データがサブサンプリング済であるか、圧縮済であるかによって、或いは、入力された画像データに適用される画像の回転角度を予め把握しているかどうかによって、それぞれ処理の順序を切り替えるとともに、アップサンプリング処理の処理方向又はサブサンプリング処理の処理方向を切り替えるため、上記第１処理例や上記第３処理例と同様に、画像データの輝度成分Ｙと色差成分Ｃｒ，Ｃｂの対応関係を変えることなく、２つの画素間で色差成分Ｃｒ，Ｃｂが隣接する方向にアップサンプリング処理を行うことができる。これにより、色差成分Ｃｒ，Ｃｂの組み合わせでアップサンプリングが行われるため、画像の色情報を適切に再現することができる。
【００６０】
また、第５処理例においては、サブサンプリング処理した画像データを回転処理するため、回転処理後の画像データを格納するためのメモリ容量を削減できるとともに回転処理時間を短縮することができる。さらに、画像圧縮部５及び画像伸長部６は、それぞれ４：２：２形式の主走査方向のサブサンプリングにのみ対応するだけで済む。
【００６１】
ちなみに、上記第５処理例においては、記憶部１０のバッファ構成として、画像の圧縮処理によって符号化された画像データを記憶する符号バッファ、画像の伸長処理によって復号化されかつアップサンプリング処理された画像データをラスターデータに変換するためのバッファ、画像の回転処理後の画像データを記憶するページバッファを持つ構成となる。
【００６２】
【発明の効果】
以上説明したように本発明によれば、メモリ容量の削減や処理時間の短縮などを目的として画像データをサブサンプリングした後に回転処理する場合でも、画像データの輝度成分と色差成分の対応関係を変えることなく、色情報の再現に適した方向でアップサンプリングを行うことができる。これにより、画像の色情報を適切に再現できるため、画質の低下を確実に回避することができる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る画像処理装置の構成例を示すブロック図である。
【図２】サブサンプリングとアップサンプリングの概念図である。
【図３】本発明の画像処理装置によって行われる第１処理例を示すフローチャートである。
【図４】従来技術による画像データの遷移図である。
【図５】第１処理例による画像データの遷移図である。
【図６】本発明の画像処理装置によって行われる第２処理例を示すフローチャートである。
【図７】本発明の画像処理装置によって行われる第３処理例を示すフローチャートである。
【図８】本発明の画像処理装置によって行われる第４処理例を示すフローチャートである。
【図９】本発明の画像処理装置によって行われる第５処理例を示すフローチャートである。
【図１０】従来技術の問題点を説明する図である。
【符号の説明】
１…画像入力部、２…Ｙ／Ｃ分離部、３…サブサンプリング部、４…画像回転部、５…画像圧縮部、６…画像伸長部、７…アップサンプリング部７、画像出力部８、制御部９、記憶部１０

Claims (11)

1. 画像データを入力する画像入力手段と、
   前記画像入力手段から入力された画像データを輝度成分と色差成分に分離する分離手段と、
   前記分離手段で分離処理された画像データをサブサンプリングするサブサンプリング手段と、
   前記サブサンプリング手段でサブサンプリング処理された後の画像データを回転する画像回転手段と、
   前記画像回転手段で適用される画像の回転角度に応じて、前記サブサンプリング手段で前記画像データをサブサンプリング処理するときの処理方向を切り替える制御手段と
   を備えることを特徴とする画像処理装置。
2. 前記制御手段は、前記画像の回転角度が０°又は１８０°の場合は、前記サブサンプリング処理するときの処理方向を第１の方向に設定し、前記画像の回転角度が９０°又は２７０°の場合は、前記サブサンプリング処理するときの処理方向を前記第１の方向に直交する第２の方向に設定する
   ことを特徴とする請求項１記載の画像処理装置。
3. 前記サブサンプリング手段は、前記第１の方向にサブサンプリングする際は当該第１の方向で隣接する２つの画素間の演算処理により当該２つの画素の代表画素値を算出し、前記第２の方向にサブサンプリングする際は前当該第２の方向で隣接する２つの画素の一方を間引くことにより当該２つの画素の代表画素値を求める
   ことを特徴とする請求項１記載の画像処理装置。
4. 画像データを入力する画像入力手段と、
   前記画像入力手段から入力された画像データを輝度成分と色差成分に分離する分離手段と、
   前記分離手段で分離処理された画像データを第１の方向にサブサンプリングするサブサンプリング手段と、
   前記サブサンプリング手段でサブサンプリング処理された後の画像データを回転する画像回転手段と、
   前記画像回転手段で回転処理された後の画像データをアップサンプリングするアップサンプリング手段と、
   前記画像回転手段で適用された画像の回転角度に応じて、前記アップサンプリング手段で前記画像データをアップサンプリング処理するときの処理方向を切り替える制御手段と
   を備えることを特徴とする画像処理装置。
5. 前記制御手段は、前記画像の回転角度が０°又は１８０°の場合は、前記アップサンプリング処理するときの処理方向を第１の方向に設定し、前記画像の回転角度が９０°又は２７０°の場合は、前記アップサンプリング処理するときの処理方向を前記第１の方向に直交する第２の方向に設定する
   ことを特徴とする請求項４記載の画像処理装置。
6. 画像データを入力する画像入力手段と、
   前記画像入力手段から入力された画像データを輝度成分と色差成分に分離する分離手段と、
   前記分離手段で分離処理された画像データをサブサンプリングするサブサンプリング手段と、
   前記サブサンプリング手段でサブサンプリング処理された後の画像データをアップサンプリングするアップサンプリング手段と、
   前記アップサンプリング手段でアップサンプリング処理された画像データをページ単位で格納する格納手段から画像の回転角度に応じた順序で画像データを読み出して回転処理する画像回転手段と
   を備えることを特徴とする画像処理装置。
7. 前記アップサンプリング手段でアップサンプリング処理された画像データをバッファ手段に一時記憶することなく前記画像回転手段に供給する
   ことを特徴とする請求項６記載の画像処理装置。
8. 画像データを出力する画像出力手段を備えるとともに、前記画像回転手段で回転処理した１ページ分の画像データをバッファ手段に記憶することなく前記画像出力手段に供給する
   ことを特徴とする請求項６記載の画像処理装置。
9. 画像データを入力する画像入力手段と、
   前記画像入力手段から入力された画像データを輝度成分と色差成分に分離する分離手段と、
   画像データをサブサンプリングするサブサンプリング手段と、
   画像データを回転する画像回転手段と、
   画像データを圧縮する画像圧縮手段と、
   画像データを伸長する画像伸長手段と、
   画像データをアップサンプリングするアップサンプリング手段と、
   前記画像入力手段から入力された画像データがサブサンプリング済の画像データである場合は、当該画像データを前記画像圧縮手段で圧縮処理しかつ前記画像伸長手段で伸長処理した後に前記画像回転手段で回転処理し、その後、前記画像回転手段で適用された画像の回転角度に応じて、前記アップサンプリング手段で前記画像データをアップサンプリング処理するときの処理方向を切り替えるように制御する制御手段と
   を備えることを特徴とする画像処理装置。
10. 前記制御手段は、前記画像入力手段から入力された画像データがサブサンプリング済でかつ圧縮済の画像データである場合は、当該画像データを前記画像圧縮手段で圧縮処理することなく前記画像伸長手段で伸長処理するように制御する
    ことを特徴とする請求項９記載の画像処理装置。
11. 画像データを入力する画像入力手段と、
    前記画像入力手段から入力された画像データを輝度成分と色差成分に分離する分離手段と、
    画像データをサブサンプリングするサブサンプリング手段と、
    画像データを回転する画像回転手段と、
    画像データを圧縮する画像圧縮手段と、
    画像データを伸長する画像伸長手段と、
    画像データをアップサンプリングするアップサンプリング手段と、
    前記画像入力手段から入力された画像データを前記画像回転手段で回転処理する際の回転角度を予め把握している場合は、この把握した回転角度に応じて、前記サブサンプリング手段で前記画像データをサブサンプリング処理するときの処理方向を切り替えるように制御し、前記回転角度を予め把握していない場合は、前記画像データを前記サブサンプリング手段で第１の方向にサブサンプリングした後に前記画像圧縮手段及び前記画像伸長手段でそれぞれ画像の圧縮処理及び伸長処理を行い、その後、前記画像回転手段で画像データの回転処理を行った後、当該回転処理で適用された画像の回転角度に応じて、前記アップサンプリング手段で前記画像データをアップサンプリング処理するときの処理方向を切り替えるように制御する制御手段と
    を備えることを特徴とする画像処理装置。

Images