JP2005252393A - 画像処理装置及び方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 - Google Patents

Abstract

【課題】 簡単な構成で、色空間外の画素データを、違和感の発生しにくく、その色空間内に収めることを可能にする。
【解決手段】 ＲＧＢ色空間で所望とする色成分の明るさを増すように設定した結果、ＹＣｂＣｒの色空間におけるＲＧＢ色空間の取り得る境界３１０の外に位置する画素３０１が発生した場合、その画素値３０１を、ＹＣｂＣｒ色空間の輝度軸に垂直な方向に移動し、境界３０１に到達した画素値３０２を求める。そして、この画素値３０２をＲＧＢ空間に変換する。
【選択図】 図２

Description

本発明はデジタル画像処理データの色処理技術に関するものである。

デジタル画像データをＲＧＢ色空間で表現することが広く行われている。例えば現在広く用いられているｓＲＧＢ色空間においては、各色成分の値は０．０〜１．０の実数範囲、或いは、８ビット符号無しの整数で表現した場合には、０〜２５５の整数範囲で表わされる。

しかし、このデジタル画像信号を、他のより広範囲な色空間から変換する場合等においては、ｓＲＧＢの範囲から外れた画素値が発生することがある。

このような場合に、その外れた画素値のＲＧＢ値を例えば０．０〜１．０に収める場合には、与えられたＲ、Ｇ、Ｂ値をそれぞれ独立して０．０〜１．０の範囲にあるかどうかを調べ、例えば０．０未満ならば０．０に、１．０より大きい場合には１．０に置き換える方法（以下、単純クリップ処理）がある（特許文献１）。

また、あるいは、入力として想定される０．０〜１．０より広い範囲（例えば−０．５〜１．５）をカバーする多次元ルックアップテーブル（以下、ＬＵＴと略記）を用意し、そのＬＵＴの全データ部に０．０〜１．０の範囲内の値を格納させておくことで、入力した画素の各成分値を０．０〜１．０に変換する方法（以下、ＬＵＴによるマッピング方法と呼ぶ）なども知られている。
特開２００２−２３２９０４公報

しかしながら、単純クリップ方法の場合、Ｒ、Ｇ、Ｂの比率が大きく変わってしまうため、色味が変わってしまうという問題がある。

また、ＬＵＴマッピング方法では、変換後のＲＧＢ各色成分の取り得る範囲０．０〜１．０を例えば８ビット符号なし整数で表現して０〜２５５の２５６段階で表現し、変換対象の各成分が−０．５〜１．５の範囲を９ビット（０〜２．０に正規化することで表現できる）の５１２段階で表現する場合、ルックアップテーブル（ＬＵＴ）へ供給するインデックスは５１２の３乗（３色成分であるため）の１３４２１７７２８通り存在する。各アドレスにＲＧＢ各８ビット（＝３バイト）の値を格納することになるので、ＬＵＴの容量は実に３８４Ｍバイトの容量を必要とする。この記憶容量を削減するために、入力インデックスの値をより粗くして、その間は補間処理によって求めることも考えられるが、その結果の精度はインデックスの細かさと補間処理に依存する。特にＬＵＴのための記憶容量を削減するために、ＬＵＴの入力インデックスの取り得る範囲を粗く（狭く）した場合、補間処理による誤差が大きくなる可能性がある。この誤差を少なくするために、より複雑な補間処理を行うことも考えられるが、処理時間がかかる、あるいはハードウェアとして構成した場合に回路規模が大掛かりになるという問題がある。

本発明はかかる問題点に鑑みなされたものであり、簡単な構成で、色空間外の画素データを、違和感の発生しにくく、その色空間内に収める技術を提供しようとするものである。

この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、
画像データの画素値を修正する画像処理装置であって、
直交座標系である第１の色空間を線形変換し少なくとも明るさ成分を有する第２の色空間に変換する第１の色空間変換手段と、
与えられた画像調整用のパラメータに従って調整した前記第１の色空間の画像データを入力する入力手段と、
入力した画像データの画素値を前記色空間変換手段で前記第２の色空間に変換して得られた画素値が前記第２の色空間における前記第１の色空間に対応する境界外に存在する場合、当該画素値が前記第２の色空間の明るさ軸に垂直な方向であって前記境界に達するまで移動させるための変換係数を求める補正係数演算手段と、
該補正係数演算手段で得られた補正係数に従って前記画素値を補正する補正手段と、
補正した画素値を前記第１の色空間へ変換する第２の色空間変換手段とを備える。

本発明によれば、簡単な構成で、色空間外の画素データを、違和感の発生しにくく、その色空間内に収めることが可能になる。

以下、添付図面に従って本発明に係る実施形態を詳細に説明する。

図１は、本発明による画像処理方式を実現可能な画像処理装置の一構成例を示すブロック図である。

図中、１０１はキーボードやポインティングデバイスで構成される入力部である。１０２は外部記憶装置（例えばハードディスク装置）で構成されるデータ保存部であり、各種画像データ、ＯＳ、アプリケーションプログラム等が保存されている。１０３はビデオメモリ、そのビデオメモリへの描画処理を行うコントローラを内蔵する表示制御部であり、表示装置（一般にＣＲＴや液晶表示装置）１０８にビデオメモリに描画された画像データをビデオ信号として出力する。１０４は装置全体の制御を司るＣＰＵであり、１０５はＢＩＯＳやブートプログラムを記憶するＲＯＭ、１０６はＣＰＵ１０４のワークエリアとして使用されるＲＡＭである。１０７は、外部装置と通信するための通信部であり、ネットワークインタフェースであるが、これ以外にもUSB、IEEE1284、IEEE1394、電話回線などの有線による通信インタフェースであってもよいし、あるいは赤外線(IrDA)、IEEE802.11a, IEEE802.11b, IEEE802.11g, Bluetooth, UWB（Ultra Wide Band）等の無線通信インタフェースであっても良い。１０９は画像入力部であり、画像データ発生源１１０からの画像データを入力するものでる。画像データ発生源１１０としては、デジタルカメラ、イメージスキャナ等が考えられるが、これに限定されるものではない。

上記構成において、本装置に電源が投入されると、ＣＰＵ１０４はＲＯＭ１０５のブートプログラムに従ってデータ保存部１０２に格納されたＯＳをＲＡＭ１０６にロードして実行し、次いで本実施形態にかかるプログラムも同様にＲＡＭ１０６にロードして実行することで画像処理装置として機能することになる。

さて、実施形態では、編集対象の画像を画像データ入力部１０９より入力した画像を編集する場合について説明するが、編集対象の画像データを通信部１０７を介してネットワーク上から受信しても構わない。

一般に、表示装置はＲＧＢ形式のデータに従って表示するものの、ＲＧＢ色空間は人間にとっては分かりにくいものであり、輝度、色差空間（例えばＹＣｂＣｒ色空間）が感覚的に分かりやすいものである（Ｙは輝度成分、Ｃｂ及びＣｒは色差成分である）。

そこで、本実施形態では、ＲＧＢ各８ビットを表わされる画像データを、編集する際には、一旦、ＹＣｂＣｒ色空間に変換し、指示されたパラメータ（明るさの調整値）に従って補正処理を行い、再度ＲＧＢ色空間に戻して表示させるようにした。ＲＧＢ空間に再度変換するのは、一般に表示装置はＲＧＢ形式のデータでしか表示できないためである。

実施形態では、或る画素のＲチャネルの輝度値をｒ、Ｇチャネルの輝度値をｇ、Ｂチャネルの輝度値をbとする画素値を（ｒ、ｇ、ｂ）で表現するものとする。各ｒ、ｇ、ｂの値は８ビット（２５６段階）で表現されるが、実施形態では便宜的に各ｒ、ｇ、ｂの取り得る範囲は0.0〜1.0の範囲に正規化して説明する。ＲＧＢ空間でのユーザによる指示によって編集した際、例えＢ成分が1.0を越えたとしても、内部的にはその通りの補正を行い。、ＹＣｂＣｒ空間に変換した上で、再度ＲＧＢ空間の0.0〜1.0に収める処理を行う。

まずＲＧＢ色空間からＹＣｂＣｒ色空間への変換と、ＹＣｂＣｒ色空間からＲＧＢ色空間への変換であるが、この変換は次式１、２に示す演算を行うことで実現できる。

上記変換式１によってＹＣｂＣｒを算出した場合、入力画像のｒ、ｇ、ｂの値が0.0≦R,G,B≦1.0であれば、Yは0.0≦Y≦1.0、-0.5≦Cb,Cr≦0.5の範囲を取る（ＲＧＢ信号値が符号なし８ビット整数で0≦R,G,B≦255の場合には、0≦Y≦255、-127.5≦Cb,Cr≦127.5の範囲を取る）。
図３は、実施形態における画像編集アプリケーションを起動した際の、表示装置１０８に表示される（表示制御装置がビデオメモリに描画する）ＧＵＩウインドウ５００を示している。

図示において、５０は編集対象の画像ファイルを指定する領域であり、キーボード等からパスつきでファイル名を指定する。ただし、同領域の右端の▽印をポインティングデバイスでクリックすることで、ファイル選択のダイアログボックスが表示されるので、その中から編集対象の画像ファイルを選択しても構わない。なお、ＪＰＥＧ画像ファイルが選択された場合には、公知の処理によりデコードしてＲＧＢ形式のデータを生成することになる。

５１は選択した画像ファイルの編集前の画像（オリジナル画像）を表示する表示エリアであり、５２は編集後の画像を表示する表示エリアである。

５３は各色成分であるＲ、Ｇ、Ｂに対してどの程度強調するかを倍率で指定するスライダーバーであって、デフォルトでは１．０倍になっている。従って、画像ファイルを選択した初期状態では、画像エリア５１、５２は同じ画像を表示することになる。なお、Ｒ、Ｇ、Ｂの強調倍率は独立して設定できるが、図示の「連動」チェックボックスをチェック５４すると、Ｒ、Ｇ、Ｂのいずれか１つのツマミを左右に移動すると、他の成分も同じ位置に移動する。５５は編集結果の保存指示を行うための保存ボタンである。

さて、上記の処理により、例えばユーザはスライダーバーを操作して、ＲＧＢ成分を例えば一律１．２倍に強調させるような指示を行ったとする。

この結果、オリジナル画像中の画素（ｒ、ｇ、ｂ）の値ｒ、ｇ、ｂについてそれぞれ１．２倍の演算を行うことになるが、もともと画像中の空の青い部分がこれにより１．０（＝２５５）を越え、また、ｒ、ｇについては１．０（＝２５５）如何になる可能性がある。

本実施形態では、このような調整指示の通りに、一旦、入力画像データを変換する。そして、その変換結果に基づいて編集後の画像を生成する際に、以下のような補正処理を行うようにした。

図２は、この補正処理を説明する図である。図２における、座標軸はＹＣｂＣｒである。３１０は、０．０≦Ｒ，Ｇ，Ｂ≦１．０の範囲に相当する、ＹＣｂＣｒ色空間での領域（の一部）を表している。また、３０１は０．０≦Ｒ、Ｇ、Ｂ≦１．０の範囲外である入力画素値の例である。これを、０．０≦Ｒ、Ｇ、Ｂ≦１．０の範囲に収まるよう画素値を変更するのだが、本実施形態では、入力画素値３１０（ＹＣｂＣｒに変換した後の画素値）の位置よりＹ軸に対して垂線を引き、範囲３１０と交差した点の画素信号値３０２を求め、その画素値に置き換える。これはすなわち、Ｃｂ、Ｃｒの方向をα倍(0≦α≦1.0)して、範囲３１０の境界上の画素信号値３０２を求めることを意味する。

ここで、画素３０１、すなわち、ユーザの指示にしたがって調整した後の画素値（ｒ，ｇ，ｂ）（この段階では各ｒ、ｇ、ｂは８ビットを越えるビット数で表現されている）をＹＣｂＣｒ色空間に変換して得た画素値 を（ｙ，ｃｂ，ｃｒ）で表現し、補正後の画素値３０２を（ｙ’、ｃｂ’、ｃｒ’）と定義すると、次の式３が成り立つ。
ｙ’＝ｙ
ｃｂ’＝α×ｃｂ
ｃｒ’＝α×ｃｒ …式３

この画素値３０２に対応するＲＧＢの信号、すなわち、逆変換式である式２を適用して得られたＲＧＢ値を （ｒ'，ｇ'，ｂ'）とすると、式１乃至式３より、次の式４が成り立つ。
ｒ’＝ｙ＋α×（ｒ−ｙ）
ｇ’＝ｙ＋α×（ｇ−ｙ）
ｂ’＝ｙ＋α×（ｂ−ｙ） …式４

ところで、画素信号値３０２は、ＲＧＢ色空間において、０．０≦Ｒ，Ｇ，Ｂ≦１．０が約束されているものであるので、結局のところ、次式５となる。
０≦ｙ＋α×（ｒ−ｙ）≦１．０
０≦ｙ＋α×（ｇ−ｙ）≦１．０
０≦ｙ＋α×（ｂ−ｙ）≦１．０ …式５
この式５の条件により、彩度補正係数αを求め、式４に適用すれば、ユーザの調整指示による画素値３０１を、画素値３０２に修正することが可能となる。

図４は、本実施形態における画像処理の処理手順を示すフローチャートである。なお、以下の説明に先立ち、編集対象となる画像ファイルは、画像入力部１０９または通信部１０７より入力し、データ保存部１０２に保存されているものとする。

先ず、ステップＳ１において、編集対象の画像ファイルを選択する。次いで、ステップＳ２に進み、各色成分の輝度調整用のスライダーバーのツマミ位置を１．０倍（中央位置）に設定した図３に示すＧＵＩウインドウを表示する。

次いで、ステップＳ３に進んで、選択した画像ファイルを必要に応じてデコード（ＢＭＰファイルの場合にはデコード不要）し、画像表示エリア５１、５２に表示し、ステップＳ４でユーザよる入力を待つ。

ユーザによる入力には、各輝度スライダーバーの調整や保存指示があるので、ステップＳ５、Ｓ６にてその判定を行うことになる。

ここで、輝度調整の指示があった場合には、ステップＳ７に進み、ユーザの指示に従って画素データを調整する。この調整処理は、単純にユーザが指示した輝度倍率に従ってＲ、Ｇ、Ｂの値を調整するだけなので、説明は不要であろう。ただし、この場合の調整後のＲ、Ｇ、Ｂは１．０を越えることを許容するため、各色成分は８ビットを越えるビット数が割り当てられる。

次に、ステップＳ８に進んで、本実施形態の特徴となる補正処理（後述）を行い、ステップＳ９にて、その結果に基づいて画像表示エリア５２を更新する処理を行う。このあとは、ステップＳ４に戻り、上記処理を繰り返す。

また、保存指示があったと判断した場合には、ステップＳ６からステップＳ１０に進み、編集後の画像データ（表示エリア５２に表示された画像）を保存する処理を行う。

なお、昨今のデジタルカメラやイメージスキャナの解像度は、表示装置よりも遥かに高いので、オリジナル画像や補正処理で得られた画像全体を表示することはできない。従って、これらの画像データはＲＡＭ１０６に保存され、エリア５１、５２には間引きした画像を表示することになる。保存する際には、勿論、ＲＡＭ１０６にある画像が保存されることになる。

図５は図４におけるステップＳ８の詳細を示すフローチャートである。

まず、ステップＳ２０１では、調整後の画素値（ｒ、ｇ、ｂ）から、それに対応するＹＣｂＣｒ空間での輝度信号値ｙを算出する。ＲＧＢからＹへの変換については、式１で説明したが、演算を高速化させるため、実施形態では、式３乃至５に示したように、ＣｂＣｒの色差値は演算せず、輝度成分であるｙ値のみを次式６によって求める。
ｙ＝０．２９９０×ｒ＋０．５８７０×ｇ＋０．１１４０×ｂ …式６
続くステップＳ２０２では、ステップＳ２０１で求めたｙ値に対するチェックを行う。ｙ値が１．０以上であれば、処理はステップＳ２０３にすすみ、補正後のｒ’，ｇ’，ｂ’の値を全て１．０にする。また、ｙ値が０．０以下であれば、ステップＳ２０５において、ｒ’、ｇ’、ｂ’の値を全て０．０にする。

また、ｙ値が０．０より大きく、１．０未満である場合には、ステップＳ２０６において、彩度補正係数αを算出し、ステップＳ２０７にて画素値補正処理を行う。

そして、ステップＳ２０８にて全画素の処理が完了したか否かを判定し、否の場合には次の画素値に対する処理を行うため、ステップＳ２０１以降の処理を行うことになる。

図６は上記ステップＳ２０６の処理の詳細を示すフローチャートである。以下、同図に従い説明する。

先ず、ステップＳ４０１では、調整後の各色成分であるチャネルの値ｒ、ｇ、ｂと、ｙ値との差分Δｒ, Δｇ、Δｂを計算する。

続く、ステップＳ４０２では、各境界条件判定処理による彩度補正係数算出処理を行う。式５を変形してαを解くと次式７が得られる。
α≧−ｙ／Δｒ
α≦（１．０−ｙ）／Δｒ
α≧−ｙ／Δｇ
α≦（１．０−ｙ）／Δｇ
α≧−ｙ／Δｂ
α≦（１．０−ｙ）／Δｂ …式７

ステップＳ４０２では、上記式７の不等号を等号に置換えたもの、すなわち、次式８に示すように、各成分毎の補正係数α_r0,α_r1,α_g0,α_g1,α_b0,α_b1を求める。
α_r0＝−ｙ／Δｒ
α_r1＝（１．０−ｙ）／Δｒ
α_g0＝−ｙ／Δｇ
α_g1＝（１．０−ｙ）／Δｇ
α_b0＝−ｙ／Δｂ
α_b1＝（１．０−ｙ）／Δｂ …式８

ステップＳ４０３では、ステップＳ４０２で求めた彩度補正係数α_R0,α_R1,α_G0,α_G1,α_B0,α_B1より、実際に補正に用いる係数を選択する。

まず、先に述べたように、0≦α≦1.0なので、α_R0,α_R1,α_G0,α_G1,α_B0,α_B1うち、0.0未満、あるいは1.0より大きいものを除外する。続いて残った彩度補正係数のうち、最大のものを選択し、それをαとする。これは、図２から明らかなように、なるべく元の入力信号値に近いものを選択するためである。

以上の結果、図５における再度補正係数が求められることになるが続くステップＳ２０７では、ステップＳ２０６で決定したαの値と、ステップＳ２０１で算出した輝度値ｔを用いて、式４に従って、補正後の画素値（ｒ'、ｇ'、ｂ'）を算出し、出力する。

以上説明したように、本実施形態によれば、ＲＧＢの各成分値において、0≦R,G,B≦1.0の範囲外にある画素信号値を、ＹＣｂＣｒ空間上での輝度、色相を保持した0≦R,G,B≦1.0の範囲内の画素値を算出し、好適に画素値修正することができる。

なお、実施形態では、パーソナルコンピュータ等の汎用情報処理装置上で実行されるアプリケーションに適合した例を説明したが、例えば、イメージスキャナ等の画像データ発生源からの画像データをアプリケーションに引き渡すドライバ（イメージスキャナドライバ）に適用しても構わない。通常、イメージスキャナドライバを起動すると、明るさの設定が可能であるので、設定された明るさで入力したＲ、Ｇ、Ｂデータを調整し、その上で実施形態における図５、図６の処理を行えば良い。

また、実施形態では、ＲＧＢなどの信号値を０．０〜１．０として説明したが、これは便宜的なものであり、通常は各成分が整数で示される８ビットが多いので、この尺度で演算するようなるであろう。勿論、中間段階では実数演算が必要とされる場合もある。

また、本実施形態では、最終的に０．０≦Ｒ，Ｇ，Ｂ≦１．０の範囲に収める場合について説明したが、この範囲は必要に応じて適宜変更可能であり、例えば、−０．２≦Ｒ、Ｇ、Ｂ≦０．５といった範囲に収める場合にも本実施形態は適用可能である。

また、本実施形態では、画素信号値修正の色空間としてＹＣｂＣｒ空間を用いるが、実際の画素値修正処理については、Ｙの輝度を計算するだけなので、ＲＧＢ色空間とＹＣｂＣｒ色空間との相互変換する必要はない。したがって、色空間変換による処理の削減とともに、変換計算による精度低下を防ぐことができるという利得もある。

さらにまた、本実施形態では、ＲＧＢとＹＣｂＣｒ色空間を用いて説明を行ったが、この色空間の組み合わせに限るものではない。例えば、ＹＣｂＣｒ色空間の他でも例えばＹｕｖ色空間であっても良い。またＲＧＢ色空間に限るものではなく、直行色空間と、その直行色空間から線形変換により相互に変換可能である、輝度軸を含む色空間の組み合わせであれば、容易に適用可能である。

そして、上記実施形態からも容易に理解できるように、本実施形態の特徴となる部分はコンピュータプログラムによるものであるので、本発明はコンピュータプログラムをその範疇とするものであることは明らかである。また、通常、コンピュータプログラムはそれを格納したＣＤ−ＲＯＭ等のコンピュータ可読記憶媒体を、コンピュータにセットしてシステムにコピーもしくはインストールすることで実行可能となるわけであるから、このようなコンピュータ可読記憶媒体も本発明の範疇に含まれることも明らかである。

実施形態における画像処理装置のブロック構成図である。 実施形態における補正処理の概要を説明するための図である。 実施形態における画像編集アプリケーションのＧＵＩウインドウの一例を示す図である。 実施形態における処理手順を示すフローチャートである。 図４のステップＳ８における処理の詳細を示すフローチャートである。 図５のステップＳ２０６の処理の詳細を示すフローチャートである。

Claims (6)

1. 第１の色空間で示される画像データを修正する画像処理装置であって、
   直交座標系である第１の色空間で示される画像データから明るさ成分を求める変換手段と、
   与えられた画像調整用のパラメータに従って調整した前記第１の色空間の画像データを入力する入力手段と、
   入力した画像データの画素データを前記明るさ成分及び色み成分で構成される第２の色空間に変換して得られた画素値が前記第２の色空間における前記第１の色空間に対応する境界外に存在する場合、当該画素値が前記第２の色空間の明るさ軸に垂直な方向であって前記境界に達するまで移動させるための変換係数を求める補正係数演算手段と、
   該補正係数演算手段で得られた補正係数に従って前記入力した第１の色空間の画像データを補正する補正手段と
   を備えることを特徴とする画像処理装置。
2. 前記第１の色空間はＲＧＢ色空間であり、第２の色空間はＹＣｂＣｒ色空間であることを特徴とする請求項１に記載の画像処理装置。
3. 直交座標系である第１の色空間で示される画像データを予め設定されたデータ範囲内に変換する画像処理方法であって、
   前記画像データから輝度成分を求め、
   前記画像データの輝度を維持しつつ彩度を調整し前記画像データを前記予め設定されたデータ範囲内に変換する変換係数を、前記輝度成分および前記画像データの各色成分から求め、
   前記変換係数を用いて、前記画像データの各色成分を補正することを特徴とする画像処理方法。
4. 前記第１の色空間で示される画像データは、赤・緑・青色成分で構成されることを特徴とする請求項３記載の画像処理方法。
5. コンピュータが読み込み実行することで、第１の色空間で示される画像データを修正する画像処理装置として機能するコンピュータプログラムであって、
   直交座標系である第１の色空間で示される画像データから明るさ成分を求める変換手段と、
   与えられた画像調整用のパラメータに従って調整した前記第１の色空間の画像データを入力する入力手段と、
   入力した画像データの画素データを前記明るさ成分及び色み成分で構成される第２の色空間に変換して得られた画素値が前記第２の色空間における前記第１の色空間に対応する境界外に存在する場合、当該画素値が前記第２の色空間の明るさ軸に垂直な方向であって前記境界に達するまで移動させるための変換係数を求める補正係数演算手段と、
   該補正係数演算手段で得られた補正係数に従って前記入力した第１の色空間の画像データを補正する補正手段
   として機能することを特徴とするコンピュータプログラム。
6. 請求項５に記載のコンピュータプログラムを格納することを特徴とするコンピュータ可読記憶媒体。

Images