JP2006203431A - 画像処理装置および画像処理方法 - Google Patents
画像処理装置および画像処理方法 Download PDFInfo
- Publication number
- JP2006203431A JP2006203431A JP2005011553A JP2005011553A JP2006203431A JP 2006203431 A JP2006203431 A JP 2006203431A JP 2005011553 A JP2005011553 A JP 2005011553A JP 2005011553 A JP2005011553 A JP 2005011553A JP 2006203431 A JP2006203431 A JP 2006203431A
- Authority
- JP
- Japan
- Prior art keywords
- color
- correction
- image
- saturation
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Image Processing (AREA)
- Processing Of Color Television Signals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Abstract
【課題】 補正対象画像において補正対象となる領域とそれ以外の領域の彩度バランスの崩れにより、補正画像が不自然なものになることを防ぐ。
【解決手段】 前記画像の補正対象とする色を代表色として抽出する代表色抽出手段と、前記画像の補正対象とする色の補正目標色を記憶する目標色記憶手段と、前記画像の補正対象とする代表色を含む色領域を設定する色領域設定手段と、前記画像の補正対象とする位置領域を設定する位置領域設定手段と、前記代表色抽出手段で抽出された代表色と前記目標色記憶手段に記憶された目標色との差に基づき、前記位置領域設定手段で設定された色領域内であり、かつ前記画像の前記色領域設定手段で設定された色領域内である色を補正すると共に、前記色領域内の色の彩度変換量に応じて、前記位置設定手段で設定された位置領域外近傍の彩度を変換する色補正手段を有することを特徴とする。
【選択図】 図3
【解決手段】 前記画像の補正対象とする色を代表色として抽出する代表色抽出手段と、前記画像の補正対象とする色の補正目標色を記憶する目標色記憶手段と、前記画像の補正対象とする代表色を含む色領域を設定する色領域設定手段と、前記画像の補正対象とする位置領域を設定する位置領域設定手段と、前記代表色抽出手段で抽出された代表色と前記目標色記憶手段に記憶された目標色との差に基づき、前記位置領域設定手段で設定された色領域内であり、かつ前記画像の前記色領域設定手段で設定された色領域内である色を補正すると共に、前記色領域内の色の彩度変換量に応じて、前記位置設定手段で設定された位置領域外近傍の彩度を変換する色補正手段を有することを特徴とする。
【選択図】 図3
Description
本発明は、カラー画像の色補正処理に関する。
カラー画像機器の色再現においては元の色を忠実に再現することが要求される。一方、人間が好ましいと感じる色再現も重要で、特に、肌色、空の青、草木の緑などにおいては好ましい色再現が要求される。そのため、例えばデジタルカメラで被写体を撮影、デジタル画像データとして記録する場合には、撮影時に画像が適正な明るさになるよう露出を制御するとともにイメージセンサーから出力されるカラー画像データに対してカラーバランス、色相、彩度、階調の補正を行っている。
しかしながら、これらの色変換に関する処理は画像全体に対して明るさや色を補正するものであるため補正したい色を個別に補正することができず、補正したい色を目標とする色に補正を行った場合には別の色に影響が及び画像全体としては好ましい色に補正を行うことはできなかった。例えば、人物を撮影する場合に人物の肌が陰になってしまった場合には肌を目標とする明るさまで明るくすると元々好ましい明るさであった画像中の他の領域が過剰に明るくなってしまうといった問題があった。また、部分的な照明の影響で人物の肌の色が青味を帯びたり、逆に黄色すぎたりした場合には、肌の色を好ましい肌色に補正しようとすると元々好ましい色であった画像中の他の領域の色が不自然になってしまうことがあった。
このような問題を解決するため、例えば、非特許文献1においては、選択的色調整のモデルが紹介されている。これは、色補正を行う色領域を指定し、指定した色領域内の色相および彩度を好ましい方向へと補正するものである。文献においては、補正を行う色領域の指定にメンバシップ関数を用いて、あいまいさ導入し色空間の連続性の崩れに対応している。
しかしながら、上記従来例では、色領域重みに対応するメンバシップ関数についてどのように定めるかは具体的に示されていなかった。仮に色領域重みを適当な値に設定して色の調整を行うと、補正量が強すぎて画像が不自然になったり、補正量が弱すぎて期待した効果が得られない。また、補正結果の画像をディスプレイに表示したり、プリンタで印刷して確認し、知覚的に調整しながら最適な重みを探索するという方法では調整に専門的な経験が必要であったり、膨大な回数の試行を必要とする。
"ハードコピーのための画像信号処理"、小寺、テレビジョン学会誌Vol.43,No.11(1989),pp.1205-1212
"ハードコピーのための画像信号処理"、小寺、テレビジョン学会誌Vol.43,No.11(1989),pp.1205-1212
本発明は以上の問題に鑑みて成されたものであり、画像全体の明るさや色の変換では補正しきれない画像に対して、所望の色領域内での色相および彩度の補正を簡単かつ効果的に行い、さらに補正対象画像において補正対象となる領域とそれ以外の領域の彩度バランスの崩れにより、補正画像が不自然なものになることを防ぐことができる画像処理装置および画像処理方法を提供することを目的とする。
本発明の目的を達成するために、以下の構成を備える。即ち、
画像中の所定色領域の色補正を行う画像処理装置であって、前記画像の補正対象とする色を代表色として抽出する代表色抽出手段と、前記画像の補正対象とする色の補正目標色を記憶する目標色記憶手段と、前記画像の補正対象とする代表色を含む色領域を設定する色領域設定手段と、前記画像の補正対象とする位置領域を設定する位置領域設定手段と、前記代表色抽出手段で抽出された代表色と前記目標色記憶手段に記憶された目標色との差に基づき、前記位置領域設定手段で設定された色領域内であり、かつ前記画像の前記色領域設定手段で設定された色領域内である色を補正すると共に、前記色領域内の色の彩度変換量に応じて、前記位置設定手段で設定された位置領域外近傍の彩度を変換する色補正手段を有することを特徴とする。
画像中の所定色領域の色補正を行う画像処理装置であって、前記画像の補正対象とする色を代表色として抽出する代表色抽出手段と、前記画像の補正対象とする色の補正目標色を記憶する目標色記憶手段と、前記画像の補正対象とする代表色を含む色領域を設定する色領域設定手段と、前記画像の補正対象とする位置領域を設定する位置領域設定手段と、前記代表色抽出手段で抽出された代表色と前記目標色記憶手段に記憶された目標色との差に基づき、前記位置領域設定手段で設定された色領域内であり、かつ前記画像の前記色領域設定手段で設定された色領域内である色を補正すると共に、前記色領域内の色の彩度変換量に応じて、前記位置設定手段で設定された位置領域外近傍の彩度を変換する色補正手段を有することを特徴とする。
本発明の構成により、画像全体の明るさや色の変換では補正しきれない画像に対して、所望の色領域内での色相および彩度の補正を簡単かつ効果的に行うことができる。さらに、補正対象画像において補正対象となる領域とそれ以外の領域の彩度バランスの崩れにより、補正画像が不自然なものになることを防ぐことができる。
以下添付図面を参照して、好適な実施例を詳細に説明する。
本実施形態に係る画像処理装置は、PC(パーソナルコンピュータ)やWS(ワークステーション)等のコンピュータにより構成されており、デジタルカメラからの入力、インターネットからのダウンロード、CD−ROMやDVD−ROMなどの記憶媒体からの読み出し等により入力された画像において、所定の被写体を判別し、その領域を検出することを目的とするものである。
以下、このような処理を行う本実施形態に係る画像処理装置についてより詳細に説明する。特に、本実施例ではカメラで撮影した画像中から人物の顔領域を検出する例について適用し、その内容を説明する。
図2は、本実施形態に係る画像処理装置の基本構成を示す図である。
201はCPUで、RAM202やROM203に格納されているプログラムやデータを用いて本装置全体の制御を行うと共に、後述する各処理を行う。
202はRAMで、外部記憶装置207や記憶媒体ドライブ装置208から読み出したプログラムやデータを一時的に記憶するためのエリアを備えると共に、CPU201が各種の処理を実行する為に用いるワークエリアも備える。
203はROMで、ここにブートプログラムや本装置の設定データなどを格納する。
204、205は夫々キーボード、マウスで、夫々CPU201に各種の指示を入力するためのものである。
206は表示部で、CRTや液晶画面などにより構成されており、CPU201による処理結果を文字や画像などにより表示する。
207は外部記憶装置で、例えばハードディスクドライブ装置等の大容量情報記憶装置であって、ここにOS(オペレーティングシステム)や、後述する各処理をCPU201に実行させるためのプログラムやデータが格納されており、これらは必要に応じて、CPU201の制御によりRAM202に読み出される。
208は記憶媒体ドライブ装置で、CD−ROMやDVD−ROMなどの記憶媒体に記録されているプログラムやデータを読み出して、RAM202や外部記憶装置207に出力する。なお、上記外部記憶装置207に記憶されているプログラムやデータの一部を上記記憶媒体に記録しておいても良く、その場合には、これら記憶されているプログラムやデータを使用する際に、記憶媒体ドライブ装置208がこの記憶媒体に記録されているプログラムやデータを読み出して、RAM202に出力する。
209はI/F(インターフェース)で、ここにデジタルカメラやインターネットやLANのネットワーク回線等を接続することができる。
210は上述の各部を繋ぐバスである。
図1は、本実施形態に係る画像処理装置として機能するコンピュータの機能構成を示すブロック図である。
同図において10は画像入力手段で、この画像入力手段10を介して本装置に以下の処理対象の画像データが入力される。尚、この画像(入力画像)には、被写体として人の顔が写っている。20は画像補正手段で、入力画像のコントラストやカラーバランス等を調整する。調整の方法は特に限定されるものではなく、例えば、ヒストグラムやトーンカーブを利用した調整方法などが好適に例示される。20の画像補正手段により、入力画像を調整したにも関わらず、肌色などの所定色が好ましい色に再現されていない画像に対して、本実施例では後述する色補正手段により肌色などの所定色領域の色補正を行う。30は人肌領域抽出手段で、補正を行う人肌領域を画像から抽出する。抽出の方法は特に限定されるものではなく、例えば、顔検出手段により検出された顔の情報を利用する方法や、任意の色相や彩度を指定する方法などが例示される。40は代表色抽出手段で、30の人肌領域抽出手段で抽出した入力画像中の人肌領域の色情報から、補正対象とする色を代表色として抽出する。補正対象とする代表色として、例えば人肌領域内の画素の色相および彩度の平均値や中央値、あるいは最頻値などを抽出し設定する。また本実施例では、色補正を行う肌色などの所定色の補正目標色を補正対象の色毎に目標色記憶手段50により記憶しておく。目標色記憶手段50により記憶した補正目標色と前記代表色を用いて60の補正係数設定手段により、色補正手段90で用いる補正係数を設定する。さらに、人肌領域抽出手段30において抽出した人肌領域の色情報から、前記代表色を含む、補正処理の対象とする色領域を色領域設定手段70により設定する。また、前記人肌領域の入力画像における位置の情報を用いて、補正対象とする人肌領域の補正処理における位置による画像領域重みを80の画像領域設定手段により設定する。最後に色補正手段90では前記補正係数を用い、色領域設定手段70により設定された補正対象となる色領域および画像領域設定手段80により設定された画像領域について色補正を行い、画像出力手段100により補正画像を出力する。
図3は、図1に示した各部により行われる処理のフローチャートである。なお、同図のフローチャートに従ったプログラムを外部記憶装置207や記憶媒体ドライブ装置208によってRAM202にロードし、これをCPU201が実行することにより、本実施形態に係る画像処理装置は、後述する各処理を行うことになる。
先ず、RAM202に処理対象の画像(処理対象画像)のデータをロードする(S1)。このロードの形態は特に限定するものではないが、例えばこの処理対象画像のデータを外部記憶装置207に保存させておき、キーボード204やマウス205を用いてこの処理対象画像のデータのファイル名を入力して、CPU201にRAM202へのロードを指示しても良いし、I/F209に不図示のデジタルカメラを接続し、このデジタルカメラに対して(実際にはRAM202にロードされているこのデジタルカメラのドライバソフトに対して)、デジタルカメラで撮像し、自身の内部メモリに保存している画像のデータを画像処理装置のRAM202に転送する指示を送信することにより、RAM202にこの処理対象画像のデータを転送するようにしても良い。
本実施形態では、この処理対象画像は1画素が8ビットで表現されるRGB画像であって、且つ処理対象画像のサイズはM画素×N画素(但し、Mは水平画素数、Nは垂直画素数)であるとする。また、この処理対象画像は、R(赤)の画素値のみで構成されるプレーンと、G(緑)の画素値のみで構成されるプレーンと、B(青)の画素値のみで構成されるプレーンの計3つのプレーンで構成されるものであるとするが、これに限定されるものではなく、1枚の画像であっても良い。
また、この処理対象画像データがJPEGなどで圧縮されている場合には、CPU201はこれを伸張し、各画素がR、G、Bの各成分で表現される画像を生成する。
次に、ステップS1でRAM202にロードされた処理対象画像のコントラストを補正する(S2)。ステップS2のコントラスト補正処理では、補正方法は特に限定されるものではないが、輝度ヒストグラムや入出力関係を表すトーンカーブを用いて前記処理対象画像のコントラストを適切に補正する方法などが例示される。
さらに、ステップS3では画像のカラーバランスを適切に補正する。ステップS3でのカラーバランス補正処理方法は特に限定されるものではないが、例えばヒストグラムや入出力関係を表すトーンカーブを用いたカラーバランス方法などが挙げられる。
ステップS2及びS3において、コントラストやカラーバランスが適切に補正されたにも関わらず、肌色などの所定色が好ましい色に再現されていない画像に対して、本実施例では、前記色補正手段により肌色などの所定色領域の色補正を行う。
まず、ステップS4において肌色などの所定の色をもつ画素からなる人肌領域を抽出する。ステップS4の人肌領域抽出方法は特に限定されるものではないが、顔検出処理により検出された顔の情報を利用する方法や、任意の色相や彩度を指定する方法などが例示される。
前記人肌領域抽出処理において、顔検出処理により検出された顔の情報を利用する方法を一例として説明する。なお、画像中の顔領域を検出する処理としては、IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLINGENCE, VOL.24, No.1, January 2002に" Detecting Faces in Images: A Survey "と題するYangらの報告に挙げられているような方式を用いて顔矩形領域が検出される。
そして、顔検出処理により検出された両目の位置情報を取得し、両目を結ぶ線分とその線分に垂直な線分を辺とする所定の矩形領域を定める。前記矩形領域内画素のRGB値の平均値及び共分散行列を求める。このRGB平均値及び共分散行列と検出された顔矩形領域内の各画素のRGB値とのマハラノビス距離を計算し、閾値以下の画素を肌色画素とし、その集合を人肌領域とする。
この後、前述の方法などを利用し取得した、入力画像中の人肌領域の色情報及び位置情報を利用し、肌色などの所望の色領域内での色相および彩度の補正を行う。本実施例では、肌色など所定色に対して色補正を行うために、肌色などの所定色領域の代表色、代表色を含む補正処理の対象とする色領域、前記人肌領域の入力画像における位置の情報を、後述する色補正処理において利用する。
そのために、まず肌色などの所定色領域の代表色を求める。前記代表色は領域を代表する画素の色相および彩度で表される。よって、ステップS5ではRGB色空間の各値で表現されている前記入力画像を明度L彩度C色相Hの値に変換する。
このように彩度C、色相Hで表された人肌領域内の画素について、領域内の代表色をステップS6の代表色抽出処理によって求める。
ステップS6の代表色抽出処理について詳しく説明する(図4のフローチャート参照)。まず、ステップS21においてステップS4で抽出された人肌領域のデータを取得する。次に、ステップS22で画素の明度Lがある一定の値LTH以上であるかを判断する。もしステップS4で抽出された人肌領域内に目、眉、髭、あるいは陰影が含まれていると、人肌領域から抽出した補正対象とする色の代表色が適切に得られない場合がある。前記人肌領域内の陰影、あるいは目、眉、髭といった領域は補正対象とする肌色などの所定色よりも明度が低いと考えられるので、前記条件を用いることにより、前記人肌領域内の陰影、あるいは目、眉、髭といった領域の画素を除外することできる。
ステップS22の条件を満たした画素について、ステップS23にて同画素の彩度C及び色相Hの色データを集計する。この集計方法は補正対象の代表色として何を用いるかによって変わってくるが、例えば、補正対象の代表色を人肌領域内の画素の平均値とする場合には、ステップS23の集計は、彩度C及び色相Hの単純な加算を意味する。また、同時に画素数もカウントする。この後、ステップS24で対象画素を移動させ、ステップS25で全画素について走査を終了したと判断されるまで前記集計処理を繰り返す。
入力画像の全画素について走査が終了したと判断された場合、ステップS26で補正対象とする色の代表色を算出する。補正対象の代表色を人肌領域内画素の彩度及び色相の平均値で表す場合、ステップS26では前記集計処理での集計結果を集計画素数で除算した値(CR,HR)を代表色として設定する。このようにして求められた補正対象の色の代表色を利用して、ステップS8で色補正のための補正係数を設定する。
次に、ステップS7において、補正対象の色毎に予め設定した補正目標色を取得する。ステップS6において抽出した補正対象とする代表色とステップS7において取得した補正目標色を用いて、ステップS8で色補正に使用する、色相と彩度の変換モデルを選択する。における補正量を制御する補正係数を求める。
ステップS8の補正係数設定処理では、前記代表色と目標色の差に応じて補正係数を設定する。前記補正係数は後述する色補正処理において使用される、色補正量を制御する所定係数である。後述の色補正における補正量は色相と彩度毎に定めるため、補正係数も色相と彩度毎に設定する。本実施例では、色相補性係数及び彩度補正係数は前記目標色を代表色の差が大きくなるとともに減少するように設定する。さらに、彩度補正係数は、彩度を下げるように補正する場合は、彩度を上げるように補正する場合に比べ、補正量が小さくなるように設定する。
ステップS8における補正係数設定処理について以下より詳しく説明する。
色相補正係数PHは前記補正目標色の色相HTと前記代表色の色相HRの差Hdistが大きくなるとともに減少するように設定する。色相補正係数の設定方法の例として、式(1)ような式を用いる方法が示される。式(1)でK1およびt1は補正の強さを制御する係数とする。また、図6に式(1)を表したグラフを示す。図6において、横軸は前記補正目標色の色相HTと前記代表色の色相HRの差Hdist、縦軸は色相補正係数PHを示す。
PH(Hdist)=K1exp(−Hdist 2/t1) (1)
ただし、Hdist=HT−HR
つまり、補正対象とする色の代表色相が補正目標色相に色空間での距離が近いほど代表色の色相を補正目標色の色相により近づけるような補正を行い、補正対象とする色の代表色相が補正目標色相から大きく離れている場合には、あまり補正を行わないように補正係数を設定する。このように補正係数の設定を行う理由として、補正対象とする色の代表色相が補正目標色相から大きく離れている場合に、代表色を補正目標色により近づけるような補正を行うと、入力画像全体のバランスが崩れてしまうということが挙げられる。
ただし、Hdist=HT−HR
つまり、補正対象とする色の代表色相が補正目標色相に色空間での距離が近いほど代表色の色相を補正目標色の色相により近づけるような補正を行い、補正対象とする色の代表色相が補正目標色相から大きく離れている場合には、あまり補正を行わないように補正係数を設定する。このように補正係数の設定を行う理由として、補正対象とする色の代表色相が補正目標色相から大きく離れている場合に、代表色を補正目標色により近づけるような補正を行うと、入力画像全体のバランスが崩れてしまうということが挙げられる。
同様に彩度補正係数PCは前記補正目標色の彩度値CTと前記代表色の彩度値CRの差Cdistが大きくなるとともに減少するように設定する。つまり、補正対象とする色の代表彩度が補正目標彩度に近いほど代表色の彩度を補正目標色の彩度により近づけるような補正を行い、補正対象とする色の代表彩度が補正目標彩度から大きく離れている場合には、あまり補正を行わないように補正係数を設定する。ただし、彩度補正係数は彩度を下げるように補正する場合と彩度を上げるように補正をする場合で設定方法を異なるものとする。
彩度を下げる補正をする場合は、補正をすることで画像の印象が地味になってしまうという現象を防ぐように補正係数を設定する方が望ましく、逆に彩度を上げる補正をする場合は、補正対象とする色の代表彩度が補正目標彩度から離れていても、目標彩度に近づけるような補正を行う方が、画像の印象が良くなるという効果が期待できるからである。このような彩度補正係数の設定方法の例として、彩度を下げる補正の場合は、式(2)ような設定式を、彩度を上げる補正の場合は式(3)を用いる方法が示される。式(2)のa1,b1および式(3)のK2,t2は補正の強さを制御する係数とする。
前記補正目標彩度と前記代表色の彩度の差が等しい場合でも、彩度を下げる補正における彩度補正係数と彩度を上げる補正における彩度補正係数の値は異なり、彩度を下げる補正における補正係数がより小さくなっていることが図7よりわかる。これは、彩度を下げるように補正する場合は彩度を上げるように補正をする場合に比べ、補正量が小さくなるようにすることを示している。
以上のように、ステップS8において算出した色相と彩度の補正係数を、後述する色補正処理(ステップS12)において使用される色補正量を制御する係数として利用する。
一方、ステップS10では代表色を含む補正処理の対象とする色領域を求めるために、色領域設定処理をおこなう。ここでは前記人肌領域内の画素の色相に注目する。本実施例では、補正対象とする代表色を含む色領域を設定し、その領域について色補正を行う。なぜなら、例えば入力画像の全領域に対して、肌の色を好ましい肌色にする補正を行うと、元々好ましい色であった画像中の他領域の色が不自然になってしまうといった問題があるからである。ステップS8の補正係数処理において設定される補正対象とする色領域は特定色相で示され、前記特定色相で示される補正範囲と補正対象とする色の代表色によって、色領域重みを設定し、後述する色補正処理に用いる。
以下より、色領域設定処理(ステップS10)について、図5のフローチャートを参照し、詳しく説明する。
まず、ステップS31においてステップS4で抽出された人肌領域のデータを取得する。次に、ステップS32で画素の明度Lが任意の明度を示すLTH以上であるかを判断する。もしステップS4で抽出された人肌領域内に目、眉、髭、あるいは陰影が含まれていると、人肌領域から抽出した補正対象とする色の代表色が適切に得られない場合がある。前記人肌領域内の陰影、あるいは目、眉、髭といった領域は補正対象とする肌色などの所定色よりも明度が低いと考えられるので、前記条件を用いることにより、前記人肌領域内の陰影、あるいは目、眉、髭といった領域の画素を除外することできる。
ステップS32の条件を満たした画素について、さらにステップS33において、同画素の彩度Cが無彩色の彩度を示す所定の値CTH以上であるかを判断する。このとき同画素の彩度が前述の値CTH以下であるということは、同画素は無彩色に限りなく近いことを意味する。ここで無彩色領域の画素を除く理由は、無彩色領域においてはRGB値のわずかの差で色相が大きく変わり、人肌領域に対応する色相領域を高精度で求めることができなくなるためである。
ステップS10における色領域設定処理では、色領域を特定色の色相と彩度によって設定する。
ステップS33の条件を満たした画素について、ステップS34にて同画素の色相Hおよび彩度Cの値を集計する。この集計方法は色領域を示す特定色相および特定彩度として何を用いるかによって変わってくるが、例えば、特定色相については前記人肌領域内に存在し、ステップS32及びS33の条件を満たした画素の色相分布を解析し、最大色相Hmaxおよび最小色相Hminによって補正対象とする色領域を示す方法が例示される。この後、ステップS35で対象画素を移動させ、ステップS36で全画素について走査を終了したと判断されるまで前記集計処理を繰り返す。
入力画像の全画素について走査が終了したと判断された場合、ステップS37で補正対象とする色領域を設定する。前記最大色相Hmaxおよび前記最小色相Hminによって補正対象とする色領域を示す場合、ステップS37では前記集計処理での集計結果である最大色相Hmaxおよび最小色相Hminを用い、式(4)に示すように色領域を設定する。ここで、式(4)のΔHは補正対象とする色領域の色相範囲を示したものである。
ΔH=|Hmax−Hmin| (4)
同様に、彩度においてはステップS37で入力画像の全画素について走査が終了したと判断されたとき、補正対象とする色領域を最大彩度Cmaxおよび最小彩度Cminによって補正対象とする色領域を示す場合には、ステップS37で前記集計処理での集計結果である最大彩度Cmaxおよび最小彩度Cminを用いて式(5)に示すように色領域を設定する。ここで、式(5)ΔCは補正対象とする色領域の彩度範囲を示したものである。
同様に、彩度においてはステップS37で入力画像の全画素について走査が終了したと判断されたとき、補正対象とする色領域を最大彩度Cmaxおよび最小彩度Cminによって補正対象とする色領域を示す場合には、ステップS37で前記集計処理での集計結果である最大彩度Cmaxおよび最小彩度Cminを用いて式(5)に示すように色領域を設定する。ここで、式(5)ΔCは補正対象とする色領域の彩度範囲を示したものである。
ΔC=|Cmax−Cmin| (5)
つまり、補正対象とする色領域はステップS4において抽出された人肌領域を包含するような、色相および彩度範囲として設定される。
つまり、補正対象とする色領域はステップS4において抽出された人肌領域を包含するような、色相および彩度範囲として設定される。
また、図5に示す前記色領域設定処理では、補正対象とする色領域を示す特定色の色相と彩度として前記人肌領域内に存在し、ステップS32及びS33の条件を満たした画素群の色相および彩度から自動的に最大色相Hmax、最小色相Hminおよび最大彩度Cmax、最小彩度Cminを導出したが、補正対象とする色領域を示す特定色相と特定彩度の設定方法はこれに限定されるものではなく、例えば任意の特定色相および彩度を手動で設定する方法なども挙げられる。この場合には、補正対象とする色領域はステップS4において抽出された人肌領域を包含するような、色相範囲および彩度範囲として設定することが望ましい。
さらに、ステップS11の画像領域設定処理では、前記入力画像における前記人肌領域の位置情報から、後述の色補正処理に用いる画像領域重みを設定する。
本実施例では、後述する色補正処理において、ステップS10により設定した特定色領域に対しての重みを利用して肌色などの所定の色に対してのみ色補正を行うことで、元々好ましい色であった画像中の他領域の色が不自然になる現象を回避している。しかしながら、補正対象として色領域のみを設定した場合、例えば補正入力画像において、前記人肌領域外にステップS10において設定される色領域に含まれる人肌以外の画素が存在すると、同画素は色補間の対象となってしまう。このような問題を解決する方法として、ステップS11で設定する画像領域重みを利用する。
前記画像領域重みは、前記人肌領域内の画素を色補正対象とし、前記人肌領域に含まれない画素は色補正対象外となるように0以上1以下の値をWP(x,y)として設定する(ただし、
前記画像領域重み設定方法は限定されるものではないが、前記人肌領域における重心を求め、重心からの各画素の距離に応じて重みをつける方法などが例示される。この設定方法を用いると、後述の色補正処理において、前記人肌領域の境界付近の画素は前記人肌領域の中心付近の画素に比べ補正量が小さくなり、前記人肌領域の境界付近で色の連続性が破綻するのを防ぐことができる。また、前記人肌領域にガウシアンフィルタなどによりローパス処理を行い、前記人肌領域の境界付近をぼかすことで、前記人肌領域内外での色の連続性の破綻を和らげる方法なども挙げられる。
図8に前記画像領域重みの一例を示す。図9のように補正対象画像301内に肌色などの所定色からなる前記人肌領域302が存在したとき、人肌領域302に対してガウシアンフィルタ等によりローパス処理を行い、境界付近をぼかすと、人肌領域とそれ以外の領域の境界は点線303となり、補正対象となる前記画像領域は点線303で囲まれる領域となる。このとき、前記人肌領域内の画素を色補正対象とし、前記人肌領域に含まれない画素は色補正対象外となるように前記画像領域重みを0から1の値で設定する。図9のように画像上にx軸をとった場合、x軸での前記画像領域重みWP(x,y1)は図8のように示される。
上述したステップS5からS11の処理で取得した、肌色などの所定色領域の代表色、代表色を含む補正処理の対象とする色領域および前記人肌領域の入力画像における位置の情報を利用し、補正対象とする画像中の各画素の色相および彩度に対して、ステップS12の色補正処理を実行し、肌色などの所定色を好ましい色に補正する。
このとき、本実施例では補正処理後に補正画像において、補正対象となる肌色などの所定色領域とそれ以外の領域において彩度のバランスの崩れが発生し、補正画像が不自然になるのを防ぐために、前記補正範囲の彩度の変換量に準じて、前記補正対象とする領域以外の領域の彩度を変換するような彩度重みを設定する。ここで、彩度バランスの崩れにより生成される不自然な画像とは例えば、補正対象画像中の人物の肌色を補正対象領域とした場合、人肌領域内の画素の色相と彩度のみを変換すると、人物の顔領域内に含まれる唇領域などの色が褪せたように(あるいは鮮やかになったように)見える画像のことである。このように、補正処理後に補正対象画像において肌色などの所定色の領域とそれ以外の領域での色のバランスが崩れ不自然になってしまう理由の一つとして、補正処理を行う人肌領域と補正処理を行わない領域での彩度が逆転してしまうことが上げられる。そこで、本実施例では前記補正範囲の彩度の変換量に準じて、前記補正対象とする領域以外の領域の彩度を変換するような彩度重みを導入する。
以下、本実施例として補正処理後の彩度バランスの崩れを防ぐために設定する彩度重みを利用した色補正処理について説明する。なお、本実施例ではステップS12の色補正処理において、前記補正対象の代表色の彩度が前記補正目標色の彩度より高いとき、つまり彩度を下げる補正処理を行う場合と、前記補正対象の代表色の彩度が前記補正目標色の彩度より低いとき、つまり彩度を上げる補正処理を行う場合とで、2種類の変換処理を使い分ける。
ステップS11において、前記補正対象の代表色の彩度CRが前記補正目標色の彩度CTより高いと判定した場合には、ステップS12において行う彩度を下げる補正を行う。なお、後述では、この彩度を下げる場合に利用する処理を補正処理(1)とよぶこととする。
まず、前記補正範囲内の画素の彩度を下げる場合に利用する処理である補正処理(1)とその場合の前記彩度重みの設定手段について説明する。
補正処理(1)では、式(6)を使用して前記補正対象領域の画素の色相を補正する。まず、補正対象の代表色における色相補正量DHを算出する。補正対象とする色の代表色における色相補正量は補正対象目標色相HTと補正対象とする色の代表色相HRの差およびステップS8の補正係数設定処理において設定された前記色相補正係数PHの積で表される(式(7))。次に、前記色相補正量DHに色相領域の重みWH(色相重み)とステップS11の画像領域設定処理において設定した画像領域重みWPをかけた分だけ、入力画像内の画素の色相を補正する。ただし、式(6)においてHは前記色補正処理前の補正対象画素の色相、H′は前記色補正処理後の補正対象画素の色相を示す。
H′=H+WP・WH・DH (6)
DH=PH(HT−HR) (7)
ここで、式(6)における色相重みWHは、図10のように、ステップS10で求めた前記補正色相範囲ΔHおよび前記補正彩度範囲ΔCで指定される部分色領域401内の画素の色相のみを変換するために、図11のように設定する。つまり、補正対象とする画素の色相重みWHは、補正対象とする代表色および、前記補正範囲内では1、補正範囲外では0となる。
DH=PH(HT−HR) (7)
ここで、式(6)における色相重みWHは、図10のように、ステップS10で求めた前記補正色相範囲ΔHおよび前記補正彩度範囲ΔCで指定される部分色領域401内の画素の色相のみを変換するために、図11のように設定する。つまり、補正対象とする画素の色相重みWHは、補正対象とする代表色および、前記補正範囲内では1、補正範囲外では0となる。
また、前記補正処理(1)では、式(8)を使用して前記補正範囲内の画素の彩度を補正する。前記彩度補正処理ではステップS8の補正係数設定処理で得られた彩度補正係数PCから代表色における彩度補正率KCを算出し、前記彩度補正率KCにステップS10の色領域設定処理において設定した彩度領域の重みWCとステップS11の画像領域設定処理において設定した画像領域重みWPから式(10)により決定する重みWおよび前記色補正処理前の補正対象画素の彩度Cをかけた分だけ、入力画像内の画素の彩度を補正する。前記彩度補正率KCは式(9)のように、前記補正目標彩度CTおよび補正対象の代表彩度CRの差と前記補正代表彩度CRの比と前記補正彩度係数PCの積で表される。
ただし、式(8)でC′は前記色補正処理後の補正対象画素の彩度を示す。
また、式(8)の彩度補正処理において使用する重みWは、上述の方法により指定した彩度重みWCおよびステップS11において設定した画像領域重みWPの大小関係により式(10)のように設定する。設定例を図14に示す。なお、図14で画像領域重みWPは図8で設定したものを使用している。図14のように重みWを設定するのは、前記画像領域の境界での彩度の逆転が生じることを防ぐためである。
次に、前記補正範囲内の画素の彩度を上げる補正において利用する処理である補正処理(2)について説明する。
前記補正処理(2)では、色相を補正するために、まず色相を回転するモデル使用する。さらに、補正範囲内の画素の色相を回転した後、CIELAB表現のa*b*色度値をa*b*平面において平行移動することで彩度補正を行う。
まず、ステップS8の補正係数設定処理により得られた、前記色相補正係数PHおよび前記彩度補正係数PCから、前記補正対象の代表色における色相補正量DHおよび彩度補正率KCを式(11)、(12)より求める。前記色相補正量DHは補正対象目標色相HTと補正対象とする色の代表色相HRの差およびステップS8の補正係数設定処理において設定された前記色相補正係数PHの積で表される。また、補正対象とする色の代表色における彩度補正率KCは補正対象目標彩度CTと補正対象とする色の代表彩度CRの差およびステップS8の補正係数設定処理において設定された前記彩度補正係数PCの積に補正対象とする色の代表彩度CRを足し合わせたものとする。
H′=H+WP・WH・DH (13)
ここで、式(13)における色相重みWHは、図10のように、ステップS10で求めた前記補正色相範囲ΔHおよび前記補正彩度範囲ΔCで指定される部分色領域401内の画素の色相のみを変換するために、図11のように設定する。つまり、補正対象とする画素の色相重みWHは、補正対象とする代表色および、前記補正範囲内では1、補正範囲外では0となる。
ここで、式(13)における色相重みWHは、図10のように、ステップS10で求めた前記補正色相範囲ΔHおよび前記補正彩度範囲ΔCで指定される部分色領域401内の画素の色相のみを変換するために、図11のように設定する。つまり、補正対象とする画素の色相重みWHは、補正対象とする代表色および、前記補正範囲内では1、補正範囲外では0となる。
一方、前記補正対象領域以外の領域の画素の彩度は式(14)によって変換する。このため式(14)における重みW′を式(15)のように設定する。ここで、式(15)における彩度重みW′Cは、図15のように、ステップS10で求めた前記補正色相範囲ΔHおよび前記補正彩度範囲ΔCで指定される部分色領域601内の画素の彩度の変化量に準じて、部分色領域以外の領域602の画素の彩度をあげるために使用する。この補正処理(2)では前記補正対象とする所定の色領域において、まず色相のみを補正することが前提であるため、彩度重みW′Cは図16のように補正対象とする代表色および、前記補正範囲内では0、補正範囲外では
H′R=HR+DH (16)
a′R *=CR・cos(H′R) (17)
b′R *=CR・cos(H′R) (18)
さらに、a*−b*平面での平行移動における画素の移動量(Δa*,Δb*)を式(19)および式(20)より求める。
a′R *=CR・cos(H′R) (17)
b′R *=CR・cos(H′R) (18)
さらに、a*−b*平面での平行移動における画素の移動量(Δa*,Δb*)を式(19)および式(20)より求める。
最後に、式(22)(23)を前記補正範囲内の画素について適用し、移動量分だけ平行移動を行い補正を行い、式(24)および式(25)から補正処理後の前記補正範囲内の画素の色相と彩度を算出する。なお、式(22)(23)で(a1 *,b1 *)は変換前の画素の色度値、(a2 *,b2 *)は変換後の画素の色度値を、式(24)(25)においてH″,C″は補正処理後の画素の色相、彩度を表す。
最後に、ステップS13、S14の処理が実行され、彩度および色相が補正された画像がRGB色空間のものに変換され出力される。
(他の実施例)
本実施例では人物の肌色を好ましく補正する場合について説明したが、他の記憶色である空の青、草木の緑などを好ましく補正する場合についても適用できることは言うまでもない。
本実施例では人物の肌色を好ましく補正する場合について説明したが、他の記憶色である空の青、草木の緑などを好ましく補正する場合についても適用できることは言うまでもない。
また、本実施例ではデジタルカメラで撮影した画像をコンピュータで処理する場合について説明したが、写真などをスキャナで入力した画像について本実施例を適用してもよい。また、本実施例をデジタルカメラ、スキャナ、ディスプレイ、プリンタなどのカラー画像機器本体に適用してもよい。
また、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体(または記憶媒体)を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムコードを読み出し実行してもよい。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになる。
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
本実施例を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
Claims (7)
- 画像中の所定色領域の色補正を行う画像処理装置であって、
前記画像の補正対象とする色を代表色として抽出する代表色抽出手段と、
前記画像の補正対象とする色の補正目標色を記憶する目標色記憶手段と、
前記画像の補正対象とする代表色を含む色領域を設定する色領域設定手段と、
前記画像の補正対象とする位置領域を設定する位置領域設定手段と、
前記代表色抽出手段で抽出された代表色と前記目標色記憶手段に記憶された目標色との差に基づき、前記位置領域設定手段で設定された色領域内であり、かつ前記画像の前記色領域設定手段で設定された色領域内である色を補正すると共に、前記色領域内の色の彩度変換量に応じて、前記位置設定手段で設定された位置領域外近傍の彩度を変換する色補正手段を有することを特徴とする画像処理装置。 - 前記色補正手段において、前記色領域によって決まる彩度補正量と、前記位置領域によって決まる彩度補正量のうち大きい補正量に基づいて、彩度を補正することを特徴とする請求項1の画像処理装置。
- 前記色補正手段において、補正処理前後で補正対象領域とそれ以外の領域の彩度が逆転しないようにすることを特徴とする請求項1に記載の画像処理装置。
- 画像中の所定色領域の色補正を行う画像処理方法であって、
前記画像の補正対象とする色を代表色として抽出する代表色抽出ステップと、
前記画像の補正対象とする色の補正目標色を記憶する目標色記憶ステップと、
前記画像の補正対象とする代表色を含む色領域を設定する色領域設定ステップと、
前記画像の補正対象とする位置領域を設定する位置領域設定ステップと、
前記代表色抽出手段で抽出された代表色と前記目標色記憶手段に記憶された目標色との差に基づき、前記位置領域設定ステップで設定された色領域内であり、かつ前記画像の前記色領域設定ステップで設定された色領域内である色を補正すると共に、前記色領域内の色の彩度変換量に応じて、前記位置設定ステップで設定された位置領域外近傍の彩度を変換する色補正ステップを有することを特徴とする画像処理方法。 - 前記色補正ステップにおいて、前記色領域によって決まる彩度補正量と、前記位置領域によって決まる彩度補正量のうち大きい補正量に基づいて、彩度を補正することを特徴とする請求項4の画像処理方法。
- 前記色補正ステップにおいて、補正処理前後で補正対象領域とそれ以外の領域の彩度が逆転しないようにすることを特徴とする請求項4に記載の画像処理方法。
- 請求項4から請求項6のいずれかに記載の画像処理方法を実行するプログラムを記録した記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005011553A JP2006203431A (ja) | 2005-01-19 | 2005-01-19 | 画像処理装置および画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005011553A JP2006203431A (ja) | 2005-01-19 | 2005-01-19 | 画像処理装置および画像処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006203431A true JP2006203431A (ja) | 2006-08-03 |
Family
ID=36961050
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005011553A Withdrawn JP2006203431A (ja) | 2005-01-19 | 2005-01-19 | 画像処理装置および画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006203431A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008244794A (ja) * | 2007-03-27 | 2008-10-09 | Olympus Corp | 画像処理装置、及び、画像処理方法 |
JP2009171402A (ja) * | 2008-01-18 | 2009-07-30 | Ricoh Co Ltd | 画像処理装置、画像処理方法およびプログラム |
KR101274050B1 (ko) | 2007-06-25 | 2013-06-12 | 엘지디스플레이 주식회사 | 선호색 보정 방법 및 장치와, 그를 이용한 액정 표시 장치 |
-
2005
- 2005-01-19 JP JP2005011553A patent/JP2006203431A/ja not_active Withdrawn
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008244794A (ja) * | 2007-03-27 | 2008-10-09 | Olympus Corp | 画像処理装置、及び、画像処理方法 |
KR101274050B1 (ko) | 2007-06-25 | 2013-06-12 | 엘지디스플레이 주식회사 | 선호색 보정 방법 및 장치와, 그를 이용한 액정 표시 장치 |
JP2009171402A (ja) * | 2008-01-18 | 2009-07-30 | Ricoh Co Ltd | 画像処理装置、画像処理方法およびプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7468812B2 (en) | Image processing apparatus and its method for color correction | |
JP4324043B2 (ja) | 画像処理装置およびその方法 | |
US8463038B2 (en) | Image processing apparatus and method for correcting an image based upon features of the image | |
US20090034840A1 (en) | Image processing apparatus and image processing method | |
JP2006303708A (ja) | 画像処理装置および画像処理方法 | |
US20080253650A1 (en) | Image Processing Device, Image Processing Method, Image Processing Program Product, and Image-Capturing Device | |
US8369654B2 (en) | Developing apparatus, developing method and computer program for developing processing for an undeveloped image | |
JP3673092B2 (ja) | 画質調整装置及び画質調整方法、並びに画像調整用プログラムを記録した記録媒体 | |
JP4243362B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラムを記録した記録媒体 | |
JP2006203431A (ja) | 画像処理装置および画像処理方法 | |
JP2007042033A (ja) | 色補正装置および画像表示装置 | |
JP2002044469A (ja) | 画像処理方法および画像処理プログラムを記録した記録媒体 | |
JP2005348159A (ja) | 画像処理方法及び装置及びプログラム及び記憶媒体 | |
JP2002033934A (ja) | 画像処理装置及び方法 | |
JP4522229B2 (ja) | 画像処理方法及びその装置 | |
JP4332474B2 (ja) | 画像処理装置およびその方法 | |
JPH10340332A (ja) | 画像処理装置、画像処理方法、画像処理制御プログラムを記録した媒体 | |
JP2006133874A (ja) | 画像処理方法及びその装置 | |
JP2004356796A (ja) | 画像処理装置 | |
JP2008147714A (ja) | 画像処理装置およびその方法 | |
JP2005039456A (ja) | 画像処理方法および装置 | |
JP4475316B2 (ja) | 画像処理装置、画像処理プログラムを記録した記録媒体および画像処理方法 | |
JP3705250B2 (ja) | 画像処理装置、画像処理方法および画像処理制御プログラムを記録した媒体 | |
Johnson et al. | Image appearance modeling | |
JP3570416B2 (ja) | 画像処理装置、画像処理方法および画像処理制御プログラムを記録した媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20080401 |