JP2009055465A - 画像処理装置および方法 - Google Patents

Abstract

【課題】画像の色バランスを崩すことなく、好ましいと感じる色再現画像に変換する画像処理方法および画像処理装置を提供することを可能にする。
【解決手段】画像の印象を決める対象色をトーン空間に分類して抽出し、その対象色の変換後の目標値を、対象色を含むトーン空間の色相における対象色の三属性（明度、彩度、色相）と、最外郭点の形状とから設定する。この対象色とその目標値の三属性と、表現可能な色域の最外郭点までの距離とから補正係数を演算する補正係数を演算し、画像データの各補正対象の画素に対して、各画素の明度と色度と補正係数とから色補正量を演算して色補正を行う。
【選択図】図１

Description

本発明は、入力画像を画像の色分布と視覚の特性により色補正する画像処理方法およびカラー画像装置に関する。

カラー画像機器の色再現には、利用用途に応じた目標レベルが存在する。例えば、ハードコピー機やプリンター等では、元のものをより忠実に再現することが要求される。写真では、露光時間を調整してフィルムに記録し、現像時間に差異をつけるなどして、フィルムに記録された画像を人間が好ましいと感じる色に変換させる。近年、ディジタルカメラでも、好ましい色再現が意識され、特に、人間の記憶色とされる、肌色、空の青、芝の緑などの代表色を、好ましい色に補正している。

写真での色再現では、画像全体の明るさや色を補正する。一般的に明るくしたり、色を濃くしたりと、色域（色の再現できる領域）の範囲内で、色を分散させて、色再現を改善させる。特定の色を個別に補正することができないため、ある特定の色の範囲を目標としようとしても影響が全体に及んでしまい、過剰に色を広げてしまうことがある。

ディジタルカメラでの色再現では、肌色部分等、色補正を行いたい領域を特定して抽出し、予め定められた好ましい色に補正する。これは、画像の部分的な明るさや色を補正できるため、前者のように過剰に変換されることはない。このような選択的色調整のモデルが非特許文献１に開示されている。

この色調整モデルでは、特定の色領域を指定して、色空間内である方向へある量だけ自由に偏移させるために、色空間の連続性を崩さないことと、入力画像の色分布のばらつきに対応できることが課題とされている。これは、色領域の指定にメンバーシップ関数を用いて、色相変化量と彩度倍率を用いて知覚的に色を調整するとされているが、こういったものをどのように実現するかの具体的な記述はない。

特許文献１には、非特許文献１を発展させて、記憶色を好ましく再現するためのより具体的な手法について記載しているが、非特許文献１同様、色相や彩度のみの変換を行っている。
" ハードコピーのための画像信号処理" 、小寺、テレビジョン学会誌Vol.43,No.11（1989） ,pp.1205-1212 特開２００６−３１３７５公報

同様に色域を広げる場合には、過剰に色が変換されることは先に指摘した。特に彩度が強調され過ぎると、逆に色再現性が劣ると感じてしまう傾向がある。これは画像の色分布に適した変換がなされていないことが示唆されている。

また、特許文献１に記載された技術のように、記憶色を好ましい色再現に表現できれば、色再現性は改善される。しかしながら、必ずしも記憶色の領域が画像の大部分を占めるとは限らない。例えば、青い空や芝の緑以外の景色を背景にして、人物を比較的小さく撮影するような場合には、印象を決定するのは人物の肌色部分とは言えないだろう。こういった場合には、記憶色だけを補正しても効果は少ない。また、周囲の色とのバランスが考えられておらず、全体としてバランスのよい画像に表現はできないであろう。

さらに、色の属性は、特許文献１で示される、色相や彩度だけではなく、明度も重要な要因となる。特に視覚に適応した色空間では、色相により色域の形状が大きく違っており、色域の最外郭点の明度と彩度は一致しない。したがって、このように、色域を広げるだけ、あるいは記憶色の変換だけでは、画像の色バランスが崩れてしまうことがあり、より好ましい色再現を目指すためには、色相や彩度だけではなく、明度も適切に変換する必要がある。

本発明は、上記事情を考慮してなされたものであって、画像の色バランスを崩すことなく、好ましいと感じる色再現画像に変換することのできるカラー画像処理方法およびカラー画像処理装置を提供することを目的とする。

本発明の一側面の画像処理装置は、目標色設定部と、補正係数演算部と、補正量演算部と、色補正部とを有する。前記目標色設定部は、明度、彩度および色相によって表現される色空間のうち前記対象色が属する色相の領域での前記対象色の特性と、出力デバイスで表現可能な色域の前記領域での最外郭点の形状とに基づいて、前記対象色の補正の目標値となる目標色を求める。前記補正係数演算部は、（ａ）前記対象色の明度、彩度および色相と、（ｂ）前記目標色の明度、彩度および色相と、（ｃ）前記最外郭点から前記対象色までの間の前記色空間での距離と、（ｄ）前記最外郭点から前記目標色までの間の前記色空間での距離と、に基づいて補正係数を演算する。前記補正量演算部は、前記対象色に属する色の画素である補正対象画素について、（Ａ）前記対象色と前記目標色との前記色空間内での距離、（Ｂ）前記補正対象画素の色から前記対象色までの間の前記色空間内での距離、（Ｃ）前記補正係数、（Ｄ）前記補正対象画素の明度および彩度、を用いて色補正量を演算する。前記色補正部は前記補正対象画素の前記色補正量を用いて、前記補正対象画素の色を補正する。

本発明によれば、画像の色バランスを崩すことなく、好ましいと感じる色再現画像に変換することができる。

本発明の実施形態を以下に図面を参照して説明する。

（第１実施形態）
本発明の第１実施形態による画像処理方法は、ディジタルカメラや携帯電話、テレビ等あるいは、コンピュータのアプリケーションソフトの画像処理モジュールとして提供される。

図1に、本実施形態に係るカラー画像処理方法の処理の流れを示す。画像データを取得する（ステップＳ１）。画像データを視覚的に均等な色空間に変換する（ステップＳ２）。変換されたデータを用いて補正の対象となる対象色を設定する（ステップＳ３）。設定された対象色の補正の目標値となる目標色を設定する（ステップＳ４）。画像データの対象色近傍の色空間の色分布から対象色の広がり量を決定する（ステップＳ５）。対象色と目標色と対象色の広がり量と、出力デバイスで表現可能な色域の最外郭点と対象色との間の距離とを用いて、補正係数を演算する（ステップＳ６）。画像データの各画素に対して、ステップＳ３からステップＳ６までで求められた値を用いて色補正を行う（ステップＳ７）。補正された各画素に対して、元の画像データの色空間に逆変換させ（ステップＳ８）、補正後の画像データの出力（ステップＳ９）を行う。

このカラー画像処理方法を実行する画像処理装置の構成例を図３に示す。対象色設定部３０１は補正の対象となる対象色を設定する。目標色設定部３０２は対象色の補正の目標値となる目標色を設定する。補正係数演算部３０３は、対象色、目標色、対象色の広がり量、出力デバイスで表現可能な色域の最外郭点と対象色との間の距離とを用いて、補正係数を演算する。補正量演算部３０４は、対象色から目標色までの間の色空間内での距離、各画素の現在の色から対象色までの間の色空間内での距離、補正係数、および、各画素の明度および彩度、を用いて各画素のそれぞれの色補正量を演算する。色補正部３０５は色補正量を用いて各画素の色を補正して補正後の画像データを出力する。

次に各ステップについて詳述する。ステップＳ１で取得される画像は横方向にＭ個の画素が配列され、縦方向にＮ個の画素が配列されたＭ×Ｎ画素の画像である。この画像はＲＧＢ画像であるので、各画素は赤・緑・青の成分の階調データを持つ。各成分の階調データは８ビットで表現される。

ステップＳ２では、この画像データを視覚的に均等な空間である、ＣＩＥＬＡＢ色空間もしくはＣＩＥＬＣＨ色空間に変換する。ＣＩＥＬＡＢ空間はＬ＊の明度と、ａ＊およびｂ＊の色度の軸から構成され、均等色空間であることから、空間の連続性を保って変換するのに優れた空間である。ＣＩＥＬＣＨ色空間は、ＣＩＥＬＡＢ色空間を円柱座標形式に表現するものであり、ａ＊、ｂ＊に代わり、彩度Ｃおよび色相Ｈで表される。色の三属性は、明度と彩度と色相とされ、どのような特性の色かを容易に判断できる色空間であると言える。

ステップＳ３では、対象色を抽出する。本発明では、対象色とは、画像の印象を決定する色と定義する。より具体的には、画像内で多くの面積を占める色や、多くの面積を占める色と大きく特性の異なる色、つまりアクセントカラーや目立つ色ということができる。また、人間の記憶色として重視される、肌色や青い空、芝の緑も含まれる。

画像内で多くの面積を占める色は、ある範囲を限定せねばならず、ここでは、視覚に基づいた色空間での分類を利用する。例えば、マンセル表色系は、色の三属性が異なる色票を順序良く配列して、色票に一連の数値を割り当てて表示をしたものである。これを測色結果にもとづいて、並び方が均等性をもつように合理的に修正されたものが修正マンセル表色系である。修正マンセル表色系については、ＪＩＳ Ｚ ８７２１にて、三刺激値との対応がなされており、この三刺激値から、照明が定められた場合の均等色空間での測色値が求められる。ＪＩＳ Ｚ ８１０２には、この修正マンセル表色系を用いた色名の分類がされており、その範囲も示されている。色名の分類は、その色の印象を表す適切な区分でなされている。この分類は時にトーンと呼ばれることがある。以下では、明度・彩度・色相により表され視覚に基づく分類がなされた色空間の全体をトーン空間と呼ぶことにする。

ステップＳ３ではこのようなトーン空間でのヒストグラムをとることにより、対象色のうち、画像内で多くの面積を占める色が抽出できる。例えば、全体の画素数に占める割合により面積を判断できる。ただし、隣接するトーンを対象色として双方抽出する場合には、画素空間上では、ひとつのまとまりとして判断されるような色分布になっているかどうかを考える必要がある。

また、抽出した対象色と大きく特性の異なる色を抽出することで、アクセントカラーや目立つ色を対象色として抽出することが可能になる。さらに、この分類を記憶色として抽出する範囲と対応させれば、記憶色の抽出もできるが、別途、指定してもよい。

結果として抽出された対象色は、領域全体を指定することも可能だが、ここでは、演算を容易にするため、領域の重心を選択する。

次にステップＳ４では、ステップＳ３で求められた対象色の補正の目標値となる目標色を設定する。この目標色は、記憶色であれば、従来法と同様に、人間が好ましいとする範囲に変換することが考えられる。記憶色には、予め、目標値を設定したデータベースを持つことになる。

しかし、先に述べたように、対象色は記憶色だけではないため、他の対象色がどう変換されれば画像が好ましく再現できるかを考えなくてはならない。

一般的に、人間は色域内で色を広く分布させると階調に富んだ画像であると判断する傾向があり、また、適度に明るく鮮やかな画像を好む傾向がある。しかし、明るすぎたり、鮮やか過ぎると、逆に色再現が悪くなったと判断する傾向もある。

画像の色域を広げるとしても、色相によって色域の形状が大きく異なるので、対象色の三属性（明度・彩度・色相）によって色域が広がる方向や量が異なる。例えば、黄色の色相で鮮やかな色は明度も高いが、青色の色相で鮮やかな色は明度が低い。したがって、対象色の三属性のうち、特に色相によって、対象色の色空間での移動方向と大きさを決定する。

対象色の移動方向と大きさを求めるにあたっては、明度・彩度・色相によって表現される色空間のうち、対象色の属する色相に相当する領域が重要となる。対象色が一点で表される場合、この領域は色空間で色相が一定（対象色の色相）となる面である。対象色が広がりを持つ場合、この領域は色空間で色相が一定の幅（対象色の色相の分布幅）を持った空間である。対象色の移動方向と大きさは、この領域での対象色の特性と、出力デバイスで表現可能な色域のこの領域での最外郭点の形状とによって求められる。例えば、対象色の属する色相における色域の最大彩度と明度の値から求められる。この目標値は、計算してもよいし、予め、ルックアップテーブル（ＬＵＴ）に記憶された値を参照しても構わない。

次にステップＳ５では対象色近傍の広がり量を決定する。ステップＳ３で対象色を分類トーンの重心としたが、実際にはこのトーンの中でも分布が生じている。また、近隣のトーンとの色分布も考慮なされるべきである。トーンの面積のみを考慮した場合、画素空間としては連続としているグラデーションにトーンジャンプが起きる可能性がある。

次にステップＳ６では、色空間の特性を鑑みて補正係数を演算する。例えば、無彩色とされる彩度の非常に小さい領域においては、色域内で色を広げる際に、色がついてしまうと違和感が大きくなることから画質が悪化するとされる。高彩度領域は、表示できる色域からはみ出さないように、また、色がつぶれないように色を変換するべきである。こういったポリシーは予め設定した、多次元の関数や、累乗や対数の１つあるいは複数の関数で表すことができる。補正係数はこの関数の特性を決める値になる。また、明度についても、高明度、あるいは低明度の領域では、変換により色があまり変化しないようにすることが望まれる。これも彩度と同様に関数で制御できる。

ステップＳ７ではステップＳ３からステップＳ６で求めた項目を使用して、実際に色補正を行う。補正する方向は、ステップＳ４で求められているが、実際の補正量は、いくつかのメンバーシップ関数により計算される。

メンバーシップ関数には、次の項目が考えられる。
（１）補正する対象の画素と対象色との距離
（２）色相
（３）明度
（４）彩度
（５）色分布
このうち、明度や彩度に関するメンバーシップ関数の係数は、ステップＳ６にて計算されている。

このようなメンバーシップ関数からファジイに、補正量を決定し、対象色と目標値との移動方向と距離に掛け合わせて、実際の移動量を計算して、元の値に加えることで補正される。各対象画素に対して、対象色のすべてとの補正量を演算することになる。

ここではファジイと述べたが、空間的に連続して変換されることが、トーンジャンプやアーティファクトが発生しないための重要な条件となる。

このように、ステップＳ７での補正後は、好ましい色再現とされる画像に色が補正される。

その後、ステップＳ８では、均等な色空間から元の画像データの色空間に変換し、ステップＳ９ではこの変換されたデータを出力する。画像を保存、表示するためには、元の画像データと一致する必要がある。

なお、処理が可能なデータは８ビットのＲＧＢデータに限らず、ＹＣＣデータやＸＹＺデータ等、視覚的に均等な空間に変換できるデータであればよい。また、各チャネルも８ビットに限定されない。また、処理する均等色空間として、ＣＩＥＬＡＢ色空間を用いたが、ＣＩＥＬＵＶ色空間でもよい。

さらに、色の分類として、マンセルシステムによる色分類や、それを利用したＪＩＳの系統色名を利用したが、均等色空間との対応がなされれば、どんな表色系でもかまわず、例えば、ＰＣＣＳやＣＣＩＣといった色空間があげられる。

（第２実施形態）
本発明の第２実施形態による画像処理方法は、第１実施形態と同様にディジタルカメラや携帯電話、テレビ等あるいは、コンピュータのアプリケーションソフトの画像処理モジュールとして提供される。

図２に、本実施形態に係るカラー画像処理方法の処理の流れを示す。以下、処理手順について説明すると、まず、画像データを取得する（ステップＳ１）。次に画像データを視覚的に均等な色空間に変換する（ステップＳ２）。その後、この画像データのサブサンプリングを行い、画像サイズの小さな画像を生成する（ステップＳ１１）。生成された縮小画像のデータを用いて対象色を抽出し（ステップＳ３）、その後、抽出した対象色の目標値を決定する（ステップＳ４）。その後、画像データの対象色近傍の色空間の色分布から広がり量を決定し（ステップＳ５）、対象色と対象色の目標値と対象色近傍の広がり量と、表現可能な色域の最外郭点までの距離とから補正係数を演算する（ステップＳ６）。その後、元の大きさの画像データの各画素に対して、ステップＳ３からステップＳ６までの値を用いて色補正を行う（ステップＳ７）。補正された各画素に対して、元の画像データの色空間に逆変換させ（ステップＳ８）、補正後の画像データの出力（ステップＳ９）を行う。

この方法では、ステップＳ３からステップＳ６までのステップを縮小画像で行うことから、第１の実施例に比較し、演算時間が短縮されるという利点がある。

ここで、ステップＳ１１のサブサンプリングは、最近隣法による縮小を行い、元の画像にあるデータを使用することが望ましい。近隣からデータを畳み込んだりすると、本来の画像にはない、測色値が生じ、結果として生じるステップＳ３からステップＳ６までの値に影響を及ぼすことになる。

また、縮小すればするほど、演算時間が短縮されるが、縮小しすぎると画像によっては、細線が削除されるといった現象が起こることも考えられる。対象の画像データの特徴を大きく削らない範囲での縮小が望まれる。

残りのステップについての詳細は、第１の実施形態に準じるものとなる。

本発明の第１実施形態に係る画像処理方法の処理の流れを示す図。 本発明の第２実施形態に係る画像処理方法の処理の流れを示す図。 本発明の第１実施形態に係る画像処理方法を実行する画像処理装置の構成を示す図。

符号の説明

３０１・・・対象色設定部
３０２・・・目標色設定部
３０３・・・補正係数演算部
３０４・・・補正量演算部
３０５・・・色補正部

Claims (6)

1. 画像中で補正の対象とする対象色を設定する対象色設定部と、
   明度、彩度および色相によって表現される色空間のうち前記対象色が属する色相の領域での前記対象色の特性と、出力デバイスで表現可能な色域の前記領域での最外郭点の形状とに基づいて、前記対象色の補正の目標値となる目標色を求める目標色設定部と、
   （ａ）前記対象色の明度、彩度および色相と、（ｂ）前記目標色の明度、彩度および色相と、（ｃ）前記最外郭点から前記対象色までの間の前記色空間での距離と、（ｄ）前記最外郭点から前記目標色までの間の前記色空間での距離と、に基づいて補正係数を演算する補正係数演算部と、
   前記対象色に属する色の画素である補正対象画素について、（Ａ）前記対象色と前記目標色との前記色空間内での距離、（Ｂ）前記補正対象画素の色から前記対象色までの間の前記色空間内での距離、（Ｃ）前記補正係数、（Ｄ）前記補正対象画素の明度および彩度、を用いて色補正量を演算する補正量演算部と、
   前記補正対象画素の前記色補正量を用いて、前記補正対象画素の色を補正する色補正部と、
   を有する画像処理装置。
2. 前記対象色設定部は、前記色空間での色に関して前記画像のヒストグラムを求めるヒストグラム生成部を備え、
   前記対象色設定部は、最も画素の数が多い色を前記対象色として設定することを特徴とする請求項１に記載の画像処理装置。
3. 前記対象色設定部は、前記色空間での色に関して前記画像のヒストグラムを求めるヒストグラム生成部を備え、
   前記対象色設定部は、最も画素の数が多い色から前記色空間で所定の距離以上離れている色を前記対象色として設定することを特徴とする請求項１に記載の画像処理装置。
4. 前記対象色設定部は、予め定められた色を用いることを特徴とする請求項１記載の画像処理装置。
5. 前記画像を最近隣法でサブサンプリングして縮小画像を生成する画像縮小部をさらに有し、
   前記対象色設定部は前記縮小画像を用いて前記対象色を設定し、
   前記目標色設定部は前記縮小画像を用いて前記目標色を設定する、
   請求項１から請求項４記載までのいずれか一項に記載した画像処理装置。
6. 画像中で補正の対象とする対象色を設定するステップと、
   明度、彩度および色相によって表現される色空間のうち前記対象色が属する色相の領域での前記対象色の特性と、出力デバイスで表現可能な色域の前記領域での最外郭点の形状とに基づいて、前記対象色の補正の目標値となる目標色を求める目標色設定ステップと、
   （ａ）前記対象色の明度、彩度および色相と、（ｂ）前記目標色の明度、彩度および色相と、（ｃ）前記最外郭点から前記対象色までの間の前記色空間での距離と、（ｄ）前記最外郭点から前記目標色までの間の前記色空間での距離と、に基づいて補正係数を演算するステップと、
   前記対象色に属する色の画素である補正対象画素について、（Ａ）前記対象色と前記目標色との前記色空間内での距離、（Ｂ）前記補正対象画素の色から前記対象色までの間の前記色空間内での距離、（Ｃ）前記補正係数、（Ｄ）前記補正対象画素の明度および彩度、を用いて色補正量を演算するステップと、
   前記補正対象画素の前記色補正量を用いて、前記補正対象画素の色を補正するステップと、
   を有する画像処理方法。

Images