JP2006262404A - 光源推定装置、画像処理装置、光源推定方法、および画像処理方法 - Google Patents

Abstract

【課題】 画像データより撮影シーンの光源を推定するにあたって、光源推定の精度を向上させることのできる光源推定装置および光源推定方法を実現する。
【解決手段】 画像データを構成する色分布が算出され（Ｓ１）、該画像データの色分布は、予め設定された光源モデルに対する色分布と比較され、その評価値が算出される（Ｓ２）。上記評価値は、所定のブロック毎にその合計値が求められ（Ｓ３）、評価値合計が最大となるブロックが抽出される（Ｓ４）。この抽出ブロックに含まれる評価値を用いて演算を行い、その演算結果に基づいて光源の推定が行われる（Ｓ５）。上記Ｓ１〜Ｓ５の処理と並行して、上記Ｓ５で求められる推定光源の確からしさの確率が算出され（Ｓ６）、その確率に基づいて上記推定光源が補正される（Ｓ７）。上記推定光源の分光特性を、標準光源の分光特性に置き換えて、入力された画像データの補正が行われる（Ｓ８）。
【選択図】 図１

Description

本発明は、撮影シーンの画像データに基づいて、該撮影シーンの光源の推定を行う光源推定装置および方法、並びに上記光源推定結果を用いて画像データの補正を行う画像処理装置および方法に関するものである。

近年、デジタルカメラやコンピュータ等が普及すると共に、デジタル画像データを表示出力または印字出力するディスプレイやプリンタなどの出力機器において高品質化が進んでいる。すなわち、これらの出力機器では、画像処理技術の向上とも相まって、品質の良い画像を色再現性良く表示したり出力したりすることが行われるようになってきている。これらの出力機器は、撮影シーンをＣＣＤ（Charge Coupled Device）等の受光素子を介して取り込んだ画像を出力する用途において使用されることも多い。

例えば、デジタルカメラやデジタルビデオカメラ等、撮影シーンを画像として取り込む撮影機器では、撮影シーンの照明の状態によらず、画像が自然に見えるように取り込むために、例えば、Ｒ・Ｇ・Ｂの各センサのバランスを調整する補正機構（ホワイトバランスの調整）が設けられている。しかしながら、このバランス調整が十分でなかったり、あるいは、誤った調整がなされると、取り込まれた画像は、本来有していない色に着色していたり（色カブリ）、不自然な色に再現されたりする。

これは、デジタル機器を用いる場合のみでなく、フィルムカメラ等においても、フィルムの特性とシーンの照明との組合せによっては生じうる現象である。そこで、撮影時の光源を推定し、取り込まれた画像の色再現性を向上させる技術が、例えば特許文献１において検討されている。特許文献１に開示されている光源の推定方法について説明すれば以下の通りである。
(a) 撮影シーンの画像データ（サンプル画素のセンサ応答）に対し、ある１つの光源（テスト光源）を想定して、この光源の分光特性の影響を除去し、上記画像データを反射率ベクトル空間に投影し画像分布を生成する。
(b) 次に、上記(a)の処理にて得られた画像分布に対し、基準の分布状態である参照分布との相関を求め、上記光源に対するスコア値（複数の評価結果の積）を求める。この参照分布は、被写体として想定できる物体表面の分光反射率のデータ（多様な代表的サンプル）を反射率ベクトル空間に投影して得られる。
(c) 上記(a)，(b)の処理をテスト光源別に繰り返し、それぞれのテスト光源に対するスコア値を求める。
(d) 全てのテスト光源のうち、最も高いスコア値を持つテスト光源を推定光源とする。
特開２００４−１６５９３２号公報（公開日２００４年６月１０日）

しかしながら、上記特許文献１に開示されている従来の光源推定方法では、以下のような問題を生じる。

第１に、上記方法によって推定される光源は、予め設定されている複数のテスト光源の中から選択されるものであるため、推定の精度が低い。また、推定の精度を上げるにはテスト光源の数を増やすことが考えられるが、その場合は、テスト光源を記憶するための記憶容量が増大したり、各テスト光源に対するスコア値の算出処理が増大したりするといった問題がある。

第２に、上記比較に用いる参照分布は、物体表面の分光反射率に基づくものであるので、撮影シーンの画像データにおいて、物体からの反射光では無い空（太陽からの光の散乱）等が含まれる場合、誤った光源が推定され得る。また、上記参照分布は、多様な代表的サンプルの分光反射率によるものであるので、撮影シーンの画像データにおける色の分布に偏りがある場合、誤った光源が推定される。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、画像データより撮影シーンの光源を推定するにあたって、光源推定の精度を向上させることのできる光源推定装置および光源推定方法を実現することにある。

本発明に係る光源推定装置は、上記課題を解決するために、画像データにおける撮影シーンの光源の推定を行う光源推定装置において、上記画像データを構成している色分布を算出する色分布算出部と、ある光源モデルを用いて色の偏りが無い標準サンプルを照射した時に得られる色分布のデータを、複数の光源モデルに対して記憶している記憶部と、上記色分布算出部で算出された上記画像データの色分布を、ある光源モデルに対しての色分布と比較して得られる評価値を、上記記憶部に記憶された光源モデル毎に算出する評価値算出部と、上記評価値算出部において算出された評価値に基づいて、上記複数の光源モデルの中から推定光源の近傍にある所定数の光源モデルを抽出する抽出部と、上記抽出部によって抽出された光源モデル毎の評価値に基づいて、撮影シーンの光源の推定を行う光源推定部とを備えていることを特徴としている。

上記の構成によれば、上記画像データを構成する色分布が色分布算出部によって算出され、該画像データの色分布は、上記評価値算出部において、光源モデルを用いて色の偏りが無い標準サンプルを照射した時に得られる色分布（記憶部から読み出される）と比較され、その評価値が算出される。この評価値は、画像データの色分布と比較された光源モデルの色分布との相関によって求められるものであり、該評価値の値が大きいほど、撮影シーンの光源と比較された光源モデルとが近いことを示す。

そして、上記抽出部では、上記複数の光源モデルの中から推定光源の近傍にある所定数の光源モデルが抽出され、上記光源推定部では、上記抽出部によって抽出された光源モデル毎の評価値に基づいて、撮影シーンの光源の推定を行うため、予め設定されている複数のテスト光源の中から推定光源を選択する従来技術に比べ、光源推定の精度を向上させることができる。

また、上記光源推定装置では、上記複数の光源モデルは色平面上で所定のパターンで配置されており、該色平面内で近接する複数の光源モデルを頂点とする多角形を１つのブロックとした場合、上記評価値算出部は、上記ブロック毎に評価値の合計値を求め、その合計値が最大となるブロック内に含まれる光源モデルに対しての評価値を抽出し、上記光源推定部は、上記評価値算出部により抽出された評価値を用いて演算を行い、その演算結果に基づいて光源の推定を行うことを特徴としている。

上記の構成によれば、上記抽出部において、推定光源の近傍にある所定数の光源モデルを容易に抽出することが可能となる。

また、上記光源推定装置は、さらに、上記画像データより、上記光源推定部により推定される光源の確からしさを表す確率を算出する確率算出部と、上記確率算出部で算出された確率値と、予め定められる標準光源の値とを用いて、上記光源推定部により推定された推定光源の補正を行う推定光源補正部とを備えていることを特徴としている。

上記光源推定部において求められた推定光源は、上記画像データが自発光体または反射しない物体などのように、色分散特性およびその他の特性などの例外的な特性を有する画素を含む場合、誤った推定となり得る。これは、上記評価値算出部において使用される参照データ（光源モデルを用いて色の偏りが無い標準サンプルを照射した時に得られる色分布）が、そもそも物体表面の分光反射率に基づくものであり、物体からの反射光では無い空（太陽からの光の散乱）等の画像部分には適用できないためである。

これに対し、上記の構成によれば、上記確率算出部が上記光源推定部により推定される光源の確からしさを表す確率を算出し、上記推定光源補正部が上記確率算出部で算出された確率値と、予め定められる標準光源の値とを用いて、上記光源推定部により推定された推定光源の補正を行う。すなわち、上記確率算出部により算出される確率が小さければ、上記光源推定部により推定された推定光源を、上記標準光源に近づける方向に補正する。ここで、上記標準光源とは、標準的な撮影シーンにおいて想定される光源であり、例えばＤ６５（紫外域を含む昼光、色温度：６５０４Ｋ）の光源とすることができる。

これにより、上記画像データが例外的な特性を有する画素を含む場合の、誤った推定による誤った補正の影響を低減できる。

また、本発明に係る画像処理装置は、上記光源推定装置を備え、さらに、上記光源推定装置によって推定された光源の分光特性を、標準光源の分光特性に置き換えて、入力された画像データの補正を行う画像データ補正部を備えていることを特徴としている。

上記の構成によれば、精度の高い光源推定結果に基づいて、画像データの補正を行うことができる。

また、本発明に係る光源推定方法は、画像データにおける撮影シーンの光源の推定を行う光源推定方法において、上記画像データを構成している色分布を算出する色分布算出工程と、上記色分布算出工程で算出された上記画像データの色分布を、ある光源モデルを用いて色の偏りが無い標準サンプルを照射した時に得られる色分布と比較して得られる評価値を、複数用意された光源モデル毎に算出する評価値算出工程と、上記評価値算出工程において算出された評価値に基づいて、上記複数の光源モデルの中から推定光源の近傍にある所定数の光源モデルを抽出する抽出工程と、上記抽出工程によって抽抽出された光源モデル毎の評価値に基づいて、撮影シーンの光源の推定を行う光源推定工程とを含むことを特徴としている。

上記の構成によれば、上述の光源推定装置と同様、光源推定の精度を向上させることができる。

また、上記光源推定方法では、上記複数の光源モデルは色平面上で所定のパターンで配置されており、該色平面内で近接する複数の光源モデルを頂点とする多角形を１つのブロックとした場合、上記評価値算出工程は、上記ブロック毎に評価値の合計値を求め、その合計値が最大となるブロック内に含まれる光源モデルに対しての評価値を抽出し、上記光源推定工程は、評価値算出工程により抽出された評価値を用いて演算を行い、その演算結果に基づいて光源の推定を行う構成とすることができる。

また、上記光源推定方法は、さらに、上記画像データより、上記光源推定工程により推定される光源の確からしさを表す確率を算出する確率算出工程と、上記確率算出工程で算出された確率値と、予め定められる標準光源の値とを用いて、上記光源推定工程により推定された推定光源の補正を行う推定光源補正工程とを含む構成とすることができる。

また、本発明に係る画像処理方法は、上記光源推定方法によって推定された光源の分光特性を、上記標準光源の分光特性に置き換えて、入力された画像データの補正を行う画像データ補正工程を含むことを特徴としている。

上記の構成によれば、上述の光源推定方法と同様、精度の高い光源推定結果に基づいて、画像データの補正を行うことができる。

また、本発明に係る画像形成装置は、上記記載の画像処理装置を備えている。また、本発明に係る光源推定処理プログラムは、コンピュータを、上記請求項１ないし３の何れかに記載の光源推定装置を構成する各機能部として作用させる。また、本発明に係る記録媒体は、上記記載の光源推定処理プログラムを記録したコンピュータ読取り可能な記録媒体である。

本発明に係る光源推定装置は、以上のように、上記画像データを構成している色分布を算出する色分布算出部と、ある光源モデルを用いて色の偏りが無い標準サンプルを照射した時に得られる色分布のデータを、複数の光源モデルに対して記憶している記憶部と、上記色分布算出部で算出された上記画像データの色分布を、ある光源モデルに対しての色分布と比較して得られる評価値を、上記記憶部に記憶された光源モデル毎に算出する評価値算出部と、上記評価値算出部において算出された評価値に基づいて、上記複数の光源モデルの中から推定光源の近傍にある所定数の光源モデルを抽出する抽出部と、上記抽出部によって抽出された光源モデル毎の評価値に基づいて、撮影シーンの光源の推定を行う光源推定部とを備えている構成である。

また、本発明に係る光源推定方法は、上記画像データを構成している色分布を算出する色分布算出工程と、上記色分布算出工程で算出された上記画像データの色分布を、ある光源モデルを用いて色の偏りが無い標準サンプルを照射した時に得られる色分布と比較して得られる評価値を、複数用意された光源モデル毎に算出する評価値算出工程と、上記評価値算出工程において算出された評価値に基づいて、上記複数の光源モデルの中から推定光源の近傍にある所定数の光源モデルを抽出する抽出工程と、上記抽出工程によって抽抽出された光源モデル毎の評価値に基づいて、撮影シーンの光源の推定を行う光源推定工程とを含む構成である。

それゆえ、予め設定されている複数のテスト光源の中から推定光源を選択する従来技術に比べ、記憶容量や算出処理量を増大することなく光源推定の精度を向上させることができるといった効果を奏する。

本発明の一実施形態について図１ないし図７に基づいて説明すると以下の通りである。本実施の形態では、本発明の光源推定方法を、デジタルカラー複写機の画像処理装置において適用した場合を例示する。先ずは、上記デジタルカラー複写機の概略構成を図２を参照して説明する。

図２に示すデジタルカラー複写機１は、カラー画像入力装置１０、カラー画像処理装置２０、およびカラー画像出力装置４０により構成されている。

カラー画像入力装置１０は、光学情報を電気信号に変換するデバイス（例えばＣＣＤ）を備えたスキャナ部より構成され、原稿からの反射光像により得られる画像データをＲＧＢのアナログ信号として出力する。

カラー画像入力装置１０にて読み取られた原稿の画像データ（アナログ信号）は、カラー画像処理装置２０内を、Ａ／Ｄ変換部２１、シェーディング補正部２２、入力階調補正部２３、入力補正部２４、領域分離処理部２５、色補正部２６、黒生成下色除去部２７、空間フィルタ処理部２８、出力階調補正部２９、および階調再現処理部３０の順で送られ、ＣＭＹＫのデジタルカラー信号として、カラー画像出力装置４０へ出力される。

Ａ／Ｄ変換部２１は、入力された画像データをＲＧＢのアナログ信号からデジタル信号に変換する。シェーディング補正部２２は、Ａ／Ｄ変換部２１より送られてきたデジタルＲＧＢ信号に対して、カラー画像入力装置１０の照明系、結像系、撮像系で生じる各種の歪みを取り除く処理を施す。

入力階調補正部２３は、シェーディング補正部２２にて各種の歪みが取り除かれたＲＧＢ信号に対して、カラーバランスを整えると同時に、濃度信号などカラー画像処理装置２０に採用されている画像処理システムの扱い易い信号に変換する処理を施す。

入力補正部２４は、上記画像データに基づき、上記原稿の撮影シーンにおける光源の推定を行うと共に、その光源推定結果に基づいて画像データに対する補正処理を行う。

領域分離処理部２５は、画像データのＲＧＢ信号より、入力画像中の各画素を文字領域、網点領域、写真領域の何れかに分離する。また、領域分離処理部２５は、その分離結果に基づき、画像データ中の各画素が上述のどの領域に属しているかを示す領域識別信号を生成し、この領域識別信号を黒生成下色除去部２７、空間フィルタ処理部２８、および階調再現処理部３０へと出力する。さらに、領域分離処理部２５は、入力補正部２４より入力された画像データをそのまま後段の色補正部２６に出力する。

色補正部２６は、色再現の忠実化を図るために、画像データに対して不要吸収成分を含むＣＭＹ色材の分光特性に基づいた色濁りを取り除く処理を行う。

黒生成下色除去部２７は、色補正後のＣＭＹの３色信号から黒（Ｋ）信号を生成する黒生成処理を行う一方、元のＣＭＹ信号から黒生成で得たＫ信号を差し引いて新たなＣＭＹ信号を生成する下色除去処理を行うものである。これらの処理（黒生成処理・下色除去処理）の結果、ＣＭＹの３色信号はＣＭＹＫの４色信号に変換される。

空間フィルタ処理部２８は、黒生成下色除去部２７より入力されるＣＭＹＫ信号の画像データに対して、領域識別信号を基にデジタルフィルタによる空間フィルタ処理を行い、空間周波数特性を補正する。これにより、出力画像のぼやけや粒状性劣化を軽減することができる。出力階調補正部２９および階調再現処理部３０においては、空間フィルタ処理部２８と同様に、ＣＭＹＫ信号の画像データに対して、領域識別信号に基づいて後述する所定の処理が施される。

例えば、領域分離処理部２５にて文字に分離された領域は、文字の再現性を高めるために、空間フィルタ処理部２８での空間フィルタ処理において、高周波成分の強調量が大きいフィルタが用いられる。同時に、階調再現処理部３０において、高域周波成分の再現に適した高解像度のスクリーンによる二値化もしくは多値化処理が実施される。

また、領域分離処理部２５にて網点に分離された領域に関しては、空間フィルタ処理部２８において、入力網点成分を除去するためのローパス・フィルタ処理が施される。そして、出力階調補正部２９において、濃度信号などの信号をカラー画像出力装置４０の特性値である網点面積率に変換する出力階調補正処理を行った後、階調再現処理部３０で、最終的に画像を画素に分離してそれぞれの階調を再現できるように処理する階調再現処理が施される。領域分離処理部２５にて写真に分離された領域に関しては、階調再現性を重視したスクリーンでの二値化または多値化処理が行われる。

上述した各処理が施された画像データは、一旦記憶装置（図示せず）に記憶され、所定のタイミングで読み出されてカラー画像出力装置４０に入力される。

このカラー画像出力装置４０は、画像データを紙などの記録媒体上に出力するもので、例えば、電子写真方式やインクジェット方式を用いたカラー画像出力装置等をあげることができるが特に限定されるものでは無い。尚、以上の処理は不図示のＣＰＵ（Central Processing Unit）により制御される。

ここで、本発明は、上記カラー画像処理装置２０の入力補正部２４で行われている光源推定処理に特徴を有するものである。以下に、この光源推定処理を行う方法について詳細に説明する。

上記光源推定処理を行う入力補正部２４の概略構成を図３に示す。入力補正部２４は、図３に示すように、色分布算出部２４１、評価値算出部２４２、記憶部２４３、確立算出部２４４、光源推定部２４５、および補正部２４６を具備して構成されている。

色分布算出部２４１は、画像データにおける色の分布（色度ヒストグラム）を求める。評価値算出部２４２は、画像データの色の分布と、各光源モデルで参照データを照射した時の色の分布データとの相関より評価値を求める。記憶部２４３は、光源モデルで参照データを照射した時の色の分布データ（色度ヒストグラム）を格納する。確立算出部２４４は、画像の例外特性に関する確率を算出する。光源推定部２４５は、評価値算出部２４２で算出された評価値より、推定光源を求める。そして、補正部２４６は、推定光源の分光特性を標準光源の分光特性に置き換えて画像データを補正する。

入力補正部２４における光源推定処理手順の概略を、図１のフローチャートに沿って説明すれば以下の通りである。

Ｓ１では、色分布算出部２４１により画像データの色分布算出が行われる。すなわち、色分布算出部２４１は、撮影されたシーンの画像データを入力し、該画像データにおける色の分布（色度ヒストグラム）を求める。

ここでの色分布算出は、例えば、下記の方法を用いることができる。すなわち、入力された画像データをｘｙＹ色空間に変換して、変換した画像データにおける各色の出現頻度をｎ×ｍサイズの２次元ヒストグラム（ｘｙＹ表色系におけるｘｙ平面）で表して、これを対象画像データの色分布とする。上記２次元ヒストグラムは、ｘ値をｎ階級に分割し、ｙ値をｍ階級に分割したものとなる。

Ｓ２では、評価値算出部２４２により各モデル光源に対しての評価値算出が行われる。評価値算出部２４２は、上記Ｓ１で求められた画像データの色分布と、各光源モデルで参照データを照射した時の色分布との相関より上記評価値を求める。ここで、各光源モデルで参照データを照射した時の色分布データは、記憶部２４３において予め格納されており、評価値算出部２４２は、記憶部２４３から該色分布データを読み出して上記評価値の算出に用いる。

記憶部２４３において格納される色分布データは以下のようにして求められたものである。すなわち、光源モデルとして色の異なる複数の光源（図４参照）を想定し、さらに、参照データとして平均的な撮影シーンの分光反射率を予め定めておく。この参照データは、標準サンプル（例えば、マンセルのカラーチップ）の分光反射率のデータから計算した値を用いることができる。そして、各光源モデルで参照データを照射した時のそれぞれの色分布データ（色度ヒストグラム）を記憶部２４３に格納しておく。したがって、上記Ｓ２では、各光源モデルに対応して、複数の評価値が算出されることになる。

上記評価値の算出方法は、本発明において特に限定されるものでは無く、従来の光源推定において用いられている手法（例えば、特許文献１におけるスコア値の算出方法）が適用可能である。また、上記評価値は、差分、内積、ノルムなどベクトル間の差異を表す値であれば相関以外の数値であっても良い。

Ｓ３では、上記Ｓ２で光源モデル毎に求められた評価値を用いて、評価値のブロック毎の合計を算出する。Ｓ４では、上記Ｓ３の結果より評価値合計が最大となるブロックを抽出する。このＳ３およびＳ４の処理をより具体的に説明すると以下の通りである。

例えば、図５に示すように、複数の光源モデルがマトリクス状に配置されたxｙ平面において、近接する４つの光源モデルを頂点とする格子を１つのブロック（２×２光源モデルのブロック）とすれば、各ブロックにおける評価値合計は、ブロック内の４つの光源モデルに対する評価値を合計したものとなる。こうして、各ブロックにおける評価値合計が求まれば、評価値合計が最大となるブロックを抽出することができる。尚、本実施の形態においては、上記Ｓ３およびＳ４のステップは、評価値算出部２４２においてなされるものとする。そして、評価値算出部２４２は、抽出されたブロックを構成する４つの光源モデルに対する評価値を光源推定部２４５へ出力する。

すなわち、評価値算出部２４２の処理において、評価値合計が最大となるブロックを抽出しすることは、予め準備された複数の光源モデルの中から、推定光源の近傍にあると予定される所定数の光源モデルを抽出することを意味する。

尚、上記各ブロックにおいては、それぞれのブロックに含まれる光源モデルの数は同一であり、また、それぞれのブロックの形状および面積は等しい。但し、上記ブロックの形は上記格子（四角形）形状に限定されるものでは無く、その他の多角形形状（例えば三角形）であってもよい。また、上記例では、ブロックのサイズが２×２光源モデルであるため、各ブロックは重なり合う領域を有さないが、ブロックのサイズも任意であり、各ブロックが重なり合う領域を有していてもよい。例えば、ブロックのサイズを３×３光源モデルとすれば、各ブロックは重なり合う領域を有するように設定することも可能である。

Ｓ５では、上記Ｓ４で抽出されたブロックを構成する光源モデルの評価値を用いて、演算によって推定光源を求める。演算方法としては、例えば、下記の方法を用いることができる。すなわち、図６に示すように、２×２光源モデルを１ブロックとした場合に、それぞれの光源モデルに対しての評価値および色度図上の座標から、推定光源の座標を以下の（１）式および（２）式により計算する。

上記Ｓ２ないしＳ５の処理と並行して、Ｓ６において、画像の例外特性に関する確率が算出される。ここで、画像の例外特性に関する確率とは、上記Ｓ２ないしＳ５の処理で求められる推定光源の確からしさ（尤度）を評価する指標である。本実施の形態では、確立算出部２４４が、色分布算出部２４１および評価値算出部２４２の処理と並行して該Ｓ６の処理を行う。評価値算出部２４２は、入力された画像データにおいて、例外的特性を含む画素（例外画素）を検出し、画像データ中にそのような例外画素の含まれる割合に応じて、上記確率を決定する。ここで、画像の例外特性とは、例えば、(1)画像データに空が含まれる確率、(2)上記光源モデルが適用できない確率などであり、これらの算出結果を基に、画像の例外特性に関するトータルの確率を算出するが、具体的な方法については後述する。

Ｓ７では、上記Ｓ５で求まった推定光源を、上記Ｓ６で求まった確率値に基づいて補正する。すなわち、上記図５に示すｘｙ平面上において、上記標準光源の位置と上記推定光源の位置とを結んだ直線上で、上記標準光源と上記推定光源との距離に上記確率値を乗じ、補正した推定光源の位置とする。ここで、上記標準光源とは、標準的な撮影シーンにおいて想定される光源であり、例えばＤ６５（紫外域を含む昼光、色温度：６５０４Ｋ）の光源とすることができる。

Ｓ８では、補正後の推定光源の分光特性を標準光源の分光特性に置き換えて画像データを補正する。

ここで、上記Ｓ６における画像の例外特性に関する確率の算出方法について具体的に説明する。

上記Ｓ５で求まった推定光源は、自発光体または反射しない物体などのように、色分散特性およびその他の特性などの例外的な特性を含む画像に対しては、誤った推定となり得る。これは、Ｓ２で使用される参照データが、そもそも物体表面の分光反射率に基づくものであり、物体からの反射光では無い空（太陽からの光の散乱）等の画像部分には適用できないためである。

Ｓ６における画像の例外特性に関する確率を算出する具体的方法の例として、画像データの画素が空である確率を計算する方法を記述する。画素値の明度に基づく空である確率をＰ_Ｌ、画素値の色相に基づく空である確率をＰ_Ｓ、画素の画像データ上での位置にもとづく空である確率をＰ_Ｒとしたときに、対象の画素が空である確率Ｐ_ｓｋｙをＰ_ｓｋｙ＝Ｐ_Ｌ×Ｐ_Ｓ×Ｐ_Ｒとして求める。ここで、Ｐ_Ｌ、Ｐ_Ｓ、Ｐ_Ｒは、一般的な画像における統計データより求められる確率関数であり、各値は０〜１の実数である。確率関数は、例えば、画素の明度をＬ、画素の明度の最大値をＬｍａｘとした時、Ｌ／Ｌｍａｘの値を確率として用いる、あるいは、多くの画像サンプルを基に、求められた明度と空である確率の関係をテーブルや近似式の形で用いることで実現できる。このとき対象画素の推定の確からしさＬ_ＥをＬ_Ｅ＝１−Ｐ_ｓｋｙとして算出する。

また、複数の例外的な特性について確率をＰ_１，Ｐ_２，Ｐ_３,…と求めた場合には、それらの確率をまとめた例外特性である確率Ｐ_ＸをＰ_Ｘ＝Ｐ_１×Ｐ_２×Ｐ_３…として求め、そのときの推定の確からしさをＬ_Ｅ＝１−Ｐ_Ｘとして算出する。

本発明の光源推定方法は、ソフトウェア（アプリケーションプログラム）として実現することが可能である。この場合、上述した光源推定処理を含んだ画像処理をアプリケーション・ソフトウェアとして実現し、該アプリケーション・ソフトウェアを組み込んだプリンタ・ドライバとしてコンピュータやプリンタに設けることができる。このようなプリンタ・ドライバは、デジタルカメラ、フラットベッドスキャナなどの画像入力装置からコンピュータを介さずに直接入力された画像データをプリンタから出力するために、プリンタのファームウェアにより輝度階調の補正を実施する。

上記プリンタ・ドライバを備えたプリンタの構成例を図７に示す。図７に示すプリンタ２は、カラー画像処理装置５０、カラー画像出力装置６０、および操作パネル７０を備えて構成されている。また、カラー画像処理装置５０は、復号処理部５１、色変換部５２、入力補正部５３、色補正部５４、黒生成下色除去部５５、空間フィルタ処理部５６、出力階調補正部５７、および階調再現処理部５８を備えて構成されている。

復号処理部５１は、デジタルカメラなどから入力されたＹＣｂＣｒの圧縮画像データ（符号化データ）を復号し、さらに逆量子化、逆直交変換を行って画像データに変換する。色変換部５２は、輝度信号と色差信号とからなる上記画像データを、ＲＧＢ信号あるいはＲＧＢ信号を補色反転したＣＭＹ（Ｃ：Cyan、Ｍ：Magenta、Ｙ：Yellow）信号に再変換する。

入力補正部５３では、上記画像データに対し、光源の推定および光源推定結果に基づく補正処理が成される。すなわち、入力補正部５３は、本発明の特徴である光源推定処理を行うものであり、図２における入力補正部２４と同様の処理を行うものである。

色補正部５４は、ＲＧＢ信号あるいは補色反転したＣＭＹ信号に対して色補正処理を実施する。ここで、色補正処理とは、色再現の忠実化を目的として不要吸収成分を含むＣＭＹ色材の分光特性に基づいた色濁りを取り除く処理である。

黒生成下色除去部５５は、黒生成部と下色除去部より構成され、黒生成部では、色補正されたＣＭＹ信号に基づいて、黒（Ｋ）生成処理が行われる。そして、下色除去部では、黒信号から計算される下色の量をＣＭＹ信号から減算し、ＣＭＹＫ４色のデータに変換される。

次に、空間フィルタ処理部５６において得られた画像データに対して、デジタルフィルタによる空間フィルタ処理がなされ、空間周波数特性を補正することによって出力画像のぼやけや粒状性劣化を防ぐように処理される。そして、出力階調補正部５７で、濃度信号などの信号を画像出力装置の特性値である網点面積率に変換する出力階調補正処理が行われ、最終的に階調再現処理部５８で、画像を画素に分離してそれぞれの階調を再現できるように処理する階調再現処理がなされる。

上述した各処理が施された画像データは、一旦記憶装置に記録され、所定のタイミングで読み出されて画像出力装置６０に入力される。この画像出力装置は、画像データを紙などの記録媒体上に出力するもので、例えば、インクジェット方式や熱転写方式を用いたカラー画像出力装置等があげられるが特に限定されるものでは無い。

また、操作パネル７０には、特に図示していないが、モード選択ボタン・設定ボタン・テンキー等の入力手段が含まれるものとする。そして、ユーザの指示を受け付けると共に、ユーザに対し、設定されている出力モードなどを示す機能を有している。ユーザは、この操作パネル７０を通してモードを選択することで処理をオン／オフしたり、任意にパラメータを設定したりすることができる。尚、以上の処理は不図示のＣＰＵ（Central Processing Unit）により制御される。上記光源の推定・補正処理は、操作パネル７０より画像モード、例えば、色カブリ補正モードを選択した時のみ、実施するようにしても良い。

また、本発明の光源推定処理およびその結果に基づく補正処理は、アプリケーション・ソフトウェアによって実現しても良い。この場合、コンピュータに取り込んだ画像データ（スキャナなどの画像読取装置より読み込まれた画像データ、通信回線を介してダウンロードした画像データ等）に対して、上記光源推定処理および上記補正処理を行う。これらの処理が施された画像は、ディスプレイなどの画像表示装置に表示したり、プリンタなどの画像出力装置より出力したりされる。

この場合のコンピュータシステムは、フラットベッドスキャナ・フィルムスキャナ・デジタルカメラなどの画像入力装置、所定のプログラムがロードされることにより上記画像処理方法など様々な処理が行われるコンピュータ、マウスやキーボードなどのユーザーインターフェース、コンピュータの処理結果を表示するＣＲＴディスプレイ・液晶ディスプレイなどの画像表示装置およびコンピュータの処理結果を紙などに出力するプリンタなどの画像出力装置により構成される。さらには、データを保存するための外部記憶装置や、ネットワークを介してサーバなどに接続するための通信手段としてモデム、ネットワークカードなどが備えられる。

また、本発明は、コンピュータに実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体に、上記画像処理方法を記録するものとすることもできる。この結果、画像処理方法を実現するプログラムを記録した記録媒体をコンピュータシステムと分離して提供することができる。

尚、本実施の形態における記録媒体としては、コンピュータ内部で処理が行われるために図示していないが、内部記憶装置、例えばＲＯＭのようなプログラムメディアであっても良いし、また、外部記憶装置としてプログラム読み取り装置が設けられ、そこに記録媒体を挿入することで読み取り可能なプログラムメディアであっても良い。

何れの場合においても、格納されているプログラムはプロセッサがアクセスして実行させる構成であっても良いし、あるいは、プログラムを読み出し、読み出されたプログラムを、コンピュータシステムの図には示されていないが、プログラム記憶領域にロードして、そのプログラムが実行される方式であってもよい。この場合、ダウンロード用のプログラムは予め本体装置に格納されているものとする。

ここで、上記プログラムメディアとは、コンピュータシステム本体と分離可能に構成される記録媒体であり、磁気テープ、フロッピー（登録商標）ディスク、ハードディスク等の磁気記録媒体、ＭＯなどの光磁気記録媒体やＣＤ−ＲＯＭ／ＣＤ−Ｒ／ＭＤ／ＤＶＤ等の光学記録媒体、あるいはマスクＲＯＭ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、フラッシュＲＯＭ等の半導体メモリを含む不揮発性の記録媒体であっても良い。

また、本実施の形態においては、インターネットを含む通信ネットワークに接続可能なシステム構成とし、通信ネットワークからプログラムをダウンロードするように流動的にプログラムを担持する媒体であっても良い。尚、このように通信ネットワークからプログラムをダウンロードする場合には、ダウンロードを実行するプログラムは予め本体装置に格納しておいても良いし、あるいは別な記録媒体からインストールされるものであっても良い。上記記録媒体は、コンピュータシステムに備えられる読み取り装置を介してプログラムをシステム内に取り込み、今プログラムを実行することで前述の画像処理方法を実施する。

入力された画像データから撮影時の光源色を推定して、その推定光源に基づいて画像補正を行うことができ、カラー複写機やカラープリンタ等の用途に適用できる。

本発明の実施形態を示すものであり、光源推定処理の手順を示すフローチャートである。 本発明の光源推定処理を適用可能な画像形成装置であり、カラー複写機の概略構成を示すブロック図である。 上記カラー複写機において光源推定処理を行う入力補正部の構成を示すブロック図である。 ｘｙＹ表色系におけるｘｙ平面上での光源モデルを示す図である。 ｘｙＹ表色系におけるｘｙ平面上での、マトリクス状に配置された複数の光源モデルを示す図である。 ２×２光源モデルを１ブロックとした場合の、推定光源の座標の演算方法を示す図である。 本発明の光源推定処理を適用可能な画像形成装置であり、カラープリンタの概略構成を示すブロック図である。

符号の説明

１ デジタルカラー複写機（画像形成装置）
２ プリンタ（画像形成装置）
２０ カラー画像処理装置（光源推定装置、画像処理装置）
５０ カラー画像処理装置（光源推定装置、画像処理装置）
２４１ 色分布算出部（色分布算出部）
２４２ 評価値算出部（評価値算出部、抽出部）
２４３ 記憶部（記憶部）
２４４ 確立算出部（確率算出部）
２４５ 光源推定部（光源推定部、推定光源補正部）
２４６ 補正部（画像データ補正部）

Claims (11)

1. 画像データにおける撮影シーンの光源の推定を行う光源推定装置において、
   上記画像データを構成している色分布を算出する色分布算出部と、
   ある光源モデルを用いて色の偏りが無い標準サンプルを照射した時に得られる色分布のデータを、複数の光源モデルに対して記憶している記憶部と、
   上記色分布算出部で算出された上記画像データの色分布を、上記記憶部に格納されている光源モデルに対しての色分布と比較して得られる評価値を、上記光源モデル毎に算出する評価値算出部と、
   上記評価値算出部において算出された評価値に基づいて、上記複数の光源モデルの中から推定光源の近傍にある所定数の光源モデルを抽出する抽出部と、
   上記抽出部によって抽出された光源モデル毎の評価値に基づいて、撮影シーンの光源の推定を行う光源推定部とを備えていることを特徴とする光源推定装置。
2. 上記複数の光源モデルは色平面上で所定のパターンで配置されており、該色平面内で近接する複数の光源モデルを頂点とする多角形を１つのブロックとした場合、
   上記評価値算出部は、上記ブロック毎に評価値の合計値を求め、その合計値が最大となるブロック内に含まれる光源モデルに対しての評価値を抽出し、
   上記光源推定部は、上記評価値算出部により抽出された評価値を用いて演算を行い、その演算結果に基づいて光源の推定を行うことを特徴とする請求項１に記載の光源推定装置。
3. 上記画像データより、上記光源推定部により推定される光源の確からしさを表す確率を算出する確率算出部と、
   上記確率算出部で算出された確率値と、予め定められる標準光源の値とを用いて、上記光源推定部により推定された推定光源の補正を行う推定光源補正部とを備えていることを特徴とする請求項１に記載の光源推定装置。
4. 上記請求項１ないし３の何れかの光源推定装置を備え、
   さらに、上記光源推定装置によって推定された光源の分光特性を、標準光源の分光特性に置き換えて、入力された画像データの補正を行う画像データ補正部を備えていることを特徴とする画像処理装置。
5. 画像データにおける撮影シーンの光源の推定を行う光源推定方法において、
   上記画像データを構成している色分布を算出する色分布算出工程と、
   上記色分布算出工程で算出された上記画像データの色分布を、ある光源モデルを用いて色の偏りが無い標準サンプルを照射した時に得られる色分布と比較して得られる評価値を、複数用意された光源モデル毎に算出する評価値算出工程と、
   上記評価値算出工程において算出された評価値に基づいて、上記複数の光源モデルの中から推定光源の近傍にある所定数の光源モデルを抽出する抽出工程と、
   上記抽出工程によって抽抽出された光源モデル毎の評価値に基づいて、撮影シーンの光源の推定を行う光源推定工程とを含むことを特徴とする光源推定方法。
6. 上記複数の光源モデルは色平面上で所定のパターンで配置されており、該色平面内で近接する複数の光源モデルを頂点とする多角形を１つのブロックとした場合、
   上記評価値算出工程は、上記ブロック毎に評価値の合計値を求め、その合計値が最大となるブロック内に含まれる光源モデルに対しての評価値を抽出し、
   上記光源推定工程は、評価値算出工程により抽出された評価値を用いて演算を行い、その演算結果に基づいて光源の推定を行うことを特徴とする請求項５に記載の光源推定方法。
7. 上記画像データより、上記光源推定工程により推定される光源の確からしさを表す確率を算出する確率算出工程と、
   上記確率算出工程で算出された確率値と、予め定められる標準光源の値とを用いて、上記光源推定工程により推定された推定光源の補正を行う推定光源補正工程とを含むことを特徴とする請求項５に記載の光源推定方法。
8. 上記請求項５ないし７の何れかの光源推定方法によって推定された光源の分光特性を、上記標準光源の分光特性に置き換えて、入力された画像データの補正を行う画像データ補正工程を含むことを特徴とする画像処理方法。
9. 上記請求項４に記載の画像処理装置を備えたことを特徴とする画像形成装置。
10. コンピュータを、上記請求項１ないし３の何れかに記載の光源推定装置を構成する各機能部として作用させるための光源推定処理プログラム。
11. 請求項１０に記載の光源推定処理プログラムを記録したコンピュータ読取り可能な記録媒体。

Images