JP2008123296A

JP2008123296A - 光源色推定方法、推定光源色設定方法、および、光源色制御方法

Info

Publication number: JP2008123296A
Application number: JP2006307134A
Authority: JP
Inventors: Tomohiro Matsuno; 知紘松野; Yasushi Kawaguchi; 裕史川口
Original assignee: Pioneer Electronic Corp
Current assignee: Pioneer Corp
Priority date: 2006-11-13
Filing date: 2006-11-13
Publication date: 2008-05-29

Abstract

【課題】画像撮像時の光源色を適切に推定できる推定光源色設定装置の提供。
【解決手段】推定光源色設定装置１００は、所定の画像の無彩色領域におけるＹ分布データ、Ｘ，Ｙ，Ｚ色分布データ、Ｘ，Ｙ，Ｚバランスデータを算出する。Ｙ分布データの累計頻度が９０％となる明点に対応するＹ値を明点Ｙ値、８０％となる暗点に対応するＹ値を暗点Ｙ値としてそれぞれ求める。明点Ｙ値、暗点Ｙ値に対応するＸバランスデータを明点Ｘバランスデータ、暗点Ｘバランスデータとして取得し、これらを含む１次関数の光源推定直線Ｌ１を設定し、この光源推定直線Ｌ１上におけるＹ分布データの累計頻度が１００％となるＸバランスデータを、反射勾配推定Ｘ値として算出し、この反射勾配推定Ｘ値と、同様に算出された反射勾配推定Ｙ，Ｚ値と、で表される色を推定光源色として推定する。
【選択図】図１

Description

本発明は、所定の画像が撮像された際の光源色を推定する光源色推定方法、推定光源色設定方法、および、この推定光源色設定方法により設定された光源色を利用した光源色制御方法に関する。

従来、表示装置のディスプレイに表示される画像の色は、実際の光源色に関わらずＮＴＳＣ（National Television System Committee）やＰＡＬ（Phase Alternation by Line）などの信号方式や、ディスプレイ側の色温度設定で決められていることがある。このような構成において、例えば昼間に撮影した写真を、夕日の下で撮影された状態に変換してディスプレイに表示する場合、ディスプレイ上で実像の光源色に対して違和感のある色を再現してしまうことがある。
このような不具合を解消するために、入力画像信号の情報に基づいて、実像の光源色を推定する構成が知られている（例えば、特許文献１参照）。

この特許文献１に記載のものは、あらかじめ多くの肌色について、昼光と蛍光灯のもとで入力した際のセンサ出力値の分布を求め、参照色分布記憶部に記憶しておく。そして、光源判定部にて、色分布計算部から得られる顔色（肌色）の平均値を参照色分布記憶部に記憶されている各光源下での顔色の色分布と比較し、その画像が撮像されたときの光源を判定する構成が採られている。

特開平１１−２８３０２５号公報

しかしながら、上述したような特許文献１のような構成では、撮像された画像における肌の部分の色分布に基づいて光源を判定しているため、人物が撮像されていない画像の光源を適切に推定できないおそれがあるという問題点が一例として挙げられる。

本発明は、上述したような問題点に鑑みて、画像撮像時の光源色を適切に推定可能な光源色推定方法、推定光源色設定方法、および光源色制御方法を提供することを１つの目的とする。

請求項１に記載の発明は、所定の画像が撮像された際の光源色を推定する光源色推定方法であって、前記画像の画像信号におけるＸＹＺ表色系のＸ値、Ｙ値、および、Ｚ値で表される画素データから、黒体軌跡からの偏差が所定値以内の前記画素データを抽出画素データとして抽出する抽出工程と、この抽出工程で抽出した前記抽出画素データに基づいて、各Ｙ値に対して、前記Ｙ値以内のＹ値に対応する前記抽出画素データの数の累計頻度を表すＹ分布データを算出するＹ分布算出工程と、前記抽出画素データに基づいて、各Ｙ値に対して、前記Ｙ値に対応する前記抽出画素データの前記Ｘ値の合計値、前記Ｙ値の合計値、および、前記Ｚ値の合計値をＹ毎色分布データとして算出するＹ毎色分布算出工程と、このＹ毎色分布算出工程で算出した前記Ｙ毎色分布データの前記Ｘ値の合計値、前記Ｙ値の合計値、前記Ｚ値の合計値を、それぞれ対応する前記Ｙ値で除算したＹ毎バランスデータを算出するＹ毎バランス算出工程と、前記Ｙ分布算出工程で算出した前記Ｙ分布データに基づいて、前記累計頻度がＴａ％となる明点に対応する前記Ｙ値を明点Ｙ値として取得し、前記累計頻度がＴａ％未満のＴｂ％となる暗点に対応する前記Ｙ値を暗点Ｙ値として取得する明点暗点Ｙ値取得工程と、前記Ｙ毎バランス算出工程で算出した前記Ｙ毎バランスデータに基づいて、前記明点Ｙ値に対応する前記Ｙ毎バランスデータを明点バランスデータとして取得し、前記暗点Ｙ値に対応する前記Ｙ毎バランスデータを暗点バランスデータとして取得する明点暗点バランス取得工程と、前記Ｙ毎バランスデータに基づいて、前記明点バランスデータおよび前記暗点バランスデータを含むＱ（Ｑは自然数）次関数の線を設定し、この線上における前記累計頻度が１００％または略１００％に対応する前記Ｙ毎バランスデータのＸ値、Ｙ値、および、Ｚ値を算出し、この算出した前記Ｘ値、前記Ｙ値、および、前記Ｚ値に基づいて、前記画像が撮像された際の光源色を算出して推定する推定光源算出工程と、を実施することを特徴とする光源色推定方法である。

請求項１１に記載の発明は、所定の画像が撮像された際の光源色を推定する光源色推定方法であって、前記画像の画像信号におけるＸＹＺ表色系のＸ値、Ｙ値、および、Ｚ値で表される画素データから、黒体軌跡からの偏差が所定値以内の前記画素データを抽出画素データとして抽出する抽出工程と、この抽出工程で抽出した前記抽出画素データに基づいて、各Ｙ値に対して、前記Ｙ値に対応する前記抽出画素データの前記Ｘ値の合計値、前記Ｙ値の合計値、および、前記Ｚ値の合計値をＹ毎色分布データとして算出するＹ毎色分布算出工程と、このＹ毎色分布算出工程で算出した前記Ｙ毎色分布データに基づいて、所定のＹ値以上のＹ値に対応する前記Ｙ毎色分布データの前記Ｘ値の合計値、前記Ｙ値の合計値、および、前記Ｚ値の合計値を、前記所定のＹ値以上のＹ値に対応する前記Ｙ毎色分布データの合計数でそれぞれ除算して得られたＸ値、Ｙ値、および、Ｚ値に基づいて、前記画像が撮像された際の光源色を算出して推定する推定光源算出工程と、を実施することを特徴とする光源色推定方法である。

請求項１５に記載の発明は、所定のオブジェクトを含む画像が撮像された際の光源色を推定する光源色推定方法であって、前記画像の画像信号における３個の表色値で色を表現可能な少なくとも１種類の表色系の前記表色値で表される画素データに基づいて、前記３個の表色値に基づく前記画像の明るさを表す明るさ値のそれぞれに対して、前記明るさ値以内の前記明るさ値に対応する前記画素データの数の累計頻度を表す明るさ分布データを算出する明るさ分布算出工程と、前記画素データに基づいて、各前記明るさ値に対して、前記明るさ値に対応する前記画素データの前記第１の表色値の合計値、第２の前記表色値の合計値、および、第３の前記表色値の合計値を明るさ毎色分布データとして算出する明るさ毎色分布算出工程と、この明るさ毎色分布算出工程で算出した前記明るさ毎色分布データの前記第１の表色値の合計値、前記第２の表色値の合計値、前記第３の表色値の合計値を、それぞれ対応する前記明るさ値で除算した明るさ毎バランスデータを算出する明るさ毎バランス算出工程と、この明るさ毎バランス算出工程で算出された前記明るさ毎バランスデータに基づいて、前記画像における前記オブジェクトの位置を算出し、この算出した位置に対応する前記明るさ毎バランスデータをオブジェクト明るさ毎バランスデータとして取得するオブジェクト明るさ毎バランス取得工程と、前記明るさ分布算出工程で算出した前記明るさ分布データに基づいて、前記オブジェクト毎に、前記累計頻度がＴａ％となる明点に対応する前記明るさ値を明点明るさ値として取得し、前記累計頻度がＴａ％未満のＴｂ％となる暗点に対応する前記明るさ値を暗点明るさ値として取得する明点暗点明るさ値取得工程と、前記明るさ毎バランスデータに基づいて、前記オブジェクト毎に、前記明点明るさ値に対応する前記明るさ毎バランスデータを明点バランスデータとして取得し、前記暗点明るさ値に対応する前記明るさ毎バランスデータを暗点バランスデータとして取得する明点暗点バランス取得工程と、前記明るさ毎バランスデータに基づいて、前記オブジェクト毎に、前記明点バランスデータおよび前記暗点バランスデータを含むＱ（Ｑは自然数）次関数の線を設定し、この線上における前記累計頻度が１００％または略１００％に対応する前記明るさ毎バランスデータの第１の表色値、第２の表色値、および、第３の表色値を算出し、このオブジェクト毎に算出された前記第１の表色値、前記第２の表色値、および、前記第３の表色値に基づいて、前記画像が撮像された際の光源色を算出して推定する推定光源算出工程と、を実施することを特徴とする光源色推定方法である。

請求項２４に記載の発明は、請求項１ないし請求項１０のいずれかに記載の光源色推定方法で推定された前記光源色、請求項１１ないし請求項１４に記載の光源色推定方法で推定された前記光源色、および、請求項１５ないし請求項２３のいずれかに記載の光源色推定方法で推定された前記光源色のうち、少なくともいずれか２つの前記光源色に関する推定光源情報を取得する推定光源情報取得工程と、所定の優先度に基づいて、前記推定光源情報取得工程で取得した前記推定光源情報に基づく前記少なくともいずれか２つの光源色のうち１つの光源色を選出し、この選出した光源色に基づいて、前記画像が撮像された際の光源色を設定する光源色設定工程と、を実施することを特徴とする推定光源色設定方法である。

請求項２６に記載の発明は、所定の対象物を撮像する撮像手段から入力される画像信号に基づいて、請求項２４または請求項２５に記載の推定光源色設定方法により前記対象物の画像が撮像された際の光源色を設定する対象物光源色設定工程と、所望の光源色と前記推定光源色設定方法で設定された前記光源色とが異なる場合に、前記対象物を照射する光源手段を前記所望の光源色で照射する状態に制御する光源制御工程と、を実施することを特徴とする光源色制御方法である。

以下、本発明の一実施の形態について図面に基づいて説明する。

〔推定光源色設定装置の構成〕
まず、本発明の一実施の形態に係る推定光源色設定装置の構成について、図面を参照して説明する。
なお、この推定光源色設定装置は静止画像に対しても適応可能であるが、後述する方法を用いる事によって、動画像に対しても、例えば１クレーム毎にリアルタイムで光源色を推定し設定することが可能であるため、より利用価値が高いと言うことができる。
図１は、本発明の一実施の形態に係る推定光源色設定装置の概略構成を示すブロック図である。図２は、鏡面反射光源色推定部の概略構成を示す模式図である。図３は、明るさとＹ分布データとの関係を示すグラフである。図４は、明るさとＸバランスデータとの関係を示すグラフである。図５は、明るさとＹバランスデータとの関係を示すグラフである。図６は、明るさとＺバランスデータとの関係を示すグラフである。図７は、平滑化前後の明るさとＸバランスデータとの関係を示すグラフである。図８は、暗い画像における明点Ｙ値および暗点Ｙ値の設定状態をグラフ形式で示す図である。図９は、明るい画像における明点Ｙ値および暗点Ｙ値の設定状態をグラフ形式で示す図である。図１０は、明点Ｘバランスデータおよび暗点Ｘバランスデータの取得方法をグラフ形式で示す図である。図１１は、反射勾配推定Ｘ値の算出方法をグラフ形式で示す図である。図１２は、Ｘバランスデータが一様勾配変化しているか否かの判定方法をグラフ形式で示す図である。図１３は、Ｘ，Ｙ，Ｚバランスデータが一様勾配変化している状態をグラフ形式で示す図である。図１４は、物体色光源色推定部の概略構成を示す模式図である。図１５は、オブジェクト抽出対象の画像の一例を示す図である。図１６は、オブジェクト抽出対象の画像におけるＸＹＺ明るさ毎バランスデータと明るさとの関係を示すグラフである。図１７は、ＸＹＺ明るさ毎バランスデータを微分処理した状態を示すグラフである。図１８は、微分処理後のＸＹＺ明るさ毎バランスデータに基づくオブジェクトの位置特定方法をグラフ形式で示す図である。図１９は、オブジェクトの抽出方法をグラフ形式で示す図である。図２０は、オブジェクト毎の明点Ｙ値および暗点Ｙ値の設定状態をグラフ形式で示す図である。図２１は、半透明のオブジェクトが重なった画像の一例を示す図である。図２２は、推定光源色設定部の概略構成を示す模式図である。図２３は、第２推定光源色の算出方法を示す図である。図２４は、シーンチェンジがない状態をグラフ形式で示す図である。図２５は、シーンチェンジがある状態をグラフ形式で示す図である。

図１において、１００は、推定光源色設定装置であり、この推定光源色設定装置１００は、外部から入力される画像データを取得して、この画像データの画像が撮像された際の光源色を推定する。この画像データは、静止画の場合は複数画像（複数フィールド、複数フレーム）毎に取得することも可能である。動画像の場合は、１画像（１フィールド、１フレーム）毎に取得することにより、１画像毎の推定光源色の設定が可能となる。
そして、推定光源色設定装置１００は、各種プログラムとして、画像データ調整部２００と、鏡面反射光源色推定部３００と、物体色光源色推定部４００と、推定光源色設定部６００と、などを備えている。

画像データ調整部２００は、画像データ出力手段１０と、鏡面反射光源色推定部３００と、物体色光源色推定部４００と、などに接続されている。
この画像データ調整部２００は、画像データ出力手段１０から所定の画像を図示しない表示手段で表示させるための画像データを取得する。そして、この画像データの画像撮像時に光源が照射されていない部分（以下、光源非照射部分と記す）を認識し、この光源非照射部分以外をアクティブエリアとして抽出する。ここで、光源非照射部分としては、例えば字幕、テロップなどが例示できる。

また、画像データ調整部２００は、アクティブエリアに対応するＲＧＢ（Red Green Blue）入力信号に対して、平滑化、平均化、ノイズ除去のために、平面（２次元）ＬＰＦ（Low-Pass Filter）処理を実施する。そして、この平面ＬＰＦ処理が施されたＲＧＢ入力信号を、鏡面反射光源色推定部３００と、物体色光源色推定部４００と、へ出力する。

鏡面反射光源色推定部３００は、推定光源色設定部６００に接続されている。
この鏡面反射光源色推定部３００は、画像データ調整部２００からのＲＧＢ入力信号に対応する画像中の鏡面反射領域の状態に基づいて、光源色を推定する。
そして、鏡面反射光源色推定部３００は、図２に示すように、表色系変換手段３１０と、無彩色点抽出手段３２０と、Ｙ分布算出手段３３０と、Ｙ毎色分布算出手段３４０と、勾配法処理部３５０と、平均法処理部３６０と、などを備えている。

表色系変換手段３１０は、画像データ調整部２００から出力される平面ＬＰＦ処理が施されたＲＧＢ入力信号を取得する。そして、このＲＧＢ入力信号を、画像データを構成する各画素データ単位（Ｒ、Ｇ、Ｂ各１ピクセルで１画素）でＲＧＢ表色系からＸＹＺ表色系に変換する。なお、入力信号がＹｕｖ表色系で示された入力信号であった場合においても、Ｙｕｖ表色系からＸＹＺ表色系に変換する。

無彩色点抽出手段３２０は、ＸＹＺ表色系に変換された入力信号に基づいて、画像中の無彩色点を抽出する。ここで、この無彩色点抽出手段３２０で抽出する無彩色点には、一般的に無彩色として認識されている黒色、白色、灰色に加え、これらに極めて近い彩度と色相を持った有彩色も含まれる。
具体的には、無彩色点抽出手段３２０は、表色系変換手段３１０からＸＹＺ表色系に変換された入力信号を取得する。そして、各画素におけるＸＹＺ表色系のＸＹＺ値をＵＶ値に変換する。ここで、ＸＹＺ値をＵＶ値に変換する手法としては、例えば、ＣＩＥ（Commission International de l'Eclairage）１９７６ＵＣＳ（Uniform Chromaticity Scale）色度図に基づいて変換する手法が例示できる。
さらに、各画素におけるＵＶ値の黒体軌跡からの偏差をｄｕｖとして求め、このｄｕｖが閾値以内であるか否かを判断する。ここで、閾値は、ＪＩＳ（Japanese Industrial Standard）で±０．０２５と定義されていることに対応して、±０．０２前後に設定されていることが好ましい。そして、閾値以内であると判断した場合、このＵＶ値に対応する部分を無彩色点として抽出し、閾値を越えると判断した場合、このＵＶ値に対応する部分を無彩色点として抽出しない。この無彩色点の画素データは、本発明の抽出画素データに対応している。
さらに、一般的に光源とは色温度で示すと、市販の光源手段の最低温度である２８００Ｋから、野外の晴天時の最高温度１００００Ｋの範囲内にあると言える。よって、上記ｄｕｖの閾値以内という条件に加え、各画素の色温度が２８００Ｋ〜１００００Ｋか否かという条件を加え、この色温度の範囲内である部分を無採色点として抽出することができる。

さらに、無彩色点抽出手段３２０は、抽出した無彩色点から構成される無彩色領域のうち、ピンポイント的で広がりがない無彩色領域、つまり孤立点を除去する。さらに、無彩色領域の形状に基づいて、鏡面反射領域か否かを判断する。例えば、無彩色領域が円形状や楕円形状の場合に鏡面反射領域と判断して抽出し、幾何学的な形状の場合に鏡面反射領域でないと判断して抽出しない。

Ｙ分布算出手段３３０は、無彩色点抽出手段３２０で鏡面反射領域として抽出した無彩色領域について、明るさを表すＹ値に対して、このＹ値以内に対応する画素数の累計頻度をＹ分布データとして算出する。そして、例えば、図３に示すように、算出したＹ分布データをグラフ化する。この図３に示すグラフは、無彩色領域のＲ％の画素が、Ｙ値がＪ以内である旨を表している。

Ｙ毎色分布算出手段３４０は、無彩色点抽出手段３２０で抽出した無彩色領域について、明るさを表すＹ値に対するＸ値、Ｙ値、Ｚ値の各々の合計値を、Ｘ色分布データ、Ｙ色分布データ、Ｚ色分布データとして算出する。例えば、Ｙ値がＨの画素を全て抽出し、この抽出した画素のＸ値、Ｙ値、Ｚ値が、（Ｘ１，Ｈ，Ｚ１）、（Ｘ２，Ｈ，Ｚ２）、（Ｘ３，Ｈ，Ｚ３）、（Ｘ４，Ｈ，Ｚ４）の場合、Ｙ値がＨにおけるＸ色分布データを（Ｘ１＋Ｘ２＋Ｘ３＋Ｘ４）として算出する。そして、Ｙ色分布データを４Ｈ、Ｚ色分布データを（Ｚ１＋Ｚ２＋Ｚ３＋Ｚ４）として算出する。さらに、同様にして、Ｙ値毎にＸ，Ｙ，Ｚ色分布データを算出する。
このＹ毎色分布算出手段３４０で算出されたＸ，Ｙ，Ｚ色分布データ（以下、Ｙ値毎のＸ，Ｙ，Ｚ色分布データをまとめて表現する際には、Ｙ毎色分布データと適宜記す）は、明るさ毎に対する輝度（明るさ）と色味とを表している。このため、明るさが増加すると、Ｘ色分布データ、Ｙ色分布データ、Ｚ色分布データの値も増加することとなる。

勾配法処理部３５０は、図２に示すように、鏡面階調不足レベル補間手段３５１と、Ｙ毎バランス算出手段３５２と、鏡面平滑化手段３５３と、明点暗点Ｙ値取得手段３５４と、鏡面明点暗点バランス取得手段３５５と、反射勾配法推定光源算出手段３５６と、反射勾配法推定結果判定手段３５７と、反射推定結果採用判定手段３５８と、を備えている。

鏡面階調不足レベル補間手段３５１は、Ｙ分布算出手段３３０およびＹ毎色分布算出手段３４０での処理において、各Ｙ値に対応する画素数が所定値よりも少ない場合、このＹ値の周辺の値に基づいて、この所定値よりも少ないＹ値に対応する値を補間する処理を、階調不足レベルの補間処理として実施する。ここで、所定値は、例えば画質に応じて設定されている。
例えば、Ｙ毎色分布算出手段３４０での処理において、Ｙ値がＨ１の画素数が所定値以上で補間不要、Ｙ値がＨ２の画素数が所定値未満で補間必要、Ｙ値がＨ３の画素数が所定値以上で補間不要であったとする。このとき、補間が必要なＹ値がＨ２の例えばＸ色分布データに置き換えて、Ｙ値がＨ３およびＨ１のＸ色分布データに基づき新たなＸ色分布データを算出して適用する処理を、補間処理として実施する。ここで、新たなＸ色分布データとしては、Ｙ値がＨ３，Ｈ１のＸ色分布データの平均値、重み付けや特定のアルゴリズムを利用して演算した値を用いることができる。

Ｙ毎バランス算出手段３５２は、Ｙ毎色分布算出手段３４０で算出された、あるいは、鏡面階調不足レベル補間手段３５１で補間処理が施されたＸ色分布データ、Ｙ色分布データ、Ｚ色分布データを、Ｙ値および対応する画素数で除算して、Ｘバランスデータ、Ｙバランスデータ、Ｚバランスデータとして算出する。例えば、Ｙ値がＨのＸ色分布データが（Ｘ１＋Ｘ２＋Ｘ３＋Ｘ４）、Ｙ色分布データが４Ｈ、Ｚ色分布データが（Ｚ１＋Ｚ２＋Ｚ３＋Ｚ４）の場合、Ｘバランスデータは、（Ｘ１＋Ｘ２＋Ｘ３＋Ｘ４）をＹ値のＨおよび対応する画素数の４で除算した値、つまり４Ｈで除算した値になる。また、Ｙバランスデータは、４Ｈを４Ｈで除算した値、すなわち１になる。さらに、Ｚバランスデータは、（Ｚ１＋Ｚ２＋Ｚ３＋Ｚ４）を４Ｈで除算した値になる。そして、Ｙ値毎に上述した除算を実施して、Ｘ，Ｙ，Ｚバランスデータ（以下、Ｙ値毎のＸ，Ｙ，Ｚバランスデータをまとめて表現する際には、Ｙ毎バランスデータと適宜記す）を、例えば図４、図５、図６に示すようにグラフ化する。
このように算出されたＸバランスデータおよびＺバランスデータは、Ｙバランスデータを１とした場合の値であり、明るさ毎の色味のみを表している。

鏡面平滑化手段３５３は、Ｙ毎バランス算出手段３５２で算出されたＸ，Ｙ，Ｚバランスデータに基づく図４〜図６に示すグラフを平滑化する。例えば、図７において点線で示すように、Ｘバランスデータが波を打つ状態の場合、この状態を図７の実線で示すように平滑化する。ここで、平滑化する方法としては、近隣のＹ値に対応するＸバランスデータとの間で平均化する方法が例示できる。

明点暗点Ｙ値取得手段３５４は、Ｙ分布算出手段３３０で算出したＹ分布データの累計頻度がＴａ％となる明点と、Ｔａ％未満のＴｂ％となる暗点と、を設定する。例えば、明点を９０％、暗点を８０％に設定する。そして、Ｙ分布データに基づいて、明点に対応するＹ値（以下、明点Ｙ値と記す）と、暗点に対応するＹ値（以下、暗点Ｙ値と記す）と、を求める。この明点Ｙ値および暗点Ｙ値は、例えば図８のグラフで累計頻度が表される暗い画像よりも、例えば図９のグラフで表される明るい画像の方が大きい値となる。

鏡面明点暗点バランス取得手段３５５は、鏡面平滑化手段３５３で平滑化されたＸ，Ｙ，Ｚバランスデータのグラフにおいて、Ｙ値が明点Ｙ値のＸ，Ｙ，Ｚバランスデータを、明点Ｘ，Ｙ，Ｚバランスデータとして取得する。さらに、Ｙ値が暗点Ｙ値のＸ，Ｙ，Ｚバランスデータを、暗点Ｘ，Ｙ，Ｚバランスデータとして取得する。例えば、図１０のグラフに示すように、明点Ｘバランスデータおよび暗点Ｘバランスデータを取得する。なお、明点Ｙバランスデータおよび暗点Ｙバランスデータは、１となる。

反射勾配法推定光源算出手段３５６は、鏡面明点暗点バランス取得手段３５５で取得した明点Ｘ，Ｙ，Ｚバランスデータと、暗点Ｘ，Ｙ，Ｚバランスデータと、に基づいて、推定光源のＸ，Ｙ，Ｚバランスデータを、反射勾配推定Ｘ，Ｙ，Ｚ値としてそれぞれ算出する。
具体的には、反射勾配法推定光源算出手段３５６は、図１１に示すように、明点Ｘバランスデータおよび暗点Ｘバランスデータに対応する点を通る光源推定直線Ｌ１、つまり１次関数の線を設定する。さらに、明点Ｙ値から、明点Ｙ値および暗点Ｙ値の差ΔＭ１だけ高輝度側にシフトしたＹ値を推定光源Ｙ値として算出する。そして、光源推定直線Ｌ１における推定光源Ｙ値に対応するＸバランスデータを、反射勾配推定Ｘ値として算出する。
ここで、明点Ｙ値および暗点Ｙ値を、Ｙ分布データの累計頻度がそれぞれ９０％および８０％になるＹ値に設定しているため、推定光源Ｙ値は、累計頻度が１００％になるＹ値と考えられる。つまり、累計頻度が１００％になると考えられるＹ値に対応するＸバランスデータを、反射勾配推定Ｘ値として算出する。
さらに、同様にして、反射勾配推定Ｚ値を算出して、反射勾配推定Ｘ，Ｙ，Ｚ値に関する推定光源情報としての反射勾配推定光源情報を推定光源色設定部６００へ出力する。ここで、推定光源Ｙバランスデータは、１となる。
なお、累計頻度が１００％ではなく、１００％近傍、例えば９９％になると考えられるＹ値に対応する反射勾配推定Ｘ，Ｙ，Ｚ値を算出する構成としてもよい。

反射勾配法推定結果判定手段３５７は、反射勾配法推定光源算出手段３５６で算出された反射勾配推定Ｘ，Ｙ，Ｚ値をＵＶ値に変換して、黒体軌跡からの偏差であるｄｕｖが閾値以内であるか否かを判断する。つまり、反射勾配推定Ｘ，Ｙ，Ｚ値で表される推定光源が、白色に近いか否かを判断する。そして、閾値以内であると判断した場合、推定光源として相応しいと判定する。一方、閾値以内でないと判断した場合、推定光源として相応しくないと判定する。そして、相応しい場合にＯＫである旨、相応しくない場合にＮＧである旨の反射勾配判定情報を、推定光源色設定部６００へ出力する。

反射推定結果採用判定手段３５８は、無彩色点抽出手段３２０で鏡面反射領域として判断された無彩色領域を構成する画素の数が、あらかじめ設定された規定数以上か否かを判断する。そして、規定数以上であると判断した場合、第１の反射推定信頼性があると判断し、規定数未満であると判断した場合、第１の反射推定信頼性がないと判断する。

また、反射推定結果採用判定手段３５８は、鏡面階調不足レベル補間手段３５１で補間処理が施されたＹ分布データに基づく画像が、暗い画像か否かを判断する。ここで、暗い画面か否かを判断する方法としては、Ｙ値のピーク値が所定値以上か否か、ＡＰＬ（Average Picture Level）値が所定値以上か否か、Ｙ値ピーク値をＡＰＬ値で除した値が所定値以上か否かの３つの条件のうち、いずれか１つの条件を満たさない場合に、暗い画像であると判断する方法が例示できる。
そして、明るい画像であると判断した場合、第２の反射推定信頼性があると判断し、暗い画像であると判断した場合、第２の反射推定信頼性がないと判断する。

さらに、反射推定結果採用判定手段３５８は、反射勾配法推定光源算出手段３５６で反射勾配推定Ｘ値の算出に利用された図１１に示すグラフにおいて、明点Ｙ値および暗点Ｙ値の差ΔＭ１が所定値以上か否かを判断する。そして、差ΔＭ１が所定値以上であると判断した場合、光源推定直線Ｌ１の安定性があると認識する。また、光源推定直線Ｌ１の安定性があると認識すると、明点Ｙ値に値Ｎを加えた値、および、暗点Ｙ値から値Ｎを減じた値の間が一様に増加、または、一様に減少（以下、一様増加および一様減少をまとめて表現する際には、一様勾配変化と適宜記す）しているか否かを判断する。例えば、図１２に示すような場合、一様増加でないと判断する。
この図１２に示すような場合には、暗点Ｙ値および明点Ｙ値の間が一様増加であっても、その直前や直後で減少している。このため、暗点Ｙ値や明点Ｙ値の設定状態により、光源推定直線Ｌ１が変わってしまい、信頼性が低くなる。したがって、値Ｎという幅を考慮に入れて、「暗点Ｙ値−値Ｎ」と、「明点Ｙ値＋値Ｎ」と、の間が一様勾配変化である場合に、第３のＸ反射推定信頼性があると判断し、一様勾配変化でない場合に、第３のＸ反射推定信頼性がないと判断する。同様にして、反射勾配推定Ｙ，Ｚ値の算出に利用されたグラフにおいて、差ΔＭ１が所定値以上か否か、および、一様勾配変化か否かに基づいて、第３のＹ，Ｚ反射推定信頼性があるか否かを判断する。
このような判断方法を適用すると、例えば図１３に示すように、Ｘ，Ｚバランスデータが一様勾配変化の場合に、第３のＸ，Ｚ反射推定信頼性があると判定される。
また、一様勾配変化であった場合においても、その傾きが急激に変化する場合は図１２と同様の不具合が発生する可能性がある。よって、一様勾配変化の状態であっても所定の傾き以上に変化した場合、第３のＸ，Ｚ反射推定信頼性がないと判定することもできる。この場合、「暗点Ｙ値−値Ｎ」と、「明点Ｙ値＋値Ｎ」と、の間において２次微分を行い、その微分値が所定の値以内では信頼性がありと判断し、所定の値から外れる場合は信頼性がないと判断することができる。

そして、反射推定結果採用判定手段３５８は、第１，２の反射推定信頼性、第３のＸ，Ｙ，Ｚ反射推定信頼性のうち、少なくともいずれか１つがないと判断した場合、反射勾配法推定光源算出手段３５６で算出された反射勾配推定Ｘ，Ｙ，Ｚ値に基づく推定光源を適用しないと判定する。一方、第１，２の反射推定信頼性、第３のＸ，Ｙ，Ｚ反射推定信頼性のすべてがあると判断した場合、反射勾配推定Ｘ，Ｙ，Ｚ値に基づく推定光源を適用すると判定する。そして、適用する場合にＯＫである旨、適用しない場合にＮＧである旨の反射勾配採用情報を、推定光源色設定部６００へ出力する。

平均法処理部３６０は、図２に示すように、反射平均法推定光源算出手段３６１と、反射平均法推定結果判定手段３６２と、を備えている。

反射平均法推定光源算出手段３６１は、Ｙ毎色分布算出手段３４０で算出されたＸ，Ｙ，Ｚ色分布データに基づいて、Ｙ値が所定の閾値以上のＸ，Ｙ，Ｚ値の平均値を、推定光源のＸ，Ｙ，Ｚ値である反射平均推定Ｘ，Ｙ，Ｚ値として算出する。つまり、Ｙ値が閾値以上のＸ値、Ｙ値、Ｚ値のそれぞれの総和を、この閾値以上の画素数で除算した値を、反射平均推定Ｘ，Ｙ，Ｚ値として算出する。
具体的には、例えば、Ｙ値がＨの画素におけるＸ値、Ｙ値、Ｚ値が、（Ｘ１，Ｈ，Ｚ１）、（Ｘ２，Ｈ，Ｚ２）、（Ｘ３，Ｈ，Ｚ３）、（Ｘ４，Ｈ，Ｚ４）の場合、Ｘ，Ｙ，Ｚ色分布データは、それぞれ（Ｘ１＋Ｘ２＋Ｘ３＋Ｘ４）、４Ｈ、（Ｚ１＋Ｚ２＋Ｚ３＋Ｚ４）となる。そして、例えばＹ値がＨよりも大きい画素におけるＸ，Ｙ，Ｚ色分布データの総和をＸ，Ｙ，Ｚ値毎に算出し、これら算出したそれぞれの総和をそれぞれの画素抽出数で除した値を、反射平均推定Ｘ，Ｙ，Ｚ値として算出する。例えば、Ｙ値がＨよりも大きいＸ色分布データが（Ｘ１＋Ｘ２＋Ｘ３＋Ｘ４＋Ｘ５＋Ｘ６）、かつ、画素抽出数が６の場合、（Ｘ１＋Ｘ２＋Ｘ３＋Ｘ４＋Ｘ５＋Ｘ６）／６を、反射平均推定Ｘ値として算出する。さらに、反射平均推定Ｘ，Ｙ，Ｚ値に関する推定光源情報としての反射平均推定光源情報を推定光源色設定部６００へ出力する。
なお、所定の閾値は、「Ｙ値のピーク値」、「ＡＰＬ値」、「ピーク値をＡＰＬ値で除した値」のいずれかに基づいて設定されていてもよいし、任意に設定されていてもよい。

反射平均法推定結果判定手段３６２は、反射平均法推定光源算出手段３６１で算出された反射平均推定Ｘ，Ｙ，Ｚ値をＵＶ値に変換して、黒体軌跡からの偏差であるｄｕｖが閾値以内であるか否かを判断する。つまり、反射勾配法推定結果判定手段３５７と同様に、反射平均推定Ｘ，Ｙ，Ｚ値で表される推定光源が白色に近いか否かを判断する。そして、閾値以内であると判断した場合、推定光源として相応しいと判定し、閾値以内でないと判断した場合、推定光源として相応しくないと判定する。さらに、相応しい場合にＯＫである旨、相応しくない場合にＮＧである旨の反射平均判定情報を、推定光源色設定部６００へ出力する。
さらに、一般的に光源とは色温度で示すと、市販の光源手段の最低温度である２８００Ｋから、野外の晴天時の最高温度１００００Ｋの範囲内にあると言える。よって、上記ｄｕｖの閾値以内という条件に加え、反射平均推定Ｘ，Ｙ，Ｚ値の色温度が２８００Ｋ〜１００００Ｋか否かという条件を加え、この色温度の範囲内であった場合に、推定光源として相応しいと判断することもできる。

物体色光源色推定部４００は、図１に示すように、推定光源色設定部６００に接続されている。
この物体色光源色推定部４００は、画像データ調整部２００からのＲＧＢ入力信号に対応する画像中の物体の色に基づいて、光源色を推定する。
そして、物体色光源色推定部４００は、図１４に示すように、明るさ分布算出手段４１０と、明るさ毎色分布算出手段４２０と、物体色階調不足レベル補間手段４３０と、明るさ毎バランス算出手段４４０と、物体色平滑化手段４５０と、オブジェクト抽出手段４６０と、明点暗点明るさ値取得手段４７０と、物体色明点暗点バランス取得手段４８０と、物体色勾配法推定光源算出手段４９０と、物体色勾配法推定結果判定手段５００と、オブジェクト毎判定手段５１０と、物体色推定結果採用判定手段５２０と、を備えている。

明るさ分布算出手段４１０は、画像データ調整部２００からの平面ＬＰＦ処理が施されたＲＧＢ入力信号を取得する。そして、このＲＧＢ入力信号に対応する画像全体を対象にして、ＸＹＺ表色系、Ｙｕｖ表色系、および、ＲＧＢ表色系に基づく明るさ分布データを算出する。ここで、ＸＹＺ表色系、Ｙｕｖ表色系、ＲＧＢ表色系は、本発明における３個の表色値で色を表現可能な表色系に対応する。
具体的には、明るさ分布算出手段４１０は、ＸＹＺ表色系に基づく明るさ分布データ（以下、ＸＹＺ明るさ分布データと記す）を算出する場合、ＲＧＢ入力信号に基づくＲＧＢ表色系をＸＹＺ表色系に変換して、Ｙ分布算出手段３３０と同様の処理を適用する。すなわち、画像全体に対して、明るさを表す所定のＹ値に対して、このＹ値以内に対応する画素数の累計頻度をＸＹＺ明るさ分布データとして算出し、グラフ化する。
また、Ｙｕｖ表色系に基づく明るさ分布データ（以下、Ｙｕｖ明るさ分布データと記す）を算出する場合、ＲＧＢ入力信号に基づくＲＧＢ表色系をＹｕｖ表色系に変換する。そして、画像全体に対して、明るさを表す所定のＹ値に対して、このＹ値以内に対応する画素数の累計頻度をＹｕｖ明るさ分布データとして算出し、グラフ化する。
さらに、ＲＧＢ表色系に基づく明るさ分布データ（以下、ＲＧＢ明るさ分布データと記す）を算出する場合、ＲＧＢ入力信号に基づくＲＧＢ表色系での明るさを表す明るさ値を算出する。ここで、明るさ値としては、１画素におけるＲ、Ｇ、Ｂのそれぞれの輝度の平均値や、１画素におけるＲ、Ｇ、Ｂの輝度の最高値または最低値などを適用できる。つまり、Ｒ，Ｇ，Ｂの色味を考慮せずに、単純に輝度値に基づく明るさ値を算出する。そして、画像全体に対して、所定の明るさ値に対して、この明るさ値以内に対応する画素数の累計頻度をＲＧＢ明るさ分布データとして算出し、グラフ化する。

明るさ毎色分布算出手段４２０は、平面ＬＰＦ処理が施されたＲＧＢ入力信号に対応する画像全体を対象にして、ＸＹＺ明るさ毎色分布データ、Ｙｕｖ明るさ毎色分布データ、ＲＧＢ明るさ毎色分布データを算出する。
具体的には、明るさ毎色分布算出手段４２０は、ＸＹＺ明るさ毎色分布データを算出する場合、ＲＧＢ入力信号に対応するＸＹＺ表色系に基づいて、Ｙ毎色分布算出手段３４０と同様の処理を実施する。すなわち、各Ｙ値に対応するＸ値の合計値を、ＸＹＺ明るさ毎色分布データを構成するＸ色分布データとして算出する。さらに、各Ｙ値に対応するＹ値、Ｚ値の各々の合計値を、ＸＹＺ明るさ毎色分布データを構成するＹ色分布データ、Ｚ色分布データとして算出する。
また、Ｙｕｖ明るさ毎色分布データを算出する場合、ＲＧＢ入力信号に対応するＹｕｖ表色系に基づいて、各Ｙ値に対応するＹ値の合計値を、Ｙｕｖ明るさ毎色分布データを構成するＹ色分布データとして算出する。そして、各Ｙ値に対応するｕ値、ｖ値の各々の合計値を、Ｙｕｖ明るさ毎色分布データを構成するｕ色分布データ、ｖ色分布データとして算出する。
さらに、ＲＧＢ明るさ毎色分布データを算出する場合、ＲＧＢ入力信号でのＲＧＢ表色系に基づいて、各明るさ値に対応するＲ値の合計値を、ＲＧＢ明るさ毎色分布データを構成するＲ色分布データとして算出する。また、各明るさ値に対応するＧ値、Ｂ値の各々の合計値を、ＲＧＢ明るさ毎色分布データを構成するＧ色分布データ、Ｂ色分布データとして算出する。なお、ＲＧＢ明るさ毎色分布データを算出する際の明るさ値は、明るさ分布算出手段４１０で適用したものと同じ値を適用する。

物体色階調不足レベル補間手段４３０は、明るさ分布算出手段４１０および明るさ毎色分布算出手段４２０での処理において、各Ｙ値や各明るさ値に対応する画素数が所定値よりも少ない場合、このＹ値や明るさ値の周辺の値に基づいて、この所定値よりも少ないＹ値や明るさ値に対応する値を補間する。つまり、物体色階調不足レベル補間手段４３０は、鏡面階調不足レベル補間手段３５１と同様に、階調不足レベルの補間処理を実施する。

明るさ毎バランス算出手段４４０は、明るさ毎色分布算出手段４２０で算出された、あるいは、物体色階調不足レベル補間手段４３０で補間処理が施されたＸＹＺ明るさ毎色分布データ、Ｙｕｖ明るさ毎色分布データ、ＲＧＢ明るさ毎色分布データを、Ｙ値や明るさ値、および、対応する画素数で除算して、ＸＹＺ明るさ毎バランスデータ、Ｙｕｖ明るさ毎バランスデータ、ＲＧＢ明るさ毎バランスデータを算出する。
具体的には、明るさ毎バランス算出手段４４０は、ＸＹＺ明るさ毎バランスデータを算出する場合、Ｙ値毎に、Ｘ色分布データ、Ｙ色分布データ、Ｚ色分布データをＹ値および画素数で除算して、ＸＹＺ明るさ毎バランスデータを構成するＸバランスデータ、Ｙバランスデータ、Ｚバランスデータを算出する。
また、Ｙｕｖ明るさ毎バランスデータを算出する場合、Ｙ値毎に、Ｙ色分布データ、ｕ色分布データ、ｖ色分布データをＹ値および画素数で除算して、Ｙｕｖ明るさ毎バランスデータを構成するＹバランスデータ、ｕバランスデータ、ｖバランスデータを算出する。
さらに、ＲＧＢ明るさ毎バランスデータを算出する場合、明るさ値毎に、Ｒ色分布データ、Ｇ色分布データ、Ｂ色分布データを明るさ値および画素数で除算して、ＲＧＢ明るさ毎バランスデータを構成するＲバランスデータ、Ｇバランスデータ、Ｂバランスデータを算出する。そして、上述した各バランスデータを、図４〜図６のグラフ化処理と同様の処理によりグラフ化する。

物体色平滑化手段４５０は、鏡面平滑化手段３５３と同様の処理を実施して、明るさ毎バランス算出手段４４０で算出されたＸＹＺ明るさ毎バランスデータ、Ｙｕｖ明るさ毎バランスデータ、ＲＧＢ明るさバランスデータに基づく、図４〜図６と同様のグラフを平滑化する。

オブジェクト抽出手段４６０は、ＲＧＢ入力信号に対応する画像から、物体色を算出する際の対象物であるオブジェクトを抽出する。例えば、図１５に示すような画像Ｐ１から、オブジェクトＯＢ１と、オブジェクトＯＢ２と、を抽出する。
具体的には、オブジェクト抽出手段４６０は、物体色平滑化手段４５０から、例えば図１６に示すように適宜平滑化されかつグラフ化されたＸＹＺ明るさ毎バランスデータを取得する。さらに、このＸＹＺ明るさ毎バランスデータを、微分フィルタを通して、図１７に示すようにグラフ化する。そして、この図１７に示すグラフにおけるＸ，Ｚバランスデータの微分値となるＹ値の部分を、エッジＥ１１として検出し、画像Ｐ１中のエッジＥ１１に対応する部分をオブジェクトの変化点と判断する。このような方法では、少なくとも２つのデータのエッジＥ１１、つまりＸ，ＺバランスデータのエッジＥ１１が略一致するので、信頼性が高い算出結果を得ることができる。

ここで、ＸＹＺ明るさ毎バランスデータを、微分フィルタを通した後に、図１８に示すように、エッジＥ１２，Ｅ１３，Ｅ１４，Ｅ１５を有するグラフが得られた場合、エリアＢ，Ｃ，Ｄには、オブジェクトが存在すると考えられるが、エリアＡ，Ｅには、オブジェクトが存在する場合と、存在しない場合と、が考えられる。なお、エリアＡ，Ｅにオブジェクトが存在しない場合としては、エリアＡ，Ｅに黒色の帯状の画像が表示されている場合が例示できる。
このため、このエリアＡ，Ｅ、つまり端部について、オブジェクトが存在するか否かを判断する端部判断処理を実施する。この端部判断処理としては、物体色階調不足レベル補間手段４３０で適宜補間されたＸＹＺ明るさ分布データや、物体色平滑化手段４５０で適宜平滑化されたＸＹＺ毎明るさ分布データを利用する処理が例示できる。

そして、オブジェクト抽出手段４６０は、適宜平滑化されたＸ，Ｙ，Ｚバランスデータの明るさ（Ｙ値）毎におけるオブジェクトの位置を算出する処理を、オブジェクトの抽出処理として実施する。例えば、図１９に示すように、物体色平滑化手段４５０で適宜平滑化されたＸバランスデータのグラフを、オブジェクトが存在しないエリアＡと、オブジェクトＯＢ１が存在するエリアＢと、オブジェクトＯＢ２が存在するエリアＣと、オブジェクトＯＢ３が存在するエリアＤと、オブジェクトが存在しないエリアＥと、に分割する。そして、エリアＢ，Ｃ，ＤをオブジェクトＯＢ１，２，３の位置として算出する。
また、オブジェクト抽出手段４６０は、Ｙ，Ｚバランスデータについても同様の抽出処理を実施する。

さらに、オブジェクト抽出手段４６０は、Ｙｕｖ明るさ毎バランスデータ、ＲＧＢ明るさ毎バランスデータについても、上述したオブジェクトの抽出処理と同様の抽出処理を実施する。ここで、ＲＧＢ明るさ毎バランスデータを、微分フィルタを通すと、Ｒバランスデータ、Ｇバランスデータ、Ｂバランスデータのエッジが略一致する可能性が高いと考えられる。

明点暗点明るさ値取得手段４７０は、明点暗点Ｙ値取得手段３５４と同様の処理を実施して、オブジェクト抽出手段４６０で抽出されたオブジェクト毎に、明点明るさ値、暗点明るさ値を設定する。
具体的には、明点暗点明るさ値取得手段４７０は、図１９に示すようなＸバランスデータのグラフにおいて、図２０に示すように、オブジェクトＯＢ１，２，３の暗点明るさ値および明点明るさ値をそれぞれ求める。オブジェクトＯＢ１の暗点明るさ値は、ＸＹＺ明るさ分布データの累計頻度がＴ１ａ％となるＹ値であり、明点明るさ値は、累計頻度がＴ１ａ％よりも大きいＴ１ｂ％となるＹ値である。オブジェクトＯＢ２の暗点明るさ値は、累計頻度がＴ１ｂ％よりも大きいＴ２ａ％となるＹ値であり、明点明るさ値は、累計頻度がＴ２ａ％よりも大きいＴ２ｂ％となるＹ値である。オブジェクトＯＢ３の暗点明るさ値は、累計頻度がＴ２ｂ％よりも大きいＴ３ａ％となるＹ値であり、明点明るさ値は、累計頻度がＴ３ａ％よりも大きいＴ３ｂ％となるＹ値である。
さらに、明点暗点明るさ値取得手段４７０は、Ｙｕｖ明るさ毎バランスデータ、ＲＧＢ明るさ毎バランスデータについても、上述した処理と同様の処理を実施して、暗点明るさ値、明点明るさ値をそれぞれ求める。

これらオブジェクトＯＢ１，２，３の暗点明るさ値、明点明るさ値に対応する累計頻度Ｔ１ａ，Ｔ１ｂ，Ｔ２ａ，Ｔ２ｂ，Ｔ３ａ，Ｔ３ｂ％は、以下のように設定される。
図１９に示すエリアＡ，Ｂ，Ｃ，Ｄ，Ｅを構成する画素数が、それぞれＧａ，Ｇｂ，Ｇｃ，Ｇｄ，Ｇｅである、つまりエリアＡ〜Ｅの合計画素数がＧｇ（＝Ｇａ＋Ｇｂ＋Ｇｃ＋Ｇｄ＋Ｇｅ）とする。そして、オブジェクトＯＢ１，２，３毎に対して累計頻度が９０％となる点を明点、８０％となる点を暗点と設定する場合、Ｔ１ａ％を、｛（Ｇａ＋０．８×Ｇｂ）／Ｇｇ｝×１００で算出される値に、Ｔ１ｂ％を、｛（Ｇａ＋０．９×Ｇｂ）／Ｇｇ｝×１００で算出される値に設定する。また、Ｔ２ａ％を、｛（Ｇａ＋Ｇｂ＋０．８×Ｇｃ）／Ｇｇ｝×１００で算出される値に、Ｔ２ｂ％を、｛（Ｇａ＋Ｇｂ＋０．９×Ｇｃ）／Ｇｇ｝×１００で算出される値に設定する。さらに、Ｔ３ａ％を、｛（Ｇａ＋Ｇｂ＋Ｇｃ＋０．８×Ｇｄ）／Ｇｇ｝×１００で算出される値に、Ｔ３ｂ％を、｛（Ｇａ＋Ｇｂ＋Ｇｃ＋０．９×Ｇｄ）／Ｇｇ｝×１００で算出される値に設定する。
なお、オブジェクト毎に暗点明るさ値および明点明るさ値を設定する場合、上述したように累計頻度が８０％、９０％となる点を暗点、明点と設定すると、暗点明るさ値および明点明るさ値の差が小さくなる可能性がある。このため、例えば累計頻度が２５％となる点を暗点、７５％となる点を明点として、暗点明るさ値および明点明るさ値を設定してもよい。

物体色明点暗点バランス取得手段４８０は、鏡面明点暗点バランス取得手段３５５と同様の処理を実施して、オブジェクト抽出手段４６０で抽出されたオブジェクト毎に、明点Ｘ，Ｙ，Ｚバランスデータ、暗点Ｘ，Ｙ，Ｚバランスデータを取得する。
具体的には、物体色明点暗点バランス取得手段４８０は、物体色平滑化手段４５０で適宜平滑化された例えば図１９に示すＸバランスデータのグラフにおいて、Ｙ値がオブジェクトＯＢ１，２，３の明点明るさ値のＸバランスデータを、オブジェクトＯＢ１，２，３の明点Ｘバランスデータとして取得する。また、オブジェクトＯＢ１，２，３の暗点明るさ値のＸバランスデータを、オブジェクトＯＢ１，２，３の暗点Ｙバランスデータとして取得する。
さらに、Ｙ，Ｚバランスデータについても同様の処理を実施して、オブジェクトＯＢ１，２，３の明点Ｙ，Ｚバランスデータ、暗点Ｙ，Ｚバランスデータを取得する。
また、物体色明点暗点バランス取得手段４８０は、Ｙｕｖ明るさ毎バランスデータについても、上述した処理と同様の処理を実施して、暗点明るさ値、明点明るさ値に対応するオブジェクトＯＢ１，２，３のＹバランスデータ、ｕバランスデータ、ｖバランスデータを、暗点Ｙ，ｕ，ｖバランスデータ、明点Ｙ，ｕ，ｖバランスデータとして取得する。さらに、ＲＧＢ明るさ毎バランスデータについても、暗点明るさ値、明点明るさ値に対応するオブジェクトＯＢ１，２，３のＲバランスデータ、Ｇバランスデータ、Ｂバランスデータを、暗点Ｒ，Ｇ，Ｂバランスデータ、明点Ｒ，Ｇ，Ｂバランスデータとして取得する。なお、明点Ｘ，Ｙ，Ｚ，Ｙ，ｕ，ｖ，Ｒ，Ｇ，Ｂバランスデータ、および、暗点Ｘ，Ｙ，Ｚ，Ｙ，ｕ，ｖ，Ｒ，Ｇ，Ｂバランスデータは、本発明の明点バランスデータおよび暗点バランスデータにそれぞれ対応している。

物体色勾配法推定光源算出手段４９０は、物体色明点暗点バランス取得手段４８０で取得したＸＹＺ明るさ毎バランスデータに対応する明点Ｘ，Ｙ，Ｚバランスデータと、暗点Ｘ，Ｙ，Ｚバランスデータと、に基づいて、オブジェクト毎の推定光源のＸ，Ｙ，Ｚバランスデータを、ＸＹＺ物体色推定Ｘ，Ｙ，Ｚ値としてそれぞれ算出する。具体的には、反射勾配法推定光源算出手段３５６と同様の処理を実施して、図１１に示すような光源推定直線Ｌ１に基づいて、オブジェクトＯＢ１，２，３毎のＸＹＺ物体色推定Ｘ，Ｙ，Ｚ値を算出する。
また、Ｙｕｖ明るさ毎バランスデータに対応する明点Ｙ，ｕ，ｖバランスデータと、暗点Ｙ，ｕ，ｖバランスデータと、に基づいて、オブジェクト毎の推定光源のＹ，ｕ，ｖバランスデータを、Ｙｕｖ物体色推定Ｙ，ｕ，ｖ値としてそれぞれ算出する。さらに、ＲＢＧ明るさ毎バランスデータに対応する明点Ｒ，Ｇ，Ｂバランスデータと、暗点Ｒ，Ｇ，Ｂバランスデータと、に基づいて、オブジェクト毎の推定光源のＲ，Ｇ，Ｂバランスデータを、ＲＧＢ物体色推定Ｒ，Ｇ，Ｂ値としてそれぞれ算出する。
そして、オブジェクト毎に、ＸＹＺ物体色推定Ｘ，Ｙ，Ｚ値に関するＸＹＺ物体色推定光源情報と、Ｙｕｖ物体色推定Ｙ，ｕ，ｖ値に関するＹｕｖ物体色推定光源情報と、ＲＧＢ物体色推定Ｒ，Ｇ，Ｂ値に関するＲＧＢ物体色推定光源情報と、を物体色推定結果採用判定手段５２０へ出力する。

物体色勾配法推定結果判定手段５００は、物体色勾配法推定光源算出手段４９０でオブジェクト毎に算出されたＸＹＺ物体色推定Ｘ，Ｙ，Ｚ値をＵＶ値に適宜変換して、黒体軌跡からの偏差であるｄｕｖが閾値以内であるか否かを判断する。つまり、反射勾配法推定結果判定手段３５７と同様に、オブジェクト毎に算出されたＸＹＺ物体色推定Ｘ，Ｙ，Ｚ値で表される推定光源がそれぞれ白色に近いか否かを判断する。そして、閾値以内であると判断した場合、推定光源として相応しいと判定し、閾値以内でないと判断した場合、推定光源として相応しくないと判定する。さらに、このオブジェクト毎の推定光源の判定結果に関するＸＹＺ物体色判定情報を、物体色推定結果採用判定手段５２０へ出力する。さらに、この場合には上記の例と同様に、ＸＹＺ物体色推定Ｘ，Ｙ，Ｚ値の色温度がそれぞれ２８００Ｋ〜１００００Ｋの範囲内か否かを判断条件に加え、範囲内であると判断した場合、推定光源として相応しいと判定することもできる。
また、Ｙｕｖ物体色推定Ｙ，ｕ，ｖ値に対して、同様の処理を実施して、オブジェクト毎の推定光源の判定結果に関するＹｕｖ物体色判定情報を、物体色推定結果採用判定手段５２０へ出力する。さらに、ＲＧＢ物体色推定Ｒ，Ｇ，Ｂ値に対して、同様の処理を実施して、オブジェクト毎の推定光源の判定結果に関するＲＧＢ物体色判定情報を、物体色推定結果採用判定手段５２０へ出力する。

オブジェクト毎判定手段５１０は、オブジェクト抽出手段４６０で抽出されたオブジェクトの位置毎に、物体色平滑化手段４５０で適宜平滑化されたＸＹＺ明るさ毎バランスデータ、Ｙｕｖ明るさ毎バランスデータ、ＲＧＢ明るさ毎バランスデータに対して、以下の判定処理を実施する。

具体的には、オブジェクト毎判定手段５１０は、例えば図１９に示すように、ＸバランスデータにおけるオブジェクトＯＢ１に対応するエリアＢの両端のＹ値の幅、つまりエッジＥ１２，Ｅ１３間の幅が、所定値以上か否かを判断する。そして、所定値以上であると判断した場合、オブジェクトＯＢ１の第１のＸ物体色推定信頼性があると判断し、所定値未満であると判断した場合、第１のＸ物体色推定信頼性がないと判断する。また、オブジェクトＯＢ２，３に対する第１のＸ物体色推定信頼性があるか否かを判断する。さらに、Ｙ，Ｚバランスデータに対しても同様の処理を実施して、オブジェクト毎に第１のＹ，Ｚ物体色推定信頼性があるか否かを判断する。
さらに、Ｙｕｖ明るさ毎バランスデータに対しても、オブジェクト毎にエリアの両端のＹ値の幅が所定値以上か否かに基づいて、オブジェクト毎に第１のＹ，ｕ，ｖ物体色推定信頼性があるか否かを判断する。そして、ＲＧＢ明るさ毎バランスデータに対しても、オブジェクト毎にエリアの両端の明るさ値の幅が所定値以上か否かに基づいて、オブジェクト毎に第１のＲ，Ｇ，Ｂ物体色推定信頼性があるか否かを判断する。
また、第１のＸ，Ｙ，Ｚ，Ｙ，ｕ，ｖ，Ｒ，Ｇ，Ｂ物体色推定信頼性があると判断した場合、Ｙ値の幅に対応する第１のＸ，Ｙ，Ｚ，Ｙ，ｕ，ｖ，Ｒ，Ｇ，Ｂ信頼値を設定する。この第１のＸ，Ｙ，Ｚ，Ｙ，ｕ，ｖ，Ｒ，Ｇ，Ｂ信頼値は、Ｙ値の幅が大きいほど、つまり信頼性が高いほど、大きい値に設定される。

また、オブジェクト毎判定手段５１０は、ＸＹＺ物体色推定Ｘ，Ｙ，Ｚ値の算出に利用されたグラフにおいて、反射推定結果採用判定手段３５８と同様の処理を実施して、オブジェクト毎に明点明るさ値および暗点明るさ値の差ΔＭ１が所定値以上か否かと、「暗点明るさ値−値Ｎ」および「明点明るさ値＋値Ｎ」の間が一様勾配変化か否か、さらには傾きが急激に変化しないか否かと、を判断する。そして、差ΔＭ１が所定位置以上であり、かつ、一様勾配変化であり傾きが急激に変化しないと判断した場合、第２のＸ，Ｙ，Ｚ物体色推定信頼性があると判断し、それ以外の場合、第２のＸ，Ｙ，Ｚ物体色推定信頼性がないと判断する。
また、Ｙｕｖ物体色推定Ｙ，ｕ，ｖ値、ＲＧＢ物体色推定Ｒ，Ｇ，Ｂ値の算出に利用されたグラフにおいても同様の処理を実施して、オブジェクト毎に、第２のＹ，ｕ，ｖ物体色信頼性、第２のＲ，Ｇ，Ｂ物体色信頼性があるか否かを判断する。
また、第２のＸ，Ｙ，Ｚ，Ｙ，ｕ，ｖ，Ｒ，Ｇ，Ｂ物体色推定信頼性があると判断した場合、差ΔＭ１と、一様勾配変化および傾き変化の状態と、に対応する第２のＸ，Ｙ，Ｚ，Ｙ，ｕ，ｖ，Ｒ，Ｇ，Ｂ信頼値を設定する。この第２のＸ，Ｙ，Ｚ，Ｙ，ｕ，ｖ，Ｒ，Ｇ，Ｂ信頼値は、差ΔＭ１の幅が大きいほど、かつ、勾配が大きいほど、傾きの変化が緩やかなほど、つまり信頼性が高いほど、大きい値に設定される。

さらに、オブジェクト毎判定手段５１０は、オブジェクト抽出手段４６０で微分フィルタを通したＸＹＺ明るさ毎バランスデータ、Ｙｕｖ明るさ毎バランスデータ、ＲＧＢ明るさ毎バランスデータに基づいて、各オブジェクトの境界の明確性を判断する。
例えば、図２１に示すように、半透明なオブジェクトＯＢ３およびオブジェクトＯＢ４が重なっている画像Ｐ２の場合、一方のオブジェクトの明点明るさ値または暗点明るさ値が、他方のオブジェクトの明点明るさ値から暗点明るさ値の間に位置する可能性がある。この場合、物体色勾配法推定光源算出手段４９０で算出したＸＹＺ物体色推定Ｘ，Ｙ，Ｚ値、Ｙｕｖ物体色推定Ｙ，ｕ，ｖ値、ＲＧＢ物体色推定Ｒ，Ｇ，Ｂ値の信頼性が低くなる。このため、各オブジェクトの境界の明確性を判断する。
具体的には、オブジェクト毎判定手段５１０は、ＸＹＺ明るさ毎バランスデータを微分して得られる図１７に示すようなグラフにおいて、微分値の絶対値が所定値以上であると判断した場合、オブジェクトが重なっていないため第３のＸＹＺ物体色推定信頼性があると判断し、所定値未満であると判断した場合、オブジェクトが重なっているため第３のＸＹＺ物体色推定信頼性がないと判断する。
さらに、Ｙｕｖ明るさ毎バランスデータ、ＲＧＢ明るさ毎バランスデータについても同様の処理を実施して、第３のＹｕｖ物体色推定信頼性、第３のＲＧＢ物体色推定信頼性があるか否かを判断する。
また、第３のＸＹＺ，Ｙｕｖ，ＲＧＢ物体色推定信頼性があると判断した場合、微分値の絶対値に対応する第３のＸＹＺ，Ｙｕｖ，ＲＧＢ信頼値を設定する。この第３のＸＹＺ，Ｙｕｖ，ＲＧＢ信頼値は、微分値の絶対値が大きいほど、つまり信頼性が高いほど、大きい値に設定される。

そして、オブジェクト毎判定手段５１０は、第１，２のＸ，Ｙ，Ｚ，Ｙ，ｕ，ｖ，Ｒ，Ｇ，Ｂ物体色推定信頼性、第３のＸＹＺ，Ｙｕｖ，ＲＧＢ物体色推定信頼性の全てがあると判断したオブジェクトを選出する。さらに、この選出したオブジェクト毎に対して、ＸＹＺ，Ｙｕｖ，ＲＧＢ総合信頼値をそれぞれ設定する。
具体的には、所定のオブジェクトの第１，２のＸ，Ｙ，Ｚ信頼値、第３のＸＹＺ信頼値に対して、所定の演算、例えば適宜重み付けをした四則演算を実施して、ＸＹＺ総合信頼値を算出する。また、第１，２のＹ，ｕ，ｖ信頼値、第３のＹｕｖ信頼値に対して、所定の演算を実施して、Ｙｕｖ総合信頼値を算出する。さらに、第１，２のＲ，Ｇ，Ｂ信頼値、第３のＲＧＢ信頼値に対して、所定の演算を実施して、ＲＧＢ総合信頼値を算出する。
そして、オブジェクト毎判定手段５１０は、オブジェクト毎のＸＹＺ，Ｙｕｖ，ＲＧＢのそれぞれに関するＸＹＺ，Ｙｕｖ，ＲＧＢ総合信頼値情報を、物体色推定結果採用判定手段５２０へ出力する。

物体色推定結果採用判定手段５２０は、物体色勾配法推定光源算出手段４９０からオブジェクト毎のＸＹＺ，Ｙｕｖ，ＲＧＢ物体色推定光源情報を取得する。また、物体色勾配法推定結果判定手段５００からオブジェクト毎のＸＹＺ，Ｙｕｖ，ＲＧＢ物体色判定情報を取得する。そして、ＸＹＺ表色系、Ｙｕｖ表色系、ＲＧＢ表色系のそれぞれについて、推定光源に相応しいと判断されたオブジェクトを認識する。また、オブジェクト毎判定手段５１０からオブジェクト毎のＸＹＺ，Ｙｕｖ，ＲＧＢ総合信頼値情報を取得する。そして、推定光源に相応しいと判断されたオブジェクトに関するＸＹＺ，Ｙｕｖ，ＲＧＢ総合信頼値情報に基づいて、総合信頼値が最も高いＸＹＺ，Ｙｕｖ，ＲＧＢ物体色推定値を、推定光源色を表す物体色推定値として選出する。例えば、オブジェクトＯＢ１のＸＹＺ総合信頼値がＳｐ１で、オブジェクトＯＢ２のＹｕｖ総合信頼値がＳｐ１よりも大きいＳｐ２の場合、オブジェクトＯＢ２のＹｕｖ物体色推定値を、推定光源色を表す物体色推定値として選出し、この物体色推定値に関する推定光源情報としての物体色推定光源情報を推定光源色設定部６００へ出力する。
なお、総合信頼値が最も高いものを物体色推定値として選出せずに、以下のように選出する構成としてもよい。すなわち、ＸＹＺ，Ｙｕｖ，ＲＧＢ物体色推定値に関する例えば上位Ａ個のオブジェクトを選出し、これらのオブジェクトの物体色推定値を総合信頼値に対応する重み付けをするなどして平均化する。そして、この平均化した値を、推定光源色を表す物体色推定値として選出する構成としてもよい。

推定光源色設定部６００は、図１に示すように、表示制御手段２０に接続されている。
この推定光源色設定部６００は、鏡面反射光源色推定部３００および物体色光源色推定部４００での推定結果に基づいて、推定光源色を設定する。
そして、推定光源色設定部６００は、図２２に示すように、第１推定光源色選択手段６１０と、第２推定光源色算出手段６２０と、第３推定光源色設定手段６３０と、推定光源色出力手段６４０と、を備えている。
また、表示制御手段２０は、推定光源色設定部６００で設定された推定光源色に基づいて、図示しない表示手段で表示された画像を適宜補正する。

第１推定光源色選択手段６１０は、鏡面反射光源色推定部３００から反射勾配推定光源情報と、反射勾配判定情報と、反射勾配採用情報と、反射平均推定光源情報と、反射平均判定情報と、を取得する。さらに、物体色光源色推定部４００から物体色推定光源情報を取得する。そして、反射勾配判定情報および反射勾配採用情報がＯＫのものの場合、反射勾配推定光源情報に基づく反射勾配推定Ｘ，Ｙ，Ｚ値が推定光源を表すものとして相応しく、かつ、信頼性が高いものであると判断して、この反射勾配推定Ｘ，Ｙ，Ｚ値を第１推定光源色として選択する。
また、反射勾配判定情報および反射勾配採用情報のうち少なくともいずれか一方がＮＧのものであり、かつ、反射平均判定情報がＯＫのものの場合、反射平均推定光源情報に基づく反射平均推定Ｘ，Ｙ，Ｚ値が推定光源を表すものとして相応しいものであると判断して、この反射平均推定Ｘ，Ｙ，Ｚ値を第１推定光源色として選択する。
さらに、反射勾配判定情報および反射勾配採用情報のうち少なくともいずれか一方がＮＧのものであり、反射平均判定情報がＮＧのものであり、物体色推定光源情報を取得している場合、物体色推定光源情報に基づく物体色推定値を第１推定光源色として選択する。
そして、反射勾配判定情報および反射勾配採用情報のうち少なくともいずれか一方がＮＧのものであり、反射平均判定情報がＮＧのものであり、物体色推定光源情報を取得していない場合、その旨の未選択情報を推定光源色出力手段６４０へ出力する。

第２推定光源色算出手段６２０は、第１推定光源色に基づいて、第２推定光源色を算出する。
具体的には、第２推定光源色算出手段６２０は、図２３に示すように、ＪＩＳ−Ｚ−８７２０に定められた黒体軌跡上の標準光源、常用光源に対応する点のうち、第１推定光源色に最も近い点を第２推定光源色として算出する。

第３推定光源色設定手段６３０は、動画像において１画像（１フィールドまたは１フレーム）前後で大きな絵柄の変更、つまり、いわゆるシーンチェンジがあったか否かを検出する。そして、例えば図２４に示すように、シーンチェンジがない場合、第２推定光源色に時定数を乗じて第３推定光源色を設定し、変化率を小さくする。また、例えば図２５に示すように、シーンチェンジがある場合、第２推定光源色を第３推定光源色として設定する。これは、シーンチェンジ発生時には、第３推定光源色を大きく変化させても、絵柄的に問題が発生しないためである。この第３推定光源色設定手段６３０の動作により、動画像においても、不具合なく推定光源色の設定ができる。

推定光源色出力手段６４０は、第３推定光源色の設定に用いられたＲＧＢ入力信号に基づく画像がテストパターンか否かを判断する。そして、テストパターンでないと判断した場合、第３推定光源色を最終的な最終推定光源色として設定し、この最終推定光源色に関する最終推定光源色情報を出力する。
また、テストパターンであると判断した場合、または、第１推定光源色選択手段６１０から未選択情報を取得した場合、画像データ出力手段１０からの入力信号の種類により定められた「白」、つまり既定の光源色に関する既定光源色情報を出力する。一般的に、ＮＴＳＣ信号における「白」、ＨＤ信号における「白」、ＰＡＬ信号における「白」など、入力信号により「白」の値が設定されている。ここでは、その値をそのまま推定した光源色として設定する。
また、第１推定光源色選択手段６１０から未選択情報を取得した場合、直前の画像（フィールド、フレーム）における第３推定光源色を最終的な最終推定光源色として設定してもよい。または、直前フレームのおよびそれよりも以前の単数または複数のフレームにおける第３推定光源色を平均化または所定の重み付けによる演算を実施し、最終的な最終推定光源色として設定してもよい。すなわち、第１推定光源色選択手段６１０から未選択情報を取得した場合、それよりも前のフレームにおける第３推定光源色に基づいて最終的な最終推定光源色として設定してもよい。

〔推定光源色設定装置の動作〕
次に、推定光源色設定装置１００の動作について、図面を参照して説明する。なお、以下の処理は、１画面毎に実施される。
図２６は、光源色の推定処理を示すフローチャートである。図２７は、鏡面反射からの光源色推定処理を示すフローチャートである。図２８は、物体色からの光源色推定処理を示すフローチャートである。図２９は、光源色設定処理を示すフローチャートである。

まず、推定光源色設定装置１００は、画像データ調整部２００にて、画像データ出力手段１０から画像データを取得する。そして、図２６に示すように、この画像データの画像からアクティブエリアを抽出する（ステップＳ１０１）。さらに、アクティブエリアの入力信号に対して平面ＬＰＦ処理を施す（ステップＳ１０２）。
この後、推定光源色設定装置１００は、鏡面反射光源色推定部３００にて、平面ＬＰＦ処理が施された入力信号をＲＧＢ表色系またはＹｕｖ表色系からＸＹＺ表色系に変換して（ステップＳ１０３）、鏡面反射からの光源色推定処理を実施する（ステップＳ１０４）。また、推定光源色設定装置１００は、物体色光源色推定部４００にて、平面ＬＰＦ処理が施された入力信号に基づいて、物体色からの光源色推定処理を実施する（ステップＳ１０５）。
そして、推定光源色設定装置１００は、推定光源色設定部６００にて、光源色設定処理を実施して（ステップＳ１０６）、光源色の推定処理を終了する。

また、ステップＳ１０４における鏡面反射からの光源色推定処理では、鏡面反射光源色推定部３００は、図２７に示すように、ＸＹＺ表色系の入力信号に基づいて、画像中の無彩色点を抽出する（ステップＳ２０１：抽出工程）。さらに、この無彩色点により構成される無彩色領域から孤立点を除去して（ステップＳ２０２）、鏡面反射領域を抽出する。この後、鏡面反射領域について、Ｙ分布データを算出するとともに（ステップＳ２０３：Ｙ分布算出工程）、Ｙ毎色分布データを算出する（ステップＳ２０４：Ｙ毎色分布算出工程）。そして、鏡面反射光源色推定部３００は、平均法処理部３６０にて、平均法処理を実施する。具体的には、平均法処理部３６０は、反射平均推定Ｘ，Ｙ，Ｚ値の算出処理を、平均法による推定光源の算出処理として実施して（ステップＳ２０５：推定光源算出工程）、反射平均推定光源情報を推定光源色設定部６００へ出力する。さらに、反射平均推定Ｘ，Ｙ，Ｚ値に対して、黒体軌跡からの偏差ｄｕｖ、色温度に基づく判定処理を実施して（ステップＳ２０６：信頼性判定工程）、反射平均判定情報を推定光源色設定部６００へ出力する。

また、鏡面反射光源色推定部３００は、ステップＳ２０４の処理の後、勾配法処理部３５０にて、勾配法処理を実施する。具体的には、勾配法処理部３５０は、Ｙ分布データやＹ毎色分布データに対して、階調不足レベルの補間処理を実施する（ステップＳ２０７：補間工程）。さらに、この補間処理が施されたＹ毎色分布データに基づいて、Ｙ毎バランスデータを算出し（ステップＳ２０８：Ｙ毎バランス算出工程）、このＹ毎バランスデータを平滑化する（ステップＳ２０９：平滑化工程）。この後、明点および暗点を設定して（ステップＳ２１０）、明点Ｘ，Ｙ，Ｚバランスデータと、暗点Ｘ，Ｙ，Ｚバランスデータと、を取得する（ステップＳ２１１：明点暗点Ｙ値取得工程および明点暗点バランス取得工程）。そして、反射勾配推定Ｘ，Ｙ，Ｚ値の算出処理を、勾配法による推定光源の算出処理として実施して（ステップＳ２１２：推定光源算出工程）、反射勾配推定光源情報を推定光源色設定部６００へ出力する。さらに、反射勾配推定Ｘ，Ｙ，Ｚ値に対して、偏差ｄｕｖ、色温度に基づく判定処理を実施して（ステップＳ２１３：信頼性判定工程）、反射勾配判定情報を推定光源色設定部６００へ出力する。

また、勾配法処理部３５０は、ステップＳ２０２の処理で孤立点が除去された鏡面反射領域の画素数に基づいて、第１の反射推定信頼性の有無を判定する（ステップＳ２１４）。さらに、ステップＳ２０７の処理で補間処理が施されたＹ分布データの輝度レベルに基づいて、第２の反射推定信頼性の有無を判定する（ステップＳ２１５）。また、ステップＳ２１０で設定された明点、暗点に基づく光源推定直線Ｌ１の勾配状態に基づいて、第３のＸ，Ｙ，Ｚ反射推定信頼性の有無を判定する（ステップＳ２１６）。
そして、勾配法処理部３５０は、これらの判定結果に基づいて、反射勾配推定Ｘ，Ｙ，Ｚ値に基づく推定光源を適用するか否か判断して（ステップＳ２１７）、反射勾配採用情報を、推定光源色設定部６００へ出力する。

さらに、ステップＳ１０５における物体色からの光源色推定処理では、物体色光源色推定部４００は、図２８に示すように、画像全体に対して、ＸＹＺ表色系、Ｙｕｖ表色系、および、ＲＧＢ表色系に基づくＸＹＺ，Ｙｕｖ，ＲＧＢ明るさ分布データを算出するとともに（ステップＳ３０１：明るさ分布算出工程）、ＸＹＺ，Ｙｕｖ，ＲＧＢ明るさ毎色分布データを算出する（ステップＳ３０２：明るさ毎色分布算出工程）。そして、ＸＹＺ，Ｙｕｖ，ＲＧＢ明るさ分布データや、ＸＹＺ，Ｙｕｖ，ＲＧＢ明るさ毎色分布データに対して、階調不足レベルの補間処理を実施して（ステップＳ３０３：補間工程）、この補間処理が施されたＸＹＺ，Ｙｕｖ，ＲＧＢ明るさ毎色分布データに基づいて、ＸＹＺ，Ｙｕｖ，ＲＧＢ明るさ毎バランスデータを算出して（ステップＳ３０４：明るさ毎バランス算出工程）、平滑化する（ステップＳ３０５：平滑化工程）。

さらに、物体色光源色推定部４００は、画像からオブジェクトを抽出する（ステップＳ３０６：オブジェクト明るさ毎バランス取得工程）。そして、オブジェクト毎に明点および暗点を設定して、明点Ｘ，Ｙ，Ｚ，Ｙ，ｕ，ｖ，Ｒ，Ｇ，Ｂバランスデータと、暗点Ｘ，Ｙ，Ｚ，Ｙ，ｕ，ｖ，Ｒ，Ｇ，Ｂバランスデータと、を取得する（ステップＳ３０７：明点暗点明るさ値取得工程および明点暗点バランス取得工程）。さらに、ＸＹＺ物体色推定Ｘ，Ｙ，Ｚ値、Ｙｕｖ物体色推定Ｙ，ｕ，ｖ値、ＲＧＢ物体色推定Ｒ，Ｇ，Ｂ値の算出処理を、物体色による推定光源の算出処理として実施して（ステップＳ３０８）、これらに対して偏差ｄｕｖ、色温度に基づく判定処理を実施する（ステップＳ３０９）。また、ステップＳ３０６で抽出したオブジェクトに対して、ＸＹＺ，Ｙｕｖ，ＲＧＢ総合信頼値を適宜設定する処理を、オブジェクト毎の判定処理として実施する（ステップＳ３１０：オブジェクト毎判定工程）。そして、ＸＹＺ，Ｙｕｖ，ＲＧＢ総合信頼値などに基づいて、物体色推定値を適宜選出して（ステップＳ３１１：推定光源算出工程）、物体色推定光源情報を、推定光源色設定部６００へ出力する。

また、ステップＳ１０６における光源色設定処理では、推定光源色設定部６００は、図２９に示すように、鏡面反射光源色推定部３００からの反射勾配推定光源情報、反射勾配判定情報、反射勾配採用情報、反射平均推定光源情報、および、反射平均判定情報と、物体色光源色推定部４００から物体色推定光源情報と、に基づいて、第１推定光源色を選択できたか否かを判断する（ステップＳ４０１：推定光源情報取得工程および光源色設定工程）。
このステップＳ４０１において、選択できないと判断した場合、既定光源色に関する既定光源色情報を出力する（ステップＳ４０２）。
一方、ステップＳ４０１において、選択できたと判断した場合、この第１推定光源色に基づいて、第２推定光源色の算出処理を実施する（ステップＳ４０３：光源色設定工程）。この後、シーンチェンジに基づき光源色を補正して（ステップＳ４０４）、第３推定光源色を設定する。そして、この第３推定光源色の設定に用いられた画像がテストパターンか否かを判断する（ステップＳ４０５）。
このステップＳ４０５において、テストパターンであると判断した場合、ステップＳ４０２の処理を実施する。
一方、ステップＳ４０５において、テストパターンでないと判断した場合、第３推定光源色を最終推定光源色として設定して、最終推定光源色情報を出力する（ステップＳ４０６）。

〔推定光源色設定装置の作用効果〕
上述したように、上記一実施の形態では、推定光源色設定装置１００の鏡面反射光源色推定部３００は、ＸＹＺ表色系に変換された入力信号に基づいて、各画素から黒体軌跡からの偏差が閾値以内の画素を無彩色点として抽出する。そして、この無彩色点で構成される無彩色領域について、各Ｙ値に対して、このＹ値以内に対応する画素数の累計頻度をＹ分布データとして算出するとともに、Ｘ，Ｙ，Ｚ値の各々の合計値をＸ，Ｙ，Ｚ色分布データとして算出する。また、Ｘ，Ｙ，Ｚ色分布データを、それぞれ対応するＹ値および画素数で除算して、Ｘ，Ｙ，Ｚバランスデータを算出する。そして、Ｙ分布データに基づいて、累計頻度がＴａ％となる明点に対応するＹ値を明点Ｙ値として、Ｔｂ％となる暗点に対応するＹ値を暗点Ｙ値として、それぞれ求める。さらに、明点Ｙ値、暗点Ｙ値にそれぞれ対応するＸ，Ｙ，Ｚバランスデータを、明点Ｘ，Ｙ，Ｚバランスデータ、暗点Ｘ，Ｙ，Ｚバランスデータとして取得する。そして、明点Ｘバランスデータ、暗点Ｘバランスデータを含む１次関数の光源推定直線Ｌ１を設定し、この光源推定直線Ｌ１上におけるＹ分布データの累計頻度が１００％となるＸバランスデータを、反射勾配推定Ｘ値として算出し、この反射勾配推定Ｘ値と、同様に算出された反射勾配推定Ｙ，Ｚ値と、で表される色を推定光源色として推定する。
このため、略全ての色を表現可能なＸＹＺ表色系のＸ値、Ｙ値、および、Ｚ値に基づく処理を実施するので、人物の肌の部分に限らず、あらゆる物体におけるあらゆる部分の色に基づいて、画像撮像時の光源色を推定できる。したがって、画像撮像時の光源色を適切に推定できる。

また、推定光源色設定装置１００の鏡面反射光源色推定部３００は、Ｘ，Ｙ，Ｚ色分布データに基づいて、Ｙ値が閾値以上の画素のＸバランスデータの総和を算出する。そして、この総和を抽出画素数で除した値を、反射平均推定Ｘ値として算出し、この反射平均推定Ｘ値と、同様に算出された反射平均推定Ｙ，Ｚ値と、で表される色を推定光源色として推定する。
このため、略全ての色を表現可能なＸＹＺ表色系のＸ値、Ｙ値、および、Ｚ値に基づく処理を実施するので、人物の肌の部分に限らず、あらゆる物体におけるあらゆる部分の色に基づいて、画像撮像時の光源色を推定できる。したがって、画像撮像時の光源色を適切に推定できる。

さらに、推定光源色設定装置１００の物体色光源色推定部４００は、入力信号に対応するＸＹＺ表色系に基づいて、明るさを表す各Ｙ値に対して、このＹ値以内に対応する画素数の累計頻度をＸＹＺ明るさ分布データとして算出するとともに、Ｘ，Ｙ，Ｚ値の各々の合計値をＸＹＺ明るさ毎色分布データとして算出する。また、ＸＹＺ明るさ毎色分布データを、それぞれ対応するＹ値および画素数で除算して、ＸＹＺ明るさ毎バランスデータを算出する。さらに、このＸＹＺ明るさ毎バランスデータに基づいて、画像におけるオブジェクトの位置を算出し、このオブジェクト毎に、ＸＹＺ明るさ分布データの累計頻度が９０％となる明点に対応するＹ値を明点明るさ値として、８０％となる暗点に対応するＹ値を暗点明るさ値として、それぞれ求める。さらに、明点明るさ値、暗点明るさ値にそれぞれ対応するＸ，Ｙ，Ｚバランスデータを、明点Ｘ，Ｙ，Ｚバランスデータ、暗点Ｘ，Ｙ，Ｚバランスデータとして取得する。そして、オブジェクト毎に、明点Ｘバランスデータ、暗点Ｘバランスデータを含む１次関数の光源推定直線Ｌ１を設定し、この光源推定直線Ｌ１上におけるＸＹＺ明るさ分布データの累計頻度が１００％となるＸバランスデータを、ＸＹＺ物体色推定Ｘ値として算出し、このＸＹＺ物体色推定Ｘ値と、同様に算出されたＸＹＺ物体色推定Ｙ，Ｚ値と、で表される色をオブジェクト毎の推定光源色として推定する。
さらに、入力信号に対応するＹｕｖ表色系、ＲＧＢ表色系に基づいて、同様の処理を実施して、オブジェクト毎にＹｕｖ物体色推定Ｙ，ｕ，ｖ値、ＲＧＢ物体色推定Ｒ，Ｇ，Ｂ値を算出する処理を、オブジェクト毎の推定光源色の推定処理として実施する。
このため、略全ての色を表現可能なＸＹＺ表色系のＸ値、Ｙ値、Ｚ値、Ｙｕｖ表色系のＹ値、ｕ値、ｖ値、ＲＧＢ表色系のＲ値、Ｇ値、Ｂ値に基づく処理を実施するので、人物の肌の部分に限らず、あらゆる物体におけるあらゆる部分の色に基づいて、画像撮像時の光源色を推定できる。したがって、画像撮像時の光源色を適切に推定できる。

そして、推定光源色設定装置１００の推定光源色設定部６００は、鏡面反射光源色推定部３００で推定された反射勾配推定Ｘ，Ｙ，Ｚ値に基づく推定光源色と、反射平均推定Ｘ，Ｙ，Ｚ値に基づく推定光源色と、物体色光源色推定部４００で推定された所定のオブジェクトのＸＹＺ，Ｙｕｖ，ＲＧＢ物体色推定値のうちいずれか１つに基づく推定光源色と、を認識する。そして、所定の優先度に基づいて、いずれか１つの推定光源色を選出し、この選出した推定光源色に基づいて、最終推定光源色を設定する。
このため、複数の手法により推定された推定光源色に基づいて最終推定光源色を設定するので、１つの手法により推定された推定光源色に基づき最終推定光源色を設定する構成と比べて、より適切に最終推定光源色を設定できる。
特に、上記実施の形態の処理方法を用いた場合、実測の光源値に対して、色温度が±１００〜５００ｋの精度で光源色を設定できることが実験的に確認されており、上記実施の形態の全処理を実施することが好ましい。

そして、鏡面階調不足レベル補間手段３５１にて、Ｙ分布データ、Ｙ毎色分布データにおいて、各Ｙ値に対応する画素数が所定値よりも少ない場合、このＹ値の周辺の値に基づいて、この所定値よりも少ないＹ値に対応する値を補間する処理を実施する。
このため、例えばＹ分布データにおける所定のＹ値に対応する画素数が少ない場合であっても、所定の画素数に対応する状態にＹ分布データを補間することにより、信頼性が高いＸＹＺ物体色推定Ｘ，Ｙ，Ｚ値を得ることができる。したがって、撮像時の光源色をより適切に推定できる。
また、物体色階調不足レベル補間手段４３０においても、ＸＹＺ，Ｙｕｖ，ＲＧＢ明るさ分布データ、ＸＹＺ，Ｙｕｖ，ＲＧＢ明るさ毎色分布データに対して、上述したような補間処理を実施するので、信頼性が高いＸＹＺ，Ｙｕｖ，ＲＧＢ物体色推定値を得ることができ、撮像時の光源色をさらに適切に推定できる。

さらに、鏡面平滑化手段３５３にて、Ｘ，Ｙ，Ｚバランスデータを平滑化する。
このため、Ｘバランスデータが波を打つ場合、この波を打つ状態を平滑化することにより、この平滑化部分に対応するグラフ上で隣接するＸバランスデータの差を最小限に抑えることができる。したがって、平滑化部分を含む光源推定直線Ｌ１を明点Ｙ値や暗点Ｙ値によらず略等しくすることができ、信頼性がより高いＸＹＺ物体色推定Ｘ，Ｙ，Ｚ値を得ることができ、光源色をさらに適切に推定できる。
また、物体色平滑化手段４５０においても、ＸＹＺ，Ｙｕｖ，ＲＧＢ明るさ分布データ、ＸＹＺ，Ｙｕｖ，ＲＧＢ明るさ毎色分布データに対して、上述したような平滑化処理を実施するので、信頼性がより高いＸＹＺ，Ｙｕｖ，ＲＧＢ物体色推定値を得ることができ、光源色をさらに適切に推定できる。

そして、反射勾配法推定結果判定手段３５７にて、反射勾配推定Ｘ，Ｙ，Ｚ値が推定光源として相応しいか否かを判定する処理を、推定光源の信頼性判定処理として実施する。また、反射推定結果採用判定手段３５８にて、反射勾配推定Ｘ，Ｙ，Ｚ値の信頼性を表す第１，第２の反射推定信頼性、第３のＸ，Ｙ，Ｚ反射推定信頼性を判定する。
このため、推定光源色設定部６００にて、上述した各信頼性に基づいて、より信頼性が高い光源色を適切に設定できる。
さらに、反射平均法推定結果判定手段３６２にて、反射平均推定Ｘ，Ｙ，Ｚ値が推定光源として相応しいか否かを判定する処理を、推定光源の信頼性判定処理として実施するので、この判定結果に基づいて、推定光源色設定部６００にて、さらに信頼性が高い光源色を適切に設定できる。

また、反射推定結果採用判定手段３５８にて、無彩色領域を構成する画素数が規定数以上か否かに基づいて、第１の反射推定信頼性を判定する。
このため、所定の大きさよりも大きい無彩色領域に基づいて光源色を推定するので、反射勾配推定Ｘ，Ｙ，Ｚ値を算出するためのデータ数を所定数以上にすることができ、光源色をより適切に推定できる。

そして、反射推定結果採用判定手段３５８にて、無彩色領域が明るいか否かに基づいて、第２の反射推定信頼性を判定する。
このため、所定の明るさよりも明るい無彩色領域に基づいて光源色を推定するので、明るさが暗い鏡面反射でない無彩色領域に基づき算出した反射勾配推定Ｘ，Ｙ，Ｚ値を、光源色の推定に用いることがない。したがって、光源色をさらに適切に推定できる。

さらに、反射推定結果採用判定手段３５８にて、明点Ｙ値および暗点Ｙ値の差ΔＭ１に基づいて、第３のＸ，Ｙ，Ｚ反射推定信頼性を判定する。
このため、差ΔＭ１が極めて小さいＹ毎バランスデータに基づいて光源推定直線Ｌ１を設定すると、この光源推定直線Ｌ１の安定性が悪くなるおそれがあるが、差ΔＭ１が所定値以上のＹ毎バランスデータに基づいて光源推定直線Ｌ１を設定することにより、光源推定直線Ｌ１の安定性を所定レベル以上にすることができる。したがって、反射勾配推定Ｘ，Ｙ，Ｚ値の信頼性をより高めることができる。

また、反射推定結果採用判定手段３５８にて、明点Ｙ値に値Ｎを加えた値および暗点Ｙ値から値Ｎを減じた値の間が一様勾配変化か否か、傾きの変化が急激か否かに基づいて、つまりＹ値の増減に対するＹ毎バランスデータの増減状態に基づいて、第３のＸ，Ｙ，Ｚ反射推定信頼性を判定する。
このため、一様勾配変化していない、または傾きの変化が急激な場合も光源推定直線Ｌ１の設定対象にすると、明点Ｙ値や暗点Ｙ値の設定により光源推定直線Ｌ１の勾配が大きく変化してしまうおそれがあるが、一様勾配変化している場合、および傾きの変化が緩やかな場合のみ、この部分に基づいて光源推定直線Ｌ１を設定することにより、光源推定直線Ｌ１の安定性を所定レベル以上にすることができる。したがって、反射勾配推定Ｘ，Ｙ，Ｚ値の信頼性をさらに高めることができる。

さらに、オブジェクト抽出手段４６０にて、ＸＹＺ，Ｙｕｖ，ＲＧＢ明るさ毎バランスデータを微分して、この微分値に基づいて、オブジェクトの位置を算出する。
このため、一般的に複数のオブジェクト間の部分は色の変化が急峻な場合が多く、この色の変化を数値化したＸＹＺ，Ｙｕｖ，ＲＧＢ明るさ毎バランスデータの微分値を用いることにより、オブジェクト間の部分を容易に特定でき、オブジェクトの位置をより容易に算出できる。

また、オブジェクト毎判定手段５１０にて、各オブジェクトに対して、第１，第２のＸ，Ｙ，Ｚ，Ｙ，ｕ，ｖ，Ｒ，Ｇ，Ｂ物体色信頼性，第３のＸＹＺ，Ｙｕｖ，ＲＧＢ物体色信頼性を判定する。そして、物体色推定結果採用判定手段５２０にて、これら信頼性に基づいて、所定のオブジェクトを選出し、このオブジェクトの物体色推定値に基づく色を推定光源色として推定する。
このため、物体色光源色推定部４００にて、上述した各信頼性に基づいて、より信頼性が高い推定光源色を適切に推定できる。

さらに、オブジェクト毎判定手段５１０にて、反射推定結果採用判定手段３５８と同様に、明点明るさ値に値Ｎを加えた値および暗点明るさ値から値Ｎを減じた値の間が一様勾配変化か否か、傾きの変化が急激か否かに基づいて、つまり明るさ値の増減に対する例えばＸＹＺ明るさ毎バランスデータの増減状態に基づいて、第２のＸ，Ｙ，Ｚ物体色信頼性を判定する。
このため、一様勾配変化している場合、および傾きの変化が緩やかな場合のみ、この部分に基づいて光源推定直線Ｌ１を設定することにより、光源推定直線Ｌ１の安定性を所定レベル以上にすることができ、ＸＹＺ物体色推定Ｘ，Ｙ，Ｚ値の信頼性をさらに高めることができる。

また、オブジェクト毎判定手段５１０にて、オブジェクトの重なり状態に基づいて、第３のＸＹＺ，Ｙｕｖ，ＲＧＢ物体色信頼性を判定する。
このため、オブジェクトが重なっている場合も例えばＸＹＺ物体色推定Ｘ，Ｙ，Ｚ値の算出対象とすると、一方のオブジェクトの明点明るさ値が、他方のオブジェクトの明点明るさ値から暗点明るさ値の間に位置する可能性があり、例えばＸＹＺ物体色推定Ｘ，Ｙ，Ｚ値の信頼性が低くなるが、オブジェクトが重なっていない場合のみを算出対象にすることにより、一方のオブジェクトの明点明るさ値が上述したような位置に位置することがなく、ＸＹＺ物体色推定Ｘ，Ｙ，Ｚ値の信頼性を高めることができる。

さらに、推定光源色設定部６００にて、ＪＩＳで定められた黒体軌跡上の標準光源、常用光源に対応する点のうち、第１推定光源色に最も近い点を最終推定光源色として設定する。
このため、最終推定光源色として、鏡面反射光源色推定部３００や物体色光源色推定部４００で推定された推定光源色をそのまま適用すると、最終推定光源色として設定されうる推定光源色の数が極めて多くなってしまうが、あらかじめＪＩＳで定められた光源色を適用することにより、最終推定光源色として設定されうる推定光源色の数を所定数に抑えることができる。したがって、表示制御手段２０での画像補正の基準となる最終推定光源色を所定数にすることができ、画像補正処理を容易に実施させることができる。

そして、推定光源色設定部６００にて、第１推定光源色を選択できない場合や画像がテストパターンの場合、既定の光源色である「白」を最終推定光源色として設定する。
このため、いかなる画像であっても、表示制御手段２０へ最終推定光源色を出力することができ、画像補正処理を適切に実施させることができる。
特に、上記一実施の形態では、入力信号の種類により定められた「白」を最終推定光源色として設定するので、画像補正処理をより適切に実施させることができる。

さらに、無彩色点抽出手段３２０にて、所定の色温度の範囲内、具体的には、色温度が２８００Ｋ〜１００００Ｋの画素を無彩色点として抽出する。
このため、上述したように、２８００Kは市販の光源手段の最低温度、１００００Kは野外の晴天時の最高温度に対応しているため、これらを考慮に入れて無彩色点を抽出することにより、より適切に光源色を設定することができる。

また、動画像に対しても、この動画像の撮像時の光源色を推定する。
このため、１フレーム毎にリアルタイムで光源色を設定することが可能なので、１フレーム前後で光源の状態が変化する動画像であっても、適正に光源色を設定することができる。

〔実施の形態の変形〕
なお、本発明は、上述した実施の形態に限定されるものではなく、本発明の目的を達成できる範囲で以下に示される変形をも含むものである。

すなわち、ステップＳ１０５の処理である物体色からの光源色推定処理、ステップＳ２０５，Ｓ２０６の処理である平均法処理、および、ステップＳ２０７〜Ｓ２１７の処理である勾配法処理のうち、少なくともいずれか１つのみの処理を実施する構成としてもよい。
このような構成にすれば、推定光源色設定装置１００の構成を簡略にできる。

また、鏡面階調不足レベル補間手段３５１、物体色階調不足レベル補間手段４３０、鏡面平滑化手段３５３、物体色平滑化手段４５０、を適宜設けない構成としてもよい。

さらに、反射勾配法推定結果判定手段３５７、反射推定結果採用判定手段３５８、反射平均法推定結果判定手段３６２を、適宜設けない構成としてもよい。
また、反射推定結果採用判定手段３５８にて、第１，第２の反射推定信頼性、第３のＸ，Ｙ，Ｚ反射推定信頼性のうちの１つまたは２つを設定する構成としてもよい。
そして、第３のＸ，Ｙ，Ｚ反射推定信頼性を、差ΔＭ１に基づいて、または、一様勾配変化か否か、および傾きの変化が急激か否かに基づいて、判定する構成としてもよい。

さらに、反射推定結果採用判定手段３５８にて、第１，第２の反射推定信頼性、第３のＸ，Ｙ，Ｚ反射推定信頼性の有無について判断したが、以下のような構成としてもよい。すなわち、信頼性の高さに対応する信頼値を設定し、この信頼値に基づいて、総合信頼度を算出する。そして、この総合信頼度に基づいて、反射勾配推定Ｘ，Ｙ，Ｚ値に基づく推定光源を適用するか否かを判定する構成としてもよい。

また、オブジェクト抽出手段４６０にて、オブジェクトの位置を算出する際に、ＸＹＺ明るさ毎バランスデータなどを微分せずに、ＸＹＺ明るさ毎バランスデータの差分に基づいて、オブジェクトの位置を算出する構成としてもよい。

そして、ＸＹＺ物体色推定Ｘ，Ｙ，Ｚ値、Ｙｕｖ物体色推定Ｙ，ｕ，ｖ値、ＲＧＢ物体色推定Ｒ，Ｇ，Ｂ値を、オブジェクト毎に算出したが、１つのオブジェクトのもののみを算出する構成としてもよい。

さらに、オブジェクト毎判定手段５１０にて、第１，第２のＸ，Ｙ，Ｚ，Ｙ，ｕ，ｖ，Ｒ，Ｇ，Ｂ物体色信頼性，第３のＸＹＺ，Ｙｕｖ，ＲＧＢ物体色信頼性のうち、１つまたは２つの物体色信頼性を設定する構成としてもよい。

また、反射勾配法推定光源算出手段３５６にて、図３０に示すような方法で、反射勾配推定Ｘ，Ｙ，Ｚ値を算出する構成としてもよい。
具体的には、明点Ｙ値および暗点Ｙ値の中間値を中間Ｙ値として設定する。例えば明点の累計頻度が９０％、暗点が８０％の場合、８５％に対応する中間Ｙ値を設定する。さらに、中間Ｙ値のＸバランスデータを中間Ｘバランスデータとして取得し、明点，中間，暗点Ｘバランスデータに対応する点を通るＱ（Ｑは２以上の自然数）次関数の光源推定曲線Ｌ２を設定する。そして、この光源推定曲線Ｌ２における累計頻度が１００％となる推定光源Ｙ値に対応するＸバランスデータを、反射勾配推定Ｘ値として算出する構成としてもよい。

さらに、第２推定光源色算出手段６２０にて、図３１に示すような方法で、第２推定光源色を算出する構成としてもよい。
具体的には、図３１に示すように、第１推定光源色に最も近い標準光源に対応する２個の点が、略等しい距離Ｋ１，Ｋ２の位置にそれぞれ存在する場合、１画像毎の微妙な絵柄の変化により第２推定光源色が、その２個の標準光源間で１画像毎に変わってしまうことがある。このような場合、第１推定光源色の点と、それぞれの標準光源の点と、の距離の比（Ｋ１：Ｋ２）に基づいて、黒体軌跡上におけるその比に対応した点を第２推定光源色として算出する構成を適用してもよい。
このような構成にすれば、１画像毎に第２推定光源色が大きく変わることがなく、光源色をより適切に推定できる。

また、第２推定光源色算出手段６２０にて、図３２に示すような方法で、第２推定光源色を算出する構成としてもよい。
具体的には、図３２に示すように、第１推定光源色の色温度と同じ値の黒体軌跡上の点を、第２推定光源色として算出する構成としてもよい。

さらに、第２推定光源色算出手段６２０にて、第１推定光源色をそのまま第２推定光源色として設定する構成としてもよい。このような構成では、１画像毎の微妙な絵柄の変化により、黒体軌跡上の点を第２推定光源色として算出する構成と比べて、第２推定光源色が大きく変化してしまう。このため、１画像前後で第１推定光源色の変化が小さい場合に、前画像の第１推定光源色をそのまま第２推定光源色として設定することが好ましい。
このような構成にすれば、微妙な絵柄の変化では、前後画像で第２推定光源色に大きな変化が発生することがなく、光源色をさらに適切に推定できる。

また、推定光源色出力手段６４０にて、既定光源色を出力する代わりに、１画面前の最終推定光源色を出力する構成としてもよい。

そして、明るさ分布算出手段４１０にて、無彩色点抽出手段３２０にて抽出された無彩色領域に基づいて、明るさ分布データを算出する構成としてもよい。
さらに、無彩色点抽出手段３２０にて、無彩色点を抽出する際に、黒体軌跡からの偏差が閾値以内か否か、および、色温度が２８００Ｋ〜１００００Ｋか否かのうちいずれか一方のみを基準として判断してもよい。

また、上述した推定光源色設定装置１００を、図３３に示すような光源色制御装置１に適用してもよい。
この光源色制御装置１は、例えば美術館や博物館などに配置される。そして、光源色制御装置１は、撮像手段２と、光源手段３と、推定光源色設定装置１００と、所望光源色入力手段４と、光源色制御手段５と、を備えている。

撮像手段２は、所定の位置に配置された対象物６を撮像可能な位置に設けられている。この撮像手段２は、動画像を撮像可能な例えばビデオカメラであり、対象物６を撮像した画像の画像信号をリアルタイムで推定光源色設定装置１００へ出力する。ここで、対象物６は、例えば絵画や写真などの静止物であり、太陽７からの日光が直接的あるいは間接的に照射される位置に設けられている。このため、時間経過に伴う太陽７の昇沈により、対象物６に照射される光の状況が時間毎に変化して、撮像手段２で撮像される画像は、静止画ではなく光源色が変化する動画となる。つまり、撮像手段２は、この光源色の変化を動画として撮像し続け、リアルタイムで画像信号を出力することとなる。
光源手段３は、対象物６に光を照射可能な位置に設けられている。この光源手段３は、例えばＲＧＢ各色から構成されるＬＥＤなどであり、光源色制御手段５の制御により、異なる光源色の光を対象物６に照射する。
推定光源色設定装置１００は、撮像手段２からの画像信号に基づいて、上述したような処理により、対象物６が撮像された際の光源色を推定して、最終推定光源色情報を光源色制御手段５へ出力する。ここで、この推定光源色設定装置１００による光源色の推定は、本発明の対象物光源色設定工程に対応している。
所望光源色入力手段４は、利用者により入力操作可能な例えばキーボードなどであり、所望の光源色を設定入力可能な構成を有している。そして、所望光源色入力手段４は、設定入力された所望光源色情報を光源色制御手段５へ出力する。
光源色制御手段５は、推定光源色設定装置１００からの最終推定光源色情報に基づく対象物６の光源色と、所望光源色入力手段４からの所望光源色情報に基づく光源色と、を比較する。そして、差異が所定の状態よりも大きい場合、対象物６の光源色が利用者により設定された光源色となる状態に、光源手段３の光源色を制御する。ここで、この光源色制御手段５による光源色の制御は、本発明の光源制御工程に対応している。

このような構成にすれば、対象物６の光源色をリアルタイムで所望の状態に制御することができる。また、光源色を直接測定する高価な測定機器を用いずに、安価なビデオカメラを用いるだけで対象物６の光源色を制御でき、このような制御をする構成の低コスト化を実現できる。

なお、上述した光源色制御装置１を以下のような構成に適用してもよい。
すなわち、対象物６として表示装置を適用するとともに、この表示装置が太陽７により照射されない位置に配置する。このような場合、画像が表示された表示装置自体を光源の一部として考えると、その表示画像の状態により、表示装置に照射される光源色全体の状態は、１フレーム毎に変化していると言える。
このような構成にすれば、上述したような処理により、表示画像全体の変化に伴い変化する光源色の状態をリアルタイムで所望の状態に制御することができる。
なお、表示装置を太陽７により照射される位置に設けてもよい。

上述した各機能をプログラムとして構築したが、例えば回路基板などのハードウェアあるいは１つのＩＣ（Integrated Circuit）などの素子にて構成するなどしてもよく、いずれの形態としても利用できる。なお、プログラムや別途記録媒体から演算手段としてのコンピュータで読み取らせる構成とすることにより、取扱が容易で、利用の拡大が容易に図れる。

その他、本発明の実施の際の具体的な構造および手順は、本発明の目的を達成できる範囲で他の構造などに適宜変更できる。

〔実施の形態の作用効果〕
上述したように、上記実施の形態では、推定光源色設定装置１００の鏡面反射光源色推定部３００は、無彩色点で構成される無彩色領域について、各Ｙ値に対して、このＹ値以内に対応する画素数の累計頻度をＹ分布データとして算出する。また、各Ｙ値に対するＸ，Ｙ，Ｚ値の各々の合計値であるＸ，Ｙ，Ｚ色分布データを、それぞれ対応するＹ値および画素数で除算して、Ｘ，Ｙ，Ｚバランスデータを算出する。そして、Ｙ分布データの累計頻度がＴａ％となる明点に対応するＹ値を明点Ｙ値として、Ｔｂ％となる暗点に対応するＹ値を暗点Ｙ値として、それぞれ求め、明点Ｙ値、暗点Ｙ値にそれぞれ対応するＸ，Ｙ，Ｚバランスデータを、明点Ｘ，Ｙ，Ｚバランスデータ、暗点Ｘ，Ｙ，Ｚバランスデータとして取得する。そして、明点Ｘバランスデータ、暗点Ｘバランスデータを含む１次関数の光源推定直線Ｌ１を設定し、この光源推定直線Ｌ１上におけるＹ分布データの累計頻度が１００％となるＸバランスデータを、反射勾配推定Ｘ値として算出し、この反射勾配推定Ｘ値と、同様に算出された反射勾配推定Ｙ，Ｚ値と、で表される色を推定光源色として推定する。

また、推定光源色設定装置１００の鏡面反射光源色推定部３００は、Ｘ，Ｙ，Ｚ色分布データに基づいて、Ｙ値が閾値以上の画素のＸバランスデータの総和を算出する。そして、この総和を抽出画素数で除した値を、反射平均推定Ｘ値として算出し、この反射平均推定Ｘ値と、同様に算出された反射平均推定Ｙ，Ｚ値と、で表される色を推定光源色として推定する。

さらに、推定光源色設定装置１００の物体色光源色推定部４００は、入力信号に対応するＸＹＺ表色系に基づいて、明るさを表す各Ｙ値に対して、このＹ値以内に対応する画素数の累計頻度をＸＹＺ明るさ分布データとして算出する。また、各Ｙ値に対応するＸ，Ｙ，Ｚ値の各々の合計値であるＸＹＺ明るさ毎色分布データを、それぞれ対応するＹ値および画素数で除算して、ＸＹＺ明るさ毎バランスデータを算出する。さらに、このＸＹＺ明るさ毎バランスデータに基づいて、オブジェクトの位置を算出し、このオブジェクト毎に、ＸＹＺ明るさ分布データの累計頻度が９０％となる明点に対応するＹ値を明点明るさ値として、８０％となる暗点に対応するＹ値を暗点明るさ値として、それぞれ求め、明点明るさ値、暗点明るさ値にそれぞれ対応するＸ，Ｙ，Ｚバランスデータを、明点Ｘ，Ｙ，Ｚバランスデータ、暗点Ｘ，Ｙ，Ｚバランスデータとして取得する。そして、オブジェクト毎に、明点Ｘバランスデータ、暗点Ｘバランスデータを含む１次関数の光源推定直線Ｌ１を設定し、この光源推定直線Ｌ１上におけるＸＹＺ明るさ分布データの累計頻度が１００％となるＸバランスデータを、ＸＹＺ物体色推定Ｘ値として算出し、このＸＹＺ物体色推定Ｘ値と、同様に算出されたＸＹＺ物体色推定Ｙ，Ｚ値と、で表される色をオブジェクト毎の推定光源色として推定する。
さらに、入力信号に対応するＹｕｖ表色系、ＲＧＢ表色系に基づいて、同様の処理を実施して、オブジェクト毎にＹｕｖ物体色推定Ｙ，ｕ，ｖ値、ＲＧＢ物体色推定Ｒ，Ｇ，Ｂ値を算出する処理を、オブジェクト毎の推定光源色の推定処理として実施する。

このため、略全ての色を表現可能なＸＹＺ表色系のＸ値、Ｙ値、Ｚ値、Ｙｕｖ表色系のＹ値、ｕ値、ｖ値、ＲＧＢ表色系のＲ値、Ｇ値、Ｂ値に適宜基づく処理を実施するので、人物の肌の部分に限らず、あらゆる物体におけるあらゆる部分の色に基づいて、画像撮像時の光源色を推定できる。したがって、画像撮像時の光源色を適切に推定できる。

そして、推定光源色設定装置１００の推定光源色設定部６００は、鏡面反射光源色推定部３００で推定された反射勾配推定Ｘ，Ｙ，Ｚ値に基づく推定光源色と、反射平均推定Ｘ，Ｙ，Ｚ値に基づく推定光源色と、物体色光源色推定部４００で推定された所定のオブジェクトのＸＹＺ，Ｙｕｖ，ＲＧＢ物体色推定値のうちいずれか１つに基づく推定光源色と、を認識する。そして、所定の優先度に基づいて、いずれか１つの推定光源色を選出し、この選出した推定光源色に基づいて、最終推定光源色を設定する。
このため、複数の手法により推定された推定光源色に基づいて最終推定光源色を設定するので、１つの手法により推定された推定光源色に基づき最終推定光源色を設定する構成と比べて、より適切に最終推定光源色を設定できる。

また、光源色制御装置１の光源色制御手段５は、推定光源色設定装置１００からの最終推定光源色情報に基づく対象物６の光源色と、所望光源色入力手段４からの所望光源色情報に基づく光源色と、を比較して、差異が所定の状態よりも大きい場合、対象物６の光源色が利用者により設定された光源色となる状態に、光源手段３の光源色を制御する。
このため、対象物６の光源色をリアルタイムで所望の状態に制御することができる。また、光源色を直接測定する高価な測定機器を用いずに、安価なビデオカメラを用いるだけで対象物６の光源色を制御でき、このような制御をする構成の低コスト化を実現できる。

本発明の一実施の形態に係る推定光源色設定装置の概略構成を示すブロック図である。前記一実施の形態における鏡面反射光源色推定部の概略構成を示す模式図である。前記一実施の形態における明るさとＹ分布データとの関係を示すグラフである。前記一実施の形態における明るさとＸバランスデータとの関係を示すグラフである。前記一実施の形態における明るさとＹバランスデータとの関係を示すグラフである。前記一実施の形態における明るさとＺバランスデータとの関係を示すグラフである。前記一実施の形態における平滑化前後の明るさとＸバランスデータとの関係を示すグラフである。前記一実施の形態における暗い画像における明点Ｙ値および暗点Ｙ値の設定状態をグラフ形式で示す図である。前記一実施の形態における明るい画像における明点Ｙ値および暗点Ｙ値の設定状態をグラフ形式で示す図である。前記一実施の形態における明点Ｘバランスデータおよび暗点Ｘバランスデータの取得方法をグラフ形式で示す図である。前記一実施の形態における反射勾配推定Ｘ値の算出方法をグラフ形式で示す図である。前記一実施の形態におけるＸバランスデータが一様勾配変化しているか否かの判定方法をグラフ形式で示す図である。前記一実施の形態におけるＸ，Ｙ，Ｚバランスデータが一様勾配変化している状態をグラフ形式で示す図である。前記一実施の形態における物体色光源色推定部の概略構成を示す模式図である。前記一実施の形態におけるオブジェクト抽出対象の画像の一例を示す図である。前記一実施の形態におけるオブジェクト抽出対象の画像におけるＸＹＺ明るさ毎バランスデータと明るさとの関係を示すグラフである。前記一実施の形態におけるＸＹＺ明るさ毎バランスデータを微分処理した状態を示すグラフである。前記一実施の形態における微分処理後のＸＹＺ明るさ毎バランスデータに基づくオブジェクトの位置特定方法をグラフ形式で示す図である。前記一実施の形態におけるオブジェクトの抽出方法をグラフ形式で示す図である。前記一実施の形態におけるオブジェクト毎の明点Ｙ値および暗点Ｙ値の設定状態をグラフ形式で示す図である。前記一実施の形態における半透明のオブジェクトが重なった画像の一例を示す図である。前記一実施の形態における推定光源色設定部の概略構成を示す模式図である。前記一実施の形態における第２推定光源色の算出方法を示す図である。前記一実施の形態におけるシーンチェンジがない状態をグラフ形式で示す図である。前記一実施の形態におけるシーンチェンジがある状態をグラフ形式で示す図である。前記一実施の形態における光源色の推定処理を示すフローチャートである。前記一実施の形態における鏡面反射からの光源色推定処理を示すフローチャートである。前記一実施の形態における物体色からの光源色推定処理を示すフローチャートである。前記一実施の形態における光源色設定処理を示すフローチャートである。本発明の他の実施の形態に係る反射勾配推定Ｘ値の算出方法をグラフ形式で示す図である。本発明のさらに他の実施の形態に係る第２推定光源色の算出方法を示す図である。本発明のさらに他の実施の形態に係る第２推定光源色の算出方法を示す図である。本発明のさらに他の実施の形態に係る光源色制御装置の概略構成を示すブロック図である。

符号の説明

Ｓ２０１…抽出工程
Ｓ２０３…Ｙ分布算出工程
Ｓ２０４…Ｙ毎色分布算出工程
Ｓ２０５，Ｓ２１２，Ｓ３１１…推定光源算出工程
Ｓ２０６，Ｓ２１３…信頼性判定工程
Ｓ２０７，Ｓ３０３…補間工程
Ｓ２０８…Ｙ毎バランス算出工程
Ｓ２０９，Ｓ３０５…平滑化工程
Ｓ２１１…明点暗点Ｙ値取得工程および明点暗点バランス取得工程
Ｓ３０１…明るさ分布算出工程
Ｓ３０２…明るさ毎色分布算出工程
Ｓ３０４…明るさ毎バランス算出工程
Ｓ３０６…オブジェクト明るさ毎バランス取得工程
Ｓ３０７…明点暗点明るさ値取得工程および明点暗点バランス取得工程
Ｓ３１０…オブジェクト毎判定工程
Ｓ４０１…推定光源情報取得工程および光源色設定工程
Ｓ４０３…光源色設定工程

Claims

所定の画像が撮像された際の光源色を推定する光源色推定方法であって、
前記画像の画像信号におけるＸＹＺ表色系のＸ値、Ｙ値、および、Ｚ値で表される画素データから、黒体軌跡からの偏差が所定値以内の前記画素データを抽出画素データとして抽出する抽出工程と、
この抽出工程で抽出した前記抽出画素データに基づいて、各Ｙ値に対して、前記Ｙ値以内のＹ値に対応する前記抽出画素データの数の累計頻度を表すＹ分布データを算出するＹ分布算出工程と、
前記抽出画素データに基づいて、各Ｙ値に対して、前記Ｙ値に対応する前記抽出画素データの前記Ｘ値の合計値、前記Ｙ値の合計値、および、前記Ｚ値の合計値をＹ毎色分布データとして算出するＹ毎色分布算出工程と、
このＹ毎色分布算出工程で算出した前記Ｙ毎色分布データの前記Ｘ値の合計値、前記Ｙ値の合計値、前記Ｚ値の合計値を、それぞれ対応する前記Ｙ値で除算したＹ毎バランスデータを算出するＹ毎バランス算出工程と、
前記Ｙ分布算出工程で算出した前記Ｙ分布データに基づいて、前記累計頻度がＴａ％となる明点に対応する前記Ｙ値を明点Ｙ値として取得し、前記累計頻度がＴａ％未満のＴｂ％となる暗点に対応する前記Ｙ値を暗点Ｙ値として取得する明点暗点Ｙ値取得工程と、
前記Ｙ毎バランス算出工程で算出した前記Ｙ毎バランスデータに基づいて、前記明点Ｙ値に対応する前記Ｙ毎バランスデータを明点バランスデータとして取得し、前記暗点Ｙ値に対応する前記Ｙ毎バランスデータを暗点バランスデータとして取得する明点暗点バランス取得工程と、
前記Ｙ毎バランスデータに基づいて、前記明点バランスデータおよび前記暗点バランスデータを含むＱ（Ｑは自然数）次関数の線を設定し、この線上における前記累計頻度が１００％または略１００％に対応する前記Ｙ毎バランスデータのＸ値、Ｙ値、および、Ｚ値を算出し、この算出した前記Ｘ値、前記Ｙ値、および、前記Ｚ値に基づいて、前記画像が撮像された際の光源色を算出して推定する推定光源算出工程と、
を実施することを特徴とする光源色推定方法。
請求項１に記載の光源色推定方法であって、
前記Ｙ毎バランス算出工程の前に、前記Ｙ分布データ、前記Ｙ毎色分布データの各Ｙ値に対して、前記Ｙ値に対応する前記抽出画素データの数が所定値未満の場合、前記抽出画素データの数が所定値以上となる状態に前記Ｙ分布データ、前記Ｙ毎色分布データを補間する補間工程を実施し、
前記Ｙ毎バランス算出工程、前記明点暗点Ｙ値取得工程、前記明点暗点バランス取得工程、および、前記推定光源算出工程では、前記補間工程で補間された前記Ｙ分布データ、前記Ｙ毎色分布データに基づく処理を実施する
ことを特徴とする光源色推定方法。
請求項１または請求項２に記載の光源色推定方法であって、
前記明点暗点Ｙ値取得工程の前に、前記Ｙ毎バランスデータを平滑化する平滑化工程を実施し、
前記明点暗点Ｙ値取得工程、前記明点暗点バランス取得工程、および、前記推定光源算出工程では、前記平滑化工程で平滑化された前記Ｙ毎バランスデータに基づく処理を実施する
ことを特徴とする光源色推定方法。
請求項１ないし請求項３のいずれかに記載の光源色推定方法であって、
前記推定光源算出工程で推定した前記光源色の信頼性を判定する信頼性判定工程を実施する
ことを特徴とする光源色推定方法。
請求項４に記載の光源色推定方法であって、
前記信頼性判定工程では、前記抽出画素データの数に基づいて、前記光源色の信頼性を判定する
ことを特徴とする光源色推定方法。
請求項４または請求項５に記載の光源色推定方法であって、
前記信頼性判定工程では、前記画像の明るさに基づいて、前記光源色の信頼性を判定する
ことを特徴とする光源色推定方法。
請求項４ないし請求項６のいずれかに記載の光源色推定方法であって、
前記信頼性判定工程では、前記明点Ｙ値および前記暗点Ｙ値の差に基づいて、前記光源色の信頼性を判定する
ことを特徴とする光源色推定方法。
請求項４ないし請求項７のいずれかに記載の光源色推定方法であって、
前記信頼性判定工程では、前記Ｙ値の増減に対する前記Ｙ毎バランスデータの増減状態に基づいて、前記光源色の信頼性を判定する
ことを特徴とする光源色推定方法。
請求項１ないし請求項８のいずれかに記載の光源色推定方法であって、
前記抽出工程では、所定の色温度の範囲内の前記画素データを前記抽出画素データとして抽出することを特徴とする光源色推定方法。
請求項１ないし請求項９のいずれかに記載の光源色推定方法であって、
前記画像は動画像である
ことを特徴とする光源色推定方法。
所定の画像が撮像された際の光源色を推定する光源色推定方法であって、
前記画像の画像信号におけるＸＹＺ表色系のＸ値、Ｙ値、および、Ｚ値で表される画素データから、黒体軌跡からの偏差が所定値以内の前記画素データを抽出画素データとして抽出する抽出工程と、
この抽出工程で抽出した前記抽出画素データに基づいて、各Ｙ値に対して、前記Ｙ値に対応する前記抽出画素データの前記Ｘ値の合計値、前記Ｙ値の合計値、および、前記Ｚ値の合計値をＹ毎色分布データとして算出するＹ毎色分布算出工程と、
このＹ毎色分布算出工程で算出した前記Ｙ毎色分布データに基づいて、所定のＹ値以上のＹ値に対応する前記Ｙ毎色分布データの前記Ｘ値の合計値、前記Ｙ値の合計値、および、前記Ｚ値の合計値を、前記所定のＹ値以上のＹ値に対応する前記Ｙ毎色分布データの合計数でそれぞれ除算して得られたＸ値、Ｙ値、および、Ｚ値に基づいて、前記画像が撮像された際の光源色を算出して推定する推定光源算出工程と、
を実施することを特徴とする光源色推定方法。
請求項１１に記載の光源色推定方法であって、
前記推定光源算出工程で推定した前記光源色の信頼性を判定する信頼性判定工程を実施する
ことを特徴とする光源色推定方法。
請求項１１または請求項１２に記載の光源色推定方法であって、
前記抽出工程では、所定の色温度の範囲内の前記画素データを前記抽出画素データとして抽出することを特徴とする光源色推定方法。
請求項１１ないし請求項１３のいずれかに記載の光源色推定方法であって、
前記画像は動画像である
ことを特徴とする光源色推定方法。
所定のオブジェクトを含む画像が撮像された際の光源色を推定する光源色推定方法であって、
前記画像の画像信号における３個の表色値で色を表現可能な少なくとも１種類の表色系の前記表色値で表される画素データに基づいて、前記３個の表色値に基づく前記画像の明るさを表す明るさ値のそれぞれに対して、前記明るさ値以内の前記明るさ値に対応する前記画素データの数の累計頻度を表す明るさ分布データを算出する明るさ分布算出工程と、
前記画素データに基づいて、各前記明るさ値に対して、前記明るさ値に対応する前記画素データの前記第１の表色値の合計値、第２の前記表色値の合計値、および、第３の前記表色値の合計値を明るさ毎色分布データとして算出する明るさ毎色分布算出工程と、
この明るさ毎色分布算出工程で算出した前記明るさ毎色分布データの前記第１の表色値の合計値、前記第２の表色値の合計値、前記第３の表色値の合計値を、それぞれ対応する前記明るさ値で除算した明るさ毎バランスデータを算出する明るさ毎バランス算出工程と、
この明るさ毎バランス算出工程で算出された前記明るさ毎バランスデータに基づいて、前記画像における前記オブジェクトの位置を算出し、この算出した位置に対応する前記明るさ毎バランスデータをオブジェクト明るさ毎バランスデータとして取得するオブジェクト明るさ毎バランス取得工程と、
前記明るさ分布算出工程で算出した前記明るさ分布データに基づいて、前記オブジェクト毎に、前記累計頻度がＴａ％となる明点に対応する前記明るさ値を明点明るさ値として取得し、前記累計頻度がＴａ％未満のＴｂ％となる暗点に対応する前記明るさ値を暗点明るさ値として取得する明点暗点明るさ値取得工程と、
前記明るさ毎バランスデータに基づいて、前記オブジェクト毎に、前記明点明るさ値に対応する前記明るさ毎バランスデータを明点バランスデータとして取得し、前記暗点明るさ値に対応する前記明るさ毎バランスデータを暗点バランスデータとして取得する明点暗点バランス取得工程と、
前記明るさ毎バランスデータに基づいて、前記オブジェクト毎に、前記明点バランスデータおよび前記暗点バランスデータを含むＱ（Ｑは自然数）次関数の線を設定し、この線上における前記累計頻度が１００％または略１００％に対応する前記明るさ毎バランスデータの第１の表色値、第２の表色値、および、第３の表色値を算出し、このオブジェクト毎に算出された前記第１の表色値、前記第２の表色値、および、前記第３の表色値に基づいて、前記画像が撮像された際の光源色を算出して推定する推定光源算出工程と、
を実施することを特徴とする光源色推定方法。
請求項１５に記載の光源色推定方法であって、
前記明るさ毎バランス算出工程の前に、前記明るさ分布データ、前記明るさ毎色分布データの各明るさ値に対して、前記明るさ値に対応する前記画素データの数が所定値未満の場合、前記画素データの数が所定値以上となる状態に前記明るさ分布データ、前記明るさ毎色分布データを補間する補間工程を実施し、
前記明るさ毎バランス算出工程、前記オブジェクト明るさ毎バランス工程、前記明点暗点明るさ値取得工程、前記明点暗点バランス取得工程、および、前記推定光源算出工程では、前記補間工程で補間された前記明るさ分布データ、前記明るさ毎色分布データに基づく処理を実施する
ことを特徴とする光源色推定方法。
請求項１５または請求項１６に記載の光源色推定方法であって、
前記オブジェクト明るさ毎バランス工程の前に、前記明るさ毎バランスデータを平滑化する平滑化工程を実施し、
前記オブジェクト明るさ毎バランス工程、前記明点暗点明るさ値取得工程、前記明点暗点バランス取得工程、および、前記推定光源算出工程では、前記平滑化工程で平滑化された前記明るさ分布データ、前記明るさ毎色分布データに基づく処理を実施する
ことを特徴とする光源色推定方法。
請求項１５ないし請求項１７のいずれかに記載の光源色推定方法であって、
前記オブジェクト明るさ毎バランス取得工程では、前記明るさ毎バランスデータを微分して、この微分した結果に基づいて、前記画像における前記オブジェクトの位置を算出する
ことを特徴とする光源色推定方法。
請求項１５ないし請求項１８のいずれかに記載の光源色推定方法であって、
前記オブジェクト明るさ毎バランス取得工程で位置が算出されたオブジェクトに対して、前記推定光源算出工程で算出される前記オブジェクトの前記第１の表色値、前記第２の表色値、および、前記第３の表色値の信頼性を判定するオブジェクト毎判定工程を実施し、
前記推定光源算出工程では、前記オブジェクト毎判定工程で判定された前記信頼性に基づいて、所定の前記オブジェクトを選出し、この選出した前記オブジェクトの前記第１の表色値、前記第２の表色値、および、前記第３の表色値に基づいて、前記画像が撮像された際の光源色を算出して推定する
ことを特徴とする光源色推定方法。
請求項１９に記載の光源色推定方法であって、
前記オブジェクト毎判定工程では、前記明るさ値の増減に対する前記明るさ毎バランスデータの増減状態に基づいて、前記オブジェクトの前記信頼性を判定する
ことを特徴とする光源色推定方法。
請求項１９または請求項２０に記載の光源色推定方法であって、
前記オブジェクト毎判定工程では、前記オブジェクトの重なり状態に基づいて、前記オブジェクトの前記信頼性を判定する
ことを特徴とする光源色推定方法。
請求項１５ないし請求２１のいずれかに記載の光源色推定方法であって、
前記明るさ分布算出工程の前に、所定の色温度の範囲内の前記画素データを抽出する抽出工程を実施し、
前記明るさ分布算出工程以降の工程では、前記抽出工程で抽出された前記画素データに基づく処理を実施する
ことを特徴とする光源色推定方法。
請求項１５ないし請求項２２のいずれかに記載の光源色推定方法であって、
前記画像は動画像である
ことを特徴とする光源色推定方法。
請求項１ないし請求項１０のいずれかに記載の光源色推定方法で推定された前記光源色、請求項１１ないし請求項１４に記載の光源色推定方法で推定された前記光源色、および、請求項１５ないし請求項２３のいずれかに記載の光源色推定方法で推定された前記光源色のうち、少なくともいずれか２つの前記光源色に関する推定光源情報を取得する推定光源情報取得工程と、
所定の優先度に基づいて、前記推定光源情報取得工程で取得した前記推定光源情報に基づく前記少なくともいずれか２つの光源色のうち１つの光源色を選出し、この選出した光源色に基づいて、前記画像が撮像された際の光源色を設定する光源色設定工程と、
を実施することを特徴とする推定光源色設定方法。
請求項２４に記載の推定光源色設定方法であって、
前記光源色設定工程では、あらかじめ規格化されている標準光源色のうち前記選出した光源色と略等しい前記標準光源色を、前記画像が撮像された際の光源色として設定する
ことを特徴とする推定光源色設定方法。
所定の対象物を撮像する撮像手段から入力される画像信号に基づいて、請求項２４または請求項２５に記載の推定光源色設定方法により前記対象物の画像が撮像された際の光源色を設定する対象物光源色設定工程と、
所望の光源色と前記推定光源色設定方法で設定された前記光源色とが異なる場合に、前記対象物を照射する光源手段を前記所望の光源色で照射する状態に制御する光源制御工程と、
を実施することを特徴とする光源色制御方法。