JP2013142984A - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Abstract

【課題】画像内の散乱光の色の推定精度を向上させる。
【解決手段】実施形態によれば、画像処理装置は、算出部１０２と、散乱光推定部１１０とを備える。算出部１０２は、複数の第１の画素領域１１の各々に対して、（１）第１の画素領域１１内の画素値分布が色空間において平面的であるほど高い値を持つ第１の評価値と、（２）第１の画素領域１１内の画素値分布を色空間において近似する推定平面上で第１の画素領域１１内の画素値が広く分布しているほど高い値を持つ第２の評価値と、（３）推定平面と色空間の原点との間の距離が小さいほど高い値を持つ第３の評価値とのうち少なくとも１つの評価値が高いほど高くなるように第１の信頼度１２を算出する。散乱光推定部１１０は、第１の信頼度１２に基づいて選択された複数の第２の画素領域１３に基づいて画像１０内の散乱光の色１４を推定する。
【選択図】図１

Description

実施形態は、画像内の散乱光の推定技術に関する。

あるオブジェクトをカメラで撮影する場合に、オブジェクトからの反射光はカメラに届くまでに大気によって減衰及び散乱される。そして、カメラに到達する光は、オブジェクトからの反射光の成分と周囲の光が大気によって散乱された散乱光の成分とが混合されたものとなる。この散乱光の成分が原因で、カメラによる撮影画像に霞がかかることがある。撮影画像から散乱光の成分を除去（即ち、霞を除去）できれば、除去後の画像においてオブジェクトからの反射光の成分が忠実に復元されるので撮影画像の視認性を向上させることができる。しかしながら、撮影画像から散乱光の成分を除去するためには、撮影画像内の散乱光の色を推定する必要がある。

Ｒ Ｆａｔｔａｌ， "Ｓｉｎｇｌｅ Ｉｍａｇｅ Ｄｅｈａｚｉｎｇ"， ＡＣＭ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｇｒａｐｈｉｃｓ， ＳＩＧＧＲＡＰＨ， Ｖｏｌｕｍｅ ２７， Ｉｓｓｕｅ ３， Ａｕｇｕｓｔ ２００８．

実施形態は、画像内の散乱光の色の推定精度を向上させることを目的とする。

実施形態によれば、画像処理装置は、取得部と、第１の算出部と、第１の選択部と、散乱光推定部とを備える。取得部は、画像から複数の第１の画素領域を取得する。第１の算出部は、複数の第１の画素領域の各々に対して、（１）第１の画素領域内の画素値分布が色空間において平面的であるほど高い値を持つ第１の評価値と、（２）第１の画素領域内の画素値分布を色空間において近似する推定平面上で第１の画素領域内の画素値が広く分布しているほど高い値を持つ第２の評価値と、（３）推定平面と色空間の原点との間の距離が小さいほど高い値を持つ第３の評価値とのうち少なくとも１つの評価値が高いほど高くなるように第１の信頼度を算出する。第１の選択部は、複数の第１の画素領域から第１の信頼度に基づいて複数の第２の画素領域を選択する。散乱光推定部は、複数の第２の画素領域に基づいて画像内の散乱光の色を推定する。

第１の実施形態に係る画像処理装置を例示するブロック図。 第２の実施形態に係る画像処理装置を例示するブロック図。 図１の画像処理装置による画像処理を例示するフローチャート。 図３のステップＳ１０２の詳細を例示するフローチャート。 第３の実施形態に係る画像処理装置を例示するブロック図。 図５の画像処理装置による画像処理を例示するフローチャート。 第３の実施形態に係る画像処理装置を例示するブロック図。

以下、図面を参照しながら実施形態の説明が述べられる。尚、以降、説明済みの要素と同一または類似の要素には同一または類似の符号が付され、重複する説明は基本的に省略される。以降の説明において、色空間は、ＲＧＢ空間であると仮定されるが異なる種別の空間であってもよい。また、画素値は、色空間における点として扱われる。

（第１の実施形態）
図１に示されるように、第１の実施形態に係る画像処理装置は、取得部１０１と、第１の信頼度算出部１０２と、第１の選択部１０３と、散乱光推定部１１０とを備える。図１の画像処理装置は、入力画像１０内の散乱光の色１４を推定する。尚、散乱光の色１４は入力画像１０内で一様であると仮定されるものの、各画素に混入する散乱光の量はオブジェクトから視点（例えばカメラ）までの間に存在する粒子の量に依存して異なる可能性があると仮定される。

取得部１０１は、入力画像１０から複数の第１の画素領域１１を取得する。取得部１０１は、複数の第１の画素領域１１を第１の信頼度算出部１０２及び第１の選択部１０３へと出力する。

第１の画素領域１１は、例えば入力画像１０をブロック状に分割することによって得られる領域であってもよい。以降の説明において、第１の画素領域１１は、入力画像１０をブロック状に分割することによって得られる領域とする。或いは、第１の画素領域１１は、例えば入力画像１０内の１以上のオブジェクトの各々を分割することによって得られる領域であってもよい。

第１の画素領域１１は、複数の画素を備える。これら複数の画素は、必ずしも空間的に連続していなくてもよい。但し、一般的に反射光の色はオブジェクト毎に異なるので、第１の画素領域１１に含まれるオブジェクトの総数は小さいことが好ましい。例えば、取得部１０１は、入力画像１０を水平方向または垂直方向に縮小し、縮小された入力画像１０をブロック状に分割したり、縮小された入力画像１０内の１以上のオブジェクトの各々を分割したりすることによって複数の第１の画素領域１１を取得してもよい。

第１の信頼度算出部１０２は、複数の第１の画素領域１１を取得部１０１から入力する。第１の信頼度算出部１０２は、複数の第１の画素領域１１の各々に対して第１の信頼度１２を算出する。第１の信頼度算出部１０２は、複数の第１の信頼度１２を第１の選択部１０３へと出力する。

第１の信頼度１２は、後述される入力画像１０内の散乱光の色１４の推定における第１の画素領域１１の信頼性を評価するものである。即ち、第１の信頼度１２が高い第１の画素領域１１を用いることによって、散乱光の推定精度を向上させることができる。第１の信頼度１２の詳細は後述される。

第１の選択部１０３は、取得部１０１から複数の第１の画素領域１１を入力し、第１の信頼度算出部１０２から複数の第１の信頼度１２を入力する。第１の選択部１０３は、複数の第１の画素領域１１から第１の信頼度１２の高いものを選択することによって、複数の第２の画素領域１３を得る。第１の選択部１０３は、複数の第２の画素領域１３を散乱光推定部１１０へと出力する。

具体的には、第１の選択部１０３は、複数の第１の画素領域１１から第１の信頼度１２が第１の閾値以上であるものを選択することによって、複数の第２の画素領域１３を得ることができる。或いは、第１の選択部１０３は、第１の信頼度１２の降順に所定個数（但し、２以上）の第１の画素領域１１を選択することによって、複数の第２の画素領域１３を得ることもできる。

散乱光推定部１１０は、第１の選択部１０３から複数の第２の画素領域１３を入力する。散乱光推定部１１０は、複数の第２の画素領域１３に基づいて入力画像１０内の散乱光の色１４を推定する。

具体的には、所与の画素領域がオブジェクトの局所的な均一反射面に対応しており、当該所与の画素領域においてオブジェクトからの反射光の明るさ及び散乱光の混入する量が画素間で異なることのみに起因して画素値の差が生じていると仮定される。この仮定によれば、所与の画素領域における任意の画素値は、オブジェクトからの反射光の色と散乱光の色１４とのαブレンドによって決まる。即ち、所与の画素領域における任意の画素値は、色空間において反射光の色のベクトルと散乱光の色１４のベクトルとの線形和によって形成される理想平面上の一点を占める。前述の通り、散乱光の色１４は入力画像１０内で一様である。故に、散乱光の色１４のベクトルと、相異なる画素領域における相異なる反射光の色のベクトルとの線形和が形成する相異なる理想平面同士の交線は、散乱光の色１４のベクトルを示す。散乱光推定部１１０は、係る仮定の下で、散乱光の色１４を推定することができる。

以下、図３を参照して図１の画像処理装置によって行われる画像処理の一例を説明する。図３の画像処理が開始すると、ステップＳ１０１が行われる。
ステップＳ１０１において、取得部１０１は、入力画像１０から複数の第１の画素領域１１を取得する。第１の信頼度算出部１０２は、ステップＳ１０１において取得された複数の第１の画素領域１１の各々に対して第１の信頼度１２を算出する（ステップＳ１０２）。

第１の選択部１０３は、ステップＳ１０１において取得された複数の第１の画素領域１１からステップＳ１０２において算出された第１の信頼度１２の高いものを選択し、複数の第２の画素領域１３を得る（ステップＳ１０３）。

散乱光推定部１１０は、ステップＳ１０３において選択された複数の第２の画素領域１３に基づいて散乱光の色１４を推定する（ステップＳ１０４）。ステップＳ１０４が完了すると、図３の画像処理は終了する。

ここで、図３のステップＳ１０２は、複数の第１の画素領域１１の各々に対して例えば図４に示される第１の信頼度算出処理を行うことによって実現される。図４の第１の信頼度算出処理が開始すると、ステップＳ１０２−１が行われる。

ステップＳ１０２−１において、第１の信頼度算出部１０２は、第１の画素領域１１内の各画素の重みｗ（ｘ）を算出する。ここで、ｘは、各画素を特定する位置ベクトルであり、例えば入力画像１０内で画素が占める座標によって表すことができる。また、画素ｘの画素値は、Ｉ（ｘ）＝（Ｉ_１（ｘ），Ｉ_２（ｘ），Ｉ_３（ｘ））^ｔによって表すことができる。Ｉ（ｘ）は、３次元ベクトルであり、画素ｘのＲＧＢ値を要素として持つ。重みｗ（ｘ）は、後述される注目画素ｘ_ｃと画素ｘとの間の色の差ｄ（ｘ_ｃ，ｘ）が小さいほど、大きくなるように算出される。

注目画素ｘ_ｃは、第１の画素領域１１内の複数の画素のうちのいずれか１つである。注目画素ｘ_ｃは、例えば第１の画素領域１１内の特定の位置（例えば中心位置）を占める画素であってよいし、第１の画素領域１１内の平均画素値に最も近い画素であってもよい。或いは、注目画素ｘ_ｃは、位置及び画素値のいずれにも基づかないで第１の画素領域１１から任意に選択されてもよい。以降の説明では、注目画素ｘ_ｃは、第１の画素領域１１内の中心位置を占める画素とする。

注目画素ｘ_ｃとそれ以外の周辺画素ｘ’との間の色の差ｄ（ｘ_ｃ，ｘ’）は下記数式（１）によって導出できる。尚、注目画素ｘ_ｃと注目画素ｘ_ｃとの間の色の差ｄ（ｘ_ｃ，ｘ_ｃ）は、０とみなすことができる。

数式（１）において、Ｕ（ｘ）は画素値Ｉ（ｘ）のＹＵＶ色空間におけるＵ成分を表し、Ｖ（ｘ）は画素値Ｉ（ｘ）のＹＵＶ色空間におけるＶ成分を表す。数式（１）から明らかなように、色の差ｄ（ｘ_ｃ，ｘ’）は、注目画素ｘ_ｃの色と周辺画素ｘ’の色とが近いほど小さな値となる。

重みｗ（ｘ）は、例えば下記数式（２）によって、注目画素ｘ_ｃと画素ｘとの間の色の差ｄ（ｘ_ｃ，ｘ）が小さいほど、大きくなるように算出される。

数式（２）において、σ_θは定数である。数式（２）によって算出される重みｗ（ｘ）は０以上１以下である。

第１の信頼度算出部１０２は、ステップＳ１０２−１において算出した重みｗ（ｘ）を用いて、第１の画素領域１１内の画素値分布の共分散行列Ｃを算出する（ステップＳ１０２−２）。第１の信頼度算出部１０２は、共分散行列Ｃの第ｉ行第ｊ列の要素Ｃ_ｉｊを下記数式（３）によって算出できる。

前述の通り色空間としてＲＧＢ空間が想定されているので、数式（３）においてｉ，ｊ＝１，２，３である。Ｒは、第１の画素領域１１を表す。ｎは、第１の画素領域１１（＝Ｒ）内で個々の画素を識別するインデックスであり、１からＮまでの連続する自然数を取り得る。即ち、Ｎは、第１の画素領域１１（＝Ｒ）内の画素の総数を表す。ｘ_ｎは、ｎによって識別される画素の位置ベクトルを表す。ｘ_ｎｐは、画素値Ｉ（ｘ_ｎ）の第ｐ番目の要素である。ｐ＝１，２，３である。数式（３）によれば、注目画素ｘ_ｃと色の近い画素ほど共分散行列Ｃへの寄与が大きいので、この共分散行列Ｃは均一反射面を近似する効果がある。具体的には、第１の画素領域１１において均一反射面以外の色、ノイズなどが混入している場合があるが、係る混入の影響が前述の重み付けによって緩和される。

第１の信頼度算出部１０２は、ステップＳ１０２−２において算出した共分散行列Ｃの主成分分析を行う（ステップＳ１０２−３）。具体的には、第１の信頼度算出部１０２は、共分散行列Ｃの第１の主成分の固有ベクトル及び固有値と、第２の主成分の固有ベクトル及び固有値と、第３の主成分の固有ベクトル及び固有値とを算出する。

第１の信頼度算出部１０２は、ステップＳ１０２−３において行った主成分分析の結果に基づいて、第１の画素領域１１に対する第１の信頼度１２を算出する（ステップＳ１０２−４）。ステップＳ１０２−４が完了すると、第１の画素領域１１に対する第１の信頼度算出処理が終了する。以下、第１の信頼度１２の詳細を説明する。

第１の画素領域１１がオブジェクトの局所的な均一反射面に対応しており、第１の画素領域１１においてオブジェクトからの反射光の明るさ及び散乱光の混入する量が画素間で異なることのみに起因して画素値の差が生じていると仮定する。この仮定が成立しているならば、第１の画素領域１１内の任意の画素値は、色空間において反射光の色のベクトルと散乱光の色１４のベクトルとの線形和によって形成される理想平面上の一点を占める。そして、第１の画素領域１１内の画素値は、いずれも上記理想平面上に分布する。換言すれば、理論上は、第１の画素領域１１内の画素値が分布する平面を推定することによって、第１の画素領域１１の理想平面を第１の画素領域１１の推定平面として間接的に導出できる。第１の画素領域１１（＝Ｒ）の推定平面は、ステップＳ１０２−３における主成分分析の結果のうち第１の主成分の固有ベクトルｖ^Ｒ _１と、第２の主成分の固有ベクトルｖ^Ｒ _２との線形和によって形成される平面であるとする。

しかしながら、第１の画素領域１１がオブジェクトの局所的な均一反射面に対応していなかったり画素値にノイズが付加されたりすると、上記仮定に合致しない要因によって画素値が変動する。故に、第１の画素領域１１内の画素値は上記理想平面上に必ずしも分布せず、第１の画素領域１１の推定平面は第１の画素領域１１の理想平面とは必ずしも一致しない。

ここで、散乱光の色１４は、理論上は相異なる理想平面に基づいて推定されるが、実際上は相異なる推定平面に基づいて推定する必要がある。即ち、理想平面との差異が大きい推定平面（即ち、精度の低い推定平面）は、散乱光の色１４の推定精度を劣化させるおそれがある。故に、散乱光の色１４の推定における第１の画素領域１１の信頼性（即ち、第１の画素領域１１の推定平面の精度の高さ）を算出することが、散乱光の色１４の推定精度の向上に寄与する。

第１の信頼度１２は、主に以下の３つの評価基準の一部または全部に基づいて算出される。
第１の評価基準は、第１の画素領域１１内の画素値分布が色空間においてどの程度平面的であるか、である。第１の画素領域１１内の画素値分布が色空間において平面的であるほど（換言すれば、第１の画素領域１１内の画素値が色空間における任意の平面に近いほど）、第１の画素領域１１の信頼性は高いと評価できる。第１の評価基準に対する評価値をｅ_０とする。評価値ｅ_０が高いほど、第１の画素領域１１内の画素値分布が色空間において平面的である。ｅ_０は、平面度と呼ぶこともできる。評価値ｅ_０は、ステップＳ１０２−３における主成分分析の結果のうち第３の主成分の固有値に基づいて算出できる。

第２の評価基準は、第１の画素領域１１の推定平面上で第１の画素領域１１内の画素値がどの程度広く分布しているか、である。第１の画素領域１１の推定平面上で第１の画素領域１１内の画素値が広く分布しているほど、第１の画素領域１１の信頼性は高いと評価できる。第２の評価基準に対する評価値をｅ_１とする。評価値ｅ_１が高いほど、第１の画素領域１１の推定平面上で第１の画素領域１１内の画素値が広く分布している。ｅ_１は、平面分散度と呼ぶこともできる。評価値ｅ_１は、ステップＳ１０２−３における主成分分析の結果のうち第１の主成分の固有値及び第２の主成分の固有値に基づいて算出できる。例えば、評価値ｅ_１は、第１の主成分の固有値と第２の主成分の固有値との和が大きいほど高い値となるように算出されてよい。或いは、評価値ｅ_１は、第２の主成分の固有値のみに基づいて算出されてもよい。

第３の評価基準は、第１の画素領域１１の推定平面と色空間の原点との間の距離はどの程度であるか、である。散乱光の色１４のベクトルと第１の画素領域１１における反射光の色のベクトルとはいずれも色空間における原点を通るので、これらによって形成される理想平面もまた原点を通る。故に、第１の画素領域１１の推定平面と色空間の原点との間の距離が短いほど、第１の画素領域１１の信頼性は高いと評価できる。第３の評価基準に対する評価値をｅ_２とする。評価値ｅ_２が高いほど、第１の画素領域１１の推定平面と色空間の原点との間の距離が短い。

第１の信頼度算出部１０２は、下記数式（４）に従って、第１の画素領域１１（＝Ｒ）の第１の信頼度１２（＝Ｅ１（Ｒ））を算出する。

数式（４）において、ｗ_０，ｗ_１，ｗ_２は、夫々、０以上１以下の値を取り得る重みを表す。但し、重みｗ_０，ｗ_１，ｗ_２のうち少なくとも１つは、０より大きな値を取るものとする。換言すれば、第１の信頼度算出部１０２は、評価値ｅ_０，ｅ_１，ｅ_２のうち少なくとも１つの評価値が高くなるほど高くなるように第１の画素領域１１（＝Ｒ）の第１の信頼度１２（＝Ｅ１（Ｒ））を算出する。数式（４）以外にも、例えば評価値ｅ_０，ｅ_１，ｅ_２のうち少なくとも２つの積によって第１の信頼度１２（＝Ｅ１（Ｒ））が算出されてもよい。

前述の通り、第１の選択部１０３は、複数の第１の画素領域１１から第１の信頼度１２の高いものを選択することによって、複数の第２の画素領域１３を得る。即ち、複数の第１の画素領域１１のうち散乱光の色１４の推定において信頼性が高いと評価されたものが、複数の第２の画素領域１３として選別される。そして、散乱光推定部１１０は、係る複数の第２の画素領域１３を利用するので、散乱光の色１４を高精度に推定することができるといえる。

以上説明したように、第１の実施形態に係る画像処理装置は、入力画像の局所領域内の画素値が色空間において当該局所領域における反射光の色のベクトルと散乱光の色のベクトルとの線形和によって形成される理想平面上に分布されるという仮定に基づいて散乱光の色を推定する。そして、この画像処理装置は、散乱光の色の推定における複数の第１の画素領域の各々の第１の信頼度を前述の第１の評価基準、第２の評価基準及び第３の評価基準の少なくとも１つから評価し、第１の信頼度が高い第１の画素領域を選別してから散乱光の色を推定する。従って、この画像処理装置によれば、入力画像内の散乱光の色の推定精度を向上させることができる。

（第２の実施形態）
第２の実施形態は、前述の第１の実施形態において、複数の第２の画素領域１３に基づいて散乱光の色１４を推定するための技法の一例を具体的に示すものである。図２に示されるように、本実施形態に係る画像処理装置は、取得部１０１と、第１の信頼度算出部１０２と、第１の選択部１０３と、散乱光推定部２１０とを備える。図２の画像処理装置は、入力画像１０内の散乱光の色２４を推定する。

散乱光推定部２１０は、方向推定部２１１と、大きさ推定部２１２とを備える。
方向推定部２１１は、第１の選択部１０３から複数の第２の画素領域１３を入力する。方向推定部２１１は、複数の第２の画素領域１３に基づいて散乱光の色の方向２５を推定する。方向推定部２１１は、推定した散乱光の色の方向２５を大きさ推定部２１２へと出力する。

散乱光の色の方向２５を推定するには、複数の第２の画素領域１３の推定平面を導出する必要がある。故に、前述の第１の信頼度算出部１０２と同様に、複数の第２の画素領域１３の各々について、重みｗ（ｘ）を算出し（ステップＳ１０２−１と同様）、重み付き共分散行列Ｃを算出し（ステップＳ１０２−２と同様）、主成分分析を行う（ステップＳ１０２−３）必要がある。尚、方向推定部２１１は、第１の信頼度算出部１０２とは独立して上記処理を行ってもよいし、第１の信頼度算出部１０２による処理結果を再利用してもよい。

第２の画素領域１３（＝Ｒ）の推定平面は、当該第２の画素領域１３（＝Ｒ）の重み付き共分散行列Ｃの第１の主成分の固有ベクトルｖ^Ｒ _１及び第２の主成分の固有ベクトルｖ^Ｒ _２の線形和によって形成される。理想的には、複数の第２の画素領域１３の推定平面の各々は、散乱光の色２４のベクトルを含んでいる。即ち、相異なる第２の画素領域１３の推定平面同士の交線は、散乱光の色２４のベクトルを表す。

故に、方向推定部２１１は、例えば、下記数式（５）によって、散乱光の色の方向２５を表すベクトルＡ_ｄを推定できる。

数式（５）は、複数の第２の画素領域１３の推定平面の各々に投影された場合の大きさの総和が最大となるベクトルＡ_ｄを示す。尚、実際上は、方向推定部２１１は、下記数式（６）に示される３行３列の行列の第１の主成分の固有ベクトルを算出することによって、数式（５）のベクトルＡ_ｄを導出する。

或いは、方向推定部２１１は、下記数式（７）によって、散乱光の色の方向２５を表すベクトルＡ_ｄを推定してもよい。

数式（７）において、ｆ（Ｅ１（Ｒ））は、第２の画素領域１３（＝Ｒ）の第１の信頼度１２（＝Ｅ１（Ｒ））に応じた重みを表す。重みｆ（Ｅ１（Ｒ））は、第１の信頼度１２（＝Ｅ１（Ｒ））が高いほど大きな値となるように定められる。数式（７）は、複数の第２の画素領域１３の推定平面の各々に投影された場合の大きさの重み付き総和が最大となるベクトルＡ_ｄを表す。尚、実際上は、方向推定部２１１は、下記数式（８）に示される３行３列の行列の第１の主成分の固有ベクトルを算出することによって、数式（７）のベクトルＡ_ｄを導出する。

或いは、方向推定部２１１は、前述の数式（５）−（８）などの計算に基づかないで、色空間における所定の方向を散乱光の色の方向２５として推定してもよい。尚、この場合には、方向推定部２１１は複数の第２の画素領域１３を入力する必要はない。例えば入力画像１０が白昼に撮影されたものであれば、散乱光の色２４はミー散乱によって白色（黒以外の無彩色）に近くなると予想できる。故に、方向推定部２１１は、ＲＧＢ空間において（１，１，１）と同じ方向の大きさ＝１のベクトルを散乱光の色の方向２５として推定してもよい。また、入力画像１０が夕焼けを撮影したものであれば、散乱光は赤色に近くなると予想できる。故に、方向推定部２１１は、ＲＧＢ空間においてベクトル（１，０，０）を散乱光の色の方向２５として推定してもよい。また、入力画像１０が水中で撮影されたものであれば、散乱光は青色に近くなると予想できる。故に、方向推定部２１１は、ＲＧＢ空間においてベクトル（０，０，１）を散乱光の色の方向２５として推定してもよい。

大きさ推定部２１２は、第１の選択部１０３から複数の第２の画素領域１３を入力し、方向推定部２１１から散乱光の色の方向２５を入力する。大きさ推定部２１２は、散乱光の色の方向２５と複数の第２の画素領域１３とに基づいて、散乱光の色の大きさを推定する。大きさ推定部２１２は、推定した散乱光の色の大きさを散乱光の色の方向２５に乗算することによって散乱光の色２４を得る。大きさ推定部２１２は、散乱光の色２４を出力する。

前述の通り、複数の第２の画素領域１３の各々は、均一反射面に対応すると仮定される。故に、任意の第２の画素領域１３において、任意の画素値Ｉ（ｘ）は、下記の数式（９）によって表すことができる。尚、任意の第２の画素領域１３の反射光の色のベクトルをＢとし、散乱光の色２４のベクトルをＡとする。また、散乱光の色の大きさをαとすれば、Ａ＝αＡ_ｄである。

数式（９）において、ｔ（ｘ）は画素ｘにおける散乱光の混入する量に影響するパラメータ（０以上１以下）を表す。ｌ（ｘ）は画素ｘにおける反射光の明るさの変化に影響するパラメータ（０以上１以下）である。パラメータｌ（ｘ）及びｔ（ｘ）は、独立とみなすことができる。故に、大きさ推定部２１２は、パラメータｌ（ｘ）及びｔ（ｘ）の共分散Ｃ（ｌ（ｘ），ｔ（ｘ））の絶対値を最小化するαを導出することによって散乱光の色の大きさを推定できる。

例えば、大きさ推定部２１２は、任意の第２の画素領域１３（＝Ｒ）についてαを一定幅で変動させて共分散Ｃ（ｌ（ｘ），ｔ（ｘ））の最小値を探索できる。具体的には、大きさ推定部２１２は、αを初期値α_１と設定し、散乱光の色２４のベクトルＡ＝α_１Ａ_ｄと設定する。大きさ推定部２１２は、この散乱光の色２４のベクトルＡ＝α_１Ａ_ｄに基づいて、共分散Ｃ（ｌ（ｘ），ｔ（ｘ））の最小値Ｃ_１を独立成分分析（ＩＣＡ；ｉｎｄｅｐｅｎｄｅｎｔ ｃｏｍｐｏｎｅｎｔ ａｎａｌｙｓｉｓ）を用いて導出する。大きさ推定部２１２は、α_２，α_３，・・・についても同様に共分散Ｃ（ｌ（ｘ），ｔ（ｘ））の最小値Ｃ_２，Ｃ_３，・・・を導出できる。そして、大きさ推定部２１２は、これらＣ_１，Ｃ_２，Ｃ_３，・・・の中から最小値Ｃ_ｉを探索し、これに対応するα_ｉを上記第２の画素領域１３（＝Ｒ）に基づく散乱光の色の大きさα_Ｒとして推定できる。即ち、第２の画素領域１３（＝Ｒ）に基づく散乱光の色２４のベクトルＡ_Ｒ＝α_ＲＡ_ｄとなる。尚、推定された散乱光の色の大きさ（＝α_Ｒ）は、第２の画素領域１３毎に異なる可能性がある。散乱光の色２４は入力画像１０内で一様であると仮定されているので、大きさ推定部２１２は例えば下記数式（１０）によって入力画像１０内の散乱光の色２４のベクトルＡ_ｉの大きさを推定してもよい。

数式（１０）において、Ｎ_Ｒは、散乱光の色の大きさを推定するために利用された画素領域（例えば、第２の画素領域１３）の総数を表す。数式（１０）によれば、大きさ推定部２１２は、第２の画素領域１３毎に推定した散乱光の色の大きさα_Ｒの算術平均を入力画像１０内の散乱光の色２４のベクトルＡ_ｉの大きさとして推定する。

或いは、大きさ推定部２１２は例えば下記数式（１１）によって入力画像１０内の散乱光の色２４のベクトルＡ_ｉの大きさを推定してもよい。

数式（１１）において、ｆ_２（Ｅ１（Ｒ））は、第２の画素領域１３（＝Ｒ）の第１の信頼度１２（＝Ｅ１（Ｒ））に応じた重みを表す。重みｆ_２（Ｅ１（Ｒ））は、第１の信頼度１２（＝Ｅ１（Ｒ））が高いほど大きな値となるように定められる。数式（１１）によれば、大きさ推定部２１２は、第２の画素領域１３毎に推定した散乱光の色の大きさα_Ｒの重み付き平均を入力画像１０内の散乱光の色２４のベクトルＡ_ｉの大きさとして推定する。

或いは、大きさ推定部２１２は例えば下記数式（１２）によって入力画像１０内の散乱光の色２４のベクトルＡ_ｉの大きさを推定してもよい。

数式（１２）によれば、大きさ推定部２１２は、第２の画素領域１３毎に推定した散乱光の色の大きさα_Ｒの最大値を入力画像１０内の散乱光の色２４のベクトルＡ_ｉの大きさとして推定する。

以上説明したように、第２の画像処理装置は、第１の実施形態において説明した複数の第２の画素領域に基づいて散乱光の色の方向及び散乱光の色の大きさを推定することによって、散乱光の色を導出する。従って、この画像処理装置によれば、入力画像内の散乱光の色の推定精度を向上させることができる。

（第３の実施形態）
第３の実施形態に係る画像処理装置は、図５に例示されるように、取得部１０１と、第１の信頼度算出部１０２と、第１の選択部１０３と、第２の信頼度算出部３０４と、第２の選択部３０５と、散乱光推定部３１０とを備える。図５の画像処理装置は、入力画像１０内の散乱光の色３４を推定する。

第２の信頼度算出部３０４は、第１の選択部１０３から複数の第２の画素領域１３を入力する。第２の信頼度算出部３０４は、複数の第２の画素領域１３のうち２以上を備える１以上の組み合わせの各々に対して、第２の信頼度３６を算出する。具体的には、第２の信頼度算出部３０４は、組み合わせに含まれる第２の画素領域１３の画素値分布を近似する推定平面の１以上のペアがなす角度の直交性を表す直交度の総和（独立度と呼ぶこともできる）が大きいほど高くなるように第２の信頼度３６を算出する。尚、第２の信頼度の詳細は後述される。第２の信頼度算出部３０４は、１以上の第２の信頼度３６を第２の選択部３０５へと出力する。但し、後述されるように、第２の信頼度算出部３０４は、必ずしも全ての組み合わせについて第２の信頼度３６を算出しない。

第２の選択部３０５は、第１の選択部１０３から複数の第２の画素領域１３を入力し、第２の信頼度算出部３０４から１以上の第２の信頼度３６を入力する。第２の選択部３０５は、２以上の第２の画素領域１３を備える１以上の組み合わせから第２の信頼度３６の高い１つの組み合わせを選択することによって、複数の第３の画素領域３７を得る。具体的には、第２の選択部３０５は、１以上の組み合わせから第２の信頼度３６が最高のものを選択することによって、複数の第３の画素領域３７を得ることができる。第２の選択部３０５は、複数の第３の画素領域３７を散乱光推定部３１０へと出力する。

散乱光推定部３１０は、方向推定部３１１と、大きさ推定部３１２とを備える。
方向推定部３１１は、第２の選択部３０５から複数の第３の画素領域３７を入力する。方向推定部３１１は、複数の第３の画素領域３７に基づいて散乱光の色の方向３５を推定する。方向推定部３１１は、推定した散乱光の色の方向３５を大きさ推定部３１２へと出力する。方向推定部３１１は、複数の第３の画素領域３７に対して前述の方向推定部２１１と同一または類似の処理を行うことによって、散乱光の色の方向３５を推定する。

大きさ推定部３１２は、第１の選択部１０３から複数の第２の画素領域１３を入力し、方向推定部３１１から散乱光の色の方向３５を入力する。大きさ推定部３１２は、散乱光の色の方向３５と複数の第２の画素領域１３とに基づいて、散乱光の色の大きさを推定する。大きさ推定部３１２は、推定した散乱光の色の大きさを散乱光の色の方向３５に乗算することによって散乱光の色３４を得る。大きさ推定部３１２は、散乱光の色３４を出力する。大きさ推定部３１２は、散乱光の色の方向３５及び複数の第２の画素領域１３に対して前述の大きさ推定部３１２と同一または類似の処理を行うことによって、散乱光の色の大きさを推定する。

以下、図６を参照して図５の画像処理装置によって行われる画像処理の一例を説明する。図６の画像処理が開始すると、ステップＳ１０１が行われる。尚、図６においてステップＳ１０１，Ｓ１０２，Ｓ１０３は図３のものと同じであるので詳細を省略する。
第２の信頼度算出部３０４は、ステップＳ１０３において選択された複数の第２の画素領域１３のうちの２以上を備える１以上の組み合わせの各々に対して第２の信頼度３６を算出する（ステップＳ３０４）。第２の選択部３０５は、上記１以上の組み合わせからステップＳ３０４において算出された第２の信頼度３６の高い１つの組み合わせを選択することによって、複数の第３の画素領域３７を得る（ステップＳ３０５）。

方向推定部３１１は、ステップＳ３０５において選択された複数の第３の画素領域３７に基づいて散乱光の色の方向３５を推定する（ステップＳ３１１）。大きさ推定部３１２は、ステップＳ１０３において選択された複数の第２の画素領域１３とステップＳ３１１において推定された散乱光の色の方向３５とに基づいて散乱光の色の大きさを推定し、推定した散乱光の色の大きさを散乱光の色の方向３５に乗じることによって散乱光の色３４を得る（ステップＳ３１２）。ステップＳ３１２が完了すると、図６の画像処理は終了する。

以下、第２の信頼度３６の詳細を説明する。典型的には、任意の組み合わせの第２の信頼度３６は、当該組み合わせに含まれる第２の画素領域１３の画素値分布を近似する推定平面の１以上のペアの直交度の総和（独立度と呼ぶこともできる）とすることができる。

尚、複数の第２の画素領域１３のうち２以上を備える組み合わせの総数は概して膨大である。従って、全ての組み合わせに対して第２の信頼度３６を算出することは実際上困難となるおそれがある。そこで、好ましくは、第２の信頼度算出部３０４は、例えば貪欲アルゴリズムなどを利用することによって、第２の信頼度３６の計算量を抑えつつ、妥当な組み合わせが複数の第３の画素領域３７として選択されることを可能とする。

第２の信頼度算出部３０４は、例えば下記数式（１３）に従って、２個の第２の画素領域１３（＝Ｒ_ｉ，Ｒ_ｊ）を備える１以上の組み合わせの各々に対して第２の信頼度３６を算出し、当該第２の信頼度３６を最大化するものを探索する。

数式（１３）において、ｖ^Ｒｉ _３，ｖ^Ｒｊ _３は、第２の画素領域１３（＝Ｒ_ｉ，Ｒ_ｊ）内の画素値分布の重み付き共分散行列Ｃの第３の主成分の固有ベクトルを表す。この第３の主成分の固有ベクトルは、第２の画素領域１３の推定平面の法線に相当する。また、Ｗ_１は、複数の第２の画素領域１３の集合を表す。尚、数式（１３）において、第２の画素領域１３の一方（＝Ｒ_ｉまたはＲ_ｊ）は、第１の信頼度１２が最大である１つの第２の画素領域１３に固定されてもよい。係る技法によれば、数式（１３）の計算量を低減できる。

続いて、第２の信頼度算出部３０４は、例えば下記数式（１４）に従って、第２の信頼度３６を最大化するｎ個（ｎ≧２）の第２の画素領域１３に更にもう１個の第２の画素領域１３を組み合わせた場合の第２の信頼度３６の増分を算出し、当該第２の信頼度３６の増分を最大化するものを更に探索する。即ち、第２の信頼度算出部３０４は、第２の信頼度３６の算出対象を絞り込みつつ、組み合わせに含まれる第２の画素領域１３の総数を２，３，・・・と増大させることができる。

数式（１４）において、Ｗ_２は、本アルゴリズムによって探索されたｎ個の第２の画素領域１３の集合である。即ち、集合Ｗ_２の要素の数は、２個、３個，・・・と逐次的に増大する。

第２の信頼度算出部３０４は、例えばｎが所定数に達した段階で第２の信頼度３６の算出を終了してもよいし、第２の信頼度３６が第２の閾値以上となった段階で第２の信頼度３６の算出を終了してもよい。また、第２の信頼度算出部３０４は、第２の信頼度３６の変化が予め定めたある一定値よりも小さくなった段階で第２の信頼度３６の算出を終了してもよい。

以上説明したように、第３の実施形態に係る画像処理装置は、２以上の第２の画素領域を備える１以上の組み合わせのうち推定平面同士の直交度の総和の高い組み合わせを複数の第３の画素領域として選択し、複数の第３の画素領域に基づいて散乱光の色の方向を推定する。従って、第３の実施形態に係る画像処理装置によれば、散乱光の色の方向の推定精度を向上できる。

尚、本実施形態に係る画像処理装置は、例えば図７に示されるものに変形されてもよい。図７の画像処理装置は、図５の画像処理装置における散乱光推定部３１０を散乱光推定部４１０に置き換えたものに相当する。散乱光推定部４１０は、方向推定部３１１と、大きさ推定部４１２とを含む。

大きさ推定部４１２は、第２の選択部３０５から複数の第３の画素領域３７を入力し、方向推定部３１１から散乱光の色の方向３５を入力する。大きさ推定部４１２は、散乱光の色の方向３５と複数の第３の画素領域３７とに基づいて、散乱光の色の大きさを推定する。大きさ推定部４１２は、推定した散乱光の色の大きさを散乱光の色の方向３５に乗算することによって散乱光の色４４を得る。大きさ推定部４１２は、散乱光の色４４を出力する。大きさ推定部４１２は、散乱光の色の方向３５及び複数の第３の画素領域３７に対して前述の大きさ推定部２１２，３１２と同一または類似の処理を行うことによって、散乱光の色の大きさを推定する。

上記各実施形態の処理は、汎用のコンピュータを基本ハードウェアとして用いることで実現可能である。上記各実施形態の処理を実現するプログラムは、コンピュータで読み取り可能な記憶媒体に格納して提供されてもよい。プログラムは、インストール可能な形式のファイルまたは実行可能な形式のファイルとして記憶媒体に記憶される。記憶媒体としては、磁気ディスク、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ等）、光磁気ディスク（ＭＯ等）、半導体メモリなどである。記憶媒体は、プログラムを記憶でき、かつ、コンピュータが読み取り可能であれば、何れであってもよい。また、上記各実施形態の処理を実現するプログラムを、インターネットなどのネットワークに接続されたコンピュータ（サーバ）上に格納し、ネットワーク経由でコンピュータ（クライアント）にダウンロードさせてもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０・・・入力画像
１１・・・第１の画素領域
１２・・・第１の信頼度
１３・・・第２の画素領域
１４，２４，３４，４４・・・散乱光の色
２５，３５・・・散乱光の色の方向
３６・・・第２の信頼度
３７・・・第３の画素領域
１０１・・・取得部
１０２・・・第１の信頼度算出部
１０３・・・第１の選択部
１１０，２１０，３１０，４１０・・・散乱光推定部
２１１，３１１・・・方向推定部
２１２，３１２，４１２・・・大きさ推定部
３０４・・・第２の信頼度算出部
３０５・・・第２の選択部

Claims (10)

1. 画像から複数の第１の画素領域を取得する取得部と、
   前記複数の第１の画素領域の各々に対して、（１）前記第１の画素領域内の画素値分布が色空間において平面的であるほど高い値を持つ第１の評価値と、（２）前記第１の画素領域内の前記画素値分布を前記色空間において近似する推定平面上で当該第１の画素領域内の画素値が広く分布しているほど高い値を持つ第２の評価値と、（３）前記推定平面と前記色空間の原点との間の距離が小さいほど高い値を持つ第３の評価値とのうち少なくとも１つの評価値が高いほど高くなるように第１の信頼度を算出する第１の算出部と、
   前記複数の第１の画素領域から前記第１の信頼度に基づいて複数の第２の画素領域を選択する第１の選択部と、
   前記複数の第２の画素領域に基づいて前記画像内の散乱光の色を推定する散乱光推定部と
   を具備する、画像処理装置。
2. 前記散乱光推定部は、
   前記複数の第２の画素領域に基づいて前記色空間における前記散乱光の色の方向を推定する方向推定部と、
   前記複数の第２の画素領域と前記散乱光の色の方向とに基づいて、前記画像内の散乱光の色の大きさを推定する大きさ推定部と
   を備える、請求項１の画像処理装置。
3. 前記複数の第２の画素領域のうちの２以上を備える１以上の組み合わせの各々に対して、当該組み合わせに含まれる第２の画素領域内の画素値分布を近似する推定平面の１以上のペアがなす角度の直交性を表す直交度の総和が大きいほど高くなるように第２の信頼度を算出する第２の算出部と、
   前記第２の信頼度に基づいて前記１以上の組み合わせから１つの組み合わせを選択することによって、複数の第３の画素領域を得る第２の選択部と
   を更に具備し、
   前記方向推定部は、前記複数の第３の画素領域に基づいて前記色空間における前記散乱光の色の方向を推定する、
   請求項２の画像処理装置。
4. 前記複数の第１の画素領域の各々は、注目画素と１以上の周辺画素とを含み、
   前記第１の算出部は、前記複数の第１の画素領域の各々に対して、前記注目画素からの色の差が小さいほど大きな重みを用いて前記１以上の周辺画素に重み付けを行い、重み付けされた画素値分布に基づいて前記第１の信頼度を算出する、
   請求項１乃至３のいずれか１項記載の画像処理装置。
5. 前記複数の第２の画素領域の各々は、注目画素と１以上の周辺画素とを含み、
   前記第２の算出部は、前記複数の第２の画素領域の各々に対して、前記注目画素からの色の差が小さいほど大きな重みを用いて前記１以上の周辺画素に重み付けを行い、重み付けされた画素値分布に基づいて前記第２の信頼度を算出する、
   請求項３の画像処理装置。
6. 前記散乱光推定部は、前記第１の信頼度が高いほど大きな重みを用いて前記複数の第２の画素領域に重み付けを行い、重み付けされた複数の第２の画素領域に基づいて前記散乱光の色を推定する、請求項１乃至５のいずれか１項記載の画像処理装置。
7. 前記方向推定部は、前記第１の信頼度が高いほど大きな重みを用いて前記複数の第２の画素領域に重み付けを行い、重み付けされた複数の第２の画素領域に基づいて前記散乱光の色の方向を推定する、請求項２の画像処理装置。
8. 前記散乱光推定部は、
   前記色空間における前記散乱光の色の方向を所定方向と推定する方向推定部と、
   前記複数の第２の画素領域と前記散乱光の色の方向とに基づいて、前記画像内の散乱光の色の大きさを推定する大きさ推定部と
   を備える、請求項１の画像処理装置。
9. 画像から複数の第１の画素領域を取得することと、
   前記複数の第１の画素領域の各々に対して、（１）前記第１の画素領域内の画素値分布が色空間において平面的であるほど高い値を持つ第１の評価値と、（２）前記第１の画素領域内の前記画素値分布を前記色空間において近似する推定平面上で当該第１の画素領域内の画素値が広く分布しているほど高い値を持つ第２の評価値と、（３）前記推定平面と前記色空間の原点との間の距離が小さいほど高い値を持つ第３の評価値とのうち少なくとも１つの評価値が高いほど高くなるように第１の信頼度を算出することと、
   前記複数の第１の画素領域から前記第１の信頼度に基づいて複数の第２の画素領域を選択することと、
   前記複数の第２の画素領域に基づいて前記画像内の散乱光の色を推定することと
   を具備する、画像処理方法。
10. コンピュータを、
    画像から複数の第１の画素領域を取得する手段、
    前記複数の第１の画素領域の各々に対して、（１）前記第１の画素領域内の画素値分布が色空間において平面的であるほど高い値を持つ第１の評価値と、（２）前記第１の画素領域内の前記画素値分布を前記色空間において近似する推定平面上で当該第１の画素領域内の画素値が広く分布しているほど高い値を持つ第２の評価値と、（３）前記推定平面と前記色空間の原点との間の距離が小さいほど高い値を持つ第３の評価値とのうち少なくとも１つの評価値が高いほど高くなるように第１の信頼度を算出する手段、
    前記複数の第１の画素領域から前記第１の信頼度に基づいて複数の第２の画素領域を選択する手段、
    前記複数の第２の画素領域に基づいて前記画像内の散乱光の色を推定する手段
    として機能させるための画像処理プログラム。

Images