JP2014078799A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】画像に含まれる散乱光の量を制御する。
【解決手段】実施形態によれば、画像処理装置は、散乱光取得部１０１と、制御情報取得部１０２と、制御部１０３とを備える。散乱光取得部１０１は、入力画像１０の各画素に含まれる散乱光１１の情報を取得する。制御情報取得部１０２は、出力画像１３の各画素に含まれる散乱光１１の量を決定付ける制御情報１２を取得する。制御部１０３は、入力画像１０の各画素に含まれる散乱光１１の量を制御情報１２に基づいて制御することによって、出力画像１３を生成する。
【選択図】図１

Description

実施形態は、画像内に含まれる散乱光の量の制御に関する。

通常、オブジェクトをカメラで撮影する場合に、当該オブジェクトからの反射光はカメラに届くまでに大気によって減衰及び散乱される。そして、カメラに到達する光は、オブジェクトからの反射光の成分と周囲の光が大気によって散乱された散乱光の成分とが混合されたものとなる。この散乱光の成分が原因で、カメラによる撮影画像に霞がかかることがある。撮影画像から散乱光の成分を除去（即ち、霞を除去）できれば、除去後の画像においてオブジェクトからの反射光の成分が忠実に復元されるので撮影画像の視認性を向上させることができる。しかしながら、撮影画像から散乱光の成分を除去するためには、撮影画像の散乱光の色を推定する必要がある。

更に、画素における散乱光の混合割合が高いほど、人間は当該画素の表すオブジェクトまでの距離を遠くに感じる。反対に、画素における散乱光の混合割合が低いほど人間は当該画素の表すオブジェクトまでの距離を近くに感じる。このような人間の視覚特性を考慮すると、撮影画像から散乱光の成分を一律に除去する画像処理は、当該撮影画像の奥行き感を劣化させるおそれがある。

米国特許出願公開第２０１０／０２５９６５１号明細書

Ｒ Ｆａｔｔａｌ，Ｓｉｎｇｌｅ Ｉｍａｇｅ Ｄｅｈａｚｉｎｇ"，ＡＣＭ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｇｒａｐｈｉｃｓ，ＳＩＧＧＲＡＰＨ， Ｖｏｌｕｍｅ ２７，Ｉｓｓｕｅ３，Ａｕｇｕｓｔ ２００８． Ｓｉｎｇｌｅ Ｉｍａｇｅ Ｈａｚｅ Ｒｅｍｏｖａｌ Ｕｓｉｎｇ Ｄａｒｋ Ｃｈａｎｎｅｌ Ｐｒｉｏｒ （２００９）

実施形態は、画像に含まれる散乱光の量を制御することを目的とする。

実施形態によれば、画像処理装置は、散乱光取得部と、制御情報取得部と、制御部とを備える。散乱光取得部は、入力画像の各画素に含まれる散乱光の情報を取得する。制御情報取得部は、出力画像の各画素に含まれる散乱光の量を決定付ける制御情報を取得する。制御部は、入力画像の各画素に含まれる散乱光の量を制御情報に基づいて制御することによって、出力画像を生成する。

第１の実施形態に係る画像処理装置を例示するブロック図。 図１の画像処理装置によって実行される画像処理を例示するフローチャート。 図１の散乱光取得部を例示するブロック図。 図３の散乱光取得部によって実行される散乱光取得処理を例示するフローチャート。 図４のステップＳ１０１−２の詳細を例示するフローチャート。 図２のステップＳ１０２の詳細を例示するフローチャート。 図２のステップＳ１０２において表示されるＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を例示する図。 第２の実施形態に係る画像処理装置を例示するブロック図。 図８の画像処理装置によって実行される画像処理を例示するフローチャート。 図９のステップＳ２０１の詳細を例示するフローチャート。 図９のステップＳ２０１において表示されるＧＵＩを例示する図。 制御情報マップの説明図。 第３の実施形態に係る画像処理装置を例示するブロック図。 図１３の変形例を示すブロック図。 図１３の画像処理装置によって実行される画像処理を例示するフローチャート。 図１５のステップＳ３０１の詳細を例示するフローチャート。 図１５のステップＳ３０２の詳細を例示するフローチャート。 図１５のステップＳ３０２において表示されるＧＵＩを例示する図。 図１５のステップＳ３０２において表示されるＧＵＩを例示する図。 図１５のステップＳ３０２において表示されるＧＵＩを例示する図。 図１７の変形例を示すフローチャート。 図１８の変形例を示す図。 図１９の変形例を示す図。 図２０の変形例を示す図。 図９のステップＳ２０１において領域間の境界線を指定するために利用可能なＧＵＩを例示する図。 図２５の変形例を示す図。

以下、図面を参照しながら実施形態の説明が述べられる。尚、以降、説明済みの要素と同一または類似の要素には同一または類似の符号が付され、重複する説明は基本的に省略される。

以降の説明において、色空間は、特に断りのない限り、ＲＧＢ空間であるものとする。しかしながら、ある種別の色空間を他の種別の色空間に変換することは一般に可能であるから、ＲＧＢ空間とは異なる種別の色空間がＲＧＢ空間の代わりに用いられてもよい。また、「散乱光の色」が単に「散乱光」と称されることもある。

（第１の実施形態）
図１に例示されるように、第１の実施形態に係る画像処理装置は、散乱光取得部１０１と、制御情報取得部１０２と、散乱光制御部１０３とを備える。図１の画像処理装置は、入力画像１０の各画素に含まれる散乱光１１の量を制御情報１２に基づいて制御することによって、出力画像１３を生成する。

散乱光取得部１０１は、入力画像１０を受け取り、当該入力画像１０の各画素に含まれる散乱光１１を取得する。尚、散乱光１１を取得するための技法の詳細は後述される。散乱光取得部１０１は、散乱光１１の情報を散乱光制御部１０３へと出力する。散乱光１１は、例えば太陽光、オブジェクトからの反射光などの光が、大気中に存在する微粒子によって散乱されるときに生じる光の色である。散乱光１１は、典型的には、霞または霧の色である。

入力画像１０の各画素は、オブジェクトからの反射光と、散乱光とが混合された色を持つ。一般に、視点（例えば、カメラによる撮影位置）からオブジェクトまでの距離が大きいほど、当該オブジェクトを表す画素における散乱光の混合割合は高い。換言すれば、視点からオブジェクトまでの距離が小さいほど、当該オブジェクトを表す画素における散乱光の混合割合は低い。

尚、散乱光１１は、空気中に限られず水中でも生じる。従って、例えば水中で撮影された入力画像１０においても、視点からオブジェクトまでの距離が大きくなるほど散乱光１１の混入割合は増大するので、当該オブジェクトを表す画素は散乱光１１に近い色（例えば、青色）を持つようになる。

制御情報取得部１０２は、制御情報１２を取得する。制御情報取得部１０２は、典型的には、図示されない表示装置に後述されるＧＵＩを表示し、当該ＧＵＩを通じてユーザー入力を取得し、当該ユーザー入力に基づいて制御情報１２を取得する。制御情報取得部１０２は、制御情報１２を散乱光制御部１０３へと出力する。

散乱光制御部１０３は、入力画像１０を受け取り、散乱光取得部１０１から当該入力画像１０の各画素に含まれる散乱光１１の情報を入力し、制御情報取得部１０２から制御情報１２を入力する。散乱光制御部１０３は、制御情報１２に基づいて、入力画像１０の各画素に含まれる散乱光１１の量を制御することによって、出力画像１３を生成する。散乱光制御部１０３は、出力画像１３を図示されない後段の処理部または装置に供給する。

以下、図２を参照して図１の画像処理装置によって行われる画像処理の一例を説明する。図２の画像処理が開始すると、散乱光取得部１０１は入力画像１０の各画素に含まれる散乱光１１を取得する（ステップＳ１０１）。尚、ステップＳ１０１の詳細は、図３及び図４を用いて後述される。

制御情報取得部１０２は、例えばユーザー入力に基づいて制御情報１２を取得する（ステップＳ１０２）。ここで、ステップＳ１０１とステップＳ１０２とは、独立した処理であるので、図２に示されていない順序で実行されてもよい。尚、ステップＳ１０２の詳細は、図６を用いて後述される。

散乱光制御部１０３は、ステップＳ１０１において取得された入力画像１０の各画素に含まれる散乱光１１の量をステップＳ１０２において取得された制御情報１２に基づいて制御することによって、出力画像１３を生成する（ステップＳ１０３）。

以下、図２のステップＳ１０１の詳細が説明される。散乱光取得部１０１は、ステップＳ１０１において例えば図４に示される散乱光取得処理を実行してもよい。係る場合に、散乱光取得部１０１は、図３に例示されるように、取得部１１１と、第１の信頼度算出部１１２と、第１の選択部１１３と、第２の信頼度算出部１１４と、第２の選択部１１５と、散乱光推定部１２０とを備えてよい。

取得部１１１は、入力画像１０から複数の第１の画素領域１４を取得する。取得部１１１は、複数の第１の画素領域１４を第１の信頼度算出部１１２及び第１の選択部１１３へと出力する。

第１の画素領域１４は、例えば入力画像１０をブロック状に分割することによって得られる領域であってもよい。以降の説明において、第１の画素領域１４は、入力画像１０をブロック状に分割することによって得られる領域とする。或いは、第１の画素領域１４は、例えば入力画像１０の１以上のオブジェクトの各々を分割することによって得られる領域であってもよい。

第１の画素領域１４は、複数の画素を備える。これら複数の画素は、必ずしも空間的に連続していなくてもよい。但し、一般的に反射光の色はオブジェクト毎に異なるので、第１の画素領域１４に含まれるオブジェクトの総数は小さいことが好ましい。例えば、取得部１１１は、入力画像１０を水平方向または垂直方向に縮小し、縮小された入力画像１０をブロック状に分割したり、縮小された入力画像１０の１以上のオブジェクトの各々を分割したりすることによって複数の第１の画素領域１４を取得してもよい。

第１の信頼度算出部１１２は、複数の第１の画素領域１４を取得部１１１から入力する。第１の信頼度算出部１１２は、複数の第１の画素領域１４の各々に対して第１の信頼度１５を算出する。第１の信頼度算出部１１２は、複数の第１の信頼度１５を第１の選択部１１３へと出力する。

第１の信頼度１５は、後述される入力画像１０の散乱光の色１４の推定における第１の画素領域１４の信頼性を評価するものである。即ち、第１の信頼度１５が高い第１の画素領域１４を用いることによって、散乱光の推定精度を向上させることができる。第１の信頼度１５の詳細は後述される。

第１の選択部１１３は、取得部１１１から複数の第１の画素領域１４を入力し、第１の信頼度算出部１１２から複数の第１の信頼度１５を入力する。第１の選択部１１３は、複数の第１の画素領域１４から第１の信頼度１５の高いものを選択することによって、複数の第２の画素領域１６を得る。第１の選択部１１３は、複数の第２の画素領域１６を第２の信頼度算出部１１４、第２の選択部１１５及び散乱光推定部１２０へと出力する。

具体的には、第１の選択部１１３は、複数の第１の画素領域１４から第１の信頼度１５が第１の閾値以上であるものを選択することによって、複数の第２の画素領域１６を得ることができる。或いは、第１の選択部１１３は、第１の信頼度１５の降順に所定個数（但し、２以上）の第１の画素領域１４を選択することによって、複数の第２の画素領域１６を得ることもできる。

第２の信頼度算出部１１４は、第１の選択部１１３から複数の第２の画素領域１６を入力する。第２の信頼度算出部１１４は、複数の第２の画素領域１６のうち２以上を備える１以上の組み合わせの各々に対して、第２の信頼度１７を算出する。具体的には、第２の信頼度算出部１１４は、組み合わせに含まれる第２の画素領域１６の画素値分布を近似する推定平面の１以上のペアがなす角度の直交性を表す直交度の総和（独立度と呼ぶこともできる）が大きいほど高くなるように第２の信頼度１７を算出する。尚、第２の信頼度の詳細は後述される。第２の信頼度算出部１１４は、１以上の第２の信頼度１７を第２の選択部１１５へと出力する。但し、後述されるように、第２の信頼度算出部１１４は、必ずしも全ての組み合わせについて第２の信頼度１７を算出しない。

第２の選択部１１５は、第１の選択部１１３から複数の第２の画素領域１６を入力し、第２の信頼度算出部１１４から１以上の第２の信頼度１７を入力する。第２の選択部１１５は、２以上の第２の画素領域１６を備える１以上の組み合わせから第２の信頼度１７の高い１つの組み合わせを選択することによって、複数の第３の画素領域１８を得る。具体的には、第２の選択部１１５は、１以上の組み合わせから第２の信頼度１７が最高であるものを選択することによって、複数の第３の画素領域１８を得ることができる。第２の選択部１１５は、複数の第３の画素領域１８を散乱光推定部１２０へと出力する。

散乱光推定部１２０は、第１の選択部１１３から複数の第２の画素領域１６を入力し、第２の選択部１１５から複数の第３の画素領域１８を入力する。散乱光推定部１２０は、複数の第２の画素領域１６及び複数の第３の画素領域１８に基づいて入力画像１０の各画素に含まれる散乱光１１を推定する。

具体的には、所与の画素領域がオブジェクトの局所的な均一反射面に対応しており、当該所与の画素領域においてオブジェクトからの反射光の明るさ及び散乱光の混入する量が画素間で異なることのみに起因して画素値の差が生じていると仮定される。この仮定によれば、所与の画素領域における任意の画素値は、オブジェクトからの反射光の色と散乱光１１とのαブレンドによって決まる。即ち、所与の画素領域における任意の画素値は、色空間において反射光の色のベクトルと散乱光１１のベクトルとの線形和によって形成される理想平面上の一点を占める。そして、前述の通り、散乱光１１は入力画像１０内で一様である。故に、散乱光１１のベクトルと、相異なる画素領域における相異なる反射光の色のベクトルとの線形和が形成する相異なる理想平面同士の交線は、散乱光１１のベクトルを示す。散乱光推定部１２０は、係る仮定の下で、散乱光１１を推定することができる。

尚、散乱光推定部１２０は、複数の第２の画素領域１６を入力せずに、複数の第３の画素領域１８に基づいて散乱光１１を推定してもよい。係る場合には、第１の選択部１１３は複数の第２の画素領域１６を散乱光推定部１２０へ出力しない。また、散乱光推定部１２０は、複数の第３の画素領域１８を入力せずに、複数の第２の画素領域１６に基づいて散乱光１１を推定してもよい。係る場合には、第２の信頼度算出部１１４及び第２の選択部１１５は不要である。

散乱光推定部１２０は、図３に例示されるように、方向推定部１２１と、大きさ推定部１２２とを備えてもよい。
方向推定部１２１は、第２の選択部１１５から複数の第３の画素領域１８を入力する。方向推定部１２１は、複数の第３の画素領域１８に基づいて散乱光の色の方向１９を推定する。方向推定部１２１は、推定した散乱光の色の方向１９を大きさ推定部１２２へと出力する。

大きさ推定部１２２は、第１の選択部１１３から複数の第２の画素領域１６を入力し、方向推定部１２１から散乱光の色の方向１９を入力する。大きさ推定部１２２は、散乱光の色の方向１９と複数の第２の画素領域１６とに基づいて、散乱光の色の大きさを推定する。大きさ推定部１２２は、推定した散乱光の色の大きさを散乱光の色の方向１９に乗算することによって散乱光１１を得る。大きさ推定部１２２は、散乱光１１の情報を出力する。

尚、大きさ推定部１２２は、複数の第２の画素領域１６の代わりに複数の第３の画素領域１８を第２の選択部１１５から入力し、当該複数の第３の画素領域１８に基づいて散乱光の色の大きさを推定してもよい。係る場合には、第１の選択部１１３は、複数の第２の画素領域１６を大きさ推定部１２２へ出力しない。

以下、図４を参照して図３の散乱光取得部によって行われる散乱光取得処理の一例を説明する。図４の散乱光取得処理が開始すると、ステップＳ１０１−１が行われる。
ステップＳ１０１−１において、取得部１１１は、入力画像１０から複数の第１の画素領域１４を取得する。第１の信頼度算出部１１２は、ステップＳ１０１−１において取得された複数の第１の画素領域１４の各々に対して第１の信頼度１５を算出する（ステップＳ１０１−２）。

第１の選択部１１３はステップＳ１０１−１において取得された複数の第１の画素領域１４からステップＳ１０１−２において算出された第１の信頼度１５の高いものを選択し、複数の第２の画素領域１６を得る（ステップＳ１０１−３）。

第２の信頼度算出部１１４は、ステップＳ１０１−３において選択された複数の第２の画素領域１６のうちの２以上を備える１以上の組み合わせの各々に対して第２の信頼度１７を算出する（ステップＳ１０１−４）。第２の選択部１１５は、上記１以上の組み合わせからステップＳ１０１−４において算出された第２の信頼度１７の高い１つの組み合わせを選択することによって、複数の第３の画素領域１８を得る（ステップＳ１０１−５）。

方向推定部１２２は、ステップＳ１０１−５において選択された複数の第３の画素領域１８に基づいて散乱光の色の方向１９を推定する（ステップＳ１０１−６）。大きさ推定部１２２は、ステップＳ１０１−３において選択された複数の第２の画素領域１６とステップＳ１０１−６において推定された散乱光の色の方向１９とに基づいて散乱光の色の大きさを推定し、推定した散乱光の色の大きさを散乱光の色の方向１９に乗じることによって散乱光１１を得る（ステップＳ１０１−７）。ステップＳ１０１−７が完了すると、図４の散乱光取得処理は終了する。

図４のステップＳ１０１−２は、複数の第１の画素領域１４の各々に対して例えば図５に示される第１の信頼度算出処理を行うことによって実現される。図５の第１の信頼度算出処理が開始すると、ステップＳ１０１−２−１が行われる。

ステップＳ１０１−２−１において、第１の信頼度算出部１１２は、第１の画素領域１４内の各画素の重みｗ（ｘ）を算出する。ここで、ｘは、各画素を特定する位置ベクトルであり、例えば入力画像１０内で画素が占める座標によって表すことができる。また、画素ｘの画素値は、Ｉ（ｘ）＝（Ｉ_１（ｘ），Ｉ_２（ｘ），Ｉ_３（ｘ））^ｔによって表すことができる。Ｉ（ｘ）は、３次元ベクトルであり、画素ｘのＲＧＢ値を要素として持つ。重みｗ（ｘ）は、後述される注目画素ｘ_ｃと画素ｘとの間の色の差ｄ（ｘ_ｃ，ｘ）が小さいほど、大きくなるように算出される。

注目画素ｘ_ｃは、第１の画素領域１４内の複数の画素のうちのいずれか１つである。注目画素ｘ_ｃは、例えば第１の画素領域１４内の特定の位置（例えば中心位置）を占める画素であってよいし、第１の画素領域１４内の平均画素値に最も近い画素であってもよい。或いは、注目画素ｘ_ｃは、位置及び画素値のいずれにも基づかないで第１の画素領域１４から任意に選択されてもよい。以降の説明では、注目画素ｘ_ｃは、第１の画素領域１４内の中心位置を占める画素とする。

注目画素ｘ_ｃとそれ以外の周辺画素ｘ’との間の色の差ｄ（ｘ_ｃ，ｘ’）は下記数式（１）によって導出できる。尚、注目画素ｘ_ｃと注目画素ｘ_ｃとの間の色の差ｄ（ｘ_ｃ，ｘ_ｃ）は、０とみなすことができる。

数式（１）において、Ｕ（ｘ）は画素値Ｉ（ｘ）のＹＵＶ色空間におけるＵ成分を表し、Ｖ（ｘ）は画素値Ｉ（ｘ）のＹＵＶ色空間におけるＶ成分を表す。数式（１）から明らかなように、色の差ｄ（ｘ_ｃ，ｘ’）は、注目画素ｘ_ｃの色と周辺画素ｘ’の色とが近いほど小さな値となる。

重みｗ（ｘ）は、例えば下記数式（２）によって、注目画素ｘ_ｃと画素ｘとの間の色の差ｄ（ｘ_ｃ，ｘ）が小さいほど、大きくなるように算出される。

数式（２）において、σ_θは定数である。数式（２）によって算出される重みｗ（ｘ）は０以上１以下である。

第１の信頼度算出部１１２は、ステップＳ１０１−２−１において算出した重みｗ（ｘ）を用いて、第１の画素領域１４内の画素値分布の共分散行列Ｃを算出する（ステップＳ１０１−２−２）。第１の信頼度算出部１１２は、共分散行列Ｃの第ｉ行第ｊ列の要素Ｃ_ｉｊを下記数式（３）によって算出できる。

前述の通り色空間としてＲＧＢ空間が想定されているので、数式（３）においてｉ，ｊ＝１，２，３である。Ｒは、第１の画素領域１４を表す。ｎは、第１の画素領域１４（＝Ｒ）内で個々の画素を識別するインデックスであり、１からＮまでの連続する自然数を取り得る。即ち、Ｎは、第１の画素領域１４（＝Ｒ）内の画素の総数を表す。ｘ_ｎは、ｎによって識別される画素の位置ベクトルを表す。ｘ_ｎｐは、画素値Ｉ（ｘ_ｎ）の第ｐ番目の要素である。ｐ＝１，２，３である。数式（３）によれば、注目画素ｘ_ｃと色の近い画素ほど共分散行列Ｃへの寄与が大きいので、この共分散行列Ｃは均一反射面を近似する効果がある。具体的には、第１の画素領域１４において均一反射面以外の色、ノイズなどが混入している場合があるが、係る混入の影響が前述の重み付けによって緩和される。

第１の信頼度算出部１１２は、ステップＳ１０１−２−２において算出した共分散行列Ｃの主成分分析を行う（ステップＳ１０１−２−３）。具体的には、第１の信頼度算出部１１２は、共分散行列Ｃの第１の主成分の固有ベクトル及び固有値と、第２の主成分の固有ベクトル及び固有値と、第３の主成分の固有ベクトル及び固有値とを算出する。

第１の信頼度算出部１１２は、ステップＳ１０１−２−３において行った主成分分析の結果に基づいて、第１の画素領域１４に対する第１の信頼度１５を算出する（ステップＳ１０１−２−４）。ステップＳ１０１−２−４が完了すると、第１の画素領域１４に対する第１の信頼度算出処理が終了する。以下、第１の信頼度１５の詳細を説明する。

第１の画素領域１４がオブジェクトの局所的な均一反射面に対応しており、第１の画素領域１４においてオブジェクトからの反射光の明るさ及び散乱光の混入する量が画素間で異なることのみに起因して画素値の差が生じていると仮定する。この仮定が成立しているならば、第１の画素領域１４内の任意の画素値は、色空間において反射光の色のベクトルと散乱光１１のベクトルとの線形和によって形成される理想平面上の一点を占める。そして、第１の画素領域１４内の画素値は、いずれも上記理想平面上に分布する。換言すれば、理論上は、第１の画素領域１４内の画素値が分布する平面を推定することによって、第１の画素領域１４の理想平面を第１の画素領域１４の推定平面として間接的に導出できる。第１の画素領域１４（＝Ｒ）の推定平面は、ステップＳ１０１−２−３における主成分分析の結果のうち第１の主成分の固有ベクトルｖ^Ｒ _１と、第２の主成分の固有ベクトルｖ^Ｒ _２との線形和によって形成される平面であるとする。

しかしながら、第１の画素領域１４がオブジェクトの局所的な均一反射面に対応していなかったり画素値にノイズが付加されたりすると、上記仮定に合致しない要因によって画素値が変動する。故に、第１の画素領域１４内の画素値は上記理想平面上に必ずしも分布せず、第１の画素領域１４の推定平面は第１の画素領域１４の理想平面とは必ずしも一致しない。

ここで、散乱光１１は、理論上は相異なる理想平面に基づいて推定されるが、実際上は相異なる推定平面に基づいて推定する必要がある。即ち、理想平面との差異が大きい推定平面（即ち、精度の低い推定平面）を利用することは、散乱光１１の推定精度を劣化させるおそれがある。故に、散乱光１１の推定における第１の画素領域１４の信頼性（即ち、第１の画素領域１４の推定平面の精度の高さ）を算出することが、散乱光１１の推定精度の向上に寄与する。

第１の信頼度１５は、主に以下の３つの評価基準の一部または全部に基づいて算出される。
第１の評価基準は、第１の画素領域１４内の画素値分布が色空間においてどの程度平面的であるか、である。第１の画素領域１４内の画素値分布が色空間において平面的であるほど（換言すれば、第１の画素領域１４内の画素値が色空間における任意の平面に近いほど）、第１の画素領域１４の信頼性は高いと評価できる。第１の評価基準に対する評価値をｅ_０とする。評価値ｅ_０が高いほど、第１の画素領域１４内の画素値分布が色空間において平面的である。ｅ_０は、平面度と呼ぶこともできる。評価値ｅ_０は、ステップＳ１０１−２−３における主成分分析の結果のうち第３の主成分の固有値に基づいて算出できる。

第２の評価基準は、第１の画素領域１４の推定平面上で第１の画素領域１４内の画素値がどの程度広く分布しているか、である。第１の画素領域１４の推定平面上で第１の画素領域１４内の画素値が広く分布しているほど、第１の画素領域１４の信頼性は高いと評価できる。第２の評価基準に対する評価値をｅ_１とする。評価値ｅ_１が高いほど、第１の画素領域１４の推定平面上で第１の画素領域１４内の画素値が広く分布している。ｅ_１は、平面分散度と呼ぶこともできる。評価値ｅ_１は、ステップＳ１０１−２−３における主成分分析の結果のうち第１の主成分の固有値及び第２の主成分の固有値に基づいて算出できる。例えば、評価値ｅ_１は、第１の主成分の固有値と第２の主成分の固有値との和が大きいほど高い値となるように算出されてよい。或いは、評価値ｅ_１は、第２の主成分の固有値のみに基づいて算出されてもよい。

第３の評価基準は、第１の画素領域１４の推定平面と色空間の原点との間の距離はどの程度であるか、である。散乱光１１のベクトルと第１の画素領域１４における反射光の色のベクトルとはいずれも色空間における原点を通るので、これらによって形成される理想平面もまた原点を通る。故に、第１の画素領域１４の推定平面と色空間の原点との間の距離が短いほど、第１の画素領域１４の信頼性は高いと評価できる。第３の評価基準に対する評価値をｅ_２とする。評価値ｅ_２が高いほど、第１の画素領域１４の推定平面と色空間の原点との間の距離が短い。

第１の信頼度算出部１１２は、下記数式（４）に従って、第１の画素領域１４（＝Ｒ）の第１の信頼度１５（＝Ｅ１（Ｒ））を算出する。

数式（４）において、ｗ_０，ｗ_１，ｗ_２は、夫々、０以上１以下の値を取り得る重みを表す。但し、重みｗ_０，ｗ_１，ｗ_２のうち少なくとも１つは、０より大きな値を取るものとする。換言すれば、第１の信頼度算出部１１２は、評価値ｅ_０，ｅ_１，ｅ_２のうち少なくとも１つの評価値が高くなるほど高くなるように第１の画素領域１４（＝Ｒ）の第１の信頼度１５（＝Ｅ１（Ｒ））を算出する。数式（４）以外にも、例えば評価値ｅ_０，ｅ_１，ｅ_２のうち少なくとも２つの積によって第１の信頼度１５（＝Ｅ１（Ｒ））が算出されてもよい。

前述の通り、第１の選択部１１３は、複数の第１の画素領域１４から第１の信頼度１５の高いものを選択することによって、複数の第２の画素領域１６を得る。即ち、複数の第１の画素領域１４のうち散乱光１１の推定において信頼性が高いと評価されたものが、複数の第２の画素領域１６として選別される。そして、散乱光推定部１２０は、係る複数の第２の画素領域１６を利用するので、散乱光１１を高精度に推定することができるといえる。

以下、ステップＳ１０１−４において算出される第２の信頼度１７の詳細を説明する。典型的には、任意の組み合わせの第２の信頼度１７は、当該組み合わせに含まれる第２の画素領域１６の画素値分布を近似する推定平面の１以上のペアの直交度の総和（独立度と呼ぶこともできる）とすることができる。

尚、複数の第２の画素領域１６のうち２以上を備える組み合わせの総数は概して膨大である。従って、全ての組み合わせに対して第２の信頼度１７を算出することは実際上困難となるおそれがある。そこで、好ましくは、第２の信頼度算出部１１４は、例えば貪欲アルゴリズムなどを利用することによって、第２の信頼度１７の計算量を抑えつつ、妥当な組み合わせが複数の第３の画素領域１８として選択されることを可能とする。

第２の信頼度算出部１１４は、例えば下記数式（５）に従って、２個の第２の画素領域１６（＝Ｒ_ｉ，Ｒ_ｊ）を備える１以上の組み合わせの各々に対して第２の信頼度１７を算出し、当該第２の信頼度１７を最大化するものを探索する。

数式（５）において、ｖ^Ｒｉ _３，ｖ^Ｒｊ _３は、第２の画素領域１６（＝Ｒ_ｉ，Ｒ_ｊ）内の画素値分布の重み付き共分散行列Ｃの第３の主成分の固有ベクトルを表す。この第３の主成分の固有ベクトルは、第２の画素領域１６の推定平面の法線に相当する。また、Ｗ_１は、複数の第２の画素領域１６の集合を表す。尚、数式（５）において、第２の画素領域１６の一方（＝Ｒ_ｉまたはＲ_ｊ）は、第１の信頼度１５が最大である１つの第２の画素領域１６に固定されてもよい。係る技法によれば、数式（５）の計算量を低減できる。

続いて、第２の信頼度算出部１１４は、例えば下記数式（６）に従って、第２の信頼度１７を最大化するｎ個（ｎ≧２）の第２の画素領域１６に更にもう１個の第２の画素領域１６を組み合わせた場合の第２の信頼度１７の増分を算出し、当該第２の信頼度１７の増分を最大化するものを更に探索する。即ち、第２の信頼度算出部１１４は、第２の信頼度１７の算出対象を絞り込みつつ、組み合わせに含まれる第２の画素領域１６の総数を２，３，・・・と増大させることができる。

数式（６）において、Ｗ_２は、本アルゴリズムによって探索されたｎ個の第２の画素領域１６の集合である。即ち、集合Ｗ_２の要素の数は、２個、３個，・・・と逐次的に増大する。

第２の信頼度算出部１１４は、例えばｎが所定数に達した段階で第２の信頼度１７の算出を終了してもよいし、第２の信頼度１７が第２の閾値以上となった段階で第２の信頼度１７の算出を終了してもよい。また、第２の信頼度算出部１１４は、第２の信頼度１７の変化が予め定めたある一定値よりも小さくなった段階で第２の信頼度１７の算出を終了してもよい。

ステップＳ１０１−６において、散乱光の色の方向１９を推定するには、複数の第２の画素領域１６の推定平面を導出する必要がある。即ち、前述の第１の信頼度算出部１１２と同様に、複数の第２の画素領域１６の各々について、重みｗ（ｘ）を算出し（ステップＳ１０１−２−１と同様）、重み付き共分散行列Ｃを算出し（ステップＳ１０１−２−２と同様）、主成分分析を行う（ステップＳ１０１−２−３と同様）必要がある。尚、方向推定部１２１は、第１の信頼度算出部１１２とは独立して上記処理を行ってもよいし、第１の信頼度算出部１１２による処理結果を再利用してもよい。

第２の画素領域１６（＝Ｒ）の推定平面は、当該第２の画素領域１６（＝Ｒ）の重み付き共分散行列Ｃの第１の主成分の固有ベクトルｖ^Ｒ _１及び第２の主成分の固有ベクトルｖ^Ｒ _２の線形和によって形成される。理想的には、複数の第２の画素領域１６の推定平面の各々は、散乱光１１のベクトルを含んでいる。即ち、相異なる第２の画素領域１６の推定平面同士の交線は、散乱光１１のベクトルを表す。

故に、方向推定部１２１は、例えば、下記数式（７）によって、散乱光の色の方向１９を表すベクトルＡ_ｄを推定できる。

数式（７）は、複数の第２の画素領域１６の推定平面の各々に投影された場合の大きさの総和が最大となるベクトルＡ_ｄを示す。尚、実際上は、方向推定部１２１は、下記数式（８）に示される３行３列の行列の第１の主成分の固有ベクトルを算出することによって、数式（７）のベクトルＡ_ｄを導出する。

或いは、方向推定部１２１は、前述の数式（７）−（８）などの計算に基づかないで、色空間における所定の方向を散乱光の色の方向１９として推定してもよい。尚、この場合には、方向推定部１２１は複数の第２の画素領域１６を入力する必要はない。

例えば入力画像１０が白昼に撮影されたものであれば、散乱光１１はミー散乱によって白色（黒以外の無彩色）に近くなると予想できる。故に、方向推定部１２１は、ＲＧＢ空間において（１，１，１）と同じ方向の大きさ＝１のベクトルを散乱光の色の方向１９として推定してもよい。

入力画像１０が夕焼けを撮影したものであれば、散乱光は赤色に近くなると予想できる。故に、方向推定部１２１は、ＲＧＢ空間においてベクトル（１，０，０）を散乱光の色の方向１９として推定してもよい。入力画像１０が水中で撮影されたものであれば、散乱光は青色に近くなると予想できる。故に、方向推定部１２１は、ＲＧＢ空間においてベクトル（０，０，１）を散乱光の色の方向１９として推定してもよい。

或いは、入力画像１０において、例えば、最も霞んでいる領域の画素値、空を表す領域の画素値、地平線付近を表す領域の画素値などを手動でまたは自動的に検出することによって、散乱光の色の方向１９が推定されてもよい。

ステップＳ１０１−７において、大きさ推定部１２２は以下のように散乱光の色の大きさを推定できる。前述の通り、複数の第２の画素領域１６の各々は、均一反射面に対応すると仮定される。故に、任意の第２の画素領域１６において、任意の画素値Ｉ（ｘ）は、下記の数式（９）によって表すことができる。尚、任意の第２の画素領域１６の反射光の色のベクトルをＪとし、散乱光１１のベクトルをＡとする。また、散乱光の色の大きさをαとすれば、Ａ＝αＡ_ｄである。

数式（９）において、ｔ（ｘ）は、画素ｘにおける散乱光の混入する量に影響するパラメータ（０以上１以下）を表し、透過率とも呼ばれる。ｌ（ｘ）は画素ｘにおける反射光の明るさの変化に影響するパラメータ（０以上１以下）である。ここで、パラメータｌ（ｘ）Ｊ及びｔ（ｘ）は、無相関とみなすことができる。故に、大きさ推定部１２２は、パラメータｌ（ｘ）Ｊ及びｔ（ｘ）の共分散Ｃ（ｌ（ｘ）Ｊ，ｔ（ｘ））の絶対値を最小化するαを導出することによって散乱光の色の大きさを推定できる。

例えば、大きさ推定部１２２は、任意の第２の画素領域１６（＝Ｒ）についてαを一定幅で変動させて共分散Ｃ（ｌ（ｘ），ｔ（ｘ））の最小値を探索できる。具体的には、大きさ推定部１２２は、αを初期値α_１と設定し、散乱光１１のベクトルＡ＝α_１Ａ_ｄと設定する。大きさ推定部１２２は、この散乱光１１のベクトルＡ＝α_１Ａ_ｄに基づいて、共分散Ｃ（ｌ（ｘ）Ｊ，ｔ（ｘ））の値Ｃ_１を後に示す数式（１８）と、以下の数式（１０）を用いて導出する。

大きさ推定部１２２は、α_２，α_３，・・・についても同様に共分散Ｃ（ｌ（ｘ）Ｊ，ｔ（ｘ））の値Ｃ_２、Ｃ_３・・・を導出できる。

そして、大きさ推定部１２２は、これらＣ_１，Ｃ_２，Ｃ_３，・・・の中から最小値Ｃ_ｉを探索し、これに対応するα_ｉを上記第２の画素領域１６（＝Ｒ）に基づく散乱光の色の大きさα_Ｒとして推定できる。即ち、第２の画素領域１６（＝Ｒ）に基づく散乱光１１のベクトルＡ_Ｒ＝α_ＲＡ_ｄとなる。尚、推定された散乱光の色の大きさ（＝α_Ｒ）は、第２の画素領域１６毎に異なる可能性がある。散乱光１１は入力画像１０内で一様であると仮定されているので、大きさ推定部１２２は例えば下記数式（１１）によって入力画像１０の散乱光１１のベクトルＡ_ｉの大きさを推定してもよい。

数式（１１）において、Ｎ_Ｒは、散乱光の色の大きさを推定するために利用された画素領域（例えば、第２の画素領域１６）の総数を表す。数式（１１）によれば、大きさ推定部１２２は、第２の画素領域１６毎に推定した散乱光の色の大きさα_Ｒの算術平均を入力画像１０の散乱光１１のベクトルＡ_ｉの大きさとして推定する。

制御情報取得部１０２は、前述のステップＳ１０２において、例えば図６に示される制御情報取得処理を実行してもよい。図６の制御情報取得処理が開始すると、ステップＳ１０２−１が行われる。

ステップＳ１０２−１において、制御情報取得部１０２は、図示されない表示装置に例えば図７に示されるＧＵＩ５００を表示させる。ＧＵＩ５００は、上記表示装置の画面全体に表示されてもよいし、上記表示装置の画面の一部または全部を占めるウィンドウ上に表示されてもよい。ＧＵＩ５００の詳細は後述される。

制御情報取得部１０２は、ステップＳ１０２−１において表示したＧＵＩを通じてユーザー入力を取得する（ステップＳ１０２−２）。制御情報取得部１０２は、ステップＳ１０２−２において取得したユーザー入力に基づいて制御情報１２を取得する（ステップＳ１０２−３）。

ＧＵＩ５００は、入力画像表示領域５０１と、出力画像表示領域５０２と、スライドバー５０３と、スライダ５０４とを含む。入力画像表示領域５０１には、例えば入力画像１０そのものが表示されてもよいし、入力画像１０に対して縮小または拡大、色空間の変換などを施したものが表示されてもよい。

出力画像表示領域５０２には、現行のユーザー入力に対応する制御情報１２の暫定値に基づいて生成される出力画像１３そのものが表示されてもよいし、当該出力画像１３に対して縮小または拡大、色空間の変換などを施したものが表示されてもよい。尚、出力画像１３は、制御情報１２の暫定値に基づいて散乱光制御部１０３によって生成されてから制御情報取得部１０２に供給されてもよいし、上記暫定値に基づいて制御情報取得部１０２によって直接的に生成されてもよい。入力画像表示領域５０１及び出力画像表示領域５０２を同一のインタフェースに設けることによって、ユーザーは容易に最終的な出力画像１３を確認しながら制御情報１２を微調整することができる。

スライダ５０４は、ユーザー入力（例えば、クリック、タッチ、ドラッグなど）に応じてスライドバー５０３上を移動する。スライダ５０４の位置情報は、制御情報１２に対応付けられている。故に、制御情報取得部１０２は、スライダ５０４の位置情報に基づいて制御情報１２を導出できる。

図７の例において、制御情報１２は、例えば入力画像１０における各画素の透過率に対する出力画像１３における対応画素の透過率の比である。入力画像１０の任意の画素値Ｉ（ｘ）は、下記数式（１２）によって表すことができる。

尚、数式（１２）において、Ｊ（ｘ）は、画素ｘにおける反射光のベクトルを表しており、上記数式（９）におけるｌ（ｘ）Ｊに等しい。出力画像１３の画素ｘの透過率をｔ’（ｘ）とすれば、入力画像１０の各画素における透過率に対する出力画像１３の対応画素における透過率の比は下記数式（１３）によって表すことができる。尚、出力画像１３の画素ｘにおける透過率ｔ’（ｘ）は０以上１以下の値なので、制御情報ｒ（ｘ）は、０以上の値である。また、本実施形態においてｒ（ｘ）はｘによらず一定であるが、例えば第２の実施形態において説明されるようにｒ（ｘ）はｘによって変化してもよい。

上記数式（１２）及び数式（１３）によれば、出力画像１３の任意の画素値Ｉ（ｘ）は、下記数式（１４）によって表すことができる。

数式（１３）及び数式（１４）によれば、制御情報ｒ（ｘ）が１より小さい場合に、出力画像１３の画素ｘにおける透過率ｔ’（ｘ）は入力画像１０の画素ｘにおける透過率ｔ（ｘ）より小さくなる。即ち、入力画像１０の画素ｘよりも出力画像１３の画素ｘにおける散乱光１１の混合割合が増大するので、散乱光が付加（或いは、強調）された出力画像１３が生成される。

制御情報ｒ（ｘ）が１より大きい場合に、出力画像１３の画素ｘにおける透過率ｔ’（ｘ）は入力画像１０の画素ｘにおける透過率ｔ（ｘ）より大きくなる。即ち、入力画像１０の画素ｘよりも出力画像１３の画素ｘにおける散乱光１１の混合割合が減少するので、散乱光が除去（或いは、抑圧）された出力画像１３が生成される。

制御情報ｒ（ｘ）が１の場合に、出力画像１３の画素ｘにおける透過率ｔ’（ｘ）は入力画像１０の画素ｘにおける透過率ｔ（ｘ）と等しくなる。即ち、散乱光が維持された出力画像１３（即ち、入力画像１０そのもの）が生成される。

数式（１３）から明らかなように、制御情報ｒ（ｘ）によれば、入力画像１０の画素ｘにおける透過率ｔ（ｘ）が未知であっても、出力画像１３の画素ｘの透過率ｔ’（ｘ）をｒ（ｘ）ｔ（ｘ）に一致するように制御することができる。即ち、透過率ｔ（ｘ）の計算が不要であるから、出力画像１３を小さな計算量で生成することができる。

ＧＵＩ５００において、前述のように、ユーザー入力を取得するためにスライドバー５０３及びスライダ５０４が用意された。スライドバー５０３は、図７に例示されるように、制御情報１２の設定値そのものを示すラベル（例えば、「０」、「１」など）と共に表示されてもよいし、「散乱光付加」、「散乱光維持」、「散乱光除去」などの出力画像１３に与えられる効果を示すラベルと共に表示されてもよい。

ＧＵＩ５００において、スライドバー５０３及びスライダ５０４とは異なる種別のＧＵＩ部品が用意されてもよい。
例えば、制御情報１２に設定される値を指定するための複数のボタンがＧＵＩ５００において用意されてもよい。ここで、これら複数のボタンの各々は制御情報１２に設定される何らかの値に対応付けられている。故に、制御情報取得部１０２はユーザー入力（例えば、クリックまたはタッチによるボタン選択）に基づいて制御情報１２を取得できる。ボタンは、「０．５」，「１．０」，「２．０」などの制御情報１２への設定値そのものを示すラベルと共に表示されてもよいし、「散乱光付加」、「散乱光維持」、「散乱光除去」などの出力画像１３に与えられる効果を示すラベルと共に表示されてもよい。

また、制御情報１２を段階的に増加または減少させるための複数のボタンがＧＵＩ５００において用意されてもよい。ここで、これら複数のボタンの各々は制御情報１２の暫定値に対する何らか増減値に対応付けられている。故に、制御情報取得部１０２は制御情報１２の暫定値を保持しておき、ユーザー入力に基づいて当該暫定値を更新することによって最新の制御情報１２を取得できる。

また、例えば、制御情報１２への設定値を直接的に入力するためのボックスがＧＵＩ５００において用意されてもよい。ユーザー入力を取得するために、複数の種別のＧＵＩ部品の組み合わせがＧＵＩ５００において用意されてもよい。

以上説明したように、第１の実施形態に係る画像処理装置は、入力画像に対する制御情報を取得し、当該制御情報に基づいて入力画像の各画素に含まれる散乱光の量を調整することによって出力画像を生成する。従って、この画像処理装置によれば、入力画像を基準に散乱光の量を抑圧、維持または強調する画像処理のいずれかを選択して適用できるので、出力画像の奥行き感を目的に応じて調整することが可能となる。

（第２の実施形態）
図８に例示されるように、第２の実施形態に係る画像処理装置は、散乱光取得部１０１と、領域情報取得部２０１と、制御情報取得部２１０と、散乱光制御部２２０とを備える。図８の画像処理装置は、入力画像１０の各画素に含まれる散乱光１１の量を制御情報２２に基づいて制御することによって、出力画像２３を生成する。

領域情報取得部２０１は、領域情報２０を取得する。領域情報２０は、入力画像１０を分割することによって得られる複数の領域を特定する。領域情報取得部２０１は、典型的には、図示されない表示装置に後述されるＧＵＩを表示し、当該ＧＵＩを通じてユーザー入力を取得し、当該ユーザー入力に基づいて領域情報２０を取得する。

制御情報取得部２１０は、領域情報取得部２０１から領域情報２０を入力する。制御情報取得部２１０は、領域情報２０に基づいて制御情報２２を取得する。制御情報２１０は、制御情報２２を散乱光制御部２２０へと出力する。制御情報取得部２１０は、領域制御情報取得部２１１と、統合部２１２とを備える。

領域制御情報取得部２１１は、領域情報取得部２０１から領域情報２０を入力する。領域制御情報取得部２１１は、領域情報２０によって特定される複数の領域の各々に対する領域制御情報２１を取得する。

領域制御情報２１は、例えば第１の実施形態における制御情報１２と同一または類似であってよい。具体的には、領域制御情報２１は、入力画像１０の注目領域内の各画素における透過率に対する出力画像２３の対応画素における透過率の比であってよい。但し、前述の第１の実施形態において制御情報１２は入力画像１０の全体で画素の位置によらず一定であるが、領域制御情報２１は入力画像１０の対応する領域内で画素の位置によらず一定である。尚、ある領域に対する領域制御情報２１は、他の領域に対する領域制御情報２１と同一であってもよい。

領域制御情報取得部２１１は、前述の制御情報取得部１０２と同一または類似の処理によって、領域制御情報２１を取得してもよい。領域制御情報取得部２１１は、複数の領域に対する領域制御情報２１のセットを統合部２１２へと出力する。

統合部２１２は、領域制御情報取得部２１１から領域制御情報２１のセットを入力する。統合部２１２は、領域制御情報２１のセットを統合することによって、制御情報２２を生成する。

散乱光制御部２２０は、入力画像１０を受け取り、散乱光取得部１０１から当該入力画像１０の各画素に含まれる散乱光１１の情報を入力し、制御情報取得部１０２から制御情報２２を入力する。尚、散乱光制御部２２０は、必要に応じて、例えば、入力画像１０の各画素が属する領域を特定するための情報、各領域に属する画素を特定する情報などを更に入力してもよい。散乱光制御部２２０は、制御情報２２に基づいて、入力画像１０の各画素に含まれる散乱光１１の量を制御することによって、出力画像２３を生成する。

以下、図９を参照して図８の画像処理装置によって行われる画像処理の一例を説明する。図９の画像処理が開始すると、ステップＳ１０１が行われる。尚、図９においてステップＳ１０１は図２のものと同じであるので詳細は省略される。

領域情報取得部２０１は、例えばユーザー入力に基づいて入力画像１０の領域情報２０を取得する（ステップＳ２０１）。ここで、ステップＳ１０１と、ステップＳ２０１及びステップＳ２０２とは独立した処理であるので、図９に示されていない順序で実行されてもよい。但し、ステップＳ２０２は、ステップＳ２０１よりも後に実行される必要がある。

制御情報取得部２１０は、ステップＳ２０１において取得された領域情報２０に基づいて制御情報２２を取得する（ステップＳ２０２）。散乱光制御部２２０は、ステップＳ１０１において取得された入力画像１０の各画素に含まれる散乱光１１の量をステップＳ２０１において取得された制御情報２２に基づいて制御することによって、出力画像２３を生成する（ステップＳ２０３）。

前述のステップＳ２０１の詳細は、図１０に例示されている。領域情報取得部２０１は、例えば図１１に示されるＧＵＩ６００を図示されない表示装置に表示させる（ステップＳ２０１−１）。ＧＵＩ６００は、上記表示装置の画面全体に表示されてもよいし、上記表示装置の画面の一部または全部を占めるウィンドウ上に表示されてもよい。

ＧＵＩ６００は、入力画像表示領域６０１と、ボックス６０２とを含む。入力画像表示領域６０１は、例えば入力画像１０そのものが表示されてもよいし、入力画像１０に対して縮小または拡大、色空間の変換などを施したものが表示されてもよい。ボックス６０２を通じて、ユーザーは所望の領域数を入力できる。

ユーザーがボックス６０２に所望の領域数を入力すると、領域情報取得部２０１はボックスに入力された領域数を取得する（ステップＳ２０１−２）。図１１の例によれば、「３」がボックス６０２に入力されているので、入力画像１０は３つの領域に分割されることになる。

ユーザーは、ボックス６０２を通じて領域数を入力してから、入力画像表示領域６０１を操作することによって、複数の領域を指定できる。そして、領域情報取得部２０１は、ユーザー入力に基づいて領域情報２０を取得する（ステップＳ２０１−３）。

具体的には、ユーザーは領域間の境界線を指定してもよい。例えば、ユーザーは、入力画像表示領域６０１内で所望の線に沿ってドラッグしたり、所望の線が通る２以上の点をクリックまたはタッチしたりすることによって、領域間の境界線を指定できる。領域情報２０は、例えば、各領域を特定する座標情報、各境界線を特定する座標情報などを含んでもよい。

或いは、境界線を指定するために、図２５及び図２６に例示されるＧＵＩが利用されてもよい。図２５のＧＵＩは、入力画像表示領域９００と、スライドバー９０１と、スライダ９０２と、境界線９０３とを含む。入力画像表示領域９００には、例えば入力画像１０そのものが表示されてもよいし、入力画像１０に対して縮小または拡大、色空間の変換などを施したものが表示されてもよい。

スライダ９０２は、ユーザー入力（例えば、クリック、タッチ、ドラッグなど）に応じてスライドバー９０１上を移動する。スライダ９０２の位置情報は、境界線９０３の位置情報に対応付けられている。故に、領域情報取得部２０１は、スライダ９０２の位置情報に基づいて境界線９０３の位置情報を取得できる。境界線９０３は、水平軸に平行な直線であり、そのｙ座標がスライダ９０２の位置情報によって一意に決定される。尚、境界線９０３の位置情報が決定された後に、当該境界線９０３の形状が更なるユーザー入力に基づいて変更されてもよい。

また、スライドバー９０１及びスライダ９０２を用意する代わりに、入力画像表示領域９００の１つの画素をユーザー入力（例えば、クリック、タッチなど）に基づいて特定し、当該画素を通る境界線９０３を取得することも可能である。

図２６のＧＵＩは、入力画像表示領域１０００と、スライドバー１００１と、スライダ１００２と、境界線１００３とを含む。入力画像表示領域１０００には、例えば入力画像１０そのものが表示されてもよいし、入力画像１０に対して縮小または拡大、色空間の変換などを施したものが表示されてもよい。

スライダ１００２は、ユーザー入力（例えば、クリック、タッチ、ドラッグなど）に応じてスライドバー１００１上を移動する。スライダ１００１の位置情報は、境界線１００３の位置情報に対応付けられている。故に、領域情報取得部２０１は、スライダ１００１の位置情報に基づいて境界線１００３の位置情報を取得できる。境界線１００３は、入力画像１０の指定された奥行（または透過率）を持つ画素を結ぶ曲線または直線であり、当該指定された奥行（または透過率）がスライダ１００１の位置情報によって一意に決定される。尚、境界線１００３の位置情報が決定された後に、当該境界線１００３の形状が更なるユーザー入力に基づいて変更されてもよい。

また、スライドバー１００１及びスライダ１００２を用意する代わりに、入力画像表示領域１０００の１つの画素をユーザー入力（例えば、クリック、タッチなど）に基づいて特定し、当該画素を通る境界線１００３を取得することも可能である。

更に、領域間を容易に区別するために、領域情報２０は各領域に付与されたインデックスを含んでもよい。インデックスは、ユーザー入力に基づいて付与されてもよいし、領域情報取得部２０１によって自動的に付与されてもよい。例えば、連続番号の形式でインデックスが付与される場合に、ユーザーが領域を１つずつ選択すれば、選択された順に各領域に番号を割り当てることができる。図１１の例では、連続番号の形式でインデックスＲが付与されている。

尚、ユーザーは、無作為に領域を選択してもよいし、視点から領域内のオブジェクトまでの距離が大きい順に（即ち、近景から遠景に向かって）領域を選択してもよいし、視点から領域内のオブジェクトまでの距離が小さい順に（即ち、遠景から近景に向かって）領域を選択してもよい。

ステップＳ２０２において、具体的には、領域制御情報取得部２１１が領域情報２０に基づいて複数の領域に対する領域制御情報２１のセットを取得し、統合部２１２が領域制御情報２１のセットを統合することによって制御情報２２を生成する。

領域制御情報取得部２１１は、前述の制御情報取得部１０２と同一または類似の処理によって、複数の領域の各々に対して領域制御情報２１を取得してもよい。或いは、領域制御情報取得部２１１は、一部の領域に対して取得された領域制御情報２１に基づいて他の領域に対する領域制御情報２１を計算してもよい。

例えば、視点から領域内のオブジェクトまでの距離（即ち、奥行）が大きいほど透過率は低いという性質があるので、領域制御情報取得部２１１は奥行の大きさに応じて領域制御情報２１を計算してもよい。即ち、領域制御情報取得部２１１は、奥行が大きいほど透過率は低いという性質を利用して、領域Ａに対して取得された領域制御情報２１を領域Ａと領域Ｂとの間の奥行の差分に応じて増減させることによって、領域Ｂに対する領域制御情報２１を計算してもよい。

例えば、入力画像１０が３つの領域Ω_１，Ω_２及びΩ_３に分割され、領域Ω_１に対して領域制御情報ｒ_１が取得され、領域Ω_２に対して領域制御情報ｒ_２が取得され、領域Ω_３に対して領域制御情報ｒ_３が取得されたとする。この場合に、統合部２１２は、例えば下記数式（１５）に示されるように、これら領域制御情報ｒ_１，ｒ_２及びｒ_３を制御情報ｒ（ｘ）へと統合してもよい。

或いは、統合部２１２は、図１２に例示される制御情報マップの形式で制御情報２２を取得してもよい。制御情報マップによれば、画素の位置と制御情報２２とが対応付けられる。

以上説明したように、第２の実施形態に係る画像処理装置は、入力画像を複数の領域に分割し、各領域に対して領域制御情報を取得し、当該領域制御情報に基づいて各画素に含まれる散乱光の量を調整することによって出力画像を生成する。従って、この画像処理装置によれば、画像全体ではなく領域単位で散乱光の量を調整することができる。例えば、遠景領域において散乱光を付加する一方、近景領域において散乱光を除去するなどの高度な画像処理を適用できるので、出力画像の奥行き感をより細かく調整することが可能となる。

（第３の実施形態）
図１３に例示されるように、第３の実施形態に係る画像処理装置は、散乱光取得部１０１と、透過率取得部３０１と、制御情報取得部３０２と、散乱光制御部３０３とを備える。図１３の画像処理装置は、入力画像１０の各画素に含まれる散乱光１１の量を制御情報２５に基づいて制御することによって、出力画像２６を生成する。

透過率取得部３０１は、入力画像１０を受け取り、散乱光取得部１０１から散乱光１１の情報を入力する。透過率取得部３０１は、典型的には、入力画像１０及び散乱光１１に基づいて、入力画像１０の各画素における透過率２４を取得する。透過率取得部３０１は、例えば、入力画像１０の局所領域内の画素値の分布を解析することによって、当該局所領域内の各画素における透過率２４を取得してもよい。或いは、透過率取得部３０１は、後述されるように、入力画像１０の各画素における奥行に基づいて透過率２４を取得してもよい。係る場合に、透過率取得部３０１は、散乱光１１の情報を入力しなくてもよい。透過率取得部３０１は、透過率２４の情報を制御情報取得部３０２へと出力する。

制御情報取得部３０２は、透過率取得部３０１から透過率２４の情報を入力する。制御情報取得部３０２は、透過率２４との間に対応関係を持つ制御情報２５を取得する。制御情報取得部３０２は、典型的には、図示されない表示装置に後述されるＧＵＩを表示し、当該ＧＵＩを通じてユーザー入力を取得し、当該ユーザー入力に基づいて制御情報２５を取得する。制御情報取得部３０２は、制御情報２５を散乱光制御部３０３へと出力する。

散乱光制御部３０３は、入力画像１０を受け取り、散乱光取得部１０１から当該入力画像１０の各画素に含まれる散乱光１１の情報を入力し、制御情報取得部３０２から制御情報２５を入力する。尚、散乱光制御部３０３は、必要に応じて、例えば、透過率２４の情報などを更に入力してもよい。散乱光制御部３０３は、制御情報２５に基づいて、入力画像１０の各画素に含まれる散乱光１１の量を制御することによって、出力画像２６を生成する。

以下、図１５を参照して図１３の画像処理装置によって行われる画像処理の一例を説明する。図１５の画像処理が開始すると、散乱光取得部１０１は入力画像１０の各画素に含まれる散乱光１１を取得する（ステップＳ１０１）。尚、図１５においてステップＳ１０１は図２のものと同じであるので詳細は省略される。

透過率取得部３０１は、入力画像１０の各画素における透過率２４を取得する（ステップＳ３０１）。ここで、透過率取得部３０１が散乱光１１に基づいて透過率２４を取得する場合には、ステップＳ３０１はステップＳ１０１の後に実行されなければならない。しかしながら、透過率取得部３０１が散乱光１１に基づかないで（例えば、奥行に基づいて）透過率２４を取得する場合には、ステップＳ１０１とステップＳ３０１及びステップＳ３０２とは独立した処理であるので図１５に示されていない順序で実行されてもよい。

制御情報取得部３０２は、ステップＳ３０１において取得された透過率２４との間に対応関係を持つ制御情報２５を取得する（ステップＳ３０２）。散乱光制御部３０３は、ステップＳ１０１において取得された入力画像１０の各画素に含まれる散乱光１１の量をステップＳ３０２において取得された制御情報２５に基づいて制御することによって、出力画像２６を生成する（ステップＳ３０３）。

前述のステップＳ３０１の詳細は、図１６に例示されている。透過率取得部３０１は、入力画像１０を複数の局所領域へと分割する（ステップＳ３０１−１）。この局所領域は、前述の第１の画素領域１４と同一または類似の技法によって得ることができる。

透過率取得部３０１は、各局所領域内の画素の値を散乱光１１と同じ方向の成分と散乱光１１と直交する方向の成分とに分解する（ステップＳ３０１−２）。透過率取得部３０１は、例えば下記数式（１６）及び数式（１７）に従って、画素値の成分を分解する。

数式（１７）において、Ｉ_Ａ（ｘ）は画素値Ｉ（ｘ）のうち散乱光１１と同じ方向の成分を表し、Ｉ_Ｒ’（ｘ）は画素値Ｉ（ｘ）のうち散乱光１１と直交する方向の成分を表す。

透過率取得部３０１は、ステップＳ３０１−２において分解された成分を用いて透過率２４を算出する（ステップＳ３０１−３）。透過率取得部３０１は、例えば下記数式（１８）に従って、透過率２４を算出する。

数式（１８）のうち、η（ｘ）は、画素ｘにおける反射光ベクトルJ（ｘ）のうち散乱光１１と同じ方向の成分と、散乱光１１と直交する方向の成分との比を表す変数である。η（ｘ）を用いることによって、画素値Ｉ（ｘ）の散乱光１１と同じ方向の成分を、J（ｘ）に起因する成分（η（ｘ）Ｉ_Ｒ（ｘ））と散乱光１１の影響に起因する成分（Ｉ_Ａ（ｘ）−η（ｘ）Ｉ_Ｒ（ｘ））とに分離することが可能となる。η（ｘ）は、下記数式（１９）によって計算される。

数式（１９）のうちΩ’は画素ｘとその周辺画素とからなる局所領域を表す。Ｃ_Ω’（ａ（ｘ），ｂ（ｘ））は、局所領域Ω’内の画素ｘについての変数ａ（ｘ）及び変数ｂ（ｘ）の共分散を表す。ｈ（ｘ）は下記数式（２１）によって計算される。

或いは、奥行と透過率との間には相関があるので、透過率取得部３０１は係る相関を利用して透過率２４を取得してもよい。具体的には、下記数式（２１）に例示されるように、奥行に基づいて透過率２４を算出してもよい。数式（２１）によれば、透過率２４の計算量を削減することができる。

数式（２１）において、ｄ（ｘ）は画素ｘにおける奥行を表す。即ち、ｄ（ｘ）が大きいほど、視点から画素ｘの表すオブジェクトまでの距離が大きいことを意味する。ｄ（ｘ）はユーザー入力に基づいて取得されてもよいし、入力画像１０の解析を通じて自動取得されてもよい。βは、単位距離あたりでの光の散乱の程度を示す正数である。βは、入力画像１０の撮影環境に応じて定められてもよい。例えば、空気の澄んだ環境で撮影された入力画像１０に対して小さな値を持つβが適用され、そうでない環境で撮影された入力画像１０に対して大きな値を持つβが適用されてもよい。

奥行ｄ（ｘ）または透過率ｔ（ｘ）を取得するために、下記数式（２２）が利用されてもよい。

数式（２２）において、Ｉ^ｒにはＩ（ｘ）のｒ値が代入され、Ｉ^ｇにはＩ（ｘ）のｇ値が代入され、Ｉ^ｂにはＩ（ｘ）のｂ値が代入される。Ｓ（ｘ）は、画素ｘを中心とする局所領域である。非特許文献２によれば、画素ｘにおける散乱光の混合割合が高ければＩ^ｄａｒｋ（ｘ）は大きな値となり、画素ｘにおける散乱光の混合割合が低ければＩ^ｄａｒｋ（ｘ）は小さな値となる。

故に、Ｉ^ｄａｒｋ（ｘ）またはこれに何らかの計算を施した値を前述の奥行ｄ（ｘ）として、上記数式（２１）を計算することによって透過率ｔ（ｘ）を導出することができる。また、Ｉ^ｄａｒｋ（ｘ）から直接的に透過率ｔ（ｘ）を算出することも可能であるが、透過率ｔ（ｘ）は０以上１以下の値なので、Ｉ^ｄａｒｋ（ｘ）を少なくとも正規化することが必要である。

前述のステップＳ３０２の詳細は、図１７に例示されている。制御情報取得部３０２は、ＧＵＩを図示されない表示装置に表示させる（ステップＳ３０２−１）。制御情報取得部３０２は、ステップＳ３０２−１において表示したＧＵＩを通じてユーザー入力を取得する（ステップＳ３０２−２）。制御情報取得部３０２は、ステップＳ３０２−２において取得したユーザー入力に基づいて、透過率２４と制御情報２５との間の対応関係を取得する（ステップＳ３０２−３）。制御情報取得部３０２は、透過率２４とステップＳ３０２−３において取得した対応関係とに基づいて制御情報２５を取得する（ステップＳ３０２−４）。

ステップＳ３０２−１において、制御情報取得部３０２は、図１８のＧＵＩ７００を表示してもよい。ＧＵＩ７００は、入力画像表示領域７０１と、透過率画像表示領域７０２と、出力画像表示領域７０３と、対応関係表示領域７０４とを含む。入力画像表示領域７０１には、例えば入力画像１０そのものが表示されてもよいし、入力画像１０に対して縮小または拡大、色空間の変換などを施したものが表示されてもよい。

透過率画像表示領域７０２には、入力画像１０の各画素における透過率２４を表す透過率画像が表示される。透過率画像は、例えば入力画像１０の各画素における透過率２４を階調値に変換することによって生成されたものであってもよい。透過率画像を表示することによって、ユーザーは制御情報２５を微調整するときに入力画像１０の透過率の分布を視覚的に確認することができる。

出力画像表示領域７０３には、現行のユーザー入力に対応する制御情報２５の暫定値に基づいて生成される出力画像２６そのものが表示されてもよいし、当該出力画像２６に対して縮小または拡大、色空間の変換などを施したものが表示されてもよい。尚、出力画像２６は、制御情報２５の暫定値に基づいて散乱光制御部３０３によって生成されてから制御情報取得部３０２に供給されてもよいし、上記暫定値に基づいて制御情報取得部３０２によって直接的に生成されてもよい。入力画像表示領域７０１及び出力画像表示領域７０３を同一のインタフェースにおいて用意することによって、ユーザーは容易に最終的な出力画像２６を確認しながら制御情報２５を微調整することができる。

対応関係表示領域７０４には、透過率２４と制御情報２５との間の対応関係が表示される。図１８において、ｒ（ｘ）＝ｔ（ｘ）という対応関係が描かれている。後述されるように、この対応関係は、ステップＳ３０２−２において取得されるユーザー入力に応じて変化する。

例えば、図１９に示されるように、対応関係を表す線上の点を選択するユーザー入力（例えば、クリック、タッチなど）が取得された場合に、この点の位置に変曲点７０５が設定されてもよい。変曲点７０５よりも右側の対応関係は曲線７０６によって定められ、変曲点７０５よりも左側の対応関係は曲線７０７によって定められる。曲線７０６及び曲線７０７の性質は、自動的に決定されてもよいし、ユーザー入力に基づいて決定されてもよい。尚、２以上の変曲点が設定されてもよい。

例えば、図２０に示されるように、ユーザーが１以上の点を設定するユーザー入力（例えば、クリック、タッチなど）が取得された場合に、設定点７０８を通る曲線または直線によって対応関係が定められてよい。この場合に、対応関係を表す曲線または直線は、設定点７０８を例えばスプライン関数などを用いて補間することによって、取得することができる。

或いは、ステップＳ３０２は、図１７の代わりに図２１に例示されるように、実行されてもよい。図２１によれば、制御情報取得部３０２は、入力画像１０と、透過率２４と制御情報２５との間の対応関係を定める関数とを例えばＧＵＩを通じてユーザーに提示する（ステップＳ３０２−５）。上記関数は、例えば下記数式（２３）に示される２次関数であってよい。

制御情報取得部３０２は、デフォルトのパラメータが設定された場合の上記関数のグラフをユーザーに提示してもよいし、関数を特定する数式をユーザーに提示してもよい。

制御情報取得部３０２は、関数のパラメータを指定するユーザー入力を取得する（ステップＳ３０２−６）。例えば、関数が上記数式（２３）に示されるものであれば、そのパラメータは係数ａ，ｂ，ｃの一部または全部である。ステップＳ３０２−６におけるユーザー入力は、例えばボックスなどを通じて関数のパラメータを直接的に指定するものであってもよいし、提示されたグラフに対する例えばドラッグなどの変形操作であってもよい。

制御情報取得部３０２は、ステップＳ３０２−６において取得したユーザー入力に基づいて関数を決定することによって、制御情報２５を取得する（ステップＳ３０２−７）。

尚、制御情報２５は、例えば、ユーザー入力に基づいて取得された入力画像１０の各画素の透過率ｔ（ｘ）と出力画像１３の対応画素における透過率ｔ’（ｘ）との間の対応関係と、上記数式（１３）とに基づいて算出されてもよい。

係る場合には、図１８、図１９及び図２０に示されるＧＵＩ７００は、図２２、図２３及び図２４に示されるＧＵＩ８００として変形されてよい。図２２、図２３及び図２４に示される入力画像表示領域８０１、透過率画像表示領域８０２、出力画像表示領域８０３、対応関係表示領域８０４、変曲点８０５、曲線８０６、曲線８０７及び設定点８０８は、図１８、図１９及び図２０に示される入力画像表示領域７０１、透過率画像表示領域７０２、出力画像表示領域７０３、対応関係表示領域７０４、変曲点７０５、曲線７０６、曲線７０７及び設定点７０８と夫々対応する。

但し、対応関係表示領域８０４には、対応関係表示領域７０４とは異なり、透過率ｔ（ｘ）と透過率ｔ’（ｘ）との間の対応関係が表示され、当該対応関係がユーザー入力に応じて変化する。制御情報２５は、上記対応関係と数式（１３）とに基づいて算出される。

また、ユーザー入力に対応する関数のパラメータを取得することによって、出力画像１３の各画素における透過率ｔ’（ｘ）を取得することも可能である。係る場合にも、制御情報取得部３０２は、図２１に例示されるように動作すればよい。但し、上記関数は、透過率ｔ（ｘ）と透過率ｔ’（ｘ）との間の対応関係を表すので、例えば下記数式（２４）に示されるものに置き換えられる必要がある。

以上説明したように、第３の実施形態に係る画像処理装置は、透過率との間で対応関係を持つ制御情報を取得し、当該制御情報に基づいて各画素に含まれる散乱光の量を調整することによって出力画像を生成する。従って、この画像処理装置によれば、制御情報を詳細に指定することができる。即ち、出力画像の奥行き感をより細かく調整することが可能となる。

尚、出力画像の任意の２画素間における透過率の大小関係が入力画像の対応する２画素間における透過率の大小関係に対して反転するような制御情報が取得されると、出力画像において奥行の逆転が生じるので観者に違和感を与えるおそれがある。故に、出力画像の任意の２画素間における透過率の大小関係が入力画像の対応する２画素間における透過率の大小関係に対して反転しないような制御情報が取得されることが好ましい。

尚、本実施形態において、前述の第２の実施形態が組み合わせられてもよい。例えば、入力画像１０を分割することによって得られる複数の領域の各々について、図１５のステップＳ３０２の処理が実行されてもよい。

また、前述のように、奥行と透過率との間には相関がある。故に、透過率との間で対応関係を持つ制御情報ではなく奥行との間で対応関係を持つ制御情報を利用するように、本実施形態を変形することも可能である。図１４の画像処理装置は、散乱光取得部１０１と、奥行情報取得部４０１と、制御情報取得部４０２と、散乱光制御部４０３とを備える。

奥行情報取得部４０１は、入力画像１０を受け取る。奥行情報取得部４０１は、入力画像１０の各画素における奥行２７をユーザー入力に基づいて取得してもよいし、入力画像１０の解析を通じて自動的に取得してもよい。奥行情報取得部４０１は、奥行２７の情報制御情報取得部４０２へと出力する。

制御情報取得部４０２は、奥行情報取得部４０１から奥行２７の情報を入力する。制御情報取得部４０２は、奥行２７との間で対応関係を持つ制御情報２８を取得する。制御情報取得部４０２は、制御情報取得部３０２と類似の処理によって、制御情報２８を取得できる。具体的には、制御情報取得部４０２によって行われる処理は、前述の制御情報取得部３０２によって行われる処理のうち透過率２４を奥行２７に置き換え、かつ、制御情報２５を制御情報２８に置き換えたものに相当する。制御情報取得部４０２は、制御情報２８を散乱光制御部４０３へと出力する。

散乱光制御部４０３は、入力画像１０を受け取り、散乱光取得部１０１から当該入力画像１０の各画素に含まれる散乱光１１の情報を入力し、制御情報取得部４０２から制御情報２８を入力する。尚、散乱光制御部４０３は、必要に応じて、例えば、奥行２７の情報などを更に入力してもよい。散乱光制御部４０３は、制御情報２８に基づいて、入力画像１０の各画素に含まれる散乱光１１の量を制御することによって、出力画像２９を生成する。

更に、透過率とも奥行きとも異なるパラメータ（例えば、画素の位置）との間で対応関係を持つ制御情報を利用することも可能である。例えば、各画素に対して例えばｒ（ｘ）、ｔ’（ｘ）などの制御情報が直接的に設定されてもよい。

（第４の実施形態）
前述の第１乃至第３の実施形態において説明された種々の情報の一部または全部は、ユーザー入力に基づかないで自動的に取得されてもよい。

例えば、制御情報取得部１０２及び２１０は、制御情報１２及び２２として予め用意された値を取得してもよい。また、制御情報取得部３０２及び領域情報取得部４０２は、予め用意された対応関係に従って制御情報２５及び制御情報２８を取得してもよい。

また、領域情報取得部２０１は、領域情報２０を予め用意しておいてもよいし、入力画像１０の各画素における奥行または透過率に対して閾値処理を施すことによって、領域情報２０を取得してもよい。例えば、領域情報取得部２０１は、ある閾値未満の奥行を持つ画素からなる領域と、当該閾値以上の奥行を持つ画素からなる領域とを特定する領域情報２０を取得してもよい。

以上説明したように、第４の実施形態に係る画像処理装置は、第１乃至第３の実施形態に係る画像理装置においてユーザー入力に基づいて取得される情報の一部または全部を、ユーザー入力に基づかないで自動取得する。従って、この画像処理装置によれば、ユーザーの入力負担を軽減しながら出力画像の奥行き感を調整することができる。

上記各実施形態の処理は、汎用のコンピュータを基本ハードウェアとして用いることで実現可能である。上記各実施形態の処理を実現するプログラムは、コンピュータで読み取り可能な記憶媒体に格納して提供されてもよい。プログラムは、インストール可能な形式のファイルまたは実行可能な形式のファイルとして記憶媒体に記憶される。記憶媒体としては、磁気ディスク、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ等）、光磁気ディスク（ＭＯ等）、半導体メモリなどである。記憶媒体は、プログラムを記憶でき、かつ、コンピュータが読み取り可能であれば、何れであってもよい。また、上記各実施形態の処理を実現するプログラムを、インターネットなどのネットワークに接続されたコンピュータ（サーバ）上に格納し、ネットワーク経由でコンピュータ（クライアント）にダウンロードさせてもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０・・・入力画像
１１・・・散乱光
１２，２２，２５，２８・・・制御情報
１３，２３，２６，２９・・・出力画像
１４・・・第１の画素領域
１５・・・第１の信頼度
１６・・・第２の画素領域
１７・・・第２の信頼度
１８・・・第３の画素領域
１９・・・散乱光の色の方向
２０・・・領域情報
２１・・・領域制御情報
２４・・・透過率
２７・・・奥行
１０１・・・散乱光取得部
１０２，２１０，３０２，４０２・・・制御情報取得部
１０３，２２０，３０３，４０３・・・散乱光制御部
１１１・・・取得部
１１２・・・第１の信頼度算出部
１１３・・・第１の選択部
１１４・・・第２の信頼度算出部
１１５・・・第２の選択部
１２０・・・散乱光推定部
１２１・・・方向推定部
１２２・・・大きさ推定部
２０１・・・領域情報取得部
２１１・・・領域制御情報取得部
２１２・・・統合部
３０１・・・透過率取得部
４０１・・・奥行情報取得部
５００，６００，７００，８００・・・ＧＵＩ
５０１，６０１，７０１，８０１，９００，１０００・・・入力画像表示領域
５０２，７０３，８０３・・・出力画像表示領域
５０３，９０１，１００１・・・スライドバー
５０４，９０２，１００２・・・スライダ
６０２・・・ボックス
７０２，８０２・・・透過率画像表示領域
７０４，８０４・・・対応関係表示領域
７０５，８０５・・・変曲点
７０６，７０７，８０６，８０７・・・曲線
７０８，８０８・・・設定点
９０３，１００３・・・境界線

Claims (13)

1. 入力画像の各画素に含まれる散乱光の情報を取得する散乱光取得部と、
   出力画像の各画素に含まれる散乱光の量を決定付ける制御情報を取得する制御情報取得部と、
   前記入力画像の各画素に含まれる散乱光の量を前記制御情報に基づいて制御することによって、前記出力画像を生成する制御部と
   を具備する、画像処理装置。
2. 前記制御情報取得部は、ユーザー入力に基づいて前記制御情報を取得する、請求項１の画像処理装置。
3. 前記入力画像の各画素における透過率の情報を取得する透過率取得部を更に具備し、
   前記制御情報取得部は、ユーザー入力に基づいて前記透過率と前記制御情報との間の対応関係を取得し、前記透過率及び前記対応関係に基づいて前記制御情報を取得する、
   請求項２の画像処理装置。
4. 前記入力画像の各画素における奥行の情報を取得する奥行取得部を更に具備し、
   前記制御情報取得部は、ユーザー入力に基づいて前記奥行と前記制御情報との間の対応関係を取得し、前記奥行及び前記対応関係に基づいて前記制御情報を取得する、
   請求項２の画像処理装置。
5. 前記入力画像を分割することによって得られる複数の領域を特定する領域情報を取得する領域情報取得部を更に具備し、
   前記制御情報取得部は、前記領域情報及びユーザー入力に基づいて前記複数の領域の各々に対する制御情報を取得する、
   請求項２の画像処理装置。
6. 前記領域情報取得部は、ユーザー入力に基づいて前記領域情報を取得する、請求項５の画像処理装置。
7. 前記領域情報取得部は、前記入力画像の各画素における奥行に対して閾値処理を施すことによって、前記領域情報を取得する、請求項５の画像処理装置。
8. 前記入力画像の各画素における透過率の情報を取得する透過率取得部を更に具備し、
   前記制御情報取得部は、前記透過率と前記制御情報との間の対応関係を取得し、前記透過率及び前記対応関係に基づいて前記制御情報を取得する、
   請求項１の画像処理装置。
9. 前記入力画像の各画素における奥行の情報を取得する奥行取得部を更に具備し、
   前記制御情報取得部は、前記奥行と前記制御情報との間の対応関係を取得し、前記奥行及び前記対応関係に基づいて前記制御情報を取得する、
   請求項１の画像処理装置。
10. 前記出力画像の任意の２画素間における透過率の大小関係は、前記入力画像の対応する２画素間における透過率の大小関係に対して反転しない、請求項１の画像処理装置。
11. 前記制御情報は、前記入力画像の各画素における透過率に対する前記出力画像の対応画素における透過率の比である、請求項１の画像処理装置。
12. 前記透過率取得部は、前記入力画像の各画素における奥行の情報を取得し、前記奥行に基づいて前記透過率を算出する、請求項３の画像処理装置。
13. 入力画像の各画素に含まれる散乱光の情報を取得することと、
    出力画像の各画素に含まれる散乱光の量を決定付ける制御情報を取得することと、
    前記入力画像の各画素に含まれる散乱光の量を前記制御情報に基づいて制御することによって、前記出力画像を生成することと
    を具備する、画像処理方法。

Images