JP2023005997A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】偏光情報を用いて、照明の変化に応じて陰影が変化する画像を生成する画像処理装置、画像処理方法、画像処理システム及びプログラムを提供する。【解決手段】画像処理装置１００は、互いに異なる複数の偏光状態での撮像により得られた撮像画像から、偏光状態に応じて変化する偏光成分と偏光状態に応じて変化しない非偏光成分を取得する偏光算出部（偏光取得手段）１１と、偏光成分と非偏光成分を合成して第１の画像を生成する合成部（画像生成手段）３ａと、第１の画像における陰影領域を特定する陰影判定部（領域特定手段）１２と、第１の画像における偏光成分の合成量に関する値に応じて陰影領域の輝度を変化させる陰影調整部（補正手段）３ｃと、を有する。【選択図】図１

Description

本発明は、撮像画像の偏光情報を利用する画像処理技術に関する。

デジタルカメラにより取得された撮像画像の陰影を補正する画像処理として、特許文献１には、仮想光源を付与して撮像画像中の被写体を照明することで被写体の影領域を明るくする画像処理が開示されている。この画像処理では、被写体までの距離情報を取得し、該距離情報に基づいて補正する影領域を決定する。また、特許文献２には、撮像画像の偏光情報を取得し、該偏光情報に基づいて撮像後に被写体の照明方向を調整する画像処理が開示されている。

特開２０１８－１８２７００号公報 特開２０１７－００９７９３号公報

しかしながら、特許文献１に開示された画像処理では、仮想光源を付与して明るさを補正するため、被写体の距離情報や面法線情報が必要となり、計算量が多くなる。

また、特許文献２に開示された画像処理では、被写体の照明方向や照明強度を変えても陰影の濃度が変化しない。

本発明は、偏光情報を用いて、照明の変化に応じて陰影が変化する画像の生成が可能な画像処理装置等を提供する。

本発明の一側面としての画像処理装置は、互いに異なる複数の偏光状態での撮像により得られた撮像画像から、偏光状態に応じて変化する偏光成分と偏光状態に応じて変化しない非偏光成分を取得する偏光取得手段と、偏光成分と非偏光成分を合成して第１の画像を生成する画像生成手段と、第１の画像における陰影領域を特定する領域特定手段と、第１の画像における偏光成分の合成量に関する値に応じて陰影領域の輝度を変化させる補正手段とを有することを特徴とする。なお、上記画像処理装置と撮像装置を有する画像処理システムも、本発明の他の一側面を構成する。

また、本発明の他の一側面としての画像処理方法は、互いに異なる複数の偏光状態での撮像により得られた撮像画像から、偏光状態に応じて変化する偏光成分と偏光状態に応じて変化しない非偏光成分を取得するステップと、偏光成分と非偏光成分を合成して第１の画像を生成するステップと、第１の画像における陰影領域を特定するステップと、第１の画像における偏光成分の合成量に関する値に応じて陰影領域の輝度を変化させるステップとを有することを特徴とする。なお、コンピュータに上記画像処理方法に従う処理を実行させるプログラムも、本発明の他の一側面を構成する。

本発明によれば、偏光情報（偏光成分および非偏光成分）を用いて、照明の変化に応じて陰影が変化する画像を生成することができる。

実施例の画像処理装置の構成を示すブロック図。 実施例１の処理を示すフローチャート。 実施例１の処理の変形例１を示すフローチャート。 実施例１の処理の変形例２を示すフローチャート。 実施例１の陰影領域判定を説明する図。 実施例１の陰影領域判定を説明する別の図。 実施例１の処理の変形例３を示すフローチャート。 実施例１の処理による効果を示す図。 実施例１の処理の変形例４を示すフローチャート。 実施例１の処理の変形例５を示すフローチャート。 実施例２の処理の効果を示す図。 特許文献１と同様の処理による効果を示す図。

以下、本発明の実施例について図面を参照しながら説明する。

図１は、実施例の画像処理装置１００の構成を示している。画像処理装置１００は、パーソナルコンピュータ、スマートフォン、タブレット端末または撮像装置等に搭載される。画像処理装置１００は、偏光算出部（偏光取得手段）１１、陰影判定部（領域特定手段）１２、画像生成部（画像生成手段）１３および出力部１４を有する。

偏光算出部１１は、偏光情報を含んだ撮像画像としての偏光画像を取得し、該偏光画像から偏光情報を算出する。偏光情報は、偏光状態に応じて変化する輝度成分である偏光成分の情報と、偏光状態によらずに一定の（すなわち偏光状態に応じて変化せず、偏光状態とは独立の）輝度成分である非偏光成分の情報とを含む。陰影判定部１２は、偏光画像や偏光情報等から入力画像の陰影領域を判定（特定）する。

画像生成部１３は、偏光成分と非偏光成分を加算（合成）する際の偏光成分と非偏光成分のそれぞれの割合（以下、加算割合という）を決定し、その加算割合に応じて偏光成分と非偏光成分を加算することで画像を生成する。さらに画像生成部１３は、偏光成分の加算割合に応じて、陰影判定部１２で判定された陰影領域での陰影の濃度（輝度）を調整して出力画像を生成する。出力部１４は、画像生成部１３で生成された出力画像を出力する。以下では、上述した各部についてさらに詳細に説明する。
［偏光算出部１１］
偏光算出部１１は、撮像画像取得部１ａと偏光情報処理部１ｂにより構成されている。撮影画像取得部１ａは、偏光部材を備えた撮像装置２００によって、互いに異なる複数の偏光状態のそれぞれでの撮像により生成された複数の撮像画像を取得する。偏光部材を用いた撮像により取得された撮像画像は、偏光情報を含む偏光画像である。

なお、取得する撮像画像は、例えば画素領域ごとに互いに異なる偏光情報が含まれていれば、１つの画像であってもよい。以下では、偏光状態が互いに異なる複数の撮像画像を取得するものとして説明する。

撮像装置２００としては、一眼レフもしくはミラーレスタイプのレンズ交換型またはレンズ一体型カメラ、スマートフォンやタブレット端末のカメラ、ネットワークカメラ、監視カメラ、車載カメラ等の各種デジタルカメラを用いることができる。偏光部材としては、特定の偏光状態の光のみを透過する機能を有し、かつ透過する光の偏光状態を何等かの方法で変えることができる部材であり、偏光フィルタ、特許文献２に開示された液晶を用いた偏光素子または偏光センサ等を用いることができる。撮像画像取得部１ａは、上記撮像画像を、撮像装置２００から記録媒体を介して又は有線もしくは無線通信等を通じて取得する。画像処理装置１００と撮像装置２００により画像処理システムが構成される。

偏光情報処理部１ｂは、撮像画像取得部１ａが取得した複数の撮像画像から、偏光情報としての偏光成分と非偏光成分を算出（取得）する。偏光情報の具体的な算出方法は以下の通りである。

第１の方法は、互いに異なる３つ以上の偏光状態（偏光角度）での撮像により取得された３つ以上の撮像画像と次式（１）とを用いて、撮像画像の各画素における偏光成分Ａと非偏光成分Ｂ、さらに偏光成分Ａが最大値となる偏光角度（以下、偏光最大角度という）θ_ｐを算出する方法である。式（１）において、Ｉは輝度、θは偏光角度である。
Ｉ＝Ａｃｏｓ^２（θ－θ_ｐ）＋Ｂ （１）
なお、式（１）は、輝度の最大値Ｉ_ｍａｘと最小値Ｉ_ｍｉｎを用いて、次式（２）のように表現することもできる。
Ｉ＝（Ｉ_ｍａｘ－Ｉ_ｍｉｎ）ｃｏｓ^２（θ－θ_ｐ）＋Ｉ_ｍｉｎ （２）
第２の方法は、偏光角度０°、４５°、９０°、１３５°での撮像により取得された撮像画像から偏光情報としてストークスパラメータＳ０～Ｓ２を取得し、該ストークスパラメータを用いて偏光成分、非偏光成分および偏光最大角度を算出する方法である。

上記以外の方法として、互いに異なる２方向での撮像により取得された撮像画像としての２つの偏光画像の差分を偏光情報と定義し、差分以外を非偏光成分と定義する方法を用いてもよい。本実施例の偏光情報処理部１ｂは、上述したいずれかの方法を用いて偏光情報を取得する。
［陰影判定部１２］
陰影判定部１２は、偏光算出部１１で取得された撮像画像と偏光情報を用いて、該撮像画像中の陰影領域を判定する。

陰影領域の判定方法の１つとして、ユーザ入力を用いる方法がある。これは、ユーザが撮像画像や偏光情報から陰影領域を判定し、判定した結果を入力する方法である。また、別の判定方法として、偏光情報から陰影領域を推定する方法がある。陰影領域は、拡散反射成分を主とする領域であるため、それ以外の領域に比べて偏光度が低く、彩度と輝度も低い傾向がある。このため、偏光度、彩度および輝度が周辺の同一物体と比べて低い領域を陰影領域と推定することができる。

さらに、別の判定方法として、取得した距離情報や面法線から陰影領域であり得る領域を推定する方法を用いてもよい。このとき、陰影判定部１２は、距離情報を取得するための距離取得部と、面法線情報を取得するための面法線取得部をさらに有する。

距離情報取得部は、例えば、ＴＯＦ（Time of Flight）、像面位相差法、ステレオ撮影法、レーザ測距法の測距手法を用いて距離情報を取得する。また、面法線取得部は、例えば、複数の照明、複数のカメラまたはその両方や、偏光算出部１１で取得した偏光情報を用いて面法線情報を取得する。

陰影判定部１２は、上述した方法のうち１つを選択して又は複数の方法を組み合わせて使用して陰影領域を判定する。なお、判定する陰影領域の数は１つでも複数でもよい。
［画像生成部１３］
画像生成部１３は、合成部３ａ、パラメータ調整部３ｂおよび陰影調整部（補正手段）３ｃにより構成されている。

合成部３ａは、偏光算出部１１で算出された偏光成分と非偏光成分を、次に説明するパラメータ調整部３ｂにより調整された加算割合に応じて加算することで、後述する陰影補正前の画像（第１の画像：以下、補正前画像という）を生成する。具体的には、偏光成分Ａと、特定方向θ_ｃの偏光成分Ａｃｏｓ^２（θ_ｃ－θ_ｐ）と、非偏光成分Ｂの線形和により補正前画像を生成する。偏光成分は鏡面反射成分を多く含み、非偏光成分は拡散反射成分を多く含む。このため、上記線形和により補正前画像を生成することで、該補正前画像における鏡面反射成分と拡散反射成分の比率を任意に調整することができる。
補正前画像の各画素の輝度Ｉ_ｍは、次式（３）で示す加算式により算出される。

Ｉ_ｍ＝ｋ_１Ａｃｏｓ^２｛ｋ_２（θ_ｃ－θ_ｐ）｝＋ｋ_３Ａ＋ｋ_４Ｂ （３）
式（３）中のｋ_１～ｋ_４は、任意の定数（以下、パラメータという）である。

また、式（３）の代わりに次式（４）を用いて、特定方向θ_ｃの偏光成分を複数用いた線形和としてもよい。

Ｉ_m＝Σ[ｋ_１nＡcos^２{k_２n(θ_ｃn－θ_Ｐ)}]＋k_３Ａ＋ｋ_４Ｂ （４）
なお、補正前画像は、偏光成分、特定方向の偏光成分および非偏光成分を必ずしも全て含まなくてよい。すなわち、式（３）や式（４）のパラメータk_１～ｋ_４の一部の値が０となってもよい。また、パラメータｋ_１～ｋ_４は、全ての画素で同じ値でなくてもよいが、少なくとも複数の画素を含む画素領域内では同じ値であることが好ましい。画素領域内でパラメータｋ_１～ｋ_４が同じ値であることで、その画素領域内で鏡面反射成分と拡散反射成分の比率が一定である補正前画像を生成することができる。

パラメータ調整部３ｂは、ユーザ入力に応じて合成部３ａでの偏光成分と非偏光成分の加算割合を決めるパラメータｋ_１～ｋ_４を調整する。パラメータｋ_１～ｋ_４の調整方法としては、例えば、ユーザに任意の値を入力させる方法や、予め複数のパラメータの組合せを準備しておきその中からユーザに選択させる方法等、様々な方法を用いることができる。パラメータ調整部３ｂを備えることで、被写体の照明状態をユーザが最も好ましいと思う照明状態に調整することができる。

陰影調整部３ｃは、パラメータ調整部３ｂで調整されたパラメータｋ_１～ｋ_４と、陰影判定部１２で判定された陰影領域の情報に基づいて、該陰影領域の陰影の濃度を調整する。具体的には、パラメータｋ_１～ｋ_４を用いて補正前画像における偏光成分の加算割合を求め、該加算割合に応じて陰影領域の輝度を変化させる。偏光成分の加算割合は、偏光成分の合成量に関する値の１つである。加算割合に応じて陰影領域の輝度を変化させることにより、陰影の濃度が調整（補正）された陰影補正画像としての出力画像（第２の画像）が生成される。

偏光成分の加算割合としては、偏光成分のパラメータｋ_１～ｋ_３のいずれかを用いてもよいし、ｋ_１～ｋ_３の和や平均値を用いてもよい。また、ｋ_１～ｋ_３のいずれか又はｋ_１～ｋ_３の和や平均値とｋ_４との比を用いてもよい。さらに偏光成分の合成量に関する値として、加算割合以外の値を用いてもよい。なお、パラメータｋ_１～ｋ_４が陰影領域ごとに異なる場合は、偏光成分の加算割合も陰影領域ごとに算出する。

また、陰影の濃度（輝度）調整は、加算割合に対して所定値としての閾値を設定し、該閾値より偏光成分の加算割合が大きい場合には陰影領域の濃度を濃く（輝度を下げ）、閾値より小さい場合は濃度を薄くする（輝度を上げる）処理により実現できる。

なお、陰影領域の濃度を濃くする場合は、該陰影領域の輝度を下げる処理とともに、彩度も下げる処理を行うことが好ましい。この処理によって、より自然な陰影を再現することができる。一方、濃度を薄くする場合は、薄くするほど陰影領域の色が目標色に近づくように処理を行う。目標色とは、陰影領域に隣接する画素領域の色情報（輝度、彩度、明度）に応じた色であり、隣接する画素領域は陰影領域と同一被写体の領域であることが好ましい。この処理によって、陰影が薄くなると物体本来の色に近づく、自然な陰影を再現することができる。なお、隣接する画素領域は、任意の方法で選択すればよく、例えば、ユーザ入力に応じて選択したり、画像認識処理によって陰影領域と同一被写体の領域を判別して選択したりすればよい。

また、上述した方法で陰影の濃度を調整する場合、輝度と色が独立に調整されるため、輝度と色が分離された色空間で処理することが好ましい。具体的には、ＲＧＢ座標系から、ＨＳＶ、ＨＬＳ、ＹＵＶ、ＹＣｂＣｒまたはＹＰｂＰｒ等の座標系に一度変換してから処理することが好ましい。

なお、陰影調整部３ｂは、閾値と加算割合とが一致した場合は、陰影の濃度を変化させないことが好ましい。また、閾値をユーザが任意に設定できる機能を有することが好ましい。
［出力部１４］
出力部１４は、画像生成部１３で生成された出力画像を表示したり外部に出力したりする。出力部１４は、画像生成部１３と一体であってもよいし、画像生成部１３とは別または取り外し可能であってもよい。出力部１４と画像生成部１３が一体でない場合は、出力部１４は、画像生成部１３から有線接続または無線接続を介して出力画像を受信する。また、クラウド等のネットワークを通じて出力画像のデータを通信してもよい。

出力部１４は、液晶ディスプレイ、スマートフォンやタブレット等の表示機能を有する機器または撮像装置に設けられたモニタ等を用いることができる。

図２のフローチャートは、実施例１の画像処理装置においてコンピュータプログラムに従って実行される処理を示している。Ｓはステップを意味する。偏光算出部１１は、撮像画像（偏光画像）を取得し（Ｓ１０１）、偏光情報を算出する（Ｓ１０２）。

また、陰影判定部１２は、偏光算出部１１が取得した偏光画像を用いて陰影領域を判定する（Ｓ１０３）。

一方、画像生成部１３は、偏光算出部１１で算出された偏光情報を用いて画像生成（Ｓ１０４）、パラメータ補正（Ｓ１０５）および陰影領域補正（Ｓ１０６）を行う。画像生成、パラメータ補正および陰影領域補正については後述する。出力部１４は、陰影領域補正（Ｓ１０６）後の出力画像を出力する（Ｓ１０６）。

なお、図２のフローチャートに示す処理では、陰影領域判定において偏光算出部１１が取得した偏光画像を用いているが、図３のフローチャートに示す変形例１の処理のように、算出された偏光情報を用いて陰影領域判定（Ｓ１０３′）を行ってもよい。また、図４のフローチャートに示す変形例２の処理のように、偏光情報の算出（Ｓ１０２）後、その偏光情報を用いて画像生成（Ｓ１０４）を行い、生成された補正前画像を用いて陰影領域判定（Ｓ１０３″）を行ってもよい。さらに、図３および図４に示した処理において、偏光情報や補正前画像の他に、陰影領域判定より前に取得した画像等の情報を用いて陰影領域判定を行ってもよい。

また、図７のフローチャートに示す変形例３の処理のように、算出された偏光情報と、先に説明した距離取得部および面法線取得部により取得された距離情報（Ｓ１０１ａ）および面法線情報（Ｓ１０１ｂ）とを用いて陰影領域判定（推定）を行ってもよい。

図５（ａ）、（ｂ）は、陰影領域判定の例を示している。陰影判定部１２は、図５（ａ）に示すように、判定に用いる画像（偏光画像や補正前画像）を出力部１４を通じてユーザに対して表示する。この画像を見たユーザは、図５（ｂ）にグレー領域で示すように、マウスやタッチパネル等の入力部材を通じて該画像内で陰影と思われる領域を選択する。これにより、陰影判定部１２はユーザにより選択された領域を陰影領域と判定し、陰影調整部３ｃにより陰影領域補正が行われる陰影領域に設定する。

図６（ａ）～（ｄ）は、陰影領域判定の別の例を示している。陰影判定部１２は、距離情報と面法線情報を用いて陰影領域判定を行う。この方法を用いる場合、陰影判定部１２は、撮像画像から被写体の距離情報を取得する距離取得部と、被写体の面法線情報を取得する面法線取得部を有する必要がある。

陰影判定部１２は、偏光算出部１１で算出された偏光情報を用いて、図６（ａ）に示す判定に用いる画像から次式（５）で定義される直線偏光度ＤｏＬＰが高い領域を抽出する。また、陰影判定部１２は、面法線取得部で取得された面法線情報を用いて、図６（ｂ）に示すように直線偏光度の高い領域の面法線方向を算出し、その方向に光源が位置すると推定する。

ＤｏＬＰ＝Ａ/（２Ｂ＋Ａ） （５）
式（５）中のＡは偏光成分、Ｂは非偏光成分である。陰影判定部１２は、この推定光源位置の情報と、面法線情報と、図６（ｃ）に示す距離情報とから、図６（ｄ）にグレー領域で示すように陰影が発生する領域を推定し、該領域を陰影領域として設定する。

次に、画像生成（Ｓ１０４）、パラメータ補正（Ｓ１０５）および陰影領域補正（Ｓ１０６）について説明する。画像生成は、上述した式（３）により各画素の輝度を求めることによって行う。画像生成により生成された補正前画像に対して、パラメータ補正と陰影領域補正が行われることで出力画像が生成される。

図８（ａ）、（ｂ）はそれぞれ、パラメータ補正と陰影領域補正の効果を示している。なお、ここでは式（３）をｋ_１＝０、ｋ_４＝１により簡略化した場合（すなわち、Ｉm＝ｋ_３Ａ＋Ｂで画像生成を行った場合）の効果を示している。

図８（ａ）は、パラメータ補正によりｋ_３を左から０、１／２、１と変化させたときの出力画像を示している。ｋ_３の値が大きくなる、すなわち偏光成分の比率が大きくなるにつれてカップ中の液体の表面で反射する成分が増える。一方、カップの左側に発生する陰影領域の輝度は変化しない。これは、液体の表面で反射する成分が主に鏡面反射成分であり、陰影領域で反射する成分が主に拡散反射成分であるためである。図８（ａ）に示すように、パラメータ補正のみを行うと、被写体の明るさは変化するが、陰影の濃度は変化しない不自然な出力画像となる。

図８（ｂ）は、上述したパラメータ補正に加えて、陰影領域補正を行ったときの出力画像を示している。ここでは、偏光成分の加算割合をｋ_３の値とし、閾値をｋ_３＝１／２としている。本実施例の陰影領域補正では、偏光成分の加算割合ｋ_３が閾値１／２に一致するときは陰影領域の濃度を変えず、ｋ_３が閾値より大きい場合は濃度を濃く、閾値より小さい場合は濃度を薄くする。このため、図８（ｂ）に示すように、ｋ_３＝１／２のときは陰影領域の濃度は図８（ａ）と同じであり、ｋ_３＝０のときは濃度がｋ_３＝1／２のときより薄くなっている。また、ｋ_３＝１のときは濃度がｋ_３＝1／２のときより濃くなっている。

この陰影領域補正により、鏡面反射成分が基準状態（ｋ_３＝１／２）より少ない場合は、被写体全体が弱い面光源により均一に照明され、陰影が薄い状態が再現される。また、鏡面反射成分が基準状態より多い場合は、強い点光源で照明されて陰影が濃い状態が再現される。このように、陰影領域補正を行うことで、被写体の明るさ（つまりは照明）の変化に連動して陰影の濃度も変化する自然な出力画像が得られる。

次に、本実施例の陰影領域補正と、特許文献１に開示された仮想光源を用いた影領域の明るさ補正処理とを比較する。図１２は、特許文献１で開示された処理と同様の処理を補正前画像に対して行った場合の出力画像を示している。

特許文献１の処理では、仮想光源を付与することで影領域を明るくする。ここで、最も暗い画像を基準画像とすると、特許文献１の処理ではカップ中の液体の表面で反射する成分を増やすために、右上方向に仮想光源を付与する。このとき、被写体の拡散反射光も増加するため、カップの陰影は薄くなる。すなわち、特許文献１の処理では、液体の表面からの反射成分が増えるほど陰影が薄くなり、本実施例のように鏡面反射成分（偏光成分）の加算割合に応じて陰影を濃くすることができない。

なお、図２～図４では、画像生成からパラメータ補正、陰影領域補正および出力画像の出力までを１回のみ行う場合について説明したが、図９のフローチャートに示すように、パラメータ補正と陰影領域補正を繰り返してもよい。また、図１０のフローチャートに示すように、繰り返す処理を選択できるようにしてもよい。

図９のフローチャートでは、陰影領域補正（Ｓ１０６）を行って一度、出力画像の仮出力（Ｓ１０７′）を行った後に本処理を終了するか否かを判断する（Ｓ１０８）。終了すると判断した場合には出力画像を本出力する（Ｓ１０９）。一方、終了しないと判断した場合には、パラメータ補正（Ｓ１０５）と陰影領域補正（Ｓ１０６）を繰り返して新たな出力画像を生成する。

また、図１０のフローチャートでは、出力画像の仮出力（Ｓ１０７′）を行った後に本処理を終了するか否かを判断し（Ｓ１０８）、終了しない場合にはどのステップに戻るかをユーザ設定に応じて選択する（Ｓ１１０）。そして、選択されたステップに戻って処理を繰り返す。Ｓ１０４に戻った場合は新たな補正前画像の生成から行われ、Ｓ１０５に戻った場合は元の補正前画像に対するパラメータ補正から行われる。またＳ１０６に戻った場合は元の補正前画像に対して前回の陰影領域補正とは陰影の濃度を異ならせた陰影領域補正が行われる。

このように、パラメータ補正や陰影領域補正、さらには画像生成を繰り返すことで、より好ましい出力画像を生成および出力することができる。

次に実施例２について説明する。本実施例の画像処理装置は、図１に括弧書きで示すように画像生成部１３に陰影選択部１５を有する。陰影選択部１５は、陰影判定部１２により複数の陰影領域が設定された場合に、その中から陰影領域補正を行う領域を選択する。

図１１（ａ）～（ｄ）は、本実施例におけるパラメータ補正と陰影領域補正の効果を示している。図１１（ａ）、（ｂ）はそれぞれ、パラメータ補正前とパラメータ補正後の補正前画像を示す。図１１（ｃ）は、陰影選択部１５によって選択された陰影領域を太枠で示している。図１１（ｄ）は、陰影領域補正後の出力画像を示している。

図１１（ａ）、（ｂ）に示すように、Ｉm＝ｋ_３Ａ＋Ｂにおけるｋ_３を０から１にすると、被写体に偏光成分が付与されて、被写体の上面領域が明るくなる。さらに図１１（ｃ）、（ｄ）に示すように、複数の陰影領域のうち特定の陰影領域を選択しておくことにより、該特定の陰影領域の濃度のみを調整することができる。

このように、陰影選択部１５を設けることで、陰影領域の多様な調整が可能となり、より好ましい出力画像を得ることができる。

なお、上述したように複数の陰影領域のうち一部の陰影領域のみを選択して陰影領域補正を行うだけでなく、例えば、複数の偏光成分を加算する場合には偏光成分毎に対応する陰影領域を選択して陰影領域補正を行ってもよい。偏光成分毎に対応する陰影領域を選択することで、偏光成分（すなわち鏡面反射成分）と陰影領域を対応させながら陰影を調整することが可能となる。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

１１ 偏光算出部
１２ 陰影判定部
１３ 画像生成部
１００ 画像処理装置

Claims (12)

1. 互いに異なる複数の偏光状態での撮像により得られた撮像画像から、偏光状態に応じて変化する偏光成分と偏光状態に応じて変化しない非偏光成分を取得する偏光取得手段と、
   前記偏光成分と前記非偏光成分を合成して第１の画像を生成する画像生成手段と、
   前記第１の画像における陰影領域を特定する領域特定手段と、
   前記第１の画像における前記偏光成分の合成量に関する値に応じて前記陰影領域の輝度を変化させる補正手段とを有することを特徴とする画像処理装置。
2. 前記画像生成手段は、前記偏光成分と前記非偏光成分を加算して前記第１の画像を生成し、
   前記補正手段は、前記偏光成分の合成量に関する値として、前記偏光成分の加算割合を用いることを特徴とする請求項１に記載の画像処理装置。
3. 前記補正手段は、前記偏光成分の合成量に関する値が所定値より大きい場合に前記陰影領域の輝度を下げることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記補正手段は、前記偏光成分の合成量に関する値が前記所定値より小さい場合に前記陰影領域の輝度を上げることを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
5. 前記領域特定手段は、ユーザ入力に応じて前記陰影領域を特定することを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
6. 前記領域特定手段は、前記偏光成分と前記非偏光成分を用いて前記陰影領域を特定することを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
7. 前記領域特定手段は、前記撮像における被写体の距離情報と該被写体の面法線情報を用いて前記陰影領域を特定することを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
8. 前記補正手段は、前記第１の画像における前記陰影領域の輝度を変化させて第２の画像を生成し、
   前記第２の画像が生成された後、前記補正手段に、該第２の画像を新たな前記第１の画像として用いて前記第２の画像とは前記陰影領域の輝度が異なる新たな第２の画像を生成させることを特徴とする請求項１から７のいずれか一項に記載の画像処理装置。
9. 前記補正手段は、前記第１の画像における前記陰影領域の輝度を変化させて第２の画像を生成し、
   前記第２の画像が生成された後、前記補正手段に、該第２の画像を新たな前記第１の画像として用いて前記第２の画像とは前記陰影領域の輝度が異なる新たな第２の画像を生成させるか、前記画像生成手段に新たな前記第１の画像を生成させてから前記補正手段に該第１の画像から新たな前記第２の画像を生成させるかを選択することを特徴とする請求項１から７のいずれか一項に記載の画像処理装置。
10. 請求項１から９のいずれか一項に記載の画像処理装置と、
    前記撮像を行う撮像装置とを有することを特徴とする画像処理システム。
11. 互いに異なる複数の偏光状態での撮像により得られた撮像画像から、偏光状態に応じて変化する偏光成分と偏光状態に応じて変化しない非偏光成分を取得するステップと、
    前記偏光成分と前記非偏光成分を合成して第１の画像を生成するステップと、
    前記第１の画像における陰影領域を特定するステップと、
    前記第１の画像における前記偏光成分の合成量に関する値に応じて前記陰影領域の輝度を変化させるステップとを有することを特徴とする画像処理方法。
12. コンピュータに、請求項１１に記載の画像処理方法に従う処理を実行させることを特徴とするプログラム。

Images