JP2017228983A - 画像処理装置、撮像装置、画像処理方法 - Google Patents

Abstract

【課題】 偏光画像を用いた画像処理の精度を向上することのできる画像処理装置を提供する。【解決手段】 画像処理部（画像処理装置）３３は、画像取得手段３３ａと、判定手段３３ｂと、画像処理手段３３ｃを有する。判定手段３３ｂは、画像取得手段３３ａによって取得された複数の第１の偏光画像のそれぞれについて、第１の偏光画像とは異なる撮影条件で撮影された第２の偏光画像を取得するか否かを第１の偏光画像の輝度に基づいて判定する。画像処理手段３３ｃは、第１の偏光画像について第２の偏光画像を取得しないと判定された場合の該第１の偏光画像と、第１の偏光画像について第２の偏光画像を取得すると判定された場合に取得した第２の偏光画像を含む複数の偏光画像を用いて画像処理を行う。【選択図】 図７

Description

本発明は、偏光画像を用いて画像処理を行う画像処理装置に関する。

物体で反射した光から特定の偏光成分を分離して光強度を取得することで、偏光状態に関する情報（偏光情報）を得ることができる。偏光情報を利用して画像処理を行うことで、被写体の形状や表面状態等を検知することができる。また、偏光情報を利用することで、被写体の色やコントラスト等を異ならせた画像を得ることができる。

特許文献１には輝度画像の各画素に対応する偏光情報を用いて、該輝度画像の輝度を画素毎に変化させた画像を得る画像処理システムが記載されている。また特許文献１には、輝度値が飽和している領域（白飛びしている領域）については偏光情報が正常に得られていないと考えられるため、白飛びしている領域に対しては偏光情報を用いた画像処理を行わないことが記載されている。

特開２０１５−１０９６２５号公報

特許文献１に記載された画像処理において、白飛びしている領域の輝度値を偏光情報に基づいて変化させることは難しい。白飛びしている領域についても偏光情報を用いて画像処理を行うためには、白飛びしている領域についても光強度を精度良く得ることが求められる。

本発明の目的は、偏光画像を用いた画像処理の精度を向上することのできる画像処理装置および画像処理方法を提供することである。

本発明の画像処理装置は、被写体からの光から特定の偏光成分を分離して撮影された偏光画像を取得する画像取得手段と、前記画像取得手段によって取得された複数の第１の偏光画像のそれぞれについて、前記第１の偏光画像とは異なる撮影条件で撮影された第２の偏光画像を取得するか否かを前記第１の偏光画像の輝度に基づいて判定する判定手段と、第１の偏光画像について第２の偏光画像を取得しないと判定された場合の該第１の偏光画像および第１の偏光画像について第２の偏光画像を取得すると判定された場合に取得した第２の偏光画像を含む複数の偏光画像を用いて画像処理を行う画像処理手段と、を有することを特徴とする。

また、本発明の画像処理方法は、被写体からの光から特定の偏光成分を分離して撮影された偏光画像を取得する画像取得工程と、前記画像取得工程によって取得された複数の第１の偏光画像のそれぞれについて、前記第１の偏光画像とは異なる撮影条件で撮影された第２の偏光画像を取得するか否かを前記第１の偏光画像の輝度に基づいて判定する判定工程と、第１の偏光画像について第２の偏光画像を取得しないと判定された場合の該第１の偏光画像および第１の偏光画像について第２の偏光画像を取得すると判定された場合に取得した第２の偏光画像を含む複数の偏光画像を用いて画像処理を行う画像処理工程と、を有することを特徴とする。

本発明によれば、偏光画像を用いた画像処理の精度を向上することのできる画像処理装置および画像処理方法を実現することができる。

撮像装置のブロック図である。 透過軸可変素子の概略図である。 λ／４板の遅相軸、可変位相板の遅相軸、偏光板の透過軸の方向を示す概略図である。 透過軸可変素子を透過する光の偏光成分と強度の関係を示す図である。 入射光の偏光状態と強度の関係を示す図である。 白飛びにより正しい光強度が得られない場合を示す図である。 実施例１において画像処理部で実行する処理を示すフローチャートである。 画素位置に応じた重み付けの例を示す図である。 実施例２および３において画像処理部で実行する処理を示すフローチャートである。 第２の偏光画像として被写体からの光のうち第１の偏光画像とは異なる偏光成分を分離して撮影を行った場合を示す図である。

以下、本発明の実施例について、図面を参照しながら説明する。

［実施例１］
本実施例では、撮像装置１００について説明する。撮像装置は、コンパクトデジタルカメラでも良いし、一眼レフカメラ、ミラーレスカメラ等でも良い。

図１は、本実施例の撮像装置１００の要部を示すブロック図である。撮像装置１００はレンズ部１０と本体部３０を有しており、レンズ部１０と本体部３０の間には偏光選択部２０が配置されている。なお、レンズ部１０と偏光選択部２０はマウント４２とマウント４１ａによって着脱可能に装着されている。また、偏光選択部２０と本体部３０はマウント４１ｂとマウント４３によって着脱可能に装着されている。

また、偏光選択部２０には端子５１ａ、５１ｂが設けられている。端子５１ａとレンズ部１０の端子５２が電気的に接続することで相互に通信することが可能となる。また、端子５１ｂと本体部３０の端子５３が電気的に接続することで相互に通信することが可能となる。

レンズ部１０は複数のレンズ（不図示）を備える光学系１１を有する。駆動部１２は、制御部１３の制御の下で光学系１１のレンズの位置を変化させ、光学系１１の合焦位置や焦点距離を調節する。また、光学系１１は、絞り値（Ｆナンバー）を制御する開口絞り（不図示）を有する。

偏光選択部２０は透過軸に平行な偏光成分を透過させるような透過軸可変素子２１を備えている。透過軸可変素子１１の透過軸の方向は、制御部２２によって制御される。

本体部３０は、撮像素子３１、記憶部３２および画像処理部（画像処理装置）３３を有する。撮像素子３１は、レンズ部１０の光学系１１および偏光選択部２０の透過軸可変素子２１を透過した光を光電変換することでアナログの電気信号を生成する。撮像素子３１は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などである。

撮像素子３１によって生成されたアナログ電気信号は、不図示のＡ／Ｄコンバータでデジタル信号となる。Ａ／Ｄコンバータでデジタル信号となった画像データは記憶部３２へ出力される。このような構成により、撮像装置１００は、被写体からの光のうち特定の方向に偏光した光により形成された画像（以下、偏光画像と称する）を撮影することができる。

また、画像処理部３３は、画像取得手段３３ａにより偏光画像を取得し、画像処理部３３ｃにおいて複数の偏光画像を用いた画像処理を行う。また、画像処理部３３の判定手段３３ｂは、画像処理部３３における画像処理に際して偏光画像を追加取得するか否かを判定する。このような画像処理部３３において後述する画像処理方法を実行することで、偏光画像を用いた画像処理の精度を向上することができる。

画像処理部３３が実行する処理の説明に先立ち、偏光画像を撮影する方法について説明する。本実施例では、偏光選択部２０が特定の方向に偏光する光を選択的に透過させることによって偏光画像を取得している。以下では、偏光選択部２０について詳しく説明する。

図２は、偏光選択部２０の透過軸可変素子２１の概略図である。図２において、ｚ軸は光学系１１の光軸方向を示しており、ｘ−ｙ平面はｚ軸に垂直な面である。また、図２においては、物体からの光はｚ軸の正から負へ向かって進むとする。

図２に示した透過軸可変素子２１は、物体側から順に第１の位相板としてのλ／４板２１１と、第２の位相板としての可変位相板２１２と、偏光板２１３と、を有している。λ／４板２１１とは、遅相軸に平行な偏光成分と進相軸に平行な偏光成分の間にπ／２の位相差を与える素子である。

可変位相板２１２とは、遅相軸に平行な偏光成分と進相軸に平行な偏光成分の間に与える位相差を変更可能な素子である。可変位相板２１２は液晶層を配向層で挟みこみ、配向層上に電極層を設けた構成となっており、電極層間の電位差に応じて液晶層の液晶分子の向きが変化するような構成となっている。可変位相板２１２を透過した光の遅相軸方向の偏光成分と進相軸方向の偏光成分の間には、液晶分子の角度に応じた位相差が生じる。

偏光板２１３とは、透過軸に平行な偏光成分のみを透過する素子である。偏光板２１３としては、ワイヤーグリッド偏光子や、ヨウ素化合物を延伸したフィルム等を用いることができる。

可変位相板２１２は、可変位相板２１２の遅相軸が偏光板２１３の透過軸と略４５°の角度をなすように配置されている。λ／４板２１１は、λ／４板２１１の遅相軸または進相軸のいずれか一方が偏光板２１３の透過軸と略平行となるように配置されている。以下の説明では、λ／４板２１１の遅相軸が偏光板２１３の透過軸と略平行となるように配置されているとする。

図３にλ／４板２１１の遅相軸、可変位相板２１２の遅相軸、偏光板２１３の透過軸を示す。図３（ａ）において破線で示した矢印は、λ／４板２１１をｚ軸方向から見たときの遅相軸を表している。同様に図３（ｂ）において破線で示した矢印は、可変位相板２１２をｚ軸方向から見たときの遅相軸を表している。また、図３（ｃ）において破線で示した矢印は、偏光板２１３をｚ軸方向から見たときの透過軸を表している。

このように構成された透過軸可変素子２１において、可変位相差板２１２における位相差と透過軸可変素子２１を透過する偏光成分の関係について説明する。

図４に、可変位相板２１２における遅相軸方向の偏光成分と進相軸方向の偏光成分の間の位相差がλ／４である場合について、透過軸可変素子２１を透過する光の偏光および光強度を示す。

図４（ａ）は、ｙ軸に平行である方向に直線偏光した光が透過軸可変素子２１に入射した場合を示している。このとき、入射光は位相変化を受けずにλ／４板２１１を透過する。λ／４板を透過した光は、可変位相板２１２によって円偏光に変換される。最後に、偏光板２１３は可変位相板２１２を透過した光のうち、透過軸に一致する偏光成分のみを透過させる。したがって、ｙ軸に平行な直線偏光が透過軸可変素子２１に入射した場合、入射光に対して約５０％の強度の直線偏光が透過することになる。

図４（ｂ）は、ｙ軸に対して時計回りに４５°の角度を成す方向に直線偏光した光が透過軸可変素子２１に入射した場合を示している。このとき、入射光はλ／４板２１１によって円偏光に変換される。λ／４板を透過した光は、可変位相板２１２によってｙ軸に平行な直線偏光に変換される。最後に、偏光板２１３は可変位相板２１２を透過した光のうち、透過軸に一致する偏光成分のみを透過させる。したがって、ｙ軸に対して時計回りに４５°の角度を成す方向に直線偏光した光が透過軸可変素子２１に入射した場合、入射光に対して約１００％の強度の直線偏光が透過することになる。

図４（ｃ）は、ｘ軸に平行である方向に直線偏光した光が透過軸可変素子２１に入射した場合を示している。このとき、入射光は位相変化を受けずにλ／４板２１１を透過する。λ／４板を透過した光は、可変位相板２１２によって円偏光に変換される。最後に、偏光板２１３は可変位相板２１２を透過した光のうち、透過軸に一致する偏光成分のみを透過させる。したがって、ｘ軸に平行な直線偏光が透過軸可変素子２１に入射した場合、入射光に対して約５０％の強度の直線偏光が透過することになる。

図４（ｄ）は、ｙ軸に対して反時計回りに４５°の角度を成す方向に直線偏光した光が透過軸可変素子２１に入射した場合を示している。このとき、入射光はλ／４板２１１によって円偏光に変換される。λ／４板を透過した光は、可変位相板２１２によってｘ軸に平行な直線偏光に変換される。最後に、偏光板２１３は可変位相板２１２を透過した光のうち、透過軸に一致する偏光成分のみを透過させる。したがって、ｙ軸に対して反時計回りに４５°の角度を成す方向に直線偏光した光が透過軸可変素子２１に入射した場合、透過軸可変素子２１は入射光のほとんどを遮光することになる。

透過軸可変素子２１を透過する光の強度に着目すると、可変位相板２１２における位相差がλ／４である場合、透過軸可変素子２１は入射光のうちｘ軸と４５°の角度を成す偏光成分のみを透過していることがわかる。換言すると、透過軸可変素子２１は透過軸がｘ軸と４５°の角度を成しているような１枚の偏光板と同等に扱うことができる。このとき、透過軸可変素子２１と同等に扱える偏光板の透過軸を透過軸可変素子２１の透過軸と呼ぶと、透過軸可変素子２１の透過軸の方向は可変位相板２１２における位相差によって変化する。

透過軸可変素子２１の透過軸がｘ軸と成す角度（以下、軸角度と称する）を時計回りにθ（°）、可変位相板２１２における位相差をΔ、波長をλとしたとき、以下の式が成立する。
θ＝９０°−１８０°×Δ／λ （１）

このように、Δを変化させることで、被写体からの光のうち撮像素子へ導く偏光成分を変化させることができる。すなわち、本実施例の撮像素子１００は透過軸可変素子２１を有することで、任意の方向に偏光した光により形成された偏光画像を取得することが可能となる。

しかしながら、撮像装置１００において取得した偏光画像の一部に、白飛びや黒潰れが生じている場合、偏光画像を用いた画像処理において誤差を生じる原因となり得る。次にこの理由について説明する。

まず、物体（被写体）で反射した光の偏光成分が図５のようになっている場合を例に、偏光画像を用いた画像処理について説明する。図５（ａ）に示した楕円は、偏光方向と振幅の関係を示している。図５（ａ）の破線は楕円の長軸と短軸を表しており、αは長軸とｘ軸のなす角度である。また、図５（ａ）に示した矢印の長さは、長軸方向に偏光した光または短軸方向に偏光した光の振幅の大きさを表している。

図５（ｂ）は、ｘ軸とθなる角度を成す方向に偏光している成分の光強度Ｉ（θ）を示している。Ｉ（θ）はｘ軸とθなる角度を成す方向に偏光している成分の振幅の２乗で与えられる。ここで、Ｉ（θ）の最大値をａ、最小値をｂとすると、Ｉ（θ）は、以下の式（２）で与えられる。
Ｉ（θ）＝（ａ−ｂ）・［ｃｏｓ（θ−α）］^２＋ｂ （２）

式（２）より、ａ、ｂ、αの３つのパラメータを求めることで、Ｉ（θ）を求めることができることがわかる。一方、透過軸可変素子２１の軸角度がθ_０となるように可変位相板２１２における位相差を設定して取得した偏光画像の輝度から、ｘ軸とθ_０なる角度を成す方向に偏光している成分の光強度Ｉ（θ_０）を各画素に対して得ることができる。ゆえに、撮影時の透過軸可変素子２１の透過軸の方向がそれぞれ異なる少なくとも３枚の偏光画像を得ることで、各画素に対してＩ（θ）を求めることができる。

Ｉ（θ）について、θに依存する式（２）の第１項を鏡面反射成分、θに依存しない式（２）の第２項を拡散反射成分とみなすことで、鏡面反射成分と拡散反射成分を分離することができる。そのため、偏光画像の輝度から求めたＩ（θ）を用いることで、鏡面反射成分や拡散反射成分を目的に応じて調整した画像を生成することができる。

例えば、偏光画像の輝度からＩ（θ）のうち光強度が最大である偏光成分（最大偏光成分）の光強度に対応する輝度値を、画像処理部３３に設けられた不図示の情報取得手段によって取得する。そして、情報取得手段で取得した最大偏光成分の光強度に対応する輝度値のみで画像を形成することで被写体からの鏡面反射成分を強調した画像を得ることができる。

反対に、偏光画像の輝度からＩ（θ）のうち光強度が最小である偏光成分（最小偏光成分）の光強度に対応する輝度値を不図示の情報取得手段によって取得し、この値のみで画像を形成することで被写体からの拡散反射成分を強調した画像を得ることができる。

この他にも、最大偏光成分の偏光方向や、最小偏光成分の偏光方向を不図示の情報取得手段によって取得して、これを用いて画像を形成しても良い。これらにより、撮影時に取得した画像とは反射光の状態（質感）が異なる画像を生成することができる。

ここで、偏光画像の一部に白飛びや黒潰れが生じている場合について考える。白飛びとは画像の一部が明るすぎて輝度値が上限値以上となっている状態をいう。また、黒潰れとは、画像の一部が暗すぎて輝度値が下限値以下となっている状態をいう。白飛びまたは黒潰れを起こしている部分については正しい輝度が得られないため、偏光画像における白飛びまたは黒潰れはＩ（θ）を求める際に誤差を生じる要因となる。

図６（ａ）は、透過軸可変素子２１の軸角度を０°、４５°、９０°として撮影した３枚の偏光画像のうち、軸角度を４５°として撮影した偏光画像において白飛びが生じた場合について示している。図に示した白丸は、各偏光画像の輝度から得た光強度である。図６（ａ）において実線で示した曲線は実際の光強度の変化を表している。また、ＤＲ_ｍａｘおよびＤＲ_ｍｉｎは撮像素子３１のダイナミックレンジの最大値および最低値を示している。軸角度を４５°として撮影した偏光画像から取得した光強度は白飛びしているため、実際の光強度よりも低くなっていることがわかる。

図６（ｂ）は、透過軸可変素子２１の軸角度を０°、４５°、９０°として撮影した３枚の偏光画像のうち、軸角度を４５°として撮影した偏光画像において白飛びが生じた場合について示している。図に示した白丸は、各偏光画像の輝度から得た光強度である。図６（ｂ）において実線で示した曲線は実際の光強度を表している。軸角度を４５°として撮影した偏光画像から取得した光強度は白飛びしているため、実際の光強度よりも低くなっていることがわかる。

図６（ａ）および（ｂ）の各図において、偏光画像から得られた３点の光強度からＩ（θ）を求めると、実際の光強度を示す曲線（実線）とは異なる曲線（破線）が得られることとなる。すなわち、偏光画像の一部に白飛びが生じると、実線で示すような正しいＩ（θ）を求められなくなる。これは黒潰れした場合についても同様である。このように正しいＩ（θ）を得られていない場合、Ｉ（θ）を用いた画像処理を行う際に誤差を生じてしまう。

そこで本実施例では、画像処理手段３３ｃにおける偏光画像を用いた画像処理に際して、他の偏光画像をさらに取得するか否かを判定手段３３ｂにおいて判定する。他の偏光画像を取得すると判定された場合には、撮影条件を変えて追加で撮影を行う。ここで、撮影条件とは、ＩＳＯ感度、シャッタースピード、Ｆナンバー、軸角度の少なくとも１つを含む条件である。これによって偏光画像を用いた画像処理の精度を向上することができる。以下では、図７を用いて画像処理部３３において実行する画像処理方法について説明する。

図７は、実施例１の画像処理部３３において実行する画像処理方法について説明するフローチャートである。以下では、本実施例の画像処理方法の各工程を単に「Ｓ」と称する。

図７に示したフローチャートは、撮像装置１００において偏光画像を撮影する偏光撮影モードが選択されることで開始する。以下の説明では、透過軸可変素子２１の軸角度を０°、４５°、９０°として偏光画像を撮影するものとする。

まず、Ｓ１０１では、透過軸可変素子２１の軸角度を０°、４５°、９０°のいずれか１つの角度に設定する。具体的には、画像処理部３３から制御部２２へ可変位相板２１２の位相差に関する信号を送り、可変位相板２１２における位相差が所定の値となるように制御部２２の制御の下で可変位相板２１２に電圧を印加することで透過軸可変素子２１の軸角度を設定する。Ｓ１０１は偏光撮影モードが選択された際に自動的に行っても良いし、偏光撮影モードが選択された状態で撮影者がレリーズボタンを押した際に行っても良い。

Ｓ１０１で透過軸可変素子２１の軸角度を設定した後、撮影を行うことで偏光画像を得る。この偏光画像は、記憶部３２に記憶される。

Ｓ１０２（画像取得工程）では、画像取得手段３３ａが記憶部３２から偏光画像を第１の偏光画像として取得する。

Ｓ１０３（判定工程）では、判定手段３３ｂが第１の偏光画像の輝度に基づいて、追加で偏光画像を取得するか否かを判定する。ここで、本実施例におけるＳ１０３の判定工程について説明する。以下の説明では、第１の偏光画像の短辺方向の画素数をＮ、長辺方向の画素数をＭとして説明する。

まず、第１の偏光画像の各画素の輝度Ｌ（ｘ，ｙ）（ただし、１≦ｘ≦Ｍ，１≦ｙ≦Ｎ）から、白飛びまたは黒潰れしている画素を検出する。具体的には、輝度Ｌ（ｘ，ｙ）が白飛び判定用の閾値Ｔ_ｍａｘよりも大きくなっている画素は白飛びしていると判定する。白飛びしていると判定された画素には、白飛び判定用のパラメータｐ（ｘ，ｙ）に１を与え、白飛びしていないと判定された画素にはｐ（ｘ，ｙ）＝０を与える。

また、輝度Ｌ（ｘ，ｙ）が黒潰れ判定用の閾値Ｔ_ｍｉｎよりも小さくなっている画素は黒潰れしていると判定する。黒潰れしていると判定された画素には、黒潰れ判定用のパラメータｑ（ｘ，ｙ）に１を与え、黒潰れしていないと判定された画素にはｑ（ｘ，ｙ）＝０を与える。

なお、ここで用いる第１の偏光画像の輝度Ｌ（ｘ，ｙ）は、撮像素子３１がＲＧＢのカラーフィルターを備えている場合にはＧの画素値を輝度としてもよいし、ＲＧＢの画素値から計算された輝度値を用いてもよい。また、Ｔ_ｍａｘやＴ_ｍｉｎは設定値として予め設定しておけば良い。例えば輝度値が８ｂｉｔで表わされている場合には、Ｔ_ｍａｘ＝２５０，Ｔ_ｍｉｎ＝５等とすれば良い。

次に、上述のようにして得た白飛びおよび黒潰れの判定結果を用いて偏光画像の追加取得の要否を判定する。具体的には、全画素に対するｐ（ｘ，ｙ）の和Ｐをとり、Ｐが所定の閾値Ｔ_{ａｄｄ，Ｐ}よりも大きければ偏光画像の追加取得が必要であると判定する。また、全画素に対するｑ（ｘ，ｙ）の和Ｑをとり、Ｑが所定の閾値Ｔ_{ａｄｄ，Ｑ}よりも大きければ偏光画像の追加取得が必要であると判定する。Ｔ_{ａｄｄ，Ｐ}やＴ_{ａｄｄ，Ｑ}は偏光画像の画素値に応じて予め定めれば良く、例えばＴ_{ａｄｄ，Ｐ}＝Ｔ_{ａｄｄ，Ｑ}＝Ｎ×Ｍ／１０等とすれば良い。

Ｓ１０３において偏光画像の追加取得が必要であると判断された場合には、Ｓ１０４において撮影条件を変更して追加で撮影を行う。Ｐが所定の閾値Ｔ_{ａｄｄ，Ｐ}よりも大きいために偏光画像の追加取得が必要であると判断された場合には、露出を下げて撮影を行う。Ｑが所定の閾値Ｔ_{ａｄｄ，Ｑ}よりも大きいために偏光画像の追加取得が必要であると判断された場合には、露出を上げて撮影を行う。このとき、予め定められた量だけ露出を変更しても良いし、ＰやＱの値の大きさによって露出の変化量を定めてもよい。

Ｓ１０４において撮影された偏光画像（第２の偏光画像）は、記憶部３２に記憶される。このとき、第１の偏光画像を上書きして第２の偏光画像を記憶させても良いし、第１の偏光画像とは別に第２の偏光画像を記憶させても良い。

Ｓ１０５では、画像取得手段３３ａによって第２の偏光画像を記憶部３２から取得する。これにより、第１の偏光画像と比較して白飛びまたは黒潰れを起こしている領域が少ない第２の偏光画像を得ることができる。ゆえに、第２の偏光画像から透過軸可変素子２１の透過軸と平行な偏光成分の光強度を取得することで、光強度の取得精度を向上することができる。

Ｓ１０３において偏光画像の追加取得が不要であると判定された場合またはＳ１０５で第２の偏光画像を取得した場合は、Ｓ１０６に進む。Ｓ１０６では全ての軸角度について偏光画像を取得したか否かを判定する。すなわち、透過軸可変素子２１の軸角度を０°、４５°、９０°とした偏光画像がすでに取得されていればＳ１０７に進む。０°、４５°、９０°の角度のうち偏光画像が取得されていない軸角度があればＳ１０１に進み、軸角度を０°、４５°、９０°とした偏光画像を全て取得するまでＳ１０１〜Ｓ１０６の処理を繰り返し実行する。このようにして、画像取得部３３ａによって取得された複数の第１の偏光画像のそれぞれについて、第２の偏光画像を取得するか否かを判定する。

Ｓ１０７（画像処理工程）では、画像処理手段３３ｃにおいてＳ１０１〜Ｓ１０６で取得した偏光画像を用いて画像処理を行い、第１の偏光画像や第２の偏光画像とは異なる画像を生成する。

ここで、偏光画像を追加取得しないと判定された第１の偏光画像については、その第１の偏光画像を用いる。また、ある軸角度で撮影された第１の偏光画像に対して偏光画像を追加取得すると判定された場合、その軸角度についてはＳ１０４で撮影された第２の偏光画像のみを用いて画像処理を行っても良い。また、その軸角度で撮影された第１の偏光画像と第２の偏光画像を共に用いて画像処理を行っても良い。

ただし、第１の偏光画像において白飛びや黒潰れしていない画素が第２の偏光画像において白飛びや黒潰れする場合もあり得る。この場合、第２の偏光画像において白飛びや黒潰れしており、第１の偏光画像において白飛びや黒潰れしていない画素については第１の偏光画像の輝度を用いて画像処理を行うことが好ましい。

また、Ｓ１０１で取得した全ての第１の偏光画像について追加取得が不要であると判断された場合には、これらの第１の偏光画像のみを用いて画像処理を行えば良い。

このように、第１の偏光画像において白飛びまたは黒潰れが生じている場合には、撮影条件を変えて偏光画像を追加で取得することによって、偏光画像の輝度を精度よく得ることができ、偏光画像を用いた画像処理の精度を向上することができる。

本実施例のように、Ｓ１０２の画像取得工程で１枚ずつ偏光画像を取得する場合、軸角度を変更することなく露出を変更するだけで、第２の偏光画像を撮影することができる。

なお、Ｓ１０５で取得した第２の偏光画像に対してさらに偏光画像の追加取得が必要か否か判定しても良い。この場合、Ｓ１０５で第２の偏光画像を取得したのち、Ｓ１０６に進む代わりにＳ１０３に進めば良い。これによって、より白飛びや黒潰れの少ない第２の偏光画像を得ることができる。

また、本実施例において、Ｓ１０４における追加撮影は露出を変えて行っている。そのため、式（２）のＩ（θ）を求める際には追加撮影によって得た画像については他の画像と露出を合わせるように輝度値を調整して用いれば良い。

また、Ｓ１０３おいて偏光画像の追加取得の要否を判定する場合、全画素に対するｐ（ｘ，ｙ）の和Ｐやｑ（ｘ，ｙ）の和Ｑをとる際には、画素毎に重み付けを行って加算することが好ましい。通常、偏光画像を用いた画像処理は画像内の特定の被写体に注目して反射光の状態を変化させた画像を生成する。すなわち偏光画像において、注目している被写体が写っている画素は、背景が写っている画素と比較してより高い精度で輝度を取得することが求められる。

したがって、注目している被写体が写っていると考えられる画素についてはｐ（ｘ，ｙ）やｑ（ｘ，ｙ）に大きな重みをつけて和をとることで、偏光画像の取得精度をさらに向上することができる。

このとき、各画素につける重みをｗ（ｘ，ｙ）とすると、ｗ（ｘ，ｙ）は注目している被写体が写っていると考えられる領域から離れるに従って重みが小さくなるように定められる。図８（ａ）、（ｂ）の各図に、ｗ（ｘ，ｙ）の例を示す。図８（ａ）、（ｂ）の各図に示した数字は、Ｎ＝２０、Ｍ＝２５としたときのｗ（ｘ，ｙ）の値を表している。図８（ａ）は注目している被写体が画像の中央に写っていると考えられる場合を示しており、図８（ｂ）は注目している被写体が画面の左下に写っていると考えられる場合を示している。

このとき、Ｐは全画素に対するｐ（ｘ，ｙ）×ｗ（ｘ，ｙ）の和となる。また、Ｑは全画素に対するｑ（ｘ，ｙ）×ｗ（ｘ，ｙ）の和となる。Ｓ１０３においてはＰが閾値Ｔ_{ａｄｄ，Ｐ}よりも大きければ偏光画像の追加取得が必要であると判定する。Ｑが閾値Ｔ_{ａｄｄ，Ｑ}よりも大きければ偏光画像の追加取得が必要であると判定する。なお、ＰやＱを算出する際に重みｗ（ｘ，ｙ）を用いる場合は、偏光画像の全画素に対するｗ（ｘ，ｙ）の和Ｗに応じて予めＴ_{ａｄｄ，Ｐ}やＴ_{ａｄｄ，Ｑ}を定めれば良い。例えばＴ_{ａｄｄ，Ｐ}＝Ｔ_{ａｄｄ，Ｑ}＝Ｗ／１０等とすれば良い。

このように、Ｓ１０３における偏光画像の追加取得の要否の判定において画素毎に重み付けを行うことで、注目している被写体を重視して追加取得の要否の判定を行うことができる。これによって、注目している被写体についての光強度を偏光画像から取得する際の精度をさらに向上することができる。

なお、ｗ（ｘ，ｙ）の分布は種々の情報を用いて定めることができる。例えば、撮影時にオートフォーカス機能によってピントを合わせている場合には、オートフォーカス機能によって合焦した位置を中心にして被写体が写っていると考えられる。この場合、オートフォーカス機能によって合焦した位置に近いほど大きな値となるようにｗ（ｘ，ｙ）を定めれば良い。

被写体が写っていると考えられる領域を推定する他の方法としては、自動露出の測光方式の情報を用いる方法がある。露出の決定に用いた測光領域においてｗ（ｘ，ｙ）の値を大きくし、測光領域から離れるほど測光領域の小さくすれば良い。

また、撮像装置１００が顔検知機能を有している場合、顔検知された領域においてｗ（ｘ，ｙ）の値が大きくなるようにｗ（ｘ，ｙ）を定めれば良い。その他にも、エッジや色情報を用いて被写体の存在する範囲を推定してｗ（ｘ，ｙ）を定めても良い。

［実施例２］
次に、実施例２における撮像装置について説明する。本実施例における撮像装置は、図１に示した実施例１の撮像装置１００と同様の構成となっており、画像処理部（画像処理装置）３３を有する。本実施例の撮像装置１００においても、偏光選択部２０を有することにより偏光画像を撮影することができる。本実施例の画像処理部３３における処理は、実施例１で説明した処理とは異なり、予め撮影された複数の偏光画像を取得した後に偏光画像の追加取得の要否を判定する。

図９に示すフローチャートを用いて、本実施例の画像処理部３３において実行される画像処理方法について説明する。図９に示したフローチャートは、撮像装置１００において偏光画像を撮影する偏光撮影モードが選択されることで開始する。なお、本実施例においても透過軸可変素子２１の軸角度を０°、４５°、９０°として偏光画像を撮影するものとする。

まず、Ｓ２０１では、透過軸可変素子２１の軸角度を０°、４５°、９０°のいずれか１つの角度に設定する。その後、Ｓ２０２で撮影を行い、偏光画像を得る。この偏光画像は、記憶部３２に記憶される。

Ｓ２０３では、全ての軸角度について偏光画像を撮影したか否かを判定する。すなわち、透過軸可変素子２１の軸角度を０°、４５°、９０°とした偏光画像がすでに撮影されていればＳ２０４に進む。０°、４５°、９０°の角度のうち偏光画像が取得されていない軸角度があればＳ２０１に進み、軸角度を０°、４５°、９０°とした偏光画像を全て取得するまでＳ２０１〜２０３までの処理を繰り返し実行する。

Ｓ２０４（画像取得工程）では、Ｓ２０１〜Ｓ２０３において撮影された複数の偏光画像をそれぞれ第１の偏光画像として記憶部３２から画像取得手段３３ａが取得する。本実施例においてはＳ２０１〜Ｓ２０３で３枚の偏光画像を撮影しているため、Ｓ２０４では３枚の第１の偏光画像を取得することになる。

Ｓ２０５（判定工程）では、３枚の第１の偏光画像のそれぞれについて、偏光画像を追加で取得するか否かを判定手段３３ｂが判定する。ここで、Ｓ２０５における本実施例の偏光画像の追加取得の要否の判定について説明する。なお、以下の説明では、実施例１の場合と同様に、偏光画像の短辺方向の画素数をＮ、長辺方向の画素数をＭとして説明する。

撮影時の軸角度がθとしたとき、Ｓ２０４において取得した各画像の画素毎の輝度をＬ（ｘ，ｙ，θ）とする。すなわち本実施例においては、Ｓ２０４において取得した３枚の画像の輝度をそれぞれＬ（ｘ，ｙ，０）、Ｌ（ｘ，ｙ，４５）、Ｌ（ｘ，ｙ，９０）と表わす。ただし、ｘは１以上Ｍ以下の整数、ｙは１以上Ｎ以下の整数である。

まず、Ｌ（ｘ，ｙ，０）、Ｌ（ｘ，ｙ，４５）、Ｌ（ｘ，ｙ，９０）のそれぞれから白飛びまたは黒潰れしている画素を検出する。具体的には、Ｌ（ｘ，ｙ，θ）の値が白飛び判定用の閾値Ｔ_ｍａｘよりも大きくなっている画素は白飛びしていると判定する。白飛びしていると判定された画素には、白飛び判定用のパラメータｐ（ｘ，ｙ，θ）に１を与え、白飛びしていないと判定された画素にはｐ（ｘ，ｙ，θ）＝０を与える。

また、Ｌ（ｘ，ｙ，θ）の値が黒潰れ判定用の閾値Ｔ_ｍｉｎよりも小さくなっている画素は黒潰れしていると判定する。黒潰れしていると判定された画素には、黒潰れ判定用のパラメータｑ（ｘ，ｙ，θ）に１を与え、黒潰れしていないと判定された画素にはｑ（ｘ，ｙ，θ）＝０を与える。

次に、上述のようにして得た白飛びおよび黒潰れの判定結果を用いて偏光画像の追加取得の要否を判定する。具体的には、ｘおよびｙに対するｐ（ｘ，ｙ，θ）の和Ｐ（θ）をとり、Ｐ（θ）が所定の閾値Ｔ_{ａｄｄ，Ｐ}よりも大きければ、撮影時の軸角度がθである第１の偏光画像については追加取得が必要であると判定する。また、全画素に対するｑ（ｘ，ｙ，θ）の和Ｑ（θ）をとり、Ｑ（θ）が所定の閾値Ｔ_{ａｄｄ，Ｑ}よりも大きければ、撮影時の軸角度がθである第１の偏光画像については追加取得が必要であると判定する。

ここで、Ｔ_{ａｄｄ，Ｐ}やＴ_{ａｄｄ，Ｑ}は偏光画像の画素値に応じて予め定めれば良く、例えばＴ_{ａｄｄ，Ｐ}＝Ｔ_{ａｄｄ，Ｑ}＝Ｎ×Ｍ／１０等とすれば良い。

Ｓ２０５において、第１の偏光画像について偏光画像の追加取得が必要であると判断された場合には、Ｓ２０６において撮影条件を変更して追加で撮影を行う。第１の偏光画像のＰ（θ）が所定の閾値Ｔ_{ａｄｄ，Ｐ}よりも大きいために偏光画像の追加取得が必要であると判断された場合には、露出を下げて追加撮影を行う。第１の偏光画像のＱ（θ）が所定の閾値Ｔ_{ａｄｄ，Ｑ}よりも大きいために偏光画像の追加取得が必要であると判断された場合には、露出を上げて追加撮影を行う。

Ｓ２０６において撮影された偏光画像（第２の偏光画像）は、記憶部３２に記憶される。このとき、第１の偏光画像を上書きして第２の偏光画像を記憶させても良いし、第１の偏光画像とは別に第２の偏光画像を記憶させても良い。

Ｓ２０７では、画像取得手段３３ａによって第２の偏光画像を記憶部３２から取得する。これにより、第１の偏光画像と比較して白飛びまたは黒潰れを起こしている領域が少ない第２の偏光画像を得ることができる。

Ｓ２０８（画像処理工程）では、画像処理手段３３ｃにおいてＳ２０１〜Ｓ２０７で取得した偏光画像を用いて実施例１と同様に画像処理を行い、第１の偏光画像や第２の偏光画像とは異なる画像を生成する。

本実施例のように複数の偏光画像を取得した後に偏光画像の追加取得の要否を判定しても良い。Ｓ２０５において偏光画像の追加取得が必要であると判定された画像が複数ある場合、追加取得が必要であると判定された全ての軸角度について追加で偏光画像を取得しても良いし、一部の軸角度についてのみ追加で偏光画像を取得しても良い。

本実施例のように第１の偏光画像として複数の偏光画像を取得した後に第２の偏光画像を追加で取得するか否かを判定する場合、Ｓ２０５の判定工程において複数の偏光画像の輝度に基づいて追加取得の要否を判定することができる。そのため、例えば一部の軸角度についてのみ追加取得する場合、他の画像よりも顕著に白飛びや黒潰れを起こしている画像について追加取得するように判定することができる。

すなわち、本実施例においては、他のθに比べてＰ（θ）やＱ（θ）の値が大きなθについて追加取得を行うことが好ましい。これによって、少ない追加取得枚数で効果的に光強度の取得精度を向上することができる。

なお、本実施例においても全画素に対するｐ（ｘ，ｙ，θ）の和Ｐ（θ）やｑ（ｘ，ｙ，θ）の和Ｑ（θ）をとる際には、画素毎に重み付けを行っても良い。これによって、偏光画像の取得精度をさらに向上することができる。

なお、Ｓ２０７で取得した第２の偏光画像に対してさらに偏光画像の追加取得が必要か否か判定しても良い。この場合、Ｓ２０７で第２の偏光画像を取得したのち、Ｓ２０８に進む代わりにＳ２０５に進めば良い。これによって、より白飛びや黒潰れの少ない第２の偏光画像を得ることができる。

さらに、本実施例においては、Ｓ２０１〜Ｓ２０３で３枚の偏光画像を撮影する例について説明したが、Ｓ２０１〜Ｓ２０３で撮影する偏光画像の枚数は３枚より多くても良い。ただし、Ｓ２０８における画像処理を行うのに少なくとも３枚の偏光画像が必要である場合、Ｓ２０１〜Ｓ２０３で取得した３枚以上の偏光画像で白飛びも黒潰れもしていない画素については、他の偏光画像から追加で輝度を取得する必要がないと考えられる。このため、このような画素の輝度は追加取得の判定に大きく影響を与えないようにすることが好ましい。

すなわち、第１の偏光画像において白飛びまたは黒潰れしている画素のうち、他の３枚以上の偏光画像において白飛びおよび黒潰れしていない画素の重みは、他の２枚の偏光画像のみで白飛びおよび黒潰れしていない画素の重みよりも小さくすることが好ましい。これによって、少ない追加取得枚数で効果的に光強度の取得精度を向上することができる。

一方、白飛びも黒潰れもしていない偏光画像が２枚以下である画素については、その画素について白飛びも黒潰れもしていない偏光画像の枚数が多いものほど大きな重みをつけて追加取得の判定をすることが好ましい。

すなわち、第１の偏光画像において白飛びまたは黒潰れしている画素のうち、他の２枚の偏光画像のみで白飛びおよび黒潰れしていない画素は、他の１枚の偏光画像のみで白飛びおよび黒潰れしていない画素よりも大きな重みをつけることが好ましい。これによって、少ない追加取得枚数で効果的に光強度の取得精度を向上することができる。

［実施例３］
次に、実施例３における撮像装置について説明する。本実施例における撮像装置は、図１に示した実施例１および実施例２の撮像装置１００と同様の構成となっており、画像処理部（画像処理装置）３３を有する。本実施例の撮像装置１００においても、偏光選択部２０を有することにより偏光画像を撮影することができる。本実施例の画像処理部３３における処理は、図９に示す実施例２における処理と同様に、予め撮影された複数の偏光画像を取得した後に偏光画像の追加取得の要否を判定する。

本実施例では、Ｓ２０６の追加撮影において、軸角度を変更して撮影する点で実施例２とは異なっている。以下では、図９に示すフローチャートを用いて本実施例における処理を説明するが、Ｓ２０１〜Ｓ２０５までは実施例２で説明した処理と同様であるため説明を省略する。また、本実施例においてもＳ２０１〜Ｓ２０３において透過軸可変素子２１の軸角度を０°、４５°、９０°として３枚の偏光画像を撮影したものとする。

Ｓ２０５において、ある軸角度で撮影された第１の偏光画像について追加取得が必要であると判断された場合には、Ｓ２０４において取得した偏光画像の撮影時の軸角度とは異なる軸角度で追加撮影を行う。すなわち、本実施例ではＳ２０４において軸角度を０°、４５°、９０°とした３枚の偏光画像を取得しているため、Ｓ２０６では軸角度を０°、４５°、９０°以外の角度に設定して追加撮影を行う。

図５からわかるように、軸角度を変えることで撮像素子３１に到達する光強度は大きく変化する。ゆえに、第１の偏光画像においては白飛びまたは黒潰れが顕著に起こっていたとしても、軸角度を変えて追加撮影することで白飛びまたは黒潰れを起こしている領域が少ない第２の偏光画像を得ることができる。

実施例１または２の画像処理方法では、露出を変更して撮影された第２の偏光画像を追加取得した場合について説明した。本実施例においても追加撮影時に軸角度と共に露出を変えても良い。しかしながら、露出を変更して撮影する際にはＩＳＯ感度とシャッタースピードとＦナンバーの少なくとも１つを変更して撮影することになる。そのため、第２の偏光画像と第１の偏光画像はノイズ量や被写界深度が異なる場合がある。

しかしながら、露出を変更せずに軸角度のみを変更して追加撮影された偏光画像を第２の偏光画像として取得する場合、ノイズ量や被写界深度が第１の偏光画像と同等な偏光画像を得ることができる。さらに、軸角度のみを変更して撮影された偏光画像を追加で取得する場合には、露出量の違いに応じた各偏光画像の輝度の補正を行う必要がない。

なお、本実施例のように軸角度を変更して撮影された偏光画像を追加で取得する場合、追加取得する偏光画像は白飛びまたは黒潰れを起こす領域がなるべく少なくなるような軸角度で撮影された偏光画像であることが好ましい。これについて、図１０を用いて説明する。

図１０（ａ）〜（ｃ）の各図は、ある画素の輝度と偏光方向の関係を示している。図１０（ａ）〜（ｃ）の各図において、白丸はＳ２０１〜Ｓ２０３で軸角度を０°、４５°（第１の角度）、９０°（第２の角度）として撮影した３つの偏光画像における輝度を表している。また、図１０（ａ）〜（ｃ）の各図に示した破線は撮像素子３１の取得できる輝度の上限値を示している。図１０（ａ）では、０°において白飛びが生じている場合について示している。このとき、図１０（ａ）に四角で示すように、軸角度を４５°より大きく９０°より小さな第３の角度に設定して撮影することで白飛びが少ない画像を得ることができることがわかる。

また、図１０（ｂ）では、４５°において白飛びが生じている場合について示している。このとき、図１０（ｂ）に四角で示すように、軸角度を９０°よりも大きく、１８０°よりも小さな第４の角度に設定して撮影することで白飛びが少ない画像を得ることができることがわかる。なお、この場合、軸角度を０°よりも小さな角度に設定して撮影しても良い。

さらに、図１０（ｃ）では、９０°において白飛びが生じている場合について示している。このとき、図１０（ｃ）に四角で示すように、軸角度を４５°より大きく９０°より小さな第５の角度に設定して撮影を行うことで白飛びが少ない画像を得ることができることがわかる。

すなわち、Ｓ２０１〜Ｓ２０３において撮影した３枚の偏光画像のうち、最も小さな軸角度で白飛びが生じている場合、軸角度をその他の２つの軸角度の間の角度である第３の角度に設定して撮影された偏光画像を追加で取得する。また、２番目に小さな軸角度で白飛びが生じている場合、軸角度を最も大きな軸角度よりも大きく１８０°よりも小さな第４の角度に設定して撮影された偏光画像を追加で取得する。最も大きな軸角度で白飛びが生じている場合には、最も小さい軸角度よりも大きく２番目に小さい軸角度よりも小さな第５の角度に設定して撮影された偏光画像を追加で取得する。

これによって、白飛びが少ない画像を得ることができる。なお、これは黒潰れの場合についても同様である。

［変形例１］
図１に示す撮像装置１００においては、レンズ部１０と本体部３０の間に偏光選択部２０が設けられている例について説明したが、偏光選択部２０をレンズ部１０よりも物体側に設けても被写体からの光から特定の偏光成分を分離することができる。

また、実施例１〜３では、被写体からの光から特定の偏光成分を分離するために、撮像装置１００がλ／４板２１１、可変位相板２１２および偏光板２１３からなる透過軸可変素子２１を有する例について説明した。しかしながら、本発明はこれに限定されず、被写体からの光から特定の偏光成分を分離するための他の手段を用いても良い。

例えば、透過軸可変素子２１の代わりに偏光板および該偏光板を回転させる駆動手段を撮像装置１００に設けても良い。この場合、偏光板を回転させることにより偏光板を透過できる偏光成分を変化させることができる。これによって、被写体からの光から特定の偏光成分を分離することができる。このような偏光板および該偏光板を回転させる駆動手段は、レンズ部１０と本体部３０の間に設けても良いし、レンズ部１０よりも物体側に設けても良い。

さらに、撮像素子３１に上に、特定の偏光成分を選択的に透過する２種類以上の偏光フィルタを設けても良い。特許文献１には、撮像素子の各画素の上にＳ偏光を透過させる偏光フィルタとＰ偏光を透過させる偏光フィルタを設けることが記載されている。このような撮像素子および偏光フィルタを用いることで、１度の撮影でＳ偏光による偏光画像とＰ偏光による偏光画像を同時に取得することができる。

［変形例２］
上述した実施例１〜３では、判定手段３３ｂによって他の偏光画像を取得すると判定された場合には、新たに撮影した偏光画像を第２の偏光画像として用いる例について説明したが、本発明はこれに限定されない。予め撮影された偏光画像の中から第２の偏光画像を取得しても良い。

例えば、予め撮影条件が互いに異なる偏光画像を画像処理手段３３ｃにおける画像処理に必要な枚数以上撮影しておき、その中の一部の画像を第１の偏光画像として取得する。その後、判定手段３３ｂによって他の偏光画像を取得すると判定された場合には、予め撮影した偏光画像から第１の偏光画像以外の適当な偏光画像を第２の偏光画像として取得しても良い。このように第２の偏光画像となり得る偏光画像を予め撮影しておくことで、第２の偏光画像を後から撮影する必要がなくなる。したがって、第１の偏光画像の撮影時と第２の偏光画像の撮影時における撮影環境の変化を低減することができる。

［変形例３］
上述した実施例１〜３では、第１の偏光画像において白飛びまたは黒潰れしている画素を加算して追加取得の判定を行う例について説明したが、本発明はこれに限定されない。白飛びまたは黒潰れしていない画素を加算して追加取得の判定を行っても良い。この場合、白飛びしていないと判定された画素には、白飛び判定用のパラメータｐ（ｘ，ｙ）に１を与え、白飛びしていると判定された画素にはｐ（ｘ，ｙ）＝０を与える。また、黒潰れしていないと判定された画素には、黒潰れ判定用のパラメータｑ（ｘ，ｙ）に１を与え、黒潰れしていないと判定された画素にはｑ（ｘ，ｙ）＝０を与える。

その後、全画素に対するｐ（ｘ，ｙ）の和Ｐをとり、Ｐが所定の閾値Ｔ_{ａｄｄ，Ｐ}よりも小さければ偏光画像の追加取得が必要であると判定する。また、全画素に対するｑ（ｘ，ｙ）の和Ｑをとり、Ｑが所定の閾値Ｔ_{ａｄｄ，Ｑ}よりも小さければ偏光画像の追加取得が必要であると判定する。このときのＴ_{ａｄｄ，Ｐ}やＴ_{ａｄｄ，Ｑ}は例えばＴ_{ａｄｄ，Ｐ}＝Ｔ_{ａｄｄ，Ｑ}＝９ＮＭ／１０等とすれば良い。

さらに、この場合においてもｐ（ｘ，ｙ）の和Ｐやｑ（ｘ，ｙ）の和Ｑの和をとる際に重みを付けても良い。ただし、本変形例において用いる重みは、前述した実施例１〜３における重みと大小関係が逆転する。

すなわち、第１の偏光画像がオートフォーカス機能を用いて撮影された場合にはオートフォーカス機能によって合焦した位置に近いほど小さな値となるように重みを定めれば良い。

また、第１の偏光画像において白飛びまたは黒潰れしている画素のうち、他の３枚以上の偏光画像において白飛びおよび黒潰れしていない画素の重みは、他の２枚の偏光画像のみで白飛びおよび黒潰れしていない画素の重みよりも大きくすれば良い。

また、第１の偏光画像において白飛びまたは黒潰れしている画素のうち、他の２枚の偏光画像のみで白飛びおよび黒潰れしていない画素は、他の１枚の偏光画像のみで白飛びおよび黒潰れしていない画素よりも小さな重みをつけることが好ましい。

［変形例４］
実施例１〜３では、少なくとも３つの軸角度で撮影された３枚以上の偏光画像の輝度から式（２）のａ，ｂ，αを算出するための追加取得の要否の判定について説明したが、本発明はこれに限定されない。偏光画像から偏光度、差分偏光度、偏光比等を不図示の情報取得手段によって取得して画像処理を行っても良い。

ここで、偏光度とは、ストークスパラメータＳ_０〜Ｓ_３を用いて（Ｓ_１ ^２＋Ｓ_２ ^２＋Ｓ_３ ^２）^１／２／Ｓ_０なる式で与えられる値である。差分偏光度は、Ｓ_１／Ｓ_０なる式で与えられる値である。偏光比は、直交する２つの偏光成分の光強度の比であり、Ｉ（θ）／Ｉ（θ＋９０°）なる式で与えられる値である。

このため、必ずしも３つの軸角度で撮影された３枚の偏光画像を撮影する必要はなく、例えば直交する二つの軸角度で撮影された２枚の偏光画像に対して追加取得の要否を判定しても良い。また、異なる４つ以上の軸角度で撮影された４枚以上の偏光画像に対して追加取得の要否を判定しても良い。

なお、上述した実施例１〜３では、画像処理装置としての画像処理部３３を有する撮像装置（デジタルカメラ）について説明したが、本発明はこれに限定されない。画像処理装置としては、例えば自動車に設けられた車載カメラで撮影された画像を処理する画像処理部であっても良い。また、画像処理装置と撮像装置は別体であっても良い。この場合、画像処理装置としてのコンピュータと撮像装置を有線または無線で接続し、撮像装置で撮影した偏光画像をコンピュータに送信し、コンピュータ内で上述した画像処理を行えば良い。

以上、本発明の実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

３３ 画像処理部（画像処理装置）
３３ａ 画像取得手段
３３ｂ 判定手段
３３ｃ 画像処理手段

Claims (21)

1. 被写体からの光から特定の偏光成分を分離して撮影された偏光画像を取得する画像取得手段と、
   前記画像取得手段によって取得された複数の第１の偏光画像のそれぞれについて、前記第１の偏光画像とは異なる撮影条件で撮影された第２の偏光画像を取得するか否かを前記第１の偏光画像の輝度に基づいて判定する判定手段と、
   第１の偏光画像について第２の偏光画像を取得しないと判定された場合の該第１の偏光画像および第１の偏光画像について第２の偏光画像を取得すると判定された場合に取得した第２の偏光画像を含む複数の偏光画像を用いて画像処理を行う画像処理手段と、
   を有することを特徴とする画像処理装置。
2. 前記第２の偏光画像は、前記判定手段において第１の偏光画像について前記第２の偏光画像を取得すると判定された後に該第１の偏光画像とは異なる撮影条件で撮影された画像であることを特徴とする請求項１に記載の画像処理装置。
3. 前記第２の偏光画像は、前記判定手段において第１の偏光画像について前記第２の偏光画像を取得すると判定される前に該第１の偏光画像とは異なる撮影条件で撮影された画像であることを特徴とする請求項１に記載の画像処理装置。
4. 前記判定手段における前記第２の偏光画像を取得するか否かの判定は、前記第１の偏光画像における白飛びと黒潰れの少なくとも一方を判定して行うことを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
5. 前記判定手段における前記第２の偏光画像を取得するか否かの判定は、前記第１の偏光画像において白飛びしていると判定された画素の数を画素の位置に応じて重みを付けて加算した値と、前記第１の偏光画像において白飛びしていないと判定された画素の数を画素の位置に応じて重みを付けて加算した値の少なくとも一方を用いて行うことを特徴とする請求項４に記載の画像処理装置。
6. 前記判定手段における前記第２の偏光画像を取得するか否かの判定は、前記第１の偏光画像において黒潰れしていると判定された画素の数を画素の位置に応じて重みを付けて加算した値と、前記第１の偏光画像において黒潰れしていないと判定された画素の数を画素の位置に応じて重みを付けて加算した値の少なくとも一方を用いて行うことを特徴とする請求項４または５に記載の画像処理装置。
7. 前記判定手段において第１の偏光画像について第２の偏光画像を取得すると判定された場合、前記判定手段が他の第１の偏光画像について判定を行う前に、第２の偏光画像を取得することを特徴とする請求項１乃至６のいずれか一項に記載の画像処理装置。
8. 前記第２の偏光画像は、前記複数の第１の偏光画像のそれぞれについて第２の偏光画像を取得するか否かを判定した後に取得された画像であることを特徴とする請求項１乃至６のいずれか一項に記載された画像処理装置。
9. 前記画像処理手段は少なくとも３枚の偏光画像を用いて前記画像処理を行い、
   前記画像取得手段は、前記第１の偏光画像として３枚以上の偏光画像を取得し、
   前記判定手段において、白飛びしていると判定された画素の数を画素の位置に応じて重みを付けて加算した値と、黒潰れしていると判定された画素の数を画素の位置に応じて重みを付けて加算した値と、の少なくとも一方を用いて前記第２の偏光画像を取得するか否かを判定する場合には、
   前記第１の偏光画像のうちの３枚以上の偏光画像で白飛びおよび黒潰れしていない画素の重みは、前記第１の偏光画像のうちの２枚の偏光画像のみで白飛びおよび黒潰れしていない画素の重みよりも小さくし、
   前記判定手段において、白飛びしていないと判定された画素の数を画素の位置に応じて重みを付けて加算した値と、黒潰れしていないと判定された画素の数を画素の位置に応じて重みを付けて加算した値と、の少なくとも一方を用いて前記第２の偏光画像を取得するか否かを判定する場合においては、
   前記第１の偏光画像のうちの３枚以上の偏光画像で白飛びおよび黒潰れしていない画素の重みは、前記第１の偏光画像のうちの２枚の偏光画像のみで白飛びおよび黒潰れしていない画素の重みよりも大きくすることを特徴とする請求項８に記載の画像処理装置。
10. 前記画像処理手段は少なくとも３枚の偏光画像を用いて前記画像処理を行い、
    前記画像取得手段は、前記第１の偏光画像として３枚以上の偏光画像を取得し、
    前記判定手段において、白飛びしていると判定された画素の数を画素の位置に応じて重みを付けて加算した値と、黒潰れしていると判定された画素の数を画素の位置に応じて重みを付けて加算した値と、の少なくとも一方を用いて前記第２の偏光画像を取得するか否かを判定する場合においては、
    前記第１の偏光画像のうちの２枚の偏光画像のみで白飛びおよび黒潰れしていない画素の重みは、前記第１の偏光画像のうちの１枚の偏光画像のみで白飛びおよび黒潰れしていない画素の重みよりも大きくし、
    前記判定手段において、白飛びしていないと判定された画素の数を画素の位置に応じて重みを付けて加算した値と、黒潰れしていないと判定された画素の数を画素の位置に応じて重みを付けて加算した値と、の少なくとも一方を用いて前記第２の偏光画像を取得するか否かを判定する場合においては、
    前記第１の偏光画像のうちの２枚の偏光画像のみで白飛びおよび黒潰れしていない画素の重みは、前記第１の偏光画像のうちの１枚の偏光画像のみで白飛びおよび黒潰れしていない画素の重みよりも小さくすることを特徴とする請求項８または９に記載の画像処理装置。
11. 前記第１の偏光画像はオートフォーカス機能を用いて撮影された画像であって、
    前記判定手段において、白飛びしていると判定された画素の数を画素の位置に応じて重みを付けて加算した値と、黒潰れしていると判定された画素の数を画素の位置に応じて重みを付けて加算した値と、の少なくとも一方を用いて前記第２の偏光画像を取得するか否かを判定する場合においては、
    第１の偏光画像を撮影した際に前記オートフォーカス機能によって合焦した位置に近い位置にある画素ほど重みを大きくし、
    前記判定手段において、白飛びしていないと判定された画素の数を画素の位置に応じて重みを付けて加算した値と、黒潰れしていないと判定された画素の数を画素の位置に応じて重みを付けて加算した値と、の少なくとも一方を用いて前記第２の偏光画像を取得するか否かを判定する場合においては、
    第１の偏光画像を撮影した際に前記オートフォーカス機能によって合焦した位置に近い位置にある画素ほど重みを小さくすることを特徴とする請求項５または６に記載の画像処理装置。
12. 前記第１の偏光画像に対して前記第２の偏光画像を取得すると判定された場合において、
    前記第２の偏光画像において白飛びまたは黒潰れしている画素のうち、前記第１の偏光画像において白飛びも黒潰れもしていない画素がある場合には、
    前記画像処理手段は、前記画素については前記第１の偏光画像の輝度を用いて前記画像処理を行うことを特徴とする請求項１乃至１１のいずれか一項に記載の画像処理装置。
13. 前記第１の偏光画像と前記第２の偏光画像の撮影時の露出は異なることを特徴とする請求項１乃至１２のいずれか一項に記載の画像処理装置。
14. 前記第２の偏光画像は、被写体からの光のうち前記第１の偏光画像とは異なる偏光成分を分離して撮影された偏光画像であることを特徴とする請求項１乃至１３のいずれか一項に記載の画像処理装置。
15. 複数の前記第１の偏光画像は、
    第１の方向に偏光している偏光成分を被写体からの光から分離して撮影された偏光画像と、
    時計回りに前記第１の方向と第１の角度を成す第２の方向に偏光している偏光成分を被写体からの光から分離して撮影された偏光画像と、
    時計回りに前記第１の方向と前記第１の角度よりも大きく１８０°よりも小さな第２の角度を成す第３の方向に偏光している偏光成分を被写体からの光から分離して撮影された偏光画像と、からなり、
    前記判定手段によって、前記複数の前記第１の偏光画像のうち前記第１の方向に偏光している偏光成分を分離して撮影された偏光画像について前記第２の偏光画像を取得すると判定された場合には、時計回りに前記第１の方向と前記第１の角度よりも大きく前記第２の角度よりも小さな第３の角度を成す方向に偏光している偏光成分を被写体からの光から分離して撮影された偏光画像を前記第２の偏光画像として取得し、
    前記判定手段によって、前記複数の前記第１の偏光画像のうち前記第２の方向に偏光している偏光成分を分離して撮影された偏光画像について前記第２の偏光画像を取得すると判定された場合には、時計回りに前記第１の方向と前記第３の角度よりも大きく、１８０°よりも小さな第４の角度を成す方向に偏光している偏光成分を被写体からの光から分離して撮影された偏光画像を前記第２の偏光画像として取得し、
    前記判定手段によって、前記複数の前記第１の偏光画像のうち前記第３の方向に偏光している偏光成分を分離して撮影された偏光画像について前記第２の偏光画像を取得すると判定された場合には、時計回りに前記第１の方向と０°よりも大きく前記第１の角度よりも小さな第５の角度を成す方向に偏光している偏光成分を被写体からの光から分離して撮影された偏光画像を前記第２の偏光画像として取得することを特徴とする請求項１４に記載の画像処理装置。
16. 前記偏光画像は、
    遅相軸に平行な偏光成分と進相軸に平行な偏光成分との間にπ／２の位相差を与える第１の位相板と、遅相軸に平行な偏光成分と進相軸に平行な偏光成分との間に与える位相差を変更可能な第２の位相板と、偏光板と、に被写体からの光を順に透過させて特定の偏光成分を分離して撮影された画像であることを特徴とする請求項１乃至１５のいずれか一項に記載の画像処理装置。
17. 前記画像処理手段は、前記複数の偏光画像の輝度を用いて前記複数の偏光画像とは異なる画像を形成することを特徴とする請求項１乃至１６のいずれか一項に記載の画像処理装置。
18. 前記画像処理装置は、それぞれ異なる偏光成分を分離して撮影された複数の偏光画像の輝度を用いて、偏光度と差分偏光度と偏光比の少なくとも１つの情報を取得する情報取得手段を有し、
    前記画像処理手段は、前記情報取得手段によって取得した前記情報を用いて、前記複数の偏光画像とは異なる画像を形成することを特徴とする請求項１乃至１７のいずれか一項に記載の画像処理装置。
19. 前記画像処理装置は、それぞれ異なる偏光成分を分離して撮影された複数の偏光画像の輝度を用いて、被写体からの光に含まれる偏光成分のうち光強度が最大である最大偏光成分の光強度と、前記最大偏光成分の偏光方向と、被写体からの光に含まれる偏光成分のうち光強度が最小である最小偏光成分の光強度と、前記最小偏光成分の偏光方向と、の少なくとも１つの情報を取得する情報取得手段を有し、
    前記画像処理手段は、前記情報取得手段によって取得した前記情報を用いて、前記複数の偏光画像とは異なる画像を形成することを特徴とする請求項１乃至１８のいずれか一項に記載の画像処理装置。
20. 請求項１乃至１９のいずれか一項に記載の画像処理装置と、撮像素子を有する撮像装置であって、前記画像処理装置において前記第１の偏光画像に対して第２の偏光画像を取得すると判定された場合には、撮影条件を変更して前記第２の偏光画像を撮影することを特徴とする撮像装置。
21. 被写体からの光から特定の偏光成分を分離して撮影された偏光画像を取得する画像取得工程と、
    前記画像取得工程によって取得された複数の第１の偏光画像のそれぞれについて、前記第１の偏光画像とは異なる撮影条件で撮影された第２の偏光画像を取得するか否かを前記第１の偏光画像の輝度に基づいて判定する判定工程と、
    第１の偏光画像について第２の偏光画像を取得しないと判定された場合の該第１の偏光画像および第１の偏光画像について第２の偏光画像を取得すると判定された場合に取得した第２の偏光画像を含む複数の偏光画像を用いて画像処理を行う画像処理工程と、
    を有することを特徴とする画像処理方法。

Images