JP2023081728A - 画像処理装置、撮像装置および画像処理方法 - Google Patents

Abstract

【課題】偏光素子の入射角度特性の影響を低減した偏光情報を得る。【解決手段】画像処理装置１００は、互いに異なる複数の偏光方位の光を透過させる偏光素子を介した被写体の撮像により生成された第１の画像を取得する画像取得手段１０１と、撮像における撮像条件に関する情報を取得する撮像条件取得手段１０２と、撮像条件に関する情報に応じて、第１の画像における偏光方位に関する情報を設定する偏光方位設定手段１０３と、偏光方位に関する情報を用いて第１の画像から偏光情報を取得する偏光情報取得手段１０４とを有する。【選択図】図１

Description

本発明は、撮像画像から得られる偏光情報を利用した画像処理技術に関する。

被写体からの偏光方位や強度および非偏光成分の強度等を示す偏光情報を取得するための撮像方法として、偏光板を介した撮像において偏光板を回転させて複数の撮像画像を取得する方法がある。また、特許文献１に開示されているように、位相差板（λ／４板）、可変位相差板（液晶）および偏光板からなる偏光素子を介した撮像において、可変位相差板が光線に付与する位相差を変えることで、偏光板を回転させることなく偏光状態が異なる複数の撮像画像を取得する方法がある。

さらに、特許文献２には、上記偏光素子を介した撮像において、可変位相差板の光学軸を撮像素子の短辺に平行になるように設定することで、偏光情報に対する可変位相差板の入射角度特性の影響を低減する方法が開示されている。

特開２０１６－１４５９２４号公報 特開２０１８－０１００４９号公報

しかしながら、特許文献１、２の方法では、撮像画像のうち可変位相差板に対する光線の入射角度が相対的に大きい領域や、可変位相差板により光線に付与される位相差が大きく入射角度特性が相対的に低下した領域では、得られる偏光情報に対する入射角度特性の影響が無視できなくなる。

本発明は、偏光素子の入射角度特性の影響を低減した偏光情報を得ることが可能な画像処理装置およびこれを用いた撮像装置等を提供する。

本発明の一側面としての画像処理装置は、互いに異なる複数の偏光方位の光を透過させる偏光素子を介した被写体の撮像により生成された第１の画像を取得する画像取得手段と、撮像における撮像条件に関する情報を取得する撮像条件取得手段と、撮像条件に関する情報に応じて、第１の画像における偏光方位に関する情報を設定する偏光方位設定手段と、偏光方位に関する情報を用いて第１の画像から偏光情報を取得する偏光情報取得手段とを有することを特徴とする。なお、光学系、偏光素子および撮像素子と上記画像処理装置とを有する撮像装置も、本発明の他の一側面を構成する。

また、本発明の他の一側面としての画像処理方法は、互いに異なる複数の偏光方位の光を透過させる偏光素子を介した被写体の撮像により生成された第１の画像を取得するステップと、撮像における撮像条件に関する情報を取得するステップと、撮像条件に関する情報に応じて、第１の画像における偏光方位に関する情報を設定するステップと、偏光方位に関する情報を用いて第１の画像から偏光情報を取得するステップとを有することを特徴とする。なお、上記画像処理方法に従う処理をコンピュータに実行させるプログラムも、本発明の他の一側面を構成する。

本発明によれば、偏光素子の入射角度特性の影響を低減した偏光情報を得ることができる。

実施例１の画像処理装置の構成を示す図。 実施例１における輝度と透過偏光方位との関係を示す図。 実施例１の画像処理装置を含む撮像装置を示す図。 実施例１２におけるλ／４板と可変位相差板の軸方位の関係を示す図。 実施例１における補正偏光方位情報の使用領域を示す図。 実施例１における使用領域の回転を示す図。 実施例１における使用領域の平行移動を示す図。 実施例１における光学系の撮像素子に対するチルトとそのときの補正偏光方位情報の設定を示す図。 実施例１における製造誤差を補償する補正偏光方位情報の設定を示す図。 実施例１におけるデータ化された補正偏光方位情報の例を示す図。 実施例１における処理を示すフローチャート。 実施例２の撮像装置の構成を示す図。 参考例１の画像処理装置の構成を示す図。 参考例１における処理を示すフローチャート。 参考例１における軸方向および補正係数変化を示す図。 参考例１におけるその他の補正係数変化を示す図。 参考例２における処理を示すフローチャート。

以下、本発明の実施例について図面を参照しながら説明する。

実施例１の画像処理装置は、互いに異なる複数の偏光方位の光を透過させる偏光素子を介した被写体の撮像により得られた１または複数の撮像画像（第１の画像）から偏光情報を取得する機能を有する。また、画像処理装置は、偏光素子の入射角度特性（つまりは透過偏光方位の不均一な面内分布）を補正する機能を有する。さらに画像処理装置は、取得した偏光情報を用いて合成画像（第２の画像）を生成する機能も有する。

図１は、実施例１の画像処理装置１００の構成を示す。画像処理装置１００は、画像取得手段としての画像取得部１０１、撮像条件取得手段としての撮像条件取得部１０２、偏光方位設定手段としての偏光方位設定部１０３、偏光情報取得手段としての偏光情報取得部１０４および画像生成手段としての画像生成部１０５を有する。

画像取得部１０１は、光学系、偏光素子および撮像素子を含む撮像装置により被写体を撮像することで生成された撮像画像を取得する。なお、画像処理装置１００は、パーソナルコンピュータ等、撮像装置とは別の装置であってもよいし、後述するように撮像装置に搭載されてもよい。

偏光情報取得部１０４は、偏光方位設定部１０３により設定された補正偏光方位情報を用いて偏光情報を取得する。偏光情報および補正偏光方位情報については後述する。

画像生成部１０５は、取得された偏光情報を用いて合成画像を生成する。合成画像の具体例については後述する。

撮像条件取得部１０２は、偏光情報を算出する際に撮像時の撮像条件に関する情報（撮像条件を示す又はそれに変換可能な情報：以下、撮像条件情報という）を取得する。撮像条件については後述する。

偏光方位設定部１０３は、取得された撮像条件情報に応じた偏光素子の入射角度特性に基づいて透過偏光方位を補正することで、撮像画像における偏光方位に関する情報、すなわち補正偏光方位情報を設定する。補正偏光方位情報は、撮像画像の画素ごとまたは領域ごと（例えば、偏光素子における光線入射角度が異なる位置または領域に対応する画素または領域ごと）に設定される、偏光情報取得用の偏光方位を示す又はそれに変換可能な情報である。

以下、上述した画像処理装置１００の各部が実行する処理をより詳細に説明する。図１１のフローチャートは上記処理（画像処理方法）の流れを示しており、以下の説明では括弧書きで該当するステップ番号（Ｓ１０１～Ｓ１０５）を付す。コンピュータとしての画像処理装置１００は、プログラムに従って本処理を実行する。

画像取得部１０１は、上述したように偏光素子を備えた撮像装置が被写体を撮像することにより生成された、透過偏光方位が互いに異なる複数の撮像画像を取得する（Ｓ１０１）。

撮像装置が有する偏光素子は、これを透過する光の偏光方位である透過偏光方位が可変な素子である。このような偏光素子は、例えば、光学系の光軸回りで回転可能な偏光板や、特許文献１、２にも開示されているように透過光に付与する位相差を変更可能な可変位相差板を用いて構成することができる。可変位相差板は、ＶＡ液晶やＯＣＢ液晶等により構成することができる。透過偏光方位が可変な偏光素子を有する撮像装置は、偏光素子の透過偏光方位を互いに異ならせた複数回の撮像により、それぞれ異なる透過偏光方位での偏光情報を含む複数の撮像画像を生成する。

偏光素子は、被写体と撮像素子との間に配置されていればよい。具体的には、光学系よりも被写体側、光学系の内部および光学系と撮像素子との間のいずれかに配置されていればよい。ただし、被写体と偏光素子との間に複屈折を有する材料や別の偏光素子が配置されると、被写体からの光の偏光状態が乱れて好ましくない。このため、撮像装置がプラスチックレンズ、偏光板を用いた可変ＮＤおよび複屈折材料からなる光学ローパスフィルタ等を含む場合には、偏光素子はそれらの光学要素より被写体側に配置することが好ましい。

また、偏光素子は複数の透過偏光方位を有していてもよい。例えば、偏光素子は、撮像素子の画素ごとに配置された、透過偏光方位が互いに異なる複数の偏光板を含んでいてもよい。すなわち、撮像素子として、画素ごとに偏光板を備えた偏光イメージセンサを用いてもよい。この場合、撮像装置は、偏光イメージセンサによる１回の撮像で複数の透過偏光方位での偏光情報を含んだ１つの撮像画像を生成する。

なお、撮像画像は、画像データであれば形式は問わないが、圧縮や補正等の処理が行われてない、いわゆるＲＡＷ画像が好ましい。

撮像条件取得部１０２は、画像取得部１０１により取得された撮像画像の撮像時における撮像条件情報を取得する（Ｓ１０２）。撮像条件は、偏光素子に関わる条件を除く撮像に関わる様々な条件であり、光学系の焦点距離、Ｆナンバー、分光透過率、射出瞳位置、フォーカス状態、被写体距離、撮像倍率および光学系の種類や仕様等を含む。また、光学系が撮像素子に対してシフト方向やチルト方向に変位可能である場合には、その変位量（シフト量やチルト量）も撮像条件に含まれる。さらに、撮像条件には、撮像素子のサイズ、最大像高、画素ピッチ、全画素数およびクロップ画素数が含まれる。撮像条件に温度、湿度、気圧、撮像装置の識別情報を含んでもよい。

撮像条件取得部１０２は、ユーザが撮像装置に対して手動で設定した撮像条件を示す情報を読み込んだり、撮像画像のヘッダー領域やExif形式の指定領域にメタ情報として付与された撮像条件情報を読み出したりすることで撮像条件情報を取得する（Ｓ１）。また、撮像条件取得部１０２は、撮像画像をDeepLearning等の手法で解析することで撮像条件情報を取得したり、撮像時に使用された測距装置や撮像装置を制御する制御装置等の他の装置から撮像条件情報を取得したりしてもよい。

偏光方位設定部１０３は、撮像時の偏光素子における透過偏光方位に関する情報（例えば、後述する可変位相差板への印加電圧の情報）を取得する。そして、撮像条件取得部１０２で取得された撮像条件情報と撮像時における偏光素子の透過偏光方位に関する情報に応じて補正偏光方位情報を設定する（Ｓ１０３）。

偏光素子は、理想的には、入射する光線に対して、その入射角度にかかわらず一定の透過偏光方位かつ一定の透過率を持つことが望ましい。しかし、実際には偏光素子への光線入射角度によって光路長や偏光素子の遅相軸の見かけの角度が変化するため、偏光素子の透過偏光方位や透過率に分布が生じる。特に、入射角度の範囲が大きい場合や前述した可変位相差板を含む偏光素子を用いた場合に、偏光素子の面内での透過偏光方位や透過率の変化が大きくなる。このうち透過偏光方位の面内分布は、撮像画像から取得される偏光情報への影響が大きい。そこで、本実施例では、補正偏光方位情報を撮像条件（情報）に応じて設定することで、撮像画像から得られる偏光情報に対する偏光素子の入射角度特性の影響を低減する。

補正偏光方位情報の設定は、複数の撮像条件および偏光素子の複数の透過偏光方位で事前に算出した補正偏光方位情報をデータとして保持し、該データから、撮像条件取得部１０２で取得した撮像条件情報に応じた適切な補正偏光方位情報を取得することで行う。以下、補正偏光方位情報の算出方法について説明する。偏光素子を透過偏光方位θの偏光板と仮定すると、ミューラー行列は、次式（１）で定義できる。

この偏光素子への入射光のストークスパラメータをＳ_０～Ｓ_３、該偏光素子からの出射光のストークスパラメータをＳ_０’～Ｓ_３’とするとき、Ｓ_０’～Ｓ_３’は次式（２）で表される。

このため、測定される光強度（輝度）Ｉは、次式（３）で表される。

また、偏光方向が０°、４５°、９０°および１３５°の直線偏光のストークスパラメータはそれぞれ、次式（４）で表される。

このため、０°、４５°、９０°および１３５°の直線偏光が入射したときにそれぞれ測定される光強度Ｉ０°、Ｉ４５°、Ｉ９０°およびＩ１３５°は、次式（５）～（８）で表される。

式（５）～（８）より、偏光方位θは次式（９）で表される。

式（９）により、撮像装置において被写体からの４つの直線偏光（０°、４５°、９０°、１３５°）を撮像したときの撮像条件および偏光素子の透過偏光方位での補正偏光方位情報を算出することができる。

なお、補正偏光方位情報を算出する方法は上述したものに限らず、直線偏光の偏光方位を変化させて撮像し、測定される光強度が最大となる偏光方位を補正偏光方位情報としてもよい。また、実際に撮像を行わずに、偏光素子の理論的な入射角度特性から補正偏光方位情報を計算してもよい。

このように本実施例では、撮像条件情報、偏光素子の透過偏光方位および偏光素子の光線入射角度に関連付けた補正偏光方位情報を事前の測定（撮像）または計算を通じて取得してデータ化し、そのデータを用いて撮像時の補正偏光方位情報を設定する。これにより、撮像を行うごとに補正偏光方位情報を算出する手間を省くことができる。また、撮像条件情報に関連付けて補正偏光方位情報をデータ化しておくことにより、全ての光学系および撮像素子の組み合わせに対してデータを保持する場合よりも少ないデータ量で撮像時の補正偏光方位情報を設定することが可能となる。

例えば、偏光素子が被写体と光学系との間に配置されているとき、光学系の焦点距離と撮像素子のサイズから算出される画角によって、偏光素子への光線入射角度をおおまかに決定することができる。また、偏光素子が光学系と撮像素子との間に配置されているときは、光学系の射出瞳位置と撮像素子のサイズから偏光素子への光線入射角度をおおまかに決定することができる。このため、画角または射出瞳位置と撮像素子のサイズが異なる複数の撮像条件で事前に撮像または計算を行い、得られた補正偏光方位情報をデータ化しておくことで、撮像時に補正偏光方位情報を算出しなくても適切な補正偏光方位情報を設定することができる。

さらに補正偏光方位情報の精度を上げるために、撮像条件として、光学系のフォーカス状態、Ｆナンバー、撮像倍率、被写体距離（被写体の位置）および撮像素子に対する光学系のシフト量たまはチルト量等を含めることが好ましい。光学系のフォーカス状態とは、フォーカシングに際して移動するレンズ群の位置や制御量である。撮像倍率が大きい光学系ではＦナンバーやフォーカス状態によって偏光素子への光線入射角度が大きく変化するため、Ｆナンバーやフォーカス状態を撮像条件に含めることが望ましい。また、撮像素子に対してシフト機能、チルト機能を有する光学系を用いる場合は、シフト量やチルト量を考慮することが好ましい。

事前に測定または計算により得られた補正偏光方位情報のデータは、偏光方位設定部１０３内に設けられた記憶部（保存手段）に保存してもよいし、偏光方位設定部１０３とは別に設けられた記憶部に保存してもよい。記憶部には、ハードディスク、フラッシュメモリ、光ディスク、クラウド等、一般的なデータ記憶メディアを用いることができる。

偏光情報取得部１０４は、画像取得部１０１で取得された撮像画像と偏光方位設定部１０３で設定された補正偏光方位情報とを用いて、撮像画像から偏光情報を算出（取得）する（Ｓ１０４）。具体的には、例えば、透過偏光方位が異なる複数の撮像画像のそれぞれから特定画素の輝度値（信号値）を抽出し、偏光方位ごとに輝度値をプロットすることで、偏光方位の変化に対する輝度の変化を取得する。

図２（ａ）は４つの異なる透過偏光方位θ１～θ４の撮像画像のそれぞれから得られた特定画素の輝度Ｉ１～Ｉ４を偏光方位ごとにプロットした例を示している。図２（ｂ）は、図２（ａ）のプロット結果から偏光方位θに対する輝度Ｉの変化を、次式（１０）でフィッティングした結果を示している。

Ｉ（θ）＝Ａｃｏｓ^２（θ―φ）＋Ｂ （１０）
式（１０）において、Ａは特定画像における偏光成分（偏光方位に応じて変化する輝度成分）を、Ｂは非偏光成分（偏光方位によらずに一定の輝度成分）を示す。φは偏光成分Ａが最大値となる偏光方位を示す。

図２（ａ）に示すように、輝度は偏光方位の変化に対して余弦関数的に変化する。このため、偏光素子の３つ以上の互いに異なる透過偏光方位で撮像を行い、輝度をプロットすることで、偏光方位の変化に対する輝度の変化を得ることができる。本実施例では、このような偏光方位（補正偏光方位情報）に対する輝度の変化を示す式（１０）のＡ，Ｂ，φを偏光情報として算出（取得）する。

なお、偏光情報を算出する前に、必要に応じて撮像画像に対して事前処理を行ってもよい。例えば、撮像画像が複数ある場合は、同一の被写体が撮像画像間で相対的に同位置に位置するように位置合わせを行うことが好ましい。また、撮像画像がガンマ処理が行われた画像である場合は、事前処理として逆ガンマ処理を行うことが好ましい。さらに、撮像画像が歪曲補正、射影方式の変換、輝度補正等の画像処理が行われた画像である場合は、事前処理としてそれらの逆処理を行って画像処理の影響を排除することが好ましい。

画像生成部１０５は、偏光情報取得部１０４で算出された偏光情報Ａ，Ｂ，φを用いて、任意の合成画像（第２の画像）を作成する（Ｓ１０５）。具体的には、例えば、偏光成分Ａと特定の偏光方位θ_ｃでの偏光成分Ａｃｏｓ^２（θ_ｃ－φ）と非偏光成分Ｂの線形和により合成画像を生成する。偏光成分は鏡面反射成分を多く含み、非偏光成分は拡散反射成分を多く含む。このため、上記線形和により合成画像を生成することで、合成画像における鏡面反射成分と拡散反射成分の比率を任意に調整することができる。

合成画像の各画素の輝度Ｉ_ｍは、次式（１１）で示す加算式により算出される。

Ｉ_ｍ＝ｋ_１Ａｃｏｓ^２｛ｋ_２（θ_ｃ－θ_ｐ）｝＋ｋ_３Ａ＋ｋ_４Ｂ （１１）
式（１１）中のｋ_１～ｋ_４は、任意の定数（以下、パラメータという）である。

図３（ａ）は、図１に示した画像処理装置１００を搭載した撮像装置２００を示している。撮像装置２００は、偏光素子フィルタ１０、レンズ２０およびカメラボディ３０により構成されている。偏光素子フィルタ１０は偏光素子を有し、レンズ２０は光学系を有する。また、カメラボディ３０は撮像素子と画像処理装置１００を備えている。偏光素子フィルタ１０はレンズ２０に対して着脱可能であり、レンズ２０はカメラボディ３０に対して着脱可能である。

偏光素子フィルタ１０が有する偏光素子は、図３（ａ）に示すように、被写体側からレンズ側に順に配置されたλ／４板１、可変位相差板２、偏光板３およびλ／４板４により構成されている。これら要素（１～４）のそれぞれの遅相軸または透過軸は、隣接する要素同士で４５度をなすように互いに傾いている。

可変位相差板２は、ＶＡ液晶により構成されている。可変位相差板２に印加する電圧を変えることで、これを透過する光線に付与する位相差を０から所定の最大値までの間で制御可能である。位相差の最大値Δｍａｘは、次式（１２）によって定義される。

Δｍａｘ＝｜ｎｏ－ｎｅ｜ｄ （１２）
式（１１）において、ｎｏは可変位相板（液晶層）２の常光線に対する屈折率、ｎｅは異常光線に対する屈折率である。ｄは液晶層の厚みである。液晶層の屈折率と厚みはいずれも光線入射角度によって変化するため、液晶層が光線に付与する位相差は入射角度特性を有し、Δｍａｘが大きいほど位相差の変化が大きくなる。

また、偏光素子フィルタ１０は、可変位相差板２が光線に付与する位相差を変えることで透過偏光方位を可変設定することができる。透過偏光方位Ｔ(ｄｅｇ)は、可変位相差板２が付与する位相差Δ(ｎｍ)に応じて次式（１３）に従って変化する。

Ｔ＝Ｔ₀±１８０・Δ／λ_０ （１３）
式（１２）において、Ｔ_０は偏光板３の透過軸の方位（ｄｅｇ）、λ_０は入射光線の波長（ｎｍ）である。また、同式中の±は、λ／４板１と可変位相差板２の遅層軸のなす角度が＋４５度のときに＋、－４５度のときに－となる。なお、遅相軸のなす角度は、λ／４板１の遅層軸を基準にして、可変位相差板２の遅層軸が反時計回り方向に４５度に位置するときは＋４５度、時計回りの方向に４５度に位置するときは－４５度である。

図４（ａ）、（ｂ）は、λ／４板１の遅相軸がｘ軸に対して９０度に配置されている場合を示す。ｚ軸は光学系の光軸であり、被写体側から撮像素子側に向かう方向を正とする。また、角度はｘ軸を０度として、撮像素子側から被写体側を見たときに反時計回り方向を正とする。図４（ａ）に示すように可変位相差板２の遅層軸がｘ軸に対して１３５度の位置にあるとき、λ／４板１と可変位相差板２の遅層軸のなす角は＋４５度である。図４（ｂ）に示すように可変位相差板２の遅層軸がｘ軸に対して４５度の位置にあるとき、λ／４板１と可変位相差板２の遅層軸のなす角は－４５度である。

本実施例では、偏光素子フィルタ１０における偏光素子の透過偏光方位が互いに異なる状態での撮像により生成された３つ以上の撮像画像を画像取得部１０１にて取得する。

ここで、Δｍａｘが大きいほど、式（１２）により設定できる透過偏光方位Ｔの範囲が広くなる。Ｔの最大値と最小値との差ΔＴの取得精度を向上するには、式（１０）の周期を考慮すると、基準波長λ_０に対して９０°以上であることが好ましく、１２０°以上であることがより好ましい。また、可変位相差板２の入射角度特性と周期を考慮すると、ΔＴはλ_０に対して１８０°未満であることが好ましく、１５０°未満であることがより好ましい。なお、基準波長λ_０は撮像する波長範囲の中から任意に設定可能であり、例えば撮像する波長範囲の中間波長、最小波長または最大波長等、目的に応じて設定すればよい。

また、偏光素子フィルタ１０が被写体と光学系との間に位置するため、上述の通り、偏光素子フィルタ１０への光線の入射角度は画角によっておおよそ決定することができる。そこで、本実施例の撮像条件取得部１０２は、レンズ（光学系）２０の焦点距離とカメラボディ３０内の撮像素子のサイズ（以下、センササイズという）を撮像画像のヘッダー情報から取得する。

偏光方位設定部１０３は、撮像条件取得部１０２により取得された焦点距離とセンササイズから撮像時の画角を算出する。そして偏光方位設定部１０３は、撮像時の画角と可変位相差板２への印加電圧に対応した補正偏光方位情報を、事前に測定または計算された補正偏光方位情報のデータから選択し、各撮像画像の補正偏光方位情報として設定する。

ここで、補正偏光方位情報のデータに、撮像時の画角に対応した補正偏光方位情報がないときは、該データから画角が近い２つの補正偏光方位情報を選択し、その２つ補正偏光方位情報の内挿によって撮像時の画角に対応した補正偏光方位情報を算出する。例えば、撮像条件情報から算出した撮像画像の画角が対角３０°で、データ内の画角が１２°、２３°、３４°、４７°、６３°、８４°である場合には、２３°と３４°の補正偏光方位情報を選択する。そして、これら２つの補正偏光方位情報の線形補間によって３０°の補正偏光方位情報を算出する。

また、偏光方位設定部１０３は、撮像画像のうち補正偏光方位情報を偏光情報の取得に用いる使用領域を設定してもよい。この際、撮像条件情報から得られる偏光素子への入射角度の情報から使用領域を設定してもよい。

図５（ａ）は、偏光素子への入射角度が大きい場合における撮像画像のうち補正偏光方位情報を偏光情報の取得に用いる使用領域を網掛け領域として示している。撮像画像の中心から周辺に向かって偏光素子への入射角度が大きくなる。偏光方位設定部１０３は、撮像条件情報から偏光素子への光線の入射角度を算出して、補正偏光方位情報の使用領域を決定する。

図５（ｂ）は、偏光素子への入射角度が小さい場合における撮像画像のうち補正偏光方位情報を偏光情報の取得に用いる使用領域を網掛け領域として示している。図５（ｂ）では、図５（ａ）の場合と比較して、撮像画像の中心付近の狭い使用領域で補正偏光方位情報を使用する。このとき、撮像画像（撮像素子）やそのうちのクロップ領域のアスペクト比（縦横比）から使用領域を設定してもよい。例えば、撮像画像のアスペクト比が２対３であり、クロップ領域のアスペクト比が１対１である場合には、使用領域のアスペクト比も１対１とすればよい。

また、偏光方位設定部１０３は、可変位相差板２の光学軸（遅相軸）の方位を取得し、その光学軸の方位に関する情報（以下、軸方位情報という）に基づいて使用領域を設定してもよい。図６は、可変位相差板２の光学軸の方位と補正偏光方位情報の使用領域との関係を示している。偏光方位設定部１０３は、光学系の光軸（図４のｚ軸）回りでの可変位相差板２の遅相軸のｘ軸に対する回転角度ＡＲを軸方位情報として取得し、該情報に応じて角度ＡＲだけ水平から傾いた使用領域（網掛け領域）を設定する。

図７（ａ）は撮像素子ＩＰに対して光学系ＯＳがシフト（平行移動）した状態を示し、図７（ｂ）はその状態での補正偏光方位情報の使用領域を示している。図７（ａ）において、ＯＰは被写体面、ＬＡは光学系ＯＳの光軸、ＩＡは撮像素子ＩＰの中心に立てた法線（以下、センサ中心法線という）である。偏光方位設定部１０３は、光学系ＯＳのシフト量（センサ中心法線ＩＡに対する光軸ＬＡの変位量）ＬＳを撮像条件情報として取得する。そして、図７（ｂ）に示すように、該シフト量ＬＳとシフト方向に応じて、撮像画像のうち使用領域（網掛け領域）をシフト方向にシフト量ＬＳ′だけ移動させて設定する。

図８（ａ）は撮像素子ＩＰに対して光学系ＯＳがチルト（傾き移動）した状態を示し、図８（ｂ）はその状態での補正偏光方位情報の設定（算出）方法を示している。図８（ａ）において、ＬＰＰは光学系ＯＳの主平面である。光学系ＯＳの主平面ＬＰＰ、撮像素子ＩＰおよび被写体面ＯＰのそれぞれの延長線は、シャインプルーフの法則に従って１つの交線Ｐで交わる。このとき、偏光素子への光線入射角度は、撮像素子ＩＰに対する光学系ＯＳのチルト量ＡＴに応じてチルト方向に変化する。

偏光方位設定部１０３は、図８（ｂ）に示すように、光学系ＯＳがチルトしていない状態において撮像画像に対して設定された補正偏光方位情報と、チルト量に応じた偏光素子の面内での透過偏光方位の変化量（図中の濃淡は変化量が異なることを示す）とを用いて、チルト量に応じた補正偏光方位情報を算出する。このとき、偏光方位設定部１０３は、補正偏光方位情報と透過偏光方位の変化量とを加算または乗算してチルト量に応じた補正偏光方位情報を算出してもよいし、補正偏光方位情報と透過偏光方位の変化量との相関から新たな補正偏光方位情報を取得してもよい。

図９は、偏光素子の製造誤差に応じた補正偏光方位情報の設定方法を示す。製造誤差とは、例えば可変位相差板２の液晶層の厚さｄや屈折率ｎｏ、ｎｅの想定値との乖離や、偏光素子の要素（１～４）の遅相軸の相対的な角度誤差等である。このような製造誤差に起因して偏光素子の透過偏光方位が想定値と異なる場合がある。このため、偏光方位設定部１０３は、図９に示す偏光素子の面内での透過偏光方位の想定値と、偏光素子の面内での製造誤差に応じた透過偏光方位の変化量（図中の濃淡は変化量が異なることを示す）とを用いて、製造誤差を補償する補正偏光方位情報を算出する。

なお、式（１３）より、偏光素子の透過偏光方位は入射光線の波長に応じて変化する。このため、撮像画像がカラー画像等の複数の波長（または波長域）の信号値を有する場合には、補正偏光方位情報を、ｄ線（５８７．６ｎｍ）、ｇ線（４３５．８ｎｍ）、Ｃ線（６５６．３ｎｍ）、Ｆ線（４８６．１ｎｍ）およびｅ線（５４６．１ｎｍ）等のフラウンホーファー線に対応する波長ごとに設定してもよい。また、基準となる波長と波長の変化に対応する係数とを用いて、特定の波長の補正偏光方位情報を設定してもよい。さらに、撮像素子に対応するカラーチャンネルごとに補正偏光方位情報を設定してもよい。

また、偏光素子への光線の入射角度は、撮像素子の画素位置によっても変わる。このため、補正偏光方位情報を画素ごと又は複数の画素を含む領域ごとに設定することが好ましい。

図１０は、対角画角２３°で可変位相差板２にある電圧が印加された状態においてＲチャンネル、ＧチャンネルおよびＢチャンネルに対して画素ごとに設定された補正偏光方位情報（ｄｅｇ）を示す。また、図中の矢印は、撮像素子の撮像面（光学系の光軸に直交する面）に射影した可変位相差板２の光学軸の向きを示す。図１０からわかるように、補正偏光方位情報は、撮像画像上における可変位相差板２の光学軸に対応する対称軸に関して線対称に分布するように設定されている。

偏光方位設定部１０３は、可変位相差板２の光学軸の方位を取得し、該光学軸の方位に応じて補正偏光方位情報を設定してもよい。このときも、偏光方位設定部１０３は、撮像画像上における光学軸に対応する対称軸に関して線対称になるように補正偏光方位情報を設定する。このように撮像画像上の対称軸に関して線対称に補正偏光方位情報を設定する場合、対称軸上および対称軸の片側の画像領域の補正偏光方位情報を算出すれば、撮像画像全体に対して補正偏光方位情報を設定することができる。このため、撮像画像全体の補正偏光方位情報を算出する場合に比べて計算量をほぼ半分にすることができる。また、補正偏光方位情報の算出のために事前にデータ化すべき補正偏光方位情報のデータ量もほぼ半分に削減することができる。

偏光情報取得部１０４は、以上のように設定された補正偏光方位情報と撮像画像から、画素ごとおよびカラーチャンネルごとの偏光情報を取得する。また、画像生成部１０５は、取得された偏光情報を用いて前述したように合成画像を生成する。

なお、撮像条件取得部１０２は、上述した機能に加えて、撮像画像のヘッダー情報からレンズ２０の情報（以下、レンズ情報という）を取得し、取得したレンズ情報に応じて、追加で他の撮像条件情報を取得してもよい。レンズ情報には、撮像に使用されたレンズを特定するためのレンズ製造会社、レンズ名称およびレンズ特性を示す情報である。レンズ情報から特定されたレンズが撮像倍率の大きいレンズ（例えばマクロレンズ）である場合は、追加の撮像条件情報としてフォーカス状態やＦナンバーを取得し、補正偏光方位情報の設定時にこれらの情報も考慮することが好ましい。また、レンズ情報から特定されたレンズがシフト機能やチルト機能を有するレンズである場合は、追加の撮像条件情報としてレンズの撮像素子に対するシフト量またはチルト量を取得し、補正偏光方位情報の設定時にこれらの情報も考慮することが好ましい。

また、レンズ情報に関連付けてレンズの光学配置、射出瞳位置および撮像倍率等の光学情報を撮像条件情報として記憶装置（画像処理装置１００内のハードディスクやクラウド等）に保存しておき、レンズ情報に応じて記憶装置から該情報を読み出してもよい。

実施例２の画像処理装置は、図１２に示す撮像装置３００の撮像により生成された撮像画像から偏光情報を算出し、合成画像を生成する。撮像装置３００は、偏光素子アダプタ１１、レンズ２１およびカメラボディ３１により構成される。偏光素子アダプタ１１は、透過偏光方位が可変な偏光素子を備えている。レンズ２１とカメラボディ３１は、実施例１のレンズ２０とカメラボディ３０と同じものである。また、カメラボディ３０に内蔵された画像処理装置の構成も実施例１の画像処理装置１００と同じである。

偏光素子アダプタ１１は、レンズ２１とカメラボディ３１の間に配置され、それらに着脱可能である。偏光素子アダプタ１１がレンズ（光学系）２１とカメラボディ（撮像素子）３１との間に位置するため、偏光素子アダプタ１１への光線の入射角度は、光学系の射出瞳位置とセンササイズによっておおよそ決定することができる。このため、本実施例でも、画像処理装置の撮像条件取得部１０２は、射出瞳位置とセンササイズの情報を撮像条件情報として撮像画像のヘッダー情報から取得する。画像処理装置が実行する他の処理は実施例１と同様である。

なお、撮像装置３００において、偏光素子アダプタ１１をレンズ２１と一体に設け、偏光素子を交換可能としてもよい。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
（参考例１）
図１３を用いて、参考例１の画像処理装置４００の構成を示す。画像処理装置４００は、画像取得部４１１、演算部４１２、表示部４１３を備える。

画像取得部４１１は、画像処理装置４００に接続された記憶媒体やインターネットを通じてクラウド等のネットワーク上のフォルダから偏光画像を取得する。偏光画像は、複数の偏光状態での撮像により取得された撮像画像である。例えば、偏光板の透過偏光方位を変えた撮像により取得された複数の撮像画像や、偏光センサを用いた撮像により取得された画像等がこれに該当する。なお、取得した画像はいわゆるＲＡＷ画像であることが好ましく、入力輝度に対してガンマ補正などの明るさ補正がされている画像の場合、逆変換により補正前の輝度値に戻しておくことが好ましい。

演算部４１２は、画像取得部４１１で取得された偏光画像から被写体の光沢成分（鏡面反射成分）とベース成分（拡散反射）を算出し、得られた光沢成分に対して、特定方向に向かって輝度変化させるグラデーションを付与した補正光沢成分を作成する。また、得られた補正光沢成分とベース成分を合成することで、取得した偏光画像とは異なる合成画像を生成する。なお、本参考例では、光沢成分とベース成分を分離した後、光沢成分にのみグラデーションを付与する。これにより、撮像後に、光沢成分とベース成分の比を変調し、被写体の見えを撮像後に調整できる。

表示部４１３は、演算部４１２で生成された合成画像を表示する。表示部４１３は、液晶ディスプレイや有機ＥＬディスプレイ等、画像表示が可能なデバイスであればよい。

次に、演算部４１２が実行する合成画像の生成処理について説明する。図１４に基本の処理を示す。図１３に示すように、演算部４１２は、偏光情報取得部（偏光情報処理部）４２１、補正処理部４２２および画像生成部（画像合成部）４２３を備える。偏光情報取得部４２１は、複数の偏光状態での撮像により取得された偏光画像（Ｓ２０１）から、偏光状態の変化に応じて変化する輝度成分Ｉ_ｓおよび偏光状態の変化に独立な輝度成分Ｉ_ｂを画素ごとおよびカラーチャンネルごとに取得する（Ｓ２０２）。

具体的には、以下の方法でＩ_ｓおよびＩ_ｂを算出する。

透過偏光方位αに対する輝度変化Ｉ（α）は、次式（２１）で表される。

Ｉ（α）＝Ｉ_ｓ・ｃｏｓ^２（α―θ）＋Ｉ_ｂ （２１）
また、Ｉ(α)の最大輝度値Ｉ_ＭＡＸ、最小輝度値Ｉ_ｍｉｎを用いて、
Ｉ（α）＝（Ｉ_ＭＡＸ－Ｉ_ｍｉｎ）ｃｏｓ^２（α－θ）＋Ｉ_ｍｉｎ （２２）
と表すこともできる。ここで、式（２１）および（２２）のθは、Ｉ（α）が最大値Ｉ_ＭＡＸとなるときの偏光方位である。

偏光画像が３つ以上の異なる偏光状態で撮影されている場合、式（２１）や（２２）を用いて、各画素における輝度成分Ｉ_ｓ、Ｉ_ｂやＩ_ＭＡＸ，Ｉ_ｍｉｎ、θを算出できる。なお、偏光画像が３つの場合は１つの解が決まるが４つ以上の場合は一意に解が決定できないため、最小二乗法等により最適な解を算出すればよい。

一方、偏光画像が異なる２つの偏光状態で撮影されている場合は、２つの偏光状態間での輝度差分をＩ_ｓ，２つの偏光状態間で不変の輝度成分をＩ_ｂとすればよい。

なお、本参考例の偏光情報取得部４２１は、偏光画像の種類や処理装置の処理能力等に応じて、上記２つの方法を適宜使い分けてもよいし、外部入力によって処理を選択してもよい。

次に、偏光情報取得部４２１は、上記２つの輝度値Ｉ_ｓ，Ｉ_ｂを用いて、光沢成分Ａとベース成分Ｂを生成する（Ｓ２０３）。本参考例では、前記輝度値Ｉ_ｓを光沢成分Ａ、Ｉ_ｂをベース成分Ｂとする。

なお、本参考例における光沢成分とベース成分は上記に限定されず、上述したように得られた偏光情報を用いて任意に設定可能することができる。例えば、光沢成分として、輝度値Ｉｓの定数倍Ｃ_ｓＩ_ｓ（Ｃ_ｓは任意の定数）や特定の偏光方位α_cでの偏光成分Ｃ_ｓ’Ｉ_ｓｃｏｓ^２（α_ｃ―θ）（Ｃ_ｓ’は任意の定数）を選択してもよい。また、複数の偏光方位α_ｃ１、α_ｃ２…での偏光成分の線形和Ｉ_ｓｃｏｓ^２（α_Ｃ１－θ）＋Ｉ_ｓｃｏｓ^２（α_Ｃ２－θ）＋…を選択してもよい。また、それらの組み合わせを選択してもよく、用途に応じて適宜、選択可能である。

次に、補正処理部４２２は、画素ごとおよびカラーチャンネルごとの光沢成分に画素位置に応じて異なる補正係数を乗算することで、光沢成分にグラデーション処理した補正光沢成分を生成する（Ｓ２０４）。このとき用いる補正係数は、画像の任意の方向（以下、ｕ軸方向という）に増加もしくは減少するよう設定する。また、ｕ軸方向に垂直な方向（以下、ｖ軸方向という）には一定値となるよう設定する。このように、画素位置に応じて異なる補正係数を光沢成分に乗算することにより、u軸方向に光沢成分が増加もしくは減少する（以下、グラデーション処理されたという）補正光沢成分を生成することができる。

図１５（ａ）～（ｃ）に、本参考例の軸方向および補正係数を示す。図１５（ａ）は画像に対する軸方向、図１５（ｂ）はｕ軸方向での補正係数ｋ、図３（ｃ）はｖ軸方向での補正係数ｋを示す。なお、画像の横方向をｘ軸方向とし、上述の通りグラデーション方向を示す任意の方向をｕ軸方向とし、ｕ軸に垂直な方向をｖ軸方向とする。

図１５（ｃ）に示す通り、補正係数ｋはｖ軸方向に対して一定値をとる。一方、図１５（ｂ）に示す通り、補正係数ｋはｕ軸方向において減少する。なお、ｕ軸方向において減少するとは、ｕ_ｃ１＜ｕ_ｃ２を満たす任意のｕ_ｃ１、ｕ_ｃ２に対して、
ｋ_ｕｃ２≦ｋ_ｕｃ１ （２３）
を満たすこととする。一方、本参考例とは逆になるが、ｕ軸方向において増加するとは、ｕ_ｃ１＜ｕ_ｃ２を満たす任意のｕ_ｃ１、ｕ_ｃ２に対して、
ｋ_ｕｃ２≧ｋ_ｕｃ１ （２４）
を満たすこととする。

本参考例では、補正係数ｋは式（２３）もしくは式（２４）を満たす範囲で任意に設定可能であり、ｕに対して単調増加や単調減少してもよい。ただし、より質感の高い画像を得るためには変化量が他の領域に比べて大きい領域（境界領域）を備えることが好ましい。

図１５（ｂ）では、ｕ_ｂ１からｕ_ｂ２の間で他の領域（ｕ_０からｕ_ｂ１の間やｕ_ｂ２からｕ_１の間）に比べて係数変化が大きい。このような境界領域を備えることにより、光沢成分に対してメリハリのあるグラデーション処理が可能となり、質感の高い合成画像を得ることができる。また、画像内の一部に補正係数ｋが一定となる領域を備えていてもよい。

図１６（ａ）、（ｂ）は、ｕ軸方向における補正係数ｋの別の例を示す。図１６（ａ）は境界領域がｕ軸上で１点（幅を持たない）となる例、図１６（ｂ）は、補正係数ｋがｕ軸に対して曲線的に変化する例である。

なお、境界領域は任意に設定可能であることが好ましく、ユーザの意図を反映した画像を生成するために、外部入力可能であることが好ましい。境界領域の外部入力は、例えば、境界領域の位置Ｂ（ｕ_ｂ，ｖ_ｂ）や幅Δｕ_ｂ＝ｕ_ｂ２－ｕ_ｂ１を指定することで可能となる。

次に、生成した補正係数ｋを用いて、次式（５）より画素ごとおよびカラーチャンネルごとの補正光沢成分Ａ’を生成する。

Ａ’＝ｋＡ （２５）
また、生成した補正光沢成分Ａ’と、ベース画像Ｂから画像Ｉ’を合成する（Ｓ２０５）。最も簡単には次式（２６）により生成できる。

Ｉ’＝Ａ’＋Ｂ （２６）
また、式（４）の代わりに任意の定数Ｃ_１，Ｃ_２を用いた次式（２７）を用いてもよい。

Ｉ’＝Ｃ_１Ａ’＋Ｃ_２Ｂ （２７）
最後に、生成した画像Ｉ’を表示部４１３に出力する（Ｓ２０６）。

なお、上述では、図１４に示した基本処理の通り、偏光画像の取得から出力まで１回の一連の処理として説明したが、このうち一部の処理を繰り返してもよい。例えば、Ｓ２０１からＳ２０６を処理した後、より質感の高い画像を作成するために、境界領域の位置や幅、補正係数の値やその変化量などを変えながら、Ｓ２０４～Ｓ２０６の処理を繰り返してもよい。また、各工程で作成中の画像や係数などの情報を適宜、画像として出力してもよい。

なお、上述のグラデーション付与とそれ以外の画像処理（ノイズリダクション、ホワイトバランス調整およびコントラスト強調等）を必要に応じて併用することもできる。その場合、グラデーション付与以外の画像処理の順番は特に限定されない。ただし、補正光沢成分とベース成分を合成する前に実施すると、補正光沢成分とベース成分それぞれに最適な処理を独立に施すことができる。
（参考例２）
図１７を用いて、参考例２の画像処理装置が実行する処理について説明する。参考例１では、画像全域で補正光沢成分の生成を行ったが、参考例２では画像の一部領域を選択し、選択した領域内のみ補正光沢成分の生成を行う（Ｓ３０１）。また、領域を指定するためにマスクを作成する（Ｓ３０２）。マスクを利用する以外の処理および装置構成は参考例１と共通であるため、マスクの部分（Ｓ３０１、Ｓ３０２）について以下で説明する。

Ｓ３０１でのマスクの作成方法は、特に限定されないが、例えば外部入力によって画像中の任意の領域を指定する方法や、偏光情報を利用して特定の領域を抽出する方法などが使用できる。また、外部入力と偏光情報の利用を組み合わせて領域を指定する方法を用いてもよい。

偏光情報を用いる方法としては、例えば、Ｓ２０２で算出した偏光情報Ａ、Ｂ、θを利用する方法がある。この方法では、偏光方位θが特定の範囲内に入る領域を指定したり、ＡやＢが閾値以上となる領域を指定したりすることでマスクとすることができる。本参考例では、偏光情報から次式（２８）で定義される偏光度ＤＯＰを算出し、偏光度ＤＯＰが閾値Ｖ_ｔｈより高い領域を抽出、マスクとして利用する。

ＤＯＰ＝（Ｉ_ｍａｘ－Ｉ_ｍｉｎ）／（Ｉ_ｍａｘ＋Ｉ_ｍｉｎ）
＝Ａ／（２Ａ＋Ｂ） （２８）
なお、閾値Ｖ_ｔｈは、画像に応じて適宜選択すればよい。ただし、グラデーションによる質感向上効果を得るためには、閾値Ｖ_ｔｈは一定以上であることが好ましく、具体的には、各画素の偏光度を画像全域で平均した値より大きい値に設定することが好ましい。

また、画像がカラー画像の場合は、色ごとに異なるマスクを適用するのではなく、全ての色に対して共通のマスクを使用することが好ましい。例えば、特定の１色に対して領域抽出した結果を全ての色に適用したり、各色に対して領域抽出した後、抽出された全ての領域を過不足なくカバーする領域を算出して、全ての色に適用したりできる。

上述のような方法で生成されたマスクを用いて、光沢成分から補正光沢成分を生成する（Ｓ３０２）。具体的には、マスク領域内で、補正係数ｋを乗算しマスク領域内の光沢成分にグラデーションを付与することで、補正光沢成分を生成する。ここで、補正係数ｋの作成方法は、参考例１と同様である。なお、マスク領域外の光沢成分に対しては、グラデーション付与は行わない。また、補正光沢成分には、マスク領域内のグラデーションを付与した光沢成分とマスク領域外のグラデーションを付与しない光沢成分の両方を用いてもよいし、マスク領域内のみの成分を用いてもよい。最後に生成した補正光沢画像とベース画像を元に画像を生成する（Ｓ２０５）。具体的な手順は、参考例１のＳ２０５と同様である。

本参考例では、マスクを用いて特定の領域の光沢成分にのみグラデーションを付与することで、メリハリのあるグラデーション処理が可能となり、質感の高い合成画像を得ることができる。
（参考例３）
参考例３は、本発明の画像処理装置を備え、画像の取得から画像処理までを行う画像処理システムである。本参考例の画像処理システムは、画像処理装置に加えて、撮像装置、照明装置を備える。

撮像装置は、異なる偏光状態の画像を撮影するための装置で、レンズとレンズ交換が可能なカメラ（撮像素子）と偏光手段を備える。ここで、偏光手段は、被写体と撮像措置の間に配置され、偏光板や、特許文献１に開示されている液晶を用いた素子などからなる。また、撮像素子の各画素の前に偏光子を異なる軸方位で配置した、いわゆる偏光センサーを用いてもよい。

照明装置は、理想的には、被写体を全ての方向から均等に照明できることが好ましく、少なくとも、被写体に対して２方向以上から光を照射可能であることが好ましい。このような照明装置を用いて被写体全体を照明することによって、被写体の光沢成分をその面法線によらず取得することができる。上述のような照明を実現する手段として、例えば、複数の照明装置を用いて複数方向から光を照射する方法や、いわゆるライトボックスと呼ばれる照明装置を用いる方法がある。また、リングライトや、ストロボ、光を拡散させるためのディフューザーなどを単独ないし複数組み合わせて使う方法もある。

画像処理装置は、例えば、モニタ－とＰＣやタブレット端末、スマホなどを用いることができる。画像処理装置は、内部にインストールしたソフトやアプリによって、装置内部で画像処理を行うことができる。また、インターネットに接続し、画像処理のうちの一部またはすべてをクラウド上で実施したり、画像をクラウド上に保存したりしてもよい。また、画像処理装置が備える制御装置は、画像処理装置の制御に加えて、撮像装置や照明装置を制御してもよい。その際、制御装置と撮像装置、照明装置は有線ないし無線で接続すればよい。

１ λ／４板
２ 可変位相差板
３ 偏光板
４ λ／４板
１００ 画像処理装置

Claims (17)

1. 互いに異なる複数の偏光方位の光を透過させる偏光素子を介した被写体の撮像により生成された第１の画像を取得する画像取得手段と、
   前記撮像における撮像条件に関する情報を取得する撮像条件取得手段と、
   前記撮像条件に関する情報に応じて、前記第１の画像における偏光方位に関する情報を設定する偏光方位設定手段と、
   前記偏光方位に関する情報を用いて前記第１の画像から偏光情報を取得する偏光情報取得手段とを有することを特徴とする画像処理装置。
2. 前記偏光方位に関する情報は、前記第１の画像の画素ごと又は領域ごとに設定される複数の偏光方位に関する情報であることを特徴とする請求項１に記載の画像処理装置。
3. 前記偏光方位に関する情報は、互いに波長が異なる複数の光の偏光方位に関する情報であることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記撮像条件に関する情報は、前記偏光素子への光線の入射角度に関する情報を含むことを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
5. 前記撮像に光学系と撮像素子が用いられた場合において、前記撮像条件に関する情報は、前記光学系の焦点距離と前記撮像素子のサイズに関する情報を含むことを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
6. 前記撮像に光学系と撮像素子が用いられた場合において、前記撮像条件に関する情報は、前記光学系の射出瞳位置と前記撮像素子のサイズに関する情報を含むことを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
7. 前記撮像に光学系が用いられた場合において、前記撮像条件に関する情報は、前記光学系のフォーカス状態または前記被写体の位置に関する情報を含むことを特徴とする請求項１から６のいずれか一項に記載の画像処理装置。
8. 前記偏光方位設定手段は、前記偏光素子に可変位相差板と偏光板が用いられている場合において、前記可変位相差板の光学軸の方位に関する情報を用いて前記偏光方位に関する情報を設定することを特徴とする請求項１から７のいずれか一項に記載の画像処理装置
9. 前記偏光方位設定手段は、前記可変位相差板の光学軸の方位に延びる対称軸に対して線対称となるように前記偏光方位に関する情報を設定することを特徴とする請求項８に記載の画像処理装置。
10. 前記偏光方位に関する情報を保存する保存手段をさらに有し、
    前記偏光方位設定手段は、保存された前記偏光方位に関する情報のうち前記撮像条件に関する情報に応じた偏光方位に関する情報を設定することを特徴とする請求項１から９のいずれか一項に記載の画像処理装置。
11. 前記偏光方位設定手段は、前記撮像条件に関する情報に応じて、前記第１の画像のうち前記偏光方位に関する情報を用いて前記偏光情報を取得する使用領域を設定することを特徴とする請求項１から１０のいずれか一項に記載の画像処理装置。
12. 前記光学系が前記撮像素子に対してシフト方向およびチルト方向のうち少なくとも一方に変位可能である場合に、前記偏光方位設定手段は、前記撮像条件に関する情報として取得された前記撮像素子に対する前記光学系の変位量に応じて、前記使用領域を設定することを特徴とする請求項１１に記載の撮像装置。
13. 前記偏光情報取得手段は、前記第１の画像から取得された複数の偏光方位での信号値の変化から前記偏光情報を取得することを特徴とする請求項１から１２のいずれか一項に記載の画像処理装置。
14. 前記偏光情報を用いて第２の画像を生成する画像生成手段をさらに有することを特徴とする請求項１から１３のいずれか一項に記載の画像処理装置。
15. 請求項１から１４のいずれか一項に記載の画像処理装置と、
    前記撮像を行う撮像素子とを有することを特徴とする撮像装置。
16. 互いに異なる複数の偏光方位の光を透過させる偏光素子を介した被写体の撮像により生成された第１の画像を取得するステップと、
    前記撮像における撮像条件に関する情報を取得するステップと、
    前記撮像条件に関する情報に応じて、前記第１の画像における偏光方位に関する情報を設定するステップと、
    前記偏光方位に関する情報を用いて前記第１の画像から偏光情報を取得するステップとを有することを特徴とする画像処理方法。
17. コンピュータに、請求項１６に記載の画像処理方法に従う処理を実行させることを特徴とするプログラム。

Images