JP2017191986A - 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記録媒体 - Google Patents

Abstract

【課題】簡易な構成で所望の画像を合成可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記録媒体を提供すること。
【解決手段】被写体からの光に与える位相差を変更することで取得された偏光状態の異なる複数のカラー画像に基づく被写体の偏光情報を用いて生成された合成画像に対して、複数のカラー画像から選択された基準画像に基づいて色補正を行う補正手段を有する。
【選択図】図５

Description

本発明は、画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記録媒体に関する。

被写体からの光の偏光状態を観察することによって、被写体の所定の特徴を強調して検出可能な撮像装置が知られている。例えば、一眼レフカメラのレンズ前面に偏光フィルタを装着し、透過する偏光方向を変えて撮影することで、被写体の色やコントラスト等の質感を際立たせる効果や、水面等の反射光の写りこみを強調または軽減する効果を得ることができる。特許文献１では、偏光情報を利用して鏡面反射成分を除去する方法が開示されている。特許文献２では、固体撮像素子上の各画素に対して異なる偏光を透過するワイヤーグリッド偏光板を有し、複数の画素から偏光情報を抽出する撮像素子の構成が開示されている。特許文献３では、λ／４板、位相差を可変可能な２枚の位相差板、および偏光板を有し、位相差板の軸方向を変化させながら複数の画像を生成することでストークスパラメータの一部を取得する構成が開示されている。

特許第３７２７７５８号公報 特許第５６８２４３７号公報 米国特許出願公開第２００９／００７９９８２号明細書

しかしながら、特許文献１では、専用の照明を用いる必要があるため、被写体や撮影条件が制限されてしまう。特許文献２では、複数の画素を偏光情報の取得に割り当てるため、解像度または色情報が失われる。特許文献３では、２枚の可変位相差板が必要であり、制御が煩雑化してコストも高くなる。

このような課題に鑑みて、本発明は、簡易な構成で所望の画像を合成可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記録媒体を提供することを目的とする。

本発明の一側面としての画像処理装置は、被写体からの光に与える位相差を変更することで取得された偏光状態の異なる複数のカラー画像に基づく前記被写体の偏光情報を用いて生成された合成画像に対して、前記複数のカラー画像から選択された基準画像に基づいて色補正を行う補正手段を有することを特徴とする。

本発明の一側面としての画像処理方法は、被写体からの光に与える位相差を変更することで取得された偏光状態の異なる複数のカラー画像を取得する取得ステップと、前記複数のカラー画像に基づく前記被写体の偏光情報を用いて生成された合成画像に対して、前記複数のカラー画像から選択された基準画像に基づいて色補正を行う補正ステップと、を有することを特徴とする。

本発明によれば、簡易な構成で所望の画像を合成可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記録媒体を提供することができる。

実施例１の撮像装置の構成図である。 入射光の偏光方向に対する偏光変調手段の透過率依存性を示す図である。 可変位相差の位相差ごとの入射光の偏光成分に対する偏光変調手段の透過率依存性を示す図である。 可変位相差板の構成図である。 画像処理装置のブロック図である。 画像処理を示すフローチャートである。 方位角と輝度値の関係図である。 方位角と輝度値の関係図である。 合成画像を示す図である。 合成画像を示す図である。 色補正処理を示すフローチャートである。 実施例２の撮像装置の構成図である。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

図１を参照して、本実施例の撮像装置１００の構成について説明する。図１（ａ）は、本実施例の撮像装置１００の構成を簡易的に示す概略図である。図中の一点鎖線は、光学系１の光軸である。撮像装置１００は、光学系１、撮像素子２、偏光変調手段７、および制御装置（制御手段）１８を有する。光学系１は、被写体からの光を撮像素子２上に結像させる。撮像素子２は、各画素にカラーフィルタが配置され、少なくとも２枚以上の偏光状態（偏光方向）の異なるカラー画像を取得する。なお、本実施例では、偏光変調手段７は光学系１と撮像素子２との間の光路上に配置されているが、本発明はこれに限定されない。偏光変調手段７は、撮像素子２より光入射側（被写体側）に配置されていればよく、例えば、光学系１より光入射側や、光学系１が複数の光学要素から形成されている場合、複数の光学要素の途中に配置されてもよい。また、偏光変調手段７は、本実施例では撮像装置１００内に設けられているが、図１（ｂ）および図１（ｃ）に示されるように、撮像装置１００とは別の光学装置であるアダプタ２０として構成されてもよい。アダプタ２０は、共通のマウントを持つレンズやデジタルカメラに取り付け可能に構成され、偏光情報を取得する場合に図１（ｂ）や図１（ｃ）に示される位置でレンズ３０やデジタルカメラ４０と組み合わされて使用される。

偏光変調手段７は、光入射側から順に、λ／４板（第１の位相差板）３、可変位相差板（第２の位相差板）４、偏光板５、および位相差設定部（設定手段）６を有する。λ／４板３、可変位相差板４および偏光板５は、各軸が光学系１の光学軸に垂直な面内（ｘｙ平面内）となるように配置されている。λ／４板３は、延伸フィルムから構成され、入射光の直交する偏光成分間にπ／２（ｒａｄ）の相対位相差を与える。λ／４板３が与えるπ／２の相対位相差は、不変（固定）である。本実施例では、λ／４板を用いるが、π／２の相対位相差を与えることが可能であれば３λ／４板や可変位相差板であってもよい。可変位相差板４は、液晶を用いた素子であり、λ／４板３と同様に入射光の直交する偏光成分間に、印加される電圧に応じて変調可能な相対位相差（以下、可変位相差板４の位相差という）を与える。可変位相差板４の位相差は、印加される電圧に応じて変更可能である。そのため、複数の位相板を入れ替えて使用する場合や、偏光板１枚を回転させる場合に比べて高速に可変位相差板４の位相差を変更することが可能である。偏光板５は、入射光の偏光成分のうち透過軸方向（透過偏光方向）の成分を透過させる。偏光変調手段７は撮像装置１００に用いられるため、偏光板５は不要光を吸収するタイプの偏光板を用いることが望ましい。不要光を反射するタイプの、例えばワイヤーグリッド偏光子のような偏光板を用いると、カットする側の偏光が反射されその光が迷光やゴーストとなって画像に悪影響を及ぼすため、撮像装置１００の構成としては望ましくない。より好ましくは、ゴーストへの影響を抑えるため、偏光板５は使用波長域全域において、透過軸と直交する方向に振動する偏光のうち５０％以上を吸収する特性を有するものが望ましい。このような偏光板としては、例えばヨウ素化合物を含有する樹脂部材を延伸したフィルム等があるが、このような材料に限らず、任意の吸収型偏光板を使用すればよい。なお、使用波長域は、撮像装置１００により取得される波長範囲であり、用途や撮像素子２の波長特性によって選択可能である。本実施例では、使用波長域を可視域（４００ｎｍ〜７００ｎｍ）としている。使用波長域は、撮像装置１００の構成に基づいて、可視域（４００〜７００ｎｍ）、近赤外域（７００〜１１００ｎｍ）、および近紫外域（２００〜４００ｎｍ）のうち少なくとも１つの領域を選択するようにすればよい。可変位相差板４の設計波長λ（ｎｍ）は、適切な特性を有するように、撮像装置１００により取得される使用波長域に応じて選択すればよい。位相差設定部６は、撮像装置１００からの信号（指示）に応じて、可変位相差板４の位相差を設定（変更）する。なお、本実施例では、位相差設定部６は、偏光変調手段７内に設けられているが、撮像装置１００内に偏光変調手段７とは別に設けてもよい。

制御装置１８は、マイクロコンピューター等であり、撮像装置１００による撮影を制御する。制御装置１８は、偏光成分制御部８、信号記録部９、および画像処理部（画像処理装置）１０を備える。撮像装置１００では、偏光板５の透過軸方向を固定して可変位相差板４の位相差を時間的に変えながら撮像することで、偏光状態の異なる複数の画像を撮影する。制御装置１８は、撮影された複数の画像に基づいて被写体の偏光情報を取得する。偏光成分制御部８は、撮像素子２と同期して、可変位相差板４の位相差の制御信号を位相差設定部６に出力する。この制御によって、撮像素子２が受光する被写体からの光の偏光成分が変化し、被写体の偏光情報を有する画像の取得が可能となる。信号記録部９は、撮像素子２から取得するカラー画像を不図示の記録媒体（ＲＡＭ等）に一時的に保管する。保管された画像は、それぞれ異なる偏光情報を有するが、画像処理等の演算処理を経ることなくそのまま複数の画像として出力してもよい。ただし、可変位相差板４の位相差が大きい状態で取得された画像は、本来被写体にはない色づきを伴う。よって、そのまま画像を出力する場合は、可変位相差板４の位相差が小さい状態で取得された画像であることが好ましい。画像処理部１０は、撮像素子２から取得するカラー画像に所定の処理を行い、１枚または複数枚の画像を出力する。

次に、図２を参照して、偏光板５の透過軸方向を固定し、かつ、可変位相差板４の位相差を一定に設定した場合の偏光変調手段７に入射した入射光の振る舞いについて説明する。図２は、入射光の偏光方向に対する偏光変調手段７の透過率依存性を示す図である。図２では、可変位相差板４の位相差はλ／４に設定されている。偏光変調手段７の透過前後の矢印の方向と長さはそれぞれ、偏光方位と強度である。本実施例では、各素子での表面反射や吸収損失等を無視し、偏光状態の変化の影響のみを考慮している。λ／４板３および可変位相差板４上の破線矢印は遅相軸方向を示し、偏光板５上の破線矢印は透過軸方向を示している。すなわち、λ／４板３の遅相軸方向と偏光板５の透過軸方向は、ｙ軸方向に平行となっている。ただし、厳密に平行である必要はなく、数度程度ずれていても実質的に平行（略平行）とみなされる。また、λ／４板３の遅相軸方向および偏光板５の透過軸方向のｘ軸方向に対する方位角φ（度）は９０度となっている。ただし、厳密に９０度である必要はなく、数度程度ずれていても実質的に９０度（略９０度）とみなされる。可変位相差板４の遅相軸方向のｘ軸に対する方位角φは４５度となっている。ただし、厳密に４５度である必要はなく、数度程度ずれていても実質的に４５度（略４５度）とみなされる。また、λ／４板３の進相軸方向を偏光板５の透過軸方向が、ｙ軸方向に対して平行に配置されてもよい。この場合、可変位相差板４の進相軸方向のｘ軸方向に対する方位角φは４５度となっている。

図２（ａ）は、方位角φが９０度である偏光成分が入射した場合を示している。この場合、入射光は、偏光方向がλ／４板３の遅相軸方向と平行であるため位相変化を受けずにλ／４板３を透過する。λ／４板３を透過した光は、可変位相差板４により右円偏光に変換されるため、偏光板５を透過すると入射光に対し約５０％の強度の直線偏光となる。

図２（ｂ）は、方位角φが４５度である偏光成分が入射した場合を示している。この場合、入射光は、λ／４板３により左円偏光に変換される。λ／４板３を透過した光は、可変位相差板４により偏光方向の方位角φが９０度の直線偏光に変換され偏光板５の透過軸方向と平行となるため、偏光板５をほぼ損失なく透過する。

図２（ｃ）は、方位角φが０度である偏光成分が入射した場合を示している。この場合、入射光は、偏光方向がλ／４板３の遅相軸方向と直交するため位相変化を受けずにλ／４板３を透過する。λ／４板３を透過した光は、可変位相差板４により左円偏光に変換されるため、偏光板５を透過すると入射光に対し約５０％の強度の直線偏光となる。

図２（ｄ）は、方位角φが１３５度である偏光成分が入射した場合を示している。この場合、入射光は、λ／４板３により右円偏光に変換される。λ／４板３を透過した光は、可変位相差板４により偏光方向の方位角φが０度の直線偏光に変換され偏光板５の透過軸方向と直交するため、偏光板５をほぼ透過しない。

したがって、可変位相差板４の位相差がλ／４である場合、偏光変調手段７への入射光の偏光成分のうち、方位角φが４５度である偏光成分の透過率が最大になる。以降、偏光変調手段７への入射光の偏光成分のうち透過率が最大になる偏光成分のｘ軸方向に対する角度（最大透過角）をφｏ（度）とする。

図３は、可変位相差板４の位相差ごとの入射光の偏光成分の方位角φと偏光変調手段７の透過率Ｔ（φ）の関係図である。なお、透過光強度は、各素子での表面反射や吸収損失等を無視し、偏光状態の変化の影響のみを考慮している。図中の線（ａ）〜（ｄ）はそれぞれ、可変位相差板４の位相差が０、λ／４、λ／２、３λ／４に設定された場合を示している。例えば、線（ａ）では、方位角φが９０度のときに透過率Ｔ（φ）が１００％となっており、最大透過角φｏは９０度となる。同様に、線（ｂ）、（ｃ）、（ｄ）では、最大透過角φｏはそれぞれ４５度、０度、１３５度（−４５度）となる。以上より、最大透過角φ_０と可変位相差板４の位相差Δψ（度）は、以下の式（１）で表される。

φ_０＝９０−Δψ／２ （１）
したがって、可変位相差板４の位相差を式（１）に基づいて制御することで、透過する偏光方向を制御することができる。

次に、図４を参照して、可変位相差板４の構成について説明する。図４は可変位相差板４の構成図であり、図中の円形部分は液晶層の拡大図である。可変位相差板４は、基板１１、電極層１２、および配向膜１３によって液晶層１４を挟むように構成されている。液晶層１４は、ＶＡ方式の液晶層（ＶＡ液晶層）で、液晶分子１５が配向膜１３に倣う形で配向している。印加電圧を０［Ｖ］、Ａ［Ｖ］、Ｂ（＞Ａ）［Ｖ］へと変更させると、液晶分子１５の配向角度（チルト角度）は最小値θ_ｍｉｎから中間値θを経て最大値θ_ｍａｘに変化する。位相差設定部６は、可変位相差板４に電圧を印加し、液晶分子１５のチルト角度θ、すなわち屈折率異方性を制御することで、可変位相差板４の位相差を変化させる。

チルト角がθ_ｍａｘのときの位相差を最大位相差Δ_ｍａｘ（度）、チルト角がθ_ｍｉｎのときの位相差を最小位相差Δ_ｍｉｎ（度）とすると、位相変化量は最大位相差Δ_ｍａｘと最小位相差Δ_ｍｉｎの差分で表される。本実施例では、最大位相差Δ_ｍａｘおよび最小位相差Δ_ｍｉｎはそれぞれ、３６０度および２０度である。可変位相差板４の位相差は、印加電圧に応じて最小位相差Δ_ｍｉｎ以上、最大位相差Δ_ｍａｘ以下の範囲内で変更可能であるが、最大位相差と最小位相差のうち少なくともいずれか一方を含むことが好ましい。また、可変位相差板４の位相差は、最大位相差Δ_ｍａｘと最小位相差Δ_ｍｉｎの両方を含むことがより好ましい。これは、最大位相差Δ_ｍａｘまたは最小位相差Δ_ｍｉｎに設定された場合の駆動制御性が中間値である位相差（中間位相差）に設定された場合の駆動制御性より優れているためである。また、最大位相差Δ_ｍａｘまたは最小位相差Δ_ｍｉｎに設定された場合の入射角度による位相差の変化も中間位相差に設定された場合の位相差の変化より少ないためである。なお、本実施例で最小位相差Δ_ｍｉｎが０度でないのは、液晶がプレチルト角を持つためである。ただし、本発明はこれに限定されず、最小位相差Δ_ｍｉｎとして０度を用いてもよい。その場合、例えば可変位相差板４の前に液晶のプレチルト角を補償するための位相板を具備してもよい。また、本発明では、ＶＡ方式の液晶を用いることが好ましいが、これに限定されない。例えば、ＴＮ方式やＯＣＢ方式等、種々の液晶を用いてもよい。

図５は、画像処理部１０のブロック図である。画像処理部１０は、偏光情報取得手段（取得手段）１０ａ、画像合成手段（合成手段）１０ｂ、および色補正手段（補正手段）１０ｃを備える。画像処理部１０により実行される画像処理は、ソフトウエアおよびハードウエア上で動作するコンピュータプログラムとしての画像処理プログラムにしたがって実行される。本実施例では、画像処理部１０が画像処理を実行するが、パーソナルコンピュータ（ＰＣ）や専用の装置が画像処理装置として画像処理を実行してもよい。また、画像処理プログラムに対応する回路を設け、回路を動作させることで画像処理を実行させてもよい。

以下、図６のフローチャートを参照して、画像処理部１０により実行される画像処理について説明する。図６は、画像処理を示すフローチャートである。図６のフローチャートは、コンピュータに各ステップの機能を実行させるための画像処理プログラムとして具現化が可能である。図６の各ステップは、画像処理部１０により実行される。なお、図６の各ステップは、撮像装置とは別に設けられた画像処理装置により実行されてもよい。画像処理プログラムは、撮像装置１００の不図示の記録部にインストールされていてもよいし、撮像装置１００とは別の装置内にインストールされていてもよい。また、画像処理プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録されていてもよい。

ステップＳ１０１では、画像処理部１０は、撮像素子２から可変位相差板４の位相差を変更して撮像されたそれぞれ偏光状態（偏光方向）の異なる複数のカラー画像（撮影画像）を取得する。

ステップＳ１０２では、偏光情報取得手段１０ａは、撮像素子２から取得した複数のカラー画像から撮影画像の偏光情報を取得する。図７を参照して、偏光情報の取得方法について説明する。図７は、方位角φと輝度値（光強度）Ｉ（φ）の関係の一例を示す図である。図７の○は、偏光方向が０度、４５度、９０度の撮影画像の所定の１画素の輝度値Ｉ（０）、Ｉ（４５）、Ｉ（９０）を示している。また、実線のカーブは、３つの測定値からフィッティングにより算出された方位角φに対する輝度値Ｉ（φ）の変化を示している。算出された輝度値Ｉのうち最大輝度値をＩ_ＭＡＸ、最小輝度値をＩ_ＭＩＮ、最大輝度値Ｉ_ＭＡＸの方位角（最大方位角）をα（度）とすると、方位角φに対する輝度値Ｉ（φ）は以下の式（２）で表わされる。

Ｉ（φ）＝（Ｉ_ＭＡＸ−Ｉ_ＭＩＮ）・ｃｏｓ^２（φ―α）＋Ｉ_ＭＩＮ （２）
したがって、３つの輝度値を測定することで、画素ごとに偏光情報（最大輝度値Ｉ_ＭＡＸ、最小輝度値Ｉ_ＭＩＮ、最大方位角α）を算出し、方位角φに対する輝度値Ｉ（φ）の変化を求めることができる。なお、本実施例では、偏光情報取得手段１０ａは３つの撮影画像の輝度値から偏光情報を取得したが、本発明はこれに限定されない。式（２）を用いて４つ以上の撮影画像の輝度値をフィッティングすることで偏光情報を算出してもよい。その際、例えば最小二乗法等を使用することができる。

ステップＳ１０３では、画像合成手段１０ｂは、偏光情報取得手段１０ａが取得した偏光情報（最大輝度値Ｉ_ＭＡＸ、最小輝度値Ｉ_ＭＩＮ、最大方位角α）を用いて合成画像を生成する。画像合成手段１０ｂは、例えば、最大輝度値Ｉ_ＭＡＸまたは最小輝度値Ｉ_ＭＩＮのみで合成画像を生成することで、被写体の散乱成分を強調した合成画像や、被写体からの正反射成分を強調した合成画像を生成することができる。また、画像合成手段１０ｂは、式（２）の方位角φを変えて合成画像を生成することで、照明方向を変えたような画像を取得することができる。画像合成手段１０ｂは、これらの組み合わせにより、撮影者の意図に沿った画像を生成することができる。なお、画像合成手段１０ｂは、画像全体に一様に合成画像を生成するだけでなく、領域ごとに異なる偏光情報または強調効果を持たせた合成画像を生成することも可能である。例えば、主被写体と背景（例えば空など）に対して異なる偏光状態の画像を組み合わせることで、背景の色を均一化したり、背景と主被写体それぞれを強調した合成画像を生成することができる。他にも被写体の偏光強度依存性を利用した様々な処理を行うことにより、目的に応じた合成画像を生成することができる。

一般的に、位相板の位相差Δψ（度）は、入射光の波長や入射角度によって変化する。式（１）より最大透過角φ_０も入射光の波長や入射角度によって変化する。その結果、偏光変調手段７を用いて取得される撮影画像には最大透過角φ_０の波長依存性や角度依存性に起因する色づきが発生する。なお、位相差Δψが大きいほど入射光の波長や入射角度の影響が顕著になるため、撮影画像に発生する色づきも顕著になる。ただし、位相差Δψの波長分散や角度特性は事前に測定しておくことができるため、画像取得時の入射光の波長や入射角度が既知であれば、式（１）から最大透過角φ_０を正しく求めることができる。その場合、撮影画像に色づきが発生していても、偏光情報を正しく取得することができるため、偏光情報に基づく合成画像は色づきの影響を受けない。

しかしながら、例えば、１枚の撮像素子とＲＧＢのカラーフィルタを用いて、被写体距離が未知の物体を撮影する場合、入射光の波長や入射角度は厳密に取得することができない。その結果、測定時の位相差Δψを正しく算出できない。これを解決するためには、最大透過角φ_０や偏光情報を取得する際に位相差Δψの代表値を使用すればよい。例えば、カラーフィルタの透過率が最も高くなる波長を中心波長とし、入射光がその中心波長で素子に垂直に入射した場合の位相差を測定時の位相差Δψの代表値として最大透過角φ_０を算出すればよい。ただし、位相差Δψとして代表値を用いると、算出される偏光情報に誤差が発生し、誤差を含んだ偏光情報に基づいて画像を合成すると画像の一部または全体に色づきが発生する場合がある。

以下、偏光情報取得手段１０ａが取得した偏光情報に基づいて画像合成手段１０ｂが合成画像を生成する方法について具体的に説明する。この説明では、可変位相差板４の位相差を２０度、１８０度、２７０度、３６０度の４値で取得された４つの撮影画像の輝度値から合成画像を生成する方法について説明する。

本実施例では、撮像素子２はＲ、Ｇ、Ｂのカラーフィルタを備えるため、４つの輝度値はＲ、Ｇ、Ｂの輝度情報を有する。そのため、偏光情報取得手段１０ａは、まず、式（１）から可変位相差板４の位相差ごとに、それぞれＲ、Ｇ、Ｂの輝度情報に対応する最大透過角φ_０（Ｒ）、φ_０（Ｇ）、φ_０（Ｂ）を算出する。本実施例では、入射光が各カラーフィルタの最大透過率波長（Ｒ＝６１０ｎｍ、Ｇ＝５３０ｎｍ、Ｂ＝４７０ｎｍ）で素子に垂直入射した場合の各位相差（Δψ（Ｒ）、Δψ（Ｇ）、Δψ（Ｂ））を可変位相差板４の位相差の代表値として使用する。

次に、偏光情報取得手段１０ａは、各画像の画素ごとの輝度値を画像取得時の各最大透過角（φ_０（Ｒ）、φ_０（Ｇ）、φ_０（Ｂ））に対してプロットし、画素ごとに偏光情報を算出する。図８は、所定の１画素の輝度値を最大透過角φ_０に対してプロットした図である。図中の○と□はそれぞれ、測定値と偏光情報を用いて式（２）から算出された算出値を示している。図８（ａ）は画素の輝度値をそのまま使用した図であり、図８（ｂ）は偏光変調手段７の透過率の影響を取り除いた画素の輝度値を使用した図である。図８（ａ）と図８（ｂ）に示されるように、偏光情報の取得過程における消光比の低下は、偏光変調手段７の透過率の影響を考慮することで一部キャンセルできる。

画像合成手段１０ｂは、算出された偏光情報を用いて合成画像を生成する。図９は、各画素の輝度値ＩをＩ＝Ｉ_ＭＩＮ＋ｘ（Ｉ_ＭＡＸ−Ｉ_ＭＩＮ）（ｘ＝０、０．５、１．０、１．５）として各画素を合成した合成画像である。図１０は、各画素の輝度値ＩをＩ＝（Ｉ_ＭＡＸ−Ｉ_ＭＩＮ）・ｃｏｓ^２（α−φ）＋Ｉ_ＭＩＮ（φ＝０度、３０度、６０度、９０度、１２０度、１５０度）として各画素を合成した合成画像である。なお、画像合成手段１０ｂが生成する合成画像はカラー画像であるが、図９および図１０では合成画像を白黒に変換して示している。画像合成手段１０ｂは、図９に示されるように、偏光情報のうち最大輝度値Ｉ_ＭＡＸと最小輝度値Ｉ_ＭＩＮに基づいて表面のテカリ感の異なる合成画像を生成することができる。また、画像合成手段１０ｂは、図１０に示されるように、偏光情報（最大輝度値Ｉ_ＭＡＸ、最小輝度値Ｉ_ＭＩＮ、最大方位角α）に基づいて任意の透過軸方位の合成画像を生成することができる。しかしながら、図９および図１０では合成画像が白黒であるため表わされていないが、各合成画像の一部に不自然な色づきが発生している。

そこで、本実施例では、画像合成手段１０ｂで生成された合成画像に発生する色づきを解消するために、色補正手段１０ｃによりステップＳ１０４で合成画像に対して色補正処理を実行する。なお、画像処理部１０は、色補正手段１０ｃだけを備える構成であってもよい。その場合、偏光情報取得手段１０ａおよび画像合成手段１０ｂは別の装置として設けられ、画像処理部１０は、別の装置から出力される合成画像の色補正を行う。すなわち、画像処理部１０は、本ステップの色補正処理だけを実行する。

以下、図１１を参照して、画像合成手段１０ｂで生成された合成画像に発生する色づきを解消するために、色補正手段１０ｃにより実行される色補正処理について説明する。図１１は、色補正処理を示すフローチャートである。図１１のフローチャートは、コンピュータに各ステップの機能を実行させるための画像処理プログラムとして具現化が可能である。図１１の各ステップは、色補正手段１０ｃにより実行される。なお、図１１の各ステップは、撮像装置とは別に設けられた画像処理装置により実行されてもよい。画像処理プログラムは、撮像装置１００の不図示の記録部にインストールされていてもよいし、撮像装置１００とは別の装置内にインストールされていてもよい。また、画像処理プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録されていてもよい。

ステップＳ２０１では、色補正手段１０ｃは、まず、合成画像に色づきが発生しているかどうかを判定する。色づきが発生している場合、ステップＳ２０２に進み、色づきが発生していない場合、本処理を終了する。なお、本ステップでは、色補正手段１０ｃが合成画像に色づきが発生しているかどうかを判断しているが、撮影者が判断するようにしてもよい。

ステップＳ２０２では、色補正手段１０ｃは、撮像素子２から取得する複数の撮影画像のうちいずれかの撮影画像を基準画像として選択する。本処理では、基準画像の色情報に基づいて合成画像の色づきを補正するため、色補正手段１０ｃは基準画像の色情報を正しく取得する必要がある。上述したように、撮影画像を取得する際の可変位相差板４の位相差が大きいほど撮影画像の色づきが顕著になる、つまり撮影画像を取得する際の可変位相差板４の位相差が小さいほど撮影画像の色づきが発生しづらい。そのため、色補正手段１０ｃは、可変位相差板４の位相差が小さい状態で取得される撮影画像を基準画像として選択することが好ましい。より具体的には、基準画像として選択する撮影画像を取得する際の可変位相差板４の位相差は１／４λ未満であることが好ましく、１／８λ未満であることがより好ましい。複数の撮影画像がこのような条件を満たす場合、撮影画像を取得する際の可変位相差板４の位相差が最小である取得画像を基準画像として選択すればよい。本実施例では、色補正手段１０ｃは、可変位相差板４の位相差が最小位相差Δφ_ＭＩＮ（＝２０度）で取得した撮影画像を基準画像として選択する。なお、本実施例では、可変位相差板４の位相差は、入射光が波長５５０ｎｍで偏光変調手段７に垂直に入射する場合の値としている。また、基準画像は、露出条件が異なる複数の撮影画像を合成したＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像であってもよい。ＨＤＲ画像は、露出条件が異なる複数の撮影画像から合成されるため、通常の画像に比べて画像内で白飛びや黒つぶれを抑制し、色情報が失われにくい。そのため、ＨＤＲ画像を基準画像として使用することで、より多くの色情報を用いた合成画像の色補正が可能となる。

ステップＳ２０３では、色補正手段１０ｃは、合成画像および基準画像をＲＧＢ信号から輝度信号および色差信号に変換する。例えば、色補正手段１０ｃは、ＲＧＢ信号をＹＣｂＣｒ信号やＨＳＬ信号に変換してから輝度信号および色差信号に変換してもよい。本実施例では、色補正手段１０ｃは、ＲＧＢ信号をＹＣｂＣｒ信号に変換した後、ＹＣｂＣｒ信号を輝度信号Ｙおよび色差信号Ｃｂ、Ｃｒに変換する。

ステップＳ２０４では、色補正手段１０ｃは、合成画像のＣｂ値およびＣｒ値が基準信号のＣｂ値およびＣｒ値に一致するように合成画像の色差信号を補正する。ただし、本発明はこれに限定されず、合成画像の色づきが解消されるように合成画像のＣｂ値およびＣｒ値が補正されればよい。例えば、色補正手段１０ｃは、合成画像のＣｂ値およびＣｒ値と基準画像のＣｂ値およびＣｒ値との差分が所定値より小さくするように色差信号を補正してもよい。このとき、Ｃｒ値およびＣｂ値で共通の所定値を設定してもよいが、より効果的に合成画像の色づきを解消するためにＣｂ値とＣｒ値で最適な所定値を設定してもよい。また、所定値は、あらかじめ設定された値を使用してもよいが、より合成画像の色づきを解消するために補正の効果を画像で確認しながら設定してもよい。

ステップＳ２０５では、色補正手段１０ｃは、調整後の合成画像をＲＧＢ信号に変換する。本実施例では、色補正手段１０ｃは、補正後の合成画像をＹＣｂＣｒ信号からＲＧＢ信号に変換する。

以上の処理によって、本発明では、不自然な色づきが解消された合成画像を生成することができる。

本実施例では、光学ローパスフィルタ等が配置された場合に生じる影響を考慮した撮像装置２００について説明する。実施例１と重複する構成については、説明を省略する。

一般に、デジタル一眼レフカメラ等の撮像装置では、モアレや偽色防止のため撮像素子の近傍に光学ローパスフィルタが配置される。実施例１で説明した構成を用いても、撮像素子２の手前に配置された光学ローパスフィルタやオートフォーカス手段に偏光依存性が存在する場合、被写体の偏光情報が正しく取得できない場合がある。また、偏光変調手段７を単に光学ローパスフィルタとレンズの間に配置すると、偏光変調手段７の影響により光学ローパスフィルタとしての所望の効果が得られない場合がある。

図１２は、光学ローパスフィルタ１７を有する撮像装置２００の概略図を示す。光学ローパスフィルタ１７には、複屈折媒質が複数層積層されたものや偏光回折素子などの偏光特性を利用したものが用いられる。上述のような光学ローパスフィルタ等が配置された場合に生じる弊害に対し、実施例２では、偏光板５と光学ローパスフィルタ１７の間にアクロマチックλ／４板１６（アクロマチック位相差板）を挿入し円偏光に変換する。通常のλ／４板を挿入することとしてもよいが、λ／４板には波長分散があり使用波長域全域で均一な円偏光とならず、波長による位相ズレが色の変化として画像に表れる可能性がある。そのため、挿入するλ／４板としては、使用波長域（例えば、可視波長域）において位相差が最小となるように設計されたアクロマチックλ／４板が望ましい。また、それ以外の対策として、光学ローパスフィルタ１７の最も偏光変調手段７に近い層（積層構造となっている場合）の光分離方向と偏光板５の透過軸方向とが４５度をなすように配置してもよい。この場合も、光学ローパスフィルタの特性と偏光変調手段７の特性を両立できる。いずれの対策を用いてもよいが、後者の方が簡易である。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの辞し形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

なお、可変位相差板４の位相差に示されるλは、一般的な撮像装置の使用波長域は可視域（４００〜７００ｎｍ）であるため、そのような波長であればよく、例えば中心波長５５０ｎｍとすればよい。または、撮像装置の使用波長域が赤外域（７００ｎｍ〜１１００ｎｍ）の場合は赤外域内の波長であればよく、例えば波長９００ｎｍとすればよい。その両方を含む場合には、可視域または赤外域内の波長であればよく、例えば波長７５０ｎｍとすればよい。

１０ 画像処理部（画像処理装置）
１０ｃ 色補正手段（補正手段）

Claims (13)

1. 被写体からの光に与える位相差を変更することで取得された偏光状態の異なる複数のカラー画像に基づく前記被写体の偏光情報を用いて生成された合成画像に対して、前記複数のカラー画像から選択された基準画像に基づいて色補正を行う補正手段を有することを特徴とする画像処理装置。
2. 前記補正手段は、前記複数のカラー画像のうち前記位相差が最小である場合に取得された画像を前記基準画像として選択することを特徴とする請求項１に記載の画像処理装置。
3. 前記補正手段は、露出条件が互いに異なる複数のカラー画像を合成して取得された画像を前記基準画像として選択することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記補正手段は、前記合成画像および前記基準画像の信号を輝度信号および色差信号に変換し、前記合成画像の色差信号と前記基準画像の色差信号との差分が所定値より小さくなるように前記合成画像の色差信号を補正し、補正後の色差信号に基づいて前記合成画像を補正することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記補正手段は、前記合成画像および前記基準画像の信号をＲＧＢ信号からＨＳＬ信号またはＹＣｂＣｒ信号に変換することを特徴とする請求項４に記載の画像処理装置。
6. 前記複数のカラー画像から前記偏光情報を取得する取得手段と、
   前記偏光情報を用いて前記合成画像を生成する生成手段と、を更に有することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 偏光状態の異なる複数のカラー画像を取得する撮像素子と、
   請求項１から６のいずれか１項に記載の画像処理装置を有することを特徴とする撮像装置。
8. 被写体からの光を前記撮像素子に導くとともに、前記被写体からの光に与える位相差を変更可能な光学装置を更に有することを特徴とする請求項７に記載の撮像装置。
9. 前記光学装置は、遅相軸方向の偏光成分と進相軸方向の偏光成分との間にπ／２の相対位相差を与える第１の位相差板と、遅相軸方向の偏光成分と進相軸方向の偏光成分との間に与える相対位相差を変更可能な第２の位相差板と、前記撮像素子に導く偏光成分を抽出する偏光板と、を前記被写体の側から前記撮像素子の側へ順に備え、
   前記第１の位相差板の遅相軸方向または進相軸方向は、前記偏光板の偏光方向と略平行であり、
   前記第２の位相差板の遅相軸方向は、前記第１の位相差板の遅相軸方向および進相軸方向に対して傾いて略４５度だけ傾いていることを特徴とする請求項８に記載の撮像装置。
10. 被写体からの光に与える位相差を変更することで取得された偏光状態の異なる複数のカラー画像を取得する取得ステップと、
    前記複数のカラー画像に基づく前記被写体の偏光情報を用いて生成された合成画像に対して、前記複数のカラー画像から選択された基準画像に基づいて色補正を行う補正ステップと、を有することを特徴とする画像処理方法。
11. 前記取得ステップは、前記複数のカラー画像のうち前記位相差が最小である場合に取得された画像を前記基準画像として選択するステップと、前記合成画像および前記基準画像の信号を輝度信号および色差信号に変換するステップと、前記合成画像の色差信号と前記基準画像の色差信号との差分が所定値より小さくなるように前記合成画像の色差信号を補正するステップと、補正後の色差信号に基づいて前記合成画像を補正するステップと、を有することを特徴とする請求項１０に記載の画像処理方法。
12. 請求項１０または１１に記載の画像処理方法のステップをコンピュータに実行させるためのことを特徴とする画像処理プログラム。
13. 請求項１２に記載の画像処理プログラムを記録するコンピュータで読み取り可能な記録媒体。