JP2023011342A - 画像処理装置及び方法、及び撮像装置 - Google Patents

Abstract

【課題】 １回の撮影で得られる複数の異なる偏光特性を有する画像信号を用いて、より精度の高い偏光除去処理を行えるようにすること。【解決手段】 互いに偏光角度が異なる複数の偏光光を光電変換することにより生成された画像信号を入力し、複数の偏光光に基づく複数の画像信号を１つのセットとして、各セットごとに複数の画像信号の偏光成分の偏光強度の最大値と、偏光強度が最大となる偏光角度とを求める。また、画像信号に基づいて、偏光除去を行う対象となる対象領域を求め、当該対象領域に含まれる、統計を取るための統計領域を設定し、統計領域に含まれる前記セットの前記偏光強度の最頻値である代表強度と、偏光角度の最頻値である代表角度とを求める。求めた代表強度と代表角度とを用いて、対象領域に含まれるセットの各画像信号を、当該各画像信号の偏光角度に応じて補正する。【選択図】 図１

Description

本発明は、画像処理装置及び方法、及び撮像装置に関し、特に、互いに偏光角度が異なる複数の偏光光を光電変換することにより生成された画像信号を処理する技術に関する。

従来、ＣＣＤ（Charge Coupled device：電荷結合素子）や、ＣＭＯＳ（Complementary Metal Oxide Semiconductor：相補性金属酸化膜半導体）センサ等に代表される撮像素子には、複数の受光素子（画素）が配置されている。そして、各画素において光を電気に変換することで、光の強さ（輝度）を検出することができる。また、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のうちいずれかの波長帯域の光を主に通過させるカラーフィルタを各画素に配置することで、可視光の波長（色）の光の強さのみを検出することができる。このような仕組みを用いることで、可視光の被写体を、映像信号（電気信号）として記憶装置に記録したり、表示装置に表示することが可能になる。

ところで、光は輝度や色等の要素のほかに、偏光と呼ばれる性質を持つ。偏光は、光の振動方向と考えることができ、光源から発した光は、被写体で反射する際に様々な振動方向成分（偏光方向）を持つことが知られている。しかし、実際は偏光された光と偏光していない光とが混合した光が眼に届くため、偏光した光の成分（偏光成分）を見分けることはできない。

一方で、この偏光の性質を利用することで、必要な反射光を際立たせたり、不必要な反射光を除去したりできることが一般的に知られている。例えば、水面やガラス面に映り込んでしまう映像を偏光（Polarized Light：ＰＬ）フィルタを使って除去することは、撮影のテクニックとしてよく利用されている。不要な反射光を抑えることでコントラストの協調効果を生み出したり、偏光強度から物体にかかる応力を可視化する等、従来とは異なる光の性質の利用方法として、今後も様々な応用が期待される。

特許文献１では、異なる偏光角度の光を光電変換して取得した複数の偏光画像の輝度値を用いて、所望の偏光角度の偏光光に対応する出力画像を生成する技術が提案されている。この技術では、偏光角度に応じて変化する輝度成分（偏光成分）の近似関数を求め、求めた近似関数に基づいて特定の偏光角度における偏光成分を求め、所望の偏光角度の偏光光に対応する出力画像を生成する。この技術を用いることで、出力画像の偏光角度を任意に調整することができる。

また、特許文献１は、複数の偏光画像の取得方法として、偏光方向が異なる４つの偏光子を一組として配列された偏光子アレイを撮像素子に一体的に設け、出力された画像信号から偏光角度が異なる４枚の画像を生成する例を示している。

特開２０１７－２２８９１０号公報

しかしながら、特許文献１の技術を用いて、上述した偏光子アレイを用いて偏光角度の異なる画像を取得し、任意の偏光角度の偏光成分の除去を行う場合、次のような問題があった。すなわち、近似関数の最小輝度値が近似関数を求める際に使用した偏光子の各組に対応する４画素の画像信号に適用されてしまうため、偏光除去処理後の解像度が低下してしまう。

例えば、図３５（ａ）に示すような車の中の被写体を撮影する際に、ある偏光角度において、図３５（ｂ）の領域３５０１に示すように、フロントガラスが光を反射して車の中の様子が撮影できない状態を想定する。この場合、偏光子アレイが設けられた撮像素子を用いて撮影を行い、取得した画像に対して偏光除去処理を行うことで反射光を取り除くことはできるが、解像度が低下してしまう。

また、近似関数を求める際に使用した４画素の画像信号にエッジ成分が含まれている場合には、そもそも近似関数を正しく求めることができないため、エッジ成分を含む画像信号からは偏光成分を除去することができない。

本発明は上記問題点を鑑みてなされたものであり、１回の撮影で得られる複数の異なる偏光特性を有する画像信号を用いて、より精度の高い偏光除去処理を行えるようにすることを目的とする。

上記目的を達成するために、本発明の画像処理装置は、互いに偏光角度が異なる複数の偏光光を光電変換することにより生成された画像信号を入力する入力手段と、前記複数の偏光光に基づく複数の画像信号を１つのセットとして、各セットごとに前記複数の画像信号の偏光成分の偏光強度の最大値と、前記偏光強度が最大となる偏光角度とを求める第１の処理手段と、前記画像信号に基づいて、偏光除去を行う対象となる対象領域を求め、当該対象領域に含まれる、統計を取るための統計領域を設定する設定手段と、前記統計領域に含まれる前記セットの前記偏光強度の最頻値である代表強度と、前記偏光角度の最頻値である代表角度とを求める第２の処理手段と、前記代表強度と前記代表角度とを用いて、前記対象領域に含まれる前記セットの各画像信号を、当該各画像信号の偏光角度に応じて補正する第１の補正処理を行う補正手段とを有する。

本発明によれば、１回の撮影で得られる複数の異なる偏光特性を有する画像信号を用いて、より精度の高い偏光除去処理を行うことができる。

本発明の第１乃至第４、第６、及び、第８乃至第１０の実施形態に係る撮像装置の機能構成を示すブロック図。 実施形態における偏光フィルタの配置例を示す図。 実施形態におけるカラーフィルタ及び偏光フィルタの配置例を示す図。 第１の実施形態における被写体例を示す図。 図４に示す被写体を撮影した場合に異なる偏光方向毎に生成された画像の例を示す図。 第１の実施形態に係る偏光成分の近似関数を表したグラフである。 第１の実施形態に係る偏光成分の除去方法を示すフローチャート。 第１乃至第４の実施形態に係る偏光強度及び偏光角度の発生頻度を示すヒストグラムの例を示す図。 第２乃至第４の実施形態における被写体例を示す図。 第２の実施形態に係る偏光成分の除去方法を示すフローチャート。 第３の実施形態に係る偏光成分の除去方法を示すフローチャート。 第５の実施形態におけるＨＤＲ合成のための露光時間と偏光フィルタの配置例を示す図。 ＨＤＲ合成を説明する図。 偏光フィルタを用いた場合にＨＤＲ合成で起こる課題を説明する図。 第５の実施形態に係る撮像装置の機能構成を示すブロック図。 第５の実施形態に係る偏光成分の近似関数取得に向けた利得変換を示す図。 第５の実施形態に係る偏光除去画像を用いたＨＤＲ合成処理のフローチャート。 第６の実施形態に係る偏光成分の除去方法を示すフローチャート。 第６の実施形態におけるローカル４画素のずらし方を説明する図。 第６の実施形態の変形例に係る偏光成分の除去方法を示すフローチャート。 第６の実施形態の変形例におけるローカル４画素のずらし方を説明する図。 第７の実施形態に係る撮像装置の機能構成を示すブロック図。 第７の実施形態に係る補間方法を説明するための図。 第７の実施形態に係るカラーフィルタが配された場合の補間方法を説明するための図。 第７の実施形態に係るエッジ有無の判定方法を説明するための図。 第７の実施形態に係るエッジ判別処理の流れを示すフローチャート。 第８の実施形態に係る複数の反射面を有する被写体例を示す図。 第８の実施形態に係る被写体が複数の反射面を有する場合の偏光成分のヒストグラムを示す図。 第８の実施形態に係る偏光成分の除去方法を示すフローチャート。 第９の実施形態に係る曲面を有する被写体例を示す図。 第９の実施形態に係る被写体が曲面を有する場合の偏光成分のヒストグラムを示す図。 第９の実施形態に係る偏光成分の除去方法を示すフローチャート。 第１０の実施形態に係る偏光成分の除去方法を示すフローチャート。 第１０の実施形態におけるエッジの判定方法を説明するための図。 課題を説明するための図。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

＜第１の実施形態＞
以下、本発明の第１の実施形態について説明する。
図１は、本発明の画像処理装置を適用した第１の実施形態における撮像装置１００の機能構成を示すブロック図であり、偏光成分の除去処理（補正処理）に関係する機能を抽出して示している。撮像装置１００は、画像を入力し、入力した画像から任意の偏光成分を削減して出力することが可能な装置の一例である。

撮像素子１０１は、入射光をアナログの電気信号に変換する光電変換部と、変換されたアナログ信号をデジタル信号に変換するためのＡＤ変換部とを有する。また、撮像素子１０１の撮像面上には、偏光方向が異なる複数の偏光フィルタが、各画素毎に配置されている。

ここで、本実施形態で用いる撮像素子１０１の画素部１１２における偏光フィルタの配置について、図２を用いて説明する。図２（ａ）に示すように、撮像素子１０１は画素毎に偏光フィルタを備えている。また、各画素の偏光フィルタは、隣接する画素の偏光フィルタと偏光方向が異なっており、隣接する画素は異なる偏光方向の偏光光を光電変換することが可能である。以後、このように偏光フィルタが配置された画素部１１２を、「撮像面偏光センサ１１２」と呼ぶ。

撮像面偏光センサ１１２には、図２（ｂ）に示すように、４つの画素を一組（セット）として、偏光方向が４５°ずつ異なる４種類の偏光フィルタが配置されている。一例として、偏光角度０°の偏光フィルタ１１３、偏光角度４５°の偏光フィルタ１１４、偏光角度９０°の偏光フィルタ１１５、偏光角度１３５°の偏光フィルタ１１６が配置されている。以後、この４画素の組（セット）のことを「ローカル４画素」と呼ぶ。撮像面偏光センサ１１２には、多数のローカル４画素が、図２（ａ）に示す通り周期的に配置される。

このような構成にすることで、常に複数の異なる偏光方向の偏光光を同じタイミングで光電変換し、同一フレームの画像として取得することができる。この撮像素子１０１の場合、４つの異なる偏光方向の偏光光による画像を１回の撮影で取得できるようになる。このように、図２に示す偏光フィルタが配置された撮像面偏光センサ１１２を用いることで、異なる偏光方向の偏光光による画像を得るために、異なる偏光方向の偏光特性を有するＰＬフィルタをレンズ前に複数配置して、手動または自動で動かす、といったような作業は不要となる。

なお、撮像面偏光センサ１１２が、カラーフィルタ等の分光機能を有さない場合、得られる画像はモノクロ画像となるが、図３に示すように、ローカル４画素毎に同色のカラーフィルタを配置することで、カラー画像を得ることが可能である。ここでは、図３（ｂ）に示すように、赤（Ｒ）のカラーフィルタ１１８により覆われたローカル４画素と、緑（Ｇ）のカラーフィルタ１１９により覆われたローカル４画素と、青（Ｂ）のカラーフィルタ１２０により覆われたローカル４画素とを、図３（ａ）に示すようにベイヤー配列にした場合を示している。

図２及び図３に示したのは撮像素子１０１を構成する撮像面偏光センサ１１２の一例であり、偏光フィルタの配置方法及び偏光方向に関しては任意の設定を行うことが可能である。また、偏光フィルタの有無を組み合わせる方法も考えられる。

ここで、偏光光の偏光方向と、出力される画像信号の明るさとの関係について、図４に示す被写体を撮影した場合を例にとって説明する。撮像面偏光センサ１１２により撮影して得られた１枚の画像の画像信号から、ある一つの偏光方向の偏光フィルタが配置された画素の信号だけを抽出して１枚の画像を生成することで、その偏光フィルタと同じ偏光方向の偏光光による画像を得ることができる。これを偏光フィルタ１１３～１１６毎に行うことで、４種類の偏光方向の画像を得ることができる。

図４は、車４０１の中に人物４０２が居る被写体であり、車のフロントガラスを領域４００としている。ここでは、領域４００における反射光が大きくなる場合を想定している。反射光の偏光特性の詳細については後述する。

図５は、撮像素子１０１から得られた画像信号を偏光方向毎に分離した４枚の偏光画像の例を示す。図５（ａ）は、図２に示した偏光角度０°の偏光フィルタ１１３が配置された画素のみから出力された画像信号から生成された偏光画像１２１を示す。図５（ｂ）は、偏光角度４５°の偏光フィルタ１１４が配置された画素のみから出力された画像信号から生成された偏光画像１２２を示す。図５（ｃ）は、偏光角度９０°の偏光フィルタ１１５が配置された画素のみから出力された画像信号から生成された偏光画像１２３を示す。また、図５（ｄ）は、偏光角度１３５°の偏光フィルタ１１６が配置された画素のみから出力された画像信号から生成された偏光画像１２４である。図５では、被写体から反射した光が、偏光フィルタを透過した領域は明るく、偏光フィルタによって遮断された領域は暗く表現している。

ここでは、偏光角度４５°の偏光フィルタ１１４が、フロントガラスからの反射光を最も多く透過するため、図５（ｂ）に示す領域４００を明るく表現している。また、偏光角度１３５°の偏光フィルタ１１６が、フロントガラスからの反射光を最も多く遮断するため、図５（ｄ）に示す領域４００を暗く表現している。また、偏光角度０°の偏光フィルタ１１３及び偏光角度９０°の偏光フィルタ１１５が透過する反射光の量が偏光フィルタ１１４と偏光フィルタ１１６の中間になるため、図５（ａ）及び図５（ｃ）に示す領域４００を中間的な明るさで表現している。

また、４方向の偏光画像において明るさが変わらない領域、つまり領域４００を除く領域は、光が偏光していない無偏光領域となる。すなわち、無偏光領域については偏光角度を調整することができないので、図４に示す被写体例において反射光の大きさを調整できるのは、領域４００のみとなる。

撮像素子１０１で撮像面偏光センサ１１２により生成されたデジタル信号（画像信号）は、画像取得部１０２に入力される。画像取得部１０２は、撮像素子１０１から画像信号を入力し、領域決定部１０３及び近似関数算出部１０４に出力する。

領域決定部１０３は、画像取得部１０２から入力した画像信号に後述する偏光除去処理を行う際にローカル４画素で取得された偏光特性を集計し、ヒストグラムを作成する範囲（統計領域）を決定する。例えば、各ローカル４画素から出力された４つの画像信号（輝度値）のうち、最大値と最小値との差が予め決められた閾値以上の場合に、そのローカル４画素が偏光除去を行う対象の領域（以下、「偏光除去対象領域」と呼ぶ。）に属すると判定する。そして、偏光除去対象領域に属すると判定された互いに隣接するローカル４画素を集めた領域を、偏光除去対象領域とする。領域決定部１０３は、こうして求めた偏光除去対象領域を統計領域として決定する。なお、偏光除去対象領域よりも狭い領域を統計領域として決定してもよい。
近似関数算出部１０４は、画像取得部１０２で取得した画像信号から、ローカル４画素毎に偏光光の偏光特性を求める。ここで、偏光特性を求める方法について説明する。

図６（ａ）は、領域４００内の任意のローカル４画素における偏光特性を表す近似関数Ｆ（θ）のグラフである。本実施形態においては偏光角度θ毎に変化する輝度Ｉ（θ）の成分を、「偏光成分」と呼ぶ。偏光角度０°、４５°、９０°、１３５°における輝度Ｉ（θ）を画像取得部１０２から得られた画像から取得し、取得した輝度Ｉ（θ）を偏光角度θごとにプロットすると、輝度Ｉ（θ）は、１８０°の周期をもった正弦関数、または余弦関数で近似することができる。即ち、近似関数Ｆ（θ）を得ることができる。なお、本実施形態では図２に示す偏光フィルタ１１３～１１６を用いて４つの偏光角度の輝度を利用しているが、３つ以上の偏光角度の輝度が分かれば、偏光成分の近似関数Ｆ（θ）を生成することができる。

この偏光成分の近似関数Ｆ（θ）は、式（１）により表すことができる。
Ｆ（θ）＝Ａｃｏｓ（２θ＋２Ｂ）＋Ｃ …（１）
式（１）において、Ａは偏光成分の偏光強度、Ｂは偏光成分の偏光角度、Ｃはオフセット成分となる。近似関数Ｆ（θ）において、最小輝度Ｉｍｉｎとなる点は偏光成分が一番少ないため、無偏光成分のみの輝度を表している。この近似関数Ｆ（θ）を求めることで、反射光の大きさが所望の大きさとなるように、偏光角度θを調整することが可能になる。

領域４００内の偏光成分は、図６（ａ）に示す本実施形態の例では、前述したように偏光角度４５°の時に最大輝度Ｉｍａｘとなり、１３５°の時に最小輝度Ｉｍｉｎとなる。

図６（ｂ）は、図５における領域４００を除く無偏光領域の偏光成分（無偏光成分）を示しており、偏光成分はすべての偏光角度θにおいて０になる。実際には、偏光成分が完全に０になるシーンは少ないが、本実施形態においては説明の便宜上、偏光成分を０としている。

偏光強度抽出部１０５では、近似関数算出部１０４で求めた偏光成分の近似関数Ｆ（θ）から、偏光成分の強度情報（偏光強度）を抽出し、偏光強度ヒストグラム生成部１０６に出力する。偏光強度は近似関数Ｆ（θ）の振幅を指し、偏光光の輝度によって偏光強度は変わる。
偏光強度ヒストグラム生成部１０６は、領域決定部１０３で決定された領域内における偏光強度抽出部１０５で抽出されたローカル４画素毎の偏光強度を集計し、発生頻度のヒストグラムを作成する。
偏光強度最頻値算出部１０７は、偏光強度ヒストグラム生成部１０６で生成されたヒストグラムにおいて最頻値となる偏光強度（代表強度）を求め、偏光除去処理部１１１へ出力する。

一方、偏光角度抽出部１０８では、近似関数算出部１０４で求めた偏光成分の近似関数Ｆ（θ）から、偏光成分の角度情報（偏光角度）を抽出し、偏光角度ヒストグラム生成部１０９に出力する。偏光角度は、近似関数Ｆ（θ）が最大輝度Ｉｍａｘを示す角度を指す。
偏光角度ヒストグラム生成部１０９は、領域決定部１０３で決定された統計領域内における偏光角度抽出部１０８で抽出されたローカル４画素毎の偏光角度を集計し、発生頻度のヒストグラムを作成する。
偏光角度最頻値算出部１１０は、偏光角度ヒストグラム生成部１０９で生成されたヒストグラムにおいて最頻値となる偏光角度（代表角度）を求め、偏光除去処理部１１１へ出力する。

偏光除去処理部１１１では、偏光強度最頻値算出部１０７で取得した偏光強度の最頻値と偏光角度最頻値算出部１１０で取得した偏光角度の最頻値とを用いて、統計領域内における代表偏光特性を決定する。そして、決定した代表偏光特性から各角度（ここでは０°、４５°、９０°、１３５°）の偏光成分を算出し、各輝度値から偏光成分を減算する。例えば、式（１）のＡに偏光強度の最頻値Ｉｍｏｄｅを、Ｂに偏光角度の最頻値θｍｏｄｅを、θに各角度を代入することにより、以下の式（２）に示す偏光成分の近似関数を得ることができる。そして、以下の式（２）に各偏光角度を代入することにより、各偏光角度の偏光成分を求める。

Ｆ（θ）＝Ｉｍｏｄｅ・ｃｏｓ（２θ＋２θｍｏｄｅ）＋Ｃ …（２）

そして、偏光除去対象領域の各画素から得られる輝度Ｉ（θ）から、求めた偏光成分を減算することで、偏光成分を除去することができる。

次に、図７のフローチャートを参照しながら、上述した偏光成分の除去処理と、車内の人物のエッジと偏光成分が重なる場合にも、偏光成分を適切に除去し、解像度を保った偏光除去画像を生成することができる理由について説明する。以後、このように車内の人物のような無偏光成分によるエッジを「無偏光成分のエッジ」と呼び、反射光等の偏光成分によるエッジを「偏光成分のエッジ」と呼ぶ。

まず、Ｓ１０１では、撮像面偏光センサ１１２から画像信号を取得する。Ｓ１０２では、近似関数算出部１０４において、画像取得部１０２で取得された画像信号に基づいて、ローカル４画素毎に偏光成分の近似関数Ｆ（θ）を求める。この偏光成分の近似関数Ｆ（θ）は、同じ偏光特性を持つ領域では似たような近似関数が算出される。ただし、図４に示すように、反射するフロントガラスの後ろに人物等の無偏光成分のエッジが存在する場合、領域４００内の無偏光成分のエッジを含んだローカル４画素で求められた近似関数Ｆ（θ）が表す偏光特性は、本来の偏光特性とは異なるものとなる。一方、領域４００内の人物のエッジが含まれないローカル４画素で求められた近似関数Ｆ（θ）は正しい偏光特性を示した近似関数になる。

Ｓ１０３では、近似関数算出部１０４でローカル４画素毎に求められた偏光成分の近似関数Ｆ（θ）から、偏光強度抽出部１０５及び偏光角度抽出部１０８により、それぞれ偏光強度と偏光角度を算出する。

Ｓ１０４では、偏光除去処理部１１１で偏光成分の除去を行う際に、複数の偏光特性を用いるが、その偏光特性を取得するための統計領域を決定する。上述したように例えば、偏光成分の除去を行う対象である偏光除去対象領域（例えば領域４００）であってもよいし、偏光除去対象領域内のより狭い領域であってもよい。

Ｓ１０５では、Ｓ１０３で取得した偏光強度と偏光角度を、Ｓ１０４で領域決定部１０３により決定した統計領域毎に集計する。そして、偏光強度ヒストグラム生成部１０６及び偏光角度ヒストグラム生成部１０９が、集計した偏光強度と偏光角度を用いて、それぞれ発生頻度のヒストグラムを作成する。

Ｓ１０６では、偏光角度最頻値算出部１１０、偏光強度最頻値算出部１０７が、Ｓ１０５で作成された偏光強度と偏光角度のヒストグラムそれぞれにおける最頻値（代表強度及び代表角度）を取得し、統計領域の代表偏光特性とする。

領域４００内における人物のエッジが含まれる領域に注目した場合、フロントガラスの後ろの無偏光成分のエッジが無いローカル４画素で得られる近似関数Ｆ（θ）が正しい偏光特性を表す関数になり、この偏光特性は統計領域内において最多成分になる。一方、無偏光成分のエッジを含むローカル４画素で算出した近似関数Ｆ（θ）は、エッジを含まないローカル４画素の偏光特性とは異なり、エッジの角度やコントラストによって得られる近似関数Ｆ（θ）が異なる。そのため、この領域内で生成されるヒストグラムは、図８（ａ）及び図８（ｂ）に示すような、正しい偏光特性と、エッジを含んだランダムに分布する偏光特性とが混在したヒストグラムになる。したがって、作成されたヒストグラムから、統計領域における偏光強度と偏光角度の最頻値を求めて代表偏光特性とすることで、エッジ成分の影響を除去することができる。

Ｓ１０７では、Ｓ１０６で取得した代表偏光特性を使って、式（２）で説明したようにして各偏光角度の偏光成分を算出し、各画素の輝度値から減算することで、偏光成分を削減する。

上記の通り第１の実施形態によれば、偏光除去対象領域内のすべての画素に対して、対応する統計領域の代表偏光特性を用いて偏光成分除去処理（補正処理）を行う。これにより、ローカル４画素がエッジを含む場合にエッジの影響を受けた偏光特性が算出されたローカル４画素に対しても、エッジの影響を受けていない偏光特性を適用することにより、より正確に偏光成分を低減することが可能になる。また、偏光フィルタの各偏光角度に対して適切な量の偏光成分を、各画素の輝度値から減算することで、解像度を低下させることなく、偏光成分を低減することが可能となる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。
上述した第１の実施形態では、統計領域内の代表偏光特性を算出し、対応する偏光除去対象領域の画素の輝度値から、各偏光角度についてより適切な量の偏光成分を減算することで、解像度を保ったまま偏光成分を低減した。しかし、図９に示す被写体のように、偏光除去対象領域内から反射される光は、必ずしも一種類の偏光成分だけとは限らない。光を反射している物体によっては、ヒストグラムの形状が大きく異なる場合があり、例えば、偏光強度のヒストグラムのピークが複数発生する場合がある。

そこで、第２の実施形態では、図９に示すように光を反射する被写体における偏光成分の除去方法について、図１０のフローチャートを用いて説明する。図９の領域９０１は、輝度が小さい反射光を持つ領域、領域９０２は輝度が大きい反射を持つ領域となる。なお、図１０において、図７に示す処理と同様の処理には同じステップ番号を付し、適宜説明を省略する。

図９のような偏光強度の違う反射光が複数含まれる被写体では、偏光除去対象領域内に偏光の境目が含まれる場合がある。この時、Ｓ１０５で偏光強度のヒストグラムを作成すると、ピークが複数含まれるヒストグラムになる。この場合、第１の実施形態の方法では、Ｓ１０６において、発生頻度が多い方が統計領域内の最頻値として代表偏光特性に選ばれ、Ｓ１０７において、各偏光除去対象領域毎に代表偏光特性を用いて偏光除去を行う。しかしながら、偏光除去対象領域内に複数の異なる偏光特性を有する偏光成分が含まれている場合、正しく偏光成分の除去ができず、ノイズの原因になる。

領域９０１と領域９０２では、偏光強度が異なるため、近似関数Ｆ（θ）の振幅は異なる。そのため、統計領域が領域９０１と領域９０２にまたがっていると、統計領域内に２種類の偏光強度が含まれることになる。そのような統計領域でヒストグラムを作成すると、偏光強度のヒストグラムでは、図８（ｃ）に示すように、領域９０１と領域９０２に対応する２つのピークが発生する。この時、２つのピークのうち、多い値を持つ方が最頻値として選択され、統計領域の代表偏光特性になる。しかし、仮に領域９０１の偏光特性が代表偏光特性に選ばれ、偏光成分の除去が行われた場合、領域９０２では誤った偏光成分の除去が行われることになる。

そこで、第２の実施形態では、偏光成分の統計領域を変えながら、複数枚の偏光成分を除去した偏光除去画像を生成する。Ｓ２０８では、Ｓ１０１～Ｓ１０７の処理により、統計領域を変更して補正した偏光除去画像が既定の枚数作成されたかを判断する。規定回数に到達している場合は、そのままＳ２１０に進む。一方、規定回数に到達していない場合は、Ｓ２０９に進み、統計領域を変更する。

図９のような被写体の場合、統計領域のパターンによっては領域９０１と領域９０２のような偏光強度の違う複数の偏光を含み、うまく偏光成分が除去できない偏光除去対象領域が発生する。その場合に統計領域の位置やサイズを変更した偏光除去画像を複数枚作成することで、統計領域のパターンによって、偏光の境界を含まないように統計領域が選択され、補正された画像が作成される。

Ｓ２１０では、統計領域を変更して作成された複数枚の偏光除去画像に対して、平均化等の合成処理を行って、１枚の偏光除去画像を作成する。そうすることで、各偏光除去画像では誤った偏光成分での偏光除去でノイズが発生することがあるが、偏光除去対象領域を変更した画像を複数枚合成することでノイズの影響を減らし、正しい偏光除去画像に近づけることができる。

第２の実施形態では、統計領域のサイズや位置を変えて偏光成分の除去を行った画像を複数枚作成し、平均化等の合成処理を行う。つまり、２種類の反射光の境目付近において、１回目の統計領域の取り方では、領域内に２種類の偏光光が含まれる場合でも、Ｎ回目の統計領域の取り方では、統計領域内に１種類の偏光光のみを含む場合がある。このようにして得られた異なる統計領域の代表偏光情報に基づいて補正された複数の偏光除去画像を合成することで、１つの偏光除去対象領域の取り方で偏光除去したものよりも、誤った値で偏光除去した場合に発生するノイズが抑制される。

上記の通り第２の実施形態によれば、異なるサイズ及び位置の統計領域で偏光除去した画像を複数枚合成することで、被写体やシーンに合わせた偏光除去（補正処理）を行うことができる。

＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。
第２の実施形態では、偏光除去対象領域内に複数種類の偏光強度の異なる反射光が含まれる場合に、統計領域のサイズ及び位置を変更して、偏光成分を除去する方法について説明した。第３の実施形態では、第２の実施形態と同様に偏光除去対象領域内に複数種類の偏光強度の異なる反射光が含まれる場合の、別の偏光成分の除去方法について説明する。

図１１は、第３の実施形態における偏光成分の除去方法を示すフローチャートである。なお、図１１において、図７に示す処理と同様の処理には同じステップ番号を付し、適宜説明を省略する。

Ｓ３０６では、Ｓ１０５で取得した偏光強度のヒストグラムにおいて、発生頻度のピークの数を取得する。例えば、図９のような被写体において統計領域内に領域９０１と領域９０２が含まれている場合、２種類の偏光強度が含まれるため、図８（ｃ）に示すように、偏光強度のヒストグラムでは、領域９０１と領域９０２に対応する２つのピークが発生する。一方、統計領域が、図４に示すような領域４００である場合には、偏光強度のヒストグラムのピークは１つになる。

Ｓ３０７では、偏光強度のヒストグラムに複数のピークが含まれるかどうかを判定し、ピークが１つの場合には、Ｓ１０６、Ｓ１０７において、図７を参照して第１の実施形態で説明した処理と同様の処理を行い、統計領域の代表偏光特性を用いて偏光除去を行う。

一方、複数のピークが含まれる場合には、Ｓ３０８に進み、ローカル４画素毎に求めた偏光強度及び偏光角度に基づいて偏光成分を求めて、偏光成分の除去を行う。

上記の通り第３の実施形態によれば、統計領域内の偏光強度のヒストグラムにおいて、ピークが１つの場合には、偏光除去対象領域内の画像信号に対して代表偏光特性を用いて偏光除去を行う。一方、複数のピークが複数発生している場合には、ローカル４画素毎に求めた偏光強度及び偏光角度を用いて、偏光成分の除去（補正処理）を行う。

このように第３の実施形態によれば、偏光除去対象領域内に複数の偏光成分が含まれ、代表偏光特性を１つに特定できない場合にも、誤った偏光成分の除去によるノイズの発生を抑制することができる。

＜第４の実施形態＞
次に、本発明の第４の実施形態について説明する。
第３の実施形態では、偏光除去対象領域における偏光強度のヒストグラムに複数のピークが含まれると判定した場合に、ローカル４画素毎に求めた偏光特性を用いて当該ローカル４画素毎に偏光成分の除去を行うことで、間違った偏光成分による偏光除去を回避した。しかし、偏光強度のヒストグラムが必ずしも図８（ｃ）のように複数のピークを判定できる形状になるとは限らない。被写体によっては、図８（ｄ）のようにピークが明確ではなく、正確にピークの数が判定しにくい場合がある。

そこで、第４の実施形態では、偏光強度のヒストグラムが図８（ｄ）に示すような形状となった場合における、不必要な偏光特性の除外によるピーク数の判定精度を向上する方法について説明する。

近似関数を算出するローカル４画素内に偏光成分のエッジや無偏光成分のエッジが含まれる場合、基本的に正しい偏光特性を算出することができない。また、求められた近似関数はエッジの向きや含まれる偏光特性等によってさまざまな近似関数となる。例えば、偏光除去対象領域内に無偏光成分のエッジが多く含まれる場合、偏光強度のヒストグラムを作成すると、図８（ｄ）に示すように、１つのピークとローカル４画素内にエッジが含まれるノイズ成分が分散されたような形状のヒストグラムになる。また、偏光除去対象領域内に異なる複数種類の偏光強度を含む場合、ヒストグラムを作成すると、偏光強度の種類に応じてピークの数は変動するが、ピークの形によってはノイズ成分に埋もれてピークの数を判定できない場合がある。

そこで、第４の実施形態では、偏光角度のヒストグラムから最頻値を取得し、最頻値から離れた偏光角度を持つローカル４画素の偏光強度を偏光強度ヒストグラムから除外する。すなわち、最頻値から予め決められた範囲内の偏光角度を有するローカル４画素の偏光強度を用いて偏光強度ヒストグラムを生成し直す。そうすることで、４画素内にエッジを含み、誤った偏光特性の近似関数を算出した画素を除外した偏光強度ヒストラムを作成することができる。これにより、偏光強度ヒストグラムの形を正しい偏光特性のみで作成することができ、第３の実施形態における判定精度を向上することができる。

＜第５の実施形態＞
次に、本発明の第５の実施形態について説明する。
偏光方向が異なるローカル４画素で露出条件を変更した画像信号を取得することにより、一度の露光でダイナミックレンジ拡大の手法であるＨＤＲ合成（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ ｒｅｎｄｅｒｉｎｇ）を実施することができる。図１２は、偏光フィルタの配置と、露光時間との関係を示す図である。本実施形態では、図２に示す偏光フィルタ１１３～１１６と同様の配置を行っているものとし、偏光フィルタ１１３及び１１５に対応する画素の露光時間を長秒（Ｌ）とし、偏光フィルタ１１４及び１１６に対応する画素の露光時間を短秒（Ｓ）とする。そして、それぞれの露出の比率を勘案して画像合成を行うことで、ダイナミックレンジの広い画像を合成することができる。

ここで、偏光フィルタを用いない場合の簡易的なＨＤＲ合成方法について、図１３を参照して説明する。なお、ここでは長秒（Ｌ）での露出条件を高利得信号、短秒（Ｓ）での露出条件を低利得信号と呼ぶ。図１３（ａ）の実線は、低利得信号の入力輝度値に対する出力輝度値の関係を示す。図１３（ｂ）の破線は、高利得信号の入力輝度値に対する出力輝度値の関係を示し、図１３（ｂ）の実線は、高利得信号の入力輝度値に対する出力輝度値の関係を、高利得信号と低利得信号の露出条件の比率により圧縮した変換高利得信号の入力輝度値と出力輝度値の関係を示す。そして図１３（ｃ）は、図１３（ａ）で示した低利得信号と、図１３（ｂ）で示した変換高利得信号を同一グラフ上に示たものである。例えば、入力輝度値の領域（i）では、変換高利得信号を用いて出力輝度値を生成し、入力輝度値の領域（ii）では、低利得信号を用いて出力輝度値を生成することで、ＨＤＲ合成を実施する。

しかしながら、ローカル４画素においてそれぞれ偏光角度が異なる偏光フィルタ１１３～１１６を各画素前面に配置している場合、低利得信号と高利得信号において画素値の比率と露出条件の比率が一致しなくなる。

図１４は、偏光角度が異なる偏光フィルタを用いた場合に、図１３に示すＨＤＲ合成方法を応用した場合の入力輝度値と出力輝度値の関係の一例を示す。図１４（ａ）の点線は、図１３（ａ）の実線で示した低利得信号の入力輝度値に対する出力輝度値の関係を示し、図１４（ａ）の実線は、所定の偏光角度の偏光フィルタを通過した低利得信号の入力輝度値に対する出力輝度値の関係を示す。図１４（ｂ）の破線は、図１３（ｂ）の破線で示した高利得信号の入力輝度値に対する出力輝度値の関係を示し、図１４（ｂ）の点線は、所定の偏光角度の偏光フィルタを通過した高利得信号の入力輝度値に対する出力輝度値の関係を示す。また、図１４（ｂ）の実線は、偏光フィルタを通過した高利得信号に対して、高利得信号と低利得信号の露出条件の比率により変換した偏光フィルタ通過後の変換高利得信号の入力輝度値に対する出力輝度値の関係を示す。

図１４（ｃ）は、図１４（ａ）の実線で示した偏光フィルタ通過後の低利得信号と、図１４（ｂ）の実線で示した偏光フィルタ通過後の変換高利得信号を同一グラフ上に示たものである。例えば、入力輝度値の領域（i）では、偏光フィルタ通過後の変換高利得信号を用いて出力輝度値を生成し、入力輝度値の領域（ii）では、偏光フィルタ通過後の低利得信号を用いて出力輝度値を生成する。しかしながら、この場合には、入力輝度値の領域（i）と入力輝度値の領域（ii）との境界で段差が発生する。また偏光フィルタ通過後の低利得信号が有する傾きと、偏光フィルタ通過後の変換高利得信号が有する傾きが異なるため、線形性が保たれない。したがって、偏光フィルタの誤差による段差や非線形によって、所望のＨＤＲ合成が実施できないという課題がある。

上述した課題を鑑みて、第５の実施形態では、第１の実施形態で実施した偏光除去方法を行った場合の、ＨＤＲ合成について説明する。

図１５は、第５の実施形態における撮像装置５００の機能構成を示すブロック図であり、偏光除去後にＨＤＲ合成を実施する。撮像装置５００は、図１で示した撮像装置１００に、利得変換部５０１とＨＤＲ合成部５０２が追加されたものであり、それ以外の構成は撮像装置１００と同様の構成であるため、同じ参照番号を付して説明を省略する。

第５の実施形態では、図１２で示したように、ローカル４画素毎に偏光フィルタ１１３～１１６で覆われ、偏光フィルタ１１３及び１１５に覆われた画素を長秒（Ｌ）で露光し、偏光フィルタ１１４及び１１６に覆われた画素を短秒（Ｓ）で露光するものとする。なお、第５の実施形態では、露光時間により高利得信号及び低利得信号を取得することを想定しているが、本発明はこれに限られるものではない。例えば、撮像素子１０１が有するアンプのゲインを利用して、感度を変えても良いし、露光時間と感度とを共に変えてもよい。

撮像素子１０１で取得した、ローカル４画素内で露出条件が異なる画像信号は、画像取得部１０２に送られた後、利得変換部５０１に入力される。利得変換部５０１に入力されるローカル４画素から得られる画素値（輝度値）の一例を図１６に示す。偏光角度が０°の偏光フィルタ１１３に覆われた画素からは、高利得信号である輝度Ｉ_Ｈ（０°）が取得される。偏光角度４５°が偏光フィルタ１１４に覆われた画素からは、低利得信号である輝度Ｉ_Ｌ（４５°）が取得される。偏光角度９０°の偏光フィルタ１１５に覆われた画素からは、高利得信号である輝度Ｉ_Ｈ（９０°）が取得される。また、偏光角度１３５°の偏光フィルタ１１６に覆われた画素からは、低利得信号である輝度Ｉ_Ｌ（１３５°）が取得される。

ローカル４画素で露出条件を異ならせているため、画像取得部１０２の出力をそのまま用いて偏光除去してしまうと、適切な偏光特性を取得することができない。そのため、利得変換部５０１では、ローカル４画素の露出条件に基づき、各画素が同一の利得で取得された値に変換する。ここでは、高利得信号で取得された輝度Ｉ_Ｈ（０°）及び輝度Ｉ_Ｈ（９０°）を低利得信号に変換し、変換高利得信号の画素値として輝度Ｉ_Ｌ（０°）及び輝度Ｉ_Ｌ（９０°）を取得する。ただし、利得変換は高利得信号に揃えても良いし、別の利得に揃えても構わないため、利得変換の方法はこの限りではない。

利得変換部５０１で変換された画像信号は、第１の実施形態で説明した領域決定部１０３から偏光除去処理部１１１の処理により偏光除去され、偏光除去された画像はＨＤＲ合成部５０２に入力される。ＨＤＲ合成部５０２に入力された偏光除去画像に対して適切な偏光除去が実施されているとすると、図１３（ｃ）で示した関係が取得できる。そのため図１３で説明を行ったように、例えば（i）の領域においては変換高利得信号を使用し、(（ii）の領域では低利得信号を使用することで、ＨＤＲ合成を実施する。ただし本実施形態に示すＨＤＲ合成の手法は一例であり、これに限られるものではない。例えば、低利得信号を変換してＨＤＲ合成に用いても良いし、各露出条件の画素値を適宜選択、もしくは加算して用いても良い。

次に、第５の実施形態における、偏光成分の除去後にＨＤＲ合成を実施する処理について、図１７に示すフローチャートを参照して説明する。なお、図１７の処理において、第１の実施形態で図７を参照して説明した処理と同じ処理には同じ参照番号を付して、適宜説明を省略する。

Ｓ５０１では、撮像素子１０１から出力された、各ローカル４画素から、異なる露出条件で得られた画像信号を画像取得部１０２において取得する。Ｓ５０２において、取得した画像信号を、上述したようにして利得変換部５０１にて利得変換し、取得した画像信号の露出条件による差が揃うように調整することで、偏光除去が可能な画像信号に変換する。

そして、Ｓ１０２からＳ１０６において、利得変換部５０１により利得変換された偏光画像に基づいて、第１乃至第４の実施形態で説明した方法を用いて、偏光除去処理（補正処理）を行う。Ｓ５０３では、偏光除去処理部１１１により偏光成分が除去された画像信号を用いて、ＨＤＲ合成部５０２においてＨＤＲ合成を実施する。

上記の通り第５の実施形態によれば、ローカル４画素で露出条件が異なる画像信号を取得し、露出条件を揃えて偏光除去を行ったのちにＨＤＲ合成を行う。これにより、ローカル４画素が、互いに異なる偏光角度の偏光フィルタに覆われ、かつ、ＨＤＲ合成を実施するためにローカル４画素で異なる露出条件を用いた場合においても、偏光フィルタによる画素値の誤差影響を低減しつつ、ダイナミックレンジを拡大したＨＤＲ画像を生成することが可能となる。

＜第６の実施形態＞
次に、本発明の第６の実施形態について説明する。なお、第６の実施形態における撮像装置１００の構成は、図１に示すものと同様であるため、説明を省略する。
これまでの実施形態で説明したように、撮像面偏光センサ１１２には、ローカル４画素を一組として異なる複数の偏光角度の偏光フィルタが配され、入射した光が光電変換されて画像信号として出力される。そして、出力された画像信号の輝度値を用いて、偏光角度に応じて変化する輝度成分（偏光成分）の近似関数を求め、偏光成分を抽出する。

しかし、被写体のエッジの部分がローカル４画素内に入っていると、ローカル４画素については正しい近似関数を求めることができなかったり、近似関数を求めてもそのローカル４画素だけ偏光成分が周囲の領域と全く異なった偽情報となる。そのため、偏光除去対象領域内の偏光情報の最頻値から、その統計領域の偏光角度毎の偏光成分を求めて、偏光除去対象領域内のローカル４画素すべてに適用していた。

これに対し、第６の実施形態では、まず、ローカル４画素の偏光成分と統計領域における代表偏光成分とを比較し、偏光強度もしくは偏光角度が近しいものであるかを判定する。以下、本実施形態における処理について、図１８のフローチャートを用いて説明する。

まずＳ６０１で、撮像面偏光センサ１１２から対象となる画像信号を入力し、Ｓ６０２において、第１乃至第４の実施形態のいずれかで説明したようにして、統計領域の偏光強度及び偏光角度の最頻値を取得する。

そして、Ｓ６０３において、各ローカル４画素の偏光強度及び偏光角度と、統計領域の代表強度及び代表角度との強度差及び角度差を求める。

Ｓ６０４で、Ｓ６０３で求めた強度差及び角度差が、共に、予め設定されたそれぞれの閾値以上かどうかを判断する。閾値未満である場合、エッジ部分が含まれていないものとしてＳ６０５に進み、各ローカル４画素から出力された画像信号に対して、Ｓ６０２で算出された偏光成分を用いて偏光除去を行う。

一方、強度差及び角度差の少なくともいずれかが閾値以上の場合、そのローカル４画素にはエッジ部分が含まれているものとして、Ｓ６０６に進み、ローカル４画素のくくりを変更する。ここでは、図１９に示すように上下左右方向のいずれかに１画素ずらし、新たなローカル４画素を形成する。そして、Ｓ６０７において、新たなローカル４画素の近似関数Ｆ（θ）を求め、偏光強度と偏光角度を取得する。そしてＳ６０８において、新たなローカル４画素の偏光強度及び偏光角度と、代表強度及び代表角度との強度差及び角度差を求める。

Ｓ６０９で、Ｓ６０８で求めた強度差及び角度差が、それぞれの閾値以上かどうかを判断する。共に閾値未満である場合、新たなローカル４画素にはエッジ部分が含まれていないとものしてＳ６１０に進み、新たなローカル４画素から出力された画像信号に対して、Ｓ６０２で算出された偏光成分を用いて偏光除去を行う。

一方、強度差及び角度差の少なくともいずれかが閾値以上の場合、新たなローカル４画素にもエッジ部分が含まれているものとして、Ｓ６０６に戻って、ローカル４画素のくくりを別のくくりに変更し、上述した処理を繰り返す。

なお、上下左右方向のいずれにローカル４画素のくくりを変更しても閾値以上となる場合には、例えば、差が最も小さいくくりのローカル４画素に対して、偏光除去を行う。

上記の通り第６の実施形態によれば、ローカル４画素の組み合わせを変更してエッジが入らないローカル４画素とすることで、様々な被写体に適した偏光除去を実行することができる。
＜第６の実施形態の変形例＞
第６の実施形態では、ローカル４画素の組み合わせをずらして再形成する場合について説明したが、本変形例では、図３に示すように複数色のカラーフィルタを配している場合の処理について、図２０のフローチャートを用いて説明する。なお、第６の実施形態で説明した図１８に示す処理と同様の処理には同じ参照番号を付し、適宜説明を省略する。

Ｓ６０１で入力された画像信号は、カラーフィルタを配した撮像面偏光センサの出力であり、色情報を有している。本変形例では、図３に示すように、各ローカル４画素は、Ｒ，Ｇ，Ｂの色ごとにまとまっており、それぞれにおいて偏光強度、偏光角度を算出する。

Ｓ６０４において、Ｓ６０３で求めた強度差及び角度差がそれぞれ予め決められた閾値以上の場合、ローカル４画素の被写体にはエッジ部分が含まれているものとしてＳ６０６に進み、隣接画素を用いて新たなローカル４画素を形成する。

本変形例では、各ローカル４画素には同じ色のカラーフィルタが配されているため、まだ現像処理されていない画像では、各色で出力が異なる。例えば、図２１に示すように下方向に１画素分、ローカル４画素のくくりをずらした場合、ＧフィルタとＢフィルタが混在してしまい、撮像面偏光センサ１１２のそのままの出力では近似関数Ｆ（θ）を求めることができない。

そこで、本変形例では、Ｓ６１１において、統計領域内で算出した代表強度から、Ｒ，Ｇ，Ｂそれぞれの偏光強度をＧに合わせるための偏光算出用ホワイトバランスゲインを算出する。そして、偏光算出用ホワイトバランスゲインをそれぞれＲの偏光強度、Ｂの偏光強度に乗算し、Ｇとほぼ同じ偏光強度にしてから、新たなローカル４画素で近似関数Ｆ（θ）を算出する。

従来、ホワイトバランスゲインは、基準となる白部分のＧ出力に対し、ＲとＢのレベルを合わせて基準の白レベルに補正するゲイン値である。しかし、ここでは被写体の色を正確に表すことを目的としているわけではないため、近似関数を求めるために、偏光算出用ホワイトバランスゲインを用いている。

以上のような処理を行うことで、カラーフィルタを配した撮像面偏光センサでも、様々な被写体に適した偏光除去（補正処理）を実行することができる。

＜第７の実施形態＞
次に、本発明の第７の実施形態について説明する。
第７の実施形態では、撮像面偏光センサ１１２により取得した画像内のエッジの種類を判別して、判別したエッジの種類に応じて偏光除去（補正処理）を行う方法について説明する。

図２２は、第７の実施形態における撮像装置７００の機能構成を示すブロック図である。なお、図１と同じ構成には同じ参照番号を付し、適宜説明を省略する。撮像装置７００は、画像の入力から出力まで可能な装置となっている。

画像生成部７０３は、画像取得部１０２で撮像素子１０１から取得された画像信号を偏光角度毎に分離して、それぞれの画像を生成する。例えば、図４に示す被写体を撮影した場合、図５に示す４枚の偏光画像１２１～１２４が得られる。この際に画像生成部７０３で生成される偏光画像の解像度は、画像取得部１０２で撮像素子１０１から取得される画像信号の解像度の１／４となる。

本実施形態では、画像生成部７０３において偏光角度毎に画像信号を分離して画像を生成する例を示したが、同じ偏光角度の周辺画素から出力された画像信号を用いて補間することで、撮像素子１０１から取得された画像信号と同じ解像度の画像を生成しても良い。図２３は、補間方法を説明するための図であり、図２（ａ）に示す偏光フィルタと同じ並びの偏光フィルタを示している。

具体的には、偏光角度４５°の偏光フィルタ１１４が配される着目画素７１１における０°方向の偏光角度の画素値を、偏光角度０°の偏光フィルタ１１３が配される周辺画素７１２と周辺画素７１３の画素値の平均値を取ることで補間して画像を生成する。ただし上記補間方法は一例であり、周辺４画素を参照したり、斜め方向の画素を参照しても良く、補間方法はこの限りではない。

また、撮像素子１０１に、図３に示すカラー撮像面偏光センサを用いても良い。図２４は、その場合の補間方法を説明するための図であり、図３（ａ）に示す偏光フィルタと同じ並びの偏光フィルタを示している。その場合は、まず、着目画素に補間する画素値と同色同偏光角度の周辺画素による補間を行う。続いて、偏光角度ごとの分離を行うことで各色各偏光角度のプレーン画像を生成する。

具体的には、Ｂのカラーフィルタと偏光角度４５°の偏光フィルタ１１４が配された着目画素７２１において、Ｇのカラーフィルタと偏光フィルタ１１４が配された周辺画素７２２～７２５の４画素の画素値の平均値を取ることで、Ｇ画素値を補間する。この方法で各色のプレーン画像を生成した後、偏光角度ごとに分離することで、各色・各偏光角度の偏光画像を生成する。ただし、上記補間方法は一例であり、補間は周辺８画素を参照したり、また、斜め方向の画素を参照しても良く、補間方法はこの限りではない。また、上記画像生成方法は一例であり、生成する画像はＧの画像のみでも良く、ＲＧＢ画像にＹＵＶ変換を行ったＹＵＶ画像でも良いため、画像生成方法はこの限りではない。

エッジ検出部７０４では、画像生成部７０３で生成した偏光画像において、周囲の画素との輝度差から着目画素におけるエッジの有無を検出する。ここで、図２５を用いてエッジの検出方法について具体的に説明する。

図２５は、画像生成部７０３で生成した偏光角度０°の偏光画像１２１のうち、縦３画素、横３画素の計９画素を示している。以下、着目画素７３０のエッジ有無の判定方法について説明する。

まず、周辺画素７３２、７３５、７３７の平均画素値を求め、これを第１の縦方向平均値とする。次に、周辺画素７３３、７３１、７３８の平均画素値を求め、これを第２の縦方向平均値とする。さらに、周辺画素７３４、７３６、７３９の平均画素値を求め、これを第３の縦方向平均値とする。横方向についても同様に、周辺画素７３２、７３３、７３４の平均画素値を求め、これを第１の横方向平均値とする。次に、周辺画素７３５、７３１、７３６の平均画素値を求め、これを第２の横方向平均値とする。さらに、周辺画素７３７、７３８、７３９の平均画素値を求め、これを第３の横方向平均値をとする。

続いて、第１の縦方向平均値と第２の縦方向平均値との差分を、第１の差分とする。また、第２の縦方向平均値と第３の縦方向平均値との差分を、第２の差分とする。また、第１の横方向平均値と第２の横方向平均値との差分を、第３の差分とする。また、第２の横方向平均値と第３の横方向平均値の差分を、第４の差分とする。そして、第１乃至第４の差分のいずれも所定の閾値未満であった場合は、エッジ無しと判定し、第１乃至第４の差分のいずれかでも所定の閾値以上であった場合は、エッジ有りと判定する。

ただし、上述したエッジ検出方法は一例であり、斜め方向のエッジ検出を行っても良く、３×３のエッジ検出フィルタにより行っても良いため、エッジ検出の方法自体はこの限りではない。

エッジ判別部７０５では、画像生成部７０３で生成した偏光画像の同位置の画素に着目してエッジ検出部７０４での検出結果を比較することで、ローカル４画素に存在するエッジの種類を判別する。エッジ判別部７０５の判別結果は、エッジ無しか、光が偏光していない無偏光領域（図４の領域４００以外の領域）のエッジか、偏光領域（領域４００）における無偏光成分のエッジか、偏光領域における偏光成分のエッジのいずれかである。詳細なエッジ判別方法は後述する。

偏光特性処理部７０６では、エッジ判別部７０５の判別結果に応じて、偏光画像の偏光特性を処理する。具体的には、エッジ判別部７０５でエッジ無しと判断された場合、及び、無偏光領域のエッジと判断された場合、偏光特性処理部７０６は、ローカル４画素から偏光特性の近似関数Ｆ（θ）を算出して、ローカル４画素毎に偏光除去を行う。または、第１の実施形態と同様の方法により偏光除去してもよいし、従来の方法により偏光除去してもよい。

また、エッジ判別部７０５で、偏光領域における無偏光成分のエッジであると判断された場合、偏光特性処理部７０６は、第１の実施形態で説明した処理、すなわち、分割領域内の代表偏光特性を用いて偏光除去を行う。エッジ判別部７０５で、偏光領域における偏光成分のエッジであると判断された場合、偏光特性処理部７０６は、第２の実施形態で説明した処理、すなわち、異なる領域サイズで偏光除去した画像を複数枚合成することで偏光除去を行う。ただし本実施形態における偏光特性処理部７０６の処理は一例であり、エッジ判別部７０５の結果に応じて異なる処理を行っても良い。

上述したシステムにおいて、偏光画像内のエッジの種類を判別する方法について、図２６のフローチャートを用いて説明する。図２６に示す処理は、図２２に示す撮像素子１０１からエッジ判別部７０５において行われる処理である。

まず、Ｓ７０１では、撮像素子１０１から画像信号を取得する。そして、Ｓ７０２において、Ｓ７０１で得られた画像信号から、画像生成部７０３において、偏光角度毎の複数の偏光画像を生成する。
続いて、Ｓ７０３において、エッジ検出部７０４は、Ｓ７０２で生成した偏光画像それぞれに対してエッジ検出を行う。

そして、Ｓ７０４において、エッジ判別部７０５は、図２３に示すローカル４画素７１０から出力された画素信号に対するエッジ検出処理で、Ｓ７０３の処理によりエッジ有りと判断された画素の有無を判別する。エッジ有りと判断された画素が無ければ、ローカル４画素７１０はエッジ無しと判別して（Ｓ７０５）、Ｓ７１１に進む。エッジ有りと判断された画素があれば、ローカル４画素７１０にエッジが存在すると判断し、Ｓ７０６に進む。

Ｓ７０６では、ローカル４画素７１０に含まれる画素７１４～７１７に、エッジが検出されていない画素があるかどうかを判別する。すべての偏光角度の画素でエッジ有りと判断されている場合（Ｓ７０６でＮＯ）、ローカル４画素７１０で検出されたエッジは無偏光領域のエッジであると判別して（Ｓ７０７）、Ｓ７１１に進む。いずれかの偏光角度の画素でエッジ無しと判断されている場合、ローカル４画素７１０に存在するエッジは偏光領域のエッジであると判別して、Ｓ７０８に進む。

Ｓ７０８では、ローカル４画素７１０に含まれる画素７１４～７１７のうち、エッジ有りと判断された偏光角度の画素の画素値と、エッジ無しと判断された偏光角度の画素値とを比較する。エッジ有りと判断された偏光角度の画素の画素値がエッジ無しと判断された偏光角度の画素の画素値以下の場合、ローカル４画素７１０に存在するエッジは無偏光成分のエッジであると判別して（Ｓ７０９）、Ｓ７１１に進む。一方、エッジ有りと判断された画素の画素値がエッジ無しと判断された画素の画素値よりも大きい場合、ローカル４画素７１０に存在するエッジは偏光成分のエッジであると判別して（Ｓ７１０）、Ｓ７１１に進む。

Ｓ７１１では、すべてのローカル４画素についてエッジの種別の判別処理を行ったかを判断し、未処理のローカル４画素があれば、Ｓ７０４に戻って、次のローカル４画素について上記処理を行う。

すべてのローカル４画素について判別処理を終了すると、エッジ判別部７０５の処理を終了する。

上記の通り本第７の実施形態によれば、エッジ検出結果を偏光角度ごとに比較することで、偏光画像のエッジの有無と、エッジの種類を判別可能となり、被写体やシーンに応じた偏光除去（補正処理）を行うことができる。

＜第８の実施形態＞
次に、本発明の第８の実施形態について説明する。なお、第８の実施形態における撮像装置１００の構成は、図１に示すものと同様であるため、説明を省略する。

第１の実施形態では、偏光除去対象領域の代表偏光特性を算出し、偏光除去対象領域では、各角度の正しい量の偏光成分を減算することで解像度を保ちながら偏光成分の除去を行った。しかし、偏光除去対象領域内に異なる反射面が含まれるとき、統計領域内の代表偏光特性を用いて一律に偏光成分の除去を行うと、代表偏光特性と同じ特性を持つ反射面では良好に偏光除去ができるが、代表偏光特性と異なる特性を持つ反射面では偏光除去が十分にできない。つまり、統計領域内の代表偏光特性に基づく偏光除去方法において、良好な偏光除去を行うためには、偏光除去対象領域の多くの偏光特性が代表偏光特性と同じであることが望ましい。

一例として、図２７に示す被写体のように、フロントガラスの領域２７０１とサイドガラスの領域２７０２とを合わせた領域の偏光除去方法について、以下に説明する。フロントガラスの領域２７０１とサイドガラスの領域２７０２とでは、反射面が異なる。図２８に、領域２７０１と領域２７０２を合わせた領域を統計領域とした場合の偏光角度のヒストグラムを示す。偏光角度のヒストグラムにおいて、領域２７０１で１つのピーク２８０１を持つ一方で、領域２７０１と領域２７０２とでは偏光角度が異なるため、領域２７０２はピーク２８０１とは異なるピーク２８０２を持つ。このように、異なる偏光特性を含む統計領域について偏光角度のヒストグラムを作成すると、複数のピークが現れる。

図２７に示す例では、領域２７０１の面積が、領域２７０２に比べて広いため、領域２７０１に含まれる画素数も多くなることから、領域２７０１に起因する偏光角度の発生頻度が高くなる。この偏光角度のヒストグラムに対して最頻値を算出すると、領域２７０１に対応するピークが最頻値となり、領域２７０１では良好に偏光除去ができる。一方で、領域２７０２に対しては異なる偏光角度で偏光成分の除去がされるため、領域２７０２では偏光成分の除去が十分にできない。

図２９は、上記課題を解決するための処理を示すフローチャートである。なお、図２９において、図７と同様の処理には同じ参照番号を付し、適宜説明を省略する。

Ｓ８０１において、偏光角度最頻値算出部１１０は、偏光角度ヒストグラム生成部１０９により生成された偏光角度のヒストグラムのピーク数をカウントし、カウントしたピーク数から、統計領域に含まれる反射面の数を判定する。例えばピーク数が２である場合、偏光特性の異なる反射面が２つ含まれていると判定する。反射面の数が複数であると判定した場合は、Ｓ１０４に戻り、統計領域のサイズを再決定する。その際に、前回決定した統計領域のサイズよりも小さくする。これを繰り返すことで、統計領域が１つの反射面で構成されるようになる。Ｓ１０６では、統計領域で生成した偏光強度及び偏光角度のヒストグラムから最頻値を取得し、Ｓ１０７において、取得した最頻値に基づき、偏光除去対象領域内の偏光除去を行う。なお、この場合には、統計領域と偏光除去対象領域が同じであることが好ましい。

Ｓ８０２において、すべての偏光領域について、偏光除去処理を行ったかどうかを判断し、偏光除去を行っていない領域があれば、Ｓ１０４に戻り、該当する領域について上記処理を繰り返す。

なお、実画像においては、均一な反射面であっても、被写体のエッジや反射光のエッジ、またノイズ等によってヒストグラムのピークが複数形成されることがある。その場合には、ヒストグラムを平滑化したり、最尤推定を行ったりしてピーク数を判定しても良い。

上記の通り第８の実施形態によれば、被写体に複数の反射面が含まれる場合にも、良好に偏光除去（補正処理）を行うことができる。

＜第９の実施形態＞
次に、本発明の第９の実施形態について説明する。なお、第９の実施形態における撮像装置１００の構成は、図１に示すものと同様であるため、説明を省略する。

第１の実施形態では、統計領域内の代表偏光特性を算出し、各偏光角度について正しい量の偏光成分を輝度値から減算することで、解像度を保ちつつ偏光成分の除去を行った。しかし、統計領域内に曲面が含まれるとき、ヒストグラムはなだらかになり、曲面の端では偏光除去が十分にできない。例えば、図３０のフロントガラスの領域３００１で作成した偏光角度のヒストグラムが図３１（ａ）であるとする。フロントガラスが曲面であることにより、領域３００１内のローカル４画素毎に算出した偏光角度が単一とならず、ヒストグラムはなだらかになる。特に曲率が大きく異なるフロントガラスの端部は、偏光特性が異なる。このヒストグラムから算出した最頻値に基づいて偏光除去を行っても、ヒストグラムのピークから外れた領域、特にフロントガラスの端部では、良好な偏光除去ができない。

図３２は、第９の実施形態における処理を示すフローチャートである。なお、図３２において、図７と同様の処理には同じ参照番号を付し、適宜説明を省略する。

Ｓ９０１では、偏光角度最頻値算出部１１０は、偏光角度ヒストグラム生成部１０９によって生成された偏光角度のヒストグラムの分散と閾値を比較し、ヒストグラムの分散が閾値以上であれば統計領域に曲面が含まれるものと判定してＳ１０４に戻り、統計領域のサイズを再決定する。この際に、前回決定した統計領域よりも小さくする。これを繰り返すことで、統計領域が曲率が似通った反射面で構成されるようになる。Ｓ１０６では、統計領域について生成した偏光強度のヒストグラム及び偏光角度のヒストグラムから最頻値を取得し、Ｓ１０７では、取得した最頻値に基づき、偏光補正対象領域内の偏光除去を行う。なお、この場合には、統計領域と偏光除去対象領域が同じであることが好ましい。

図３０に示す領域３００２は領域３００１内にあるが、より小さい領域である。この領域３００２で作成した偏光角度のヒストグラムを図３１（ｂ）に示す。領域３００２も曲面内ではあるが、領域３００２内の反射面の曲率に大きな違いが無いため、ヒストグラムの尖度が上がる。このように反射面が曲面である場合は統計領域を狭めることで、ヒストグラムの尖度を上げることができ、結果として良好な偏光除去（補正処理）が可能となる。

Ｓ９０２において、すべての偏光領域について、偏光除去処理を行ったかどうかを判断し、偏光除去を行っていない領域があれば、Ｓ１０４に戻り、該当する領域について上記処理を繰り返す。

なお、本実施形態では、偏光角度のヒストグラムの分散と閾値を比較することで統計領域に曲面が含まれるを判定したが、ヒストグラムの広がりから曲面か否かを判定すればよい。例えば、最尤推定によって確率分布をフィッティングし、そのばらつきや分布の広がりを表す指標を用いてもよい。また閾値は任意に設定しても良い。

＜第１０の実施形態＞
次に、本発明の第１０の実施形態について説明する。なお、第１０の実施形態における撮像装置１００の構成は、図１に示すものと同様であるため、説明を省略する。

図３３は、第１０の実施形態における偏光成分の除去方法を示すフローチャートである。
Ｓ１００１では、偏光強度最頻値算出部１０７において、反射の有無を判定する。偏光強度ヒストグラム生成部１０６において得られた偏光強度のヒストグラムが、所定の閾値以上の偏光強度のピークを有していた場合は反射している領域が有ると判定し、Ｓ１００３へ進む。そうでない場合は反射している領域が無いと判定して、Ｓ１００２へ進み、偏光除去を行わずに処理を終了する。

Ｓ１００３では、エッジの有無を判定する。エッジが無い場合はＳ１００４へ進み、第１の実施形態で説明した偏光除去方法で偏光除去を行う。一方、エッジがある場合はＳ１００５へ進む。

Ｓ１００５では、エッジの方向が分かるかどうかを判定する。エッジの方向が分からない場合はＳ１００６へ進み、エッジの方向が分かる場合はＳ１００７へ進む。

Ｓ１００６では、着目画素が含まれるローカル４画素のうち、最もレベルの小さい画素値を、着目画素の画素値として用いる。

Ｓ１００７では、エッジを境に偏光強度が変わるかどうかを判定する。エッジを境に偏光強度が変わらない場合はＳ１００８へ進み、第１の実施形態で説明した偏光除去方法で偏光除去を行う。エッジを境に偏光強度が変わる場合には、Ｓ１００９へ進む。

Ｓ１００９では、エッジを境に領域を２分割したときに、着目画素と同じ領域に存在する複数のローカル４画素から算出した代表偏光特性を用いて、着目画素の偏光成分を減算することにより偏光除去を行う。

図３４は第１０の実施形態におけるエッジの判定で参照する画素である。図３４を用いて、Ｓ１００３、Ｓ１００５、Ｓ１００７における、エッジの判定方法について説明する。

Ｓ１００３における、エッジ有無の判定では、まず、判定対象となるローカル４画素１１００内の画素Ｐ３３、Ｐ３４、Ｐ４３、Ｐ４４を用いて、偏光特性の近似関数Ｆ（θ）を求める。これを第１の近似関数Ｆ_１（θ）とする。
次に、ローカル４画素１１００の上下の画素Ｐ２３、Ｐ２４、Ｐ５３、Ｐ５４を用いて、偏光特性の近似関数Ｆ（θ）を求める。これを第２の近似関数Ｆ_２（θ）とする。
さらに、ローカル４画素１１００の左右の画素Ｐ３２、Ｐ４２、Ｐ３５、Ｐ４５を用いて、偏光特性の近似関数Ｆ（θ）を求める。これを第３の近似関数Ｆ_３（θ）とする。
また、ローカル４画素１１００の斜め方向に隣接する画素Ｐ２２、Ｐ２５、Ｐ５２、Ｐ５５を用いて、偏光特性の近似関数Ｆ（θ）を求める。これを第４の近似関数Ｆ_４（θ）とする。

そして、第１の近似関数Ｆ_１（θ）の偏光角度と、第２の近似関数Ｆ_２（θ）の偏光角度の差分を、第１の差分とする。
第１の近似関数Ｆ_１（θ）の偏光角度と、第３の近似関数Ｆ_３（θ）の偏光角度の差分を、第２の差分とする。

第１の差分と第２の差分のそれぞれが所定の閾値未満であった場合は、Ｓ１００３においてエッジ無しと判定し、第１の差分と第２の差分のいずれかが所定の閾値以上であった場合は、Ｓ１００３においてエッジ有りと判定する。

すなわち、第１の差分が所定の閾値以上であり、第２の差分の差分が所定の閾値未満である場合は、Ｓ１００３において、ローカル４画素１１００内の画素Ｐ３３、Ｐ３４、Ｐ４３、Ｐ４４の間にエッジがあると判定する。また、この場合、エッジの方向は横方向であるため、Ｓ１００５では、エッジがの方向が分かると判断される。

また、第１の差分が所定の閾値未満であり、第２の差分の差分が所定の閾値以上である場合にも、Ｓ１００３において、ローカル４画素１１００内の画素Ｐ３３、Ｐ３４、Ｐ４３、Ｐ４４の間にエッジがあると判定する。また、この場合、エッジの方向は縦方向であるため、Ｓ１００５では、エッジがの方向が分かると判断される。

更に、第１の差分も第２の差分も所定の閾値以上である場合は、Ｓ１００３において、ローカル４画素１１００内の画素Ｐ３３、Ｐ３４、Ｐ４３、Ｐ４４の間にエッジがあると判定するが、Ｓ１００５においてエッジの方向は不明と判定する。

Ｓ１００７における、エッジを境にした偏光強度の変化の判定方法を以下に述べる。

ローカル４画素１１００の上にある別のローカル４画素に含まれる画素Ｐ１３、Ｐ１４、Ｐ２３、Ｐ２４から求めた偏光強度を、第１の偏光強度とする。

同様に、ローカル４画素１１００の左にある別のローカル４画素に含まれる画素Ｐ３１、Ｐ３２、Ｐ４１、Ｐ４２から求めた偏光強度を、第２の偏光強度とする。

また、ローカル４画素１１００の右にある別のローカル４画素に含まれる画素Ｐ３５、Ｐ３６、Ｐ４５、Ｐ４６から求めた偏光強度を、第３の偏光強度とする。

そして、ローカル４画素１１００の下にある別のローカル４画素に含まれる画素Ｐ５３、Ｐ５４、Ｐ６３、Ｐ６４から求めた偏光強度を、第４の偏光強度とする。

Ｓ１００７では、ローカル４画素１１００内の画素Ｐ３３、Ｐ３４、Ｐ４３、Ｐ４４の間にエッジがある場合は、第１の偏光強度と第４の偏光強度の差分が所定の閾値以上であれば、エッジを境にした偏光強度の変化がある、と判定する。第１の偏光強度と第４の偏光強度の差分が所定の閾値未満であれば、エッジを境にした偏光強度の変化がない、と判定する。

また、ローカル４画素１１００内の画素Ｐ３３、Ｐ３４、Ｐ４３、Ｐ４４の間にエッジがある場合は、第２の偏光強度と第３の偏光強度の差分が所定の閾値以上であれば、エッジを境にした偏光強度の変化がある、と判定する。第２の偏光強度と第３の偏光強度の差分が所定の閾値未満であれば、エッジを境にした偏光強度の変化がない、と判定する。

以上説明したように、第１０の実施形態では、代表偏光特性から算出した偏光成分を、各画素の輝度値から減算することで、解像度を低下させずに、偏光除去（補正処理）された画像を生成することが可能となる。また、周辺画素を用いてエッジの判定を行い、偏光除去方法を切り替えることで、無偏光成分のエッジ及び偏光成分のエッジが含まれる画素に対しても、適切に偏光除去（補正処理）することが可能である。

＜他の実施形態＞
なお、本発明は、複数の機器（例えばホストコンピュータ、インターフェイス機器、スキャナ、ビデオカメラなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。

また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１０１，７０１：撮像素子、１０２，７０２：画像取得部、１０３：領域決定部、１０４：近似関数算出部、１０５：偏光強度抽出部、１０６：偏光強度ヒストグラム生成部、１０７：偏光強度最頻値算出部、１０８：偏光角度抽出部、１０９：偏光角度ヒストグラム生成部、１１０：偏光角度最頻値算出部、１１１：偏光除去処理部、５０１：利得変換部、５０２：ＨＤＲ合成部、７０３：画像生成部、７０４：エッジ検出部、７０５：エッジ判別部、７０６：偏光特性処理部

Claims (24)

1. 互いに偏光角度が異なる複数の偏光光を光電変換することにより生成された画像信号を入力する入力手段と、
   前記複数の偏光光に基づく複数の画像信号を１つのセットとして、各セットごとに前記複数の画像信号の偏光成分の偏光強度の最大値と、前記偏光強度が最大となる偏光角度とを求める第１の処理手段と、
   前記画像信号に基づいて、偏光除去を行う対象となる対象領域を求め、当該対象領域に含まれる、統計を取るための統計領域を設定する設定手段と、
   前記統計領域に含まれる前記セットの前記偏光強度の最頻値である代表強度と、前記偏光角度の最頻値である代表角度とを求める第２の処理手段と、
   前記代表強度と前記代表角度とを用いて、前記対象領域に含まれる前記セットの各画像信号を、当該各画像信号の偏光角度に応じて補正する第１の補正処理を行う補正手段と
   を有することを特徴とする画像処理装置。
2. 前記設定手段は、
   前記各セットにおける画像信号の最大値と最小値との差が、予め決められた第１の閾値以上の領域と、前記差が前記第１の閾値よりも小さい領域とに分け、
   前記第１の閾値よりも大きい領域内の任意の領域を、前記統計領域として設定する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記第２の処理手段は、前記統計領域に含まれる前記セットの前記偏光強度のヒストグラムと前記偏光角度のヒストグラムとを生成し、それぞれの最頻値を求めることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記第１の処理手段は、θを角度、Ａを偏光成分の偏光強度、Ｂを偏光成分の偏光角度、Ｃをオフセット成分として、各セットについて近似関数Ｆ（θ）
   Ｆ（θ）＝Ａｃｏｓ（２θ＋２Ｂ）＋Ｃ
   を求め、Ａを前記偏光強度、Ｆ（θ）が最大値を取るときのθを前記偏光角度とすることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記補正手段は、前記代表強度をＩｍｏｄｅ、前記代表角度をθｍｏｄｅ、Ｃをオフセット成分として、近似関数Ｆ（θ）
   Ｆ（θ）＝Ｉｍｏｄｅ・ｃｏｓ（２θ＋２θｍｏｄｅ）＋Ｃ
   を求め、前記偏光光の偏光角度をθに代入することにより、各偏光角度の偏光成分を求めることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 合成手段を更に有し、
   前記第２の処理手段は、前記統計領域に含まれる前記セットの前記偏光強度のヒストグラムと前記偏光角度のヒストグラムとを生成し、
   前記偏光強度のヒストグラムにピークが１つ存在する場合に、前記補正手段は、前記第１の補正処理を行い、
   前記偏光強度のヒストグラムに複数のピークが存在する場合に、第２の補正処理を行い、
   前記第２の補正処理は、前記設定手段が、前記統計領域のサイズ及び位置を変更する第１の処理と、前記第２の処理手段が変更したの統計領域に含まれる前記セットの前記偏光強度のヒストグラムと前記偏光角度のヒストグラムとを生成する第２の処理とを、予め決めた回数、繰り返し、前記補正手段が、前記第２の処理により生成された前記偏光強度のヒストグラムと前記偏光角度のヒストグラムの最頻値に基づいて得られた代表強度と代表角度とを用いて補正し、前記合成手段が、前記第２の処理により得られた複数の補正した後の画像信号を合成する処理である
   ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記第２の処理手段は、前記統計領域に含まれる前記セットの前記偏光強度のヒストグラムと前記偏光角度のヒストグラムとを生成し、
   前記偏光強度のヒストグラムにピークが１つ存在する場合に、前記第２の処理手段は、前記代表強度および前記代表角度を求め、前記補正手段は、前記第１の補正処理を行い、
   前記偏光強度のヒストグラムに複数のピークが存在する場合に、前記第２の処理手段は、前記代表強度および前記代表角度を求めず、前記補正手段は、前記第１の処理手段によって求められた前記各セットの偏光強度および偏光角度とを用いて、前記対象領域の画像信号を、前記偏光角度に応じて補正する第３の補正処理を行う
   ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
8. 前記偏光強度のヒストグラムのピークを判定できない場合に、前記第２の処理手段は、前記統計領域に含まれる前記セットの偏光強度のうち、前記代表角度から予め決められた範囲内の前記偏光角度を有する前記セットの前記偏光強度を用いて、前記偏光強度のヒストグラムを生成し直すことを特徴とする請求項６または７に記載の画像処理装置。
9. 前記補正手段は、前記代表強度と前記各セットの偏光強度との強度差を予め決められた第３の閾値とを比較するとともに、前記代表角度と前記各セットの偏光角度との角度差を、予め決められた第４の閾値とを比較し、
   前記強度差が第３の閾値未満、かつ、前記角度差が第４の閾値未満である前記セットに対して、前記補正手段は前記第１の補正処理を行い、
   前記強度差および角度差の少なくともいずれか一方が前記第３の閾値または第４の閾値以上である前記セットに対して、前記第１の処理手段が、前記セットを構成する画像信号の組み合わせを変更することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
10. 前記第１の処理手段が、前記強度差および角度差の少なくともいずれか一方が前記第３の閾値または第４の閾値以上である前記セットに対して、前記組み合わせが変更された新しいセットの偏光強度および偏光角度を求める第１の処理と、前記補正手段が、前記新しいセットについて、前記強度差および前記角度差を、それぞれ予め決められた前記第３の閾値及び前記第４の閾値と比較する第２の処理と、を、前記強度差および前記角度差がそれぞれ前記第３の閾値および前記第４の閾値未満となるまで繰り返すことを特徴とする請求項９に記載の画像処理装置。
11. 前記画像信号が色情報を有している場合に、前記第１の処理手段は、前記組み合わせが変更された新しいセットの画像信号を、予め決められた色の画像信号の強度に合わせる処理を行い、当該処理をした後の画像信号を用いて、前記偏光強度および前記偏光角度を求めることを特徴とする請求項９または１０に記載の画像処理装置。
12. 前記セットそれぞれにおけるエッジの有無を検出する検出手段と、
    前記検出手段によりエッジが検出された場合に、当該エッジの種類を判別する判別手段と、を更に有し、
    前記判別手段により判別されたエッジが前記対象領域に存在する無偏光成分のエッジである場合に、前記第１の補正処理を行い、前記エッジが前記対象領域に存在する偏光成分のエッジの場合に、前記第２の補正処理を行う
    ことを特徴とする請求項６に記載の画像処理装置。
13. 前記第２の処理手段は、前記統計領域に含まれる前記セットの前記偏光強度のヒストグラムと前記偏光角度のヒストグラムとを生成し、
    前記偏光角度のヒストグラムにピークが１つ存在する場合に、前記補正手段は、前記第１の補正処理を行い、
    前記偏光角度のヒストグラムに複数のピークが存在する場合に、前記設定手段は、前記統計領域を小さくする第１の処理を行い、前記第２の処理手段は、変更した後の前記統計領域に含まれる前記セットの前記偏光強度のヒストグラムと前記偏光角度のヒストグラムとを生成する第２の処理を行い、前記第２の処理において生成された前記偏光角度のヒストグラムのピークが１つとなるまで、前記第１の処理と前記第２の処理とを繰り返し、前記補正手段は、前記変更した後の統計領域の代表強度と代表角度とを用いて、当該統計領域に含まれる前記セットの各画像信号を、前記各画像信号の偏光角度に応じて補正することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
14. 前記第２の処理手段は、前記統計領域に含まれる前記セットの前記偏光強度のヒストグラムと前記偏光角度のヒストグラムとを生成し、
    前記偏光角度のヒストグラムの形状が予め決められた条件を満たす場合に、前記補正手段は前記第１の補正処理を行い、
    前記偏光角度のヒストグラムの形状が前記予め決められた条件を満たさない場合に、前記設定手段は、前記統計領域を小さくする第１の処理を行い、前記第２の処理手段は、変更した後の前記統計領域に含まれる前記セットの前記偏光強度のヒストグラムと前記偏光角度のヒストグラムとを生成する第２の処理とを行い、前記第２の処理において生成された前記偏光角度のヒストグラムの形状が前記条件を満たすようになるまで、前記第１の処理と前記第２の処理とを繰り返し、前記補正手段は、前記変更した後の統計領域の代表強度と代表角度とを用いて、当該統計領域に含まれる前記セットの各画像信号を、前記各画像信号の偏光角度に応じて補正することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
15. 前記条件は、前記偏光角度のヒストグラムの分散が予め決められた閾値未満であること、または、前記偏光角度のヒストグラムを最尤推定によって確率分布をフィッティングして得られたばらつきまたは分布の広がりを表す指標が、予め決められたばらつきまたは分布よりも小さいことを特徴とする請求項１４に記載の画像処理装置。
16. 前記セットそれぞれにおけるエッジの有無を検出する検出手段を更に有し、
    前記補正手段は、
    前記検出手段によりエッジが検出されなかった場合、および、エッジが検出され、かつ、前記エッジを境に偏光強度が変化しない場合に、前記第１の補正処理を行い、
    エッジが検出され、かつ、当該エッジの方向が不明である場合に、補正対象の画素信号を、当該画素信号が含まれる前記セットの最小値で置き換え、
    エッジが検出され、かつ、当該エッジを境に偏光強度が変化する場合に、補正対象の画素信号の輝度値を、当該画素信号が属する領域の複数の前記セットの代表強度および代表角度とを用いて、前記補正対象の画素信号の偏光角度に応じて補正する
    ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
17. 前記検出手段は、前記セットの周辺画素から算出した偏光特性の近似関数の偏光強度に基づいてエッジの有無を検出することを特徴とする、請求項１６に記載の画像処理装置。
18. 前記検出手段は、前記セットの周辺画素から算出した偏光特性の近似関数の偏光角度に基づいてエッジの方向を検出することを特徴とする、請求項１６または１７に記載の画像処理装置。
19. 互いに偏光角度が異なる複数の偏光光を透過する複数の偏光フィルタを備えた撮像素子と、
    請求項１乃至１８のいずれか１項に記載の画像処理装置と
    を有することを特徴とする撮像装置。
20. 前記撮像素子は、さらに、複数色のカラーフィルタにより覆われ、前記セットに対応する複数の画素ごとに同色のカラーフィルタが配置されていることを特徴とする請求項１９に記載の撮像装置。
21. 前記各セットに対応する複数の画素に対して、複数の異なる露出条件を用いて露光を行い、
    前記画像処理装置は、前記入力手段から入力された各画素の前記画像信号の露出条件に応じて、前記画像信号を調整する変換手段と、
    ダイナミックレンジを拡大する合成処理を行う合成手段とを更に有し、
    前記画像処理装置は、前記調整された画像信号を処理し、前記合成手段は、前記偏光成分が除去された画像信号を用いて、前記合成処理を行うことを特徴とする請求項１９または２０に記載の撮像装置。
22. 入力手段が、互いに偏光角度が異なる複数の偏光光を光電変換することにより生成された画像信号を入力する入力工程と、
    第１の処理手段が、前記複数の偏光光に基づく複数の画像信号を１つのセットとして、各セットごとに前記複数の画像信号の偏光成分の偏光強度の最大値と、前記偏光強度が最大となる偏光角度とを求める第１の処理工程と、
    設定手段が、画像信号に基づいて、偏光除去を行う対象となる対象領域を求め、当該対象領域に含まれる、統計を取るための統計領域を設定する設定工程と、
    第２の処理手段が、前記統計領域に含まれる前記セットの前記偏光強度の最頻値である代表強度と、前記偏光角度の最頻値である代表角度とを求める第２の処理工程と、
    補正手段が、前記代表強度と前記代表角度とを用いて、前記対象領域に含まれる前記セットの各画像信号を、当該各画像信号の偏光角度に応じて補正する補正工程と
    を有することを特徴とする画像処理方法。
23. コンピュータに、請求項１乃至１８のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
24. 請求項２３に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images