JP2023115632A - 信号処理装置、プログラム - Google Patents

Abstract

【課題】偏光センサによる撮像画像を対象として行う信号処理について、信号処理回路の回路規模縮小化や信号処理に用いるメモリサイズの縮小化を図る。【解決手段】本技術に係る信号処理装置は、それぞれが異なる偏光角度の光を選択的に受光する複数種類の画素が二次元に所定パターンで配列されて成る偏光画素ユニットが二次元に配列されている偏光センサにより得られる撮像画像を入力し、該撮像画像から同じ偏光角度の光を受光する画素同士の受光値を抽出して偏光角度ごとの画像である偏光角度分離画像を編成する画像編成部と、画像編成部により得られた偏光角度分離画像に対する信号処理を行う信号処理部とを備える。【選択図】図１

Description

本技術は、偏光センサの撮像画像について信号処理を行う信号処理装置、及びプログラムに関する。

例えば下記特許文献１に開示されるように、画素ごとに偏光情報を示す画像である偏光画像を得るための偏光センサが知られている。偏光センサを用いることで、入射光の様々な偏光状態を推定可能であり、偏光画像から物体（被写体）の面の向きや光の反射の状態等、物体の色や形状以外の様々な情報を認識することが可能とされる。

なお、下記特許文献１には、偏光センサによる撮像画像についてノイズリダクションのために画素の並び替えを行う技術が開示されている。

国際公開第２０１８／１５０６８３号

ここで、偏光センサは異なる偏光角度の光を受光する複数種類の画素が二次元に配列されて形成されるため、偏光センサによる撮像画像について、ＲＧＢセンサ等の一般に普及している画像センサ用の信号処理を適用しようとすると、回路規模やメモリサイズの拡大化を招く虞がある。

本技術は上記課題に鑑み為されたものであり、偏光センサによる撮像画像を対象として行う信号処理について、信号処理回路の回路規模縮小化や信号処理に用いるメモリサイズの縮小化を図ることを目的とする。

本技術に係る第一の信号処理装置は、それぞれが異なる偏光角度の光を選択的に受光する複数種類の画素が二次元に所定パターンで配列されて成る偏光画素ユニットが二次元に配列されている偏光センサにより得られる撮像画像を入力し、該撮像画像から同じ偏光角度の光を受光する画素同士の受光値を抽出して偏光角度ごとの画像である偏光角度分離画像を編成する画像編成部と、前記画像編成部により得られた前記偏光角度分離画像に対する信号処理を行う信号処理部と、を備えたものである。
一般に撮像画像に対する信号処理としては、画像フィルタを用いた処理が行われる。上記のように偏光画素ユニットが二次元に配列されている偏光センサにより得られる撮像画像について、仮に、偏光角度分離画像を編成せずにＲＡＷ画像データを信号処理しようとすると、画素データを保持するためのラインバッファと画像フィルタサイズの大型化を招き、それに伴い信号処理回路の規模の拡大化や信号処理に用いるメモリサイズの増大化を招くことになる。これに対し、上記のように偏光角度分離画像を対象として信号処理を行うようにすれば、信号処理に用いるラインバッファと画像フィルタのサイズ縮小化を図ることが可能となる。

また、本技術に係る第二の信号処理装置は、それぞれが異なる偏光角度の光を選択的に受光する複数種類の画素が二次元に所定パターンで配列されて成る偏光画素ユニットが二次元に配列されている偏光センサと、前記偏光センサにより得られる撮像画像を入力し、該撮像画像から同じ偏光角度の光を受光する画素同士の受光値を抽出して偏光角度ごとの画像である偏光角度分離画像を編成する画像編成部と、前記画像編成部により得られた前記偏光角度分離画像に対する信号処理を行う信号処理部と、を備えたものである。すなわち、上記第一の信号処理装置に対して、偏光センサを構成要素として含むものである。
このような第二の信号処理装置によっても、上記した第一の信号処理装置と同様の作用が得られる。

本技術に係る第一実施形態としての信号処理装置の構成例を示したブロック図である。 第一実施形態における偏光センサが有する画素アレイ部の構成例を示した図である。 第一実施形態における画素の概略断面構造を例示した図である。 画像編成部による画像編成処理及びタイミング調整部の処理について説明するための図である。 偏光状態推定処理の説明図である。 偏光画像生成処理の説明図である。 ＲＡＷ画像に対してフィルタ処理を行った場合の様子を模式的に示した図である。 偏光角度分離画像ごとにフィルタ処理を行った場合の様子を模式的に示した図である。 レンズ歪み補正と画素位置補正のイメージを示した図である。 画素位置補正処理の具体的な処理例の説明図である。 第二実施形態における偏光センサが有する画素アレイ部の構成例を示した図である。 第二実施形態における偏光センサが有する画素の概略断面構造を例示した図である。 第二実施形態としての信号処理装置の構成例を示したブロック図である。 第二実施形態における画像編成処理及びデモザイク処理についての説明図である。 変形例としての信号処理装置の構成例を示したブロック図である。 変形例における信号処理部が実行する処理のフローチャートである。

以下、添付図面を参照し、本技術に係る実施形態を次の順序で説明する。
＜１．第一実施形態＞
＜２．第二実施形態＞
＜３．変形例＞
＜４．実施形態のまとめ＞
＜５．本技術＞

＜１．第一実施形態＞
図１は、本技術に係る第一実施形態としての信号処理装置である信号処理装置１の構成例を示したブロック図である。
図示のように信号処理装置１は、偏光センサ２、画像編成部３、前処理部４、歪み補正部５、タイミング調整部６、偏光画像生成部７、メモリ部８、及びバス９を備えている。ここで、バス９は、画像編成部３、歪み補正部５、及びタイミング調整部６がそれぞれメモリ部８を対象としたデータの読み出し及び書き込みが可能となるように設けられている。

偏光センサ２は、画素ごとに偏光情報を示す画像である偏光画像を得るための画像センサである。なお、ここで言う画像センサとは、受光素子を有する画素が二次元に配列されたセンサを意味する。

図２は、偏光センサ２が有する画素アレイ部２ａの構成例を示した図である。
画素アレイ部２ａは、受光素子、具体的に本例ではフォトダイオードＰＤを有する画素Ｐｘが二次元に配列されて形成されるものである。具体的に、画素アレイ部２ａにおいては、それぞれが異なる偏光角度の光を選択的に受光する画素Ｐｘが複数形成されている。より具体的に、画素アレイ部２ａには、このような画素Ｐｘが二次元に所定パターンで配列されて成る偏光画素ユニットＰＰが、二次元に配列されている。

本例における偏光画素ユニットＰＰは、偏光角度＝１３５度の光を選択的に受光する画素Ｐｘと、偏光角度＝０度（１８０度）の光を選択的に受光する画素Ｐｘと、偏光角度＝９０度の光を選択的に受光する画素Ｐｘと、偏光角度＝４５度の光を選択的に受光する画素Ｐｘの計四つの画素Ｐｘが所定パターンで二次元配列されて成る。
なお、偏光画素ユニットＰＰについて、何種類の偏光角度の光を受光し分けるかについては任意である。また、偏光画素ユニットＰＰにおける画素Ｐｘごとの偏光角度の刻み幅についても上記で例示した４５度刻みに限定されるものではなく、他の刻み幅を採用可能である。

図３は、画素Ｐｘの概略断面構造を例示している。
図示のように画素Ｐｘは、半導体基板５０内において受光素子としてのフォトダイオードＰＤが形成されていると共に、半導体基板５０の一方の面側に配線層５１が形成され、半導体基板５０の他方の面側に偏光フィルタ５２及びマイクロレンズ５３が積層されている。
偏光フィルタ５２は、特定の方向（角度）に振動する直線偏光を選択的に透過する偏光子を有して構成される。偏光子の例としては、例えばワイヤーグリッドを用いたものや、フォトニック結晶等の結晶構造を有するものを挙げることができる。

説明を図１に戻す。
画像編成部３は、偏光センサ２により得られる撮像画像を入力し、該撮像画像から同じ偏光角度の光を受光する画素Ｐｘ同士の受光値を抽出して偏光角度ごとの画像である偏光角度分離画像を編成する。

図４を参照し、画像編成部３による画像編成処理について説明する。
図４Ａは、偏光センサ２から出力される撮像画像（ＲＡＷ画像）を模式的に示しており、図４Ｂは、画像編成処理により得られる各偏光角度の偏光角度分離画像を模式的に示している。
画像編成部３には、偏光センサ２から１フレーム分のＲＡＷ画像が入力される。画像編成部３は、このように入力された１フレーム分のＲＡＷ画像をメモリ部８に書き込むとき、又は書き込んだＲＡＷ画像をメモリ部８から読み出すときに、画像編成処理を行う。具体的に本例では、偏光角度＝１３５度の光を受光する画素Ｐｘ同士の受光値を抽出して、偏光角度＝１３５度の受光値を示す画素のみで成る偏光角度分離画像（以下「１３５度画像」と表記する）を生成する処理と、偏光角度＝０度の光を受光する画素Ｐｘ同士の受光値を抽出して、偏光角度＝０度の受光値を示す画素のみで成る偏光角度分離画像（以下「０度画像」と表記する）を生成する処理と、偏光角度＝９０度の光を受光する画素Ｐｘ同士の受光値を抽出して、偏光角度＝９０度の受光値を示す画素のみで成る偏光角度分離画像（以下「９０度画像」と表記する）を生成する処理と、偏光角度＝４５度の光を受光する画素Ｐｘ同士の受光値を抽出して、偏光角度＝４５度の受光値を示す画素のみで成る偏光角度分離画像（以下「４５度画像」と表記する）を生成する処理とを行う。

本例において、画像編成部３は、１フレーム期間（図４Ａ中「１Ｖ」と示す）で入力された上記のようなＲＡＷ画像からの１３５度画像、０度画像、９０度画像、及び４５度画像の編成処理をスループットを落とさずに実行する。すなわち、これら１３５度画像、０度画像、９０度画像、及び４５度画像を１フレーム期間内において時分割で出力する。具体的には、各偏光角度分離画像を、１フレーム期間を４等分したサブフレーム期間（図４Ｂ中「１／４Ｖ」と示す）ごとに出力する。例えば、１番目のサブフレーム期間に１３５度画像を、２番目のサブフレーム期間に０度画像を、３番目のサブフレーム期間に９０度画像を、４番目のサブフレーム期間に４５度画像を出力する。

図１において、前処理部４は、画像編成部３により編成された各偏光角度分離画像に対して前処理としての画像信号処理を施す。具体的に、前処理としては、ノイズリダクション処理や欠陥補正処理等、画像フィルタを用いた画像信号処理を含むものとする。
ここで、本例における前処理部４は、偏光角度ごとの偏光角度分離画像に対する前処理を、画像編成部３の出力順に時分割で行う。具体的に、本例において画像編成部３は、偏光角度分離画像をサブフレーム期間ごとに前処理部４に出力するが、前処理部４は、このようにサブフレーム期間ごとに出力される偏光角度分離画像を、サブフレーム期間ごとに順次処理して後段の歪み補正部５に順次出力する。

歪み補正部５は、前処理部４より出力される各偏光角度分離画像に対して、メモリ部８を使用してレンズ歪み補正処理を施す。
ここで、本例における歪み補正部５は、各偏光角度分離画像に対する信号処理として、レンズ歪み補正処理のみでなく画素位置補正処理も行うが、この点については改めて説明する。

タイミング調整部６は、歪み補正部５により信号処理された各偏光角度分離画像を入力し、これら偏光角度分離画像が偏光画像生成部７に対しフレーム同期して入力されるように制御する。具体的に、タイミング調整部６は、或るフレーム期間において、歪み補正部５よりサブフレーム期間ごとに入力される偏光角度分離画像をメモリ部８に一時保持させる。そして、一時保持された全ての偏光角度分離画像を、当該フレーム期間内において偏光画像生成部７に出力する。

ここで、偏光画像生成部７に対し各偏光角度分離画像をフレーム同期して入力させるにあたり、メモリ部８に全ての偏光角度分離画像を一時保持させることは必須ではない。例えば、歪み補正部５よりサブフレーム期間ごとに順に入力される三つの偏光角度分離画像のみをメモリ部８に一時保持させ、最後のサブフレーム期間に残り一つの偏光角度分離画像が入力されたことに応じて、全ての偏光角度分離画像を偏光画像生成部７に出力するという手法を採ることもできる。

図４Ｃは、タイミング調整部６によりフレーム同期して偏光画像生成部７に入力される各偏光角度分離画像のイメージを示している。偏光画像生成部７には、各偏光角度分離画像としての１３５度画像（図中「１３５°画像」）、０度画像（図中「０°画像」）、９０度画像（図中「９０°画像」）、４５度画像（図中「４５°画像」）が１フレーム期間内にタイミング同期して入力される。

図１において、偏光画像生成部７は、各偏光角度分離画像に基づいて偏光画像を生成する。偏光画像生成部７は、各偏光角度分離画像に基づいて、偏光状態推定処理を行うと共に、該偏光状態推定処理で求まる、入射光の偏光状態を示す正弦波の情報に基づく偏光画像生成処理を行って偏光画像を得る。

図５は、偏光状態推定処理の説明図である。
図５Ａでは、タイミング調整部６より入力される１３５度画像、０度画像、９０度画像、４５度画像を模式的に表している。
偏光状態推定処理では、これら１３５度画像、０度画像、９０度画像、４５度画像に基づき、図５Ｂに示すような正弦波へのフィッティングを画素位置ごとに行うという処理を行う。
入射光の偏光状態は、縦軸を輝度、横軸を偏光方向（偏光角度）とした正弦波で表現される。従って、各偏光角度分離画像について、画素位置ごとに、受光値（輝度値）に基づく正弦波のフィッティングを行うことで、画素位置ごとの偏光状態を推定することができる。

図８は、偏光画像生成処理の説明図である。
偏光状態推定処理により画素位置ごとの偏光状態を示す正弦波の情報が求まることで、該正弦波の情報に基づいて、各種の偏光画像を生成可能となる。
ここでは偏光画像の例として、反射強調画像、偏光成分画像、反射除去画像、平均画像を例示する。反射強調画像は、画素位置ごとに反射強調信号を算出することで得られる画像であり、図示のように反射強調信号は正弦波の最大値（Ｉｍａｘ）として算出されるものであるから、画素位置ごとに正弦波の最大値を算出することで反射強調画像を生成することができる。

また、反射除去画像は、画素位置ごとに反射除去信号を算出することで得られる画像であり、図示のように反射除去信号は正弦波の最小値（Ｉｍｉｎ）として算出されるものであるから、画素位置ごとに正弦波の最小値を算出することで反射除去画像を生成することができる。

偏光成分画像は、画素位置ごとに偏光成分信号を算出することで得られる画像であり、図示のように偏光成分信号は正弦波の振幅として算出されるものであるから、画素位置ごとに正弦波の最大値と平均値（Ｉｃ）との差分値（「Ｉｍａｘ－Ｉｃ」）を算出することで偏光成分画像を生成することができる。

平均画像は、画素位置ごとに、正弦波の平均信号を算出することで得られる画像であり、従って画素位置ごとに正弦波の平均値（Ｉｃ）を算出することで平均画像を生成することができる。

なお、入射光の偏光状態を示す正弦波の情報からは偏光状態を示す様々な信号を生成可能なものであり、偏光画像生成部７で生成可能な偏光画像としては、上記で例示した反射強調画像、偏光成分画像、反射除去画像、平均画像の４種に限定されるものではない。

図１では、偏光画像生成部７が一種の偏光画像のみを生成・出力するものとして示しているが、勿論、複数の偏光画像を生成・出力する構成を採ることもできる。

ここで、上記説明から理解されるように、本実施形態の信号処理装置１では、画像編成部３を設けて、偏光センサ２のＲＡＷ画像（図４Ａ）から偏光角度ごとに分離された偏光角度分離画像を編成（図４Ｂ）し、この偏光角度分離画像を対象として前処理部４がノイズリダクション処理や欠陥補正処理等のフィルタ処理を施すようにされている。
このことで、前処理部４としての信号処理回路の回路規模縮小化や信号処理に用いるメモリサイズの縮小化を図ることができる。

図７及び図８を参照し、この点について説明する。
図７は、偏光角度分離画像を編成せず、ＲＡＷ画像に対してフィルタ処理を行った場合の様子を模式的に示している。図中において、太線の枠は、ＲＡＷ画像に対する画像処理で用いる画像フィルタを表しており、グレーで示す画素は画像処理の対象画素を表している。ここで、当然ではあるが、ノイズリダクション等の補正処理を伴う画像処理は、同じ偏光角度の画像ごとに個別に行われるべきものである。
ＲＡＷ画像においては、同じ偏光角度の光を受光する画素が離散的に配置される（具体的には上下左右斜めにそれぞれ１画素おきに配置される）。このため、ラインバッファと画像フィルタのサイズが大型化する傾向となる。具体的に、ここでの画像処理は、本来であれば偏光角度ごとに５×５＝２５画素のサイズによる画像フィルタを用いて行うことを想定しているが、ＲＡＷ画像では同じ偏光角度の光を受光する画素が離散的に配置されるため、画像フィルタ内に対象とする偏光角度の画素を必要数（ここでは２５個）含めようとすると、ラインバッファとフィルタサイズの拡大化を招くものとなる。フィルタ演算処理としては２５画素だけ使用するとしても、画素データを保持するために、図示のように本例では８ラインのラインバッファと９×５＝４５画素分のサイズの画像フィルタを用いることになる。
画像フィルタのサイズが拡大化することにより、信号処理回路の回路規模拡大を招き、また、画像処理に必要とされるラインバッファの容量も拡大する傾向となる。

図８は、偏光角度分離画像ごとにフィルタ処理を行った場合の様子を模式的に示している。図示のように偏光角度分離画像においては、同じ偏光角度の画素が縦横斜めに連続的に配置されていることから、４ラインのラインバッファと、本来の５×５＝２５画素分のサイズの画像フィルタとすることができる。このため、信号処理回路の回路規模縮小化を図ることができると共に、必要なラインバッファ容量の削減が図られることで信号処理に要するメモリサイズの縮小化を図ることができる。

また、本実施形態の信号処理装置１においては、歪み補正部５が、レンズ歪み補正処理と共に画素位置補正処理を行う。
具体的に歪み補正部５は、レンズ歪み補正処理と画素位置補正処理とを共通のフィルタ処理として実行する
ここで言う画素位置補正処理とは、偏光センサ２の撮像画像（ＲＡＷ画像）において異なる位置とされている各偏光角度の画素位置を同一画素位置に補正する処理を意味する。

図９は、レンズ歪み補正と画素位置補正のイメージを示した図である。図９Ａが補正前、図９Ｂが補正後の様子を示している。
画素位置補正に関して、図９Ａでは、或る偏光画素ユニットＰＰにおける偏光角度＝１３５度、０度、９０度、４５度の各画素Ｐｘをそれぞれ●、▲、■、◆のマークで表し、別の偏光画素ユニットＰＰにおける偏光角度＝１３５度、０度、９０度、４５度の各画素Ｐｘをそれぞれ○、△、□、◇のマークで表している。
図９Ａから図９Ｂへの遷移として示すように、画素位置補正が行われることで、補正前は異なる位置であった各偏光角度の画素が、補正後の出力画像においては、それぞれ同一の位置に補正される。

図１０は、画素位置補正処理の具体的な処理例の説明図である。
先の図１を参照して分かるように、本例では、歪み補正部５による画素位置補正処理は、前処理部４を介して入力される各偏光角度分離画像（１３５度画像、０度画像、９０度画像、４５度画像）を対象として行われる。画素位置補正処理では、出力画像の画素位置に応じたバイリニア補間処理を行うことで、画素位置ごとの受光値（輝度値）を求める。
図１０Ａ、図１０Ｂ、図１０Ｃ、図１０Ｄは、それぞれ１３５度画像、０度画像、９０度画像、４５度画像について、出力画像における同一画素位置（図中★で表す）の受光値を求めるためのバイリニア補間処理を模式的に示している。各図における黒丸が、バイリニア補間処理に使用される入力画素を表している。

歪み補正部５では、前処理部４から入力される１３５度画像、０度画像、９０度画像、４５度画像のそれぞれを対象として、出力画像の各画素位置の受光値を求めるためのバイリニア補間処理を行う。
これにより、１３５度画像、０度画像、９０度画像、４５度画像の各出力画像として、それぞれＲＡＷ画像における偏光角度ごとの位置の差が吸収された適切な画像が得られる。

ここで、図１０に★により例示した出力画像における或る画素位置を画素位置P'(x,y)とする。この画素位置P'(x,y)について求めるべき１３５度画像、０度画像、９０度画像、４５度画像それぞれの受光値をP'135(x,y)、P'000(x,y)、P'090 (x,y)、P'045(x,y)とする。これらP'135(x,y)、P'000(x,y)、P'090 (x,y)、P'045(x,y)を求めるためのバイリニア補間処理は下記のように表される。

P'135(x,y)＝(3*(3*P135(x,y)+P135(x,y+1))/4＋(3*P135(x+1,y)+P135(x+1,y+1))/4)/4
P'000(x,y)＝(3*(3*P000(x,y)+P000(x,y+1))/4＋(3*P000(x-1,y)+P000(x-1,y+1))/4)/4
P'090(x,y)＝(3*(3*P090(x,y)+P090(x,y-1))/4＋(3*P090(x+1,y)+P090(x+1,y-1))/4)/4
P'045(x,y)＝(3*(3*P045(x,y)+P045(x,y-1))/4＋(3*P045(x-1,y)+P045(x-1,y-1))/4)/4

なお、バイリニア補間処理は、回路規模削減等のために上記式から式変形してもよい。
上記のように各バイリニア補間処理は、複数の入力画素位置の受光値を用いて行われるフィルタ処理の一種となる。具体的には、複数の入力画素位置の受光値と、所定の重み係数とを用いたフィルタ演算処理となる。

ここで、上述のように歪み補正部５は、画素位置補正処理とレンズ歪み補正処理とを共通のフィルタ処理として行うものである。具体的に、歪み補正部５は、上記のようなバイリニア補間処理における重み係数として、画素位置補正のみを実現するための係数でなく、画素位置補正とレンズ歪み補正の双方が実現されるように定められた係数を用いたバイリニア補間処理を行う。

このように画素位置補正処理とレンズ歪み補正処理とを共通のフィルタ処理として行うことで、画素位置補正処理をレンズ歪み補正処理とは別処理として行う必要がなくなるため、画素補間を要する処理の回数低減による補正処理精度の向上を図ることができる。
なお、歪み補正部５が行う画像補正のためのフィルタ処理としては、バイリニア補間処理に限定されるものではなく、例えばバイキュービック補間処理等の別のフィルタ処理でもよい。

＜２．第二実施形態＞
続いて、第二実施形態について説明する。
第一実施形態では、モノクロの偏光センサ２を用いる例としたが、第二実施形態では、カラー画像を得ることが可能なカラー対応の偏光センサ２Ａを用いる。
なお以下の説明において、既に説明済みとなった部分と同様となる部分については同一符号を付して説明を省略する。

図１１は、偏光センサ２Ａが有する画素アレイ部２Ａａの構成例を示した図である
図示のように画素アレイ部２Ａａは、複数の偏光画素ユニットＰＰが二次元配列されて成るカラー偏光画素ユニットＰＣを有する。
カラー偏光画素ユニットＰＣは、それぞれが異なる色の光を選択的に受光する複数種類の偏光画素ユニットＰＰが二次元に所定パターンで配列されて成る画素ユニットである。
具体的に、本例におけるカラー偏光画素ユニットＰＣは、Ｒ光（赤色光）のみを受光する一つの偏光画素ユニットＰＰと、Ｇ光（緑色光）のみを受光する二つの偏光画素ユニットＰＰと、Ｂ光（青色光）のみを受光する偏光画素ユニットＰＰの計四つの偏光画素ユニットＰＰが二次元に所定パターンで配列されている。
図中では、Ｒ光を選択的に受光する偏光画素ユニットＰＰに左下がり斜線を、Ｇ光を選択的に受光する偏光画素ユニットＰＰに縦線を、Ｂ光を選択的に受光する偏光画素ユニットＰＰに右下がり斜線をそれぞれ付している。
本例のカラー偏光画素ユニットＰＣにおいては、Ｒ光、Ｂ光、Ｇ光を受光する四つの偏光画素ユニットＰＰがベイヤ（Bayer）型に配列されている。

画素アレイ部２Ａａは、上記のようなカラー偏光画素ユニットＰＣが二次元に配列されて成る。すなわち、カラー偏光画素ユニットＰＣが縦方向（列方向）及び横方向（行方向）にそれぞれ複数配列されて成る。

上記のような画素アレイ部２Ａａの構成により、各種の偏光画像として、Ｒ，Ｇ，Ｂそれぞれの色画像を生成可能となる。すなわち、各種の偏光画像としてカラー画像を生成可能となる。

画素アレイ部２Ａａにおいて、各画素Ｐｘは、所定の偏光角度の光を選択的に受光し、且つ所定の色（波長帯）の光を選択的に受光することが可能に構成されている。

図１２に、偏光センサ２Ａが有する画素Ｐｘの概略断面構造を例示する。
図示のようにこの場合の画素Ｐｘにおいては、偏光フィルタ５２とマイクロレンズ５３との間にカラーフィルタ５４が挿入されている。カラーフィルタ５４は、所定の波長帯の光を選択的に透過する光学的バンドパスフィルタとして構成されている。例えば、Ｒ光を受光する画素Ｐｘにおいては、カラーフィルタ５４としてＲ光を選択的に透過する光学的バンドパスフィルタが形成される。また、Ｇ光を受光する画素Ｐｘ、Ｂ光を受光する画素Ｐｘにおいては、それぞれカラーフィルタ５４としてＧ光を選択的に透過する光学的バンドパスフィルタ、Ｂ光を選択的に透過する光学的バンドパスフィルタが形成される。
なお、偏光フィルタ５２とカラーフィルタ５４については上下の配置位置関係が逆転してもよい。

図１３は、上記のような画素アレイ部２Ａａを有する偏光センサ２Ａを備えた第二実施形態としての信号処理装置１Ａの内部構成例を示したブロック図である。
先の図１と比較して分かるように、信号処理装置１Ａは、信号処理装置１と比較して、偏光センサ２に代えて偏光センサ２Ａが設けられた点と、デモザイク部１０が追加された点とが異なる。
図示のようにデモザイク部１０は、前処理部４と歪み補正部５との間に設けられる。

ここで、この場合の画像編成部３は、偏光センサ２Ａによる撮像画像について画像編成処理を行うが、この様子を図１４Ａから図１４Ｂの遷移として示す。図１４Ａは偏光センサ２Ａが出力する撮像画像としてのＲＡＷ画像、図１４Ｂは画像編成処理で得られる偏光角度分離画像である。
この場合も画像編成処理としては、センサからの撮像画像を入力し、該撮像画像から同じ偏光角度の光を受光する画素Ｐｘ同士の受光値を抽出して偏光角度ごとの偏光角度分離画像を編成する処理となるが、図１４Ｂに示すように、この場合の各偏光角度分離画像においては、異なる色の光を受光した画素が所定パターンで配列された画像が得られる。具体的に、本例では、各カラー偏光画素ユニットＰＣでは偏光画素ユニットＰＰがベイヤ型に配列されているため、各偏光角度分離画像としては、Ｒ、Ｇ、Ｂの画素がベイヤ配列された画像が得られることになる。

デモザイク部１０では、このようにＲ、Ｇ、Ｂの画素がベイヤ配列された各偏光角度分離画像を対象としてデモザイク処理を行う。このため、デモザイク部１０では、一般的なベイヤ配列対応のデモザイク処理を行うことができる。

図１４Ｃは、デモザイク部１０によるデモザイク処理後の偏光角度分離画像を示している。
図示のようにデモザイク処理により、１３５度画像、０度画像、９０度画像、４５度画像の各偏光角度分離画像として、それぞれＲ、Ｇ、Ｂの色画像が得られる。

ここで、デモザイク部１０には、図１４Ｂに示した偏光角度分離画像がサブフレーム期間ごとに前処理部４から入力される。このためデモザイク部１０としても、偏光角度分離画像のデモザイク処理をサブフレーム期間ごとに行う。
この場合の歪み補正部５では、デモザイク部１０からサブフレーム期間ごとに入力されるＲ、Ｇ、Ｂの３枚の偏光角度分離画像を、それぞれサブフレーム期間内で処理して出力する。

この場合のタイミング調整部６には、サブフレーム期間ごとに、Ｒ、Ｇ、Ｂの３枚の偏光角度分離画像が歪み補正部５より入力される。この場合のタイミング調整部６は、偏光角度ごとのＲ、Ｇ、Ｂの偏光角度分離画像、すなわち合計１２枚の偏光角度分離画像が、偏光画像生成部７に対してフレーム同期して入力されるように制御する。

なお、第二実施形態では、カラー対応の偏光センサ２Ａについて、偏光画素ユニットＰＰがベイヤ型に配列される例を挙げたが、カラー偏光画素ユニットＰＣにおいて、各色の偏光画素ユニットＰＰの配列はベイヤ型の配列に限定されるものではなく、デモザイク処理が可能な所定パターンによる配列とされればよい。

＜４．変形例＞
以上、実施形態としての信号処理装置について、具体的な例を二つ挙げて説明したが、実施形態としての信号処理装置は上記により説明した具体例に限定されるものではなく、多様な変形例としての構成を採り得る。
例えば、上記では、実施形態としての処理がハードウェア処理として実現される例を挙げたが、実施形態としての処理はソフトウェア処理で実現することもできる。ソフトウェア処理で実現する場合、利点としては、信号処理回路の回路規模縮小化や信号処理に用いるメモリサイズの縮小化ではなく、偏光センサを用いる場合であっても、一般的なモノクロセンサやＲＧＢセンサ用の信号処理を適用可能となる点である。

例えば、図１５に示す変形例としての信号処理装置１Ｂのように、偏光センサ２の撮像画像に基づいて実施形態としての処理をソフトウェア処理により実行する信号処理部１１を備える。信号処理部１１は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等を有したマイクロコンピュータ等のコンピュータ装置として構成される。

具体的に、本例における信号処理部１１は、先に説明した画像編成部３から偏光画像生成部７までの処理をソフトウェア処理により実行する。この場合、信号処理部１１はメモリ部８に対するデータの読み出し及び書き込みが可能に構成され、メモリ部８を用いた画像編成処理を行う。
なお、カラー対応の偏光センサ２Ａを用いる場合には、信号処理部１１においてデモザイク部１０の処理も実行する。

図１６は、信号処理部１１が実行する処理のフローチャートである。
具体的には、信号処理部１１のＣＰＵがＲＯＭ等に格納されたプログラムに従って実行する処理である。

先ず、信号処理部１１はステップＳ１０１で、ＲＡＷデータ、すなわち偏光センサ２による撮像画像の入力フレームをメモリ部８に書き込む。そして、続くステップＳ１０２で信号処理部１１は、画像編成処理を行う。すなわち、入力フレームをメモリ部８から読み出し、偏光角度分離画像（サブフレーム）ごとにメモリ部８に書き込むものであり、これは、画像編成部３の処理に相当するものである。

ステップＳ１０２に続くステップＳ１０３で信号処理部１１は、一つのサブフレーム、すなわち一つの偏光角度分離画像をメモリ部８から読み出し、続くステップＳ１０４で前処理及び歪み補正処理を行い、ステップＳ１０５で処理後のサブフレームをメモリ部８に書き込む。ここで、ステップＳ１０４の歪み補正処理では、レンズ歪み補正処理と共に画素位置補正処理を行う。具体的に本例では、これらレンズ歪み補正処理と画素位置補正処理とを共通のフィルタ処理により行う。

ステップＳ１０５に続くステップＳ１０６で信号処理部１１は、全サブフレームの処理が終了したか否かを判定する。すなわち、編成された全ての偏光角度分離画像についてステップＳ１０３からＳ１０５の処理を実行したか否かを判定する。
全サブフレームの処理を終了していないと判定した場合、信号処理部１１はステップＳ１０３に処理を戻す。

全サブフレームの処理を終了したと判定した場合、信号処理部１１はステップＳ１０７に進み、処理後の全サブフレームをメモリ部８から読み出し、続くステップＳ１０８で偏光画像生成処理を行う。すなわち、各偏光角度分離画像に基づき、前述した偏光状態推定処理を行うと共に、偏光状態推定処理で得られた正弦波の情報に基づき偏光画像を生成する処理を行う。

ステップＳ１０８に続くステップＳ１０９で信号処理部１１は、生成した偏光画像の出力処理を行い、図１６に示す一連の処理を終える。

ここで、本技術については、上記で説明した信号処理部１１としての処理を実現するためのプログラムの発明を考えることができる。
すなわち、実施形態のプログラムは、コンピュータ装置が読み取り可能なプログラムであって、それぞれが異なる偏光角度の光を選択的に受光する複数種類の画素が二次元に所定パターンで配列されて成る偏光画素ユニットが二次元に配列されている偏光センサにより得られる撮像画像を入力し、該撮像画像から同じ偏光角度の光を受光する画素同士の受光値を抽出して偏光角度ごとの画像である偏光角度分離画像を編成し、偏光角度分離画像に対する信号処理を行う機能、をコンピュータ装置に実現させるプログラムである。

このようなプログラムは、コンピュータ装置が読み取り可能な記憶媒体、例えばＲＯＭやＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等に予め記憶しておくことができる。或いはまた、半導体メモリ、メモリカード、光ディスク、光磁気ディスク、磁気ディスク等のリムーバブル記憶媒体に、一時的又は永続的に格納（記憶）しておくことができる。またこのようなリムーバブル記憶媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記憶媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ、インターネット等のネットワークを介してスマートフォン等の所要の情報処理装置にダウンロードすることもできる。

なお、上記では信号処理装置の装置形態として、偏光センサを備えた装置形態を例示したが、信号処理装置の装置形態としては偏光センサを備えない形態もあり得る。

＜４．実施形態のまとめ＞
上記により説明したように、実施形態としての第一の信号処理装置（同１，１Ａ，１Ｂ）は、それぞれが異なる偏光角度の光を選択的に受光する複数種類の画素が二次元に所定パターンで配列されて成る偏光画素ユニット（同ＰＰ）が二次元に配列されている偏光センサ（同２、２Ａ）により得られる撮像画像を入力し、該撮像画像から同じ偏光角度の光を受光する画素同士の受光値を抽出して偏光角度ごとの画像である偏光角度分離画像を編成する画像編成部（同３、又は信号処理部１１の一部）と、画像編成部により得られた偏光角度分離画像に対する信号処理を行う信号処理部（前処理部４、歪み補正部５、デモザイク部１０、又は信号処理部１１の一部）と、を備えたものである。
一般に撮像画像に対する信号処理としては、画像フィルタを用いた処理が行われる。上記のように偏光画素ユニットが二次元に配列されている偏光センサにより得られる撮像画像について、仮に、偏光角度分離画像を編成せずにＲＡＷ画像データをハードウェアで信号処理しようとすると、ラインバッファと画像フィルタサイズの大型化を招き、それに伴い信号処理回路の規模の拡大化や信号処理に用いるメモリサイズの増大化を招くことになる。これに対し、上記のように偏光角度分離画像を対象として信号処理を行うようにすれば、信号処理回路の回路規模縮小化や信号処理に用いるメモリサイズの縮小化を図ることができる。
また、仮に、偏光角度分離画像を編成せずにＲＡＷ画像データをソフトウェアで信号処理しようとすると、偏光センサの画素配列に対応した専用の信号処理を適用する必要がある。これに対し、上記のように偏光角度分離画像を対象として信号処理を行うようにすれば、偏光センサを用いる場合であっても一般的なモノクロセンサやＲＧＢセンサ用の信号処理（ソフトウェア信号処理）を適用可能となるという利点がある。

また、実施形態としての第一の信号処理装置においては、画像編成部は、偏光角度ごとの偏光角度分離画像を１フレーム期間内において時分割で出力している。
これにより、偏光センサからのフレーム単位での撮像画像の入力に対し、画像編成部以降のスループットの低下防止を図ることができる。

さらに、実施形態としての第一の信号処理装置においては、信号処理部は、偏光角度ごとの偏光角度分離画像に対し画像編成部の出力順に信号処理を行っている。
これにより、偏光センサからのフレーム単位での撮像画像の入力に対し、信号処理部以降のスループットの低下防止を図ることができる。

さらにまた、実施形態としての第一の信号処理装置においては、信号処理部は、撮像画像において異なる位置とされている各偏光角度の画素位置を同一画素位置に補正する処理である画素位置補正処理を行っている。
上記のような画素位置補正処理を行うことで、本来の位置の偏光情報を正しく得ることができ、偏光情報の検出精度向上を図ることができる。

また、実施形態としての第一の信号処理装置においては、信号処理部は、偏光角度分離画像に対する信号処理として、画素位置補正処理とレンズ歪み補正処理とを共通のフィルタ処理として実行している。
これにより、画素位置補正処理をレンズ歪み補正処理とは別処理として行う必要がなくなるため、画素補間を要する処理の回数低減による補正処理精度の向上を図ることができる。
また、補正処理をハードウェア処理として行う場合には、画素位置補正処理を行う信号処理回路をレンズ歪み補正処理を行う信号処理回路とは別途に設ける必要がなくなり、回路規模の縮小化や部品点数削減によるコスト削減を図ることができる。

さらに、実施形態としての第一の信号処理装置においては、偏光画像を生成する偏光画像生成部（同７）を備え、信号処理部により信号処理された偏光角度分離画像が偏光画像生成部に対しフレーム同期して入力されるように制御するタイミング調整部（同６）を備えている。
偏光画像生成部では、各偏光角度の情報を用いて画素位置ごとの偏光情報が得られる。
従って、上記のように偏光角度分離画像が偏光画像生成部にフレーム同期して入力されるようにすることで、偏光画像を適切に生成することができる。

さらにまた、実施形態としての第一の信号処理装置においては、画像編成部は、それぞれが異なる色の光を受光する複数種類の偏光画素ユニットが二次元に所定パターンで配列されて成るカラー偏光画素ユニット（同ＰＣ）が二次元に配列されている偏光センサ（同２Ａ）による撮像画像を入力し、該撮像画像から同じ偏光角度の光を受光する画素同士の受光値を抽出して偏光角度分離画像を編成している。
上記のようなカラー偏光画素ユニットが二次元配列された偏光センサによる撮像画像について、画像編成部が偏光角度分離画像を生成した場合、それら偏光角度分離画像としては、異なる色の光を受光した画素が所定パターンで配列された画像を得ることが可能となる。例えば、カラー偏光画素ユニットにおいて偏光画素ユニットがベイヤ型で配列されている場合には、それぞれの偏光角度分離画像として、ベイヤ配列による画像を得ることが可能となる。
従って、それら偏光角度分離画像についてデモザイク処理を行う場合には、一般的なデモザイク処理を流用することが可能となり、専用のデモザイク処理を開発する必要を無くすことが可能となる。これにより、偏光画像の信号処理システムについて、開発コスト削減を図ることができる。

また、実施形態としての第一の信号処理装置においては、偏光センサにおいて、カラー偏光画素ユニットは、赤色光を選択的に受光する偏光画素ユニットと、緑色光を選択的に受光する偏光画素ユニットと、青色光を選択的に受光する偏光画素ユニットとがベイヤ型に配列されて成る。
これにより、偏光角度分離画像のデモザイク処理として、ＲＧＢ画像のデモザイクで用いられるベイヤ配列対応のデモザイク処理を採用することが可能となる。
従って、専用のデモザイク処理を開発する必要を無くすことが可能となり、偏光画像の信号処理システムについて開発コスト削減を図ることができる。

さらに、実施形態としての第一の信号処理装置においては、偏光センサにおいて、偏光画素ユニットは、受光する光の偏光角度が４５度ずつ異なる４種の画素が二次元に所定パターンで配列されて成る。
これにより、偏光画像の生成にあたり、偏光状態を示す正弦波のフィッティングを４５度刻みでの偏光角度のサンプル値、すなわち必要十分なサンプル値に基づき行うことが可能となる。
従って、入射光の偏光状態の推定を適切に行うことができ、偏光画像の生成を適切に行うことができる。

また、実施形態としての第二の信号処理装置は、それぞれが異なる偏光角度の光を選択的に受光する複数種類の画素が二次元に所定パターンで配列されて成る偏光画素ユニットが二次元に配列されている偏光センサと、偏光センサにより得られる撮像画像を入力し、該撮像画像から同じ偏光角度の光を受光する画素同士の受光値を抽出して偏光角度ごとの画像である偏光角度分離画像を編成する画像編成部と、画像編成部により得られた偏光角度分離画像に対する信号処理を行う信号処理部と、を備えたものである。
このような第二の信号処理装置によっても、上記した第一の信号処理装置と同様の作用及び効果を得ることができる。

なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。

＜５．本技術＞
なお本技術は以下のような構成も採ることができる。
（１）
それぞれが異なる偏光角度の光を選択的に受光する複数種類の画素が二次元に所定パターンで配列されて成る偏光画素ユニットが二次元に配列されている偏光センサにより得られる撮像画像を入力し、該撮像画像から同じ偏光角度の光を受光する画素同士の受光値を抽出して偏光角度ごとの画像である偏光角度分離画像を編成する画像編成部と、
前記画像編成部により得られた前記偏光角度分離画像に対する信号処理を行う信号処理部と、を備えた
信号処理装置。
（２）
前記画像編成部は、
前記偏光角度ごとの前記偏光角度分離画像を１フレーム期間内において時分割で出力する
前記（１）に記載の信号処理装置。
（３）
前記信号処理部は、
前記偏光角度ごとの前記偏光角度分離画像に対し前記画像編成部の出力順に信号処理を行う
前記（２）に記載の信号処理装置。
（４）
前記信号処理部は、
前記撮像画像において異なる位置とされている各偏光角度の画素位置を同一画素位置に補正する処理である画素位置補正処理を行う
前記（１）から（３）の何れかに記載の信号処理装置。
（５）
前記信号処理部は、
前記偏光角度分離画像に対する信号処理として、前記画素位置補正処理とレンズ歪み補正処理とを共通のフィルタ処理として実行する
前記（４）に記載の信号処理装置。
（６）
偏光画像を生成する偏光画像生成部を備え、
前記信号処理部により信号処理された前記偏光角度分離画像が前記偏光画像生成部に対しフレーム同期して入力されるように制御するタイミング調整部を備えた
前記（１）から（５）の何れかに記載の信号処理装置。
（７）
前記画像編成部は、
それぞれが異なる色の光を受光する複数種類の前記偏光画素ユニットが二次元に所定パターンで配列されて成るカラー偏光画素ユニットが二次元に配列されている前記偏光センサによる撮像画像を入力し、該撮像画像から同じ偏光角度の光を受光する画素同士の受光値を抽出して前記偏光角度分離画像を編成する
前記（１）から（６）の何れかに記載の信号処理装置。
（８）
前記偏光センサにおいて、前記カラー偏光画素ユニットは、赤色光を選択的に受光する前記偏光画素ユニットと、緑色光を選択的に受光する前記偏光画素ユニットと、青色光を選択的に受光する前記偏光画素ユニットとがベイヤ型に配列されて成る
前記（７）に記載の信号処理装置。
（９）
前記偏光センサにおいて、前記偏光画素ユニットは、受光する光の偏光角度が４５度ずつ異なる４種の画素が二次元に所定パターンで配列されて成る
前記（１）から（８）の何れかに記載の信号処理装置。
（１０）
それぞれが異なる偏光角度の光を選択的に受光する複数種類の画素が二次元に所定パターンで配列されて成る偏光画素ユニットが二次元に配列されている偏光センサと、
前記偏光センサにより得られる撮像画像を入力し、該撮像画像から同じ偏光角度の光を受光する画素同士の受光値を抽出して偏光角度ごとの画像である偏光角度分離画像を編成する画像編成部と、
前記画像編成部により得られた前記偏光角度分離画像に対する信号処理を行う信号処理部と、を備えた
信号処理装置。
（１１）
コンピュータ装置が読み取り可能なプログラムであって、
それぞれが異なる偏光角度の光を選択的に受光する複数種類の画素が二次元に所定パターンで配列されて成る偏光画素ユニットが二次元に配列されている偏光センサにより得られる撮像画像を入力し、該撮像画像から同じ偏光角度の光を受光する画素同士の受光値を抽出して偏光角度ごとの画像である偏光角度分離画像を編成し、前記偏光角度分離画像に対する信号処理を行う機能、を前記コンピュータ装置に実現させる
プログラム。

１，１Ａ，１Ｂ 信号処理装置
２，２Ａ 偏光センサ
２ａ，２Ａａ 画素アレイ部
３ 画像編成部
４ 前処理部
５ 歪み補正部
６ タイミング調整部
７ 偏光画像生成部
８ メモリ部
９ バス
１０ デモザイク部
１１ 信号処理部
Ｐｘ 画素
ＰＰ 偏光画素ユニット
ＰＣ カラー偏光画素ユニット
５０ 半導体層
５１ 配線層
５２ 偏光フィルタ
５３ マイクロレンズ
５４ カラーフィルタ

Claims (11)

1. それぞれが異なる偏光角度の光を選択的に受光する複数種類の画素が二次元に所定パターンで配列されて成る偏光画素ユニットが二次元に配列されている偏光センサにより得られる撮像画像を入力し、該撮像画像から同じ偏光角度の光を受光する画素同士の受光値を抽出して偏光角度ごとの画像である偏光角度分離画像を編成する画像編成部と、
   前記画像編成部により得られた前記偏光角度分離画像に対する信号処理を行う信号処理部と、を備えた
   信号処理装置。
2. 前記画像編成部は、
   前記偏光角度ごとの前記偏光角度分離画像を１フレーム期間内において時分割で出力する
   請求項１に記載の信号処理装置。
3. 前記信号処理部は、
   前記偏光角度ごとの前記偏光角度分離画像に対し前記画像編成部の出力順に信号処理を行う
   請求項２に記載の信号処理装置。
4. 前記信号処理部は、
   前記撮像画像において異なる位置とされている各偏光角度の画素位置を同一画素位置に補正する処理である画素位置補正処理を行う
   請求項１に記載の信号処理装置。
5. 前記信号処理部は、
   前記偏光角度分離画像に対する信号処理として、前記画素位置補正処理とレンズ歪み補正処理とを共通のフィルタ処理として実行する
   請求項４に記載の信号処理装置。
6. 偏光画像を生成する偏光画像生成部を備え、
   前記信号処理部により信号処理された前記偏光角度分離画像が前記偏光画像生成部に対しフレーム同期して入力されるように制御するタイミング調整部を備えた
   請求項１に記載の信号処理装置。
7. 前記画像編成部は、
   それぞれが異なる色の光を受光する複数種類の前記偏光画素ユニットが二次元に所定パターンで配列されて成るカラー偏光画素ユニットが二次元に配列されている前記偏光センサによる撮像画像を入力し、該撮像画像から同じ偏光角度の光を受光する画素同士の受光値を抽出して前記偏光角度分離画像を編成する
   請求項１に記載の信号処理装置。
8. 前記偏光センサにおいて、前記カラー偏光画素ユニットは、赤色光を選択的に受光する前記偏光画素ユニットと、緑色光を選択的に受光する前記偏光画素ユニットと、青色光を選択的に受光する前記偏光画素ユニットとがベイヤ型に配列されて成る
   請求項７に記載の信号処理装置。
9. 前記偏光センサにおいて、前記偏光画素ユニットは、受光する光の偏光角度が４５度ずつ異なる４種の画素が二次元に所定パターンで配列されて成る
   請求項１に記載の信号処理装置。
10. それぞれが異なる偏光角度の光を選択的に受光する複数種類の画素が二次元に所定パターンで配列されて成る偏光画素ユニットが二次元に配列されている偏光センサと、
    前記偏光センサにより得られる撮像画像を入力し、該撮像画像から同じ偏光角度の光を受光する画素同士の受光値を抽出して偏光角度ごとの画像である偏光角度分離画像を編成する画像編成部と、
    前記画像編成部により得られた前記偏光角度分離画像に対する信号処理を行う信号処理部と、を備えた
    信号処理装置。
11. コンピュータ装置が読み取り可能なプログラムであって、
    それぞれが異なる偏光角度の光を選択的に受光する複数種類の画素が二次元に所定パターンで配列されて成る偏光画素ユニットが二次元に配列されている偏光センサにより得られる撮像画像を入力し、該撮像画像から同じ偏光角度の光を受光する画素同士の受光値を抽出して偏光角度ごとの画像である偏光角度分離画像を編成し、前記偏光角度分離画像に対する信号処理を行う機能、を前記コンピュータ装置に実現させる
    プログラム。

Images