JP2022081926A - 信号処理装置と信号処理方法およびプログラム - Google Patents

Abstract

【課題】容易に解像度の高い距離情報を得る。【解決手段】複屈折撮像部２０は、複屈折物質と偏光撮像部を有しており、偏光撮像部は、複屈折物質を介して入射された被写体光に基づいた偏光画像を生成する。視差画像生成部３０は、複屈折撮像部２０の偏光撮像部で生成された偏光画像を用いて偏光角度の異なる画像の分離を行い、通常光線画像と異常光線画像を視差画像として生成する。距離計測部４０は、視差画像生成部３０で生成された通常光線画像と異常光線画像における被写体の測距位置の視差に基づいて、測距位置までの距離を算出する。偏光画像を用いることでエッジ以外の部分でも測距が可能となり、エッジ画像における対応点のマッチングを行って距離を計測する場合に比べて、容易に解像度の高い距離情報を得られるようになる。【選択図】 図１

Description

この技術は、信号処理装置と信号処理方法およびプログラムに関し、容易に解像度の高い距離情報を得られるようにする。

従来、撮像装置から被写体までの距離（以下、「被写体距離」とする。）を、非接触で計測するための様々な方法が提案されている。例えば、赤外線、超音波、レーザーなどを照射し、その反射波が戻ってくるまでの時間、反射波の角度などをもとに被写体距離を算出する能動的手法や、赤外線などを照射するための装置を必要とすることなく被写体のステレオ画像に基づいて被写体までの距離を算出する受動的手法が用いられている。

また、受動的手法では、非特許文献１や非特許文献２に示すように、複屈折の効果を有する複屈折物質を介して撮像を行うことにより得た通常光線に基づく画像と異常光線に基づく画像を用いてエッジ画像を生成して、エッジ画像における対応点のマッチング結果に基づき被写体距離を算出することが行われている。

Seung-Hwan Baek,et al.(2016)"Birefractive stereo imaging for single-shot depth acquisition"，ACM Trans. Graphics (Proc. SIGGRAPH Asia 2016), vol. 35, no. 6, pp. 194, 2016. Andreas Meuleman,et al,(2020)"Single-shot Monocular RGB-D Imaging using Uneven Double Refraction", Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2020, pp. 2465-2474.

ところで、赤外線などを照射するための装置を必要とすることなく被写体までの距離を算出するため受動的手法を用いた場合、例えばエッジ画像においてエッジが検出されない部分は対応点のマッチング結果を得られないことから距離を算出できないため、解像度の高い距離情報を得ることが困難となる。

そこで、この技術では容易に解像度の高い距離情報を得ることができる信号処理装置と信号処理方法およびプログラムを提供することを目的とする。

この技術の第１の側面は、
複屈折物質を介して入射された被写体光に基づいた偏光画像を生成する偏光撮像部と、
前記偏光撮像部で生成された偏光画像を用いて偏光角度の異なる画像の分離を行い、通常光線画像と異常光線画像を視差画像として生成する視差画像生成部と、
前記視差画像生成部で生成された通常光線画像と異常光線画像における被写体の測距位置の視差に基づいて、前記測距位置までの距離を算出する距離計測部と
を有する信号処理装置にある。

この技術において、偏光撮像部は、複屈折物質を介して入射された被写体光に基づいた偏光画像を生成する。また、偏光撮像部は、撮像面を複屈折物質の光軸に対して垂直とする。また、偏光撮像部は、偏光方向が９０度の位相差を有す偏光画素を用いて構成して、偏光方向を複屈折物質の水平方向と垂直方向と等しくする。視差画像生成部は、偏光撮像部で生成された偏光画像を用いて偏光角度の異なる画像の分離を行い、通常光線画像と異常光線画像を視差画像として生成する。例えば、視差画像生成部は、複屈折物質の水平方向または垂直方向の一方と等しい偏光方向の偏光画素を用いて通常光線画像を生成して、他方と等しい偏光方向の偏光画素を用いて異常光線画像を生成する。

また、偏光撮像部は、所定の偏光方向の偏光画素と無偏光の無偏光画素を用いて構成して、偏光方向を前記複屈折物質の水平方向または垂直方向と等しくする。視差画像生成部は、偏光画素を用いて通常光線画像または異常光線画像の一方を生成して、他方の画像は偏光画素を用いて生成した画像と無偏光画素を用いて生成した画像に基づいて生成する。

また、偏光撮像部は、偏光方向が異なる３方向以上の偏光画素を用いて構成して、視差画像生成部は、偏光方向が異なる３方向以上の偏光画素の画素値から偏光モデルを算出して、算出した偏光モデルに基づいて視差画像を生成する。例えば、視差画像生成部は、通常光線画像と異常光線画像の一方の画像に含まれる他方の画像が最小となる偏光方向を探索して、探索した偏光方向の画像と９０度の位相差を有する画像を視差画像として生成する。視差画像生成部は、偏光モデルに基づいた偏光画像のエッジ成分が最小となる偏光方向を探索する。視差画像生成部は、偏光モデルに基づいた偏光画像であって、偏光方向が９０度の位相差を有する２つの偏光画像における画素毎の差分の合計が最大となる２つの偏光画像の一方の偏光方向を探索してもよく、偏光方向が９０度の位相差を有する２つの偏光画像における画素毎の差分の合計が最小となる２つの偏光画像の一方の偏光方向に対する４５度の位相差を有する偏光方向を探索してもよい。また、視差画像生成部は、偏光モデルに基づいた偏光画像であって、偏光方向が９０度の位相差を有する２つの偏光画像の加算画像と４５度の位相差を有する偏光画像との画素毎の差分の合計が最小となる２つの偏光画像の一方の偏光方向を探索してもよい。

さらに、視差画像生成部は、予め設定された画像平行化関数を用いて、水平方向の視差を有する通常光線画像と異常光線画像を視差画像として生成する。

距離計測部は、視差画像生成部で生成された通常光線画像と異常光線画像における被写体の測距位置の視差に基づいて、測距位置までの距離を算出する。

この技術の第２の側面は、
複屈折物質を介して入射された被写体光に基づいた偏光画像を偏光撮像部で生成することと、
前記偏光撮像部で生成された偏光画像を用いて偏光角度の異なる画像の分離を行い、通常光線画像と異常光線画像を視差画像として視差画像生成部で生成することと、
前記視差画像生成部で生成された通常光線画像と異常光線画像における被写体の測距位置の視差に基づいて、前記測距位置までの距離を距離計測部で計算することと
を含む信号処理方法にある。

この技術の第３の側面は、
偏光画像を用いた測距をコンピュータで実行させるプログラムであって、
複屈折物質を介して入射された被写体光に基づいた偏光画像を用いて偏光角度の異なる画像の分離を行い、通常光線画像と異常光線画像を視差画像として生成する手順と、
前記生成された通常光線画像と異常光線画像における被写体の測距位置の視差に基づいて、前記測距位置までの距離を算出する手順と
を前記コンピュータで実行させるプログラムにある。

なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。

実施の形態の構成を例示した図である。 複屈折撮像部の構成を例示した図である。 偏光撮像部の構成を例示した図である。 複屈折撮像部の動作を説明するための図である。 第１の実施の形態の構成を例示した図である。 視差画像生成部で生成された視差画像を例示した図である。 キャリブレーション動作を示すフローチャートである。 複屈折物質のｚ軸をイメージセンサに対して鉛直方向とするキャリブレーションを説明するための図である。 複屈折物質のｙ軸を偏光フィルタの所定の偏光方向とするキャリブレーションを説明するための図である。 画像平行化関数を用いて画素位置の変換処理を行った場合を例示した図である。 第１の実施の形態の動作を例示したフローチャートである。 対応点マッチングを説明するための図である。 第２の実施の形態の構成を例示した図である。 視差画像生成部で生成された画像を例示した図である。 第２の実施の形態の動作を例示したフローチャートである。 偏光方向と偏光画素の画素値の関係を例示した図である。 第３の実施の形態の構成を例示した図である。 視差画像生成部で生成される偏光画像を例示した図である。 第３の実施の形態におけるキャリブレーション動作を示すフローチャートである。 第３の実施の形態の動作を例示したフローチャートである。 第１の探索方法を示した図である。 第２の探索方法を示した図である。 第３の探索方法を示した図である。 第４の探索方法を示した図である。 偏光撮像部の他の画素構成（その１）を示した図である。 偏光撮像部の他の画素構成（その２）を示した図である。 偏光撮像部の他の画素構成（その３）を示した図である。

以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．実施の形態の構成と動作
２．第１の実施の形態の構成と動作
３．第２の実施の形態の構成と動作
４．第３の実施の形態の構成と動作
５．変形例
６．応用例

＜１．実施の形態の構成と動作＞
本技術は、複屈折物質を介して測距対象の撮像を行い、偏光画像を生成する。また、本技術は、生成した偏光画像を用いて偏光角度の異なる画像の分離を行い、通常光線画像と異常光線画像を視差画像として生成して、通常光線画像と異常光線画像における測距位置の視差に基づいて、測距位置までの距離を算出する。

図１は、実施の形態の構成を例示している。計測システム１０は、複屈折撮像部２０と視差画像生成部３０および距離計測部４０を有している。

図２は、複屈折撮像部の構成を例示している。複屈折撮像部２０は、複屈折物質２１と撮像光学系２２および偏光撮像部２５を有している。

複屈折物質２１は、複屈折の効果を有する物質であり、透過する入射光線は複屈折物質２１によって通常光線と異常光線に分けられる。複屈折物質２１は、例えばα－ＢＢＯ結晶、イットリウム・バナデート結晶、方解石、石英などの物質である。

撮像光学系２２は、フォーカスレンズやズームレンズ等を用いて構成されている。撮像光学系２２は、フォーカスレンズやズームレンズ等を駆動して、測距対象である被写体の光学像を複屈折撮像部２０の撮像面に結像させる。また、撮像光学系２２には、アイリス（絞り）機構やシャッタ機構等が設けられていてもよい。

偏光撮像部２５は、偏光素子とイメージセンサを用いて構成されており、偏光画像を生成する。図３は偏光撮像部の構成を例示している。偏光撮像部２５は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）等のイメージセンサ２５１に、１または複数の偏光方向の偏光画素、あるいは偏光画素と無偏光画素で構成された偏光フィルタ２５２を配置して偏光画像を取得する。偏光フィルタ２５２は、被写体光から直線偏光光を取り出せればよく、例えばワイヤーグリッドやフォトニック液晶等を用いる。なお、偏光フィルタ２５２の矢印は、例えば１画素毎または複数画素単位毎の偏光方向を示しており、図３では偏光方向が４方向である場合を例示している。

このように構成された複屈折撮像部２０は、通常光線に基づく第１偏光画像と異常光線に基づく第２偏光画像を視差画像として生成する。

図４は、複屈折撮像部の動作を説明するための図である。なお、図４は、被写体ＯＢにおける測距位置Ｐまでの距離を計測する場合を例示している。

被写体ＯＢを示す被写体光が複屈折物質２１に入射すると、被写体光は通常光線Ｒｘと異常光線Ｒｙに分けられて偏光撮像部２５へ出射される。すなわち、偏光撮像部２５には、通常光線Ｒｘに基づく画像と異常光線Ｒｙに基づく画像が混合された画像Ｇｃを示す光線が入射される。

偏光撮像部２５のイメージセンサは、偏光フィルタ２５２を介して入射された光線の光電変換を行い、偏光画像を生成する。例えば図４の場合、偏光画像は、偏光フィルタ２５２で通常光線Ｒｘが透過されている偏光画素を用いて生成された通常光線画像Ｇｏと、偏光フィルタ２５２で異常光線Ｒｙが透過されている偏光画素を用いて生成された異常光線画像Ｇｅとを含む。なお、通常光線画像Ｇｏにおける測距位置は測距位置Ｐｏ、異常光線画像Ｇｅにおける測距位置は測距位置Ｐｅである。

視差画像生成部３０は、複屈折撮像部２０で生成された混合画像に基づき、通常光線画像Ｇｏと異常光線画像Ｇｅを分離して視差画像を生成する。また、視差画像生成部３０は、偏光方向ごとの偏光画像や、偏光フィルタが設けられていない無偏光画素（図示せず）を用いて生成された無偏光画像に対して偏光フィルタに応じた利得調整を行い平均画像を生成して、偏光方向ごとの偏光画像に基づき、あるいは偏光画像と平均画像に基づき視差画像を生成してもよい。なお、平均画像は、偏光方向を変化させたときの輝度変化の平均を示す画像である。また、視差画像生成部３０は、偏光方向毎の偏光画像や平均画像の画像サイズが異なる場合、補間処理等によって偏光方向毎の偏光画像や平均画像の画像サイズ（水平方向および垂直方向の画素数）を等しくする。

距離計測部４０は、視差画像生成部３０で生成された視差画像を用いて対応点のマッチング処理を行い、測距位置Ｐの視差を算出する。さらに、距離計測部４０は、算出した視差に基づき被写体ＯＢにおける測距位置Ｐまでの距離を算出する。

＜２．第１の実施の形態の構成と動作＞
次に、第１の実施の形態の構成と動作について説明する。第１の実施の形態では、偏光撮像部２５が少なくとも直交する２つの偏光方向の偏光画素を有している。図５は、第１の実施の形態の構成を例示しており、偏光撮像部２５は、偏光方向が０度の偏光画素と９０度の偏光画素を有している。なお、偏光方向が０度の偏光画素と９０度の偏光画素を除く他の画素は偏光方向が異なる偏光画素であってもよく無偏光画素であってもよい。

視差画像生成部３０は、複屈折撮像部２０で取得された偏光画像から、通常光線に基づく通常光線画像と異常光線に基づく異常光線画像を視差画像として生成する。図６は、視差画像生成部で生成された視差画像を例示しており、図６の（ａ）は、通常光線の光学像を示す通常光線画像Ｇｏ、図６の（ｂ）は、異常光線の光学像を示す異常光線画像Ｇｅを示している。なお、通常光線画像Ｇｏにおける測距位置は測距位置Ｐｏ、異常光線画像Ｇｅにおける測距位置は測距位置Ｐｅである。また、通常光線画像Ｇｏの画素値を「Ｉ_０」、異常光線画像Ｇｅの画素値を「Ｉ_ｅ」とする。

距離計測部４０は、視差画像生成部３０で生成された通常光線画像Ｇｏと異常光線画像Ｇｅを用いて対応点のマッチング処理を行い、測距位置Ｐの視差を算出する。さらに、距離計測部４０は、算出した視差に基づき被写体ＯＢにおける測距位置Ｐまでの距離Ｚ（Ｐ）を算出する。

次に、第１の実施の形態の動作を説明する。測距位置Ｐｏと測距位置Ｐｅとの視差を生じる通常光線画像Ｇｏの取得位置と異常光線画像Ｇｅの取得位置と間隔であるベースライン長Ｂは、予め測定されている。また、複屈折撮像部２０において、被写体ＯＢの測距位置Ｐに焦点が会っているときを焦点距離ｆとする。

ここで、偏光方向が０度の偏光画素では、被写体ＯＢにおける測距位置Ｐから複屈折物質を透過した通常光線に基づく画素値が得られて、偏光方向が９０度の偏光画素では、被写体ＯＢにおける位置Ｐから複屈折物質を透過した異常光線に基づく画素値が得られるようにキャリブレーションが行われている。

視差画像生成部３０は、偏光方向が０度である偏光画素を用いて通常光線の光学像を示す通常光線画像Ｇｏと、偏光方向が９０度である偏光画素を用いて異常光線の光学像を示す異常光線画像Ｇｅを生成する。

距離計測部４０は、視差画像生成部３０で生成された通常光線画像Ｇｏと異常光線画像Ｇｅを用いて測距位置Ｐのマッチング処理を行い、通常光線画像Ｇｏにおける測距位置Ｐｏと異常光線画像Ｇｅにおける測距位置Ｐｅの差である視差||ＰｏＰｅ||を算出する。さらに、距離計測部４０は、式（１）に基づき、算出した視差||ＰｏＰｅ||とベースライン長Ｂおよび焦点距離ｆに基づき被写体ＯＢにおける測距位置Ｐまでの距離Ｚ(Ｐ)を算出する。

計測システム１０は、複屈折撮像部２０で生成された混合画像から、通常光線に基づいた通常光線画像と異常光線に基づいた異常光線画像を分離できるようにキャリブレーションを行う。図７は、キャリブレーション動作を示すフローチャートである。

ステップＳＴ１で計測システムは焦点距離を算出する。計測システム１０は、従来のキャリブレーション手法と同様に、内部パラメータを用いてキャリブレーションを行い、焦点距離ｆを算出してステップＳＴ２に進む。

ステップＳＴ２で計測システムは、複屈折物質とイメージセンサとの位置を調整する。計測システム１０は、複屈折物質のｚ軸（光軸）が偏光撮像部のイメージセンサの撮像面に対して垂直方向となるように、複屈折物質とイメージセンサとの位置を調整する。

図８は、複屈折物質のｚ軸をイメージセンサの撮像面に対して垂直方向とするキャリブレーションを説明するための図である。複屈折物質のｚ軸をイメージセンサに対して垂直方向とするキャリブレーションは、例えば非特許文献１に記載されているキャリブレーション手法を用いる。なお、図８では撮像光学系２２を省略している。

このキャリブレーション手法では、図８の（ａ）に示すように、複屈折物質２１を介することなく偏光撮像部２５でチェッカーボード５０の撮像を行い、図８の（ｂ）に示す基準画像Ｇｄを取得する。また、図８の（ｃ）に示すように偏光板５１と複屈折物質２１を介して偏光撮像部２５でチェッカーボード５０の撮像を行う。ここで、偏光板５１は、複屈折物質２１のｙ軸と同じ偏光方向の直線偏光光線を複屈折物質２１に入射して、偏光撮像部２５で通常光線のみを観測させて、図８の（ｄ）に示す通常光線画像Ｇｏを取得させる。なお、図８の（ｂ）（ｄ）に示す丸印は、チェッカーボード５０におけるキーポイントを示している。

図８の（ｅ）は、基準画像Ｇｄにおけるキーポイント群Ｐｄ^ｉ（ｉ＝１，2，3，・・・Ｌ、なお図８ではＬ＝３）と、通常光線画像Ｇｏにおけるキーポイント群Ｐｏ^ｉ（ｉ＝１，2，3，・・・Ｌ、なお図８ではＬ＝３）を示している。

上述のキャリブレーション手法では、チェッカーボード上で等しい位置のキーポイントペアを結ぶ直線Ｌｉをキーポイントペア毎に算出する。例えば、キーポイントＰｄ^１とキーポイントＰｏ^１を結ぶ直線Ｌ１、キーポイントＰｄ^２とキーポイントＰｏ^２を結ぶ直線Ｌ２、キーポイントＰｄ^３とキーポイントＰｏ^３を結ぶ直線Ｌ３を算出する。さらに複数の直線Ｌｉ（ｉ＝１，2，3，・・・Ｌ、なお図８ではＬ＝３）の交点Ｅを算出する。なお、式（２）は、キーポイント群Ｐｄ^ｉとキーポイント群Ｐｏ^ｉの対応するキーポイント結ぶ直線Ｌｉを示す方程式である。

さらに、このキャリブレーション手法では、複屈折物質２１のｙ軸とｘ軸を回転軸として回転させて交点Ｅの位置調整を行い、交点Ｅを画像中心Ｃの位置とする。

計測システムは、交点Ｅが画像中心Ｃの位置となるように、複屈折物質２１を調整することで、複屈折物質のｚ軸をイメージセンサの撮像面に対して垂直方向としてステップＳＴ３に進む。

ステップＳＴ３で計測システムは、複屈折物質と偏光撮像部における偏光フィルタとの位置を調整する。計測システム１０は、偏光方向が０度である偏光画素を用いて生成された偏光画像は通常光線画像、偏光方向が９０度である偏光画素を用いて生成された偏光画像は異常光線画像となるように、複屈折物質のｙ軸と偏光フィルタの０度方向を一致させる。なお、ステップＳＴ３では、９０度偏光画像が通常光線画像、０度偏光画像が異常光線画像を示すように、複屈折物質のｙ軸と偏光フィルタの９０度方向を一致させてもよい。

図９は、複屈折物質のｙ軸を偏光フィルタの所定の偏光方向（例えば０度または９０度）とするキャリブレーションを説明するための図である。複屈折物質のｙ軸を偏光フィルタの所定の偏光方向とするキャリブレーションは、例えば非特許文献１に記載されているキャリブレーション手法を用いる。なお、図９では撮像光学系２２を省略している。

このキャリブレーション手法では、図９の（ａ）に示すように、複屈折物質２１を介することなく偏光撮像部２５でチェッカーボード５０の撮像を行い、図９の（ｂ）に示す基準画像Ｇｄを取得する。また、図９（ｃ）に示すように偏光板５１と複屈折物質２１を介して偏光撮像部２５でチェッカーボード５０の撮像を行う。ここで、偏光板５１は、複屈折物質２１のｙ軸と直交する偏光方向の直線偏光光線を複屈折物質２１に入射して、偏光撮像部２５で異常光線のみを観測させて、図９の（ｄ）に示す異常光線画像Ｇｅを取得させる。なお、図９の（ｂ）（ｄ）に示す丸印は、チェッカーボード５０におけるキーポイントの位置を示している。

図９の（ｅ）は、基準画像Ｇｄにおけるキーポイント群Ｐｄ^ｉ（ｉ＝１，2，3，・・・Ｌ、なお図９ではＬ＝３）と、異常光線画像Ｇｅにおけるキーポイント群Ｐｅ^ｉ（ｉ＝１，2，3，・・・Ｌ、なお図９ではＬ＝３）を示している。

上述のキャリブレーション手法では、チェッカーボード上で等しい位置のキーポイントペアを用いて、キーポイント群Ｐｄ^ｉをキーポイントを中心としてキーポイント群Ｐｅ^ｉの対応するキーポイントを通る円Ｃｒｉをキーポイントペア毎に算出する。例えば、キーポイントＰｄ^１を中心としてキーポイントＰｅ^１を通る円Ｃｒ１、キーポイントＰｄ^２を中心としてキーポイントＰｏ^２を通る円Ｃｒ２、キーポイントＰｄ^３を中心としてキーポイントＰｏ^３を通る円Ｃｒを算出する。さらに複数の円Ｃｒｉ（ｉ＝１，2，3，・・・Ｌ、なお図９ではＬ＝３）の交点Ａを算出する。

さらに、このキャリブレーション手法では、複屈折物質２１のｚ軸を回転軸として回転させて交点Ａの位置を調整して、交点Ａと画像中心Ｃを結ぶベクトルが画像の垂直方向（例えば上向きの垂直方向）となる位置とする。また、このキャリブレーション手法では、交点Ａと画像中心Ｃを結ぶベクトルが画像の垂直方向となるように、複屈折物質２１を調整することで、複屈折物質のｙ軸を偏光フィルタの０度偏光方向とする。

計測システムは、複屈折物質のｙ軸を偏光フィルタの所定の偏光方向とするキャリブレーションを行いステップＳＴ４に進む。

ステップＳＴ４で計測システムは画像平行化関数を算出する。計測システム１０は、複屈折撮像部２０で生成される偏光画像を右視点と左視点の画像を混合したステレオ混合画像とする画像平行化関数Ｔを算出する。画像平行化関数Ｔは、例えば非特許文献２に記載されている手法を用いて算出する。

この手法は、予め設定されているベースライン長Ｂを用いて画像平行化関数Ｔの算出を行う。画像平行化関数Ｔは、式（３）に示すように、平行化処理前の画像Ｉの座標ｔ(u,v)を右視点と左視点の画像を混合した画像Ｉｒの座標(u,v)を対応させる関数である。

画像平行化関数Ｔは、例えば再帰法を用いて算出できる。具体的には式（４）に示すように、左端の座標（０，ｖ）から右端の（ｕ，ｖ）まで、座標ｔ（ｕ，ｖ）を算出する。ここで、画素（ｕ，ｖ）のベースラインｂ（ｕ，ｖ）を式（５）に基づいて算出する。なお、式（５）において焦点距離ｆとチェッカーボードまでの距離Ｚcbは画像平行化関数の算出前に予め設定されている。また、||ＰｏＰｅ||は、チェッカーボードのキーポイントで定義しておき、キーポイントでない画素は近傍に位置するキーポイントでの値を用いた補間によって算出する。

図１０は、画像平行化関数を用いて画素位置の変換処理を行った場合を例示している。図１０の（ａ）は変換前の画像を例示しており、通常光線画像のキーポイントＰｏと異常光線画像において対応するキーポイントＰｅは平行でない。図１０の（ｂ）は、変換後の画像を示しており、画像平行化関数Ｔを用いた画素位置の変換処理を行うことで、通常光線画像のキーポイントＰｏと異常光線画像において対応するキーポイントＰｅは平行となる。すなわち、変換後の画像は、通常光線画像と異常光線画像が右視点と左視点の画像であり、キーポイントは距離に応じた視差を有するステレオ混合画像となる。

計測システム１０は、図７のキャリブレーションを行ったのち、測距位置の測距動作を行う。

図１１は、第１の実施の形態の動作を例示したフローチャートである。ステップＳＴ１１で計測システムは撮像画像を取得する。計測システム１０の複屈折撮像部２０は、測距対象である被写体ＯＢの測距位置Ｐが画角内に含まれるように撮像を行い、偏光画像を取得してステップＳＴ１２に進む。

ステップＳＴ１２で計測システムは画像平行化処理を行う。計測システム１０の視差画像生成部３０は、キャリブレーションによって算出されている画像平行化関数Ｔを用いて複屈折撮像部２０で取得された偏光画像の画像平行化処理を行う。視差画像生成部３０は、画像平行化処理を行うことで、偏光画像を、通常光線画像と異常光線画像が右視点と左視点の画像であり、測距位置は距離に応じた視差を有するステレオ混合画像に変換してステップＳＴ１３に進む。

ステップＳＴ１３で計測システムは０度偏光画像を取得する。計測システム１０の視差画像生成部３０は、ステップＳＴ１２で生成されたステレオ混合画像から、一方の視点の画像として、偏光方向が０度の偏光画素を用いて生成された０度偏光画像（通常光線画像）を取得してステップＳＴ１４に進む。

ステップＳＴ１４で計測システムは９０度偏光画像を取得する。計測システム１０の視差画像生成部３０は、ステップＳＴ１２で生成されたステレオ混合画像から、他方の視点の画像として、偏光方向が９０度の偏光画素を用いて生成された９０度偏光画像(異常光線画像)を取得してステップＳＴ１５に進む。

ステップＳＴ１５で計測システムは対応点マッチングを行う。計測システム１０の距離計測部４０は、ステップＳＴ１３で取得した一方の視点の画像である０度偏光画像（通常光線画像）と、ステップＳＴ１４で取得した他方の視点の画像である９０度偏光画像（異常光線画像）とを用いて、対応点マッチングを行い、通常光線画像における測距位置Ｐｏと異常光線画像における測距位置Ｐｅとの位置差||ＰｏＰｅ||を算出してステップＳＴ１６に進む。

図１２は、対応点マッチングを説明するための図である。図１２の（ａ）は対応点マッチングに用いる第１画像、図１２の（ｂ）は対応点マッチングに用いる第２画像を示している。なお、以下の説明では第１画像を通常光線画像、第２画像を異常光線画像とするが、第１画像を異常光線画像、第２画像を通常光線画像としてもよい。

図１２の（ｃ）は、テンプレート画像を示している。テンプレート画像は、Ｍ×Ｎ画素のサイズで中心を第１画像（通常光線画像Ｇｏ）における測距位置Ｐｏとする例えば領域ＡＲｏの画像である。また、画像平行化関数Ｔを用いて変換処理を行うと、通常光線画像のキーポイントＰｏと異常光線画像において対応するキーポイントＰｅは、測距位置までの距離に応じて水平方向に離れた位置となる。したがって、サーチ範囲ＡＲｓは、Ｗ×Ｍ画素のサイズで、第２画像（異常光線画像Ｇｅ）におけるテンプレート画像と垂直方向が等しい位置とする。すなわち、測距位置Ｐｏが座標（ｘ_Ｐｏ，ｙ_Ｐｏ）である場合、図１２の（ｄ）に示すサーチ範囲ＡＲｓの基準位置の座標（ｘ_{ｏｆｆｓｅｔ}，ｙ_{ｏｆｆｓｅｔ}）は、式（６）に示す位置とする。

距離計測部４０は、テンプレート画像と等しい領域サイズである参照画像の中心位置（ｘ_ｓ，ｙ_ｓ）を式（７）（８）で示す範囲で移動して、テンプレート画像とサーチ範囲ＡＲｓの参照画像との誤差が最も小さくなる中心位置（ｘ_ｓｔ，ｙ_ｓｔ）を算出する。距離計測部４０は、誤差が最も小さくなるときの測距位置Ｐｏと対応する位置を測距位置Ｐｅとする。この場合、測距位置Ｐｅの座標（ｘ_Ｐｅ，ｙ_Ｐｅ）は、式（９）に示す座標となる。

また、距離計測部４０は、テンプレート画像とサーチ画像との誤差として例えばＳＡＤを用いた場合、誤差が最小となる座標（ｘ_ｓｔ，ｙ_ｓｔ）は、式（１０）に示す評価値Ｈが得られるときの座標（ｘ_ｓ，ｙ_ｓ）となる。なお、ＳＡＤは式（１１）に示すように定義されている。

距離計測部４０は、このような応点マッチングを行い、式（１２）に基づき視差||ＰｏＰｅ||を算出する。

ステップＳＴ１６で計測システムは距離を算出する。計測システムの距離計測部４０は、予め設定されている焦点距離ｆとベースライン長ＢおよびステップＳＴ１５で算出した視差||ＰｏＰｅ||を用いて式（１）の演算を行い、測距位置Ｐまでの距離Ｚ（ｐ）を算出する。

このように、第１の実施の形態によれば、通常光線に基づく光学像を示す偏光画像と異常光線に基づく光学像を示す偏光画像を生成して、２つの偏光画像における測距位置の視差量に基づき測距位置までの距離を計測できる。したがって、エッジが検出されない部分でも対応点マッチングが可能となり、エッジ画像を用いる場合に比べて解像度の高い距離情報を得られるようになる。

＜３．第２の実施の形態の構成と動作＞
次に、第２の実施の形態について説明する。上述の第１の実施の形態では、偏光方向が直交する偏光画素を用いて偏光撮像部２５が構成されている場合について説明したが、第２の実施の形態では、１つの偏光方向の偏光画素と無偏光画素を用いて偏光撮像部２５が構成されている場合について説明する。

図１３は、第２の実施の形態の構成を例示しており、偏光撮像部２５は、偏光方向が０度の偏光画素と無偏光画素を有している。また、第２の実施の形態では、第１の実施の形態と同様に、ベースライン長Ｂと焦点距離ｆは予め測定されている。なお、偏光方向が０度では、例えば被写体ＯＢにおける測距位置Ｐからの複屈折物質を透過した通常光線に基づく画素値が得られるようにキャリブレーションが行われている。

視差画像生成部３０は、複屈折撮像部２０で取得された偏光画像から、通常光線に基づく偏光画像と、無偏光画素を用いて平均画像を生成する。図１４は、視差画像生成部で生成された画像を例示しており、図１４の（ａ）は、通常光線の光学像を示す通常光線画像Ｇｏを示している。また、図１４の（ｂ）は、無偏光画素を用いて生成された平均画像Ｇmeanを示しており、平均画像の画素値は通常光線画像と異常光線画像の平均画素値を示している。視差画像生成部３０は、後述するように通常光線画像Ｇｏと平均画像Ｇmeanから図１４の（ｃ）に示す異常光線画像Ｇｅを生成する。なお、通常光線画像Ｇｏにおける測距位置は測距位置Ｐｏ、異常光線画像Ｇｅにおける測距位置は測距位置Ｐｅである。

距離計測部４０は、視差画像生成部３０で生成された通常光線画像Ｇｏと異常光線画像Ｇｅを用いて対応点のマッチング処理を行い、測距位置Ｐの視差を算出する。さらに、距離計測部４０は、算出した視差に基づき被写体ＯＢにおける測距位置Ｐまでの距離Ｚ（Ｐ）を算出する。

図１５は、第２の実施の形態の動作を例示したフローチャートである。ステップＳＴ２１で計測システムは撮像画像を取得する。計測システム１０の複屈折撮像部２０は、測距対象である被写体ＯＢの測距位置Ｐが画角内に含まれるように撮像を行い、偏光画像を取得してステップＳＴ２２に進む。

ステップＳＴ２２で計測システムは画像平行化処理を行う。計測システム１０の視差画像生成部３０は、キャリブレーションによって算出されている画像平行化関数Ｔを用いて複屈折撮像部２０で取得された偏光画像の画像平行化処理を行い、通常光線画像と異常光線画像が右視点と左視点の画像であり、測距位置は距離に応じた視差を有するステレオ混合画像に変換してステップＳＴ２３に進む。

ステップＳＴ２３で計測システムは０度偏光画像を取得する。計測システム１０の視差画像生成部３０は、ステップＳＴ２２で生成されたステレオ混合画像から、一方の視点の画像として、偏光方向が０度の偏光画素を用いて生成された０度平均画像（通常光線画像Ｇｏ）を取得してステップＳＴ２４に進む。

ステップＳＴ２４で計測システムは平均画像を取得する。計測システム１０の視差画像生成部３０は、ステップＳＴ２２で生成されたステレオ混合画像における無偏光画素を用いて生成された平均画像Ｇmeanを取得してステップＳＴ２５に進む。

ステップＳＴ２５で計測システムは９０度偏光画像を取得する。計測システム１０の視差画像生成部３０は、ステップＳＴ２３で取得した通常光線画像Ｇｏの画素値Ｉ_０とステップＳＴ２４で取得した平均画像Ｇmeanの画素値Ｉ_ｍｅａｎを用いて式（１３）の演算を行い、９０度偏光画像すなわち異常光線画像Ｇｅの画素値Ｉ_ｅを算出してステップＳＴ２６に進む。

ステップＳＴ２６で計測システムは対応点マッチングを行う。計測システム１０の距離計測部４０は、ステップＳＴ２３で取得した一方の視点の画像である０度偏光画像（通常光線画像）と、ステップＳＴ２５で取得した他方の視点の画像である９０度偏光画像（異常光線画像）とを用いて、対応点マッチングを行い、通常光線画像における測距位置Ｐｏと異常光線画像における測距位置Ｐｅとの位置差||ＰｏＰｅ||を算出してステップＳＴ２７に進む。

ステップＳＴ２７で計測システムは距離を算出する。計測システムの距離計測部４０は、予め設定されている焦点距離ｆとベースライン長ＢおよびステップＳＴ２６で算出した視差||ＰｏＰｅ||を用いて式（１）の演算を行い、測距位置Ｐまでの距離Ｚ（ｐ）を算出する。

なお、計測システムは、ステップＳＴ２３で９０度偏光画像を取得して、ステップＳＴ２５で０度偏光画像を算出してもよく、０度偏光画像は異常光線画像、９０度偏光画像は通常光線画像であってもよい。

このように、第２の実施の形態によれば、第１の実施の形態と同様に、エッジ画像を用いる場合に比べて解像度の高い距離情報を得られるようになる。また、第１の実施の形態に比べて偏光画素の偏光方向を少なくできる。

＜４．第３の実施の形態の構成と動作＞
次に、第３の実施の形態について説明する。上述の第１の実施の形態や第２の実施の形態では、偏光方向が直交する偏光画素を用いて偏光撮像部２５が構成されている場合や１つの偏光方向の偏光画素と無偏光画素を用いて偏光撮像部２５が構成されている場合について説明したが、第３の実施の形態では、３種類以上の偏光画素を用いて偏光撮像部２５が構成されている場合について説明する。

偏光板を観測方向に対して垂直に設置して、部分偏光した光を偏光板を通して観測する場合、偏光板を回転させるごとに透過光の輝度が変化する。ここで、偏光板を回転させたとき，最も高い輝度をImax，最も低い輝度をIminとして、２次元座標系（ｘ軸とｙ軸）を偏光板の平面上に定義したとき，偏光板を回転させたときの角度である偏光角υは，偏光板の偏光軸とｘ軸のなす角として定義され、ｘ軸からｙ軸に向かう角度として表現される。なお、偏光軸は、偏光板において光が透過して偏光する向きを表す軸である。偏光板を回転させると偏光方向は１８０°の周期性を有しており、偏光角は０°から１８０°までの値をとる。ここで、最大輝度Imaxが観測されたときの偏光角θpolを位相角φと定義すると、偏光板を回転させたときに観測される輝度Ｉは、式（１４）に示す偏光モデルで表すことができることが知られている。

また、式（１４）は、式（１５）に変換することができ、偏光方向が０度である偏光画素の観測値（輝度）を「Ｉ0」、偏光方向が４５度である偏光画素の観測値（輝度）を「Ｉ1」、偏光方向が９０度である偏光画素の観測値（輝度）を「Ｉ2」、偏光方向が１３５度であるときの観測値（輝度）を「Ｉ3」とした場合、式（１５）における係数ａは、式（１６）に示す値となる。また、式（１５）における係数ｂ，ｃは、式（１７），（１８）に示す値となる。なお、式（１８）は上述の平均画像を示している。

図１６は、偏光方向と偏光画素の画素値の関係を例示しており、図１６の（ａ）は、偏光撮像部２５の画素構成を例示しており、偏光方向が０度と４５度と９０度と１３５度の偏光画素で構成されている。また、図１６の（ｂ）は、２×２画素の偏光画素で構成された偏光画素ブロックにおける画素値（輝度）を例示している。

第３の実施の形態は、３以上の偏光画素の画素値に基づく偏光モデルから、視差画像として通常光線画像と異常光線画像を生成する場合について説明する。

図１７は、第３の実施の形態の構成を例示しており、偏光撮像部２５は、偏光方向が０度の偏光画素、４５度の偏光画素、９０度の偏光画素および１３５度の偏光画素を有している。また、第３の実施の形態では、第１の実施の形態や第２の実施の形態と同様に、ベースライン長Ｂと焦点距離ｆは予め測定されている。

視差画像生成部３０は、偏光方向毎の偏光画像の画素値を用いて画素毎に式（１４）または式（１５）に示す偏光モデルを算出して、最も鮮明である視差画像を取得する。図１８は、視差画像生成部で生成される画像を例示している。図１８の（ａ）は、偏光方向が０度である偏光画素を用いて生成された０度偏光画像Ｇ_０、図１８の（ｂ）は、偏光方向が４５度である偏光画素を用いて生成された４５度偏光画像Ｇ_４５、図１８の（ｃ）は、偏光方向が９０度である偏光画素を用いて生成された９０度偏光画像Ｇ_９０、図１８の（ｄ）は、偏光方向が１３５度である偏光画素を用いて生成された１３５度偏光画像Ｇ_１３５を示している。なお、０度偏光画像Ｇ_０は画素値Ｉ_０、４５度偏光画像Ｇ_４５は画素値Ｉ_４５、９０度偏光画像Ｇ_９０は画素値Ｉ_９０、１３５度偏光画像Ｇ_１３５は画素値Ｉ_１３５とする。

視差画像生成部３０は、図１８の（ｅ）に示す最も鮮明である偏光方向の偏光画像Ｇ_θｓと、この偏光画像と偏光方向が９０度の位相差を有する図１８の（ｆ）に示す偏光画像Ｇ_{θｓ＋９０}を、視差画像として生成する。なお、偏光画像Ｇ_θｓは画素値Ｉ_θｓ、偏光画像Ｇ_{θｓ＋９０}は画素値Ｉ_{θｓ＋９０}とする。

距離計測部４０は、視差画像生成部３０で生成された視差画像を用いて対応点のマッチング処理を行い、測距位置Ｐの視差を算出する。さらに、距離計測部４０は、算出した視差に基づき被写体ＯＢにおける測距位置Ｐまでの距離Ｚ（Ｐ）を算出する。

次に、第３の実施の形態の動作を説明する。ベースライン長Ｂと焦点距離ｆは予め測定されている。また、偏光方向が異なる３種類以上の偏光画素を用いることで、後述するように所望の偏光方向の画素値を推定できることから、キャリブレーションでは偏光フィルタと複屈折物質のｙ軸方向を一致させる処理を行わなくともよい。

図１９は、第３の実施の形態におけるキャリブレーション動作を示すフローチャートである。

ステップＳＴ３１で計測システムは焦点距離を算出する。計測システム１０は、従来のキャリブレーション手法や図７のステップＳＴ１と同様な処理を行い、内部パラメータを用いてキャリブレーションを行い、焦点距離ｆを算出してステップＳＴ３２に進む。

ステップＳＴ３２で計測システムは、複屈折物質とイメージセンサとの位置を調整する。計測システム１０は、複屈折物質のｚ軸（光軸）が偏光撮像部のイメージセンサの撮像面に対して垂直方向となるように、複屈折物質とイメージセンサとの位置を調整してステップＳＴ３３に進む。

ステップＳＴ３３で計測システムは画像平行化関数を算出する。計測システム１０は、複屈折撮像部２０で生成される偏光画像を右視点と左視点の画像を混合したステレオ混合画像とする画像平行化関数Ｔを算出する。画像平行化関数Ｔは、例えば非特許文献２に記載されている手法を用いて算出する。

計測システム１０は、図１９のキャリブレーションを行ったのち、測距対象の測距動作を行う。

図２０は、第３の実施の形態の動作を例示したフローチャートである。ステップＳＴ４１で計測システムは撮像画像を取得する。計測システム１０の複屈折撮像部２０は、測距対象である被写体ＯＢの測距位置Ｐが画角内となるように撮像を行い、偏光画像を取得してステップＳＴ４２に進む。

ステップＳＴ４２で計測システムは画像平行化処理を行う。計測システム１０の視差画像生成部３０は、キャリブレーションによって算出されている画像平行化関数Ｔを用いて複屈折撮像部２０で取得された偏光画像の画像平行化処理を行い、通常光線に基づく画像と異常光線に基づく画像が距離に応じた視差を有するステレオ混合画像を生成してステップＳＴ４３に進む。

ステップＳＴ４３で計測システムは３種類以上の偏光画像を取得する。計測システム１０の視差画像生成部３０は、ステップＳＴ４２で生成されたステレオ混合画像から、３種類以上の偏光方向毎の偏光画像を取得する。例えば、偏光撮像部２５は、偏光方向が０度の偏光画素、４５度の偏光画素、９０度の偏光画素および１３５度の偏光画素を有している場合、視差画像生成部３０は、偏光方向が０度の偏光画素を用いて生成された偏光画像を取得する。また、視差画像生成部３０は、偏光方向が４５度の偏光画素を用いて生成された偏光画像、偏光方向が９０度の偏光画素を用いて生成された偏光画像、偏光方向が１３５度の偏光画素を用いて生成された偏光画像をそれぞれ取得してステップＳＴ４４に進む。

ステップＳＴ４４で計測システムはコサインフィッティングを行う。計測システム１０の視差画像生成部３０は、偏光方向毎の偏光画像の画素値を用いて偏光画素ブロック毎に偏光モデルを算出する。また、視差画像生成部３０は、画素毎に偏光方向毎の偏光画像の画素値が補間処理によって得られている場合、画素毎に偏光モデルを算出してステップＳＴ４５に進む。

ステップＳＴ４５で計測システムは偏光画像が最も鮮明となる偏光方向を探索する。偏光画像が最も鮮明となる偏光方向を探索する第１の探索方法において、計測システム１０の視差画像生成部３０は、例えばソーベル法やラプラシアン法あるいはキャニー法等のエッジ抽出用の関数ｅを用いて式（１９）の演算を行う。視差画像生成部３０は、エッジ成分が最小であることを示す評価値Ｈが得られるときの角度βを偏光画像が最も鮮明となる偏光方向θｓ、すなわち通常光線画像に対して異常光線画像の混合が最も少ないあるいは異常光線画像に対して通常光線画像の混合が最も少ない偏光画像が得られる偏光方向θｓとする。なお、式（１９）において、ｅ（Ｉ_β）_ｉは、エッジ画像におけるｉ番目の画素の画素値（輝度）である。また、「１～Ｋ」は偏光方向の探索に用いる所定の画像範囲を示しており、所定の画像範囲は全画面領域であってもよく測距対象の被写体を含むように予め設定された画像範囲であってもよい。

図２１は、第１の探索方法を例示した図である。図２１の（ａ）は偏光方向と輝度の関係を例示している。図２１の（ｂ）は、偏光画像が最も鮮明となる偏光方向θｓの偏光画像Ｇ_θｓとエッジ画像ＥＧ_θｓを例示しており、偏光画像Ｇ_θｓは、例えば通常光線画像Ｇｏに相当している。

図２１の（ｃ）は、偏光方向θｓよりも角度が大きい場合を示している。この場合、偏光方向θｓよりも角度が大きいことから通常光線画像に異常光線画像が含まれた画像となり、エッジ成分は図２１の（ｂ）に示すエッジ画像ＥＧ_θｓよりも増加する。図２１の（ｄ）は、偏光方向θｓよりも９０度大きい場合を示している。この場合、偏光方向θｓよりも９０度が大きいことから偏光画像は異常光線画像となり、エッジ成分は図２１の（ｂ）に比べて減少する。図２１の（ｄ）は、偏光方向θｓ＋９０よりも角度が大きい場合を示している。この場合、偏光方向θｓ＋９０よりも角度が大きいことから異常光線画像に通常光線画像が含まれた画像となり、エッジ成分は図２１の（ｃ）に比べて増加する。

このように、視差画像生成部３０は、エッジ成分が最小となる偏光方向を偏光画像が最も鮮明となる偏光方向θｓとする。

また、視差画像生成部３０は、他の探索方法を用いて最も鮮明である偏光方向の偏光画像を探索してもよい。第２の探索方法では、偏光方向が９０度の位相差を有する偏光画像を用いて探索を行う。第２の探索方法において、視差画像生成部３０は、偏光方向βの偏光画像の画素値Ｉ_βと偏光方向（β－９０）の偏光画像の画素値Ｉ_β－９０を用いて差分値|Ｉ_β－Ｉ_β－９０)|を算出する。偏光方向が９０度の位相差を有する２つの偏光画像では、通常光線画像（異常光線画像）に異常光線画像（通常光線画像）が含まれていない場合、差分値が最大となり、通常光線画像（異常光線画像）に異常光線画像（通常光線画像）が含まれるに伴い差分値が減少する。したがって、視差画像生成部３０は、式（２０）に示す演算を行い、偏光方向が９０度の位相差を有する偏光画像の所定の画像範囲における画素毎の差分の合計を示す評価値Ｈが最大となる角度βを、偏光画像が最も鮮明となる偏光方向θｓとする。

図２２は、第２の探索方法を例示した図である。図２２の（ａ）は偏光方向と輝度の関係を例示している。図２２の（ｂ）は、偏光方向（β－９０）の偏光画像を例示しており、図２２の（ｄ）は、偏光方向βの偏光画像を例示している。なお、偏光方向βの偏光画像は、例えば通常光線画像Ｇｏに相当している。

図２２の（ｃ）は、偏光方向βよりも角度が小さい場合を示している。この場合、偏光方向βよりも角度が小さいことから通常光線画像に異常光線画像が含まれた画像となり、差分値は図２２の（ｄ）の場合よりも減少する。図２２の（ｅ）は、偏光方向βよりも角度が大きい場合を示している。この場合、偏光方向βよりも角度が大きいことから通常光線画像に異常光線画像が含まれた画像となり、差分値は図２２の（ｄ）の場合よりも減少する。

このように、視差画像生成部３０は、偏光方向が９０度の位相差を有する偏光画像の差分が最大となる偏光方向βを偏光画像が最も鮮明となる偏光方向θｓとする。

また、鮮明となる偏光方向の偏光画像は９０度の位相差を有することから、視差画像生成部３０は、式（２１）に示す演算を行い、偏光方向が９０度の位相差を有する偏光画像の所定の画像範囲における画素毎の差分の合計を示す評価値Ｈが最小となる角度βに対して４５度の位相差を有する角度を、偏光画像が最も鮮明である偏光方向θｓとしてもよい。

次に、第３の方法として、偏光方向が４５度の位相差を有する３つの偏光画像を用いて探索を行ってもよい。第３の方法において、視差画像生成部３０は、偏光方向βの偏光画像の画素値Ｉ_βと偏光方向（β＋４５）の偏光画像の画素値Ｉ_β＋４５と偏光方向（β－９０）の偏光画像の画素値Ｉ_β－９０を用いて式（２２）に示す演算を行い、偏光方向が９０度の位相差を有する偏光画像の加算画像と４５度の位相差を有する偏光画像との所定の画像範囲の差分の合計を示す評価値Ｈが最小となる偏光方向βを、偏光画像が最も鮮明となる偏光方向θｓとする。

図２３は、第３の探索方法を例示した図である。図２３の（ａ）は偏光方向と輝度の関係を例示している。図２３の（ｂ）は、偏光方向（β－９０）の偏光画像を例示しており、図２３の（ｄ）は、偏光方向βの偏光画像を例示している。なお、偏光方向βの偏光画像は、例えば通常光線画像Ｇｏに相当している。図２３の（ｃ）は、偏光方向βよりも角度が小さい場合を示している。この場合、偏光方向βよりも角度が小さいことから通常光線画像に異常光線画像が含まれた画像である。図２３の（ｅ）は、偏光方向（β＋４５）の偏光画像を示しており、通常光線画像に異常光線画像が含まれた画像である。

視差画像生成部３０は、偏光方向βの偏光画像の画素値Ｉ_βと偏光方向（β－９０）の偏光画像の画素値Ｉ_β－９０を加算して、通常光線画像と異常光線画像を示す加算画像を生成する。さらに、視差画像生成部３０は、加算画像の画素値から偏光方向（β＋４５）の偏光画像の画素値Ｉ_β＋４５を減算する。

視差画像生成部３０は、加算画像と偏光方向（β＋４５）の偏光画像の差分が最小となる偏光方向βを偏光画像が最も鮮明となる偏光方向θｓとする。

次に、視差画像生成部３０は、第４の方法として、偏光方向が４５度の位相差を有する３つの偏光画像を用いて探索を行う。第４の方法において、視差画像生成部３０は、偏光方向βの偏光画像の画素値Ｉ_βと偏光方向（β－４５）の偏光画像の画素値Ｉ_β－４５と偏光方向（β－９０）の偏光画像の画素値Ｉ_β－９０を用いて式（２３）に示す演算を行い、偏光方向が９０度の位相差を有する偏光画像の加算画像と４５度の位相差を有する偏光画像との所定の画像範囲の差分の合計を示す評価値Ｈが最小となる偏光方向βを、偏光画像が最も鮮明となる偏光方向θｓとする。

図２４は、第４の探索方法を例示した図である。図２４の（ａ）は偏光方向と輝度の関係を例示している。図２４の（ｂ）は、偏光方向（β－９０）の偏光画像を例示しており、図２４の（ｄ）は、偏光方向βの偏光画像を例示している。なお、偏光方向βの偏光画像は、例えば通常光線画像Ｇｏに相当している。

図２４の（ｃ）は、偏光方向（β－４５）の偏光画像、図２４の（ｅ）は、偏光方向（β＋４５）の偏光画像を示しており、偏光画像は通常光線画像と異常光線画像が含まれた画像である。

視差画像生成部３０は、偏光方向βの偏光画像の画素値Ｉ_βを偏光方向（β－４５）の偏光画像の画素値Ｉ_β－４５から減算して、通常光線画像と異常光線画像を含む画像における通常光線画像を減衰させた差分画像を生成する。さらに、視差画像生成部３０は、差分画像の画素値から偏光方向（β－９０）の偏光画像の画素値Ｉ_β－９０を減算する。

視差画像生成部３０は、差分画像と偏光方向（β－９０）の偏光画像の差分が最小となる偏光方向βを偏光画像が最も鮮明となる偏光方向θｓとする。

視差画像生成部３０は、第１乃至第４の探索方法のいずれかに基づいて偏光画像が最も鮮明となる偏光方向を探索してステップＳＴ４６に進む。なお。視差画像生成部３０は、第１乃至第４の探索方法のいずれかの方法で偏光方向を探索できない場合は他の探索方法を用いてもよく、複数の探索方法の探索結果を用いて偏光画像が最も鮮明となる偏光方向を決定してもよい。

ステップＳＴ４６で計測システムは探索結果に基づいて偏光画像を生成する。計測システム１０の視差画像生成部３０は、ステップＳＴ４５で探索した偏光方向θｓの偏光画像と、偏光方向（θｓ＋９０）または偏光方向（θｓ－９０）の偏光画像を、式（１４）または式（１５）に示す偏光モデルに基づいて生成してステップＳＴ４７に進む。

ステップＳＴ４７で計測システムは対応点マッチングを行う。計測システム１０の距離計測部４０は、ステップＳＴ４６で生成した偏光方向θｓの偏光画像（通常光線画像と異常光線画像のいずれか一方に相当）と、偏光方向（θｓ＋９０）または偏光方向（θｓ－９０）の偏光画像（通常光線画像と異常光線画像のいずれか他方に相当）を用いて、対応点マッチングを行い、通常光線画像における測距対象の位置Ｐｏと異常光線画像における測距対象の位置Ｐｅとの位置差||ＰｏＰｅ||を算出してステップＳＴ４８に進む。

ステップＳＴ４８で計測システムは距離を算出する。計測システムの距離計測部４０は、予め設定されている焦点距離ｆとベースライン長ＢおよびステップＳＴ４５で算出した視差||ＰｏＰｅ||を用いて式（１）の演算を行い、測距位置Ｐまでの距離Ｚ（ｐ）を算出する。

このように、第３の実施の形態によれば、第１の実施の形態や第２の実施の形態と同様に、エッジが検出されない部分でも対応点マッチングが可能となり、エッジ画像を用いる場合に比べて解像度の高い距離情報を得られるようになる。また、被写体の偏光特性に基づいて、解像度の高い距離情報を得られるようになる。

＜５．変形例＞
偏光撮像部の画素構成は、第１の実施の形態乃至第３の実施の形態の構成に限らず、図２５、図２６、図２７の構成であってもよく、図に示す構成が水平方向及び垂直方向に繰り返されている。図２５の（ａ）、（ｂ）は白黒画像を取得する場合の画素構成を例示している。なお、図２５の（ａ）は２×２画素の偏光画素ブロックを、例えば偏光方向（偏光角）が０度、４５度、９０度、１３５度の偏光画素で構成した場合を例示している。また、図２５の（ｂ）は２×２画素を偏光方向の単位として、４×４画素の偏光画素ブロックを、例えば偏光方向が０度、４５度、９０度、１３５度の偏光画素で構成した場合を例示している。なお、偏光フィルタの偏光成分単位が図２５の（ｂ）に示すように２×２画素である場合、偏光成分単位毎に得られた偏光成分に対して、隣接する異なる偏光成分単位の領域からの偏光成分の漏れ込み分の割合は、図２５の（ａ）に示す１×１画素に比べて少なくなる。また、偏光フィルタがワイヤーグリッドを用いている場合、格子の方向（ワイヤー方向）に対して電場成分が垂直方向である偏光光が透過されて、透過率はワイヤーが長いほど高くなる。このため、偏光成分単位が２×２画素である場合は、１×１画素に比べて透過率が高くなる。このため、偏光成分単位が２×２画素である場合は１×１画素に比べて透過率が高くなり、消光比を良くすることができる。

図２５の（ｃ）乃至（ｇ）はカラー画像を取得する場合の画素構成を例示している。図２５の（ｃ）は、図２５の（ａ）に示す２×２画素の偏光画素ブロックを１つの色単位として、三原色画素（赤色画素と緑色画素と赤色画素）をベイヤ配列とした場合を示している。

図２５の（ｄ）は、図２５の（ｂ）に示す２×２画素の同一偏光方向の画素ブロック毎に、三原色画素をベイヤ配列で設けた場合を例示している。

図２５の（ｅ）は、２×２画素の同一偏光方向の画素ブロック毎に、三原色画素をベイヤ配列で設けて、偏光方向が異なる２×２画素のブロックを同一色の画素とした場合を例示している。

図２５の（ｆ）は、２×２画素の同一偏光方向でベイヤ配列の画素ブロックについて、水平方向に隣接する画素ブロックとの偏光方向の位相差が９０で、垂直方向に隣接する画素ブロックとの偏光方向の位相差が±４５度である場合を示している。

図２５の（ｇ）は、２×２画素の同一偏光方向でベイヤ配列の画素ブロックについて、垂直方向に隣接する画素ブロックとの偏光方向の位相差が９０で、水平方向に隣接する画素ブロックとの偏光方向の位相差が±４５度である場合を示している。

図２６は三原色画素と白色画素を設けた場合を例示している。例えば、図２６の（ａ）は、図２５の（ｄ）に示す２×２画素の同一偏光方向でベイヤ配列の画素ブロックにおいて１つの緑色画素を白色画素とした場合を例示している。

図２６の（ｂ）は、図２５の（ｅ）に示す２×２画素の同一偏光方向でベイヤ配列の画素ブロックにおいて１つの緑色画素を白色画素として、偏光方向が異なる２×２画素のブロックを同一色の画素とした場合を例示している。

このように白色画素を設けることで、特許文献「国際公開第２０１６／１３６０８５号」で開示されているように、法線情報の生成におけるダイナミックレンジを、白色画素を設けていない場合に比べて拡大できる。また、白色画素はＳ／Ｎ比が良好であることから、色差の算出等においてノイズの影響を受けにくくなる。

図２７は、無偏光画素を設けた場合を例示しており、図２７の（ａ）乃至（ｄ）は白黒画像、図２７の（ｅ）乃至（ｌ）はカラー画像を取得する場合を例示している。なお、偏光方向と色画素の表示は、図２５と同様である。

図２７の（ａ）は、図２５の（ｂ）に示す２×２画素の同一偏光方向の画素ブロックにおいて、斜め方向に位置する偏光画素を無偏光画素とした場合を例示している。

図２７の（ｂ）は２×２画素の画素ブロック内に位相差が４５度の偏光画素を斜め方向に設けて、隣接する画素ブロックとは偏光画素が９０度の位相差を有するように構成した場合を例示している。

図２７の（ｃ）は、２×２画素の画素ブロック内に等しい偏光方向の偏光画素を斜め方向に設けて、隣接する画素ブロックとは偏光画素が４５度の位相差を有しており、偏光画素の偏光方向は４５度の位相差を有する２方向とした場合を例示している。なお、無偏光画素と２つの偏光方向の偏光画素からの偏光情報の取得は、例えば特許文献「国際公開第２０１８／０７４０６４号」で開示された技術を用いればよい。

図２７の（ｄ）は、２×２画素の画素ブロック内に４５度の位相差を有する偏光画素を斜め方向に設けて、偏光画素の偏光方向は４５度の位相差を有する２方向とした場合を例示している。

図２７の（ｅ）は、４つ異なる偏光方向である２×２画素の画素ブロックと、無偏光画素からなる２×２画素の画素ブロックをそれぞれ２つ用いて、４×４画素の画素ブロックを構成して、偏光画素の画素ブロックは緑色画素、無偏光画素の画素ブロックは赤色画素または青色画素として、同一色の画素ブロック（２×２画素）をベイヤ配列として設けた場合を例示している。

図２７の（ｆ）は、偏光画素が図２７の（ｄ）と同様に設けられており、２つの異なる偏光方向の偏光画像と２つの無偏光画素からなる画素ブロックを色単位として、三原色の画素ブロックをベイヤ配列として設けた場合を例示している。

図２７の（ｇ）は、２×２画素の画素ブロックを色単位として、三原色の画素ブロックをベイヤ配列として設けて、緑色画素の画素ブロックに２つの異なる偏光方向の偏光画素を設けた場合を例示している。

図２７の（ｈ）は、偏光画素が図２７の（ｄ）と同様に設けられており、２つの異なる偏光方向の偏光画像と２つの無偏光画素からなる画素ブロックは３つの緑色画素と、１つの無偏光画素を赤色画素として、隣接ずる画素ブロックでは１つの無偏光画素を青色画素とした場合を例示している。

図２７の（ｉ）（ｊ）は、無偏光画素を色画素として、４×４画素の画素ブロックに三原色の画素を設けた場合を示している。また、図２７の（ｋ），（ｌ）は、無偏光画素の一部を色画素として、４×４画素の画素ブロックに三原色の画素を設けた場合を示している。

なお、図２５乃至図２７に示す構成は例示であって、他の構成を用いてもよい。また、夜間等でも高感度な撮像を可能するため、赤外（ＩＲ）画素を混在して繰り返した構成であってもよい。

このような画素構成とすれば、偏光画像に基づき測距位置までの距離を測定できるだけでなく画素毎の偏光特性を取得することが可能となる。また、無偏光のカラー画像を得ることもできる。

＜５．応用例＞
本開示に係る技術は、様々な分野へ適用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。また、工場における生産工程で用いられる機器や建設分野で用いられる機器に搭載される装置として実現されてもよい。

このような分野に適用すれば、エッジの少ない被写体であっても複数の撮像装置を用いることなく高解像度で距離情報を得られる。したがって、周辺環境を３次元で精度よく把握できるようになり、運転者や作業者の疲労を軽減できる。また、自動運転等をより安全に行うことが可能となる。

明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。

また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。

また、本技術の信号処理装置は以下のような構成も取ることができる。
（１） 複屈折物質を介して入射された被写体光に基づいた偏光画像を生成する偏光撮像部と、
前記偏光撮像部で生成された偏光画像を用いて偏光角度の異なる画像の分離を行い、通常光線画像と異常光線画像を視差画像として生成する視差画像生成部と、
前記視差画像生成部で生成された通常光線画像と異常光線画像における被写体の測距位置の視差に基づいて、前記測距位置までの距離を算出する距離計測部と
を有する信号処理装置。
（２） 前記偏光撮像部は、撮像面を前記複屈折物質の光軸に対して垂直とする（１）に記載の信号処理装置。
（３） 前記偏光撮像部は、偏光方向が９０度の位相差を有す偏光画素を設けて、前記偏光方向を前記複屈折物質の水平方向と垂直方向と等しくして、
前記視差画像生成部は、前記複屈折物質の水平方向または垂直方向の一方と等しい偏光方向の偏光画素を用いて前記通常光線画像を生成して、他方と等しい偏光方向の偏光画素を用いて前記異常光線画像を生成する（２）に記載の信号処理装置。
（４） 前記偏光撮像部は、所定の偏光方向の偏光画素と無偏光である無偏光画素を用いて構成して、前記偏光方向を前記複屈折物質の水平方向または垂直方向と等しくして、
前記視差画像生成部は、前記偏光画素を用いて前記通常光線画像または前記異常光線画像の一方を生成して、他方の画像は前記偏光画素を用いて生成した画像と前記無偏光画素を用いて生成した画像とに基づいて生成する（２）に記載の信号処理装置。
（５） 前記偏光撮像部は、偏光方向が異なる３方向以上の偏光画素を用いて構成して、
前記視差画像生成部は、前記偏光方向が異なる３方向以上の偏光画素の画素値に基づき偏光モデルを算出して、算出した偏光モデルに基づいて前記視差画像を生成する（２）に記載の信号処理装置。
（６） 前記視差画像生成部は、前記通常光線画像と前記異常光線画像の一方の画像に含まれる他方の画像が最小となる偏光方向を探索して、探索した偏光方向の画像と９０度の位相差を有する画像を前記視差画像として生成する（５）に記載の信号処理装置。
（７） 前記視差画像生成部は、前記偏光モデルに基づいた偏光画像のエッジ成分が最小となる偏光方向を探索する（６）に記載の信号処理装置。
（８） 前記視差画像生成部は、前記偏光モデルに基づいた偏光画像であって、偏光方向が９０度の位相差を有する２つの偏光画像の画素毎の差分の合計が最大となる前記２つの偏光画像の一方の偏光方向を探索する（６）または（７）に記載の信号処理装置。
（９） 前記視差画像生成部は、前記偏光モデルに基づいた偏光画像であって、偏光方向が９０度の位相差を有する２つの偏光画像の画素毎の差分の合計が最小となる前記２つの偏光画像の一方の偏光方向に対する４５度の位相差を有する偏光方向を探索する（６）乃至（８）のいずれかに記載の信号処理装置。
（１０） 前記視差画像生成部は、前記偏光モデルに基づいた偏光画像であって、偏光方向が９０度の位相差を有する２つの偏光画像の加算画像と４５度の位相差を有する偏光画像との画素毎の差分の合計が最小となる前記２つの偏光画像の一方の偏光方向を探索する（６）乃至（９）のいずれかに記載の信号処理装置。
（１１） 前記視差画像生成部は、予め設定された画像平行化関数を用いて、水平方向の視差を有する通常光線画像と異常光線画像を視差画像として生成する（２）乃至（１０）のいずれかに記載の信号処理装置。

また、本技術は以下の撮像装置を含む。
（１） 撮像面に対して光軸を垂直として複屈折物質を設けて、
前記複屈折物質を介した被写体光が入射される前記撮像面は、１偏光方向の偏光画像と無偏光画像、または複数の異なる偏光方向毎の偏光画像と無偏光画像、あるいは３以上の異なる偏光方向毎の偏光画像を生成できる画素構成とした撮像装置。
（２） 前記偏光方向が１方向である場合、前記偏光方向は前記複屈折物質の通常光線偏光方向または異常光線偏光方向と等しくした（１）に記載の撮像装置。
（３） 前記偏光方向が２方向である場合、前記偏光方向の一方は前記複屈折物質の通常光線偏光方向と等しく、前記偏光方向の他方は前記複屈折物質の異常光線偏光方向と等しくした（１）に記載の撮像装置。

１０・・・計測システム
２０・・・複屈折撮像部
２１・・・複屈折物質
２２・・・撮像光学系
２５・・・偏光撮像部
３０・・・視差画像生成部
４０・・・距離計測部
５０・・・チェッカーボード
５１・・・偏光板
２５１・・・イメージセンサ
２５２・・・偏光フィルタ

Claims (13)

1. 複屈折物質を介して入射された被写体光に基づいた偏光画像を生成する偏光撮像部と、
   前記偏光撮像部で生成された偏光画像を用いて偏光角度の異なる画像の分離を行い、通常光線画像と異常光線画像を視差画像として生成する視差画像生成部と、
   前記視差画像生成部で生成された通常光線画像と異常光線画像における被写体の測距位置の視差に基づいて、前記測距位置までの距離を算出する距離計測部と
   を有する信号処理装置。
2. 前記偏光撮像部は、撮像面を前記複屈折物質の光軸に対して垂直とする
   請求項１に記載の信号処理装置。
3. 前記偏光撮像部は、偏光方向が９０度の位相差を有す偏光画素を設けて、前記偏光方向を前記複屈折物質の水平方向と垂直方向と等しくして、
   前記視差画像生成部は、前記複屈折物質の水平方向または垂直方向の一方と等しい偏光方向の偏光画素を用いて前記通常光線画像を生成して、他方と等しい偏光方向の偏光画素を用いて前記異常光線画像を生成する
   請求項２に記載の信号処理装置。
4. 前記偏光撮像部は、所定の偏光方向の偏光画素と無偏光である無偏光画素を用いて構成して、前記偏光方向を前記複屈折物質の水平方向または垂直方向と等しくして、
   前記視差画像生成部は、前記偏光画素を用いて前記通常光線画像または前記異常光線画像の一方を生成して、他方の画像は前記偏光画素を用いて生成した画像と前記無偏光画素を用いて生成した画像とに基づいて生成する
   請求項２に記載の信号処理装置。
5. 前記偏光撮像部は、偏光方向が異なる３方向以上の偏光画素を用いて構成して、
   前記視差画像生成部は、前記偏光方向が異なる３方向以上の偏光画素の画素値に基づき偏光モデルを算出して、算出した偏光モデルに基づいて前記視差画像を生成する
   請求項２に記載の信号処理装置。
6. 前記視差画像生成部は、前記通常光線画像と前記異常光線画像の一方の画像に含まれる他方の画像が最小となる偏光方向を探索して、探索した偏光方向の画像と９０度の位相差を有する画像を前記視差画像として生成する
   請求項５に記載の信号処理装置。
7. 前記視差画像生成部は、前記偏光モデルに基づいた偏光画像のエッジ成分が最小となる偏光方向を探索する
   請求項６に記載の信号処理装置。
8. 前記視差画像生成部は、前記偏光モデルに基づいた偏光画像であって、偏光方向が９０度の位相差を有する２つの偏光画像の画素毎の差分の合計が最大となる前記２つの偏光画像の一方の偏光方向を探索する
   請求項６に記載の信号処理装置。
9. 前記視差画像生成部は、前記偏光モデルに基づいた偏光画像であって、偏光方向が９０度の位相差を有する２つの偏光画像の画素毎の差分の合計が最小となる前記２つの偏光画像の一方の偏光方向に対する４５度の位相差を有する偏光方向を探索する
   請求項６に記載の信号処理装置。
10. 前記視差画像生成部は、前記偏光モデルに基づいた偏光画像であって、偏光方向が９０度の位相差を有する２つの偏光画像の加算画像と４５度の位相差を有する偏光画像との画素毎の差分の合計が最小となる前記２つの偏光画像の一方の偏光方向を探索する
    請求項６に記載の信号処理装置。
11. 前記視差画像生成部は、予め設定された画像平行化関数を用いて、水平方向の視差を有する通常光線画像と異常光線画像を視差画像として生成する
    請求項２に記載の信号処理装置。
12. 複屈折物質を介して入射された被写体光に基づいた偏光画像を偏光撮像部で生成することと、
    前記偏光撮像部で生成された偏光画像を用いて偏光角度の異なる画像の分離を行い、通常光線画像と異常光線画像を視差画像として視差画像生成部で生成することと、
    前記視差画像生成部で生成された通常光線画像と異常光線画像における被写体の測距位置の視差に基づいて、前記測距位置までの距離を距離計測部で計算することと
    を含む信号処理方法。
13. 偏光画像を用いた測距をコンピュータで実行させるプログラムであって、
    複屈折物質を介して入射された被写体光に基づいた偏光画像を用いて偏光角度の異なる画像の分離を行い、通常光線画像と異常光線画像を視差画像として生成する手順と、
    前記生成された通常光線画像と異常光線画像における被写体の測距位置の視差に基づいて、前記測距位置までの距離を算出する手順と
    を前記コンピュータで実行させるプログラム。

Images