JP2018046372A - 撮像装置、システム、プログラム - Google Patents

Abstract

【課題】光量の低下が抑制された輝度値を処理する撮像装置を提供すること。【解決手段】偏光方向が異なる少なくとも２つの偏光領域を有する偏光部８と、前記偏光部を通過した被写体の光を輝度値に変換する素子２６と、偏光方向が異なる前記偏光領域を通過した光の前記輝度値をそれぞれ取得する輝度値取得部６１と、各偏光領域を通過した前記輝度値のずれに関する情報を取得する輝度処理部６０と、を有する。【選択図】図１

Description

本発明は、撮像装置、システム及びプログラムに関する。

ステレオカメラによる距離計測が知られているが、距離計測を１つのカメラ（単眼カメラ）で行うことが従来から望まれていた。このような要請に対し単眼カメラの１枚の画像のピントを利用して距離情報を取得する技術が考案されている（例えば、非特許文献１参照。）。

非特許文献１には、左右非対称のフィルタを用いるとピントがぼけにくく、距離によるぼけ方の違いを区別しやすいことを利用して、カメラの撮像レンズに左右非対称に光を透過させるフィルタを装着して被写体を撮像し、ピントのぼけを解析することで距離を算出する技術が開示されている。

しかしながら、非特許文献１に記載された技術では、撮像素子に到達する光の量が低下し画像が暗くなるなどの問題がある。すなわち、非特許文献１に記載された技術では、決まったパターン状に孔部が配置されたフィルタが撮像レンズに装着されているため、遮光される光量を低減することが困難である。

本発明は、上記課題に鑑み、光量の低下が抑制された輝度値を処理する撮像装置を提供することを目的とする。

本発明は、偏光方向が異なる少なくとも２つの偏光領域を有する偏光部と、前記偏光部を通過した被写体の光を光電変換する素子と、偏光方向が異なる前記偏光領域を通過した光の前記輝度値をそれぞれ取得する輝度値取得部と、各偏光領域を通過した前記輝度値のずれに関する情報を取得する輝度処理部と、を有する。

光量の低下が抑制された輝度値を処理する撮像装置を提供することを目的とする。

撮像装置が有する偏光フィルタを説明する図の一例である。 撮像装置の概略斜視図の一例である。 撮像装置のハードウェア構成図の一例である。 撮像装置が有する機能を説明する機能ブロック図の一例である。 被写体までの距離とピントのずれを説明する図の一例である。 第１の偏光フィルタと第２の偏光フィルタの偏光方向を説明する図の一例である。 画像処理部が距離情報を取得する手順を示すフローチャート図の一例である。 偏光画像の取得について説明する図の一例である。 画像の補間を説明する図の一例である。 ピントのずれ量の算出を説明する図の一例である。 探索範囲内のマッチングコストの算出結果を示す図の一例である。 パラボラフィッティングによるサブピクセル値の演算結果の一例を示す図である。 オフセット値とピントのずれ量の対応を模式的に示す図の一例である。 撮像装置が有する機能を説明する機能ブロック図の一例である（実施例２）。 画像処理部が距離情報を取得する手順を示すフローチャート図の一例である（実施例２）。 被写体までの距離と、Ａ偏光画像とＢ偏光画像の関係を模式的に説明する図の一例である。 Ａ偏光画像とＢ領域画像への各フィルタの適用を説明する図の一例である。 マッチングコストが最も小さい距離の算出を説明する図の一例である。 システム構成例の一例を示す図である。

以下、本発明を実施するための形態について図面を参照しながら説明する。

図１は、本実施例の撮像装置１００が有する偏光フィルタを説明する図である。本実施例の撮像装置１００は、撮像素子に到達する光が２つの偏光フィルタを通過する。第１の偏光フィルタ８は例えば絞りに装着され、第２の偏光フィルタ９は例えば撮像素子２６の撮像レンズ側に装着される。

撮像レンズ２３を通過した光の一部は第１の偏光フィルタ８のＡ領域を通過し、他の一部は第１の偏光フィルタ８のＢ領域を通過する。Ａ領域は偏光を垂直方向に揃え、Ｂ領域は偏光を水平方向に揃える。

一方、第２の偏光フィルタ９には、格子状にＡ領域とＢ領域が交互に配置されている。第２の偏光フィルタ９は第１の偏光フィルタ８のＡ領域を通過した光とＢ領域を通過した光をそれぞれ別々に、撮像素子に受光させる。第１の偏光フィルタ８のＡ領域を通過した光は第２の偏光フィルタ９のＢ領域を通過できないので、第２の偏光フィルタ９のＡ領域に到達した光のみが撮像素子で光電変換される。同様に、第１の偏光フィルタ８のＢ領域を通過した光は第２の偏光フィルタ９のＡ領域を通過できないので、第２の偏光フィルタ９のＢ領域に到達した光のみが撮像素子で光電変換される。

撮像レンズ２３から被写体までの距離が、被写体の像がちょうど撮像素子２６上で結像する距離である場合、Ａ領域を通過した光とＢ領域を通過した光は１点に収束する。撮像レンズ２３から被写体の距離が、被写体の像が撮像素子２６上で結像する距離でない場合、Ａ領域を通過した光とＢ領域を通過した光は１点に収束せず、撮像レンズ２３から被写体までの距離に応じたピントのずれを生じさせる。

このように、ピントのずれ量が被写体の距離情報を持っているため、本実施例ではこの現象を利用してＡ領域と通過した光とＢ領域を通過した光のピントのずれ量を解析し距離情報を取得する。

＜用語について＞
偏光とは、光が一定の方向にだけ振動する現象をいう。偏光方向とは光の振動の方向をいう。

光電変換とは、光を電気信号に変換することをいう。光電変換により、光の強さは光電変換する素子の解像度に応じた輝度値として扱われる。光の強さと輝度値の大きさには相関があることが好ましい。

輝度値のずれに関する情報とは、輝度値のずれを算出したり、推定したり、検出することが可能な情報をいう。本実施形態では、例えば、ブロックマッチングにより得られるずれや、ピントのずれを改善するために決定されるフィルタをいう。

＜構成例＞
図２は、撮像装置１００の概略斜視図の一例である。撮像装置１００は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary MOS）などの光電変換素子（半導体素子）を使って光（被写体の像）を電気信号に変換し、デジタルデータとしてフラッシュメモリなどの記憶媒体に記憶する。一般には、静止画を撮像するデジタルスチルカメラ、動画を撮像するデジタルビデオカメラなどと呼ばれる。静止画と動画の両方を撮像できる撮像装置１００も多いため、呼称はどちらでもよい。また、監視カメラなどのように撮像機能に、更に装置に専用の機能が追加された装置も含む。

また、本実施例の撮像装置１００は情報処理装置に内蔵されていてもよいし、外付けされていてもよい。撮像装置１００を内蔵したり外付けしたりする情報処理装置としては、スマートフォン、携帯電話、タブレット端末、ＰＣ(Personal Computer)、ＰＤＡ（Personal Digital Assistant）、ドローン、複合機（例えば、プリンター、スキャナ及びＦＡＸ等の１つ以上を備える）、プロジェクタ、電子黒板、テレビ会議端末、デジタルサイネージ、などがある。ただし、これらには限られず、各種の情報処理装置が内蔵したり外付けしたりできる。

また、撮像装置１００は、赤外光など可視光以外の波長や可視光の特定の波長の光に強い感度を有するフィルタや撮像素子を有していてよい。

＜ハードウェア構成例＞
図３は、撮像装置１００のハードウェア構成図の一例を示す。撮像装置１００は、撮像レンズ２３、メカシャッタ２４、モータドライバ２５、撮像素子２６、信号処理ＩＣ３２、操作部４４、ＲＯＭ４５、ＳＤＲＡＭ２７及びマイク４６等を有している。

操作部４４は、各種のボタンやメニュー画面を表示するタッチパネル付きの液晶ディスプレイ及びシャッターボタンを含む種々のハードボタンを有する。ＲＯＭ４５には、ＯＳ（オペレーティングシステム）や撮像装置１００を制御するプログラムが記憶されている。プログラムは、撮像素子２６や信号処理ＩＣ３２等の初期化、カメラの鏡胴の繰りだし処理、及び、メモリーカード４７の初期化等を行ったり、ユーザ操作に応じて各部を制御する処理などを行ったりする。

ＳＤＲＡＭ２７は、画像データを一時的に記憶する高速な揮発性のメモリであり、図示するフォーマット（ＲＡＷ−ＲＧＢ、ＹＵＶ、ＪＰＥＧ、ＯＳＤ）の画像データが記憶される。最終的な画像データは、メモリーカード４７又はＮＶＲＡＭ４２に記憶される。また、ＵＳＢ Ｉ／ＦからＰＣに接続し、メモリーカード４７等からＰＣに画像データを送信することもできる。

モータドライバ２５は、ＣＰＵ３９がプログラムを実行することで制御され、撮像レンズ２３及びメカシャッタ２４を光軸方向に移動して焦点合わせ（ＡＦ）したり、光学ズームしたりするために使用される。撮像装置１００は設定された露光時間毎に撮像素子から電荷を読み出す電子シャッタを備えるが、メカシャッタ２４は電子シャッタとは別に、露光時間外に撮像素子に到達する光を遮断する。

メカシャッタの開口部の撮像素子側には第１の偏光フィルタ８が配置されている。第１の偏光フィルタ８については後述する。

撮像素子２６は、第２の偏光フィルタ９、受光センサ２８、ＴＧ（タイミングジェネレータ）３１、及び、Ａ／Ｄ変換器２９を有する。第２の偏光フィルタ９は受光センサ２８の撮像レンズ２３側に配置されている。第２の偏光フィルタ９については後述する。

受光センサ２８はＣＣＤやＣＭＯＳなどの光電変換素子である。受光センサ２８は、ＣＤＳ（画像ノイズ除去用相関二重サンプリング部）やＡＧＣ（利得調整部）を有している。ＴＧ３１は、クロック信号から垂直同期信号ＶＤ、水平同期信号ＨＤを生成しセンサＩ／Ｆ３３に供給する。

撮像装置１００が起動した状態では、撮像レンズ２３、第１の偏光フィルタ８及び第２の偏光フィルタ９を通して受光センサ２８に入射した光が、電気に変換されてＡ／Ｄ変換器２９に送られる。Ａ／Ｄ変換器２９は、入力されたアナログ信号を１２ｂｉｔなどの所定の階調のデジタルデータに変換する。デジタル信号に変換された信号は、デジタル信号処理ＩＣ内のセンサＩ／Ｆ３３部に取り込まれる。

信号処理ＩＣ３２は、センサＩ／Ｆ３３、メモリコントローラ３４、ＹＵＶ変換部３７、圧縮伸張部３８、ＣＰＵ３９、表示出力制御部３５、リサイズ処理部３６、メディアＩ／Ｆ４１、ＮＶＲＡＭ４２、及び、音声処理部４３を有する。

センサＩ／Ｆ３３は垂直同期信号ＶＤ、水平同期信号ＨＤによりＡ／Ｄ変換されたデジタルの画像データの転送タイミングを決定する。この時点の画像データはデジタルのＲＧＢ信号である。

また、センサＩ／Ｆ３３は、ブロック内に取り込まれたＲＧＢ信号より、画面の合焦度合いを示すＡＦ（オートフォーカス）評価値と、被写体７の輝度値を検出したＡＥ（Automatic Exposure：自動露光）評価値と、被写体７の色や光源色を検出したＡＷＢ（オートホワイトバランス）評価値を算出する。それらの評価値は、評価値データとしてＣＰＵ３９に読み出されて、ＡＥ、ＡＦ、ＡＷＢのそれぞれの処理に利用される。

ＡＦ評価値は、例えば高周波成分抽出フィルタの出力積分値や、近接画素の輝度差の積分値によって作成される。合焦状態にあるときは、被写体７のエッジ部分がはっきりとしているため、高周波成分が一番高くなる。撮像装置１００がＡＦに設定されＡＦによる合焦検出動作時は、ＣＰＵ３９は各フォーカスレンズ位置におけるＡＦ評価値を取得して、その極大になる点を合焦位置とすることでＡＦによる合焦位置を取得する。しかしながら、本実施例ではピントのずれ量が検出されるためＡＦ制御が使用されなくてもよい。

ＡＥ評価値とＡＷＢ評価値は、ＲＧＢ信号のＲＧＢそれぞれの積分値から作成される。例えば画面を１０２４エリアに等分割（水平３２分割、垂直３２分割）し、それぞれのエリアのＲＧＢ積分値を算出する。ＣＰＵ３９はセンサＩ／Ｆ３３からＲＧＢ積分値を読み出し、それぞれのエリアの輝度を算出して、輝度分布から適正な露光時間を決定する（ＡＥ）。また、ＣＰＵ３９は、各エリアのＲＧＢの分布から被写体の色や光源色を判断し、光源の色に合わせたＡＷＢの制御値を決定する。このＡＥとＡＷＢの処理は、操作部４４のディスプレイに映像を出力している間、連続的に行われている。被写体７が撮像された場合、ＡＦ評価値、ＡＥ評価値及びＡＷＢ評価値は画像データと共にファイルに記憶される。

ＡＦ完了後に撮像素子２６から出力されセンサＩ／Ｆ３３が取り込んだＲＧＢ信号は、メモリコントローラ３４によりＳＤＲＡＭ(フレームメモリという場合もある)に格納される。図ではこのＲＧＢ信号が「ＲＡＷ−ＲＧＢ」で示されている。

メモリコントローラ３４は、ＲＧＢ信号をＳＤＲＡＭ２７から読み出し、ＹＵＶ変換部３７に送出する。ＹＵＶ変換部３７は、ＲＧＢ信号をＹＵＶ信号に変換しメモリコントローラ３４に送出するので、メモリコントローラ３４は、ＹＵＶ信号をＳＤＲＡＭ２７に記憶する。図ではこのＹＵＶ信号が「ＹＵＶ」で示されている。ＹＵＶ信号に変換するのは、ＲＧＢ信号よりも容量を小さくできるためと、ディスプレイに出力するためのビデオ信号への変換が容易になるためである。このＹＵＶ信号はメモリコントローラ３４に読み出されて、表示出力制御部３５を介してディスプレイへ送られて表示が行われる。なお、ＲＧＢ信号やＹＵＶ信号を区別しない場合、単に画像データという。

リサイズ処理部３６は、デジタルズームのための処理部で、ＹＵＶ信号の画像データを補間処理により拡大／縮小する。ユーザがデジタルズームの操作を行うと、ＹＵＶ信号から必要な部分を切り出し、画像サイズを変更する。

なお、撮像装置１００は、ユーザが動画の撮像を選択した場合、一連のＹＵＶ信号を映像としてメモリーカード４７に記憶することができる。動画の記録フォーマットは例えば、ＡＶＩ（Open DML Motion JPEG フォーマット準拠）やＭＰＥＧなどに準拠したフォーマットである。これらのフォーマットに圧縮する場合は、圧縮伸張部３８が圧縮する。

静止画の撮像時には、ＣＰＵ３９はシャッターボタンが全押しされたことを操作部４４から検知して撮像素子２６に通知することで、静止画の撮像時のＲＧＢ信号が信号処理ＩＣ３２に出力される。ディスプレイへの表示と同様に、ＹＵＶ変換部３７がＲＧＢ信号をＹＵＶ信号に変換し、ＳＤＲＡＭ２７に記憶する。メモリコントローラ３４はＹＵＶ変換された画像データを圧縮伸張部３８に送出する。圧縮伸張部３８は送られたＹＵＶ信号を圧縮し、メモリコントローラ３４がＳＤＲＡＭ２７に書き戻す。圧縮のフォーマットは種々あるが、図ではＪＰＥＧで示されている。

ＣＰＵ３９は後述する処理をＲＧＢ信号又はＪＰＥＧ信号などに行い、画素ごと毎又は画素ブロックごとに距離情報を算出する。距離情報が配置された画像データを距離画像という。ＣＰＵ３９は距離画像を画像データに対応付けてメモリコントローラ３４に記憶させる。メモリコントローラ３４は圧縮された画像データと距離画像を読み出し、フラッシュメモリの等の内蔵するＮＶＲＡＭ４２に記憶したり、又は、メディアＩ／Ｆ４１にメモリーカード４７に記憶させたりする。

静止画の画像データの記録フォーマットとして、Exif形式が知られている。Exifは画像データと撮像条件などの情報を１つのファイルの中に記述できるフォーマットである。これを利用して、ファイルの中に距離情報が含まれていてもよい。

なお、本実施例ではＲＧＢ信号を取得可能な撮像装置を記載しているが、これに限られない。例えば、距離情報の取得を行うのみであればＲＧＢ信号は不要であるので、偏光フィルタを通過した輝度信号のみを取得できる構成であれば良い。

なお、マイク４６は音声を集音する装置であり、例えば動画の撮像時にマイク４６が集音した音声は電気信号に変換され音声処理部４３に出力される。音声処理部４３はＷＡＶＥ、ＰＣＭなどの音声コーデックのフォーマットに音声を圧縮してＡＶＩファイルに動画と共に記憶する。

なお、本実施例では撮像装置１００の被写界深度は浅い方がよい。被写界深度とはピントがあっているように見える距離の範囲をいう。被写界深度を浅くするには、絞りを開き（Ｆ値が小さい）、撮像レンズ２３の焦点距離を長くし、被写体との距離は近い方が有利になる。ただし、本実施例の被写界深度は、撮像装置１００が距離を検出する上で最適になるように設計されればよい。

＜機能について＞
図４は、撮像装置１００が有する機能を説明する機能ブロック図の一例である。撮像装置１００がピントのずれ量を解析する機能を画像処理部６０が提供するものとする。画像処理部６０は、画像データに画像処理を行うものであり、輝度値取得部６１、画像補間部６２、ずれ量算出部６３及び距離変換部６４を有する。

画像処理部６０が有するこれら各機能部は、図３に示された各構成要素のいずれかが、ＲＯＭ４５からＳＤＲＡＭに展開されたプログラム４０に従うＣＰＵ３９からの命令により動作することで実現される機能又は手段である。あるいは、画像処理部６０が有する各機能がＬＳＩやＩＣなどの論理回路で構築されていてもよい。

また、画像処理部６０は、ＲＯＭ４５、ＮＶＲＡＭ４２、又はＳＤＲＡＭ２７に記憶されるルックアップテーブル７１を有している。ルックアップテーブル７１は、ピントのずれ量を距離に変換するためのテーブルである。

輝度値取得部６１は、１枚の画像データから偏光画像Ａと偏光画像Ｂをそれぞれ取得する。上記のように１枚の画像データには、格子状にＡ領域とＢ領域が配置されているので、Ａ領域だけの画像とＢ領域だけの画像を画像データから取得する。これにより、偏光方向が異なる光のピントのずれ量を算出可能になる。Ａ領域の画像をＡ偏光画像、Ｂ領域の画像をＢ偏光画像という。

画像補間部６２は、Ａ偏光画像とＢ偏光画像をそれぞれ補間する。Ａ偏光画像はＢ領域の画素が格子状に抜け落ちており、Ｂ偏光画像はＡ領域の画素が格子状に抜け落ちている。このため、画像補間部６２は格子状に抜け落ちた画素を周囲の画素で補間する。

ずれ量算出部６３は、Ａ偏光画像とＢ偏光画像を比較して、Ａ偏光画像とＢ偏光画像のピントのずれ量を算出する。このピントのずれ量が距離の情報を含んでいる。

距離変換部６４は、ピントのずれ量を距離に変換する。ピントのずれ量と、オフセット値の関係は予め実験的又は計算的にルックアップテーブル７１の形式で求められている。更に、ピントのずれ量がゼロの場合の距離は既知であるので、この距離にオフセット値を加えることで被写体７までの距離を算出できる。

＜被写体７までの距離とピントのずれ＞
図５は、被写体７までの距離とピントのずれを説明する図の一例である。なお、図５は、撮像レンズ２３、第１の偏光フィルタ８、第２の偏光フィルタ９及び撮像素子２６を、撮像装置１００の上方から見た図になっている。

図５（ａ）では、被写体７の像は撮像レンズ２３の全体を通過して撮像素子２６上に結像している。つまり、被写体７の像が撮像素子２６上に結像する、撮像レンズ２３からの距離に被写体７が存在している。被写体７の光の約半分は第１の偏光フィルタ８のＡ領域を通過し、残りの約半分はＢ領域を通過する。偏光方向によって焦点距離は変わらないので、どちらの領域を通過しても被写体７の像は撮像素子２６上の１点で結像する。このように、撮像素子２６上の各点に、Ａ領域を通過した光とＢ領域を通過した光が共に到達する。

図５（ｂ）は、図５（ａ）よりも被写体７が遠方に移動した場合の結像位置を示している。被写体７が遠方にあるため結像位置が撮像素子２６よりも前方になる。このため、撮像素子２６上では、Ａ領域を通過した光とＢ領域を通過した光が広がりをもって受光される。この広がりがピントのずれであるので、Ａ領域を通過して撮像された被写体７と、Ｂ領域を通過して撮像された被写体７とを検出できれば、ピントのずれ量を検出できる。なお、ピントがずれることで画像がぼける。ずれとは光が１点に収束する位置からの乖離であり、ぼけとは画像の不鮮明さをいう。このため、ピントのずれとぼけを明確に区別しなくてもよい。

なお、Ａ領域を通過した光とＢ領域を通過した光は非対称である。これは、Ａ領域と通過した光とＢ領域を通過した光で光路長が異なるためである。換言すると、ピントのずれ方は撮像レンズ２３から被写体７までの距離が同じでも、Ａ領域とＢ領域で異なる。このため、距離によるピントのずれ量を区別しやすい。

図５（ｂ）を見ると明らかなように、仮に被写体７が撮像レンズ２３から更に遠方に移動したと仮定すると、結像位置は撮像素子２６の更に前方に移動する。このことは、撮像素子２６上で、Ａ領域を通過した被写体７の像とＢ領域を通過した被写体７の像がより大きく広がることを意味する。すなわち、ピントのずれ量が大きくなる。

図５（ｃ）は、図５（ａ）よりも被写体７が撮像レンズ２３の近くに移動した場合の結像位置を示している。被写体７が近傍にあるため結像位置が撮像素子２６よりも後方になる。このため、撮像素子２６上では、Ａ領域を通過した光とＢ領域を通過した光が広がりをもって受光される。この広がりがピントのずれであるので、Ａ領域を通過して撮像された被写体７と、Ｂ領域を通過して撮像された被写体７とを検出できれば、ピントのずれ量を検出できる。

図５（ｃ）を見ると明らかなように、仮に被写体７が撮像レンズ２３に更に接近したと仮定すると、結像位置は撮像素子２６の更に後方に移動する。このことは、撮像素子２６上で、Ａ領域を通過した被写体７の像とＢ領域を通過した被写体７の像がより大きく広がることを意味する。すなわち、ピントのずれ量が大きくなる。

一方、図５（ｃ）と図５（ｂ）を比較すると、Ａ領域を通過した光とＢ領域を通過した光の撮像素子２６上における位置が左右反転している。これは、図５（ｃ）では撮像素子２６よりも後方で結像するための当然の結果であるが、撮像素子２６上でＡ領域とＢ領域が左右どちらにずれているかによって、被写体７が図５（ａ）の位置よりも遠方に存在するか（図５（ｂ））、又は、近傍に存在するか（図５（ｃ））を判別できる。

＜第１の偏光フィルタ８と第２の偏光フィルタ９の偏光方向＞
図６は、第１の偏光フィルタ８と第２の偏光フィルタ９の偏光方向を説明する図の一例である。第１の偏光フィルタ８のＡ領域の偏光方向と第２の偏光フィルタのＡ領域の偏光方向とが一致し、第１の偏光フィルタ８のＢ領域の偏光方向と第２の偏光フィルタのＢ領域の偏光方向とが一致していればよい。なお、第１の偏光フィルタ８のＡ領域（Ｂ領域）を通過した光が第２の偏光フィルタ９のＡ領域（Ｂ領域）で受光できる程度であれば、完全に一致することまでは要求されない。

図６（ａ）の第１の偏光フィルタ８と第２の偏光フィルタ９の偏光方向は図１と同様であり、水平方向の左右にＡ領域とＢ領域が配置されている。なお、Ａ領域とＢ領域は左右が逆でもよい。また、第２の偏光フィルタ９では、Ａ領域の偏光方向が垂直方向であり、Ｂ領域の偏光方向が水平方向である。図示するように、第２の偏光フィルタ９は偏光方向が異なる複数の偏光透過領域を有している。

このように、第１の偏光フィルタ８でＡ領域とＢ領域が左右に（水平に）並んで配置されることで、ピントのずれ量は水平方向にのみ生じるので、画像処理部６０の処理負荷を低減できる。つまり、後述するブロックマッチングの探索方向を水平方向のみに制限できる。

図６（ｂ）では、第１の偏光フィルタ８の上下にＡ領域とＢ領域が配置されている。第２の偏光フィルタ９におけるＡ領域とＢ領域の配置は図６（ａ）と同様である。第１の偏光フィルタ８でＡ領域とＢ領域が垂直に（上下に）並んで配置されることで、ピントのずれ量は垂直方向にのみ生じるので、画像処理部６０の処理負荷を低減できる。

図６（ｃ）では、第１の偏光フィルタ８でＡ領域とＢ領域が左右に（水平に）並んで配置されているが、偏光方向が斜めになっている。また、第２の偏光フィルタ９でＡ領域とＢ領域が格子状であるのは図６（ａ）（ｂ）と同様であるが、偏光方向が斜めである。なお、第１の偏光フィルタ８のＡ領域の偏光方向と第２の偏光フィルタ９のＡ領域の偏光方向は一致しており、第１の偏光フィルタ８のＢ領域の偏光方向と第２の偏光フィルタ９のＢ領域の偏光方向は一致している。

偏光方向が斜めでもピントのずれ量は水平方向にのみ生じるので、画像処理部６０の処理負荷を低減できる。

図６（ｄ）では、第１の偏光フィルタ８でＡ領域とＢ領域が斜めに配置されている。偏光方向はそれぞれ垂直方向と水平方向である。第２の偏光フィルタ９におけるＡ領域とＢ領域の配置は図６（ａ）と同様である。

図６（ｄ）のように、第１の偏光フィルタ８でＡ領域とＢ領域が斜めに配置される場合、ピントのずれ量も斜めに生じる。すなわち、水平にも垂直にもピントがずれる。このため、画像処理部６０はピントのずれ量の検出を垂直方向と水平方向の両方で行う必要があり、画像処理部６０の処理負荷が高くなるおそれがある。しかしながら、図６（ｄ）のような第1の偏光フィルタ８が撮像装置１００に搭載されてもよい。

＜動作手順について＞
図７は、画像処理部６０が距離情報を取得する手順を示すフローチャート図の一例である。図７の手順は、例えばユーザの操作によりスタートする。ユーザの操作の一例としては、撮像操作（シャッターボタンの押下）があるが、予め被写体が撮像されていてもよい。図７では、ステップＳ１０で被写体が撮像され、第１の偏光フィルタ８と第２の偏光フィルタ９を通過した画像データが生成されたものとする。

以下、各ステップを順番に説明する。

<<Ｓ２０ 偏光画像の取得>>
図８を用いて偏光画像の取得について説明する。図８（ａ）は第２の偏光フィルタ９が装着された撮像素子２６の正面図である。図８（ａ）では撮像素子２６の１画素に第２の偏光フィルタ９のＡ領域又はＢ領域が対応している。したがって、画素が交互にＡ領域又はＢ領域に対応する。

輝度値取得部６１は画素がＡ領域とＢ領域のどちらに対応するかが設定されたテーブルを有しており、このテーブルにしたがって、画像データからＡ偏光画像７５とＢ偏光画像７６を取得する。あるいは、水平方向・垂直方向の画素の番号が奇数番号か偶数番号かによって、Ａ領域とＢ領域のどちらに対応するかが決定される。この場合はテーブルを使用せず、輝度値取得部６１は奇数番の画素をＡ偏光画像７５、偶数番の画素をＢ偏光画像７６のように振り分けることができる。

図８（ｂ）も第２の偏光フィルタ９が装着された撮像素子２６の正面図であるが、図８（ｂ）では撮像素子２６の複数画素に第２の偏光フィルタ９の１つのＡ領域又はＢ領域が対応している。このような場合は、例えば左上コーナを原点としてＡ領域とＢ領域の画素位置が（Ｘ，Ｙ）のような座標で指定される。この場合、１つのＡ領域とＢ領域のコーナの座標が登録されたテーブルを輝度値取得部６１が有している。例えば、Ａ領域であるＡ１のマスの座標は（０，０）、Ａ２のマスの座標は（Ｘ_A2、Ｙ_A2）、Ｂ領域であるＢ１のマスの座標は（Ｘ_B1、Ｙ_B1）、Ｂ２のマスの座標は（Ｘ_B2、Ｙ_B2）である。Ａ領域とＢ領域の幅と高さの画素数は固定であるため、Ａ領域とＢ領域のコーナの座標が分かれば各Ａ領域と各領域を特定できる。

輝度値取得部６１は、テーブルを参照してＡ領域の画素範囲を画像データから取得してＡ偏光画像７５を生成し、Ｂ領域の画素範囲を画像データから取得してＢ偏光画像７６を生成する。

<<Ｓ３０ 偏光画像の補間>>
輝度値取得部６１が取得したＡ偏光画像７５とＢ偏光画像７６は格子状に画素が欠落しているので、画像補間部６２は画像を補間して画素の欠落のないＡ偏光画像７５とＢ偏光画像７６をそれぞれ生成する。

図９は画像の補間を説明する図の一例である。図９（ａ）はＡ偏光画像７５の補間を説明し、図９（ｂ）はＢ偏光画像７６の補間を説明するが、補間方法は同じでよい。画像の補間方法には、種々の方法があり、本実施例の画像に適切な方法が選択される。例えば、ニアレストネイバーという方法では、欠落した画素に最も近い画素の輝度値（画素値）を欠落した画素の輝度に設定する。図９（ａ）では、欠落した画素とそうでない画素の距離は上下左右で同じなので、例えば、欠落した画素の左側に隣接した画素の輝度を設定すればよい。

また、バイリニア補間という方法では、欠落した画素の周辺の４画素を使って、輝度値を直線的に補間する。図９（ａ）では、欠落した画素の上下左右の４画素の平均が、欠落した画素の輝度値として算出される。

また、バイキュビック補間という方法では、欠落した画素の周辺の１６画素を使って、輝度値を三次式で補間する。

<<Ｓ４０ ピントのずれ量の算出>>
図１０（ａ）は、ピントのずれ量の算出を説明する図の一例である。図１０（ａ）では、横軸がＡ偏光画像７５とＢ偏光画像７６の水平位置を示し、縦軸が輝度を示す。Ａ偏光画像７５の輝度値をＢ_Ａ、Ｂ領域の輝度値をＢ_Ｂとする。なお、図１０のＡ偏光画像７５とＢ偏光画像７６の水平方向の幅は同じ被写体７が撮像されている範囲（例えば数画素から数十画素）である。

Ａ偏光画像７５とＢ偏光画像７６で同じ被写体７が撮像されている場合、輝度値Ｂ_ＡとＢ_Ｂは同じである。したがって、輝度値Ｂ_ＡとＢ_Ｂが一致するように、Ｂ偏光画像７６をＡ偏光画像７５に対し水平方向に移動した場合の移動量がピントのずれ量Δになる。Ａ偏光画像７５をＢ偏光画像７６に対し水平方向に移動してもよい。

具体的には、例えばＡ偏光画像７５を局所的に、Ｂ偏光画像７６にマッチングさせて、符号付きのズレ量をサブピックセル精度で算出する。まず、整数ピクセルのピントのずれ量の算出を説明する。図１０（ｂ）は、ずれ量の整数ピクセルの算出方法を説明する図の一例である。

(i)ずれ量算出部６３は、例えばＡ偏光画像７５の左上のコーナから順番に注目画素(ｘ,ｙ)を決定する。

(ii)ずれ量算出部６３は、注目画素 (ｘ,ｙ)の近傍画素（例えば、注目画素を中心とする５×５〜１１×１１などのウィンドウ。これらには限られない）において、Ａ偏光画像７５の各画素の輝度値とＢ偏光画像７６の各画素の輝度値を比較する処理を行う。具体的には、Ａ領域のウィンドウｐの各画素、ウィンドウｐと同じ位置のＢ偏光画像７６のウィンドウｑの各画素、に対し画素毎に輝度の差を算出して合計する（又は差の二乗を合計する）。したがって、輝度の差の合計が小さいほどマッチングコストが小さい。

(iii) ずれ量算出部６３は、座標(ｘ、ｙ)を基点にＢ偏光画像７６のウィンドウｑを水平方向に１画素分移動させ、同様に、Ａ偏光画像７５のウィンドウｐとの輝度の差の合計を算出する。

(iv) ずれ量算出部６３は、Ｂ偏光画像７６のウィンドウｑを１画素ずつ水平方向に移動させ輝度の差の合計を算出することを繰り返す。そして、予め定められた水平方向の探索範囲Ｄ内で（本実施例では一例として例えば６４画素）、マッチングコストが最小（輝度の差の合計が最小）となった時の、Ｂ偏光画像７６のウィンドウｑの水平方向の移動量がピントのずれ量の整数ピクセル値となる。

なお、ウィンドウｐ、ｑにおける画素毎の輝度値の差の合計はＳＡＤ（Sum of Absolute Differences）、輝度値の差の二乗の合計はＳＳＤ（Sum of Squared Differences）と呼ばれる。

図１１は、探索範囲内のマッチングコストの算出結果を示す図の一例である。探索範囲Ｄを６４ピクセルとする。０〜６４ピクセルの範囲で視差を求める場合、ウィンドウｑの実際の移動範囲は「-2〜66」となる。すなわち、探索範囲Ｄの最も左の画素よりも２ピクセル左に余分に探索され、探索範囲Ｄの最も右の画素よりも２ピクセル右に余分に探索される。

この±２ピクセルのマージンは、サブピクセルの算出方法の１つである高次多項式推定の算出で必要な、最小のマッチングコストを持つ探索位置を中心に合計５点のマッチングコストを確保するためである。

なお、高次多項式推定でなくパラボラフィッティングでサブピクセル値を演算する場合、±１のマージンでよい。

水平方向に指定された探索範囲内(-2<d<66)において、探索位置（水平位置）毎にマッチングコストＣ(x,y,d)が算出される。ｘ、ｙはマッチングコストが演算された基準画像の座標、ｄが整数ピクセル値、Ｃがマッチングコストである。ウィンドウｐとｑが類似しているほどマッチングコストＣ(x,y,d)の値は小さくなる。

最も小さいマッチングコストを持つ探索位置をＡ偏光画像７５に対するＢ偏光画像７６の整数ピクセル値ｄとする。図１１ではピントのずれ量の整数ピクセル値は１６である。この整数ピクセル値ｄと、その近傍の５点（又は３点）のマッチングコストのデータから、ずれ量算出部６３はサブピクセルのずれ量を演算する。

続いて、図１２を用いてピントのずれ量のサブピクセル値の算出について説明する。図１２は、最小のマッチングコストの探索位置を中心とする近傍５点のマッチングコストを示す。したがって、図１２では、探索位置１４、１５、１６、１７、及び、１８の５点のマッチングコストが示されている。ずれ量算出部６３は、３点（パラボラフィッティング）又は５点（高次多項式推定）をそれぞれ用いてサブピクセル視差を演算する。

図１２は、パラボラフィッティングによるサブピクセル値の演算結果の一例を示す図である。パラボラフィッティングにより得られた二次曲線が最小値を取るサブピクセル値ｓは、探索位置１６のマッチングコストをR(0), 探索位置１５のマッチングコストをR(-1)、探索位置１７のマッチングコストをR(1)とすると、式（１）から求められる。

なお、等角直線フィッティング又は高次多項式推定でサブピクセル値を算出してもよい。以上のように、ピントのずれ量Δはｄ＋ｓとしてサブピクセル単位で得られる。また、ピントのずれ量は画素ごとに求められる。算出負荷を低減するため、画素ブロックごとに算出してもよい。

<<Ｓ５０ ずれ量の距離への変換>>
以上のようにして、ずれ量算出部６３がピントのずれ量を算出した場合、距離変換部６４はピントのずれ量を距離に変換する。図５（ａ）にて説明したように、被写体７が撮像レンズ２３に対してピントがぴったり合う距離に存在する場合は、Ａ偏光画像７５とＢ偏光画像７６の間にずれはない。すなわち、ずれ量算出部６３が算出するずれ量はゼロである。また、ピントがあっている距離から被写体７が移動されると、Ａ偏光画像７５とＢ偏光画像７６の間にずれが生じる。また、被写体７の移動方向（撮像レンズ２３に近づけるか、遠ざけるか）により、ずれ量の符号が変わる。

図１３は、オフセット値とピントのずれ量の対応を模式的に示す図の一例である。図１３では、横軸がピントの合っている距離から被写体７が移動した量であり、縦軸がピントのずれ量である。オフセット値に対するずれ量は単調減少関数になる。オフセット値は、ピントが合っている距離からのどのくらいずれた距離に被写体７があるかを示す。メーカの開発者等が予めオフセット値とピントのずれ量の関係を実験的に求めれば、ピントのずれ量とオフセット値が対応付けられたルックアップテーブル７１を作成できる。

距離変換部６４は、ずれ量算出部６３が算出したずれ量に基づいてルックアップテーブルを参照し、ずれ量に対応付けられたオフセット値を取得する。撮像レンズ２３から被写体７までの距離は、ピントが合っている距離とオフセット値の合計である。

なお、ルックアップテーブルにないずれ量をルックアップテーブルで参照する場合、距離変換部６４は直線などでルックアップテーブルを補間する。あるいは、ルックアップテーブルを回帰曲線で近似して、目的のずれ量に対応するオフセット値を算出してもよい。

ピントが合っている距離は、簡単に求めるのであれば、撮像レンズ２３の焦点距離ｆ、撮像レンズ２３から被写体７までの距離ａ、撮像レンズ２３から撮像素子２６までの距離ｂを使って下式から求めることができる。距離ａが、ピントが合っている距離である。
1/a ＋ １/ｂ＝１/ｆ
あるいは、ピントが合っている距離を開発者等が実験的に求めることもできる。例えば、距離を変えて被写体７を撮像し、各画像データからエッジ強度を求める。最もエッジ強度が大きい距離が、ピントが合っている距離である。

図１３のオフセット値とピントのずれ量の対応は計算により求めることもできる。最も簡便な方法は、市販の光学的シミュレータを利用することである。例えば、Code５（非特許文献２参照。）やLightTools（非特許文献３参照。）等を利用できる。光学的シミュレータはパラメータが入力されるとＡ領域を通過した光の光路とＢ領域を通過した光の光路を算出するソフトウェアである。光路が分かるので、被写体との各距離に対してズレ量を算出することができる。光学的シミュレータに入力されるパラメータは、被写体からレンズまでの距離ａ、レンズから撮像素子までの距離ｂ、焦点距離ｆ、高さｈなどである。この他、撮像レンズ２３の仕様（直径、Ｆナンバー、収差等）を入力することで、より正確なピントのずれ量を検出可能になる。

＜まとめ＞
以上説明したように、本実施例の撮像装置は、撮像レンズに入射した光を第１の偏光フィルタ８で偏光方向が異なる２つの光に偏光し、２つの光が被写体までの距離によって異なる非対称のピントのずれを生じさせることを利用して、被写体までの距離を算出できる。

例えば、左右に異なる２色で分割されたカラーフィルタを撮像レンズに装着する方法では、単色で無い被写体やカラーフィルタにより遮断される色のみの被写体に対する距離の検出精度が低下する。これに対し、偏光フィルタを使用する方法では、偏光フィルタの光の透過率は波長に関係がなく、距離算出の処理も色に依存しない。したがって、色鮮やかな対象物に対して距離計測の精度を高める事ができる。

実施例１ではピントのずれ量を距離に変換したが、本実施例ではフィルタを使用して距離を推定する撮像装置１００について説明する。

図１４は、撮像装置１００が有する機能を説明する機能ブロック図の一例である。図１４の説明において、図４において同一の符号を付した構成要素は同様の機能を果たすので、主に本実施例の主要な構成要素についてのみ説明する場合がある。本実施例の撮像装置１００は、輝度値取得部６１、画像補間部６２、フィルタ処理部６５、相関情報検出部６６、距離推定部６７、及び、画像補正部６８を有する。また、画像処理部６０は、ＲＯＭ４５、ＮＶＲＡＭ４２、又はＳＤＲＡＭ２７に記憶されるフィルタＤＢ（Data Base）７２を有している。

フィルタ処理部６５は、被写体７との距離に対応付けて用意されたＡ偏光画像７５とＢ偏光画像７６のそれぞれのフィルタをＡ偏光画像７５とＢ偏光画像７６に適用する。フィルタＤＢ７２にはこれらのフィルタが予め記憶されている。後述するようにこのフィルタは距離に応じてピントのずれを改善するフィルタである。ずれを改善することでぼけも改善される。

相関情報検出部６６は、フィルタ処理されたＡ偏光画像７５とＢ偏光画像７６を距離ごとに比較して、マッチングコスト（相関情報）を算出する。距離推定部６７は、マッチングコストが最も小さい距離に被写体７が存在すると推定する。

画像補正部６８は、距離推定部６７が推定した距離のフィルタをＡ偏光画像７５とＢ偏光画像７６にそれぞれ適用することで、Ａ偏光画像７５を距離に関係なく焦点（ピント）があったＡ偏光画像７５に補正し、Ｂ偏光画像７６を距離に関係なく焦点（ピント）があったＢ偏光画像７６に補正する。

＜動作手順＞
図１５は、画像処理部６０が距離情報を取得する手順を示すフローチャート図の一例である。図１５の説明においては主に図７との違いを説明する。ステップＳ１０〜Ｓ３０の手順は図７と同様である。以下、各ステップを順番に説明する。

<<Ｓ４０ Ａ偏光画像とＢ偏光画像へのフィルタの適用>>
図１６は、被写体７までの距離と、Ａ偏光画像７５とＢ偏光画像７６の関係を模式的に説明する図の一例である。Ａ偏光画像７５は距離に対して特徴的なピントのずれを生じさせ、Ｂ偏光画像７６は距離に対して特徴的なピントのずれを生じさせる。すなわち、距離と第１の偏光フィルタ８のＡ領域を通過するかＢ領域を通過するかによって、どのようにピントのずれ（ぼけ）が画像に生じるかは決まっている。あくまでイメージ的に説明するが、例えば、距離Ｌ１ではＡ偏光画像７５が左にずれ、Ｂ偏光画像７６が右にずれる傾向があり、エッジが明瞭でなくなるようにぼける。距離Ｌ３ではＡ偏光画像７５が右にずれ、Ｂ偏光画像７６が左にずれる傾向があり、エッジが二重になるようにぼける。距離Ｌ２はこの中間のぼけ方である。距離Ｌ１〜Ｌ３をフィルタ距離という。

すると、フィルタ距離Ｌi（ｉは距離に与えられた番号）とＡ偏光画像７５、フィルタ距離ＬiとＢ偏光画像７６の組み合わせごとに、開発者等が実験などを行うことで、ピントのずれを可能な限り低減するフィルタを予め用意することができる。本実施例ではこのフィルタが予め用意されフィルタＤＢ７２に記憶されている。

例えば、フィルタ距離Ｌ１のＡ偏光画像７５のピントのずれを低減するフィルタをF_L1_A、フィルタ距離Ｌ１のＢ偏光画像７６のピントのずれを低減するフィルタをF_L1_B、距離Ｌ２のＡ偏光画像７５のピントのずれを低減するフィルタをF_L2_A、フィルタ距離Ｌ２のＢ偏光画像７６のピントのずれを低減するフィルタをF_L2_B、フィルタ距離Ｌ３のＡ偏光画像７５のピントのずれを低減するフィルタをF_L3_A、フィルタ距離Ｌ３のＢ偏光画像７６のピントのずれを低減するフィルタをF_L3_B、とする。

フィルタ処理部６５は、図１７に示すように、Ａ偏光画像７５とＢ領域画像のそれぞれに距離ごとに作成されているフィルタを適用する。図１７は、Ａ偏光画像７５とＢ領域画像への各フィルタの適用を説明する図の一例である。Ａ偏光画像７５に、フィルタF_L1_A、F_L2_A、F_L3_Aを適用し、Ｂ偏光画像７６に、フィルタF_L1_B、F_L2_B、F_L3_Bを適用する。

<<Ｓ５０ Ａ偏光画像とＢ偏光画像のマッチングコストを距離ごとに算出>>
相関情報検出部６６は、
・フィルタF_L1_Aが適用されたＡ偏光画像７５とフィルタF_L1_Bが適用されたＢ偏光画像７６、
・フィルタF_L2_Aが適用されたＡ偏光画像７５とフィルタF_L2_Bが適用されたＢ偏光画像７６、
・フィルタF_L3_Aが適用されたＡ偏光画像７５とフィルタF_L3_Bが適用されたＢ偏光画像７６、をそれぞれ比較する。

被写体がフィルタ距離Ｌ１で撮像されているのであれば、フィルタF_L1_Aが適用されたＡ偏光画像７５とフィルタF_L1_Bが適用されたＢ偏光画像７６のマッチングコストが小さくなるはずである（フィルタにより画像が補正されるためピントのずれ（ぼけ）が可能な限り低減され、同じ像が得られる。）。

被写体がフィルタ距離Ｌ２で撮像されているのであれば、フィルタF_L2_Aが適用されたＡ偏光画像７５とフィルタF_L2_Bが適用されたＢ偏光画像７６のマッチングコストが小さくなるはずである。被写体がフィルタ距離Ｌ３で撮像されているのであれば、フィルタF_L3_Aが適用されたＡ偏光画像７５とフィルタF_L3_Bが適用されたＢ偏光画像７６のマッチングコストが小さくなるはずである。

このように、フィルタ距離ＬiとＡ偏光画像７５、フィルタ距離ＬiとＢ偏光画像７６の組み合わせごとに用意されたフィルタが適用されたＡ偏光画像７５とＢ偏光画像７６を比較すれば、最もマッチングコストが小さいフィルタ距離が被写体７との距離を表す。マッチングコストを計算し、マッチングコストが最も小さいところが、マッチング率の最も高いところとなる。なお、マッチングコストはＳＡＤやＳＳＤで求めればよい。マッチングコストが小さいところに着目する代わりに、マッチング率（類似度：例えば、定数からマッチングコストを引いたもの）を計算して、マッチング率が高いところに着目しても良い。マッチング率の算出方法として正規化相関（NCC=Normalized Cross Correlation）を使ってもよい。マッチング率の算出も、画素ごと又は画素ブロックごとに求めることができる。

<<Ｓ６０ 距離の推定>>
距離推定部６７は、マッチングコストが一番小さくなるフィルタ距離Ｌｉを使って、そのまま撮像レンズ２３と被写体７までの距離を決定してもよい。また、マッチングコストが一番小さくなるフィルタ距離Ｌｉの前後のフィルタ距離Ｌｉのマッチングコストも使って、一番マッチングコストが小さい距離を数学的に算出してもよい。

図１８は、マッチングコストが最も小さい距離の算出を説明する図の一例である。図１８では横軸がフィルタ距離、縦軸がマッチングコストである。図１８では５つのフィルタ距離Ｌ１〜Ｌ５のマッチングコストが示されている。マッチングコストが極小値（最小値）を有すると仮定すると二次式で５つの点で回帰する最小二乗法により、５つの点を近似する曲線を求めることができる。

図１８ではフィルタ距離Ｌminで曲線が最小値を取っている。このフィルタ距離Ｌminを撮像レンズ２３と被写体７までの距離とすることで、より高精度に距離を求めることができる。したがって、本実施例のように距離を求めた場合、実施例１で行われたずれ量の距離への変換が不要になる。

<<Ｓ７０ 画像補正>>
フィルタが施されたＡ偏光画像７５とＢ偏光画像７６の比較で、フィルタ距離が求められた場合、各フィルタ距離のフィルタでＡ偏光画像７５とＢ偏光画像７６を補正すれば、ピントのずれ（ぼけ）が改善された鮮明な画像が得られる。マッチングコストの算出が画素ごと又は画素ブロックごとに求められているので、画素ごと又は画素ブロックごとに最適なフィルタに切り替えてＡ偏光画像７５とＢ偏光画像７６に適用する。

画像補正部６８は、距離推定部６７から最もマッチングコストが小さいフィルタ距離を取得し、このフィルタ距離のフィルタをＡ偏光画像７５とＢ偏光画像７６に施す。これにより、撮像レンズ２３までの距離が異なることで生じていたピントのずれ（ぼけ）を可能な限り解消し被写界深度が大きい画像が得られる。

なお、フィルタの選択に距離情報はなくてもよい。つまり、マッチングコストが最も小さいフィルタを選択できればよいのであり、マッチングコストが最も小さいとして選択されたフィルタがどの距離に対応して作成されているかの情報はなくてもよい。

＜距離を利用したシステム＞
被写体７との距離を取得できれば距離を利用して何らかの処理を行ったり、各種の制御を行ったりするシステムが構築される。

図１９はシステム構成例の一例を示す。図１９のシステム３００は通信可能な撮像装置１００と処理装置２００を有する。撮像装置１００は被写体との距離情報（距離画像）を処理装置２００に送信する。処理装置２００は取得した距離に応じた処理を行う。例えば、被写体の三次元情報を復元することができる。

また、例えば車両を制御することができる。この場合、撮像装置１００は画像認識により先行車を認識する。また、この先行車との距離が明らかなので、先行車との距離に応じて処理装置２００が車間制御することができる。例えば、ＡＣＣ（Adaptive Cruise Control）やＰＣＳ（プリクラッシュセーフティシステム）などである。先行車だけでなく、歩行者やガードレールなどの障害物との距離に応じて、操舵したり制動したりするなどの制御もできる。

また、例えば、ＦＡ（ファクトリーオートメーション）において、撮像装置１００が対象との距離を検出して、処理装置２００が部品を最適な位置に配置するシステムがある。ＦＡの一例としては、ロボットピッキング（robot picking）、デパレタイジング（depalletizing）、高さや距離の計測を使用した自動制御（距離や高さを自動的に合わせるシステム）、非接触の対象物寸法測定、検査（高さ・距離によりＯＫ／ＮＧ判定）などがある。また、奥行きの寸法が規定どおりか否かを、処理装置２００が距離によって判断する品質管理などのシステムの実現可能である。この他、距離を検出する事例では好適に適用できる。

また、ドローンなどの移動体に搭載された場合、ドローンからみた被写体７の距離を検出できるので、自身の高度、追跡物までの距離、目的地までの到達時間等を検出できる。

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

例えば、本実施形態では、撮像装置１００が距離の検出を行ったが、撮像装置１００が撮像した画像データに対し、任意の情報処理装置が距離を検出したり、画像を補正したりしてもよい。例えば、撮像装置１００とネットワークを介して接続された情報処理装置が画像データを取得して、距離を検出したり画像補正したりする。

また、第１の偏光フィルタ８は撮像レンズの手前にあってもよい。第１の偏光フィルタ８と第２の偏光フィルタ９は偏光方向が９０度異なる２つ領域を有すると説明したが、偏光方向が異なる３つ以上の領域を有していてもよい。

また、図４、図１４などの構成例は、撮像装置１００の処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。また、撮像装置１００の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。

なお、第１の偏光フィルタ８は偏光部の一例であり、Ａ領域は第１の偏光領域の一例であり、Ｂ領域は第２の偏光領域の一例であり、Ａ偏光画像は第１の輝度値の一例であり、Ｂ偏光画像は第２の輝度値の一例であり、画像処理部６０は輝度処理部の一例である。

８ 第１の偏光フィルタ
９ 第２の偏光フィルタ
２３ 撮像レンズ
６０ 画像処理部
６１ 輝度値取得部
６２ 画像補間部
６３ ずれ量算出部
６４ 距離変換部
６５ フィルタ処理部
６６ 相関情報検出部
６７ 距離推定部
６８ 画像補正部
１００ 撮像装置

Vedavalli Krishnan、″Image and Depth from a Conventional Camera with a Coded Aperture -2007″、［online］、［平成28年8月2日検索］、インターネット〈URL：http://inst.eecs.berkeley.edu/~ee225b/sp14/StudentPresentations/ee225b-Depth%20and%20Image%20retrieval%20presentation.pdf〉 http://www.cybernet.co.jp/codev/ http://www.cybernet.co.jp/lighttools/

Claims (9)

1. 偏光方向が異なる少なくとも２つの偏光領域を有する偏光部と、
   前記偏光部を通過した被写体の光を輝度値に変換する素子と、
   偏光方向が異なる前記偏光領域を通過した光の前記輝度値をそれぞれ取得する輝度値取得部と、
   各偏光領域を通過した前記輝度値のずれに関する情報を取得する輝度処理部と、
   を有する撮像装置。
2. レンズを有し、
   前記偏光部は、前記レンズの開口部に配置される偏光フィルタであり、
   前記素子は、前記偏光フィルタを通過した偏光方向の異なる光のそれぞれに対応する複数の偏光透過領域を有する請求項１に記載の撮像装置。
3. 前記輝度値取得部が取得した第１の偏光領域を通過した第１の輝度値と、第２の偏光領域を通過した第２の輝度値のずれ量を算出するずれ量算出部と、
   前記ずれ量を前記被写体との距離に変換する距離変換部と、
   を有する請求項１又は２に記載の撮像装置。
4. 前記輝度値取得部が取得した第１の偏光領域を通過した第１の輝度値に、前記第１の輝度値と前記被写体との距離に応じて作成されているフィルタを適用し、
   第２の偏光領域を通過した第２の輝度値に、前記第２の輝度値と前記被写体との距離に応じて作成されているフィルタを適用するフィルタ処理部と、
   同じ距離のフィルタが適用された前記第１の輝度値と前記第２の輝度値との相関情報を検出する相関情報検出部と、
   前記相関情報に基づいて前記被写体との距離を推定する距離推定部と、
   を有する請求項１に記載の撮像装置。
5. 前記第１の輝度値に適用される前記フィルタは、前記被写体との距離に応じて前記第１の輝度値のぼけが改善されるように作成されており、
   前記第２の輝度値に適用される前記フィルタは、前記被写体との距離に応じて前記第２の輝度値のぼけが改善される用に作成されている請求項４に記載の撮像装置。
6. 前記距離推定部が推定した距離に対応する前記フィルタを、前記輝度値取得部が取得した前記第１の輝度値、又は、前記第２の輝度値に適用する画像補正部を有する請求項４又は５に記載の撮像装置。
7. 前記距離変換部は、前記ずれ量と前記距離のオフセット値が対応付けられたずれ距離情報から、前記ずれ量算出部が算出した前記ずれ量に対応付けられた前記オフセット値を読み取り、
   前記被写体との焦点が合う前記距離に前記オフセット値を加えることで前記被写体との前記距離を取得する請求項３に記載の撮像装置。
8. 偏光方向が異なる少なくとも２つの偏光領域を有する偏光部と、
   前記偏光部を通過した被写体の光を輝度値に変換する素子と、
   偏光方向が異なる前記偏光領域を通過した光の前記輝度値をそれぞれ取得する輝度値取得部と、
   各偏光領域を通過した前記輝度値のずれに関する情報を取得する輝度処理部と、を有する撮像装置と、
   前記輝度処理部が処理した結果を利用して処理を行う処理装置と、
   を有するシステム。
9. 情報処理装置を、
   偏光方向が異なる少なくとも２つの偏光領域を有する偏光部と、前記偏光部を通過した被写体の光を輝度値に変換する素子と、を有する撮像装置から、偏光方向が異なる前記偏光領域を通過した光の前記輝度値をそれぞれ取得する輝度値取得部と、
   各偏光領域を通過した前記輝度値のずれに関する情報を取得する輝度処理部、
   として機能させるためのプログラム。