JP2015148498A - 測距装置および測距方法 - Google Patents

Abstract

【課題】本発明は、映り込みや大きな明暗差が有る場合でも、多色画像と単色画像とを使い分けながら、より精度良く測距できる測距装置および測距方法を提供する。
【解決手段】本発明の測距装置は、カラーアレイカメラ３２Ａと、モノクロアレイカメラ３２Ｂと、カラーアレイカメラ３２Ａによる多色画像とモノクロアレイカメラ３２Ｂによる単色画像とに基づいて測定対象までの距離を求める距離演算部と、入射光を領域ごとに光学的に互いに異なるように射出する第１および第２光学フィルタ部３１Ａ、３１Ｂとを備え、カラーアレイカメラ３２Ａは、第１光学フィルタ部３１Ａを介して前記物体の光学像を撮像し、モノクロアレイカメラ３２Ｂは、第２光学フィルタ部３１Ｂを介して前記物体の光学像を撮像する。
【選択図】図２

Description

本発明は、測定対象までの距離を測定する測距装置および測距方法に関し、特に、複数の画像に基づいて距離を測定する測距装置および測距方法に関する。

測定対象までの距離を測定する測距技術は、単に測量に用いられるだけでなく、様々な分野に利用されている。例えば、測距技術は、測定対象の三次元形状を測定する三次元形状測定装置や、車両やロボット等の移動体の周辺監視を監視する周辺監視装置等にも利用されている。このような測距技術の代表例として、例えば、超音波、電磁波およびレーザ光等の波を送信して測定対象で反射した前記波の反射波を受信し、前記送信から受信までの時間を計測することによって前記測定対象までの距離を測定する測距技術がある。この測距技術は、波の送受信によって測距するため、比較的正確に測距できるが、測距範囲が比較的狭いという不都合がある。このため、複数の画像に対し対応点探索を行って前記複数の画像における視差を求めることによって前記測定対象までの距離を測定する測距技術がある。この測距技術では、前記複数の画像を取得する必要があり、このために用いられるステレオ撮影装置が例えば特許文献１に開示されている。

この特許文献１に開示されたステレオ撮影装置は、単一の撮像素子と２つの撮影光学系を用いて被写体のステレオ撮影を行う複眼方式のステレオ撮影装置であって、前記２つの撮影光学系が、第１波長域の光のみから成る第１被写体像を形成する第１撮影光学系と、前記第１波長域とは異なる第２波長域の光のみから成る第２被写体像を形成する第２撮影光学系と、から成り、前記撮像素子が、前記第１被写体像の画像記録を行う第１撮像領域と、前記第２被写体像の画像記録を行う第２撮像領域と、に分割された撮像面を有し、その撮像面上に、前記第１撮像領域では第１波長域の光のみを透過させ、前記第２撮像領域では第２波長域の光のみを透過させる波長フィルタを有するものである。

特開２０１２−１２０００６号公報

ところで、例えばガラスや水面等を介して物体（被写体）を撮影して前記物体までの距離を測定したい場合がある。このような場合、前記ガラスや水面等に前記物体が映り込む。このため、撮影した画像には、前記物体が複数存在し、対応点探索に誤対応が生じる場合があり、精度良く測距できない。また、大きな明暗差の背景で物体（被写体）を撮影して前記物体までの距離を測定したい場合もある。このような場合、大きな明暗差があるため、撮像装置（カメラ）のダイナミックレンジを超えてしまう。このため、撮影した画像は、その一部が明るく、あるいは、暗くなってしまい、前記物体が前記画像に撮影されない場合があり、精度良く測距できない。

前記特許文献１に開示されたステレオ撮影装置を用いて測距した場合、ＲＧＢ（赤緑青）のカラー画像と、Ｇ（緑）の単色画像とが得られるが、前記特許文献１に開示されたステレオ撮影装置は、簡単かつ調整容易な光学構成でありながら、左右のイメージサークルのしみ出しに起因する画像劣化を防ぐことを目的に考案された技術であるため、上述の場合に対処できない。

本発明は、上述の事情に鑑みて為された発明であり、その目的は、映り込みや大きな明暗差が有る場合でも、多色画像と単色画像とを使い分けながら、より精度良く測距できる測距装置および測距方法を提供することである。

本発明者は、種々検討した結果、上記目的は、以下の本発明により達成されることを見出した。すなわち、本発明の一態様にかかる測距装置は、複数の第１撮像光学系と、前記複数の第１撮像光学系に対応し、前記複数の第１撮像光学系それぞれによって結像された物体の光学像をそれぞれ複数色で撮像する複数の多色撮像部とを備えるカラーアレイカメラと、複数の第２撮像光学系と、前記複数の第２撮像光学系に対応し、前記複数の第１撮像光学系それぞれによって結像された前記物体の光学像をそれぞれ単色で撮像する複数の単色撮像部とを備えるモノクロアレイカメラと、前記カラーアレイカメラによって得られた多色画像と前記モノクロアレイカメラによって得られた単色画像とに基づいて測定対象までの距離を求める距離演算部と、入射光を領域ごとに光学的に互いに異なるように射出する第１および第２光学フィルタ部とを備え、前記カラーアレイカメラは、前記第１光学フィルタ部を介して前記物体の光学像を前記複数の多色撮像部それぞれによって撮像し、前記モノクロアレイカメラは、前記第２光学フィルタ部を介して前記物体の光学像を前記複数の単色撮像部それぞれによって撮像することを特徴とする。

このような測距装置は、カラーアレイカメラおよびモノクロアレイカメラを備えるので、同一の被写体に対し複数の多色画像および複数の単色画像を得ることができる。そして、これら複数の多色画像は、第１光学フィルタ部を介して得られるので、光学的に異なる状態で撮像された画像であり、これら複数の単色画像も、第２光学フィルタ部を介して得られるので、光学的に異なる状態で撮像された画像である。このため、上記測距装置は、距離演算部によって測定対象までの距離を求める際に、このような光学的に異なる複数の多色画像および複数の単色画像の中から適宜な画像を選択できるので、映り込みや大きな明暗差が有る場合でも、多色画像と単色画像とを使い分けながら、より精度良く測距できる。

また、他の一態様では、上述の測距装置において、前記第１および第２光学フィルタ部における互いに同じ位置に配置される領域は、入射光を光学的に互いに同じになるように射出し、前記第１および第２光学フィルタは、互いに対応する領域の配置位置を維持するように、前記カラーアレイカメラおよび前記モノクロアレイカメラに対し配置されることを特徴とする。

このような測距装置では、第１および第２光学フィルタ部は、入射光を光学的に互いに同じになるように射出する各領域を同一配置で備え、かつ、前記同一配置を維持してカラーアレイカメラおよびモノクロアレイカメラに対し配置されている。このため、上記測距装置は、複数の多色画像および複数の単色画像の中から、光学的に同一な状態で撮像された画像同士を容易に選択できる。

また、他の一態様では、これら上述の測距装置において、前記距離演算部は、前記カラーアレイカメラによって得られた多色画像の一部と、前記モノクロアレイカメラによって得られた単色画像の一部とに基づいて測定対象までの距離を求めることを特徴とする。

この構成によれば、多色画像の一部と単色画像の一部とに基づいて測距する測距装置を提供できる。

また、他の一態様では、これら上述の測距装置において、第１および第２光学フィルタ部における前記複数のサブ光学フィルタは、偏光フィルタであることを特徴とする。

このような測距装置は、前記複数のサブ光学フィルタが偏光フィルタであるので、画像に映り込みが有るか否かを判定できる。このため、上記測距装置は、映り込みが有る場合でも、多色画像と単色画像とを使い分けながら、より精度良く測距できる。

また、他の一態様では、これら上述の測距装置において、第１および第２光学フィルタ部における前記複数のサブ光学フィルタは、ＮＤフィルタであることを特徴とする。

このような測距装置は、前記複数のサブ光学フィルタがＮＤ（Ｎｅｕｔｒａｌ Ｄｅｎｓｉｔｙ）フィルタであるので、被写体の光学像の光量を変えながら前記光学像を撮像できる。このため、上記測距装置は、大きな明暗差が有る場合でも、多色画像と単色画像とを使い分けながら、より精度良く測距できる。

また、他の一態様では、これら上述の測距装置において、前記距離演算部は、前記モノクロアレイカメラによって得られた単色画像に基づいて、前記複数の多色撮像部によって得られた複数の多色画像および前記複数の単色撮像部によって得られた複数の単色画像の中から、前記測定対象までの距離を求めるために用いる多色画像および単色画像を決定し、前記決定した多色画像および単色画像に基づいて前記測定対象までの距離を求めることを特徴とする。

例えば、映り込みの有無の判定や、模様（柄）の判別などのように、画像選択の際に用いられる判定や判別の種別によっては単色画像が適し、多色画像より優位である場合がある。上記測距装置では、距離演算部が、単色画像に基づいて複数の多色画像および複数の単色画像の中から測距に用いる多色画像および単色画像を決定するので、適切に判定や判別を実行できる。このため、上記測距装置は、適切な画像で測距でき、より精度良く測距できる。

また、他の一態様では、これら上述の測距装置において、前記距離演算部は、前記カラーアレイカメラによって得られた多色画像に基づいて、前記複数の多色撮像部によって得られた複数の多色画像および前記複数の単色撮像部によって得られた複数の単色画像の中から、前記測定対象までの距離を求めるために用いる多色画像および単色画像を決定し、前記決定した多色画像および単色画像に基づいて前記測定対象までの距離を求めることを特徴とする。

画像選択の際に、色によって判定や判別を実施する場合があり、このような場合では、多色画像が適し、単色画像より優位である。上記測距装置では、距離演算部が、多色画像に基づいて複数の多色画像および複数の単色画像の中から測距に用いる多色画像および単色画像を決定するので、適切に判定や判別を実行できる。このため、上記測距装置は、適切な画像で測距でき、より精度良く測距できる。

また、他の一態様では、これら上述の測距装置において、前記カラーアレイカメラによって得られた多色画像および前記モノクロアレイカメラによって得られた単色画像それぞれを画像フィルタでフィルタリングする画像フィルタ処理部をさらに備え、前記カラーアレイカメラによって得られた多色画像は、２次元アレイ状に配列された複数の画素それぞれに対応する複数のデータであって、互いに異なる複数色の複数の濃度データを所定のパターンで配列した単位配列を、複数、さらに２次元アレイ状に配列した前記複数のデータを備え、前記画像フィルタは、フィルタリングするデータである対象データに対応する画素の周辺に位置する画素に対応するデータに基づいて、前記対象データを、前記単位配列の色組成比と同じ色組成比を持つデータに変換するフィルタ係数を備え、前記距離演算部は、前記画像フィルタ処理部でフィルタリングされた前記多色画像および前記単色画像に基づいて前記測定対象までの距離を求めることを特徴とする。

対応点探索によって画像間の視差を求めて測距する場合、対応点探索は、パターンマッチングによって対応点を探索するので、一般に、同じ色成分のデータしか利用できない。このため、例えばベイヤー配列の色フィルタを用いることによって得られた原画像データで対応点探索を実施する場合には、例えばＧ画素のデータで対応点探索が実施される場合でも、原画像データの半分のデータ量しか利用できない。しかしながら、上記測距装置では、前記画像フィルタによって単位配列の色組成比と同じ色組成比を持つデータに原画像データを変換するように画像フィルタ処理部によってフィルタリングするので、全ての画素のデータを同じ色成分を持つデータとして扱うことができるようになり、この結果、全ての画素のデータを利用して対応点探索の実施が可能となる。したがって、このような測距装置は、対応点探索をより高精度に実施でき、より精度良く測距できる。

また、他の一態様では、上述の測距装置において、前記画像フィルタの各フィルタ係数は、中心位置に対し対称であることを特徴とする。他の一態様では、上述の測距装置において、前記画像フィルタの各フィルタ係数は、前記画像フィルタ全域に前記単位配列を重ねた場合に、前記単位配列の同じ配列位置におけるフィルタ係数の和が、全ての配列位置で同じ値になるように、設定されていることを特徴とする。

このような測距装置は、全ての画素のデータをより同等な色成分を持つデータとして扱うことができ、より好適である。

また、他の一態様では、これら上述の測距装置において、前記多色画像における前記複数のデータをデモザイクすることによって各色成分データを各画素ごとに持つ画像データの少なくとも１色を生成するデモザイク処理部をさらに備えることを特徴とする。

このような測距装置は、デモザイク処理部をさらに備えるので、測距に用いた画像を出力する場合に、カラー画像で出力できる。

また、他の一態様では、これら上述の測距装置において、前記複数の多色画像と前記複数の単色画像とは、入射光を光学的に互いに同じになるように射出する前記サブ光学フィルタを介して互いに対応付けられており、前記距離演算部は、前記複数の単色撮像部によって得られた複数の単色画像の中から、反射の無い単色画像を検出し、前記検出した単色画像および前記単色画像に対応する多色画像に基づいて前記測定対象までの距離を求めることを特徴とする。

このような測距装置は、反射の無い単色画像および多色画像を用いて測距できる。このため、上記測距装置は、映り込みが有る場合でも、より精度良く測距できる。

また、他の一態様にかかる測距方法は、複数の第１撮像光学系と、前記複数の第１撮像光学系に対応し、前記複数の第１撮像光学系それぞれによって結像された物体の光学像をそれぞれ複数色で撮像する複数の多色撮像部とを備えるカラーアレイカメラで前記物体の光学像を撮像して複数の多色画像を得る多色画像取得工程と、複数の第２撮像光学系と、前記複数の第２撮像光学系に対応し、前記複数の第１撮像光学系それぞれによって結像された物体の光学像をそれぞれ単色で撮像する複数の単色撮像部とを備えるモノクロアレイカメラで前記物体の光学像を撮像して複数の単色画像を得る単色画像取得工程と、前記カラーアレイカメラによって得られた多色画像と前記モノクロアレイカメラによって得られた単色画像とに基づいて測定対象までの距離を求める距離演算工程とを備え、前記カラーアレイカメラは、入射光を光学的に互いに異なるように射出する複数のサブ光学フィルタの領域を備える第１および第２光学フィルタ部のうちの前記第１光学フィルタ部を介して前記物体の光学像を前記複数の多色撮像部それぞれによって撮像し、前記モノクロアレイカメラは、前記第１および第２光学フィルタ部のうちの前記第２光学フィルタ部を介して前記物体の光学像を前記複数の単色撮像部それぞれによって撮像することを特徴とする。

このような測距方法は、カラーアレイカメラおよびモノクロアレイカメラによって同一の被写体に対し複数の多色画像および複数の単色画像を得ることができる。そして、これら複数の多色画像は、第１光学フィルタ部を介して得られるので、光学的に異なる状態で撮像された画像であり、これら複数の単色画像も、第２光学フィルタ部を介して得られるので、光学的に異なる状態で撮像された画像である。このため、上記測距方法は、距離演算工程によって測定対象までの距離を求める際に、このような光学的に異なる複数の多色画像および複数の単色画像の中から適宜な画像を選択できるので、映り込みや大きな明暗差が有る場合でも、多色画像と単色画像とを使い分けながら、より精度良く測距できる。

本発明にかかる測距装置および測距方法は、映り込みや大きな明暗差が有る場合でも、カラー画像と単色画像とを使い分けながら、より精度良く測距できる。

第１実施形態における測距装置の構成を示すブロック図である。 第１実施形態の前記測距装置における画像取得部の構成を示すブロック図である。 第１実施形態の前記画像取得部における第１および第２光学フィルタ部の構成を示す図である。 前記画像取得部におけるアレイカメラ（カラーアレイカメラ、モノクロアレーカメラ）の構成を示す斜視図である。 前記カラーアレイカメラにおける色フィルタの単位色フィルタ配列を示す図である。 前記測距装置の距離演算部における前処理部で用いられる画像フィルタの構成を示す図である。 第１実施形態の前記測距装置における動作を示すフローチャートである。 第１実施形態において、前記モノクロアレイカメラの各個眼で得られた各画像およびそのラプラシアンフィルタ処理結果を一例として示す図である。 偏光角０度の場合において、前記モノクロアレイカメラの個眼で得られた画像およびそのラプラシアンフィルタ処理後の画像と、前記カラーアレイカメラの個眼で得られた画像およびそのラプラシアンフィルタ処理後の画像とを比較して一例として示す図である。 偏光角１３５度の場合において、前記モノクロアレイカメラの個眼で得られた画像およびそのラプラシアンフィルタ処理結果と、前記カラーアレイカメラの個眼で得られた画像およびそのラプラシアンフィルタ処理結果とを比較して一例として示す図である。 前記測距装置における前処理を説明するための図である。 前記前処理における前後の画像を対比して一例として示す図である。 前記測距装置における対応点探索処理を説明するための図である。 前記測距装置における、ステレオ法による測距方法を説明するための図である。 第２実施形態における測距装置の構成を示すブロック図である。 第２実施形態の前記測距装置における画像取得部の構成を示すブロック図である。 第２実施形態の前記画像取得部における第１および第２光学フィルタ部の構成を示す図である。 前記測距装置におけるデモザイク処理を説明するための図である。 第２実施形態の前記測距装置において、第１態様の抽出対象を説明するための図である。 第２実施形態の前記測距装置において、第２態様の抽出対象を説明するための図である。 第２実施形態の前記測距装置が効果的に適用される画像を説明するための図である。 第２実施形態の前記測距装置における動作を示すフローチャートである。 第２実施形態において、前記モノクロアレイカメラの各個眼で得られた各画像および前記カラーアレイカメラの各個眼で得られた各画像を一例として示す図である。 第２実施形態において、被写体抽出を説明するための図である。 第１および第２実施形態の測距装置において、画像取得部の他の構成を示すブロックである。

以下、本発明にかかる実施の一形態を図面に基づいて説明する。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、適宜、その説明を省略する。また、本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。

（第１実施形態）
図１は、第１実施形態における測距装置の構成を示すブロック図である。図２は、第１実施形態の前記測距装置における画像取得部の構成を示すブロック図である。図３は、第１実施形態の前記画像取得部における第１および第２光学フィルタ部の構成を示す図である。図３（Ａ）は、第１光学フィルタ部を示し、図３（Ｂ）は、第２光学フィルタ部を示す。図４は、前記画像取得部におけるアレイカメラ（カラーアレイカメラ、モノクロアレイカメラ）の構成を示す斜視図である。図５は、前記カラーアレイカメラにおける色フィルタの単位色フィルタ配列を示す図である。図５（Ａ）ないし（Ｄ）は、単位色フィルタ配列の第１ないし第４態様を示す。図６は、前記測距装置の距離演算部における前処理部で用いられる画像フィルタの構成を示す図である。図６（Ａ）ないし（Ｄ）は、画像フィルタの第１ないし第４態様を示す。

実施形態における測距装置は、ステレオ法（立体視法）で得られた複数の画像に対し対応点探索を行って前記複数の画像間における視差を求めることによって測定対象である所定の物体までの距離を測定する装置であり、前記複数の画像は、前記測定対象の物体（被写体）を含み、例えば、予め定める基線長間隔だけ離間しかつそれらの各光軸が互いに平行となるように配置されたいわゆるステレオカメラによって得られる。前記対応点探索は、２個の画像に対し、一方を基準画像とし他方を参照画像とした場合に、基準画像上における所定の点に対応する参照画像上における点を探索する処理である。そして、実施形態における測距装置は、アレイカメラによって複数の色から成る複数の多色画像および単色から成る複数の単色画像を取得し、これら複数の多色画像および複数の単色画像の中から、測定対象の状態に応じて測距に最適な画像を選択し、この選択した画像に基づいて測定対象までの距離を求めるものである。

このような測距装置Ｄの各実施形態を以下に説明するが、まず、第１実施形態における測距装置Ｄａは、例えば、図１に示すように、制御処理部１ａと、記憶部２と、画像取得部３ａと、入力部４と、出力部５とを備える。

画像取得部３ａは、制御処理部１ａに接続され、複数の多色画像および複数の単色画像を取得するものである。前記複数の多色画像は、同一の測定対象（物体、被写体）に対し、入射光を光学的に互いに異なるように射出する複数の第１サブ光学フィルタそれぞれを介して生成され、したがって、前記複数の多色画像は、前記複数の第１サブ光学フィルタそれぞれと対応付けられる。同様に、前記複数の単色画像は、前記同一の測定対象に対し、前記複数の多色画像に対する前記複数の第１サブ光学フィルタと同様の光学特性を持つ複数の第２サブ光学フィルタそれぞれを介して生成され、したがって、前記複数の単色画像は、前記複数の第２サブ光学フィルタそれぞれと対応付けられる。このため、同一の光学特性を持つ第１および第２サブ光学フィルタを介して生成された多色画像および単色画像は、測定対象の物体の光学像を光学的に同一の状態で撮像した１対の画像となり、ステレオ法で得られた画像である。なお、前記同一の光学特性を持つ第１および第２サブ光学フィルタは、言い換えれば、複数の第１および第２サブ光学フィルタのうち、入射光を光学的に互いに同じになるように射出する第１および第２サブ光学フィルタ同士である。

このような画像取得部３ａは、例えば、図２に示すように、第１および第２光学フィルタ部３１Ａａ、３１Ｂａと、カラーアレイカメラ３２Ａと、モノクロアレイカメラ３２Ｂとを備える。これらカラーアレイカメラ３２Ａおよびモノクロアレイカメラ３２Ｂは、予め定める基線長間隔だけ離間しかつそれらの各光軸が互いに平行となるように配置される。

第１および第２光学フィルタ部３１Ａａ、３１Ｂａは、それぞれ、入射光を領域ごとに光学的に互いに異なるように射出する光学素子であり、例えば、入射光を光学的に互いに異なるように射出する複数のサブ光学フィルタの領域を備える。より具体的には、第１光学フィルタ部３１Ａａは、図３（Ａ）に示すように、２次元アレイ状に配列された、入射光を光学的に互いに異なるように射出する複数の第１サブ光学フィルタ３１１Ａａを備える。図３（Ａ）に示す例では、第１光学フィルタ部３１Ａａは、２行２列で配列された４個の第１サブ光学フィルタ３１１Ａａ−１１〜３１１Ａａ−２２を備える。これら第１サブ光学フィルタ３１１Ａａは、次の第２サブ光学フィルタ３１１Ｂａも同様に、個別の光学素子であって良く、また一体に形成された光学素子であっても良い。同様に、第２光学フィルタ部３１Ｂａは、図３（Ｂ）に示すように、２次元アレイ状に配列された、入射光を光学的に互いに異なるように射出する複数の第２サブ光学フィルタ３１１Ｂａを備える。図３（Ｂ）に示す例では、第２光学フィルタ部３１Ｂａは、２行２列で配列された４個の第２サブ光学フィルタ３１１Ｂａ−１１〜３１１Ｂａ−２２を備える。

これら第１および第２サブ光学フィルタ３１１Ａａ、３１１Ｂａは、本実施形態では、例えば、入射光を予め設定された所定の偏光で射出する偏光フィルタである。この偏光フィルタの、４個の第１サブ光学フィルタ３１１Ａａ−１１〜３１１Ａａ−２２および４個の第２サブ光学フィルタ３１１Ｂａ−１１〜３１１Ｂａ−２２は、入射光を光学的に互いに異なるように射出するために、それぞれの偏光角が互いに異なっている。より詳しくは、１行１列に配置される第１および第２サブ光学フィルタ３１１Ａａ−１１、３１１Ｂａ−１１は、偏光角が０度であり、１行２列に配置される第１および第２サブ光学フィルタ３１１Ａａ−１２、３１１Ｂａ−１２は、偏光角が４５度であり、２行１列に配置される第１および第２サブ光学フィルタ３１１Ａａ−２１、３１１Ｂａ−２１は、偏光角が９０度であり、そして、２行２列に配置される第１および第２サブ光学フィルタ３１１Ａａ−２２、３１１Ｂａ−２２は、偏光角が１３５度である。このように本実施形態では、第１および第２光学フィルタ部３１Ａａ、３１Ｂａは、２次元配列（本実施形態では２行２列の２次元アレイ配列）において、前記複数の第１および第２サブ光学フィルタ３１１Ａａ、３１１Ｂａを光学特性の観点で互いに同一配置で備えており、光学的に同一の特性を持つサブ光学フィルタ同士が互いに同じ位置に配置されるように構成されている。したがって、第１および第２光学フィルタ部３１Ａａ、３１Ｂａにおける互いに同じ位置に配置される領域は、入射光を光学的に互いに同じになるように射出する。そして、これら第１および第２光学フィルタ部３１Ａａ、３１Ｂａは、互いに対応する領域の配置位置を維持するように（すなわち、光学的に同一の特性を持つ第１および第２サブ光学フィルタ３１１Ａａ、３１１Ｂａ同士が互いに同じ位置に配置されるように）、カラーアレイカメラ３２Ａおよびモノクロアレイカメラ３２Ｂに対し配置される。

カラーアレイカメラ３２Ａは、複数の第１撮像光学系と、前記複数の第１撮像光学系に対応し、前記複数の第１撮像光学系それぞれによって結像された物体の光学像をそれぞれ複数色で撮像する複数の多色撮像部とを備えるものである。このようなカラーアレイカメラ３２Ａは、例えば、図２および図４に示すように、第１アレイレンズ部３２１Ａと、アレイ色フィルタ部３２２Ａと、第１アレイ撮像部３２３Ａとを備える。なお、図４は、カラーアレイカメラ３２Ａおよびモノクロアレイカメラ３２Ｂの図示として共用されており、図４がカラーアレイカメラ３２Ａを図示する場合では、アレイ色フィルタ部３２２Ａの図示が省略されている。

第１アレイレンズ部３２１Ａは、前記複数の第１撮像光学系３２１１Ａを備える。１個の第１撮像光学系３２１１Ａは、その光軸に沿って１または複数の光学レンズを備えて構成される。複数の第１撮像光学系３２１１Ａは、図４に示す例では、各光軸が互いに略平行となるように、そして、線形独立な２方向、より具体的には互いに直交するＸ方向およびＹ方向の２方向に２次元マトリクス状に配列される。図４に示す例では、複数の撮像光学系３２１１Ａは、第１光学フィルタ部３１Ａａにおける第１サブ光学フィルタ３１１Ａａの配列態様および個数に合わせて２行２列に２次元マトリクス状に配列された４個の撮像光学系３２１１Ａ−１１〜３２１１Ａ−２２である。

第１アレイ撮像部３２３Ａは、前記複数の多色撮像部３２３１Ａを備える。１個の多色撮像部３２３１Ａは、２次元マトリクス状に配列された複数の光電変換素子（複数の画素）を備え、各光電変換素子は、それぞれ、アレイ色フィルタ部３２２Ａにおける後述の色フィルタ部３２２１を介して受光した光の光量に応じて変換した電気信号を多色画像における各画素のデータとして出力する。複数の多色撮像部３２３１Ａは、第１アレイレンズ部３２１Ａにおける複数の撮像光学系３２１１Ａに対応し、各撮像面が互いに同一平面となるように配列される。図４に示す例では、複数の多色撮像部３２３１Ａは、線形独立な２方向、より具体的には互いに直交するＸ方向およびＹ方向の２方向に２次元マトリクス状に配列されている。図４に示す例では、複数の多色撮像部３２３１Ａは、２行２列に２次元マトリクス状に配列された４個の多色撮像部３２３１Ａ−１１〜３２３１Ａ−２２が示されている。これら複数の多色撮像部３２３１Ａは、同一の基板上に２次元マトリクス状に配列された複数の前記固体撮像素子を備えて構成されて良いが、図４に示す例では、１個の前記固体撮像素子を備えて構成され、この１個の前記固体撮像素子における有効画素領域が、各多色撮像部３２３１Ａに対応するように、２次元マトリクス状に配列された複数の領域に分割され、これら各領域が各多色撮像部３２３１Ａとして利用される。

アレイ色フィルタ部３２２Ａは、複数の色フィルタ部３２２１を備える。複数の色フィルタ部３２２１は、第１アレイレンズ部３２１Ａにおける複数の撮像光学系３２１１Ａに対応し、各受光面が互いに同一平面となるように配列される。本実施形態では、複数の色フィルタ部３２２１は、線形独立な２方向、より具体的には互いに直交するＸ方向およびＹ方向の２方向に２次元マトリクス状に配列されている。より具体的には、例えば、複数の色フィルタ部３２２１は、２行２列に２次元マトリクス状に配列された４個の色フィルタ部３２２１−１１〜３２２１−２２を備える。

これら複数の色フィルタ部３２２１それぞれは、互いに異なる複数の色フィルタを所定のパターンで配列した単位色フィルタ配列３２２２−Ｕを、複数、さらに２次元アレイ状に配列した光学フィルタ素子である。色フィルタ部３２２１の各色フィルタは、それぞれ、入射した光のうち所定の波長範囲（透過波長帯域）の光を透過し、多色撮像部３２３１Ａの各光電変換素子に対応するように配置される。すなわち、複数の色フィルタ部３２２１は、それぞれ、複数の多色撮像部３２３１Ａに対応するように配置され、各色フィルタ部３２２１および多色撮像部３２３１Ａそれぞれにおいて、色フィルタ部３２２１における各色フィルタは、多色撮像部３２３１Ａにおける複数の光電変換素子（複数の画素）それぞれに対応するように配置される。

前記単位色フィルタ配列３２２２−Ｕは、例えば画像の使用用途等に応じて種々の態様を採用でき、例えば、図５（Ａ）ないし（Ｄ）に示す第１ないし第４態様の単位色フィルタ配列３２２２ａ−Ｕ〜３２２２ｄ−Ｕ等である。

図５（Ａ）に示す第１態様の単位色フィルタ配列３２２２ａ−Ｕは、赤色を透過する赤色フィルタ（Ｒ）、緑色を透過する第１緑色フィルタ（Ｇ）、緑色を透過する第２緑色フィルタ（Ｇ）、および、青色を透過する青色フィルタ（Ｂ）を２行２列で２次元マトリックス状に配置した配列であり、いわゆるベイヤー配列である。すなわち、１行１列に赤色フィルタが配置され、１行２列および２行１列それぞれ第１および第２緑色フィルタが配置され、そして、２行２列に青色フィルタが配置される。このような複数の単位色フィルタ配列３２２２ａ−Ｕをさらに２次元アレイ状に配列した色フィルタ部３２２１ａが図２に示すアレイ色フィルタ部３２２Ａの色フィルタ部３２２１として用いられてよい。この色フィルタ部３２２１ａは、いわゆる原色フィルタである。

また、図５（Ｂ）に示す第２態様の単位色フィルタ配列３２２２ｂ−Ｕは、黄色を透過する黄色フィルタ（Ｙｅ）、マゼンダ色を透過するマゼンダ色フィルタ（Ｍｇ）、シアン色を透過するシアン色フィルタ（Ｃｙ）、および、緑色を透過する緑色フィルタ（Ｇ）を２行２列で２次元マトリックス状に配置した配列である。すなわち、１行１列に黄色フィルタが配置され、１行２列にマゼンダ色フィルタが配列され、２行１列にシアン色フィルタが配置され、そして、２行２列に緑色フィルタが配置される。このような複数の単位色フィルタ配列３２２２ｂ−Ｕをさらに２次元アレイ状に配列した色フィルタ部３２２１ｂが図２に示すアレイ色フィルタ部３２２Ａの色フィルタ部３２２１として用いられてよい。この色フィルタ部３２２１ｂは、いわゆる補色フィルタである。

また、図５（Ｃ）に示す第３態様の単位色フィルタ配列３２２２ｃ−Ｕは、赤色を透過する赤色フィルタ（Ｒ）、緑色を透過する緑色フィルタ（Ｇ）、青色を透過する青色フィルタ（Ｂ）、および、赤外光を透過する赤外光フィルタ（Ｉｒ）を２行２列で２次元マトリックス状に配置した配列である。すなわち、１行１列に赤色フィルタが配置され、１行２列に緑色フィルタが配置され、２行１列に青色フィルタが配置され、そして、２行２列に赤外光フィルタが配置される。このような複数の単位色フィルタ配列３２２２ｃ−Ｕをさらに２次元アレイ状に配列した色フィルタ部３２２１ｃが図２に示すアレイ色フィルタ部３２２Ａの色フィルタ部３２２１として用いられてよい。

また、図５（Ｄ）に示す第４態様の単位色フィルタ配列３２２２ｄ−Ｕは、白色を透過する白色フィルタ（Ｗ）、黄色を透過する黄色フィルタ（Ｙｅ）、赤色を透過する赤色フィルタ（Ｒ）、および、赤外光を透過する赤外光フィルタ（Ｉｒ）を２行２列で２次元マトリックス状に配置した配列である。すなわち、１行１列に白色フィルタが配置され、１行２列に黄色フィルタが配列され、２行１列に赤色フィルタが配置され、そして、２行２列に赤外光フィルタが配置される。このような複数の単位色フィルタ配列３２２２ｄ−Ｕをさらに２次元アレイ状に配列した色フィルタ部３２２１ｄが図２に示すアレイ色フィルタ部３２２Ａの色フィルタ部３２２１として用いられてよい。このような第４態様の単位色フィルタ配列３２２２ｄ−Ｕを用いた色フィルタ部３２２１ｄを用いることによって、可視光だけでなく赤外光も利用した画像を生成できる。

このような構成のカラーアレイカメラ３２Ａでは、第１光学フィルタ部３１Ａａを介して入射される被写体からの光束は、第１アレイレンズ部３２１Ａにおける複数の撮像光学系３２１１Ａにそれぞれ入射され、アレイ色フィルタ部３２２Ａにおける各色フィルタ部３２２１を介して各多色撮像部３２３１Ａの各受光面に物体の光学像をそれぞれ形成する。各多色撮像部３２３１Ａの各光電変換素子は、それぞれ、各色フィルタ部３２２１の各色フィルタを介して受光した光をその光量に応じた電気信号に光電変換し、この電気信号を多色画像における各画素のデータとして制御処理部１ａへ出力する。色フィルタ部３２２１は、図５に示す単位色フィルタ配列３２２２−Ｕで構成されているので、各多色撮像部３２３１Ａは、それぞれ、２次元アレイ状に配列された複数の画素それぞれに対応する複数のデータであって、互いに異なる複数色の複数の濃度データを所定のパターンで配列した単位配列を、複数、さらに２次元アレイ状に配列した前記複数のデータを備える原画像データを出力することになる。したがって、複数の撮像光学系３２１１Ａおよび複数の色フィルタ部３２２１を介して被写体の光学像をそれぞれ撮像する複数の多色撮像部３２３１Ａは、同じ被写体を写した略視差だけずれた原画像データを生成することになる。そして、複数の多色撮像部３２３１Ａは、それぞれ、複数の多色画像それぞれに対応した複数の原画像データを出力する。図４に示す例では、４個の多色撮像部３２３１Ａ−１１〜３２３１Ａ−２２を備える固体撮像素子は、４個の多色画像それぞれに対応した４個の原画像データを出力することになる。

なお、一般に、撮像装置（カメラ）は、イメージセンサから出力される画像信号に対し、ホワイトバランス処理、フィルタ処理、階調変換処理および色空間変換処理等のいわゆる通常の画像処理を施し、最終的な画像信号を生成するが、前記原画像データは、このような通常の画像処理を施す前の、イメージセンサから出力された生の画像信号であり、例えばローデータ（Ｒａｗ Ｄａｔａ、生データ）である。

そして、上記第１態様の単位色フィルタ配列３２２２ａ−Ｕを持つ色フィルタ部３２２１ａが用いられる場合では、単位色フィルタ配列３２２２ａ−Ｕの色組成比は、Ｒ：Ｂ：Ｇ＝１：１：２であり、このため、この色フィルタ部３２２１ａを用いることによって生成された多色画像の原画像データの色組成比も、Ｒ：Ｂ：Ｇ＝１：１：２である。上記第２態様の単位色フィルタ配列３２２２ｂ−Ｕを持つ色フィルタ部３２２１ｂが用いられる場合では、単位色フィルタ配列３２２２ｂ−Ｕの色組成比は、Ｙｅ：Ｍｇ：Ｃｙ：Ｇ＝１：１：１：１であり、このため、この色フィルタ部３２２１ｂを用いることによって生成された多色画像の原画像データの色組成比も、Ｙｅ：Ｍｇ：Ｃｙ：Ｇ＝１：１：１：１である。上記第３態様の単位色フィルタ配列３２２２ｃ−Ｕを持つ色フィルタ部３２２１ｃが用いられる場合では、単位色フィルタ配列３２２２ｃ−Ｕの色組成比は、Ｒ：Ｇ：Ｂ：Ｉｒ＝１：１：１：１であり、このため、この色フィルタ部３２２１ｃを用いることによって生成された原画像データの色組成比も、Ｒ：Ｇ：Ｂ：Ｉｒ＝１：１：１：１である。上記第４態様の単位色フィルタ配列３２２２ｄ−Ｕを持つ色フィルタ部３２２１ｄが用いられる場合では、単位色フィルタ配列３２２２ｄ−Ｕの色組成比は、Ｗ：Ｙｅ：Ｒ：Ｉｒ＝１：１：１：１であり、このため、この色フィルタ部３２２１ｄを用いることによって生成された原画像データの色組成比も、Ｗ：Ｙｅ：Ｒ：Ｉｒ＝１：１：１：１である。

そして、カラーアレイカメラ３２Ａには、第１光学フィルタ部３１Ａａを介して被写体からの光束が入射される。したがって、カラーアレイカメラ３２Ａは、光学的に互いに異なる状態の光学像を複数色で撮像する。このため、カラーアレイカメラ３２Ａから出力される複数の多色画像それぞれに対応した複数の原画像データ（多色原画像データ）は、光学的に互いに異なる状態の被写体の光学像を複数色で撮像して生成されたデータである。より具体的には、本実施形態では、第１光学フィルタ部３１Ａａの第１サブ光学フィルタ３１１Ａａは、偏光フィルタであるので、複数の多色画像それぞれに対応する複数の多色原画像データは、互いに異なる偏光での光学像を複数色で撮像して生成されたデータである。より詳しくは、２行２列の２次元配列において、１行１列に位置する、第１サブ光学フィルタ３１１Ａａ−１１、第１撮像光学系３２１１Ａ−１１、色フィルタ部３２２１−１１および多色撮像部３２３１Ａ−１１によって生成された多色原画像データは、偏光角０度の偏光フィルタを介して得られた被写体の光学像を撮像したデータ（０度多色原画像データ）である。１行２列に位置する、第１サブ光学フィルタ３１１Ａａ−１２、第１撮像光学系３２１１Ａ−１２、色フィルタ部３２２１−１２および多色撮像部３２３１Ａ−１２によって生成された多色原画像データは、偏光角４５度の偏光フィルタを介して得られた被写体の光学像を撮像したデータ（４５度多色原画像データ）である。２行１列に位置する、第１サブ光学フィルタ３１１Ａａ−２１、第１撮像光学系３２１１Ａ−２１、色フィルタ部３２２１−２１および多色撮像部３２３１Ａ−２１によって生成された多色原画像データは、偏光角９０度の偏光フィルタを介して得られた被写体の光学像を撮像したデータ（９０度多色原画像データ）である。２行２列に位置する、第１サブ光学フィルタ３１１Ａａ−２２、第１撮像光学系３２１１Ａ−２２、色フィルタ部３２２１−２２および多色撮像部３２３１Ａ−２２によって生成された多色原画像データは、偏光角１３５度の偏光フィルタを介して得られた被写体の光学像を撮像したデータ（１３５度多色原画像データ）である。

モノクロアレイカメラ３２Ｂは、複数の第２撮像光学系と、前記複数の第２撮像光学系に対応し、前記複数の第２撮像光学系それぞれによって結像された物体の光学像をそれぞれ単色で撮像する複数の単色撮像部とを備えるものである。このようなモノクロアレイカメラ３２Ｂは、例えば、図２および図４に示すように、第２アレイレンズ部３２１Ｂと、第２アレイ撮像部３２３Ｂとを備える。すなわち、上述したカラーアレイカメラ３２Ａに対し、モノクロアレイカメラ３２Ｂは、アレイ色フィルタ部３２２Ａが無い構成である。

第２アレイレンズ部３２１Ｂは、前記複数の第２撮像光学系３２１１Ｂを備える。１個の第２撮像光学系３２１１Ｂは、その光軸に沿って１または複数の光学レンズを備えて構成される。複数の第２撮像光学系３２１１Ｂは、本実施形態では、第１アレイレンズ部３２１Ａと同様に、各光軸が互いに略平行となるように、そして、線形独立な２方向、より具体的には互いに直交するＸ方向およびＹ方向の２方向に２行２列に２次元マトリクス状に配列された４個の撮像光学系３２１１Ｂ−１１〜３２１１Ｂ−２２である。

第２アレイ撮像部３２３Ｂは、前記複数の単色撮像部３２３１Ｂを備える。１個の単色撮像部３２３１Ｂは、２次元マトリクス状に配列された複数の光電変換素子（複数の画素）を備え、各光電変換素子は、それぞれ、その受光した光の光量に応じて変換した電気信号を単色画像における各画素のデータとして出力する。複数の単色撮像部３２３１Ｂは、第２アレイレンズ部３２１Ｂにおける複数の撮像光学系３２１１Ｂに対応し、各撮像面が互いに同一平面となるように配列される。図４に示す例では、複数の単色撮像部３２３１Ｂは、複数の多色撮像部３２３１Ａと同様に、線形独立な２方向、より具体的には互いに直交するＸ方向およびＹ方向の２方向に２行２列に２次元マトリクス状に配列された４個の単色撮像部３２３１Ｂ−１１〜３２３１Ｂ−２２である。これら複数の単色撮像部３２３１Ｂは、複数の多色撮像部３２３１Ａと同様に、複数の前記固体撮像素子を備えて構成されて良いが、図４に示す例では、有効画素領域を複数の領域に分割して用いられる１個の前記固体撮像素子を備えて構成されている。

なお、カラーアレイカメラ３２Ａのアレイ色フィルタ部３２２Ａにおける色フィルタ部３２２１が、赤外光を透過する赤外光フィルタ（Ｉｒ）を含む場合には、からアレイカメラ３２Ａと同様に赤外光を撮像するように、モノクロアレイカメラ３２Ｂは、赤外光カットフィルタを備えないことが好ましい。

このような構成のモノクロアレイカメラ３２Ｂでは、第２光学フィルタ部３１Ｂａを介して入射される被写体からの光束は、第２アレイレンズ部３２１Ｂにおける複数の撮像光学系３２１１Ｂそれぞれを介して、各単色撮像部３２３１Ｂの各受光面に物体の光学像をそれぞれ形成するように、各単色撮像部３２３１Ｂに入射される。各単色撮像部３２３１Ｂの各光電変換素子は、それぞれ、その受光した光をその光量に応じた電気信号に光電変換し、この電気信号を単色画像における各画素のデータとして制御処理部１ａへ出力する。複数の撮像光学系３２１１Ｂを介して被写体の光学像をそれぞれ撮像する複数の単色撮像部３２３１Ｂは、同じ被写体を写した略視差だけずれた原画像データを生成し、複数の単色画像それぞれに対応した複数の原画像データを出力する。図４に示す例では、４個の単色撮像部３２３１Ｂ−１１〜３２３１Ｂ−２２を備える固体撮像素子は、４個の単色画像それぞれに対応した４個の原画像データを出力することになる。

そして、モノクロアレイカメラ３２Ｂには、第２光学フィルタ部３１Ｂａを介して被写体からの光束が入射される。したがって、モノクロアレイカメラ３２Ｂは、光学的に互いに異なる状態の被写体の光学像を単色で撮像する。このため、モノクロアレイカメラ３２Ｂから出力される複数の単色画像それぞれに対応した複数の原画像データ（単色原画像データ）は、光学的に互いに異なる状態の光学像を単色で撮像して生成されたデータである。より具体的には、本実施形態では、第２光学フィルタ部３１Ｂａの第２サブ光学フィルタ３１１Ｂａは、偏光フィルタであるので、複数の単色画像それぞれに対応する複数の単色原画像データは、互いに異なる偏光での光学像を単色で撮像して生成されたデータである。より詳しくは、２行２列の２次元配列において、１行１列に位置する、第２サブ光学フィルタ３１１Ｂａ−１１、第２撮像光学系３２１１Ｂ−１１および単色撮像部３２３１Ｂ−１１によって生成された単色原画像データは、偏光角０度の偏光フィルタを介して得られた被写体の光学像を撮像したデータ（０度単色原画像データ）である。１行２列に位置する、第２サブ光学フィルタ３１１Ｂａ−１２、第２撮像光学系３２１１Ｂ−１２および単色撮像部３２３１Ｂ−１２によって生成された単色原画像データは、偏光角４５度の偏光フィルタを介して得られた被写体の光学像を撮像したデータ（４５度単色原画像データ）である。２行１列に位置する、第２サブ光学フィルタ３１１Ｂａ−２１、第２撮像光学系３２１１Ｂ−２１および単色撮像部３２３１Ｂ−２１によって生成された単色原画像データは、偏光角９０度の偏光フィルタを介して得られた被写体の光学像を撮像したデータ（９０度単色原画像データ）である。２行２列に位置する、第２サブ光学フィルタ３１１Ｂａ−２２、第２撮像光学系３２１１Ｂ−２２および単色撮像部３２３１Ｂ−２２によって生成された単色原画像データは、偏光角１３５度の偏光フィルタを介して得られた被写体の光学像を撮像したデータ（１３５度単色原画像データ）である。

なお、上述のモノクロアレイカメラ３２Ｂは、輝度（白色）の単色原画像データを生成したが、図２に破線で示すように、単色の色フィルタ（例えばＧフィルタ等）を備えて構成されるフィルタ部３２２Ｂを第２アレイレンズ部３２１Ｂと第２アレイ撮像部３２３Ｂとの間に介在し、１ｃｈ（この例では緑色）の単色原画像データを生成しても良い。

図１に戻って、入力部４は、制御処理部１ａに接続され、例えば、測距の開始を指示するコマンド等の各種コマンド、および、例えば測定対象の物体を写した画像における識別子（ファイルネーム）の入力や測距の際の画像処理に用いられる画像フィルタの選択入力等の測距処理を実行する上で必要な各種データを測距装置Ｄａに入力する機器であり、例えば、キーボードやマウス等である。出力部５は、制御処理部１ａに接続され、入力部４から入力されたコマンドやデータ、および、測距装置Ｄａによって測距された測定対象までの距離や測距の際に用いた画像等を出力する機器であり、例えばＣＲＴディスプレイ、ＬＣＤおよび有機ＥＬディスプレイ等の表示装置やプリンタ等の印刷装置等である。

なお、入力部４および出力部５からタッチパネルが構成されてもよい。このタッチパネルを構成する場合において、入力部４は、例えば抵抗膜方式や静電容量方式等の操作位置を検出して入力する位置入力装置であり、出力部５は、表示装置である。このタッチパネルでは、表示装置の表示面上に位置入力装置が設けられ、表示装置に入力可能な１または複数の入力内容の候補が表示され、ユーザが、入力したい入力内容を表示した表示位置を触れると、位置入力装置によってその位置が検出され、検出された位置に表示された表示内容がユーザの操作入力内容として画像処理装置Ｄに入力される。このようなタッチパネルでは、ユーザは、入力操作を直感的に理解し易いので、ユーザにとって取り扱い易い測距装置Ｄａが提供される。

記憶部２は、制御処理部１ａに接続され、測距処理を実行する上で必要な各種プログラムや各種データを記憶する装置であり、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の不揮発性記憶素子、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性記憶素子およびその周辺回路等を備えて構成される。記憶部２は、例えばハードディスク等の大容量記憶装置を備えても良い。

そして、記憶部２は、原画像データ（多色原画像データおよび単色原画像データ）を記憶し、この原画像データに対し制御処理部１ａによって後述の測距処理を行うための作業領域として用いられる。なお、この際に、光学的に同一の特性を持つ第１および第２サブ光学フィルタ３１１Ａａ、３１１Ｂａを介して得られた被写体の光学像を撮像した多色原画像データと単色原画像データとが対応付けて記憶されて良い。本実施形態では、上述したように、第１および第２光学フィルタ部３１Ａａ、３１Ｂａは、入射光を光学的に互いに同じになるように射出する各領域（各第１および第２サブ光学フィルタ３１１Ａａ、３１１Ｂａ）を同一配置で備え、かつ、前記同一配置を維持してカラーアレイカメラ３２Ａおよびモノクロアレイカメラ３２Ｂに対し配置されている。このため、制御処理部１ａは、複数の多色画像（多色原画像データ）および複数の単色画像（単色原画像データ）の中から、光学的に同一な状態で撮像された画像を第１および第２サブ光学フィルタ３１１Ａａ、３１１Ｂａの配置関係で区別できるので、複数の多色画像および複数の単色画像の中から、光学的に同一な状態で撮像された画像同士を容易に選択でき、これら多色原画像データと単色原画像データとを容易に対応付けて記憶部２に記憶できる。例えば、偏光角０度の多色原画像データは、２次元配列において、１行１列に位置する、第１光学フィルタ部３１Ａａの第１サブ光学フィルタ３１１Ａａ−１１、第１アレイレンズ部３２１Ａの第１撮像光学系３２１１Ａ−１１、アレイ色フィルタ部３２２Ａの色フィルタ部３２２１−１１および第１アレイ撮像部３２３Ａの多色撮像部３２３１Ａ−１１によって生成され、これに対応する偏光角０度の単色原画像データは、２次元配列において、１行１列に位置する、第２光学フィルタ部３１Ｂａの第２サブ光学フィルタ３１１Ｂａ−１１、第２アレイレンズ部３２１Ｂの第２撮像光学系３２１１Ｂ−１１および第２アレイ撮像部３２３Ｂの単色撮像部３２３１Ｂ−１１によって生成される。したがって、各１個の固体撮像素子で第１および第２アレイ撮像部３２３Ａ、３２３Ｂを構成する場合、制御処理部１ａは、２行２列に分割された各有効画素領域における１行１列の各領域に該当する画素の各データが、光学的に同一な状態で撮像された多色画像（多色原画像データ）および単色画像（単色原画像データ）として選択できる。そして、この対応付けでは、例えば、原画像データは、例えば、ファイルネームおよび撮像の際の光学的な状態（本実施形態では偏光角）と対応付けて記憶されて良く、また例えば、原画像データは、ファイルネームおよび撮像に用いられたサブ光学フィルタ３１１ａの２次元配列上の配列位置と対応付けて記憶されて良い。

制御処理部１ａは、所定の測距処理プログラムに基づき後述の測距処理を実行するべく、測距装置Ｄａの各部を当該各部の機能に応じてそれぞれ制御するものである。前記所定の測距処理プログラムは、ステレオ法で得られた複数の画像に対し対応点探索を行って前記複数の画像間における視差を求めることによって測定対象の物体までの距離を測定するためのプログラムである。制御処理部１ａは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）およびその周辺回路を備えて構成され、所定の測距処理プログラムを実行することによって、制御処理部１ａには、機能的に、制御部１１および距離演算部１２ａが構成される。

制御部１１は、所定の測距処理を実行するために、測距装置Ｄａの各部を当該各部の機能に応じてそれぞれ制御するものである。

距離演算部１２ａは、カラーアレイカメラ３２Ａによって得られた多色画像の多色原画像データとモノクロアレイカメラ３２Ｂによって得られた単色画像の単色原画像データとに基づいて測定対象の物体までの距離を求めるものである。このような距離演算部１２ａは、より具体的には、モノクロアレイカメラ３２Ｂによって得られた単色画像に基づいて、複数の多色撮像部３２３１Ａによって得られた複数の多色画像および複数の単色撮像部３２３１Ｂによって得られた複数の単色画像の中から、測定対象の物体までの距離を求めるために用いる多色画像および単色画像を決定し、この決定した多色画像および単色画像に基づいて前記測定対象の物体までの距離を求める。したがって、本実施形態では、一側面では、距離演算部１２ａは、カラーアレイカメラ３２Ａによって得られた多色画像の一部と、モノクロアレイカメラ３２Ｂによって得られた単色画像の一部とに基づいて前記測定対象の物体までの距離を求めるものである。すなわち、本実施形態では、距離演算部１２ａは、偏光角の異なる偏光フィルタそれぞれを用いて得られた各４個の多色画像および単色画像のうちの各１個の多色画像および単色画像に基づいて前記測定対象の物体までの距離を求めるものである。

このような距離演算部１２ａは、例えば、図１に示すように、個眼画像選択処理部１２１、前処理部１２２ａ、対応点探索処理部１２３ａ、位置ずれ量演算部１２４および距離算出部１２５を備える。

個眼画像選択処理部１２１は、複数の多色撮像部３２３１Ａによって得られた複数の多色画像および複数の単色撮像部３２３１Ｂによって得られた複数の単色画像の中から、測定対象の物体までの距離を求めるために用いる多色画像および単色画像を選択するものである。より具体的には、個眼画像選択処理部１２１は、モノクロアレイカメラ３２Ａによって得られた単色画像に基づいて、前記複数の多色画像および複数の単色画像の中から、測距に用いる多色画像および単色画像を選定するものである。個眼画像選択処理部１２１は、この選定した多色画像および単色画像（多色原画像データおよび単色原画像データ）を前処理部１２２ａへ通知する。

前処理部１２２ａは、前処理として、個眼画像選択処理部１２１から通知された多色画像および単色画像（多色原画像データおよび単色原画像データ）それぞれを所定の画像フィルタ（第１画像フィルタ）でフィルタリングすることによって各前処理後画像データ（前処理後多色画像データおよび前処理後単色画像データ）を生成するものである。前処理部１２２ａは、これら生成した各前処理後画像データを対応点探索処理部１２３ａへ通知するものである。前記画像フィルタ（第１画像フィルタ）は、フィルタリングするデータである対象データに対応する画素の周辺に位置する画素に対応するデータに基づいて、前記対象データを、原画像データにおける単位配列の色組成比と同じ色組成比を持つデータに変換するフィルタ係数を備えて構成される。

前記画像フィルタＦＬ１は、種々の態様を採用でき、例えば、ベイヤー配列を単位色フィルタ配列３２２２ａ−Ｕとした色フィルタ部３２２１ａによって得られる原画像データに対し、図６（Ａ）ないし（Ｄ）に示す第１ないし第４態様の画像フィルタＦＬ１ａ〜ＦＬ１ｄ等である。これら第１ないし第４態様の画像フィルタＦＬ１ａ〜ＦＬ１ｄは、それぞれ、フィルタリングの対象データに対応する画素（対象画素）の周辺に位置する画素（周辺画素）に対応するデータ（周辺データ）に基づいて、前記対象データを、単位色フィルタ配列３２２２ａ−Ｕの色組成比（Ｒ：Ｂ：Ｇ＝１：１：２）、すなわち、原画像データにおける単位配列の色組成比と同じ色組成比を持つデータに変換するように、そのフィルタ係数の各値がそれぞれ調整されて設定されている。

より具体的には、第１態様の画像フィルタＦＬ１ａは、図６（Ａ）に示すように、３行３列の中心位置に対し対称なフィルタ係数を持つフィルタである。すなわち、中心の２行２列に位置するフィルタ係数は、４／１６であり、１行２列、２行１列、２行３列および３行２列それぞれに位置する各フィルタ係数は、２／１６であり、そして、１行１列、１行３列、３行１列および３行３列それぞれに位置する各フィルタ係数は、１／１６である。このようなフィルタ係数を持つ第１態様の画像フィルタＦＬ１ａは、ガウシアンフィルタでもある。なお、図６（Ａ）の左右それぞれに示す各画像フィルタは、表現形式が異なるだけで、同じものである。図６（Ａ）の左側では、各位置にフィルタ係数の値そのものが記載され、図６（Ａ）の右側では、各位置にフィルタ係数の値の分子が記載され、分母は、右下に纏めて記載されている。図６（Ｂ）ないし（Ｄ）は、図６（Ａ）の右側に示す記載形式で記載されている。

第２態様の画像フィルタＦＬ１ｂは、５行５列の中心位置に対し対称なフィルタ係数を持つフィルタである。すなわち、中心の３行３列に位置するフィルタ係数は、３６／２５６であり、２行３列、３行２列、３行４列および４行３列それぞれに位置する各フィルタ係数は、２４／２５６であり、２行２列、２行４列、４行２列および４行４列それぞれに位置する各フィルタ係数は、１６／２５６であり、１行３列、３行１列、３行５列および５行３列それぞれに位置する各フィルタ係数は、６／２５６であり、１行２列、１行４列、２行１列、２行５列、４行１列、４行５列、５行２列および５行４列それぞれに位置する各フィルタ係数は、４／２５６であり、そして、１行１列、１行５列、５行１列および５行５列それぞれに位置する各フィルタ係数は、１／２５６である。

第３態様の画像フィルタＦＬ１ｃは、７行７列の中心位置に対し対称なフィルタ係数を持つフィルタである。すなわち、中心の４行４列に位置するフィルタ係数は、４００／４０９６であり、３行４列、４行３列、４行５列および５行４列それぞれに位置する各フィルタ係数は、３００／４０９６であり、３行３列、３行５列、５行３列および５行５列それぞれに位置する各フィルタ係数は、２２５／４０９６であり、２行４列、４行２列、４行６列および６行４列それぞれに位置する各フィルタ係数は、２００／４０９６であり、２行３列、２行５列、３行２列、３行６列、５行２列、５行５列、６行３列および６行５列それぞれに位置する各フィルタ係数は、９０／４０９６であり、２行２列、２行６列、６行２列および６行６列それぞれに位置する各フィルタ係数は、３６／４０９６であり、１行４列、４行１列、４行７列および７行４列それぞれに位置する各フィルタ係数は、２０／４０９６であり、１行３列、１行５列、３行１列、３行７列、５行１列、５行７列、７行３列および７行５列それぞれに位置する各フィルタ係数は、１５／２５６であり、１行２列、１行６列、２行１列、２行７列、６行１列、６行７列、７行２列および７行６列それぞれに位置する各フィルタ係数は、６／２５６であり、そして、１行１列、１行７列、７行１列および７行７列それぞれに位置する各フィルタ係数は、１／４０９６である。

第４態様の画像フィルタＦＬ１ｄは、５行５列の中心位置に対し対称なフィルタ係数を持つフィルタである。すなわち、中心の３行３列に位置するフィルタ係数は、１６／１４４であり、２行３列、３行２列、３行４列および４行３列それぞれに位置する各フィルタ係数は、１２／１４４であり、２行２列、２行４列、４行２列および４行４列それぞれに位置する各フィルタ係数は、９／１４４であり、１行３列、３行１列、３行５列および５行３列それぞれに位置する各フィルタ係数は、４／１４４であり、１行２列、１行４列、２行１列、２行５列、４行１列、４行５列、５行２列および５行４列それぞれに位置する各フィルタ係数は、３／１４４であり、そして、１行１列、１行５列、５行１列および５行５列それぞれに位置する各フィルタ係数は、１／１４４である。

このような第１ないし第４態様の画像フィルタＦＬ１ａ〜ＦＬ１ｄに対し、高周波のモアレ成分が残ると対応点探索が誤判定する虞があるので、画像フィルタＦＬ１は、例えば、原画像データの画像に含まれる高周波成分の割合に応じて適宜に選択されることが好ましい。例えば、原画像データの画像に含まれる高周波成分の割合が多いほど、よりボケさせる画像フィルタＦＬ１が選択される。

また、画像フィルタＦＬの各フィルタ係数は、画像フィルタＦＬ全域に単位配列を重ねた場合に、前記単位配列の同じ配列位置におけるフィルタ係数の和が全ての配列位置で同じ値になるように、設定されてよい。

図１に戻って、対応点探索処理部１２３ａは、前処理部１２２ａから通知された各前処理後画像データ（前処理後多色原画像データおよび前処理後単色原画像データ）それぞれに対応する多色画像および単色画像の間で対応点探索を実施するものである。対応点探索処理部１２３ａは、対応点探索の結果を位置ずれ量演算部１２４へ通知する。

位置ずれ量演算部１２４は、対応点探索処理部１２３ａから通知された対応点探索の結果から、対応点探索処理部１２３で探索された対応点間の距離である位置ずれ量を求めるものである。位置ずれ量は、ピクセル単位（画素単位、画素ピッチの整数倍）で求められてもよく、また、サブピクセル単位で求められてもよい。位置ずれ量演算部１２４は、この求めた位置ずれ量を距離算出部１２５へ通知する。

距離算出部１２５は、位置ずれ量演算部１２４で求められ位置ずれ量演算部１２４から通知された位置ずれ量に基づいて、前記想定対象の物体までの距離を算出するものである。より具体的には、距離算出部１２５は、位置ずれ量演算部１２４で求めた対応点間の位置ずれ量を個眼画像選択処理部１２１で選定された多色画像と単色画像との間における視差とし、前記視差に基づいて前記対応点の表す測定対象の物体までの距離を求めるものである。

次に、本実施形態における測距装置の動作について説明する。図７は、第１実施形態の前記測距装置における動作を示すフローチャートである。図８は、第１実施形態において、前記モノクロアレイカメラの各個眼で得られた各画像およびそのラプラシアンフィルタ処理結果を一例として示す図である。図８（Ａ）、（Ｃ）、（Ｅ）および（Ｇ）は、それぞれ、偏光角０度、４５度、９０度および１３５度における各単色画像の一例を示し、図８（Ｂ）、（Ｄ）、（Ｆ）および（Ｈ）は、それぞれ、そのラプラシアンフィルタ処理後の各画像を示す。図９は、偏光角０度の場合において、前記モノクロアレイカメラの個眼で得られた画像およびそのラプラシアンフィルタ処理後の画像と、前記カラーアレイカメラの個眼で得られた画像およびそのラプラシアンフィルタ処理後の画像とを比較して一例として示す図である。図９（Ａ）は、図８（Ａ）に示す単色画像の一部拡大図であり、図９（Ｂ）は、そのラプラシアンフィルタ処理後の画像を示し、図９（Ｃ）は、図８（Ａ）に示す単色画像を撮像する際に用いられた第２サブ光学フィルタ３１１Ｂａ−１１と同じ光学特性を持つ第１サブ光学フィルタ３１１Ａａ−１１を用いて多色撮像部３２３１Ａ−１１で撮像した多色画像における、図８（Ａ）に示す一部拡大図と同じ画像領域を拡大した一部拡大図であり、図９（Ｄ）は、そのラプラシアンフィルタ処理後の画像を示す。すなわち、図９（Ａ）および（Ｃ）は、それぞれ、０度単色画像および０度多色画像の一部拡大図であり、図９（Ｂ）および（Ｄ）は、それぞれ、それらのラプラシアンフィルタ処理後の画像を示す。図１０は、偏光角１３５度の場合において、前記モノクロアレイカメラの個眼で得られた画像およびそのラプラシアンフィルタ処理結果と、前記カラーアレイカメラの個眼で得られた画像およびそのラプラシアンフィルタ処理結果とを比較して一例として示す図である。図１０（Ａ）および（Ｃ）は、それぞれ、１３５度単色画像および０度多色画像の一部拡大図であり、図１０（Ｂ）および（Ｄ）は、それぞれ、それらのラプラシアンフィルタ処理後の画像を示す。図１１は、前記測距装置における前処理を説明するための図である。図１１（Ａ）は、画像の各画素（原画像データの各データ）と画像フィルタとの関係を示し、図１１（Ｂ）は、画像フィルタを示し、図１１（Ｃ）は、フィルタリング後の前処理後画像を示す。図１２は、前記前処理における前後の画像を対比して一例として示す図である。図１２（Ａ）は、図９（Ａ）に示す０度単色画像の一部拡大図であり、図１２（Ｂ）は、その前処理後の画像を示し、図１２（Ｃ）は、図９（Ｃ）に示す０度多色画像の一部拡大図であり、図１２（Ｄ）は、その前処理後の画像を示す。図１３は、前記測距装置における対応点探索処理を説明するための図である。図１３（Ａ）は、基準画像を示し、図１３（Ｂ）は、参照画像を示し、図１３（Ｃ）は、対応点探索の対象である基準画像および参照画像を重ねて表示した図である。図１４は、前記測距装置における、ステレオ法による測距方法を説明するための図である。

測距装置Ｄａは、例えば、ユーザの操作によって入力部４から起動コマンドを受け付けると、測距処理プログラムを実行する。この画像処理プログラムの実行によって、制御処理部１ａに制御部１１および距離演算部１２ａが機能的に構成され、そして、距離演算部１２ａに個眼画像選択処理部１２１、前処理部１２２ａ、対応点探索処理部１２３ａ、位置ずれ量演算部１２４および距離算出部１２５が機能的に構成される。そして、測距装置Ｄａは、例えば、ユーザの操作によって入力部４から測距開始コマンドを受け付けると、測距を実行する。

この測距が開始されると、図７において、まず、処理Ｓ１１では、画像取得部３ａによって複数の多色画像および複数の単色画像それぞれに対応する複数の多色原画像データおよび複数の単色原画像データが生成され、これら生成された複数の多色原画像データおよび複数の単色原画像データが当該測距装置Ｄａの記憶部２に記憶される。本実施形態の上述の例では、４個の第１Ａないし４Ａ多色画像ＩＳＡｐに対応する第１Ａないし第４Ａ多色原画像データＩＳＡと、４個の第１Ｂないし４Ｂ単色画像ＩＳＢｐに対応する第１Ｂないし第４Ｂ多色原画像データＩＳＢとが生成され、これらが記憶部２に記憶される。より詳しくは、２次元アレイ配列において、１行１列に位置する偏光角０度の０度多色画像ＩＳＡｐ（０°）に対応する０度多色原画像データＩＳＡ（０°）、１行２列に位置する偏光角４５度の４５度多色画像ＩＳＡｐ（４５°）に対応する４５度多色原画像データＩＳＡ（４５°）、２行１列に位置する偏光角９０度の９０度多色画像ＩＳＡｐ（９０°）に対応する９０度多色原画像データＩＳＡ（９０°）、および、２行２列に位置する偏光角１３５度の１３５度多色画像ＩＳＡｐ（１３５°）に対応する１３５度多色原画像データＩＳＡ（１３５°）が第１光学フィルタ部３１Ａａおよびカラーアレイカメラ３２Ａによって生成され、２次元アレイ配列において、１行１列に位置する偏光角０度の０度単色画像ＩＳＢｐ（０°）に対応する０度単色原画像データＩＳＢ（０°）、１行２列に位置する偏光角４５度の４５度単色画像ＩＳＢｐ（４５°）に対応する４５度単色原画像データＩＳＢ（４５°）、２行１列に位置する偏光角９０度の９０度単色画像ＩＳＢｐ（９０°）に対応する９０度単色原画像データＩＳＢ（９０°）、および、２行２列に位置する偏光角１３５度の１３５度単色画像ＩＳＢｐ（１３５°）に対応する１３５度単色原画像データＩＳＢ（１３５°）が第２光学フィルタ部３１Ｂａおよびモノクロアレイカメラ３２Ｂによって生成され、これらが上述のように互いに対応付けられて記憶部２に記憶される。

図８（Ａ）、（Ｃ）、（Ｅ）および（Ｇ）それぞれには、水を張った容器の水中に複数の人形を入れた被写体を撮像することによって得られた、０度単色画像ＩＳＢｐ（０°）、４５度単色画像ＩＳＢｐ（４５°）、９０度単色画像ＩＳＢｐ（９０°）および１３５度単色画像ＩＳＢｐ（１３５°）が示されている。

図７に戻って、複数の多色画像ＩＳＡｐおよび複数の単色画像ＩＳＢｐが得られると、次に、処理Ｓ１２では、距離演算部１２ａの個眼画像選択処理部１２１によって、これら複数の多色画像ＩＳＡｐおよび複数の単色画像ＩＳＢｐの中から、測定対象の物体までの距離を求めるために用いる多色画像ＩＳＡｐおよび単色画像ＩＳＢｐが選択される。

本実施形態では、測定対象の物体がガラス越しや液体中に存在する場合に、前記測定対象の物体までの距離が測定される。このような測距装置Ｄａがガラスや液面を介して測定対象の物体に相対し、前記測定対象の物体を撮像する場合、ガラス面や液面に測定対象の物体が映り込んで映り込み像を生じるため、通常の撮像を行うと、画像には、前記測定対象の物体そのもの像だけでなく、前記測定対象の物体で反射してガラス面や液面に映り込んだ前記測定対象の物体の映り込み像も存在してしまう。このようなガラス面や液面に映り込んだ映り込み像は、偏光で形成されているため、偏光角を変えることによって画像から除去できる。すなわち、反射の無い画像が得られる。このため、本実施形態における測距装置Ｄａでは、個眼画像選択処理部１２１は、上述のように互いに偏光角の異なる偏光フィルタ（第１および第２サブ光学フィルタ３１１Ａａ、３１１Ｂａ）を用いて得られた４個の画像から映り込み像の最も少ない画像（反射の最も少ない画像）を、測距用の画像に選定する。ここで、映り込み像が画像に存在すると、物体が二重に写るので、映り込み像が画像に存在しない場合に較べて、高周波成分が多くなる。このため、本実施形態では、個眼画像選択処理部１２１は、偏光状態を異ならせて得られた４個の画像の中から、高周波成分の最も少ない画像を、測距用の画像に選定する。この選定には、多色原画像データＩＳＡ（多色画像ＩＳＡｐ）が用いられてもよいが、多色原画像データＩＳＡの多色画像ＩＳＡｐには、単位配列に基づく高周波（例えばベイヤー配列の１画素周期の高周波）が含まれるため、画素自体の高周波を検出してしまい、より適切に選定し難い。そのため、より精度良く選定できる観点から、単色原画像データＩＳＢ（単色画像ＩＳＢｐ）が用いられることが好ましい。また、この単位配列に基づく高周波は、後述の前処理によって低減できるが、この前処理は、画像をぼかすことになるので、映り込み像による高周波も前処理によって低減してしまう。この観点からも、前記選定には、単色原画像データＩＳＢ（単色画像ＩＳＢｐ）が用いられることが好ましい。したがって、本実施形態における個眼画像選択処理部１２１は、まず、高周波成分を抽出するために、偏光状態を異ならせて得られた複数の単色画像ＩＳＢｐの単色原画像データＩＳＢ（上述の例では４個の０度単色原画像データＩＳＢ（０°）、４５度単色原画像データＩＳＢ（４５°）、９０度単色原画像データＩＳＢ（９０°）および１３５度単色原画像データＩＳＢ（１３５°））それぞれに例えばラプラシアンフィルタ等の微分系のフィルタでフィルタリングし、高周波成分をそれぞれ抽出する。個眼画像選択処理部１２１は、この抽出した各高周波成分を相互に比較して最も高周波成分が少ない単色原画像データＩＳＢ（単色画像ＩＳＢｐ）を、測距用として選定する。そして、個眼画像選択処理部１２１は、この測距用の画像として選定した単色原画像データＩＳＢ（単色画像ＩＳＢｐ）と同じ偏光特性の第１サブ光学フィルタ３１１Ａを用いて撮像された多色原画像データＩＳＡ（多色画像ＩＳＡｐ）を、測距用として選定する。そして、個眼画像選択処理部１２１は、この測距用に選定した画像を前処理部１２２ａへ通知する。

図８に示す例では、図９および図１０にその一部を拡大して示すように、偏光角０度の偏光フィルタ（第２サブ光学フィルタ３１１Ｂａ−１１）を用いて得られた０度単色画像ＩＳＢｐが最も高周波成分が少ない。このため、図８に示す例では、個眼画像選択処理部１２１は、第１および第２サブ光学フィルタ３１１Ａａ−１１、３１１Ｂａ−１１を用いて得られた０度多色原画像データＩＳＡ（０°）および０度単色原画像データＩＳＢ（０°）を測距用の画像として選定する。なお、図９（Ｃ）および図９（Ｄ）と図９（Ａ）および（Ｂ）との対比、ならびに、図１０（Ｃ）および図１０（Ｄ）と図１０（Ａ）および（Ｂ）との対比から分かるように、多色原画像データＩＳＡの多色画像ＩＳＡｐは、画素自体の高周波成分を検出してしまうため、単色原画像データＩＳＢの単色画像ＩＳＢｐに較べ、適切な偏光角の画像を選択し難い。

図７に戻って、このように測距用の多色原画像データＩＳＡ（多色画像ＩＳＡｐ）および単色原画像データＩＳＢ（単色画像ＩＳＢｐ）が選定されると、次に、処理Ｓ１３では、距離演算部１２ａの前処理部１２２ａによって、これら測距用の多色原画像データＩＳＡおよび単色原画像データＩＳＢそれぞれが前処理される。すなわち、前処理部１２２ａは、これら測距用の多色原画像データＩＳＡおよび単色原画像データＩＳＢそれぞれを画像フィルタＦＬ１でフィルタリングすることによって前処理後多色画像データＢＩＳＡおよび前処理後単色画像データＢＩＳＢそれぞれを生成し、これら生成した前処理後多色画像データＢＩＳＡおよび前処理後単色画像データＢＩＳＢを記憶部２に記憶する。ここで、単色画像ＩＳＢｐは、モノクロなので１ｃｈ化する必要はないが、前処理は、ぼかす処理であるので、対応点探索を精度良く実行するために、本実施形態では、単色原画像データＩＳＢも多色原画像データＩＳＡと同様に前処理される。

より具体的には、例えば、本実施形態では、ベイヤー配列の原画像データＩＳ（多色原画像データＩＳＡおよび単色原画像データＩＳＢ）に対応した画像フィルタＦＬ１、例えば、図６（Ａ）に示す画像フィルタＦＬ１ａが用いられる。フィルタリングは、原画像データＩＳにおける最初の１行１列に位置する画素に対応するデータから最終の最終行最終列に位置する画素に対応するデータまで順次に実行される。

例えば、図１１（Ａ）上段に示す２行２列に位置するＧ画素に対し図６（Ａ）および図１１（Ｂ）に示す画像フィルタＦＬ１ａでフィルタリングすると、２行２列に位置するＧ画素に対応する前処理後画像データＢＩＳ（前処理後多色画像データＢＩＳＡおよび前処理後単色画像データＢＩＳＢ）のデータは、（１行１列に位置する画像フィルタＦＬ１ａのフィルタ値；１／１６）×（その位置に対応する位置のＧ画素のデータの値）＋（１行２列に位置する画像フィルタＦＬ１ａのフィルタ値；２／１６）×（その位置に対応する位置のＲ画素のデータの値）＋（１行３列に位置する画像フィルタＦＬ１ａのフィルタ値；１／１６）×（その位置に対応する位置のＧ画素のデータの値）＋（２行１列に位置する画像フィルタＦＬ１ａのフィルタ値；２／１６）×（その位置に対応する位置のＢ画素のデータの値）＋（２行２列に位置する画像フィルタＦＬ１ａのフィルタ値；４／１６）×（その位置に対応する位置のＧ画素のデータの値）＋（２行３列に位置する画像フィルタＦＬ１ａのフィルタ値；２／１６）×（その位置に対応する位置のＢ画素のデータの値）＋（３行１列に位置する画像フィルタＦＬ１ａのフィルタ値；１／１６）×（その位置に対応する位置のＧ画素のデータの値）＋（３行２列に位置する画像フィルタＦＬ１ａのフィルタ値；２／１６）×（その位置に対応する位置のＲ画素のデータの値）＋（３行３列に位置する画像フィルタＦＬ１ａのフィルタ値；１／１６）×（その位置に対応する位置のＧ画素のデータの値）となる。したがって、Ｒ画素に対応するフィルタ係数の値は、総計、（２／１６）×２＝４／１６＝１／４となり、Ｂ画素に対応するフィルタ係数の値は、総計、（２／１６）×２＝４／１６＝１／４となり、そして、Ｇ画素に対応するフィルタ係数の値は、総計、（１／１６）×４＋（４／１６）×１＝８／１６＝１／２となる。したがって、画像フィルタＦＬ１ａの色組成比は、Ｒ：Ｂ：Ｇ＝１／４：１／４：１／２＝１：１：２となり、色フィルタ部３２２１ａにおける単位色フィルタ配列３２２２ａ−Ｕの色組成比、すなわち、原画像データＩＳにおける単位配列の色組成比と同じである。

図１１（Ａ）下段に示す３行２列に位置するＲ画素に対し前記画像フィルタＦＬ１ａでフィルタリングすると、３行２列に位置するＲ画素に対応する前処理後画像データＢＩＳのデータは、（１行１列に位置する画像フィルタＦＬ１ａのフィルタ値；１／１６）×（その位置に対応する位置のＢ画素のデータの値）＋（１行２列に位置する画像フィルタＦＬ１ａのフィルタ値；２／１６）×（その位置に対応する位置のＧ画素のデータの値）＋（１行３列に位置する画像フィルタＦＬ１ａのフィルタ値；１／１６）×（その位置に対応する位置のＢ画素のデータの値）＋（２行１列に位置する画像フィルタＦＬ１ａのフィルタ値；２／１６）×（その位置に対応する位置のＧ画素のデータの値）＋（２行２列に位置する画像フィルタＦＬ１ａのフィルタ値；４／１６）×（その位置に対応する位置のＲ画素のデータの値）＋（２行３列に位置する画像フィルタＦＬ１ａのフィルタ値；２／１６）×（その位置に対応する位置のＧ画素のデータの値）＋（３行１列に位置する画像フィルタＦＬ１ａのフィルタ値；１／１６）×（その位置に対応する位置のＢ画素のデータの値）＋（３行２列に位置する画像フィルタＦＬ１ａのフィルタ値；２／１６）×（その位置に対応する位置のＧ画素のデータの値）＋（３行３列に位置する画像フィルタＦＬ１ａのフィルタ値；１／１６）×（その位置に対応する位置のＢ画素のデータの値）となる。したがって、Ｒ画素に対応するフィルタ係数の値は、総計、（４／１６）×１＝４／１６＝１／４となり、Ｂ画素に対応するフィルタ係数の値は、総計、（１／１６）×４＝４／１６＝１／４となり、そして、Ｇ画素に対応するフィルタ係数の値は、総計、（２／１６）×４＝８／１６＝１／２となる。したがって、画像フィルタＦＬ１ａの色組成比は、Ｒ：Ｂ：Ｇ＝１／４：１／４：１／２＝１：１：２となり、上述と同様に、原画像データＩＳにおける単位配列の色組成比と同じである。

２行３列に位置するＢ画素に対し前記画像フィルタＦＬ１ａでフィルタリングすると、２行３列に位置するＢ画素に対応する前処理後画像データＢＩＳのデータは、（１行１列に位置する画像フィルタＦＬ１ａのフィルタ値；１／１６）×（その位置に対応する位置のＲ画素のデータの値）＋（１行２列に位置する画像フィルタＦＬ１ａのフィルタ値；２／１６）×（その位置に対応する位置のＧ画素のデータの値）＋（１行３列に位置する画像フィルタＦＬ１ａのフィルタ値；１／１６）×（その位置に対応する位置のＲ画素のデータの値）＋（２行１列に位置する画像フィルタＦＬ１ａのフィルタ値；２／１６）×（その位置に対応する位置のＧ画素のデータの値）＋（２行２列に位置する画像フィルタＦＬ１ａのフィルタ値；４／１６）×（その位置に対応する位置のＢ画素のデータの値）＋（２行３列に位置する画像フィルタＦＬ１ａのフィルタ値；２／１６）×（その位置に対応する位置のＧ画素のデータの値）＋（３行１列に位置する画像フィルタＦＬ１ａのフィルタ値；１／１６）×（その位置に対応する位置のＲ画素のデータの値）＋（３行２列に位置する画像フィルタＦＬ１ａのフィルタ値；２／１６）×（その位置に対応する位置のＧ画素のデータの値）＋（３行３列に位置する画像フィルタＦＬ１ａのフィルタ値；１／１６）×（その位置に対応する位置のＲ画素のデータの値）となる。したがって、Ｒ画素に対応するフィルタ係数の値は、総計、（１／１６）×４＝４／１６＝１／４となり、Ｂ画素に対応するフィルタ係数の値は、総計、（４／１６）×１＝４／１６＝１／４となり、そして、Ｇ画素に対応するフィルタ係数の値は、総計、（２／１６）×４＝８／１６＝１／２となる。したがって、画像フィルタＦＬ１ａの色組成比は、Ｒ：Ｂ：Ｇ＝１／４：１／４：１／２＝１：１：２となり、上述と同様に、原画像データＩＳにおける単位配列の色組成比と同じである。

そして、３行３列に位置するＧ画素に対し前記画像フィルタＦＬ１ａでフィルタリングすると、３行３列に位置するＧ画素に対応する前処理後画像データＢＩＳのデータは、（１行１列に位置する画像フィルタＦＬ１ａのフィルタ値；１／１６）×（その位置に対応する位置のＧ画素のデータの値）＋（１行２列に位置する画像フィルタＦＬ１ａのフィルタ値；２／１６）×（その位置に対応する位置のＢ画素のデータの値）＋（１行３列に位置する画像フィルタＦＬ１ａのフィルタ値；１／１６）×（その位置に対応する位置のＧ画素のデータの値）＋（２行１列に位置する画像フィルタＦＬ１ａのフィルタ値；２／１６）×（その位置に対応する位置のＲ画素のデータの値）＋（２行２列に位置する画像フィルタＦＬ１ａのフィルタ値；４／１６）×（その位置に対応する位置のＧ画素のデータの値）＋（２行３列に位置する画像フィルタＦＬ１ａのフィルタ値；２／１６）×（その位置に対応する位置のＲ画素のデータの値）＋（３行１列に位置する画像フィルタＦＬ１ａのフィルタ値；１／１６）×（その位置に対応する位置のＧ画素のデータの値）＋（３行２列に位置する画像フィルタＦＬ１ａのフィルタ値；２／１６）×（その位置に対応する位置のＢ画素のデータの値）＋（３行３列に位置する画像フィルタＦＬ１ａのフィルタ値；１／１６）×（その位置に対応する位置のＧ画素のデータの値）となる。したがって、Ｒ画素に対応するフィルタ係数の値は、総計、（２／１６）×２＝４／１６＝１／４となり、Ｂ画素に対応するフィルタ係数の値は、総計、（２／１６）×２＝４／１６＝１／４となり、そして、Ｇ画素に対応するフィルタ係数の値は、総計、（１／１６）×４＋（４／１６）×１＝８／１６＝１／２となる。したがって、画像フィルタＦＬ１ａの色組成比は、Ｒ：Ｂ：Ｇ＝１／４：１／４：１／２＝１：１：２となり、上述と同様に、原画像データＩＳにおける単位配列の色組成比と同じである。

画像フィルタＦＬ１ａは、原画像データＩＳにおける単位配列の色組成比と同じ色組成比のフィルタ係数を備えるから、原画像データＩＳに画像フィルタＦＬ１ａを作用させた場合において、原画像データＩＳのＲ画素に対応するフィルタ係数の総計と、原画像データＩＳのＢ画素に対応するフィルタ係数の総計と、原画像データＩＳのＧ画素に対応するフィルタ係数の総計は、原画像データＩＳにおける単位配列の色組成比と同じになる。

このように原画像データＩＳの単位配列におけるいずれの画素のデータも画像フィルタＦＬ１ａによって同じ色組成比でフィルタリングされる。したがって、原画像データＩＳにおける全ての画素のデータが画像フィルタＦＬ１ａによって同じ色組成比でフィルタリングされることになる。この結果、前処理後画像データＢＩＳにおける全ての画素のデータは、図１１（Ｃ）に示すように、（Ｇ／２＋Ｒ／４＋Ｂ／４）で合成された同じ色成分を持つデータとして扱うことが可能となる。よって、次の対応点探索では、前処理後画像データＢＩＳにおける全ての画素のデータが使用可能となる。

このような前処理の一具体例を挙げると、図１２（Ａ）に示す０度多色画像ＩＳＡｐ（０°）は、画像フィルタＦＬ１ａのフィルタリングによって、図１２（Ｂ）に示す１チャンネル（単色）のモノクロ画像の０度前処理後画像ＢＩＳＡｐ（０°）となる。そして、図１２（Ｃ）に示す０度単色画像ＩＳＢｐ（０°）は、画像フィルタＦＬ１ａのフィルタリングによって、図１２（Ｄ）に示す０度前処理後画像ＢＩＳＢｐ（０°）となる。このように０度単色原画像データＩＳＢ（０°）も０度多色原画像データＩＳＡ（０°）と同様に前処理される。これによって図１２（Ｂ）と図１２（Ｄ）とを対比すると分かるように、０度単色画像ＩＳＢｐ（０°）も０度多色画像ＩＳＡｐ（０°）と略同レベルでボケるので、次の対応点探索をより適切に実行できる。

図７に戻って、次に、処理Ｓ１３では、距離演算部１２ａの対応点探索処理部１２３ａによって対応点探索が実行され、この求められた対応点が位置ずれ量演算部１２４へ通知される。この対応点探索では、前処理後多色画像データＢＩＳＡおよび前処理後単色画像データＢＩＳＢのうちの一方が基準画像とされ、残余の他方が参照画像とされ、対応点が探索される。この各対応点探索処理には、公知の常套手段が利用され、対応点探索処理は、例えば特開２００９−１４４４５号公報等に開示されている。

一例として、基準画像と参照画像との位置ずれを視覚的に捉えるため、参考までに、図１３（Ａ）に示す基準画像の被写体の輪郭線（実線）と図１３（Ｂ）に示す参照画像の被写体の輪郭線（破線）とを重ねて表示すると、図１３（Ｃ）に示す画像となる。このような基準画像と参照画像とにおいて、対応点探索処理では、まず、基準画像上で、対応点を探索したい所定の画素位置を中心に所定の大きさを持つウィンドウＷｂが設定される。同様に、参照画像上にも同じ大きさを持つウィンドウＷｒａが、いわゆるエピポールライン上に複数設定される。図１３（Ｂ）には、３個のウィンドウＷｒａ１〜Ｗｒａ３が例示されている。そして、基準画像上におけるウィンドウＷｂ（テンプレート）に対する、参照画像上における各ウィンドウＷｒａ１〜Ｗｒａ３の一致度（相関度）が所定の手法で求められ（テンプレートマッチング）、最も一致度の高いウィンドウＷｒａにおける中心位置の画素が対応点として求められる。前記所定の手法には、公知の常套手段、例えば、ＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ）法、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）法（絶対誤差法）およびＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）法（二乗誤差法）等が用いられる。例えば、前記ＮＣＣ法では、次式１で一致度Ｒ_ＮＣＣの値が求められる。

ここで、Ｉ（ｉ，ｊ）は、基準画像のウィンドウＷｂにおける位置（ｉ，ｊ）の画素値（前処理後画像データＢＩＳにおける画素のデータ値）であり、Ｔ（ｉ，ｊ）は、参照画像のウィンドウＷｒにおける位置（ｉ，ｊ）の画素値（前処理後画像データＢＩＳにおける画素のデータ値）であり、Ｎは、ウィンドウＷｂ、ＷｒにおけるＸ方向（横方向）の長さ（画素単位）であり、そして、Ｍは、ウィンドウＷｂ、ＷｒにおけるＹ方向（縦方向）の長さ（画素単位）である。

なお、この対応点探索では、本実施形態では、ピクセル単位で対応点が探索されるが、続いて、サブピクセル単位で対応点が探索されてもよい。このサブピクセル単位で対応点を求める手法は、例えば、「田中、矢口、古川、奥富、「位置ずれ量を考慮した画素選択に基づくロバスト超解像処理」、電子情報通信学会論文誌、Ｖｏｌ．Ｊ９２−Ｄ、Ｎｏ．５、ｐｐ６５０−６６０、２００９．、２００９年５月」等に開示されている。すなわち、サブピクセルの対応点探索処理では、ピクセル単位の対応点探索処理の結果、最も一致度の高いウィンドウＷｒｂの中心画素およびこの中心画素の周辺８画素それぞれの９個の一致度に、最も近似する２次曲面が求められ（２次曲面フィッティング）、この求められた２次曲面の頂点を与える座標値がサブピクセル単位の対応点として求められる。

図７に戻って、次に、処理Ｓ１５では、処理Ｓ１４で求められた各対応点間について、距離演算部１２ａの位置ずれ量演算部１２４によって対応点間の位置ずれ量が求められ、この求められた位置ずれ量が距離算出部１２５へ通知される。例えば、単位長を１画素の大きさ（サイズ）とすれば、対応点間の座標差が位置ずれ量となる。すなわち、基準画像における画素の座標値と参照画像における、前記基準画像の画素に対応する画素の座標値との差が位置ずれ量となる。また例えば、単位長をｍ単位とすれば、対応点間の座標差に画素ピッチを乗じた値が位置ずれ量となる。前記画素ピッチは、画素の中心位置とこれに隣接する画素の中心位置との間の長さである。

次に、処理Ｓ１６では、距離演算部１２５によって、位置ずれ量演算部１２４で求めた位置ずれ量が多色画像ＩＳＡｐと単色画像ＩＳＢｐとの間における視差とされ、前記視差に基づいて被写体までの距離が求められる。このような測距技術には、公知の常套手段が利用され、このような測距技術は、例えば特開２０１０−２７６４６９号公報や前記特開２００９−１４４４５号公報等に開示されている。この測距技術では、大略、予め定める間隔（基線長）だけ離間して設けられた一対のカメラによって被写体（対象物）の各画像が得られ、これら各画像に対し対応点探索がピクセル単位で実行され、これら各画像から前記離間方向における前記一対のカメラ間の視差がピクセル単位で求められ、この求められた視差に基づいて被写体までの距離がいわゆる三角測量の原理に基づいて求められる。より具体的には、図１４において、少なくとも焦点距離（ｆ）、撮像面（多色撮像部３２３１Ａまたは単色撮像部３２３１Ｂ（例えばＣＣＤ型イメージセンサ））の画素数、１画素の大きさ（μ）が相互に等しい２台の第１および第２カメラが、所定の基線長（Ｌ）だけ左右に離間させて光軸ＡＸ−１、ＡＸ−２を平行に配置され、これら第１および第２カメラで物体（被写体）Ｏｂが撮影された場合に、撮像面ＩＰ−１、ＩＰ−２上の視差（ずれ画素数）がｄ（＝ｄ１＋ｄ２）であるとすると、前記物体（被写体）Ｏｂまでの距離（Ｚ）は、斜線を施して示す三角形が相似であることから、
Ｚ：ｆ＝Ｌ：μ×ｄ
の関係があり、
Ｚ＝（Ｌ×ｆ）／（μ×ｄ）
で求めることができる。

なお、前記第１および第２カメラは、本実施形態では、それぞれ、２次元配列における同じ位置に配列される、カラーアレイカメラ３２Ａにおける第１アレイレンズ部３２１Ａの第１撮像光学系３２１１Ａ−ｍｎ、アレイ色フィルタ部３２２Ａの色フィルタ部３２２１−ｍｎおよび多色撮像部３２３１Ａ−ｍｎから成る装置、ならびに、モノクロアレイカメラ３２Ｂにおける第２アレイレンズ部３２１Ｂの第２撮像光学系３２１１Ｂ−ｍｎおよび単色撮像部３２３１Ｂ−ｍｎから成る装置である（上述の例では、ｍ＝１、２、ｎ＝１、２）。

そして、図７に戻って、処理Ｓ１７では、このように距離算出部１２５によって求められた距離が制御処理部１ａによって出力部５へ出力され、処理が終了する。これによって出力部５には、被写体までの距離が表示される。なお、測距に用いられた多色画像ＩＳＡｐおよび単色画像ＩＳＢｐも出力部５に出力されてもよい。この場合において、多色原画像データＩＳＡは、デモザイク処理され、このデモザイク処理された後の多色画像ＩＳＤｐが出力されてもよい。

本実施形態における測距装置Ｄａおよびこれに実装された測距方法は、カラーアレイカメラ３２Ａおよびモノクロアレイカメラ３２Ｂを備えるので、同一の被写体に対し複数の多色画像ＩＳＡｐ（多色原画像データＩＳＡ）および複数の単色画像ＩＳＢｐ（単色原画像データＩＳＢ）を得ることができる。そして、これら複数の多色画像ＩＳＡｐは、第１光学フィルタ部３１Ａａを介して得られるので、光学的に異なる状態で撮像された画像（上述の例では０度、４５度、９０度および１３５度の各偏光角度の偏光フィルタを介して得られた画像）であり、これら複数の単色画像ＩＳＢｐも、第２光学フィルタ部３１Ｂａを介して得られるので、光学的に異なる状態で撮像された画像（上述の例では同様に０度、４５度、９０度および１３５度の各偏光角度を持つ偏光フィルタを介して得られた画像）である。このため、上記測距装置Ｄａおよび測距方法は、距離演算部１２ａによって測定対象の物体までの距離を求める際に、このような光学的に異なる複数の多色画像ＩＳＡｐおよび複数の単色画像ＩＳＢｐの中から適宜な画像を選択できるので、映り込みが有る場合でも、多色画像ＩＳＡｐと単色画像ＩＳＢｐとを使い分けながら、より精度良く測距できる。すなわち、本実施形態では、映り込みの有無の判定では、優位に判定可能な単色画像ＩＳＢｐが用いられ、複数の単色画像ＩＳＢｐの中から映り込みの最も少ない（反射の最も少ない）単色画像ＩＳＢｐが適切に選定され、この選定に対応する多色画像ＩＳＡｐも選定され、そして、これらの前処理された単色画像ＩＳＢｐおよび多色画像データＩＳＡｐが測距用の画像とされる。したがって、上記測距装置Ｄａおよび測距方法は、映り込みの最も少ない単色画像ＩＳＢｐおよび多色画像ＩＳＡｐを用いて測定対象の物体までの距離を算出するので、より精度良く測距できる。

対応点探索によって画像間の視差を求めて測距する場合、対応点探索は、上述のようにパターンマッチングによって対応点を探索するので、一般に、同じ色成分のデータしか利用できない。このため、例えばベイヤー配列の色フィルタを用いることによって得られた多色原画像データＩＳＡで対応点探索を実施する場合には、例えばＧ画素のデータで対応点探索が実施される場合でも、多色原画像データＩＳＡの半分のデータ量しか利用できない。しかしながら、本実施形態における測距装置Ｄａおよびこれに実装された測距方法では、画像フィルタＦＬ１によって単位配列の色組成比と同じ色組成比を持つデータに多色原画像データＩＳＡを変換するように前処理部１２２ａによってフィルタリングするので、全ての画素のデータを同じ色成分を持つデータとして扱うことができるようになり、この結果、全ての画素のデータを利用して対応点探索の実施が可能となる。したがって、上記測距装置Ｄａおよび測距方法は、対応点探索をより高精度に実施でき、より精度良く測距できる。

また、本実施形態における測距装置Ｄａおよびこれに実装された測距方法では、画像フィルタＦＬ１におけるフィルタ係数の各値が中心位置に対し対称に配置されているので、中心に位置する画素（中心画素）に対する周辺に位置する各画素（各周辺画素）における各画素値は、当該周辺画素と中心画素との距離に応じて重み付けられることになり、適切に中心画素に反映される。このため、本実施形態における測距装置Ｄａおよび測距方法は、全ての画素のデータをより同等な色成分を持つデータとして扱うことができるから、対応点探索をより高精度に実施できる。

また、本実施形態における測距装置Ｄａおよびこれに実装された測距方法では、第１画像フィルタＦＬ１の各フィルタ係数は、第１画像フィルタＦＬ１全域に単位配列を重ねた場合に、前記単位配列の同じ配列位置におけるフィルタ係数の和が、全ての配列位置で同じ値になるように、設定されている。このため、このような測距装置Ｄａおよび測距方法は、全ての画素のデータをより同等な色成分を持つデータとして扱うことができ、より好適である。

次に、別の実施形態について説明する。

（第２実施形態）
第１実施形態における測距装置Ｄａおよびこれに実装された測距方法は、画像に映り込み像が有る場合でも好適に測距できる装置であるが、第２実施形態における測距装置Ｄｂおよびこれに実装された測距方法は、大きな明暗差が有る場合でも好適に測距できる装置である。

図１５は、第２実施形態における測距装置の構成を示すブロック図である。図１５（Ａ）は、全体構成を示し、図１５（Ｂ）は、被写体抽出処理部の構成を示す。図１６は、第２実施形態の前記測距装置における画像取得部の構成を示すブロック図である。図１７は、第２実施形態の前記画像取得部における第１および第２光学フィルタ部の構成を示す図である。図１７（Ａ）は、第１光学フィルタ部を示し、図１７（Ｂ）は、第２光学フィルタ部を示す。図１８は、前記測距装置におけるデモザイク処理を説明するための図である。図１８（Ａ）は、各画素のＲ色成分データを求めるデモザイク処理を示し、図１８（Ｂ）は、各画素のＢ色成分を求めるデモザイク処理を示し、そして、図１８（Ｃ）は、Ｇ色成分データを求めるデモザイク処理を示す。図１９は、第２実施形態の前記測距装置において、第１態様の抽出対象を説明するための図である。グレースケールで描かれているが、図１９（Ａ）は、赤色の赤帽子を示し、図１９（Ｂ）は、青色の青帽子を示し、図１９（Ｃ）は、緑色の緑帽子を示す。図２０は、第２実施形態の前記測距装置において、第２態様の抽出対象を説明するための図である。図２０（Ａ）は、模様（柄）が横縞である横縞模様帽子を示し、図２０（Ｂ）は、模様が格子である格子模様帽子を示す。図２１は、第２実施形態の前記測距装置が効果的に適用される画像を説明するための図である。図２１（Ａ）は、被写体の明暗差がカラーアレイカメラ３２Ａまたはモノクロアレイカメラ３２Ｂのダイナミックレンジ内である場合を示し、図２１（Ｂ）は、被写体の明暗差がカラーアレイカメラ３２Ａまたはモノクロアレイカメラ３２Ｂのダイナミックレンジを超える場合を示す。

第２実施形態における測距装置Ｄｂは、例えば、図１５（Ａ）に示すように、制御処理部１ｂと、記憶部２と、画像取得部３ｂと、入力部４と、出力部５とを備える。これら第２実施形態の測距装置Ｄｂにおける記憶部２、入力部４および出力部５は、それぞれ、第１実施形態の測距装置Ｄａにおける記憶部２、入力部４および出力部５と同様であるので、その説明を省略する。

画像取得部３ｂは、制御処理部１ａに接続され、第１実施形態の画像取得部３ａと同様に、複数の多色画像および複数の単色画像を取得するものである。第１実施形態の画像取得部３ａは、映り込み像の有無を判定するために互いに偏光角の異なる偏光フィルタを用いて複数の多色画像ＩＳＡｐ（多色原画像データＩＳＡ）および複数の単色画像ＩＳＢｐ（単色原画像データＩＳＢ）を取得したが、第２実施形態の画像取得部３ｂは、被写体の比較的大きな明暗差に対処するために互いに互いに光学濃度（Ｏｐｔｉｃａｌ Ｄｅｎｓｉｔｙ、ＯＤ値）の異なるＮＤフィルタを用いて複数の多色画像ＩＳＡｐ（多色原画像データＩＳＡ）および複数の単色画像ＩＳＢｐ（単色原画像データＩＳＢ）を取得するものであり、この点で第２実施形態の画像取得部３ｂは、第１実施形態の画像取得部３ａと異なる。

このような第２実施形態の画像取得部３ｂは、図１６に示すように、第１および第２光学フィルタ部３１Ａｂ、３１Ｂｂと、カラーアレイカメラ３２Ａと、モノクロアレイカメラ３２Ｂとを備える。これら第２実施形態の画像取得部３ｂにおけるカラーアレイカメラ３２Ａおよびモノクロアレイカメラ３２Ｂは、それぞれ、第１実施形態の画像取得部３ａにおけるカラーアレイカメラ３２Ａおよびモノクロアレイカメラ３２Ｂと同様であるので、その説明を省略する。

第１および第２光学フィルタ部３１Ａｂ、３１Ｂｂは、それぞれ、第１実施形態の第１および第２光学フィルタ部３１Ａａ、３１Ｂａと同様に、入射光を領域ごとに光学的に互いに異なるように射出する光学素子であり、例えば、互いに異なる複数のサブ光学フィルタの領域を備える。より具体的には、第１および第２光学フィルタ部３１Ａｂ、３１Ｂｂは、それぞれ、図１７（Ａ）および（Ｂ）に示すように、２次元アレイ状に配列された、入射光を光学的に互いに異なるように射出する複数の第１および第２サブ光学フィルタ３１１Ａｂ、３１１Ｂｂを備える。図１７（Ａ）および（Ｂ）に示す例では、第１および第２光学フィルタ部３１Ａｂ、３１Ｂｂは、それぞれ、２行２列で配列された４個の第１および第２サブ光学フィルタ３１１Ａｂ−１１〜３１１Ａｂ−２２、３１１Ｂｂ−１１〜３１１Ｂｂ−２２を備える。

これら第１および第２サブ光学フィルタ３１１Ａｂ、３１１Ｂｂは、本実施形態では、例えば、入射光を予め設定された所定の光学濃度で射出するＮＤフィルタ（中性濃度フィルタ）である。ＮＤフィルタは、所定の波長帯において波長に依存すること無く光量を一定量落とす光学素子である。このＮＤフィルタの、４個の第１サブ光学フィルタ３１１Ａｂ−１１〜３１１Ａｂ−２２および４個の第２サブ光学フィルタ３１１Ｂｂ−１１〜３１１Ｂｂ−２２は、入射光を光学的に互いに異なるように射出するために、それぞれの光学濃度（ＯＤ値）が互いに異なっている。より詳しくは、１行１列に配置される第１および第２サブ光学フィルタ３１１Ａｂ−１１、３１１Ｂｂ−１１は、ＯＤ値が０であり、１行２列に配置される第１および第２サブ光学フィルタ３１１Ａｂ−１２、３１１Ｂｂ−１２は、ＯＤ値が０．５であり、２行１列に配置される第１および第２サブ光学フィルタ３１１Ａｂ−２１、３１１Ｂｂ−２１は、ＯＤ値が１．０であり、そして、２行２列に配置される第１および第２サブ光学フィルタ３１１Ａｂ−２２、３１１Ｂｂ−２２は、ＯＤ値が１．５である。なお、ＯＤ値は、透過率Ｔ（Ｔ≦１）に対し、ＯＤ＝ｌｏｇ（１／Ｔ）の関係にある。このように本実施形態でも、第１および第２光学フィルタ部３１Ａｂ、３１Ｂｂは、第１および第２光学フィルタ部３１Ａａ、３１Ｂａと同様に、２次元配列において、前記複数の第１および第２サブ光学フィルタ３１１Ａｂ、３１１Ｂｂを光学特性の観点で互いに同一配置で備えており、光学的に同一の特性を持つサブ光学フィルタ同士が互いに同じ位置に配置されるように構成されている。そして、これら第１および第２光学フィルタ部３１Ａｂ、３１Ｂｂは、互いに対応する領域の配置位置を維持するように、カラーアレイカメラ３２Ａおよびモノクロアレイカメラ３２Ｂに対し配置される。

したがって、第２実施形態の画像取得部３ｂでは、２行２列の２次元配列において、１行１列に位置する、第１サブ光学フィルタ３１１Ａｂ−１１、第１撮像光学系３２１１Ａ−１１、色フィルタ部３２２１−１１および多色撮像部３２３１Ａ−１１によって生成された多色原画像データＩＳＡは、ＯＤ値０のＮＤフィルタを介して得られた被写体の光学像を撮像したデータ（ＯＤ値０多色原画像データ）ＩＳＡ（０）である。１行２列に位置する、第１サブ光学フィルタ３１１Ａｂ−１２、第１撮像光学系３２１１Ａ−１２、色フィルタ部３２２１−１２および多色撮像部３２３１Ａ−１２によって生成された多色原画像データＩＳＡは、ＯＤ値０．５のＮＤフィルタを介して得られた被写体の光学像を撮像したデータ（ＯＤ値０．５多色原画像データ）ＩＳＡ（０．５）である。２行１列に位置する、第１サブ光学フィルタ３１１Ａｂ−２１、第１撮像光学系３２１１Ａ−２１、色フィルタ部３２２１−２１および多色撮像部３２３１Ａ−２１によって生成された多色原画像データＩＳＡは、ＯＤ値１．０のＮＤフィルタを介して得られた被写体の光学像を撮像したデータ（ＯＤ値１．０多色原画像データ）ＩＳＡ（１．５）である。２行２列に位置する、第１サブ光学フィルタ３１１Ａｂ−２２、第１撮像光学系３２１１Ａ−２２、色フィルタ部３２２１−２２および多色撮像部３２３１Ａ−２２によって生成された多色原画像データＩＳＡは、ＯＤ値１．５のＮＤフィルタを介して得られた被写体の光学像を撮像したデータ（ＯＤ値１．５多色原画像データ）ＩＳＡ（１．５）である。また、２行２列の２次元配列において、１行１列に位置する、第２サブ光学フィルタ３１１Ｂｂ−１１、第２撮像光学系３２１１Ｂ−１１および単色撮像部３２３１Ｂ−１１によって生成された単色原画像データＩＳＢは、ＯＤ値０のＮＤフィルタを介して得られた被写体の光学像を撮像したデータ（ＯＤ値０単色原画像データ）ＩＳＢ（０）である。１行２列に位置する、第２サブ光学フィルタ３１１Ｂｂ−１２、第２撮像光学系３２１１Ｂ−１２および単色撮像部３２３１Ｂ−１２によって生成された単色原画像データＩＳＢは、ＯＤ値０．５のＮＤフィルタを介して得られた被写体の光学像を撮像したデータ（ＯＤ値０．５単色原画像データ）ＩＳＢ（０．５）である。２行１列に位置する、第２サブ光学フィルタ３１１Ｂｂ−２１、第２撮像光学系３２１１Ｂ−２１および単色撮像部３２３１Ｂ−２１によって生成された単色原画像データＩＳＢは、ＯＤ値１．０のＮＤフィルタを介して得られた被写体の光学像を撮像したデータ（ＯＤ値１．０単色原画像データ）ＩＳＢ（１．０）である。２行２列に位置する、第２サブ光学フィルタ３１１Ｂｂ−２２、第２撮像光学系３２１１Ｂ−２２および単色撮像部３２３１Ｂ−２２によって生成された単色原画像データＩＳＢは、ＯＤ値１．５のＮＤフィルタを介して得られた被写体の光学像を撮像したデータ（ＯＤ値１．５単色原画像データ）ＩＳＢ（１．５）である。

制御処理部１ｂは、第１実施形態の制御処理部１ａと同様に、所定の測距処理プログラムに基づき後述の測距処理を実行するべく、測距装置Ｄｂの各部を当該各部の機能に応じてそれぞれ制御するものである。第２実施形態の制御処理部１ｂは、図１５（Ａ）に示すように、制御部１１と、距離演算部１２ｂとを備える。すなわち、第２実施形態の制御処理部１ｂは、第１実施形態の制御処理部１ａに対し、距離演算部１２ａに代え、距離演算部１２ｂを備える点で異なる。このため、第２実施形態の制御処理部１ｂにおける制御部１１は、第１実施形態の制御処理部１ａにおける制御部１１と同様であるので、その説明を省略する。

距離演算部１２ｂは、カラーアレイカメラ３２Ａによって得られた多色画像の多色原画像データとモノクロアレイカメラ３２Ｂによって得られた単色画像の単色原画像データとに基づいて測定対象の物体までの距離を求めるものである。より具体的には、距離演算部１２ｂは、カラーアレイカメラ３２Ａによって得られた多色画像に基づいて、複数の多色撮像部３２３１Ａによって得られた複数の多色画像および複数の単色撮像部３２３１Ｂによって得られた複数の単色画像の中から、測定対象の物体までの距離を求めるために用いる多色画像および単色画像を決定し、この決定した多色画像および単色画像に基づいて前記測定対象の物体までの距離を求める。そして、距離演算部１２ｂは、モノクロアレイカメラ３２Ｂによって得られた単色画像に基づいて、複数の多色撮像部３２３１Ａによって得られた複数の多色画像および複数の単色撮像部３２３１Ｂによって得られた複数の単色画像の中から、測定対象の物体までの距離を求めるために用いる多色画像および単色画像を決定し、この決定した多色画像および単色画像に基づいて前記測定対象の物体までの距離を求める。より詳しくは、色によって測定対象の物体を識別して認識する場合には、距離演算部１２ｂは、カラーアレイカメラ３２Ａによって得られた多色画像に基づいて、測距用の多色画像および単色画像を決定し、模様（柄）によって測定対象の物体を識別して認識する場合には、距離演算部１２ｂは、モノクロアレイカメラ３２Ｂによって得られた単色画像に基づいて、測距用の多色画像および単色画像を決定し、これら決定した測距用の多色画像および単色画像で測距する。

このような距離演算部１２ｂは、例えば、図１５（Ａ）に示すように、被写体抽出処理部１２７、前処理部１２２ｂ、対応点探索処理部１２３ｂ、位置ずれ量演算部１２４および距離算出部１２５を備える。第２実施形態の距離演算部１２ｂは、第１実施形態の距離演算部１２ａに対し、個眼画像選択処理部１２１、前処理部１２２ａおよび対応点探索処理部１２３ａに代え、被写体抽出処理部１２７、前処理部１２２ｂおよび対応点探索処理部１２３ｂを備える点で異なる。このため、第２実施形態の距離演算部１２ｂにおける位置ずれ量演算部１２４および距離算出部１２５は、それぞれ、第１実施形態の距離演算部１２ａにおける位置ずれ量演算部１２４および距離算出部１２５と同様であるので、その説明を省略する。

被写体抽出処理部１２７は、カラーアレイカメラ３２Ａにおける複数の多色撮像部３２３１Ａによって得られた複数の多色画像およびモノクロアレイカメラ３２Ｂにおける複数の単色撮像部３２３１Ｂによって得られた複数の単色画像の中から、測定対象の物体までの距離を求めるために、前記測定対象の物体として予め設定された物体（被写体）を抽出するものである。前記測定対象の物体として予め設定された前記物体（被写体）は、本実施形態では、例えば、画像の中から、色を判定することによって測定対象の物体を識別できる色系被写体と、前記画像の中から、模様（柄）を判定することによって測定対象の物体を識別できる模様系被写体である。被写体抽出処理部１２７は、図１５（Ｂ）に示すように、前記色系被写体を画像から判定して抽出するために、デモザイク処理部１２７１と、色系被写体抽出部１２７２とを備え、前記模様系被写体を画像から判定して抽出するために、模様系被写体抽出部１２７３とを備える。

デモザイク処理部１２７１は、多色撮像部３２３１Ａによって得られた多色画像における各画素ごとの複数のデータをデモザイクすることによって各色成分データを前記各画素ごとに持つ画像データの少なくとも１色を生成するものである。デモザイク処理部１２７１によってデモザイク処理された多色原画像データは、多色画像の画像データ（多色画像データ）として色系被写体抽出部１２７２へ通知される。このデモザイク処理は、例えば、データの無い色成分データを、当該色成分データを持つ周辺画素の色成分データで補間することによって求められる。例えば、単位配列がベイヤー配列である場合では、各画素のＲ色成分データ（赤色成分データ）は、図１８（Ａ）に示すように、第１態様の第２画像フィルタＦＬ２ａを用いることによって生成され、各画素のＢ色成分データ（青色成分データ）も、図１８（Ｂ）に示すように、第１態様の第２画像フィルタＦＬ２ａを用いることによって生成される。この第１態様の第２画像フィルタＦＬ２ａは、３行３列の中心位置に対し対称なフィルタ係数を持つフィルタであり、中心の２行２列に位置するフィルタ係数は、４／４（＝１）であり、１行２列、２行１列、２行３列および３行２列それぞれに位置する各フィルタ係数は、２／４（＝０．５）であり、そして、１行１列、１行３列、３行１列および３行３列それぞれに位置する各フィルタ係数は、１／４（＝０．２５）である。そして、各画素のＧ色成分データ（緑色成分データ）は、図１８（Ｃ）に示すように、第２態様の第２画像フィルタＦＬ２ｂを用いることによって生成される。この第２態様の第２画像フィルタＦＬ２ｂは、３行３列の中心位置に対し対称なフィルタ係数を持つフィルタであり、中心の２行２列に位置するフィルタ係数は、４／４（＝１）であり、１行２列、２行１列、２行３列および３行２列それぞれに位置する各フィルタ係数は、１／４（＝０．２５）であり、そして、１行１列、１行３列、３行１列および３行３列それぞれに位置する各フィルタ係数は、０である。なお、図１８に示す“Ｒ”、“Ｂ”および“Ｇ”は、それぞれ、“Ｒ”、“Ｂ”および“Ｇ”が記載された当該画素に当該色成分の画素値が有ることを示し、“０”は、“０”が記載された当該画素に当該色成分の画素値が無いことを示す。

色系被写体抽出部１２７２は、カラーアレイカメラ３２Ａにおける複数の多色撮像部３２３１Ａによって得られた複数の多色画像の中から、測定対象の物体までの距離を求めるために、前記測定対象の物体として予め設定された色系被写体を抽出するものである。色系被写体抽出部１２７２によって抽出された色系被写体は、対応点探索処理部１２３ｂへ通知される。色系被写体は、一例では、図１９に示すように、着色した帽子であり、例えば、赤色の赤帽子、青色の青帽子および緑色の緑帽子等である。このため、本実施形態では、色系被写体抽出部１２７２は、より具体的には、カラーアレイカメラ３２Ａにおける複数の多色撮像部３２３１Ａによって得られた複数の多色画像の多色原画像データをデモザイク処理部１２７１によってデモザイク処理された多色画像の多色画像データを用い、略同色の画素値を持つ複数の画素から成る画像領域が予め設定された面積以上である場合に、当該画像領域を当該色の帽子を写した色系被写体として抽出する。

ここで、被写体の明暗差がカラーアレイカメラ３２Ａのダイナミックレンジ内である場合には、カラーアレイカメラ３２Ａは、例えば、図２１（Ａ）に示すように、被写体全体を適切に撮像でき、色系被写体抽出部１２７２は、１個の多色画像の多色画像データで色系被写体を画像全体に亘って抽出できる。しかしながら、被写体の明暗差がカラーアレイカメラ３２Ａのダイナミックレンジを超える場合には、カラーアレイカメラ３２Ａは、例えば、図２１（Ｂ）に示すように、被写体全体を撮像できず、画像の一部に明るく飛んでしまったり（画素値が最大値で飽和して被写体の正しい画素値ではない場合）、画像の一部が暗く飛んでしまったり（画素値が最小値で飽和して被写体の正しい画素値ではない場合）する。このため、このような場合では、色系被写体抽出部１２７２は、１個の多色画像の多色画像データで色系被写体を画像全体に亘って抽出できない。

そこで、本実施形態では、複数の多色画像は、ＯＤ値の異なるＮＤフィルタを用いて得られているので、画像中の或る部分（領域）、あるいは、或る画素は、前記複数の多色画像のうちの一方の画像では前記ダイナミックレンジの範囲を超えていても、他方の画像では前記ダイナミックレンジの範囲内であり得る。このため、色系被写体抽出部１２７２は、色系被写体の有無を判断する画像の部分（領域）ごとに、あるいは、画素ごとに、複数の多色画像の中から、ダイナミックレンジ内の多色画像を選定し、この選定した多色画像を用いて色系被写体を抽出する。このように色系被写体抽出部１２７２は、色系被写体を判定して抽出する際に、複数の多色画像の中から適宜な多色画像を選択して用いているので、画素値に関し、各多色画像間でそのＯＤ値に応じて対応付けられている。例えば、ＯＤ値０多色画像の画素値ＸａがＯＤ値０．５多色画像の画素値Ｙａに対応付けられている。そして、色系被写体を抽出した場合に、色系被写体抽出部１２７２は、この抽出した色系被写体を表す抽出情報（例えば色系被写体の画素位置および色の種類のデータ）と、この抽出に用いた多色画像を表す情報（例えばファイルネームやＯＤ値や２次元配列上の配列位置等）とを対応点探索処理部１２３ｂへ通知する。

模様系被写体抽出部１２７３は、モノクロアレイカメラ３２Ｂにおける複数の単色撮像部３２３１Ｂによって得られた複数の単色画像の中から、測定対象の物体までの距離を求めるために、前記測定対象の物体として予め設定された模様系被写体を抽出するものである。模様系被写体抽出部１２７３によって抽出された模様系被写体は、対応点探索処理部１２３ｂへ通知される。模様系被写体は、一例では、図２０に示すように、模様を持つ帽子であり、例えば、横縞模様の帽子および格子模様の帽子等である。模様系被写体の判定に多色画像が用いられてもよいが、測距装置Ｄｂから比較的離れた位置に存在する模様系被写体を判定する場合、画像中の模様が細かくなるため、多色画像の場合、ベイヤー配列等の単位配列に起因する高周波成分を模様であると誤認してしまう虞がある。このため、多色画像を用いた模様系被写体の判定精度は、単色画像を用いた模様系被写体の判定精度に較べて劣化する。このため、本実施形態では、模様系被写体の判定には、より精度良く判定できる観点から、単色画像が用いられている。より具体的には、本実施形態では、模様系被写体抽出部１２７３は、モノクロアレイカメラ３２Ｂにおける複数の単色撮像部３２３１Ｂによって得られた複数の単色画像の単色原画像データを用い、単色原画像データを例えば３０度ごとに検出方向を変えたいわゆるガボールフィルタでフィルタリングすることによって得られた結果から模様の有無を判定し、模様があると判定した場合に、当該画像領域を当該模様の帽子を写した模様系被写体として抽出する。ガボールフィルタ（Ｇａｂｏｒ Ｆｉｌｔｅｒ）は、画像中に含まれる線の向きを抽出できるフィルタである。したがって、模様系被写体抽出部１２７３は、ガボールフィルタのフィルタリングの結果が横方向に向きの揃った複数の線を示す場合には、当該画像領域に横縞模様の帽子があると判定し、また、ガボールフィルタのフィルタリングの結果が２方向それぞれに向きの揃った複数の線を示す場合には、当該画像領域に格子模様の帽子があると判定する。

そして、被写体に比較的大きな明暗差が有る場合に対処するために、模様系被写体抽出部１２７３も、色系被写体抽出部１２７２と同様に、模様系被写体の有無を判断する画像の部分（領域）ごとに、あるいは、画素ごとに、複数の単色画像の中から、ダイナミックレンジ内の単色画像を選定し、この選定した単色画像を用いて模様系被写体を抽出する。このように模様系被写体抽出部１２７３は、模様系被写体を判定して抽出する際に、複数の単色画像の中から適宜な単色画像を選択して用いているので、画素値に関し、各単色画像間でそのＯＤ値に応じて対応付けられている。例えば、ＯＤ値０単色画像の画素値ＸｂがＯＤ値０．５単色画像の画素値Ｙｂに対応付けられている。そして、模様系被写体を抽出した場合に、模様系被写体抽出部１２７３は、この抽出した模様系被写体を表す抽出情報（例えば模様系被写体の画素位置および模様の種類のデータ）と、この抽出に用いた単色画像を表す情報（例えばファイルネームやＯＤ値や２次元配列上の配列位置等）とを対応点探索処理部１２３ｂへ通知する。

なお、色系被写体抽出部１２７２は、画像から特徴抽出できるいわゆるハフ変換（Ｈｏｕｇｈ変換）を用いることによって色系被写体を判定しても良く、また同様に、模様系被写体抽出部１２７３は、前記ハフ変換を用いることによって模様系被写体を判定しても良い。また、帽子は、通常、人が被っているので、色系被写体抽出部１２７２は、まず、人を画像から抽出し、この抽出した人の画像領域を中心に帽子の色系被写体を抽出して良く、模様系被写体抽出部１２７３は、まず、人を画像から抽出し、この抽出した人の画像領域を中心に帽子の模様系被写体を抽出して良い。この人の抽出には、公知の常套手段が用いられ、例えば、特開２００４−１４５６６０号公報や特開２００７−１４８８３５号公報に開示されたニューラルネットを利用した検出技術が採用可能である。このニューラルネットワークを利用した人の検出技術では、人の居ない画像と人の居る画像とを学習することによって画像から人の有無を判定して抽出できる。

前処理部１２２ｂは、第１実施形態の前処理部１２２ａと同様に、多色画像および単色画像（多色原画像データおよび単色原画像データ）それぞれを所定の第１画像フィルタＦＬ１でフィルタリングすることによって各前処理後画像データ（前処理後多色画像データおよび前処理後単色画像データ）を生成するものである。第１実施形態の前処理部１２２ａは、複数の多色画像および複数の単色画像のうちの、個眼画像選択処理部１２１で選定された単色画像およびこの選定された単色画像に対応する多色画像のみを前処理したが、第２実施形態の前処理部１２２ｂは、カラーアレイカメラ３２Ａにおける複数の多色撮像部３２３１Ａによって得られた複数の多色画像（複数の多色原画像データ）およびモノクロアレイカメラ３２Ｂにおける複数の単色撮像部３２３１Ｂによって得られた複数の単色画像（複数の単色原画像データ）全てをそれぞれ前処理するものである。第２実施形態の前処理部１２２ｂは、この点で第１実施形態の前処理部１２２ａと相違するが、他の点では第１実施形態の前処理部１２２ａと同様であるので、その説明を省略する。そして、前処理部１２２ｂは、前処理の各結果を位置ずれ量演算部１２４へ通知する。

対応点探索処理部１２３ｂは、第１実施形態の対応点探索処理部１２３ａと同様に、前処理部１２２ｂから通知された各前処理後画像データ（前処理後多色原画像データおよび前処理後単色原画像データ）それぞれに対応する多色画像および単色画像の間で対応点探索を実施するものである。第１実施形態の対応点探索処理部１２３ａは、複数の多色画像および複数の単色画像のうちの、個眼画像選択処理部１２１で選定された単色画像およびこの選定された単色画像に対応する多色画像のみの間で対応点探索を実施したが、第２実施形態の対応点探索処理部１２３ｂは、色系被写体抽出部１２７２で色系被写体の抽出に用いられた多色画像およびこれに対応する単色画像の間で、および、模様系被写体抽出部１２７３で模様系被写体の抽出に用いられた単色画像およびこれに対応する多色画像の間で、対応点探索を実施するものである。第２実施形態の対応点探索処理部１２３ｂは、この点で第１実施形態の対応点探索処理部１２３ａと相違するが、他の点では第１実施形態の対応点探索処理部１２３ａと同様であるので、その説明を省略する。そして、対応点探索処理部１２３ｂは、対応点探索の各結果を位置ずれ量演算部１２４へ通知する。

次に、本実施形態における測距装置の動作について説明する。図２２は、第２実施形態の前記測距装置における動作を示すフローチャートである。図２３は、第２実施形態において、前記モノクロアレイカメラの各個眼で得られた各画像および前記カラーアレイカメラの各個眼で得られた各画像を一例として示す図である。図２３（Ａ）は、ＯＤ値が０の場合の多色画像を示し、図２３（Ｂ）は、ＯＤ値が０の場合の単色画像を示し、図２３（Ｃ）は、ＯＤ値が１．０の場合の多色画像を示し、図２３（Ｄ）は、ＯＤ値が１．０の場合の単色画像を示す。図２４は、第２実施形態において、被写体抽出を説明するための図である。図２４（Ａ）は、抽出した色系被写体を示す、ＯＤ値が０の場合の多色画像を示し、図２４（Ｂ）は、図２４（Ａ）に対応する、ＯＤ値が０の場合の単色画像を示す。図２４（Ｄ）は、抽出した模様系被写体を示す、ＮＤ値が１．０の場合の単色画像を示し、図２４（Ｃ）は、図２４（Ｄ）に対応する、ＮＤ値が１．０の場合の多色画像を示す。

測距装置Ｄｂは、例えば、ユーザの操作によって入力部４から起動コマンドを受け付けると、測距処理プログラムを実行する。この画像処理プログラムの実行によって、制御処理部１ｂに制御部１１および距離演算部１２ｂが機能的に構成され、そして、距離演算部１２ｂに被写体抽出処理部１２７、前処理部１２２、対応点探索処理部１２３ｂ、位置ずれ量演算部１２４および距離算出部１２５が機能的に構成され、さらに、被写体抽出処理部１２７にデモザイク処理部１２７１、色系被写体抽出部１２７２および模様系被写体抽出部１２７３が機能的に構成される。そして、測距装置Ｄｂは、例えば、ユーザの操作によって入力部４から測距開始コマンドを受け付けると、測距を実行する。

この測距が開始されると、図２２において、まず、処理Ｓ２１では、第１実施形態の処理Ｓ１１と同様に、画像取得部３ｂによって複数の多色画像ＩＳＡｐおよび複数の単色画像ＩＳＢｐそれぞれに対応する複数の多色原画像データＩＳＡおよび複数の単色原画像データＩＳＢが生成され、これら生成された複数の多色原画像データＩＳＡおよび複数の単色原画像データＩＳＢが当該測距装置Ｄｂの記憶部２に記憶される。本実施形態の上述の例では、より詳しくは、２次元アレイ配列において、１行１列に位置するＯＤ値０のＯＤ値０多色画像ＩＳＡｐ（０）に対応するＯＤ値０多色原画像データＩＳＡ（０）、１行２列に位置するＯＤ値０．５のＯＤ値０．５多色画像ＩＳＡｐ（０．５）に対応するＯＤ値０．５多色原画像データＩＳＡ（０．５）、２行１列に位置するＯＤ値１．０のＯＤ値１．０多色画像ＩＳＡｐ（１．０）に対応するＯＤ値１．０多色原画像データＩＳＡ（１．０）、および、２行２列に位置するＯＤ値１．５のＯＤ値１．５多色画像ＩＳＡｐ（１．５）に対応するＯＤ値１．５多色原画像データＩＳＡ（１．５）が第１光学フィルタ部３１Ａｂおよびカラーアレイカメラ３２Ａによって生成され、２次元アレイ配列において、１行１列に位置するＯＤ値０のＯＤ値０単色画像ＩＳＢｐ（０）に対応するＯＤ値０単色原画像データＩＳＢ（０）、１行２列に位置するＯＤ値０．５のＯＤ値０．５単色画像ＩＳＢｐ（０．５）に対応するＯＤ値０．５単色原画像データＩＳＢ（０．５）、２行１列に位置するＯＤ値１．０のＯＤ値１．０単色画像ＩＳＢｐ（１．０）に対応するＯＤ値１．０単色原画像データＩＳＢ（１．０）、および、２行２列に位置するＯＤ値１．５のＯＤ値１．５単色画像ＩＳＢｐ（１．５）に対応するＯＤ値１．５単色原画像データＩＳＢ（１．５）が第２光学フィルタ部３１Ｂｂおよびモノクロアレイカメラ３２Ｂによって生成され、これらが上述のように互いに対応付けられて記憶部２に記憶される。

図２３（Ａ）ないし（Ｄ）それぞれには、被写体として３個の第１ないし第３帽子Ｏｂ１〜Ｏｂ３それぞれを被った３人の人ＨＵ１〜ＨＵ３を撮像することによって得られた、ＯＤ値０多色画像ＩＳＡｐ（０）、ＯＤ値０単色画像ＩＳＢｐ（０）、ＯＤ値１．０多色画像ＩＳＡｐ（１．０）およびＯＤ値１．０単色画像ＩＳＢｐ（１．０）が示されている。なお、ＯＤ値０．５多色画像ＩＳＡｐ（０．５）、ＯＤ値０．５単色画像ＩＳＢｐ（０．５）、ＯＤ値１．５多色画像ＩＳＡｐ（１．５）およびＯＤ値１．５単色画像ＩＳＢｐ（１．５）も同様に生成されているが、その図示がここでは省略されている。この図２３の例において、ＯＤ値０のＮＤフィルタを介して被写体の光学像を撮像すると、紙面右寄りの被写体が明る過ぎるために、紙面右寄りの被写体の光学像の光量がカラーアレイカメラ３２Ａおよびモノクロアレイカメラ３２Ｂの各ダイナミックレンジの各範囲を超えてしまい（各ダイナミックレンジの上限値を上回ってしまい）、その結果、図２３（Ａ）および（Ｂ）では、紙面右寄りの画像領域が明るく飛び、紙面右寄りの被写体が画像から認識できなくなっている。なお、明るく飛んでいる画像領域は、実際の画像では白くなるが、図２３（Ａ）および（Ｂ）では、作図の都合上、明るく飛んでいる紙面右寄りの画像領域は、被写体が画像から認識し難いことを表示するために、暗く描かれている。一方、このような被写体をＯＤ値１．０のＮＤフィルタを介して撮像すると、紙面左寄りの被写体の光学像の光量に較べてＮＤフィルタのＯＤ値が大き過ぎるために、紙面左寄りの被写体の光学像の光量がカラーアレイカメラ３２Ａおよびモノクロアレイカメラ３２Ｂの各ダイナミックレンジの各範囲を超えてしまい（各ダイナミックレンジの下限値を下回ってしまい）、その結果、図２３（Ｃ）および（Ｄ）では、紙面左寄りの画像領域が暗く飛び、紙面左寄りの被写体が画像から認識できなくなっている。

図２２に戻って、複数の多色画像ＩＳＡｐおよび複数の単色画像ＩＳＢｐが得られると、次に、処理Ｓ２２では、距離演算部１２ａの被写体抽出処理部１２７によって、これら複数の多色画像ＩＳＡｐおよび複数の単色画像ＩＳＢｐの中から、測定対象の物体までの距離を求めるために、前記測定対象の物体として予め設定された物体（被写体）を抽出する。

より具体的には、色系被写体を抽出するために、まず、被写体抽出処理部１２７におけるデモザイク処理部１２７１は、カラーアレイカメラ３２Ａにおける複数の多色撮像部３２３１Ａそれぞれによって得られた複数の多色原画像データＩＳＡ（上述の例では４個のＯＤ値０多色原画像データＩＳＡ（０）、ＯＤ値０．５多色原画像データＩＳＡ（０．５）、ＯＤ値１．０多色原画像データＩＳＡ（１．０）およびＯＤ値１．５多色原画像データＩＳＡ（１．５））をデモザイク処理する。そして、デモザイク処理部１２７１は、これらデモザイク処理された複数の多色原画像データＩＳＡ（デモザイク処理後多色画像データＩＳＤＡ）を色系被写体抽出部１２７２へ通知する。色系被写体抽出部１２７２は、予め設定された広さの領域ごとに、あるいは、画素ごとに、例えば画像の左上から右下まで順に、デモザイク処理後の多色画像ＩＳＤＡｐ（デモザイク処理後多色画像データＩＳＤＡ）を走査しながら、色系被写体の有無を判定し、色系被写体を抽出する。この走査および判定の際に、色系被写体抽出部１２７２は、デモザイク処理後の複数の多色画像ＩＳＤＡｐ（デモザイク処理後多色画像データ、上述の例では４個のＯＤ値０多色原画像データＩＳＡ（０）、ＯＤ値０．５多色原画像データＩＳＡ（０．５）、ＯＤ値１．０多色原画像データＩＳＡ（１．０）およびＯＤ値１．５多色原画像データＩＳＡ（１．５）それぞれをデモザイク処理した４個のデモザイク処理後多色画像データＩＳＤＡ）の中から、画素値がダイナミックレンジの範囲内にある多色画像ＩＳＤＡｐを選択し、色系被写体の有無を判定し、色系被写体を抽出する。例えば、前記走査および判定の際に、色系被写体抽出部１２７２は、デフォルトとしてＯＤ値０多色原画像データＩＳＡ（０）をデモザイク処理した多色画像ＩＳＤＡｐを最初に用い、この画像ＩＳＤＡｐの画素値がダイナミックレンジの範囲内であるか否かを判定する。この判定の結果、前記画素値が前記範囲内である場合には、色系被写体抽出部１２７２は、ＯＤ値０多色原画像データＩＳＡ（０）をデモザイク処理した前記多色画像ＩＳＤＡｐを用いて色系被写体の有無を判定し、前記画素値が前記範囲を超えている場合には、色系被写体抽出部１２７２は、当該画像ＩＳＤＡｐの画素値がダイナミックレンジの範囲内であると判定されるまで、ＯＤ値０．５多色原画像データＩＳＡ（０．５）をデモザイク処理した多色画像ＩＳＤＡｐ、ＯＤ値１．０多色原画像データＩＳＡ（１．０）をデモザイク処理した多色画像ＩＳＤＡｐおよびＯＤ値１．５多色原画像データＩＳＡ（１．５）をデモザイク処理した多色画像ＩＳＤＡｐを順に判定し、前記画素値が前記範囲内であると判定した多色画像ＩＳＤＡｐを用いて色系被写体の有無を判定し、色系被写体を抽出する。これによって例えば図２３に示す例では、色系被写体抽出部１２７２によって紙面左寄りの画像領域では、ＯＤ値０多色原画像データＩＳＡ（０）をデモザイク処理した図２３（Ａ）に示す多色画像ＩＳＤＡｐが色系被写体を判定して抽出する多色画像ＩＳＤＡｐとして選択され、紙面右寄りの画像領域では、ＯＤ値１．０多色原画像データＩＳＡ（１．０）をデモザイク処理した図２３（Ｃ）に示す多色画像ＩＳＤＡｐが色系被写体を判定して抽出する多色画像ＩＳＤＡｐとして選択され、ＯＤ値０多色原画像データＩＳＡ（０）をデモザイク処理した図２３（Ａ）に示す多色画像ＩＳＤＡｐから、図２４（Ａ）に示すように、色系被写体として赤帽子Ｏｂ１および緑帽子Ｏｂ２が抽出される。色系被写体を抽出すると、色系被写体抽出部１２７２は、この抽出した色系被写体を表す抽出情報（上述の例では赤帽子Ｏｂ１および緑帽子Ｏｂ２）と、この抽出に用いた多色画像ＩＳＤＡｐを表す情報（上述の例では赤帽子Ｏｂ１の抽出に用いられたＯＤ値０多色原画像データＩＳＡ（０）を指し示す情報、および、緑帽子Ｏｂ２の抽出に用いられたＯＤ値０多色原画像データＩＳＡ（０）を指し示す情報）とを対応点探索処理部１２３ｂへ通知する。

そして、模様系被写体を抽出するために、模様系被写体抽出部１２７３は、予め設定された広さの領域ごとに、あるいは、画素ごとに、例えば画像の左上から右下まで順に、単色画像ＩＳＢｐ（単色原画像データＩＳＢ）を走査しながら、模様系被写体の有無を判定し、模様系被写体を抽出する。この走査および判定の際に、模様系被写体抽出部１２７３は、色系被写体抽出部１２７２と同様に、複数の単色画像ＩＳＢｐ（単色原画像データＩＳＢ、上述の例では４個のＯＤ値０単色原画像データＩＳＢ（０）、ＯＤ値０．５単色原画像データＩＳＢ（０．５）、ＯＤ値１．０単色原画像データＩＳＢ（１．０）およびＯＤ値１．５単色原画像データＩＳＢ（１．５））の中から、画素値がダイナミックレンジの範囲内にある単色画像ＩＳＢｐを選択し、模様系被写体の有無を判定し、模様系被写体を抽出する。例えば、前記走査および判定の際に、模様系被写体抽出部１２７３は、デフォルトとしてＯＤ値０単色原画像データＩＳＢ（０）の単色画像ＩＳＢｐを最初に用い、この画像ＩＳＢｐの画素値がダイナミックレンジの範囲内であるか否かを判定する。この判定の結果、前記画素値が前記範囲内である場合には、模様系被写体抽出部１２７３は、ＯＤ値０単色原画像データＩＳＢ（０）の単色画像ＩＳＢｐを用いて模様系被写体の有無を判定し、前記画素値が前記範囲を超えている場合には、模様系被写体抽出部１２７３は、当該画像ＩＳＢｐの画素値がダイナミックレンジの範囲内であると判定されるまで、ＯＤ値０．５単色原画像データＩＳＡ（０．５）の単色画像ＩＳＢｐ、ＯＤ値１．０単色原画像データＩＳＡ（１．０）の単色画像ＩＳＢｐおよびＯＤ値１．５単色原画像データＩＳＡ（１．５）の単色画像ＩＳＢｐを順に判定し、前記画素値が前記範囲内であると判定した単色画像ＩＳＢｐを用いて模様系被写体の有無を判定し、模様系被写体を抽出する。これによって例えば図２３に示す例では、模様系被写体抽出部１２７３によって紙面左寄りの画像領域では、図２３（Ｂ）に示す、ＯＤ値０単色原画像データＩＳＢ（０）の単色画像ＩＳＢｐが模様系被写体を判定して抽出する単色画像ＩＳＢｐとして選択され、紙面右寄りの画像領域では、図２３（Ｄ）に示す、ＯＤ値１．０単色原画像データＩＳＢ（１．０）の単色画像ＩＳＢｐが模様系被写体を判定して抽出する単色画像として選択され、図２３（Ｄ）に示す、ＯＤ値１．０単色原画像データＩＳＡ（１．０）の単色画像ＩＳＢｐから、図２４（Ｄ）に示すように、模様系被写体として横縞模様の帽子Ｏｂ３が抽出される。模様系被写体を抽出すると、模様系被写体抽出部１２７３は、この抽出した模様系被写体を表す抽出情報（上述の例では横縞模様の帽子Ｏｂ３）と、この抽出に用いた単色画像ＩＳＢｐを表す情報（上述の例では横縞模様の帽子Ｏｂ３の抽出に用いられたＯＤ値１．０単色原画像データＩＳＢ（１．０）を指し示す情報）とを対応点探索処理部１２３ｂへ通知する。

図２２に戻って、このような被写体抽出処理Ｓ２２を実行している間に平行して、あるいは、被写体抽出処理Ｓ２２の終了後に、処理Ｓ２３では、距離演算部１２ｂの前処理部１２２ｂによって、第１実施形態の処理Ｓ１３と同様に、多色原画像データＩＳＡおよび単色原画像データＩＳＢそれぞれが前処理される。ここで、第２実施形態では、第１実施形態と異なり、前処理部１２２ｂは、カラーアレイカメラ３２Ａにおける複数の多色撮像部３２３１Ａそれぞれによって生成された複数の多色原画像データＩＳＡおよびモノクロアレイカメラ３２Ｂにおける複数の単色撮像部３２３１Ｂそれぞれによって生成された複数の単色原画像データＩＳＢの全てについて前処理を実行する。

次に、処理Ｓ２４では、距離演算部１２ｂの対応点探索処理部１２３ｂによって、第１実施形態の処理Ｓ１４と同様に、対応点探索が実行され、この求められた対応点が位置ずれ量演算部１２４へ通知される。ここで、第２実施形態では、第１実施形態と異なり、被写体抽出処理Ｓ２２によって抽出された被写体に対し、前処理Ｓ２３によって得られた前処理後多色画像データＢＩＳＡおよび前処理後単色画像データＢＩＳＢを用いて、対応点探索が実行され、この求められた各対応点が位置ずれ量演算部１２４へ通知される。より具体的には、被写体抽出処理Ｓ２２によって抽出された被写体Ｏｂに対し対応点探索が実行される場合、まず、対応点探索処理部１２３ｂは、複数の前処理後多色画像データＢＩＳＡおよび複数の前処理後単色画像データＢＩＳＢの中から、前記被写体Ｏｂの抽出に関与した多色原画像データＩＳＡおよび単色原画像データＩＳＢに対応する前処理後多色画像データＢＩＳＡおよび前処理後単色画像データＢＩＳＢを選択する。次に、対応点探索処理部１２３ｂは、これら選択された前処理後多色画像データＢＩＳＡおよび前処理後単色画像データＢＩＳＢの一方を基準画像に設定し、その他方を参照画像に設定し、基準画像中に、被写体抽出処理Ｓ２２によって抽出された被写体Ｏｂの位置に前記被写体Ｏｂを含む所定の大きさを持つウィンドウＷｂを設定し、同様に、参照画像上にも同じ大きさを持つウィンドウＷｒａｎをいわゆるエピポールライン上に複数設定する。そして、対応点探索処理部１２３ｂは、参照画像上における各ウィンドウＷｒａｎの一致度（相関度）を所定の手法で求め（テンプレートマッチング）、最も一致度の高いウィンドウＷｒａにおける中心位置の画素を対応点として求める。したがって、本実施形態では、一側面では、距離演算部１２ｂは、カラーアレイカメラ３２Ａによって得られた多色画像の一部（色系被写体の部分画像、模様系被写体の部分画像）と、モノクロアレイカメラ３２Ｂによって得られた単色画像の一部（色系被写体の部分画像、模様系被写体の部分画像）とに基づいて前記測定対象の物体までの距離を求めるものである。

図２３および図２４に示す例では、例えば、被写体抽出処理Ｓ２２によって抽出された色系被写体Ｏｂ１に対し対応点探索が実行される場合、まず、対応点探索処理部１２３ｂは、複数の前処理後多色画像データＢＩＳＡおよび複数の前処理後単色画像データＢＩＳＢの中から、色系被写体Ｏｂ１の抽出に関与したＯＤ値０多色原画像データＩＳＡ（０）およびＯＤ値０単色原画像データＩＳＢ（０）に対応する前処理後多色画像データＢＩＳＡおよび前処理後単色画像データＢＩＳＢを選択する。次に、対応点探索処理部１２３ｂは、これら選択された前処理後多色画像データＢＩＳＡおよび前処理後単色画像データＢＩＳＢの一方を基準画像に設定し、その他方を参照画像に設定する。色系被写体Ｏｂ１の場合、この色系被写体Ｏｂ１がＯＤ値０多色原画像データＩＳＡ（０）をデモザイクした多色画像から抽出されたので、ＯＤ値０多色原画像データＩＳＡ（０）を基準画像とすることが好ましい。次に、対応点探索処理部１２３ｂは、基準画像中に、被写体抽出処理Ｓ２２によって抽出された色系被写体Ｏｂ１の位置に前記色系被写体Ｏｂ１を含む所定の大きさを持つウィンドウＷｂを設定し、同様に、参照画像上にも同じ大きさを持つウィンドウＷｒａｎをいわゆるエピポールライン上に複数設定する。そして、対応点探索処理部１２３ｂは、前記テンプレートマッチングを行い、最も一致度の高いウィンドウＷｒａにおける中心位置の画素を対応点として求める。

また例えば、被写体抽出処理Ｓ２２によって抽出された模様系被写体Ｏｂ３に対し対応点探索が実行される場合、まず、対応点探索処理部１２３ｂは、複数の前処理後多色画像データＢＩＳＡおよび複数の前処理後単色画像データＢＩＳＢの中から、模様系被写体Ｏｂ３の抽出に関与したＯＤ値１．０単色原画像データＩＳＢ（１．０）およびＯＤ値１．０多色原画像データＩＳＡ（１．０）に対応する前処理後単色画像データＢＩＳＢおよび前処理後多色画像データＢＩＳＡを選択する。次に、対応点探索処理部１２３ｂは、これら選択された前処理後単色画像データＢＩＳＢおよび前処理後多色画像データＢＩＳＡの一方を基準画像に設定し、その他方を参照画像に設定する。模様系被写体Ｏｂ３の場合、この模様系被写体Ｏｂ３がＯＤ値１．０単色原画像データＩＳＢ（１．０）の単色原画像から抽出されたので、ＯＤ値１．０単色原画像データＩＳＢ（１．０）を基準画像とすることが好ましい。次に、対応点探索処理部１２３ｂは、基準画像中に、被写体抽出処理Ｓ２２によって抽出された模様系被写体Ｏｂ３の位置に前記模様系被写体Ｏｂ３を含む所定の大きさを持つウィンドウＷｂを設定し、同様に、参照画像上にも同じ大きさを持つウィンドウＷｒａｎをいわゆるエピポールライン上に複数設定する。そして、対応点探索処理部１２３ｂは、前記テンプレートマッチングを行い、最も一致度の高いウィンドウＷｒａにおける中心位置の画素を対応点として求める。

次に、処理Ｓ２５では、処理Ｓ１５と同様に、処理Ｓ２４で求められた各対応点間について、距離演算部１２ｂの位置ずれ量演算部１２４によって対応点間の位置ずれ量が求められ、この求められた位置ずれ量が距離算出部１２５へ通知される。次に、処理Ｓ２６では、処理Ｓ１６と同様に、距離演算部１２５によって、位置ずれ量演算部１２４で求めた位置ずれ量が多色画像ＩＳＡｐと単色画像ＩＳＢｐとの間における視差とされ、前記視差に基づいて被写体までの距離が求められる。そして、処理Ｓ２７では、処理Ｓ１７と同様に、このように距離算出部１２５によって求められた各被写体Ｏｂまでの各距離が制御処理部１ｂによって出力部５へ出力され、処理が終了する。これによって出力部５には、各被写体Ｏｂまでの各距離が表示される。なお、測距に用いられた多色画像ＩＳＡｐおよび単色画像ＩＳＢｐも出力部５に出力されてもよい。

本実施形態における測距装置Ｄｂおよびこれに実装された測距方法は、カラーアレイカメラ３２Ａおよびモノクロアレイカメラ３２Ｂを備えるので、同一の被写体に対し複数の多色画像ＩＳＡｐ（多色原画像データＩＳＡ）および複数の単色画像ＩＳＢｐ（単色原画像データＩＳＢ）を得ることができる。そして、これら複数の多色画像ＩＳＡｐは、第１光学フィルタ部３１Ａｂを介して得られるので、光学的に異なる状態で撮像された画像（上述の例ではＯＤ値０、０．５、１．０および１．５の各ＯＤ値を持つＮＤフィルタを介して得られた画像）であり、これら複数の単色画像ＩＳＢｐも、第２光学フィルタ部３１Ｂｂを介して得られるので、光学的に異なる状態で撮像された画像（上述の例では同様にＯＤ値０、０．５、１．０および１．５の各ＯＤ値を持つＮＤフィルタを介して得られた画像）である。このため、上記測距装置Ｄｂおよび測距方法は、距離演算部１２ｂによって測定対象の物体までの距離を求める際に、このような光学的に異なる複数の多色画像ＩＳＡｐおよび複数の単色画像ＩＳＢｐの中から適宜な画像を選択できるので、大きな明暗差が有る場合でも、多色画像ＩＳＡｐと単色画像ＩＳＢｐとを使い分けながら、より精度良く測距できる。すなわち、本実施形態における測距装置Ｄｂおよび測距方法は、ＯＤ値の異なるＮＤフィルタで被写体の光学像の光量を変えながら前記光学像を撮像できるので、画素値がダイナミックレンジの範囲内である画像を適切に選択できる。例えば、色系被写体の抽出では、優位に判定可能な多色画像ＩＳＡｐ（デモザイク処理後多色画像ＩＳＤＡｐ）が用いられ、複数の多色画像ＩＳＡｐの中から、画素値がダイナミックレンジの範囲内である多色画像ＩＳＡｐが適切に選定され、色系被写体の測距の際に、この選定に対応する単色画像ＩＳＢｐも選定され、そして、これら多色画像ＩＳＡｐおよび単色画像データＩＳＢｐが測距用の画像とされる。また例えば、模様系被写体の抽出では、優位に判定可能な単色画像ＩＳＢｐが用いられ、複数の単色画像ＩＳＢｐの中から、画素値がダイナミックレンジの範囲内である単色画像ＩＳＢｐが適切に選定され、模様系被写体の測距の際に、この選定に対応する多色画像ＩＳＡｐも選定され、そして、これらの前処理された単色画像ＩＳＢｐおよび多色画像データＩＳＡｐが測距用の画像とされる。したがって、上記測距装置Ｄｂおよび測距方法は、被写体に大きな明暗差があっても、多色画像ＩＳＡｐと単色画像ＩＳＢｐとを使い分けながら、より精度良く測距できる。

また、本実施形態における測距装置Ｄａおよびこれに実装された測距方法は、前処理および第１画像フィルタＦＬ１に関し、第１実施形態における測距装置Ｄａおよび測距方法と、同様の作用効果を奏する。

そして、第２実施形態における測距装置Ｄｂおよびこれに実装された測距方法は、例えば企業内に勤務する人をその帽子で識別し、測距する場合に好適に利用できる。このような測距装置Ｄｂは、被写体抽出処理部１２７で抽出された被写体に、人を特定し識別するための識別子を割り当て、この識別子に測距した距離を対応付けることで、識別子で表された人とその距離とを管理できる。また例えば、勤務者の作業内容等の属性に応じて異なる種類の帽子が予め割り当てられている場合には、測距装置Ｄｂは、被写体抽出処理部１２７で被写体を抽出することで、この抽出した被写体の属性を判定でき、被写体抽出処理部１２７で抽出された被写体に、前記識別子に代え前記属性を用いて良く、あるいは、前記識別子に加えて前記属性も対応付けても良い。前記属性は、企業の事業分野や業務内容に応じて適宜に設定されてよく、例えば、流通業の流通拠点では、属性は、入荷作業、出荷作業、保管作業、仕分け作業および管理者等であり、また例えば、飲料生産業の生産工場では、属性は、調合作業、充填作業、包装作業、検品作業および管理者等である。このような流通拠点や生産工場等では、窓やドア、あるいは、機械の陰等によって比較的大きな明暗差が生じ易く、第２実施形態における測距装置Ｄｂおよび測距方法は、好適に利用できる。また、色だけで被写体を識別すると、色の種類が少ない場合は、良いが、色の種類が増えると近似した色が増え、光源の影響で誤識別する虞があるが、上述では、色だけでなく模様も用いて被写体を識別しているので、より精度よく識別できる。

なお、上述の第１および第２実施形態における測距装置Ｄａ、Ｄｂでは、図３および図１７それぞれに示す、２行２列に２次元配列にされた互いに光学的の異なる４個のサブ光学フィルタ３１１Ａａ、３１１Ｂａ；３１１Ａｂ、３１１Ｂｂを備える第１および第２光学フィルタ部３１Ａａ、３１Ｂａ；３１Ａｂ、３１Ｂｂと、これに応じたカラーアレイカメラ３２Ａおよびモノクロアレイカメラ３２Ｂとが用いられたが、これに限定されるものではない。個眼数は、任意の個数であって良く、また、各個眼のサブ光学フィルタ３１１は、必ずしも全て互いに異なっている必要はなく、一部、同じであっても良い。

図２５は、第１および第２実施形態の測距装置において、画像取得部の他の構成を示すブロックである。例えば、第１実施形態の測距装置Ｄａにおいて、画像取得部３ａに代え、画像取得部３ｃが用いられてもよく、これによって第１実施形態の変形形態の測距装置Ｄｃが構成される。この画像取得部３ｃは、図３に示す第１および第２光学フィルタ部３１Ａａ、３１Ｂａとこれに応じたカラーアレイカメラ３２Ａおよびモノクロアレイカメラ３２Ｂに代え、図２５に示すように、第１および第２光学フィルタ部３１Ａｃ、３１Ｂｃとこれに応じたカラーアレイカメラ３２Ａｃおよびモノクロアレイカメラ３２Ｂｃを備える。図２５に示す第１および第２光学フィルタ部３１Ａｃ、３１Ｂｃは、それぞれ、２行４列で２次元アレイ状に配列された８個のサブ光学フィルタ３１１Ａｃ、３１１Ｂｃを備える。それらの１行１列および１行３列それぞれに配置された各サブ光学フィルタ３１１Ａｃ−１１、３１１Ａｃ−１３；３１１Ｂｃ−１１、３１１Ｂｃ−１３は、偏光角０度の偏光フィルタであり、それらの１行２列および１行４列それぞれに配置された各サブ光学フィルタ３１１Ａｃ−１２、３１１Ａｃ−１４；３１１Ｂｃ−１２、３１１Ｂｃ−１４は、偏光角４５度の偏光フィルタであり、それらの２行１列および２行３列それぞれに配置された各サブ光学フィルタ３１１Ａｃ−２１、３１１Ａｃ−２３；３１１Ｂｃ−２１、３１１Ｂｃ−２３は、偏光角９０度の偏光フィルタであり、それらの２行２列および２行４列それぞれに配置された各サブ光学フィルタ３１１Ａｃ−２２、３１１Ａｃ−２４；３１１Ｂｃ−２２、３１１Ｂｃ−２４は、偏光角１３５度の偏光フィルタである。そして、カラーアレイカメラ３２Ａｃおよびモノクロアレイカメラ３２Ｂｃは、これら第１および第２光学フィルタ部３１Ａｃ、３１Ｂｃに対応して２行４列の８個の個眼を持つように構成される。

第２実施形態における測距装置Ｄｂに対しても、上述の偏光フィルタ３１１Ａｃ、３１１Ｂｃに代えてＮＤフィルタを用いた変形形態の第１および第２光学フィルタ部３１Ａｄ、３１Ｂｄとこれに応じたカラーアレイカメラ３２Ａｄおよびモノクロアレイカメラ３２Ｂｄを備えて構成される画像取得部３ｄが用いられてもよい。これによって第２実施形態の変形形態の測距装置Ｄｄが構成される。

このような変形形態の測距装置Ｄｃ、Ｄｄおよびこれに実装された測距方法は、例えば１行１列のサブ光学フィルタ３１１Ａｃ−１１と１行３列のサブ光学フィルタ３１１Ｂｃ−１３とのように、同じ光学特性を持つサブ光学フィルタ３１１を備えるので、その一方に例えば汚損やゴースト等のような不具合があっても他方を用いることで、このような不具合に対処できる。また、ステレオ法では、基線長が短いと比較的近い測定対象は、精度良く測距できるが、遠い測定対象は、測定し難い。しかしながら、このような変形形態の測距装置Ｄｃ、Ｄｄおよびこれに実装された測距方法は、測定対象が比較的近い場合には、第１および第２光学フィルタ部３１Ａｃ、３１Ｂｃ間において、基線長の短い組（ペア）、例えば第１光学フィルタ部３１Ａｃにおける１行３列に位置するサブ光学フィルタ３１１Ａｃ−１３による多色画像と、第２光学フィルタ部３１Ｂｃにおける１行１列に位置するサブ光学フィルタ３１１Ｂｃ−１１による単色画像とを用いることで、より精度良く測距でき、また、測定対象が比較的遠い場合には、第１および第２光学フィルタ部３１Ａｃ、３１Ｂｃ間において、基線長の長い組（ペア）、例えば第１光学フィルタ部３１Ａｃにおける１行１列に位置するサブ光学フィルタ３１１Ａｃ−１１による多色画像と、第２光学フィルタ部３１Ｂｃにおける１行３列に位置するサブ光学フィルタ３１１Ｂｃ−１３による単色画像とを用いることで、より精度良く測距でき、測定対象の遠近に依らず、精度良く測距できる。

本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および／または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。

Ｄａ、Ｄｂ、Ｄｃ、Ｄｄ 測距装置
１ａ、１ｂ 制御処理部
３ａ、３ｂ、３ｃ、３ｄ 画像取得部
１２ａ、１２ｂ 距離演算部
３１Ａａ、３１Ａｂ、３１Ａｃ、３１Ａｄ 第１光学フィルタ部
３１Ｂａ、３１Ｂｂ、３１Ｂｃ、３１Ｂｄ 第２光学フィルタ部
１２１ 個眼画像選択処理部
１２２ａ、１２２ｂ 前処理部
１２３ａ、１２３ｂ 対応点探索処理部
１２４ 位置ずれ量演算部
１２５ 距離算出部
３１１１Ａａ、３１１１Ａｂ 第１サブ光学フィルタ
３１１１Ｂａ、３１１１Ｂｂ 第２サブ光学フィルタ

Claims (13)

1. 複数の第１撮像光学系と、前記複数の第１撮像光学系に対応し、前記複数の第１撮像光学系それぞれによって結像された物体の光学像をそれぞれ複数色で撮像する複数の多色撮像部とを備えるカラーアレイカメラと、
   複数の第２撮像光学系と、前記複数の第２撮像光学系に対応し、前記複数の第１撮像光学系それぞれによって結像された前記物体の光学像をそれぞれ単色で撮像する複数の単色撮像部とを備えるモノクロアレイカメラと、
   前記カラーアレイカメラによって得られた多色画像と前記モノクロアレイカメラによって得られた単色画像とに基づいて測定対象までの距離を求める距離演算部と、
   入射光を領域ごとに光学的に互いに異なるように射出する第１および第２光学フィルタ部とを備え、
   前記カラーアレイカメラは、前記第１光学フィルタ部を介して前記物体の光学像を前記複数の多色撮像部それぞれによって撮像し、
   前記モノクロアレイカメラは、前記第２光学フィルタ部を介して前記物体の光学像を前記複数の単色撮像部それぞれによって撮像すること
   を特徴とする測距装置。
2. 前記第１および第２光学フィルタ部における互いに同じ位置に配置される領域は、入射光を光学的に互いに同じになるように射出し、前記第１および第２光学フィルタ部は、互いに対応する領域の配置位置を維持するように、前記カラーアレイカメラおよび前記モノクロアレイカメラに対し配置されること
   を特徴とする請求項１に記載の測距装置。
3. 前記距離演算部は、前記カラーアレイカメラによって得られた多色画像の一部と、前記モノクロアレイカメラによって得られた単色画像の一部とに基づいて測定対象までの距離を求めること
   を特徴とする請求項１または請求項２に記載の測距装置。
4. 第１および第２光学フィルタ部における前記複数のサブ光学フィルタは、偏光フィルタであること
   を特徴とする請求項１ないし請求項３のいずれか１項に記載の測距装置。
5. 第１および第２光学フィルタ部における前記複数のサブ光学フィルタは、ＮＤフィルタであること
   を特徴とする請求項１ないし請求項３のいずれか１項に記載の測距装置。
6. 前記距離演算部は、前記モノクロアレイカメラによって得られた単色画像に基づいて、前記複数の多色撮像部によって得られた複数の多色画像および前記複数の単色撮像部によって得られた複数の単色画像の中から、前記測定対象までの距離を求めるために用いる多色画像および単色画像を決定し、前記決定した多色画像および単色画像に基づいて前記測定対象までの距離を求めること
   を特徴とする請求項１ないし請求項５のいずれか１項に記載の測距装置。
7. 前記距離演算部は、前記カラーアレイカメラによって得られた多色画像に基づいて、前記複数の多色撮像部によって得られた複数の多色画像および前記複数の単色撮像部によって得られた複数の単色画像の中から、前記測定対象までの距離を求めるために用いる多色画像および単色画像を決定し、前記決定した多色画像および単色画像に基づいて前記測定対象までの距離を求めること
   を特徴とする請求項１ないし請求項５のいずれか１項に記載の測距装置。
8. 前記カラーアレイカメラによって得られた多色画像および前記モノクロアレイカメラによって得られた単色画像それぞれを画像フィルタでフィルタリングする画像フィルタ処理部をさらに備え、
   前記カラーアレイカメラによって得られた多色画像は、２次元アレイ状に配列された複数の画素それぞれに対応する複数のデータであって、互いに異なる複数色の複数の濃度データを所定のパターンで配列した単位配列を、複数、さらに２次元アレイ状に配列した前記複数のデータを備え、
   前記画像フィルタは、フィルタリングするデータである対象データに対応する画素の周辺に位置する画素に対応するデータに基づいて、前記対象データを、前記単位配列の色組成比と同じ色組成比を持つデータに変換するフィルタ係数を備え、
   前記距離演算部は、前記画像フィルタ処理部でフィルタリングされた前記多色画像および前記単色画像に基づいて前記測定対象までの距離を求めること
   を特徴とする請求項１ないし請求項７のいずれか１項に記載の測距装置。
9. 前記画像フィルタの各フィルタ係数は、中心位置に対し対称であること
   を特徴とする請求項８に記載の測距装置。
10. 前記画像フィルタの各フィルタ係数は、前記画像フィルタ全域に前記単位配列を重ねた場合に、前記単位配列の同じ配列位置におけるフィルタ係数の和が、全ての配列位置で同じ値になるように、設定されていること
    を特徴とする請求項８に記載の測距装置。
11. 前記多色画像における前記複数のデータをデモザイクすることによって各色成分データを各画素ごとに持つ画像データの少なくとも１色を生成するデモザイク処理部をさらに備えること
    を特徴とする請求項８ないし請求項１０のいずれか１項に記載の測距装置。
12. 前記複数の多色画像と前記複数の単色画像とは、入射光を光学的に互いに同じになるように射出する前記サブ光学フィルタを介して互いに対応付けられており、
    前記距離演算部は、前記複数の単色撮像部によって得られた複数の単色画像の中から、反射の無い単色画像を検出し、前記検出した単色画像および前記単色画像に対応する多色画像に基づいて前記測定対象までの距離を求めること
    を特徴とする請求項１ないし請求項１１のいずれか１項に記載の測距装置。
13. 複数の第１撮像光学系と、前記複数の第１撮像光学系に対応し、前記複数の第１撮像光学系それぞれによって結像された物体の光学像をそれぞれ複数色で撮像する複数の多色撮像部とを備えるカラーアレイカメラで前記物体の光学像を撮像して複数の多色画像を得る多色画像取得工程と、
    複数の第２撮像光学系と、前記複数の第２撮像光学系に対応し、前記複数の第１撮像光学系それぞれによって結像された物体の光学像をそれぞれ単色で撮像する複数の単色撮像部とを備えるモノクロアレイカメラで前記物体の光学像を撮像して複数の単色画像を得る単色画像取得工程と、
    前記カラーアレイカメラによって得られた多色画像と前記モノクロアレイカメラによって得られた単色画像とに基づいて測定対象までの距離を求める距離演算工程とを備え、
    前記カラーアレイカメラは、入射光を光学的に互いに異なるように射出する複数のサブ光学フィルタの領域を備える第１および第２光学フィルタ部のうちの前記第１光学フィルタ部を介して前記物体の光学像を前記複数の多色撮像部それぞれによって撮像し、
    前記モノクロアレイカメラは、前記第１および第２光学フィルタ部のうちの前記第２光学フィルタ部を介して前記物体の光学像を前記複数の単色撮像部それぞれによって撮像すること
    を特徴とする測距方法。