JP2007271301A - 撮像装置 - Google Patents

Abstract

【課題】小型化が可能で、多様な被写体で高速に距離計測を可能にする撮像装置を提供する。
【解決手段】それぞれが少なくとも１枚のレンズを含む複数のレンズ部（１１３）と、前記複数のレンズ部に一対一に対応し、対応する前記レンズ部の光軸方向に対して略垂直な受光面をそれぞれ備える複数の撮像領域（１２３）と、前記複数の撮像領域からそれぞれ出力される複数の撮像信号が入力される撮像信号入力部（１２５）と、前記複数の撮像信号から複数の組の撮像信号を選択し、それぞれの組に対しそれぞれの視差を演算する視差演算部（１２５）と、複数の前記視差に基づき距離を演算する距離演算部（１２５）と、を有する。
【選択図】図１

Description

本発明は、小型かつ距離計測可能な撮像装置に関する。

従来の撮像装置として、特許文献１の撮像装置がある。図４９は、特許文献１の撮像装置の斜視図である。図４９において、撮像装置９０５の前面にはラインＣＣＤモジュール９０２の一対のレンズ９０１Ａ、９０１Ｂが間隔をおいて配置されている。ラインＣＣＤモジュール９０２は、レンズ９０１Ａ、９０１Ｂを結ぶ線Ｌ２と平行な直線上に多数の受光素子を一次元的に配した受光画面（ラインＣＣＤ）を内蔵している。さらに、ラインＣＣＤモジュール９０２を撮像装置９０５内に設けたステップモータ９０４に結合して、所定角度位置へ回動可能としている。このステップモータ９０４により、ラインＣＣＤモジュール９０２を適宜回転変位せしめて、左右のレンズを結ぶ線（Ｌ２）が先行車両後面の主要な線に対して常に角度を有するようになすことができ、先行車両後面の多様な意匠に対応して正確な車両距離の検出が可能である。
特開平８−１７８６４８号公報

前述のように、特許文献１に記載された従来の撮像装置は、ステップモータ９０４により、ラインＣＣＤモジュール９０２を適宜回転させることにより、多様な意匠に対応して正確な距離計測が可能である。しかしながら、ステップモータ９０４が配置されるため、ステップモータ９０４の外形分だけ撮像装置の外形が大きくなる。また、正確な距離計測ができないときは、ステップモータ９０４でラインＣＣＤモジュール９０２を正確な距離計測ができる位置まで適宜回転させなければならないため、回転に要する時間だけ、正確な距離計測が遅れる。

本発明は、上記問題に鑑みなされたもので、小型化が可能で、多様な被写体で高速に距離計測を可能にする撮像装置を提供することを目的とする。

本発明の撮像装置は、それぞれが少なくとも１枚のレンズを含む複数のレンズ部と、前記複数のレンズ部に一対一に対応し、対応する前記レンズ部の光軸方向に対して略垂直な受光面をそれぞれ備える複数の撮像領域と、前記複数の撮像領域からそれぞれ出力される複数の撮像信号が入力される撮像信号入力部と、前記複数の撮像信号から複数の組の撮像信号を選択し、それぞれの組に対しそれぞれの視差を演算する視差演算部と、複数の前記視差に基づき距離を演算する距離演算部とを有する。

本発明は、上記問題に鑑みなされたもので、小型化が可能で、多様な被写体で高速に距離計測を可能にする撮像装置を提供することができる。

本発明の撮像装置は、それぞれが少なくとも１枚のレンズを含む複数のレンズ部と、前記複数のレンズ部に一対一に対応し、対応する前記レンズ部の光軸方向に対して略垂直な受光面をそれぞれ備える複数の撮像領域と、前記複数の撮像領域からそれぞれ出力される複数の撮像信号が入力される撮像信号入力部と、前記複数の撮像信号から複数の組の撮像信号を選択し、それぞれの組に対しそれぞれの視差を演算する視差演算部と、複数の前記視差に基づき距離を演算する距離演算部と、を有する。

一組のレンズ部に対応した撮像信号において、それぞれの撮像信号の光軸中心を結ぶ直線に平行な意匠は、それぞれの撮像信号において同一形状となり視差を求めることができない。本発明の撮像装置によれば、複数の組の撮像信号を選択し、それぞれの組に対しそれぞれの視差を演算する。このことにより、モータなど付加構成がなくとも、片方の組で正しく視差を求められない意匠であっても、他方の組で正しく視差を求めることができ、その視差に基づき距離を計測できる。すなわち、小型化が可能で、多様な被写体で距離計測できる。

上記の本発明の撮像装置において、前記距離演算部は、複数の前記視差の平均に基づき距離を演算する、ことが好ましい。

この好ましい構成によれば、複数の視差の平均に基づき距離を演算する。このことにより、ノイズなどにより演算される視差がばらつくときであっても、ノイズの影響が低減された正しい視差を求めることができ、その視差に基づき距離を計測できる。すなわち、ノイズの影響が低減された正しい距離計測を可能とする。

上記の本発明の撮像装置において、前記距離演算部は、複数の前記視差のうちの最大の視差に基づき距離を演算する、ことが好ましい。

この好ましい構成によれば、複数の視差のうち最大の視差に基づき距離を演算する。このことにより、全ての視差において距離演算を行わず、最大の視差のみの距離演算を行うため、高速な距離計測を可能とする。

上記の本発明の撮像装置において、前記距離演算部は、複数の前記視差のうち信頼性が最も高い視差に基づき距離を演算する、ことが好ましい。

この好ましい構成によれば、複数の前記視差のうち信頼性が最も高い視差に基づき距離を演算する。このことにより、信頼性が高い視差に基づき視差演算するため、信頼性が高い距離計測を可能とする。また、全ての視差において距離演算を行わず、信頼性が高い視差のみの距離演算を行うため、高速な距離計測を可能とする。

本発明の撮像装置において、それぞれが少なくとも１枚のレンズを含む第１のレンズ部と、前記第１のレンズ部の光軸から水平方向に移動された位置に光軸を有する第２のレンズ部と、前記第１のレンズ部の光軸から鉛直方向に移動された位置に光軸を有する第３のレンズ部と、前記第１のレンズ部の光軸から対角方向に移動された位置に光軸を有する第４のレンズ部と、前記第１のレンズ部、第２ののレンズ部、第３のレンズ部、第４のレンズ部に一対一に対応し、対応する前記第１のレンズ部、第２ののレンズ部、第３のレンズ部、第４のレンズ部の光軸方向に対して略垂直な受光面をそれぞれ備える第１の撮像領域と、第２の撮像領域と、第３の撮像領域と、第４の撮像領域と、前記第１の撮像領域と、第２の撮像領域と、第３の撮像領域と、第４の撮像領域からそれぞれ出力される第１の撮像信号、第２の撮像信号、第３の撮像信号、第４の撮像信号が入力される撮像信号入力部と、前記第１の撮像信号と前記第２の撮像信号、前記第３の撮像信号と前記第４の撮像信号、前記第１の撮像信号と前記第３の撮像信号、および前記第２の撮像信号と前記第４の撮像信号を選択し、それぞれの組に対しそれぞれの視差を演算する視差演算部と、複数の前記視差に基づき距離を演算する距離演算部と、を有する。

一組のレンズ部に対応した撮像信号において、それぞれの撮像信号の光軸中心を結ぶ直線に平行な意匠は、それぞれの撮像信号において同一形状となり視差を求めることができない。本発明の撮像装置によれば、光軸が水平方向にずれた第１の撮像信号と第２の撮像信号、および第３の撮像信号と第４の撮像信号を選択し、それぞれの組に対しそれぞれの視差を演算する。また、光軸が鉛直方向にずれた第１の撮像信号と第３の撮像信号、および第２の撮像信号と第４の撮像信号を選択し、それぞれの組に対しそれぞれの視差を演算する。このことにより、水平方向にずれた組の撮像信号（第１の撮像信号と第２の撮像信号、および第３の撮像信号と第４の撮像信号）で正しく視差を求められない意匠であっても、鉛直方向にずれた組の撮像信号（第１の撮像信号と第３の撮像信号、および第２の撮像信号と第４の撮像信号）で正しく視差を求めることができ、その視差に基づき距離を計測できる。一方、鉛直方向にずれた組の撮像信号（第１の撮像信号と第３の撮像信号、および第２の撮像信号と第４の撮像信号）で正しく視差を求められない意匠であっても、水平方向にずれた組の撮像信号（第１の撮像信号と第２の撮像信号、および第３の撮像信号と第４の撮像信号）で正しく視差を求めることができ、その視差に基づき距離を計測できる。すなわち、モータなど付加構成がなくとも、片方の組で正しく視差を求められない意匠であっても、他方の組で正しく視差を求めることができ、その視差に基づき距離を計測できる。すなわち、小型化が可能で、多様な被写体で距離計測できる。多様な被写体で距離計測できる。

本発明の撮像装置において、それぞれが少なくとも１枚のレンズを含む第１のレンズ部と、前記第１のレンズ部の光軸から水平方向に移動された位置に光軸を有する第２のレンズ部と、前記第１のレンズ部の光軸から鉛直方向に移動された位置に光軸を有する第３のレンズ部と、前記第１のレンズ部の光軸から対角方向に移動された位置に光軸を有する第４のレンズ部と、前記第１のレンズ部、第２ののレンズ部、第３のレンズ部、第４のレンズ部に一対一に対応し、対応する前記第１のレンズ部、第２ののレンズ部、第３のレンズ部、第４のレンズ部の光軸方向に対して略垂直な受光面をそれぞれ備える第１の撮像領域と、第２の撮像領域と、第３の撮像領域と、第４の撮像領域と、前記第１の撮像領域と、第２の撮像領域と、第３の撮像領域と、第４の撮像領域からそれぞれ出力される第１の撮像信号、第２の撮像信号、第３の撮像信号、第４の撮像信号が入力される撮像信号入力部と、前記第１の撮像信号と前記第４の撮像信号、および前記第２の撮像信号と前記第３の撮像信号を選択し、それぞれの組に対しそれぞれの視差を演算する視差演算部と、複数の前記視差に基づき距離を演算する距離演算部と、を有する。

一組のレンズ部に対応した撮像信号において、それぞれの撮像信号の光軸中心を結ぶ直線に平行な意匠は、それぞれの撮像信号において同一形状となり視差を求めることができない。本発明の撮像装置によれば、光軸が対角方向にずれた第１の撮像信号と第４の撮像信号、および第２の撮像信号と第３の撮像信号を選択し、それぞれの組に対しそれぞれの視差を演算する。このことにより、第１の撮像信号と第４の撮像信号とで正しく視差を求められない意匠であっても、第２の撮像信号と第３の撮像信号とで正しく視差を求めることができ、その視差に基づき距離を計測できる。一方、第２の撮像信号と第３の撮像信号とで正しく視差を求められない意匠であっても、第１の撮像信号と第４の撮像信号とで正しく視差を求めることができ、その視差に基づき距離を計測できる。すなわち、多様な被写体で距離計測できる。モータなど付加構成がなくとも、片方の組で正しく視差を求められない意匠であっても、他方の組で正しく視差を求めることができ、その視差に基づき距離を計測できる。すなわち、小型化が可能で、多様な被写体で距離計測できる。

本発明の撮像装置において、それぞれが少なくとも１枚のレンズを含む複数のレンズ部と、前記複数のレンズ部に一対一に対応し、対応する前記レンズ部の光軸方向に対して略垂直な受光面をそれぞれ備える複数の撮像領域と、前記複数の撮像領域からそれぞれ出力される複数の撮像信号が入力される撮像信号入力部と、前記複数の撮像信号に基づき視差を演算する視差演算部と、周囲温度を示す計測温度を計測する温度センサと、前記視差と前記計測温度とに基づき距離を演算する距離演算部と、を有する。

本発明の撮像装置によれば、温度センサにより周囲温度を示す計測温度を計測し、温度変化によるレンズの変形の影響を視差から補償し、補償された視差を用いて距離を演算する。このことにより、温度変化によってレンズが変形しても、正しい距離計測ができる。

本発明の撮像装置において、それぞれが少なくとも１枚のレンズを含む複数のレンズ部と、前記複数のレンズ部に一対一に対応し、対応する前記レンズ部の光軸方向に対して略垂直な受光面をそれぞれ備える複数の撮像領域と、前記複数の撮像領域からそれぞれ出力される複数の撮像信号が入力される撮像信号入力部と、前記複数の撮像信号のうちの少なくとも１つの撮像信号を複数のブロックに分割するブロック分割部と、前記撮像信号を用いて、前記ブロックごとに、前記複数のレンズ部がそれぞれ形成する像間の視差を演算する視差演算部と、前記ブロック毎の前記レンズ部の歪曲の影響を示す歪曲補正係数を保存する歪曲補正係数保存部と、前記視差と前記歪曲補正係数とに基づき距離を演算する距離演算部と、を有する。

本発明の撮像装置によれば、ブロック毎のレンズ部の歪曲の影響を示す歪曲補正係数を用いて視差を補償し、補償された視差を用いて距離を演算する。このことにより、レンズに歪曲があっても、正しい距離計測ができる。

本発明の撮像装置において、それぞれが少なくとも１枚のレンズを含む複数のレンズ部と、前記複数のレンズ部に一対一に対応し、対応する前記レンズ部の光軸方向に対して略垂直な受光面をそれぞれ備える複数の撮像領域と、前記複数の撮像領域からそれぞれ出力される複数の撮像信号が入力される撮像信号入力部と、前記複数の撮像信号のうちの少なくとも１つの撮像信号を複数のブロックに分割するブロック分割部と、前記ブロックに分割された撮像信号を前記複数のレンズ間の光軸間の方向に順にブロック毎に転送し、視差を演算する視差演算部と、前記視差に基づき距離を演算する距離演算部と、を有する。

本発明の撮像装置によれば、ブロックに分割された撮像信号を複数のレンズ間の光軸間の方向に順にブロック毎に転送し、視差を演算する。このことにより、光軸間の方向以外に順に転送するときと比較し、転送の重複が低減され、高速に視差演算できる。すなわち、高速に距離計測できる。

本発明の撮像装置において、それぞれが少なくとも１枚のレンズを含む複数のレンズ部と、前記複数のレンズ部に一対一に対応し、対応する前記レンズ部の光軸方向に対して略垂直な受光面をそれぞれ備える複数のベイヤー配列の撮像領域と、前記複数の撮像領域からそれぞれ出力される複数の撮像信号が入力される撮像信号入力部と、前記複数の撮像信号のうち主に緑色の感度を持つ撮像信号に基づく視差を示す緑色視差、前記複数の撮像信号のうち主に赤色の感度を持つ撮像信号に基づく視差を示す赤色視差、および前記複数の撮像信号のうち主に青色の感度を持つ撮像信号に基づく視差を示す青色視差を演算する視差演算部と、前記緑色視差と前記赤色視差と前記青色視差とに基づき距離を演算する距離演算部と、を有する。

本発明の撮像装置によれば、ベイヤー配列の撮像素子を利用し、緑色の撮像信号による視差と赤色の撮像信号による視差と青色の撮像信号による視差とに基づき距離を演算する。このことにより、例えば、赤色成分のみを持つ被写体であっても、正しく視差演算でき、この正しい視差に基づき距離演算できる。すなわち、単一の波長の被写体を撮像した場合でも、正しく距離測定できる。

上記の本発明の撮像装置において、前記距離演算部は、前記緑色視差と前記赤色視差と前記青色視差との重み付け平均に基づき距離を演算する、ことが好ましい。

この好ましい構成によれば、緑色視差と赤色視差と青色視差との平均に基づき距離を演算する。このことにより、ノイズなどにより演算される視差がばらつくときであっても、ノイズの影響が低減された正しい視差を求めることができ、その視差に基づき距離を計測できる。すなわち、ノイズの影響が低減された正しい距離計測を可能とする。

（請求項１２：請求項１０のサブ：最小値）
上記の本発明の撮像装置において、前記距離演算部は、前記緑色視差と前記赤色視差と前記青色視差とのうちの最大の視差に基づき距離を演算する、ことが好ましい。

この好ましい構成によれば、緑色視差と赤色視差と青色視差とのうち最大の視差に基づき距離を演算する。このことにより、全ての視差において距離演算を行わず、最大の視差のみの距離演算を行うため、高速な距離計測を可能とする。

（請求項１３：請求項１０のサブ：信頼性のある値）
上記の本発明の撮像装置において、前記距離演算部は、前記緑色視差と前記赤色視差と前記青色視差とのうち信頼性が最も高い視差に基づき距離を演算する、ことが好ましい。

この好ましい構成によれば、緑色視差と赤色視差と青色視差とのうち信頼性が最も高い視差に基づき距離を演算する。このことにより、信頼性が高い視差に基づき視差演算するため、信頼性が高い距離計測を可能とする。また、全ての視差において距離演算を行わず、信頼性が高い視差のみの距離演算を行うため、高速な距離計測を可能とする。

本発明の撮像装置によれば、それぞれが少なくとも１枚のレンズを含む複数のレンズ部と、前記複数のレンズ部に一対一に対応し、対応する前記レンズ部の光軸方向に対して略垂直な受光面をそれぞれ備える複数の撮像領域と、前記複数の撮像領域からそれぞれ出力される複数の撮像信号が入力される撮像信号入力部と、前記複数の撮像信号のうちの少なくとも１つの撮像信号を複数のブロックに分割するブロック分割部と、前記撮像信号を用いて、前記ブロックごとに基づき前記複数のレンズ部がそれぞれ形成する像間の視差を求めるために利用する視差評価値を演算し、前記視差評価値に基づき前記ブロックを結合した結合ブロックごとの視差評価値である結合視差評価値を演算し、前記視差評価値と前記結合視差評価値とに基づき前記複数のレンズ部がそれぞれ形成する像間の視差を演算する視差演算部と、前記視差に基づき距離を演算する距離演算部と、を有する。

本発明の撮像装置によれば、ブロック毎に演算された視差評価値を用いて結合ブロックの結合視差評価値を演算する。このことにより、結合したブロック（結合ブロック）で独自に視差評価値（結合視差評価値）を演算するときと比較し、結合したブロック（結合ブロック）での視差評価値（結合視差評価値）の演算量を減少でき、高速に視差演算できるため、高速に距離演算できる。

（請求項１５：請求項１４のサブ：ブロック結合＋最適ブロック選択）
上記の本発明の撮像装置において、前記距離演算部は、前記ブロック毎に前記視差評価値に基づき演算した視差と前記結合ブロック毎に前記結合視差評価値に基づき演算した視差とのうち信頼性が最も高い視差に基づき距離を演算する、ことが好ましい。

この好ましい構成によれば、このことにより、信頼性が高い視差に基づき視差演算するため、信頼性が高い距離計測を可能とする。また、全ての視差において距離演算を行わず、信頼性が高い視差のみの距離演算を行うため、高速な距離計測を可能とする。

以下、本発明の具体的な実施の形態について、図面を用いて説明する。

（実施の形態１）
本発明の実施の形態１に係る撮像装置によれば、複数の組の撮像信号を選択し、それぞれの組に対しそれぞれの視差を演算する。このことにより、モータなど付加構成がなくとも、片方の組で正しく視差を求められない意匠であっても、他方の組で正しく視差を求めることができ、その視差に基づき距離を計測できる。すなわち、小型化が可能で、多様な被写体で距離計測できる。

また、本発明の実施の形態１に係る撮像装置によれば、温度センサにより周囲温度を示す計測温度を計測し、温度変化によるレンズの変形の影響を視差から補償し、補償された視差を用いて距離を演算する。このことにより、温度変化によってレンズが変形しても、正しい距離計測ができる。

また、本発明の実施の形態１に係る撮像装置によれば、ブロック毎のレンズ部の歪曲の影響を示す歪曲補正係数を用いて視差を補償し、補償された視差を用いて距離を演算する。このことにより、レンズに歪曲があっても、正しい距離計測ができる。

また、本発明の実施の形態１に係る撮像装置によれば、ブロック毎に演算された視差評価値を用いて結合ブロックの結合視差評価値を演算する。演算量を減少でき、高速に視差演算できるため、高速に距離演算できる。

本発明の実施の形態１に係る撮像装置について、図面を参照しながら説明する。

図１は、本発明の実施の形態１に係る撮像装置の構成を示す断面図である。図１において、撮像装置撮像装置は、レンズモジュール部１１０、および回路部１２０を有する。

レンズモジュール部１１０は、鏡筒１１１、上部カバーガラス１１２、およびレンズ１１３を有する。回路部１２０は、基板１２１、パッケージ１２２、撮像素子１２３、パッケージカバーガラス１２４、システムＬＳＩ（以下、ＳＬＳＩと記す）１２５、および温度センサ１２６を有する。

鏡筒１１１は、円筒状であり、その内壁面は光の乱反射を防止するためにつやが消された黒色であり、樹脂を射出成形し形成される。上部カバーガラス１１２は、円盤状であり、透明樹脂から形成され、鏡筒１１１の上部の内壁に接着剤などにより固着され、その表面は摩擦などによる損傷を防止する保護膜と、入射光の反射を防止する反射防止膜とが設けられている。

図２は、本発明の実施の形態１に係る撮像装置のレンズ１１３の上面図である。レンズ１１３は、略円盤状であり、ガラスや透明樹脂から形成され、第１のレンズ部１１３ａ、第２のレンズ部１１３ｂ、第３のレンズ部１１３ｃ、および第４のレンズ部１１３ｄが碁盤目状に配置される。第１〜第４のレンズ部１１３ａ〜１１３ｄの配置方向に沿って、図２に示すようにｘ軸及びｙ軸を設定する。第１のレンズ部１１３ａ、第２のレンズ部１１３ｂ、第３のレンズ部１１３ｃ、および第４のレンズ部１１３ｄにおいて、被写体側から入射した光は、撮像素子１２３側へ射出し、撮像素子１２３上に４つの像を結像する。なお、図２のように、第１のレンズ部１１３ａの光軸と第２のレンズ部１１３ｂの光軸は、水平方向（ｘ軸方向）はＤだけ離れており、垂直方向（ｙ軸方向）は一致する。第２のレンズ部１１３ｂの光軸と第３のレンズ部１１３ｃの光軸は、水平方向（ｘ軸方向）に一致しており、垂直方向（ｙ軸方向）はＤだけ離れている。第３のレンズ部１１３ｃの光軸と第４のレンズ部１１３ｄの光軸は、水平方向（ｘ軸方向）はＤだけ離れており、垂直方向（ｙ軸方向）は一致する。第４のレンズ部１１３ｄの光軸と第１のレンズ部１１３ａの光軸は、水平方向（ｘ軸方向）は一致しており、垂直方向（ｙ軸方向）はＤだけ離れている。

基板１２１は、樹脂基板から構成され、上面に鏡筒１１１がその底面を接して接着剤などにより固着される。このようにして、レンズモジュール部１１０と回路部１２０とが固定され、撮像装置１０１を構成する。

パッケージ１２２は、金属端子を有する樹脂からなり、鏡筒１１１の内側において、基板１２１の上面にその金属端子部が半田づけ等されて固着される。撮像素子１２３は、ＣＣＤセンサやＣＭＯＳセンサのような固体撮像素子であり、撮像素子１２３の受光面が第１のレンズ部１１３ａ、第２のレンズ部１１３ｂ、第３のレンズ部１１３ｃ、および第４のレンズ部１１３ｄの光軸と略垂直になるようにして配置される。

撮像素子１２３の各端子は、パッケージ１２２の内側の底部の金属端子にワイヤーボンディングにより金線１２７で接続され、基板１２１を介して、ＳＬＳＩ１２５と電気的に接続される。撮像素子１２３受光面に、第１のレンズ部１１３ａ、第２のレンズ部１１３ｂ、第３のレンズ部１１３ｃ、および第４のレンズ部１１３ｄから射出された光がそれぞれ結像し、フォトダイオードにより光の情報から変換された電気の情報が、ＳＬＳＩ１２５に出力される。

図３は、本発明の実施の形態１に係る撮像装置の回路部１２０の上面図である。パッケージカバーガラス１２４は、平板状であり、透明樹脂により形成され、パッケージ１２２の上面に接着などにより固着される。

ＳＬＳＩ１２５は、後述の方法で、撮像素子１２３を駆動し、撮像素子１２３からの電気情報を入力し、各種演算を行い、上位ＣＰＵと通信を行い、外部に画像情報や距離情報などを出力する。なお、ＳＬＳＩ１２５は、電源（例えば３．３Ｖ）とグランド（例えば、０Ｖ）に接続される。

図４、本発明の実施の形態１に係る撮像装置の温度センサの回路図である。温度センサ１２６は、第１の固定抵抗１２６ａとサーミスタ１２６ｂと第２の固定抵抗１２６ｃとを直列に接続し、第１の固定抵抗の他端（サーミスタに接続されない端）を電源１２６ｄ（例えば３．３Ｖ）に接続し、第２の固定抵抗の他端（サーミスタに接続されない端）をグランド１２６ｅ（例えば、０Ｖ。ＳＬＳＩ１２５のグランドと同一電位）に接続し、第１の固定抵抗とサーミスタとの接続点１２６ｆがＳＬＳＩ１２５に接続される。

次に、被写体距離と視差との関係を説明する。本発明の実施の形態１に係る撮像装置は、４つのレンズ部（第１のレンズ部１１３ａ、第２のレンズ部１１３ｂ、第３のレンズ部１１３ｃ、および第４のレンズ部１１３ｄ）を有するため、４つのレンズ部がそれぞれ形成する４つの物体像の相対的位置が、被写体距離に応じて変化する。

図５は、本発明の実施の形態１に係る撮像装置において、無限遠にある物体像の位置を説明するための図である。図５においては、簡単のため、レンズ部１１３において、第１のレンズ部１１３ａ、および第２のレンズ部１１３ｂのみを記す。無限遠の物体１０からの光の第１のレンズ部１１３ａへの入射光Ｌ１と、第２のレンズ部１１３ｂへの入射光Ｌ２とは平行である。このため、第１のレンズ部１１３ａと第２のレンズ部１１３ｂとの距離と、撮像素子１２３上の物体像１１ａと物体像１１ｂとの距離は等しい。すなわち、視差はない。

図６は、本発明の実施の形態１に係る撮像装置において、有限距離の位置にある物体像の位置を説明するための図である。図６において、簡単のため、レンズ部１１３において、第１のレンズ部１１３ａ、および第２のレンズ部１１３ｂのみを記す。有限距離の物体１２からの光の第１のレンズ部１１３ａへの入射光Ｌ１と第２のレンズ部１１３ｂへの入射光Ｌ２とは平行ではない。従って、第１のレンズ部１１３ａと第２のレンズ部１１３ｂとの距離に比べて、撮像素子１２３上の物体像１３ａと物体像１３ｂとの距離は長い。すなわち、視差がある。

物体像１２までの距離（被写体距離）をＡ、第１のレンズ部１１３ａと第２のレンズ部１１３ｂとの距離をＤ、レンズ部１１３ａ，１１３ｂの焦点距離をｆとすると、図５の直角を挟む２辺の長さがＡ、Ｄの直角三角形と、直角を挟む２辺の長さがｆ、Δの直角三角形とが相似であることより、視差Δは、下記（数１）のように表される。その他のレンズ部間についても同様の関係が成立する。このように、被写体距離に応じて４つのレンズ部１１３ａ，１１３ｂ，１１３ｃ，１１３ｄがそれぞれ形成する４つの物体像の相対的位置が変化する。例えば、被写体距離Ａが小さくなると、視差Δが大きくなる。

次に、本発明の実施の形態１に係る撮像装置の動作を説明する。図７は、本発明の実施の形態１に係る撮像装置のブロック図である。ＳＬＳＩ１２５は、システム制御部１３１、撮像素子駆動部１３２、撮像信号入力部１３３、前処理部１３４、入力バッファ１３５、演算部１３６、出力バッファ１３７、入出力部１３８、および温度センサ信号入力部１３９を有する。入力バッファ１３５は、第１の入力バッファ１３５ａ、第２の入力バッファ１３５ｂ、第３の入力バッファ１３５ｃ、および第４の入力バッファ１３５ｄを有する。演算部１３６は、演算部バッファ１４１、視差演算部１４２、および距離演算部１４３を有する。演算部バッファ１４１は、第１の演算部バッファ１４１ａ、および第２の演算部バッファ１４１ｂを有する。出力バッファ１３７は、第１の出力バッファ１３７ａ、および第２の出力バッファ１３７ｂを有する。

システム制御部１３１は、ＣＰＵ（中央演算処理装置：Central Processing Unit）、ロジック回路などから構成され、ＳＬＳＩ１２５の全体を制御する。撮像素子駆動部１３２は、ロジック回路などから構成され、撮像素子１２３を駆動する信号を発生し、この信号に応じた電圧を撮像素子１２３に印加する。

撮像信号入力部１３３は、ＣＤＳ回路（相関二重サンプリング回路：Correlated Double Sampling Circuit）、ＡＧＣ（自動利得制御器：Automatic Gain Controller）、ＡＤＣ（アナログ／ディジタル変換器：Analog Digital Converter）が直列に接続されて構成され、撮像素子１２３からの電気信号が入力され、ＣＤＳ回路により固定ノイズを除去し、ＡＧＣによりゲインを調整し、ＡＤＣによりアナログ信号からディジタル値に変換し撮像信号I0とする。図８は、本発明の実施の形態１に係る撮像装置の撮像信号の切り出し位置を説明するための図である。撮像信号入力部１３３から入力される撮像信号I0(x,y)は、ｘ方向にH0画素、ｙ方向にV0画素を持ち、I0(0,0)（(x,y)=(0,0)）、I0(1,0)、I0(2,0)、・・・、I0(H0-1,V0-1)の順に入力され、順次、前処理部１３４に転送される。

前処理部１３４は、ロジック回路などから構成され、撮像信号I0から画像を切り出し、強度補正処理を行い、第１の撮像信号I1、第２の撮像信号I2、第３の撮像信号I3、および第４の撮像信号I4を作成し、順次、入力バッファ１３５に転送する。第１の撮像信号I1、第２の撮像信号I2、第３の撮像信号I3、および第４の撮像信号は、それぞれ第１のレンズ部１１３ａ、第２のレンズ部１１３ｂ、第３のレンズ部１１３ｃ、および第４のレンズ部１１４ｄによって結像された被写体像によって得られたものである。図８、および下記（数２）のように、撮像信号I0を原点(x01,y01)、ｘ方向にH1画素、ｙ方向にV1画素だけ切り出し、第１の強度補正係数ks1で補正したものを第１の撮像信号I1とする。また、図８、および下記（数３）のように、撮像信号I0を原点(x02,y02)、ｘ方向にH1画素、ｙ方向にV1画素だけ切り出し、第２の強度補正係数ks2で補正したものを第２の撮像信号I2とする。また、図８、および下記（数４）のように、撮像信号I0を原点(x03,y03)、ｘ方向にH1画素、ｙ方向にV1画素だけ切り出し、第３の強度補正係数ks3で補正したものを第３の撮像信号I3とする。また、図８、および下記（数５）のように、撮像信号I0を原点(x04,y04)、ｘ方向にH1画素、ｙ方向にV1画素だけ切り出し、第４の強度補正係数ks4で補正したものを第４の撮像信号I4とする。なお、第１の強度補正係数ks1(x,y)、第２の強度補正係数ks2(x,y)、第３の強度補正係数ks3(x,y)、および第４の強度補正係数ks4(x,y)は、第１の撮像信号I1、第２の撮像信号I2、第３の撮像信号I3、および第４の撮像信号I4の座標(x,y)における強度補正係数を示し、検査工程などにおいて特定チャートを撮影し決定され、EEPROMやフラッシュメモリに保存される。なお、各画素の係数を持たずに、代表点のみを持ち線形補間により第１の強度補正係数ks1(x,y)、第２の強度補正係数ks2(x,y)、第３の強度補正係数ks3(x,y)、および第４の強度補正係数ks4(x,y)を求めてもよい。また、近似式を策定しその係数のみを持ち、各座標の第１の強度補正係数ks1(x,y)、第２の強度補正係数ks2(x,y)、第３の強度補正係数ks3(x,y)、および第４の強度補正係数ks4(x,y)を作成してもよい。また、レンズの光軸のずれなどを校正するために、適宜、座標変換を行ってもよい。

第１の入力バッファ１３５ａは、ＤＲＡＭ（Dynamic Random Access Memory）などから構成され、第１の撮像信号I1を順次読み込み、H1*V1画素（ｘ方向にH1画素、ｙ方向にV1画素）のデータを保存する。第２の入力バッファ１３５ｂは、ＤＲＡＭなどから構成され、第２の撮像信号I2を順次読み込み、H1*V1画素（ｘ方向にH1画素、ｙ方向にV1画素）のデータを保存する。第３の入力バッファ１３５ｃは、ＤＲＡＭなどから構成され、第３の撮像信号I3を順次読み込み、H1*V1画素（ｘ方向にH1画素、ｙ方向にV1画素）のデータを保存する。第４の入力バッファ１３５ｄは、ＤＲＡＭなどから構成され、第４の撮像信号I4を順次読み込み、H1*V1画素（ｘ方向にH1画素、ｙ方向にV1画素）のデータを保存する。

演算部１３６は、SRAM(Static Random Access Memory)から構成された第１の演算バッファ１４１ａ、第２の演算バッファ１４１ｂと、ロジック回路やCPUなどから構成された視差演算部１４２と、ロジック回路やCPUなどから構成された距離演算部１４３と、から構成される。演算部１３６は、第１の撮像信号I1、第２の撮像信号I2、第３の撮像信号I3、および第４の撮像信号I4をブロック単位で読み込み第１の演算バッファ１４１ａ、第２の演算バッファ１４１ｂに保存し、視差演算部１４２において第１の演算バッファ１４１ａ、および第２の演算バッファ１４１ｂのデータなどに基づき視差を演算し、距離演算部１４３において求められた視差に基づき距離を演算し、求められた距離データを出力バッファ１３７に転送する。

出力バッファ１３７は、ＤＲＡＭなどから構成され、入力バッファ１３５から転送された画像データと演算部１３６から転送された距離データを保存し、入出力部１３８に順次転送する。

入出力部１３８は、上位ＣＰＵ（図示せず）との通信や、上位ＣＰＵ、外部メモリ（図示せず）、および液晶などの外部表示装置（図示せず）へ画像データ、および距離データを出力する。

温度センサ信号入力部１３９は、ＡＤＣ（Analog Digital Converter：アナログ・デジタル変換器）などから構成され、アナログ電圧信号である温度センサ信号を入力し、アナログ信号からディジタル値に変換し、温度センサ信号Thとしてシステム制御部１３１に出力する。

図９は、本発明の実施の形態１に係る撮像装置の動作を示すフローチャートである。ＳＬＳＩ１２５のシステム制御部１３１により、撮像装置１０１は、このフローチャートのとおりに動作される。

ステップＳ１０１０において、動作を開始する。例えば、上位ＣＰＵ（図示せず）が、入出力部１３６を介し、撮像装置１０１に動作の開始を命令することにより、撮像装置１０１は、動作を開始する。次に、ステップＳ１０２０を実行する。

ステップＳ１０２０において、撮像信号を入力する。システム制御部１３１の命令により、撮像素子駆動部１３２が電子シャッターや転送を行うための信号を随時出力する。撮像信号入力部１３３は、撮像信号I0(x,y)を、ｘ方向にH0画素、ｙ方向にV0画素を持ち、I0(0,0)（(x,y)=(0,0)）、I0(1,0)、I0(2,0)、・・・、I0(H0-1,V0-1)の順に入力し、順次、前処理部１３４に転送する。前処理部１３４は、撮像信号I0から画像を切り出し、強度補正処理を行い、第１の撮像信号I1、第２の撮像信号I2、第３の撮像信号I3、および第４の撮像信号I4を作成し、第１の撮像信号I1を、順次、第１の入力バッファ１３５ａに転送し、第２の撮像信号I2を、順次、第２の入力バッファ１３５ｂに転送し、第３の撮像信号I3を、順次、第３の入力バッファ１３５ｃに転送し、第４の撮像信号I4を、順次、第４の入力バッファ１３５ｄに転送する。次に、ステップＳ１０３０を実行する。

ステップＳ１０３０において、温度センサ信号を入力する。温度センサ信号入力部１３９は、温度センサ１２６の信号を入力し、温度センサ信号Thとしてシステム制御部１３１に出力する。次に、ステップＳ１０４０を実行する。

ステップＳ１０４０において、第１の入力バッファ１３５ａに保存されている第１の撮像信号I1を第１の出力バッファ１３７ａに転送し、第１の出力バッファ１３７ａは、画像データとして保存する。次に、ステップＳ１１００を実行する。

ステップＳ１１００において、距離データを作成し、順次、第２の出力バッファ１３７ｂに転送する。この動作の詳細は後述する。次に、ステップＳ１９１０を実行する。

ステップＳ１９１０において、外部にデータを出力する。入出力部１３８は、第１の出力バッファ１３７ａ上の画像データ、および第２の出力バッファ１３７ｂ上の距離データを、上位ＣＰＵ（図示せず）や外部表示装置（図示せず）に出力する。次に、Ｓ１９２０を実行する。

ステップＳ１９２０において、動作を終了するかどうかを判断する。例えば、システム制御部１３１は、入出力部１３６を介し、上位ＣＰＵ（図示せず）と通信し、動作を終了するかどうかの命令を要求する。そして、上位ＣＰＵが終了を命令すれば動作を終了し、次に、ステップＳ１９３０を実行する。一方、上位ＣＰＵが終了を命令しなければ動作を継続し、次に、ステップＳ１０２０を実行する。すなわち、上位ＣＰＵが終了を命令しない限り、ステップＳ１０２０、ステップＳ１０３０、ステップＳ１０４０、ステップＳ１１００、およびステップＳ１９１０のループの実行を継続する。

ステップＳ１９３０において、動作を終了する。

次に、ステップＳ１１００における動作の詳細を説明する。図１０は、本発明の実施の形態１に係る撮像装置の演算部の動作を示すフローチャートである。図１０のフローチャートは、ステップＳ１１００の動作の詳細を示す。ステップＳ１１００の演算では、まず、ステップＳ１１１０を実行する。

ステップＳ１１１０において、演算の動作を開始する。次に、ステップＳ１２００を実行する。

ステップＳ１２００において、視差演算を実行する。図１１は、本発明の実施の形態１に係る撮像装置の視差演算の動作を示すフローチャートである。図１１のフローチャートは、ステップＳ１２００の動作の詳細を示す。ステップＳ１２００の演算では、まず、ステップＳ１２１０を実行する。

ステップＳ１２１０において、視差演算の動作を開始する。次に、ステップＳ１２２０を実行する。

ステップＳ１２２０において、第１の撮像信号と第２の撮像信号とを利用した視差演算を実行する。図１２は、本発明の実施の形態１に係る撮像装置の第１の撮像信号と第２の撮像信号とを利用した視差演算の動作を示すフローチャートである。図１２のフローチャートは、ステップＳ１２２０の動作の詳細を示す。ステップＳ１２２０の演算では、まず、ステップＳ１３１０を実行する。

ステップＳ１３１０において、第１の撮像信号と第２の撮像信号とを利用した視差演算の動作を開始する。次に、ステップＳ１３１５を実行する。

ステップＳ１３１５において、ブロックインデックスｉｂに０に初期化する。次に、ステップＳ１３２０を実行する。

ステップＳ１３２０において、ブロックを選択する。図１３は、本発明の実施の形態１に係る撮像装置の第１の撮像信号と第２の撮像信号とを利用した視差演算における第１の撮像信号の分割ブロックと演算順番を説明する図であり、図１４は、本発明の実施の形態１に係る撮像装置の第１の撮像信号と第２の撮像信号とを利用した視差演算における第２の撮像信号の分割ブロックと演算順番を説明する図である。図１３において、第１の撮像信号Ｉ１は、ｘ方向にＨＢ画素、ｙ方向にＶＢ画素の長方形状のブロックに分割され、ｘ方向にＨＢ画素、ｙ方向にＶＢ画素ずれて配置され、ｘ方向にＮｈ個、ｙ方向にＮｖ個のブロックを持つ。そのため、各ブロックはｘ方向、ｙ方向ともに重なる部分はない。図１４において、第２の撮像信号Ｉ２は、ｘ方向に（ＨＢ＋ＳＢ）画素、ｙ方向にＶＢ画素の長方形状のブロックに分割され、ｘ方向にＨＢ画素、ｙ方向にＶＢ画素ずれて配置され、ｘ方向にＮｈ個、ｙ方向にＮｖ個のブロックを持つ。そのため、ｘ方向について、隣のブロックと重なる。一方、ｙ方向について、隣のブロックと重ならない。また、図１４において、右側のブロックにおいてｘ方向に（ＨＢ＋ＳＢ）画素を取れないブロックは、適宜ｘ方向の右端が削除される。なお、実施の形態１では、以下、ＨＢ＝３２、ＶＢ＝３２の例を示す。

図１３、および図１４において、各ブロックの上段に記述された数字はブロックインデックスｉｂを示す。また、図１３、および図１４において、各ブロックの下段に記述された座標（ｉｂｘ、ｉｂｙ）は、各ブロックがｘ方向にｉｂｘ番目、ｙ方向にｉｂｙ番目のブロックであることを示す。ここで、ｉｂｘは０からＮｈ−１まで、ｉｂｙは０からＶｈ−１まで存在する。ステップＳ１３２０において、図１３、および図１４でブロックインデックスｉｂで示されるブロック（座標（ｉｂｘ、ｉｂｙ）で示されるブロック）が選択される。次に、ステップＳ１３２５を実行する。

ステップＳ１３２５において、撮像信号を転送する。ステップＳ１３２０において、選択されたブロックの第１の撮像信号I1を第１の演算バッファBc1に転送する。演算バッファの座標(x,y)における値をBc1(x,y)とする。ここで、HB=32、VB=32であるため、x=0〜31、y=0〜31である。ステップＳ１３２０において、選択されたブロックの第２の撮像信号I2を第２の演算バッファBc2に転送する。演算バッファの座標(x,y)における値をBc2(x,y)とする。ここで、HB=32、VB=32であるため、x=0〜31+SB、y=0〜31である。例えば、ｉｂ＝０のとき、第１の演算バッファBc1には、座標(0,0)と座標(31,31)とで囲まれる1024画素の撮像信号I1が転送され、第２の演算バッファBc2には、図１４において右斜上となる斜線が描かれた座標(0,0)と座標(31+SB,31)とで囲まれる(1024+32*SB)画素の撮像信号I2が転送される。次に、ｉｂ＝１のとき、第１の演算バッファBc1には、座標(32,0)と座標(63,31)とで囲まれる1024画素の撮像信号I1が転送され、第２の演算バッファBc2には、図１４において右斜下となる斜線が描かれた座標(32,0)と座標(63+SB,31)とで囲まれる(1024+32*SB)画素の撮像信号I2が必要だが、ｉｂ＝０と重なる部分（座標(32,0)と座標(31+SB,31)で囲まれる32*SB画素の領域）はすでに第２の演算バッファBc2に転送されているため、新たに座標(32+SB,0)と座標(63+SB,31)とで囲まれる1024画素のみを転送すればよい。次に、ステップＳ１３３０を実行する。

ステップＳ１３３０において、４ｘ４画素の視差演算を実行する。図１５は、本発明の実施の形態１に係る撮像装置の第１の撮像信号と第２の撮像信号を利用したときの４ｘ４画素の視差演算における第１の演算バッファの分割と演算順番を説明する図である。まず、第１の演算バッファBc1をｘ方向に４画素、ｙ方向に４画素の大きさブロックに分割する。すなわち、ｘ方向に８個、ｙ方向に８個のブロックに分割する。

そして、各ブロック（B4(0)、B4(1)、B4(2)、・・・、B4(63)）毎に、４ｘ４画素の視差評価値R4(0)(k)、R4(1)(k)、R4(2)(k)、・・・、R4(63)(k)、を演算する。ここで、ｋは画像をどれだけずらすかを示すずらし量であり、k=0、1、2、・・・、SBのように変化させる。図１６は、本発明の実施の形態１に係る撮像装置において、第１の撮像信号と第２の撮像信号を利用したときの４ｘ４画素の視差演算における４ｘ４画素の視差評価値の演算領域を説明する図である。図１６のように、I番目のブロックB4(i)（Bc1で示される領域）は、第１の演算バッファの４ｘ４画素の大きさに分割されたｉ番目のブロックである。Bc2で示される領域は、図１６においてBc1で示されるブロックからｘ方向にずらし量ｋだけ移動した領域である。そして、ずらし量k=0からSBについて、下記（数６）に示される絶対値差分総和(SAD。Sum of Absolute Differences)を演算し、ｉ番目のブロックB4(i)の視差評価値R4(i)(k)とする。

この視差評価値R4(i)(k)は、ｉ番目のブロックB4(i)の第１の演算バッファのデータBc1と、ｘ方向にｋだけ離れた領域における第２の演算バッファBc2がどれだけ相関があるかを示し、値が小さいほど相関が大きい（よく似ている）ことを示す。ここで、第１の演算バッファのデータBc1は、第１の撮像信号I1を転送したものであり、第２の演算バッファのデータBc2は、第２の撮像信号I2を転送したものであるため、視差評価値R4(i)(k)は、第１の撮像信号I1と対応する第２の撮像信号I2とがどれだけ相関があるかを示す。

図１７は、本発明の実施の形態１に係る撮像装置の第１の撮像信号と第２の撮像信号を利用したときの４ｘ４画素の視差演算における視差と視差評価値との関係を説明する図である。図１７のように、視差評価値R4(i)(k)はずらし量ｋの値によって変化し、ずらし量ｋ＝Δ4(i)のとき極小値を持つ。第１の演算バッファのデータBc1のｉ番目のブロックB4(i)のデータは、第１の演算バッファのデータBc1のｉ番目のブロックB4(i)をｘ方向にｋだけ移動した領域に存在する第２の演算バッファBc2のデータと最も相関がある（最も似ている）ことを示す。したがって、ブロックB4(i)についての第１の演算バッファのデータBc1と第２の演算バッファのデータBc2とのｘ方向の視差がΔ4(i)であることが分かる。ここで、このΔ4(i)をブロックB4(i)の視差値Δ4(i)と呼ぶ。このように、ｉ＝０、１、２、・・・、６３までブロックB4(i)の視差値Δ4(i)を求める。

次に、ブロックB4(i)の視差値Δ4(i)の信頼度を演算する。図１８は、本発明の実施の形態１に係る撮像装置において、第１の撮像信号と第２の撮像信号を利用したときの４ｘ４画素の視差演算における４ｘ４画素の視差評価値の信頼度の演算領域を説明する図である。B４(i)で示される（Bc1としても示されている）領域は、図１５におけるｉ番目の４ｘ４画素のブロックである。Bc2で示される領域は、Biをｘ方向にΔ4(i)だけ移動した領域である。そして、下記（数７）のように、それぞれの領域のデータBc1(x,y)、Bc2(x+Δ4(i),y)について、正規化相関係数を4x4画素のブロックB4(i)の信頼度E4(i)とする。次に、ステップＳ１３３５を実行する。

ステップＳ１３３５において、８ｘ８画素の視差演算を実行する。図１９は、本発明の実施の形態１に係る撮像装置の第１の撮像信号と第２の撮像信号を利用したときの８ｘ８画素の視差演算における第１の演算バッファの分割と演算順番を説明する図である。まず、第１の演算バッファBc1をｘ方向に８画素、ｙ方向に８画素の大きさブロックに分割する。すなわち、ｘ方向に４個、ｙ方向に４個のブロックに分割する。

そして、各ブロック（B8(0)、B8(1)、B8(2)、・・・、B8(15)）毎に、８ｘ８画素の視差評価値R8(0)(k)、R8(1)(k)、R8(2)(k)、・・・、R8(15)(k)、を演算する。ここで、ｋは画像をどれだけずらすかを示すずらし量であり、k=0、1、2、・・・、SBのように変化させる。下記（数８）のように、４ｘ４画素の視差評価値R4(0)(k)、R4(1)(k)、R4(2)(k)、・・・、R4(63)(k)を利用し、８ｘ８画素の視差評価値R8(0)(k)、R8(1)(k)、R8(2)(k)、・・・、R8(15)(k)を演算する。（数６）と同様に、誤差絶対値総和（SAD）を演算してもと同一の結果となるが、（数８）のように、８ｘ８画素のブロックに含まれる４つの４ｘ４画素のブロックの誤差絶対値総和の和を利用すると、その分だけ演算量を減少できるため、低コストな回路での動作が可能となる。

次に、８ｘ８画素のｉ番目のブロックB8(i)の視差量Δ8(i)を求める。４ｘ４画素のｉ番目のブロックB4(i)の視差量Δ4(i)を求めたときと同様に、視差評価値R8(i)(k)の極小値を与えるｋを視差量Δ8(i)とする。

次に、ブロックB8(i)の視差値Δ8(i)の信頼度を演算する。４ｘ４画素のｉ晩目のブロックB4(i)の信頼度E4(i)を求めたときと同様に、下記（数９）のように、それぞれの領域のデータBc1(x,y)、Bc2(x+Δ8(i),y)の正規化相関係数を８ｘ８画素のブロックB8(i)の信頼度E8(i)とする。次に、ステップＳ１３４０を実行する。

ステップＳ１３４０において、１６ｘ１６画素の視差演算を実行する。図２０は、本発明の実施の形態１に係る撮像装置の第１の撮像信号と第２の撮像信号を利用したときの１６ｘ１６画素の視差演算における第１の演算バッファの分割と演算順番を説明する図である。まず、第１の演算バッファBc1をｘ方向に１６画素、ｙ方向に１６画素の大きさブロックに分割する。すなわち、ｘ方向に２個、ｙ方向に２個のブロックに分割する。

そして、各ブロック（B16(0)、B16(1)、B16(2)、B16(3)）毎に、１６ｘ１６画素の視差評価値R16(0)(k)、R16(1)(k)、R16(2)(k)、R16(3)(k)、を演算する。ここで、ｋは画像をどれだけずらすかを示すずらし量であり、k=0、1、2、・・・、SBのように変化させる。下記（数１０）のように、８ｘ８画素の視差評価値R8(0)(k)、R8(1)(k)、R8(2)(k)、・・・、R8(15)(k)を利用し、１６ｘ１６画素の視差評価値R16(0)(k)、R16(1)(k)、R16(2)(k)、R16(3)(k)を演算する。（数６）と同様に、誤差絶対値総和（SAD）を演算してもと同一の結果となるが、（数１０）のように、１６ｘ１６画素のブロックに含まれる４つの８ｘ８画素のブロックの誤差絶対値総和の和を利用すると、その分だけ演算量を減少できるため、低コストな回路での動作が可能となる。

次に、１６ｘ１６画素のｉ番目のブロックB16(i)の視差量Δ16(i)を求める。４ｘ４画素のｉ番目のブロックB4(i)の視差量Δ4(i)を求めたときと同様に、視差評価値R16(i)(k)の極小値を与えるｋを視差量Δ16(i)とする。

次に、ブロックB16(i)の視差値Δ16(i)の信頼度を演算する。４ｘ４画素のｉ晩目のブロックB4(i)の信頼度E4(i)を求めたときと同様に、下記（数１１）のように、それぞれの領域のデータBc1(x,y)、Bc2(x+Δ16(i),y)の正規化相関係数を１６ｘ１６画素のブロックB16(i)の信頼度E16(i)とする。次に、ステップＳ１３４５を実行する。

ステップＳ１３４５において、３２ｘ３２画素の視差演算を実行する。図２１は、本発明の実施の形態１に係る撮像装置の第１の撮像信号と第２の撮像信号を利用したときの３２ｘ３２画素の視差演算における第１の演算バッファの分割と演算順番を説明する図である。まず、第１の演算バッファBc1をｘ方向に３２画素、ｙ方向に３２画素の大きさブロックとする。すなわち、分割を行わない。

そして、ブロックB32(0)の３２ｘ３２画素の視差評価値R32(0)(k)を演算する。ここで、ｋは画像をどれだけずらすかを示すずらし量であり、k=0、1、2、・・・、SBのように変化させる。下記（数１２）のように、１６ｘ１６画素の視差評価値R16(0)(k)、R16(1)(k)、R16(2)(k)、R16(3)(k)を利用し、３２ｘ３２画素の視差評価値R32(0)(k)を演算する。（数６）と同様に、誤差絶対値総和（SAD）を演算してもと同一の結果となるが、（数１２）のように、３２ｘ３２画素のブロックに含まれる４つの１６ｘ１６画素のブロックの誤差絶対値総和の和を利用すると、その分だけ演算量を減少できるため、低コストな回路での動作が可能となる。

次に、３２ｘ３２画素のブロックB32(0)の視差量Δ32(0)を求める。４ｘ４画素のｉ番目のブロックB4(i)の視差量Δ4(i)を求めたときと同様に、視差評価値R32(0)(k)の極小値を与えるｋを視差量Δ32(0)とする。

次に、ブロックB32(0)の視差値Δ32(0)の信頼度を演算する。４ｘ４画素のｉ晩目のブロックB4(i)の信頼度E4(i)を求めたときと同様に、下記（数１３）のように、それぞれの領域のデータBc1(x,y)、Bc2(x+Δ32(0),y)の正規化相関係数を３２ｘ３２画素のブロックB32(0)の信頼度E32(0)とする。次に、ステップＳ１３５０を実行する。

ステップＳ１３５０において、信頼度に基づき視差を決定する。図１５におけるｉ番目の４ｘ４画素のブロックB4(i)を含む全てのブロック（B4(i), B8(i), B16(i), B32(0)）の信頼度E4(i)、E8(i)、E16(i)、E32(0)のうち最大値を与えるものの視差（Δ4(i)、Δ8(i)、Δ16(i)、Δ32(i)のうち対応するもの）を、このブロックの最終的な視差Δf4(1,2)(ibx,iby)(i)とし、保存する。ここで、座標(ibx,iby)は、図１３において各ブロックの下段に示される座標である。また、このときの最大値を与えた信頼度（E4(i)、E8(i)、E16(i)、E32(0)のうち対応するもの）をこのブロックの最終的な信頼度Ef4(1,2)(ibx,iby)(i)として、保存する。このようにして、第１の撮像信号と第２の撮像信号とを利用した視差演算において、座標(ibx,iby)で示される３２ｘ３２画素のブロックについて、４ｘ４画素の分解能で視差量Δf4(1,2)(ibx,iby)(i)とその信頼度Ef4(1,2)(ibx,iby)(i)とが求められた。次に、ステップＳ１３５５を実行する。

ステップＳ１３５５において、ブロックインデックスｉｂに１を加える。次に、ステップＳ１３６０を実行する。

ステップＳ１３６０において、第１の撮像信号と第２の撮像信号とを利用した視差演算を終了するかどうかを判断する。ブロックインデックスｉｂがNh*Nv未満のとき、次のブロックの視差を演算するために、次に、ステップＳ１３２０を実行する。一方、ブロックインデックスｉｂがNh*Nv以上のとき、全てのブロックの視差を演算したと判断し、次に、ステップＳ１３６５を実行する。

ステップＳ１３６５において、第１の撮像信号と第２の撮像信号とを利用した視差演算を終了し、上位ルーチンへ戻る。このようにして、第１の撮像信号と第２の撮像信号とを利用した視差演算において、ブロックインデックスｉｂで示される３２ｘ３２画素のブロックについて、４ｘ４画素の分解能で視差量Δf4(1,2)(ibx,iby)(i)とその信頼度Ef4(1,2)(ibx,iby)(i)とが求められた。ここで、(1,2)は第１の撮像信号と第２の撮像信号とを利用していることを示し、(ibx,iby)は図１３において各ブロックの下段に示される座標であり（ｉｂｘは０からＮｈ−１まで、ｉｂｙはＮｖ−１まで変化する）、ｉは３２ｘ３２画素のうちの４ｘ４画素のブロックを示す（ｉは、０〜６３まで変化する）。次に、図１１のステップＳ１２３０を実行する。

ステップＳ１２３０において、第３の撮像信号と第４の撮像信号とを利用した視差演算を実行する。このステップは、ステップＳ１２２０において、第１の撮像信号I1を第３の撮像信号I3に変更し、第２の撮像信号I2を第４の撮像信号I4に変更したものと同様である。すなわち、第３の撮像信号I3をブロックに分割し、第１の演算バッファ１４１ａに転送し、第４の撮像信号I4をブロックに分割し、第２の演算バッファ１４１ｂに転送し、ステップＳ１２２０と同様の動作を行い、４ｘ４画素の分解能で視差量Δf4(3,4)(ibx,iby)(i)とその信頼度Ef4(3,4)(ibx,iby)(i)とが求められた。ここで、(3,4)は第３の撮像信号と第４の撮像信号とを利用していることを示し、(ibx,iby)は図１３の各ブロックの下段に示される座標を示し（図１３のように、ｉｂｘは０からＮｈ−１まで、ｉｂｙは０からＮｖ−１まで変化する）、ｉは３２ｘ３２画素のうちの４ｘ４画素のブロックを示す（図１５のように、ｉは、０〜６３まで変化する）。次に、ステップＳ１２４０を実行する。

ステップＳ１２４０において、第１の撮像信号と第３の撮像信号とを利用した視差演算を実行する。図２２は、本発明の実施の形態１に係る撮像装置の第１の撮像信号と第３の撮像信号とを利用した視差演算の動作を示すフローチャートである。図２２のフローチャートは、ステップＳ１２４０の動作の詳細を示す。ステップＳ１２４０の演算では、まず、ステップＳ１４１０を実行する。

ステップＳ１４１０において、第１の撮像信号と第３の撮像信号とを利用した視差演算の動作を開始する。次に、ステップＳ１４１５を実行する。

ステップＳ１４１５において、ブロックインデックスｉｂに０に初期化する。次に、ステップＳ１４２０を実行する。

ステップＳ１４２０において、ブロックを選択する。第１の撮像信号のブロック分割は、ステップＳ１３２０と同様であり、説明を省略する。図２３は、本発明の実施の形態１に係る撮像装置の第１の撮像信号と第３の撮像信号とを利用した視差演算における第３の撮像信号の分割ブロックと演算順番を説明する図である。図２３において、第３の撮像信号Ｉ３は、ｘ方向にＨＢ画素、ｙ方向に（ＶＢ＋ＳＢ）画素の長方形状のブロックに分割され、ｘ方向にＨＢ画素、ｙ方向にＶＢ画素ずれて配置され、ｘ方向にＮｈ個、ｙ方向にＮｖ個のブロックを持つ。そのため、ｙ方向について、隣のブロックと重なる。一方、ｘ方向について、隣のブロックと重ならない。また、図１４において、下側のブロックにおいてｙ方向に（ＶＢ＋ＳＢ）画素を取れないブロックは、適宜ｙ方向の下端が削除される。なお、実施の形態１では、以下、ＨＢ＝３２、ＶＢ＝３２の例を示す。

図１３、および図２３において、各ブロックの上段に記述された数字はブロックインデックスｉｂを示す。また、図１３、および図２３において、各ブロックの下段に記述された座標（ｉｂｘ、ｉｂｙ）は、各ブロックがｘ方向にｉｂｘ番目、ｙ方向にｉｂｙ番目のブロックであることを示す。ここで、ｉｂｘは０からＮｈ−１まで、ｉｂｙは０からＶｈ−１まで存在する。ステップＳ１４２０において、図１３、および図２３でブロックインデックスｉｂで示されるブロック（座標（ｉｂｘ、ｉｂｙ）で示されるブロック）が選択される。次に、ステップＳ１４２５を実行する。

ステップＳ１４２５において、撮像信号を転送する。ステップＳ１４２０において、選択されたブロックの第１の撮像信号I1を第１の演算バッファBc1に転送する。演算バッファの座標(x,y)における値をBc1(x,y)とする。ここで、HB=32、VB=32であるため、x=0〜31、y=0〜31である。ステップＳ１４２０において、選択されたブロックの第３の撮像信号I3を第２の演算バッファBc2に転送する。演算バッファの座標(x,y)における値をBc2(x,y)とする。ここで、HB=32、VB=32であるため、x=0〜31、y=0〜31+SBである。例えば、ｉｂ＝０のとき、第１の演算バッファBc1には、座標(0,0)と座標(31,31)とで囲まれる1024画素の撮像信号I1が転送され、第２の演算バッファBc2には、図２３において右斜上となる斜線が描かれた座標(0,0)と座標(31,31+SB)とで囲まれる(1024+32*SB)画素の撮像信号I2が転送される。次に、ｉｂ＝１のとき、第１の演算バッファBc1には、座標(0,32)と座標(31,63)とで囲まれる1024画素の撮像信号I1が転送され、第２の演算バッファBc2には、図２３において右斜下となる斜線が描かれた座標(0,32)と座標(31,63+SB)とで囲まれる(1024+32*SB)画素の撮像信号I2が必要だが、ｉｂ＝０と重なる部分（座標(0,32)と座標(31,31+SB)で囲まれる32*SB画素の領域）はすでに第２の演算バッファBc2に転送されているため、新たに座標(0,32+SB)と座標(31,63+SB)とで囲まれる1024画素のみを転送すればよい。次に、ステップＳ１４３０を実行する。

ステップＳ１４３０において、４ｘ４画素の視差演算を実行する。まず、ステップＳ１３３０と同様に、図１５のように、第１の演算バッファBc1をｘ方向に４画素、ｙ方向に４画素の大きさブロックに分割する。すなわち、ｘ方向に８個、ｙ方向に８個のブロックに分割する。

そして、各ブロック（B4(0)、B4(1)、B4(2)、・・・、B4(63)）毎に、４ｘ４画素の視差評価値R4(0)(k)、R4(1)(k)、R4(2)(k)、・・・、R4(63)(k)、を演算する。ここで、ｋは画像をどれだけずらすかを示すずらし量であり、k=0、1、2、・・・、SBのように変化させる。図２４は、本発明の実施の形態１に係る撮像装置において、第１の撮像信号と第３の撮像信号を利用したときの４ｘ４画素の視差演算における４ｘ４画素の視差評価値の演算領域を説明する図である。図２４のように、I番目のブロックB4(i)（Bc1で示される領域）は、第１の演算バッファの４ｘ４画素の大きさに分割されたｉ番目のブロックである。Bc2で示される領域は、図２４においてBc1で示されるブロックからｙ方向にずらし量ｋだけ移動した領域である。そして、ずらし量k=0からSBについて、下記（数１４）に示される絶対値差分総和(SAD。Sum of Absolute Differences)を演算し、ｉ番目のブロックB4(i)の視差評価値R4(i)(k)とする。

この視差評価値R4(i)(k)は、ｉ番目のブロックB4(i)の第１の演算バッファのデータBc1と、ｙ方向にｋだけ離れた領域における第２の演算バッファBc2がどれだけ相関があるかを示し、値が小さいほど相関が大きい（よく似ている）ことを示す。ここで、第１の演算バッファのデータBc1は、第１の撮像信号I1を転送したものであり、第２の演算バッファのデータBc2は、第３の撮像信号I3を転送したものであるため、視差評価値R4(i)(k)は、第１の撮像信号I1と対応する第３の撮像信号I3とがどれだけ相関があるかを示す。

そして、Ｓ１３３０と同様に、視差評価値R4(i)(k)はずらし量ｋの値によって変化し、ずらし量ｋ＝Δ4(i)のとき極小値を持つ。第１の演算バッファのデータBc1のｉ番目のブロックB4(i)のデータは、第１の演算バッファのデータBc1のｉ番目のブロックB4(i)をｙ方向にｋだけ移動した領域に存在する第２の演算バッファBc2のデータと最も相関がある（最も似ている）ことを示す。したがって、ブロックB4(i)についての第１の演算バッファのデータBc1と第２の演算バッファのデータBc2とのｘ方向の視差がΔ4(i)であることが分かる。ここで、このΔ4(i)をブロックB4(i)の視差値Δ4(i)と呼ぶ。このように、ｉ＝０、１、２、・・・、６３までブロックB4(i)の視差値Δ4(i)を求める。

次に、ブロックB4(i)の視差値Δ4(i)の信頼度を演算する。図２５は、本発明の実施の形態１に係る撮像装置において、第１の撮像信号と第３の撮像信号を利用したときの４ｘ４画素の視差演算における４ｘ４画素の視差評価値の信頼度の演算領域を説明する図である。B４(i)で示される（Bc1としても示されている）領域は、図１５におけるｉ番目の４ｘ４画素のブロックである。Bc2で示される領域は、Biをｙ方向にΔ4(i)だけ移動した領域である。そして、下記（数１５）のように、それぞれの領域のデータBc1(x,y)、Bc2(x,y+Δ4(i))について、正規化相関係数を4x4画素のブロックB4(i)の信頼度E4(i)とする。次に、ステップＳ１４３５を実行する。

ステップＳ１４３５において、８ｘ８画素の視差演算を実行する。このステップは、ステップＳ１３３５と同様に、視差量Δ8(i)を求める。そして、下記（数１６）のように、それぞれの領域のデータBc1(x,y)、Bc2(x,y+Δ8(i))の正規化相関係数を８ｘ８画素のブロックB8(i)の信頼度E8(i)とする。次に、ステップＳ１４４０を実行する。

ステップＳ１４４０において、１６ｘ１６画素の視差演算を実行する。このステップは、ステップＳ１３４０と同様に、視差量Δ16(i)を求める。そして、下記（数１７）のように、それぞれの領域のデータBc1(x,y)、Bc2(x,y-Δ16(i))の正規化相関係数を１６ｘ１６画素のブロックB16(i)の信頼度E16(i)とする。次に、ステップＳ１４４５を実行する。

ステップＳ１４４５において、３２ｘ３２画素の視差演算を実行する。このステップは、ステップＳ１３４５と同様に、視差量Δ32(0)を求める。そして、下記（数１８）のように、それぞれの領域のデータBc1(x,y)、Bc2(x,y+Δ32(0))の正規化相関係数を３２ｘ３２画素のブロックB32(0)の信頼度E32(0)とする。次に、ステップＳ１４５０を実行する。

ステップＳ１４５０において、信頼度に基づき視差を決定する。図１５におけるｉ番目の４ｘ４画素のブロックB4(i)を含む全てのブロック（B4(i), B8(i), B16(i), B32(0)）の信頼度E4(i)、E8(i)、E16(i)、E32(0)のうち最大値を与えるものの視差（Δ4(i)、Δ8(i)、Δ16(i)、Δ32(i)のうち対応するもの）を、このブロックの最終的な視差Δf4(1,3)(ibx,iby)(i)とし、保存する。ここで、図１３においてibはブロックインデックスである。また、このときの最大値を与えた信頼度（E4(i)、E8(i)、E16(i)、E32(0)のうち対応するもの）をこのブロックの最終的な信頼度Ef4(1,3)(ibx,iby)(i)として、保存する。このようにして、第１の撮像信号と第２の撮像信号とを利用した視差演算において、図１３において、座標(ibx,iby)で示される３２ｘ３２画素のブロックについて、４ｘ４画素の分解能で視差量Δf4(1,3)(ibx,iby)(i)とその信頼度Ef4(1,3)(ibx,iby)(i)とが求められた。次に、ステップＳ１４５５を実行する。

ステップＳ１４５５において、ブロックインデックスｉｂに１を加える。次に、ステップＳ１４６０を実行する。

ステップＳ１４６０において、第１の撮像信号と第３の撮像信号とを利用した視差演算を終了するかどうかを判断する。ブロックインデックスｉｂがNh*Nv未満のとき、次のブロックの視差を演算するために、次に、ステップＳ１４２０を実行する。一方、ブロックインデックスｉｂがNh*Nv以上のとき、全てのブロックの視差を演算したと判断し、次に、ステップＳ１４６５を実行する。

ステップＳ１４６５において、第１の撮像信号と第３の撮像信号とを利用した視差演算を終了し、上位ルーチンへ戻る。このようにして、第１の撮像信号と第３の撮像信号とを利用した視差演算において、ブロックインデックスｉｂで示される３２ｘ３２画素のブロックについて、４ｘ４画素の分解能で視差量Δf4(1,3)(ibx,iby)(i)とその信頼度Ef4(1,3)(ibx,iby)(i)とが求められた。ここで、(1,3)は第１の撮像信号と第３の撮像信号とを利用していることを示し、(ibx,iby)は図１３の各ブロックの下段に示される座標を示し（ｉｂｘは０からＮｈ−１まで、ｉｂｙは０からＮｖ−１まで変化する）、ｉは３２ｘ３２画素のうちの４ｘ４画素のブロックを示す（ｉは、０〜６３まで変化する）。次に、図１１のステップＳ１２５０を実行する。

ステップＳ１２５０において、第２の撮像信号と第４の撮像信号とを利用した視差演算を実行する。このステップは、ステップＳ１２２０において、第１の撮像信号I1を第２の撮像信号I2に変更し、第３の撮像信号I3を第４の撮像信号I4に変更したものと同様である。すなわち、第２の撮像信号I2をブロックに分割し、第１の演算バッファ１４１ａに転送し、第４の撮像信号I4をブロックに分割し、第２の演算バッファ１４１ｂに転送し、ステップＳ１２４０と同様の動作を行い、４ｘ４画素の分解能で視差量Δf4(2,4)(ibx,ixy)(i)とその信頼度Ef4(2,4)(ibx,iby)(i)とが求められた。ここで、(2,4)は第２の撮像信号と第４の撮像信号とを利用していることを示し、(ibx,iby)は図１３において各ブロックの下段に示された座標であり（ｉｂｘは０からＮｈ−１まで、ｉｂｙは０からＮｖ−１まで変化する）、ｉは３２ｘ３２画素のうちの４ｘ４画素のブロックを示す（図１５のように、ｉは、０〜６３まで変化する）。次に、ステップＳ１２６０を実行する。

ステップＳ１２６０において、視差を選択する。それぞれのブロックに対し、信頼度E(1,2)(ibx,iby)(i)、E(2,3)(ibx,iby)(i)、E(1,3)(ibx,iby)(i)、およびE(2,4)(ib)(i)を比較し、最大の信頼度を与える視差をそのブロックでの視差Δ(ibx,iby)(i)とする。次に、ステップＳ１２７０を実行する。

ステップＳ１４７０において、視差演算を終了し、上位ルーチンへ戻る。このようにして、各ブロックにおける視差Δ(ibx,iby)(i)が求められた。ここで、(ibx,iby)は図１３の各ブロックの下段に示される座標であり、ｉｂｘは０からＮｈ−１まで、ｉｂｙはＮｖ−１まで変化する。また、ｉは３２ｘ３２画素のうちの４ｘ４画素のブロックを示し、図１５のように、０〜６３まで変化する。次に、ステップＳ１８００を実行する。

ステップＳ１８００において、距離演算部１４３は、距離演算を行い、その結果を、順次、第２の出力バッファ１３７ｂに、距離データとして転送する。図２６は、本発明の実施の形態１に係る撮像装置の距離演算の動作を示すフローチャートである。図２６のフローチャートは、ステップＳ１８００の動作の詳細を示す。ステップＳ１８００の演算では、まず、ステップＳ１８１０を実行する。

ステップＳ１８１０において、距離演算の動作を開始する。次に、ステップＳ１８２０を実行する。

ステップＳ１８２０において、温度補正を実行する。下記（数１９）のように、温度特性を補正するために視差からTh*Th1-Th2を減ずる。温度が高くなると、レンズが膨張し、その分だけ光軸間の距離が大きくなることが予想される。そのため、温度による光軸間の大きさの変化をTh*Th1-Th2として予測し、減ずる。ここで、Thは、ステップＳ１０３０において、入力された温度センサ信号Thである。また、Th1、およびTh2は設定された係数である。次に、ステップＳ１８３０を実行する。

ステップＳ１８３０において、歪曲補正を実行する。ブロック毎に歪曲の影響が異なるため、下記（数２０）のように、歪曲を補正するための歪曲補正係数kcb(ibx,iby)(i)をあらかじめ用意し、視差Δ(ibx,iyb)(i)に乗ずることにより視差を補正する。例えば、樽型の歪曲を持つレンズを使用した場合、像高が低いブロック（光軸に近いブロック）と比較し、像高が高いブロック（光軸から遠いブロック）では、視差を大きくするように補正する。なお、歪曲強度係数kcb(ibx,iby)(i)は、検査工程などにおいて特定チャートを撮影し決定され、あるいは、あるいはレンズの設計値や検査された特性などから計算し求められ、EEPROMやフラッシュメモリに保存される。なお、各ブロックの係数を持たずに、代表点のみを持ち線形補間により歪曲強度係数kcb(ibx,iby)(i)を求めてもよい。また、近似式を策定しその係数のみを持ち、各ブロックの歪曲強度係数kcb(ibx,iby)(i)を作成してもよい。また、レンズの光軸のずれなどを校正するために、適宜、座標変換を行ってもよい。次に、ステップＳ１８４０を実行する。

ステップＳ１８４０において、距離演算し、距離データを作成する。（数１）を距離Ａについて解くと、下記（数２１）のように示される。したがって、視差Δ(ibx,iby)(i)を持つブロックにおける被写体の距離A(ibx,iby)(i)は、下記（数２２）のように演算される。次に、ステップＳ１８５０を実行する。

ステップＳ１８５０において、距離データA(ibx,iby)(i)を第２出力バッファ１３７ｂに転送する。次に、ステップＳ１８６０を実行する。

ステップＳ１８６０において、距離演算を終了し、上位ルーチンに戻る。次に、ステップＳ１９００を実行する。

ステップＳ１９００において、演算動作を終了し、上位ルーチンへ戻る。次に、ステップＳ１９１０を実行する。

以上のように構成し、動作させることにより、以下の効果を有する。

一組のレンズ部に対応した撮像信号において、それぞれの撮像信号の光軸中心を結ぶ直線に平行な意匠は、それぞれの撮像信号において同一形状となり視差を求めることができない。実施の形態１の撮像装置によれば、４つの組（第１の撮像信号I1と第２の撮像信号I2、第３の撮像信号I3と第４の撮像信号I4、第１の撮像信号I1と第３の撮像信号I3、および第２の撮像信号I2と第４の撮像信号）を選択し、それぞれの組に対しそれぞれの視差(Δ4f(1,2)(ibx,iby)(i)、Δ4(3,4)(ibx,iby)(i)、Δ4f(1,3)(ibx,iby)(i)、およびΔ4f(2,4)(ibx,iby)(i)）を演算する。このことにより、片方の組で正しく視差を求められない意匠であっても、他方の組で正しく視差を求めることができ、その視差に基づき距離を計測できる。例えば、水平な線状の意匠は、水平に並べられた組（第１の撮像信号I1と第２の撮像信号I2、および第３の撮像信号I3と第４の撮像信号I4）からは計測できないが、鉛直に並べられた組（第１の撮像信号I1と第３の撮像信号I3、および第２の撮像信号I2と第４の撮像信号）では、計測可能である。すなわち、多様な被写体で距離計測できる。

また、実施の形態の撮像装置によれば、ステップＳ１２２０において、複数の前記視差の信頼度(E(1,2)(ibx,iby)(i)、E(3,4)(ibx,iby)(i)、E(1,3)(ibx,iby)(i)、およびE(2,4)(ibx,iby)(i))をそれぞれ演算し、それぞれのブロック（(ibx,iby)とｉとで示される）毎に、それぞれの視差(Δ4f(1,2)(ibx,iby)(i)、Δ4(3,4)(ibx,iby)(i)、Δ4f(1,3)(ibx,iby)(i)、およびΔ4f(2,4)(ibx,iby)(i))のうち信頼度が最も大きい視差Δ(ibx,iby)(i)に基づき距離を演算する。このことにより、信頼性が高い視差Δ(ibx,iby)(i)に基づき視差演算するため、信頼性が高い距離計測を可能とする。また、全ての組の視差(Δ4f(1,2)(ibx,iby)(i)、Δ4(3,4)(ibx,iby)(i)、Δ4f(1,3)(ibx,iby)(i)、およびΔ4f(2,4)(ibx,iby)(i))において距離演算を行わず、信頼性が高い視差(Δ(ibx,iby)(i))のみの距離演算を行うため、高速な距離計測を可能とする。

例えば、画像中に水平な線状の意匠と垂直な線状に意匠とが混在する場合、上述のように、ブロック毎に信頼度が最も大きい視差Δ(ibx,iby)(i)を用いることにより、水平な線状の意匠のみが含まれるブロックでは鉛直に並べられた組（第１の撮像信号I1と第３の撮像信号I3、および第２の撮像信号I2と第４の撮像信号）から求められた視差を用いて、鉛直な線状の意匠のみが含まれるブロックでは水平に並べられた組（第１の撮像信号I1と第２の撮像信号I2、および第３の撮像信号I3と第４の撮像信号）から求められた視差を用いて、距離を演算することにより、多様な被写体で距離計測できる。

また、実施の形態１の撮像装置によれば、温度センサ１２６により周囲温度を示す計測温度を計測し、温度センサ信号Thとして入力し、ステップＳ１８２０において（数１９）のように、温度変化によるレンズの変形の影響を、視差からTh*Th1-Th2を減ずることにより補償し、補償された視差を用いて距離を演算する。このことにより、温度変化によってレンズが変形しても、正しい距離計測ができる。

また、実施の形態１の撮像装置によれば、ステップＳ１８３０において（数２０）のように、ブロック毎のレンズ部の歪曲の影響を示す歪曲補正係数kcb(ibx,iby)(i)を用いて視差を補償し、補償された視差を用いて距離を演算する。このことにより、レンズに歪曲があっても、正しい距離計測ができる。

また、実施の形態１の撮像装置によれば、ステップＳ１２２０における第１の撮像信号I1と第２の撮像信号I2による視差演算、およびステップＳ１２３０における第３の撮像信号I3と第４の撮像信号I4による視差演算では、ブロック毎に視差演算するにあたり、水平方向に順に演算を行う。このため、第２の演算バッファBc2への転送の際、ブロックインデックスｉｂ＝１のとき、図１４の右斜上の斜線と右斜下の斜線とが重なる部分は、すでに第２の演算バッファBc2に転送されているため、転送を省略でき、高速に視差演算できる。すなわち、高速に距離計測できる。また、ステップＳ１２４０における第１の撮像信号I1と第３の撮像信号I3による視差演算、およびステップＳ１２５０における第２の撮像信号I2と第４の撮像信号I4による視差演算では、ブロック毎に視差演算するにあたり、鉛直方向に順に演算を行う。このため、第２の演算バッファBc2への転送の際、ブロックインデックスｉｂ＝１のとき、図２３の右斜上の斜線と右斜下の斜線とが重なる部分は、すでに第２の演算バッファBc2に転送されているため、転送を省略でき、高速に視差演算できる。すなわち、高速に距離計測できる。

実施の形態１の撮像装置によれば、４ｘ４画素のブロック毎に演算された視差評価値R4(i)(k)を用いて８ｘ８画素のブロック毎の視差評価値R8(i)(k)を演算し、８ｘ８画素のブロック毎の視差評価値R8(i)(k)を用いて１６ｘ１６画素のブロック毎の視差評価値R16(i)(k)を演算し、１６ｘ１６画素のブロック毎の視差評価値R16(i)(k)を用いてR32(0)(k)を演算する。このことにより、結合したブロック（結合ブロック）で独自に視差評価値（結合視差評価値）を演算するときと比較し、結合したブロック（結合ブロック）での視差評価値（結合視差評価値）の演算量を減少でき、高速に視差演算できるため、高速に距離演算できる。

また、実施の形態１の撮像装置によれば、ステップＳ１３３０、およびステップＳ１４３０において４ｘ４画素の各ブロックの視差Δ4(i)の信頼度E4(i)を演算し、ステップＳ１３３５、およびステップＳ１４３５において８ｘ８画素の各ブロックの視差Δ8(i)の信頼度E8(i)を演算し、ステップＳ１３４０、およびステップＳ１４４０において１６ｘ１６画素の各ブロックの視差Δ16(i)の信頼度E16(i)を演算し、ステップＳ１３４５、およびステップＳ１４４５において３２ｘ３２画素のブロックの視差Δ32(0)の信頼度E32(0)を演算し、ステップＳ１３５０、およびステップＳ１４５０において最も信頼度が大きいものを最終的な視差Δ4f(i)とし、この視差Δ4f(i)に基づき得られた視差Δ(ibx,iby)(i)を用いて、距離演算を行う。そのため、信頼性が高い視差に基づき視差演算をするため、信頼性が高い距離計測を可能とする。また、信頼性が高い視差のみの距離演算を行うため、高速な距離計測を可能とする。

（実施の形態２）
本発明の実施の形態１に係る撮像装置は、互いに水平に離れて配置されたレンズ部が結像する被写体像に対応した撮像信号（第１の撮像信号I1と第２の撮像信号I2、第３の撮像信号I3と第４の撮像信号）と、お互いに鉛直に離れて配置されたレンズ部が結像する被写体像に対応した撮像信号（第１の撮像信号I1と第３の撮像信号I3、第２の撮像信号I2と第４の撮像信号）と、に基づき視差を演算し、この視差に基づき距離を演算した。実施の形態２に係る撮像装置は、互いに対角に離れて配置されたレンズが結像する被写体像に基づき視差を演算し、この視差に基づき距離を演算する。

本発明の実施の形態２に係る撮像装置について、図面を参照しながら説明する。

図２７は、本発明の実施の形態２に係る撮像装置の構成を示す断面図である。図２７において、撮像装置撮像装置は、レンズモジュール部２１０、および回路部２２０を有する。

レンズモジュール部１１０は、鏡筒１１１、上部カバーガラス１１２、およびレンズ１１３を有する。回路部２２０は、基板１２１、パッケージ１２２、撮像素子１２３、パッケージカバーガラス２２４、システムＬＳＩ（以下、ＳＬＳＩと記す）２２５、および温度センサ１２６を有する。

鏡筒１１１、上部カバーガラス１１２、レンズ１１３は、実施の形態１と同様であり、説明を省略する。

基板１２１、パッケージ１２２、撮像素子１２３は、実施の形態１と同様であり、説明を省略する。

図２８は、本発明の実施の形態２に係る撮像装置の回路部の上面図である。パッケージカバーガラス２２４は、平板状であり、透明樹脂により形成され、パッケージ１２２の上面に接着などにより固着される。パッケージカバーガラス２２４の上面には、第１のカラーフィルタ２２４ａ、第２のカラーフィルタ２２４ｂ、第３のカラーフィルタ２２４ｃ、第４のカラーフィルタ２２４ｄ、および遮光部１２４ｅが蒸着などにより配置される。また、パッケージカバーガラス１２４の下面には、反射防止膜が蒸着などにより配置される。

図２９は、本発明の実施の形態２に係るカメラモジュールのカラーフィルタの特性図である。第１のカラーフィルタ２２４ａは、図２９のＧで示した主に緑色光を透過する分光透過特性を有し、第２のカラーフィルタ２２４ｂは、図２９のＩＲで示した主に近赤外光を透過する分光透過特性を有し、第３のカラーフィルタ２２４ｃは、図２９のＩＲで示した主に近赤外光を透過する分光透過特性を有し、第４のカラーフィルタは、図２９のＧで示した主に緑色光を透過する分光透過特性を有する。

したがって、第１のレンズ部１１３ａの上部から入射した物体光は、第１のレンズ部１１３ａの下部から射出され、第１のカラーフィルタ２２４ａにより主に緑色光が透過し、第１の撮像素子１２３ａの受光部に結像するため、第１の撮像素子１２３ａは物体光のうち緑色光成分を受光する。また、第２のレンズ部１１３ｂの上部から入射した物体光は、第２のレンズ部１１３ｂの下部から射出され、第２のカラーフィルタ２２４ｂ主に近赤外光が透過し、第２の撮像素子１２３ｂの受光部に結像するため、第２の撮像素子１２３ｂは物体光のうち近赤外光成分を受光する。また、第３のレンズ部１１３ｃの上部から入射した物体光は、第３のレンズ部１１３ｃの下部から射出され、第３のカラーフィルタ２２４ｃにより主に近赤外光が透過し、第３の撮像素子１２３ｃの受光部に結像するため、第３の撮像素子１２３ｃは物体光のうち近赤外光成分を受光する。更に、第４のレンズ部１１３ｄの上部から入射した物体光は、第４のレンズ部１１３ｄの下部から射出され、第４のカラーフィルタ２２４ｄにより主に緑色光が透過し、第４の撮像素子１２３ｄの受光部に結像するため、第４の撮像素子１２３ｄは物体光のうち緑色光成分を受光する。

ＳＬＳＩ２２５は、後述の方法で、撮像素子１２３を駆動し、撮像素子１２３からの電気情報を入力し、各種演算を行い、上位ＣＰＵと通信を行い、外部に画像情報や距離情報などを出力する。なお、ＳＬＳＩ２２５は、電源（例えば３．３Ｖ）とグランド（例えば、０Ｖ）に接続される。

温度センサ１２６は、実施の形態１と同様であり、説明を省略する。

次に、本発明の実施の形態２に係る撮像装置の動作を説明する。図３０は、本発明の実施の形態２に係る撮像装置のブロック図である。ＳＬＳＩ２２５は、システム制御部２３１、撮像素子駆動部１３２、撮像信号入力部１３３、前処理部１３４、入力バッファ１３５、演算部２３６、出力バッファ１３７、入出力部１３８、および温度センサ信号入力部１３９を有する。入力バッファ１３５は、第１の入力バッファ１３５ａ、第２の入力バッファ１３５ｂ、第３の入力バッファ１３５ｃ、および第４の入力バッファ１３５ｄを有する。演算部２３６は、演算部バッファ２４１、視差演算部２４２、および距離演算部１４３を有する。演算部バッファ２４１は、第１の演算部バッファ２４１ａ、および第２の演算部バッファ２４１ｂを有する。出力バッファ１３７は、第１の出力バッファ１３７ａ、および第２の出力バッファ１３７ｂを有する。

システム制御部２３１は、ＣＰＵ（中央演算処理装置：Central Processing Unit）、ロジック回路などから構成され、ＳＬＳＩ２２５の全体を制御する。

撮像素子駆動部１３２、撮像信号入力部１３３、および入力バッファ１３５ａは、実施の形態１と同様であり、説明を省略する。

演算部２３６は、SRAMから構成された第１の演算バッファ２４１ａ、第２の演算バッファ２４１ｂと、ロジック回路やCPUなどから構成された視差演算部２４２と、ロジック回路やCPUなどから構成された距離演算部１４３と、から構成される。演算部２３６は、第１の撮像信号I1、第２の撮像信号I2、第３の撮像信号I3、および第４の撮像信号I4をブロック単位で読み込み第１の演算バッファ２４１ａ、第２の演算バッファ２４１ｂに保存し、視差演算部２４２において第１の演算バッファ２４１ａ、および第２の演算バッファ２４１ｂのデータなどに基づき視差を演算し、距離演算部１４３において求められた視差に基づき距離を演算し、求められた距離データを出力バッファ１３７に転送する。

出力バッファ１３７、入出力部１３８、および温度センサ信号入力部１３９は、実施の形態１と同様であり、説明を省略する。図３１は、本発明の実施の形態１に係る撮像装置の動作を示すフローチャートである。ＳＬＳＩ２２５のシステム制御部２３１により、撮像装置２０１は、このフローチャートのとおりに動作される。

ステップＳ２０１０において、動作を開始する。例えば、上位ＣＰＵ（図示せず）が、入出力部１３６を介し、撮像装置２０１に動作の開始を命令することにより、撮像装置２０１は、動作を開始する。次に、ステップＳ１０２０を実行する。

ステップＳ１０２０は、実施の形態１と同様であり、説明を省略する。次に、ステップＳ１０３０を実行する。

ステップＳ１０３０は、実施の形態１と同様であり、説明を省略する。次に、ステップＳ１０４０を実行する。

ステップＳ１０４０は、実施の形態１と同様であり、説明を省略する。次に、ステップＳ２１００を実行する。

ステップＳ２１００において、距離データを作成し、順次、第２の出力バッファ１３７ｂに転送する。この動作の詳細は後述する。次に、ステップＳ１９１０を実行する。

ステップＳ１９１０は、実施の形態１と同様であり、説明を省略する。次に、Ｓ１９２０を実行する。

ステップＳ１９２０において、動作を終了するかどうかを判断する。例えば、システム制御部２３１は、入出力部１３６を介し、上位ＣＰＵ（図示せず）と通信し、動作を終了するかどうかの命令を要求する。そして、上位ＣＰＵが終了を命令すれば動作を終了し、次に、ステップＳ２９３０を実行する。一方、上位ＣＰＵが終了を命令しなければ動作を継続し、次に、ステップＳ１０２０を実行する。すなわち、上位ＣＰＵが終了を命令しない限り、ステップＳ１０２０、ステップＳ１０３０、ステップＳ１０４０、ステップＳ２１００、およびステップＳ１９１０のループの実行を継続する。

ステップＳ２９３０において、動作を終了する。

次に、ステップＳ２１００における動作の詳細を説明する。図３２は、本発明の実施の形態２に係る撮像装置の演算部の動作を示すフローチャートである。図３１のフローチャートは、ステップＳ２１００の動作の詳細を示す。ステップＳ２１００の演算では、まず、ステップＳ２１１０を実行する。

ステップＳ２１１０において、演算の動作を開始する。次に、ステップＳ２２００を実行する。

ステップＳ２２００において、視差演算を実行する。図３３は、本発明の実施の形態２に係る撮像装置の視差演算の動作を示すフローチャートである。図３３のフローチャートは、ステップＳ２２００の動作の詳細を示す。ステップＳ２２００の演算では、まず、ステップＳ２２１０を実行する。

ステップＳ２２１０において、視差演算の動作を開始する。次に、ステップＳ２２２０を実行する。

ステップＳ２２２０において、第１の撮像信号と第４の撮像信号とを利用した視差演算を実行する。図３４は、本発明の実施の形態２に係る撮像装置の第１の撮像信号と第４の撮像信号とを利用した視差演算の動作を示すフローチャートである。図３４のフローチャートは、ステップＳ２２２０の動作の詳細を示す。ステップＳ２２２０の演算では、まず、ステップＳ２３１０を実行する。

ステップＳ２３１０において、第１の撮像信号と第４の撮像信号とを利用した視差演算の動作を開始する。次に、ステップＳ２３１５を実行する。

ステップＳ２３１５において、ブロックインデックスｉｂに０に初期化する。次に、ステップＳ２３２０を実行する。

ステップＳ２３２０において、ブロックを選択する。図３５は、本発明の実施の形態２に係る撮像装置の第１の撮像信号と第４の撮像信号とを利用した視差演算における第１の撮像信号の分割ブロックと演算順番を説明する図であり、図３６は、本発明の実施の形態２に係る撮像装置の第１の撮像信号と第４の撮像信号とを利用した視差演算における第４の撮像信号の分割ブロックと演算順番を説明する図である。図３５において、第１の撮像信号Ｉ１は、ｘ方向にＨＢ画素、ｙ方向にＶＢ画素の長方形状のブロックに分割され、ｘ方向にＨＢ画素、ｙ方向にＶＢ画素ずれて配置され、ｘ方向にＮｈ個、ｙ方向にＮｖ個のブロックを持つ。そのため、各ブロックはｘ方向、ｙ方向ともに重なる部分はない。図３６おいて、第４の撮像信号Ｉ４は、図３６（ｂ）のような(HB+SB)*(VB+SB)-SB*SB画素のブロックに分割され、ｘ方向にＨＢ画素、ｙ方向にＶＢ画素ずれて配置され、ｘ方向にＮｈ個、ｙ方向にＮｖ個のブロックを持つ。また、図３６において、図３６（ｂ）のようなブロックを取れないブロック（例えば、右上や右下や左下のブロック）は、適宜取れない部分が削除される（例えば、右上のブロックはＨＢ＊ＶＢの長方形状のブロックとなる）。なお、実施の形態２では、以下、ＨＢ＝３２、ＶＢ＝３２の例を示す。

図３５、および図３６において、各ブロックの上段に記述された数字はブロックインデックスｉｂを示す。また、図３５、および図３６おいて、各ブロックの下段に記述された座標（ｉｂｘ、ｉｂｙ）は、各ブロックがｘ方向にｉｂｘ番目、ｙ方向にｉｂｙ番目のブロックであることを示す。ここで、ｉｂｘは０からＮｈ−１まで、ｉｂｙは０からＶｈ−１まで存在する。ステップＳ２３２０において、図３５、および図３６において、ブロックインデックスｉｂで示されるブロック（座標（ｉｂｘ、ｉｂｙ）で示されるブロック）が選択される。次に、ステップＳ２３２５を実行する。

ステップＳ２３２５において、撮像信号を転送する。ステップＳ２３２０において、選択されたブロックの第１の撮像信号I1を第１の演算バッファBc1に転送する。演算バッファの座標(x,y)における値をBc1(x,y)とする。ここで、HB=32、VB=32であるため、x=0〜31、y=0〜31である。ステップＳ１３２０において、選択されたブロックの第２の撮像信号I2を第２の演算バッファBc2に転送する。演算バッファの座標(x,y)における値をBc2(x,y)とする。ここで、HB=32、VB=32であるため、x=0〜31+SB、y=0〜31+SBである。例えば、ｉｂ＝ｉｂｔのとき、第１の演算バッファBc1には、座標(0,0)と座標(31,31)とで囲まれる1024画素の撮像信号I1が転送され、第２の演算バッファBc2には、図３６において右斜下となる斜線が描かれた座標(0,0)と座標(31+SB,31+SB)とで囲まれる(1024+2*32*SB)画素の撮像信号I4が転送される。次に、ｉｂ＝ｉｂｔ＋１のとき、第１の演算バッファBc1には、座標(32,32)と座標(63,63)とで囲まれる1024画素の撮像信号I1が転送され、第２の演算バッファBc2には、図３６において右斜下となる斜線が描かれた座標(32,32)と座標(63+SB,63+SB)とで囲まれる(1024+2*32*SB)画素の撮像信号I4が必要だが、ｉｂ＝ｉｂｔと重なる部分（座標(32,32)と座標(31+SB,31+SB)で囲まれる2*32*SB画素の領域）はすでに第２の演算バッファBc2に転送されているため、新たに座標(32+SB,32+SB)と座標(63+SB,63+SB)とで囲まれる2048画素のみを転送すればよい。次に、ステップＳ２３３０を実行する。

ステップＳ２３３０において、４ｘ４画素の視差演算を実行する。まず、図１５のように、第１の演算バッファBc1をｘ方向に４画素、ｙ方向に４画素の大きさブロックに分割する。すなわち、ｘ方向に８個、ｙ方向に８個のブロックに分割する。

そして、各ブロック（B4(0)、B4(1)、B4(2)、・・・、B4(63)）毎に、４ｘ４画素の視差評価値R4(0)(k)、R4(1)(k)、R4(2)(k)、・・・、R4(63)(k)、を演算する。ここで、ｋは画像をどれだけずらすかを示すずらし量であり、k=0、1、2、・・・、SBのように変化させる。図３７は、本発明の実施の形態２に係る撮像装置において、第１の撮像信号と第４の撮像信号を利用したときの４ｘ４画素の視差演算における４ｘ４画素の視差評価値の演算領域を説明する図である。図３７のように、I番目のブロックB4(i)（Bc1で示される領域）は、第１の演算バッファの４ｘ４画素の大きさに分割されたｉ番目のブロックである。Bc2で示される領域は、図３７においてBc1で示されるブロックからｘ方向にずらし量ｋだけ、ｙ方向にずらし量ｋだけ移動した領域である。そして、ずらし量k=0からSBについて、下記（数２３）に示される絶対値差分総和(SAD)を演算し、ｉ番目のブロックB4(i)の視差評価値R4(i)(k)とする。

この視差評価値R4(i)(k)は、ｉ番目のブロックB4(i)の第１の演算バッファのデータBc1と、ｘ方向にｋだけ、ｙ方向にｋだけ離れた領域における第２の演算バッファBc2がどれだけ相関があるかを示し、値が小さいほど相関が大きい（よく似ている）ことを示す。ここで、第１の演算バッファのデータBc1は、第１の撮像信号I1を転送したものであり、第２の演算バッファのデータBc2は、第２の撮像信号I2を転送したものであるため、視差評価値R4(i)(k)は、第１の撮像信号I1と対応する第２の撮像信号I2とがどれだけ相関があるかを示す。

図１７のように、視差評価値R4(i)(k)はずらし量ｋの値によって変化し、ずらし量ｋ＝Δ4(i)のとき極小値を持つ。第１の演算バッファのデータBc1のｉ番目のブロックB4(i)のデータは、第１の演算バッファのデータBc1のｉ番目のブロックB4(i)をｘ方向にｋだけ移動した領域に存在する第２の演算バッファBc2のデータと最も相関がある（最も似ている）ことを示す。したがって、ブロックB4(i)についての第１の演算バッファのデータBc1と第２の演算バッファのデータBc2とのｘ方向の視差がΔ4(i)であることが分かる。ここで、このΔ4(i)をブロックB4(i)の視差値Δ4(i)と呼ぶ。このように、ｉ＝０、１、２、・・・、６３までブロックB4(i)の視差値Δ4(i)を求める。

次に、ブロックB4(i)の視差値Δ4(i)の信頼度を演算する。図３８は、本発明の実施の形態２に係る撮像装置において、第１の撮像信号と第４の撮像信号を利用したときの４ｘ４画素の視差演算における４ｘ４画素の視差評価値の信頼度の演算領域を説明する図である。B４(i)で示される（Bc1としても示されている）領域は、図１５におけるｉ番目の４ｘ４画素のブロックである。Bc2で示される領域は、Biをｘ方向にΔ4(i)だけ移動した領域である。そして、下記（数２４）のように、それぞれの領域のデータBc1(x,y)、Bc2(x+Δ4(i),y+Δ4(i))について、正規化相関係数を4x4画素のブロックB4(i)の信頼度E4(i)とする。次に、ステップＳ２３３５を実行する。

ステップＳ２３３５において、８ｘ８画素の視差演算を実行する。図１９のように、第１の演算バッファBc1をｘ方向に８画素、ｙ方向に８画素の大きさブロックに分割する。すなわち、ｘ方向に４個、ｙ方向に４個のブロックに分割する。

そして、各ブロック（B8(0)、B8(1)、B8(2)、・・・、B8(15)）毎に、８ｘ８画素の視差評価値R8(0)(k)、R8(1)(k)、R8(2)(k)、・・・、R8(15)(k)、を演算する。ここで、ｋは画像をどれだけずらすかを示すずらし量であり、k=0、1、2、・・・、SBのように変化させる。下記（数２５）のように、４ｘ４画素の視差評価値R4(0)(k)、R4(1)(k)、R4(2)(k)、・・・、R4(63)(k)を利用し、８ｘ８画素の視差評価値R8(0)(k)、R8(1)(k)、R8(2)(k)、・・・、R8(15)(k)を演算する。（数２３）と同様に、誤差絶対値総和（SAD）を演算してもと同一の結果となるが、（数２５）のように、８ｘ８画素のブロックに含まれる４つの４ｘ４画素のブロックの誤差絶対値総和の和を利用すると、その分だけ演算量を減少できるため、低コストな回路での動作が可能となる。

次に、８ｘ８画素のｉ番目のブロックB8(i)の視差量Δ8(i)を求める。４ｘ４画素のｉ番目のブロックB4(i)の視差量Δ4(i)を求めたときと同様に、視差評価値R8(i)(k)の極小値を与えるｋを視差量Δ8(i)とする。

次に、ブロックB8(i)の視差値Δ8(i)の信頼度を演算する。４ｘ４画素のｉ晩目のブロックB4(i)の信頼度E4(i)を求めたときと同様に、下記（数２６）のように、それぞれの領域のデータBc1(x,y)、Bc2(x+Δ8(i),y+Δ8(i))の正規化相関係数を８ｘ８画素のブロックB8(i)の信頼度E8(i)とする。次に、ステップＳ２３４０を実行する。

ステップＳ２３４０において、１６ｘ１６画素の視差演算を実行する。まず、図２０のように、第１の演算バッファBc1をｘ方向に１６画素、ｙ方向に１６画素の大きさブロックに分割する。すなわち、ｘ方向に２個、ｙ方向に２個のブロックに分割する。

そして、各ブロック（B16(0)、B16(1)、B16(2)、B16(3)）毎に、１６ｘ１６画素の視差評価値R16(0)(k)、R16(1)(k)、R16(2)(k)、R16(3)(k)、を演算する。ここで、ｋは画像をどれだけずらすかを示すずらし量であり、k=0、1、2、・・・、SBのように変化させる。下記（数２６）のように、８ｘ８画素の視差評価値R8(0)(k)、R8(1)(k)、R8(2)(k)、・・・、R8(15)(k)を利用し、１６ｘ１６画素の視差評価値R16(0)(k)、R16(1)(k)、R16(2)(k)、R16(3)(k)を演算する。（数２３）と同様に、誤差絶対値総和（SAD）を演算してもと同一の結果となるが、（数２７）のように、１６ｘ１６画素のブロックに含まれる４つの８ｘ８画素のブロックの誤差絶対値総和の和を利用すると、その分だけ演算量を減少できるため、低コストな回路での動作が可能となる。

次に、１６ｘ１６画素のｉ番目のブロックB16(i)の視差量Δ16(i)を求める。４ｘ４画素のｉ番目のブロックB4(i)の視差量Δ4(i)を求めたときと同様に、視差評価値R16(i)(k)の極小値を与えるｋを視差量Δ16(i)とする。

次に、ブロックB16(i)の視差値Δ16(i)の信頼度を演算する。４ｘ４画素のｉ晩目のブロックB4(i)の信頼度E4(i)を求めたときと同様に、下記（数２７）のように、それぞれの領域のデータBc1(x,y)、Bc2(x+Δ16(i),y+Δ16(i))の正規化相関係数を１６ｘ１６画素のブロックB16(i)の信頼度E16(i)とする。次に、ステップＳ２３４５を実行する。

ステップＳ２３４５において、３２ｘ３２画素の視差演算を実行する。まず、図２１のように、第１の演算バッファBc1をｘ方向に３２画素、ｙ方向に３２画素の大きさブロックとする。すなわち、分割を行わない。

そして、ブロックB32(0)の３２ｘ３２画素の視差評価値R32(0)(k)を演算する。ここで、ｋは画像をどれだけずらすかを示すずらし量であり、k=0、1、2、・・・、SBのように変化させる。下記（数２８）のように、１６ｘ１６画素の視差評価値R16(0)(k)、R16(1)(k)、R16(2)(k)、R16(3)(k)を利用し、３２ｘ３２画素の視差評価値R32(0)(k)を演算する。（数２３）と同様に、誤差絶対値総和（SAD）を演算してもと同一の結果となるが、（数２９）のように、３２ｘ３２画素のブロックに含まれる４つの１６ｘ１６画素のブロックの誤差絶対値総和の和を利用すると、その分だけ演算量を減少できるため、低コストな回路での動作が可能となる。

次に、３２ｘ３２画素のブロックB32(0)の視差量Δ32(0)を求める。４ｘ４画素のｉ番目のブロックB4(i)の視差量Δ4(i)を求めたときと同様に、視差評価値R32(0)(k)の極小値を与えるｋを視差量Δ32(0)とする。

次に、ブロックB32(0)の視差値Δ32(0)の信頼度を演算する。４ｘ４画素のｉ晩目のブロックB4(i)の信頼度E4(i)を求めたときと同様に、下記（数３０）のように、それぞれの領域のデータBc1(x,y)、Bc2(x-Δ32(0),y)の正規化相関係数を３２ｘ３２画素のブロックB32(0)の信頼度E32(0)とする。次に、ステップＳ２３５０を実行する。

ステップＳ１３５０において、信頼度に基づき視差を決定する。図１５におけるｉ番目の４ｘ４画素のブロックB4(i)を含む全てのブロック（B4(i), B8(i), B16(i), B32(0)）の信頼度E4(i)、E8(i)、E16(i)、E32(0)のうち最大値を与えるものの視差（Δ4(i)、Δ8(i)、Δ16(i)、Δ32(i)のうち対応するもの）を、このブロックの最終的な視差Δf4(1,4)(ibx,iby)(i)とし、保存する。ここで、(ibx,iby)は図３５の各ブロックの下段に示される座標である。また、このときの最大値を与えた信頼度（E4(i)、E8(i)、E16(i)、E32(0)のうち対応するもの）をこのブロックの最終的な信頼度Ef4(1,4)(ibx,iby)(i)として、保存する。このようにして、第１の撮像信号と第４の撮像信号とを利用した視差演算において、ブロックインデックスｉｂで示される３２ｘ３２画素のブロックについて、４ｘ４画素の分解能で視差量Δf4(1,4)(ibx,iby)(i)とその信頼度Ef4(1,4)(ibx,iby)(i)とが求められた。次に、ステップＳ２３５５を実行する。

ステップＳ２３５５において、ブロックインデックスｉｂに１を加える。次に、ステップＳ２３６０を実行する。

ステップＳ２３６０において、第１の撮像信号と第４の撮像信号とを利用した視差演算を終了するかどうかを判断する。ブロックインデックスｉｂがNh*Nv未満のとき、次のブロックの視差を演算するために、次に、ステップＳ２３２０を実行する。一方、ブロックインデックスｉｂがNh*Nv以上のとき、全てのブロックの視差を演算したと判断し、次に、ステップＳ２３６５を実行する。

ステップＳ２３６５において、第１の撮像信号と第４の撮像信号とを利用した視差演算を終了し、上位ルーチンへ戻る。このようにして、第１の撮像信号と第２の撮像信号とを利用した視差演算において、ブロックインデックスｉｂで示される３２ｘ３２画素のブロックについて、４ｘ４画素の分解能で視差量Δf4(1,4)(ibx,iby)(i)とその信頼度Ef4(1,4)(ibx,iby)(i)とが求められた。ここで、(1,4)は第１の撮像信号と第４の撮像信号とを利用していることを示し、(ibx,iyb)は図３５の各ブロックの下段に示される座標であり（ｉｂｘは０からＮｈ−１まで変化し、ｉｂｙは０からＮｖ−１まで変化する）、ｉは３２ｘ３２画素のうちの４ｘ４画素のブロックを示す（ｉは、０〜６３まで変化する）。次に、図３３のステップＳ２２３０を実行する。

ステップＳ２２３０において、第２の撮像信号と第３の撮像信号とを利用した視差演算を実行する。図３９は、本発明の実施の形態２に係る撮像装置の第２の撮像信号と第３の撮像信号とを利用した視差演算の動作を示すフローチャートである。図３９フローチャートは、ステップＳ２２３０の動作の詳細を示す。ステップＳ２２３０の演算では、まず、ステップＳ２４１０を実行する。

ステップＳ２４１０において、第２の撮像信号と第３の撮像信号とを利用した視差演算の動作を開始する。次に、ステップＳ２４１５を実行する。

ステップＳ２４１５において、ブロックインデックスｉｂに０に初期化する。次に、ステップＳ２４２０を実行する。

ステップＳ２４２０において、ブロックを選択する。第２の撮像信号のブロック分割は、ステップＳ２３２０の第１の撮像信号のブロック分割と同様であり、説明を省略する。図４０は、本発明の実施の形態２に係る撮像装置の第２の撮像信号と第３の撮像信号とを利用した視差演算における第３の撮像信号の分割ブロックと演算順番を説明する図である。図４０において、第３の撮像信号Ｉ３は、図４０（ｂ）のような(HB+SB)*(VB+SB)-SB*SB画素のブロックに分割され、ｘ方向にＨＢ画素、ｙ方向にＶＢ画素ずれて配置され、ｘ方向にＮｈ個、ｙ方向にＮｖ個のブロックを持つ。また、図４０において、図４０（ｂ）のようなブロックを取れないブロック（例えば、左上や右下や左下のブロック）は、適宜取れない部分が削除される（例えば、左上のブロックはＨＢ＊ＶＢの長方形状のブロックとなる）。なお、実施の形態２では、以下、ＨＢ＝３２、ＶＢ＝３２の例を示す。

図３５、および図４０において、各ブロックの上段に記述された数字はブロックインデックスｉｂを示す。また、図３５、および図４０おいて、各ブロックの下段に記述された座標（ｉｂｘ、ｉｂｙ）は、各ブロックがｘ方向にｉｂｘ番目、ｙ方向にｉｂｙ番目のブロックであることを示す。ここで、ｉｂｘは０からＮｈ−１まで、ｉｂｙは０からＶｈ−１まで存在する。ステップＳ２３２０において、図３５、および図４０において、ブロックインデックスｉｂで示されるブロック（座標（ｉｂｘ、ｉｂｙ）で示されるブロック）が選択される。次に、ステップＳ２４２５を実行する。

ステップＳ２４２５において、撮像信号を転送する。ステップＳ２４２０において、選択されたブロックの第２の撮像信号I2を第１の演算バッファBc1に転送する。演算バッファの座標(x,y)における値をBc1(x,y)とする。ここで、HB=32、VB=32であるため、x=0〜31、y=0〜31である。ステップＳ２４２０において、選択されたブロックの第３の撮像信号I2を第２の演算バッファBc2に転送する。演算バッファの座標(x,y)における値をBc2(x,y)とする。ここで、HB=32、VB=32であるため、x=31-SB〜31、y=0〜31+SBである。例えば、ｉｂ＝ｉｂｔのとき、第１の演算バッファBc1には、座標(H1-1,0)と座標(H1-32,31)とで囲まれる1024画素の撮像信号I1が転送され、第２の演算バッファBc2には、図４０において右斜上となる斜線が描かれた座標(H1-10,0)と座標(H1-32-SB,31+SB)とで囲まれる(1024+2*32*SB)画素の撮像信号I3が転送される。次に、ｉｂ＝ｉｂｔ＋１のとき、第１の演算バッファBc1には、座標(H1-33,32)と座標(H1-64,63)とで囲まれる1024画素の撮像信号I1が転送され、第２の演算バッファBc2には、図４０において右斜上となる斜線が描かれた座標(H1-33,32)と座標(H1-64-SB,63+SB)とで囲まれる(1024+2*32*SB)画素の撮像信号I3が必要だが、ｉｂ＝ｉｂｔと重なる部分（座標(H1-33,32)と座標(H1-32-SB,31+SB)で囲まれる2*32*SB画素の領域）はすでに第２の演算バッファBc2に転送されているため、新たに座標(H1-33-SB,31+SB)と座標(H1-64-SB,63+SB)とで囲まれる2048画素のみを転送すればよい。次に、ステップＳ２４３０を実行する。

ステップＳ２４３０において、４ｘ４画素の視差演算を実行する。まず、ステップＳ１３３０と同様に、図１５のように、第１の演算バッファBc1をｘ方向に４画素、ｙ方向に４画素の大きさブロックに分割する。すなわち、ｘ方向に８個、ｙ方向に８個のブロックに分割する。

そして、各ブロック（B4(0)、B4(1)、B4(2)、・・・、B4(63)）毎に、４ｘ４画素の視差評価値R4(0)(k)、R4(1)(k)、R4(2)(k)、・・・、R4(63)(k)、を演算する。ここで、ｋは画像をどれだけずらすかを示すずらし量であり、k=0、1、2、・・・、SBのように変化させる。図４１は、本発明の実施の形態２に係る撮像装置において、第２の撮像信号と第３の撮像信号を利用したときの４ｘ４画素の視差演算における４ｘ４画素の視差評価値の演算領域を説明する図である。図４１のように、ｉ番目のブロックB4(i)（Bc1で示される領域）は、第１の演算バッファの４ｘ４画素の大きさに分割されたｉ番目のブロックである。Bc2で示される領域は、図４１においてBc1で示されるブロックからｙ方向にずらし量ｋだけ移動した領域である。そして、ずらし量k=0からSBについて、下記（数３１）に示される絶対値差分総和(SAD)を演算し、ｉ番目のブロックB4(i)の視差評価値R4(i)(k)とする。

この視差評価値R4(i)(k)は、ｉ番目のブロックB4(i)の第１の演算バッファのデータBc1と、ｙ方向にｋだけ離れた領域における第２の演算バッファBc2がどれだけ相関があるかを示し、値が小さいほど相関が大きい（よく似ている）ことを示す。ここで、第１の演算バッファのデータBc1は、第２の撮像信号I2を転送したものであり、第２の演算バッファのデータBc2は、第３の撮像信号I3を転送したものであるため、視差評価値R4(i)(k)は、第２の撮像信号I2と対応する第３の撮像信号I3とがどれだけ相関があるかを示す。

そして、Ｓ２３３０と同様に、視差評価値R4(i)(k)はずらし量ｋの値によって変化し、ずらし量ｋ＝Δ4(i)のとき極小値を持つ。第１の演算バッファのデータBc1のｉ番目のブロックB4(i)のデータは、第１の演算バッファのデータBc1のｉ番目のブロックB4(i)をｘ方向、ｙ方向にｋだけ移動した領域に存在する第２の演算バッファBc2のデータと最も相関がある（最も似ている）ことを示す。したがって、ブロックB4(i)についての第１の演算バッファのデータBc1と第２の演算バッファのデータBc2とのｘ方向の視差がΔ4(i)であることが分かる。ここで、このΔ4(i)をブロックB4(i)の視差値Δ4(i)と呼ぶ。このように、ｉ＝０、１、２、・・・、６３までブロックB4(i)の視差値Δ4(i)を求める。

次に、ブロックB4(i)の視差値Δ4(i)の信頼度を演算する。図４２は、本発明の実施の形態２に係る撮像装置において、第２の撮像信号と第３の撮像信号を利用したときの４ｘ４画素の視差演算における４ｘ４画素の視差評価値の信頼度の演算領域を説明する図である。B４(i)で示される（Bc1としても示されている）領域は、図１５におけるｉ番目の４ｘ４画素のブロックである。Bc2で示される領域は、Biをｘ方向、ｙ方向にΔ4(i)だけ移動した領域である。そして、下記（数３２）のように、それぞれの領域のデータBc1(x,y)、Bc2(x-Δ4(i),y+Δ4(i))について、正規化相関係数を4x4画素のブロックB4(i)の信頼度E4(i)とする。次に、ステップＳ２４３５を実行する。

ステップＳ２４３５において、８ｘ８画素の視差演算を実行する。このステップは、ステップＳ２３３５と同様に、視差量Δ8(i)を求める。そして、下記（数３３）のように、それぞれの領域のデータBc1(x,y)、Bc2(x-Δ8(i),y+Δ8(i))の正規化相関係数を８ｘ８画素のブロックB8(i)の信頼度E8(i)とする。次に、ステップ２４４０を実行する。

ステップＳ２４４０において、１６ｘ１６画素の視差演算を実行する。このステップは、ステップＳ２３４０と同様に、視差量Δ16(i)を求める。そして、下記（数３４）のように、それぞれの領域のデータBc1(x,y)、Bc2(x-Δ16(i),y+Δ16(i))の正規化相関係数を１６ｘ１６画素のブロックB16(i)の信頼度E16(i)とする。次に、ステップＳ２４４５を実行する。

ステップＳ２４４５において、３２ｘ３２画素の視差演算を実行する。このステップは、ステップＳ２３４５と同様に、視差量Δ32(0)を求める。そして、下記（数３５）のように、それぞれの領域のデータBc1(x,y)、Bc2(x-Δ32(0),y+Δ32(0))の正規化相関係数を３２ｘ３２画素のブロックB32(0)の信頼度E32(0)とする。次に、ステップＳ２４５０を実行する。

ステップＳ２４５０において、信頼度に基づき視差を決定する。図１５におけるｉ番目の４ｘ４画素のブロックB4(i)を含む全てのブロック（B4(i), B8(i), B16(i), B32(0)）の信頼度E4(i)、E8(i)、E16(i)、E32(0)のうち最大値を与えるものの視差（Δ4(i)、Δ8(i)、Δ16(i)、Δ32(i)のうち対応するもの）を、このブロックの最終的な視差Δf4(2,3)(ibｘ、iby)(i)とし、保存する。ここで、(ibx,iby)は、図４０の各ブロックの下段に示された座標である。また、このときの最大値を与えた信頼度（E4(i)、E8(i)、E16(i)、E32(0)のうち対応するもの）をこのブロックの最終的な信頼度Ef4(2,3)(ibx,iby)(i)として、保存する。このようにして、第２の撮像信号と第３の撮像信号とを利用した視差演算において、座標(ibx,iby)で示される３２ｘ３２画素のブロックについて、４ｘ４画素の分解能で視差量Δf4(2,3)(ibx,iby)(i)とその信頼度Ef4(2,3)(ibx,iby)(i)とが求められた。次に、ステップＳ２４５５を実行する。

ステップＳ２４５５において、ブロックインデックスｉｂに１を加える。次に、ステップＳ２４６０を実行する。

ステップＳ２４６０において、第２の撮像信号と第３の撮像信号とを利用した視差演算を終了するかどうかを判断する。ブロックインデックスｉｂがNh*Nv未満のとき、次のブロックの視差を演算するために、次に、ステップＳ１４２０を実行する。一方、ブロックインデックスｉｂがNh*Nv以上のとき、全てのブロックの視差を演算したと判断し、次に、ステップＳ２４６５を実行する。

ステップＳ２４６５において、第２の撮像信号と第３の撮像信号とを利用した視差演算を終了し、上位ルーチンへ戻る。このようにして、第２の撮像信号と第３の撮像信号とを利用した視差演算において、図４０の下段に示された座標(ibx,iby)で示される３２ｘ３２画素のブロックについて、４ｘ４画素の分解能で視差量Δf4(2,3)(ibx,iby)(i)とその信頼度Ef4(2,3)(ibx,iby)(i)とが求められた。ここで、(2,3)は第２の撮像信号と第３の撮像信号とを利用していることを示し、(ibx,iby)は図４０の下段に示された座標であり（ｉｂｘは０からＮｈ−１まで変化し、ｉｂｙはＮｖ−１まで変化する）、ｉは３２ｘ３２画素のうちの４ｘ４画素のブロックを示す（ｉは、０〜６３まで変化する）。次に、図１１のステップＳ２２６０を実行する。

ステップＳ２２６０において、視差を選択する。それぞれのブロックに対し、信頼度E(1,4)(ibx,iby)(i)、およびE(2,3)(ibx,iby)(i)を比較し、最大の信頼度を与える視差をそのブロックでの視差Δ(ibx,iby)(i)とする。次に、ステップＳ２２７０を実行する。

ステップＳ２２７０において、視差演算を終了し、上位ルーチンへ戻る。このようにして、各ブロックにおける視差Δ(ibx,iby)(i)が求められた。ここで、図４０のように、(ibx,iby)は各ブロックの下段に示された座標であり、ｉｂｘは０からＮｈ−１まで変化し、ｉｂｙは０からＮｖ−１まで変化する。また、ｉは３２ｘ３２画素のうちの４ｘ４画素のブロックを示し、図１５のように、０〜６３まで変化する。次に、ステップＳ１８００を実行する。

ステップＳ１８００において、実施の形態１と同様であり、説明を省略する。次に、ステップＳ２９００を実行する。

ステップＳ２９００において、演算動作を終了し、上位ルーチンへ戻る。次に、ステップＳ１９１０を実行する。

以上のように構成し、動作させることにより、以下の効果を有する。

一組のレンズ部に対応した撮像信号において、それぞれの撮像信号の光軸中心を結ぶ直線に平行な意匠は、それぞれの撮像信号において同一形状となり視差を求めることができない。実施の形態２の撮像装置によれば、２つの組（第１の撮像信号I1と第４の撮像信号I4、および第２の撮像信号I2と第３の撮像信号I3）を選択し、それぞれの組に対しそれぞれの視差(Δ4f(1,4)(ibx,iby)(i)、およびΔ4(2,3)(ibx,iyb)(i))を演算する。このことにより、片方の組で正しく視差を求められない意匠であっても、他方の組で正しく視差を求めることができ、その視差に基づき距離を計測できる。例えば、右斜下の線状の意匠は、第１の撮像信号I1と第４の撮像信号I2の組からは計測できないが、第２の撮像信号I2と第３の撮像信号I3の組では、計測可能である。すなわち、多様な被写体で距離計測できる。

また、実施の形態２の撮像装置によれば、ステップＳ２２２０において、複数の前記視差の信頼度(E(1,4)(ibx,iby)(i)、およびE(2,3)(ibx,iby)(i))をそれぞれ演算し、それぞれのブロック（(ibx,iby)とｉとで示される）毎に、それぞれの視差(Δ4f(1,4)(ibx,iby)(i)、およびΔ4(2,3)(ibx,iby)(i))のうち信頼度が最も大きい視差Δ(ibx,iby)(i)に基づき距離を演算する。このことにより、信頼性が高い視差Δ(ibx,iby)(i)に基づき視差演算するため、信頼性が高い距離計測を可能とする。また、全ての組の視差(Δ4f(1,4)(ibx,iby)(i)、およびΔ4(2,3)(ibx,iby)(i))において距離演算を行わず、信頼性が高い視差(Δ(ibx,iby)(i))のみの距離演算を行うため、高速な距離計測を可能とする。

例えば、画像中に右斜上の線状の意匠と右斜下の線状に意匠とが混在する場合、上述のように、ブロック毎に信頼度が最も大きい視差Δ(ibx,iby)(i)を用いることにより、右斜上の線状の意匠のみが含まれるブロックでは右斜下に並べられた組（第１の撮像信号I1と第４の撮像信号I4）から求められた視差を用いて、右斜下の線状の意匠のみが含まれるブロックでは右斜上に並べられた組（第２の撮像信号I2と第３の撮像信号I3）から求められた視差を用いて、距離を演算することにより、多様な被写体で距離計測できる。

また、実施の形態２の撮像装置によれば、温度センサ１２６により周囲温度を示す計測温度を計測し、温度センサ信号Thとして入力し、ステップＳ１８２０において（数１９）のように、温度変化によるレンズの変形の影響を、視差からTh*Th1-Th2を減ずることにより補償し、補償された視差を用いて距離を演算する。このことにより、温度変化によってレンズが変形しても、正しい距離計測ができる。

また、実施の形態２の撮像装置によれば、ステップＳ１８３０において（数２０）のように、ブロック毎のレンズ部の歪曲の影響を示す歪曲補正係数kcb(ibx,iby)(i)を用いて視差を補償し、補償された視差を用いて距離を演算する。このことにより、レンズに歪曲があっても、正しい距離計測ができる。

また、実施の形態２の撮像装置によれば、ステップＳ２２２０における第１の撮像信号I1と第４の撮像信号I4による視差演算では、ブロック毎に視差演算するにあたり、右斜下の方向に順に演算を行う。このため、第２の演算バッファBc2への転送の際、ブロックインデックスｉｂ＝ｉｂｔ＋１のとき、図３６の右斜上の斜線と右斜下の斜線とが重なる部分は、すでに第２の演算バッファBc2に転送されているため、転送を省略でき、高速に視差演算できる。すなわち、高速に距離計測できる。また、ステップＳ１２３０における第２の撮像信号I2と第３の撮像信号I3による視差演算では、ブロック毎に視差演算するにあたり、左斜下の方向に順に演算を行う。このため、第２の演算バッファBc2への転送の際、ブロックインデックスｉｂ＝ｉｂｔ＋１のとき、図４０の右斜上の斜線と右斜下の斜線とが重なる部分は、すでに第２の演算バッファBc2に転送されているため、転送を省略でき、高速に視差演算できる。すなわち、高速に距離計測できる。

また、実施の形態２の撮像装置によれば、４ｘ４画素のブロック毎に演算された視差評価値R4(i)(k)を用いて８ｘ８画素のブロック毎の視差評価値R8(i)(k)を演算し、８ｘ８画素のブロック毎の視差評価値R8(i)(k)を用いて１６ｘ１６画素のブロック毎の視差評価値R16(i)(k)を演算し、１６ｘ１６画素のブロック毎の視差評価値R16(i)(k)を用いてR32(0)(k)を演算する。このことにより、結合したブロック（結合ブロック）で独自に視差評価値（結合視差評価値）を演算するときと比較し、結合したブロック（結合ブロック）での視差評価値（結合視差評価値）の演算量を減少でき、高速に視差演算できるため、高速に距離演算できる。

また、実施の形態２の撮像装置によれば、ステップＳ２３３０、およびステップＳ２４３０において４ｘ４画素の各ブロックの視差Δ4(i)の信頼度E4(i)を演算し、ステップＳ２３３５、およびステップＳ２４３５において８ｘ８画素の各ブロックの視差Δ8(i)の信頼度E8(i)を演算し、ステップＳ２３４０、およびステップＳ２４４０において１６ｘ１６画素の各ブロックの視差Δ16(i)の信頼度E16(i)を演算し、ステップＳ２３４５、およびステップＳ２４４５において３２ｘ３２画素のブロックの視差Δ32(0)の信頼度E32(0)を演算し、ステップＳ２３５０、およびステップＳ２４５０において最も信頼度が大きいものを最終的な視差Δ4f(i)とし、この視差Δ4f(i)に基づき得られた視差Δ(ibx,iby)(i)を用いて、距離演算を行う。そのため、信頼性が高い視差に基づき視差演算をするため、信頼性が高い距離計測を可能とする。また、信頼性が高い視差のみの距離演算を行うため、高速な距離計測を可能とする。

（実施の形態３）
本発明の実施の形態１、および実施の形態２に係る撮像装置は、撮像素子１２３上にカラーフィルタが配置されないいわゆる白黒の撮像素子であった。実施の形態３に係る撮像装置は、撮像素子１２３上にカラーフィルタがベイヤー配列に配置されたものである。

以下、本発明の実施の形態３に係る撮像装置について、図面を参照しながら説明する。

図４３は、本発明の実施の形態３に係る撮像装置の構成を示す断面図である。図４３において、撮像装置撮像装置３０１は、レンズモジュール部１１０、および回路部３２０を有する。

レンズモジュール部１１０は、実施の形態１と同様であり、説明を省略する。回路部１２０は、基板１２１、パッケージ１２２、撮像素子１２３、パッケージカバーガラス１２４、システムＬＳＩ（以下、ＳＬＳＩと記す）１２５、および温度センサ１２６を有する。

基板１２１、およびパッケージ１２２は、実施の形態１と同様であり、説明を省略する。

撮像素子３２３の各端子は、ベイヤー配列のカラーフィルタが配置され、パッケージ１２２の内側の底部の金属端子にワイヤーボンディングにより金線１２７で接続され、基板１２１を介して、ＳＬＳＩ３２５と電気的に接続される。撮像素子３２３受光面に、第１のレンズ部１１３ａ、第２のレンズ部１１３ｂ、第３のレンズ部１１３ｃ、および第４のレンズ部１１３ｄから射出された光がそれぞれ結像し、フォトダイオードにより光の情報から変換された電気の情報が、ＳＬＳＩ３２５に出力される。

パッケージカバーガラス１２４は、実施の形態１と同様であり、説明を省略する。

ＳＬＳＩ３２５は、後述の方法で、撮像素子１２３を駆動し、撮像素子１２３からの電気情報を入力し、各種演算を行い、上位ＣＰＵと通信を行い、外部に画像情報や距離情報などを出力する。なお、ＳＬＳＩ１２５は、電源（例えば３．３Ｖ）とグランド（例えば、０Ｖ）に接続される。

温度センサ１２６は、実施の形態１と同様であり、説明を省略する。

次に、本発明の実施の形態３に係る撮像装置の動作を説明する。図４４は、本発明の実施の形態３に係る撮像装置のブロック図である。ＳＬＳＩ３２５は、システム制御部３３１、撮像素子駆動部１３２、撮像信号入力部１３３、前処理部３３４、入力バッファ３３５、演算部３３６、出力バッファ３３７、入出力部１３８、および温度センサ信号入力部１３９を有する。入力バッファ３３５は、第１の緑用入力バッファ３３５ａｇ、第２の緑用入力バッファ３３５ｂｇ、第３の緑用入力バッファ３３５ｃｇ、第４の緑用入力バッファ３３５ｄｇ、第１の赤用入力バッファ３３５ａｒ、第２の赤用入力バッファ３３５ｂｒ、第３の赤用入力バッファ３３５ｃｒ、第４の赤用入力バッファ３３５ｄｒ、第１の青用入力バッファ３３５ａｂ、第２の青用入力バッファ３３５ｂｂ、第３の青用入力バッファ３３５ｃｂ、および第４の入力バッファ３３５ｄｂを有する。演算部３３６は、演算部バッファ３４１、視差演算部３４２、および距離演算部１４３を有する。演算部バッファ３４１は、第１の演算部バッファ３４１ａ、および第２の演算部バッファ３４１ｂを有する。出力バッファ３３７は、第１の出力バッファ３３７ａ、および第２の出力バッファ３３７ｂを有する。

システム制御部３３１は、ＣＰＵ（中央演算処理装置：Central Processing Unit）、ロジック回路などから構成され、ＳＬＳＩ３２５の全体を制御する。

撮像素子駆動部１３２、および撮像信号入力部１３３は、実施の形態１と同様であり、説明を省略する。図４５は、本発明の実施の形態３に係る撮像装置の撮像信号の色を説明する図である。撮像信号I0は、ｘ方向にＨ０画素、ｙ方向にＶ０画素のデータである。撮像信号I0において、Ｇで示される画素（(0,0)、(2,0)、・・・、（H0-4,0）、(H0-2,0)、(1,1)、(3,1)、・・・、(H0-3,1)、（H0-1,1）、・・・、(0,V0-2)、(2,V0-2)、・・・、(H0-4,V0-2)、(1,V0-1)、(3,V0-1)、・・・、(H0-3,V0-1)、(H0-1,V0-1)）に対応する撮像素子３２３上の画素には主に緑色光を透過するカラーフィルタが配置され、Ｒで示される画素（(0,1)、(2,1)、・・・、（H0-4,1）、(H0-2,1)、(0,3)、(2,3)、・・・、（H0-4,3）、(H0-2,3)、・・・、(0,V0-3)、(2,V0-3)、・・・、(H0-4,V0-3)、(H0-2,V0-3)、(0,V0-1)、(2,V0-1)、・・・、(H0-4,V0-1)、(H0-2,V0-1)）に対応する撮像素子３２３上の画素には主に赤色光を透過するカラーフィルタが配置され、Ｂで示される画素（(1,0)、(3,0)、・・・、（H0-3,0）、(H0-1,0)、(1,2)、(3,2)、・・・、（H0-3,2）、(H0-1,2)、・・・、(1,V0-4)、(3,V0-4)、・・・、(H0-3,V0-4)、(H0-1,V0-4)、(1,V0-2)、(3,V0-2)、・・・、(H0-3,V0-2)、(H0-1,V0-2)）に対応する撮像素子３２３上の画素には主に青色光を透過するカラーフィルタが配置されている。

前処理部１３４は、ロジック回路などから構成され、撮像信号I0から画像を切り出し、強度補正処理を行い、第１の緑用撮像信号I1g、第２の緑用撮像信号I2g、第３の緑用撮像信号I3g、第４の緑用撮像信号I4g、第１の赤用撮像信号I1r、第２の赤用撮像信号I2r、第３の赤用撮像信号I3r、第４の赤用撮像信号I4r、第１の青用撮像信号I1b、第２の青用撮像信号I2b、第３の青用撮像信号I3b、および第４の青用撮像信号I4bを作成し、順次、入力バッファ３３５に転送する。第１の緑用撮像信号I1g、第２の緑用撮像信号I2g、第３の緑用撮像信号I3g、および第４の緑撮像信号I4gは、それぞれ第１のレンズ部１１３ａ、第２のレンズ部１１３ｂ、第３のレンズ部１１３ｃ、および第４のレンズ部１１４ｄによって結像された被写体像によって得られたもので、主に緑色光成分を示すものである。また、第１の赤用撮像信号I1r、第２の撮像信号I2r、第３の撮像信号I3r、および第４の撮像信号I4rは、それぞれ第１のレンズ部１１３ａ、第２のレンズ部１１３ｂ、第３のレンズ部１１３ｃ、および第４のレンズ部１１４ｄによって結像された被写体像によって得られたもので、主に赤色光成分を示すものである。また、第１の青用撮像信号I1b、第２の青用撮像信号I2b、第３の青用撮像信号I3b、および第４の青用撮像信号I4bは、それぞれ第１のレンズ部１１３ａ、第２のレンズ部１１３ｂ、第３のレンズ部１１３ｃ、および第４のレンズ部１１４ｄによって結像された被写体像によって得られたもので、主に青色光成分を示すものである。

まず、実施の形態１と同様に画像を切り出し、それぞれ第１のレンズ部１１３ａ、第２のレンズ部１１３ｂ、第３のレンズ部１１３ｃ、および第４のレンズ部１１４ｄによって結像された被写体像によって得られた第１の撮像信号I1、第２の撮像信号I2、第３の撮像信号I3、および第４の撮像信号I4を作成する。図８、および（数２）のように、撮像信号I0を原点(x01,y01)、ｘ方向にH1画素、ｙ方向にV1画素だけ切り出し、第１の強度補正係数ks1で補正したものを第１の撮像信号I1とする。また、図８、および（数３）のように、撮像信号I0を原点(x02,y02)、ｘ方向にH1画素、ｙ方向にV1画素だけ切り出し、第２の強度補正係数ks2で補正したものを第２の撮像信号I2とする。また、図８、および（数４）のように、撮像信号I0を原点(x03,y03)、ｘ方向にH1画素、ｙ方向にV1画素だけ切り出し、第３の強度補正係数ks3で補正したものを第３の撮像信号I3とする。また、図８、および（数５）のように、撮像信号I0を原点(x04,y04)、ｘ方向にH1画素、ｙ方向にV1画素だけ切り出し、第４の強度補正係数ks4で補正したものを第４の撮像信号I4とする。また、レンズの光軸のずれなどを校正するために、適宜、座標変換を行ってもよい。図４６は、本発明の実施の形態３に係る撮像装置の第１の撮像信号の色を説明する図である。なお、撮像信号I0と同様の色配置になるように（例えば、(0,0)がG、(1,0)がB、(0,1)がR、(1,1)がGの配置になるように）、第１の撮像信号I1、第２の撮像信号I2、第３の撮像信号I3、および第４の撮像信号I4が作成される。

次に、それぞれの色成分を作成する。座標(x,y)において、ｘが偶数、ｙが偶数のとき、下記（数３６）のように、第１の撮像信号I1(x,y)を第１の緑用撮像信号I1g(x,y)とし、ｙ方向に近接する２つの第１の撮像信号I1(x,y-1)、I1(x,y+1)の加算平均を第１の赤用撮像信号I1r(x,y)とし、ｘ方向に近接する２つの第１の撮像信号I1(x-1,y)、I1(x+1,y)の加算平均を第１の青用撮像信号I1b(x,y)とする。また、ｘが偶数、ｙが奇数のとき、下記（数３７）のように、ｘ方向、およびｙ方向に近接する４つの第１の撮像信号I1(x-1,y)、I1(x+1,y)、 I1(x,y-1)、I1(x,y+1)の加算平均を第１の緑用撮像信号とし、対角に近接する４つの第１の撮像信号I1(x-1,y-1)、I1(x+1,y-1)、I1(x-1,y+1)、I1(x+1,y+1)の加算平均を第１の赤用撮像信号I1r(x,y)とし、第１の撮像信号I1(x,y)を第１の青用撮像信号I1b(x,y)とする。また、ｘが奇数、ｙが偶数のとき、下記（数３８）のように、ｘ方向、およびｙ方向に近接する４つの第１の撮像信号I1(x-1,y)、I1(x+1,y)、 I1(x,y-1)、I1(x,y+1)の加算平均を第１の緑用撮像信号とし、第１の撮像信号I1(x,y)を第１の赤用撮像信号I1r(x,y)とし、対角に近接する４つの第１の撮像信号I1(x-1,y-1)、I1(x+1,y-1)、I1(x-1,y+1)、I1(x+1,y+1)の加算平均を第１の青用撮像信号I1b(x,y)とする。また、ｘが奇数、ｙが奇数のとき、下記（数３９）のように、第１の撮像信号I1(x,y)を第１の緑用撮像信号I1g(x,y)とし、ｘ方向に近接する２つの第１の撮像信号I1(x-1,y)、I1(x+1,y)の加算平均を第１の赤用撮像信号I1r(x,y)とし、ｙ方向に近接する２つの第１の撮像信号I1(x,y-1)、I1(x,y+1)の加算平均を第１の青用撮像信号I1b(x,y)とする。

第１の緑用入力バッファ３３５ａｇ、第２の緑用入力バッファ３３５ｂｇ、第３の緑用入力バッファ３３５ｃｇ、第４の緑用入力バッファ３３５ｄｇ、第１の赤用入力バッファ３３５ａｒ、第２の赤用入力バッファ３３５ｂｒ、第３の赤用入力バッファ３３５ｃｒ、第４の赤用入力バッファ３３５ｄｒ、第１の青用入力バッファ３３５ａｂ、第２の青用入力バッファ３３５ｂｂ、第３の青用入力バッファ３３５ｃｂ、および第４の青用入力バッファ３３５ｄｂ、それぞれＤＲＡＭなどから構成され、第１の緑用撮像信号I1g、第２の緑用撮像信号I2g、第３の緑用撮像信号I3g、第４の緑用撮像信号I4g、第１の赤用撮像信号I1r、第２の赤用撮像信号I2r、第３の赤用撮像信号I3r、第４の赤用撮像信号I4r、第１の青用撮像信号I1b、第２の青用撮像信号I2b、第３の青用撮像信号Ib、および第４の青用撮像信号I4bをそれぞれ順次読み込み、それぞれH1*V1画素（ｘ方向にH1画素、ｙ方向にV1画素）のデータを保存する。

演算部３３６は、SRAMから構成された第１の演算バッファ３４１ａ、第２の演算バッファ３４１ｂと、ロジック回路やCPUなどから構成された視差演算部３４２と、ロジック回路やCPUなどから構成された距離演算部１４３と、から構成される。演算部３３６は、第１の緑用撮像信号I1g、第２の緑用撮像信号I2g、第３の緑用撮像信号I3g、第４の緑用撮像信号I4g、第１の赤用撮像信号I1r、第２の赤用撮像信号I2r、第３の赤用撮像信号I3r、第４の赤用撮像信号I4r、第１の青用撮像信号I1b、第２の青用撮像信号I2b、第３の青用撮像信号I3b、および第４の青用撮像信号I4bをブロック単位で読み込み第１の演算バッファ３４１ａ、第２の演算バッファ３４１ｂに保存し、視差演算部３４２において第１の演算バッファ３４１ａ、および第２の演算バッファ３４１ｂのデータなどに基づき視差を演算し、距離演算部１４３において求められた視差に基づき距離を演算し、求められた距離データを出力バッファ３３７に転送する。

出力バッファ３３７は、ＤＲＡＭなどから構成され、入力バッファ３３５から転送された画像データと演算部３３６から転送された距離データを保存し、入出力部１３８に順次転送する。

入出力部１３８、および温度センサ信号入力部１３９は、実施の形態１と同様であり、説明を省略する。

図４７は、本発明の実施の形態３に係る撮像装置の動作を示すフローチャートである。ＳＬＳＩ３２５のシステム制御部３３１により、撮像装置３０１は、このフローチャートのとおりに動作される。

ステップＳ３０１０において、動作を開始する。例えば、上位ＣＰＵ（図示せず）が、入出力部１３６を介し、撮像装置３０１に動作の開始を命令することにより、撮像装置３０１は、動作を開始する。次に、ステップＳ１０２０を実行する。

ステップＳ３０２０において、撮像信号を入力する。システム制御部３３１の命令により、撮像素子駆動部１３２が電子シャッターや転送を行うための信号を随時出力する。撮像信号入力部１３３は、撮像信号I0(x,y)を、ｘ方向にH0画素、ｙ方向にV0画素を持ち、I0(0,0)（(x,y)=(0,0)）、I0(1,0)、I0(2,0)、・・・、I0(H0-1,V0-1)の順に入力し、順次、前処理部３３４に転送する。前処理部１３４は、撮像信号I0から画像を切り出し、強度補正処理、色作成を行い、第１の緑用撮像信号I1g、第２の緑用撮像信号I2g、第３の緑用撮像信号I3g、第４の緑用撮像信号I4g、第１の赤用撮像信号I1r、第２の赤用撮像信号I2r、第３の赤用撮像信号I3r、第４の赤用撮像信号I4r、第１の青用撮像信号I1b、第２の青用撮像信号I2b、第３の青用撮像信号I3b、および第４の青用撮像信号I4bを作成し、第１の緑用撮像信号I1gを、順次、第１の緑用入力バッファ３３５ａｇに転送し、第２の緑用撮像信号I2gを、順次、第２の緑用入力バッファ３３５ｂｇに転送し、、第３の緑用撮像信号I3gを、順次、第３の緑用入力バッファ３３５ｃｇに転送し、、第４の緑用撮像信号I4gを、順次、第４の緑用入力バッファ３３５ｄｇに転送し、第１の赤用撮像信号I1rを、順次、第１の赤用入力バッファ３３５ａｒに転送し、第２の赤用撮像信号I2rを、順次、第２の赤用入力バッファ３３５ｂｒに転送し、、第３の赤用撮像信号I3rを、順次、第３の赤用入力バッファ３３５ｃｒに転送し、、第４の赤用撮像信号I4rを、順次、第４の赤用入力バッファ３３５ｄｒに転送し、第１の青用撮像信号I1bを、順次、第１の青用入力バッファ３３５ａｂに転送し、第２の青用撮像信号I2bを、順次、第２の青用入力バッファ３３５ｂｂに転送し、第３の青用撮像信号I3bを、順次、第３の青用入力バッファ３３５ｃｂに転送し、および第４の緑用撮像信号I4bを、順次、第４の青用入力バッファ３３５ｄｂに転送する。次に、ステップＳ３０３０を実行する。

ステップＳ３０３０において、温度センサ信号を入力する。温度センサ信号入力部１３９は、温度センサ１２６の信号を入力し、温度センサ信号Thとしてシステム制御部１３１に出力する。次に、ステップＳ３０４０を実行する。

ステップＳ３０４０において、第１の緑用入力バッファ１３５ａｇ、第１の赤用入力バッファ１３５ａｒ、および第１の青用入力バッファ１３５ａｂに保存されている第１の緑色撮像信号I1g、第１の赤色撮像信号I1r、および第１の青色撮像信号I1bを第１の出力バッファ３３７ａに転送し、第１の出力バッファ３３７ａは、画像データ（カラー画像データ）として保存する。なお、Ｙ−ＵＶ変換を適宜行い、Ｙ成分、Ｕ成分、Ｖ成分を保存してもよい。あるいは、ＪＰＥＧなどのような圧縮した形式で保存してもよい。次に、ステップＳ３１００を実行する。

ステップＳ３１００において、距離データを作成し、順次、第２の出力バッファ３３７ｂに転送する。この動作の詳細は後述する。次に、ステップＳ３９１０を実行する。

ステップＳ３９１０において、外部にデータを出力する。入出力部１３８は、第１の出力バッファ３３７ａ上の画像データ、および第２の出力バッファ３３７ｂ上の距離データを、上位ＣＰＵ（図示せず）や外部表示装置（図示せず）に出力する。次に、Ｓ３９２０を実行する。

ステップＳ３９２０において、動作を終了するかどうかを判断する。例えば、システム制御部３３１は、入出力部１３６を介し、上位ＣＰＵ（図示せず）と通信し、動作を終了するかどうかの命令を要求する。そして、上位ＣＰＵが終了を命令すれば動作を終了し、次に、ステップＳ３９３０を実行する。一方、上位ＣＰＵが終了を命令しなければ動作を継続し、次に、ステップＳ３０２０を実行する。すなわち、上位ＣＰＵが終了を命令しない限り、ステップＳ３０２０、ステップＳ３０３０、ステップＳ３０４０、ステップＳ３１００、およびステップＳ３９１０のループの実行を継続する。

ステップＳ３９３０において、動作を終了する。

次に、ステップＳ３１００における動作の詳細を説明する。図４８は、本発明の実施の形態３に係る撮像装置の演算部の動作を示すフローチャートである。図４８のフローチャートは、ステップＳ３１００の動作の詳細を示す。ステップＳ３１００の演算では、まず、ステップＳ３１１０を実行する。

ステップＳ３１１０において、演算の動作を開始する。次に、ステップＳ３２１０を実行する。

ステップＳ３２１０において、緑用撮像信号による視差演算を実行する。このステップＳ３２１０は、実施の形態１のステップＳ１２００と同様に動作させる。ただし、使用する撮像信号として、ステップＳ１２００の第１の撮像信号I1、第２の撮像信号I2、第３の撮像信号I3、および第４の撮像信号に代えて、ステップＳ３２１０において第１の緑用撮像信号I1g、第２の緑用撮像信号I2g、第３の緑用撮像信号I3g、および第４の緑用撮像信号I4gを利用する。そして、ステップＳ１２００の視差量Δ(ibx)(iby)(i)に代えて、ステップＳ３２１０において緑用視差量Δg(ibx,iby)(i)が求められるとする。加えて、ステップＳ３２２０において緑用視差量Δg(ibx,iby)(i)を与えた信頼度を緑用信頼度Eg(ibx,iby)(i)とする。次に、ステップＳ３２２０を実行する。

ステップＳ３２２０において、赤用撮像信号による視差演算を実行する。このステップＳ３２２０は、実施の形態１のステップＳ１２００と同様に動作させる。ただし、使用する撮像信号として、ステップＳ１２００の第１の撮像信号I1、第２の撮像信号I2、第３の撮像信号I3、および第４の撮像信号に代えて、ステップＳ３２２０において第１の赤用撮像信号I1r、第２の赤用撮像信号I2r、第３の赤用撮像信号I3r、および第４の赤用撮像信号I4rを利用する。そして、ステップＳ１２００の視差量Δ(ibx)(iby)(i)に代えて、ステップＳ３２２０において赤用視差量Δr(ibx,iby)(i)が求められるとする。加えて、ステップＳ３２２０において赤用視差量Δr(ibx,iby)(i)を与えた信頼度を赤用信頼度Er(ibx,iby)(i)とする。次に、ステップＳ３２３０を実行する。

ステップＳ３２３０において、青用撮像信号による視差演算を実行する。このステップＳ３２３０は、実施の形態１のステップＳ１２００と同様に動作させる。ただし、使用する撮像信号として、ステップＳ１２００の第１の撮像信号I1、第２の撮像信号I2、第３の撮像信号I3、および第４の撮像信号に代えて、ステップＳ３２３０において第１の青用撮像信号I1b、第２の青用撮像信号I2b、第３の青用撮像信号I3b、および第４の青用撮像信号I4bを利用する。そして、ステップＳ１２００の視差量Δ(ibx)(iby)(i)に代えて、ステップＳ３２３０において青用視差量Δb(ibx,iby)(i)が求められるとする。加えて、ステップＳ３２３０において青用視差量Δb(ibx,iby)(i)を与えた信頼度を青用信頼度Eb(ibx,iby)(i)とする。次に、ステップＳ３２４０を実行する。

ステップＳ３２４０において、色別に求められた視差からもっとも信頼度が高い視差を選択する。それぞれのブロックに対し、緑用信頼度Eg(ibx,iby)(i)、赤用信頼度Er(ibx,iby)(i)、および青用信頼度Eb(ibx,iby)(i)を比較し、最大の信頼度を与える視差をそのブロックでの視差Δ(ibx,iby)(i)とする。このようにして、各ブロックにおける視差Δ(ibx,iby)(i)が求められた。ここで、(ibx,iby)は図１３の各ブロックの下段に示される座標であり、ｉｂｘは０からＮｈ−１まで、ｉｂｙはＮｖ−１まで変化する。また、ｉは３２ｘ３２画素のうちの４ｘ４画素のブロックを示し、図１５のように、０〜６３まで変化する。次に、ステップＳ１８００を実行する。

ステップＳ１８００において、距離演算する。ステップＳ１８００の動作は、実施の形態１と同様であり、説明を省略する。次に、ステップＳ３９００を実行する。

ステップＳ３９００において、演算動作を終了し、上位ルーチンへ戻る。次に、ステップＳ３９１０を実行する。

以上のように構成し、動作させることにより、実施の形態１と同様の効果を有する。

加えて、実施の形態３の撮像装置によれば、ステップＳ３２１０において緑用信頼度Eg(ibx,iby)(i)を演算し、ステップＳ３２２０において赤用信頼度Er(ibx,iby)(i)を演算し、ステップＳ３２３０において青用信頼度Eb(ibx,iby)(i)を演算し、ステップＳ３２４０において、それぞれのブロック（(ibx,iby)とｉとで示される）毎に、それぞれの視差(Δg(ibx,iby)(i)、Δr(ibx,iby)(i)、およびΔb(ibx,iby)(i))のうち信頼度が最も大きい視差Δ(ibx,iby)(i)に基づき距離を演算する。このことにより、信頼性が高い視差Δ(ibx,iby)(i)に基づき視差演算するため、信頼性が高い距離計測を可能とする。また、全ての組の視差(Δg(ibx,iby)(i)、Δr(ibx,iby)(i)、およびΔb(ibx,iby)(i))において距離演算を行わず、信頼性が高い視差(Δ(ibx,iby)(i))のみの距離演算を行うため、高速な距離計測を可能とする。

以上、本発明のいくつかの実施形態を説明したが、これらはあくまでも例示であって、本発明の実施に際しては、以下のとおり、種々の変更が可能である。

実施の形態１の撮像装置は、ステップＳ１２２０において、複数の前記視差の信頼度(E(1,2)(ibx,iby)(i)、E(3,4)(ibx,iby)(i)、E(1,3)(ibx,iby)(i)、およびE(2,4)(ibx,iby)(i))をそれぞれ演算し、それぞれのブロック（(ibx,iby)とｉとで示される）毎に、それぞれの視差(Δ4f(1,2)(ibx,iby)(i)、Δ4(3,4)(ibx,iby)(i)、Δ4f(1,3)(ibx,iby)(i)、およびΔ4f(2,4)(ibx,iby)(i))のうち信頼度が最も大きい視差Δ(ibx,iby)(i)に基づき距離を演算した。信頼度のしきい値を設け、このしきい値より大きな信頼度を与える視差を平均したものを最終的な視差Δ(ibx,iby)(i)としてもよい。このことにより、ノイズなどにより演算される視差がばらつくときであっても、ノイズの影響が低減された正しい視差を求めることができ、その視差に基づき距離を計測できる。すなわち、ノイズの影響が低減された正しい距離計測を可能とする。また、信頼度のしきい値を設け、このしきい値より大きな信頼度を与える視差のうち、最大の視差を最終的な視差Δ(ibx,iby)(i)としてもよい。障害物検知においては、最も距離が近いもの注目すればよい。そのため、最も近い距離を与える最大の視差を採用する。このことにより、全ての視差において距離演算を行わず、最大の視差のみの距離演算を行うため、高速な距離計測を可能とする。

実施の形態３のは、ステップＳ３２１０において緑用信頼度Eg(ibx,iby)(i)を演算し、ステップＳ３２２０において赤用信頼度Er(ibx,iby)(i)を演算し、ステップＳ３２３０において青用信頼度Eb(ibx,iby)(i)を演算し、ステップＳ３２４０において、それぞれのブロック（(ibx,iby)とｉとで示される）毎に、それぞれの視差(Δg(ibx,iby)(i)、Δr(ibx,iby)(i)、およびΔb(ibx,iby)(i))のうち信頼度が最も大きい視差Δ(ibx,iby)(i)に基づき距離を演算した。信頼度のしきい値を設け、このしきい値より大きな信頼度を与える視差を平均したものを最終的な視差Δ(ibx,iby)(i)としてもよい。このことにより、ノイズなどにより演算される視差がばらつくときであっても、ノイズの影響が低減された正しい視差を求めることができ、その視差に基づき距離を計測できる。すなわち、ノイズの影響が低減された正しい距離計測を可能とする。なお、重み付け平均をしてもよい。例えば、緑用視差Δg(ibx,iby)(i)、赤用視差Δr(ibx,iby)(i)、青用視差Δb(ibx,iby)(i)に被視感度に応じた重み、すなわち、それぞれ７、２、１を与え、重み付き平均をしてもよい。また、緑用視差Δg(ibx,iby)(i)、赤用視差Δr(ibx,iby)(i)、青用視差Δb(ibx,iby)(i)に画素数に応じた重み、すなわち、それぞれ２、１、１を与え、重み付き平均をしてもよい。また、信頼度のしきい値を設け、このしきい値より大きな信頼度を与える視差のうち、最大の視差を最終的な視差Δ(ibx,iby)(i)としてもよい。障害物検知においては、最も距離が近いもの注目すればよい。そのため、最も近い距離を与える最大の視差を採用する。このことにより、全ての視差において距離演算を行わず、最大の視差のみの距離演算を行うため、高速な距離計測を可能とする。

また、実施の形態１から実施の形態３の撮像装置において、演算された視差をそのまま利用したが、適宜リミットしてもよい。レンズ特性によっては被写体距離Ａがある値よりも小さいとき、画像が不鮮明となる。そのため、この値を被写体距離Ａの最小値と定めれば、視差の最大値を定められる。この値よりも大きい視差は、誤差であるとして無視してもよい。また、このような場合、視差評価値が２番目に小さい値を視差として採用してもよい。また、視差評価値に目立つ極値が２つあるときは、より大きい方の視差を採用してもよい。このようなブロックには、被写体と背景が含まれており、被写体距離と背景距離とが異なるため、極値が２つ現れる。このうち障害物検知に大きな影響を与える、より大きな視差を採用してもよい。

また、第２の実施の形態の撮像装置では、第１のカラーフィルタと第４のカラーフィルタが主に緑色光を透過し、第２のカラーフィルタと第３のカラーフィルタが主に近赤外光を透過したが、これに限定されない。他の色、例えば、赤色光、青色光、遠赤外光、近紫外光などを透過してもよい。

また、第１の実施の形態、および第３の実施の形態の撮像装置において、さらに第１撮像信号と第４の撮像信号とから視差と信頼度とを演算して、視差を選択してもよい。また、第２撮像信号と第３の撮像信号とから視差と信頼度とを演算して、視差を選択してもよい。

また、実施の形態１から実施の形態３において、１つの撮像素子１２３を利用したが、複数を用いてもよい。例えば、第１のレンズ部１１３ａ、第２のレンズ部１１３ｂ、第３のレンズ部１１３ｃ、および第４のレンズ部１１３ｄにそれぞれ対応する４つの撮像素子を配置し、それぞれ撮像信号を作成してもよい。

また、実施の形態１から実施の形態３において、視差評価値R4(i)(k)として（数６）のような差分絶対値総和（SAD）を用いたがこれに限定されない。差分の二乗値の総和や、第１の撮像信号I1からブロック内の平均を差分したものと第２の撮像信号I2からブロック内の平均を差分したものとの差分の二乗値の総和や、第１の撮像信号I1からブロック内の平均を差分したものと第２の撮像信号I2からブロック内の平均を差分したものとの差分の二乗値の総和や、第１の撮像信号I1からブロック内の平均を差分したものと第２の撮像信号I2からブロック内の平均を差分したものとの差分の二乗値の総和を第１の撮像信号I1からブロック内の平均を差分したものの二乗値の総和の平方根で除し第２の撮像信号I2からブロック内の平均を差分したものの二乗値の総和の平方根で除したものを利用してもよい。

また、実施の形態１から実施の形態３において、信頼度E4(i)として（数７）のような正規化相関係数を用いたがこれに限定されない。SADの値をそのまま用いたり、SADの値と明度やコントラストや各種微分値などを組み合わせて利用してもよい。

なお、実施の形態１から実施の形態３において、ブロックを矩形状に分割したが、これに限定されない。例えば、エッジを検出し、エッジに基づき非矩形状のブロックに分割してもよい。また、ブロック毎の領域の視差を求めずに、エッジを複数の線分に分割し、この線分の視差を求めてもよい。また、あるブロックにおいて求められた視差を評価し、ブロックを分割したり結合してもよい。

なお、実施の形態１から実施の形態３の撮像装置において、温度センサ１２６は、基板１２１上に配置されたがこれに限定されない。例えば、パッケージ１２２内部の撮像素子１２３に並列して配置してもよい。また、レンズ１１３に配置し、適宜配線により接続してもよい。また、ＳＬＳＩ１２５、２２５、３２５の内部に配置されてもよい。また、鏡筒１１１に外壁や内壁に貼付されてもよい。

本発明の撮像装置は、小型かつ多様な被写体を距離計測可能な撮像装置であるため、カメラ機能を備えた携帯電話、デジタルスチルカメラ、車載用カメラ、監視用カメラ、三次元計測器、および立体画像入力カメラなどに有用である。

本発明の実施の形態１に係る撮像装置の構成を示す断面図 本発明の実施の形態１に係る撮像装置のレンズの上面図 本発明の実施の形態１に係る撮像装置の回路部の上面図 本発明の実施の形態１に係る撮像装置の温度センサの回路図 本発明の実施の形態１に係る撮像装置において、無限遠にある物体像の位置を説明するための図 本発明の実施の形態１に係る撮像装置において、有限距離の位置にある物体像の位置を説明するための図 本発明の実施の形態１に係る撮像装置のブロック図 本発明の実施の形態１に係る撮像装置の撮像信号の切り出し位置を説明するための図 本発明の実施の形態１に係る撮像装置の動作を示すフローチャート 本発明の実施の形態１に係る撮像装置の演算部の動作を示すフローチャート 本発明の実施の形態１に係る撮像装置の視差演算の動作を示すフローチャート 本発明の実施の形態１に係る撮像装置の第１の撮像信号と第２の撮像信号とを利用した視差演算の動作を示すフローチャート 本発明の実施の形態１に係る撮像装置の第１の撮像信号と第２の撮像信号とを利用した視差演算における第１の撮像信号の分割ブロックと演算順番を説明する図 本発明の実施の形態１に係る撮像装置の第１の撮像信号と第２の撮像信号とを利用した視差演算における第２の撮像信号の分割ブロックと演算順番を説明する図 本発明の実施の形態１に係る撮像装置の第１の撮像信号と第２の撮像信号を利用したときの４ｘ４画素の視差演算における第１の演算バッファの分割と演算順番を説明する図 本発明の実施の形態１に係る撮像装置において、第１の撮像信号と第２の撮像信号を利用したときの４ｘ４画素の視差演算における４ｘ４画素の視差評価値の演算領域を説明する図 本発明の実施の形態１に係る撮像装置の第１の撮像信号と第２の撮像信号を利用したときの４ｘ４画素の視差演算における視差と視差評価値との関係を説明する図 本発明の実施の形態１に係る撮像装置において、第１の撮像信号と第２の撮像信号を利用したときの４ｘ４画素の視差演算における４ｘ４画素の視差評価値の信頼度の演算領域を説明する図 本発明の実施の形態１に係る撮像装置の第１の撮像信号と第２の撮像信号を利用したときの８ｘ８画素の視差演算における第１の演算バッファの分割と演算順番を説明する図 本発明の実施の形態１に係る撮像装置の第１の撮像信号と第２の撮像信号を利用したときの１６ｘ１６画素の視差演算における第１の演算バッファの分割と演算順番を説明する図 本発明の実施の形態１に係る撮像装置の第１の撮像信号と第２の撮像信号を利用したときの３２ｘ３２画素の視差演算における第１の演算バッファの分割と演算順番を説明する図 本発明の実施の形態１に係る撮像装置の第１の撮像信号と第３の撮像信号とを利用した視差演算の動作を示すフローチャート 本発明の実施の形態１に係る撮像装置の第１の撮像信号と第３の撮像信号とを利用した視差演算における第３の撮像信号の分割ブロックと演算順番を説明する図 本発明の実施の形態１に係る撮像装置において、第１の撮像信号と第３の撮像信号を利用したときの４ｘ４画素の視差演算における４ｘ４画素の視差評価値の演算領域を説明する図 本発明の実施の形態１に係る撮像装置において、第１の撮像信号と第３の撮像信号を利用したときの４ｘ４画素の視差演算における４ｘ４画素の視差評価値の信頼度の演算領域を説明する図 本発明の実施の形態１に係る撮像装置の距離演算の動作を示すフローチャート 本発明の実施の形態２に係る撮像装置の構成を示す断面図 本発明の実施の形態２に係る撮像装置の回路部の上面図 本発明の実施の形態２に係る撮像装置のカラーフィルタの特性図 本発明の実施の形態２に係る撮像装置のブロック図 本発明の実施の形態１に係る撮像装置の動作を示すフローチャート 本発明の実施の形態２に係る撮像装置の演算部の動作を示すフローチャート 本発明の実施の形態２に係る撮像装置の視差演算の動作を示すフローチャート 本発明の実施の形態２に係る撮像装置の第１の撮像信号と第４の撮像信号とを利用した視差演算の動作を示すフローチャート 本発明の実施の形態２に係る撮像装置の第１の撮像信号と第４の撮像信号とを利用した視差演算における第１の撮像信号の分割ブロックと演算順番を説明する図 本発明の実施の形態２に係る撮像装置の第１の撮像信号と第４の撮像信号とを利用した視差演算における第４の撮像信号の分割ブロックと演算順番を説明する図 本発明の実施の形態２に係る撮像装置において、第１の撮像信号と第４の撮像信号を利用したときの４ｘ４画素の視差演算における４ｘ４画素の視差評価値の演算領域を説明する図 本発明の実施の形態２に係る撮像装置において、第１の撮像信号と第４の撮像信号を利用したときの４ｘ４画素の視差演算における４ｘ４画素の視差評価値の信頼度の演算領域を説明する図 本発明の実施の形態２に係る撮像装置の第２の撮像信号と第３の撮像信号とを利用した視差演算の動作を示すフローチャート 本発明の実施の形態２に係る撮像装置の第２の撮像信号と第３の撮像信号とを利用した視差演算における第３の撮像信号の分割ブロックと演算順番を説明する図 本発明の実施の形態２に係る撮像装置において、第２の撮像信号と第３の撮像信号を利用したときの４ｘ４画素の視差演算における４ｘ４画素の視差評価値の演算領域を説明する図 本発明の実施の形態２に係る撮像装置において、第２の撮像信号と第３の撮像信号を利用したときの４ｘ４画素の視差演算における４ｘ４画素の視差評価値の信頼度の演算領域を説明する図 本発明の実施の形態３に係る撮像装置の構成を示す断面図 本発明の実施の形態３に係る撮像装置のブロック図 本発明の実施の形態３に係る撮像装置の撮像信号の色を説明する図 本発明の実施の形態３に係る撮像装置の第１の撮像信号の色を説明する図 本発明の実施の形態３に係る撮像装置の動作を示すフローチャート 本発明の実施の形態３に係る撮像装置の演算部の動作を示すフローチャート 従来の撮像装置の斜視図

符号の説明

１０１，２０１，３０１ カメラモジュール
１１０，３１０ レンズモジュール
１１１ 鏡筒
１１２ 上部カバーガラス
１１３ レンズ
１１３ａ 第１のレンズ部
１１３ｂ 第２のレンズ部
１１３ｃ 第３のレンズ部
１１３ｄ 第４のレンズ部
１２０，２２０，３２０ 回路部
１２１ 基板
１２２ パッケージ
１２３ 撮像素子
１２４，３２４ パッケージカバーガラス
３２４ａ 第１のカラーフィルタ
３２４ｂ 第２のカラーフィルタ
３２４ｃ 第３のカラーフィルタ
３２４ｄ 第４のカラーフィルタ
１２４ｅ 遮光部
１２５，２２５，３２５ ＳＬＳＩ
１２６ 温度センサ
１３１，２３１，３３１ システム制御部
１３２ 撮像素子駆動部
１３３ 撮像信号入力部
１３４，３３４ 前処理部
１３５，３３５ 入力バッファ
１３５ａ 第１の入力バッファ
１３５ｂ 第２の入力バッファ
１３５ｃ 第３の入力バッファ
１３５ｄ 第４の入力バッファ
３３５ａｇ 第１の緑用入力バッファ
３３５ｂｇ 第２の緑用入力バッファ
３３５ｃｇ 第３の緑用入力バッファ
３３５ｄｇ 第４の緑用入力バッファ
３３５ａｒ 第１の赤用入力バッファ
３３５ｂｒ 第２の赤用入力バッファ
３３５ｃｒ 第３の赤用入力バッファ
３３５ｄｒ 第４の赤用入力バッファ
３３５ａｂ 第１の青用入力バッファ
３３５ｂｂ 第２の青用入力バッファ
３３５ｃｂ 第３の青用入力バッファ
３３５ｄｂ 第４の青用入力バッファ
１３６，２３６，３３６ 画像処理部
１３７，３３７ 出力バッファ
１３７ａ，３３７ａ 第１の出力バッファ
１３７ｂ，３３７ｂ 第２の出力バッファ
１３８ 入出力部
１４１，２４１，３４１ 演算バッファ
１４１ａ，２４１ａ，３４１ａ 第１の演算バッファ
１４１ｂ，２４１ｂ，３４１ｂ 第２の演算バッファ
１４２，２４２，３４２ 視差演算部
１４３ 距離演算部

Claims (15)

1. それぞれが少なくとも１枚のレンズを含む複数のレンズ部と、
   前記複数のレンズ部に一対一に対応し、対応する前記レンズ部の光軸方向に対して略垂直な受光面をそれぞれ備える複数の撮像領域と、
   前記複数の撮像領域からそれぞれ出力される複数の撮像信号が入力される撮像信号入力部と、
   前記複数の撮像信号から複数の組の撮像信号を選択し、それぞれの組に対しそれぞれの視差を演算する視差演算部と、
   複数の前記視差に基づき距離を演算する距離演算部と、を有する撮像装置。
2. 前記距離演算部は、複数の前記視差の平均に基づき距離を演算する、請求項１に記載の撮像装置。
3. 前記距離演算部は、複数の前記視差のうちの最大の視差に基づき距離を演算する、請求項１に記載の撮像装置。
4. 前記距離演算部は、複数の前記視差のうち信頼性が最も高い視差に基づき距離を演算する、請求項１に記載の撮像装置。
5. それぞれが少なくとも１枚のレンズを含む第１のレンズ部と、
   前記第１のレンズ部の光軸から水平方向に移動された位置に光軸を有する第２のレンズ部と、
   前記第１のレンズ部の光軸から鉛直方向に移動された位置に光軸を有する第３のレンズ部と、
   前記第１のレンズ部の光軸から対角方向に移動された位置に光軸を有する第４のレンズ部と、
   前記第１のレンズ部、第２ののレンズ部、第３のレンズ部、第４のレンズ部に一対一に対応し、対応する前記第１のレンズ部、第２ののレンズ部、第３のレンズ部、第４のレンズ部の光軸方向に対して略垂直な受光面をそれぞれ備える第１の撮像領域と、第２の撮像領域と、第３の撮像領域と、第４の撮像領域と、
   前記第１の撮像領域と、第２の撮像領域と、第３の撮像領域と、第４の撮像領域からそれぞれ出力される第１の撮像信号、第２の撮像信号、第３の撮像信号、第４の撮像信号が入力される撮像信号入力部と、
   前記第１の撮像信号と前記第２の撮像信号、前記第３の撮像信号と前記第４の撮像信号、前記第１の撮像信号と前記第３の撮像信号、および前記第２の撮像信号と前記第４の撮像信号を選択し、それぞれの組に対しそれぞれの視差を演算する視差演算部と、
   複数の前記視差に基づき距離を演算する距離演算部と、を有する撮像装置。
6. それぞれが少なくとも１枚のレンズを含む第１のレンズ部と、
   前記第１のレンズ部の光軸から水平方向に移動された位置に光軸を有する第２のレンズ部と、
   前記第１のレンズ部の光軸から鉛直方向に移動された位置に光軸を有する第３のレンズ部と、
   前記第１のレンズ部の光軸から対角方向に移動された位置に光軸を有する第４のレンズ部と、
   前記第１のレンズ部、第２ののレンズ部、第３のレンズ部、第４のレンズ部に一対一に対応し、対応する前記第１のレンズ部、第２ののレンズ部、第３のレンズ部、第４のレンズ部の光軸方向に対して略垂直な受光面をそれぞれ備える第１の撮像領域と、第２の撮像領域と、第３の撮像領域と、第４の撮像領域と、
   前記第１の撮像領域と、第２の撮像領域と、第３の撮像領域と、第４の撮像領域からそれぞれ出力される第１の撮像信号、第２の撮像信号、第３の撮像信号、第４の撮像信号が入力される撮像信号入力部と、
   前記第１の撮像信号と前記第４の撮像信号、および前記第２の撮像信号と前記第３の撮像信号を選択し、それぞれの組に対しそれぞれの視差を演算する視差演算部と、
   複数の前記視差に基づき距離を演算する距離演算部と、を有する撮像装置。
7. それぞれが少なくとも１枚のレンズを含む複数のレンズ部と、
   前記複数のレンズ部に一対一に対応し、対応する前記レンズ部の光軸方向に対して略垂直な受光面をそれぞれ備える複数の撮像領域と、
   前記複数の撮像領域からそれぞれ出力される複数の撮像信号が入力される撮像信号入力部と、
   前記複数の撮像信号に基づき視差を演算する視差演算部と、
   周囲温度を示す計測温度を計測する温度センサと、
   前記視差と前記計測温度とに基づき距離を演算する距離演算部と、を有する撮像装置。
8. それぞれが少なくとも１枚のレンズを含む複数のレンズ部と、
   前記複数のレンズ部に一対一に対応し、対応する前記レンズ部の光軸方向に対して略垂直な受光面をそれぞれ備える複数の撮像領域と、
   前記複数の撮像領域からそれぞれ出力される複数の撮像信号が入力される撮像信号入力部と、
   前記複数の撮像信号のうちの少なくとも１つの撮像信号を複数のブロックに分割するブロック分割部と、
   前記撮像信号を用いて、前記ブロックごとに、前記複数のレンズ部がそれぞれ形成する像間の視差を演算する視差演算部と、
   前記ブロック毎の前記レンズ部の歪曲の影響を示す歪曲補正係数を保存する歪曲補正係数保存部と、
   前記視差と前記歪曲補正係数とに基づき距離を演算する距離演算部と、を有する撮像装置。
9. それぞれが少なくとも１枚のレンズを含む複数のレンズ部と、
   前記複数のレンズ部に一対一に対応し、対応する前記レンズ部の光軸方向に対して略垂直な受光面をそれぞれ備える複数の撮像領域と、
   前記複数の撮像領域からそれぞれ出力される複数の撮像信号が入力される撮像信号入力部と、
   前記複数の撮像信号のうちの少なくとも１つの撮像信号を複数のブロックに分割するブロック分割部と、
   前記ブロックに分割された撮像信号を前記複数のレンズ間の光軸間の方向に順にブロック毎に転送し、視差を演算する視差演算部と、
   前記視差に基づき距離を演算する距離演算部と、を有する撮像装置。
10. それぞれが少なくとも１枚のレンズを含む複数のレンズ部と、
    前記複数のレンズ部に一対一に対応し、対応する前記レンズ部の光軸方向に対して略垂直な受光面をそれぞれ備える複数のベイヤー配列の撮像領域と、
    前記複数の撮像領域からそれぞれ出力される複数の撮像信号が入力される撮像信号入力部と、
    前記複数の撮像信号のうち主に緑色の感度を持つ撮像信号に基づく視差を示す緑色視差、前記複数の撮像信号のうち主に赤色の感度を持つ撮像信号に基づく視差を示す赤色視差、および前記複数の撮像信号のうち主に青色の感度を持つ撮像信号に基づく視差を示す青色視差を演算する視差演算部と、
    前記緑色視差と前記赤色視差と前記青色視差とに基づき距離を演算する距離演算部と、を有する撮像装置。
11. 前記距離演算部は、前記緑色視差と前記赤色視差と前記青色視差との重み付け平均に基づき距離を演算する、請求項１０に記載の撮像装置。
12. 前記距離演算部は、前記緑色視差と前記赤色視差と前記青色視差とのうちの最大の視差に基づき距離を演算する、請求項１０に記載の撮像装置。
13. 前記距離演算部は、前記緑色視差と前記赤色視差と前記青色視差とのうち信頼性が最も高い視差に基づき距離を演算する、請求項１０に記載の撮像装置。
14. それぞれが少なくとも１枚のレンズを含む複数のレンズ部と、
    前記複数のレンズ部に一対一に対応し、対応する前記レンズ部の光軸方向に対して略垂直な受光面をそれぞれ備える複数の撮像領域と、
    前記複数の撮像領域からそれぞれ出力される複数の撮像信号が入力される撮像信号入力部と、
    前記複数の撮像信号のうちの少なくとも１つの撮像信号を複数のブロックに分割するブロック分割部と、
    前記撮像信号を用いて、前記ブロックごとに基づき前記複数のレンズ部がそれぞれ形成する像間の視差を求めるために利用する視差評価値を演算し、前記視差評価値に基づき前記ブロックを結合した結合ブロックごとの視差評価値である結合視差評価値を演算し、前記視差評価値と前記結合視差評価値とに基づき前記複数のレンズ部がそれぞれ形成する像間の視差を演算する視差演算部と、
    前記視差に基づき距離を演算する距離演算部と、を有する撮像装置。
15. 前記距離演算部は、前記ブロック毎に前記視差評価値に基づき演算した視差と前記結合ブロック毎に前記結合視差評価値に基づき演算した視差とのうち信頼性が最も高い視差に基づき距離を演算する、請求項１４に記載の撮像装置。

Images