JP2015206798A - 距離算出装置 - Google Patents

Abstract

【課題】ステレオカメラの視差分解能以下の距離計測を行うことができ、各々のカメラの撮像画像の信頼度が低下した場合であっても、対象物までの相対距離を精緻に計測することができる距離算出装置及び距離算出方法を提供する。【解決手段】カメラで撮像された画像に基づいて対象物までの推定距離を算出する単眼推定距離算出部２０３と、少なくとも２つのカメラで撮像された画像に基づいて対象物までの推定距離を算出するステレオ推定距離算出部２０４と、対象物までの出力距離を算出する出力距離算出部２０６と、を備え、出力距離算出部２０６は、単眼推定距離算出部２０３によって算出された推定距離と、ステレオ推定距離算出部２０４によって算出された推定距離と、少なくとも２つのカメラで撮像された画像に基づいて算出されるステレオ推定距離算出部２０４の確信度に応じて決定される双方の推定距離の重みと、に基づいて出力距離を算出する。【選択図】図２

Description

本発明は距離算出装置及び距離算出方法に関し、例えば複数の撮像手段を備えた撮像システムに適用される距離算出装置に関する。

従来から、自動車分野等においては、安全性の向上を目的として様々な安全システムが装備されている。

近年、そのような安全システムの一つとして、ステレオカメラなどの複数のカメラを用いて歩行者や車両等の対象物を検出する対象物検出システムが実用化されている。

上記する対象物検出システムは、例えばテンプレートマッチングを用いて複数のカメラ（撮像装置）で同時刻に撮像された複数の画像上における同一対象物の位置ずれ（視差）を算出し、前記視差と周知の変換式とを用いて対象物の実空間上の位置を算出することで、対象物を検出することができる。

このような、複数のカメラ（撮像装置）で撮像された一対の画像を用いて対象物までの距離を算出して対象物の認識を行うステレオカメラの対象物検出システムは、上記する車両の安全システムのほか、不審者の侵入や異常を検知する監視システム等にも適用することができる。

前記安全システムや監視システムに適用されるステレオカメラの対象物検出システムは、所定の間隔を置いて配置された複数のカメラで対象物を撮像し、その複数のカメラで撮像された一対の撮像画像に対して三角測量技術を適用することによって、対象物までの距離を算出するシステムである。

具体的には、前記対象物検出システムは、一般に、すくなくとも２台の撮像装置（カメラ）と、これらの撮像装置から出力される少なくとも２つの撮像画像に対して三角測量処理を適用するステレオ画像処理ＬＳＩ（Large Scale Integration）と、を備えており、このステレオ画像処理ＬＳＩは、複数のカメラで撮像された一対の撮像画像に含まれる画素情報を重ね合わせて２つの撮像画像の一致した位置のずれ量（視差）を算出する演算処理を行なうことによって三角測量処理を実行する。なお、このような対象物検出システムにおいては、複数のカメラで撮像された一対の撮像画像の間に視差以外のずれが発生しないように、各々の撮像装置毎に光学特性や信号特性のずれがないように調整したり、撮像装置間の距離等を予め精緻に求めておく必要がある。

図７は、上記するステレオカメラを用いた対象物検出システムの原理を説明したものであり、図中、δは視差（一対の撮像画像の一致した位置のずれ量）、Ｚは対象物までの計測距離、ｆは撮像装置の焦点距離、ｂは基線長（撮像装置間の距離）をそれぞれ表しており、これらの間には以下の式（１）で示す関係が成立している。

ところで、ステレオカメラを用いた対象物検出システムにおいては、対象物までの計測距離が大きくなるに従って視差δが小さくなるため、この視差δの算出性能が低下すると対象物までの距離計測の精度が低下するといった問題がある。

このような問題に対して、特許文献１には、ステレオカメラと単眼カメラの技術を融合して双方の欠点を補完する技術が開示されている。

特許文献１に開示されている３次元座標取得装置は、単眼カメラとステレオカメラのそれぞれで撮像された画像から対象物の３次元座標を算出し、双方の算出結果を単純に切り替えあるいは統合する装置である。また、双方の算出結果を統合する際には、対象物のカメラからの距離や車速度、フローの数や精度に応じて双方の重みを変更する装置である。

特開２００７−２６３６５７号公報

特許文献１に開示されている３次元座標取得装置によれば、単眼カメラとステレオカメラのそれぞれで撮像された画像を用いることによって、単眼カメラとステレオカメラの双方の領域における対象物までの距離を計測することができると共に、単眼カメラとステレオカメラのそれぞれで撮像された画像から算出される対象物の３次元座標に対して対象物までの距離や車速度等に応じた重みを付けることによって、対象物までの距離計測の精度を高めることができる。

しかしながら、特許文献１に開示されている３次元座標取得装置においては、上記する重みの配分方法については言及されていない。また、各々のカメラの撮像画像の信頼度が低下した場合には、単眼カメラとステレオカメラのそれぞれで撮像された画像から算出された対象物との距離計測の精度が低下するといった課題がある。

本発明は、前記問題に鑑みてなされたものであって、その目的とするところは、ステレオカメラの視差分解能以下の距離計測を行うことができ、各々のカメラの撮像画像の信頼度が低下した場合であっても、対象物までの相対距離を精緻に計測することができる距離算出装置を提供することにある。

本発明は、複数の撮像装置を備えた撮像システムの距離算出装置であって、前記複数の撮像装置のうち単数の撮像装置で撮像された単一の画像に基づいて対象物までの推定距離を算出する第１の推定距離算出部と、前記複数の撮像装置のうち少なくとも２つの撮像装置で撮像された画像に基づいて対象物までの推定距離を算出する第２の推定距離算出部と、前記第１の推定距離算出部によって算出された第１の推定距離、及び、前記第２の推定距離算出部によって算出された第２の推定距離に対して重み付けを行って、前記対象物までの出力距離を算出する出力距離算出部と、備えることを特徴とする。

本発明の距離算出装置によれば、複数の撮像装置を備えた撮像システ
ムにおいて、例えばステレオカメラの視差分解能以下の距離計測を行うことができ、各々のカメラの撮像画像の信頼度が低下した場合であっても、対象物までの相対距離を精緻に且つ安定して計測することができる。

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明に係る距離算出装置の第１の実施の形態が適用される撮像システムを概略的に示す全体構成図。 図１に示す第１の実施の形態の距離算出装置の内部構成を示す内部構成図。 単眼カメラを用いた対象物までの距離算出方法を説明した図。 図２に示す出力距離算出部で用いられる確信度に応じた重みテーブルの一例を示す図。 本発明に係る距離算出装置の第２の実施の形態の内部構成を示す内部構成図。 図５に示す出力距離算出部で用いられる確信度に応じた重みテーブルの一例を示す図。 ステレオカメラを用いた対象物検出システムの原理を説明した図。

以下、本発明に係る距離算出装置と距離算出方法の実施の形態を図面を参照して説明する。

［第１の実施の形態］
図１は、本発明に係る距離算出装置の第１の実施の形態が適用される撮像システムを概略的に示したものである。

図示する撮像システム１００は、主として、所定の間隔を置いて配置された２台のカメラ（撮像装置）１０１、１０２と、このカメラ１０１、１０２を制御するカメラ制御装置１０３と、カメラ１０１、１０２で撮像された撮像画像等の一時的な記憶領域であるＲＡＭ１０４と、プログラムや各種初期値を格納するＲＯＭ１０５と、ブレーキ等の制御系やユーザに対してカメラの認識状態を通知するための通信手段である外部ＩＦ１０６と、対象物との距離を算出する距離算出装置１０７と、このシステム全体の制御を行うＣＰＵ１０８と、を備えており、それぞれがバス１０９を介して情報を授受できるようになっている。すなわち、この撮像システム１００においては、２台のカメラ１０１、１０２を用いることで、ステレオカメラによる対象物との距離計測が可能な構成となっている。

なお、前記カメラ１０１、１０２は、例えばＣＣＤ（Charge Coupled Device Image Sensor）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等の撮像素子から構成されており、カメラ制御装置１０３によって各カメラ１０１、１０２の撮像タイミングが同一になるように制御されている。また、双方のカメラ１０１、１０２で撮像された画像における対応する点を探索する際に輝度値が同一となるように、各カメラ１０１、１０２の露光も同一になるように制御されている。

図２は、図１に示す第１の実施の形態の距離算出装置１０７の内部構成を示したものである。なお、カメラ１０１、１０２で撮像された撮像画像はそれぞれ、ＲＡＭ１０４のカメラ画像保存部１０４ａ、１０４ｂに一時的に保存されている。

図示する距離算出装置１０７は、主として、単眼推定距離算出部（第１の推定距離算出部）２０３と、ステレオ推定距離算出部（第２の推定距離算出部）２０４と、推定距離比較部２０５と、出力距離算出部２０６と、ＨＡＬＴ回路２０７と、を備えている。

前記単眼推定距離算出部２０３は、カメラ１０１で撮像されてカメラ画像保存部１０４ａに保存された画像情報に基づいて対象物までの推定距離（第１の推定距離）を算出し、その算出結果を推定距離比較部２０５へ送信する。

上記する推定距離の算出方法としては、従来知られた種々の算出方法を適用することができるが、その一例として、例えば車両の車幅を用いた算出方法が挙げられる。具体的には、パターンマッチングによって、カメラ画像保存部１０４ａから得られる画像情報から車両の領域（画面上の位置）を算出する。ここで、パターンマッチングとは、撮像された画像の輝度値の相関値を算出し、その輝度値が所定値以上であれば「車両」と判断してその領域を「車両の領域」とする方法である。これにより、カメラ画像保存部１０４ａから得られる画像情報から車両の車幅を算出することができ、カメラの撮像方向と車両の背面とが略垂直であると仮定すると、仮定された車両の車幅等から対象物である車両までのおおよその距離を容易に算出することができる。

図３は、カメラ１０１を用いた対象物までの距離算出方法を説明したものであり、図中、Ｗは先行車両の車幅、Ｚは先行車両までの距離、ｘは撮像面での車幅、ｆはカメラ１０１の焦点距離をそれぞれ表しており、これらの間には以下の式（２）で示す関係が成立していることから、先行車両までの距離Ｗを算出することができる。

しかしながら、単眼推定距離算出部２０３は、勾配やカーブのある路面等といったカメラの撮像方向と車両の背面とが略垂直でない場合には、先行車両までの距離を正確に算出することができない可能性がある。また、仮定された車両の車幅等を用いて先行車両までの距離を算出するため、対象物である車両の車幅が未知である場合にはその車両までの距離に誤差が生じる可能性がある。

そこで、図２で示すステレオ推定距離算出部２０４は、カメラ１０１、１０２で撮像されてカメラ画像保存部１０４ａ、１０４ｂに保存されたそれぞれの画像情報に基づいて対象物までの推定距離（第２の推定距離）を算出する。具体的には、カメラ画像保存部１０４ａ、１０４ｂから得られる画像情報から対応する画素を探索して視差を算出し、対象物までの推定距離を算出して（図７参照）、その算出結果を推定距離比較部２０５へ送信する。

より具体的には、視差を算出するためにカメラ１０１、１０２で撮像された画像の対応する点を探索する方法として、例えば絶対差の総和（Sum of the Absolute Differences : SAD）を算出する方法を適用し、一方の画像の特定の一部をテンプレートとしてその画像内で対応する位置を探索し、各画素の輝度値の絶対値差分の和を算出し、その総和が最も相関が高いとして対応する位置とする。これにより、一方の画像と他方の画像の位置ずれを視差とすることができる。ここで、ハードウェアで効率的に処理するために、双方の画像の縦位置を予め合わせておき（「平行化する」という。）、一方の画像の特定の一部を4x4画素程度として他方の画像を横方向のみ探索する。この処理を一方の画像全体に行うことで作成された画像を「距離画像」と称する。次いで、このように作成された「距離画像」から対象物である車両を検出するために、「距離画像」群から距離が同一である平面を探索し、その平面における対象物の幅が車両らしい幅である場合には「車両」として探索する。そして、このように検出された複数の「車両」領域の距離の平均値を算出することで対象物である車両までの距離を算出する。

また、ステレオ推定距離算出部２０４は、推定距離精度算出部２０２を備えており、推定距離精度算出部２０２は、上記方法で検出した「車両」領域の視差値のばらつき度合い（分散）を算出し、その算出結果をステレオ推定距離算出部２０４の確信度（Confidence）として出力距離算出部２０６へ出力する。なお、前記推定距離精度算出部２０２は、撮像された画像全体のボケ度合い（例えば、コントラストの高低を判断指標とする）を算出し、その算出結果をステレオ推定距離算出部２０４の確信度としても良い。また、ハードウェアで効率的に処理するために、前記「距離画像」を4x4画素程度等の固定値で区切って作成すると、車両位置と4x4画素の境界で背景が含まれて対象物までの距離の誤差が生じ易くなる。特に、対象物が遠方に位置する場合には、視差値が小さくなると共に車両の大きさも小さくなることから、対象物までの距離の誤差が更に大きくなると考えられる。そこで、推定距離精度算出部２０２は、ステレオ推定距離算出部２０４で算出した対象物までの推定距離を用い、例えば対象物までの距離が近いときには大きく、対象物までの距離が遠いときには小さくなるような確信度を設定しても良い。なお、本実施の形態において、確信度は０から１００に正規化されている。

ここで、単眼推定距離算出部２０３とステレオ推定距離算出部２０４とで算出される算出結果（推定距離）は同一であることが望ましいものの、上記するような算出方法の相違等に起因して双方の算出結果は必ずしも同一とは限らない。

そこで、上記する単眼推定距離算出部２０３とステレオ推定距離算出部２０４から算出結果を受信した推定距離比較部２０５は、距離計測が不正か否かを判断するために、単眼推定距離算出部２０３とステレオ推定距離算出部２０４とによって算出された双方の推定距離を比較する。そして、単眼推定距離算出部２０３とステレオ推定距離算出部２０４の推定距離の差が所定の閾値以上である場合には、ＨＡＬＴ回路２０７に対して異常を通知する。なお、前記所定の閾値は、予めＲＯＭ１０５に保存されており、必要に応じて推定距離比較部２０５へ送信されるようになっている。

また、出力距離算出部２０６は、単眼推定距離算出部２０３とステレオ推定距離算出部２０４の推定距離の差が所定の閾値よりも小さい場合には、単眼推定距離算出部２０３とステレオ推定距離算出部２０４の双方の推定距離と、推定距離精度算出部２０２によって算出されたステレオ推定距離算出部２０４の確信度と、に基づいて、ブレーキ等の制御系や表示系等に出力するための出力距離（最終距離）を算出する。その際、予めＲＯＭ１０５に保存された確信度に応じた重みテーブルを用いて出力距離を算出する。

図４は、図２に示す出力距離算出部２０６で用いられる確信度に応じた重みテーブルの一例を示したものである。図中、単眼は、単眼推定距離算出部２０３によって算出された推定距離（単眼推定距離）の重み（使用率）、ステレオは、ステレオ推定距離算出部２０４によって算出された推定距離（ステレオ推定距離）の重みを表している。

例えば、ステレオ推定距離算出部２０４の確信度（Confidence）が８０の場合には、出力距離算出部２０６は、以下の式（３）に基づいて出力距離（最終距離）を算出することができる。

なお、図４で示す確信度の中間値については、その中間値の前後の値から線形的に補完することができる。

このような構成とすることで、例えば視差値のばらつきや画像全体のボケ等によってステレオ推定距離算出部２０４の距離計測の精度が低下する場合であっても、対象物までの距離に関わらずその距離を安定して精度良く計測することができる。

なお、単眼距離算出部２０３とステレオ距離算出部２０４の双方の推定距離の差が大きい場合には、カメラのレンズに汚れが付着していたり、悪天候で計測が困難であったり、カメラのセンサに異常が発生している可能性が高い。そこで、ＨＡＬＴ回路２０７は、前記推定距離比較部２０５から異常信号を受信すると、出力距離算出部２０６に対して中止信号を送信し、距離算出を中止して当該システムを停止させる。また、ユーザに対して当該システムが正常に動作していないことを通知して誤動作を抑制する。

［第２の実施の形態］
図５は、本発明に係る距離算出装置の第２の実施の形態の内部構成を示したものである。図５に示す第２の実施の形態の距離算出装置１０７Ａは、図２に示す第１の実施の形態の距離算出装置１０７に対して、各カメラで撮像されたカメラ画像を解析してカメラ画像の信頼度を算出する点が相違しており、その他の構成は、第１の実施の形態の距離算出装置１０７とほぼ同様である。したがって、第１の実施の形態の距離算出装置１０７と同様の構成については、同様の符号を付してその詳細な説明は省略する。

図示する距離算出装置１０７Ａは、単眼推定距離算出部（第１の推定距離算出部）２０３Ａと、ステレオ推定距離算出部（第２の推定距離算出部）２０４Ａと、推定距離比較部２０５Ａと、出力距離算出部２０６Ａと、ＨＡＬＴ回路２０７Ａと、を備えると共に、カメラ１０２（図１参照）で撮像されてカメラ画像保存部１０４Ａｂに保存された画像情報に基づいて対象物までの推定距離（第１の推定距離）を算出する単眼推定距離算出部（第１の推定距離算出部）２０８Ａと、各カメラ画像保存部１０４Ａａ、１０４Ａｂに保存された画像情報を解析して各カメラ画像の信頼度を算出する信頼度算出部２０１Ａａ、２０１Ａｂと、を備えている。

単眼推定距離算出部２０８Ａは、第１の実施の形態の単眼推定距離算出部２０３と同様
の演算を実行し、カメラ画像保存部１０４Ａｂに保存された画像情報に基づいて対象物ま
での推定距離を算出して、その算出結果を推定距離比較部２０５Ａへ送信する。

また、信頼度算出部２０１Ａａ、２０１Ａｂは、各カメラ画像保存部１０４Ａａ、１０４Ａｂに保存された画像の内容をそれぞれ解析し、各カメラ画像から対象物までの距離が精度良く計測されるか否かの信頼度を算出して、その算出結果を推定距離比較部２０５Ａへ送信する。

上記する信頼度算出部２０１Ａａ、２０１Ａｂにおける信頼度の算出方法としては、種々の算出方法を適用することができるが、その一例として、例えば画像のコントラストを算出し、算出されたコントラストが低い場合には信頼度を小さくし、コントラストが高い場合には信頼度を高くする方法が挙げられる。また、雨滴や泥等を検知してカメラの撮像状態を各カメラ画像の信頼度としても良い。

推定距離比較部２０５Ａは、単眼推定距離算出部２０３Ａ、２０８Ａから送信された推定距離（単眼推定距離）と、ステレオ推定距離算出部２０４Ａから送信された推定距離（ステレオ推定距離）と、信頼度算出部２０１Ａａ、２０１Ａｂから送信された信頼度と、に基づいて、単眼推定距離算出部２０３Ａ、２０８Ａとステレオ推定距離算出部２０４Ａとによって算出された双方の推定距離を比較する。具体的には、推定距離比較部２０５Ａは、信頼度の高いカメラ画像に基づいて対象物までの推定距離を算出した単眼推定距離算出部を選択し、その単眼推定距離算出部から送信された推定距離とステレオ推定距離算出部２０４Ａから送信された推定距離を比較する。そして、第１の実施の形態と同様に、その単眼推定距離算出部とステレオ推定距離算出部２０４Ａの推定距離の差が所定の閾値以上である場合には、ＨＡＬＴ回路２０７Ａに対して異常を通知する。

なお、推定距離比較部２０５Ａは、信頼度の高いカメラ画像に基づいて対象物までの推定距離を算出した単眼推定距離算出部を選択する代わりに、各カメラ画像保存部１０４Ａａ、１０４Ａｂに保存された各カメラ画像の信頼度の比率に応じて、単眼推定距離算出部２０３Ａ、２０８Ａによって算出された推定距離の結果を融合しても良い。このような構成とすることで、距離計測の際に単眼推定距離算出部２０３Ａ、２０８Ａ同士が頻繁に切り替わって単眼推定距離の算出結果が不安定となることを抑制することができる。

出力距離算出部２０６Ａは、単眼推定距離算出部とステレオ推定距離算出部の推定距離の差が所定の閾値よりも小さい場合には、単眼推定距離算出部２０３Ａ、２０８Ａから送信された推定距離と、ステレオ推定距離算出部２０４Ａから送信された推定距離と、推定距離精度算出部２０２Ａによって算出されたステレオ推定距離算出部２０４Ａの確信度と、信頼度算出部２０１Ａａ、２０１Ａｂから送信された信頼度と、に基づいて、ブレーキ等の制御系や表示系等に出力するための出力距離（最終距離）を算出する。その際、予めＲＯＭ１０５Ａに保存された確信度に応じた重みテーブルを用いて出力距離を算出する。

図６は、図５に示す出力距離算出部２０６Ａで用いられる確信度に応じた重みテーブルの一例を示したものである。図中、単眼１は、単眼推定距離算出部２０３Ａによって算出された推定距離（単眼推定距離）の重み（使用率）、単眼２は、単眼推定距離算出部２０８Ａによって算出された推定距離の重み、ステレオは、ステレオ推定距離算出部２０４Ａによって算出された推定距離（ステレオ推定距離）の重みを表している。

図示するように、第２の実施の形態においては、単眼推定距離算出部２０３Ａ、２０８Ａによって算出された２つの推定距離と、ステレオ推定距離算出部２０４Ａによって算出された推定距離と、に対して確信度に応じた重み付けを行うことによって、対象物までの相対距離を算出する。

具体的には、例えばステレオ推定距離算出部２０４Ａの確信度が低い場合には、単眼推定距離算出部２０３Ａ、２０８Ａによって算出された推定距離の重みを増加させ、主として単眼カメラによる距離計測を実行することによって、対象物までの距離を精緻に安定して算出することができる。その際、例えば泥や雨滴の影響等によって２台のカメラのうち一方の距離計測の精度が低下した場合であっても、２台の単眼カメラによる距離計測を組み合わせることによって、泥や雨滴の影響等に対するロバスト性を高めることができる。一方で、例えばステレオ推定距離算出部２０４Ａの確信度が高い場合には、ステレオ推定距離算出部２０４Ａによって算出された推定距離の重みを増加させ、主としてステレオカメラによる距離計測を実行することによって、対象物までの距離を精緻に安定して算出することができる。

また、図示例においては、単眼１と単眼２をステレオ推定距離算出部２０４Ａの確信度毎に同値とする形態について示したが、各カメラ画像保存部１０４Ａａ、１０４Ａｂに保存された各カメラ画像の信頼度に基づいて単眼推定距離算出部２０３Ａ、２０８Ａによって算出された推定距離のそれぞれの重みを算出し、各カメラ画像の信頼度に応じて単眼推定距離算出部２０３Ａ、２０８Ａによって算出された推定距離の重みを可変設定しても良い。例えば泥や雨滴等によって一方のカメラが汚れてしまった場合には、ステレオ推定距離算出部２０４Ａの確信度が低下するとともに、その一方のカメラで撮像されたカメラ画像の信頼度も低下するものの、汚れのないカメラで撮像されたカメラ画像の信頼度は依然として維持されるため、汚れのないカメラで撮像されたカメラ画像に基づいて算出された単眼推定距離の重みを増加させることで、泥や雨滴の影響等に対するロバスト性を更に高めることができる。

なお、上記する第１、２の実施の形態においては、２台のカメラ（撮像装置）を用いる形態について説明したが、少なくとも２つの撮像装置を有し、ステレオカメラによる対象物との距離計測が可能であれば、撮像装置の基数は適宜変更することができる。

また、上記する第１、２の実施の形態においては、ステレオカメラを構成する２台のカメラ（撮像装置）の一方若しくは双方を単眼カメラに用いる形態について説明したが、例えばステレオカメラを構成するカメラと単眼カメラをそれぞれ別個に設けても良い。

なお、本発明は上記した実施形態に限定されるものではなく、様々な変形形態が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１００ 撮像システム
１０１、１０２ カメラ（撮像装置）
１０３ カメラ制御装置
１０４ ＲＡＭ
１０４ａ、１０４ｂ カメラ画像保存部
１０５ ＲＯＭ
１０６ 外部ＩＦ
１０７ 距離算出装置
１０８ ＣＰＵ
１０９ バス
２０２ 推定距離精度算出部
２０３ 単眼推定距離算出部（第１の推定距離算出部）
２０４ ステレオ推定距離算出部（第２の推定距離算出部）
２０５ 推定距離比較部
２０６ 出力距離算出部
２０７ ＨＡＬＴ回路

Claims (9)

1. 複数の撮像装置を備えた撮像システムの距離算出装置であって、
   前記複数の撮像装置のうち単数の撮像装置で撮像された単一の画像に基づいて対象物までの推定距離を算出する第１の推定距離算出部と、
   前記複数の撮像装置のうち少なくとも２つの撮像装置で撮像された画像に基づいて対象物までの推定距離を算出する第２の推定距離算出部と、
   前記第１の推定距離算出部によって算出された第１の推定距離、及び、前記第２の推定距離算出部によって算出された第２の推定距離に対して重み付けを行って、前記対象物までの出力距離を算出する出力距離算出部と、
   を備えることを特徴とする距離算出装置。
2. 前記第１の推定距離算出部は、パターンマッチングによって前記第１の推定距離を算出することを特徴とする請求項１に記載の距離算出装置。
3. 前記出力距離算出部は、前記第２の推定距離算出部の確信度に応じて前記第１の推定距離と前記第２の推定距離との重み付けを行うことを特徴とする請求項１又は２に記載の距離算出装置。
4. 前記距離算出装置は、前記複数の撮像装置のうち単数の撮像装置で撮像された画像に基づいて対象物までの推定距離を算出する前記第１の推定距離算出部を複数備えており、
   前記出力距離算出部は、前記複数の第１の推定距離算出部によって算出された複数の第１の推定距離と、前記第２の推定距離算出部によって算出された第２の推定距離と、前記少なくとも２つの撮像装置で撮像された画像に基づいて算出される前記第２の推定距離算出部の確信度に応じて決定される前記複数の第１の推定距離と前記第２の推定距離との重みと、に基づいて前記出力距離を算出することを特徴とする請求項１から３のいずれか一項に記載の距離算出装置。
5. 前記複数の第１の推定距離のそれぞれの重みは、各第１の推定距離算出部で用いられる各画像の信頼度に基づいて算出されることを特徴とする請求項４に記載の距離算出装置。
6. 前記確信度は、前記少なくとも２つの撮像装置で撮像された画像における対象物の視差値のばらつき度合い、前記少なくとも２つの撮像装置で撮像された画像のボケ度合い、および前記少なくとも２つの撮像装置で撮像された画像に基づいて算出される対象物までの推定距離の少なくともいずれかに基づいて算出されることを特徴とする請求項３から５のいずれか一項に記載の距離算出装置。
7. 前記第１の推定距離と前記第２の推定距離とを比較する推定距離比較部と、
   前記推定距離比較部によって比較された前記第１の推定距離と前記第２の推定距離との差が所定の閾値以上である場合に、前記推定距離比較部から異常信号を受信するＨＡＬＴ回路と、を備えることを特徴とする請求項１から６のいずれか一項に記載の距離算出装置。
8. 前記ＨＡＬＴ回路は、前記推定距離比較部から異常信号を受信すると、前記出力距離算出部に対して中止信号を送信して前記出力距離算出部による出力距離算出を中止することを特徴とする請求項７に記載の距離算出装置。
9. 前記ＨＡＬＴ回路は、前記推定距離比較部から異常信号を受信すると、ユーザに対して当該撮像システムが正常に動作していないことを通知することを特徴とする請求項７又は８に記載の距離算出装置。

Images