JP2011007794A - デュアルステレオカメラを備えた距離測定装置 - Google Patents

Abstract

【課題】より正確な距離情報を抽出できるデュアルステレオカメラを備えた距離測定装置を提供する。
【解決手段】距離測定装置は、１つの基板上に所定の間隔で配置された左眼ＣＭＯＳイメージセンサ１１３及び右眼ＣＭＯＳイメージセンサ１１５を有し、基準物体の視差を検出して距離情報を抽出する第１ステレオカメラ１１０と、該第１ステレオカメラ１１０から一定距離隔てて配置され、１つの基板上に所定の間隔で配置された左眼ＣＭＯＳイメージセンサ１２３及び右眼ＣＭＯＳイメージセンサ１２５を有し、基準物体の視差を検出して距離情報を抽出する第２ステレオカメラ１２０と、前記第１ステレオカメラから得られた基準物体に対する距離情報と前記第２ステレオカメラから得られた前記基準物体に対する距離情報を比べて、前記基準物体に対する距離情報を抽出する距離マップマッチング部１３０とを備える。
【選択図】図１

Description

本発明は、距離測定装置に関するものであり、より詳細には、２つのイメージセンサが１つの基板に実装されているステレオカメラを２台設置し、それぞれのステレオカメラから得られた基準物体に対する距離マップをお互いにマッチングさせてより正確な距離情報を抽出することができるデュアルステレオカメラを備えた距離測定装置に関するものである。

情報通信技術の発展は、文字、音声及び映像を高速処理するデジタル端末機に２次元映像と音声を支援するマルチメディアサービスを可能にするとともに、現在、立体的に表現するマルチメディアサービスを提供する３次元立体情報通信サービスに対する研究が行われている。

一般に、３次元映像を表現する立体画像は、２つの目を用いたステレオ視覚の原理によって行われる。立体感の重要な要因は、人の２つの目が約６５ｍｍ程度離れているために現われる２つの目の視差(parallax)、すなわち両眼視差であると言える。従って、左右の目が互いに異なる２次元画像を見て、この２つの画像が網膜を通じて脳に伝達されると、脳はこれらを融合して、本来の３次元映像の遠近感と臨場感を再生する。これを一般にステレオグラフィ(stereography)と称する。

一方、最近では、前方にある物体の距離を感知することができるステレオ視覚システムに対する研究が進行している。このようなステレオ視覚システムは、透視変換によって３次元空間を２次元空間にマッピングするステレオカメラ２台を利用して、ステレオカメラの幾何学的な配置から３次元情報を復元する。

こうした手法で距離情報を求める従来の方法は、２個のカメラ（カメラ間の間隔は約１０〜２０ｃｍ）を利用して、左側映像データと右側映像データをそれぞれ取得する。このように得られた２個の映像データに対して、それぞれ輪郭線検出作業を施して、ここで互いにマッチングするポイントを捜すことによって距離情報を求める。

ところが、上述のような方式で２つのイメージを比べて同一の点を捜すことは、複雑な計算を要する。大部分の場合には、イメージ上の境界(Edge)を抽出し、角などを同一点と仮定して、深さ情報を求める方式を使用する。このようなイメージ処理および同一点の判断などは複雑であり、距離測定の精度が低く、正確な距離を測定することができないため、これを補正するために多くの処理を必要とする。

最近になって、近距離の３次元情報を得るために、１つの基板上に左側及び右側のイメージセンサを設けて、前記左側及び右側のイメージセンサから得られたイメージを処理し、３次元情報を抽出するウェハレベルのステレオカメラ（カメラ間の間隔は、１〜２ｃｍ）に対する研究が進行している。

しかし、このようなウェハレベルのステレオカメラの場合、１つのウェハ上に２つのイメージセンサを設けなければならないため、２つのイメージセンサの中心間の距離が短かくなり、これにより遠距離にある物体の距離情報を正確に測定できないという問題がある。

本発明が解決しようとする課題は、各ウェハレベルのステレオカメラで取得した低い精度の距離情報を使用して、他方のウェハレベルのステレオカメラで取得した距離情報とマッチングさせることにより、距離情報の精度を向上させることができるデュアルステレオカメラを備えた距離測定装置を提供することにある。

前記技術的課題を達成するために、本発明によるデュアルステレオカメラを備えた距離測定装置は、１つの基板上に所定の間隔で配置された左眼ＣＭＯＳイメージセンサ及び右眼ＣＭＯＳイメージセンサを有し、基準物体の視差を検出して距離情報を抽出する第１ステレオカメラと、
該第１ステレオカメラから一定距離隔てて配置され、１つの基板上に所定の間隔で配置された左眼ＣＭＯＳイメージセンサ及び右眼ＣＭＯＳイメージセンサを有し、基準物体の視差を検出して距離情報を抽出する第２ステレオカメラと、
前記第１ステレオカメラから得られた基準物体に対する距離情報と前記第２ステレオカメラから得られた前記基準物体に対する距離情報を比べて、前記基準物体に対する距離情報を抽出する距離マップマッチング部と、を備えることを特徴とする。

本発明によるデュアルステレオカメラを備えた距離測定装置は、２つのウェハレベルのステレオカメラを使用して距離情報に対する精度を向上させることができ、カメラのアライメント(alignment)のためのキャリブレーション(calibration)を要しない。

また、ウェハレベルのステレオカメラ自体に個別の空間軸を有しているため、２つのウェハレベルのステレオカメラのイメージセンサ間の距離調節及びイメージセンサ間のチルト(tilt)機能が可能であり、距離測定が容易になる。

本発明によるデュアルステレオカメラを利用した距離測定装置の一実施形態を示す構成図である。 本発明によるデュアルステレオカメラを利用して正確な距離情報を抽出することを示す概念図である。 本発明によるデュアルステレオカメラを備えた距離測定装置を利用して正確な距離情報を抽出することを示す他の概念図である。

以下、本発明の具体的な実施形態について図面を参照して詳しく説明する。

図１は、本発明によるデュアルステレオカメラを利用した距離測定装置の一実施形態を示す構成図である。

図１を参照して、本発明によるデュアルステレオカメラを利用した距離測定装置１００は、第１ステレオカメラ１１０、第２ステレオカメラ１２０、及び距離マップマッチング部１３０を備える。

第１ステレオカメラ１１０は、左眼レンズ１１１と右眼レンズ１１２、左眼イメージセンサ１１３と右眼イメージセンサ１１５、及び信号処理部１１４を備える。

左眼レンズ１１１と右眼レンズ１１２は、点光源からの光を同一平面で受け入れる。

左眼イメージセンサ１１３と右眼イメージセンサ１１５は、左眼レンズ１１１と右眼レンズ１１２の下にそれぞれ位置して、１つの基板上に所定の間隔で配置される。

信号処理部１１４は、左眼イメージセンサ１１３と右眼イメージセンサ１１５との間に配置され、左眼イメージセンサ１１３と右眼イメージセンサ１１５の各々から得られたイメージが入力され、前記点光源の距離情報を抽出する。

第２ステレオカメラ１２０は、第１ステレオカメラ１１０と一定距離隔てて配置されており、第１ステレオカメラ１１０の構成と同一であるため、詳細な説明は省略する。

距離マップマッチング部１３０は、第１ステレオカメラ１１０で得られた基準物体に対する距離情報と第２ステレオカメラ１２０で得られた前記基準物体に対する距離情報を比べて、前記基準物体に対する正確な距離情報を抽出する。

既存のステレオカメラを利用した距離測定装置が左眼のイメージと右眼のイメージを比べる方式を使用することと比べて、本発明による距離測定装置は、第１ステレオカメラから得られた距離マップ(depth map)と第２ステレオカメラから得られた距離マップ(depth map)を互いにマッチング(matching)させる方式を使用するという点で区別される。

図２は、本発明によるデュアルステレオカメラを備えた距離測定装置を利用して、正確な距離情報を抽出することを示す概念図である。

図２に示したように、１つの基板上に２つのイメージセンサを備えたウェハレベルの第１ステレオカメラ２１０を用いて、両眼視差を利用して基準物体に対する距離マップ２３０を得る。ステレオカメラから得られる距離情報の正確さは、２つのイメージセンサ間の距離に依存した関数であり、一般に、２つのイメージセンサ間の距離が小さいほど、距離に対する分解能が低下するようになる。ウェハレベルのステレオカメラ間の間隔（１〜２ｃｍ）は、一般的なステレオカメラでのカメラ間の間隔（１０〜１５ｃｍ）に比べて小さいため、ウェハレベルのステレオカメラから得られた距離マップ２３０は、距離の正確さに対する誤差が大きくなる。

また、１つの基板上に２つのイメージセンサを備えたウェハレベルの第２ステレオカメラ２２０においても同様に、両眼視差を利用して基準物体に対する距離マップ２４０を得る。

以後、距離マップマッチング部を利用し、第１ステレオカメラ２１０で得られた距離マップ２３０と第２ステレオカメラ２２０で得られた距離マップ２４０を比べてマッチングさせることによって、より正確な距離マップ２５０を得ることができる。

即ち、本発明によるデュアルステレオカメラを備えた距離測定装置は、ウェハレベルのステレオカメラで取得した精度が低い距離情報を使用し、対応したウェハレベルのステレオカメラで取得した精度が低い距離情報と比べて距離マップをマッチングさせる方法を利用することによって、距離情報の精度を向上させることを特徴とする。

従来のステレオカメラの場合、１つのカメラの位置に変動が生じたとき、ステレオカメラ全体のキャリブレーションを必要とする。これに対して、本発明によるデュアルステレオカメラを備えた距離測定装置の第１ステレオカメラ及び第２ステレオカメラは、２つのイメージセンサが１つの基板上に実装されているため、カメラのアライメント(alignment)のための個別のキャリブレーションを要しない。

図３は、本発明によるデュアルステレオカメラを備えた距離測定装置を利用して正確な距離情報を抽出することを示す他の概念図である。

図３（ａ）及び図３（ｂ）に示すように、第１ステレオカメラ２１０と第２ステレオカメラ２２０で求められた距離情報はそれぞれ誤差を有しているが、これらを互いにマッチングをさせることにより、高い距離分解能を有した距離マップを最終的に得ることができる。

また、第１ステレオカメラ２１０と第２ステレオカメラ２２０は、２つのイメージセンサが実装されている平面の軸（Ｘ軸、Ｙ軸）に対して別途の空間軸（Ｚ軸）を有するため、測定しようとする基準物体の位置に応じて２つのカメラ間の距離（Ｓ）及び回転角(tilt angle)を調節することが可能であり、これを通じて距離情報を正確に抽出することができる。

本発明によるデュアルステレオカメラを備えた距離測定装置を車両用として使用する場合には、第１ステレオカメラと第２ステレオカメラとの間の距離を１０ｃｍ以内で調整することができ、測量用として使用する場合にはその距離を１５ｃｍ以上にして遠距離の情報を得ることができる。

以上では、本発明に対する技術思想を添付図面とともに敍述したが、これは本発明の望ましい実施例を例示的に説明したものだけであり、本発明を限定するものではない。また、本発明が属する技術分野で通常の知識を持った者なら誰も本発明の技術的思想の範疇を離脱しない範囲内で多様な変形及び模倣が可能であることは明白な事実である。

１００ 距離測定装置
１１０ 第１ステレオカメラ
１１１，１２１ 左眼レンズ
１１２，１２２ 右眼レンズ
１１３，１２３ 左眼イメージセンサ
１１４，１２４ 信号処理部
１１５，１２５ 右眼イメージセンサ
１２０ 第２ステレオカメラ
１３０ 距離マップマッチング部

Claims (5)

1. ステレオカメラを利用した距離測定装置において、
   １つの基板上に所定の間隔で配置された左眼ＣＭＯＳイメージセンサ及び右眼ＣＭＯＳイメージセンサを有し、基準物体の視差を検出して距離情報を抽出する第１ステレオカメラと、
   前記第１ステレオカメラから一定距離隔てて配置され、１つの基板上に所定の間隔で配置された左眼ＣＭＯＳイメージセンサ及び右眼ＣＭＯＳイメージセンサを有し、基準物体の視差を検出して距離情報を抽出する第２ステレオカメラと、
   前記第１ステレオカメラから得られた基準物体に対する距離情報と前記第２ステレオカメラから得られた前記基準物体に対する距離情報を比べて、前記基準物体に対する距離情報を抽出する距離マップマッチング部と、を備えることを特徴とするデュアルステレオカメラを備えた距離測定装置。
2. 前記第１ステレオカメラ及び前記第２ステレオカメラは、
   点光源からの光を同一平面で受け入れる左眼レンズ及び右眼レンズと、
   前記左眼レンズ及び右眼レンズに対して垂直な方向に所定の距離隔てて配置され、１つの基板上に所定の間隔でそれぞれ配置された左眼ＣＭＯＳイメージセンサ及び右眼ＣＭＯＳイメージセンサと、
   前記左眼ＣＭＯＳイメージセンサ及び右眼ＣＭＯＳイメージセンサの間に配置され、前記２個のＣＭＯＳイメージセンサの各々から得られたイメージが入力され、前記点光源の３次元情報を抽出する信号処理部と、を備えることを特徴とする請求項１に記載のデュアルステレオカメラを備えた距離測定装置。
3. 前記距離マップマッチング部は、
   前記第１ステレオカメラから得られた基準物体に対する距離情報によって求めた距離マップと前記第２ステレオカメラから得られた基準物体に対する距離情報によって求めた距離マップを互いにマッチングさせて、前記基準物体に対する距離情報を抽出することを特徴とする請求項２に記載のデュアルステレオカメラを備えた距離測定装置。
4. 前記第１ステレオカメラと前記第２ステレオカメラとの間の距離は、可変であることを特徴とする請求項３に記載のデュアルステレオカメラを具備した距離測定装置。
5. 前記第１ステレオカメラと前記第２ステレオカメラは、
   測定しようとする前記基準物体の位置に応じて回転可能であることを特徴とする請求項３に記載のデュアルステレオカメラを具備した距離測定装置。