JP2012103109A - ステレオ画像処理装置、ステレオ画像処理方法及びプログラム - Google Patents

Abstract

【課題】ハードウェアあるいはソフトウェアの規模を削減して遠近距離の距離画像取得と立体物の検出を行えるステレオ画像処理装置を提供する。
【解決手段】ステレオ画像処理装置は、同じ撮像領域を撮像する３台のカメラを有し、カメラ１１ａとカメラ１１ｃでの撮像画像とのマッチングを行い、所定の単位領域ごとに映像信号の差が最小となる対応領域を求め、対応領域の両画像中における位置のずれ量を遠距離視差Ｐｆとして検出する遠距離用視差検出部２１と、カメラ１１ｂとカメラ１１ｃでの撮像画像とのマッチングを行い、所定の単位領域ごとに映像信号の差が最小となる対応領域を求め、対応領域の両画像中における位置のずれ量を第２視差として検出する近距離用視差検出部２２と、第１視差と第２視差とを統合する視差統合部３１と、統合済みの視差に基づいて、所定の単位領域ごとにその領域に対応する物体までの距離を演算する距離演算部とを備える。
【選択図】図１

Description

本発明は、ステレオマッチングを利用した画像処理装置、画像処理方法及びプログラムに関する。

従来のステレオ画像処理装置は、例えば特許文献１に示すように、複数のカメラを用いて、カメラから撮影対象物の距離を検出している。図７は、従来の画像処理装置の構成概略を示す図である。

遠距離の立体物検出機能は、遠距離用ＣＣＤカメラ１０１１ａ、１０１１ｂに対する遠距離用距離検出部１０２１ａと、距離分布情報を記憶する遠距離用距離画像メモリ１０２１ｂと、距離分布情報から立体物を検出する遠距離立体物検出部１０３０により構成されている。近距離の立体物検出機能は、近距離用ＣＣＤカメラ１０１２ａと、１０１２ｂに対する近距離用距離検出部１０２２ａと、距離分布情報を記憶する近距離用距離画像メモリ１０２２ｂと、距離分布情報から立体物を検出する近距離立体物検出部１０３１により構成されている。立体物統合部１０３２は、遠距離と近距離とで重複して検出した立体物のデータを整理して統合する。

特開平１１−３９５９６号公報

しかしながら、上記した背景技術では、遠距離用と近距離用の複数の距離画像メモリと複数の立体物検出部が必要なうえ、立体物を統合するための手段や方法を必要とするため、装置を実現するためのハードウェアあるいはソフトウェアの規模が大きくなってしまう。

本発明はこのような課題を解決し、ハードウェアあるいはソフトウェアの規模を削減して、遠距離および近距離の距離画像取得と立体物の検出を行えるステレオ画像処理装置、ステレオ画像処理方法及びプログラムを提供することを目的とする。

本発明のステレオ画像処理装置は、第１のカメラと、第２のカメラと、前記第１のカメラと前記第２のカメラとの間に配置される、第３のカメラと、前記第１のカメラで撮像した第１の画像と前記第２のカメラで撮像した第２の画像とのマッチングを行い、所定の単位領域ごとに映像信号の差が最小となる対応領域を求め、前記対応領域の前記第１の画像中における位置と前記第２の画像中における位置とのずれ量を第１視差として検出する第１視差検出部と、前記第１のカメラで撮像した第１の画像と前記第３のカメラで撮像した第３の画像とのマッチングを行い、所定の単位領域ごとに映像信号の差が最小となる対応領域を求め、前記対応領域の前記第１の画像中における位置と前記第３の画像中における位置とのずれ量を第２視差として検出する第２視差検出部と、前記第１視差と前記第２視差とを統合する視差統合部と、前記統合済みの視差に基づいて、所定の単位領域ごとにその単位領域に対応する被写体までの距離を演算する距離演算部とを備える。

この構成により、視差を統合してから距離演算を行なうことにより、第１視差に基づいて求めた距離と第２視差に基づいて求めた距離の両方を記憶する画像メモリを用意する必要がなくなり、ハードウェア規模を削減することができる。また、第１視差から求めた距離画像と第２視差から求めた距離画像のそれぞれに基づいて立体物を検出したり、求めた立体物の統合を行う必要がないので、ソフトウェアの規模を削減することができる。なお、第１のカメラと第２のカメラとの間隔は、第１のカメラと第３のカメラとの間隔より大きいので、遠距離にある立体物までの距離は、第１視差に基づく方が第２視差に基づくよりも精度良く求めることができ、近距離にある立体物までの距離は、第２視差に基づく方が第１視差に基づくよりも精度良く求めることができる。

本発明のステレオ画像処理装置において、前記視差統合部は、前記第２視差と所定の閾値との比較を行う比較部と、前記比較部における比較結果に基づいて、前記第１視差と前記第２視差のいずれかを選択する選択部とを備えてもよい。

この構成により、測距精度の低下、すなわち、視差を精度良く検出できない場合には他方の視差に切り替えることにより、検出精度低下を抑えることが可能となり、遠距離から近距離までの測距精度を向上させることができる。

本発明のステレオ画像処理装置において、前記視差統合部は、前記第１視差検出部にて前記第１視差を求めた際の映像信号の差のデータを取得し、前記映像信号の差が所定の閾値以下であるか否かを評価する評価部と、前記評価部における評価結果に基づいて、前記第１視差と前記第２視差のいずれかを選択する選択部と、を備えてもよい。

この構成により、測距精度の良い方の視差に動的に切り替えて、遠距離から近距離までの測距精度を向上させることができる。

本発明のステレオ画像処理方法は、第１のカメラで撮像した第１の画像と第２のカメラで撮像した第２の画像とのマッチングを行い、所定の単位領域ごとに映像信号の差が最小となる対応領域を求め、前記対応領域の前記第１の画像中における位置と前記第２の画像中における位置とのずれ量を第１視差として検出するステップと、前記第１のカメラで撮像した第１の画像と、前記第１のカメラと前記第２のカメラとの間に配置され、第３のカメラで撮像した第３の画像とのマッチングを行い、所定の単位領域ごとに映像信号の差が最小となる対応領域を求め、前記対応領域の前記第１の画像中における位置と前記第３の画像中における位置とのずれ量を第２視差として検出するステップと、前記第１視差と前記第２視差とを統合するステップと、前記統合済みの視差に基づいて、所定の単位領域ごとにその単位領域に対応する物体までの距離を演算するステップとを備える。

この構成により、視差を統合してから距離演算を行なうことにより、上記した本発明のステレオ画像処理装置と同様に、ハードウェア規模あるいはソフトウェア規模を削減することができる。

本発明のステレオ画像処理方法において、前記視差を統合するステップは、第２視差と所定の閾値とを比較するステップと、前記比較結果に基づいて、前記第１視差と前記第２視差のいずれかを選択するステップとを備えてもよい。

この構成により、測距精度の低下、すなわち、視差を精度良く検出できない場合には他方の視差に切り替えることにより、検出精度低下を抑えることが可能となり、遠距離から近距離までの測距精度を向上させることができる。

本発明のステレオ画像処理方法において、前記視差を統合するステップは、前記第１視差を検出するステップにて前記第１視差を求めた際の映像信号の差のデータを取得し、前記映像信号の差が所定の閾値以下であるか否かを評価するステップと、前記評価結果に基づいて、第１視差と第２視差のいずれかを選択するステップと、備えてもよい。

この構成により、測距精度の良い方の視差に動的に切り替えて、遠距離から近距離までの測距精度を向上させることができる。

本発明のプログラムは、上記ステレオ画像処理方法の各ステップをコンピュータに実行させる構成を有する。

本発明によれば、第１視差と第２視差を統合してから距離演算を行うことにより、距離画像メモリ等のハードウェアや立体物検出部等のソフトウェアの規模を削減しつつ、精度の良い測距を行うことができるという効果を有する。

第１の実施の形態のステレオ画像処理装置のブロック図 第１の実施の形態における視差統合・距離演算部のブロック図 第１及び第２の実施の形態における測距の原理図 第１の実施の形態のステレオ画像処理装置の動作を示すフローチャート 第２の実施の形態における視差統合・距離演算部のブロック図 第２の実施の形態のステレオ画像処理装置の動作を示すフローチャート 従来のステレオ画像処理装置の構成を示すブロック図

以下、本発明の実施の形態のステレオ画像処理装置について、図面を参照しながら説明する。なお、ステレオ画像処理装置は、専用ハードウエアあるいは、ＣＰＵで構成されたプロセッサを備えており、メモリやＨＤＤに格納されているプログラムによって実現される。

（第１の実施の形態）
図１は、第１の実施の形態のステレオ画像処理装置の構成を示すブロック図である。ステレオ画像処理装置は、３台のカメラ１１ａ〜１１ｃと、遠距離用視差検出部２１と、近距離用視差検出部２２と、視差統合部３１と、距離画像メモリ３２と、立体物検出部３３とを有している。カメラ１１ａ〜１１ｃは同じ高さに設置されている。３台のカメラ１１ａ〜１１ｃは、後述する図４に示すように、同じ基線上に配置されると共に、カメラ１１ｂは、カメラ１１ａとカメラ１１ｃの間に配置されている。より具体的には、カメラ１１ａとカメラ１１ｃで構成されるステレオ撮像手段におけるエピポーラ線上に、カメラ１１ｂが映るように、カメラ１１ｂを配置する。カメラ１１ｂとカメラ１１ｃで構成されるステレオ撮像手段におけるエピポーラ線上にカメラ１１ａが位置するとも言える。

遠距離用視差検出部２１は、カメラ１１ａとカメラ１１ｃから入力された映像信号を用いてステレオマッチングを行ない、遠距離の測距を行うと共に、遠距離視差Ｐｆを求める。カメラ１１ａとカメラ１１ｃは、カメラ１１ｂとカメラ１１ｃより間隔が広いので、カメラ１１ａとカメラ１１ｃにより構成されるステレオ撮像手段は、遠距離にある被写体の視差情報を得るのに適している。従って、カメラ１１ａとカメラ１１ｂの画像から視差を検出する構成を遠距離用視差検出部といい、これにより求められた視差を遠距離視差Ｐｆという。

なお、ステレオマッチングでは、比較対象の２つの画像について、所定の単位領域ごとに映像信号の差が最小となる単位領域を求める。つまり、同じ被写体が映っている領域を検出する。本実施の形態では、単位領域として画素を用いている。

近距離用視差検出部２２は、カメラ１１ｂとカメラ１１ｃから入力された映像信号を用いてステレオマッチングを行ない、近距離の測距を行うと共に、近距離視差Ｐｎを求める。遠距離用視差検出部２１および近距離用視差検出部２２は、求めた視差Ｐｆ，Ｐｎのデータを視差統合部３１に入力する。

視差統合部３１は、入力された視差Ｐｆ，Ｐｎのデータを統合し、両画像に共通して映る各画素に対応する被写体までの距離Ｄを演算する機能を有する。視差統合部３１は、順次撮影範囲の各点までの距離を求め、距離画像メモリ３２に格納する。これにより、距離画像が構成される。なお、距離画像とは、カメラから実環境に存在する被写体までの距離の値を有する画像である。

立体物検出部３３は、距離画像メモリ３２から読み出した距離画像に基づいて、立体物を検出する機能を有する。

図２は、視差統合部３１の詳細な構成を示すブロック図である。視差Ｐｆ，Ｐｎは、視差を統合するための選択部３１２に入力される。比較部３１１は、近距離用視差検出部２２で検出した近距離視差Ｐｎと閾値Ｔｈｐとを比較し、比較結果を選択部３１２に入力する。選択部３１２は、入力された比較結果に基づいて、遠距離視差Ｐｆと近距離視差Ｐｎのいずれかを距離演算に用いる統合視差Ｐとして決定する。

次式（１）は、選択部３１２による判断を示す図である。

近距離視差Ｐｎが閾値Ｔｈｐを下回ったとき、選択部３１２は、近距離視差Ｐｎの検出精度が低下したと判断して、遠距離視差Ｐｆを統合視差Ｐとして出力する。近距離視差Ｐｎが閾値Ｔｈｐ以上の場合には、近距離視差Ｐｎを統合視差Ｐとして選択したままとする。距離演算部３１３は、統合視差Ｐに基づいて距離Ｄを演算して出力する。

図３は、ステレオ画像処理装置による測距の原理を示す図である。図３では、図１に示すカメラ１１ａ、１１ｂ，１１ｃに相当する構成として、レンズと撮像素子を記載している。レンズの焦点距離をｆ、遠距離と近距離にある各被写体までの距離をＤｆ，Ｄｎ、基線長をＢｆ，Ｂｎ、視差をＰｆ，Ｐｎとすると、次式（２）（３）で表される。

ここで、視差Ｐｆ，Ｐｎは、撮像素子の画素ピッチをｐと視差の画素数をＮｆ、Ｎｎを用いて、Ｐｆ＝Ｎｆ・ｐ、Ｐｎ＝Ｎｎ・ｐと表される。従って、次式（４）で示されるように視差が画素ピッチｐ以下になると、視差に基づく測距の精度が低下する。

図３に示すように、カメラ１１ｂとカメラ１１ｃとで測距する場合、近距離Ｄｎであれば１画素以上の視差を得ることができるが、遠距離Ｄｆを測距しようとすると近距離視差Ｐｎは画素ピッチｐ以下（Ｐｎ参照）になり、測距の精度が低下する。一方、カメラ１１ａとカメラ１１ｃを用いた場合、遠距離Ｄｆを測距する場合の遠距離視差Ｐｆは前述の近距離視差Ｐｎよりも大きく、１画素以上の視差精度を確保することができる。

そこで、式（１）に示すように、近距離視差Ｐｎが所定の閾値Ｔｈｐを下回ったときに、統合視差Ｐとして遠距離視差Ｐｆを選択する構成にすれば、メモリや演算ハードウェアを削減しつつ、遠距離から近距離まで、精度のよい距離画像取得や立体物検出を実現することが可能になる。例として上記のように視差精度を１画素以上確保するのであれば、近距離視差Ｐｎに対してＴｈｐ＝１に設定することにより、近距離視差Ｐｎから遠距離視差Ｐｆへと切り替えることができる。

図４は、第１の実施の形態のステレオ画像処理装置の動作を示すフローチャートである。ステレオ画像処理装置は、遠距離測距用の２カメラ１１ａ，１１ｃの画像と、近距離測距用の２カメラ１１ｂ，１１ｃの画像合計４枚を同一の露光期間で取得する（Ｓ１０）。続いて、ステレオ画像処理装置は、遠距離測距用の２カメラ出力の画像間でステレオマッチングを行ない遠距離視差Ｐｆを検出し（Ｓ１２）、近距離測距用の２カメラ出力の画像間でステレオマッチングを行ない近距離視差Ｐｎを検出する（Ｓ１４）。

次に、ステレオ画像処理装置は、近距離視差Ｐｎが閾値Ｔｈｐより小さいか否かを比較し（Ｓ１６）、近距離視差Ｐｎが閾値Ｔｈｐより小さいと判定された場合には（Ｓ１６でＹＥＳ）、統合視差Ｐとして遠距離視差Ｐｆを用いて、基線長Ｂとして距離Ｂｆを用いる（Ｓ１８）。近距離視差Ｐｎが閾値Ｔｈｐ以上と判定された場合には（Ｓ１６でＮＯ）、統合視差Ｐとして近距離視差Ｐｎを用いて、基線長Ｂとして距離Ｂｎを用いる（Ｓ２０）。そして、ステレオ画像処理装置は、統合視差Ｐと基線長Ｂを用いて距離Ｄを演算して求め（Ｓ２２）、距離画像メモリ３２に書き込む（Ｓ２４）。

ステレオ画像処理装置は、１フレームの全画素に対する距離演算が終了したかどうかを判断し（Ｓ２６）、終了していれば（Ｓ２６でＹＥＳ）、次のフレームの画像をカメラにより取得するステップＳ１０に戻る。また、終了していなければ（Ｓ２６でＮＯ）、次の画素における距離Ｄを求めるためステレオマッチングの処理Ｓ１２に戻る。以上、第１の実施の形態のステレオ画像処理装置の構成および動作について説明した。

第１の実施の形態のステレオ画像処理装置は、複数の距離画像メモリを用いることなく遠距離視差Ｐｆと近距離視差Ｐｎを統合して、適切に距離画像を生成することができる。

（第２の実施の形態）
次に、第２の実施の形態のステレオ画像処理装置について説明する。第２の実施の形態のステレオ画像処理装置の基本的な構成は、第１の実施の形態と同じである。第２の実施の形態のステレオ画像処理装置は、視差統合部の構成が第１の実施の形態と異なる。

図５は、第２の実施の形態における視差統合部の構成を示す図である。選択部３１２は、入力された遠距離および近距離のそれぞれの視差Ｐｆ，Ｐｎから統合視差Ｐを選択する機能を有している。評価部３１４は、統合視差Ｐの評価を行なって視差がステレオマッチング範囲外であるか否かを判定する。選択部３１２は、評価部３１４による評価結果に基づいて統合視差Ｐを選択する。

ステレオマッチング範囲外か否かの判定は、遠距離視差Ｐｆを求めた際の映像信号の差に基づいて行う。カメラ１１ａの撮像画像中のある点に対応する点（ある点と同じ物を映した点）がカメラ１１ｃの撮像画像中に含まれていない場合には、カメラ１１ｃの撮像画像の中で映像信号が最も近い点が、映像信号が最小になる点として選ばれる。しかし、この点は、実際には対応していないので、その映像信号の差は、対応点の場合と比較して大きい値となる。本実施の形態では、ステレオマッチングを行った際の映像信号の差を所定の閾値と比較し、映像信号の差が所定の閾値以上の場合には、マッチング範囲外と判断する。

ステレオマッチング範囲外と評価された場合には、選択部３１２は、近距離視差Ｐｎを選択して距離演算部３１３に出力し、図３に示すように、カメラ１１ｂ、カメラ１１ｃを用いた測距を行う。

例えば、距離Ｄｆではカメラ１１ａ、カメラ１１ｃを用いた測距にて、両カメラの画像の差が最小になるようにステレオマッチングが可能である。これに対し、近距離Ｄｎｎではカメラ１１ａにおいて撮像エリア外の範囲の画素（ｏｕｔ）が必要となるが、実際にはそのような画素は存在しない。従って、ステレオマッチングの際の映像信号の最小値は所定の閾値以上となる。この場合、カメラ１１ｂ，１１ｃを用いた近距離視差Ｐｎを選択することによりカメラ１１ｂの撮像エリア内画素を用いることができるので、精度の良いマッチングおよび測距が可能となる。

なお、本実施の形態において、視差の評価方法は限定されない。また、視差から演算された距離値を評価することにより選択部３１２を動的に切り替えて制御することも可能である。また、ＴＨｐは１画素以下に設定することもできる。

図６は、第２の実施の形態のステレオ画像処理装置の動作を示すフローチャートである。第２の実施の形態のステレオ画像処理装置の基本的な動作は、第１の実施の形態と同じであるが、第２の実施の形態では、統合視差Ｐの求め方が第１の実施の形態と異なる。以下、第１の実施の形態と相違する処理について説明する。

第２の実施の形態のステレオ画像処理装置は、遠距離視差Ｐｆがマッチング範囲内か否かを判定し（Ｓ１７）、マッチング範囲内の場合には（Ｓ１７でＹＥＳ）、統合視差Ｐとして遠距離視差Ｐｆを用い、基線長Ｂとして距離Ｂｆを用いる（Ｓ１８）。遠距離視差Ｐｆがマッチング範囲内でないと判定された場合には（Ｓ１７でＮＯ）、統合視差Ｐとして遠距離視差Ｐｎを用いて、基線長Ｂとして距離Ｂｎを用いる（Ｓ２０）。

第２の実施の形態のステレオ画像処理装置は、第１の実施の形態と同様に、複数の距離画像メモリを用いることなく遠距離視差Ｐｆと近距離視差Ｐｎを統合して、適切に距離画像を生成することができる。

本発明は、第１視差と第２視差を統合してから距離演算を行うことにより、ハードウェアあるいはソフトウェアの規模を削減しつつ、精度の良い測距を行うことができるという効果を有し、ステレオ画像処理装置、ステレオ画像処理方法等として有用である。

１１ａ，１１ｂ，１１ｃ カメラ
２１ 遠距離用視差検出部
２２ 近距離用視差検出部
３１ 視差統合部
３２ 距離画像メモリ
３３ 立体物検出部
３１１ 比較部
３１２ 選択部
３１３ 距離演算部
３１４ 評価部
１０１１ａ，１０１１ｂ 遠距離用ＣＣＤカメラ
１０１２ａ，１０１２ｂ 近距離用ＣＣＤカメラ
１０２１ａ 遠距離用距離検出部
１０２１ｂ 遠距離用距離画像メモリ
１０２２ａ 近距離用距離検出部
１０２２ｂ 近距離用距離画像メモリ
１０３０ 遠距離立体物検出部
１０３１ 近距離立体物検出部
１０３２ 立体物統合部

Claims (7)

1. 第１のカメラと、
   第２のカメラと、
   前記第１のカメラと前記第２のカメラとの間に配置される、第３のカメラと、
   前記第１のカメラで撮像した第１の画像と前記第２のカメラで撮像した第２の画像とのマッチングを行い、所定の単位領域ごとに映像信号の差が最小となる対応領域を求め、前記対応領域の前記第１の画像中における位置と前記第２の画像中における位置とのずれ量を第１視差として検出する第１視差検出部と、
   前記第１のカメラで撮像した第１の画像と前記第３のカメラで撮像した第３の画像とのマッチングを行い、所定の単位領域ごとに映像信号の差が最小となる対応領域を求め、前記対応領域の前記第１の画像中における位置と前記第３の画像中における位置とのずれ量を第２視差として検出する第２視差検出部と、
   前記第１視差と前記第２視差とを統合する視差統合部と、
   前記統合済みの視差に基づいて、所定の単位領域ごとにその単位領域に対応する被写体までの距離を演算する距離演算部と、
   を備えるステレオ画像処理装置。
2. 前記視差統合部は、
   前記第２視差と所定の閾値との比較を行う比較部と、
   前記比較部における比較結果に基づいて、前記第１視差と前記第２視差のいずれかを選択する選択部と、
   を備える請求項１に記載のステレオ画像処理装置。
3. 前記視差統合部は、
   前記第１視差検出部にて前記第１視差を求めた際の映像信号の差のデータを取得し、前記映像信号の差が所定の閾値以下であるか否かを評価する評価部と、
   前記評価部における評価結果に基づいて、前記第１視差と前記第２視差のいずれかを選択する選択部と、
   を備える請求項１に記載のステレオ画像処理装置。
4. 第１のカメラで撮像した第１の画像と第２のカメラで撮像した第２の画像とのマッチングを行い、所定の単位領域ごとに映像信号の差が最小となる対応領域を求め、前記対応領域の前記第１の画像中における位置と前記第２の画像中における位置とのずれ量を第１視差として検出するステップと、
   前記第１のカメラで撮像した第１の画像と、前記第１のカメラと前記第２のカメラとの間に配置される、第３のカメラで撮像した第３の画像とのマッチングを行い、所定の単位領域ごとに映像信号の差が最小となる対応領域を求め、前記対応領域の前記第１の画像中における位置と前記第３の画像中における位置とのずれ量を第２視差として検出するステップと、
   前記第１視差と前記第２視差とを統合するステップと、
   前記統合済みの視差に基づいて、所定の単位領域ごとにその単位領域に対応する被写体までの距離を演算するステップと、
   を備えるステレオ画像処理方法。
5. 前記視差を統合するステップは、
   前記第２視差と所定の閾値とを比較するステップと、
   前記比較結果に基づいて、前記第１視差と前記第２視差のいずれかを選択するステップと、
   を備える請求項４に記載のステレオ画像処理方法。
6. 前記視差を統合するステップは、
   前記第１視差を検出するステップにて前記第１視差を求めた際の映像信号の差のデータを取得し、前記映像信号の差が所定の閾値以下であるか否かを評価するステップと、
   前記評価結果に基づいて、前記第１視差と前記第２視差のいずれかを選択するステップと、
   を備える請求項４に記載のステレオ画像処理方法。
7. 請求項４乃至６のいずれかに記載のステレオ画像処理方法の各ステップをコンピュータに実行させるプログラム。

Images