JP2018200190A - 画像処理装置、ステレオカメラシステム、移動体、路面形状検出方法およびプログラム - Google Patents

Abstract

【課題】路面の形状を検出して物体認識の精度を向上する。【解決手段】画像処理装置２０は、入力部２１と制御部２２とを含む。入力部２１は、ステレオ画像を取得する。制御部２２は、入力部２１で取得したステレオ画像から視差分布を算出し、該視差分布に基づいて視差が等しい点を結ぶ複数の等視差線を算出する。制御部２２は、複数の等視差線に基づいて路面の形状を検知する。【選択図】図１

Description

本開示は、画像処理装置、ステレオカメラシステム、移動体、路面形状検出方法およびプログラムに関する。

近年、自動車等の移動体にステレオカメラシステムが設けられ、立体物の検出及び距離測定等に用いられている。ステレオカメラシステムでは、複数のカメラから取得した複数の画像のそれぞれから、画像全体に渡って距離分布を求め、この距離分布の情報から、障害物を判別する方法が提案されている（例えば、特許文献１参照）。

特開平５−２６５５４７号公報

しかしながら、従来のステレオカメラシステムでは、移動体の走行する路面が水平であるということを前提として、道路上の物体を認識している。このため、実際の路面に傾きまたは起伏があると、道路上の物体の高さを誤って判定することがある。例えば、路面の右側が高くなっている場合、路面の右側にある高さが低い物体を、高さが高い大きな物体であると判断することがある。また、路面の左側にある高さが高い物体を、高さの低い小さな物体であると判断することがある。

したがって、これらの点に着目してなされた本発明の目的は、路面の傾きおよび起伏等の形状を検出して物体認識の精度を向上した画像処理装置、ステレオカメラシステム、移動体、路面形状検出方法およびプログラムを提供することにある。

本開示の一実施形態に係る画像処理装置は、入力部とプロセッサとを含む。入力部は、ステレオカメラからステレオ画像を取得する。プロセッサは、入力部で取得したステレオ画像から視差分布を算出し、該視差分布に基づいて視差が等しい点を結ぶ複数の等視差線を算出する。プロセッサは、複数の等視差線に基づいて路面の形状を検知する。

本開示の一実施形態に係るステレオカメラシステムは、ステレオカメラとプロセッサとを含む。ステレオカメラは、ステレオ画像を撮像する。プロセッサは、ステレオカメラにより撮像されたステレオ画像から視差分布を算出し、該視差分布に基づいて視差が等しい点を結ぶ複数の等視差線を算出する。プロセッサは、複数の等視差線に基づいて路面の形状を検知する。

本開示の一実施形態に係る移動体は、ステレオカメラシステムを含む。ステレオカメラシステムは、ステレオカメラとプロセッサとを含む。ステレオカメラは、ステレオ画像を撮像する。プロセッサは、ステレオカメラにより撮像されたステレオ画像から視差分布を算出し、該視差分布に基づいて視差が等しい点を結ぶ複数の等視差線を算出する。プロセッサは、複数の等視差線に基づいて路面の形状を検知する。

本開示の一実施形態に係る路面形状検出方法は、ステレオ画像から視差分布を算出し、該視差分布に基づいて視差が等しい点を結ぶ複数の等視差線を算出し、前記複数の等視差線に基づいて路面の形状を検知する。

本開示の一実施形態に係るプログラムは、コンピュータに、ステレオ画像から視差分布を算出する手順と、該視差分布に基づいて視差が等しい点を結ぶ複数の等視差線を算出する手順と、前記複数の等視差線に基づいて路面の形状を検知する手順とを実行させる。

本発明の実施形態に係る画像処理装置、ステレオカメラシステム、移動体、路面形状検出方法およびプログラムによれば、物体認識の精度を向上させることができる。

図１は、複数の実施形態の１つに係るステレオカメラシステムの概略構成を示すブロック図である。 図２は、図１のステレオカメラシステムを搭載する移動体を模式的に示す側面図である。 図３は、図１のステレオカメラシステムを搭載する移動体を模式的に示す正面図である。 図４は、図１の画像処理装置のプロセッサが行う処理の一例を示すフローチャートである。 図５は、図１のステレオカメラの何れか一方のカメラで撮像される画像の一例を示す図である。 図６は、図５の画像に対応する第１視差画像を説明する図である。 図７は、図５の図６の第１視差画像から立体物を除去して得られる第２視差画像を説明する図である。 図８は、図７の第２視差画像から得られる等視差線を示す図である。 図９は、図１の画像処理装置の制御部が行う処理の他の一例を示すフローチャートである。 図１０は、視差画像から検出される視差と画像垂直位置との関係の一例を示す図である。 図１１は、図１０で欠落している視差に対応する画像垂直位置を補完して得られる視差と画像垂直位置との関係を示す図である。 図１２は、図１１において、所定値より小さい視差に対応する画像垂直位置をカルマンフィルタにより推測して得られる視差と画像垂直位置との関係を示す図である。

以下、本発明の実施の形態について、図面を参照して説明する。なお、以下の説明で用いられる図は模式的なものである。図面上の寸法比率等は、現実のものとは必ずしも一致していない。

図１に示すように、ステレオカメラシステム１は、ステレオカメラ１０と画像処理装置２０とを含む。ステレオカメラ１０と画像処理装置２０とは、有線または無線のネットワーク３０を介して互いに通信可能である。ネットワーク３０は、例えば無線、有線、またはＣＡＮ（Controller Area Network）等を含んでよい。また、ステレオカメラ１０と画像処理装置２０とは、同一の筺体内に収納され一体的に構成されてよい。ステレオカメラ１０と画像処理装置２０とが同一の筺体に収納された装置を、ステレオカメラ装置と呼びうる。ステレオカメラ１０及び画像処理装置２０は、移動体に設けられ移動体内のＥＣＵ４０（Electronic Control Unit）と通信可能としてよい。

「ステレオカメラ」とは、互いに視差を有し、互いに協働する複数のカメラである。ステレオカメラは、少なくとも２つ以上のカメラを含む。ステレオカメラでは、複数のカメラを協働させて、複数の方向から対象を撮像することが可能である。ステレオカメラには、複数のカメラを協働させて対象を同時に撮像することができるものが含まれる。撮影の「同時」は、完全な同じ時刻に限られない。例えば、（１）複数のカメラが同時刻に撮像すること、（２）複数のカメラが同じ信号に基づいて撮像すること、及び（３）複数のカメラが各々の内部時計において同時刻に撮像することは、本開示における「同時」に撮影するに含まれる。撮像の時間基準には、撮像の開始時刻、撮像の終了時刻、撮像した画像データの送信時刻、及び画像データを相手機器が受信した時刻が含まれる。ステレオカメラは、１つの筐体に複数のカメラが含まれる機器であってよい。ステレオカメラは互いに独立し、且つ互いに離れて位置する２台以上のカメラを含む機器であってよい。ステレオカメラは、互いに独立した複数のカメラに限られない。本開示では、例えば、離れた２箇所に入射される光を１つの受光素子に導く光学機構を有するカメラをステレオカメラとして採用できる。本開示では、同じ被写体を異なる視点から撮像した複数の画像を「ステレオ画像」と呼ぶことがある。

ステレオカメラ１０は、第１カメラ１１と第２カメラ１２とを備える。第１カメラ１１および第２カメラ１２は、それぞれ光軸ＯＸを規定する光学系と撮像素子とを備える。第１カメラ１１および第２カメラ１２はそれぞれ異なる光軸ＯＸを有するが、本明細書の説明では単一の符号ＯＸのみで、カメラ１１およびカメラ１２双方の光軸をまとめて表す。撮像素子は、ＣＣＤイメージセンサ（Charge-Coupled Device Image Sensor）、及びＣＭＯＳイメージセンサ（Complementary MOS Image Sensor）を含む。第１カメラ１１および第２カメラ１２は、撮像素子で結像された画像を表す画像信号を生成する。また、第１カメラ１１および第２カメラ１２は、撮像した画像について、歪み補正、明度調整、コントラスト調整、ガンマ補正等の任意の処理を行ってもよい。

第１カメラ１１および第２カメラ１２の光軸ＯＸは、互いに同じ被写体を撮像可能な方向を向いている。第１カメラ１１及び第２カメラ１２は、互いの光軸ＯＸが異なる。第１カメラ１１及び第２カメラ１２は、撮像した画像に少なくとも同じ被写体が含まれるように、光軸ＯＸ及び位置が定められる。第１カメラ１１及び第２カメラ１２の光軸ＯＸは、互いに平行になるように向けられる。この平行は、厳密な平行に限られず、組み立てのずれ、取付けのずれ、及びこれらの経時によるずれを許容する。第１カメラ１１及び第２カメラ１２の光軸ＯＸは、平行に限られず、互いに異なる方向でよい。

図２及び図３に示すように、図１のステレオカメラシステム１は、移動体５０に搭載される。図２の側面図に示すように、第１カメラ１１及び第２カメラ１２は、移動体５０の前方を撮像するように、第１カメラ１１および第２カメラ１２の各光学系の光軸ＯＸが移動体５０の前方と略平行となるように配置される。なお、本願において前方とは、移動体の５０の直進時の進行方向であり、右および左は前方を基準にした右および左を意味する。また、高さ方向は路面に垂直で上向きの方向である。

本開示における「移動体」は、例えば車両、航空機を含んでよい。車両は、例えば自動車、産業車両、鉄道車両、生活車両、および滑走路を走行する固定翼機等を含んでよい。自動車は、例えば乗用車、トラック、バス、二輪車、およびトロリーバス等を含んでよい。産業車両は、例えば農業および建設向けの産業車両等を含んでよい。産業車両は、例えばフォークリフトおよびゴルフカート等を含んでよい。農業向けの産業車両は、例えばトラクター、耕耘機、移植機、バインダー、コンバイン、および芝刈り機等を含んでよい。建設向けの産業車両は、例えばブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、およびロードローラ等を含んでよい。車両は、人力で走行するものを含んでよい。車両の分類は、上述した例に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。航空機は、例えば固定翼機および回転翼機等を含んでよい。

本開示の移動体５０は、道路または滑走路等の上を走行する。移動体５０が走行する道路または滑走路の表面を路面とよぶ。

第１カメラ１１および第２カメラ１２がそれぞれ備える撮像素子は、それぞれの光軸ＯＸに垂直な同一面内に存在する。図３の正面図に示すように、第１カメラ１１および第２カメラ１２は、それぞれが備える撮像素子の中心等の基準点を通る直線（基準線）が水平となるように配置されてよい。また、撮像素子の基準線は、水平方向よりも若干上方または下方に向けてもよい。

第１カメラ１１および第２カメラ１２は、光軸ＯＸに交わる方向において離れて位置している。複数の実施形態のうちの１つにおいて、第１カメラ１１および第２カメラ１２は、移動体５０の幅方向に沿って位置している。第１カメラ１１は、前方を向いたときに第２カメラ１２の左側に位置する。第２カメラ１２は、前方を向いたときに第１カメラ１１の右側に位置する。第１カメラ１１と第２カメラ１２との位置の違いにより、各カメラで撮像した２つの画像において、互いに対応する被写体の位置は、異なる。第１カメラ１１から出力される第１画像と、第２カメラ１２から出力される第２画像とは、異なる視点から撮像したステレオ画像となる。第１カメラ１１および第２カメラ１２は、所定のフレームレート（例えば３０ｆｐｓ）で被写体を撮像する。

複数の実施形態のうちの１つにおいて、第１カメラ１１および第２カメラ１２の光軸ＯＸは、移動体５０の前方に向けて固定されている。複数の実施形態のうちの１つにおいて、第１カメラ１１および第２カメラ１２は、移動体５０のウインドシールドを介して移動体５０の外部を撮像できる。複数の実施形態の１つにおいて、第１カメラ１１および第２カメラ１２は、車両のフロントバンパー、フェンダーグリル、サイドフェンダー、ライトモジュール、及びボンネットのいずれかに固定されていてよい。

画像処理装置２０は、入出力部２１と制御部２２とを備える。画像処理装置２０は、移動体５０内において任意の位置に配置できる。例えば、画像処理装置２０は、移動体５０のダッシュボード内に配置できる。

入出力部２１は、画像データを入力する画像処理装置２０の入力インタフェースであり、且つ、画像処理装置２０から移動体５０内の他の装置に情報を出力する出力インタフェースである。したがって、入出力部２１は、入力部であり且つ出力部である。移動体内の他の装置には、ＥＣＵ（Electronic Control Unit）４０を含む。入出力部２１は、物理コネクタ、及び無線通信機が採用できる。物理コネクタは、電気信号による伝送に対応した電気コネクタ、光信号による伝送に対応した光コネクタ、及び電磁波による伝送に対応した電磁コネクタが含まれる。電気コネクタには、ＩＥＣ６０６０３に準拠するコネクタ、ＵＳＢ規格に準拠するコネクタ、ＲＣＡ端子に対応するコネクタ、EIAJ CP-1211Aに規定されるＳ端子に対応するコネクタ、EIAJ RC-5237に規定されるＤ端子に対応するコネクタ、ＨＤＭＩ（登録商標）規格に準拠するコネクタ、及びＢＮＣを含む同軸ケーブルに対応するコネクタを含む。光コネクタは、IEC 61754に準拠する種々のコネクタを含む。無線通信機は、Bluetooth（登録商標）、及びIEEE802.11を含む各規格に準拠する無線通信機を含む。無線通信機は、少なくとも１つのアンテナを含む。

入出力部２１には、第１カメラ１１及び第２カメラ１２の各々が撮像した画像の画像データが入力される。入出力部２１は入力された画像データを制御部２２に引き渡す。入出力部２１は、ステレオカメラ１０の撮像信号の伝送方式に対応してよい。入出力部２１は、ネットワーク３０を介してステレオカメラ１０の出力インタフェースに接続してよい。画像処理装置２０は、入出力部２１を介して、移動体５０内の他の装置のＥＣＵ４０に出力しうる。ＥＣＵ４０は、画像処理装置２０から受信した情報を適宜使用しうる。

制御部２２は、一つまたは複数のプロセッサを含む。制御部２２もしくはプロセッサは、種々の処理のためのプログラム及び演算中の情報を記憶する１または複数のメモリを含んでよい。メモリは、揮発性メモリ及び不揮発性メモリが含まれる。メモリは、プロセッサと独立しているメモリ、及びプロセッサの内蔵メモリが含まれる。プロセッサには、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、特定の処理に特化した専用のプロセッサが含まれる。専用のプロセッサには、特定用途向けＩＣ（ＡＳＩＣ；Application Specific Integrated Circuit）が含まれる。プロセッサには、プログラマブルロジックデバイス（ＰＬＤ；Programmable Logic Device）が含まれる。ＰＬＤには、ＦＰＧＡ（Field-Programmable Gate Array）が含まれる。制御部２２は、一つまたは複数のプロセッサが協働するＳｏＣ（System-on-a-Chip）、及びＳｉＰ（System In a Package）のいずれかであってよい。制御部２２の実行する処理は、プロセッサが実行する処理と言い換えることができる。

画像処理装置２０は、以下に説明する制御部２２が行う処理を、非一時的なコンピュータ可読媒体に記録されたプログラムを読み込んで実装するように構成されてよい。非一時的なコンピュータ可読媒体は、磁気記憶媒体、光学記憶媒体、光磁気記憶媒体、半導体記憶媒体を含むがこれらに限られない。磁気記憶媒体は、磁気ディスク、ハードディスク、磁気テープを含む。光学記憶媒体は、ＣＤ（Compact Disc）、ＤＶＤ、ブルーレイディスク（Blu-ray（登録商標） Disc）等の光ディスクを含む。半導体記憶媒体は、ＲＯＭ（Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、フラッシュメモリを含む。

制御部２２は、画像処理装置２０全体および各構成要素の制御を行うとともに、ステレオカメラ１０から取得した画像データに基づくステレオ画像の処理を行う。以下に図４を参照して制御部２２の行う処理を説明する。

制御部２２は、入出力部２１を介して、ステレオカメラ１０の第１カメラ１１および第２カメラによって撮像された画像を取得する（ステップＳ１０１）。制御部２２は、第１カメラ１１から取得した第１画像および第２カメラ１２から取得した第２画像に対して、視差を検出する前に前処理を行ってよい。前処理には、画像の歪み補正、第１画像および第２画像の間のコントラスト調整、エッジ強調、第１カメラ１１および第２カメラ１２の間のずれのソフトウェアによる較正等の処理を含みうる。制御部２２は、前処理を行った第１画像および第２画像をメモリに格納する。

図５に第１カメラ１１または第２カメラ１２から取得される画像の例を模式的に示す。図５では、車両である移動体５０が、トンネル内の道路の左車線上を走行している様子を示している。道路は右方向にカーブしており前方にはトンネルの壁が見えている。また、画像内には前方を走行する車両が撮像されている。第１画像および第２画像は、視差の違いを除き、同一の被写体を撮像した画像となっている。図５および以下の図６から図８は、説明のためのものであって、実際に撮像され、または処理された画像とは異なる。

ステップＳ１０１の後、制御部２２は、第１カメラ１１から取得した第１画像及び第２カメラ１２から取得した第２画像の視差分布を算出する（ステップＳ１０２）。制御部２２は、第１画像及び第２画像の一方の画像（例えば、第１画像）を多数の小領域に分割する。小領域は、例えば、縦横ともに３から９画素の矩形の領域である。例えば、小領域は、縦方向３画素、横方向３画素で構成されうる。制御部２２は、分割した複数の小領域の各々の画像と他方の画像（例えば、第２画像）とを、１画素ずつ水平方向にずらしながらマッチングさせる。ステレオ画像のマッチングには、ＳＡＤ（Sum of Absolute Difference）関数を用いる方法が知られている。これは、小領域内の輝度値の差の絶対値の総和を表すものである。ＳＡＤ関数が最小となるとき、両画像は最も類似すると判断される。ステレオ画像のマッチングは、ＳＡＤ関数を用いる方法に限られず、他の方法を採用しうる。

制御部２２は、第１画像と第２画像とでマッチングした２つの領域の横方向における画素の位置の違いに基づいて、当該小領域ごとの視差を算出する。視差の大きさは、画素の横方向の幅を単位として表すことができる。視差の大きさは距離に対応する。視差が大きければ距離が近く、視差が小さければ距離が遠いことを意味する。ステレオ演算部は、算出した視差の分布を示す視差画像を生成する。したがって、視差分布は視差画像と言い換えることができる。視差画像を構成する視差を表す画素を視差画素とよぶ。補間処理をすることにより、元の第１画像および第２画像の画素の精度で視差画像を生成することができる。

図６は、図５の画像に対応した視差画像の一例を模式的に示している。図５の視差画像を第１視差画像とよぶ。制御部２２は、視差の違いを画素の輝度または色等の違いに置き換えて表示することができる。図６では、視差を異なる網掛けにより表現している。図６では、網掛けが濃いほど視差が小さく、網掛けが薄いほど視差が大きい。図６において等しい網掛けの領域は、それぞれ所定の視差の範囲内に位置することを表す。図６では、網掛けにより視差分布は画像全体に表されている。しかし、実際の視差画像では、必ずしもこのように画像全体に渡って視差を算出することはできない。なぜならば、滑らかな道路の路面など、周辺領域との間で色および明るさ等に差異が少ない領域では、マッチングにより対応する小領域を見つけることが困難なことがあるためである。このため、視差画像のデータは、白線が引かれている部分、道路上に不均一な凹凸がある部分、道路上の立体物、等について抽出することができる。なお、制御部２２は、視差分布を算出した後に画像として表示する必要は無い。視差の分布は、制御部２２の内部でデータとして保持し、必要な処理を行えばよい。

ステップＳ１０２の後、制御部２２は第１視差画像から立体物を判別し、これを除去する（ステップＳ１０３）。制御部２２は、第１視差画像内で高さ方向に等しい視差を有する領域を検出することにより、当該視差に対応する距離に位置する物体を識別する。

例えば、図６の第１視差画像では、前方を走行する車両が画像上で高さ方向に略等しい視差を有する領域として検出されうる。制御部２２は、第１視差画像から、車両、人間、道路標識、電柱、道路上の障害物等を立体物として検出しうる。制御部２２は、このようにして検出した立体物の視差データを、第１視差画像から除去する。図７は、第１視差画像から立体物としての車両の視差データを除去して得られたた第２視差画像を示している。こうすることによって、制御部２２は、道路上から路面以外の立体物による視差の多くを除去することができる。図７では、削除された車両に該当する視差画像の部分を説明のため破線で示している。

ステップＳ１０３の後、制御部２２は、検出対象とする中で最も大きい視差を１番目の視差（ｋ＝１）とする（ステップＳ１０４）。検出対象とする最大の視差は、どこまでの近距離を測定対象とするかに基づいて、制御部２２において予め決められてよい。あるいは、最大の視差は、利用者が画像処理装置２０に設定可能であってよい。制御部２２は、第２視差画像の中から当該最も大きい視差を有する複数の画素を点群として抽出する（ステップＳ１０５）。制御部２２は、この１番目の視差を有する点群に対する第２視差画像上の近似線を等視差線として算出する（Ｓ１０６）。等視差線は直線とし、近似には最小二乗法を用いてよいが、これに限られない。等視差線は曲線であってもよい。また、実際の視差画像において、視差のデータは、画像内で離散的に得られるため、等視差線は画像内の異なる部分に複数算出されてもよい。

１番目の視差についてステップＳ１０６により近似線を算出した後、制御部２２は次に小さい視差データがあることを確認する（ステップＳ１０７）。制御部２２は、検出対象とする視差を最も大きい視差の次の視差とし（ステップＳ１０８）、２番目の視差（ｋ＝２）について、等視差の点群の抽出（ステップＳ１０５）および等視差線の算出を行う（ステップＳ１０６）。制御部２２は、以下、検出対象の最小の視差になるまで（ステップＳ１０７）、順次、次に小さい視差を対象として（ステップＳ１０８）、ステップＳ１０５、Ｓ１０６の処理を繰り返す。一実施形態において、検出対象の最小の視差は１画素の視差である。

制御部２２は、最小の視差まで等視差線を算出し、次の算出対象の視差が無くなると（ステップＳ１０７：Ｎ）、ステップＳ１０９に進む。ステップＳ１０９において、制御部２２は、ステップＳ１０５からＳ１０８によって算出した等視差線のうち、視差の等しい複数の等視差線を結合して、ひとつながりの等視差線を得る。等視差線は、移動体５０から視差に対応する所定距離離れた位置をつなぐ線である。等視差線の傾きおよび画面上での高さから、当該距離に位置する路面の傾きや起伏の情報を含む路面情報を取得することができる（ステップＳ１０９）。

図８には、図７の画像に対応して、等視差線が描かれた第２視差画像が示されている。図８では、等視差線は網掛けされた領域の境界に４本のみ代表的に描かれている。制御部２２は検出可能な視差の数だけ等視差線を算出することができる。また、ステップＳ１０３において、立体物を第１視差画像から除去したので、路面上にある立体物に影響を受けることなく等視差線を算出することができる。よって、等視差線の精度が向上する。

等視差線に基づいて、前方の道路の傾きおよび路面の起伏などの路面形状の情報を得ることができる。等視差線の左右の傾きは、移動体５０から等距離の路面の左右の傾きを示す。等視差線の間隔は、坂道等の路面の起伏を示す。図８によれば、等視差線の傾きにより、移動体５０の前方の道路が右に傾いていることを知ることができる。

以上説明したように本実施形態のステレオカメラシステム１によれば、制御部２２は、移動体５０の前方の路面形状を取得するので、前方の立体物の路面からの高さをより精度高く検出することが可能になる。立体物には、ステップＳ２０３で除去した立体物も含む。路面形状を検出したことにより、立体物を除去する前の第１視差画像に対して、改めて路面高さからの立体物の高さを判定することが可能になる。これにより、路面からの高さが高い検出すべき物体の検出漏れ、および、路面からの高さが低い検出しなくともよい物体の誤検出の発生を低減することができ、ステレオカメラシステム１による物体認識の精度が向上する。

ステレオカメラシステム１が検出する道路の傾き及び起伏等の道路形状は、移動体５０から見た相対的なものである。このため、ステレオカメラシステム１は、ステレオカメラシステム１を搭載した移動体５０が傾き、道路が水平な場合でも、物体認識の精度を向上することができる。

制御部２２は、入出力部２１を介して、移動体５０の種々の装置のＥＣＵ４０に、より精度の高い立体物の情報を送信することができ、移動体５０の制御の精度を向上させることができる。移動体５０の制御としては、移動体５０が自動的に行う制動およびステアリング操作等を挙げることができる。すなわち、立体物を検出しての警告、自動停止、自動回避等での活用が可能になる。

また、本実施形態のステレオカメラシステム１によれば、画像処理装置２０は前方の道路の移動体５０に対する相対的な傾きおよび起伏を検出することができる。さらに、この情報と走行速度の情報とを用いることにより、画像処理装置２０または移動体５０内のＥＣＵ４０は、特定の時間後に移動体５０の姿勢がどのように変化するか推定することが可能になる。例えば、画像処理装置２０は、移動体５０が秒速１０ｍで走行時に、５０ｍ前方の路面の傾きから、５秒後の移動体５０の傾きの変化を知ることができる。画像処理装置２０は、移動体の姿勢の変化に伴う画像上の物体の動きを考慮して、物体の実際の移動方向または速度を認識することができる。ＥＣＵ４０は、安全性の向上、乗り心地の改善等のために、画像処理装置２０からの路面情報を活用することが可能である。例えば、高速走行時に前方の路面状態が大きく変化する情報を取得したとき、ＥＣＵ４０は、走行速度を減速させてよい。

上述の説明では、画像処理装置２０の制御部２２は、検出対象の最も大きい視差の画素数から、順次視差を１画素分ずつ減少させ、視差が１画素分となるまでその視差の画素群を抽出した。しかし、視差画像では、視差が大きい領域における１画素の視差の違いに対応する距離が、視差が小さい領域における１画素の視差の違いに対応する距離に比べ小さい。また、視差が大きい領域は近距離であるため、遠距離に位置する視差の小さい領域よりも画像データが密に得られやすい。このため、視差が大きい領域において、制御部２２の演算量を減らすため、算出を行う視差を間引いて視差分布を算出することがある。

そこで、一実施形態に係るステレオカメラシステムでは、視差を間引いて視差分布を算出する。間引いた視差については、路面形状を得る際に前後の視差のデータから補間処理を行うことができる。

また、視差が１または２等の視差の最も小さい領域は、画像上の最も遠距離の領域に対応する。この領域では、１画素の違いが大きな距離の違いに対応する。また、遠距離であるため、画像上での立体物が小さくなり、連続したデータが得にくい。このため、視差が小さい遠距離のデータは信頼性が低くなりうる。

そこで、制御部２２は、最も遠距離に対応するいくつかの画素についてはマッチング処理を行わずに、路面位置のデータに近距離側からカルマンフィルタを適用して、遠距離の路面形状を推測することができる。カルマンフィルタは、通常時間変化する時系列データに対して適用されるが、本実施形態では、遠距離の道路形状の推測に使用する。すなわち、通常のカルマンフィルタにおける時間を、本実施形態では距離または視差に置き換えて計算するものである。

図９のフローチャートは、間引きした視差を補完し最も遠距離の推定のためにカルマンフィルタを適用した、一実施形態に係る画像処理装置２０の制御部２２の処理の流れを示す。図９のフローチャートのステップＳ２０２の視差分布算出は、１画素の視差を含むいくつかの画素に相当する視差を間引いて算出を行っている。また、ステップＳ２０４〜Ｓ２０８の処理は、ステップＳ２０２で視差分布を算出した視差に対して行っている。その他の点で、ステップＳ２０１〜Ｓ２０９の処理は、図４のフローチャートのステップＳ１０１〜Ｓ１０９と同じであるから、説明を省略する。

図１０は、ステップＳ２０９の後のステレオカメラ１０から見たある１方向の視差に対する路面の画像垂直位置を表すグラフである。画像垂直位置は、画像上での高さを、画像の最上部を０とし、そこからの画素数で表している。実際には、路面情報はステレオカメラ１０の前方および左右方向に二次元的に取得しているが、図１０および以下の図１１、１２では、説明のために前方に一次元的に取得されたものとする。このグラフでは、１画素、１７画素、１９画素、２１画素および２３画素に相当する視差の算出を行っていない。

ステップＳ２１０では、間引きした視差が１７画素、１９画素、２１画素および２３画素の視差データをその前後の視差データから補完する処理を行う。図１１は、補間処理を行った後の路面の画素垂直位置を白抜きの丸で表している。間引きされた視差のデータを、補完することによって、これら間引きされた視差の等視差線を得ることができる。補間に係る計算量は、ステップＳ２０２で視差分布をマッチング処理により算出した場合よりも少ない。

ステップＳ２１１では、視差データに対して視差の大きい近距離側のデータからカルマンフィルタを用いることによって、最も遠い１画素の視差に相当する距離の位置の路面形状を推定する。図１２は、図１１の補間後のデータに、近距離側から順次カルマンフィルタを用いて視差１画素の最遠距離の路面の画像垂直位置を推定したものである。カルマンフィルタを用いることにより、視差算出によるデータの信頼性が低下する遠距離について、信頼性を高めた路面形状のデータを得ることが可能になる。

さらに、カルマンフィルタを用いたことにより、比較的信頼性の高い近距離側のデータを用いて、遠距離側のデータの平滑化および明らかに誤ったデータの除去が可能になる。

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態及び実施例によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態及び実施例に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

１ ステレオカメラシステム
１０ ステレオカメラ
１１ 第１カメラ
１２ 第２カメラ
２０ 画像処理装置
２１ 入出力部
２２ 制御部
３０ ネットワーク
４０ ＥＣＵ
５０ 移動体

Claims (11)

1. ステレオ画像を取得する入力部と、
   前記入力部で取得した前記ステレオ画像から視差分布を算出し、該視差分布に基づいて視差が等しい点を結ぶ複数の等視差線を算出し、前記複数の等視差線に基づいて路面の形状を検知するプロセッサと
   を備える画像処理装置。
2. 前記プロセッサは、前記視差分布から複数の互いに等視差の視差画素を抽出し、前記等視差線を前記視差画素に基づいて近似により算出する請求項１に記載の画像処理装置。
3. 前記プロセッサは、前記視差分布から立体物を判定し、該立体物に対応する視差分布を除外した後、前記等視差線を算出する請求項１または２に記載の画像処理装置。
4. 前記プロセッサは、高さ方向に等視差が連続する領域に基づき前記立体物を判別する請求項３に記載の画像処理装置。
5. 前記プロセッサは、前記複数の等視差線の間を補間して路面の形状を検知する請求項１から４の何れか一項に記載の画像処理装置。
6. 前記プロセッサは、前記等視差線の算出において、所定の画素数より小さい視差に対応する等視差線を、カルマンフィルタを用いて推定する請求項１から５の何れか一項に記載の画像処理装置。
7. 前記プロセッサは、前記路面の相対的な傾きから算出される前記路面からの高さに基づいて、前記ステレオ画像の認識処理を行う請求項１から６の何れか一項に記載の画像処理装置。
8. ステレオ画像を撮像するステレオカメラと、
   前記ステレオカメラにより撮像された前記ステレオ画像から視差分布を算出し、該視差分布に基づいて視差が等しい点を結ぶ等視差線を算出し、前記等視差線に基づいて路面の形状を検知するプロセッサと
   を備えるステレオカメラシステム。
9. ステレオ画像を撮像するステレオカメラ、および、前記ステレオカメラにより撮像された前記ステレオ画像から視差分布を算出し、該視差分布に基づいて視差が等しい点を結ぶ複数の等視差線を算出し、前記複数の等視差線に基づいて路面の形状を検知するプロセッサを含むステレオカメラシステムを備えた移動体。
10. ステレオ画像から視差分布を算出し、
    該視差分布に基づいて視差が等しい点を結ぶ複数の等視差線を算出し、
    前記複数の等視差線に基づいて路面の形状を検知する
    路面形状検出方法。
11. コンピュータに、ステレオ画像から視差分布を算出する手順と、該視差分布に基づいて視差が等しい点を結ぶ複数の等視差線を算出する手順と、前記複数の等視差線に基づいて路面の形状を検知する手順とを実行させるプログラム。

Images