JP2021047741A - 物体検出装置、物体検出システム、移動体及び物体検出方法 - Google Patents

Abstract

【課題】性能が向上された、物体検出装置、物体検出システム、移動体及び物体検出方法を提供する。【解決手段】物体検出装置のプロセッサは、視差マップの第２方向に沿って、対象視差に対応付けられた座標を探索して第１座標として更新していき、第１座標に基づいて対象視差に対応する物体の高さを算出するように構成される。視差マップは、第１方向と第２方向とから成る二次元座標に、視差が対応付けられたものである。プロセッサは、第１座標から所定間隔を超えて対象視差と略等しい視差に対応付けられた候補座標が存在するとき、第１座標に基づいて第１候補高さを算出し、候補座標に基づいて第２候補高さを算出するように構成される。プロセッサは、視差マップの第１方向において、候補座標を挟む２つの座標にそれぞれ対応付けられた視差に基づいて、第１候補高さ及び第２候補高さのうちの何れを、物体の高さとして取得するかを判定するように構成される。【選択図】図３７

Description

本開示は、物体検出装置、物体検出システム、移動体及び物体検出方法に関する。

近年、自動車等の移動体には、ステレオカメラを利用した物体検出装置が搭載されている。このような物体検出装置は、ステレオカメラから複数の画像を取得し、取得した複数の画像に基づいて、障害物となり得る物体を検出している（例えば、特許文献１参照）。

特開平５−２６５５４７号公報

従来の物体検出装置では、性能を向上させることが求められる。

本開示の目的は、性能を向上させた、物体検出装置、物体検出システム、物体検出方法及び移動体を提供することにある。

本開示の一実施形態に係る物体検出装置は、プロセッサを備える。前記プロセッサは、視差マップの第２方向に沿って、所定条件を満たす対象視差に対応付けられた座標を探索して第１座標として更新していき、前記第１座標に基づいて前記対象視差に対応する物体の高さを算出するように構成される。前記視差マップは、ステレオカメラが路面を撮像して生成した撮像画像の水平方向に対応する第１方向と、前記第１方向に交差する第２方向とから成る二次元座標に、前記撮像画像から取得された視差が対応付けられたものである。前記プロセッサは、前記第１座標から、所定間隔を超えて、前記対象視差と略等しい視差に対応付けられた候補座標が存在するとき、第１座標に基づいて第１候補高さを算出し、前記候補座標に基づいて第２候補高さを算出するように構成される。前記プロセッサは、前記視差マップの第１方向において、前記候補座標を挟む２つの座標にそれぞれ対応付けられた視差に基づいて、前記第１候補高さ及び前記第２候補高さのうちの何れを、前記物体の高さとして取得するかを判定するように構成される。

本開示の一実施形態に係る物体検出システムは、互いに視差を有する複数の画像を撮像するステレオカメラと、少なくとも１つのプロセッサを含む物体検出装置とを備える。前記プロセッサは、視差マップの第２方向に沿って、所定条件を満たす対象視差に対応付けられた座標を探索して第１座標として更新していき、前記第１座標に基づいて前記対象視差に対応する物体の高さを算出するように構成される。前記視差マップは、ステレオカメラが路面を撮像して生成した撮像画像の水平方向に対応する第１方向と、前記第１方向に交差する第２方向とから成る二次元座標に、前記撮像画像から取得された視差が対応付けられたものである。前記プロセッサは、前記第１座標から、所定間隔を超えて、前記対象視差と略等しい視差に対応付けられた候補座標が存在するとき、第１座標に基づいて第１候補高さを算出し、前記候補座標に基づいて第２候補高さを算出するように構成される。前記プロセッサは、前記視差マップの第１方向において、前記候補座標を挟む２つの座標にそれぞれ対応付けられた視差に基づいて、前記第１候補高さ及び前記第２候補高さのうちの何れを、前記物体の高さとして取得するかを判定するように構成される。

本開示の一実施形態に係る移動体は、互いに視差を有する複数の画像を撮像するステレオカメラと、少なくとも１つのプロセッサを含む物体検出装置とを備える物体検出システムを備える。前記プロセッサは、視差マップの第２方向に沿って、所定条件を満たす対象視差に対応付けられた座標を探索して第１座標として更新していき、前記第１座標に基づいて前記対象視差に対応する物体の高さを算出するように構成される。前記視差マップは、ステレオカメラが路面を撮像して生成した撮像画像の水平方向に対応する第１方向と、前記第１方向に交差する第２方向とから成る二次元座標に、前記撮像画像から取得された視差が対応付けられたものである。前記プロセッサは、前記第１座標から、所定間隔を超えて、前記対象視差と略等しい視差に対応付けられた候補座標が存在するとき、第１座標に基づいて第１候補高さを算出し、前記候補座標に基づいて第２候補高さを算出するように構成される。前記プロセッサは、前記視差マップの第１方向において、前記候補座標を挟む２つの座標にそれぞれ対応付けられた視差に基づいて、前記第１候補高さ及び前記第２候補高さのうちの何れを、前記物体の高さとして取得するかを判定するように構成される。

本開示の一実施形態に係る物体検出方法は、視差マップの第２方向に沿って、所定条件を満たす対象視差に対応付けられた座標を探索して第１座標として更新していき、前記第１座標に基づいて前記対象視差に対応する物体の高さを算出することを含む。前記視差マップは、ステレオカメラが路面を撮像して生成した撮像画像の水平方向に対応する第１方向と、前記第１方向に交差する第２方向とから成る二次元座標に、前記撮像画像から取得された視差が対応付けられたものである。前記物体の高さを算出することは、前記第１座標から、所定間隔を超えて、前記対象視差と略等しい視差に対応付けられた候補座標が存在するとき、第１座標に基づいて第１候補高さを算出し、前記候補座標に基づいて第２候補高さを算出することを含む。前記物体の高さを算出することは、前記視差マップの第１方向において、前記候補座標を挟む２つの座標にそれぞれ対応付けられた視差に基づいて、前記第１候補高さ及び前記第２候補高さのうちの何れを、前記物体の高さとして取得するかを判定することを含む。

本開示の実施形態によれば、性能が向上された、物体検出装置、物体検出システム、車両及び物体検出方法が提供され得る。

本開示の一実施形態に係る物体検出システムの概略構成を示すブロック図である。 図１に示す物体検出システムを搭載する移動体を模式的に示す側面図である。 図１に示す物体検出システムを搭載する移動体を模式的に示す正面図である。 本開示の他の一実施形態に係る物体検出システムの概略構成を示すブロック図である。 図１に示す物体検出装置が実行する処理の流れの一例を示すフローチャートである。 物体検出装置が取得又は生成する第１視差画像の一例を説明する図である。 路面の形状の推定処理の一例を示すフローチャートである。 第１視差画像から路面候補視差を抽出する処理の一例を示すフローチャートである。 路面とステレオカメラとの位置関係を説明する図である。 路面候補視差の抽出手順を説明する図である。 視差をヒストグラム化する路面上の範囲を示す図である。 路面視差ｄ_rと縦方向の座標（ｖ座標）との関係の一例を示すｄ−ｖ相関図である。 路面視差ではない物体が含まれるか否かを検知する方法を説明する図である。 路面視差ｄ_rと画像の縦方向の座標（ｖ座標）との関係を直線で近似する処理のフローチャートである。 第１直線による路面視差ｄ_rの近似を説明する図である。 第２直線の決定方法を説明する図である。 路面視差ｄ_rと画像の縦方向の座標（ｖ座標）との関係を直線で近似した結果の一例を示す図である。 第２視差画像の一例を示す図である。 第２視差画像の参考図である。 第１視差及び第２視差の検出処理の一例を示すフローチャートである。 図１８に示す第２視差画像に部分領域を重ねて示す図である。 視差ヒストグラムの一例を示す図である。 物体の高さ算出処理の一例を示すフローチャート（その１）である。 物体の高さ算出処理の一例を示すフローチャート（その２）である。 物体の高さ算出処理の一例を示すフローチャート（その３）である。 第２視差画像の一例を示す図である。 第２視差画像の一例を示す図である。 図２７に示す第２視差画像に対応する第１画像である。 第２視差画像の一例を示す図である。 図２９に示す第２視差画像に対応する第１画像である。 平行物体の検出処理の一例を示すフローチャートである。 ＵＤマップの一例を示す図である。 図３２に示すＵＤマップに対応する第１画像である。 ｕ方向に略平行な点群が除去されたＵＤマップを示す図である。 ハフ変換を説明する図（その１）である。 ハフ変換を説明する図（その２）である。 復活処理の一例を示すフローチャートである。 ＵＤマップの一例を示す図である。 復活フラグが付加されたＵＤマップの一例を示す図である。 第２視差画像の一例を示す図である。 第２視差画像の一例を示す図である。 図４１に示す第２視差画像に対応する第１画像を示す図である。 図４０に示す第２視差画像おいて、物体の高さ判定に用いた視差画素を示す図である。 図４１に示す第２視差画像おいて、物体の高さ判定に用いた視差画素を示す図である。 代表視差の決定処理の一例を示すフローチャートである。 ｕ方向に対応する取得された代表視差の一例を示す。 ｕ方向に対応する平均化された代表視差の一例を示す。 代表視差を示す点群のＵＤマップにおける分布の一例を示す図である。 路面を高さ方向（ｙ方向）から見た図である。 代表視差を示す実空間のｘ−ｚ平面上の点群に変換した図である。 物体の検出結果の出力方法の一例を示す図である。

以下、本開示の一実施形態について、図面を参照して説明する。以下の図面において、同一又は類似の構成要素には、同一の符号を付す。なお、以下の説明で用いられる図は模式的なものである。図面上の寸法及び比率等は現実のものとは必ずしも一致していない。カメラによる撮像画像及び視差画像等を表す図は、説明のために作成されたものを含む。これらの画像は、実際に撮像され又は処理された画像とは異なる。また、以下の説明において、「被写体」はカメラに撮像される対象である。「被写体」は、物体、路面及び空等を含む。「物体」は、空間内で具体的な位置及び大きさを有するものである。「物体」は、「立体物」とも呼ばれる。

図１に示すように、物体検出システム１は、ステレオカメラ１０と物体検出装置２０とを含む。ステレオカメラ１０と物体検出装置２０とは、有線又は無線通信により通信可能である。ステレオカメラ１０と物体検出装置２０とは、ネットワークを介して通信してよい。ネットワークは、例えば、有線又は無線のＬＡＮ（Local Area Network）、又は、ＣＡＮ（Controller Area Network）等を含んでよい。ステレオカメラ１０と物体検出装置２０とは、同一の筺体内に収納され一体的に構成されてよい。ステレオカメラ１０及び物体検出装置２０は、後述する移動体３０内に位置し、移動体３０内のＥＣＵ（Electronic Control Unit）と通信可能に構成されてよい。

本開示において「ステレオカメラ」とは、互いに視差を有し、互いに協働する複数のカメラである。ステレオカメラは、少なくとも２つ以上のカメラを含む。ステレオカメラでは、複数のカメラを協働させて、複数の方向から対象を撮像することが可能である。ステレオカメラは、１つの筐体に複数のカメラが含まれる機器であってよい。ステレオカメラは互いに独立し、且つ、互いに離れて位置する２台以上のカメラを含む機器であってよい。ステレオカメラは、互いに独立した複数のカメラに限られない。本開示では、例えば、離れた２箇所に入射される光を１つの受光素子に導く光学機構を有するカメラをステレオカメラとして採用できる。本開示では、同一被写体を異なる視点から撮像した複数の画像を「ステレオ画像」と呼ぶことがある。

図１に示すように、ステレオカメラ１０は、第１カメラ１１と第２カメラ１２とを備える。第１カメラ１１及び第２カメラ１２は、それぞれ光軸ＯＸを規定する光学系と撮像素子とを備える。第１カメラ１１及び第２カメラ１２はそれぞれ異なる光軸ＯＸを有する。本実施形態では、単一の符号ＯＸのみで、第１カメラ１１及び第２カメラ１２の双方の光軸ＯＸを纏めて表す。撮像素子は、ＣＣＤイメージセンサ（Charge-Coupled Device Image Sensor）及びＣＭＯＳイメージセンサ（Complementary MOS Image Sensor）を含む。第１カメラ１１及び第２カメラ１２がそれぞれ備える撮像素子は、それぞれのカメラの光軸ＯＸに垂直な同一面内に存在してよい。第１カメラ１１及び第２カメラ１２は、撮像素子で結像された画像を表す画像信号を生成する。また、第１カメラ１１及び第２カメラ１２は、撮像した画像について、歪み補正、明度調整、コントラスト調整及びガンマ補正等の任意の処理を行ってよい。

第１カメラ１１及び第２カメラ１２の光軸ＯＸは、互いに同一被写体を撮像可能な方向を向いている。第１カメラ１１及び第２カメラ１２は、撮像した画像に少なくとも同一被写体が含まれるように、光軸ＯＸ及び位置が定められる。第１カメラ１１及び第２カメラ１２の光軸ＯＸは、互いに平行になるように向けられる。この平行は、厳密な平行に限られず、組み立てのずれ、取付けのずれ及びこれらの経時によるずれを許容する。第１カメラ１１及び第２カメラ１２の光軸ＯＸは、平行に限られず、互いに異なる方向を向いてよい。第１カメラ１１及び第２カメラ１２の光軸ＯＸが互いに平行でない場合でも、ステレオカメラ１０又は物体検出装置２０内で、画像を変換することによりステレオ画像を生成可能である。基線長は、第１カメラ１１の光学中心と第２カメラ１２の光学中心との間の距離である。基線長は、第１カメラ１１と第２カメラ１２との間のレンズの中心の距離に相当する。基線長方向は、第１カメラ１１の光学中心と第２カメラ１２の光学中心とを結ぶ方向である。

第１カメラ１１及び第２カメラ１２は、光軸ＯＸに交わる方向において離れて位置している。複数の実施形態のうちの１つにおいて、第１カメラ１１及び第２カメラ１２は、左右方向に沿って位置している。第１カメラ１１は、前方を向いたときに第２カメラ１２の左側に位置する。第２カメラ１２は、前方を向いたときに第１カメラ１１の右側に位置する。第１カメラ１１及び第２カメラ１２は、所定のフレームレート（例えば３０ｆｐｓ）で被写体を撮像する。第１カメラ１１と第２カメラ１２との位置の違いにより、各カメラで撮像した２つの画像において、互いに対応する被写体の位置は、異なる。第１カメラ１１は、第１画像を撮像する。第２カメラ１２は、第２画像を撮像する。第１画像及び第２画像は、異なる視点から撮像されたステレオ画像となる。

図２及び図３に示すように、物体検出システム１は、移動体３０に搭載される。図２に示すように、第１カメラ１１及び第２カメラ１２は、移動体３０の前方を撮像可能となるように、第１カメラ１１及び第２カメラ１２の各光学系の光軸ＯＸが移動体３０の前方と略平行となるように配置される。

本開示の移動体３０は、道路又は滑走路等を含む走行路の上を走行する。移動体３０が走行する走行路の表面は、「路面」とも呼ばれる。

本開示において、移動体３０の直進時の進行方向は、「前方」又は「ｚ軸の正方向」とも呼ばれる。前方の反対方向は、「後方」又は「ｚ軸の負方向」とも呼ばれる。ｚ軸の正方向とｚ軸の負方向とを特に区別しない場合、これらは、纏めて「ｚ方向」とも呼ばれる。移動体３０の前方を向いた状態を基準として、左方向及び右方向が定義される。ｚ方向は、「奥行き方向」とも呼ばれる。

本開示において、ｚ方向に直交し、且つ、左方向から右方向へ向かう方向は、「ｘ軸の正方向」とも呼ばれる。ｚ方向に直交し、且つ、右方向から左方向へ向かう方向は、「ｘ軸の負方向」とも呼ばれる。ｘ軸の正方向とｘ軸の負方向とを特に区別しない場合、これらは、纏めて「ｘ方向」とも呼ばれる。ｘ方向は、基線長方向に一致してよい。ｘ方向は、「水平方向」とも呼ばれる。

本開示において、移動体３０の近傍の路面に垂直で、且つ、当該路面から上に向かう方向は、「高さ方向」又は「ｙ軸の正方向」とも呼ばれる。高さ方向の反対方向は、「ｙ軸の負方向」とも呼ばれる。ｙ軸の正方向とｙ軸の負方向とを特に区別しない場合、これらは、纏めて「ｙ方向」と呼もばれる。ｙ方向は、ｘ方向及びｚ方向に対して直交してよい。ｙ方向は、「鉛直方向」とも呼ばれる。

本開示における「移動体」は、例えば、車両及び航空機を含んでよい。車両は、例えば自動車、産業車両、鉄道車両、生活車両、及び、滑走路を走行する固定翼機等を含んでよい。自動車は、例えば、乗用車、トラック、バス、二輪車、及び、トロリーバス等を含んでよい。産業車両は、例えば、農業及び建設向けの産業車両等を含んでよい。産業車両は、例えば、フォークリフト及びゴルフカート等を含んでよい。農業向けの産業車両は、例えば、トラクター、耕耘機、移植機、バインダー、コンバイン、及び、芝刈り機等を含んでよい。建設向けの産業車両は、例えば、ブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、及び、ロードローラ等を含んでよい。車両は、人力で走行するものを含んでよい。車両の分類は、上述した例に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同一車両が含まれてよい。航空機は、例えば固定翼機及び回転翼機等を含んでよい。

第１カメラ１１及び第２カメラ１２は、移動体３０の種々の場所に搭載され得る。複数の実施形態のうちの１つにおいて、第１カメラ１１及び第２カメラ１２は、車両である移動体３０の内部に搭載され、ウインドシールドを介して移動体３０の外部を撮像し得る。例えば、第１カメラ１１及び第２カメラ１２は、ルームミラーの前方、又は、ダッシュボード上に配置される。複数の実施形態の１つにおいて、第１カメラ１１及び第２カメラ１２は、車両のフロントバンパー、フェンダーグリル、サイドフェンダー、ライトモジュール及びボンネットの何れかに固定されていてよい。

物体検出装置２０は、移動体３０内において任意の箇所に位置し得る。例えば、物体検出装置２０は、移動体３０のダッシュボード内に位置し得る。物体検出装置２０は、ステレオカメラ１０から、第１画像及び第２画像を取得する。物体検出装置２０は、第１画像及び第２画像に基づいて、物体を検出する。物体検出装置２０が検出対象とする物体は、移動体３０が車両である場合、路面上の物体となり得る。当該路面上の物体の一例として、他車両及び歩行者等が挙げられる。

物体検出装置２０は、以下に説明する制御部２４が行う処理を、非一時的なコンピュータ可読媒体に記録されたプログラムを読み込んで実装するように構成されてよい。非一時的なコンピュータ可読媒体は、磁気記憶媒体、光学記憶媒体、光磁気記憶媒体、及び、半導体記憶媒体を含むがこれらに限られない。磁気記憶媒体は、磁気ディスク、ハードディスク、及び、磁気テープを含む。光学記憶媒体は、ＣＤ（Compact Disc）、ＤＶＤ、ブルーレイディスク（Blu-ray（登録商標） Disc）等の光ディスクを含む。半導体記憶媒体は、ＲＯＭ（Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、フラッシュメモリを含む。

物体検出装置２０は、取得部２１と、出力部２２と、メモリ２３と、制御部２４（プロセッサ）とを備える。

取得部２１は、物体検出装置２０の入力インタフェースである。取得部２１は、ステレオカメラ１０及び他の装置から情報の入力を受付け可能である。取得部２１には、物理コネクタ、及び、無線通信機が採用可能である。物理コネクタには、電気信号による伝送に対応した電気コネクタ、光信号による伝送に対応した光コネクタ、及び、電磁波による伝送に対応した電磁コネクタが含まれる。電気コネクタには、ＩＥＣ６０６０３に準拠するコネクタ、ＵＳＢ規格に準拠するコネクタ、ＲＣＡ端子に対応するコネクタ、EIAJ CP-1211Aに規定されるＳ端子に対応するコネクタ、EIAJ RC-5237に規定されるＤ端子に対応するコネクタ、ＨＤＭＩ（登録商標）規格に準拠するコネクタ、及び、ＢＮＣを含む同軸ケーブルに対応するコネクタが含まれる。光コネクタには、IEC 61754に準拠する種々のコネクタが含まれる。無線通信機には、Bluetooth（登録商標）、及び、IEEE802.11を含む各規格に準拠する無線通信機が含まれる。無線通信機は、少なくとも１つのアンテナを含む。

取得部２１には、第１カメラ１１及び第２カメラ１２の各々が撮像した画像の画像データが入力され得る。取得部２１は、入力された画像データを、制御部２４に出力する。取得部２１は、ステレオカメラ１０の撮像信号の伝送方式に対応してよい。取得部２１は、ネットワークを介してステレオカメラ１０の出力インタフェースに接続されてよい。

出力部２２は、物体検出装置２０の出力インタフェースである。出力部２２は、物体検出装置２０の処理結果を、移動体３０内の他の装置又は移動体３０外の他の装置に出力し得る。移動体３０内の他の装置は、オートクルーズコントロール等の走行支援装置、及び、自動ブレーキ装置等の安全装置を含んでよい。移動体３０外の他の装置、他車両及び路測機等を含んでよい。移動体３０内の他の装置又は移動体３０外の他の装置は、物体検出装置２０から受信した情報を適宜使用し得る。出力部２２は、取得部２１と同一又は類似に、有線及び無線の通信に対応した種々のインタフェースを含んでよい。例えば、出力部２２は、ＣＡＮのインタフェースを有してよい。この場合、出力部２２は、移動体３０内の他の装置と通信を行う。

メモリ２３は、種々の処理のためのプログラム及び演算中の情報を記憶する。メモリ２３は、揮発性メモリ及び不揮発性メモリが含まれる。メモリ２３は、プロセッサと独立しているメモリ、及び、プロセッサの内蔵メモリが含まれる。

制御部２４は、一つ又は複数のプロセッサを含む。プロセッサには、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、特定の処理に特化した専用のプロセッサが含まれる。専用のプロセッサには、特定用途向けＩＣ（ＡＳＩＣ；Application Specific Integrated Circuit）が含まれる。プロセッサには、プログラマブルロジックデバイス（ＰＬＤ；Programmable Logic Device）が含まれる。ＰＬＤには、ＦＰＧＡ（Field-Programmable Gate Array）が含まれる。制御部２４は、一つ又は複数のプロセッサが協働するＳｏＣ（System-on-a-Chip）、及びＳｉＰ（System In a Package）の何れかであってよい。制御部２４の実行する処理は、プロセッサが実行する処理と言い換えることができる。

制御部２４は、物体検出装置２０内の情報処理において、第１視差マップに対して様々な処理を実行する。第１視差マップは、二次元座標に、視差が対応付けられたものである。第１視差マップの二次元座標は、ステレオカメラ１０の撮像画像の水平方向に対応する横方向と、横方向に交差する縦方向とから成る。横方向は、第１方向である。縦方向は第２方向である。横方向と縦方向とは互いに直交してよい。横方向は、路面の幅方向に対応し得る。横方向は、ステレオカメラ１０の撮像する画像が水平線を含むとき、水平線に平行な方向に対応し得る。縦方向は、実空間における重力の加わる方向に対応し得る。

物体検出装置２０内の情報処理において、第１視差マップは、種々の操作を受ける。種々の操作は、演算処理、メモリ２３への書き込み及びメモリ２３からの読み出し等を含む。第１視差マップを画像化したものは、「第１視差画像」とも呼ばれる。第１視差画像は、横方向と縦方向とから成る２次元平面上に視差を表す画素が配置された画像である。以下、制御部２４は、第１視差画像に対して種々の処理を実行するものとして説明する。以下の説明において、第１視差画像に対する処理は、第１視差マップに対する処理と言い換えられ得る。

本開示の物体検出システム１の構成は、図１に示す構成に限定されない。図４に、本開示の他の実施形態に係る物体検出システム１Ａを示す。物体検出システム１Ａは、ステレオカメラ１０と、物体検出装置２０と、生成装置２５とを備える。生成装置２５は、物体検出装置２０とは別体のハードウェア上に搭載されてよい。生成装置２５は、ステレオカメラ１０から出力された第１画像及び第２画像に基づいて、第１視差画像を生成する。生成装置２５は、プロセッサを有する。生成装置２５に含まれるプロセッサは、ステレオカメラ１０の第１カメラ１１及び第２カメラ１２からそれぞれ出力された第１画像及び第２画像に基づいて、第１視差画像を生成する。取得部２１は、生成装置２５から、第１視差画像を取得する。物体検出装置２０と生成装置２５とは、纏めて１つの物体検出装置と見なされてよい。

以下、図５に示すフローチャートを参照して、制御部２４が実行する処理を説明する。図５は、図１に示す物体検出装置２０が実行する処理の全体の流れの一例を示すフローチャートである。

まず、図５のフローチャートの各ステップで行う処理の詳細な説明に先立ち、各ステップの処理の概要と目的が簡単に説明される。

ステップＳ１０１は、第１視差画像を取得又は生成するステップである。ステップＳ１０１は、後述する第１処理の前段処理に相当する。図１に示す構成では、制御部２４は、第１視差画像を生成する。図４に示す構成では、制御部２４は、生成装置２５が生成した第１視差画像を、取得部２１によって取得する。

ステップＳ１０２は、路面の形状を推定するステップである。ステップＳ１０２で実行される処理は、「第１処理」とも呼ばれる。路面の形状が推定されることにより、第１視差画像上において、縦方向の座標に対する、路面に対応する視差が推定され得る。路面の形状は、以下の処理において不要な視差を除去するために、及び／又は、実空間上での路面の高さ位置を推定するために用いられ得る。

ステップＳ１０３は、第１視差画像から不要な視差を除去することにより、第２視差画像を生成するステップである。ステップＳ１０３で実行される処理は、「第２処理」とも呼ばれる。不要な視差は、第１視差画像に含まれ得る、路面の白線に対応する視差及び道路上空に存在する構造物に対応する視差等を含む。第１視差画像から不要な視差を除くことによって、物体検出装置２０が、路面の白線及び路面上空に存在する構造物等を、路面上の検出対象の物体であると誤検出する可能性が低減される。これにより、物体検出装置２０が物体を検出する精度が高まり得る。

ステップＳ１０３は、物体検出装置２０内の情報処理において、第１視差マップから不要な視差を除去することにより、第２視差マップを生成するステップとなり得る。上述の第２視差画像は、第２視差マップを画像化したものである。以下の説明において、第２視差画像に対する処理は、第２視差マップに対する処理と言い換えられ得る。

ステップＳ１０４は、第２視差画像に基づいて、第１視差及び第２視差を検出するステップである。第１視差は、検出対象の物体に対応する視差とみなして、検出される。第２視差は、検出対象の物体に対応する視差の候補として、検出される。第２視差は、後述の復活処理において検出対象の物体に対応する視差として復活させるか否かが判定され得る。

ステップＳ１０５は、画像上における物体の高さを算出するステップである。検出された画像上における物体の高さは、後述の図５１に示すような検出枠１８２の高さとなり得る。画像上における物体の高さは、「検出枠の高さ」とも呼ばれる。ステップＳ１０５で実行される処理は、「高さ算出処理」とも呼ばれる。

ステップＳ１０６は、第２視差画像において、移動体３０の進行方向に平行な物体に対応する視差を検出するステップである。移動体３０の進行方向に平行な物体は、「平行物体」とも呼ばれる。平行物体の一例として、ガードレール及び高速道路の遮音壁等の道路端の構造物、又は、他車両の側面等が挙げられる。ガードレール等の平行物体と、他車両等の検出対象の物体は、例えば第２視差画像上で、近接している場合がある。平行物体を検出し、例えば検出した平行物体にフラグを付加しておくことにより、物体検出装置２０が、平行物体を、路面上の検出対象の物体であると誤検出する可能性が低減される。このような構成により、物体検出装置２０が物体を検出する精度が高まり得る。ステップＳ１０６で実行される処理は、「平行物体の検出処理」とも呼ばれる。

ステップＳ１０７は、第２視差を、検出対象の物体に対応する視差として復活させるか否かを判定するステップである。

ステップＳ１０８は、第１視差及び復活した第２視差の中から、第２視差画像の横方向の各座標において、代表視差を決定するステップである。ステップＳ１０８で実行される処理は、「第３処理」とも呼ばれる。ステップＳ１０４〜Ｓ１０８で実行される処理は、「第３処理」とも呼ばれる。

ステップＳ１０９は、代表視差の情報を実空間上の座標に変換して、代表視差の纏まり（グループ）を抽出することにより、物体を検出するステップである。ステップＳ１０９で実行される処理は、「第４処理」とも呼ばれる。ステップＳ１０９では、検出対象の物体の位置、及び、ステレオカメラ１０側から見た物体の幅の情報が得られる。

ステップＳ１１０は、検出された物体の情報を、出力部２２から出力するステップである。ステップ１１０で出力される物体の情報には、ステップＳ１０５で算出された画像上の物体の高さ、ステップＳ１０９で検出された検出対象の物体の位置、及び、ステップＳ１０９で検出されたステレオカメラ１０側から観た物体の幅の情報等が含まれ得る。これらの情報は、移動体３０内の他の装置に提供され得る。

次に、各ステップの詳細が説明される。

ステップＳ１０１の処理において、制御部２４は、第１視差画像を取得又は生成する。図１に示す物体検出システム１では、制御部２４は、取得部２１が取得した第１画像及び第２画像に基づいて、第１視差画像を生成する。図４に示す物体検出システム１Ａでは、制御部２４は、生成装置２５が生成した第１視差画像を、取得部２１によって取得する。制御部２４は、以降の処理のために、第１視差画像をメモリ２３に格納してよい。

第１視差画像の生成方法は、公知であるから、以下に簡単に説明する。以下では、制御部２４が第１視差画像を生成するものとする。

制御部２４は、第１カメラ１１が撮像した第１画像と、第２カメラ１２が撮像した第２画像とを取得する。制御部２４は、第１画像及び第２画像の一方の画像（例えば、第１画像）を多数の小領域に分割する。小領域は、縦方向及び横方向のそれぞれに複数の画素が配列された矩形の領域となり得る。例えば、小領域は、縦方向に並ぶ３画素と、横方向に並ぶ３画素とにより構成され得る。ただし、小領域の縦方向に並ぶ画素の数及び横方向に並ぶ画素の数は、３つに限定されない。また、小領域の縦方向と横方向とに含まれる画素の数は、異なってよい。制御部２４は、分割した複数の小領域のそれぞれの画素を、他方の画像上で１画素ずつ横方向にずらしながら、特徴量を比較することにより、マッチングさせる。例えば第１画像を小領域に分割した場合、制御部２４は、第１画像の小領域を第２画像上で１画素ずつ横方向にずらしながら、特徴量を比較することにより、マッチングさせる。特徴量は、例えば、輝度及び色のパターンである。ステレオ画像のマッチングには、ＳＡＤ（Sum of Absolute Difference）関数を用いる方法が知られている。これは、小領域内の輝度値の差の絶対値の総和を表すものである。ＳＡＤ関数が最小となるとき、両画像は最も類似すると判断される。ステレオ画像のマッチングは、ＳＡＤ関数を用いる方法に限定されない。ステレオ画像のマッチングには、他の方法が採用されてよい。

制御部２４は、第１画像と第２画像とでマッチングした２つの領域の横方向における画素の位置の違いに基づいて、当該小領域毎の視差を算出する。視差は、同一被写体の、第１画像における位置と、第２画像における位置との差となり得る。視差の大きさは、ステレオ画像上の画素の横方向の幅を単位として表され得る。視差の大きさは、補間処理をすることにより、１画素より小さい精度で算出され得る。視差の大きさは、ステレオカメラ１０により撮像された被写体の、実空間上におけるステレオカメラ１０との間の距離に対応する。実空間上におけるステレオカメラ１０から被写体までの距離が近いほど、当該被写体に対応する視差は、大きくなる。実空間上におけるステレオカメラ１０から被写体までの距離が遠いほど、当該被写体に対応する視差は、小さくなる。

制御部２４は、算出した視差の分布を示す第１視差画像を生成する。第１視差画像を構成する視差を表す画素は、「視差画素」とも呼ばれる。制御部２４は、元の第１画像及び第２画像の画素と同一精細度で第１視差画像を生成してよい。

図６に、第１視差画像４０を示す。第１視差画像４０は、ステレオカメラ１０の横方向（第１方向）と、横方向に直交する縦方向（第２方向）とから成る二次元平面である。第１視差画像４０の二次元平面には、視差を表す視差画素が並ぶ。横方向は、「ｕ方向」とも呼ばれる。縦方向は、「ｖ方向」とも呼ばれる。ｕ方向及びｖ方向からから成る座標系は、「ｕｖ座標系」及び「画像座標系」とも呼ばれる。本実施形態では、各図の紙面に向かって左上側の角が、ｕｖ座標系の原点（０，０）となる。また、各図の紙面の左側から右側に向かう方向がｕ軸の正方向となり、その反対方向がｕ軸の負方向となる。また、各図の紙面の上側から下側に向かう方向がｖ軸の正方向となり、その反対方向がｖ軸の負方向となる。ｖ軸の負方向は、実空間上の路面から上に向かう方向に対応する。ｕ座標及びｖ座標は、視差画素を単位として表記され得る。

図６に示すように、第１視差画像４０は、視差画像４１と、視差画像４２と、視差画像４３とを含む。視差画像４１は、移動体３０の前方の路面に対応する。視差画像４２は、移動体３０の前方に位置する他車両に対応する。視差画像４３は、ガードレールに対応する視差画像である。

制御部２４は、第１視差画像の各画素が含む視差情報を、各画素の輝度又は色等によって表示させてよい。図６に示す第１視差画像４０では、説明上、各画素の視差は、異なる網掛により表示されている。第１視差画像４０では、網掛が濃い領域ほど、その領域内の画素が表す視差は、小さい。網掛が薄い領域ほど、その領域内の画素が表す視差は、大きい。第１視差画像４０において、等しい網掛けがされた領域内の画素は、それぞれ所定範囲内の視差を表す。実際の第１視差画像では、一部の領域内の画素は、他の領域内の画素と比較して、視差を算出する上述のマッチング処理においてステレオ画像上の特徴量が少ないことにより、視差が算出され難くなる場合がある。例えば、車両の窓等の空間的に均一な被写体の部分、及び、太陽光の反射による白とびが発生している部分は、視差が算出され難い。第１視差画像では、物体及び構造物に対応する視差が存在する場合、それらは、より遠くに位置する背景に対応する視差とは、異なる輝度又は色で表示され得る。

制御部２４は、視差を算出した後に第１視差画像を画像として表示しなくてよい。つまり、制御部２４は、第１視差画像の元となる第１視差マップを保持し、第１視差マップに対して適宜処理を実行すればよい。

ステップＳ１０１を実行した後、制御部２４は、第１視差画像から路面の形状を推定する第１処理を行う（ステップＳ１０２）。以下において、制御部２４が実行する路面の形状の推定処理を、図７、図８及び図１４のフローチャートを用いて説明する。まず、制御部２４は、第１視差画像から路面候補視差ｄ_cを抽出する（ステップＳ２０１）。路面候補視差ｄ_cは、第１視差画像から収集される路面視差ｄ_rに該当する可能性が高い視差である。路面視差ｄ_rは、路面領域の視差を意味する。路面視差ｄ_rは、路面上の物体の視差を含まない。路面視差ｄ_rは、路面上の対応する箇所迄の距離を表す。路面視差ｄ_rは、同じｖ座標を有する位置で近い値を有するものとして収集される。

路面候補視差ｄ_cの抽出処理の詳細は、図８のフローチャートに示される。図８に示すように、制御部２４は、ステレオカメラ１０の設置位置に基づいて、路面候補視差算出用の視差の初期値である路面候補視差初期値ｄ₀を計算する（ステップＳ３０１）。路面候補視差初期値ｄ₀は、ステレオカメラ１０から最も近い路面候補視差の抽出位置での路面候補視差の初期値である。ステレオカメラ１０から最も近い路面候補視差の抽出位置は、例えば、ステレオカメラ１０から、１ｍから１０ｍの範囲から設定することができる。

図９に示すように、ステレオカメラ１０において、路面高さＹは、撮像される路面４１Ａからのステレオカメラ１０の鉛直方向の高さである。また、路面高さＹ₀は、ステレオカメラ１０の設置位置における路面４１Ａからの高さである。道路の起伏により、路面高さＹはステレオカメラ１０からの距離により変化することがある。従って、ステレオカメラ１０から離れた位置での路面高さＹは、ステレオカメラ１０の設置位置での路面高さＹ₀に一致しない。複数の実施形態の一つにおいて、ステレオカメラ１０の第１カメラ１１及び第２カメラ１２は、光軸ＯＸを互いに平行に前方に向けて設置されていると仮定される。図９において距離Ｚは、特定の路面位置までの水平方向の距離を示す。ステレオカメラ１０の基線長をＢ、縦方向の画像サイズをＴＯＴＡＬｖとする。この場合、ある縦方向の座標（ｖ座標）において撮像された路面４１Ａの路面視差ｄ_sと路面高さＹとの関係は、次の数式で与えられる。
ｄ_s＝Ｂ／Ｙ×（ｖ−ＴＯＴＡＬｖ／２） （１）
数式（１）により算出された路面視差ｄ_sは、「幾何推定路面視差」とも呼ばれる。以下において、幾何推定路面視差を符号ｄ_sで表記することがある。

路面候補視差初期値ｄ₀は、路面４１Ａが、ステレオカメラ１０とステレオカメラ１０の位置から最も近い路面候補視差ｄ_cの抽出位置との間で、第１カメラ１１及び第２カメラ１２の光軸ＯＸに平行且つ平坦であるものと仮定して算出される。その場合、ステレオカメラ１０の位置から最も近い路面候補視差の抽出位置の、第１視差画像上のｖ座標が特定の座標（ｖ₀）に定まる。座標（ｖ₀）は、路面候補視差を抽出するｖ座標の初期値である。座標（ｖ₀）は、ＴＯＴＡＬｖ／２とＴＯＴＡＬｖとの間に位置する。座標（ｖ₀）は、視差算出が可能な画像座標の範囲内で最も下側（ｖ座標の大きい側）に位置する。座標（ｖ₀）は、第１視差画像の最も下の行に対応するＴＯＴＡＬｖとしてよい。路面候補視差初期値ｄ₀は、数式（１）のｖにｖ₀を代入し、ＹにＹ₀を代入することにより決定することができる。

制御部２４は、路面候補視差初期値ｄ₀に基づいて、縦方向のｖ座標が座標（ｖ₀）である最初の行の視差収集閾値を計算する（ステップＳ３０２）。行は、第１視差画像上で同じｖ座標を有する横方向に並ぶ画素の配列を意味する。視差収集閾値は、視差を収集する上限の閾値である上限閾値と、視差を収集する下限の閾値である下限閾値とを含む。視差収集閾値は、路面候補視差初期値ｄ₀を含むように路面候補視差初期値ｄ₀の上下に所定の規則に基づいて設定される。具体的には、路面候補視差初期値ｄ₀を算出した状態から、予め定めた路面高さ変化量ΔＹだけ路面高さＹが上下に変化した場合の路面視差が、視差収集閾値の上限閾値及び下限閾値として定められる。すなわち、視差収集閾値の下限閾値は、路面候補視差初期値ｄ₀から路面高さ変化量ΔＹ分の視差を引いて得られる。視差収集閾値の上限閾値は、路面候補視差初期値ｄ₀から路面高さ変化量ΔＹ分の視差を加えて得られる。具体的な視差収集閾値の下限閾値及び上限閾値は、数式（１）のＹの値を変更することにより求められる。

以下において、制御部２４は、ステップＳ３０３の処理とステップＳ３０７の処理とを繰り返し実行する。まず、制御部２４は、第１視差画像の最も下側に位置するｖ座標が座標（ｖ₀）である行についての処理を行う（ステップＳ３０３）。

制御部２４は、視差収集閾値を用いて視差を収集する（ステップＳ３０４）。制御部２４は、第１視差画像に含まれるｖ座標が座標（ｖ₀）の横方向に並んで位置する各視差画素について、視差収集閾値の下限閾値と上限閾値との間の視差を有する視差画素を路面候補視差ｄ_cとして収集する。すなわち、制御部２４は、数式（１）を用いて算出された路面候補視差初期値ｄ₀を基準とする所定のマージンの範囲に入る視差を有する視差画素を、路面４１Ａの正しい視差を表す視差画素の候補であると判定する。制御部２４は、路面４１Ａの正しい視差を表す視差画素の候補であると判定された視差画素の視差を路面候補視差ｄ_cとする。このような構成により、制御部２４は、路面４１Ａ上の物体及び構造物等の路面４１Ａ以外に対応する視差を、路面４１Ａに対応する視差として、誤判定する可能性が低減され得る。これにより、路面４１Ａの検出精度が向上する。

ステップＳ３０４の処理においてｖ座標が座標（ｖ₀）の全ての視差画素の判定が終了すると、制御部２４は、収集した路面候補視差ｄ_cを平均化して路面候補視差ｄ_cの平均値である平均路面候補視差ｄ_avを算出する（ステップＳ３０５）。制御部２４は、それぞれの路面候補視差ｄ_c及びそのｕ−ｖ座標、並びに、ｖ座標が座標（ｖ₀）における平均路面候補視差ｄ_avを、メモリ２３に格納してよい。

ステップＳ３０５の処理を実行した後、制御部２４は、ステップＳ３０６の処理を実行する。ステップＳ３０６の処理において、制御部２４は、ステップＳ３０５の処理で算出したｖ座標が座標（ｖ₀）の平均路面候補視差ｄ_avから、１行上の行、すなわち、ｖ座標が座標（ｖ₀−１）の行の各視差画素について、視差収集閾値を算出する。制御部２４は、ステップＳ３０４の処理で算出したｖ座標が座標（ｖ₀）のときの平均路面候補視差ｄ_avに対して、数式（１）が成立するように路面高さＹを変更する。制御部２４は、路面高さＹを変更した数式（１）のｖ₀に代えて、ｖ₀−１を代入することにより、ｖ座標が座標（ｖ₀−１）のときの幾何推定路面視差ｄ_sを算出する。制御部２４は、ステップＳ３０２の処理と類似に、幾何推定路面視差ｄ_sから所定の路面高さ変化量ΔＹ分の視差を引いた視差を視差収集閾値の下限閾値とすることができる。制御部２４は、幾何推定路面視差ｄ_sに所定の路面高さ変化量ΔＹ分の視差を加えた視差を視差収集閾値の上限閾値とすることができる。

ステップＳ３０６の処理を実行した後、制御部２４は、数式（１）により算出された幾何推定路面視差ｄ_sが所定値より大きいか否かを判定する。所定値は、例えば、１画素である。制御部２４は、幾何推定路面視差ｄ_sが１よりも大きいとき、ステップＳ３０３の処理に戻る（ステップＳ３０７）。ステップＳ３０３の処理において、制御部２４は、路面候補視差ｄ_cの抽出の対象を、１画素上の行に移動させる。すなわち、路面候補視差ｄ_cの抽出の対象が、ｖ座標が座標（ｖ₀）の行であったとき、制御部２４は、路面検出の対象の行のｖ座標を、座標（ｖ₀−１）に変更する。また、図１０に示すように、路面候補視差ｄ_cの算出の対象が、ｎ番目の行であったとき、制御部２４は、路面検出の対象の行を、ｎ＋１番目の行に変更する。図１０は、説明のため各行の縦方向の幅を広くしている。実際の各行は、１画素の高さである。この場合、ｎ＋１番目の行ｖ座標は、ｎ番目の行のｖ座標よりも１小さい。

それぞれ、ｎ＋１番目の行を対象とするステップＳ３０４〜Ｓ３０６の処理は、ｖ座標が座標（ｖ₀）の行の処理と同様に行われる。ステップＳ３０４の処理において、制御部２４は、ｎ番目の行に対するステップＳ３０６の処理で算出した視差収集閾値を用いて、路面候補視差ｄ_cを収集する。ステップＳ３０５の処理において、制御部２４は、収集した路面候補視差ｄ_cを平均化して平均路面候補視差ｄ_avを算出する。ステップＳ３０６の処理において、制御部２４は、平均路面候補視差ｄ_avを用いて、数式（１）の路面高さＹを変更する。制御部２４は、路面高さＹを変更した数式（１）を用いて、幾何推定路面視差ｄ_sを算出する。さらに、制御部２４は、ｎ＋２番目の行の路面候補視差ｄ_cの抽出のために、幾何推定路面視差ｄ_sに路面高さ変化量ΔＹを考慮して、視差収集閾値を算出する。

制御部２４は、路面候補視差ｄ_cの抽出対象を、ステレオカメラ１０から最も近い路面候補視差ｄ_cの抽出位置に対応する行から、順次上方向（ｖ座標の負の方向）にシフトさせながら、当該ｖ座標に対応する路面候補視差ｄ_cを抽出する。制御部２４は、抽出した路面候補視差ｄ_cを、対応するｕ座標及びｖ座標及びｖ座標に対応する平均路面候補視差ｄ_avと共にメモリ２３に格納してよい。

制御部２４は、ステップＳ３０７の処理において、数式（１）により算出された幾何推定路面視差ｄ_sが上述の所定の値以下となったとき、路面候補視差ｄ_cの抽出処理を終了して、図７のフローチャートのステップＳ２０１の処理に戻る。所定の値は、例えば、１画素とすることができる。

このように、図８のフローチャートでは、路面候補視差ｄ_cを抽出するｖ座標の初期値をステレオカメラ１０から見て近距離側の位置に対応するｖ₀に設定し、順次遠距離側の路面候補視差ｄ_cを抽出する。ステレオカメラ１０は、一般的に遠距離側よりも近距離側の方が、視差の検出精度が高い。このため、近距離側から遠距離側に順次路面候補視差ｄ_cを抽出することにより、検出される路面候補視差ｄ_cの精度を高めることができる。

上記路面候補視差ｄ_cを抽出する図８のフローチャートでは、縦方向の１つの座標ごとに路面候補視差ｄ_cを算出した。言い換えると、上記路面候補視差ｄ_cを抽出するフローチャートでは、縦方向に１画素の行ごとに路面候補視差ｄ_cを算出した。路面候補視差の算出の単位は、これに限られない。縦方向に複数の座標を纏めて路面候補視差ｄ_cを算出することも可能である。

ステップＳ３０１〜Ｓ３０７の路面候補視差ｄ_cの抽出処理に続いて、制御部２４は、図７のフローチャートのステップＳ２０２の処理に進む。制御部２４は、近距離側から遠距離側へ順次路面視差ｄ_rを推定する際に、路面視差ｄ_rに順次カルマンフィルタを適用する。そのため、始めに、制御部２４は、カルマンフィルタの初期化を行う（ステップＳ２０２）。カルマンフィルタの初期値として、ステップＳ３０５の処理で算出した、路面視差ｄ_rの推定を行う行のうち最も下の行（ｖ座標の値がｖ₀の行）に対応する平均路面候補視差ｄ_avの値を利用することができる。

制御部２４は、以下のステップＳ２０３〜Ｓ２１０の処理を、路面の近距離側から遠距離側へ対象とする行を変えながら順次実行する（ステップＳ２０３）。

まず、制御部２４は、第１視差画像内の対象とする行について、実空間における一定幅の範囲内に位置する路面候補視差ｄ_cから、路面視差ｄ_rの値ごとの頻度を表すヒストグラムを生成する（ステップＳ２０４）。実空間における一定幅の範囲とは、道路の走行車線の幅を考慮した範囲である。一定幅は、例えば、２．５ｍ又は３．５ｍ等の値に設定できる。視差を取得する範囲は、例えば、図１１において実線の枠線４５により囲まれた範囲に初期設定される。一定幅は、予め物体検出装置２０のメモリ２３等に記憶される。視差を取得する範囲を、この範囲に限定することにより、制御部２４が路面４１Ａ以外の物体又は防音壁等の構造物を路面４１Ａと誤認して抽出する可能性が低減される。これにより、路面検出の精度を向上することができる。図１１に実線で示した視差を取得する範囲は、後述するように、前方の道路上の状況に応じて初期設定された枠線４５から順次変更されうる。

制御部２４は、カルマンフィルタによる路面視差ｄ_rの予測値に基づいて、対象とする行について路面視差ｄ_rの取得範囲を設定する。路面視差ｄ_rの取得範囲は、カルマンフィルタが次の行の路面視差ｄ_rを予測する際に算出する信頼度に基づいて決定される範囲である。信頼度は、ガウス分布の分散σ²（σは路面視差ｄ_rの標準偏差）で表現される。制御部２４は、予測値±２σ等により路面視差ｄ_rの取得範囲を求めることができる。制御部２４は、ステップＳ２０４の処理で生成した路面候補視差ｄ_cのヒストグラムから、カルマンフィルタに基づいて設定された路面視差ｄ_rの取得範囲内で、頻度が最大となる路面視差ｄ_rを抽出する。制御部２４は、抽出した路面視差ｄ_rを、対象とする行の路面視差ｄ_rの観測値とする（ステップＳ２０５）。

次に、制御部２４は、ステップＳ２０５の処理で決定した路面視差ｄ_rが、物体に対応する視差等を含まず、正しい路面視差ｄ_rであることを確認する（ステップＳ２０６）。制御部２４は、現在処理中の行までの各行で検出された全ての路面視差ｄ_rについて、路面視差ｄ_rとｖ座標とを座標軸とするｄ−ｖ座標空間上にマップしたｄ−ｖ相関図を生成する。正しく路面４１Ａが検出されている場合、ｄ−ｖ相関図は、図１２に破線で示すようにｖ座標の値が小さくなるにつれて、路面視差ｄ_rも直線的に小さくなる。

一方、物体を表す視差が路面４１Ａを表す視差として誤認識されている場合、図１３に示すように、ｄ−ｖ相関図は、物体を表す視差の部分で、縦方向の座標（ｖ座標）の変化に関わらず視差ｄが略一定となる。一般に、物体は、路面４１Ａに対して垂直な部分を含むので、第１視差画像上では等距離の視差を多く含むように表示される。図１３において、第１部分Ｒ₁は、ｖ座標の値の変化とともに視差ｄが減少している。第１部分Ｒ₁は、路面４１Ａを表す視差を正しく検出している部分である。第２部分Ｒ₂は、ｖ座標が変化しても視差ｄは一定である。第２部分Ｒ₂は、物体を表す視差を、誤検出した部分と考えられる。制御部２４は、視差ｄが略等しい値の行が所定数続いたとき、物体を表す視差を、路面４１Ａを表す視差として、誤認識していると判断することができる。

ステップＳ２０６の処理で視差が正しい路面視差ｄ_rではないと判断されると（ステップＳ２０６：Ｎｏ）、制御部２４は、物体を表す視差が誤検出されたと判断される行から、路面視差ｄ_rを再探索する（ステップＳ２０７）。ステップＳ２０７の処理において、制御部２４は、ｖ座標の値が変化しても視差ｄが変化しない行の領域で、路面視差ヒストグラムを再探索する。この領域で、ステップＳ２０５の処理で決定された視差ｄよりも小さい視差の部分に、頻度が高い視差がある場合、制御部２４は、この視差を正しい路面視差ｄ_rの観測値であると判断することができる。

ステップＳ２０６の処理において路面視差ｄ_rが正しいと判断されたとき（ステップＳ２０６：Ｙｅｓ）、及び、ステップＳ２０７の処理において、路面視差ｄ_rの再探索が終了したとき、制御部２４は、ステップＳ２０８の処理に進む。ステップＳ２０８の処理において、制御部２４は、縦方向に１画素ずらした次の行のヒストグラムを生成する対象となる第１視差画像上の路面に対応する視差画像４１の横方向の範囲を決定する。例えば、図１１に示すように、路面に対応する視差画像４１上に他車両に対応する視差画像４２がある場合、路面検出部２６は、他車両と重複する部分の路面に対応する視差画像４１の正しい路面視差ｄ_rを取得できない。路面視差ｄ_rを取得できる路面に対応する視差画像４１の範囲が狭くなると、制御部２４は、正確な路面視差ｄ_rを取得し難くなる。このため、制御部２４は、図１１に破線で示したように路面候補視差ｄ_cを取得する範囲を順次横方向に変化させる。具体的には、制御部２４は、ステップＳ２０６の処理で物体を表す視差が含まれていると判断した場合、物体の横方向の何れの側に正しい路面視差ｄ_rを表す路面候補視差ｄ_cが多いか検出する。次の行において、制御部２４は、横方向のより多くの正しい路面視差ｄ_rを表す路面候補視差ｄ_c含まれる側（図１１において右側）に視差を取得する範囲を順次ずらす。

次に、制御部２４は、ステップＳ２０５の処理又はＳ２０７の処理で決定した現在の行の路面視差ｄ_rを用いて、カルマンフィルタを更新する（ステップＳ２０９）。すなわち、カルマンフィルタは、現在の行の路面視差ｄ_rの観測値に基づいて、路面視差ｄ_rの推定値を算出する。現在の行の推定値が算出されると、制御部２４は、現在の行の路面視差ｄ_rの推定値を過去のデータの一部として加え、次の行の路面視差ｄ_rの推定値を算出する処理に用いる。路面４１Ａの高さは、ステレオカメラ１０からの水平方向の距離Ｚに対して、急に上下に変化しないと考えられる。このため、本実施形態のカルマンフィルタを用いる推定では、現在の行の路面視差ｄ_rの近くに次の行の路面視差ｄ_rが存在すると推定される。このように、制御部２４が現在の行の路面視差ｄ_rの近くに次の行のヒストグラムを生成する視差の範囲を限定することにより、路面４１Ａ以外の物体を誤検出する可能性が低減される。また、制御部２４が実行する演算量を減らして、処理を高速化することができる。

ステップＳ２０９の処理でカルマンフィルタにより推定された路面視差ｄ_rが所定値より大きい場合、制御部２４は、ステップＳ２０３の処理に戻り、ステップＳ２０３〜Ｓ２０９の処理を繰り返し実行する。カルマンフィルタにより推定された路面視差ｄ_rが所定値以下の場合（ステップＳ２１０）、制御部２４は、次の処理（ステップＳ２１１）に進む。所定値は、例えば、１画素とすることができる。

ステップＳ２１１の処理において、制御部２４は、ｄ−ｖ相関図上で、縦方向の画像座標ｖと推定された路面視差ｄ_rとの関係を、２本の直線で近似する。路面視差ｄ_rは、ステレオカメラ１０からの距離Ｚに関係する。ｖ座標の値は、ステレオカメラ１０からの距離Ｚ及び路面高さＹに関連する。従って、ｖ座標と路面視差ｄ_rとの関係を２本の直線で近似することは、ステレオカメラ１０からの距離Ｚと路面４１Ａの高さとの関係を、２本の直線で近似したものということができる。ステップＳ２１１の処理は、図１４のフローチャートに詳しく説明される。

まず、図７のステップＳ２１０までの処理により、路面視差ｄ_rとｖ座標との相関関係が得られる。例えば、ｖ座標と路面視差ｄ_rとの相関関係は、図１５の破線のグラフ５１のようにｄ−ｖ座標空間で示される。実空間において、路面４１Ａが平坦で傾斜変化が無い場合、グラフ５１は直線になる。しかしながら、現実の路面４１Ａは上り下り等の起伏の変化により、路面４１Ａの傾斜が変化しうる。路面４１Ａの傾斜が変化する場合、ｄ−ｖ座標空間のグラフ５１は、直線で表現できない。路面４１Ａの傾斜の変化を３本以上の直線又は曲線で近似しようとすると、物体検出装置２０の処理負荷が大きくなる。そこで、本願では２本の直線によりグラフ５１を近似する。

図１５に示すように、制御部２４は、ｄ−ｖ座標空間における下側（近距離側）の推定された路面視差ｄ_rを、第１直線５２により最小二乗法により近似する（ステップＳ４０１）。第１直線５２による近似は、物体検出装置２０が物体検出の対象とする距離範囲の中で、所定の距離に対応する路面視差ｄ_rまでの範囲で行うことができる。所定の距離は、物体検出装置２０が物体検出の対象とする距離範囲の半分の距離とすることができる。例えば、物体検出装置２０が、１００ｍ先までの物体を検出するように設計される場合、第１直線５２はステレオカメラ１０が測定可能な最も近い距離から５０ｍ先までの範囲で、最小二乗法によりグラフ５１に最も近づくように決定されてよい。

次に、制御部２４は、ステップＳ４０１の処理で近似した第１直線５２の表す路面４１Ａの傾斜が、路面４１Ａとしてあり得る傾斜か否かを判定する（ステップＳ４０２）。第１直線５２の傾斜角度は、実空間に変換すると平面になる。第１直線５２の傾斜は、ステレオカメラ１０の設置位置の路面高さＹ₀及び基線長Ｂ等の条件に応じて定まる路面４１Ａのｙｚ平面内の傾斜角度に対応する。制御部２４は、第１直線５２に対応する実空間の路面４１Ａの傾斜が、実空間における水平面を基準とする所定角度の範囲内にあるとき、あり得る傾斜であると判定することができる。制御部２４は、第１直線５２に対応する実空間の路面４１Ａの傾斜が、実空間における水平面を基準とする所定角度の範囲外にあるとき、あり得ない傾斜であると判定することができる。所定角度は、移動体３０の走行環境を考慮して適宜設定することができる。

ステップＳ４０２の処理において、第１直線５２の傾斜が路面４１Ａとしてあり得ない傾斜であると判定した場合（ステップＳ４０２：Ｎｏ）、制御部２４は、路面４１Ａが平坦であることを仮定した理論路面に基づき第１直線５２を決定する（ステップＳ４０３）。理論路面は、ステレオカメラ１０の設置位置の路面高さＹ₀、設置角度、及び基線長Ｂ等の設置条件に基づいて算出することができる。制御部２４は、画像から算出した路面視差ｄ_rが信用できないとき、理論路面の路面視差を採用する。例えば、制御部２４は、路面４１Ａ以外の物体又は構造物を表す視差を誤って路面視差ｄ_rとして抽出した場合、路面４１Ａを非現実的な傾斜を有するものと判断して、誤りを排除できることがある。これにより、路面４１Ａ以外の物体又は構造物を表す視差を路面視差ｄ_rであると誤判定する可能性を低減することができる。

ステップＳ４０２の処理において、制御部２４が、第１直線５２の傾斜が路面４１Ａとしてあり得る傾斜であると判定した場合（ステップＳ４０２：Ｙｅｓ）、及び、ステップ４０３の処理を実行した後、制御部２４は、ステップＳ４０４の処理に進む。ステップＳ４０４の処理において、制御部２４は、第２直線５５の近似を開始する近似開始点５３を決定する。制御部２４は、第１直線５２のｖ座標の最も小さい側（遠距離側）から大きい側（近距離側）へ、グラフ５１との近似誤差を算出し、近似誤差が連続して所定値より小さくなる第１直線５２上の座標を、近似開始点５３とすることができる。或いは、近似開始点５３は、第１直線５２のｖ座標の最も大きい側（近距離画側）から小さい側（遠距離側）へ、グラフ５１との近似誤差を算出し、近似誤差が所定値より大きくなったときの第１直線５２上の座標として決定してよい。近似開始点５３のｖ座標は特定の値に固定されない。近似開始点５３は、第１直線５２上で物体検出装置２０が物体検出の対象とする距離範囲の半分の距離よりも、ステレオカメラ１０側に近い位置に相当するｖ座標の位置に設定されてよい。例えば、第１直線５２が、測定可能な最も近い距離から５０ｍ先までの範囲で路面４１Ａを近似した場合、近似開始点５３は、５０ｍよりも手前の４０ｍに相当するｖ座標の位置に設定されてよい。

ステップＳ４０４の処理を実行した後、制御部２４は、ステップＳ４０５〜Ｓ４０７の処理を繰り返し実行する。図１６に示すように、制御部２４は、第１直線５２との角度差を所定の角度範囲から選択された角度として、近似開始点５３を起点とする第２直線５５の候補である候補直線５４を順次選択する（ステップＳ４０５）。所定の角度範囲は、測定対象の距離範囲内で道路の勾配が変化し得る角度として設定される。所定の角度範囲は、例えば±３度とすることができる。例えば、制御部２４は、候補直線５４の角度を、第１直線５２の角度−３度から開始して、第１直線５２の角度＋３度まで、順次、０．００１度ずつ加えた角度に変えることができる。

選択した候補直線５４について、制御部２４は、ｄ−ｖ座標空間においてグラフ５１の近似開始点５３よりも上側（遠距離側）の部分との誤差を計算する（ステップＳ４０６）。誤差の計算は、ｖ座標に対する視差ｄの平均二乗誤差により計算できる。制御部２４は、候補直線５４ごとに計算した誤差を、メモリ２３に格納してよい。

制御部２４は、角度範囲の全ての候補直線５４について誤差の計算が終了すると（ステップＳ４０７）、メモリ２３に格納された誤差の中から最小の誤差を探索する。図１７に示すように、制御部２４は、最小の誤差を有する候補直線５４を第２直線５５として選択する（ステップＳ４０８）。

ステップＳ４０８の処理で第２直線５５が決定されると、制御部２４は、第２直線５５のグラフ５１との誤差が所定値以内か否かを判定する（ステップＳ４０９）。所定値は、所望の路面推定の精度を得るために、適宜設定される。

ステップＳ４０９の処理において誤差が所定値以内の場合（ステップＳ４０９：Ｙｅｓ）、路面視差ｄ_rは、第１直線５２及び第２直線５５を用いて近似される。

ステップＳ４０９の処理において誤差が所定値を超える場合（ステップＳ４０９：Ｎｏ）、制御部２４は、第１直線５２を上側（遠距離側）に延長して、近似結果を上書きする（ステップＳ４１０）。以上のようにして、路面視差ｄ_rが２本の直線により近似される。

ｖ座標に対する路面視差ｄ_rが、２本の直線で近似されることにより、路面の形状が、２本の直線で近似される。これによって、路面の形状を曲線又は３本以上の直線で近似する場合に比べて、以降の計算に係る負荷が低減され、且つ、物体検出の処理が高速化される。また、路面を１本の直線で近似する場合に比べて、実際の路面との誤差が小さい。さらに、第２直線５５の近似開始点５３のｖ座標を所定の座標に固定しないことにより、近似開始点５３の座標を予め固定した場合と比較して、実際の路面との近似の精度を向上することができる。

ステップＳ４０９の処理において誤差が所定値以内の場合（ステップＳ４０９：Ｙｅｓ）及びステップＳ４１０の処理を実行した後、制御部２４は、路面視差ｄ_rを直線近似する処理を終了し、図７のステップＳ２１２の処理に戻る。

ステップＳ２１２の処理において、第１視差画像から除去する路面視差ｄ_rの閾値が決定される（ステップＳ２１２）。第１視差画像から除去する路面視差ｄ_rの閾値は、後述する第１高さに相当する。第１高さは、次のステップＳ１０３の処理で路面視差ｄ_rが除去されるように算出され得る。

次に、制御部２４は、図５のフローチャートに戻る。上述の処理により、制御部２４は、ｄ−ｖ座標空間におけるｖ座標と路面視差ｄ_rとの関係を２本の直線で近似した近似式を取得している。ｄ−ｖ座標空間におけるｖ座標と路面視差ｄ_rとの関係を表す近似式から、実空間におけるステレオカメラ１０の前方の距離Ｚと路面高さＹとの関係が得られる。制御部２４は、近似式に基づいて、（第２処理）を実行する（ステップＳ１０３）。第２処理は、実空間における路面４１Ａからの高さが第１高さ以下の範囲に対応する視差と、路面４１Ａからの高さが第２高さ以上の被写体に対応する視差とを、第１視差画像から除去する処理である。これにより、制御部２４は、図６に示す第１視差画像４０から、図１８に示すような第２視差画像６０を生成する。図１８は、説明のために作図された図である。ステレオカメラ１０から取得した画像に基づく実際の第２視差画像は、例えば、図１９に示すようになる。図１９では、黒白の濃淡により視差の大きさを表現している。図１９に示す第２視差画像は、他車両に対応する視差画像４４を含む。

第１高さは、物体検出装置２０の検出対象となる物体の高さの最小値よりも小さくなるように、設定されてよい。物体検出装置２０の検出対象となる物体の高さの最小値は、子供の伸長（例えば、５０ｃｍ）であってよい。第１高さは、１５ｃｍより大きく５０ｃｍよりも小さい値であってよい。図６に示す第１視差画像４０にノイズが含まれることにより、前述の処理により路面に対応する視差の検出精度が低下する場合がある。この場合、第１視差画像４０から、検出した路面に対応する視差を単に除去すると、視差画像４１の一部に、路面に対応する視差が残る場合がある。第１視差画像４０から路面４１Ａからの高さが第１高さ以下の範囲に対応する視差を除去することにより、視差画像４１から路面に対応する視差を精度良く除去した第２視差画像が得られる。

図１８に示す第２視差画像６０では、実空間における路面からの高さが第１高さ以下の範囲に対応する視差の情報が除去されている。このような構成により、路面に対応する視差画像４１には、視差の情報が含まれていない。路面に対応する視差画像４１と、他車両に対応する視差画像４２とは、隣接する。第２視差画像６０では、視差画像４１に視差の情報が含まれなくなることにより、後の処理において、他車両に対応する視差画像４２の視差情報に対する処理が容易になり得る。さらに検出対象の物体とは関連しない不要な視差が除去されることにより、後述の処理速度が高速化され得る。

第２高さは、物体検出装置２０の検出対象となる物体の高さの最大値に基づいて、適宜設定されてよい。第２高さは、移動体３０が車両である場合、道路上を走行可能な車両の高さの上限値に基づいて設定されてよい。道路上を走行可能な車両の高さは、交通法規等により規定される。例えば、日本の道路交通法では、トラックの高さは原則３．８ｍ以下である。この場合、第２高さは、４ｍであってよい。第１視差画像から、路面からの高さが第２高さ以上の物体に対応する視差を除去することにより、第１視差画像から、当該物体に対応する視差の情報が除去される。図１８に示す第２視差画像６０では、路面からの高さが第２高さ以上の物体に対応する視差が除去されることにより、ｖ軸の負方向側に位置する物体に対応する視差画像には、視差の情報が含まれていない。第２高さ以上の物体に対応する視差の情報が除去されることにより、後の処理において、図１８に他車両に対応する視差画像４２の視差情報に対する処理がより容易になり得る。さらに検出対象の物体とは関連しない不要な視差が除去されることにより、後述の処理速度が高速化され得る。

ステップＳ１０３の処理を実行した後、制御部２４は、第２視差画像から、第１視差及び第２視差を検出する（ステップＳ１０４）。ステップＳ１０４の処理の詳細は、図２０に示すフローチャートに示される。

ステップＳ５０１の処理において、制御部２４は、第２視差画像をｕ方向に沿ってΔｕ１で分割することにより、複数の部分領域に分割する。図２１に、部分領域６１を第２視差画像６０に重ねて示す。部分領域６１は、長辺が短辺よりも著しく長い、長方形となり得る。部分領域６１の長辺は、部分領域６１の短辺の５倍以上である。部分領域６１の長辺は、部分領域６１の短辺の１０倍以上であってよいし、部分領域６１の短辺の２０倍以上であってよい。部分領域６１の短辺すなわちΔｕ１は、数画素から数十画素であってよい。部分領域６１を基準にして、後述のように第１視差及び第２視差が検出され得る。部分領域１０１ａの短辺すなわちΔｕ１が短くなるほど、第１視差及び第２視差の検出の分解能が高まり得る。制御部２４は、図２１に示すｕ軸の負方向側から正方向側に向けて、部分領域６１を順次取得し、以下のステップＳ５０２からステップＳ５０６の処理を実行してよい。

ステップＳ５０２の処理において、制御部２４は、部分領域毎に、視差ヒストグラムを生成する。図２２に、視差ヒストグラムの一例を示す。図２２の横軸は、視差の大きさに対応する。図２２の縦軸は、視差の頻度に対応する。視差の頻度は、部分領域に含まれる当該視差を表す視差画素の数である。図２１に示すように、部分領域６１には、同一物体に対応する視差画像内の複数の視差画素が含まれ得る。例えば、部分領域６１−１には、複数の視差画素４２ａが含まれる。複数の視差画素４２ａは、他車両に対応する視差画像４２内の複数の視差画素のうち、部分領域６１−１に含まれる視差画素である。部分領域６１において、同一物体に対応する複数の視差画素が表す視差は、同程度になり得る。例えば、部分領域６１−１において、複数の視差画素４２ａが表す視差は、同程度となり得る。つまり、図２２に示す視差ヒストグラムにおいて、同一物体に対応する視差の頻度は、高くなり得る。

ステップＳ５０２の処理において、制御部２４は、図２２に示す視差ヒストグラムの区間Ｓｎの幅を、視差が小さくなるに連れて広げてよい。区間Ｓｎは、視差が小さい方から数えてｎ番目の視差ヒストグラムの区間である。区間Ｓｎの始点は、視差ｄｎ−１である。区間Ｓｎの終点は、視差ｄｎである。例えば、制御部２４は、区間Ｓｎ−１の幅を、区間Ｓｎの幅よりも、区間Ｓｎの幅の１０％程度広げてよい。ステレオカメラ１０から物体までの距離が遠い場合、当該物体に対応する視差は、ステレオカメラ１０から当該物体までの距離が近い場合と比較して、小さくなり得る。ステレオカメラ１０から物体までの距離が遠い場合、ステレオ画像上で当該物体が占める画素数は、ステレオカメラ１０から当該物体までの距離が近い場合と比較して、少なくなり得る。つまり、ステレオカメラ１０から物体までの距離が遠い場合、第２視差画像上で当該物体に対応する視差を表す視差画素の数は、ステレオカメラ１０から当該物体までの距離が近い場合と比較して、少なくなり得る。視差が小さくなるに連れて図２２に示す視差ヒストグラムの区間Ｓｎの幅が広がることにより、ステレオカメラ１０から遠い距離にある物体に対応する視差が、後述のステップＳ５０３〜Ｓ５０６の処理により検出され易くなり得る。制御部２４は、ステップＳ５０３〜Ｓ５０６の処理を、視差ヒストグラムの区間毎に順次実行してよい。

ステップＳ５０３の処理において、制御部２４は、生成した視差ヒストグラムにて、視差の頻度が第１閾値Ｔｒ１（所定閾値）を超える区間Ｓｎが存在するか否か判定する。制御部２４は、視差の頻度が第１閾値Ｔｒ１を超える区間Ｓｎが存在すると判定するとき（ステップＳ５０３：Ｙｅｓ）、区間Ｓｎの始点（視差ｄｎ−１）から区間Ｓｎの終点（視差ｄｎ）までの範囲の視差を、第１視差として検出する（ステップＳ５０４）。制御部２４は、物体に対応する視差とみなして、第１視差を検出する。制御部２４は、検出した第１視差をｕ座標と対応付けて、メモリ２３に格納する。一方、制御部２４は、生成した視差ヒストグラムにて、視差の頻度が第１閾値Ｔｒ１を超える区間Ｓｎが存在しないと判定するとき（ステップＳ５０３：Ｎｏ）、ステップＳ５０５の処理に進む。

第１閾値Ｔｒ１は、物体検出装置２０の検出対象となる物体の高さの最小値（例えば、子供の伸長５０ｃｍ）に基づいて、設定されてよい。ただし、上述のように、物体がステレオカメラ１０から遠い距離にある場合、当該物体に対応する視差は、当該物体がステレオカメラ１０から近い距離にある場合と比較して、小さくなり得る。この場合、第１閾値Ｔｒ１を視差に対して一定にすると、ステレオカメラ１０から近い距離にある物体と比較して、ステレオカメラ１０から遠い距離にある物体に対応する視差が検出し難くなる場合がある。そこで、第１閾値Ｔｒ１は、物体検出装置２０の検出対象となる物体の高さの最小値に基づきつつ、視差ヒストグラムの視差が小さくなるに連れて大きくなるように、設定されてよい。例えば、第１閾値Ｔｒ１は、数式（２）によって算出されてよい。
Ｔｒ１＝（Ｄ×Ｈ）／Ｂ （２）
数式（２）において、視差ｄは、視差ヒストグラムの横軸に対応する視差である。高さＨは、物体検出装置２０の検出対象となる物体の高さの最小値である。基線長Ｂは、第１カメラ１１の光学中心と第２カメラ１２の光学中心との間の距離（基線長）である。

ステップＳ５０５の処理は、第２視差を検出するか否か判定する処理である。ステップＳ５０５の処理を説明する前に、第２視差を検出する理由を説明する。上述のように、視差を算出するマッチング処理において、ステレオ画像上の特徴量が少ないことにより、物体に対応する視差画像の一部の視差が、算出されなかったり、又は、他の部分の視差と比べて小さくなったりする場合がある。例えば、図１９に示すように、他車両に対応する視差画像４４の下側の中央部の視差は、ステレオ画像上の特徴量が少ないことにより、算出されていない。物体に対応する視差画像の一部が算出されないと、例えば実空間上の実際の高さが５０ｃｍ以上の物体でも、第２視差画像上において、実空間上の高さが５０ｃｍ未満（例えば、１０ｃｍ）となる２つ以上の別個の物体として表示され得る。つまり、実空間上の実際の高さが検出対象の高さ以上の物体でも、当該物体に対応する視差画像の一部が欠けていると、当該物体に対応する視差は、上述の第１閾値Ｔｒ１による判定処理により、第１視差として検出されない場合がある。そこで、本実施形態では、このような第１視差として検出されない視差を、物体に対応する視差の候補として、すなわち、２視差として検出しておく。第２視差として検出しておくことにより、後述の図５に示す後述のステップＳ１０７の処理において検出対象の物体の視差として復活させるか否かを判定することができる。

ステップＳ５０５の処理において、制御部２４は、生成した視差ヒストグラムにて、視差の頻度が第１閾値Ｔｒ１以下であり且つ第２閾値Ｔｒ２（所定閾値）を超える区間Ｓｎが存在するか否か判定する。

第２閾値Ｔｒ２は、第１閾値Ｔｒ１の所定割合であってよい。所定割合は、同一物体に対する視差画像において、視差が算出されない部分と視差が算出される部分との間の比率に基づいて、適宜設定されてよい。例えば、所定割合は、０．２であってよい。

ステップＳ５０５の処理において、制御部２４は、生成した視差ヒストグラムにて、視差の頻度が第１閾値Ｔｒ１以下であり且つ第２閾値Ｔｒ２を超える区間Ｓｎが存在すると判定するとき（ステップＳ５０５：Ｙｅｓ）、ステップＳ５０６の処理に進む。一方、制御部２４は、生成した視差ヒストグラムにて、視差の頻度が第１閾値Ｔｒ１以下であり且つ第２閾値Ｔｒ２を超える区間Ｓｎが存在しないと判定するとき（ステップＳ５０５：Ｎｏ）、図５に示すステップＳ１０５の処理に戻る。

ステップＳ５０６の処理において、制御部２４は、当該区間Ｓｎの始点（視差ｄｎ−１）から区間Ｓｎの終点（視差ｄｎ）までの範囲の視差を、第２視差として検出する（ステップＳ５０６）。制御部２４は、検出した第２視差をｕ座標と対応付けて、メモリ２３に格納する。制御部２４は、ステップＳ５０６の処理を実行した後、図５に示すステップＳ１０５の処理に戻る。

ステップＳ１０５の処理において、制御部２４は、画像上の物体の高さを算出する。ステップＳ１０５の処理の詳細は、図２３から図２５に示すフローチャートに示される。

以下、制御部２４は、物体の高さの算出処理を、視差マップとして第２視差マップすなわち第２視差画像に対して実行するものとする。ただし、制御部２４は、ｕｖ座標に視差が対応付けられた任意の視差マップに対して、物体の高さの算出処理を実行してよい。物体の高さの算出処理では、制御部２４は、探索対象のｕ座標において、ｖ方向に沿って視差画素を走査することにより、画像上の物体の高さを算出する。例えば、制御部２４は、ｖ方向に沿って、物体に対応する視差とみなされる第１視差を表す視差画素、及び／又は、物体に対応する視差の候補となる第２視差を表す視差画像を走査することにより、画像上の物体の高さを算出する。

ステップＳ６０１の処理を開始する際、制御部２４は、探索対象のｕ座標として、ｕ座標の最小座標を取得する。本実施形態において、最小座標及び最大座標は、画像上の走査に関して用いられる場合、走査範囲の最小座標及び最大座標を意味する。走査範囲の最小座標及び最大座標は、画像上の最小座標及び最大座標に一致しなくてよい。走査範囲の最小座標及び最大座標は、任意に設定されてよい。

ステップＳ６０１の処理において、制御部２４は、メモリ２３を参照して、探索対象のｕ座標に対応付けられた、図２０に示す処理により検出された第１視差又は第２視差が存在するか否かを判定する。

図２６に、第２視差画像７０を示す。図２６には、第２視差画像７０の一部が示されている。第２視差画像７０は、図１８に示す第２視差画像６０の領域６２に相当する。第２視差画像７０は、他車両の視差画像４２を含む。第２視差画像７０において、網掛部分は、第１視差又は第２視差を表す視差画素である。制御部２４は、探索対象のｕ座標が座標（ｕ₀）であるとき、探索対象のｕ座標に対応付けられた第１視差及び第２視差が存在しないと判定する。制御部２４は、探索対象のｕ座標が座標（ｕ₁）であるとき、探索対象のｕ座標に対応付けられた第１視差又は第２視差が存在すると判定する。

ステップＳ６０１の処理において、制御部２４は、探索対象のｕ座標に対応付けられた第１視差又は第２視差が存在すると判定しないとき（ステップＳ６０１：Ｎｏ）、ステップＳ６０２の処理に進む。一方、制御部２４は、探索対象のｕ座標に対応付けられた第１視差又は第２視差が存在すると判定するとき（ステップＳ６０１：Ｙｅｓ）、ステップＳ６０４の処理に進む。

ステップＳ６０２の処理において、制御部２４は、探索対象のｕ座標が最大座標であるか否かを判定する。探索対象のｕ座標が最大座標であるときは、制御部２４がｕ座標を最小座標から最大座標まで探索し切ったときである。制御部２４は、探索対象のｕ座標が最大座標であると判定するとき（ステップＳ６０２：Ｙｅｓ）、図２３に示す処理を終了して、図５に示すステップＳ１０６の処理に戻る。例えば、制御部２４は、探索対象のｕ座標が図２６に示す座標（ｕ₀）であるとき、探索対象のｕ座標が最大座標ではないと判定する。一方、制御部２４は、探索対象のｕ座標が最大座標ではないと判定するとき（ステップＳ６０２：Ｎｏ）、探索対象のｕ座標を１つインクリメントする（ステップＳ６０３）。制御部２４は、ステップＳ６０３の処理により１つインクリメントしたｕ座標に対して、ステップＳ６０１の処理を実行する。例えば、制御部２４は、探索対象のｕ座標を図２６に示す座標（ｕ₀）から始めて、探索対象のｕ座標に対応付けられた第１視差又は第２視差が存在すると判定するまで、ステップＳ６０１〜Ｓ６０３の処理を繰り返し実行し得る。

ステップＳ６０４の処理において、制御部２４は、対象視差を取得する。対象視差は、物体に対応する視差とみなされて検出された第１視差のみであってよい。換言すると、対象視差は、所定条件としての図２０に示すステップＳ５０３の判定処理を満たす視差であってよい。又は、対象視差は、第１視差及び第２視差の両方を含んでよい。換言すると、所定条件としての図２０に示すステップＳ５０３の判定処理及びステップＳ５０５の判定処理を満たす視差であってよい。以下、図２３から図２５に示す処理では、対象視差は、第１視差及び第２視差の両方を含むものとして説明する。

ステップＳ６０４の処理において、制御部２４は、メモリ２３に格納されている、探索対象のｕ座標に対応付けられた第１視差及び第２視差の中で、最大の視差を対象視差として取得する。

ステップＳ６０５の処理において、制御部２４は、対象視差に対応する路面のｖ座標を算出する。例えば、制御部２４は、対象視差を、図７に示すステップＳ２１１の処理で取得した路面のｖ座標と路面視差ｄ_rとの関係を示す近似式（図１７）の路面視差ｄ_rに代入することにより、路面のｖ座標を算出する。図２６において、探索対象のｕ座標は、座標（ｕ₁）であるものとする。この場合、制御部２４は、路面のｖ座標として座標（ｖ₁）を算出する。

ステップＳ６０６の処理において、制御部２４は、算出した路面のｖ座標から、ｖ軸の負方向に沿って所定範囲以内に、対象視差と略等しい視差が対応付けられた座標が存在するか否かを判定する。本開示において「対象視差と略等しい視差」とは、対象視差と同一の視差、及び、対象視差と実質的に同一の視差を含む。本開示において「対象視差と実質的に同一の視差」は、画像処理において対象視差とみなして扱うことが可能な視差を意味する。例えば、対象視差との差が±１０％の範囲にある視差を、対象視差と略等しい視差としてよい。また、ステップＳ６０２の処理における所定範囲は、路面から浮いている物体の路面からの高さに基づいて、適宜設定されてよい。路面から浮いている物体の一例として、街路樹、歩道橋及び信号機等が挙げられる。このような路面から浮いている物体は、物体検出装置２０の検出対象外である。つまり、このような路面から浮いている物体については、高さを算出しなくてよい。

ステップＳ６０６の処理において、制御部２４は、路面のｖ座標からｖ軸の負方向に沿って所定範囲以内に対象視差と略等しい視差が対応付けられた座標が存在すると判定しないとき（ステップＳ６０６：Ｎｏ）、物体の高さを算出せずステップ６０７の処理に進む。ステップＳ６０７の処理において、制御部２４は、メモリ２３に格納された、ステップＳ６０４の処理で取得した対象視差に、走査済みのフラグを付加する。制御部２４は、ステップＳ６０７の処理を実行した後、ステップＳ６０１の処理を再度実行する。再度実行するステップＳ６０１の処理では、制御部２４は、探索対象のｕ座標について、走査フラグが付加されていない第１視差又は第２視差が存在するか否かを判定する。再度実行するステップＳ６０４の処理では、走査フラグが付加されていない第１視差及び第２視差の中で、最大の視差を対象視差として取得する。

ステップＳ６０６の処理において、制御部２４は、路面のｖ座標からｖ軸の負方向に沿って所定範囲以内に対象視差と略等しい視差が対応付けられた座標が存在すると判定するとき（ステップＳ６０６：Ｙｅｓ）、ステップＳ６０８の処理に進む。ステップＳ６０８の処理において、制御部２４は、路面のｖ座標からｖ軸の負方向に沿って所定範囲内に存在する、対象視差と略等しい視差が対応付けられた座標を、第１座標として取得する。図２６において、探索対象のｕ座標は、座標（ｕ₁）であるものとする。また、視差画素７１の座標（ｕ₁，ｖ₂）には、対象視差と略等しい視差が対応付けられているものとする。つまり、視差画素７１は、対象視差と略等しい視差を表すものとする。また、路面のｖ座標の座標（ｖ₀）と視差画素７１のｖ座標の座標（ｖ₁）とは、所定範囲内にあるものとする。この場合、制御部２４は、第１座標として、視差画素７１の座標（ｕ₁，ｖ₂）を取得する。

ステップＳ６０８の処理を実行した後、制御部２４は、第１座標のｖ座標を１つディクリメントした座標に、対象視差と略等しい視差が対応付けられているか否かを判定する（ステップＳ６０９）。図２６において、第１座標は、視差画素７１の座標（ｕ₁，ｖ₂）であるものとする。視差画素７１のｖ座標を１つディクリメントした座標は、視差画素７２の座標（ｕ₁，ｖ₃）である。視差画素７２は、対象視差と略等しい視差を表すものとする。つまり、視差画素７２の座標（ｕ₁，ｖ₃）には、対象視差と略等しい視差が対応付けられているものとする。この場合、制御部２４は、第１座標である座標（ｕ₁，ｖ₂）のｖ座標を１つディクリメントした視差画素７２の座標（ｕ₁，ｖ₃）に、対象視差と略等しい視差が対応付けられていると判定する。

ステップＳ６０９の処理において、制御部２４は、第１座標のｖ座標を１つディクリメントした座標に、対象視差と略等しい視差が対応付けられていると判定するとき（ステップＳ６０９：Ｙｅｓ）、ステップＳ６１０の処理に進む。ステップＳ６１０の処理において、制御部２４は、第１座標のｖ座標を１つディクリメントした座標を、第１座標として更新する。図２６において、第１座標が視差画素７１の座標（ｕ₁，ｖ₂）である場合、ステップＳ６１０の処理により、第１座標は、視差画素７２の座標（ｕ₁，ｖ₃）に更新される。ステップＳ６１０の処理を実行した後、制御部２４は、ステップＳ６０９の処理に戻る。例えば、制御部２４は、図２６に示す視差画素７３の座標（ｕ₁，ｖ₄）を第１座標として更新するまで、ステップＳ６０９の処理とステップＳ６１０の処理とを繰り返し実行する。視差画素７３の座標（ｕ₁，ｖ₄）には、対象視差と略等しい視差が対応付けられている。

ステップＳ６０９の処理において、制御部２４は、第１座標のｖ座標を１つディクリメントした座標に、対象視差と略等しい視差が対応付けられていないと判定するとき（ステップＳ６０９：Ｎｏ）、図２４に示すステップＳ６１１の処理に進む。図２６において、第１座標は、視差画素７３の座標（ｕ₁，ｖ₄）であるものとする。視差画素７３のｖ座標を１つディクリメントした座標は、視差画素７４の座標（ｕ₁，ｖ₅）である。視差画素７４は、対象視差と略等しい視差よりも、小さい視差を表す。つまり、視差画素７４の座標（ｕ₁，ｖ₅）には、対象視差と略等しい視差が対応付けられていない。この場合、制御部２４は、第１座標である座標（ｕ₁，ｖ₄）のｖ座標を１つディクリメントした視差画素７４の座標（ｕ₁，ｖ₅）には、対象視差と略等しい視差が対応付けられていないと判定する。

ステップＳ６１１の処理において、制御部２４は、第１座標のｖ座標が最小座標であるか否かを判定する。第１座標のｖ座標が最小座標であるときは、制御部２４がｖ軸の負方向に沿って第２視差画像を走査し切ったときである。制御部２４は、第１座標のｖ座標が最小座標であると判定するとき（ステップＳ６１１：Ｙｅｓ）、ステップＳ６１６の処理に進む。一方、制御部２４は、第１座標のｖ座標が最小座標ではないと判定するとき（ステップＳ６１１：Ｎｏ）、ステップＳ６１２の処理に進む。例えば、制御部２４は、第１座標が図２６に示す視差画素７３の座標（ｕ₁，ｖ₄）である場合、第１座標のｖ座標（座標（ｖ₄））は最小座標ではないと判定する。

ステップＳ６１２の処理を説明する前に、図２６を再び参照されたい。図２６において、第１座標は、視差画素７３の座標（ｕ₁，ｖ₄）であるものとする。視差画素７３のｖ軸の負方向側には、視差画素７５が存在する。視差画素７５は、対象視差と略等しい視差を表すものとする。視差画素７３と視差画素７５とは、同一物体である他車両に対応する視差画像４２の一部である。しかしながら、視差のバラツキ等により、同一物体に対応する視差画像に含まれる視差画素であっても、視差画素７３及び視差画素７５のように、ｖ方向において、離れて位置する場合がある。

そこで、ステップＳ６１２の処理において、制御部２４は、第１座標のｖ座標からｖ軸の負方向に沿って所定間隔以内に、対象視差と略等しい視差が対応付けられた座標が存在するか否かを判定する。所定間隔は、物体検出装置２０の検出対象の物体の高さに基づいて、適宜設定されてよい。例えば、所定間隔は、車両の後面の高さ（例えば、８０ｃｍ）に基づいて、適宜設定されてよい。図２６において、視差画素７３と視差画素７５のｖ方向における間隔は、所定間隔以内である。制御部２４は、第１座標が視差画素７３の座標（ｕ₁，ｖ₄）である場合、対象視差と略等しい視差が対応付けられた視差画素７５の座標（ｕ₁，ｖ₆）が存在すると判定する。

ステップＳ６１２の処理において、制御部２４は、第１座標のｖ座標からｖ軸の負方向に沿って所定間隔以内に、対象視差と略等しい視差が対応付けられた座標が存在すると判定するとき（ステップＳ６１２：Ｙｅｓ）、ステップＳ６１３の処理に進む。一方、制御部２４は、第１座標のｖ座標からｖ軸の負方向に沿って所定間隔以内に、対象視差と略等しい視差が対応付けられた座標が存在しないと判定するとき（ステップＳ６１２：Ｎｏ）、ステップＳ６１５の処理に進む。

ステップＳ６１３の処理は、対象視差と、ステップＳ６１２の処理における対象視差と略等しい視差とが、同一物体に対応する視差であるか否かを判定することを目的とする。ステップＳ６１３の処理を説明する前に、図２７及び図２８を参照して、第２視差画像の一例を説明する。

図２７に、第２視差画像８０を示す。第２視差画像８０は、図２８に示す第１画像９０に基づいて生成されたものである。第１画像９０は、他車両に対応する画像９１と、街路樹に対応する画像９２と、構造物に対応する画像９３とを含む。図２７に示すように、第２視差画像８０は、図２８に示す画像９１に対応する視差画像８１と、図２８に示す画像９２に対応する視差画像８２と、図２８に示す画像９３に対応する視差画像８５と含む。

図２７に示すように、視差画像８１は、視差画素８３を含む。視差画像８２は、視差画素８４を含む。視差画素８３及び視差画素８４のｕ座標は、座標（ｕ₂）で同一である。また、実空間において、ステレオカメラ１０から図２８に示す画像９１に対応する他車両までの距離と、ステレオカメラ１０から図２８に示す画像９２に対応する街路樹までの距離とは、略等しい。これら２つの距離が略等しくなることにより、図２７に示す視差画像８１の視差画素８３が表す視差と、図２７に示す視差画像８２の視差画素８４が表す視差は、略等しくなり得る。また、実空間の高さ方向において、図２８に示す画像９２に対応する他車両と、図２８に示す画像９２に対応する街路樹との間の距離は、近い。これら２つの距離が近いことにより、図２７に示すｖ方向において視差画像８１の視差画素８３と、視差画像８２の視差画素８４との間の間隔は、ステップＳ６１２の処理における上述の所定間隔以内となる。

図２７に示す構成において、制御部２４は、探索対象のｕ座標を座標（ｕ₂）とする場合、視差画素８３及び視差画素８４が表す視差を、対象視差として取得し得る。また、制御部２４は、視差画素８３の座標を、第１座標として更新し得る。探索対象のｕ座標が座標（ｕ₂）である場合、画像上の物体の高さとして、視差画像８１に対応する高さＴ１が算出されることが望まれる。想定例として、第１座標が視差画素８３の座標である場合、制御部２４が視差画素８３と視差画素８４との間の間隔が上述の所定間隔以内であることにより、視差画素８４の座標を、第１座標として更新することを考える。この想定例では、制御部２４は、街路樹に対応する視差画像８２の視差画素に渡って走査を続け得る。その結果、制御部２４は、視差画像８２に対する高さ、すなわち、街路樹に対応する高さＴ２を、物体の高さとして検出してしまう。

ここで、視差画素８３と視差画素８４との間には、複数の視差画素８６が存在する。複数の視差画素８６は、視差画像８５に含まれる。視差画像８５に対応する構造物は、車両及び街路樹よりも、ステレオカメラ１０から離れて位置する。従って、視差画像８５の複数の視差画素８６が表す視差は、視差画素８３及び視差画素８４が表す視差よりも、小さい。

そこで、ステップＳ６１３の処理において、制御部２４は、第１座標と第２座標との間に、第３視差に対応付けられた座標が、所定数を超えて存在するか否かを判定する。第２座標は、第１座標からｖ軸の負方向に沿って所定間隔以内に位置する座標であって、対象視差と略等しい視差が対応付けられた座標である。例えば、第１座標が図２７に示す視差画素８３の座標である場合、第２座標は、視差画素８４の座標となる。第３視差は、対象視差よりも小さい視差である。第３視差は、背景に対応する視差に基づいて、設定されてよい。例えば、第３視差は、図２７に示す視差画素８６が表す視差を想定して、設定されてよい。所定数は、上述の所定間隔において、第３視差を表す視差画素が含まれる数を想定して、適宜設定されてよい。

ステップＳ６１３の処理において、制御部２４は、第１座標と第２座標との間に第３視差に対応付けられた座標が、所定数を超えて存在すると判定するとき（ステップＳ６１３：Ｙｅｓ）、ステップＳ６１６の処理に進む。例えば、制御部２４は、第１座標及び第２座標が図２７に示す視差画素８３及び視差画素８４の座標である場合、視差画素８３の座標と視差画素８４の座標との間に、所定数を超える視差画素８６が存在すると判定する。一方、制御部２４は、第１座標と第２座標との間に第３視差に対応付けられた座標が、所定数を超えて存在しないと判定するとき（ステップＳ６１３：Ｎｏ）、ステップＳ６１４の処理に進む。例えば、制御部２４は、第１座標及び第２座標が図２６に示す視差画素７３の座標及び視差画素７５の座標である場合、視差画素７３の座標と視差画素７５の座標との間に、所定数を超える視差画素７４が存在しないと判定する。

ステップＳ６１４の処理において、制御部２４は、第２座標を第１座標として更新する。例えば、制御部２４は、第１座標及び第２座標が図２６に示す視差画素７３の座標及び視差画素７５の座標である場合、視差画素７５の座標（ｕ₁，ｖ₆）を、第１座標として更新する。ステップＳ６１４の処理を実行した後、制御部２４は、図２３に示すステップＳ６０９の処理に戻る。例えば、図２６に示す構成では、制御部２４は、視差画素７６の座標（ｕ₁，ｖ₇）を第１座標として更新するまで、ステップＳ６０９からの処理を繰り返し実行し得る。

ステップＳ６１５の処理において、制御部２４は、第１座標からｖ軸の負方向に沿って所定間隔を超えて、対象視差と略等しい視差が対応付けられた座標が存在するか否かを判定する。例えば、制御部２４は、第１座標が図２６に示す視差画素７６の座標（ｕ₁，ｖ₇）である場合、座標（ｕ₁，ｖ₇）からｖ軸の負方向に沿って所定間隔を、超えて対象視差と略等しい視差が対応付けられた座標が存在しないと判定する。制御部２４は、第１座標からｖ軸の負方向に沿って所定間隔を超えて、対象視差と略等しい視差が対応付けられた座標が存在しないと判定するとき（ステップＳ６１５：Ｎｏ）、ステップＳ６１６の処理に進む。一方、制御部２４は、第１座標からｖ軸の負方向に沿って所定間隔を超えて、対象視差と略等しい視差が対応付けられた座標が存在すると判定するとき（ステップＳ６１５：Ｙｅｓ）、図２５に示すステップＳ６１８の処理に進む。

ステップＳ６１６の処理において、制御部２４は、第１座標のｖ座標から、路面の座標のｖ座標を減算することにより、画像上の物体の高さを算出する。第１座標が図２６に示す視差画素７６の座標（ｕ₁，ｖ₇）である場合、制御部２４は、視差画素７６のｖ座標（座標（ｖ₇））から、路面の座標のｖ座標（座標（ｖ₁））を減算することにより、物体の高さを算出する。第１座標が図２７に示す視差画素８３の座標である場合、制御部２４は、視差画素８３のｖ座標から、路面のｖ座標（座標（ｖ₈））を減算することにより、物体の高さＴ１を算出する。ステップＳ６１３，Ｓ６１６の処理により、図２７に示すように、他車両の視差画像８１と、街路樹の視差画像８２とが近くに位置する場合であっても、他車両の高さを精度良く算出することができる。ステップＳ６１６の処理において、制御部２４は、算出した画像上の物体の高さと、第１座標とを関連付けて、メモリ２３に格納する。

ステップＳ６１６の処理において、制御部２４は、算出した画像上の物体の高さを、実空間上の物体の高さに変換してよい。制御部２４は、実空間上の物体の高さが、検出対象の物体の高さの最小値よりも小さい場合、算出した物体の高さの情報を破棄してよい。例えば、検出対象の物体の高さの最小値が５０ｃｍである場合、制御部２４は、実空間上の物体の高さが、４０ｃｍ未満である場合、算出した物体の高さの情報を破棄してよい。

ステップＳ６１６の処理を実行した後、制御部２４は、ステップＳ６１７の処理を実行する。ステップＳ６１７の処理において、制御部２４は、対象視差に走査済みのフラグを付加する。ステップＳ６１７の処理をした後、制御部２４は、図２３に示すステップＳ６０１の処理に戻る。

ステップＳ６１８の処理を説明する前に、図２９を参照して第２視差画像の一例について説明する。図２９に、第２視差画像１００を示す。図２９には、第２視差画像１００の一部が示されている。視差画像１０１は、図３０に示す第１画像１０６に基づいて生成された視差画像である。第１画像１０６は、トラックの後面に対応する画像１０７を含む。

図２９に示すように、第２視差画像１００は、視差画像１０１を含む。視差画像１０１は、図３０に示す画像１０７に対応する。視差画像１０１は、視差画素１０２と、視差画素１０３と、視差画素１０４と、視差画素１０５とを含む。視差画素１０３は、図３０に示す画像１０７の下部画像１０７ａに対応する。視差画素１０４及び視差画素１０５は、図３０に示す画像１０７の上部画像１０７ｂに対応する。視差画素１０３が表す視差と、視差画素１０４が表す視差と、視差画素１０５が表す視差とは、同一物体であるトラックに対応する視差であることにより、略等しい。

図２９に示すように、複数の視差画素１０２は、視差画像１０１の中央部に位置する。複数の視差画素１０２では、視差が算出されていない。つまり、複数の視差画素１０２は、視差の情報を含まない。一般的に、トラックの後面の中央部では、ステレオ画像上の特徴量が少ない。トラックの後面の中央部では、ステレオ画像上の特徴量が少ないことにより、視差を算出する上述のマッチング処理において、視差画素１０２のように、視差が算出されない場合がある。

図２９に示す構成において、想定例として、制御部２４が、探索対象のｕ座標を座標（ｕ₃）として、ｖ方向に沿って走査する例を考える。想定例では、物体の高さとして、視差画像１０１に対応する高さＴ３、すなわち、トラックの高さが算出されることが望まれる。想定例では、制御部２４は、視差画素１０３が表す視差を、対象視差として取得し得る。また、制御部２４は、視差画素１０３の座標（ｕ₃，ｖ₁₀）を第１座標として更新し得る。高さＴ３が算出されるようにするためには、上述のステップＳ６１４の処理において、視差画素１０４の座標（ｕ₃，ｖ₁₁）を第１座標として更新することが求められる。視差画素１０４の座標（ｕ₃，ｖ₁₁）を第１座標として更新するためには、上述のステップＳ６１３における所定間隔を、視差画素１０４のｖ座標（座標（ｖ₁₁））と視差画素１０３のｖ座標（座標（ｖ₁₀））との間隔よりも、広げることが求められる。しかしながら、上述のステップＳ６１３の処理における所定間隔を広げると、物体の高さを誤算出する可能性が高まり得る。

そこで、制御部２４は、ステップＳ６１８〜Ｓ６２２の処理を実行することにより、図２９に示す高さＴ４を第１候補高さとして算出しておき、図２９に示す高さＴ３を第２候補高さとして算出しておく。制御部２４は、後述の図５に示すステップＳ１０７にて、第１候補高さ及び第２候補高さの何れを、物体の高さとして取得するかを判定する。このような構成とすることで、上述のステップＳ６１３の処理における所定間隔を広げなくてよい。上述のステップＳ６１３の処理における所定間隔を広げないとにより、物体の高さを誤算出する可能性が低減され得る。

ステップＳ６１８の処理において、制御部２４は、候補座標を取得する。候補座標は、第１座標からｖ軸の負方向に沿って所定間隔を超えて存在する座標であって、対象視差と略等しい視差が対応付けられた座標である。例えば、制御部２４は、第１座標が図２９に示す視差画素１０３の座標（ｕ₃，ｖ₁₀）である場合、視差画素１０４の座標（ｕ₃，ｖ₁₁）を、候補座標として取得する。

ステップＳ６１９の処理において、制御部２４は、第１座標のｖ座標から、路面の座標のｖ座標を減算することにより、第１候補高さを算出する。例えば、制御部２４は、第１座標が図２９に示す視差画素１０３の座標（ｕ₃，ｖ₁₀）である場合、視差画素１０３のｖ座標（座標（ｖ₁₀））から、路面のｖ座標（座標（ｖ₉））を減算することにより、第１候補高さＴ４を算出する。ステップＳ６１９の処理において、制御部２４は、算出した第１候補高さと、第１座標とを関連付けて、メモリ２３に格納する。例えば、制御部２４は、図２９に示す第１候補高さＴ４と、第１座標の視差画素１０３の座標（ｕ₃，ｖ₁₀）とを関連付けて、メモリ２３に格納する。

ステップＳ６２０の処理において、制御部２４は、候補座標のｖ座標を１つディクリメントした座標に、対象視差と略等しい視差が対応付けられているか否かを判定する。制御部２４は、候補座標のｖ座標を１つディクリメントした座標に、対象視差と略等しい視差が対応付けられていると判定するとき（ステップＳ６２０：Ｙｅｓ）、ステップＳ６２１の処理に進む。ステップＳ６２１の処理において、制御部２４は、候補座標のｖ座標を１つディクリメントした座標を、候補座標として更新する。ステップＳ６２１の処理を実行した後、制御部２４は、ステップＳ６２０の処理に戻る。例えば、図２９に示す構成では、制御部２４は、視差画素１０５の座標（ｕ₃，ｖ₁₂）を候補座標として更新するまで、ステップＳ６２０の処理とステップＳ６２１の処理とを繰り返し実行する。一方、制御部２４は、候補座標のｖ座標を１つディクリメントした座標に、対象視差と略等しい視差が対応付けられていないと判定するとき（ステップＳ６２０：Ｎｏ）、ステップＳ６２２の処理に進む。例えば、制御部２４は、候補座標が図２９に示す視差画素１０５の座標（ｕ₃，ｖ₁₂）である場合、候補座標のｖ座標を１つディクリメントした座標に、対象視差と略等しい視差が対応付けられていないと判定する。

ステップＳ６２２の処理において、制御部２４は、候補座標のｖ座標から、路面のｖ座標を減算することにより、第２候補高さを算出する。例えば、制御部２４は、候補座標が図２９に示す視差画素１０５の座標（ｕ₃，ｖ₁₂）である場合、視差画素１０５のｖ座標（座標（ｖ₁₂））から、路面のｖ座標（座標（ｖ₉））を減算することにより、第２候補高さＴ３を算出する。ステップＳ６２２の処理において、制御部２４は、算出した第２候補高さと、候補座標とを関連付けて、メモリ２３に格納する。例えば、制御部２４は、図２９に示す第２候補高さＴ３と、候補座標の視差画素１０５の座標（ｕ₃，ｖ₁₂）とを関連関連付けて、メモリ２３に格納する。ステップＳ６２２の処理を実行した後、制御部２４は、ステップＳ６２３の処理に進む。

ステップＳ６２３の処理において、制御部２４は、メモリ２３に格納された、ステップＳ６０４の処理で取得した対象視差に、走査済みのフラグを付加する。ステップＳ６２３の処理を実行した後、制御部２４は、図２３に示すステップＳ６０１の処理に戻る。

ステップＳ１０６の処理において、制御部２４は、平行物体の検出処理を実行する。ステップＳ１０６の処理の詳細は、図３１に示すフローチャートに示される。

ステップＳ７０１の処理において、制御部２４は、ＵＤマップを生成又は取得する。ＵＤマップは、「Ｕ−disparity空間」及び「ｕ−ｄ座標空間」とも呼ばれる。ＵＤマップは、ｕ方向と、視差の大きさに対応するｄ方向とから成る二次元座標に、対象視差が対応付けられたものである。対象視差は、物体に対応する視差とみなされて検出された第１視差のみであってよい。又は、対象視差は、第１視差及び第２視差の両方を含んでよい。以下、対象視差は、第１視差及び第２視差を含むものとする。制御部２４は、メモリ２３に格納された第１視差及び第２視差を取得して、ＵＤマップを生成してよい。又は、制御部２４は、取得部２１によって外部からＵＤマップを取得してよい。

図３２に、ＵＤマップ１１０を示す。ＵＤマップ１１０の横軸は、ｕ軸に対応する。ＵＤマップ１１０の縦軸は、視差の大きさを示すｄ軸に対応する。ｕ座標とｄ座標とから成る座標系は、「ｕｄ座標系」とも呼ばれる。ＵＤマップ１１０では、図３２の紙面に向かって左下側の角が、ｕｄ座標系の原点（０，０）となる。図３２に示すプロットは、図２０に示す処理により検出された第１視差及び第２視差が対応付けられた座標点である。座標点は、単に「点」とも呼ばれる。ＵＤマップ１１０は、点群１１１と、点群１１２と、点群１１３と、点群１１４と、点群１１５とを含む。ＵＤマップ１１０は、図３３に示す第１画像１２０から生成された第２視差画像に基づいて、生成されたものである。

図３３に示すように、第１画像１２０は、ガードレールに対応する画像１２１と、他車両に対応する画像１２２及び画像１２３と、歩行者に対応する画像１２４と、側壁に対応する画像１２５とを含む。画像１２１〜１２５の各々から検出された第１視差及び第２視差は、図３２に示す点群１１１〜点群１１５の各々に対応する。画像１２１及び画像１２５は、平行物体に対応する画像となり得る。つまり、図３２に示す点群１１１及び点群１１５は、平行物体に対応する視差となり得る。平行物体の検出処理の目的の一つは、図３２に示す点群１１１及び点群１１５のような、平行物体に対応する視差を検出することである。

本実施形態では、図３２に示す点群１１１及び点群１１５のような平行物体に対応する視差を、後述のステップＳ７０４の処理にてハフ（Hough）変換を適用することにより、検出する。しかしながら、図３２に示すように、点群１１１及び点群１１５の近くには、点群１１２及び点群１１３が位置している。点群１１１及び点群１１５の近くに、点群１１２及び点群１１３が位置していると、後述のステップＳ７０４の処理におけるハフ変換により、点群１１１及び点群１１５を検出する精度が低下し得る。そこで、ステップＳ７０２の処理により、制御部２４は、図３２に示すような、点群１１１及び点群１１５の近くに位置する点群１１２及び点群１１３が存在するか否かを判定する。

具体的には、ステップＳ７０２の処理において、制御部２４は、ｕ方向に略平行な点群が存在するか判定する。図３２に示すように点群１１１及び点群１１５の近くに位置する点群１１２及び点群１１３は、図３３に示す他車両に対応する画像１２２及び１２３から取得された視差である。他車両は、路面の幅方向に略平行な部分を含む。他車両が路面の幅方向に略平行な部分を含むことにより、点群１１２及び点群１１３は、図３２に示すように、ｕ方向に略平行な形状となり得る。従って、ｕ方向に略平行な点群が存在するか否かを判定することにより、図３２に示すような点群１１２及び点群１１３が存在するか否かが判定され得る。

ステップＳ７０２の処理の一例として、まず、制御部２４は、ＵＤマップのｕ方向に沿って走査する。例えば、制御部２４は、図３２に示すＵＤマップ１１０のｕ軸の負方向側からｕ軸の正方向側に向けて、走査する。制御部２４は、ＵＤマップのｕ方向に沿って走査しながら、ｕ方向に沿って所定範囲連続して並ぶ点が存在するか否かを判定する。所定範囲は、車両に対する画像（例えば、図３３に示す画像１２２及び画像１２３）のｕ方向に沿う長さに基づいて、設定されてよい。制御部２４は、ｕ方向に沿って所定範囲連続して並ぶ点が存在すると判定するとき、ｕ方向に略平行な点群が存在すると判定する。制御部２４は、ｕ方向に沿って所定区間連続して並ぶ視差点を、ｕ方向に略平行な点群として検出する。例えば、制御部２４は、図３２に示す点群１１２及び点群１１３を、ｕ方向に略平行な点群として検出する。

ステップＳ７０２の処理において、制御部２４は、ｕ方向に略平行な点群が存在すると判定するとき（ステップＳ７０２：Ｙｅｓ）、ステップＳ７０３の処理に進む。一方、制御部２４は、ｕ方向に略平行な点群が存在しないと判定するとき（ステップＳ７０２：Ｎｏ）、ステップＳ７０４の処理に進む。

ステップＳ７０３の処理において、制御部２４は、検出したｕ方向に略平行な点群を、ＵＤマップから除去する。ｕ方向に略平行な点群をＵＤマップから除去する代わりに、制御部２４は、ＵＤマップの座標点のうちの、ｕ方向に略平行な点群を、後述のステップＳ７０４の処理におけるハフ変換の適用から単に除外してよい。図３４に、ｕ方向に略平行な点群が除去されたＵＤマップ１１０を示す。図３４に示すＵＤマップ１１０では、図３２に示す点群１１２及び点群１１３が除去されている。

ステップＳ７０４の処理において、制御部２４は、ＵＤマップに含まれる点に対してハフ変換を適用することにより、直線を検出する。ここで、ＵＤマップを、ｘ−ｚ座標から成る実空間の座標系に変換し、変換後の実空間の座標系に対してハフ変換を適用することにより、直線を検出することも可能である。ただし、第１カメラ１１と第２カメラ１２との間の基線長Ｂが短いと、実空間の座標系に含まれる座標点の間隔が、ＵＤマップに含まれる座標点の間隔よりも、疎になってしまう場合がある。座標点の間隔が疎になると、ハフ変換により、直線を精度良く検出できない場合がある。本実施形態では、ＵＤマップに対してハフ変換を適用することにより、第１カメラ１１と第２カメラ１２との間の基線長Ｂが短い場合であっても、直線を精度良く検出することができる。

ステップＳ７０４の処理の一例を、図３５及び図３６を参照して説明する。

図３５には、ＵＤマップの一部が示されている。点１３１，１３２，１３３，１３４は、ＵＤマップ上の座標点である。ハフ変換を、点１３１を例に説明する。ＵＤマップ上の点１３１のｕｖ座標は、座標（ｕ₁₃₁，ｄ₁₃₁）である。点１３１を通る直線Ｌ１は、無限に定義され得る。例えば、ｕｖ座標の原点（０，０）から、直線Ｌ１−１に下した法線の長さは、長さｒである。当該法線は、ｕ軸からｄ軸の正方向に向けて、角度θ傾いている。制御部２４は、長さｒ及び角度θを変数とすることにより、点１３１を通る直線Ｌ１の一般式として、次の数式（３）を取得する。
ｒ＝ｕ₁₃₁×ｃｏｓθ＋ｄ₁₃₁×ｓｉｎθ （３）

制御部２４は、直線Ｌ１の式（数式（３））を、図３６に示すような、ハフ空間としてのｒθ平面に投影する。図３６に示すｒθ平面の横軸は、ｒ軸である。図３６に示すｒθ平面の縦軸は、θ軸である。図３６に示す曲線１３１Ｌは、数式（３）で示される曲線である。曲線１３１Ｌは、ｒθ平面では、正弦曲線として表される。点１３１と類似にして、制御部２４は、図３５に示す点１３２〜１３４を通る直線の式を取得する。点１３１と類似にして、制御部２４は、取得した点１３２〜１３４を通る直線の式を、図３６に示すような、ハフ空間としてのｒθ平面に投影する。図３６に示す曲線１３２Ｌ〜１３４Ｌは、それぞれ取得した図３５に示す点１３２〜１３４を通る直線に対応する。図３６に示すように、曲線１３１Ｌ〜１３４Ｌは、点Ｐ_Lで交わり得る。制御部２４は、点Ｐ_Lのｒθ座標（座標（θ_L，ｒ_L））を取得する。制御部２４は、点Ｐ_Lの座標（θ_L，ｒ_L）に基づいて、図３５に示す点１３１〜１３４を通る直線の式を検出する。制御部２４は、図３５に示す点１３１〜点１３４を通る直線として、次の数式（４）を検出する。
ｒ_L＝ｕ×ｃｏｓθ_L＋ｄ×ｓｉｎθ_L （４）

ステップＳ７０４の処理を実行することにより、制御部２４は、図３４に示すように点群１１１に対応する直線１１１Ｌ、及び、点群１１５に対応する直線１１５Ｌを検出し得る。

ところで、図３３に示すように、平行物体に対応する画像１２１及び画像１２５は、消失点１２０_VPに向けて延在する。画像１２１及び画像１２５が消失点１２０_VPに向けて延在することにより、図３４に示すように、点群１１１及び点群１１５も、消失点１２０_VPに対応する消失点１１０_VPに向けて延在する。点群１１１及び点群１１５も消失点１１０_VPに向けて延在することにより、直線１１１Ｌ及び直線１１５Ｌも、消失点１１０_VPに向けて延在し得る。

そこで、ステップＳ７０４の処理において、制御部２４は、ＵＤマップ上の点を通る直線の式を取得する際、当該点を通る直線のうち、消失点に基づく所定範囲を通る直線の式を取得してよい。例えば、制御部２４は、図３５に示す点１３１を通る直線Ｌ１の式を取得する際、点１３１を通る無限に存在する直線Ｌ１のうち、点１３１と、所定範囲Δｕ_VPとを通る直線の式を取得してよい。所定範囲Δｕ_VPは、消失点に基づく範囲である。所定範囲Δｕ_VPは、点１３５を含む。点１３５は、移動体３０の進行方向が直進であるときの、消失点であってよい。点１３５のｄ座標は、無限遠方の視差がゼロとなることにより、ゼロであってよい。点１３５のｕ座標（座標ｕ_VP）は、移動体３０の進行方向が直進であるときに、消失点のｕ座標がｕ座標の最大座標の二分の一となることにより、ｕ座標の最大座標の二分の一であってよい。所定範囲Δｕ_VPは、移動体３０がカーブを走行している際の、点１３５からの図３４に示す消失点１１０_VPのずれ量に基づいて、適宜設定されてよい。このような処理により、図３６に示すように、ハフ空間のｒθ平面において、曲線１３１Ｌ〜１３４Ｌをプロットするθ軸の範囲が範囲Δθ_VPに絞られ得る。曲線１３１Ｌ〜１３４Ｌをプロットするθ軸の範囲が範囲Δθ_VPに絞られることにより、ハフ変換の演算量が低減され得る。ハフ変換の演算量が低減されることにより、ハフ変換の処理が高速化され得る。

ステップＳ７０５の処理において、制御部２４は、ステップＳ７０４の処理により検出した直線の長さが所定長を超えるか否かを判定する。所定長は、路面に沿って設けられる構造物すなわち平行物体の長さに基づいて、適宜設定されてよい。制御部２４は、直線の長さが所定長以下であると判定するとき（ステップＳ７０５：Ｎｏ）、図５に示すステップＳ１０７の処理に戻る。一方、制御部２４は、直線の長さが所定長を超えると判定するとき（ステップＳ７０５：Ｙｅｓ）、当該直線に対応する点群に平行物体フラグを付加する（ステップＳ７０６）。例えば、制御部２４は、図３４に示す点群１１１及び点群１１５に平行物体フラグを付加する。ステップＳ７０６の処理を実行した後、制御部２４は、図５に示すステップＳ１０７の処理に進む。

ステップＳ１０７の処理において、制御部２４は、復活処理を実行する。ステップＳ１０７の処理の詳細は、図３７に示すフローチャートに示される。

ステップＳ８０１の処理において、制御部２４は、図３１に示すステップＳ７０１の処理と同一又は類似にして、ＵＤマップを生成又は取得する。図３１に示すステップＳ７０１の処理においてＵＤマップを生成している場合、制御部２４は、図３１に示すステップＳ７０１の処理で生成したＵＤマップを取得してよい。

図３８に、ＵＤマップ１４０を示す。ＵＤマップ１４０は、図３４に示すようなＵＤマップ１１０の一部を拡大したものである。ＵＤマップ１４０の横軸は、ｕ軸に対応する。ＵＤマップ１４０の縦軸は、視差の大きさを示すｄ軸に対応する。図３８において、ＵＤマップ１４０は、画像として示されている。ＵＤマップ１４０の画素は、視差を表す。ハッチングが施された画素は、第１視差を表す画素である。第１視差を表す画素、すなわち、第１視差が対応付けられた座標は、「第１視差点」とも呼ばれる。ドットが施された画素は、第２視差を表す画素である。第２視差を表す画素、すなわち、第２視差が対応付けられた座標は、「第２視差点」とも呼ばれる。ＵＤマップ１４０は、第１視差点１４１と、第１視差点１４２と、第２視差点１４３とを含む。ＵＤマップ１４０は、車両の後面に対応する視差画像を含む第２視差画像に基づいて生成されたものである。車両の後面の中央部では、リアガラス等が位置することにより、ステレオ画像上の特徴量が少ない。他車両の後面の中央部では、ステレオ画像上の特徴量が少ないことにより、他の部分の視差と比較して、図１９に示す視差画像４４のように、取得可能な視差の情報が少なくなる場合がある。例えば、図３８に示すように、第１視差点１４１と第１視差点１４２との間には、第２視差点１４３が存在する。

ステップＳ８０２の処理において、制御部２４は、ＵＤマップのｕ方向において、第１視差点に挟まれた第２視差点が所定範囲を超えて存在するか否かを判定する。例えば、制御部２４は、ＵＤマップのｕ軸の負方向側からｕ軸の正方向側に向けて、走査する。制御部２４は、ｕ方向に沿って走査することにより、ＵＤマップのｕ方向において第１視差点に挟まれた第２視差点が所定範囲を超えて存在するか否かを判定する。所定範囲は、実空間上の車両の後面の幅（例えば、１ｍ）に基づいて、適宜設定されてよい。第１視差点に挟まれた第２視差点が所定範囲を超えて存在する場合、これらの第２視差点は、例えば並走する異なる車両といった、異なる物体にそれぞれ対応する視差である可能性が高い。これに対し、第１視差点に挟まれた第２視差点が所定範囲内に存在する場合、これらの第２視差点は、同一物体に対応する視差である可能性が高い。図３８に示すＵＤマップ１４０のｕ方向において、第１視差点１４１と第１視差点１４２とに挟まれた複数の第２視差点１４３は、所定範囲内に存在する。ＵＤマップ１４０のｕ方向において、制御部２４は、第１視差点１４１と第１視差点１４２とに挟まれた第２視差点１４３が所定範囲を超えて存在すると判定しない。

ステップＳ８０２の処理において、制御部２４は、ＵＤマップのｕ方向において、第１視差点に挟まれた第２視差点が所定範囲を超えて存在すると判定するとき（ステップＳ８０２：Ｙｅｓ）、ステップＳ８０５の処理に進む。一方、制御部２４は、ＵＤマップのｕ方向において、第１視差点に挟まれた第２視差点が所定範囲を超えて存在すると判定しないとき（ステップＳ８０２：Ｎｏ）、ステップＳ８０３の処理に進む。

ステップＳ８０３の処理において、制御部２４は、第２視差点を挟む２つの第１視差点のそれぞれに対応付けられた第１視差を取得する。例えば、制御部２４は、図３８に示す第１視差点１４１に対応付けられた第１視差と、第１視差点１４２に対応付けられた第１視差とを取得する。さらに、ステップＳ８０２の処理において、制御部２４は、取得した２つの第１視差のそれぞれに対応する実空間上の高さの差分が所定高さ以内であるか否かを判定する。例えば、制御部２４は、図３８に示す第１視差点１４１の第１視差に対応する実空間上の高さと、第１視差点１４２の第１視差に対応する実空間上の高さとの差分が、所定高さ以下であるか否かを判定する。所定高さは、実空間上の車両の高さ（例えば、１ｍ）に基づいて、適宜設定されてよい。

ステップＳ８０３の処理において、制御部２４は、取得した２つの第１視差のそれぞれに対応する実空間上の高さの差分が所定高さ以内であると判定するとき（ステップＳ８０３：Ｙｅｓ）、ステップＳ８０４の処理に進む。ステップＳ８０４の処理において、制御部２４は、第１視差点に挟まれた所定範囲を超える第２視差点に、復活フラグを付加する。上述のように、第２視差点は、第２視差を表すｕｄ座標である。つまり、ステップＳ８０４の処理は、第２視差と、当該第２視差が対応付けられたｕ座標とに、復活フラグを付加する処理とも言い換えられ得る。図３９に、復活フラグが付加されたＵＤマップ１４０を示す。図３９に示す粗いハッチングが施された画素は、復活フラグが付加された第２視差点である。

ステップＳ８０３の処理において、制御部２４は、取得した２つの第１視差のそれぞれに対応する実空間上の高さの差分が所定高さを超えると判定するとき（ステップＳ８０３：Ｎｏ）、ステップＳ８０５の処理に進む。

ステップＳ８０５以降の処理は、図２５に示すステップＳ６１９の処理で算出された第１候補高さ、及び、図２５に示すステップＳ６２２の処理で算出された第２候補高さの何れを、物体の高さとして取得するかを判定する処理である。ステップＳ８０５以降の処理を説明する前に、図４０及び図４１を参照して第２視差画像の一例を説明する。

図４０に、第２視差画像１５０を示す。図４１に、第２視差画像１６０を示す。図４０及び図４１には、第２視差画像１５０及び第２視差画像１６０の一部が示されている。第２視差画像１５０及び第２視差画像１６０において、白色の視差画素は、視差の情報を含まない画素である。粗いハッチングが施された視差画素は、視差の情報を含む画素である。細かいハッチングが施された視差画素は、図２５に示すステップＳ６２２の処理における第２候補高さの算出に用いられた視差画素である。細かいハッチングが施された視差画素の座標は、図２５に示すステップＳ６２２の処理において、候補座標として、第２候補高さに関連付けられている。粗いドットが施された視差画素は、図２５に示すステップＳ６１９の処理における第１候補高さの算出に用いられた視差画像である。粗いドットが施された視差画素の座標は、図２５に示すステップＳ６１９の処理において、第１座標として、当該第１候補高さに関連付けられている。細かいドットが施された視差画素は、図２４に示すステップＳ６１６の処理における物体の高さの算出に用いられた視差画素である。細かいドットが施された視差画素の座標は、図２４に示すステップＳ６１６の処理において、第１座標として、物体の高さと関連付けられている。

図４０に示す第２視差画像１５０は、図２９に示す第２視差画像１００と類似に、図３０に示すトラックの後面の画像１０７に基づいて生成されたものである。第２視差画像１５０の中央部には、白色の視差画素が位置する。つまり、第２視差画像１５０では、中央部の視差画素の視差が算出されていない。第２視差画像１５０では、中央部を囲む視差画素の視差は算出されている。

図４０に示す第２視差画像１５０は、視差画素１５１，１５２，１５３，１５４を含む。視差画素１５１は、第２候補高さの算出に用いられた視差画素である。視差画素１５１の座標は、候補座標として、第２候補高さに関連付けられている。視差画素１５２及び視差画素１５３は、物体の高さの算出に用いられた視差画素である。視差画素１５２及び視差画素１５３の座標のそれぞれは、第１座標として、物体の高さに関連付けられている。視差画素１５４は、第１候補高さの算出に用いられた視差画素である。視差画素１５４の座標は、第１座標として、第１候補高さに関連付けられている。

視差画素１５１は、図２９に示す視差画素１０５と類似に、図３０に示すトラックの後面の画像１０７の上部画像１０７ｂに対応する。視差画素１５４は、図２９に示す視差画素１０３と類似に、図３０に示すトラックの後面の画像１０７の下部画像１０７ａに対応する。図４０に示す構成では、視差画素１５１に基づく第２候補高さ、及び、視差画素１５４に基づく第１候補高さのうち、視差画素１５１に基づく第２候補高さが、物体の高さすなわち図３０に示すトラックの高さとして、取得されることが求められる。

図４１に示す第２視差画像１６０は、図４２に示す第１画像１７０に基づいて生成された視差画像である。第１画像１７０は、他車両の上部の画像１７１と、街路樹に対応する画像１７２とを含む。画像１７１と画像１７２から生成される視差は、略等しい。画像１７２は、部分画像１７２ａと、部分画像１７２ｂとを含む。部分画像１７２ａと、車両の画像１７１とは、第１画像１７０のｕ方向の中央部に位置する。部分画像１７２ａのｕ座標は、他車両の画像１７１のｕ座標の一部と同一である。部分画像１７２ａは、他車両の画像１７１よりも、ｖ軸の負方向側に位置する。部分画像１７２ｂは、部分画像１７２ａ及び画像１７１よりも、ｕ軸の負方向側に位置する。

図４１に示す第２視差画像１６０は、視差画素１６１と、視差画素１６２と、視差画素１６３とを含む。視差画素１６１は、第２候補高さの算出に用いられた視差画素である。視差画素１６１の座標によって図４２に示す街路樹の部分画像１７２ａの高さが、第２候補高さとして算出されている。視差画素１６１の座標は、候補座標として、第２候補高さに関連付けられている。視差画素１６２は、物体の高さの算出に用いられた視差画素である。視差画素１６２の座標によって図４２に示す街路樹の部分画像１７２ｂの高さが、物体の高さとして算出されている。視差画素１６２の座標は、候補座標として、物体の高さに関連付けられている。視差画素１６３は、第１候補高さの算出に用いられた視差画素である。視差画素１６３の座標によって図４２に示す車両の画像１７１の高さが、第１候補高さとして算出されている。視差画素１６３の座標は、第１座標として、第１候補高さに関連付けられている。

図４１に示す構成では、視差画素１６３に基づく第１候補高さ、及び、視差画素１６１に基づく第２候補高さのうち、視差画素１６３に基づく第１候補高さが、物体の高さすなわち図４２に示す車両の画像１７１の高さとして、取得されることが求められる。

ステップＳ８０５〜Ｓ８０７の処理において、制御部２４は、候補座標を挟む２つの座標に対応付けられた視差に基づいて、第１候補高さ及び第２候補高さのうちの何れを、物体の高さとして取得するかを判定する。

具体的には、ステップＳ８０５の処理において、制御部２４は、第２視差画像をｕ方向に沿って走査することにより、ｕ方向において候補座標を挟む２つの第１座標が存在するか否かを判定する。上述のように、第１座標には、図２３を参照して上述したように、対象視差と略等しい視差が対応付けられている。つまり、ステップＳ８０５の処理は、ｕ方向において候補座標を挟む２つの座標にそれぞれ対応付けられた視差が対象視差であるか否かを判定する処理とも言い換えられ得る。

例えば、図４０に示す第２視差画像１５０のｕ方向において、視差画素１５１の候補座標は、視差画素１５２の第１座標と視差画素１５３の第１座標とによって挟まれている。図４０に示す構成では、制御部２４は、視差画素１５１の候補座標を挟む、視差画素１５２の第１座標と視差画素１５３の第１座標とが存在すると判定する。

例えば、図４１に示す第２視差画像１６０のｕ方向の方向において、視差画素１６１の候補座標のｕ軸の負方向側には、視差画素１６２の第１座標が位置する。一方、視差画素１６１の候補座標のｕ軸の正方向側には、第１座標が位置しない。図４１に示す構成では、制御部２４は、視差画素１６１の候補座標を挟む２つの第１座標が存在しないと判定する。

ステップＳ８０５の処理において、制御部２４は、第２視差画像のｕ方向において第１座標を挟む２つの候補座標が存在すると判定するとき（ステップＳ８０５：Ｙｅｓ）、ステップＳ８０６の処理に進む。一方、制御部２４は、第２視差画像のｕ方向において第１座標を挟む２つの候補座標が存在すると判定するとき（ステップＳ８０５：Ｎｏ）、ステップＳ８０７の処理に進む。

ステップＳ８０６の処理において、制御部２４は、第１候補高さ及び第２候補高さのうちの、第２候補高さを物体の高さとして取得すると判定する。ステップＳ８０５，Ｓ８０６の処理によって、制御部２４は、候補座標を挟む２つの座標にそれぞれ対応付けられた視差が対象視差であると判定するとき、第２候補高さを、物体の高さとして取得すると判定する。例えば、制御部２４は、図４０に示す視差画素１５４の座標に基づく第１候補高さ、及び、視差画素１５１の座標に基づく第２候補高さのうち、視差画素１５１の座標に基づく第２候補高さを、物体の高さとして取得すると判定する。図４３に、図４０に示す第２視差画像１５０おいて、物体の高さ判定に用いた視差画素を示す。図４３では、細かいハッチングが施された視差画素の座標に基づいて物体の高さが算出されている。図４３に示すように、視差画素１５１に基づく第２候補高さ、及び、視差画素１５４に基づく第１候補高さのうち、視差画素１５１に基づく第２候補高さが、物体の高さすなわち図３０に示すトラックの高さとして、取得されている。

ステップＳ８０７の処理において、制御部２４は、第１候補高さ及び第２候補高さのうちの、第１候補高さを物体の高さとして取得すると判定する。ステップＳ８０５，Ｓ８０７の処理によって、制御部２４は、候補座標を挟む２つの座標にそれぞれ対応付けられた視差が対象視差であると判定しないとき、第１候補高さを、物体の高さとして取得すると判定する。例えば、制御部２４は、図４１に示す視差画素１６３の座標に基づく第１候補高さ、及び、視差画素１６１の座標に基づく第２候補高さのうち、視差画素１６３の座標に基づく第１候補高さを、物体の高さとして取得すると判定する。図４４に、図４１に示す第２視差画像１６０において、物体の高さ判定に用いた視差画素を示す。図４４では、細かいハッチングが施された視差画素の座標に基づいて物体の高さが算出されている。図４４に示すように、視差画素１６３に基づく第１候補高さ、及び、視差画素１６１に基づく第２候補高さのうち、視差画素１６３に基づく第１候補高さが、物体の高さすなわち図４２に示す車両の画像１７１の高さとして、取得されている。

ステップＳ８０６，Ｓ８０７の処理を実行した後、制御部２４は、図５に示すステップＳ１０８の処理に進む。

ステップＳ１０８の処理において、制御部２４は、代表視差の決定処理を実行する。ステップＳ１０８の処理の詳細は、図４５に示すフローチャートに示される。

ステップＳ９０１の処理において、制御部２４は、図３１に示すステップＳ７０１の処理と同一又は類似にして、ＵＤマップを生成する。図３１に示すステップＳ７０１の処理においてＵＤマップを生成している場合、制御部２４は、図３１に示すステップＳ７０１の処理で生成したＵＤマップを取得してよい。

ステップＳ９０２の処理において、制御部２４は、ＵＤマップの各ｕ座標において、第１視差、及び、図３６に示すステップＳ８０４の処理により復活フラグが付加された第２視差の中から、代表視差を取得する。制御部２４は、図３１に示すステップＳ７０６の処理により平行物体フラグが付加されていない、第１視差及び復活フラグが付加された第２視差の中から、代表視差を取得する。

ここで、ステレオカメラ１０から物体までの距離が近い場合、ステレオ画像上で当該物体が占める画素数は、ステレオカメラ１０から当該物体までの距離が遠い場合と比較して、多くなり得る。また、ステレオカメラ１０から遠い距離に位置する物体ほど、ノイズ等の影響を受けることにより、当該物体に対応する視差を検出する精度が悪化する。つまり、ステレオカメラ１０から近い距離に位置する物体ほど、当該物体に対応する視差を検出する精度が高まり得る。

そこで、ステップＳ９０２の処理において、制御部２４は、ＵＤマップの各ｕ座標において、第１視差及び復活フラグが付加された第２視差の中から、ステレオカメラ１０から近い距離に位置する物体に対応する視差すなわち最大の視差を、代表視差として取得する。さらに、制御部２４は、ステレオカメラ１０から近い距離に位置する物体であって、物体検出装置２０の検出対象となる物体の高さの最小値（例えば、５０ｃｍ）よりも大きい物体に対応する視差を、代表視差として取得してよい。

図４６に、ｕ方向に対応する取得された代表視差の一例を示す。図４６に示す例では、各ｕ座標に対する代表視差のバラツキが大きい。各ｕ座標に対する代表視差のバラツキが大きいと、ステップＳ１０９の処理におけるグルーピング処理の演算量が増加する可能性がある。

そこで、ステップＳ９０３の処理において、制御部２４は、所定範囲で代表視差を平均化してよい。所定範囲で代表視差を平均化することにより、ステップＳ１０９の処理におけるグルーピング処理の演算量が低減され得る。所定範囲は、後述のステップＳ１０９の処理等の演算負荷等を考慮して、適宜設定されてよい。平均化において、制御部２４は、所定範囲の中央値の代表視差を取得してよい。制御部２４は、所定範囲内において、抽出した中央値から所定割合（例えば５％）ずれた代表視差を除去して、代表視差の平均値を算出してよい。図４７に、ｕ方向に対応する平均化された代表視差の一例を示す。ステップＳ９０３の処理を実行した後、制御部２４は、図５に示すステップ１０９の処理に進む。

制御部２４は、図５に示すステップＳ１０４〜Ｓ１０８の処理すなわち第３処理を実行した後、１つ又は複数の座標を含む横方向の座標（ｕ座標）の所定範囲毎に、代表視差ｄ_e及び物体の高さ情報を関連付けて、メモリ２３に格納してよい。図４８に示すように、メモリ２３に格納された複数の代表視差ｄ_eは、ｕ座標及び視差ｄをそれぞれ横軸及び縦軸とする２次元空間（ｕ−ｄ座標空間）上の点群の分布として表され得る。

ステップＳ１０９の処理において、制御部２４は、ｕ−ｄ座標空間の代表視差ｄ_eの情報をｘ−ｚ座標から成る実空間の座標系に変換して、代表視差ｄ_eの纏まり（グループ）を抽出することにより、物体を検出する処理（第４処理）を実行する。図４９及び図５０を参照して、ステップＳ１０９の処理の一例を説明する。

図４９は、実空間上の構成の一例である。図４９には、道路の路面４１Ａ上を走行する物体検出システム１を搭載した移動体３０と、他車両４２Ａとが示されている。図４９において、移動体３０は、車両である。

移動体３０に搭載された物体検出装置２０の制御部２４は、図４８に示すようなｕ−ｄ座標空間の複数の代表視差ｄ_eを、図５０に示すような実空間（ｘ−ｚ座標空間）の点群に変換する。図５０では、ｕ−ｄ座標空間の代表視差ｄ_eを表す各点は、ｘ−ｚ座標空間の点として表示される。制御部２４は、点群の分布に基づいて点群の纏まりを抽出する。制御部２４は、所定条件に従い近接する複数の点を纏めて点群の纏まりとして抽出する。点群の纏まりは、代表視差ｄ_eの纏まり（グループ）を表す。

物体がステレオカメラ１０の基線長方向に平行な面を有するとき、ｘ−ｚ座標空間上で点群はｘ方向に並ぶ。制御部２４は、ｘ−ｚ座標空間上でｘ方向に並ぶ点群の纏まり１８０があるとき、これを物体として認識することができる。図５０において、点群の纏まり１８０は、図２９に示す他車両４２Ａの車体の後面に対応する。

物体が平行物体であるとき、ｘ−ｚ座標空間上で点群はｚ方向に並ぶ。制御部２４は、ｘ−ｚ座標空間上でｚ方向に並ぶ点群の纏まり１８１があるとき、これを、平行物体として認識することができる。上述のように、平行物体の一例として、ガードレール及び高速道路の遮音壁等の道路端の構造物、又は、図４９に示す他車両４２Ａの側面等が挙げられる。ｘ−ｚ座標空間上でｚ方向に並ぶ点群の纏まり１８１は、移動体３０の進行方向と平行に並ぶ物体、又は、物体の移動体３０の進行方向に平行な面に対応する。制御部２４は、ｚ方向に並ぶ点群の纏まり１８１を、物体検出処理の対象から除外することができる。ここで、上述のクラスタリング処理で検出された平行物体に対応する視差は、図４５に示すステップＳ９０２の処理における代表視差ｄ_eの取得処理の対象外とされている。ただし、クラスタリング処理において平行物体に対応する視差を完全に検出しきれない場合がある。この場合、ｘ−ｚ座標空間上において、平行物体に対応する視差、例えば点群の纏まり１８１が存在し得る。ｘ−ｚ座標空間上に、点群の纏まり１８１のような、平行物体に対応する視差が存在する場合でも、ステップＳ１０９の処理において、平行物体に対応する視差、物体検出処理の対象から除外することができる。

制御部２４は、物体として認識した点群の纏まり１８０のｘ方向に並ぶ幅から、物体の幅を検出することができる。制御部２４は、図４５に示す処理により取得した代表視差ｄ_eに関連付けられた高さ情報に基づいて、物体の高さを決定することができる。従って、制御部２４は、認識した物体のｘ−ｚ座標空間上での位置、横幅及び高さを認識することができる。

ステップＳ１１０の処理において、制御部２４は、ステップＳ１０９の処理により認識した物体の位置、横幅及び高さの情報を、出力部２２によって、移動体３０内の他の装置に出力することができる。例えば、制御部２４は、移動体３０内の表示装置にこれらの情報を出力することができる。移動体３０内の表示装置は、図５１に示すように、第１カメラ１１又は第２カメラ１２の画像に、物体検出装置２０から取得した情報に基づいて、他車両に対応する画像を囲む検出枠１８２を表示してよい。検出枠１８２は、検出された物体の位置及び画像内に占める範囲を示す。

以上のように、本開示の物体検出装置２０は、速い処理速度と高い精度の物体検出を可能にする。すなわち、本開示の物体検出装置２０及び本開示の物体検出方法は、物体を検出する性能を向上することができる。また、物体検出装置２０は、検出する対象の物体を特定の種類の物体に限定しない。物体検出装置２０は、路面上に存在するあらゆる物体を検出することができる。物体検出装置２０の制御部２４は、第１処理、第２処理、第３処理及び第４処理を、第１視差画像以外の前記ステレオカメラ１０により撮像された画像の情報を用いずに実行することができる。このため、物体検出装置２０は、第１視差画像及び第２視差画像の処理に加えて、撮像した画像から別途物体を認識する処理を行わなくてよい。従って、本開示の物体検出装置２０は、物体認識に係る制御部２４の処理負荷を低減することができる。このことは、本開示の物体検出装置２０が、第１カメラ１１又は第２カメラ１２から直接得られた画像に対する画像処理と組み合わせることを排除しない。物体検出装置２０は、テンプレートマッチング等の画像処理技術と組み合わせることも可能である。

上述の制御部２４の実行する処理の説明において、本開示の理解を助けるため、種々の画像を用いた判定及び操作等を含む処理が説明された。これらの画像を用いた処理は、実際に画像を描画する処理を含まなくてよい。これらの画像を用いた処理と実質的に同じ内容の処理が、制御部２４の内部の情報処理で実行される。

本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。従って、これらの変形又は修正は本開示の範囲に含まれることに留意されたい。例えば、各構成部又は各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部又はステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。本開示に係る実施形態について装置を中心に説明してきたが、本開示に係る実施形態は装置の各構成部が実行するステップを含む方法としても実現し得るものである。本開示に係る実施形態は装置が備えるプロセッサにより実行される方法、プログラム、又はプログラムを記録した記憶媒体としても実現し得るものである。本開示の範囲にはこれらも包含されるものと理解されたい。

本開示において「第１」及び「第２」等の記載は、当該構成を区別するための識別子である。本開示における「第１」及び「第２」等の記載で区別された構成は、当該構成における番号を交換することができる。例えば、第１レンズは、第２レンズと識別子である「第１」と「第２」とを交換することができる。識別子の交換は同時に行われる。識別子の交換後も当該構成は区別される。識別子は削除してよい。識別子を削除した構成は、符号で区別される。本開示における「第１」及び「第２」等の識別子の記載のみに基づいて、当該構成の順序の解釈、小さい番号の識別子が存在することの根拠に利用してはならない。

本開示において、ｘ方向、ｙ方向、及び、ｚ方向は、説明の便宜上設けられたものであり、互いに入れ替えられてよい。本開示に係る構成は、ｘ方向、ｙ方向、及び、ｚ方向を各軸方向とする直交座標系を用いて説明されてきた。本開示に係る各構成の位置関係は、直交関係にあると限定されるものではない。画像の座標を示すｕ座標及びｖ座標は、説明の便宜上設けられたものであり、互いに入れ替えられてよい。ｕ座標及びｖ座標の原点及び方向は、本開示のものに限定されない。

上記実施形態において、ステレオカメラ１０の第１カメラ１１及び第２カメラ１２は、ｘ方向に並んで位置していた。第１カメラ１１及び第２カメラ１２の配置はこれに限られない。第１カメラ１１及び第２カメラ１２は、路面に垂直な方向（ｙ方向）又は路面４１Ａに対して傾いた方向に並んで位置してよい。ステレオカメラ１０を構成するカメラの数は２つに限られない。ステレオカメラ１０は、３つ以上のカメラを含んでよい。例えば、路面に水平方向に並ぶ２台のカメラ及び垂直方向に並ぶ２台のカメラの合計４台のカメラを用いて、より精度の高い距離情報を得ることも可能である。

上記実施形態において、ステレオカメラ１０及び物体検出装置２０は、移動体３０に搭載されていた。ステレオカメラ１０及び物体検出装置２０は、移動体３０に搭載されるものに限られない。例えば、ステレオカメラ１０及び物体検出装置２０は、交差点等に設置される路側機に搭載され路面を含む画像を撮像するように配置されてよい。例えば、路側機は、交差点で交差する道路の一方から接近する第１の車両を検出し、他方の道路上を走行して接近する第２の車両に対して第１の車両の接近を知らせる情報提供をすることができる。

１，１Ａ 物体検出システム
１０ ステレオカメラ
１１ 第１カメラ
１２ 第２カメラ
２０ 物体検出装置
２１ 取得部
２２ 出力部
２３ メモリ
２４ 制御部
２５ 生成装置
３０ 移動体
４０ 第１視差画像
４１，４２，４３，４４，７１，７２，７３，７４，７５，７６、８１，８２，１０１ 視差画像
４１Ａ 路面
４２Ａ 車両
４２ａ，８３，８４，８５，１０２，１０３，１０４，１０５，１５１，１５２，１５３，１５４，１６１，１６２，１６３ 視差画素
４５ 枠線
５１ グラフ
５２ 第１直線
５３ 近似開始点
５４ 候補直線
５５ 第２直線
６０，７０，８０，１００，１５０，１６０ 第２視差画像
６１ 部分領域
６１−１，６１ 部分領域
６２ 領域
９０，１０６，１２０，１７０ 第１画像
９１，９２，１０７，１２１，１２２，１２３，１２４，１２５，１７１，１７２ 画像
１０１ａ 部分領域
１０７ａ 下部画像
１０７ｂ 上部画像
１１０，１４０ ＵＤマップ
１１０ＶＰ，１３０ＶＰ 消失点
１１１，１１２，１１３，１１４，１１５，１８０，１８１ 点群
１１１Ｌ，１１５Ｌ 直線
１３１，１３２，１３３，１３４ 点
１３１Ｌ，１３２Ｌ，１３３Ｌ，１３４Ｌ，１３５Ｌ 曲線
１４１，１４２ 第１視差点
１４３ 第２視差点
１７２ａ，１７２ｂ 部分画像
１８２ 検出枠

Claims (12)

1. ステレオカメラが路面を撮像して生成した撮像画像の水平方向に対応する第１方向と、前記第１方向に交差する第２方向とから成る二次元座標に、前記撮像画像から取得された視差が対応付けられた視差マップの第２方向に沿って、所定条件を満たす対象視差に対応付けられた座標を探索して第１座標として更新していき、前記第１座標に基づいて前記対象視差に対応する物体の高さを算出するように構成されるプロセッサを備え、
   前記プロセッサは、
   前記第１座標から、所定間隔を超えて、前記対象視差と略等しい視差に対応付けられた候補座標が存在するとき、第１座標に基づいて第１候補高さを算出し、前記候補座標に基づいて第２候補高さを算出し、
   前記視差マップの第１方向において、前記候補座標を挟む２つの座標にそれぞれ対応付けられた視差に基づいて、前記第１候補高さ及び前記第２候補高さのうちの何れを、前記物体の高さとして取得するかを判定するように構成される、物体検出装置。
2. 請求項１に記載の物体検出装置であって、
   前記プロセッサは、
   前記第１座標から、前記所定間隔以内に、前記対象視差と略等しい視差に対応付けられた第２座標が存在するとき、前記第２座標を前記第１座標として更新するように構成される、物体検出装置。
3. 請求項１又は２に記載の物体検出装置であって、
   前記プロセッサは、
   前記視差マップの前記第２方向に含まれる方向のうち、前記路面から上に向かう方向に対応する方向に沿って、前記対象視差に対応する前記路面の座標から、前記対象視差に対応付けられた座標を探索して第１座標として更新していき、前記物体の高さを、前記第１座標から前記路面の座標を減算することにより算出し、
   前記第１候補高さを、前記第１座標から前記路面の座標を減算することにより算出し、前記第２候補高さを、前記候補座標から前記路面の座標を減算することにより算出するように構成される、物体検出装置。
4. 請求項３に記載の物体検出装置であって、
   前記路面の座標から、前記路面から上に向かう方向に対応する方向に沿って、所定範囲以内に前記対象視差と略等しい視差に対応付けられた座標が存在しないとき、前記物体の高さを算出しないように構成される、物体検出装置。
5. 請求項４に記載の物体検出装置であって、
   前記所定範囲は、前記路面から浮いている物体の前記路面からの高さに基づいて、設定される、物体検出装置。
6. 請求項１から５の何れか一項に記載の物体検出装置であって、
   前記プロセッサは、
   前記視差マップの前記第１方向に沿って前記視差マップを複数の部分領域に分割し、前記複数の部分領域毎に視差の頻度を示す分布を生成し、
   前記視差の頻度が所定閾値を超える視差を、前記所定条件を満たす対象視差として抽出するように構成される、物体検出装置。
7. 請求項１から６の何れか一項に記載の物体検出装置であって、
   前記プロセッサは、
   前記候補座標を挟む２つの座標にそれぞれ対応付けられた視差が前記対象視差と略等しいと判定するとき、前記第１候補高さ及び前記第２候補高さのうち、前記第２候補高さを前記物体の高さとして取得すると判定し、
   前記候補座標を挟む２つの座標にそれぞれ対応付けられた視差が前記対象視差と略等しいと判定しないとき、前記第１候補高さ及び前記第２候補高さのうち、前記第１候補高さを前記物体の高さとして取得すると判定するように構成される、物体検出装置。
8. 請求項１から７の何れか一項に記載の物体検出装置であって、
   前記所定間隔は、前記物体検出装置の検出対象の物体の高さに基づいて、設定される、物体検出装置。
9. 請求項１から８の何れか一項に記載の物体検出装置であって、
   前記プロセッサは、
   前記ステレオカメラの出力に基づき生成される第１視差マップであって、前記第１方向と前記第２方向とから成る二次元座標に、前記ステレオカメラの出力から得られる視差が対応付けられた第１視差マップに基づき、実空間における路面の形状を推定する第１処理と、
   推定された前記路面の前記形状に基づき、実空間における前記路面からの高さが所定高さ以下の範囲に対応する視差を、前記第１視差マップから除去した第２視差マップを前記視差マップとして生成する第２処理と
   を実行するように構成される、物体検出装置。
10. 互いに視差を有する複数の画像を撮像するステレオカメラと、
    少なくとも１つのプロセッサを含む物体検出装置と
    を備え、
    前記プロセッサは、
    ステレオカメラが路面を撮像して生成した撮像画像の水平方向に対応する第１方向と、前記第１方向に交差する第２方向とから成る二次元座標に、前記撮像画像から取得された視差が対応付けられた視差マップの第２方向に沿って、所定条件を満たす対象視差に対応付けられた座標を探索して第１座標として更新していき、前記第１座標に基づいて前記対象視差に対応する物体の高さを算出し、
    前記第１座標から、所定間隔を超えて、前記対象視差と略等しい視差に対応付けられた候補座標が存在するとき、第１座標に基づいて第１候補高さを算出し、前記候補座標に基づいて第２候補高さを算出し、
    前記視差マップの第１方向において、前記候補座標を挟む２つの座標にそれぞれ対応付けられた視差に基づいて、前記第１候補高さ及び前記第２候補高さのうちの何れを、前記物体の高さとして取得するかを判定するように構成される、物体検出システム。
11. 移動体であって、
    互いに視差を有する複数の画像を撮像するステレオカメラと、
    少なくとも１つのプロセッサを含む物体検出装置と
    を備える物体検出システムを備え、
    前記プロセッサは、
    ステレオカメラが路面を撮像して生成した撮像画像の水平方向に対応する第１方向と、前記第１方向に交差する第２方向とから成る二次元座標に、前記撮像画像から取得された視差が対応付けられた視差マップの第２方向に沿って、所定条件を満たす対象視差に対応付けられた座標を探索して第１座標として更新していき、前記第１座標に基づいて前記対象視差に対応する物体の高さを算出し、
    前記第１座標から、所定間隔を超えて、前記対象視差と略等しい視差に対応付けられた候補座標が存在するとき、第１座標に基づいて第１候補高さを算出し、前記候補座標に基づいて第２候補高さを算出し、
    前記視差マップの第１方向において、前記候補座標を挟む２つの座標にそれぞれ対応付けられた視差に基づいて、前記第１候補高さ及び前記第２候補高さのうちの何れを、前記物体の高さとして取得するかを判定するように構成される、移動体。
12. 物体検出方法であって、
    ステレオカメラが路面を撮像して生成した撮像画像の水平方向に対応する第１方向と、前記第１方向に交差する第２方向とから成る二次元座標に、前記撮像画像から取得された視差が対応付けられた視差マップの第２方向に沿って、所定条件を満たす対象視差に対応付けられた座標を探索して第１座標として更新していき、前記第１座標に基づいて前記対象視差に対応する物体の高さを算出することを含み、
    前記物体の高さを算出することは、
    前記第１座標から、所定間隔を超えて、前記対象視差と略等しい視差に対応付けられた候補座標が存在するとき、第１座標に基づいて第１候補高さを算出し、前記候補座標に基づいて第２候補高さを算出すること、
    前記視差マップの第１方向において、前記候補座標を挟む２つの座標にそれぞれ対応付けられた視差に基づいて、前記第１候補高さ及び前記第２候補高さのうちの何れを、前記物体の高さとして取得するかを判定することを含む、物体検出方法。

Images