JP2014225220A - 移動面情報検出装置、及びこれを用いた移動体機器制御システム並びに移動面情報検出用プログラム - Google Patents

Abstract

【課題】移動面の位置情報を高精度に検出することを課題とする。
【解決手段】複数の撮像画像に基づいて視差画像データを生成し、その視差画像データに基づいて撮像画像を上下方向に複数分割して得られる各行領域内における視差値の頻度分布を示すＶマップ情報を生成する。このＶマップの情報に基づき、所定の頻度閾値を超える頻度をもった視差値を選別処理対象として決定し、その選別処理対象の中から、路面の視差値が示す特徴に合致した一群の視差値を選別する。そして、選別した一群の視差値に基づいて、路面の高さ等の情報を検出する。このとき、前フレームの撮像画像について選別された視差値に基づいて前記選別処理対象を決定する。
【選択図】図５

Description

本発明は、車両や鉄道などの移動体の前方を複数の撮像手段により撮像した複数の撮像画像に基づいて当該移動体が移動する移動面の情報を検出する移動面情報検出装置及びこれを用いた移動体機器制御システム並びに移動面情報検出用プログラムに関するものである。

この種の移動面情報検出装置としては、例えば、特許文献１に記載された道路形状認識装置が知られている。この道路形状認識装置は、ステレオカメラを用いて自車両（移動体）の前方の道路面（移動面）を撮像し、一方のカメラで撮像した基準画像と他方のカメラで撮像した比較画像の各画像データに対して順次ステレオマッチング処理を施す。そして、基準画像の画素ごとに視差を順次算出し、この視差と画像上の画素座標とから、三角測量の原理に基づき、次の距離データＤを算出する。この距離データＤは、撮像画像上の各画素について算出した実空間上の距離Ｚ（自車両から当該画素に映し出された対象物までの距離）と、高さＹ（自車両の真下の道路面に対する当該対象物の高さ）とから構成される情報である。このように算出される距離データＤの中から、道路面を映し出している画素についての距離データＤを抽出し、その分布状態を求めることで、自車両前方における道路面の高さ（移動面情報）を認識することができる。

従来、路面（移動面）上を移動する車両（移動体）の前方に存在する先行車両や車線などの認識対象物を検出する物体検出装置が知られている。このような物体検出装置は、例えば、車両の運転者（ドライバー）の運転負荷を軽減させるための、ＡＣＣ（Adaptive Cruise Control）等の運転者支援システムなどに利用されている。運転者支援システムは、障害物等に衝突することを回避したり衝突時の衝撃を軽減したりするための自動ブレーキ機能や警報機能、先行車両との車間距離を維持するための自車速度調整機能、自車が走行している車線からの逸脱防止を支援する機能などの様々な機能を実現する。これらの機能を適切に実現するためには、自車両前方の撮像画像から、自車両周囲に存在する種々の認識対象物（例えば、他車両、歩行者、車線境界線やマンホール蓋などの路面構成物、電柱、ガードレール、縁石、中央分離帯などの路側構造物など）を映し出す画像部分を、精度よく認識し、自車両の走行可能領域を把握したり、衝突を回避すべき物体を精度よく検出したりすることが重要である。

自車両前方に存在する種々の識別対象物は、いずれも路面上又はこれよりも高い位置に存在するのが通常である。そのため、撮像画像中から路面を映し出す路面画像部分（移動面画像領域）を高精度に検出できれば、その路面画像部分を基準にして、識別対象物を映し出す画像部分が存在する範囲を限定でき、識別対象物の高精度な識別が可能になる。
また、撮像画像中の路面画像部分を検出せずとも、各路面部分の高さ情報（移動面情報）を求めることで、各路面部分の高さを基準にして、識別対象物を映し出す画像部分が存在する範囲を限定できる。この場合も、識別対象物の高精度な識別が可能になる。

路面画像部分を高精度に検出できる装置としては、本出願人が出願した特願２０１２−２４９６８４号等に開示の路面検出装置がある。この路面検出装置は、ステレオカメラを用いて得た視差情報に基づいて、撮像画像を上下方向に複数分割して得られる各行領域内における視差値の頻度分布を示す視差ヒストグラム情報を生成する。そして、この視差ヒストグラム情報に基づき、予め決められた規定値を超える頻度をもった視差値の中から、撮像画像の上方に向かうほど値が低くなるという特徴に合致した一群の視差値を選別する。この特徴は、路面画像部分を構成する画素が持つ特徴を示すものであるため、選別した視差値に対応する画素は路面画像部分を構成する画素であると判断できる。このような方法により、この路面検出装置では、路面画像部分を高精度に認識することが可能である。

また、この路面検出装置では、選別した一群の視差値を直線近似又は曲線近似して近似曲線や近似直線を得る。この近似曲線や近似直線上の視差値を用いることで、自車両の進行方向における路面上の各地点までの距離情報（移動面情報）を精度良く把握することが可能である。更には、この距離情報（移動面情報）を利用すれば、自車両の進行方向における路面上の各地点の相対的な高さを精度良く把握することも可能である。

しかしながら、路面を映し出す路面画像部分の多くは、その路面画像部分内においてコントラスト（輝度差）が比較的少ないので、路面状況や撮影環境などの条件によっては、ステレオマッチング処理におけるマッチング精度が低くなりやすい。また、コントラスト（輝度差）が大きい箇所が繰り返されるような路面（ゼブラゾーンが描かれた路面等）においても、ステレオマッチング処理におけるマッチング精度が低くなりやすい。マッチング精度が低くなると、誤った視差値をもった画素の数が増える。その結果、撮像画像中の路面画像部分（移動面情報）の検出精度が落ちたり、撮像画像に映し出されている路面の各地点における高さ情報（移動面情報）の検出精度が落ちたりする。このように、路面画像部分や各路面部分の高さ情報などの移動面情報の検出精度が落ちると、移動面情報を利用した後段の処理や制御を適切に行うことができないという問題が発生する。

本発明は、以上の問題に鑑みなされたものであり、その目的とするところは、移動面情報を高精度に検出可能な移動面情報検出装置及びこれを用いた移動体機器制御システム並びに移動面情報検出用プログラムを提供することである。

前記目的を達成するために、本発明は、移動面上を移動する移動体に搭載された複数の撮像手段により移動体移動方向前方を撮像して得られる複数の撮像画像に基づいて、移動体移動方向前方における移動面の情報を検出する移動面情報検出装置において、前記複数の撮像画像に基づいて視差情報を生成する視差情報生成手段と、前記視差情報に基づいて、前記撮像画像を上下方向に複数分割して得られる各行領域内における視差値の頻度分布を示す視差ヒストグラム情報を生成する視差ヒストグラム情報生成手段と、前記視差ヒストグラム情報に基づき、所定の頻度閾値を超える頻度をもった視差値を選別処理対象として決定し、その選別処理対象の中から、移動面の視差値が示す特徴に合致した一群の視差値を選別する処理を行う視差値選別手段と、前記視差値選別手段の選別結果に基づいて、移動面の情報を検出する移動面情報検出手段とを有し、前記視差値選別手段は、過去に選別した視差値に基づいて前記選別処理対象を決定することを特徴とする。

本発明においては、過去に選別した視差値に基づいて選別処理対象を決定することとしている。通常、移動面の情報は急激に変化するような性質のものではない。したがって、今回の移動面情報の検出において生成される視差情報が誤差を多く含んだものであっても、過去に正しく選別された視差値を基準にして、移動面としては異常な値をもつ視差値（ノイズ）を特定することが可能である。よって、過去に選別した視差値に基づいて異常な視差値（ノイズ）を除外した選別処理対象を決定することで、移動面の特徴に合致した一群の視差値を適切に選別することが可能となり、移動面の情報を高い精度で得ることができる。

本発明によれば、移動面の情報を高精度に検出することが可能となるという優れた効果が得られる。

実施形態における車載機器制御システムの概略構成を示す模式図である。 同車載機器制御システムを構成する撮像ユニット及び画像解析ユニットの概略構成を示す模式図である。 左右のカメラで撮影したときの視差を説明する図である。 処理ハードウェア部及び画像解析ユニットのハードウェア構成の一例を示す説明図である。 実施形態の物体検出処理を説明するための処理ブロック図である。 （ａ）は視差画像の視差値分布の一例を示す説明図である。（ｂ）は、同（ａ）の視差画像の行ごとの視差値頻度分布を示す行視差分布マップ（Ｖマップ）を示す説明図である。 一方の撮像部で撮像される基準画像の一例を模式的に表した画像例である。 図７の画像例に対応するＶマップを示す説明図である。 実施形態における抽出条件を説明するためのＶマップを示す説明図である。 相対的に上り傾斜である路面のＶマップ情報を示す説明図である。 自車両が加速している時の路面のＶマップ情報を示す説明図である。 Ｖマップ生成部の一例の処理ブロック図である。 Ｖマップ生成部の他の例の処理ブロック図である。 Ｖマップ情報生成処理例１に係るＶマップ情報生成処理の流れを示すフローチャートである。 視差画像上に設定される路面画像候補領域を説明するための説明図である。 Ｖマップ情報生成処理例２に係るＶマップ情報生成処理の流れを示すフローチャートである。 路面形状検出部内の処理ブロック図である。 路面候補点検出処理例１における第１路面候補点検出処理の検出方法を説明するための説明図である。 路面候補点検出処理例１における第２路面候補点検出処理の検出方法を説明するための説明図である。 路面候補点検出処理例１における路面候補点検出部で行う路面候補点検出処理の流れを示すフローチャートである。 路面候補点検出処理例２における第１路面候補点検出処理及び第２路面候補点検出処理の検出方法を説明するための説明図である。 路面候補点検出処理例２における路面候補点検出部で行う路面候補点検出処理の流れを示すフローチャートである。 Ｖマップを３つの区間（視差値区画）に区分けした一例を示す説明図である。 Ｖマップを３つの区間（視差値区画）に区分けした他の例を示す説明図である。 Ｖマップを３つの区間（視差値区画）に区分けした更に他の例を示す説明図である。 （ａ）は、最終の第四区間が本来の区間幅（視差値範囲）より狭い幅しか設定できない場合の説明図である。（ｂ）は、当該最終の第四区間をひとつ前の第三区間と結合して、ひとつの区間（第三区間）として設定した例の説明図である。 区分直線近似処理例１における区分直線近似部で行う区分直線近似処理の流れを示すフローチャートである。 区分直線近似処理例２における区分直線近似部で行う区分直線近似処理の流れを示すフローチャートである。 （ａ）は、当初の区間を示す説明図であり、（ｂ）は、当初の第一区間を延長した後の区間を示す説明図である。 （ａ）は、当初の区間を示す説明図であり、（ｂ）は、当初の第二区間を延長した後の区間を示す説明図である。 （ａ）は、得られた各区間の近似直線が区間境界で連続にならない状態を示す説明図である。（ｂ）は、各区間の近似直線が区間境界において連続になる修正した例を示す説明図である。 一方の撮像部で撮像される基準画像の一例を模式的に表した画像例である。 図３２の画像例に対応するＵマップを示す説明図である。 孤立領域検出部で行う処理の流れを示すフローチャートである。 孤立領域検出部で行うラベリング処理の説明図である。 同ラベリング処理において周囲に異なるラベルが存在するときの処理を説明するための説明図である。 孤立領域検出部で検出された孤立領域が内接する矩形領域を設定したＵマップを示す説明図である。 図３７に示したＵマップに対応する視差画像を模式的に示した説明図である。 オブジェクトライン群の外接矩形を設定した視差画像を示す説明図である。 視差画像の対応領域検出部及びオブジェクト領域抽出部で行われる処理の流れを示すフローチャートである。 オブジェクトタイプの分類を行うためのテーブルデータの一例を示す表である。 ガードレール検出部で行われるガードレール検出処理の流れを示すフローチャートである。 ガードレール検出処理の対象範囲について直線近似処理して得られる近似直線を示したＵマップを示す説明図である。 得られた近似直線からガードレール候補座標を検出する説明のための説明図である。 図３２に示した画像例に対応する視差画像上に、ガードレール検出部が検出したガードレール領域を示した説明図である。 自車両の前輪の舵角から消失点の画像左右方向位置Ｖｘを検出する原理を示す説明図である。 自車両のヨーレート及び車速から消失点の画像左右方向位置Ｖｘを検出する原理を示す説明図である。 自車両の加速時や減速時に消失点の画像上下方向位置Ｖｙが変化することを示す説明図である。 撮像した路面上にゼブラゾーンが存在する場合の撮像画像を示す説明図である。 図４９の撮像画像に対応する視差画像について作成されたＶマップを示す説明図である。 図５０のＶマップによって得られる近似直線（実線）が、誤差の少ない近似直線（破線）から外れていることを説明するための説明図である。 変形例１におけるＶマップ生成部の処理ブロック図である。 前フレームの撮像画像について求めた区分近似直線から設定されるノイズ領を示した暫定Ｖマップを示す説明図である。 変形例１で求まる補正後のＶマップを示す説明図である。 変形例１におけるＶマップ生成部で行うＶマップ生成処理の一例を示すフローチャートである。 変形例１におけるＶマップ生成部で行うＶマップ生成処理の他の例を示すフローチャートである。 変形例２における主要な処理の流れを示すフローチャートである。 変形例２において、路面の消失点と視差画像の下端中心とを結ぶ直線を境界にして左右に二分割した視差画像の例を示す説明図である。 変形例２において、消失点と視差画像左下点とを結ぶ直線Ｌ３と、消失点と視差画像右下点とを結ぶ直線Ｌ４とを設定した視差画像の例を示す説明図である。 図５９の視差画像に対して、ひとつの画像走査ラインＬ５を設定したときの説明図である。 変形例２において、２つの直線Ｌ３，Ｌ４と画像走査ラインとの両交点以外の画像走査ライン上の視差値を線形補間したときの説明図である。 変形例３において、路面の消失点と視差画像の下端中心とを結ぶ直線を境界にして左右に二分割した視差画像の例を示す説明図である。 変形例３において、消失点と視差画像左下点とを結ぶ直線Ｌ３と、消失点と視差画像右下点とを結ぶ直線Ｌ４とを設定した視差画像の例を示す説明図である。 図６３の視差画像に対して、ひとつの画像走査ラインＬ５を設定したときの説明図である。 変形例４において、路面の消失点と視差画像の左１／４の下端地点とを結ぶ直線Ｌ６と、路面の消失点と視差画像の右１／４の下端地点とを結ぶ直線Ｌ７とを境界にして左右に三分割した視差画像の例を示す説明図である。 図６５の視差画像に対し、ひとつの画像走査ラインＬ５を設定したときの説明図である。 ３つの直線Ｌ３，Ｌ４，Ｌ８と画像走査ラインとの両交点以外の画像走査ライン上の視差値を線形補間したときの説明図である。 変形例５において、路面の消失点と視差画像の左１／４の下端地点とを結ぶ直線Ｌ６と、路面の消失点と視差画像の右１／４の下端地点とを結ぶ直線Ｌ７とを境界にして左右に三分割した視差画像の例を示す説明図である。 図６８の視差画像に対し、ひとつの画像走査ラインＬ５を設定したときの説明図である。

以下、本発明に係る移動面情報検出装置である路面検出装置を、移動体機器制御システムである車載機器制御システムに用いた一実施形態について説明する。
図１は、本実施形態における車載機器制御システムの概略構成を示す模式図である。
本車載機器制御システムは、移動体である自動車などの自車両１００に搭載された撮像ユニットで撮像した自車両進行方向前方領域（撮像領域）の撮像画像データから、自車両前方の路面（移動面）の相対的な高さ情報（相対的な傾斜状況を示す情報）を検知する。そして、その検知結果から、自車両前方の走行路面の３次元形状を検出することができるので、その検出結果を利用して各種車載機器の制御を行う。

本実施形態の車載機器制御システムは、走行する自車両１００の進行方向前方領域を撮像領域として撮像する撮像ユニット１０１が設けられている。この撮像ユニット１０１は、例えば、自車両１００のフロントガラス１０５のルームミラー（図示せず）付近に設置される。撮像ユニット１０１の撮像によって得られる撮像画像データ等の各種データは、画像処理手段としての画像解析ユニット１０２に入力される。画像解析ユニット１０２は、撮像ユニット１０１から送信されてくるデータを解析して、自車両１００が走行している路面部分（自車両の真下に位置する路面部分）に対する自車両前方の走行路面上の各地点における相対的な高さ（位置情報）を検出し、自車両前方の走行路面の３次元形状を把握する。

画像解析ユニット１０２の認識結果は、車両走行制御ユニット１０６に送られる。車両走行制御ユニット１０６は、画像解析ユニット１０２による走行路面の相対傾斜状況の認識結果に基づいて自車両前方の他車両、歩行者、各種障害物などの認識対象物を認識し、その認識結果に基づいて、自車両１００の運転者へ警告を報知したり、自車両のハンドルやブレーキを制御するなどの走行支援制御を行ったりする。

図２は、撮像ユニット１０１及び画像解析ユニット１０２の概略構成を示す模式図である。
撮像ユニット１０１は、撮像手段としての２つの撮像部１１０Ａ，１１０Ｂを備えたステレオカメラで構成されており、２つの撮像部１１０Ａ，１１０Ｂは同一のものである。各撮像部１１０Ａ，１１０Ｂは、それぞれ、撮像レンズ１１１Ａ，１１１Ｂと、受光素子が２次元配置された画像センサ１１３Ａ，１１３Ｂを含んだセンサ基板１１４Ａ，１１４Ｂと、センサ基板１１４Ａ，１１４Ｂから出力されるアナログ電気信号（画像センサ１１３Ａ，１１３Ｂ上の各受光素子が受光した受光量）をデジタル電気信号に変換した撮像画像データを生成して出力する信号処理部１１５Ａ，１１５Ｂとから構成されている。本実施形態の撮像ユニット１０１からは、輝度画像データと視差画像データが出力される。

また、撮像ユニット１０１は、ＦＰＧＡ（Field-Programmable Gate Array）等の画像処理基板等からなる処理ハードウェア部１２０を備えている。この処理ハードウェア部１２０は、各撮像部１１０Ａ，１１０Ｂから出力される輝度画像データから視差画像を得るために、各撮像部１１０Ａ，１１０Ｂでそれぞれ撮像した撮像画像間の対応画像部分の視差値を演算する視差情報生成手段としての視差演算部１２１を備えている。

ここでいう視差値とは、各撮像部１１０Ａ，１１０Ｂでそれぞれ撮像した撮像画像の一方を基準画像、他方を比較画像とし、撮像領域内の同一地点に対応した基準画像上の画像部分に対する比較画像上の画像部分の位置ズレ量を、当該画像部分の視差値として算出したものである。三角測量の原理を利用することで、この視差値から当該画像部分に対応した撮像領域内の当該同一地点までの距離を算出することができる。図３を参照して説明すれば、被写体３０１上にあるＯ点に対する左右画像での結像位置は、結像中心からの距離がそれぞれΔ１とΔ２となる。このときの視差値ｄは、Δ＝Δ１＋Δ２と規定することができる。

一方、画像解析ユニット１０２は、画像処理基板等から構成され、撮像ユニット１０１から出力される輝度画像データ及び視差画像データを記憶するＲＡＭやＲＯＭ等で構成される記憶手段１２２と、識別対象の認識処理や視差計算制御などを行うためのコンピュータプログラムを実行するＣＰＵ（Central Processing Unit）１２３とを備えている。

図４は、処理ハードウェア部１２０及び画像解析ユニット１０２のハードウェア構成の一例を示す説明図である。
処理ハードウェア部１２０及び画像解析ユニット１０２を構成する画像処理基板１２４は、画像センサ１１３Ａ，１１３Ｂの露光制御、画像読み出し制御、外部回路との通信、画像データの送信などの役割を担っている。２つの撮像部１１０Ａ，１１０Ｂとの間は、データバス及びシリアルバスで接続されている。２つの撮像部１１０Ａ，１１０Ｂから出力される輝度画像データは、データバスを介して画像処理基板１２４のＲＡＭに転送される。シリアルバスは、ＣＰＵやＦＰＧＡからのセンサ露光制御値変更、画像読み出しパラメータ変更、各種設定データの送受信などに使用される。

画像処理基板１２４は、ＣＰＵ、ＦＰＧＡ、ＲＯＭ、ＲＡＭ、シリアルＩＦ、シリアルバス、データＩＦ、データバスなどから構成されている。ＦＰＧＡは、ＲＡＭに保存された画像データに対してリアルタイム性が要求される処理、例えばガンマ補正、ゆがみ補正（左右の撮像画像の平行化）、ブロックマッチングによる視差演算を行って視差画像の情報を生成し、ＲＡＭに書き戻す処理などを行う。ＣＰＵは、各撮像部１１０Ａ，１１０Ｂの画像センサコントローラの制御および画像処理基板の全体的な制御を担うとともに、路面の３次元形状の検出処理、ガードレールその他の各種オブジェクト（識別対象物）の検出処理などを実行するプログラムをＲＯＭからロードして、ＲＡＭに蓄えられた輝度画像データや視差画像データを入力として各種処理を実行し、その処理結果をデータＩＦやシリアルＩＦから外部へと出力する。このような処理の実行に際し、データＩＦを利用して、自車両１００の車速、加速度（主に自車両前後方向に生じる加速度）、操舵角、ヨーレートなどの車両動作情報を入力し、各種処理のパラメータとして使用することもできる。外部に出力されるデータは、自車両１００の各種機器の制御（ブレーキ制御、車速制御、警告制御など）を行うための入力データとして使用される。

次に、本実施形態における路面の３次元形状を検出する路面形状検出処理を含んだ物体検出処理について説明する。
図５は、本実施形態の物体検出処理を説明するための処理ブロック図である。
ステレオカメラを構成する２つの撮像部１１０Ａ，１１０Ｂからは輝度画像データが出力される。このとき、撮像部１１０Ａ，１１０Ｂがカラーの場合には、そのＲＧＢ信号から輝度信号（Ｙ）を得るカラー輝度変換を、例えば下記の式（１）を用いて行う。
Ｙ ＝ ０．３Ｒ ＋ ０．５９Ｇ ＋ ０．１１Ｂ ・・・（１）
輝度画像データが入力されると、まず、平行化画像生成部１３１で平行化画像生成処理を実行する。この平行化画像生成処理は、撮像部１１０Ａ，１１０Ｂにおける光学系の歪みや左右の撮像部１１０Ａ，１１０Ｂの相対的な位置関係から、各撮像部１１０Ａ，１１０Ｂから出力される輝度画像データ（基準画像と比較画像）を、２つのピンホールカメラが平行に取り付けられたときに得られる理想的な平行化ステレオ画像となるように変換する。これは、各画素での歪み量を、Δｘ＝ｆ（ｘ，ｙ）、Δｙ＝ｇ（ｘ，ｙ）という多項式を用いて計算し、その計算結果を用いて、各撮像部１１０Ａ，１１０Ｂから出力される輝度画像データ（基準画像と比較画像）の各画素を変換する。多項式は、例えば、ｘ（画像の横方向位置）、ｙ（画像の縦方向位置）に関する５次多項式に基づく。

このようにして平行化画像処理を行った後、次に、視差演算部１２１によって構成される視差画像生成部１３２において、視差画像データ（視差情報又は視差画像情報）を生成する視差画像生成処理を行う。視差画像生成処理では、まず、２つの撮像部１１０Ａ，１１０Ｂのうちの一方の撮像部１１０Ａの輝度画像データを基準画像データとし、他方の撮像部１１０Ｂの輝度画像データを比較画像データとし、これらを用いて両者の視差を演算して、視差画像データを生成して出力する。この視差画像データは、基準画像データ上の各画像部分について算出される視差値ｄに応じた画素値をそれぞれの画像部分の画素値として表した視差画像を示すものである。

具体的には、視差画像生成部１３２は、基準画像データのある行について、一の注目画素を中心とした複数画素（例えば１６画素×１画素）からなるブロックを定義する。一方、比較画像データにおける同じ行において、定義した基準画像データのブロックと同じサイズのブロックを１画素ずつ横ライン方向（Ｘ方向）へずらし、基準画像データにおいて定義したブロックの画素値の特徴を示す特徴量と比較画像データにおける各ブロックの画素値の特徴を示す特徴量との相関を示す相関値を、それぞれ算出する。そして、算出した相関値に基づき、比較画像データにおける各ブロックの中で最も基準画像データのブロックと相関があった比較画像データのブロックを選定するマッチング処理を行う。その後、基準画像データのブロックの注目画素と、マッチング処理で選定された比較画像データのブロックの対応画素との位置ズレ量を視差値ｄとして算出する。このような視差値ｄを算出する処理を基準画像データの全域又は特定の一領域について行うことで、視差画像データを得ることができる。

マッチング処理に用いるブロックの特徴量としては、例えば、ブロック内の各画素の値（輝度値）を用いることができ、相関値としては、例えば、基準画像データのブロック内の各画素の値（輝度値）と、これらの画素にそれぞれ対応する比較画像データのブロック内の各画素の値（輝度値）との差分の絶対値の総和を用いることができる。この場合、当該総和が最も小さくなるブロックが最も相関があると言える。

視差画像生成部１３２でのマッチング処理をハードウェア処理によって実現する場合には、例えばＳＳＤ（Sum of Squared Difference）、ＺＳＳＤ（Zero-mean Sum of Squared Difference）、ＳＡＤ（Sum of Absolute Difference）、ＺＳＡＤ（Zero-mean Sum of Absolute Difference）などの方法を用いることができる。なお、マッチング処理では画素単位での視差値しか算出できないので、１画素未満のサブピクセルレベルの視差値が必要な場合には推定値を用いる必要がある。その推定方法としては、例えば、等角直線方式、二次曲線方式等を利用することができる。ただし、このサブピクセルレベルの推定視差値には誤差が発生するので、この推定誤差を減少させるＥＥＣ（推定誤差補正）などを用いてもよい。

このようにして視差画像生成処理を行ったら、次に、Ｖマップ生成部１３３において、Ｖマップを生成するＶマップ生成処理を実行する。視差画像データに含まれる各視差画素データは、ｘ方向位置とｙ方向位置と視差値ｄとの組（ｘ，ｙ，ｄ）で示されるところ、これを、Ｘ軸にｄ、Ｙ軸にｙ、Ｚ軸に頻度ｆを設定した三次元座標情報（ｄ，ｙ，ｆ）に変換したもの、又はこの三次元座標情報（ｄ，ｙ，ｆ）から所定の頻度閾値を超える情報に限定した二次元座標情報（ｄ，ｙ，ｆ）を視差ヒストグラム情報ととして生成する。本実施形態の視差ヒストグラム情報は、三次元座標情報（ｄ，ｙ，ｆ）からなり、この三次元ヒストグラム情報をＸ−Ｙの２次元座標系に分布させたものをＶマップ（視差ヒストグラムマップ）と呼ぶ。

具体的に説明すると、Ｖマップ生成部１３３は、画像を上下方向に複数分割して得られる視差画像データの各行領域について、視差値頻度分布を計算する。この視差値頻度分布を示す情報が視差ヒストグラム情報である。具体例を挙げて説明すると、図６（ａ）に示すような視差値分布をもった視差画像データが入力されたとき、Ｖマップ生成部１３３は、行ごとの各視差値のデータの個数の分布である視差値頻度分布を計算し、これを視差ヒストグラム情報として出力する。このようにして得られる各行の視差値頻度分布の情報を、Ｙ軸に視差画像上のｙ方向位置（撮像画像の上下方向位置）をとりＸ軸に視差値をとった二次元直交座標系上に表すことで、図６（ｂ）に示すようなＶマップを得ることができる。このＶマップは、頻度ｆに応じた画素値をもつ画素が前記二次元直交座標系上に分布した画像として表現することもできる。

次に、本実施形態では、Ｖマップ生成部１３３が生成したＶマップの情報（視差ヒストグラム情報）から、路面形状検出部１３４において、自車両１００の前方路面の３次元形状を検出する路面形状検出処理を実行する。
図７は、撮像部１１０Ａで撮像される基準画像の一例を模式的に表した画像例である。
図８は、図７の画像例に対応するＶマップである。
図７に示す画像例では、自車両１００が走行している路面と、自車両１００の前方に存在する先行車両と、路外に存在する電柱が映し出されている。この画像例は、自車両１００の前方路面が相対的に平坦な路面、すなわち、自車両１００の前方路面が自車両１００の真下の路面部分と平行な面を自車両前方へ延長して得られる仮想の延長面（基準路面（仮想基準移動面））に一致している場合のものである。この場合、画像の下部に対応するＶマップの下部において、高頻度の点は、画像上方へ向かうほど視差値ｄが小さくなるような傾きをもった略直線状に分布する。このような分布を示す画素は、視差画像上の各行においてほぼ同一距離に存在していてかつ最も占有率が高く、しかも画像上方へ向かうほど距離が連続的に遠くなる識別対象物を映し出した画素であると言える。

撮像部１１０Ａでは自車両前方領域を撮像するため、その撮像画像の内容は、図７に示すように、画像上部に対して画像下部の方が路面の占有率が高く、また、画像上方へ向かうほど路面の視差値ｄは小さくなる。また、同じ行（横ライン）内において、路面を映し出す画素はほぼ同じ視差値ｄを持つことになる。したがって、Ｖマップ上において上述した略直線状に分布する高頻度の点は、路面（移動面）を映し出す画素が持つ特徴に対応したものである。よって、Ｖマップ上における高頻度の点を直線近似して得られる近似直線上又はその近傍に分布する点の画素は、高い精度で、路面を映し出している画素であると推定することができる。また、各画素に映し出されている路面部分までの距離は、当該近似直線上の対応点の視差値ｄから高精度に求めることができる。

ここで、Ｖマップ上における高頻度の点を直線近似する際、その直線近似処理に含める点をどの範囲まで含めるかは、その処理結果の精度を大きく左右する。すなわち、直線近似処理に含める範囲が広いほど、路面に対応しない点が多く含まれ、処理精度を落とすことになり、また、直線近似処理に含める範囲が狭いほど、路面に対応する点の数が少なく、やはり処理精度を落とす結果となる。そこで、本実施形態では、後述する直線近似処理の対象とする視差ヒストグラム情報部分を、以下のようにして抽出している。

図９は、本実施形態における抽出条件を説明するためのＶマップを示す説明図である。
本実施形態のＶマップ生成部１３３では、視差画像データを受け取ると、その視差画像データに含まれる各視差画素データ（ｘ，ｙ，ｄ）を、三次元座標情報である視差ヒストグラム情報構成要素としてのＶマップ要素（ｄ，ｙ，ｆ）に変換して、視差ヒストグラム情報としてのＶマップ情報を生成する。このとき、視差画像データの中から、画像上下方向位置ｙと視差値ｄとの関係が所定の抽出条件を満たす視差画素データを抽出し、その抽出した視差画素データを対象にして上述した変換を行い、Ｖマップ情報を生成する。

本実施形態における抽出条件は、自車両１００の前方路面が自車両１００の真下の路面部分と平行な面を自車両前方へ延長して得られる仮想の基準路面（仮想基準移動面）に対応する視差値ｄと画像上下方向位置ｙとの関係を基準として定まる所定の抽出範囲内に属するという条件である。この基準路面に対応する視差値ｄと画像上下方向位置ｙとの関係は、図９に示すように、Ｖマップ上において直線（以下「基準直線」という。）で示される。本実施形態では、この直線を中心に画像上下方向へ±δの範囲を、抽出範囲として規定している。この抽出範囲は、状況に応じて刻々と変化する実際の路面のＶマップ要素（ｄ，ｙ，ｆ）の変動範囲を含むように設定される。

具体的には、例えば、自車両前方の路面が相対的に上り傾斜である場合、当該路面が相対的に平坦である場合よりも、撮像画像中に映し出される路面画像部分（移動面画像領域）は画像上側へ広がる。しかも、同じ画像上下方向位置ｙに映し出される路面画像部分を比較すると、相対的に上り傾斜である場合には、相対的に平坦である場合よりも、視差値ｄが大きくなる。この場合のＶマップ要素（ｄ，ｙ，ｆ）は、Ｖマップ上において、図１０に示すように、おおよそ、基準直線に対し、上側に位置し、かつ、傾き（絶対値）が大きい直線を示すものとなる。本実施形態では、前方の路面における相対的な上り傾斜が想定され得る範囲内であれば、その路面のＶマップ要素（ｄ，ｙ，ｆ）が抽出範囲内に収まる。

また、例えば、自車両前方の路面が相対的に下り傾斜である場合、そのＶマップ要素（ｄ，ｙ，ｆ）は、Ｖマップ上において、基準直線に対し、下側に位置し、かつ、傾き（絶対値）が小さい直線を示すものとなる。本実施形態では、前方の路面における相対的な下り傾斜が想定され得る範囲内であれば、その路面のＶマップ要素（ｄ，ｙ，ｆ）が抽出範囲内に収まる。

また、例えば、自車両１００が速度を加速している加速時においては、自車両１００の後方に加重がかかり、自車両の姿勢は、自車両前方が鉛直方向上側を向くような姿勢となる。この場合、自車両１００の速度が一定である場合と比べて、撮像画像中に映し出される路面画像部分（移動面画像領域）は画像下側へシフトする。この場合のＶマップ要素（ｄ，ｙ，ｆ）は、Ｖマップ上において、図１１に示すように、おおよそ、基準直線に対し、下側に位置し、かつ、基準直線とほぼ平行な直線を示すものとなる。本実施形態では、自車両１００の加速が想定され得る範囲内であれば、その路面のＶマップ要素（ｄ，ｙ，ｆ）が抽出範囲内に収まる。

また、例えば、自車両１００が速度を減速している減速時においては、自車両１００の前方に加重がかかり、自車両の姿勢は、自車両前方が鉛直方向下側を向くような姿勢となる。この場合、自車両１００の速度が一定である場合と比べて、撮像画像中に映し出される路面画像部分（移動面画像領域）は画像上側へシフトする。この場合のＶマップ要素（ｄ，ｙ，ｆ）は、Ｖマップ上において、おおよそ、基準直線に対し、上側に位置し、かつ、基準直線とほぼ平行な直線を示すものとなる。本実施形態では、自車両１００の減速が想定され得る範囲内であれば、その路面のＶマップ要素（ｄ，ｙ，ｆ）が抽出範囲内に収まる。

図１２は、Ｖマップ生成部１３３内の処理ブロック図である。
本実施形態のＶマップ生成部１３３は、視差画像生成部１３２から出力される視差画像データを受け取ると、まず、車両動作情報入力部１３３Ａにおいて、自車両１００の加速度情報を含む車両動作情報を取得する。車両動作情報入力部１３３Ａに入力される車両動作情報は、自車両１００に搭載されている機器から取得してもよいし、撮像ユニット１０１に加速度センサ等の車両動作情報取得手段を搭載し、その車両動作情報取得手段から取得してもよい。

このようにして車両動作情報を取得したら、次に、視差画像路面領域設定部１３３Ｂにおいて、視差画像生成部１３２から取得した視差画像データに対し、撮像画像の一部である所定の路面画像候補領域（移動面画像候補領域）を設定する。この設定では、想定される状況の範囲内では路面が映し出されることがない領域を除外した画像領域を路面画像候補領域として設定する。具体的な設定方法としては、予め決められた固定の画像領域を路面画像候補領域として設定してもよいが、本実施形態においては、撮像画像内における路面の消失点を示す消失点情報に基づいて路面画像候補領域を設定する。

このようにして路面画像候補領域を設定したら、次に、処理範囲抽出部１３３Ｃにおいて、視差画像路面領域設定部１３３Ｂが設定した路面画像候補領域内の視差画像データの中から、上述した抽出条件を満たす視差画素データ（視差画像情報構成要素）を抽出する処理を行う。すなわち、Ｖマップ上において基準直線を中心にとした画像上下方向へ±δの範囲に属する視差値ｄと画像上下方向位置ｙとをもつ視差画素データを抽出する。このようにして抽出条件を満たす視差画素データを抽出した後、Ｖマップ情報生成部１３３Ｄにおいて、処理範囲抽出部１３３Ｃが抽出した視差画素データ（ｘ，ｙ，ｄ）をＶマップ要素（ｄ，ｙ，ｆ）に変換して、Ｖマップ情報を生成する。

以上の説明では、Ｖマップ情報生成部１３３ＤでＶマップ情報を生成する前段階の処理範囲抽出部１３３Ｃにおいて、路面画像部分に対応しない視差画像データ部分と区別して路面画像部分に対応する視差画像データ部分を抽出する例について説明したが、次のように、Ｖマップ情報を生成した後の段階で、同様の抽出処理を行ってもよい。

図１３は、Ｖマップ情報を生成した後の段階で抽出処理を行う例におけるＶマップ生成部１３３内の処理ブロック図である。
本例のＶマップ生成部１３３では、視差画像路面領域設定部１３３Ｂにおいて路面画像候補領域を設定した後、まず、Ｖマップ情報生成部１３３Ｅにおいて、視差画像路面領域設定部１３３Ｂが設定した路面画像候補領域内の視差画素データ（ｘ，ｙ，ｄ）をＶマップ要素（ｄ，ｙ，ｆ）に変換して、Ｖマップ情報を生成する。このようにしてＶマップ情報を生成した後、処理範囲抽出部１３３Ｆにおいて、Ｖマップ情報生成部１３３Ｅが生成したＶマップ情報の中から、上述した抽出条件を満たすＶマップ要素を抽出する処理を行う。すなわち、Ｖマップ上において基準直線を中心にとした画像上下方向へ±δの範囲に属する視差値ｄと画像上下方向位置ｙとをもつＶマップ要素を抽出する。そして、抽出したＶマップ要素で構成されるＶマップ情報を出力する。

〔Ｖマップ情報生成処理例１〕
図１４は、本実施形態におけるＶマップ情報生成処理の一例（以下「Ｖマップ情報生成処理例１」という。）の流れを示すフローチャートである。
本Ｖマップ情報生成処理例１においては、車両動作情報（自車両前後方向の加速度情報）を用いずにＶマップ情報を作成する例である。本Ｖマップ情報生成処理例１においては、自車両１００の加速度情報を用いないため、基準路面に対応する基準直線を中心にとした抽出範囲すなわち値δの大きさは、比較的大きなものを用いる。

本Ｖマップ情報生成処理例１においては、まず、路面の消失点情報に基づいて路面画像候補領域を設定する（Ｓ１Ａ）。路面の消失点情報を求める方法には特に制限はなく、公知の方法を広く利用することができる。本Ｖマップ情報生成処理例１では、この路面の消失点情報（Ｖｘ，Ｖｙ）が示す消失点の画像上下方向位置Ｖｙから所定のｏｆｆｓｅｔ値を引いた画像上下方向位置（Ｖｙ−ｏｆｆｓｅｔ値）から、当該視差画像データの画像上下方向位置ｙの最大値ｙｓｉｚｅ（視差画像の最下部）までの範囲を、路面画像候補領域に設定する。また、画像上下方向位置が消失点に近い画像部分においては、その画像左右方向両端部分の画像領域に路面が映し出されることはあまり無い。そこで、この画像領域も除外して路面画像候補領域に設定してもよい。この場合、視差画像上に設定される路面画像候補領域は、図１５に示すＷＡＢＣＤの各点で囲まれた領域となる。

このようにして路面画像候補領域を設定した後、本Ｖマップ情報生成処理例１では、設定された路面画像候補領域内の視差画像データの中から、上述した抽出条件を満たす視差画素データ（視差画像情報構成要素）を抽出する処理を行う（Ｓ２Ａ）。この処理では、予め設定されている固定の基準直線の情報と、その基準直線を基準とした抽出範囲を規定するための±δの情報とを用いて、当該抽出範囲に属する視差画素データを抽出する。その後、抽出した視差画素データ（ｘ，ｙ，ｄ）をＶマップ要素（ｄ，ｙ，ｆ）に変換して、Ｖマップ情報を生成する（Ｓ３Ａ）。

〔Ｖマップ情報生成処理例２〕
図１６は、本実施形態におけるＶマップ情報生成処理の他の例（以下「Ｖマップ情報生成処理例２」という。）の流れを示すフローチャートである。
本Ｖマップ情報生成処理例２においては、車両動作情報（自車両前後方向の加速度情報）を用いてＶマップ情報を作成する例である。まず、車両動作情報を入力したら（Ｓ１Ｂ）、この車両動作情報に含まれる自車両前後方向の加速度情報に基づき、消失点情報と基準直線の情報を補正する（Ｓ２Ｂ）。

消失点情報の補正は、次のようにして行う。例えば自車両１００の加速時には、自車両後方部分が加重され、自車両１００の姿勢は、自車両前方が鉛直方向上側を向くような姿勢となる。この姿勢変化により、路面の消失点は、画像下側へ変位することになるので、これ合わせて、路面の消失点情報の画像上下方向位置Ｖｙを加速度情報に基づいて補正する。例えば自車両１００の減速時にも、同様に、その加速度情報に基づいて路面の消失点情報の画像上下方向位置Ｖｙを補正する。このような補正を行うことで、後述する消失点情報を用いた路面画像候補領域の設定処理において、路面を映し出している画像部分を適切に路面画像候補領域として設定することができる。

また、基準直線情報の補正は、次のようにして行う。基準直線情報は、基準直線の傾きαと、切片（画像左端と基準直線とが交わる点の画像上下方向位置）βとを含む情報である。例えば自車両１００の加速時には、自車両後方部分が加重され、自車両１００の姿勢は、自車両前方が鉛直方向上側を向くような姿勢となる。この姿勢変化により、路面を映し出す路面画像部分は、全体的に画像下側へ変位することになる。そこで、これに合わせて、抽出範囲を画像下側へシフトさせるために、その抽出範囲の基準となる基準直線の切片βを加速度情報に基づいて補正する。例えば自車両１００の減速時にも、同様に、基準直線の切片βを加速度情報に基づいて補正する。このような補正を行うことで、抽出範囲内の視差画素データを抽出する処理において、路面を映し出している画像部分を適切に路面画像候補領域として設定することができる。このように加速度情報を用いて基準直線の情報を補正するので、抽出範囲を規定するδ値は、自車両の加速や減速を考慮しないでもよくなる。そのため、本Ｖマップ情報生成処理例２の抽出範囲は、固定された基準直線を基準に抽出範囲を設定する上述のＶマップ情報生成処理例１よりも、狭くすることができ、処理時間の短縮や路面検出精度の向上を図ることができる。

以上説明した２つのＶマップ情報生成処理例１，２は、いずれも、Ｖマップ情報を生成する前段階で、路面画像部分に対応する視差画像データ部分を抽出する処理であるが、Ｖマップ情報を生成した後の段階で、路面画像部分に対応するＶマップ要素を抽出する処理でも同様である。

次に、路面形状検出部１３４で行う処理について説明する。
路面形状検出部１３４では、Ｖマップ生成部１３３においてＶマップ情報が生成されたら、路面に対応する視差値及びｙ方向位置の組（Ｖマップ要素）が示す特徴、すなわち、撮像画像の上方に向かうほど視差値が低くなるという特徴を示すＶマップ上の高頻度の点を直線近似する処理を行う。なお、路面が平坦な場合には一本の直線で十分な精度で近似可能であるが、車両進行方向において路面の傾斜状況が変化するような路面については、一本の直線で十分な精度の近似は難しい。したがって、本実施形態においては、Ｖマップの情報（視差ヒストグラム情報）を視差値に応じて２以上の視差値区画に区分けし、各視差値区画についてそれぞれ個別に直線近似を行う。

図１７は、路面形状検出部１３４内の処理ブロック図である。
本実施形態の路面形状検出部１３４は、Ｖマップ生成部１３３から出力されるＶマップの情報（視差ヒストグラム情報）を受け取ると、まず、路面候補点検出部１３４Ａにおいて、路面に対応するＶマップ要素が示す特徴、すなわち、撮像画像の上方に向かうほど視差値が低くなるという特徴を示すＶマップ上の高頻度の点を、路面候補点（選別処理対象）として検出する。

このとき、本実施形態では、路面候補点検出部１３４Ａでの路面候補点検出処理は、Ｖマップの情報（視差ヒストグラム情報）を視差値に応じて２以上の視差値区画に区分けし、各視差値区画にそれぞれ対応した決定アルゴリズムに従って各視差値区画における路面候補点（選別処理対象）を決定する。具体的には、例えば、所定の基準距離に対応する視差値を境に、ＶマップをＸ軸方向（横軸方向）に２つの領域、すなわち視差値の大きい領域と小さい領域に区分けし、その領域ごとに異なる路面候補点検出アルゴリズムを用いて路面候補点を検出する。なお、視差値の大きい近距離領域については、後述する第１路面候補点検出処理を行い、視差の小さい遠距離領域については、後述する第２路面候補点検出処理を行う。

ここで、前記のように視差の大きい近距離領域と視差の小さい遠距離領域とで、路面候補点検出処理の方法を変える理由について説明する。
図７に示したように、自車両１００の前方を撮像した撮像画像では、近距離の路面部分についてはその路面画像領域の占有面積が大きく、路面に対応する画素数が多いので、Ｖマップ上の頻度が大きい。これに対し、遠距離の路面部分については、その路面画像領域の撮像画像内における占有面積が小さく、路面に対応する画素数が少ないので、Ｖマップ上の頻度が小さい。すなわち、Ｖマップにおいて、路面に対応する点の頻度値は、遠距離では小さく、近距離では大きい。そのため、例えば同じ頻度閾値を用いるなど、両領域について同じ基準で路面候補点を検出しようとすると、近距離領域については路面候補点を適切に検出できるが、遠距離領域については路面候補点が適切に検出できないおそれがあり、遠距離領域の路面検出精度が劣化する。逆に、遠距離領域の路面候補点を十分に検出できるような基準で近距離領域の検出を行うと、近距離領域のノイズ成分が多く検出され、近距離領域の路面検出精度が劣化する。そこで、本実施形態では、Ｖマップを近距離領域と遠距離領域とに区分し、各領域についてそれぞれ適した基準や検出方法を用いて路面候補点を検出することにより、両領域の路面検出精度を高く維持している。

〔路面候補点検出処理例１〕
次に、本実施形態における路面候補点検出処理の検出方法の一例（以下「路面候補点検出処理例１」という。）について説明する。
図１８は、本路面候補点検出処理例１における第１路面候補点検出処理の検出方法を説明するための説明図である。
第１路面候補点検出処理では、Ｖマップ上の各視差値ｄについて、（ｄ，ｙ）の座標を中心とした５×７の座標ブロックにおけるｙの値を所定の検索範囲内で変えながら、座標ブロックの頻度値の総和を求める。その後、例えば、同じ視差値ｄについて求めた各座標ブロックの頻度値総和の中の最大値に所定の係数（例えば１／２）を乗じて得られる値を、当該視差値ｄについての頻度閾値として設定する。次に、各視差値ｄについてそれぞれ設定した頻度閾値を用いて、当該視差値ｄについての座標ブロックの頻度値総和が頻度閾値よりも大きいものの中で、最もｙの値が大きい座標ブロックを特定し、その座標ブロックの中心座標を、当該視差値ｄについての路面候補点として決定する。

ここで、座標ブロックのｙの値を変化させる検索範囲は、本実施形態では、過去の撮像画像に基づいて路面形状検出部１３４が検出した近似直線によって決められる。より詳しくは、前フレームの撮像画像について求めた近似直線上の座標（ｄ，ｙｐ）を中心として「ｙｐ−δ」から「ｙｐ＋δ」の範囲を探索範囲とする。これにより、探索すべきｙの値の範囲が限定され、高速な路面候補点検出処理を実現できる。なお、探索範囲を決定するためのパラメータδは、自車両１００の姿勢が振動や加減速等によって変動したり、路面の傾斜状況が上り傾斜に変化したり下り傾斜に変化したりすることが原因で、前フレームで求めた路面を特徴づける近似直線と今回の近似直線とが僅かながらずれることがあるので、これらを考慮して適切な範囲に設定する。ただし、パラメータδを大きくしすぎると、探索範囲が広がりすぎて、路面以外の点が路面候補点として検出されるおそれが大きくなる点に注意を要する。なお、前フレームの近似直線がないときは、初期値として設定された近似直線を利用すればよい。

図１９は、本路面候補点検出処理例１における第２路面候補点検出処理の検出方法を説明するための説明図である。
第２路面候補点検出処理では、Ｖマップ上の各視差値ｄについて、（ｄ，ｙ）の座標におけるｙの値を所定の検索範囲内で変えながら、その頻度値が所定の第一閾値よりも大きい場合、または、その頻度値が０より大きく第一閾値以下であって、かつ、当該座標を囲む８つの隣接点の頻度値の総和が第二閾値より大きい場合を探索する。そして、各視差値ｄについて、それぞれ探索して得られた座標点の中で、最もｙの値が大きい座標点を特定し、これを当該視差値ｄについての路面候補点として決定する。このときの探索範囲については、第１路面候補点検出処理の場合と同じである。

図２０は、本路面候補点検出処理例１における路面候補点検出部１３４Ａで行う路面候補点検出処理の流れを示すフローチャートである。
入力されるＶマップの情報について、例えば視差値ｄの大きい順に路面候補点の検出を行い、各視差値ｄについての路面候補点（ｙ，ｄ）を検出する。視差値ｄが所定の基準距離に対応する基準視差値よりも大きい場合（Ｓ１のＹｅｓ）、上述した第１路面候補点検出処理を行う。すなわち、当該視差値ｄに応じたｙの探索範囲（「ｙ−δ」〜「ｙ＋δ」）を設定し（Ｓ２）、各（ｄ，ｙ）の座標とその周囲５×７の座標からなる組（座標ブロック）の頻度値の総和を算出する（Ｓ３）。そして、その中の最大値の１／２を閾値として設定し（Ｓ４）、その閾値より大きい頻度値の総和をもつ組（座標ブロック）のうち、最大のｙを持つ組（座標ブロック）の中心座標を、当該視差値ｄの路面候補点として検出する（Ｓ５）。

そして、視差値ｄが基準視差値以下になるまで第１路面候補点検出処理を繰り返し行い（Ｓ６）、視差値ｄが基準視差値以下になったら、今度は、上述した第２路面候補点検出処理で路面候補点検出を行う。すなわち、第２路面候補点検出処理でも当該視差値ｄに応じたｙの探索範囲（「ｙ−δ」〜「ｙ＋δ」）を設定し（Ｓ７）、この探索範囲内における各（ｄ、ｙ）の座標の頻度値で第一閾値より大きいものがあれば（Ｓ８のＹｅｓ）、これを路面候補点の候補として保持しておく（Ｓ９）。このとき、第一閾値より大きいものがなければ（Ｓ８のＮｏ）、そのまま次の処理ステップＳ１０に進む。また、この探索範囲内における各（ｄ、ｙ）の座標についてこれを囲む８つの点の頻度値の総和が第二閾値よりも大きいものがあれば（Ｓ１０のＹｅｓ）、これも路面候補点の候補として同様に保持しておく（Ｓ１１）。このとき、第二閾値より大きいものがなければ（Ｓ１０のＮｏ）、そのまま次の処理ステップＳ１２に進む。そして、保持している路面候補点の候補の中で最大のｙの値を持つ座標点（ｄ，ｙ）を、当該視差値ｄの路面候補点として検出する（Ｓ１２）。この第２路面候補点検出処理を、視差値ｄがなくなるまで繰り返し行う（Ｓ１３）。

〔路面候補点検出処理例２〕
次に、本実施形態における路面候補点検出処理の検出方法の他の例（以下「路面候補点検出処理例２」という。）について説明する。
図２１は、本路面候補点検出処理例２における第１路面候補点検出処理及び第２路面候補点検出処理の検出方法を説明するための説明図である。
第１路面候補点検出処理では、各視差値ｄについて、所定の検索範囲内でｙ方向位置を変えながら、Ｖマップ情報に含まれる各Ｖマップ要素（ｄ，ｙ，ｆ）の頻度値ｆが第１頻度閾値よりも大きく、かつ、最も頻度値ｆが大きいＶマップ要素を探索し、そのＶマップ要素を当該視差値ｄについての路面候補点として決定する。このときの第１頻度閾値は、低めに設定し、路面に対応するＶマップ要素が抜け落ちないようにするのが好ましい。本実施形態においては、上述したとおり、Ｖマップ生成部１３３において路面に対応するＶマップ要素を抽出していることから、第１頻度閾値を低めに設定しても、路面分に対応しないＶマップ要素が路面候補点として決定される事態は軽減されるからである。

ここで、各視差値ｄについてｙ値を変化させる検索範囲は、上述したＶマップ生成部１３３における抽出範囲、すなわち、基準直線の画像上下方向位置ｙｐを中心にとした画像上下方向へ±δの範囲である。具体的には、「ｙｐ−δ」から「ｙｐ＋δ」の範囲を探索範囲とする。これにより、探索すべきｙ値の範囲が限定され、高速な路面候補点検出処理を実現できる。

一方、第２路面候補点検出処理は、第１頻度閾値の変わりにこれとは別の第２頻度閾値を用いる点を除いて、前記第１路面候補点検出処理と同じである。すなわち、第２路面候補点検出処理では、各視差値ｄについて、所定の検索範囲内でｙ方向位置を変えながら、Ｖマップ情報に含まれる各Ｖマップ要素（ｄ，ｙ，ｆ）の頻度値ｆが第２頻度閾値よりも大きく、かつ、最も頻度値ｆが大きいＶマップ要素を探索し、そのＶマップ要素を当該視差値ｄについての路面候補点として決定する。

図２２は、路面候補点検出部１３４Ａで行う路面候補点検出処理の流れを示すフローチャートである。
入力されるＶマップの情報について、例えば視差値ｄの大きい順に路面候補点の検出を行い、各視差値ｄについての路面候補点（ｙ，ｄ）を検出する。視差値ｄが所定の基準距離に対応する基準視差値よりも大きい場合（Ｓ１のＹｅｓ）、上述した第１路面候補点検出処理を行う。すなわち、当該視差値ｄに応じたｙの探索範囲（「ｙｐ−δ」〜「ｙｐ＋δ」）を設定し（Ｓ２）、この探索範囲内における頻度値ｆが第１頻度閾値よりも大きいＶマップ要素（ｄ，ｙ，ｆ）を抽出する（Ｓ３）。そして、抽出したＶマップ要素のうち、最大の頻度値ｆを持つＶマップ要素（ｄ，ｙ，ｆ）を、当該視差値ｄの路面候補点として検出する（Ｓ４）。

そして、視差値ｄが基準視差値以下になるまで第１路面候補点検出処理を繰り返し行い（Ｓ５）、視差値ｄが基準視差値以下になったら（Ｓ１のＮｏ）、今度は、上述した第２路面候補点検出処理で路面候補点検出を行う。すなわち、第２路面候補点検出処理でも当該視差値ｄに応じたｙの探索範囲（「ｙｐ−δ」〜「ｙｐ＋δ」）を設定し（Ｓ６）、この探索範囲内における頻度値ｆが第１頻度閾値よりも大きいＶマップ要素（ｄ，ｙ，ｆ）を抽出する（Ｓ７）。そして、抽出したＶマップ要素のうち、最大の頻度値ｆを持つＶマップ要素（ｄ，ｙ，ｆ）を、当該視差値ｄの路面候補点として検出する（Ｓ８）。この第２路面候補点検出処理を、視差値ｄがなくなるまで繰り返し行う（Ｓ９）。

このような路面候補点検出処理を行って路面候補点検出部１３４Ａにより各視差値ｄについての路面候補点（選別処理対象あるいは抽出処理対象）を検出したら、次に、区分直線近似部１３４Ｂにより、これらの路面候補点についてＶマップ上の近似直線を求める直線近似処理を行う。このとき、路面が平坦な場合であれば、Ｖマップの視差値範囲全域にわたって一本の直線で十分な精度の近似が可能であるが、車両進行方向において路面の傾斜状況が変化している場合には、一本の直線で十分な精度の近似が難しい。したがって、本実施形態においては、Ｖマップの情報（視差ヒストグラム情報）を視差値に応じて２以上の視差値区画に区分けし、各視差値区画についてそれぞれ個別に直線近似処理を行う。

直線近似処理は、最小二乗近似を利用することができるが、より正確に行うにはＲＭＡ（Reduced Major Axis）などの他の近似を用いるのがよい。その理由は、最小二乗近似は、Ｘ軸のデータに誤差がなく、Ｙ軸のデータに誤差が存在するという前提があるときに、正確に計算されるものである。しかしながら、Ｖマップ情報から検出される路面候補点の性質を考えると、Ｖマップの情報に含まれる各Ｖマップ要素のデータは、Ｙ軸のデータｙについては画像上の正確な位置を示していると言えるが、Ｘ軸のデータである視差値ｄについては、誤差を含んでいるものである。また、路面候補点検出処理では、Ｙ軸方向に沿って路面候補点の探索を行い、その最大のｙ値をもつＶマップ要素を路面候補点として検出するものであるため、路面候補点はＹ軸方向の誤差も含んでいる。したがって、路面候補点となっているＶマップ要素は、Ｘ軸方向にもＹ軸方向にも誤差を含んでいることになり、最小二乗近似の前提が崩れている。したがって、二変数（ｄとｙ）に互換性のある回帰直線（ＲＭＡ）が有効である。

図２３は、Ｖマップを３つの区間（視差値区画）に区分けした例を示す説明図である。
本実施形態においては、Ｖマップの情報（視差ヒストグラム情報）を視差値に応じて３つの視差値区画に区分けする。具体的には、視差値が大きい順に、第一区間、第二区間、第三区間に区分けする。このとき、距離を基準にして区間を等しく区分けする場合、Ｖマップ上では遠距離の区間ほど区間（視差値範囲）が狭くなり、直線近似の精度が悪化する。また、視差値を基準にして区間を等しく区分けする場合、今度は、Ｖマップ上において近距離の区間の幅が狭くなる。この場合、第一区間が非常に狭いものとなって、その第一区間はほとんど意味を成さなくなる。

そこで、本実施形態においては、第一区間については予め決められた固定距離に対応する幅をもつように設定とし、第二区間及び第三区間については、ひとつ前の区間の幅に対応する距離の定数倍（たとえば２倍）の距離に対応する幅をもつように設定するという区分けルールを採用している。このような区分けルールにより、どの区間についても、適度な幅（視差値範囲）を持たせることができる。すなわち、このような区分けルールによって各区間にそれぞれ対応する距離範囲が異なることになるが、各区間の直線近似処理に使用する路面候補点の数が各区間で均一化でき、どの区間でも適切な直線近似処理を行うことができるようになる。

なお、図２３に示した例では、第一区間及び第二区間が重複（オーバーラップ）することなく連続し、第二区間及び第三区間も重複することなく連続するように各区間を区分けしているが、各区間が重複するように区分けしてもよい。例えば、図２４に示すように、第二区間の始点Ｓ２Ｌを第一区間の始点Ｓ１と終点Ｅ１との中点とし（第二区間の終点Ｅ２は図２３の例と同じ。）、第三区間の始点Ｓ３Ｌを第一区間の終点Ｅ１と第二区間の終点Ｅ２との中点としてもよい（第三区間の終点Ｅ３は図２３の例と同じ。）。また、例えば、図２５に示すように、第二区間の始点Ｓ２Ｌを第一区間の３：１内分点とし（第二区間の終点Ｅ２は図２３の例と同じ。）、第三区間の始点Ｓ３Ｌを第一区間の終点Ｅ１と第二区間の終点Ｅ２との間の３：１内分点としてもよい（第三区間の終点Ｅ３は図２３の例と同じ。）。

区間に応じて距離範囲を変更したり、区間をオーバーラップさせたりすることで、各区間の直線近似処理に使用する候補点数を均一化して、各区間の直線近似処理の精度を高めることができる。また、区間を重複（オーバーラップ）させることで、各区間における直線近似処理の相関を高めることもできる。

また、上述した区分けルールに従って視差値が大きい順に区間を設定していくと、図２６（ａ）に示すように、例えば、最終の第四区間が本来の区間幅（視差値範囲）より狭い幅しか設定できない場合がある。このような場合には、図２６（ｂ）に示すように、最終の第四区間をひとつ前の第三区間と結合して、ひとつの区間（第三区間）として設定してもよい。

〔区分直線近似処理例１〕
図２７は、区分直線近似部１３４Ｂで行う区分直線近似処理の一例（以下「区分直線近似処理例１」という。）の流れを示すフローチャートである。
本区分直線近似処理例１において、区分直線近似部１３４Ｂは、路面候補点検出部１３４Ａから出力される各視差値ｄの路面候補点のデータを受け取ったら、まず、最近距離の第一区間（最も視差値が大きい区間）を設定する（Ｓ２１）。そして、この第一区間内の各視差値ｄに対応した路面候補点を抽出し（Ｓ２２）、抽出した路面候補点について直線近似処理を行う（Ｓ２３）。その後、残りの区間がある場合には（Ｓ２４のＹｅｓ）、前区間の幅に対応する距離を定数倍した距離に対応する幅をもった次の区間（第二区間）を設定する（Ｓ２５）。そして、この設定後に残っている区間が更に次に設定される区間（第三区間）よりも小さいか否かを判断する（Ｓ２６）。この判断において小さくないと判断されたなら、第二区間内の各視差値ｄに対応した路面候補点を抽出し（Ｓ２２）、抽出した路面候補点について直線近似処理を行う（Ｓ２３）。

このようにして順次区間を設定し、その区間の直線近似処理を行うという処理を繰り返していくと、いずれ、前記処理ステップＳ２６において、設定後に残っている区間が更に次に設定される区間よりも小さいと判断される（Ｓ２６のＹｅｓ）。この場合、設定された区間を延長して当該残っている区間を含めるようにし、これを最後の区間として設定する（Ｓ２７）。そして、この最後の区間内の各視差値ｄに対応した路面候補点を抽出し（Ｓ２２）、抽出した路面候補点について直線近似処理を行う（Ｓ２３）。これにより、前記処理ステップＳ２４において残り区間は無いと判断されるので（Ｓ２４のＮｏ）、区分直線近似部１３４Ｂは区分直線近似処理を終了する。

〔区分直線近似処理例２〕
図２８は、区分直線近似部１３４Ｂで行う区分直線近似処理の他の例（以下「区分直線近似処理例２」という。）の流れを示すフローチャートである。
本区分直線近似処理例２において、区分直線近似部１３４Ｂは、路面候補点検出部１３４Ａから出力される各視差値ｄの路面候補点のデータを受け取ったら、まず、最近距離の第一区間（最も視差値が大きい区間）を設定する（Ｓ１１）。そして、この第一区間内の各視差値ｄに対応した路面候補点を抽出する（Ｓ１２）。このとき、抽出された路面候補点の数が所定の値以下である場合（Ｓ１３のＮｏ）、当該第一区間を所定の視差値分だけ延長する（Ｓ１４）。具体的には、図２９（ａ）に示す当初の第一区間と第二区間とを結合して、図２９（ｂ）に示すように、新たにひとつの第一区間（延長された第一区間）とする。このとき、当初の第三区間は新たな第二区間となる。そして、延長された第一区間内の各視差値ｄに対応した路面候補点を再び抽出し（Ｓ１２）、抽出された路面候補点の数が所定の値よりも多くなった場合には（Ｓ１３のＹｅｓ）、抽出した路面候補点について直線近似処理を行う（Ｓ１５）。

なお、第一区間ではない区間、例えば第二区間を延長する場合には、図３０（ａ）に示す当初の第二区間と第三区間とを結合して、図３０（ｂ）に示すように、新たにひとつの第二区間（延長された第二区間）とする。

このようにして直線近似処理を行ったら、次に、その直線近似処理により得られる近似直線の信頼性判定を行う。この信頼性判定では、最初に、得られた近似直線の傾きと切片が所定の範囲内にあるかどうかを判定する（Ｓ１７）。この判定で所定の範囲内ではない場合には（Ｓ１７のＮｏ）、当該第一区間を所定の視差値分だけ延長し（Ｓ１４）、延長された第一区間について再び直線近似処理を行う（Ｓ１２〜１５）。そして、所定の範囲内ではあると判定されたら（Ｓ１７のＹｅｓ）、その直線近似処理を行った区間が第一区間かどうかを判断する（Ｓ１８）。

このとき、第一区間であると判断された場合には（Ｓ１８のＹｅｓ）、その近似直線の相関値が所定の値よりも大きいかどうかを判定する（Ｓ１９）。この判定において、近似直線の相関値が所定の値よりも大きければ、その近似直線を当該第一区間の近似直線として決定する。近似直線の相関値が所定の値以下であれば、当該第一区間を所定の視差値分だけ延長し（Ｓ１４）、延長された第一区間について再び直線近似処理を行い（Ｓ１２〜１５）、再び信頼性判定を行う（Ｓ１７〜Ｓ１９）。なお、第一区間でない区間については（Ｓ１８のＮｏ）、近似直線の相関値に関する判定処理（Ｓ１９）は実施しない。

その後、残りの区間があるかどうかを確認し（Ｓ２０）、もし残りの区間が無ければ、区分直線近似部１３４Ｂは区分直線近似処理を終了する。一方、残りの区間がある場合には（Ｓ２０のＹｅｓ）、前区間の幅に対応する距離を定数倍した距離に対応する幅をもった次の区間（第二区間）を設定する（Ｓ２１）。そして、この設定後に残っている区間が更に次に設定される区間（第三区間）よりも小さいか否かを判断する（Ｓ２２）。この判断において小さくないと判断されたなら、当該第二区間内の各視差値ｄに対応した路面候補点を抽出して直線近似処理を行うとともに（Ｓ１２〜Ｓ１５）、信頼性判定処理を行う（Ｓ１７〜Ｓ１９）。

このようにして順次区間を設定し、その区間の直線近似処理及び信頼性判定処理を行うという処理を繰り返していくと、いずれ、前記処理ステップＳ２２において、設定後に残っている区間が更に次に設定される区間よりも小さいと判断される（Ｓ２２のＹｅｓ）.
この場合、設定された区間を延長して当該残っている区間を含めるようにし、これを最後の区間として設定する（Ｓ２３）。この場合、この最後の区間内の各視差値ｄに対応した路面候補点を抽出し（Ｓ１２）、抽出した路面候補点について直線近似処理を行ったら（Ｓ１５）、処理ステップＳ１６において最後の区間であると判断されるので（Ｓ１６のＹｅｓ）、区分直線近似部１３４Ｂは区分直線近似処理を終了する。

このようにして区分直線近似部１３４Ｂが各区間の直線近似処理を実行して得た各区間の近似直線は、３１（ａ）に示すように、通常、区間境界で連続したものにはならない。そのため、本実施形態では、各区間の近似直線が区間境界において連続になるように、区分直線近似部１３４Ｂから出力される近似直線を図３１（ｂ）に示すように修正する。具体的には、例えば、第二区間以降の区間について、各区間における近似直線の始点側（視差値の大きい側）を、前区間の近似直線の終端位置に移動させるように修正する。また、例えば、区間の境界上における両区間の近似直線の端点間の中点を通るように両近似直線を修正する。

以上のようにして、路面形状検出部１３４においてＶマップ上の近似直線の情報が得られたら、次に、路面高さテーブル算出部１３５において、路面高さ（自車両の真下の路面部分に対する相対的な高さ）を算出してテーブル化する路面高さテーブル算出処理を行う。路面形状検出部１３４により生成されたＶマップ上の近似直線の情報から、撮像画像上の各行領域（画像上下方向の各位置）に映し出されている各路面部分までの距離を算出できる。一方、自車両の真下に位置する路面部分をその面に平行となるように自車両進行方向前方へ延長した仮想平面の自車両進行方向における各面部分が、撮像画像中のどの各行領域に映し出されるかは予め決まっており、この仮想平面（基準路面）はＶマップ上で直線（基準直線）により表される。路面形状検出部１３４から出力される近似直線を基準直線と比較することで、自車両前方の各路面部分の高さを得ることができる。簡易的には、路面形状検出部１３４から出力される近似直線上のＹ軸位置から、これに対応する視差値から求められる距離だけ自車両前方に存在する路面部分の高さを算出できる。路面高さテーブル算出部１３５では、近似直線から得られる各路面部分の高さを、必要な視差範囲についてテーブル化する。

なお、ある視差値ｄにおいてＹ軸位置がｙ’である地点に対応する撮像画像部分に映し出されている物体の路面からの高さは、当該視差値ｄにおける近似直線上のＹ軸位置をｙ０としたとき、（ｙ’−ｙ０）から算出することができる。一般に、Ｖマップ上における座標（ｄ，ｙ’）に対応する物体についての路面からの高さＨは、下記の式（２）より算出することができる。ただし、下記の式（２）において、「ｚ」は、視差値ｄから計算される距離（ｚ＝ＢＦ／（ｄ−ｏｆｆｓｅｔ））であり、「ｆ」はカメラの焦点距離を（ｙ’−ｙ０）の単位と同じ単位に変換した値である。ここで、「ＢＦ」は、ステレオカメラの基線長と焦点距離を乗じた値であり、「ｏｆｆｓｅｔ」は無限遠の物体を撮影したときの視差値である。
Ｈ ＝ ｚ×（ｙ’−ｙ０）／ｆ ・・・（２）

次に、Ｕマップ生成部１３６について説明する。
Ｕマップ生成部１３６では、Ｕマップを生成するＵマップ生成処理を実行する。視差画像データに含まれる各視差画素データにおけるｘ方向位置とｙ方向位置と視差値ｄとの組（ｘ，ｙ，ｄ）を、Ｘ軸にｘ、Ｙ軸にｄ、Ｚ軸に頻度を設定して、Ｘ−Ｙの２次元ヒストグラム情報を作成する。これをＵマップと呼ぶ。本実施形態のＵマップ生成部１３６では、路面高さテーブル算出部１３５によってテーブル化された各路面部分の高さに基づいて、路面からの高さＨが所定の高さ範囲（たとえば２０ｃｍから３ｍ）にある視差画像の点（ｘ，ｙ，ｄ）についてだけＵマップを作成する。この場合、路面から当該所定の高さ範囲に存在する物体を適切に抽出することができる。なお、例えば、撮像画像の下側５／６の画像領域に対応する視差画像の点（ｘ，ｙ，ｄ）についてだけＵマップを作成するようにしてもよい。この場合、撮像画像の上側１／６は、ほとんどの場合、空が映し出されていて認識対象とする必要のある物体が映し出されていないためである。

図３２は、撮像部１１０Ａで撮像される基準画像の一例を模式的に表した画像例である。
図３３は、図３２の画像例に対応するＵマップである。
図３２に示す画像例では、路面の左右両側にガードレールが存在し、他車両としては、先行車両と対向車両がそれぞれ１台ずつ存在する。
このとき、Ｕマップにおいては、図３３に示すように、左右のガードレールに対応する高頻度の点は、左右両端側から中央に向かって上方へ延びるような略直線状に分布する。
一方、他車両に対応する高頻度の点は、左右のガードレールの間で、略Ｘ軸方向に平行に延びる線分の状態で分布する。
なお、先行車両の背面部分又は対向車両の前面部分以外に、これらの車両の側面部分が映し出されているような状況にあっては、同じ他車両を映し出している画像領域内において視差が生じる。
このような場合、図３３に示すように、他車両に対応する高頻度の点は、略Ｘ軸方向に平行に延びる線分と略Ｘ軸方向に対して傾斜した線分とが連結した状態の分布を示す。

次に、孤立領域検出部１３７について説明する。
図３４は、孤立領域検出部１３７で行う処理の流れを示すフローチャートである。
孤立領域検出部１３７では、Ｕマップ生成部１３６で生成されたＵマップの情報から、まず、Ｕマップの平滑化処理を行った後（Ｓ３１）、二値化処理を行う（Ｓ３２）。その後、値のある座標のラベリングを行い（Ｓ３３）、孤立領域を検出する。以下、それぞれの処理について説明する。

視差値には計算誤差等もあって分散があり、視差値がすべての画素について計算されているわけではないので、実際のＵマップは、図３３に示した模式図とは異なり、ノイズを含んでいる。そのため、ノイズを除去するためと、識別対象物（オブジェクト）を識別離しやすくするため、Ｕマップを平滑化する処理を行う。この平滑化処理では、画像の平滑化と同様に、平滑化フィルタ（たとえば３×３画素の単純平均）を頻度値に対して適用する。これにより、ノイズと考えられるようなＵマップ上の地点の頻度が減少し、識別対象物（オブジェクト）の地点では頻度が周囲よりも高いグループとなる。その結果、後段の処理において孤立領域の検出を容易になる。

次に、このように平滑化されたＵマップの情報から、Ｕマップ上において頻度が周囲より高い孤立領域を検出する。この検出では、Ｕマップをまず二値化する処理を行う。この二値化処理には、例えば、特許第４０１８３１０号公報などに開示されている適応二値化方法を用いることができる。各識別対象物（オブジェクト）は、その高さ、形状、背景とのコントラスト差などに違いがあるので、各識別対象物にそれぞれ対応する孤立領域は、頻度値が大きいものもあれば小さいものもある。そのため、単一の閾値による二値化では適切に検出できない孤立領域が発生するおそれがある。これを防ぐためにも、上述した適応二値化方法を用いるのが好ましい。なお、二値化は、頻度の高い領域を「１」（黒）とし、頻度の低い領域を「０」（白）とする。

このように二値化処理で「１」の値（黒）をもつ地点（頻度値が二値化閾値より高い座標）をその連結性に基づいてラベリングし、同一ラベルが付いた領域を１つの孤立領域として検出する。ラベリングの方法は、図３５に示すように、注目座標Ａについてラベリングする際、この注目座標Ａに対して図中符号ａ_１、ａ_２、ａ_３、ａ_４の位置の座標に既にラベル付けされた座標が存在している場合には、その画素ａ_１，ａ_２，ａ_３，ａ_４のラベルと同一のラベルを割り当てる。もし、図３６に示すように、上述したａ_１、ａ_２、ａ_３、ａ_４の位置の座標に異なるラベルが付されている場合には、注目座標Ａとａ_１、ａ_２、ａ_３、ａ_４のすべての座標について、それらの中の最も小さい値のラベルを割り当る。

このようにして得られる各孤立領域について、その幅（Ｕマップ上のＸ軸方向長さ）と、その孤立領域内の最小視差値ｄから計算される当該孤立領域に映し出されている識別対象物（オブジェクト）と自車両との距離ｚとを用い、下記の式（３）より、当該孤立領域に対応する画像領域に映し出されている物体の幅Ｗを計算することができる。
Ｗ ＝ ｚ×（ｘｍａｘ−ｘｍｉｎ）／ｆ ・・・（３）
この物体の幅Ｗが、予め決められた範囲内にある孤立領域を、オブジェクト候補領域として決定する。

次に、視差画像の対応領域検出部１３８について説明する。
前記孤立領域検出部１３７によりオブジェクト候補領域として決定された孤立領域について、図３７に示すように、当該孤立領域が内接する矩形領域を設定したとき、この矩形領域の幅（Ｕマップ上のＸ軸方向長さ）は、当該孤立領域に対応する識別対象物（オブジェクト）の幅に対応する。また、設定した矩形領域の高さは、当該孤立領域に対応する識別対象物（オブジェクト）の奥行き（自車両進行方向長さ）に対応している。一方で、各孤立領域に対応する識別対象物（オブジェクト）の高さについては、この段階では不明である。視差画像の対応領域検出部１３８は、オブジェクト候補領域に係る孤立領域に対応したオブジェクトの高さを得るために、当該孤立領域に対応する視差画像上の対応領域を検出する。

図３８は、図３７に示したＵマップに対応する視差画像を模式的に示した説明図である。
視差画像の対応領域検出部１３８は、孤立領域検出部１３７から出力される孤立領域の情報に基づき、当該孤立領域の幅すなわちＸ軸方向座標がｘｍｉｎからｘｍａｘまでの範囲（検出幅）について、視差画像を所定のＹ軸方向範囲について走査し、当該孤立領域に設定されたＵマップ上での矩形領域の高さすなわちＵマップＹ軸方向座標（視差値）がｄｍｉｎからｄｍａｘまでの範囲の値を視差値とする画素を候補画素として抽出する。このときの走査範囲（視差画像のＹ軸方向範囲）は、例えば、視差画像上端から視差画像１／６だけ下の位置から、視差画像下方に向けて、最大視差ｄｍａｘから得られる路面までの範囲とすることができる。

このようにして抽出した候補画素群の中で、前記検出幅に対して視差画像Ｘ軸方向に所定の数以上の候補画素が存在する横方向ラインを、オブジェクト候補ラインとして決定する。次に、縦方向走査して、ある注目しているオブジェクト候補ラインの周囲に他のオブジェクト候補ラインが所定の密度以上で存在している場合、その注目しているオブジェクト候補ラインをオブジェクトラインとして判定する。

オブジェクト領域抽出部１３９は、各孤立領域に対応する各検出幅について、このようにして判定されたオブジェクトラインを探索し、これにより検出されたオブジェクトライン群の外接矩形を、図３９に示すように、視差画像上のオブジェクト領域として決定する。

図４０は、視差画像の対応領域検出部１３８及びオブジェクト領域抽出部１３９で行われる処理の流れを示すフローチャートである。
まず、Ｕマップ上の各孤立領域（島）の幅から、視差画像のＸ軸方向における探索範囲を設定する（Ｓ４１）。また、各孤立領域（島）の最大視差ｄｍａｘと路面高さとの関係から、視差画像のＹ軸方向における最大探索値ｙｍａｘを設定する。なお、最小探索値ｙｍｉｎは所定の値（撮像画像の上端から１／６だけ下の位置）が決められている。このようにして設定した探索範囲内で視差画像を探索し、当該孤立領域（島）における最小視差値ｄｍｉｎと最大視差値ｄｍａｘの範囲内にある画素を抽出し、これをオブジェクト候補画素とする（Ｓ４４）。その後、オブジェクト候補画素が視差画像Ｘ軸方向に一定以上の数で存在する横方向ラインをオブジェクト候補ラインとして抽出する（Ｓ４５）。そして、オブジェクト候補ラインの密度を計算し、その密度が所定の値より大きい場合は、その横方向ラインをオブジェクトラインと決定する（Ｓ４６）。最後に、決定されたオブジェクトラインで構成されるオブジェクトライン群の外接矩形を設定し、この外接矩形を視差画像内のオブジェクト領域として検出する（Ｓ４７）。

次に、オブジェクトタイプ分類部１４０について説明する。
前記オブジェクト領域抽出部１３９で抽出されるオブジェクト領域の高さ（ｙｏｍａｘ−ｙｏｍｉｎ）から、下記の式（４）より、そのオブジェクト領域に対応する画像領域に映し出されている識別対象物（オブジェクト）の実際の高さＨｏを計算できる。ただし、「ｚｏ」は、当該オブジェクト領域内の最小視差値ｄから計算される当該オブジェクト領域に対応するオブジェクトと自車両との距離であり、「ｆ」はカメラの焦点距離を（ｙｏｍａｘ−ｙｏｍｉｎ）の単位と同じ単位に変換した値である。
Ｈｏ ＝ ｚｏ×（ｙｏｍａｘ−ｙｏｍｉｎ）／ｆ ・・・（４）

同様に、オブジェクト領域抽出部１３９で抽出されるオブジェクト領域の幅（ｘｏｍａｘ−ｘｏｍｉｎ）から、下記の式（５）より、そのオブジェクト領域に対応する画像領域に映し出されている識別対象物（オブジェクト）の実際の幅Ｗｏを計算できる。
Ｗｏ ＝ ｚｏ×（ｘｏｍａｘ−ｘｏｍｉｎ）／ｆ ・・・（５）

また、当該オブジェクト領域に対応する画像領域に映し出されている識別対象物（オブジェクト）の奥行きＤｏは、当該オブジェクト領域に対応した孤立領域内の最大視差値ｄｍａｘと最小視差値ｄｍｉｎから、下記の式（６）より計算することができる。
Ｄｏ ＝ ＢＦ×（１／（ｄｍｉｎ−ｏｆｆｓｅｔ）−１／（ｄｍａｘ−ｏｆｆｓｅｔ）） ・・・（６）

オブジェクトタイプ分類部１４０は、このようにして計算できるオブジェクト領域に対応するオブジェクトの高さ、幅、奥行きの情報から、そのオブジェクトタイプの分類を行う。図４１に示す表は、オブジェクトタイプの分類を行うためのテーブルデータの一例を示すものである。これによれば、自車両前方に存在する識別対象物（オブジェクト）が、歩行者なのか、自転車なのか、小型車なのか、トラックなどか等を区別して認識することが可能となる。

次に、３次元位置決定部１４１について説明する。
検出されたオブジェクト領域に対応するオブジェクトまでの距離や、視差画像の画像中心と視差画像上のオブジェクト領域の中心との画像上の距離も把握されることから、オブジェクトの３次元位置を決定することができる。視差画像上のオブジェクト領域の中心座標を（ｒｅｇｉｏｎ＿ｃｅｎｔｅｒＸ，ｒｅｇｉｏｎ＿ｃｅｎｔｅｒＹ）とし、視差画像の画像中心座標を（ｉｍａｇｅ＿ｃｅｎｔｅｒＸ，ｉｍｇａｅ＿ｃｅｎｔｅｒＹ）としたとき、識別対象物（オブジェクト）の撮像部１１０Ａ，１１０Ｂに対する相対的な横方向位置および高さ方向位置は、下記の式（７）及び式（８）より計算できる。
Ｘｏ ＝ Ｚ×（ｒｅｇｉｏｎ＿ｃｅｎｔｅｒＸ−ｉｍａｇｅ＿ｃｅｎｔｅｒＸ）／ｆ ・・・（７）
Ｙｏ ＝ Ｚ×（ｒｅｇｉｏｎ＿ｃｅｎｔｅｒＹ−ｉｍａｇｅ＿ｃｅｎｔｅｒＹ）／ｆ ・・・（８）

次に、ガードレール検出部１４２について説明する。
図４２は、ガードレール検出部１４２で行われるガードレール検出処理の流れを示すフローチャートである。
路面の側方などに設置される側壁やガードレールは、一般に、路面から３０〜１００ｃｍの範囲内に存在するので、ガードレール検出処理の対象範囲として、この範囲に対応するＵマップ内の領域を選定する。その後、この対象範囲について、Ｕマップの頻度に重み付けを行い、Ｈｏｕｇｈ変換して（Ｓ５１）、図４３に示すような近似直線Ｌ１，Ｌ２を検出する（Ｓ５２）。この近似直線Ｌ１，Ｌ２の端点は、視差が大きい方の端点は画像の境界とし、視差が小さい方の端点は距離換算で例えば３０ｍの距離に相当する視差値とする。なお、Ｈｏｕｇｈ変換により直線が見つからなかった場合は、ガードレールは検出されない。

このような近似直線が得られたら、次に、図４４に示すように、近似直線上の座標位置を中心とした周囲の領域（たとえば５×５領域）について、頻度値の総和が所定の閾値を超えている座標位置を、ガードレール候補座標として検出する（Ｓ５３）。このようにして検出されるガードレール候補座標の間隔が所定の距離以下である場合には、それらのガードレール候補座標をつないでガードレール線分として決定する（Ｓ５４）。

その後、このようにして得られ得るガードレール線分の最小Ｘ座標ｘｇｍｉｎと最大Ｘ座標ｘｇｍａｘにそれぞれ対応する視差値ｄ１，ｄ２を、検出した近似直線の式から算出する。このとき、上述した路面形状検出部１３４で算出したｙとｄの近似直線より、該当する視差ｄ１，ｄ２における路面座標（ｙ１，ｙ２）が決定する。ガードレールは、路面の高さから３０ｃｍ以上１ｍ以下の範囲としているので、前記式（２）を利用し、視差画像上でのガードレールの高さ（３０ｃｍと１ｍ）として、ｙｇ１＿３０、ｙｇ１＿１００、ｙｇ２＿３０、ｙｇ２＿１００が決定される。

図４５は、図３２に示した画像例に対応する視差画像上に、ガードレール検出部１４２が検出したガードレール領域を示した説明図である。
視差画像上でのガードレール領域は、（ｘｇｍｉｎ，ｙｇ１＿３０）、（ｘｇｍｉｎ、ｙｇ１＿１００）、（ｘｇｍａｘ、ｙｇ２＿１００）、（ｘｇｍａｘ＿ｙｇ２＿３０）の４点で囲まれる領域（図中に網掛けした領域）となる。なお、ここでは左側のガードレールについて説明したが、右側のガードレールについても同様に検出できる。

次に、Ｖマップ生成部１３３の処理に用いる消失点情報について説明する。
消失点情報は、路面の消失点に対応する画像上の位置座標を示す情報である。この消失点情報は、撮像画像上に映し出される路面上の白線や車両動作情報などから特定することが可能である。

例えば、自車両１００の前輪の舵角θが車両動作情報として取得できる場合には、図４６に示すように、その舵角θから消失点の画像左右方向位置Ｖｘを検出することが可能である。すなわち、カメラレンズから距離Ｌだけ離れた位置におけるカメラからの水平方向への位置ズレ量は、Ｌ×ｔａｎθから求めることができる。したがって、画像センサ上の水平方向位置ズレ量をΔｘは、カメラの焦点距離をｆとし、画像センサの画素サイズをｐｉｘｅｌｓｉｚｅとすると、下記の式（９）から求めることができる。この式（９）を用いることにより、画像センサのＸ方向サイズをｘｓｉｚｅとすると、消失点のＸ座標Ｖｘは、下記の式（１０）から求めることができる。
Δｘ ＝ ｆ × ｔａｎθ ／ ｐｉｘｅｌｓｉｚｅ ・・・（９）
Ｖｘ ＝ ｘｓｉｚｅ／２ ＋ Δｘ ・・・（１０）

また、例えば、自車両１００のヨーレート（回転角速度）ωと、車速ｖが車両動作情報として取得できる場合には、図４７に示すように、そのヨーレートωと車速ｖとを用いて消失点の画像左右方向位置Ｖｘを検出することが可能である。すなわち、自車両１００が距離Ｌだけ進んだときに想定される水平位置のズレ量は、自車両１００の回転半径ｒ（ｒ＝Ｌ／θ）と回転角とから、（１−ｃｏｓθ）となる。したがって、画像センサ上の水平方向位置ズレ量Δｘは、下記の式（１１）から求めることができる。この式（１１）を用いて得られるΔｘを用いて、消失点のＸ座標Ｖｘは、前記の式（１０）から求めることができる。このときの距離Ｌは、例えば１００ｍと設定する。
Δｘ ＝ ±（１−ｃｏｓθ）×ｆ×ｒ／Ｌ／ｐｉｘｅｌｓｉｚｅ ・・・（１１）

このようにして求まる消失点のＸ座標Ｖｘが画像外を示すものとなった場合、消失点情報のＸ座標Ｖｘとして、画像端部を設定する。

一方、消失点のＹ座標Ｖｙについては、直前の処理によって求めた路面の近似直線の切片から求めることができる。消失点のＹ座標Ｖｙは、Ｖマップ上において、上述した処理によって求まる路面の近似直線の切片に対応している。したがって、直前の処理によって求めた路面の近似直線の切片をそのまま消失点のＹ座標Ｖｙとして決定してもよい。

ただし、自車両１００が加速している時には、自車両後方部分が加重され、自車両１００の姿勢は、自車両前方が鉛直方向上側を向くような姿勢となる。この姿勢変化により、加速時における路面の近似直線は、図４８に示すように、等速時における路面の近似直線よりもＶマップ上において下側へシフトしたものとなる。逆に、減速時における路面の近似直線は、図４８に示すように、等速時における路面の近似直線よりもＶマップ上において上側へシフトしたものとなる。したがって、直前の処理によって求めた路面の近似直線の切片を、車速前後方向における加速度情報（車両動作情報）によって補正したものを、消失点のＹ座標Ｖｙとして決定するのが好ましい。

〔変形例１〕
次に、前記実施形態におけるＶマップ生成部１３３の処理についての一変形例（以下「変形例１」という。）について説明する。
撮像画像に映し出される物体において、路面よりも下側に位置するものは通常存在しない。そのため、通常であれば、Ｖマップ生成部１３３が生成するＶマップ上において、路面に対応する座標点よりも下側に座標点が検出されることがない。したがって、図８に示したＶマップにおいて、図８中斜線で示す領域Ａには、対応する画素が存在しないはずである。

しかしながら、実際には、図８中斜線で示す領域Ａに対応する画素が存在してしまうケースがある。その顕著なケースは、例えば、図４９に示すように、路面上にゼブラゾーンが存在する場合である。ゼブラゾーンが存在すると、コントラストが高く水平に近い直線画像部が画像上下方向に複数並んだパターン画像を含む撮像画像が得られる。このようなパターン画像は、上述した平行化画像生成部１３１で行われる平行化画像生成処理において残った平行化誤差の影響を増大させることが知られている。その結果、平行化画像生成処理後の撮像画像に基づいて算出される視差値には大きな誤差が含まれてしまう。その結果、このような誤差が含まれている視差画像に対して生成されるＶマップには、図５０に示すように、路面に対応する点の下側や上側で、Ｘ軸方向（視差値が変化する方向）に延びる直線状に分布した点が含まれる。

このような誤差が含まれたＶマップから路面形状検出部１３４が路面候補点の検出に悪影響を及ぼす。具体的には、図５０に示したようにゼブラゾーンによる誤差を含んだＶマップを用いて路面形状検出部１３４が路面候補点の検出を行うと、Ｖマップ上の各視差値ｄにおいてｙの最大値を路面候補点として抽出して直線近似する。そのため、図５１に示すように、図中破線で示した誤差の少ない路面の近似直線とはかけ離れた近似直線が検出されてしまう。その結果、自車両前方の各路面部分の高さが誤算出され、オブジェクト認識に誤った結果を引き起こす原因となり得る。

図５２は、本変形例１におけるＶマップ生成部１３３の処理ブロック図である。
本変形例１のＶマップ生成部１３３では、まず、視差画像生成部１３２で生成された視差画像データの各行について視差値頻度分布を計算するため、マップ投票部１３３Ａ’において、Ｖマップ上の座標（ｄ，ｙ）の組に対する投票を行う。この投票が終了した後、ノイズ領域最大頻度検出部１３３Ｂ’において、ノイズ領域における最大頻度値を算出する。ここでいうノイズ領域とは、図５３に示すように、前フレームの撮像画像について求めた区分近似直線上の点すなわち路面に対応した座標点のＹ軸方向位置ｙに対し、所定の値δｎを加算して得られる（ｙ＋δｎ）よりもＶマップＹ軸方向位置ｙが大きい範囲、すなわち、図５３中の斜線で示した領域である。もし前フレームの区分近似直線がない場合（起動直後等の場合）には、初期値として予め設定された直線を利用してノイズ領域を設定する。

ここで、ノイズ領域を設定するために用いる所定値δｎの決定の基準について説明する。各路面部分の実際の高さをＨとし、各路面部分までの距離をＺとし、焦点距離をｆとし、画像センサ１１３Ａ，１１３Ｂ上の高さをｈとすると、ｈは下記の式（１２）より算出できる。
ｈ ＝ Ｈ×ｆ／Ｚ ・・・（１２）
本変形例１では、所定値δｎの決定に際し、例えば、Ｈ＝２ｍ、Ｚ＝５０ｍ、ｆ＝５ｍｍを基準とする。この場合、ｈ＝０．２ｍｍになる。画像センサ１１３Ａ，１１３Ｂの画素サイズが例えば０．００４ｍｍである場合、ｈ＝０．２ｍｍ＝５０画素となり、これをδｎとして用いる。このとき、δｎを距離（視差）Ｚに応じて変動させるように決定すると処理が複雑化するので、基準距離を５０ｍとし、このときに決定されるδｎ＝５０画素をいずれの距離についても用いる。すなわち、本変形例１では、距離（視差）にかかわらず、δｎ＝５０画素を定数として扱う。

仮に、基準距離を５０ｍよりも一定以上長く設定した場合、δｎの値が小さくなりすぎて、ノイズ領域が過剰に増大してしまう。その結果、路面に対応するＶマップ上の正しい座標点がノイズとして除去されるおそれがある。逆に、基準距離を５０ｍよりも一定以上短く設定した場合、δｎの値が大きくなりすぎて、ノイズを十分に除去できず、路面候補点の検出の誤差を十分に低減できないおそれがある。したがって、基準距離としては、５０ｍを中心とした所定の許容範囲内の値に設定するのが好ましい。

このようにして設定されるノイズ領域内でノイズ領域最大頻度検出部１３３Ｂ’が算出した最大頻度値を用い、頻度補正部１３３Ｃ’は、Ｖマップの全範囲に対して、当該最大頻度値以下の頻度値をもつ座標点の頻度値をゼロに補正する処理を行う。その結果、ゼロでない頻度をもつ座標点（ｄ，ｙ）は、ノイズでないものに限定される。このような補正を行うことで、図５３に示したＶマップは、図５４に示すＶマップのようになる。

Ｖマップ上において、ゼブラゾーンの視差のばらつきは大きいことから、ノイズ領域に存在する座標点の頻度値は、路面に対応する頻度値と比較してずっと小さいものである。したがって、ノイズ領域内の最大頻度値は比較的小さな値であり、Ｖマップの全範囲の頻度値のうちノイズ領域の最大頻度値よりも大きい頻度値は、画像上では垂直に近い白線や路端部分の視差データ、あるいは路面上のオブジェクトの視差データに由来するものである。したがって、図５４に示すように、Ｖマップ上において、補正後の頻度値がゼロでない座標点の数は少なくなるが、真に路面に対応する座標点は補正後も残ったままであり、直線近似の精度が向上する結果、路面候補点の検出精度が高まる。

図５５は、本変形例１におけるＶマップ生成部１３３で行うＶマップ生成処理の一例を示すフローチャートである。
まず、視差画像生成部１３２で生成された視差画像データの各行について視差値頻度分布を計算するため、マップ投票部１３３Ａ’において、Ｖマップ上の座標（ｄ，ｙ）の組に対する投票を行って、従来のＶマップ（暫定Ｖマップ）を生成する（Ｓ６１）。ノイズ領域最大頻度検出部１３３Ｂ’は、前フレームの撮像画像について検出した路面に対応する近似直線のデータを取得する（Ｓ６２）。そして、この前フレームの近似直線のデータと上述した所定値δｎとから、前記処理ステップＳ６１で生成した暫定Ｖマップ内におけるノイズ領域を設定する（Ｓ６３）。その後、設定したノイズ領域内における最大頻度値を検出する（Ｓ６４）。このようにして検出したノイズ領域内の最大頻度値を閾値としたら、次に、頻度補正部１３３Ｃ’において、暫定Ｖマップの全体に分布するすべての頻度値を当該閾値と比較し、頻度値が当該閾値以下となる点の頻度値をゼロに補正する処理を実行する（Ｓ６５）。このようにして暫定Ｖマップを補正した後のものがＶマップ生成部１３３からＶマップとして出力される。

図５６は、本変形例１におけるＶマップ生成部１３３で行うＶマップ生成処理の他の例を示すフローチャートである。
本例では、基準距離に対応する視差値で暫定Ｖマップを領域分割し、それぞれの領域でノイズ除去を実行してＶマップを得るものである。まず、暫定Ｖマップの作成から暫定Ｖマップ内のノイズ領域を設定するまでの処理は、図５５に示した例と同様である。その後、本例では、所定値δｎを決定したときに用いられた基準距離（視差）の値で暫定Ｖマップを左右２つの領域に分割する（Ｓ６６）。その結果、図５３に示したように、縦破線で示す基準距離（視差）を境にして、基準距離より距離が短いノイズ領域を第一ノイズ領域とし、基準距離より距離が長いノイズ領域を第二ノイズ領域として設定する。

その後、各ノイズ領域についてそれぞれ最大頻度値を検出する（Ｓ６７）。そして、各ノイズ領域内の最大頻度値をそれぞれ閾値として、対応する暫定Ｖマップの分割領域について、全頻度値と閾値とを比較し、頻度値が閾値以下となる点の頻度値をゼロに補正する処理を実行する（Ｓ６８）。この補正後のＶマップは、図５４に示すようなものとなる。

〔変形例２〕
次に、前記実施形態についての他の変形例（以下「変形例２」という。）について説明する。
前記実施形態においては、自車両進行方向における路面の高さ変化（自車両進行方向における路面の起伏）を把握することはできるが、路面幅方向における路面高さの違い（路面幅方向における路面の傾斜）を把握することはできない。本変形例２では、路面幅方向における路面の傾斜を把握することができる例について説明する。

図５７は、本変形例２における主要な処理の流れを示すフローチャートである。
図５８に示すように、視差画像上において、路面の消失点と視差画像の下端中心（ｘｓｉｚｅ／２，ｙｓｉｚｅ）とを結ぶ直線を境界にして、視差画像を左右に二分割する。左右に分割した各領域について、それぞれ個別に上述した実施形態の方法でＶマップを作成する（Ｓ７１）。このようにして視差画像を複数に分割して各領域について個別に作成した部分的なＶマップを組み合わせたものを、多重Ｖマップという。

その後、それぞれの領域のＶマップから、領域ごとに、上述した実施形態の方法で路面に対応する区分近似直線を得る。また、図５９に示すように、消失点と視差画像左下点（０、ｙｓｉｚｅ）とを結ぶ直線Ｌ３と、消失点と視差画像右下点（ｘｓｉｚｅ，ｙｓｉｚｅ）とを結ぶ直線Ｌ４とを作成する。そして、それぞれの直線上における点（ｘ，ｙ）に対し、左右の領域についてそれぞれ得た区分近似直線上の点（ｙ，ｄ）を関連付け、（ｘ，ｙ，ｄ）の関係を作成する。これにより、図５９に示す左右の直線Ｌ３，Ｌ４上における路面の高さを決定することができる。

次に、図５９に示した左右の直線Ｌ３，Ｌ４以外の路面の高さを決定する。まず、図６０に示すように、ひとつの画像走査ライン（視差画像Ｘ軸方向ライン）Ｌ５を設定する。この画像走査ラインＬ５と左の直線Ｌ３との交点を（ｘＬ，ｙ，ｄＬ）とし、この画像走査ラインＬ５と右の直線Ｌ４との交点を（ｘＲ，ｙ，ｄＲ）とする。画像走査ラインＬ５上における両交点の間の視差値は、図６１に示すように線形補間するとともに、画像走査ラインＬ５上における両交点の左右外側の視差値は、それぞれの交点における視差値ｄＲ，ｄＬと同じ視差値を割り当てる。これにより、路面幅方向に路面が傾斜している場合についても、その傾斜を反映させた路面形状を検出することができる（Ｓ７２，Ｓ７３）。

〔変形例３〕
次に、前記実施形態についての更に他の変形例（以下「変形例３」という。）について説明する。
本変形例３も、前記変形例２と同様、路面幅方向における路面の傾斜を把握することができる例である。また、本変形例３における主要な処理の流れを示すフローチャートは、図５７に示した前記変形例２のものと同様であるため、これを参照する。

本変形例３では、まず、前記実施形態と同様、図６２に示すように、路面の消失点（Ｖｘ，Ｖｙ）が示す消失点の画像上下方向位置Ｖｙから所定のｏｆｆｓｅｔ値を引いた画像上下方向位置（Ｖｙ−ｏｆｆｓｅｔ値）の地点Ｗと、図６２中に示したＡＢＣＤの各点で囲まれた領域を設定する。そして、図６２に示すように、視差画像上において、路面の消失点（Ｖｘ，Ｖｙ）と視差画像の下端中心Ｍ（ｘｓｉｚｅ／２，ｙｓｉｚｅ）とを結ぶ直線を境界にして、ＷＡＢＣＤの各点で囲まれた領域を、ＷＡＢＭの各点で囲まれた左領域と、ＷＭＣＤの各点で囲まれた右領域とに左右二分割して、各領域をそれぞれ路面画像候補領域として設定する。その後、各路面画像候補領域に対し、それぞれ個別に上述した実施形態の方法でＶマップを作成する（Ｓ７１）。このようにして視差画像上の路面画像候補領域を複数の領域に分割して各領域について個別に作成した部分的なＶマップを組み合わせたものを、多重Ｖマップという。

その後、それぞれの領域のＶマップから、領域ごとに、上述した実施形態の方法で路面に対応する区分近似直線を得る。また、図６３に示すように、消失点Ｖ（Ｖｘ，Ｖｙ）と同じｙ座標を持つ地点Ｐ（ｘｓｉｚｅ／３，Ｖｙ）と地点Ｂ（０，ｙｓｉｚｅ）とを結ぶ直線Ｌ３を作成する。また、消失点Ｖ（Ｖｘ，Ｖｙ）と同じｙ座標を持つ他の地点Ｑ（ｘｓｉｚｅ×２／３，Ｖｙ）と地点Ｃ（ｘｓｉｚｅ，ｙｓｉｚｅ）とを結ぶ直線Ｌ４を作成する。そして、それぞれの直線上における点（ｘ，ｙ）に対し、左右の領域についてそれぞれ得た区分近似直線上の点（ｙ，ｄ）を関連付け、（ｘ，ｙ，ｄ）の関係を作成する。これにより、図６３に示す左右の直線Ｌ３，Ｌ４上における路面の高さを決定することができる。

なお、地点Ｐ，ＱのＸ座標を消失点ＶのＸ座標と同じ位置にすると、地点Ｐと地点Ｑとの間の路面高さが異なるときに、その地点で路面高さの急激な変化が生じ、不具合が起こす。逆に、地点Ｐ，ＱとのＸ方向距離が離れすぎると、路面の実情（画像内では路面が遠くに行くほど狭くなる）と整合しない。本変形例３においては、これらを考慮して、地点Ｐ，ＱのＸ座標は、それぞれ、ｘｓｉｚｅ／３、ｘｓｉｚｅ×２／３としている。

次に、図６３に示した左右の直線Ｌ３，Ｌ４以外の路面の高さを決定する。まず、図６４に示すように、ひとつの画像走査ライン（視差画像Ｘ軸方向ライン）Ｌ５を設定する。この画像走査ラインＬ５と左の直線Ｌ３との交点を（ｘＬ，ｙ，ｄＬ）とし、この画像走査ラインＬ５と右の直線Ｌ４との交点を（ｘＲ，ｙ，ｄＲ）とする。画像走査ラインＬ５上における両交点の間の視差値は、前記変形例２と同様、図６１に示すように線形補間するとともに、画像走査ラインＬ５上における両交点の左右外側の視差値は、それぞれの交点における視差値ｄＲ，ｄＬと同じ視差値を割り当てる。これにより、路面幅方向に路面が傾斜している場合についても、その傾斜を反映させた路面形状を検出することができる（Ｓ７２，Ｓ７３）。なお、画像走査ラインＬ５の開始端は地点Ｂと地点Ｃとを通るラインであり、終端は地点Ｐと地点Ｑとを通るラインである。

〔変形例４〕
次に、前記実施形態についての更に他の変形例（以下「変形例４」という。）について説明する。
実際の路面の中には、路面の排水を良くするために路面の幅方向中央部分が高くなっているかまぼこ型の形状を示す路面がある。このような路面については、前記変形例１の場合には、路面幅方向における路面傾斜を適切に検出することができない。本変形例４においては、前記変形例２や変形例３よりもより高精度に路面幅方向における路面傾斜を把握することができるものである。

具体的に説明すると、図６５に示すように、視差画像上において、視差画像の下端を４等分したときの画像左側１／４の地点（ｘｓｉｚｅ／４，ｙｓｉｚｅ）と路面の消失点とを結ぶ直線Ｌ６を設定するとともに、画像右側１／４の地点（３／４×ｘｓｉｚｅ，ｙｓｉｚｅ）と路面の消失点とを結ぶ直線Ｌ７を設定する。本変形例４では、これらの直線Ｌ６，Ｌ７を境界にして、視差画像を三分割する。そして、分割した各領域について、それぞれ個別に上述した実施形態の方法でＶマップを作成する。その後、それぞれの領域のＶマップから、領域ごとに、上述した実施形態の方法で路面に対応する区分近似直線を得る。

また、図６６に示すように、本変形例４においては、前記変形例２の場合と同様に、消失点と視差画像左下点（０、ｙｓｉｚｅ）とを結ぶ直線Ｌ３と、消失点と視差画像右下点（ｘｓｉｚｅ，ｙｓｉｚｅ）とを結ぶ直線Ｌ４のほか、新たに、路面の消失点と視差画像の下端中心（ｘｓｉｚｅ／２，ｙｓｉｚｅ）とを結ぶ直線Ｌ８を作成する。そして、それぞれの直線上における点（ｘ，ｙ）に対し、先に求めた３つの領域についてそれぞれ得た区分近似直線上の点（ｙ，ｄ）を関連付け、（ｘ，ｙ，ｄ）の関係を作成する。これにより、図６６に示す３つの直線Ｌ３，Ｌ４，Ｌ８上における路面の高さを決定することができる。

次に、図６６に示した３つの直線Ｌ３，Ｌ４，Ｌ８以外の路面の高さを決定する。まず、前記変形例１と同様、図６６に示すように、ひとつの画像走査ライン（視差画像Ｘ軸方向ライン）Ｌ５を設定する。この画像走査ラインＬ５と左の直線Ｌ３との交点を（ｘＬ，ｙ，ｄＬ）とし、この画像走査ラインＬ５と右の直線Ｌ４との交点を（ｘＲ，ｙ，ｄＲ）とし、この画像走査ラインＬ５と中央の直線Ｌ８との交点を（ｘＭ，ｙ，ｄＭ）とする。画像走査ラインＬ５上における各交点の間の視差値は、図６７に示すように線形補間するとともに、画像走査ラインＬ５上における左右の交点の左右外側の視差値は、それぞれの左右交点における視差値ｄＲ，ｄＬと同じ視差値を割り当てる。これにより、路面幅方向に路面がかまぼこ形状に傾斜している場合についても、その傾斜を反映させた路面形状を検出することができる。

〔変形例５〕
次に、前記実施形態についての更に他の変形例（以下「変形例５」という。）について説明する。
本変形例５も、前記変形例４と同様、前記変形例２や変形例３よりもより高精度に路面幅方向における路面傾斜を把握することができるものである。

本変形例５では、図６８に示すように、視差画像上において、視差画像の下端を４等分したときの画像左側１／４の地点Ｌ（ｘｓｉｚｅ／４，ｙｓｉｚｅ）と地点Ｗとを結ぶ直線Ｌ６を設定するとともに、画像右側１／４の地点Ｒ（３／４×ｘｓｉｚｅ，ｙｓｉｚｅ）と地点Ｗとを結ぶ直線Ｌ７を設定する。本変形例５では、これらの直線Ｌ６，Ｌ７を境界にして、ＷＡＢＣＤの各点で囲まれた領域を、ＷＡＢＬの各点で囲まれた左領域と、ＷＬＲの各点で囲まれた中央領域と、ＷＲＣＤの各点で囲まれた右領域とに、三分割して、各領域をそれぞれ路面画像候補領域として設定する。その後、各路面画像候補領域に対し、それぞれ個別に上述した実施形態の方法でＶマップを作成する。その後、それぞれの領域のＶマップから、領域ごとに、上述した実施形態の方法で路面に対応する区分近似直線を得る。

また、図６９に示すように、本変形例５においては、前記変形例３の場合と同様に、地点Ｐ（ｘｓｉｚｅ／３，Ｖｙ）と地点Ｂ（０，ｙｓｉｚｅ）とを結ぶ直線Ｌ３を作成するとともに、地点Ｑ（ｘｓｉｚｅ×２／３，Ｖｙ）と地点Ｃ（ｘｓｉｚｅ，ｙｓｉｚｅ）とを結ぶ直線Ｌ４を作成するほか、新たに、路面の消失点Ｖと視差画像の下端中心Ｍ（ｘｓｉｚｅ／２，ｙｓｉｚｅ）とを結ぶ直線Ｌ８を作成する。そして、それぞれの直線上における点（ｘ，ｙ）に対し、先に求めた３つの領域についてそれぞれ得た区分近似直線上の点（ｙ，ｄ）を関連付け、（ｘ，ｙ，ｄ）の関係を作成する。これにより、図６９に示す３つの直線Ｌ３，Ｌ４，Ｌ８上における路面の高さを決定することができる。

次に、図６９に示した３つの直線Ｌ３，Ｌ４，Ｌ８以外の路面の高さを決定する。まず、前記変形例３と同様、図６９に示すように、ひとつの画像走査ライン（視差画像Ｘ軸方向ライン）Ｌ５を設定する。この画像走査ラインＬ５と左の直線Ｌ３との交点を（ｘＬ，ｙ，ｄＬ）とし、この画像走査ラインＬ５と右の直線Ｌ４との交点を（ｘＲ，ｙ，ｄＲ）とし、この画像走査ラインＬ５と中央の直線Ｌ８との交点を（ｘＭ，ｙ，ｄＭ）とする。画像走査ラインＬ５上における各交点の間の視差値は、前記変形例４と同様、図６７に示すように線形補間するとともに、画像走査ラインＬ５上における左右の交点の左右外側の視差値は、それぞれの左右交点における視差値ｄＲ，ｄＬと同じ視差値を割り当てる。これにより、路面幅方向に路面がかまぼこ形状に傾斜している場合についても、その傾斜を反映させた路面形状を検出することができる。

なお、上述した変形例２〜５は、視差画像をそれぞれ二分割、三分割する例を示しているが、同様の構成で視差画像の分割数を増やすことで、より精確な路面の形状の検出が可能となる。

以上のように、本実施形態においては、路面高さ（自車両進行方向における路面の起伏や路面幅方向における路面傾斜など）を高い精度で検出することができる。特に、前記変形例１のようにノイズを除去したＶマップを用いることで、路面高さ（自車両進行方向における路面の起伏や路面幅方向における路面傾斜など）の検出精度は更に向上する。路面高さの検出精度が高ければ、路面の高さを利用して検出するオブジェクトの検出精度も向上し、歩行者や他車両などのオブジェクト分類の精度も向上する結果、オブジェクトへの衝突回避の確率を向上させ、道路交通の安全に貢献することが可能である。

以上に説明したものは一例であり、本発明は、次の態様毎に特有の効果を奏する。
（態様Ａ）
路面等の移動面上を移動する自車両１００等の移動体に搭載された撮像部１１０Ａ，１１０Ｂ等の複数の撮像手段により移動体移動方向前方を撮像して得られる複数の撮像画像に基づいて、移動体移動方向における移動面の高さ等の位置情報を検出する移動面情報検出装置において、前記複数の撮像画像に基づいて視差画像データ等の視差情報を生成する平行化画像生成部１３１及び視差画像生成部１３２等の視差情報生成手段と、前記視差情報に基づいて、前記撮像画像を上下方向に複数分割して得られる各行領域内における視差値の頻度分布を示すＶマップ情報等の視差ヒストグラム情報を生成するＶマップ生成部１３３等の視差ヒストグラム情報生成手段と、前記視差ヒストグラム情報に基づき、所定の頻度閾値を超える頻度をもった視差値を選別処理対象として決定し、その選別処理対象の中から、移動面の視差値が示す特徴に合致した一群の視差値を選別する処理を行う路面形状検出部１３４等の視差値選別手段と、前記視差値選別手段の選別結果に基づいて、移動面の高さ情報などの移動面の情報を検出する路面高さテーブル算出部１３５等の移動面情報検出手段とを有し、前記視差値選別手段は、前フレーム等の過去に選別した視差値に基づいて前記選別処理対象を決定することを特徴とする。
これによれば、移動面の情報（路面高さ等）を高精度に検出することが可能となり、この移動面の情報を用いた各種処理、具体的には、オブジェクトの認識処理や、路面幅方向における路面傾斜の検出処理などを適切に行うことが可能となる。

（態様Ｂ）
前記態様Ａにおいて、前記視差値選別手段は、選別した一群の視差値に基づいて各行領域に対応する１つの視差値を決定し、前記移動面情報検出手段は、前記視差値選別手段が決定した視差値に基づいて、路面高さ等の移動面の位置情報を検出し、前記視差値選別手段は、前記視差ヒストグラム情報が示すＶマップ等の視差値頻度分布内で、各行領域における過去に決定した各視差値の分布箇所（前フレームについての区分近似直線）よりも撮像画像下側に対応する箇所（ノイズ領域）に分布する視差値を除外するように、前記選別処理対象を決定することを特徴とする。
これによれば、移動面の下には識別対象物が存在しないという前提に立って、移動面の位置情報（路面高さ）の検出精度を落とすノイズを効果的に除去することが可能となる。

（態様Ｃ）
前記態様Ａ又はＢにおいて、前記視差値選別手段は、選別した一群の視差値に基づいて各行領域に対応する１つの視差値を決定し、前記移動面情報検出手段は、前記視差値選別手段が決定した視差値に基づいて、路面高さ等の移動面の位置情報を検出し、前記視差値選別手段は、前記視差ヒストグラム情報が示す視差値頻度分布内で、各行領域における過去に決定した各視差値の分布箇所（前フレームについての区分近似直線）よりも撮像画像下側に対応する箇所（ノイズ領域）に分布する視差値の頻度に基づいて前記所定の頻度閾値を決定し、決定した頻度閾値を用いて前記選別処理対象を決定することを特徴とする。
これによれば、視差ヒストグラム情報が示す視差値頻度分布内のノイズ領域以外の箇所に存在するノイズについても適切に除去することが可能となり、移動面の位置情報（路面高さ）のより高精度な検出が可能となる。

（態様Ｄ）
前記態様Ｃにおいて、前記視差値選別手段は、前記視差ヒストグラム情報が示す視差値頻度分布内で、各行領域における過去に決定した各視差値の分布箇所よりも撮像画像下側に対応する箇所に分布する視差値の最大頻度を、前記所定の頻度閾値として決定することを特徴とする。
これによれば、視差ヒストグラム情報が示す視差値頻度分布内のノイズ領域以外の箇所に存在するノイズをより適切に除去することが可能となり、移動面の位置情報（路面高さ）のより高精度な検出が可能となる。

（態様Ｅ）
前記態様Ｂ〜Ｄのいずれかの態様において、前記視差値選別手段は、前記視差ヒストグラム情報を視差値に応じて２以上の視差値区画に区分けし、各視差値区画にそれぞれ対応した決定アルゴリズムに従って各視差値区画における各行領域に対応する視差値を決定し、少なくとも２つの視差値区画間では異なる決定アルゴリズムを用いることを特徴とする。
これによれば、各視差値区間についてそれぞれ移動面に対応した適切な視差値を決定することができ、広い視差値範囲にわたって移動面に対応した適切な視差値を決定することができる。

（態様Ｆ）
前記態様Ｂ〜Ｅのいずれかの態様において、前記視差値選別手段は、選別した一群の視差値についての区分近似直線の情報等の近似線情報を生成し、該近似線情報により特定される近似線上の視差値を、各行領域に対応する視差値として決定することを特徴とする。
これによれば、路面に対応する視差値を簡易かつ精度よく決定することができる。

（態様Ｇ）
前記態様Ｆにおいて、前記視差値選別手段は、前記視差ヒストグラム情報を視差値に応じて複数の視差値区画に区分けするとともに、視差値区画ごとに前記近似線情報を生成し、生成した各近似線情報により特定される近似線上の視差値を、各視差値区画における各行領域に対応する視差値として決定することを特徴とする。
これによれば、路面の位置情報をより高精度に検出することができる。

（態様Ｈ）
前記態様Ａ〜Ｇのいずれかの態様において、前記視差値選別手段は、前記視差ヒストグラム情報を、撮像画像の左右方向位置に応じて２以上の左右方向区画に区分けし、左右方向区画ごとに、前記選別処理対象の中から前記特徴に合致した一群の視差値を選別する。
これによれば、路面幅方向における路面の傾斜状況を検出することが可能となる。

（態様Ｉ）
移動面上を移動する移動体の移動方向における移動面の情報を検出する移動面情報検出手段と、前記移動面情報検出手段の検出結果に基づいて、前記移動体に搭載された所定の機器を制御する移動体機器制御手段とを備えた移動体機器制御システムにおいて、前記移動面情報検出手段として、前記態様Ａ〜Ｈのいずれかの態様に係る移動面情報検出装置を用いたことを特徴とする。
これによれば、移動体に搭載された所定の機器をより高精度に制御することが可能となる。

（態様Ｊ）
移動面上を移動する移動体に搭載された複数の撮像手段により移動体移動方向前方を撮像して得られる複数の撮像画像に基づいて、移動体移動方向前方における移動面の情報を検出する移動面情報検出装置のコンピュータに実行させるための移動面情報検出用プログラムであって、前記複数の撮像画像に基づいて視差情報を生成する視差情報生成工程と、前記視差情報に基づいて、前記撮像画像を上下方向に複数分割して得られる各行領域内における視差値の頻度分布を示す視差ヒストグラム情報を生成する視差ヒストグラム情報生成工程と、前記視差ヒストグラム情報に基づき、所定の頻度閾値を超える頻度をもった視差値を選別処理対象として決定し、その選別処理対象の中から、移動面の視差値が示す特徴に合致した一群の視差値を選別する処理を行う視差値選別工程と、前記視差値選別工程の選別結果に基づいて、移動面の情報を検出する移動面情報検出工程とを、前記コンピュータに実行させるものであって、前記視差値選別工程では、過去に選別した視差値に基づいて前記選別処理対象を決定することを特徴とする。
これによれば、移動面の情報（路面高さなど）を高精度に検出することが可能となり、この移動面の情報を用いた各種処理、具体的には、オブジェクトの認識処理や、路面幅方向における路面傾斜の検出処理などを適切に行うことが可能となる。

また、以上に説明したものは一例であり、本発明は、更に、次の態様毎に特有の効果を奏する。
（態様Ａ’）
路面等の移動面上を移動する自車両１００等の移動体に搭載された撮像部１１０Ａ，１１０Ｂ等の複数の撮像手段により移動体移動方向前方を撮像して得られる複数の撮像画像に基づいて、移動体移動方向前方における移動面の高さ等の情報を検出する移動面情報検出装置において、前記複数の撮像画像から生成される視差画像データ等の視差画像情報に基づいて、前記撮像画像を上下方向に複数分割して得られる各行領域内における視差値の頻度分布を示すＶマップ情報等の視差ヒストグラム情報を生成するＶマップ生成部１３３等の視差ヒストグラム情報生成手段と、前記視差ヒストグラム情報生成手段が生成した視差ヒストグラム情報に基づいて、移動面の情報を検出する移動面検出処理を行う路面形状検出部１３４等の移動面情報検出手段とを有し、前記視差ヒストグラム情報生成手段は、撮像画像上における基準路面等の所定の仮想基準移動面を映し出す画素についての視差値ｄと画像上下方向位置ｙとの関係を示す基準直線等の基準情報に基づいて定まる所定の抽出範囲内に属するという条件を含む抽出条件を満たす部分に限定した視差ヒストグラム情報を生成することを特徴とする。
撮像画像中に映し出される移動面画像領域の画像上下方向位置と視差値との関係がとり得る範囲は、一般に、あまり大きく変化するようなものではなく、比較的狭い範囲内に収まる。
したがって、移動面画像領域に対応する視差ヒストグラム情報部分がとり得る範囲も、比較的狭い範囲に制限される。
よって、この範囲を適切に設定することで、移動面画像領域に対応しない視差ヒストグラム情報部分と区別して、移動面画像領域に対応する視差ヒストグラム情報部分を抽出することが可能である。
本態様においては、移動面の情報を検出する際に用いる視差ヒストグラム情報の抽出条件として、上述の範囲に関する抽出条件を用いる。
この抽出条件は、所定の仮想基準移動面が映し出される撮像画像から生成される視差ヒストグラム情報により特定される当該仮想基準移動面を映し出す画素についての視差値と画像上下方向位置との関係を示す基準情報に基づいて定まる所定の抽出範囲内に属するという条件を含む。
ここでいう所定の仮想基準移動面は、例えば、移動体の真下に位置する移動面部分と平行な面を撮像方向へ延長した面（相対的に平坦な面）を用いることができる。
撮像画像中に映し出される移動面画像領域の画像上下方向位置と視差値との関係は、状況に応じて刻々と変化し、この変化によって移動面画像領域に対応する視差ヒストグラム情報部分も刻々と変化する。
このように変化する視差ヒストグラム情報部分が含まれるように、前記抽出条件を設定することで、想定される状況の範囲内において移動面画像領域に対応する視差ヒストグラム情報部分を、移動面画像領域に対応しない視差ヒストグラム情報部分と区別して抽出することが可能である。
例えば、移動体移動方向前方の移動面が相対的に上り傾斜である場合、移動体移動方向前方の移動面が相対的に平坦である場合よりも、撮像画像中に映し出される移動面画像領域は画像上側へ広がる。
また、同じ画像上下方向位置に映し出される移動面画像領域を比較すると、相対的に上り傾斜である場合には、相対的に平坦である場合よりも、視差値が大きくなる。
そのため、相対的に平坦な面が仮想基準移動面である場合、実際の移動面が相対的に上り傾斜であると、その仮想基準移動面に対応する視差ヒストグラム情報からズレた視差ヒストグラム情報が生成される。
この場合でも、その仮想基準移動面に対応する視差ヒストグラム情報部分と実際の移動面に対応する視差ヒストグラム情報部分とのズレは、比較的小さいものである。
したがって、このズレが抽出範囲内に含まれるように抽出条件を設定することで、移動面画像領域に対応する視差ヒストグラム情報部分を、移動面画像領域に対応しない視差ヒストグラム情報部分と区別して抽出することが可能である。
また、例えば、自動車等の移動体が減速する時には、移動体前方に加重がかかり、移動体の姿勢は、移動体前方が鉛直方向下側を向くような姿勢となる。
この場合、相対的に平坦な移動面上を移動しているときでも、撮像画像中に映し出される移動面画像領域は画像上側へ広がる。
この場合にも、相対的に平坦な面が仮想基準移動面であると、実際の移動面に対応する視差ヒストグラム情報部分は、仮想基準移動面に対応する視差ヒストグラム情報部分からズレたものとなる。
この場合も、その仮想基準移動面に対応する視差ヒストグラム情報部分と実際の移動面に対応する視差ヒストグラム情報部分とのズレは、比較的小さいものである。
したがって、このズレが抽出範囲内に含まれるように抽出条件を設定することで、移動面画像領域に対応する視差ヒストグラム情報部分を、移動面画像領域に対応しない視差ヒストグラム情報部分と区別して抽出することが可能である。

（態様Ｂ’）
前記態様Ａ’において、前記視差ヒストグラム情報生成手段は、前記視差画像情報から得られる抽出前視差ヒストグラム情報の中から前記抽出条件を満たす部分を抽出し、抽出した部分を前記視差ヒストグラム情報として生成することを特徴とする。
これによれば、簡易な抽出処理を実現することが容易となる。

（態様Ｃ’）
前記態様Ａ’において、前記視差ヒストグラム情報生成手段は、前記視差画像情報から前記抽出条件を満たす部分を抽出し、抽出した部分に係る視差画像情報から視差ヒストグラム情報を生成することを特徴とする。
これによれば、簡易な抽出処理を実現することが容易となる。

（態様Ｄ’）
前記態様Ａ’〜Ｃ’のいずれかの態様において、前記所定の仮想基準移動面は、前記移動体の真下に位置する移動面部分と平行な面を撮像方向へ延長した面であることを特徴とする。
これによれば、簡易な抽出処理を実現することが容易となる。

（態様Ｅ’）
前記態様Ａ’〜Ｄ’のいずれかの態様において、前記所定の抽出範囲は、前記移動体の加速時及び減速時の少なくとも一方の時の当該移動体の姿勢変化によって移動面を映し出す画素に対応した視差ヒストグラム情報が変動する範囲が含まれるように設定されていることを特徴とする。
これによれば、移動体の加速時や減速時においても、生成される視差ヒストグラム情報の中から移動面に対応する部分の抽出漏れが抑制され、移動面情報の高精度な検出が実現できる。

（態様Ｆ’）
前記態様Ａ’〜Ｄ’のいずれかの態様において、前記移動体が加速する時及び減速する時の少なくとも一方の時の加速度情報を取得する車両動作情報入力部１３３Ａ等の加速度情報取得手段を有し、前記視差ヒストグラム情報生成手段は、前記所定の抽出範囲を、前記加速度情報に基づいて画像上下方向位置が補正される基準情報に基づいて定めることを特徴とする。
これによれば、抽出範囲の基準となる基準情報の画像上下方向位置が加速度情報に基づいて補正されるので、抽出範囲の広さを決めるにあたり、自車両の加速や減速を考慮しないで済む。そのため、このような補正が行われない基準情報を基準として定められる抽出範囲と比べて、抽出範囲を狭くすることが可能となり、処理時間の短縮や検出精度の向上を図ることができる。

（態様Ｇ’）
前記態様Ａ’〜Ｆ’のいずれかの態様において、前記視差ヒストグラム情報生成手段は、撮像画像の一部である路面画像候補領域等の所定の移動面画像候補領域に対応した視差画像情報に基づいて、前記視差ヒストグラム情報を生成することを特徴とする。
これによれば、移動面画像候補領域として、例えば想定される状況の範囲内では路面が映し出されることがない領域を除外した画像領域を設定することで、視差ヒストグラム情報の生成処理の負荷を軽減でき、処理時間の短縮化を実現できる。

（態様Ｈ’）
前記態様Ｇ’において、前記視差ヒストグラム情報生成手段は、前記所定の移動面画像候補領域を、前記撮像画像内における移動面の消失点を示す消失点情報に基づいて特定することを特徴とする。
撮像画像内における移動面の消失点よりも画像上方部分は路面が映し出されることがない領域なので、これを除外した画像領域を設定して視差ヒストグラム情報の生成処理の負荷を軽減でき、処理時間の短縮化を実現できる。

（態様Ｉ’）
前記態様Ｈ’において、前記移動体が加速する時及び減速する時の少なくとも一方の時の加速度情報を取得する車両動作情報入力部１３３Ａ等の加速度情報取得手段を有し、前記視差ヒストグラム情報生成手段は、前記加速度情報により補正した前記消失点情報に基づいて、前記所定の移動面画像候補領域を特定することを特徴とする。
これによれば、移動面画像候補領域の基準とする消失点情報が加速度情報に基づいて補正されるので、消失点情報に基づいて移動面画像候補領域を決めるにあたり、自車両の加速や減速を考慮しないで済む。そのため、このような補正が行われない消失点情報を基準として定められる移動面画像候補領域と比べて、移動面画像候補領域をより適切に狭く設定することが可能となり、処理時間の短縮や検出精度の向上を図ることができる。

（態様Ｊ’）
前記態様Ａ’〜Ｉ’のいずれかの態様において、前記基準情報は、縦軸に画像上下方向位置をとりかつ横軸に視差値をとったＶマップ等の視差ヒストグラムマップ上に前記所定の仮想基準移動面についての視差値と画像上下方向位置との関係を示したときに得られる基準直線が、前記撮像画像内における移動面の消失点に対応する該視差ヒストグラムマップ上の地点又はその近傍を通るように、設定されていることを特徴とする。
これによれば、より適切な基準情報が得られるので、より適切な抽出範囲を設定でき、処理時間の短縮や検出精度の向上を図ることができる。

（態様Ｋ’）
前記態様Ａ’〜Ｊ’のいずれかの態様において、前記移動面情報検出手段は、前記視差ヒストグラム情報を視差値に応じて２以上の視差値区画に区分けし、少なくとも２つの視差値区画間で異なるアルゴリズムを用いて、前記移動面検出処理を行うことを特徴とする。
これによれば、各視差値区間についてそれぞれ移動面に対応した適切な視差値を決定することができ、広い視差値範囲にわたって移動面に対応した適切な視差値を決定することができる。

（態様Ｌ’）
前記態様Ｋ’において、前記２以上の視差値区画は、互いに隣接する２つの視差値区画の一部分が重複するように区分けされていることを特徴とする。
これによれば、各視差値区画の移動面検出処理に使用する視差ヒストグラムの情報量を増やして、各視差値区画の移動面情報の検出精度を高めることができる。このように視差値区画を重複させることで、視差値区画間における移動面情報の相関を高めることもできる。

（態様Ｍ’）
前記態様Ｋ’又はＬ’において、前記移動面情報検出手段は、前記視差ヒストグラム情報生成手段が生成した視差ヒストグラム情報の近似直線情報を前記視差値区画ごとに生成し、各視差値区画についての近似直線情報に基づいて移動面の情報を検出するものであり、前記近似直線情報の相関値等の近似精度が所定の閾値よりも低い視差値区画については、該視差値区画を広げることを特徴とする。
これによれば、各視差値区画について高い近似精度の近似直線を得ることができ、移動面情報の検出精度を向上させることができる。

（態様Ｎ’）
前記態様Ｋ’又はＬ’において、前記移動面情報検出手段は、前記視差ヒストグラム情報生成手段が生成した視差ヒストグラム情報の近似直線情報を前記視差値区画ごとに生成し、各視差値区画についての近似直線情報に基づいて移動面の情報を検出するものであり、近似直線情報を生成する際に用いる視差ヒストグラム情報の情報量が所定の閾値よりも少ない視差値区画については、該視差値区画を広げることを特徴とする。
これによれば、各視差値区画について高い近似精度の近似直線を得ることができ、移動面情報の検出精度を向上させることができる。

（態様Ｏ’）
前記態様Ｋ’又はＬ’において、前記移動面情報検出手段は、前記視差ヒストグラム情報生成手段が生成した視差ヒストグラム情報の近似直線情報を前記視差値区画ごとに生成し、各視差値区画についての近似直線情報に基づいて移動面の情報を検出するものであり、生成される近似直線情報の傾き及び切片の少なくとも一方が規定範囲から外れる視差値区画については、該視差値区画を広げることを特徴とする。
これによれば、各視差値区画について高い近似精度の近似直線を得ることができ、移動面情報の検出精度を向上させることができる。

（態様Ｐ’）
移動面上を移動する移動体の移動方向前方における移動面の情報を検出する移動面情報検出手段と、前記移動面情報検出手段の検出結果に基づいて、前記移動体に搭載された所定の機器を制御する移動体機器制御手段とを備えた移動体機器制御システムにおいて、前記移動面情報検出手段として、前記態様Ａ’〜Ｏ’のいずれかの態様に係る移動面情報検出装置を用いたことを特徴とする。
これによれば、移動体に搭載された所定の機器をより高精度に制御することが可能となる。

（態様Ｑ’）
所定の機器を搭載して移動面上を移動する車両等の移動体において、前記所定の機器を制御する手段として、前記態様Ｐ’に係る移動体機器制御システムを用いたことを特徴とする。
これによれば、搭載された所定の機器がより高精度に制御される移動体を提供することが可能となる。

（態様Ｒ’）
移動面上を移動する移動体に搭載された複数の撮像手段により移動体移動方向前方を撮像して得られる複数の撮像画像に基づいて、移動体移動方向前方における移動面の情報を検出する移動面情報検出装置のコンピュータに実行させるための移動面情報検出用プログラムであって、前記複数の撮像画像から生成される視差画像情報に基づいて、前記撮像画像を上下方向に複数分割して得られる各行領域内における視差値の頻度分布を示す視差ヒストグラム情報を生成する視差ヒストグラム情報生成手段、及び、前記視差ヒストグラム情報生成手段が生成した視差ヒストグラム情報に基づいて、移動面の情報を検出する移動面検出処理を行う移動面情報検出手段として、前記コンピュータを機能させるものであり、前記視差ヒストグラム情報生成手段は、撮像画像上における所定の仮想基準移動面を映し出す画素についての視差値と画像上下方向位置との関係を示す基準情報に基づいて定まる所定の抽出範囲内に属するという条件を含む抽出条件を満たす部分に限定した視差ヒストグラム情報を生成することを特徴とする。
これによれば、移動面画像領域に対応する視差ヒストグラム情報部分を抽出して移動面情報を高精度に検出することが可能となる。

なお、上述したプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録された状態で配布したり、入手したりすることができる。また、このプログラムを乗せ、所定の送信装置により送信された信号を、公衆電話回線や専用線、その他の通信網等の伝送媒体を介して配信したり、受信したりすることでも、配布、入手が可能である。この配信の際、伝送媒体中には、コンピュータプログラムの少なくとも一部が伝送されていればよい。すなわち、コンピュータプログラムを構成するすべてのデータが、一時に伝送媒体上に存在している必要はない。このプログラムを乗せた信号とは、コンピュータプログラムを含む所定の搬送波に具現化されたコンピュータデータ信号である。また、所定の送信装置からコンピュータプログラムを送信する送信方法には、プログラムを構成するデータを連続的に送信する場合も、断続的に送信する場合も含まれる。

１００ 自車両
１０１ 撮像ユニット
１０２ 画像解析ユニット
１０６ 車両走行制御ユニット
１１０Ａ，１１０Ｂ 撮像部
１３１ 平行化画像生成部
１３２ 視差画像生成部
１３３ Ｖマップ生成部
１３３Ａ 車両動作情報入力部
１３３Ｂ 視差画像路面領域設定部
１３３Ｃ，１３３Ｆ 処理範囲抽出部
１３３Ｄ，１３３Ｅ マップ情報生成部
１３３Ａ' マップ投票部
１３３Ｂ' ノイズ領域最大頻度検出部
１３３Ｃ' 頻度補正部
１３４ 路面形状検出部
１３４Ａ 路面候補点検出部
１３４Ｂ 区分直線近似部
１３５ 路面高さテーブル算出部
１３６ Ｕマップ生成部
１３７ 孤立領域検出部
１３８ 視差画像の対応領域検出部
１３９ オブジェクト領域抽出部
１４０ オブジェクトタイプ分類部
１４１ ３次元位置決定部
１４２ ガードレール検出部

特開２０１０−２７１９６４号公報

Claims (15)

1. 移動面上を移動する移動体に搭載された複数の撮像手段により移動体移動方向前方を撮像して得られる複数の撮像画像に基づいて、移動体移動方向前方における移動面の情報を検出する移動面情報検出装置において、
   前記複数の撮像画像に基づいて視差情報を生成する視差情報生成手段と、
   前記視差情報に基づいて、前記撮像画像を上下方向に複数分割して得られる各行領域内における視差値の頻度分布を示す視差ヒストグラム情報を生成する視差ヒストグラム情報生成手段と、
   前記視差ヒストグラム情報に基づき、所定の頻度閾値を超える頻度をもった視差値を選別処理対象として決定し、その選別処理対象の中から、移動面の視差値が示す特徴に合致した一群の視差値を選別する処理を行う視差値選別手段と、
   前記視差値選別手段の選別結果に基づいて、移動面の情報を検出する移動面情報検出手段とを有し、
   前記視差値選別手段は、過去に選別した視差値に基づいて前記選別処理対象を決定することを特徴とする移動面情報検出装置。
2. 請求項１の移動面情報検出装置において、
   前記視差値選別手段は、選別した一群の視差値に基づいて各行領域に対応する１つの視差値を決定し、
   前記移動面情報検出手段は、前記視差値選別手段が決定した視差値に基づいて、移動面の位置情報を検出し、
   前記視差値選別手段は、前記視差ヒストグラム情報が示す視差値頻度分布内で、各行領域における過去に決定した各視差値の分布箇所よりも撮像画像下側に対応する箇所に分布する視差値を除外するように、前記選別処理対象を決定することを特徴とする移動面情報検出装置。
3. 請求項１又は２の移動面情報検出装置において、
   前記視差値選別手段は、選別した一群の視差値に基づいて各行領域に対応する１つの視差値を決定し、
   前記移動面情報検出手段は、前記視差値選別手段が決定した視差値に基づいて、移動面の位置情報を検出し、
   前記視差値選別手段は、前記視差ヒストグラム情報が示す視差値頻度分布内で、各行領域における過去に決定した各視差値の分布箇所よりも撮像画像下側に対応する箇所に分布する視差値の最大頻度を、前記所定の頻度閾値を決定し、決定した頻度閾値を用いて前記選別処理対象を決定することを特徴とする移動面情報検出装置。
4. 請求項１乃至３のいずれか１項に記載の移動面情報検出装置において、
   前記視差値選別手段は、前記視差ヒストグラム情報を、撮像画像の左右方向位置に応じて２以上の左右方向区画に区分けし、左右方向区画ごとに、前記選別処理対象の中から前記特徴に合致した一群の視差値を選別する移動面情報検出装置。
5. 移動面上を移動する移動体に搭載された複数の撮像手段により移動体移動方向前方を撮像して得られる複数の撮像画像に基づいて、移動体移動方向前方における移動面の情報を検出する移動面情報検出装置において、
   前記複数の撮像画像から生成される視差画像情報に基づいて、前記撮像画像を上下方向に複数分割して得られる各行領域内における視差値の頻度分布を示す視差ヒストグラム情報を生成する視差ヒストグラム情報生成手段と、
   前記視差ヒストグラム情報生成手段が生成した視差ヒストグラム情報に基づいて、移動面の情報を検出する移動面検出処理を行う移動面情報検出手段とを有し、
   前記視差ヒストグラム情報生成手段は、撮像画像上における所定の仮想基準移動面を映し出す画素についての視差値と画像上下方向位置との関係を示す基準情報に基づいて定まる所定の抽出範囲内に属するという条件を含む抽出条件を満たす部分に限定した視差ヒストグラム情報を生成することを特徴とする移動面情報検出装置。
6. 請求項５の移動面情報検出装置において、
   前記視差ヒストグラム情報生成手段は、前記視差画像情報から得られる抽出前視差ヒストグラム情報の中から前記抽出条件を満たす部分を抽出し、抽出した部分を前記視差ヒストグラム情報として生成することを特徴とする移動面情報検出装置。
7. 請求項５の移動面情報検出装置において、
   前記視差ヒストグラム情報生成手段は、前記視差画像情報から前記抽出条件を満たす部分を抽出し、抽出した部分に係る視差画像情報から視差ヒストグラム情報を生成することを特徴とする移動面情報検出装置。
8. 請求項５乃至７のいずれか１項に記載の移動面情報検出装置において、
   前記所定の仮想基準移動面は、前記移動体の真下に位置する移動面部分と平行な面を撮像方向へ延長した面であることを特徴とする移動面情報検出装置。
9. 請求項５乃至８のいずれか１項に記載の移動面情報検出装置において、
   前記所定の抽出範囲は、前記移動体の加速時及び減速時の少なくとも一方の時の当該移動体の姿勢変化によって移動面を映し出す画素に対応した視差ヒストグラム情報が変動する範囲が含まれるように設定されていることを特徴とする移動面情報検出装置。
10. 請求項５乃至９のいずれか１項に記載の移動面情報検出装置において、
    前記視差ヒストグラム情報生成手段は、前記撮像画像内における移動面の消失点を示す消失点情報に基づいて撮像画像の一部である所定の移動面画像候補領域を特定し、該所定の移動面画像候補領域に対応した視差画像情報に基づいて、前記視差ヒストグラム情報を生成することを特徴とする移動面情報検出装置。
11. 請求項５乃至１０のいずれか１項に記載の移動面情報検出装置において、
    前記基準情報は、縦軸に画像上下方向位置をとりかつ横軸に視差値をとった視差ヒストグラムマップ上に前記所定の仮想基準移動面についての視差値と画像上下方向位置との関係を示したときに得られる基準直線が、前記撮像画像内における移動面の消失点に対応する該視差ヒストグラムマップ上の地点又はその近傍を通るように、設定されていることを特徴とする移動面情報検出装置。
12. 請求項５乃至１１のいずれか１項に記載の移動面情報検出装置において、
    前記移動面情報検出手段は、前記視差ヒストグラム情報を視差値に応じて２以上の視差値区画に区分けし、少なくとも２つの視差値区画間で異なるアルゴリズムを用いて、前記移動面検出処理を行うことを特徴とする移動面情報検出装置。
13. 移動面上を移動する移動体の移動方向前方における移動面の情報を検出する移動面情報検出手段と、
    前記移動面情報検出手段の検出結果に基づいて、前記移動体に搭載された所定の機器を制御する移動体機器制御手段とを備えた移動体機器制御システムにおいて、
    前記移動面情報検出手段として、請求項１乃至１２のいずれか１項に記載の移動面情報検出装置を用いたことを特徴とする移動体機器制御システム。
14. 移動面上を移動する移動体に搭載された複数の撮像手段により移動体移動方向前方を撮像して得られる複数の撮像画像に基づいて、移動体移動方向前方における移動面の情報を検出する移動面情報検出装置のコンピュータに実行させるための移動面情報検出用プログラムであって、
    前記複数の撮像画像に基づいて視差情報を生成する視差情報生成工程と、
    前記視差情報に基づいて、前記撮像画像を上下方向に複数分割して得られる各行領域内における視差値の頻度分布を示す視差ヒストグラム情報を生成する視差ヒストグラム情報生成工程と、
    前記視差ヒストグラム情報に基づき、所定の頻度閾値を超える頻度をもった視差値を選別処理対象として決定し、その選別処理対象の中から、移動面の視差値が示す特徴に合致した一群の視差値を選別する処理を行う視差値選別工程と、
    前記視差値選別工程の選別結果に基づいて、移動面の情報を検出する移動面情報検出工程とを、前記コンピュータに実行させるものであって、
    前記視差値選別工程では、過去に選別した視差値に基づいて前記選別処理対象を決定することを特徴とする移動面情報検出用プログラム。
15. 移動面上を移動する移動体に搭載された複数の撮像手段により移動体移動方向前方を撮像して得られる複数の撮像画像に基づいて、移動体移動方向前方における移動面の情報を検出する移動面情報検出装置のコンピュータに実行させるための移動面情報検出用プログラムであって、
    前記複数の撮像画像から生成される視差画像情報に基づいて、前記撮像画像を上下方向に複数分割して得られる各行領域内における視差値の頻度分布を示す視差ヒストグラム情報を生成する視差ヒストグラム情報生成手段、及び、
    前記視差ヒストグラム情報生成手段が生成した視差ヒストグラム情報に基づいて、移動面の情報を検出する移動面検出処理を行う移動面情報検出手段として、前記コンピュータを機能させるものであり、
    前記視差ヒストグラム情報生成手段は、撮像画像上における所定の仮想基準移動面を映し出す画素についての視差値と画像上下方向位置との関係を示す基準情報に基づいて定まる所定の抽出範囲内に属するという条件を含む抽出条件を満たす部分に限定した視差ヒストグラム情報を生成することを特徴とする移動面情報検出用プログラム。

Images