JP2012123495A - 走行環境認識装置 - Google Patents

Abstract

【課題】 走行環境を更に精度良く認識可能な走行環境認識装置を提供すること。
【解決手段】 車両に搭載され少なくとも車両の進行方向前方領域の情報を認識する情報認識部と、認識された環境から自車両前方の走行路の路面と、この路面より低い位置を算出する走行路面算出部と、を備えた。
【選択図】 図１５

Description

本発明は、車両が走行している走行環境を認識する走行環境認識装置に関する。

特許文献１に記載の技術には、車両の側方の特定位置を複数の超音波センサを用いてセンシングし、路面の高さを検出している。

特開２００９−２８６２２２号公報

しかしながら、上記従来技術では、特定の位置を監視しているため、車両前方や遠方をセンシングすることができず、車両制御上の安全性の向上を十分に図れていない。
本発明の目的は、走行環境を更に精度良く認識可能な走行環境認識装置を提供することにある。

上記目的を達成するため、本発明では、車両に搭載され少なくとも車両の進行方向前方領域の情報を認識する情報認識部と、認識された環境から自車両前方の走行路の路面と、この路面より低い位置を算出する走行路面算出部と、を備えた。

よって、路面より低い位置を検出することが可能となり、車両の進行方向前方領域の情報を精度良く認識することができる。

実施例１の走行環境認識システムを適用した車両の構成図である。 実施例１の電子制御ユニットの制御ブロック図である。 実施例１の車線逸脱防止制御の流れを示すフローチャートである。 左右車線境界線と車両固定座標との関係を示す図である。 車線境界線から求めた仮想車線境界線を示す図である。 車線境界線の代表点から求めた仮想車線境界線を示す図である。 車線境界線から求めた仮想車線境界線を示す図である。 車線境界線の代表点から求めた仮想車線境界線を示す図である。 実施例１の走行環境認識システムの構成を表すブロック図である。 実施例１の走行環境認識システム内における画像処理を表すフローチャートである。 急峻な斜面部分を有する土手道路を模式的に示す概略図である。 急峻な斜面部分を有する土手道路を自車両から撮像した際の映像を模式的に示す撮像画像である。 実際の道路を撮像した際に同時に撮影される特徴点を表す概略図である。 実施例１における画像データの重合処理を表す概略図である。 実施例１の土手道路を撮像して認識した結果を道路横断方向で表す模式図である。 緩やかな斜面部分を有する土手道路を模式的に示す概略図である。 緩やかな斜面部分を有する土手道路を自車両から撮像した際の映像を模式的に示す撮像画像である。 土手道路を撮像して認識した結果を道路横断方向で表す模式図である。 実施例２の走行環境認識システムを備えた車両のシステム構成図である。 実施例２の画像データの重合処理を表す概略図である。

〔実施例１〕
図１は、実施例１の走行環境認識システムを適用した車両の構成図である。
実施例１の車両は、走行環境認識システム1、電動パワーステアリング2、電動油圧ブレーキユニット3、ブレーキブースタ4、ステアリングホイール5、左前輪6、右前輪7、左後輪8、右後輪9、電子制御ユニット10および車両運動検出センサ11を備える。
走行環境認識システム1は、後述する自車両の前端中央位置に取り付けられたカメラ等を用いて自車両の前方を撮像し、走行環境のデータを作成する。電動パワーステアリング2は、ステアリングホイール5の操舵角に応じた指令に基づいて左右前輪6,7を転舵するが、操舵角と独立して左右前輪6,7を転舵することも可能である。電動油圧ブレーキユニット3は、運転者のブレーキ操作力に応じて、または、車両状態に応じて４輪の制動力を独立に制御する。ブレーキブースタ4は、運転者のブレーキ操作力を倍力して電動油圧ブレーキユニット3へ出力する。車両運動検出センサ11は、車両の速度（車速）、前後加速度、横加速度、ヨーレート、操舵角、操舵トルク等を検出する。
電子制御ユニット10は、車両運動検出センサ11の各検出値に基づいて、走行環境認識システム1、電動パワーステアリング2、電動油圧ブレーキユニット3を制御する。電子制御ユニット10は、車線逸脱防止制御（車線逸脱抑制制御）として、走行環境認識システム1の撮像画像から認識した車線境界線を自車両が逸脱しそうな場合には、電動パワーステアリング2および／または電動油圧ブレーキユニット3を駆動し、車両にヨーモーメントおよび／または減速度を付与して車両が車線から逸脱するのを抑制する。
電動油圧ブレーキユニット3は、運転者のブレーキ操作力によって駆動される場合には、左右前輪6,7および左右後輪8,9にそれぞれ等しい制動力を作用させるが、車線逸脱防止制御では、左右前輪6,7および左右後輪8,9の制動力に差を付けて左右制動力を発生させることで車両にヨーモーメントを付与することができる。また、電動パワーステアリング2は、運転者による操作と車線逸脱防止制御との両方から指令を受けた場合、両者の和を取って駆動を行う。

（車線逸脱防止制御システムについて）
図２は、実施例１の電子制御ユニット10の制御ブロック図であり、電子制御ユニット10は、逸脱傾向算出部20と車線逸脱防止制御部（車線逸脱抑制制御部）21とを備える。逸脱傾向算出部20は、車両の走行車線からの逸脱傾向を算出し、車線逸脱防止制御部21は、逸脱傾向算出部20によって車両の走行車線からの逸脱傾向を検出したとき電動パワーステアリング2および／または電動油圧ブレーキユニット3を駆動し、車両に対してヨーモーメントおよび／または減速度を付与して逸脱傾向を抑制する。車線逸脱防止制御部21は、自車両と車線境界線との関係に基づいて車両走行状態を制御することで車両の走行状態を抑制する車両状態抑制制御を実行する車両状態抑制制御部に相当する。
逸脱傾向算出部20は、車線境界線認識部22と、車両現在位置認識部23と、車両予測位置算出部24と、仮想車線境界線算出部25と、作動要否判定部26とを有する。
車線境界線認識部22は、走行環境認識システム1により撮像された自車両前方の画像から、白線、ガードレール、縁石等、自車両の走行している車線の左右に存在する車線境界線を認識する。
車両現在位置認識部（車両端部認識部）23は、あらかじめ設定された自車両内または車両近傍の所定位置である車両現在位置を認識する。車両現在位置は、左右の車線境界線に対してそれぞれ設定する。車両現在位置は、自車両の進行方向前方の車両端部としてもよい。
車両予測位置算出部24は、車両現在位置から進行方向における所定量前方の位置である車両予測位置を認識する。ここで、所定量前方の位置は、車両現在位置から所定時間経過後の自車両の到達位置とする。所定時間は、自車両の車速が高いほど短くしてもよい。また、車両予測位置は、車両現在位置に対応して左右にそれぞれ設定する。車両現在位置を車両端部とした場合には、車両予測位置も車両端部とする。

仮想車線境界線算出部25は、車両予測位置近傍の車線境界線上の任意の位置に対する略接線方向の線である仮想車線境界線を算出する。仮想車線境界線は、左右の車両現在位置に対応してそれぞれ算出する。このとき、左の車線境界線上の仮想車線境界線は、左の車両予測位置に近い位置とし、右の車線境界線上の仮想車線境界線は、右の車両予測位置に近い位置とする。
作動要否判定部26は、車両現在位置と車両予測位置と仮想車線境界線との関係に基づいて、車線逸脱防止制御の作動要否、つまり、車線逸脱防止制御の制御介入をすべきか否かを判定する。作動要否判定部26は、符号判定部26aを有する。符号判定部26aは、仮想車線境界線と車両現在位置とを結ぶ第１線、すなわち、車両現在位置から仮想車線境界線に下ろした垂線と、仮想車線境界線と車両予測位置とを結ぶ第２線、すなわち、車両予測位置から仮想車線境界線に下ろした垂線とを算出し、仮想車線境界線を基準としたときの第１線と第２線の方向性に関する符号を判定する。つまり、仮想車線境界線を挟んで走行車線内側の領域と走行車線外側の領域とに区分し、第１線と第２線とが同じ領域に存在する場合には符号が一致し、異なる領域に存在する場合には符号が不一致となる。
作動要否判定部26は、自車両が左右の仮想車線境界線の間の領域（左右の仮想車線境界線により区画された仮想車線）を走行中、符号判定部26aにより第１線と第２線の符号が一致していると判定された場合には車線逸脱防止制御が不要と判定し、符号が不一致であると判定された場合には車線逸脱防止制御が必要と判定する。具体的には、車両予測位置が仮想車線境界線の外側に存在し、車両現在位置が仮想車線境界線の内側に存在しているとき、車線逸脱防止制御が必要と判定し、それ以外は車線逸脱防止制御が不要と判定する。
車線逸脱防止制御部21は、作動要否判定部26により車線逸脱防止制御が必要と判定された場合には車線逸脱防止制御を実行し、不要と判定された場合には車線逸脱防止制御を実行しない。

［車線逸脱防止制御］
図３は、実施例１の電子制御ユニット10で実行される車線逸脱防止制御の流れを示すフローチャートであり、以下、各ステップについて説明する。なお、この処理は、車両の走行中、例えば、10ms程度の演算周期で繰り返し実行される。
ステップS1では、車線逸脱防止制御部21において、車両運動検出センサ11から受信した車両の速度、前後加速度、横加速度、ヨーレート、操舵角、操舵トルクなどの検出値を読み込む。
ステップS2では、車線境界線認識部22において、走行環境認識システム1から受信した自車両前方の撮像画像から車線境界線位置を認識する。ここで、車線境界線位置は車両固定座標での位置となる。以下の説明における位置も基本的には車両固定座標での位置とする。座標軸は、例えば図４のように自車両31における走行環境認識システム1の取り付け位置を原点Oとして、車両進行方向をX軸、X軸方向と直交する方向、すなわち車幅方向をY軸とする。左右の車線境界線32,33は車線の左右にそれぞれ存在する。ここで、車線境界線は、演算負荷を考慮し、図４の点34,35,36,37,38,39のように数点の代表点で表してもよい。
ステップS3では、車両現在位置認識部23において、車両内部の任意の点、または車両近傍の点を車両現在位置とする。車両現在位置は後述するように左右の車線境界線と位置を比較するものであるため、左右の車線境界線に対応して２点設定する。例えば、車両左前端と右前端としてもよい。そして、車両予測位置算出部24において、ステップS1で読み込んだ検出値とあらかじめ記憶されている車両諸元とから車両現在位置の所定時間後の位置を車両予測位置として算出する。車両予測位置は速度、操舵角、ヨーレート、車両幅、車両長さ、カメラの取り付け位置などに基づいて算出する。車両予測位置も車両現在位置と同様に左右の車線境界線と位置を比較するものであるため、左右の車線境界線に対応して２点設定する。

ステップS4では、仮想車線境界線算出部25において、仮想車線境界線を算出する。仮想車線境界線は、車両予測位置に近い点での車線境界線の接線とする。例えば、図５に示すように、左右の車線境界線上で、車両現在位置40から所定時間経過後の自車両の到達位置である車両予測位置41が最も近い点の接線を左右の仮想車線境界線42としてもよい。図５において、(a)は直線路において自車両31が左の車線境界線32に対して逸脱傾向にある場合、(b)は曲線路において自車両31が曲線路外側の左の車線境界線32に対して逸脱傾向にある場合、(c)は曲線路において自車両31が曲線路内側の右の車線境界線33に対して逸脱傾向にある場合を示している。このとき、演算負荷軽減のために車線境界線を数点の代表点で表す場合には、図６のように車両予測位置41から近い２点の車線境界線の代表点を選択し、その２点を含む直線を仮想車線境界線とする。(a)の場合は２点44,45を含む直線、(b)の場合は２点47,48を含む直線、(c)の場合は２点50,51を含む直線となる。ここで、車両予測位置41と仮想車線境界線42との距離を逸脱量dとする。
また、図７のように車両予測位置41を通る、車両進行方向に対し垂直方向の直線52と車線境界線32（または33）との交点53での車線境界線32（または33）の接線を仮想車線境界線42としてもよい。このとき、演算負荷軽減のために車線境界線を数点の代表点で表す場合には、図８のように車両予測位置41を通る、車両進行方向に対し垂直方向の直線52に近い２点の車線境界線の代表点を選択し、その２点を含む直線を仮想車線境界線とする。(a)の場合には２点44,45を含む直線、(b)の場合には２点47,48を含む直線、(c)の場合には２点50,51を含む直線となる。この場合の逸脱量dは、車両予測位置41を通る、車両進行方向に対し垂直方向の直線52と仮想車線境界線42との交点53と、車両予測位置41との距離とする。
以上のように仮想車線境界線を設定することにより、直線路では車線境界線と仮想車線境界線とが一致し、曲線路外側では車線境界線の外側に仮想車線境界線が算出され、曲線路内側では車線境界線の内側に仮想車線境界線が算出される。なお、算出した仮想車線境界線を少量オフセット、回転させるなどして調整してもよい。

ステップS5では、作動要否判定部26において、車両予測位置がステップS4で算出した仮想車線境界線の外側に存在するか否かを判定し、車両予測位置が仮想車線境界線の外側に存在する場合にはステップS6へ進み、内側に存在する場合には処理を終了する。
ステップS6では、作動要否判定部26において、車両現在位置が仮想車線境界線の内側に存在するか否かを判定し、車両現在位置が仮想車線境界線の内側に存在する場合にはステップS7へ進み、外側に存在する場合には処理を終了する。
ステップS7では、車線逸脱防止制御部21において、下記の式(1)のようにステップS4で算出した逸脱量dにゲインKを乗算して操作量Mを求め、操作量Mに基づいて電動パワーステアリング2および／または電動油圧ブレーキユニット3を駆動してヨーモーメントおよび／または減速度を車両に付与し、車線逸脱防止制御を実行する。
M = K×d …(1)

（走行環境認識システムについて）
次に、走行環境認識システムについて説明する。図９は実施例１の走行環境認識システムの構成を表すブロック図である。走行環境認識システム１は、撮像手段として一対のカメラ３１０ａ及び３１０ｂ（以下、カメラ３１０とも記載する。情報認識部に相当）から構成されたステレオカメラが備えられ、車両周囲の環境を認識する。実施例１の場合は、車両中心から車幅方向に同一距離だけ離れた位置にそれぞれのカメラが設置されている。このとき、カメラは３つ以上備えていても良い。尚、実施例１では、走行環境認識システム１においてカメラの撮像画像を処理する構成について説明するが、画像処理等を他のコントローラで行っても良い。
走行環境認識システム１は、複数のカメラ３１０ａ，３１０ｂで撮像した際に生じる見え方の違い（以降、視差と記載する。）を用い、三角測量の原理によって撮像された対象物までの距離を求める構成を採用している。例えば、対象物までの距離をＺ、カメラ間の距離をＢ、カメラの焦点距離をｆ、視差をδとした場合、以下の関係式が成立する。
Ｚ＝（Ｂ×ｆ）／δ
走行環境認識システム１には、撮像画像を記憶するＲＡＭ３２０と、演算処理を行うＣＰＵ３３０と、データを記憶するデータＲＯＭ３４０と、認識処理プログラムが記憶されたプログラムＲＯＭ３５０とを有する。また、カメラ３１０は車室内のルームミラー部に取り付けられ、自車両前方の様子を所定の俯角、取り付け位置で撮像するように構成されている。カメラ３１０により撮像された自車両前方の画像（以下、撮像画像と記載する。）は、ＲＡＭ３２に取り込まれ、自車両前方の車線及び立体物を検出すると共に、道路形状を推定する（走行路面算出部に相当）。

図１０は実施例１の走行環境認識システム内における画像処理を表すフローチャートである。
ステップ２０１では、左側に配置されたカメラ３１ａの画像の入力処理を行う。
ステップ２０２では、右側に配置されたカメラ３１ｂの画像の入力処理を行う。
ステップ２０３では、撮像された対応点の算出処理を行う。
ステップ２０４では、算出された対応点までの距離算出処理を行う。
ステップ２０５では、距離情報の出力処理を行う。
ステップ２０６では、画像入力信号の有無を判断し、画像入力信号がある場合にはステップ２０１に戻って本フローを繰り返し、画像入力信号が無い場合には演算処理を終了して待機する。

（急峻な斜面を有する道路における認識処理について）
ここで、道路外（自車両が走行している道路の両脇等）が路面より低くなっている場合における画像処理について説明する。図１１は急峻な斜面部分を有する土手道路を模式的に示す概略図である。この土手道路は、道路が断面略台形状の上辺部分に形成され、道路と道路外の領域との間には、斜面部分が形成され、その更に外側に低い部分が存在している場合を示す。以下、道路のことを路面とも記載する。図１２は急峻な斜面部分を有する土手道路を自車両から撮像した際の映像を模式的に示す撮像画像である。この撮像画像では、路端と道路外（道路面より低くなっている領域）とは隣接して撮影される。この道路の場合、斜面の角度がカメラ３１０の俯角より大きな角度を持つ（急峻な斜面）ため死角（撮影されない部分）が生じ、画面上においては斜面部分が撮影されず、路端と低い部分とが隣接して撮像される。そこで、画面上で道路領域とそれ以外の低い部分を表す領域とを検出し、両者の領域の画面上における境界のうち、道路側を実際の道路端として抽出することで、実際の道路環境に合致した検出を行う。

（画像処理の精度向上について）
道路や道路外の領域が視覚的に完全に均質である場合、二つのカメラで撮像されたそれぞれの画像内において、同一の領域である箇所を抽出するということが困難となる。図１３は実際の道路を撮像した際に同時に撮影される特徴点を表す概略図である。図１３に示すように、実際の道路では、舗装に用いられるアスファルトコンクリートの粒や、路面表示、舗装の継ぎ目、舗装に入ったヒビ、走行車両によるタイヤ痕、舗装路でない場合であっても轍といった視覚的に特徴的な部分が随所に存在する（第１の視覚的特徴点を有する第１領域）。また、道路より低い領域においても、雑草などの視覚的に特徴的な部分が随所に存在する（第２の視覚的特徴点を有する第２領域）。すなわち、車両の走行に供するために舗装や整地などの処理を施した路面と、そのような処置を行っていない路面より低い領域とでは視覚的に差異があり、その境界部分が視覚的に特徴的と成る可能性が高い。このように、道路と道路外そしてその境界には多くの視覚的特徴点が存在するため、これらの領域を二つのカメラ３１０によって撮像された画像内において比較し、カメラ３１０からの方向と距離を算出し、それぞれの特徴的な箇所の位置を知ることができる。よって、道路上に存在する特徴点の集合はほぼ同一平面に存在することが理解でき、道路より低い部分に存在する特徴点は、道路外領域に位置することが理解できる。

（重合処理について）
路面形状はカメラ３１０により撮像された自車両前方の画像から道路標示の他路面に存在するアスファルトの細かいヒビやタイヤ痕といった画面上の特徴的な部分を抽出し、二つのカメラの撮像画像における画面上での位置ずれにより当該部分の距離を計測する。しかしながら、このような特徴的部分は路面の全体に満遍なく存在するとは限らず、また、存在したとしても常時検出可能か否かは不明である。同様に、路面より低い領域においても、その領域の各所で特徴的な部分が常に検出可能とは限らない。よって、更なる精度の向上を図る必要がある。そこで、得られた距離データをデータＲＯＭ３４０内に蓄積し（距離データ蓄積部に相当）、次回以降のタイミングで撮影された画像により得られるデータとの重合を行う。図１４は実施例１における画像データの重合処理を表す概略図である。例えば前回撮影した撮像画像により認識できる部分と、今回撮影して撮像画像により認識できる部分とを重ねあわせ、前回の撮像画像では距離情報を得られなかった箇所であっても、今回の撮像画像で新たに得られた距離情報を重ね合わせることで、道路や周辺環境の検出精度を高めることができる。尚、図１４に示すように、自車両が走行中であり、得られる画像が時間により変化する場合であっても、その撮像間隔が車速によって移動する距離が短ければ、得られる複数の画像は同じ領域が写っているため、これら同じ領域が写った領域を重ね合わせればよい。これらの重ね合わせは２回に限らず可能な範囲において複数回分を重ね合わせることが有効である。
尚、撮像画像間において同一箇所と認識された位置における距離データに相違が生じた場合には、新しいデータを優先させてもよい。これにより、より新しいデータを用いることで認識精度を高めることができる。また、複数データの平均を採用してもよい。これにより、データに含まれる外乱等の影響を排除して安定した認識を実現できる。また、周囲のデータとのばらつきが少ないものを抽出するようにしてもよい。これにより、安定したデータに基づいて演算でき、認識精度を高めることができる。これら種々の処理方法が挙げられるため、これらを組み合わせてもよいし、いずれかの方法を採用してもよい。

（路端認識処理について）
図１５は土手道路を撮像して認識した結果を道路横断方向で表す模式図である。この場合、斜面部分が急峻であり、カメラの死角に存在しているため、撮像画像内には映らず、映像内では道路部分と道路より低い部分が直接接しているように見えている。しかしながら、画面上では隣接している道路の端部の点６０１と道路外の点６０２は、実際には図１５に示すように隣接しておらず、若干離れた位置に存在していることが分かる。したがって、路端の点を点６０２の位置として出力することは不正確となるため、点６０１を路端の点として出力する。
図１５において、仮に点６０１に相当する位置のデータが検出されず、例えば点６０１よりも道路内側の点６０３が路面に存在する点として一番端の点であると検出された場合を想定する。この場合は、画面上も点６０２に相当する領域と点６０３に相当する領域の間が何も写っていない領域となり、路端がこの間のどこに位置するかが不明となる。しかしながら、路面より低い部分に存在する点６０２が観測可能なことから、カメラ３１から点６０２を俯瞰する方向には道路は存在しないことが類推できる。従って、路端は少なくとも点６０３と、この場合は検出されていない点６０１の間の領域に存在することが類推可能である。よって、点６０３と点６０２の間であって境界部相当位置よりも道路側の位置を路端として出力する。

（緩やかな斜面を有する道路における路端認識処理について）
図１６は緩やかな斜面部分を有する土手道路を模式的に示す概略図である。この土手道路は、道路が断面略台形状の上辺部分に形成され、道路と道路外の領域との間には、斜面部分が形成され、その更に外側に低い部分が存在している場合を示す。図１７は緩やかな斜面部分を有する土手道路を自車両から撮像した際の映像を模式的に示す撮像画像である。この撮像画像では、路端と斜面部分とが隣接して撮影され、斜面部分と道路外（道路面より低くなっている領域）とが隣接して撮影される。この道路の場合、斜面の角度がカメラ３１０の俯角より小さな角度を持つ（緩やかな斜面）ため死角（撮影されない部分）は生じない。
図１８は土手道路を撮像して認識した結果を道路横断方向で表す模式図である。この場合、斜面部分が緩やかであり、カメラに撮像されているため、映像内では、道路部分と斜面部分とが隣接し、斜面部分と道路より低い部分とが隣接しているように見えている。ここでは路端の認識が重要であり、斜面部分と低い部分とを区別する必要は無く、路面高さに位置しない点を一律に道路外と扱えばよい。従って、点９０１が道路領域の端部であり、点９０２が道路外領域で最も道路寄りの点と認識される。よって、実際の路端は点９０１と点９０２との間に存在すると類推できる。

（路端認識精度の向上について）
尚、道路と道路外との間が緩やかな勾配で接続されている場合においては、この勾配部をカメラで撮像することができ、その距離情報を取得することができる。これにより、この勾配部分は車両の通行に適さない斜面部分であることが検出可能であり、この勾配部分と道路部分との境界を道路境界（すなわち路端）とみなすことができる。
また、例えば、断崖絶壁の道路である場合や、道路下領域のコントラストがあいまいである場合など、道路より低い領域の高さが著しく低く、この領域を検出することができない場合であっても、道路外であると認識できることに変わりは無い。
また、検出された道路端は実際の道路の端部であると期待されるが、実際には検出誤差によるずれがあり、また、路端は下部構造が脆弱であり、路端に寄って走行することは不適である場合もある。こうした可能性に対処するべく、検出された路端より適宜道路内側に寄った位置（第２の所定位置）を路端として出力することも有効である。また、これとは逆に、実施例１のように車線逸脱防止制御システムと組み合わせて使用する場合には、過剰な制御や警告を抑止する観点から路端より適宜道路外側に寄った位置を路端として出力することも有効である。

（虚像撮影時の対処について）
道路より低い領域の存在を抽出し、これを道路外と判断する場合、道路上に水溜りが生じ、これに反射する虚像を検出する場合、見かけ上、この虚像は路面より下に位置することから、水溜り領域が路面より低い領域であると誤認識するおそれがある。ここで、水溜りに写る虚像には、実像とは異なる特徴を持つことから、これを実際に路面より低い領域とは区別して排除する。具体的には、以下のような特徴が挙げられる。
ａ）虚像は遠方の物体が写り込んでいるため、画面上では虚像が存在する領域より遠方に虚像の見かけ上の距離より近傍となる路面領域が存在する。
ｂ）水面が完全な平面でないことにより虚像は大きく歪んでいる場合があり、その結果水溜り領域の距離がばらつく
ｃ）水面が安定しない場合、時間経過により虚像の見かけ上の位置が変化する
ｄ）路上物体と路面（水面）を挟んで対象となる位置に物体が存在するように見える
ｅ）走行車両の虚像である場合、路面より低い領域にあるにもかかわらず移動する
といった実像では起こる可能性の極めて低い特徴を有する。こうした特徴を検出することで、実像ではない、すなわち虚像であると判断できる。

以上説明したように、実施例１にあっては下記に列挙する作用効果を得ることができる。
（１）車両に搭載され少なくとも車両の進行方向前方領域の情報を認識するカメラ３１０（情報認識部）と、認識された環境から自車両前方の走行路の路面とこの路面より低い位置を算出する走行環境認識システム（走行路面算出部）と、を備えた。
よって、路面より低い位置を検出することが可能となり、車両の進行方向前方領域の情報を精度良く認識することができる。
（２）上記（１）において、情報認識部は車両の進行方向前方領域の情報を撮像するカメラである。よって、画像として車両前方の走行環境を認識することができる。
（３）上記（２）において、情報認識部は複数のカメラ３１０が同一の対象物を撮影したときに発生する視差を利用して距離を計測するステレオカメラであって、情報は距離に関する情報である。よって、車両前方の障害物までの距離や、路面状況を距離に基づいて把握することができる。
（４）上記（３）において、走行環境認識システムは距離に関する情報と撮像された情報とから道路領域（第１の視覚的特徴点の第１領域）と道路外領域（第２の視覚的特徴点の第２領域）とを認識し、認識した各領域に関連付けて路面及び路面より低い位置とを算出する。よって、視覚的特徴点と距離情報の両方から路面と路面より低い位置とを認識することで、認識精度を向上することができる。
（５）上記（４）において、各領域は互いに連続し、走行環境認識システムは各領域の境界部相当位置を路面の路端として算出する。よって、路端を精度良く認識することができる。
（６）上記（５）に記載の走行環境認識装置において、走行環境認識システムは道路領域側の点６０１（第１の所定位置）と境界部相当位置との間の第２の所定位置を路端として算出してもよい。これにより、路端における下部構造の脆弱性に起因する危険を回避することができる。
（７）上記（４）に記載の走行環境認識装置において、走行環境認識システムは、距離に関する情報を所定時間毎に蓄積するデータＲＯＭ３４０（距離データ蓄積部）を備え、対応した領域同士の蓄積したデータを重合して各領域を算出する。よって、認識精度を向上することができる。
（８）上記（７）に記載の走行環境認識装置において、走行環境認識システムは、蓄積したデータを重合したときに前回のデータと今回のデータに相違がある場合は今回のデータに基づき各領域を算出する。より新しいデータを用いることで認識精度を高めることができる。
（９）上記（７）に記載の走行環境認識装置において、走行環境認識システムは、蓄積したデータを重合したときに前回のデータと今回のデータとに相違がある場合は、相違があるデータ同士を平均したデータに基づき各領域を算出する。よって、データに含まれる外乱等の影響を排除して安定した認識を実現できる。

〔実施例２〕
次に、実施例２について説明する。基本的な構成は実施例１と同様であるため、異なる点についてのみ説明する。実施例１では車線逸脱防止制御システムと組み合わせた例を示したが、実施例２では単に警報のみを行う警報システムと組み合わせたものである。また、実施例１ではステレオカメラ３１０を用いたが、実施例２では単一のカメラを用いる点が異なる。
図１９は実施例２の走行環境認識システムを備えた車両のシステム構成図である。走行環境認識システム１００は、撮像手段として単一のカメラ３１０（情報認識部に相当）が備えられ、車両周囲の環境を認識する。走行環境認識システム１は、単一のカメラ３１０で異なる時刻に撮像した同一計測点の画像内での位置の違いを用い、その点の位置を認識する。即ち、車両が移動するにあたり、カメラ３１０で撮像された画像内では、近傍の点ほど高速で移動し、遠方の点ほど低速で移動する。このことと、画像内での位置から、計測点までの距離と方角を知ることができ、撮像された環境の３次元形状を認識できる。
走行環境認識システム１には、撮像画像を記憶するＲＡＭ３２０と、演算処理を行うＣＰＵ３３０と、データを記憶するデータＲＯＭ３４０と、認識処理プログラムが記憶されたプログラムＲＯＭ３５０とを有する。また、カメラ３１０は車室内のルームミラー部に取り付けられ、自車両前方の様子を所定の俯角、取り付け位置で撮像するように構成されている。カメラ３１０により撮像された自車両前方の画像（以下、撮像画像と記載する。）は、ＲＡＭ３２０に取り込まれ、自車両前方の車線及び立体物を検出すると共に、道路形状を推定する（走行路面算出部に相当）。
走行環境認識システム１は警報システムの制御を行うコントローラ２００と接続され、更に、車室内に設置され各種画像及び情報を表示するためのディスプレイ１１５と接続されている。また、コントローラ２００には、自車が障害物に衝突する危険性がある際に警報音を発するスピーカ１１９と、エンジンを始動する際にＯＮとなるイグニッションスイッチ１２０と、警報システムを起動する起動スイッチ１２１とが接続されている。

実施例１では、左右のカメラの撮像画像から認識処理を実行したが、実施例２では同一カメラの異なる時刻において撮像された撮像画像から認識処理を実行する点が異なるが、その他の基本的な認識ロジックは同じであるため省略し、異なる点についてのみ説明する。

（画像処理の精度向上について）
道路や道路外の領域が視覚的に完全に均質である場合、単一のカメラ３１０で撮像された異なる時刻におけるそれぞれの画像内において、同一の領域である箇所を抽出するということが困難となる。このことは、図１３を用いて上述した通りである。このように、道路と道路外そしてその境界には多くの視覚的特徴点が存在するため、これらの領域を単一のカメラ３１０の異なる時刻において撮像された複数の画像内において比較し、カメラ３１０からの方向と距離を算出し、それぞれの特徴的な箇所の位置を知ることができる。よって、道路上に存在する特徴点の集合はほぼ同一平面に存在することが理解でき、道路より低い部分に存在する特徴点は、道路外領域に位置することが理解できる。

（重合処理について）
路面形状はカメラ３１０により撮像された自車両前方の画像から道路標示の他路面に存在するアスファルトの細かいヒビやタイヤ痕といった画面上の特徴的な部分を抽出し、単一のカメラ３１０により撮像された異なる時刻における複数の撮像画像における画面上での位置ずれにより当該部分の距離を計測する。しかしながら、このような特徴的部分は路面の全体に満遍なく存在するとは限らず、また、存在したとしても常時検出可能か否かは不明である。同様に、路面より低い領域においても、その領域の各所で特徴的な部分が常に検出可能とは限らない。よって、更なる精度の向上を図る必要がある。そこで、得られた距離データをデータＲＯＭ３４０内に蓄積し（距離データ蓄積部に相当）、次回以降のタイミングで撮影された画像により得られるデータとの重合を行う。図２０は実施例２の画像データの重合処理を表す概略図である。単一カメラ３１０の場合、距離を認識するには異なる時刻で撮影された画像が必要であるため、前回の制御周期において、前々回撮影した撮像画像により認識できる部分と、前回撮影した撮像画像により認識できる部分との差分により前回制御周期における距離データを記憶し、次に、前回撮影した撮像画像により認識できる部分と、今回撮影した撮像画像により認識できる部分との差分により今回制御周期における距離データを記憶し、これら記憶された距離データを重ねあわせる。これにより、前回の制御周期では距離情報を得られなかった箇所であっても、今回の制御周期で新たに得られた距離情報を重ね合わせることで、道路や周辺環境の検出精度を高めることができる。尚、図２０に示すように、自車両が走行中であり、得られる画像が時間により変化する場合であっても、その撮像間隔が車速によって移動する距離が短ければ、得られる複数の画像は同じ領域が写っているため、これら同じ領域が写った領域を重ね合わせればよい。これらの重ね合わせは２回に限らず可能な範囲において複数回分を重ね合わせることが有効である。

以上説明したように、実施例２にあっては下記の作用効果を得ることができる。
（１０）上記（２）に記載の走行環境認識装置において、情報認識部は単一のカメラ３１０であって、走行環境認識システム１００はカメラ３１０が撮像した画像の距離に関する情報でカメラ３１０が撮像した領域のうちカメラ３１０に近い領域とカメラから遠い領域との間で発生する撮像された物体の移動速度の違いに応じて高低差を算出する。よって、少ないカメラで効率よく車両前方の走行環境を認識することができる。

（他の実施例）
以上、実施例１，２に基づいて本発明の走行環境認識装置を説明したが、上記構成に限らず、他の構成であっても本願発明を適用できる。例えば、実施例１，２では情報認識部としてカメラを用いたが、レーザレーダまたはミリ波レーダを採用し、自車両前方の路面及び路面より低い位置に反射して戻ってきた距離に関する情報を使用することとしてもよい。また、各種システムは適宜組み合わせ可能である。
以下、上記実施例の記載から把握しうる技術的思想について列挙する。
（１１）上記（１）に記載の走行環境認識装置において、情報認識部は、レーザレーダまたはミリ波レーダであって、前記情報は自車両前方の路面及び路面より低い位置に反射して戻ってきた距離に関する情報であることを特徴とする走行環境認識装置。よって、太陽光等の影響を受けることなく距離情報を得ることができる。
（１２）車両に搭載され車両の進行方向前方領域の環境を認識するためのカメラと、
前記認識された環境から自車両前方の物体までの距離に基づき距離データを用いて走行路と走行路の周辺の前記路面より低い位置との境界部を算出する走行路面算出部と、
を備えたことを特徴とする走行環境認識装置。
よって、路面より低い位置を検出することが可能となり、車両の進行方向前方領域の情報を精度良く認識することができる。
（１３）上記（１２）に記載の走行環境認識装置において、前記カメラは複数のカメラが同一の対象物を撮影したときに発生する視差を利用して距離を計測するステレオカメラであって、前記情報は前記距離に関する情報であることを特徴とする走行環境認識装置。
よって、車両前方の障害物までの距離や、路面状況を距離に基づいて把握することができる。
（１４）上記（１３）に記載の走行環境認識装置において、
前記走行路面算出部は前記距離に関する情報は撮像された情報から第１の視覚的特徴点の第１領域と第２の視覚的特徴点の第２領域とを認識し、認識した各領域に関連付けて路面及び路面より低い位置を算出することを特徴とする走行環境認識装置。
よって、視覚的特徴点と距離情報の両方から路面と路面より低い位置とを認識することで、認識精度を向上することができる。
（１５）上記（１４）に記載の走行環境認識装置において、
前記各領域は互いに連続し、前記走行路面算出部は前記各領域の境界部相当位置を前記路面の路端として算出することを特徴とする走行環境認識装置。
よって、路端を精度良く認識することができる。
（１６）上記（１４）に記載の走行環境認識装置において、
前記走行路面算出部は前記第１領域側の第１の所定位置と前記境界部相当位置との間の第２の所定位置を前記路面の路端として推定することを特徴とする走行環境認識装置。
これにより、路端における下部構造の脆弱性に起因する危険を回避することができる。
（１７）上記（１６）に記載の走行環境認識装置において、
前記走行路面算出部は、前記距離に関する情報を所定時間毎に蓄積する距離データ蓄積部を備え、前記対応した領域同士の蓄積したデータを重合して前記各領域を算出することを特徴とする走行環境認識装置。
よって、認識精度を向上することができる。
（１８）上記（１７）に記載の走行環境認識装置において、
前記走行路面算出部は、前記蓄積したデータを重合したときに前回のデータと今回のデータに相違がある場合は今回のデータに基づき各領域を算出することを特徴とする走行環境認識装置。
より新しいデータを用いることで認識精度を高めることができる。
（１９）上記（１８）に記載の走行環境認識装置において、
前記走行路面算出部は、前記蓄積したデータを重合したときに前回のデータと今回のデータに相違がある場合は、相違があるデータ同士を平均したデータに基づき各領域を算出することを特徴とする走行環境認識装置。
よって、データに含まれる外乱等の影響を排除して安定した認識を実現できる。
（２０）車両に搭載され車両の進行方向前方領域の走行路面を含む情報を撮像し、複数のカメラが同一の対象物を撮影したときに発生する視差を利用して距離を計測するステレオカメラと、
前記ステレオカメラが計測した距離データを用いて走行路である第１の領域と、走行路の周辺であって前記路面より低い位置にある第２の領域を算出し、両領域の境界部を走行路端として算出する走行路面算出部と、
を備えたことを特徴とする走行環境認識装置。
よって、路面より低い位置を検出することが可能となり、車両の進行方向前方領域の情報を精度良く認識することができる。また、車両前方の障害物までの距離や、路面状況を距離に基づいて把握することができる。また、視覚的特徴点と距離情報の両方から路面と路面より低い位置とを認識することで、認識精度を向上することができる。また、路端を精度良く認識することができる。

1 走行環境認識システム
2 電動パワーステアリング
3 電動油圧ブレーキユニット
4 ブレーキブースタ
5 ステアリングホイール
10 電子制御ユニット
３１ カメラ

Claims (5)

1. 車両に搭載され少なくとも車両の進行方向前方領域の情報を認識する情報認識部と、
   前記認識された環境から自車両前方の走行路の路面と前記路面より低い位置を算出する走行路面算出部と、
   を備えたことを特徴とする走行環境認識装置。
2. 請求項１に記載の走行環境認識装置において、
   前記情報認識部は前記車両の進行方向前方領域の情報を撮像するカメラであることを特徴とする走行環境認識装置。
3. 請求項２に記載の走行環境認識装置において、
   前記情報認識部は複数のカメラが同一の対象物を撮影したときに発生する視差を利用して距離を計測するステレオカメラであって、前記情報は前記距離に関する情報であることを特徴とする走行環境認識装置。
4. 請求項３に記載の走行環境認識装置において、
   前記走行路面算出部は前記距離に関する情報と撮像された情報とから第１の視覚的特徴点の第１領域と第２の視覚的特徴点の第２領域とを認識し、認識した各領域に関連付けて路面及び路面より低い位置とを算出することを特徴とする走行環境認識装置。
5. 請求項４に記載の走行環境認識装置において、
   前記各領域は互いに連続し、前記走行路面算出部は前記各領域の境界部相当位置を前記路面の路端として算出することを特徴とする走行環境認識装置。

Images