JP2008003941A - 道路端認識装置、自動車、及び道路端認識方法 - Google Patents
道路端認識装置、自動車、及び道路端認識方法 Download PDFInfo
- Publication number
- JP2008003941A JP2008003941A JP2006174353A JP2006174353A JP2008003941A JP 2008003941 A JP2008003941 A JP 2008003941A JP 2006174353 A JP2006174353 A JP 2006174353A JP 2006174353 A JP2006174353 A JP 2006174353A JP 2008003941 A JP2008003941 A JP 2008003941A
- Authority
- JP
- Japan
- Prior art keywords
- road edge
- line
- end position
- road
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
【課題】コストの増大を抑制しつつ容易に道路端の認識を行う。
【解決手段】車体側方の道路環境を撮像し、画像内で所定の条件を満たす全てのレーン方向ラインを道路端の候補として選出すると共に、画像内に所定の条件を満たす鉛直方向ラインが存在するときに、この鉛直方向ラインの下端位置を検出する（ステップＳ１０３、Ｓ１０４）。そして、鉛直方向ラインの下端位置よりも自車両から遠い側を通過し、且つ自車両のタイヤ接地点よりも外側を通過している候補ラインだけに限定する（ステップＳ１０７、Ｓ１０８）。こうして限定された候補ラインのうち、最も自車両に近い候補ラインを道路端として認識する（ステップＳ１１１）。
【選択図】図２
【解決手段】車体側方の道路環境を撮像し、画像内で所定の条件を満たす全てのレーン方向ラインを道路端の候補として選出すると共に、画像内に所定の条件を満たす鉛直方向ラインが存在するときに、この鉛直方向ラインの下端位置を検出する（ステップＳ１０３、Ｓ１０４）。そして、鉛直方向ラインの下端位置よりも自車両から遠い側を通過し、且つ自車両のタイヤ接地点よりも外側を通過している候補ラインだけに限定する（ステップＳ１０７、Ｓ１０８）。こうして限定された候補ラインのうち、最も自車両に近い候補ラインを道路端として認識する（ステップＳ１１１）。
【選択図】図２
Description
本発明は、道路端認識装置、これを備えた自動車、及び道路端認識方法に関するものである。
従来、２台のカメラを用い、三角測量法に従って三次元画像を作成し、これに基づいて道路形状を認識することで、車両前方の狭路を障害物と接触することなく通過できるか否かを判定し、運転支援を行うものがあった（特許文献１参照）。
特開平９−１２８６８７号公報
しかしながら、上記特許文献１に記載された従来例にあっては、２台のカメラを必要とするためコストが増大し、また三次元画像を作成するための処理負荷が大きくなってしまう。
本発明の課題は、コストの増大を抑制しつつ容易に道路端の認識を行うことである。
本発明の課題は、コストの増大を抑制しつつ容易に道路端の認識を行うことである。
上記の課題を解決するために、本発明に係る道路端認識装置は、車体側方の道路環境を撮像し、画像内で所定の条件を満たす全てのレーン方向ラインを道路端の候補として選出すると共に、画像内に所定の条件を満たす鉛直方向ラインが存在するときに、この鉛直方向ラインの下端位置を検出し、検出した鉛直方向ラインの下端位置に基づいて道路端の候補を１つに特定し、特定した候補を道路端として認識することを特徴とする。
本発明に係る道路端認識装置によれば、画像内に所定の条件を満たす鉛直方向ラインが存在するときに、その下端位置に基づいて道路端の候補を１つに特定することで、１台の単眼カメラで撮像した画像であっても、路面に立設されたポールや電柱などの鉛直方向ラインを検出できれば、その下端位置に基づいて道路端を正確に且つ容易に認識することができる。したがって、２台のカメラを設けたり三次元画像を作成したりする必要が無いので、コストの増大を抑制することができる。
以下、本発明を実施するための最良の形態を図面に基づいて説明する。
《第１実施形態》
《構成》
図１は、車両の概略構成である。自車両１には、例えば左のドアミラーに取付けられ車両側方の道路環境（ここでは、車両左前方及び側方）を撮像するＣＣＤカメラ２と、その画像処理装置３と、車速センサ４と、操舵角センサ５と、例えばマイクロコンピュータで構成されたコントローラ６と、道路端運転席の近傍に設置されたディスプレイ７と、警報装置８と、運転者のブレーキ操作に関らずブ制動力を制御可能なブレーキアクチュエータ９と、が搭載されている。
《第１実施形態》
《構成》
図１は、車両の概略構成である。自車両１には、例えば左のドアミラーに取付けられ車両側方の道路環境（ここでは、車両左前方及び側方）を撮像するＣＣＤカメラ２と、その画像処理装置３と、車速センサ４と、操舵角センサ５と、例えばマイクロコンピュータで構成されたコントローラ６と、道路端運転席の近傍に設置されたディスプレイ７と、警報装置８と、運転者のブレーキ操作に関らずブ制動力を制御可能なブレーキアクチュエータ９と、が搭載されている。
コントローラ６は、画像処理装置３からの画像データ、車速センサ４からの車速、及び操舵角センサ５からの操舵角に基づいて、図２の道路端認識処理を実行し、道路単に対する自車両の接近度合に応じて、ディスプレイ７による車両側方の画像表示や、警報装置８による警報や、ブレーキアクチュエータ９による制動力の制御を行う。
次に、コントローラ６で、所定のサンプリング周期（例えば５０msec毎）に従ったタイマ割込み処理として実行される道路端認識処理を、図２のフローチャートに基づいて説明する。
ステップＳ１０１では、ＣＣＤカメラ２が撮像した画像データを、画像処理装置３から読込む。画像データの座標は、左上端を原点とし、右下の座標ほど大きい値を示す。
続くステップＳ１０２では、車速センサ４と操舵角センサ５との検出信号を読込む。
続くステップＳ１０３では、画像データから道路端の候補ラインを選出する（図３参照）。
ステップＳ１０１では、ＣＣＤカメラ２が撮像した画像データを、画像処理装置３から読込む。画像データの座標は、左上端を原点とし、右下の座標ほど大きい値を示す。
続くステップＳ１０２では、車速センサ４と操舵角センサ５との検出信号を読込む。
続くステップＳ１０３では、画像データから道路端の候補ラインを選出する（図３参照）。
先ずソーベルフィルタ等を用いて微分画像を生成し、画像内の所定領域で、上側水平座標よりも下側水平座標の方が車体外側（ここでは左側）になるものに限定してレーン方向の全てのライン（エッジ）を候補として選出する。この候補ラインの選出については、濃度が閾値以上となる画素数を計測し、濃度が閾値以上となる画素数の最も多いものを選出する。
選出した候補ラインは、下記の変数として蓄える。
CandBoundaryLineUpＸ[n] ：ラインの上側横軸座標
CandBoundaryLineUpＹ[n] ：ラインの上側縦軸座標
CandBoundaryLineDnＸ[n] ：ラインの下側横軸座標
CandBoundaryLineDnＹ[n] ：ラインの下側縦軸座標
CandBoundaryLineＡ[n] ：ラインの傾き
CandBoundaryLineＢ[n] ：ラインのＹ軸切片
CandBoundaryLineＮＧ[n] ：除外フラグ
ここで、ｎは選出したラインの番号であり、最後の番号をｎmaxとする。そして、傾きCandBoundaryLineＡと切片CandBoundaryLineＢは、ライン上側の座標と下側の座標から一次方程式として一意に得られるパラメータである。また、CandBoundaryLineＮＧとは候補からの除外することを表すフラグであって、道路端の候補となるときに“０”にリセットし、道路端の候補から除外するときに“１”にセットする。
CandBoundaryLineUpＸ[n] ：ラインの上側横軸座標
CandBoundaryLineUpＹ[n] ：ラインの上側縦軸座標
CandBoundaryLineDnＸ[n] ：ラインの下側横軸座標
CandBoundaryLineDnＹ[n] ：ラインの下側縦軸座標
CandBoundaryLineＡ[n] ：ラインの傾き
CandBoundaryLineＢ[n] ：ラインのＹ軸切片
CandBoundaryLineＮＧ[n] ：除外フラグ
ここで、ｎは選出したラインの番号であり、最後の番号をｎmaxとする。そして、傾きCandBoundaryLineＡと切片CandBoundaryLineＢは、ライン上側の座標と下側の座標から一次方程式として一意に得られるパラメータである。また、CandBoundaryLineＮＧとは候補からの除外することを表すフラグであって、道路端の候補となるときに“０”にリセットし、道路端の候補から除外するときに“１”にセットする。
続くステップＳ１０４では、画像データから鉛直方向の全てのラインを検出し、その下端位置の縦軸座標が所定位置よりも画面下側にあるものに限定してから、下記の変数として蓄える（図３参照）。ここで、鉛直方向ラインは、縦軸座標と平行とは限らず、ＣＣＤカメラ２の画角、及び取付け位置や取付け角度に基づいて判断する。
VertLineＸ[m]：下端位置の横軸座標
VertLineＹ[m]：下端位置の縦軸座標
ここで、ｍは検出したラインの番号であり、最後の番号をｍmaxとする。
VertLineＸ[m]：下端位置の横軸座標
VertLineＹ[m]：下端位置の縦軸座標
ここで、ｍは検出したラインの番号であり、最後の番号をｍmaxとする。
続くステップＳ１０５では、道路端の候補が存在するか否か、つまり『ｎmax＞０』であるか否かを判定する。この判定結果が『ｎmax＝０』であるときには、道路端の候補が存在しないため所定のメインプログラムに復帰する。一方、判定結果が『ｎmax＞０』であるときには、道路端の候補が存在するためステップＳ１０６に移行する。
ステップＳ１０６では、鉛直方向ラインが存在するか否か、つまり『ｍmax＞０』であるか否かを判定する。この判定結果が『ｍmax＞０』であるときには、鉛直方向ラインが存在するためステップＳ１０７に移行する。一方、判定結果が『ｎmax＝０』であるときには、鉛直方向ラインが存在しないためステップＳ１０８に移行する。
ステップＳ１０６では、鉛直方向ラインが存在するか否か、つまり『ｍmax＞０』であるか否かを判定する。この判定結果が『ｍmax＞０』であるときには、鉛直方向ラインが存在するためステップＳ１０７に移行する。一方、判定結果が『ｎmax＝０』であるときには、鉛直方向ラインが存在しないためステップＳ１０８に移行する。
ステップＳ１０７では、鉛直方向ラインの下端位置に基づいて道路端の候補を絞り込む。すなわち、画像内で鉛直方向ラインの下端位置よりも道路端の候補ラインが自車両から遠い側（ここでは左側）を通過しているか、又は自車両に近い側（ここでは右側）を通過しているかを判定し、自車両から遠い側を通過しているものだけに候補を絞る。これを、全ての鉛直方向ラインと候補ラインについて実行する。
先ず、下記（１）式に示すように、下端位置の縦軸座標に相当する候補ラインの横軸座標ｘを算出する。
ｘ＝（VertLineＹ[m]−CandBoundaryLineＢ[n]）
／（CandBoundaryLineＡ[n]） ………（１）
そして、下記（２）式を満たすか否かを判定する。この判定結果が『VertLineＸ[m]＞ｘ』であるときには、その候補ラインのCandBoundaryLineＮＧ[n]を“０”にリセットしたまま候補として残す。一方、判定結果が『VertLineＸ[m]≦ｘ』であるときには、その候補ラインのCandBoundaryLineＮＧ[n]を“１”にセットして候補から除外する。
VertLineＸ[m] ＞ ｘ ………（２）
ｘ＝（VertLineＹ[m]−CandBoundaryLineＢ[n]）
／（CandBoundaryLineＡ[n]） ………（１）
そして、下記（２）式を満たすか否かを判定する。この判定結果が『VertLineＸ[m]＞ｘ』であるときには、その候補ラインのCandBoundaryLineＮＧ[n]を“０”にリセットしたまま候補として残す。一方、判定結果が『VertLineＸ[m]≦ｘ』であるときには、その候補ラインのCandBoundaryLineＮＧ[n]を“１”にセットして候補から除外する。
VertLineＸ[m] ＞ ｘ ………（２）
続くステップＳ１０８では、道路端側のタイヤ接地点（ここでは左前輪）に基づいて道路端の候補を絞り込む。すなわち、画像内でタイヤ接地点よりも道路端の候補ラインがタイヤ外側（ここでは左側）を通過しているか、又は道路端の候補ラインをタイヤが踏んでいるかを判定し、タイヤ接地点よりも外側を通過しているものだけに候補を絞る。これを、全ての候補ラインについて実行する。
先ず、下記（３）式に示すように、タイヤ接地点の縦軸座標に相当する候補ラインの横軸座標ｘを算出する。ここで、OwnTirePosiＹとOwnTirePosiＸとは、画像内のタイヤ接地点を表しており、ＣＣＤカメラ２の画角、及び取付け位置や取付け角度に基づいて定まる定数である。
ｘ＝（OwnTirePosiＹ−CandBoundaryLineＢ[n]）
／（CandBoundaryLineＡ[n]） ………（３）
先ず、下記（３）式に示すように、タイヤ接地点の縦軸座標に相当する候補ラインの横軸座標ｘを算出する。ここで、OwnTirePosiＹとOwnTirePosiＸとは、画像内のタイヤ接地点を表しており、ＣＣＤカメラ２の画角、及び取付け位置や取付け角度に基づいて定まる定数である。
ｘ＝（OwnTirePosiＹ−CandBoundaryLineＢ[n]）
／（CandBoundaryLineＡ[n]） ………（３）
そして、下記（４）式を満たすか否かを判定する。この判定結果が『OwnTirePosiＸ＞ｘ』であるときには、その候補ラインのCandBoundaryLineＮＧ[n]を“０”にリセットしたまま候補として残す。一方、判定結果が『OwnTirePosiＸ≦ｘ』であるときには、その候補ラインのCandBoundaryLineＮＧ[n]を“１”にセットして候補から除外する。
OwnTirePosiＸ ＞ ｘ ………（４）
続くステップＳ１０９では、CandBoundaryLineＮＧ[n]が“０”にリセットされたままの候補ラインの数をカウントし、カウント値ChkCntが“１”であるか否かを判定する。この判定結果が『ChkCnt＝１』であるときにはステップＳ１１０に移行する。一方、判定結果が『ChkCnt＞１』であるときにはステップＳ１１１に移行する。
OwnTirePosiＸ ＞ ｘ ………（４）
続くステップＳ１０９では、CandBoundaryLineＮＧ[n]が“０”にリセットされたままの候補ラインの数をカウントし、カウント値ChkCntが“１”であるか否かを判定する。この判定結果が『ChkCnt＝１』であるときにはステップＳ１１０に移行する。一方、判定結果が『ChkCnt＞１』であるときにはステップＳ１１１に移行する。
ステップＳ１１０では、残った１つの候補ラインを最終的な道路端ラインとして認識し、下記の変数に置換する。
RoadBoundaryUpＸ ← CandBoundaryLineUpＸ[n]
RoadBoundaryUpＹ ← CandBoundaryLineUpＹ[n]
RoadBoundaryDnＸ ← CandBoundaryLineDnＸ[n]
RoadBoundaryDnＹ ← CandBoundaryLineDnＹ[n]
RoadBoundaryＡ ← CandBoundaryLineＡ[n]
RoadBoundaryＢ ← CandBoundaryLineＢ[n]
ステップＳ１１１では、下記の要領に従い、残った複数の候補のうち、最も自車両に近い（ここでは最も右側）の候補ラインを、最終的な道路端ラインとして認識する。
先ず、下記（５）式に示すように、残った候補ラインに対して順に、タイヤ接地点の縦軸座標に相当する候補ラインの横軸座標ｘを算出する。
ｘ＝（OwnTirePosiＹ−CandBoundaryLineＢ[n]）
／（CandBoundaryLineＡ[n]） ………（５）
RoadBoundaryUpＸ ← CandBoundaryLineUpＸ[n]
RoadBoundaryUpＹ ← CandBoundaryLineUpＹ[n]
RoadBoundaryDnＸ ← CandBoundaryLineDnＸ[n]
RoadBoundaryDnＹ ← CandBoundaryLineDnＹ[n]
RoadBoundaryＡ ← CandBoundaryLineＡ[n]
RoadBoundaryＢ ← CandBoundaryLineＢ[n]
ステップＳ１１１では、下記の要領に従い、残った複数の候補のうち、最も自車両に近い（ここでは最も右側）の候補ラインを、最終的な道路端ラインとして認識する。
先ず、下記（５）式に示すように、残った候補ラインに対して順に、タイヤ接地点の縦軸座標に相当する候補ラインの横軸座標ｘを算出する。
ｘ＝（OwnTirePosiＹ−CandBoundaryLineＢ[n]）
／（CandBoundaryLineＡ[n]） ………（５）
そして、横軸座標ｘが最大となる候補ラインを最終的な道路端ラインとして認識し、下記の変数に置換する。
RoadBoundaryUpＸ ← CandBoundaryLineUpＸ[n]
RoadBoundaryUpＹ ← CandBoundaryLineUpＹ[n]
RoadBoundaryDnＸ ← CandBoundaryLineDnＸ[n]
RoadBoundaryDnＹ ← CandBoundaryLineDnＹ[n]
RoadBoundaryＡ ← CandBoundaryLineＡ[n]
RoadBoundaryＢ ← CandBoundaryLineＢ[n]
続くステップＳ１１２では、下記（６）式に示すように、タイヤ接地点から道路端までの道路横断方向の距離Ｄを算出する。ここで、CamParaＸはＣＣＤカメラ２の画角、及び取付け位置や取付け角度に基づいて定まる定数である。
ｘ＝（OwnTirePosiＹ−RoadBoundaryＢ）／（RoadBoundaryＡ）
Ｄ＝（OwnTirePosiＸ−ｘ）CamParaＸ ………（６）
RoadBoundaryUpＸ ← CandBoundaryLineUpＸ[n]
RoadBoundaryUpＹ ← CandBoundaryLineUpＹ[n]
RoadBoundaryDnＸ ← CandBoundaryLineDnＸ[n]
RoadBoundaryDnＹ ← CandBoundaryLineDnＹ[n]
RoadBoundaryＡ ← CandBoundaryLineＡ[n]
RoadBoundaryＢ ← CandBoundaryLineＢ[n]
続くステップＳ１１２では、下記（６）式に示すように、タイヤ接地点から道路端までの道路横断方向の距離Ｄを算出する。ここで、CamParaＸはＣＣＤカメラ２の画角、及び取付け位置や取付け角度に基づいて定まる定数である。
ｘ＝（OwnTirePosiＹ−RoadBoundaryＢ）／（RoadBoundaryＡ）
Ｄ＝（OwnTirePosiＸ−ｘ）CamParaＸ ………（６）
続くステップＳ１１３では、下記（７）式を満たすか否かを判定する。ここで、Ｄｔは所定値である。この判定結果が『Ｄ＞Ｄｔ』であるときには、道路端に対して十分な距離があると判断して所定のメインプログラムに復帰する。一方、判定結果が『Ｄ≦Ｄｔ』であるときには、道路端に対して接近し過ぎであると判断してステップＳ１１４に移行する。
Ｄ ≦ Ｄｔ ………（７）
ステップＳ１１４では、運転者に注意を喚起するために、ディスプレイ７に車両側方の画像を表示すると共に、警報装置８を作動させて警報音を報知してから所定のメインプログラムに復帰する。また、必要ならブレーキアクチュエータ９によって自動ブレーキを作動させる。
Ｄ ≦ Ｄｔ ………（７）
ステップＳ１１４では、運転者に注意を喚起するために、ディスプレイ７に車両側方の画像を表示すると共に、警報装置８を作動させて警報音を報知してから所定のメインプログラムに復帰する。また、必要ならブレーキアクチュエータ９によって自動ブレーキを作動させる。
《作用》
次に、上記第１実施形態の作用について説明する。
今、図３に示すように、道路の左端に寄った状態で走行しているときに、ＣＣＤカメラ２で撮像した画像内で、道路端の候補となる計５本（ｎ＝１〜５）の候補ラインが選出され（ステップＳ１０３）、且つ道路端の近傍に立設されたポールが鉛直方向ラインとして検出されたとする（ステップＳ１０４）。
このとき、先ず画像内で鉛直方向ラインの下端位置よりも道路端の候補ラインが左側を通過しているか、右側を通過しているかを判定し（ステップＳ１０７）、左側を通過しているものだけに候補を絞る。すなわち、道路の左端側に立設されたポールや電柱であれば、道路端よりも右側に存在するからであり、これにより、図３ではｍ＝１の鉛直方向ラインに対して、道路端の候補ラインがｎ＝１〜３に絞られる。
次に、上記第１実施形態の作用について説明する。
今、図３に示すように、道路の左端に寄った状態で走行しているときに、ＣＣＤカメラ２で撮像した画像内で、道路端の候補となる計５本（ｎ＝１〜５）の候補ラインが選出され（ステップＳ１０３）、且つ道路端の近傍に立設されたポールが鉛直方向ラインとして検出されたとする（ステップＳ１０４）。
このとき、先ず画像内で鉛直方向ラインの下端位置よりも道路端の候補ラインが左側を通過しているか、右側を通過しているかを判定し（ステップＳ１０７）、左側を通過しているものだけに候補を絞る。すなわち、道路の左端側に立設されたポールや電柱であれば、道路端よりも右側に存在するからであり、これにより、図３ではｍ＝１の鉛直方向ラインに対して、道路端の候補ラインがｎ＝１〜３に絞られる。
そして、画像内で自車両のタイヤ接地点よりも道路端の候補ラインが左側を通過しているか、右側を通過しているかを判定し（ステップＳ１０８）、左側を通過しているものだけに候補を絞る。すなわち、タイヤ接地点よりも右側を通過しているのであれば、それは路面に映る影や、路面に標示された通行区分線などである可能性が高いからである。この場合、図３では全てのｍ＝１〜３の全ての候補ラインが、そのまま候補として残る。
この段階で、道路端の候補ラインが１本に絞られれば（ステップＳ１０９の判定が“Yes”）、それを最終的な道路端として認識すればよいが（ステップＳ１１０）、ここでは３本の候補ラインが残っているので（ステップＳ１０９の判定が“No”）、そのうちの最も右側に位置するｎ＝３の候補ラインを最終的な道路端として認識する（ステップＳ１１１）。
そして、最終的に１つに特定された道路端を認識したら、タイヤ接地点から道路端までの道路横断方向の距離Ｄを算出し（ステップＳ１１２）、その距離Ｄが所定値Ｄｔ以下となるときに（ステップＳ１１３の判定が“Yes”）、ディスプレイ７に車両側方の画像を表示すると共に、警報装置８を作動させて警報音を報知することで（ステップＳ１１４）、運転者の注意を喚起する。もし、自車両が道路端の壁面や他の障害物に接触する可能性があると判断するなら、ブレーキアクチュエータ９で自動ブレーキを作動させて、その接触を防ぐ。
《効果》
以上より、ＣＣＤカメラ２及び画像処理装置３が「撮像手段」に対応し、ステップＳ１０３の処理が「選出手段」に対応し、ステップＳ１０４の処理が「検出手段」に対応し、ステップＳ１０５〜Ｓ１１１の処理が「認識手段」に対応し、ステップＳ１１２〜Ｓ１１４の処理が「情報提示手段」に対応している。
以上より、ＣＣＤカメラ２及び画像処理装置３が「撮像手段」に対応し、ステップＳ１０３の処理が「選出手段」に対応し、ステップＳ１０４の処理が「検出手段」に対応し、ステップＳ１０５〜Ｓ１１１の処理が「認識手段」に対応し、ステップＳ１１２〜Ｓ１１４の処理が「情報提示手段」に対応している。
（１）車体側方の道路環境を撮像する撮像手段と、撮像手段が撮像した画像内で所定の条件を満たすレーン方向の全てのラインを道路端の候補として選出する選出手段と、撮像手段が撮像した画像内に所定の条件を満たす鉛直方向ラインが存在するときに当該ラインの下端位置を検出する検出手段と、検出手段が検出したラインの下端位置に基づいて選出手段が選出した候補を１つに特定し、特定した候補を道路端として認識する認識手段と、を備える。
このように、１台の単眼カメラで撮像した画像であっても、路面に立設されたポールや電柱などの鉛直方向ラインを検出できれば、その下端位置に基づいて道路端を正確に且つ容易に認識することができる。すなわち、２台のカメラを設けたり三次元画像を作成したりする必要が無いので、コストの増大を抑制することができる。
このように、１台の単眼カメラで撮像した画像であっても、路面に立設されたポールや電柱などの鉛直方向ラインを検出できれば、その下端位置に基づいて道路端を正確に且つ容易に認識することができる。すなわち、２台のカメラを設けたり三次元画像を作成したりする必要が無いので、コストの増大を抑制することができる。
（２）認識手段は、選出手段が選出した道路端の候補のうち、検出手段が検出したラインの下端位置よりも自車両から遠い側を通過しているレーン方向ラインだけに限定して候補を特定する。
このように、路面に立設されたポールや電柱などの鉛直方向ラインを検出できれば、その下端位置を境にして道路端の候補が何れの側を通過するかを判定するだけで、容易に道路端の候補を絞り込むことができ、道路端の最終的な特定に役立つ。特に、路面に映る影や、路面に標示された通行区分線などを道路端の候補から除外する効果がある。
このように、路面に立設されたポールや電柱などの鉛直方向ラインを検出できれば、その下端位置を境にして道路端の候補が何れの側を通過するかを判定するだけで、容易に道路端の候補を絞り込むことができ、道路端の最終的な特定に役立つ。特に、路面に映る影や、路面に標示された通行区分線などを道路端の候補から除外する効果がある。
（３）認識手段は、選出手段が選出した道路端の候補のうち、自車両のタイヤ接地点よりも外側を通過しているレーン方向ラインだけに限定して候補を特定する。
このように、画像内に映るタイヤ接地点を境にして道路端の候補が何れの側を通過するかを判定するだけで、容易に道路端の候補を絞り込むことができ、道路端の最終的な特定に役立つ。特に、路面に映る影や、路面に標示された通行区分線などを道路端の候補から除外する効果がある。
このように、画像内に映るタイヤ接地点を境にして道路端の候補が何れの側を通過するかを判定するだけで、容易に道路端の候補を絞り込むことができ、道路端の最終的な特定に役立つ。特に、路面に映る影や、路面に標示された通行区分線などを道路端の候補から除外する効果がある。
（４）認識手段は、限定した道路端の候補のうち、最も自車両に近いレーン方向ラインを道路端として特定する。
そもそも、道路端に対して自車両が過度に接近することを防ぐために、道路端の認識を行っているので、残った複数の候補のうち、最も自車両に近いレーン方向ラインを最終的な道路端として特定すれば、これが仮に誤認識であったとしても、より安全側の道路端認識となる。すなわち、実際の道路端へまだ多少の余裕があるのに早めに警報を発してしまうことはあっても、少なくとも道路端に接近し過ぎるということは確実に回避することができるからである。
（５）認識手段が認識した道路端に対する自車両の接近度合に応じて情報を提示する情報提示手段を備える。
これにより、運転者の注意を喚起し、道路端への過度な接近、又は接触を防ぐことができる。
そもそも、道路端に対して自車両が過度に接近することを防ぐために、道路端の認識を行っているので、残った複数の候補のうち、最も自車両に近いレーン方向ラインを最終的な道路端として特定すれば、これが仮に誤認識であったとしても、より安全側の道路端認識となる。すなわち、実際の道路端へまだ多少の余裕があるのに早めに警報を発してしまうことはあっても、少なくとも道路端に接近し過ぎるということは確実に回避することができるからである。
（５）認識手段が認識した道路端に対する自車両の接近度合に応じて情報を提示する情報提示手段を備える。
これにより、運転者の注意を喚起し、道路端への過度な接近、又は接触を防ぐことができる。
《第２実施形態》
《構成》
第２実施形態は、自車両の予測進路に基づいて道路端の候補を選出すると共に、単に道路端の壁面に対して警報を発するのではなく、路面に立設されたポールや電柱に対しても警報を発するものである。
コントローラ６で実行される第２実施形態の道路端認識処理を、図４のフローチャートに従って説明する。
ステップＳ２０１、Ｓ２０２では、前述した第１実施形態のステップＳ１０１、Ｓ１０２と同様の処理を実行する。
《構成》
第２実施形態は、自車両の予測進路に基づいて道路端の候補を選出すると共に、単に道路端の壁面に対して警報を発するのではなく、路面に立設されたポールや電柱に対しても警報を発するものである。
コントローラ６で実行される第２実施形態の道路端認識処理を、図４のフローチャートに従って説明する。
ステップＳ２０１、Ｓ２０２では、前述した第１実施形態のステップＳ１０１、Ｓ１０２と同様の処理を実行する。
続くステップＳ２０３では、下記（８）式に示すように、予測される自車進路の旋回半径Ｒを算出する。ここで、Ａは車両固有の値であるスタビリティファクタ（車重、ホールベース長、重心位置、タイヤの横力等に応じて決まる定数）、Ｌはホイールベースの長さ［ｍ］、Ｖは車速、δは操舵角である。操舵角は、左操舵を負値とし、右操舵を正値とする。
Ｒ＝（１＋Ａ×Ｖ2）Ｌ／δ ………（８）
続くステップＳ２０４では、前述した第１実施形態のステップＳ１０３の処理に加え、更に道路端の候補を選出する領域を限定する（図５参照）。
Ｒ＝（１＋Ａ×Ｖ2）Ｌ／δ ………（８）
続くステップＳ２０４では、前述した第１実施形態のステップＳ１０３の処理に加え、更に道路端の候補を選出する領域を限定する（図５参照）。
先ず、下記（９）式に示すように、画像内で、現時点から所定時間（例えば１秒）が経過するまでの自車両の横変位量Ｘｈを算出する。ここで、Ｙｈは画像内で車速に応じて定まる上変位量である。
Ｘｈ＝Ｒ−√（Ｒ2−Ｙｈ2） ………（９）
そして、下記（１０）式に示すように、オフセット量Ｘofstを算出する。
Ｘofst＝CamPixＨ×tan-1θ（Ｙｈ／Ｘｈ）／CamAglＨ ………（１０）
Ｘｈ＝Ｒ−√（Ｒ2−Ｙｈ2） ………（９）
そして、下記（１０）式に示すように、オフセット量Ｘofstを算出する。
Ｘofst＝CamPixＨ×tan-1θ（Ｙｈ／Ｘｈ）／CamAglＨ ………（１０）
そして、下記（１１）式に示すように、道路端の候補を選出する領域を限定する。ここで、LimitＸ1sは横軸座標における画像上辺の左限、LimitＸ1eは横軸座標における画像上辺の右限、LimitＸ2sは横軸座標における画像下辺の左限、LimitＸ2eは横軸座標における画像下辺の右限、FOE_Ｘは消失点の横軸座標、Ｄ1m、Ｄ2ms、Ｄ2meの夫々は所定のマージンである。
LimitＸ1s＝FOE_Ｘ−Xofst−D1m
LimitＸ1e＝FOE_Ｘ＋Xofst＋D1m
LimitＸ2s＝LimitＸ1s−D2ms
LimitＸ2e＝LimitＸ1e−D2me ………（１１）
LimitＸ1s＝FOE_Ｘ−Xofst−D1m
LimitＸ1e＝FOE_Ｘ＋Xofst＋D1m
LimitＸ2s＝LimitＸ1s−D2ms
LimitＸ2e＝LimitＸ1e−D2me ………（１１）
続くステップＳ２０５では、前述した第１実施形態のステップＳ１０４と同様の処理を実行する。
続くステップＳ２０６では、前述した第１実施形態のステップＳ１０５と同様に、道路端の候補が存在するか否かを判定する。ここで、道路端の候補が存在するときには後述するステップＳ２１０に移行する。一方、道路端の候補が存在しないときにはステップＳ２０７に移行する。
続くステップＳ２０６では、前述した第１実施形態のステップＳ１０５と同様に、道路端の候補が存在するか否かを判定する。ここで、道路端の候補が存在するときには後述するステップＳ２１０に移行する。一方、道路端の候補が存在しないときにはステップＳ２０７に移行する。
ステップＳ２０７では、保持フラグＦｈが“１”にセットされているか否かを判定する。この保持フラグＦｈは、前回の処理で認識された道路端を今回も保持可能であるか否かを表すフラグであり、判定結果が『Ｆｈ＝０』であるときには、前回の道路端を今回は保持でないと判断して所定のメインプログラムに復帰する。一方、判定結果が『Ｆｈ＝１』であるときには、前回の道路端を今回も保持できる可能性があると判断してステップＳ２０８に移行する。
ステップＳ２０８では、保持フラグＦｈが“１”にセットされたときに初期値に設定され、且つ時間の経過と共にデクリメントされる保持タイマＴｈが０になったか否か、つまり保持フラグＦｈが“１”にセットされてから所定時間が経過したか否かを判定する。この初期値については、後述するステップＳ２１９で説明するが、演算周期毎のデクリメント量は例えば０.０５とする。この判定結果が『Ｔｈ＝０』であるときには、所定時間が経過していて前回の道路端を今回は保持できないと判断して、保持フラグＦｈを“０”にリセットしてから所定のメインプログラムに復帰する。一方、判定結果が『Ｔｈ＞０』であるときには、所定時間が経過しておらず前回の道路端を今回も保持できると判断してステップＳ２０９に移行する。
ステップＳ２０９では、前回の処理で認識された道路端を今回も最終的な道路端として認識してから所定のメインプログラムに復帰する。
一方、ステップＳ２１０では、前述した第１実施形態のステップＳ１０６と同様に、鉛直方向ラインが存在するか否かを判定する。ここで、鉛直方向ラインが存在するときにはステップＳ２１１に移行する。一方、鉛直方向ラインが存在しないときにはステップＳ２１２に移行する。
一方、ステップＳ２１０では、前述した第１実施形態のステップＳ１０６と同様に、鉛直方向ラインが存在するか否かを判定する。ここで、鉛直方向ラインが存在するときにはステップＳ２１１に移行する。一方、鉛直方向ラインが存在しないときにはステップＳ２１２に移行する。
ステップＳ２１１では、鉛直方向ラインが周期的に存在しているか否かを判断する。これを、全ての鉛直方向ラインについて実行する。
先ず、下記（１２）式に示すように、鉛直方向ラインの下端位置を、自車両のタイヤ接地点を基準にして座標変換する。ここで、CamParaＹは前述したCamParaＸと同様な定数であるが鉛直方向に関するものである。
Ｘｖ[m]＝（OwnTirePosiＸ−VertLineＸ[m]）CamParaＸ
Ｙｖ[m]＝（OwnTirePosiＹ−VertLineＹ[m]）CamParaＹ ………（１２）
先ず、下記（１２）式に示すように、鉛直方向ラインの下端位置を、自車両のタイヤ接地点を基準にして座標変換する。ここで、CamParaＹは前述したCamParaＸと同様な定数であるが鉛直方向に関するものである。
Ｘｖ[m]＝（OwnTirePosiＸ−VertLineＸ[m]）CamParaＸ
Ｙｖ[m]＝（OwnTirePosiＹ−VertLineＹ[m]）CamParaＹ ………（１２）
そして、最初の鉛直方向ラインのＹｖが略０（自車前輪の真横付近に位置）になった時点から次の鉛直方向ラインのＹｖが略０になるまでの所要時間を算出し、この所要時間に車速を乗じた値が２つの鉛直方向ラインの間隔（距離）になる。したがって、この間隔に関するある程度のデータを採取し、それらの間隔が略一定であるときに、鉛直方向ラインが周期的に存在していると判断し、間隔が不規則であるときに、鉛直方向ラインが非周期的に存在している、つまり単独で存在していると判断する。
一方、ステップＳ２１２では、鉛直方向ラインの下端位置よりも自車両に近い側（ここでは右側）に道路端の候補ラインが存在するか否かを判定する。これを、全ての候補ラインについて実行する。
先ず、最も右側に存在する鉛直方向ラインを選出する。これは、前記（１２）式でＸｖの値が最も小さくなる鉛直方向ラインである。
そして、下記（１３）式に示すように、その最も右側に存在する鉛直方向ラインの下端位置の縦軸座標に相当する候補ラインの横軸座標ｘを算出する。
ｘ＝（VertLineＹ[m]−CandBoundaryLineＢ[n]）
／（CandBoundaryLineＡ[n]） ………（１３）
先ず、最も右側に存在する鉛直方向ラインを選出する。これは、前記（１２）式でＸｖの値が最も小さくなる鉛直方向ラインである。
そして、下記（１３）式に示すように、その最も右側に存在する鉛直方向ラインの下端位置の縦軸座標に相当する候補ラインの横軸座標ｘを算出する。
ｘ＝（VertLineＹ[m]−CandBoundaryLineＢ[n]）
／（CandBoundaryLineＡ[n]） ………（１３）
そして、下記（１４）式を満たすか否かを判定する。この判定結果が『VertLineＸ[m]＜ｘ』であるときには、鉛直方向ラインの下端位置よりも右側に道路端の候補ラインが存在すると判断してステップＳ２１３に移行する。一方、判定結果が『VertLineＸ[m]≧ｘ』であるときには、鉛直方向ラインの下端位置よりも右側に道路端の候補ラインは存在しないと判断してステップＳ２１４に移行する。
VertLineＸ[m] ＜ ｘ ………（１４）
VertLineＸ[m] ＜ ｘ ………（１４）
ステップＳ２１３では、前述した第１実施形態のステップＳ１０７と同様の処理を実行する。
ステップＳ２１４では、最も自車両に近い側（ここでは右側）に存在する鉛直方向ラインの下端位置に、新たな仮想道路端として候補ラインを追加する。すなわち、最も自車両に近い側（ここでは右側）に存在する候補ライン番号をｒとして、下記のように、ライン番号ｉの新たな仮想ラインを候補に追加する。
ステップＳ２１４では、最も自車両に近い側（ここでは右側）に存在する鉛直方向ラインの下端位置に、新たな仮想道路端として候補ラインを追加する。すなわち、最も自車両に近い側（ここでは右側）に存在する候補ライン番号をｒとして、下記のように、ライン番号ｉの新たな仮想ラインを候補に追加する。
CandBoundaryLineＡ[ｉ]＝CandBoundaryLineＡ[ｒ]
CandBoundaryLineUpＹ[ｉ]＝０
CandBoundaryLineUpＸ[ｉ]＝−VertLineＸ[m]
＋（VertLineＹ[m]−CandBoundaryLineＢ[ｒ]）
／CandBoundaryLineＡ[ｒ]
CandBoundaryLineDnＹ[ｉ]＝画像の下辺（例：ＶＧＡサイズでは４７９）
CandBoundaryLineDnＸ[ｉ]＝−VertLineＸ[m]
＋（VertLineＹ[m]−CandBoundaryLineＢ[ｒ]−CandBoundaryLineDnＹ[ｉ]）
／CandBoundaryLineＡ[ｒ]
CandBoundaryLineＮＧ[ｉ]＝−１（仮想ラインであることを意味）
CandBoundaryLineUpＹ[ｉ]＝０
CandBoundaryLineUpＸ[ｉ]＝−VertLineＸ[m]
＋（VertLineＹ[m]−CandBoundaryLineＢ[ｒ]）
／CandBoundaryLineＡ[ｒ]
CandBoundaryLineDnＹ[ｉ]＝画像の下辺（例：ＶＧＡサイズでは４７９）
CandBoundaryLineDnＸ[ｉ]＝−VertLineＸ[m]
＋（VertLineＹ[m]−CandBoundaryLineＢ[ｒ]−CandBoundaryLineDnＹ[ｉ]）
／CandBoundaryLineＡ[ｒ]
CandBoundaryLineＮＧ[ｉ]＝−１（仮想ラインであることを意味）
続くステップＳ２１５では、前述した第１実施形態のステップＳ１０７と同様の処理を実行する。
続くステップＳ２１６では、単独で存在する鉛直方向ラインが画像範囲から外れるか否か、ここでは画像内でVertLineＹが所定値よりも下になったか否かを判定する。ここで、VertLineＹが所定値よりも下になっていれば、鉛直方向ラインが画像範囲から外れると判断して後述するステップＳ２１８に移行する。一方、VertLineＹが所定値よりも上にあれば、まだ鉛直方向ラインが画像範囲に残ると判断してステップＳ２１７に移行する。
ステップＳ２１７では、最も右側に存在する候補ラインが仮想ラインである場合（CandBoundaryLineＮＧ＝−１）、その仮想ラインをCandBoundaryLineＮＧ＝１に切り替えて候補から除外する。
続くステップＳ２１６では、単独で存在する鉛直方向ラインが画像範囲から外れるか否か、ここでは画像内でVertLineＹが所定値よりも下になったか否かを判定する。ここで、VertLineＹが所定値よりも下になっていれば、鉛直方向ラインが画像範囲から外れると判断して後述するステップＳ２１８に移行する。一方、VertLineＹが所定値よりも上にあれば、まだ鉛直方向ラインが画像範囲に残ると判断してステップＳ２１７に移行する。
ステップＳ２１７では、最も右側に存在する候補ラインが仮想ラインである場合（CandBoundaryLineＮＧ＝−１）、その仮想ラインをCandBoundaryLineＮＧ＝１に切り替えて候補から除外する。
ステップＳ２１８では、周期的に存在する鉛直方向ラインが画像範囲から外れるか否か、ここでは画像内でVertLineＹが所定値よりも下になったか否かを判定する。ここで、VertLineＹが所定値よりも下になっていれば、鉛直方向ラインが画像範囲から外れると判断して後述するステップＳ２２０に移行する。一方、VertLineＹが所定値よりも上にあれば、まだ鉛直方向ラインが画像範囲に残ると判断してステップＳ２１９に移行する。
ステップＳ２１９では、保持フラグＦｈを“１”にセットすると共に、保持タイマＴｈの初期値を下記のように設定する。
Ｖ＞０の場合：Ｔｈ ← ５／Ｖ
Ｖ＝０の場合：Ｔｈ ← ５
続くステップＳ２２０〜Ｓ２２５では、前述した第１実施形態のステップＳ１０９〜Ｓ１１４と同様の処理を実行する。
ステップＳ２１９では、保持フラグＦｈを“１”にセットすると共に、保持タイマＴｈの初期値を下記のように設定する。
Ｖ＞０の場合：Ｔｈ ← ５／Ｖ
Ｖ＝０の場合：Ｔｈ ← ５
続くステップＳ２２０〜Ｓ２２５では、前述した第１実施形態のステップＳ１０９〜Ｓ１１４と同様の処理を実行する。
《作用》
次に、上記第２実施形態の作用について説明する。
先ず、道路端の候補を選出する領域を、図５に示すように、車両の予測進路に基づいて設定する（ステップＳ２０４）。すなわち、車両の予測進路に応じたオフセット量Ｘofstを算出し、これに従って領域を限定することにより、自車両の予測進路に対して平行又は鋭角なラインだけを選出する。このように、画像の全領域を検索対象とするのではなく、所定の領域に的を絞って候補となるラインの検索を行う。
次に、上記第２実施形態の作用について説明する。
先ず、道路端の候補を選出する領域を、図５に示すように、車両の予測進路に基づいて設定する（ステップＳ２０４）。すなわち、車両の予測進路に応じたオフセット量Ｘofstを算出し、これに従って領域を限定することにより、自車両の予測進路に対して平行又は鋭角なラインだけを選出する。このように、画像の全領域を検索対象とするのではなく、所定の領域に的を絞って候補となるラインの検索を行う。
ところで、実際の道路端に存在する壁面等への過度な接近に注意することも重要であるが、車両の通行にとって障害となり得るのは、むしろ路面に立設されたポールや電柱である。
そこで、鉛直方ラインの下端位置よりも右側に道路端の候補ラインが存在しないときには（ステップＳ２１２の判定が“No”）、鉛直方向ラインの下端位置よりも左側を通過していて、且つ自車両に最も近いレーン方向の候補ラインを、その下端位置まで平行移動させた仮想ラインを生成し、生成した仮想ラインを道路端の候補に追加する（ステップＳ２１４）。この仮想ラインは実際の道路端ではないが、車両がポールや電柱などの障害物と接触することなく通行可能な有効道路端となるので、この仮想ラインを道路端として認識するときに、鉛直方向ラインとして検出された障害物にまで警報対象が拡大する。
そこで、鉛直方ラインの下端位置よりも右側に道路端の候補ラインが存在しないときには（ステップＳ２１２の判定が“No”）、鉛直方向ラインの下端位置よりも左側を通過していて、且つ自車両に最も近いレーン方向の候補ラインを、その下端位置まで平行移動させた仮想ラインを生成し、生成した仮想ラインを道路端の候補に追加する（ステップＳ２１４）。この仮想ラインは実際の道路端ではないが、車両がポールや電柱などの障害物と接触することなく通行可能な有効道路端となるので、この仮想ラインを道路端として認識するときに、鉛直方向ラインとして検出された障害物にまで警報対象が拡大する。
また、鉛直方向ラインが周期的に存在しているか否かを判断し（ステップＳ２１１）、この判断結果に基づいて道路端の認識を行う。
先ず、鉛直方向ラインが周期的であると判断したら、１つの鉛直方向ラインが画像範囲から外れそうになったときに（ステップＳ２１８の判定が“Yes”）、保持フラグＦｈを“１”にセットする（ステップＳ２１９）。これにより、道路端として認識していた候補ラインが一時的に消失したとしても（ステップＳ２０６の判定が“No”）、保持タイマＴｈ＝０になるまでは（ステップＳ２０８の判定が“No”）、それまで道路端として認識していた候補ラインを保持して道路端として認識する（ステップＳ２０９）。すなわち、外壁と外壁の間やガードレールの切れ目に差し掛かって、一時的に候補ラインを見失ったとしても、それまで道路端として認識してきた候補ラインを保持することで、道路端を安定して認識する。
先ず、鉛直方向ラインが周期的であると判断したら、１つの鉛直方向ラインが画像範囲から外れそうになったときに（ステップＳ２１８の判定が“Yes”）、保持フラグＦｈを“１”にセットする（ステップＳ２１９）。これにより、道路端として認識していた候補ラインが一時的に消失したとしても（ステップＳ２０６の判定が“No”）、保持タイマＴｈ＝０になるまでは（ステップＳ２０８の判定が“No”）、それまで道路端として認識していた候補ラインを保持して道路端として認識する（ステップＳ２０９）。すなわち、外壁と外壁の間やガードレールの切れ目に差し掛かって、一時的に候補ラインを見失ったとしても、それまで道路端として認識してきた候補ラインを保持することで、道路端を安定して認識する。
一方、鉛直方向ラインが非周期的であると判断したら、１つの鉛直方向ラインが画像範囲から外れそうになったときに（ステップＳ２１６の判定が“Yes”）、仮想ラインを道路端の候補から除外する（ステップＳ２１７）。すなわち、外壁やガードレールの終端に差し掛かって、それを過ぎると、その先に同じ並びの外壁やガードレールが存在するか否かが不明なので、この場合は仮想ラインを候補から除外することで、言わば有効道路端から実際の道路端へと切り替えて、状況に適した認識を行う。
《効果》
以上より、ステップＳ２０３、Ｓ２０４の処理が「選出手段」に対応し、ステップＳ２１２、Ｓ２１４の処理が「追加手段」に対応し、ステップＳ２０５の処理が「検出手段」に対応し、ステップＳ２０６〜Ｓ２１１、Ｓ２１３、Ｓ２１５〜Ｓ２２２の処理が「認識手段」に対応し、ステップＳ２２３〜Ｓ２２５の処理が「情報提示手段」に対応している。
（１）選出手段は、レーン方向ラインを選出する領域を、自車両の予測進路に基づいて設定する。
このように、所定の領域に的を絞って候補となるラインの検索を行うことで、演算負担を軽減することができる。
以上より、ステップＳ２０３、Ｓ２０４の処理が「選出手段」に対応し、ステップＳ２１２、Ｓ２１４の処理が「追加手段」に対応し、ステップＳ２０５の処理が「検出手段」に対応し、ステップＳ２０６〜Ｓ２１１、Ｓ２１３、Ｓ２１５〜Ｓ２２２の処理が「認識手段」に対応し、ステップＳ２２３〜Ｓ２２５の処理が「情報提示手段」に対応している。
（１）選出手段は、レーン方向ラインを選出する領域を、自車両の予測進路に基づいて設定する。
このように、所定の領域に的を絞って候補となるラインの検索を行うことで、演算負担を軽減することができる。
（２）検出手段が検出したラインの下端位置よりも自車両に近い側にレーン方向ラインが存在しない場合、少なくとも当該鉛直方向ラインの下端位置を通過する仮想ラインを生成し、生成した仮想ラインを選出手段が選出した道路端の候補に追加する追加手段を備える。
これにより、実際の道路端ではなく、車両が路上の障害物と接触することなく通行可能な有効道路端を認識することができるので、こうした路上の障害物に対しても、運転者の注意を喚起することができる。
これにより、実際の道路端ではなく、車両が路上の障害物と接触することなく通行可能な有効道路端を認識することができるので、こうした路上の障害物に対しても、運転者の注意を喚起することができる。
（３）追加手段は、最も自車両に近いレーン方向ラインを、少なくとも前記下端位置まで移動させた仮想ラインを生成する。
これにより、有効道路端を容易に認識し、路面に立設されたポールや電柱などの障害物に対しても、運転者の注意を喚起することができる。
（４）認識手段は、検出手段が検出した鉛直方向ラインが周期的であるか又は非周期的であるかを判断し、判断した結果に基づいて道路端を認識する。
これにより、外壁と外壁の間やガードレールの切れ目、或いは外壁やガードレールの終端に差し掛かったときに、適切な道路端を認識することができる。
これにより、有効道路端を容易に認識し、路面に立設されたポールや電柱などの障害物に対しても、運転者の注意を喚起することができる。
（４）認識手段は、検出手段が検出した鉛直方向ラインが周期的であるか又は非周期的であるかを判断し、判断した結果に基づいて道路端を認識する。
これにより、外壁と外壁の間やガードレールの切れ目、或いは外壁やガードレールの終端に差し掛かったときに、適切な道路端を認識することができる。
（５）認識手段は、検出手段が検出した鉛直方向ラインが周期的であると判断したら、特定した候補を所定時間だけ保持して道路端として認識する。
これにより、外壁と外壁の間やガードレールの切れ目に差し掛かって、一時的に候補ラインを見失ったとしても、それまで道路端として認識してきた候補ラインを保持することで、道路端を安定して認識することができる。
（６）認識手段は、検出手段が検出した鉛直方向ラインが非周期的であると判断したら、当該鉛直方向ラインを自車両が通過した時点で、追加手段が追加した仮想ラインを道路端の候補から除外する。
これにより、外壁やガードレールの終端を通過するようなシーンで、有効道路端から実際の道路端へと切り替えて、状況に適した認識を行うことができる。
これにより、外壁と外壁の間やガードレールの切れ目に差し掛かって、一時的に候補ラインを見失ったとしても、それまで道路端として認識してきた候補ラインを保持することで、道路端を安定して認識することができる。
（６）認識手段は、検出手段が検出した鉛直方向ラインが非周期的であると判断したら、当該鉛直方向ラインを自車両が通過した時点で、追加手段が追加した仮想ラインを道路端の候補から除外する。
これにより、外壁やガードレールの終端を通過するようなシーンで、有効道路端から実際の道路端へと切り替えて、状況に適した認識を行うことができる。
《第３実施形態》
《構成》
第３実施形態は、ＣＣＤカメラ２をドアミラーではなく例えばルームミラーに取付け、それを車体前方に向けて左右両側の車体側方をも含む前景を撮像することを除いては前述した第１及び第２実施形態と同様の構成を備える。
コントローラ６で実行される第３実施形態の道路端認識処理を、図６のフローチャートに従って説明する。
ステップＳ３０１〜Ｓ３１１では、前述した第２実施形態のステップＳ２０１、Ｓ２１１と同様の処理を実行する。
《構成》
第３実施形態は、ＣＣＤカメラ２をドアミラーではなく例えばルームミラーに取付け、それを車体前方に向けて左右両側の車体側方をも含む前景を撮像することを除いては前述した第１及び第２実施形態と同様の構成を備える。
コントローラ６で実行される第３実施形態の道路端認識処理を、図６のフローチャートに従って説明する。
ステップＳ３０１〜Ｓ３１１では、前述した第２実施形態のステップＳ２０１、Ｓ２１１と同様の処理を実行する。
続くステップＳ３１２では、周期的な鉛直方向ラインの全てについて、その下端位置が下記（１５）式を満たすときに、その鉛直方向ラインを配列変数から削除して、検出した鉛直方向ラインを制限する。ここで、ｊとｋは周期的な並びの鉛直方向ラインとして区別されたラインの番号で、ｊが画像内の下側（レーン方向の手前）、ｋが画像内の上側（レーン方向の奥）に存在するラインである。
自車両よりも左側のラインの場合
VertLineY[j]＜VertLineY[k]、且つVertLineX[j]＞VertLineX[k]
自車両よりも右側のラインの場合
VertLineY[j]＜VertLineY[k]、且つVertLineX[j]＜VertLineX[k]
………（１５）
自車両よりも左側のラインの場合
VertLineY[j]＜VertLineY[k]、且つVertLineX[j]＞VertLineX[k]
自車両よりも右側のラインの場合
VertLineY[j]＜VertLineY[k]、且つVertLineX[j]＜VertLineX[k]
………（１５）
続くステップＳ３１３では、単独で存在する鉛直方向ラインの全てについて、その下端位置が下記（１６）式の演算を経て下記（１７）式を満たすときに、周期的に存在する鉛直方向ラインの並びよりも外側に存在する鉛直方向ラインを配列変数から削除して、検出した鉛直方向ラインを制限する。ここで、cycl は全ての周期的な鉛直方向ラインの番号であり、sepaは全ての単独な鉛直方向ラインの番号であって、Ｘｖの値は左側を負値とし右側を正値とする。なお、自車両の正面ではVertLineＸ＝FOE_ＸとなるためＸｖ＝０となる。
Ｘｖ＝（VertLineＸ−FOE_Ｘ）CamParaＸ ………（１６）
自車両よりも左側のラインの場合
Ｘｖ[cycl] ＞ Ｘｖ[sepa]
自車両よりも右側のラインの場合
Ｘｖ[cycl] ＜ Ｘｖ[sepa] ………（１７）
Ｘｖ＝（VertLineＸ−FOE_Ｘ）CamParaＸ ………（１６）
自車両よりも左側のラインの場合
Ｘｖ[cycl] ＞ Ｘｖ[sepa]
自車両よりも右側のラインの場合
Ｘｖ[cycl] ＜ Ｘｖ[sepa] ………（１７）
続くステップＳ３１４では、前述した第２実施形態のステップＳ２１２と同様に、鉛直方向ラインの下端位置よりも自車両に近い側に道路端の候補ラインが存在するか否かを判定する。ここで、下端位置よりも自車両に近い側に道路端の候補が存在するときにはステップＳ３１５に移行する。一方、下端位置よりも自車両に近い側に道路端の候補が存在しないときにはステップＳ３１６に移行する。
ステップＳ３１５では、前述した第２実施形態のステップＳ２１３と同様の処理を実行する。
ステップＳ３１５では、前述した第２実施形態のステップＳ２１３と同様の処理を実行する。
ステップＳ３１６では、前記（１６）式のＸｖの値に基づいて、自車両に最も近い鉛直方向ラインと自車両との距離が所定値以下であるか否かを判定する。ここで、その鉛直方向ラインと自車両との距離が所定値を上回っているときには、その鉛直方向ラインは路面に立設されたポールや電柱などである可能性があると判断してステップＳ３１７に移行する。一方、その鉛直方向ラインと自車両との距離が所定値を下回っているときには、その鉛直方向ラインは、路上に駐車された車両などである可能性があると判断してステップＳ３１８に移行する。
ステップＳ３１７では、前述した第２実施形態のステップＳ２１４と同様の処理を実行する。
ステップＳ３１８では、路上に駐車された車両の位置に新たな仮想道路端として候補ラインを追加する。すなわち、最も自車両に近い側に存在する候補ライン番号をｒとして、下記のように、ライン番号ｉの新たな仮想ラインを候補に追加する。
CandBoundaryLineUpＹ[ｉ]＝VertLineＹ[m]
CandBoundaryLineUpＸ[ｉ]＝VertLineＸ[m]
CandBoundaryLineDnＹ[ｉ]＝画像の下辺（例：ＶＧＡサイズでは４７９）
CandBoundaryLineDnＸ[ｉ]＝CandBoundaryLineDnＸ[ｒ]
CandBoundaryLineＡ[ｉ]＝（画像の下辺−VertLineＹ[m]）
／（VertLineＸ[m]−CandBoundaryLineDnＸ[ｒ]）
CandBoundaryLineＮＧ[ｉ]＝−１（仮想ラインであることを意味）
ステップＳ３１８では、路上に駐車された車両の位置に新たな仮想道路端として候補ラインを追加する。すなわち、最も自車両に近い側に存在する候補ライン番号をｒとして、下記のように、ライン番号ｉの新たな仮想ラインを候補に追加する。
CandBoundaryLineUpＹ[ｉ]＝VertLineＹ[m]
CandBoundaryLineUpＸ[ｉ]＝VertLineＸ[m]
CandBoundaryLineDnＹ[ｉ]＝画像の下辺（例：ＶＧＡサイズでは４７９）
CandBoundaryLineDnＸ[ｉ]＝CandBoundaryLineDnＸ[ｒ]
CandBoundaryLineＡ[ｉ]＝（画像の下辺−VertLineＹ[m]）
／（VertLineＸ[m]−CandBoundaryLineDnＸ[ｒ]）
CandBoundaryLineＮＧ[ｉ]＝−１（仮想ラインであることを意味）
続くステップＳ３１９では、前述した第２実施形態のステップＳ２１５と同様の処理を実行する。
続くステップＳ３２０では、前述した第２実施形態のステップＳ２１６と同様に、単独で存在する鉛直方向ラインが画像範囲から外れるか否かを判断する。ここで、まだ鉛直方向ラインが画像範囲に残ると判断したら後述するステップＳ３３３に移行する。一方、鉛直方向ラインが画像範囲から外れると判断したらステップＳ３２１に移行する。
ステップＳ３２１では、画像範囲から外れると判断してからの経過時間Tpsを計測し、下記（１８）式を満たすか否かを判定する。ここで、Ｄｓは所定値である（例えばＤｓ＝５）。この判定結果が『Tps×Ｖ＜Ｄｓ』であるときには、画像範囲から外れた鉛直方向ラインの横をまだ自車両が通過していないと判断して、推定フラグＦｅを“１”にセットしてからステップＳ３２２に移行する。一方、判定結果が『Tps×Ｖ≧Ｄｓ』であるときには、画像範囲から外れた鉛直方向ラインの横を自車両は通過したと判断して推定フラグＦｅを“０”にリセットしてからステップＳ３２３に移行する。
Tps×Ｖ ＜ Ｄｓ ………（１８）
続くステップＳ３２０では、前述した第２実施形態のステップＳ２１６と同様に、単独で存在する鉛直方向ラインが画像範囲から外れるか否かを判断する。ここで、まだ鉛直方向ラインが画像範囲に残ると判断したら後述するステップＳ３３３に移行する。一方、鉛直方向ラインが画像範囲から外れると判断したらステップＳ３２１に移行する。
ステップＳ３２１では、画像範囲から外れると判断してからの経過時間Tpsを計測し、下記（１８）式を満たすか否かを判定する。ここで、Ｄｓは所定値である（例えばＤｓ＝５）。この判定結果が『Tps×Ｖ＜Ｄｓ』であるときには、画像範囲から外れた鉛直方向ラインの横をまだ自車両が通過していないと判断して、推定フラグＦｅを“１”にセットしてからステップＳ３２２に移行する。一方、判定結果が『Tps×Ｖ≧Ｄｓ』であるときには、画像範囲から外れた鉛直方向ラインの横を自車両は通過したと判断して推定フラグＦｅを“０”にリセットしてからステップＳ３２３に移行する。
Tps×Ｖ ＜ Ｄｓ ………（１８）
ステップＳ３２２では、下記（１９）式に示すように、画像範囲から外れた鉛直方向ラインの位置を推定する。ここで、Ｙｘ_out及びＸｖ_outは鉛直方向ラインのレーン方向と道路横断方向の位置であり、初期値は画像範囲から外れる直前のＹｖ及びＸｖである。また、Δｔはサンプリング周期であり、θは車速と舵角で概算したヨーレート値を積分したものである。
Ｙｖ_out＝Ｙｖ_out＋Ｖ・Δｔ・sinθ
Ｘｖ_out＝Ｘｖ_out＋Ｖ・Δｔ・cosθ ………（１９）
Ｙｖ_out＝Ｙｖ_out＋Ｖ・Δｔ・sinθ
Ｘｖ_out＝Ｘｖ_out＋Ｖ・Δｔ・cosθ ………（１９）
ステップＳ３２３では、前述した第２実施形態のステップＳ２１７と同様の処理を実行する。
続くステップＳ３２４〜Ｓ３２９では、前述した第２実施形態のステップＳ２１８〜Ｓ２２３と同様の処理を実行する。
続くステップＳ３３０では、下記（２０）式を満たすか否かを判定する。
先ずＦｅ＝０の場合、判定結果が『Ｄ＞Ｄｔ』であるときには、道路端に対して十分な距離があると判断して所定のメインプログラムに復帰する。一方、判定結果が『Ｄ≦Ｄｔ』であるときには、道路端に対して接近し過ぎであると判断してステップＳ３３１に移行する。
続くステップＳ３２４〜Ｓ３２９では、前述した第２実施形態のステップＳ２１８〜Ｓ２２３と同様の処理を実行する。
続くステップＳ３３０では、下記（２０）式を満たすか否かを判定する。
先ずＦｅ＝０の場合、判定結果が『Ｄ＞Ｄｔ』であるときには、道路端に対して十分な距離があると判断して所定のメインプログラムに復帰する。一方、判定結果が『Ｄ≦Ｄｔ』であるときには、道路端に対して接近し過ぎであると判断してステップＳ３３１に移行する。
またＦｅ＝１の場合、判定結果が『Ｄ＞Ｄｔ、且つＸｖ_out＞Ｄｔ』であるときには、道路端に対して十分な距離があると判断して所定のメインプログラムに復帰する。一方、判定結果が『Ｄ≦Ｄｔ、又はＸｖ_out≦Ｄｔ』であるときには、道路端に対して接近し過ぎであると判断してステップＳ３３１に移行する。
Ｆｅ＝０の場合
Ｄ ≦ Ｄｔ
Ｆｅ＝１の場合
Ｄ ≦ Ｄｔ 、又はＸｖ_out ≦ Ｄｔ ………（２０）
Ｆｅ＝０の場合
Ｄ ≦ Ｄｔ
Ｆｅ＝１の場合
Ｄ ≦ Ｄｔ 、又はＸｖ_out ≦ Ｄｔ ………（２０）
ステップＳ３３１では、ステップＳ３２６の処理と同様に、カウント値ChkCntが“１”であるか否かを判定する。この判定結果が『ChkCnt＝１』であるときにはステップＳ３３２に移行する。一方、判定結果が『ChkCnt＞１』であるときにはステップＳ３３３に移行する。
ステップＳ３３２では、前述した第２実施形態のステップＳ２２５と同様の処理を実行する。
ステップＳ３３３では、警報装置８は作動させずに、ディスプレイ７に左右両側の車体側方を含む車体前景を画像表示してから所定のメインプログラムに復帰する。
ステップＳ３３２では、前述した第２実施形態のステップＳ２２５と同様の処理を実行する。
ステップＳ３３３では、警報装置８は作動させずに、ディスプレイ７に左右両側の車体側方を含む車体前景を画像表示してから所定のメインプログラムに復帰する。
《作用》
次に、上記第３実施形態の作用について説明する。
先ず、全ての鉛直方向ラインのうち、下端位置が相対的に画像内の下方にあるほど道路端側に位置する鉛直方向ラインだけを、周期的な鉛直方向ラインとして判断する（ステップＳ３１２）。すなわち、相対的に画像内の下方にあるのにレーン中央側に位置するような鉛直方向ラインは、誤検出である、又は道路端を特定する上で無用なラインであるため、これを検出した配列から排除することで、有効な鉛直方向ラインだけをピックアップする。
次に、上記第３実施形態の作用について説明する。
先ず、全ての鉛直方向ラインのうち、下端位置が相対的に画像内の下方にあるほど道路端側に位置する鉛直方向ラインだけを、周期的な鉛直方向ラインとして判断する（ステップＳ３１２）。すなわち、相対的に画像内の下方にあるのにレーン中央側に位置するような鉛直方向ラインは、誤検出である、又は道路端を特定する上で無用なラインであるため、これを検出した配列から排除することで、有効な鉛直方向ラインだけをピックアップする。
また、周期的に存在する鉛直方向ラインの下端位置の配列よりも、自車両から遠い側に存在する鉛直方向ラインを除外する（ステップＳ３１３）。すなわち、周期的に並んだガードレールの外側に存在する鉛直方向ラインであれば、前述した有効道路端を特定する上で無用なラインであるため、これを検出した配列から排除することで、やはり有効な鉛直方向ラインだけをピックアップする。
また、鉛直方ラインの下端位置よりも右側に道路端の候補ラインが存在しないときには（ステップＳ３１４の判定が“No”）、少なくとも鉛直方向ラインの下端位置を通過する仮想ラインを生成し、これを道路端の候補に追加する。
このとき、先ず自車両に最も近い鉛直方向ラインに対する自車両の接近度合に応じて、その鉛直方向ラインが路面に立設されたポールや電柱であるのか、又は路上に駐車された車両であるのかを判断する（ステップＳ３１６）。
このとき、先ず自車両に最も近い鉛直方向ラインに対する自車両の接近度合に応じて、その鉛直方向ラインが路面に立設されたポールや電柱であるのか、又は路上に駐車された車両であるのかを判断する（ステップＳ３１６）。
ここで、鉛直方向ラインがポールや電柱であると判断した場合には（ステップＳ３１６の判定結果が“No”）、前述した第２実施形態と同様に、最も自車両に近い候補ラインを少なくとも鉛直方向ラインの下端位置まで平行移動させた仮想ラインを生成する（ステップＳ３１７）。一方、鉛直方向ラインが路上に駐車された車両であると判断した場合には（ステップＳ３１６の判定結果が“Yes”）、最も自車両に近い候補ラインの画像内における下端位置と鉛直方向ラインの下端位置とを結ぶ、つまり最も自車両に近い候補ラインを、画像内における下端位置を軸にして、鉛直方向ラインを通過する位置まで回転移動させた仮想ラインを生成する（ステップＳ３１８）。
これらは何れも、車両が路上の障害物と接触することなく通行できる有効道路端を設定するものであるが、夫々を障害物として回避するときに必要なステアリング操作量に着目して、仮想ラインの生成方法を切り分けている。すなわち、ポールや電柱が通行の障害となる場合には、比較的僅かなステアリング操作でこれを回避できるが、駐車車両の場合には、ポールや電柱に比べて幅がある分、それだけ大きなステアリング操作が必要となる。したがって、駐車車両の場合には、有効道路端をその駐車車両における車道側の端面に沿って設定するのではなく、駐車車両における車道側の後端に向けて斜めに設定することにより、より滑らかなステアリング操作を促す段差のない有効道路端となる。
ところで、第３実施形態のように、単眼カメラを車体前方に向けると、車体側方に対する死角が増え、車両が鉛直方向ラインを通過する前にその鉛直方向ラインが画像範囲から外れやすくなる。そこで、検出した鉛直方向ラインを自車両が通過するまでは、画像範囲から外れてもその下端位置を推定して保持し（ステップＳ３２２）、これを前述したように道路端の特定に利用する。
そして、鉛直方向の下端位置や自車両のタイヤ接地点に基づいて、候補ラインを限定して候補を絞った段階で、道路端の候補ラインが１本に絞られており（ステップＳ３２６の判定が“Yes”）、その道路端への接近度合に応じて警報を発するときには（ステップＳ３３０の判定が “Yes”）、ディスプレイ７に車両側方の画像を表示すると共に、警報装置８を作動させて警報音を報知することで（ステップＳ３３２）、運転者の注意を喚起する。
一方、鉛直方向ライン下端位置や自車両のタイヤ接地点に基づいて、候補ラインを限定して候補を絞った段階で、道路端の候補ラインが１本に絞りきれておらず（ステップＳ３２６の判定が“No”）、最もレーン中央側（左側のラインの場合は右側）の候補ラインに特定したとする（ステップＳ３２８）。このとき、その道路端への接近度合に応じて警報を発するときには（ステップＳ３３０の判定が “Yes”）、警報装置８は作動させずに、ディスプレイ７に左右両側の車体側方を含む車体前景を画像表示して（ステップＳ３３３）、運転者の注意を喚起する。このように、鉛直方向の下端位置や自車両のタイヤ接地点に基づいて候補を絞りきれないような場合には、例えば路面に映る影等、実際の道路端よりもレーン中央側のラインを道路端として誤認してしまっていることも考えられるため、情報提示を抑制して、運転者に与える違和感を最小限に抑制する。
《応用例》
上記の第３実施形態では、鉛直方向ラインの下端位置と自車両との距離が所定値を上回っているか否かで、仮想ラインの生成手法を変えているが、勿論、何れかの手法だけで仮想ラインを生成してもよい。これによれば、ステップＳ３１６の判定処理を省略することができる。
上記の第３実施形態では、鉛直方向ラインの下端位置と自車両との距離が所定値を上回っているか否かで、仮想ラインの生成手法を変えているが、勿論、何れかの手法だけで仮想ラインを生成してもよい。これによれば、ステップＳ３１６の判定処理を省略することができる。
《効果》
以上より、ステップＳ３０３、Ｓ３０４の処理が「選出手段」に対応し、ステップＳ３１４、Ｓ３１６〜Ｓ３１８の処理が「追加手段」に対応し、ステップＳ３０５の処理が「検出手段」に対応し、ステップＳ３０６〜Ｓ３１３、Ｓ３１５、Ｓ３１９〜Ｓ３２８の処理が「認識手段」に対応し、ステップＳ３２９〜Ｓ３３３の処理が「情報提示手段」に対応している。
（１）追加手段は、最も自車両に近いレーン方向ラインの画像内における下端位置と鉛直方向ラインの下端位置とを結ぶ仮想ラインを生成する。
これにより、駐車車両等、幅の広い障害物を回避するようなシーンで、より滑らかなステアリング操作を促す段差のない有効道路端を認識することができる。
以上より、ステップＳ３０３、Ｓ３０４の処理が「選出手段」に対応し、ステップＳ３１４、Ｓ３１６〜Ｓ３１８の処理が「追加手段」に対応し、ステップＳ３０５の処理が「検出手段」に対応し、ステップＳ３０６〜Ｓ３１３、Ｓ３１５、Ｓ３１９〜Ｓ３２８の処理が「認識手段」に対応し、ステップＳ３２９〜Ｓ３３３の処理が「情報提示手段」に対応している。
（１）追加手段は、最も自車両に近いレーン方向ラインの画像内における下端位置と鉛直方向ラインの下端位置とを結ぶ仮想ラインを生成する。
これにより、駐車車両等、幅の広い障害物を回避するようなシーンで、より滑らかなステアリング操作を促す段差のない有効道路端を認識することができる。
（２）追加手段は、鉛直方向ラインの下端位置と自車両との距離が所定値を上回っているときには、最も自車両に近いレーン方向ラインを、少なくとも下端位置まで移動させた仮想ラインを生成し、鉛直方向ラインの下端位置と自車両との距離が所定値を下回っているときには、最も自車両に近いレーン方向ラインの画像内における下端位置と鉛直方向ラインの下端位置とを結ぶ仮想ラインを生成する。
このように、幅の狭い障害物（ポールや電柱等）を回避するようなシーンと、幅の広い障害物（駐車車両等）を回避するようなシーンとで仮想ラインの生成方法を切り分けることで、シーンに合った最適な有効道路端を認識することができる。
このように、幅の狭い障害物（ポールや電柱等）を回避するようなシーンと、幅の広い障害物（駐車車両等）を回避するようなシーンとで仮想ラインの生成方法を切り分けることで、シーンに合った最適な有効道路端を認識することができる。
（３）認識手段は、検出手段が検出した複数の鉛直方向ラインのうち、下端位置が相対的に画像内の下方にあるものほど道路端側に位置する鉛直方向ラインだけを、周期的な鉛直方向ラインとして判断する。
これにより、誤検出したラインや道路端を特定する上で無用なラインを排除して、有効な鉛直方向ラインだけをピックアップすることができるので、演算負担を軽減することができる。
（４）認識手段は、周期的に存在する鉛直方向ラインの下端位置の配列よりも、自車両から遠い側に存在する鉛直方向ラインを除外する。
これにより、有効道路端を特定する上で無用なラインを排除して、有効な鉛直方向ラインだけをピックアップすることができるので、演算負担を軽減することができる。
これにより、誤検出したラインや道路端を特定する上で無用なラインを排除して、有効な鉛直方向ラインだけをピックアップすることができるので、演算負担を軽減することができる。
（４）認識手段は、周期的に存在する鉛直方向ラインの下端位置の配列よりも、自車両から遠い側に存在する鉛直方向ラインを除外する。
これにより、有効道路端を特定する上で無用なラインを排除して、有効な鉛直方向ラインだけをピックアップすることができるので、演算負担を軽減することができる。
（５）認識手段は、検出手段が検出した鉛直方向ラインを自車両が通過するまでは、画像範囲から外れても鉛直方向ラインの下端位置を推定し保持する。
このように、画像範囲から外れてしまっても、その下端位置に基づいて道路端の特定を続行することができる。
（６）情報提示手段は、認識手段が限定した道路端の候補が複数あるときには、情報提示を抑制する。
これにより、実際の道路端よりもレーン中央側のラインを道路端として誤認してしまっているような場合でも、運転者に与える違和感を最小限に抑制することができる。
このように、画像範囲から外れてしまっても、その下端位置に基づいて道路端の特定を続行することができる。
（６）情報提示手段は、認識手段が限定した道路端の候補が複数あるときには、情報提示を抑制する。
これにより、実際の道路端よりもレーン中央側のラインを道路端として誤認してしまっているような場合でも、運転者に与える違和感を最小限に抑制することができる。
１ 自動車
２ ＣＣＤカメラ
３ 画像処理装置
４ 車速センサ
５ 操舵角センサ
６ コントローラ
７ ディスプレイ
８ 警報装置
９ ブレーキアクチュエータ
２ ＣＣＤカメラ
３ 画像処理装置
４ 車速センサ
５ 操舵角センサ
６ コントローラ
７ ディスプレイ
８ 警報装置
９ ブレーキアクチュエータ
Claims (19)
- 車体側方の道路環境を撮像する撮像手段と、該撮像手段が撮像した画像内で所定の条件を満たす全てのレーン方向ラインを道路端の候補として選出する選出手段と、前記撮像手段が撮像した画像内に所定の条件を満たす鉛直方向ラインが存在するときに当該鉛直方向ラインの下端位置を検出する検出手段と、前記検出手段が検出した鉛直方向ラインの下端位置に基づいて前記選出手段が選出した候補を１つに特定し、特定した候補を道路端として認識する認識手段と、を備えることを特徴とする道路端認識装置。
- 前記認識手段は、前記選出手段が選出した道路端の候補のうち、前記検出手段が検出した鉛直方向ラインの下端位置よりも自車両から遠い側を通過しているレーン方向ラインだけに限定して候補を特定することを特徴とする請求項１に記載の道路端認識装置。
- 前記認識手段は、前記選出手段が選出した道路端の候補のうち、自車両のタイヤ接地点よりも外側を通過しているレーン方向ラインだけに限定して候補を特定することを特徴とする請求項１又は２に記載の道路端認識装置。
- 前記認識手段は、限定した道路端の候補のうち、最も自車両に近いレーン方向ラインを道路端として特定することを特徴とする請求項２又は３に記載の道路端認識装置。
- 前記選出手段は、レーン方向ラインを選出する領域を、自車両の予測進路に基づいて設定することを特徴とする請求項１〜４の何れか一項に記載の道路端認識装置。
- 前記検出手段が検出した鉛直方向ラインの下端位置よりも自車両に近い側にレーン方向ラインが存在しない場合、少なくとも当該鉛直方向ラインの下端位置を通過する仮想ラインを生成し、生成した仮想ラインを前記選出手段が選出した道路端の候補に追加する追加手段を備えることを特徴とする請求項１〜５の何れか一項に記載の道路端認識装置。
- 前記追加手段は、最も自車両に近いレーン方向ラインを、少なくとも前記下端位置まで移動させた仮想ラインを生成することを特徴とする請求項６に記載の道路端認識装置。
- 前記追加手段は、最も自車両に近いレーン方向ラインの画像内における下端位置と前記鉛直方向ラインの下端位置とを結ぶ仮想ラインを生成することを特徴とする請求項６に記載の道路端認識装置。
- 前記追加手段は、前記鉛直方向ラインの下端位置と自車両との距離が所定値を上回っているときには、最も自車両に近いレーン方向ラインを、少なくとも前記下端位置まで移動させた仮想ラインを生成し、前記鉛直方向ラインの下端位置と自車両との距離が所定値を下回っているときには、最も自車両に近いレーン方向ラインの画像内における下端位置と前記鉛直方向ラインの下端位置とを結ぶ仮想ラインを生成することを特徴とする請求項６に記載の道路端認識装置。
- 前記認識手段は、前記検出手段が検出した鉛直方向ラインが周期的であるか又は非周期的であるかを判断し、判断した結果に基づいて道路端を認識することを特徴とする請求項１〜９の何れか一項に記載の道路端認識装置。
- 前記認識手段は、前記検出手段が検出した鉛直方向ラインが周期的であると判断したら、特定した候補を所定時間だけ保持して道路端として認識することを特徴とする請求項１０に記載の道路端認識装置。
- 前記認識手段は、前記検出手段が検出した鉛直方向ラインが非周期的であると判断したら、当該鉛直方向ラインを自車両が通過した時点で、前記追加手段が追加した仮想ラインを道路端の候補から除外することを特徴とする請求項１０又は１１に記載の道路端認識装置。
- 前記認識手段は、前記検出手段が検出した複数の鉛直方向ラインのうち、下端位置が相対的に画像内の下方にあるものほど道路端側に位置する鉛直方向ラインだけを、周期的な鉛直方向ラインとして判断することを特徴とする請求項１０〜１２の何れか一項に記載の道路端認識装置。
- 前記認識手段は、周期的に存在する鉛直方向ラインの下端位置の配列よりも、自車両から遠い側に存在する鉛直方向ラインを除外することを特徴とする請求項１０〜１３の何れか一項に記載の道路端認識装置。
- 前記認識手段は、前記検出手段が検出した鉛直方向ラインを自車両が通過するまでは、画像範囲から外れても前記鉛直方向ラインの下端位置を推定し保持することを特徴とする請求項１〜１４の何れか一項に記載の道路端認識装置。
- 前記認識手段が認識した道路端に対する自車両の接近度合に応じた情報を提示する情報提示手段を備えることを特徴とする請求項１〜１５の何れか一項に記載の道路端認識装置。
- 前記情報提示手段は、前記認識手段が限定した道路端の候補が複数あるときには、情報提示を抑制することを特徴とする請求項１６に記載の道路端認識装置。
- 道路端認識装置を備えた自動車において、
前記道路端認識装置は、
車体側方の道路環境を撮像した画像内で、所定の条件を満たす全てのレーン方向ラインを道路端の候補として選出し、前記画像内に所定の条件を満たす鉛直方向ラインが存在するときに、当該鉛直方向ラインの下端位置に基づいて前記候補を１つに特定し、特定した候補を道路端として認識することを特徴とする自動車。 - 車体側方の道路環境を撮像した画像内で、所定の条件を満たす全てのレーン方向ラインを道路端の候補として選出し、前記画像内に所定の条件を満たす鉛直方向ラインが存在するときに、当該鉛直方向ラインの下端位置に基づいて前記候補を１つに特定し、特定した候補を道路端として認識することを特徴とする道路端認識方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006174353A JP4887932B2 (ja) | 2006-06-23 | 2006-06-23 | 道路端認識装置、自動車、及び道路端認識方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006174353A JP4887932B2 (ja) | 2006-06-23 | 2006-06-23 | 道路端認識装置、自動車、及び道路端認識方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008003941A true JP2008003941A (ja) | 2008-01-10 |
| JP4887932B2 JP4887932B2 (ja) | 2012-02-29 |
Family
ID=39008258
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006174353A Active JP4887932B2 (ja) | 2006-06-23 | 2006-06-23 | 道路端認識装置、自動車、及び道路端認識方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4887932B2 (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010118764A (ja) * | 2008-11-11 | 2010-05-27 | Nissan Motor Co Ltd | 車両周辺監視装置および車両周辺監視方法 |
| WO2012115009A1 (ja) * | 2011-02-21 | 2012-08-30 | 日産自動車株式会社 | 周期的静止物検出装置及び周期的静止物検出方法 |
| JP2014157469A (ja) * | 2013-02-15 | 2014-08-28 | Aisin Aw Co Ltd | 道路端検出システム、方法およびプログラム |
| JPWO2013125404A1 (ja) * | 2012-02-23 | 2015-07-30 | 日産自動車株式会社 | 立体物検出装置 |
| US10397544B2 (en) | 2010-08-19 | 2019-08-27 | Nissan Motor Co., Ltd. | Three-dimensional object detection device and three-dimensional object detection method |
| JP7417466B2 (ja) | 2020-05-07 | 2024-01-18 | 株式会社トヨタマップマスター | 情報処理装置、情報処理方法及び情報処理プログラム |
| JP7417465B2 (ja) | 2020-05-07 | 2024-01-18 | 株式会社トヨタマップマスター | 情報処理装置、情報処理方法及び情報処理プログラム |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06266828A (ja) * | 1993-03-12 | 1994-09-22 | Fuji Heavy Ind Ltd | 車輌用車外監視装置 |
| JPH08255245A (ja) * | 1995-03-17 | 1996-10-01 | Toshiba Corp | ランドマーク認識装置およびランドマーク認識方法 |
| JP2004252550A (ja) * | 2003-02-18 | 2004-09-09 | Toyota Central Res & Dev Lab Inc | 運転支援装置 |
| JP2005267331A (ja) * | 2004-03-19 | 2005-09-29 | Nissan Motor Co Ltd | 車両周囲監視装置 |
| JP2005275500A (ja) * | 2004-03-23 | 2005-10-06 | Zenrin Co Ltd | 消失点決定方法 |
-
2006
- 2006-06-23 JP JP2006174353A patent/JP4887932B2/ja active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06266828A (ja) * | 1993-03-12 | 1994-09-22 | Fuji Heavy Ind Ltd | 車輌用車外監視装置 |
| JPH08255245A (ja) * | 1995-03-17 | 1996-10-01 | Toshiba Corp | ランドマーク認識装置およびランドマーク認識方法 |
| JP2004252550A (ja) * | 2003-02-18 | 2004-09-09 | Toyota Central Res & Dev Lab Inc | 運転支援装置 |
| JP2005267331A (ja) * | 2004-03-19 | 2005-09-29 | Nissan Motor Co Ltd | 車両周囲監視装置 |
| JP2005275500A (ja) * | 2004-03-23 | 2005-10-06 | Zenrin Co Ltd | 消失点決定方法 |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010118764A (ja) * | 2008-11-11 | 2010-05-27 | Nissan Motor Co Ltd | 車両周辺監視装置および車両周辺監視方法 |
| US10397544B2 (en) | 2010-08-19 | 2019-08-27 | Nissan Motor Co., Ltd. | Three-dimensional object detection device and three-dimensional object detection method |
| RU2549595C2 (ru) * | 2011-02-21 | 2015-04-27 | Ниссан Мотор Ко., Лтд. | Система обнаружения периодических стационарных объектов и способ обнаружения периодических стационарных объектов |
| JPWO2012115009A1 (ja) * | 2011-02-21 | 2014-07-07 | 日産自動車株式会社 | 周期的静止物検出装置及び周期的静止物検出方法 |
| US8903133B2 (en) | 2011-02-21 | 2014-12-02 | Nissan Motor Co., Ltd. | Periodic stationary object detection system and periodic stationary object detection method |
| CN103124995A (zh) * | 2011-02-21 | 2013-05-29 | 日产自动车株式会社 | 周期性静止物体检测装置和周期性静止物体检测方法 |
| CN103124995B (zh) * | 2011-02-21 | 2015-07-01 | 日产自动车株式会社 | 周期性静止物体检测装置和周期性静止物体检测方法 |
| JP5783243B2 (ja) * | 2011-02-21 | 2015-09-24 | 日産自動車株式会社 | 周期的静止物検出装置及び周期的静止物検出方法 |
| WO2012115009A1 (ja) * | 2011-02-21 | 2012-08-30 | 日産自動車株式会社 | 周期的静止物検出装置及び周期的静止物検出方法 |
| JPWO2013125404A1 (ja) * | 2012-02-23 | 2015-07-30 | 日産自動車株式会社 | 立体物検出装置 |
| JP2014157469A (ja) * | 2013-02-15 | 2014-08-28 | Aisin Aw Co Ltd | 道路端検出システム、方法およびプログラム |
| JP7417466B2 (ja) | 2020-05-07 | 2024-01-18 | 株式会社トヨタマップマスター | 情報処理装置、情報処理方法及び情報処理プログラム |
| JP7417465B2 (ja) | 2020-05-07 | 2024-01-18 | 株式会社トヨタマップマスター | 情報処理装置、情報処理方法及び情報処理プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4887932B2 (ja) | 2012-02-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10643475B2 (en) | Lane departure warning device and method | |
| JP4887932B2 (ja) | 道路端認識装置、自動車、及び道路端認識方法 | |
| EP2369552B1 (en) | Approaching object detection system | |
| JP5971341B2 (ja) | 物体検出装置及び運転支援装置 | |
| JP6416293B2 (ja) | 自動車に接近する対象車両を自動車のカメラシステムにより追跡する方法、カメラシステムおよび自動車 | |
| KR101692628B1 (ko) | 관심영역을 이용하여 차량의 후방 좌우 옆 차선 영역을 감지하는 방법 및 이를 이용한 차량용 영상 모니터링 시스템 | |
| JP6220327B2 (ja) | 走行区画線認識装置、走行区画線認識プログラム | |
| JP6045889B2 (ja) | 車載用制御装置 | |
| KR101103526B1 (ko) | 스테레오 카메라를 이용한 충돌회피 방법 | |
| JP2011175468A (ja) | 区画線検出装置 | |
| CN108162858B (zh) | 车载监控装置及其方法 | |
| JP5888339B2 (ja) | 表示制御装置 | |
| JP6129268B2 (ja) | 車両用運転支援システムおよび運転支援方法 | |
| JP4541609B2 (ja) | 停止線認識装置、及び、その停止線認識装置を用いた車両用運転支援装置 | |
| JP4647387B2 (ja) | 車両の運転支援装置 | |
| JP2011048520A (ja) | 車両周辺監視装置および車両周辺監視方法 | |
| JP3912236B2 (ja) | 車両周辺監視装置 | |
| JP6394440B2 (ja) | 汚れ判定装置 | |
| KR20140004413A (ko) | 안전운전 지원 장치 및 방법 | |
| JP2011103058A (ja) | 誤認識防止装置 | |
| JP4930432B2 (ja) | 車両用周辺監視装置 | |
| JP4321410B2 (ja) | 物体検出装置、および方法 | |
| JP2004252550A (ja) | 運転支援装置 | |
| KR100383538B1 (ko) | 차선이탈 경보 방법 및 시스템 | |
| JP6287106B2 (ja) | 運転支援装置及び記号登録装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090325 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100917 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110330 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110406 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110526 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111115 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111128 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4887932 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141222 Year of fee payment: 3 |