JP2002175535A - 道路白線認識装置 - Google Patents

道路白線認識装置

Info

Publication number
JP2002175535A
JP2002175535A JP2001179204A JP2001179204A JP2002175535A JP 2002175535 A JP2002175535 A JP 2002175535A JP 2001179204 A JP2001179204 A JP 2001179204A JP 2001179204 A JP2001179204 A JP 2001179204A JP 2002175535 A JP2002175535 A JP 2002175535A
Authority
JP
Japan
Prior art keywords
road
white line
window
line
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001179204A
Other languages
English (en)
Other versions
JP3733875B2 (ja
Inventor
Hiroyuki Kosho
裕之 古性
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2001179204A priority Critical patent/JP3733875B2/ja
Priority to US09/963,490 priority patent/US6845172B2/en
Publication of JP2002175535A publication Critical patent/JP2002175535A/ja
Application granted granted Critical
Publication of JP3733875B2 publication Critical patent/JP3733875B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection

Abstract

(57)【要約】 【課題】 擬似白線が画像のウインドウ内に含まれた場
合にも擬似白線に惑わされることなく本来の道路形状を
精度良く推定できる道路白線認識装置を提供する。 【解決手段】 道路画像上に道路白線の延長方向に沿っ
て複数のウインドウを設けるウインドウ設定手段１０１
と、ウインドウ毎の画像から白線候補点を抽出する白線
候補点抽出手段１０２と、前記ウインドウ毎に抽出され
た白線候補点に基づいて第１の白線候補線の画像座標及
び傾きを算出する白線候補線算出手段１０３と、ウイン
ドウ毎に第１の白線候補線に類似した第２の白線候補線
である擬似白線が存在するか否かを判定する擬似白線存
在判断手段１０４と、擬似白線が存在すると判定された
ウインドウからは自車両の車線に対する横変位を除外し
た道路パラメータを推定する道路パラメータ推定手段１
０５とを備える。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、例えば車両の自動
操縦や予防安全運転などのために、車両の進行方向前方
の道路を画像として取得して道路白線を認識し、この道
路白線から道路形状を推定するようにした道路白線認識
装置に関する。
【０００２】
【従来の技術】この種の画像により道路白線を認識する
従来の手法としては、特開平６−２０１８９号公報に開
示される道路形状計測装置や特開平８−２６１７５６号
公報に開示される走行レーン認識装置などがある。これ
らの技術はカメラで撮像した画像を適宜処理することに
より道路形状を推定するようになっており、前者の特開
平６−２０１８９号公報では、検出した道路形状と３次
元曲線パラメータに基づいて座標変換した３次元道路モ
デルとを比較して、両者間の位置ずれから３次元曲線パ
ラメータの変化量および撮像手段の姿勢パラメータの変
化量を推定して道路形状を計測するようになっている。
また、後者の特開平８−２６１７５６号公報では、画像
における濃淡の勾配の大きさや方向に基づいて曲線を含
むエッジ線分を抽出して、走行レーンが認識されるよう
になっている。
【０００３】
【発明が解決しようとする課題】しかしながら、かかる
従来の道路形状を推定する手法ではいずれも画像を用い
たことにより、轍の水溜まり、ガイドレールや二重白線
などを白線と誤認する恐れがある。即ち、これら白線と
誤認する恐れのある要素、つまり擬似白線は、実際の道
路白線に対してほぼ平行に配置される場合が多く、画像
に取り込まれた際に２値化して白線と混同し、本来の道
路形状の推定を失敗してしまう可能性がある。
【０００４】例えば、図１６に道路１に形成された轍２
が水溜まり状態となった場合を示したが、この場合は太
陽光や外灯などの入射角によっては水溜まり（または水
膜）の表面に反射した光が画像に取り込まれた際、これ
が画像上で輝度の高い線状部分として現れる。このた
め、この轍２の水溜まりによる高輝度線が道路白線３と
誤認識されてしまうという問題点があった。
【０００５】また、図１７に路肩に設置されるガイドレ
ール５の影６が道路白線３に影響する場合を示し、この
影６が道路白線３に差し掛かると、その部分の道路白線
３の輝度が低下する一方、白色のガイドレール５を白線
として誤認識する恐れがある。このようにガイドレール
５を誤認識すると、影６が無い部分の道路白線３の検出
点ｍ1とガイドレール５の擬似検出点ｍ2とを結ぶ誤った
線Ｌが道路モデルとして推定されてしまうという問題点
があった。
【０００６】本発明は上記従来の問題点に鑑みて成され
たもので、轍等の水たまりが光を反射して高輝度線を形
成したり、ガイドレールの影が道路白線に差し掛かって
も、水たまりやガイドレールを白線と誤認識することな
く、本来の道路形状を精度良く推定することができる道
路白線認識装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】請求項１記載の本発明
は、上記目的を達成するため、車両に搭載した画像取得
手段により車両前方の道路画像を取得し、道路形状及び
この道路に対する車両姿勢を示す道路モデル式の各道路
パラメータを推定する道路白線認識装置において、前記
道路画像上に、それぞれのウインドウに道路白線が含ま
れるように道路白線の延長方向に沿って複数のウインド
ウを設けるウインドウ設定手段と、前記ウインドウ毎に
白線の可能性がある白線候補線を算出する白線候補線算
出手段と、前記ウインドウ毎に前記白線候補線の前記道
路白線に対する位置精度を判定する白線位置精度判断手
段と、前記位置精度が低いと判断されたウインドウに対
しては、少なくとも白線候補線の傾きを用い、前記位置
精度が低くないと判断されたウインドウに対しては、白
線候補線の画像座標を用いて、自車両の車線に対する横
変位を含む前記道路パラメータを推定する道路パラメー
タ推定手段と、を備えたことを要旨とする。
【０００８】請求項２記載の本発明は、上記目的を達成
するため、車両に搭載した画像取得手段により車両前方
の道路画像を取得し、道路形状及びこの道路に対する車
両姿勢を示す道路モデル式の各道路パラメータを推定す
る道路白線認識装置において、前記道路画像上に、それ
ぞれのウインドウに道路白線が含まれるように道路白線
の延長方向に沿って複数のウインドウを設けるウインド
ウ設定手段と、前記ウインドウ毎に白線の可能性がある
白線候補線を算出する白線候補線算出手段と、前記ウイ
ンドウ毎に傾きの類似した複数の白線候補線が存在する
か否かを判定する擬似白線存在判断手段と、擬似白線が
存在すると判断されたウインドウに対しては、少なくと
も白線候補線の傾きを用い、擬似白線が存在しないと判
断されたウインドウに対しては、白線候補線の画像座標
を用いて、自車両の車線に対する横変位を含む前記道路
パラメータを推定する道路パラメータ推定手段と、を備
えたことを要旨とする。
【０００９】請求項３記載の本発明は、上記目的を達成
するため、車両に搭載した画像取得手段により車両前方
の道路画像を取得し、道路形状及びこの道路に対する車
両姿勢を示す道路モデル式の各道路パラメータを推定す
る道路白線認識装置において、前記道路画像上に、それ
ぞれのウインドウに道路白線が含まれるように道路白線
の延長方向に沿って複数のウインドウを設けるウインド
ウ設定手段と、前記ウインドウ毎に白線の可能性がある
白線候補線を算出する白線候補線算出手段と、前記ウイ
ンドウ内の路面と自車両との遠近位置を判断するウイン
ドウ位置判断手段と、前記ウインドウ内の路面が自車両
に対して遠方に位置すると判断されたウインドウに対し
ては、少なくとも白線候補線の傾きを用い、前記ウイン
ドウ内の路面が自車両に対して遠方に位置しないと判断
されたウインドウに対しては、白線候補線の画像座標を
用いて、前記自車両の車線に対する横変位を含む前記道
路パラメータを推定する道路パラメータ推定手段と、を
備えたことを要旨とする。
【００１０】請求項４記載の本発明は、上記目的を達成
するため、請求項１ないし請求項３のいずれか１項記載
の道路白線認識装置において、前記ウインドウ毎に画像
を処理して白線候補点を抽出する白線候補点抽出手段を
備え、前記白線候補線算出手段は前記白線候補点抽出手
段によって抽出された白線候補点に基づいて白線候補線
を算出するようにしたことを要旨とする。
【００１１】請求項５記載の本発明は、上記目的を達成
するため、請求項１ないし請求項４のいずれか１項記載
の道路白線認識装置において、各ウインドウで算出され
る白線候補線を直線に近似させたことを要旨とする。
【００１２】請求項６記載の本発明は、上記目的を達成
するため、請求項５記載の道路白線認識装置において、
各ウインドウで算出される白線候補線を直線に近似さ
せ、白線候補点から白線候補線となる直線への近似にハ
フ変換を用いたことを要旨とする。
【００１３】請求項７記載の本発明は、上記目的を達成
するため、請求項１ないし請求項６のいずれか１項記載
の道路白線認識装置において、カルマンフィルタ処理に
より前記道路パラメータを推定できるように、擬似白線
が存在すると判断されたウインドウに対しては、前記道
路モデル式から自車両の横変位を消去した式を前記道路
パラメータに関して線型近似し、擬似白線が存在しない
と判断されたウインドウに対しては、前記道路モデル式
を前記道路パラメータに関して線型近似したことを要旨
とする。
【００１４】請求項８記載の本発明は、上記目的を達成
するため、請求項１ないし請求項７のいずれか１項記載
の道路白線認識装置において、前記道路パラメータは、
道路曲率、自車両の車線に対するヨー角、自車両のピッ
チ角、及び路面からの前記画像取得手段の高さを含むこ
とを要旨とする。
【００１５】
【発明の効果】請求項１記載の本発明によれば、車両に
搭載した画像取得手段により車両前方の道路画像を取得
し、道路形状及びこの道路に対する車両姿勢を示す道路
モデル式の各道路パラメータを推定する道路白線認識装
置において、前記道路画像上に、それぞれのウインドウ
に道路白線が含まれるように道路白線の延長方向に沿っ
て複数のウインドウを設けるウインドウ設定手段と、前
記ウインドウ毎に白線の可能性がある白線候補線を算出
する白線候補線算出手段と、前記ウインドウ毎に前記白
線候補線の前記道路白線に対する位置精度を判定する白
線位置精度判断手段と、前記位置精度が低いと判断され
たウインドウに対しては、少なくとも白線候補線の傾き
を用い、前記位置精度が低くないと判断されたウインド
ウに対しては、白線候補線の画像座標を用いて、自車両
の車線に対する横変位を含む前記道路パラメータを推定
する道路パラメータ推定手段と、を備えたので、白線位
置精度が低いと判断したウインドウの白線候補線の画像
座標を使用せずに道路パラメータを推定できるようにな
り、道路パラメータの推定精度を向上させることができ
るという効果がある。
【００１６】請求項２記載の本発明によれば、車両に搭
載した画像取得手段により車両前方の道路画像を取得
し、道路形状及びこの道路に対する車両姿勢を示す道路
モデル式の各道路パラメータを推定する道路白線認識装
置において、前記道路画像上に、それぞれのウインドウ
に道路白線が含まれるように道路白線の延長方向に沿っ
て複数のウインドウを設けるウインドウ設定手段と、前
記ウインドウ毎に白線の可能性がある白線候補線を算出
する白線候補線算出手段と、前記ウインドウ毎に傾きの
類似した複数の白線候補線が存在するか否かを判定する
擬似白線存在判断手段と、擬似白線が存在すると判断さ
れたウインドウに対しては、少なくとも白線候補線の傾
きを用い、擬似白線が存在しないと判断されたウインド
ウに対しては、白線候補線の画像座標を用いて、自車両
の車線に対する横変位を含む前記道路パラメータを推定
する道路パラメータ推定手段と、を備えので、ウインド
ウの範囲内の画像に道路白線と紛らわしい、例えば轍に
溜まった水の反射による高輝度領域や、ガイドレールの
影によって低輝度となった白線に代わって高輝度領域と
なる白色ガイドレール等の本来の白線に略平行な擬似白
線が含まれることがあっても、道路パラメータの推定精
度を低下させることがないという効果がある。
【００１７】請求項３記載の本発明によれば、車両に搭
載した画像取得手段により車両前方の道路画像を取得
し、道路形状及びこの道路に対する車両姿勢を示す道路
モデル式の各道路パラメータを推定する道路白線認識装
置において、前記道路画像上に、それぞれのウインドウ
に道路白線が含まれるように道路白線の延長方向に沿っ
て複数のウインドウを設けるウインドウ設定手段と、前
記ウインドウ毎に白線の可能性がある白線候補線を算出
する白線候補線算出手段と、前記ウインドウ内の路面と
自車両との遠近位置を判断するウインドウ位置判断手段
と、前記ウインドウ内の路面が自車両に対して遠方に位
置すると判断されたウインドウに対しては、少なくとも
白線候補線の傾きを用い、前記ウインドウ内の路面が自
車両に対して遠方に位置しないと判断されたウインドウ
に対しては、白線候補線の画像座標を用いて、前記自車
両の車線に対する横変位を含む前記道路パラメータを推
定する道路パラメータ推定手段と、を備えたので、ウイ
ンドウ内の道路白線の画像座標の精度が相対的に低い遠
方のウインドウの白線候補線の画像座標を使用せずに道
路パラメータを推定できるようになり、自車両の車線に
対する横変位のパラメータの推定精度を高めることがで
きるという効果がある。
【００１８】請求項４記載の本発明によれば、請求項１
ないし請求項３記載の発明の効果に加えて、前記ウイン
ドウ毎に画像を処理して白線候補点を抽出する白線候補
点抽出手段を備え、前記白線候補線算出手段は前記白線
候補点抽出手段によって抽出された白線候補点に基づい
て白線候補線を算出するようにしたので、白線候補線の
算出を高速化することができるという効果がある。
【００１９】請求項５記載の本発明によれば、請求項１
ないし請求項４記載の発明の効果に加えて、各ウインド
ウで算出される白線候補線を直線に近似させたので、こ
の白線候補線の位置計算が簡素化できるため、道路モデ
ルの推定処理を高速化することができ、車両が高速走行
する場合にも道路パラメータの高い推定精度を維持する
ことができるという効果がある。
【００２０】請求項６記載の本発明によれば、請求項５
記載の発明の効果に加えて、各ウインドウで算出される
白線候補線を直線に近似させ、白線候補点から白線候補
線となる直線への近似にハフ変換を用いたので、このハ
フ変換により複数の白線候補線を取得した場合に、それ
ら複数の白線候補線の画像上の傾きを再計算する必要が
なくなるため、さらに処理の高速化を図ることができ
る。
【００２１】請求項７記載の本発明によれば、請求項１
ないし請求項６記載の発明の効果に加えて、カルマンフ
ィルタ処理により前記道路パラメータを推定できるよう
に、擬似白線が存在すると判断されたウインドウに対し
ては、前記道路モデル式から自車両の横変位を消去した
式を前記道路パラメータに関して線型近似し、擬似白線
が存在しないと判断されたウインドウに対しては、前記
道路モデル式を前記道路パラメータに関して線型近似す
るようにしたので、操舵入力時の早い車両挙動への追従
性を確保しつつ、路面ノイズ等による白線誤認識を少な
くすることができるという効果がある。
【００２２】請求項８記載の本発明によれば、請求項１
ないし請求項７記載の発明の効果に加えて、前記道路パ
ラメータは、道路曲率、自車両の車線に対するヨー角、
自車両のピッチ角、及び路面からの前記画像取得手段の
高さを含むようにしたので、少ない数のパラメータで比
較的精度よく道路形状及びこの道路に対する車両姿勢を
モデル化することができるという効果がある。
【００２３】
【発明の実施の形態】以下、本発明の実施形態を添付図
面を参照して詳細に説明する。図２は、本発明に係る道
路白線認識装置１０を搭載した車両１２の一実施形態を
示す概略図である。図２において、車両前方の道路画像
を取得する画像取得手段１４とこの画像取得手段１４で
取得した画像信号（以下、単に画像という）を処理する
プロセッサ１６とが車両１２に設置される。画像取得手
段１４は高感度撮像が可能なＣＣＤカメラなどが好まし
く、この画像取得手段（以下、カメラという）１４は室
内天井１２ａの前方中央部に前方下方を指向して取り付
けられ、フロントガラス１２ｂを通して車両１２前方の
道路Ｒ画像を取得するようになっている。上記プロセッ
サ１６は車両１２の熱や風雨の影響のない適宜箇所に設
置され、上記カメラ１４で取得した道路Ｒ画像から道路
白線１８を認識して道路形状及びこの道路に対する車両
姿勢を推定する制御が実行される。
【００２４】図１は、本発明に係る道路白線認識装置１
０の第１実施形態の基本的な構成を示す図である。同図
において、道路白線認識装置１０は、車両に搭載した画
像取得手段１４により取得した車両前方の道路画像を格
納する画像メモリ１５と、画像メモリ１５に格納された
道路画像に基づいて、道路パラメータを推定する例えば
マイクロプロセッサを使用したプロセッサ１６とを備え
ている。
【００２５】プロセッサ１６は、画像メモリ１５に格納
された道路画像上にそれぞれのウインドウに道路白線が
含まれるように道路白線の延長方向に沿って複数のウイ
ンドウを設けるウインドウ設定手段１０１と、前記ウイ
ンドウ毎の画像を処理して白線候補点を抽出する白線候
補点抽出手段１０２と、前記ウインドウ毎に抽出された
白線候補点に基づいて白線の可能性が最も高い第１の白
線候補線の画像座標及び傾きを算出する白線候補線算出
手段１０３と、前記ウインドウ毎に第１の白線候補線に
類似した第２の白線候補線が存在するか否か、すなわち
擬似白線が存在するか否かを判定する擬似白線存在判断
手段（白線位置精度判断手段）１０４と、各ウインドウ
に対して算出された第１の白線候補線の画像座標及び傾
きと道路モデル式とを用いて、少なくとも自車両の車線
に対する横変位を含む道路パラメータを推定する道路パ
ラメータ推定手段１０５とを備え、これらの手段１０１
〜１０５をプロセッサ１６のプログラム制御により実現
している。
【００２６】道路パラメータ推定手段１０５は、擬似白
線が存在すると判断されたウインドウに対しては、第１
の白線候補線の画像座標と傾きとを用い、擬似白線が存
在しないと判断されたウインドウに対しては、第１の白
線候補線の画像座標を用いて、前記自車両の車線に対す
る横変位を含む前記道路パラメータを推定するものであ
る。
【００２７】道路パラメータ推定手段１０５は、道路モ
デル式として、次に示す式１を用いて道路形状及びこの
道路に対する車両姿勢を推定する。
【００２８】
【数１】 このような道路をモデル化した式１の導出過程は、社団
法人自動車技術会の２０００年秋季大会（２０００年１
０月１９日）において本願発明者らにより発表された
「拡張カルマンフィルタを用いた車線追従制御の検討
（20005494）」に詳述されている。
【００２９】式１において、道路パラメータＡ，Ｂ，
Ｃ，Ｄ，Ｈは、それぞれ、自車両の車線に対する横変位
（Ａ）、道路曲率（Ｂ）、自車両の車線に対するヨー角
（Ｃ）、自車両のピッチ角（Ｄ）、及び路面からの前記
画像取得手段の高さ（Ｈ）である。
【００３０】また、Ｅ0は車線幅（左右白線の内側間の
距離）を示す定数，ｆはカメラ透視変換定数、ｊを左右
の白線を区別するパラメータとし、左白線のときｊ＝
０，右白線のときｊ＝１とする。また、（ｘ，ｙ）は、
左または右白線内端上の任意の点の画像上の座標であ
り、画像左上を原点に取り、右方向がｘ軸正方向、下方
向がｙ軸正方向とする。
【００３１】尚、式１は道路モデルを表す一手法を示し
たものであり、例えば、Ｅ0を変数にしたもの、Ｈを固
定したもの、車線幅を左白線中央と右白線中央との間の
距離とし、（ｘ，ｙ）を白線幅の中央位置の画像座標と
しても定義することができる。
【００３２】図３及び図４は、プロセッサ１６によって
道路パラメータを推定するプログラムのフローチャート
であり、例えば、車両走行中は３０［ｍｓｅｃ］毎に処
理が繰り返されるものとする。
【００３３】次に、図３の各ステップ毎の概略処理を説
明する。まず、カメラ１４から画像メモリ１５へ車両前
方画像を取り込む（ステップＳ１）。次いで、取り込ん
だ画像上に複数（ｍ個）のウインドウを設定する（ステ
ップＳ２）。次いで、ウインドウ処理番号ｉを初期値の
１に設定する（ステップＳ３）。ｉ番目のウインドウ
（以下、ウインドウｉと呼ぶ）２０の画像データから、
水平方向の輝度変化を検出して白線１８の端部の位置を
認識するための白線候補点２１を抽出する（ステップＳ
４）。次いでウインドウ内の白線候補点２１の座標位置
に基づいて、これらの白線候補点から最も白線の可能性
が高い第１の白線候補線２２を算出する（ステップＳ
５）。
【００３４】次いで、ウインドウ内に第１の白線候補線
に類似した傾きを持つ第２の白線候補線が存在するか否
かの擬似白線存在判定を行う（ステップＳ６）。ステッ
プＳ６の判定結果により、第２の白線候補線が存在すれ
ば、ウインドウ毎のフラグＷＥｉを１に設定し（ステッ
プＳ７）、第２の白線候補線が存在しなければ、ウイン
ドウ毎のフラグＷＥｉを０に設定する（ステップＳ
８）。次いで、ウインドウ番号ｉを１だけ増加させ（ス
テップＳ９）、ｉがウインドウ数（ｍ）を超えたか否か
を判定し（ステップＳ１０）、超えていなければ、次の
ウインドウを処理すべく、ステップＳ４へ戻る。ステッ
プＳ１０の判定で、ｉがウインドウ数（ｍ）を超えてい
れば全ウインドウの前処理が終わったので、道路パラメ
ータ推定処理を行って（ステップＳ２０）、最初の前方
画像取り込み（ステップＳ１）へ戻る。
【００３５】以下、上記プログラムの処理を各ステップ
毎に詳述する。 （１）前方画像の取込 プロセッサ１６がプログラムを処理する所定時間毎に、
カメラ１４によって撮像された車両前方の画像信号を画
像メモリ１５へ取り込む。画像は各画素毎の輝度データ
として表される。
【００３６】（２）複数ウインドウの設定 ウインドウ２０は、図５に示すように道路白線１８の延
長方向に沿って複数（図５の例では、左白線に対して５
個、右白線に対して５個）が設けられ、各ウインドウ２
０は前回の画像処理結果によって得られた道路モデルの
パラメータにより、それぞれのウインドウ２０に道路白
線１８が取り込まれるようにそれぞれの位置が設定さ
れ、道路白線１８はこれらウインドウ２０内で検知され
る。図中の縦方向は画像座標ｙ軸方向を示し、図中下方
がｙプラスである。また、図中の横方向は画像座標ｘ軸
方向を示し、図中右方がｘプラスである。
【００３７】ここで、ｎ番目のウインドウ（ｉ＝ｎ）の
上辺２０ａのｙ座標をｙnとし、前回のパラメータ推定
結果を｛Ａ（−１），Ｂ（−１），Ｃ（−１），Ｄ（−
１），Ｈ（−１）｝とすると、式１より今回のウインド
ウ２０の横方向中心座標ｘestは、式２で示される。
【００３８】
【数２】 ウインドウ２０のｘ方向の幅は固定値としてもよく、ま
た、特開平８−２６１７５６号公報に示されるようにパ
ラメータの分散から合理的に設定することもできる。
【００３９】（３）ウインドウ番号ｉの初期化 ステップＳ４からステップＳ９までの処理を全てのウイ
ンドウ２０に対して行うためのループ制御パラメータｉ
を１に初期化する。
【００４０】（４）白線候補点の抽出 カメラ１４から取り込まれた画像に設定された各ウイン
ドウの範囲の画像からソーベル（ｓｏｂｅｌ）フィルタ
処理などのエッジ検知（輝度変化検知）処理を利用し
て、白線候補点を選択する。このエッジ検知では、図６
に示すように左（画像座標のｘ値が小さい）の画素の輝
度が右（画像座標のｘ値が大きい）の画素の輝度より大
きい場合、フィルタの出力が正であるとする。そして、
ある程度の幅を有する道路白線１８の内側端部を白線の
位置としているので、左白線の場合は、フィルタの出力
が正の判別値を超えた点を白線候補点とし、右白線の場
合は、フィルタの出力が負の判別値を下回った点を白線
候補点とする。ウインドウ２０内の全ての画像データを
走査してフィルタの出力により、上記の判別値を利用し
て白線候補点を抽出する。尚、上記判別値は、画像全体
またはウインドウ毎の平均輝度、コントラスト等によ
り、適宜設定されてもよい。
【００４１】（５）白線候補線の算出 ウインドウ２０内から抽出された白線候補点２１の集合
から白線候補線２２を探索する。この探索にはハフ変換
や最小自乗法などを用いることができる。本実施形態で
はハフ変換を用いるものとし、ハフ変換直線近似では図
７に示すようにウインドウ２０内を通過する直線のう
ち、最も多く白線候補点２１を貫いたものを最も白線の
可能性が高い第１の白線候補線とする。
【００４２】このとき、座標（ｘ，ｙ）を通過する直線
はパラメータａ，ｂを用いて次の式３として表すことが
できる。ここでａは、白線候補線の傾き（∂ｘ／∂ｙ）
であり、ｂはそのｘ切片である。
【００４３】
【数３】 即ち、白線候補点の座標を（ｘ，ｙ）とすると、ａを決
めるとｂが式３より計算でき、これにより図８に示すハ
フ変換による配列が得られる。この配列の横方向は、一
定刻みのａの値であり、縦方向は一定刻みのｂの値であ
る。ここで、配列の空欄は零を意味する。また、「１」
が立っている（ａ，ｂ）の組み合わせの中に真値が含ま
れる。この配列を白線候補点全てに対してそれぞれ作成
し、作成した配列を重ね合わせて、各配列要素毎の数を
合計することにより図９（ａ）に示す配列が得られる。
図９（ａ）において配列要素（ａr，ｂr）の数ｚr は、
式４が貫く白線候補点の数を表している。
【００４４】
【数４】 従って、白線候補点を最も多く貫く白線候補線が最も白
線の可能性が高い第１の白線候補線であり、そのａ，ｂ
を求めることが第１の白線候補線を算出することにな
る。即ち、配列要素の値として最大のｚを持つ配列要素
（ａ，ｂ）が第１の白線候補線を示すことになる。
【００４５】こうして、白線候補線が算出されると、次
いで図１２に示すように、ウインドウ番号ｎにおける第
１の白線候補線２２とウインドウ２０の上辺２０ａとの
交点の画像上の座標である道路座標（ｘn ，ｙn ）を算
出する。ウインドウ２０の上辺２０ａのｙ座標ｙn は、
ウインドウ番号ｎに対する固定値である。道路座標のｘ
成分ｘn は式５で算出される。
【００４６】
【数５】 （６）擬似白線存在の判断 第１の白線候補線に類似した傾きを持つ（傾きの差が所
定値以下となる）第２の白線候補線がウインドウ内の画
像に存在するか否か、すなわち擬似白線が存在するか否
かの判断である擬似白線存在の判断は、図９（ａ）の配
列を元に判断される。例えば、ウインドウ内の画像に白
色のガイドレールや、轍の中に溜まった水の反射による
高輝度領域等の擬似白線が含まれていると、これら擬似
白線の水平方向の端部も上述のエッジ検出により、白線
候補点として抽出されている。このため、白線の右又は
左の端部を示す本来の白線候補点と、擬似白線による偽
りの白線候補点が白線候補点として含まれている。
【００４７】このような擬似白線が含まれるウインドウ
の画像データからは、最も白線の可能性がある白線候補
線である第１の白線候補線以外に、第１の白線候補線に
類似した傾きを持つ第２の白線候補線が算出されること
になる。
【００４８】そして道路状況によっては、第１の白線候
補線が必ずしも本来の白線ではなく、擬似白線による白
線候補点から算出された白線候補線が最も白線の可能性
が高い第１の白線候補線として算出されることがある。
このような場合、擬似白線を第１の白線候補線として誤
認しても道路パラメータの推定に誤差を招来しないため
に、ここで、擬似白線の存在の有無の判断を行うもので
ある。そして後述する道路パラメータの推定において、
擬似白線が存在すると判断したウインドウからは、自車
両の車線に対する横変位以外の道路パラメータを含む式
を用いるようにしている。
【００４９】図９（ａ）の配列において、白線候補線の
傾きを示すパラメータａであるが、各列の合計を採って
最大のものを選ぶ。この処理で画像上での傾きの差が所
定値以下となる白線候補線が複数存在する場合、その中
から選択されることになる。この所定値は、真の道路白
線とそれに平行な擬似白線とが画像上では平行にならな
いために設定され、この処理を適用したい真の道路白線
と擬似白線との路面上の間隔の最大値とカメラ高さＨに
より決まる。
【００５０】そして、選んだパラメータａの値をａＮと
し、そのａＮ の列のｂ（ｘ切片）の分散を計算する。
ここで上記所定値がパラメータａの間隔（例えば、｜ａ
ｒ−ａｒ−１｜）より大きい時は、各列の合計を採る際
に、図９（ｂ）に示すように、ａのレンジが所定値を超
えるまで隣接した列まで含めて（例えばａＮ−１〜ａ
Ｎ＋１）合計して最大のものを選び、さらにそのａＮの
複数列をとってｂの分散を計算する。
【００５１】このｂの分散が所定値以下の場合、第１の
白線候補線に類似した傾きを持つ第２の白線候補線、即
ち擬似白線が存在しないと判断し、それ以外の場合は擬
似白線が存在すると判断する。擬似白線が存在する場合
には、図１０に示すようにピークが複数現れて分散が大
きくなる。擬似白線が存在すると判断したウインドウｎ
の集合をＧaとし、そうでないウインドウｎの集合をＧb
とする。
【００５２】そして、図１１に示すようにａＮの列中で
最も大きいものに対応するｂ（図中でのｂn）を選ぶ。
こうして、最も白線の可能性が高い第１の白線候補線を
規定するａ，ｂの対を選択する。このとき、道路白線１
８が一部掠れていたり、波打っていたり、白色のガイド
レールがあったり、轍の水たまりが連続的に光を反射し
ていたりすると、本来の白線の代わりに擬似白線のａ，
ｂの対を第１の白線候補線として誤って選択することに
なる。
【００５３】（７）擬似白線存在判断フラグの設定 ステップＳ７の擬似白線存在判断の結果により、存在す
ると判断したウインドウのフラグＷＥｉを「１」に、存
在しないと判断したウインドウのフラグＷＥｉを「０」
に、それぞれ設定する。これらのフラグは、後の道路パ
ラメータ推定において参照される。
【００５４】（８）道路パラメータ推定 前記式１をｙで微分して式６を得る。
【００５５】
【数６】 そして、式１と式６からＡを消去すると式７を得る。
【００５６】
【数７】 このとき、Ａは自車両の車線に対する横位置のパラメー
タであり、このＡを消去すると同時に車線幅を表すＥ0
も消去されることになる。つまり、道路幅がいかなるも
のであれ式７が成立することになる。換言すれば、真の
道路白線１８を用いなくても、道路白線１８に平行な線
分であれば式７が成立することを意味する。即ち、実際
にはガイドレールや轍の水溜まりによる光の反射、２重
白線等の擬似白線は、真の道路白線１８に平行である場
合が多く、この擬似白線が検出された場合には、擬似白
線の傾き（∂ｘ／∂ｙ）および道路座標（ｘ，ｙ）と、
式７の方程式を利用すれば、最小自乗法やカルマンフィ
ルタなどの手法を用いて、Ａを除く道路パラメータ
（Ｂ，Ｃ，Ｄ，Ｈ）を誤差無く正確に推定することがで
きる。なお、パラメータＡは、他のパラメータと共に擬
似白線が存在しないウインドウのデータから推定すれば
良い。
【００５７】次に、カルマンフィルタを用いて道路パラ
メータを推定する場合、式８に示す方程式が与えられる
ことによりパラメータｚを推定することができるという
ものである。ただし、同式中のパラメータｙｙの値およ
びｆの構造はそれぞれ既知とし、一般にｙｙはベクトル
となる。
【００５８】
【数８】 ここで、この式８に相当する観測方程式（仮称）を導出
する場合を、擬似白線の存在、不存在の場合に分けて説
明する。
【００５９】擬似白線が存在する場合 これには前記式７を用い、これは左辺が画像上の傾きで
あるため、式９が成立する。
【００６０】
【数９】 この式９は、∂ｘ／∂ｙ＝ｆw（Ｂ，Ｃ，Ｄ，Ｈ）…
（式９’）と表すこともできる。
【００６１】擬似白線が存在しない場合 これは前記式１が式１０として成立する。
【００６２】
【数１０】 この式１０は、ｘ＝ｆz（Ａ，Ｂ，Ｃ，Ｄ，Ｈ）…（式
１０’）と表すこともできる。
【００６３】式９’および式１０’は一般に複数列より
構成され、これらを線形近似した上で並べることにより
次の行列式１１が得られる。
【００６４】
【数１１】 この行列式１１中、ｍは、１画面中に設定されたウイン
ドウの数である。ウインドウ番号ｎがＧaに属する（擬
似白線が存在する）場合は、ｚn は、ｚn ＝（∂ｘ／∂
ｙ）n＝ａn となり、Ｍn1は零となる。ウインドウ番号
ｎがＧbに属する（擬似白線が存在しない）場合は、ｚn
は、ｚn ＝ｘn となる。
【００６５】次に、図４を参照して、道路パラメータ推
定処理のサブルーチンＰ3を説明する。
【００６６】まず、ステップＳ２１でウインドウ番号パ
ラメータｉを１に初期化する。次いで、ステップＳ２２
でウインドウ番号ｉに対応するフラグＷＥｉの値を判定
することにより、擬似白線が存在するウインドウに対す
る処理と、擬似白線が存在しないウインドウに対する処
理とを分岐する。
【００６７】擬似白線が存在しないウインドウの場合、
ステップＳ２３において、式１１のｚiはｘiとし、式１
０’の右辺を線型近似することにより、Ｍi1，Ｍi2，Ｍ
i3，Ｍi4，Ｍi5は、それぞれｙの値がｙiにおけるｄｆz
／ｄＡ，ｄｆz／ｄＢ，ｄｆz／ｄＣ，ｄｆz／ｄＤ，ｄ
ｆz／ｄＨとする。
【００６８】擬似白線が存在するウインドウの場合、ス
テップＳ２４において、式１１のｚiは（ｄｘ／ｄｙ）i
とし、式９’の右辺を線型近似することにより、Ｍi1は
０とし、Ｍi2，Ｍi3，Ｍi4，Ｍi5は、それぞれｘ，ｙの
値が（ｘi，ｙi）におけるｄｆw／ｄＢ，ｄｆw／ｄＣ，
ｄｆw／ｄＤ，ｄｆw／ｄＨとする。
【００６９】次いで、ステップＳ２５でウインドウ番号
ｉを１だけ増加し、ステップＳ２６でウインドウ番号ｉ
がウインドウ数ｍを超えているか否かを判定し、ウイン
ドウ数ｍを超えていなければ、次のウインドウを処理す
べくステップＳ２２へ戻る。ウインドウ数ｍを超えてい
れば、ステップＳ２７において、カルマンフィルタ処理
により、パラメータ（Ａ，Ｂ，Ｃ，Ｄ，Ｈ）を推定し、
メインルーチンへリターンする。
【００７０】図１３は本発明に係る道路白線認識装置の
第２実施形態の構成を示すシステム構成図である。同図
において、道路白線認識装置１０ａは、車両に搭載した
画像取得手段１４により取得した車両前方の道路画像を
格納する画像メモリ１５と、画像メモリ１５に格納され
た道路画像に基づいて、道路パラメータを推定する例え
ばマイクロプロセッサを使用したプロセッサ１６とを備
えている。
【００７１】プロセッサ１６は、画像メモリ１５に格納
された道路画像上にそれぞれのウインドウに道路白線が
含まれるように道路白線の延長方向に沿って複数のウイ
ンドウを設けるウインドウ設定手段１０１と、前記ウイ
ンドウ毎の画像を処理して白線候補点を抽出する白線候
補点抽出手段１０２と、前記ウインドウ毎に抽出された
白線候補点に基づいて白線の可能性が最も高い白線候補
線の画像座標及び傾きを算出する白線候補線算出手段１
０３と、前記ウインドウ毎にウインドウ内の路面と自車
両との遠近位置を判断するウインドウ位置判断手段（白
線位置精度判断手段）１１０と、各ウインドウに対して
算出された白線候補線の画像座標及び傾きと道路モデル
式を用いて、少なくとも自車両の車線に対する横変位を
含む道路パラメータを推定する道路パラメータ推定手段
１０５と、を備え、これらの手段１０１、１０２，１０
３，１１０，１０５をプロセッサ１６のプログラム制御
により実現している。
【００７２】道路パラメータ推定手段１０５は、前記ウ
インドウ内の路面が自車両に対して遠方に位置すると判
断されたウインドウに対しては、白線候補線の画像座標
と傾きとを用い、前記ウインドウ内の路面が自車両に対
して遠方に位置しないと判断されたウインドウに対して
は、白線候補線の画像座標を用いて、自車両の車線に対
する横変位を含む道路パラメータを推定するものであ
る。
【００７３】本実施形態における道路モデル式、及び道
路パラメータは、第１実施形態で用いたものと同様であ
る。
【００７４】また、図１４に示す本実施形態のプログラ
ムＰ2は、上記第１実施形態に示した図３のフローチャ
ートで処理されるプログラムＰ1とほぼ同様の処理が実
行されるが、特に本実施形態では第１実施形態のプログ
ラムＰ1のステップＳ６に代えて、ステップＳ１２の観
測方程式選択処理を実行するようにしたもので、このス
テップＳ１２による処理を以下述べる。なお、図１４の
フローチャートは図３のフローチャートと同一処理部分
に同一ステップ番号を付して、その説明を省略するもの
とする。
【００７５】観測方程式選択 これは上記第１実施形態と同様にウインドウ番号ｎのウ
インドウがいずれのグループＧa，Ｇbに属するかを選択
する。即ち、Ｇaは観測方程式が式９（式９’）で表さ
れる場合、Ｇbは観測方程式が式１０（式１０’）で表
される場合である。即ち、第１実施形態では擬似白線が
存在すると判断した場合にＧaを選択したが、本第２実
施形態では擬似白線が存在すると判断した場合に加え
て、自車両に対して遠方を透視するウインドウ２０ａで
白線候補線２２を判断する場合にもＧaを選択するもの
とする。この遠方を透視するウインドウ２０ａとは、図
１５中に太枠で示した最上方のウインドウ２０ａがこれ
に相当する。もっとも、そのウインドウ２０ａは最上方
のものに限定することなく、最上方を含めて連続する上
方部分の複数個を選ぶこともできる。
【００７６】即ち、この実施形態では上記式１からｘn
の変動に対するＡのゲインＧを求めると式１２となる。
【００７７】
【数１２】 この式１２中、ｙnは画像縦軸座標を表し、車両遠方程
小さい値となり、このｙnはＧに対しては分母として現
れるため、このＧは車両遠方程大きくなることになる。
このことは画像上では同じ誤差であっても、Ａの推定に
与える影響は車両遠方のウインドウ２０程大きいことを
意味する。実際上、画像の分解能は遠方でも近傍でも同
じであるため、Ａの推定精度は遠方を透視するウインド
ウ２０程悪化される。従って、Ａの推定精度が悪化する
と思われる遠方のウインドウ２０ａでは、このＡを推定
しないことにより道路モデルの推定精度を向上すること
ができる。
【００７８】ところで、上記各実施形態ではウインドウ
２０内の白線候補線２２を直線と近似するようになって
おり、このように直線に近似することにより処理を高速
化できる。即ち、上記白線候補線２２を高次の曲線で近
似したと仮定した場合、近似する処理自体の演算時間も
膨大となり、また、画像上の傾きを計算する処理も必要
となってくる。従って、曲線では座標を指定して傾きを
再計算しなければならないが、直線では近似の課程で傾
きが決定される。このため、道路白線１８は曲線であっ
ても、各ウインドウ２０内で直線と近似できるように、
ウインドウ２０の大きさを設定してやれば良い。
【００７９】また、上記白線候補線２２を直線に近似す
るにあたってハフ変換を用いたので、複数の白線候補線
２２を取得した場合に、それら複数の白線候補線の画像
上の傾きを再計算する必要がなくなるため、処理の高速
化を図ることができる。従って、高速で走行する車両の
ように高速処理を要求されるシステムで有利となる。
【図面の簡単な説明】
【図１】本発明にかかる道路白線認識装置の第１実施形
態の基本構造を示す概略構成図である。
【図２】本発明にかかる道路白線認識装置を搭載した車
両の一実施形態を示す概略構成図である。
【図３】本発明にかかる道路白線認識装置の第１実施形
態による画像処理プログラムを実行するためのフローチ
ャートである。
【図４】実施形態の画像処理プログラムにおける道路パ
ラメータ推定サブルーチンを示すフローチャートであ
る。
【図５】本発明にかかる道路白線認識装置の第１実施形
態で画面に設定される複数のウインドウの配列状態を示
す説明図である。
【図６】本発明にかかる道路白線認識装置の第１実施形
態で設定されるウインドウ内の白線候補点のプロット状
態を示す説明図である。
【図７】本発明にかかる道路白線認識装置の第１実施形
態で設定されるウインドウ内の白線候補線の選択状態を
示す説明図である。
【図８】本発明にかかる道路白線認識装置の第１実施形
態で実行される白線候補線を探索する際のハフ変換によ
る配列表を示す説明図である。
【図９】本発明にかかる道路白線認識装置の第１実施形
態で実行されるハフ変換を配列要素で示す説明図であ
る。
【図１０】本発明にかかる道路白線認識装置の第１実施
形態で実行されるハフ変換により得られる擬似白線が存
在する場合のピーク度数を示す説明図である。
【図１１】本発明にかかる道路白線認識装置の第１実施
形態で実行されるハフ変換により得られる擬似白線が存
在しない場合のピーク度数を示す説明図である。
【図１２】本発明にかかる道路白線認識装置の第１実施
形態で設定されるウインドウの上辺と白線候補線との交
点の道路座標を示す説明図である。
【図１３】本発明にかかる道路白線認識装置の第２実施
形態の基本構造を示す概略構成図である。
【図１４】本発明にかかる道路白線認識装置の第２実施
形態による画像処理プログラムを実行するためのフロー
チャートである。
【図１５】本発明にかかる道路白線認識装置の第２実施
形態で選択される遠方を透視するウインドウを示す説明
図である。
【図１６】擬似白線の要因の１つである道路に形成され
る轍を示す斜視図である。
【図１７】擬似白線の要因の１であるガイドレールと影
との関係を示す斜視図である。
【符号の説明】 １０ 道路白線認識装置 １２ 車両 １４ カメラ（画像取得手段） １６ プロセッサ １８ 道路白線 ２０ ウインドウ ２１ 白線候補点 ２２ 白線候補線 １０１ ウインドウ設定手段 １０２ 白線候補点抽出手段 １０３ 白線候補線算出手段 １０４ 擬似白線存在判断手段（白線位置精度判断手
段） １０５ 道路パラメータ推定手段 １１０ ウインドウ位置判断手段（白線位置精度判断手
段）
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B057 AA06 CA08 CA12 CA16 CB08 CB12 CB16 CE06 DA07 DB02 DB09 DC13 DC16 5H180 AA01 CC04 LL04 5L096 AA06 BA04 CA02 DA02 FA05 FA06 FA24 FA36 FA69 GA02 GA55 HA08

Claims (8)

    【特許請求の範囲】
  1. 【請求項１】 車両に搭載した画像取得手段により車両
    前方の道路画像を取得し、道路形状及びこの道路に対す
    る車両姿勢を示す道路モデル式の各道路パラメータを推
    定する道路白線認識装置において、 前記道路画像上に、それぞれのウインドウに道路白線が
    含まれるように道路白線の延長方向に沿って複数のウイ
    ンドウを設けるウインドウ設定手段と、 前記ウインドウ毎に白線の可能性がある白線候補線を算
    出する白線候補線算出手段と、 前記ウインドウ毎に前記白線候補線の前記道路白線に対
    する位置精度を判定する白線位置精度判断手段と、 前記位置精度が低いと判断されたウインドウに対して
    は、少なくとも白線候補線の傾きを用い、前記位置精度
    が低くないと判断されたウインドウに対しては、白線候
    補線の画像座標を用いて、自車両の車線に対する横変位
    を含む前記道路パラメータを推定する道路パラメータ推
    定手段と、 を備えたことを特徴とする道路白線認識装置。
  2. 【請求項２】 車両に搭載した画像取得手段により車両
    前方の道路画像を取得し、道路形状及びこの道路に対す
    る車両姿勢を示す道路モデル式の各道路パラメータを推
    定する道路白線認識装置において、 前記道路画像上に、それぞれのウインドウに道路白線が
    含まれるように道路白線の延長方向に沿って複数のウイ
    ンドウを設けるウインドウ設定手段と、 前記ウインドウ毎に白線の可能性がある白線候補線を算
    出する白線候補線算出手段と、 前記ウインドウ毎に傾きの類似した複数の白線候補線が
    存在するか否かを判定する擬似白線存在判断手段と、 擬似白線が存在すると判断されたウインドウに対して
    は、少なくとも白線候補線の傾きを用い、擬似白線が存
    在しないと判断されたウインドウに対しては、白線候補
    線の画像座標を用いて、自車両の車線に対する横変位を
    含む前記道路パラメータを推定する道路パラメータ推定
    手段と、 を備えたことを特徴とする道路白線認識装置。
  3. 【請求項３】 車両に搭載した画像取得手段により車両
    前方の道路画像を取得し、道路形状及びこの道路に対す
    る車両姿勢を示す道路モデル式の各道路パラメータを推
    定する道路白線認識装置において、 前記道路画像上に、それぞれのウインドウに道路白線が
    含まれるように道路白線の延長方向に沿って複数のウイ
    ンドウを設けるウインドウ設定手段と、 前記ウインドウ毎に白線の可能性がある白線候補線を算
    出する白線候補線算出手段と、 前記ウインドウ内の路面と自車両との遠近位置を判断す
    るウインドウ位置判断手段と、 前記ウインドウ内の路面が自車両に対して遠方に位置す
    ると判断されたウインドウに対しては、少なくとも白線
    候補線の傾きを用い、前記ウインドウ内の路面が自車両
    に対して遠方に位置しないと判断されたウインドウに対
    しては、白線候補線の画像座標を用いて、前記自車両の
    車線に対する横変位を含む前記道路パラメータを推定す
    る道路パラメータ推定手段と、 を備えたことを特徴とする道路白線認識装置。
  4. 【請求項４】 請求項１ないし請求項３のいずれか１項
    記載の道路白線認識装置において、前記ウインドウ毎に
    画像を処理して白線候補点を抽出する白線候補点抽出手
    段を備え、前記白線候補線算出手段は前記白線候補点抽
    出手段によって抽出された白線候補点に基づいて白線候
    補線を算出するようにしたことを特徴とする道路白線認
    識装置。
  5. 【請求項５】 請求項１ないし請求項４のいずれか１項
    記載の道路白線認識装置において、各ウインドウで算出
    される白線候補線を直線に近似させたことを特徴とする
    道路白線認識装置。
  6. 【請求項６】 請求項５記載の道路白線認識装置におい
    て、各ウインドウで算出される白線候補線を直線に近似
    させ、白線候補点から白線候補線となる直線への近似に
    ハフ変換を用いたことを特徴とする道路白線認識装置。
  7. 【請求項７】 請求項１ないし請求項６のいずれか１項
    記載の道路白線認識装置において、カルマンフィルタ処
    理により前記道路パラメータを推定できるように、擬似
    白線が存在すると判断されたウインドウに対しては、前
    記道路モデル式から自車両の横変位を消去した式を前記
    道路パラメータに関して線型近似し、擬似白線が存在し
    ないと判断されたウインドウに対しては、前記道路モデ
    ル式を前記道路パラメータに関して線型近似したことを
    特徴とする道路白線認識装置。
  8. 【請求項８】 請求項１ないし請求項７のいずれか１項
    記載の道路白線認識装置において、 前記道路パラメータは、道路曲率、自車両の車線に対す
    るヨー角、自車両のピッチ角、及び路面からの前記画像
    取得手段の高さを含むことを特徴とする道路白線認識装
    置。
JP2001179204A 2000-09-29 2001-06-13 道路白線認識装置 Expired - Fee Related JP3733875B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2001179204A JP3733875B2 (ja) 2000-09-29 2001-06-13 道路白線認識装置
US09/963,490 US6845172B2 (en) 2000-09-29 2001-09-27 Road lane marker recognition

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2000-301453 2000-09-29
JP2000301453 2000-09-29
JP2001179204A JP3733875B2 (ja) 2000-09-29 2001-06-13 道路白線認識装置

Publications (2)

Publication Number Publication Date
JP2002175535A true JP2002175535A (ja) 2002-06-21
JP3733875B2 JP3733875B2 (ja) 2006-01-11

Family

ID=26601305

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001179204A Expired - Fee Related JP3733875B2 (ja) 2000-09-29 2001-06-13 道路白線認識装置

Country Status (2)

Country Link
US (1) US6845172B2 (ja)
JP (1) JP3733875B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002236911A (ja) * 2001-02-13 2002-08-23 Nissan Motor Co Ltd 道路の仕切線認識装置
JP2005267108A (ja) * 2004-03-17 2005-09-29 Denso Corp 運転支援装置
JP2008027046A (ja) * 2006-07-19 2008-02-07 Fuji Heavy Ind Ltd 車線認識装置
JP2013530435A (ja) * 2010-04-20 2013-07-25 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツング 自動車のための車道推移を求める方法
JP2015069288A (ja) * 2013-09-27 2015-04-13 日産自動車株式会社 自車位置認識装置
US9280712B2 (en) 2012-03-19 2016-03-08 Nippon Soken, Inc. Apparatus and method for recognizing a lane
JP2016091468A (ja) * 2014-11-10 2016-05-23 株式会社豊田中央研究所 目標軌跡算出装置及びプログラム
JP2019012237A (ja) * 2017-06-30 2019-01-24 パナソニックＩｐマネジメント株式会社 表示システム、情報提示システム、表示システムの制御方法、プログラム、及び移動体

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4016735B2 (ja) * 2001-11-30 2007-12-05 株式会社日立製作所 レーンマーク認識方法
JP3780922B2 (ja) * 2001-11-30 2006-05-31 日産自動車株式会社 道路白線認識装置
JP4259357B2 (ja) * 2004-03-12 2009-04-30 三菱ふそうトラック・バス株式会社 車両走行状態判定装置
JP4296973B2 (ja) * 2004-03-19 2009-07-15 三菱ふそうトラック・バス株式会社 車両走行状態判定装置
JP4258413B2 (ja) * 2004-03-26 2009-04-30 三菱ふそうトラック・バス株式会社 車両走行状態判定装置
JP4225229B2 (ja) * 2004-03-30 2009-02-18 三菱ふそうトラック・バス株式会社 覚醒度判定装置
JP4437714B2 (ja) * 2004-07-15 2010-03-24 三菱電機株式会社 車線認識画像処理装置
KR100619758B1 (ko) * 2004-11-10 2006-09-07 엘지전자 주식회사 로봇청소기의 움직임 추적장치 및 방법
US7639841B2 (en) * 2004-12-20 2009-12-29 Siemens Corporation System and method for on-road detection of a vehicle using knowledge fusion
JP4616046B2 (ja) * 2005-03-22 2011-01-19 本田技研工業株式会社 車両用画像処理システム、車両用画像処理方法、車両用画像処理プログラム、及び車両
JP4659631B2 (ja) * 2005-04-26 2011-03-30 富士重工業株式会社 車線認識装置
JP4822766B2 (ja) * 2005-08-18 2011-11-24 富士通株式会社 路面標示認識装置及びシステム
US8462988B2 (en) * 2007-01-23 2013-06-11 Valeo Schalter Und Sensoren Gmbh Method and system for universal lane boundary detection
JP5083658B2 (ja) * 2008-03-26 2012-11-28 本田技研工業株式会社 車両用車線認識装置、車両、及び車両用車線認識プログラム
US8699754B2 (en) * 2008-04-24 2014-04-15 GM Global Technology Operations LLC Clear path detection through road modeling
JP5350297B2 (ja) * 2010-03-17 2013-11-27 クラリオン株式会社 車両姿勢角算出装置及びそれを用いた車線逸脱警報システム
JP5276637B2 (ja) 2010-09-08 2013-08-28 富士重工業株式会社 車線推定装置
CN103262139B (zh) * 2010-12-15 2015-06-24 本田技研工业株式会社 行车道识别装置
JP2012212282A (ja) * 2011-03-31 2012-11-01 Honda Elesys Co Ltd 路面状態検出装置、路面状態検出方法、及び路面状態検出プログラム
CN102306300B (zh) * 2011-08-25 2013-04-10 武汉光庭信息技术有限公司 基于弯道模型的有损形状道路识别方法
WO2013027803A1 (ja) * 2011-08-25 2013-02-28 日産自動車株式会社 車両用自律走行制御システム
CN102663403B (zh) * 2012-04-26 2014-04-16 北京工业大学 基于视觉的快速路智能车导航中车道信息提取系统及方法
JP5887219B2 (ja) * 2012-07-03 2016-03-16 クラリオン株式会社 車線逸脱警報装置
KR102058001B1 (ko) * 2012-09-03 2020-01-22 엘지이노텍 주식회사 차선 보정 시스템, 차선 보정 장치 및 이의 차선 보정 방법
JP6102213B2 (ja) * 2012-11-22 2017-03-29 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP5958368B2 (ja) * 2013-01-31 2016-07-27 トヨタ自動車株式会社 白線検出装置
CN103268611B (zh) * 2013-05-27 2016-08-31 广西科技大学 一种复杂场景中精确的实时曲线检测方法
US9404761B2 (en) 2014-05-30 2016-08-02 Nissan North America, Inc. Autonomous vehicle lane routing and navigation
US20150345967A1 (en) * 2014-06-03 2015-12-03 Nissan North America, Inc. Probabilistic autonomous vehicle routing and navigation
US10593007B1 (en) * 2015-06-11 2020-03-17 Digimarc Corporation Methods and arrangements for configuring industrial inspection systems
JP6469220B2 (ja) * 2015-06-15 2019-02-13 三菱電機株式会社 走行車線判別装置および走行車線判別方法
JP6451858B2 (ja) * 2015-08-04 2019-01-16 日産自動車株式会社 段差検出装置及び段差検出方法
JP6511406B2 (ja) * 2016-02-10 2019-05-15 クラリオン株式会社 キャリブレーションシステム、キャリブレーション装置
JP6889005B2 (ja) * 2017-04-05 2021-06-18 株式会社Ｓｏｋｅｎ 道路パラメータ推定装置
JP6993205B2 (ja) * 2017-12-18 2022-01-13 株式会社Soken 区画線特定装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2917681B2 (ja) 1992-06-29 1999-07-12 日産自動車株式会社 道路形状計測装置
US5487116A (en) * 1993-05-25 1996-01-23 Matsushita Electric Industrial Co., Ltd. Vehicle recognition apparatus
JP3288566B2 (ja) 1994-11-10 2002-06-04 株式会社豊田中央研究所 走行レーン認識装置
WO1996034363A1 (fr) * 1995-04-26 1996-10-31 Hitachi, Ltd. Processeur d'images pour vehicule
EP1383100A3 (en) * 1996-08-28 2005-02-02 Matsushita Electric Industrial Co., Ltd. Local positioning apparatus and method therefor
JP3516856B2 (ja) * 1998-01-30 2004-04-05 富士重工業株式会社 車外監視装置
JP3580475B2 (ja) * 1998-09-14 2004-10-20 矢崎総業株式会社 周辺監視装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002236911A (ja) * 2001-02-13 2002-08-23 Nissan Motor Co Ltd 道路の仕切線認識装置
JP4696370B2 (ja) * 2001-02-13 2011-06-08 日産自動車株式会社 道路の仕切線認識装置
JP2005267108A (ja) * 2004-03-17 2005-09-29 Denso Corp 運転支援装置
JP2008027046A (ja) * 2006-07-19 2008-02-07 Fuji Heavy Ind Ltd 車線認識装置
JP2013530435A (ja) * 2010-04-20 2013-07-25 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツング 自動車のための車道推移を求める方法
US10776634B2 (en) 2010-04-20 2020-09-15 Conti Temic Microelectronic Gmbh Method for determining the course of the road for a motor vehicle
US9280712B2 (en) 2012-03-19 2016-03-08 Nippon Soken, Inc. Apparatus and method for recognizing a lane
JP2015069288A (ja) * 2013-09-27 2015-04-13 日産自動車株式会社 自車位置認識装置
JP2016091468A (ja) * 2014-11-10 2016-05-23 株式会社豊田中央研究所 目標軌跡算出装置及びプログラム
JP2019012237A (ja) * 2017-06-30 2019-01-24 パナソニックＩｐマネジメント株式会社 表示システム、情報提示システム、表示システムの制御方法、プログラム、及び移動体
JP7065383B2 (ja) 2017-06-30 2022-05-12 パナソニックＩｐマネジメント株式会社 表示システム、情報提示システム、表示システムの制御方法、プログラム、及び移動体

Also Published As

Publication number Publication date
US20020042676A1 (en) 2002-04-11
JP3733875B2 (ja) 2006-01-11
US6845172B2 (en) 2005-01-18

Similar Documents

Publication Publication Date Title
JP3733875B2 (ja) 道路白線認識装置
US4970653A (en) Vision method of detecting lane boundaries and obstacles
KR100257592B1 (ko) 차선검출센서 및 이를 이용한 항법장치
JP4328692B2 (ja) 物体検出装置
EP3196853A1 (en) Machine vision-based method and system for aircraft docking guidance and aircraft type identification
CN109752701A (zh) 一种基于激光点云的道路边沿检测方法
US20150161454A1 (en) Lane detection system and method
US20090041337A1 (en) Image processing apparatus and method
WO2003001473A1 (en) Vision-based collision threat detection system_
CN111178295A (zh) 车位检测和模型训练方法、装置、车辆、设备及存储介质
KR20150112656A (ko) 카메라 캘리브레이션 방법 및 그 장치
KR101100827B1 (ko) 도로주행 로봇의 자기 위치 인식방법
Liu et al. Development of a vision-based driver assistance system with lane departure warning and forward collision warning functions
JP3603836B2 (ja) 道路白線認識装置
JP4296287B2 (ja) 車両認識装置
CN114118252A (zh) 一种基于传感器多元信息融合的车辆检测方法及检测装置
JP4067340B2 (ja) 対象物認識装置および対象物認識方法
CN111723778B (zh) 基于MobileNet-SSD的车辆测距系统及方法
JP2005157731A (ja) 車線認識装置および車線認識方法
JP5048609B2 (ja) 対象物追跡装置及びプログラム
JP2002334330A (ja) 車両認識装置
CN114719873A (zh) 一种低成本精细地图自动生成方法、装置及可读介质
CN110147748A (zh) 一种基于道路边缘检测的移动机器人障碍物识别方法
CN110398226A (zh) 一种用于先进辅助驾驶系统的单目视觉测距方法
JP2012150595A (ja) 一時停止線検出装置及びプログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050801

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050927

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20051010

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091028

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091028

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101028

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111028

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121028

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121028

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131028

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees