JP2005018148A - 白線推定装置 - Google Patents
白線推定装置 Download PDFInfo
- Publication number
- JP2005018148A JP2005018148A JP2003178238A JP2003178238A JP2005018148A JP 2005018148 A JP2005018148 A JP 2005018148A JP 2003178238 A JP2003178238 A JP 2003178238A JP 2003178238 A JP2003178238 A JP 2003178238A JP 2005018148 A JP2005018148 A JP 2005018148A
- Authority
- JP
- Japan
- Prior art keywords
- white line
- line candidate
- candidate
- calculating
- calculated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
【課題】この発明は、白線候補の確信度が低い場合でも、処理の精度を向上することができる。
【解決手段】この発明は、入力画像系列において、白線に見えない時間があることを考慮して処理を行うようにしたものである。
【選択図】 図21
【解決手段】この発明は、入力画像系列において、白線に見えない時間があることを考慮して処理を行うようにしたものである。
【選択図】 図21
Description
【0001】
【発明の属する技術分野】
この発明は、道路上を走行する車両に搭載されているカメラによる撮像映像から白線を推定する白線推定装置に関する。
【0002】
【従来の技術】
本発明の従来技術として、運転支援装置としての車線逸脱警報装置に用いられる道路上白線を推定する白線推定装置について説明する。従来例としては、特許文献1、2、3が挙げられる。
上記車線逸脱警報装置としては、カメラ等の画像撮影部、この撮像画像を処理する画像処理部、警報生成部によって構成されている。
【0003】
画像処理部では、画像撮影部から得られる画像から、左右の白線を検出し、自車が走行中の車線を推定する。
警報生成部では、車線境界の自車からの左右の距離を計算し、いずれかが閾値以下の場合、つまり、自車が車線境界に、閾値で設定される距離よりも近付いた場合に、ドライバに警報を与える。
このような従来のものでは、図1に示されるように、白線が破線の場合でも常に、入力画像中に白線が存在する場合を処理対象としている。しかし、図2から図5に示されるような、カメラの光軸方向にごく近い距離までしか画像として得られない場合には、性能が低下するという問題がある。
【0004】
図2〜図5は、入力画像の時系列を表している。図4のように、入力画像系列中において、白線がほとんど見えない画像が周期的に現れる。
図6に示されるような状況としては、例えば、前方に存在する障害物を検出する目的に設置されたカメラを用いて画像を得る場合に相当する。これに対して、図2〜図5の場合としては、例えば、自車後方に取り付けられる駐車支援用のカメラを用いて画像入力を行う場合等がある。駐車支援用のカメラは、自車後方の左右に広い範囲を撮影できるように、画角が広いカメラが用いられる。このため、カメラの光軸方向について、ごく近い距離までしか撮影できない。
【0005】
従来のものでは、図1のように、白線が常に見えていれば、白線から検出される白線候補の組の確信度が最も大きくなり、路面上の汚れ等の影響を受けにくい。しかし、図4に示す入力画像系列が、図6のようになった場合、つまり、白線が入力画像中で見えない場合に、道路上の汚れ等を白線として誤検出しやすい。図6の場合に、入力画像中で最も確信度が大きな白線候補の組を選択すると、路面上の汚れから検出された白線候補の組を選択してしまい、車線境界を誤って推定してしまう。図6の場合には、警報生成部において、自車が左の車線境界に近付いたと誤って判定され、誤報が発生する。
図6の他に、従来法により白線として誤検出される対象としては、図7のような、道路上のペイントがある。また、この他、水溜り等によるの道路面の反射、自車の影、追越車両の影、後続車両の影等、多くある。
【0006】
【特許文献1】
特開平10−214326号公報
【特許文献2】
特開2002−175535号公報
【特許文献3】
特開2002−175534号公報
【0007】
【発明が解決しようとする課題】
この発明は、白線が見えない時間に、道路面に汚れ等がある場合でも、影響を受けること無く、白線の推定ができ、さら白線推定において用いる閾値を、自車速度と自車が走行中の道路の種類に応じて設定することができる白線推定装置を提供することを目的としている。
【0008】
【課題を解決するための手段】
この発明の白線推定装置は、映像を撮像する撮像手段と、この撮像手段による撮像映像から少なくとも1つの白線候補を検出する検出手段と、この検出手段により検出した白線候補の確信度を算出する算出手段と、この算出手段により算出された白線候補の確信度が所定値以上の際に、この白線候補を白線と推定する推定手段と、上記算出手段により算出された白線候補の確信度が所定値以下の際に、白線が見えない時間を予測し、この時間において、新たに上記算出手段により白線候補の確信度を算出し、この算出手段により算出された白線候補の確信度が所定値以上の際に、この白線候補を上記推定手段により白線と推定する処理手段とを有する。
【0009】
この発明の白線推定装置は、道路上を走行する車両に搭載され、この車両の後方あるいは前方の映像を撮像る撮像手段と、この撮像手段による撮像映像から少なくとも1つの白線候補を検出する検出手段と、この検出手段により検出した白線候補の確信度を算出する算出手段と、この算出手段により算出された白線候補の確信度が所定値以上の際に、この白線候補を白線と推定する推定手段と、上記算出手段により算出された白線候補の確信度が所定値以下の際に、白線が見えない時間を上記車両の移動速度と走行中の道路の種類に基づいて予測し、この時間において、新たに上記算出手段により白線候補の確信度を算出し、この算出手段により算出された白線候補の確信度が所定値以上の際に、この白線候補を上記推定手段により白線と推定する処理手段とを有する。
【0010】
【発明の実施の形態】
以下、図面を参照してこの発明の実施形態に係わる車線逸脱警報装置を説明する。
この車線逸脱警報装置としては、図8に示すように、カメラ等の画像撮影部1、この撮像画像を処理する画像処理部2、車速センサ3、警報生成部4によって構成されている。たえば、白線検知による居眠り検知を行うものである。特に、駐車専用のカメラ(広角の)を用いて後付けで白線検知を行う場合の欠点を回避して、白線検知が行えるようにしたものである。
【0011】
すなわち、画像撮影部1としては、図9のカメラAまたはカメラBのように、自車の前方または後方を撮影するように取り付けられたカメラを用いる。このようなカメラからは、図1のような画像が得られる。図1は、自車線の左右の白線および、道路面上の汚れが入力画像中に存在する例を表している。
【0012】
画像処理部2では、画像撮影部1から得られる画像と速度センサ3からの速度とによりから、左右の白線を検出し、自車が走行中の車線を推定する。この処理の詳細については後述する。
警報生成部4では、図10のような、車線境界に対する自車からの距離DLと距離DRを計算し、いずれかが閾値Tdst以下の場合、つまり、自車が車線境界に、閾値で設定される距離Tdstよりも近付いた場合に、ドライバに警報を与える。
【0013】
警報生成部4の処理の流れを図11に示す。距離DL、距離DRの計算は、具体的には次のように行う。推定した左右の車線境界を、図12に示すような、入力画像のxy座標系から、図13に示すような、自車を上から見たXZ座標系に変換する(ST1)。
【0014】
カメラ中心から、左右の自車の端までの長さをそれぞれ、WIDTH_L、WIDTH_Rとし、また、XZ座標系において、Z軸と左右の車線境界との距離を、それぞれ、DC_L、DC_Rとした場合、DL=DC_L−WIDTH_L、DR=DC_R−WIDTH_Rのようにして、計算する(ST2)。座標系の変換式は、カメラパラメータから決定できる。
【0015】
車線境界に対する自車からの距離DLと距離DRを計算し、いずれかが閾値Tdst以下の場合、つまり、自車が車線境界に、閾値で設定される距離Tdstよりも近付いた場合に(ST3)、車線逸脱警報を生成し(ST4)、図示しない表示部による表示、あるいはブザーによる警報等によりドライバ(運転者)に警報を与える。
【0016】
以下、画像処理部2の動作について詳細に説明する。図14に画像処理部2の処理の流れを示す。画像入力処理(ST11)は、カメラからの画像をA/D変換し、ある一定の時間間隔で入力する。画像入力処理では、カメラからの映像信号を一定時間間隔でデジタル化して画像として取り込む。
【0017】
具体的には、時刻t0、t0+δt(=t1)、t0+2δt(=t2)、…において画像を取り込む。ここで、t0、δtは、それぞれ、処理開始時刻および、画像を取り込む時間間隔とする。例えば、図14に示すように、画像入力処理(ST11)において、時刻tiで画像を取り込んだ後、時間δtの間に、前処理(ST12)、白線候補点検出処理(ST13)、白線候補検出処理(ST14)、車線推定処理(ST15)を行い、時刻ti+δt=ti+1において再び、画像入力処理(ST11)に進み、画像が取り込まれるというように、処理を繰り返す。以下では、時刻tiにおいて、画像入力が行われ、画像Iti(x,y)得られた場合の説明を行う。
【0018】
前処理では、入力画像に平滑化フィルタ等のノイズ除去等の処理を行う。
白線候補点検出処理では、入力画像から白線を構成する点を検出し、白線候補点とする。白線候補点は、エッジ画像から検出する。入力画像Iti(x;y)に対し、図15のようなフィルタ演算を行うことにより、エッジ画像Eti(x;y)を得る。これを、式で表すと、
Eti(x,y)=−Iti(x−2y)−2Iti(x−1,y)+2Iti(x+1,y)+Iti(x+2,y)
ようになる。
【0019】
図1の画像に対して、エッジ検出を行うと、図16のようなエッジ画像が得られる。図16では、エッジ値の絶対値が大きい点を、黒で表している。
【0020】
図16の直線Lに沿って、エッジの値を表したものを図17に示す。図17では、A、A’のように、左から右に道路面から白線に変わる点において、正の極大値を持つ。また、B、B’のように左から右に白線から道路面に変わる点において、負の極小値を持つ。そこで、エッジ画像Eti(x,y)を水平に左から右スキャンし、左と右がそれぞれ、正の極大値、負の極小値の組であり、それらのx方向の距離が、白線の幅として適当なものを検出し、その中点を白線候補点とする。図16の直線L上の点は、AとB、および、A’とB’が正の極大値と負の極小値の組として選択され、その中点が白線候補点となる。
【0021】
図16から、白線候補点を検出すると、図17のようになる。白線候補点は、左右の白線の位置から検出される他、路面上の汚れからも検出される。
白線候補検出処理では、白線候補点から直線を検出し、白線候補とする。これには、例えば、ハフ変換を用いる。まず、各白線候補点について、パラメータ平面に投票を行う。パラメータ平面の一点は、入力画像平面の一つの直線に対応する。具体的には、図18のρθパラメータ平面の、一点(θ0,ρ0)は、図19のような直線に対応する。図19の直線は、原点から直線への垂線の長さをρ0、x軸となす角度をθ0とする直線である。xy平面の白線候補点P(xp,yp)についての投票は、ρθパラメータ平面の曲線
ρ=xp・cosθ+yp・sinθ
に沿って行う。
【0022】
次に、各白線候補点について投票後、ρθパラメータ平面でのピークを検出する。各ピークに対応する、xy平面上の直線を求め、白線候補とする。
図17の白線候補点から、白線候補を検出した結果を図20に示す。LC1〜L4のような白線候補が検出される。
【0023】
次に、車線推定処理の流れを、図21に示す。図21の中の車線候補とは車線の推定結果である。車線候補は、通常は、一つのみであり、車線候補Aと表す。以下の説明で、P1〜P16は、図21中の各処理を表すものとする。
【0024】
図21のP1において、車線候補が、一つしか存在しない場合には、P1からP2へ処理が進む。P2では、車線候補Aについて、白線候補の組を選び、白線候補の組aとする。P3において、白線候補の組aの確信度を計算する。P4において、確信度が閾値Tcよりも大きい場合には、P4からP5、P6、P7と進み、P7において、車線候補Aを車線の推定結果とする。
【0025】
なお、上記P1からP3の処理を説明する。
【0026】
まず、検出された白線候補から、車線境界を推定する。車線境界は、入力画像中では、左右の直線の組として表される。
【0027】
まず、時刻ti−1での車線の推定結果と、白線候補を、入力画像のxy座標系から、自車を上から見たXZ座標系に変換する。次に、白線候補の組の内、以下の三つの条件を全て満たす組を選択する。
【0028】
・白線候補組の条件1:
T_WIDTH_L<右の白線候補のX座標−左の白線候補のX座標<T_WIDTH_R
・白線候補組の条件2:
|ti−1の左の車線境界のX座標−左の白線候補のX座標|<T_DX
・白線候補組の条件3:
|ti−1の右の車線境界のX座標−右の白線候補のX座標|<T_DX
最初の条件は、白線候補の組から推定した道路幅が、T_WIDTH_L〜T_WIDTH_Hの範囲内にあることを表す。二つ目と三つ目の条件は、時刻ti−1とti間での車線境界のX方向の移動量が、閾値T_DX以下であることを表す。なお、||は絶対値を表す。
【0029】
条件を満たす白線候補の組が、複数見付かった場合には、白線候補の組について、確信度を計算し、最も確信度が大きな白線候補の組を選択する。白線候補の組の確信度の簡単な例は、白線候補上にある白線候補点の数が考えられる。また、確信度の計算に、白線線候補点を検出する際に用いたエッジ画像の極大値および極小値の強度、白線線候補周囲の輝度のコントラスト等から計算してもよい。
【0030】
P4において、白線候補の組aの確信度が低くなる場合には、
・原因1:白線が見えず、白線候補を誤検出をしたために確信度が低くなった
・原因2:入力画像の条件が悪くなったために確信度が低くなった
いずれかが原因であると考える。原因1の具体例として、図3のような画像から、道路の汚れを白線候補として検出する場合が考えられる。また、原因2の具体例として、白線が掠れており、白線から検出されるエッジも掠れ、白線候補の確信度が低くなる場合が考えられる。
原因1の場合には、車線候補Aを白線候補の組aで更新すべきではなく、逆に、原因2の場合には、車線候補Aを白線候補の組aで更新すべきである。
【0031】
本発明では、直ちにいずれかを、確定せず、上の二つの可能性を考える。いずれか原因であるか判定は、時間Tpの間保留する。Tpは、入力画像系列において、白線が見えなくなる時間に設定する。P4において、白線候補の組aの確信度が、閾値Tc以下の場合には、P10に進む。P10では、車線候補Aは、白線候補の組aで更新せず、そのまま保持し、車線候補Aを白線候補の組で更新したものを車線候補Bして新たに生成する。車線候補Aは、原因1により白線候補の組の確信度が低くなったと判定した場合に得られる車線候補である。車線候補Bは、原因2により白線候補の組の確信度が低くなったと判定した場合に得られる車線候補である。さらに、P10からP6へ進み、車線候補が複数存在するため、P11に進む。P11では、時間ti−1として出力したものを、推定結果とする。
【0032】
車線候補Bが生成され、再び、車線推定が行われる場合には、P1から、P8へ進む。車線候補Bが生成されてから、時間Tpが経過していれば、P8からP9へ進み、車線候補Aを破棄し、車線候補Bを新しい車線候補Aとし、P2へ進む。これは、原因2により、白線候補の組の確信度が低くなっていたと判定することに対応する。車線候補Bが生成されてから、時間Tpが経過していなければ、P8からP12へ進む。P12において、車線候補A、車線候補Bについて、それぞれ、白線候補の組a、bを選択する。P13において、白線候補の組a、bそれぞれの確信度を計算し、白線候補の組aの確信度がTcより大きい場合には、P15へ進み、車線候補Bを破棄し車線候補Aを白線候補の組aにより更新する。これは、原因1により白線候補の組の確信度が低くなったと判定することに相当する。白線候補の組aの確信度がTc下の場合には、P16へ進み、車線候補Aと車線候補Bをそれぞれ、白線候補の組a、bで更新する。
【0033】
本発明の車線推定の適用例を図22から25に示す。図24において、道路の汚れから白線候補の組が検出され、確信度が小さいため、車線候補Bが生成される。図25において、白線が入力画像中に現れ、白線候補Aに対する白線候補の組として検出される。この白線候補組の確信度が大きいため、車線候補Bは、破棄される。図24と図25の間の時刻においては、車線候補Aが車線推定結果として出力される。
【0034】
以下、閾値Tpの設定について説明する。白線が見えなくなる時間は、カメラの画角、取り付け位置、白線の長さと間隔、および自車の走行速度から決まる。カメラの取り付け位置、および、取り付け位置は、予め知ることができ、固定である。白線の長さと間隔については、自車が現在走行中の道路が、一般道か高速道かにより、決まる。そこで、車速と、現在自車が走行中の道路の種類から、白線の見えない間隔を推定し、閾値Tpを設定する。白線の見えない間隔は、ほぼ速度に反比例するため、Tpを、現在自車が走行中の道路が、高速道路か、一般道かにより、それぞれ、
Tp=(Ap1/V)+Mp
Tp=(Ap2/V)+Mp
のように設定する。Ap1、Ap2は定数であり、実験により予め計算する。Mpは、Tpを白線の見えない時間をよりも大きくするためのパラメータであり、正の値に設定する。
現在、自車が走行中の道路が、一般道か高速道かの判断は、カーナビゲーションシステム等を用いて行う。
上記したように、構成することにより、以下の二つの効果が得られる。
【0035】
・白線の誤検出が削減される。
・車線逸脱警報の遅れを小さくすることができる。
一つ目の効果は、本発明の車線推定処理によるものである。本発明の車線推定処理では、入力画像系列において、白線が見えない時間があることを考慮し、処理を行う。これにより、白線が見えない時間に、道路面に汚れ等がある場合でも、影響を受けること無く、車線の推定が行われる。
【0036】
二つ目の効果は、車線推定において用いる閾値Tpを、自車速度と自車が走行中の道路の種類に応じて設定することによる効果である。自車速度と自車が走行中の道路の種類によらず閾値Tpを決める場合には、白線が見えない時間の最大値に設定する。
【0037】
白線候補の組の確信度が低い場合には、車線推定結果は、図17のP11のように、以前の結果を出力するため、入力画像に対して推定結果が遅れることになる。そして、車線逸脱の警報も遅れることになる。Tpを大きく設定すれば、この警報の遅れも大きくなる。閾値Tpを、自車速度と自車が走行中の道路の種類に応じてできる限り小さく設定することにより、入力画像に対する警報の遅れを最小限に抑えることができる。
【0038】
【発明の効果】
以上詳述したように、この発明によれば、白線が見えない時間に、道路面に汚れ等がある場合でも、影響を受けること無く、白線の推定ができ、さら白線推定において用いる閾値を、自車速度と自車が走行中の道路の種類に応じて設定することができる白線推定装置を提供できる。
【図面の簡単な説明】
【図1】画像撮影部による撮影画像を示す図。
【図2】画像撮影部(広角カメラ)による撮影画像を示す図。
【図3】画像撮影部(広角カメラ)による撮影画像を示す図。
【図4】画像撮影部(広角カメラ)による撮影画像を示す図。
【図5】画像撮影部(広角カメラ)による撮影画像を示す図。
【図6】画像撮影部による撮影画像を示す図。
【図7】画像撮影部による撮影画像を示す図。
【図8】この発明の実施形態に係わる車線逸脱警報装置の概略構成を示すブロック図。
【図9】カメラの車載位置を説明するための図。
【図10】警報生成部により計算される車線境界に対する自車からの距離を説明するための図。
【図11】警報生成部の処理の流れを説明するための図。
【図12】入力画像のxy座標系を説明するための図。
【図13】自車を上から見たXZ座標系を説明するための図。
【図14】画像処理部の処理の流れを説明するための図。
【図15】フィルタ演算の一例を示す図。
【図16】エッジ検出によるエッジ画像の検出例を示す図。
【図17】白線候補点の検出例を示す図。
【図18】ρθパラメータ平面を示す図。
【図19】xy平面とρθパラメータ平面との対応を示す図。
【図20】白線候補の検出例を示す図。
【図21】車線推定処理の流れを示す図。
【図22】車線推定の適用例を示す図。
【図23】車線推定の適用例を示す図。
【図24】車線推定の適用例を示す図。
【図25】車線推定の適用例を示す図。
【符号の説明】
1…画像撮影部 2…画像処理部 3…車速センサ 4…警報生成部。
【発明の属する技術分野】
この発明は、道路上を走行する車両に搭載されているカメラによる撮像映像から白線を推定する白線推定装置に関する。
【0002】
【従来の技術】
本発明の従来技術として、運転支援装置としての車線逸脱警報装置に用いられる道路上白線を推定する白線推定装置について説明する。従来例としては、特許文献1、2、3が挙げられる。
上記車線逸脱警報装置としては、カメラ等の画像撮影部、この撮像画像を処理する画像処理部、警報生成部によって構成されている。
【0003】
画像処理部では、画像撮影部から得られる画像から、左右の白線を検出し、自車が走行中の車線を推定する。
警報生成部では、車線境界の自車からの左右の距離を計算し、いずれかが閾値以下の場合、つまり、自車が車線境界に、閾値で設定される距離よりも近付いた場合に、ドライバに警報を与える。
このような従来のものでは、図1に示されるように、白線が破線の場合でも常に、入力画像中に白線が存在する場合を処理対象としている。しかし、図2から図5に示されるような、カメラの光軸方向にごく近い距離までしか画像として得られない場合には、性能が低下するという問題がある。
【0004】
図2〜図5は、入力画像の時系列を表している。図4のように、入力画像系列中において、白線がほとんど見えない画像が周期的に現れる。
図6に示されるような状況としては、例えば、前方に存在する障害物を検出する目的に設置されたカメラを用いて画像を得る場合に相当する。これに対して、図2〜図5の場合としては、例えば、自車後方に取り付けられる駐車支援用のカメラを用いて画像入力を行う場合等がある。駐車支援用のカメラは、自車後方の左右に広い範囲を撮影できるように、画角が広いカメラが用いられる。このため、カメラの光軸方向について、ごく近い距離までしか撮影できない。
【0005】
従来のものでは、図1のように、白線が常に見えていれば、白線から検出される白線候補の組の確信度が最も大きくなり、路面上の汚れ等の影響を受けにくい。しかし、図4に示す入力画像系列が、図6のようになった場合、つまり、白線が入力画像中で見えない場合に、道路上の汚れ等を白線として誤検出しやすい。図6の場合に、入力画像中で最も確信度が大きな白線候補の組を選択すると、路面上の汚れから検出された白線候補の組を選択してしまい、車線境界を誤って推定してしまう。図6の場合には、警報生成部において、自車が左の車線境界に近付いたと誤って判定され、誤報が発生する。
図6の他に、従来法により白線として誤検出される対象としては、図7のような、道路上のペイントがある。また、この他、水溜り等によるの道路面の反射、自車の影、追越車両の影、後続車両の影等、多くある。
【0006】
【特許文献1】
特開平10−214326号公報
【特許文献2】
特開2002−175535号公報
【特許文献3】
特開2002−175534号公報
【0007】
【発明が解決しようとする課題】
この発明は、白線が見えない時間に、道路面に汚れ等がある場合でも、影響を受けること無く、白線の推定ができ、さら白線推定において用いる閾値を、自車速度と自車が走行中の道路の種類に応じて設定することができる白線推定装置を提供することを目的としている。
【0008】
【課題を解決するための手段】
この発明の白線推定装置は、映像を撮像する撮像手段と、この撮像手段による撮像映像から少なくとも1つの白線候補を検出する検出手段と、この検出手段により検出した白線候補の確信度を算出する算出手段と、この算出手段により算出された白線候補の確信度が所定値以上の際に、この白線候補を白線と推定する推定手段と、上記算出手段により算出された白線候補の確信度が所定値以下の際に、白線が見えない時間を予測し、この時間において、新たに上記算出手段により白線候補の確信度を算出し、この算出手段により算出された白線候補の確信度が所定値以上の際に、この白線候補を上記推定手段により白線と推定する処理手段とを有する。
【0009】
この発明の白線推定装置は、道路上を走行する車両に搭載され、この車両の後方あるいは前方の映像を撮像る撮像手段と、この撮像手段による撮像映像から少なくとも1つの白線候補を検出する検出手段と、この検出手段により検出した白線候補の確信度を算出する算出手段と、この算出手段により算出された白線候補の確信度が所定値以上の際に、この白線候補を白線と推定する推定手段と、上記算出手段により算出された白線候補の確信度が所定値以下の際に、白線が見えない時間を上記車両の移動速度と走行中の道路の種類に基づいて予測し、この時間において、新たに上記算出手段により白線候補の確信度を算出し、この算出手段により算出された白線候補の確信度が所定値以上の際に、この白線候補を上記推定手段により白線と推定する処理手段とを有する。
【0010】
【発明の実施の形態】
以下、図面を参照してこの発明の実施形態に係わる車線逸脱警報装置を説明する。
この車線逸脱警報装置としては、図8に示すように、カメラ等の画像撮影部1、この撮像画像を処理する画像処理部2、車速センサ3、警報生成部4によって構成されている。たえば、白線検知による居眠り検知を行うものである。特に、駐車専用のカメラ(広角の)を用いて後付けで白線検知を行う場合の欠点を回避して、白線検知が行えるようにしたものである。
【0011】
すなわち、画像撮影部1としては、図9のカメラAまたはカメラBのように、自車の前方または後方を撮影するように取り付けられたカメラを用いる。このようなカメラからは、図1のような画像が得られる。図1は、自車線の左右の白線および、道路面上の汚れが入力画像中に存在する例を表している。
【0012】
画像処理部2では、画像撮影部1から得られる画像と速度センサ3からの速度とによりから、左右の白線を検出し、自車が走行中の車線を推定する。この処理の詳細については後述する。
警報生成部4では、図10のような、車線境界に対する自車からの距離DLと距離DRを計算し、いずれかが閾値Tdst以下の場合、つまり、自車が車線境界に、閾値で設定される距離Tdstよりも近付いた場合に、ドライバに警報を与える。
【0013】
警報生成部4の処理の流れを図11に示す。距離DL、距離DRの計算は、具体的には次のように行う。推定した左右の車線境界を、図12に示すような、入力画像のxy座標系から、図13に示すような、自車を上から見たXZ座標系に変換する(ST1)。
【0014】
カメラ中心から、左右の自車の端までの長さをそれぞれ、WIDTH_L、WIDTH_Rとし、また、XZ座標系において、Z軸と左右の車線境界との距離を、それぞれ、DC_L、DC_Rとした場合、DL=DC_L−WIDTH_L、DR=DC_R−WIDTH_Rのようにして、計算する(ST2)。座標系の変換式は、カメラパラメータから決定できる。
【0015】
車線境界に対する自車からの距離DLと距離DRを計算し、いずれかが閾値Tdst以下の場合、つまり、自車が車線境界に、閾値で設定される距離Tdstよりも近付いた場合に(ST3)、車線逸脱警報を生成し(ST4)、図示しない表示部による表示、あるいはブザーによる警報等によりドライバ(運転者)に警報を与える。
【0016】
以下、画像処理部2の動作について詳細に説明する。図14に画像処理部2の処理の流れを示す。画像入力処理(ST11)は、カメラからの画像をA/D変換し、ある一定の時間間隔で入力する。画像入力処理では、カメラからの映像信号を一定時間間隔でデジタル化して画像として取り込む。
【0017】
具体的には、時刻t0、t0+δt(=t1)、t0+2δt(=t2)、…において画像を取り込む。ここで、t0、δtは、それぞれ、処理開始時刻および、画像を取り込む時間間隔とする。例えば、図14に示すように、画像入力処理(ST11)において、時刻tiで画像を取り込んだ後、時間δtの間に、前処理(ST12)、白線候補点検出処理(ST13)、白線候補検出処理(ST14)、車線推定処理(ST15)を行い、時刻ti+δt=ti+1において再び、画像入力処理(ST11)に進み、画像が取り込まれるというように、処理を繰り返す。以下では、時刻tiにおいて、画像入力が行われ、画像Iti(x,y)得られた場合の説明を行う。
【0018】
前処理では、入力画像に平滑化フィルタ等のノイズ除去等の処理を行う。
白線候補点検出処理では、入力画像から白線を構成する点を検出し、白線候補点とする。白線候補点は、エッジ画像から検出する。入力画像Iti(x;y)に対し、図15のようなフィルタ演算を行うことにより、エッジ画像Eti(x;y)を得る。これを、式で表すと、
Eti(x,y)=−Iti(x−2y)−2Iti(x−1,y)+2Iti(x+1,y)+Iti(x+2,y)
ようになる。
【0019】
図1の画像に対して、エッジ検出を行うと、図16のようなエッジ画像が得られる。図16では、エッジ値の絶対値が大きい点を、黒で表している。
【0020】
図16の直線Lに沿って、エッジの値を表したものを図17に示す。図17では、A、A’のように、左から右に道路面から白線に変わる点において、正の極大値を持つ。また、B、B’のように左から右に白線から道路面に変わる点において、負の極小値を持つ。そこで、エッジ画像Eti(x,y)を水平に左から右スキャンし、左と右がそれぞれ、正の極大値、負の極小値の組であり、それらのx方向の距離が、白線の幅として適当なものを検出し、その中点を白線候補点とする。図16の直線L上の点は、AとB、および、A’とB’が正の極大値と負の極小値の組として選択され、その中点が白線候補点となる。
【0021】
図16から、白線候補点を検出すると、図17のようになる。白線候補点は、左右の白線の位置から検出される他、路面上の汚れからも検出される。
白線候補検出処理では、白線候補点から直線を検出し、白線候補とする。これには、例えば、ハフ変換を用いる。まず、各白線候補点について、パラメータ平面に投票を行う。パラメータ平面の一点は、入力画像平面の一つの直線に対応する。具体的には、図18のρθパラメータ平面の、一点(θ0,ρ0)は、図19のような直線に対応する。図19の直線は、原点から直線への垂線の長さをρ0、x軸となす角度をθ0とする直線である。xy平面の白線候補点P(xp,yp)についての投票は、ρθパラメータ平面の曲線
ρ=xp・cosθ+yp・sinθ
に沿って行う。
【0022】
次に、各白線候補点について投票後、ρθパラメータ平面でのピークを検出する。各ピークに対応する、xy平面上の直線を求め、白線候補とする。
図17の白線候補点から、白線候補を検出した結果を図20に示す。LC1〜L4のような白線候補が検出される。
【0023】
次に、車線推定処理の流れを、図21に示す。図21の中の車線候補とは車線の推定結果である。車線候補は、通常は、一つのみであり、車線候補Aと表す。以下の説明で、P1〜P16は、図21中の各処理を表すものとする。
【0024】
図21のP1において、車線候補が、一つしか存在しない場合には、P1からP2へ処理が進む。P2では、車線候補Aについて、白線候補の組を選び、白線候補の組aとする。P3において、白線候補の組aの確信度を計算する。P4において、確信度が閾値Tcよりも大きい場合には、P4からP5、P6、P7と進み、P7において、車線候補Aを車線の推定結果とする。
【0025】
なお、上記P1からP3の処理を説明する。
【0026】
まず、検出された白線候補から、車線境界を推定する。車線境界は、入力画像中では、左右の直線の組として表される。
【0027】
まず、時刻ti−1での車線の推定結果と、白線候補を、入力画像のxy座標系から、自車を上から見たXZ座標系に変換する。次に、白線候補の組の内、以下の三つの条件を全て満たす組を選択する。
【0028】
・白線候補組の条件1:
T_WIDTH_L<右の白線候補のX座標−左の白線候補のX座標<T_WIDTH_R
・白線候補組の条件2:
|ti−1の左の車線境界のX座標−左の白線候補のX座標|<T_DX
・白線候補組の条件3:
|ti−1の右の車線境界のX座標−右の白線候補のX座標|<T_DX
最初の条件は、白線候補の組から推定した道路幅が、T_WIDTH_L〜T_WIDTH_Hの範囲内にあることを表す。二つ目と三つ目の条件は、時刻ti−1とti間での車線境界のX方向の移動量が、閾値T_DX以下であることを表す。なお、||は絶対値を表す。
【0029】
条件を満たす白線候補の組が、複数見付かった場合には、白線候補の組について、確信度を計算し、最も確信度が大きな白線候補の組を選択する。白線候補の組の確信度の簡単な例は、白線候補上にある白線候補点の数が考えられる。また、確信度の計算に、白線線候補点を検出する際に用いたエッジ画像の極大値および極小値の強度、白線線候補周囲の輝度のコントラスト等から計算してもよい。
【0030】
P4において、白線候補の組aの確信度が低くなる場合には、
・原因1:白線が見えず、白線候補を誤検出をしたために確信度が低くなった
・原因2:入力画像の条件が悪くなったために確信度が低くなった
いずれかが原因であると考える。原因1の具体例として、図3のような画像から、道路の汚れを白線候補として検出する場合が考えられる。また、原因2の具体例として、白線が掠れており、白線から検出されるエッジも掠れ、白線候補の確信度が低くなる場合が考えられる。
原因1の場合には、車線候補Aを白線候補の組aで更新すべきではなく、逆に、原因2の場合には、車線候補Aを白線候補の組aで更新すべきである。
【0031】
本発明では、直ちにいずれかを、確定せず、上の二つの可能性を考える。いずれか原因であるか判定は、時間Tpの間保留する。Tpは、入力画像系列において、白線が見えなくなる時間に設定する。P4において、白線候補の組aの確信度が、閾値Tc以下の場合には、P10に進む。P10では、車線候補Aは、白線候補の組aで更新せず、そのまま保持し、車線候補Aを白線候補の組で更新したものを車線候補Bして新たに生成する。車線候補Aは、原因1により白線候補の組の確信度が低くなったと判定した場合に得られる車線候補である。車線候補Bは、原因2により白線候補の組の確信度が低くなったと判定した場合に得られる車線候補である。さらに、P10からP6へ進み、車線候補が複数存在するため、P11に進む。P11では、時間ti−1として出力したものを、推定結果とする。
【0032】
車線候補Bが生成され、再び、車線推定が行われる場合には、P1から、P8へ進む。車線候補Bが生成されてから、時間Tpが経過していれば、P8からP9へ進み、車線候補Aを破棄し、車線候補Bを新しい車線候補Aとし、P2へ進む。これは、原因2により、白線候補の組の確信度が低くなっていたと判定することに対応する。車線候補Bが生成されてから、時間Tpが経過していなければ、P8からP12へ進む。P12において、車線候補A、車線候補Bについて、それぞれ、白線候補の組a、bを選択する。P13において、白線候補の組a、bそれぞれの確信度を計算し、白線候補の組aの確信度がTcより大きい場合には、P15へ進み、車線候補Bを破棄し車線候補Aを白線候補の組aにより更新する。これは、原因1により白線候補の組の確信度が低くなったと判定することに相当する。白線候補の組aの確信度がTc下の場合には、P16へ進み、車線候補Aと車線候補Bをそれぞれ、白線候補の組a、bで更新する。
【0033】
本発明の車線推定の適用例を図22から25に示す。図24において、道路の汚れから白線候補の組が検出され、確信度が小さいため、車線候補Bが生成される。図25において、白線が入力画像中に現れ、白線候補Aに対する白線候補の組として検出される。この白線候補組の確信度が大きいため、車線候補Bは、破棄される。図24と図25の間の時刻においては、車線候補Aが車線推定結果として出力される。
【0034】
以下、閾値Tpの設定について説明する。白線が見えなくなる時間は、カメラの画角、取り付け位置、白線の長さと間隔、および自車の走行速度から決まる。カメラの取り付け位置、および、取り付け位置は、予め知ることができ、固定である。白線の長さと間隔については、自車が現在走行中の道路が、一般道か高速道かにより、決まる。そこで、車速と、現在自車が走行中の道路の種類から、白線の見えない間隔を推定し、閾値Tpを設定する。白線の見えない間隔は、ほぼ速度に反比例するため、Tpを、現在自車が走行中の道路が、高速道路か、一般道かにより、それぞれ、
Tp=(Ap1/V)+Mp
Tp=(Ap2/V)+Mp
のように設定する。Ap1、Ap2は定数であり、実験により予め計算する。Mpは、Tpを白線の見えない時間をよりも大きくするためのパラメータであり、正の値に設定する。
現在、自車が走行中の道路が、一般道か高速道かの判断は、カーナビゲーションシステム等を用いて行う。
上記したように、構成することにより、以下の二つの効果が得られる。
【0035】
・白線の誤検出が削減される。
・車線逸脱警報の遅れを小さくすることができる。
一つ目の効果は、本発明の車線推定処理によるものである。本発明の車線推定処理では、入力画像系列において、白線が見えない時間があることを考慮し、処理を行う。これにより、白線が見えない時間に、道路面に汚れ等がある場合でも、影響を受けること無く、車線の推定が行われる。
【0036】
二つ目の効果は、車線推定において用いる閾値Tpを、自車速度と自車が走行中の道路の種類に応じて設定することによる効果である。自車速度と自車が走行中の道路の種類によらず閾値Tpを決める場合には、白線が見えない時間の最大値に設定する。
【0037】
白線候補の組の確信度が低い場合には、車線推定結果は、図17のP11のように、以前の結果を出力するため、入力画像に対して推定結果が遅れることになる。そして、車線逸脱の警報も遅れることになる。Tpを大きく設定すれば、この警報の遅れも大きくなる。閾値Tpを、自車速度と自車が走行中の道路の種類に応じてできる限り小さく設定することにより、入力画像に対する警報の遅れを最小限に抑えることができる。
【0038】
【発明の効果】
以上詳述したように、この発明によれば、白線が見えない時間に、道路面に汚れ等がある場合でも、影響を受けること無く、白線の推定ができ、さら白線推定において用いる閾値を、自車速度と自車が走行中の道路の種類に応じて設定することができる白線推定装置を提供できる。
【図面の簡単な説明】
【図1】画像撮影部による撮影画像を示す図。
【図2】画像撮影部(広角カメラ)による撮影画像を示す図。
【図3】画像撮影部(広角カメラ)による撮影画像を示す図。
【図4】画像撮影部(広角カメラ)による撮影画像を示す図。
【図5】画像撮影部(広角カメラ)による撮影画像を示す図。
【図6】画像撮影部による撮影画像を示す図。
【図7】画像撮影部による撮影画像を示す図。
【図8】この発明の実施形態に係わる車線逸脱警報装置の概略構成を示すブロック図。
【図9】カメラの車載位置を説明するための図。
【図10】警報生成部により計算される車線境界に対する自車からの距離を説明するための図。
【図11】警報生成部の処理の流れを説明するための図。
【図12】入力画像のxy座標系を説明するための図。
【図13】自車を上から見たXZ座標系を説明するための図。
【図14】画像処理部の処理の流れを説明するための図。
【図15】フィルタ演算の一例を示す図。
【図16】エッジ検出によるエッジ画像の検出例を示す図。
【図17】白線候補点の検出例を示す図。
【図18】ρθパラメータ平面を示す図。
【図19】xy平面とρθパラメータ平面との対応を示す図。
【図20】白線候補の検出例を示す図。
【図21】車線推定処理の流れを示す図。
【図22】車線推定の適用例を示す図。
【図23】車線推定の適用例を示す図。
【図24】車線推定の適用例を示す図。
【図25】車線推定の適用例を示す図。
【符号の説明】
1…画像撮影部 2…画像処理部 3…車速センサ 4…警報生成部。
Claims (4)
- 映像を撮像する撮像手段と、
この撮像手段による撮像映像から少なくとも1つの白線候補を検出する検出手段と、
この検出手段により検出した白線候補の確信度を算出する算出手段と、
この算出手段により算出された白線候補の確信度が所定値以上の際に、この白線候補を白線と推定する推定手段と、
上記算出手段により算出された白線候補の確信度が所定値以下の際に、白線が見えない時間を予測し、この時間において、新たに上記算出手段により白線候補の確信度を算出し、この算出手段により算出された白線候補の確信度が所定値以上の際に、この白線候補を上記推定手段により白線と推定する処理手段と、
を具備したことを特徴とする白線推定装置。 - 映像を撮像する撮像手段と、
この撮像手段による撮像映像から少なくとも1つの白線候補を検出する検出手段と、
この検出手段により検出した白線候補の確信度を算出する算出手段と、
この算出手段により算出された第1の白線候補の確信度が所定値以上の際に、この第1の白線候補を白線と推定する推定手段と、
上記算出手段により算出された第1の白線候補の確信度が所定値以下の際に、白線が見えない時間を予測し、この時間において、新たに上記算出手段により第2の白線候補の確信度を算出し、この算出手段により算出された第2の白線候補の確信度が所定値以上の際に、この第2の白線候補を上記推定手段により白線と推定する第1の処理手段と、
この第1の処理手段の算出手段により算出された第2の白線候補の確信度が所定値以下の際に、上記第1の白線候補を白線と推定する第2の処理手段と、
を具備したことを特徴とする白線推定装置。 - 道路上を走行する車両に搭載され、この車両の後方あるいは前方の映像を撮像する撮像手段と、
この撮像手段による撮像映像から少なくとも1つの白線候補を検出する検出手段と、
この検出手段により検出した白線候補の確信度を算出する算出手段と、
この算出手段により算出された白線候補の確信度が所定値以上の際に、この白線候補を白線と推定する推定手段と、
上記算出手段により算出された白線候補の確信度が所定値以下の際に、白線が見えない時間を上記車両の移動速度と走行中の道路の種類に基づいて予測し、この時間において、新たに上記算出手段により白線候補の確信度を算出し、この算出手段により算出された白線候補の確信度が所定値以上の際に、この白線候補を上記推定手段により白線と推定する処理手段と、
を具備したことを特徴とする白線推定装置。 - 道路上を走行する車両に搭載され、この車両の後方あるいは前方の映像を撮像する撮像手段と、
この撮像手段による撮像映像から少なくとも1つの白線候補を検出する検出手段と、
この検出手段により検出した白線候補の確信度を算出する算出手段と、
この算出手段により算出された第1の白線候補の確信度が所定値以上の際に、この第1の白線候補を白線と推定する推定手段と、
上記算出手段により算出された第1の白線候補の確信度が所定値以下の際に、白線が見えない時間を上記車両の移動速度と走行中の道路の種類に基づいて予測し、この時間において、新たに上記算出手段により第2の白線候補の確信度を算出し、この算出手段により算出された第2の白線候補の確信度が所定値以上の際に、この第2の白線候補を上記推定手段により白線と推定する第1の処理手段と、
この第1の処理手段の算出手段により算出された第2の白線候補の確信度が所定値以下の際に、上記第1の白線候補を白線と推定する第2の処理手段と、
を具備したことを特徴とする白線推定装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003178238A JP2005018148A (ja) | 2003-06-23 | 2003-06-23 | 白線推定装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003178238A JP2005018148A (ja) | 2003-06-23 | 2003-06-23 | 白線推定装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005018148A true JP2005018148A (ja) | 2005-01-20 |
Family
ID=34179931
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003178238A Pending JP2005018148A (ja) | 2003-06-23 | 2003-06-23 | 白線推定装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005018148A (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007220028A (ja) * | 2006-02-20 | 2007-08-30 | Toyota Motor Corp | 道路区間線検出装置及び方法並びにプログラム |
JP2011186722A (ja) * | 2010-03-08 | 2011-09-22 | Nippon Soken Inc | 車載白線認識装置 |
DE102011005969A1 (de) | 2010-03-23 | 2011-09-29 | Denso Corporation | In einem Fahrzeug montierte Vorrichtung zur Erfassung einer Linienmarkierung |
JP2011243161A (ja) * | 2010-05-21 | 2011-12-01 | Denso Corp | 車線境界検出装置、車線境界検出プログラム |
US8744194B2 (en) | 2009-04-09 | 2014-06-03 | Denso Corporation | Boundary line recognition apparatus |
WO2015015582A1 (ja) * | 2013-07-31 | 2015-02-05 | 日立マクセル株式会社 | 画像ノイズ低減装置、撮像装置並びに車載情報システム |
US9934441B2 (en) | 2014-10-20 | 2018-04-03 | Denso Corporation | Apparatus for recognizing lane partition lines |
JP2021064868A (ja) * | 2019-10-11 | 2021-04-22 | アイシン精機株式会社 | 駐車支援装置 |
-
2003
- 2003-06-23 JP JP2003178238A patent/JP2005018148A/ja active Pending
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007220028A (ja) * | 2006-02-20 | 2007-08-30 | Toyota Motor Corp | 道路区間線検出装置及び方法並びにプログラム |
US8744194B2 (en) | 2009-04-09 | 2014-06-03 | Denso Corporation | Boundary line recognition apparatus |
DE102011001037B4 (de) * | 2010-03-08 | 2017-12-28 | Denso Corporation | Fahrzeuginterne Vorrichtung zur Weiß-Linien-Erkennung |
JP2011186722A (ja) * | 2010-03-08 | 2011-09-22 | Nippon Soken Inc | 車載白線認識装置 |
DE102011001037A1 (de) | 2010-03-08 | 2012-04-26 | Denso Corporation | Fahrzeuginterne Vorrichtung zur Weiß-Linien-Erkennung |
US8385601B2 (en) | 2010-03-08 | 2013-02-26 | Nippon Soken, Inc. | In-vehicle white line recognition apparatus |
DE102011005969A1 (de) | 2010-03-23 | 2011-09-29 | Denso Corporation | In einem Fahrzeug montierte Vorrichtung zur Erfassung einer Linienmarkierung |
DE102011005969B4 (de) | 2010-03-23 | 2022-10-20 | Denso Corporation | In einem Fahrzeug montierte Vorrichtung zur Erfassung einer Linienmarkierung |
JP2011243161A (ja) * | 2010-05-21 | 2011-12-01 | Denso Corp | 車線境界検出装置、車線境界検出プログラム |
WO2015015582A1 (ja) * | 2013-07-31 | 2015-02-05 | 日立マクセル株式会社 | 画像ノイズ低減装置、撮像装置並びに車載情報システム |
US9934441B2 (en) | 2014-10-20 | 2018-04-03 | Denso Corporation | Apparatus for recognizing lane partition lines |
JP2021064868A (ja) * | 2019-10-11 | 2021-04-22 | アイシン精機株式会社 | 駐車支援装置 |
JP7383973B2 (ja) | 2019-10-11 | 2023-11-21 | 株式会社アイシン | 駐車支援装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3630100B2 (ja) | 車線検出装置 | |
JP5276637B2 (ja) | 車線推定装置 | |
US9836657B2 (en) | System and method for periodic lane marker identification and tracking | |
JP5966965B2 (ja) | 車線境界線逸脱抑制装置及び車線境界線逸脱抑制方法 | |
JP5926080B2 (ja) | 走行区画線認識装置およびプログラム | |
US10864901B2 (en) | Vehicle travel control system | |
JP2011180982A (ja) | 区画線検出装置 | |
JP2005148817A (ja) | 車両用画像処理装置 | |
CN110809792B (zh) | 碰撞推定装置以及碰撞推定方法 | |
JP2012088217A (ja) | 運転支援制御装置 | |
JP2018060422A (ja) | 物体検出装置 | |
JP3656056B2 (ja) | 割り込み車両検出装置及びその方法 | |
US10970870B2 (en) | Object detection apparatus | |
JP2005018148A (ja) | 白線推定装置 | |
JP2019066333A (ja) | 車両用外界認識装置 | |
JP3868915B2 (ja) | 前方監視装置及びその方法 | |
JP6314655B2 (ja) | 標示線検出装置、標示線検出方法 | |
JP2003308599A (ja) | 走行路環境検出装置 | |
JP2002160598A (ja) | 車外監視装置 | |
JP3930309B2 (ja) | 車両用運転支援装置 | |
JP2008040819A (ja) | 障害物認識装置 | |
JP5717416B2 (ja) | 運転支援制御装置 | |
JPH0719893A (ja) | 道路曲率検出装置 | |
JP5742676B2 (ja) | 車線境界線認識装置 | |
JP2003276542A (ja) | 車両用後方監視装置 |