JP2011186722A - 車載白線認識装置 - Google Patents

車載白線認識装置 Download PDF

Info

Publication number
JP2011186722A
JP2011186722A JP2010050490A JP2010050490A JP2011186722A JP 2011186722 A JP2011186722 A JP 2011186722A JP 2010050490 A JP2010050490 A JP 2010050490A JP 2010050490 A JP2010050490 A JP 2010050490A JP 2011186722 A JP2011186722 A JP 2011186722A
Authority
JP
Japan
Prior art keywords
white line
vehicle
line candidate
candidate
certainty
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010050490A
Other languages
English (en)
Other versions
JP5220787B2 (ja
Inventor
Naoteru Kawasaki
直輝 川嵜
Tetsuya Takato
哲哉 高藤
Kazuma Hashimoto
一馬 橋本
Shunsuke Suzuki
俊輔 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Soken Inc
Original Assignee
Denso Corp
Nippon Soken Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp, Nippon Soken Inc filed Critical Denso Corp
Priority to JP2010050490A priority Critical patent/JP5220787B2/ja
Priority to DE102011001037.8A priority patent/DE102011001037B4/de
Priority to US12/932,812 priority patent/US8385601B2/en
Publication of JP2011186722A publication Critical patent/JP2011186722A/ja
Application granted granted Critical
Publication of JP5220787B2 publication Critical patent/JP5220787B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】消し跡線等を真の白線と区別して除外することができる車載白線認識装置を提供すること。
【解決手段】車両周囲の画像を取得する車載カメラ10と、前記車載カメラ10で取得した画像から画像処理により白線候補を抽出する白線候補抽出手段30と、前記白線候補の白線らしさの確信度を算出する確信度算出手段40と、前記確信度算出手段40が算出した確信度に基づき、認識する白線を選択する白線選択手段50、60とを備え、所定範囲内に第1の白線候補及び第2の白線候補が存在し、且つ前記第2の白線候補のコントラストに対する前記第1の白線候補のコントラストの比率が所定値以下であるという条件が成立する場合、前記確信度算出手段40は、前記条件が成立しない場合よりも、前記第1の白線候補の前記確信度を低くすることを特徴とする車載白線認識装置1。
【選択図】図3

Description

本発明は、運転支援等のために、車両が走行している道路上の白線を認識する車載白線認識装置に関する。
従来、運転支援装置としての車線逸脱警報装置に用いられ、道路上の白線を認識する車載白線認識装置が知られている(特許文献1参照)。
上記の車線逸脱警報装置は、車両周囲の画像を取得する車載カメラ、その画像を処理する画像処理部、及び警報生成部によって構成されている。画像処理部では、車載カメラから得られる画像から、白線を検出・推定する。警報生成部では、白線の自車からの左右における距離を計算し、いずれかが閾値以下の場合、つまり、自車が白線に、閾値で設定される距離よりも近付いた場合に、ドライバに警報を与える。
この車線逸脱警報装置で最も問題となるのは、さまざまなノイズ要因による白線の誤検出である。ノイズ要因としては、例えば、路面上の汚れ、道路上のペイント、水溜り等による道路面の反射、自車の影、追越車両の影、後続車両の影等がある。
これらのノイズを排除し、真の白線のみを抽出するための技術が種々提案されている。具体的には、車載カメラで取得した画像から、画像認識によって白線候補を抽出し、各白線候補の確信度を算出してその確信度が最も高い白線候補を選ぶ方法が提案されている。特許文献1では、確信度の算出方法として、白線候補とその周囲との輝度のコントラスト等から確信度を算出する方法が挙げられている。
特開2005−18148号公報
しかしながら、白線候補とその周囲との輝度のコントラストのみから確信度を算出する方法では、消し跡線(白線を消したが、その跡が残っているもの)等の誤検出が抑えられない場合がある。例えば、以下のような場合がある。
通常の白線と路面とのコントラストの比率は、400%程度であるが、所によっては、150%ほどの場合もある。そのため、上記のコントラスト比が150%以上であれは、その白線候補の確信度を高めるようにする。ところが、白線の消し跡は、上記のコントラスト比が160程度%になることがあり、この場合、消し跡の確信度が高められ、結果として、消し跡が白線として誤認識されてしまう。
本発明は以上の点に鑑みなされたものであり、消し跡線等を真の白線と区別して除外することができる車載白線認識装置を提供することを目的とする。
本発明の車載白線認識装置は、車両周囲の画像を取得する車載カメラと、車載カメラで取得した画像から画像処理により白線候補を抽出する白線候補抽出手段と、白線候補の白線らしさの確信度を算出する確信度算出手段と、確信度算出手段が算出した確信度に基づき、認識する白線を選択する白線選択手段とを備え、所定範囲内に第1の白線候補及び第2の白線候補が存在し、且つ第2の白線候補のコントラストに対する第1の白線候補のコントラストの比率が所定値以下であるという条件が成立する場合、その条件が成立しない場合よりも、第1の白線候補の確信度を低くする。
そのことにより、例えば、図6(b)に示すように、白線201の近傍に白線の消し跡202が存在し、白線201に対する消し跡202のコントラスト比が所定値以下である場合、消し跡202の確信度を下げ、消し跡202を白線として誤認識することを防止できる。
また、図6(a)に示すように、真の白線203、204が隣接しており、それらのコントラスト比が所定値を超える場合は、白線203、204の確信度を下げることがなく、それらを正しく認識できる。
さらに、白線候補間のコントラスト比が所定値以下であっても、図6(c)に示すように、白線205、206間の距離が大きく、所定範囲内にない場合は、白線205、206の確信度を下げることがなく、それらを正しく認識できる。
本発明の車載白線認識装置は、確信度算出手段を複数備え、白線選択手段は、複数の確信度算出手段がそれぞれ算出した確信度を乗算することで統合して尤度を算出し、尤度が最大である白線候補を選択するものであることが好ましい。
この場合、車載白線認識装置では、確信度算出手段の種類がどのようなものであっても、それらを容易に組み合わせて尤度を求め、その尤度に基づいて白線候補を選択することができる。従って、確信度算出手段を改良したり、新たな確信度算出手段を追加したりした場合であっても、それら複数の処理を容易に統合できる。
本発明の車載白線認識装置は、複数の確信度算出手段のうちの1つとして、道路(白線候補の部分を除く)に対する白線候補のコントラストの比率に基づき、確信度を算出する確信度算出手段を備えることが好ましい。こうすることにより、消し跡等の白線候補が、他の白線候補から遠く離れている場合でも、その白線候補の確信度を下げることができる。
前記所定範囲内とは、例えば、第2の白線候補から第1の白線候補までの距離が所定値以下であることである。この距離における所定値は、消し跡等は排除でき、真の白線は排除してしまうことがないように、適宜設定できる。図6(b)に示すように、第1の白線候補(消し跡202)の長手方向と、第2の白線候補(白線201)の長手方向とが略平行である場合、上述した距離とは、それらの間隔である。また、第1の白線候補の長手方向と、第2の白線候補の長手方向とが平行でない場合、上述した距離とは、それらの最短距離、又は平均距離とすることができる。
本発明の車載白線認識装置は、例えば、車線逸脱警報装置に適用することができる。その車線逸脱警報装置は、車載白線認識装置で認識した白線に基づき、白線の自車からの左右における距離を計算し、いずれかが閾値以下の場合、つまり、自車が白線に、閾値で設定される距離よりも近付いた場合に、ドライバに警報を与える。
また、車載白線認識装置で認識した一対の平行な白線に基づいてFOE(消失点)を算出し、そのFOEを、歩行者等の認識に利用することができる。
車載白線認識装置1の概略の構成を表す機能ブロック図である。 車両における車載カメラ10の位置を表す説明図である。 画像処理部20の概略の機能構成を示す機能ブロック図である。 確信度の設定条件を表すグラフである。 確信度の設定条件を表すグラフである。 (a)は道路上に真の白線203、204が存在する例を表す説明図であり、(b)は道路上に真の白線201と消し跡202が存在する例を表す説明図であり、(c)は車線の両側にそれぞれ真の白線205、206が存在する例を表す説明図である。 道路上に影による白線候補がある画像である。 道路上に消し跡による白線候補がある画像である。 車線の両側にそれぞれ真の白線に対応する白線候補がある画像である。
本発明の実施形態を図面に基づいて説明する。
[第1実施形態]
1.車載白線認識装置1の構成及び作用
車載白線認識装置1の構成及び作用を図1〜図5に基づいて説明する。図1は、本発明が適用された車載白線認識装置1の概略の構成を示すブロック図であり、図2は、車両における車載カメラ10の位置を表す説明図であり、図3は、画像処理部20の概略の機能構成を示す機能ブロック図であり、図4、5は後述する確信度の設定条件を表すグラフである。
車載白線認識装置1は、図1に示すように、車両周囲の画像を取得する車載カメラ10と車載カメラ10で取得した車両周囲の画像を画像処理する画像処理装置20とを備えている。
画像処理装置20は、図3に示すように、複数のDSP30〜110、DSP30〜110の間のデータ伝送のためのBUS120及び図示しないROM、RAM及びI/Oを備えている。
DSP30は、車載カメラ10で取得した画像から画像処理により道路上の白線候補を抽出する白線候補抽出を行うDSPであり、以下、このDSP30を白線候補抽出部30と呼ぶ。
具体的には、車載カメラ10で取得した画像から、公知の画像処理であるパターンマッチング、直線抽出ハフ変換処理における投票数(実線・破線判定結果)などにより、道路上の白線らしきもの(白線候補)を抽出する。なお、白線候補は、1フレームの画像において複数抽出される場合もある。
DSP40は、白線候補抽出部30で抽出した白線候補について、白線らしさの確信度を算出するDSPであり、以下、このDSP40を白線特徴算出部40と呼ぶ。なお、確信度は、0.01〜1の範囲内で設定される数値(尤度)であって、白線特徴算出部40が、後述する(1)〜(9)の各処理ごとに設定する。よって、1つの白線候補について、複数の確信度が設定される。白線特徴算出部40が実行する(1)〜(9)の各処理は、それぞれ、以下のとおりである。
(1)画像における所定範囲内に、白線候補抽出部30で抽出した2つの白線候補(以下、第1の白線候補及び第2の白線候補とする)が存在し、且つ第2の白線候補のコントラストに対する第1の白線候補のコントラストの比率(以下、白線候補間コントラスト比とする)が50%以下であるという条件が成立する場合、第1の白線候補の白線らしさの確信度を下げる。このとき、具体的には、図4に示すように、確信度を設定する。図4において、横軸は白線候補間コントラスト比であり、縦軸は設定される確信度である。白線候補間コントラスト比が50%を超える場合、確信度は0.50で一定である。白線候補間コントラスト比が40%から50%までの間の場合、確信度は、白線候補間コントラスト比が低下するのに伴い(比例して)、下がる。白線候補間コントラスト比が40%以下の場合、確信度は0.10で一定である。
上述した条件が成立する場合、白線候補間コントラスト比は50%以下であるから、確信度は0.50より小さくなる。一方、上述した条件が成立しない場合(白線候補間コントラスト比が50%以上であるか、白線候補同士の間隔が広い場合)、確信度は0.50である。
道路上で消し跡線等が、真の白線の近傍に存在し、その消し跡線等が白線候補として抽出されることがある。消し跡線等のコントラストが比較的高い場合、そのコントラストのみによる判断では、消し跡線と真の白線とを識別できない。
しかしながら、消し跡線等の近傍に、それよりも遥かにコントラストが高い(例えば消し跡線等の2倍以上のコントラストを持つ)白線候補があれば、消し跡線等は、真の白線ではないと判断できる。この処理では、上記の理論を利用して、白線候補のうち、消し跡線等である可能性が高いものの確信度を下げる。
(2)白線候補の周囲の路面(白線候補の部分を除く)に対する、白線候補のコントラストの比率(以下、白線候補自体のコントラスト比とする)に基づき、確信度を算出する。
具体的には、図5に示すように、白線候補自体のコントラスト比が150%より低ければ、確信度を下げる。図5において、横軸は白線候補自体のコントラスト比であり、縦軸は設定される確信度である。
(3)白線らしさを示す特徴として、白線候補抽出部30で抽出した白線候補の内部輝度分散又は内部エッジ量のいずれかを用いる。
白線は、通常白色であり、車両のヘッドライトや街路灯などの照明装置から照射される光を乱反射するようになっているので、道路面に比べて輝度分散の値が大きい。
また、内部エッジ量の大小は、その領域の平坦度を示している。つまり、平坦度が大きければ、その領域にはエッジとなる部分が少ないということであるので、内部エッジ量が小さければ平坦度が大きく、逆に内部エッジ量が多ければ平坦度が小さくなる。白線は、道路面に比べ平坦度が大きいため内部エッジ量が少ない。
従って、白線候補の内部輝度分散又は内部エッジ量を算出し、算出した内部輝度分散又は内部エッジ量に応じて、確信度を設定し(内部輝度分散が大きければ確信度を大きくし、内部エッジ量が小さければ確信度を大きくする。)、出力するようにするのである。
(4)白線らしさを示す特徴として、白線候補のエッジ方向の分散あるいはエッジ方向のヒストグラムのピークの比率又は大きさのいずれかを用いる。
白線は、通常道路上に一方向に描かれている(道路がカーブしていても、曲率が比較的小さいため、車載カメラ10で取得した画像の範囲では一方向に描かれているものとみなすことができる。)ので、道路面に比べ、白線のエッジ方向の分散は大きくなる。また、白線は線分であるので、エッジ方向のヒストグラムの比率や大きさが道路面に比べて大きい。
従って、白線らしさを示す情報として、白線候補のエッジ方向の分散、エッジ方向のヒストグラムの比率又は大きさを用いることができる。
従って、白線候補のエッジ方向の分散、エッジ方向のヒストグラムの比率又は大きさを算出し、算出した白線候補のエッジ方向の分散、エッジ方向のヒストグラムの比率又は大きさに応じて確信度を設定し(白線候補のエッジ方向の分散、エッジ方向のヒストグラムの比率又は大きさが大きければ確信度を大きくし、小さければ確信度を小さくする。)、出力するようにするのである。
(5)道路面特徴抽出部70で抽出した白線候補自体の模様又は平均輝度の差が所定の値以下の場合には、その白線候補の確信度を下げる。
具体的には、道路面上には、道路側部のガードレールなどにより影が映り込む場合がある。例えば、横方向からの直射日光によりガードレールの隙間から差し込む光が直線状に道路面に映り、白線のように見える場合がある。他にも黒いコールタールによる補修跡で囲まれた領域が直線状に映る場合がある。
これら道路上の影や補修跡で囲まれた領域と白線とを識別するには、領域と白線候補との模様や平均輝度を比較すればよい。そこで、道路面特徴抽出部70で抽出した領域と白線候補との模様の差が大きければ両者は異なるものとして確信度を上げ、平均輝度の差が小さければ両者が一致するとして、その白線候補の確信度を下げるのである。
(6)エッジ特徴抽出部80で抽出したエッジ総量の差が所定の値以下の場合には、白線候補の確信度を下げる。
白線がかすれなどによって、道路面との輝度差が低くなった場合であっても、人間の目では白線らしくシミのように見える。これは、道路上に全く模様がない場合にはシミが強調して見えるという人間の感性によるものである。
そこで、エッジ特徴抽出部80で抽出した、白線候補に囲まれる領域と白線のエッジ総量の差が所定の値以下の場合には、その白線候補の確信度を下げるのである。
(7)筋模様検出部90で筋状の模様が検出された場合には、確信度を下げる。
車両のスリップ防止のため道路上に縦筋が刻まれている場合がある。その場合、道路上に刻まれている縦筋は道路面に比べ輝度が低い(暗い)が、縦筋端の輝度は白線端と差がない場合がある。そこで、筋模様検出部90で白線候補上に筋模様が検出された場合には、その白線候補の確信度を下げるのである。
(8)交通標識検出部100で交通標識が検出された場合には、確信度を下げる。
道路上には、白線の他に、矢印、制限速度、止まれ文字などの交通標識や横断歩道などが描かれている。従って、交通標識検出部100により、白線候補の位置に交通標識等が検出されたときは、その白線候補の確信度を下げるのである。
(9)ペア白線候補検出部110によって、車両進行方向に対して車両の両側方で一対となる白線候補を検出した場合には、検出した一対の白線候補の内側の領域に存在する白線候補の確信度を下げる。
道路上の白線は、車両が走行している場合には、車両進行方向に対して車両の両側に存在する。従って、ペア白線候補検出部110で、白線候補のうち車両進行方向に対して車両の両側方で一対となるものを検出した場合、その一対の白線候補の確信度を上げるのである。
DSP50は、上記(1)〜(9)においてそれぞれ算出されて出力される確信度を乗算して統合することにより白線らしさを示す尤度を出力するDSPであり、以下、このDSP50を白線特徴統合部50と呼ぶ。
白線特徴統合部50における統合処理はベイズ推定のフレームワークに基づき、確信度の乗算による統合から判定する。例えば、白線特徴算出部40の(1)〜(9)に示した処理のうちの2つによって算出した白線らしさの確信度A、Bがそれぞれ0.6、0.7であった場合、統合した尤度は、(0.6*0.7)/(0.6*0.7+0.4*0.3)=0.78となる。
ここで、0.4,0.3はそれぞれA、Bによる白線らしくなさ(1−0.6、1−0.7)である。
また、白線特徴算出部40における処理が増えた場合も統合処理の内容は単に尤度統合処理の入力確信度の数が増えるだけで本質的には変わらず、拡張性に富む。これにより、高精度、高ロバスト性を実現しつつ、新たな情報の追加や削除が容易な構造が実現できる。
DSP60は、白線特徴統合部50が出力する尤度のうち最大の尤度を有する白線候補を道路上の白線として選択するDSPであり、以下、このDSP60を白線選択部60と呼ぶ。
白線特徴統合部50では、白線候補に対して「白線らしさ」が統合された尤度として出力されるので、白線選択部60では、その統合された尤度が最大となっている白線を道路上の白線として選択するのである。
DSP70は、車載カメラ10で取得した画像から、白線候補抽出部30で抽出した白線候補に挟まれる道路上の領域及び白線候補自体の模様又は平均輝度を含む特徴を抽出するDSPであり、以下、このDSP70を道路面特徴抽出部70と呼ぶ。
例えば、横方向からの直射日光によりガードレールの隙間から差し込む光が直線状に道路面に映り、白線のように見える場合やコールタールによる補修跡で囲まれた領域が直線状に映る場合があるので、パターンマッチングや輝度の差などにより領域と白線との模様を抽出する。
DSP80は、車載カメラ10で取得した画像から、白線候補抽出部30で抽出した白線候補に挟まれる道路上の領域及び白線候補自体のエッジ総量を抽出するDSPであり、以下、このDSP80をエッジ特徴抽出部80と呼ぶ。
エッジ総量は、車載カメラ10を二値化して得られた二値化画像からエッジを抽出し、抽出したエッジの数を合計することによって得られる。
DSP90は、車載カメラ10で取得した画像から、白線候補抽出部30で抽出した白線候補の車両進行方向に略直角方向の近傍の領域の、道路上の車両進行方向のエッジ量が所定の値以上の筋状の模様を検出するDSPであり、以下、このDSP90を筋模様検出部90と呼ぶ。
車両のスリップ防止のため道路上に刻まれている縦筋は道路面に比べ輝度が低い(暗い)が、縦筋端の輝度は白線端と差がない場合がある。そこで、車載カメラ10で取得した画像の二値化画像からエッジ量を算出し、白線候補の車両進行方向の近傍の領域の道路上の車両進行方向のエッジ量が所定の値以上のものを筋状の模様として検出するのである。
DSP100は、車載カメラ10で取得した画像から道路上に描かれている交通標識を検出するDSPであり、以下、このDSP100を交通標識検出部100と呼ぶ。
交通標識検出部100では、道路上に描かれている交通標識をパターンマッチングにより検出する。検出する交通標識としては、矢印、制限速度、止まれ文字など道路面上に描かれている交通標識以外にも横断歩道などがある。
DSP110は、白線候補抽出部30で抽出した白線候補のうち、車両進行方向に対して車両の両側方で一対となる白線候補の有無を検出するDSPであり、以下、このDSP110をペア白線候補検出部110と呼ぶ。
道路上の白線は、車両が走行している場合には、車両進行方向に対して車両の両側に存在する。従って、ペア白線候補検出部110では、白線候補抽出部30で抽出した白線候補のうち車両進行方向に対して車両の両側方で一対となる白線を画像中の車両位置に対する相対位置から検出するのである。
2.車載白線認識装置1が奏する効果
(i) 車載白線認識装置1は、上述したように、画像における所定範囲内に、第1の白線候補及び第2の白線候補が存在し、且つ白線候補間コントラスト比が50%以下であるという条件が成立する場合、第1の白線候補の白線らしさの確信度を下げる。
そのことにより、例えば、図6(b)に示すように、白線201の近傍に白線の消し跡202が存在し、消し跡202のコントラストが白線201のコントラストより顕著に低い場合、消し跡202の確信度を下げ、消し跡202を白線として誤認識することを防止できる。
また、図6(a)に示すように、真の白線203、204が隣接しており、それらの白線候補間コントラスト比が50%以上である場合は、白線203、204の確信度を下げることがなく、それらを正しく認識できる。
さらに、白線候補間コントラスト比が50%以下であっても、図6(c)に示すように、白線205、206間の距離が大きく、所定範囲内にない場合は、白線205、206の確信度を下げることがなく、それらを正しく認識できる。
車載白線認識装置1は、具体的には、図7に示すような、真の白線に対応する白線候補の近傍に、影に対応する白線候補が存在する場合、影に対応する白線候補の確信度を下げ、それを白線として誤認識することを防止できる。
また、図8に示すような、真の白線に対応する白線候補の近傍に、消し跡線に対応する白線候補が存在する場合、消し跡線に対応する白線候補の確信度を下げ、それを白線として誤認識することを防止できる。
なお、車載白線認識装置1は、たとえ、白線候補間コントラスト比が50%以下であったとしても、図9に示すように、白線候補が離れている場合は、それらの確信度を下げない。そのことにより、真の白線が薄れている場合でも、それを認識することができる。
(ii)車載白線認識装置1では、複数種類の白線特徴に関する確信度を統合して尤度を算出する。そのため、白線特徴算出部40の種類がどのようなものであっても、換言すれば、どのような処理内容によって算出された確信度であっても、それらを容易に組み合わせて尤度を求め、その尤度に基づいて白線候補を選択することができる。
従って、白線特徴算出部40を改良したり、新たな機能の処理を追加したりした場合であっても、それら複数の処理を容易に統合できるようになっている。
(iii)車載白線認識装置1は、道路(白線候補の部分を除く)に対する白線候補のコントラストの比率に基づき、確信度を算出することができる。こうすることにより、消し跡等の白線候補(ただし、その白線候補自体のコントラストが十分低いものに限る)が、他の白線候補から遠く離れている場合でも、その白線候補の確信度を下げることができる。
(iv)白線特徴算出部40は、白線らしさを示す特徴として、白線候補抽出部30で抽出した白線候補の輝度分散又は白線の内部エッジ量のうち少なくとも1つを用いているので、輝度分散により輝度の差異を求めることができ、内部エッジ量により模様平坦度の差異を求めることができる。
つまり、輝度や模様平坦度が異なるガードレールや道路上の傷、補修跡と白線との差異を求めることができるので、より正確な白線らしさの確信度を得ることができる。
また、白線特徴算出部40は、白線らしさを示す特徴として、白線候補抽出部30で抽出した白線候補のエッジ方向の分散あるいはエッジ方向のヒストグラムのピークの比率又は大きさのいずれかを用いている。
従って、道路上の白線がかすれて消えかかっているような場合や、白線がかすれて細くなっているような場合でも、白線のエッジ方向の分散あるいはエッジ方向のヒストグラムのピークの比率又は大きさのいずれかによって白線とかすれ線や道路面補修跡との差異を求めることができる。従って、より正確な白線らしさの確信度を得ることができる。
また、車載カメラ10で取得した画像から、白線候補抽出部30で抽出した白線候補に挟まれる道路上の領域及び白線候補自体の模様又は平均輝度を含む特徴を抽出する道路面特徴抽出部70を備え、白線特徴算出部40は、道路面特徴抽出部70で抽出した白線候補自体の模様又は平均輝度の差が所定の値以下の場合には、白線候補の白線らしさの確信度を下げている。
従って、路側のガードレールなどによる影や道路面補修跡のように、輝度や模様が白線と異なるものがある場合には、その確信度を下げることができるので、白線認識の精度を上げることができる。
また、車載カメラ10で取得した画像から、白線候補抽出部30で抽出した白線候補に挟まれる道路上の領域及び白線候補自体のエッジ総量を抽出するエッジ特徴抽出部80を備え、白線特徴算出部40、エッジ特徴抽出部80で抽出したエッジ総量の差が所定の値以下の場合には、白線候補の白線らしさの確信度を下げるようにしている。
従って、白線がかすれている場合であっても、白線候補としての確信度が下がらないようにすることができる。
また、車載カメラ10で取得した画像から、白線候補抽出部30で抽出した白線候補の車両進行方向に略直角方向の近傍の領域の、道路上の車両進行方向の輝度が所定の値以下の筋状の模様を検出する筋模様検出部90を備えている。
また、白線特徴算出部40は、筋模様検出部90によって筋状の模様(例えば、スリップ防止用の溝)が検出された場合には、白線候補の白線らしさの確信度を下げている。従って、スリップ防止のためコンクリート道路面に縦筋が刻まれている場合には、その縦筋の白線らしさの確信度を下げることができる。
また、車載カメラ10で取得した画像から道路上に描かれている交通標識を検出する交通標識検出部100を備え、交通標識検出部100で白線候補の位置に交通標識が検出された場合、白線特徴算出部40は、その白線候補の白線らしさの確信度を下げている。従って、道路上に描かれた交通標識の白線らしさの確信度を低くすることができる。
また、白線候補抽出部30で抽出した白線候補のうち、車両進行方向に対して車両の両側方で一対となる白線候補の有無を検出するペア白線候補検出部110を備え、白線特徴算出部40は、ペア白線候補検出部110によって、車両進行方向に対して車両の両側方で一対となる白線候補を検出した場合には、検出した一対の白線候補の内側の領域に存在する白線候補の白線らしさの確信度を下げている。
従って、車両両側面の一対の白線候補の内側の領域に存在する白線候補(例えば、白線の消し跡や中央ライン等)の白線らしさの確信度を下げることができる。
尚、本発明は前記実施の形態になんら限定されるものではなく、本発明を逸脱しない範囲において種々の態様で実施しうることはいうまでもない。
例えば、前記実施形態では、種々の処理を複数のDSPに割り当てて実行していたが、DSPに割り当てることなく1つのCPUにおいてプログラムとして実行してもよい。
また、前記実施形態では、白線特徴算出部40を1つのDSPで構成していたが、図3に示すような白線特徴算出部40の内部処理を複数のDSPに割り当てて構成してもよい。このようにすれば、より高速処理が可能となる。
また、白線特徴算出部40は、前記(1)〜(9)の処理に加えて、又はそのいずれかに代えて、以下の処理を行ってもよい。
(A) 総延長距離
白線候補の長手方向における長さが長いほど、その白線候補の確信度を大きくする。
(B)複合線パターン
複数の白線候補が、複合線パターンを形成しているか否かをパターンマッチングにより判断する。複合線パターンを形成している場合は、複合線パターンにおける中央の白線候補の確信度を上げ、他の白線候補の確信度を下げる。
1・・・車載白線認識装置、10・・・車載カメラ、20・・・画像処理装置、
30・・・白線候補抽出部、40・・・白線特徴算出部、50・・・白線特徴統合部、
60・・・白線選択部、70・・・道路面特徴抽出部、80・・・エッジ特徴抽出部、
90・・・筋模様検出部、100・・・交通標識検出部、
110・・・ペア白線候補検出部、201、203、205・・・白線、
202・・・消し跡

Claims (3)

  1. 車両周囲の画像を取得する車載カメラと、
    前記車載カメラで取得した画像から画像処理により白線候補を抽出する白線候補抽出手段と、
    前記白線候補の白線らしさの確信度を算出する確信度算出手段と、
    前記確信度算出手段が算出した確信度に基づき、認識する白線を選択する白線選択手段と、
    を備え、
    所定範囲内に第1の白線候補及び第2の白線候補が存在し、且つ前記第2の白線候補のコントラストに対する前記第1の白線候補のコントラストの比率が所定値以下であるという条件が成立する場合、前記確信度算出手段は、前記条件が成立しない場合よりも、前記第1の白線候補の前記確信度を低くすることを特徴とする車載白線認識装置。
  2. 前記確信度算出手段を複数備え、
    前記白線選択手段は、複数の前記確信度算出手段がそれぞれ算出した前記確信度を乗算することで統合して尤度を算出し、前記尤度が最大である前記白線候補を選択することを特徴とする請求項1記載の車載白線認識装置。
  3. 前記複数の確信度算出手段のうちの1つとして、道路(前記白線候補の部分を除く)に対する前記白線候補のコントラストの比率に基づき、前記確信度を算出する確信度算出手段を備えることを特徴とする請求項2に記載の車載白線認識装置。
JP2010050490A 2010-03-08 2010-03-08 車載白線認識装置 Expired - Fee Related JP5220787B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010050490A JP5220787B2 (ja) 2010-03-08 2010-03-08 車載白線認識装置
DE102011001037.8A DE102011001037B4 (de) 2010-03-08 2011-03-02 Fahrzeuginterne Vorrichtung zur Weiß-Linien-Erkennung
US12/932,812 US8385601B2 (en) 2010-03-08 2011-03-07 In-vehicle white line recognition apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010050490A JP5220787B2 (ja) 2010-03-08 2010-03-08 車載白線認識装置

Publications (2)

Publication Number Publication Date
JP2011186722A true JP2011186722A (ja) 2011-09-22
JP5220787B2 JP5220787B2 (ja) 2013-06-26

Family

ID=44531381

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010050490A Expired - Fee Related JP5220787B2 (ja) 2010-03-08 2010-03-08 車載白線認識装置

Country Status (3)

Country Link
US (1) US8385601B2 (ja)
JP (1) JP5220787B2 (ja)
DE (1) DE102011001037B4 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013191040A (ja) * 2012-03-14 2013-09-26 Alpine Electronics Inc レーンマーク検出装置およびレーンマークの信頼度算出方法
JP2015197829A (ja) * 2014-04-01 2015-11-09 本田技研工業株式会社 レーンマーク認識装置
JP2019028715A (ja) * 2017-07-31 2019-02-21 アルパイン株式会社 レーンマーク検出装置
WO2022118422A1 (ja) * 2020-12-03 2022-06-09 日本電気株式会社 ライン位置推定装置、方法およびプログラム

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5035371B2 (ja) * 2010-03-15 2012-09-26 アイシン精機株式会社 横断歩道検出装置、横断歩道検出システム,横断歩道検出方法及びプログラム
WO2012169029A1 (ja) * 2011-06-08 2012-12-13 トヨタ自動車株式会社 車線逸脱防止支援装置、区分線表示方法、プログラム
US20120314070A1 (en) * 2011-06-09 2012-12-13 GM Global Technology Operations LLC Lane sensing enhancement through object vehicle information for lane centering/keeping
US9098751B2 (en) 2011-07-27 2015-08-04 Gentex Corporation System and method for periodic lane marker identification and tracking
KR101888960B1 (ko) * 2011-10-06 2018-08-17 엘지이노텍 주식회사 도로 평탄도 측정 장치 및 방법
JP6087858B2 (ja) * 2014-03-24 2017-03-01 株式会社日本自動車部品総合研究所 走行区画線認識装置及び走行区画線認識プログラム
JP6130325B2 (ja) * 2014-04-24 2017-05-17 本田技研工業株式会社 道路環境認識装置
US11068735B2 (en) 2017-12-05 2021-07-20 Denso Corporation Reliability calculation apparatus
KR102675523B1 (ko) 2018-09-28 2024-06-14 삼성전자주식회사 차로를 결정하는 방법 및 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11167636A (ja) * 1997-12-03 1999-06-22 Toyota Motor Corp 車両用ライン検出装置
JP2004310522A (ja) * 2003-04-08 2004-11-04 Toyota Motor Corp 車両用画像処理装置
JP2005018148A (ja) * 2003-06-23 2005-01-20 Toshiba Corp 白線推定装置
JP2005251106A (ja) * 2004-03-08 2005-09-15 Mitsubishi Electric Corp 車線認識装置
JP2007220013A (ja) * 2006-02-20 2007-08-30 Mazda Motor Corp 車両用白線検出装置
JP2009211715A (ja) * 2009-05-29 2009-09-17 Clarion Co Ltd 車線位置検知システム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07311895A (ja) 1994-05-17 1995-11-28 Mazda Motor Corp 自動車の走行路推定装置
JP3352528B2 (ja) 1994-05-20 2002-12-03 マツダ株式会社 自動車の走行路推定装置
JPH08320998A (ja) 1995-05-25 1996-12-03 Nissan Motor Co Ltd レーンマーカ検出装置
JP3556766B2 (ja) * 1996-05-28 2004-08-25 松下電器産業株式会社 道路白線検出装置
JP3882304B2 (ja) 1997-07-04 2007-02-14 日産自動車株式会社 自動走行用自車位置検出装置
JP4054103B2 (ja) 1998-04-09 2008-02-27 富士通テン株式会社 走行路形状認識装置
JP3584194B2 (ja) 2000-02-22 2004-11-04 株式会社ホンダエレシス 白線検出方法および白線検出装置
JP2003051017A (ja) 2001-08-06 2003-02-21 Nissan Motor Co Ltd 白線検出装置
JP2003061087A (ja) 2001-08-20 2003-02-28 Nissan Motor Co Ltd 車両用外界認識装置
JP3700625B2 (ja) 2001-08-28 2005-09-28 日産自動車株式会社 道路白線認識装置
JP4327389B2 (ja) 2001-10-17 2009-09-09 株式会社日立製作所 走行レーン認識装置
DE10349631A1 (de) * 2003-10-24 2005-05-19 Robert Bosch Gmbh Fahrerassistenzverfahren und -vorrichtung auf der Basis von Fahrspurinformationen
JP3786113B2 (ja) 2003-12-22 2006-06-14 日産自動車株式会社 接近予測装置
JP4211681B2 (ja) 2004-05-20 2009-01-21 トヨタ自動車株式会社 走行路認識装置
JP2007114839A (ja) 2005-10-18 2007-05-10 Toyota Motor Corp 道路区画線検出装置
JP4607193B2 (ja) * 2005-12-28 2011-01-05 本田技研工業株式会社 車両及びレーンマーク検出装置
JP4878256B2 (ja) 2006-10-18 2012-02-15 株式会社日立製作所 分岐線認識装置およびカーナビゲーションシステム
JP4654208B2 (ja) 2007-02-13 2011-03-16 日立オートモティブシステムズ株式会社 車載用走行環境認識装置
JP4886597B2 (ja) 2007-05-25 2012-02-29 アイシン・エィ・ダブリュ株式会社 レーン判定装置及びレーン判定方法、並びにそれを用いたナビゲーション装置
JP4780534B2 (ja) * 2009-01-23 2011-09-28 トヨタ自動車株式会社 道路区画線検出装置
JP5016073B2 (ja) * 2010-02-12 2012-09-05 株式会社デンソー 白線認識装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11167636A (ja) * 1997-12-03 1999-06-22 Toyota Motor Corp 車両用ライン検出装置
JP2004310522A (ja) * 2003-04-08 2004-11-04 Toyota Motor Corp 車両用画像処理装置
JP2005018148A (ja) * 2003-06-23 2005-01-20 Toshiba Corp 白線推定装置
JP2005251106A (ja) * 2004-03-08 2005-09-15 Mitsubishi Electric Corp 車線認識装置
JP2007220013A (ja) * 2006-02-20 2007-08-30 Mazda Motor Corp 車両用白線検出装置
JP2009211715A (ja) * 2009-05-29 2009-09-17 Clarion Co Ltd 車線位置検知システム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013191040A (ja) * 2012-03-14 2013-09-26 Alpine Electronics Inc レーンマーク検出装置およびレーンマークの信頼度算出方法
JP2015197829A (ja) * 2014-04-01 2015-11-09 本田技研工業株式会社 レーンマーク認識装置
JP2019028715A (ja) * 2017-07-31 2019-02-21 アルパイン株式会社 レーンマーク検出装置
WO2022118422A1 (ja) * 2020-12-03 2022-06-09 日本電気株式会社 ライン位置推定装置、方法およびプログラム

Also Published As

Publication number Publication date
JP5220787B2 (ja) 2013-06-26
US20110216944A1 (en) 2011-09-08
US8385601B2 (en) 2013-02-26
DE102011001037A1 (de) 2012-04-26
DE102011001037B4 (de) 2017-12-28

Similar Documents

Publication Publication Date Title
JP5220787B2 (ja) 車載白線認識装置
JP4988786B2 (ja) 境界線認識装置
CN105922991B (zh) 基于生成虚拟车道线的车道偏离预警方法及系统
US9317756B2 (en) Lane boundary marking line detection device and electronic control device
US9460352B2 (en) Lane boundary line recognition device
KR101605514B1 (ko) 차선 인식 장치 및 방법
US9818301B2 (en) Lane correction system, lane correction apparatus and method of correcting lane
US10891738B2 (en) Boundary line recognition apparatus and branch road determination apparatus
JP5677900B2 (ja) 車載白線認識装置
US9965690B2 (en) On-vehicle control device
JP6006574B2 (ja) 車載環境認識装置
CN106096512B (zh) 利用深度摄像头对车辆或行人进行识别的检测装置及方法
KR20130051681A (ko) 노면 표식물 인식 시스템 및 방법
WO2008020544A1 (en) Vehicle detection device, vehicle detection method, and vehicle detection program
JP5204144B2 (ja) 車載白線認識装置
JP5209656B2 (ja) 車載白線認識装置
JP2013058199A (ja) 偏光画像による車両位置検知方法及びシステム
KR101224027B1 (ko) 영상의 장면 정보를 이용한 전방 차량 검출 방법
JP2016149594A (ja) 車両用進入可否判定装置
KR101406316B1 (ko) 차선 인식 장치 및 그 방법
JP2014164492A (ja) 区画線認識装置
JP2016173711A (ja) 走行区画線認識装置
JP5097681B2 (ja) 地物位置認識装置
JP2012150595A (ja) 一時停止線検出装置及びプログラム
KR20140103441A (ko) 시선 유도 반사체를 이용한 차선 인식 방법 및 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110801

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120413

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120724

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130306

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160315

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5220787

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees