JP2007257449A - 道路区画線検出装置 - Google Patents

Abstract

【課題】道路区画線の特徴点抽出を道路路面状況に柔軟に対応して精度よく行うことにより、精度の高い道路区画線の検出を実現することにある。
【解決手段】車両前方領域を撮像するカメラにより撮像された撮像画像から、輝度変化が所定閾値を超えて大きい画素部位を路面上の道路区画線を表すエッジ点として抽出させる。そして、その抽出したエッジ点に基づいて、道路上に描かれた道路区画線を検出させる。また、その抽出したエッジ点に基づいて、道路区画線の候補線を生成させる。そして、その生成された道路区画線の候補線の数に基づいて、上記のエッジ点を抽出する際に用いる輝度変化に関する所定閾値を変更させる。具体的には、候補線の数が所定本数を超える場合は、その閾値をエッジ点の抽出が行われ難くなるように高い値へ変更させ、一方、候補線の数が所定本数に達しない場合は、その閾値をエッジ点の抽出が行われ易くなるように低い値へ変更させる。
【選択図】図３

Description

本発明は、道路区画線検出装置に係り、特に、車両に搭載され、車両周辺の路面を撮像する撮像手段により撮像された撮像画像に基づいて、道路路面上に描かれた道路区画線を検出する道路区画線検出装置に関する。

従来から、道路上に描かれた車両の走行する車線を区切る白線などの道路区画線を検出する道路区画線検出装置が知られている（例えば、特許文献１参照）。この装置は、自車両に搭載された車両前方領域を撮像するカメラを備えており、そのカメラにより撮像された撮像画像を処理することにより道路区画線を検出する。具体的には、白線などの道路区画線が含まれる撮像画像から、輝度が基準である閾値以上である部分をその道路区画線の特徴点として複数抽出し、それら複数の特徴点を互いに線で結ぶことにより特徴点の数の多い候補線を道路区画線として定める。
特許第２８６１６３８号公報

しかしながら、上記した道路区画線の特徴点を抽出する際に用いるパラメータとしての輝度の基準閾値が一定値に固定されているものとすると、撮像画像から道路区画線の特徴点として抽出されるものの中にノイズが多量に含まれる事態が生じ得、その結果として、道路区画線の誤検出が生じ易くなり、また一方、本来であれば道路区画線の特徴点として抽出されるべきものが、道路路面上に描かれた道路区画線の塗装の剥がれやかすれなどに起因してその特徴点として抽出されない事態が生じ得、その結果として、道路区画線の検出が困難となるおそれがある。

本発明は、上述の点に鑑みてなされたものであり、道路区画線の特徴点抽出を道路路面状況に柔軟に対応して精度よく行うことにより、精度の高い道路区画線の検出を実現することが可能な道路区画線検出装置を提供することを目的とする。

上記の目的は、車両周辺の路面を撮像する撮像手段と、前記撮像手段により撮像された撮像画像から、所定パラメータが基準を満たす部分を路面上の道路区画線を表す特徴点として抽出する特徴点抽出手段と、を備え、前記特徴点抽出手段により抽出された前記特徴点に基づいて、道路上に描かれた道路区画線を検出する道路区画線検出装置であって、前記特徴点抽出手段により抽出された前記特徴点に基づいて、前記道路区画線の候補線を生成する候補線生成手段と、前記候補線生成手段により生成された前記候補線の数に基づいて、前記特徴点抽出手段による撮像画像からの前記特徴点の抽出の際に用いる所定パラメータに関する前記基準を変更する基準変更手段と、を備える道路区画線検出装置により達成される。

この態様の発明においては、所定パラメータが基準を満たす部分が道路区画線を表す特徴点として抽出された後、その抽出された特徴点に基づいて、道路区画線の候補線が生成される。道路区画線は車両走路の両側に所定本数（通常は一本）ずつ存在することが一般的であるので、道路区画線の候補線が走路片側でその所定本数を超えて生成されたときは、その候補線が所定本数の真の道路区画線とその他のノイズによる線とを表していると考えられ、ノイズが道路区画線の特徴点として抽出され易くなっていると判断できると共に、また、道路区画線の候補線が走路片側で所定本数だけ生成されないときは、道路路面上に描かれた真の道路区画線の例えばその塗装の剥がれなどに起因してその特徴点が抽出され難いものになっていると判断できる。

本発明においては、生成された候補線の数に基づいて、撮像画像から道路区画線の特徴点を抽出する際に用いる所定パラメータに関する基準が変更される。かかる構成によれば、道路区画線の特徴点の抽出の際に、ノイズが道路区画線の特徴点として抽出されるのを抑制することが可能になると共に、道路路面に描かれた道路区画線がその特徴点を抽出し難いものになるのを防止することが可能になる。従って、本発明によれば、道路区画線の特徴点抽出を道路路面状況に柔軟に対応して精度よく行うことができ、これにより、精度の高い道路区画線の検出を実現することができる。

尚、この発明において、「候補線の数」は、「候補線の有無」を含む概念である。

ところで、上記した道路区画線検出装置において、前記基準変更手段は、前記候補線生成手段により生成された前記候補線の数が所定数に達しない場合に、前記基準を現状よりも前記特徴点の抽出が行われ易くなるように変更することとすればよい。

また、上記した道路区画線検出装置において、前記基準変更手段は、前記候補線生成手段により生成された前記候補線の数が所定数を超える場合に、前記基準を現状よりも前記特徴点の抽出が行われ難くなるように変更することとすればよい。

また、上記した道路区画線検出装置において、前記基準変更手段は、前記基準を所定単位ずつ段階的に変更することとすれば、撮像画像から道路区画線の特徴点抽出を行ううえでの基準を、ノイズの程度や道路区画線のかすれ度合いなどの路面状況に木目細かく対応した適切なものに収束させることができるので、更に精度の高い道路区画線検出を実現することが可能となる。

尚、この場合、前記基準変更手段は、前記特徴点抽出手段により抽出される前記特徴点の数の時間変化が所定値以上であるときには、前記基準を前記所定単位を超えて一気に変更することとすれば、例えばトンネルの進入時や退出時などの道路路面の日照状態が突発的に変化するときにも、道路区画線が未検出となる状態や不要なノイズが抽出される状態が長期間にわたって継続するのを防ぐことができるので、道路区画線の検出精度が低下するのを防止することができる。

また、上記した道路区画線検出装置において、走路片側に描かれる道路区画線の本数に応じて前記所定数を変更する所定数変更手段を備えることとすれば、車両走路の片側に描かれる道路区画線の本数が時間変化するときすなわちその道路区画線が単線から複合線へ変化する或いは逆に複合線から単線へ変化するときにも、その道路路面状況に柔軟に対応して道路区画線の特徴点抽出を行うことができるので、更に精度の高い道路区画線検出を実現することが可能となる。

尚、この場合、前記所定数変更手段は、道路片側に描かれる道路区画線の形状が１本の線からなる単線から複数本の線からなる複合線へ変化する場合に、前記所定数を増加させることとすればよい。

更に、上記した道路区画線検出装置において、前記基準変更手段は、前記特徴点抽出手段による次回以降における撮像画像からの前記特徴点の抽出の際に用いる所定パラメータに関する前記基準を変更することとすれば、一つの撮像画像から道路区画線を検出するうえでの計算コストや処理量を低減することが可能となる。

尚、上記した道路区画線検出装置において、所定パラメータは、輝度又は輝度変化であることとすればよい。

本発明によれば、道路区画線の特徴点抽出を道路路面状況に柔軟に対応して精度よく行うことにより、精度の高い道路区画線検出を実現することができる。

図１は、本発明の一実施例である車両に搭載される道路区画線検出装置１０を備えるシステムの構成図を示す。本実施例の道路区画線検出装置１０は、カメラ１２及び画像処理部１４を備えている。カメラ１２は、車体前部のバンパやグリルに或いは車室内前部のアウタービューミラーのステイに配設されている。カメラ１２は、車両前方の進行方向に向いた光軸を有し、車両前方領域を撮像する例えばＣＣＤカメラである。

カメラ１２には、画像処理部１４が接続されている。カメラ１２が撮像した結果得られた撮像画像は、映像信号として画像処理部１４に供給される。画像処理部１４は、後に詳述する如く、カメラ１２から送られてくる映像信号に基づいて、道路上に描かれている車両の走行する車線を区切る実線状や破線状の白線や黄線などの道路区画線を検出・推定する。そして、道路区画線検出装置１０は、その画像処理部１４において検出・推定した道路区画線に対する自車両の横位置を算出する。

本実施例のシステムは、上記した道路区画線検出装置１０に接続する自動操舵制御装置１６を備えている。自動操舵制御装置１６は、電子制御ユニット（以下、操舵ＥＣＵと称す）１８を備えている。操舵ＥＣＵ１８には、操舵モータ２０及び車速センサ２２が接続されている。操舵モータ２０は、操舵ＥＣＵ１８から供給される指令信号に従って車両を操舵させるためのトルクを発生する。車速センサ２２は、車両の速度に応じた信号を出力する。操舵ＥＣＵ１８は、車速センサ２２の出力信号に基づいて車速を検出する。また、操舵ＥＣＵ１８には、道路区画線検出装置１０の算出した自車両の横位置情報が供給される。操舵ＥＣＵ１８は、自車両の横位置から例えば自車両が道路区画線から逸脱しそうになったときに、逸脱回避のための車速に応じた車両の自動操舵を実現すべく操舵モータ２０に対して指令信号を供給する（逸脱回避制御）。

以下、本実施例の道路区画線検出装置１０の動作について説明する。

本実施例の道路区画線検出装置１０において、画像処理部１４は、定期的にカメラ１２の撮像した撮像画像を取得する。道路は一般にアスファルトで舗装されていることが多いので、取得した撮像画像には道路が輝度（明るさ）の低い色（主に黒色）で映し出される。一方、白線などの道路区画線は比較的高い輝度で道路に描かれるので、取得した撮像画像には道路区画線が輝度の高い色（白色や黄色）で映し出される。従って、道路と道路区画線を構成する物標との輝度差を利用して撮像画像から白線などの道路区画線を構成する物標を抽出することが可能である。

画像処理部１４は、カメラ１２からの撮像画像を１フレーム取得するごとに、その１フレームの撮像画像全体を所定間隔で左右方向に走査して画素ごとに輝度変化（コントラスト）が所定閾値を超えて大きいか否かを判別する。そして、その取得した１フレームの撮像画像から、輝度変化の大きい画素部分をエッジ点として抽出する。尚、このエッジ点の抽出は、撮像画像全体のうち道路区画線を構成する物標が存在する可能性が高い領域のみについて行うこととすれば、処理時間を短縮するうえでは好適であるが、撮像画像全体についてそのエッジ点抽出を行った後に、道路区画線を構成する物標が存在する可能性が高い領域のみをフィルタ処理することとしても、同様の効果を得ることができる。

画像処理部１４は、１フレームの撮像画像からのエッジ点抽出を行った後、その抽出した輝度変化の大きい部位であるエッジ点のすべてを互いに線で結ぶことにより、道路区画線の候補としての線状のエッジ線の生成を試みる。

道路区画線を構成する物標が実線状のものであるときは、１フレームの撮像画像からのエッジ点がその道路区画線に沿ってほとんど隙間なく現れる。また、道路区画線を構成する物標が破線状のものであるときは、破線の欠落部分（無線部）が存在するため、１フレームの撮像画像からのエッジ点が隙間をあけて現れる可能性はあるが、この際にもそのエッジ点は破線の有線部分を繋いでその欠落部分を補うように道路区画線に沿って現れる。従って、画像処理部１４は、まず、上記の如く１フレームの撮像画像から抽出したエッジ点を互いに結んだ結果として、撮像画像内の左右両側についてそれぞれ、単位距離当たりに所定数以上のエッジ点が存在する線を検出する直線検出を行う。そして、かかる直線検出により上記の線が検出されるときは、その線を道路区画線の候補として残す。

また、白線などの道路区画線を構成する物標は道路上にある程度の太さ（幅）をもって描かれるため、一本の道路区画線当たりにその道路区画線の左端と右端とで対となる輝度変化が大きくなるエッジ点ペアが必ず存在する。従って、画像処理部１４は、上記の直線検出を行った後に、その直線検出によって検出された単位距離当たりに所定数以上のエッジ点が存在する各線についてエッジ点ペアとなるものが存在するか否かを判定するペア判定を行う。そして、かかるエッジ点ペアとなるものが存在しない上記の線については道路区画線の候補から排除し、一方、エッジ点ペアとなるものが存在する上記の線については道路区画線の候補として残す。

更に、白線などの道路区画線を構成する物標は道路上に連続して描かれるので、撮像画像に映し出されるその物標の位置は、連続するフレーム間で大きく変化することはない。一方、路面ノイズは道路上に連続して現れることはほとんどないので、撮像画像に映し出されるそのノイズは、連続するフレーム間で大きく位置変化する（突然に現れる）。従って、画像処理部１４は、１フレームの撮像画像において上記のペア判定を行った後に、そのペア判定によって互いにエッジ点ペアになると判定された一対の線の撮像画像上での位置（特に左右位置）と、所定時間前（直前）の過去フレームで検出された道路区画線のその撮像画像上での位置との関係に基づいて、現フレームにおいて過去フレームからの位置の連続性を有する上記一対の線を判定する連続性判定を行う。そして、過去の道路区画線と撮像画像上での位置が連続しない一対の線を道路区画線の候補から排除し、一方、過去の道路区画線と撮像画像上での位置が連続する一対の線を道路区画線の候補として残す。

画像処理部１４は、連続性判定によって位置の連続性を有する上記一対の線を道路区画線の候補であるエッジ線として生成する。そして、その所定数以上のエッジ点が存在するエッジ線を道路上の道路区画線として検出・推定し、その道路区画線に対する自車両の横位置を算出する。

図２は、１フレームの撮像画像から輝度変化の大きいエッジ点を抽出した際に生ずる不都合を説明するための図を示す。尚、図２には、カメラ撮像画像内の状況を、道路路面の真上上方から垂直に見たものとした様子が示されている。また、図２中、黒丸印を真の道路区画線を示すエッジ点として、黒三角印をノイズによるエッジ点として、それぞれ示している。

ところで、カメラ１２の撮像画像からエッジ点を抽出するための輝度変化に関する上記の閾値が一定値に固定されているものとすると、撮像画像からエッジ点として抽出されるものの中にノイズ成分が多量に含まれる事態が生じ得（図２（Ａ））、道路区画線の候補であるエッジ線が複数生成されることがあり（図２（Ｂ））、道路区画線の誤検出が生じ易くなると共に、また一方、本来であればエッジ点として抽出されるべきものが、道路路面上に描かれた道路区画線の塗装の剥がれなどに起因してエッジ点として抽出されない事態が生じ得（図２（Ｃ））、道路区画線の検出が困難となるおそれがある。

そこで、本実施例の道路区画線検出装置１０は、１フレームの撮像画像からのエッジ点の抽出を、道路路面状況に柔軟に対応して精度よく行うことにより、精度の高い道路区画線の検出を実現する点に第１の特徴を有している。以下、図３を参照して、本実施例の第１の特徴部について説明する。

一般的には、車両の走行する道路路面に描かれる白線などの道路区画線は、その走路の両側に所定本数（通常は一本）ずつ存在するものである。このため、カメラ撮像画像から抽出したエッジ点に基づいて生成される道路区画線の候補線（エッジ線）の数が走路片側でその所定本数を超えるときは、その候補線が道路上に描かれた所定本数の真の道路区画線と、輝度変化のあまり大きくないその他のノイズによる線とを表していると判断できる。また、カメラ撮像画像から抽出したエッジ点に基づいて生成される道路区画線の候補線（エッジ線）の数が走路片側でその所定本数に達しないときは、道路上に描かれた真の道路区画線の例えば塗装の剥がれやかすれなどに起因してそのエッジ点が抽出され難いものとなっていると判断できる。

本実施例において、カメラ撮像画像からのエッジ点の抽出は、画素ごとに輝度変化が所定閾値を超えて大きいか否かを判別することにより行われ、輝度変化の比較的大きい画素部分をエッジ点として抽出するものである。この点、カメラ撮像画像から抽出したエッジ点に基づいて上記の直線検出、ペア判定、及び連続性判定を経て実際に生成された道路区画線の候補線の数が予め定めた所定本数（通常は１本）を超えている場合には、エッジ点抽出の際に用いる輝度変化に関する上記の所定閾値を、ノイズがエッジ点として抽出され難くなるように高く変更することとすれば、真の道路区画線を表さないノイズが道路区画線のエッジ点として抽出されるのはできるだけ排除されることとなる。また、カメラ撮像画像から抽出したエッジ点に基づいて実際に生成された道路区画線の候補線の数が所定本数に達しない場合には、上記の所定閾値を、真の道路区画線を示す物標がエッジ点として抽出され易くなるように低く変更することとすれば、真の道路区画線を示す物標がエッジ線として抽出されない事態はできるだけ排除されることとなる。

図３は、上記の機能を実現すべく、本実施例の道路区画線検出装置１０において画像処理部１４が実行する制御ルーチンの一例のフローチャートを示す。図３に示すルーチンは、カメラ１２の撮影した撮像画像が入力される所定時間ごとに繰り返し起動されるルーチンである。図３に示すルーチンが起動されると、まずステップ１００の処理が実行される。

ステップ１００では、カメラ１２が撮像し映像信号として出力する撮像画像を入力する処理が実行され、ステップ１０２では、上記ステップ１００で入力した撮像画像の画面明るさ（輝度）が算出される。

ステップ１０４では、カメラ１２の撮像画像から道路区画線を構成する物標のエッジ点を抽出する際に用いる輝度変化に関する所定閾値ＳＨを決定する処理が実行される。この閾値ＳＨは、初期値（例えば車両のイグニションオン時におけるもの）が真の道路区画線を構成する物標をエッジ点として抽出可能な一般的な値（例えば予め定めた下限値）に予め設定されたものであればよく、後に詳述する如く、自車両が現時点までに走行した道路の路面状況に合わせて予め定めた下限値と上限値との可変幅間において上下に可変される。

ステップ１０６では、上記ステップ１００で入力された１フレームのカメラ撮像画像の画素ごとに輝度変化が上記ステップ１０４で決定された所定閾値ＳＨを超えて大きいか否かを判別することにより、その所定閾値ＳＨを用いて１フレームのカメラ撮像画像から道路区画線を構成する物標のエッジ点を抽出する処理が実行される。

ステップ１０８では、上記ステップ１０６で抽出された画素ごとの複数のエッジ点を画像左右それぞれで適宜互いに線で結ぶと共に、上記した直線検出、ペア判定、及び連続性判定を行って、画像左右両側でそれぞれ残る線状のエッジ線を最終的な道路区画線の候補として生成する処理が実行される。そして、ステップ１１０では、上記ステップ１０８の処理結果により生成されたエッジ線が最終的な道路区画線を示すものとして用いられることによりその道路区画線に対する自車両の横位置が検出され、その横位置情報が自動操舵制御装置１６へ出力される。尚、このステップ１１０の処理に際し、上記ステップ１０８の処理結果により画像左右それぞれについて生成されるエッジ線が複数本あるときは、そのうち最もエッジ点の数が多いもの一つを道路区画線を示すものとして用いることとすればよい。

また、上記ステップ１０８で道路区画線の候補が生成されると、ステップ１１２において、その生成された道路区画線の候補の数ＣＯＵＮＴを画像内左右両側（すなわち走路両側）でそれぞれカウントする処理が実行される。そして、走路両側それぞれの道路区画線の候補について独立して以下の処理が行われる。

ステップ１１４では、上記ステップ１１２でカウントされた道路区画線の候補数ＣＯＵＮＴが所定数ＣＯＵＮＴ０未満であるか否かが判別される。尚、この所定数ＣＯＵＮＴ０は、車両が走行する道路路面上の車線片側に描かれているべき道路区画線の本数であって、通常の道路区画線は車線片側に一本存在するのが一般的であるので、通常は“１”に設定されている。但し、この所定数ＣＯＵＮＴ０は、後述の如く、例えば日本国内で多く見られるような道路区画線が走路片側に２本や３本の複数の線からなる複合線となって描かれている道路を車両が走行するとき（例えばナビゲーション装置を用いて自車両が道路区画線形状が複合線である道路を走行していることが検出されるときなど）は、複数の数（例えば２本や３本）に設定される。また逆に、道路区画線が複合線となって描かれている状態から通常の単線となって描かれている道路を自車両が走行することとなったときは、再び“１”に設定される。そして、本ステップ１１４における処理の結果、ＣＯＵＮＴ＜ＣＯＵＮＴ０が成立しない場合は、次にステップ１１６の処理が実行される。

ステップ１１６では、上記ステップ１０８で最終的に道路区画線を示すものとして生成されたエッジ線を構成するエッジ点の、前回撮像画像から今回撮像画像にかけての減少数が第１の所定値以上であるか否かが判別される。この第１の所定値は、例えばトンネルへの進入時などの道路路面の輝度変化が大きい状態から小さい状態へ切り替わるときに生じ得るエッジ点の数の一般的な減少数であり、予め実験的に定められている。尚、車両走行中にトンネル進入時などの影の存在に起因して道路路面の輝度変化が大きくなるのは、現実には、自車両から遠方にある領域からであり、カメラ撮像画像上では上部からである。従って、本ステップ１１６の処理は、車両遠方領域が映し出される撮像画像内の特に上部においてエッジ点の数が急に減少するか否かを判別するものとしてもよい。

上記ステップ１１６における処理の結果、上記したエッジ点の数の減少数が第１の所定値未満である場合は、輝度が大きく減少しない通常どおりの道路を車両が走行していると判断できるので、次にステップ１１８の処理が実行される。ステップ１１８では、上記ステップ１１２でカウントされた道路区画線の候補数ＣＯＵＮＴが上記の所定数ＣＯＵＮＴ０を超えているか否かが判別される。その結果、ＣＯＵＮＴ＞ＣＯＵＮＴ０が成立しないと判別された場合は、入力された１フレームの撮像画像から所望の数だけ道路区画線の候補が生成されていると判断でき、次にステップ１２０の処理が実行される。

ステップ１２０では、上記ステップ１０８で最終的に道路区画線を示すものとして生成されたエッジ線を構成するエッジ点の、前回撮像画像から今回撮像画像にかけての増加数が第２の所定値以上であるか否かが判別される。この第２の所定値は、例えばトンネルからの退出時などの道路路面の輝度変化が小さい状態から大きい状態へ切り替わるときに生じ得るエッジ点の数の一般的な増加数であり、予め実験的に定められている。また、この第２の所定値は、上記した第１の所定値と同じ値に設定されていてもよい。尚、車両走行中にトンネル退出時などの影がなくなることに起因して道路路面の輝度変化が大きくなるのは、現実には、自車両から遠方にある領域からであり、カメラ撮像画像上では上部からである。従って、本ステップ１２０の処理は、車両遠方領域が映し出される撮像画像内の特に上部においてエッジ点の数が急に増加するか否かを判別するものとしてもよい。

上記ステップ１２０における処理の結果、上記したエッジ点の数の増加数が第２の所定値未満である場合は、輝度が大きく増加しない通常どおりの道路を車両が走行していると判断できるので、次にステップ１２２の処理が実行される。ステップ１２２では、次回のルーチンで入力されるカメラ撮像画像から道路区画線を構成する物標のエッジ点を抽出する際に用いる輝度変化に関する所定閾値ＳＨを現状のまま維持する処理が実行される。

一方、上記ステップ１１４における処理の結果、ＣＯＵＮＴ＜ＣＯＵＮＴ０が成立する場合は、上記ステップ１００で入力された１フレームの撮像画像から生成される道路区画線の候補の数が道路路面上に描かれているべき道路区画線の所望の数よりも少ないと判断できるので、次にステップ１２４の処理が実行される。

ステップ１２４では、カメラ撮像画像から道路区画線を構成する物標のエッジ点を抽出する際に用いる輝度変化に関する所定閾値ＳＨを、上記ステップ１０４で決定された現状のものよりも所定量だけ低く下げる処理が実行される。尚、この所定量は、上記したエッジ点の閾値ＳＨが下限値と上限値との間をその下限値及び上限値を含めて３段階以上に可変されるのに必要な変化量に設定されている。

本ステップ１２４の処理が実行されると、次回のルーチンにおいて、その低下された所定閾値ＳＨが、その時点で入力されるカメラ撮像画像から道路区画線を構成する物標のエッジ点を抽出する際に用いる輝度変化に関する所定閾値ＳＨとして用いられることとなる（ステップ１０４）。この場合には、次回得られるカメラ撮像画像（次フレームのカメラ撮像画像）から道路区画線の候補が生成され易くなる。

また、ステップ１１６において、最終的に道路区画線を示すものとして生成されたエッジ線を構成するエッジ点の減少数が第１の所定値以上であると判別された場合は、トンネル入口などの輝度変化が大きい状態から小さい状態へ切り替わる道路を車両が走行していると判断できるので、次にステップ１２６の処理が実行される。

ステップ１２６では、カメラ撮像画像から道路区画線を構成する物標のエッジ点を抽出する際に用いる輝度変化に関する所定閾値ＳＨを、上記ステップ１０４で決定された現状のものから上記の所定量を超えて一気に低く下げる処理が実行される。尚、この場合、所定閾値ＳＨの下げ幅は、少なくとも上記ステップ１２４で用いられる所定量を超えている量、すなわち、その所定量ずつ段階的に下げる場合よりもその段数を減らせる量であればよく、その所定量を２倍や３倍などした値としたり或いはその閾値ＳＨが一気に下限値に至る値とすればよい。

本ステップ１２６の処理が実行されると、次回のルーチンにおいて、その低下された所定閾値ＳＨが、その時点で入力されるカメラ撮像画像から道路区画線を構成する物標のエッジ点を抽出する際に用いる輝度変化に関する所定閾値ＳＨとして用いられることとなる（ステップ１０４）。この場合には、次フレームのカメラ撮像画像から道路区画線の候補が更に生成され易くなる。

また、ステップ１１８における処理の結果、ＣＯＵＮＴ＞ＣＯＵＮＴ０が成立する場合は、上記ステップ１００で入力された１フレームの撮像画像から生成される道路区画線の候補の数が道路路面上に描かれているべき道路区画線の所望の数よりも多いと判断できるので、次にステップ１２８の処理が実行される。

ステップ１２８では、カメラ撮像画像から道路区画線を構成する物標のエッジ点を抽出する際に用いる輝度変化に関する所定閾値ＳＨを、上記ステップ１０４で決定された現状のものよりも所定量だけ高く上げる処理が実行される。尚、この所定量は、上記したエッジ点の閾値ＳＨが下限値と上限値との間をその下限値及び上限値を含めて３段階以上に可変されるのに必要な変化量に設定されており、上記したその閾値ＳＨを下げる場合における所定量と同じ値に設定されていてもよい。

本ステップ１２８の処理が実行されると、次回のルーチンにおいて、その上昇された所定閾値ＳＨが、その時点で入力されるカメラ撮像画像から道路区画線を構成する物標のエッジ点を抽出する際に用いる輝度変化に関する所定閾値ＳＨとして用いられることとなる（ステップ１０４）。この場合には、次フレームのカメラ撮像画像から道路区画線の候補が生成され難くなる。

更に、ステップ１２０において、最終的に道路区画線を示すものとして生成されたエッジ線を構成するエッジ点の増加数が第２の所定値以上であると判別された場合は、トンネル出口などの輝度変化が小さい状態から大きい状態へ切り替わる道路を車両が走行していると判断できるので、次にステップ１３０の処理が実行される。

ステップ１３０では、カメラ撮像画像から道路区画線を構成する物標のエッジ点を抽出する際に用いる輝度変化に関する所定閾値ＳＨを、上記ステップ１０４で決定された現状のものから上記の所定量を超えて一気に高く上げる処理が実行される。尚、この場合、所定閾値ＳＨの上げ幅は、少なくとも上記ステップ１２８で用いられる所定量を超えている量、すなわち、その所定量ずつ段階的に上げる場合よりもその段数を減らせる量であればよく、その所定量を２倍や３倍などした値としたり或いはその閾値ＳＨが一気に上限値に至る値とすればよい。

本ステップ１３０の処理が実行されると、次回のルーチンにおいて、その上昇された所定閾値ＳＨが、その時点で入力されるカメラ撮像画像から道路区画線を構成する物標のエッジ点を抽出する際に用いる輝度変化に関する所定閾値ＳＨとして用いられることとなる（ステップ１０４）。この場合には、次フレームのカメラ撮像画像から道路区画線の候補が更に生成され難くなる。

このように、上記図３に示すルーチンによれば、カメラ１２からの撮像画像が入力されるごとに、その画像から抽出されるエッジ点に基づいて直線検出、ペア判定、及び連続性判定を経て得られる最終的な道路区画線の候補であるエッジ線の生成結果を利用して、カメラ撮像画像から道路区画線を構成する物標のエッジ点を抽出する際に用いる輝度変化に関する所定閾値ＳＨを変更することができる。具体的には、最終的な道路区画線候補の数が所望の数に達せずに少ない場合は、その閾値ＳＨを現状よりもエッジ点抽出が行われ易くなりエッジ線が生成され易くなるように低い値へ変更し、一方、その道路区画線候補の数が所望の数を超えて多い場合は、その閾値ＳＨを現状よりもエッジ点抽出が行われ難くなりエッジ線が生成され難くなるように高い値へ変更することができる。

本実施例においては、カメラ撮像画像から道路区画線を構成する物標のエッジ点を抽出する際に用いる輝度変化に関する所定閾値ＳＨが上記の如く変更されると、以後、その変更後の所定閾値ＳＨは、次回カメラ１２の撮像した撮像画像（次フレームのカメラ撮像画像）からエッジ点抽出が行われる際に用いられる。

このため、本実施例の構成によれば、一旦はカメラ撮像画像から抽出したエッジ点に基づいて実際に生成された道路区画線の候補線の数が予め定めた所定数を超えたときにも、以後、カメラ撮像画像からのエッジ点抽出の際に用いる輝度変化に関する閾値ＳＨをそのエッジ点が抽出され難くなるように高い値へ変更することにより、真の道路区画線を表さないノイズが道路区画線のエッジ点として抽出されるのをできるだけ排除することが可能となる。また、一旦はカメラ撮像画像から抽出したエッジ点に基づいて実際に生成された道路区画線の候補線の数が所定数に達しないときにも、以後、カメラ撮像画像からのエッジ点抽出の際に用いる輝度変化に関する閾値ＳＨをそのエッジ点が抽出され易くなるように低い値へ変更することにより、真の道路区画線を示す物標が塗装剥がれやかすれなどに起因してエッジ線として抽出されない事態をできるだけ排除することが可能となる。

この点、本実施例の道路区画線検出装置１０によれば、カメラ１２の撮像画像からの道路区画線を示すエッジ点の抽出を、ノイズを排除しつつ真の道路区画線を確実に候補線として生成可能となるように道路路面状況に柔軟に対応させて精度よく行うことができ、これにより、高精度の道路区画線検出を実現することが可能となっている。

また、本実施例において、カメラ撮像画像からのエッジ点抽出の際に用いる輝度変化に関する閾値ＳＨの変更は、次フレームのカメラ撮像画像からエッジ点を抽出する際に反映される。すなわち、ある時点でカメラ撮像画像からエッジ点を抽出する際に用いる輝度変化に関する閾値ＳＨは、その一つ前の時点でのカメラ撮像画像から生成される道路区画線候補の数に基づいて定められる。このため、本実施例によれば、入力された一つのカメラ撮像画像に対してエッジ点抽出処理やエッジ線生成処理をそれぞれ複数回繰り返して行うことは不要であり、それぞれ一回ずつ行うこととすれば十分であるので、一つのカメラ撮像画像から道路区画線を検出するうえでの画像処理に伴う計算コストや処理量，処理時間を低減することが可能であり、画像処理能力の軽減を図ることが可能となっている。

尚、このように閾値ＳＨの変更が次フレームのカメラ撮像画像からのエッジ点抽出の際に反映される構成では、その変更後の閾値ＳＨが１フレーム分遅れて適用されることとなる。しかし、一般的に、道路路面上に描かれる道路区画線のかすれなどの状態は、カメラ撮像画像のフレーム間程度の間に大きく変化することはあまりないので、上記閾値ＳＨの適用に際しての１フレーム分の遅れはあまり問題ではない。従って、本実施例の構成によれば、変更後の閾値ＳＨの適用が１フレーム分遅れることに伴う不都合はほとんど生じない。

また、本実施例においては、カメラ撮像画像からのエッジ点抽出の際に用いる輝度変化に関する閾値ＳＨの変更（低下及び上昇共に）が、通常、カメラ撮像画像が入力されるごとに所定量ずつ段階的に行われる。かかる構成によれば、カメラ撮像画像から道路区画線のエッジ点を抽出する際に用いる輝度変化に関する閾値ＳＨを、ノイズが多ければ段階的に高く上げていくことができ、一方、道路区画線が未検出であれば段階的に低く下げていくことができる。従って、本実施例の道路区画線検出装置１０によれば、上記の閾値ＳＨを、ノイズの程度や実際の道路区画線のかすれ度合いなどの道路路面状況に木目細かく対応して、所望本数の候補線を生成できるようなすなわちノイズを排除しつつ道路上に描かれた道路区画線を確実に検出できるような適切な値へ自動的に収束させることが可能であるので、更に精度の高い道路区画線検出を実現することが可能となっている。

但し、カメラ撮像画像におけるエッジ点の数の時間変化が大きいときは、トンネル出入口などの輝度変化の度合い（コントラスト）が大きく変化する道路を車両が走行していると判断できるので、カメラ撮像画像から適切に道路区画線を検出するうえでは、上記の閾値ＳＨをその切り替え前後で速やかに変更することが適切である。本実施例において、図３に示す如く、カメラ撮像画像ごとに抽出されるエッジ点の数が前回ルーチンから今回ルーチンにかけて大きく時間変化するときには、その閾値ＳＨが所定量ずつの段階的ではなくその所定量を超えて一気にその所定量の２倍や３倍だけ変更され又は下限値或いは上限値へ変更される。従って、本実施例の構成によれば、トンネル出入口などの道路路面のコントラストが突発的に変化するときにも、閾値ＳＨが段階的に変更される構成で生じるような道路区画線が未検出となる状態や不要なノイズが多数抽出される状態が長期間にわたって継続するのを防ぐことができ、これにより、道路区画線の検出精度が低下するのを防止することが可能となっている。

更に、本実施例において、カメラ撮像画像から道路区画線を構成する物標のエッジ点を抽出する際に用いる輝度変化に関する所定閾値ＳＨの変更は、そのカメラ撮像画像から抽出される複数のエッジ点を互いに線で結ぶと共に、上記した直線検出、ペア判定、及び連続性判定を行うことによりある程度のノイズを除去したうえで最終的に残る道路区画線の候補の数に基づいて行われる。かかる構成において、撮像画像上でノイズとして直線を構成しないエッジ点は直線検出により、また、仮にノイズが直線状に存在してもそのエッジ点はペア判定により、更に、仮にノイズがペアで直線状に並んでもそのエッジ点は連続性判定により、それぞれ道路区画線を構成する物標のエッジ点から排除されることが多い。このため、このようなノイズを示すエッジ点の存在が、道路区画線の候補を生成するうえで妨げとなることはほとんどなく、上記した所定閾値ＳＨの変更に影響を与えることはほとんどない。

すなわち、ノイズを示すエッジ点が存在しても、直線検出、ペア判定、及び連続性判定により排除されるエッジ点は、所定閾値ＳＨの変更に関わる最終的な道路区画線の候補を生成するうえで必要なエッジ点とはならないため、上記した所定閾値ＳＨの変更が不必要に行われるのは回避される。従って、本実施例によれば、カメラ撮像画像からの道路区画線検出を高い精度でかつ安定して行うことが可能となっている。

ところで、道路路面上の走路片側に描かれる道路区画線の形状には、図４（Ｂ）に示す如く１本からなる単線である場合および図４（Ａ）に示す如く複数本（図４（Ａ）においては２本）の線からなる複合線である場合がある。上記の如く、本実施例において、カメラ撮像画像から道路区画線のエッジ点を抽出する際に用いる輝度変化に関する閾値ＳＨは、最終的な道路区画線候補の数ＣＯＵＮＴに基づいて制御される。具体的には、道路区画線候補の数ＣＯＵＮＴが所定数ＣＯＵＮＴ０を超えていればその閾値ＳＨは高く上がる。このため、道路区画線の形状が複合線である状況においては、仮にその所定数ＣＯＵＮＴ０が常に“１”に設定されていると、上記の閾値ＳＨが上がり続けてしまう不都合が生じ得ると共に、また逆に、その所定数ＣＯＵＮＴ０が常に複数に設定されていると、単線走行時にノイズが道路区画線として誤検出され易くなる不都合が生じ得る。

そこで、本実施例の道路区画線検出装置１０は、道路路面上に描かれる道路区画線の形状に応じて道路区画線候補の閾値である所定数ＣＯＵＮＴ０を変更することにより、上記の不都合を回避する点に第２の特徴を有している。以下、図５を参照して、本実施例の第２の特徴部について説明する。

図５は、本実施例の道路区画線検出装置１０において画像処理部１４が実行するサブルーチンの一例のフローチャートを示す。図５に示すルーチンは、所定時間ごとに繰り返し起動されるルーチンである。図５に示すルーチンが起動されると、まずステップ１５０の処理が実行される。

ステップ１５０では、現時点で自車両が走行する道路上に描かれている道路区画線の形状が複数本の線からなる複合線であるか否かが判別される。この判別は、例えば、道路上に描かれている道路区画線の形状の情報が格納されたナビゲーション装置を用いて検出される自車両の道路上での位置が道路区画線が複合線となって描かれている位置であるか否かに基づいて行われることとしてもよいし、また、カメラ１２の撮像画像の処理結果としてそのカメラ撮像画像から検出される道路区画線が複合線からなっていることが判定されるか否かに基づいて行われることとしてもよい。

その結果、否定判定がなされた場合は、道路区画線の形状が単線であると判断されるので、次にステップ１５２において道路区画線候補の閾値である所定数ＣＯＵＮＴ０を“１”に設定する処理が実行される。かかる処理が行われると、以後、上記図３に示すルーチン中のステップ１１４，１１８においてその設定された所定数ＣＯＵＮＴ０を基準にして道路区画線の候補数ＣＯＵＮＴに関する判定がなされることとなる。

一方、肯定判定がなされた場合は、道路区画線の形状が複数本の線からなる複合線であると判断されるので、次にステップ１５４において道路区画線候補の閾値である所定数ＣＯＵＮＴ０を“２”に設定する処理が実行される。尚、この際に設定する所定数ＣＯＵＮＴ０は、“２”に限定されるものではなく、その複合線を構成する道路区画線の本数が検出されるときにはその数（例えば３本の線からなる複合線のときは“３”）に設定されることとすればよい。かかる処理が行われると、以後、上記図３に示すルーチン中のステップ１１４，１１８においてその設定された所定数ＣＯＵＮＴ０を基準にして道路区画線の候補数ＣＯＵＮＴに関する判定がなされることとなる。

上記図５に示すルーチンによれば、道路路面上に実際に描かれる道路区画線の形状に応じて道路区画線候補の閾値である所定数ＣＯＵＮＴ０を変更することができる。具体的には、道路区画線の形状が単線である場合は、その所定数ＣＯＵＮＴ０を通常の“１”に設定変更し、一方、道路区画線の形状が複合線である場合は、その所定数ＣＯＵＮＴ０を“１”から増加させて複数（例えば“２”）に設定変更することができる。

かかる構成においては、車両走路の片側に描かれる道路区画線の本数が時間変化するとき具体的にはその道路区画線の形状が単線から複合線へ変化したときにも、カメラ撮像画像からのエッジ点抽出の際に用いる輝度変化に関する閾値ＳＨが上がり続けるのを防止することができ、また逆に、その道路区画線の形状が複合線から単線へ変化したときにも、単線走行時にノイズが道路区画線として誤検出され易くなるのを回避することができる。従って、本実施例の道路区画線検出装置１０によれば、道路区画線の形状が変化する道路路面状況に柔軟に対応してカメラ撮像画像からのエッジ点抽出を行うことができるので、更に精度の高い道路区画線検出を実現することが可能となっている。

このように、本実施例のシステムによれば、道路区画線検出を高精度に実現することが可能であるので、誤った道路区画線に対する自車両の横位置が算出される事態や道路区画線に対する自車両の横位置が全く算出されない事態を抑止することができる。このため、自動操舵制御装置１６による自車両の道路区画線からの逸脱を回避させる逸脱回避制御を、真の道路区画線を用いて適切かつ確実に実行することが可能となっている。

ところで、上記の実施例においては、カメラ１２が特許請求の範囲に記載した「撮像手段」に、輝度変化が特許請求の範囲に記載した「所定パラメータ」に、所定閾値ＳＨが特許請求の範囲に記載した「基準」に、エッジ点が特許請求の範囲に記載した「特徴点」に、所定数ＣＯＵＮＴ０が特許請求の範囲に記載した「所定数」に、所定閾値ＳＨに関する所定量が特許請求の範囲に記載した「所定単位」に、それぞれ相当している。

また、上記の実施例においては、画像処理部１４が、図３に示すルーチン中ステップ１０６の処理を実行することにより特許請求の範囲に記載した「特徴点抽出手段」が、ステップ１０８の処理を実行することにより特許請求の範囲に記載した「候補線生成手段」が、ステップ１２２，１２４，１２６，１２８，１３０の処理を実行することにより特許請求の範囲に記載した「基準変更手段」が、図５に示すルーチン中ステップ１５２，１５４の処理を実行することにより特許請求の範囲に記載した「所定数変更手段」が、それぞれ実現されている。

尚、上記の実施例においては、カメラ撮像画像から道路区画線を構成する物標のエッジ点を抽出する際に用いる輝度変化に関する所定閾値ＳＨを変更するのに道路区画線の候補の数を用いることとし、その道路区画線の候補をカメラ撮像画像から抽出したエッジ点について直線検出、ペア判定、及び連続性判定を行うことにより生成することとしているが、かかる道路区画線の候補を生成する手法はこれだけに限らず、更に他の方法を加えて行うこととしてもよい。

また、上記の実施例においては、道路左右両側にある道路区画線それぞれに対応して上記した所定閾値ＳＨを設け、左右独立してその閾値ＳＨの変更を施すこととすればよい。かかる構成においては、画像左右両側でそれぞれ生成される各道路区画線の候補に基づいて独立して閾値ＳＨの変更が行われるため、例えば、左側の道路区画線が日に当たって明るい一方で右側の道路区画線が日に当たらず暗いときにも、それぞれ適切に閾値ＳＨが設定されることとなり、従って、カメラ１２の撮像画像からの道路区画線を示すエッジ点の抽出を道路路面状況に柔軟に対応させて精度よく行うことが可能となり、更に高精度の道路区画線検出を実現することが可能となる。

また、上記の実施例においては、カメラ撮像画像から実際に生成された最終的な道路区画線の候補であるエッジ線の数に基づいて所定閾値ＳＨを変更した場合、その変更後の所定閾値ＳＨを、次回におけるカメラ撮像画像（次フレームのカメラ撮像画像）からのエッジ点抽出に用いることとしているが、本発明はこれに限定されるものではなく、次々回やそれ以降におけるカメラ撮像画像からのエッジ点抽出に用いることとしてもよい。

また、その変更後の所定閾値ＳＨを、最終的な道路区画線候補の数を計数したのに用いた元のカメラ撮像画像から、自動操舵制御装置１６へ情報出力すべき道路区画線を検出・推定すべく再度エッジ点を抽出する際に用いることとしてもよい。かかる変形例の構成においても、上記した本実施例の構成と同様に、カメラ撮像画像からの道路区画線を示すエッジ点の抽出を、ノイズを排除しつつ真の道路区画線を確実に候補線として生成可能となるように道路路面状況に柔軟に対応させて精度よく行うことができるという効果を得ることが可能である。但し、この変形例の構成では、カメラ１２からの撮像画像の全データをメモリにバッファとして記憶させた上で、一カメラ撮像画像当たりにエッジ点抽出及びエッジ線生成をそれぞれ２回以上ずつ閾値を互いに異ならせて行うことが必要となるので、画像処理量が膨大となり、高い画像処理能力を要することとなる。

また、上記の実施例においては、１フレームのカメラ撮像画像から生成される道路区画線の候補数ＣＯＵＮＴが所定数ＣＯＵＮＴ０未満である或いはその所定数ＣＯＵＮＴ０を超える場合に直ちに、エッジ点抽出に用いる閾値ＳＨを変更することとしているが、カメラ撮像画像から生成される道路区画線の候補数ＣＯＵＮＴが所定数ＣＯＵＮＴ０未満である或いはその所定数ＣＯＵＮＴ０を超える状態が予め定めた複数のフレームにわたって継続する或いは所定時間継続する場合に、上記の閾値ＳＨを変更することとしてもよい。

また、上記の実施例においては、カメラ撮像画像から道路区画線を構成する物標のエッジ点を抽出するうえで、高輝度と低輝度との差である輝度変化をパラメータとして用いることとしているが、輝度自体をパラメータとして用いることとしてもよい。

更に、上記の実施例においては、検出・推定した道路区画線を、自車両の横位置を算出する基準とし、自車両が道路区画線から逸脱しそうになったときにおける逸脱回避のための車両の自動操舵に用いることとしているが、本発明はこれに限定されるものではなく、自車両が道路区画線から逸脱しそうになったときにおける車両運転者へのスピーカ出力や表示出力を行う警報・警告制御に用いるものであってもよく、また、走行中に道路区画線に沿ってヘッドライトを点灯させるべくその点灯方向を切り替える制御に用いるものであってもよい。

本発明の一実施例である道路区画線検出装置を備えるシステムの構成図である。 １フレームの撮像画像から輝度変化の大きいエッジ点を抽出した際に生ずる不都合を説明するための図である。 本実施例の道路区画線検出装置において実行される制御ルーチンの一例のフローチャートである。 道路路面上に描かれた道路区画線の形状が１本からなる単線である状況と複数本の線からなる複合線である状況とを表した図である。 本実施例の道路区画線検出装置において実行されるサブルーチンの一例のフローチャートである。

符号の説明

１０ 道路区画線検出装置
１２ カメラ
１４ 画像処理部
ＳＨ 閾値
ＣＯＵＮＴ 道路区画線の候補の数

Claims (9)

1. 車両周辺の路面を撮像する撮像手段と、前記撮像手段により撮像された撮像画像から、所定パラメータが基準を満たす部分を路面上の道路区画線を表す特徴点として抽出する特徴点抽出手段と、を備え、前記特徴点抽出手段により抽出された前記特徴点に基づいて、道路上に描かれた道路区画線を検出する道路区画線検出装置であって、
   前記特徴点抽出手段により抽出された前記特徴点に基づいて、前記道路区画線の候補線を生成する候補線生成手段と、
   前記候補線生成手段により生成された前記候補線の数に基づいて、前記特徴点抽出手段による撮像画像からの前記特徴点の抽出の際に用いる所定パラメータに関する前記基準を変更する基準変更手段と、
   を備えることを特徴とする道路区画線検出装置。
2. 前記基準変更手段は、前記候補線生成手段により生成された前記候補線の数が所定数に達しない場合に、前記基準を現状よりも前記特徴点の抽出が行われ易くなるように変更することを特徴とする請求項１記載の道路区画線検出装置。
3. 前記基準変更手段は、前記候補線生成手段により生成された前記候補線の数が所定数を超える場合に、前記基準を現状よりも前記特徴点の抽出が行われ難くなるように変更することを特徴とする請求項１又は２記載の道路区画線検出装置。
4. 前記基準変更手段は、前記基準を所定単位ずつ段階的に変更することを特徴とする請求項１乃至３の何れか一項記載の道路区画線検出装置。
5. 前記基準変更手段は、前記特徴点抽出手段により抽出される前記特徴点の数の時間変化が所定値以上であるときには、前記基準を前記所定単位を超えて一気に変更することを特徴とする請求項４記載の道路区画線検出装置。
6. 走路片側に描かれる道路区画線の本数に応じて前記所定数を変更する所定数変更手段を備えることを特徴とする請求項２又は３記載の道路区画線検出装置。
7. 前記所定数変更手段は、道路片側に描かれる道路区画線の形状が１本の線からなる単線から複数本の線からなる複合線へ変化する場合に、前記所定数を増加させることを特徴とする請求項６記載の道路区画線検出装置。
8. 前記基準変更手段は、前記特徴点抽出手段による次回以降における撮像画像からの前記特徴点の抽出の際に用いる所定パラメータに関する前記基準を変更することを特徴とする請求項１乃至７の何れか一項記載の道路区画線検出装置。
9. 所定パラメータは、輝度又は輝度変化であることを特徴とする請求項１乃至８の何れか一項記載の道路区画線検出装置。

Images