JP2007156919A

JP2007156919A - 道路区画線検出装置

Info

Publication number: JP2007156919A
Application number: JP2005352517A
Authority: JP
Inventors: Shin Koike; 伸小池; Makoto Nishida; 誠西田; Tomoyasu Tamaoki; 友康玉置
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2005-12-06
Filing date: 2005-12-06
Publication date: 2007-06-21
Anticipated expiration: 2025-12-06
Also published as: JP4572826B2

Abstract

【課題】路面上に線状及び点列状などの複数種類の道路区画線が混在する状況においても、それら複数種類の道路区画線をそれぞれできるだけ正確に検出することにある。
【解決手段】車両前方領域を撮像するカメラにより撮像された撮像画像から路面上の道路区画線を表すエッジ点を抽出するのに、主にボッツドッツなどの点列状の道路区画線に対応した点列検出フィルタと、主に白線などの線状の道路区画線に対応したライン検出フィルタと、を設ける。そして、エッジ点抽出が点列検出フィルタを用いて行われている状況において、その点列検出フィルタを用いて道路区画線として検出・推定されたエッジ線の獲得したエッジ点による得票数が通常の点列状の道路区画線では獲得することのないほどに多くなった場合に、道路区画線の検出に用いるエッジ点の抽出を、点列検出フィルタによるものからライン検出フィルタによるものへ切り替える。
【選択図】図４

Description

本発明は、道路区画線検出装置に係り、特に、車両に搭載され、車両周辺の路面を撮像する撮像手段により撮像された撮像画像に基づいて、路面上に描かれ又は設置される複数種類の道路区画線を検出することが可能な道路区画線検出装置に関する。

従来から、路面上に描かれた車両の走行する車線を区切る白線などの道路区画線を検出する装置が知られている（例えば、特許文献１参照）。この装置は、自車両に搭載された車両前方領域を撮影するＣＣＤカメラを備えており、そのＣＣＤカメラにより撮像された撮像画像を処理することにより道路区画線を検出する。具体的には、白線などの道路区画線が含まれる撮像画像から道路区画線と道路との輝度変化が所定値以上に大きい部分をエッジ点として抽出し、それら複数のエッジ点についてハフ変換を施して直線近似線を求め、道路区画線の形状を検出する。

ところで、車線を区切る道路区画線を構成する物標としては、道路上に進行方向に向かって隙間なく実線状に描かれ或いは隙間を空けて破線状に描かれる白線などの他に、道路上に進行方向に向かって所定間隔をあけて間欠的に描かれ或いは配置されて互いに隣り合うもの同士を結ぶことにより仮想的に線状となる点列状のボッツドッツ（直径１０ｃｍ程度の点）やキャッツアイ（反射板）などが存在する。

上記した実線状や破線状の道路区画線は、カメラ撮像画像内に少なくとも連続して隙間なく映し出される部分が存在する線である。この点、上記した特許文献１記載の装置によれば、抽出したエッジ点にノイズによるものが含まれていても、その線状の道路区画線を表したエッジ点は線状に並ぶこととなるので、検出エッジ点に基づいて道路区画線を正確に検出することは容易となる。一方、上記した間欠的な点列状の物標の大きさは線状の道路区画線を構成する物標の大きさに比して小さいので、間欠的な物標に対して、線状の道路区画線を構成する物標と同様の手法によりエッジ点抽出を施すものとすると、ノイズによる影響を受け易くなり、その結果、道路区画線を正確に検出することが困難となることがある。

そこで、線状の道路区画線に対してエッジ点を抽出する手法と、間欠的な点列状の道路区画線に対してエッジ点を抽出する手法と、を互いに異ならせることが考えられる（例えば、特許文献２参照）。
特許第３４００６４３号公報特開２００３−２２８７１１号公報

しかしながら、上記した特許文献２には、線状の道路区画線に対してエッジ点を抽出する手法と、点列状の道路区画線に対してエッジ点を抽出する手法と、を切り替える条件は何ら記載されていない。従って、路面上に描かれ或いは設置された道路区画線について線状のものと点列状のものとが混在する道路においては、カメラ撮像画像から複数種類の道路区画線をそれぞれ検出するのに、その道路区画線検出が適切に行われないおそれがある。

本発明は、上述の点に鑑みてなされたものであり、路面上の複数種類の道路区画線をできるだけ正確に検出できる道路区画線検出装置を提供することを目的とする。

上記の目的は、車両周辺の路面を撮像する撮像手段と、前記撮像手段により撮像された撮像画像から、路面上の道路区画線を表す特徴点を抽出する特徴点抽出手段と、を備え、前記特徴点抽出手段により抽出された前記特徴点に基づいて、路面上の複数種類の道路区画線を検出可能な道路区画線検出装置であって、前記特徴点抽出手段が、前記撮像手段により撮像された撮像画像から、主に路面上に点列状に描かれ又は設置された道路区画線を表す特徴点を抽出するのに適した第１のフィルタを用いて前記特徴点を抽出する第１の特徴点抽出手段と、前記撮像手段により撮像された撮像画像から、主に路面上に線状に描かれ又は設置された道路区画線を表す特徴点を抽出するのに適した前記第１のフィルタとは異なる第２のフィルタを用いて前記特徴点を抽出する第２の特徴点抽出手段と、を有すると共に、道路区画線の検出に用いる前記特徴点の抽出が前記第１の特徴点抽出手段により行われている状況において、該抽出された前記特徴点に基づいて実際に検出された道路区画線を構成した前記特徴点に関するパラメータが、線状の道路区画線であることを示す所定の要件を満たした場合に、道路区画線の検出に用いる前記特徴点の抽出を、前記第１の特徴点抽出手段によるものから前記第２の特徴点抽出手段によるものへ切り替える第１の切替手段を備える道路区画線検出装置により達成される。

この態様の発明においては、道路区画線の検出に用いる特徴点の抽出が、点列状の道路区画線を表す特徴点を抽出するのに適した第１のフィルタを用いて行われている状況において、その抽出された特徴点に基づいて実際に検出された道路区画線を構成した特徴点に関するパラメータが、線状の道路区画線であることを示す所定の要件を満たした場合に、以後の道路区画線の検出に用いる特徴点の抽出が、線状の道路区画線を表す特徴点を抽出するのに適した第２のフィルタを用いたものへ切り替わる。かかる構成によれば、路面上に線状及び点列状などの複数種類の道路区画線が混在してその道路区画線が点列状のものから線状のものへ移行する状況においても、それら複数種類の道路区画線をそれぞれできるだけ正確に検出することが可能となる。

ところで、線状の道路区画線が映し出された撮像画像から抽出される特徴点は、点列状の道路区画線が映し出された撮像画像からのものに比べて数が多くなる傾向にある。従って、上記した道路区画線検出装置において、前記第１の切替手段は、道路区画線の検出に用いる前記特徴点の抽出が前記第１の特徴点抽出手段により行われている状況において、該抽出された前記特徴点に基づいて実際に検出された道路区画線を構成した前記特徴点の数が所定数以上である場合に、道路区画線の検出に用いる前記特徴点の抽出を、前記第１の特徴点抽出手段によるものから前記第２の特徴点抽出手段によるものへ切り替えることとしてもよい。

尚、上記した道路区画線検出装置において、前記第１の切替手段は、道路区画線の検出に用いる前記特徴点の抽出が前記第１の特徴点抽出手段により行われている状況において、前記パラメータが前記所定の要件を満たした状態が所定時間継続した或いは所定フレーム数連続した場合に、道路区画線の検出に用いる前記特徴点の抽出を、前記第１の特徴点抽出手段によるものから前記第２の特徴点抽出手段によるものへ切り替えることとしてもよい。

また、上記した道路区画線検出装置において、道路区画線の検出に用いる前記特徴点の抽出が前記第２の特徴点抽出手段により行われている状況において、該抽出された前記特徴点に基づいて実際に道路区画線が検出されない場合に、道路区画線の検出に用いる前記特徴点の抽出を、前記第２の特徴点抽出手段によるものから前記第１の特徴点抽出手段によるものへ切り替える第２の切替手段を備えることとすれば、道路区画線が線状のものから点列状のものへ移行する状況においても、それら複数種類の道路区画線をそれぞれできるだけ正確に検出することが可能となる。

尚、上記した道路区画線検出装置において、前記第１の特徴点抽出手段は、前記撮像手段により撮像された撮像画像から、輝度をモルフォロジ演算して得られた輝度演算値が所定範囲にある部分を前記特徴点として抽出することとしてもよく、また、前記第２の特徴点抽出手段は、前記撮像手段により撮像された撮像画像から、輝度を微分演算して得られた輝度微分値が所定値以上である部分を前記特徴点として抽出することとしてもよい。

本発明によれば、路面上に線状及び点列状などの複数種類の道路区画線が混在する状況においても、それら複数種類の道路区画線をそれぞれできるだけ正確に検出することができる。

図１は、本発明の一実施例である車両に搭載される道路区画線検出装置１０を備えるシステムの構成図を示す。本実施例の道路区画線検出装置１０は、カメラ１２及び画像処理部１４を備えている。カメラ１２は、車体前部のバンパやグリルに或いは車室内前部のアウタービューミラーのステイに配設されている。カメラ１２は、車両前方の進行方向に向いた光軸を有し、車両前方領域を撮影する例えばＣＣＤカメラである。

カメラ１２には、画像処理部１４が接続されている。カメラ１２が撮影した結果得られた撮像画像は、映像信号として画像処理部１４に供給される。画像処理部１４は、後に詳述する如く、カメラ１２から送られてくる映像信号に基づいて、道路上に描かれ或いは配置されている車両の走行する車線の両側を区切る実線状や破線状の白線や点列状などの物標（ボッツドッツ，キャッツアイなど）を検出し、その物標により構成される道路区画線を検出・推定する。そして、道路区画線検出装置１０は、その画像処理部１４において検出・推定した道路区画線に対する自車両の横位置を算出する。

本実施例のシステムは、上記した道路区画線検出装置１０に接続する自動操舵制御装置１６を備えている。自動操舵制御装置１６は、電子制御ユニット（以下、操舵ＥＣＵと称す）１８を備えている。操舵ＥＣＵ１８には、操舵モータ２０及び車速センサ２２が接続されている。操舵モータ２０は、操舵ＥＣＵ１８から供給される指令信号に従って車両を操舵させるためのトルクを発生する。車速センサ２２は、車両の速度に応じた信号を出力する。操舵ＥＣＵ１８は、車速センサ２２の出力信号に基づいて車速を検出する。また、操舵ＥＣＵ１８には、道路区画線検出装置１０の算出した自車両の横位置情報が供給される。操舵ＥＣＵ１８は、自車両の横位置から例えば自車両が道路区画線から逸脱しそうになったときに、逸脱回避のための車速に応じた車両の自動操舵を実現すべく操舵モータ２０に対して指令信号を供給する（逸脱回避制御）。

以下、本実施例の道路区画線検出装置１０の具体的な動作について説明する。

図２は、車両の走行する車線を区切る道路区画線の種類を表した図を示す。尚、図２には、道路区画線を構成する物標として、（Ａ）白線が用いられている道路、及び、（Ｂ）ボッツドッツ（Botts Dots）が用いられている道路を、車両に搭載されたカメラ１２を用いて撮影した際の撮像画像がそれぞれ示されている。

車両の走行する路面上に描かれ或いは設置される道路区画線としては、一般的に日本や北米など世界中で使用されている、図２（Ａ）に示す如く進行方向へ向けて隙間のない実線状に延びた白線や黄線のみで構成される道路区画線や、進行方向へ向けて隙間の空いた破線状の白線等のみで構成される道路区画線がある（何れも幅２０ｃｍ程度）。また、主に北米などで使用されている、図２（Ｂ）に示す如きボッツドッツで構成される道路区画線がある。このボッツドッツは、直径１０ｃｍ程度の円盤状のセラミックスなどで構成された部材であり、道路に所定間隔（例えば１メートル）をあけて埋め込まれている。更に、日本ではカーブ路で北米では直線路でも使用されている、キャッツアイ（Cats Eye）で構成される道路区画線がある。このキャッツアイは、入射光を反射させる反射体で構成された部材であり、道路に所定間隔（例えば１メートル）をあけて埋め込まれている。

道路は一般にアスファルトで舗装されていることが多いので、取得した撮像画像には道路路面が輝度（明るさ）の低い黒色で映し出される。一方、白線やボッツドッツなどの道路区画線は、比較的高い輝度で描かれ或いは設置されるので、取得した撮像画像には道路区画線が輝度の高い色（白色や黄色）で映し出される。従って、道路と道路区画線を構成する物標との輝度の違いを利用してカメラ撮像画像から線状や点列状の物標を抽出することが可能である。

図３は、本実施例の道路区画線検出装置１０の有する画像処理部１４の要部構成図を示す。本実施例の道路区画線検出装置１０において、画像処理部１４は、定期的にカメラ１２の撮像した撮像画像を取得する。そして、撮像画像を１フレーム取得するごとに、まず、その１フレームの撮像画像全体を所定間隔で左右方向に走査することにより、画素ごとの輝度値を測定した画像データを生成する。

画像処理部１４は、図３に示す如く、カメラ１２からの入力画像データが入力される、主に実線状や破線状の道路区画線を表す特徴点を抽出するのに適したライン検出フィルタ３０と、主にボッツドッツなどの点列状の道路区画線を表す特徴点を抽出するのに適した点列検出フィルタ３２と、を有している。尚、これらのフィルタ３０，３２によるエッジ点の抽出は、撮像画像全体のうち道路区画線を構成する物標が存在する可能性が高い領域のみについて行うこととすれば、処理時間を短縮するうえで好適であるが、撮像画像全体についてそのエッジ点抽出を行った後に、道路区画線を構成する物標が存在する可能性が高い領域のみをフィルタ処理することとしても、同様の効果を得ることができる。

ライン検出フィルタ３０は、入力画像データの画素ごとの輝度について微分演算を施すことにより、カメラ撮像画像から輝度変化（コントラスト）が所定閾値を超えて大きい画素部分のみを通過させるフィルタである。画像処理部１４は、取得した１フレームの撮像画像から、ライン検出フィルタ３０を用いて、画像左側から右側へ向けて輝度が所定閾値を超えて高く変化する画素部分を上がりエッジ点として抽出し、また、画像左側から右側へ向けて輝度が所定閾値を超えて低く変化する画素部分を下がりエッジ点として抽出する。

また、点列検出フィルタ３２は、入力画像データの輝度についてモルフォロジ演算を施すことにより、輝度が所定値を超えて高い部分のうち、ボッツドッツやキャッツアイなどの点列状の道路区画線を構成する一物標と同程度の大きさ（横幅）を有するものを構成する画素部分のみを通過させるフィルタである。画像処理部１４は、取得した１フレームの撮像画像から、点列検出フィルタ３２を用いて、点列状の道路区画線を構成する一物標と同程度の大きさを有する物標を構成する輝度が所定値を超えて高い画素部分すべてを特徴点であるエッジ点として抽出する。

画像処理部１４は、また、カメラ１２からの入力画像データが入力されるフィルタを上記のライン検出フィルタ３０と上記の点列検出フィルタ３２とで切り替えるための切替スイッチ３４を有している。切替スイッチ３４は、後に詳述する如く、所定の切替条件に従って、ライン検出フィルタ３０及び点列検出フィルタ３２の何れか一方が選択的に入力画像データのフィルタ処理を行うように制御される。ライン検出フィルタ３０及び点列検出フィルタ３２はそれぞれ、切替スイッチ３４の切替状態に応じて選択的に、１フレームの撮像画像からエッジ点を抽出してそのエッジ点情報を出力する。

画像処理部１４は、ライン検出フィルタ３０又は点列フィルタ３２からのエッジ点についてハフ変換を施し、線状のエッジ線の生成を試みる。道路区画線を構成する物標が実線状や破線状の白線などであるときは、抽出されるエッジ点が１フレーム内にほとんど隙間なく現れる部分が存在するので、その１フレームの撮像画像からその道路区画線に沿ったエッジ線を生成することは比較的容易である。また、道路区画線を構成する物標がボッツドッツなどであるときは、抽出されるエッジ点が１フレーム内に仮想的に線を示す点列となって現れるので、その１フレームの撮像画像からその道路区画線に沿ったエッジ線を生成することは可能である。

画像処理部１４は、上記処理の結果、エッジ線の生成に成功したときは、生成されたすべてのエッジ線に対して抽出エッジ点による投票を行い、各エッジ線の得票数をそれぞれ算出する。尚、エッジ線に対して投票を行うエッジ点は、そのエッジ線の位置から隣接する画素までの間に存在するエッジ点であって、また、一エッジ点が一エッジ線に対して行う投票の数は、エッジ点がエッジ線に近い位置にあるほど高くなり、エッジ線から離れた位置にあるほど低くなることとする。この場合、エッジ線の得票数は、そのエッジ線に近接するエッジ点の数が多いほど多くなり、また、そのエッジ線に対してエッジ点が近いほど多くなる。

道路路面上に描かれ或いは設置された真の道路区画線は画像処理部１４によりカメラ撮像画像から多数のエッジ点の集まりとして抽出される筈であるので、抽出エッジ点に基づいて生成されたエッジ線が道路路面上に描かれ或いは設置された真の道路区画線を表すものであれば、そのエッジ線の得票数は多くなる傾向にある。

画像処理部１４は、生成したすべてのエッジ線について得票数を算出した後、所定しきい値以上の得票数を獲得したエッジ線を道路区画線の候補線として定める。そして、その候補線のうちに、例えば車線両側左右にある道路区画線同士の間隔程度の距離だけ離れた位置を中心にした所定範囲内に対となる候補線が存在することや前回検出・推定された道路区画線の前回撮像画像上での位置からその位置を中心にして所定範囲内にあることなどの、道路区画線としての所定条件に合致するものが存在するか否かを判別し、肯定判定がなされた場合に、その所定条件に合致する候補線を車線両側の左右それぞれの境界に対応する道路区画線として検出・推定する。

図４は、入力画像データが入力されるフィルタを設定すべく、本実施例の道路区画線検出装置１０において画像処理部１４が実行する制御ルーチンの一例のフローチャートを示す。図４に示すルーチンは、所定時間ごとに繰り返し実行されるルーチンである。図４に示すルーチンが起動されると、まずステップ１００の処理が実行される。

ステップ１００では、現状においてカメラ１２からの入力画像データが入力されて撮像画像からエッジ点を抽出するのに用いているフィルタが、ライン検出フィルタ３０であるか点列検出フィルタ３２であるかを判定する処理が実行される。その結果、ライン検出フィルタ３０であると判定されるときは、次にステップ１０２の処理が実行され、一方、点列検出フィルタ３２であるときは、次にステップ１１０の処理が実行される。

ステップ１０２では、エッジ点抽出にライン検出フィルタ３０を用いた結果として、抽出したエッジ点に基づいて所定条件に合致する候補線が存在することにより道路区画線の検出・推定が成功したか否かが判別される。その結果、道路区画線の検出・推定が成功したと判別された場合は、以後、フィルタ切替を行うことなく今回のルーチンは終了される。一方、道路区画線の検出・推定が、所定しきい値以上の得票数を獲得したエッジ線がない或いは所定条件に合致するエッジ線がないことなどに起因して成功しなかったと判別された場合は、次にステップ１０４の処理が実行される。

ステップ１０４では、エッジ点抽出にライン検出フィルタ３０を用いた結果として道路区画線の検出・推定が成功しない状態の継続時間Ｔ１が所定時間Ｔ１０（少なくとも複数フレームの撮像画像が取得できる時間であり、例えば２秒など）以上であるか否かが判別される。その結果、Ｔ１≧Ｔ１０が成立しないと判別された場合は、次にステップ１０６においてその継続時間Ｔ１をインクリメントする処理が実行される。一方、Ｔ１≧Ｔ１０が成立すると判別された場合は、次にステップ１０８の処理が実行される。

ステップ１０８では、切替スイッチ３４の切替状態を変化させることにより、カメラ１２からの入力画像データが入力されて撮像画像からエッジ点を抽出するのに用いるフィルタを、ライン検出フィルタ３０から点列検出フィルタ３２へ切り替えると共に、上記の継続時間Ｔ１をゼロにクリアする処理が実行される。本ステップ１０８の処理が実行されると、以後、カメラ１２の撮像画像からエッジ点を抽出するのに点列検出フィルタ３２が利用されることとなる。

また、ステップ１１０では、エッジ点抽出に点列検出フィルタ３２を用いた結果として、抽出したエッジ点に基づいて所定条件に合致する候補線が存在することにより道路区画線の検出・推定が成功したか否かが判別される。その結果、道路区画線の検出・推定が成功しなかったと判別された場合は、以後、フィルタ切替を行うことなく今回のルーチンは終了される。一方、道路区画線の検出・推定が成功したと判別された場合は、次にステップ１１２の処理が実行される。

ステップ１１２では、上記ステップ１１０で道路区画線として検出・推定が成功したと判別されたエッジ線が獲得していた得票数Ｎが所定数Ｎ０以上であるか否かが判別される。尚、この所定数Ｎ０は、エッジ線を道路区画線の候補線として定める際に用いる上記の所定しきい値よりも大きな数であり、通常はボッツドッツなどの点列状の道路区画線では獲得することがなくかつ実線状や破線状の道路区画線では獲得する可能性の高い数に設定されている。その結果、Ｎ≧Ｎ０が成立しないと判別された場合は、以後もエッジ点抽出に用いるフィルタを点列検出フィルタ３２に維持すべく、今回のルーチンは終了される。一方、Ｎ≧Ｎ０が成立すると判別された場合は、次にステップ１１４の処理が実行される。

ステップ１１４では、エッジ点抽出に点列検出フィルタ３２を用いた結果として道路区画線の検出・推定が成功する一方で、Ｎ≧Ｎ０が成立する状態の継続時間Ｔ２が所定時間Ｔ２０（少なくとも複数フレームの撮像画像が取得できる時間であり、例えば２秒など）以上であるか否かが判別される。その結果、Ｔ２≧Ｔ２０が成立しないと判別された場合は、次にステップ１１６においてその継続時間Ｔ２をインクリメントする処理が実行される。一方、Ｔ２≧Ｔ２０が成立すると判別された場合は、次にステップ１１８の処理が実行される。

ステップ１１８では、切替スイッチ３４の切替状態を変化させることにより、カメラ１２からの入力画像データが入力されて撮像画像からエッジ点を抽出するのに用いるフィルタを、点列検出フィルタ３２からライン検出フィルタ３０へ切り替えると共に、上記の継続時間Ｔ２をゼロにクリアする処理が実行される。本ステップ１１８の処理が実行されると、以後、カメラ１２の撮像画像からエッジ点を抽出するのにライン検出フィルタ３０が利用されることとなる。

上記図４に示すルーチンによれば、道路区画線検出に用いるエッジ点の抽出がライン検出フィルタ３０を用いて行われている状況において、道路区画線が検出・推定されなくなった場合に、エッジ点抽出をライン検出フィルタ３０から点列検出フィルタ３２へ切り替え、一方、道路区画線検出に用いるエッジ点の抽出が点列検出フィルタ３２を用いて行われている状況において、道路区画線として検出・推定されたエッジ線が獲得していた得票数Ｎが所定数Ｎ０以上である場合に、エッジ点抽出を点列検出フィルタ３２からライン検出フィルタ３０へ切り替えることができる。

カメラ撮像画像からエッジ点を抽出する手法が線状の道路区画線を表すエッジ点を抽出するのに適したライン検出フィルタ３０を用いたものであるときは、路面上に描かれ或いは設置された道路区画線について実線状のものや破線状のもの，ボッツドッツなどの点列状のものが混在する道路上の、道路区画線が線状のものから点列状のものへ変化するシーンにおいて、その前後を通じて撮像画像から抽出される上がりエッジ点及び下がりエッジ点の数が極端に減少することで、その後、１フレームの撮像画像からその点列に沿った所定しきい値以上の得票数を獲得するエッジ線を生成することが困難となり、点列状の道路区画線が検出・推定されなくなる事態が生じ得る。

これに対して、本実施例において、ライン検出フィルタ３０を用いた道路区画線検出が成功しなくなった場合、上述の如く、以後、道路区画線検出に用いるエッジ点の抽出が点列状の道路区画線を表すエッジ点を抽出するのに適した点列検出フィルタ３２を用いたものへ切り替わるため、点列状の道路区画線を表すエッジ点が適切に抽出されることとなり、所定しきい値以上の得票数を獲得するエッジ線を生成し難くなるのは回避される。従って、本実施例の道路区画線検出装置１０によれば、路面上の道路区画線が線状のものから点列状のものへ移行する状況において、それら複数種類の道路区画線をそれぞれできるだけ正確に検出することが可能となっている。

また、カメラ撮像画像からエッジ点を抽出する手法が点列状の道路区画線を表すエッジ点を抽出するのに適した点列検出フィルタ３２を用いたものであるときは、路面上に描かれ或いは設置された道路区画線について実線状のものや破線状のもの，ボッツドッツなどの点列状のものが混在する道路上の、道路区画線が点列状のものから線状のものへ変化するシーンにおいて、その前後を通じて撮像画像から道路区画線として検出・推定されるエッジ線の得票数が極端に上昇する事態は生じ得るが、線状の道路区画線及び点列状の道路区画線を共に正常に検出・推定することは可能である。しかし、モルフォロジ演算を施す点列検出フィルタ３２は、微分演算を施すライン検出フィルタ３０に比べて、演算量の多い演算負荷が高いフィルタであるため、点列検出フィルタ３２を用いたエッジ点抽出では、そのエッジ点抽出のための処理時間が長くなるなどの不都合が生じ得る。

これに対して、本実施例において、点列検出フィルタ３２を用いた道路区画線検出によって道路区画線として検出・推定されたエッジ線の得票数が、通常の点列状の道路区画線では獲得することのないほどに多くなった場合、上述の如く、以後、道路区画線検出に用いるエッジ点の抽出が線状の道路区画線を表すエッジ点を抽出するのに適したライン検出フィルタ３０を用いたものへ切り替わるため、線状の道路区画線を表すエッジ点が大きな演算負荷を強いることなく適切に抽出されることとなる。従って、本実施例の道路区画線検出装置１０によれば、路面上の道路区画線が線状のものから点列状のものへ移行する状況において、それら複数種類の道路区画線をそれぞれできるだけ演算負荷の軽減を図りつつ正確に検出することが可能となっている。

このため、本実施例のシステムによれば、誤った道路区画線に対する自車両の横位置が算出される事態や点列状の道路区画線に対する自車両の横位置が全く算出されない事態を抑止することができ、自動操舵制御装置１６による自車両の道路区画線からの逸脱を回避させる逸脱回避制御を、正確な検出道路区画線を用いて適切かつ確実に実行することが可能となっている。

尚、本実施例において、ライン検出フィルタ３０から点列検出フィルタ３２へのフィルタ切替は、ライン検出フィルタ３０を用いた道路区画線検出が成功しない状態が所定時間Ｔ１０だけ継続した場合に行われ、また、点列検出フィルタ３２からライン検出フィルタ３０へのフィルタ切替は、点列検出フィルタ３２を用いた道路区画線検出によって道路区画線として検出・推定されたエッジ線の各エッジ点による得票数Ｎが所定数Ｎ０以上である状態が所定時間Ｔ２０だけ継続した場合に行われる。この点、各フィルタ切替は、その切替条件が複数フレームの撮像画像にわたって連続する場合にのみ行われることとなる。複数フレームに亘って同じ状態が連続すれば、実際にその状態が実現されている可能性は高くなる。従って、本実施例の道路区画線検出装置１０によれば、道路区画線が線状のものと点列状のものとで変化するシーンでない状況において、フィルタ切替が誤って行われるのを抑制することが可能であり、正確な道路区画線検出を実現することが可能となっている。

ところで、上記の実施例においては、カメラ１２が特許請求の範囲に記載した「撮像手段」に、エッジ点が特許請求の範囲に記載した「特徴点」に、点列検出フィルタ３２が特許請求の範囲に記載した「第１のフィルタ」に、ライン検出フィルタ３０が特許請求の範囲に記載した「第２のフィルタ」に、エッジ点に基づいて道路区画線として検出・推定されたエッジ線の獲得した得票数Ｎが特許請求の範囲に記載した「特徴点に関するパラメータ」に、それぞれ相当している。

また、上記の実施例においては、画像処理部１４が、点列検出フィルタ３２を用いてエッジ点を抽出することにより特許請求の範囲に記載した「特徴点抽出手段」及び「第１の特徴点抽出手段」が、ライン検出フィルタ３０を用いてエッジ点を抽出することにより特許請求の範囲に記載した「特徴点抽出手段」及び「第２の特徴点抽出手段」が、図４に示すルーチン中ステップ１１８の処理を実行することにより特許請求の範囲に記載した「第１の切替手段」が、ステップ１０８の処理を実行することにより特許請求の範囲に記載した「第２の切替手段」が、それぞれ実現されている。

尚、上記の実施例においては、道路区画線として検出・推定されるエッジ線を、各エッジ点による得票数Ｎが所定しきい値以上になるものとし、点列検出フィルタ３２からライン検出フィルタ３０へのフィルタ切替を、点列検出フィルタ３２を用いた道路区画線検出によって道路区画線として検出・推定されたエッジ線の得票数Ｎが上記の所定しきい値よりも大きい所定数Ｎ０以上である場合に行うこととしているが、本発明はこれに限定されるものではなく、単に、道路区画線として検出・推定されるエッジ線をそのエッジ線を構成するエッジ点の数が所定しきい値以上になるものとし、点列検出フィルタ３２からライン検出フィルタ３０へのフィルタ切替を、点列検出フィルタ３２を用いた道路区画線検出によって道路区画線として検出・推定されたエッジ線を構成するエッジ点の数が上記の所定しきい値よりも大きな所定数以上である場合に行うこととしてもよい。

また、上記の実施例においては、ライン検出フィルタ３０から点列検出フィルタ３２へのフィルタ切替を、ライン検出フィルタ３０を用いた道路区画線検出が成功しない状態が所定時間Ｔ１０だけ継続した場合に行い、また、点列検出フィルタ３２からライン検出フィルタ３０へのフィルタ切替を、点列検出フィルタ３２を用いた道路区画線検出によって道路区画線として検出・推定されたエッジ線の各エッジ点による得票数Ｎが所定数Ｎ０以上である状態が所定時間Ｔ２０だけ継続した場合に行うこととしているが、これは、各フィルタ切替を所定の状態が所定フレーム数連続した場合に行うこととしても等価である。

また、上記の実施例においては、カメラ１２の撮像画像から道路上の白線やボッツドッツ，キャッツアイ等の道路区画線を検出する手法として、輝度の微分演算を利用したライン検出フィルタ３０によるエッジ点検出、及び、輝度のモルフォロジ演算を利用した点列検出フィルタ３２によるエッジ点検出を用いることとしているが、本発明はこれに限定されるものではなく、例えば、円形検出フィルタやパターンマッチング，トップハット変換などを用いて道路区画線の示す特徴量を抽出することとしてもよい。

また、上記の実施例においては、検出・推定した道路区画線を、自車両の横位置を算出する基準とし、自車両が道路区画線から逸脱しそうになったときにおける逸脱回避のための車両の自動操舵に用いることとしているが、本発明はこれに限定されるものではなく、自車両が道路区画線から逸脱しそうになったときにおける車両運転者へのスピーカ出力や表示出力を行う警報・警告制御に用いるものであってもよく、また、走行中に道路区画線に沿ってヘッドライトを点灯させるべくその点灯方向を切り替える制御に用いるものであってもよい。

本発明の一実施例である道路区画線検出装置を備えるシステムの構成図である。車両の走行する車線を区切る道路区画線の種類を表した図である。本実施例の道路区画線検出装置の有する画像処理部の要部構成図である。本実施例の道路区画線検出装置において実行される制御ルーチンの一例のフローチャートである。

符号の説明

１０道路区画線検出装置
１２カメラ
１４画像処理部
Ｎ得票数

Claims

車両周辺の路面を撮像する撮像手段と、前記撮像手段により撮像された撮像画像から、路面上の道路区画線を表す特徴点を抽出する特徴点抽出手段と、を備え、前記特徴点抽出手段により抽出された前記特徴点に基づいて、路面上の複数種類の道路区画線を検出可能な道路区画線検出装置であって、
前記特徴点抽出手段が、前記撮像手段により撮像された撮像画像から、主に路面上に点列状に描かれ又は設置された道路区画線を表す特徴点を抽出するのに適した第１のフィルタを用いて前記特徴点を抽出する第１の特徴点抽出手段と、前記撮像手段により撮像された撮像画像から、主に路面上に線状に描かれ又は設置された道路区画線を表す特徴点を抽出するのに適した前記第１のフィルタとは異なる第２のフィルタを用いて前記特徴点を抽出する第２の特徴点抽出手段と、を有すると共に、
道路区画線の検出に用いる前記特徴点の抽出が前記第１の特徴点抽出手段により行われている状況において、該抽出された前記特徴点に基づいて実際に検出された道路区画線を構成した前記特徴点に関するパラメータが、線状の道路区画線であることを示す所定の要件を満たした場合に、道路区画線の検出に用いる前記特徴点の抽出を、前記第１の特徴点抽出手段によるものから前記第２の特徴点抽出手段によるものへ切り替える第１の切替手段を備えることを特徴とする道路区画線検出装置。
前記第１の切替手段は、道路区画線の検出に用いる前記特徴点の抽出が前記第１の特徴点抽出手段により行われている状況において、該抽出された前記特徴点に基づいて実際に検出された道路区画線を構成した前記特徴点の数が所定数以上である場合に、道路区画線の検出に用いる前記特徴点の抽出を、前記第１の特徴点抽出手段によるものから前記第２の特徴点抽出手段によるものへ切り替えることを特徴とする請求項１記載の道路区画線検出装置。
前記第１の切替手段は、道路区画線の検出に用いる前記特徴点の抽出が前記第１の特徴点抽出手段により行われている状況において、前記パラメータが前記所定の要件を満たした状態が所定時間継続した或いは所定フレーム数連続した場合に、道路区画線の検出に用いる前記特徴点の抽出を、前記第１の特徴点抽出手段によるものから前記第２の特徴点抽出手段によるものへ切り替えることを特徴とする請求項１記載の道路区画線検出装置。
道路区画線の検出に用いる前記特徴点の抽出が前記第２の特徴点抽出手段により行われている状況において、該抽出された前記特徴点に基づいて実際に道路区画線が検出されない場合に、道路区画線の検出に用いる前記特徴点の抽出を、前記第２の特徴点抽出手段によるものから前記第１の特徴点抽出手段によるものへ切り替える第２の切替手段を備えることを特徴とする請求項１乃至３の何れか一項記載の道路区画線検出装置。
前記第１の特徴点抽出手段は、前記撮像手段により撮像された撮像画像から、輝度をモルフォロジ演算して得られた輝度演算値が所定範囲にある部分を前記特徴点として抽出することを特徴とする請求項１乃至４の何れか一項記載の道路区画線検出装置。
前記第２の特徴点抽出手段は、前記撮像手段により撮像された撮像画像から、輝度を微分演算して得られた輝度微分値が所定値以上である部分を前記特徴点として抽出することを特徴とする請求項１乃至４の何れか一項記載の道路区画線検出装置。