JP2004326214A - 車線検出装置 - Google Patents

Abstract

【課題】路面画像上に複数のウインドを設定し、各ウインドからレーンマークを検出して車線認識を行う車線検出装置において、レーンマークが破線の場合でも、精度を落とさずに車線検出ができるようにする。
【解決手段】路面画像にウインドを設定するウインド設定手段と、各ウインドからレーンマークの形状を推定検出して車線認識を行う車線認識手段のほかに、レーンマーク１０が破線レーンマークであるかどうかを判定する破線判定手段を設け、レーンマークが破線レーンマークである場合には、ウインド設定手段は、破線レーンマークを構成する複数の白線部分１０ａのそれぞれに対応してウインド３０の設定を行う。
【選択図】 図５

Description

【０００１】
【発明の属する技術分野】
本発明は、車両から撮像した路面画像を画像処理して、路面に描かれたレーンマークを検出し車線認識を行う車線検出装置に関する。
【０００２】
【従来の技術】
【特許文献１】特開平２００２−１９７４７０号公報
従来、例えば特開平２００２−１９７４７０号公報で示されているように、車両前方または後方を撮像して得られた路面画像上の予め定められた位置に、連続した複数の車線検出用ウインドを設定してウインド内の画像の複数のエッジ点を抽出し、抽出された複数のエッジ点を結ぶ線分をレーンマーク（車線）として検出する車線検出装置が知られている。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記のような車線検出装置においては、上述のように車線検出用ウインドは路面画像上の予め定められた位置に連続設定されているため、レーンマークが破線の場合には、レーンマークを構成する１つの白線部分が２つのウインドに跨ってしまうことがある。
【０００４】
このように白線部分が２つのウインドに跨った場合、１つの白線部分であるにも関わらず、２つのウインドでそれぞれのエッジ点を抽出し、それぞれのウインドで抽出されたエッジ点を結ぶ線分をレーンマークとして認識するため、レーンマークの検出精度が悪化する恐れがあった。すなわち、１つの白線部分が２つのウインドに跨ると、それぞれのウインド内での白線部分の長さが短くなることから、抽出されるエッジ点の数が減少し、少ないエッジ点を結んで、ウインドごとにレーンマークを検出するため、検出精度の悪化が生ずる。
本発明は、上記従来の問題点に鑑み、レーンマークが破線の場合でも、白線部分全部検出でき検出精度の悪化が生じない車線検出装置を提供することを目的としている。
【０００５】
【課題を解決するための手段】
このため本発明は、路面画像にウインドを設定するウインド設定手段と、各ウインドからレーンマークを検出して車線認識を行う車線認識手段のほかに、レーンマークが破線レーンマークであるかどうかを判定する破線判定手段を設け、レーンマークが破線レーンマークであると判定された場合には、ウインド設定手段は、破線レーンマークを構成する複数の白線部分のそれぞれに対応してウインド設定を行うようにした。
【０００６】
【発明の効果】
本発明によれば、レーンマークが破線レーンマークであるか否かを検出し、破線レーンマークである場合には、破線レーンマークを構成する白線部分に合せてウインドを設定するようにしたので、白線部分の全体をウインド内に置き、検出できるため、白線部分全体の検出ができ、レーンマークが検出しやすくなるとともに車線検出精度が向上する効果が得られる。
【０００７】
【発明の実施の形態】
次に、発明の実施の形態を実施例により説明する。
図１は、本発明を適用した自動走行制御システムの構成を示す図である。
自動走行制御システムは、車線検出装置５０と操舵制御部９からなっている。車線検出装置５０は、カメラ１、エッジ画像抽出部２、破線路判定部３、検出ウインド設定部４、レーンマーク形状推定部７および車線推定部８で構成される。検出ウインド設定部４には、車速検出部５と操舵角検出部６が接続されている。
車速検出部５は、車輪速から自車両の車速を検出するものである。操舵角検出部６は、ステアリングに取り付けられ、ステアリングの回転角度を検出するものである。
【０００８】
車線検出装置５０において、カメラ１は、車両前方の道路を撮像し、路面画像を得るように構成される。
エッジ画像抽出部２は、カメラ１によって撮像された路面画像を取り込み、検出ウインド設定部４で設定したウインド内でエッジ抽出処理演算を行って縦方向および横方向のエッジ画像を得る。
【０００９】
レーンマーク形状推定部７は、各ウインド内でレーンマークを検出し、レーンマークの形状推定を行う。
車線推定部８は、各ウインドでのレーンマークの推定結果から、例えば直線で結んで近似演算によって車線検出を行う。
車線推定部８で推定された車線情報は操舵制御部９に出力され、操舵制御部９では、その車線情報に基づいてレーンマーク位置に沿って自車両が走行するように操舵制御を行ったり、レーンを逸脱しそうになった際には逸脱を防止する操舵制御を行う。
【００１０】
破線路判定部３は、各ウインドのエッジ画像内のエッジ状況からレーンマークを検出し、レーンマークの形状から、実線レーンマークが描かれた実線路か、破線レーンマークが描かれた破線路かの判定を行う。
【００１１】
検出ウインド設定部４は、レーンマークを形状推定するためのウインドを破線路判定部３の判定結果に応じて、実線路、破線路のそれぞれに対応したウインド設定を行う。
【００１２】
次に、上記車線検出装置５０での処理の流れを図２、図３に示すフローチャートにしたがって説明する。
なお、図２、図３に示す処理は、車線検出装置５０の起動から停止までの間、例えば操舵制御部９の制御周期に合わせて５０ｍｓｅｃごとに繰り返して行われるようになっている。
【００１３】
まず、ステップ１００において、カメラ１で撮像した路面画像をエッジ画像抽出部２に取り込む。
ステップ１１０において、エッジ画像抽出部２は、取り込んだ路面画像を画像処理して、縦エッジ、横エッジを抽出してエッジ画像を得る。エッジを抽出する画像処理は、検出ウインド設定部４によって設定したウインド内で行う。
【００１４】
図４は、初回または前回で破線路が検出されなかった場合のウインドの設定状況を示す図で、図５は前回で破線路が検出された場合のウインドの設定情報を示す図である。
本実施例では、画像処理する際の処理量を減らすため、図４、図５のように、画面を中心から２分し、必要に応じて、左側部分２００と右側部分１００とを選べるようにしている。
【００１５】
初回または前回で破線路が検出されなかった場合は、図４に示すように、左側部分２００または右側部分１００のどちらを選んでも、予め所定の位置に所定の大きさを設定した実線路用ウインド２０（２０ａ、２０ｂ、２０ｃ、…）を設定する。各ウインド２０は、縦方向で連続するようになっている。このとき、例えば右側部分１００では、レーンマーク１０の白線部分１０ａが２つのウインド２０ａ、２０ｂに跨っている。
【００１６】
前回で破線路が検出された場合、図５の右側部分１００で示すように、レーンマーク１０の各白線部分１０ａを包含するようにウインド３０（３０ａ、３０ｂ、３０ｃ、…）が設定されている。ウインド３０の設定方法は、後述する。
なお、以下では、右側部分１００を選んだとして説明を行う。
【００１７】
ステップ１２０において、破線路判定部３は、各ウインドのエッジ画像から、各ウインド２０またはウインド３０を貫通し連続した縦エッジがあるか否かを判定する。
連続した縦エッジがある場合には、ステップ２５０において、走行路が実線路であると判定する。ステップ２５０の後は、ステップ２６０へ進む。
【００１８】
一方、ステップ１２０の判定で連続した縦エッジがない場合には、レーンマークが破線であるかの判定に移行する。
まず、ステップ１３０で、各ウインドのエッジ画像から、横エッジがあるか否かの判定を行う。
すべてのエッジ画像から横エッジがなかったと判定した場合は、ステップ２４０においてレーンマークが存在しないと判定する。
【００１９】
ステップ１３０の判定で、横エッジがある場合には、ステップ１４０において、横エッジの連続している部分を求め、その連続幅を演算するとともに、画像上における、横エッジの存在している縦方向のＹ位置により３次元換算して実際の連続幅Ｗを算出する。
【００２０】
ステップ１５０において、連続幅Ｗがレーンマークとして存在する所定範囲内（Ｗ０以上、Ｗ１以下）の値であるか否かの判定を行う。
所定範囲内である場合は、ステップ１６０において、この横エッジに連続した縦エッジがあるか否かを判定する。
連続した縦エッジがある場合は、ステップ１７０において、その縦エッジの連続長さを算出し、画像上のＸ、Ｙ位置により３次元換算して実際の連続長さＬを算出する。
【００２１】
ステップ１８０において、縦エッジの連続長さＬがレーンマークの白線部分として存在する所定範囲（Ｌ０以上、Ｌ１以下）内か否かを判定する。
連続長さＬが所定範囲内であるならば、図４または図５に示すように、横エッジは白線部分１０ａの端部ａから生成され、縦エッジはその側部ｂから生成されたものとしてステップ１９０において、横エッジおよび縦エッジを白線部分の候補と判定する。
【００２２】
ステップ１９５において、候補と判定された横エッジおよび縦エッジの位置を記憶する。
ステップ１８０の判定で縦エッジの連続長さＬが所定範囲内でなければ、ステップ２００において、この横エッジは白線部分の候補でないと判定して、ステップ２１０へ進む。
【００２３】
ステップ２１においては、他に横エッジがあるか否かを判定し、ある場合は、ステップ１４０へ戻り、上記を繰り返す。
このように、全ての横エッジに対しての判定が終了したら、ステップ２２０において、求められた白線部分の候補が複数あって、かつ所定の間隔（一定の間隔）をもって連続しているかの判定を行う。
【００２４】
白線部分の候補が所定の間隔で連続している場合は、ステップ２３０において、白線部分の候補が白線部分であり、レーンマークが破線レーンマークであると判定する。
ステップ２２０の判定で所定の間隔で連続していない場合には、ステップ２４０において、白線部分の候補がレーンマークの白線部分でないとして、走行路にレーンマークがないと判定する。
【００２５】
上記のように、レーンマークを検出し、レーンマークが破線レーンマークか実線レーンマークの判定を行った後、ステップ２６０において、レーンマーク形状推定部７は、各ウインドで例えば横エッジおよび縦エッジを抽出してレーンマークの形状を推定し、車線推定部８は、レーンマークの形状に基づいて直線で結んで車線認識処理を行う。
車線認識処理を行った後、ステップ２７０以降の次回で設定するウインド位置の演算に移行する。
【００２６】
ステップ２７０においては、上記検出されたレーンマークが破線路であるか否かをチェックする。破線路でなかった場合は、ステップ３４０において、次回は、図４の右側部分１００で示すように所定の位置に所定の大きさに設定された実線路用のウインドを設定する。
【００２７】
破線路が検出された場合には、ステップ２８０へ進み、前回、白線部分に合わせたウインドの設定を行ったか否かをチェックする。
白線部分に合わせたウインドを設定していなかった場合は、ステップ２９０へ進み、今回の撮像からの車速データ、操舵角データと処理時間より、各白線部分１０ａの画像上の縦、横方向の移動量を算出する。
なお、車線検出が安定している場合や直線路のみに適用する場合には、操舵角データを省いて、移動量を演算してもよい。これによって演算量を減らすことが可能になる。
【００２８】
ステップ３００において、ステップ１９５で記憶した各白線部分１０ａの横エッジ、縦エッジの位置から、白線部分１０ａを演算された移動量分移動させて、次回の白線部分の位置を求める。
ステップ３１０において、移動された白線部分の位置に合わせて、白線部分を包含するようにウインド設定を行う。
図６は、次回の画像でのウインドの設定状況を示す図である。
ウインド３０（３０ａ、３０ｂ、３０ｃ、…）が演算された移動量に従って前回の白線部分を移動し、推定した白線部分の位置に合わせて設定されたので、各白線部分１０ｂ全部が対応する１つのウインドに入ることになっている。なお、ウインド２０は、前回のウインドである。
【００２９】
一方、ステップ２８０の判定で前回、白線部分に合わせてウインド設定を行った場合は、ステップ３２０において、前回の撮像からの車速データ、操舵角データと前回の画像の取り込みから次回の画像取り込みまでの処理時間により各ウインドの画像上の移動量を算出する。
ステップ３３０において、前回のウインドを、算出された移動量に従い移動させて次回のウインド位置を設定する。
このときウインドの縦、横サイズも移動量に合わせて調整する。
【００３０】
図７は、次回の画像でのウインド設定状況を示す図である。
ウインド３０ａ、３０ｂは、算出された移動量に従って、前回のウインド３０ａ’、３０ｂ’を移動して設定され、かつ縦、横サイズも移動量に合せて調整したので、上記同様に、各白線部分１０ｂ全部が１つのウインドに入る。
なお、走行路がカーブ路の場合は、図８のように操舵角に従って、ウインドの移動量に演算し、前回のウインド３０ａ’を移動させてウインド３０ａを設定するように、各ウインド３０をそれぞれ前回のウインドを移動させて設定するから、上記同様に、各白線部分１０ｂ全部が１つのウインド３０に入ることができる。
【００３１】
本実施例は、以上のように構成され、レーンマークが破線レーンマークの場合、レーンマークの白線部分に合わせてウインド設定を行うことによって、白線部分が２つのウインドに跨ることなく、レーンマークの形状推定を高い精度で行うことが可能になる。したがって、レーンマークの形状推定結果に基づき車線を検出するとき、高い検出精度で、車線検出ができる。
また、ウインド位置の演算は、車速データ、操舵角データと画像の処理時間を用いて行うから、車速や操舵角などの変化にも対応でき、高い精度でウインド位置の演算が可能である。
【００３２】
なお、本実施例では、白線路を検出した場合、前回、白線部分に合わせてウインドを設定したとき、移動量を演算し、ウインドを移動して次回のウインドを設定するようにしたが、さらに、白線部分を検出し、今回の白線部分と前回の白線部分とを比較して、同じ白線部分であると判定した場合だけ、移動させることもできる。
【００３３】
すなわち、ステップ２８０の代わりにステップ２８０’とし、ステップ２８０’では、前回、白線部分に合わせてウインドが設定したと判定されたとき、今回検出された縦エッジの連続長さＬ、横エッジの連続幅Ｗと前回検出された縦エッジの連続長さＬ、横エッジの連続幅Ｗとをそれぞれ比較し、同等である場合は、ステップ２９０へ進み、ウインドを移動して次回のウインドを設定する。
【００３４】
そうでない場合には、ステップ３２０へ進み、前回、白線部分に合わせたウインドを設定していないときと同様に、白線部分を移動して、それに合わせてウインドを設定する。
これによって、さらに正確にウインドを設定することが可能である。
【００３５】
本実施例では、ステップ２８０、ステップ２８０’、ステップ２９０、ステップ３００、ステップ３１０、ステップ３２０、ステップ３３０、ステップ３４０が、ウインド設定手段を構成している。
ステップ１２０、ステップ１３０、ステップ１４０、ステップ１５０、ステップ１６０、ステップ１７０、ステップ１８０、ステップ１９０、ステップ２００、ステップ２１０、ステップ２２０、ステップ２３０が、破線判定手段を構成している。
ステップ２６０が、車線認識手段を構成している。
なお、本実施例では、車両前方を撮像した画像からレーンマークを検出するようにしたが、車両後方を撮像した画像からレーンマークを検出してもよい。
【図面の簡単な説明】
【図１】本発明を適用した自動走行制御システムの構成を示す図である。
【図２】車線検出装置での処理の流れを示すフローチャートである。
【図３】車線検出装置での処理の流れを示すフローチャートである。
【図４】初回または前回で破線路が検出されなかった場合のウインドの設定状況を示す図である。
【図５】前回で破線路が検出された場合のウインドの設定情報を示す図である。
【図６】次回の画像でのウインドの設定状況を示す図である。
【図７】次回の画像でのウインド設定状況を示す図である。
【図８】カーブ路でのウインド設定状況を示す図である。
【符号の説明】
１ カメラ（撮像手段）
２ エッジ画像抽出部
３ 破線路判定部
４ 検出ウインド設定部
５ 車速検出部
６ 操舵角検出部
７ レーンマーク形状推定部
８ 車線推定部
９ 操舵制御部
１０ レーンマーク
１０ａ、１０ｂ 白線部分
２０、３０ ウインド

Claims (7)

1. 自車両の前方または後方の走行路の路面を撮像し路面画像を得る撮像手段と、
   前記路面画像上で車線を検出するためのウインドを設定するウインド設定手段と、
   前記設定されたウインド内で、路面に描かれたレーンマークを検出し、その検出結果に基づいて車線認識を行う車線認識手段とを有する車線検出装置において、前記検出したレーンマークが破線レーンマークであるかどうかを判定する破線判定手段を設け、
   前記ウインド設定手段は、前記破線判定手段によって前記レーンマークが破線レーンマークであると判定された場合には、前記破線レーンマークを構成する複数の白線部分のそれぞれに対応して前記ウインドを設定するようにしたことを特徴とする車線検出装置。
2. 前記破線判定手段は、前記路面画像のエッジ画像から横エッジを抽出し、連続した横エッジの連続幅と予め定められたレーンマークの幅とを比較することによって、前記検出したレーンマークが破線レーンマークである否かを判定することを特徴とする請求項１記載の車線検出装置。
3. 前記破線判定手段は、前記エッジ画像から縦エッジを抽出し、連続した縦エッジの連続長さが、予め定められた、破線レーンマークを構成する複数の白線部分の長さに相当する範囲内であって、かつ前記連続した横エッジと繋がっている場合に、前記レーンマークが破線レーンマークであると判定することを特徴とする請求項２記載の車線検出装置。
4. 前記ウインド設定手段は、前記破線レーンマークを構成する複数の白線部分のそれぞれに対応して前記ウインドを設定した後、少なくとも車速と次回の路面画像の取り込みまでの処理時間に基づいて、前記ウインドを移動して設定することを特徴とする請求項１から３記載のいずれかの１に記載の車線検出装置。
5. 前記ウインド設定手段は、前記破線レーンマークを構成する複数の白線部分のそれぞれに対応して前記ウインドを設定した後、車速と次回の路面画像の取り込みまでの処理時間と車両の操舵角に基づいて、前記ウインドを移動して設定することを特徴とする請求項４記載の車線検出装置。
6. 前記ウインド設定手段は、前記白線部分を検出し、前回検出した白線部分と今回検出した白線部分とを比較し、前回検出した白線部分と今回検出した白線部分とが、同一の白線部分であると判定した場合のみ、前記ウインドを移動して設定することを特徴とする請求項４または５記載の車線検出装置。
7. 前記ウインド設定手段は、前回検出した白線部分の横エッジの連続幅または縦エッジの連続長さの少なくとも一方と、今回検出した白線部分の横エッジの連続幅または縦エッジの連続長さの少なくとも一方とを比較し、両者が略同一であった場合に前回検出した白線部分と今回検出した白線部分とが同一の白線部分であると判定することを特徴とする請求項６記載の車線検出装置。

Images