JP2016110567A - 車線境界線認識装置 - Google Patents

Abstract

【課題】車線境界線の誤認識を抑制できる車線境界線認識装置を提供すること。【解決手段】画像を取得する画像取得ユニット（３）と、画像からエッジ点を抽出するエッジ点抽出ユニット（５）と、エッジ点に基づいて車線境界線候補を抽出する車線境界線候補抽出ユニット（７）と、車線境界線候補の車線境界線らしさを算出する車線境界線らしさ算出ユニット（９）と、車線境界線らしさが閾値を超える車線境界線候補を車線境界線として認識する車線境界線認識ユニット（１１）と、立体物を認識する立体物認識ユニット（１３）と、立体物による車線境界線の遮蔽を検出する遮蔽検出ユニット（１５）と、遮蔽を検出した場合、遮蔽された車線境界線よりも外側にある少なくとも一部の領域における車線境界線らしさを抑制する車線境界線らしさ補正ユニット（２１）とを備えることを特徴とする車線境界線認識装置（１）。【選択図】図１

Description

本発明は、車線境界線認識装置に関する。

従来、自車両前方の路面を撮影して画像を取得し、その画像から車線境界線（例えば白線等）を認識する技術が知られている。
自車両の前方に先行車等の立体物が存在し、その立体物が車線境界線を遮蔽している場合がある。この場合、車線境界線を正確に認識できないことがある。そこで、画像のうち、先行車の領域を除外し、除外後の画像において車線境界線を認識する技術が提案されている（特許文献１参照）。

特開平７−１１７５２３号公報

先行車と自車両とが接近している場合、先行車の領域を除外した後の画像に現れる車線境界線はわずかとなる。この場合、実際の車線境界線は認識できず、周囲の物標を車線境界線として誤認識してしまうおそれがある。

本発明は、こうした問題にかんがみてなされたものであり、上記の問題を解決できる車線境界線認識装置を提供することを目的としている。

本発明の車線境界線認識装置は、自車両前方の路面を撮影して画像を取得する画像取得ユニットと、画像からエッジ点を抽出するエッジ点抽出ユニットと、エッジ点に基づいて車線境界線候補を抽出する車線境界線候補抽出ユニットと、車線境界線候補の車線境界線らしさを算出する車線境界線らしさ算出ユニットと、車線境界線らしさが閾値を超える車線境界線候補を車線境界線として認識する車線境界線認識ユニットとを備える。

さらに、本発明の車線境界線認識装置は、画像において立体物を認識する立体物認識ユニットと、立体物による車線境界線の遮蔽を検出する遮蔽検出ユニットと、遮蔽を検出した場合、遮蔽された車線境界線よりも外側にある少なくとも一部の領域における車線境界線らしさを、遮蔽を検出しない場合よりも抑制する車線境界線らしさ補正ユニットとを備える。

本発明の車線境界線認識装置は、遮蔽された車線境界線よりも外側にある少なくとも一部の領域における車線境界線らしさを、遮蔽を検出しない場合よりも抑制する。そのため、遮蔽された車線境界線よりも外側にある物標（例えば路肩等）を車線境界線として誤認識してしまうことを抑制できる。

車線境界線認識装置１の構成を表すブロック図である。 自車両３１におけるカメラ２３の配置を表す説明図である。 車線境界線認識装置１が実行する車線境界線認識処理を表すフローチャートである。 車線境界線認識装置１が実行する補正設定処理を表すフローチャートである。 画像３３において立体物３５が車線境界線３７、３９を遮蔽している状態を表す説明図である。 ディスプレイ３０に表示された表示物４５、及び部位４７を表す説明図である。 遮蔽線３８、４０を含む領域４９、５１を表す説明図である。

本発明の実施形態を図面に基づき説明する。
＜第１の実施形態＞
１．車線境界線認識装置１の構成
車線境界線認識装置１の構成を図１、図２に基づき説明する。車線境界線認識装置１は車両に搭載された車載装置である。以下では、車線境界線認識装置１が搭載された車両を自車両とする。車線境界線認識装置１は、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備えた周知のコンピュータである。車線境界線認識装置１は、ＲＯＭに記憶されたプログラムにより、後述する処理を実行する。

図１に示すように、車線境界線認識装置１は、機能的に、画像取得ユニット３、エッジ点抽出ユニット５、車線境界線候補抽出ユニット７、車線境界線らしさ算出ユニット９、車線境界線認識ユニット１１、立体物認識ユニット１３、遮蔽検出ユニット１５、記憶ユニット１７、更新ユニット１９、車線境界線らしさ補正ユニット２１、及び表示ユニット２２を備える。各ユニットの機能は後述する。

自車両は、車線境界線認識装置１に加えて、カメラ２３、車速センサ２５、ヨーレートセンサ２７、運転支援制御部２９、及びディスプレイ３０を備える。図２に示すように、カメラ２３は、自車両３１の車室内のうち、前方に取り付けられ、自車両３１の前方を撮像し、画像を生成する。その画像の画角には、自車両３１の前方における道路が含まれる。なお、以下では、カメラ２３が生成した１つの画像を１フレームと呼ぶこともある。カメラ２３が、順に、フレームＦ_１、Ｆ_２、Ｆ_３・・・を生成した場合、フレームＦ_１はフレームＦ_２の１つ前のフレームであり、フレームＦ_３はフレームＦ_２の１つ後のフレームである。

車速センサ２５は自車両の車速を検出する。ヨーレートセンサ２７は自車両のヨーレートを検出する。運転支援制御部２９は、車線境界線認識装置１が認識した車線境界線を用いて、レーンキープアシスト等の運転支援処理を実行する。ディスプレイ３０は自車両の車室内に設置された液晶ディスプレイであり、各種画像を表示可能である。

２．車線境界線認識装置１が実行する車線境界線認識処理
車線境界線認識装置１が所定時間ごとに繰り返し実行する車線境界線認識処理を、図３に基づき説明する。

図３のステップ１では、画像取得ユニット３が、カメラ２３から画像（１つのフレーム）を取得する。
ステップ２では、エッジ点抽出ユニット５が、前記ステップ１で取得した画像からエッジ点を抽出する。具体的には、まず、画像において水平ライン（縦方向の座標値が全て等しい全ての画素）ごとに、微分フィルタを使用して微分値を算出する。つまり、水平ラインを構成する複数の画素において、隣接する画素間における輝度値の変化率を算出する。

次に、算出した微分値が、所定の上限値以上であるか否かを判定し、微分値が上限値以上であれば隣接する画素間で輝度値が大きく変化したものとして、その画素の座標値をエッジ点として抽出し、登録する。画像中の全ての画素について上記の処理を実行する。

ステップ３では、車線境界線候補抽出ユニット７が、前記ステップ２で抽出したエッジ点に基づき、車線境界線候補を抽出する。車線境界線候補の抽出は、周知の直線抽出ハフ（Hough）変換処理等により行うことができる。なお、車線境界線候補は、１フレームの画像において複数検出される場合もある。

ステップ４では、車線境界線らしさ算出ユニット９が、前記ステップ３で抽出した車線境界線候補の車線境界線らしさ（尤度）を算出する。車線境界線らしさは、周知の方法で算出することができる。例えば、車線境界線候補を構成するエッジ点の数、車線境界線候補の形状、車線境界線候補の他の物体に対する相対的な位置等の各項目について、それぞれ、車線境界線らしさの値を算出し、それらを全て乗算した値を、最終的な車線境界線らしさとすることができる。

ステップ５では、後述する補正設定処理により、何らかの補正が設定されているか否かを、車線境界線らしさ補正ユニット２１が判断する。何らかの補正が設定されている場合はステップ６に進み、いずれの補正も設定されていない場合はステップ７に進む。

ステップ６では、車線境界線らしさ補正ユニット２１が、前記ステップ４で算出した車線境界線らしさを補正する。補正の内容は、後述する補正設定処理により設定される第１の補正、又は第２の補正である。詳しくは後述する。

ステップ７では、車線境界線認識ユニット１１が、車線境界線らしさと、予め設定されていた閾値とを比較する。比較する車線境界線らしさは、前記ステップ６で補正した場合は補正後の車線境界線らしさであり、前記ステップ６の補正を行っていない場合は前記ステップ４で算出した車線境界線らしさそのものである。そして、車線境界線候補のうち、車線境界線らしさが閾値を超えるものを、車線境界線として認識する。

ステップ８では、前記ステップ７で認識した車線境界線を、運転支援制御部２９に出力する。
３．車線境界線認識装置１が実行する補正設定処理
車線境界線認識装置１が所定時間ごとに繰り返し実行する補正設定処理を、図４〜図７に基づき説明する。この補正設定処理は、前記ステップ６で実行する補正を設定する処理である。

図４のステップ１１では、画像取得ユニット３が、カメラ２３から画像を取得する。
ステップ１２では、立体物認識ユニット１３が、前記ステップ１１で取得した画像から立体物を認識する処理を行う。立体物の認識は、周知の画像認識技術により行うことができる。認識する立体物としては、例えば、先行車等が挙げられる。

ステップ１３では、その時点が、遮蔽状態であるか否かを、遮蔽検出ユニット１５が判断する。なお、遮蔽状態とは、後述するステップ１５で開始され、後述するステップ２２で解除される状態である。遮蔽状態の内容については後述する。

その時点が遮蔽状態ではないと判断した場合はステップ１４に進み、遮蔽状態であると判断した場合はステップ１７に進む。
ステップ１４では、車線境界線が立体物により遮蔽されているか否かを、遮蔽検出ユニット１５が判断する。判断の対象となる車線境界線は、前記ステップ１１で取得した画像よりも、１つ前のフレームについて、前記車線境界線認識処理により認識された車線境界線である。また、判断の対象となる立体物は、前記ステップ１２で認識されたものである。例えば、図５に示すように、前記ステップ１１で取得した画像３３において、立体物３５が、車線境界線３７、３９の少なくとも一部と重なっている場合、車線境界線３７、３９は遮蔽されていると判断し、ステップ１５に進む。

一方、前記ステップ１２で立体物が認識されなかった場合、又は、前記ステップ１２で認識された立体物が車線境界線３７、３９と重なっていない場合、車線境界線３７、３９は遮蔽されていないと判断し、本処理を終了する。

ステップ１５では、車線境界線らしさ補正ユニット２１が、遮蔽状態を開始する。また、前記ステップ６において実行する補正として、車線境界線らしさを抑制する補正(以下、第１の補正とする)を設定する。よって、遮蔽状態のときに前記ステップ６の処理を実行する場合、第１の補正が行われる。

第１補正の内容は以下のとおりである。図５に示すように、前記ステップ１１で取得した画像３３のうち、自車両が走行中の車線４３を基準として、車線境界線３７、３９よりも外側の領域を、外側領域４１とする。なお、車線境界線３７、３９は、前記ステップ１１で取得したフレームより１つ前のフレームで認識されたものである。

第１の補正は、外側領域４１にある車線境界線候補の車線境界線らしさを、前記ステップ４で算出された値より、抑制する（値を小さくする）補正である。車線境界線らしさを抑制する方法としては、例えば、補正前の車線境界線らしさに、０以上、１より小さい係数を掛け合わせる方法が挙げられる。係数を０とすれば、第１の補正後の車線境界線らしさを０とすることができる。また、別の方法として、補正前の車線境界線らしさから、一定の値を差し引く方法が挙げられる。

なお、第１の補正が設定されていないときは、外側領域４１にある車線境界線候補の車線境界線らしさは、前記ステップ６で補正されず、前記ステップ４で算出された値のままである。よって、前記ステップ１４で遮蔽が検出され、遮蔽状態になった場合、外側領域４１にある車線境界線候補の車線境界線らしさは、遮蔽状態ではない場合よりも抑制される。

図４に戻り、ステップ１６では、前記ステップ１４で立体物によって遮蔽されていると判断された車線境界線（以下では、遮蔽線とする）の位置を、記憶ユニット１７が記憶する。

前記ステップ１３にて遮蔽状態であると判断した場合はステップ１７に進み、更新ユニット１９が、車速センサ２５を用いて自車両の車速を取得するとともに、ヨーレートセンサ２７を用いて自車両のヨーレートを取得する。

ステップ１８では、更新ユニット１９が、前記ステップ１７で取得した車速及びヨーレートを用いて、前記ステップ１６で記憶した遮蔽線（既に更新を行っている場合は更新後の遮蔽線）の位置を更新する。すなわち、自車両の走行にともない、自車両から見た同一の遮蔽線の位置は変化するので、記憶した遮蔽線の位置を、最新の画像においてその遮蔽線が存在するはずの位置に更新する。

ステップ１９では、遮蔽検出ユニット１５が、前記ステップ１８で更新した遮蔽線の位置と、前記ステップ１２で認識した立体物の位置とを対比し、遮蔽線が立体物により遮蔽されているか否かを判断する。遮蔽線が立体物により遮蔽されている（すなわち遮蔽が継続している）と判断した場合はステップ２０に進み、遮蔽されていないと判断した場合はステップ２２に進む。

ステップ２０では、車線境界線らしさ補正ユニット２１が、前記ステップ１８で更新した遮蔽線の位置に応じて、外側領域の位置を更新する。すなわち、外側領域を、前記ステップ１８で更新した遮蔽線よりも外側の領域とする。なお、第１の補正により車線境界線らしさを抑制する範囲は、更新後の外側領域となる。

ステップ２１では、図６に示すように、表示ユニット２２が、車線境界線が遮蔽されていることを表す表示物４５をディスプレイ３０に表示する。この表示物４５は、遮蔽状態である場合に表示され、その他の場合は表示されない。すなわち、表示物４５は、車線境界線が遮蔽されている場合に対応する表示である。

また、表示ユニット２２は、車線境界線認識処理によって遮蔽線を認識できていない場合は、そのことを表す表示をディスプレイ３０に行う。この表示とは、図６に示すように、車線境界線を表す部位４７を点滅させる表示である。部位４７の点滅は、遮蔽線を認識できない場合に行われ、その他の場合は行われない。すなわち、部位４７の点滅は、遮蔽線を認識できない場合に対応する表示態様である。なお、車線境界線認識処理によって遮蔽線を認識できていないとは、遮蔽線と一致する位置に、車線境界線を認識できないことを意味する。

前記ステップ１９で否定判断された場合はステップ２２に進む。なお、一旦遮蔽状態となり、その後、前記ステップ１９において遮蔽されていないと判断することは、遮蔽を一旦検出し、その後遮蔽を検出しなくなることの一例である。ステップ２２では、車線境界線らしさ補正ユニット２１が遮蔽状態を解除する。遮蔽状態を解除すると、第１の補正の設定は解除され、この時点以降、前記ステップ６において第１の補正は行われなくなる。

ステップ２３では、第２の補正を設定する。この時点以降に前記ステップ６を実行する場合、前記ステップ６にて第２の補正が行われる。
第２の補正は、画像のうち、遮蔽線を含む領域での車線境界線らしさを増加させるという補正である。車線境界線らしさを増加させる方法としては、例えば、補正前の車線境界線らしさに、１より大きい係数を掛け合わせる方法が挙げられる。また、別の方法として、補正前の車線境界線らしさに、一定の値を加算する方法が挙げられる。

遮蔽線を含む領域は、例えば、図７に示すように、遮蔽線３８の位置を含むとともに、その両側に所定量だけ広がった領域４９と、遮蔽線４０の位置を含むとともに、その両側に所定量だけ広がった領域５１である。ここで、遮蔽線３８、４０の位置は、前記ステップ１８において更新された位置である。

なお、第２の補正が設定されていないときは、前記ステップ６において第２の補正は実行されず、遮蔽線を含む領域での車線境界線らしさは、前記ステップ４で算出された値のままである。よって、第２の補正が設定された場合、遮蔽線を含む領域での車線境界線らしさは、第２の補正が設定されていない場合よりも増加する。

第２の補正は、遮蔽線を含む領域で車線境界線を認識するまで設定され、車線境界線を認識した後は設定を解除される。
４．車線境界線認識装置１が奏する効果
（１Ａ）車線境界線認識装置１は、立体物による車線境界線の遮蔽を検出した場合、外側領域における車線境界線らしさを、遮蔽を検出しない場合よりも抑制する（第１の補正を設定する）。そのことにより、立体物で車線境界線が遮蔽されていても、外側領域にある物標（例えば路肩等）を車線境界線として誤認識してしまうことを抑制できる。

（１Ｂ）車線境界線認識装置１は、立体物による車線境界線の遮蔽を一旦検出し、遮蔽状態となった後、遮蔽を検出しなくなり、遮蔽状態を解除した場合、外側領域における車線境界線らしさの抑制を解除する（第１の補正の設定を解除する）。そのことにより、車線境界線が遮蔽されていない状態において、車線境界線を適切に認識することができる。

（１Ｃ）車線境界線認識装置１は、立体物による車線境界線の遮蔽を一旦検出し、遮蔽状態となった後、遮蔽を検出しなくなり、遮蔽状態を解除した場合、遮蔽線を含む領域での車線境界線らしさを、遮蔽を一度も検出しない場合より大きくする（第２の補正を設定する）。そのことにより、それまで遮蔽され、認識できなかった車線境界線を、遮蔽がなくなった後に迅速に認識することができる。

（１Ｄ）車線境界線認識装置１は、遮蔽線の位置を記憶するとともに、自車両の車速及びヨーレートに基づき、遮蔽線の位置を更新する。そして、遮蔽線を含む領域は、上記のように更新した遮蔽線の位置に基づき設定される。そのことにより、遮蔽線を含む領域を正確に設定することができる。その結果、遮蔽線を含む領域において車線境界線を容易に認識することができる。

（１Ｅ）車線境界線認識装置１は、立体物による車線境界線の遮蔽を検出した場合、その場合に対応する表示を行う。そのことにより、自車両のドライバは、車線境界線が遮蔽されていることを容易に知ることができる。

（１Ｆ）車線境界線認識装置１は、遮蔽線を認識できない場合、その場合に対応する表示を行う。そのことにより、自車両のドライバは、立体物による遮蔽のために車線境界線を認識できないことを容易に知ることができる。
＜その他の実施形態＞
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されることなく、種々の形態を採り得る。

（１）車線境界線認識装置１は、遮蔽状態であるとき、車線境界線らしさ算出ユニット９における算出条件を変更してもよい。例えば、遮蔽状態である場合は、それ以外の場合に比べて、外側領域における車線境界線らしさが小さくなるように、車線境界線らしさの算出条件を変更することができる。

また、車線境界線認識装置１は、前記ステップ２２において遮蔽状態が解除されたとき、車線境界線らしさ算出ユニット９における算出条件を変更してもよい。例えば、前記ステップ２２において遮蔽状態が解除された場合、それ以外の場合に比べて、遮蔽線を含む領域における車線境界線らしさが大きくなるように、車線境界線らしさの算出条件を変更することができる。

（２）車線境界線認識装置１は、レーザレーダ等の検出手段により立体物を検出したことを条件として補正設定処理を開始してもよい。
（３）外側領域は、車線境界線よりも外側の領域のうち、一部であってもよいし、全部であってもよい。

（４）遮蔽状態が所定時間以上継続している状態、又は、車線境界線（例えば白線）が立体物により略見えなくなるような状態では、上記実施形態での補正処理に加えて、車線境界線認識を中止し、そのことをユーザに報知してもよい。

（５）上記実施形態における１つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を１つの構成要素に統合させたりしてもよい。また、上記実施形態の構成の少なくとも一部を、同様の機能を有する公知の構成に置き換えてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。

（６）上述した車線境界線認識装置の他、当該車線境界線認識装置を構成要素とするシステム、当該車線境界線認識装置としてコンピュータを機能させるためのプログラム、このプログラムを記録した媒体、車線境界線認識方法等、種々の形態で本発明を実現することもできる。

１…車線境界線認識装置、３…画像取得ユニット、５…エッジ点抽出ユニット、７…車線境界線候補抽出ユニット、９…車線境界線らしさ算出ユニット、１１…車線境界線認識ユニット、１３…立体物認識ユニット、１５…遮蔽検出ユニット、１７…記憶ユニット、１９…更新ユニット、２１…車線境界線らしさ補正ユニット、２２…表示ユニット、２３…カメラ、２５…車速センサ、２７…ヨーレートセンサ、２９…運転支援制御部、３０…ディスプレイ、３１…自車両、３３…画像、３５…立体物、３７、３９…車線境界線、３８、４０…遮蔽線、４１…外側領域、４３…車線、４５…表示物、４９、５１…領域

Claims (6)

1. 自車両前方の路面を撮影して画像を取得する画像取得ユニット（３）と、
   前記画像からエッジ点を抽出するエッジ点抽出ユニット（５）と、
   前記エッジ点に基づいて車線境界線候補を抽出する車線境界線候補抽出ユニット（７）と、
   前記車線境界線候補の車線境界線らしさを算出する車線境界線らしさ算出ユニット（９）と、
   前記車線境界線らしさが閾値を超える前記車線境界線候補を車線境界線として認識する車線境界線認識ユニット（１１）と、
   前記画像において立体物を認識する立体物認識ユニット（１３）と、
   前記立体物による前記車線境界線の遮蔽を検出する遮蔽検出ユニット（１５）と、
   前記遮蔽を検出した場合、遮蔽された前記車線境界線よりも外側にある少なくとも一部の領域における前記車線境界線らしさを、前記遮蔽を検出しない場合よりも抑制する車線境界線らしさ補正ユニット（２１）と、
   を備えることを特徴とする車線境界線認識装置（１）。
2. 請求項１に記載の車線境界線認識装置であって、
   前記車線境界線らしさ補正ユニットは、前記遮蔽を一旦検出し、その後検出しなくなった場合、前記車線境界線らしさの抑制を解除することを特徴とする車線境界線認識装置。
3. 請求項１又は２に記載の車線境界線認識装置であって、
   前記車線境界線らしさ補正ユニットは、前記遮蔽を一旦検出し、その後検出しなくなった場合、少なくとも、遮蔽されていた前記車線境界線の位置における前記車線境界線らしさを、前記遮蔽を検出しない場合よりも大きくすることを特徴とする車線境界線認識装置。
4. 請求項３に記載の車線境界線認識装置であって、
   前記遮蔽を検出したとき、遮蔽された前記車線境界線の位置を記憶する記憶ユニット（１７）と、
   前記自車両の車速及びヨーレートに基づき、前記記憶ユニットに記憶された前記車線境界線の位置を更新する更新ユニット（１９）と、
   を備え、
   前記車線境界線らしさ補正ユニットは、前記更新ユニットにより更新された前記車線境界線の位置における前記車線境界線らしさを、前記遮蔽を検出しない場合よりも大きくすることを特徴とする車線境界線認識装置。
5. 請求項１〜４のいずれか１項に記載の車線境界線認識装置であって、
   前記遮蔽を検出した場合、その場合に対応する表示を行う表示ユニット（２２）を備えることを特徴とする車線境界線認識装置。
6. 請求項５に記載の車線境界線認識装置であって、
   前記表示ユニットは、遮蔽されている前記車線境界線を認識できない場合、その場合に対応する表示を行うことを特徴とする車線境界線認識装置。