JP2015179368A - 走行区画線認識装置及び走行区画線認識プログラム - Google Patents

Abstract

【課題】演算負荷を低減させるとともに、遠方区画線の認識率の低下を抑制することが可能な走行区画線認識装置を提供する。
【解決手段】車載カメラ１０により取得された車両周辺の道路の画像において、道路の区画線を構成するエッジ点を抽出する領域を、近傍領域７１と遠方領域７２とに二分する分割手段３０と、遠方領域７２の一部に遠方エッジ点を抽出する抽出領域を設定する抽出領域設定手段５１と、抽出領域設定手段５１により設定された抽出領域内の遠方エッジ点を抽出する遠方エッジ点抽出手段５２と、遠方エッジ点抽出手段５２により抽出された遠方エッジ点に基づいて、遠方の道路パラメータを推定する遠方道路パラメータ推定手段５３と、を備え、抽出領域設定手段５１は、予め取得された車線曲率を用いて、遠方領域７２における区画線の位置を予測し、予測した区画線の位置を含むように抽出領域を設定する。
【選択図】 図１

Description

本発明は、車両の運転支援等のために、道路の走行区画線を認識する装置、及びそのプログラムに関する。

従来、道路のいわゆる白線である区画線を認識する装置を用いて、レーンキープや車線逸脱警報等の運転支援が行われている。特に、レーンキープは、遠方の区画線まで高精度に認識できる装置を用いると、車線逸脱の予測精度を高め、安定して行うことができる。そのため、レーンキープでは、遠方区画線を高精度に認識できる装置を用いることが望まれる。

そこで、特許文献１は、遠方区画線を高精度に認識する走行区画線認識装置を提案している。特許文献１の走行区画線認識装置は、区画線のエッジ点抽出領域を近傍と遠方とに分割している。そして、近傍で抽出された近傍エッジ点に基づいて近傍道路パラメータを算出し、算出した近傍道路パラメータに基づいて、遠方で区画線が存在する位置を予測している。さらに、遠方で抽出された遠方エッジ点の中から、予測される区画線が存在する位置に対応する遠方エッジ点を選択し、選択した遠方エッジ点を用いて遠方道路パラメータを算出している。

特開２０１３−１９６３４１号公報

特許文献１は、遠方エッジ点を抽出した後に、区画線の予測位置を用いて遠方エッジ点を絞り込んでいるが、遠方エッジ点の抽出領域は絞り込んでいないため、遠方エッジ点抽出の演算負荷が大きい。しかしながら、演算負荷を低減するために、遠方エッジ点の抽出領域を単純に狭くすれば、抽出領域内に遠方区画線が入らず、遠方区画線の認識率が低下するおそれがある。

本発明は、上記実情に鑑み、演算負荷を低減させるとともに、遠方区画線の認識率の低下を抑制することが可能な走行区画線認識装置を提供することを主たる目的とする。

上記課題を解決するため、本発明は走行区画線認識装置であって、車載カメラにより取得された車両周辺の道路の画像において、前記道路の区画線を構成するエッジ点を抽出する領域を、前記車両から所定距離内の近傍領域と、前記車両から前記所定距離を超えた遠方領域とに二分する分割手段と、前記遠方領域の一部に前記エッジ点を抽出する抽出領域を設定する抽出領域設定手段と、前記抽出領域設定手段により設定された前記抽出領域内の前記エッジ点を抽出する遠方エッジ点抽出手段と、前記遠方エッジ点抽出手段により抽出された前記エッジ点に基づいて、遠方の道路パラメータを推定する遠方道路パラメータ推定手段と、を備え、前記抽出領域設定手段は、予め取得された前記道路の曲率を用いて、前記遠方領域における前記区画線の位置を予測し、予測した前記区画線の位置を含むように前記抽出領域を設定する。

本発明によれば、車載カメラにより取得された画像において、区画線を構成するエッジ点を抽出する領域が、車両から所定距離内の近傍領域と、車両から所定距離を超えた遠方領域とに二分される。そして、遠方領域の一部に遠方エッジ点を抽出する抽出領域が設定され、設定された抽出領域内の遠方エッジ点が抽出され、抽出された遠方エッジ点に基づいて遠方道路パラメータが推定される。

ここで、遠方エッジ点の抽出領域は、予め取得された道路の曲率を用いて予測された区画線の位置を含むように設定される。それゆえ、遠方の区画線が抽出領域から外れるおそれが低下する。また、抽出領域が限定されるため、エッジ点を抽出する演算負荷は低減される。したがって、演算負荷を低減させるとともに、遠方領域における区画線の認識率の低下を抑制することができる。

運転支援システムの構成を示す図。 走行区画線認識装置の機能を示すブロック図。 ピッチング量を説明する図。 道路パラメータを推定する処理手順を示すフローチャート。 遠方白線を認識する処理手順を示すフローチャート。 直線道路に設定された遠方エッジ点の抽出領域を示す図。 カーブ道路に設定された遠方エッジ点の抽出領域を示す図。 遠方エッジ点の抽出領域を示す図。

以下、走行区画線認識装置を具現化した実施形態について、図面を参照しつつ説明する。まず、図１を参照して、本実施形態に係る走行区画線認識装置２０を適用した運転支援システム９０の構成について説明する。

運転支援システム９０は、車載カメラ１０、車両の走行速度を測定する車速センサ１１、ヨーレートを想定するヨーレートセンサ１２、車両の操舵角を測定する操舵角センサ１３、走行区画線認識装置２０、及び警報・車両制御装置６０を備えている。

車載カメラ１０は、ＣＣＤカメラ、ＣＭＯＳイメージセンサ、近赤外線カメラ等であり、車両の前方の道路を撮影するように、車両に搭載されている。詳しくは、車載カメラ１０は、車両の車幅方向の中央、例えばルームミラーに取り付けられており、車両前方へ向けて所定角度範囲で広がる領域を所定の時間間隔で撮影する。車載カメラ１０により撮影された車両周辺の道路の画像情報は、走行区画線認識装置２０へ送信される。

走行区画線認識装置２０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、及びＩ／Ｏ等から構成されるコンピュータである。ＣＰＵがＲＯＭにインストールされている走行区画線認識プログラムを実行することにより、領域分割手段３０、近傍白線認識手段４０、遠方白線認識手段５０の各種機能を実現する。なお、記録媒体に記憶されている走行区画線認識プログラムを、コンピュータに読み込んでもよい。

領域分割手段３０は、車載カメラ１０により取得された画像において、道路の白線（区画線）を構成するエッジ点を抽出する領域を、近傍領域７１と遠方領域７２とに二分する（図６参照）。エッジ点を抽出する領域は、全画像領域とは限らず、車両から第１距離までの領域をいう。近傍領域７１は、車両から第２距離（所定距離）内の領域であり、遠方領域７２は、車両から第２距離を超えた領域である。第２距離は第１距離よりも短い距離である。

近傍白線認識手段４０は、近傍領域７１から近傍白線のエッジ点を抽出し、抽出した近傍エッジ点をハフ変換して白線候補の直線を算出する。近傍白線認識手段４０は、算出した白線候補を絞り込んで、最も白線らしい白線候補を左右１つずつ選択する。詳しくは、近傍白線認識手段４０は、エッジ強度が閾値よりも大きいこと、エッジ点が略直線上に並んでいること、太さが規格値に近いこと等の白線の特徴を考慮して、算出した白線候補の中から最も白線らしい白線候補を絞り込む。

さらに、近傍白線認識手段４０は、図２に示すように、選択した白線候補を構成する画像座標上の近傍エッジ点を、道路面を平面と仮定した平面座標（鳥瞰座標）上の近傍エッジ点に変換する。これに伴い、画像座標上の近傍領域７１は、平面座標上の近傍領域７１ａに変換される。近傍エッジ点を平面座標上の情報とすることで、過去の撮影画像に基づくエッジ点の座標情報との組合せを容易に行うことができる。

次に、近傍白線認識手段４０は、平面座標上の近傍エッジ点を用いて、近傍の道路パラメータを算出する。近傍の道路パラメータは、車線位置、車線傾き、車線曲率（道路の曲率）、車線幅、曲率変化率、及びピッチング量である。車線位置は、車載カメラ１０を中心として進行方向に伸びる中心線から、道路の幅方向の中心までの距離であり、車両の道路幅方向の変位を表す。車両が道路の中央を走行している場合に、車線位置は０となる。車線傾きは、左右の白線の中央を通過する仮想的な中央線の接線の車両進行方向に対する傾きであり、車両のヨー角を表す。車線曲率は、左右の白線の中央を通過する仮想的な中央線の曲率である。車線幅は、車両の中心線と直交する方向における左右の白線の間隔であり、道路の幅を表す。ピッチング量は、図３に示すように、車両が静止している状態を基準とした画像の縦方向の変位から求められる。

上記各パラメータは、今回抽出した近傍エッジ点、及び過去の画像に基づいて抽出した近傍エッジ点（履歴エッジ点）に基づき、算出される。図２の平面画像４１において、近傍領域７１ａ内のエッジ点が今回抽出した近傍エッジ点であり、それ以外は履歴エッジ点である。履歴エッジ点は、過去に抽出された近傍エッジ点の座標を、測定された車速及びヨーレートに基づいて移動させることにより算出される。

遠方白線認識手段５０は、遠方エッジ点抽出領域設定手段５１、遠方エッジ点抽出手段５２、及び遠方道路パラメータ推定手段５３を備える。

遠方エッジ点抽出領域設定手段５１は、遠方領域７２の一部に、遠方エッジ点を抽出する遠方エッジ点抽出領域を設定する（図６参照）。詳しくは、遠方エッジ点抽出領域設定手段５１は、近傍白線認識手段４０により算出された近傍の車線曲率及び曲率変化率を用いて、画像座標上の遠方領域７２における白線の位置を予測し、予測した白線の位置を含むように、遠方エッジ点抽出領域を設定する。

遠方エッジ点抽出手段５２は、遠方エッジ点抽出領域内の遠方エッジ点を抽出する。さらに、遠方エッジ点抽出手段５２は、白線の種々の特徴を考慮して、抽出した遠方エッジ点から遠方の白線を構成する遠方エッジ点を絞り込む。

遠方道路パラメータ推定手段５３は、絞り込まれた遠方エッジ点に基づいて、遠方の道路パラメータを推定する。詳しくは、遠方道路パラメータ推定手段５３は、今回算出された近傍の道路パラメータを初期値として、拡張カルマンフィルタを用いて遠方の道路パラメータを推定する。推定される遠方の道路パラメータは、車線位置、車線傾き、車線曲率、車線幅、曲率変化率、及びピッチング量である。

警報・車両制御装置６０は、走行区画線認識装置２０により推定された近傍の道路パラメータ、及び遠方の道路パラメータを用いて運転支援を行う。詳しくは、警報・車両制御装置６０は、近傍の道路パラメータに基づいて車両と左右の白線との距離をそれぞれ算出し、車両と左右の白線のいずれかとの距離が閾値よりも近くなった場合に、ドライバに警報を与える車線逸脱警報を行う。

また、警報・車両制御装置６０は、遠方の道路パラメータに基づいて、車両の進行方向の車線に合わせて操舵を補助するレーンキープ制御を行う。さらに、警報・車両制御装置６０は、走行中の車線を先行する他車両との距離が近づいたときに、ドライバに警報を与える衝突警報を行う。

次に、道路パラメータを推定する処理手順について、図４のフローチャートを参照して説明する。本処理手順は、車載カメラ１０により画像が取得される都度、走行区画線認識装置２０が実行する。

まず、車載カメラ１０により取得された画像において、エッジ点を抽出する領域を、近傍領域７１と遠方領域７２とに二分する（Ｓ１０）。

続いて、近傍の白線認識を行う（Ｓ２０）。まず、近傍領域７１において、近傍エッジ点を抽出する。画像情報の精度の高い近傍領域７１では、遠方領域７２よりもノイズを抽出する可能性が低いので、近傍領域７１全体を近傍エッジ点の抽出領域とする。そして、抽出したエッジ点のうち、近傍白線を構成するエッジ点に基づいて、近傍の道路パラメータを推定する。

続いて、遠方の白線認識を行い、遠方の道路パラメータを推定する（Ｓ３０）。遠方の白線認識処理については、後で詳述する。

次に、遠方の白線認識処理（Ｓ３０）の処理手順について、図５のフローチャートを参照して説明する。

まず、近傍の白線認識（Ｓ２０）で算出された車線曲率及び曲率変化率を用いて、遠方領域７２における左側及び右側の白線の位置を予測する。そして、予測した左側及び右側の白線の位置を含むように、遠方領域７２の一部に、遠方エッジ点抽出領域を左右それぞれ独立して設定する。詳しくは、予測した左右それぞれの白線の位置を中心として、横幅方向に予測誤差分の所定画素数を広げた領域を、左右の遠方エッジ点抽出領域とする。

ここで、Ｓ２０において、左側及び右側の白線の曲率をそれぞれ車線曲率として算出しておき、左側及び右側の白線のそれぞれに対応する遠方エッジ点の抽出領域を、左側及び右側の白線のそれぞれの曲率を用いて、独立して設定するようにしてもよい。このようにすれば、左右の遠方エッジ点の抽出領域をそれぞれ適切に設定できる。

さらに、Ｓ２０で算出されたピッチング量を用いて、遠方領域７２における白線の画像の縦方向におけるずれ量を推定する。そして、左側及び右側の遠方エッジ点抽出領域を、推定したずれ量の分だけ画像の縦方向にずらして設定する。

図６に遠方エッジ点抽出領域を直線道路に設定した態様を示し、図７に遠方エッジ点抽出領域をカーブ道路に設定した態様を示す。道路曲率及び曲率変化率を用いて遠方エッジ点抽出領域を設定しているため、カーブ道路においても、カーブした白線を含むように、直線道路と同程度の面積の遠方エッジ点抽出領域を設定することができる。

また、車速が速いほど、遠方領域７２における白線の位置の予測誤差が大きくなるおそれがある。そのゆえ、白線を確実に抽出するために、車速センサ１１により測定された速度が速いほど、予測誤差分の所定画素数を多くし、遠方エッジ点抽出領域の横幅を広く設定する。

また、操舵角速度が速いほど、遠方領域７２における白線の位置の予測誤差が大きくなるおそれある。そのゆえ、白線を確実に抽出するために、操舵角センサ１３により測定された操舵角から算出した操舵角速度が速いほど、予測誤差分の所定画素数を多くし、遠方エッジ点抽出領域の横幅を広く設定する。

また、車両から遠方になるほど、遠方領域７２における白線の位置の予測誤差が大きくなるおそれがある。そのゆえ、白線を確実に抽出するために、図８に示すように、遠方エッジ点抽出領域の遠方側の予測誤差分の所定画素数を近傍側よりも多くし、遠方側の横幅を近傍側よりも広く設定する。具体的には、車両から遠方になるほど、遠方エッジ点抽出領域の横幅を広く設定する。

さらに、遠方エッジ点抽出領域の面積に関わらず、遠方エッジ点を抽出する際に遠方エッジ点を探索する画素数が所定数よりも少なくなるように、遠方エッジ点抽出領域において遠方エッジ点を探索する探索ラインを設定する。画像の水平方向にエッジ点を探索する場合、探索ラインは画像の水平方向のラインであり、画像の縦方向の位置を表す。

探索ラインは、最大で、遠方エッジ点抽出領域に含まれる縦方向の画素数分設定できる。遠方エッジ点抽出領域の面積、具体的には遠方エッジ点抽出領域の横幅が広い場合に、探索ラインを最大数に設定すると、遠方エッジ点を探索する画素数が増加し、演算負荷が大きくなるおそれがある。

そこで、遠方エッジ点抽出領域の面積が広くなっても、演算負荷が所定量よりも小さくなるように、探索ラインを、最大数から間引いて設定する。例えば、探索ラインを、縦方向に一本間隔で間引いて設定する。近傍側ほどエッジ点の情報精度は高いので、遠方エッジ点抽出領域の遠方側で探索ラインを間引き、近傍側では探索ラインを間引かないようにしてもよい。

また、左右の遠方エッジ点抽出領域の面積が異なる場合には、左右それぞれの遠方エッジ点抽出領域において、探索ラインをそれぞれ独立に設定してもよい。すなわち、左右それぞれの遠方エッジ点抽出領域において、探索ラインを互いに異なる間隔で設定してもよい。

続いて、Ｓ３１で設定された左右の遠方エッジ点抽出領域内において、設定された探索ラインにそって遠方エッジ点を探索し、遠方エッジ点を抽出する（Ｓ３２）。

続いて、Ｓ３２で抽出された遠方エッジ点の中から、遠方の白線を構成する遠方エッジ点を絞り込む（Ｓ３３）。続いて、Ｓ３３で絞り込んだエッジ点に基づいて、遠方の道路パラメータを推定する（Ｓ３４）。以上で本処理を終了する。

以上説明した本実施形態によれば、以下の効果を奏する。

・遠方エッジ点抽出領域は、近傍の白線認識により推定された近傍の車線曲率及び曲率変化率を用いて、遠方領域７２において予測された白線の位置を含むように設定される。それゆえ、遠方の白線が遠方エッジ点抽出領域から外れるおそれが低下する。また、遠方エッジ点抽出領域が限定されるため、遠方エッジ点を抽出する演算負荷は低減される。したがって、演算負荷を低減させるとともに、遠方領域７２における白線の認識率の低下を抑制することができる。

・近傍の白線認識により推定された近傍のピッチング量を用いて、画像の縦方向のずれ量が推定される。そして、遠方エッジ点抽出領域は、推定されたずれ量に応じて、画像の縦方向にずらして設定される。よって、遠方領域７２における白線の認識率の低下をさらに抑制することができる。

・車両の速度が高いほど、白線の位置の予測誤差が大きくなるおそれがある。よって、車両の速度が高いほど遠方エッジ点抽出領域の横幅を広くすることにより、遠方領域７２における白線の認識率の低下をさらに抑制できる。

・車両の操舵角速度が高いほど、すなわち急カーブほど、白線の位置の予測誤差が大きくなるおそれがある。よって、車両の操作角速度が高いほど遠方エッジ点抽出領域の横幅を広くすることにより、遠方領域７２における白線の認識率の低下をさらに抑制できる。

・車両から遠方になるほど、白線の位置の予測誤差は大きくなるおそれがある。よって、車両から遠方になるほど遠方エッジ点抽出領域の横幅を広くすることにより、遠方領域７２における白線の認識率の低下をさらに抑制できる。

・左側の白線及び右側の白線のそれぞれに対応する遠方エッジ点抽出領域は、独立して設定される。これにより、遠方エッジ点抽出領域が左右でそれぞれ限定されるため、遠方エッジ点抽出領域全体の面積が小さくなり、演算負荷を低減できる。また、左右の白線間のノイズの抽出が低減されるため、白線の認識精度を向上させることができる。さらに、左右の遠方エッジ点抽出領域を、左側及び右側の白線のそれぞれの曲率を用いて設定すると、左右の遠方エッジ点抽出領域をそれぞれ適切に設定することができる。

・遠方エッジ点を抽出する際に、遠方エッジ点を探索する画素数が所定数よりも少なくなるように、遠方エッジ点抽出領域において遠方エッジ点を探索する探索ラインが設定される。そのため、遠方の白線の認識率を上げるために遠方エッジ点抽出領域を広くした場合でも、演算負荷が増大するおそれがない。

（他の実施形態）
・遠方エッジ点抽出領域を設定する際に、予め取得された車線曲率及び曲率変化率として、ナビゲーション装置から取得した車線曲率及び曲率変化率を用いてもよい。

・遠方エッジ点抽出領域を設定する際に、予め取得された車線曲率及び曲率変化率として、前回の遠方の白線認識により推定した車線曲率及び曲率変化率を用いてもよい。

・遠方エッジ点抽出領域を設定する際に、予め取得された車線曲率及び曲率変化率として、今回の近傍の白線認識により推定した車線曲率及び曲率変化率と、前回の遠方の白線認識により推定した車線曲率及び曲率変化率とを、加重平均して用いてもよい。この場合、遠方領域７２の近傍側では、今回の近傍の白線認識による推定結果の重みを重くし、遠方領域７２の遠方側では、前回の遠方の白線認識による推定結果の重みを重くするとよい。

・遠方エッジ点抽出領域を設定する際に、予め取得されたピッチング量として、前後のサスペションの高さを検出するハイトセンサの検出値を用いてもよい。前後のサスペションの高さの差分がピッチング量となる。

・遠方エッジ点抽出領域を設定する際に、予め取得されたピッチング量として、前回の遠方の白線認識により推定したピッチング量を用いてもよい。

・遠方エッジ点抽出領域を設定する際に、予め取得されたピッチング量として、今回の近傍の白線認識により推定したピッチング量と、前回の遠方の白線認識により推定したピッチング量とを、加重平均して用いてもよい。この場合、遠方領域７２の近傍側では、今回の近傍の白線認識による推定結果の重みを重くし、遠方領域７２の遠方側では、前回の遠方の白線認識による推定結果の重みを重くするとよい。

・遠方エッジ点抽出領域を設定する際に、予め取得された曲率変化率を用いなくてもよい。少なくとも予め取得された車線曲率を用いて、遠方エッジ点抽出領域を設定すればよい。

・遠方エッジ点抽出領域を左右でそれぞれ限定して設定する場合よりも、ノイズが増えるおそれはあるが、遠方エッジ点抽出領域を左右で一体の領域として設定してもよい。

・遠方エッジ点抽出領域の面積に関わらず、遠方エッジ点抽出領域内において、探索ラインを間引かないで設定してもよい。この場合でも、遠方領域７２全体を探索する場合よりは、遠方エッジ点を探索する演算負荷を低減できる。

１０…車載カメラ、２０…走行区画線認識装置、３０…領域分割手段、５１…遠方エッジ点抽出領域設定手段、５２…遠方エッジ点抽出手段、５３…遠方道路パラメータ推定手段、７１，７１ａ…近傍領域、７２…遠方領域。

Claims (8)

1. 車載カメラ（１０）により取得された車両周辺の道路の画像において、前記道路の区画線を構成するエッジ点を抽出する領域を、前記車両から所定距離内の近傍領域（７１，７１ａ）と、前記車両から前記所定距離を超えた遠方領域（７２）とに二分する分割手段（３０）と、
   前記遠方領域の一部に前記エッジ点を抽出する抽出領域を設定する抽出領域設定手段（５１）と、
   前記抽出領域設定手段により設定された前記抽出領域内の前記エッジ点を抽出する遠方エッジ点抽出手段（５２）と、
   前記遠方エッジ点抽出手段により抽出された前記エッジ点に基づいて、遠方の道路パラメータを推定する遠方道路パラメータ推定手段（５３）と、を備え、
   前記抽出領域設定手段は、予め取得された前記道路の曲率を用いて、前記遠方領域における前記区画線の位置を予測し、予測した前記区画線の位置を含むように前記抽出領域を設定することを特徴とする走行区画線認識装置。
2. 前記抽出領域設定手段は、予め取得された前記車両のピッチング量を用いて、前記遠方領域における前記区画線の前記画像の縦方向のずれ量を推定し、推定した前記ずれ量に応じて前記抽出領域を前記画像の縦方向にずらして設定する請求項１に記載の走行区画線認識装置。
3. 前記抽出領域設定手段は、前記車両の速度が高いほど前記抽出領域の横幅を広く設定する請求項１又は２に記載の走行区画線認識装置。
4. 前記抽出領域設定手段は、前記車両の操舵角速度が高いほど前記抽出領域の横幅を広く設定する請求項１〜３のいずれかに記載の走行区画線認識装置。
5. 前記抽出領域設定手段は、前記車両から遠方になるほど、前記抽出領域の横幅を広く設定する請求項１〜４のいずれかに記載の走行区画線認識装置。
6. 前記抽出領域設定手段は、前記道路の左側及び右側の区画線のそれぞれに対応する前記抽出領域を、前記左側及び前記右側の区画線のそれぞれの曲率を用いて独立して設定する請求項１〜５のいずれかに記載の走行区画線認識装置。
7. 前記抽出領域設定手段は、前記抽出領域の面積に関わらず、前記エッジ点を抽出する際に前記エッジ点を探索する画素数が所定数よりも少なくなるように、前記抽出領域において前記エッジ点を探索するラインを設定する請求項１〜６のいずれかに記載の走行区画線認識装置。
8. コンピュータにインストールされるプログラムであって、
   前記コンピュータに、請求項１〜７のいずれかに記載の走行区画線認識装置が備える各手段を実現させることを特徴とする走行区画線認識プログラム。