JP2016018520A - 走行区画線認識装置及び走行区画線認識プログラム - Google Patents

Abstract

【課題】急な分岐路であっても高精度に分岐路を判定することが可能な走行区画線認識装置を提供する。【解決手段】車載カメラ１０によりフレーム毎に撮影された車両周辺の道路の画像に基づいて、道路の区画線の候補である区画線候補を抽出する抽出手段３０と、抽出手段３０により抽出された区画線候補が分岐路の区画線である確信度を算出し、算出した確信度に基づいて、区画線候補が分岐路の区画線であるか判定する分岐判定手段４０と、を備え、分岐判定手段４０は、所定フレーム数の画像において、抽出手段３０により抽出された区画線候補のうち、認識可能な最遠端までの距離である認識距離Ｌが単調減少している区画線候補の確信度を増加させる。【選択図】 図１

Description

本発明は、車両の運転支援等のために、道路の走行区画線を認識する装置、及びそのプログラムに関する。

カメラが撮影した画像から道路の走行区画線を認識し、認識した走行区画線に基づいて車両の走行支援をする技術や、認識した走行区画線を車両が逸脱した場合に警告する技術が提案されている。このような技術を実現するためには、自車両が走行する本線道路に対して分岐路がある場合に、分岐路を判定し、本線を区分する走行区画線を認識する必要がある。そのため、分岐路を判定する装置が提案されている。

例えば、特許文献１に記載の車線認識装置では、前回検出された走行区画線の検出位置の周囲を探索して今回の区画線を検出し、今回検出した左右の走行区画線間の道幅が所定範囲から外れている場合に、自車両の推定軌跡と平行度が低い方の走行区画線を分岐路と判定している。

特開２００６−３３１３８９号公報

特許文献１に記載の装置では、自車両の推定軌跡との平行度を算出しなければ、分岐路の判定を行うことができない。そのため、上記装置では、道幅が緩やかに広がる分岐路では分岐路を判定できるが、例えば北米の交差点や日本の市街地の分岐路のように急激に車幅が広がる分岐路では、分岐路の区画線を見失って、分岐路を判定できないおそれがある。

本発明は、上記実情に鑑み、急な分岐路であっても高精度に分岐路を判定することが可能な走行区画線認識装置を提供することを主たる目的とする。

上記課題を解決するため、請求項１に記載の発明は走行区画線認識装置であって、車載カメラによりフレーム毎に撮影された車両周辺の道路の画像に基づいて、前記道路の区画線の候補である区画線候補を検出する検出手段と、前記検出手段により検出された前記区画線候補が分岐路の区画線である確信度を算出し、算出した前記確信度に基づいて、前記区画線候補が分岐路の区画線であるか判定する分岐判定手段と、を備え、前記分岐判定手段は、所定フレーム数の前記画像において、前記検出手段により検出された前記区画線候補のうち、認識可能な最遠端までの距離である認識距離が単調減少している前記区画線候補の前記確信度を増加させる。

請求項１に記載の発明によれば、車載カメラによりフレーム毎に撮影された車両周辺の画像に基づいて、道路の区画線の候補である区画線候補が検出される。そして、検出された区画線候補が分岐路の区画線である確信度が算出され、算出された確信度に基づいて、分岐路の区画線か判定される。このとき、所定フレーム数の画像において、認識可能な最遠端までの距離である認識距離が単調減少している区画線候補は、分岐路の区画線である確信度が増加させられる。

車両の前方に分岐路がある場合、分岐路の区画線の認識距離は、緩やかな分岐路か急な分岐路かに関わらず、車両が分岐路に近づくのに応じて短くなる。よって、所定フレーム数の画像における区画線候補の認識距離の変化を用いれば、従来よりも早い時点で前方に分岐路が存在することを判定できる。したがって、認識距離が単調減少している区画線候補について、分岐路の区画線である確信度を増加させることにより、車線幅が急激に増加する急な分岐路であっても、高精度に分岐路を判定することができる。

また、請求項３に記載の発明は走行区画線認識装置であって、車載カメラによりフレーム毎に撮影された車両周辺の道路の画像に基づいて、前記道路を区画する区画線候補を検出する検出手段と、前記検出手段により検出された前記区画線候補が分岐路の区画線である確信度を算出し、算出した前記確信度に基づいて、前記区画線候補が分岐路の区画線であるか判定する分岐判定手段と、を備え、前記分岐判定手段は、所定フレーム数の前記画像において、前記検出手段により検出された前記区画線候補のうち、曲率が単調変化している前記区画線候補の前記確信度を増加させる。

請求項３に記載の発明によれば、所定フレーム数の画像における区画線候補の認識距離の変化の代わりに、所定フレーム数の画像における区画線候補の曲率の変化が用いられる。車両の前方に分岐路がある場合、分岐路の区画線の曲率は、緩やかな分岐路か急な分岐路かに関わらず、車両が分岐路に近づくのに応じて単調変化する。よって、所定フレーム数の画像における区画線候補の曲率の変化を用いれば、従来よりも早い時点で前方に分岐路が存在することを判定できる。したがって、曲率が単調変化している区画線候補について、分岐路の区画線である確信度を増加させることにより、車線幅が急激に増加する急な分岐路であっても、高精度に分岐路を判定することができる。

走行区画線認識装置の構成を示すブロック図。 車載カメラの配置を示す車両の側面図。 分岐路の１例を示す図。 分岐路の他の例を示す図。 白線を認識する処理手順を示すフローチャート。 分岐路を有する道路を示す図。 認識距離の変化と曲率の変化を示す図。 分岐判定をしない場合に認識する白線を示す図。 分岐判定をした場合に認識する白線を示す図。

以下、走行区画線認識装置を具現化した実施形態について、図面を参照しつつ説明する。本実施形態に係る走行区画線認識装置により認識された走行区画線は、レーンキープアシスト制御（ＬＫＡ制御）やレーン逸脱警報等の走行支援に用いられる。

まず、図１を参照して、本実施形態に係る走行区画線認識装置２０の構成について説明する。本実施形態に係る走行区画線認識装置２０は、車載カメラ１０により撮影された画像を用いて、道路の白線（区画線）を認識する車載装置である。

車載カメラ１０は、ＣＣＤカメラ、ＣＭＯＳイメージセンサ、近赤外線カメラ等の少なくとも１つから構成されている。車載カメラ１０は、図２に示すように、自車両７０の前方の道路を含む周辺環境を撮影するように、自車両７０に搭載されている。詳しくは、車載カメラ１０は、自車両７０のフロントガラスの上端付近に設置されており、車両前方へ向けて所定角度範囲で広がる領域をフレーム毎に撮影する。車載カメラ１０は、１秒間に決められたフレーム数の画像を撮影する。なお、車載カメラ１０は、ステレオカメラや、複数のカメラから構成されていてもよい。

走行区画線認識装置２０は、ＣＰＵ、ＲＡＭ、ＲＯＭ及びＩ／Ｏ等を備えたコンピュータである。ＣＰＵが、ＲＯＭにインストールされている走行区画線認識プログラムを実行することにより、白線検出手段３０、分岐判定手段４０、白線認識手段５０の各種機能を実現する。なお、記憶媒体に記憶されている走行区画線認識プログラムを、コンピュータに読み込んでもよい。

白線検出手段３０は、設定手段３１を含み、車載カメラ１０によりフレーム毎に撮影された自車両７０の周辺画像に基づいて、エッジ点を抽出し、抽出したエッジ点から、複数の組の白線候補（区画線候補）を抽出する。設定手段３１は、白線候補を検出する際、すなわち白線候補のエッジ点を抽出する際に、過去のフレームで認識された白線や、自車両７０の近傍で認識された白線を中心として、画像における白線候補の抽出領域を設定する。これにより、必要最低限の抽出領域が設定され、処理負荷が軽減される。

そして、白線検出手段３０は、複数の組の白線候補の中から最も白線らしい一対の白線候補を選択する。最も白線らしい白線候補とは、白線の複数の特徴を備えている度合が最も高い白線候補である。白線の複数の特徴としては、エッジ強度が閾値よりも大きいこと、白線幅が規定の幅に近いこと等が挙げられる。

分岐判定手段４０は、分岐特徴算出手段４１及び分岐特徴統合手段４２を含み、白線検出手段３０により検出された白線候補が分岐路の白線であるか否か判定する。分岐特徴算出手段４１は、白線検出手段３０により検出された白線候補が、分岐路の白線である尤もらしさ（尤度）を算出する。分岐特徴算出手段４１は、分岐路の複数の特徴のそれぞれについて、特徴を備えている度合が高いほど、分岐路の白線である尤度を高く算出する。分岐路の複数の特徴としては、左右の白線候補の平行度が低いこと、所定フレーム数の画像において認識距離Ｌが単調減少していること、所定フレーム数の画像において曲率ρが単調変化していること等が挙げられる。認識距離Ｌは、白線候補の直線部分における認識可能な最遠端までの距離である。

図３及び図４に、左右の白線の間隔である車線幅が急激に増加する急な分岐路の例を示す。自車両７０の前方に分岐路がある場合、分岐路の白線を示す白線候補の認識距離Ｌは、緩やかな分岐路か急な分岐路かに関わらず、車両が分岐路に近づくほど短くなる。また、自車両７０の前方に分岐路がある場合、分岐路の白線を示す白線候補の曲率ρの絶対値は、緩やかな分岐路か急な分岐路かに関わらず、車両が分岐路に近くづくのに応じて単調増加（単調変化）する。

設定手段３１は、取得されている認識距離Ｌの変化、及び曲率ρの変化の少なくとも一方に基づいて、画像における白線候補の抽出領域を設定する。詳しくは、設定手段３１は、現時点よりも少し前の時点で取得されている認識距離Ｌが単調減少している場合や、曲率ρが単調変化している場合に、前方に分岐路がある確率が高いので、分岐路の白線を抽出できるように抽出領域を横方向に拡大する。これにより、必要最低限の抽出領域で処理負荷を軽減しつつ、急な分岐路の白線候補であっても、抽出領域から外れることを抑制できる。

分岐特徴統合手段４２は、分岐特徴算出手段４１により算出された各分岐路の特徴に対応する尤度を統合し、分岐統合尤度を算出する。算出された分岐統合尤度は、白線候補が分岐路の白線である確信度を表す。詳しくは、分岐特徴統合手段４２は、尤度Ａと尤度Ｂとを統合する場合、Ｘ＝Ａ・Ｂ／[Ａ・Ｂ＋（１−Ａ）・（１−Ｂ）]の式を用いて、分岐統合尤度Ｘを算出する。尤度Ａ，Ｂ及び分岐統合尤度Ｘは０〜１の値である。さらに尤度Ｃを統合する場合は、上式において、尤度Ａと尤度Ｂを統合した分岐統合尤度ＸをＡ、尤度ＣをＢとして、尤度Ａ，Ｂ，Ｃの分岐統合尤度Ｘを算出する。このように、３つ以上の尤度を統合する場合は、順次尤度を統合すればよい。分岐判定手段４０は、分岐特徴統合手段４２により算出された分岐統合尤度に基づいて、白線候補が分岐路の白線であるか判定する。

白線認識手段５０は、分岐判定手段４０により分岐路の白線と判定された白線候補を、白線として認識する認識対象から除外する。これにより、選択した左右一対の白線候補が、本線道路の白線と分岐路の白線であった場合、本線道路の白線である白線候補は認識され、分岐路の白線である白線候補は認識されない（図８、９参照）。

次に、白線を認識する処理手順について、図５のフローチャートを参照して説明する。本処理手順は、走行区画線認識装置２０がフレーム毎に繰り返し実行する。

まず、車載カメラ１０により撮影された画像を取得する（Ｓ１０）。そして、取得した画像を道路の上方から見た平面画像に変換し、以下の処理を行う。Ｓ１０で取得した画像に対して、sobelフィルタ等のフィルタを使用して、画像の水平方向に輝度変化率が大きいエッジ点を抽出する（Ｓ１１）。抽出したエッジ点を例えばハフ変換し、複数の組の左右の白線候補を算出し、その中から最も白線らしい一対の白線候補を選択する（Ｓ１２）。

続いて、Ｓ１２で選択した左右の白線候補について、それぞれ分岐路の白線である尤度を算出して、分岐判定を行う。まず、分岐路の白線である尤度の１つである平行度尤度を算出する（Ｓ１３）。詳しくは、左右の白線候補のヨー角θをそれぞれ算出する。算出した左右のヨー角θの差分は、左右の白線候補の平行度を表す。ヨー角θの差分が小さいほど高い平行度を表し、ヨー角θの差分がゼロのときに最も高い平行度を表す。左右の白線候補の一方が分岐路の白線である場合、左右の白線候補の平行度は低くなる。よって、平行度が低いほど、すなわちヨー角θの差分が大きいほど、平行度尤度を高く算出する。

次に、分岐路の白線である尤度の１つである曲率乖離量尤度を算出する（Ｓ１４）。まず、左右の白線候補のそれぞれについて曲率ρを算出する。ここでは、左側に曲がっている場合の曲率を正、右側に曲がっている場合の曲率を負とする。そして、左右の白線候補のそれぞれについて、過去のフレームの画像における白線の曲率ρに対する白線候補の曲率ρの乖離量、すなわち曲率ρの変化量を算出する。

さらに、直近の所定フレーム数の画像における曲率ρの乖離量をみる。本線道路に対して分岐路がある場合、分岐地点前での白線の曲率半径は無限大であり、分岐地点では先に進むほど白線の曲率半径は小さくなる。そのため、分岐路の白線である白線候補から算出される曲率ρの絶対値は、分岐路に近づいたフレームの画像ほど大きくなる。これに対して、本線道路の白線である白線候補から算出される曲率ρの絶対値は、直近の所定フレーム数の画像において単調変化することはない。

よって、所定フレーム数の画像における曲率ρの絶対値が単調増加している場合に、この後算出する分岐統合尤度を増加させるように、曲率乖離量尤度を算出する。詳しくは、所定フレーム数の画像における曲率ρの絶対値が単調増加している場合に、曲率乖離量尤度を、分岐統合尤度が判定閾値以上になるような値に算出する。

次に、分岐路の白線である尤度の１つである認識距離尤度を算出する（Ｓ１５）。詳しくは、白線候補の直線部分の長さ、すなわち認識距離Ｌを算出する。認識距離Ｌは、白線候補の直線部分の最遠端までの距離であり、最遠端よりも遠方側では直線上にエッジ点は抽出されない（図６参照）。

そして、直近の所定フレーム数の画像における認識距離Ｌの変化をみる。本線道路に対して分岐路がある場合、分岐路の白線である白線候補から算出される認識距離Ｌは、分岐路に近づいたフレームの画像ほど短くなる。これに対して、本線道路の白線である白線候補から算出される認識距離Ｌは、直近の所定フレーム数の画像において、白線が実線であればほとんど変化しないし、白線が破線であれば増減する。

よって、所定フレーム数の画像における認識距離Ｌが単調減少している場合に、この後算出する分岐統合尤度を増加させるように、認識距離尤度を算出する。詳しくは、所定フレーム数の画像における認識距離Ｌが単調減少している場合に、認識距離尤度を、分岐統合尤度が判定閾値以上になるような値に算出する。なお、所定フレーム数の画像は、直近の所定フレーム数の画像に限らず、現時点までに取得されているフレームの画像から適宜選択した所定フレーム数の画像であればよい。

次に、分岐統合尤度を算出する（Ｓ１６）。すなわち、Ｓ１３で算出した平行尤度、Ｓ１４で算出した曲率乖離量尤度、Ｓ１５で算出した認識距離尤度を統合して、分岐統合尤度を算出する。

続いて、Ｓ１６で算出した分岐統合尤度が０．５（５０％）以上か否か判定する（Ｓ１７）。分岐統合尤度が０．５（５０％）未満の場合は（Ｓ１７：ＮＯ）、白線候補は分岐路の白線ではないと判定し、分岐統合尤度が０．５（５０％）以上の場合は（Ｓ１７：ＹＥＳ）、白線候補は分岐路の白線であると判定する。なお、Ｓ１７の判定では、判定閾値を０．５（５０％）としているが、０．５（５０％）に限らず他の値にしてもよい。

白線候補が分岐路の白線ではないと判定した場合は、この白線候補を認識対象から除外しないで、通常の白線認識を行う（Ｓ１８）。すなわち、選択した左右の白線候補を道路の左右の白線として認識する。

一方、白線候補が分岐路の白線であると判定した場合は、認識対象からこの白線候補を除外する（Ｓ１９）。すなわち、選択左右の白線候補の一方が分岐路の白線である場合は、分岐路の白線である白線候補を認識しないで、本線道路の白線である白線候補のみを認識する。

続いて、白線の認識結果、すなわち算出した道路パラメータを車両ＥＣＵへ出力する（Ｓ２０）。左右の白線候補を白線として認識した場合には、左右の白線候補から算出した道路パラメータを車両ＥＣＵへ出力する。また、片方の白線候補のみを認識した場合には、片方の白線候補から算出した道路パラメータを車両ＥＣＵへ出力する。以上で、本処理を終了する。

図６に前方に分岐路がある道路を示し、図７（ａ），（ｂ）に、図６に示す道路を分岐路の手前側から走行した場合における右白線候補の認識距離Ｌの時間変化と、右白線候補の曲率ρの時間変化をそれぞれ示す。図７（ａ），（ｂ）では、横軸が時間を表し、認識距離Ｌ及び曲率ρは、０の位置から時間の経過とともに右へ移動し、Ｎの位置まで到達すると、再び０の位置に戻る。また、図７（ａ），（ｂ）では、Ｐの位置が現時点を表し、Ｐの位置の直近の右側が最も古いフレームの画像から算出した値を示しており、Ｐの位置の直近の左側が現時点の直前のフレームの画像から算出した値を示している。なお、現時点の自車両７０の位置は、分岐路の手前側である。

図７（ａ）に示すように、現時点よりも少し前の時点から現時点までの期間で、認識距離Ｌが単調減少している。このとき認識距離尤度が高く算出され、分岐統合尤度が０．５以上となって、右白線候補が分岐路の白線と判定される。ここで、認識距離Ｌが単調減少した後、右白線候補が抽出領域から外れて右白線候補を見失ったとしても、認識距離Ｌの単調減少に基づいて、右白線候補を分岐路の白線と判定できる。また、図７（ｂ）に示すように、現時点よりも少し前の時点から現時点までの期間で、曲率ρの絶対値が単調増加している。このとき曲率乖離尤度が高く算出され、分岐統合尤度が０．５以上となって、右白線候補が分岐路の白線と判定される。

次に、図８に、分岐判定を行わない場合に認識する白線を示し、図９に分岐判定を行う場合に認識する白線を示す。分岐判定を行わない場合、本線道路に対して分岐路があるときに、分岐路の白線と本線道路の白線の両方が認識され、車両ＥＣＵにより、分岐路の白線と本線道路の白線の両方に基づいて走行支援が行われる。そのため、車両は、不安定な走行支援を受けることになる。

これに対して、分岐判定を行う場合、本線道路に対して分岐路があるときでも、本線道路の白線のみが認識され、車両ＥＣＵにより、本線道路の白線のみに基づいて走行支援が行われる。そのため、車両は、本線道路を安定して走行するように走行支援を受けることができる。

以上説明した本実施形態によれば、以下の効果を奏する。

・自車両７０の前方に分岐路がある場合、分岐路の白線を示す白線候補の認識距離Ｌは、緩やかな分岐路か急な分岐路かに関わらず、自車両７０が分岐路に近づくのに応じて短くなる。よって、所定フレーム数の画像における白線候補の認識距離Ｌの変化を用いれば、早い時点で前方に分岐路が存在することを判定できる。したがって、認識距離Ｌが単調減少している白線候補について、分岐統合尤度を増加させることにより、車線幅が急激に増加する急な分岐路であっても、高精度に分岐路を判定することができる。

・自車両７０の前方に分岐路がある場合、分岐路の白線を示す白線候補の曲率ρの絶対値は、緩やかな分岐路か急な分岐路かに関わらず、自車両７０が分岐路に近づくのに応じて単調増加する。したがって、所定フレーム数の画像において、白線候補の曲率ρの絶対値が単調増加している白線候補について、分岐統合尤度を増加させることにより、車線幅が急激に増加する急な分岐路であっても、より高精度に分岐路を判定することができる。

・分岐路の白線と判定された白線候補を認識対象から除外することにより、本線道路の白線を適切に認識することができる。ひいては、認識した本線道路の白線に基づいて、安定した走行支援を行うことができる。

・白線候補を検出する際に、取得されている認識距離Ｌの変化に基づいて、白線候補の抽出領域が設定される。これにより、処理負荷を低減しつつ、前方に急な分岐路がある場合であっても、分岐路の白線候補が抽出領域から外れることを抑制できる。

・白線候補を検出する際に、取得されている曲率ρの変化に基づいて、白線候補の抽出領域が設定される。これにより、処理負荷を低減しつつ、前方に急な分岐路がある場合であっても、分岐路の白線候補が抽出領域から外れることを抑制できる。

（他の実施形態）
・分岐路の判定において、分岐路の白線である尤度として、認識距離尤度のみを算出し、認識距離尤度と判定閾値とを比較して、白線候補が分岐路の白線か否か判定してもよい。また、分岐路の白線である尤度として、曲率乖離尤度のみを算出し、曲率乖離尤度と判定閾値とを比較して、白線候補が分岐路の白線か否か判定してもよい。また、平行度尤度を算出せずに、曲率乖離尤度と認識距離尤度と統合して分岐統合尤度を算出してもよい。また、分岐路の白線である尤度として、平行度尤度、曲率乖離尤度、認識距離尤度以外の尤度を算出て、分岐統合尤度を算出してもよい。

・白線候補の抽出領域は、一定の領域に設定してもよい。また、認識距離Ｌの時間変化や、曲率ρの時間変化以外のパラメータに基づいて設定してもよい。

１０…車載カメラ、２０…走行区画線認識装置、３０…白線検出手段、４０…分岐判定手段、５０…白線認識手段。

Claims (7)

1. 車載カメラ（１０）によりフレーム毎に撮影された車両周辺の道路の画像に基づいて、前記道路の区画線の候補である区画線候補を検出する検出手段（３０）と、
   前記検出手段により検出された前記区画線候補が分岐路の区画線である確信度を算出し、算出した前記確信度に基づいて、前記区画線候補が分岐路の区画線であるか判定する分岐判定手段（４０）と、を備え、
   前記分岐判定手段は、所定フレーム数の前記画像において、前記検出手段により検出された前記区画線候補のうち、認識可能な最遠端までの距離である認識距離が単調減少している前記区画線候補の前記確信度を増加させることを特徴とする走行区画線認識装置。
2. 前記分岐判定手段は、前記所定フレーム数の前記画像において、前記検出手段により検出された前記区画線候補のうち、曲率が単調変化している前記区画線候補の前記確信度を増加させる請求項１に記載の走行区画線認識装置。
3. 車載カメラによりフレーム毎に撮影された車両周辺の道路の画像に基づいて、前記道路を区画する区画線候補を検出する検出手段と、
   前記検出手段により検出された前記区画線候補が分岐路の区画線である確信度を算出し、算出した前記確信度に基づいて、前記区画線候補が分岐路の区画線であるか判定する分岐判定手段と、を備え、
   前記分岐判定手段は、所定フレーム数の前記画像において、前記検出手段により検出された前記区画線候補のうち、曲率が単調変化している前記区画線候補の前記確信度を増加させることを特徴とする走行区画線認識装置。
4. 前記検出手段により検出された前記区画線候補を前記区画線として認識する認識手段（５０）を備え、
   前記認識手段は、前記分岐判定手段により分岐路の区画線と判定された前記区画線候補を、認識対象から除外する請求項１〜３のいずれか１項に記載の走行区画線認識装置。
5. 前記検出手段は、前記区画線候補を検出する際に、取得されている前記認識距離の変化に基づいて、前記画像における前記区画線候補の抽出領域を設定する設定手段（３１）を含む請求項１又は２に記載の走行区画線認識装置。
6. 前記検出手段は、前記区画線候補を検出する際に、取得されている前記曲率の変化に基づいて、前記画像における前記区画線候補の抽出領域を設定する設定手段を含む請求項２又は３に記載の走行区画線認識装置。
7. コンピュータにインストールされるプログラムであって、
   前記コンピュータに、請求項１〜６のいずれかに記載の走行区画線認識装置が備える各手段を実現させることを特徴とする走行区画線認識プログラム。

Images