JP2015149028A - 区画線検出システム及び区画線検出方法 - Google Patents

Abstract

【課題】遠方の区画線の検出精度を向上させること。【解決手段】自車両の周辺を撮像する撮像装置１０を備え、更に、撮像装置１０で撮像された撮像領域内の画像情報に基づいて当該撮像装置から撮像物までの奥行距離情報を抽出する情報抽出部と、奥行距離情報に基づいて、画像情報における自車両の直近の路面領域を除く路面領域で、かつ、自車両よりも遠方の路面領域である遠方路面領域を特定する路面領域特定部と、遠方路面領域の位置に対応する画像情報に基づいて当該遠方路面領域の区画線を検出する区画線検出部と、を区画線検出ＥＣＵ２０に備えること。【選択図】図１

Description

本発明は、自車両の周辺の路面に存在している区画線を検出する区画線検出システム及び区画線検出方法に関する。

従来、この種の検出システムや検出方法が知られている。例えば、下記の特許文献１には、初期状態では自車両の前方の撮像画像上で可能な限り大きく白線検出領域を設定し、その後、道路パラメータが実際の路面形状に近づくよう更新されたならば、なるべく小さな白線検出領域を設定することで、白線以外のものの誤検出を減らしつつ処理速度を向上させる、という技術が開示されている。この技術では、自車両の近傍側から遠方側へと道路パラメータを推定しつつ、その路面形状に沿うように白線検出領域を徐々にずらしていくことによって、遠方の白線を検出している。また、下記の特許文献２には、実線と破線とからなる二重白線をそれぞれの線毎に識別する技術が開示されている。この技術では、二重白線をほぼ直線として近似可能な車両の近傍の領域と、例えば旋回路であるがために二重白線をほぼ直線として近似不可能な車両の遠方の領域と、で識別方法を変えている。この技術では、遠方の領域の二重白線における実線と破線が同化して見えることがあるので、自車両の二重白線であるにも拘わらず、ノイズとして判断されてしまう可能性がある。また、下記の特許文献３には、撮像画像中の消失点（レンズ焦点と撮像面とで予め決まるもの）から自車両側に向けて放射方向にエッジ強度のヒストグラムを算出し、そのエッジ強度が閾値以上となる方向を特定することで、その方向に白線が存在していると判定する、という技術が開示されている。また、下記の特許文献４には、１フレーム毎に撮像画像上の白線エッジを記録するが、自車両にピッチ変動が生じたときのフレームの白線エッジは記録しない、という技術が開示されている。尚、下記の特許文献５には、自車両の前方の撮像画像上に設定した近傍領域と遠方領域のそれぞれの計測点の解析結果に基づいて、自車両を交差点等へ進入させる際に交差路等から近づいてくる他車両を検出する、という技術が開示されている。この技術では、遠方領域の計測点の密度を近傍領域の計測点の密度よりも密に設定している。また、下記の特許文献６には、自車両と前方車両との距離に応じて、自車両の前方の撮像画像上における前方車両のエッジを抽出するためのフィルタを変更する、という技術が開示されている。

特開２００３−１１８５２１号公報 特開２０１２−０１４３９８号公報 特開２０１０−０６０３７１号公報 特開２０１１−１７０７５０号公報 特開２００７−２８６７２４号公報 特開２００１−１０１４２８号公報

ところで、区画線を手前から遠方へと順次検出しながら路面形状を順次推定していく技術では、例えば、建築物等の立体物の陰によって区画線の輝度値が低下させられたり、他車両や自転車等によって区画線が隠れたり、区画線が波線形状であったりするなど、区画線が連続して検出されずに、路面形状が上手く推定できなくなることがある。そして、このような場合には、情報不足や撮像画像上の誤った領域の解析によって途中で区画線を検出することができなくなる可能性がある。よって、遠方の区画線の検出精度を向上させる余地がまだまだ残っている。

そこで、本発明は、かかる従来例の有する不都合を改善し、遠方の区画線の検出精度を向上させることが可能な区画線検出システム及び区画線検出方法を提供することを、その目的とする。

上記目的を達成する為、本発明に係る区画線検出システムは、自車両の周辺を撮像する撮像装置と、前記撮像装置で撮像された撮像領域内の画像情報に基づいて当該撮像装置から撮像物までの奥行距離情報を抽出する情報抽出部と、前記奥行距離情報に基づいて、前記画像情報における自車両の直近の路面領域を除く路面領域で、かつ、自車両よりも遠方の路面領域である遠方路面領域を特定する路面領域特定部と、前記遠方路面領域の位置に対応する画像情報に基づいて当該遠方路面領域の区画線を検出する区画線検出部と、を備えることを特徴としている。

ここで、前記区画線検出部が前記区画線を検出するための検出条件を算出する検出条件算出部を設け、前記路面領域特定部は、前記奥行距離情報に基づいて、前記画像情報における自車両の前記直近の路面領域を特定し、かつ、前記画像情報にて前記遠方路面領域と前記直近の路面領域との間に存在している中間の路面領域を特定し、前記検出条件算出部は、前記遠方路面領域における区画線を検出するための第１検出条件と、前記直近の路面領域における区画線を検出するための第２検出条件と、を算出し、該第１及び第２の検出条件に基づいて前記中間の路面領域における区画線を検出するための第３検出条件を算出することが望ましい。

また、前記検出条件算出部は、前記直近の路面領域と前記中間の路面領域と前記遠方路面領域における各々の区画線のエッジ強度に基づいて、前記直近の路面領域と前記中間の路面領域と前記遠方路面領域における各々の前記検出条件を算出することが望ましい。

また、前記路面領域特定部は、前記遠方路面領域で区画線が検出されなかった場合、該遠方路面領域よりも自車両側に新たな遠方路面領域を特定することが望ましい。

更に、上記目的を達成する為、本発明に係る区画線検出方法は、自車両の周辺を撮像する撮像装置で撮像された撮像領域内の画像情報に基づいて当該撮像装置から撮像物までの奥行距離情報を抽出する抽出工程と、前記奥行距離情報に基づいて、前記画像情報における自車両の直近の路面領域を除く路面領域で、かつ、自車両よりも遠方の路面領域である遠方路面領域を特定する特定工程と、前記遠方路面領域の位置に対応する画像情報に基づいて当該遠方路面領域の区画線を検出する区画線検出工程と、を備えることを特徴としている。

本発明に係る区画線検出システム及び区画線検出方法では、従来のように自車両の直近の路面領域から遠方の路面領域に向かって順次区画線の検出及び走行路の路面形状の推定を実施せずとも、上記の遠方路面領域における自車両の区画線の検出を行うことができる。このため、この区画線検出システム及び区画線検出方法においては、途中から路面形状の推定が上手くいかなかった等の理由によって、自車両から離れた場所での自車両の区画線の検出ができなくなるという事態を回避することができる。よって、この区画線検出システム及び区画線検出方法は、遠方の区画線の検出精度を向上させることができる。また、従来は、路面形状が上手く推定できなかった場合、誤った領域に対して区画線の検出処理を実施してしまう。しかしながら、この区画線検出システム及び区画線検出方法は、そのような誤認による演算処理の実施が低減されるので、遠方の区画線の検出精度を向上させることができると共に、演算処理の負荷の軽減や時間の短縮を図ることができる。

図１は、本発明に係る区画線検出システムの構成の一例を示す図である。 図２は、路面推定領域について説明する図である。 図３は、Ｖ−ｄｉｓｐａｒｉｔｙ曲線について説明する図である。 図４は、遠方路面領域の特定について説明する図である。 図５は、区画線の検出処理について説明する図である。 図６は、図５のＡ部における区画線の検出処理について説明する図である。 図７は、区画線の検出処理について説明する図である。 図８は、区画線の検出処理について説明する図である。 図９は、路面形状の推定について説明する図である。 図１０は、検出条件算出領域について説明する図である。 図１１は、本発明に係る区画線検出システムの演算処理動作の一例を説明するフローチャートである。 図１２は、検出条件を推定する際の路面領域について説明する図である。

以下に、本発明に係る区画線検出システム及び区画線検出方法の実施例を図面に基づいて詳細に説明する。尚、この実施例によりこの発明が限定されるものではない。

［実施例］
本発明に係る区画線検出システム及び区画線検出方法の実施例を図１から図１１に基づいて説明する。

図１の符号１は、本実施例の区画線検出システムを示す。この区画線検出システム１は、取得した自車両の周辺情報に基づいて区画線を検出するものである。ここで例示する区画線とは、自車両の周辺の路面における白線や黄線等の車線境界線のことである。

この区画線検出システム１は、自車両の周辺情報を取得する周辺情報取得部と、その取得した周辺情報に基づいて路面領域を特定する路面領域特定部と、その特定された路面領域における区画線を検出する区画線検出部と、を備える。

周辺情報取得部とは、路面と区画線と立体物（他車両や建築物等）と背景（空等）との識別が可能な自車両の周辺情報を取得できるものである。本実施例においては、この周辺情報取得部に撮像装置１０を利用する。ここで用いる撮像装置１０とは、自車両の周辺を撮像し、その撮像領域における路面と区画線との識別及び路面と立体物と背景との識別が可能な画像情報を自車両の周辺情報として取得することができるものである。その画像情報とは、撮像領域における輝度値情報を持つ画素の集合である。このため、この画像情報からは、撮像領域の画像（以下、「撮像画像」という。）の各位置を輝度毎に表した輝度画像が得られる。ここで、路面と区画線との識別は、撮像領域内の画像情報に含まれる輝度値情報（具体的には、それぞれの画素に含まれている輝度値情報であって、この撮像領域の輝度画像）に基づいて行うことができる。また、路面と立体物と背景との識別は、その画像情報から抽出される奥行距離情報に基づいて行うことができる。また、その奥行距離情報は、路面と区画線との識別に利用することもできる。その奥行距離情報に基づいた路面と区画線との識別は、この技術分野における周知の方法で実施することができる。

ここで、奥行距離情報とは、撮像装置１０から撮像画像内における撮像物までの奥行の距離を表す情報のことである。その奥行距離の方向は、例えば撮像画像の水平方向（横方向）及び垂直方向（縦方向）を各々Ｘ座標及びＹ座標と定義した場合に、そのＸＹ平面に直交する方向であり、かつ、撮像装置１０の撮像方向において当該撮像装置１０から遠方に向かって離れていく方向のことである。このため、撮像装置１０には、少なくとも自車両の進行方向を撮像させる。

その様々な識別を行うために、撮像装置１０には、輝度値情報を有する画像情報が得られ、かつ、その画像情報に基づいて奥行距離情報が得られるものを用いる。よって、この例示では、その撮像装置１０としてステレオカメラを利用する。何故ならば、ステレオカメラを用いた場合には、左側カメラ１１と右側カメラ１２とでそれぞれに同一撮像領域内の画像情報を取得することができるので、後述するように、そのそれぞれの画像情報から当該撮像領域内の視差値情報を得ることができ、その視差値情報に基づいて奥行距離情報を算出することができるからである。尚、ここでは周辺情報取得部（撮像装置１０）にステレオカメラを利用しているが、この周辺情報取得部としては、輝度値情報が含まれた画像情報を取得でき、かつ、路面と区画線と立体物と背景との識別が可能な自車両の周辺の撮像物までの奥行距離情報を取得できるのであれば、単眼カメラを利用してもよい。単眼カメラを用いる場合には、この技術分野における周知の方法で奥行距離情報を算出すればよい。

この区画線検出システム１は、区画線検出ＥＣＵ２０を備える。その区画線検出ＥＣＵ２０とは、この区画線検出システム１においての演算処理を担っている電子制御装置である。この区画線検出ＥＣＵ２０には、撮像装置１０で撮像された撮像領域内の画像情報（左側カメラ１１の画像情報と右側カメラ１２の画像情報）が入力される。この区画線検出ＥＣＵ２０は、その左側カメラ１１と右側カメラ１２のそれぞれの画像情報に基づいて撮像領域内における視差値情報を取得し、この視差値情報に基づいて奥行距離情報を算出する。そして、この区画線検出ＥＣＵ２０は、その奥行距離情報に基づいて撮像画像内における自車両よりも遠方の路面領域を特定し、この遠方の路面領域内における輝度値情報に基づいて当該路面領域内の区画線を検出する。よって、本実施例の路面領域特定部と区画線検出部は、この区画線検出ＥＣＵ２０の演算処理機能の１つとして設けている。

区画線検出部は、特定された路面領域（例えば後述する遠方路面領域）の位置に対応する画像情報と当該画像情報に含まれる輝度値情報と当該特定された路面領域の位置に対応する奥行距離情報（視差値情報）の内の少なくとも１つに基づいて、その特定された路面領域の区画線を検出する。この例示の区画線検出部は、撮像領域内の画像情報（左側カメラ１１と右側カメラ１２の内の何れか一方の画像情報）を利用して、路面と区画線とを識別する。つまり、この例示では、その画像情報に含まれる輝度値情報を利用して、路面と区画線とを識別する。一方、路面領域特定部は、撮像領域内の画像情報（左側カメラ１１の画像情報と右側カメラ１２の画像情報）に基づき抽出された奥行距離情報（視差値情報）を利用して、路面と立体物と背景とを識別する。このため、区画線検出ＥＣＵ２０には、撮像装置１０で撮像された画像情報から視差値情報や奥行距離情報を抽出する情報抽出部を設ける。

情報抽出部には、この技術分野における周知の方法によって奥行距離情報（視差値情報）を算出させる。例えば、この例示の情報抽出部には、左側カメラ１１と右側カメラ１２のそれぞれの画像情報に基づいて、撮像領域の視差画像を算出させる。その視差画像とは、撮像領域内における視差値情報を持つ画素の集合として表されたものであり、左側カメラ１１の画像情報と右側カメラ１２の画像情報の内の何れか一方の画像情報（以下、「基準画像情報」という。）における座標毎の視差を示している。よって、情報抽出部は、左側カメラ１１と右側カメラ１２のそれぞれの画像情報に基づいて、撮像領域内の視差値情報を得ることができる。その視差値と奥行距離との間には一意の対応関係が存在しているので、この情報抽出部は、その視差値情報に基づいて撮像領域内の奥行距離情報を得ることができる。

本実施例の路面領域特定部は、その撮像領域内の奥行距離情報（視差値情報）に基づいて、基準画像情報の中から一部又は全部の路面領域を特定することができる。

この例示の路面領域特定部には、図２の上図に示すように基準画像情報を複数に分割させ、情報抽出部が算出した奥行距離情報（視差値情報）に基づいて、図３に示すような座標Ｖ（前述したＹ座標に対応する座標）に対する奥行距離（視差値）の曲線を生成させる。その図３では、Ｖ−ｄｉｓｐａｒｉｔｙ曲線を例示する。そのＶ−ｄｉｓｐａｒｉｔｙ曲線とは、基準画像情報における垂直方向（縦方向）の座標Ｖを縦軸に投影し、かつ、その座標Ｖに対応する視差（ｄｉｓｐａｒｉｔｙ）の値を横軸に投影した２次元平面上の曲線である。そして、この路面領域特定部には、そのＶ−ｄｉｓｐａｒｉｔｙ曲線の傾きや切片に基づいて基準画像情報においての路面と立体物と背景とを推定させる。そのＶ−ｄｉｓｐａｒｉｔｙ曲線においては、立体物や背景であれば、画像奥行方向の距離が変わらないので視差の値がほぼ一定になり、路面であれば、画像奥行方向の距離が変わるので、視差の値が変化する。よって、路面領域特定部は、Ｖ−ｄｉｓｐａｒｉｔｙ曲線においての座標Ｖに応じた視差（ｄｉｓｐａｒｉｔｙ）の値に基づいて、路面と立体物と背景とを識別することができる。ここで、基準画像情報の分割方向については、略垂直方向（略縦方向）に設定する。図２の上図の例示では、縦方向に分割している。路面領域特定部は、例えば、そのそれぞれの分割領域（分割された区画）において、遠方側から自車両側へと垂直方向（縦方向）に走査しながら２次元平面上に座標Ｖ毎の視差（ｄｉｓｐａｒｉｔｙ）の値を投影することで、基準画像情報におけるＶ−ｄｉｓｐａｒｉｔｙ曲線を生成する。その際、路面領域特定部は、例えば、左端の分割領域から右端の分割領域に向けて又は右端の分割領域から左端の分割領域に向けて分割領域毎に順次視差の値の投影を行っていく。

このようにして、路面領域特定部には、先ず、奥行距離情報（視差値情報）を利用して基準画像情報における路面と立体物と背景とを識別させる。つまり、この例示では、基準画像情報の中の路面であると推定される領域（以下、「路面推定領域」ともいう。）を奥行距離情報（視差値情報）に基づいて検出する（図２の下図）。よって、区画線検出ＥＣＵ２０においては、この後の演算処理の対象となる領域を基準画像情報における路面推定領域とその周辺の領域とに狭めることができるので、後工程の演算処理に関する負荷の軽減と時間の短縮を図ることができる。図２の下図では、説明の便宜上、路面推定領域以外の領域をハッチングで塗りつぶしている。

次に、路面領域特定部には、画像情報（基準画像情報）における一部を区画線の検出対象となる領域（以下、「区画線の検出対象領域」という。）として特定させる。例えば、路面領域特定部には、画像情報（基準画像情報）における自車両の直近の路面領域を除く路面領域で、かつ、自車両よりも遠方の路面領域（以下、「遠方路面領域」という。）を区画線の検出対象領域として特定させる。

具体的には、基準画像情報における路面推定領域の内、自車両の進行方向における直近の路面推定領域を除いた残りの領域から遠方路面領域を特定する。その直近の路面領域とは、自車両の走行路の路面形状（曲率等）を把握せずとも従来の方法で区画線の検出が可能な自車両の近傍の路面領域のことである。つまり、遠方路面領域とは、従来は自車両の走行路の路面形状を推定した上で特定していた進路上の路面領域のことであるといえる。尚、この路面領域特定部は、その路面推定領域の全体を区画線の検出対象領域として特定することもできる。

例えば、路面領域特定部には、自車両の速度に基づいて、その速度が高いほど、路面推定領域の中でも自車両から離れている位置（基準画像情報における上側）を区画線の検出対象領域としての遠方路面領域に特定させることができる。その位置（つまり画像奥行方向における自車両と路面との距離）は、例えば自車両の速度に応じて予め決めておけばよい。尚、自車両と走行路上の各位置との距離は、前述した奥行距離情報であり、視差値情報から算出される。

路面領域特定部は、基準画像情報における少なくとも路面推定領域とその周囲の領域を走査領域とし、その走査領域を走査した際に得た奥行距離情報（視差値情報）に基づいて、区画線の検出対象領域を特定する。路面領域特定部は、例えば、座標Ｖ毎に水平方向（横方向）の分割領域を設定し、走査領域におけるそれぞれの分割領域において、左端から右端に向けて又は右端から左端に向けて水平方向（横方向）に走査してもよい。その際には、例えば、走査領域における遠方側の分割領域から自車両側の分割領域に向けて又は走査領域における自車両側の分割領域から遠方側の分割領域に向けて、分割領域毎に順次水平方向（横方向）の走査を行う。

例えば、路面領域特定部には、その走査領域（路面推定領域とその周囲の領域）の走査によって得た奥行距離情報（視差値情報）に基づいて、基準画像情報における変化点の収束する位置（以下、「変化点収束部」という。）を検出させる。その変化点とは、基準画像情報において路面と立体物及び背景とが切り替わる位置のことである。そして、この路面領域特定部には、その変化点収束部よりも下側（自車両側）の路面推定領域を区画線の検出対象領域としての遠方路面領域に特定させる（図４）。図４では、説明の便宜上、図２に示す路面推定領域以外の領域のみならず、その路面推定領域における遠方路面領域以外の領域についてもハッチングで塗りつぶしている。

一方、例えば、自車両の走行路が平坦路若しくは降坂路から登坂路に変化する場合又は降坂路から平坦路に変化する場合、基準画像情報においては、その下端又は下部から上端に至るまで路面推定領域が続くことがあるので、変化点収束部が検出されない。このため、路面領域特定部には、その走査領域（路面推定領域とその周囲の領域）を走査した際に変化点収束部が検出されなかった場合、基準画像情報において最も上方で検出された路面と立体物及び背景との変化点を抽出させ、この変化点の周囲の路面推定領域を区画線の検出対象領域としての遠方路面領域に特定させればよい。

また、路面領域特定部には、例えば、上記のように走査領域（路面推定領域とその周囲の領域）を垂直方向（縦方向）に走査させながら、その走査点が自車両の速度に応じて予め決めてある画像奥行方向における自車両と路面との距離まで到達した場合、その位置を区画線の検出対象領域としての遠方路面領域に特定させることができる。

ここで、区画線の検出対象領域を特定するに際して、路面領域特定部は、基準画像情報における左右何れかの端部又は内側等のどの場所を起点にして水平方向（横方向）に走査してもよい。しかしながら、この例示では、先に説明したように、基準画像情報の中の路面であると考えられる領域（路面推定領域）について、その場所が何処なのか奥行距離情報（視差値情報）に基づき既に当たりが付けられている。このため、路面領域特定部には、左記に例示したように、基準画像情報における路面推定領域の位置に応じた場所から走査させることによって、区画線の検出対象領域としての遠方路面領域を特定させることが望ましい。

例えば、基準画像情報の下端又は下部には、自車両の走行路の形状に拘わらず路面推定領域が含まれている。よって、路面領域特定部は、基準画像情報の下端又は下部から上方に向けて路面推定領域やその周辺の領域を走査することで、区間線が存在し得ない領域に対する無駄な演算処理を軽減することができる。

また、この路面領域特定部は、基準画像情報の上端から下方に向けて走査していくことで、下端を起点にして走査するよりも遠方路面領域を早期に特定できる場合もあるので、基準画像情報の上端を起点にして走査してもよい。また、例えば、カーナビゲーションシステムの地図情報と自車位置情報とに基づいて自車両の進路に左旋回路が検出されている場合、基準画像情報においては、左側に路面推定領域が存在している。このため、路面領域特定部は、その基準画像情報における左端から右方へと走査してもよい。これらのように走査の起点を決めることで、この路面領域特定部は、区画線の検出対象領域を特定する際の演算処理の負荷を軽減することができる。

ところで、路面領域特定部には、基準画像情報における所定の区画の路面推定領域を区画線の検出対象領域としての遠方路面領域に特定させてもよい。その所定の区画は、例えば、その基準画像情報を水平方向に分割した各分割領域の中から特定のものが選ばれるように予め決めておく。例えば、路面が直進の平坦路の場合には、撮像装置１０の画角や自車両のピッチ変動の有無等の諸条件にも依るが、その基準画像情報の中央部分に遠方路面領域となり得る路面推定領域が存在していると考えられる。このため、その中央部分が含まれている水平方向の分割領域の中に路面推定領域が存在している場合、路面領域特定部には、その分割領域の路面推定領域を区画線の検出対象領域としての遠方路面領域に特定させる。一方、その分割領域の中に路面推定領域が存在していない場合、路面領域特定部には、この分割領域よりも自車両側の分割領域の中に路面推定領域が存在しているのか否かを判定させる。そして、この路面領域特定部には、路面推定領域が存在していれば、この路面推定領域を区画線の検出対象領域としての遠方路面領域に特定させ、路面推定領域が存在していなければ、更に自車両側の分割領域に対して同様の演算処理を実施させる。

更に、この路面領域特定部には、そのような遠方路面領域だけでなく、前述した直近の路面領域を区画線の検出対象領域として特定させることもできる。その際、路面領域特定部には、既に検出されている路面推定領域の情報を直近の路面領域にそのまま当て嵌めさせてもよく、また、路面推定領域を上述したように再度走査させてから直近の路面領域を特定させてもよい。

尚、この例示では、路面推定領域を自車両に対する遠方の領域と直近の領域とに大別しているので、上記のように路面領域特定部を構成している。しかしながら、路面推定領域を更に細分化した領域に分けて考える場合、路面領域特定部は、その何れの領域に対しても区画線の検出対象領域として特定できるように構成しておくことが望ましい。

本実施例の区画線検出部は、路面領域特定部が特定した区画線の検出対象領域に対して区画線の有無を判定する。この区画線検出部は、その検出対象領域の輝度値情報に基づいて、この検出対象領域における区画線を検出する。この区画線の検出は、この技術分野における周知の方法で実施する。

例えば、この区画線検出部は、エッジ点検出部と、エッジ点ペアリング部と、エッジ線分検出部と、エッジ線分ペアリング部と、区画線選択部と、に分けることができる。

エッジ点検出部には、区画線の検出対象領域におけるエッジ点（明暗の切り替わる点）を検出させる。そのエッジ点の検出は、この技術分野における周知の方法で実施する。

例えば、エッジ点検出部は、図５及び図６の上図に示すように、基準画像情報における少なくとも区画線の検出対象領域を水平方向に走査し、その検出対象領域における各位置の輝度値情報に対して微分フィルタ（例えばｓｏｂｅｌフィルタ等）を用いることで、暗部（主に黒色の部分）から明部（主に白色又は黄色の部分）へと変化する第１エッジ点（上りエッジ点）と明部から暗部へと変化する第２エッジ点（下りエッジ点）のそれぞれのエッジ強度を算出する（図６の下図）。つまり、エッジ点検出部は、基準画像情報における区画線の検出対象領域の中から区画線のエッジ点であると思われる第１エッジ点と第２エッジ点とを検出する。尚、暗部とは、主として路面のアスファルト部分に相当する。一方、明部とは、主として路面に塗られた区画線に相当する。

ここで、エッジ強度の小さいエッジ点は、その前後のコントラストが弱い所を表しており、例えば、ノイズや路面の汚れ等の区画線以外の要因により検出されたものであるのか、それとも区画線の部分的なかすれ等により検出されたものであるのか判別し難い。このため、エッジ点検出部には、第１エッジ点と第２エッジ点を検出するに際して、検出されたエッジ点のエッジ強度と閾値とを比較させることによって、区画線であるのか否か判別の難しいエッジ点を除外させる。ここでは、エッジ強度が上限閾値と下限閾値との間の閾値範囲内に存在しているエッジ点を後の演算処理に不要なものとして除外する（図７）。一方、エッジ点検出部は、エッジ強度が上限閾値を超えているエッジ点を第１エッジ点として検出し、かつ、エッジ強度が下限閾値を超えているエッジ点を第２エッジ点として検出する。その閾値については、１フレーム目の画像情報に適用する場合、予め設定しておいた値を使用し、２フレーム目以降の画像情報に適用する場合、後述する検出条件算出部が求めた値を使用する。

しかしながら、その検出された第１エッジ点と第２エッジ点は、必ずしもその全てが区画線のエッジ点を表しているとは限らない。ノイズや路面の汚れ等に関わるコントラストの高いところのエッジ点を検出している可能性があるからである。そこで、この例示では、エッジ点ペアリング部を設けている。

そのエッジ点ペアリング部には、検出された第１エッジ点と第２エッジ点の中から互いにペアとなる第１エッジ点と第２エッジ点とを抽出させることによって、ペアになれなかった孤立している第１エッジ点や第２エッジ点を不要なエッジ点として除外させる（図８）。ペアとは、１本の区画線から検出される第１エッジ点と第２エッジ点の組のことである。そのペアか否かの判定には、第１エッジ点と第２エッジ点との間の幅、第１エッジ点や第２エッジ点における輝度値情報を利用する。例えば、エッジ点ペアリング部は、第１エッジ点と第２エッジ点をペアリングするに際して、予め設定したおいた区画線の想定幅に対して間隔（幅）が所定の範囲内に収まっている第１エッジ点と第２エッジ点の組をペアとする。これに対して、エッジ点ペアリング部は、その想定幅に対して間隔（幅）が所定の範囲から外れている第１エッジ点や第２エッジ点をノイズ等に伴い検出された不要なエッジ点として除外する。

尚、ペアとして検出された第１エッジ点と第２エッジ点の間に存在している第１エッジ点や第２エッジ点は、例えば、区画線のかすれ等に伴うコントラストの差によって検出されたものと考えられる。このような第１エッジ点や第２エッジ点は、下記の第１エッジ線分や第２エッジ線分を検出する際に要らないので、不要なエッジ点として取り扱うことが望ましい。

このようにして選ばれた全ての第１エッジ点と第２エッジ点は、区画線のエッジ点である可能性がより高いものといえる。エッジ線分検出部とは、その全ての第１エッジ点と第２エッジ点に対してハフ変換処理等を実施することで、直線状又は曲線状に並ぶ線分（第１エッジ線分と第２エッジ線分）を検出するものである（図８）。

エッジ線分ペアリング部には、検出された全ての第１エッジ線分と第２エッジ線分に対して互いの平行度合いや間隔等を算出させ、その結果を利用して、互いにペアとなる第１エッジ線分と第２エッジ線分とを抽出させる（図８）。ペアとは、１本の区画線（破線であれば１つ１つの線）から検出される第１エッジ線分と第２エッジ線分の組のことである。

そのペアとなる第１エッジ線分と第２エッジ線分は、１本の区画線におけるそれぞれの境界を表したものである。区画線選択部とは、そのペアとなる第１エッジ線分と第２エッジ線分に基づいて、自車両の走行路における区画線を選択するものである。

この区画線選択部は、その選択を行うに際して、過去に検出された自車両の区画線情報が存在していない場合、今回ペアとして検出された第１エッジ線分と第２エッジ線分とで囲まれた領域を自車両の区画線として選択する。但し、３本以上の区画線が検出されたときは、例えば、これらの各線に対する自車両の位置や他車両の位置、その他車両の進行方向等を参考にして、自車両の区画線を選択すればよい。これでも自車両の区画線を判別できない場合には、例えば、区画線の検出対象領域として別の領域を特定し、この新たな検出対象領域において検出された区画線の位置等も加味することによって、自車両の区画線を選択すればよい。

一方、この区画線選択部は、過去に検出された自車両の区画線情報が存在している場合、例えば、その過去の区画線情報に近い第１エッジ線分と第２エッジ線分のペアを抽出し、この第１エッジ線分と第２エッジ線分とで囲まれた領域を自車両の区画線として選択する。

ここで、過去に検出された自車両の区画線情報とは、例えば、現在の基準画像情報のフレームよりも前のフレームで検出された自車両の区画線の情報、今回と同じ路面を過去に走行した際に検出された自車両の区画線の情報等のことである。

区画線検出部は、このようにして自車両の区画線を検出する。

区画線検出ＥＣＵ２０には、路面形状を推定する路面形状推定部が更に設けられている。路面形状推定部は、区画線検出部で検出された区画線（厳密には区画線における第１及び第２のエッジ線分の座標とそのエッジ強度）に基づいて、この区画線の存在している場所の路面形状（例えば図９）を推定することができる。例えば、この路面形状推定部には、最小二乗法やカルマンフィルタ等を利用して、自車両の走行路の路面形状を表現するための走行路パラメータ（曲率、曲率変化率、ヨー角、横位置等）を推定させる。

区画線検出ＥＣＵ２０には、その走行路パラメータに応じた路面形状や区画線を基準画像情報に投影させる投影制御部を設けてもよい。

また、区画線検出ＥＣＵ２０には、区画線の検出条件を算出する検出条件算出部が設けられている。その検出条件とは、基準画像情報から区画線を検出するための条件であり、前述したエッジ強度を求める際の微分フィルタやエッジ点を検出するための閾値等のことである。例えば、検出条件算出部には、今回の演算処理工程（１フレーム目）の基準画像情報における検出対象領域の区画線を検出し、その区画線に関わる自車両の走行路の路面形状を推定し終えた後で、次回の演算処理工程（次のフレーム）の基準画像情報における区画線の検出対象領域で利用する検出条件を算出させる。

ここで、この検出条件は、今回の演算処理工程の基準画像情報を複数に区分けして、その領域（以下、「検出条件算出領域」という。）毎に算出する。その際、今回の演算処理工程において基準画像情報の中の一部の区画線だけが検出されているのであれば、その区画線が含まれている検出条件算出領域だけで検出条件の算出を行う。

この例示では、基準画像情報を遠方側と近傍側と左側と右側とで４つの検出条件算出領域に区分けする（図１０）。遠方側と近傍側との区分けについては、例えば、撮像装置１０の画角等で決まるカメラパラメータに基づいて設定しておけばよい。また、この遠方側と近傍側との区分けは、そのカメラパラメータを自車両のピッチ変動を考慮に入れて検出条件算出部に補正させることによって、その都度変更してもよい。また、この遠方側と近傍側との区分けについては、視差値情報や奥行距離情報を利用して決めてもよい。

更に、この例示では、自車両の車線における２本の区画線に投影された走行路パラメータの中間に位置している仮想線（以下、「中心線」という。）を求め、この中心線を境にして、基準画像情報を左側と右側とに区分けする。例えば、検出条件算出部は、その２本の走行路パラメータのＸ座標の平均から中心線を求める。ここでは、基準画像情報の水平方向（横方向）をＸ座標とし、垂直方向（縦方向）をＹ座標とする。このような中心線に基づいて検出条件算出領域を区分けする場合には、路面推定領域のみを区分けするようにしてもよい。尚、１フレーム目等のように走行路パラメータが求められていないときには、基準画像情報を左右に二等分させる線を検出条件算出領域の設定時の中心線にしてもよい。

具体的に、検出条件算出部には、今回の演算処理工程における区画線の第１及び第２のエッジ点の座標及びエッジ強度並びに走行路パラメータを用いて、今回の検出条件算出領域と同じ領域に対して次回の演算処理工程で使う上限閾値と下限閾値とを算出させる。つまり、検出条件には、その上限閾値と下限閾値とが含まれている。ここで、今回の演算処理工程とは、前述したように、今回のフレームに対する演算処理工程のことである。この場合、次回の演算処理工程とは、次回のフレームに対する演算処理工程のことをいう。

検出条件算出部には、算出対象の検出条件算出領域における区画線の第１及び第２のエッジ点のエッジ強度の平均と標準偏差とを算出させ、これらを下記の式１及び式２に各々代入させることで、上限閾値と下限閾値とを算出させる。各式の「α」は、予め設定してある任意の値である。

上限閾値＝平均＋α＊標準偏差 … （１）
下限閾値＝平均−α＊標準偏差 … （２）

検出条件算出部は、このようにして算出した上限閾値と下限閾値とについて、今回の検出条件算出領域と同じ領域において次回の演算処理工程で使う上限閾値と下限閾値として設定する。

尚、この検出条件算出部には、そのエッジ強度の平均のみを閾値として設定させてもよい。この場合には、その閾値よりも大きいエッジ強度のエッジ点を区画線のエッジ点である可能性のあるものとして判断させる。

また、この検出条件算出部には、今回の演算処理工程で用いた微分フィルタについて、今回の検出条件算出領域と同じ領域に対して次回の演算処理工程で使う微分フィルタとして設定する。

以下に、この区画線検出ＥＣＵ２０の演算処理の一例について図１１のフローチャートに基づき説明する。

区画線検出ＥＣＵ２０には、撮像装置１０で撮像された撮像領域内の画像情報が入力される（ステップＳＴ１）。

情報抽出部は、その画像情報から視差値情報を抽出する（ステップＳＴ２）。その視差値情報の抽出は、前述したようにして行う。そして、この情報抽出部は、その視差値情報に基づいて奥行距離情報を算出する（ステップＳＴ３）。

路面領域特定部は、その奥行距離情報に基づいて、基準画像情報における所定の路面領域を特定する（ステップＳＴ４）。例えば、ここでは、前述したように、その基準画像情報における遠方路面領域が区画線の検出対象領域として特定される。

エッジ点検出部は、その基準画像情報における所定の路面領域（区画線の検出対象領域）の第１エッジ点と第２エッジ点とを検出する（ステップＳＴ５）。ここでは、前述したように、微分フィルタと上限閾値と下限閾値とを用いて、その所定の路面領域（区画線の検出対象領域）の中から区画線のエッジ点であると思われる第１エッジ点と第２エッジ点とが検出される。

エッジ点ペアリング部は、前述したように、検出された第１エッジ点と第２エッジ点の中から互いにペアとなる第１エッジ点と第２エッジ点とを抽出することで、第１エッジ点と第２エッジ点のペアリングを実施し（ステップＳＴ６）、ノイズや汚れ等に起因する不要なエッジ点を取り除く。

エッジ線分検出部は、前述したように、残っている全ての第１エッジ点と第２エッジ点に基づいて、第１エッジ線分と第２エッジ線分とを検出する（ステップＳＴ７）。そして、エッジ線分ペアリング部は、前述したように、その検出された全ての第１エッジ線分と第２エッジ線分に対して、互いにペアとなる第１エッジ線分と第２エッジ線分とを抽出し、この第１エッジ線分と第２エッジ線分をペアリングする（ステップＳＴ８）。

区画線選択部は、前述したように、そのペアとなる第１エッジ線分と第２エッジ線分に基づいて、自車両の走行路における区画線を選択する（ステップＳＴ９）。そして、路面形状推定部は、その区画線に基づいて、所定の路面領域（区画線の検出対象領域）においての自車両の走行路の走行路パラメータを推定する（ステップＳＴ１０）。

検出条件算出部は、次回の演算処理工程で用いる区画線の検出条件を算出する（ステップＳＴ１１）。例えば、ここでは、前述したように次回のステップＳＴ５で用いる微分フィルタと上限閾値と下限閾値とを算出する。

区画線検出ＥＣＵ２０は、以上の演算処理を終えた後、入力された次のフレームの画像情報に対する演算処理を同様に繰り返す。

以上示したように、本実施例の区画線検出システム及び区画線検出方法では、撮像された画像情報に基づく奥行距離情報（視差値情報）によって基準画像情報における路面推定領域を求め、その路面推定領域に対して区画線検出に関わる演算処理を実施する。このため、この区画線検出システム及び区画線検出方法は、区画線を検出するに際しての演算処理の負荷の軽減や時間の短縮を図ることができる。また、この区画線検出システム及び区画線検出方法は、立体物や背景の存在している領域を除外し、区画線が存在している可能性の高い路面推定領域を演算処理の対象にしているので、その区画線の検出精度や検出の成功率を高めることもできる。更に、この区画線検出システム及び区画線検出方法では、その路面推定領域の中から所定の路面領域（遠方路面領域）を区画線の検出対象領域として特定し、この検出対象領域で区画線の検出処理を行う。このため、この区画線検出システム及び区画線検出方法は、区画線を検出するに際しての演算処理の負荷の更なる軽減や時間の更なる短縮を図ることができる。

また、この区画線検出システム及び区画線検出方法では、従来のように自車両の直近の路面領域から遠方の路面領域に向かって順次区画線の検出及び走行路の路面形状の推定を実施せずとも、遠方路面領域における自車両の区画線の検出を行うことができる。このため、この区画線検出システム及び区画線検出方法においては、途中から路面形状の推定が上手くいかなかった等の理由によって、自車両から離れた場所での自車両の区画線の検出ができなくなるという事態を回避することができる。よって、この区画線検出システム及び区画線検出方法は、遠方の区画線の検出精度を向上させることができる。また、従来は、路面形状が上手く推定できなかった場合、誤った領域に対して区画線の検出処理を実施してしまう。しかしながら、この区画線検出システム及び区画線検出方法は、そのような誤認による演算処理の実施が低減されるので、遠方の区画線の検出精度を向上させることができると共に、演算処理の負荷の軽減や時間の短縮を図ることができる。

また、この区画線検出システム及び区画線検出方法は、自車両の走行路の路面形状にも依るが、例えば直進路であるならば、所定の路面領域（遠方路面領域）に対して区画線の検出処理を行うだけで、自車両の近傍から遠方までの区画線や路面の形状を推定することができる。

ここで、この区画線検出システム及び区画線検出方法においては、遠方路面領域における区画線の検出処理を本実施例の如く実施する一方、直近の路面領域における区画線の検出処理を本実施例又は従来の方法で実施することができる。そして、その際には、遠方路面領域に関わる演算処理と直近の路面領域に関わる演算処理とを各々個別に独立して実施することができる。つまり、この区画線検出システム及び区画線検出方法では、直近の路面領域の区画線を本実施例又は従来の方法で検出しながら、これと同時に又はこれに先んじて遠方路面領域の区画線を本実施例の方法で検出することができる。このため、この区画線検出システム及び区画線検出方法は、高速走行時に遠方の区画線や路面形状を早い段階から把握することができるので、例えば、車線逸脱防止支援制御や車線維持支援制御等における制御の継続性や自車両の挙動の安定性を高めることができる。更に、この区画線検出システム及び区画線検出方法は、自車両に対する近傍側と遠方側とにおけるそれぞれの演算処理が他方の側の演算処理の影響を受けないので、そのそれぞれの演算処理の負荷や時間の増大を回避することができる。

尚、例えば前述した特許文献３等の技術のように、画像情報の中の遠方の領域に消失点や不動点を設定し、この消失点等を起点にして区画線（白線）の検出を行う、というものが従来から知られている。しかしながら、その消失点等は、撮像装置のレンズ焦点と撮像面とで予め決められてしまうものであり、必ずしも路面領域に設定されるとは限らず、立体物や背景の存在している領域に設定される場合もある。このため、このような従来の技術では、本実施例の区画線検出システム及び区画線検出方法で得られる上記のような効果を奏することができない場合がある。

ところで、本実施例では、区画線の検出対象領域に必ず区画線が存在している又は当該検出対象領域から必ず区画線が検出されるものとして説明をした。しかしながら、区画線は、必ずしも全ての路面に設けられているわけではない。また、区画線は、検出対象領域に存在している場合であっても、他車両等によって隠れている可能性もある。そこで、路面領域特定部には、区画線の検出対象領域で区画線が検出されなかった場合、該検出対象領域よりも自車両側に新たな区画線の検出対象領域を設定させる。この場合には、区画線が検出されなかった検出対象領域に対して１つ手前（自車両側）の路面推定領域における一部又は全部の領域を新たな区画線の検出対象領域に設定すればよい。これにより、この区画線検出システム及び区画線検出方法は、検出対象領域で区画線が検出されなかった場合でも、新たな区画線の検出対象領域の設定を繰り返していくことで、何れ区画線が検出されることになる。また、この区画線検出システム及び区画線検出方法は、例えば万が一に最初に設定した区画線の検出対象領域が区画線の存在し得ない領域であったとしても、新たな区画線の検出対象領域を設定し直すことができるので、検出対象領域の設定の誤りを正すことができる。

［変形例］
本変形例の区画線検出システム及び区画線検出方法は、実施例の区画線検出システム及び区画線検出方法において、以下の点について変更したものである。

本変形例の路面領域特定部は、図１２に示すように、奥行距離情報（視差値情報）に基づいて、遠方路面領域だけでなく、基準画像情報における自車両の直近の路面領域を特定し、かつ、基準画像情報にて遠方の路面領域と直近の路面領域との間に存在している中間の路面領域も特定する。この路面領域特定部は、実施例と同じように、遠方路面領域を区画線の検出対象領域として特定する。また、この路面領域特定部は、直近の路面領域や中間の路面領域についても区画線の検出対象領域として特定する。その直近の路面領域や中間の路面領域は、実施例で説明した路面推定領域の中から特定する。本変形例の区画線検出部は、その直近の路面領域や中間の路面領域に対しても、実施例と同じようにして区画線の検出処理を行うことができる。

本変形例の検出条件算出部は、遠方路面領域と同じように、直近の路面領域における区画線の検出と路面形状の推定を終えた後で、この路面領域における次回の区画線の検出処理工程で使う検出条件を算出する。ここでは、遠方路面領域における検出条件を第１検出条件とし、直近の路面領域における検出条件を第２検出条件とする。そして、この検出条件算出部は、その第１及び第２の検出条件に基づいて、中間の路面領域における区画線を検出するための第３検出条件を算出する。

ここで、撮像された区画線は、遠方に存在しているものと近傍に存在しているものとを比較すると、時間帯や天候に応じて輝度値やエッジ強度が異なる場合がある。

例えば、昼間においては、遠方路面領域ほど、直近の路面領域や中間の路面領域と比べて輝度値が小さく、エッジ強度が低くなっていることがある。このため、前述した上限閾値と下限閾値は、直近の路面領域の値よりも中間の路面領域の値、中間の路面領域の値よりも遠方路面領域の値の方が小さくなる。よって、本変形例の検出条件算出部は、第１検出条件と第２検出条件とを把握することによって、これらの間を補完する値の第３検出条件を推定することができる。その第３検出条件には、例えば、第１検出条件と第２検出条件におけるそれぞれの値の平均値を用いればよい。

また、例えば、夜間や曇天時においては、自車両の前照灯の光軸と撮像装置１０の画角次第で、また、その前照灯がハイビームなのかロービームなのかによって、自車両に近い領域の方が遠い領域よりも輝度値が小さくなっている（エッジ強度が低くなっている）場合もあれば、自車両から遠い領域の方が近い領域よりも輝度値が小さくなっている（エッジ強度が低くなっている）場合もある。また、雨天時には、その降雨量次第で、遠近それぞれにおいての輝度値（エッジ強度）が異なる場合もある。よって、検出条件算出部には、これらの諸条件に応じて、第１検出条件と第２検出条件とから第３検出条件を推定させればよい。

また、検出条件算出部には、上記のそれぞれの条件に応じた補正値を予め設定しておき、該当する条件の補正値と第１検出条件と第２検出条件とに基づいて第３検出条件を推定させてもよい。

尚、この例示では、区画線の検出対象領域を遠近で３つの路面領域に分けて説明をした。しかしながら、区画線の検出対象領域を遠近で４つ以上の路面領域に分けてもよく、この場合には、２つの路面領域におけるそれぞれの検出条件に基づいて、この２つの路面領域の間に存在している路面領域の検出条件を検出条件算出部に算出させればよい。

このように、本変形例の区画線検出システム及び区画線検出方法は、区画線の検出対象領域としての２つの路面領域のそれぞれの検出条件に基づいて、この２つの路面領域の間に存在している中間の路面領域の検出条件を求める。このため、この区画線検出システム及び区画線検出方法は、その中間の路面領域においての区画線の検出や路面形状の推定が終わるのを待たなくても、この中間の路面領域で使う検出条件に予め当たりをつけることができるので、区画線の検出精度や検出の成功率を向上させることができる。

１ 区画線検出システム
１０ 撮像装置
２０ 区画線検出ＥＣＵ

Claims (5)

1. 自車両の周辺を撮像する撮像装置と、
   前記撮像装置で撮像された撮像領域内の画像情報に基づいて当該撮像装置から撮像物までの奥行距離情報を抽出する情報抽出部と、
   前記奥行距離情報に基づいて、前記画像情報における自車両の直近の路面領域を除く路面領域で、かつ、自車両よりも遠方の路面領域である遠方路面領域を特定する路面領域特定部と、
   前記遠方路面領域の位置に対応する画像情報に基づいて当該遠方路面領域の区画線を検出する区画線検出部と、
   を備えることを特徴とした区画線検出システム。
2. 前記区画線検出部が前記区画線を検出するための検出条件を算出する検出条件算出部を設け、
   前記路面領域特定部は、前記奥行距離情報に基づいて、前記画像情報における自車両の前記直近の路面領域を特定し、かつ、前記画像情報にて前記遠方路面領域と前記直近の路面領域との間に存在している中間の路面領域を特定し、
   前記検出条件算出部は、前記遠方路面領域における区画線を検出するための第１検出条件と、前記直近の路面領域における区画線を検出するための第２検出条件と、を算出し、該第１及び第２の検出条件に基づいて前記中間の路面領域における区画線を検出するための第３検出条件を算出することを特徴とした請求項１に記載の区画線検出システム。
3. 前記検出条件算出部は、前記直近の路面領域と前記中間の路面領域と前記遠方路面領域における各々の区画線のエッジ強度に基づいて、前記直近の路面領域と前記中間の路面領域と前記遠方路面領域における各々の前記検出条件を算出することを特徴とした請求項２に記載の区画線検出システム。
4. 前記路面領域特定部は、前記遠方路面領域で区画線が検出されなかった場合、該遠方路面領域よりも自車両側に新たな遠方路面領域を特定することを特徴とした請求項１，２又は３に記載の区画線検出システム。
5. 自車両の周辺を撮像する撮像装置で撮像された撮像領域内の画像情報に基づいて当該撮像装置から撮像物までの奥行距離情報を抽出する抽出工程と、
   前記奥行距離情報に基づいて、前記画像情報における自車両の直近の路面領域を除く路面領域で、かつ、自車両よりも遠方の路面領域である遠方路面領域を特定する特定工程と、
   前記遠方路面領域の位置に対応する画像情報に基づいて当該遠方路面領域の区画線を検出する区画線検出工程と、
   を備えることを特徴とした区画線検出方法。

Images