JP2013186655A

JP2013186655A - 道路標示検出装置及びプログラム

Info

Publication number: JP2013186655A
Application number: JP2012050728A
Authority: JP
Inventors: Hiroyuki Ishida; 皓之石田
Original assignee: Toyota Central R&D Labs Inc
Current assignee: Toyota Central R&D Labs Inc
Priority date: 2012-03-07
Filing date: 2012-03-07
Publication date: 2013-09-19
Anticipated expiration: 2032-03-07
Also published as: JP5928010B2

Abstract

【課題】簡易な処理で、実座標系の道路平面において道路標示を精度よく検出することができるようにする。
【解決手段】エッジ点抽出部２０によって、撮像された複数のフレーム画像の各々からエッジ点を抽出する。座標変換部２２によって、自車両の測位情報を用いて、各フレーム画像から抽出されたエッジ点の各々の座標を実座標系の道路平面上の座標に変換する。幾何学的特徴抽出部２４によって、座標が変換された各フレーム画像のエッジ点の各々についてテンソルを抽出して、実座標系の道路平面上に各エッジ点のテンソルを蓄積する。道路標示検出部３０によって、実座標系の道路平面上に蓄積された各エッジ点のテンソルに基づいて、道路標示の種類及び実座標系の道路平面上の道路標示の位置を検出する。
【選択図】図１

Description

本発明は、道路標示検出装置及びプログラムに係り、特に、道路平面上の道路標示の種類及び位置を検出する道路標示検出装置及びプログラムに関する。

従来より、路面を撮影した画像からエッジ勾配分布を算出し、ＨＭＭを用いて道路標示を検出・分類する路面標示認識装置が知られている（特許文献１）。

路面を撮影した画像とテンプレートとの照合により道路標示を検出する路面標示認識装置が知られている（特許文献２）。この路面標示認識装置では、検出対象が。特定の路面標示カテゴリに固有の形状を有すると判断される場合に、その路面表示カテゴリの検出自信度を増加させることで分類率を向上させる。

路面を撮影した画像と道路標示テンプレート中の局所形状の照合により道路標示を検出する路面標示認識装置が知られている（特許文献３）。この路面標示認識装置では、周囲に類似形状の道路標示が存在する場合は判定条件をより厳密することで誤検出を抑制している。

路面を撮影した画像の重ね合わせにより路面の鳥瞰画像を生成する路面標示地図生成方法が知られている（特許文献４）。この路面標示地図生成方法では、テンプレートとの照合または幾何学的条件に基づき道路標示を認識し、地図を生成している。

路面を撮影した画像を、隠蔽や影など認識に不適な領域を補完しながら重ね合わせ、合成画像からエッジ情報・画像パターンを手がかりに道路標示を検出する路面表示識別方法が知られている（特許文献５）。

また、環境中の文字認識のため、エッジヒストグラム特徴に基づく基準点投票処理を行い、文字の種類と位置を判別する方法が知られている（非特許文献１）。

特開２０１１−４３９９５号公報特開２０１０−１０８０４９号公報特開２００９−１３９３０６号公報特開２００９−２５９２１５号公報特開２００８−１８７３４７号公報

根岸和也、岩村雅一、大町真一郎、阿曽弘具、"孤立文字認識のための変形を許容する高速なテンプレートマッチング"、電子情報通信学会論文誌Ｄ、Ｖｏｌ．９０−Ｄ、Ｎｏ．２、ｐｐ．５０３−５１３、２００７．

上記の特許文献１、２に記載の技術は、画像からの道路標示認識に関する方法であるが、認識した道路標示の実世界上における位置や形状を検出する手段を有しておらず、実座標系の道路平面上の位置を検出することができない、という問題がある。

上記の特許文献４に記載の技術は、地図生成を目的とした道路標示の位置取得方法である。この方法は鳥瞰画像を作成した上で、その画像中の道路標示位置を検出し、道路標示の実座標を取得する。一度鳥瞰画像に変換してから位置を探索するため、位置精度は鳥瞰画像の解像度に依存する。鳥瞰画像の解像度は一般的に投影前の撮影画像より低いため、解像度変換することによる位置精度の低下がおこってしまう、という問題がある。鳥瞰画像の解像度を可能な限り大きくすることも考えられるが、鳥瞰画像のデータサイズは解像度の２乗に比例してしまう、という問題がある。また、カメラのレンズ歪みやキャリブレーションが不十分である場合、重ね合わせにより鳥瞰画像に不連続点が発生し、道路標示の誤認識する可能性がある、という問題がある。

また、一般化ハフ変換や非特許文献１のような手法により、あらかじめ辞書に登録した任意のパターンの検出が可能であることは広く知られている。位置を画像座標平面のような２次元投票空間への投票により求める場合、ハフ変換に特有の分解能の設定に関する問題がある。投票するビンを広く設定すると位置精度が低下し、ビンを細かく設定するとビンあたりの投票数が減り検出精度が低下してしまう。同時に、投票空間も膨大になる。一般化ハフ変換の計算コストはビンが細かい場合に非常に大きくなり、実用上問題がある。

本発明は、上記の問題点を解決するためになされたもので、簡易な処理で、実座標系の道路平面において道路標示を精度よく検出することができる道路標示検出装置及びプログラムを提供することを目的とする。

上記の目的を達成するために本発明に係る道路標示検出装置は、自車両が走行する道路領域を撮像する自車両に搭載された撮像手段によって撮像された複数のフレーム画像の各々からエッジ点を抽出するエッジ点抽出手段と、自車両の測位情報を用いて、前記エッジ点抽出手段によって各フレーム画像から抽出されたエッジ点の各々を実座標系の道路平面上に投影するように、前記エッジ点の各々の座標を前記実座標系の道路平面上の座標に変換する座標変換手段と、前記座標変換手段によって前記座標が変換された各フレーム画像のエッジ点の各々についてテンソルを抽出して、前記実座標系の道路平面上に各エッジ点のテンソルを蓄積するテンソル抽出手段と、前記実座標系の道路平面上に蓄積された各エッジ点のテンソルに基づいて、道路標示の種類及び前記実座標系の道路平面上の前記道路標示の位置を検出する道路標示検出手段と、を含んで構成されている。

本発明に係るプログラムは、コンピュータを、自車両が走行する道路領域を撮像する自車両に搭載された撮像手段によって撮像された複数のフレーム画像の各々からエッジ点を抽出するエッジ点抽出手段、自車両の測位情報を用いて、前記エッジ点抽出手段によって各フレーム画像から抽出されたエッジ点の各々を実座標系の道路平面上に投影するように、前記エッジ点の各々の座標を前記実座標系の道路平面上の座標に変換する座標変換手段、前記座標変換手段によって前記座標が変換された各フレーム画像のエッジ点の各々についてテンソルを抽出して、前記実座標系の道路平面上に各エッジ点のテンソルを蓄積するテンソル抽出手段、及び前記実座標系の道路平面上に蓄積された各エッジ点のテンソルに基づいて、道路標示の種類及び前記実座標系の道路平面上の前記道路標示の位置を検出する道路標示検出手段として機能させるためのプログラムである。

本発明によれば、エッジ点抽出手段によって、自車両が走行する道路領域を撮像する自車両に搭載された撮像手段によって撮像された複数のフレーム画像の各々からエッジ点を抽出する。座標変換手段によって、自車両の測位情報を用いて、前記エッジ点抽出手段によって各フレーム画像から抽出されたエッジ点の各々を実座標系の道路平面上に投影するように、前記エッジ点の各々の座標を前記実座標系の道路平面上の座標に変換する。

そして、テンソル抽出手段によって、前記座標変換手段によって前記座標が変換された各フレーム画像のエッジ点の各々についてテンソルを抽出して、前記実座標系の道路平面上に各エッジ点のテンソルを蓄積する。道路標示検出手段によって、前記実座標系の道路平面上に蓄積された各エッジ点のテンソルに基づいて、道路標示の種類及び前記実座標系の道路平面上の前記道路標示の位置を検出する。

このように、各フレーム画像から抽出されるエッジ点を実座標系の道路平面上の座標に変換して、各エッジ点のテンソルを抽出し、実座標系の道路平面上に蓄積された各エッジ点のテンソルに基づいて、道路標示の種類及び位置を検出することにより、簡易な処理で、実座標系の道路平面において道路標示を精度よく検出することができる。

本発明に係るテンソル抽出手段は、各フレーム画像毎に、前記座標が変換された前記フレーム画像のエッジ点群に対してボールボーティング処理を行って前記フレーム画像のエッジ点群の各エッジ点のテンソルを求め、各フレーム画像毎に求められた前記エッジ点群のテンソルを用いて、各フレーム画像毎に、前記フレーム画像のエッジ点群から、前記実座標系の道路平面上に蓄積された過去のフレーム画像のエッジ点群へのスティックボーティング処理を行い、あるいは、各フレーム画像毎に、前記蓄積された前記過去のフレーム画像のエッジ点群から、前記フレーム画像のエッジ点群へのスティックボーティング処理を行い、前記実座標系の道路平面上に蓄積されたエッジ点群のテンソルを求めるようにすることができる。これによって、実座標系の道路平面上に蓄積されたエッジ点群のテンソルを強調することができ、実座標系における道路標示の位置を精度よく検出することができる。

本発明に係る道路標示検出装置は、複数種類の道路標示の各々について、前記実座標系の道路平面上に蓄積されたエッジ点群のうちの特定のエッジ点のテンソルと、前記特定のエッジ点周辺のエッジ点のテンソルとに基づいて、前記特定のエッジ点周辺のエッジ点毎に、前記特定のエッジ点が、予め定められた前記道路標示の複数のエッジ部分の何れに所属するかを投票する所属先投票手段と、前記所属先投票手段による前記複数種類の道路標示の各々についての投票結果に基づいて、前記複数種類の道路標示の各々を仮定したときの、前記実座標系の道路平面上における前記道路標示の位置及び向きを推定する位置推定手段と、を更に含み、前記道路標示検出手段は、前記位置推定手段によって推定された前記複数種類の道路標示の各々を仮定したときの前記道路標示の位置及び向きと、前記実座標系の道路平面上に蓄積されたエッジ点群の各エッジ点のテンソルとに基づいて、前記道路標示の種類を検出し、前記検出された道路標示の種類について推定された前記位置を、前記道路標示の位置の検出結果とするようにすることができる。

本発明に係るテンソル抽出手段は、前記実座標系の道路表面上に蓄積するエッジ点の数が上限を超えた場合に、前記エッジ点のテンソルから求められる顕著性に基づいて、前記実座標系の道路表面上に蓄積するエッジ点を選別するようにすることができる。これによって、計算量の増大を抑制することができる。

上記のエッジ点のテンソルを、顕著性及び方位を有するものとすることができる。

以上説明したように、本発明の道路標示検出装置及びプログラムによれば、各フレーム画像から抽出されるエッジ点を実座標系の道路平面上の座標に変換して、各エッジ点のテンソルを抽出し、実座標系の道路平面上に蓄積された各エッジ点のテンソルに基づいて、道路標示の種類及び位置を検出することにより、簡易な処理で、実座標系の道路平面において道路標示を精度よく検出することができる、という効果が得られる。

本発明の実施の形態に係る道路標示検出装置を示すブロック図である。撮像装置が自車両の前方を撮像する様子を示す図である。実座標系の道路平面上の座標に変換する方法を説明するための図である。テンソルを説明するための図である。（Ａ）Ｂａｌｌｖｏｔｉｎｇで用いる投票フィールドを示す図、及び（Ｂ）Ｓｔｉｃｋｖｏｔｉｎｇで用いる投票フィールドを示す図である。一般的なＳｔｉｃｋｖｏｔｉｎｇを説明するための図である。エッジ点を投票先として投票する様子を示す図である。Ｂａｌｌｖｏｔｉｎｇ及びＳｔｉｃｋｖｏｔｉｎｇの処理の流れを示す図である。複数回の投影でテンソルを累積していく様子を示す図である。テンソル投票による強調処理の結果を示す図である。前方画像の一例を示す図である。Ｔｅｎｓｏｒｖｏｔｉｎｇによりエッジ点のテンソルが強調された様子を示す図である。道路標示エッジインデクスを説明するための図である。投票テーブルを説明するための図である。基準点の所属先を投票する様子を示す図である。道路標示の位置を推定する方法を説明するための図である。信頼度を算出する方法を説明するための図である。道路標示の検出結果を示すイメージ図である。本発明の実施の形態に係る道路標示検出装置における道路標示検出処理ルーチンの内容を示すフローチャートである。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

図１に示すように、本発明の実施の形態に係る道路標示検出装置１０は、道路領域を含む自車両前方を撮像して画像を出力する撮像装置１２と、自車両位置を測定するＧＰＳを含む測位装置１４と、撮像装置１２から得られる画像及び測位装置１４による測位情報に基づいて、実座標系の道路平面上の道路標示を検出する処理を実行するコンピュータ１６と、を含んで構成されている。

撮像装置１２は、図２に示すように車両に搭載され、道路領域を含む自車両前方を撮像して画像を出力する。撮像装置１２は、自車両前方を撮像し、画像の画像信号を生成する撮像部（図示省略）と、撮像部で生成された画像信号をＡ／Ｄ変換するＡ／Ｄ変換部（図示省略）と、Ａ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）とを備えている。撮像装置１２は、連続して撮像した複数のフレーム画像を、コンピュータ１６に出力する。

測位装置１４は、自車両に搭載されたＧＰＳ装置を用いて、実座標系における自車両の位置を測定すると共に、測定された位置の変化に基づいて自車両の向き（進行方向の方角）を測定し、測定結果をコンピュータ１６に出力する。

コンピュータ１６は、ＣＰＵと、ＲＡＭと、後述する道路標示検出処理ルーチンを実行するためのプログラムを記憶したＲＯＭと、これらを接続するバスとを含んで構成されている。このコンピュータ１６をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、エッジ点抽出部２０と、座標変換部２２と、幾何学的特徴抽出部２４と、所属先投票部２６と、道路標示検出部３０と、実座標系の道路平面を表わす地図データを記憶する記憶部３２と、を含んだ構成で表すことができる。なお、幾何学的特徴抽出部２４は、テンソル抽出手段の一例である。

エッジ点抽出部２０は、撮像装置１２によって撮像された複数のフレーム画像の各々から、エッジ点を抽出し、フレーム画像毎にエッジ点群を出力する。フレーム画像中のエッジ点は従来既知の手法を用いて抽出すればよく、例えば、Cannyのアルゴリズム等により抽出する。

座標変換部２２は、エッジ点抽出部２０によってフレーム画像毎に抽出されたエッジ点群について、測位装置１４によって得られた当該フレーム画像に対応する自車両の実座標系の測位情報、及び撮像装置１２の設置パラメータに基づいて、各エッジ点を実座標系の道路平面上に投影するように、各エッジ点の座標を、実座標系の道路平面上の座標に変換する。

以下に、座標変換の方法を述べる。撮像装置１２は、あらかじめ非特許文献２（Z. Zhang, A Flexible New Technique for Camera Calibration. IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(11):1330-1334, 2000.）に順ずる手法を用いてキャリブレーションし、内部パラメータ行列Ａ、外部パラメータ行列[Ｒ|ｔ] を求める。測位装置１４より取得した自車の方向(yaw 角)をφ[rad]、スケール変数を s、撮像装置１２の設置位置の高さを h [m] とすると、実座標系の道路平面上の位置(e, n)[m]と、フレーム画像中の位置(x, y) [pixel]との関係は、以下の（１）式で与えられる（図３参照）。

座標変換部２２は、上記の（１）式を用いて、実座標系の道路平面上の各エッジ点の位置(e, n)を求め、実座標系の道路平面上のエッジ点群の座標を得る。

幾何学的特徴抽出部２４は、各フレーム画像毎に実座標系の道路平面上に投影されたエッジ点群の幾何学的情報として、各エッジ点のテンソルを、強調処理により強調して抽出し、実座標系の道路平面上に蓄積されたエッジ点群のテンソルを得る。以下に、実座標系の道路平面上に投影されたエッジ点群のテンソルを抽出する原理について説明する。

まず、強調処理として、非特許文献３（J. Jia and C. Tang, Tensor voting for image correction by global and local intensity alignment, IEEE Trans. on Pattern Analysis and Machine Intelligence, vol. 27, no. 1, pp.36−50, 2005.）に記載のTensor votingを拡張した法を用いる。

Tensor votingは点群から元図形の形状を復元するための強調処理であり、ハフ変換と異なり直線や円に限定することなく、局所的な形状情報を表現できる。また、ノイズや外れ値の影響が少ないという利点がある。

Tensor votingで投票される値はテンソル形式であり、投票結果の固有値解析により、顕著性や方位などの形状情報を得ることができる。図４はテンソルの一例であり、テンソルＳは、以下の（２）式で表される。

ただし、主成分ベクトルe₁の方向をテンソルＳの方位とし、λ₁-λ₂は、テンソルＳの顕著性を表わしている。

また、Tensor votingの処理はBall votingとStick votingに分けられる。Ball votingは、図５（Ａ）に示す投票フィールドを用いて、周囲の点の分布をもとに指向性を見出す処理であり、Stick votingは、図５（Ｂ）に示す投票フィールドを用いて指向性を持った強調処理である。なお、図５（Ａ）、（Ｂ）では、方位と顕著性をベクトルで表現している。

例えば、Ball votingの処理の結果、水平方向に指向性を持つ点Aが存在し、点Ａの周囲であって、かつ、点Ａに対して水平方向に位置する点Bが存在したとすると、点Aから点BへのStick votingにより点Bの水平成分の指向性がより強調され、点ABを結ぶような形状を見出すことが可能となる。

Tensor votingの具体的な計算手段を述べる。なお、計算上はテンソルを３次元ベクトル形式に置き換えて扱うこともできる。以下では、テンソルを３次元ベクトル形式に置き換えて投票する場合を例に説明する。

投票先のエッジ点と投票元のエッジ点の距離をr、投票元のエッジ点を基準とした投票先のエッジ点の方位をα、標準偏差パラメータをσとすると、Ball votingでは以下の（３）式に従って、投票先のエッジ点のベクトル（テンソルを３次元ベクトル形式に置き換えたもの）を更新することにより投票を行う。標準偏差パラメータσは例えば 5 [m]と設定するのがよい。

さらに、投票元のエッジ点が方位βの指向性を持つ場合、Stick votingで以下の（４）式により投票先のエッジ点のベクトル（テンソルを３次元ベクトル形式に置き換えたもの）を更新することにより投票を行う。なお、|α-β|>π/4の場合は、投票を行わない。

上記の投票の結果より、各エッジ点のテンソルの顕著性および方位は、以下の（５）式、（６）式に従って求められる。ただし、テンソルを3次元ベクトルで表したときの要素をS=(S[1] S[2] S[3])^T （Ｔは転置を表す）とする。

ここで、一般的なTensor voting法では、図６に示すように投票により画像座標平面上に密なテンソルのフィールドを形成するが、本実施の形態の目的は画像座標平面を経由せずに道路標示の位置を推定することであるため、投票先はエッジ点群のみとする。したがって、本実施の形態では、Ball votingもStick votingもエッジ点群間の投票処理となる。図７に示すように、疎な投票を行う際の投票範囲は、エッジ点間の距離に基づき予め求めることが可能である。例えば、距離0.15[m]以内のエッジ点を投票範囲とするのが好ましい。

また、本実施の形態では、エッジ点群を投票先とする疎なStick votingを、複数のフレーム画像にわたって累積的に行うことを特徴とする。図８に示すように、Ball votingは、各フレーム画像毎に独立して、当該フレーム画像のエッジ点群に対して行うが、Stick votingは、各フレーム画像のエッジ点群を投票元、過去のフレーム画像で蓄積されたエッジ点群を投票先とする。また、Stick votingをフレーム画像毎に行うたびに、投票元となった当該フレーム画像のエッジ点群を、過去のフレーム画像で蓄積されたエッジ点群に追加する。

このように、蓄積されるエッジ点群はフレーム画像ごとに追加されるが、投票結果の顕著性が小さいエッジ点を順次間引くことで、計算コストの増大を防ぐ。例えば、局所領域内に所定の上限以上の個数の蓄積されたエッジ点が存在する場合、その上限を下回るまで、当該局所領域内に蓄積されたエッジ点群から、顕著性が小さいエッジ点から順番に消去することにより、蓄積するエッジ点を選別する。例えば上限は4000個とするのがよい。

また、複数のフレーム画像にわたってStick votingを行うことで、投影位置誤差の軽減効果がある。図９に示すように、エッジ点の投影位置には、カメラパラメータ推定誤差や加減速等の複数の要因により誤差が加わることがあるが、複数のフレーム画像にわたるテンソルの投票処理により、図１０に示すように、誤差の小さい位置のエッジ点群が強調され、高い顕著性を得るに至る。

なお、テンソルの方位は単一フレーム画像の投影のみから求めても比較的高精度であり、複数のフレーム画像を混合すると位置ずれがある場合にかえって精度が低下するため、Ball votingはフレーム画像ごとに独立で行うことが望ましい。一方のStick votingは指向性に従った投票処理であるため、複数のフレーム画像にわたって行うのがむしろ有効である。

以上のように、幾何学的特徴抽出部２４は、各フレーム画像毎に、座標が変換された当該フレーム画像のエッジ点群において、各エッジ点を投票元、周辺のエッジ点を投票先とするBall voting処理を行って当該フレーム画像のエッジ点群の各エッジ点のテンソルの方位を求める。また、幾何学的特徴抽出部２４は、各フレーム画像毎にBall voting処理により求められたエッジ点群のテンソルを用いて、各フレーム画像毎に、当該フレーム画像のエッジ点群を投票元、実座標系の道路平面上に蓄積された過去のフレーム画像のエッジ点群を投票先としたStick voting処理を行い、実座標系の道路平面上に蓄積されたエッジ点群のテンソルを強調する。ここで、フレーム画像のエッジ点群を実座標系の道路平面上に蓄積する際に、所定の局所領域内に蓄積されたエッジ点群の点数が上限を越える場合、当該局所領域内に蓄積された各エッジ点のテンソルの顕著性に基づいて、蓄積するエッジ点を選別し、実座標系の道路平面上の当該局所領域から、テンソルの顕著性が低いエッジ点を削除する。

例えば、図１１に示すような撮像画像が得られる場合に、図１２に示すように、道路平面上のエッジ点群のテンソルが強調されて抽出される。

所属先投票部２６は、仮定される複数種類の道路標示の各々について、実座標系の道路平面上に蓄積されたエッジ点群のうちの基準エッジ点が、予め定められた当該道路標示の複数のエッジ部分の何れに所属するかを投票する。

ここで、前処理として、図１３に示すように、複数種類の道路標示の各々について、道路標示のエッジ上を微小間隔で区切り、区切られたエッジ部分毎にインデクスを予め付与しておく。間隔は0.005〜0.05 [m]とするのがよい。

さらに、任意の２つの道路標示のエッジ上のインデクスの組み合わせに対し、当該インデクスの組み合わせを、互いのエッジ方向の角度差θ、仰角ψ（エッジ方向を基準としたときの他方のエッジを仰ぐ角）、距離ｒから逆引きするための投票テーブルをあらかじめ作成しておく（図１４参照）。

エッジ方向の角度差、仰角、及び距離は、道路標示が回転しても不変の特徴である。なお、道路標示の伸縮に対応するため、距離は必ずしも単一の値に限定しなくてもよく、複数の距離値からエッジインデクスを逆引きできるようにすることができる。

所属先投票部２６は、幾何学的特徴抽出部２４により実座標系の道路平面上に蓄積されたエッジ点群であって、強調されたテンソルが抽出されたエッジ点群から、局所領域毎に、テンソルに基づく顕著度が特に高いとされたエッジ点（例えば、顕著度が最も高いエッジ点）を基準点として選択し、仮定される道路標示の種類毎に、基準点の所属が当該道路標示のどのエッジ部分であるかを投票により決定する。すなわち、局所領域毎に、当該局所領域の基準点以外のエッジ点を1点選び、基準点と選択されたエッジ点との間の方位差、仰角（基準点の方位を基準とした）、距離を求め、道路標示の種類毎に、当該道路標示について予め用意した投票テーブルからインデクス番号を逆引きし、逆引きされたインデックス番号に対して投票する。図１５に示すように、基準点の周辺に存在するエッジ点のそれぞれを用いて、上記の道路標示の種類毎の投票を繰り返し、仮定される道路標示の種類毎に、最も投票数の多かったインデクス番号を、基準点が所属する当該道路標示のエッジ部分として決定する。

ここで、一般化ハフ変換と異なり、投票先が画像座標平面ではないため、計算コストや標本化に伴う問題が少ない。本実施の形態の手法を用いる場合も、エッジを標本化しなければならず、標本化による精度低下はあるが、投票空間はどれも1次元であるため、従来法である2次元への投票の場合と比べ、より精細な標本化が可能であり、位置精度への影響は少ない。

位置推定部２８は、仮定される複数種類の道路標示の各々について、所属先投票部２６により決定された基準点が所属するエッジ部分のインデクスに基づいて、図１６に示すように、当該道路標示を仮定したときの道路標示の位置を推定する。また、基準点のテンソルの方位と所属するエッジ部分のインデクスのエッジ方向とを比較することで、道路標示の向き（回転角）も推定する。

なお、局所領域内で、顕著性が大きい複数のエッジ点を基準点として選択する場合には、位置及び向きに関する複数の仮説を立てることもできる。

道路標示検出部３０は、基準点について位置推定部２８により道路標示の種類毎に立てられた仮説（位置及び向き）の信頼度を求め、信頼度最大となる仮説を採用することで、道路標示の種類を検出する。信頼度は、仮説を元に道路標示を道路平面に投影した道路標示辞書（テンプレートパターン）と、幾何学的特徴抽出部２４により得られた道路平面上のエッジ点群のテンソル情報との比較により求められる。

道路標示の種類毎に、図１７に示すように、当該道路標示を投影した道路標示辞書中の各エッジインデクスiに対し、そのエッジ方向と最近傍にあるエッジ点の方位との角度差θ_iを求める。|cosθ_i |の平均を全エッジインデクスi から求めて信頼度とする。信頼度には下限値を設定し、下限値を超える仮設が存在しない場合は、道路標示は存在しないと判断する。下限値は例えば0.75 とするとよい。

道路標示検出部３０は、検出された道路標示の種類について、位置推定部２８によって推定された実座標系の道路平面上の位置及び向きに従って、記憶部３２の地図データ上に、道路標示を記録する。これによって、図１８に示すように、道路標示の検出結果が、地図データが表わす道路平面上に記録される。

以上説明した所属先投票部２６、位置推定部２８、及び道路標示検出部３０の処理は、探索範囲を局所領域に限った場合の道路標示検出処理である。実際の探索範囲が広域になるため、道路標示が存在すると思われる領域（顕著性の高い点群が存在する領域）から基準点を選択し、選択された基準点の周囲約 5 [ｍ]以内を局所領域として、所属先投票部２６、位置推定部２８、及び道路標示検出部３０の処理を行う。

次に、本発明の実施の形態に係る道路標示検出装置１０の作用について説明する。まず、撮像装置１２によって、自車両前方の撮像が開始されると共に、測位装置１４によって、自車両の位置が随時測定されると、コンピュータ１６において、図１９に示す道路標示検出処理ルーチンが繰り返し実行される。

ステップ１００で、撮像装置１２で撮像された所定期間分の複数のフレーム画像、及び測位装置１４で得られた同一の所定期間分の測位情報を取得する。

次に、ステップ１０２で、上記ステップ１００で取得した各フレーム画像から、エッジ点を抽出する。ステップ１０４では、上記ステップ１００で取得した測位情報を用いて、上記ステップ１０２で抽出した各フレーム画像のエッジ点群について、実座標系の道路平面上の座標に変換する。

そして、ステップ１０６において、フレーム画像毎に、実座標系の道路平面上の座標に変換された当該フレーム画像のエッジ点群について、各エッジ点を投票元、それ以外のエッジ点を投票先としてBall votingを行い、各エッジ点のテンソルを求める。

次のステップ１０８では、上記ステップ１０６で求められた各エッジ点のテンソルを用いて、フレーム画像毎に、実座標系の道路平面上の座標に変換された当該フレーム画像のエッジ点群の各エッジ点を投票元とし、過去の各フレーム画像について蓄積されたエッジ点群の各エッジ点を投票先として、Stick votingを行うと共に、過去の各フレーム画像について蓄積されたエッジ点群に、当該フレーム画像のエッジ点群を更に蓄積することを繰り返し行う。これによって、実座標系の道路平面上に蓄積されたエッジ点群について、強調されたテンソルが得られる。また、予め大きさが定められた局所領域毎に、蓄積されたエッジ点の数が上限を超えた場合には、エッジ点の顕著性に基づいて、蓄積するエッジ点が選別される。

そして、ステップ１１０において、局所領域毎に、実座標系の道路平面上に蓄積されたエッジ点群から、顕著性が最も高いエッジ点を、基準点として抽出する。次のステップ１１２では、複数種類の道路標示の各々を仮定して、局所領域毎に、抽出された基準点について、周辺のエッジ点の各々を用いて、所属する当該道路標示のエッジ部分のインデックス番号に投票し、投票結果に基づいて、基準点が所属する当該道路標示のエッジ部分を決定する。

そして、ステップ１１４において、複数種類の道路標示の各々を仮定して、局所領域毎に、上記ステップ１１２で決定された基準点が所属する当該道路標示のエッジ部分に基づいて、実座標系の道路平面上における当該道路標示の位置及び向きを推定する。

ステップ１１６では、道路標示の種類の仮定毎に、局所領域の各々について、上記ステップ１１４で推定された当該道路標示の位置及び向きと、実座標系の道路平面上に蓄積されたエッジ点群のテンソルとに基づいて、信頼度を算出する。そして、ステップ１１８において、局所領域毎に、上記ステップ１１６で算出された信頼度のうち最も高い信頼度が得られた道路標示の種類を検出し、当該道路標示の種類について、上記ステップ１１６で推定された位置及び向きで記憶部３２の地図データに記録して、道路標示検出処理ルーチンを終了する。

以上説明したように、本発明の実施の形態の道路標示検出装置によれば、各フレーム画像から抽出されるエッジ点群の各エッジ点を実座標系の道路平面上の座標に変換して、各エッジ点のテンソルを抽出し、実座標系の道路平面上に蓄積された各エッジ点のテンソルに基づいて、道路標示の種類及び位置を検出することにより、簡易な処理で、実座標系の道路平面において道路標示を精度よく検出することができる。また、テンソルボーティング処理により、実座標系の道路平面上に蓄積されたエッジ点群のテンソルを強調することができ、実座標系における道路標示の位置を精度よく検出することができる。

また、画像座標平面への投票をせずに道路標示の位置を検出するため、現実的な処理コストで計算可能である。また、道路標示を鳥瞰画像として標本化せず、幾何学情報であるテンソルの形式で投票・蓄積するため、位置精度の低下を抑制することができる。また、複数回の投影により、実座標系の道路平面上に蓄積されたテンソルが強調され、エッジ点群のテンソルの蓄積による精度向上が見込める。

なお、上記各実施の形態では、Stick votingにおいて、各フレーム画像のエッジ点群を投票元、過去のフレーム画像で蓄積されたエッジ点群を投票先とする場合を例に説明したが、これに限定されるものではない。Stick votingにおいて、各フレーム画像のエッジ点群を投票先、過去のフレーム画像で蓄積されたエッジ点群を投票元とするようにしてもよい。

また、信頼度の算出法において、道路標示の種類の検出率を高める工夫をすることができる。例えば、投影した道路標示辞書のエッジとエッジ点群が遠すぎない場合のみ、高い信頼度を算出するようにしてもよい。この場合には、投影した道路標示辞書のエッジと最近傍のエッジ点との距離に上限値τを設定し、上限値τを超える場合はエッジインデクスiの信頼度局所値を0とする。上限値τは例えば0.2[m]とするのが好ましい。

また、各種の道路標示において存在比率の高いエッジ方向ほど信頼度への寄与を少なくすることで、形状の類似する道路標示を区別しやすくするようにしてもよい。この場合には、道路標示辞書から計算したエッジ方向ヒストグラムの値 H(ψ(i) )を用いる。H(ψ(i) )はエッジインデクス i のエッジ方向の頻度である。信頼度局所値に重み log[ H(ψ(i) ) + 1 ] / H(ψ(i) ) を与えることで、頻度の高いエッジ方向ほど寄与を少なくすることができる。この場合、信頼度は以下の（７）式で求められる。

本発明のプログラムは、記憶媒体に格納して提供するようにしてもよい。

１０道路標示検出装置
１２撮像装置
１４測位装置
１６コンピュータ
２０エッジ点抽出部
２２座標変換部
２４幾何学的特徴抽出部
２６所属先投票部
２８位置推定部
３０道路標示検出部
３２記憶部

Claims

自車両が走行する道路領域を撮像する自車両に搭載された撮像手段によって撮像された複数のフレーム画像の各々からエッジ点を抽出するエッジ点抽出手段と、
自車両の測位情報を用いて、前記エッジ点抽出手段によって各フレーム画像から抽出されたエッジ点の各々を実座標系の道路平面上に投影するように、前記エッジ点の各々の座標を前記実座標系の道路平面上の座標に変換する座標変換手段と、
前記座標変換手段によって前記座標が変換された各フレーム画像のエッジ点の各々についてテンソルを抽出して、前記実座標系の道路平面上に各エッジ点のテンソルを蓄積するテンソル抽出手段と、
前記実座標系の道路平面上に蓄積された各エッジ点のテンソルに基づいて、道路標示の種類及び前記実座標系の道路平面上の前記道路標示の位置を検出する道路標示検出手段と、
を含む道路標示検出装置。
前記テンソル抽出手段は、各フレーム画像毎に、前記座標が変換された前記フレーム画像のエッジ点群に対してボールボーティング処理を行って前記フレーム画像のエッジ点群の各エッジ点のテンソルを求め、各フレーム画像毎に求められた前記エッジ点群のテンソルを用いて、各フレーム画像毎に、前記フレーム画像のエッジ点群から、前記実座標系の道路平面上に蓄積された過去のフレーム画像のエッジ点群へのスティックボーティング処理を行い、あるいは、各フレーム画像毎に、前記蓄積された前記過去のフレーム画像のエッジ点群から、前記フレーム画像のエッジ点群へのスティックボーティング処理を行い、前記実座標系の道路平面上に蓄積されたエッジ点群のテンソルを求める請求項１記載の道路標示検出装置。
複数種類の道路標示の各々について、前記実座標系の道路平面上に蓄積されたエッジ点群のうちの特定のエッジ点のテンソルと、前記特定のエッジ点周辺のエッジ点のテンソルとに基づいて、前記特定のエッジ点周辺のエッジ点毎に、前記特定のエッジ点が、予め定められた前記道路標示の複数のエッジ部分の何れに所属するかを投票する所属先投票手段と、
前記所属先投票手段による前記複数種類の道路標示の各々についての投票結果に基づいて、前記複数種類の道路標示の各々を仮定したときの、前記実座標系の道路平面上における前記道路標示の位置及び向きを推定する位置推定手段と、を更に含み、
前記道路標示検出手段は、前記位置推定手段によって推定された前記複数種類の道路標示の各々を仮定したときの前記道路標示の位置及び向きと、前記実座標系の道路平面上に蓄積されたエッジ点群の各エッジ点のテンソルとに基づいて、前記道路標示の種類を検出し、前記検出された道路標示の種類について推定された前記位置を、前記道路標示の位置の検出結果とする請求項１又は２記載の道路標示検出装置。
前記テンソル抽出手段は、前記実座標系の道路表面上に蓄積するエッジ点の数が上限を超えた場合に、前記エッジ点のテンソルから求められる顕著性に基づいて、前記実座標系の道路表面上に蓄積するエッジ点を選別する請求項１〜請求項３のいずれか１項記載の道路標示検出装置。
前記エッジ点のテンソルを、顕著性及び方位を有するものとした請求項１〜請求項４の何れか１項記載の道路標示検出装置。
コンピュータを、
自車両が走行する道路領域を撮像する自車両に搭載された撮像手段によって撮像された複数のフレーム画像の各々からエッジ点を抽出するエッジ点抽出手段、
自車両の測位情報を用いて、前記エッジ点抽出手段によって各フレーム画像から抽出されたエッジ点の各々を実座標系の道路平面上に投影するように、前記エッジ点の各々の座標を前記実座標系の道路平面上の座標に変換する座標変換手段、
前記座標変換手段によって前記座標が変換された各フレーム画像のエッジ点の各々についてテンソルを抽出して、前記実座標系の道路平面上に各エッジ点のテンソルを蓄積するテンソル抽出手段、及び
前記実座標系の道路平面上に蓄積された各エッジ点のテンソルに基づいて、道路標示の種類及び前記実座標系の道路平面上の前記道路標示の位置を検出する道路標示検出手段
として機能させるためのプログラム。