JP2006322892A

JP2006322892A - ３次元位置測定装置および３次元位置測定プログラム

Info

Publication number: JP2006322892A
Application number: JP2005148358A
Authority: JP
Inventors: Shogo Yoneyama; 昇吾米山; Hiroyasu Miyahara; 景泰宮原; Yasuhiro Okada; 康裕岡田
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2005-05-20
Filing date: 2005-05-20
Publication date: 2006-11-30

Abstract

【課題】従来の３次元形状測定システムは白線の３次元位置測定に用いるデータの妥当性を判別する手段がなく、白線の汚れ・かすれ、道路面上のひびなどにより生じる誤検出を含んだ白線データから、３次元位置の計測を行うため、測定精度が低下する。
【解決手段】画像データを入力する画像入力手段と，前記画像入力手段によって取り込まれた画像から、白線の検出を行う白線検出手段と、前記白線検出手段から得られた白線の輪郭線上の点列が３次元位置を測定する点として妥当か否かを判定する妥当性判定手段と、前記妥当性判定手段によって得られた点に基づき白線の３次元位置を測定する手段を備える。
【選択図】図１

Description

本発明は、道路の３次元形状を計測するための装置およびその３次元位置測定プログラムに関する。

車載カメラで撮影した道路上の白線位置と、撮影時の車両の緯度・経度・高さから、道路の３次元形状を測定する従来のシステムとして、例えば特許文献１（特開２００２−８１９４１公報）に示されるものがある。この特許文献１に示された道路の３次元形状を測定するためのシステムでは、GPS（Global Positioning System)衛星からの受信データと車両に搭載した方位センサ及び車速センサから、観測車の走行軌跡（緯度・経度・高さ）を測定する。この観測車走行軌跡の測定と並行して、車載カメラで撮影した白線画像を画像処理することにより、道路両サイドの白線位置座標を抽出し、それらの結果と観測車との位置関係から、道路の３次元形状測定を可能とする。

特開２００２−８１９４１号公報

従来の３次元形状測定システムは以上のように構成されており、白線の３次元位置測定に用いるデータの妥当性を判別するための手段が設けられておらず、白線の汚れ・かすれ、道路面上のひびなどにより生じる誤検出を含んだ白線データから、３次元位置の計測を行うため、測定精度が低下するという課題があった。

本発明は、上記のような課題を解決するためになされたもので、３次元位置を測定する上で妥当な点を判別する手段を備え、白線抽出処理にて得られたデータの選択に対し、エッジの連続性や過去の白線データを利用することにより、高精度な３次元位置測定装置の実現を目的とする。

本発明に係る３次元位置測定装置は、
車に搭載されたカメラで撮影された道路の画像データから、車の緯度、経度、高度を計測する測位装置からの測位データを参照して道路の３次元位置を測定する３次元位置測定装置において、
カメラからの画像データを入力する画像入力手段と，前記画像入力手段によって取り込まれた画像から、道路の白線の検出を行う白線検出手段と、前記白線検出手段から得られた白線の輪郭線上の点列を抽出し、この点列が３次元位置を測定する点として妥当か否かを判定する妥当性判定手段と、前記妥当性判定手段によって妥当として得られた点に基づき白線の３次元位置を計測する３次元位置計測手段を備える。

また、本発明に係る３次元位置測定プログラムは、
車の緯度、経度、高度を計測する測位装置からの測位データを参照して、車に搭載されたカメラで撮影された道路の画像データから、道路の３次元位置を測定するためにコンピュータを、
カメラからの画像データを入力する画像入力手段、
前記画像入力手段によって取り込まれた画像から、道路の白線の検出を行う白線検出手段、
前記白線検出手段から得られた白線の輪郭線上の点列を抽出し、この点列が３次元位置を測定する点として妥当か否かを判定する妥当性判定手段、
前記妥当性判定手段によって妥当として得られた点に基づき白線の３次元位置を計測する３次元位置計測手段
として機能させる。

本発明に係る３次元位置測定装置および３次元位置測定プログラムは、
白線検出手段で検出された白線の輪郭線上の妥当性判定手段で点列を抽出し、この点列が３次元位置を測定する点として妥当か否かを同じく妥当性判定手段で判定し、３次元位置計測手段は妥当と判定された点のみを用いて白線の３次元位置を計測するので、高精度な３次元位置の測定が可能となる。

実施の形態１．
以下、本発明の実施の形態について図面を参照して説明する。
図1は、本発明の実施の形態を示す構成図であり、車載カメラで撮影した道路の画像データを入力する画像入力手段１と，前記画像入力手段１によって取り込まれた画像から、道路上に引かれた白線の検出を行う白線検出手段２と、前記白線検出手段２から得られた白線の輪郭線上の点列を抽出し、この点列が３次元位置を測定する点として妥当か否かを判定する妥当性判定手段３と、前記妥当性判定手段３によって妥当として得られた点に基づき白線の３次元位置を測定する３次元位置計測手段４と、前記各手段の動作を制御する制御手段５から構成される。

図２は、本実施の形態の処理の流れを示すフローチャートであり、本図により動作を説明する。

まず、３次元位置測定処理について説明する。
図２のステップS１１において、制御手段５は、画像入力手段１に画像情報の入手を指示する。ここでは、図３の画像を入手したとする。

次に、ステップS１２に進み、制御手段５は、画像入力手段１で得られた入力画像を白線検出手段２に送る。白線検出手段２は、得られた画像中の白線の検出を行う。白線検出処理は、入力画像を複数の部分画像(ブロック)に分割し、各ブロック内に存在するエッジに着目し、白線の輪郭線検出を行う。例えば、「構造情報を用いた白線・横断歩道検出に関する検討」(FIT2004,I-080,pp193-pp194,2004)に記載の方法を用いることで行うことができる。

図４は、前記白線検出手段２が図３の入力画像から白線の輪郭線(L1〜L4)を検出した画像例である。白線検出処理では、汚れやかすれなどによって白線の輪郭線の一部が存在しない箇所においても補間処理により、当該箇所に影響されることなく白線の検出を行う。

次に、ステップS１３に進み、制御手段５は、白線検出手段２で得られた白線の輪郭線画像を、妥当性判定手段３に送る。妥当性判定手段３は、図４に示す全ての白線L1〜L4に対し、３次元位置を測定する点として妥当な点を抽出する。そして、３次元位置を測定する点として妥当な点の抽出が全て終了したか否かを判別する。全ての白線輪郭線に対して、妥当な点を抽出していれば、ステップS１６に進み、抽出していなければ、ステップS１４に進む。ここでは、全ての白線に対して、妥当な点の抽出を行っていないため、ステップS１４に進む。

まず、図４に示す白線L1を用いて、３次元位置の測定に妥当な点を抽出する処理について説明する。
S１４において、制御手段５は、妥当性判定手段３に、白線L1に沿って、車両の近傍から遠方方向にエッジの抽出処理を行う指示をする。エッジ抽出処理には、一般的な手法であるSOBELオペレータを用いることで行うことができる。

図５は、白線L1に沿ってエッジ抽出処理を行い白線L1上でのエッジ点を示した画像の例である。エッジ抽出処理では、白線に汚れやかすれが生じている箇所などは、エッジ点として抽出されない。

次に、ステップS１５に進み、制御手段５は、妥当性判定手段３に対しエッジ抽出処理で得られたエッジ点から、３次元位置の測定に妥当な点を抽出するように指示を行う。３次元位置の測定に妥当な点の抽出は、まず、車両側に最も近いエッジ点S1(x₁,y₁)を抽出する。次に、エッジ点S1から式１を満たす白線L1上のエッジ点S2(x₂,y₂)〜S４(x₄,y₄)を検出する。

（ｘ_ｉ−ｘ_ｉ＋１)^２＋（ｙ_ｉ−ｙ_ｉ＋１)^２＞Ｔh ・・・式１
但し、（ｘ_ｉ，ｙ_ｉ）（i=1,2,3）は白線輪郭上のエッジ点であり、（ｘ_１，ｙ_１）は車輌側に最も近いエッジ点を示す。

図６は、白線L1に沿って、３次元位置の測定に妥当な点を抽出した画像の例である。図６において、S１〜S4は、３次元位置を測定するために妥当と判定された点を示している。各点の間隔は、白線L1上において、式１を満たすように閾値Ｔh以上離れた点が抽出される。

次に、ステップS１３に戻り、ステップS１４からステップS１５までの処理を、図４に示す全ての白線輪郭線L1〜L4に沿って行う。図７に、３次元位置を測定するために妥当と判定された点S1〜S12を示す。以上により、全ての白線L1〜L4の輪郭線に対し、抽出処理を行ったため、次に、ステップS１６に進む。

ステップS１６において、制御手段５は、妥当性判定手段３で得られた点を、３次元位置計測手段４に送り、３次元位置計測手段４は、白線の３次元位置測定を行う。

３次元位置計測手段４では、図８で示すように、画像入力手段１で得られた画像上の任意点の実空間(X,Y,Z)での位置座標を式２，式３，式４で求めておくことにより、位置座標を算出する。また、ステップS１６では、３次元位置計測手段４は、GPSの電波を受信し、画像入力手段１（車輌）の緯度、経度、高度に関する情報を入手することにより、妥当性判定手段３にて得られた白線上の点の３次元位置を高精度に測定する。

以上実施の形態１について説明した。本実施の形態では、妥当性判定手段３において、ステップS１４及びステップS１５の処理を用いて、３次元位置を測定するために用いる妥当点を抽出したが、妥当性判定手段３の他の実施例として、図９のフローチャートで示すようにステップS１５の処理の代わりにステップS６０１及びステップ６０２のエッジの連続性を判別する処理機能を有するものに変更しても良い。

この実施例における妥当性判定手段３の処理ステップS６０１、及びS６０２は、次のような手順で、３次元位置の測定に有効な点の判別を行う。ステップS６０１では、図１０(a)で示すように白線の延長線方向を走査線とし、走査線に沿ってエッジ抽出処理した結果をラベリング処理する。図１０(b)は、図５のステップS１４で生成され白線のエッジ点をラベリング処理することで得られた線分の例を示している。ステップS６０２では、予め定められた線分の長さに対する閾値を超える線分からのみ３次元位置の測定に用いる点を抽出する。線分の長さをエッジの連続性として判定する指標とすることで、白線の汚れ・かすれ、道路面上のひびなどにより生じる白線の誤検出箇所からの点を３次元位置測定に用いる点として利用しないよう抑制し、信頼性の高い点のみを用いた高精度な測定を行うことができる。

また、本実施の形態では、妥当性判定手段３において、ステップS１４及びステップS１５の処理を用いて、３次元位置を測定するために、妥当な点を抽出したが、妥当性判定手段３の他の実施例として、白線検出手段２で得られた過去の結果と現時刻における白線検出結果のユークリッド距離を妥当な点か否かの指標とする処理機能を有したものに変更しても良い。具体的には、現在の時刻をkとしたとき、道路は滑らかに変化することから、過去に白線検手段２で得られた白線の座標値(x_i(0),y_i(0))〜(x_i(k-1),y_i(k-1))と現在時刻kにおいて検出された白線(x_ｊ(k),y_j(k))との式５で評価されるユークリッド距離の値は小さな値を示す。このことから、過去のデータと比較し、あらかじめ定めた評価値より大きな値を示す点は、白線を誤検出した点である可能性が高いため、３次元位置を計測するための点として用いないよう抑制することで、信頼性の高い点のみを用いた高精度な３次元位置測定を行う。

また、本実施の形態では、妥当性判定手段３において、ステップS１４及びステップS１５の処理を用いて、３次元位置を測定するために、妥当な点を抽出したが、妥当性判定手段３の他の実施例として、図１１のフローチャートで示すように車両からの距離に応じて３次元測定を行う点に重みを付加する処理機能を有するステップS７０１をステップS１５の処理の後に追加するように変更しても良い。

この実施例における妥当性判定手段３のステップS７０１では、次のような条件で、３次元位置測定に妥当な点に重みを付加する。図１２で示すように、画像の垂直方向に車両側から1/3の領域に位置する妥当と判定された点に対して、大きな重みを与え、画像上部2/3の領域に位置する点に対して小さな重みを付加する。全ての白線輪郭線の点列に対し、重みを付加し、ステップS１６にて３次元位置の測定を行う。このとき、３次元位置を用いて道路形状を復元する際、前記重みをHough変換の投票空間に反映させることにより、信頼度の高い車両側近傍の点が大きく評価され、高精度な道路形状の復元を行うことができる。図１３は、重みが付加された点を用いて、白線を復元した際の例を示している。

また、本実施の形態では、画像下部(垂直方向の車両側)1/3の点に対して、大きな重みを与え、上部2/3に対して、小さな重みを付加したが、重みを与える白線データの領域設定や重みの与え方については、その他の方法で行っても良い。

本発明はカーナビゲーション用デジタル道路地図を作成するための３次元位置測定装置に適用されることで、高精度な測定データが得られる。

本発明の実施の形態１の構成を示すブロック図である。実施の形態１の処理の流れを示すフローチャートである。画像入力手段が入手した処理対象画像の説明図である。処理対象画像から白線の輪郭線を検出した画像例の説明図である。エッジ抽出処理による抽出エッジ点を示した画像例の説明図である。３次元位置の測定に妥当な点を抽出した画像例の説明図である。３次元位置の測定に妥当と判定された全ての抽出点の説明図である。画像入力手段で得た画像上の任意点の実空間(X,Y,X)での位置座標を求めるための説明図である。妥当性判定手段の他の実施例による処理のフローチャートである。エッジ抽出処理のための白線の延長線の説明図とエッジ点のラベリング処理で得られた線分例の説明図である。妥当性判定手段のさらに他の実施例による処理のフローチャートである。妥当と判定された点に対する重み付けの説明図である。重み付けされた点により復元された白線例の説明図である。

符号の説明

１；入力手段、２；白線検出手段、３；妥当性判定手段、４；３次元位置計測手段、５；制御手段。

Claims

車の緯度、経度、高度を計測する測位装置からの測位データを参照して、車に搭載されたカメラで撮影された道路の画像データから、道路の３次元位置を測定する３次元位置測定装置であって、
カメラからの画像データを入力する画像入力手段と、
前記画像入力手段によって取り込まれた画像から、道路の白線の検出を行う白線検出手段と、
前記白線検出手段から得られた白線の輪郭線上の点列を抽出し、この点列が３次元位置を測定する点として妥当か否かを判定する妥当性判定手段と、
前記妥当性判定手段によって妥当として得られた点に基づき白線の３次元位置を計測する３次元位置計測手段を備えることを特徴とする３次元位置測定装置。
前記妥当性判定手段は、白線検出手段から得られた白線の輪郭線上の点を所定間隔おきに抽出することを特徴とする請求項１記載の３次元位置測定装置。
前記妥当性判定手段は、白線の輪郭線上の点が、エッジの連続した部分に位置するか否かを基に、白線の３次元位置を測定する点として妥当か否かを判定することを特徴とする請求項１記載の３次元位置測定装置。
前記妥当性判定出手段は、前記白線検出手段にて得られた白線の過去のデータに基づいて、白線の３次元位置を測定する点として妥当か否かを判定することを特徴とする請求項１記載の３次元位置測定装置。
前記妥当性判定手段は、白線検出手段から得られた白線の輪郭線上の点を車両からの距離に応じて、白線の３次元位置を測定する点に対し重み付けを行うことを特徴とする請求項１記載の３次元位置測定装置。
車の緯度、経度、高度を計測する測位装置からの測位データを参照して、車に搭載されたカメラで撮影された道路の画像データから、道路の３次元位置を測定するためにコンピュータを、
カメラからの画像データを入力する画像入力手段、
前記画像入力手段によって取り込まれた画像から、道路の白線の検出を行う白線検出手段、
前記白線検出手段から得られた白線の輪郭線上の点列を抽出し、この点列が３次元位置を測定する点として妥当か否かを判定する妥当性判定手段、
前記妥当性判定手段によって妥当として得られた点に基づき白線の３次元位置を計測する３次元位置計測手段
として機能させるための３次元位置測定プログラム。