JP2014115904A - 交差点道路境界検出装置及びプログラム - Google Patents

交差点道路境界検出装置及びプログラム Download PDF

Info

Publication number
JP2014115904A
JP2014115904A JP2012270610A JP2012270610A JP2014115904A JP 2014115904 A JP2014115904 A JP 2014115904A JP 2012270610 A JP2012270610 A JP 2012270610A JP 2012270610 A JP2012270610 A JP 2012270610A JP 2014115904 A JP2014115904 A JP 2014115904A
Authority
JP
Japan
Prior art keywords
intersection
line segment
hyperbola
point cloud
road boundary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012270610A
Other languages
English (en)
Other versions
JP6119225B2 (ja
Inventor
Hiroyuki Ishida
皓之 石田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Central R&D Labs Inc
Original Assignee
Toyota Central R&D Labs Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Central R&D Labs Inc filed Critical Toyota Central R&D Labs Inc
Priority to JP2012270610A priority Critical patent/JP6119225B2/ja
Publication of JP2014115904A publication Critical patent/JP2014115904A/ja
Application granted granted Critical
Publication of JP6119225B2 publication Critical patent/JP6119225B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

【課題】交差点における道路境界を精度よく検出することができるようにする。
【解決手段】点群取得部26によって、車両が交差点を走行したときに撮像装置12によって取得されたステレオ画像と、測位情報とに基づいて、交差点における3次元点群を取得する。線分検出部28によって、同一の交差点の異なる走行方向にわたって得られた3次元点群から、線分を各々検出する。線分ペア選択部32によって、検出された線分から、2つの線分からなる線分ペアを複数選択する。双曲線パラメータ算出部36によって、線分ペア毎に、線分ペアの2つの線分を漸近線とする片側双曲線のパラメータを算出する。最適化部38によって、線分ペア毎に算出された片側双曲線のうち、3次元点群に最も適合する片側双曲線を、交差点における道路境界として検出する。
【選択図】図1

Description

本発明は、交差点道路境界検出装置及びプログラムに係り、特に、交差点における道路境界を検出する交差点道路境界検出装置及びプログラムに関する。
従来より、交差点進入前と進入後の経路が与えられたとき、交差点内の経路を所定の曲率の円弧で補間する道路網データ生成装置が知られている(特許文献1)。
また、スプライン表現により、位置や曲率などを含めた道路形状を表現する方法が知られている(特許文献2)。
また、レーザ等により得た点群データから道路形状を認識する道路形状認識装置が知られている(特許文献3)。この道路形状認識装置では、道路形状を円弧としてモデル化し、最小二乗法を用いたフィッティングにより道路形状を特定している。
また、道路上のカーブの形状を粗い点群データから認識する道路形状認識方法が知られている(特許文献4)。この道路形状認識方法では、カーブの開始点、終了点を求め、その間の点群に円弧をあてはめることでカーブ形状を認識している。
特開2010−26875号公報 特開2007−316654号公報 特開2010−250743号公報 特開2001−101597号公報
上記の特許文献2に記載の表現方法では、単路における曲率を表現することができ、自由度が高いが、交差点の道路境界の曲率推定には適さない、という問題がある。
また、上記の特許文献3に記載の技術では、道路が円弧状の場合に道路形状を特定することができるが、交差点では、曲率半径が小さく死角が大きくなること、及び円弧に当てはまる点群が少ないことから、交差点の道路境界を検出する目的で利用することができない。
また、上記の特許文献4に記載の技術では、直線状領域、円弧状領域のつなぎあわせによって形状を記述しているため、カーブの開始点、終了点を求める処理が必要になる。
このように、従来技術では、単路のカーブであって、曲率が大きく穏やかなカーブを対象としたものが多いが、交差点の道路境界の検出では、(1)曲率が小さい、(2)形状が複雑、(3)車両などの物体物が多く検出の妨げになる、など課題が多い。
本発明は、上記の問題点を解決するためになされたもので、交差点における道路境界を精度よく検出することができる交差点道路境界検出装置及びプログラムを提供することを目的とする。
上記の目的を達成するために本発明に係る交差点道路境界検出装置は、車両が交差点を走行したときに前記車両に搭載されたデータ取得手段によって取得された前記交差点における物体データと、前記車両の測位情報とに基づいて、実座標系の3次元座標を持つ、前記交差点における物体上の複数の点からなる点群データを取得する点群取得手段と、前記点群取得手段によって取得された前記点群データから、線分を各々検出する線分検出手段と、同一の交差点の異なる走行方向の前記車両の走行に対して得られた前記点群データから前記線分検出手段によって検出された線分から、2つの線分からなる線分ペアを複数選択する線分選択手段と、前記線分選択手段によって選択された線分ペア毎に、前記線分ペアの2つの線分を漸近線とする双曲線を算出する双曲線算出手段と、前記双曲線算出手段によって前記線分ペア毎に算出された双曲線のうち、前記点群取得手段によって前記同一の交差点の異なる走行方向の前記車両の走行に対して取得された前記点群データに最も適合する双曲線の片側曲線を、前記交差点における道路境界として検出する道路境界検出手段と、を含んで構成されている。
本発明に係るプログラムは、コンピュータを、車両が交差点を走行したときに前記車両に搭載されたデータ取得手段によって取得された前記交差点における物体データと、前記車両の測位情報とに基づいて、実座標系の3次元座標を持つ、前記交差点における物体上の複数の点からなる点群データを取得する点群取得手段、前記点群取得手段によって取得された前記点群データから、線分を各々検出する線分検出手段、同一の交差点の異なる走行方向の前記車両の走行に対して得られた前記点群データから前記線分検出手段によって検出された線分から、2つの線分からなる線分ペアを複数選択する線分選択手段、前記線分選択手段によって選択された線分ペア毎に、前記線分ペアの2つの線分を漸近線とする双曲線を算出する双曲線算出手段、及び前記双曲線算出手段によって前記線分ペア毎に算出された双曲線のうち、前記点群取得手段によって前記同一の交差点の異なる走行方向の前記車両の走行に対して取得された前記点群データに最も適合する双曲線の片側曲線を、前記交差点における道路境界として検出する道路境界検出手段として機能させるためのプログラムである。
本発明によれば、点群取得手段によって、車両が交差点を走行したときに前記車両に搭載されたデータ取得手段によって取得された前記交差点における物体データと、前記車両の測位情報とに基づいて、実座標系の3次元座標を持つ、前記交差点における物体上の複数の点からなる点群データを取得する。線分検出手段によって、前記点群取得手段によって取得された前記点群データから、線分を各々検出する。
そして、線分選択手段によって、同一の交差点の異なる走行方向の前記車両の走行に対して得られた前記点群データから前記線分検出手段によって検出された線分から、2つの線分からなる線分ペアを複数選択する。双曲線算出手段によって、前記線分選択手段によって選択された線分ペア毎に、前記線分ペアの2つの線分を漸近線とする双曲線を算出する。
そして、道路境界検出手段によって、前記双曲線算出手段によって前記線分ペア毎に算出された双曲線のうち、前記点群取得手段によって前記同一の交差点の異なる走行方向の前記車両の走行に対して取得された前記点群データに最も適合する双曲線の片側曲線を、前記交差点における道路境界として検出する。
このように、同一の交差点の異なる走行方向の車両の走行に対して得られた点群データから線分を検出し、線分ペア毎に、線分ペアの2つの線分を漸近線とする双曲線を算出し、点群データに最も適合する双曲線の片側曲線を、交差点における道路境界として検出することにより、交差点における道路境界を精度よく検出することができる。
本発明に係る線分検出手段は、前記交差点の走行方向毎に、前記点群取得手段によって取得された前記点群データのうち、前記交差点の前記走行方向の前記車両の走行に対する前記点群データから、線分を各々検出するようにすることができる。
本発明に係る双曲線算出手段は、前記点群取得手段によって取得された前記点群データから、前記線分ペアの各線分の周辺の点を所定個選択し、前記選択された所定個の点と、双曲線との誤差が最小となるように、前記双曲線のパラメータを算出するようにすることができる。また、上記の双曲線算出手段は、前記点群取得手段によって取得された前記点群データから、前記線分ペアの2つの線分の交点まで各線分を延長した各延長線の周辺の点を、前記延長線との距離が近い点ほど優先して選択することにより、前記所定個の点を選択し、前記選択された所定個の点と、双曲線との誤差が最小となるように、前記双曲線のパラメータを算出するようにすることができる。
また、上記の双曲線算出手段は、前記点群取得手段によって取得された前記点群データから、前記線分ペアの各線分の周辺の点を所定個選択することを反復して行い、反復毎に、前記選択された所定個の点と、双曲線との誤差が最小となるように、前記双曲線のパラメータを算出するようにすることができる。
本発明に係る双曲線算出手段は、前記線分選択手段によって選択された線分ペア毎に、前記線分ペアの2つの線分を漸近線とする片側双曲線を算出し、前記道路境界検出手段は、前記交差点における複数の角に対して、前記双曲線算出手段によって算出された片側双曲線を振り分け、前記交差点の角毎に、前記角に振り分けられた片側双曲線のうち、前記点群取得手段によって取得された前記点群データに最も適合する片側曲線を、前記交差点における前記角の道路境界として検出するようにすることができる。
上記のデータ取得手段は、前記車両の周辺を撮像してステレオ画像を生成する撮像手段であって、前記点群取得手段は、前記車両が交差点を走行したときに撮像された前記ステレオ画像から抽出される相対座標系の3次元座標を持つ複数の点と、前記車両の測位情報とに基づいて、前記点群データを取得するようにすることができる。
上記のデータ取得手段は、前記車両の周辺に存在する物体上の点を検出するレーザレーダであって、前記点群取得手段は、前記車両が交差点を走行したときに検出された前記交差点における物体上の点と、前記車両の測位情報とに基づいて、前記点群データを取得するようにすることができる。
以上説明したように、本発明の交差点道路境界検出装置及びプログラムによれば、同一の交差点の異なる走行方向の車両の走行に対して得られた点群データから線分を検出し、線分ペア毎に、線分ペアの2つの線分を漸近線とする双曲線を算出し、点群データに最も適合する双曲線の片側曲線を、交差点における道路境界として検出することにより、交差点における道路境界を精度よく検出することができる、という効果が得られる。
本発明の実施の形態に係る交差点道路境界検出装置を示すブロック図である。 同一交差点における3次元点群の鳥瞰図を示すイメージ図である。 同一走行方向に対する3次元点群から検出された線分を示す図である。 同一走行方向に対する3次元点群から検出された線分を示す図である。 部分点群の候補を説明するための図である。 部分点群を示す図である。 双曲線パラメータを説明するための図である。 4方向の片側双曲線を示す図である。 適合度を説明するための図である。 適合度を説明するための図である。 本発明の実施の形態に係る交差点道路境界検出装置における交差点データ取得処理ルーチンの内容を示すフローチャートである。 本発明の実施の形態に係る交差点道路境界検出装置における交差点道路境界検出処理ルーチンの内容を示すフローチャートである。 (A)ステレオ画像に含まれる入力画像の例を示す図、及び(B)交差点の道路境界の検出結果の例を示す図である。 3次元点群の例を示す図である。 交差点の道路境界が登録された地図の例を示す図である。
以下、図面を参照して本発明の実施の形態を詳細に説明する。
図1に示すように、本発明の実施の形態に係る交差点道路境界検出装置10は、道路領域を含む自車両前方を撮像してステレオ画像を出力する撮像装置12と、自車両位置を測定するGPSを含む測位装置14と、撮像装置12から得られるステレオ画像及び測位装置14による測位情報に基づいて、交差点における道路境界を検出する処理を実行するコンピュータ16と、コンピュータ16による検出結果を出力する出力部18とを含んで構成されている。なお、撮像装置12が、データ取得手段の一例であり、ステレオ画像が、物体データの一例である。
撮像装置12は、車両に搭載され、道路領域を含む自車両前方を撮像してステレオ画像を出力する。撮像装置12は、自車両前方を撮像し、画像の画像信号を生成する2つの撮像部(図示省略)と、2つの撮像部で生成された画像信号をA/D変換するA/D変換部(図示省略)と、A/D変換された画像信号を一時的に格納するための画像メモリ(図示省略)とを備えている。撮像装置12は、撮像した2枚の画像を、ステレオ画像としてコンピュータ16に出力する。
測位装置14は、自車両に搭載されたGPS装置を用いて、実座標系における自車両の位置を測定し、測定結果をコンピュータ16に出力する。
コンピュータ16は、CPUと、RAMと、後述する交差点道路境界検出処理ルーチンを実行するためのプログラムを記憶したROMと、これらを接続するバスとを含んで構成されている。このコンピュータ16をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、実座標系の道路平面及び交差点を表わす地図データを記憶する地図データベース20と、データ取得部22と、データ記憶部24と、点群取得部26と、線分検出部28と、点群線分記憶部30と、線分ペア選択部32と、部分点群選択部34と、双曲線パラメータ算出部36と、最適化部38と、を含んだ構成で表すことができる。なお、最適化部38は、道路境界検出手段の一例である。
データ取得部22は、測位装置14により得られた測位情報と、地図データベース20の地図データとに基づいて、自車両が交差点を走行しているか否かを判定し、自車両が交差点を走行していると判定している間、撮像装置12によって撮像された複数フレームのステレオ画像を取得して、複数のフレームの各々に対応して測位装置14により得られた測位情報と共にデータ記憶部24に格納すると共に、測位装置14により得られた測位情報と、地図データベース20の地図データとに基づいて、自車両が走行している交差点を識別するための情報、及び交差点における走行方向(方角)を示す情報を取得して、上記のステレオ画像と対応付けてデータ記憶部24に格納する。
データ記憶部24には、自車両が走行している間に取得したステレオ画像が多数記憶されており、各ステレオ画像には、測位情報、交差点識別情報、及び走行方向情報が対応付けられて記憶されている。
点群取得部26は、検出対象の交差点についてデータ記憶部24に記憶されたステレオ画像のうち、走行方向情報が同一である複数のステレオ画像の各々から、エッジ点を抽出し、ステレオマッチングにより得られた視差から、撮像装置12を基準としたエッジ点の3次元位置を求める。また、点群取得部26は、検出対象の交差点について走行方向情報が同一となる複数のフレームのステレオ画像について求められた複数の3次元点を、複数のフレームの各々に対応して測位装置14により得られた測位情報を用いて統合することにより、実空間上の3次元座標を持つ3次元点群を求める(図2参照)。
上記のように3次元点群を求める処理を、検出対象の交差点における走行方向情報毎に行い、検出対象の交差点における走行方向毎に、3次元点群を求め、点群線分記憶部30に格納する。
なお、画像中のエッジ点は従来既知の手法を用いて抽出すればよく、例えば、Cannyのアルゴリズム等により抽出する。
また、撮像装置12を基準とした3次元点の位置は、キャリブレーションされたカメラを用い、以下の文献の方法により求めることができる。
参考文献:M Bertozz,A Broggi,“Stereo inverse perspective mapping:theory and applications”,image Vis.Comput.,vol.8,no.16,pp.585−590,1998.
線分検出部28は、検出対象の交差点について走行方向情報が同一となる複数のフレームのステレオ画像から取得した3次元点群から、ガードレール等を表す道路境界の平面を検出し、検出した平面の高さ成分を無視することにより、道路境界候補となる線分を検出する。なお、ガードレール等を表わす道路境界の平面の検出には一般的な直線のハフ変換、または参考文献(石田皓之、目黒淳一、小島祥子、内藤貴志、“Conformal Geometric Algebraを用いた道路物理境界検出”、信学技報PRMU2012−36,pp.43−48,2012.)に記載された手法を用いればよい。
線分検出部28は、検出対象の交差点について走行方向情報が同一となる複数のフレームのステレオ画像から取得した3次元点群から、道路境界候補となる複数の線分を検出して、点群線分記憶部30に格納する(図3A参照)。
上記のように道路境界候補となる線分を検出する処理を、検出対象の交差点における走行方向情報毎に行い、検出対象の交差点における走行方向毎に、線分を検出し、点群線分記憶部30に格納する(図3A、図3B参照)。
なお、本実施の形態では、上記の線分検出処理を、検出対象の交差点について、当該交差点を通過する各回の走行ごとに独立に行い、複数の線分を検出する。
線分ペア選択部32は、点群線分記憶部30に記憶された、検出対象の交差点における複数の走行方向の各々に対する線分から、2つの線分を、処理対象の線分ペアとして複数選択する。検出対象の交差点における線分ペアは、検出された線分がn本であるとすると、n(n−1)/2組存在する。
選択された全ての線分ペアについて、後述する部分点群選択部34及び双曲線パラメータ算出部36の処理で、線分ペアの2つの線分を漸近線とする片側双曲線を算出する処理を行い、各回の走行を統合する。
部分点群選択部34は、まず、選択された線分ペアについて、当該線分ペアの2つの線分の交点まで、2つの線分の各々を延長した2つの延長線から、所定範囲内にある点群を部分点群の候補として選択する(図4参照)。このときの範囲は2m以内と設定すると有効である。また、交点より遠方にある点群は他車両などを表す可能性が高いので候補としない。
部分点群選択部34は、上記のように選択された部分点群の候補から、ルーレット選択により所定数の点を選択し部分点群とする。線分ペアの2線分との最小距離の逆数(上限あり:Mmax)をルーレットのマスの大きさとし、乱数を用いて部分点群を選択する。この処理により、道路境界付近に分布する点を選択されやすくすることが可能となる(図5参照)。
ここで、部分点群選択のアルゴリズムの一例について説明する。ただし、点の選択されやすさをM、選択される点の数をNとする。
ステップ1:全候補点に対し、以下の処理を実行する。
(1−1)2線分との最小距離dを計算する。
(1−2)M←min(1/d、Mmax
(1−3)ルーレット上にM個のマスを追加し、当該候補点のインデクスをM個のマスに格納する。
ステップ2:N回、以下の処理を実行する。
(2−1)ルーレットからランダムでマスを1つ選択し、選択されたマスにインデックスが格納されている候補点を部分点群に追加する。
また、上記のステップ1、2からなる部分点群選択のアルゴリズムの実行を反復し、反復毎に、候補点群から、部分点群が選択される。すなわち、複数の部分点群が選択される。
双曲線パラメータ算出部36は、部分点群選択部34によって選択された部分点群に対して、最小二乗法により、部分点群との誤差が最小となる双曲線を当てはめて、双曲線パラメータを算出する。このとき、2線分の交点が双曲線の中心(u、v)であるという制約を与える。ここで、線分(x、y)−(x、y)と線分(x、y)−(x、y)の交点(u、v)は、以下の(1)式、(2)式で求められる。
また、求める双曲線の式は以下の(3)式となる。
双曲線パラメータ算出部36は、以下の(4)式により、直接、双曲線のパラメータ(a、b、d)を算出する。
双曲線パラメータ算出部36は、軸の回転角θおよび漸近線の角度φを、以下の(5)式、(6)式により算出する(図6参照)。
双曲線パラメータ算出部36は、以下の(7)式で求められる4方向の双曲線の媒介変数表示tに基づいて、4方向の片側双曲線のなかで部分点群と片側双曲線の最短距離の和が最小となる方向1つを選択する(図7参照)。
双曲線パラメータ算出部36は、上記のように算出された双曲線パラメータ(a、b、d、θ、φ)及び選択された片側双曲線の方向を、線分ペアの2線分を漸近線とし、部分点群に対して当てはめた片側双曲線のパラメータとして出力する。また、双曲線パラメータ算出部36は、部分点群選択部34によって選択された部分点群毎に、片側双曲線のパラメータを算出して出力する。
最適化部38は、双曲線パラメータ算出部36によって求められた片側双曲線のパラメータと、点群線分記憶部30に記憶された、検出対象の交差点についての3次元点群とに基づいて、双曲線パラメータ算出部36によって求められたパラメータが表わす片側双曲線の3次元点群への適合度を算出する。ここで、適合度は、3次元点群の全体集合のなかで、片側双曲線と所定の距離内にある点の数とする(図8、図9参照)。なお、場所ごとに点の数に偏りがある場合、所定範囲内(たとえば1m以内)の点群をまとめて1つとして扱ってもよい。
なお、点と片側双曲線との距離を求めるには、双曲線を所定の小間隔で線分に細分し、点群中の点とサンプリングされた線分との最小距離を求める。この距離が所定の閾値を下回る点の数を数え、適合度とする。閾値はたとえば10cmとすると有効である。
また、最適化部38は、双曲線パラメータ算出部36によって部分点群毎に求められた片側双曲線のパラメータの各々に対して、適合度を算出する。
最適化部38は、全ての線分ペア、全ての部分点群に対して算出した片側双曲線のパラメータの各々の適合度のうち、適合度最大となる片側双曲線のパラメータが示す片側双曲線を、検出対象の交差点の道路境界として採用し、検出対象の交差点の道路境界の検出結果とする。
ここで、上記の処理は、交差点の一角の境界を求める処理であるが、実際は1つの交差点につき、複数の角が存在し、複数の境界が存在しうる。たとえば十字交差の交差点であれば、最大4つの境界が検出される。そこで、本実施の形態では、自車位置の測位結果を用いて交差点の中心位置を算出し、それを基準として、算出された片側双曲線のパラメータを、片側双曲線のパラメータに基づいて、複数の角(例えば4つの角)に振り分け、交差点の角ごとに、当該角に振り分けられた片側双曲線のうち、適合度最大となる片側双曲線を、検出対象の交差点の当該方角の道路境界として検出する。
次に、本発明の実施の形態に係る交差点道路境界検出装置10の作用について説明する。まず、撮像装置12によって、自車両前方の撮像が開始されると共に、測位装置14によって、自車両の位置が随時測定されると、コンピュータ16において、図10に示す交差点データ取得処理ルーチンが繰り返し実行される。
ステップ100で、測位装置14で得られた測位情報と、地図データベース20の地図データとに基づいて、交差点を走行しているか否かを判定する。交差点を走行していると判定されると、ステップ102へ進む。
ステップ102では、測位装置14で得られた所定の距離範囲分の測位情報、及び撮像装置12で撮像された同一の距離範囲分の複数のフレームのステレオ画像を取得する。
次に、ステップ104で、上記ステップ102で取得した複数のフレームのステレオ画像及び測位情報を、測位装置14で得られた測位情報と地図データベース20の地図データとに基づいて得られる交差点識別情報及び交差点方向情報と共に、データ記憶部24に格納し、交差点データ取得処理ルーチンを終了する。
自車両の走行中に、上記の交差点データ取得処理ルーチンが繰り返し実行されると、各交差点における複数の走行方向に対するデータが、データ記憶部24に蓄積される。
そして、コンピュータ16において、図11に示す道路境界検出処理ルーチンが、各交差点を検出対象として実行される。
まず、ステップ110において、検出対象の交差点についてデータ記憶部24に記憶されたステレオ画像及び測位情報を取得する。ステップ112では、上記ステップ110で取得した各フレームのステレオ画像から、エッジ点を抽出する。ステップ114では、上記ステップ112で抽出した各フレームのステレオ画像のエッジ点群の各点について3次元位置を求めると共に、上記ステップ110で取得した測位情報を用いて、各フレームのエッジ点群を統合して、3次元点群とする。
そして、ステップ116において、上記ステップ114で得られた3次元点群のうち、各走行に対する3次元点群から、線分を各々検出し、ステップ118において、上記ステップ114で得られた3次元点群及び上記ステップ116で検出された各線分を、点群線分記憶部30に格納する。
次のステップ120では、上記ステップ118で点群線分記憶部30に格納された線分のうち、2つの線分からなる線分ペアを選択し、処理対象の線分ペアとして設定する。ステップ122において、上記ステップ118で点群線分記憶部30に格納された3次元点群から、上記ステップ120で設定された処理対象の線分ペアの2つの線分の延長線の周辺の点を、部分点群として選択する。ここで、複数の部分点群が選択される。
そして、ステップ124において、上記ステップ122で選択された部分点群に基づいて、片側双曲線を示すパラメータを算出し、ステップ126で、上記ステップ124で算出された片側双曲線パラメータの適合度を算出する。ここで、上記ステップ124、126の処理は、選択された複数の部分点群の各々について行われる。
ステップ128では、上記ステップ118で点群線分記憶部30に格納された線分における全ての線分ペアについて上記ステップ120〜ステップ126の処理が実行されたか否かを判定し、全ての線分ペアについて上記ステップ120〜ステップ126の処理が実行されたと判定された場合には、ステップ130へ進む。一方、上記ステップ120〜ステップ126の処理が実行されていない線分ペアが存在する場合には、上記ステップ120へ戻り、当該線分ペアを処理対象の線分ペアとして設定する。
ステップ130では、上記ステップ110で取得した測位情報に基づいて、交差点の中心位置を算出し、算出された中心位置を基準として、上記ステップ124で算出された片側双曲線パラメータを、複数の角(例えば4つの角)に分類し、片側双曲線パラメータの各々を、複数の角の何れかに振り分ける。
そして、ステップ132では、交差点の角毎に、当該角に振り分けられた片側双曲線パラメータのうち、上記ステップ126で算出された適合度が最大となる、片側双曲線パラメータを選択する。次のステップ134では、上記ステップ132で交差点の角毎に選択された片側双曲線パラメータが示す片側双曲線を、交差点における角毎の道路境界の検出結果として出力し、道路境界検出処理ルーチンを終了する。
道路境界検出処理ルーチンによって検出された交差点における角毎の道路境界は、例えば、地図上に登録される。
たとえば、図12(A)に示すような入力画像を含むステレオ画像が入力された場合には、図13に示すような、点群データが取得され、図12(B)に示すように、交差点における道路境界であるガードレールが検出される。なお、図12(A)の画像中の丸印が示すガードレールと、図12(B)の丸印が示すガードレールとは対応しており、図12(A)の画像を撮像したときの車両の位置及び撮像方向が、図12(B)中に示されている。
以上説明したように、本発明の実施の形態の交差点道路境界検出装置によれば、同一の交差点の異なる走行方向の車両の走行にわたって得られた3次元点群から線分を検出し、線分ペア毎に、線分ペアの2つの線分を漸近線とする片側双曲線のパラメータを算出し、3次元点群に最も適合する片側双曲線パラメータが示す片側双曲線を、交差点における道路境界として検出することにより、交差点における道路境界を精度よく検出することができる。また、交差点における道路境界を検出して、地図に登録することにより、図14に示すような高精度な地図を生成することができる。
カメラを搭載した車両で交差点を複数方向に走行し、複数方向に走行して得られた点群を統合利用することで、交差点の道路境界を検出できる。単一方向に走行するだけでは死角が多いため全体を検出できないが、複数方向にわたって取得したデータを統合することで交差点の道路境界の形状を認識できる。また、交差点付近は人、車、バイクなどが停留しやすく、道路境界以外の物体を誤検出しやすいが、本実施の形態に係る交差点道路境界検出装置により、誤検出を抑制でき、静止物の境界のみ検出可能となる。
また、交差点周囲の道路境界を個別の線分として扱うのではなく、交差する道路の線分をそれぞれ漸近線とする単一の片側双曲線として、交差点の道路境界を表現するため、交差する両方の道路境界、および角の形状を併せてモデル化し最適化することができる。
また、本実施の形態では、交差点周囲の道路の直線状領域、円弧状領域をまとめて扱うことのできる双曲線モデルで近似するため、モデルの当てはめが容易になる。また、曲率の小さい直角状の交差点境界も併せて同様の枠組で検出することができる。
また、もともと、双曲線近似はノイズの影響を受けやすく多くの課題がある。本実施の形態では、複数の走行で得られた点群のうち、漸近線となる線分ペアに近い点群を統合して用いることで、車載カメラによって得たノイズを多く含む点群であっても比較的安定して双曲線フィッティング可能である。また、他物体の影響を受けにくいため誤検出を抑制できる。
また、交差点の角ごとに、適合度が最大となる片側双曲線を求めることで、交差点の角ごとの道路境界が得られる。
なお、上記の実施の形態では、車両走行時に、交差点のステレオ画像及び測位情報の取得及び記憶のみを行い、後で、3次元点群を求める場合を例に説明したが、これに限定されるものではない。例えば、車両走行時に、ステレオ画像及び測位情報の取得及び記憶を行うと共に、エッジ点の抽出及び実座標系の3次元座標の算出を行うようにしてもよい。
また、交差点道路境界検出装置が車両に搭載されている場合を例に説明したが、撮像装置、測位装置、データ取得部、地図データベース、及びデータ記憶部を含む車載器とは別の装置で、交差点道路境界検出装置を構成してもよい。この場合には、車載器のデータ記憶部に記憶されたデータを、ネットワーク等を介して、交差点道路境界検出装置に入力するようにすればよい。
また、ステレオカメラである撮像装置の代わりに、レーザレーダを用いて、点群を取得してもよい。この場合には、レーザレーダを用いて、道路領域を含む自車両前方に存在する物体上の3次元点を各々検出し、コンピュータに出力するようにすればよい。また、レーザレーダが、データ取得手段の一例であり、検出される物体上の3次元点が、物体データの一例である。
本発明のプログラムは、記憶媒体に格納して提供するようにしてもよい。
10 交差点道路境界検出装置
12 撮像装置
14 測位装置
16 コンピュータ
20 地図データベース
22 データ取得部
24 データ記憶部
26 点群取得部
28 線分検出部
30 点群線分記憶部
32 線分ペア選択部
34 部分点群選択部
36 双曲線パラメータ算出部
38 最適化部

Claims (9)

  1. 車両が交差点を走行したときに前記車両に搭載されたデータ取得手段によって取得された前記交差点における物体データと、前記車両の測位情報とに基づいて、実座標系の3次元座標を持つ、前記交差点における物体上の複数の点からなる点群データを取得する点群取得手段と、
    前記点群取得手段によって取得された前記点群データから、線分を各々検出する線分検出手段と、
    同一の交差点の異なる走行方向の前記車両の走行に対して得られた前記点群データから前記線分検出手段によって検出された線分から、2つの線分からなる線分ペアを複数選択する線分選択手段と、
    前記線分選択手段によって選択された線分ペア毎に、前記線分ペアの2つの線分を漸近線とする双曲線を算出する双曲線算出手段と、
    前記双曲線算出手段によって前記線分ペア毎に算出された双曲線のうち、前記点群取得手段によって前記同一の交差点の異なる走行方向の前記車両の走行に対して取得された前記点群データに最も適合する双曲線の片側曲線を、前記交差点における道路境界として検出する道路境界検出手段と、
    を含む交差点道路境界検出装置。
  2. 前記線分検出手段は、前記交差点の走行方向毎に、前記点群取得手段によって取得された前記点群データのうち、前記交差点の前記走行方向の前記車両の走行に対する前記点群データから、線分を各々検出する請求項1記載の交差点道路境界検出装置。
  3. 前記双曲線算出手段は、前記点群取得手段によって取得された前記点群データから、前記線分ペアの各線分の周辺の点を所定個選択し、前記選択された所定個の点と、双曲線との誤差が最小となるように、前記双曲線のパラメータを算出する請求項1又は2記載の交差点道路境界検出装置。
  4. 前記双曲線算出手段は、前記点群取得手段によって取得された前記点群データから、前記線分ペアの2つの線分の交点まで各線分を延長した各延長線の周辺の点を、前記延長線との距離が近い点ほど優先して選択することにより、前記所定個の点を選択し、前記選択された所定個の点と、双曲線との誤差が最小となるように、前記双曲線のパラメータを算出する請求項3記載の交差点道路境界検出装置。
  5. 前記双曲線算出手段は、前記点群取得手段によって取得された前記点群データから、前記線分ペアの各線分の周辺の点を所定個選択することを反復して行い、反復毎に、前記選択された所定個の点と、双曲線との誤差が最小となるように、前記双曲線のパラメータを算出する請求項3又は4記載の交差点道路境界検出装置。
  6. 前記双曲線算出手段は、前記線分選択手段によって選択された線分ペア毎に、前記線分ペアの2つの線分を漸近線とする片側双曲線を算出し、
    前記道路境界検出手段は、前記交差点における複数の角に対して、前記双曲線算出手段によって算出された片側双曲線を振り分け、前記交差点の角毎に、前記角に振り分けられた片側双曲線のうち、前記点群取得手段によって取得された前記点群データに最も適合する片側曲線を、前記交差点における前記角の道路境界として検出する請求項1〜請求項5の何れか1項記載の交差点道路境界検出装置。
  7. 前記データ取得手段は、前記車両の周辺を撮像してステレオ画像を生成する撮像手段であって、
    前記点群取得手段は、前記車両が交差点を走行したときに撮像された前記ステレオ画像から抽出される相対座標系の3次元座標を持つ複数の点と、前記車両の測位情報とに基づいて、前記点群データを取得する請求項1〜請求項6の何れか1項記載の交差点道路境界検出装置。
  8. 前記データ取得手段は、前記車両の周辺に存在する物体上の点を検出するレーザレーダであって、
    前記点群取得手段は、前記車両が交差点を走行したときに検出された前記交差点における物体上の点と、前記車両の測位情報とに基づいて、前記点群データを取得する請求項1〜請求項6の何れか1項記載の交差点道路境界検出装置。
  9. コンピュータを、
    車両が交差点を走行したときに前記車両に搭載されたデータ取得手段によって取得された前記交差点における物体データと、前記車両の測位情報とに基づいて、実座標系の3次元座標を持つ、前記交差点における物体上の複数の点からなる点群データを取得する点群取得手段、
    前記点群取得手段によって取得された前記点群データから、線分を各々検出する線分検出手段、
    同一の交差点の異なる走行方向の前記車両の走行に対して得られた前記点群データから前記線分検出手段によって検出された線分から、2つの線分からなる線分ペアを複数選択する線分選択手段、
    前記線分選択手段によって選択された線分ペア毎に、前記線分ペアの2つの線分を漸近線とする双曲線を算出する双曲線算出手段、及び
    前記双曲線算出手段によって前記線分ペア毎に算出された双曲線のうち、前記点群取得手段によって前記同一の交差点の異なる走行方向の前記車両の走行に対して取得された前記点群データに最も適合する双曲線の片側曲線を、前記交差点における道路境界として検出する道路境界検出手段
    として機能させるためのプログラム。
JP2012270610A 2012-12-11 2012-12-11 交差点道路境界検出装置及びプログラム Active JP6119225B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012270610A JP6119225B2 (ja) 2012-12-11 2012-12-11 交差点道路境界検出装置及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012270610A JP6119225B2 (ja) 2012-12-11 2012-12-11 交差点道路境界検出装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2014115904A true JP2014115904A (ja) 2014-06-26
JP6119225B2 JP6119225B2 (ja) 2017-04-26

Family

ID=51171812

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012270610A Active JP6119225B2 (ja) 2012-12-11 2012-12-11 交差点道路境界検出装置及びプログラム

Country Status (1)

Country Link
JP (1) JP6119225B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018146363A (ja) * 2017-03-03 2018-09-20 三菱航空機株式会社 3次元位置計測システム及び方法
JP2019135544A (ja) * 2017-12-29 2019-08-15 バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド 電子地図における交差点を認識するための方法及び装置
WO2020013057A1 (ja) * 2018-07-12 2020-01-16 株式会社デンソー 交差道路推定装置
JP2020017199A (ja) * 2018-07-27 2020-01-30 パイオニア株式会社 情報処理装置
WO2020071416A1 (ja) * 2018-10-02 2020-04-09 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
WO2020071414A1 (ja) * 2018-10-02 2020-04-09 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
US20230192131A1 (en) * 2021-12-22 2023-06-22 Joseph Burtch Automated driving collision prediction

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08159716A (ja) * 1994-12-09 1996-06-21 Sumitomo Electric Ind Ltd 道路消失点の算出方法及び車両の位置・姿勢計測装置
JP2008065088A (ja) * 2006-09-07 2008-03-21 Toyota Central R&D Labs Inc 静止物地図生成装置
JP2010160777A (ja) * 2008-12-12 2010-07-22 Toyota Central R&D Labs Inc 地図生成装置、走路推定装置、移動可能領域推定装置、及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08159716A (ja) * 1994-12-09 1996-06-21 Sumitomo Electric Ind Ltd 道路消失点の算出方法及び車両の位置・姿勢計測装置
JP2008065088A (ja) * 2006-09-07 2008-03-21 Toyota Central R&D Labs Inc 静止物地図生成装置
JP2010160777A (ja) * 2008-12-12 2010-07-22 Toyota Central R&D Labs Inc 地図生成装置、走路推定装置、移動可能領域推定装置、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
浅山 泰祐、塩野 充: ""双曲線近似を用いた交差2直線のハフ変換による検出実験"", 電子情報通信学会技術研究報告, vol. 99, no. 515, JPN6016030429, 17 December 1999 (1999-12-17), JP, pages 95 - 100, ISSN: 0003376109 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018146363A (ja) * 2017-03-03 2018-09-20 三菱航空機株式会社 3次元位置計測システム及び方法
JP2019135544A (ja) * 2017-12-29 2019-08-15 バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド 電子地図における交差点を認識するための方法及び装置
US10783368B2 (en) 2017-12-29 2020-09-22 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for identifying intersection in electronic map
WO2020013057A1 (ja) * 2018-07-12 2020-01-16 株式会社デンソー 交差道路推定装置
JP2020009366A (ja) * 2018-07-12 2020-01-16 株式会社Soken 交差道路推定装置
JP7140577B2 (ja) 2018-07-12 2022-09-21 株式会社Soken 交差道路推定装置
JP2020017199A (ja) * 2018-07-27 2020-01-30 パイオニア株式会社 情報処理装置
WO2020071416A1 (ja) * 2018-10-02 2020-04-09 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
WO2020071414A1 (ja) * 2018-10-02 2020-04-09 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
JP7358376B2 (ja) 2018-10-02 2023-10-10 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
US20230192131A1 (en) * 2021-12-22 2023-06-22 Joseph Burtch Automated driving collision prediction

Also Published As

Publication number Publication date
JP6119225B2 (ja) 2017-04-26

Similar Documents

Publication Publication Date Title
JP6119225B2 (ja) 交差点道路境界検出装置及びプログラム
US11320833B2 (en) Data processing method, apparatus and terminal
US11086016B2 (en) Method and apparatus for tracking obstacle
JP6595182B2 (ja) マッピング、位置特定、及び姿勢補正のためのシステム及び方法
JP6529463B2 (ja) 道路構造化装置、道路構造化方法、及び道路構造化プログラム
CN103424112B (zh) 一种基于激光平面辅助的运动载体视觉导航方法
JP5385105B2 (ja) 画像検索方法およびシステム
CN111612728B (zh) 一种基于双目rgb图像的3d点云稠密化方法和装置
CN109635816B (zh) 车道线生成方法、装置、设备以及存储介质
JP6381137B2 (ja) 標識検出装置、方法、及びプログラム
JP2011192214A (ja) 幾何特徴抽出装置、幾何特徴抽出方法、及びプログラム、三次元計測装置、物体認識装置
TWI504858B (zh) A vehicle specification measuring and processing device, a vehicle specification measuring method, and a recording medium
CN104574393A (zh) 一种三维路面裂缝图像生成系统和方法
JP2017083245A (ja) 建築限界判定装置
Takai et al. Accurate registration of MMS point clouds of urban areas using trajectory
US11629963B2 (en) Efficient map matching method for autonomous driving and apparatus thereof
CN110597249A (zh) 一种机器人及其回充定位方法和装置
WO2018131163A1 (ja) 情報処理装置、データベース生成装置、方法、プログラム、及び記憶媒体
WO2020189909A3 (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
JP6397386B2 (ja) 領域分割処理装置、方法、及びプログラム
JP4618506B2 (ja) 物体認識装置
KR101392222B1 (ko) 표적 윤곽을 추출하는 레이저 레이더, 그것의 표적 윤곽 추출 방법
JP2014059646A (ja) 対象物検出装置、及び対象物検出方法
JP5928240B2 (ja) 3次元形状解釈装置及びプログラム
JP4876676B2 (ja) 位置計測装置、方法及びプログラム、並びに移動量検出装置、方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150916

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160803

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160809

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161011

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20161115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170202

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20170210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170228

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170313

R150 Certificate of patent or registration of utility model

Ref document number: 6119225

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150