JP2010061655A - 線形特徴を用いた対象追跡 - Google Patents

線形特徴を用いた対象追跡 Download PDF

Info

Publication number
JP2010061655A
JP2010061655A JP2009182358A JP2009182358A JP2010061655A JP 2010061655 A JP2010061655 A JP 2010061655A JP 2009182358 A JP2009182358 A JP 2009182358A JP 2009182358 A JP2009182358 A JP 2009182358A JP 2010061655 A JP2010061655 A JP 2010061655A
Authority
JP
Japan
Prior art keywords
linear
tracked
sensor data
linear features
linear feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009182358A
Other languages
English (en)
Other versions
JP2010061655A5 (ja
JP5539680B2 (ja
Inventor
Michael Robert James
ロバート ジェイムズ マイケル
Dmitri A Dolgov
アー.ドルコフ ドミトリ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Engineering and Manufacturing North America Inc
Original Assignee
Toyota Motor Engineering and Manufacturing North America Inc
Toyota Engineering and Manufacturing North America Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Engineering and Manufacturing North America Inc, Toyota Engineering and Manufacturing North America Inc filed Critical Toyota Motor Engineering and Manufacturing North America Inc
Publication of JP2010061655A publication Critical patent/JP2010061655A/ja
Publication of JP2010061655A5 publication Critical patent/JP2010061655A5/ja
Application granted granted Critical
Publication of JP5539680B2 publication Critical patent/JP5539680B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】線形特徴を用いた対象追跡を提供する。
【解決手段】或る環境内で対象を追跡する方法は、環境に関するセンサー・データを取得し、センサー・データ内で線形特徴を識別し、そしてセンサー・データ内で識別された線形特徴と、以前の追跡された線形特徴の集合とを用いて、追跡された線形特徴の集合を決定することを含み、追跡された線形特徴の集合は、環境内の対象を追跡するために使用される。
【選択図】図1

Description

本発明はセンサー・データを用いた環境内での、障害物の表示及び追跡を含む画像解析に関する。
或る環境内での対象追跡は、ロボット車両の運転を含む様々な用途に役立つ。しかしながら、識別される対象の各タイプに対して、異なる対象モデルを使用する従来の対象追跡は、計算的に困難である。
本発明の例は、距離データから由来する線形特徴を用いて対象を追跡するための、方法及び装置に関する。例えば、線形特徴は2次元又は3次元のセンサー・データ内で識別された線形特徴、例えばセンサー・データ内で識別された線又は平面を含み得る。以下の例において、線のような線形特徴の識別及び追跡は、本発明の特定の例において記述されるが、しかし本発明の例は平面のような別の線形特徴の識別及び追跡もまた含む。
アプローチの例において、(線及び/又は平面のような)線形特徴はセンサー・データ内で識別される。例えば、線分は2次元センサー・データ内で識別され、平面は3次元データ内で識別され得る。センサー・データはライダー、レーダー、ソナー、他の電磁放射に基づくアプローチ、超音波、又は別のアプローチを用いて得られる距離データのような、距離データを含み得る。線形特徴はその環境内で対象の追跡を可能にしつつ、追跡される。対象は識別される必要がなく、幾つかのアプローチにおいて類似の動的モデルが、全ての追跡される線形特徴に対して使用され得る。線形特徴は静的及び動的対象の双方を表わし得る。
線形特徴の識別の幾つかの例において、局所的に適応できる線形特徴検出アルゴリズムが、画像データ又は距離データのようなセンサー・データ内の線形特徴を検出するために使用され、該線形特徴検出アルゴリズムからの線形特徴データは線形特徴の追跡装置に提供される。アプローチの例において、各データ点に対して最も近い隣接物の集合が見出され、法線ベクトルがその最も近い隣接物の集合を用いて推定される。起こり得るエラーの残余又は他の測定量は、法線ベクトル計算に関して推定される。複数のデータ点が次に線形特徴の中へクラスター化される。クラスタリングは互いに近距離である(又は集団内の別のデータ点を通じて相互接続され得る)、そして類似の法線ベクトルを有するデータ点に関して起きる。クラスタリングは線形特徴の部分である可能性がより高い、法線計算に対してより小さい残余を有するデータ点から始まり得る。本発明の例は、次に続く線の追跡無しに用いられる新たな線形特徴アルゴリズム、例えば他の用途のための画像データ内における、改善された線形特徴の識別をさらに含む。
線形特徴の追跡に対するアプローチの一例は、センサー・データ内の線形特徴を識別し、そしてセンサー・データ内で識別された線形特徴を用いて追跡された線形特徴の集合を作り出す、センサー・データの取得を含む。追跡された線形特徴の現在の集合は、センサー・データ内で識別された線形特徴を含み、そして例えこれらが現在のセンサー・データにおいて検出されていなかったとしても、追跡された線形特徴の以前の集合から得られた線形特徴をさらに含み得る。それゆえ、線形特徴、及びこれらの線形特徴により表わされた対応する対象は、例え対応する線形特徴が現在のセンサー・データ内で検出されないとしても、その環境の表現の中で存続し得る。
次の例は線分(線)について言及しているが、しかし平面に対しても実行され得る。現在のセンサー・データ内で検出された線は新しい線と称され、追跡された線の以前の集合内の線は古い線と称され得る。古い線は追跡されなかったとしてマークされる。各々の新たな線に関して、新しい線に対する各々の古い線のマッピングが見出され、マッピングの確率が決定される。例えば、古い線が新しい線と同じ全体的位置にあり、そして同じ長さ及び向きである場合、マッピングの確率は比較的高い。古い線から新しい線への最高確率のマッピングが識別され、古い線と新しい線との間の、この対応は線の追跡に用いられ得る。例えば、最高確率が所定のしきい値よりも高い場合、新しい線は古い線から追跡されていると識別され、そして古い線は追跡されたとしてマークされる。新しい線の確率は、例えば適切な場合、線形性及び/又はマッピングの確率に関して決定される。追跡された線の新たな集合は、従って古い線から追跡された新しい線を含み、そして古い線に対応するようには見えない、(その環境内での新たな対象のような)新しい線もまた含み得る。
任意の追跡されない古い線の各々に対し、組み合わされた線の確率(より一般的には、線形特徴に対する特性的確率)は設定された古い線の中で用いられる、対応する線の確率に関連して減少し、古い線はそのとき、低減された線の確率が所定のしきい値よりも高く留まる限り、追跡された線の新たな集合の中へ含まれ得る。例えば、以前に検出された線が次に続くセンサー・データ内で検出されない場合、その線は次に続く追跡された対象の集合の中に留まり得るが、しかし対応する線の検出に対する、その後の個々の失敗と共に低下する、線の確率を伴う。以前に検出された線は、線の確率がしきいの確率よりも小さく低下するとき、追跡された線の現在の集合から除去され得る(あるいは現在の組へと通されない)。適切なしきいの確率は、試験あるいはアルゴリズムのシミュレーションを通じて実験的に決定され得る。
追跡は静的及び動的な障害物の双方に対して同時に生じ得る。或る環境の線形特徴の表示は、該環境内における障害物の存在の有無の追加的知識を提供することにより、動的障害物マップの改善された光線追跡のような、他の目的に対してもさらに使用され得る。
アプローチの例において、新たなセンサー・データのあらゆる組に対し、(新たなセンサー・データ内で識別された)新たな線形特徴は、追跡された線形特徴の以前の集合と統合され、線形特徴の形で世界中の対象の更新された画像を与える。センサー・データは、例えばセンサー又は該センサーを支持する車両に対する距離及び向きである、距離データのような2次元又は3次元のポイントの形態であり得る。複数のセンサーが存在し得る。
線形特徴は、遭遇したポイントの分布に基づく線形特徴を見出すためにそのパラメータを調整する、局所的に適合できるアルゴリズムを例えば用いて、センサー・データから得られる。このアプローチは、例えば多くの屋外環境における、比較的まばらなデータを返すセンサーに対して特に有用である。線形特徴はそのとき、新たな線形特徴を既存の線形特徴の集合と統合する、線形特徴の追跡装置に渡される。これは古い線形特徴から新たに識別される線形特徴まで、確率的マッピングを可能にし、新たな線形特徴の導入と共に、ノイズ又は妨害のために測定されていない、線形特徴の持続を可能にする。後者は対象の不変性の概念に対応する。このステップの出力は線形特徴の更新された集合である。このプロセスは、センサーの読みの新たな集合の各々に対して繰り返され得る。
線形特徴の追跡に対するアプローチの一例を説明している。 センサー・データ内の線形特徴を見出す方法を説明している。 実際の試験データから取られた、近傍計算に対する局所性に基づく近傍アルゴリズムの例を示す。 実際の試験データから取られた、近傍計算に対する局所性に基づく近傍アルゴリズムの例を示す。 実際の試験データから取られた、近傍計算に対する局所性に基づく近傍アルゴリズムの例を示す。 実際の試験データから取られた、近傍計算に対する局所性に基づく近傍アルゴリズムの例を示す。 セグメンテーションアルゴリズムに対する近傍計算の影響を比較している。 セグメンテーションアルゴリズムに対する近傍計算の影響を比較している。 セグメンテーションアルゴリズムに対する近傍計算の影響を比較している。 或る環境の表示の中で線形特徴を追跡する方法を説明している。 線形特徴の安定性が静的及び動的な障害物の双方に対して実証されている、一連の20の測定中における動的線形特徴追跡の周期的スナップショットを示す。 線形特徴の安定性が静的及び動的な障害物の双方に対して実証されている、一連の20の測定中における動的線形特徴追跡の周期的スナップショットを示す。 線形特徴の安定性が静的及び動的な障害物の双方に対して実証されている、一連の20の測定中における動的線形特徴追跡の周期的スナップショットを示す。 標準のポイントに基づく障害物マップ及び線形特徴を増大された(この場合、線形特徴を増大された)表示をそれぞれ用い、後者がより多くの障害物を誤って消去することから防ぐ、光線追跡を示す。 標準のポイントに基づく障害物マップ及び線形特徴を増大された(この場合、線形特徴を増大された)表示をそれぞれ用い、後者がより多くの障害物を誤って消去することから防ぐ、光線追跡を示す。 ポイントに基づく障害物マップと、線形特徴に基づく障害物マップの、さらなる比較を示す。 ポイントに基づく障害物マップと、線形特徴に基づく障害物マップの、さらなる比較を示す。
本発明の例は、距離データを用いて対象を追跡する装置及び方法に関する。一例としてのアプローチは、距離データから線形特徴を識別し、次にそれらの線形特徴を追跡することを含む。線形特徴検出アルゴリズム(例えば線形特徴検出アルゴリズム)は、該アルゴリズムが遭遇するポイントの分布に基づいて線形特徴を見出すための、そのパラメータを調整する点において、局所的に適応し得る。アルゴリズムの出力は線形特徴、従って環境内における対象の追跡を助けるために使用され得る。類似の動作モデルが、追跡される対象の独自性にかかわらず、全ての追跡される線形特徴のために使用可能であって、対象の追跡における計算の簡潔さを可能にし、さらに対象の追跡に関して対象の識別を不要にする。
より高度なレベルの表示(例えばポイント・データの代わりに線又は平面のような線形特徴)が、障害物を識別するために使われる光線追跡アルゴリズムを含む、他のアルゴリズムの性能を改善するために用いられ得る。
本発明の例は、或る環境内において対象を追跡するための装置及び方法を提供する。そのような情報は、経路計画(例えば、自動化車両及び他のロボット用)、衝突検知、衝突前の警告システム等を含む、様々な目的に対して有用である。対象はレーダー、レーザー距離計など、1つ以上のセンサーを用いて得られた距離データを使って測定され得る。センサーは環境内の対象に対応する距離データ(例えば3次元のポイント)を生成し得るが、しかし従来のセンサーだけでは時間と共に対象を追跡するための能力を提供しない。
従来の(カルマン・フィルタリング及び粒子フィルタリングのような)対象追跡のアプローチは、追跡されている対象のための、動作及び観察モデルの構築に依存する。これらのモデルは典型的に特定の対象及びセンサーに非常に特有であり、対象のあり得るタイプのそれぞれに対して異なるモデルが必要とされ得る。これは多くの用途に対して非実用的であり得る。
汎用の幾何学的基本要素は、環境内での対象を表わすために用いられ得る。幾何学的基本要素は、線又は平面のような線形特徴であり得る。幾つかの例において、或る環境の幾何学的基本要素の表示は、次の1つ以上を含み得る:線、(円弧、放物線などのような)曲線セグメントと、長方形、円などの幾何学的形状、又は或る環境において典型的な対象を表わす形状。
或る環境において追跡される対象は、車両、道路、低木、人々、動物などを含み得る。該対象は静的又は動的であっても良く、あるいは静的状態と動的状態の間で変化し得る。
幾つかの例において、幾何学的基本要素は線形特徴の形をとる。この基本要素は単一の動作及び観察モデルが全ての対象に対して用いられ得る利点を有し、それはロボット工学における典型的アプローチに対するその全体的な適用性を改善する。線及び/又は平面のような線形特徴を用いる対象の表示は、全ての対象の前のモデル無しで行なわれるべき検出と追跡を可能にする。さらに、距離データからの線形特徴の識別は、2次元カメラ画像用に使われる典型的な線形特徴の検出(すなわちハフ変換(Hough transform))に関して改善する、新たな方法を用いて達成され得る。
新たなアルゴリズムが線形特徴の検出及び線形特徴の追跡のために開発された。これらのアルゴリズムは、乗用車、バス、及び建物と壁のような静的対象の追跡を含む、駐車場の環境における対象を見出し追跡するための、レーザー距離計からの3次元ポイント・データに関して試験され、優れた結果が得られた。
代表的なアプローチにおいて、一度だけのステップにおける線形特徴から次のステップにおける線形特徴への確率的なマッピングは、ベイズの枠組み(Bayesian framework)内で使用される。センサー・データのようなデータ処理用の基本要素としての線形特徴を見出し、使用するために、1つのアルゴリズムが用いられる。線形特徴は、比較的効果的な検出アルゴリズムを可能にするには十分単純であるが、線形特徴の動き及び測定の単独モデルを用いて、時間にわたる動的な障害物の追跡を可能にするには十分精巧である。環境のそのようなパラメータ表示は、動的な実環境に固有のノイズに対処するために良く適している。
線形特徴の追跡装置は、局所的に適応できる線形特徴検出アルゴリズムからの出力内の線形特徴を追跡するために用いられ得る。静的および動的障害物の双方を、対象の動きの単一のモデルを使用して同時に追跡することができる。
本発明の例は距離データから線形特徴を識別する方法を含み、また改善されたセグメントの追跡方法を含む可能性があり、そして対象を追跡するためにセグメント検出アルゴリズム及び/又はセグメント追跡アルゴリズムを用いる。本発明の例は、計算的に効率の良い処理を可能にするために十分単純であり得る線形特徴のような低レベルの基本要素を用い、一方で同時に、追跡アルゴリズムのようなアルゴリズムをサポートするための、(ポイント・データに比べて)十分に豊富な、より高いレベルの表示を提供する。線形特徴の使用のような、より高いレベルの表示は、光線追跡アルゴリズム、経路計画アルゴリズムなどの別のアルゴリズムを支援することができる。
線形特徴検出用の局所的に適応できるアルゴリズムは、屋外の、動的な、実環境から来るノイズが多く、まばらなデータに良く適している。線形特徴に対する確率的な追跡アルゴリズムは、静的及び動的な障害物の双方を追跡できる。実験的な結果は、線形特徴に基づく表示の使用が一般的に有利であることを示した。線形特徴に基づく表示は、実環境を解釈するために有用である、動的追跡のような任務をうまく実施するのに十分な表示力を有する。さらに、線形特徴に基づく表示は、関連するアルゴリズムの性能を改善するために、うまく使用され得る。
図1はアプローチの一例を説明している。ボックス10はセンサーの読みの取得を表わす。センサーは3次元ポイントの集団的データの形でデータを提供し得る。幾つかの例において、3次元表示は或る環境の2次元表示を得るために、平面上へと投影され得るか、又はセンサーが2次元データを提供し得る。該データは距離データ、例えばレーザー距離計測を含む任意の適切な方法を用いて得られる、距離測定値を含み得る。
ボックス12は局所的に適応できる線形セグメンテーションアルゴリズムのような、線形特徴検出アルゴリズムの適用を表わす。該アルゴリズムは3次元ポイントの集団を受け取り、この例の線において識別された線形特徴を出力する。ボックス16は線形特徴の現在の集合を受け取り、そして最新の追跡された線形特徴及び線形特徴のマッピングを出力する、線形特徴追跡アルゴリズムを表わす。ボックス14は対象を追跡するために使用され得る、又は他のプロセスのために備えられ得る、出力される追跡された線形特徴を表わす。
局所的に適応できる線形セグメンテーション
センサーからの2次元又は3次元データのようなポイントの集合は、線分又は平面のような線形特徴に対応する一組の領域内へ分割される。まばらでノイズの多いデータに対してより堅固な、新しいアルゴリズムが開発された。新しい方法は最も近い隣接物の計算を行なうために用いられた。データの局部的な配置に適合することにより、線形特徴の検出アルゴリズムは、例えばセンサーのデータ点のまばらな収集を、堅固に処理することができる。
セグメンテーションの品質は、追加的な線形特徴の成長ステップを実施することにより改善された。これはその法線計算が希薄さ又はノイズにより悪影響を受けるが、受入れた線分及びその延長と合致するポイントを含むように、セグメンテーション内の領域を拡張する。
平滑曲線を分割するため以前に用いられた、ラバニらにより記述されたセグメンテーションアルゴリズム(T.ラバニ、F.A.ファン・デン・フーベル、及びG.フォッセルマン、「平滑性の制約を用いるポイント集団のセグメンテーション」、IEVM06、2006年[T.Rabbani,F.A.van den Heuvel,and G.Vosselmann,“Segmentation of point clouds using smoothness constraint”,in IEVM06,2006])は、本発明の例に伴う用途に適し得る。該アルゴリズムは2つの局面へと分割でき、高レベルの概要は以下の表Iに与えられている。第1の局面において、ポイントの集団は、最初にそのポイントに対する最も近い隣接物を見出し、それらの隣接物を通じて平面を適合させ、次に該平面に対するポイントの適合の、法線ベクトル(実験的法線)及び残余を計算することにより、各ポイントにおいて解析される。
第2の局面において、ポイントは複数の領域へと分割される。これは最良の残余適合のために各ポイントを調べ、領域をそのポイントのために大きくする、欲張りな方法で行なわれる。或る領域は(原則として)その領域内の各ポイントpiの各隣接物pjを調べ、そして法線ベクトルvnjが法線ベクトルvniと類似の方向である場合、pjを該領域内に含めることにより大きくされる。他のアルゴリズムは使用され得る。
類似の法線は、第1の法線方向の一定の角度範囲内、例えば±θ以内のものであってもよく、ここでθは20°、10°、5°、又は他の幾つかの角度値であってもよい。
このアルゴリズムの両方の局面は、最も近い隣接物の集合に大きく依存する。密集したポイントの集団に対し、最も近い隣接物同士は双方とも良好な法線の推定をもたらし、また領域成長のプロセスに関する優れた候補を提供するため、最も近い隣接物を見出すための標準アルゴリズムは十分であるように思われる。しかしながら、まばらでノイズの多いデータセットに対して、これは当てはまらない。標準的な最も近い隣接物の計算は一般に、これらのいずれの役割もうまく果たさないであろう。
Figure 2010061655
局所性に基づく近傍計算
局所性に基づく近傍アルゴリズムが、近傍計算においてノイズが多くまばらなデータにより生じる問題を軽減するために開発された。例としてのアルゴリズムは、或るポイントの隣接物の選択が、ポイントの局所的な構成に依存することを許容する。しかしながら、この局所的な構成は(実際は)ポイントの隣接物の関数として検出される。
図2は一例の方法のフローチャートを示す。ボックス20はセンサー・データのようなデータの取得、及び線形特徴識別アルゴリズムへの提供に対応する。ボックス28(点線)は次のアプローチを用いた、各ポイントに対する法線ベクトルの識別を表わす。ボックス22は考慮される各データ点に対する最も近い隣接物の、サンプリングされた集合を見出すことに対応する。ボックス24は、例えば線又は平面のような局所的線形特徴の、サンプリングされた集合への適合により、最も近い隣接データ点のサンプリングされた集合に対して、法線ベクトルを推定することに対応する。ボックス26は、サンプリングされた集合に対し残余を推定することに対応する。
ボックス30は、類似の法線ベクトルを有し、局所的に接続された、例えば(最も近い隣接物、又は距離関数以内のような)互いに近接した、ポイントの集団化を表わす。距離関数は局所的に調整可能であり、例えば既に決定された線形の集団の延長方向にさらに延びている。幾つかの例において、このアプローチは最小の残余を有するデータ点で始まる(ボックス26を参照)。ボックス32は、ボックス30の集団化からもたらされる、線分又は平面のような線形特徴を出力することに対応する。
反復iにおけるポイントp1とp2の間の距離を定義するために、適応可能な局所的距離関数Di(p1,p2)を用いる、反復アルゴリズムが開発された。適応可能な距離関数は、スカラーαDiと直交ベクトルvni及びvpiによりパラメータ化されることができ、ここでvniはポイントp1に対して実験的に計算された法線ベクトルであり、vpiはpiに対する主要寸法である。該距離関数は、
i=(αDi((p2−p1)・vn2+1/αDi((p2−p1)・vp21/2 (1)
として定義され得る。
距離関数は主要寸法及び法線方向の寸法に沿った距離の関数として計算された、しかしαDiにより増減される測定値を伴う、2点間の距離を表わす。これは該距離が局所的な構成に適応できるようにする。
実験は、実験的な共分散行列(代替として、実験的なデータ行列の特異値)の固有値の関数である倍率がうまく機能していることを示した。それらの固有値に対応する固有ベクトルが、それら自身vpi及びvniであるため、これは直感的にアピールする。用いられる倍率は、
αDi=(λmax/λmin1/2 (2)
であった。
大きな法線成分を有するポイントは、大きな主要(接線)成分を有するポイントに比べてより不利にされるため、これは既に近傍として識別されたポイントの線形性に基づき、ポイントp1の周りの近傍を伸長させる効果を有する。距離関数の形は、一定距離の境界領域が、ユークリッド距離の持つような円よりも、むしろ楕円形状をとることを示唆する。該アルゴリズムはポイントpiの周りの小さい局所的な近傍を解析することによりスタートし、各反復と共に近傍集団Nのサイズnを増加させる。
ポイントp1に対する近傍集団N及び法線vnを計算するための反復的なアルゴリズムは、以下の表IIにおいて与えられている。もたらされるポイントの集合と法線ベクトルから、例えばラバニらで説明されたように、残留を計算することは簡単であり、従ってこのアルゴリズムは、全体の分割アルゴリズムにおける法線及び残留の計算のための、一時的な置き換えとして役立ち得る。
このアプローチは局所的な特徴に基づいて、ポイントをグループ化するための一般的方法であり、簡単な方法で3次元データに拡張され得る。
Figure 2010061655
線形算入を通じた追加領域の成長
近傍計算の更なる態様は、線形算入領域の成長である。本概念は、例えそれらの計算された法線ベクトルが、線分内にそれらを含まなかったとしても、線分と合致するポイントをその線分内の適切な位置に含むことである。
表Iの第2段階からの、領域の集合Rは既に線形セグメントとして分類されている。R内の各領域はポイントPの集合を有し、各領域rに対して法線ベクトルvnr及び接線ベクトルvprは上記のような固有分解法を用いて計算される。線分の端点pr,e1及びpr,e2は、各ポイントを接線ベクトル上へ投影し、端部を見出すことにより計算される。
一例の線形算入アルゴリズムは、2つのスカラー値αn及びαtによりパラメータ化される。どの領域にもまだ割り当てられていないポイントpは、線分へのその垂直距離がαnよりも小さく、i)その投影が線分自体の上にあるか、又はii)その投影が最も近い端点からαtよりも近い場合、領域rに加えられる。
このアルゴリズムの結果は、元のR内の各領域が、(しかし何も差し引かれず、どの領域も取り除かれないで)それに加えられるポイントを持った可能性がある、領域の修正された集合R’である。
実験
局所性に基づく近傍アルゴリズムの有効性をテストするため、駐車場内の試験車両に対する位置の特定と共に統合された、一連のレーザー距離計のスキャンから由来する、障害物のグリッドに対して試験された。
図3A〜3Dは、実際の試験データから取られた、近傍計算に対する局所性に基づく近傍アルゴリズムの例を示す。図3Aは、それに対して近傍が計算されているポイント40を囲む、42のような点の集合を示す。図3Bは44及び48のようなポイントを示し、そしてまた局所的な線の一部ではない46のようなポイントも含む、(ユークリッド距離を用いた)標準の近傍計算の結果を示す。図3Cは、局所的な線に適切に含まれる48及び44のようなポイントを示し、ポイント46を含まない、本発明の一例による局所性に基づく近傍計算における、中間ステップを示す。図3Dは局所的な線の中の50及び52のようなポイントの算入を示している、局所性に基づく近傍計算の最終結果を示す。
図3Bは、伝統的な方法がそのように疎なデータには適さず、もたらされる近傍の結果は法線ベクトルに対する不適合と、非常に高い残留を生じることを示す。しかしながら、図3C及び3Dの局所性に基づくアルゴリズムは、より共直線的なポイントを含み、そしてより優れた近傍をもたらすために、その距離計量を調整する。
図4A〜4Cはセグメンテーションアルゴリズムの最終結果に対する、局所性に基づく近傍アルゴリズムの影響の例を示す。図4Aは駐車場におけるレーザー距離計のデータから作られた、障害物マップ60の一部である入力を示す。
図4Bは、62及び64のような線を含む、標準の近傍計算が用いられたとき、セグメンテーションアルゴリズムにより選択された線の最終の集合を示す。
図4Cは、66及び68のような多数の線を含む、局所性に基づく近傍アルゴリズムが用いられたとき、セグメンテーションアルゴリズムにより選択された線の最終の集合を示す。2つのアルゴリズムの間にはその他の差はなく、全てのパラメータ設定は同一であった。これらの結果は全部の障害物マップに特有である。全てのパラメータ設定は複数の試験間で同一であり、近傍計算のみが異なった。局所性に基づくアルゴリズムは非常に少ない誤検出で、見出された線のより大きな集合をもたらす。
動的な線分の追跡
ポイント・データから線形セグメントを見出すためにアルゴリズムを用いて、環境内での線と対象との間の対応が決定され得る。静的及び動的な障害物の双方を含む環境に対し、これは動的な障害物に対する空間を通じて検出された線の評価及び追跡と同様に、静的な障害物の指標として検出された線の評価を含む。
(障害物マップのような)より基本的なレベルでの、静的な障害物のための評価方法が存在するが、特に動的な障害物もまた存在するとき、そのようなアプローチには、しばしば問題がある。第1に、対象の連続性についての概念がない。非常に良く定義された障害は、センサーのノイズに起因して、又は光線追跡の副作用として、障害物マップに欠点を含み得る。第2に、或るポイント・レベルにおける動的な障害物の追跡は、任意の2点間に対応を構築する問題のゆえに、しばしば困難である。若干高い基本(線)へ移行することは、ずっと良好な評価及び動作モデルを可能にする。しかしながら、比較的単純なレベルに留まることにより、様々な異なる障害物のタイプがモデル化でき、同じモデルが静的及び動的な障害物の双方に対して使用され得る。
図5は可能なアプローチを示す。ボックス100は、この例の線データの中で、新しい線形特徴データの受け取りを表すが、それはまた平面データでもあり得る。ボックス108は古い線から新しい線への追跡を次のように表わす。ボックス102は各々の新しい線に対する、古い線から新しい線へのマッピングを表わす。ボックス104は、ボックス102のマッピングに対する、マッピング確率(Pm)の決定、及び最大のマッピング確率と、対応する最も有りそうなマッピングの識別を表わす。ボックス106は、マッピング確率が所定のしきい値を超えており、他の可能なマッピングよりも大きい場合に、ボックス102内に見出されるマッピングを保持することを表わす。ボックス110は、残りの古い線の線確率を減らすこと(より一般的には、残りの線形特徴の特性的確率を減らすこと)を表わし、ボックス112は、確率Poldが第2の所定のしきい値を超えた状態に留まる場合にだけ、古い線を追跡された線の現在の集合の中に含むことを表わす。
1つのアルゴリズムが、動的な(及び静的な)線分を追跡するために開発された。該アルゴリズムは、一回のステップにおける線分から、次の回のステップにおける線分まで、(確率的な)マッピングの形をとる、線の動きの単純モデルを使用する。静的及び動的な障害物の双方の追跡を試みる時に直面する問題に対処するため、確率的なアプローチが開発された。このマッピングを使用する副作用は、多くの時点にわたって線分間に対応が維持され得ることである。
線分を追跡するためのアルゴリズムの一例は、存在する一連の証拠へ組み込まれるべき測定値として、検出された線の現在の集合を扱う。該アルゴリズムはまた、例え新たな支持する測定値が無くても、安定した障害物の(徐々に減少する)持続性を可能にする。
下記の表IIIはアルゴリズムの一例の一般構造を例示する。測定値の集合に等しい、潜在的な新しい線の集合が生成される。潜在的な新しい線は、線の検出アルゴリズムを用いて現在のセンサー・データ内で識別され得る。これは大部分の現在の測定値に依存しがちな姿勢の源である。前の時間ステップからの全ての線にわたり繰り返して、潜在的な新しい線の確率は計算されたマッピングに基づいて更新される。このプロセスの間、最も高い確率のマッピングもまた記録され、それは線分間の対応と呼ばれる。潜在的な新しい線が十分に高い確率を有する場合、それは進められる。最後に、安定した線の持続性が計算される。
線がそのような単純な基本要素であるため、時間t−1における線分liから時間tにおける線分ljまで、マッピングΦ(li,lj)を定義することは比較的簡単である。同じ動作モデルは、それらが静的又は動的な障害物に対応しようとも、そして障害物のタイプにかかわらず、画像内の全ての線に対して使用され得る。
或るモデルは、より特定の対象のモデルが持つであろう、動作の任意の知識を活用出来ないかも知れない。特定の対象のタイプが検出された場合、それらはより具体的な動作モデルを用いて追跡され得る。しかしながら、実験において線分を用いる単純なアプローチが、具体的な対象モデルの必要性無しで適切に機能した。
線分liとljとの間のマッピングは、3つのスカラーのパラメータを設定する:
距離di,j、回転θi,j、及び伸びβij<di,j,θi,j、 βij≧Φ(li,lj
各線分lxに対し、中心cx、角度θx、及び長さzxが計算される。中心及び長さは標準の式により計算される。角度に関して、該角度は(0,π)以内であるよう要求される可能性があり、それは線分がπの回転に関して対称のため可能である。
距離は中心点ciとcjの間のユークリッド距離であり、それゆえ
Figure 2010061655
である。回転はθi,j=θj−θiである。伸びは長さの比率、βi,j=zj/ziである。
マップの計算は、連続的な時間ステップにおける線分間の対応の追跡を保つため、そしてまた測定値を与えられた線分の確率を計算するための、双方に対して用いられ得る。マッピングにわたる多変数の正規確率密度関数は、各変数が他に対して独立であると仮定して定義される。従って、手段(μd,μθ,μβ)及び標準偏差(σd,σθ,σβ)が定義され、それらは変数μΦ及びΣΦにおいて捕えられる。
複数の変数にわたる範囲における広い変化の要因となるために、倍率(γd,γθ,γβ)が各変数に対して導入される。さらに、伸びは1の周りで非対称であるため、我々はmax(β,1/β)を使用した。要約すると、線li及びljに関するマップは、3つの(修正された)変数
(γd,di,j),(γθθi,j),(γβmax(βi,j,1/βi,j))〜Np(μΦ,ΣΦ) (3)
の、多変数の正規確率密度関数を持っていた。
追跡結果はそれらの設定における変化に対してかなり堅固であったが、正規分布を定義するパラメータと倍率との選定は、高度に問題依存型である。
Figure 2010061655
時間にわたる確率的追跡
一例のアルゴリズムは、新たな測定値を前の証拠に統合するために、ベイズのアプローチを用いる。全てのセンサー測定値を与えられた線lxの、線確率は、
Figure 2010061655
であり、ここで最初の2つの確率における条件付き独立性が、式を単純化するために用いられる。この式の3番目の確率は、前回のステップから生き残った古い線loの確率である。線形特徴としての平面に対し、類似の項が特性的確率のために使用され得る。
最初の確率は、もし線が存在するならば、特定の測定値が生成される確率を反映する。線の存在は仮定され、その確率は測定値の線形性の関数として計算され得る。各々のmは上記に見出される領域rに対応し、上記で計算される線のαDは最小固有値に対する最大固有値の比率である。αDは、その中点及び勾配をそれぞれ決定するパラメータμp及びτpを有する、増減されるシグモイド関数(sigmoid function)P(αD)(方程式5)を通じて渡される。
それゆえ、固有値の比率αDを有する測定値に対し、確率は
Figure 2010061655
となる。
方程式4における2番目の確率は、古い線loから新しい線lxまでのマッピングΦの関数であり、従って方程式3において定義された確率密度関数に対応する。
この方程式が密度を定義するとしても、我々は古い線の有限の数にわたって合計し、次に正規化しているだけであるため、この密度は確率計算の有効な要素として扱われ得る。それゆえ、確率密度pΦを有する線loと線lxの間のマップΦに対し、確率は
pr(lx|lo)=cΦΦ (6)
となり、ここでcΦは、cΦΦ≦1∀Φであるように選ばれる定数である。
各反復において、古い線から追跡されていない、純粋に新しい幾つかの新線が存在する。これは車両の運動又は他のセンサー支持体、別の運動、あるいはセンサーの限界に起因し得る。線に基づくモデルはこの可能性を説明することが出来る。この場合、古い線が存在しないため、その予備知識なしに現われる線を表わす、特別な古い線lbornが導入される。一定の確率pbornは次のように用いられ得る:
pr(lx|lborn)pr(lborn|mt-1...m1)=pborn (7)
この古い線は、方程式4における全ての古い線にわたる合計に含まれる。
線の持続
本発明の例は、測定値のない場合に線が持続することを可能にする。例えば、動的な障害物が移動して(1つ以上の線で表わされる)静的な障害物の測定を妨げる場合、線の持続は静的な障害物の表示が持続することを可能にする。表IIIに示すような追跡アルゴリズムに関して、線の持続は、新しい線にマッピングされていない、古い線にのみ当てはまり得る。
1つのアプローチはベイズの更新を続けて使用するであろう。しかしながら、このアプローチは、測定値が無いことに対する様々な理由の全てを含む、センサー・モデルを必要とするかも知れない。
より単純なアプローチが用いられ得る。測定値が無い場合は、時間にわたる線の確率(より一般的には、線形特徴に対する特性的確率)を衰えさせる関数が定義される。いくつかの例において、高い可能性の線はゆっくりと衰え、低い可能性の線はより速く衰える。古い線lo及び新たに提案された線lx(同じ位置)に対して、
Figure 2010061655
とする。ここでcp及びepは一定のパラメータであり、cpは一般に小さく(0.01〜0.1)、そしてepは一般に2又は3である。この関数は線の持続に対して要求される挙動を満足する。
図6A〜6Cは、或る動的な障害物(環境を移動しているバス)と同様に多くの静的な障害物を含む、駐車場の場面に適用される、線の追跡アルゴリズムの幾つかの結果を示す。この実験に関するデータは、レーザー・スキャンから生成された一連の(各時間ステップにおいてリセットされる)瞬間的な障害物マップであった。このデータを用いて、線の検出及び障害物の追跡が実行された。結果的に生じた、追跡された線分は非常に安定であり、示されているシーケンスは20のフレームを通して3つのスナップショットだけである。
図6Aは120及び122のような線を示し、ここで120は動的な障害物(この例においては、動いているバス)を表わし、他の線は全般的に静的な障害物である。図6Bは動的な障害物の運動を示している124のような線と、静的な障害物の安定性を示している線122とを示す。図6Cは動的な障害物からの線126と、静的な障害物の安定した表示を残している線122とを示す。
この実験は830のフレームから成り、実験の過程において追跡された線の平均数は105.5/フレームであった。新しく生まれた線の平均数は5.19/フレームであり、線の約95%は1つのフレームから次のフレームへ追跡されていたことを意味する。
光線追跡を用いた自由空間解析
本発明の例のアルゴリズムを用いて得られるような、線形特徴に基づく環境の表示はさらに、知覚と場面のモデリングとを含む多くの用途に用いられ得る。
例えば、線形特徴に基づく表示は、環境の自由空間解析の課題において使用され得る。環境をマッピングする課題は様々なロボットの活用に関して有用である。マッピングのアルゴリズムは、任意の与えられた時に、過去のセンサーの読み取り(正確な位置の特定が想定され得る)のシーケンスから、最もありそうな障害物マップを推定するために用いられる。環境のマッピングはセンサー・データのノイズが多いとき、及び/又はその環境が動的な障害物を含むとき、とりわけ自明ではない。これらの条件下で、その目標が、障害物マップの更新に否定的な観察を組み入れるために、センサーの測定モデルを用いることである場合、自由空間解析の問題が生じる。
レーザー距離計用の自由空間解析への一般的なアプローチは、占有グリッドに対するある種の確率的な更新を用いた最も現代的な実施を伴う、個々のグリッドに対する光線追跡である。光線追跡はロボット位置から観察される対象に向かってレーザー光線をシミュレートし、この仮想光線が通過するどんなグリッド・セルも、次にセルの占有を更新するために使用される自由空間の観察を受ける。3次元における光線追跡は一般には計算的に禁止されているため、大部分のリアルタイムのグリッドに基づくマッピングは2次元で行なわれる。
光線追跡に基づく自由空間解析における複雑な問題の1つは、実際のセンサーが最も近い障害物への実際の距離を超える、距離の読み取りを頻繁に返すことである。これは対象の半透明性や、3次元におけるセンサーと対象の配置の変化など、様々な理由で起こり得る。それゆえ、障害物マップ更新メカニズムは、望ましくは肯定的な観察が無い場合だけでなく否定的な観察下でも、障害物が持続することを可能にする。動的な環境に対する光線追跡アルゴリズムは、移動物体の状態を急速に更新することに対して、障害物の持続の平衡を保たせる(障害物が観察の無い状態又は否定的な観察下で持続することを可能にする)。
光線追跡は線形特徴を用いて実施された。線形特徴に基づく場面の表示は、静的な対象に対するより安定した更新を可能にし、一方で移動物体の状態を正確に更新するために、光線追跡において使用され得る。(線形特徴のような)基本要素を用いる環境のパラメータ表示は、より典型的であり得る。ポイントが線形特徴へとグループ化されるとき、光線追跡は対象のこの側を「突き抜ける」傾向が少ない。連続的なセンサーのスキャンにおいて、線形特徴同士の間に対応を確立することがさらに可能であり、スキャンの間に追跡されるべき線形特徴が、移動物体に対して正確な状態の更新を与えることを可能にする。
図7A〜7Bは、ポイントに基づく光線追跡と線形特徴に基づく光線追跡の比較を例示する。光線追跡の実行は、上述の線形特徴の検出及び追跡アルゴリズムを用いると簡単である。仮想のセンサー光線はロボットの位置から2次元グリッドに対してシミュレートされた。そして交点がポイントに基づくグリッド内の障害物と同様、線形特徴の集合についても計算され、すなわち仮想光線は、それが現在の集合において観察された障害物のポイント又は線形特徴に当たるときに停止する。
図7Aは距離センサーを支持する車両142の周りの、2次元グリッドに対する標準光線追跡アルゴリズムのスナップショットを示す。センサー・ノイズのために、(領域140に示される)シミュレートされた光線の多くが固体を貫通し、誤った自由空間の証拠(例えば光線144)をもたらす。堅固な障害物マップのメカニズムは、これらの観察を額面通りには扱わないかも知れないが、それらを確率的セルの更新において使用する。しかしながら、そのような誤った観察はそれでもなお障害物マップの精度に対して悪影響を及ぼす。
図7Bは線形特徴、この場合、線(識別された線は、148及び150のような長方形で示されている)と共に増大された障害物マップに対して行なわれた、光線追跡のスナップショットを示す。多くの対象は連続的な線により消去から「保護され」、このアプローチを誤った自由空間観察に対してより堅固にし、それはより完全で正確な静的障害物のマップを与える。シミュレートされた光線により貫通された領域146は、図7Aに示す領域140よりも多く含まれる。
光線追跡アルゴリズムは線形特徴の増加で評価され、確率的マップ更新を伴う、標準のポイントに基づく光線追跡アルゴリズムと比較された。全体として、この例の方法は静的マップの品質において相当な改善を示し、一方で移動物体(特にロボットから遠い物体)に対する更新の精度において、僅かな低下を示した。
図8A〜8Bは2つの異なる実験的実行に関して計算された(時間にわたり集積された)障害物マップのスナップショットを示す。本図は線形特徴に基づく、及びポイントに基づく光線追跡装置により得られた障害物マップの図式比較を示す。双方は明確な証拠及び反証を障害物マップ内へ組み込むために、同じ確率的メカニズムを用いた。図の背景(例えば161)は、双方のアルゴリズムによって正しく表された静的な障害物を示す。図8Aにおける162のような特徴は、線形特徴に基づくアプローチにより保持されたが、しかしポイントに基づく光線追跡装置により誤って消去された、静的な障害物(図8Aにこれらの多くが示されており、また図8Bにも多くが示されている)を表わす。図8Bにおける164のような特徴は、双方のアルゴリズムによりマップから正しく除去された動的な障害物を表わす。166及び168のような特徴は、ポイントに基づくアルゴリズムによりマップから正しく除去されたが、しかし線形特徴に基づくアプローチにおいて誤って保持された動的な障害物(図8Bにこれらが比較的少数ある)を表わす。
図8Aにおける環境は比較的静的であったが、一方で図8Bは幾つかの移動物体を伴う、より動的な環境に対する結果を示す。双方の図は、3次元ベロダイン・ライダー(3D Velodyne LIDAR)及び正確なGPS+IMU姿勢推定システムを装備した自動車を用いて、駐車場において得られた。図8Aは時間と共に進化する障害物マップの際の単独のスナップショットを示す。
線形特徴に基づく環境の表示は、ポイントに基づく表示の上で非常に有利であり得る。線形特徴に基づく表示は、現実の環境についての推理を可能にする、動的追跡のような任務をうまく実行するために十分な表示力を有する。さらに、線形特徴に基づく表示は、光線追跡のような関連するアルゴリズムの性能を改善するために、うまく活用され得る。計算的な実行において、組み合わされた線形特徴の検出/線形特徴の追跡/光線追跡アルゴリズムは、処理するためにフレーム当たり約2秒かかる。該実行時間は、リアルタイム応用が達成されることを可能にするために、容易に短縮され得る。
得られた新たなセンサー・データの各集合に対し、(センサー・データ内に見出される)新たな線形特徴と、以前の追跡された線形特徴の集合の双方を用いて、追跡された線形特徴の新しい集合が決定される。新たな線形特徴は、本発明の一例による局所的に適応できるアルゴリズムを用いるか、あるいは代わりに他の任意の線形特徴検出アルゴリズムを用いて、センサー・データ内で検出される。検出された線形特徴は、新たな線形特徴を追跡された線形特徴の以前の集合と統合する、線形特徴追跡装置に渡される。確率的マッピングは、古い線形特徴から各々の新たな線形特徴まで決定される。古い線形特徴からマッピングされ得なかった新たな線形特徴はまた、例えば環境内の新しい対象を表わすような、追跡された線形特徴の新しい集合に含まれ得る。さらに、新たなセンサー・データ内で検出されない古い線形特徴の、追跡された線形特徴の新しい集合内への持続が許されることができ、例え対象に関するセンサー妨害の存在下であっても、対象の不変性の表示を可能にする。追跡された線形特徴の更新された集合は、それゆえ現在のセンサー・データ、及び(古い線形特徴の可能な算入により)以前のセンサー・データを用いて得られる。このアプローチは得られたセンサー・データの新しい各集合に対して反復されることができ、或る環境内での対象追跡に対する改善されたアプローチを可能にする。
本発明の幾つかの例において、センサーは(自動車、飛行機、船、潜水艦などの)車両、とりわけ自動車、トラック等のような陸上車両と組み合わされる。その環境は1台の車両の環境であるかも知れず、そして道路、他の車両などを含み得る。
本発明の例は、画像処理及び対象識別を含む、対象追跡以外の目的に使用される局所的に適応できるアルゴリズムを用いた、線形特徴検出の改善された方法を含む。本発明の例は、従来の線識別アルゴリズムと共に用いられる、線の追跡アルゴリズムを含む。本発明の例はさらに、車両の操縦及び/又は、本発明の例のアルゴリズムを用いる経路計画の実行のために動作可能な、コンピュータのような電子回路を含む、自動化車両又は他のロボットを含む。例えば、アルゴリズムはコンピュータのような、従来のマイクロプロセッサ回路内のマイクロプロセッサを用いて実行され得る。本発明の例はまた、本発明の一実施形態によるアルゴリズムの表示を格納するために使用される、デジタルメモリ媒体も含む。本発明の例はまた、センサーが対象の追跡に使われる電子回路から遠く離れた構成も含み、そして例えば、装置、ロボット、自動化車両、人工衛星などの遠隔制御用の制御装置を含むことができる。
本発明は上述の説明的例示に制限されない。記述された例は例示的であり、本発明の範囲を限定するようには意図されていない。当業者においては、その中の変更、要素の別の組合せ、及び他の用途が思い付くであろう。本発明の範囲は請求項の範囲により定義される。
我々の発明をここまで記述した上で、以下を請求する。
10 ボックス
12 ボックス
14 ボックス
16 ボックス
20 ボックス
22 ボックス
24 ボックス
26 ボックス
28 ボックス(点線)
30 ボックス
32 ボックス
40 ポイント
42 ポイント
44 ポイント
46 ポイント
48 ポイント
50 ポイント
52 ポイント
60 障害物マップ
62 線
64 線
66 線
68 線
100 ボックス
102 ボックス
104 ボックス
106 ボックス
108 ボックス
110 ボックス
112 ボックス
120 線
122 線
124 線
126 線
140 領域
142 車両
144 光線
146 領域
148 長方形
150 長方形
160
161 図の背景
162 特徴
164 特徴
166 特徴
168 特徴

Claims (17)

  1. 或る環境内で対象を追跡する方法であって、該方法が:
    前記環境に関するセンサー・データを取得し、
    前記センサー・データ内の現在の線形特徴を識別し、
    追跡された線形特徴の以前の集合から前記現在の線形特徴へ、以前の線形特徴を追跡し、そして
    前記環境内の対象を追跡するために用いられる、追跡された線形特徴の集合を作ることを含み、
    前記追跡された線形特徴の集合が:
    以前の線形特徴から追跡された現在の線形特徴と、
    以前の線形特徴から追跡されなかった現在の線形特徴と、
    現在の線形特徴へと追跡されなかった以前の線形特徴と
    を含む方法。
  2. 以前の線形特徴を各々の現在の線形特徴へとマッピングするための、マッピング確率を決定し、
    最高のマッピング確率を識別し、そして
    前記最高のマッピング確率がしきい値よりも大きい場合に、前記以前の線形特徴を前記現在の線形特徴へと追跡すること
    をさらに含む、請求項1に記載の方法。
  3. 前記マッピング確率が空間変位、伸び、及び再配向から選ばれた、少なくとも1つのパラメータに関して表わされる、請求項2に記載の方法。
  4. 追跡された線形特徴の前記現在の集合内の、各々の線形特徴が特性的確率を有し、
    該特性的確率が、線形性と相関する寄与を含む、請求項1に記載の方法。
  5. 追跡された線形特徴の前記集合内における以前の線形特徴の特性的確率が、追跡された線形特徴の前記以前の集合において使用される確率値よりも小さい、請求項4に記載の方法。
  6. 前記センサー・データが距離データを含み、前記線形特徴が線分又は平面である、請求項1に記載の方法。
  7. 前記環境を通して車両の自動航法を補助するために用いられる、請求項1に記載の方法。
  8. 或る環境内で対象を追跡する方法であって、該方法が:
    前記環境から得られたセンサー・データを用いて、前記環境内の現在の線形特徴を識別し、
    前記現在の線形特徴に対する、以前の追跡された線形特徴のマッピングを識別し、
    各々の現在の線形特徴に対する特性的確率を決定し、そして
    前記現在の線形特徴を含む、追跡された現在の線形特徴の集合を作ることを含み、
    前記現在の追跡された線形特徴が、現在の線形特徴へ写像されない、マッピング無しの以前の線形特徴をさらに含み、マッピングされていない以前の線形特徴の前記特性的確率が低くされ、
    追跡された線形特徴の前記集合とマッピングとが、前記環境内で対象を追跡するために使用される方法。
  9. 関連する特性的確率がしきい値よりも低い場合に、マッピングされていない以前の線形特徴が、現在の追跡された線形特徴の前記集合から取り除かれる、請求項8に記載の方法。
  10. 前記現在の線形特徴に対する、以前の追跡された線形特徴のマッピングが、複数の可能なマッピングに対するマッピング確率の決定と、しきい値よりも大きいマッピング確率を有するマッピングの選択とを含む、請求項8に記載の方法。
  11. 前記マッピング確率が空間変位、伸び、及び再配向から選ばれた、少なくとも1つのパラメータに関して表わされる、請求項10に記載の方法。
  12. 前記センサー・データが距離センサーを用いて得られた距離データを含み、前記距離センサーがライダー・センサー、レーダー・センサー、及びソナー・センサーから成るセンサーの群から選ばれる、請求項8に記載の方法。
  13. 或る環境内で対象を追跡する方法であって、該方法が:
    前記環境からの、距離データを含むセンサー・データを取得し、
    該センサー・データを用いて、前記環境内で線形特徴を識別し、そして
    前記線形特徴を追跡することによって、前記環境内で対象を追跡することを含み、
    前記線形特徴が:
    各センサー・データ点の周りでサンプリングされたセンサー・データを用いた、各センサー・データ点に対する法線ベクトルの決定と、
    類似の法線ベクトルを有する、近接したセンサー・データ点のクラスタリングと
    を含む局所性に基づく近傍計算を用いて、前記センサー・データ内で識別される方法。
  14. 各センサー・データの周りでサンプリングされた前記センサー・データが、適応できる局所的な距離関数を用いて選ばれる、請求項13に記載の方法。
  15. 近接したセンサー・データ点のクラスタリングにより形成された線形特徴が:
    前記線形特徴の拡張と合致する位置を有するセンサー・データ点を、該線形特徴の中に含むことによりさらに拡張される、請求項13に記載の方法。
  16. 前記センサー・データが距離データの2次元の配列を表わし、前記線形特徴が線分である、請求項13に記載の方法。
  17. 前記センサー・データが距離データの3次元の配列を表わし、前記線形特徴が平面である、請求項13に記載の方法。
JP2009182358A 2008-08-06 2009-08-05 線形特徴を用いた対象追跡 Expired - Fee Related JP5539680B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/186,581 US8705792B2 (en) 2008-08-06 2008-08-06 Object tracking using linear features
US12/186,581 2008-08-06

Publications (3)

Publication Number Publication Date
JP2010061655A true JP2010061655A (ja) 2010-03-18
JP2010061655A5 JP2010061655A5 (ja) 2012-08-02
JP5539680B2 JP5539680B2 (ja) 2014-07-02

Family

ID=41653005

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009182358A Expired - Fee Related JP5539680B2 (ja) 2008-08-06 2009-08-05 線形特徴を用いた対象追跡

Country Status (2)

Country Link
US (1) US8705792B2 (ja)
JP (1) JP5539680B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011097570A (ja) * 2009-10-30 2011-05-12 Mitsubishi Electric Research Laboratories Inc 欲張り探索を使用して符号測定値からスパース信号を再構築する方法
JP2018041278A (ja) * 2016-09-07 2018-03-15 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像領域分割方法
JP2020509494A (ja) * 2017-03-17 2020-03-26 本田技研工業株式会社 マルチモーダル融合による3dオブジェクト検出と配向推定の結合

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4455417B2 (ja) * 2005-06-13 2010-04-21 株式会社東芝 移動ロボット、プログラム及びロボット制御方法
JP4675811B2 (ja) * 2006-03-29 2011-04-27 株式会社東芝 位置検出装置、自律移動装置、位置検出方法および位置検出プログラム
US8364442B2 (en) * 2009-02-17 2013-01-29 Schlumberger Technology Corporation Automated structural interpretation
US8699755B2 (en) * 2009-02-20 2014-04-15 Navteq B.V. Determining travel path features based on retroreflectivity
US8731777B2 (en) 2009-08-18 2014-05-20 Crown Equipment Corporation Object tracking and steer maneuvers for materials handling vehicles
US8600172B2 (en) 2011-03-16 2013-12-03 Sensormatic Electronics, LLC Video based matching and tracking by analyzing one or more image abstractions
US20120238876A1 (en) * 2011-03-18 2012-09-20 Fujifilm Corporation Ultrasound diagnostic apparatus and method of producing ultrasound image
JP5316572B2 (ja) * 2011-03-28 2013-10-16 トヨタ自動車株式会社 物体認識装置
CN103889879B (zh) 2011-10-19 2017-03-22 克朗设备公司 识别、匹配并跟踪图像序列中的多个对象
KR101901588B1 (ko) * 2012-01-02 2018-09-28 삼성전자주식회사 물체 인식 방법과, 물체 인식을 위한 기술자 생성 방법, 물체 인식을 위한 기술자 생성 장치
US8948954B1 (en) * 2012-03-15 2015-02-03 Google Inc. Modifying vehicle behavior based on confidence in lane estimation
US9336302B1 (en) 2012-07-20 2016-05-10 Zuci Realty Llc Insight and algorithmic clustering for automated synthesis
US9063548B1 (en) 2012-12-19 2015-06-23 Google Inc. Use of previous detections for lane marker detection
US9081385B1 (en) 2012-12-21 2015-07-14 Google Inc. Lane boundary detection using images
US9250324B2 (en) 2013-05-23 2016-02-02 GM Global Technology Operations LLC Probabilistic target selection and threat assessment method and application to intersection collision alert system
EP2894600B1 (en) * 2014-01-14 2018-03-14 HENSOLDT Sensors GmbH Method of processing 3D sensor data to provide terrain segmentation
US20150308920A1 (en) * 2014-04-24 2015-10-29 Honeywell International Inc. Adaptive baseline damage detection system and method
CN103984037B (zh) * 2014-04-30 2017-07-28 深圳市墨克瑞光电子研究院 基于视觉的移动机器人障碍物检测方法和装置
DE102014007565A1 (de) * 2014-05-22 2015-11-26 Connaught Electronics Ltd. Verfahren zum Ermitteln einer jeweiligen Grenze zumindest eines Objekts, Sensorvorrichtung, Fahrerassistenzeinrichtung und Kraftfahrzeug
DE102014111124A1 (de) * 2014-08-05 2016-02-25 Valeo Schalter Und Sensoren Gmbh Verfahren zum Erkennen zumindest eines Objekts in einem Umgebungsbereich eines Kraftfahrzeugs mittels eines Ultraschalllsensors, Fahrerassistenzsystem sowie Kraftfahrzeug
US9725040B2 (en) * 2014-10-28 2017-08-08 Nissan North America, Inc. Vehicle object detection system
US11037320B1 (en) * 2016-03-01 2021-06-15 AI Incorporated Method for estimating distance using point measurement and color depth
FR3048517B1 (fr) 2016-03-07 2022-07-22 Effidence Robot autonome motorise avec anticipation d'obstacle
US9990535B2 (en) 2016-04-27 2018-06-05 Crown Equipment Corporation Pallet detection using units of physical length
US10339708B2 (en) * 2016-11-01 2019-07-02 Google Inc. Map summarization and localization
DE102016122296A1 (de) * 2016-11-21 2018-05-24 Valeo Schalter Und Sensoren Gmbh Verfahren zum Erfassen und zur Klassifizierung eines Objekts mittels zumindest einer Sensorvorrichtung auf Basis einer Belegungskarte, Fahrerassistenzsystem sowie Kraftfahrzeug
US11205103B2 (en) 2016-12-09 2021-12-21 The Research Foundation for the State University Semisupervised autoencoder for sentiment analysis
US11300964B2 (en) * 2016-12-20 2022-04-12 Korea Advanced Institute Of Science And Technology Method and system for updating occupancy map for a robotic system
US10438405B2 (en) * 2017-03-02 2019-10-08 Sony Corporation Detection of planar surfaces for use in scene modeling of a captured scene
US10489663B2 (en) 2017-04-24 2019-11-26 Toyota Research Institute, Inc. Systems and methods for identifying changes within a mapped environment
DE102017213214A1 (de) 2017-08-01 2019-02-07 Ford Global Technologies, Llc Verfahren zum Modellieren eines Kraftfahrzeug-Sensors in einer virtuellen Testumgebung
EP3514648B1 (en) * 2018-01-22 2023-09-06 Continental Autonomous Mobility Germany GmbH Method and apparatus for detecting a boundary in an envi-ronment of an object
US10740645B2 (en) * 2018-06-29 2020-08-11 Toyota Research Institute, Inc. System and method for improving the representation of line features
CN109253731A (zh) * 2018-08-06 2019-01-22 百度在线网络技术(北京)有限公司 停车场地图生成方法、装置、设备及可读存储介质
US11747444B2 (en) * 2018-08-14 2023-09-05 Intel Corporation LiDAR-based object detection and classification
US10885327B2 (en) * 2019-01-28 2021-01-05 Uber Technologies, Inc. Efficient handling of digital map data differences
CN113316806B (zh) 2019-02-01 2024-01-02 克朗设备公司 远程控制设备的板载充电站
US11641121B2 (en) 2019-02-01 2023-05-02 Crown Equipment Corporation On-board charging station for a remote control device
CN110361727A (zh) * 2019-07-22 2019-10-22 浙江大学 一种毫米波雷达多目标跟踪方法
US11250576B2 (en) 2019-08-19 2022-02-15 Toyota Research Institute, Inc. Systems and methods for estimating dynamics of objects using temporal changes encoded in a difference map
CN116057491A (zh) 2020-08-11 2023-05-02 克朗设备公司 远程控制设备
DE102020211649A1 (de) 2020-09-17 2022-03-17 Conti Temic Microelectronic Gmbh Verfahren und System zum Erstellen eines Straßenmodells
US20230296404A1 (en) * 2022-03-21 2023-09-21 Here Global B.V. System and method for updating a map according to feature locations
US12062135B2 (en) * 2022-06-15 2024-08-13 Gm Cruise Holdings Llc Three-dimensional motion grid system for autonomous vehicle perception
US20230419658A1 (en) * 2022-06-23 2023-12-28 Lockheed Martin Corporation Real time light-detection and ranging point decimation

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001319224A (ja) * 2000-05-08 2001-11-16 Fujitsu Ltd 3次元物体検出装置と3次元物体検出方法及び記録媒体

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5988862A (en) * 1996-04-24 1999-11-23 Cyra Technologies, Inc. Integrated system for quickly and accurately imaging and modeling three dimensional objects
US6173066B1 (en) * 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US6766037B1 (en) * 1998-10-02 2004-07-20 Canon Kabushiki Kaisha Segmenting moving objects and determining their motion
US6724916B1 (en) * 2000-01-05 2004-04-20 The United States Of America As Represented By The Secretary Of The Navy Composite hough transform for multitarget multisensor tracking
JP4429461B2 (ja) * 2000-03-17 2010-03-10 本田技研工業株式会社 画像処理装置、平面検出方法、及び平面検出プログラムを記録した記録媒体
JP4409035B2 (ja) * 2000-03-22 2010-02-03 本田技研工業株式会社 画像処理装置、特異箇所検出方法、及び特異箇所検出プログラムを記録した記録媒体
US6677941B2 (en) * 2000-08-05 2004-01-13 American Gnc Corporation Three-dimensional relative positioning and tracking using LDRI
JP4861574B2 (ja) * 2001-03-28 2012-01-25 パナソニック株式会社 運転支援装置
JP3945279B2 (ja) * 2002-03-15 2007-07-18 ソニー株式会社 障害物認識装置、障害物認識方法、及び障害物認識プログラム並びに移動型ロボット装置
US7003136B1 (en) * 2002-04-26 2006-02-21 Hewlett-Packard Development Company, L.P. Plan-view projections of depth image data for object tracking
JP3994950B2 (ja) * 2003-09-19 2007-10-24 ソニー株式会社 環境認識装置及び方法、経路計画装置及び方法、並びにロボット装置
US7317417B2 (en) * 2004-07-12 2008-01-08 Orhan Arikan Methods for detection and tracking of targets
JP4604703B2 (ja) * 2004-12-21 2011-01-05 アイシン精機株式会社 駐車補助装置
US7720580B2 (en) * 2004-12-23 2010-05-18 Donnelly Corporation Object detection system for vehicle
JP4352034B2 (ja) * 2005-09-13 2009-10-28 株式会社東芝 物体位置検出装置、地図作成装置、自律移動装置、物体位置検出方法および物体位置検出プログラム
WO2008013568A2 (en) * 2005-12-30 2008-01-31 Irobot Corporation Autonomous mobile robot
US8577538B2 (en) * 2006-07-14 2013-11-05 Irobot Corporation Method and system for controlling a remote vehicle
KR101143176B1 (ko) * 2006-09-14 2012-05-08 주식회사 만도 조감도를 이용한 주차구획 인식 방법, 장치 및 그를 이용한주차 보조 시스템
US8611591B2 (en) * 2007-12-21 2013-12-17 21 Ct, Inc. System and method for visually tracking with occlusions

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001319224A (ja) * 2000-05-08 2001-11-16 Fujitsu Ltd 3次元物体検出装置と3次元物体検出方法及び記録媒体

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CSNB199700007001; 井口征士,外1名: 「三次元画像計測」 初版, 19901120, p.74, 株式会社昭晃堂 *
CSND200600315002; 岡田隆三,外2名: '"車載カメラによる車両周辺監視装置"' 画像ラボ 第16巻,第7号, 2005, p.9-13, 日本工業出版株式会社 *
JPN6013031118; 岡田隆三,外2名: '"車載カメラによる車両周辺監視装置"' 画像ラボ 第16巻,第7号, 2005, p.9-13, 日本工業出版株式会社 *
JPN6013060504; 井口征士,外1名: 「三次元画像計測」 初版, 19901120, p.74, 株式会社昭晃堂 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011097570A (ja) * 2009-10-30 2011-05-12 Mitsubishi Electric Research Laboratories Inc 欲張り探索を使用して符号測定値からスパース信号を再構築する方法
JP2018041278A (ja) * 2016-09-07 2018-03-15 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像領域分割方法
US11010901B2 (en) 2016-09-07 2021-05-18 Sony Interactive Entertainment Inc. Information processing apparatus and image region segmentation method
JP2020509494A (ja) * 2017-03-17 2020-03-26 本田技研工業株式会社 マルチモーダル融合による3dオブジェクト検出と配向推定の結合

Also Published As

Publication number Publication date
US8705792B2 (en) 2014-04-22
US20100034422A1 (en) 2010-02-11
JP5539680B2 (ja) 2014-07-02

Similar Documents

Publication Publication Date Title
JP5539680B2 (ja) 線形特徴を用いた対象追跡
CN104035439B (zh) 用多个激光雷达传感器利用扫描点追踪物体的贝叶斯网络
Siegemund et al. A temporal filter approach for detection and reconstruction of curbs and road surfaces based on conditional random fields
KR100702663B1 (ko) 입자 필터 프레임 워크에서 전방향 시각센서 기반 위치추정 및 매핑을 위한 방법
JP2021523443A (ja) Lidarデータと画像データの関連付け
Adarve et al. Computing occupancy grids from multiple sensors using linear opinion pools
Kim et al. L-shape model switching-based precise motion tracking of moving vehicles using laser scanners
JP6349418B2 (ja) 高精度単眼移動によるオブジェクト位置特定
US20220108544A1 (en) Object detection apparatus, system and method
KR101864127B1 (ko) 무인 차량을 위한 주변 환경 매핑 방법 및 장치
JP7224682B1 (ja) 自律走行のための3次元多重客体検出装置及び方法
CN105447881A (zh) 基于多普勒的雷达图像分割及光流
CN105574892A (zh) 雷达图像中的基于多普勒的分割及光流
Naujoks et al. Fast 3D extended target tracking using NURBS surfaces
Zeng An object-tracking algorithm for 3-D range data using motion and surface estimation
Muresan et al. Multimodal sparse LIDAR object tracking in clutter
Wang et al. 3D-LIDAR based branch estimation and intersection location for autonomous vehicles
Ji et al. Automatic calibration of camera sensor networks based on 3D texture map information
US20240025428A1 (en) Method, electronic device and medium for target state estimation
WO2024015891A1 (en) Image and depth sensor fusion methods and systems
Zhang et al. Visual odometry based on random finite set statistics in urban environment
Richter et al. Advanced occupancy grid techniques for lidar based object detection and tracking
Diamantas et al. Depth computation using optical flow and least squares
Strand et al. Modeling Inter-Vehicle Occlusion Scenarios in Multi-Camera Traffic Surveillance Systems
CN112612788A (zh) 一种无导航卫星信号下的自主定位方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120614

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120614

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130603

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130625

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130925

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140310

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140401

R150 Certificate of patent or registration of utility model

Ref document number: 5539680

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140501

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees