JP2019510240A - 車両認知を提供するためのシステム及び方法 - Google Patents

Abstract

システム及び方法は、位置特定及びセマンティックマッピングを介して車両認知を提供する。位置特定は、マシンビジョンシステムから得られた重み付けされたボクセルデータをハッシュすることによって、ボクセルシグネチャの車両計算を含み、以前に知られたボクセルシグネチャ及び関連付けられる地理空間位置を含むシグネチャ位置特定テーブル内の計算されたシグネチャとキャッシュされたデータとの比較を含む。シグネチャの位置特定テーブルは、環境を横断してシグネチャを計算し、計算されたシグネチャ及び関連付けられる地理空間位置を中央サーバに報告するエージェントのスウォームによって発現される。車両が位置特定されると、セマンティックマッピングが行われる。車両のスウォームは、特定場所の環境を横断している間に遭遇したアセットを特徴付ける。アセットの特徴付けは、特定場所でキャッシュされたセマンティックマップ内の既知のアセットと比較することができる。観測されたアセットとアセット特性との間のオミッションとコミッションの差異は、特定場所のマップキャッシュと共に中央サーバに報告される。

Description

本開示は、一般に、自律型ロボットの操作に関し、特に、マシンビジョンシステムによる位置特定マップ及び三次元セマンティックマップの作成に関する。

ロボット工学の自律性を達成することは、継続的な目標であり、何十年にもわたって続いている研究開発のテーマとなっている。成功した実装の意味は、しばしば広く伝わっている。これは、人間、物資及び車両の両方を安全に、効率的に、迅速に移動する必要があるモビリティの場合である。移動自律型ロボットが現実になるためには、操作するために、それらの周囲の世界を知覚する必要がある。

最近のマシンビジョン技術の進歩により、自律性は実現に近づいている。カメラ、ＬｉＤＡＲ、ＲＡＤＡＲ（他のものの中でも）は、ロボットがそれらの周囲から非常に豊富なデータを提供する。しかしこれには困難が伴う。これらのリアルタイムシステムによって収集されるデータの量は、搭載された限られたメモリと計算リソースにすぐに負担となる。生成されたときに取得したデータの全てを処理して、ロボットがその環境で行動することを可能にすることは、高価で面倒である。

ロボットまたは車両が走行している環境におけるインフラストラクチャの事前作成マップは、これらのシステムのリアルタイム要件を緩和するのに役立ち得る。さらに、マップは、ロボットが今後のインフラストラクチャがより良いルートを計画できるようになるように期待するのに役立ち得る。

移動自律型ロボットの１つの用途は、道路ネットワーク上の人や物資を運ぶ道路走行である。同様に、自律型列車は、鉄道インフラストラクチャに沿って走行する。大型または小型航空車両も、自律性を利用することができる。これらの用途及び他の多数の用途では、人間の介入を必要とせずに、長い距離にわたってインフラストラクチャに沿って継続的に走行することを意味する、大規模な大陸スケールで操作させることが望ましい可能性がある。

調査目的のためのテストトラックの３Ｄセマンティックマップを自律で作成することは、測量ではかなりよく理解されている方法であるが、これらのマップを広範囲に作成することは、依然として課題である。何千キロもの道路や鉄道のインフラストラクチャを測量及びデジタル化する従来の方法を使用するには、コストがかかり、時間がかかり、操作が複雑である。これは、結果のマップで要求される高い正確性、環境で認識されるアセットの数、及びこれらのマップを生成するために使用されるデータのサイズなどの要因によるものである。さらに、環境が絶え間なく変化すると、特定の地域を再マッピングする必要があり、それが、問題の複雑さを加える。

本明細書に開示された１つの態様によれば、３Ｄセマンティックマップを作成して更新するためのスウォームアプローチが提供される。実施形態は、大陸規模で、かつ高い頻度で利用することができる。スウォームは、マッピングされるインフラストラクチャに沿って走行する既存の自律型及び半自律型の車両で構成できる。システムは、収集されたデータの集約と調整、及びランタイム操作中に車両に格納されたキャッシュされたデータの更新のために、クラウドベースのバックエンドシステムを利用することができる。

実施形態の１つの態様は、マシンセンサデータを使用して得られた空間データから導出されたシグネチャ（例えば、ハッシュ）を使用する、正確な車載位置特定エンジンである。

特定の実施形態の別の態様は、ビジョンセンサを使用し、正確な位置決め構成要素を活用する、車載３Ｄセマンティックマップ作成及び検査システムである。車両は、環境を横断している間に遭遇したアセットを特徴付けることができ、それらの特徴付けを特定場所のマップキャッシュ内に格納されたセマンティックマップデータと比較することができる。オミッションとコミッションの差異は、マスターセマンティックマップを維持する評価のために、中央サーバに報告されることができる。マスターセマンティックマップからの更新は、ランタイム操作中に使用するためにスウォーム車両に送信することができる。

特定の実施形態の別の態様は、位置特定エンジンとマッピングエンジンとの間でインターフェースする車載認知エンジンであり、決定エンジンは、その位置及び方向に応じて、マッピングエンジンに車両周辺からのリアルタイムコンテキストを提供する。

これらの態様及び他の態様は、以下に詳細に記載される。

従来の自律型または半自律型車両ナビゲーションシステムの概略ブロック図である。 測量車両を使用して地域をマッピングする従来技術のシステムの概略図である。 従来の車両位置システムの概略ブロック図である。 車両ナビゲーションシステムの概略ブロック図である。 自律型車両操作環境の概略図である。 ボクセルマッピングシステムの概略ブロック図である。 位置特定シグネチャテーブルを使用する車両位置特定のためのプロセスの図である。 ボクセルシグネチャ導出構成要素の概略ブロック図である。 ボクセルシグネチャを導出するためのプロセスの図である。 エージェントスウォームを介したボクセルマッピングのためのシステムの概略ブロック図である。 特定場所の環境を検知するエージェントの概略図である。 エージェントマッピングシステムの概略ブロック図である。 集約ボクセル位置データの例示的なグラフである。 スウォームベースの集約特徴マッピングの概略図である。 スウォームエージェントランタイム操作のプロセス図である。 スウォームベースのランタイム操作の概略図である。 行動ベースのセマンティック抽出のためのサーバ側エージェント監視のグラフである。 地理的地域をマッピングするためのスウォーム及びクラウドサーバの概略ブロック図である。 地理的地域をマッピングするためのスウォームベースアプローチの概略図である。 車両位置特定精度に基づく位置特定及びマッピング操作を示すグラフである。 車両操作中のマップアセットの作成及び検査のためのプロセス図である。

図面の詳細な説明
本発明は、多くの異なる形態の実施形態の影響を受けやすいが、図面に示されており、本明細書ではいくつかの特定の実施形態で詳細に説明され、本開示の理解は、当業者が本発明を実施し使用することを可能にする本発明の原理の例示として考慮されるべきであり、本発明を図示の実施形態に限定するものではない。

図１は、ロボットの自律操作を可能にする従来のシステム構成要素を示す。３Ｄセマンティックマップ１００は、擬似静的アセットの場所、それらの特徴、及びそれらを互いに関連付けるセマンティックを含む。アセットは、毎日、毎週、四半期などのように頻繁に変更されることが予想されない場合、疑似静的とみなされる。自律型道路車両の場合、これらのアセットには、道路エンジニアによって設計された交通の許可されかつ推奨された流量を決定する道路上の特徴が含まれる。このセマンティックスは、道路上の様々なオブジェクト間の関係（例えば、交通信号とそれによって支配される道路上の関連車線との間の関連性）を記述する。マップ１００に加えて、１組のマシンビジョンセンサ１１０が、ロボットの周囲の環境に関する情報をリアルタイムで提供する。マシンビジョンセンサ１１０は、ＬｉＤＡＲ、ＲＡＤＡＲ、様々な周波数範囲のカメラなどを含むことができる。センサ１１０からの情報は、擬似静的オブジェクト及び動的静的オブジェクトの両方を表すことができる。道路車両のコンテキストでは、動的オブジェクトは、道路上の他の自動車、歩行者、サイクリストなど、移動中または定期的に場所を変化するオブジェクトであり得る。

場所エンジン１２０は、好ましくはセンチメートル単位で容易に測定される精度レベルを用いて、マップ上または絶対参照フレーム内（グローバル参照フレームなど）に自律型車両の場所を提供する。異なる用途は、異なるレベルの精度を必要とする。道路走行の場合、他の潜在的に非自律型車両との安全な操作のために、１０ｃｍ未満の位置特定精度が望ましい場合がある。三次元セマンティックマップ１００、マシンビジョンセンサ１１０、及び場所エンジン１２０は、全て判定エンジン１３０とインターフェースする。判定エンジン１３０は、電気駆動モータ、ブレーキシステム及びパワーステアリングシステムなどの車両操作の様々な態様を担当する搭載型システムに制御信号１４０を出力することによって、車両の作動（例えば、ステアリング、加速及び減速）を担当する。判定エンジン１３０の目的は、典型的には、安全な方法でソースと目的地との間のロボットのルートを計画し実行することである。

図２は、自律型自動車用の３Ｄセマンティックマップを作成する従来のアプローチを示す概略図である。この例は、同様の方法論を採用している他の用途及び産業に対して一般化することができる。従来のアプローチでは、マシンビジョンデータを収集する関心地域２１０を横断するために、測量グレードの車両群２００が利用される。車両２００は、地域２１０内の所定の所望の経路からデータを収集するために、計画されたルート２１１、２１２及び２１３を横断する。収集されたデータは、次いで格納及び管理のためにデータセンタ２２０に移動される。次に、センサデータからマップを作成するために半自動的プロセスが使用される。

図２に示す従来のアプローチは、いくつかの欠点を有する。このモデルでデータを収集するために必要な測量グレードの車両は高価で、一般的に最良の場合には車両数を数百台に制限する。米国だけで約６００万キロの道路があると推定されている。したがって、限られた数の車両でこのネットワークを測量することは困難になる。各々の車両のルートは事前に計画し、データが有効であるために正しく実行する必要がある。環境は、道路（及びその他の輸送施設）上で絶えず変化しているため、地図を合理的に最新のものにするためには、同じ地域を毎年四半期毎に何度も再訪する必要がある。加えて、測量グレードの車両２００は、通常、演算能力をほとんど搭載しておらず、オペレータが収集したデータをデータセンタ２２０に移送することを強いる。車両２２０は、測量されたキロメートル毎に１０ＧＢのデータのオーダーで収集することができるので、これはまた困難である。最後に、半自動化されたマップ作成プロセスは、人間の注釈データを伴い、エラーを起こしやすい。

図３は、ジオリファレンス方式で車両を位置特定するために一般的に使用されるシステムのブロック図表現である。グローバルナビゲーション衛星システム（ＧＮＳＳ）受信機３００は、衛星信号を受信し、場所推定をフィルタリング構成要素３１０に提示する。慣性測定ユニット３２０は、ロボットの動きを高い速度で追跡する。（付加的にまたは代替的に、姿勢・機首基準システム（ＡＨＲＳ）も採用することができる）。ＩＭＵ３２０は、車両の動きを正確に検知するために、複数のセンサ（例えば、加速度計、ジャイロスコープ、磁力計、気圧センサなど）を有することができる。フィルタ３１０は、センサ融合を用いて、ＧＮＳＳ３００及びＩＭＵ３２０を介して受信されたデータから車両位置の洗練された推定を導出する。いくつかの実施形態では、フィルタ構成要素３１０が、ＧＮＳＳ３００及びＩＭＵ３２０から受信したデータに拡張カルマンフィルタまたはパーティクルフィルタを適用するマイクロプロセッサを含むことが望ましい場合がある。

図３の位置特定システムは、いくつかの用途には十分なレベルの正確性及び信頼性を提供することができる一方、他の用途は、車両の位置を特定する際に高い精度及び精度の恩恵を受けることができるが、十分なレベルの精度を有する従来の位置特定システムが利用できなくなるか、あるいは法外に高価になる可能性がある。したがって、例えば、精密マッピング及び／または自律型車両操作のために、車両位置特定への他のアプローチ、及びそのような位置特定の利用を実装することが望ましい場合がある。そのために、図４は、ロボットの自律型操作を可能にするシステムの別の実施形態を示す。３Ｄセマンティックマップ１００、マシンビジョンセンサ１１０、場所エンジン１２０は各々、中央認知エンジン１２５とインターフェースする。認知エンジン１２５は、車両コンテキストを判定エンジン１３０に通信する。認知エンジン１２５はまた、補助車両システム１３５とインターフェースすることができる。補助システム１３５は、典型的には車両データ及び通信バスに接続され、例えば検知及び安全アプリケーションを実装することができる。

最適な安全性と効率性を備えた機能を実行するには、判定エンジン１３０は、環境自体、ならびに同じ現場の他の車両や移動する実体に関する周辺からのコンテキストを必要とする。認知エンジン１２５は、その情報源を利用することによって、そのようなコンテキストを車両に提供することができる。認知エンジン１２５は、場所エンジン１２０による高い精度で決定された位置及び姿勢（例えば、以下に説明される操作を介して）を用いて、車両の周辺に関するマップ１００内の３Ｄセマンティックマップ情報を徐々に流通させることができる。これは、輸送インフラストラクチャのような擬似静的アセットの幾何学的及びセマンティック情報を提供する。付加的に、マシンビジョンセンサ１１０は、補助システム１３５と共に、車両の近傍に移動するオブジェクトのコンテキストを提供することができる。認知エンジン１２５は、これらのソースの全てを組み合わせ、正確な車両位置及び車両特性を使用して、コンテキストを処理して判定エンジン１３０に通信し、それによって、判定エンジン１３０による意思決定に必要な認知負荷を低減する。

図５は、認知エンジン１２５を利用してセンサデータをフィルタリングして、判定エンジン１３０によって引き起こされる認知負荷を低減するコンテキストを示す。図５は、マシンビジョンセンサ１１０によって知覚される車両操作中の例示的な場面を概略的に示す。車両は、車線５００内の道路に沿って走行しており、道路は反対方向に走行するために車線５０２も有する。センサ１１０は、道路中心線５１０及び右側車線マーカ５１２を検出し、それらの両方が、（１）３Ｄセマンティックマップ１００内に存在するアセットセマンティックスと一致することが確認され、（２）認知エンジン１２５によって車両の現在の操作に関連すると検証され、したがって、車両操作における評価のために、認知エンジン１２５によって判定エンジン１３０に伝えられる。同様に、速度限界サイン５２０は、マシンビジョンセンサ１１０によっても観測され、判定エンジン１３０に伝えられる前に、車両操作に関連するものとして認知エンジン１２５によって検証される。対照的に、街路サイン５２５は、マシンビジョンセンサ１１０によって観測されるが、認知エンジン１２５によって識別された走行方向とは反対の方向に走行する車両に適用される３Ｄセマンティックマップ１００内に示され、したがって、認知エンジン１２５は、サイン５２５に関する詳細を判定ンジン１３０に渡す必要はなく、それによって、その上の処理負荷を低減する。最後に、歩行者５３０は、マシンビジョンシステム１１０によって検出されるが、認知エンジン１２５が走行視野内の動的オブジェクトの存在及び場所を判定エンジン１３０に伝えるように、３Ｄマップ１００内に擬似静的アセットとして示されていない。

認知エンジン１２５の最適な使用を容易にするために、正確な車両位置特定が重要であり得る。図６は、マシンビジョンシステム、例えば、マシンビジョンセンサ１１０のような、で実行された観測に対応する計算されたシグネチャを使用して、ロボットの位置特定を説明する。このようなマシンビジョンシステムは、三次元で地理空間データを捕捉することができる。ボリュームを三次元で分離し、通常、グリッド上で定義される。定義されたグリッド内の各々のボリュメトリック要素は、ボクセルと呼ばれる。ボクセルは、長さ、幅、深さが変化する場合があり、デカルト空間で定義された形状さえない場合もある。それらの場所は、典型的には、ボクセルの中心に位置する空間の座標として定義される。本明細書に示す特定の実施形態は、解析及び位置特定の目的でグリッドによって定義されたボクセルを関心地域として利用するが、グリッドベースのボクセル以外のタイプの関心地域に他の実施形態が容易に同じ技術を適用できると考えられる。ボクセルはまた、様々な形状にグループ化され、グローバル参照フレーム内の起点に割り当てられてもよい。ボクセルのグループ化は、グローバルフレーム内での車両の位置特定にも使用され得る。ボクセルのグループ化の例は、球、円筒、箱などとして成形されてもよく、同様に不規則な形状を有してもよい。

本明細書で説明される技術は、車両の位置及び向きを決定することによって車両の位置特定に使用され得る。方向は、好ましくは、三次元空間における剛体の６つの移動の自由度で定義され得る。すなわち、いくつかの実施形態では、１つ以上の自由度が、それらの自由度に沿ったデータ特性の知識によって正規化され得、それによって、それらの自由度に沿った位置特定調整を洗練する必要性が潜在的に除去される。

図６及び７のコンテキストにおいて、道路６１０を走行する車両６００は、搭載型センサを用いてボクセル６２０を観測する（ステップＳ７００）。観測されたデータは、エンコード機能８００（図８）に渡される。エンコード機能８００は、例えばハッシュアルゴリズムを使用して、固定長ボクセルシグネチャ出力８１０を計算する車両６００内の搭載型コンピュータを介して実装される（ステップＳ７０５）位置特定に積極的に使用されるボクセルシグネチャ出力は、クエリテーブル内に（通常は一時的に）格納することができる。各々の車両は、異なるシグネチャと、これらのシグネチャを生成したボクセルの場所との間の既知のマッピングにアクセスすることができる（シグネチャ参照テーブルとしても参照され得る既知のボクセルシグネチャ及びそれらの各々に関連付けられる既知の良好な場所を格納する、位置特定シグネチャテーブル６３０）各々の車両が自らのマシンビジョンセンサを使用して、観測されたボクセルの距離及び姿勢をそれ自体に関して測定することにより、車両の相対位置を、先に判定された、観測されたボクセル（参照テーブルに格納されているような）の絶対的な場所を有するボクセル（クエリテーブルに格納されているような）と比較することによって、車両を定数項に位置付けることが可能になる。言い換えれば、車両搭載型計算エンジンは、車両のマシンビジョンセンサによって観測されたボクセルについて計算されたシグネチャ値についてボクセルシグネチャテーブル６３０を検索する（ステップＳ７１０）。ステップＳ７１０のいくつかの実施形態では、車両の近傍にあると考えられるボクセルを含むボクセルシグネチャテーブル６３０の一部またはサブセットを検索することができる。サブセットは、車両の最新の以前の位置推定に最も近い位置を参照テーブルに有するボクセルを含むことができる。一致するボクセルが検索される位置のサブセットは、例えば車両の位置、方向、及びその最終位置推定以来時間と共に長く最後に推定された走行速度に基づいて、及び／または最後の位置推定以来の慣性測定値に基づいて決定され得る、その最後の位置推定以来の車両の相対運動に基づいてさらに洗練され得る。一致する参照ボクセルシグネチャテーブルの部分を制限することによって、計算上の要件を低減することができる。

ボクセルシグネチャテーブル６３０のエントリに一致するシグネチャを有する観測された各々のボクセルに関して、推定された車両位置は、マシンビジョンシステムによって観測されたボクセルに対する距離及び姿勢を、テーブル６３０からルックアップされた既知のボクセル位置にオフセットすることによって決定される（ステップＳ７１５）。別の言い方をすれば、推定された車両位置は、参照テーブル内の一致したボクセルの相対位置をクエリテーブル（観測データ）と同じボクセルの位置と比較することによって決定されてもよい。シグネチャテーブル６３０内のボクセルシグネチャのルックアップが失敗した場合、以下でさらに説明するように、位置特定の有効性を評価する目的でシグネチャのマッチングの成功または失敗率を追跡することができるが、ボクセルは位置特定の目的で破棄される（ステップＳ７２０）。複数の一致したボクセルシグネチャ（例えば、平均化、または外れ値をフィルタリングした後の平均化）に基づいて決定された推定された車両位置を組み合わせることによって、車両位置の洗練された決定を判定することができる（ステップＳ７３０）。

場所エンジン１２０がその位置推定を洗練するにつれて、位置特定テーブル内で観測されたボクセルシグネチャと格納されたシグネチャとの位置特定比較が繰り返し行われてもよい。各々の反復中に、車両の位置推定が修正され、車両の特定場所のシグネチャとそのキャッシュされた位置特定シグネチャテーブルに存在するものとの一致率が計算される。次いで、目標は、共有座標フレーム内の位置特定エンジンの最も正確な位置及び方向推定に対応する一致率を最適化することになる。一致率に加えて、ボクセルの相対的な位置ならびにボクセルのグループ化の起点に対する相対的な位置を利用して、車両の位置を洗練することができる。

いくつかの実施形態では、車両の位置及び方向は、ｘ、ｙ、ｚ、ロール、ピッチ及びヨーの６つの次元で定義することができる。次いでシグネチャのマッチングは、これらの次元の６つ全てを使用して実装できる。しかしながら、そのようなシグネチャ一致の実施形態は、計算集約的であり得る。計算が制約された環境では、他の方法論を使用していくつかの次元を説明すると有益な場合がある。道路エッジからの横方向の距離、及び／または地面に対する車両の高さ及び方向などのパラメータを使用して、特定の次元を説明するための方法を使用することができる。

エンコード機能８００は、ボクセル内の観測データを分離し、それをシグネチャにエンコードする。図９は、関数８００をエンコードすることによって実装することができるプロセスの実施形態を示す。関数８００は、ボクセルの中心に関する点ジオメトリに基づいて、各点に重みを割り当てる（ステップＳ９００）。（他の実施形態では、ボクセル内のデータの色空間やｌｉｄａｒリターンに関連付けられる強度などの要因に基づいて変化する重みを割り当てることを選択することができる。）重み付けは、次いでハッシュアルゴリズムを適用してシグネチャを導出するために使用される。ハッシュ関数の構成は、ボクセルの構成と共に、エンコード機能が測定システムの不完全性（ノイズ、異なるセンサ構成、環境条件の変化など）に対して回復することを保証するのに役立つことができる。たとえ異なるエージェントがボクセル内の異なる点の数を測定し、ある距離のばらつきがあるとしても、エンコード機能８００の出力は、正確に位置特定された状態で高い一致率を保証するために同じであることが多い。

このシグネチャエンコード技術及び他のシグネチャエンコード技術は、様々な実施形態において利用され得る。好ましくは、シグネチャエンコード技術は、空間及び時間の異なる２つの瞬間から観測され、異なる測定システムを使用して空間内の同じ位置から導出されたシグニチャが、しばしば同じハッシュになることを確実にするのに役立つ。すなわち、各々のシグネチャの一意性は、通常、保証する必要はない。むしろ、シグネチャは、それらが空間内で一意的に組み合わせ的に位置付けされるように、十分に独特である必要があるだけである。エンコード機能自体内の一貫性に加えて、ボクセルグループ化のものと共に、ボクセルの形状及びパラメータ、ボクセルまたはグループ化毎に大量の情報（エントロピー）を伴って、検知及び環境におけるノイズ源に対する回復力を保持しながら、環境の一意性を捕捉する目的で変化させることもできる。これらの共通点は、次いで共通座標システムでのエージェントのナビゲートまたは登録（位置特定）、または交通信号（セマンティックマッピング）など、これらのシステムを利用するそのエージェントまたは他のエージェントに関連するコンテキスト情報の識別のためのランドマークとして使用できる。位置特定シグネチャテーブルと連携して位置特定エンジン１２０の究極の目的は、エージェントスウォームの全てのエージェントに共通の基準フレームを使用して、それらの観測の一貫性を保証する。

位置特定シグネチャテーブルを車両に持たせることは、上述の技術を用いた自律型車両の位置特定及びナビゲーションの重要な態様であるが、大きなナビゲーション可能な地域にわたるそのようなシグネチャテーブルの作成は、従来の調査車両群を使用する場合、コストが高く時間を要し得る。しかしながら、以下に説明する代替の技術は、ボクセシグネチャ・テーブルを作成して更新するためのスウォームアプローチを利用することができる。

図１０は、位置特定シグネチャテーブルを作成する例示的なスウォームアプローチの概略ブロック図である。本質的に、エージェントのスウォーム（例えば、本明細書に記載されているようなマシンビジョンシステムを各々有する、環境内を走行する車両１０００Ａ、１０００Ｂ、１０００Ｃなど）は、それらの特定場の環境を観測し、それらが進む空間内のそれら自体の場所を記録して（例えば、図３に示すような合理的に正確な位置特定システムを使用して）空間内の同じ地域を横断する。エージェント１０００は、ボクセル１０１０などの近傍のボクセルを各々測定してハッシュし、各々のボクセルについてボクセルシグネチャ及びボクセル場所仮説を生成する。

図１１は、その特定場所の環境における各々のエージェント１０００の操作を示し、一方、図１２は、エージェント１０００内の特定のシステムの概略ブロック図である。エージェント１０００は、マシンビジョンセンサ１２００、位置特定エンジン１２１０、３Ｄセマンティックマップ生成ランタイム１２２０及び部分的に存在するマップ１２３０を運ぶ、環境１１００を通って走行する。図１２のソフトウェア実装された構成要素は、好ましくは、搭載型コンピュータを使用して実装される。エージェント１０００上のマシンビジョンセンサ１２００は、停止サイン１１１０及び速度制限サイン１１２０などの特定場所の環境１１００内のアセットを観測し、これらのアセットに対する車両の位置を評価する（例えば、ＬＩＤＡＲ測距を使用する）。エージェント１０００は、（例えば、マシンビジョンセンサ１２００によって提供される）エージェント１０００に対する観測されたアセットまたはボクセルの位置によって、エージェント１０００の現在の場所（場所エンジン１２１０によって提供される）をオフセットすることによって、観測されたボクセルの絶対地理空間位置に関する仮説を展開することができる。観測されたボクセル場所のこれらの測定値は、各々の車両によって格納され、位置特定シグネチャテーブルが、搭載型データ格納装置内に効果的に作成される。次に、車両操作中にアクセス可能なワイドエリアネットワークデータ接続を介して及び／または部分マップ１２３０を含む車両格納装置を物理的に輸送することによってアクセスされる特定場所のデータ接続によって、以下に説明するように、さらなる処理のために、データをオフロードすることができる。

例えば、図１０の例では、エージェント１０００Ａ、１０００Ｂ及び１０００Ｃの各々は、それらの搭載型センサを使用して共通のボクセル１０１０を観測することができる。ボクセル１０１０の場所に関する仮説は、車両の現在の位置の理解に関連して決定される。しかしながら、各々の車両１０００は、それらの搭載型位置特定システムの不正確さ（例えば、ＩＭＵ内のノイズ及びドリフトと結合したＧＮＳＳ測定誤差）に起因する場所測定に関して何らかの誤差を有する。この誤差係数は、汎用検知及び位置特定装置（例えば、より高価で高い正確性の測量機器ではなく消費者グレードの機器）を備えた車両を含むスウォームにおいて特に重要である。その結果、各々のボクセルの場所仮説は、ボクセルが捕捉されたときの観測するエージェントの搭載型位置特定システムの瞬時誤差を反映することになる。経験した誤差が各々の車両で、及び異なる往復中で異なることを考慮すると、結果として位置特定シグネチャテーブルは異なる。

これらの位置特定システムで経験された誤差は、統計的処理としてモデル化することができ、十分な観測が与えられたボクセルの実際の場所の最良の推定の導出を可能にする。図１３は、ボクセルが、その場所でｙ軸に示されている頻度を有する、ボクセルの位置（ｘ軸上に示されている）の代表的なグラフを示す。多数の車両が所与のボクセルを観測するので、位置決定の分布が展開され得る。複数の車両からの限定された精度の位置データ１３００の統計的処理を用いて、データを特徴づけ、観測されたボクセルついてのより正確な場所推定１３１０を導出することができる。例えば、いくつかの実施形態では、洗練された場所推定１３１０を導出するために、位置データ１３００をフィルタリングして（例えば、外れ値データを除外する）、残りのデータ点を平均化することができる。この方法は、より高い地理参照正確性の達成に効果的である可能性がある。洗練された場所推定１３１０を場所仮説データ１３００から導出するための他の機構も利用可能であり、その代わりに相対精度などの他の因子に対して最適化されてもよいと考えられ、理解される。そのような場合には、相対的な適合及びループ閉鎖法を用いて、交差する軌道からのデータの一貫性を達成することができる。

離散的な空間場所にリンクされたシグネチャはまた、観測時間に関連付けられ得る。所与の場所に対して生成されたシグネチャが、元の値から変化したことが観測された場合、この情報はセマンティックマッピングシステムに追加の価値を提供することができる。さらに、時間の経過と共に場所のシグネチャの変化がシグネチャテーブルに反映され、位置特定の性能を向上させることができる。時間領域で操作する統計的方法を用いて、場所のシグネチャコードで観測された変化が有意であるとみなされ、それによりセマンティックマップまたは位置特定システムの情報コンテンツを更新するために使用されるときを決定することができる。

十分な車両の到着が環境を捕捉した後で、各々の車両の正確な位置特定が達成されたと仮定すると、スウォームは、次いでスウォームの各々のメンバーの一部の特定場所の環境をマッピングすることができる。エージェントマシンビジョンセンサ１２００は、場所エンジン１２１０への入力を駆動して、各々の車両の正確な位置及び姿勢を生成し、３Ｄセマンティックマップ作成ランタイム１２２０に供給する。エージェントセンサによって捕捉されたデータを使用して、マップ作成ランタイム１２２０は、アセットについて検索する際にその環境を分析する。アセット識別のための環境検知データを分析する例は、例えば、２０１６年１月２０日に出願された本出願人の同時係属中の米国特許出願第１５／００２，３８０号に記載されており、参照により本明細書に組み込まれる。得られたベクトル（正確な位置と形状に割り当てられている）とセマンティックスは、次いで車両に存在する３Ｄセマンティックマップの既存の特定場所のコピーと一致する。既存のマップへの更新は、データの集約と、複数のエージェントへのマップ更新のブロードキャストを担う共通のクラウドバックエンドシステム１２４０と定期的に同期される。そのような更新は、クラウドバックエンドシステム１２４０と、システム１２００、１２１０、１２２０または１２３０のうちの１つ以上との間のインターネットを介した通信を可能にするために、好ましくはエージェント車両内に統合されたセルラデータモデム（図示せず）を介してクラウドバックエンドシステム１２４０に送信され得る。他の実施形態では、エージェントが無線アクセスポイントに近接している場合のローカルエリア８０２．１１Ｗｉｆｉ接続を介した送信、及び／またはエージェントがデータオフロードセンターに戻るときのデータのアップロードなど、マップ更新をクラウドバックエンド１２４０に送達する代替手段を利用することができる。

図１４は、バックエンドクラウドシステム１２４０におけるデータ集約の例を示す。２つのスウォームエージェント１４００及び１４０２は、異なる往復（午後１２：００でのエージェント１４００及び午前３：００のエージェント１４０２）の間に同じ地域を訪れる。２つのエージェント１４００及び１４０２は、本明細書に上述したように、位置特定シグネチャテーブルに正確に位置特定されており、縁石線１４１０をその走行方向の右側に現在マッピングしている（例えば、アセットの性質を特徴付けして及びアセットの地理空間位置を決定して）。両方の場合において、特定の駐車した自動車１４２０、１４２１及び１４２２はマシンビジョンセンサ経路の一部を遮り、縁石線の一部１４３０、１４３１及び１４３２を影にする。その結果、各々のエージェント（すなわち、エージェント１４００からのマッピング１４４０及びエージェント１４０２からのマッピング１４４２）に格納された縁石線の不完全なマッピングが生じる。両方のエージェントは、それらの導出された縁石線を、搭載型セルラインターネット接続を介するなどして、共通のクラウドバックエンド１２４０に中継する。クラウドバックエンド１２４０は、（同じまたは他のエージェントによる以前の往復からの他の観測を潜在的に含む）縁石線１４１０のより完全なサーバ側マッピング１４５０を生成するために、マッピング１４４０及び１４４２を組み合わせることができる。縁石線のこのより完全なサーバ側のバージョン１４５０は、次いで各々の車両が改善されたマップの恩恵を受けるように、全てのスウォームにブロードキャストすることができる。

スウォームエージェントは、マップ上の様々なアセット間のセマンティック関連付けを導出するためにも利用できる。これらのセマンティック関連付けは、車両の判定エンジンを環境内で操作させるのに役立つ。アセットからのセマンティック意味の抽出は、ルールベース、または行動ベースの様式、または組み合わせで行うことができる。ルールベースの抽出では、マッピングエンジンは、物理インフラストラクチャを使用して、事前にプログラムされた一連の交通ルールに関連付けられる解釈を利用する。これは、特定のセマンティック関連付けを予期するのに役立つことができる。行動ベースの抽出では、車両は、その周辺のエージェントの動き（ならびに自律的ではなく運転手によって手動でナビゲートされたときの車両自体の行動）を観測して、アセットのセマンティック関連付けを導き出すことができる。

例えば、図１５は、左折専用車線内に存在するスウォームエージェント１５００を示す。このエージェント１５００は、車線の性質を視覚的に示すサイン１５１０を既に知覚している。エージェントは、ルールベースのセマンティック抽出（例えば、左車線のみのレーンを示す左車線上に位置付けされた特定の外観を有するサインの知覚）を介して、サインを分類し、その意味を導出することができる。付加的に、エージェントは、前方のレーンの他の車両１５２０を観測することによって、行動ベースのセマンティック抽出において、その旋回軌跡１５３０を同じサインセマンティック意味に関連付けることができ、それにより、折返し車線を指定するサイン１５１０のセマンティック意味におけるエージェント１５００の信頼レベルを高める。

図１６と１７は、特定のアセットのセマンティックな意味をサーバ側でどのように検証または強化できるかを示す。図１６は、道路速度限界を時速３０マイルから時速５０マイルに変更するように操作する道路速度制限サイン１６１０を過ぎた、道路１６０５に沿って走行する複数の車両エージェント１６００の概略図である。エージェント１６００は、（例えば、ルールベースの意味抽出を介して）速度制限符号１６１０の速度制限値を解釈することができるが、クラウドサーバ１２４０上に実装されてもよい中央サーバソフトウェアアプリケーションは、特定の車線内の様々なエージェント１６００（例えば、補助車両システム１３５による報告を介して、または車両位置の変化率を追跡することなどにより、定期的に車速の報告を定期的に取得することにより）慣性及び未処理または処理されたセンサデータを含む。図１７は、道路速度１６０５に沿った直線位置に対してエージェント速度をプロットした、そのような例示的な車両速度データを示す。サイン１６１０の場所をエージェント１６００の平均速度の変化と相関させることにより、セマンティックな意味をサーバ側行動ベースのセマンティック抽出によって強化することができる。道路上の車両が速度制限を常に守っているとは限らないことが理解される。それにもかかわらず、システムによって収集された情報は、セマンティックマッピングの目的のために依然として有用であり得る。

スウォームエージェントとサーバーシステムの両方で観測されたパターンは、同様のシナリオで分類され、かつ適用されることもできる。これは、アセットの場所と特徴のマッピングならびにアセット間のセマンティックスの導出の両方で行うことができる。例えば、左折サインと特定の左折レーンとを関連させるパターンは、同様のシナリオに適用することができ、同様のサイン及び車線が、異なる交差点で生じる。２０１６年１月２０日に出願された出願人の同時係属中の米国特許出願第１５／００２，３８０号に適用されているものと同様のマシン学習技術を、マッピング及びセマンティックパターンの学習に採用することができる。

図１８は、スウォームベースの位置特定及びマッピングに使用され得るシステムアーキテクチャの実施形態を示す。スウォームエージェント１８４０は、それらが環境を通って走行するときに、クラウドバックエンドシステム１８００と相互作用する。ボクセルからエージェントによって導出された新しいシグネチャ及びそれらの場所推定１８５０は、クラウドサーバ１８００に通信される。サーバ１８００は、これらの測定値を異なる観測値として集約し、環境内の各々のシグネチャの場所の最良推定を導出するアプリケーションロジック１８１５を実装する。シグネチャは、マスター位置特定シグネチャテーブル（ＬＳＴ）１８０５に格納される。ボクセルが十分な精度で位置特定されると、ボクセルは、ＬＳＴ更新１８５２を介してクラウドサーバ１８００からスウォームエージェント１８４０に通信され得る。エージェント１８４０は、次いでそのボクセル場所情報を利用して、特定場所でキャッシュされたＬＳＴ１８４２を更新し、それらの位置をリアルタイムで洗練することができる。このプロセスにより、スウォームエージェントが同じ座標系を共有することが保証される。

同時に、正確に位置特定されたエージェント１８４０は、それらの周囲をマッピングし、それらの特定場所でキャッシュされた３Ｄセマンティックマップ（３ＤＳＭ）１８４４に対するアセットオミッションならびにコミッション１８６０を検出し、クラウドデータセンター１８００にアップロードする。クラウドデータセンタサーバ及び関連付けられるアプリケーションロジック１８１５は、これらの更新を遠隔的に受信し、異なる車両からの３ＤＳＭデータを集約する。各々のアセット検出アルゴリズムは、様々なレベルの信頼度に悩まされるため、特定の誤りは、個々のアセット識別基準に基づいて確定される。しかしながら、同じ地域を訪れる訪問回数が増えるにつれて、集計された報告された情報から導出された観測された仮説に対する信頼も高まる。セマンティックマップデータの逐次分析の例は、例えば、２０１６年１月２０日に出願された、出願人の係属中の米国特許出願第１５／００２，３８０号に記載されており、参照により本明細書に組み込まれる。最終的に、サーバ１８００は、マスター３Ｄセマンティックマップ１８１０の最新更新バージョンを維持し、検証された変更１８６２を残りのスウォームエージェント１８４０に定期的に通信する。

図１９は、図２の従来の測量群アプローチとは対照的に、地理的地域１９１０をマッピングするためのスウォームベースのアプローチを示す。特に、大規模なスウォーム１９００は、３Ｄセマンティックマップを作成する権限を与えられている。スウォームエージェント１９００が定期的かつ繰り返して地域を訪問することを考えると、マップのリフレッシュレートも非常に高い。一般に、時間の経過と共に多くの変化を見る空間の場所は、ロボットのスウォームによって頻繁に訪問される。さらに、膨大な数の車両が各々の地域が十分に訪問されることを確実にするので、スウォームエージェント１９００によって取られたルートは予め計画される必要はない。スウォームエージェント１９００は、（様々なグレードの）様々なマシンビジョンセンサ及び（様々なグレードの）様々なＧＮＳＳ及びＩＭＵモデルを担持する。次いでこれらのエージェント上の検出プロセスも同様に変化する。いくつかの実施形態では、タスクを異なるエージェントに分散させて、マップの作成、処理、及び更新において様々な役割を実行することができる。ハードウェア構成（プロセッサ、メモリ、センサなど）、地理的場所、または履歴信頼性と品質メトリクスなどの役割に最も適した要因に基づいて、エージェントに個別のタスクを与えることができる（特定のエージェント構成は、特定のアセットまたはセマンティックス、例えば、車線マーキングのような、の識別に適した測量データを収集し、別のものはサイン識別に優れている）。時間の経過と共にエージェント構成の性能メトリックを追跡することで、タスクに最も適したエージェントの知識が、必要性と構成の両方として連続的に更新することができる。

既知のエージェントは、エージェントがクラウドインフラストラクチャ１９２０を使用してジョブサーバにアナウンスするクライアント−サーバモデルを介して追跡することができ、次いでタスク優先度、ハードウェア要件、エージェントの場所、類似のエージェントの既知の性能履歴などの要因に基づいてジョブキューからエージェントにタスクを与えることができる。スウォームエージェントは、未処理のセンサデータを送信する必要がなく、大きく圧縮された場所シグネチャ及び３Ｄベクトル及びセマンティックスをクラウドバックエンドと一緒に送信する必要がないので、大量のセンサデータを移動する問題は消滅する。本質的に、計算はエージェントの搭載型計算リソース上で可能な限り実施され、バックエンドサーバ１９２０は、データの集約及び検証、及びエージェントへの更新の送信を担当する。これにより、最新の３Ｄセマンティックマップ作成のための自動化されたスケーラブルな方法が可能になる。

新しい地域を訪問するとき、スウォームは、即座に地域のアセットとセマンティックスのマッピングを開始することができない。スウォームエージェントが正確に位置を自体で決めるためには、これらの地域の位置特定シグネチャテーブルを構築する必要がある。これが達成されたときだけ、エージェントはこれらの地域のマッピングを確実に開始できる。

位置特定とマッピングのためのスウォームアプローチは、多数の車両に対して効果的に実装され得るが、単一の車両が異なる時間に地域を横断しても同じアプローチがうまく利用される場合がある。車両の機器に固有の変動は、地域自体が変更されていなくても、地域が横断されるたびに通常はわずかに異なるデータをもたらす。単一のエージェントからであっても、複数の異なる往復からの観測を組み合わせることによって、時間の経過と共に位置特定テーブルとセマンティックマッピングが改善される可能性がある。

図２０は、エージェントの位置特定とエージェントの活動との間の例示的な関係を示しており、プロット２０００は、時間の経過と共にエージェントのレベルの位置特定精度の例を示している。時間Ｔ２０１０の前に、エージェントの位置特定精度は、閾値レベルＴ２０２０を下回ったままであり、したがって、エージェントの搭載型アクティビティは、前述のように、地域のより完全で正確な位置特定テーブルを構築しようとするため、位置特定に重点を置いている。エージェントについての位置特定精度のレベルが閾値Ｔ２０２０を超えて増加すると、エージェントは、好ましくは位置特定シグネチャテーブルの継続的な構築と同時に、マッピングアクティビティを追加する。位置特定の精度は、例えば、エージェントが、時間の経過と共に首尾よく一致したシグネチャの数または割合（すなわち、エージェントの観測されたシグネチャとキャッシュされたＬＳＴ１１４２に存在するシグネチャとの間の一致の数）を追跡することによって決定することができる。車両上で実行される位置特定エンジンは、空間時間間隔にわたって、ボクセルまたはボクセルのグループに一致する頻度に基づいて、異なるモダリティを実装することができる。例示的な実施形態では、地域が以前に訪問されていないときに１つのモードが起動され、地域が一貫して位置特定するのに十分でない部分シグネチャテーブルを有するときに別のモードが使用され、十分なシグネチャ及びそのグループがテーブル内に存在し、車両がその軌道を一貫して修正することができるときに第３のモードを適用することができる。モダリティ間の遷移は、車両の近傍の観測ボクセルと特定位置シグネチャ参照テーブルに存在するボクセルとの間のシグニチャ一致における一貫性に依存し得る。これらの異なるモダリティは、エージェントからの情報がクラウドアプリケーションサーバ１８００でどのように受信されるかに影響を及ぼし得る。したがって、マスター位置特定シグネチャテーブル１８０５またはマスター３Ｄセマンティックマップ１８１０への寄与は、それらの寄与が車両の端部で生成された位置特定モードに基づいて、より高いまたはより低いレベルの信頼性を与えることができる。

図２１は、地図の作成と検査のための典型的なシステム操作、及びここに提示されたフレームワークにおける車両の認知及び判定エンジンとのインターフェースを示す。種々のセンサ及び位置特定シグネチャテーブルを用いて、車両は、正確な場所を取得する（ステップＳ２１００）。車両のこの場所と所望の目的地に基づいて、関連する３Ｄセマンティックマップデータが特定場所でキャッシュされたマップからロードされる（ステップＳ２１０５）。車両が環境を通って進むにつれて、車両はそのセンサを用いてその周囲を観測する（ステップＳ２１１０）。３つのケースが発生する：
ａ．マップ内に存在するアセットが環境内で検出されると、それらは、認知エンジン１２５に転送され、それは、それらを使用して車両周辺からコンテキストを抽出し、そのコンテキストを判定エンジン１３０に送信する（ステップＳ２１２０）。
ｂ．マップ上に存在するアセットが環境内で検出されていない場合には、これらのオミッションをマップ更新装置に通知する（ステップＳ２１３０）。マップ更新装置は、クラウドサーバとのマップ差異の通信を担当する特定場所のアプリケーションモジュールである。
ｃ．マップに存在しないアセットが環境内で検出されると、それらは車両の特定場所の認知エンジン１２５に転送され、マップ更新装置のコミッションのリストに追加される（ステップＳ２１４０）。

本明細書で開示されるいくつかの実施形態で提示されるマシンビジョンシステムは、自律型システム及び運転援助システムなどの他の搭載型システム（すなわち補助システム１３５）とも通信することができる。これらのシステム間で情報を交換することにより、位置特定シグネチャ生成ならびに３Ｄセマンティックマッピング及び検査が強化され、それによって、潜在的にアセットの検出の正確性を高め、及び／またはマシンビジョンデータから加工物を除去することができる。そのような統合は、車両のデータバス（例えば、車内のＣＡＮバス、または電車内のＭＶＢ）を包含することができる。車両の操舵角、制動／スロットル、速度などの情報は、慣性システム及びマシンビジョンシステム内のノイズのあるセンサデータ源を説明するために利用されてもよい。本明細書の例示的な実施態様では、位置特定及びマッピングエンジンは、車両上の運転支援システムの出力を利用することができる。そのようなシステムは、車両の近くの動的オブジェクト（例えば、他の車両、またはサイクリスト）を検出することができる。これらのオブジェクトは、マシンビジョンデータに影をつくることができ、車両がそれを越えているのを観測するのを防ぐので、したがって、これらのセクションからの未処理センサデータを除去することができる。

本発明の特定の実施形態は、明瞭化及び理解のために詳細に記載されているが、前述の説明及び図面は本発明を説明及び例示するに過ぎず、本発明はこれに限定されない。当業者の前に本発明の開示を有すれば、当業者は、本発明の範囲または添付の特許請求の範囲から逸脱することなく、本明細書に開示されたものに対して修正及び変形を行うことができることが理解されよう。

Claims (32)

1. 搭載型マシンビジョンセンサを有する車両を位置特定するコンピュータ実装方法であって、
   前記マシンビジョンセンサによって、１つ以上のボクセルの各々に関連付けられたボクセルデータを観測することと、
   各々のボクセルについての前記ボクセルデータを、コンピュータ実装エンコード機能に適用することによって、前記ボクセルの各々についてのボクセルシグネチャを計算することと、
   前記ボクセルシグネチャをボクセルシグネチャ位置特定テーブル内でルックアップすることであって、前記ボクセルシグネチャ位置特定テーブルが、前記車両に近接するボクセルについての複数のボクセルシグネチャと、各々のボクセルシグネチャについて、関連付けられた既知の良好な場所と、を含む、ルックアップすることと、
   前記ボクセルシグネチャ位置特定テーブル内に一致したシグネチャを有する１つ以上のボクセルについて、前記ボクセルシグネチャ位置特定テーブル内の前記ボクセルシグネチャに関連付けられた既知の場所を、前記マシンビジョンシステムによって決定された前記観測されたボクセルに対する前記車両の位置でオフセットすることによって、推定された車両場所を決定することと、を含む、方法。
2. 前記ボクセルの各々についてボクセルシグネチャを計算する前記ステップが、車載コンピュータによって実行され、かつ
   前記ボクセル内のそれらのジオメトリ及びそれらの信号特性に基づいて、前記ボクセル内のデータ点に重みを割り当てるサブステップと、
   前記重み付けされたボクセルデータを、ハッシュアルゴリズムに適用して、固定長のボクセルシグネチャ出力を生成するサブステップと、を含む、請求項１に記載の方法。
3. 推定された車両場所を決定する前記ステップが、前記ボクセルシグネチャ位置特定テーブルにおいて一致した複数のボクセルシグネチャの各々について実行され、前記方法が、観測されたボクセルに対して決定された前記推定された車両場所のうちの２つ以上に基づいて洗練された車両位置推定を組み合わせ的に計算するステップをさらに含む、請求項１に記載の方法。
4. 前記方法が、ネットワーク接続されたサーバから、前記ボクセルシグネチャ位置特定テーブルの参照コンテンツを前記車両にダウンロードするステップをさらに含み、
   前記ボクセルの各々についてのボクセルシグネチャを計算する前記ステップが、前記計算されたボクセルシグネチャ及び関連付けられた観測された場所をクエリテーブル内に格納するサブステップを含み、
   推定された車両場所を決定する前記ステップが、前記参照テーブル及び前記クエリテーブルの両方における一致したボクセルの相対位置を決定するサブステップを含む、請求項１に記載の方法。
5. 洗練された車両位置推定を計算する前記ステップが、剛体の６つの自由度の全てにおいて車両位置及び方向推定値を調整することと、特定場所で観測されたボクセルが前記参照テーブルに存在するボクセルと一致するように繰り返し試みることと、を含む、請求項３に記載の方法。
6. 特定場所で計算されたボクセルシグネチャが、前記ボクセルシグネチャ位置特定テーブルに格納されたシグネチャと一致する頻度に基づいて、位置特定精度のレベルを決定するステップをさらに含む、請求項３に記載の方法。
7. 洗練された車両位置推定を計算する前記ステップが、前記推定された車両場所のうちの２つ以上を平均化する前に外れ値をフィルタリングすることをさらに含む、請求項３に記載の方法。
8. 前記ボクセルシグネチャをボクセルシグネチャ位置特定テーブル内でルックアップする前記ステップが、前記車両位置の以前の推定に基づいて決定された前記ボクセルシグネチャ位置特定テーブルのサブセット内で前記ボクセルシグネチャをルックアップすることを含む、請求項１に記載の方法。
9. 前記ボクセルシグネチャ位置特定テーブルの前記サブセットが、前記車両位置の前記以前の推定からの前記車両の相対的な動きに基づいてさらに決定される、請求項８に記載の方法。
10. 車両の特定場所の環境への参照を介してその絶対地理空間位置を決定する際に、車両によって使用される車両位置特定テーブルを作成する方法であって、
    １つ以上の車両によって、特定場所の環境の複数の横断に従事することであって、各々の車両が、搭載型マシンビジョンセンサ及び搭載型コンピュータを有する、従事することと、
    複数のボクセルの各々について、各々の横断中に、位置特定テーブル内の特定場所に両方とも格納されるボクセルシグネチャ及びボクセル場所仮説を前記ボクセルの各々について生成するために、観測することと、
    前記横断から位置特定テーブルを集約することと、
    各々の観測されたボクセルについて、前記集約された位置特定テーブル内の共通のボクセルシグネチャを共有するボクセル場所仮説に基づいて、洗練されたボクセル場所仮説を組み合わせ的に決定することと、を含む、方法。
11. 位置特定テーブルを集約する前記ステップが、前記車両からワイドエリアデータネットワークを介して中央データ処理コンピュータに、ボクセルシグネチャ及び関連付けられる場所仮説を含む位置特定テーブルコンテンツを、各々の車両によって、送信することを含む、請求項１０に記載の方法。
12. 各々の横断中に、複数のボクセルの各々を観測する前記ステップが、その特別なボクセル場所について抽出されたシグネチャと共に各々のボクセルが観測された時間を、前記位置特定テーブル内の特定場所に格納するサブステップをさらに含む、請求項１０に記載の方法。
13. 洗練されたボクセル場所仮説を組み合わせ的に決定する前記ステップが、共通のボクセルシグネチャを共有する前記集約された位置特定テーブル内のボクセル場所仮説をフィルタリングすることを含む、請求項１０に記載の方法。
14. 洗練されたボクセル場所仮説を組み合わせ的に決定する前記ステップが、前記フィルタリングされたボクセル場所仮説を平均化することをさらに含む、請求項１３に記載の方法。
15. 洗練されたボクセル場所仮説を組み合わせ的に決定する前記ステップが、外れ値位置推定値をフィルタリングすることをさらに含む、請求項１３に記載の方法。
16. 前記中央データ処理コンピュータから各々の車両によって、更新されたマスター位置特定シグネチャテーブルを受信するステップをさらに含む、請求項１１に記載の方法。
17. 各々がマシンビジョンセンサ及び位置特定エンジンを有する複数のエージェントを使用して、特定場所の環境の三次元セマンティックマップを作成する方法であって、
    セマンティックマッピングのために１つ以上のアセットを有する環境内で各々のエージェントを位置特定することと、
    前記環境を通って走行中に各々のエージェントによって前記環境内のアセットをマッピングし、同時に前記マッピングされたアセットを特徴付ける情報を各々のエージェントによって特定場所に格納することと、
    ランタイム操作中に前記エージェントの各々によって、前記エージェントのマッピングされたアセット情報をマスターサーバ側のアセットマップに集約するために、前記マッピングされたアセットを特徴付ける情報を中央マッピングサーバに送信することと、を含む、方法。
18. セマンティックマッピングのための１つ以上のアセットを有する環境内で前記エージェントを位置特定する前記ステップが、
    前記マシンビジョンセンサによって、１つ以上のボクセルの各々に関連付けられたボクセルデータを観測するサブステップと、
    各々のボクセルについての前記ボクセルデータを、コンピュータ実装エンコード機能に適用することによって、前記ボクセルの各々についてボクセルシグネチャを計算するサブステップと、
    前記ボクセルシグネチャをボクセルシグネチャ位置特定テーブル内でルックアップするサブステップであって、前記ボクセルシグネチャ位置特定テーブルが、前記車両に近接するボクセルについての複数のボクセルシグネチャと、各々のボクセルシグネチャについて、関連付けられる既知の良好な場所と、を含む、ルックアップするサブステップと、
    前記ボクセルシグネチャ位置特定テーブルにおいて一致したシグネチャを有する１つ以上のボクセルについて、前記マシンビジョンシステムによって決定された前記観測されたボクセルに対する前記車両の位置によって、前記ボクセルシグネチャ位置特定テーブル内の前記ボクセルシグネチャに関連付けられた既知の場所をオフセットすることによって、推定された車両場所を決定するサブステップと、を含む、請求項１７に記載の方法。
19. 前記マッピングされたアセットを特徴付ける情報を送信する前記ステップが、前記マッピングエージェントのランタイム操作中に無線セルラデータ接続を介して前記マッピングされたアセットを特徴付ける情報を送信することを含む、請求項１７に記載の方法。
20. 前記マッピングされたアセットを特徴付ける情報を送信する前記ステップが、
    前記マッピングされたアセットを特徴付ける前記観測された情報と、前記マッピングされたアセットに関連付けられる特定場所でキャッシュされたマッピングデータとの間の１つ以上の差異を識別するサブステップと、
    前記差異を、前記中央マッピングサーバに送信するサブステップと、を含む、請求項１７に記載の方法。
21. 共通アセットに関連付けられる複数のエージェントから受信したアセット情報を前記中央マッピングサーバによって前記共通アセットのサーバ側マップに結合するステップをさらに含む、請求項１７に記載の方法。
22. 各々のエージェントによって、中央マッピングサーバから受信したマスターセマンティックマップコンテンツをキャッシュするステップをさらに含み、
    前記環境内のアセットをマッピングする前記ステップが、前記キャッシュされたマスターセマンティックマップに反映されていない前記特定場所の環境内のアセットを観測することを含み、
    前記マッピングされたアセットを特徴付ける情報を送信する前記ステップが、アセットオミッションを前記中央マッピングサーバに報告することを含む、請求項１７に記載の方法。
23. 様々なハードウェア仕様を有するマシンビジョン及び位置特定システムを有する複数のエージェント車両を使用して、特定場所の環境の三次元セマンティックマップを作成する方法であって、
    前記エージェントのマシンビジョンハードウェアによって実行されるボクセル観測に基づいてボクセルシグネチャを計算し、シグネチャ位置特定テーブル内で計算された前記ボクセルシグネチャをルックアップして前記エージェント位置が決定されるボクセル参照位置を決定することにより、環境内にそれら自体を正確に位置特定する際に、前記エージェント車両によって使用されるために、前記エージェント車両の各々にボクセルシグネチャ位置特定テーブルを、中央マッピングサーバによって、提供することと、
    前記複数のエージェント車両からの所与のアセットの複数のセマンティックマップの特徴付けを、前記中央マッピングサーバによって、受信することであって、前記特徴付けがベクトル及びセマンティックスを含む、受信することと、
    前記複数のエージェントの車両から前記複数の特徴付けに統計的処理を適用することによって、前記所与のアセットのマスターセマンティックマップの特徴付けを決定することと、を含む方法。
24. 前記複数の特徴付けに統計的処理を適用する前記ステップが、外れ値を除外するアセット地理空間位置の特徴付けをフィルタリングすることと、前記フィルタリングされた位置を平均して洗練された場所推定を決定することと、を含む、請求項２３に記載の方法。
25. 前記中央マッピングサーバによって、各々のエージェント内に存在する前記マシンビジョン及び位置特定システムを特徴付ける情報を受信する先行ステップと、
    前記選択されたエージェントのマシンビジョンまたは位置特定システムの前記特徴付けに少なくとも部分的に基づいてマッピングタスクのための１つ以上のエージェントを選択する先行ステップと、
    前記選択されたエージェントに、アセットの特徴付けのためのマッピングタスクを送信する先行ステップと、を含む、請求項２３に記載の方法。
26. 前記中央マッピングサーバによって、各々のエージェントの履歴性能を正確にマッピングするアセットで評価する先行ステップと、
    前記エージェントの履歴マッピング性能の前記評価に少なくとも部分的に基づいて、マッピングタスクのための１つ以上のエージェントを選択する先行ステップと、
    前記選択されたエージェントに、アセットの特徴付けのためのマッピングタスクを送信する先行ステップと、を含む、請求項２３に記載の方法。
27. マッピングタスクのために１つ以上のエージェントを選択する前記ステップが、マッピングタスクのための１つ以上のエージェントを、以下の基準、各々の特定のエージェントのタスク優先度、エージェント場所、既知の性能履歴、及び同様のハードウェア仕様を有するエージェントの既知の性能履歴、のうちの１つ以上に少なくとも部分的に基づいて選択することをさらに含む、請求項２５に記載の方法。
28. 前記中央マッピングサーバによって、前記所与のアセットの更新されたマスターセマンティックマップの特徴付けを、前記複数のエージェント車両に送信するステップをさらに含む、請求項２３に記載の方法。
29. 各々が、マシンビジョンセンサ及び位置特定エンジンを有する複数のエージェント車両を使用して、特定場所の環境の三次元セマンティックマップを作成する方法であって、
    各々のエージェント車両によって、前記車両が前記特定場所の環境を横断する間に位置特定される位置特定精度のレベルを評価することと、
    位置特定精度の前記レベルがエージェント車両についての閾値レベルを下回ると、前記キャッシュされた位置特定テーブル内のシグネチャと比較するため、ボクセルシグネチャを計算して関連付けられる地理空間位置を決定するためにその車両のマシンビジョンシステムを利用することと、ランタイム操作中に計算されたシグネチャ及び関連付けられる地理空間位置を中央マッピングサーバに報告することと、
    位置特定精度の前記レベルがエージェント車両についての閾値レベルを超えるとき、その車両マシンビジョンシステムを利用して前記特定場所の環境内のアセットをマッピングすることと、を含む、方法。
30. その車両マシンビジョンシステムを利用して前記特定場所の環境内のアセットをマッピングする前記ステップが、
    アセットが、特定場所でキャッシュされたセマンティックマップに格納されたアセット情報と一致してマッピングされている場合、前記アセットを特徴付ける情報を、車両認知エンジンに送信することと、
    特定場所でキャッシュされたセマンティックマップに反映されたアセットが前記車両マシンビジョンシステムによって観測されない場合、前記アセットのオミッションを中央マッピングサーバに報告することと、
    アセットが前記車両マシンビジョンシステムによって特定場所の環境内に観測されるが、前記特定場所でキャッシュされたセマンティックマップ内に反映されない場合、前記アセットを特徴付ける情報を前記車両認知エンジンに送信し、前記アセットの前記存在を前記中央マッピングサーバに報告することと、を含む、請求項２９に記載の方法。
31. 各々のエージェント車両によって位置特定精度の前記レベルを評価する前記ステップが、特定場所で計算された位置特定シグネチャが前記キャッシュされた位置特定テーブル内に格納されたシグネチャと一致する前記頻度を評価することを含む、請求項２９に記載の方法。
32. 前記ボクセルシグネチャが、重み付けされたボクセルデータをハッシュすることによって計算される、請求項２９に記載の方法。