JP2021514508A - 意味情報を含むクリーンなマップの作成 - Google Patents

意味情報を含むクリーンなマップの作成 Download PDF

Info

Publication number
JP2021514508A
JP2021514508A JP2020544014A JP2020544014A JP2021514508A JP 2021514508 A JP2021514508 A JP 2021514508A JP 2020544014 A JP2020544014 A JP 2020544014A JP 2020544014 A JP2020544014 A JP 2020544014A JP 2021514508 A JP2021514508 A JP 2021514508A
Authority
JP
Japan
Prior art keywords
sensor
voxel
data
dataset
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020544014A
Other languages
English (en)
Other versions
JPWO2019164668A5 (ja
JP7296976B2 (ja
Inventor
ワン ゾン
ワン ゾン
ディミトロフ アンゲロフ ドラゴミール
ディミトロフ アンゲロフ ドラゴミール
ダス スバシス
ダス スバシス
ソル レヴィンソン ジェシー
ソル レヴィンソン ジェシー
レブサメン ブライス
レブサメン ブライス
シュロフ ニテーシュ
シュロフ ニテーシュ
Original Assignee
ズークス インコーポレイテッド
ズークス インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ズークス インコーポレイテッド, ズークス インコーポレイテッド filed Critical ズークス インコーポレイテッド
Publication of JP2021514508A publication Critical patent/JP2021514508A/ja
Publication of JPWO2019164668A5 publication Critical patent/JPWO2019164668A5/ja
Application granted granted Critical
Publication of JP7296976B2 publication Critical patent/JP7296976B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29Geographical information databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases
    • G06F16/285Clustering or classification
    • G06F16/287Visualization; Browsing
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3833Creation or updating of map data characterised by the source of data
    • G01C21/3848Data obtained from both position sensors and additional sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • G06F16/2379Updates performed during online database operations; commit processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Databases & Information Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Instructional Devices (AREA)
  • Image Analysis (AREA)

Abstract

システムは環境を表すセンサーデータセットを受信し、そのデータセットを使用してマップを作成または更新し得る。前記マップの作成または更新において、前記システムは1つ以上の検出された物体の物体分類を決定し、少なくとも部分的に前記分類に基づいてデータを選択的にのみ前記マップに組み込み得る。前記マップは、前記物体の前記分類(または意味)情報、および前記分類に基づくウェイトに関連付けられ得る。同様に削除されたデータの選択された分類のデータセットをシステムの位置測定に使用し得る。さらに前記システムは物体の物体軌道を決定し得る。前記マップを更新するとき、ボクセル空間内のボクセルは観測の閾値数に基づいて占有ボクセルを示し得る。その後、物体軌道とクリーンマップは自律車両を制御するために使用できる。

Description

本発明は、意味情報を含むクリーンなマップの作成に関する。
(優先権の主張)
このPCT国際特許出願は、2018年2月20日に出願された米国特許出願第15/900,319号の出願日の利益を主張し、その開示は参照により本明細書に組み入れられる。
デジタル2次元および3次元マップなどの仮想マップは複数の用途を有する。例えば自律車両は仮想マップを使用して車両の位置および/または方向を決定し、および/または地理的位置間を走行し得る。いくつかのそのようなマップは、例えば、道路、建物、交通標識および信号機、他の車両、駐車中の車、植生、歩行者、自転車などの環境内の物体を通過して検出するセンサーから取得したデータに少なくとも部分的に基づいて作成され得る。しかしながら、自律車両による制御に使用した場合、センサーはマップでの使用に望ましくないおよび/または大量の無関係な情報を含むデータを生成することがあり、それによりコンピューターの処理能力およびメモリの非効率な使用を引き起こし、これはまた計算を不必要に遅延させ、不正確な情報を引き起こすことがある。
詳細な説明は添付の図面を参照して説明される。図面において、参照番号の左端の数字は、参照番号が最初に現れる図を識別している。異なる図面における同じ参照番号は、類似または同一の項目を示す。
図1は、マップを更新するための例示のプロセスの図解フロー図である。 図2は、マップを更新および/または注釈を付けるための別の例示のプロセスの図解フロー図である。 図3は、本明細書に記載する例示のプロセスのうちの1つ以上を実装するための例示のアーキテクチャを示す。 図4は、例示の光線放射および例示の動的物体の識別の概略図である。 図5は、自由空間を決定するためのカウンターの増分の例、および占有空間を決定するためのカウンターの減分の例を示すグラフである。 図6は、マップを更新するための例示のプロセスのフロー図である。 図7は、マップを更新および/または注釈を付けるための別の例示のプロセスのフロー図である。 図8は、本明細書に記載する例示のプロセスを実装するための例示のコンピューターアーキテクチャのブロック図である。
(詳細な説明)
この開示は概して、仮想マップなどのクリーンなマップを作成する、既存マップをクリーンアップする、および/または意味情報をマップに追加するための方法、装置、およびシステムに関する。そのようなマップは、自律車両などの車両の位置および/または方向(例えば局所姿勢)を決定するために、および/または地理的位置間で車両を誘導するために、使用され得る。例えばマップはセンサーから取得したデータに少なくとも部分的に基づいて作成され得る。いくつかの例では、望ましくないアーチファクト(例えばマップの実用性に悪影響を与え得る物体)はマップの作成中に自動的に除外される。例えば、車両、歩行者、自転車などの動的物体は移動する場合があり、位置測定に影響を与え得るので、これらのタイプの物体はマップを作成しながらマップから自動的に除外され得る。いくつかの例では、既存マップが自動的にクリーンアップされ得る。例えば動的物体および/または動的物体に関連付けられたセンサーデータによって作成されたアーチファクトは、マップによって表される環境を通る1つ以上のセンサーの後続の通過中に取得したセンサーデータを使用して、既存マップから削除され得る。いくつかの例では、センサーデータを区分し、動的物体および/または動的物体に関連付けられたアーチファクトをマップから除外および/または削除することにより、クリーンなマップを自動的に作成し得る、および/または既存マップを自動的にクリーンアップし得る。いくつかの例では、マップに表される各意味分類は寄与ウェイト(例えば位置測定アルゴリズムなどの特定のアルゴリズムに寄与するその分類に関連付けられたデータの量を示す)に関連付けられ得る。非限定的な例として、例えば植生(例えば木および茂み)などの潜在動的物体は、例えばマップに基づいて局所姿勢を決定するために、それらの存在の検出が静的物体よりも小さい範囲に依存するように、ダウンウェイトし得る。上記の例の少なくともいくつかは、自律車両によってより効率的に使用され得る改善されたマップをもたらし得、それによりコンピュータープロセッサ容量要件および/またはメモリ要件を削減する。例えばマップデータに少なくとも部分的に基づいて決定がより迅速に計算され得、これはマップデータを使用する車両の制御の改善をもたらし得、それにより同様にこれはマップを使用する自律車両の操作の改善をもたらし得る。さらに、例示の目的で自律車両の誘導を支援するためのマップを作成するコンテキストで論じたが、そのようなマップはゲームでシミュレーション環境を作成すること、都市の縮尺模型を生成することなどに役立ち得る。
本開示は概して、環境を表す第1のセンサーデータセットを(例えば第1の時間に)受信し、複数の分類に従って第1のセンサーデータセットを区分するように構成されたシステムに関する。システムはまた、センサーデータセットを複数のボクセルを含むボクセル空間に関連付け、第1のセンサーデータセットに少なくとも部分的に基づいてボクセルに関連付けられた1つ以上のカウンターを更新(例えば増分または減分)するように構成され得る。システムはまた1つ以上の追加時間に環境を表す1つ以上の追加センサーデータセットを受信するように構成され得る。いくつかの例では、追加時間の1つ以上は互いに1秒以内であってもよい。いくつかの例では、追加時間の1つ以上は、互いに1分以内、1時間以内、または1日以内であってもよい。いくつかの例では、追加時間の1つ以上は互いに対して1日より長くなってもよい。システムはまた複数の分類に従って1つ以上の追加センサーデータセットを区分し、1つ以上の追加センサーデータセットをボクセル空間に関連付けるように構成し得る。システムはまた、1つ以上の追加センサーデータセットに少なくとも部分的に基づいて1つ以上のカウンターを更新し(例えば増分または減分)、第1の閾値を満たす、または超える1つ以上のカウンターに少なくとも部分的に基づいてボクセル空間を含むマップを更新するように構成し得る。いくつかの例では、第1の閾値は事前決定され得る、および/または例えばカウンターの増分の間の時間量に基づいて実時間で決定され得る。いくつかの例では、第1の閾値は5以上であってもよい。いくつかの例では、第1の閾値は5未満であってもよい。いくつかの例では、マップは仮想の2次元または3次元のデジタルマップであってもよい。いくつかの例では、マップは先の既存マップである場合があり、いくつかの例では、マップは少なくとも部分的にセンサーデータによって作成されている場合があり、およびマップの更新は作成されるマップへの情報の追加または作成されるマップからの情報の除外であり得る。そのようなボクセル表現はさらにボクセルハッシュを使用することによって拡張し得る。もちろん、ボクセル表現はそのようなマップの多くの可能な表現の1つであり、他の可能な表現が企図される。他の非限定的な例として、そのようなマップは、網目、符号付き距離関数などとして表し得る。
いくつかの例では、センサーデータセットは、光検出および測距(LIDAR)センサー、無線検出および測距(RADAR)センサー、1つ以上の超音波トランスデューサー(例えば音響誘導および測距(SONAR)センサー)、または1つ以上の撮像機器(カメラ、深度カメラ、ステレオカメラ、赤外線カメラ、飛行時間カメラ、紫外線カメラなど)などの1つ以上から受信し得る。例えばセンサーデータセットは、例えば自律車両の認識システムと組み合わせて使用するためのLIDARシステムなどの1つ以上のLIDARセンサーから受信し得る。LIDARシステムは発光体と光センサーを含み得、発光体は光を反射して光センサーに戻す物体または表面に高度集束光を向ける1つ以上のレーザーを含む。LIDARシステムの測定値はLIDARシステムによって取り込んだ位置および/または距離に対応する座標(例えば、デカルト座標、極座標など)を有する3次元LIDARデータとして表し得る。LIDARシステムによって取り込んだデータはボクセル空間で表し得、これは3次元空間のボクセルのグリッドでデータを表すことを含み得る。
いくつかの例では、LIDARデータはボクセル空間で未加工のセンサーデータとして(例えばデータポイントに関連付けられた個々の<x、y、z、範囲、時間などの>値を用いて)表され得、および/またはデータの統計的蓄積として表され得る。例えばLIDARデータは、観測されたいくつかのデータポイント、リターンの平均強度、個々のボクセルに関連付けられたLIDARデータの平均x値、個々のボクセルに関連付けられたLIDARデータの平均y値、個々のボクセルに関連付けられたLIDARデータの平均z値、および/またはボクセルに関連付けられたLIDARデータに基づく共分散行列、などの処理済みデータを含む個々のボクセルを用いてボクセル空間に蓄積され得る。
いくつかの例では、システムは1つ以上の追加データセットを1つ以上の光線としてボクセルに光線放射し、1つ以上の光線が通過する1つ以上の通過ボクセルを決定するように構成され得る。いくつかの例では、システムは通過ボクセルに関連付けられた1つ以上のカウンターを減分させ、第2の閾値(例えば1つ以上のカウンターが第2の閾値まで減分したように、第1の閾値よりも低い閾値)に達した通過ボクセルに関連付けられた1つ以上のカウンターを決定するように構成され得る。いくつかの例では、第2の閾値はゼロに等しくてもよい。いくつかの例では、第2の閾値はゼロより大きくてもよい(例えば、1、2、3、4、またはそれ以上)。第2の閾値は事前に決定され得る、および/または例えばカウンターの減分の間の時間量に基づく実時間で決定され得る。いくつかの例では、システムはまた、1つ以上の通過ボクセルを非占有ボクセルとして関連付けるように構成し得る。
システムのいくつかの例では、複数の分類は、車両、歩行者、または自転車の1つ以上を含み得、システムは第1のセンサーデータセットおよび1つ以上の追加センサーデータセットから複数の分類のサブセットに関連付けられたデータを削除するように構成し得る。いくつかの例では、第1のセンサーデータセットおよび1つ以上の追加センサーデータセットを区分することは、1つ以上のセンサーデータセットを入力としてニューラルネットワークへ通過させることと、ニューラルネットワークから区分されたセンサーデータを受信することと、を含み得る。
いくつかの例では、システムは1つ以上の追加データセットの第2のセンサーデータセットを区分するように構成され得る。システムはまた、第2のセンサーデータセット内の第1の物体を決定し、区分された第2のセンサーデータセットに少なくとも部分的に基づいて、第1の物体が静的物体であり、第1の分類に関連付けられることを決定するように構成され得る。そのようないくつかの例では、システムはまた第1の物体に関連付けられた第1のウェイトを決定し、区分された第2のセンサーデータセット内の第2の物体を決定し得る。システムは区分された第2のセンサーデータセットに少なくとも部分的に基づいて、第2の物体が動的物体または潜在動的物体であり、第2の分類に関連付けられることを決定するように構成され得る。そのような例のシステムは第2の物体に関連付けられた第2のウェイトを決定するように構成され得、第2のウェイトは第1のウェイトよりも低い。例えば感知物体タイプが、将来的に移動する、移動させられる、および/または構成もしくは外観を変更する可能性のある駐車中の車両または植生などの潜在動的物体と一致する場合、システムは、例えば、路面、擁壁、建物、電柱などの静的物体と、例えば一致する物体タイプに関連するマップに関する計算(例えば車両の姿勢の決定および/または車両の誘導)中の物体の影響を削減ように構成され得る。そのようなデータをより低いウェイトに関連付けることにより、より高い不確実性をそれに割り当て、および/またはより高いウェイトに関連付けられたそのようなデータに大きく依存しながら、様々なプロセス(例えば位置測定)は依然として、そのようなデータを使用でき得る。
いくつかの例のシステムはまた、意味情報をマップに関連付けるように構成し得る。例えばシステムは区分されたセンサーデータセットに少なくとも部分的に基づく意味情報をマップに関連付けるように構成し得る。自律車両の定位装置によって使用するために、意味情報をマップに追加することは、意味的にラベル付けされたボクセル(例えば「車両」、「歩行者」などのラベルが付けられたボクセル)をラベルに少なくとも部分的に基づいてマップから削除すること、植生を識別すること、信頼レベル(例えばソフト信頼レベルおよびハード閾値(例えば「車両」とラベル付けされたボクセルを使用しない))を確立することの1つ以上を容易にし得る。いくつかの例では、残りの区分されたデータ(例えば特定の意味分類に関連付けられたデータを削除した後に残っているセンサーデータ)を位置測定に使用し得る。
いくつかの例では、システムはまた、第3の時間に1つ以上の追加センサーデータセットの第3のセンサーデータセットを受信し、複数の分類に従って第3のセンサーデータセットを区分するように構成し得る。システムはさらに、第3のセンサーデータセットから分類のサブセットに関連付けられたデータを削除することによってデータのサブセットを作成し、マップおよびセンサーデータのサブセットに少なくとも部分的に基づいて、自律車両を位置測定するように構成し得る。そのようないくつかの例では、特定の分類に関連付けられた特定のデータを削除することは位置測定などの様々なプロセスを改善し得る。
この開示はまた概して、1つ以上のセンサーから環境を表す第1のセンサーデータセットを(例えば第1の時間に)受信することと、複数の分類に従って第1のセンサーデータセットを区分することと、を含む方法に関する。この方法はまた、例えば本明細書に記載するように、第1のセンサーデータセットを複数のボクセルを含むボクセル空間に関連付けることと、第1のセンサーデータセットに少なくとも部分的に基づいてボクセルに関連付けられた占有状態を更新することと(例えばボクセルに関連付けられた1つ以上のカウンターを更新することと(例えば増分および/または減分))、を含み得る。この方法はまた、環境を表す1つ以上の追加センサーデータセットを(例えば1つ以上の後続時に)受信することと、複数の分類に従って1つ以上の追加センサーデータセットを区分することと、を含み得る。この方法はまた、1つ以上の追加センサーデータセットをボクセル空間に関連付けることと、1つ以上の追加センサーデータセットに少なくとも部分的に基づいて、ボクセルに関連付けられた占有状態を更新することと(例えば1つ以上のカウンターを増分および/または減分すること)、を含み得る。この方法は、いくつかの例では、例えば本明細書に記載するように、ボクセルに関連付けられた占有状態に少なくとも部分的に基づいて(例えば閾値を満たしているまたは超えている1つ以上のカウンターに基づいて)ボクセル空間を含むマップを更新することをさらに含み得る。いくつかの例では、方法はまた、マップに少なくとも部分的に基づいて車両の位置または方向の1つ以上を決定することと、車両の位置または方向の1つ以上に基づいて車両を操縦するための1つ以上の軌道を生成することと、を含み得る。そのような例では、方法はまた、1つ以上の複数の軌道に少なくとも部分的に基づいて車両を操縦することを含み得る。
望まないまたは無関係なデータをマップから効率的に除外するためのフレームワークを提供することによって、本明細書に記載する技術はコンピューティングデバイスの機能を改善し得る。いくつかの例では、LIDARデータおよび/または他のタイプのセンサーからのデータなどの複雑な多次元データはデータの効率的な評価および処理を可能にするボクセル空間で表し得る。いくつかの例では、ボクセル空間はスパースボクセル空間を表す場合があり、これは処理するデータの量を削減し得る。いくつかの例では、技術は無関係なデータを除外する、および/またはデータを区分するための堅牢なプロセスを提供し得、いくつかの例では、これは軌道生成に使用し得る。無関係なデータを削減することでマップを使用する操作に必要な処理および/またはメモリの量を削減し得る。いくつかの例では本明細書に記載する操作はオンラインおよびオフラインのコンテキストで(例えば実時間処理のために車両上で、または常に処理のために車両外で)用いられ得、それにより様々なコンテキストでマップを利用するための柔軟なフレームワークを提供する。いくつかの例では、無関係なデータのないマップが自律車両の軌道を生成する際に使用され得、これは自律車両の乗員の安全性を改善し得る。本明細書に記載するいくつかの例では、演算はボクセル化データ上で演算することにより、メモリ要件を削減するまたは処理量を削減し、データを効率的に簡素化し得る。コンピューターの機能に対するこれら、およびその他の潜在的改善について本明細書で論じる。
本明細書に記載する技術およびシステムはいくつかの方法で実装され得る。例示の実装は図面を参照しながら以下に説明する。
図1はボクセル空間などのマップ内のセンサーデータセットを表し、例えばマップを更新するなどの後続の処理のために物体を識別するための例示のプロセス100の図解フロー図である。示された例では、例示の車両102は環境104を走行する。例えば車両102は米国国家高速道路交通安全局が発行するレベル5分類に従って操作するように構成された自律車両などの無人車両であり得、これはドライバー(または乗員)による車両の常時制御を要求しない、全体行程の全ての安全上重要な機能を実行の可能な車両について説明している。そのような例では、車両102は行程の開始から完了までの全ての機能(全ての駐車機能を含む)を制御するように構成され得るため、ドライバーおよび/または車両102を駆動するための制御器(ステアリングホイール、アクセルペダル、および/またはブレーキペダルなど)を含まない場合があり得る。これは単なる例であり、本明細書に記載するシステムおよび方法はドライバーが常に手動で制御する必要がある車両から、部分的または完全に自律的に制御されているものまでを含んでいる任意の地上、空中、または水上車両に組み込み得る。
例示の車両102は、例えば、バン、スポーツユーティリティ車両、クロスオーバー車両、トラック、バス、農業用車両、および建設車両などの車両の任意の構成であり得る。車両102は、1つ以上の内燃エンジン、1つ以上の電気モーター、水素動力、それらの任意の組み合わせ、および/または任意の他の適切な動力源によって動力を供給され得る。例示の車両102は4つの車輪106を有するが、本明細書に記載するシステムおよび方法は、より少ないまたはより多い数の車輪、タイヤ、および/または軌道を有する車両に組み込み得る。例示の車両102は四輪ステアリングを有し得、例えば図1に示すように、第1の方向110へ走行する場合、車両102の第1の端部108が車両102の前端部であるような、および反対側の第2の方向112へ走行する場合、第1の端部108が車両102の後端部になるような、全ての方向において、概して実質的に等しい性能特性で操作し得る。同様に第2の方向112へ走行する場合、車両102の第2の端部114は車両102の前端部であり、および反対の第1の方向110へ走行する場合、第2の端部114は車両102の後端部になる。これらの特徴の例は、例えば駐車場および市街地などの小規模空間または混雑環境における操縦性を向上させ得る。
例示の車両102などの車両は環境104を走行しマッピング(例えばマップの作成および/または既存マップの修正)のためにデータを収集し得る。例えば車両102は車両102が環境104を走行するときに、環境104を表すデータセットを取り込むように構成された1つ以上のセンサー116を含み得る。図1に示す例では、センサー116および関連する説明は1つ以上のLIDARセンサーの使用に関して説明している。LIDARセンサーのコンテキストおよび/または自律車両のコンテキストで論じたが、本明細書に記載する方法、装置、およびシステムは、例えばその他のセンサー様式、ならびにそれに関連する検出、分類、区分、およびイメージセンサーで使用されるコンピュータービジョンアルゴリズムなどのマッピングアルゴリズムを利用する様々なシステムに適用し得る。さらに3次元LIDARデータに関して説明しているが、本明細書に記載する、方法、装置、およびシステムは3次元データに限定されず、LIDARデータに限定されない。例えば、1つ以上のセンサーは、1つ以上のRADARセンサー、1つ以上の超音波トランスデューサー、1つ以上の撮像機器(例えば、立体視カメラ、深度カメラなど)、および/または環境を表すセンサーデータセットを生成するように構成された任意のセンサータイプであり得る。いくつかの例では、方法、装置、およびシステムは、他の目的、例えば製造組立ラインコンテキストまたは航空測量コンテキストで使用され得る。データセットは任意の数の層または通信路を含み得、これは任意の数の次元に対応し得る。いくつかの例では、本明細書に記載する技術は、実データ(例えばセンサーを使用して取り込んだ)、シミュレーションデータ(例えばシミュレーターによって生成された)、および/またはそれらの組み合わせとともに使用し得る。
図1に示すように、車両102は環境104を走行し、1つ以上のセンサー116は環境104を表すデータセットを生成する。例えば1つ以上のセンサー116は環境104内の1つ以上の物体118に対応するセンサーデータを含むセンサーデータセットを実質的に連続的または断続的に生成し得る。例示のプロセス100は、ステップ120において、1つ以上のセンサー116を介して第1の時間T1122で環境104内の1つ以上の物体118を表すセンサーデータセットを生成することを含み得、これは、車、トラック、道路、建物、自転車、歩行者など、都市環境の様々な物体に関連付けられたLIDARデータ(例えばポイントクラウド)を含み得る。いくつかの例では、これは1つ以上のセンサー116から複数のデータセットを受信することを含み得、例えば車両102が自律車両である場合、これは車両102の認識システムに関連して操作し得る。いくつかの例では、データセットからのデータは2つ以上のセンサーから単一のセンサーデータセットに取得されたデータセットからの結合または融合データを含み得る。いくつかの例では、センサーデータセットは後続時に生成および/または処理され得る。例えば図1に示すように、プロセス100は時間TN126でのセンサーデータセットを介して時間T2124でセンサーデータセットを生成することを含み得、例えばプロセス100はある期間にわたってセンサーデータセットの少なくとも一部を抽出することを含み得る。いくつかの例では、ステップ120において、プロセス100は環境104のより詳細な表現を取得するために、複数のセンサーからおよび/または複数のセンサータイプからデータセットを受信し、センサーデータセットを関連付けることを含み得る。
ステップ128において、プロセス100は複数の分類に従って、第1の時間T1122に関連付けられた第1のセンサーデータセットを区分することを含み得る。いくつかの例では、第1のセンサーデータセットを区分することは、データを区分し得るニューラルネットワークへの入力として第1のセンサーデータセットを伝達することを含み得るが、任意の他の区分アルゴリズムが企図される。区分された第1のセンサーデータセットに少なくとも部分的に基づいて、分類は、例えば、車両、歩行者、または自転車のうちの1つ以上を含み得る。他の分類も企図される。
ステップ130において、プロセス100は、いくつかの例では、時間T1122での第1のセンサーデータセットをボクセル空間132と関連付けることを含み得る。例示の目的で図1に示される例示のボクセル空間132は各次元(例えば、x、y、z)に5つのボクセル134を含むが、任意の数のボクセル134がボクセル空間132(例えば、任意の次元で数十、数百、または数千のボクセルのように)に含まれ得る。いくつかの例では、ボクセル空間132は、センサーデータセットの大域原点、局所原点、または仮想原点の周囲の領域などの物理的な環境104に対応し得る。例えばボクセル空間132は、幅100メートル、長さ100メートル、高さ20メートルの領域を表し得るが、他の寸法も企図される。ボクセル空間132内の各ボクセル134は、例えば各次元で25センチメートルなどの物理的領域または体積を表し得るが、他の次元も企図される。ボクセル空間132は環境104の任意の領域を表し得、個々のボクセル134は任意の体積を表し得る。いくつかの例では、ボクセルはボクセル空間132全体にわたって実質的に均一なサイズ(例えば体積)を有し得、いくつかの例では、ボクセル134の与えられた1つの体積は、例えばセンサーデータセットの原点に関連するボクセルの場所に基づいて変化し得る。例えばセンサー116の1つからの距離が増加するにつれて、センサーデータセットの密度は減少し得、ボクセルとセンサーまたは例えばセンサー116の1つ以上を表す原点との間の距離に比例して、ボクセル空間のボクセルのサイズは増加し得る。
いくつかの例では、データが経時的に取り込まれるので、センサーデータセットをボクセル空間132に関連付けることはセンサーデータセット(例えばLIDARセンサーデータセット)をボクセル空間132に位置合わせすることを含み得る。例えばセンサーデータセットをボクセル空間132に関連付けることはセンサーデータセットに適用する変換を決定して、センサーデータセットをボクセル空間132と位置合わせすることを含み得る。例えばセンサー116がLIDARセンサーである場合、センサーデータセットをボクセル空間132に関連付けることは観測点から既存の取り込んだデータまたは既存マップまでの距離を決定することにより、取り込んだLIDARデータをボクセル空間132で取り込まれたデータと一致させること、またはその反対に位置測定を実行することを含み得る。
いくつかの例では、ボクセル空間132は空の空間として初期化され得、センサーデータセットは、例えば本明細書に記載されるのと同様に修正されるようにそれらが取り込まれるとボクセル空間132に追加され得る。いくつかの例では、ボクセル空間132は先に取り込んだデータの大域マップを表すデータで初期化され得る。大域マップデータを使用する例では、操作は局所取込センサーデータセットを大域データと比較して、大域マップ空間内で車両102(例えば自律車両)を位置測定することを含み得る。いくつかの例では、そのようなボクセル空間はボクセルハッシュを使用して参照され得る。
いくつかの例では、第1のセンサーデータセットをボクセル空間132に関連付けることは、例えばセンサーデータセットがLIDARセンサーから受信される場合、ポイントクラウドの個々のポイントを個々のボクセルにマッピングすることを含み得る。いくつかの例では、例えばセンサーデータセットが自律車両などの移動プラットフォームによって取り込まれた場合、これはセンサーデータセットに関連付けられた動きベクトルを差し引くことを含み得、第1のセンサーデータセットに関連付けられた動きベクトルを差し引くことは、センサーデータセットを静止基準点に転換するために使用し得る。特にいくつかの例では、センサーデータセットは、例えば移動車両に対して固定されたボクセル空間とは対照的に大域マップに対して固定されたボクセル空間に関連付けられ得る。いくつかの例では、第1のセンサーデータセットをボクセル空間132に関連付けることは、例えばボクセル空間132に対する車両102の位置に関連付けられた誤差を補整または調整するために、車両102の姿勢(例えば車両102の位置および/または方向)および第1のセンサーデータセットをボクセルマップに位置合わせすることを含み得る。
いくつかの例では、センサーデータセットをボクセル空間132に関連付けることは、センサーデータを統計的に取り込むことと、それが個々のボクセルに追加されるときにセンサーデータを処理することと、を含み得る。例えば個々のボクセルはセンサーから観測されたいくつかのデータポイントを表すデータ、平均強度(例えばLIDARセンサーデータの)、データの平均x値、データの平均y値、データの平均z値、および/または個々のボクセルに関連付けられたセンサーデータに基づく共分散行列を含み得る。したがって、いくつかの例では個々のボクセルに関連付けられたデータは処理済みデータを表し得、これはシステムの処理性能を改善し得る。
センサーデータセットをボクセル空間132に関連付けた後、プロセス100はステップ136において、第1のセンサーデータセットに少なくとも部分的に基づくボクセル134に関連する1つ以上のカウンターを更新する(例えば増分する)ことを含み得る。例えばカウンターはデータに関連付けられたボクセル134のみを増分し、および/またはセンサーの原点と関連するデータ(例えば範囲および角度)の間のボクセル134を減分し得る。いくつかの例では、カウンターはデータに関連付けられたボクセル134のみを減分し、および/またはセンサーの原点と関連するデータ(例えば範囲および角度)の間のボクセル134を増分し得る。
ステップ138において、プロセス100は環境104を表す1つ以上の追加センサーデータセットを1つ以上の追加時間に(例えば後続時に)受信することを含み得る。例えば時間T2124からTN126での1つ以上のセンサーデータセットを受信し得る。その後、ステップ140において、プロセス100のいくつかの例は複数の分類に従って1つ以上の追加センサーデータセットを区分することと、ステップ142において、1つ以上の分類に関連付けられていない1つ以上の追加センサーデータセットをボクセル空間134に関連付けることと(すなわち、分類のサブセットのそれらのデータセットを関連づけることのみ)、を含み得る。例えば区分された追加センサーデータセットに少なくとも部分的に基づいて、分類は、例えば、車両、歩行者、または自転車のうちの1つ以上を含み得る。そのような例では、車両、歩行者、および/または自転車に関連付けられたデータはボクセル134に関連付けられないようにデータセットから破棄し得る。他の分類が企図される。プロセスはまた、ステップ144において、1つ以上の追加センサーデータセットに少なくとも部分的に基づいて、1つ以上のカウンターを更新(例えば増分)することと、ステップ146において、そのようなボクセル134が「占有されている」ことを示す第1の閾値を満たす、または超える1つ以上のカウンターに少なくとも部分的に基づいて、ボクセル空間を含むマップを更新することと、を含み得る。上記のように、これはマップが作成されている間に動的物体をマップから除外(例えば自動的に除外)する、またはいくつかの例では、動的物体を既存マップから除外(例えば自動的に除外)する結果をもたらし得る。したがっていくつかの例では、これを使用してマップの作成中にそれをクリーンアップ(例えば自動的にクリーンアップ)する、および/もしくは静的物体を組み込む、または該当する場合、動的物体を削除することにより既存マップをクリーンアップ(例えば自動的にクリーンアップ)し得る。いくつかの例では、「クリーンアップすること」は動的物体に関連付けられたセンサーデータに基づいてマップに追加された動的物体に関連付けられた動的軌跡に対応し得るマップからアーチファクトを除外(または削除)することを代替的または追加的に指し得る。いくつかの例では、この除外または削除はマップの作成中またはマップの作成後に(例えばマップを更新する場合に)自動的に実行され得る。
特定の状況下では、一度占有されたボクセルを既に占有されていないと決定することは困難または不可能である。例えば自律車両に続く物体(例えば車両)に関連付けられたセンサーデータを探知する場合、例えば物体の後方の領域は自律車両のセンサーでは不可視であり得るため、物体によって一度占有されていたボクセルが既に占有されていないと決定することは困難または不可能であり得る。この影響はマップ内に物体が実際には存在しない動的軌跡を作成し得る。これらの動的軌跡(またはアーチファクト)は望ましくない影響を引き起こし得る。例えば動的軌跡は、例えばマップに示されている場所に既に存在しない物体に関連付けられたマップ内の無関係なデータに起因して、位置測定(例えば自律車両などの車両による)を妨げ得る。これは、車両が環境を走行するときに、車両に接続されたセンサーから取得したセンサーデータからマップに関連付けられた背景データを差し引くことを困難にさせるという結果を引き起こし得る。背景減算は、背景(例えば、路面、建物、障壁、交通信号、縁石などの静的構造を含む背景)の一部ではない環境内の物体を識別する際に車両を支援するために使用し得る。さらに、動的軌跡を含むマップは同様の理由でシミュレーションでの使用には望ましくない場合があり得る。
いくつかの例では、1つ以上のセンサー116から取得されたセンサーデータセットは、時間T2124のセンサーデータセットから時間TN126のセンサーデータセットのような、時間T1122の例示のセンサーデータセットおよび追加時間(例えば後続時)に生成されたセンサーデータセットのように、経時的に蓄積され得る。例えばセンサーデータセットが経時的に蓄積されると、プロセス100は時間T1122におけるセンサーデータセットに少なくとも部分的に基づいて第1の時間にボクセルが物体によって占有されているかどうかを決定し、その後、ボクセルが第2の時間T2から時間TNなどの追加時間に占有されるかどうかを決定することを含み得る。
いくつかの例では、プロセス100はボクセルが本当に占有されているかどうかを決定するために、ボクセルの占有を経時的に追跡することを含み得る。例えばプロセス100は、ボクセルに関連付けられた測定値のカウントされた実例が実例の閾値数を満たすまたは超えるかどうかを決定することを含み得、これはボクセルが占有されていることを示し得る。ボクセルの占有率の変化は関連付けられた物体が動的物体であることを示し得る。例えば物体が第1の時間には存在するが後続時に存在しないと決定された場合、ボクセル内で存在しなくなるので、それは物体が動的物体である兆候であり、物体がボクセルの場所に対応する場所を含まない位置に移動したことを示し得る。しかしながら、後続時の閾値数に対応するセンサーデータセットに物体が存在することが検出された場合は、物体が静的である兆候であり得る。いくつかの例では、カウントされた実例は連続した実例であり得る。いくつかの例では、後続時の1つ以上は、互いに対して1秒以内、1分以内、1時間以内、または互いから1日以内であってもよい。いくつかの例では、後続時の1つ以上は互いに対して1日よりも長くてもよい。実例の閾値数は事前に決定し得、ならびに/または実時間で、もしくは例えば感知物体に関連付けられた1つ以上の特性および/もしくは実例間の時間量に基づいて、動的に決定し得る。
いくつかの例では、プロセス100はまた、比較に少なくとも部分的に基づいて、ボクセル空間を含むマップを更新し、物体による1つ以上のボクセルの占有を識別することを含み得る。例えば実例の数が実例の閾値数(例えば5以上)よりも多い場合、ボクセルは占有されていると決定され得る。あるいはカウントされた実例の数が閾値の実例の数よりも少ない場合、プロセス100はボクセルに関連付けられた環境の領域が占有されていないと示すことを含み得る。いくつかの例では、これはボクセルに関連付けられた物体を作成している(または更新している)マップに追加しないこと、または既存マップから物体を削除する(例えばボクセルをクリアする)ことを含み得る。いくつかの例では、マップの作成中に物体をマップに追加しないことは自動的であり得、動的軌跡をマップに追加する可能性を防止し得る。いくつかの例では、動的物体であると決定された物体は必ずしも除外されるとは限り得ない。むしろいくつかの例では、プロセス100は動的物体に関連付けられたデータに「動的」フラグをラベル付けすることを含み得、その結果データはそれにより選択的に読み込まれ得る(例えば物体は動的物体を含むかどうかの選択に基づいてマップに選択的に存在し得る)。いくつかの例では、マップからボクセルを除外すること(および/または占有されているという表示とそれを関連付けないと決定すること)はマップから動的軌跡の削除をもたらし得る。いくつかの例では、マップは大域マップに関してデバイスおよび/または車両を位置測定するために、第三者および/または車両によってアクセスされ得るデータベース(例えば中央データベース)に格納された大域マップであり得る。
図4に関してより詳細に説明するように、プロセス100は第1の時間に占有されたボクセルが第2の時間に占有されていないかどうかを決定する光線放射操作を含み得る。例えば1つ以上のセンサー116は第1のベクトルによって図解で表されるLIDARデータセットを取り込み、物体を識別および/または区分するように構成されたLIDARセンサーを含み得る。その後、第2の時間にLIDARセンサーは第2のベクトルとして図解で表されたLIDARデータセットを取り込み、例えば壁または建物に対応し得る異なる第2の物体を識別および区分し得る。いくつかの例では、図4に関して論じるように、プロセス100は第2のベクトルが通過するボクセルを決定して、LIDARセンサーと第2の物体との間のボクセルが占有されていないと決定することを含み得る。
図2は、例えば以下で説明するように、センサーデータセットに少なくとも部分的に基づいて、マップを更新するための例示のプロセス200の図解フロー図である。ステップ202において、プロセス200は、例えば環境104で検出された物体118の1つ以上などの物体に関連付けられたセンサーデータセットを受信することを含み得る。センサーデータセットは、1つ以上のLIDARセンサー、1つ以上のRADARセンサー、1つ以上のSONARセンサー、1つ以上の超音波トランスデューサー、1つ以上の撮像機器、および/または環境内の物体を表すセンサーデータセットを生成するように構成された任意のセンサータイプの1つ以上から取得され得る。
いくつかの例では、プロセス200は、ステップ204において、物体に関連付けられたセンサーデータセットの少なくとも一部を区分することを含み得る。例えば感知物体に関連付けられたセンサーデータセットはセンサーデータ区分モデルを実行するように構成された区分ネットワークなどの機械学習ネットワークに通信し得、これは物体に関連付けられたセンサーデータを区分する。いくつかの例では、区分ネットワークは本明細書に記載するネットワークの任意のタイプであり得る。ステップ206において、区分されたセンサーデータに少なくとも部分的に基づいて、感知物体は分類され得る。
いくつかの例では、感知物体の分類に続いて、ステップ208において、プロセス200は感知物体が動的であるかどうかを決定することを含み得る。例えば動的物体には、車両、自転車、歩行者、動物などが含まれ得る。物体が動的であると決定された場合、ステップ210において、プロセス200は、例えば本明細書に記載するように、マップから感知物体を除外することを含み得る。その後、ステップ212において、プロセス200は、例えばプロセス200の前述の部分の一部または全てを繰り返すために、ステップ202に戻ることを含み得る。一方、感知物体が動的でない場合、ステップ214において、プロセス200は、例えば本明細書に記載するように、物体をマップに追加することを含み得る。
いくつかの例では、ステップ216において、プロセス200は感知物体に関連付けられた意味をマップに追加する(例えば自動的に追加する)ことを含み得る。いくつかの例では、意味は少なくとも部分的に感知物体に関連付けられた区分されたセンサーデータに基づき得る。例えば意味は、例えば、建物、路面、歩道、障壁、植生(例えば木々および茂み)などのような、環境内の1つ以上の物体に関連付けられたラベルを含み得る。いくつかの例では、例えば、強度、RGB、分類などのセンサーデータ特性をマップに格納し得る。
いくつかの例では、ステップ218において、プロセス200は感知物体が例えば経時的に外観(例えば、サイズ、形状、色、密度など)および/または場所が変化し得る木または茂みなどのような、潜在動的であるかどうかを決定することを含み得る。そのような物体は外観および場所が変わり得るので、例えそれらが場所および/または方向を決定するのに、および/または誘導で使用するのに有効であり得ても、そのような決定のそれらの重要性は、例えば路面、建物などの静的物体に基づく決定より相対的に信頼性が低い場合があり得る。
いくつかの例では、ステップ220において、感知物体が潜在動的であると決定された場合、プロセス200は車両認識システムによって使用されるとき、例えばその影響に関してダウンウェイト値を感知物体に関連付け、その姿勢を決定するおよび/または車両を誘導し得る。例えば後で車両102が環境104を横断し、環境104内で位置測定しようとする際、車両102は位置測定のためにダウンウェイト値に関連付けられた物体へ大きく依存しない。例えば物体が静的物体である場合、ウェイトは静的物体としての識別に少なくとも部分的に基づいて、物体に関連付けられ得る。しかしながら、物体が動的物体または潜在動的物体であると決定された場合、静的物体に関連付けられたウェイトと比較して異なる削減されたウェイト(例えば「ダウンウェイトされた」ウェイト)が動的または潜在動的物体と関連付けられ得る。少なくとも部分的にダウンウェイトされたウェイトに基づいて、位置測定するとき、車両102は静的物体と比較して動的または潜在動的物体に大きく依存し得ない。この例示の方策は位置測定プロセスの正確性および/または速度を向上させ得る。
その後、ステップ222において、プロセス200はステップ202に戻り得、その結果、プロセス200の少なくとも一部を繰り返し得る。ステップ220において、感知物体が潜在動的ではない(例えばそれは静的である)と決定された場合、ステップ222において、プロセス200はステップ202に戻り得、プロセス200の少なくとも一部は、例えば感知物体をダウンウェイトせずに繰り返され得る。
いくつかの例では、図1に示す例示のプロセス100の少なくとも一部、および図2に示す例示のプロセス200の少なくとも一部は結合し得る。例えばセンサーデータセットが受信され得、ボクセル空間が作成され得る。その後、センサーデータセットに少なくとも部分的に基づいて、いくつかの例では、地面が決定され得、ボクセル空間内の自由空間および物体が、例えば図1に関して説明された例示のプロセス100に関して上述したように識別され得る。これらの決定に少なくとも部分的に基づいて、ボクセル空間で識別された動的物体はマップから除外され得る(例えば動的物体は作成中のマップに追加され得ず、動的物体は既存マップから削除され得る)。さらにいくつかの例では、センサーデータセットの少なくとも一部は、例えばセンサーデータを区分するように構成されたセンサーデータ区分モデルを使用するセンサーデータ区分ネットワークを含む機械学習ネットワークによって区分され得る。検出された物体に関連付けられた区分されたセンサーデータは物体を動的または静的として分類するために使用し得、動的物体はマップから除外し得る。これは図1に関して記述されたプロセス100のみを用いるマップから削除するのが困難であり得る駐車車両のような物体のマップからの除外を可能にし得る。いくつかの例では、物体に関連付けられた区分されたセンサーデータの少なくとも一部に基づいて、物体に関連付けられた意味を、例えば図2に関する例示のプロセス200に関して上述したようにマップに追加し得る。
図3は本明細書に記載するプロセスを実装するための例示のアーキテクチャ300を示す。アーキテクチャ300は、本明細書に記載するシステム、方法、および装置の態様を実装するための様々なハードウェアおよび/またはソフトウェアを含む1つ以上のコンピューターシステム302を含み得る。例えばコンピューターシステム302は、LIDARコンポーネント304、撮像コンポーネント306、RADARコンポーネント308、SONARコンポーネント310、位置測定コンポーネント312、ボクセル空間コンポーネント314、動的物体決定コンポーネント316、光線放射コンポーネント318、追跡コンポーネント320、および計画コンポーネント322を含み得る。
いくつかの例では、コンピューターシステム302は自律車両で具体化され得る。いくつかの例では、コンピューターシステム302は自律車両に認識および計画機能を提供し得る。一般に、コンピューターシステム302は、LIDAR認識、RADAR認識、ビジョン(撮像)認識、音響認識、区分および分類、追跡および融合、および予測/計画を含み得る。
本明細書に記載するように、LIDARコンポーネント304はLIDARデータを取り込むように構成された1つ以上のLIDARセンサーを含み得る。LIDARコンポーネント304は1つ以上の深度センサーを含み得る。いくつかの例では、LIDARコンポーネント304は複数のLIDARセンサーからのLIDARデータを結合または合成して、複数のLIDARセンサーから取得されたLIDARデータを指し得るLIDARデータのメタスピンを生成するように構成され得る。いくつかの例では、1つ以上のLIDARセンサーの各々からのLIDARデータが仮想原点に関して表されるように、LIDARコンポーネント304はメタスピンデータ(例えば全てのLIDARセンサーに共通の座標参照フレーム)の仮想原点を決定し、データ変換を実行するように構成され得る。例えばLIDARコンポーネント304はデータを取り込むように構成され得、処理のためにデータセットをコンピューターシステム302に通信し得る。
撮像コンポーネント306は、例えば本明細書に記載するように、画像区分および/または分類のためにビジョンデータを取り込むように構成された1つ以上の撮像機器を含み得る。撮像コンポーネント306は任意の数およびタイプのイメージセンサーを含み得る。例えば撮像コンポーネント306は、任意のカラーカメラ、モノクロカメラ、深度カメラ、RGB−Dカメラ、ステレオカメラ、赤外線(IR)カメラ、紫外線(UV)カメラなどを含み得る。いくつかの例では、撮像コンポーネント306はデータを取り込むように構成され得、処理のためにデータセットをコンピューターシステム302に通信し得る。例えば撮像コンポーネント306からのデータはマルチ通信路画像の1つ以上の通信路として含まれ得る。
RADARコンポーネント308は、環境内の物体の範囲、角度、および/または速度を取り込むように構成された1つ以上のRADARセンサーを含み得る。いくつかの例では、RADARコンポーネント308はデータを取り込むように構成され得、処理のためにデータセットをコンピューターシステム302に通信し得る。例えばRADARコンポーネント308からのデータはマルチ通信路画像の1つ以上の通信路として含まれ得る。
SONARコンポーネント310は1つ以上のスピーカまたは発音体および環境内の物体に関連付けられた音響情報を取り込むように構成された1つ以上のマイクロフォン(例えばマイクロフォンアレイなど)を含み得る。いくつかの例では、SONARコンポーネント310は様々な超音波トランスデューサーを含み得る。例えばSONARコンポーネント310は音のパルスを放出するように構成し得、反響を集音し、環境内の物体に関連付けられた位置および/または動きの情報を決定し得る。いくつかの例では、SONARコンポーネント310はデータを取り込むように構成し得、処理のためにデータセットをコンピューターシステム302に通信し得る。例えばSONARコンポーネント310からのデータは物体をより正確に区分するために、および/または物体に関する情報を決定するために、LIDARコンポーネント304からのデータと融合し得る。
コンピューティングシステム302は、例えば自律車両での使用に適した任意の数またはタイプの他のセンサーを含み得る。限定しないが、様々なセンサーには、超音波トランスデューサー、ホイールエンコーダー、マイクロフォン、慣性測定ユニット(IMU)、加速度計、ジャイロスコープ、磁力計、温度センサー、湿度センサー、光センサー、全地球測位システム(GPS)センサーなどが含まれ得る。
いくつかの例では、LIDARコンポーネント304、撮像コンポーネント306、RADARコンポーネント308、および/またはSONARコンポーネント310は、改善された区分のためのデータを結合および/または合成するために、1つ以上のデータセットをコンピューターシステム302へ供給し得る。
コンピューターシステム302はまた、例えば試験において使用するためのコンピューターシミュレーションアルゴリズムによって生成されたシミュレーションデータを含み得る。いくつかの例では、シミュレーションされたデータは、例えば、撮像データ、LIDARデータ、RADARデータ、SONARデータ、慣性データ、GPSデータなど任意のタイプのシミュレーションされたデータを含み得る。いくつかの例では、コンピューターシステム302は、例えば本明細書に記載するように、操作を検証するためにおよび/または機械学習アルゴリズムを訓練するために、シミュレーションデータに対して本明細書に記載する転換操作を修正、変換および/または実行するように構成し得る。
いくつかの例では、位置測定コンポーネント312は1つ以上のセンサー116からデータを受信し、車両102の位置を決定するように構成し得る。例えば位置測定コンポーネント312は環境の3次元マップを含み得、マップ内の自律車両の場所を連続的または断続的に決定し得る。いくつかの例では、位置測定コンポーネント312はSLAM(同時位置測定およびマッピング)またはCLAMS(同時に較正、位置測定およびマッピング)を使用して、画像データ、LIDARデータ、RADARデータ、SONARデータ、IMUデータ、GPSデータ、および自律車両の場所を正確に決定するための他のデータを受信し得る。いくつかの例では、位置測定コンポーネント312はデータを車両102の様々なコンポーネントに供給して、例えば本明細書に記載するように、候補軌道を生成するための自律車両の初期位置を決定し得る。
ボクセル空間コンポーネント314はデータをボクセル空間に転換またはマッピングするように構成され得る。例えばボクセル空間コンポーネント314は、LIDARデータ、撮像データ、RADARデータ、SONARデータなどのようなセンサーデータセットを受信し、データポイントを環境内の3次元空間を表すボクセル空間にマッピング、転換、および/または関連付けるように構成され得る。いくつかの例では、ボクセル空間コンポーネント314は、ボクセル空間の長さ、幅、および高さを含むボクセル空間の寸法を定義するように構成され得る。ボクセル空間コンポーネント314は、いくつかの例では個々のボクセルのサイズを決定するように構成され得る。いくつかの例では、ボクセルはボクセル空間全体にわたって均一なサイズおよび形状であり得、いくつかの例では、ボクセルのサイズおよび/または密度は例えばボクセル空間の相対的な場所に基づいて変化し得る。例えばボクセルのサイズはボクセルとボクセル空間の原点または中心との間の距離に比例して増加または減少し得る。いくつかの例では、ボクセル空間コンポーネント314は仮想原点とボクセル空間の原点の間の変換を実行し得る。いくつかの例では、ボクセル空間コンポーネント314はスパースボクセル空間を生成するように構成され得、これはデータを含まない、またはデータ最小レベル未満のデータ量を含むボクセルを破棄することを含み得る。そのようないくつかの例では、ボクセル空間コンポーネント314は、オクトマップ、ボクセルハッシングなどを含み得る。いくつかの例では、ボクセル空間コンポーネント314は、例えばデータがボクセル空間にマッピングされる際に、データをフィルター処理することによって、データ内のノイズ量を削減するように構成され得る。例えばフィルター処理はボクセルあたりの最小量のデータ(例えばボクセルに関連付けられたいくつかのLIDARデータポイント)よりも少ない、またはボクセルの所定数(例えばいくつかの近位ボクセルに関連付けられたいくつかのLIDARデータポイント)を超えるデータを削除することを含み得る。いくつかの例では、ボクセル空間コンポーネント314は、データが経時的に収集されるときに、および/またはボクセル空間内で自律車両が機動することに応答して、ボクセル空間を更新するように構成され得る。例えばボクセル空間コンポーネント314は、環境内で自律車両が機動する際に、ボクセル空間からデータを追加および/またはデータを破棄し得る。
いくつかの例では、ボクセル空間コンポーネント314はボクセル空間を空の空間として初期化し、センサーデータセット(例えばLIDARデータ)を経時的に取り込むにつれて物体の表現を作り上げるように構成され得る。いくつかの例では、ボクセル空間コンポーネント314は大域マップデータでボクセル空間を初期化するように構成され得、その結果、例えば局所取込センサーデータセット(例えばLIDARデータ)は大域マップ空間内の自律車両を位置測定するために使用し得、および例えば本明細書に記載するように、大域マップのボクセルをクリーンアップする(またはクリアする)ために使用し得る。いくつかの例では、ボクセル表現は例えばマーチングキューブなどを使用して網目表現に変換し得る。
動的物体決定コンポーネント316は静的物体と動的物体を区別するように構成され得る。例えば動的物体決定コンポーネント316は、例えば本明細書に記載するように、第1の時間のボクセルを後続時のボクセルと比較して、ボクセルの占有率が経時的に変化するかどうかを決定することにより、経時的にデータを蓄積して物体の動きを決定し得る。例えばボクセルが第1の時間に物体によって占有され、後続時に物体によって占有されなかった場合、動的物体決定コンポーネント316は物体が動的物体であると決定するように構成し得る。例えば動的物体決定コンポーネント316はボクセル空間に関連付けられたセンサーデータセットを受信し、第1の時間にボクセル空間の1つ以上のボクセル内の物体の存在を識別し、後続時に物体の存在の実例をカウントし、例えば本明細書に記載するように、実例の閾値数よりも大きい物体の存在の実例に少なくとも部分的に基づいて、物体が静的物体であると決定するように構成され得る。反対に動的物体決定コンポーネント316が1つ以上のボクセルにおける物体の存在の実例が閾値未満であると決定した場合、例えば本明細書に記載するように、動的物体決定コンポーネント316は物体が動的物体であると代わりに決定し得る。いくつかの例では、経時的に占有されるまたは占有されないボクセルに少なくとも部分的に基づいて、動的物体決定コンポーネント316は、例えば速度および/または方向を含む動きの速さなどの動的物体の動きを決定するように構成され得る。
光線放射コンポーネント318は、例えば静的物体と動的物体とを区別するために、動的物体決定コンポーネント316と協働するように構成され得る。いくつかの例では、光線放射コンポーネント318は、データがボクセル空間に蓄積するにつれて、ボクセル空間を経時的にクリアするように構成され得る。例えば物体がボクセル空間内で経時的に移動すると、動的物体に占有されたボクセルは経時的にデータを取り込み得る。いくつかの例では、光線放射コンポーネント318は、例えば光線が通過するボクセルがクリアされるべきであることを決定するために、センサーデータセット(例えばLIDARデータ)に関連付けられた光線の経路を分析するように構成され得る。この例示の方法では、光線放射コンポーネント318は第1の時間に占有されたボクセルが1つ以上の後続時には占有されないことを決定するように構成され得、様々なコンポーネントに提供され、例えば物体が動的物体であると決定し得る。いくつかの例では、ボクセルがデータに関連付けられているかどうかに基づいて、1つ以上のカウンターが増分または減分し得、例えば図5に関して説明するように、閾値を使用して非占有ボクセルを「自由空間」および占有ボクセルを「非自由空間」と特色づけ得る。いくつかの例では、ボクセル空間は疎らな方法で(例えば占有ボクセルを表し、非占有ボクセルを無視して)または密な方法で(例えばボクセルを破棄せずに)表し得る。いくつかの例では、例えばセパースボクセル表現に存在しないボクセル(例えばボクセルがセンサーデータセットに関連付けられていないので)がそのようなボクセルの光線放射情報に関連付けられるように、光線放射コンポーネント318は密な方法で光線放射情報を格納するように構成され得る。例えば関連付けられたセンサーデータセットのないボクセルはそれでも高密度ボクセル空間で表し、関連する光線放射情報を含み得る。このようないくつかの例では、高密度ボクセル表現は本明細書で論じる光線放射操作に少なくとも部分的に応答して、ボクセルに正の情報を関連付け得る(例えばボクセルが占有されていない)。いくつかの例では、センサーデータセットが個々のボクセルに関して蓄積されると、負の情報が、例えば静的物体に占有されていることを示す個々のボクセルに関連付けられ得る。経時的にデータが蓄積されると、情報は例えば一部を集計し、ボクセルが解放空間または静的物体を表すのかを決定し得る。いくつかの例では、光線放射コンポーネント318は、例えば本明細書に記載するように局所取込センサーデータセットを大域マップデータと比較することによって、大域マップのクリーンアップを容易にするように構成し得る。
追跡コンポーネント320は1つ以上の動的物体の通知を受信し、動的物体を追跡するために追加の処理を実行するように構成され得る。例えば追跡コンポーネント320は、その速さおよび/または軌道を含む動的物体の速度を決定し、および/または動的物体の軌道を経時的に格納するように構成され得る。いくつかの例では、追跡コンポーネント320は、例えば、物体の直前動作、物体の分類タイプ、特定の動作を識別するように訓練された機械学習アルゴリズムなどに基づいて追跡されている物体の経路を予測し得る予測アルゴリズムを含み得る。
計画コンポーネント322は、区分データならびに/または地面、静的物体、および/もしくは動的物体の表示を受信し、例えば自律車両の軌道を決定することにより支援するように構成され得る。例えば計画コンポーネント322は地面および1つ以上の物体を識別する区分情報を受信するように構成され得、自律車両が辿る軌道を生成し得る。上記のように、そのような計画モジュールは後退地平線技術に従って複数の軌道を繰り返し生成し、自律車両が横断するための最高の信頼レベルを有する1つの軌道を選択し得る。
人工ニューラルネットワーク(ANN)は生物学的に着想を得たアルゴリズムであり得、これは入力データを一連の接続された層に通して出力を生成する。ニューラルネットワークの一例は重畳型ニューラルネットワークまたはCNNを含み得る。CNNの各層はまた、別のCNNを含み得、または任意の数の層を含み得る。本開示のコンテキストで理解され得るように、ニューラルネットワークはアルゴリズムの広範囲の分類を指し得る機械学習を使用し得、そこにおいて学習されたパラメータに基づいて出力が生成される。
ニューラルネットワークのコンテキストで論じたが、任意のタイプの機械学習がこの開示と一致して使用され得る。例えば限定しないが、機械学習アルゴリズムは、回帰アルゴリズム(例えば、通常の最小二乗回帰(OLSR)、線形回帰、ロジスティック回帰、ステップワイズ回帰、多変量適応回帰スプライン(MARS)、局所的に推定されたスカープロット平滑化(LOESS))、インスタンスベースのアルゴリズム(例えば、リッジ回帰、最小絶対収縮および選択演算子(LASSO)、弾性ネット、最小角度回帰(LARS))、決定木アルゴリズム(例えば、分類および回帰木(CART)、反復二分法3(ID3)、カイ二乗自動相互作用検出(CHAID)、決定切り株、条件付き決定木))、ベイジアンアルゴリズム(例えば、単純ベイズ、ガウス単純ベイズ、多項単純ベイズ、平均1依存推定量(AODE)、ベイジアン信念ネットワーク(BNN)、ベイジアンネットワーク)、クラスタリングアルゴリズム(例えば、k平均、k中央値、期待値最大化(EM)、階層的クラスタリング)、相関ルール学習アルゴリズム(例えば、パーセプトロン、バックプロパゲーション、ホップフィールドネットワーク、動径基底関数ネットワーク(RBFN))、ディープラーニングアルゴリズム(例えばディープボルツマンマシーン(DBM)、ディープブリーフネットワーク(DBN)、重畳型ニューラルネットワーク(CNN)、スタック・オートエンコーダ)、次元数削減アルゴリズム(例えば主成分分析(PCA)、主成分回帰(PCR)、部分最小二乗回帰(PLSR)、サモンマッピング、多次元スケーリング(MDS)、射影追跡、線形判別分析(LDA)、混合判別分析(MDA)、二次判別分析(QDA)、柔軟判別分析(FDA))、アンサンブルアルゴリズム(例えば、ブースティング、ブートストラップ集計(バギング)、アダブースト、スタック一般化(ブレンディング)、勾配ブースティングマシン(GBM)、勾配ブースティング回帰ツリー(GBRT)、ランダムフォレスト)、サポートベクターマシン(SVM)、教師あり学習、教師なし学習、半教師あり学習などの方法を含み得る。
いくつかの例では、複数のタイプの機械学習を使用して、使用される機械学習のタイプのそれぞれについて各自の結果を提供し得る。いくつかの例では、信頼スコアはそれぞれの結果に連関付けられ得、信頼される結果は結果に関連付けられた信頼スコアに少なくとも部分的に基づき得る。例えば最高の信頼スコアに関連付けられた結果を他の結果と比較して選択し得、または信頼性スコアに基づいて、例えば加重平均などの統計的方法に基づいて、結果を組み合わせ得る。
図4は、第1の概略図402および第1の概略図402のより詳細な描写を提供する第2の概略図404によって示される例示の光線放射プロセス400を示す。図4に示すように、光線放射プロセス400を使用して、第1の時間T1で物体によって占有されたボクセルが後続時の第2の時間T2で既に占有されていないかどうかを決定し得る。例えばセンサー406(例えばLIDARセンサー)は第1のベクトル408によって表されるセンサーデータセットを取り込み、第1の物体410を識別および/または区分し得る。第2の後続時の時間T2で、センサー406は第2のベクトル412として表されるセンサーデータセットを取り込み、第2の物体414を識別および/または区分し得、これは例えば壁または建物に対応し得る。いくつかの例では、光線放射プロセス400は第2のベクトル412が通過するボクセル空間418のボクセル416を決定して、センサー406と第2の物体414との間のボクセル416が占有されていないと決定することを含み得る。
図4の分解図に示すように、第2のベクトル412はセンサー406から始まりボクセル空間418の複数のボクセル416を通過して、第2の物体414に関連付けられたセンサーデータセットを取り込むように示されている。第2のベクトル412は第2の時間T2に関連付けられ、その時間までに、図示の例では、第1の物体410は第1の時間T1の第1の位置420から物体410’に関連付けられた第2の時間T2の第2の位置420’に移動している。概略的に示すように、第2のベクトル412は時間T1で第1の物体410を表すデータによって先に占有されていたボクセル422、424、426、428、および430を通過する。いくつかの例では、光線放射プロセス400はまた、第2のベクトル412が通過するボクセルの一部または全てを決定して、先に占有されていたボクセル422、424、426、428、および430が第2の時間T2では既に占有されていないと決定すること含み得る。この例示の方法では、図4に示す光線放射プロセス400は、例えば本明細書に記載するように、第1の物体410および410’が動的物体であると決定するために使用する例示の技術を提供する。
いくつかの例では、光線放射プロセス400は、本明細書に記載するように、例えば後続時にボクセル422、424、426、428、および430をクリアするように構成され得る。いくつかのそのような例では、本明細書に記載する技術を使用して、ボクセル空間の状態を経時的に更新し、瞬間的に維持されるデータの量を削減し、さらにボクセル空間418の動的物体を検出して区分する操作の改善をもし得る。これはコンピューター処理および/またはメモリ使用量の関連する削減を促進し得る。
いくつかの例では、光線放射プロセス400を使用して、局所取込センサーデータセットを先に取り込まれた大域マップデータと比較し得る。例えば第1の物体410は大域マップデータで表される物体に対応し得る。しかしながら、第2のベクトル412が物体410を表す1つ以上のボクセルを通過する場合、第2のベクトル412が局所取込センサーデータセットを表す際に、例示のプロセス400を使用して、大域マップと局所マップに相違があると決定し得る。いくつかの例では、その違いは、大域マップが不正確であること、または環境の状態が変化した(例えば外界が、例えば木または障壁の削除によって変化した)ことを示し得る。この例の方法では、大域マップと局所取得センサーデータセットの相違が決定されると、その違いは、例えば中央サーバーに通信され大域マップデータ内に組み込まれ得る(例えば違いが一致によって確かめられる場合(例えば同じもしくは類似したイベントまたはデータの度重なる観察によって)、またはセンサーデータセットと関連付けられた信頼レベルが最小量を超える場合)。更新された大域マップは第三者および/または他の車両などの他のユーザーに配信され得る。
図5は、「自由空間」を決定するためのカウンターの増分の例、および「非自由空間」を決定するためのカウンターの減分の例を示すグラフである。図5に示すように、カウンターを閾値と比較して、ボクセル空間のボクセルがボクセルに関連付けられた場所に物体が存在しないことと一致する「自由空間」と特色づけられ、または例えば物体によって、占有されているボクセルと一致する「非自由空間」と特色づけられるべきかどうかを決定し得る。図5は、例示のカウンター増分および/または減分方策を使用して「自由空間」または「非自由空間」を決定するための例示の実装を説明するが、他の計画が企図される。「自由空間」または「非自由空間」の決定は、例えば観測されたボクセルの経時的な集計データを観測することによって行い得、これは様々なアルゴリズムまたは機械学習モデルに組み込み得る。ボクセルに関連付けられたカウンターを増分または減分することは、「自由空間」または「非自由空間」の決定を果たすためのメカニズムの一例にすぎない。
図5に示すいくつかの例では、グラフ500はボクセルに関連付けられた「非自由空間」としてボクセルを特色づけるためにカウンターを増分する例に関連付けられた第1の線502を含む。グラフで示すように、カウンターが504で(この例ではボクセルが「非自由空間」と特色づけられるポイント5で)、第1の閾値に達するまで、時間経過につれて物体の存在が検出されるたびに、ボクセルに関連付けられたカウンターは増分する。本明細書で前述したものなどの他の閾値が企図される。いくつかの例では、カウンターは必要に応じて経時的に増分し続け得る。いくつかの例では、カウンターが第1の閾値に達すると、増分が止まり得る。例示のグラフ500はまた、ボクセルを「自由空間」と特色づけるためにカウンターを減分する例に関連付けられた第2の線506も含む。グラフで示すように、カウンターが508で(この例ではゼロで)、第2の閾値に達するまで、時間経過につれて物体の存在が検出されないたびに、ボクセルに関連付けられたカウンターは減分する。いくつかの例では、カウンターが第2の閾値に達すると、減分が止まり得る。この例示の方法では、履歴現象を使用して、ボクセルを「自由空間」または「非自由空間」と特色づけ得る。図5に示すように、そのようなプロセスはまた、データがボクセルに関連付けられる際にカウンターが減分し、光線放射がボクセルを通過する際に増分されるように、増分と減分を逆にすることによって達成され得る。
様々な実装において、本明細書に例示するパラメータ値および他のデータは、1つ以上のデータストアに含まれ得る、および説明されない他の情報と結合し得る、または、より多い、より少ない、もしくは異なるデータ構造と異なるように分割され得る。いくつかの実装形態では、データストアは物理的に1つのメモリに設置され得る、または2つ以上のメモリの間で分散され得る。
当業者は、例示のアーキテクチャ300(図3参照)が単なる例示であり、本開示の範囲を限定することを意図していないことを理解するであろう。特に、コンピューティングシステムおよびデバイスは、コンピューター、ネットワークデバイス、インターネットアプライアンス、タブレットコンピューター、PDA、ワイヤレス電話、ポケットベルなどを含む、示された機能を実行できるハードウェアまたはソフトウェアの任意の組み合わせを含み得る。アーキテクチャ300はまた、例示されない他のデバイスに接続されてもよく、または代わりに独立型システムとして操作してもよい。さらに、例示されたコンポーネントによって提供される機能は、いくつかの実装では、より少ないコンポーネントに結合、または追加のコンポーネントに分散され得る。同様に、いくつかの実装形態では、例示されたコンポーネントのいくつかの機能が提供されなくてもよく、および/または他の追加の機能が利用可能であってもよい。
様々なアイテムが使用中にメモリまたはストレージに格納されるものとして例示されているが、これらのアイテムまたはこれらの一部はメモリ管理およびデータの整合性の目的でメモリと他のストレージデバイスとの間で転送され得ることを当業者はまた理解するであろう。あるいは、他の実装形態では、ソフトウェアコンポーネントの一部または全てが、別のデバイス上のメモリで実行され、例示されたアーキテクチャ300と通信し得る。一部または全てのシステムコンポーネントまたはデータ構造はまた、非一時的な、コンピューターアクセス可能媒体またはポータブル製品に格納され、上述の様々な例の適切なドライブで読み取られ得る(例えば命令または構造化データとして)。いくつかの実装形態では、アーキテクチャ300とは区別されたコンピューターアクセス可能媒体に格納された命令は、無線リンクなどの通信媒体を介して伝達される、電気、電磁気、またはデジタル信号などの伝送媒体または信号を介してアーキテクチャ300に送信され得る。様々な実装形態はさらに、上記説明に従ってコンピューターアクセス可能媒体に実装される命令および/またはデータを受信、送信または格納することを含み得る。したがって、本明細書に記載する技術は他の制御システム構成で実践し得る。
図6および図7は、ハードウェア、ソフトウェアまたはその組み合わせにおいて実装することができる一連の操作を表すロジカルフローグラフにおけるブロックの集合として例示される例示のプロセスのフロー図である。ソフトウェアのコンテキストにおいては、ブロックは、1つ以上のプロセッサで実行したときに、列挙した操作を実行する1つ以上のコンピューター可読記録媒体に格納されたコンピューター実行可能命令を表す。一般に、コンピューター実行可能命令は特定の機能を実行するまたは特定の抽象的データタイプを実装するルーチン、プログラム、物体、コンポーネント、データ構造等を含む。操作が記載される順序は限定して解釈されることを意図するものではなく、任意の数の記載されるブロックを任意の順序でおよび/または並行し結合して、プロセスを実装することができる。
図6は、例えばマップの作成および/または既存マップの変更などのマップを更新するための例示のプロセス600のフロー図である。ステップ602において、例示のプロセス600は第1の時間に環境を表す第1のセンサーデータセットを受信することを含み得る。例えばセンサーはLIDARセンサーであり得、センサーデータセットはLIDARセンサーデータを含み得る。他のセンサータイプおよびそのようなセンサーからのデータセットは、限定しないが、RADARセンサー、SONARセンサー、超音波トランスデューサー、画像センサーなどが企図される。
ステップ604において、例示のプロセス600はまた、複数の分類に従って第1のセンサーデータセットを区分することを含み得る。例えば複数の分類は、車両、歩行者、または自転車のうちの1つ以上を含み得、プロセス600は第1のセンサーデータセットから複数の分類のサブセットに関連付けられたデータを削除することを含み得る。いくつかの例では、複数の分類のサブセットは動的物体または潜在動的物体に関連付けられ得、プロセス600は第1のセンサーデータセット内の感知物体を検出し、感知物体を複数の分類のサブセットの1つとして分類することを含み得る。他の分類が企図される。いくつかの例では、区分は第1のセンサーデータセットを例えば本明細書に記載する機械学習モデルなどの機械学習モデルに伝達することと、機械学習モデルから区分情報を受信することと、を含み得るが、他の区分プロセスが企図される。ステップ606において、プロセス600は、例えば本明細書に記載するように、第1のセンサーデータセットを複数のボクセルを含むボクセル空間に関連付けることを含み得る。
いくつかの例におけるプロセス600は、ステップ608において、第1のセンサーデータセットに少なくとも部分的に基づいてボクセルに関連付けられた占有状態を更新することを含み得る。これは、例えば図5に関して本明細書に記載するように、例えば第1のセンサーデータセットに少なくとも部分的に基づいてボクセルに関連付けられた1つ以上のカウンターを更新(例えば増分および/または減分)することを含み得る。
プロセス600のいくつかの例では、ステップ610において、1つ以上の後続時に環境を表す1つ以上の追加センサーデータセットを受信することを含み得る。ステップ612において、プロセス600はまた、例えば本明細書に記載するように、複数の分類に従って1つ以上の追加センサーデータセットを区分することを含み得る。ステップ614において、いくつかの例によれば、プロセス600は1つ以上の追加センサーデータセットをボクセル空間に関連付けること、およびステップ616において1つ以上の追加センサーデータセットに少なくとも部分的に基づいてボクセルに関連付けられた占有状態を更新することを含み得、いくつかの例では、これは1つ以上の追加センサーデータセットに少なくとも部分的に基づいて、1つ以上のカウンターを更新(例えば増分および/または減分)することを含み得る。
ステップ618において、プロセス600は、例えば本明細書に記載するように、ボクセルが自由空間(占有)または非自由空間(非占有)であることを示すために、1つ以上の閾値を満たすまたは超える1つ以上のカウンターに少なくとも部分的に基づいて、ボクセル空間を含むマップを更新することを含み得る。プロセス600のいくつかの例では、マップを更新することは第1のセンサーデータセットおよび1つ以上の追加センサーデータセットの意味情報をマップに追加することを含み得る。いくつかの例では、プロセス600はさらに、マップに少なくとも部分的に基づいて車両の位置または方向の1つ以上を決定することと、車両の位置または方向の1つ以上に基づいて車両を操縦するための1つ以上の軌道を生成することと、いくつかの例では、1つ以上の軌道に少なくとも部分的に基づいて車両を操縦することと、を含み得る。
図7は、例えばマップの作成および/または既存マップの変更などの、マップを更新するための例示のプロセス700のフロー図である。本明細書で述べるように、例示のプロセス600の少なくとも一部は例示のプロセス700の少なくとも一部と結合し得る。
ステップ702において、例示のプロセス700は環境を表すセンサーデータセットを受信することを含み得る。例えば本明細書に記載するタイプのセンサーの1つ以上がセンサーデータセットを生成し得る。例示のプロセス700は、ステップ704において、例えば本明細書に記載するように、受信されたセンサーデータセットに少なくとも部分的に基づいて感知物体を識別することを含み得る。
ステップ706において、例示のプロセス700はセンサーデータセットを区分して、感知物体に関連付けられた区分されたセンサーデータを取得することを含み得る。例えばセンサーデータセットは、例えば機械学習を使用して本明細書に記載するプロセスによって区分され得る。ステップ708において、例示のプロセス700はまた、区分されたセンサーデータに少なくとも部分的に基づいて、感知物体を動的物体または潜在動的物体のうちの1つとして分類することを含み得る。
物体の分類に続くステップ710において、例示のプロセス700は、物体が動的物体であるかどうかを決定することを含み得る。物体が動的物体である場合、ステップ712において、プロセス700は、作成されるマップまたは既存マップなどのマップに物体に関連付けられたデータを含まないと決定することを含み得る。いくつかの例では、その後、プロセス700は上記のアクションの少なくともいくつかを繰り返すためにステップ702に戻ることを含み得る。一方、物体が動的でない場合、ステップ714において、プロセス700は、例えば本明細書に記載するように、物体をマップに追加することを含み得る。
いくつかの例では、ステップ716において、例示のプロセス700は、例えば本明細書に記載するように、物体に関連付けられた意味情報をマップに追加することを含み得る。非限定的な例として、物体分類は1つ以上のボクセルのそれぞれに関連付けられ得る。
ステップ718において、例示のプロセス700は感知物体が潜在動的であるかどうかを決定することを含み得る。例えば感知物体は経時的に外観および場所が変化し得る木および茂みなどの植生であり得る。感知物体が潜在動的である場合、ステップ720において、プロセスはダウンウェイト値をマップ内の感知物体に関連付けることを含み得、これは、例えば自律車両がそれのセンサーとマップによって生成されたセンサーデータセットに基づいて、それの局所姿勢を決定する際に使用され得る。例えば値はマップ内のそれぞれの物体に関連付けら得、その値は自律車両の位置測定で使用するために関連するウェイトに相関し得る。例えば潜在動的物体は静的物体に関連付けられた値よりも低い値に関連付けられ得、局所姿勢(例えばより低いウェイトでそれらのデータに頼らない)を決定する際に、局所姿勢を決定するために使用されるアルゴリズムはその値を使用し得る。この例示の方法では、これらの値は局所姿勢決定の精度を向上し得る。例えばポーズの決定および/または誘導中の物体に関連付けられたダウンウェイト値の関連する影響はダウンウェイト値よりも比較的高い値を有し得る、路面、縁石、建物などの静的物体と比較して削減し得る。感知物体が潜在動的でない場合、その後いくつかの例では、プロセス700はステップ702に戻って、上記のアクションの少なくともいくつかを繰り返すことを含み得る。
図8は本明細書に記載する例示のプロセスを実装するための例示のコンピューターアーキテクチャ800のブロック図である。この例では、アーキテクチャ800は、ストレージ804、1つ以上のプロセッサ806、およびオペレーティングシステム810を含むメモリ808を含み得る1つ以上のコンピューターシステム802を含む。ストレージ804、プロセッサ806、メモリ808、およびオペレーティングシステム810は通信インフラストラクチャ812を介して通信可能に結合され得る。いくつかの例では、コンピューターシステム802は入出力(I/O)デバイス814を介してユーザーまたは環境、およびそれだけではなく通信インフラストラクチャ812を介して1つ以上のネットワーク816上の1つ以上の他のコンピューティングデバイスとも相互作用し得る。オペレーティングシステム810は他のコンポーネントと相互作用して、メモリ808内の1つ以上のアプリケーション818を制御し得る。
いくつかの例では、コンピューターシステム802は図3のコンピューターシステム302に対応し得る。コンピューターシステム302は本明細書で論じるプロセスの1つ以上を実行するためにコンポーネント304から322を実装するための任意のハードウェアおよび/またはソフトウェアを実装し得る。
本明細書に記載するシステムおよび方法は、ソフトウェアまたはハードウェア、またはそれらの任意の組み合わせで実装され得る。本明細書に記載するシステムおよび方法は、物理的または論理的に互いに分離してもよくまたはしなくてもよい1つ以上のコンピューティングデバイスを使用して実装され得る。これらの方法は、オンプレミスハードウェア、オンプレミス仮想システム、またはホスト型プライベートインスタンスのいずれかとして配列されたコンポーネントによって実行し得る。さらに本明細書に記載する方法の様々な態様は他の機能に結合または併合し得る。
プロセッサまたはコンピューターシステムは本明細書に記載する方法の一部または全てを特に実行するように構成され得る。いくつかの例では、方法は1つ以上のコンピューターまたはプロセッサによって部分的にまたは完全に自動化され得る。本明細書に記載するシステムおよび方法(またはその任意の部分もしくは機能)は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの組み合わせを使用して実装され得、1つ以上のコンピューターシステムまたは他の処理システムで実装され得る。いくつかの例では、例示するシステム要素は単一のハードウェアデバイスに結合され、または複数のハードウェアデバイスに分離され得る。複数のハードウェアデバイスが使用されている場合、ハードウェアデバイスは物理的に互いに近接または遠隔に設置し得る。説明および例示した方法の例は、例示を意図したものであり、限定を意図したものではない。例えば方法のステップの一部または全ては異なる例において、結合する、再配列する、および/または除外し得る。
いくつかの例では、本明細書に記載するシステムおよび方法は本明細書に記載する機能を達成可能な1つ以上のコンピューターシステムを対象とし得る。限定しないが、例示のコンピューティングデバイスは、限定しないが、OSX(商標)、iOS(商標)、Linux(商標)、Android(商標)、Microsoft(商標)Windows(商標)などの任意のオペレーティングシステムを実行するパーソナルコンピューター(PC)システムであり得る。しかしながら、本明細書に記載するシステムおよび方法はこれらのプラットフォームに限定しなくてもよい。代わりに本明細書に記載するシステムおよび方法は任意の適切なオペレーティングシステムを実行する任意の適切なコンピューターシステムに実装し得る。限定しないが、コンピューティングデバイス、通信デバイス、携帯電話、スマートフォン、テレフォニーデバイス、電話、携帯情報端末(PDA)、パーソナルコンピューター(PC)、ハンドヘルドPC、インタラクティブテレビ(iTV)、デジタルビデオレコーダー(DVD)、クライアントワークステーション、シンクライアント、シッククライアント、プロキシサーバー、ネットワーク通信サーバー、リモートアクセスデバイス、クライアントコンピューター、サーバーコンピューター、ルーター、ウェブサーバー、データ、メディア、オーディオ、ビデオ、テレフォニーまたはストリーミングテクノロジーサーバーなどのような本明細書に記載するシステムおよび方法の他のコンポーネントはまた、コンピューティングデバイスを使用して実装し得る。サービスは、例えば限定しないが、インタラクティブテレビ(iTV)、ビデオオンデマンドシステム(VOD)を使用して、およびデジタルビデオレコーダー(DVR)または他のオンデマンド視聴システムを介してオンデマンドで提供され得る。
本明細書に記載するシステムは1つ以上のプロセッサを含み得る。プロセッサは、限定しないが、通信バス、クロスオーバーバー、またはネットワークなどのような通信インフラストラクチャに接続し得る。プロセスおよびプロセッサを同じ物理的場所に設置する必要はない。言い換えれば、プロセスは、例えばLANまたはWAN接続を介して、1つ以上の地理的に離れたプロセッサで実行し得る。コンピューティングデバイスはディスプレイユニット上に表示するために、通信インフラストラクチャからのグラフィック、テキスト、および他のデータを転送し得るディスプレイインターフェイスを含み得る。
コンピューターシステムはまた、いくつかの例では、限定しないが、メインメモリ、ランダムアクセスメモリ(RAM)、および二次メモリなどを含み得る。二次メモリは、例えばハードディスクドライブおよび/またはコンパクトディスクドライブCD−ROMなどのリムーバブルストレージドライブを含み得る。リムーバブルストレージドライブはリムーバブルストレージユニットからの読み取りおよび/または書き込みを行い得る。理解し得るように、リムーバブルストレージユニットはコンピューターソフトウェアおよび/またはデータを内部に格納しているコンピューター使用可能な記録媒体を含み得る。いくつかの例では、マシンアクセス可能媒体は、コンピューターによってアクセス可能なデータを格納するために使用される任意のストレージデバイスを指し得る。マシンアクセス可能媒体の例には、限定しないが、磁気ハードディスク、フロッピーディスク、光ディスク、コンパクトディスクの読み取り専用メモリ(CD−ROM)またはデジタル多用途ディスク(DVD)と少なくとも同様のもの、磁気テープ、および/またはメモリチップなどを含み得る。
プロセッサはまた、データを格納するための1つ以上のデータストレージデバイスを含む、またはそれと通信するように操作可能に結合され得る。そのようなデータストレージデバイスは、非限定的な例として、磁気ディスク(内部ハードディスクおよびリムーバブルディスクを含む)、光磁気ディスク、光ディスク、読み取り専用メモリ、ランダムアクセスメモリ、および/またはフラッシュストレージを含み得る。コンピュータープログラム命令および/またはデータを明白に具体化するのに適したストレージデバイスはまた、例えば、EPROM、EEPROM、およびフラッシュメモリデバイスのような半導体メモリデバイス、内部ハードディスクおよびリムーバブルディスクのような磁気ディスク、光磁気ディスク、ならびにCD−ROMおよびDVD−ROMディスクを含む、不揮発性メモリの全ての形式を含み得る。プロセッサおよびメモリはASIC(特定用途向け集積回路)によって補足される、またはASIC(特定用途向け集積回路)に組み込まれ得る。
処理システムはコンピューター化データストレージシステムと通信し得る。データストレージシステムは、MySQL(商標)または他のリレーショナルデータベースなどの非リレーショナルまたはリレーショナルデータストアを含み得る。他の物理および論理データベースタイプを使用し得る。データストアは、Microsoft SQL Server(商標)、Oracle(商標)、IBM DB2(商標)、SQLITE(商標)などのデータベースサーバー、またはリレーショナルまたはその他の任意のデータベースソフトウェアであり得る。データストアは、構文タグを識別する情報および構文タグを操作するために必要な情報を格納し得る。いくつかの例では、処理システムは物体指向プログラミングを使用し得、データを物体に格納し得る。そのような例では、処理システムは物体リレーショナルマッパー(ORM)を使用して、データ物体をリレーショナルデータベースに格納し得る。本明細書に記載するシステムおよび方法は任意の数の物理データモデルを使用して実装され得る。いくつかの例では、リレーショナルデータベース管理システム(RDBMS)を使用し得る。そのような例において、RDBMSのテーブルは座標を表す列を含み得る。データはRDBMSのテーブルに格納し得る。テーブルはそれらの間であらかじめ定義された関係があり得る。テーブルはまた、座標に関連付けられた付属物を有し得る。
いくつかの例では、二次メモリはコンピュータープログラムまたは他の命令がコンピューターシステムに読み込まれることを可能にするための他の同様のデバイスを含み得る。そのようなデバイスは、例えばリムーバブルストレージユニットおよびインターフェイスを含み得る。そのような例はプログラムカートリッジおよびカートリッジインターフェイス(例えば限定しないが、ビデオゲームデバイスに見られるものなど)、リムーバブルメモリチップ(例えば限定しないが、消去可能なプログラム可能な読み取り専用メモリ(EPROM)、またはプログラム可能な読み取り専用メモリ(PROM)および関連するソケットなど)およびその他のリムーバブルストレージユニットならびにインターフェイスを含み得、これはソフトウェアおよびデータをリムーバブルストレージユニットからコンピューターシステムに転送するのを可能にし得る。
コンピューティングシステムはまた、限定しないが、マイクなどの音声入力デバイス、タッチスクリーン、カメラ、その他の自然なユーザーインターフェイス、マウスなどのジェスチャー認識デバイス、またはデジタイザなどの他のポインティングデバイスおよびキーボードまたは他のデータ入力デバイスなどの入力デバイスを含み得る。コンピューターシステムはまた、限定しないが、ディスプレイおよびディスプレイインターフェイスなど出力デバイスを含み得る。コンピューティングシステムは、限定しないが、通信インターフェイス、ケーブルおよび通信経路などの入出力(I/O)デバイスを含み得る。これらのデバイスは、限定しないが、ネットワークインターフェイスカードおよびモデムを含み得る。通信インターフェイスにより、ソフトウェアとデータをコンピューターシステムと1つ以上の外部デバイス間での転送を可能にし得る。
いくつかの例では、コンピューターシステムは自動車システムに操作可能に結合され得る。そのような自動車システムは、手動操作、半自律、または完全自律のいずれかであり得る。そのような例では、入力および出力デバイスは、限定しないが、加速、ブレーキ、およびステアリングなど自動車機能を制御するための1つ以上の画像取込デバイス、コントローラ、マイクロコントローラ、および/または他のプロセッサを含み得る。さらに、そのような例における通信インフラストラクチャはまた、コントローラエリアネットワーク(CAN)バスを含み得る。
いくつかの例では、コンピューターシステムは任意のマシンビジョンベースのシステムに操作可能に結合され得る。例えばそのようなマシンビジョンベースのシステムは、限定しないが、手動操作、半自律型、または完全自律型の産業用または農業用ロボット、家庭用ロボット、検査システム、セキュリティシステムなどを含み得る。例えば本明細書に記載する例は、1つの特定のコンテキストに限定されず、マシンビジョンを利用する任意のアプリケーションに適用可能であり得る。
いくつかの例は1つ以上のコンピューターネットワークの環境で実践され得る。ネットワークは、プライベートネットワークもしくはパブリックネットワーク(例えばインターネット)、または両方の組み合わせを含み得る。ネットワークは、ハードウェア、ソフトウェア、または両方の組み合わせを含み得る。
電気通信指向の観点から、ネットワークは各ノードで機能する1つ以上のプロセス(ハードウェア、ソフトウェア、またはそれらの組み合わせ)を備えた通信設備によって相互接続されたハードウェアノードのセットとして説明し得る。プロセスはプロセス間通信経路を使用する通信経路を介して、相互に通信し情報を交換し得る。これらの経路では適切な通信プロトコルを使用し得る。
例示のコンピューターおよび/または電気通信ネットワーク環境は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせを含み得るノードを含み得る。ノードは通信ネットワークを介して相互接続し得る。各ノードはノードに組み込まれたプロセッサによって実行可能な1つ以上のプロセスを含み得る。例えば単一のプロセスが複数のプロセッサによって実行され得る、または複数のプロセスが単一のプロセッサによって実行され得る。さらに、各ノードはネットワークと外界との間のインターフェイスポイントを提供し得、サブネットワークの堆積を組み込み得る。
いくつかの例では、プロセスは任意の通信プロトコルを通して通信をサポートするプロセス間通信経路を通して互いに通信し得る。経路は継続的または断続的に順番にまたは並行して機能し得る。経路は多くのコンピューターによって使用される標準的な並列命令セットに加えて、通信ネットワークに関して本明細書に記載する通信標準、プロトコル、または技術のいずれかを使用し得る。
ノードは、処理機能を実行することの可能な任意のエンティティを含み得る。本明細書の例で使用し得るそのようなノードの例は、記載するように、プロセッサの堆積に接続されている、コンピューター(パーソナルコンピューター、ワークステーション、サーバー、またはメインフレームのような)、ハンドヘルドワイヤレスデバイスおよび有線デバイス(パーソナルデジタルアシスタント(PDA)、処理機能付きモデム携帯電話、限定しないがBlackBerry(商標)デバイスを含むワイヤレス電子メールデバイスのような)、ドキュメント処理デバイス(スキャナー、プリンター、ファクシミリ機、または多機能ドキュメントマシンのような)、または複雑なエンティティ(局所エリアネットワークまたは広域ネットワークのような)を含み得る。例えば、ノード自体は、ワイドエリアネットワーク(WAN)、局所エリアネットワーク(LAN)、プライベートネットワーク(仮想プライベートネットワーク(VPN)のような)、またはネットワークの堆積であり得る。
ノード間の通信は通信ネットワークによって可能となり得る。ノードは通信ネットワークに継続的または断続的のどちらでも接続し得る。一例として、通信ネットワークは適切な帯域幅および情報セキュリティを提供するデジタル通信インフラストラクチャであり得る。
通信ネットワークは、任意のタイプの標準、プロトコル、または技術を使用する、任意の周波数で、有線通信機能、無線通信機、または両方の組み合わせを含み得る。さらに、いくつかの例では、通信ネットワークはプライベートネットワーク(例えばVPN)またはパブリックネットワーク(例えばインターネット)であり得る。
通信ネットワークによって使用される例示的無線プロトコルおよび技術の非包括的リストは、Bluetooth(商標)、汎用パケット無線サービス(GPRS)、セルラーデジタルパケットデータ(CDPD)、モバイルソリューションプラットフォーム(MSP)、マルチメディアメッセージング(MMS)、ワイヤレスアプリケーションプロトコル(WAP)、コード分割多重アクセス(CDMA)、ショートメッセージサービス(SMS)、ワイヤレスマークアップ言語(WML)、ハンドヘルドデバイスマークアップ言語(HDML)、ワイヤレスのバイナリランタイム環境(BREW)、ラジオアクセスネットワーク(RAN)、およびパケット交換コアネットワーク(PS−CN)を含み得る。また、様々な世代のワイヤレス技術も含まれている。通信ネットワークで使用される主に有線プロトコルとテクノロジーの非包括的なリストの例は、非同期転送モード(ATM)、拡張内部ゲートウェイルーティングプロトコル(EIGRP)、フレームリレー(FR)、高レベルデータリンク制御(HDLC)、インターネット制御メッセージプロトコル(ICMP)、内部ゲートウェイルーティングプロトコル(IGRP)、インターネットワークパケット交換(IPX)、ISDN、ポイントツーポイントプロトコル(PPP)、伝送制御プロトコル/インターネットプロトコル(TCP/IP)、ルーティング情報プロトコル(RIP)、およびユーザーデータグラムプロトコル(UDP)を含む。他の既知もしくは予想される無線または有線のプロトコルおよび技術を使用し得る。
本明細書で開示される例は、本明細書に記載する操作を実行するための装置を含み得る。装置は所望の目的のために特別に組み立てられ得る、またはデバイスに格納されたプログラムによって選択的に起動または再構成される汎用デバイスを含み得る。
いくつかの例はマシン実行可能命令で具体化され得る。命令を使用して処理デバイス、例えば命令でプログラムされた汎用または専用プロセッサに本明細書に記載するプロセスのステップを実行させ得る。あるいは、本明細書に記載のステップはステップを実行するためのハードワイヤードロジックを含む具体的なハードウェアコンポーネントによって、またはプログラムされたコンピューターコンポーネントおよびカスタムハードウェアコンポーネントの任意の組み合わせによって、実行され得る。例えば本明細書に記載するシステムおよびプロセスは上で概説したようにコンピュータープログラム製品として提供され得る。いくつかの例は命令を格納したマシン可読媒体を含み得る。命令を使用して、本明細書に記載する例によるプロセスまたは方法を実行するように任意の1つ以上のプロセッサ(プロセッサ)(または他の電子デバイス)をプログラムし得る。さらに、いくつかの例はダウンロードされてコンピュータープログラム製品に格納され得る。そのような例は、プログラムは通信リンク(例えばモデムまたはネットワーク接続)を介して、搬送波または他の普及媒体に具体化されるデータ信号によって、リモートコンピューター(例えばサーバー)から要請しているコンピューター(例えばクライアント)へ転送され得、最終的にそのような信号は後続の実行のためにコンピューターシステムに格納され得る。
プロセスはコンピューターまたは任意の命令実行システムによって、またはそれに関連して使用するためのプログラムコードを提供するコンピューター使用可能またはコンピューター可読記録媒体からアクセス可能なコンピュータープログラム製品に実装され得る。コンピューター使用可能またはコンピューター可読記録媒体は、コンピューターもしくは命令実行システム、装置、またはデバイスによって、またはそれらと関連して、使用するためのプログラムを包含または格納の可能な任意の装置であり得る。
対応するプログラムコードを格納および/または実行するのに適切なデータ処理システムはメモリ素子のようなコンピューター化データストレージデバイスに直接または間接的に結合された少なくとも1つのプロセッサを含み得る。限定しないが、キーボード、ディスプレイ、ポインティングデバイスなどを含む入出力(I/O)デバイスをシステムに結合し得る。ネットワークアダプタはまた、システムに接続して、データ処理システムを、介在するプライベートネットワークまたはパブリックネットワークを通して、他のデータ処理システムまたはリモートプリンタまたはストレージデバイスへ接続するのを可能にし得る。ユーザーとの対話を提供するために、機能はユーザーに情報を表示するためのLCD(液晶ディスプレイ)または別のタイプのモニターなどのディスプレイデバイス、ならびにユーザーがコンピューターへ入力をもたらし得るキーボードおよびマウスまたはトラックボールのような入力デバイスを備えたコンピューターに実装し得る。
コンピュータープログラムはコンピューターにおいて直接的または間接的に使用され得る一連の命令であり得る。本明細書に記載するシステムおよび方法は、例えば、CUDA、OpenCL、Flash(商標)、JAVA(商標)、C++、C、C#、Python、Visual Basic(商標)、JavaScript(商標)PHP、XML、HTMLなどのようなプログラミング言語、またはコンパイルもしくはインタープリタ言語を含むプログラミング言語の組み合わせを使用して実装し得、独立型プログラムとして、またはモジュール、コンポーネント、サブルーチン、もしくはコンピューティング環境での使用に適した他のユニットとして、任意の形式で展開し得る。ソフトウェアは、限定しないが、ファームウェア、常駐ソフトウェア、マイクロコードなどを含み得る。SOAP/HTTPのようなプロトコルは、プログラミングモジュール間のインターフェイスの実装に使用し得る。本明細書に記載するコンポーネントと機能は、限定しないが、Microsoft Windows(商標)、Apple(商標)Mac(商標)、iOS(商標)、Unix(商標)/X−Windows(商標)、Linux(商標)などの異なるバージョンを含む、ソフトウェア開発に適切な任意のプログラミング言語を使用して、仮想化または非仮想化環境で実行されるデスクトップオペレーティングシステムに実装し得る。システムは、Ruby on RailsなどのWebアプリケーションフレームワークを使用して実装し得る。
命令のプログラムの実行に適切なプロセッサは、限定しないが、任意の種類のコンピューターの汎用および専用マイクロプロセッサ、および単一のプロセッサもしくは複数のプロセッサまたはコアの1つを含む。プロセッサは、読み取り専用メモリ、ランダムアクセスメモリ、その両方、または本明細書に記載するデータストレージデバイスの任意の組み合わせなどのコンピューター化データストレージデバイスから命令およびデータを受信し格納し得る。プロセッサは、電子デバイスの操作および性能を制御するための操作可能な任意の処理回路または制御回路を含み得る。
本明細書に記載するシステム、コンポーネント、および方法はソフトウェアまたはハードウェア要素の任意の組み合わせを使用して実装され得る。本明細書に記載するシステム、コンポーネント、および方法は、単独または互いに組み合わせて操作する1つ以上の仮想マシンを使用して実装され得る。ハードウェアコンピューティングプラットフォームまたはホストで実行する仮想化ソフトウェアの制御下で実行される仮想マシン内に物理的なコンピューティングマシンプラットフォームをカプセル化するために、適用可能な仮想化ソリューションが使用され得る。仮想マシンは仮想システムハードウェアおよびゲストオペレーティングシステムソフトウェアの両方を有し得る。
本明細書に記載するシステムおよび方法は、データサーバなどのバックエンドコンポーネントを含む、またはアプリケーションサーバもしくはインターネットサーバなどのミドルウェアコンポーネントを含む、またはグラフィカルユーザーインターフェイスもしくはインターネットブラウザーを有したクライアントコンピューターなどのフロントエンドコンポーネント、またはそれらの任意の組み合わせを含むコンピューターシステムで実装され得る。システムのコンポーネントは通信ネットワーク等のデジタルデータ通信の任意の形式または媒体によって接続され得る。通信ネットワークの例は、例えば、LAN、WAN、ならびにインターネットを形成するコンピューターおよびネットワークを含む。
本開示の1つ以上の実施形態は、ハンドヘルドデバイス、マイクロプロセッサシステム、マイクロプロセッサベースのまたはプログラム可能な家庭用電化製品、ミニコンピューター、メインフレームコンピューターなどを含む他のコンピューターシステム構成で実践し得る。本明細書に記載するシステムと方法はまた、ネットワークを通してリンクするリモート処理デバイスによってタスクが実行される分散コンピューティング環境で実践し得る。
本明細書に提示される主題は、コンピュータープロセス、コンピューター制御装置、コンピューティングシステム、またはコンピューター可読記録媒体などの製品として実装され得ることを理解されたい。本明細書に記載する主題は1つ以上のコンピューティングデバイス上で実行されるプログラムコンポーネントの一般的なコンテキストで提示されるが、当業者は、他の実装が他のタイプのプログラムコンポーネントと組み合わせて実行し得ることを認識するであろう。一般に、プログラムコンポーネントは、ルーチン、プログラム、コンポーネント、データ構造、および特定のタスクを実行する、または特定の抽象データ型を実装した他のタイプの構造が含まれる。
当業者はまた、本明細書に記載する主題の態様が、マルチプロセッサシステム、マイクロプロセッサベースまたはプログラム可能な家庭用電化製品、ミニコンピューター、メインフレームコンピューター、ハンドヘルドコンピューター、携帯電話デバイス、タブレットコンピューティングデバイス、専用ハードウェアデバイス、ネットワーク機器などを含む、本明細書に記載するそれらを超える他のコンピューターシステム構成上で、実践または組み合わせ得ることを理解するであろう。
前述に基づいて、システムを操作しプロセスを実装するための技術が本明細書で提示されたことが理解されるべきである。さらに本明細書に提示される主題は、コンピューターの構造的特徴、方法論的行為、およびコンピューター可読媒体に固有の言語で説明されているが、添付の特許請求の範囲で定義される本発明は必ずしも本明細書に記載する特定の特徴、行為または媒体に限定されないことを理解されたい。むしろ、特定の機能、行為、および媒体は特許請求の範囲に列挙されている主題を実装する例示の形態として開示されている。
上記の主題は例証としてのみ提供され、限定するものとして解釈されるべきではない。さらに請求される主題は本開示の任意の部分に示すいずれかまたは全ての欠点を解決する実装に限定されない。例示および説明された例ならびに用途に従うことなく、および以下の特許請求の範囲に記載される本発明の精神および範囲から逸脱することなく、本明細書に記載する主題に対して様々な修正および変更を行い得る。
(例示的な発明内容)
A.
例示のシステムであって、
1つ以上のプロセッサと、
1つ以上の前記プロセッサに通信可能に結合された1つ以上のコンピューター可読記録媒体であって、
第1の時間に環境を表す第1のセンサーデータセットを受信し、
前記第1のセンサーデータセットを複数の分類に従って区分し、
前記センサーデータセットを複数のボクセルを備えるボクセル空間に関連付け、
前記ボクセルに関連付けられた1つ以上のカウンターを前記第1のセンサーデータセットに少なくとも部分的に基づいて更新し、
1つ以上の追加時間に前記環境を表す1つ以上の追加センサーデータセットを受信し、
1つ以上の前記追加センサーデータセットを前記複数の分類に従って区分し、
1つ以上の前記追加センサーデータセットを前記ボクセル空間に関連付け、
1つ以上の前記カウンターを1つ以上の前記追加センサーデータセットに少なくとも部分的に基づいて更新し、
前記ボクセル空間を備えるマップを第1の閾値を満たすまたは超える1つ以上の前記カウンターに少なくとも部分的に基づいて更新する、
ために1つ以上の前記プロセッサによって実行可能な命令を格納した1つ以上のコンピューター可読記録媒体と
を備えた、システム。
B.
前記複数の分類は車両、歩行者、または自転車の1つ以上を含み、
前記命令はさらに、
前記第1のセンサーデータセットおよび1つ以上の前記追加センサーデータセットから前記複数の分類のサブセットに関連付けられたデータを削除する、
ために1つ以上の前記プロセッサによって実行可能である、例示Aに記載のシステム。
C.
前記第1のセンサーデータセットおよび1つ以上の前記追加センサーデータセットを区分することは、
1つ以上の前記センサーデータセットを入力として機械学習モデルへ通過させることと、
前記機械学習モデルから区分されたセンサーデータを受信することと、
を備える、例示Aまたは例示Bに記載のシステム。
D.
前記命令はさらに、
1つ以上の前記追加データセットを前記ボクセルへ1つ以上の光線として光線放射し、
1つ以上の前記光線が通過する1つ以上の通過ボクセルを決定し、
前記通過ボクセルに関連付けられた1つ以上の前記カウンターを更新し、
前記通過ボクセルに関連付けられた1つ以上の前記カウンターが第2の閾値に満たないまたは超えていないと決定し、
1つ以上の前記通過ボクセルを非占有ボクセルとして関連付ける、
ために1つ以上の前記プロセッサによって実行可能である、例示Aから例示Cのいずれか1つに記載のシステム。
E.
前記命令はさらに、
1つ以上の前記追加センサーデータセットの第2のセンサーデータセットを区分し、
前記第2のセンサーデータセット内の第1の物体を決定し、
前記区分された第2のセンサーデータセットに少なくとも部分的に基づいて、前記第1の物体が静的物体であり、前記第1の物体が第1の分類に関連付けられると決定し、
前記第1の物体に関連付けられた第1のウェイトを決定し、
前記区分された第2のセンサーデータセット内の第2の物体を決定し、
前記区分された第2のセンサーデータセットに少なくとも部分的に基づいて、前記第2の物体が動的物体または潜在動的物体であり、前記第2の物体が第2の分類に関連付けられると決定し、
第2のウェイトが前記第2の物体に関連付けられ、前記第2のウェイトが前記第1のウェイトよりも小さいと決定する、
ために1つ以上の前記プロセッサによって実行可能である、例示Aから例示Dのいずれか1つに記載のシステム。
F.
前記命令はさらに、意味情報を前記マップに関連付けるために1つ以上の前記プロセッサによって実行可能である、例示Aから例示Eのいずれか1つに記載のシステム。
G.
前記第1のセンサーデータセットを受信することは、光検出および測距(LIDAR)センサー、無線検出および測距(RADAR)センサー、音響誘導および測距(SONAR)センサー、または1つ以上の撮像機器の1つ以上から前記第1のセンサーデータセットを受信することを備える、例示Aから例示Fのいずれか1つに記載のシステム。
H.
前記命令はさらに、
1つ以上の前記追加センサーデータセットの第3のセンサーデータセットを第3の時間に受信し、
前記第3のセンサーデータセットを前記複数の分類に従って区分し、
データのサブセットを前記第3のセンサーデータセットから前記分類のサブセットに関連付けられたデータを削除することによって作成し、
前記マップおよびセンサーデータの前記サブセットに少なくとも部分的に基づいて自律車両を位置測定する、
ために1つ以上の前記プロセッサによって実行可能である、例示Aから例示Gのいずれか1つに記載のシステム。
I.
例示の方法であって、
環境を表す第1のセンサーデータセットを1つ以上のセンサーから受信することと、
前記第1のセンサーデータセットを複数の分類に従って区分することと、
前記第1のセンサーデータセットを複数のボクセルを備えるボクセル空間に関連付けることと、
前記ボクセルに関連付けられた占有状態を前記第1のセンサーデータセットに少なくとも部分的に基づいて更新することと、
前記環境を表す1つ以上の追加センサーデータセットを受信することと、
1つ以上の前記追加センサーデータセットを前記複数の分類に従って区分することと、
1つ以上の前記追加センサーデータセットを前記ボクセル空間に関連付けることと、
前記ボクセルに関連付けられた占有状態を1つ以上の前記追加センサーデータセットに少なくとも部分的に基づいて更新することと、
前記ボクセル空間を備えるマップを前記ボクセルに関連付けられた前記占有状態に少なくとも部分的に基づいて更新することと、
を備える、方法。
J.
前記複数の分類は車両、歩行者、または自転車の1つ以上を含み、前記方法はさらに、前記第1のセンサーデータセットおよび1つ以上の前記追加データセットから前記複数の分類のサブセットに関連付けられたデータを削除することを備える、例示Iに記載の方法。
K.
前記区分することは、
前記第1のセンサーデータセットおよび1つ以上の前記追加センサーデータセットを機械学習モデルへ伝達することと、
前記機械学習モデルから区分情報を受信することと、
を備える、例示Iまたは例示Jに記載の方法。
L.
前記複数の分類の前記サブセットは動的物体または潜在動的物体に関連付けられ、前記方法はさらに、
前記第1のセンサーデータセット内の感知物体を検出することと、
前記感知物体を前記複数の分類の前記サブセットの1つとして分類することと、
を備える、例示Iから例示Kのいずれか1つに記載の方法。
M.
第1のウェイトを前記複数の分類の前記サブセットに関連付けることと、
第2のウェイトを前記分類の残りに関連付けることと、
をさらに備え、前記第2のウェイトが前記第1のウェイトよりも大きい、例示Iから例示Lのいずれか1つに記載の方法。
N.
前記第1のセンサーデータセットおよび1つ以上の前記追加センサーデータセットの意味情報を前記マップへ追加することをさらに備える、例示Iから例示Mのいずれか1つに記載の方法。
O.
前記マップに少なくとも部分的に基づいて車両の位置または方向の1つ以上を決定することと、
前記車両の前記位置または前記方向の前記1つ以上に基づいて前記車両を操縦するための1つ以上の軌道を生成することと、
1つ以上の前記軌道に少なくとも部分的に基づいて前記車両を操縦することと、
をさらに備える、例示Iから例示Nのいずれか1つに記載の方法。
P.
コンピューターによって実行されるときに、
前記コンピューターに
1つ以上のセンサーから環境を表す第1のセンサーデータセットを受信させ、
前記第1のセンサーデータセット内の物体の存在を決定させ、
前記物体を分類に複数の分類の1つ以上として関連付けさせ、
前記第1のセンサーデータセットを複数のボクセルを備えるボクセル空間に関連付けさせ、
前記物体に少なくとも部分的に基づいて前記ボクセルに関連付けられた1つ以上のカウンターを増分させ、
閾値よりも大きいカウンターを有するボクセルに基づいて前記ボクセル空間を備えるマップを更新させ、
前記更新されたマップに少なくとも部分的に基づいて車両を操縦するための1つ以上の軌道を生成させる、
実行可能命令を格納した例示のコンピューター可読記録媒体。
Q.
前記命令はさらに前記コンピューターに、
1つ以上の後続時に1つ以上の前記ボクセル内の前記物体の前記存在を決定させ、
前記物体の物体軌道を決定させ、
前記物体軌道に少なくとも部分的に基づいて前記車両を操縦させる、
例示Pに記載の前記コンピューター可読記録媒体。
R.
前記分類は静的物体に関連付けられた分類を備え、前記命令はさらに前記コンピューターに、
第2の時間に前記環境を表す第2のセンサーデータセットを受信させ、
前記第2のセンサーデータセットを前記ボクセルに関連付けさせ、
1つ以上の光線として前記第2のセンサーデータセットを前記ボクセルへ光線放射させ、
1つ以上の通過ボクセルを決定させ、前記通過ボクセルは、1つ以上の前記光線が通過する前記ボクセルを備え、
前記通過ボクセルに関連付けられた1つ以上の前記カウンターを減分させ、
前記マップから第2の閾値を満たさない、または超えないカウンターを有するボクセルに関連付けられたデータを削除させる、
例示Pまたは例示Qに記載の前記コンピューター可読記録媒体。
S.
前記複数の分類は車両、歩行者、または自転車の1つ以上を備え、前記命令はさらに前記コンピューターに、
ウェイトを前記分類に関連付けさせ、
前記ウェイトを前記マップに関連付けさせ、
前記物体の前記分類を前記マップに関連付けさせ、
前記ウェイトは静的物体に対して大きく、動的物体に対して小さい、
例示Pから例示Rのいずれか1つに記載の前記コンピューター可読記録媒体。
T.
1つ以上の前記センサーがLIDARセンサー、RADARセンサー、SONARセンサー、またはイメージセンサーの1つ以上を備える、例示Pから例示Sのいずれか1つに記載の前記コンピューター可読記録媒体。

Claims (15)

  1. システムであって、
    1つ以上のプロセッサと、
    1つ以上の前記プロセッサに通信可能に結合された1つ以上のコンピューター可読記録媒体であって、
    第1の時間に環境を表す第1のセンサーデータセットを受信し、
    前記第1のセンサーデータセットの少なくとも一部を複数の分類に従って区分し、
    前記センサーデータセットの少なくとも前記一部を複数のボクセルを備えるボクセル空間に関連付け、
    前記ボクセルに関連付けられた1つ以上のカウンターを前記第1のセンサーデータセットの前記一部に少なくとも部分的に基づいて更新し、
    追加時間に前記環境を表す追加センサーデータセットを受信し、
    前記追加センサーデータセットの少なくとも一部を前記複数の分類に従って区分し、
    前記追加センサーデータセットの前記一部を前記ボクセル空間に関連付け、
    1つ以上の前記カウンターを前記追加センサーデータセットに少なくとも部分的に基づいて更新し、
    前記ボクセル空間を備えるマップを第1の閾値を満たすまたは超える1つ以上の前記カウンターに少なくとも部分的に基づいて更新する、
    ために1つ以上の前記プロセッサによって実行可能な命令を格納した1つ以上のコンピューター可読記録媒体と
    を備えた、システム。
  2. 前記複数の分類は車両、歩行者、または自転車の1つ以上を含み、
    前記命令はさらに、
    前記第1のセンサーデータセットおよび前記追加センサーデータセットから前記複数の分類のサブセットに関連付けられたデータを削除する、
    ために1つ以上の前記プロセッサによって実行可能である、請求項1に記載のシステム。
  3. 前記第1のセンサーデータセットおよび前記追加センサーデータセットを区分することは、
    前記センサーデータセットを入力として機械学習モデルへ通過させることと、
    前記機械学習モデルから区分されたセンサーデータを受信することと、
    を備える、請求項1または請求項2に記載のシステム。
  4. 前記命令はさらに
    1つ以上の前記追加データセットを前記ボクセルへ1つ以上の光線として光線放射し、
    1つ以上の前記光線が通過する1つ以上の通過ボクセルを決定し、
    前記通過ボクセルに関連付けられた1つ以上の前記カウンターを更新し、
    前記通過ボクセルに関連付けられた1つ以上の前記カウンターが第2の閾値に満たないまたは超えていないと決定し、
    1つ以上の前記通過ボクセルを非占有ボクセルとして関連付ける、
    ために1つ以上の前記プロセッサによって実行可能である、請求項1または請求項2に記載のシステム。
  5. 前記命令はさらに、
    第2の追加センサーデータセットを区分し、
    前記第2の追加センサーデータセット内の第1の物体を決定し、
    前記区分された第2のセンサーデータセットに少なくとも部分的に基づいて、前記第1の物体が静的物体であり、前記第1の物体が第1の分類に関連付けられると決定し、
    前記第1の物体に関連付けられた第1のウェイトを決定し、
    前記区分された第2のセンサーデータセット内の第2の物体を決定し、
    前記区分された第2のセンサーデータセットに少なくとも部分的に基づいて、前記第2の物体が動的物体または潜在動的物体であり、前記第2の物体が第2の分類に関連付けられると決定し、
    第2のウェイトが前記第2の物体に関連付けられ、前記第2のウェイトが前記第1のウェイトよりも小さいと決定する、
    ために1つ以上の前記プロセッサによって実行可能である、請求項2に記載のシステム。
  6. 前記命令はさらに、意味情報を前記マップに関連付けるために1つ以上の前記プロセッサによって実行可能である、請求項1、請求項2または請求項5のいずれか1項に記載のシステム。
  7. 前記第1のセンサーデータセットを受信することは、光検出および測距(LIDAR)センサー、無線検出および測距(RADAR)センサー、音響誘導および測距(SONAR)センサー、または1つ以上の撮像機器の1つ以上から前記第1のセンサーデータセットを受信することを備える、請求項1、請求項2または請求項5のいずれか1項に記載のシステム。
  8. 前記命令はさらに、
    1つ以上の前記追加センサーデータセットの第3のセンサーデータセットを第3の時間に受信し、
    前記第3のセンサーデータセットを前記複数の分類に従って区分し、
    データのサブセットを前記第3のセンサーデータセットから前記分類のサブセットに関連付けられたデータを削除することによって作成し、
    前記マップおよびセンサーデータの前記サブセットに少なくとも部分的に基づいて自律車両を位置測定する、
    ために1つ以上の前記プロセッサによって実行可能である、請求項1、請求項2または請求項5のいずれか1項に記載のシステム。
  9. 方法であって、
    環境を表す第1のセンサーデータセットを1つ以上のセンサーから受信することと、
    前記第1のセンサーデータセットの少なくとも一部を複数の分類に従って区分することと、
    前記第1のセンサーデータセットの少なくとも前記一部を複数のボクセルを備えるボクセル空間に関連付けることと、
    前記ボクセルに関連付けられた占有状態を前記第1のセンサーデータセットの少なくとも前記一部に少なくとも部分的に基づいて更新することと、
    前記環境を表す追加センサーデータセットを受信することと、
    前記追加センサーデータセットの少なくとも一部を前記複数の分類に従って区分することと、
    前記追加センサーデータセットの少なくとも前記一部を前記ボクセル空間に関連付けることと、
    前記ボクセルに関連付けられた占有状態を前記追加センサーデータセットの少なくとも前記一部に少なくとも部分的に基づいて更新することと、
    前記ボクセル空間を備えるマップを前記ボクセルに関連付けられた前記占有状態に少なくとも部分的に基づいて更新することと、
    を備える、方法。
  10. 前記複数の分類は車両、歩行者、または自転車の1つ以上を含み、前記方法はさらに、
    前記第1のセンサーデータセットおよび1つ以上の前記追加データセットから前記複数の分類のサブセットに関連付けられたデータを削除すること、
    を備える、請求項9に記載の方法。
  11. 前記区分することは、
    前記第1のセンサーデータセットおよび前記追加センサーデータセットを機械学習モデルへ伝達することと、
    前記機械学習モデルから区分情報を受信することと、
    を備える、請求項9に記載の方法。
  12. 前記複数の分類の前記サブセットは動的物体または潜在動的物体に関連付けられ、前記方法はさらに、
    前記第1のセンサーデータセット内の感知物体を検出することと、
    前記感知物体を前記複数の分類の前記サブセットの1つとして分類することと、
    を備える、請求項10に記載の方法。
  13. 第1のウェイトを前記複数の分類の前記サブセットに関連付けることと、
    第2のウェイトを前記分類の残りに関連付けることと、
    をさらに備え、
    前記第2のウェイトが前記第1のウェイトよりも大きい、請求項10に記載の方法。
  14. 前記第1のセンサーデータセットおよび前記追加センサーデータセットの意味情報を前記マップへ追加することをさらに備える、請求項11に記載の方法。
  15. 1つ以上のプロセッサに実行されるとき、1つ以上の前記プロセッサに請求項9から請求項14に記載のいずれか1項に記載のいずれかの方法を実行させる命令を格納した非一時的コンピューター可読媒体。
JP2020544014A 2018-02-20 2019-02-07 意味情報を含むクリーンなマップの作成 Active JP7296976B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/900,319 US11157527B2 (en) 2018-02-20 2018-02-20 Creating clean maps including semantic information
US15/900,319 2018-02-20
PCT/US2019/016968 WO2019164668A1 (en) 2018-02-20 2019-02-07 Creating clean maps including semantic information

Publications (3)

Publication Number Publication Date
JP2021514508A true JP2021514508A (ja) 2021-06-10
JPWO2019164668A5 JPWO2019164668A5 (ja) 2022-02-07
JP7296976B2 JP7296976B2 (ja) 2023-06-23

Family

ID=65520419

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020544014A Active JP7296976B2 (ja) 2018-02-20 2019-02-07 意味情報を含むクリーンなマップの作成

Country Status (5)

Country Link
US (1) US11157527B2 (ja)
EP (1) EP3756106A1 (ja)
JP (1) JP7296976B2 (ja)
CN (1) CN111742310B (ja)
WO (1) WO2019164668A1 (ja)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3000740C (en) * 2015-10-12 2022-09-06 Groundprobe Pty Ltd Slope stability lidar
US11748877B2 (en) 2017-05-11 2023-09-05 The Research Foundation For The State University Of New York System and method associated with predicting segmentation quality of objects in analysis of copious image data
CN107566743B (zh) * 2017-10-30 2019-10-11 珠海市一微半导体有限公司 移动机器人的视频监控方法
US10535138B2 (en) 2017-11-21 2020-01-14 Zoox, Inc. Sensor data segmentation
US10657388B2 (en) * 2018-03-13 2020-05-19 Honda Motor Co., Ltd. Robust simultaneous localization and mapping via removal of dynamic traffic participants
CN110567468A (zh) * 2018-06-06 2019-12-13 百度在线网络技术(北京)有限公司 道路轨迹获取方法、设备及存储介质
WO2020008458A2 (en) * 2018-07-02 2020-01-09 Vayyar Imaging Ltd. System and methods for environment mapping
US11204605B1 (en) * 2018-08-03 2021-12-21 GM Global Technology Operations LLC Autonomous vehicle controlled based upon a LIDAR data segmentation system
US10884131B1 (en) * 2018-08-03 2021-01-05 GM Global Technology Operations LLC Conflict resolver for a lidar data segmentation system of an autonomous vehicle
US11110922B2 (en) * 2018-11-05 2021-09-07 Zoox, Inc. Vehicle trajectory modification for following
US11383722B2 (en) * 2019-01-02 2022-07-12 Qualcomm Incorporated Methods and systems for managing interactions between vehicles with varying levels of autonomy
US11675083B2 (en) * 2019-01-03 2023-06-13 Nvidia Corporation Removal of ephemeral points from point cloud of a high-definition map for navigating autonomous vehicles
US11313696B2 (en) * 2019-03-01 2022-04-26 GM Global Technology Operations LLC Method and apparatus for a context-aware crowd-sourced sparse high definition map
EP3702802A1 (en) * 2019-03-01 2020-09-02 Aptiv Technologies Limited Method of multi-sensor data fusion
US20200361452A1 (en) * 2019-05-13 2020-11-19 Toyota Research Institute, Inc. Vehicles and methods for performing tasks based on confidence in accuracy of module output
US11227401B1 (en) * 2019-05-22 2022-01-18 Zoox, Inc. Multiresolution voxel space
US20200380085A1 (en) * 2019-06-03 2020-12-03 Robert Bosch Gmbh Simulations with Realistic Sensor-Fusion Detection Estimates of Objects
WO2021003453A1 (en) * 2019-07-02 2021-01-07 DeepMap Inc. Annotating high definition map data with semantic labels
DE102019214603A1 (de) * 2019-09-24 2021-03-25 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erstellen einer Lokalisierungskarte
US10725438B1 (en) * 2019-10-01 2020-07-28 11114140 Canada Inc. System and method for automated water operations for aquatic facilities using image-based machine learning
CN111060117B (zh) * 2019-12-17 2022-02-08 苏州智加科技有限公司 局部地图构建方法、装置、计算机设备以及存储介质
GB2591332B (en) * 2019-12-19 2024-02-14 Motional Ad Llc Foreground extraction using surface fitting
WO2021133582A1 (en) * 2019-12-23 2021-07-01 Zoox, Inc. Pedestrians with objects
US11625041B2 (en) * 2020-02-21 2023-04-11 Zoox, Inc. Combined track confidence and classification model
US20210278852A1 (en) * 2020-03-05 2021-09-09 Uatc, Llc Systems and Methods for Using Attention Masks to Improve Motion Planning
US11556127B2 (en) * 2020-04-03 2023-01-17 Baidu Usa Llc Static obstacle map based perception system
DE102020109789A1 (de) 2020-04-08 2021-10-14 Valeo Schalter Und Sensoren Gmbh Verfahren zum Durchführen einer Selbstlokalisierung eines Fahrzeugs auf der Grundlage einer reduzierten digitalen Umgebungskarte, Computerprogrammprodukt sowie ein Selbstlokalisierungssystem
EP3907468A1 (en) * 2020-05-08 2021-11-10 Volkswagen Aktiengesellschaft Vehicle, apparatus, method, and computer program for determining a merged environmental map
US11853070B2 (en) * 2020-09-04 2023-12-26 Waymo Llc Updating road graphs for autonomous driving
WO2022054069A1 (en) * 2020-09-14 2022-03-17 Cognata Ltd. Object labeling in images using dense depth maps
EP3979029A1 (en) * 2020-09-30 2022-04-06 Carnegie Robotics, LLC Systems and methods for enabling navigation in environments with dynamic objects
US11623661B2 (en) * 2020-10-12 2023-04-11 Zoox, Inc. Estimating ground height based on lidar data
US11657572B2 (en) 2020-10-21 2023-05-23 Argo AI, LLC Systems and methods for map generation based on ray-casting and semantic class images
JP2022087914A (ja) * 2020-12-02 2022-06-14 本田技研工業株式会社 車両位置推定装置
US11538185B2 (en) * 2020-12-11 2022-12-27 Zoox, Inc. Localization based on semantic objects
US20220185331A1 (en) * 2020-12-11 2022-06-16 Zoox, Inc. Calibration based on semantic objects
US11890544B2 (en) * 2020-12-30 2024-02-06 Blizzard Entertainment, Inc. Prop placement with machine learning
CN112837372A (zh) * 2021-03-02 2021-05-25 浙江商汤科技开发有限公司 数据生成方法及装置、电子设备和存储介质
US11792644B2 (en) 2021-06-21 2023-10-17 Motional Ad Llc Session key generation for autonomous vehicle operation
CN113671522B (zh) * 2021-07-07 2023-06-27 中国人民解放军战略支援部队信息工程大学 基于语义约束的动态环境激光slam方法
US11948381B2 (en) * 2021-08-20 2024-04-02 Motional Ad Llc Determining object mobility parameters using an object sequence
US11915436B1 (en) * 2021-08-30 2024-02-27 Zoox, Inc. System for aligning sensor data with maps comprising covariances
CN113848925A (zh) * 2021-09-30 2021-12-28 天津大学 一种基于slam的无人碾压动态路径自主规划方法
US11710296B2 (en) * 2021-12-03 2023-07-25 Zoox, Inc. End-to-end vehicle perception system training
US11675362B1 (en) * 2021-12-17 2023-06-13 Motional Ad Llc Methods and systems for agent prioritization
US20230209253A1 (en) * 2021-12-29 2023-06-29 Motional Ad Llc Autonomous vehicle with microphone safety
WO2023148729A1 (en) * 2022-02-02 2023-08-10 Elbit Systems C4I and Cyber Ltd. Geolocation system and method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013076829A1 (ja) * 2011-11-22 2013-05-30 株式会社日立製作所 自律移動システム
US20170248963A1 (en) * 2015-11-04 2017-08-31 Zoox, Inc. Adaptive mapping to navigate autonomous vehicles responsive to physical environment changes
WO2017157967A1 (en) * 2016-03-14 2017-09-21 Imra Europe Sas Processing method of a 3d point cloud
US20180232947A1 (en) * 2017-02-11 2018-08-16 Vayavision, Ltd. Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6102864A (en) * 1997-05-07 2000-08-15 General Electric Company Three-dimensional ultrasound imaging of velocity and power data using average or median pixel projections
DE10253510A1 (de) 2002-11-16 2004-05-27 Robert Bosch Gmbh Vorrichtung und Verfahren zur Verbesserung der Sicht in einem Kraftfahrzeug
US8655079B2 (en) 2008-03-17 2014-02-18 Raytheon Company Reducing false alarms in identifying whether a candidate image is from an object class
US20090292468A1 (en) 2008-03-25 2009-11-26 Shunguang Wu Collision avoidance method and system using stereo vision and radar sensor fusion
US8379020B2 (en) 2008-08-25 2013-02-19 Harris Corporation Image processing device using selective neighboring voxel removal and related methods
EP2534835A4 (en) * 2010-02-12 2017-04-05 The University of North Carolina At Chapel Hill Systems and methods that generate height map models for efficient three dimensional reconstruction from depth information
US8458188B2 (en) * 2010-02-17 2013-06-04 Lockheed Martin Corporation Voxel approach to terrain repositories for modeling and simulation
US8811748B2 (en) 2011-05-20 2014-08-19 Autodesk, Inc. Collaborative feature extraction system for three dimensional datasets
US8913784B2 (en) 2011-08-29 2014-12-16 Raytheon Company Noise reduction in light detection and ranging based imaging
CN102800205B (zh) * 2012-08-30 2015-06-24 南京大学 基于动态地图界面的车载虚拟终端系统
US9110163B2 (en) 2013-06-14 2015-08-18 Microsoft Technology Licensing, Llc Lidar-based classification of object movement
US9523772B2 (en) 2013-06-14 2016-12-20 Microsoft Technology Licensing, Llc Object removal using lidar-based classification
US20150193971A1 (en) * 2014-01-03 2015-07-09 Motorola Mobility Llc Methods and Systems for Generating a Map including Sparse and Dense Mapping Information
EP3123397A4 (en) 2014-03-27 2017-11-08 The Georgia Tech Research Corporation Systems and methods for identifying traffic control devices and testing the retroreflectivity of the same
US9633483B1 (en) 2014-03-27 2017-04-25 Hrl Laboratories, Llc System for filtering, segmenting and recognizing objects in unconstrained environments
GB2532948B (en) 2014-12-02 2021-04-14 Vivo Mobile Communication Co Ltd Object Recognition in a 3D scene
EP3078935A1 (en) 2015-04-10 2016-10-12 The European Atomic Energy Community (EURATOM), represented by the European Commission Method and device for real-time mapping and localization
US9710714B2 (en) 2015-08-03 2017-07-18 Nokia Technologies Oy Fusion of RGB images and LiDAR data for lane classification
EP4180893A1 (en) * 2015-11-04 2023-05-17 Zoox, Inc. Teleoperation system and method for trajectory modification of autonomous vehicles
US9707961B1 (en) * 2016-01-29 2017-07-18 Ford Global Technologies, Llc Tracking objects within a dynamic environment for improved localization
US9672446B1 (en) * 2016-05-06 2017-06-06 Uber Technologies, Inc. Object detection for an autonomous vehicle
US20170359561A1 (en) * 2016-06-08 2017-12-14 Uber Technologies, Inc. Disparity mapping for an autonomous vehicle
US9996944B2 (en) 2016-07-06 2018-06-12 Qualcomm Incorporated Systems and methods for mapping an environment
US10592805B2 (en) 2016-08-26 2020-03-17 Ford Global Technologies, Llc Physics modeling for radar and ultrasonic sensors
US20180136332A1 (en) 2016-11-15 2018-05-17 Wheego Electric Cars, Inc. Method and system to annotate objects and determine distances to objects in an image
WO2018126228A1 (en) * 2016-12-30 2018-07-05 DeepMap Inc. Sign and lane creation for high definition maps used for autonomous vehicles
US10209718B2 (en) 2017-03-14 2019-02-19 Starsky Robotics, Inc. Vehicle sensor system and method of use
CN106949895B (zh) * 2017-04-13 2020-05-19 杭州申昊科技股份有限公司 一种适用于变电站环境下的巡检机器人定位方法
US10460180B2 (en) 2017-04-20 2019-10-29 GM Global Technology Operations LLC Systems and methods for visual classification with region proposals
US10444759B2 (en) 2017-06-14 2019-10-15 Zoox, Inc. Voxel based ground plane estimation and object segmentation
US10747999B2 (en) 2017-10-18 2020-08-18 The Trustees Of Columbia University In The City Of New York Methods and systems for pattern characteristic detection
US11537868B2 (en) 2017-11-13 2022-12-27 Lyft, Inc. Generation and update of HD maps using data from heterogeneous sources
US10535138B2 (en) 2017-11-21 2020-01-14 Zoox, Inc. Sensor data segmentation
US20190179317A1 (en) 2017-12-13 2019-06-13 Luminar Technologies, Inc. Controlling vehicle sensors using an attention model

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013076829A1 (ja) * 2011-11-22 2013-05-30 株式会社日立製作所 自律移動システム
US20170248963A1 (en) * 2015-11-04 2017-08-31 Zoox, Inc. Adaptive mapping to navigate autonomous vehicles responsive to physical environment changes
WO2017157967A1 (en) * 2016-03-14 2017-09-21 Imra Europe Sas Processing method of a 3d point cloud
US20180232947A1 (en) * 2017-02-11 2018-08-16 Vayavision, Ltd. Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types

Also Published As

Publication number Publication date
US11157527B2 (en) 2021-10-26
WO2019164668A1 (en) 2019-08-29
CN111742310B (zh) 2024-03-22
CN111742310A (zh) 2020-10-02
US20190258737A1 (en) 2019-08-22
EP3756106A1 (en) 2020-12-30
JP7296976B2 (ja) 2023-06-23

Similar Documents

Publication Publication Date Title
JP7296976B2 (ja) 意味情報を含むクリーンなマップの作成
US11798169B2 (en) Sensor data segmentation
US11714423B2 (en) Voxel based ground plane estimation and object segmentation
US11449073B2 (en) Shared vehicle obstacle data
US11062461B2 (en) Pose determination from contact points
JP2022516288A (ja) 階層型機械学習ネットワークアーキテクチャ
WO2020117870A1 (en) System and method for modeling physical objects in a simulation
KR20210139181A (ko) 동적 점유 격자를 사용하는 차량 동작
US11479213B1 (en) Sensor obstruction detection and mitigation
US11892835B2 (en) System and method for controlling an autonomous vehicle
US20210287531A1 (en) Systems and methods for heterogeneous multi-agent multi-modal trajectory prediction with evolving interaction graphs
US20230311930A1 (en) Capturing and simulating radar data for autonomous driving systems
JP2022541343A (ja) 自律車両に遠隔操作命令を提供するためのシステム及び方法
US20210026350A1 (en) System and method for providing a teleoperation instruction to an autonomous vehicle

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220128

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230516

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230613

R150 Certificate of patent or registration of utility model

Ref document number: 7296976

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150