JP2021514508A - 意味情報を含むクリーンなマップの作成 - Google Patents
意味情報を含むクリーンなマップの作成 Download PDFInfo
- Publication number
- JP2021514508A JP2021514508A JP2020544014A JP2020544014A JP2021514508A JP 2021514508 A JP2021514508 A JP 2021514508A JP 2020544014 A JP2020544014 A JP 2020544014A JP 2020544014 A JP2020544014 A JP 2020544014A JP 2021514508 A JP2021514508 A JP 2021514508A
- Authority
- JP
- Japan
- Prior art keywords
- sensor
- voxel
- data
- dataset
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
- G06F16/287—Visualization; Browsing
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3833—Creation or updating of map data characterised by the source of data
- G01C21/3848—Data obtained from both position sensors and additional sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2379—Updates performed during online database operations; commit processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Databases & Information Systems (AREA)
- Radar, Positioning & Navigation (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Traffic Control Systems (AREA)
- Instructional Devices (AREA)
- Image Analysis (AREA)
Abstract
Description
このPCT国際特許出願は、2018年2月20日に出願された米国特許出願第15/900,319号の出願日の利益を主張し、その開示は参照により本明細書に組み入れられる。
この開示は概して、仮想マップなどのクリーンなマップを作成する、既存マップをクリーンアップする、および/または意味情報をマップに追加するための方法、装置、およびシステムに関する。そのようなマップは、自律車両などの車両の位置および/または方向(例えば局所姿勢)を決定するために、および/または地理的位置間で車両を誘導するために、使用され得る。例えばマップはセンサーから取得したデータに少なくとも部分的に基づいて作成され得る。いくつかの例では、望ましくないアーチファクト(例えばマップの実用性に悪影響を与え得る物体)はマップの作成中に自動的に除外される。例えば、車両、歩行者、自転車などの動的物体は移動する場合があり、位置測定に影響を与え得るので、これらのタイプの物体はマップを作成しながらマップから自動的に除外され得る。いくつかの例では、既存マップが自動的にクリーンアップされ得る。例えば動的物体および/または動的物体に関連付けられたセンサーデータによって作成されたアーチファクトは、マップによって表される環境を通る1つ以上のセンサーの後続の通過中に取得したセンサーデータを使用して、既存マップから削除され得る。いくつかの例では、センサーデータを区分し、動的物体および/または動的物体に関連付けられたアーチファクトをマップから除外および/または削除することにより、クリーンなマップを自動的に作成し得る、および/または既存マップを自動的にクリーンアップし得る。いくつかの例では、マップに表される各意味分類は寄与ウェイト(例えば位置測定アルゴリズムなどの特定のアルゴリズムに寄与するその分類に関連付けられたデータの量を示す)に関連付けられ得る。非限定的な例として、例えば植生(例えば木および茂み)などの潜在動的物体は、例えばマップに基づいて局所姿勢を決定するために、それらの存在の検出が静的物体よりも小さい範囲に依存するように、ダウンウェイトし得る。上記の例の少なくともいくつかは、自律車両によってより効率的に使用され得る改善されたマップをもたらし得、それによりコンピュータープロセッサ容量要件および/またはメモリ要件を削減する。例えばマップデータに少なくとも部分的に基づいて決定がより迅速に計算され得、これはマップデータを使用する車両の制御の改善をもたらし得、それにより同様にこれはマップを使用する自律車両の操作の改善をもたらし得る。さらに、例示の目的で自律車両の誘導を支援するためのマップを作成するコンテキストで論じたが、そのようなマップはゲームでシミュレーション環境を作成すること、都市の縮尺模型を生成することなどに役立ち得る。
A.
例示のシステムであって、
1つ以上のプロセッサと、
1つ以上の前記プロセッサに通信可能に結合された1つ以上のコンピューター可読記録媒体であって、
第1の時間に環境を表す第1のセンサーデータセットを受信し、
前記第1のセンサーデータセットを複数の分類に従って区分し、
前記センサーデータセットを複数のボクセルを備えるボクセル空間に関連付け、
前記ボクセルに関連付けられた1つ以上のカウンターを前記第1のセンサーデータセットに少なくとも部分的に基づいて更新し、
1つ以上の追加時間に前記環境を表す1つ以上の追加センサーデータセットを受信し、
1つ以上の前記追加センサーデータセットを前記複数の分類に従って区分し、
1つ以上の前記追加センサーデータセットを前記ボクセル空間に関連付け、
1つ以上の前記カウンターを1つ以上の前記追加センサーデータセットに少なくとも部分的に基づいて更新し、
前記ボクセル空間を備えるマップを第1の閾値を満たすまたは超える1つ以上の前記カウンターに少なくとも部分的に基づいて更新する、
ために1つ以上の前記プロセッサによって実行可能な命令を格納した1つ以上のコンピューター可読記録媒体と
を備えた、システム。
前記複数の分類は車両、歩行者、または自転車の1つ以上を含み、
前記命令はさらに、
前記第1のセンサーデータセットおよび1つ以上の前記追加センサーデータセットから前記複数の分類のサブセットに関連付けられたデータを削除する、
ために1つ以上の前記プロセッサによって実行可能である、例示Aに記載のシステム。
前記第1のセンサーデータセットおよび1つ以上の前記追加センサーデータセットを区分することは、
1つ以上の前記センサーデータセットを入力として機械学習モデルへ通過させることと、
前記機械学習モデルから区分されたセンサーデータを受信することと、
を備える、例示Aまたは例示Bに記載のシステム。
前記命令はさらに、
1つ以上の前記追加データセットを前記ボクセルへ1つ以上の光線として光線放射し、
1つ以上の前記光線が通過する1つ以上の通過ボクセルを決定し、
前記通過ボクセルに関連付けられた1つ以上の前記カウンターを更新し、
前記通過ボクセルに関連付けられた1つ以上の前記カウンターが第2の閾値に満たないまたは超えていないと決定し、
1つ以上の前記通過ボクセルを非占有ボクセルとして関連付ける、
ために1つ以上の前記プロセッサによって実行可能である、例示Aから例示Cのいずれか1つに記載のシステム。
前記命令はさらに、
1つ以上の前記追加センサーデータセットの第2のセンサーデータセットを区分し、
前記第2のセンサーデータセット内の第1の物体を決定し、
前記区分された第2のセンサーデータセットに少なくとも部分的に基づいて、前記第1の物体が静的物体であり、前記第1の物体が第1の分類に関連付けられると決定し、
前記第1の物体に関連付けられた第1のウェイトを決定し、
前記区分された第2のセンサーデータセット内の第2の物体を決定し、
前記区分された第2のセンサーデータセットに少なくとも部分的に基づいて、前記第2の物体が動的物体または潜在動的物体であり、前記第2の物体が第2の分類に関連付けられると決定し、
第2のウェイトが前記第2の物体に関連付けられ、前記第2のウェイトが前記第1のウェイトよりも小さいと決定する、
ために1つ以上の前記プロセッサによって実行可能である、例示Aから例示Dのいずれか1つに記載のシステム。
前記命令はさらに、意味情報を前記マップに関連付けるために1つ以上の前記プロセッサによって実行可能である、例示Aから例示Eのいずれか1つに記載のシステム。
前記第1のセンサーデータセットを受信することは、光検出および測距(LIDAR)センサー、無線検出および測距(RADAR)センサー、音響誘導および測距(SONAR)センサー、または1つ以上の撮像機器の1つ以上から前記第1のセンサーデータセットを受信することを備える、例示Aから例示Fのいずれか1つに記載のシステム。
前記命令はさらに、
1つ以上の前記追加センサーデータセットの第3のセンサーデータセットを第3の時間に受信し、
前記第3のセンサーデータセットを前記複数の分類に従って区分し、
データのサブセットを前記第3のセンサーデータセットから前記分類のサブセットに関連付けられたデータを削除することによって作成し、
前記マップおよびセンサーデータの前記サブセットに少なくとも部分的に基づいて自律車両を位置測定する、
ために1つ以上の前記プロセッサによって実行可能である、例示Aから例示Gのいずれか1つに記載のシステム。
例示の方法であって、
環境を表す第1のセンサーデータセットを1つ以上のセンサーから受信することと、
前記第1のセンサーデータセットを複数の分類に従って区分することと、
前記第1のセンサーデータセットを複数のボクセルを備えるボクセル空間に関連付けることと、
前記ボクセルに関連付けられた占有状態を前記第1のセンサーデータセットに少なくとも部分的に基づいて更新することと、
前記環境を表す1つ以上の追加センサーデータセットを受信することと、
1つ以上の前記追加センサーデータセットを前記複数の分類に従って区分することと、
1つ以上の前記追加センサーデータセットを前記ボクセル空間に関連付けることと、
前記ボクセルに関連付けられた占有状態を1つ以上の前記追加センサーデータセットに少なくとも部分的に基づいて更新することと、
前記ボクセル空間を備えるマップを前記ボクセルに関連付けられた前記占有状態に少なくとも部分的に基づいて更新することと、
を備える、方法。
前記複数の分類は車両、歩行者、または自転車の1つ以上を含み、前記方法はさらに、前記第1のセンサーデータセットおよび1つ以上の前記追加データセットから前記複数の分類のサブセットに関連付けられたデータを削除することを備える、例示Iに記載の方法。
前記区分することは、
前記第1のセンサーデータセットおよび1つ以上の前記追加センサーデータセットを機械学習モデルへ伝達することと、
前記機械学習モデルから区分情報を受信することと、
を備える、例示Iまたは例示Jに記載の方法。
前記複数の分類の前記サブセットは動的物体または潜在動的物体に関連付けられ、前記方法はさらに、
前記第1のセンサーデータセット内の感知物体を検出することと、
前記感知物体を前記複数の分類の前記サブセットの1つとして分類することと、
を備える、例示Iから例示Kのいずれか1つに記載の方法。
第1のウェイトを前記複数の分類の前記サブセットに関連付けることと、
第2のウェイトを前記分類の残りに関連付けることと、
をさらに備え、前記第2のウェイトが前記第1のウェイトよりも大きい、例示Iから例示Lのいずれか1つに記載の方法。
前記第1のセンサーデータセットおよび1つ以上の前記追加センサーデータセットの意味情報を前記マップへ追加することをさらに備える、例示Iから例示Mのいずれか1つに記載の方法。
前記マップに少なくとも部分的に基づいて車両の位置または方向の1つ以上を決定することと、
前記車両の前記位置または前記方向の前記1つ以上に基づいて前記車両を操縦するための1つ以上の軌道を生成することと、
1つ以上の前記軌道に少なくとも部分的に基づいて前記車両を操縦することと、
をさらに備える、例示Iから例示Nのいずれか1つに記載の方法。
コンピューターによって実行されるときに、
前記コンピューターに
1つ以上のセンサーから環境を表す第1のセンサーデータセットを受信させ、
前記第1のセンサーデータセット内の物体の存在を決定させ、
前記物体を分類に複数の分類の1つ以上として関連付けさせ、
前記第1のセンサーデータセットを複数のボクセルを備えるボクセル空間に関連付けさせ、
前記物体に少なくとも部分的に基づいて前記ボクセルに関連付けられた1つ以上のカウンターを増分させ、
閾値よりも大きいカウンターを有するボクセルに基づいて前記ボクセル空間を備えるマップを更新させ、
前記更新されたマップに少なくとも部分的に基づいて車両を操縦するための1つ以上の軌道を生成させる、
実行可能命令を格納した例示のコンピューター可読記録媒体。
前記命令はさらに前記コンピューターに、
1つ以上の後続時に1つ以上の前記ボクセル内の前記物体の前記存在を決定させ、
前記物体の物体軌道を決定させ、
前記物体軌道に少なくとも部分的に基づいて前記車両を操縦させる、
例示Pに記載の前記コンピューター可読記録媒体。
前記分類は静的物体に関連付けられた分類を備え、前記命令はさらに前記コンピューターに、
第2の時間に前記環境を表す第2のセンサーデータセットを受信させ、
前記第2のセンサーデータセットを前記ボクセルに関連付けさせ、
1つ以上の光線として前記第2のセンサーデータセットを前記ボクセルへ光線放射させ、
1つ以上の通過ボクセルを決定させ、前記通過ボクセルは、1つ以上の前記光線が通過する前記ボクセルを備え、
前記通過ボクセルに関連付けられた1つ以上の前記カウンターを減分させ、
前記マップから第2の閾値を満たさない、または超えないカウンターを有するボクセルに関連付けられたデータを削除させる、
例示Pまたは例示Qに記載の前記コンピューター可読記録媒体。
前記複数の分類は車両、歩行者、または自転車の1つ以上を備え、前記命令はさらに前記コンピューターに、
ウェイトを前記分類に関連付けさせ、
前記ウェイトを前記マップに関連付けさせ、
前記物体の前記分類を前記マップに関連付けさせ、
前記ウェイトは静的物体に対して大きく、動的物体に対して小さい、
例示Pから例示Rのいずれか1つに記載の前記コンピューター可読記録媒体。
1つ以上の前記センサーがLIDARセンサー、RADARセンサー、SONARセンサー、またはイメージセンサーの1つ以上を備える、例示Pから例示Sのいずれか1つに記載の前記コンピューター可読記録媒体。
Claims (15)
- システムであって、
1つ以上のプロセッサと、
1つ以上の前記プロセッサに通信可能に結合された1つ以上のコンピューター可読記録媒体であって、
第1の時間に環境を表す第1のセンサーデータセットを受信し、
前記第1のセンサーデータセットの少なくとも一部を複数の分類に従って区分し、
前記センサーデータセットの少なくとも前記一部を複数のボクセルを備えるボクセル空間に関連付け、
前記ボクセルに関連付けられた1つ以上のカウンターを前記第1のセンサーデータセットの前記一部に少なくとも部分的に基づいて更新し、
追加時間に前記環境を表す追加センサーデータセットを受信し、
前記追加センサーデータセットの少なくとも一部を前記複数の分類に従って区分し、
前記追加センサーデータセットの前記一部を前記ボクセル空間に関連付け、
1つ以上の前記カウンターを前記追加センサーデータセットに少なくとも部分的に基づいて更新し、
前記ボクセル空間を備えるマップを第1の閾値を満たすまたは超える1つ以上の前記カウンターに少なくとも部分的に基づいて更新する、
ために1つ以上の前記プロセッサによって実行可能な命令を格納した1つ以上のコンピューター可読記録媒体と
を備えた、システム。 - 前記複数の分類は車両、歩行者、または自転車の1つ以上を含み、
前記命令はさらに、
前記第1のセンサーデータセットおよび前記追加センサーデータセットから前記複数の分類のサブセットに関連付けられたデータを削除する、
ために1つ以上の前記プロセッサによって実行可能である、請求項1に記載のシステム。 - 前記第1のセンサーデータセットおよび前記追加センサーデータセットを区分することは、
前記センサーデータセットを入力として機械学習モデルへ通過させることと、
前記機械学習モデルから区分されたセンサーデータを受信することと、
を備える、請求項1または請求項2に記載のシステム。 - 前記命令はさらに
1つ以上の前記追加データセットを前記ボクセルへ1つ以上の光線として光線放射し、
1つ以上の前記光線が通過する1つ以上の通過ボクセルを決定し、
前記通過ボクセルに関連付けられた1つ以上の前記カウンターを更新し、
前記通過ボクセルに関連付けられた1つ以上の前記カウンターが第2の閾値に満たないまたは超えていないと決定し、
1つ以上の前記通過ボクセルを非占有ボクセルとして関連付ける、
ために1つ以上の前記プロセッサによって実行可能である、請求項1または請求項2に記載のシステム。 - 前記命令はさらに、
第2の追加センサーデータセットを区分し、
前記第2の追加センサーデータセット内の第1の物体を決定し、
前記区分された第2のセンサーデータセットに少なくとも部分的に基づいて、前記第1の物体が静的物体であり、前記第1の物体が第1の分類に関連付けられると決定し、
前記第1の物体に関連付けられた第1のウェイトを決定し、
前記区分された第2のセンサーデータセット内の第2の物体を決定し、
前記区分された第2のセンサーデータセットに少なくとも部分的に基づいて、前記第2の物体が動的物体または潜在動的物体であり、前記第2の物体が第2の分類に関連付けられると決定し、
第2のウェイトが前記第2の物体に関連付けられ、前記第2のウェイトが前記第1のウェイトよりも小さいと決定する、
ために1つ以上の前記プロセッサによって実行可能である、請求項2に記載のシステム。 - 前記命令はさらに、意味情報を前記マップに関連付けるために1つ以上の前記プロセッサによって実行可能である、請求項1、請求項2または請求項5のいずれか1項に記載のシステム。
- 前記第1のセンサーデータセットを受信することは、光検出および測距(LIDAR)センサー、無線検出および測距(RADAR)センサー、音響誘導および測距(SONAR)センサー、または1つ以上の撮像機器の1つ以上から前記第1のセンサーデータセットを受信することを備える、請求項1、請求項2または請求項5のいずれか1項に記載のシステム。
- 前記命令はさらに、
1つ以上の前記追加センサーデータセットの第3のセンサーデータセットを第3の時間に受信し、
前記第3のセンサーデータセットを前記複数の分類に従って区分し、
データのサブセットを前記第3のセンサーデータセットから前記分類のサブセットに関連付けられたデータを削除することによって作成し、
前記マップおよびセンサーデータの前記サブセットに少なくとも部分的に基づいて自律車両を位置測定する、
ために1つ以上の前記プロセッサによって実行可能である、請求項1、請求項2または請求項5のいずれか1項に記載のシステム。 - 方法であって、
環境を表す第1のセンサーデータセットを1つ以上のセンサーから受信することと、
前記第1のセンサーデータセットの少なくとも一部を複数の分類に従って区分することと、
前記第1のセンサーデータセットの少なくとも前記一部を複数のボクセルを備えるボクセル空間に関連付けることと、
前記ボクセルに関連付けられた占有状態を前記第1のセンサーデータセットの少なくとも前記一部に少なくとも部分的に基づいて更新することと、
前記環境を表す追加センサーデータセットを受信することと、
前記追加センサーデータセットの少なくとも一部を前記複数の分類に従って区分することと、
前記追加センサーデータセットの少なくとも前記一部を前記ボクセル空間に関連付けることと、
前記ボクセルに関連付けられた占有状態を前記追加センサーデータセットの少なくとも前記一部に少なくとも部分的に基づいて更新することと、
前記ボクセル空間を備えるマップを前記ボクセルに関連付けられた前記占有状態に少なくとも部分的に基づいて更新することと、
を備える、方法。 - 前記複数の分類は車両、歩行者、または自転車の1つ以上を含み、前記方法はさらに、
前記第1のセンサーデータセットおよび1つ以上の前記追加データセットから前記複数の分類のサブセットに関連付けられたデータを削除すること、
を備える、請求項9に記載の方法。 - 前記区分することは、
前記第1のセンサーデータセットおよび前記追加センサーデータセットを機械学習モデルへ伝達することと、
前記機械学習モデルから区分情報を受信することと、
を備える、請求項9に記載の方法。 - 前記複数の分類の前記サブセットは動的物体または潜在動的物体に関連付けられ、前記方法はさらに、
前記第1のセンサーデータセット内の感知物体を検出することと、
前記感知物体を前記複数の分類の前記サブセットの1つとして分類することと、
を備える、請求項10に記載の方法。 - 第1のウェイトを前記複数の分類の前記サブセットに関連付けることと、
第2のウェイトを前記分類の残りに関連付けることと、
をさらに備え、
前記第2のウェイトが前記第1のウェイトよりも大きい、請求項10に記載の方法。 - 前記第1のセンサーデータセットおよび前記追加センサーデータセットの意味情報を前記マップへ追加することをさらに備える、請求項11に記載の方法。
- 1つ以上のプロセッサに実行されるとき、1つ以上の前記プロセッサに請求項9から請求項14に記載のいずれか1項に記載のいずれかの方法を実行させる命令を格納した非一時的コンピューター可読媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/900,319 US11157527B2 (en) | 2018-02-20 | 2018-02-20 | Creating clean maps including semantic information |
US15/900,319 | 2018-02-20 | ||
PCT/US2019/016968 WO2019164668A1 (en) | 2018-02-20 | 2019-02-07 | Creating clean maps including semantic information |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021514508A true JP2021514508A (ja) | 2021-06-10 |
JPWO2019164668A5 JPWO2019164668A5 (ja) | 2022-02-07 |
JP7296976B2 JP7296976B2 (ja) | 2023-06-23 |
Family
ID=65520419
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020544014A Active JP7296976B2 (ja) | 2018-02-20 | 2019-02-07 | 意味情報を含むクリーンなマップの作成 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11157527B2 (ja) |
EP (1) | EP3756106A1 (ja) |
JP (1) | JP7296976B2 (ja) |
CN (1) | CN111742310B (ja) |
WO (1) | WO2019164668A1 (ja) |
Families Citing this family (47)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA3000740C (en) * | 2015-10-12 | 2022-09-06 | Groundprobe Pty Ltd | Slope stability lidar |
US11748877B2 (en) | 2017-05-11 | 2023-09-05 | The Research Foundation For The State University Of New York | System and method associated with predicting segmentation quality of objects in analysis of copious image data |
CN107566743B (zh) * | 2017-10-30 | 2019-10-11 | 珠海市一微半导体有限公司 | 移动机器人的视频监控方法 |
US10535138B2 (en) | 2017-11-21 | 2020-01-14 | Zoox, Inc. | Sensor data segmentation |
US10657388B2 (en) * | 2018-03-13 | 2020-05-19 | Honda Motor Co., Ltd. | Robust simultaneous localization and mapping via removal of dynamic traffic participants |
CN110567468A (zh) * | 2018-06-06 | 2019-12-13 | 百度在线网络技术(北京)有限公司 | 道路轨迹获取方法、设备及存储介质 |
WO2020008458A2 (en) * | 2018-07-02 | 2020-01-09 | Vayyar Imaging Ltd. | System and methods for environment mapping |
US11204605B1 (en) * | 2018-08-03 | 2021-12-21 | GM Global Technology Operations LLC | Autonomous vehicle controlled based upon a LIDAR data segmentation system |
US10884131B1 (en) * | 2018-08-03 | 2021-01-05 | GM Global Technology Operations LLC | Conflict resolver for a lidar data segmentation system of an autonomous vehicle |
US11110922B2 (en) * | 2018-11-05 | 2021-09-07 | Zoox, Inc. | Vehicle trajectory modification for following |
US11383722B2 (en) * | 2019-01-02 | 2022-07-12 | Qualcomm Incorporated | Methods and systems for managing interactions between vehicles with varying levels of autonomy |
US11675083B2 (en) * | 2019-01-03 | 2023-06-13 | Nvidia Corporation | Removal of ephemeral points from point cloud of a high-definition map for navigating autonomous vehicles |
US11313696B2 (en) * | 2019-03-01 | 2022-04-26 | GM Global Technology Operations LLC | Method and apparatus for a context-aware crowd-sourced sparse high definition map |
EP3702802A1 (en) * | 2019-03-01 | 2020-09-02 | Aptiv Technologies Limited | Method of multi-sensor data fusion |
US20200361452A1 (en) * | 2019-05-13 | 2020-11-19 | Toyota Research Institute, Inc. | Vehicles and methods for performing tasks based on confidence in accuracy of module output |
US11227401B1 (en) * | 2019-05-22 | 2022-01-18 | Zoox, Inc. | Multiresolution voxel space |
US20200380085A1 (en) * | 2019-06-03 | 2020-12-03 | Robert Bosch Gmbh | Simulations with Realistic Sensor-Fusion Detection Estimates of Objects |
WO2021003453A1 (en) * | 2019-07-02 | 2021-01-07 | DeepMap Inc. | Annotating high definition map data with semantic labels |
DE102019214603A1 (de) * | 2019-09-24 | 2021-03-25 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Erstellen einer Lokalisierungskarte |
US10725438B1 (en) * | 2019-10-01 | 2020-07-28 | 11114140 Canada Inc. | System and method for automated water operations for aquatic facilities using image-based machine learning |
CN111060117B (zh) * | 2019-12-17 | 2022-02-08 | 苏州智加科技有限公司 | 局部地图构建方法、装置、计算机设备以及存储介质 |
GB2591332B (en) * | 2019-12-19 | 2024-02-14 | Motional Ad Llc | Foreground extraction using surface fitting |
WO2021133582A1 (en) * | 2019-12-23 | 2021-07-01 | Zoox, Inc. | Pedestrians with objects |
US11625041B2 (en) * | 2020-02-21 | 2023-04-11 | Zoox, Inc. | Combined track confidence and classification model |
US20210278852A1 (en) * | 2020-03-05 | 2021-09-09 | Uatc, Llc | Systems and Methods for Using Attention Masks to Improve Motion Planning |
US11556127B2 (en) * | 2020-04-03 | 2023-01-17 | Baidu Usa Llc | Static obstacle map based perception system |
DE102020109789A1 (de) | 2020-04-08 | 2021-10-14 | Valeo Schalter Und Sensoren Gmbh | Verfahren zum Durchführen einer Selbstlokalisierung eines Fahrzeugs auf der Grundlage einer reduzierten digitalen Umgebungskarte, Computerprogrammprodukt sowie ein Selbstlokalisierungssystem |
EP3907468A1 (en) * | 2020-05-08 | 2021-11-10 | Volkswagen Aktiengesellschaft | Vehicle, apparatus, method, and computer program for determining a merged environmental map |
US11853070B2 (en) * | 2020-09-04 | 2023-12-26 | Waymo Llc | Updating road graphs for autonomous driving |
WO2022054069A1 (en) * | 2020-09-14 | 2022-03-17 | Cognata Ltd. | Object labeling in images using dense depth maps |
EP3979029A1 (en) * | 2020-09-30 | 2022-04-06 | Carnegie Robotics, LLC | Systems and methods for enabling navigation in environments with dynamic objects |
US11623661B2 (en) * | 2020-10-12 | 2023-04-11 | Zoox, Inc. | Estimating ground height based on lidar data |
US11657572B2 (en) | 2020-10-21 | 2023-05-23 | Argo AI, LLC | Systems and methods for map generation based on ray-casting and semantic class images |
JP2022087914A (ja) * | 2020-12-02 | 2022-06-14 | 本田技研工業株式会社 | 車両位置推定装置 |
US11538185B2 (en) * | 2020-12-11 | 2022-12-27 | Zoox, Inc. | Localization based on semantic objects |
US20220185331A1 (en) * | 2020-12-11 | 2022-06-16 | Zoox, Inc. | Calibration based on semantic objects |
US11890544B2 (en) * | 2020-12-30 | 2024-02-06 | Blizzard Entertainment, Inc. | Prop placement with machine learning |
CN112837372A (zh) * | 2021-03-02 | 2021-05-25 | 浙江商汤科技开发有限公司 | 数据生成方法及装置、电子设备和存储介质 |
US11792644B2 (en) | 2021-06-21 | 2023-10-17 | Motional Ad Llc | Session key generation for autonomous vehicle operation |
CN113671522B (zh) * | 2021-07-07 | 2023-06-27 | 中国人民解放军战略支援部队信息工程大学 | 基于语义约束的动态环境激光slam方法 |
US11948381B2 (en) * | 2021-08-20 | 2024-04-02 | Motional Ad Llc | Determining object mobility parameters using an object sequence |
US11915436B1 (en) * | 2021-08-30 | 2024-02-27 | Zoox, Inc. | System for aligning sensor data with maps comprising covariances |
CN113848925A (zh) * | 2021-09-30 | 2021-12-28 | 天津大学 | 一种基于slam的无人碾压动态路径自主规划方法 |
US11710296B2 (en) * | 2021-12-03 | 2023-07-25 | Zoox, Inc. | End-to-end vehicle perception system training |
US11675362B1 (en) * | 2021-12-17 | 2023-06-13 | Motional Ad Llc | Methods and systems for agent prioritization |
US20230209253A1 (en) * | 2021-12-29 | 2023-06-29 | Motional Ad Llc | Autonomous vehicle with microphone safety |
WO2023148729A1 (en) * | 2022-02-02 | 2023-08-10 | Elbit Systems C4I and Cyber Ltd. | Geolocation system and method |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013076829A1 (ja) * | 2011-11-22 | 2013-05-30 | 株式会社日立製作所 | 自律移動システム |
US20170248963A1 (en) * | 2015-11-04 | 2017-08-31 | Zoox, Inc. | Adaptive mapping to navigate autonomous vehicles responsive to physical environment changes |
WO2017157967A1 (en) * | 2016-03-14 | 2017-09-21 | Imra Europe Sas | Processing method of a 3d point cloud |
US20180232947A1 (en) * | 2017-02-11 | 2018-08-16 | Vayavision, Ltd. | Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types |
Family Cites Families (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6102864A (en) * | 1997-05-07 | 2000-08-15 | General Electric Company | Three-dimensional ultrasound imaging of velocity and power data using average or median pixel projections |
DE10253510A1 (de) | 2002-11-16 | 2004-05-27 | Robert Bosch Gmbh | Vorrichtung und Verfahren zur Verbesserung der Sicht in einem Kraftfahrzeug |
US8655079B2 (en) | 2008-03-17 | 2014-02-18 | Raytheon Company | Reducing false alarms in identifying whether a candidate image is from an object class |
US20090292468A1 (en) | 2008-03-25 | 2009-11-26 | Shunguang Wu | Collision avoidance method and system using stereo vision and radar sensor fusion |
US8379020B2 (en) | 2008-08-25 | 2013-02-19 | Harris Corporation | Image processing device using selective neighboring voxel removal and related methods |
EP2534835A4 (en) * | 2010-02-12 | 2017-04-05 | The University of North Carolina At Chapel Hill | Systems and methods that generate height map models for efficient three dimensional reconstruction from depth information |
US8458188B2 (en) * | 2010-02-17 | 2013-06-04 | Lockheed Martin Corporation | Voxel approach to terrain repositories for modeling and simulation |
US8811748B2 (en) | 2011-05-20 | 2014-08-19 | Autodesk, Inc. | Collaborative feature extraction system for three dimensional datasets |
US8913784B2 (en) | 2011-08-29 | 2014-12-16 | Raytheon Company | Noise reduction in light detection and ranging based imaging |
CN102800205B (zh) * | 2012-08-30 | 2015-06-24 | 南京大学 | 基于动态地图界面的车载虚拟终端系统 |
US9110163B2 (en) | 2013-06-14 | 2015-08-18 | Microsoft Technology Licensing, Llc | Lidar-based classification of object movement |
US9523772B2 (en) | 2013-06-14 | 2016-12-20 | Microsoft Technology Licensing, Llc | Object removal using lidar-based classification |
US20150193971A1 (en) * | 2014-01-03 | 2015-07-09 | Motorola Mobility Llc | Methods and Systems for Generating a Map including Sparse and Dense Mapping Information |
EP3123397A4 (en) | 2014-03-27 | 2017-11-08 | The Georgia Tech Research Corporation | Systems and methods for identifying traffic control devices and testing the retroreflectivity of the same |
US9633483B1 (en) | 2014-03-27 | 2017-04-25 | Hrl Laboratories, Llc | System for filtering, segmenting and recognizing objects in unconstrained environments |
GB2532948B (en) | 2014-12-02 | 2021-04-14 | Vivo Mobile Communication Co Ltd | Object Recognition in a 3D scene |
EP3078935A1 (en) | 2015-04-10 | 2016-10-12 | The European Atomic Energy Community (EURATOM), represented by the European Commission | Method and device for real-time mapping and localization |
US9710714B2 (en) | 2015-08-03 | 2017-07-18 | Nokia Technologies Oy | Fusion of RGB images and LiDAR data for lane classification |
EP4180893A1 (en) * | 2015-11-04 | 2023-05-17 | Zoox, Inc. | Teleoperation system and method for trajectory modification of autonomous vehicles |
US9707961B1 (en) * | 2016-01-29 | 2017-07-18 | Ford Global Technologies, Llc | Tracking objects within a dynamic environment for improved localization |
US9672446B1 (en) * | 2016-05-06 | 2017-06-06 | Uber Technologies, Inc. | Object detection for an autonomous vehicle |
US20170359561A1 (en) * | 2016-06-08 | 2017-12-14 | Uber Technologies, Inc. | Disparity mapping for an autonomous vehicle |
US9996944B2 (en) | 2016-07-06 | 2018-06-12 | Qualcomm Incorporated | Systems and methods for mapping an environment |
US10592805B2 (en) | 2016-08-26 | 2020-03-17 | Ford Global Technologies, Llc | Physics modeling for radar and ultrasonic sensors |
US20180136332A1 (en) | 2016-11-15 | 2018-05-17 | Wheego Electric Cars, Inc. | Method and system to annotate objects and determine distances to objects in an image |
WO2018126228A1 (en) * | 2016-12-30 | 2018-07-05 | DeepMap Inc. | Sign and lane creation for high definition maps used for autonomous vehicles |
US10209718B2 (en) | 2017-03-14 | 2019-02-19 | Starsky Robotics, Inc. | Vehicle sensor system and method of use |
CN106949895B (zh) * | 2017-04-13 | 2020-05-19 | 杭州申昊科技股份有限公司 | 一种适用于变电站环境下的巡检机器人定位方法 |
US10460180B2 (en) | 2017-04-20 | 2019-10-29 | GM Global Technology Operations LLC | Systems and methods for visual classification with region proposals |
US10444759B2 (en) | 2017-06-14 | 2019-10-15 | Zoox, Inc. | Voxel based ground plane estimation and object segmentation |
US10747999B2 (en) | 2017-10-18 | 2020-08-18 | The Trustees Of Columbia University In The City Of New York | Methods and systems for pattern characteristic detection |
US11537868B2 (en) | 2017-11-13 | 2022-12-27 | Lyft, Inc. | Generation and update of HD maps using data from heterogeneous sources |
US10535138B2 (en) | 2017-11-21 | 2020-01-14 | Zoox, Inc. | Sensor data segmentation |
US20190179317A1 (en) | 2017-12-13 | 2019-06-13 | Luminar Technologies, Inc. | Controlling vehicle sensors using an attention model |
-
2018
- 2018-02-20 US US15/900,319 patent/US11157527B2/en active Active
-
2019
- 2019-02-07 JP JP2020544014A patent/JP7296976B2/ja active Active
- 2019-02-07 WO PCT/US2019/016968 patent/WO2019164668A1/en unknown
- 2019-02-07 CN CN201980014385.8A patent/CN111742310B/zh active Active
- 2019-02-07 EP EP19707192.1A patent/EP3756106A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013076829A1 (ja) * | 2011-11-22 | 2013-05-30 | 株式会社日立製作所 | 自律移動システム |
US20170248963A1 (en) * | 2015-11-04 | 2017-08-31 | Zoox, Inc. | Adaptive mapping to navigate autonomous vehicles responsive to physical environment changes |
WO2017157967A1 (en) * | 2016-03-14 | 2017-09-21 | Imra Europe Sas | Processing method of a 3d point cloud |
US20180232947A1 (en) * | 2017-02-11 | 2018-08-16 | Vayavision, Ltd. | Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types |
Also Published As
Publication number | Publication date |
---|---|
US11157527B2 (en) | 2021-10-26 |
WO2019164668A1 (en) | 2019-08-29 |
CN111742310B (zh) | 2024-03-22 |
CN111742310A (zh) | 2020-10-02 |
US20190258737A1 (en) | 2019-08-22 |
EP3756106A1 (en) | 2020-12-30 |
JP7296976B2 (ja) | 2023-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7296976B2 (ja) | 意味情報を含むクリーンなマップの作成 | |
US11798169B2 (en) | Sensor data segmentation | |
US11714423B2 (en) | Voxel based ground plane estimation and object segmentation | |
US11449073B2 (en) | Shared vehicle obstacle data | |
US11062461B2 (en) | Pose determination from contact points | |
JP2022516288A (ja) | 階層型機械学習ネットワークアーキテクチャ | |
WO2020117870A1 (en) | System and method for modeling physical objects in a simulation | |
KR20210139181A (ko) | 동적 점유 격자를 사용하는 차량 동작 | |
US11479213B1 (en) | Sensor obstruction detection and mitigation | |
US11892835B2 (en) | System and method for controlling an autonomous vehicle | |
US20210287531A1 (en) | Systems and methods for heterogeneous multi-agent multi-modal trajectory prediction with evolving interaction graphs | |
US20230311930A1 (en) | Capturing and simulating radar data for autonomous driving systems | |
JP2022541343A (ja) | 自律車両に遠隔操作命令を提供するためのシステム及び方法 | |
US20210026350A1 (en) | System and method for providing a teleoperation instruction to an autonomous vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220128 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220128 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221101 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230201 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230516 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230613 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7296976 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |