JP2023504028A - マップデータの更新 - Google Patents
マップデータの更新 Download PDFInfo
- Publication number
- JP2023504028A JP2023504028A JP2022530858A JP2022530858A JP2023504028A JP 2023504028 A JP2023504028 A JP 2023504028A JP 2022530858 A JP2022530858 A JP 2022530858A JP 2022530858 A JP2022530858 A JP 2022530858A JP 2023504028 A JP2023504028 A JP 2023504028A
- Authority
- JP
- Japan
- Prior art keywords
- map data
- image
- traffic
- proposed
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 55
- 230000009471 action Effects 0.000 claims description 6
- 238000012790 confirmation Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 description 23
- 230000008447 perception Effects 0.000 description 23
- 230000008569 process Effects 0.000 description 21
- 230000001953 sensory effect Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 3
- 238000012552 review Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 241000237519 Bivalvia Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 235000020639 clam Nutrition 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3807—Creation or updating of map data characterised by the type of data
- G01C21/3811—Point data, e.g. Point of Interest [POI]
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3667—Display of a road map
- G01C21/367—Details, e.g. road map scale, orientation, zooming, illumination, level of detail, scrolling of road map or positioning of current position marker
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3833—Creation or updating of map data characterised by the source of data
- G01C21/3848—Data obtained from both position sensors and additional sensors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3833—Creation or updating of map data characterised by the source of data
- G01C21/3856—Data obtained from user input
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Navigation (AREA)
- Instructional Devices (AREA)
Abstract
マップデータを更新するための技術が開示される。本技術は、第1の画像において交通信号を検出することと、第1の画像において検出された交通信号に少なくとも部分的に基づいて、マップデータに関連付けられた3次元座標システムにおける交通信号の提案された3次元位置を決定することとを含み得る。次いで、提案された3次元位置を第2の画像に投影して、第2の画像における交通信号の2次元位置を決定し得、第2の画像は、注釈付き画像として、交通信号に関連付けられた提案された交通信号位置インジケータを用いて注釈を付けられ得る。本技術は、ディスプレイに注釈付き画像をユーザに表示させることと、注釈付き画像に関連付けられたユーザ入力を受信することと、ユーザ入力に少なくとも部分的に基づいて、交通信号の位置をマップデータ内に含めるようにマップデータを更新マップデータとして更新することと、をさらに含む。
Description
本発明は、マップデータの更新に関する。
[関連出願の相互参照]
本PCT国際出願は、2019年11月27日に出願された米国特許出願第16/698,366号の優先権の利益を主張し、この開示は参照により本明細書に組み込まれる。
本PCT国際出願は、2019年11月27日に出願された米国特許出願第16/698,366号の優先権の利益を主張し、この開示は参照により本明細書に組み込まれる。
データを環境内でキャプチャして、環境のマップとして表すことができる。多くの場合、そのようなマップを、環境内をナビゲートする車両によって使用できるが、マップを様々な目的のために使用できる。いくつかのケースでは、マップが環境を正確に反映しないように環境が変化し得、これは、マップデータを使用に適さなくし得る。環境の変化を反映するためにマップデータを更新することは困難または費用かかり得る。
詳細な説明は添付の図面を参照して説明される。図面において、参照番号の最も左の桁は参照番号が最初に現れる図面を識別する。異なる図面における同じ参照番号は類似または同一の項目を示す。
[詳細な説明]
本開示は、例えば、環境内でナビゲートする自律車両によって使用されるマップデータを更新するためのシステムおよび技術を対象とする。例えば、本開示によるシステムおよび技術は、現在のマップデータを利用して車両によって取得された画像データに基づいて環境のマップデータを更新することを可能にし得る。
本開示は、例えば、環境内でナビゲートする自律車両によって使用されるマップデータを更新するためのシステムおよび技術を対象とする。例えば、本開示によるシステムおよび技術は、現在のマップデータを利用して車両によって取得された画像データに基づいて環境のマップデータを更新することを可能にし得る。
現在のマップデータを利用して車両によって取得された画像データは、(1)画像データ内で検出されたオブジェクトがマップデータ内のオブジェクトに対応しない、(2)マップデータ内のオブジェクトが画像データ内で検出されない、または(3)画像データ内のオブジェクトがマップデータ内のオブジェクトに対応するように現れるが、異なる位置を有する(例えば、交通信号アセンブリ上で移動または再配置された交通信号)場合、例えば、車両の搭載コンピュータによってフラグを立てられ得る。フラグが立てられた画像データは、中央制御システムの一部であり得るマップ更新システムに提供され得、これは、画像データを分析し、システムオペレータ(例えば、レビューするユーザ)に提供され得るマップデータに対する提案された変更を生成するように動作し得る。
いくつかの例では、マップ更新システムの知覚コンポーネントは、画像データ中のオブジェクトを検出し得る。検出されたオブジェクトは、複数の画像フレーム(例えば、ビデオの複数のフレームまたは複数の静止画像フレーム)にわたってトラッキングされ得る。トラッキングに基づいて、マップデータの座標システムにおけるオブジェクトについての提案された位置(本明細書では候補位置または初期位置とも呼ばれる)が生成され得る。知覚システムはまた、検出されたオブジェクトを(例えば、道路標識、交通信号などとして)分類し得る。マップ更新システムのマップコンポーネントは、マップデータが提案された位置において決定された分類のオブジェクトを含むか否かを決定するように構成され得る。
検出されたオブジェクトがマップデータ内に現れない、または移動したマップデータ内のオブジェクトに対応するケースにおいて(例えば、分類の新しいオブジェクトが検出された、および同じ分類の以前にマッピングされたオブジェクトが欠落している)、マップ更新システムの投影コンポーネントは、提案された位置インジケータを、検出されたオブジェクトのビューを含む画像フレーム内に投影し得る。いくつかの例では、投影コンポーネントは、検出されたオブジェクトの提案された位置の3次元座標に対応する各画像の2次元画像の空間内の位置において、提案された位置インジケータおよび対応する識別子を複数の画像へ投影すること、を実行し得る。
同様に、マップデータが画像データに現れないオブジェクトを含むケースにおいて、マップ更新システムの投影コンポーネントは、位置インジケータを画像フレームに投影して、欠落しているオブジェクトの以前の位置を示し得る。
位置インジケータを含む画像フレームは、レビューするユーザに表示され得る。レビューするユーザは、位置インジケータに関するフィードバックを提供し得る。例えば、レビューするユーザは、提案された位置を承認または拒否し得る。次いで、マップコンポーネントは、承認され提案された位置について、マップデータにオブジェクトを追加し得る。加えて、レビューするユーザは、提案された位置が拒否されたオブジェクトについて、追加の提案された位置を要求し得る(例えば、追加の画像データに基づいて)。いくつかの実施形態では、マップ更新システムがその一部であり得る中央制御システムは、1つまたは複数の自律車両に、関心のあるオブジェクトの位置まで走行して追加の画像データをキャプチャするように命令し得る。以前の位置インジケータのケースでは、レビューするユーザは、マップデータ内のオブジェクトが以前の位置にもはや存在しないことを確認するフィードバックを提供し得る。
本明細書で説明されるマップ更新技術は、低減された困難性およびコストで自律車両を制御するために後続の動作を実行するための環境の変化を反映する更新されたマップデータを提供することによって、自律車両システムなどのコンピューティングデバイスの機能を改善できる。例えば、更新されたマップデータは、より少ない手動介入および/または中断を必要としながら、位置推定、知覚(例えば、検出、識別、セグメント化、分類、トラッキングなど)、ルート計画、軌道生成などの後続のプロセスがより正確に実行されることを可能にできる。例えば、いくつかの例では、自律車両の軌道をより迅速に生成する際に、より高速および/またはより正確なマップ更新を使用でき、環境の変化に対処するために手動オーバーライドが必要とされ得る混乱およびより短いウィンドウを低減し、自律車両の乗員の安全性を向上できる(例えば、マップデータが不正確である、または古いマップデータを変化した環境に不正確に適用することに基づいて自律車両が不適切な動作を実行し得る、ウィンドウを低減することによって)。コンピュータの機能に対するこれらおよび他の改善について、本明細書で説明する。
[例示的なアーキテクチャ]
図1は、環境内のオブジェクトを検出し、それに基づいてマップデータを更新する例示的な自律車両システム100を示す。いくつかの例では、自律車両102は、米国国道交通安全局(National Highway Traffic Safety Administration)によって発行されたレベル5分類に従って動作するように構成された自律車両であり得、これは、運転者(または乗員)の常時車両制御を期待せず、走行全体にわたってすべての安全上重要な機能を実行可能な車両を記載している。しかし、他の例では、自律車両102は、任意の他のレベルまたは分類を有する完全にまたは部分的に自律車両であり得る。さらに、いくつかの例では、本明細書で説明される誘導隔離技術(the guidance isolation techniques)は、非自律車両によっても使用可能であり得る。本明細書で説明される技術は、自律車両などのためのロボット制御以上のものに適用され得ることが企図される。例えば、本明細書で説明される技術は、ビデオゲーム、製造、拡張現実などに適用され得る。
図1は、環境内のオブジェクトを検出し、それに基づいてマップデータを更新する例示的な自律車両システム100を示す。いくつかの例では、自律車両102は、米国国道交通安全局(National Highway Traffic Safety Administration)によって発行されたレベル5分類に従って動作するように構成された自律車両であり得、これは、運転者(または乗員)の常時車両制御を期待せず、走行全体にわたってすべての安全上重要な機能を実行可能な車両を記載している。しかし、他の例では、自律車両102は、任意の他のレベルまたは分類を有する完全にまたは部分的に自律車両であり得る。さらに、いくつかの例では、本明細書で説明される誘導隔離技術(the guidance isolation techniques)は、非自律車両によっても使用可能であり得る。本明細書で説明される技術は、自律車両などのためのロボット制御以上のものに適用され得ることが企図される。例えば、本明細書で説明される技術は、ビデオゲーム、製造、拡張現実などに適用され得る。
本明細書で説明される技術によれば、自律車両102は、自律車両102のセンサ104からセンサデータを受信し得る。例えば、センサデータは、位置信号(例えば、GPS信号)、慣性信号(例えば、加速度計信号、ジャイロスコープ信号など)、磁力計信号、ホイールエンコーダ信号、速度計信号、蓄積されたLIDARおよび/またはRADARポイントのポイントクラウド、画像(または複数の画像)、音声信号、および/または肥満(bariatric)または他の環境信号などを含み得る。例えば、自律車両102は、センサ104から画像106(1)乃至106(M)(集合的に「画像106」)を受信し得、ここで、Mは1より大きい任意の整数である。本明細書の説明は、簡単にするために、主に画像について説明するが、本技術は、オブジェクトを離散的に表す能力を有する任意のセンサデータ(例えば、オブジェクトを表すポイントを含むポイントクラウド)に適用され得ることが企図される。
いくつかの例では、自律車両は、位置推定コンポーネント110、知覚コンポーネント112、計画コンポーネント114、マップコンポーネント116、および/または制御システムインターフェース118を含み得るコンピューティングデバイス108を含み得る。
少なくとも1つの例では、位置推定コンポーネント110は、車両102の位置を決定するためにセンサシステム104からデータ(本明細書では位置推定データとも呼ばれる)を受信する機能を含むことができる。例えば、位置推定コンポーネント110は、環境のマップを含む、および/または要求/受信でき(例えば、マップコンポーネント116から)、マップ内の自律車両の位置を連続的に決定できる(例えば、グローバルマップおよび/またはローカルマップ上の自律車両102の位置を推定する)。いくつかの例では、位置推定コンポーネント110は、SLAM(同時位置推定およびマッピング)またはCLAMS(同時較正、位置推定およびマッピング)を利用して、画像データ、LIDARデータ、radarデータ、IMUデータ、GPSデータ、ホイールエンコーダデータなどを受信して、自律車両の位置を正確に決定できる。いくつかの例では、位置推定コンポーネント110は、本明細書で説明されるように、候補軌道を生成するための自律車両の初期位置を決定するために、車両102の様々なコンポーネントに位置推定データを提供できる。
知覚コンポーネント112は、自律車両102の環境から収集されたセンサデータからオブジェクトを検出、識別、セグメント化、分類、および/またはトラッキングするための1つまたは複数のMLモデルおよび/または他のコンピュータ実行可能命令を含み得る。いくつかの例では、知覚コンポーネント112は、自律車両102のセンサ104からセンサデータおよび位置推定コンポーネントから位置推定データを受信すること、センサデータから知覚データを決定し、1つまたは複数の軌道を決定する、および/または経路またはルートを横断するように、自律車両102の動きを制御するために、計画コンポーネント114による使用のために、計画コンポーネント114に知覚データを送信し得るが、任意のそのような動作は、様々な他のコンポーネントにおいて実行され得る。いくつかの事例では、知覚データは、画像内で検出されたオブジェクトに関連付けられた関心領域(「ROI」)および/またはトラッキングを含み得る。計画コンポーネント114は、ROIおよび/またはトラッキングに少なくとも部分的に基づいて、自律車両102の動作を制御するための命令を決定し得る。
例えば、知覚コンポーネント112は、環境内のオブジェクトを検出し、オブジェクト(例えば、「交通信号」、「四輪車両」、「セミトラック」、「歩行者」、「動物」、「建設車両」)を分類し得る。図示された例では、自律車両102は、2つの交通信号の表現を含む画像106(1)を含む画像106を受信し得る。知覚コンポーネント112は、ROI122(1)および122(2)を生成し得、各々は、画像106(1)に表されるそれぞれの交通信号に対応する。図示された例では、ROI122は境界ボックスとして表されているが、ROIを識別するための他の技術が企図される。
いくつかの例では、知覚コンポーネント112はまた、ROI122に対応する交通信号などのオブジェクトをトラッキングし得る。いくつかの例では、トラッキングは、2つの異なる画像において検出されたオブジェクト間の関連付けを含み得る。したがって、トラッキングは、知覚コンポーネント112が2つのオブジェクトの検出を同じオブジェクトに対応するものとして識別していることを示し得る。いくつかの例では、トラッキングは、追加または代替として、現在の、予測された、および/または過去の位置、進行方向、速度、加速度、距離、ROI、および/またはオブジェクトの中心を含み得る。いくつかの例では、これらの特性のいずれかは、実世界値(例えば、メートル毎秒、キロメートル毎時の実世界におけるオブジェクトの速度、画像をキャプチャしたセンサに対する進行方向)および/または画像関連特性(例えば、ピクセル毎秒の画像にわたるオブジェクトの表現の動きに関連付けられた速度)、画像内のオブジェクトの表現の動きの角度を識別する進行方向)であり得る。当然、オブジェクトのトラッキング情報は、任意のデータ構造および/またはフォーマットを含み得る。
いくつかの例では、位置推定コンポーネント110は、自律車両102の位置を決定し得る(例えば、自律車両102を位置推定するために任意のセンサデータを使用して)。知覚コンポーネント112は、自律車両102の近傍のオブジェクトに関連するデータ、車両の目的地を指定するルートデータ、道路の特性(例えば、自律車両を位置推定するために有用な異なるセンサモダリティにおいて検出可能な特徴)を識別するグローバルマップデータ、車両に近接して検出された特性(例えば、建物、木、フェンス、消火栓、停止標識、および様々なセンサモダリティにおいて検出可能な任意の他の特徴の場所および/または寸法)を識別するローカルマップデータなどを決定し得る。知覚コンポーネント112によって生成されたデータは、集合的に「知覚データ」と呼ばれ得る。いくつかの例では、マップデータは、マップコンポーネント116によって取り出され、提供され得る。より詳細には、自律車両102の位置に基づいて、マップコンポーネント116は、画像からオブジェクトを検出および分類する際に知覚コンポーネント112によって使用するためのローカルマップデータおよびグローバルマップデータを、メモリまたはネットワークからロードする、またはそうでなければ取り出し得る。知覚コンポーネント112が画像からオブジェクトを識別および/またはセグメント化し、および/または他の知覚データを決定すると、知覚は、オブジェクトの検出および/またはインスタンスセグメンテーションを含む、知覚データを計画コンポーネント114に提供し得る。
いくつかの例では、計画コンポーネント114は、自律車両102の動作を制御するための命令を生成するために、ROI、トラッキング、および/またはセグメンテーション(以下でさらに説明される)を含む知覚データを使用し得る。例えば、計画コンポーネント114は、第1の位置から第2の位置への自律車両102のルートを決定し、receding horizon技術(例えば、1マイクロ秒、1/2秒、2秒、8秒など)に従って、ROI、トラッキング、および/またはセグメンテーションに少なくとも部分的に基づいて、自律車両102の動きを制御するための複数の潜在的な軌道を実質的に同時に生成して、ルートを横断するように車両を制御し、自律車両102の駆動コンポーネントに送信され得る駆動制御信号を生成するために使用され得る自律車両102の軌道として、潜在的な軌道の1つを選択し得る。
加えて、知覚コンポーネント112は、(1)画像データ内で検出されたオブジェクトがマップデータ内のオブジェクトに対応しない、(2)マップデータ内のオブジェクトが画像データ内で検出されない、または(3)画像データ内のオブジェクトがマップデータ内のオブジェクトに対応するように見えるが、異なる位置を有する(例えば、交通信号アセンブリ上で移動または再配置された交通信号)、を決定し得る。そうである場合、知覚コンポーネント112は、複数の画像フレーム内の検出されたオブジェクトにフラグを立て、制御システムインターフェース118に、フラグが立てられたオブジェクトの画像を1つまたは複数のネットワーク120を介してマップ更新システム130に送信させ得る。
上述したように、および本開示全体にわたって説明するように、車両102は、1つまたは複数のネットワーク120を介して、画像データを1つまたは複数のコンピューティングデバイス124に送信できる。いくつかの例では、車両102は、生センサデータ(例えば、メタデータまたは検出されたオブジェクトの識別を伴わない画像または他の生センサデータ)をコンピューティングデバイス124に送信できる。他の例では、コンピューティングデバイス124は、処理されたセンサデータおよび/またはセンサデータの表現(例えば、その存在が画像にフラグを立てさせた検出されたオブジェクトを識別するメタデータまたは他の追加データを伴う、例えば、処理された画像または他の処理されたセンサデータ)をコンピューティングデバイス124に送信できる。いくつかのケースでは、車両102は、センサデータ(生または処理済み)を1つまたは複数のログファイルとしてコンピューティングデバイス124に送信できる。理解を容易にするために、以下の説明では、センサデータを画像データと呼び得る。しかし、実施形態はそのように限定されず、上記で説明したような他のセンサデータが、画像データに加えてまたは代わりに利用され得る。
少なくともいくつかの例では、車両102は、そのような交通オブジェクトを検出し、および/またはそのような検出された情報とマップデータに含まれる情報との間の不一致を特徴的に決定し得る。そのような不一致の検出は、確認および/または検証のためにそのようなデータをコンピューティングデバイス124に送信するためのトリガとして使用され得る。少なくともいくつかのそのような例では、車両102は、環境を通る軌道を計画し続けるために、不一致(安全停止に至るなどの)に基づいて、ならび/またはそのような検出の寄与を上および/もしくは下に重み付けすることに基づいて、1つまたは複数の操縦を実行し得る。
コンピューティングデバイス124は、画像データを受信し得、画像データに基づいてマップデータを生成および/または更新し得る。少なくとも1つの例では、コンピューティングデバイス124は、1つまたは複数のプロセッサ126と、1つまたは複数のプロセッサ126と通信可能に結合されたメモリ128とを含むことができる。図示された例では、コンピューティングデバイス124のメモリ128は、知覚および位置推定コンポーネント132(以下、知覚コンポーネント132)、マップコンポーネント134、投影コンポーネント136、およびユーザインターフェースコンポーネント138の機能を含むまたは利用し得るマップ更新システム130を格納する。少なくとも1つの例において、コンピューティングデバイス124は、複数の自律車両102の動作を管理する自律車両制御システムまたはその一部であり得る。
上述したように、マップ更新システム130は、ネットワーク120を介して画像データを受信し得る。マップ更新システム130は、受信した画像データに基づいてマップを更新するように構成され得る。
いくつかの例では、マップ更新システム130の知覚コンポーネント132は、画像データに知覚処理を実行して、画像データ内のオブジェクトを検出し得る。検出されたオブジェクトは、複数の画像フレーム(例えば、ビデオの複数のフレームまたは複数の静止画像フレーム)にわたってトラッキングされ得る。情報は、マップデータの座標システムにおける位置推定情報(例えば、画像キャプチャセンサの位置)をさらに含み得る、またはそうでなければマップ更新システム130は位置推定情報を決定し得る。より詳細には、位置推定情報は、環境における車両(または画像キャプチャセンサ)を位置推定し得、様々な技術(例えば、SLAM)を使用して、および潜在的に多くのタイプのセンサデータ(lidar、gps、画像、IMU)を使用して生成され得る。位置推定情報はまた、カメラの姿勢(位置、方向など)を含み得る。
トラッキングおよび位置推定情報に基づいて、マップデータの座標システムにおけるオブジェクトの提案された位置が生成され得る。例えば、車両位置およびカメラ姿勢に基づいて、画像データ内の各ピクセルに関連付けられたUTM(ユニバーサル横メルカトル)の位置(または緯度および経度などの他の位置)および高さが決定され得る。一連のフレームにわたって、知覚コンポーネント132は、環境内のトラッキングされたオブジェクトの位置を三角測量し、十分な確実性で各フレームのUTMおよび/または高さ情報を決定し得る。換言すれば、いくつかの実施形態では、知覚コンポーネント132は、カメラ原点から画像内の各ピクセルに光線を投影し、経時的に位置を三角測量し得る。いくつかの実施形態では、このプロセスは深度データなしで実行され得る。一連のフレームにわたって決定されたトラッキングされたオブジェクトの中心に関連付けられたUTMおよび/または高さ情報は、提案された位置として利用され得る。
知覚コンポーネント132はまた、検出されたオブジェクトを分類し得る(例えば、道路標識、交通信号などとして)。いくつかの例において、知覚コンポーネント132は、知覚コンポーネント112に関して上述したものと同様の機能および/または同様の方法で実行し得る。
マップ更新システム130のマップコンポーネント134は、画像データがキャプチャされた環境、エリア、または地理的位置について提供されたマップデータを取り出し得る。一例では、画像データがキャプチャされた環境、エリア、または地理的位置は、受信した画像データにメタデータとして提供され得、またはそうでなければ画像データをキャプチャするシステムによって提供され得る。
知覚コンポーネント132によって検出されたオブジェクトの位置および/または分類と、画像データがキャプチャされた環境、エリア、または地理的位置について提供されたマップデータとに基づいて、マップ更新システム130の知覚コンポーネント132は、マップデータが提案された位置において決定された分類のオブジェクトを含むか否かを決定し得る。
検出されたオブジェクトがマップデータ内に現れない、または移動したマップデータ内のオブジェクトに対応するケースにおいて、マップ更新システムの投影コンポーネント136は、提案された位置インジケータを、検出されたオブジェクトのビューを含む画像フレーム内に投影し得る。いくつかの例では、投影コンポーネント136は、検出されたオブジェクトの提案された位置の3次元座標に対応する各画像の2次元画像の空間内の位置において、提案された位置インジケータおよび対応する識別子を複数の画像内へオーバーレイすることによって、投影を実行し得る。例えば、トラッキングされたオブジェクトの中心に関連付けられたUTMおよび/または高さ情報は、提案された位置として利用され、UTMおよび高さ情報の3D座標から画像空間内の2D位置に投影される。
本明細書で説明するこの、または任意の他の例では、投影コンポーネント136は、(車両が環境内で正しく位置推定されている限り)任意の車両によってキャプチャされた任意の画像またはビデオ内にインジケータを投影し得る。換言すれば、提案された位置インジケータが投影される画像は、検出および位置決定のために使用される同じ画像、全く異なる画像、またはそれらのいつくかの混合であり得る。さらに、提案された位置インジケータが投影される画像は、検出および位置決定のために使用される画像とは異なる時間にキャプチャされ得る。
同様に、マップデータが画像データに現れないオブジェクトを含むケースにおいて、マップ更新システム130の投影コンポーネント136は、以前の位置インジケータを画像フレームに投影して、欠落しているオブジェクトの以前の位置を示し得る。
ユーザインターフェースコンポーネント138は、位置インジケータを含む画像フレームをレビューするユーザに表示し得る。レビューするユーザは、位置インジケータに関するフィードバックをユーザインターフェースコンポーネント138に提供し得る。例えば、レビューするユーザは、提案された位置を承認または拒否するフィードバックを提供する。以前の位置インジケータのケースにおいて、レビューするユーザは、マップデータ内のオブジェクトが以前の位置にもはや存在しないことを確認または拒否するフィードバックを提供し得る。
フィードバックに基づいて、マップコンポーネント134は、承認された提案された位置についてのマップデータにオブジェクトを追加し得る。オブジェクトが以前の位置にもはや存在しないことをユーザが確認したケースにおいて、マップコンポーネント134は、オブジェクトをマップデータから削除するように構成され得る。提案された位置が拒否される場合、レビューするユーザは、提案された位置が拒否されたオブジェクトについて追加の提案された位置を要求し得る(例えば、追加の画像データに基づいて)。いくつかの実施形態では、マップ更新システム130がその一部であり得る制御システムは、1つまたは複数の自律車両に、追加の画像データをキャプチャするために関心のあるオブジェクトの位置まで移動するように命令し得る。
図1の例示的なシステムは、自律車両によってキャプチャされた画像データに基づいて動作するが、実施形態はそのように限定されず、画像データのソースは様々であり得る。他の変形形態または特徴がいくつかの実施形態に組み込まれ得る。例えば、いくつかの実施形態は、新しい、欠落している、または変更されたオブジェクトに関するキャプチャされたデータと既存のマップデータとの間の差を決定するように構成されたフィルタリング機能を組み込み得る。フィルタリング機能は、差が閾値を上回るかどうかを決定し投影およびレビュープロセスを破棄する、またはそうでなければ、差が閾値を下回る場合、実行し得ない。これは、誤較正されたセンサまたは同様の要因などの問題によって引き起こされる誤検知(false positives)の数を低減し得る。
さらに、本明細書で説明する例は、位置インジケータを画像データに投影することに関するが、実施形態はそのように限定されない。例えば、それに加えてまたはその代わりに、投影コンポーネント136は、他の情報を画像に投影し得る。画像に投影され得るいくつかの他の非限定的なタイプの情報は、検出されたオブジェクトの範囲、寸法および方向、状態などを含み得る。例えば、方向情報は、信号機のヨー、ピッチ、およびロールを含み得る。特定の例では、交通信号のヨーを画像に投影して、交通信号に関連付けられた進入道路または車線を決定する際のレビューするユーザを支援し得る。
図2A乃至図2Cは、異なる時間にキャプチャされた交差点の一連の画像200、220、および240と、知覚コンポーネント132による一連の画像に対する例示的な検出およびトラッキングを示す。より詳細には、図2Aは、第1の時間にキャプチャされた交差点の画像200(画像フレームまたはフレームとも呼ばれる)を示し、図2Bは、第2の時間にキャプチャされた交差点の画像220を示し、図2Cは、第3の時間にキャプチャされた交差点の画像240を示す。
図示および説明を容易にするために、図中のオブジェクトの検出およびトラッキングは、交通信号に限定される。実施形態は交通信号に限定されず、マップデータに含まれる任意の他のオブジェクトが同様のプロセスで検出およびトラッキングされ得る。例えば、マップデータに含まれ得る他のオブジェクトは、他の標識および道路特徴を含み得る。より詳細には、そのようなオブジェクトは、横断歩道の信号(歩行および/またはハンドインジケータ)、速度制限標識、一時停止標識、譲歩標識、街路名表示板、一方通行道路標識、方向転換ポリシー標識(例えば、赤信号ではない、Uターンではない、進入および逆走ではない、左折ではないなど)などの標識および信号を含み得る。マップデータに含まれ得る道路特徴は、横断歩道、停止線、レーンマーキングなどのペイントされたマーキングを含み得る。同様に、そのような検出は、より一般的には、交通制御に使用される環境内のオブジェクトの特性を含み得る。非限定的な例として、そのような特性は、交通信号のサイズ、範囲、方向(ヨー角など)、または状態(赤、黄、緑など)などを含み得るが、これらに限定されない。
さらに、3つの画像フレームが図2A乃至2Cに示される例に示されているが、より多くのまたはより少ない画像フレームが利用され得、以下の説明では、過剰な混乱を回避するために図示されていない追加のフレームがフレーム200と220と、および220と240と、の間で処理されると仮定する。しかし、実施形態は任意の数のフレームを利用し得る。
図2Aにおいて、知覚コンポーネント132は、画像200に対して検出およびトラッキング処理を実行し得る。知覚コンポーネント132は、対応する関心領域(ROI)内の交通信号に対応する3つのオブジェクト、トラッキングされたオブジェクト1 202、トラッキングされたオブジェクト2 204、およびトラッキングされたオブジェクト3 206を検出し得る。各検出されたオブジェクトは、本明細書で説明されるように、分類および/またはオブジェクトトラッキングに関連付けられ得る。
図2Bにおいて、知覚コンポーネント132は、画像220に対して検出およびトラッキング処理を実行し得る。図2Aと同様に、知覚コンポーネント132は、最も左および最も右の交通信号をトラッキングされたオブジェクト1 202およびトラッキングされたオブジェクト3 206として検出およびトラッキングし得る。しかし、様々な理由のいずれかに起因して、知覚コンポーネント132は、中央の交通信号を検出するが、トラッキングされたオブジェクト2 204のトラッキングに割り当てないことがある。例えば、中央の交通信号は、画像フレーム200と220との間の1つまたは複数の画像フレームにおいて検出されていない可能性があり、トラッキングの損失をもたらす、または図2Bにおいて検出された位置が、知覚コンポーネント132が新しいトラッキングを開始する図2Aにおいて検出された位置と十分に異なる可能性がある。より詳細には、中央の交通信号は、新しいオブジェクトとして検出され、トラッキングされたオブジェクト4 208として新しいトラッキングを割り当てられ得る。
図2Cでは、知覚コンポーネント132は、画像240に対して検出およびトラッキング処理を実行し得る。特に、知覚コンポーネント132は、図2Bからの各交通信号のトラッキングを、それぞれトラッキングされたオブジェクト1 202、トラッキングされたオブジェクト4 208、およびトラッキングされたオブジェクト3 206として検出および維持し得る。
画像200、220、および240の各々がキャプチャされたときの検出およびトラッキングならびにカメラの位置に基づいて、知覚コンポーネントは、各トラッキングされたオブジェクト202乃至208の位置を推定し得る(例えば、画像200、220、および240の各々をキャプチャしたときのカメラの位置、ならびにトラッキングされたオブジェクト202乃至208のカメラに対する相対的な位置に基づいて)。カメラが各画像をキャプチャしたときのマップデータの座標システムにおけるカメラの位置は、メタデータとして画像に含まれ得、またはマップ更新システム130が位置情報を決定し得る。知覚コンポーネント132はまた、検出されたオブジェクトを(例えば、道路標識、交通信号などとして)分類し得る。オブジェクト位置および分類を決定するための技術およびシステムのさらなる説明は、「Pose Determination From Contact Points」と題された米国特許出願第15/814,870号に提供されており、その全体は、参照することによって本明細書に組み込まれる。
マップ更新システム130のマップコンポーネント134は、画像データがキャプチャされた環境、エリア、または地理的位置に提供されたマップデータを取り出し得る。一例では、画像データがキャプチャされた環境、エリア、または地理的な位置は、受信された画像データへのメタデータとして提供、またはそうでなければ画像データを取り込むシステムによって提供され得る。
知覚コンポーネント132によって検出されたトラッキングされたオブジェクト202乃至208の位置および/または分類と、マップコンポーネント134によって提供されたマップデータとに基づいて、知覚コンポーネント132は、マップデータが、提案された位置において決定された分類の対応するオブジェクトを含むかどうかを決定し得る。
検出されたオブジェクトがマップデータに現れないケースにおいて、マップ更新システムの投影コンポーネント136は、提案された位置インジケータを、トラッキングされたオブジェクトのビューを含む画像フレームに投影し得る。上述したように、投影コンポーネント136は、検出されたオブジェクトの提案された位置の3次元座標に対応する各画像の2次元画像の空間内の位置において、提案された位置インジケータおよび対応する識別子を複数の画像内へオーバーレイすることによって、投影を実行し得る。より一般的には、そのような検出された交通特性は、ディスプレイ上に提示されるべきグラフィック要素に関連付けられ得る。例えば、非限定的な例として、交通信号のヨー表示は矢印インジケータとして提示され得、範囲は境界ボックスとして提示され得、交通信号の状態は色(例えば、赤、緑、黄)などに関連付けられ得る。3次元空間における位置に対応する画像空間内の位置にインジケータまたは他の情報を投影するための技術およびシステムのさらなる説明は、「Pose Determination From Contact Points」と題された米国特許出願第15/814,870号に提供されており、その全体は参照によって本明細書に組み込まれる。
図3A乃至図3Cは、図2A乃至図2Cからの一連の画像フレームを、知覚コンポーネント132によって検出およびトラッキングされたトラッキングされたオブジェクトに対する例示的な提案された位置インジケータ(対応する識別子を有する)とともに示す。そのような画像フレームは、ユーザインターフェースコンポーネント138によってレビューするユーザに表示され得、レビューするユーザはそれに基づいてフィードバック(例えば、示された提案された位置を承認、拒否、および/または修正する)を提供し得る。さらに、図3A乃至3Cに示す例では3つの画像フレームが示されているが、より多くのまたはより少ない画像フレームが利用され得、以下の説明では、余分な混乱を避けるために図示されていない、フレーム300と320と、およびフレーム320と340と、の間で、追加のフレームが処理されてユーザに表示され得ると仮定する。しかし、実施形態は1よりも大きい任意の数のフレームを利用し得る。
より詳細には、画像300のビューにおいて、トラッキングされたオブジェクト1 202に対応する提案されたオブジェクト位置1 302は、識別子「6」と、左端の交通信号の中心上の「x」によって示される提案された位置と、を有するものとして示されている。トラッキングされたオブジェクト2 204に対応する提案されたオブジェクト位置2 304は、識別子「4」と、中央の交通信号の中心上の「x」によって示される提案された位置と、を有するものとして示されている。トラッキングされたオブジェクト3 206に対応する提案されたオブジェクト位置3 306は、「5」という識別子と、右端の交通信号の中心上の「x」によって示される提案された位置と、を有するものとして示されている。トラッキングされたオブジェクト4 208に対応する提案されたオブジェクト位置4 308は、識別子「10」と、は中央の交通信号の中心の上の第2の「x」によって示される提案された位置とを有するように示されている。
図3Bおよび図3Cは画像220および240に対応する画像320および340を示す。画像320および340の各々はまた、それぞれの画像のビューに投影されるような提案されたオブジェクト位置302乃至308を含む。図示されるように、提案されたオブジェクト位置1 302、3 306、および4 308は、画像300から340の画像ビュー内の交通信号に対するそれらの位置を維持する。提案されたオブジェクト位置302、306、および308に対応するインジケータは、対応する交通信号に対する位置を維持するので、レビューするユーザは、提案された位置が正しいと決定し得る。一方、提案されたオブジェクト位置2 304に対応するインジケータは、画像300から画像320へ、および画像320から画像340へ、中央の交通信号から離れてずれる(drifts)。これは、提案されたオブジェクト位置2 304のための提案された位置が不正確であることを示し、レビューしているユーザがそれを決定し得る。実際に、提案されたオブジェクト位置2 304の提案された位置は、マップデータの座標空間において中央の交通信号の後ろにあり(例えば、交通信号と交通信号の後ろのオーバーパスとの間の位置)、中央の交通信号に対する提案された位置インジケータのずれ(drifting)をもたらす。したがって、レビューするユーザは、提案されたオブジェクト位置2 304を拒否するフィードバックを提供し得る。
図示されていないが、マップデータが画像データに現れないオブジェクトを含むケースにおいて、マップ更新システム130の投影コンポーネント136は、欠落しているオブジェクトの以前の位置を示すために、以前の位置インジケータを画像フレームに投影し得る。画像フレームをレビューする際に、ユーザは、以前の位置インジケータを利用して、オブジェクトが示された位置に依然として位置していることを決定し得る(例えば、インジケータが画像フレーム内の検出されていないオブジェクトに対してその位置を維持している場合、検出は失敗している可能性があり、オブジェクトは依然として存在している可能性がある)。
上述のように、ユーザインターフェースコンポーネント138は、提案されたオブジェクト位置302乃至308を含む画像フレーム300、320、および340をレビューするユーザに表示し得る。レビューするユーザは、位置インジケータに関して上述したようなフィードバックをユーザインターフェースコンポーネント138に提供し得る。例えば、レビューするユーザは、提案された位置を承認または拒否するフィードバックを提供し得る。以前の位置インジケータのケースにおいて、レビューするユーザは、マップデータ内のオブジェクトが以前の位置にもはや存在しないことを確認または拒否するフィードバックを提供し得る。
フィードバックに基づいて、マップコンポーネント134は、承認された提案されたオブジェクト位置についてのマップデータにオブジェクトを追加し得る。ユーザが、オブジェクトが以前の位置にもはや存在しないことを確認した場合、マップコンポーネント134は、マップデータからオブジェクトを削除するように構成され得る。提案されたオブジェクト位置が拒否される場合、レビューするユーザは、その提案された位置が拒否されたオブジェクトのための追加の提案された位置を要求し得る(例えば、追加の画像データに基づいて)。
[例示的なプロセス]
図4は、マップ更新システムによる処理のためにマップデータに現れない環境内のオブジェクトを検出し、トラッキングし、フラグを立てるための例示的なプロセス400を示す。いくつかの例において、プロセス400は、システム100のコンポーネントによって達成され得る。いくつかの例において、例示的なプロセス400は、自律車両102の搭載コンピュータシステムによって実行され得、またはコンピューティングデバイス124の態様によって全体的もしくは部分的に実行され得る。図4は、交通信号および交通信号の特定のコンテキストで説明されているが、いくつかの実施形態は、マップデータ内に表される環境内の任意のタイプのオブジェクトに関して同様の動作を実行し得る。
図4は、マップ更新システムによる処理のためにマップデータに現れない環境内のオブジェクトを検出し、トラッキングし、フラグを立てるための例示的なプロセス400を示す。いくつかの例において、プロセス400は、システム100のコンポーネントによって達成され得る。いくつかの例において、例示的なプロセス400は、自律車両102の搭載コンピュータシステムによって実行され得、またはコンピューティングデバイス124の態様によって全体的もしくは部分的に実行され得る。図4は、交通信号および交通信号の特定のコンテキストで説明されているが、いくつかの実施形態は、マップデータ内に表される環境内の任意のタイプのオブジェクトに関して同様の動作を実行し得る。
動作402において、自律車両(またはセンサデータをキャプチャする任意の車両またはシステム)のセンサは、自律車両の動作中に画像をキャプチャし得る。動作404において、自律車両に搭載されたコンピューティングデバイスは、キャプチャされた画像に対してオブジェクトの検出および分類を実行し得る。画像内の検出および分類されたオブジェクトは、次いで、406において、マップデータ内のオブジェクトと比較され得る。
動作408において、搭載コンピューティングデバイスは、任意の検出されたオブジェクトが交通信号として分類され、マップデータ内に含まれていない、または異なって位置しているかどうかを決定し得る。そうである場合、プロセスは410に進み得る。そうでない場合、プロセスは動作414に進み、終了し得る。
動作410において、搭載コンピューティングデバイスは、メタデータまたは他のデータにおいて、交通信号として分類され、マップデータ内に含まれていない、または異なって位置している検出されたオブジェクトに、フラグを立て得る。次に、412において、搭載コンピューティングデバイスは、フラグが立てられたオブジェクトの複数の画像と、検出されフラグが立てられたオブジェクトに関するメタデータまたは他のデータとをマップ更新システムに送信し得る。
例示的なプロセス400は連続的な動作として示されているが、本明細書で説明する動作は、異なる順序で、同時に、および/または1つもしくは複数のデバイスによって実行され得ることが理解されることに留意されたい。さらに、プロセス400は自律車両上で行われるものとして説明されているが、実施形態はそのように限定されない。例えば、いくつかの実施形態では、マップ更新のためのオブジェクトの検出およびフラグ立ては、上記で説明した動作を実行する搭載センサおよびコンピューティングデバイスシステムを有する手動運転車両によって実行され得る。さらに、いくつかの実施形態では、上記で説明した動作を実行するセンサおよびコンピューティングデバイスは、車両に搭載されなくても、または任意の手段で車両に関連付けられていなくてもよい。さらに、他の実施形態では、すべての画像が、処理およびフラグ立てなしにマップ更新システムにアップロードされ得る。
図5は、環境内のオブジェクト(例えば、交通信号)の検出およびトラッキングに基づいてマップデータを更新するための例示的なプロセス500を示す。いくつかの例において、例示的なプロセス500は、システム100のコンポーネントによって達成され得る。いくつかの例において、プロセス500は、自律車両制御システムのマップ更新システム130によって実行され得る。図5は、交通信号および交通信号の特定のコンテキストにおいて説明されているが、いくつかの実施形態は、マップデータにおいて表される環境内の任意のタイプのオブジェクトに関して同様の動作を実行し得る。
動作502において、マップ更新システムは、検出に関する情報とともに、マップデータに含まれていないかまたは異なる位置にある交通信号として分類されたオブジェクトの複数の画像を含む自律車両に関連付けられたデータを受信し得る。しかし、上述したように、実施形態は自律車両から受信される入力に限定されない。他の実施形態では、入力は、生センサデータ、または、フラグを立てられたもしくは処理された画像データの別のソースであり得る。
504において、マップ更新システムは、オブジェクトの検出、トラッキングおよび分類を実行し得る。次いで、506において、画像内の検出されたオブジェクトは、マップデータ内のオブジェクトと比較され得る。508において、マップ更新システムは、任意の検出されたオブジェクトが、交通信号として分類され、マップデータ内に含まれない、または異なって位置しているかどうかを決定し得る。そうである場合、プロセスは510に進み得る。そうでない場合、プロセスは518に進み、終了し得る。
510において、マップ更新システムは、交通信号として分類され、マップデータ内に含まれないまたは異なって位置している検出されたオブジェクトの提案された位置の3次元座標に対応する2次元画像の空間内の位置において、識別子および位置インジケータを複数の画像内に投影し得る。512において、マップ更新システムは、投影された識別子および位置インジケータを含む複数の画像を、レビューするユーザによるレビューのためにユーザインターフェースに出力または表示し得る。
514において、マップ更新システムは、提案された位置に関するフィードバックを、ユーザインターフェースを介して受信し得る。例えば、受信したフィードバックは、提案された位置の受諾(acceptance)または拒否を示し得る。例えば、検出されたオブジェクトに対する位置インジケータが、複数のフレームにわたって検出されたオブジェクトに「取り付けられた」または上にある場合、および/または異なる距離もしくは角度から撮影された画像に投影された場合、レビューするユーザは提案された位置が正しいと決定し、提案を承認するフィードバックを提供し得る。
516にて、フィードバックに応答して、マップ更新システムは、提案されたオブジェクト位置に基づいてマップデータ内の1つまたは複数のオブジェクトレコードを追加または更新し得る。
例示的なプロセス500は連続的な動作として示されているが、本明細書で説明される動作は、異なる順序で、同時に、および/または1つもしくは複数のデバイスによって実行され得ることが理解されることに留意されたい。さらに、プロセス500は、自律車両から画像データを受信するものとして、または自律車両制御システムの一部として、または自律車両によって使用されるマップデータを更新するものとして、説明されているが、実施形態はそのように限定されない。例えば、いくつかの実施形態では、オブジェクトの検出およびそれに基づくマップデータの更新は、上記で説明した動作を実行する搭載センサおよびコンピューティングデバイスシステムを備えた手動運転車両を使用してキャプチャされた画像を利用し得る。さらに、いくつかの実施形態では、画像データをキャプチャするために使用されるセンサおよびコンピューティングデバイスは、車両に搭載されていなくてもよく、または任意の手段で車両に関連付けられていなくてもよい。
[例示的な発明内容]
A.第1の画像において交通信号を検出することと、前記第1の画像において検出された前記交通信号に少なくとも部分的に基づいて、マップデータに関連付けられた3次元座標システムにおける前記交通信号の提案された3次元位置を決定することと、前記提案された3次元位置を第2の画像に投影して、前記第2の画像における前記交通信号の2次元位置を決定することと、注釈付き画像として、前記交通信号に関連付けられた提案された交通信号位置インジケータを用いて前記第2の画像に注釈を付けることと、ディスプレイに、前記注釈付き画像をユーザに対して表示させることと、前記注釈付き画像に関連付けられたユーザ入力を受信することと、更新されたマップデータとして、前記ユーザ入力に少なくとも部分的に基づいて、前記マップデータに前記交通信号の位置を含めるように前記マップデータを更新することと、を含む方法。
A.第1の画像において交通信号を検出することと、前記第1の画像において検出された前記交通信号に少なくとも部分的に基づいて、マップデータに関連付けられた3次元座標システムにおける前記交通信号の提案された3次元位置を決定することと、前記提案された3次元位置を第2の画像に投影して、前記第2の画像における前記交通信号の2次元位置を決定することと、注釈付き画像として、前記交通信号に関連付けられた提案された交通信号位置インジケータを用いて前記第2の画像に注釈を付けることと、ディスプレイに、前記注釈付き画像をユーザに対して表示させることと、前記注釈付き画像に関連付けられたユーザ入力を受信することと、更新されたマップデータとして、前記ユーザ入力に少なくとも部分的に基づいて、前記マップデータに前記交通信号の位置を含めるように前記マップデータを更新することと、を含む方法。
B.前記第1の画像は自律車両の画像センサに関連付けられており、前記方法は、前記マップデータに対する画像センサの方向に少なくとも部分的に基づいて、前記交通信号の前記提案された3次元位置を決定することと、前記更新されたマップデータを前記自律車両に送信することと、をさらに含む、例Aに記載の方法。
C.第3の画像において前記交通信号を検出することと、前記3次元座標システムにおいて前記交通信号の第2の提案された3次元位置を決定することと、前記第2の提案された3次元位置を前記第2の画像に投影して、前記第2の画像において前記交通信号の第2の2次元位置を決定することと、注釈付き画像として、前記交通信号に関連付けられた第2の提案された交通信号位置インジケータをさらに含むように第2の画像に注釈を付けることであって、前記第2の画像における前記第2の提案された交通信号位置インジケータの位置は、前記交通信号の前記第2の2次元位置に少なくとも部分的に基づいている、ことと、をさらに含む、例Aに記載の方法。
D.前記ユーザ入力を受信することは、前記提案された3次元位置を拒否する第1のユーザ入力を受信することと、前記第2の提案された3次元位置を承認する第2のユーザ入力を受信することと、を含み、前記マップデータを更新することは、前記第2の提案された3次元位置に基づいて、前記交通信号に対応する前記マップデータにマップオブジェクトを追加することと、を含む、例Cに記載の方法。
E.前記第1の画像が、前記第3の画像とは異なるデバイスによってキャプチャされる、例Cに記載の方法。
F.前記第2の画像に注釈を付けることが、前記提案された3次元位置に対応する前記第2の画像の2次元画像の空間において、前記提案された信号機位置インジケータを前記第2の画像にオーバーレイすることを含む、例Aに記載の方法。
G.1つまたは複数のプロセッサと、プロセッサ実行可能命令を格納するメモリと、
を含むシステムであって、前記プロセッサ実行可能命令は、前記1つまたは複数のプロセッサによって実行されると、システムに、第1のセンサデータにおいて交通オブジェクトを検出することであって、前記交通オブジェクトは交通オブジェクト特性に関連付けられている、ことと、マップデータに関連付けられた座標システムにおいて前記交通オブジェクトの提案された特性を決定することと、第2のセンサデータにおいて表示されるべき前記提案された特性の表現を決定することと、前記表現に基づいて、グラフィック要素を前記第2のセンサデータに関連付けることと、ディスプレイに、前記グラフィック要素をユーザに対して表示させることと、ユーザ入力を受信することと、前記ユーザ入力に少なくとも部分的に基づいて、前記マップデータを更新することと、を含む動作を実行させる、システム。
を含むシステムであって、前記プロセッサ実行可能命令は、前記1つまたは複数のプロセッサによって実行されると、システムに、第1のセンサデータにおいて交通オブジェクトを検出することであって、前記交通オブジェクトは交通オブジェクト特性に関連付けられている、ことと、マップデータに関連付けられた座標システムにおいて前記交通オブジェクトの提案された特性を決定することと、第2のセンサデータにおいて表示されるべき前記提案された特性の表現を決定することと、前記表現に基づいて、グラフィック要素を前記第2のセンサデータに関連付けることと、ディスプレイに、前記グラフィック要素をユーザに対して表示させることと、ユーザ入力を受信することと、前記ユーザ入力に少なくとも部分的に基づいて、前記マップデータを更新することと、を含む動作を実行させる、システム。
H.前記交通オブジェクト特性は、交通信号、交通信号方向、交通信号状態、交通標識、車線インジケータ、または横断歩道の1つまたは複数を含む、例Gに記載のシステム。
I.前記ユーザ入力は確認を含み、前記マップデータを更新することは、前記マップデータが前記交通オブジェクトに関連付けられた交通インジケータを含まないことを決定することと、前記提案された特性に少なくとも部分的に基づいて、前記交通オブジェクトを前記マップに関連付けることと、を含む、例Gに記載のシステム。
J.前記動作は、第3のセンサデータにおいて前記交通オブジェクトを検出することと、前記交通オブジェクトの第2の提案された特性を決定することと、前記第2のセンサデータにおいて表示されるべき前記第2の提案された特性の第2の表現を決定することと、前記第2の表現に基づいて、第2のグラフィック要素を前記第2のセンサデータに関連付けることと、前記ディスプレイに、前記第2のグラフィック要素を前記ユーザに対して表示させることと、をさらに含む、例Gに記載のシステム。
K.
前記ユーザ入力を受信することは、前記提案された特性を拒否する第1のユーザ入力を受信することと、前記第2の提案された特性を承認する第2のユーザ入力を受信することと、を含み、前記マップデータを更新することは、前記第2の提案された特性に少なくとも部分的に基づいて、前記交通オブジェクトを含むように前記マップデータを追加または更新することの1つまたは複数を含む、例Jに記載のシステム。
前記ユーザ入力を受信することは、前記提案された特性を拒否する第1のユーザ入力を受信することと、前記第2の提案された特性を承認する第2のユーザ入力を受信することと、を含み、前記マップデータを更新することは、前記第2の提案された特性に少なくとも部分的に基づいて、前記交通オブジェクトを含むように前記マップデータを追加または更新することの1つまたは複数を含む、例Jに記載のシステム。
L.前記第1のセンサデータは第1のデバイスによって取得された第1の画像を含み、前記第2のセンサデータは第2のデバイスによって取得された画像を含む、例Gに記載のシステム。
M.前記第1のセンサデータは第1の画像センサによってキャプチャされた第1の画像を含み、前記第2のセンサデータは第2の画像センサによってキャプチャされた第2の画像を含み、前記交通オブジェクトは交通信号を含み、前記提案された特性は前記マップデータに対する前記交通信号の提案された位置を含み、グラフィカル要素を前記第2のセンサデータに関連付けることは、前記マップデータに対する画像センサの方向と、前記マップデータに対する前記第2の画像センサの第2の方向と、に少なくとも部分的に基づいて、前記提案された位置を前記第2の画像に投影することを含む、例Lに記載のシステム。
N.マップデータを更新することは更新されたマップデータを決定することを含み、
前記第1のセンサデータは自律車両に関連付けられたデバイスによってキャプチャされ、
前記動作は、前記更新されたマップデータを前記自律車両に送信することであって、前記自律車両は前記更新されたマップデータに少なくとも部分的に基づいて環境を横断するように構成されている、ことと、をさらに含む、例Gに記載のシステム。
前記第1のセンサデータは自律車両に関連付けられたデバイスによってキャプチャされ、
前記動作は、前記更新されたマップデータを前記自律車両に送信することであって、前記自律車両は前記更新されたマップデータに少なくとも部分的に基づいて環境を横断するように構成されている、ことと、をさらに含む、例Gに記載のシステム。
O.プロセッサ実行可能命令を格納する1つまたは複数の非一時的コンピュータ可読媒体であって、前記プロセッサ実行可能命令は、1つまたは複数のプロセッサによって実行されると、前記1つまたは複数のプロセッサに、第1のセンサデータにおいて交通オブジェクトを検出することであって、前記交通オブジェクトは交通オブジェクト特性に関連付けられている、ことと、マップデータに関連付けられた座標システムにおいて前記交通オブジェクトの提案された特性を決定することと、第2のセンサデータにおいて表示されるべき前記提案された特性の表現を決定することと、前記表現に基づいて、グラフィック要素を前記第2のセンサデータに関連付けることと、ディスプレイに、前記グラフィック要素をユーザに対して表示させることと、ユーザ入力を受信することと、前記ユーザ入力に少なくとも部分的に基づいて、更新されたマップデータとして、前記マップデータを更新することと、を含む動作を実行させる、1つまたは複数の非一時的コンピュータ可読媒体
P.前記オブジェクトは交通オブジェクトであり、前記ユーザ入力は確認を含み、前記マップデータを更新することは、前記マップデータが前記交通オブジェクトに関連付けられた交通インジケータを含まないことを決定することと、前記提案された特性に少なくとも部分的に基づいて、前記交通オブジェクトを前記マップデータに関連付けることと、を含む、例Oに記載の1つまたは複数の非一時的コンピュータ可読媒体。
Q.前記動作は、第3のセンサデータにおいて前記オブジェクトを検出することと、前記オブジェクトの第2の提案された特性を決定することと、前記第2の画像において表示されるべき前記第2の提案された特性の第2の表現を決定することと、前記第2の表現に基づいて、第2のグラフィック要素を前記第2の画像に関連付けることと、前記ディスプレイに、前記第2のグラフィック要素を前記ユーザに対して表示させることと、をさらに含む、例Oの1つまたは複数の非一時的コンピュータ可読媒体。
R.前記ユーザ入力を受信することは、前記提案された特性を拒否する第1のユーザ入力を受信することと、前記第2の提案された特性を承認する第2のユーザ入力を受信することと、を含み、前記マップデータを更新することは、前記第2の提案された特性に少なくとも部分的に基づいて、前記オブジェクトを含むように前記マップデータを追加または更新することの1つまたは複数を含む、例Qに記載の1つまたは複数の非一時的コンピュータ可読媒体。
S.前記第1のセンサデータは第1のデバイスの第1の画像センサによってキャプチャされた第1の画像を含み、前記第2のセンサデータは第2のデバイスの第2の画像センサによってキャプチャされた第2の画像を含み、前記オブジェクトは交通信号を含み、前記提案された特性は前記マップデータに対する前記交通信号の提案された位置を含み、グラフィカル要素を前記第2のセンサデータに関連付けることは、前記マップデータに対する前記第2の画像センサの方向と、前記マップデータに対する前記第2の画像センサの第2の方向と、に少なくとも部分的に基づいて、前記提案された位置を前記第2の画像に投影することを含む、例Oに記載の1つまたは複数の非一時的コンピュータ可読媒体。
T.前記第1のセンサデータは自律車両に関連付けられたデバイスによってキャプチャされ、前記動作は前記更新されたマップデータを前記自律車両に送信することであって、前記自律車両は前記更新されたマップデータに少なくとも部分的に基づいて環境を横断するように構成されている、ことと、をさらに含む、例15に記載の1つまたは複数の非一時的コンピュータ可読媒体。
上記で説明した例示的な発明内容は、1つの特定の実施形態に関して説明されているが、本明細書のコンテキストにおいて、例示的な発明内容の内容は、方法、デバイス、システム、コンピュータ可読媒体、および/または別の実施形態を介して実装することもできることを理解されたい。加えて、例A乃至Tのいずれも、単独で、または例A乃至Tの任意の他の1つまたは複数と組み合わせて実装され得る。
主題は、構造的特徴および/または方法論的行為に特有の言語で説明されてきたが、添付の特許請求の範囲において定義される主題は、説明される特定の特徴または行為に必ずしも限定されないことを理解されたい。むしろ、特定の特徴および行為は、特許請求の範囲を実装する例示的な形態として開示される。
本明細書で説明されるコンポーネントは、任意のタイプのコンピュータ可読媒体に格納され得る、ソフトウェアおよび/またはハードウェアで実装され得る命令を表す。上記で説明した方法およびプロセスのすべては、1つまたは複数のコンピュータもしくはプロセッサ、ハードウェア、またはそれらのいくつかの組合せによって実行されるソフトウェアコードコンポーネントおよび/またはコンピュータ実行可能命令において具現化され、それらを介して完全に自動化され得る。方法のいくつかまたはすべては、代替的に、専用コンピュータハードウェアにおいて具現化され得る。
特に「し得る(may)」、「できる(could)」、「し得る(may)」または「し得る(might)」などの条件付き言語は、特に明記しない限り、コンテキスト内で、特定の例が特定の特徴、要素および/またはステップを含み、他の例を含まないことを示すと理解される。したがって、そのような条件付き言語は、一般に、特定の特徴、要素および/またはステップが1つまたは複数の例に対して任意の手段で必要とされること、あるいは1つまたは複数の例が、ユーザ入力またはプロンプトを用いてまたは用いずに、特定の特徴、要素および/またはステップが任意の特定の例において含まれるまたは実行されるべきかを決定するための論理を必然的に含むことを暗示することを意図するものではない。
「X、Y、またはZの少なくとも1つ」という句などの接続的言語は、別段に具体的に述べられない限り、項目、用語などが、X、Y、もしくはZのいずれ、または複数の各要素を含むそれらの任意の組合せであり得ることを提示すると理解されるべきである。単数形として明示的に記載されていない限り、「a」は単数形および複数形を意味する。
本明細書に記載されたおよび/または添付の図面に示されたフロー図における任意のルーチンの説明、要素またはブロックは、ルーチンにおいて特定の論理機能または要素を実装するための1つまたは複数のコンピュータ実行可能命令を含むモジュール、セグメント、またはコードの部分を潜在的に表すものとして理解されるべきである。代替の実施形態は、本明細書で説明される例の範囲内に含まれ、要素または機能は、当業者によって理解されるように、関与する機能に応じて、実質的に同期して、逆の順序で、追加の動作を伴って、または動作を省略することを含めて、図示または説明される順序とは異なる順序で削除または実行され得る。
上述の例に対して多くの変形および修正を行い得、その要素は、他の許容可能な例の中にあるものとして理解されるべきである。すべてのそのような修正および変形は、本開示の範囲内で本明細書に含まれ、以下の特許請求の範囲によって保護されることが意図される。
Claims (15)
- 第1のセンサデータにおいて交通オブジェクトを検出することであって、前記交通オブジェクトは交通オブジェクト特性に関連付けられている、ことと、
マップデータに関連付けられた座標システムにおいて前記交通オブジェクトの提案された特性を決定することと、
第2のセンサデータにおいて表示されるべき前記提案された特性の表現を決定することと、
前記表現に基づいて、グラフィック要素を前記第2のセンサデータに関連付けることと、
ディスプレイに、前記グラフィック要素をユーザに対して表示させることと、
ユーザ入力を受信することと、
前記ユーザ入力に少なくとも部分的に基づいて、前記マップデータを更新することと、
を含む方法。 - 前記交通オブジェクト特性は、
交通信号、
交通信号方向、
交通信号状態、
交通標識、
車線インジケータ、または
横断歩道、
の1つまたは複数を含む、請求項1に記載の方法。 - 前記ユーザ入力は確認を含み、
前記マップデータを更新することは、
前記マップデータが前記交通オブジェクトに関連付けられた交通インジケータを含まないことを決定することと、
前記提案された特性に少なくとも部分的に基づいて、前記交通オブジェクトを前記マップデータに関連付けることと、
を含む、請求項1または2に記載の方法。 - 第3のセンサデータにおいて前記交通オブジェクトを検出することと、
前記交通オブジェクトの第2の提案された特性を決定することと、
前記第2のセンサデータにおいて表示されるべき前記第2の提案された特性の第2の表現を決定することと、
前記第2の表現に基づいて、第2のグラフィック要素を前記第2のセンサデータに関連付けることと、
前記ディスプレイに、前記第2のグラフィック要素を前記ユーザに対して表示させることと、
をさらに含む、請求項1または2に記載の方法。 - 前記ユーザ入力を受信することは、
前記提案された特性を拒否する第1のユーザ入力を受信することと、
前記第2の提案された特性を承認する第2のユーザ入力を受信することと、
を含み、
前記マップデータを更新することは、
前記第2の提案された特性に少なくとも部分的に基づいて、前記交通オブジェクトを含むように前記マップデータを追加または更新することの1つまたは複数を含む、
請求項4に記載の方法。 - 前記第1のセンサデータは第1のデバイスによって取得された第1の画像を含み、前記第2のセンサデータは第2のデバイスによって取得された画像を含む、請求項1乃至5のいずれか一項に記載の方法。
- 前記第1のセンサデータは第1の画像センサによってキャプチャされた第1の画像を含み、
前記第2のセンサデータは第2の画像センサによってキャプチャされた第2の画像を含み、
前記交通オブジェクトは交通信号を含み、
前記提案された特性は前記マップデータに対する前記交通信号の提案された位置を含み、
グラフィカル要素を前記第2のセンサデータに関連付けることは、前記マップデータに対する画像センサの方向と、前記マップデータに対する前記第2の画像センサの第2の方向と、に少なくとも部分的に基づいて、前記提案された位置を前記第2の画像に投影することを含む、
請求項6に記載された方法。 - マップデータを更新することは更新されたマップデータを決定することを含み、
前記第1のセンサデータは自律車両に関連付けられたデバイスによってキャプチャされ、
前記方法は、
前記更新されたマップデータを前記自律車両に送信することであって、前記自律車両は前記更新されたマップデータに少なくとも部分的に基づいて環境を横断するように構成されている、ことと、
をさらに含む、請求項1乃至7のいずれか一項に記載の方法。 - 1つまたは複数のプロセッサによって実行されると、1つまたは複数のコンピューティングデバイスに請求項1乃至8のいずれか一項に記載の方法を実行させる命令を格納した1つまたは複数の非一時的コンピュータ可読媒体。
- 1つまたは複数のプロセッサと、
1つまたは複数のプロセッサによって実行可能な命令を格納した1つまたは複数のコンピュータ可読媒体と、を含むシステムであって、前記命令は実行されると、前記1つまたは複数のプロセッサに、
第1のセンサデータにおいて交通オブジェクトを検出することであって、前記交通オブジェクトは交通オブジェクト特性に関連付けられている、ことと、
マップデータに関連付けられた座標システムにおいて前記交通オブジェクトの提案された特性を決定することと、
第2のセンサデータにおいて表示されるべき前記提案された特性の表現を決定することと、
前記表現に基づいて、グラフィック要素を前記第2のセンサデータに関連付けることと、
ディスプレイに、前記グラフィック要素をユーザに対して表示させることと、
ユーザ入力を受信することと、
前記ユーザ入力に少なくとも部分的に基づいて、更新されたマップデータとして、前記マップデータを更新することと、
を含む動作を実行させる、システム。 - 前記ユーザ入力は確認を含み、
前記マップデータを更新することは、
前記マップデータが前記交通オブジェクトに関連付けられた交通インジケータを含まないことを決定することと、
前記提案された特性に少なくとも部分的に基づいて、前記交通オブジェクトを前記マップデータに関連付けることと、
を含む、請求項10に記載のシステム。 - 前記動作は、
第3のセンサデータにおいて前記交通オブジェクトを検出することと、
前記交通オブジェクトの第2の提案された特性を決定することと、
第2の画像において表示されるべき前記第2の提案された特性の第2の表現を決定することと、
前記第2の表現に基づいて、第2のグラフィック要素を前記第2の画像に関連付けることと、
前記ディスプレイに、前記第2のグラフィック要素を前記ユーザに対して表示させることと、
をさらに含む、請求項10に記載のシステム。 - 前記ユーザ入力を受信することは、
前記提案された特性を拒否する第1のユーザ入力を受信することと、
前記第2の提案された特性を承認する第2のユーザ入力を受信することと、
を含み、
前記マップデータを更新することは、
前記第2の提案された特性に少なくとも部分的に基づいて、前記交通オブジェクトを含むように前記マップデータを追加または更新することの1つまたは複数を含む、
請求項12に記載のシステム。 - 前記第1のセンサデータは第1のデバイスの第1の画像センサによってキャプチャされた第1の画像を含み、
前記第2のセンサデータは第2のデバイスの第2の画像センサによってキャプチャされた第2の画像を含み、
前記交通オブジェクトは交通信号を含み、
前記提案された特性は前記マップデータに対する前記交通信号の提案された位置を含み、
グラフィカル要素を前記第2のセンサデータに関連付けることは、前記マップデータに対する前記第2の画像センサの方向と、前記マップデータに対する前記第2の画像センサの第2の方向と、に少なくとも部分的に基づいて、前記提案された位置を前記第2の画像に投影することを含む、
請求項11乃至13のいずれか一項に記載のシステム。 - 前記第1のセンサデータは自律車両に関連付けられたデバイスによってキャプチャされ、
前記動作は前記更新されたマップデータを前記自律車両に送信することであって、前記自律車両は前記更新されたマップデータに少なくとも部分的に基づいて環境を横断するように構成されている、ことと、をさらに含む、
請求項11乃至14のいずれか一項に記載のシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/698,366 US11280630B2 (en) | 2019-11-27 | 2019-11-27 | Updating map data |
US16/698,366 | 2019-11-27 | ||
PCT/US2020/061768 WO2021108299A1 (en) | 2019-11-27 | 2020-11-23 | Updating map data |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023504028A true JP2023504028A (ja) | 2023-02-01 |
Family
ID=75973838
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022530858A Pending JP2023504028A (ja) | 2019-11-27 | 2020-11-23 | マップデータの更新 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11280630B2 (ja) |
EP (1) | EP4066158A4 (ja) |
JP (1) | JP2023504028A (ja) |
CN (1) | CN114729803A (ja) |
WO (1) | WO2021108299A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11640677B2 (en) * | 2019-10-15 | 2023-05-02 | Alarm.Com Incorporated | Navigation using selected visual landmarks |
US11605290B2 (en) * | 2020-01-28 | 2023-03-14 | GM Cruise Holdings LLC. | Updating maps based on traffic object detection |
US11410433B2 (en) * | 2020-03-31 | 2022-08-09 | Robert Bosch Gbmh | Semantically-consistent augmented training data for traffic light detection |
US11408750B2 (en) * | 2020-06-29 | 2022-08-09 | Toyota Research Institute, Inc. | Prioritizing collecting of information for a map |
US11527156B2 (en) * | 2020-08-03 | 2022-12-13 | Toyota Research Institute, Inc. | Light emitting component-wise traffic light state, signal, and transition estimator |
US20230077909A1 (en) * | 2021-09-15 | 2023-03-16 | Zoox, Inc. | Road network validation |
US11880428B2 (en) | 2021-11-12 | 2024-01-23 | Toyota Motor Engineering & Manufacturing North America, Inc. | Methods and systems for updating perception models based on geolocation features |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6266442B1 (en) * | 1998-10-23 | 2001-07-24 | Facet Technology Corp. | Method and apparatus for identifying objects depicted in a videostream |
JP2004094825A (ja) * | 2002-09-03 | 2004-03-25 | Toyota Motor Corp | 三次元物体認識装置 |
JP4859760B2 (ja) * | 2007-06-06 | 2012-01-25 | 株式会社日立製作所 | カーナビゲーション装置、道路標識認識方法およびプログラム |
WO2009098154A1 (en) * | 2008-02-04 | 2009-08-13 | Tele Atlas North America Inc. | Method for map matching with sensor detected objects |
KR101727899B1 (ko) * | 2010-11-26 | 2017-04-18 | 엘지전자 주식회사 | 휴대 단말기 및 그 동작 제어방법 |
WO2013027343A1 (ja) * | 2011-08-23 | 2013-02-28 | パナソニック株式会社 | 3次元撮像装置、レンズ制御装置、およびプログラム |
US9365214B2 (en) * | 2014-01-30 | 2016-06-14 | Mobileye Vision Technologies Ltd. | Systems and methods for determining the status of a turn lane traffic light |
US9418472B2 (en) * | 2014-07-17 | 2016-08-16 | Google Inc. | Blending between street view and earth view |
US11307042B2 (en) * | 2015-09-24 | 2022-04-19 | Allstate Insurance Company | Three-dimensional risk maps |
DE102016000810A1 (de) | 2016-01-26 | 2017-07-27 | Diehl Defence Gmbh & Co. Kg | Verfahren zum Bestimmen einer Position eines Objekts |
JP6790417B2 (ja) * | 2016-03-31 | 2020-11-25 | ソニー株式会社 | 情報処理装置及び情報処理サーバ |
US10254398B2 (en) * | 2016-04-28 | 2019-04-09 | Fluke Corporation | Manipulation of 3-D RF imagery and on-wall marking of detected structure |
WO2018217193A1 (en) | 2017-05-24 | 2018-11-29 | Google Llc | Bayesian methodology for geospatial object/characteristic detection |
CN111492403A (zh) * | 2017-10-19 | 2020-08-04 | 迪普迈普有限公司 | 用于生成高清晰度地图的激光雷达到相机校准 |
GB201804194D0 (en) * | 2018-03-15 | 2018-05-02 | Blue Vision Labs Uk Ltd | Urban Environmrnt labeling |
US20200393265A1 (en) * | 2019-06-11 | 2020-12-17 | DeepMap Inc. | Lane line determination for high definition maps |
-
2019
- 2019-11-27 US US16/698,366 patent/US11280630B2/en active Active
-
2020
- 2020-11-23 WO PCT/US2020/061768 patent/WO2021108299A1/en unknown
- 2020-11-23 CN CN202080082308.9A patent/CN114729803A/zh active Pending
- 2020-11-23 EP EP20894094.0A patent/EP4066158A4/en active Pending
- 2020-11-23 JP JP2022530858A patent/JP2023504028A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
EP4066158A1 (en) | 2022-10-05 |
US11280630B2 (en) | 2022-03-22 |
WO2021108299A1 (en) | 2021-06-03 |
CN114729803A (zh) | 2022-07-08 |
US20210156704A1 (en) | 2021-05-27 |
EP4066158A4 (en) | 2024-01-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220067209A1 (en) | Systems and methods for anonymizing navigation information | |
US11280630B2 (en) | Updating map data | |
US11200433B2 (en) | Detection and classification systems and methods for autonomous vehicle navigation | |
EP3732657B1 (en) | Vehicle localization | |
US11113544B2 (en) | Method and apparatus providing information for driving vehicle | |
US11249474B2 (en) | Safety of autonomous vehicles using a virtual augmented support environment | |
US20220009518A1 (en) | Road vector fields | |
EP3183688B1 (en) | Recognition and prediction of lane constraints | |
US11670087B2 (en) | Training data generating method for image processing, image processing method, and devices thereof | |
US20200133272A1 (en) | Automatic generation of dimensionally reduced maps and spatiotemporal localization for navigation of a vehicle | |
JP2022553491A (ja) | 車両ナビゲーション用のシステムおよび方法 | |
EP3740737A1 (en) | Systems and methods for determining navigational parameters | |
US10942519B2 (en) | System and method for navigating an autonomous driving vehicle | |
US11961304B2 (en) | Systems and methods for deriving an agent trajectory based on multiple image sources | |
US20220371583A1 (en) | Systems and Methods for Selectively Decelerating a Vehicle | |
US11961241B2 (en) | Systems and methods for deriving an agent trajectory based on tracking points within images | |
JP2020126612A (ja) | スマートフォンを利用する歩行者を保護するための先端歩行者補助システムを提供する方法及び装置 | |
JP7461399B2 (ja) | 原動機付き車両の走行動作を補助する方法及びアシスト装置並びに原動機付き車両 | |
CN112937582A (zh) | 改进车道改变检测的系统、非暂态计算机可读介质和方法 | |
KR20200013156A (ko) | 간판 검출 성능 향상을 위한 방법 및 시스템 | |
US20240183684A1 (en) | Using robot observations | |
WO2020073272A1 (en) | Snapshot image to train an event detector | |
WO2020073270A1 (en) | Snapshot image of traffic scenario | |
KR20230020932A (ko) | 스케일링가능하고 사실적인 카메라 폐색 데이터 세트 생성 | |
JP2022146384A (ja) | 物体検出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231113 |