CN115552198A - 使用无人机数据产生用于自主车辆导航的高清地图 - Google Patents
使用无人机数据产生用于自主车辆导航的高清地图 Download PDFInfo
- Publication number
- CN115552198A CN115552198A CN202180029633.3A CN202180029633A CN115552198A CN 115552198 A CN115552198 A CN 115552198A CN 202180029633 A CN202180029633 A CN 202180029633A CN 115552198 A CN115552198 A CN 115552198A
- Authority
- CN
- China
- Prior art keywords
- data
- map
- digital map
- autonomous vehicle
- sensor data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 54
- 230000015654 memory Effects 0.000 claims abstract description 38
- 238000012545 processing Methods 0.000 claims description 33
- 238000010801 machine learning Methods 0.000 claims description 25
- 230000004044 response Effects 0.000 claims description 20
- 238000001514 detection method Methods 0.000 claims description 5
- 239000003550 marker Substances 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims 1
- 238000004891 communication Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 9
- 230000007613 environmental effect Effects 0.000 description 8
- 238000003860 storage Methods 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000009448 modified atmosphere packaging Methods 0.000 description 2
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 235000019837 monoammonium phosphate Nutrition 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000001556 precipitation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W10/00—Conjoint control of vehicle sub-units of different type or different function
- B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U10/00—Type of UAV
- B64U10/10—Rotorcrafts
- B64U10/13—Flying platforms
- B64U10/14—Flying platforms with four distinct rotor axes, e.g. quadcopters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3626—Details of the output of route guidance instructions
- G01C21/3658—Lane guidance
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3667—Display of a road map
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3833—Creation or updating of map data characterised by the source of data
- G01C21/3837—Data obtained from a single source
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3833—Creation or updating of map data characterised by the source of data
- G01C21/3852—Data derived from aerial or satellite images
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3859—Differential updating map data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3885—Transmission of map data to client devices; Reception of map data by client devices
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/408—Radar; Laser, e.g. lidar
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/20—Static objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
- B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U80/00—Transport or storage specially adapted for UAVs
- B64U80/80—Transport or storage specially adapted for UAVs by vehicles
- B64U80/86—Land vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Game Theory and Decision Science (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
Abstract
自主车辆使用存储在存储器中的数字地图导航。在一个方法中,所述车辆规划包含地理位置(例如车辆将行驶的道路上的位置)的导航路线。无人机(UAV)在所述地理位置处收集传感器数据(例如在道路上行驶之前)。所述收集的传感器数据经处理以产生所述地理位置处的对象或其它特征的地图数据。使用所述所产生的地图数据更新所述数字地图。
Description
相关申请
本申请主张2020年4月21日申请且题为“使用无人机数据产生用于自主车辆导航的高清地图(USING DRONE DATA TO GENERATE HIGH-DEFINITION MAP FOR AUTONOMOUSVEHICLE NAVIGATION)”的第16/854,658号美国专利申请的优先权,所述申请的全部公开内容特此以引用的方式并入本文中。
技术领域
本文中所公开的至少一些实施例总体上涉及数字地图,更尤其地但不限于使用通过无人机(UAV)收集的数据产生用于数字地图的数据。
背景技术
自主车辆通常使用数字地图导航。此类数字地图的一个实例为高清地图(HDMAP)。在一个实例中,高清地图允许自主车辆安全地在道路上行进。道路通常包含例如交通标志等的地标。为构建高清地图的地标地图部分,系统需确定各种地标的位置和类型(例如沿着车辆必须行进的道路上的对象)。
在一个方法中,系统使用基于图像的分类确定地标的类型。系统进一步确定每个地标相对于地图坐标的位置和方位。精确的地标坐标允许自主车辆使用车辆传感器数据精确预测对象所处位置,使得车辆可验证地图对环境的预测、检测环境变化,和根据地图定位车辆的位置。
自主车辆从源位置驾驶到目的地位置而不需要人类驾驶员控制或导航车辆。自主车辆使用传感器实时作出驾驶决策,但传感器无法检测到车辆将要面对的所有障碍和问题。例如,传感器可能无法轻易看到道路标志或车道标记。
自主车辆可使用地图数据确定以上信息中的一些而非依赖于传感器数据。然而,现有地图通常不能提供安全导航所需的高水平的准确性。并且,许多地图是调查小组创建的,其驾驶员使用具有传感器的特殊装备汽车在一地理区域内驾驶并进行测量。此过程昂贵且耗时。并且,使用此类技术得到的地图并不具有最新信息。因此,维护地图的常规技术并不提供对于自主车辆的安全导航来说足够精确且最新的数据。
附图说明
实施例在附图的图中作为实例而非限制来说明,在附图中,相似的参考标号指示类似的元件。
图1示出了根据一些实施例的基于通过无人机收集的传感器数据产生地图数据的地图服务器。
图2示出了根据一些实施例的部分地基于通过无人机收集的数据存储数字地图的自主车辆。
图3示出了根据一些实施例的用于基于通过无人机收集的传感器数据更新数字地图的方法。
具体实施方式
以下公开内容描述用于基于通过无人机(UAV)收集的数据产生用于数字地图的新数据的各种实施例。本文至少一些实施例涉及由自主车辆(例如自动驾驶汽车、飞机、船)使用的数字地图。在一个实例中,第一UAV收集用于更新供地面车辆用于在道路上导航的地图的数据。第二UAV可用于从相同地理位置、邻近位置或不同位置收集用于地图的其它数据。
在一个实例中,高清地图(HD地图)含有道路和周围环境的详细三维模型。在一个实例中,地图含有关于例如以下对象的数据:道路边缘、道路分隔栏、路缘、路肩、交通标志、交通信号、杆、消防栓及道路和结构的其它特征。仅使用传统的卫星或空中成像通常无法充分实现这种详细程度。替代地,使用地面车辆的车队来收集HD地图的数据。
因此,使用现有的方法创建供自主车辆用于导航的高清地图需要昂贵且耗时的道路数据采集。在一个实例中,数据由装备有收集关于道路状况的数据的传感器的车辆车队收集。然而,由于数据采集的差异,对于特定对象,收集的数据的精确度可能很低。这带来了所产生地图的准确性下降且减少车辆基于此类地图进行导航的可靠性降低的技术难题。并且,由于所需要的数据采集耗时,所以此类地图通常不是最新的。这可显著降低使用此类地图导航的车辆的可靠性和/或表现(例如在道路状况由于最近的车辆事故或自然灾害已出现改变的情形中的导航)。
本公开的各种实施例提供针对以上技术问题中的一或多个的技术解决方案。在一个实施例中,可使用无人机或其它UAV捕集车道的鸟瞰图以更新导引自主驾驶中使用的HD地图。在一个实例中,经更新地图存储在服务器上且与多个车辆共享。在一个实例中,经更新地图存储在使用所述地图导航的车辆的存储器中。
在一个实施例中,一种方法包含:在存储器中存储供自主车辆用于规划包含第一地理位置(例如交通标志所在的道路上的位置)的导航路线的数字地图(例如HD地图);接收由无人机(UAV)的传感器在第一地理位置处收集的传感器数据(例如关于交通标志的图像数据);通过至少一个处理装置处理接收的传感器数据以产生第一地理位置的地图数据;以及使用所产生的地图数据更新数字地图(例如在地图中更新交通标志的位置和/或类型)。
在各种实施例中,自主车辆能够感测其环境及导航,而无需人类输入。自主车辆的实例包含自动驾驶汽车。高清地图通常指存储具有高精度(例如5-10cm或更小)数据的地图。高清地图含有关于自主车辆将要行驶的道路的空间几何信息。
所产生的高清地图包含自主车辆在没有人类介入的情况下安全地导航的必需信息。各种实施例使用从无人机收集的数据来产生地图数据,而非使用昂贵且耗时的地图绘制车队的方法收集数据。在一个实施例中,所产生的地图数据用于更新供自主车辆用于导航的高清地图。
在一个实施例中,自主车辆使用告知车辆关于道路上的对象和/或道路状况的高清地图进行导航,使得车辆可以在没有人类输入的情况下安全地导航。在一个实例中,地图基于由安装在无人机上的相机和/或其它传感器收集的数据周期性地更新(例如每5-60分钟或更少)。来自相机的图像数据可转换为可用于更新高清地图的格式。在一个实例中,通过将相机数据作为输入提供至例如人工神经网络的机器学习模型来实施转换。在一个实例中,机器学习模型用于识别无人机正在飞行且汽车将随后沿循的道路上的特征。
在各种实施例中,产生并维护精确且包含经更新道路状况的高清地图以用于安全导航。在一个实例中,高清地图足够精确地提供自主车辆相对于道路车道的当前位置,以允许车辆在所述车道中驾驶。
在一个实施例中,无人机、车辆和/或地图服务器的图像检测系统接收来自安装在无人机上的至少一个相机的至少一个图像。例如,图像可含有交通标志。图像检测系统接收图像并识别对应于交通标志的图像部分。
在一个实施例中,机器学习模型用于对交通标志进行分类并为交通标志的数据分配各种属性。分类和/或其它属性可存储在高清地图中以包含所识别的交通标志的描述。
在一个实施例中,无人机进一步包含提供用于产生地图的额外数据的光检测与测距传感器。
在一个实施例中,高清地图系统基于在物理区域中存储对象所需的信息量的估计确定地图中呈现的地理区域的大小。估计至少部分地基于由在地理区域上面飞行的无人机收集的数据。
在一个实施例中,所产生的地图包含街道的车道信息。例如,车道可包含带条纹的车道和交通方向标记,例如在道路上喷涂的箭头。在道路上面飞行的无人机能够收集道路上的条纹、箭头和其它标记的图像数据。图像数据可用于更新供车辆用于导航的高清地图。
在一个实施例中,对地理区域中的地标产生地标地图数据。在一个实例中,深度学习算法用于基于由无人机或其它UAV的一或多个传感器收集的图像数据检测对象并进行分类。
在一个实施例中,机器学习模型将来自一或多个无人机的传感器数据连同任何情境/环境信息一起用作输入。数据转换为共同数据空间,来自无人机中的任一个的数据可映射于所述数据空间中。此外,在产生数字地图的新地图数据时,来自其它源(例如导航车辆本身和/或其它自主车辆和/或其它人力车辆)上的传感器的数据可以转换为共同数据空间。在一个实例中,机器学习模型使用神经网络。
在一个实例中,情境信息与例如相机的传感器相关联。在一个实例中,情境信息与用于捕集数据的特定传感器有关。在一个实例中,此类信息包含三维空间中相机的安装位置、相机的方位、相机的类型、相机的能力或规格及获得数据的时间和日期。
在一个实施例中,机器学习模型使用与环境数据有关的输入。在一个实例中,环境数据包含能见度条件、照明测量、温度、风速、降水和/或其它影响传感器测量的环境条件。
在一个实例中,环境数据包含收集数据的无人机的高度和/或速度。
在一个实施例中,车辆使用数字地图导航。车辆确定关于特定对象的所收集传感器数据和数字地图中的数据之间的不匹配。响应于确定不匹配,车辆请求由一或多个无人机收集的关于所述对象的经更新数据。在一个实例中,当车辆朝向与不匹配相关联的对象所在位置导航时,无人机实时响应请求。基于收集的无人机数据,车辆确定用于导航的路线。另外,收集的无人机数据用于更新供车辆使用的数字地图。在一个实例中,经更新地图存储在车辆的存储器中。在一个实例中,经更新地图上载到将地图的复本提供至其它车辆的服务器。
在一个实施例中,从无人机收集的传感器数据用于实时地图更新。在一个实例中,收集的传感器数据与持续时间短的道路危险有关,例如最近的车辆事故或自然事件,例如倒下的树。在一个实例中,将从多个无人机收集的数据上载到地图信息的中心数据库中,车辆按需要或根据任何特定车辆的请求使用无线通信下载。在一个实例中,在例如洪水、地震、龙卷风等的事件之后更新地图。
在一个实例中,服务器监测天气数据。基于天气数据,引导一或多个无人机从对应于新天气事件的区域收集传感器数据。收集的传感器数据用于更新与所述区域相关联的地图。
图1示出了根据一些实施例的基于由无人机(UAV)130收集的传感器数据116产生新地图数据120的地图服务器102。传感器数据116由UAV 130的一或多个传感器132收集。UAV 130使用通信接口112将收集的传感器数据传送到地图服务器102。在一个实例中,通信接口112使用无线收发器实施。在一个实例中,通信接口112用于在地图服务器102和UAV130之间实施5G无线或卫星通信。
在一些实施例中,传感器数据116由自主车辆128的一或多个传感器126收集。传感器数据116可以从UAV 130和/或自主车辆128收集。收集的传感器数据使用通信接口112通过自主车辆128传输并通过地图服务器102接收。在一个实例中,自主车辆128使用5G无线通信与地图服务器102通信。
地图服务器102包含处理器104,其执行存储在软件108中的指令以实施与传感器数据116的采集和新地图数据120的产生相关联的一或多个过程。在一个实例中,当从UAV130和/或自主车辆128接收时,传感器数据116初始地存储在易失性存储器106中。在一个实例中,易失性存储器106提供用于在传感器数据116存储于非易失性存储器114之前接收所述传感器数据116的高速缓存。
在一些实施例中,处理器104实施机器学习模型110。在一个实例中,机器学习模型110为人工神经网络。机器学习模型110使用传感器数据116作为输入以产生新地图数据120。
在一个实施例中,机器学习模型110分析传感器数据116以识别自主车辆128在其中运行和/或未来将运行的环境的特征。在一个实例中,UAV 130飞行到自主车辆128在未来将要行驶的道路的地理位置。由传感器132在地理位置处收集的传感器数据116传输到地图服务器102。机器学习模型110分析此收集的数据以识别地理位置处的特征。
在一个实例中,特征包含物理对象。在一个实例中,物理对象包含例如信号灯和停车标志的交通控制结构。在一个实例中,物理对象包含之前在道路上行驶的车辆和/或车辆碰撞留下的碎片。在一个实例中,物理对象包含例如风暴或龙卷风的自然灾害产生的碎片。
在一个实例中,特征与道路本身的方面有关。在一个实例中,这些方面为道路上的标记,例如车道标记、箭头等。
在一些实施例中,传感器数据116和情境数据118存储在非易失性存储器114中。情境数据118为指示或描述在其中收集传感器数据116的情境的数据。在一个实例中,情境数据118为传感器数据116的元数据且指示收集了数据的特定传感器。在一个实例中,情境数据118指示传感器的类型、地理位置、一天中的时间、收集了数据的特定车辆或UAV、收集数据时的天气或其它环境条件等。在一个实施例中,当产生新地图数据120时,传感器数据116和情境数据118用作机器学习模型110的输入。
在各种实施例中,新地图数据120用于创建和/或更新数字地图122。在一个实例中,数字地图122为用于车辆导航的高清地图。在一个实施例中,对于给定地理位置不存在先前地图,且新地图数据120用于创建新数字地图122。在一个实施例中,对于给定地理位置存在先前地图,且新地图数据120用于更新先前数字地图122。在一个实例中,更新先前数字地图122以并入与地理位置处的最近车辆碰撞和/或自然灾害事件相关联的对象124。
在一个实施例中,新数字地图122或经更新数字地图122含有与确定在传感器126和/或132收集到数据的地理位置处存在的物理特征相对应的对象124。在一个实例中,对象124为交通控制装置。在一个实例中,对象124为道路上的交通控制标记,例如喷涂的车道条纹和箭头。
在一个实施例中,在创建或更新之后,数字地图122使用通信接口112传输到自主车辆128。所传输的数字地图122存储在自主车辆128的非易失性存储器中且用于导航和/或驾驶控制。
在一些实施例中,可替代地和/或另外地,数字地图122可以传输到UAV 130以存储在其非易失性存储器中。UAV 130可以使用所传输的地图进行导航和/或飞行控制。
在一个实施例中,UAV 130响应于经由通信接口112从地图服务器102接收的请求而在地理位置(例如道路上相对于GPS坐标的预定义区域)处收集传感器数据。在一个实例中,由自主车辆128将通信发送至地图服务器102来发起请求。在一个实例中,请求与自主车辆128在未来将导航的道路有关。在一个实例中,自主车辆128将无线通信直接传输到UAV130以请求传感器数据。
在一个实施例中,自主车辆128检测道路上的新对象。自主车辆128确定存储的数字地图(例如本地地图和/或服务器上的地图)是否包含与新对象相关联的数据。响应于确定所存储的数字地图不包含与新对象相关联的数据,自主车辆128将请求发送(直接或经由服务器或其它计算装置)到UAV 130以收集关于所述新对象的传感器数据。
在一个实施例中,数字地图122包含若干地理区域的数据。存储器中针对每个地理区域的存储器分配或存储大小基于区域的地理大小确定。每个地理区域的地理大小至少部分地基于由UAV 130针对相应地理区域收集的传感器数据。
图2示出了根据一些实施例的部分地基于由无人机(UAV)232收集的数据存储数字地图224的自主车辆202。自主车辆202为自主车辆128的实例。数字地图224为数字地图122的实例。UAV 232为UAV 130的实例。
自主车辆202使用数字地图224导航,所述数字地图224存储在非易失性存储器216中。在一些实施例中,数字地图224通过通信接口228从服务器234接收。在一个实例中,服务器234存储供多个自主车辆使用的数字地图。服务器234为地图服务器102的实例。
在一个实施例中,数字地图224基于新地图数据222更新。在一个实例中,数字地图224更新为包含对象226(例如,UAV 232新发现的对象),所述对象226由新地图数据222表示。
在一个实施例中,新地图数据222使用机器学习模型210产生。传感器数据218和/或情境数据220用作机器学习模型210的输入。传感器数据218可以通过自主车辆236的传感器238和/或UAV 232的传感器(未示出)收集。
此外,在一些实施例中,传感器数据218可进一步包含由自主车辆202的一或多个传感器230(例如雷达或LiDAR传感器)收集的数据。在一个实例中,传感器230收集关于自主车辆202的环境中的新对象240的数据。在一个实例中,新对象240为通过自主车辆202的相机检测到的交通标志。
在一些实施例中,通过自主车辆236和/或UAV 232收集的数据无线传输到服务器234。收集的数据用于产生和/或更新存储在服务器234上的一或多个地图。所产生的和/或更新的地图无线传送到自主车辆202且存储为数字地图224。在一个实例中,在收集传感器数据218时,通过自主车辆236和/或UAV 232收集情境数据220。通过服务器234将情境数据220传输到自主车辆202。
在其它实施例中,传感器数据可以直接从自主车辆236和/或UAV 232传输到自主车辆202。在一个实例中,自主车辆236在相同道路上在自主车辆202前方某一距离(例如1-10km或更短)行驶,并传输关于自主车辆236检测到的对象226的数据。在一个实例中,UAV232在相同道路上在自主车辆202前方(例如5-100km或更短)飞行,并传输通过UAV 232的传感器收集的关于道路、道路特征和/或其它与道路上导航相关联的环境方面的传感器数据。
自主车辆202包含控制器212,其执行存储在固件208中的指令以实施本文所述的关于传感器数据采集和/或地图产生的一或多个过程。控制器212在将传感器数据复制到非易失性存储器216之前将刚收到的传感器数据存储于易失性存储器214中。
控制器212控制导航系统204和控制系统206的操作。导航系统204使用数字地图224规划用于自主车辆202导航的路线。控制系统206使用数字地图224控制自主车辆202的转向、速度、刹车等。在一个实例中,在控制自主车辆202时,控制系统206使用通过传感器230收集的数据以及来自数字地图224的数据。
在一个实施例中,通过传感器230(和/或本文所描述的其它传感器)检测新对象240。机器学习模型210用于对新对象240进行分类。确定新对象240是否对应于对象226中的一者。响应于确定新对象240不存在于数字地图224中,使用新地图数据222更新数字地图224。新地图数据222包含与新对象240相关联的数据,所述数据包含所确定的分类和地理位置。
在一个实施例中,自主车辆202确定新对象240不包含于数字地图224中。响应于此确定,自主车辆202将请求发送至服务器234以获得用于更新数字地图224的新地图数据222。
图3示出了根据一些实施例的用于基于由无人机收集的传感器数据更新数字地图的方法。例如,图3的方法可实施于图1或2的系统中。在一个实例中,数字地图为数字地图122或224。在一个实例中,无人机为UAV 130或232。
图3的方法可由处理逻辑执行,所述处理逻辑可包含硬件(例如,处理装置、电路系统、专用逻辑、可编程逻辑、微码、装置的硬件、集成电路等)、软件(例如,在处理装置上运行或执行的指令),或其组合。在一些实施例中,图3的方法至少部分地由一或多个处理装置(例如图1的处理器104或图2的控制器212)执行。
虽然以特定顺序或次序展示,但是除非另外规定,否则过程的次序可以修改。因此,应理解,所说明的实施例仅为实例,且所说明的过程可以不同次序执行,且一些过程可并行地执行。另外,可以在各种实施例中省略一或多个过程。因此,并非在每一实施例中都需要所有过程。其它过程流是可能的。
在框301处,存储数字地图以供自主车辆使用。车辆使用所存储的数字地图规划包含第一地理位置的导航路线。在一个实例中,数字地图122存储在非易失性存储器114中且传输到自主车辆128以用于导航。在一个实例中,数字地图224存储在自主车辆202的非易失性存储器216中。导航系统204使用数字地图224规划导航路线。
在框303处,接收无人机的一或多个传感器在第一地理位置处收集的传感器数据。在一个实例中,地图服务器102从UAV 130接收传感器数据116。在收集传感器数据106时,UAV 130在第一地理位置上面飞行。在一个实例中,自主车辆202从UAV 232接收传感器数据218。
在框305处,处理接收的传感器数据以产生第一地理位置的地图数据(例如,产生关于所述位置处的对象的新数据)。在一个实例中,使用机器学习模型110处理传感器数据116以产生新地图数据120。在一个实例中,使用机器学习模型210处理传感器数据218以产生新地图数据222。
在框307处,使用所产生的地图数据更新数字地图。在一个实例中,使用新地图数据120更新数字地图122。在一个实例中,使用新地图数据222更新数字地图224。
在一个实施例中,方法包括:在存储器(例如非易失性存储器114)中存储供自主车辆(例如自主车辆128或202)用于规划包含第一地理位置(例如道路上的位置,或相对于道路上位置(例如相对于特定GPS坐标处的位置)的预定义形状的区域和/或预定大小的区域)的导航路线的数字地图;接收由无人机(例如UAV 130或232)的传感器在第一地理位置处收集的传感器数据;通过至少一个处理装置处理接收的传感器数据以产生第一地理位置的地图数据;以及使用所产生的地图数据更新数字地图(例如数字地图122或224)。
在一个实施例中,数字地图为高清(HD)地图。
在一个实施例中,使用机器学习模型(例如机器学习模型110或210)处理接收的传感器数据。
在一个实施例中,机器学习模型的输出提供与传感器数据相关联的对象的分类,且更新数字地图包括将对象(例如对象124或226)和分类添加至数字地图。
在一个实施例中,方法进一步包括将经更新数字地图传输到自主车辆。
在一个实施例中,方法进一步包括将请求发送至UAV,其中传感器数据由UAV响应于请求而收集。
在一个实施例中,方法进一步包括从自主车辆接收请求,其中响应于从自主车辆接收到请求而将请求发送至UAV。
在一个实施例中,方法进一步包括:检测新对象(例如新对象240);以及确定所存储的数字地图是否包含与新对象相关联的数据;其中响应于确定所存储的数字地图不包含与新对象相关联的数据而将请求发送至UAV。
在一个实施例中,通过自主车辆或UAV中的至少一者检测新对象。
在一个实施例中,接收的传感器数据为第一传感器数据,所产生的地图数据为第一地图数据,数字地图更新为包含在第一地理位置处检测到的对象,且自主车辆为第一自主车辆(例如自主车辆202)。方法进一步包括:接收由第二自主车辆(例如自主车辆236)的传感器在第一地理位置处收集的第二传感器数据;确定第二传感器数据与对象相关联;处理第二传感器数据以产生第二地图数据;以及使用第二地图数据更新数字地图。
在一个实施例中,传感器(例如传感器126、132、230、238中的至少一者)为光检测与测距(LiDAR)传感器、雷达传感器或相机。
在一个实施例中,所存储的数字地图包含多个地理区域中的每一个的相应数据。方法进一步包括至少部分地基于UAV针对每个地理区域收集的相应传感器数据确定每个地理区域的地理大小。
在一个实施例中,方法进一步包括:使用接收的传感器数据确定第一地理位置处的道路上的至少一个标记;其中所产生的地图数据包含至少一个标记。
在一个实施例中,方法进一步包括使用经更新数字地图控制自主车辆的转向系统。在一个实例中,控制系统206控制自主车辆202的转向系统。
在一个实施例中,通过自主车辆接收传感器数据。
在一个实施例中,系统包括:至少一个存储器装置,其经配置以存储供自主车辆用于规划包含地理位置的导航路线的数字地图;至少一个处理装置;及存储器,其含有指令,所述指令经配置以指示所述至少一个处理装置:接收由无人机(UAV)的传感器在地理位置处收集的传感器数据;处理接收的传感器数据以产生地理位置的地图数据;以及使用所产生的地图数据更新所存储的数字地图。
在一个实施例中,处理接收的传感器数据包括:将传感器数据作为输入提供至机器学习模型,所述机器学习模型提供用于识别地理位置处的对象的输出;及更新所存储的数字地图包括将所识别的对象添加至数字地图。
在一个实施例中,指令进一步经配置以指示所述至少一个处理装置:确定所识别的对象是否存在于所存储的数字地图中;其中响应于确定所识别的对象不存在于数字地图中,执行所存储的数字地图的更新。
在一个实施例中,一种非暂时性计算机可读媒体存储指令,所述指令在自主车辆的计算装置上执行时使计算装置至少:将供自主车辆用于规划包含地理位置的导航路线的数字地图存储在存储器中;接收由无人机(UAV)的传感器在地理位置处收集的新数据;处理新数据以产生地理位置的地图数据;以及使用所产生的地图数据更新数字地图。
在一个实施例中,指令进一步使计算装置:从自主车辆的至少一个传感器收集识别地理位置处的对象的数据;确定存储在数字地图中的对象的现有数据不与收集的数据相对应;以及响应于确定存储在数字地图中的对象的数据不与收集的数据相对应,将针对新数据的请求发送至服务器;其中响应于针对新数据的请求,通过自主车辆从服务器接收新数据。
本公开包含执行所述方法且实施上文所描述的系统的各种装置,包含执行这些方法的数据处理系统,以及含有指令的计算机可读媒体,所述指令在数据处理系统上执行时使系统执行这些方法。
描述和图式是说明性的,且不应被理解为限制性的。描述了许多特定细节以提供透彻理解。然而,在某些情况下,众所周知的或常规的细节未进行描述以免混淆描述。在本公开中参考一个或一实施例未必是参考同一实施例;并且此类参考意味着至少一个。
在本说明书中,对“一个实施例”或“一实施例”的引用意味着结合所述实施例描述的特定特征、结构或特性包含在本公开的至少一个实施例中。在本说明书中各个地方出现的短语“在一个实施例中”未必全部指代同一个实施例,也未必是与其它实施例相互排斥的单独实施例或替代实施例。此外,描述了可以由一些实施例但不由其它实施例呈现的各种特征。类似地,描述了各种需要,这些需要可以是一些实施例的需要但不是其它实施例的需要。
在本说明书中,为了简化描述,各种功能和操作可被描述为由软件代码执行或由软件代码引起。然而,本领域的技术人员将认识到,这类表达的意思是所述功能由一或多个处理器执行代码所引起,所述处理器例如微处理器、专用集成电路(ASIC)、图形处理器和/或现场可编程门阵列(FPGA)。替代地或组合地,可以使用专用电路系统(例如,逻辑电路系统)在具有或不具有软件指令的情况下实施所述功能和操作。可以使用无软件指令的硬连线电路系统或结合软件指令实施实施例。因此,所述技术不限于硬件电路系统和软件的任何特定组合,也不限于由计算装置执行的指令的任何特定来源。
尽管一些实施例可以在功能全面的计算机和计算机系统中实施,但是各种实施例能够分布为多种形式的计算产品,且能够不论实际用于实现分布的计算机可读媒体的特定类型如何都适用。
所公开的至少一些方面可以至少部分地实施于软件中。也就是说,所述技术可响应于其处理装置(例如,微处理器)执行存储器(例如,ROM、易失性RAM、非易失性存储器、高速缓存或远程存储装置)中所含有的指令序列而在计算装置或另一系统中执行。
经执行以实施实施例的例程可被实施为操作系统、中间件、服务递送平台、软件开发工具包(SDK)组件、网络服务或其它特定应用程序、组件、程序、对象、模块或指令序列(有时被称作计算机程序)的部分。这些例程的调用接口可以作为应用程序编程接口(API)暴露于软件开发团体。计算机程序通常包括在不同时间在计算机中的不同存储器和存储装置中设定的一或多个指令,所述指令在由计算机中的一或多个处理器读取和执行时使所述计算机执行对进行涉及各个方面的要素所必需的操作。
计算机可读媒体可以用于存储软件和数据,所述软件和数据在由计算装置执行时使所述装置执行各种方法。可执行软件和数据可存储在包含例如ROM、易失性RAM、非易失性存储器和/或高速缓存的各个位置处。此软件和/或数据的部分可以存储在这些存储装置中的任一个中。此外,可以从集中式服务器或对等网络获得数据和指令。数据和指令的不同部分可以在不同时间且在不同通信会话中或在同一通信会话中从不同集中式服务器和/或对等网络获得。可在执行应用程序之前获得全部数据和指令。替代地,可动态地、及时地、在执行需要时获得数据和指令的部分。因此,并不需要数据和指令在特定时刻全部处于计算机可读媒体上。
计算机可读媒体的实例包含但不限于可记录和不可记录类型的媒体,例如易失性和非易失性存储器装置、只读存储器(ROM)、随机存取存储器(RAM)、快闪存储器装置、固态驱动器存储媒体、可装卸式磁盘、磁盘存储媒体、光学存储媒体(例如,光盘只读存储器(CDROM)、数字通用光盘(DVD)等)等。计算机可读媒体可以存储指令。
一般来说,非暂时性计算机可读媒体包含以可由计算装置(例如,计算机、移动装置、网络装置、个人数字助理、具有控制器的制造工具、具有一组一或多个处理器的任何装置等)存取的形式提供(例如,存储)信息的任何机构。
在各种实施例中,硬连线电路系统可与软件和固件指令组合使用以实施所述技术。因此,所述技术既不限于硬件电路系统和软件的任何特定组合,也不限于由计算装置执行的指令的任何特定来源。
可使用广泛多种不同类型的计算装置来实施本文中阐述的各种实施例。如本文中所使用,“计算装置”的实例包含但不限于服务器、集中式计算平台、多个计算处理器和/或组件的系统、移动装置、用户终端、交通工具、个人通信装置、可穿戴数字装置、电子自助服务终端、通用计算机、电子文档阅读器、平板计算机、膝上型计算机、智能手机、数码相机、住宅家庭设备、电视或数字音乐播放器。计算装置的额外实例包含作为所谓的“物联网”(IOT)的部分的装置。此类“事物”可与其拥有者或管理员偶然交互,所述拥有者或管理员可监控所述事物或修改这些事物的设置。在一些情况下,此类拥有者或管理员扮演相对于“事物”装置的用户的角色。在一些实例中,用户的主要移动装置(例如,苹果iPhone)可以是相对于用户所穿戴的成对的“事物”装置(例如,苹果手表)的管理员服务器。
在一些实施例中,计算装置可以是计算机或主机系统,其例如实施为台式计算机、膝上型计算机、网络服务器、移动装置,或包含存储器和处理装置的另一计算装置。主机系统可以包含或耦合到存储器子系统,使得主机系统可以从存储器子系统读取数据或向其写入数据。主机系统可经由物理主机接口耦合到存储器子系统。一般来说,主机系统可经由相同通信连接、多个单独通信连接和/或通信连接的组合存取多个存储器子系统。
在一些实施例中,计算装置为包含一或多个处理装置的系统。处理装置的实例可以包含微控制器、中央处理单元(CPU)、专用逻辑电路系统(例如,现场可编程门阵列(FPGA)、专用集成电路(ASIC)等)、芯片上系统(SoC),或另一合适的处理器。
在一个实例中,计算装置是存储器系统的控制器。控制器包含处理装置和存储器,所述存储器含有由处理装置执行以控制存储器系统的各种操作的指令。
虽然图式中的一些以特定次序说明数个操作,但是可将非次序相依性操作重新排序且可组合或分解其它操作。虽然特定提及了一些重新排序或其它分组,但是其它重新排序或分组对于所属领域的技术人员来说是显而易见的,并且因此不提供详尽的替代方案列表。此外,应认识到,阶段可用硬件、固件、软件或其任何组合来实施。
在前述说明书中,已参考本公开的特定示例性实施例描述了本公开。将显而易见的是,可在不脱离所附权利要求书中阐述的更广精神和范围的情况下对本公开进行各种修改。因此,说明书和图式应被视为说明性的而非限制性的。
Claims (20)
1.一种方法,其包括:
将供自主车辆用于规划包含第一地理位置的导航路线的数字地图存储在存储器中;
通过所述车辆从无人机(UAV)实时接收由所述UAV的传感器在所述第一地理位置处收集的传感器数据;
通过至少一个处理装置处理所述接收的传感器数据以产生所述第一地理位置的地图数据;以及
使用所述所产生的地图数据更新所述数字地图。
2.根据权利要求1所述的方法,其中所述传感器数据为第一传感器数据,所述方法进一步包括:
通过所述车辆收集关于位于所述第一地理位置处的对象的第二传感器数据;
通过所述车辆确定所述第二传感器数据和所述数字地图中关于所述对象的数据之间的不匹配;
响应于确定所述不匹配,将针对关于所述对象的经更新数据的请求发送至所述UAV,其中当所述车辆朝向所述第一地理位置导航时,所述UAV实时响应所述请求,并且其中所述第一传感器数据由所述车辆响应于所述请求从所述UAV接收;以及
基于所述接收的第一传感器数据确定所述导航路线。
3.根据权利要求1所述的方法,其中使用机器学习模型处理所述接收的传感器数据。
4.根据权利要求3所述的方法,其中所述机器学习模型的输出提供与所述传感器数据相关联的对象的分类,且更新所述数字地图包括将所述对象和所述分类添加至所述数字地图。
5.根据权利要求1所述的方法,其进一步包括将所述经更新数字地图传输到所述自主车辆。
6.根据权利要求1所述的方法,其进一步包括将请求发送至所述UAV,其中所述传感器数据由所述UAV响应于所述请求收集。
7.根据权利要求6所述的方法,其进一步包括从所述自主车辆接收请求,其中响应于从所述自主车辆接收到所述请求,将所述请求发送至所述UAV。
8.根据权利要求6所述的方法,其进一步包括:
检测新对象;以及
确定所述所存储的数字地图是否包含与所述新对象相关联的数据;
其中响应于确定所述所存储的数字地图不包含与新对象相关联的数据,将所述请求发送至所述UAV。
9.根据权利要求8所述的方法,其中所述新对象由所述自主车辆或所述UAV中的至少一者检测。
10.根据权利要求1所述的方法,其中所述接收的传感器数据为第一传感器数据,所述所产生的地图数据为第一地图数据,所述数字地图更新为包含在所述第一地理位置处检测到的对象,且所述自主车辆为第一自主车辆,所述方法进一步包括:
接收由第二自主车辆的传感器在所述第一地理位置处收集的第二传感器数据;
确定所述第二传感器数据与所述对象相关联;
处理所述第二传感器数据以产生第二地图数据;以及
使用所述第二地图数据更新所述数字地图。
11.根据权利要求1所述的方法,其中所述传感器为光检测与测距(LiDAR)传感器、雷达传感器或相机。
12.根据权利要求1所述的方法,其中所述所存储的数字地图包含用于多个地理区域中的每一个的相应数据,所述方法进一步包括至少部分地基于所述UAV针对每个地理区域收集的相应传感器数据,确定每个地理区域的地理大小。
13.根据权利要求1所述的方法,其进一步包括:
使用所述接收的传感器数据确定所述第一地理位置处的道路上的至少一个标记;其中所述所产生的地图数据包含所述至少一个标记。
14.根据权利要求1所述的方法,其进一步包括使用所述经更新数字地图控制所述自主车辆的转向系统。
15.根据权利要求1所述的方法,其中所述传感器数据由所述自主车辆直接从所述UAV接收而无需通过中间电子装置传送。
16.一种系统,其包括:
至少一个存储器装置,其经配置以存储供自主车辆用于规划包含地理位置的导航路线的数字地图;
至少一个处理装置;以及
存储器,其含有指令,所述指令经配置以指示所述至少一个处理装置:
接收由无人机(UAV)的传感器在所述地理位置处收集的传感器数据,其中所述传感器数据由所述自主车辆直接从所述UAV接收而无需通过中间电子装置传送;
处理所述接收的传感器数据以产生所述地理位置的地图数据;以及
使用所述所产生的地图数据更新所述所存储的数字地图。
17.根据权利要求16所述的系统,其中:
处理所述接收的传感器数据包括:将所述传感器数据作为输入提供至机器学习模型,所述机器学习模型提供用于识别所述地理位置处的对象的输出;及
更新所述所存储的数字地图包括将所述所识别的对象添加至所述数字地图。
18.根据权利要求17所述的系统,其中所述指令进一步经配置以指示所述至少一个处理装置:
确定所述所识别的对象是否存在于所述所存储的数字地图中;
其中响应于确定所述所识别的对象不存在于所述数字地图中,执行所述所存储的数字地图的更新。
19.一种非暂时性计算机可读媒体,其存储指令,所述指令在自主车辆的计算装置上执行时使所述计算装置至少:
将供所述自主车辆用于规划包含地理位置的导航路线的数字地图存储在存储器中;
接收由无人机(UAV)的传感器在所述地理位置处收集的新数据,其中所述传感器数据由所述自主车辆直接从所述UAV接收而无需通过中间电子装置传送;
处理所述新数据以产生所述地理位置的地图数据;以及
使用所述所产生的地图数据更新所述数字地图。
20.根据权利要求19所述的非暂时性计算机可读媒体,其中所述指令进一步使所述计算装置:
从所述自主车辆的至少一个传感器收集识别所述地理位置处的对象的数据;
确定存储在所述数字地图中的所述对象的现有数据不与所述收集的数据相对应;以及
响应于确定存储在所述数字地图中的所述对象的所述数据不与所述收集的数据相对应,将针对所述新数据的请求发送至服务器;
其中所述新数据由所述自主车辆响应于针对所述新数据的所述请求从所述服务器接收。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/854,658 | 2020-04-21 | ||
US16/854,658 US20210325898A1 (en) | 2020-04-21 | 2020-04-21 | Using drone data to generate high-definition map for autonomous vehicle navigation |
PCT/US2021/027325 WO2021216339A1 (en) | 2020-04-21 | 2021-04-14 | Using drone data to generate high-definition map for autonomous vehicle navigation |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115552198A true CN115552198A (zh) | 2022-12-30 |
Family
ID=78081715
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180029633.3A Pending CN115552198A (zh) | 2020-04-21 | 2021-04-14 | 使用无人机数据产生用于自主车辆导航的高清地图 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20210325898A1 (zh) |
EP (1) | EP4139633A1 (zh) |
KR (1) | KR20220156579A (zh) |
CN (1) | CN115552198A (zh) |
WO (1) | WO2021216339A1 (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11620476B2 (en) * | 2020-05-14 | 2023-04-04 | Micron Technology, Inc. | Methods and apparatus for performing analytics on image data |
US20230358563A1 (en) * | 2022-05-05 | 2023-11-09 | Here Global B.V. | Method, apparatus, and computer program product for map geometry generation based on data aggregation and conflation |
JP2024071949A (ja) * | 2022-11-15 | 2024-05-27 | キヤノン株式会社 | 地図データ生成装置、移動体管理装置、地図データ生成プログラム、移動体管理プログラム、地図データ生成方法及び移動体管理方法 |
KR102635899B1 (ko) * | 2023-04-21 | 2024-02-13 | 소니드로보틱스 주식회사 | 드론 관제용 ugv에 의한 응급 대처용 uav 원격 제어 시스템 및 방법 |
KR102635900B1 (ko) * | 2023-04-21 | 2024-02-13 | 소니드로보틱스 주식회사 | Ugv를 이용하여 uav를 제어하는 순찰 시스템 및 방법 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11184375A (ja) * | 1997-12-25 | 1999-07-09 | Toyota Motor Corp | デジタル地図データ処理装置及びデジタル地図データ処理方法 |
US20140245210A1 (en) * | 2013-02-28 | 2014-08-28 | Donan Engineering Co., Inc. | Systems and Methods for Collecting and Representing Attributes Related to Damage in a Geographic Area |
US9409644B2 (en) * | 2014-07-16 | 2016-08-09 | Ford Global Technologies, Llc | Automotive drone deployment system |
CN110174903B (zh) * | 2014-09-05 | 2023-05-09 | 深圳市大疆创新科技有限公司 | 用于在环境内控制可移动物体的系统和方法 |
KR101647950B1 (ko) * | 2015-01-29 | 2016-08-12 | 광운대학교 산학협력단 | 드론을 이용한 안전 경로 안내장치 및 그 제어 방법 |
CN106097444B (zh) * | 2016-05-30 | 2017-04-12 | 百度在线网络技术(北京)有限公司 | 高精地图生成方法和装置 |
US11299270B2 (en) * | 2016-06-24 | 2022-04-12 | Matthew CULVER | Systems and methods for unmanned aerial vehicles |
WO2018195869A1 (en) * | 2017-04-27 | 2018-11-01 | SZ DJI Technology Co., Ltd. | Systems and methods for generating real-time map using movable object |
US11586854B2 (en) * | 2020-03-26 | 2023-02-21 | Intel Corporation | Devices and methods for accurately identifying objects in a vehicle's environment |
-
2020
- 2020-04-21 US US16/854,658 patent/US20210325898A1/en not_active Abandoned
-
2021
- 2021-04-14 CN CN202180029633.3A patent/CN115552198A/zh active Pending
- 2021-04-14 EP EP21793112.0A patent/EP4139633A1/en active Pending
- 2021-04-14 KR KR1020227036014A patent/KR20220156579A/ko unknown
- 2021-04-14 WO PCT/US2021/027325 patent/WO2021216339A1/en unknown
Also Published As
Publication number | Publication date |
---|---|
US20210325898A1 (en) | 2021-10-21 |
EP4139633A1 (en) | 2023-03-01 |
KR20220156579A (ko) | 2022-11-25 |
WO2021216339A1 (en) | 2021-10-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110832474B (zh) | 更新高清地图的方法 | |
CN109891346B (zh) | 用于自主车辆控制系统的位置特定辅助 | |
US10479376B2 (en) | Dynamic sensor selection for self-driving vehicles | |
US20210163021A1 (en) | Redundancy in autonomous vehicles | |
US20210325898A1 (en) | Using drone data to generate high-definition map for autonomous vehicle navigation | |
US20210406559A1 (en) | Systems and methods for effecting map layer updates based on collected sensor data | |
US20190146508A1 (en) | Dynamic vehicle routing using annotated maps and profiles | |
US20190146509A1 (en) | Autonomous vehicle routing using annotated maps | |
US8712104B2 (en) | Traffic signal mapping and detection | |
CN111656135A (zh) | 基于高清地图的定位优化 | |
CN113196011A (zh) | 运动图构建和车道级路线规划 | |
US20210389133A1 (en) | Systems and methods for deriving path-prior data using collected trajectories | |
CN115328110A (zh) | 用于自主运载工具的系统和方法以及存储介质 | |
US11260875B2 (en) | Systems and methods for road surface dependent motion planning | |
US20210373173A1 (en) | Identifying background features using lidar | |
CN115079687A (zh) | 用于自主运载工具的系统、方法和存储介质 | |
CN115565149A (zh) | 用于对象检测的方法、运载工具和存储介质 | |
JP7548224B2 (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
CN113056715B (zh) | 用于操作运载工具的方法、运载工具和存储介质 | |
CN115220439A (zh) | 用于运载工具的系统和方法以及存储介质 | |
US20240244535A1 (en) | Autonomous vehicle remote initialization and location sharing | |
US20240219537A1 (en) | Sensor calibration robot | |
US20240069188A1 (en) | Determining localization error | |
US20240177079A1 (en) | Systems and methods for passenger pick-up by an autonomous vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |