CN117589144A - 用经验路径分布生成车道线和道路边缘数据的方法和系统 - Google Patents
用经验路径分布生成车道线和道路边缘数据的方法和系统 Download PDFInfo
- Publication number
- CN117589144A CN117589144A CN202310108135.9A CN202310108135A CN117589144A CN 117589144 A CN117589144 A CN 117589144A CN 202310108135 A CN202310108135 A CN 202310108135A CN 117589144 A CN117589144 A CN 117589144A
- Authority
- CN
- China
- Prior art keywords
- data
- processor
- distribution
- determining
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000009826 distribution Methods 0.000 title claims abstract description 67
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000010801 machine learning Methods 0.000 claims abstract description 24
- 238000013527 convolutional neural network Methods 0.000 claims description 12
- 230000007704 transition Effects 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 description 35
- 230000008569 process Effects 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 7
- 238000013500 data storage Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000010267 cellular communication Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3807—Creation or updating of map data characterised by the type of data
- G01C21/3815—Road data
- G01C21/3822—Road feature data, e.g. slope data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3807—Creation or updating of map data characterised by the type of data
- G01C21/3815—Road data
- G01C21/3819—Road shape data, e.g. outline of a route
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3626—Details of the output of route guidance instructions
- G01C21/3658—Lane guidance
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3807—Creation or updating of map data characterised by the type of data
- G01C21/3815—Road data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3833—Creation or updating of map data characterised by the source of data
- G01C21/3837—Data obtained from a single source
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
- B60W2552/53—Road markings, e.g. lane marker or crosswalk
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/40—High definition maps
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Traffic Control Systems (AREA)
Abstract
提供了用于定义在控制车辆时使用的地图数据的系统和方法。在一个实施例中,方法包括:通过处理器接收遥测数据;通过所述处理器基于所述遥测数据来确定路径的分布数据;通过所述处理器基于训练后的机器学习模型和所述分布数据来确定多个样本数据;通过所述处理器基于所述样本数据和第二机器学习模型来生成车道线数据和道路边缘数据中的至少一个;以及通过所述处理器存储在控制所述车辆时使用的包括所述车道线数据和道路边缘数据的所述地图数据。
Description
技术领域
本公开总体上涉及自主车辆,并且更具体地涉及用于生成用于控制自主车辆的地图的车道线和道路边缘数据的系统和方法。
背景技术
自主车辆是能够感测其环境并在很少或没有用户输入的情况下进行导航的车辆。自主车辆使用诸如雷达、激光雷达、图像传感器等的感测设备来感测其环境。自主车辆系统还使用来自全球定位系统(GPS)技术、导航系统、车对车通信、车对基础设施技术和/或线控驱动系统的信息,来为车辆导航。
车辆自动化已被分为数字等级,范围从零(对应于完全人为控制的无自动化)到五(对应于没有人为控制的完全自动化)。各种自动驾驶员辅助系统(诸如巡航控制、自适应巡航控制和停车辅助系统)对应于较低的自动化等级,而真正的“无人驾驶”车辆对应于较高的自动化等级。
虽然近年来在自主车辆方面取得了重大进展,但这种车辆仍可以在许多方面得到改进。例如,为了导航,自主车辆依赖于定义环境中的道路和道路内车道的地图。通常情况下,这些地图是基于航空成像预先定义的,然后传送给自主车辆进行使用。根据航空成像制作地图可能是耗时且昂贵的。
因此,期望提供用于生成地图的车道线和道路边缘数据的改进的系统和方法。此外,结合附图和前述技术领域和背景技术,根据随后的详细描述和所附的权利要求,本公开的其他期望的特征和特性将变得显而易见。
发明内容
提供了用于生成用于控制车辆的地图数据的系统和方法。在一个实施例中,方法包括:通过处理器接收遥测数据;通过所述处理器基于所述遥测数据来确定路径的分布数据;通过所述处理器基于第一机器学习模型和所述分布数据来确定样本数据;通过所述处理器基于所述样本数据和第二机器学习模型来生成车道线数据和道路边缘数据中的至少一个;以及通过所述处理器存储在控制所述车辆时使用的包括所述车道线数据和道路边缘数据的所述地图数据。
在各种实施例中,所述遥测数据包括从环境中的区域观察的位置、速度、航向和时间差。
在各种实施例中,所述第二机器学习模型包括卷积神经网络,并且所述第一机器学习模型包括期望最大化模型。
在各种实施例中,确定所述分布数据包括:通过对依次访问每对节点的路径的数量进行计数来确定转换图;以及针对出现次数大于相对于路径的总数的阈值次数的每对节点包括边缘。
在各种实施例中,所述方法包括基于所述地图数据控制所述车辆。
在各种实施例中,确定所述分布数据还包括:针对每个节点,初始化条件分布以描述每个后继节点的对数似然;以及针对源节点与目标节点之间的每个边缘,初始化条件分布以根据所述源节点处的位置、速度和航向描述所述目标节点处的位置、速度、航向和时间差的对数似然。
在各种实施例中,所述方法还包括:使用期望最大化模型来根据所述遥测数据训练所述分布数据。
在各种实施例中,确定所述多个样本数据包括:通过根据当前节点处的对数似然从多个节点中反复挑选后继节点,来对所述分布数据进行采样;以及根据对应于所述后继节点的边缘上的所述分布数据来选择参数。
在各种实施例中,确定所述多个样本数据包括:多次重复所述挑选和所述选择,以产生包括密度图像的密度图像数据。
在另一实施例中,一种用于生成在控制车辆时使用的地图数据的由计算机实现的系统包括:非暂时性计算机可读介质,其被配置为存储指令;以及处理器,其被配置为执行所述指令以便执行方法。所述方法包括:通过处理器接收遥测数据;通过所述处理器基于所述遥测数据来确定路径的分布数据;通过所述处理器基于第一机器学习模型和所述分布数据来确定多个样本数据;通过所述处理器基于所述样本数据和第二机器学习模型来生成车道线数据和道路边缘数据中的至少一个;以及通过所述处理器存储在控制时使用的包括所述车道线数据和道路边缘数据的所述地图数据。
在各种实施例中,所述遥测数据包括从环境中的区域观察的位置、速度、航向和时间差。
在各种实施例中,所述第二机器学习模型是卷积神经网络。
在各种实施例中,确定所述分布数据包括:通过对依次访问每对节点的路径的数量进行计数来确定转换图;以及针对出现次数大于阈值次数的每对节点包括边缘。
在各种实施例中,所述阈值次数相对于路径的总数。
在各种实施例中,确定所述分布数据还包括:针对每个节点,初始化条件分布以描述每个后继节点的对数似然;以及针对源节点与目标节点之间的每个边缘,初始化条件分布以根据所述源节点处的位置、速度和航向描述所述目标节点处的位置、速度、航向和时间差的对数似然。
在各种实施例中,所述方法还包括:使用期望最大化来根据所述遥测数据训练所述分布数据。
在各种实施例中,确定所述多个样本数据包括:通过根据当前节点处的对数似然从多个节点中反复挑选后继节点,来对所述分布数据进行采样;以及根据对应于所述后继节点的边缘上的所述分布数据来选择参数。
在各种实施例中,确定所述多个样本数据包括:多次重复所述挑选和所述选择,以产生包括密度图像的密度图像数据。
在另一实施例中,车辆包括:自主驾驶系统,其被配置为基于地图数据控制所述车辆;以及地图定义模块,其被配置为,通过处理器接收遥测数据,基于所述遥测数据来确定路径的分布数据,基于第一机器学习模型和所述分布数据来确定多个样本数据,基于所述样本数据和第二机器学习模型来生成车道线数据和道路边缘数据中的至少一个,并且存储在控制所述车辆时使用的包括所述车道线数据和道路边缘数据的所述地图数据。
在各种实施例中,所述地图定义模块还被配置为,通过所述处理器通过进行如下操作来确定所述分布数据:通过对依次访问每对节点的路径的数量进行计数来确定转换图;以及针对出现次数大于阈值次数的每对节点包括边缘;针对每个节点,初始化条件分布以描述每个后继节点的对数似然;以及针对源节点与目标节点之间的每个边缘,初始化条件分布以根据所述源节点处的位置、速度和航向描述所述目标节点处的位置、速度、航向和时间差的对数似然;以及使用期望最大化来根据所述遥测数据训练所述分布数据。
附图说明
在下文中将结合以下附图描述示例性实施例,其中相同的数字表示相同的元件,并且其中:
图1是示出根据各种实施例的具有地图定义系统的自主车辆的功能框图;
图2是示出根据各种实施例的与自主车辆相关联的运输系统的功能框图;
图3是示出根据各种实施例的自主驾驶系统的数据流图,该自主驾驶系统包括自主车辆的地图定义系统;
图4是示出根据各种实施例的地图定义系统的数据流图;
图5A、图5B、图5C和图5D是根据各种实施例的由地图定义系统产生的示例数据的图;以及
图6是示出根据各种实施例的用于定义地图和控制自主车辆的控制方法的流程图。
具体实施方式
以下详细描述本质上仅是示例性的,而且并不旨在限制应用和使用。此外,并不旨在受到在前述技术领域、背景技术、发明内容或以下详细描述中提出的任何明示或暗示理论的约束。如本文所用,术语模块是指单独或任何组合方式的任何硬件、软件、固件、电子控制部件、处理逻辑和/或处理器设备,包括但不限于:专用集成电路(ASIC)、电子电路、执行一个或多个软件或固件程序的处理器(共享、专用或成组)和存储器、组合逻辑电路和/或提供所描述的功能的其他合适部件。
在本文中可以根据功能和/或逻辑块部件以及各种处理步骤来描述本公开的实施例。应当理解,可以通过被配置为执行指定功能的任意数量的硬件、软件和/或固件部件来实现这样的块部件。例如,本公开的实施例可以采用各种集成电路部件,例如,存储器元件、数字信号处理元件、逻辑元件、查找表等,这些集成电路部件可以在一个或多个微处理器或其他控制设备的控制下执行各种功能。另外,本领域技术人员将理解,可以结合任意数量的系统来实践本公开的实施例,并且在本文中描述的系统仅是本公开的示例性实施例。
为简洁起见,在本文中,可以不对与信号处理、数据传输、信令、控制和系统(以及系统的各个操作部件)的其他功能方面相关的常规技术进行详细描述。此外,在本文中包含的各种图中所示的连接线旨在表示各种元件之间的示例功能关系和/或物理联接。应当注意,在本公开的实施例中可以存在许多替代的或附加的功能关系或物理连接。
参照图1,根据各种实施例,总体上以100所示的地图定义系统与车辆10相关联。一般来说,地图定义系统100产生在控制车辆10时使用的地图数据。如下文将更详细地讨论,地图定义系统100通过以下操作来产生地图数据:使用机器学习模型学习在定义区域中观察的数据的分布,对该分布进行标准次数的采样以产生采样数据,并使用采样数据通过应用卷积神经网络(CNN)来推断被并入该区域的地图中的道路边缘和车道线的位置。
如图1所描述的,车辆10一般包括底盘12、车身14、前轮16和后轮18。车身14被布置在底盘12上,并基本上包围车辆10的部件。车身14和底盘12可以共同形成框架。车轮16-18各自在车身14的相应角部附近可旋转地联接到底盘12。
在各种实施例中,车辆10是自主车辆,并且地图定义系统100被并入自主车辆10(以下称为自主车辆10)中。自主车辆10例如是被自动控制以将乘客从一个地点运送到另一个地点的车辆。在所示的实施例中,车辆10被描绘为乘用车,但应该理解的是,也可以使用任何其他交通工具,包括摩托车、卡车、运动型多用途车(SUV)、休闲车(RV)、船舶、飞机等。在示例性实施例中,自主车辆10是所谓的四级或五级自动化系统。四级系统表示“高度自动化”,指的是即使人类驾驶员没有对干预请求作出适当的响应,也由自动驾驶系统对动态驾驶任务的所有方面的特定驾驶模式性能。五级系统表示“完全自动化”,指的是在人类驾驶员可以管理的所有道路和环境条件下,自动驾驶系统对动态驾驶任务的所有方面的全时性能。
如图所示,自主车辆10一般包括推进系统20、传动系统22、转向系统24、制动系统26、传感器系统28、致动器系统30、至少一个数据存储设备32、至少一个控制器34和通信系统36。在各种实施例中,推进系统20可以包括内燃机,诸如牵引电动机的电机和/或燃料电池推进系统。传动系统22被配置为根据可选择的速度比将动力从推进系统20传递到车轮16-18。根据各种实施例,传动系统22可以包括步进比自动变速器、无极变速器或其他适当的变速器。制动系统26被配置为向车轮16-18提供制动扭矩。在各种实施例中,制动系统26可以包括摩擦制动、线控制动、诸如电机的再生制动系统和/或其他适当的制动系统。转向系统24影响车轮16-18的位置。虽然出于说明的目的被描绘为包括方向盘,但在本公开范围内设想的一些实施例中,转向系统24可以不包括方向盘。
传感器系统28包括感测自主车辆10的外部环境和/或内部环境的可观察条件的一个或多个感测设备40a-40n。感测设备40a-40n可以包括但不限于雷达、激光雷达、全球定位系统、光学相机、热成像相机、超声波传感器、惯性测量单元和/或其他传感器。致动器系统30包括控制一个或多个车辆特征(诸如但不限于,推进系统20、传动系统22、转向系统24和制动系统26)的一个或多个致动器设备42a-42n。在各种实施例中,车辆特征还可以包括内部和/或外部车辆特征,诸如但不限于门、后备箱、以及车厢特征(诸如空气、音乐、照明等)(未编号)。
通信系统36被配置为与其他实体48无线通信信息,诸如但不限于其他车辆(“V2V”通信)、基础设施(“V2I”通信)、远程系统和/或个人设备(关于图2更详细地描述)。在示例性实施例中,通信系统36是无线通信系统,其被配置为经由使用IEEE 802.11标准的无线局域网(WLAN)或通过使用蜂窝数据通信来进行通信。然而,附加的或替代的通信方法,诸如专用短程通信(DSRC)信道也被考虑在本公开的范围内。DSRC信道是指专门为汽车使用而设计的单向或双向短程至中程无线通信信道,以及相应的一组协议和标准。
数据存储设备32存储在自动控制自主车辆10时使用的数据。在各种实施例中,数据存储设备32存储可导航环境的定义地图。在各种实施例中,地图由地图定义系统100定义。在各种实施例中,定义地图可以包括由远程系统预定义并从远程系统获得的地图(关于图2进一步详细地描述)。例如,定义地图可以由远程系统组装并传送给自主车辆10(无线传送和/或以有线方式传送),并且存储在数据存储设备32中。可以理解的是,数据存储设备32可以是控制器34的一部分、与控制器34分开、或者是控制器34的一部分和单独系统的一部分。
控制器34包括至少一个处理器44和计算机可读存储设备或介质46。处理器44可以是任何定制或市售的处理器、中央处理单元(CPU)、图形处理单元(GPU)、与控制器34相关联的几个处理器中的辅助处理器、基于半导体的微处理器(以微芯片或芯片组的形式)、宏处理器、其任何组合、或通常用于执行指令的任何设备。例如,计算机可读存储设备或介质46可以包括只读存储器(ROM)、随机存取存储器(RAM)和不失效存储器(KAM)中的易失性和非易失性存储。KAM是持久性或非易失性存储器,可用于在处理器44断电时存储各种操作变量。计算机可读存储设备或介质46可以使用许多已知的存储器设备中的任何一种来实现,诸如PROM(可编程只读存储器)、EPROM(电PROM)、EEPROM(电可擦除PROM)、闪存或能够存储数据的任何其他电、磁、光或组合存储器设备,其中一些数据表示由控制器34在控制自主车辆10时使用的可执行指令。
指令可以包括一个或多个单独的程序,其中每个程序包括用于实现逻辑功能的可执行指令的有序列表。指令在由处理器44执行时,接收和处理来自传感器系统28的信号,执行用于自动控制自主车辆10的部件的逻辑、计算、方法和/或算法,并且基于逻辑、计算、方法和/或算法生成用于致动器系统30自动控制自主车辆10的部件的控制信号。尽管在图1中仅示出了一个控制器34,但自主车辆10的实施例可以包括任何数量的控制器34,这些控制器34通过任何合适的通信介质或通信介质的组合进行通信,并协作以处理传感器信号,执行逻辑、计算、方法和/或算法,并生成用于自动控制自主车辆10的特征的控制信号。
在各种实施例中,控制器34的一个或多个指令体现在地图定义系统100中,并且在由处理器44执行时,从传感器系统28接收遥测数据,使用机器学习模型学习在定义区域中观察的遥测数据的分布,对该分布进行标准次数的采样以产生采样数据,并使用采样数据通过应用卷积神经网络(CNN)来推断被并入该区域的地图中的道路边缘和车道线的位置(例如,通过基于航空图像修改地图和/或通过创建新地图),该地图例如被存储在数据存储设备32中。
指令存储和传输具有仅取决于道路的几何形状的尺寸的分布,以代替在交通繁忙区域可能非常大的原始遥测数据。可以对分布进行就地采样,以获得可用于推断车道线和道路边缘的数据。此外,模型可以根据需要被多次采样,使得即使原始数据集太稀疏而无法产生良好的密度图,也能够检索足够密集的样本数据。该过程使得能够在不依赖航空成像的情况下识别车道线和道路边缘,同时提高计算吞吐量。
现在参照图2,在各种实施例中,关于图1描述的自主车辆10可以适用于一定地理区域(例如,城市、学校或商业园区、购物中心、游乐园、活动中心等)的出租车或班车系统的情况,或者可以仅由远程系统管理。例如,自主车辆10可以与基于自主车辆的远程运输系统相关联。图2示出了总体上以50所示的操作环境的示例性实施例,该操作环境包括基于自主车辆的远程运输系统52,该远程运输系统52与关于图1所述的一个或多个自主车辆10a-10n相关联。在各种实施例中,操作环境50还包括经由通信网络56与自主车辆10和/或远程运输系统52通信的一个或多个用户设备54。
通信网络56根据需要支持由操作环境50支持的设备、系统和部件之间的通信(例如,经由有形通信链路和/或无线通信链路)。例如,通信网络56可以包括无线载波系统60,诸如包括多个蜂窝塔(未示出)、一个或多个移动交换中心(MSC)(未示出)、以及将无线载波系统60与陆地通信系统连接所需的任何其他联网部件的蜂窝电话系统。每个蜂窝塔包括发送和接收天线以及基站,来自不同蜂窝塔的基站直接或经由中间设备(诸如基站控制器)连接到MSC。无线载波系统60可以实现任何合适的通信技术,包括例如数字技术,诸如CDMA(例如CDMA2000)、LTE(例如4G LTE或5G LTE)、GSM/GPRS、或其他当前或新兴的无线技术。其他蜂窝塔/基站/MSC布置是可能的,并且可以与无线载波系统60一起使用。例如,基站和蜂窝塔可以共同位于同一地点,或者它们可以彼此远离,每个基站可以负责单个蜂窝塔,或者单个基站可以服务各种蜂窝塔,或者各种基站可以联接到单个MSC,这里仅举出几种可能的布置。
除了包括无线载波系统60之外,可以包括卫星通信系统64的形式的第二无线载波系统,以提供与自主车辆10a-10n的单向或双向通信。这可以使用一个或多个通信卫星(未示出)和上行链路发射站(未示出)来完成。单向通信可以包括例如卫星无线电服务,其中节目内容(新闻、音乐等)由发射站接收、打包上传、然后发送至卫星,该卫星向订户广播节目。双向通信可以包括例如卫星电话服务,该服务使用卫星在车辆10与站之间中继电话通信。卫星电话可以在无线载波系统60的基础上使用,也可以代替无线载波系统60。
还可以包括陆地通信系统62,陆地通信系统62是连接到一个或多个固定电话的传统陆基电信网络,并将无线载波系统60连接到远程运输系统52。例如,陆地通信系统62可以包括诸如用于提供硬线电话、分组交换数据通信和互联网基础设施的公共交换电话网络(PSTN)。陆地通信系统62的一个或多个部分可以通过使用标准有线网络、光纤或其他光网络、线缆网络、电力线、其他无线网络(诸如无线局域网(WLAN)或提供宽带无线接入(BWA)的网络)、或其任何组合来实现。此外,远程运输系统52不需要经由陆地通信系统62连接,但可以包括无线电话设备,使其可以直接与无线网络(诸如无线载波系统60)进行通信。
尽管在图2中仅示出了一个用户设备54,但操作环境50的实施例可以支持任意数量的用户设备54,包括由一个人拥有、操作或以其他方式使用的多个用户设备54。由操作环境50支持的每个用户设备54可以使用任何合适的硬件平台来实现。在这方面,用户设备54可以以任何常见的形状因子实现,包括但不限于:台式计算机;移动计算机(例如,平板计算机、膝上型计算机或上网本计算机);智能电话;视频游戏设备;数字媒体播放器;家庭娱乐设备;数码相机或摄像机;可穿戴计算设备(例如,智能手表、智能眼镜、智能服装)等。由操作环境50支持的每个用户设备54被实现为具有执行本文中描述的各种技术和方法所需的硬件、软件、固件和/或处理逻辑的计算机实施的或基于计算机的设备。例如,用户设备54包括可编程设备形式的微处理器,该微处理器包括存储在内部存储器结构中并应用于接收二进制输入以创建二进制输出的一个或多个指令。在一些实施例中,用户设备54包括能够接收GPS卫星信号并基于这些信号生成GPS坐标的GPS模块。在其他实施例中,用户设备54包括蜂窝通信功能,使得该设备使用一种或多种蜂窝通信协议在通信网络56上执行语音和/或数据通信,如在本文中所讨论的那样。在各种实施例中,用户设备54包括视觉显示器,诸如触摸屏图形显示器或其他显示器。
远程运输系统52包括可以是基于云的、基于网络的、或驻留在由远程运输系统52服务的特定校园或地理位置的一个或多个后端服务器系统。远程运输系统52可以由真人顾问、或自动化顾问、或两者的组合来操纵。远程运输系统52可以与用户设备54和自主车辆10a-10n通信,以调度乘坐,派遣自主车辆10a-10n等。在各种实施例中,远程运输系统52存储账户信息,诸如订户认证信息、车辆标识符、简档记录、行为模式和其他相关的订户信息。
根据典型的用例工作流程,远程运输系统52的登记用户可以经由用户设备54创建乘坐请求。乘坐请求通常将表示乘客期望的接取地点(或当前的GPS地点)、期望的目的地地点(可以识别预定义的车辆停靠点和/或用户指定的乘客目的地)以及接取时间。远程运输系统52接收乘坐请求,处理该请求,并派遣自主车辆10a-10n中的所选车辆(如果有的话),以在指定的接取地点和适当的时间接载乘客。远程运输系统52还可以生成并向用户设备54发送适当配置的确认消息或通知,以让乘客知道车辆正在路上。
可以理解的是,本文公开的主题为可被视为标准或基线自主车辆10和/或基于自主车辆的远程运输系统52的事物提供了某些增强的特征和功能。为此,自主车辆和基于自主车辆的远程运输系统可以被修改、增强或以其他方式补充,以提供下面更详细描述的附加特征。
根据各种实施例,如图3所示,控制器34实现自主驾驶系统(ADS)70。也就是说,控制器34的合适的软件和/或硬件部件(例如,处理器44和计算机可读存储设备46)被用来提供与车辆10结合使用的自主驾驶系统70。
在各种实施例中,自主驾驶系统70的指令可以按功能、模块或系统来组织。例如,如图3所示,自主驾驶系统70可以包括计算机视觉系统74、定位系统76、引导系统78、以及车辆控制系统80。可以理解的是,在各种实施例中,指令可以被组织成任何数量的系统(例如,组合、进一步划分等),因为本公开不限于本示例。
在各种实施例中,计算机视觉系统74合成和处理传感器数据,并预测车辆10的环境的物体和特征的存在、位置、分类和/或路径。在各种实施例中,计算机视觉系统74可以合并来自多个传感器的信息,包括但不限于相机、激光雷达、雷达和/或任何数量的其他类型的传感器。
定位系统76处理传感器数据以及其他数据以确定车辆10相对于环境的位置(例如,相对于地图的本地位置、相对于道路的车道的确切位置、车辆航向、速度等)。引导系统78处理传感器数据和其他数据,以确定车辆10要遵循的路径。车辆控制系统80生成控制信号以根据确定的路径控制车辆10。
在各种实施例中,控制器34实现机器学习技术以协助控制器34的功能,诸如特征检测/分类、障碍物缓解、路线遍历、地图绘制(mapping)、传感器集成、地面实况确定等。
如以上简述,图1的地图定义系统100包括在ADS 70内,例如,作为单独的系统或作为例如引导系统78的一部分。例如,如关于图4更详细地所示并继续参照图3,地图定义系统100包括分布模块102、样本模块104、预测模块106、地图生成模块108和卷积神经网络数据存储110。
分布模块102接收遥测数据112作为输入。在各种实施例中,遥测数据112包括位置数据、速度数据、航向数据和时间差数据,并且可以从自主车辆10的传感器和/或从区域中的其他车辆接收。分布模块102使用机器学习模型学习在定义区域中观察的遥测数据112的分布,并基于此生成分布数据114。
例如,如图5A所示,在各种实施例中,遥测数据112被组装成车辆10沿路段行驶的点的路径,并且该路径与路段的法线相关联。法线可以等距间隔和/或根据沿路段的定义增量而间隔。然后,分布模块102通过评估针对该路段生成的多个路径(例如来自多个车辆),来生成转换图。
例如,如图5B所示,在各种实施例中,分布模块102将路径的与法线的每个交叉点定义为图的节点。分布模块102保持对有多少路径依次访问每对节点的计数。分布模块102针对出现次数大于相对于路径总数而定义的次数的每对节点,在转换图中包括边缘。
然后,分布模块102针对每个节点,初始化条件分布以描述每个后继节点的对数似然。然后,分布模块102针对每个边缘,初始化条件分布以根据源节点处的位置、速度和航向描述目标节点处的位置、速度、航向和时间差的对数似然。分布模块102使用机器学习模块(诸如期望最大化模型)根据观察的遥测数据112训练这些分布,并基于此产生例如图5C所示的分布数据114。
返回参照图3,样本模块104接收分布数据114作为输入。样本模块104对分布数据进行多次采样以产生密度图像数据116。例如,样本模块104通过根据在当前节点处确定的对数似然反复挑选后继节点,来对分布数据114进行采样。然后,样本模块104根据对应于所选后继节点的边缘上的分布来挑选参数,并且根据需要多次重复该过程以生成包括密度图像的密度图像数据116,例如,如图5D所示。
预测模块106接收密度图像数据116作为输入。预测模块106使用训练后的机器学习模型预测道路边缘和车道线,并基于此生成道路边缘数据120和车道线数据122。例如,预测模块106从CNN数据存储110中检索训练后的卷积神经网络118。预测模块106利用训练后的CNN 118处理密度图像数据116,以预测车道线和道路边缘的位置并生成数据120、122。
地图生成模块108接收道路边缘数据120和车道线数据122作为输入。地图生成模块108基于道路边缘数据120和车道线数据122生成本地环境的地图数据124。然后,地图数据124被存储在数据存储设备32中和/或用于由ADS 70直接控制自主车辆10。
现在参照图6,并继续参照图1至图4,流程图示出了根据本公开的可由图1和图4的地图定义系统100执行的控制方法200。根据本公开可以理解,该方法内的操作顺序不限于如图6所示的顺序执行,而是可以在适用时并根据本公开以一个或多个不同的顺序执行。在各种实施例中,方法200可以被调度为基于一个或多个预定的事件运行,并且/或者可以在自主车辆10的操作期间连续运行。
在各种实施例中,方法200可以在205处开始。在210处接收遥测数据112并将其组装成路径。在212处根据遥测数据112确定转换图。然后,在214处使用机器学习模型根据遥测数据112学习分布数据114。然后,在216处对分布数据114进行定义次数的采样,以产生密度图像数据116。然后,在218处利用训练后的CNN 118处理密度图像数据116,以产生对车道线和道路边缘的位置的预测。此后,在220处,将该预测并入124处的地图数据中,该地图数据可以用于控制车辆10。此后,方法200可以在222处结束。
因此,本文描述的方法、系统和车辆提供了改进方式来产生用于控制车辆的地图数据,并且相应地,所要求的实施例在本公开的领域实现了改进。
尽管在前述详细描述中已经提出了至少一个示例性实施例,但是应当理解,存在大量的变型。还应当理解,示例性实施例或多个示例性实施例仅是示例,并且不旨在以任何方式限制本公开的范围、适用性或配置。相反,前述详细描述将为本领域技术人员提供用于实现示例性实施例或多个示例性实施例的便利路线图。应当理解,在不脱离如所附权利要求及其合法等同物中阐述的本公开的范围的情况下,可以在元件的功能和布置中进行各种改变。
Claims (10)
1.一种生成在控制车辆时使用的地图数据的方法,所述方法包括:
通过处理器接收遥测数据;
通过所述处理器基于所述遥测数据来确定路径的分布数据;
通过所述处理器基于第一机器学习模型和所述分布数据来确定样本数据;
通过所述处理器基于所述样本数据和第二机器学习模型来生成车道线数据和道路边缘数据中的至少一个;以及
通过所述处理器存储在控制所述车辆时使用的包括所述车道线数据和道路边缘数据的所述地图数据。
2.根据权利要求1所述的方法,其中,所述遥测数据包括从环境中的区域观察的位置、速度、航向和时间差。
3.根据权利要求1所述的方法,其中,所述第二机器学习模型包括卷积神经网络。
4.根据权利要求1所述的方法,其中,确定所述分布数据包括:通过对依次访问每对节点的路径的数量进行计数来确定转换图;以及针对出现次数大于相对于路径的总数的阈值次数的每对节点包括边缘。
5.根据权利要求1所述的方法,其中,所述第一机器学习模型包括期望最大化模型。
6.根据权利要求4所述的方法,其中,确定所述分布数据还包括:针对每个节点,初始化条件分布以描述每个后继节点的对数似然;以及针对源节点与目标节点之间的每个边缘,初始化条件分布以根据所述源节点处的位置、速度和航向描述所述目标节点处的位置、速度、航向和时间差的对数似然。
7.根据权利要求6所述的方法,其中,所述方法还包括:使用期望最大化模型来根据所述遥测数据训练所述分布数据。
8.根据权利要求1所述的方法,其中,确定所述多个样本数据包括:通过根据当前节点处的对数似然从多个节点中反复挑选后继节点,来对所述分布数据进行采样;以及根据对应于所述后继节点的边缘上的所述分布数据来选择参数。
9.根据权利要求8所述的方法,其中,确定所述多个样本数据包括:多次重复所述挑选和所述选择,以产生包括密度图像的密度图像数据。
10.一种用于生成在控制车辆时使用的地图数据的由计算机实现的系统,所述系统包括:
非暂时性计算机可读介质,其被配置为存储指令;以及
处理器,其被配置为执行所述指令以便执行方法,所述方法包括:
通过处理器接收遥测数据;
通过所述处理器基于所述遥测数据来确定路径的分布数据;
通过所述处理器基于第一机器学习模型和所述分布数据来确定多个样本数据;
通过所述处理器基于所述样本数据和第二机器学习模型来生成车道线数据和道路边缘数据中的至少一个;以及
通过所述处理器存储在控制时使用的包括所述车道线数据和道路边缘数据的所述地图数据。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/819,881 US20240053166A1 (en) | 2022-08-15 | 2022-08-15 | Methods and systems for generating lane line and road edge data using empiracal path distributions |
US17/819,881 | 2022-08-15 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117589144A true CN117589144A (zh) | 2024-02-23 |
Family
ID=89809486
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310108135.9A Pending CN117589144A (zh) | 2022-08-15 | 2023-02-01 | 用经验路径分布生成车道线和道路边缘数据的方法和系统 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20240053166A1 (zh) |
CN (1) | CN117589144A (zh) |
DE (1) | DE102023100675A1 (zh) |
-
2022
- 2022-08-15 US US17/819,881 patent/US20240053166A1/en active Pending
-
2023
- 2023-01-12 DE DE102023100675.4A patent/DE102023100675A1/de active Pending
- 2023-02-01 CN CN202310108135.9A patent/CN117589144A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
DE102023100675A1 (de) | 2024-02-15 |
US20240053166A1 (en) | 2024-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108628206B (zh) | 道路施工检测系统和方法 | |
CN108062094B (zh) | 基于处理器实现车辆行驶轨迹规划的自主系统和方法 | |
CN108981722B (zh) | 用于自主驾驶的使用贝塞尔曲线的轨迹规划器 | |
CN108528458B (zh) | 用于车辆尺寸预测的系统和方法 | |
CN109085819B (zh) | 用于实施自主车辆中的驾驶模式的系统和方法 | |
CN111098862A (zh) | 用于预测传感器信息的系统和方法 | |
US20190072978A1 (en) | Methods and systems for generating realtime map information | |
US20190332109A1 (en) | Systems and methods for autonomous driving using neural network-based driver learning on tokenized sensor inputs | |
CN108766011B (zh) | 用于自主车辆的停车评分 | |
CN110758399B (zh) | 用于预测实体行为的系统和方法 | |
CN109552212B (zh) | 用于自主车辆中的雷达定位的系统和方法 | |
US20180093671A1 (en) | Systems and methods for adjusting speed for an upcoming lane change in autonomous vehicles | |
CN110850854A (zh) | 自动驾驶员代理和为自动驾驶员代理提供策略的策略服务器 | |
US20190026588A1 (en) | Classification methods and systems | |
CN109872370B (zh) | 使用激光雷达数据对摄像机系统进行检测和重新校准 | |
CN109115230B (zh) | 用于车辆的自主驾驶系统及其车辆 | |
CN110554691B (zh) | 用于检测高架高速公路以防止接合巡航特征的系统、方法和装置 | |
CN112498349A (zh) | 用于紧急车道改变的操纵计划 | |
US20180024239A1 (en) | Systems and methods for radar localization in autonomous vehicles | |
CN110758401A (zh) | 自主车辆操作期间的停止应急计划 | |
US20200070822A1 (en) | Systems and methods for predicting object behavior | |
CN108501951B (zh) | 用于自主车辆的性能能力的方法和系统 | |
CN110979328A (zh) | 自主车辆的舒适乘坐 | |
US20210229681A1 (en) | Realtime proactive object fusion for object tracking | |
CN110027558B (zh) | 自主车辆的可放松转弯边界 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |