CN116878487B - 一种用于建立自动驾驶地图的方法、装置、车辆和服务器 - Google Patents
一种用于建立自动驾驶地图的方法、装置、车辆和服务器 Download PDFInfo
- Publication number
- CN116878487B CN116878487B CN202311146249.9A CN202311146249A CN116878487B CN 116878487 B CN116878487 B CN 116878487B CN 202311146249 A CN202311146249 A CN 202311146249A CN 116878487 B CN116878487 B CN 116878487B
- Authority
- CN
- China
- Prior art keywords
- map
- real
- time
- road
- vectorization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 86
- 238000012937 correction Methods 0.000 claims abstract description 52
- 230000004044 response Effects 0.000 claims abstract description 17
- 239000013598 vector Substances 0.000 claims description 32
- 238000012549 training Methods 0.000 claims description 17
- 238000005259 measurement Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 6
- 238000009432 framing Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 3
- 230000008447 perception Effects 0.000 description 15
- 230000006870 function Effects 0.000 description 14
- 230000008569 process Effects 0.000 description 14
- 230000000875 corresponding effect Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 5
- 230000001960 triggered effect Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000001502 supplementing effect Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3833—Creation or updating of map data characterised by the source of data
- G01C21/3841—Data obtained from two or more sources, e.g. probe vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
- G01C21/30—Map- or contour-matching
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Traffic Control Systems (AREA)
Abstract
本公开涉及自动驾驶以及导航技术领域,提供一种用于建立自动驾驶地图的方法、装置、车辆、服务器、电子设备及存储介质。其中,用于建立自动驾驶地图的方法包括:响应于接收到由至少一个车辆端发送的实时行驶状态数据及实时地图环境感知结果,利用预设规则,确定与目标路段关联的区域整体栅格地图以及车辆的实时行驶状态数据的校正结果;其中,目标路段为与实时行驶状态数据匹配的路段;利用预设矢量化规则,对区域整体栅格地图以及校正结果执行矢量化,得到关于目标路段的自动驾驶地图;将自动驾驶地图下发给车辆端。利用本公开的方法,降低了自动驾驶地图建立及更新成本,同时提高了自动驾驶地图建立及更新效率,保证了自动驾驶地图的鲜度。
Description
技术领域
本公开涉及自动驾驶以及导航技术领域,尤其涉及一种用于建立自动驾驶地图的方法、装置、车辆、服务器、电子设备以及存储介质。
背景技术
当前自动驾驶的核心技术体系分为感知、决策和执行三大模块。其中,定位是感知模块中非常重要的一部分;定位技术的作用是用于确定车辆在地图中的精确位置。只有当车辆在地图中准确定位以后,系统才能更好的辅助车辆感知,并最终支持决策和执行模块的相应动作。因此,在定位过程中使用的电子地图的精度直接决定了定位的准确性。
传统导航地图在构建时一般是采取在运营车辆上安装智能后视境等设备的方案,运营车辆在行驶过程中,将轨迹数据与智能后视境拍摄的照片一并上传至服务器端,由服务器端利用积累的数据生产标准导航地图。但由于传统导航地图精度较低,无法满足自动驾驶的需求。因此,为了提高定位准确性,需要建立高精度的自动驾驶地图,自动驾驶地图通过周视BEV(Bird's Eye View,简称BEV)、单目前视感知或激光点云感知实时推测车周局部车道级地图,供乘用车实时决策及规控使用。与传统导航地图相比,自动驾驶地图拥有更丰富的道路信息以及更精确的导航精度,其导航精度可以达到厘米级别。
但是在当前条件下,自动驾驶地图的建立需要依赖于专业的采集车,采集车是由多种先进测量传感器精密集成的移动采集系统,一般包含雷达、惯导、相机等设备,根据采集场景不同搭载不同型号的传感器设备,一台采集车的成本一般在百万以上,因此依赖采集车建立自动驾驶地图的成本较高;并且利用专业的采集车采集数据时采集效率不高,当采集区域较大时,例如在全国范围内进行采集时,往往需要数量较多的采集车同时采集数据以弥补采集车采集效率较低的问题,这会使得成本大大增加;此外,自动驾驶地图对于鲜度要求也比较高,建立之后若某一路段发生变化则需要尽快对地图进行更新,为了保持自动驾驶地图的鲜度,只能令采集车不断在采集区域移动,以获得采集区域最新数据,而这将会导致成本的进一步飙升。
因此,亟需一种新的用于建立自动驾驶地图的方法以解决如上所述的缺陷。
发明内容
为了解决上述技术问题,提出了本公开的方案。本公开的实施例提供一种用于建立导航地图的方法、装置、车辆、服务器、电子设备以及存储介质。
根据本公开实施例的第一方面,提供了一种用于建立自动驾驶地图的方法,包括:获取车辆在目标路段的实时行驶状态数据、所述车辆在所述目标路段的行驶过程中由车端传感器采集的关于目标路段的至少一种实时传感数据;基于预设感知规则以及所述至少一种实时传感数据,确定关于所述目标路段的实时地图环境感知结果;
在未接收到服务端下发的众源地图的情况下,响应于接收到用户触发的建图指令,将实时行驶状态数据以及实时地图环境感知结果上传至服务端,以使服务端基于实时行驶状态数据以及实时地图环境感知结果建立众源地图。
根据本公开实施例的第二方面,提供了一种用于建立自动驾驶地图的方法,包括:响应于接收到由至少一个车辆端发送的实时行驶状态数据及实时地图环境感知结果,利用预设规则,确定与目标路段关联的区域整体栅格地图以及所述车辆的实时行驶状态数据的校正结果;其中,所述目标路段为与所述实时行驶状态数据匹配的路段;利用预设矢量化规则,对所述区域整体栅格地图以及所述校正结果执行矢量化,得到关于所述目标路段的自动驾驶地图;将所述自动驾驶地图下发给车辆端。
根据本公开实施例的第三方面,提供了一种用于建立自动驾驶地图的装置,包括:众源数据获取模块,被配置为:获取车辆在目标路段的实时行驶状态数据、所述车辆在所述目标路段的行驶过程中由车端传感器采集的关于目标路段的至少一种实时传感数据;地图环境感知模块,被配置为:基于预设感知规则以及所述至少一种实时传感数据,确定关于所述目标路段的实时地图环境感知结果;上传模块,被配置为:在未接收到服务端下发的众源地图的情况下,响应于接收到用户触发的建图指令,将所述实时行驶状态数据以及所述实时地图环境感知结果上传至所述服务端,以使所述服务端基于所述实时行驶状态数据以及所述实时地图环境感知结果建立众源地图。
根据本公开实施例的第四方面,提供了一种用于建立自动驾驶地图的装置,包括:众源数据处理模块,被配置为:响应于接收到由至少一个车辆端发送的实时行驶状态数据及实时地图环境感知结果,利用预设规则,确定与目标路段关联的区域整体栅格地图以及所述车辆的实时行驶状态数据的校正结果;其中,所述目标路段为与所述实时行驶状态数据匹配的路段;矢量化模块,被配置为:利用预设矢量化规则,对所述区域整体栅格地图以及所述校正结果执行矢量化,得到关于所述目标路段的自动驾驶地图;下发模块,被配置为:将所述自动驾驶地图下发给车辆端。
根据本公开实施例的第五方面,提供了一种车辆,包括本公开第三方面所述的用于建立自动驾驶地图的装置。
根据本公开实施例的第六方面,提供了一种服务器,包括本公开第四方面所述的用于建立自动驾驶地图的装置。
根据本公开实施例的第七方面,提供了一种电子设备,所述电子设备包括:处理器;用于存储所述处理器可执行指令的存储器;所述处理器,用于从所述存储器中读取所述可执行指令,并执行所述指令以实现本公开所述的用于建立自动驾驶地图的方法。
根据本公开实施例的第八方面,提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序用于执行本公开所述的用于建立自动驾驶地图的方法。
如上所述,利用本公开上述实施例提供的用于建立自动驾驶地图的方法,可以基于获取的多个车辆端的数据(即,实时行驶状态数据及实时地图环境感知结果)建立自动驾驶地图,即实现众源建图,从而无需利用专业的采集车即可建立并更新自动驾驶地图,降低了成本,同时也能够提高建立及更新自动驾驶地图的效率、保证自动驾驶地图的鲜度。其中,由于车辆端发送的实时地图环境感知结果中可以包括车道级拓扑结构(具体参见实施例一中的相应内容);因此建立的所述自动驾驶地图也就相应地具备了车道级拓扑结构;弥补了现有技术的空白,在自动驾驶地图中支持车道级拓扑结构。
并且,由于对接收到的实时行驶状态数据进行了校正,因此保证了不同车辆端对同一目标路段的实时地图环境感知结果的重入一致性,进而也就保证了基于此建立的所述自动驾驶地图的精准度。
另外,由于执行本公开上述实施例提供的用于建立自动驾驶地图的方法,不需要在车辆端配置安装专业采集装置,仅需在车辆端安装周视相机、单目前视相机或者360°视场角的机械雷达中的任意一种设备即可建立自动驾驶地图,同时也不仅限于海量图片才可实施,因此降低了成本,有利于大规模应用。
附图说明
通过结合附图对本公开实施例进行更详细的描述,本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解,并且构成说明书的一部分,与本公开实施例一起用于解释本公开,并不构成对本公开的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1是本公开一示例性实施例提供的用于建立自动驾驶地图的方法(执行于车辆端)的流程示意图一;
图2是本公开一示例性实施例提供的用于建立自动驾驶地图的方法(执行于车辆端)的一示例性流程示意图二;
图3是本公开一示例性实施例提供的用于建立自动驾驶地图的方法(执行于服务端)的流程示意图;
图4是本公开实施例提供的用于建立自动驾驶地图的方法的一示例性流程示意图;
图5是本公开实施例提供的用于建立自动驾驶地图的方法的另一示例性流程示意图;
图6是本公开一示例性实施例提供的所述子栅格地图示意图;
图7是本公开一示例性实施例提供的所述道路矢量化地图示意图;
图8是本公开一示例性实施例提供的用于建立自动驾驶地图的装置(布置于车辆端)的结构示意图;
图9是本公开一示例性实施例提供的用于建立自动驾驶地图的装置(布置于服务端)的结构示意图;
图10是本公开实施例提供的用于建立自动驾驶地图的装置的一示例性结构示意图;
图11是本公开实施例提供的用于建立自动驾驶地图的装置的另一示例性结构示意图;
图12是本公开电子设备一个应用实施例的结构示意图。
具体实施方式
下面结合附图所示的实施例对本公开作进一步说明。显然,所描述的实施例仅仅是本公开的一部分实施例,而不是本公开的全部实施例,应理解,本公开不受这里描述的示例实施例的限制。
应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
本领域技术人员可以理解的是,本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等,既不代表任何特定技术含义,也不表示它们之间的必然逻辑顺序。
还应理解,在本公开实施例中,“多个”可以指两个或两个以上,“至少一个”可以指一个、两个或两个以上。
还应理解,对于本公开实施例中提及的任一部件、数据或结构,在没有明确限定或者在前后文给出相反启示的情况下,一般可以理解为一个或多个。
另外,本公开中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本公开中字符“/”,一般表示前后关联对象是一种“或”的关系。
还应理解,本公开对各个实施例的描述着重强调各个实施例之间的不同之处,其相同或相似之处可以相互参考,为了简洁,不再一一赘述。
同时,应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
本公开实施例可以应用于终端设备、计算机系统、服务器等电子设备,其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于:个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境,等等。
终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常,程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等,它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施,分布式云计算环境中,任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中,程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
下面结合图1~图12,对本公开的用于建立自动驾驶地图的方案进行说明。
实施例一
图1是本公开一示例性实施例提供的用于建立自动驾驶地图的方法流程示意图。本实施例可应用在电子设备(例如,车端处理器)上,如图1所示,用于建立自动驾驶地图的方法包括如下步骤:
S11、获取车辆在目标路段的实时行驶状态数据、所述车辆在所述目标路段的行驶过程中由车端传感器采集的关于目标路段的至少一种实时传感数据。
其中,所述实时行驶状态数据可以包括所述车辆沿所述目标路段行驶时的实时位姿。
需要说明的是,此处不对实时行驶状态数据的“获取”方式作特殊限定。例如,可借助全球导航卫星系统(Global Navigation Satellite System,GNSS)确定。
其中,所述至少一种实时传感数据至少包括实时周视图像、实时单目前视图像或实时点云数据帧。
相应地,车端传感器可以包括周视相机、单目前视相机、360°视场角的机械雷达;具体地,周视相机可用于采集实时周视图像;单目前视相机可用于采集实时单目前视图像;360°视场角的机械雷达可用于采集实时点云数据帧。
S12、基于预设感知规则以及所述至少一种实时传感数据,确定关于所述目标路段的实时地图环境感知结果。
其中,所述实时地图环境感知结果至少包括表征所述目标路段的单帧栅格语义或单帧矢量。
其中,所述单帧栅格语义或单帧矢量中至少包括表征所述目标路段的路面元素的类别、位置、深度值以及占据概率的信息。
其中,所述路面元素至少包括车道标线、道路边界线、停止线、人行横道以及交通灯。
可选地,路面元素还可包括以下两个大类别:第一类,属于标精地图范畴,包括:道路几何(Road Geometry)、道路拓扑(Road Topology)、车道数目(Lane Count)、车道方向/类型(Lane Direction/Type)、车道交通限制(Lane Time/Speed Limit)等。第二类,属于高精地图范畴,包括:车道中心线几何(Lane Geometry)、车道边界几何(Lane EdgeGeometry)、车道拓扑(Lane Topology)、车道边界类型(Lane Edge Type)、红绿灯及停止线(Traffic Signal&Stopline)、地面要素及几何(Ground Element&Geometry)、交通标牌及几何(Traffic Sign&Geometry)等。
基于此,车辆端向服务端提供的地图环境感知结果中就可以包括车道级拓扑结构,进而后续建立的自动驾驶地图,可基于上述路面元素的类型具备相应的地图规格。
S13、在未接收到服务端下发的众源地图的情况下,响应于接收到用户触发的建图指令,将所述实时行驶状态数据以及所述实时地图环境感知结果上传至所述服务端,以使所述服务端基于所述实时行驶状态数据以及所述实时地图环境感知结果建立众源地图。
其中,所述服务端用于建立众源地图,并将所述众源地图下发给车辆端,以便于车辆在自动驾驶过程中使用。
另外,本公开对服务端的类型不作限定。例如,可以为云端服务器。
车辆端与服务端之间的通信方式可根据服务端的类型确定。例如,在服务端为云端服务器的情况下,则可以选择无线通信的方式。其中,无线通信可基于移动网络实现。
这里,需要说明的是,由于本公开的方案是基于众源数据建立自动驾驶地图(建图方法执行于云端服务器,具体将在下文中描述),自动驾驶地图即步骤S11-步骤S13中提及的众源地图。所述众源是指汇集多段时间多辆车多种传感器的数据,并不限制数据来源。因此要建立自动驾驶地图,首先就是获取车辆端对目标路段采集或处理所得的相关数据(即,实时行驶状态数据以及所述实时地图环境感知结果)。
而上述执行于车辆端处理器的步骤S11~S13的方法,就是在获取实时行驶状态数据以及所述实时地图环境感知结果,因此,在步骤S13中,需要将所述实时行驶状态数据以及所述实时地图环境感知结果上传至所述服务端。
进一步地,在步骤S11之前,方法还包括:响应于接收到用户触发的开启自动驾驶指令,向服务端发送众源地图的下发请求。
这里,用户可以采用语音、触控等方式,通过用户终端向车辆端发送开启自动驾驶指令。需要说明的是,本公开对“用户终端”不作限定。例如,可以为车载计算平台的显示器、车辆中控系统的显示器或者用户的移动终端(例如,智能手机、平板电脑等)。
如上所述,利用本公开上述实施例提供的用于建立自动驾驶地图的方法,可以基于车辆端获取关于目标路段的众源数据,为后续基于众源数据建立自动驾驶地图做好准备。
实施例二
在实施例一的基础上,请参照图2,用于建立自动驾驶地图的方法还包括以下步骤:
步骤S14、在接收到服务端下发的众源地图的情况下,利用所述实时地图环境感知结果与所述众源地图之间的比对差异确定所述目标路段的环境是否发生变化。
需要说明的是,本公开对实时地图环境感知结果与众源地图之间的比对差异的确定方法不作限定;例如,技术人员可以通过现有的图像相似度计算方法来确定实时地图环境感知结果与众源地图之间的比对差异。可以理解的是,在确定实时地图环境感知结果与众源地图之间的比对差异之后,可以根据比对差异确定目标路段的环境是否发生变化,本公开对根据比对差异确定目标路段的环境是否发生变化的具体实现方法不作限定,技术人员可以根据实际情况确定具体实现方法。
步骤S15、在目标路段的环境发生变化的情况下,将所述实时地图环境感知结果以及表征所述目标路段环境已变化的信息反馈给所述服务端,以提示所述服务端更新所述众源地图。
可以理解的是,由于下发给车辆端的众源地图,是利用先前经过此目标路段的车辆采集到的数据建立的,因此地图数据与现实道路环境变化比具有滞后性。
为了解决这一问题,利用步骤S15,在确定目标路段的环境已发生变化时可以及时告知服务端更新地图,从而可保证车辆端应用所述众源地图的自动驾驶效果。
步骤S16、在目标路段的环境未发生变化的情况下,利用所述众源地图对所述实时地图环境感知结果进行补充与校正。
需要说明的是,在步骤S16中,车辆端在执行关于目标路段的数据采集时,可能会由于遮挡或者视距等原因导致数据采集受限,进而影响实时地图环境感知结果的准确性,因此需要利用所述众源地图对所述实时地图环境感知结果进行补充与校正,以便于在自动驾驶中使用。例如,可以将实时地图环境感知结果中有误或者有遗漏的数据,进行修正或补全。
如上所述,利用本公开上述实施例提供的用于建立自动驾驶地图的方法,一方面可以基于车辆端获取关于目标路段的众源数据,为后续基于众源数据建立自动驾驶地图做好准备;另一方面还可以在确定目标路段的环境已发生变化时,及时告知服务端更新地图,从而可保证车辆端应用所述众源地图的自动驾驶效果。
实施例三
在实施例一的基础上,根据情况,步骤S12可通过多种可用的方式实现:
例如,在传感数据的类型为实时周视图像的情况下,可利用预设BEV感知网络,从所述实时周视图像中提取关于所述目标路段的路面元素特征,作为所述实时地图环境感知结果;其中,所述预设BEV感知网络是基于神经网络预先训练得到。又例如,在传感数据的类型为实时单目前视图像的情况下,可利用预设前视感知网络,从所述实时单目前视图像中提取关于所述目标路段的路面元素特征,作为所述实时地图环境感知结果;其中,所述预设前视感知网络是基于神经网络预先训练得到。又例如,在传感数据的类型为实时点云数据帧的情况下,可利用预设点云分割模型,从所述实时点云数据帧中提取关于所述目标路段的路面元素特征,作为实时地图环境感知结果;其中,所述预设点云分割模型是基于神经网络预先训练得到。
可以理解的是,本公开的上述实施例中,由于可采用预设前视感知网络对单目前视图像进行处理,即可在传感数据的类型为单目前视图像的情况下,确定实时地图环境感知结果;不需要要依赖相机内外参以及也不受限于定位精度。
关于上述预设BEV感知网络、预设前视感知网络以及预设点云分割模型的预先训练过程,其基本逻辑类似,主要区别在于训练样本数据集的不同,从而决定了训练所得模型的功能不同。
作为一个示例,下面以BEV感知网络为例,概述其训练过程:
1)建立训练样本数据集,包括:获取针对某一路段的若干幅周视图像,作为样本输入数据;针对每幅周视图像,确定在鸟瞰图视角下的路面元素的标注结果,作为样本真值(即,用于与BEV感知网络预测结果进行比对);2)初始BEV感知网络的层级构建,包括:初始BEV感知网络可包括顺序级联的编码单元、特征提取单元以及解码单元;其中,上述各单元内部又可包括顺序级联的输入层、隐藏层以及输出层;另外,为初始BEV感知网络的各层配置初始参数;3)训练执行,包括:将所述样本输入数据输入给所述初始BEV感知网络,得到预测结果;基于预测结果与样本真值的差异,构建目标函数;按使得所述目标函数收敛的方向,迭代优化所述初始BEV感知网络的初始参数,直至所述目标函数收敛,得到所述BEV感知网络。
需要说明的是,目标函数用于衡量模型预测结果与真实结果之间的差距,表示为损失函数。本公开对目标函数不作限定;例如目标函数可以为平方误差损失函数、均方误差损失函数或者交叉熵损失函数等,技术人员可以根据实际需要自行确定具体的损失函数。
如上所述,即可以确定关于所述目标路段的实时地图环境感知结果,进而为后续基于众源数据建立自动驾驶地图做好数据支撑。
实施例四
图3是本公开一示例性实施例提供的用于建立自动驾驶地图的方法流程示意图。本实施例可应用在电子设备(例如,云端服务器)上,如图3所示,用于建立自动驾驶地图的方法包括如下步骤:
S21、响应于接收到由至少一个车辆端发送的实时行驶状态数据及实时地图环境感知结果,利用预设规则,确定与目标路段关联的区域整体栅格地图以及所述车辆的实时行驶状态数据的校正结果。
其中,作为执行步骤S21的执行主体的服务端(例如,云端服务器),可基于无线通信的方式从车辆端接收实时行驶状态数据及实时地图环境感知结果。其中,无线通信可基于移动网络实现。
其中,所述目标路段为与所述实时行驶状态数据匹配的路段。
可选地,所述区域整体栅格地图中的每个栅格可包括多种概率,每种概率表征路面元素的一种属性,所述属性至少包括类别、位置、高度。
S22、利用预设矢量化规则,对所述区域整体栅格地图以及所述校正结果执行矢量化,得到关于所述目标路段的自动驾驶地图。
其中,矢量化包括:将区域整体栅格地图中各路面元素的点集转换为直线、曲线、多边形等描述矢量。
需要说明的是,预设矢量化规则具体可根据实际需求来进行设定,在本实施例中不进行特殊限定。
S23、将所述自动驾驶地图下发给车辆端。
可以理解的是,所述自动驾驶地图下发给车辆端,可使得车辆端利用所述自动驾驶地图作为众源地图,进而利用所述实时地图环境感知结果与所述众源地图之间的比对差异确定所述目标路段的环境是否发生变化;在所述目标路段的环境发生变化的情况下,将所述实时地图环境感知结果以及表征所述目标路段环境已变化的信息反馈给所述服务端,以提示所述服务端更新所述众源地图;在所述目标路段的环境未发生变化的情况下,利用所述众源地图对所述实时地图环境感知结果进行补充与校正。
如上所述,利用本公开上述实施例提供的用于建立自动驾驶地图的方法,可以基于获取的多个车辆端的数据(即,实时行驶状态数据及实时地图环境感知结果)建立自动驾驶地图,即实现众源建图,从而无需利用专业的采集车即可建立并更新自动驾驶地图,降低了成本,同时也能够提高建立及更新自动驾驶地图的效率、保证自动驾驶地图的鲜度。其中,由于车辆端发送的实时地图环境感知结果中可以包括车道级拓扑结构(具体参见实施例一中的相应内容);因此建立的所述自动驾驶地图也就相应地具备了车道级拓扑结构;弥补了现有技术的空白,即在自动驾驶地图中支持车道级拓扑结构。
并且,由于对接收到的实时行驶状态数据进行了校正,因此保证了不同车辆端对同一目标路段的实时地图环境感知结果的重入一致性,进而也就保证了基于此建立的所述自动驾驶地图的精准度。
另外,由于执行本公开上述实施例提供的用于建立自动驾驶地图的方法,不需要在车辆端配置安装专业采集装置,仅需在车辆端安装周视相机、单目前视相机或者360°视场角的机械雷达中的任意一种设备即可建立自动驾驶地图,同时也不仅限于海量图片才可实施,因此降低了成本,有利于大规模应用。
实施例五
在实施例四的基础上,作为一可选示例,所述实时行驶状态数据可至少包括所述车辆的实时速度、实时里程计数据、实时位姿、实时惯性测量单元数据。
作为一可选示例,参照图4,步骤S21可包括如下步骤:
S2110、利用实时地图环境感知结果、实时速度、实时里程计数据以及实时惯性测量单元数据,以语义栅格即时定位与地图构建方式建立与目标路段关联的区域整体栅格地图。
其中,所述区域整体栅格地图中的每个栅格包括多种概率,每种概率表征路面元素的一种属性,所述属性至少包括类别、位置、高度;
其中,所述实时地图环境感知结果至少包括表征所述目标路段的单帧栅格语义或单帧矢量;所述单帧栅格语义或单帧矢量中至少包括表征所述目标路段的路面元素的类别、位置、深度值以及占据概率的信息;所述路面元素至少包括车道标线、道路边界线、停止线、人行横道以及交通灯;所述校正结果至少包括校正轨迹和/或校正矢量。
这里,语义栅格SLAM是2.5D语义栅格SLAM。
其中,2.5D语义栅格SLAM算法执行过程中每个子图内部仍然是2D(即,平面)的,但是子图本身有高度,这样即不破坏原有的2D算法,又能正常表达路面立交关系。
参照图6,作为一个子栅格地图,整个子栅格地图高度属性赋值为20,假设另一个子栅格地图高度属性赋值为15,并且两个子栅格地图的2D平面坐标(x,y)是相同的,那就说明这两个子栅格地图从BEV视角看是重叠的,由于前一子栅格地图的高度更高,所以前一子栅格地图表征的是在后一子栅格地图的上方道路。
作为一个示例,利用2.5D语义栅格SLAM建图过程可概述为以下两个步骤:
第一步、前端匹配:
具体地,对接收到的每个实时地图环境感知结果,基于对应的实时里程计数据、每个实时地图环境感知结果所表示的占据概率图,进行匹配和回环检测;将重合概率最大的占据概率图对应实时地图环境感知结果,作为匹配的实时地图环境感知结果。
第二步、后端优化:
针对第一步匹配的每个实时地图环境感知结果,利用与其对应的车辆的实时惯性测量单元(IMU)数据、实时速度、实时位姿,执行因子图优化。
基于上述两个步骤执行多次迭代后,即可得到所述与目标路段关联的区域整体栅格地图。
另外,在上述建图过程中,当对实时地图环境感知结果识别为前景(hit)时则增加占据概率,识别为背景(miss)时则降低占据概率。
S2120、利用所述区域整体栅格地图,对所述实时位姿进行校正,得到所述校正结果。
需要说明的是,对车辆端上传的实时位姿进行累计,即可得到车辆端的行驶轨迹。可选地,所述校正结果可以是行驶轨迹的校正结果。
如上所述,基于2.5D语义栅格SLAM建立与目标路段关联的区域整体栅格地图的过程中,可以实现对车辆端的实时地图环境感知结果的定位校准,从而保证所得区域整体栅格地图的准确度。
作为一可选示例,参照图5,步骤S22可包括如下步骤:
S2210、对所述目标路段进行识别,得到所述目标路段的路口和路中。
可选地,步骤S2210可通过如下方式实现:获取关于所述目标路段的历史轨迹、标准导航地图;其中,所述历史轨迹是在当前时刻之前由所述至少一个车辆端回传的行驶轨迹;利用所述区域整体栅格地图、关于所述目标路段的历史轨迹以及标准导航地图,确定出所述目标路段的路口和路中。
S2220、基于所述区域整体栅格地图以及所述校正结果,对所述路中进行矢量化,得到表征所述路中的道路矢量化地图。
根据情况,步骤S2220可通过多种可用的方式实现:
例如,在车辆端的传感器设备包括激光雷达的情况下,可以利用所述区域整体栅格地图以及所述校正轨迹,对所述路中进行整体车道生成,得到表征所述路中的道路矢量化地图。
由于激光雷达提供的点云数据精度高,因此可以直接进行全局矢量生成,即进行整体车道生成。
又例如,在实时地图环境感知结果已经是矢量化结果的情况下,可以利用所述校正矢量,对所述路中进行矢量合并以及属性赋值,得到表征所述路中的道路矢量化地图。
由于在执行SLAM之前,已经将矢量转换为栅格,因此这里可以直接针对矢量进行合并。
又例如,在车辆端的传感器设备仅有相机的情况下,可以对利用所述区域整体栅格地图进行数据切分,得到多幅单帧栅格地图;针对每幅单帧栅格地图,基于预设单帧矢量化模型以及所述校正轨迹,对该幅单帧栅格地图进行矢量化,得到单帧矢量化地图;其中,所述预设单帧矢量化模型是基于神经网络预先训练得到;基于多幅单帧矢量化地图,对所述路中进行矢量合并以及属性赋值,得到表征所述路中的道路矢量化地图。
其中,数据切分可以固定宽度窗口,均匀地在所述区域整体栅格地图上进行滑动,以切分出多幅单帧栅格地图,其中,相邻的两幅单帧栅格地图之间的共视区域可以为一个合理阈值,例如0。
这里,通过将数据切分、识别、合并的方式,尽可能降低实时地图环境感知结果错误对建立自动驾驶地图的影响。
另外,关于上述预设单帧矢量化模型的训练,其逻辑与前述关于BEV感知网络的训练逻辑类似,区别主要在于样本数据集不同。因此具体内容可参照前述BEV感知网络的相关内容,这里不再进行重复赘述。
可选地,所述预设单帧矢量化模型例如可以包括但不限于HDMapNet,MapTR。
S2230、将所述路口接入所述道路矢量化地图;
S2240、识别所述道路矢量化地图中车道数,并进行分幅处理,得到所述自动驾驶地图。
这里,在所述路口接入所述道路矢量化地图后,可通过轨迹合并、道路边界处理划分出道路;然后从划分的道路中识别出车道线数量,即可判断出所述道路上有多少车道。
参照图7,路口连接四条道路中,东北-西南方向道路包括双向3车道;西北-东南方向道路包括双向2车道。
其中,该实例中所述以平行纸面竖直向上为方向“北”,基于此确定上述图7中的道路方向。
在上述实施例的基础上,作为一可选示例,所述方法还包括:响应于接收到至少一个车辆端发送的表征所述目标路段环境已变化的信息以及对应的地图环境感知结果,获取多个其他车辆关于所述目标路段的地图环境感知结果;响应于基于多个其他车辆的地图环境感知结果确定所述目标路段环境已变化,则根据所述目标路段的最新地图环境感知结果,更新所述自动驾驶地图。
可以理解的是,利用该实例方法,可以及时、快速、精准地对所述自动驾驶地图进行局部更新,从而可以更好地为车辆端提供导航。
如上所述,利用本公开上述实施例提供的用于建立自动驾驶地图的方法,可以基于获取的多个车辆端的数据(即,实时行驶状态数据及实时地图环境感知结果)建立自动驾驶地图,即实现众源建图,从而无需利用专业的采集车即可建立并更新自动驾驶地图,降低了成本,同时能够提高建立及更新自动驾驶地图的效率、保证自动驾驶地图的鲜度。其中,由于车辆端发送的实时地图环境感知结果中可以包括车道级拓扑结构(具体参见实施例一中的相应内容);因此建立的所述自动驾驶地图也就相应地具备了车道级拓扑结构;弥补了现有技术的空白,即在自动驾驶地图中支持车道级拓扑结构。
并且,由于对接收到的实时行驶状态数据进行了校正,因此保证了不同车辆端对同一目标路段的实时地图环境感知结果的重入一致性,进而也就保证了基于此建立的所述自动驾驶地图的精准度。
另外,由于执行本公开上述实施例提供的用于建立自动驾驶地图的方法,不需要在车辆端配置安装专业采集装置,仅需在车辆端安装周视相机、单目前视相机或者360°视场角的机械雷达中的任意一种设备即可建立自动驾驶地图,同时也不仅限于海量图片才可实施,因此降低了成本,有利于大规模应用。
实施例六
应理解,本文中前述实施例关于用于建立自动驾驶地图的方法也可类似地应用于以下关于用于建立自动驾驶地图的装置中进行类似扩展;为简化起见,未对其进行详细描述。
图8是本公开一示例性实施例提供的用于建立自动驾驶地图的装置(布置于车辆端)的结构示意图。参照图8,所述用于建立自动驾驶地图的装置,包括:众源数据获取模块310,被配置为:获取车辆在目标路段的实时行驶状态数据、所述车辆在所述目标路段的行驶过程中由车端传感器采集的关于目标路段的至少一种实时传感数据;地图环境感知模块320,被配置为:基于预设感知规则以及所述至少一种实时传感数据,确定关于所述目标路段的实时地图环境感知结果;上传模块330,被配置为:在未接收到服务端下发的众源地图的情况下,响应于接收到用户触发的建图指令,将所述实时行驶状态数据以及所述实时地图环境感知结果上传至所述服务端,以使所述服务端基于所述实时行驶状态数据以及所述实时地图环境感知结果建立众源地图。
可选地,装置还包括更新校正模块,更新校正模块,被配置为:在接收到服务端下发的众源地图的情况下,利用所述实时地图环境感知结果与所述众源地图之间的比对差异确定所述目标路段的环境是否发生变化;在所述目标路段的环境发生变化的情况下,将所述实时地图环境感知结果以及表征所述目标路段环境已变化的信息反馈给所述服务端,以提示所述服务端更新所述众源地图;在所述目标路段的环境未发生变化的情况下,利用所述众源地图对所述实时地图环境感知结果进行补充与校正。
可选地,所述实时行驶状态数据至少包括所述车辆的实时速度、实时里程计数据、实时位姿、实时惯性测量单元数据;所述至少一种实时传感数据至少包括实时周视图像、实时单目前视图像或实时点云数据帧。
可选地,在传感数据的类型为实时周视图像的情况下,地图环境感知模块320,被进一步配置为:利用预设BEV感知网络,从所述实时周视图像中提取关于所述目标路段的路面元素特征,作为所述实时地图环境感知结果;其中,所述预设BEV感知网络是基于神经网络预先训练得到。
可选地,在传感数据的类型为实时单目前视图像的情况下,地图环境感知模块320,被进一步配置为:利用预设前视感知网络,从所述实时单目前视图像中提取关于所述目标路段的路面元素特征,作为所述实时地图环境感知结果;其中,所述预设前视感知网络是基于神经网络预先训练得到。
可选地,在传感数据的类型为实时点云数据帧的情况下,地图环境感知模块320,被进一步配置为:利用预设点云分割模型,从所述实时点云数据帧中提取关于所述目标路段的路面元素特征,作为所述实时地图环境感知结果;其中,所述预设点云分割模型是基于神经网络预先训练得到。
可选地,所述实时地图环境感知结果至少包括表征所述目标路段的单帧栅格语义或单帧矢量;其中,所述单帧栅格语义或单帧矢量中至少包括表征所述目标路段的路面元素的类别、位置、深度值以及占据概率的信息;所述路面元素至少包括车道标线、道路边界线、停止线、人行横道以及交通灯。
实施例七
应理解,本文中前述实施例关于用于建立自动驾驶地图的方法也可类似地应用于以下关于用于建立自动驾驶地图的装置中进行类似扩展;为简化起见,未对其进行详细描述。
图9是本公开一示例性实施例提供的用于建立自动驾驶地图的装置(布置于服务端)的结构示意图。参照图9,所述用于建立自动驾驶地图的装置,包括:众源数据处理模块410,被配置为:响应于接收到由至少一个车辆端发送的实时行驶状态数据及地图环境感知结果,利用预设规则,确定与目标路段关联的区域整体栅格地图以及所述车辆的实时行驶状态数据的校正结果;其中,所述目标路段为与所述实时行驶状态数据匹配的路段;矢量化模块420,被配置为:利用预设矢量化规则,对所述区域整体栅格地图以及所述校正结果执行矢量化,得到关于所述目标路段的自动驾驶地图;下发模块430,被配置为:将所述自动驾驶地图下发给车辆端。
可选地,所述实时行驶状态数据至少包括所述车辆的实时速度、实时里程计数据、实时位姿、实时惯性测量单元数据。
可选地,参照图10,众源数据处理模块410,包括:栅格地图构建子模块4110,被配置为:利用实时地图环境感知结果、实时速度、实时里程计数据以及实时惯性测量单元数据,以语义栅格即时定位与地图构建方式建立与目标路段关联的区域整体栅格地图;其中,所述区域整体栅格地图中的每个栅格包括多种概率,每种概率表征路面元素的一种属性,所述属性至少包括类别、位置、高度;位姿校正子模块4120,被配置为:利用所述区域整体栅格地图,对所述实时位姿进行校正,得到所述校正结果。
可选地,参照图11,矢量化模块420,包括:路口识别子模块4210,被配置为:对所述目标路段进行识别,得到所述目标路段的路口和路中;矢量化执行子模块4220,被配置为:基于所述区域整体栅格地图以及所述校正结果,对所述路中进行矢量化,得到表征所述路中的道路矢量化地图;路口挂接子模块4230,被配置为:将所述路口接入所述道路矢量化地图;分幅处理子模块4240,被配置为:识别所述道路矢量化地图中车道数,并进行分幅处理,得到所述自动驾驶地图。
可选地,路口识别子模块4210,被进一步配置为:获取关于所述目标路段的历史轨迹、标准导航地图;其中,所述历史轨迹是在当前时刻之前由所述至少一个车辆端回传的行驶轨迹;利用所述区域整体栅格地图、关于所述目标路段的历史轨迹以及标准导航地图,确定出所述目标路段的路口和路中。
可选地,所述实时地图环境感知结果至少包括表征所述目标路段的单帧栅格语义或单帧矢量;其中,所述单帧栅格语义或单帧矢量中至少包括表征所述目标路段的路面元素的类别、位置、深度值以及占据概率的信息;所述路面元素至少包括车道标线、道路边界线、停止线、人行横道以及交通灯;所述校正结果至少包括校正轨迹和/或校正矢量;
可选地,矢量化执行子模块4220,被进一步配置为:利用所述区域整体栅格地图以及所述校正轨迹,对所述路中进行整体车道生成,得到表征所述路中的道路矢量化地图;或者,利用所述校正矢量,对所述路中进行矢量合并以及属性赋值,得到表征所述路中的道路矢量化地图;或者,对利用所述区域整体栅格地图进行数据切分,得到多幅单帧栅格地图;针对每幅单帧栅格地图,基于预设单帧矢量化模型以及所述校正轨迹,对该幅单帧栅格地图进行矢量化,得到单帧矢量化地图;其中,所述预设单帧矢量化模型是基于神经网络预先训练得到;基于多幅单帧矢量化地图,对所述路中进行矢量合并以及属性赋值,得到表征所述路中的道路矢量化地图。
可选地,参照图9,所述装置还包括:更新执行模块,被配置为:响应于接收到至少一个车辆端发送的表征所述目标路段环境已变化的信息以及对应的地图环境感知结果,获取多个其他车辆关于所述目标路段的地图环境感知结果;响应于基于多个其他车辆的地图环境感知结果确定所述目标路段环境已变化,则根据所述目标路段的最新地图环境感知结果,更新所述自动驾驶地图。
实施例八
本公开一示例性实施例提供一种车辆,包括本公开前述实施例六提供的用于建立自动驾驶地图的装置。
实施例九
本公开一示例性实施例提供一种服务器,包括本公开前述实施例七提供的用于建立自动驾驶地图的装置。其中,所述服务器可以为云平台服务器。
实施例十
另外,本公开实施例还提供了一种电子设备,包括:存储器,用于存储计算机程序;处理器,用于执行所述存储器中存储的计算机程序,且所述计算机程序被执行时,实现本公开上述任一实施例所述的用于建立自动驾驶地图的方法。
图12是本公开电子设备一个应用实施例的结构示意图。下面,参考图12来描述根据本公开实施例的电子设备。该电子设备可以是第一设备和第二设备中的任一个或两者、或与它们独立的单机设备,该单机设备可以与第一设备和第二设备进行通信,以从它们接收所采集到的输入信号。
如图12所示,电子设备包括一个或多个处理器和存储器。处理器可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元,并且可以控制电子设备中的其他组件以执行期望的功能。存储器可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器可以运行所述程序指令,以实现上文所述的本公开的各个实施例的用于建立导航地图的方法以及/或者其他期望的功能。
在一个示例中,电子设备还可以包括:输入装置和输出装置,这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。此外,该输入设备还可以包括例如键盘、鼠标等等。该输出装置可以向外部输出各种信息,包括确定出的距离信息、方向信息等。该输出设备可以包括例如显示器、扬声器、打印机以及通信网络及其所连接的远程输出设备等等。
当然,为了简化,图12中仅示出了该电子设备中与本公开有关的组件中的一些,省略了诸如总线、输入/输出接口等等的组件。除此之外,根据具体应用情况,电子设备还可以包括任何其他适当的组件。
除了上述方法和设备以外,本公开的实施例还可以是计算机程序产品,其包括计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述部分中描述的根据本公开各种实施例的用于建立导航地图的方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如Java、C++等,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外,本公开的实施例还可以是计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述部分中描述的根据本公开各种实施例的用于建立导航地图的方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上结合具体实施例描述了本公开的基本原理,但是,需要指出的是,在本公开中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限制本公开为必须采用上述具体的细节来实现。
本说明书中各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言,由于其与方法实施例基本对应,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的,可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。
可能以许多方式来实现本公开的方法和装置。例如,可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明,本公开的方法的步骤不限于以上具体描述的顺序,除非以其它方式特别说明。此外,在一些实施例中,还可将本公开实施为记录在记录介质中的程序,这些程序包括用于实现根据本公开的方法的机器可读指令。因而,本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
还需要指出的是,在本公开的装置、设备和方法中,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的,并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此,本公开不意图被限制到在此示出的方面,而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (8)
1.一种用于建立自动驾驶地图的方法,包括:
响应于接收到由至少一个车辆端发送的实时行驶状态数据及实时地图环境感知结果,利用预设规则,确定与目标路段关联的区域整体栅格地图以及所述车辆端的实时行驶状态数据的校正结果;
其中,所述目标路段为与所述实时行驶状态数据匹配的路段;所述实时行驶状态数据至少包括所述车辆端的实时速度、实时里程计数据、实时位姿、实时惯性测量单元数据;所述实时地图环境感知结果至少包括表征所述目标路段的单帧栅格语义或单帧矢量,所述单帧栅格语义或单帧矢量中至少包括表征所述目标路段的路面元素的类别、位置、深度值以及占据概率的信息;所述路面元素至少包括车道标线、道路边界线、停止线、人行横道以及交通灯,以使所述实时地图环境感知结果包括车道级拓扑结构;所述校正结果至少包括校正轨迹和/或校正矢量;所述利用预设规则,确定与目标路段关联的区域整体栅格地图以及所述车辆端的实时行驶状态数据的校正结果,包括:利用实时地图环境感知结果、实时速度、实时里程计数据以及实时惯性测量单元数据,以语义栅格即时定位与地图构建方式建立与目标路段关联的区域整体栅格地图,利用所述区域整体栅格地图,对所述实时位姿进行校正,得到所述校正结果;所述以语义栅格即时定位与地图构建方式建立与目标路段关联的区域整体栅格地图,包括:基于前端匹配步骤和后端优化步骤执行多次迭代,建立与目标路段关联的区域整体栅格地图;所述前端匹配步骤包括:对接收到的每个实时地图环境感知结果,基于对应的实时里程计数据、每个实时地图环境感知结果所表示的占据概率图,进行匹配和回环检测,将重合概率最大的占据概率图对应的实时地图环境感知结果,作为匹配的实时地图环境感知结果;所述后端优化步骤包括:针对匹配的每个实时地图环境感知结果,利用与其对应的实时惯性测量单元数据、实时速度、实时位姿,执行因子图优化;
获取关于所述目标路段的历史轨迹、标准导航地图;其中,所述历史轨迹是在当前时刻之前由所述至少一个车辆端回传的行驶轨迹;
利用所述区域整体栅格地图、关于所述目标路段的历史轨迹以及标准导航地图,确定出所述目标路段的路口和路中;
基于所述区域整体栅格地图以及所述校正结果,对所述路中进行矢量化,得到表征所述路中的道路矢量化地图;其中,所述基于所述区域整体栅格地图以及所述校正结果,对所述路中进行矢量化,得到表征所述路中的道路矢量化地图包括:利用所述区域整体栅格地图以及所述校正轨迹,对所述路中进行整体车道生成,得到表征所述路中的道路矢量化地图;或者,利用所述校正矢量,对所述路中进行矢量合并以及属性赋值,得到表征所述路中的道路矢量化地图;或者,利用所述区域整体栅格地图进行数据切分,得到多幅单帧栅格地图,针对每幅单帧栅格地图,基于预设单帧矢量化模型以及所述校正轨迹,对该幅单帧栅格地图进行矢量化,得到单帧矢量化地图,基于多幅单帧矢量化地图,对所述路中进行矢量合并以及属性赋值,得到表征所述路中的道路矢量化地图;
将所述路口接入所述道路矢量化地图;
识别所述道路矢量化地图中车道数,并进行分幅处理,得到所述自动驾驶地图;其中,所述识别道路矢量化地图中车道数包括:通过轨迹合并、道路边界处理划分出道路,从划分的道路中识别出车道线数量,根据所述车道线数量确定道路矢量化地图中的车道数;
将所述自动驾驶地图下发给车辆端。
2.根据权利要求1所述的方法,
其中,所述区域整体栅格地图中的每个栅格包括多种概率,每种概率表征路面元素的一种属性,所述属性至少包括类别、位置、高度。
3.根据权利要求1所述的方法,
其中,所述预设单帧矢量化模型是基于神经网络预先训练得到。
4.根据权利要求1所述的方法,其中,所述方法还包括:
响应于接收到至少一个车辆端发送的表征所述目标路段环境已变化的信息以及对应的地图环境感知结果,获取多个其他车辆关于所述目标路段的地图环境感知结果;
响应于基于多个其他车辆的地图环境感知结果确定所述目标路段环境已变化,则根据所述目标路段的最新地图环境感知结果,更新所述自动驾驶地图。
5.一种用于建立自动驾驶地图的装置,包括:
众源数据处理模块,被配置为:响应于接收到由至少一个车辆端发送的实时行驶状态数据及实时地图环境感知结果,利用预设规则,确定与目标路段关联的区域整体栅格地图以及所述车辆端的实时行驶状态数据的校正结果;其中,所述目标路段为与所述实时行驶状态数据匹配的路段;所述实时行驶状态数据至少包括所述车辆端的实时速度、实时里程计数据、实时位姿、实时惯性测量单元数据;所述实时地图环境感知结果至少包括表征所述目标路段的单帧栅格语义或单帧矢量,所述单帧栅格语义或单帧矢量中至少包括表征所述目标路段的路面元素的类别、位置、深度值以及占据概率的信息;所述路面元素至少包括车道标线、道路边界线、停止线、人行横道以及交通灯,以使所述实时地图环境感知结果包括车道级拓扑结构;所述校正结果至少包括校正轨迹和/或校正矢量;所述利用预设规则,确定与目标路段关联的区域整体栅格地图以及所述车辆端的实时行驶状态数据的校正结果,包括:利用实时地图环境感知结果、实时速度、实时里程计数据以及实时惯性测量单元数据,以语义栅格即时定位与地图构建方式建立与目标路段关联的区域整体栅格地图,利用所述区域整体栅格地图,对所述实时位姿进行校正,得到所述校正结果;所述以语义栅格即时定位与地图构建方式建立与目标路段关联的区域整体栅格地图,包括:基于前端匹配步骤和后端优化步骤执行多次迭代,建立与目标路段关联的区域整体栅格地图;所述前端匹配步骤包括:对接收到的每个实时地图环境感知结果,基于对应的实时里程计数据、每个实时地图环境感知结果所表示的占据概率图,进行匹配和回环检测,将重合概率最大的占据概率图对应的实时地图环境感知结果,作为匹配的实时地图环境感知结果;所述后端优化步骤包括:针对匹配的每个实时地图环境感知结果,利用与其对应的实时惯性测量单元数据、实时速度、实时位姿,执行因子图优化;
矢量化模块,被配置为:获取关于所述目标路段的历史轨迹、标准导航地图;利用所述区域整体栅格地图、关于所述目标路段的历史轨迹以及标准导航地图,确定出所述目标路段的路口和路中;基于所述区域整体栅格地图以及所述校正结果,对所述路中进行矢量化,得到表征所述路中的道路矢量化地图;将所述路口接入所述道路矢量化地图;识别所述道路矢量化地图中车道数,并进行分幅处理,得到所述自动驾驶地图;其中,所述历史轨迹是在当前时刻之前由所述至少一个车辆端回传的行驶轨迹;所述识别道路矢量化地图中车道数包括:通过轨迹合并、道路边界处理划分出道路,从划分的道路中识别出车道线数量,根据所述车道线数量确定道路矢量化地图中的车道数;所述基于所述区域整体栅格地图以及所述校正结果,对所述路中进行矢量化,得到表征所述路中的道路矢量化地图包括:利用所述区域整体栅格地图以及所述校正轨迹,对所述路中进行整体车道生成,得到表征所述路中的道路矢量化地图;或者,利用所述校正矢量,对所述路中进行矢量合并以及属性赋值,得到表征所述路中的道路矢量化地图;或者,利用所述区域整体栅格地图进行数据切分,得到多幅单帧栅格地图,针对每幅单帧栅格地图,基于预设单帧矢量化模型以及所述校正轨迹,对该幅单帧栅格地图进行矢量化,得到单帧矢量化地图,基于多幅单帧矢量化地图,对所述路中进行矢量合并以及属性赋值,得到表征所述路中的道路矢量化地图;
下发模块,被配置为:将所述自动驾驶地图下发给车辆端。
6.一种服务器,包括权利要求5所述的用于建立自动驾驶地图的装置。
7.一种电子设备,所述电子设备包括:
处理器;用于存储所述处理器可执行指令的存储器;
所述处理器,用于从所述存储器中读取所述可执行指令,并执行所述指令以实现上述权利要求1至4任一所述的用于建立自动驾驶地图的方法。
8.一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序用于执行上述权利要求1至4任一所述的用于建立自动驾驶地图的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311146249.9A CN116878487B (zh) | 2023-09-07 | 2023-09-07 | 一种用于建立自动驾驶地图的方法、装置、车辆和服务器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311146249.9A CN116878487B (zh) | 2023-09-07 | 2023-09-07 | 一种用于建立自动驾驶地图的方法、装置、车辆和服务器 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116878487A CN116878487A (zh) | 2023-10-13 |
CN116878487B true CN116878487B (zh) | 2024-01-19 |
Family
ID=88262591
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311146249.9A Active CN116878487B (zh) | 2023-09-07 | 2023-09-07 | 一种用于建立自动驾驶地图的方法、装置、车辆和服务器 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116878487B (zh) |
Citations (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10120997A1 (de) * | 2001-04-28 | 2002-10-31 | Bosch Gmbh Robert | Navigationsverfahren und Navigationseinrichtung für ein Kraftfahrzeug |
CN106908775A (zh) * | 2017-03-08 | 2017-06-30 | 同济大学 | 一种基于激光反射强度的无人车实时定位方法 |
CN109278752A (zh) * | 2018-09-26 | 2019-01-29 | 郑州轻工业学院 | 基于合作感知的插电式混合动力汽车能量优化控制方法 |
CN111402588A (zh) * | 2020-04-10 | 2020-07-10 | 河北德冠隆电子科技有限公司 | 基于时空轨迹重构异常道路高精地图快速生成系统与方法 |
CN111583630A (zh) * | 2020-04-10 | 2020-08-25 | 河北德冠隆电子科技有限公司 | 基于时空轨迹重构全新道路高精地图快速生成系统与方法 |
CN113052966A (zh) * | 2021-03-05 | 2021-06-29 | 清华大学 | 自动驾驶众包高精度地图更新方法、系统及介质 |
CN113734176A (zh) * | 2021-09-18 | 2021-12-03 | 重庆长安汽车股份有限公司 | 智能驾驶车辆的环境感知系统、方法、车辆及存储介质 |
CN113932801A (zh) * | 2021-11-24 | 2022-01-14 | 王程 | 基于众包的辅助驾驶地图实时匹配更新方法 |
CN114096804A (zh) * | 2019-06-13 | 2022-02-25 | 株式会社电装 | 地图数据生成系统、数据中心以及车载装置 |
CN115127572A (zh) * | 2022-06-07 | 2022-09-30 | 天津优控智行科技有限公司 | 一种露天矿无人驾驶道路的路径生成和更新方法 |
CN115435798A (zh) * | 2022-07-29 | 2022-12-06 | 深圳亿嘉和科技研发有限公司 | 无人车高精地图路网生成系统及方法 |
CN115564865A (zh) * | 2022-07-21 | 2023-01-03 | 重庆长安汽车股份有限公司 | 一种众包高精地图的构建方法、系统、电子设备及车辆 |
CN115830254A (zh) * | 2022-11-23 | 2023-03-21 | 北京易控智驾科技有限公司 | 地图更新方法、装置、无人车以及系统 |
CN115855084A (zh) * | 2022-11-30 | 2023-03-28 | 北京百度网讯科技有限公司 | 地图数据融合方法、装置、电子设备及自动驾驶产品 |
CN115962774A (zh) * | 2023-01-17 | 2023-04-14 | 智道网联科技(北京)有限公司 | 点云地图更新方法、装置及电子设备、存储介质 |
CN116129066A (zh) * | 2022-12-21 | 2023-05-16 | 浙江大学 | 基于数字孪生的自动驾驶高精度地图模型及高精度静态地图制作方法 |
CN116304995A (zh) * | 2023-05-24 | 2023-06-23 | 山东哈工卓越智能有限公司 | 基于遗传算法的地图边界优化数据融合方法、定位系统 |
CN116337045A (zh) * | 2023-03-31 | 2023-06-27 | 山东大学 | 一种基于karto和teb的高速建图导航方法 |
CN116679698A (zh) * | 2023-05-23 | 2023-09-01 | 河北全道科技有限公司 | 用于车辆的自动驾驶方法、装置、车辆、设备和介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11269352B2 (en) * | 2017-12-15 | 2022-03-08 | Baidu Usa Llc | System for building a vehicle-to-cloud real-time traffic map for autonomous driving vehicles (ADVS) |
-
2023
- 2023-09-07 CN CN202311146249.9A patent/CN116878487B/zh active Active
Patent Citations (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10120997A1 (de) * | 2001-04-28 | 2002-10-31 | Bosch Gmbh Robert | Navigationsverfahren und Navigationseinrichtung für ein Kraftfahrzeug |
CN106908775A (zh) * | 2017-03-08 | 2017-06-30 | 同济大学 | 一种基于激光反射强度的无人车实时定位方法 |
CN109278752A (zh) * | 2018-09-26 | 2019-01-29 | 郑州轻工业学院 | 基于合作感知的插电式混合动力汽车能量优化控制方法 |
CN114096804A (zh) * | 2019-06-13 | 2022-02-25 | 株式会社电装 | 地图数据生成系统、数据中心以及车载装置 |
CN111583630A (zh) * | 2020-04-10 | 2020-08-25 | 河北德冠隆电子科技有限公司 | 基于时空轨迹重构全新道路高精地图快速生成系统与方法 |
CN111402588A (zh) * | 2020-04-10 | 2020-07-10 | 河北德冠隆电子科技有限公司 | 基于时空轨迹重构异常道路高精地图快速生成系统与方法 |
CN113052966A (zh) * | 2021-03-05 | 2021-06-29 | 清华大学 | 自动驾驶众包高精度地图更新方法、系统及介质 |
CN113734176A (zh) * | 2021-09-18 | 2021-12-03 | 重庆长安汽车股份有限公司 | 智能驾驶车辆的环境感知系统、方法、车辆及存储介质 |
CN113932801A (zh) * | 2021-11-24 | 2022-01-14 | 王程 | 基于众包的辅助驾驶地图实时匹配更新方法 |
CN115127572A (zh) * | 2022-06-07 | 2022-09-30 | 天津优控智行科技有限公司 | 一种露天矿无人驾驶道路的路径生成和更新方法 |
CN115564865A (zh) * | 2022-07-21 | 2023-01-03 | 重庆长安汽车股份有限公司 | 一种众包高精地图的构建方法、系统、电子设备及车辆 |
CN115435798A (zh) * | 2022-07-29 | 2022-12-06 | 深圳亿嘉和科技研发有限公司 | 无人车高精地图路网生成系统及方法 |
CN115830254A (zh) * | 2022-11-23 | 2023-03-21 | 北京易控智驾科技有限公司 | 地图更新方法、装置、无人车以及系统 |
CN115855084A (zh) * | 2022-11-30 | 2023-03-28 | 北京百度网讯科技有限公司 | 地图数据融合方法、装置、电子设备及自动驾驶产品 |
CN116129066A (zh) * | 2022-12-21 | 2023-05-16 | 浙江大学 | 基于数字孪生的自动驾驶高精度地图模型及高精度静态地图制作方法 |
CN115962774A (zh) * | 2023-01-17 | 2023-04-14 | 智道网联科技(北京)有限公司 | 点云地图更新方法、装置及电子设备、存储介质 |
CN116337045A (zh) * | 2023-03-31 | 2023-06-27 | 山东大学 | 一种基于karto和teb的高速建图导航方法 |
CN116679698A (zh) * | 2023-05-23 | 2023-09-01 | 河北全道科技有限公司 | 用于车辆的自动驾驶方法、装置、车辆、设备和介质 |
CN116304995A (zh) * | 2023-05-24 | 2023-06-23 | 山东哈工卓越智能有限公司 | 基于遗传算法的地图边界优化数据融合方法、定位系统 |
Also Published As
Publication number | Publication date |
---|---|
CN116878487A (zh) | 2023-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11328521B2 (en) | Map construction method, electronic device and readable storage medium | |
US10614324B2 (en) | Method and apparatus for identifying static obstacle | |
WO2020237996A1 (zh) | 一种车辆位姿的修正方法和装置 | |
JP6664470B2 (ja) | 高精度地図データの処理方法、装置、記憶媒体及び機器 | |
US20210373161A1 (en) | Lidar localization using 3d cnn network for solution inference in autonomous driving vehicles | |
KR20220053513A (ko) | 이미지 데이터 자동 라벨링 방법 및 장치 | |
JP2019179021A (ja) | 地図生成及び移動主体の位置決めの方法及び装置 | |
US20210354718A1 (en) | Lidar localization using rnn and lstm for temporal smoothness in autonomous driving vehicles | |
CN111797187A (zh) | 地图数据的更新方法、装置、电子设备和存储介质 | |
CN116685874A (zh) | 摄像机-激光雷达融合对象检测系统和方法 | |
CN111508258A (zh) | 一种定位方法及装置 | |
WO2022021982A1 (zh) | 可行驶区域判定的方法、智能驾驶系统和智能汽车 | |
CN115203352B (zh) | 车道级定位方法、装置、计算机设备和存储介质 | |
CN110853085A (zh) | 基于语义slam的建图方法和装置及电子设备 | |
CN115494533A (zh) | 车辆定位方法、装置、存储介质及定位系统 | |
WO2020049089A1 (en) | Methods and systems for determining the position of a vehicle | |
CN115494845A (zh) | 基于深度相机的导航方法、装置、无人车及存储介质 | |
CN115457288A (zh) | 基于鸟瞰视角的多目标跟踪方法、装置、存储介质及设备 | |
CN117789160A (zh) | 一种基于聚类优化的多模态融合目标检测方法及系统 | |
CN112907659B (zh) | 移动设备定位系统、方法及设备 | |
CN116878487B (zh) | 一种用于建立自动驾驶地图的方法、装置、车辆和服务器 | |
CN116679698A (zh) | 用于车辆的自动驾驶方法、装置、车辆、设备和介质 | |
CN113836251B (zh) | 一种认知地图构建方法、装置、设备及介质 | |
CN117011481A (zh) | 构建三维地图的方法、装置、电子设备及存储介质 | |
CN114140497A (zh) | 目标车辆3d实时追踪方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |