CN115790621A - 高精地图更新方法、装置及电子设备 - Google Patents

高精地图更新方法、装置及电子设备 Download PDF

Info

Publication number
CN115790621A
CN115790621A CN202211582803.3A CN202211582803A CN115790621A CN 115790621 A CN115790621 A CN 115790621A CN 202211582803 A CN202211582803 A CN 202211582803A CN 115790621 A CN115790621 A CN 115790621A
Authority
CN
China
Prior art keywords
coordinate
feature
map
coordinate position
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211582803.3A
Other languages
English (en)
Inventor
周尧
万国伟
张晔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202211582803.3A priority Critical patent/CN115790621A/zh
Publication of CN115790621A publication Critical patent/CN115790621A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

本公开提供了一种高精地图更新方法、装置及电子设备,涉及人工智能技术领域,具体涉及自动驾驶、计算机视觉、图像处理、地图技术领域。具体实现方案为:获取车辆针对待更新区域从至少两个视角拍摄的M个第一图像,获取鸟瞰图的水平面网格下的目标图;对M个第一图像进行特征提取,得到第一特征图;基于球面坐标系,分别对目标图在鸟瞰图视角下的第一坐标位置和第一特征图中像素的第二坐标位置进行位置编码,得到第一坐标位置对应编码位置和第二坐标位置对应编码位置;基于第一坐标位置对应编码位置、第二坐标位置对应编码位置和第一特征图,确定待更新区域在鸟瞰图视角下的第二特征图;基于第二特征图,对高精地图中待更新区域进行更新。

Description

高精地图更新方法、装置及电子设备
技术领域
本公开涉及人工智能技术领域,尤其涉及自动驾驶、计算机视觉、图像处理、地图技术领域,具体涉及一种高精地图更新方法、装置及电子设备。
背景技术
高精地图可以为车辆提供丰富的道路拓扑信息以及交通规则,是自动驾驶技术的基础组成部分。
目前,高精地图更新依赖于装有高等级惯性导航设备、高线束激光雷达(LiDAR)以及全球导航卫星系统(Global Navigation Satellite System,GNSS)设备的采集车,通过该采集车事先对待更新区域采集数据,再基于采集得到的数据离线进行高精地图标注更新。
发明内容
本公开提供了一种高精地图更新方法、装置及电子设备。
根据本公开的第一方面,提供了一种高精地图更新方法,包括:
获取车辆针对待更新区域从至少两个视角拍摄的M个第一图像,以及获取鸟瞰图的水平面网格下的目标图,M为大于1的整数;
对所述M个第一图像进行特征提取,得到所述M个第一图像的第一特征图;
基于预先构建的球面坐标系,分别对所述目标图在鸟瞰图视角下的第一坐标位置和所述第一特征图中像素的第二坐标位置进行位置编码,得到所述第一坐标位置对应编码位置和所述第二坐标位置对应编码位置,所述第一坐标位置基于所述水平面网络确定;
基于所述第一坐标位置对应编码位置、所述第二坐标位置对应编码位置和所述第一特征图,确定所述待更新区域在所述鸟瞰图视角下的第二特征图;
基于所述第二特征图,对高精地图中的所述待更新区域进行更新。
根据本公开的第二方面,提供了一种高精地图更新装置,包括:
获取模块,用于获取车辆针对待更新区域从至少两个视角拍摄的M个第一图像,以及获取鸟瞰图的水平面网格下的目标图,M为大于1的整数;
特征提取模块,用于对所述M个第一图像进行特征提取,得到所述M个第一图像的第一特征图;
位置编码模块,用于基于预先构建的球面坐标系,分别对所述目标图在鸟瞰图视角下的第一坐标位置和所述第一特征图中像素的第二坐标位置进行位置编码,得到所述第一坐标位置对应编码位置和所述第二坐标位置对应编码位置,所述第一坐标位置基于所述水平面网络确定;
第一确定模块,用于基于所述第一坐标位置对应编码位置、所述第二坐标位置对应编码位置和所述第一特征图,确定所述待更新区域在所述鸟瞰图视角下的第二特征图;
更新模块,用于基于所述第二特征图,对高精地图中的所述待更新区域进行更新。
根据本公开的第三方面,提供了一种电子设备,包括:
至少一个处理器;以及
与至少一个处理器通信连接的存储器;其中,
存储器存储有可被至少一个处理器执行的指令,该指令被至少一个处理器执行,以使至少一个处理器能够执行第一方面中的任一项方法。
根据本公开的第四方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,该计算机指令用于使计算机执行第一方面中的任一项方法。
根据本公开的第五方面,提供了一种计算机程序产品,包括计算机程序,该计算机程序在被处理器执行时实现第一方面中的任一项方法。
根据本公开的第六方面,提供了一种自动驾驶车辆,包括如第三方面所述的电子设备。
根据本公开的技术解决了车辆中高精地图的更新效率比较慢的问题,提高了车辆中高精地图的更新效率。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1是根据本公开第一实施例的高精地图更新方法的流程示意图;
图2是坐标投影的建模示意图;
图3是一示例的位置编码的原理示意图;
图4是一具体示例的高精地图更新方法的实现示意图;
图5是另一具体示例的高精地图更新方法的实现示意图;
图6是根据本公开第二实施例的高精地图更新装置的结构示意图;
图7是用来实施本公开的实施例的示例电子设备的示意性框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
第一实施例
如图1所示,本公开提供一种高精地图更新方法,包括如下步骤:
步骤S101:获取车辆针对待更新区域从至少两个视角拍摄的M个第一图像,以及获取鸟瞰图的水平面网格下的目标图。
其中,M为大于1的整数。
本实施例中,高精地图更新方法涉及人工智能技术领域,尤其涉及自动驾驶、计算机视觉、图像处理及地图技术领域,其可以广泛应用于自动驾驶中的高精地图更新场景下。本公开实施例高精地图更新方法,可以由本公开实施例的高精地图更新装置执行。本公开实施例的高精地图更新装置可以配置在任意电子设备中,以执行本公开实施例的高精地图更新方法。该电子设备可以部署在自动驾驶车辆中,以为自动驾驶车辆进行高精地图的实时更新。
相关技术中,当环境变更时,高精地图往往无法及时更新,会导致车辆无法基于高精地图进行自动驾驶或高级辅助驾驶。并且,必须对道路区域事先采集,才能生产高精地图,之后在有高精地图的区域,车辆才能进行自动驾驶或高级辅助驾驶。
本实施例的目的即在于:基于车端的传感器数据进行实时在线高精地图生成,解决环境变更场景下高精地图失效的问题,也可以支持车辆在没有高精地图的情况下进行自动驾驶或高级辅助驾驶。
该步骤中,待更新区域可以为高精地图中存在的,但发生变更的区域,比如,针对道路A,该道路A新增了一条车道。待更新区域也可以为高精地图中不存在的区域,比如,某一位置新增了一条道路B。在车辆中未存在高精地图的情况下,待更新区域还可以为任一区域,本实施例可以更新并生成该待更新区域的高精地图,以支持车辆在没有高精地图的情况下进行自动驾驶或高级辅助驾驶。
车辆可以为自动驾驶车辆,该车辆中可以安装有车端传感器,如相机传感器和激光雷达传感器等,可以基于相机传感器拍摄待更新区域的图像。
在一可选实施方式中,车辆可以安装有多个相机传感器,这多个相机传感器可以从多个视角拍摄待更新区域的图像,从而可以得到M个第一图像,这M个第一图像的拍摄视角可以各不相同。
鸟瞰图可以为从上往下的视角下的图像,鸟瞰图的水平面网格指的是从上往下的视角下的地面为水平面,即地面高度为0,鸟瞰图的水平面网格可以包括网格坐标,鸟瞰图的水平面网格中的网格坐标可以预先设定并生成。
目标图可以为预设的鸟瞰图的水平面网格下的画布图,该画布图中只有网格坐标,并未具备有待更新区域的特征,该画布图可以基于预先设定的网格坐标预先生成。
目标图也可以为鸟瞰图的水平面网格下的画布图与待更新区域在鸟瞰图的水平面网格下的特征图融合得到的图像,该目标图包括了待更新区域的相应特征。
在一可选实施方式中,可以通过车端安装的激光雷达传感器采集待更新区域的点云信息,基于该点云信息进行特征处理,可以得到待更新区域在鸟瞰图的水平面网格下的特征图,将其与画布图融合,得到目标图。
步骤S102:对所述M个第一图像进行特征提取,得到所述M个第一图像的第一特征图。
该步骤中,可以将M个第一图像(即多视角的图像)通过网络骨架为backbone的神经网络模型进行特征提取,获得M个第一图像的第一特征图(Feature Map)。其中,每个第一图像可以提取出一个特征图,相应可以得到M个第一特征图。
步骤S103:基于预先构建的球面坐标系,分别对所述目标图在鸟瞰图视角下的第一坐标位置和所述第一特征图中像素的第二坐标位置进行位置编码,得到所述第一坐标位置对应编码位置和所述第二坐标位置对应编码位置,所述第一坐标位置基于所述水平面网络确定。
步骤S104:基于所述第一坐标位置对应编码位置、所述第二坐标位置对应编码位置和所述第一特征图,确定所述待更新区域在所述鸟瞰图视角下的第二特征图。
上述步骤的目的是:在获知鸟瞰图的水平面网络(x,y)坐标的情况下,获取待更新区域在鸟瞰图视角下的特征。在相机的内外参数和车辆高度已知的情况下,可以假设地面是一个水平平面,这时可以直接通过3D投影,算出鸟瞰图的水平面网络(可以称之为BEV网格)坐标到图像像素坐标的一一对应关系,如图2中图(a)所示。
实际情况下,地面相比水平面存在一定的高低浮动,这个浮动是未知的,因此无法算出这种对应关系。为了解决这个问题,一种直观的解决思路是让网络显式估计出地面相比水平面的高低浮动offset,从而获得BEV网格到图像的映射关系,如图2中图(b)所示。然而,真实地面相对水平面的offset真值并不好获得,因此难以进行训练。
本实施例中,采用一种隐式估计的方式,如图2中图(c)所示。可以以水平面作为基准,认为真实地面是在水平面高度基础上加了一定的offset扰动生成。地面投影到相机上对应的图像为I,水平面投影到相机上生成的虚拟图像为I’。在offset未知的情况下,图像I不能直接获得对应的BEV映射(即无法基于图像I通过3D投影方式直接映射得到鸟瞰图视角下的图像)。而图像I’是可以的,因此可以让网络基于图像I的特征图,预测出图像I’的特征图,从而通过图像I’获得鸟瞰图视角下的特征图。
具体的,可以预先构建球面坐标系,球面坐标系可以为以任一坐标点为原点,鸟瞰图BEV视角下坐标系的轴向所构建的一个虚拟坐标系。在一可选实施方式中,球面坐标系可以为以相机坐标系为原点,鸟瞰图BEV视角下坐标系的轴向所构建的一个虚拟坐标系。
可以使用空间位置编码(spatial positional encoding)模块,对目标图在鸟瞰图视角下的第一坐标位置进行位置编码,得到第一坐标位置对应编码位置,以及使用空间位置编码模块,对第一特征图中像素的第二坐标位置进行位置编码,得到第二坐标位置对应编码位置。这两个空间位置编码模块可以共享同一网络参数,即可以使用同一空间位置编码模块,分别对目标图和第一特征图中的坐标位置进行位置编码。
其中,位置编码指的是将图像中的坐标位置投影到球面坐标系中的球面上,以得到与图像中坐标位置对应的位于球面上的编码位置。球面的半径可以为任一值,如可以在球面坐标系上构建一个半径为1的球面。
在一可选实施方式中,可以以相机坐标系为原点,鸟瞰图BEV视角下坐标系的轴向构建一个虚拟的球面坐标系。在这个球面坐标系上,以原点为圆心,构建了一个半径为1的球面。
图3是一示例的位置编码的原理示意图,如图3所示,设BEV的水平面上一点坐标为(x,y,0),BEV的水平面坐标系(即画布图对应坐标系)到球面坐标系的变换矩阵为Tbev2sph,图像(即第一特征图)上一点坐标为(u,v,1),相机内参设为K,相机到球面坐标系的变换矩阵为Tcam2sph
第一坐标位置如(x,y,0)投影到球面上对应的坐标(即编码位置PBEV)用下式(1)表示。
Figure BDA0003990179410000061
需要说明的是,可以通过地面先验方式确定目标图在鸟瞰图视角下真实的地面高度,相应的,在进行坐标投影时,第一坐标位置中z轴坐标可以从0替换为真实的地面高度。
第二坐标位置(u,v,1)投影到球面上对应的坐标(即编码位置Pimg)用下式(2)表示。
Figure BDA0003990179410000071
之后,可以将第一坐标位置对应的编码位置、第二坐标位置对应编码位置和第一特征图,输入至基于注意力机制的Transformer模型的解码器(Decoder)中,相应的,该解码器可以以BEV网格坐标作为注意力条件(queries),基于第一坐标位置对应编码位置和第二坐标位置对应编码位置,从第一特征图中提取出BEV网格坐标对应的特征,从而可以获得待更新区域在鸟瞰图视角下的第二特征图。
步骤S105:基于所述第二特征图,对高精地图中的所述待更新区域进行更新。
该步骤中,可以基于第二特征图,采用神经网络模型FFN进行高精地图的要素分割,预测待更新区域在鸟瞰图视角下各栅格的类别,从而可以得到待更新区域在鸟瞰图视角下的地图分割要素结果,该地图分割要素结果可以用来更新或生成待更新区域的高精地图。
图4是一具体示例的高精地图更新方法的实现示意图,如图4所示,可以将车端相机传感器拍摄得到的待更新区域的多视角图像和预先生成的鸟瞰图的水平面网格下的画布图作为视觉处理的输入,可以将多视角图像输入至网络骨架为backbone的神经网络模型进行特征提取,得到多视角图像的特征图。
之后,将该特征图输入至空间位置编码模块进行像素坐标的位置编码,同时,可以将画布图输入至空间位置编码模块进行网格坐标的位置编码,这两个空间位置编码模块可以为同一空间位置编码模块,即两者共享同一网络参数。另外,在对画布图中网格坐标进行位置编码时,可以引入地面先验,得到地面高度,以获取第一坐标位置中相对准确的z轴坐标,提高位置编码的准确性。
位置编码得到的编码位置作为基于注意力机制的Transformer模型的解码器的输入,如图4所示,将基于画布图位置编码得到的编码位置输入至基于注意力机制的Transformer模型的解码器,以及将多视角图像的特征图位置编码得到的编码位置与该特征图进行相加处理后输入至基于注意力机制的Transformer模型的解码器。
基于注意力机制的Transformer模型的解码器可以针对输入进行相应的感知处理,输出待更新区域在鸟瞰图视角下的特征图。该特征图可以输入至神经网络模型FFN进行高精地图的要素分割,输出待更新区域在鸟瞰图视角下的地图分割要素结果。
本实施例中,通过采用车端传感器采集区域的多视角图像,对多视角图像进行特征提取,得到特征图,并基于预先构建的球面坐标系,分别对BEV网格图中网格坐标和特征图中像素坐标进行位置编码,之后将BEV网格作为queries,使用transformer decoder结构从特征图中提取出BEV网格对应的特征,从而获得鸟瞰图视角下的特征图用于高精地图的要素分割。从而可以基于车端传感器数据进行实时在线地图生成,解决了环境变更场景下高精地图失效的问题,也可以支持车辆在没有高精地图的情况下进行自动驾驶或高级辅助驾驶。
并且,采用一种隐式估计的方式,在地面相对于水平面的地面高度未知的情况下,通过让网络基于多视角图像的特征图,预测出水平面投影到相机上虚拟图像的特征图,从而通过该虚拟图像获得鸟瞰图视角下的特征图,这样可以提高鸟瞰图视角下特征图的生成准确性,从而可以提高地图要素分割的准确性,进而可以提高地图更新的准确性。
可选的,所述步骤S101具体包括:
获取所述车辆针对所述待更新区域采集的点云信息;
对所述点云信息进行特征处理,得到特征信息,所述特征信息包括所述待更新区域在鸟瞰图的水平面网格下的第三特征图;
将预设的鸟瞰图的水平面网格下的画布图与所述第三特征图进行融合,得到所述目标图。
本实施方式中,可以融合点云信息和视觉信息的多模态信息进行在线地图更新或生成。
目标图可以为鸟瞰图的水平面网格下的画布图与待更新区域在鸟瞰图的水平面网格下的特征图融合得到的图像,该目标图包括了待更新区域的相应特征。
可以通过车端安装的激光雷达传感器采集待更新区域的点云信息,基于该点云信息进行特征处理,可以得到特征信息,该特征信息可以包括待更新区域在鸟瞰图的水平面网格下的特征图(即第三特征图),将其与画布图融合,得到目标图。
如此,可以将基于点云信息进行特征处理得到的第三特征图融合到画布图中,作为本实施例中在线地图要素分割的视觉处理流程的启动阶段,从而可以实现两种传感器的数据融合,进一步提高鸟瞰图视角下特征图的生成准确性,提高地图更新的准确性。
图5是另一具体示例的高精地图更新方法的实现示意图,如图5所示,虚线上半部分是点云处理流程,虚线下半部分是视觉处理流程,将基于点云信息进行特征处理得到的第三特征图融合至画布图中,得到目标图,之后,启动视觉处理流程,基于多视角图像和目标图实现待更新区域在鸟瞰图视角下的特征图的生成。
可选的,所述特征信息还包括所述待更新区域关于地面高度的第四特征图,所述步骤S103之前,所述方法还包括:
基于所述第四特征图,确定所述待更新区域的地面相对于水平面的高度;
基于所述水平面网络的水平坐标和所述高度,确定所述第一坐标位置。
本实施方式中,可以基于该点云信息进行特征处理,得到待更新区域在鸟瞰图的水平面网格下的特征图(即第三特征图)和待更新区域关于地面高度的第四特征图,该第四特征图可以为表征地面高度(即地面相对于水平面)的特征图,可以称之为高度图。
可以基于第四特征图,采用现有的或新的地面高度预测方式,预测待更新区域中地面相对于水平面的高度h。将该高度作为地面先验的高度输入至空间位置编码模块,相应的,该空间位置编码模块可以基于水平面网络的水平坐标和高度,确定第一坐标位置,即第一坐标位置可以为(x,y,h)。
如此,可以基于点云信息实现地面先验,将地面先验得到的高度作为本实施例中在线地图要素分割的视觉处理流程的启动阶段,从而可以进一步实现两种传感器的数据融合,提高鸟瞰图视角下特征图的生成准确性,提高地图更新的准确性。
如图5所示,对基于点云信息进行特征处理得到的第四特征图进行地面高度的预测,得到地面相对于水平面的高度,之后,将该高度作为地面先验的输入,启动视觉处理流程,以生成鸟瞰图视角下的特征图。
可选的,所述对所述点云信息进行特征处理,得到特征信息,包括:
基于所述点云信息进行第一特征处理,得到所述待更新区域在鸟瞰图视角下的第五特征图;
基于所述第五特征图分别进行不同的第二特征处理,得到所述第三特征图和所述第四特征图。
本实施方式中,如图5所示,获取待更新区域的点云帧(即点云信息),通过体素化处理后,基于网络骨架为backbone的神经网络模型提取点云帧中的特征,并通过特征金字塔网络(Feature Pyramid Network,FPN)如Second FPN进行特征处理,这样即可以实现点云信息的第一特征处理,从而可以生成待更新区域在鸟瞰图视角下的第五特征图。
之后,基于该第五特征图,通过两个不同的神经网络模型FFN进行不同的第二特征处理,以各自生成一个特征图,分别为第三特征图和第四特征图。其中,第三特征图可支持地面要素分割,第四特征图用于预测地面高度。
如此,可以实现对点云信息的特征处理,将特征处理得到的特征图作为在线地图要素分割的视觉处理流程的启动阶段,以实现两种传感器的数据融合。
可选的,所述步骤S103具体包括:
以相机坐标系为原点,所述水平面网格的坐标系为轴向构建球面坐标系;
将所述第一坐标位置投影到所述球面坐标系对应的球面上,得到所述第一坐标位置对应编码位置,以及将所述第二坐标位置反投影到所述球面坐标系对应的球面上,得到所述第二坐标位置对应编码位置。
本实施方式中,以相机坐标系为原点,水平面网格的坐标系为轴向构建球面坐标系,并将第一坐标位置和第二坐标位置分别投影到该球面坐标系的球面上。如此,可以使得相机到球面坐标系的变换矩阵与相机内外参对应,这样可以克服相机内外参的泛化问题,简化图像中像素坐标至球面坐标系的球面上的投影过程。
可选的,所述步骤S104具体包括:
基于所述第一坐标位置对应编码位置和所述第二坐标位置对应编码位置,从所述第一特征图中提取出与所述第一坐标位置匹配的所述第二坐标位置对应的第一特征;
将所述第一特征和所述目标图中所述第一坐标位置对应的第二特征进行融合,得到所述第二特征图。
本实施方式中,基于注意力机制的Transformer模型的解码器(Decoder)可以以BEV网格坐标作为注意力条件(queries),基于第一坐标位置对应编码位置和第二坐标位置对应编码位置,从第一特征图中提取出BEV网格坐标(即第一坐标位置)匹配的第二坐标位置对应的特征,得到第一特征。
之后,将第一特征和目标图中第一坐标位置对应的第二特征进行融合,得到第二特征图。如此,可以融合多种模态信息的特征,实现第二特征图的生成。
第二实施例
如图6所示,本公开提供一种高精地图更新装置600,包括:
获取模块601,用于获取车辆针对待更新区域从至少两个视角拍摄的M个第一图像,以及获取鸟瞰图的水平面网格下的目标图,M为大于1的整数;
特征提取模块602,用于对所述M个第一图像进行特征提取,得到所述M个第一图像的第一特征图;
位置编码模块603,用于基于预先构建的球面坐标系,分别对所述目标图在鸟瞰图视角下的第一坐标位置和所述第一特征图中像素的第二坐标位置进行位置编码,得到所述第一坐标位置对应编码位置和所述第二坐标位置对应编码位置,所述第一坐标位置基于所述水平面网络确定;
第一确定模块604,用于基于所述第一坐标位置对应编码位置、所述第二坐标位置对应编码位置和所述第一特征图,确定所述待更新区域在所述鸟瞰图视角下的第二特征图;
更新模块605,用于基于所述第二特征图,对高精地图中的所述待更新区域进行更新。
可选的,所述获取模块601包括:
获取单元,用于获取所述车辆针对所述待更新区域采集的点云信息;
特征处理单元,用于对所述点云信息进行特征处理,得到特征信息,所述特征信息包括所述待更新区域在鸟瞰图的水平面网格下的第三特征图;
融合单元,用于将预设的鸟瞰图的水平面网格下的画布图与所述第三特征图进行融合,得到所述目标图。
可选的,所述特征信息还包括所述待更新区域关于地面高度的第四特征图,所述装置还包括:
第二确定模块,用于基于所述第四特征图,确定所述待更新区域的地面相对于水平面的高度;
第三确定模块,用于基于所述水平面网络的水平坐标和所述高度,确定所述第一坐标位置。
可选的,所述特征处理单元,具体用于:
基于所述点云信息进行第一特征处理,得到所述待更新区域在鸟瞰图视角下的第五特征图;
基于所述第五特征图分别进行不同的第二特征处理,得到所述第三特征图和所述第四特征图。
可选的,所述位置编码模块603,具体用于:
以相机坐标系为原点,所述水平面网格的坐标系为轴向构建球面坐标系;
将所述第一坐标位置投影到所述球面坐标系对应的球面上,得到所述第一坐标位置对应编码位置,以及将所述第二坐标位置反投影到所述球面坐标系对应的球面上,得到所述第二坐标位置对应编码位置。
可选的,所述第一确定模块604,具体用于:
基于所述第一坐标位置对应编码位置和所述第二坐标位置对应编码位置,从所述第一特征图中提取出与所述第一坐标位置匹配的所述第二坐标位置对应的第一特征;
将所述第一特征和所述目标图中所述第一坐标位置对应的第二特征进行融合,得到所述第二特征图。
本公开提供的高精地图更新装置600能够实现高精地图更新方法实施例实现的各个过程,且能够达到相同的有益效果,为避免重复,这里不再赘述。
本公开的技术方案中,所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理,均符合相关法律法规的规定,且不违背公序良俗。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图7示出了可以用来实施本公开的实施例的示例电子设备的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图7所示,设备700包括计算单元701,其可以根据存储在只读存储器(ROM)702中的计算机程序或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序,来执行各种适当的动作和处理。在RAM 703中,还可存储设备700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
设备700中的多个部件连接至I/O接口705,包括:输入单元706,例如键盘、鼠标等;输出单元707,例如各种类型的显示器、扬声器等;存储单元708,例如磁盘、光盘等;以及通信单元709,例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理,例如高精地图更新方法。例如,在一些实施例中,高精地图更新方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元708。在一些实施例中,计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到RAM 703并由计算单元701执行时,可以执行上文描述的高精地图更新方法的一个或多个步骤。备选地,在其他实施例中,计算单元701可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行高精地图更新方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,也可以为分布式系统的服务器,或者是结合了区块链的服务器。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。

Claims (16)

1.一种高精地图更新方法,包括:
获取车辆针对待更新区域从至少两个视角拍摄的M个第一图像,以及获取鸟瞰图的水平面网格下的目标图,M为大于1的整数;
对所述M个第一图像进行特征提取,得到所述M个第一图像的第一特征图;
基于预先构建的球面坐标系,分别对所述目标图在鸟瞰图视角下的第一坐标位置和所述第一特征图中像素的第二坐标位置进行位置编码,得到所述第一坐标位置对应编码位置和所述第二坐标位置对应编码位置,所述第一坐标位置基于所述水平面网络确定;
基于所述第一坐标位置对应编码位置、所述第二坐标位置对应编码位置和所述第一特征图,确定所述待更新区域在所述鸟瞰图视角下的第二特征图;
基于所述第二特征图,对高精地图中的所述待更新区域进行更新。
2.根据权利要求1所述的方法,其中,所述获取鸟瞰图的水平面网格下的目标图,包括:
获取所述车辆针对所述待更新区域采集的点云信息;
对所述点云信息进行特征处理,得到特征信息,所述特征信息包括所述待更新区域在鸟瞰图的水平面网格下的第三特征图;
将预设的鸟瞰图的水平面网格下的画布图与所述第三特征图进行融合,得到所述目标图。
3.根据权利要求2所述的方法,其中,所述特征信息还包括所述待更新区域关于地面高度的第四特征图,所述基于预先构建的球面坐标系,分别对所述目标图在鸟瞰图视角下的第一坐标位置和所述第一特征图中像素的第二坐标位置进行位置编码,得到所述第一坐标位置对应编码位置和所述第二坐标位置对应编码位置之前,所述方法还包括:
基于所述第四特征图,确定所述待更新区域的地面相对于水平面的高度;
基于所述水平面网络的水平坐标和所述高度,确定所述第一坐标位置。
4.根据权利要求2所述的方法,其中,所述对所述点云信息进行特征处理,得到特征信息,包括:
基于所述点云信息进行第一特征处理,得到所述待更新区域在鸟瞰图视角下的第五特征图;
基于所述第五特征图分别进行不同的第二特征处理,得到所述第三特征图和所述第四特征图。
5.根据权利要求1所述的方法,其中,所述基于预先构建的球面坐标系,分别对所述目标图在鸟瞰图视角下的第一坐标位置和所述第一特征图中像素的第二坐标位置进行位置编码,得到所述第一坐标位置对应编码位置和所述第二坐标位置对应编码位置,包括:
以相机坐标系为原点,所述水平面网格的坐标系为轴向构建球面坐标系;
将所述第一坐标位置投影到所述球面坐标系对应的球面上,得到所述第一坐标位置对应编码位置,以及将所述第二坐标位置反投影到所述球面坐标系对应的球面上,得到所述第二坐标位置对应编码位置。
6.根据权利要求1所述的方法,其中,所述基于所述第一坐标位置对应编码位置、所述第二坐标位置对应编码位置和所述第一特征图,确定所述待更新区域在所述鸟瞰图视角下的第二特征图,包括:
基于所述第一坐标位置对应编码位置和所述第二坐标位置对应编码位置,从所述第一特征图中提取出与所述第一坐标位置匹配的所述第二坐标位置对应的第一特征;
将所述第一特征和所述目标图中所述第一坐标位置对应的第二特征进行融合,得到所述第二特征图。
7.一种高精地图更新装置,包括:
获取模块,用于获取车辆针对待更新区域从至少两个视角拍摄的M个第一图像,以及获取鸟瞰图的水平面网格下的目标图,M为大于1的整数;
特征提取模块,用于对所述M个第一图像进行特征提取,得到所述M个第一图像的第一特征图;
位置编码模块,用于基于预先构建的球面坐标系,分别对所述目标图在鸟瞰图视角下的第一坐标位置和所述第一特征图中像素的第二坐标位置进行位置编码,得到所述第一坐标位置对应编码位置和所述第二坐标位置对应编码位置,所述第一坐标位置基于所述水平面网络确定;
第一确定模块,用于基于所述第一坐标位置对应编码位置、所述第二坐标位置对应编码位置和所述第一特征图,确定所述待更新区域在所述鸟瞰图视角下的第二特征图;
更新模块,用于基于所述第二特征图,对高精地图中的所述待更新区域进行更新。
8.根据权利要求7所述的装置,其中,所述获取模块包括:
获取单元,用于获取所述车辆针对所述待更新区域采集的点云信息;
特征处理单元,用于对所述点云信息进行特征处理,得到特征信息,所述特征信息包括所述待更新区域在鸟瞰图的水平面网格下的第三特征图;
融合单元,用于将预设的鸟瞰图的水平面网格下的画布图与所述第三特征图进行融合,得到所述目标图。
9.根据权利要求8所述的装置,其中,所述特征信息还包括所述待更新区域关于地面高度的第四特征图,所述装置还包括:
第二确定模块,用于基于所述第四特征图,确定所述待更新区域的地面相对于水平面的高度;
第三确定模块,用于基于所述水平面网络的水平坐标和所述高度,确定所述第一坐标位置。
10.根据权利要求8所述的装置,其中,所述特征处理单元,具体用于:
基于所述点云信息进行第一特征处理,得到所述待更新区域在鸟瞰图视角下的第五特征图;
基于所述第五特征图分别进行不同的第二特征处理,得到所述第三特征图和所述第四特征图。
11.根据权利要求7所述的装置,其中,所述位置编码模块,具体用于:
以相机坐标系为原点,所述水平面网格的坐标系为轴向构建球面坐标系;
将所述第一坐标位置投影到所述球面坐标系对应的球面上,得到所述第一坐标位置对应编码位置,以及将所述第二坐标位置反投影到所述球面坐标系对应的球面上,得到所述第二坐标位置对应编码位置。
12.根据权利要求7所述的装置,其中,所述第一确定模块,具体用于:
基于所述第一坐标位置对应编码位置和所述第二坐标位置对应编码位置,从所述第一特征图中提取出与所述第一坐标位置匹配的所述第二坐标位置对应的第一特征;
将所述第一特征和所述目标图中所述第一坐标位置对应的第二特征进行融合,得到所述第二特征图。
13.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。
14.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-6中任一项所述的方法。
15.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-6中任一项所述的方法。
16.一种自动驾驶车辆,包括如权利要求13所述的电子设备。
CN202211582803.3A 2022-12-09 2022-12-09 高精地图更新方法、装置及电子设备 Pending CN115790621A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211582803.3A CN115790621A (zh) 2022-12-09 2022-12-09 高精地图更新方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211582803.3A CN115790621A (zh) 2022-12-09 2022-12-09 高精地图更新方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN115790621A true CN115790621A (zh) 2023-03-14

Family

ID=85418617

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211582803.3A Pending CN115790621A (zh) 2022-12-09 2022-12-09 高精地图更新方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN115790621A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116030212A (zh) * 2023-03-28 2023-04-28 北京集度科技有限公司 一种建图方法、设备、车辆及程序产品

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116030212A (zh) * 2023-03-28 2023-04-28 北京集度科技有限公司 一种建图方法、设备、车辆及程序产品

Similar Documents

Publication Publication Date Title
US11145073B2 (en) Computer vision systems and methods for detecting and modeling features of structures in images
CN111968229A (zh) 高精度地图制图方法及装置
CN113989450B (zh) 图像处理方法、装置、电子设备和介质
CN111415409B (zh) 一种基于倾斜摄影的建模方法、系统、设备和存储介质
CN111721281B (zh) 位置识别方法、装置和电子设备
CN110675635B (zh) 相机外参的获取方法、装置、电子设备及存储介质
CN114034295A (zh) 高精地图生成方法、装置、电子设备、介质及程序产品
CN114140759A (zh) 高精地图车道线位置确定方法、装置及自动驾驶车辆
CN115578433A (zh) 图像处理方法、装置、电子设备及存储介质
CN113298910A (zh) 生成交通标志线地图的方法、设备和存储介质
CN112184914A (zh) 目标对象三维位置的确定方法、装置和路侧设备
CN113932796A (zh) 高精地图车道线生成方法、装置和电子设备
CN115790621A (zh) 高精地图更新方法、装置及电子设备
CN113706704A (zh) 基于高精地图规划路线的方法、设备以及自动驾驶车辆
CN114299242A (zh) 高精地图中图像处理方法、装置、设备以及存储介质
CN111260722B (zh) 车辆定位方法、设备及存储介质
CN115880555B (zh) 目标检测方法、模型训练方法、装置、设备及介质
CN114266876B (zh) 定位方法、视觉地图的生成方法及其装置
CN113920273B (zh) 图像处理方法、装置、电子设备和存储介质
CN115937449A (zh) 高精地图生成方法、装置、电子设备和存储介质
CN112614221A (zh) 高精地图渲染方法、装置、电子设备及自动驾驶车辆
CN111784579A (zh) 制图方法及装置
CN115294234B (zh) 图像的生成方法、装置、电子设备和存储介质
CN115578432B (zh) 图像处理方法、装置、电子设备及存储介质
CN115773759A (zh) 自主移动机器人的室内定位方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination