CN117830549A - 生成3d地图的方法、装置、汽车和介质 - Google Patents
生成3d地图的方法、装置、汽车和介质 Download PDFInfo
- Publication number
- CN117830549A CN117830549A CN202311863171.2A CN202311863171A CN117830549A CN 117830549 A CN117830549 A CN 117830549A CN 202311863171 A CN202311863171 A CN 202311863171A CN 117830549 A CN117830549 A CN 117830549A
- Authority
- CN
- China
- Prior art keywords
- map
- bev
- road
- frame
- generating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000010586 diagram Methods 0.000 claims abstract description 19
- 230000000007 visual effect Effects 0.000 claims abstract description 10
- 238000011084 recovery Methods 0.000 claims abstract description 9
- 230000008447 perception Effects 0.000 claims description 17
- 230000002085 persistent effect Effects 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000010845 search algorithm Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 2
- 238000013178 mathematical model Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000002355 dual-layer Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000010410 layer Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Abstract
本申请涉及一种生成3D地图的方法、装置、汽车和介质。该方法包括:周期性获取多帧BEV特征图;对各帧BEV特征图进行道路上的地图元素识别,并对得到的多帧识别结果进行2D拼接;根据识别结果对拼接得到的2D地图进行3D恢复,以供生成3D地图;其中,BEV特征图的获取步骤包括:获取车辆在道路上行驶时连续采集的多个图像组,其中,图像组包括至少两个不同视角的图像,且至少两个视角存在重合;将首次获取的图像组填充至BEV平面,并在BEV平面上继续填充其余的图像组,以得到BEV特征图。本申请提供的方案,能够不局限于车辆在行车场景还是泊车场景中,均可准确地对道路元素进行识别以供生成高质量的3D地图。
Description
技术领域
本申请涉及道路数据处理技术领域,尤其涉及一种生成3D地图的方法、装置、汽车和介质。
背景技术
自动驾驶车辆在行驶过程中,需要对道路上的具体元素进行识别,以使得自动驾驶车辆可以进行实时定位和建图,然而相关技术中对具体地图元素的感知识别,主要是基于环视AVM(Around View Monitor)拼图或直拼图转换为鸟瞰BEV(Bird’s Eye View)图,然后基于BEV图检测具体元素,例如车道线。
当前自动驾驶的定位和建图感知方案主要依赖环视AVM拼图或者直拼图的方法。其中,基于环视AVM拼图转换得到的BEV图以检测识别道路上的具体元素,是使用车辆的左视、右视和后视的环视摄像头图片拼成的BEV图作为感知识别的输入,考虑到车灯的干扰,环视的BEV图的道路中间部分会明显偏色,部分虚线看不清楚,故环视的BEV图作为感知识别的输入,难以识别出高质量的车道线。而在基于直拼图转换为BEV图,然后基于BEV图检测具体元素的方案中,车辆使用前视、侧前摄像头来拼接以转换为BEV图,尽管相关的摄像头可以看到的距离较环视AVM拼图方案更远,拼图效果更佳,然而在车辆处于拐弯处时会存在BEV图失真,因此,在该直拼方案中,感知识别无法同时满足车辆在多层的地下车库中行车场景和泊车场景的需求。
发明内容
为解决或部分解决相关技术中存在的问题,本申请提供一种生成3D地图的方法、装置、汽车和介质,能够不局限于车辆在行车场景还是泊车场景中,均可准确地对道路元素进行识别以供生成高质量的3D地图。
本申请第一方面提供一种生成3D地图的方法,包括:
周期性获取多帧BEV特征图;
对各帧所述BEV特征图进行道路上的地图元素识别,并对得到的多帧识别结果进行2D拼接;
根据所述识别结果对拼接得到的2D地图进行3D恢复,以供生成3D地图;
其中,所述BEV特征图的获取步骤包括:
获取车辆在所述道路上行驶时连续采集的多个图像组,其中,所述图像组包括至少两个不同视角的图像,至少两个所述视角存在重合;
将首次获取的图像组填充至BEV平面,并在所述BEV平面上继续填充其余的图像组,以得到所述BEV特征图。
在一实施方式中,所述图像组包括同一时刻采集的前视图像、左前视图像和右前视图像。
在一实施方式中,在所述BEV平面上继续填充其余的图像组之后,还包括:
选取所述车辆的一轨迹点作为设定的截取框的中心点;
使用所述截取框从填充后的缓冲BEV特征图上截取出所述BEV特征图。
在一实施方式中,采用感知模型对各帧所述BEV特征图进行道路上的地图元素识别,并对得到的多帧识别结果进行2D拼接。
在一实施方式中,所述地图元素包括所述车辆在行车场景下的地图元素和/或所述车辆在泊车场景下的地图元素。
在一实施方式中,所述识别结果包括地图元素点的高度,所述根据所述识别结果对拼接得到的2D地图进行3D恢复,以供生成3D地图,包括:
获取所述车辆的各个轨迹点高度;
根据所述道路上各个所述地图元素点的高度和各个所述轨迹点的高度,对所述2D地图进行高度拟合,以生成所述3D地图,其中,所述3D地图包括道路坡度为零的部分和/或道路坡度不为零的部分。
在一实施方式中,所述根据所述道路上各个所述地图元素点的高度和各个所述轨迹点的高度,对所述2D地图进行高度拟合,包括:
从各个所述地图元素点中选取目标地图元素点,并采用近邻搜索算法确定与所述目标地图元素点最近的轨迹点;
根据所述目标地图元素点和所述最近的轨迹点的高度,采用插值算法确定所述道路的高度。
本申请第二方面提供一种生成3D地图的装置,包括:
获取模块,其被配置为周期性获取多帧BEV特征图;
识别拼接模块,其被配置为对各帧所述BEV特征图进行道路上的地图元素识别,并对得到的多帧识别结果进行2D拼接;
3D恢复模块,其被配置为根据所述识别结果对拼接得到的2D地图进行3D恢复,以供生成3D地图;
其中,所述获取模块被具体配置为获取车辆在所述道路上行驶时连续采集的多个图像组,其中,所述图像组包括至少两个不同视角的图像,至少两个所述视角存在重合;将首次获取的图像组填充至BEV平面,并在所述BEV平面上继续填充其余的图像组,以得到所述BEV特征图。
本申请第三方面提供一种汽车,包括:
处理器;以及
存储器,其上存储有可执行代码,当所述可执行代码被所述处理器执行时,使所述处理器执行如上所述的方法。
本申请第四方面提供一种计算机可读存储介质,其上存储有可执行代码,当所述可执行代码被电子设备的处理器执行时,使所述处理器执行如上所述的方法。
本申请提供的技术方案可以包括以下有益效果:
本申请的技术方案,一方面,先对周期性获取的多帧BEV特征图进行地图元素识别,可以拓展地图元素的识别范围,进而全面覆盖车辆在行车场景和泊车场景下的定位,进而在对得到的多帧识别结果进行2D拼接以得到2D地图之后,可以结合综合的识别结果对2D地图进行3D恢复以供生成3D地图,通过不间断的获取BEV特征图可以构建统一规格的空间连续地图,尤其适用在存在坡道的道路上;另一方面,BEV特征图是先获取车辆在所述道路上行驶时连续采集的多个图像组,将首次获取的图像组填充至BEV平面,并在BEV平面上继续填充其余的图像组,BEV特征图上的地图元素是结合多次采集的图像而确定的,与传统BEV特征图相比较而言,可以从BEV特征图上获取到更为准确的地图元素信息,同时,BEV特征图还可以拼接成识别范围更远、场景更多的道路场景,与对周期性获取的多帧BEV特征图进行地图元素识别相结合,可以有效地泛化更多的驾驶场景。可见,本申请的技术方案,能够不局限于车辆的驾驶场景,均可准确地对道路元素进行识别,以生成高质量的3D地图。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
通过结合附图对本申请示例性实施方式进行更详细地描述,本申请的上述以及其它目的、特征和优势将变得更加明显,其中,在本申请示例性实施方式中,相同的参考标号通常代表相同部件。
图1是本申请实施例示出的生成3D地图的方法的流程示意图;
图2是本申请实施例示出的BEV特征图的获取流程示意图;
图3是本申请实施例示出的2D地图的示意图;
图4是本申请实施例示出的3D地图的示意图;
图5是本申请实施例示出的生成3D地图的装置的结构示意图;
图6是本申请实施例示出的汽车的结构示意图。
具体实施方式
下面将参照附图更详细地描述本申请的实施方式。虽然附图中显示了本申请的实施方式,然而应该理解,可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反,提供这些实施方式是为了使本申请更加透彻和完整,并且能够将本申请的范围完整地传达给本领域的技术人员。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语“第一”、“第二”、“第三”等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
相关技术中,车辆驾驶的定位和建图感知方案主要依赖环视AVM拼图或者直拼图的方法。然而环视AVM拼图的感知方案无法有效识别高精度的地图元素,例如车道线,也容易受到环境影响;基于直拼图的感知方案在遇到拐弯等道路场景时,则存在采集失真的情况,进而无法泛化更多的自动驾驶场景。
针对上述问题,本申请实施例提供一种生成3D地图的方法,能够不局限于车辆在行车场景还是泊车场景中,均可准确地对道路元素进行识别,以供生成高质量的3D地图。
以下结合附图详细描述本申请实施例的技术方案。
如图1所示,本申请实施例提供一种生成3D地图的方法,方法主要包括步骤S101至步骤S103,说明如下。
步骤S101:周期性获取多帧BEV特征图。
其中,在步骤S101中,BEV特征图的获取步骤可以包括获取车辆在道路上行驶时连续采集的多个图像组,其中,图像组包括至少两个不同视角的图像,至少两个视角存在重合;将首次获取的图像组填充至BEV平面,并在BEV平面上继续填充其余的图像组,以得到BEV特征图。
在一个实施例中,图像组包括同一时刻采集的前视图像、左前视图像和右前视图像。车辆在行驶过程中,也即动态移动的过程中,车辆的前端、左前端和右前端的三个车载相机按照设定的采集频率同步拍照以依次采集到前视图像、左前视图像和右前视图像,其中的同步拍摄可以视为三个相机在同一时刻拍照,前视图像中的视线相较于左前视图像和右前视图像更远,且其他时刻采集的左前视图像和右前视图像可以填补BEV平面上的空白,进而可以有效识别地图元素,且前视图像、左前视图像和右前视图像中还可能涉及到部分地图元素的重合,地图元素例如车道线。对于道路上地图元素的识别,本申请可以考虑车辆靠前部分的采集信息,主要对道路及道路上的地图元素进行识别。
尽管本申请实施例也使用前视图像、侧前视图像进行BEV拼接,然而与直拼图不同的是,直拼图是针对于同一时刻下的多帧图像进行的BEV拼接,而本申请实施例是在直拼图技术的基础上,还结合了不同时刻下的多帧图像在BEV平面上的拼接,也就是说,本实施例中的BEV特征图是对相关技术中的BEV特征图的拓展,可以针对于具有拐弯坡度的道路进行多次图像采集拼接,可以结合不同时刻的图像特征得到更为真实的BEV特征图,可以有效地解决BEV特征图失真的问题,为有效识别地图元素提供了基础。
进一步地,在BEV平面上继续填充其余的图像组之后,还可以包括选取车辆的一轨迹点作为设定的截取框的中心点;使用截取框从填充后的缓冲BEV特征图上截取出BEV特征图。
如图2所示,具体来说,本实施例使用前视、左前视和右前视的camera图片拼成的BEV特征图。首先,参照图2中的①,接收到前视和两个侧前camera在同一时刻的图像数据,即图像数据组,针对于图像中的每一个像素点,可以通过相机数学模型转化来填充到BEV平面,参照图2中的②,该转换填充手段可以为本领域技术人员所悉知的,在此不再详细地赘述;其次,对不同时刻的图像数据组进行与上述相似的转化和填充处理,可以将更多的像素填充到BEV平面,即叠加像素生成缓冲BEV特征图,参见图2中③所示的大拼图;最后,选取一个合适的pose点,该pose点为车辆的某一个轨迹点,以选取的pose点为中心点,画出480像素*480像素的截取框,按照选取的pose点和截取框即可在缓冲BEV特征图中截取出一个patch,参见图2中④所示的小拼图,即本实施例的BEV特征图。
步骤S102:对各帧BEV特征图进行道路上的地图元素识别,并对得到的多帧识别结果进行2D拼接。
其中,采用感知模型对各帧BEV特征图进行道路上的地图元素识别,并对得到的多帧识别结果进行2D拼接。具体来说,感知模型能够识别的地图元素可以包括车辆在行车场景下的地图元素和/或车辆在泊车场景下的地图元素。
在本实施例中,感知模型将BEV特征图作为输入,对单帧BEV特征图进行地图元素识别,预测出单帧的识别结果,该识别结果包括地图元素的相关信息,例如地图元素点的三维坐标,尤其是高度可以在道路3D恢复中可以使用到。在感知模型对多帧连续的BEV特征图进行识别之后,可以通过后处理将多帧识别结果进行拼接,以得到2D地图,通过不间断的获取BEV特征图可以构建统一规格的空间连续地图,尤其适用在存在坡道的道路上。尽管识别结果中携带了高度信息,但是基于BEV的拼图方法都需要基于逆透视变换IPM(InversePerspective Mapping)平面假设,故而可以在步骤S102中先确定2D地图,如图3所示,以供后续步骤再进行3D恢复。
其中,若车辆处在行车场景下,可以识别的地图元素有箭头、车道线、车道内字符、人行横道和停止线等,以供识别出的地图元素进行自动驾驶;若车辆处在泊车场景下,可以识别的地图元素有道路边界线、停车位、减速带和路口等。在有效识别出地图元素之后,可以根据地图元素进行自动驾驶或自动泊车等操作。
步骤S103:根据识别结果对拼接得到的2D地图进行3D恢复,以供生成3D地图。
在本实施例中,针对于2D地图的高度恢复,尤其是坡道处的高度恢复,申请人可以结合识别结果中地图元素点的高度来实现。车辆在行驶过程中,也可以记录自车轨迹点坐标,例如轨迹点高度。因此,步骤S103可以包括获取车辆的各个轨迹点高度;根据道路上各个地图元素点的高度和各个轨迹点的高度,对2D地图进行高度拟合,以生成3D地图,参见图4,其中,3D地图包括道路坡度为零的部分和/或道路坡度不为零的部分。进一步地,在步骤S103中,根据道路上各个地图元素点的高度和各个轨迹点的高度,对2D地图进行高度拟合,可以包括从各个地图元素点中选取目标地图元素点,并采用近邻搜索算法确定与目标地图元素点最近的轨迹点;根据目标地图元素点和最近的轨迹点的高度,采用插值算法确定道路的高度。
需要说明的是,对2D地图进行3D恢复之后的道路高度应当是连续平滑的,可以将BEV特征图上的自车轨迹点信息保存下来,以供结合地图元素点通过近邻搜索算法和插值算法来道路的高度,尤其是在道路为坡道时也可以得到高质量的3D地图。
本申请实施例提供的一种生成3D地图的方法,尤其适合具有多层的停车场,可以准确地识别坡道处的地图元素,进而生成高质量的停车场中的坡道地图。在本实施例中,感知模型的输入是多帧连续的BEV特征图,可以拓展识别范围,进而覆盖行车场景和泊车场景的定位,可以有效地泛化更多的驾驶场景,具备较好的兼容性,以及,BEV特征图是结合不同时刻的像素点转换拼接而来的,可以避免输入至感知模型中的BEV特征图失真,进而保障地图元素的有效识别。
与前述应用功能实现方法实施例相对应,本申请还提供了一种生成3D地图的装置。图5是本申请实施例示出的生成3D地图的装置的结构框图,生成3D地图的装置包括:
获取模块501,其被配置为周期性获取多帧BEV特征图;其中,获取模块501被具体配置为获取车辆在道路上行驶时连续采集的多个图像组,其中,图像组包括至少两个不同视角的图像,至少两个视角存在重合;将首次获取的图像组填充至BEV平面,并在BEV平面上继续填充其余的图像组,以得到BEV特征图;
识别拼接模块502,其被配置为对各帧BEV特征图进行道路上的地图元素识别,并对得到的多帧识别结果进行2D拼接;
3D恢复模块503,其被配置为根据识别结果对拼接得到的2D地图进行3D恢复,以供生成3D地图。
优选地,在获取模块501中,图像组包括同一时刻采集的前视图像、左前视图像和右前视图像。车辆在行驶过程中,也即动态移动的过程中,车辆的前端、左前端和右前端的三个车载相机按照设定的采集频率同步拍照以依次采集到前视图像、左前视图像和右前视图像,其中的同步拍摄可以视为三个相机在同一时刻拍照,前视图像中的视线相较于左前视图像和右前视图像更远,且其他时刻采集的左前视图像和右前视图像可以填补BEV平面上的空白,进而可以有效识别地图元素,且前视图像、左前视图像和右前视图像中还可能涉及到部分地图元素的重合,地图元素例如车道线。对于道路上地图元素的识别,本申请可以考虑车辆靠前部分的采集信息,主要对道路及道路上的地图元素进行识别。尽管本申请实施例也使用前视图像、侧前视图像进行BEV拼接,然而与直拼图不同的是,直拼图是针对于同一时刻下的多帧图像进行的BEV拼接,而本申请实施例是在直拼图技术的基础上,还结合了不同时刻下的多帧图像在BEV平面上的拼接,也就是说,本实施例中的BEV特征图是对相关技术中的BEV特征图的拓展,可以针对于具有拐弯坡度的道路进行多次图像采集拼接,可以结合不同时刻的图像特征得到更为真实的BEV特征图,可以有效地解决BEV特征图失真的问题,为有效识别地图元素提供了基础。
进一步地,获取模块501进一步具体被配置为在BEV平面上继续填充其余的图像组之后,选取车辆的一轨迹点作为设定的截取框的中心点;使用截取框从填充后的缓冲BEV特征图上截取出BEV特征图。
如图2所示,具体来说,本实施例使用前视、左前视和右前视的camera图片拼成的BEV特征图。首先,参照图2中的①,接收到前视和两个侧前camera在同一时刻的图像数据,即图像数据组,针对于图像中的每一个像素点,可以通过相机数学模型转化来填充到BEV平面,参照图2中的②,该转换填充手段可以为本领域技术人员所悉知的,在此不再详细地赘述;其次,对不同时刻的图像数据组进行与上述相似的转化和填充处理,可以将更多的像素填充到BEV平面,即叠加像素生成缓冲BEV特征图,参见图2中③所示的大拼图;最后,选取一个合适的pose点,该pose点为车辆的某一个轨迹点,以选取的pose点为中心点,画出480像素*480像素的截取框,按照选取的pose点和截取框即可在缓冲BEV特征图中截取出一个patch,参见图2中④所示的小拼图,即本实施例的BEV特征图。
优选地,识别拼接模块502可以被配置为采用感知模型对各帧BEV特征图进行道路上的地图元素识别,并对得到的多帧识别结果进行2D拼接。具体来说,感知模型能够识别的地图元素可以包括车辆在行车场景下的地图元素和/或车辆在泊车场景下的地图元素。在本实施例中,感知模型将BEV特征图作为输入,对单帧BEV特征图进行地图元素识别,预测出单帧的识别结果,该识别结果包括地图元素的相关信息,例如地图元素点的三维坐标,尤其是高度可以在道路3D恢复中可以使用到。在感知模型对多帧连续的BEV特征图进行识别之后,可以通过后处理将多帧识别结果进行拼接,以得到2D地图,通过不间断的获取BEV特征图可以构建统一规格的空间连续地图,尤其适用在存在坡道的道路上。尽管识别结果中携带了高度信息,但是基于BEV的拼图方法都需要基于逆透视变换IPM(Inverse PerspectiveMapping)平面假设,故而可以先确定2D地图,如图3所示,以供后续步骤再进行3D恢复。若车辆处在行车场景下,可以识别的地图元素有箭头、车道线、车道内字符、人行横道和停止线等,以供识别出的地图元素进行自动驾驶;若车辆处在泊车场景下,可以识别的地图元素有道路边界线、停车位、减速带和路口等。在有效识别出地图元素之后,可以根据地图元素进行自动驾驶或自动泊车等操作。
优选地,3D恢复模块503进一步可以被配置为获取车辆的各个轨迹点高度;根据道路上各个地图元素点的高度和各个轨迹点的高度,对2D地图进行高度拟合,以生成3D地图,参见图4,其中,3D地图包括道路坡度为零的部分和/或道路坡度不为零的部分。在本实施例中,针对于2D地图的高度恢复,尤其是坡道处的高度恢复,申请人可以结合识别结果中地图元素点的高度来实现。车辆在行驶过程中,也可以记录自车轨迹点坐标,例如轨迹点高度。进一步地,3D恢复模块503可以具体被配置为从各个地图元素点中选取目标地图元素点,并采用近邻搜索算法确定与目标地图元素点最近的轨迹点;根据目标地图元素点和最近的轨迹点的高度,采用插值算法确定道路的高度。需要说明的是,对2D地图进行3D恢复之后的道路高度应当是连续平滑的,可以将BEV特征图上的自车轨迹点信息保存下来,以供结合地图元素点通过近邻搜索算法和插值算法来道路的高度,尤其是坡道,进而得到3D地图。
本申请实施例提供的一种生成3D地图的装置,尤其适合具有多层的停车场,可以准确地识别坡道处的地图元素,进而生成高质量的停车场中的坡道地图。在本实施例中,感知模型的输入是多帧连续的BEV特征图,可以拓展识别范围,进而覆盖行车场景和泊车场景的定位,可以有效地泛化更多的驾驶场景,具备较好的兼容性,以及,BEV特征图是结合不同时刻的像素点转换拼接而来的,可以避免输入至感知模型中的BEV特征图失真,进而保障地图元素的有效识别。
根据本申请实施例的生成3D地图的装置可以用于执行前文所述的根据本申请实施例的生成3D地图的方法。本领域技术人员可以结合前文关于根据本申请实施例的生成3D地图的方法的描述理解生成3D地图的装置的结构及其操作,关于上述实施例中的生成3D地图的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,为了简洁,此处将不再做详细阐述说明。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不再做详细阐述说明。
图6是本申请实施例示出的汽车的结构示意图。
参见图6,汽车600包括存储器601和处理器602。
处理器602可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器601可以包括各种类型的存储单元,例如系统内存、只读存储器(ROM)和永久存储装置。其中,ROM可以存储处理器602或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中,永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中,永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备,例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外,存储器601可以包括任意计算机可读存储媒介的组合,包括各种类型的半导体存储芯片(例如DRAM,SRAM,SDRAM,闪存,可编程只读存储器),磁盘和/或光盘也可以采用。在一些实施方式中,存储器601可以包括可读和/或写的可移除的存储设备,例如激光唱片(CD)、只读数字多功能光盘(例如DVD-ROM,双层DVD-ROM)、只读蓝光光盘、超密度光盘、闪存卡(例如SD卡、min SD卡、Micro-SD卡等)、磁性软盘等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。
存储器601上存储有可执行代码,当可执行代码被处理器602处理时,可以使处理器602执行上文述及的方法中的部分或全部。
此外,根据本申请的方法还可以实现为一种计算机程序或计算机程序产品,该计算机程序或计算机程序产品包括用于执行本申请的上述方法中部分或全部步骤的计算机程序代码指令。
或者,本申请还可以实施为一种计算机可读存储介质(或非暂时性机器可读存储介质或机器可读存储介质),其上存储有可执行代码(或计算机程序或计算机指令代码),当可执行代码(或计算机程序或计算机指令代码)被电子设备(或服务器等)的处理器执行时,使处理器执行根据本申请的上述方法的各个步骤的部分或全部。
以上已经描述了本申请的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进,或者使本技术领域的其他普通技术人员能理解本文披露的各实施例。
Claims (10)
1.一种生成3D地图的方法,其特征在于,包括:
周期性获取多帧BEV特征图;
对各帧所述BEV特征图进行道路上的地图元素识别,并对得到的多帧识别结果进行2D拼接;
根据所述识别结果对拼接得到的2D地图进行3D恢复,以供生成3D地图;
其中,所述BEV特征图的获取步骤包括:
获取车辆在所述道路上行驶时连续采集的多个图像组,其中,所述图像组包括至少两个不同视角的图像,且至少两个所述视角存在重合;
将首次获取的图像组填充至BEV平面,并在所述BEV平面上继续填充其余的图像组,以得到所述BEV特征图。
2.根据权利要求1所述的生成3D地图的方法,其特征在于,所述图像组包括同一时刻采集的前视图像、左前视图像和右前视图像。
3.根据权利要求1所述的生成3D地图的方法,其特征在于,在所述BEV平面上继续填充其余的图像组之后,还包括:
选取所述车辆的一轨迹点作为设定的截取框的中心点;
使用所述截取框从填充后的缓冲BEV特征图上截取出所述BEV特征图。
4.根据权利要求1所述的生成3D地图的方法,其特征在于,采用感知模型对各帧所述BEV特征图进行道路上的地图元素识别,并对得到的多帧识别结果进行2D拼接。
5.根据权利要求1所述的生成3D地图的方法,其特征在于,所述地图元素包括所述车辆在行车场景下的地图元素和/或所述车辆在泊车场景下的地图元素。
6.根据权利要求1或5所述的生成3D地图的方法,其特征在于,所述识别结果包括地图元素点的高度,所述根据所述识别结果对拼接得到的2D地图进行3D恢复,以供生成3D地图,包括:
获取所述车辆的各个轨迹点高度;
根据所述道路上各个所述地图元素点的高度和各个所述轨迹点的高度,对所述2D地图进行高度拟合,以生成所述3D地图,其中,所述3D地图包括道路坡度为零的部分和/或道路坡度不为零的部分。
7.根据权利要求6所述的生成3D地图的方法,其特征在于,所述根据所述道路上各个所述地图元素点的高度和各个所述轨迹点的高度,对所述2D地图进行高度拟合,包括:
从各个所述地图元素点中选取目标地图元素点,并采用近邻搜索算法确定与所述目标地图元素点最近的轨迹点;
根据所述目标地图元素点和所述最近的轨迹点的高度,采用插值算法确定所述道路的高度。
8.一种生成3D地图的装置,其特征在于,包括:
获取模块,其被配置为周期性获取多帧BEV特征图;
识别拼接模块,其被配置为对各帧所述BEV特征图进行道路上的地图元素识别,并对得到的多帧识别结果进行2D拼接;
3D恢复模块,其被配置为根据所述识别结果对拼接得到的2D地图进行3D恢复,以供生成3D地图;
其中,所述获取模块被具体配置为获取车辆在所述道路上行驶时连续采集的多个图像组,其中,所述图像组包括至少两个不同视角的图像,至少两个所述视角存在重合;将首次获取的图像组填充至BEV平面,并在所述BEV平面上继续填充其余的图像组,以得到所述BEV特征图。
9.一种汽车,其特征在于,包括:
处理器;以及
存储器,其上存储有可执行代码,当所述可执行代码被所述处理器执行时,使所述处理器执行如权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,其上存储有可执行代码,当所述可执行代码被电子设备的处理器执行时,使所述处理器执行如权利要求1至7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311863171.2A CN117830549A (zh) | 2023-12-29 | 2023-12-29 | 生成3d地图的方法、装置、汽车和介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311863171.2A CN117830549A (zh) | 2023-12-29 | 2023-12-29 | 生成3d地图的方法、装置、汽车和介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117830549A true CN117830549A (zh) | 2024-04-05 |
Family
ID=90503917
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311863171.2A Pending CN117830549A (zh) | 2023-12-29 | 2023-12-29 | 生成3d地图的方法、装置、汽车和介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117830549A (zh) |
-
2023
- 2023-12-29 CN CN202311863171.2A patent/CN117830549A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112912920B (zh) | 用于2d卷积神经网络的点云数据转换方法和系统 | |
CN109151439A (zh) | 一种基于视觉的自动追踪拍摄系统及方法 | |
CN104732196A (zh) | 车辆检测方法及系统 | |
CN109447902B (zh) | 一种图像拼接方法、装置、储存介质及设备 | |
CN111930877B (zh) | 地图路牌的生成方法及电子设备 | |
US11380111B2 (en) | Image colorization for vehicular camera images | |
CN114463984B (zh) | 车辆轨迹显示方法及相关设备 | |
CN112595335B (zh) | 一种智慧交通行车停止线的生成方法及相关装置 | |
CN113989755A (zh) | 识别目标的方法、装置和计算可读存储介质 | |
CN113284194A (zh) | 多rs设备的标定方法、装置及设备 | |
CN117830549A (zh) | 生成3d地图的方法、装置、汽车和介质 | |
CN115718304A (zh) | 目标对象检测方法、装置、车辆及存储介质 | |
CN115249345A (zh) | 一种基于倾斜摄影三维实景地图的交通拥堵检测方法 | |
CN113837064B (zh) | 道路识别方法、系统和可读存储介质 | |
CN113139031B (zh) | 用于自动驾驶的交通标识的生成方法及相关装置 | |
CN113724390A (zh) | 匝道生成方法及装置 | |
CN114863347A (zh) | 地图校验方法、装置及设备 | |
CN111523360B (zh) | 用于识别路面标记的方法、装置及单目摄像头 | |
CN114331848A (zh) | 视频图像拼接方法、装置及设备 | |
CN116304142B (zh) | 点云数据获取方法、装置、设备及存储介质 | |
CN116853227A (zh) | 停车位识别方法、装置及存储介质 | |
CN112991434B (zh) | 自动驾驶交通标识信息的生成方法及相关装置 | |
CN114419594A (zh) | 智慧交通路牌的识别方法及装置 | |
CN116630601A (zh) | 基于椭圆检测框的圆形路牌数据生成方法及装置 | |
CN113538546B (zh) | 用于自动驾驶的目标检测方法、装置及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |