CN117974916A - 基于信息融合的高精地图生成方法及装置 - Google Patents
基于信息融合的高精地图生成方法及装置 Download PDFInfo
- Publication number
- CN117974916A CN117974916A CN202311654743.6A CN202311654743A CN117974916A CN 117974916 A CN117974916 A CN 117974916A CN 202311654743 A CN202311654743 A CN 202311654743A CN 117974916 A CN117974916 A CN 117974916A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- map
- frame
- data
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 128
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000001514 detection method Methods 0.000 claims abstract description 52
- 238000013507 mapping Methods 0.000 claims abstract description 19
- 238000004590 computer program Methods 0.000 claims description 13
- 230000008878 coupling Effects 0.000 claims description 11
- 238000010168 coupling process Methods 0.000 claims description 11
- 238000005859 coupling reaction Methods 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 5
- 238000005259 measurement Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明提供一种基于信息融合的高精地图生成方法及装置,涉及电子地图技术领域,方法包括:获取目标时间段内的目标图像帧序列以及目标图像帧序列中各帧目标图像对应的点云数据;将各帧目标图像分别与其对应的点云数据进行信息融合,得到对应帧点云融合数据;利用点云融合数据进行激光建图,得到点云地图;对点云地图进行目标检测,并根据目标检测结果和点云地图,生成高精度地图。本发明通过对点云数据和目标图像进行信息融合,以使点云数据中融合像素值,进而提高生成的点云地图的精确度,并通过对点云地图进行目标检测,以便于根据目标检测结果对点云地图进行标注,从而实现高精度高静地图的生成。
Description
技术领域
本发明涉及电子地图技术领域,尤其涉及一种基于信息融合的高精地图生成方法及装置。
背景技术
随着科技的发展,电子地图的应用已经越来越普遍。一方面,人们可以使用电子地图进行导航来帮助人们出行;另一方面,随着无人驾驶车辆的兴起,无人驾驶车辆可以利用电子地图来对周围环境进行认知,从而控制等无人驾驶车辆的转向、加速或减速等行为。为实现无人配送小车在车间及工厂内的自动行驶,需制作高精地图。高精地图包括大量的车道线的信息,如车道线的标线、标识、部件、坡度等等。
现有高精地图在进行车道线标注时,大部分根据路面标志的激光反射强度进行识别,或者浏览对应地点的图片进行联合识别。然而,完全依据激光反射强度会造成路面标志识别不准确的情况,在识别时浏览图像需要花费较多时间且无法保证其准确性。
发明内容
本发明提供一种基于信息融合的高精地图生成方法及装置,用以解决现有技术中高精地图准确性不高的缺陷,实现高精度的高精地图的生成。
本发明提供一种基于信息融合的高精地图生成方法,包括:获取目标时间段内的目标图像帧序列以及所述目标图像帧序列中各帧目标图像对应的点云数据;将各帧所述目标图像分别与其对应的点云数据进行信息融合,得到对应帧点云融合数据;利用所述点云融合数据进行激光建图,得到点云地图;对所述点云地图进行目标检测,并根据目标检测结果和所述点云地图,生成高精度地图。
根据本发明提供的一种基于信息融合的高精地图生成方法,所述将各帧所述目标图像分别与其对应的点云数据进行信息融合,得到对应帧点云融合数据,包括:针对各帧所述点云数据,基于在先获取的坐标转换关系,将所述点云数据投影至对应帧目标图像上,得到所述点云数据中各点对应的像素信息;根据所述点云数据中各点对应的像素信息和对应帧点云数据,得到对应帧点云融合数据。
根据本发明提供的一种基于信息融合的高精地图生成方法,所述点云融合数据包括对应帧点云数据中各点的点云信息和图像像素信息;所述利用所述点云融合数据进行激光建图,得到点云地图,包括:针对各帧所述点云融合数据,基于对应帧点云数据中各点的点云信息,利用雷达-惯性传感器lidar-imu紧耦合算法,生成第一地图;根据对应帧点云数据中各点对应的点云信息和图像像素信息,结合所述第一地图,得到点云地图。
根据本发明提供的一种基于信息融合的高精地图生成方法,所述根据对应帧点云数据中各点对应的点云信息和图像像素信息,结合所述第一地图,得到点云地图,包括:根据对应帧点云数据中各点对应的点云信息和图像像素信息,确定所述第一地图中对应的目标点;基于所述对应帧点云数据中各点对应的图像像素信息,对各所述目标点添加对应像素值,得到点云地图。
根据本发明提供的一种基于信息融合的高精地图生成方法,所述针对各帧所述点云融合数据,基于对应帧点云数据中各点的点云信息,利用雷达-惯性测量单元lidar-imu紧耦合算法,生成第一地图,包括:对当前帧点云数据进行预处理;对预处理后的当前帧点云数据进行状态估计,得到预估状态;利用所述预估状态对当前帧局部地图进行优化,并将优化结果与所述当前帧局部地图进行融合,所述当前帧局部地图是基于在先帧点云数据优化并融合在先帧局部地图得到的;利用融合后的当前帧局部地图,优化基于在先帧局部地图得到的全局地图,得到第一地图。
根据本发明提供的一种基于信息融合的高精地图生成方法,所述对预处理后的当前帧点云数据进行状态估计,包括:利用激光雷达-惯性里程计fast-lio算法,对预处理后的当前帧点云数据进行状态估计;或者,利用激光惯导紧耦合的SLAM lio-sam算法,对预处理后的当前帧点云数据进行状态估计。
根据本发明提供的一种基于信息融合的高精地图生成方法,在所述将各帧所述目标图像分别与其对应的点云数据进行信息融合之后,包括:根据所述点云融合数据中的点云数据是否融合有像素信息,对所述点云融合数据添加标签;
在所述利用所述点云融合数据进行激光建图,得到点云地图之后,包括:基于所述标签,对所述点云地图中未融合有像素信息的点云数据进行滤除。
本发明还提供一种基于信息融合的高精地图生成装置,包括:数据获取模块,获取目标时间段内的目标图像帧序列以及所述目标图像帧序列中各帧目标图像对应的点云数据;信息融合模块,将各帧所述目标图像分别与其对应的点云数据进行信息融合,得到对应帧点云融合数据;激光建图模块,利用所述点云融合数据进行激光建图,得到点云地图;地图构建模块,对所述点云地图进行目标检测,并根据目标检测结果和所述点云地图,得到高精度地图。
本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述基于信息融合的高精地图生成方法的步骤。
本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述基于信息融合的高精地图生成方法的步骤。
本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述基于信息融合的高精地图生成方法的步骤。
本发明提供的基于信息融合的高精地图生成方法及装置,通过对点云数据和目标图像进行信息融合,以使点云数据中融合像素值,进而提高生成的点云地图的精确度,并通过对点云地图进行目标检测,以便于根据目标检测结果对点云地图进行标注,从而实现高精度高静地图的生成;此外,本系统投资较小,结构相对简单,可操作性好,具有较好的应用前景。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明提供的基于信息融合的高精地图生成方法的流程示意图;
图2是本发明提供的获取目标图像帧序列及其中各帧目标图像对应的点云数据的示意图;
图3是本发明提供的目标图像及其对应的点云数据的示意图;
图4是本发明提供的单帧点云融合数据的示意图;
图5是本发明提供的点云地图的示意图;
图6是本发明提供的高精地图的示意图;
图7是本发明提供的基于信息融合的高精地图生成装置的结构示意图;
图8是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1示出了本发明一种基于信息融合的高精地图生成方法的流程示意图,该方法,包括:
S11,获取目标时间段内的目标图像帧序列以及目标图像帧序列中各帧目标图像对应的点云数据;
S12,将各帧目标图像分别与其对应的点云数据进行信息融合,得到对应帧点云融合数据;
S13,利用点云融合数据进行激光建图,得到点云地图;
S14,对点云地图进行目标检测,并根据目标检测结果和点云地图,生成高精度地图。
需要说明的是,本说明书中的步骤编号“S1N”不代表基于信息融合的高精地图生成方法的先后顺序,下面具体结合图2-图6描述本发明的基于信息融合的高精地图生成方法。
步骤S11,获取目标时间段内的目标图像帧序列以及目标图像帧序列中各帧目标图像对应的点云数据。
在本实施例中,获取目标时间段内的目标图像帧序列以及目标图像帧序列中各帧目标图像对应的点云数据,包括:针对目标时间段内的同一时序,利用摄像装置获取目标图像,以及利用雷达获取点云数据。需要说明的是,摄像装置可以采用相机、摄像头或其他具备移动摄像功能的电子设备,雷达可以采用激光雷达或毫米波雷达等,此处不作进一步地限定。
另外,摄像装置和雷达可以设置于电动小车上,以便于对目标环境进行感知。进一步地,参考图2,摄像装置可以置于雷达的下方,并调整摄像装置和雷达位置,使得道路在激光雷达和相机的视场角内,利用小车上的电源给雷达供电,实时将雷达点云和目标图像输入至计算机进行实时处理,得到的各帧目标图像及其对应的点云数据参考图3。
步骤S12,将各帧目标图像分别与其对应的点云数据进行信息融合,得到对应帧点云融合数据。
在本实施例中,将各帧目标图像分别与其对应的点云数据进行信息融合,得到对应帧点云融合数据,包括:针对各帧点云数据,基于在先获取的坐标转换关系,将点云数据投影至对应帧目标图像上,得到点云数据中各点对应的像素信息;根据点云数据中各点对应的像素信息和对应帧点云数据,得到对应帧点云融合数据,参考图4。
需要补充的是,在针对各帧点云数据,基于在先获取的坐标转换关系,将点云数据投影至对应帧目标图像上之前,包括:获取摄像装置的第一标定参数,以及获取雷达的第二标定参数;根据第一标定参数和第二标定参数,得到目标图像和点云数据之间的坐标转换关系。
另外,在将各帧目标图像分别与其对应的点云数据进行信息融合之后,包括:根据点云融合数据中的点云数据是否融合有像素信息,对点云融合数据添加标签。需要说明的是,通过便签,便于区分点云融合数据中融合了像素信息的点和未融合像素信息的点,便于后续根据标签对点云数据进行过滤。
以PCL库中的PointXYZRGB类型数据为例,在如图4所示的点云中,融合了像素信息的点云数据包括三维坐标信息、像素信息和标签,三维坐标信息利用x、y、z属性记录,像素信息利用r、g、b属性记录,未融合像素信息的点云数据包括三维坐标信息和标签,便签可以利用data_c[3]属性记录,以便于快速知悉该点是否融合了图像像素值。
步骤S13,利用点云融合数据进行激光建图,得到点云地图。
需要说明的是,点云融合数据包括对应帧点云数据中各点的点云信息和图像像素信息。相应地,利用点云融合数据进行激光建图,得到点云地图,包括:针对各帧点云融合数据,基于对应帧点云数据中各点的点云信息,利用雷达-惯性传感器lidar-imu紧耦合算法,生成第一地图;根据对应帧点云数据中各点对应的点云信息和图像像素信息,结合第一地图,得到点云地图,参考图5。
具体而言,根据对应帧点云数据中各点对应的点云信息和图像像素信息,结合第一地图,得到点云地图,包括:根据对应帧点云数据中各点对应的点云信息和图像像素信息,确定第一地图中对应的目标点;基于对应帧点云数据中各点对应的图像像素信息,对各目标点添加对应像素值,得到点云地图。
进一步地,根据对应帧点云数据中各点对应的点云信息和图像像素信息,确定第一地图中对应的目标点,包括:根据对应帧点云数据中各点对应的点云信息和图像像素信息,确定融合目标图像像素信息的点的点云信息;根据确定的融合目标图像像素信息的点的点云信息,确定第一地图中对应的目标点。
在一个可选实施例中,针对各帧点云融合数据,基于对应帧点云数据中各点的点云信息,利用雷达-惯性测量单元lidar-imu紧耦合算法,生成第一地图,包括:
Sa,对当前帧点云数据进行预处理。
需要补充的是,预处理包括体素滤波和K最临近搜索。具体地,对当前帧点云数据进行预处理,包括:利用体素滤波,对当前帧点云数据进行降采样,以防止将同一帧点云数据的第一个点和最后一个点放进同一个体素里;对当前帧内的各个点分别进行K临近搜索和关联,得到各个点对应的最临近点。
Sb,对预处理后的当前帧点云数据进行状态估计,得到预估状态。
在一个可选实施例中,对预处理后的当前帧点云数据进行状态估计,包括:利用激光雷达-惯性里程计fast-lio算法,对预处理后的当前帧点云数据进行状态估计;或者,利用激光惯导紧耦合的SLAM lio-sam算法,对预处理后的当前帧点云数据进行状态估计。
进一步地,利用fast-lio算法,对预处理后的当前帧点云数据进行状态估计,包括:采用迭代拓展的卡尔曼滤波器对预处理后的当前帧点云数据进行状态估计。
Sc,利用预估状态对当前帧局部地图进行优化,并将优化结果与当前帧局部地图进行融合,当前帧局部地图是基于在先帧点云数据优化并融合在先帧局部地图得到的;
Sd,利用融合后的当前帧局部地图,优化基于在先帧局部地图得到的全局地图,得到第一地图。
在一个可选实施例中,在利用点云融合数据进行激光建图,得到点云地图之后,还包括:基于标签,对点云地图中未融合有像素信息的点云数据进行滤除。
步骤S14,对点云地图进行目标检测,并根据目标检测结果和点云地图,生成高精度地图。
在本实施例中,对点云地图进行目标检测,包括:将点云地图划分为多帧地图图像;将地图图像输入至目标检测模型中,得到目标检测模型输出的目标检测结果;其中,目标检测模型是根据历史地图图像和历史地图图像对应的目标标签训练得到的。
需要补充的是,目标检测结果包括车道线、人行道、边缘线和停止线等等,具体可以根据实际构建高精地图的设计需求确定,此处不作进一步地限定。
另外,目标检测结果包括目标2D检测框;根据目标检测2D框,对点云地图进行标注,得到如图6所示的高精地图,以提高高精度地图的准确性。
综上所述,本发明实施例通过对点云数据和目标图像进行信息融合,以使点云数据中融合像素值,进而提高生成的点云地图的精确度,并通过对点云地图进行目标检测,以便于根据目标检测结果对点云地图进行标注,从而实现高精度高静地图的生成;此外,本系统投资较小,结构相对简单,可操作性好,具有较好的应用前景。
下面对本发明提供的基于信息融合的高精地图生成装置进行描述,下文描述的基于信息融合的高精地图生成装置与上文描述的基于信息融合的高精地图生成方法可相互对应参照。
图7示出了一种基于信息融合的高精地图生成装置的结构示意图,该装置,包括:
数据获取模块71,获取目标时间段内的目标图像帧序列以及目标图像帧序列中各帧目标图像对应的点云数据;
信息融合模块72,将各帧目标图像分别与其对应的点云数据进行信息融合,得到对应帧点云融合数据;
激光建图模块73,利用点云融合数据进行激光建图,得到点云地图;
地图构建模块74,对点云地图进行目标检测,并根据目标检测结果和点云地图,得到高精度地图。
在本实施例中,数据获取模块71,用于:针对目标时间段内的同一时序,利用摄像装置获取目标图像,以及利用雷达获取点云数据。
信息融合模块72,包括:投影单元,针对各帧点云数据,基于在先获取的坐标转换关系,将点云数据投影至对应帧目标图像上,得到点云数据中各点对应的像素信息;信息融合单元,根据点云数据中各点对应的像素信息和对应帧点云数据,得到对应帧点云融合数据。
需要补充的是,该装置,还包括:参数获取模块,在针对各帧点云数据,基于在先获取的坐标转换关系,将点云数据投影至对应帧目标图像上之前,获取摄像装置的第一标定参数,以及获取雷达的第二标定参数;坐标转换模块,根据第一标定参数和第二标定参数,得到目标图像和点云数据之间的坐标转换关系。
另外,该装置,还包括:标注模块,在将各帧目标图像分别与其对应的点云数据进行信息融合之后,根据点云融合数据中的点云数据是否融合有像素信息,对点云融合数据添加标签。
需要说明的是,点云融合数据包括对应帧点云数据中各点的点云信息和图像像素信息。相应地,激光建图模块73,包括:地图生成单元,针对各帧点云融合数据,基于对应帧点云数据中各点的点云信息,利用雷达-惯性传感器lidar-imu紧耦合算法,生成第一地图;像素融合单元,根据对应帧点云数据中各点对应的点云信息和图像像素信息,结合第一地图,得到点云地图。
具体而言,像素融合单元,包括:目标点确定子单元,根据对应帧点云数据中各点对应的点云信息和图像像素信息,确定第一地图中对应的目标点;像素融合子单元,基于对应帧点云数据中各点对应的图像像素信息,对各目标点添加对应像素值,得到点云地图。
进一步地,目标点确定子单元,包括:第一点位确定孙单元,根据对应帧点云数据中各点对应的点云信息和图像像素信息,确定融合目标图像像素信息的点的点云信息;第二点位确定孙单元,根据确定的融合目标图像像素信息的点的点云信息,确定第一地图中对应的目标点。
在一个可选实施例中,地图生成单元,包括:预处理子单元,对当前帧点云数据进行预处理;状态预估子单元,对预处理后的当前帧点云数据进行状态估计,得到预估状态;局部地图优化子单元,利用预估状态对当前帧局部地图进行优化,并将优化结果与当前帧局部地图进行融合,当前帧局部地图是基于在先帧点云数据优化并融合在先帧局部地图得到的;地图生成子单元,对点云地图进行目标检测,并根据目标检测结果和点云地图,生成高精度地图。
需要补充的是,预处理子单元,包括:体素滤波孙单元,利用体素滤波,对当前帧点云数据进行降采样,以防止将同一帧点云数据的第一个点和最后一个点放进同一个体素里;K临近搜索孙单元,对当前帧内的各个点分别进行K临近搜索和关联,得到各个点对应的最临近点。
在一个可选实施例中,状态估计孙单元,用于:利用激光雷达-惯性里程计fast-lio算法,对预处理后的当前帧点云数据进行状态估计;或者,利用激光惯导紧耦合的SLAMlio-sam算法,对预处理后的当前帧点云数据进行状态估计。
进一步地,利用fast-lio算法,对预处理后的当前帧点云数据进行状态估计,包括:采用迭代拓展的卡尔曼滤波器对预处理后的当前帧点云数据进行状态估计。
在一个可选实施例中,该装置,还包括:过滤模块,在利用点云融合数据进行激光建图,得到点云地图之后,基于标签,对点云地图中未融合有像素信息的点云数据进行滤除。
地图构建模块74,包括:目标检测单元,对点云地图进行目标检测;高精地图生成单元,根据目标检测结果和点云地图,生成高精度地图。
进一步地,目标检测单元,用于:将点云地图划分为多帧地图图像;将地图图像输入至目标检测模型中,得到目标检测模型输出的目标检测结果;其中,目标检测模型是根据历史地图图像和历史地图图像对应的目标标签训练得到的。
需要补充的是,目标检测结果包括车道线、人行道、边缘线和停止线等等,具体可以根据实际构建高精地图的设计需求确定,此处不作进一步地限定。
另外,目标检测结果包括目标2D检测框;根据目标检测2D框,对点云地图进行标注,得到如图6所示的高精地图,以提高高精度地图的准确性。
综上所述,本发明实施例通过信息融合模块对数据获取模块获取的点云数据和目标图像进行信息融合,以使点云数据中融合像素值,进而便于激光建图模块生成点云地图,以提高生成的点云地图的精确度,并通过地图构建模块对点云地图进行目标检测,以便于根据目标检测结果对点云地图进行标注,从而实现高精度高静地图的生成;此外,本系统投资较小,结构相对简单,可操作性好,具有较好的应用前景。
图8示例了一种电子设备的实体结构示意图,如图8所示,该电子设备可以包括:处理器(processor)81、通信接口(Communications Interface)82、存储器(memory)83和通信总线84,其中,处理器81,通信接口82,存储器83通过通信总线84完成相互间的通信。处理器81可以调用存储器83中的逻辑指令,以执行基于信息融合的高精地图生成方法,该方法包括:获取目标时间段内的目标图像帧序列以及目标图像帧序列中各帧目标图像对应的点云数据;将各帧目标图像分别与其对应的点云数据进行信息融合,得到对应帧点云融合数据;利用点云融合数据进行激光建图,得到点云地图;对点云地图进行目标检测,并根据目标检测结果和点云地图,生成高精度地图。
此外,上述的存储器83中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,计算机程序可存储在非暂态计算机可读存储介质上,所述计算机程序被处理器执行时,计算机能够执行上述各方法所提供的基于信息融合的高精地图生成方法,该方法包括:获取目标时间段内的目标图像帧序列以及目标图像帧序列中各帧目标图像对应的点云数据;将各帧目标图像分别与其对应的点云数据进行信息融合,得到对应帧点云融合数据;利用点云融合数据进行激光建图,得到点云地图;对点云地图进行目标检测,并根据目标检测结果和点云地图,生成高精度地图。
又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各方法提供的基于信息融合的高精地图生成方法,该方法包括:获取目标时间段内的目标图像帧序列以及目标图像帧序列中各帧目标图像对应的点云数据;将各帧目标图像分别与其对应的点云数据进行信息融合,得到对应帧点云融合数据;利用点云融合数据进行激光建图,得到点云地图;对点云地图进行目标检测,并根据目标检测结果和点云地图,生成高精度地图。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于信息融合的高精地图生成方法,其特征在于,包括:
获取目标时间段内的目标图像帧序列以及所述目标图像帧序列中各帧目标图像对应的点云数据;
将各帧所述目标图像分别与其对应的点云数据进行信息融合,得到对应帧点云融合数据;
利用所述点云融合数据进行激光建图,得到点云地图;
对所述点云地图进行目标检测,并根据目标检测结果和所述点云地图,生成高精度地图。
2.根据权利要求1所述的基于信息融合的高精地图生成方法,其特征在于,所述将各帧所述目标图像分别与其对应的点云数据进行信息融合,得到对应帧点云融合数据,包括:
针对各帧所述点云数据,基于在先获取的坐标转换关系,将所述点云数据投影至对应帧目标图像上,得到所述点云数据中各点对应的像素信息;
根据所述点云数据中各点对应的像素信息和对应帧点云数据,得到对应帧点云融合数据。
3.根据权利要求1所述的基于信息融合的高精地图生成方法,其特征在于,所述点云融合数据包括对应帧点云数据中各点的点云信息和图像像素信息;所述利用所述点云融合数据进行激光建图,得到点云地图,包括:
针对各帧所述点云融合数据,基于对应帧点云数据中各点的点云信息,利用雷达-惯性传感器lidar-imu紧耦合算法,生成第一地图;
根据对应帧点云数据中各点对应的点云信息和图像像素信息,结合所述第一地图,得到点云地图。
4.根据权利要求3所述的基于信息融合的高精地图生成方法,其特征在于,所述根据对应帧点云数据中各点对应的点云信息和图像像素信息,结合所述第一地图,得到点云地图,包括:
根据对应帧点云数据中各点对应的点云信息和图像像素信息,确定所述第一地图中对应的目标点;
基于所述对应帧点云数据中各点对应的图像像素信息,对各所述目标点添加对应像素值,得到点云地图。
5.根据权利要求3所述的基于信息融合的高精地图生成方法,其特征在于,所述针对各帧所述点云融合数据,基于对应帧点云数据中各点的点云信息,利用雷达-惯性测量单元lidar-imu紧耦合算法,生成第一地图,包括:
对当前帧点云数据进行预处理;
对预处理后的当前帧点云数据进行状态估计,得到预估状态;
利用所述预估状态对当前帧局部地图进行优化,并将优化结果与所述当前帧局部地图进行融合,所述当前帧局部地图是基于在先帧点云数据优化并融合在先帧局部地图得到的;
利用融合后的当前帧局部地图,优化基于在先帧局部地图得到的全局地图,得到第一地图。
6.根据权利要求5所述的基于信息融合的高精地图生成方法,其特征在于,所述对预处理后的当前帧点云数据进行状态估计,包括:
利用激光雷达-惯性里程计fast-lio算法,对预处理后的当前帧点云数据进行状态估计;或者,
利用激光惯导紧耦合的SLAM lio-sam算法,对预处理后的当前帧点云数据进行状态估计。
7.根据权利要求1所述的基于信息融合的高精地图生成方法,其特征在于,在所述将各帧所述目标图像分别与其对应的点云数据进行信息融合之后,包括:
根据所述点云融合数据中的点云数据是否融合有像素信息,对所述点云融合数据添加标签;
在所述利用所述点云融合数据进行激光建图,得到点云地图之后,包括:
基于所述标签,对所述点云地图中未融合有像素信息的点云数据进行滤除。
8.一种基于信息融合的高精地图生成装置,其特征在于,包括:
数据获取模块,获取目标时间段内的目标图像帧序列以及所述目标图像帧序列中各帧目标图像对应的点云数据;
信息融合模块,将各帧所述目标图像分别与其对应的点云数据进行信息融合,得到对应帧点云融合数据;
激光建图模块,利用所述点云融合数据进行激光建图,得到点云地图;
地图构建模块,对所述点云地图进行目标检测,并根据目标检测结果和所述点云地图,得到高精度地图。
9.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至7任一项所述基于信息融合的高精地图生成方法的步骤。
10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于信息融合的高精地图生成方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311654743.6A CN117974916A (zh) | 2023-12-04 | 2023-12-04 | 基于信息融合的高精地图生成方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311654743.6A CN117974916A (zh) | 2023-12-04 | 2023-12-04 | 基于信息融合的高精地图生成方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117974916A true CN117974916A (zh) | 2024-05-03 |
Family
ID=90861647
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311654743.6A Pending CN117974916A (zh) | 2023-12-04 | 2023-12-04 | 基于信息融合的高精地图生成方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117974916A (zh) |
-
2023
- 2023-12-04 CN CN202311654743.6A patent/CN117974916A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111325796B (zh) | 用于确定视觉设备的位姿的方法和装置 | |
JP6595182B2 (ja) | マッピング、位置特定、及び姿勢補正のためのシステム及び方法 | |
WO2020102944A1 (zh) | 点云处理方法、设备及存储介质 | |
US20200353914A1 (en) | In-vehicle processing device and movement support system | |
US11227395B2 (en) | Method and apparatus for determining motion vector field, device, storage medium and vehicle | |
CN111986261B (zh) | 一种车辆定位方法、装置、电子设备及存储介质 | |
CN111105695B (zh) | 地图制作方法、装置、电子设备及计算机可读存储介质 | |
CN111461981A (zh) | 点云拼接算法的误差估计方法和装置 | |
CN111353453B (zh) | 用于车辆的障碍物检测方法和装置 | |
CN111681172A (zh) | 协同构建点云地图的方法、设备和系统 | |
CN114511632A (zh) | 车位地图的构建方法及装置 | |
CN112686951A (zh) | 用于确定机器人位置的方法、装置、终端及存储介质 | |
CN112184906B (zh) | 一种三维模型的构建方法及装置 | |
KR102249381B1 (ko) | 3차원 영상 정보를 이용한 모바일 디바이스의 공간 정보 생성 시스템 및 방법 | |
CN111754388B (zh) | 一种建图方法及车载终端 | |
CN114830185A (zh) | 借助于神经网络的位置确定 | |
CN111380529B (zh) | 移动设备定位方法、装置、系统及移动设备 | |
CN109598199B (zh) | 车道线生成方法和装置 | |
CN110827340B (zh) | 地图的更新方法、装置及存储介质 | |
CN113469045B (zh) | 无人集卡的视觉定位方法、系统、电子设备和存储介质 | |
CN117635721A (zh) | 目标定位方法及相关系统、存储介质 | |
KR20200032776A (ko) | 다중 센서 플랫폼 간 정보 융합을 위한 시스템 | |
CN117974916A (zh) | 基于信息融合的高精地图生成方法及装置 | |
CN109901589B (zh) | 移动机器人控制方法和装置 | |
US11544899B2 (en) | System and method for generating terrain maps |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |