CN117665816A - 基于成像雷达的高精地图确定方法、系统、车辆及介质 - Google Patents
基于成像雷达的高精地图确定方法、系统、车辆及介质 Download PDFInfo
- Publication number
- CN117665816A CN117665816A CN202410038591.5A CN202410038591A CN117665816A CN 117665816 A CN117665816 A CN 117665816A CN 202410038591 A CN202410038591 A CN 202410038591A CN 117665816 A CN117665816 A CN 117665816A
- Authority
- CN
- China
- Prior art keywords
- information
- radar
- cloud data
- point cloud
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 79
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000008859 change Effects 0.000 claims description 45
- 238000001514 detection method Methods 0.000 claims description 42
- 230000004927 fusion Effects 0.000 claims description 17
- 238000013507 mapping Methods 0.000 claims description 12
- 230000009471 action Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 2
- 238000005286 illumination Methods 0.000 abstract description 7
- 238000002372 labelling Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 5
- 238000009434 installation Methods 0.000 description 5
- 230000009467 reduction Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Abstract
本发明公开了一种基于成像雷达的高精地图确定方法、系统、车辆及介质。该方法应用于车辆,车辆包括:合成孔径雷达及4D成像毫米波雷达,方法包括:获取车辆的车辆行驶信息、定位信息、合成孔径雷达采集的作用域下的雷达点云数据及4D成像毫米波雷达的三维雷达点云数据;结合车辆行驶信息及定位信息,确定当前地图信息;根据当前地图信息对相匹配的历史地图信息进行更新,得到高精地图;根据卫星影像、车辆行驶信息、定位信息、雷达点云数据及三维雷达点云数据,创建高精地图。通过4D成像毫米波雷达和合成孔径雷达实现对场景三维点云的采集,实现全天气及全光照条件下的数据采集,从而提高了地图的精度,降低了创建和更新高精地图的成本。
Description
技术领域
本发明涉及车辆技术领域,尤其涉及基于成像雷达的高精地图确定方法、系统、车辆及介质。
背景技术
在自动驾驶汽车导航之前,它需要路线的高精地图(HDMAP)。创建高精地图首先需要数据采集。当前的数据采集系统主要是移动地图系统(MMS),MMS是一种配备地图传感器的移动测绘车辆,包括GNSS(全球导航卫星系统)、IMU、激光雷达(光探测和测距)、相机和雷达。因为安装有激光雷达,单辆MMS采集车成本较高。采用测绘车方式,分米级地图的测绘效率约为每天每车500公里道路,成本为每公里10元左右,而厘米级地图的测绘效率约为每天每车100公里道路,成本可能达每公里千元。即使高精地图已经创建,如何保持地图的鲜度也是一大难题。
为降低数据采集成本,众包模式成为目前业内主流的方式。简单来说,就是把每一辆搭载智能驾驶系统的车辆,成为移动的地图采集车。就安装传感器数量和质量来说,这种采集车有高端和低端之分,高端采集车配备有激光雷达、摄像头、IMU等传感器,而低端采集车缺乏激光雷达,仅采用摄像头和IMU等传感器。
无论是高端采集车和低端采集车,其配备的数据采集系统均具有一些明显的缺点:高低端采集车传感器工作受限于天气条件和光照条件,在恶劣的天气条件下或者较暗的光照环境下无法正常工作;高端采集车成本高;低端采集车的视觉图像缺乏深度信息,所建地图精度低。
发明内容
本发明提供了一种基于成像雷达的高精地图确定方法、系统、车辆及介质,以提高地图的构建精度。
根据本发明的第一方面,提供了一种基于成像雷达的高精地图确定方法,应用于车辆,所述车辆包括:合成孔径雷达及4D成像毫米波雷达,所述方法包括:
获取所述车辆的车辆行驶信息、定位信息、所述合成孔径雷达采集的作用域下的雷达点云数据及所述4D成像毫米波雷达的三维雷达点云数据;
根据所述车辆行驶信息、所述定位信息、所述雷达点云数据及所述三维雷达点云数据,确定对应区域的当前地图信息;
当存在与所述当前地图信息对相匹配的历史地图信息时,根据所述当前地图信息对相匹配的历史地图信息进行变化检测,并基于变化检测结果对所述历史地图信息进行更新,得到高精地图;
当不存在所述历史地图信息时,根据接收的卫星影像、所述车辆行驶信息、所述定位信息、所述雷达点云数据及所述三维雷达点云数据,创建所述高精地图。
根据本发明的第二方面,提供了一种基于成像雷达的高精地图确定系统,其特征在于,包括:
信息获取模块,用于获取所述车辆的车辆行驶信息、定位信息、所述合成孔径雷达采集的作用域下的雷达点云数据及所述4D成像毫米波雷达的三维雷达点云数据;
信息确定模块,用于根据所述车辆行驶信息、所述定位信息、所述雷达点云数据及所述三维雷达点云数据,确定对应区域的当前地图信息;
地图更新模块,用于当存在与所述当前地图信息对相匹配的历史地图信息时,根据所述当前地图信息对相匹配的历史地图信息进行变化检测,并基于变化检测结果对所述历史地图信息进行更新,得到高精地图;
地图创建模块,用于当不存在所述历史地图信息时,根据接收的卫星影像、所述车辆行驶信息、所述定位信息、所述雷达点云数据及所述三维雷达点云数据,创建所述高精地图。
根据本发明的第三方面,提供了一种车辆,所述车辆包括:
至少一个合成孔径雷达、至少一个4D成像毫米波雷达、至少一个控制器;以及
与所述至少一个控制器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个控制器执行的计算机程序,所述计算机程序被所述至少一个控制器执行,以使所述至少一个控制器能够执行本发明任一实施例所述的基于成像雷达的高精地图确定方法。
根据本发明的另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使控制器执行时实现本发明任一实施例所述的基于成像雷达的高精地图确定方法。
本发明实施例的技术方案,车辆中包括的合成孔径雷达及4D成像毫米波雷达,获取车辆的车辆行驶信息、定位信息、合成孔径雷达采集的作用域下的雷达点云数据及4D成像毫米波雷达的三维雷达点云数据;根据车辆行驶信息、定位信息、雷达点云数据及三维雷达点云数据,确定对应区域的当前地图信息;当存在于当前地图信息对相匹配的历史地图信息时,根据当前地图信息对相匹配的历史地图信息进行变化检测,并基于变化检测结果对历史地图信息进行更新,得到高精地图;当不存在历史地图信息时,根据接收的卫星影像、车辆行驶信息、定位信息、雷达点云数据及三维雷达点云数据,创建高精地图。通过4D成像毫米波雷达和合成孔径雷达实现对场景三维点云的采集,实现全天气及全光照条件下的数据采集,从而提高了地图的精度,降低了创建和更新高精地图的成本。
应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本发明实施例一提供的一种基于成像雷达的高精地图确定方法的流程图;
图2是根据本发明实施例一提供的一种基于成像雷达的高精地图确定方法中的雷达安装示例图;
图3是根据本发明实施例二提供的一种基于成像雷达的高精地图确定方法的流程图;
图4是根据本发明实施例三提供的一种基于成像雷达的高精地图确定系统的结构示意图;
图5是实现本发明实施例的车辆的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
图1为本发明实施例一提供了一种基于成像雷达的高精地图确定方法的流程图,本实施例可适用于对地图进行更新及创建的情况,该方法可以由基于成像雷达的高精地图确定系统来执行,该基于成像雷达的高精地图确定系统可以采用硬件和/或软件的形式实现,该基于成像雷达的高精地图确定系统可配置于车辆中,所述车辆包括:合成孔径雷达及4D成像毫米波雷达。
如图1所示,该方法包括:
S110、获取车辆的车辆行驶信息、定位信息、合成孔径雷达采集的作用域下的雷达点云数据及4D成像毫米波雷达的三维雷达点云数据。
在本实施例中,车辆行驶信息可以理解为车辆行驶时的驱动信息,如包括车速及偏航角速率等信息。定位信息可以理解为用于对车辆进行定位的信息,如IMU、GPS及里程计等。合成孔径雷达可以理解为用于获取更高分辨率的场景图像的雷达。作用域可以理解为雷达覆盖的范围。雷达点云数据可以理解为二维图像下的雷达点云数据。4D成像毫米波雷达可以理解为可以获取场景高度信息和速度信息的雷达。三维雷达点云数据可以理解为三维图像下的雷达点云数据。
三维雷达点云数据包括每个像素点的三维坐标、速度信息及强度信息,雷达点云数据包括每个像素点的距离信息和方位信息。
具体的,控制器可以获取车辆通过自带的摄像头及IMU等传感器采集的车辆行驶信息及定位信息,获取合成孔径雷达采集的作用域下的雷达点云数据及4D成像毫米波雷达的三维雷达点云数据。4D成像毫米波雷达可以采用4D成像毫米波雷达能够获取作用域内场景的3D点云,即三维雷达点云数据,3D点云具有速度、距离、方位角、俯仰角和强度信息,或者说点云具有笛卡尔直角坐标系下的(x,y,z)三维坐标和速度及强度信息。合成孔径雷达可以获取汽车两侧场景的二维图像(或者3D点云,基于3D-SAR),即雷达点云数据,其中每个像素具有距离和方位信息,或者说每个像素有(x,y)坐标。
示例性的,为了便于理解本发明中的合成孔径雷达及4D成像毫米波雷达设置的位置,以一个具体示例进行展示,其中4D成像毫米波雷达可以采用4D成像毫米波雷达,可以设置有两个合成孔径雷达以及四个4D成像毫米波雷达。图2为本发明实施例一提供了一种基于成像雷达的高精地图确定方法中的雷达安装示例图。如图2所示,黑底矩形表示汽车车身或者放置于车顶的安装架,两个实线圆圈代表两个合成孔径雷达(SAR)21,分别安装在汽车两侧或者车顶架子两侧,四个虚线圆圈代表4个4D成像毫米波雷达22,其中两个横向间隔一定距离安装于汽车前侧或者车顶架子前侧,另外两个横向间隔一定距离安装在汽车车尾或者车顶架子后侧。图2主要示意了雷达安装方案,摄像头、GPS等传感器安装同传统采集车传感器安装方案,此外,图2还示意了雷达的作用域范围。车辆在道路上行进一段距离后,即从白色方框位置行驶到黑色方框位置,SAR21成像区域覆盖车身两侧各50米范围内的场景,如图中虚线双长条形矩形所示,4D成像毫米波雷达22覆盖车辆前方和后方各300米场景,以及车辆侧方80米范围内的场景,如图中实线矩形所示。
S120、根据车辆行驶信息、定位信息、雷达点云数据及三维雷达点云数据,确定对应区域的当前地图信息。
在本实施例中,对应区域可以理解为采集的地段范围。当前地图信息可以理解为包括更多道路中元素信息的高精度地图。
具体的,控制器可以根据车辆行驶信息、定位信息、雷达点云数据及三维雷达点云数据,确定采集的对应区域,并通过对车辆行驶信息、定位信息、雷达点云数据及三维雷达点云数据进行时间对齐,并通过对齐后的各数据及信息进行融合建图,得到对应区域的当前地图信息。
S130、当存在于当前地图信息对相匹配的历史地图信息时,根据当前地图信息对相匹配的历史地图信息进行变化检测,并基于变化检测结果对历史地图信息进行更新,得到高精地图。
在本实施例中,历史地图信息可以理解为已经建立的地图信息。变化检测结果可以理解为地图中是否发生变化的结果。高精地图可以理解为将当前地图信息融合至历史地图信息中所形成的高精度地图。
具体的,控制器可以根据当前地图信息中的定位坐标等信息来确定路段范围一致的历史地图信息,并通过对当前地图信息中所包含的元素进行识别及标注,来确定当前地图信息中所包括的元素,并通过当前地图信息与历史地图信息进行特征比对,实现对地图信息中包括的每一个特征的变化检测,并基于变化检测结果对历史地图信息进行更新及融合,得到高精地图。
S140、当不存在历史地图信息时,根据接收的卫星影像、车辆行驶信息、定位信息、雷达点云数据及三维雷达点云数据,创建高精地图。
具体的,当不存在历史地图信息时,处理器可以根据接收的卫星影像、车辆行驶信息、定位信息、雷达点云数据及三维雷达点云数据,对点云进行拼接,采集过程中出现信号不稳定时,需借助SLAM或其他方案,对Pose进行优化,才能将点云信息拼接,并形成一个完整的点云信息,并对底图数据进行生产,基于深度学习对点云压缩成的图像进行车道线的识别、元素识别及点云分类,得出准确的车道线级别的道路形状特征,还需要提炼道路的虚实线、黄白线、路牌标识等,来完善道路特征,基于底图数据、图像数据及标注后的点云数据进行融合,创建高精地图。
本发明实施例的技术方案,车辆中包括的合成孔径雷达及4D成像毫米波雷达,获取车辆的车辆行驶信息、定位信息、合成孔径雷达采集的作用域下的雷达点云数据及4D成像毫米波雷达的三维雷达点云数据;根据车辆行驶信息、定位信息、雷达点云数据及三维雷达点云数据,确定对应区域的当前地图信息;当存在于当前地图信息对相匹配的历史地图信息时,根据当前地图信息对相匹配的历史地图信息进行变化检测,并基于变化检测结果对历史地图信息进行更新,得到高精地图;当不存在历史地图信息时,根据接收的卫星影像、车辆行驶信息、定位信息、雷达点云数据及三维雷达点云数据,创建高精地图。通过4D成像毫米波雷达和合成孔径雷达实现对场景三维点云的采集,实现全天气及全光照条件下的数据采集,从而提高了地图的精度,降低了创建和更新高精地图的成本。
作为本实施例一的第一可选实施例,在获取车辆的车辆行驶信息、定位信息、合成孔径雷达采集的作用域下的雷达点云数据及4D成像毫米波雷达的三维雷达点云数据之后,还包括:
按照预设存放格式对车辆行驶信息、定位信息、雷达点云数据及三维雷达点云数据进行存储。
在本实施例中,预设存放格式可以理解为便于进行后续数据融合的存放格式。
具体的,由于构建当前地图信息时是需要一定时长范围下的信息及雷达数据,车辆通过各传感器、摄像头及雷达等设备采集的信息及雷达数据是瞬时的,此时需要对数据及信息进行保存,首先为了便于后续数据融合建图,在存储时需要进行格式的转换,则可以预先设定存放格式,以通过预设存放格式对车辆行驶信息、定位信息、雷达点云数据及三维雷达点云数据进行存储,控制器可以将格式转换后的数据及信息通过以太网等方式存储至本地的地图数据存储器,或传送至云端进行存储。
实施例二
图3为本发明实施例二提供的一种基于成像雷达的高精地图确定方法的流程图,本实施例是对上述实施例的进一步细化。如图3所示,该方法包括:
S301、获取车辆的车辆行驶信息、定位信息、合成孔径雷达采集的作用域下的雷达点云数据及4D成像毫米波雷达的三维雷达点云数据。
S302、对雷达点云数据进行降噪,得到中间二维点云数据。
在本实施例中,中间二维点云数据可以理解为滤除噪声后的数据。
具体的,控制器可以按照预先设定的降噪方式对雷达点云数据进行降噪,得到降噪后的中间二维点云数据。
S303、对三维雷达点云数据进行降噪,得到中间三维雷达点云数据。
在本实施例中,中间三维雷达点云数据可以理解为滤除噪声后的数据。
具体的,控制器可以按照预先设定的降噪方式对三维雷达点云数据进行降噪,降噪方式可以选用常用的任一种即可,得到滤除噪声后的中间三维雷达点云数据。
S304、提取车辆行驶信息的第一时间戳集、中间三维雷达点云数据中的第二时间戳集、定位信息中的第三时间戳集以及中间二维点云数据中的第四时间戳集。
在本实施例中,第一时间戳集可以理解为每个车辆行驶信息所对应的采集时刻的时间戳构成的集合。第二时间戳集可以理解为每个中间三维雷达点云数据所对应的采集时刻的时间戳构成的集合。第三时间戳集可以理解为每个定位信息所对应的采集时刻的时间戳构成的集合。第四时间戳集可以理解为每个中间二维点云数据所对应的采集时刻的时间戳构成的集合。
具体的,控制器可以提取各车辆行驶信息中的第一时间戳,形成这一采集时段下的第一时间戳集、提取各中间三维雷达点云数据中的第二时间戳,形成这一采集时段下的第二时间戳集、提取各定位信息中的第三时间戳,形成这一采集时段下的第三时间戳集以及中间二维点云数据中的第四时间戳集。
S305、根据第一时间戳集、第二时间戳集、第三时间戳集及第四时间戳集,对车辆行驶信息、中间三维雷达点云数据、定位信息及中间二维点云数据进行对齐。
具体的,控制器可以根据第一时间戳集、第二时间戳集、第三时间戳集及第四时间戳集,将相同时间戳下的车辆行驶信息、中间三维雷达点云数据、定位信息及中间二维点云数据进行对齐,以保证在同一时间戳下的各信息及数据是对应的。
S306、基于对齐后的车辆行驶信息、对齐后的中间三维雷达点云数据、对齐后的定位信息及对齐后的中间二维点云数据进行融合建图,得到对应区域的当前地图信息。
具体的,控制器可以基于对齐后的车辆行驶信息、对齐后的中间三维雷达点云数据、对齐后的定位信息及对齐后的中间二维点云数据进行融合建图,得到对应区域的当前地图信息。
进一步地,在上述实施例的基础上,可以将基于对齐后的车辆行驶信息、对齐后的中间三维雷达点云数据、对齐后的定位信息及对齐后的中间二维点云数据进行融合建图,得到对应区域的当前地图信息的步骤优化,包括:
基于对齐后的中间二维点云数据及对齐后的中间三维雷达点云数据,进行二维坐标融合,得到所测场景下的点云雷达信息;将对齐后的车辆行驶信息、对齐后的定位信息与点云雷达信息进行融合,得到对应区域的当前地图信息。
在本实施例中,点云雷达信息可以理解为融合后的高精度和高密度的3D点云信息。
具体的,由于4D成像毫米波雷达可以实现对高架桥、信号灯、路牌等道路元素成像,合成孔径雷达可以实现对路沿、护栏、公交站台等精确检测,进行融合后可以得到包含信息更加全面的点云信息。控制器可以基于对齐后的中间二维点云数据及对齐后的中间三维雷达点云数据,进行二维坐标融合,其中,二维坐标融合的方式可以采用现有技术中常用的融合方式,得到融合后的所测场景下的点云雷达信息。将对齐后的车辆行驶信息、对齐后的定位信息与点云雷达信息进行融合建图,得到对应区域的当前地图信息。
S307、当存在与当前地图信息对相匹配的历史地图信息时,对当前地图信息中所包含的道路对象元素进行识别及标注,得到标注地图信息。
在本实施例中,道路对象元素可以理解为道路中包括的所有元素,如可以包括道路元素:道路边界、车道左右边界、车道中心线、车道类型及限速等信息,路口元素:路口边界及路口内虚拟车道等,交通信号元素:红绿灯及其他道路标牌等,逻辑关系元素:地图元素逻辑关系表述等,其他道路对象元素:人行横道、禁止停车区、龙门架、护栏及减速带等。标注地图信息可以理解为标注了道路所有元素后的地图信息。
具体的,控制器可以通过深度学习等方式对当前地图信息进行元素识别及点云分类,从而识别并标注出当前地图信息中包含的道路对象元素,得到标注地图信息。
S308、根据标注地图信息中的当前地理坐标集与相匹配的历史地图信息中的历史地理坐标集,对标注地图信息与历史地图信息进行特征点匹配。
在本实施例中,当前地理坐标集可以理解为标注地图信息中每一个位置对应的地理坐标所构成的集合。历史地理坐标集可以理解为历史地图信息中每一个位置对应的地理坐标所构成的集合。
具体的,为了保证标注地图信息与历史地图信息中每一个位置是对应的,则可以通过标注地图信息中每一个位置所对应的当前地理坐标与历史地图信息中每一个位置的地理坐标进行比对,将标注地图信息与历史地图信息中地理坐标相同的特征点进行匹配。
S309、对标注地图信息与历史地图信息相匹配的特征点进行变化检测,得到变化检测结果。
具体的,控制器可以将标注地图信息与历史地图信息相匹配的特征点进行变化检测,来确定在相同特征点位下所包含的道路对象元素是否一致,得到变化检测结果。
S310、基于变化检测结果对历史地图信息进行更新,得到高精地图。
具体的,控制器可以基于变化检测结果中变化的元素对历史地图信息进行更新及拼接,得到高精地图。
进一步地,在上述实施例的基础上,可以将基于变化检测结果对历史地图信息进行更新,得到高精地图,包括:
根据变化检测结果及各道路对象元素,确定待更新对象元素;根据待更新对象元素对历史地图信息进行更新,得到更新地图信息;基于更新地图信息与当前地图信息进行融合,得到高精地图。
在本实施例中,待更新对象元素可以理解为当前地图信息中发生变化的对象元素。更新地图信息可以理解为变化元素更新后得到的地图信息。
具体的,控制器可以根据变化检测结果及各道路对象元素,来确定发生变化的待更新对象元素,如在地理坐标A至地理坐标B范围下新增了一个龙门架,则待更新对象元素则为龙门架,控制器可以根据待更新对象元素及对应的地理坐标范围对历史地图信息进行更新,得到更新地图信息,控制器可以基于更新地图信息与当前地图信息进行自动化融合拼接,得到最终的高精地图。
S311、当不存在历史地图信息时,根据接收的卫星影像、车辆行驶信息、定位信息、雷达点云数据及三维雷达点云数据,创建高精地图。
本发明实施例的技术方案,车辆中包括的合成孔径雷达及4D成像毫米波雷达,获取车辆的车辆行驶信息、定位信息、合成孔径雷达采集的作用域下的雷达点云数据及4D成像毫米波雷达的三维雷达点云数据,雷达点云数据及三维雷达点云数据进行降噪处理,对车辆行驶信息、定位信息、中间二维点云数据及中间三维雷达点云数据进行时间戳对齐,并通过对齐后的中间二维点云数据及中间三维雷达点云数据进行融合,得到包含更多信息的点云雷达信息,通过将点云雷达信息、对齐后的车辆行驶信息及对齐后的定位信息进行融合,确定对应区域的当前地图信息,对当前地图信息中的道路对象元素进行识别及标注,得到标注地图信息,对相匹配的历史地图信息进行变化检测,并基于变化检测结果对历史地图信息进行更新,得到高精地图。通过4D成像毫米波雷达和合成孔径雷达实现对场景三维点云的采集,相比摄像头和激光雷达融合系统,具有全天气条件和全光照条件可正常工作的优势;相比摄像头方案,具有探测距离远、高精度三维坐标测量、高精度速度测量的优势;相比激光雷达方案,具有低成本、远距离探测、高精度速度测量的优势。从而提高了地图的精度,降低了创建地图的成本。
实施例三
图4为本发明实施例三提供的一种基于成像雷达的高精地图确定系统的结构示意图。如图4所示,该装置包括:信息获取模块41、信息确定模块42、地图更新模块43及地图创建模块44。
信息获取模块41,用于获取所述车辆的车辆行驶信息、定位信息、所述合成孔径雷达采集的作用域下的雷达点云数据及所述4D成像毫米波雷达的三维雷达点云数据;
信息确定模块42,用于根据所述车辆行驶信息、所述定位信息、所述雷达点云数据及所述三维雷达点云数据,确定对应区域的当前地图信息;
地图更新模块43,用于当存在与所述当前地图信息对相匹配的历史地图信息时,根据所述当前地图信息对相匹配的历史地图信息进行变化检测,并基于变化检测结果对所述历史地图信息进行更新,得到高精地图;
地图创建模块44,用于当不存在所述历史地图信息时,根据接收的卫星影像、所述车辆行驶信息、所述定位信息、所述雷达点云数据及所述三维雷达点云数据,创建所述高精地图。
本发明实施例的技术方案,车辆中包括的合成孔径雷达及4D成像毫米波雷达,获取车辆的车辆行驶信息、定位信息、合成孔径雷达采集的作用域下的雷达点云数据及4D成像毫米波雷达的三维雷达点云数据;根据车辆行驶信息、定位信息、雷达点云数据及三维雷达点云数据,确定对应区域的当前地图信息;当存在于当前地图信息对相匹配的历史地图信息时,根据当前地图信息对相匹配的历史地图信息进行变化检测,并基于变化检测结果对历史地图信息进行更新,得到高精地图;当不存在历史地图信息时,根据接收的卫星影像、车辆行驶信息、定位信息、雷达点云数据及三维雷达点云数据,创建高精地图。通过4D成像毫米波雷达和合成孔径雷达实现对场景三维点云的采集,实现全天气及全光照条件下的数据采集,从而提高了地图的精度,降低了创建和更新高精地图的成本。
其中,所述三维雷达点云数据包括每个像素点的三维坐标、速度信息及强度信息,所述雷达点云数据包括每个像素点的距离信息和方位信息。
进一步地,信息确定模块42包括:
第一确定单元,用于对所述雷达点云数据进行降噪,得到中间二维点云数据;
第二确定单元,用于对所述三维雷达点云数据进行降噪,得到中间三维雷达点云数据;
信息提取单元,用于提取所述车辆行驶信息的第一时间戳集、所述中间三维雷达点云数据中的第二时间戳集、所述定位信息中的第三时间戳集以及所述中间二维点云数据中的第四时间戳集;
信息对齐单元,用于根据所述第一时间戳集、所述第二时间戳集、所述第三时间戳集及所述第四时间戳集,对所述车辆行驶信息、所述中间三维雷达点云数据、所述定位信息及所述中间二维点云数据进行对齐;
第三确定单元,用于基于对齐后的所述车辆行驶信息、对齐后的所述中间三维雷达点云数据、对齐后的所述定位信息及对齐后的所述中间二维点云数据进行融合建图,得到对应区域的当前地图信息。
其中,第三确定单元具体用于:
基于对齐后的所述中间二维点云数据及对齐后的所述中间三维雷达点云数据,进行二维坐标融合,得到所测场景下的点云雷达信息;
将对齐后的所述车辆行驶信息、对齐后的所述定位信息与所述点云雷达信息进行融合,得到对应区域的当前地图信息。
进一步地,地图确定模块43,包括:
元素标注单元,用于对所述当前地图信息中所包含的道路对象元素进行识别及标注,得到标注地图信息;
特征匹配单元,用于根据所述标注地图信息中的当前地理坐标集与相匹配的历史地图信息中的历史地理坐标集,对所述标注地图信息与所述历史地图信息进行特征点匹配;
结果确定单元,用于对所述标注地图信息与所述历史地图信息相匹配的特征点进行变化检测,得到变化检测结果;
地图确定单元,用于基于变化检测结果对所述历史地图信息进行更新,得到高精地图。
其中,地图确定单元具体用于:
根据所述变化检测结果及各所述道路对象元素,确定待更新对象元素;
根据所述待更新对象元素对所述历史地图信息进行更新,得到更新地图信息;
基于所述更新地图信息与所述当前地图信息进行融合,得到高精地图。
可选的,所述装置还包括:信息存储模块。
所述信息存储模块具体用于:在所述获取所述车辆的车辆行驶信息、定位信息、所述合成孔径雷达采集的作用域下的雷达点云数据及所述4D成像毫米波雷达的三维雷达点云数据之后,按照预设存放格式对所述车辆行驶信息、所述定位信息、所述雷达点云数据及所述三维雷达点云数据进行存储。
本发明实施例所提供的基于成像雷达的高精地图确定系统可执行本发明任意实施例所提供的基于成像雷达的高精地图确定方法,具备执行方法相应的功能模块和有益效果。
实施例四
图5为本发明实施例四提供的一种车辆的结构示意图,如图5所示,该车辆包括控制器51、存储器52、输入装置53、输出装置54、合成孔径雷达55和4D成像毫米波雷达56;车辆中控制器51、合成孔径雷达55和4D成像毫米波雷达56的数量可以是一个或多个,图5中以一个控制器51、一个合成孔径雷达55和一个4D成像毫米波雷达56为例;车辆中的控制器51、存储器52、输入装置53、输出装置54、合成孔径雷达55和4D成像毫米波雷达56可以通过总线或其他方式连接,图5中以通过总线连接为例。
存储器52作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本发明实施例中的基于成像雷达的高精地图确定方法对应的程序指令/模块(例如,基于成像雷达的高精地图确定系统中的信息获取模块41、信息确定模块42、地图更新模块43及地图创建模块44)。控制器51通过运行存储在存储器52中的软件程序、指令以及模块,从而执行车辆的各种功能应用以及数据处理,即实现上述的基于成像雷达的高精地图确定方法。
存储器52可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端的使用所创建的数据等。此外,存储器52可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器52可进一步包括相对于控制器51远程设置的存储器,这些远程存储器可以通过网络连接至车辆。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置53可用于接收输入的数字或字符信息,以及产生与云平台的用户设置以及功能控制有关的键信号输入。输出装置54可包括显示屏等显示设备。
实施例五
本发明实施例五还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行一种基于成像雷达的高精地图确定方法,应用于车辆,所述车辆包括:合成孔径雷达及4D成像毫米波雷达,所述方法包括:
获取所述车辆的车辆行驶信息、定位信息、所述合成孔径雷达采集的作用域下的雷达点云数据及所述4D成像毫米波雷达的三维雷达点云数据;
根据所述车辆行驶信息、所述定位信息、所述雷达点云数据及所述三维雷达点云数据,确定对应区域的当前地图信息;
当存在与所述当前地图信息对相匹配的历史地图信息时,根据所述当前地图信息对相匹配的历史地图信息进行变化检测,并基于变化检测结果对所述历史地图信息进行更新,得到高精地图;
当不存在所述历史地图信息时,根据接收的卫星影像、所述车辆行驶信息、所述定位信息、所述雷达点云数据及所述三维雷达点云数据,创建所述高精地图。
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是,上述基于成像雷达的高精地图确定系统的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种基于成像雷达的高精地图确定方法,其特征在于,应用于车辆,所述车辆包括:合成孔径雷达及4D成像毫米波雷达,所述方法包括:
获取所述车辆的车辆行驶信息、定位信息、所述合成孔径雷达采集的作用域下的雷达点云数据及所述4D成像毫米波雷达的三维雷达点云数据;
根据所述车辆行驶信息、所述定位信息、所述雷达点云数据及所述三维雷达点云数据,确定对应区域的当前地图信息;
当存在与所述当前地图信息对相匹配的历史地图信息时,根据所述当前地图信息对相匹配的历史地图信息进行变化检测,并基于变化检测结果对所述历史地图信息进行更新,得到高精地图;
当不存在所述历史地图信息时,根据接收的卫星影像、所述车辆行驶信息、所述定位信息、所述雷达点云数据及所述三维雷达点云数据,创建所述高精地图。
2.根据权利要求1所述的方法,其特征在于,所述根据所述车辆行驶信息、所述定位信息、所述雷达点云数据及所述三维雷达点云数据,确定对应区域的当前地图信息,包括:
对所述雷达点云数据进行降噪,得到中间二维点云数据;
对所述三维雷达点云数据进行降噪,得到中间三维雷达点云数据;
提取所述车辆行驶信息的第一时间戳集、所述中间三维雷达点云数据中的第二时间戳集、所述定位信息中的第三时间戳集以及所述中间二维点云数据中的第四时间戳集;
根据所述第一时间戳集、所述第二时间戳集、所述第三时间戳集及所述第四时间戳集,对所述车辆行驶信息、所述中间三维雷达点云数据、所述定位信息及所述中间二维点云数据进行对齐;
基于对齐后的所述车辆行驶信息、对齐后的所述中间三维雷达点云数据、对齐后的所述定位信息及对齐后的所述中间二维点云数据进行融合建图,得到对应区域的当前地图信息。
3.根据权利要求2所述的方法,其特征在于,所述基于对齐后的所述车辆行驶信息、对齐后的所述中间三维雷达点云数据、对齐后的所述定位信息及对齐后的所述中间二维点云数据进行融合建图,得到对应区域的当前地图信息,包括:
基于对齐后的所述中间二维点云数据及对齐后的所述中间三维雷达点云数据,进行二维坐标融合,得到所测场景下的点云雷达信息;
将对齐后的所述车辆行驶信息、对齐后的所述定位信息与所述点云雷达信息进行融合,得到对应区域的当前地图信息。
4.根据权利要求1所述的方法,其特征在于,所述根据所述当前地图信息对相匹配的历史地图信息进行变化检测,并基于变化检测结果对所述历史地图信息进行更新,得到高精地图,包括:
对所述当前地图信息中所包含的道路对象元素进行识别及标注,得到标注地图信息;
根据所述标注地图信息中的当前地理坐标集与相匹配的历史地图信息中的历史地理坐标集,对所述标注地图信息与所述历史地图信息进行特征点匹配;
对所述标注地图信息与所述历史地图信息相匹配的特征点进行变化检测,得到变化检测结果;
基于变化检测结果对所述历史地图信息进行更新,得到高精地图。
5.根据权利要求4所述的方法,其特征在于,所述基于变化检测结果对所述历史地图信息进行更新,得到高精地图,包括:
根据所述变化检测结果及各所述道路对象元素,确定待更新对象元素;
根据所述待更新对象元素对所述历史地图信息进行更新,得到更新地图信息;
基于所述更新地图信息与所述当前地图信息进行融合,得到高精地图。
6.根据权利要求1所述的方法,其特征在于,所述三维雷达点云数据包括每个像素点的三维坐标、速度信息及强度信息,所述雷达点云数据包括每个像素点的距离信息和方位信息。
7.根据权利要求1所述的方法,其特征在于,在所述获取所述车辆的车辆行驶信息、定位信息、所述合成孔径雷达采集的作用域下的雷达点云数据及所述4D成像毫米波雷达的三维雷达点云数据之后,还包括:
按照预设存放格式对所述车辆行驶信息、所述定位信息、所述雷达点云数据及所述三维雷达点云数据进行存储。
8.一种基于成像雷达的高精地图确定系统,其特征在于,包括:
信息获取模块,用于获取所述车辆的车辆行驶信息、定位信息、所述合成孔径雷达采集的作用域下的雷达点云数据及所述4D成像毫米波雷达的三维雷达点云数据;
信息确定模块,用于根据所述车辆行驶信息、所述定位信息、所述雷达点云数据及所述三维雷达点云数据,确定对应区域的当前地图信息;
地图更新模块,用于当存在与所述当前地图信息对相匹配的历史地图信息时,根据所述当前地图信息对相匹配的历史地图信息进行变化检测,并基于变化检测结果对所述历史地图信息进行更新,得到高精地图;
地图创建模块,用于当不存在所述历史地图信息时,根据接收的卫星影像、所述车辆行驶信息、所述定位信息、所述雷达点云数据及所述三维雷达点云数据,创建所述高精地图。
9.一种车辆,其特征在于,所述车辆包括:
至少一个合成孔径雷达、至少一个4D成像毫米波雷达、至少一个控制器;以及
与所述至少一个控制器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个控制器执行的计算机程序,所述计算机程序被所述至少一个控制器执行,以使所述至少一个控制器能够执行权利要求1-7中任一项所述的基于成像雷达的高精地图确定方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使控制器执行时实现权利要求1-7中任一项所述的基于成像雷达的高精地图确定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410038591.5A CN117665816A (zh) | 2024-01-10 | 2024-01-10 | 基于成像雷达的高精地图确定方法、系统、车辆及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410038591.5A CN117665816A (zh) | 2024-01-10 | 2024-01-10 | 基于成像雷达的高精地图确定方法、系统、车辆及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117665816A true CN117665816A (zh) | 2024-03-08 |
Family
ID=90069881
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410038591.5A Pending CN117665816A (zh) | 2024-01-10 | 2024-01-10 | 基于成像雷达的高精地图确定方法、系统、车辆及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117665816A (zh) |
-
2024
- 2024-01-10 CN CN202410038591.5A patent/CN117665816A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7251394B2 (ja) | 車両側装置、方法および記憶媒体 | |
JP7167876B2 (ja) | 地図生成システム、サーバ、方法 | |
CN108303721B (zh) | 一种车辆定位方法及系统 | |
US11920948B2 (en) | Vehicle-side device, method, and non-transitory computer-readable storage medium for uploading map data | |
EP3519770B1 (en) | Methods and systems for generating and using localisation reference data | |
US20210179138A1 (en) | Vehicle control device, method and non-transitory computer-readable storage medium for automonously driving vehicle | |
JP6566132B2 (ja) | 物体検出方法及び物体検出装置 | |
CN110146910B (zh) | 一种基于gps与激光雷达数据融合的定位方法及装置 | |
JP6451844B2 (ja) | 車両位置判定装置及び車両位置判定方法 | |
CN111076731B (zh) | 自动驾驶高精定位与路径规划方法 | |
CN110763246A (zh) | 自动驾驶车辆路径规划方法、装置、车辆及存储介质 | |
US20180231387A1 (en) | System and method of matching of road data objects for generating and updating a precision road database | |
US20180239032A1 (en) | System and method for precision vehicle positioning | |
CN104573733A (zh) | 一种基于高清正射影像图的高精细地图生成系统及方法 | |
CN111508276B (zh) | 基于高精地图的v2x逆向超车预警方法、系统和介质 | |
CN113885062A (zh) | 基于v2x的数据采集融合设备、方法和系统 | |
CN113848921B (zh) | 车路云协同感知的方法和系统 | |
US20230148097A1 (en) | Adverse environment determination device and adverse environment determination method | |
CN113029187A (zh) | 融合adas精细感知数据的车道级导航方法与系统 | |
CN111506069A (zh) | 一种全天候全地面起重机障碍识别系统及方法 | |
JP2007241468A (ja) | 車線変更検出装置 | |
CN113178091A (zh) | 安全行驶区域方法、装置和网络设备 | |
CN112985425A (zh) | 基于异构感知数据融合的车辆定位方法、装置及系统 | |
CN113465608B (zh) | 一种路侧传感器标定方法及系统 | |
CN117665816A (zh) | 基于成像雷达的高精地图确定方法、系统、车辆及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |