CN111710040B - 一种高精度地图的构建方法、系统、终端和存储介质 - Google Patents

一种高精度地图的构建方法、系统、终端和存储介质 Download PDF

Info

Publication number
CN111710040B
CN111710040B CN202010502517.6A CN202010502517A CN111710040B CN 111710040 B CN111710040 B CN 111710040B CN 202010502517 A CN202010502517 A CN 202010502517A CN 111710040 B CN111710040 B CN 111710040B
Authority
CN
China
Prior art keywords
point cloud
point
points
radar
acquiring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010502517.6A
Other languages
English (en)
Other versions
CN111710040A (zh
Inventor
王凡
唐锐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zongmu Technology Shanghai Co Ltd
Original Assignee
Zongmu Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zongmu Technology Shanghai Co Ltd filed Critical Zongmu Technology Shanghai Co Ltd
Priority to CN202010502517.6A priority Critical patent/CN111710040B/zh
Publication of CN111710040A publication Critical patent/CN111710040A/zh
Application granted granted Critical
Publication of CN111710040B publication Critical patent/CN111710040B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供一种高精度地图的构建方法、系统、终端和存储介质,包括以下步骤:S01:获取雷达扫描点云,给点云两两配准,生成重建后的点云,以惯性测量单元去除雷达运动过程产生的点云畸变;S02:提取每一帧点云的特征点,进行相邻帧特征点关联匹配;获取采集点云间隔时间内雷达姿态的变换;S03:提取三维点云中的地面点,形成地面特征集合生成高精度地图。特征点提取不采用现有特征,而是根据曲率大小,提取边角和平面特征;以惯性测量单元去除点云畸变,再提取特征点,进行特征点关联匹配,将一定距离地面一定高度的特征映射到地平面上形成高精度地图。

Description

一种高精度地图的构建方法、系统、终端和存储介质
技术领域
本发明涉及汽车电子技术领域,特别是涉及一种高精度地图的构建方法、系统、终端和存储介质。
背景技术
精细地图作为一种电子地图,包括空间矢量数据和属性信息,空间矢量数据是电子地图属性信息的载体。传统电子地图的制作方法是采用基于栅格数据抽象提取空间矢量数据的方法或利用GPS、机器人定位跟踪装置记录采集所经区域的空间位置及视野信息,加工生产空间矢量数据。而这种精细地图并不能满足L4乃至L5等级自动驾驶的需求。
高精度地图不仅包含空间矢量数据还包括许多语义信息,地图可能会报告交通灯上不同颜色的含义,也可能指示道路的速度限速,以及左转车道的位置,高精度地图做重要的特征之一是,精度,手机上的导航只能达到米级精度,高精度地图可以达到厘米级精度,这对无人驾驶车至关重要。保持这些地图的更新是一项重大任务,调查车队需要不断地对高精度地图进行验证和更新。此外,这些地图精度可以达到几厘米,这是水准最高的制图精度。高精度地图专为无人驾驶车设计,包含道路定义、交叉路口、交通信号、车道规则以及用于汽车导航的其他元素。
发明内容
为了解决上述的以及其他潜在的技术问题,本发明提供了一种高精度地图的构建方法、系统、终端和存储介质,特征点提取不采用现有特征,而是根据曲率大小,提取边角和平面特征;以惯性测量单元去除点云畸变,再提取特征点,进行特征点关联匹配,将一定距离地面一定高度的特征映射到地平面上形成高精度地图。
一种高精度地图的构建方法,包括:
S01:获取雷达扫描点云,给点云两两配准,生成重建后的点云,以惯性测量单元去除雷达运动过程产生的点云畸变;
S02:提取每一帧点云的特征点,进行相邻帧特征点关联匹配;获取采集点云间隔时间内雷达姿态的变换;
S03:提取三维点云中的地面点,形成地面特征集合生成高精度地图。
进一步地,步骤S01中获取雷达扫描点云的具体方法是:
S011:可以根据需求,看是否需要加入组合导航进行建图,如果没有特殊要求,最好保证激光雷达和视频是同步的;
S012:线接好后,需要打开板子电源、激光雷达电源,确认同步信号是否接收。电脑通过网线接激光雷达盒子的网口,并手动设置电脑的IP,打开wireshark,选择对应的网卡,筛选端口;
S013:使组合导航和激光雷达同步,将激光雷达自带的GPS模块接到激光雷达盒子上即可,此时端口的GPS的时间即为真正的GPS时间。组合导航需要进行如下设置:1.测量IMU、GNSS天线、激光雷达设备之间的3D距离;2.初始化基站,获取基站的准确位置;确认同步之后,需要规划扫图的路径。一般较小的停车场,可以一次将数据采集完的停车场,如纳贤800地下停车场,可以按纳贤800来规划路径;对于较大型的停车场,一次全部采集完比较困难,可以分路段采集,但是要保证每段之间都有重复的路径,便于后期拼合;
S014:视频数据录制,板子需要接入5路摄像头,一块屏幕,并连接adb,并且需进入ubuntu系统或者ubuntu虚拟机,待adb连接成功后,进入命令行依次输入命令开始录制,如停止录制数据,在与上步同一命令行输入以下命令$./recording.sh stop。启动录制时可能出现的问题以及解决方法:显示器连接错误:检查屏幕电源线和HDMI线连接;摄像头连接超时:检查摄像头连接顺序以及稳固程度;./recording.sh启动和停止失败:重启板子。
S015:雷达数据录制,车速要求控制在10km/h左右,打开veloview,选择激光雷达小图标,弹出驱动选择界面,根据所用激光雷达选择对应的驱动,点击ok,可以显示实时点云;点击的record开始录制,成功连接激光雷达后,此按钮呈现红色,并为可用状态,点击后选择保存路径即可,停止录制,再次点击此按钮即可。
S016:组合导航录制:1)设备安装:a.将组合导航设备水平安装于汽车后备箱的支架上,并予以固定。b.连接组合导航与GNSS天线,测量并记录两者之间的杆臂。(2)电源连接:将组合导航设备电源与插排相连接(3)开始录制:a.选择室外开阔区域,开启设备电源,准备录制。b.观察GNSS信号指示灯,正常后可开启数据录制按钮,开始录制IMU和GNSS原始数据。(4)结束录制:测试完成后,关闭数据录制按钮,结束录制。(5)数据导出:将设备USB线缆与PC相连接,导出IMU和GNSS原始数据。(6)数据处理:使用组合导航设备专业后处理软件(GINS)进行组合导航后处理(7)结果分析和导出:使用GINS软件进行结果分析,若满足要求,则可按需导出组合导航后处理结果。
进一步地,步骤S01中重建点云的具体方法是:
点云重建的过程其实可以归结为两两点云配准的过程(point cloudregistration),优选地,采用最近点迭代(Iterative Closest Point,ICP)。
进一步地,所述步骤S01中最近点迭代(Iterative Closest Point,ICP)的具体步骤是:
S017:数据获取;
S018:特征点估计,通常是对点云进行降采样,或者采用其他计算方式
S019:特征值计算,采用的特征值通常有NARF、FPFH、SIFT等等,计算特征值的目的主要是匹配
S020:关联点匹配,需要用到近邻搜索的方式匹配后可以根据匹配的点计算出两帧点云的刚体变换,采用的方法比如奇异值分解(SVD)。
进一步地,所述为了避免最近点迭代(Iterative Closest Point,ICP)的缺点,一般会采用一些别的算法计算出初值,然后再用ICP进行精配准,这些算法包括贪婪初始配准(greedy Initial Alignment)、随机采样(sample consensus)等等。
进一步地,所述步骤S01中,以惯性测量单元去除雷达运动过程产生的点云畸变的具体步骤是:
S021:我们可以获得点云初始时刻的IMU状态_imuStart,以及经过实际扫描时间relSweepTime后,当前时刻的IMU状态_imuCur。:
S022:计算:经过扫描时间后,当前点产生的漂移:_imuPositionShift=_imuCur.position-_imuStart.position-_imuStart.velocity*relSweepTime;
S022:上式假定在扫描时间relSweepTime内,车是匀速运动的(因为IMU频率很高)。
优选地,有lidar采用的扫描方式是旋转式的,车也是运动的,下一时刻扫描进行的同时,车如果向前运动,那么激光雷达的原点位置也向前移动了,当前时刻返回的坐标点位置,实际上相对于原来的位置是靠后了,整体点云就有被拉伸的可能。因为IMU的频率较高,我们就可以通过IMU的速度,计算出当前点的漂移量,从而校正点云畸变。不过,因为现在采集车的车速比较慢,没有去除点云畸变这一步算法也可以正常运行。
进一步地,所述步骤S02中提取每一帧点云的特征点的具体步骤是:根据曲率大小,提取边角和平面特征。优选地,设点i是点云的一点,是位于同一扫描线的点集,那么局部表面的平滑度可以由以下函数定义:
如果一个点的c值,大于设定的最大值,则为边特征点;小于设定的最小值,则为面特征点。为了更好的描述环境,我们将一次扫描线分成四个区域,每个区域保留两个边点和四个面点。
进一步地,所述步骤S02中进行相邻帧特征点关联匹配的具体步骤是:
对于当前帧边特征点,在下一帧寻找当前点的最近邻点j,再寻找次近邻点l。对于当前帧的面特征点,先在下一帧寻找当前点的最近邻点j,再寻找两个次近邻点l和m。它们之间的关系如图4所示。设Pk为tk时刻的点云,为其在tk+1时刻的投影,Pk+1为tk+1时刻的点云。和Pk+1用于估计lidar的运动。εk+1分别为边特征点集合和面特征点集合。我们可以在其中找到的关联点。每次迭代时,我们需要将特征点集投影到上一时刻,得到
对于一个边点如果(j,l)是关联的边线,那么点到线的距离可以表示为:
X均为三维坐标。同理可得,点对于由构成的关联面,有点到平面的距离:
进一步地,所述步骤S02中获取采集点云间隔时间内雷达运动的具体步骤是:
S023:设为[tk+1,tk]之间的姿态变换,是6-DOF的刚体变换;tx,ty,tz是三轴的平移,θx,θy,θz是三轴旋转角,给定一点i∈Pk+1,ti为这个点的时间,为[tk+1,ti]之间的变换,可以通过插值计算:
S024:为了估计雷达的运动,我们需要知道εk+1或者之间的关系,我们可以定义:
为三轴的平移,R为旋转矩阵,可以由罗德里格斯公式定义:
上式中,θ为旋转程度:
ω是与旋转方向相关的单位向量:
是ω的斜对称矩阵。
S025:结合上述的距离计算公式并结合上述公式,我们可以得到边特征点和与其相关的边线之间的关系:
同理,对于面特征点与其关联面之间也有如下关系:
采用L-M算法计算lidar运动,结合两个距离公式,可以得到非线性方程:
S026:对上述公式求取关于的雅克比矩阵,定义为通过迭代,最小化d得到高精度地图,迭代公式如下:
λ是由L-M算法定义的系数。
进一步地,所述步骤S02中还包括雷达的里程计数据获取步骤,其具体步骤是:
算法流程如下表所示:
进一步地,所述假设在地面上铺一张布,布料由于重力作用而下坠。如果布料足够软,那么会完全的贴合地面。算法过程为:a)翻转点云;b)覆盖布料。在布料模型中,布料是由互相连接的节点构成的栅格模型,被称为弹簧模型。节点之间的可以定义成“虚拟弹簧”,遵循胡克定律(F=-kx)
根据牛顿第二定律,位移和力之间的关系:
X是t时刻位移;Fext(X,t)是重力和障碍物所造成的碰撞产生的力;Fint(X,t)弹力
在点云中有如下规则:
节点的移动限制在垂直方向
节点到达正确位置后,地面,被设为不可移动
力的作用被分成两步,以提高效率
点的移动可分为四个阶段,如图8所示:a)初始化;b)在重力作用下下降;c)内部检测,是否到达临界点;d)可移动点继续移动。
进一步地,所述步骤S03中形成地面特征集合生成高精度地图的具体方式是:
S031:设置栅格化的分辨率为0.03cmX0.03cm;
S032:计算点云边界,以及栅格图像的大小;
S033:统计每个网格内点的数量、累高度反射率;
S034:计算每个网格内平均高度以及反射率;
S035:对整幅图像的平均反射率进行归一化,并且乘以255,作为图像的灰度值。
优选地,所述栅格化后的图像如图5所示。
一种高精度地图的构建系统,包括:
点云重建单元,所述点云重建单元用于两两点云的配准,
惯性测量单元,所述惯性测量单元用于去除雷达在运动过程中产生的点云畸变;
特征提取模块,所述特征提取模块提取每一帧点云的特征点;
关联匹配模块,所述关联匹配模块用于将提取出的特征点进行相邻帧特征点关联匹配;获取采集点云间隔时间内雷达姿态的变换;
地图生成模块,所述地图生成模块用于以特征点以及特征点关联区域的特质生成高精度地图。
进一步地,还包括地面特征集生成模块,所述地面特征集生成模块自特征提取模块提取特征中获取在特征点位置处于地面上的特征点,并形成地面特征集,地面特征集用于地面轮廓和障碍物的表征。
一种终端设备,如可以执行上述高精度地图的构建方法的智能手机或可以执行上述高精度地图的构建方法程序的车载终端控制设备。
一种服务器,所述服务器包括用于实现上述高精度地图的构建方法和/或高精度地图的构建系统。
一种计算机存储介质,所述计算机存储介质用于存储上述高精度地图的构建方法所对应的软件程序和/或高精度地图的数据管理系统。
如上所述,本发明的具有以下有益效果:
特征点提取不采用现有特征,而是根据曲率大小,提取边角和平面特征;以惯性测量单元去除点云畸变,再提取特征点,进行特征点关联匹配,将一定距离地面一定高度的特征映射到地平面上形成高精度地图。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1显示为本发明的流程示意图。
图2显示为最近点迭代的流程示意图。
图3显示为本发明地图构建的流程示意图。
图4显示为边特征点和面特征点关联示意图。
图5显示为本发明地图构建方法的实施结果示意图。
图6显示为本发明ARCMAP地图生成的图示。
图7显示为本发明处理完成的矢量地图的图示。
图8显示为布料模拟滤波示意图的示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
须知,本说明书所附图式所绘示的结构、比例、大小等,均仅用以配合说明书所揭示的内容,以供熟悉此技术的人士了解与阅读,并非用以限定本发明可实施的限定条件,故不具技术上的实质意义,任何结构的修饰、比例关系的改变或大小的调整,在不影响本发明所能产生的功效及所能达成的目的下,均应仍落在本发明所揭示的技术内容得能涵盖的范围内。同时,本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语,亦仅为便于叙述的明了,而非用以限定本发明可实施的范围,其相对关系的改变或调整,在无实质变更技术内容下,当亦视为本发明可实施的范畴。
参见图1~图8,
一种高精度地图的构建方法,包括:
S01:获取雷达扫描点云,给点云两两配准,生成重建后的点云,以惯性测量单元去除雷达运动过程产生的点云畸变;
S02:提取每一帧点云的特征点,进行相邻帧特征点关联匹配;获取采集点云间隔时间内雷达姿态的变换;
S03:提取三维点云中的地面点,形成地面特征集合生成高精度地图。
进一步地,步骤S01中获取雷达扫描点云的具体方法是:
S011:可以根据需求,看是否需要加入组合导航进行建图,如果没有特殊要求,最好保证激光雷达和视频是同步的;
S012:线接好后,需要打开板子电源、激光雷达电源,确认同步信号是否接收。电脑通过网线接激光雷达盒子的网口,并手动设置电脑的IP,打开wireshark,选择对应的网卡,筛选端口;
S013:使组合导航和激光雷达同步,将激光雷达自带的GPS模块接到激光雷达盒子上即可,此时端口的GPS的时间即为真正的GPS时间。组合导航需要进行如下设置:1.测量IMU、GNSS天线、激光雷达设备之间的3D距离;2.初始化基站,获取基站的准确位置;确认同步之后,需要规划扫图的路径。一般较小的停车场,可以一次将数据采集完的停车场,如纳贤800地下停车场,可以按纳贤800来规划路径;对于较大型的停车场,一次全部采集完比较困难,可以分路段采集,但是要保证每段之间都有重复的路径,便于后期拼合;
S014:视频数据录制,板子需要接入5路摄像头,一块屏幕,并连接adb,并且需进入ubuntu系统或者ubuntu虚拟机,待adb连接成功后,进入命令行依次输入命令开始录制,如停止录制数据,在与上步同一命令行输入以下命令$./recording.sh stop。启动录制时可能出现的问题以及解决方法:显示器连接错误:检查屏幕电源线和HDMI线连接;摄像头连接超时:检查摄像头连接顺序以及稳固程度;./recording.sh启动和停止失败:重启板子。
S015:雷达数据录制,车速要求控制在10km/h左右,打开veloview,选择激光雷达小图标,弹出驱动选择界面,根据所用激光雷达选择对应的驱动,点击ok,可以显示实时点云;点击的record开始录制,成功连接激光雷达后,此按钮呈现红色,并为可用状态,点击后选择保存路径即可,停止录制,再次点击此按钮即可。
S016:组合导航录制:1)设备安装:a.将组合导航设备水平安装于汽车后备箱的支架上,并予以固定。b.连接组合导航与GNSS天线,测量并记录两者之间的杆臂。(2)电源连接:将组合导航设备电源与插排相连接(3)开始录制:a.选择室外开阔区域,开启设备电源,准备录制。b.观察GNSS信号指示灯,正常后可开启数据录制按钮,开始录制IMU和GNSS原始数据。(4)结束录制:测试完成后,关闭数据录制按钮,结束录制。(5)数据导出:将设备USB线缆与PC相连接,导出IMU和GNSS原始数据。(6)数据处理:使用组合导航设备专业后处理软件(GINS)进行组合导航后处理(7)结果分析和导出:使用GINS软件进行结果分析,若满足要求,则可按需导出组合导航后处理结果。
进一步地,步骤S01中重建点云的具体方法是:
点云重建的过程其实可以归结为两两点云配准的过程(point cloudregistration),优选地,采用最近点迭代(Iterative Closest Point,ICP)。
进一步地,所述步骤S01中最近点迭代(Iterative Closest Point,ICP)的具体步骤是:
S017:数据获取;
S018:特征点估计,通常是对点云进行降采样,或者采用其他计算方式
S019:特征值计算,采用的特征值通常有NARF、FPFH、SIFT等等,计算特征值的目的主要是匹配
S020:关联点匹配,需要用到近邻搜索的方式匹配后可以根据匹配的点计算出两帧点云的刚体变换,采用的方法比如奇异值分解(SVD)。
进一步地,所述为了避免最近点迭代(Iterative Closest Point,ICP)的缺点,一般会采用一些别的算法计算出初值,然后再用ICP进行精配准,这些算法包括贪婪初始配准(greedy Initial Alignment)、随机采样(sample consensus)等等。
进一步地,所述步骤S01中,以惯性测量单元去除雷达运动过程产生的点云畸变的具体步骤是:
S021:我们可以获得点云初始时刻的IMU状态_imuStart,以及经过实际扫描时间relSweepTime后,当前时刻的IMU状态_imuCur。:
S022:计算:经过扫描时间后,当前点产生的漂移:_imuPositionShift=_imuCur.position-_imuStart.position-_imuStart.velocity*relSweepTime;
S022:上式假定在扫描时间relSweepTime内,车是匀速运动的(因为IMU频率很高)。
优选地,有lidar采用的扫描方式是旋转式的,车也是运动的,下一时刻扫描进行的同时,车如果向前运动,那么激光雷达的原点位置也向前移动了,当前时刻返回的坐标点位置,实际上相对于原来的位置是靠后了,整体点云就有被拉伸的可能。因为IMU的频率较高,我们就可以通过IMU的速度,计算出当前点的漂移量,从而校正点云畸变。不过,因为现在采集车的车速比较慢,没有去除点云畸变这一步算法也可以正常运行。
进一步地,所述步骤S02中提取每一帧点云的特征点的具体步骤是:根据曲率大小,提取边角和平面特征。优选地,设点i是点云的一点,是位于同一扫描线的点集,那么局部表面的平滑度可以由以下函数定义:
如果一个点的c值,大于设定的最大值,则为边特征点;小于设定的最小值,则为面特征点。为了更好的描述环境,我们将一次扫描线分成四个区域,每个区域保留两个边点和四个面点。
进一步地,所述步骤S02中进行相邻帧特征点关联匹配的具体步骤是:
对于当前帧边特征点,在下一帧寻找当前点的最近邻点j,再寻找次近邻点l。对于当前帧的面特征点,先在下一帧寻找当前点的最近邻点j,再寻找两个次近邻点l和m。它们之间的关系如图4所示。设Pk为tk时刻的点云,为其在tk+1时刻的投影,Pk+1为tk+1时刻的点云。和Pk+1用于估计lidar的运动。εk+1分别为边特征点集合和面特征点集合。我们可以在其中找到的关联点。每次迭代时,我们需要将特征点集投影到上一时刻,得到
对于一个边点如果(j,l)是关联的边线,那么点到线的距离可以表示为:
X均为三维坐标。同理可得,点对于由构成的关联面,有点到平面的距离:
进一步地,所述步骤S02中获取采集点云间隔时间内雷达运动的具体步骤是:
S023:设为[tk+1,tk]之间的姿态变换,是6-DOF的刚体变换;tx,ty,tz是三轴的平移,θx,θy,θz是三轴旋转角,给定一点i∈Pk+1,ti为这个点的时间,为[tk+1,ti]之间的变换,可以通过插值计算:
S024:为了估计雷达的运动,我们需要知道εk+1或者之间的关系,我们可以定义:
为三轴的平移,R为旋转矩阵,可以由罗德里格斯公式定义:
上式中,θ为旋转程度:
ω是与旋转方向相关的单位向量:
是ω的斜对称矩阵。
S025:结合上述的距离计算公式并结合上述公式,我们可以得到边特征点和与其相关的边线之间的关系:
同理,对于面特征点与其关联面之间也有如下关系:
采用L-M算法计算lidar运动,结合两个距离公式,可以得到非线性方程:
S026:对上述公式求取关于的雅克比矩阵,定义为通过迭代,最小化d得到高精度地图,迭代公式如下:
λ是由L-M算法定义的系数。
进一步地,所述步骤S02中还包括雷达的里程计数据获取步骤,其具体步骤是:
算法流程如下表所示:
进一步地,所述假设在地面上铺一张布,布料由于重力作用而下坠。如果布料足够软,那么会完全的贴合地面。算法过程为:a)翻转点云;b)覆盖布料。在布料模型中,布料是由互相连接的节点构成的栅格模型,被称为弹簧模型。节点之间的可以定义成“虚拟弹簧”,遵循胡克定律(F=-kx)
根据牛顿第二定律,位移和力之间的关系:
X是t时刻位移;Fext(X,t)是重力和障碍物所造成的碰撞产生的力;Fint(X,t)弹力
在点云中有如下规则:
节点的移动限制在垂直方向
节点到达正确位置后,地面,被设为不可移动
力的作用被分成两步,以提高效率
点的移动可分为四个阶段,如图8所示:a)初始化;b)在重力作用下下降;c)内部检测,是否到达临界点;d)可移动点继续移动。
进一步地,所述步骤S03中形成地面特征集合生成高精度地图的具体方式是:
S031:设置栅格化的分辨率为0.03cmX0.03cm;
S032:计算点云边界,以及栅格图像的大小;
S033:统计每个网格内点的数量、累高度反射率;
S034:计算每个网格内平均高度以及反射率;
S035:对整幅图像的平均反射率进行归一化,并且乘以255,作为图像的灰度值。
优选地,所述栅格化后的图像如图5所示。
一种高精度地图的构建系统,包括:
点云重建单元,所述点云重建单元用于两两点云的配准,
惯性测量单元,所述惯性测量单元用于去除雷达在运动过程中产生的点云畸变;
特征提取模块,所述特征提取模块提取每一帧点云的特征点;
关联匹配模块,所述关联匹配模块用于将提取出的特征点进行相邻帧特征点关联匹配;获取采集点云间隔时间内雷达姿态的变换;
地图生成模块,所述地图生成模块用于以特征点以及特征点关联区域的特质生成高精度地图。
进一步地,还包括地面特征集生成模块,所述地面特征集生成模块自特征提取模块提取特征中获取在特征点位置处于地面上的特征点,并形成地面特征集,地面特征集用于地面轮廓和障碍物的表征。
一种终端设备,如可以执行上述高精度地图的构建方法的智能手机或可以执行上述高精度地图的构建方法程序的车载终端控制设备。
作为优选实施例,本实施例还提供一种终端设备,如可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器,或者多个服务器所组成的服务器集群)等。本实施例的终端设备至少包括但不限于:可通过系统总线相互通信连接的存储器、处理器。需要指出的是,具有组件存储器、处理器的终端设备,但是应理解的是,并不要求实施所有示出的组件,可以替代的高精度地图的数据管理方法实施更多或者更少的组件。
一种服务器,所述服务器包括用于实现上述高精度地图的构建方法和/或高精度地图的构建系统。
作为优选实施例,存储器(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中,存储器可以是计算机设备的内部存储单元,例如该计算机设备的硬盘或内存。在另一些实施例中,存储器也可以是计算机设备的外部存储设备,例如该计算机设备上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(SecureDigital,SD)卡,闪存卡(Flash Card)等。当然,存储器还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中,存储器通常用于存储安装于计算机设备的操作系统和各类应用软件,例如实施例中的高精度地图的构建方法程序代码等。此外,存储器还可以用于暂时地存储已经输出或者将要输出的各类数据。
一种计算机可读存储介质,其上存储有计算机程序,其特征在于:该程序被处理器执行时实现上述的高精度地图的构建方法中的步骤。
本实施例还提供一种计算机可读存储介质,如闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等,其上存储有计算机程序,程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于存储基于高精度地图的数据管理方法程序,被处理器执行时实现高精度地图的数据管理方法实施例中的高精度地图的构建方法。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中包括通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。

Claims (6)

1.一种高精度地图的构建方法,其特征在于,包括:
S01:获取雷达扫描点云,给点云两两配准,生成重建后的点云,以惯性测量单元去除雷达运动过程产生的点云畸变;去除雷达运动过程中产生的点云畸变包括:
获取点云初始时刻和当前时刻的IMU状态;
计算当前点产生的漂移;
S02:提取每一帧点云的特征点,进行相邻帧特征点关联匹配,获取采集点云间隔时间内雷达姿态的变换;获取采集点云间隔时间内雷达姿态的变换包括:
进行相邻帧特征点关联匹配,根据匹配的点获取两帧点云的刚体变换;其中,刚体变换的计算公式为:
为[tk+1,ti]时刻之间的变换,为[tk+1,tk]时刻之间的姿态变换,ti为当前时刻;
S03:提取三维点云中的地面点,形成地面特征集合生成高精度地图;形成地面特征集合生成高精度地图包括:
根据边特征点与其对应边线的关系和面特征点与其关联面的关系获取非线性方程;其中,边特征点与其对应边线的关系计算公式为:
面特征点与其关联面的关系计算公式为:
为当前时刻和上一时刻边特征点和面特征点的关系,之间的姿态变换;
利用L-M算法计算雷达运动,获取所述非线性方程组为:
获取关于的雅克比矩阵,所述雅克比矩阵为:
利用雅克比矩阵对所述非线性方程进行迭代处理,最小化d获取所述高精度地图。
2.根据权利要求1所述的高精度地图的构建方法,其特征在于,所述S01中获取雷达扫描点云的具体方法是:
S011:根据需求,加入组合导航进行建图,保证激光雷达和视频是同步的;
S012:线接好后,打开板子电源、激光雷达电源,确认同步信号是否接收;电脑通过网线接激光雷达盒子的网口,并手动设置电脑的IP,打开wireshark,选择对应的网卡,筛选端口;
S013:使组合导航和激光雷达同步,将激光雷达自带的GPS模块接到激光雷达盒子上,此时端口的GPS的时间即为真正的GPS时间,组合导航进行如下设置:1.测量IMU、GNSS天线、激光雷达设备之间的3D距离;2.初始化基站,获取基站的准确位置;确认同步之后,规划扫图的路径;
S014:视频数据录制,板子接入5路摄像头,一块屏幕,并连接adb,进入ubuntu系统或者ubuntu虚拟机,待adb连接成功后,进入命令行依次输入命令开始录制,如停止录制数据,在与上步同一命令行输入以下命令$./recording.sh stop;启动录制时包括:若显示器连接错误则检查屏幕电源线和HDMI线连接;若摄像头连接超时则检查摄像头连接顺序以及稳固程度;若./recording.sh启动和停止失败则重启板子;
S015:雷达数据录制,车速要求控制在10km/h,打开veloview,选择激光雷达小图标,弹出驱动选择界面,根据所用激光雷达选择对应的驱动,点击ok,显示实时点云;点击record开始录制,成功连接激光雷达后,为可用状态,点击后选择保存路径,停止录制,再次点击此按钮;
S016:组合导航录制:1)设备安装:a.将组合导航设备水平安装于汽车后备箱的支架上,并予以固定;b.连接组合导航与GNSS天线,测量并记录两者之间的杆臂;(2)电源连接:将组合导航设备电源与插排相连接(3)开始录制:a.选择室外开阔区域,开启设备电源,准备录制;b.观察GNSS信号指示灯,正常后开启数据录制按钮,开始录制IMU和GNSS原始数据;(4)结束录制:测试完成后,关闭数据录制按钮,结束录制;(5)数据导出:将设备USB线缆与PC相连接,导出IMU和GNSS原始数据;(6)数据处理:使用组合导航设备专业后处理软件GINS进行组合导航后处理(7)结果分析和导出:使用GINS软件进行结果分析,若满足要求,则按需导出组合导航后处理结果。
3.根据权利要求1所述的高精度地图的构建方法,其特征在于,所述S01中采用最近点迭代(IterativeClosestPoint,ICP)以实现点云两两配准;
数据获取;
特征点估计,对点云进行降采样;
特征值计算,采用的特征值有NARF、FPFH、SIFT,所述特征值计算用于匹配;
关联点匹配,采用近邻搜索的方式匹配后根据匹配的点计算出两帧点云的刚体变换,采用的方法为奇异值分解(SVD)。
4.根据权利要求3所述的高精度地图的构建方法,其特征在于,采用算法计算出初值,然后再用ICP进行精配准,所述算法包括贪婪初始配准(greedy Initial Alignment)、随机采样(sample consensus)。
5.一种高精度地图的构建系统,其特征在于,包括:
点云重建单元,所述点云重建单元用于两两点云的配准;
惯性测量单元,所述惯性测量单元用于去除雷达在运动过程中产生的点云畸变;所述惯性测量单元还用于:获取点云初始时刻和当前时刻的IMU状态;计算当前点产生的漂移;
特征提取模块,所述特征提取模块提取每一帧点云的特征点;
关联匹配模块,所述关联匹配模块用于将提取出的特征点进行相邻帧特征点关联匹配;获取采集点云间隔时间内雷达姿态的变换;所述关联匹配模块还用于:
进行相邻帧特征点关联匹配,根据匹配的点获取两帧点云的刚体变换;其中,刚体变换的计算公式为:
为[tk+1,ti]时刻之间的变换,为[tk+1,tk]时刻之间的姿态变换,ti为当前时刻;
地图生成模块,所述地图生成模块用于以特征点以及特征点关联区域的特质生成高精度地图;所述地图生成模块还用于:
根据边特征点与其对应边线的关系和面特征点与其关联面的关系获取非线性方程;其中,边特征点与其对应边线的关系计算公式为:
面特征点与其关联面的关系计算公式为:
为当前时刻和上一时刻边特征点和面特征点的关系,为[tk+1,tk]之间的姿态变换;
利用L-M算法计算雷达运动,获取所述非线性方程组为:
获取关于的雅克比矩阵,所述雅克比矩阵为:
利用雅克比矩阵对所述非线性方程进行迭代处理,最小化d获取所述高精度地图。
6.根据权利要求5所述的高精度地图的构建系统,其特征在于,还包括地面特征集生成模块,所述地面特征集生成模块从特征提取模块提取特征中,获取在特征点位置处于地面上的特征点,并形成地面特征集,地面特征集用于地面轮廓和障碍物的表征。
CN202010502517.6A 2020-06-03 2020-06-03 一种高精度地图的构建方法、系统、终端和存储介质 Active CN111710040B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010502517.6A CN111710040B (zh) 2020-06-03 2020-06-03 一种高精度地图的构建方法、系统、终端和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010502517.6A CN111710040B (zh) 2020-06-03 2020-06-03 一种高精度地图的构建方法、系统、终端和存储介质

Publications (2)

Publication Number Publication Date
CN111710040A CN111710040A (zh) 2020-09-25
CN111710040B true CN111710040B (zh) 2024-04-09

Family

ID=72539454

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010502517.6A Active CN111710040B (zh) 2020-06-03 2020-06-03 一种高精度地图的构建方法、系统、终端和存储介质

Country Status (1)

Country Link
CN (1) CN111710040B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111710039B (zh) * 2020-06-03 2024-06-14 纵目科技(上海)股份有限公司 一种高精度地图的构建方法、系统、终端和存储介质
CN112067007B (zh) * 2020-11-12 2021-01-29 湖北亿咖通科技有限公司 地图生成方法、计算机存储介质及电子设备
CN113759337B (zh) * 2021-11-09 2022-02-08 深圳安德空间技术有限公司 针对地下空间数据的三维探地雷达实时解译方法及系统
CN117590371B (zh) * 2024-01-18 2024-03-29 上海几何伙伴智能驾驶有限公司 基于4d毫米波成像雷达实现全局车位状态检测的方法
CN118334094B (zh) * 2024-06-17 2024-08-13 济南市勘察测绘研究院 一种基于三维点云的模型配准方法

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107807365A (zh) * 2017-10-20 2018-03-16 国家林业局昆明勘察设计院 用于低空无人航空器的轻小型数字摄影三维激光扫描装置
CN108133458A (zh) * 2018-01-17 2018-06-08 视缘(上海)智能科技有限公司 一种基于目标物体空间点云特征的自动拼接方法
CN108303710A (zh) * 2018-06-12 2018-07-20 江苏中科院智能科学技术应用研究院 基于三维激光雷达的无人机多场景定位建图方法
CN109345574A (zh) * 2018-08-31 2019-02-15 西安电子科技大学 基于语义点云配准的激光雷达三维建图方法
CN109709801A (zh) * 2018-12-11 2019-05-03 智灵飞(北京)科技有限公司 一种基于激光雷达的室内无人机定位系统及方法
KR20190064311A (ko) * 2017-11-30 2019-06-10 주식회사 모빌테크 라이다를 이용한 지도 생성 방법 및 장치
CN109934920A (zh) * 2019-05-20 2019-06-25 奥特酷智能科技(南京)有限公司 基于低成本设备的高精度三维点云地图构建方法
CN110057373A (zh) * 2019-04-22 2019-07-26 上海蔚来汽车有限公司 用于生成高精细语义地图的方法、装置和计算机存储介质
CN110223379A (zh) * 2019-06-10 2019-09-10 于兴虎 基于激光雷达的三维点云重建方法
CN110363849A (zh) * 2018-04-11 2019-10-22 株式会社日立制作所 一种室内三维建模方法及系统
CN110473239A (zh) * 2019-08-08 2019-11-19 刘秀萍 一种三维激光扫描的高精度点云配准方法
CN110596683A (zh) * 2019-10-25 2019-12-20 中山大学 一种多组激光雷达外参标定系统及其方法
CN110703229A (zh) * 2019-09-25 2020-01-17 禾多科技(北京)有限公司 点云去畸变方法及车载激光雷达到imu的外参标定方法
CN110796728A (zh) * 2019-09-20 2020-02-14 南京航空航天大学 一种基于扫描式激光雷达的非合作航天器三维重建方法
CN110888120A (zh) * 2019-12-03 2020-03-17 华南农业大学 一种基于组合导航系统矫正激光雷达点云数据运动畸变的方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG10201700299QA (en) * 2017-01-13 2018-08-30 Otsaw Digital Pte Ltd Three-dimensional mapping of an environment
US10866101B2 (en) * 2017-06-13 2020-12-15 Tusimple, Inc. Sensor calibration and time system for ground truth static scene sparse flow generation

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107807365A (zh) * 2017-10-20 2018-03-16 国家林业局昆明勘察设计院 用于低空无人航空器的轻小型数字摄影三维激光扫描装置
KR20190064311A (ko) * 2017-11-30 2019-06-10 주식회사 모빌테크 라이다를 이용한 지도 생성 방법 및 장치
CN108133458A (zh) * 2018-01-17 2018-06-08 视缘(上海)智能科技有限公司 一种基于目标物体空间点云特征的自动拼接方法
CN110363849A (zh) * 2018-04-11 2019-10-22 株式会社日立制作所 一种室内三维建模方法及系统
CN108303710A (zh) * 2018-06-12 2018-07-20 江苏中科院智能科学技术应用研究院 基于三维激光雷达的无人机多场景定位建图方法
CN109345574A (zh) * 2018-08-31 2019-02-15 西安电子科技大学 基于语义点云配准的激光雷达三维建图方法
CN109709801A (zh) * 2018-12-11 2019-05-03 智灵飞(北京)科技有限公司 一种基于激光雷达的室内无人机定位系统及方法
CN110057373A (zh) * 2019-04-22 2019-07-26 上海蔚来汽车有限公司 用于生成高精细语义地图的方法、装置和计算机存储介质
CN109934920A (zh) * 2019-05-20 2019-06-25 奥特酷智能科技(南京)有限公司 基于低成本设备的高精度三维点云地图构建方法
CN110223379A (zh) * 2019-06-10 2019-09-10 于兴虎 基于激光雷达的三维点云重建方法
CN110473239A (zh) * 2019-08-08 2019-11-19 刘秀萍 一种三维激光扫描的高精度点云配准方法
CN110796728A (zh) * 2019-09-20 2020-02-14 南京航空航天大学 一种基于扫描式激光雷达的非合作航天器三维重建方法
CN110703229A (zh) * 2019-09-25 2020-01-17 禾多科技(北京)有限公司 点云去畸变方法及车载激光雷达到imu的外参标定方法
CN110596683A (zh) * 2019-10-25 2019-12-20 中山大学 一种多组激光雷达外参标定系统及其方法
CN110888120A (zh) * 2019-12-03 2020-03-17 华南农业大学 一种基于组合导航系统矫正激光雷达点云数据运动畸变的方法

Also Published As

Publication number Publication date
CN111710040A (zh) 2020-09-25

Similar Documents

Publication Publication Date Title
CN111710040B (zh) 一种高精度地图的构建方法、系统、终端和存储介质
CN109974693B (zh) 无人机定位方法、装置、计算机设备及存储介质
Daneshmand et al. 3d scanning: A comprehensive survey
CN105096386B (zh) 大范围复杂城市环境几何地图自动生成方法
CN113593017B (zh) 露天矿地表三维模型构建方法、装置、设备及存储介质
Alonso et al. Accurate global localization using visual odometry and digital maps on urban environments
Jiang et al. Unmanned Aerial Vehicle-Based Photogrammetric 3D Mapping: A survey of techniques, applications, and challenges
US8437501B1 (en) Using image and laser constraints to obtain consistent and improved pose estimates in vehicle pose databases
US20090154793A1 (en) Digital photogrammetric method and apparatus using intergrated modeling of different types of sensors
Verykokou et al. Oblique aerial images: a review focusing on georeferencing procedures
CN111612829B (zh) 一种高精度地图的构建方法、系统、终端和存储介质
CN114494618A (zh) 地图的生成方法、装置、电子设备及存储介质
CN111710039B (zh) 一种高精度地图的构建方法、系统、终端和存储介质
CN116433865B (zh) 一种基于场景可重建性分析的空地协同采集路径规划方法
CN110021041B (zh) 基于双目相机的无人驾驶场景增量式网格化结构重建方法
CN115601517A (zh) 岩体结构面信息采集方法、装置、电子设备及存储介质
Al-Durgham The registration and segmentation of heterogeneous Laser scanning data
Brenner et al. Automated reconstruction of 3D city models
CN110148205A (zh) 一种基于众包影像的三维重建的方法和装置
Guo et al. Research on 3D geometric modeling of urban buildings based on airborne lidar point cloud and image
Wei et al. Indoor and outdoor multi-source 3D data fusion method for ancient buildings
Stilla et al. Generation of 3D-city models and their utilisation in image sequences
Pfeifer et al. Early stages of LiDAR data processing
Radford Best Practices when Using Multi-Rotor Consumer UAVs for Photogrammetric Mapping: Limitations and Possible Solutions
Rau et al. Geometrical building modeling and its application to the ortho-rectification for aerial images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant