CN111710039A - 一种高精度地图的构建方法、系统、终端和存储介质 - Google Patents

一种高精度地图的构建方法、系统、终端和存储介质 Download PDF

Info

Publication number
CN111710039A
CN111710039A CN202010495744.0A CN202010495744A CN111710039A CN 111710039 A CN111710039 A CN 111710039A CN 202010495744 A CN202010495744 A CN 202010495744A CN 111710039 A CN111710039 A CN 111710039A
Authority
CN
China
Prior art keywords
point
feature
precision map
point cloud
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010495744.0A
Other languages
English (en)
Inventor
王凡
唐锐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zongmu Technology Shanghai Co Ltd
Original Assignee
Zongmu Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zongmu Technology Shanghai Co Ltd filed Critical Zongmu Technology Shanghai Co Ltd
Priority to CN202010495744.0A priority Critical patent/CN111710039A/zh
Publication of CN111710039A publication Critical patent/CN111710039A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Abstract

本发明提供一种高精度地图的构建方法、系统、终端和存储介质，包括以下步骤：S01：获取雷达扫描点云，给点云两两配准，生成重建后的点云，以惯性测量单元去除雷达运动过程产生的点云畸变；S02：提取每一帧点云的特征点，进行相邻帧特征点关联匹配；获取采集点云间隔时间内雷达姿态的变换；S03：提取三维点云中的地面点，形成地面特征集合生成高精度地图。特征点提取不采用现有特征，而是根据曲率大小，提取边角和平面特征；以惯性测量单元去除点云畸变，再提取特征点，进行特征点关联匹配，将一定距离地面一定高度的特征映射到地平面上形成高精度地图。

Description

一种高精度地图的构建方法、系统、终端和存储介质
技术领域
本发明涉及汽车电子技术领域，特别是涉及一种高精度地图的构建方法、系统、终端和存储介质。
背景技术
精细地图作为一种电子地图，包括空间矢量数据和属性信息，空间矢量数据是电子地图属性信息的载体。传统电子地图的制作方法是采用基于栅格数据抽象提取空间矢量数据的方法或利用GPS、机器人定位跟踪装置记录采集所经区域的空间位置及视野信息，加工生产空间矢量数据。而这种精细地图并不能满足L4乃至L5等级自动驾驶的需求。
高精度地图不仅包含空间矢量数据还包括许多语义信息，地图可能会报告交通灯上不同颜色的含义，也可能指示道路的速度限速，以及左转车道的位置，高精度地图做重要的特征之一是，精度，手机上的导航只能达到米级精度，高精度地图可以达到厘米级精度，这对无人驾驶车至关重要。保持这些地图的更新是一项重大任务，调查车队需要不断地对高精度地图进行验证和更新。此外，这些地图精度可以达到几厘米，这是水准最高的制图精度。高精度地图专为无人驾驶车设计，包含道路定义、交叉路口、交通信号、车道规则以及用于汽车导航的其他元素。
发明内容
为了解决上述的以及其他潜在的技术问题，本发明提供了一种高精度地图的构建方法、系统、终端和存储介质，特征点提取不采用现有特征，而是根据曲率大小，提取边角和平面特征；以惯性测量单元去除点云畸变，再提取特征点，进行特征点关联匹配，将一定距离地面一定高度的特征映射到地平面上形成高精度地图。
一种高精度地图的构建方法，包括：
S01：获取雷达扫描点云，给点云两两配准，生成重建后的点云，以惯性测量单元去除雷达运动过程产生的点云畸变；
S02：提取每一帧点云的特征点，进行相邻帧特征点关联匹配；获取采集点云间隔时间内雷达姿态的变换；
S03：提取三维点云中的地面点，形成地面特征集合生成高精度地图。
进一步地，步骤S01中获取雷达扫描点云的具体方法是：
S011：可以根据需求，看是否需要加入组合导航进行建图，如果没有特殊要求，最好保证激光雷达和视频是同步的；
S012：线接好后，需要打开板子电源、激光雷达电源，确认同步信号是否接收。电脑通过网线接激光雷达盒子的网口，并手动设置电脑的IP，打开wireshark，选择对应的网卡，筛选端口；
S013：使组合导航和激光雷达同步，将激光雷达自带的GPS模块接到激光雷达盒子上即可，此时端口的GPS的时间即为真正的GPS时间。组合导航需要进行如下设置：1.测量IMU、GNSS天线、激光雷达设备之间的3D距离；2.初始化基站，获取基站的准确位置；确认同步之后，需要规划扫图的路径。一般较小的停车场，可以一次将数据采集完的停车场，如纳贤800地下停车场，可以按纳贤800来规划路径；对于较大型的停车场，一次全部采集完比较困难，可以分路段采集，但是要保证每段之间都有重复的路径，便于后期拼合；
S014：视频数据录制，板子需要接入5路摄像头，一块屏幕，并连接adb，并且需进入ubuntu系统或者ubuntu虚拟机，待adb连接成功后，进入命令行依次输入命令开始录制，如停止录制数据，在与上步同一命令行输入以下命令$./recording.sh stop。启动录制时可能出现的问题以及解决方法：显示器连接错误：检查屏幕电源线和HDMI线连接；摄像头连接超时：检查摄像头连接顺序以及稳固程度；./recording.sh启动和停止失败：重启板子。
S015：雷达数据录制，车速要求控制在10km/h左右，打开veloview，选择激光雷达小图标，弹出驱动选择界面，根据所用激光雷达选择对应的驱动，点击ok，可以显示实时点云；点击的record开始录制，成功连接激光雷达后，此按钮呈现红色，并为可用状态，点击后选择保存路径即可，停止录制，再次点击此按钮即可。
S016：组合导航录制：1)设备安装：a.将组合导航设备水平安装于汽车后备箱的支架上，并予以固定。b.连接组合导航与GNSS天线，测量并记录两者之间的杆臂。(2)电源连接：将组合导航设备电源与插排相连接(3)开始录制：a.选择室外开阔区域，开启设备电源，准备录制。b.观察GNSS信号指示灯，正常后可开启数据录制按钮，开始录制IMU和GNSS原始数据。(4)结束录制：测试完成后，关闭数据录制按钮，结束录制。(5)数据导出：将设备USB线缆与PC相连接，导出IMU和GNSS原始数据。(6)数据处理：使用组合导航设备专业后处理软件(GINS)进行组合导航后处理(7)结果分析和导出：使用GINS软件进行结果分析，若满足要求，则可按需导出组合导航后处理结果。
进一步地，步骤S01中重建点云的具体方法是：
点云重建的过程其实可以归结为两两点云配准的过程(point cloudregistration)，优选地，采用最近点迭代(Iterative Closest Point，ICP)。
进一步地，所述步骤S01中最近点迭代(Iterative Closest Point，ICP)的具体步骤是：
S017：数据获取；
S018：特征点估计，通常是对点云进行降采样，或者采用其他计算方式
S019：特征值计算，采用的特征值通常有NARF、FPFH、SIFT等等，计算特征值的目的主要是匹配
S020：关联点匹配，需要用到近邻搜索的方式匹配后可以根据匹配的点计算出两帧点云的刚体变换，采用的方法比如奇异值分解(SVD)。
进一步地，所述为了避免最近点迭代(Iterative Closest Point，ICP)的缺点，一般会采用一些别的算法计算出初值，然后再用ICP进行精配准，这些算法包括贪婪初始配准(greedy Initial Alignment)、随机采样(sample consensus)等等。
进一步地，所述步骤S01中，以惯性测量单元去除雷达运动过程产生的点云畸变的具体步骤是：
S021：我们可以获得点云初始时刻的IMU状态_imuStart，以及经过实际扫描时间relSweepTime后，当前时刻的IMU状态_imuCur。:
S022：计算:经过扫描时间后，当前点产生的漂移：_imuPositionShift＝_imuCur.position-_imuStart.position-_imuStart.velocity*relSweepTime；
S022：上式假定在扫描时间relSweepTime内，车是匀速运动的(因为IMU频率很高)。
优选地，有lidar采用的扫描方式是旋转式的，车也是运动的，下一时刻扫描进行的同时，车如果向前运动，那么激光雷达的原点位置也向前移动了，当前时刻返回的坐标点位置，实际上相对于原来的位置是靠后了，整体点云就有被拉伸的可能。因为IMU的频率较高，我们就可以通过IMU的速度，计算出当前点的漂移量，从而校正点云畸变。不过，因为现在采集车的车速比较慢，没有去除点云畸变这一步算法也可以正常运行。
进一步地，所述步骤S02中提取每一帧点云的特征点的具体步骤是：根据曲率大小，提取边角和平面特征。优选地，设点i是点云
Figure BDA0002522788780000031
的一点，
Figure BDA0002522788780000032
是位于同一扫描线的点集，那么局部表面的平滑度可以由以下函数定义：
Figure BDA0002522788780000033
如果一个点的c值，大于设定的最大值，则为边特征点；小于设定的最小值，则为面特征点。为了更好的描述环境，我们将一次扫描线分成四个区域，每个区域保留两个边点和四个面点。
进一步地，所述步骤S02中进行相邻帧特征点关联匹配的具体步骤是：
对于当前帧边特征点，在下一帧寻找当前点的最近邻点j，再寻找次近邻点1。对于当前帧的面特征点，先在下一帧寻找当前点的最近邻点j，再寻找两个次近邻点l和m。它们之间的关系如图4所示。设Pk为tk时刻的点云，
Figure BDA0002522788780000041
为其在tk+1时刻的投影，Pk+1为tk+1时刻的点云。
Figure BDA0002522788780000042
和Pk+1用于估计lidar的运动。εk+1和
Figure BDA0002522788780000043
分别为边特征点集合和面特征点集合。我们可以在其中找到
Figure BDA0002522788780000044
的关联点。每次迭代时，我们需要将特征点集投影到上一时刻，得到
Figure BDA0002522788780000045
和
Figure BDA0002522788780000046
对于一个边点
Figure BDA0002522788780000047
如果(j，l)是关联的边线，
Figure BDA0002522788780000048
那么点到线的距离可以表示为：
Figure BDA0002522788780000049
X均为三维坐标。同理可得，点
Figure BDA00025227887800000410
对于由
Figure BDA00025227887800000411
构成的关联面，有点到平面的距离：
Figure BDA00025227887800000412
进一步地，所述步骤S02中获取采集点云间隔时间内雷达运动的具体步骤是：
S023：设
Figure BDA00025227887800000413
为[tk+1，tk]之间的姿态变换，
Figure BDA00025227887800000414
是6-DOF的刚体变换；
Figure BDA00025227887800000415
tx，ty，tz是三轴的平移，θx，θy，θz是三轴旋转角，给定一点i∈Pk+1，ti为这个点的时间，
Figure BDA00025227887800000416
为[tk+1，ti]之间的变换，
Figure BDA00025227887800000417
可以通过插值计算：
Figure BDA00025227887800000418
S024：为了估计雷达的运动，我们需要知道εk+1和
Figure BDA00025227887800000419
或者
Figure BDA00025227887800000420
和
Figure BDA00025227887800000421
之间的关系，我们可以定义：
Figure BDA00025227887800000422
Figure BDA00025227887800000423
为三轴的平移，R为旋转矩阵，可以由罗德里格斯公式定义：
Figure BDA00025227887800000424
上式中，θ为旋转程度：
Figure BDA0002522788780000051
ω是与旋转方向相关的单位向量：
Figure BDA0002522788780000052
Figure BDA0002522788780000053
是ω的斜对称矩阵。
S025：结合上述的距离计算公式并结合上述公式，我们可以得到边特征点和与其相关的边线之间的关系：
Figure BDA0002522788780000054
同理，对于面特征点与其关联面之间也有如下关系：
Figure BDA0002522788780000055
采用L-M算法计算lidar运动，结合两个距离公式，可以得到非线性方程：
Figure BDA0002522788780000056
S026：对上述公式求取关于
Figure BDA0002522788780000057
的雅克比矩阵，定义为
Figure BDA0002522788780000058
通过迭代，最小化d得到高精度地图，迭代公式如下：
Figure BDA0002522788780000059
λ是由L-M算法定义的系数。
进一步地，所述步骤S02中还包括雷达的里程计数据获取步骤，其具体步骤是：
算法流程如下表所示：
Figure BDA00025227887800000510
Figure BDA0002522788780000061
进一步地，所述假设在地面上铺一张布，布料由于重力作用而下坠。如果布料足够软，那么会完全的贴合地面。算法过程为：a)翻转点云；b)覆盖布料。在布料模型中，布料是由互相连接的节点构成的栅格模型，被称为弹簧模型。节点之间的可以定义成“虚拟弹簧”，遵循胡克定律(F＝-kx)
根据牛顿第二定律，位移和力之间的关系：
Figure BDA0002522788780000071
X是t时刻位移；Fext(X，t)是重力和障碍物所造成的碰撞产生的力；Fint(X，t)弹力
在点云中有如下规则：
节点的移动限制在垂直方向
节点到达正确位置后，地面，被设为不可移动
力的作用被分成两步，以提高效率
点的移动可分为四个阶段，如图8所示：a)初始化；b)在重力作用下下降；c)内部检测，是否到达临界点；d)可移动点继续移动。
进一步地，所述步骤S03中形成地面特征集合生成高精度地图的具体方式是：
S031：设置栅格化的分辨率为0.03cmX0.03cm；
S032：计算点云边界，以及栅格图像的大小；
S033：统计每个网格内点的数量、累高度反射率；
S034：计算每个网格内平均高度以及反射率；
S035：对整幅图像的平均反射率进行归一化，并且乘以255，作为图像的灰度值。
优选地，所述栅格化后的图像如图5所示。
一种高精度地图的构建系统，包括：
点云重建单元，所述点云重建单元用于两两点云的配准，
惯性测量单元，所述惯性测量单元用于去除雷达在运动过程中产生的点云畸变；
特征提取模块，所述特征提取模块提取每一帧点云的特征点；
关联匹配模块，所述关联匹配模块用于将提取出的特征点进行相邻帧特征点关联匹配；获取采集点云间隔时间内雷达姿态的变换；
地图生成模块，所述地图生成模块用于以特征点以及特征点关联区域的特质生成高精度地图。
进一步地，还包括地面特征集生成模块，所述地面特征集生成模块自特征提取模块提取特征中获取在特征点位置处于地面上的特征点，并形成地面特征集，地面特征集用于地面轮廓和障碍物的表征。
一种终端设备，如可以执行上述高精度地图的构建方法的智能手机或可以执行上述高精度地图的构建方法程序的车载终端控制设备。
一种服务器，所述服务器包括用于实现上述高精度地图的构建方法和/或高精度地图的构建系统。
一种计算机存储介质，所述计算机存储介质用于存储上述高精度地图的构建方法所对应的软件程序和/或高精度地图的数据管理系统。
如上所述，本发明的具有以下有益效果：
特征点提取不采用现有特征，而是根据曲率大小，提取边角和平面特征；以惯性测量单元去除点云畸变，再提取特征点，进行特征点关联匹配，将一定距离地面一定高度的特征映射到地平面上形成高精度地图。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1显示为本发明的流程示意图。
图2显示为最近点迭代的流程示意图。
图3显示为本发明地图构建的流程示意图。
图4显示为边特征点和面特征点关联示意图。
图5显示为本发明地图构建方法的实施结果示意图。
图6显示为本发明ARCMAP地图生成的图示。
图7显示为本发明处理完成的矢量地图的图示。
图8显示为布料模拟滤波示意图的示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。同时，本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
参见图1～图8，
一种高精度地图的构建方法，包括：
S01：获取雷达扫描点云，给点云两两配准，生成重建后的点云，以惯性测量单元去除雷达运动过程产生的点云畸变；
S02：提取每一帧点云的特征点，进行相邻帧特征点关联匹配；获取采集点云间隔时间内雷达姿态的变换；
S03：提取三维点云中的地面点，形成地面特征集合生成高精度地图。
进一步地，步骤S01中获取雷达扫描点云的具体方法是：
S011：可以根据需求，看是否需要加入组合导航进行建图，如果没有特殊要求，最好保证激光雷达和视频是同步的；
S012：线接好后，需要打开板子电源、激光雷达电源，确认同步信号是否接收。电脑通过网线接激光雷达盒子的网口，并手动设置电脑的IP，打开wireshark，选择对应的网卡，筛选端口；
S013：使组合导航和激光雷达同步，将激光雷达自带的GPS模块接到激光雷达盒子上即可，此时端口的GPS的时间即为真正的GPS时间。组合导航需要进行如下设置：1.测量IMU、GNSS天线、激光雷达设备之间的3D距离；2.初始化基站，获取基站的准确位置；确认同步之后，需要规划扫图的路径。一般较小的停车场，可以一次将数据采集完的停车场，如纳贤800地下停车场，可以按纳贤800来规划路径；对于较大型的停车场，一次全部采集完比较困难，可以分路段采集，但是要保证每段之间都有重复的路径，便于后期拼合；
S014：视频数据录制，板子需要接入5路摄像头，一块屏幕，并连接adb，并且需进入ubuntu系统或者ubuntu虚拟机，待adb连接成功后，进入命令行依次输入命令开始录制，如停止录制数据，在与上步同一命令行输入以下命令$./recording.sh stop。启动录制时可能出现的问题以及解决方法：显示器连接错误：检查屏幕电源线和HDMI线连接；摄像头连接超时：检查摄像头连接顺序以及稳固程度；./recording.sh启动和停止失败：重启板子。
S015：雷达数据录制，车速要求控制在10km/h左右，打开veloview，选择激光雷达小图标，弹出驱动选择界面，根据所用激光雷达选择对应的驱动，点击ok，可以显示实时点云；点击的record开始录制，成功连接激光雷达后，此按钮呈现红色，并为可用状态，点击后选择保存路径即可，停止录制，再次点击此按钮即可。
S016：组合导航录制：1)设备安装：a.将组合导航设备水平安装于汽车后备箱的支架上，并予以固定。b.连接组合导航与GNSS天线，测量并记录两者之间的杆臂。(2)电源连接：将组合导航设备电源与插排相连接(3)开始录制：a.选择室外开阔区域，开启设备电源，准备录制。b.观察GNSS信号指示灯，正常后可开启数据录制按钮，开始录制IMU和GNSS原始数据。(4)结束录制：测试完成后，关闭数据录制按钮，结束录制。(5)数据导出：将设备USB线缆与PC相连接，导出IMU和GNSS原始数据。(6)数据处理：使用组合导航设备专业后处理软件(GINS)进行组合导航后处理(7)结果分析和导出：使用GINS软件进行结果分析，若满足要求，则可按需导出组合导航后处理结果。
进一步地，步骤S01中重建点云的具体方法是：
点云重建的过程其实可以归结为两两点云配准的过程(point cloudregistration)，优选地，采用最近点迭代(Iterative Closest Point，ICP)。
进一步地，所述步骤S01中最近点迭代(Iterative Closest Point，ICP)的具体步骤是：
S017：数据获取；
S018：特征点估计，通常是对点云进行降采样，或者采用其他计算方式
S019：特征值计算，采用的特征值通常有NARF、FPFH、SIFT等等，计算特征值的目的主要是匹配
S020：关联点匹配，需要用到近邻搜索的方式匹配后可以根据匹配的点计算出两帧点云的刚体变换，采用的方法比如奇异值分解(SVD)。
进一步地，所述为了避免最近点迭代(Iterative Closest Point，ICP)的缺点，一般会采用一些别的算法计算出初值，然后再用ICP进行精配准，这些算法包括贪婪初始配准(greedy Initial Alignment)、随机采样(sample consensus)等等。
进一步地，所述步骤S01中，以惯性测量单元去除雷达运动过程产生的点云畸变的具体步骤是：
S021：我们可以获得点云初始时刻的IMU状态_imuStart，以及经过实际扫描时间relSweepTime后，当前时刻的IMU状态_imuCur。：
S022：计算：经过扫描时间后，当前点产生的漂移：_imuPositionShift＝_imuCur.position-_imuStart.position-_imuStart.velocity*relSweepTime；
S022：上式假定在扫描时间relSweepTime内，车是匀速运动的(因为IMU频率很高)。
优选地，有lidar采用的扫描方式是旋转式的，车也是运动的，下一时刻扫描进行的同时，车如果向前运动，那么激光雷达的原点位置也向前移动了，当前时刻返回的坐标点位置，实际上相对于原来的位置是靠后了，整体点云就有被拉伸的可能。因为IMU的频率较高，我们就可以通过IMU的速度，计算出当前点的漂移量，从而校正点云畸变。不过，因为现在采集车的车速比较慢，没有去除点云畸变这一步算法也可以正常运行。
进一步地，所述步骤S02中提取每一帧点云的特征点的具体步骤是：根据曲率大小，提取边角和平面特征。优选地，设点i是点云
Figure BDA0002522788780000111
的一点，
Figure BDA0002522788780000112
是位于同一扫描线的点集，那么局部表面的平滑度可以由以下函数定义：
Figure BDA0002522788780000113
如果一个点的c值，大于设定的最大值，则为边特征点；小于设定的最小值，则为面特征点。为了更好的描述环境，我们将一次扫描线分成四个区域，每个区域保留两个边点和四个面点。
进一步地，所述步骤S02中进行相邻帧特征点关联匹配的具体步骤是：
对于当前帧边特征点，在下一帧寻找当前点的最近邻点j，再寻找次近邻点l。对于当前帧的面特征点，先在下一帧寻找当前点的最近邻点j，再寻找两个次近邻点l和m。它们之间的关系如图4所示。设Pk为tk时刻的点云，
Figure BDA0002522788780000114
为其在tk+1时刻的投影，Pk+1为tk+1时刻的点云。
Figure BDA0002522788780000115
和Pk+1用于估计lidar的运动。εk+1和
Figure BDA0002522788780000116
分别为边特征点集合和面特征点集合。我们可以在其中找到
Figure BDA0002522788780000117
的关联点。每次迭代时，我们需要将特征点集投影到上一时刻，得到
Figure BDA0002522788780000118
和
Figure BDA0002522788780000119
对于一个边点
Figure BDA00025227887800001110
如果(j，l)是关联的边线，
Figure BDA00025227887800001111
那么点到线的距离可以表示为：
Figure BDA0002522788780000121
X均为三维坐标。同理可得，点
Figure BDA0002522788780000122
对于由
Figure BDA0002522788780000123
构成的关联面，有点到平面的距离：
Figure BDA0002522788780000124
进一步地，所述步骤S02中获取采集点云间隔时间内雷达运动的具体步骤是：
S023：设
Figure BDA0002522788780000125
为[tk+1，tk]之间的姿态变换，
Figure BDA0002522788780000126
是6-DOF的刚体变换；
Figure BDA0002522788780000127
tx，ty，tz是三轴的平移，θx，θy，θz是三轴旋转角，给定一点i∈Pk+1，ti为这个点的时间，
Figure BDA0002522788780000128
为[tk+1，ti]之间的变换，
Figure BDA0002522788780000129
可以通过插值计算：
Figure BDA00025227887800001210
S024：为了估计雷达的运动，我们需要知道εk+1和
Figure BDA00025227887800001211
或者
Figure BDA00025227887800001212
和
Figure BDA00025227887800001213
之间的关系，我们可以定义：
Figure BDA00025227887800001214
Figure BDA00025227887800001215
为三轴的平移，R为旋转矩阵，可以由罗德里格斯公式定义：
Figure BDA00025227887800001216
上式中，θ为旋转程度：
Figure BDA00025227887800001217
ω是与旋转方向相关的单位向量：
Figure BDA00025227887800001218
Figure BDA00025227887800001219
是ω的斜对称矩阵。
S025：结合上述的距离计算公式并结合上述公式，我们可以得到边特征点和与其相关的边线之间的关系：
Figure BDA00025227887800001220
同理，对于面特征点与其关联面之间也有如下关系：
Figure BDA00025227887800001221
采用L-M算法计算lidar运动，结合两个距离公式，可以得到非线性方程：
Figure BDA0002522788780000131
S026：对上述公式求取关于
Figure BDA0002522788780000132
的雅克比矩阵，定义为
Figure BDA0002522788780000133
通过迭代，最小化d得到高精度地图，迭代公式如下：
Figure BDA0002522788780000134
λ是由L-M算法定义的系数。
进一步地，所述步骤S02中还包括雷达的里程计数据获取步骤，其具体步骤是：
算法流程如下表所示：
Figure BDA0002522788780000135
Figure BDA0002522788780000141
进一步地，所述假设在地面上铺一张布，布料由于重力作用而下坠。如果布料足够软，那么会完全的贴合地面。算法过程为：a)翻转点云；b)覆盖布料。在布料模型中，布料是由互相连接的节点构成的栅格模型，被称为弹簧模型。节点之间的可以定义成“虚拟弹簧”，遵循胡克定律(F＝-kx)
根据牛顿第二定律，位移和力之间的关系：
Figure BDA0002522788780000142
X是t时刻位移；Fext(X，t)是重力和障碍物所造成的碰撞产生的力；Fint(X，t)弹力
在点云中有如下规则：
节点的移动限制在垂直方向
节点到达正确位置后，地面，被设为不可移动
力的作用被分成两步，以提高效率
点的移动可分为四个阶段，如图8所示：a)初始化；b)在重力作用下下降；c)内部检测，是否到达临界点；d)可移动点继续移动。
进一步地，所述步骤S03中形成地面特征集合生成高精度地图的具体方式是：
S031：设置栅格化的分辨率为0.03cmX0.03cm；
S032：计算点云边界，以及栅格图像的大小；
S033：统计每个网格内点的数量、累高度反射率；
S034：计算每个网格内平均高度以及反射率；
S035：对整幅图像的平均反射率进行归一化，并且乘以255，作为图像的灰度值。
优选地，所述栅格化后的图像如图5所示。
一种高精度地图的构建系统，包括：
点云重建单元，所述点云重建单元用于两两点云的配准，
惯性测量单元，所述惯性测量单元用于去除雷达在运动过程中产生的点云畸变；
特征提取模块，所述特征提取模块提取每一帧点云的特征点；
关联匹配模块，所述关联匹配模块用于将提取出的特征点进行相邻帧特征点关联匹配；获取采集点云间隔时间内雷达姿态的变换；
地图生成模块，所述地图生成模块用于以特征点以及特征点关联区域的特质生成高精度地图。
进一步地，还包括地面特征集生成模块，所述地面特征集生成模块自特征提取模块提取特征中获取在特征点位置处于地面上的特征点，并形成地面特征集，地面特征集用于地面轮廓和障碍物的表征。
一种终端设备，如可以执行上述高精度地图的构建方法的智能手机或可以执行上述高精度地图的构建方法程序的车载终端控制设备。
作为优选实施例，本实施例还提供一种终端设备，如可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。本实施例的终端设备至少包括但不限于：可通过系统总线相互通信连接的存储器、处理器。需要指出的是，具有组件存储器、处理器的终端设备，但是应理解的是，并不要求实施所有示出的组件，可以替代的高精度地图的数据管理方法实施更多或者更少的组件。
一种服务器，所述服务器包括用于实现上述高精度地图的构建方法和/或高精度地图的构建系统。
作为优选实施例，存储器(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器可以是计算机设备的内部存储单元，例如该计算机设备的硬盘或内存。在另一些实施例中，存储器也可以是计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。当然，存储器还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中，存储器通常用于存储安装于计算机设备的操作系统和各类应用软件，例如实施例中的高精度地图的构建方法程序代码等。此外，存储器还可以用于暂时地存储已经输出或者将要输出的各类数据。
一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该程序被处理器执行时实现上述的高精度地图的构建方法中的步骤。
本实施例还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于存储基于高精度地图的数据管理方法程序，被处理器执行时实现高精度地图的数据管理方法实施例中的高精度地图的构建方法。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中包括通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种高精度地图的构建方法，其特征在于，包括：
S01：获取雷达扫描点云，给点云两两配准，生成重建后的点云，以惯性测量单元去除雷达运动过程产生的点云畸变；
S02：提取每一帧点云的特征点，进行相邻帧特征点关联匹配；获取采集点云间隔时间内雷达姿态的变换；
S03：提取三维点云中的地面点，形成地面特征集合生成高精度地图。
2.根据权利要求1所述的高精度地图的构建方法，其特征在于，所述步骤S02中提取每一帧点云的特征点的具体步骤是：根据曲率大小，提取边角和平面特征，设点i是点云
Figure FDA0002522788770000013
的一点，
Figure FDA0002522788770000014
是位于同一扫描线的点集，那么局部表面的平滑度可以由以下函数定义：
Figure FDA0002522788770000011
如果一个点的c值，大于设定的最大值，则为边特征点；小于设定的最小值，则为面特征点。为了更好的描述环境，我们将一次扫描线分成四个区域，每个区域保留两个边点和四个面点。
3.根据权利要求1所述的高精度地图的构建方法，其特征在于，所述步骤S02中进行相邻帧特征点关联匹配的具体步骤是：
对于当前帧边特征点，在下一帧寻找当前点的最近邻点j，再寻找次近邻点l；对于当前帧的面特征点，先在下一帧寻找当前点的最近邻点j，再寻找两个次近邻点l和m；设Pk为tk时刻的点云，
Figure FDA0002522788770000015
为其在tk+1时刻的投影，Pk+1为tk+1时刻的点云。
Figure FDA00025227887700000111
和Pk+1用于估计lidar的运动；εk+1和
Figure FDA0002522788770000016
分别为边特征点集合和面特征点集合；我们可以在其中找到
Figure FDA00025227887700000112
的关联点，每次迭代时，我们需要将特征点集投影到上一时刻，得到
Figure FDA0002522788770000019
和
Figure FDA00025227887700000110
对于一个边点
Figure FDA0002522788770000017
如果(j，l)是关联的边线，
Figure FDA0002522788770000018
那么点到线的距离可以表示为：
Figure FDA0002522788770000012
X均为三维坐标，同理可得，点
Figure FDA00025227887700000113
对于由
Figure FDA00025227887700000114
构成的关联面，有点到平面的距离：
Figure FDA0002522788770000021
4.根据权利要求1所述的高精度地图的构建方法，其特征在于，所述步骤S02中获取采集点云间隔时间内雷达运动的具体步骤是：
S023：设
Figure FDA0002522788770000029
为[tk+1，tk]之间的姿态变换，
Figure FDA00025227887700000210
是6-DOF的刚体变换；
Figure FDA00025227887700000211
tx，ty，tz是三轴的平移，θx，θy，θz是三轴旋转角，给定一点i∈Pk+1,ti为这个点的时间，
Figure FDA00025227887700000212
为[tk+1，ti]之间的变换，
Figure FDA00025227887700000213
可以通过插值计算：
Figure FDA0002522788770000022
S024：为了估计雷达的运动，我们需要知道εk+1和
Figure FDA00025227887700000214
或者
Figure FDA00025227887700000215
和
Figure FDA00025227887700000216
之间的关系，我们可以定义：
Figure FDA00025227887700000218
Figure FDA00025227887700000217
为三轴的平移，R为旋转矩阵，可以由罗德里格斯公式定义：
Figure FDA0002522788770000023
上式中，θ为旋转程度：
Figure FDA0002522788770000024
ω是与旋转方向相关的单位向量：
Figure FDA0002522788770000025
Figure FDA00025227887700000219
是ω的斜对称矩阵。
S025：结合上述的距离计算公式并结合上述公式，我们可以得到边特征点和与其相关的边线之间的关系：
Figure FDA0002522788770000026
同理，对于面特征点与其关联面之间也有如下关系：
Figure FDA0002522788770000027
采用L-M算法计算lidar运动，结合两个距离公式，可以得到非线性方程：
Figure FDA0002522788770000028
S026：对上述公式求取关于
Figure FDA00025227887700000220
的雅克比矩阵，定义为
Figure FDA00025227887700000221
通过迭代，最小化d得到高精度地图，迭代公式如下：
Figure FDA0002522788770000031
其中λ是由L-M算法定义的系数。
5.根据权利要求1所述的高精度地图的构建方法，其特征在于，所述步骤S02中还包括雷达的里程计数据获取步骤，其具体步骤是输入为上一次上一次递归的
Figure FDA0002522788770000034
Pk+1，
Figure FDA0002522788770000035
输出为
Figure FDA0002522788770000032
计算出的
Figure FDA0002522788770000033
6.一种高精度地图的构建系统，其特征在于，包括：
点云重建单元，所述点云重建单元用于两两点云的配准，
惯性测量单元，所述惯性测量单元用于去除雷达在运动过程中产生的点云畸变；
特征提取模块，所述特征提取模块提取每一帧点云的特征点；
关联匹配模块，所述关联匹配模块用于将提取出的特征点进行相邻帧特征点关联匹配；获取采集点云间隔时间内雷达姿态的变换；
地图生成模块，所述地图生成模块用于以特征点以及特征点关联区域的特质生成高精度地图。
7.根据权利要求6所述的高精度地图的构建系统，其特征在于，还包括地面特征集生成模块，所述地面特征集生成模块自特征提取模块提取特征中获取在特征点位置处于地面上的特征点，并形成地面特征集，地面特征集用于地面轮廓和障碍物的表征。
8.一种服务器，所述服务器包括用于实现上述权利要求1-5任一项所述的高精度地图的构建方法和/或高精度地图的构建系统。
9.一种终端设备，其特征在于：所述终端设备为调度上述权利要求6-7任一项所述高精度地图的构建系统的车载终端控制设备。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该程序被处理器执行时实现如权利要求1至5任一权利要求所述的方法中的步骤。
CN202010495744.0A 2020-06-03 2020-06-03 一种高精度地图的构建方法、系统、终端和存储介质 Pending CN111710039A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010495744.0A CN111710039A (zh) 2020-06-03 2020-06-03 一种高精度地图的构建方法、系统、终端和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010495744.0A CN111710039A (zh) 2020-06-03 2020-06-03 一种高精度地图的构建方法、系统、终端和存储介质

Publications (1)

Publication Number Publication Date
CN111710039A true CN111710039A (zh) 2020-09-25

Family

ID=72539591

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010495744.0A Pending CN111710039A (zh) 2020-06-03 2020-06-03 一种高精度地图的构建方法、系统、终端和存储介质

Country Status (1)

Country Link
CN (1) CN111710039A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112182042A (zh) * 2020-10-12 2021-01-05 上海扬灵能源科技有限公司 基于fpga的点云特征匹配方法、系统和路径规划系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108133458A (zh) * 2018-01-17 2018-06-08 视缘(上海)智能科技有限公司 一种基于目标物体空间点云特征的自动拼接方法
US20180299557A1 (en) * 2017-04-17 2018-10-18 Baidu Online Network Technology (Beijing) Co., Ltd Method and apparatus for updating maps
CN109934920A (zh) * 2019-05-20 2019-06-25 奥特酷智能科技(南京)有限公司 基于低成本设备的高精度三维点云地图构建方法
CN110221616A (zh) * 2019-06-25 2019-09-10 清华大学苏州汽车研究院（吴江） 一种地图生成的方法、装置、设备及介质
CN110223379A (zh) * 2019-06-10 2019-09-10 于兴虎 基于激光雷达的三维点云重建方法
CN110703229A (zh) * 2019-09-25 2020-01-17 禾多科技（北京）有限公司 点云去畸变方法及车载激光雷达到imu的外参标定方法
CN111612829A (zh) * 2020-06-03 2020-09-01 纵目科技（上海）股份有限公司 一种高精度地图的构建方法、系统、终端和存储介质
CN111710040A (zh) * 2020-06-03 2020-09-25 纵目科技（上海）股份有限公司 一种高精度地图的构建方法、系统、终端和存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180299557A1 (en) * 2017-04-17 2018-10-18 Baidu Online Network Technology (Beijing) Co., Ltd Method and apparatus for updating maps
CN108133458A (zh) * 2018-01-17 2018-06-08 视缘(上海)智能科技有限公司 一种基于目标物体空间点云特征的自动拼接方法
CN109934920A (zh) * 2019-05-20 2019-06-25 奥特酷智能科技(南京)有限公司 基于低成本设备的高精度三维点云地图构建方法
CN110223379A (zh) * 2019-06-10 2019-09-10 于兴虎 基于激光雷达的三维点云重建方法
CN110221616A (zh) * 2019-06-25 2019-09-10 清华大学苏州汽车研究院（吴江） 一种地图生成的方法、装置、设备及介质
CN110703229A (zh) * 2019-09-25 2020-01-17 禾多科技（北京）有限公司 点云去畸变方法及车载激光雷达到imu的外参标定方法
CN111612829A (zh) * 2020-06-03 2020-09-01 纵目科技（上海）股份有限公司 一种高精度地图的构建方法、系统、终端和存储介质
CN111710040A (zh) * 2020-06-03 2020-09-25 纵目科技（上海）股份有限公司 一种高精度地图的构建方法、系统、终端和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李荣华;王振宇;陈凤;肖余之;薛豪鹏;: "空间失稳目标线阵成像畸变分析与三维重建", 宇航学报, no. 02 *
翟丁丁;王琦;杨燕;王凡;胡小鹏;: "适用于旋转摄像下目标检测的图像补偿", 中国图象图形学报, no. 09 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112182042A (zh) * 2020-10-12 2021-01-05 上海扬灵能源科技有限公司 基于fpga的点云特征匹配方法、系统和路径规划系统

Similar Documents

Publication Publication Date Title
Daneshmand et al. 3d scanning: A comprehensive survey
CN111710040B (zh) 一种高精度地图的构建方法、系统、终端和存储介质
US11222204B2 (en) Creation of a 3D city model from oblique imaging and lidar data
Dorninger et al. 3D segmentation of unstructured point clouds for building modelling
Moons et al. Automatic modelling and 3D reconstruction of urban house roofs from high resolution aerial imagery
Matei et al. Building segmentation for densely built urban regions using aerial lidar data
CN110033489A (zh) 一种车辆定位准确性的评估方法、装置及设备
US20090154793A1 (en) Digital photogrammetric method and apparatus using intergrated modeling of different types of sensors
US20090310867A1 (en) Building segmentation for densely built urban regions using aerial lidar data
KR102200299B1 (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
CN112927370A (zh) 三维建筑物模型构建方法、装置、电子设备及存储介质
CN113593017A (zh) 露天矿地表三维模型构建方法、装置、设备及存储介质
Verykokou et al. Oblique aerial images: a review focusing on georeferencing procedures
CN110223380B (zh) 融合航拍与地面视角图像的场景建模方法、系统、装置
CN111612829B (zh) 一种高精度地图的构建方法、系统、终端和存储介质
CN111710039A (zh) 一种高精度地图的构建方法、系统、终端和存储介质
CN113129422A (zh) 一种三维模型构建方法、装置、存储介质和计算机设备
Bori et al. Integration the low cost camera images with the google earth dataset to create a 3D model
Dursun et al. 3D city modelling of Istanbul historic peninsula by combination of aerial images and terrestrial laser scanning data
Brenner et al. Automated reconstruction of 3D city models
Al-Durgham The registration and segmentation of heterogeneous Laser scanning data
Rumpler et al. Rapid 3d city model approximation from publicly available geographic data sources and georeferenced aerial images
CN110021041B (zh) 基于双目相机的无人驾驶场景增量式网格化结构重建方法
Wu et al. Derivation of Geometrically and Semantically Annotated UAV Datasets at Large Scales from 3D City Models
Stilla et al. Generation of 3D-city models and their utilisation in image sequences

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination