CN111652179A - 基于点线特征融合激光的语义高精地图构建与定位方法 - Google Patents

基于点线特征融合激光的语义高精地图构建与定位方法 Download PDF

Info

Publication number
CN111652179A
CN111652179A CN202010545062.6A CN202010545062A CN111652179A CN 111652179 A CN111652179 A CN 111652179A CN 202010545062 A CN202010545062 A CN 202010545062A CN 111652179 A CN111652179 A CN 111652179A
Authority
CN
China
Prior art keywords
semantic
map
laser
distance
precision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010545062.6A
Other languages
English (en)
Other versions
CN111652179B (zh
Inventor
郭启翔
付智俊
吴明瞭
尹思维
谢斌
何薇
成少波
曾天灵
张正祺
胡博伦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongfeng Automobile Co Ltd
Original Assignee
Dongfeng Automobile Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongfeng Automobile Co Ltd filed Critical Dongfeng Automobile Co Ltd
Priority to CN202010545062.6A priority Critical patent/CN111652179B/zh
Publication of CN111652179A publication Critical patent/CN111652179A/zh
Application granted granted Critical
Publication of CN111652179B publication Critical patent/CN111652179B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于点线特征融合激光的语义高精地图构建方法，包括如下步骤：1)对摄像头采集的视觉图像进行语义分割和特征提取，得到含语义类别和点线特征的视觉图像，随后获取运动目标的前景及背景；2)将激光雷达采集的激光三维点云投影到视觉图像平面上，拟合得到深度图，并为激光三维点云赋予语义类别和点线特征；3)对运动目标进行超像素分割，计算超像素块之间的距离，构建图模型，进行图像分割，准确提取运动目标边界；4)将属于运动目标的视觉特征点和激光三维点剔除，从而构建静态高精度语义三维地图。本发明同时公开了采用前述方法构建的语义高精地图的定位方法。本发明通过准确剔除运动目标，使得建图更加精确、可靠。

Description

基于点线特征融合激光的语义高精地图构建与定位方法
技术领域
本发明涉及一种语义高精地图，特别是指一种基于点线特征融合激光的语义高精地图构建与定位方法。
背景技术
高精度定位是实现无人车自动驾驶的基础，为无人车路径规划、运动控制提供了基础的保障。而要实现无人车高精度定位，高精度地图是必不可少的一环。
高精度地图通常包含高精度点云地图和车道线、信号灯和路沿等语义信息。传统高精度三维地图的车道线、路沿、交通指示牌、信号灯等语义元素是通过在构建后的三维点云地图上进行人为编辑、添加的，需要耗费大量人力物力。同时由于周围环境总是处在动态变化中，即使同一场景在不同季节视觉上也存在较大差异；环境中以前存在物体也可能随着时间的变化而发生位置上的变化，因此传统的高精度地图需要经常进行更新。
无人车高精度定位是指无人车通过安装在车上的传感器(激光、毫米波、摄像头、惯性传感器、GNSS等)来进行相对于高精度地图的相对定位或者绝对坐标系下的绝对定位。相比于传统基于GPS等定位，基于高精度地图的匹配定位不受GPS信号的影响，在隧道、高架等环境下依然能运行；然而基于激光匹配的定位方法对三维高精度地图依赖较大，因而当场景发生变化时，高精度地图容易出现误匹配或者匹配不成功的情况，需要不断更新地图，运营成本高。
如何生成鲁棒的、不受动态环境影响的三维点云地图是亟待解决的关键问题。
发明内容
本发明的目的在于提供一种鲁棒性好、不受动态环境影响的基于点线特征融合激光的语义高精地图构建与定位方法。
为实现上述目的，本发明所设计的基于点线特征融合激光的语义高精地图构建方法，包括运动目标的提取与剔除步骤；
所述运动目标的提取与剔除步骤包括如下步骤：
1)对摄像头采集的视觉图像进行语义分割和特征提取，得到含语义类别和点线特征的视觉图像，随后获取运动目标(含潜在运动目标，例如人、车等)的前景及背景；
2)将激光雷达采集的激光三维点云投影到步骤1)处理后的视觉图像平面上，将投影到运动目标上的激光点云进行三角网化，再进行深度拟合得到深度图，并为激光三维点云赋予语义类别和点线特征；
3)按下述步骤提取运动目标边界：
3.1)在深度图中，加入深度信息对运动目标进行超像素(super-pixel)分割，并融合语义分割的结果，得到运动目标的前景与背景的超像素块；
3.2)计算超像素块之间的距离，构建图模型，并进行图像分割，准确提取运动目标边界；
4)将属于运动目标的视觉特征点和激光三维点剔除，从而构建静态高精度语义三维地图。
优选地，所述步骤3.1)中，进行超像素分割时，按公式(1)～(4)计算像素间的距离D’：
Figure BDA0002540411080000021
Figure BDA0002540411080000022
Figure BDA0002540411080000023
Figure BDA0002540411080000031
式中，dc表示像素在LAB空间上的颜色差异值；dd为深度差异值；dxy为空间位置差异值；D’为最终像素距离，m、k、s分别表示颜色、深度以及空间位置在超像素分割中所占的权重。
优选地，所述步骤1)中，点线特征包括车道线、路沿等线特征，以及道路标志牌、信号灯等点特征中的一种或多种。
优选地，所述步骤2)中，采用逆投影方程将空间激光点投影到图像平面：
Figure BDA0002540411080000032
优选地，该语义高精地图构建方法还包括位姿估计步骤：在步骤4)中获得的静态高精度语义三维地图的基础上，根据点线视觉特征和像素级语义类别，求解相邻两帧图像之间相对运动，同时在激光点云上提取角点、平面点特征，将基于图像求解的相对运动作为初值使用迭代最邻近点(ICP)算法精确计算车辆运动参数。
具体可采用下述步骤进行迭代优化得到更加精确的位姿估计：
1)构建如下的目标方程进行迭代求解：
Figure BDA0002540411080000033
Figure BDA0002540411080000034
Figure BDA0002540411080000035
其中，ei表示前后帧误差的灰度差异，el表示前后帧误差的类别差异；ed表示前后帧误差的距离(深度)差异；I、L、D的下标1代表T1时刻即前帧，下标2代表T2时刻即后帧；K为相机内参，exp(ξ^)表示前后帧的位姿变化；I表示像素灰度，L表示像素类别，D表示像素距离，pi表示T1帧观测值，Pi表示T2帧观测值；I1(pi)表示T1时刻灰度观测值，
Figure BDA0002540411080000036
表示T2时刻灰度观测值；L1(pi)表示T1时刻类别观测值，
Figure BDA0002540411080000041
表示T2时刻类别观测值；D1(pi)表示T1时刻距离(深度)观测值，
Figure BDA0002540411080000042
Figure BDA0002540411080000043
表示T2时刻距离观测值。
2)基于点、线特征以及类别联合优化的目标方程如下：
Figure BDA0002540411080000044
式中，δ、w、ρ分别表示灰度差异、类别差异以及距离差异所占权重，N表示超像素个数。
该方案通过将视觉里程计计算得到的运动参数作为初始值输入到激光里程计中，迭代优化得到更加精确的位姿估计，使得建图更加准确、鲁棒。
在利用前述方法构建的语义高精地图基础上，本发明同时提供了一种定位方法，包括如下步骤：
1)对采集的图像进行语义分割和特征提取，与地图库(前述方法建立的语义高精地图数据库)中调取的词袋模型进行对比，得到相似区域提名；
2)将当前激光雷达数据与从地图库调取的当前区域的激光雷达数据进行匹配，计算每个激光点的概率密度，取最大概率的位姿为当前无人车的位姿。
优选地，该方法还包括如下动态场景定位步骤：
3)对定位精度进行评估，若定位精度满足要求，则输出定位结果及相应的语义地图；若定位精度不满足要求，则提升固定路标的权重、降低可能运动物体的路标权重或增加语义目标；再次进行定位并对精度进行评估，直至定位精度满足要求。具体可按如下步骤对定位精度进行评估：
3.1)将高精度语义地图格网化，对每个格网进行正太分布变换，计算其概率密度函数；
Figure BDA0002540411080000051
Figure BDA0002540411080000052
Figure BDA0002540411080000053
式中，
Figure BDA0002540411080000054
表示第i个观测值，n表示观测值个数；
3.2)剔除当前激光雷达中运动目标，按下式计算静态地物概率Likelihood:Θ：
Figure BDA0002540411080000055
其中，w(Li)表示某一类激光点的权重，根据此参数动态调整固定参考地物。
该方案在激光匹配定位时加入语义信息约束，赋予可动态调整(手动或自动)的权值，提升固定路标的权重，降低可能运动物体的路标权重，使得定位更加鲁棒、更加适应动态场景的定位需求。
优选地，针对高速公路等场景，该定位方法还包括车道横向定位步骤，首先对输入的视觉图像进行车道线提取，进行灰度二值化处理，得到车道线二值化图；然后对二值图进行距离变换得到一幅距离图；同时，根据GPS给出的定位信息从地图库中获取获取当前位置的矢量高精度车道线地图，对该车道线同样做距离变换，得到另一幅距离图；然后利用非线性优化计算相对变换参数，使两幅图的边缘特征对齐，得到相对于高精度地图的横向定位坐标。该方案基于线特征进行局部定位，在高速路段能更加快速、鲁棒的实现精确横向定位。
优选地，所述车道横向定位步骤中距离变换的具体步骤如下：
对于二值图像A，A[i][j]＝1对应的栅格点表示目标点；A[i][j]＝0表示背景点；记B＝{(x,y)|A[x][y]＝1}表示所有目标点的集合，则欧式距离变换后像素D(i,j)的像素值定义如下：
D(i,j)＝min{Distanc[(i,j),(x,y)],(x,y)∈B} (13)
Figure BDA0002540411080000061
经过上述变换之后，得到车道线的距离图；
所述相对变换参数的求解过程如下：
分别计算当前车道线的距离变换图Ic，以及高精度地图的距离变换图Im；构建如下的非线性优化方程组，计算变换参数ξ：
Figure BDA0002540411080000062
其中，Pi表示属于车道线的三维空间坐标，Zi表示像素的深度信息；
上述方程迭代求解之后将得到相对于高精地图的位姿变换。
与现有技术相比，本发明的有益效果在于：
1)本发明通过配准激光雷达与摄像头数据，赋予三维激光点云类别信息，生成带有上述语义信息的语义三维点云地图，用户可根据结果进行精确的编辑。
2)通过视觉图像的语义分割和特征提取识别运动目标，结合激光三维点云确定运动目标的边界，实现运动目标的准确剔除，降低了运动目标对建图与运动估计的不利影响，提升了建图精度的同时消除了制图时由于存在运动目标造成的“拖影”，使得地图更加精确。
3)可以辅助人工基于三维点云地图进行车道线、路沿、道路标识牌以及信号灯等语义信息提取，大大提升人工效率。
4)由于剔除了运动目标，利用本发明构建的高精度语义三维地图进行定位能更好对克服环境动态变化引起的定位失败问题，降低地图更新的频率，节省人力物力成本。
5)本发明所提供的定位方法利用视觉图像结合词袋模型获取相似场景提名，再利用激光特征点进行匹配，提高了词袋模型定位的准确率。
附图说明
图1为本发明实施例1所提供的语义高精地图构建方法的技术路线图。
图2为本发明实施例2所提供的基于语义高精地图的定位方法的技术路线图。
图3为本发明实施例2中动态调整路标权重的流程示意图。
图4为本发明实施例3中基于边缘对齐进行横向定位的流程示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步的详细说明。
实施例1
本实施例提供了一种语义高精地图构建方法。
如图1所示，该方法的基本流程为：图像、点云、gps、IMU等数据的输入→视觉里程计→激光里程计→全局地图更新，其中视觉里程计包括语义分割、车道线检测、特征点提取→获取点、线特征、语义信息→运动估计(运动目标剔除、位姿估计)，激光里程计包括位姿优化(ICP迭代优化、局部地图更新)。本实施例主要针对运动目标剔除、位姿估计和优化步骤来进行改进。具体包括：
1、运动目标剔除
1)使用语义分割网络(如FCN、Segnet、RefineNet、PSPNet、Deeplab v1&v2&v3等)对摄像头采集的视觉图像进行语义分割，同时使用Hough，brief等进行特征提取，得到含像素级语义类别和点线特征(例如车道线、路沿、道路标志牌、信号灯等)的视觉图像，随后获取运动目标(含潜在运动目标，例如人、车等)的前景及背景。
2)利用激光雷达与摄像头的外参关系，采用以下逆投影方程将激光雷达采集的激光三维点云投影到步骤1)处理后的视觉图像平面上，得到离散的深度值：
Figure BDA0002540411080000081
对于运动目标，将投影到该目标上的激光点云进行三角网化，进行深度拟合得到深度图，然后基于邻域搜索将投影到像素类别、点线特征上的激光点赋予相同类别并为激光三维点云赋予语义类别和点线特征。
3)提取运动目标边界：
3.1)在深度图中，按公式(1)～(4)计算像素间的距离D’：
Figure BDA0002540411080000082
Figure BDA0002540411080000083
Figure BDA0002540411080000084
Figure BDA0002540411080000085
式中，dc表示像素在LAB空间上的颜色差异值；dd为深度差异值；dxy为空间位置差异值；D’为最终像素距离，m、k、s分别表示颜色、深度以及空间位置在超像素分割中所占的权重；
再将像素间的距离D’与设定的距离阈值进行比较，将距离D’小于距离阈值的像素划分为一个像素块。这里的距离阈值可以根据超像素分割效果来反复调整确定；也可以事先标注好一些类别，查看相邻图块D的差异来确定。
该步骤加入深度信息对运动目标进行超像素(super-pixel)分割，融合语义分割的结果，即可得到运动目标的前景与背景的超像素块。
3.2)计算超像素块之间的距离，构建图模型，利用最大流(max-flow)进行图像分割，准确提取运动目标边界。
4)将属于运动目标的视觉特征点和激光三维点剔除，从而构建静态高精度语义三维地图。
2、位姿估计与优化
在前述步骤剔除了运动目标后，对于余下的静态物体，利用激光点三角化后拟合特征点的深度值。根据车道线等点线视觉特征和像素级语义类别，求解相邻两帧图像之间相对运动，同时在激光点云上提取角点、平面点特征，将基于图像求解的相对运动作为初值使用迭代最邻近点(ICP)算法精确计算车辆运动参数。最后进行激光点云的拼接以及检测到闭环之后进行全局的光束法平差，提升建图精度。
在上述过程中，采用下述步骤进行迭代优化得到更加精确的位姿估计：
1)构建如下的目标方程进行迭代求解：
Figure BDA0002540411080000091
Figure BDA0002540411080000092
Figure BDA0002540411080000093
其中，ei表示前后帧误差的灰度差异，el表示前后帧误差的类别差异；ed表示前后帧误差的距离(深度)差异；I、L、D的下标1代表T1时刻即前帧，下标2代表T2时刻即后帧；K为相机内参，exp(ξ^)表示前后帧的位姿变化；I表示像素灰度，L表示像素类别，D表示像素距离，pi表示T1帧观测值，Pi表示T2帧观测值；I1(pi)表示T1时刻灰度观测值，
Figure BDA0002540411080000094
表示T2时刻灰度观测值；L1(pi)表示T1时刻类别观测值，
Figure BDA0002540411080000095
表示T2时刻类别观测值；D1(pi)表示T1时刻距离(深度)观测值，
Figure BDA0002540411080000096
Figure BDA0002540411080000097
表示T2时刻距离观测值。
2)基于点、线特征以及类别联合优化的目标方程如下：
Figure BDA0002540411080000098
式中，δ、w、ρ分别表示灰度差异、类别差异以及距离差异所占权重，N表示超像素个数。
该方案通过将视觉里程计计算得到的运动参数作为初始值输入到激光里程计中，迭代优化得到更加精确的位姿估计，使得建图更加准确、鲁棒。
实施例2
本实施例主要针对港口区域和地下停车场等动态场景的定位。
首先分析一下常规方法在港口区域和地下停车场定位时存在的问题。
港口具有以下几个特点：1)港口卸货上货区的龙门吊是移动的，位置随时可能发生变化，因此基于固定地图的激光匹配定位无法适用；2)龙门吊下方GPS信号弱，横向定位精度难以保证卸货、上货的精度需求，因此GPS定位无法使用；3)卸货区集装箱的位置会随时间变化而变化，因此传统的基于视觉匹配或激光匹配不能成功，地图需要不断进行更新，提高了运营的复杂程度。
地下停车场具有以下几个特点：1)地下停车场垂直分布，每层场景一致，分层较难；2)无GPS没有全局定位信息；3)车辆出入，动态干扰较多。
为解决上述问题，本实施例基于实施例1构建的语义高精地图库，提供了一种定位方法。
如图2、3所示，该定位方法包括如下步骤：
1)对采集的图像进行语义分割和特征提取，与地图库(实施例1建立的语义高精地图数据库)中调取的词袋模型进行对比，得到相似区域提名；
2)将当前激光雷达数据与从地图库调取的当前区域的高精度语义三维地图的激光数据进行匹配，计算每个激光点的概率密度，取最大概率的位姿为当前无人车的位姿；
3)对定位精度进行评估，若定位精度满足要求，则输出定位结果及相应的语义地图；若定位精度不满足要求，则提升固定路标的权重、降低可能运动物体的路标权重或增加语义目标(参照公式(6)、(8))；再次进行定位并对精度进行评估，直至定位精度满足要求。
具体可按如下步骤对定位精度进行评估：
3.1)将高精度语义地图格网化，对每个格网进行正太分布变换，计算其概率密度函数；
Figure BDA0002540411080000111
Figure BDA0002540411080000112
Figure BDA0002540411080000113
式中，
Figure BDA0002540411080000114
表示第i个观测值，n表示观测值个数；
3.2)剔除当前激光雷达中运动目标，按下式计算静态地物概率Likelihood:Θ：
Figure BDA0002540411080000115
其中，w(Li)表示某一类激光点的权重，根据此参数动态调整固定参考地物。
该方法基于语义加权匹配，能根据环境的变化动态调节(手动或自动)用于定位的地标权重，可以实现港口、地下停车场等动态场景的长时间鲁棒定位，有效剔除动态变化的集装箱、龙门吊、其它移动车辆等物体对自身运动估计的干扰，同时能给出目标的相对位置与距离，提升无人车运动规划效率。同时，也可以根据语义定位之后自动增量更新地图元素，实现动态场景地图实时更新。此外，在制图的过程中，融合图像特征信息，构建语义词袋模型，相比基于纯激光三维地图的定位方法，有效提升了全局初始化定位的效率。
实施例3
本实施例针对高速等封闭场景，提供了一种基于实施例1构建的语义高精地图库，融合低精度GPS的车道横向定位方法。
该方法利用车道线提取效率高、鲁棒性强而且结构性强的特点，将其应用到无人车高速路段横向定位中，其核心技术流程如图4所示。
该方法首先对输入的视觉图像进行车道线提取，进行灰度二值化处理，得到车道线二值化图；然后对二值图进行距离变换得到一幅距离图；同时，根据GPS给出的定位信息从地图库中获取获取当前位置的矢量高精度车道线地图，对该车道线同样做距离变换，得到另一幅距离图；然后利用非线性优化计算相对变换参数，使两幅图的边缘特征对齐，得到相对于高精度地图的横向定位坐标。
其中，距离变换的具体步骤如下：
对于二值图像A，A[i][j]＝1对应的栅格点表示目标点；A[i][j]＝0表示背景点；记B＝{(x,y)|A[x][y]＝1}表示所有目标点的集合，则欧式距离变换后像素D(i,j)的像素值定义如下：
D(i,j)＝min{Distanc[(i,j),(x,y)],(x,y)∈B} (13)
Figure BDA0002540411080000121
经过上述变换之后，得到车道线的距离图；
所述相对变换参数的求解过程如下：
分别计算当前车道线的距离变换图Ic，以及高精度地图的距离变换图Im；构建如下的非线性优化方程组，计算变换参数ξ：
Figure BDA0002540411080000122
其中，Pi表示属于车道线的三维空间坐标，Zi表示像素的深度信息；
上述方程迭代求解之后将得到相对于高精地图的位姿变换。
该方案基于线特征进行局部定位，在高速路段能更加快速、鲁棒的实现精确横向定位。
以上各实施例着重从本发明的改进之处进行说明，未提及部分采用现有技术。

Claims (10)

1.一种基于点线特征融合激光的语义高精地图构建方法，包括运动目标的提取与剔除步骤；其特征在于：
所述运动目标的提取与剔除步骤包括如下步骤：
1)对摄像头采集的视觉图像进行语义分割和特征提取，得到含语义类别和点线特征的视觉图像，随后获取运动目标的前景及背景；
2)将激光雷达采集的激光三维点云投影到步骤1)处理后的视觉图像平面上，将投影到运动目标上的激光点云进行三角网化，再进行深度拟合得到深度图，并为激光三维点云赋予语义类别和点线特征；
3)按下述步骤提取运动目标边界：
3.1)在深度图中，加入深度信息对运动目标进行超像素分割，并融合语义分割的结果，得到运动目标的前景与背景的超像素块；
3.2)计算超像素块之间的距离，构建图模型，并进行图像分割，准确提取运动目标边界；
4)将属于运动目标的视觉特征点和激光三维点剔除，从而构建静态高精度语义三维地图。
2.根据权利要求1所述的基于点线特征融合激光的语义高精地图构建方法，其特征在于：所述步骤3.1)中，进行超像素分割时，按公式(1)～(4)计算像素间的距离D’：
Figure FDA0002540411070000011
Figure FDA0002540411070000012
Figure FDA0002540411070000013
Figure FDA0002540411070000014
式中，dc表示像素在LAB空间上的颜色差异值；dd为深度差异值；dxy为空间位置差异值；D’为最终像素距离，m、k、s分别表示颜色、深度以及空间位置在超像素分割中所占的权重。
3.根据权利要求1所述的基于点线特征融合激光的语义高精地图构建方法，其特征在于：所述步骤2)中，采用逆投影方程将空间激光点投影到图像平面。
4.根据权利要求1～3中任一项所述的基于点线特征融合激光的语义高精地图构建方法，其特征在于：该语义高精地图构建方法还包括位姿估计步骤：在步骤4)中获得的静态高精度语义三维地图的基础上，根据点线视觉特征和像素级语义类别，求解相邻两帧图像之间相对运动，同时在激光点云上提取角点、平面点特征，将基于图像求解的相对运动作为初值使用迭代最邻近点算法精确计算车辆运动参数。
5.根据权利要求4所述的基于点线特征融合激光的语义高精地图构建方法，其特征在于：采用下述步骤进行迭代优化得到更加精确的位姿估计：
1)构建如下的目标方程进行迭代求解：
Figure FDA0002540411070000021
Figure FDA0002540411070000022
Figure FDA0002540411070000023
其中，ei表示前后帧误差的灰度差异，el表示前后帧误差的类别差异；ed表示前后帧误差的距离差异；I、L、D的下标1代表T1时刻即前帧，下标2代表T2时刻即后帧；K为相机内参，exp(ξ^)表示前后帧的位姿变化；I表示像素灰度，L表示像素类别，D表示像素距离，pi表示T1帧观测值，Pi表示T2帧观测值；I1(pi)表示T1时刻灰度观测值，
Figure FDA0002540411070000024
表示T2时刻灰度观测值；L1(pi)表示T1时刻类别观测值，
Figure FDA0002540411070000025
表示T2时刻类别观测值；D1(pi)表示T1时刻距离观测值，
Figure FDA0002540411070000026
表示T2时刻距离观测值。
2)基于点、线特征以及类别联合优化的目标方程如下：
Figure FDA0002540411070000031
式中，δ、w、ρ分别表示灰度差异、类别差异以及距离差异所占权重，N表示超像素个数。
6.一种采用如权利要求1～5中任一项所述方法构建的语义高精地图的定位方法，其特征在于：包括如下步骤：
1)对采集的图像进行语义分割和特征提取，与地图库中调取的词袋模型进行对比，得到相似区域提名；
2)将当前激光雷达数据与从地图库调取的当前区域的激光雷达数据进行匹配，计算每个激光点的概率密度，取最大概率的位姿为当前无人车的位姿。
7.根据权利要求6所述的定位方法，其特征在于：该方法还包括如下动态场景定位步骤：
3)对定位精度进行评估，若定位精度满足要求，则输出定位结果及相应的语义地图；若定位精度不满足要求，则提升固定路标的权重、降低可能运动物体的路标权重或增加语义目标；再次进行定位并对精度进行评估，直至定位精度满足要求。
8.根据权利要求7所述的定位方法，其特征在于：所述步骤3)中，按如下步骤对定位精度进行评估：
3.1)将高精度语义地图格网化，对每个格网进行正太分布变换，计算其概率密度函数；
Figure FDA0002540411070000032
Figure FDA0002540411070000033
Figure FDA0002540411070000034
式中，
Figure FDA0002540411070000035
表示第i个观测值，n表示观测值个数；
3.2)剔除当前激光雷达中运动目标，按下式计算静态地物概率Likelihood:Θ：
Figure FDA0002540411070000041
其中，w(Li)表示某一类激光点的权重，根据此参数动态调整固定参考地物。
9.根据权利要求6～8中任一项所述的定位方法，其特征在于：还包括如下车道横向定位步骤：首先对输入的视觉图像进行车道线提取，进行灰度二值化处理，得到车道线二值化图；然后对二值图进行距离变换得到一幅距离图；同时，根据GPS给出的定位信息从地图库中获取当前位置的矢量高精度车道线地图，对该车道线同样做距离变换，得到另一幅距离图；然后利用非线性优化计算相对变换参数，使两幅图的边缘特征对齐，得到相对于高精度地图的横向定位坐标。
10.根据权利要求9所述的定位方法，其特征在于：
所述距离变换的具体步骤如下：
对于二值图像A，A[i][j]＝1对应的栅格点表示目标点；A[i][j]＝0表示背景点；记B＝{(x,y)|A[x][y]＝1}表示所有目标点的集合，则欧式距离变换后像素D(i,j)的像素值定义如下：
D(i,j)＝min{Distanc[(i,j),(x,y)],(x,y)∈B} (13)
Figure FDA0002540411070000042
经过上述变换之后，得到车道线的距离图；
所述相对变换参数的求解过程如下：
分别计算当前车道线的距离变换图Ic，以及高精度地图的距离变换图Im；构建如下的非线性优化方程组，计算变换参数ξ：
Figure FDA0002540411070000043
其中，Pi表示属于车道线的三维空间坐标，Zi表示像素的深度信息。
CN202010545062.6A 2020-06-15 2020-06-15 基于点线特征融合激光的语义高精地图构建与定位方法 Active CN111652179B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010545062.6A CN111652179B (zh) 2020-06-15 2020-06-15 基于点线特征融合激光的语义高精地图构建与定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010545062.6A CN111652179B (zh) 2020-06-15 2020-06-15 基于点线特征融合激光的语义高精地图构建与定位方法

Publications (2)

Publication Number Publication Date
CN111652179A true CN111652179A (zh) 2020-09-11
CN111652179B CN111652179B (zh) 2024-01-09

Family

ID=72348013

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010545062.6A Active CN111652179B (zh) 2020-06-15 2020-06-15 基于点线特征融合激光的语义高精地图构建与定位方法

Country Status (1)

Country Link
CN (1) CN111652179B (zh)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112132884A (zh) * 2020-09-29 2020-12-25 中国海洋大学 基于平行激光和语义分割的海参长度测量方法及系统
CN112561841A (zh) * 2020-12-04 2021-03-26 深兰人工智能(深圳)有限公司 激光雷达和相机的点云数据融合方法、装置
CN112596064A (zh) * 2020-11-30 2021-04-02 中科院软件研究所南京软件技术研究院 激光与视觉融合的一体化室内机器人全局定位方法
CN112785162A (zh) * 2021-01-26 2021-05-11 华南理工大学 基于智能车语义的高精地图众包数据质量评估方法与系统
CN112837414A (zh) * 2021-04-22 2021-05-25 速度时空信息科技股份有限公司 基于车载点云数据的三维高精度地图的构建方法
CN113034566A (zh) * 2021-05-28 2021-06-25 湖北亿咖通科技有限公司 高精度地图构建方法、装置、电子设备及存储介质
CN113126115A (zh) * 2021-04-06 2021-07-16 北京航空航天大学杭州创新研究院 基于点云的语义slam方法、装置、电子设备和存储介质
CN113313832A (zh) * 2021-05-26 2021-08-27 Oppo广东移动通信有限公司 三维模型的语义生成方法、装置、存储介质与电子设备
CN113409459A (zh) * 2021-06-08 2021-09-17 北京百度网讯科技有限公司 高精地图的生产方法、装置、设备和计算机存储介质
CN113656529A (zh) * 2021-09-16 2021-11-16 北京百度网讯科技有限公司 道路精度的确定方法、装置和电子设备
CN113658257A (zh) * 2021-08-17 2021-11-16 广州文远知行科技有限公司 一种无人设备定位方法、装置、设备及存储介质
CN113671522A (zh) * 2021-07-07 2021-11-19 中国人民解放军战略支援部队信息工程大学 基于语义约束的动态环境激光slam方法
CN113920198A (zh) * 2021-12-14 2022-01-11 纽劢科技(上海)有限公司 一种基于语义边缘对齐的由粗到精的多传感器融合定位方法
CN114018274A (zh) * 2021-11-18 2022-02-08 阿波罗智能技术(北京)有限公司 车辆定位方法、装置及电子设备
CN114051628A (zh) * 2020-10-30 2022-02-15 华为技术有限公司 一种确定目标对象点云集的方法及装置
CN114119805A (zh) * 2021-10-28 2022-03-01 北京理工大学 点线面融合的语义建图slam方法
CN114170315A (zh) * 2021-12-13 2022-03-11 清华大学 一种动态场景的智能车定位方法及系统
CN114397638A (zh) * 2022-01-22 2022-04-26 深圳市神州云海智能科技有限公司 一种激光雷达数据中动态数据的过滤方法及系统
CN114440856A (zh) * 2022-01-21 2022-05-06 北京地平线信息技术有限公司 一种构建语义地图的方法及装置
WO2022095257A1 (zh) * 2020-11-06 2022-05-12 深圳市优必选科技股份有限公司 一种建图方法、装置、计算机可读存储介质及机器人
CN114663855A (zh) * 2022-03-11 2022-06-24 北京航空航天大学 一种面向非结构化道路的路面积水和不平度检测方法
CN114719873A (zh) * 2022-06-02 2022-07-08 四川省公路规划勘察设计研究院有限公司 一种低成本精细地图自动生成方法、装置及可读介质
CN115272493A (zh) * 2022-09-20 2022-11-01 之江实验室 一种基于连续时序点云叠加的异常目标检测方法及装置
CN115655262A (zh) * 2022-12-26 2023-01-31 广东省科学院智能制造研究所 基于深度学习感知的多层级语义地图构建方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109858374A (zh) * 2018-12-31 2019-06-07 武汉中海庭数据技术有限公司 高精度地图制作中箭头类标线自动提取方法和装置
CN109993780A (zh) * 2019-03-07 2019-07-09 深兰科技（上海）有限公司 一种三维高精度地图生成方法及装置
CN110160502A (zh) * 2018-10-12 2019-08-23 腾讯科技（深圳）有限公司 地图要素提取方法、装置及服务器
CN111045017A (zh) * 2019-12-20 2020-04-21 成都理工大学 一种激光和视觉融合的巡检机器人变电站地图构建方法
EP3647733A1 (en) * 2018-10-29 2020-05-06 Aptiv Technologies Limited Automatic annotation of environmental features in a map during navigation of a vehicle

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110160502A (zh) * 2018-10-12 2019-08-23 腾讯科技（深圳）有限公司 地图要素提取方法、装置及服务器
EP3647733A1 (en) * 2018-10-29 2020-05-06 Aptiv Technologies Limited Automatic annotation of environmental features in a map during navigation of a vehicle
CN109858374A (zh) * 2018-12-31 2019-06-07 武汉中海庭数据技术有限公司 高精度地图制作中箭头类标线自动提取方法和装置
CN109993780A (zh) * 2019-03-07 2019-07-09 深兰科技（上海）有限公司 一种三维高精度地图生成方法及装置
CN111045017A (zh) * 2019-12-20 2020-04-21 成都理工大学 一种激光和视觉融合的巡检机器人变电站地图构建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
魏彤 等: "《动态环境下基于动态区域剔除的双目视觉SLAM算法》" *

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112132884A (zh) * 2020-09-29 2020-12-25 中国海洋大学 基于平行激光和语义分割的海参长度测量方法及系统
CN114051628A (zh) * 2020-10-30 2022-02-15 华为技术有限公司 一种确定目标对象点云集的方法及装置
WO2022095257A1 (zh) * 2020-11-06 2022-05-12 深圳市优必选科技股份有限公司 一种建图方法、装置、计算机可读存储介质及机器人
CN112596064A (zh) * 2020-11-30 2021-04-02 中科院软件研究所南京软件技术研究院 激光与视觉融合的一体化室内机器人全局定位方法
CN112596064B (zh) * 2020-11-30 2024-03-08 中科院软件研究所南京软件技术研究院 激光与视觉融合的一体化室内机器人全局定位方法
CN112561841A (zh) * 2020-12-04 2021-03-26 深兰人工智能(深圳)有限公司 激光雷达和相机的点云数据融合方法、装置
CN112785162A (zh) * 2021-01-26 2021-05-11 华南理工大学 基于智能车语义的高精地图众包数据质量评估方法与系统
CN112785162B (zh) * 2021-01-26 2024-05-28 华南理工大学 基于智能车语义的高精地图众包数据质量评估方法与系统
CN113126115B (zh) * 2021-04-06 2023-11-17 北京航空航天大学杭州创新研究院 基于点云的语义slam方法、装置、电子设备和存储介质
CN113126115A (zh) * 2021-04-06 2021-07-16 北京航空航天大学杭州创新研究院 基于点云的语义slam方法、装置、电子设备和存储介质
CN112837414B (zh) * 2021-04-22 2021-07-02 速度时空信息科技股份有限公司 基于车载点云数据的三维高精度地图的构建方法
CN112837414A (zh) * 2021-04-22 2021-05-25 速度时空信息科技股份有限公司 基于车载点云数据的三维高精度地图的构建方法
CN113313832B (zh) * 2021-05-26 2023-07-04 Oppo广东移动通信有限公司 三维模型的语义生成方法、装置、存储介质与电子设备
CN113313832A (zh) * 2021-05-26 2021-08-27 Oppo广东移动通信有限公司 三维模型的语义生成方法、装置、存储介质与电子设备
CN113034566A (zh) * 2021-05-28 2021-06-25 湖北亿咖通科技有限公司 高精度地图构建方法、装置、电子设备及存储介质
CN113409459A (zh) * 2021-06-08 2021-09-17 北京百度网讯科技有限公司 高精地图的生产方法、装置、设备和计算机存储介质
CN113671522A (zh) * 2021-07-07 2021-11-19 中国人民解放军战略支援部队信息工程大学 基于语义约束的动态环境激光slam方法
CN113671522B (zh) * 2021-07-07 2023-06-27 中国人民解放军战略支援部队信息工程大学 基于语义约束的动态环境激光slam方法
CN113658257A (zh) * 2021-08-17 2021-11-16 广州文远知行科技有限公司 一种无人设备定位方法、装置、设备及存储介质
CN113658257B (zh) * 2021-08-17 2022-05-27 广州文远知行科技有限公司 一种无人设备定位方法、装置、设备及存储介质
CN113656529A (zh) * 2021-09-16 2021-11-16 北京百度网讯科技有限公司 道路精度的确定方法、装置和电子设备
CN114119805A (zh) * 2021-10-28 2022-03-01 北京理工大学 点线面融合的语义建图slam方法
CN114119805B (zh) * 2021-10-28 2024-06-04 北京理工大学 点线面融合的语义建图slam方法
CN114018274B (zh) * 2021-11-18 2024-03-26 阿波罗智能技术(北京)有限公司 车辆定位方法、装置及电子设备
CN114018274A (zh) * 2021-11-18 2022-02-08 阿波罗智能技术(北京)有限公司 车辆定位方法、装置及电子设备
CN114170315A (zh) * 2021-12-13 2022-03-11 清华大学 一种动态场景的智能车定位方法及系统
CN113920198B (zh) * 2021-12-14 2022-02-15 纽劢科技(上海)有限公司 一种基于语义边缘对齐的由粗到精的多传感器融合定位方法
CN113920198A (zh) * 2021-12-14 2022-01-11 纽劢科技(上海)有限公司 一种基于语义边缘对齐的由粗到精的多传感器融合定位方法
CN114440856A (zh) * 2022-01-21 2022-05-06 北京地平线信息技术有限公司 一种构建语义地图的方法及装置
CN114397638A (zh) * 2022-01-22 2022-04-26 深圳市神州云海智能科技有限公司 一种激光雷达数据中动态数据的过滤方法及系统
CN114663855A (zh) * 2022-03-11 2022-06-24 北京航空航天大学 一种面向非结构化道路的路面积水和不平度检测方法
CN114663855B (zh) * 2022-03-11 2024-05-24 北京航空航天大学 一种面向非结构化道路的路面积水和不平度检测方法
CN114719873A (zh) * 2022-06-02 2022-07-08 四川省公路规划勘察设计研究院有限公司 一种低成本精细地图自动生成方法、装置及可读介质
CN115272493B (zh) * 2022-09-20 2022-12-27 之江实验室 一种基于连续时序点云叠加的异常目标检测方法及装置
CN115272493A (zh) * 2022-09-20 2022-11-01 之江实验室 一种基于连续时序点云叠加的异常目标检测方法及装置
CN115655262A (zh) * 2022-12-26 2023-01-31 广东省科学院智能制造研究所 基于深度学习感知的多层级语义地图构建方法和装置

Also Published As

Publication number Publication date
CN111652179B (zh) 2024-01-09

Similar Documents

Publication Publication Date Title
CN111652179B (zh) 基于点线特征融合激光的语义高精地图构建与定位方法
CN108765487B (zh) 重建三维场景的方法、装置、设备和计算机可读存储介质
CN111551958B (zh) 一种面向矿区无人驾驶的高精地图制作方法
CN109099901B (zh) 基于多源数据融合的全自动压路机定位方法
CN114842438B (zh) 用于自动驾驶汽车的地形检测方法、系统及可读存储介质
Alonso et al. Accurate global localization using visual odometry and digital maps on urban environments
CN111006655A (zh) 机场巡检机器人多场景自主导航定位方法
CN112904395B (zh) 一种矿用车辆定位系统及方法
CN112488061B (zh) 一种联合ads-b信息的多航空器检测与跟踪方法
CN112740225B (zh) 一种路面要素确定方法及装置
WO2020041668A1 (en) Signals of opportunity aided inertial navigation
CN114509065B (zh) 地图构建方法、系统、车辆终端、服务器端及存储介质
CN113220818B (zh) 一种停车场自动建图与高精度定位方法
CN112434707B (zh) 一种交通路口rpp点自动提取方法及装置
CN113838129B (zh) 一种获得位姿信息的方法、装置以及系统
CN110568437A (zh) 一种基于雷达辅助的精确环境建模方法
Han et al. Carla-loc: synthetic slam dataset with full-stack sensor setup in challenging weather and dynamic environments
WO2020118623A1 (en) Method and system for generating an environment model for positioning
CN114659513B (zh) 一种面向非结构化道路的点云地图构建与维护方法
CN115468576A (zh) 一种基于多模态数据融合的自动驾驶定位方法及系统
CN111754388A (zh) 一种建图方法及车载终端
Velat et al. Vision based vehicle localization for autonomous navigation
KR20220151572A (ko) IPM 이미지와 정밀도로지도(HD Map) 피팅을 통해 노면객체의 변화를 자동으로 판단하고 갱신하는 정밀도로지도 자동갱신 방법 및 시스템
US20230168688A1 (en) Sequential mapping and localization (smal) for navigation
EP4078087A1 (en) Method and mobile entity for detecting feature points in an image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant