CN112561808B - 一种基于车载激光点云和卫星影像的道路边界线复原方法 - Google Patents

一种基于车载激光点云和卫星影像的道路边界线复原方法 Download PDF

Info

Publication number
CN112561808B
CN112561808B CN202011358492.3A CN202011358492A CN112561808B CN 112561808 B CN112561808 B CN 112561808B CN 202011358492 A CN202011358492 A CN 202011358492A CN 112561808 B CN112561808 B CN 112561808B
Authority
CN
China
Prior art keywords
boundary line
road
road boundary
point cloud
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011358492.3A
Other languages
English (en)
Other versions
CN112561808A (zh
Inventor
马凌飞
李军
陈一平
朱厦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central university of finance and economics
Original Assignee
Central university of finance and economics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central university of finance and economics filed Critical Central university of finance and economics
Priority to CN202011358492.3A priority Critical patent/CN112561808B/zh
Publication of CN112561808A publication Critical patent/CN112561808A/zh
Application granted granted Critical
Publication of CN112561808B publication Critical patent/CN112561808B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)

Abstract

本申请属于智能交通技术领域，特别是涉及一种基于车载激光点云和卫星影像的道路边界线复原方法。现有的方法还远远不能满足道路边界线复原的要求。本申请提供的道路边界线复原方法，包括1)对原始点云数据进行路面分割，提取并拟合出道路边界线；2)对道路边界线进行去噪，将噪声线从道路边界线中去除；3)对去噪后的道路边界线进行补全处理，检测并初步补全道路边界线中存在的缝隙；4)进行路网检测，提取出道路中心线；5)对所述道路中心线和补全后的道路边界线进行精细化处理，复原出完整的道路边界线。本申请可以精确、快速地复原道路边界线，有效地改善了点云数据处理的效率，大大提升了高清地图的准确性和城市交通的安全性。

Description

一种基于车载激光点云和卫星影像的道路边界线复原方法
技术领域
本申请属于智能交通技术领域，特别是涉及一种基于车载激光点云和卫星影像的道路边界线复原方法。
背景技术
城市道路边界线作为重要的交通基础设施，其智能化监管对于智慧城市、三维高清地图以及自动驾驶技术的推广具有重要的意义。它为车辆和行人划定了允许驾驶区域，有助于提高交通效率，保障交通安全。此外，它的位置和几何信息为三维高清地图提供了重要的底层信息。然而，部分道路边界缺损，造成交通指示不明确，严重影响了城市交通的安全性。所以交通监管机构和智能汽车厂商急需一种精确、快速、鲁棒地复原城市道路边界线的工具，进而提高城市交通的安全性和促进自动驾驶的发展。
传统提取与补全城市道路边界线的方法包括人工作业和数字摄影测量两种方式。人工作业虽然可以相对准确地提取道路边界线信息，但是道路信息获取速度较慢、更新周期长；数字摄影测量尽管能高效地获取边界线信息，但是受光照条件、雨雪天气以及影像分辨率等因素影响较大，导致提取的边界线信息和精度并不能满足高精地图和自动驾驶的要求。
近几年，车载激光扫描技术发展迅速。依靠其精确、快速捕捉复杂城市道路信息的能力，得到了学界和业界的广泛关注。利用车载激光扫描系统可以有效地提高测量效率、降低道路边界线信息更新周期，同时避免了复杂道路环境下人工作业的危险性。结合卫星高清影像覆盖面积大、地物特征详细和空间信息丰富等优势，为城市道路信息的获取和监控提供了必要的数据保障。
然而，如何精确、高效地从高密度的海量车载激光点云数据中复原道路边界线是一个巨大的挑战。常见的城市基于车载激光点云和卫星影像的道路边界线复原方法包括：基于几何拓扑关系、随机抽样一致和线性拟合以及Kalman滤波等方法。但是这些方法会受到以下几个方面的影响：(1)城市道路边界线的种类复杂性和形状不规则性；(2)路边车辆和行人导致的遮挡和干扰；(3)海量不规则点云数据造成的自动提取效率低。现有的方法还远远不能满足道路边界线复原的要求。
发明内容
1.要解决的技术问题
基于如何精确、高效地从高密度的海量车载激光点云数据中复原道路边界线是一个巨大的挑战。常见的城市基于车载激光点云和卫星影像的道路边界线复原方法包括：基于几何拓扑关系、随机抽样一致和线性拟合以及Kalman滤波等方法。但是这些方法会受到以下几个方面的影响：(1)城市道路边界线的种类复杂性和形状不规则性；(2)路边车辆和行人导致的遮挡和干扰；(3)海量不规则点云数据造成的自动提取效率低。现有的方法还远远不能满足道路边界线复原的要求的问题，本申请提供了一种基于车载激光点云和卫星影像的道路边界线复原方法。
2.技术方案
为了达到上述的目的，本申请提供了一种基于车载激光点云和卫星影像的道路边界线复原方法，所述方法包括如下步骤：
1)对原始点云数据进行路面分割，提取并拟合出道路边界线；2)对所述道路边界线进行去噪，将噪声线从道路边界线中去除；3)对去噪后的道路边界线进行补全处理，检测并初步补全道路边界线中存在的缝隙；4)进行路网检测，提取出道路中心线；5)对所述道路中心线和补全后的道路边界线进行精细化处理，复原出完整的道路边界线。
本申请提供的另一种实施方式为：所述步骤1)根据行车轨迹线的方向，将原始点云均匀分割成多组点云簇；对于每组点云簇，沿垂直于行车轨迹的方向分割出一个点云切片；对于每个点云切片，依据路肩和路面之间的高度与角度信息，提取道路边界点；对所有道路边界点进行拟合，得到道路边界线。
本申请提供的另一种实施方式为：所述步骤2)将三维道路边界线投影到xy二维平面，得到二维道路边界线栅格图；对栅格图进行数据增强，作为训练数据；训练数据输入到U型编码器-解码器深度学习框架，去除道路边界线中的噪声线。
本申请提供的另一种实施方式为：所述U型编码器-解码器包括最大值池化指数、Dropout操作和二元交叉熵损失函数。
本申请提供的另一种实施方式为：所述步骤3)中将去噪的道路边界线数据输入到下采样模型和上采样模型，得到初步补全的二维道路边界线；将所述二维道路边界线，转化为三维道路边界线。
本申请提供的另一种实施方式为：所述下采样模型基于卷积神经网络，所述上采样模型基于卷积神经网络；对所述去噪的道路边界线数据进行卷积操作、最大值池化和最邻近上采样，得到初步补全的二维道路边界线。
本申请提供的另一种实施方式为：所述步骤4)利用基于膨胀卷积的深度神经网络从高分辨率卫星影像中提取道路中心线；对所述道路中心线采用基于形态学的细化算法，得到细化的道路中心线；对所述细化后的道路中心线，采用最小二乘曲线拟合算法，获得平滑的道路中心线；根据卫星图像的全球坐标系，将所述平滑的道路中心线高度值设为零，转化为三维数据，与所述三维道路边界线叠加融合。
本申请提供的另一种实施方式为：所述步骤5)a.将所述三维道路边界线和所述平滑的道路中心线数据投影到xy二维平面，再次得到二维栅格数据；b.将所述二维栅格数据人工划分成若干训练数据；c.将所述训练数据输入到基于条件的深度卷积生成对抗网络模型中，得到初步复原的道路边界线；d.重复b和c两次，获得完整复原的道路边界线。
本申请提供的另一种实施方式为：所述训练数据包括裁剪完整的道路边界线和裁剪完整的道路中心线，不完整的道路边界线和不完整的道路中心线以及通过手工编辑的不完整边道路界线和通过手工编辑的不完整道路中心线。
本申请提供的另一种实施方式为：所述步骤1)基于行车轨迹线数据和路肩信息对原始点云数据进行路面分割。
3.有益效果
与现有技术相比，本申请提供的一种基于车载激光点云和卫星影像的道路边界线复原方法的有益效果在于：
本申请提供的基于车载激光点云和卫星影像的道路边界线复原方法，涉及智能交通系统以及城市数据科学。
本申请提供的基于车载激光点云和卫星影像的道路边界线复原方法，可以精确、快速地复原大规模城市场景下的道路边界线，有效地改善了点云数据处理的效率，大大提升了高清地图的准确性和城市交通的安全性。
本申请提供的基于车载激光点云和卫星影像的道路边界线复原方法，采用基于深度神经网络的算法，保障在大规模、复杂的城市道路环境下依然可以有效、准确地复原道路边界线。结合利用了高分辨率卫星影像，有效克服了车载激光点云受车辆、行人干扰，以及点云强度值、密度值分布不均的问题，令复原结果更加准确鲁棒。
附图说明
图1是本申请的基于车载激光点云和卫星影像的道路边界线复原方法示意图；
图2是本申请的道路边界线补全流程示意图；
图3是本申请的道路中心线提取结果示意图；
图4是本申请的道路边界线复原流程示意图；
图5是本申请的道路边界线复原结果示意图。
具体实施方式
在下文中，将参考附图对本申请的具体实施例进行详细地描述，依照这些详细的描述，所属领域技术人员能够清楚地理解本申请，并能够实施本申请。在不违背本申请原理的情况下，各个不同的实施例中的特征可以进行组合以获得新的实施方式，或者替代某些实施例中的某些特征，获得其它优选的实施方式。
Dropout是指在深度学习网络的训练过程中，对于神经网络单元，按照一定的概率将其暂时从网络中丢弃。注意是暂时，对于随机梯度下降来说，由于是随机丢弃，故而每一个mini-batch都在训练不同的网络。
参见图1～5，本申请提供一种基于车载激光点云和卫星影像的道路边界线复原方法，所述方法包括如下步骤：
1)对原始点云数据进行路面分割，提取并拟合出道路边界线；2)对所述道路边界线进行去噪，将噪声线从道路边界线中去除；3)对去噪后的道路边界线进行补全处理，检测并初步补全道路边界线中存在的缝隙；4)进行路网检测，提取出道路中心线；5)对所述道路中心线和补全后的道路边界线进行精细化处理，复原出完整的道路边界线。
进一步地，所述步骤1)根据行车轨迹线的方向，将原始点云均匀分割成多组点云簇；对于每组点云簇，沿垂直于行车轨迹的方向分割出一个点云切片；对于每个点云切片，依据路肩和路面之间的高度与角度信息，提取道路边界点；对所有道路边界点进行拟合，得到道路边界线。
进一步地，所述步骤2)将三维道路边界线投影到xy二维平面，得到二维道路边界线栅格图；对栅格图进行数据增强，作为训练数据；训练数据输入到U型编码器-解码器深度学习框架，去除道路边界线中的噪声线。
进一步地，所述U型编码器-解码器包括最大值池化指数、Dropout操作和二元交叉熵损失函数。
进一步地，所述步骤3)中将去噪的道路边界线数据输入到下采样模型和上采样模型，得到初步补全的二维道路边界线；将所述二维道路边界线，转化为三维道路边界线。
进一步地，所述下采样模型基于卷积神经网络，所述上采样模型基于卷积神经网络；对所述去噪的道路边界线数据进行卷积操作、最大值池化和最邻近上采样，得到初步补全的二维道路边界线。如图2所示为基于U型网络和卷积神经网络的道路边界线补全流程图。
进一步地，所述步骤4)利用基于膨胀卷积的深度神经网络从高分辨率卫星影像中提取道路中心线；对所述道路中心线采用基于形态学的细化算法，得到细化的道路中心线；对所述细化后的道路中心线，采用最小二乘曲线拟合算法，获得平滑的道路中心线；根据卫星图像的全球坐标系，将所述平滑的道路中心线高度值设为零，转化为三维数据，与所述三维道路边界线叠加融合。如图3基于高分辨率卫星影像的道路中心线提取结果，左边是高分辨率卫星影像，中间是路网提取结果，右边是道路中心线提取结果。
进一步地，所述步骤5)a.将所述三维道路边界线和所述平滑的道路中心线数据投影到xy二维平面，再次得到二维栅格数据；b.将所述二维栅格数据人工划分成若干训练数据；c.将所述训练数据输入到基于条件的深度卷积生成对抗网络模型中，得到初步复原的道路边界线；d.重复b和c两次，获得完整复原的道路边界线。
进一步地，所述训练数据包括裁剪完整的道路边界线和裁剪完整的道路中心线，不完整的道路边界线和不完整的道路中心线以及通过手工编辑的不完整边道路界线和通过手工编辑的不完整道路中心线。
进一步地，所述步骤1)基于行车轨迹线数据和路肩信息对原始点云数据进行路面分割。
如图4基于条件深度卷积生成对抗网络的道路边界线复原流程图。左侧可见道路中心线，右侧输出为道路边界线复原结果。图5道路边界线复原结果，灰色是道路点云，实线是复原的道路边界线结果。
可以精确、快速地提取和补全大规模城市场景下的道路边界线。
实施例
本申请提出一种基于车载激光点云和卫星影像的基于车载激光点云和卫星影像的道路边界线复原方法。为实现上述目标，本申请采取以下技术方案：
一种基于车载激光点云和卫星影像的基于车载激光点云和卫星影像的道路边界线复原方法，包括以下步骤:S1、基于行车轨迹线数据和路肩信息对原始点云数据进行路面分割，提取并拟合出道路边界线；S2、对所述道路边界线进行去噪，将噪声线从道路边界线中去除；S3、对去噪后的道路边界线进行基于卷积神经网络的补全处理，检测并初步补全道路边界线中存在的缝隙；S4、基于深度神经网络对高分辨率卫星影像进行路网检测，提取出道路中心线；S5、对所述道路中心线和补全后的道路边界线进行基于生成对抗网络的精细化处理，复原出完整的道路边界线。
进一步地，步骤S1具体包括以下分步骤：S11、根据行车轨迹线的方向，将原始点云均匀分割成多组宽度为Wb＝5m的点云簇；S12、对于每组点云簇，沿垂直于行车轨迹的方向分割出一个宽度为wp＝25cm的点云切片；S13、对于每个点云切片，依据路肩和路面之间的高度差在5-30cm之间、角度差在60°以上的条件，提取道路边界点；S14、对所有道路边界点进行B样条曲线拟合，得到道路边界线。
进一步地，步骤S2具体包括以下分步骤：S21、将三维道路边界线投影到xy二维平面，网格大小为0.2m，得到二维道路边界线栅格图；S22、对所述栅格图进行数据增强，经裁剪、旋转、缩放后将图像尺寸调整为512×512像素，作为训练数据；S23、将训练数据输入到一种U型编码器-解码器深度学习框架，分别应用最大值池化指数、Dropout操作和二元交叉熵损失函数，去除道路边界线中的噪声线。其中，丢失率(dropout rate)设置为0.5；N表示输入图像中的像素总数，y为实际值，为预测值，则二元交叉熵损失函数为：
进一步地，步骤S3具体包括以下步骤：
S31、将去噪的道路边界线数据输入到一种基于卷积神经网络的下采样和上采样模型，包括卷积操作、最大值池化、和最邻近上采样。其中除第一卷积层外，卷积核大小为5×5，其余所有卷积核大小为3×3；除最后一个卷积层利用Sigmoid函数，其余所有卷积层均利用修正线性单元(ReLU)作为激活函数。在训练阶段，每次卷积操作后对输出特征均进行批量归一化处理。利用2×2最大池化操作，对输出特征进行下采样提取特征；应用尺寸为2×2的最邻近上采样，扩大输出的图像分辨率至512×512像素。在此，采用均方误差作为模型的损失函数，具体为：
其中M为输入图像中的像素总数，S和S′分别为模型的输入和输出，Sp和S′p分别为输入和输出图像中像素p处的数值。取最小化均方误差值的模型作为最优训练模型，得到初步补全的二维道路边界线；S32、对于所述补全的二维道路边界线，将其高度值设为零，进而转化为三维道路边界线。
进一步地，步骤S4具体包括以下步骤：
S41、将分辨率为50cm的卫星影像输入到一种基于膨胀卷积的深度神经网络，此模型包括编码器、膨胀卷积和解码器三部分。在编码器中，应用尺寸为2×2的最大池化层,对输入数据进行下采样提取特征，将原始卫星影像大小从1024×1024像素降为32×32像素。在膨胀卷积操作中，所有的膨胀卷积层都采用3×3核大小，中心的扩张率分别为1、2、4、8。在解码器中，应用2×2的卷积核进行转置卷积。其中利用ReLU和Adam分别作为整个模型的激活函数和优化器。此模型使用Dice系数作为损失函数,具体Dice系数为:
其中K为输入图像中的像素总数，pi和gi分别表示在图像像素i处的预测值和真实值。取最小化Dice值的模型作为最优训练模型，提取道路中心线。
S42、将提取的道路中心线输入到一种基于形态学的细化算法，满足以下条件的中心线像素点将被保留：
(1)2≤G(p1)≤6；
(2)δ(p1)＝1；
(3)p2×p4×p8＝0或δ(p2)≠1；
(4)p2×p6×p8＝0或δ(p8)≠1；
其中G(p1)表示像素p2到p9之间道路中心线像素的交叉数，δ(pj)表示判别条件，j分别为1、2、8。对于像素pi，i分别为1到9的正整数，pi＝0表示该像素点为空；反之，pi＝1。检查像素pi四周八个像素点，若pi点周围八个方向，即左上方、上方、右上方、右方、右下方、下方、左下方、和左方，相邻两个方向中，仅存在一个方向上的像素点为道路中心线像素，另一个方向为空像素的情况，则δ(p1)＝1；否则，δ(p1)＝0。
S43、对于细化后的道路中心线，采用最小二乘曲线拟合算法，获得平滑的道路中心线；
S44、根据卫星图像的全球坐标系，将平滑的二维道路中心线像素高度值设为零，转化为三维数据，与S32中补全的三维道路边界线叠加融合。
进一步地，步骤S5具体包括以下步骤：
S51、将S44中得到的三维道路边界线和中心线数据投影到xy二维平面，网格大小为0.2m，再次得到二维栅格数据；
S52、将二维栅格数据人工划分成三类训练数据，分别为：裁剪完整的道路边界线和中心线，不完整的边界线和中心线，和通过手工编辑的不完整边界线和中心线；
S53、将S52中三种训练数据输入到一种基于条件的深度卷积生成对抗网络模型中。利用步长卷积对输入图像进行下采样和上采样。模型条件定义为具有不完整的道路边界线和中心线的图像，并加入随机噪声，增强模型的鲁棒性。具体而言，模型包括生成器和判别器两部分，分别应用ReLU和Leaky ReLU作为激活函数。应用极小极大值原理平衡生成器和判别器之间的函数损失，具体公式如下：
minGmaxDL(D，G)＝log D+log(1-D(G))
其中G为生成器，D为判别器。取令生成器的损失函数最小化、判别器的损失函数最大化的模型作为最优训练模型。在训练判别器的过程中，生成器以前馈模式运行，不进行反向传播；反之亦然，进而得到复原的道路边界线。
S54、重复S52和S53两次，最终获得复原完整的道路边界线。
尽管在上文中参考特定的实施例对本申请进行了描述，但是所属领域技术人员应当理解，在本申请公开的原理和范围内，可以针对本申请公开的配置和细节做出许多修改。本申请的保护范围由所附的权利要求来确定，并且权利要求意在涵盖权利要求中技术特征的等同物文字意义或范围所包含的全部修改。

Claims (7)

1.一种基于车载激光点云和卫星影像的道路边界线复原方法，其特征在于：所述方法包括如下步骤：
1)对原始点云数据进行路面分割，提取并拟合出道路边界线；
2)对所述道路边界线进行去噪，将噪声线从道路边界线中去除；
3)对去噪后的道路边界线进行补全处理，检测并初步补全道路边界线中存在的缝隙；
4)进行路网检测，提取出道路中心线；
5)对所述道路中心线和补全后的道路边界线进行精细化处理，复原出完整的道路边界线；所述步骤3)中将去噪的道路边界线数据输入到下采样模型和上采样模型，得到初步补全的二维道路边界线；将所述二维道路边界线，转化为三维道路边界线；所述下采样模型基于卷积神经网络，所述上采样模型基于卷积神经网络；对所述去噪的道路边界线数据进行卷积操作、最大值池化和最邻近上采样，得到初步补全的二维道路边界线；所述步骤4)利用基于膨胀卷积的深度神经网络从高分辨率卫星影像中提取道路中心线；对所述道路中心线采用基于形态学的细化算法，得到细化的道路中心线；对所述细化后的道路中心线，采用最小二乘曲线拟合算法，获得平滑的道路中心线；根据卫星图像的全球坐标系，将所述平滑的道路中心线高度值设为零，转化为三维数据，与所述三维道路边界线叠加融合；
将提取的道路中心线输入到一种基于形态学的细化算法，满足以下条件的中心线像素点将被保留：
(1)2≤G(p1)≤6；
(2)δ(p1)＝1；
(3)p2×p4×p8＝0或δ(p2)≠1；
(4)p2×p6×p8＝0或δ(p8)≠1；
其中G(p1)表示像素p2到p9之间道路中心线像素的交叉数，δ(pj)表示判别条件，j分别为1、2、8；对于像素pi,i分别为1到9的正整数，pi＝0表示该像素点为空；反之，pi＝1；检查像素pi四周八个像素点，若pi点周围八个方向，即左上方、上方、右上方、右方、右下方、下方、左下方、和左方，相邻两个方向中，仅存在一个方向上的像素点为道路中心线像素，另一个方向为空像素的情况，则δ(p1)＝1；否则，δ(p1)＝0。
2.如权利要求1所述的基于车载激光点云和卫星影像的道路边界线复原方法，其特征在于：所述步骤1)根据行车轨迹线的方向，将原始点云均匀分割成多组点云簇；对于每组点云簇，沿垂直于行车轨迹的方向分割出一个点云切片；对于每个点云切片，依据路肩和路面之间的高度与角度信息，提取道路边界点；对所有道路边界点进行拟合，得到道路边界线。
3.如权利要求1所述的基于车载激光点云和卫星影像的道路边界线复原方法，其特征在于：所述步骤2)将三维道路边界线投影到xy二维平面，得到二维道路边界线栅格图；对栅格图进行数据增强，作为训练数据；训练数据输入到U型编码器-解码器深度学习框架，去除道路边界线中的噪声线。
4.如权利要求3所述的基于车载激光点云和卫星影像的道路边界线复原方法，其特征在于：所述U型编码器-解码器包括最大值池化指数、Dropout操作和二元交叉熵损失函数。
5.如权利要求1所述的基于车载激光点云和卫星影像的道路边界线复原方法，其特征在于：所述步骤5)a.将所述三维道路边界线和所述平滑的道路中心线数据投影到xy二维平面，再次得到二维栅格数据；b.将所述二维栅格数据人工划分成若干训练数据；c.将所述训练数据输入到基于条件的深度卷积生成对抗网络模型中，得到初步复原的道路边界线；d.重复b和c两次，获得完整复原的道路边界线。
6.如权利要求5所述的基于车载激光点云和卫星影像的道路边界线复原方法，其特征在于：所述训练数据包括裁剪完整的道路边界线和裁剪完整的道路中心线，不完整的道路边界线和不完整的道路中心线以及通过手工编辑的不完整边道路界线和通过手工编辑的不完整道路中心线。
7.如权利要求1～6中任一项所述的基于车载激光点云和卫星影像的道路边界线复原方法，其特征在于：所述步骤1)基于行车轨迹线数据和路肩信息对原始点云数据进行路面分割。
CN202011358492.3A 2020-11-27 2020-11-27 一种基于车载激光点云和卫星影像的道路边界线复原方法 Active CN112561808B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011358492.3A CN112561808B (zh) 2020-11-27 2020-11-27 一种基于车载激光点云和卫星影像的道路边界线复原方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011358492.3A CN112561808B (zh) 2020-11-27 2020-11-27 一种基于车载激光点云和卫星影像的道路边界线复原方法

Publications (2)

Publication Number Publication Date
CN112561808A CN112561808A (zh) 2021-03-26
CN112561808B true CN112561808B (zh) 2023-07-18

Family

ID=75046322

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011358492.3A Active CN112561808B (zh) 2020-11-27 2020-11-27 一种基于车载激光点云和卫星影像的道路边界线复原方法

Country Status (1)

Country Link
CN (1) CN112561808B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113591640B (zh) * 2021-07-20 2023-11-17 湖南三一华源机械有限公司 一种道路护栏的检测方法、装置及车辆
CN114627020B (zh) * 2022-03-18 2023-06-20 易思维（杭州）科技有限公司 一种曲面工件反光噪点去除方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103500338A (zh) * 2013-10-16 2014-01-08 厦门大学 基于车载激光扫描点云的道路斑马线自动提取方法
CN106780524A (zh) * 2016-11-11 2017-05-31 厦门大学 一种三维点云道路边界自动提取方法
CN107463918A (zh) * 2017-08-17 2017-12-12 武汉大学 基于激光点云与影像数据融合的车道线提取方法
EP3506157A1 (en) * 2017-12-29 2019-07-03 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for identifying intersection in electronic map
WO2019214372A1 (zh) * 2018-05-07 2019-11-14 腾讯科技（深圳）有限公司 地面标志提取的方法、模型训练的方法、设备及存储介质
CN110516653A (zh) * 2019-09-03 2019-11-29 武汉天擎空间信息技术有限公司 一种基于多光谱机载激光雷达点云数据的道路提取方法
CN111242000A (zh) * 2020-01-09 2020-06-05 电子科技大学 一种结合激光点云转向的道路边沿检测方法
CN111881790A (zh) * 2020-07-14 2020-11-03 武汉中海庭数据技术有限公司 一种高精度地图制作中道路人行横道自动化提取方法和装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103500338A (zh) * 2013-10-16 2014-01-08 厦门大学 基于车载激光扫描点云的道路斑马线自动提取方法
CN106780524A (zh) * 2016-11-11 2017-05-31 厦门大学 一种三维点云道路边界自动提取方法
CN107463918A (zh) * 2017-08-17 2017-12-12 武汉大学 基于激光点云与影像数据融合的车道线提取方法
EP3506157A1 (en) * 2017-12-29 2019-07-03 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for identifying intersection in electronic map
WO2019214372A1 (zh) * 2018-05-07 2019-11-14 腾讯科技（深圳）有限公司 地面标志提取的方法、模型训练的方法、设备及存储介质
CN110516653A (zh) * 2019-09-03 2019-11-29 武汉天擎空间信息技术有限公司 一种基于多光谱机载激光雷达点云数据的道路提取方法
CN111242000A (zh) * 2020-01-09 2020-06-05 电子科技大学 一种结合激光点云转向的道路边沿检测方法
CN111881790A (zh) * 2020-07-14 2020-11-03 武汉中海庭数据技术有限公司 一种高精度地图制作中道路人行横道自动化提取方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A deep learning framework for road marking extraction, classification and completion from mobile laser scanning point clouds;Chenglu Wen等;《ISPRS Journal of Photogrammetry and Remote Sensing》;第147卷;178-192 *
BoundaryNet: Extraction and Completion of Road Boundaries With Deep Learning Using Mobile Laser Scanning Point Clouds and Satellite Imagery;Lingfei Ma等;《 IEEE Transactions on Intelligent Transportation Systems》;第23卷(第6期);5638 - 5654 *
基于多源数据的城市道路边界三维建模;游昌斌;《中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑)》(第7期);C034-46 *

Also Published As

Publication number Publication date
CN112561808A (zh) 2021-03-26

Similar Documents

Publication Publication Date Title
Wen et al. A deep learning framework for road marking extraction, classification and completion from mobile laser scanning point clouds
CN109934163B (zh) 一种基于场景先验和特征再融合的航空图像车辆检测方法
CN102708356B (zh) 一种基于复杂背景下的车牌自动定位和识别方法
CN114723681B (zh) 一种基于机器视觉的混凝土裂缝缺陷检测方法
Riveiro et al. Automatic segmentation and shape-based classification of retro-reflective traffic signs from mobile LiDAR data
Xu et al. Pavement crack detection from CCD images with a locally enhanced transformer network
CN103500338B (zh) 基于车载激光扫描点云的道路斑马线自动提取方法
CN102520401B (zh) 一种基于LiDAR数据的建筑物区域提取方法
CN110210451B (zh) 一种斑马线检测方法
Matkan et al. Road extraction from lidar data using support vector machine classification
CN112561808B (zh) 一种基于车载激光点云和卫星影像的道路边界线复原方法
Zhang et al. Learning from GPS trajectories of floating car for CNN-based urban road extraction with high-resolution satellite imagery
CN104392212A (zh) 一种基于视觉的道路信息检测及前方车辆识别方法
CN105005771A (zh) 一种基于光流点轨迹统计的车道线实线的检测方法
CN104021368A (zh) 估计路面高度形状的方法和系统
Cheng et al. Three-dimensional reconstruction of large multilayer interchange bridge using airborne LiDAR data
EP4120123A1 (en) Scan line-based road point cloud extraction method
Zhao et al. Rapid extraction and updating of road network from airborne LiDAR data
CN103729853A (zh) 三维gis辅助下的高分遥感影像建筑物倒损检测方法
CN114596500A (zh) 一种基于通道-空间注意力和DeeplabV3plus的遥感影像语义分割方法
CN112184725B (zh) 一种沥青路面图像的结构光光条中心提取方法
Zhou et al. Highway alignments extraction and 3D modeling from airborne laser scanning point clouds
Husain et al. Road surface and its center line and boundary lines detection using terrestrial Lidar data
CN113516853A (zh) 一种针对复杂监控场景的多车道车流量检测方法
CN113095309B (zh) 一种基于点云的道路场景地面标识物的提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Ma Lingfei

Inventor after: Li Jun

Inventor after: Chen Yiping

Inventor after: Zhu Xia

Inventor before: Ma Lingfei

Inventor before: Li Jun

Inventor before: Chen Yiping

Inventor before: Zhu Xia

GR01 Patent grant
GR01 Patent grant