CN115619972A - 一种基于点云数据的道路标线磨损识别与评估方法 - Google Patents

一种基于点云数据的道路标线磨损识别与评估方法 Download PDF

Info

Publication number
CN115619972A
CN115619972A CN202211315117.XA CN202211315117A CN115619972A CN 115619972 A CN115619972 A CN 115619972A CN 202211315117 A CN202211315117 A CN 202211315117A CN 115619972 A CN115619972 A CN 115619972A
Authority
CN
China
Prior art keywords
road marking
road
point cloud
points
marking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211315117.XA
Other languages
English (en)
Inventor
王金
曹猛
刘斌
张涛
陈艳艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN202211315117.XA priority Critical patent/CN115619972A/zh
Publication of CN115619972A publication Critical patent/CN115619972A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

一种基于点云数据的道路标线磨损识别与评估方法用于道路维养决策和道路交通安全评估等领域。主要包括：基于道路标线特征设计优化深度学习网络模型，提取道路标线点云；基于道路标线形状差异，构建多重形状描述符，区分出不同类型的道路标线；自动测算道路标线的磨损面积，建立磨损评估指标，分级评价道路标线磨损程度。本发明从大场景道路点云中直接、自动提取路面标线，显著提高了道路标线提取的准确性。通过搭建多重形状描述符来区分道路标线类型，提高了每条标线类别区分的效率。构建了面向道路标线磨损的四级评估系统，实现了道路标线表观磨损程度的定量化评估。

Description

一种基于点云数据的道路标线磨损识别与评估方法
技术领域
本发明公开了一种基于点云数据的道路标线磨损识别与评估方法，属于交通运输工程领域。
背景技术
道路交通网不断完善，提升道路养护效能成为新发展阶段的重点任务。道路标线在管制和引导交通方面起到重要作用，也是使用最广泛的基础设施。但是由于交通需求大、自然腐蚀等导致道路标线出现不同程度的磨损，严重危害道路交通安全。因此，磨损道路标线的识别和评估方法，是道路养护管理中至关重要的一项工作。
当前，对于磨损道路标线的识别主要依靠人工巡检的方式，但是这种方式效率低，耗费大量资金和劳动力。同时，对于道路标线的磨损程度评估较多依赖人工判断、缺少系统的精细化评估。以移动扫描车为代表之一的激光雷达技术因其高密度、高精度地复现物体表观的信息(3D坐标、RGB/强度信息)，“所见即所得”的点云数据特点，对道路标线表观状态的识别和评估提供了真三维空间信息，也为量化评估道路标线磨损程度提供了一种有效的理论技术方法。
激光雷达技术采集的点云数据虽然覆盖路面及两侧道路场景，然而因缺少直接的属性信息，道路标线无法自动识别。同时，虽然点云自带真三维信息，但是这些无组织结构、离散的信息无法直接用于标线磨损程度的测算评估。因此，本发明有必要提出一种基于点云数据的道路标线磨损识别和评估方法，该方法包括道路标线点云提取，道路标线类型区分和道路标线磨损程度评估。
发明内容
发明目的：本发明的目的在于针对现有技术的不足，提供一种基于点云数据的道路标线磨损识别和评估方法。
本发明提供了一种基于点云数据的道路标线磨损识别和评估方法，如图1所示，包括以下步骤：
(1)训练深度学习模型，提取道路标线点云：根据道路场景的复杂特点以及道路标线的三维坐标、颜色、强度值差异，设计训练适配的深度学习模型，自动提取道路标线点云。
(2)构建多重形状描述符，区分道路标线类型：根据不同类型道路标线的形状差异，建立道路标线点云的多重形状描述符，准确快速地区分道路标线类型。
(3)测算道路标线表观的磨损面积，分级评价道路标线磨损程度：计算实际的道路标线面积，并与道路标线的标准面积对比，建立磨损程度评估指标，分层级评价道路标线的磨损现状。
本发明优点在于：
(1)从大场景道路点云中直接、自动提取路面标线，显著提高了道路标线提取的准确性。
(2)通过搭建多重形状描述符来区分道路标线类型，提高了每条标线类别区分的效率。
(3)构建了面向道路标线磨损的四级评估系统，实现了道路标线表观磨损程度的定量化评估。
附图说明
图1为本发明的实施流程图。
具体实施方式
下面对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。
基于点云数据的道路标线磨损识别和评估方法对道路标线磨损现状进行评估，包括以下步骤：
(1)训练深度学习模型，提取道路标线点云：
基于现有的三维深度学习模型PointNet，进行适应于道路标线提取的结构改进。考虑路面标线的空间位置低的特点，利用渐进式形态学滤波，设置高度差阈值为0.25m，过滤掉非路面点(护栏、灯杆、路侧数木、指示牌、广告牌等)，减少道路场景中非道路标线点的干扰，提高道路标线点的提取效率。经过过滤处理后，只剩下道路标线点和路面点。
为了更好利用道路标线和路面之间的颜色和强度等特征差异提高分类的精度，对颜色的RGB值和强度值利用最大-最小归一化方法进行归一化处理；设置卷积层的通道数为7，将点的三维坐标、归一化的RGB和强度值送入多层感知机；先利用多层感知机提取颜色和强度值64维局部特征，基于颜色和强度值局部特征继续升高至1024维，后通过最大池化处理聚合点的全局特征即1088维的特征。将点的局部特征与全局特征拼接，送入多层感知机进行道路标线点和路面点的分类。考虑道路标线点和路面点样本数量分布的不均衡，设计了二分类操作来提高道路标线点的分类准确性。在模型训练时，设置学习率为0.001，训练迭代次数为32次，训练的批量大小为16。
根据所训练的深度学习网络模型，输入道路场景点云，自动提取得到道路标线点云，送入后续操作。
(2)搭建多重形状描述符，区分道路标线类型：
不同类型的道路标线形状、尺寸和间隔距离有着明确的设计标准，可以用于区分不同类型道路标线的基准。由于道路标线点受数据采集过程中周边车辆的干扰，利用统计滤波算法，基于点的密度设置搜索半径为0.6m、临近点数量为80，可以有效剔除明显的道路标线离群异常点。
对处理后的道路标线点云，搭建多重形状描述符，区分不同类型标线。使用欧几里得聚类算法，根据道路场景标线间隔设置距离半径为1.2m，将每条标线点云单独分组。计算每条道路标线点云的最大值和最小值，根据道路标线尺寸，将最大值小于4m、最小值小于0.7m的道路标线点云认为是粗虚线；最大值大于10m、最小值小于0.7m的道路标线点云认为是长实线。随后，所有未被区分的道路标线点云，利用主成分分析估计点云的最大、最小特征向量，在此基础上计算每条道路标线点云的惯性矩，将惯性矩小于370的道路标线点云认为是虚线，惯性矩大于370的道路标线点云认为是箭头类型标线。继而，对剩余的所有箭头类型(直行箭头、直行右转箭头)的道路标线点云，计算点云内每个点的角点响应值，当角点响应值大于0时被认为是Harris角点，若Harris角点的数量大于9，则认为该道路标线点云为直行右转箭头，否则，就被认为直行箭头。其中，角点响应值计算函数的如下所示：
R＝detM-0.04(traceM)2
(1)
其中，R表示角点的响应值，M表示单个道路标线的点云协方差矩阵，detM表示其协方差矩阵的行列式值，traceM表示协方差矩阵的迹。
基于上述多重形状描述符的判断，完成常见道路标线类型的区分，送入下一步道路标线的磨损识别和评估。
(3)测算道路标线表观的磨损面积，分级评价道路标线磨损程度：
由于道路标线磨损的程度和发生磨损的部位各不相同，参考养护规范，结合点云数据优势，提出了两个磨损评估指标(基于点云的视觉磨损面积和基于点云的磨损面积百分比)。基于提出的磨损评估指标，构建了点云数据驱动下的道路标线四级磨损评估系统。
为了建立磨损评估指标，需要先计算道路标线的真实面积。由于点云的无序性，采用贪心德劳内三角剖分算法，设置点的搜索半径为0.1m、三角剖分的最大内角为120°、最小内角为10°，把道路标线点云划分成多个规则的三角形面片。利用最大单位法向分量算法计算单个三角形面片的表面积，所有三角形面片的表面积相加得到每条道路标线的面积。
基于点的视觉磨损面积的计算公式如下所示：
Figure BDA0003908903560000041
其中Sv表示基于点的视觉磨损面积，St表示特定类型标线的标准面积，n表示划分的三角形面片的数量，i表示每一个三角形面片的编号，MUNCi表示单个三角形面片的最大单位法向分量。
在基于点的视觉磨损面积基础上，提出基于点的磨损面积百分比，其具体的计算公式如下所示：
Figure BDA0003908903560000051
其中Swp表示基于点的磨损面积百分比。
综合分析点云数据中道路标线的实际磨损现状和道路标线养护规范，归纳路面标线的不同磨损程度，确定道路标线磨损面积百分比的取值范围，构建道路标线的四级磨损评估系统。当Swp≤10％，道路标线被认为没有磨损；当10％＜Swp≤20％，道路标线被认为轻微磨损；当20％＜Swp≤30％，道路标线被认为是中度磨损；当Swp＞30％，道路标线被认为是严重磨损。同时，根据磨损评估系统的分级评价结果，分别提供对应的不需要修复、局部修复、部分修复和整体修复的道路标线养护建议。
如上，尽管参照特定的优选实施例已经表示和表述了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上作出各种变化。

Claims (1)

1.一种基于点云数据的道路标线磨损识别与评估方法，其特征在于，包括以下步骤：
(1)训练深度学习模型，提取道路标线点云：
考虑路面标线的空间位置低的特点，利用渐进式形态学滤波，设置高度差阈值为0.25m，过滤掉非路面点；经过过滤处理后，只剩下道路标线点和路面点；
对颜色的RGB值和强度值利用最大-最小归一化方法进行归一化处理；设置卷积层的通道数为7，将点的三维坐标、归一化的RGB和强度值送入多层感知机；先利用多层感知机提取颜色和强度值64维局部特征，基于颜色和强度值局部特征继续升高至1024维，后通过最大池化处理聚合点的全局特征即1088维的特征；将点的局部特征与全局特征拼接，送入多层感知机进行道路标线点和路面点的分类；在模型训练时，设置学习率为0.001，训练迭代次数为32次，训练的批量大小为16；
根据所训练的深度学习网络模型，输入道路场景点云，自动提取得到道路标线点云；
(2)搭建多重形状描述符，区分道路标线类型：
用统计滤波算法，基于点的密度设置搜索半径为0.6m、临近点数量为80，剔除道路标线离群异常点；
使用欧几里得聚类算法，根据道路场景标线间隔设置距离半径为1.2m，将每条标线点云单独分组；计算每条道路标线点云的最大值和最小值，根据道路标线尺寸，将最大值小于4m、最小值小于0.7m的道路标线点云认为是粗虚线；最大值大于10m、最小值小于0.7m的道路标线点云认为是长实线；随后，所有未被区分的道路标线点云，利用主成分分析估计点云的最大、最小特征向量，在此基础上计算每条道路标线点云的惯性矩，将惯性矩小于370的道路标线点云认为是虚线，惯性矩大于370的道路标线点云认为是箭头类型标线；继而，对剩余的所有箭头类型的道路标线点云，计算点云内每个点的角点响应值，当角点响应值大于0时被认为是Harris角点，若Harris角点的数量大于9，则认为该道路标线点云为直行右转箭头，否则，就被认为直行箭头；其中，角点响应值计算函数的如下所示：
R＝detM-0.04(traceM)2 (1)
其中，R表示角点的响应值，M表示单个道路标线的点云协方差矩阵，detM表示其协方差矩阵的行列式值，traceM表示协方差矩阵的迹；
(3)测算道路标线表观的磨损面积，分级评价道路标线磨损程度：
采用贪心德劳内三角剖分算法，设置点的搜索半径为0.1m、三角剖分的最大内角为120°、最小内角为10°，把道路标线点云划分成多个规则的三角形面片；利用最大单位法向分量算法计算单个三角形面片的表面积，所有三角形面片的表面积相加得到每条道路标线的面积；
基于点的视觉磨损面积的计算公式如下所示：
Figure FDA0003908903550000021
其中Sv表示基于点的视觉磨损面积，St表示特定类型标线的标准面积，n表示划分的三角形面片的数量，i表示每一个三角形面片的编号，MUNCi表示单个三角形面片的最大单位法向分量；
在基于点的视觉磨损面积基础上，提出基于点的磨损面积百分比，其具体的计算公式如下所示：
Figure FDA0003908903550000022
其中Swp表示基于点的磨损面积百分比；
确定道路标线磨损面积百分比的取值范围，构建道路标线的四级磨损评估系统；当Swp≤10％，道路标线被认为没有磨损；当10％＜Swp≤20％，道路标线被认为轻微磨损；当20％＜Swp≤30％，道路标线被认为是中度磨损；当Swp＞30％，道路标线被认为是严重磨损；同时，根据磨损评估系统的分级评价结果，分别提供对应的不需要修复、局部修复、部分修复和整体修复的道路标线养护建议。
CN202211315117.XA 2022-10-26 2022-10-26 一种基于点云数据的道路标线磨损识别与评估方法 Pending CN115619972A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211315117.XA CN115619972A (zh) 2022-10-26 2022-10-26 一种基于点云数据的道路标线磨损识别与评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211315117.XA CN115619972A (zh) 2022-10-26 2022-10-26 一种基于点云数据的道路标线磨损识别与评估方法

Publications (1)

Publication Number Publication Date
CN115619972A true CN115619972A (zh) 2023-01-17

Family

ID=84865399

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211315117.XA Pending CN115619972A (zh) 2022-10-26 2022-10-26 一种基于点云数据的道路标线磨损识别与评估方法

Country Status (1)

Country Link
CN (1) CN115619972A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115984806A (zh) * 2023-03-20 2023-04-18 四川京炜数字科技有限公司 道路标线破损动态检测系统
CN116699644A (zh) * 2023-08-07 2023-09-05 四川华腾公路试验检测有限责任公司 基于三维激光雷达的标线可靠性评估方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115984806A (zh) * 2023-03-20 2023-04-18 四川京炜数字科技有限公司 道路标线破损动态检测系统
CN116699644A (zh) * 2023-08-07 2023-09-05 四川华腾公路试验检测有限责任公司 基于三维激光雷达的标线可靠性评估方法
CN116699644B (zh) * 2023-08-07 2023-10-27 四川华腾公路试验检测有限责任公司 基于三维激光雷达的标线可靠性评估方法

Similar Documents

Publication Publication Date Title
CN110135351B (zh) 基于城市建筑空间数据的建成区边界识别方法及设备
CN115619972A (zh) 一种基于点云数据的道路标线磨损识别与评估方法
CN111192284B (zh) 一种车载激光点云分割方法及系统
CN106599915B (zh) 一种车载激光点云分类方法
CN105069395B (zh) 基于地面三维激光扫描技术的道路标线自动识别方法
CN103984953A (zh) 基于多特征融合与Boosting决策森林的街景图像的语义分割方法
CN111127499A (zh) 一种基于语义轮廓信息的安检图像刀具检测分割方法
CN105224937A (zh) 基于人体部件位置约束的细粒度语义色彩行人重识别方法
CN105574531A (zh) 一种基于交点特征提取的数字识别方法
CN114067114B (zh) 一种基于藻类细胞形态的面积核分割计数方法
CN112150804B (zh) 一种基于MaskRCNN算法的城市多类型交叉口识别方法
CN110619258A (zh) 一种基于高分辨率遥感影像的道路轨迹核查方法
CN104636750A (zh) 一种基于双尺度聚类算法的路面裂缝识别算法及系统
CN111027574A (zh) 基于图卷积的建筑物模式识别方法
CN113240623A (zh) 一种路面病害检测方法及装置
CN111242223B (zh) 一种基于街景影像多特征融合的街道空间品质评价方法
Hu Intelligent road sign inventory (IRSI) with image recognition and attribute computation from video log
CN115187932A (zh) 一种基于人工智能的道路拥堵分析系统
CN113516105A (zh) 一种车道检测方法、装置及计算机可读存储介质
CN115100173B (zh) 基于深度卷积神经网络的公路路面图像裂缝几何属性检测与裂缝识别方法
CN116052110B (zh) 一种路面标线缺损智能定位方法及系统
CN103559492A (zh) 一种车标识别装置及方法
CN114463720B (zh) 一种基于线段交并比损失函数的车道线检测方法
CN107273935B (zh) 一种基于自适应K-Means的车道标志分组方法
CN115546167A (zh) 一种基于拓扑连接性的深度学习道路提取结果优化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination