CN110210415B - 基于图结构的车载激光点云道路标线识别方法 - Google Patents

基于图结构的车载激光点云道路标线识别方法 Download PDF

Info

Publication number
CN110210415B
CN110210415B CN201910484566.9A CN201910484566A CN110210415B CN 110210415 B CN110210415 B CN 110210415B CN 201910484566 A CN201910484566 A CN 201910484566A CN 110210415 B CN110210415 B CN 110210415B
Authority
CN
China
Prior art keywords
marking
point cloud
neighborhood
reticle
graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910484566.9A
Other languages
English (en)
Other versions
CN110210415A (zh
Inventor
方莉娜
王爽
黄志文
罗海峰
赵志远
陈崇成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN201910484566.9A priority Critical patent/CN110210415B/zh
Publication of CN110210415A publication Critical patent/CN110210415A/zh
Application granted granted Critical
Publication of CN110210415B publication Critical patent/CN110210415B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2323—Non-hierarchical techniques based on graph theory, e.g. minimum spanning trees [MST] or graph cuts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Discrete Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于图结构的车载激光点云道路标线识别方法，包括以下步骤：步骤S1：基于强度校正的标线分割和小尺寸目标提取,基于分割结果提取小尺寸标线对象；步骤S2：根据获得的小尺寸标线对象，基于标线的形状特征和邻域空间结构构建由参考标线指向邻域对象的空间与语义关系图;步骤S3：基于空间与语义关系图，自定义图结构节点与边存储编码规则，构建图结构的特征描述子；步骤S4：根据图结构的特征描述子，构建并训练深度神经网络；步骤S5:利用训练后的深度神经网络从车载激光点云目标分割结果中直接提取不同类型的标线。本发明能够实现对复杂城市场景中多类型标线的自动识别与精细分类。

Description

基于图结构的车载激光点云道路标线识别方法
技术领域
本发明涉及车载激光扫描点云数据处理领域，具体涉及一种基于图结构的车载激光点云道路标线识别方法。
背景技术
道路交通标线作为典型的人工地物，其形状规则、尺寸规范、分布有序，因此，其形状特征和空间语义信息，被广泛应用于车载激光雷达点云道路标线分类研究。虽然大部分不同类别道路标线形状各异，但是，仍然有部分不同类别道路标线具有相似的几何和形状特征，如直行箭头、虚线型标线和人行横道均整体呈现线状分布，严重影响利用形状特征进行目标分类与识别的精度；此外，目前道路标线空间语义结构依靠辅助数据进行构建，空间结构只适用于某一特定类别标线，难以进行推广；基于语义信息的道路标线分类方法依赖大量人工阈值设定，使得自动化程度较低。因此，如何构建一种能够深层次描述道路标线空间语义结构信息的统一特征模式用于多类标线特征描述，同时实现形状相似标线的自动精细分类，是目前基于车载激光点云数据进行道路交通标线精细分类的难点工作之一。
目前，基于车载激光点云数据识别道路标线的方法主要分为两类：基于单一特征的标线分类方法和结合形状特征与语义信息的道路标线分类方法。基于单一特征的标线分类方法主要依靠某一类特征进行标线识别，如利用Hough变换检测呈现线状空间分布的车道线，或基于邻域空间内标线的排列方式构建语义特征描述斑马线，然而，上述方法仅适用于某一特定标线类别，难以推广到其它标线；一些学者通过构建标线的形状特征，利用模板匹配实现多种标线的分类，该算法对具有显著形状差异的标线类别识别效果较好，但其抑制噪声能力弱，对于形状相似标线的识别精度较低。
目前，结合形状特征与语义信息的道路标线分类方法主要联合形状特征、标线对象与相邻对象的交互关系进行特征描述：如联合形状特征和相邻对象的平行关系，实现斑马线和其它标线的区分；或针对基于形状特征的粗分类结果，根据虚线型标线在同一方向上的等间距排列，精细区分虚线型标线和实线型标线。这些方法的空间语义信息较为单一，只适用于特定标线类别识别。一些学者基于标线与轨迹线间角度关系、相邻标线排列情况精细划分矩形标线，并利用模板匹配细化箭头标线分类结果。这些方法虽然结合了多种语义信息，并引入机器学习方法提高分类精度，但其基于语义特征的分类方法依赖于大量的人工经验阈值，方法自动化程度较低。一些学者提出结合形状特征与标线间交互关系，利用模型和数据驱动马尔科夫链蒙特卡洛算法构建通用的能量函数，实现标线自动分类。但该方法仅仅基于是否重叠这一情况描述标线间交互关系，难以精确刻画标线的空间结构特性。
发明内容
有鉴于此，本发明的目的在于提供一种基于图结构的车载激光点云道路标线识别方法。
为实现上述目的，本发明采用如下技术方案：
一种基于图结构的车载激光点云道路标线识别方法，包括以下步骤：
步骤S1：基于强度校正的标线分割和小尺寸目标提取,基于分割结果提取小尺寸标线对象；
步骤S2：根据获得的小尺寸标线对象，基于标线的形状特征和邻域空间结构构建由参考标线指向邻域对象的空间与语义关系图；
步骤S3：基于空间与语义关系图，自定义图结构节点与边存储编码规则，构建图结构的特征描述子；
步骤S4：根据图结构的特征描述子，构建并训练深度神经网络；
步骤S5:利用训练后的深度神经网络从车载激光点云目标分割结果中直接提取不同类型的标线。
进一步的，所述步骤S1具体为：
步骤S11：基于强度增强后路面点云数据，采用k均值聚类与距离聚类的方法实现标线点云的分割；
步骤S12:基于步骤S11点云分割结果，通过层次分类法获得小尺寸标线对象，并作为参考标线对象。
进一步的，所述步骤S2具体为：
步骤S21:基于参考标线对象的最小外接矩形，构建待测参考标线对象的八邻域分区，得到分割后各标线对象的搜索邻域；
步骤S22：以分割后标线对象为单位，提取邻域分区内标线对象的Hu不变矩I、实心形状上下文F_SSC、最小外包矩形面积F_MBR_Area以及延展度F_MBR_U等特征，构建标线对象的形状特征F_shape，以此作为空间与语义关系图G中节点集合V的每一个节点属性
Figure GDA0002123017060000041
步骤S23：提取邻域分区内各对象相对于参考标线对象的距离Distl0、姿态差异Posl0，用以构建空间与语义结构信息作为图结构G中边集合E的每一条图边属性
Figure GDA0002123017060000042
进一步的，所述步骤S3具体为：
步骤S31：基于生成的空间与语义关系图，为保证输入网络训练的向量维度属性的一致性，创建图结构节点与边的存储编码规则：将标线对象节点属性与边属性编码为0，以左上邻域分区为起始编码1，按照顺时针方向分别对八邻域内所有标线对象节点属性与边属性进行1-8规则编码存储；
步骤S32：采用步骤S31定义的编码规则，融合邻域节点属性
Figure GDA0002123017060000043
和边属性
Figure GDA0002123017060000044
构建综合属性
Figure GDA0002123017060000045
用于编码存储邻域对象所对应节点，描述参考标线对象的邻域空间语义结构特性：
Figure GDA0002123017060000046
其中k为图节点数目，l为图边数目。
步骤S33：基于步骤S31编码规则及步骤S32所得邻域标线对象特征描述符
Figure GDA0002123017060000047
融合参考标线对象，构建待测参考对象的图结构向量，作为该标线对象的特征描述子。
进一步的，所述步骤S4具体为：
步骤S41：提取标线点云的训练样本，构建基本的训练样本库；
步骤S42：基于特征描述子和训练样本库，构建并训练深度神经网络。
进一步的，所述标线点云的训练样本包括：直行箭头、人行横道预告标识线、单向转向箭头、双向转向箭头、虚线型标线、人行横道。
本发明与现有技术相比具有以下有益效果：
本发明基于图结构的车载激光点云道路标线识别方法，直接面向标线点云分割后的小尺寸标线对象，以标线对象的形状特征、邻域空间结构构建标线的图结构模型，通过对节点属性及边属性进行统一规则编码生成适用于多类型标线的道路标线特征描述子，建立标线与邻接对象的空间与语义关系，将该特征描述子作为DNN输入，利用DNN实现复杂城市场景中不同类型道路标线自动识别和形状相似标线的精细区分。
附图说明
图1是本发明技术流程图；
图2是本发明一实施例中人行横道预告标识线的图结构；
图3是本发明一实施例中SSC结构描述；
图4是本发明一实施例中距离和姿态关系；
图5是本发明一实施例中人行横道预告标识线57维特征向量；
图6是本发明一实施例中人工构建训练样本；
图7是本发明一实施例中结构标线提取结果。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
请参照图1，本发明提供一种基于图结构的车载激光点云道路标线识别方法，具体包括以下步骤：
步骤S1：基于强度校正的标线分割和小尺寸目标提取，具体包括以下步骤：
步骤S11：基于强度增强后路面点云数据，采用k均值聚类与距离聚类的方法实现标线点云的分割。该步骤具体通过以下分步骤实现：
步骤S111：基于强度增强后路面点云数据，采用k均值聚类方法，基于最近邻准则和强度相似性将点云划分到与其强度差值最小的聚类中心作为该点对应的类别，将路面点云分割成标线点云和非标线点云两类。
步骤S112：基于步骤S111中k均值聚类结果，采用连通分支法将离散标线点云转化成独立的标线对象，实现道路标线点云的分割。
步骤S12：基于步骤S11点云分割结果，依据道路标线国家标准GB5768-2009中标线尺寸，对分割后道路标线对象，求算其边界框的对角线长度，将对角线长度小于8m的标线对象作为小尺寸标线对象；
步骤S2：基于标线的形状特征和邻域空间结构构建由参考标线指向邻域对象的空间与语义关系图G＝(V,E)，V表示节点集合，由分割后的标线抽象得到，E为边集合，描述邻域内交通标线间的空间与语义关系，具体包括以下步骤：
步骤S21：基于参考标线对象的最小外接矩形，构建待测参考标线对象的八邻域分区。
步骤S211：如图2(a1)(a2)(a3)所示，以人行横道预告标识线为待测对象为例，提取待测对象的最小外包矩形，以矩形的四个顶点为起始点，分别以一定阈值r延长最小外包矩形四条边，从而得到八个邻域分区(如图2(b1)(b2)(b3)虚线方框)，在这里阈值r＝5.625m为1.5倍车道宽度，确保每个待测对象的八邻域中至少存在一个邻域分区内有参考对象。
步骤S212：若存在某一分区内出现多个参考对象(如图2中(b1))，则求算该分区内所有参考对象最小外包矩形中心与待测对象最小外包矩形中心的距离R，取距离集合中最小距离Rmin对应的参考对象作为该方向的节点；若某一邻域对象占据多个分区(如图2中(b1)、(b2))，则取该对象中心所在的分区作为该邻域对象的分区；若某一对象只有部分落入分区中(如图2中(b3))，为保持对象的完整度，则取完整的对象作为该分区对象节点(如图2中(c3))；若存在某一分区内无参考对象，则该生成空节点，其结点属性与边属性均为0值(如图2中(c1)、(c2)、(c3)所示)；
步骤S22：提取邻域分区内对象的Hu不变矩I、SSC特征、MBR面积F_MBR_Area以及延展度F_MBR_U构建形状特征F_shape描述标线对象，以此作为图结构G中节点集合V的每一个节点属性
Figure GDA0002123017060000071
该步骤具体通过以下分步骤实现：
步骤S221：通过对标线对象进行规则格网剖分，有点的格网赋值1，无点的格网为0，从而生成二值图像。针对二值图像，应用不变矩理论得到7个不变矩
Figure GDA0002123017060000072
标线对象不变矩取值为：
Figure GDA0002123017060000081
步骤S222：复杂道路环境下，部分标线点云对象存在一定缺失，鉴于轮廓边界噪声的干扰，融合形状区域信息和轮廓信息的SSC进行标线形状描述。并对SSC进行改进，使其在平移、缩放不变性的基础上增加旋转不变性。如图3中(a)所示，首先，采用MBR描述标线对象的大致轮廓信息，并提取MBR的四个顶点作为标线对象的轮廓特征点Pi(i＝1,2,3,4)；然后，以MBR中与轮廓特征点Pi相连的短边li为参考边，计算标线对象中各点Qj相对于点Pi的角度θij，确保提取的SSC特征具有旋转不变性：
Figure GDA0002123017060000082
式中
Figure GDA0002123017060000083
为轮廓特征点Pi短边的向量，vecij＝Qj-Pi为标线点Qj与轮廓特征点Pi连线的向量。以轮廓特征点Pi作为参考坐标原点建立对数极坐标系，分别将对数距离lgrs和θs进行S等分和T等分，从而将整个空间分成S×T个区域(如图3中(b)(c)(d)(e))，其中rs为MBR对角线长度，θs＝90°，本文设置S为6，T为2；最后，在完成空间区域划分后，以短边为起始边，长边为终止边，由内而外对各个区域进行顺序编码，并记录各个区域bini(k)的分布数目hi(k)，hi(k)即为当前轮廓特征点Pi的SSC特征，其计算公式如下：
hi(k)＝{Qj∈bini(k)},k＝1,2,...,S×T
建立每个轮廓特征点对数坐标系下的直方图，并将其联合用于构建整个标线对象的SSC特征，从而获得S×T维向量形式的形状特征描述子：
Figure GDA0002123017060000091
步骤S223：鉴于道路标线具有标准的尺寸信息，因此，本文通过计算分割后标线对象的MBR面积F_MBR_Area和延展度F_MBR_U描述标线的几何形状：
Figure GDA0002123017060000092
其中，LM和WM分别为标线对象MBR的长和宽。通过上述特征计算，本文提取的标线形状特征F_shape如下式所示：
F_shape＝[Is,F_SSC,F_MBR_Area,F_MBR_U]
步骤S224：为了减小图结构的向量维度，将得到的每个分区的节点属性F_shapei,i＝1,2,...,8转换成与待测对象F_shape0的形状相似度，用以作为图结构向量中每个节点的节点属性。其中形状相似度用欧式距离来计算
Figure GDA0002123017060000093
F_shapeij代表第i个分区的第j维节点属性，F_shape0j代表待测对象的第j维节点属性。
步骤S23：提取邻域内各对象相对于参考标线对象的距离Distl0、姿态差异Posl0，用以构建空间语义结构信息作为图结构G中边集合E的每一条图边属性
Figure GDA0002123017060000094
该步骤具体通过以下分步骤实现：
步骤S231：如图4(a)所示，通过计算参考标线对象与邻域标线对象之间的最短距离表示二者的距离关系Distl0
步骤S232：如图4(b)所示，通过以对象的二维坐标数据构建矩阵，提取矩阵最大特征值对应特征向量
Figure GDA0002123017060000095
描述对象的主方向，通过计算参考标线对象与邻域标线对象间特征向量的点积，描述二者的姿态差异Posl0。
步骤S3：基于图结构模型，自定义图结构节点与边存储编码规则，构建图结构的特征描述子；该步骤具体通过以下分步骤实现：
步骤S31：基于生成的图结构，为保证输入网络训练的向量维度属性的一致性，创建图结构节点与边的存储编码规则：将参考标线对象节点属性与边属性编码为0，以左上邻域分区为起始编码1，按照顺时针方向分别对八邻域内所有标线对象节点属性与边属性进行1-8规则编码存储。具体包括以下步骤：
步骤S311：如图2(c1)、(c2)，(c3)中紫红色节点所示，待测参考对象节点为v0，节点属性
Figure GDA0002123017060000101
步骤S312：如图2(c1)、(c2)，(c3)中橘黄色与绿色节点所示，以八邻域分区中左上方为第一分区，分区中节点属性为
Figure GDA0002123017060000102
边属性为
Figure GDA0002123017060000103
其属性编码都为1。按逆时针顺序从1至8分别对所有分区中对象节点和边进行编码存储，其中，各邻接对象节点属性为
Figure GDA0002123017060000104
边属性为
Figure GDA0002123017060000105
步骤S32：采用步骤S31定义的编码规则，融合邻域节点属性
Figure GDA0002123017060000106
和边属性
Figure GDA0002123017060000107
构建综合属性
Figure GDA0002123017060000108
用于编码存储邻域对象所对应节点(以下简称邻域节点)，描述参考标线对象(或参考节点)的邻域空间语义结构特性：
Figure GDA0002123017060000109
其中k为图节点数目，l为图边数目。
步骤S33：采用步骤S31定义的编码规则及步骤S32所得邻域标线对象特征描述符
Figure GDA0002123017060000111
融合参考标线对象，构建待测参考对象的图结构向量，作为该标线对象的特征描述子。具体包括：
如图5所示，将待测参考标线对象节点属性与邻域标线对象空间语义结构特性按照
Figure GDA0002123017060000112
生成57维的特征向量，合并相同类型待测对象的形成特征向量矩阵R(n×57)，建立每一类标线对象的特征描述子。
步骤S4：利用深度神经网络(Deep Neural Network，DNN)进行标线目标识别。该步骤具体通过以下分步骤实现：
步骤S41：提取标线点云的训练样本，构建基本的训练样本库，标线点云的训练样本包括：直行箭头、人行横道预告标识线、单向转向箭头、双向转向箭头、虚线型标线、人行横道。具体包括以下步骤：
步骤S411：采用人工交互的方式，提取不同道路场景中不同完整度、形状、邻域结构的直行箭头、人行横道预告标识线、单向转向箭头、双向转向箭头、虚线型标线、人行横道构建样本；并通过旋转、随机添加点噪声以及人工构建残缺标线和残缺标线结构等操作，扩增训练样本集总体容量，部分如图6所示。
步骤S42：基于特征描述子，构建和训练DNN网络，用训练好的DNN模型从车载激光点云目标分割结果中直接提取不同类型的标线。具体包括以下步骤：
步骤S421：将提取的特征描述子输入DNN进行标线识别提取时，首先需构建DNN模型，确定隐含层的节点数和隐含层的层数，在本实施例中，特征描述子为57维，因此DNN输入层节点数为57，构建四层隐含层，每层节点数分别为64、256、512、32，样本标线类型共6类，因此输出层节点数为6。
步骤S422：用人工交互方式构建的样本集作为训练数据，提取完整场景中分割与层次分类后的小尺寸标线的图结构作为测试数据，输入构建的DNN网络中学习和训练模型。
步骤S5:利用训练好的DNN模型从车载激光点云目标分割结果中提取出直行箭头、人行横道预告标识线、单向转向箭头、双向转向箭头、虚线型标线、人行横道。
本发明通过一种统一的图结构综合描述各类型道路标线的形状特征及其与邻域对象之间的空间语义关系，从而生成更深层次的特征表达模型。基于建立好的图结构模型，按照一定的编码规则生成相同维度的特征向量作为标线对象的特征描述子，实现多类型标线的自动识别以及精细区分形状相似标线。参考图7，②中#2单向转向箭头、④中#4人行横道预告标识线、⑥中#5多向转向箭头等显著形状差异的标线均被较好地识别，同时，通过①#1、③#3以及⑤可以看出，本发明提出的图结构模型描述子不仅能够识别形状差异较大的标线，对于直行箭头、虚线型标线、人行横道等形状相似标线也具有较好的区分效果，能够实现复杂城市场景中多类型道路标线的精细分类。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (3)

1.一种基于图结构的车载激光点云道路标线识别方法，其特征在于，包括以下步骤：
步骤S1：采集路面点云数据，并基于强度校正的标线分割和小尺寸目标提取,基于分割结果提取获得小尺寸标线对象，并作为参考标线对象；
步骤S2：根据获得的小尺寸标线对象，基于标线的形状特征和邻域空间结构构建由参考标线指向邻域对象的空间与语义关系图；
步骤S3：基于空间与语义关系图，自定义图结构节点与边存储编码规则，构建图结构的特征描述子；
步骤S4：根据图结构的特征描述子，构建并训练深度神经网络；
步骤S5:利用训练后的深度神经网络从车载激光点云目标分割结果中直接提取不同类型的标线；
所述步骤S1具体为：
步骤S11：基于强度增强后路面点云数据，采用k均值聚类与距离聚类的方法实现标线点云的分割；
步骤S12:基于步骤S11点云分割结果，通过层次分类法获得小尺寸标线对象，并作为参考标线对象；
所述步骤S2具体为：
步骤S21:基于参考标线对象的最小外接矩形，构建待测参考标线对象的八邻域分区，得到分割后各标线对象的搜索邻域；
步骤S22：以分割后标线对象为单位，提取邻域分区内标线对象的Hu不变矩I、实心形状上下文F_SSC、最小外包矩形面积F_MBR_Area以及延展度F_MBR_U，构建标线对象的形状特征F_shape，以此作为空间与语义关系图G中节点集合V的每一个节点属性
Figure FDA0003773545790000021
步骤S23：提取邻域分区内各对象相对于参考标线对象的距离Distl0、姿态差异Posl0，用以构建空间与语义结构信息作为图结构G中边集合E的每一条图边属性
Figure FDA0003773545790000022
所述步骤S3具体为：
步骤S31：基于生成的空间与语义关系图，为保证输入网络训练的向量维度属性的一致性，创建图结构节点与边的存储编码规则：将标线对象节点属性与边属性编码为0，以左上邻域分区为起始编码1，按照顺时针方向分别对八邻域内所有标线对象节点属性与边属性进行1-8规则编码存储；
步骤S32：采用步骤S31定义的编码规则，融合邻域节点属性
Figure FDA0003773545790000023
和边属性
Figure FDA0003773545790000024
构建综合属性
Figure FDA0003773545790000025
用于编码存储邻域对象所对应节点，描述参考标线对象的邻域空间语义结构特性：
Figure FDA0003773545790000026
其中k为图节点数目，l为图边数目；
步骤S33：基于步骤S31编码规则及步骤S32所得邻域标线对象特征描述符
Figure FDA0003773545790000027
融合参考标线对象，构建待测参考对象的图结构向量，作为该标线对象的特征描述子。
2.根据权利要求1所述的基于图结构的车载激光点云道路标线识别方法，其特征在于，所述步骤S4具体为：
步骤S41：提取标线点云的训练样本，构建基本的训练样本库；
步骤S42：基于特征描述子和训练样本库，构建并训练深度神经网络。
3.根据权利要求2所述的基于图结构的车载激光点云道路标线识别方法，其特征在于：所述标线点云的训练样本包括：直行箭头、人行横道预告标识线、单向转向箭头、双向转向箭头、虚线型标线、人行横道。
CN201910484566.9A 2019-06-05 2019-06-05 基于图结构的车载激光点云道路标线识别方法 Active CN110210415B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910484566.9A CN110210415B (zh) 2019-06-05 2019-06-05 基于图结构的车载激光点云道路标线识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910484566.9A CN110210415B (zh) 2019-06-05 2019-06-05 基于图结构的车载激光点云道路标线识别方法

Publications (2)

Publication Number Publication Date
CN110210415A CN110210415A (zh) 2019-09-06
CN110210415B true CN110210415B (zh) 2022-09-30

Family

ID=67790915

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910484566.9A Active CN110210415B (zh) 2019-06-05 2019-06-05 基于图结构的车载激光点云道路标线识别方法

Country Status (1)

Country Link
CN (1) CN110210415B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111340050B (zh) * 2020-03-27 2023-04-07 清华大学 一种地图道路全要素特征提取方法和系统
CN111708021B (zh) * 2020-07-15 2022-04-15 四川长虹电器股份有限公司 一种基于毫米波雷达的人员跟踪与识别算法
CN112131963B (zh) * 2020-08-31 2023-09-01 青岛秀山移动测量有限公司 一种基于行驶方向结构特征约束的道路标识线提取方法
CN112560747A (zh) * 2020-12-23 2021-03-26 苏州工业园区测绘地理信息有限公司 基于车载点云数据的车道边界交互式提取方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101053939A (zh) * 2006-04-14 2007-10-17 南京德朔实业有限公司 应用于工具的同源光分离标线方法及装置
JP2014106739A (ja) * 2012-11-27 2014-06-09 Clarion Co Ltd 車載画像処理装置
CN104197897A (zh) * 2014-04-25 2014-12-10 厦门大学 一种基于车载激光扫描点云的城区道路标线自动分类方法
CN106067003A (zh) * 2016-05-27 2016-11-02 山东科技大学 一种车载激光扫描点云中道路矢量标识线自动提取方法
CN106503678A (zh) * 2016-10-27 2017-03-15 厦门大学 基于移动激光扫描点云的道路标线自动检测和分类方法
CN106937531A (zh) * 2014-06-14 2017-07-07 奇跃公司 用于产生虚拟和增强现实的方法和系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10121082B2 (en) * 2015-10-07 2018-11-06 Honda Motor Co., Ltd. System and method for providing laser camera fusion for identifying and tracking a traffic participant

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101053939A (zh) * 2006-04-14 2007-10-17 南京德朔实业有限公司 应用于工具的同源光分离标线方法及装置
JP2014106739A (ja) * 2012-11-27 2014-06-09 Clarion Co Ltd 車載画像処理装置
CN104197897A (zh) * 2014-04-25 2014-12-10 厦门大学 一种基于车载激光扫描点云的城区道路标线自动分类方法
CN106937531A (zh) * 2014-06-14 2017-07-07 奇跃公司 用于产生虚拟和增强现实的方法和系统
CN106067003A (zh) * 2016-05-27 2016-11-02 山东科技大学 一种车载激光扫描点云中道路矢量标识线自动提取方法
CN106503678A (zh) * 2016-10-27 2017-03-15 厦门大学 基于移动激光扫描点云的道路标线自动检测和分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
马浩等.移动激光扫描数据的道路标线自动提取.《测绘科学》.2019,(第06期), *

Also Published As

Publication number Publication date
CN110210415A (zh) 2019-09-06

Similar Documents

Publication Publication Date Title
CN110210415B (zh) 基于图结构的车载激光点云道路标线识别方法
Garcia-Fidalgo et al. Vision-based topological mapping and localization methods: A survey
Lynen et al. Placeless place-recognition
Spinello et al. Multiclass multimodal detection and tracking in urban environments
Lin et al. A fast, complete, point cloud based loop closure for LiDAR odometry and mapping
Li et al. Semantic segmentation of road furniture in mobile laser scanning data
Xu et al. Unsupervised segmentation of point clouds from buildings using hierarchical clustering based on gestalt principles
CN104298971A (zh) 一种3d点云数据中的目标识别方法
Li et al. Classification of urban point clouds: A robust supervised approach with automatically generating training data
CN102622607A (zh) 一种基于多特征融合的遥感图像分类方法
CN103927511A (zh) 基于差异特征描述的图像识别方法
CN109993061B (zh) 一种人脸检测与识别方法、系统以及终端设备
Li et al. Place recognition based on deep feature and adaptive weighting of similarity matrix
Xu et al. Power line extraction from mobile LiDAR point clouds
Li et al. Building footprint generation through convolutional neural networks with attraction field representation
Singh et al. Acquiring semantics induced topology in urban environments
Zhang et al. A dual attention neural network for airborne LiDAR point cloud semantic segmentation
Zhao et al. Boundary regularized building footprint extraction from satellite images using deep neural network
Fang et al. A joint deep learning network of point clouds and multiple views for roadside object classification from lidar point clouds
Chen et al. Learning a dictionary of shape epitomes with applications to image labeling
Jang et al. Real-time driving scene understanding via efficient 3-D LiDAR processing
Garcia-Fidalgo et al. Methods for Appearance-based Loop Closure Detection
Feng et al. A hierarchical approach for point cloud classification with 3D contextual features
CN107798286B (zh) 基于标记样本位置的高光谱图像进化分类方法
Li et al. Instance-aware semantic segmentation of road furniture in mobile laser scanning data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant