CN117036733A - 一种城市道路场景特征线提取的方法 - Google Patents

一种城市道路场景特征线提取的方法 Download PDF

Info

Publication number
CN117036733A
CN117036733A CN202311016822.4A CN202311016822A CN117036733A CN 117036733 A CN117036733 A CN 117036733A CN 202311016822 A CN202311016822 A CN 202311016822A CN 117036733 A CN117036733 A CN 117036733A
Authority
CN
China
Prior art keywords
point
points
simulated
point cloud
urban road
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311016822.4A
Other languages
English (en)
Inventor
周汝琴
王鹏
戴晨光
汪汉云
张振超
张英健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Information Engineering University of PLA Strategic Support Force
Original Assignee
Information Engineering University of PLA Strategic Support Force
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Information Engineering University of PLA Strategic Support Force filed Critical Information Engineering University of PLA Strategic Support Force
Priority to CN202311016822.4A priority Critical patent/CN117036733A/zh
Publication of CN117036733A publication Critical patent/CN117036733A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于场景的同时定位与建图领域，具体涉及一种城市道路场景特征线提取的方法。本发明通过总结城市道路场景中常见且可靠的线的类别，构建包含特征线对应的类别标记的模拟数据集对获取道路场景特征线的分类模型进行训练，从而针对性地对城市道路场景特征线进行分类提取，且省去人工标记的操作，同时标记结果更加准确；还通过模拟点云中的各点对应的尺度不变的局部邻域特征，消除比例因子，实现尺度不变性，保证采用模拟数据集能够训练出对真实点云数据进行准确分类的分类模型；还根据分类模型对真实点云的不同二维变换的分类结果对各点的分类偏差进行判断，筛选分类偏差小的点作为分类准确度较高的特征线候选点，用于获取特征线。

Description

一种城市道路场景特征线提取的方法
技术领域
本发明属于场景的同时定位与建图领域，具体涉及一种城市道路场景特征线提取的方法。
背景技术
传统的LiDAR里程计方法主要包括基于局部特征描述符的配准方法和迭代最近点算法(Besl and McKay,1992)。然而，由于车载激光点云城市道路场景的特性，传统方法往往此类数据上表现较差。近年来，基于深度学习的里程计方法在公开数据集上显示出了令人鼓舞的成绩。这些方法具体可以分为两大类：基于二维投影的姿态回归网络和基于点对应关系解算网络。基于二维投影的方法不可避免的丢失了原始三维信息，导致里程计精度较低(Wang et al.,2021)。下面主要介绍基于点对应关系解算的网络。
针对无法找到精确对应的点对的问题，Lu等人(2019)提出了第一个端到端的、基于虚拟匹配点的点云配准网络DeepVCP。该网络采用PointNet++(Qi et al.,2017)来学习逐点局部特征，通过一个点加权层选择关键点，最后通过同名点生成层为提取的关键点生成虚拟匹配点。Wei等人(2020)基于LPD-Net(Liu et al.,2019)提出了一种基于注意力的点云配准网络LPDRegistration。该方法通过自注意力和互注意力机制来增强点云的结构信息和两幅点云之间的相关信息，然后通过虚拟对应点生成模块生成K个最佳对应点，最后通过可导的SVD算法求解变换参数。该类基于虚拟点生成的方法直接估计源点云中的关键点在目标点云中的虚拟位置，不需要剔除错误匹配点对，实现了与最先进的基于几何的方法相当的配准精度和运行效率。Choy等人(2020)提出了一个鲁棒性强且精度高的配准网络DGR。该网络首先使用FCGF(Choy et al.,2019)提取逐点特征，并使用一个6D卷积神经网络来评估点匹配关系的置信度，然后利用可微加权Procrustes(Yuan et al.,2020)算法估计姿态参数。该网络在室内数据集和室外数据集上均能达到较高配准精度，具有较强的适应性。Huang等人(2021)提出了一个能同时检测两幅点云重叠区域和求解相对变换参数的网络PREDATOR。该网络将点云编码为带有特征的超点(Super Points)，然后通过重叠注意力模块提取两幅点云间共同的上下文信息，并估计每个超点的重叠分数，最后通过解码器将共同的上下文信息和重叠分数进行解码，得到匹配概率。该方法在低重叠度的情况下能达到较高配准精度。Wang等人(2023)提出一种基于群旋转等变特征及局部旋转估计的点云配准框架RoReg，将旋转群特征及局部旋转引入关键点检测、特征描述、同名点预测、变换估计等点云配准全流程，显著提升点云配准可靠性及效率。总的来说，该类方法对初始位置不太敏感，且在数据质量较好的情况下能够取得较高精度，但是，它们大多以点为基元，数据量较大，且对于“近密远疏”的道路场景点云无法直接找到精准的点对。
点云的特征线提取主要可以分为两类：(1)将点云转为图像，依据图像特征线方法来实现点云特征线的提取；(2)通过分析点云几何特征(如曲率、法向量)来实现点云特征线的提取。
以第(2)类方法为例，针对建筑物建模或矢量信息提取中快速识别建筑物面和棱线信息的要求，辛群荣等人(2018)根据法向量和点到基准面的距离进行共享近邻聚类来快速提取建筑物面，并通过相交平面来提取建筑物棱线。该方法能应用于三维建筑物自动建模和测绘出图，但仅适用于平面与平面相交的棱线，类型单一。针对现有特征线提取算法没有顾及时间效率和点云边界与折边的区别的问题，任前程(2019)根据邻近投影点相邻向量夹角来实现边界线提取，利用邻近点向量k-均值聚类情况实现折边的提取。在建筑物、三维模型、桥梁上的一系列实验证明了该方法不仅能够适用于平面构造物，也适用于非平面构造物的折边提取。陈华伟等人(2019)以机械零件为主要研究对象，借鉴数字图像处理中的区域分割和边缘检测思想，提出基于曲率突变点的模型特征线提取方案，包含连通区域聚类的备选点集分离、局部影响区域腐蚀的点集细化以及组合搜索准则和主成分分析双向搜索的特征线分支截断和排序算法。针对逆向工程领域中过渡线及细节特征线提取不完整问题，史红霞和王建民(2021)提出一种基于自适应邻域的主成分分析法的法向量区域聚类的特征线提取方法。该方法具有良好的自适应性和准确性，能有效提取点云模型尖锐特征和细节特征，并尽可能多地保留模型过渡特征。针对噪声以及非均匀采样引起的特征线断裂和分叉等问题，喻孟娟和聂建辉(2022)首先基于PCPNET计算对噪声和采样变化鲁棒的曲率值和主曲率方向，然后采用加权二次曲线拟合局部曲率分布，最后基于曲率和距离的双边滤波算法进行迭代细化生成特征线。该方法能弥补传统采用简单阈值截断导致平坦区域特征线线无法正常提取的缺陷，在处理复杂特征、噪声和非均匀采样时均能够完整地提取出特征线。王金等人(2023)提出了一种面向高速立交桥中线提取的方法。该方法使用多重滤波过滤非路面点云、Alpha shapes算法识别道路边界、B样条曲线拟合道路中线；该方法在一定程度上克服了点云数据噪点多和道路中线提取受线形变化影响较大的问题。
对于城市道路场景复杂多变的情况，直接在车载激光点云上进行里程计存在以下挑战：
(1)原始点云数据量较大，直接以点为基元进行处理效率较低，无法达到实时处理的需求；(2)点云密度“近密远疏”，点的局部特征不一致，很难在两个连续帧间找到精确对应的点对；(3)场景中一些动态对象(如移动的车辆、行人、树叶)的点的运动具有不确定性，与LiDAR传感器的运动并不一致。这些问题导致现有基于点的里程计算法无法满足车载激光点云城市道路场景“精确、高效”的同时定位与建图需求。
综上所述，与点相比，线在城市道路场景的里程计任务中具有明显的优越性。一方面，线可以提供位置、方向和尺寸信息，具有更高的描述性、重复性和鲁棒性；另一方面，通过对特征线的提取可以有效的滤除车辆、行人、树叶等动态对象的点，避免其参与相对姿态的求解中。此外，以特征线作为里程计输入可以有效的减少输入点云量，从而提高处理效率。然而，目前大部分基本的线提取方法虽然能够保证检测准确性，但要么是无选择地提取场景中所有的特征线，要么是提取特定场景中的固定类型的特征线(例如建筑物轮廓线、折边、三维模型的特征线等)，无法并不针对特定目标，因此无法有选择性地仅检测城市道路场景中的可靠线(特征线)；而现有的基于深度学习的特征线提取方法虽然能够进行针对性检测，但依赖标记好的城市道路场景中的可靠线数据集进行模型训练，而数据集的获取通常需要人工标记大量特征线，既费时费力又无法保证准确性。
发明内容
本发明的目的在于提供一种城市道路场景特征线提取的方法，用于解决现有技术中线检测方法在难以兼顾对城市道路场景中特征线提取的针对性和准确性的问题。
为了实现上述目的，本发明提供了一种城市道路场景特征线提取的方法，包括如下步骤：
1)通过模拟基元对城市道路场景对应的真实点云进行模拟，并对模拟得到的点分别进行类别标记，得到城市道路场景对应的模拟点云；所述类别包括特征线对应的类别；
2)以所述模拟点云作为线提取网络的输入点云数据，对线提取网络进行训练，得到尺度不变的分类模型；所述线提取网络根据模拟点云中的各点对应的尺度不变的局部邻域特征，得到输入点云数据对应的特征线作为输出；
3)根据所述尺度不变的分类模型对城市道路场景对应的真实点云进行分类，并对分类结果进行校验，根据通过校验的点得到城市道路场景特征线。
上述技术方案的有益效果为：针对目前暂无车载激光点云线标记数据且人工标记费时费力、无法保证准确性的问题，通过总结车载激光点云道路场景中常见且可靠的线的类别，构建包含特征线对应的类别标记的模拟数据集；通过该标记好的模拟数据集对获取城市道路场景特征线的分类模型进行训练，即可针对性地对城市道路场景特征线进行分类提取，且省去人工标记的操作；同时，由于特征线对应的类别标记直接在构建模拟数据集的时候进行，因此标记结果更加准确；针对采用模拟数据集训练出的分类模型对真实点云数据进行分类时，模拟数据集与真实场景尺度不一致的问题，通过模拟点云中的各点对应的尺度不变的局部邻域特征，消除比例因子，实现尺度不变性，保证采用模拟数据集能够训练出对真实点云数据进行准确分类的分类模型。
进一步地，所述模拟基元包括模拟地面点、模拟杆状物体、模拟建筑物平面和模拟建筑物相交平面；所述类别还包括模拟地面点对应的类别；
所述特征线对应的类别包括模拟杆状物体、模拟建筑物平面与地面的交线以及模拟建筑物相交平面之间的交线对应的类别；
通过模拟基元对城市道路场景对应的真实点云进行模拟的方式包括：
模拟地面点通过多个圆环对城市道路场景对应的真实点云中的地面点进行模拟，模拟杆状物体通过直线对城市道路场景对应的真实点云中的杆状物体进行模拟，模拟建筑物平面通过平面对城市道路场景对应的真实点云中的模拟建筑物平面与地面的交线进行模拟，建筑物相交平面通过相交平面对城市道路场景对应的真实点云中的模拟建筑物平面与平面的交线进行模拟，得到模拟基元对应的点，从而对城市道路场景对应的真实点云进行模拟。
上述技术方案的有益效果为：根据城市道路场景的实际情况，选择能够作为反映城市道路场景特点的线作为特征线对应的模拟基元和类别，使提取的城市道路场景的特征线更符合实际情况。
进一步地，模拟地面点对城市道路场景对应的真实点云中的地面点进行模拟的方式为：
设置多个圆心相同的圆环作为模拟地面点，每个圆环的直径逐步增大且每两个相邻圆环之间的距离从里至外逐步增加；将模拟地面点中的每个圆环按照固定点数进行采样，得到模拟地面点对应的点云；对所述模拟地面点对应的点云进行裁剪，仅保留y坐标绝对值小于第一设定阈值的点，以形成模拟道路；
模拟杆状物体、模拟建筑物平面和模拟建筑物相交平面分别对城市道路场景对应的真实点云中的杆状物体、建筑物平面与地面的交线、建筑物平面与平面的交线进行模拟的方式为：
设置直线作为模拟杆状物体，设置平面作为模拟建筑物平面，设置相交平面作为建筑物相交平面；对所述直线、平面和相交平面按照设定密度进行采样，分别生成模拟杆状物体、模拟建筑物平面和模拟建筑物相交平面对应的模拟点云；对生成的模拟点云中的每个点云分别裁剪设定个数或设定比例的点，将裁剪后的各点云放置在模拟道路的设定位置。
上述技术方案的有益效果为：能够使生成的模拟点云更接近真实点云“近密远疏”的特性，也更符合实际道路场景情况；并且，生成的模拟杆状物体、模拟建筑物平面和模拟建筑物相交平面对应的模拟点云能够模拟真实场景中由于遮挡导致对象不完整的情况。
进一步地，通过模拟基元对城市道路场景对应的真实点云进行模拟的方式还包括：
对模拟基元对应的点在每个坐标轴方向上添加设定大小的零均值和标准偏差的高斯噪声，并从真实点云数据中随机裁剪设定个数的植被和车辆对应的点作为随机噪声点，将随机噪声点与添加零均值和高斯噪声后的模拟基元对应的点共同作为模拟得到的点。
上述技术方案的有益效果为：能够模拟真实点云的噪声，使模拟点云更接近城市道路场景的真实点云。
进一步地，对模拟得到的点分别进行类别标记的方式为：
将模拟得到的点中对应模拟杆状物体的点标记为第一类，将对应模拟建筑物平面中平面与地面交线的点标记为第二类，将对应模拟建筑物相交平面中平面与平面之间交线的点也标记为第二类，将其他点标记为第三类。
进一步地，所述模拟点云中的各点对应的尺度不变的局部邻域特征的获取方式为：
式中，f为尺度不变的局部特征，p′为模拟点云中的点，p′i为以p′为中心点的第i个距离最近点；
搜索p点的k个距离最近点{p1，p2，…，pk}，分别计算p点与k个距离最近点之间尺度不变的局部特征，作为p点对应的尺度不变的局部邻域特征。
进一步地，所述线提取网络包括特征编码器和解码器；
所述特征编码器用于提取输入点云数据中每个点对应的尺度不变的局部邻域特征的特征向量；
所述解码器用于将每个点对应的尺度不变的局部邻域特征的特征向量转换为大小为N×M的张量，其中N表示输入点的数量，M表示对模拟得到的点分别进行类别标记的类别数量；根据所述张量分别得到每个点属于各个类别的概率以及概率最大的类别，并将该点标记为该概率最大的类别。
进一步地，将所述第一类的序号设为1，将所述第二类的序号设为2，将所述第三类的序号设为0；
根据所述尺度不变的分类模型对城市道路场景对应的真实点云进行分类的方式为：
对城市道路场景对应的真实点云进行二维XOY平面随机扰动，每次生成一个扰动数据，扰动k次后生成扰动数据组PC＝{pc1,pc2,…,pci,…,pck}；其中，扰动数据pci为对真实点云进行第i次扰动得到的扰动结果；
将扰动数据组中的每个扰动数据分别作为输入点云数据，通过尺度不变的分类模型预测每个扰动数据中各点对应的类别；若某扰动数据中某点的类别序号大于0，则将该扰动数据中该点的标签值设置为1；最后将所有扰动数据中该点的标签值进行平均，若该点平均后的标签值大于设定标签值阈值，则将该点作为特征线候选点。
上述技术方案的有益效果为：针对模拟数据上训练的尺度不变的分类模型直接适用于真实数据效果差的问题，通过几何适配方式，根据尺度不变的分类模型对城市道路场景对应的真实点云的不同二维变换的分类结果，对真实点云数据中各点的分类偏差进行判断，并筛选分类偏差较小的点作为特征线候选点，因此能够得到具有较高分类准确度的特征线候选点。
进一步地，对分类结果进行校验，根据通过校验的点得到城市道路场景特征线的方式为：
通过区域增长算法对所有特征线候选点进行聚类，滤除聚类子簇点数小于设定点数阈值的簇；然后对剩余簇进行直线拟合得到拟合直线，并剔除离群点；再计算剔除离群点后的剩余点中每个点到该拟合直线的距离，保留距离小于设定距离阈值的点；最后对保留的距离小于设定距离阈值的点进行重复聚类，滤除离散点后，得到通过校验的点；将通过校验的点构成的线作为城市道路场景特征线。
上述技术方案的有益效果为：通过聚类、拟合、筛选拟合直线附近点、再次聚类的方式，对分类结果进行筛选校验，根据通过校验的点得到城市道路场景特征线，能够去除离散的、非真实的特征线点，提高城市道路场景特征线提取的准确性。
进一步地，所述特征编码器采用图注意力网络作为主干网络；
所述图注意力网络用于提取输入点云数据中每个点的局部邻域特征，并为该点的每个邻域节点分配不同的注意力得分；其中，某点的邻域节点指的是该点的k个距离最近点；
通过图注意力网络提取每个点的尺度不变的局部邻域特征后，采用softmax函数分别对每个点所有的邻域节点的注意力分数进行归一化；分别计算每个点归一化后的注意力分数与对应的尺度不变的局部邻域特征的线性组合，将所述线性组合分别作为输入点云数据中每个点的局部邻域特征对应的特征向量。
附图说明
图1为本发明城市道路场景特征线提取的方法实施例中城市道路场景特征线提取的方法的原理框图；
图2为本发明城市道路场景特征线提取的方法实施例中模拟基元的示意图；
图3为本发明城市道路场景特征线提取的方法实施例中城市道路场景对应的模拟点云的示意图；
图4为本发明城市道路场景特征线提取的方法实施例中线提取网络的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明了，以下结合附图及实施例，对本发明进行进一步详细说明。
城市道路场景特征线提取的方法实施例
本实施例给出了一种城市道路场景特征线提取的方法的技术方案，参照图1，包括如下步骤：
1)通过模拟基元对城市道路场景对应的真实点云进行模拟，并对模拟得到的点分别进行类别标记，得到城市道路场景对应的模拟点云；城市道路场景对应的模拟点云即为图1中用于训练尺度不变的分类模型的合成数据集。
一般来说，车载激光点云城市道路场景中的线主要分为四类：(1)建筑物与地面的交线；(2)建筑物不同立面之间的交线；(3)独立静止的杆状物体，例如路灯、路标识牌；(4)虚拟线，遮挡或设备限制导致扫描环上的边缘点形成的线。其中，前三类线比较可靠，能够作为反映城市道路场景的特征线。因此本实施例中，根据车载激光点云的特性，模拟基元包括模拟地面点、模拟杆状物体、模拟建筑物平面和模拟建筑物相交平面；类别标记时的类别包括特征线对应的类别以及模拟地面点对应的类别；其中，特征线对应的类别包括模拟杆状物体、模拟建筑物平面与地面的交线以及模拟建筑物相交平面之间的交线对应的类别；
参照图2，通过模拟基元对城市道路场景对应的真实点云进行模拟的方式包括：
①模拟地面点通过多个圆环对城市道路场景对应的真实点云中的地面点进行模拟：
如图2所示，设置多个圆心相同的圆环作为模拟地面点，为了使模拟点云更接近真实点云“近密远疏”的特性，每个圆环的直径逐步增大且每两个相邻圆环之间的距离从里至外逐步增加，且将模拟地面点中的每个圆环按照固定点数进行采样，得到模拟地面点对应的点云；对所述模拟地面点对应的点云进行裁剪，仅保留y坐标绝对值小于第一设定阈值的点(本实施例中第一设定阈值为3，即仅保留y坐标绝对值小于3米的点)，形成模拟道路，使形成的模拟道路更符合实际道路场景情况；
②模拟杆状物体、模拟建筑物平面和模拟建筑物相交平面分别对城市道路场景对应的真实点云中的杆状物体、建筑物平面与地面的交线、建筑物平面与平面的交线进行模拟：
如图2所示，设置直线作为模拟杆状物体，设置平面作为模拟建筑物平面(该平面中平面与地面的交线部分用灰色线条标识)，设置相交平面作为建筑物相交平面(两个平面中平面与平面的交线部分以及平面与地面的交线部分均用灰色线条标识)；对设置的直线、平面和相交平面按照设定密度进行采样，分别生成模拟杆状物体、模拟建筑物平面和模拟建筑物相交平面对应的模拟点云；为了模拟真实场景中由于遮挡导致对象不完整的情况，对生成的模拟点云中的每个点云分别裁剪设定个数或设定比例的点(本实施例中对每个点云裁剪10％的点)，将裁剪后的各点云放置在模拟道路的设定位置，根据实际城市道路场景的布局方式，本实施例的设定位置为模拟道路的两旁。
本实施例中，对模拟地面点中的圆环以及对直线、平面和相交平面的采样为均匀采样，在其他实施例中，也可以通过其他采样方式获取对应的点云数据。
按照上述模拟方式，得到模拟基元对应的点，从而对城市道路场景对应的真实点云进行模拟。其中，对模拟得到的点分别进行类别标记的方式为：
将模拟得到的点中对应模拟杆状物体的点标记为第一类，将对应模拟建筑物平面中平面与地面交线的点标记为第二类，将对应模拟建筑物相交平面中平面与平面之间交线的点也标记为第二类，将其他点标记为第三类。本实施例中，将模拟独立杆状物标记为类别1，将模拟建筑物与地面的交线和模拟建筑物平面与平面的交线标记为类别2，其余标记为类别0；类别的标记可以通过颜色区分，比如，类别1的点标记为绿色、类别2的点标记为红色、类别3的点标记为黑色等，或者可以通过灰度值(即颜色深浅)区分，此处不展开描述。
本实施例中，为了模拟真实点云的噪声，需要生成具有不同程度的噪声点云，因此对所有模拟基元对应的点在每个坐标轴方向上添加0.01mr(mesh resolution)的零均值和标准偏差的高斯噪声。此外，本实施例还从真实点云对应的真实扫描数据中随机裁剪了部分植被和车辆共2000个点作为随机噪声点，并将这些随机噪声点与添加零均值和高斯噪声后的模拟基元对应的点共同作为模拟得到的点。如图3所示，本步骤生成的模拟数据集(即模拟得到的点)包含2000个模拟点云，每个点云大约有12000个点。其中颜色最浅的点为对应模拟杆状物体的点，颜色第二浅的点为对应模拟建筑物平面中平面与地面交线的点和对应模拟建筑物相交平面中平面与平面之间交线的点，黑色(颜色最深的)为其他点。
本步骤主要针对目前暂无车载激光点云线标记数据且人工标记费时费力、无法保证准确性的问题，通过总结车载激光点云道路场景中常见且可靠的线的类别，构建包含特征线对应的类别标记的模拟数据集；通过该标记好的模拟数据集对获取城市道路场景特征线的分类模型进行训练，即可省去人工标记的操作，且由于类别标记直接在构建模拟数据集的时候进行，因此标记结果更加准确。并且尽可能地使模拟点云更接近城市道路场景的真实点云，便于为线提取网络的训练提供更接近真实点云数据的训练集。
2)以模拟点云作为线提取网络的输入点云数据，对线提取网络进行训练，得到尺度不变的分类模型；线提取网络根据模拟点云中的各点对应的尺度不变的局部邻域特征，得到输入点云数据对应的特征线作为输出；
线检测(线提取)可以看作是点云分类问题，若想采用模拟数据集训练出能够对真实点云数据进行准确分类的分类模型，其主要挑战是比例缩放问题，即模拟数据集与真实场景尺度不一致的问题：
(1)在真实的车载激光点云中，点云的密度随扫描距离而降低，当目标远离传感器时，体素下采样无法完全归一化密度；
(2)模拟数据生成没有考虑线段的比例。
若不处理上述问题，当训练和测试数据处于不同尺度时，网络模型将无法产生合理的预测。因此，本实施例通过模拟点云中的各点对应的尺度不变的局部邻域特征，消除比例因子，实现尺度不变性，保证采用模拟数据集能够训练出对真实点云数据进行准确分类的分类模型；模拟点云中的各点对应的尺度不变的局部邻域特征的计算方式具体为：
式中，f为尺度不变的局部特征，p′为模拟点云中的点，pi ′为以p′为中心点的第i个距离最近点；搜索p′点的k个距离最近点{p′ 1，p′ 2，…，p′ k}，分别计算p′点与k个距离最近点之间尺度不变的局部特征，作为p′点对应的尺度不变的局部邻域特征。也即获取尺度不变的局部特征f的方式为：对于点云中的每个点，以其为中心点，通过欧式距离计算并设定一个阈值得到它的邻域点，p’为中心点，p’i为相应中心点的邻域点，i为邻域点的下标。
如图4所示，线提取网络包括特征编码器和解码器；其中，特征编码器用于提取输入点云数据中每个点的局部邻域特征(即每个点对应的尺度不变的局部邻域特征)对应的特征向量；解码器用于将局部邻域特征对应的特征向量转换为大小为N×M的张量，其中N表示输入点的数量，M表示对模拟得到的点分别进行类别标记的类别数量，比如本实施例所标记的类别数量为3个，因此M＝3；然后通过Softmax函数对张量进行处理，分别得到每个点属于各个类别的概率，最后通过argmax函数得到每个点对应的概率最大的类别，并将该点标记为该概率最大的类别。例如，将模拟独立杆状物标记为类别1，将模拟建筑物与地面的交线和模拟建筑物平面与平面的交线标记为类别2，其余标记为类别0，则若某点属于类别0的概率最大，将该点标记为类别0；若属于类别1的概率最大，将该点标记为类别1；若属于类别2的概率最大，将该点标记为类别2。
特征编码器采用图注意力网络(GAT)作为主干网络；GAT是一种在图结构数据上运行的新型神经网络架构，利用屏蔽的自注意层来解决基于图卷积依赖于对全局图结构或其所有节点预先访问的缺点，并为邻域中的不同节点指定不同的权重。
本实施例中，图注意力网络用于提取输入点云数据中每个点的局部邻域特征，并为该点的每个邻域节点分配不同的注意力得分；其中，某点的邻域节点指的是该点的k个距离最近点；线提取网络进行特征线提取的过程中，首先使用DGL中的KNNGraph将输入点云数据转化为一个图结构数据，计算每个点与其对应的邻域点之间的距离，挑选k个最近邻点(即距离最近的点)，构建每个点与其k个最近邻点的边；然后通过图注意力网络提取每个点的尺度不变的局部邻域特征，采用softmax函数分别对每个点所有的邻域节点的注意力分数进行归一化；一个点归一化后的注意力分数能够与该点所有的邻域节点对应，且该点的尺度不变的局部邻域特征中的各尺度不变的局部特征也能够与该点所有的邻域节点对应，因此分别计算每个点归一化后的注意力分数与对应的尺度不变的局部邻域特征的线性组合，将该线性组合分别作为输入点云数据中每个点的局部邻域特征对应的特征向量。
具体地，GAT的局部特征编码函数如下：
h(xj，Sxi)＝h(xj，Sxi-xj)
其中，xj是点云数据中的第j个特征点，Sxi是特征空间S中xj对应的邻域点，h是可学习模型。在原始的GAT层中，x表示欧几里得空间(欧氏空间)中的点坐标。在本实施例中，计算的是每个点的20个最近邻域的尺度不变的局部特征f；
因此，本实施例中，第一个EdgeConv层输入的是尺度不变的局部特征f，以代替欧氏空间中的坐标x，但Efi仍然是欧氏空间中点pj的第i个邻域点的特征，而不是特征空间中fj的邻域点；由于在生成尺度不变的局部特征时，原始欧氏空间已经丢失，因此在原始欧氏空间中保留相邻关系可以减少进一步的信息丢失，则对应的GAT的局部特征编码函数如下式所示：
h(fj，Efi)＝h(fj，Efi-fj)
其中，fj是点云数据中的第j个点的尺度不变的局部特征，Efi是特征空间E中fj对应的邻域点的尺度不变的局部特征，h是可学习模型。
本实施例中，训练线提取网络所采用的损失函数Lseg是一个标准的交叉熵损失，计算公式如下：
其中，L为交叉熵损失，p＝[p0,p1,…,pc-1]是一个概率分布，其中的每个元素pi表示样本属于第i类的概率；y＝[y0,y1,…,yc-1]是样本标签的one-hot表示，当样本属于第i类别时，yi＝1；否则yi＝0；c是样本标签。当L的值满足设定阈值范围时，视为训练完成，将训练完成的线提取网络作为尺度不变的分类模型。
3)根据尺度不变的分类模型对城市道路场景对应的真实点云进行分类，并对分类结果进行校验，根据通过校验的点得到城市道路场景特征线。
由于模拟数据上训练的尺度不变的分类模型直接适用于真实数据时，得到的分类结果仍存在偏差，则根据尺度不变的分类模型对城市道路场景对应的真实点云进行分类的方式采用几何适配方案，具体为：
对城市道路场景对应的真实点云进行二维XOY平面随机扰动，每次生成一个扰动数据，扰动k次后生成扰动数据组PC＝{pc1,pc2,…,pci,…,pck}；其中，扰动数据pci即为对真实点云进行第i次扰动得到的扰动结果；本实施例中，对点云进行二维随机扰动的方式即为对点云中的各点进行随机旋转变换，由于城市道路场景中的点云数据的偏差通常出现在地面上，即x轴、y轴方向，因此对点云中的各点进行随机旋转变换主要绕z轴旋转，即进行二维平面随机扰动时选择XOY平面。对点云进行二维平面(XOY平面)随机扰动即为随机生成若干可以使点云绕Z垂直轴旋转的变换矩阵，进行数据增广；对点云进行随机扰动，变换的只是点的相对坐标值，一帧点云整体是不变的，同时因为分类模型在预测点的类别时会有不稳定性和误差，使用分类模型对这若干个生成的随机扰动点云进行分类相当于对一帧点云里的每一个点的类别判断了若干次，则可以根据多次判断的结果，判断出点的最大可能类别是什么。
将扰动数据组中的每个扰动数据分别作为输入点云数据，通过尺度不变的分类模型预测每个扰动数据中各点对应的类别；按照上述将模拟独立杆状物标记为类别1，将模拟建筑物与地面的交线和模拟建筑物平面与平面的交线标记为类别2，其余标记为类别0的分类方法，若当前某扰动数据中某点的类别序号大于0，即说明该点被分类为模拟独立杆状物、模拟建筑物与地面的交线或模拟建筑物平面与平面的交线，则将该扰动数据中该点的标签值设置为1；最后将所有扰动数据中该点的标签值进行平均，若该点平均后的标签值大于设定标签值阈值，则将该点作为特征线候选点，得到的各特征线候选点即作为尺度不变的分类模型对城市道路场景对应的真实点云进行分类的分类结果；本实施例中设定标签值阈值为0.8。
上述分类方式相当于根据对真实点云的不同二维变换的分类结果，对真实点云数据中各点的分类偏差进行判断(平均后的标签值越大说明该点在更多次的分类中被分为模拟独立杆状物、模拟建筑物与地面的交线或模拟建筑物平面与平面的交线，则分类偏差越小)，并筛选分类偏差较小的点作为特征线候选点，因此能够得到具有较高分类准确度的特征线候选点。
由于上述分类结果对应的特征线候选点依旧包含部分离散的、非真实的特征线点，则本实施例中还对分类结果进行校验，根据通过校验的点得到城市道路场景特征线，具体为：
首先使用区域增长算法对特征线候选点进行聚类，滤除聚类子簇点数小于设定点数阈值的簇，本实施例中是滤除聚类子簇点数小于5的簇；然后对剩余簇采用RANSAC进行直线拟合得到拟合直线，并剔除离群点；再计算剔除离群点后的剩余点中每个点到该拟合直线的距离，保留距离小于设定距离阈值的点；最后对保留的距离小于设定距离阈值的点进行重复聚类，滤除离散点后，得到最终剩余的点即为通过校验的点；将通过校验的点构成的线作为城市道路场景特征线。经过上述校验能够去除离散的、非真实的特征线点，提高城市道路场景特征线提取的准确性；
本发明具有如下特点：
1)针对目前暂无车载激光点云线标记数据且人工标记费时费力、无法保证准确性的问题，通过总结车载激光点云道路场景中常见且可靠的线的类别，构建包含特征线对应的类别标记的模拟数据集；通过该标记好的模拟数据集对获取城市道路场景特征线的分类模型进行训练，即可针对性地对城市道路场景特征线进行分类提取，且省去人工标记的操作；同时，由于特征线对应的类别标记直接在构建模拟数据集的时候进行，因此标记结果更加准确。
2)针对采用模拟数据集训练出的分类模型对真实点云数据进行分类时，模拟数据集与真实场景尺度不一致的问题，通过模拟点云中的各点对应的尺度不变的局部邻域特征，消除比例因子，实现尺度不变性，保证采用模拟数据集能够训练出对真实点云数据进行准确分类的分类模型；
3)针对模拟数据上训练的尺度不变的分类模型直接适用于真实数据效果差的问题，通过几何适配方式，根据尺度不变的分类模型对城市道路场景对应的真实点云的不同二维变换的分类结果，对真实点云数据中各点的分类偏差进行判断，并筛选分类偏差较小的点作为特征线候选点，因此能够得到具有较高分类准确度的特征线候选点。
4)通过聚类、拟合、筛选拟合直线附近点、再次聚类的方式，对分类结果进行筛选校验，根据通过校验的点得到城市道路场景特征线，能够去除离散的、非真实的特征线点，提高城市道路场景特征线提取的准确性。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。

Claims (10)

1.一种城市道路场景特征线提取的方法，其特征在于，包括如下步骤：
1)通过模拟基元对城市道路场景对应的真实点云进行模拟，并对模拟得到的点分别进行类别标记，得到城市道路场景对应的模拟点云；所述类别包括特征线对应的类别；
2)以所述模拟点云作为线提取网络的输入点云数据，对线提取网络进行训练，得到尺度不变的分类模型；所述线提取网络根据模拟点云中的各点对应的尺度不变的局部邻域特征，得到输入点云数据对应的特征线作为输出；
3)根据所述尺度不变的分类模型对城市道路场景对应的真实点云进行分类，并对分类结果进行校验，根据通过校验的点得到城市道路场景特征线。
2.根据权利要求1所述的城市道路场景特征线提取的方法，其特征在于，所述模拟基元包括模拟地面点、模拟杆状物体、模拟建筑物平面和模拟建筑物相交平面；所述类别还包括模拟地面点对应的类别；
所述特征线对应的类别包括模拟杆状物体、模拟建筑物平面与地面的交线以及模拟建筑物相交平面之间的交线对应的类别；
通过模拟基元对城市道路场景对应的真实点云进行模拟的方式包括：
模拟地面点通过多个圆环对城市道路场景对应的真实点云中的地面点进行模拟，模拟杆状物体通过直线对城市道路场景对应的真实点云中的杆状物体进行模拟，模拟建筑物平面通过平面对城市道路场景对应的真实点云中的模拟建筑物平面与地面的交线进行模拟，建筑物相交平面通过相交平面对城市道路场景对应的真实点云中的模拟建筑物平面与平面的交线进行模拟，得到模拟基元对应的点，从而对城市道路场景对应的真实点云进行模拟。
3.根据权利要求2所述的城市道路场景特征线提取的方法，其特征在于，模拟地面点对城市道路场景对应的真实点云中的地面点进行模拟的方式为：
设置多个圆心相同的圆环作为模拟地面点，每个圆环的直径逐步增大且每两个相邻圆环之间的距离从里至外逐步增加；将模拟地面点中的每个圆环按照固定点数进行采样，得到模拟地面点对应的点云；对所述模拟地面点对应的点云进行裁剪，仅保留y坐标绝对值小于第一设定阈值的点，以形成模拟道路；
模拟杆状物体、模拟建筑物平面和模拟建筑物相交平面分别对城市道路场景对应的真实点云中的杆状物体、建筑物平面与地面的交线、建筑物平面与平面的交线进行模拟的方式为：
设置直线作为模拟杆状物体，设置平面作为模拟建筑物平面，设置相交平面作为建筑物相交平面；对所述直线、平面和相交平面按照设定密度进行采样，分别生成模拟杆状物体、模拟建筑物平面和模拟建筑物相交平面对应的模拟点云；对生成的模拟点云中的每个点云分别裁剪设定个数或设定比例的点，将裁剪后的各点云放置在模拟道路的设定位置。
4.根据权利要求2所述的城市道路场景特征线提取的方法，其特征在于，通过模拟基元对城市道路场景对应的真实点云进行模拟的方式还包括：
对模拟基元对应的点在每个坐标轴方向上添加设定大小的零均值和标准偏差的高斯噪声，并从真实点云数据中随机裁剪设定个数的植被和车辆对应的点作为随机噪声点，将随机噪声点与添加零均值和高斯噪声后的模拟基元对应的点共同作为模拟得到的点。
5.根据权利要求1-4任一项所述的城市道路场景特征线提取的方法，其特征在于，对模拟得到的点分别进行类别标记的方式为：
将模拟得到的点中对应模拟杆状物体的点标记为第一类，将对应模拟建筑物平面中平面与地面交线的点标记为第二类，将对应模拟建筑物相交平面中平面与平面之间交线的点也标记为第二类，将其他点标记为第三类。
6.根据权利要求1-4任一项所述的城市道路场景特征线提取的方法，其特征在于，所述模拟点云中的各点对应的尺度不变的局部邻域特征的获取方式为：
式中，f为尺度不变的局部特征，p′为模拟点云中的点，p′i为以p′为中心点的第i个距离最近点；
搜索p′点的k个距离最近点{p′1，p′2，…，p′k}，分别计算p′点与k个距离最近点之间尺度不变的局部特征，作为p′点对应的尺度不变的局部邻域特征。
7.根据权利要求1-4任一项所述的城市道路场景特征线提取的方法，其特征在于，所述线提取网络包括特征编码器和解码器；
所述特征编码器用于提取输入点云数据中每个点对应的尺度不变的局部邻域特征的特征向量；
所述解码器用于将每个点对应的尺度不变的局部邻域特征的特征向量转换为大小为N×M的张量，其中N表示输入点的数量，M表示对模拟得到的点分别进行类别标记的类别数量；根据所述张量分别得到每个点属于各个类别的概率以及概率最大的类别，并将该点标记为该概率最大的类别。
8.根据权利要求5所述的城市道路场景特征线提取的方法，其特征在于，将所述第一类的序号设为1，将所述第二类的序号设为2，将所述第三类的序号设为0；
根据所述尺度不变的分类模型对城市道路场景对应的真实点云进行分类的方式为：
对城市道路场景对应的真实点云进行二维XOY平面随机扰动，每次生成一个扰动数据，扰动k次后生成扰动数据组PC＝{pc1,pc2,…,pci,…,pck}；其中，扰动数据pci为对真实点云进行第i次扰动得到的扰动结果；
将扰动数据组中的每个扰动数据分别作为输入点云数据，通过尺度不变的分类模型预测每个扰动数据中各点对应的类别；若某扰动数据中某点的类别序号大于0，则将该扰动数据中该点的标签值设置为1；最后将所有扰动数据中该点的标签值进行平均，若该点平均后的标签值大于设定标签值阈值，则将该点作为特征线候选点。
9.根据权利要求1-4任一项所述的城市道路场景特征线提取的方法，其特征在于，对分类结果进行校验，根据通过校验的点得到城市道路场景特征线的方式为：
通过区域增长算法对所有特征线候选点进行聚类，滤除聚类子簇点数小于设定点数阈值的簇；然后对剩余簇进行直线拟合得到拟合直线，并剔除离群点；再计算剔除离群点后的剩余点中每个点到该拟合直线的距离，保留距离小于设定距离阈值的点；最后对保留的距离小于设定距离阈值的点进行重复聚类，滤除离散点后，得到通过校验的点；将通过校验的点构成的线作为城市道路场景特征线。
10.根据权利要求7所述的城市道路场景特征线提取的方法，其特征在于，所述特征编码器采用图注意力网络作为主干网络；
所述图注意力网络用于提取输入点云数据中每个点的局部邻域特征，并为该点的每个邻域节点分配不同的注意力得分；其中，某点的邻域节点指的是该点的k个距离最近点；
通过图注意力网络提取每个点的尺度不变的局部邻域特征后，采用softmax函数分别对每个点所有的邻域节点的注意力分数进行归一化；分别计算每个点归一化后的注意力分数与对应的尺度不变的局部邻域特征的线性组合，将所述线性组合分别作为输入点云数据中每个点的局部邻域特征对应的特征向量。
CN202311016822.4A 2023-08-11 2023-08-11 一种城市道路场景特征线提取的方法 Pending CN117036733A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311016822.4A CN117036733A (zh) 2023-08-11 2023-08-11 一种城市道路场景特征线提取的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311016822.4A CN117036733A (zh) 2023-08-11 2023-08-11 一种城市道路场景特征线提取的方法

Publications (1)

Publication Number Publication Date
CN117036733A true CN117036733A (zh) 2023-11-10

Family

ID=88642625

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311016822.4A Pending CN117036733A (zh) 2023-08-11 2023-08-11 一种城市道路场景特征线提取的方法

Country Status (1)

Country Link
CN (1) CN117036733A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117351482A (zh) * 2023-12-05 2024-01-05 国网山西省电力公司电力科学研究院 一种用于电力视觉识别模型的数据集增广方法、系统、电子设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117351482A (zh) * 2023-12-05 2024-01-05 国网山西省电力公司电力科学研究院 一种用于电力视觉识别模型的数据集增广方法、系统、电子设备和存储介质
CN117351482B (zh) * 2023-12-05 2024-02-27 国网山西省电力公司电力科学研究院 一种用于电力视觉识别模型的数据集增广方法、系统、电子设备和存储介质

Similar Documents

Publication Publication Date Title
Chen et al. Vehicle detection in high-resolution aerial images via sparse representation and superpixels
Wu et al. Rapid localization and extraction of street light poles in mobile LiDAR point clouds: A supervoxel-based approach
Xu et al. Reconstruction of scaffolds from a photogrammetric point cloud of construction sites using a novel 3D local feature descriptor
CN109598794B (zh) 三维gis动态模型的构建方法
CN111815776A (zh) 综合机载和车载三维激光点云及街景影像的三维建筑物精细几何重建方法
CN114694038A (zh) 基于深度学习的高分辨率遥感影像分类方法及系统
CN108305260A (zh) 一种图像中角点的检测方法、装置及设备
CN112329559A (zh) 一种基于深度卷积神经网络的宅基地目标检测方法
CN109993803A (zh) 城市色调的智能分析与评价方法
CN111242223B (zh) 一种基于街景影像多特征融合的街道空间品质评价方法
CN110188632A (zh) 一种用地信息普查数据处理系统
CN117036733A (zh) 一种城市道路场景特征线提取的方法
Liu et al. Building footprint extraction from unmanned aerial vehicle images via PRU-Net: Application to change detection
WO2023060632A1 (zh) 基于点云数据的街景地物多维度提取方法和系统
CN110909656A (zh) 一种雷达与摄像机融合的行人检测方法和系统
Zhou et al. Automatic responsive-generation of 3D urban morphology coupled with local climate zones using generative adversarial network
CN111626971B (zh) 具有图像语义感知的智慧城市cim实时成像方法
CN115588178B (zh) 一种高精地图要素自动化提取的方法
CN105956607A (zh) 一种改进的高光谱图像分类方法
CN116052110A (zh) 一种路面标线缺损智能定位方法及系统
CN112115771B (zh) 一种基于星形生成对抗网络的步态图像合成方法
CN112926482A (zh) 一种基于多尺度残差卷积神经网络的道路提取方法
Suveg et al. 3D Building Reconstruction by Map Based Generation and Evaluation of Hypotheses.
CN111784822A (zh) 具有图像语义感知的智慧城市cim实时成像方法
Jiang et al. Application of Neural Network in Image Detection of Illegal Billboards

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination