CN115588178B - 一种高精地图要素自动化提取的方法 - Google Patents

一种高精地图要素自动化提取的方法 Download PDF

Info

Publication number
CN115588178B
CN115588178B CN202211587117.5A CN202211587117A CN115588178B CN 115588178 B CN115588178 B CN 115588178B CN 202211587117 A CN202211587117 A CN 202211587117A CN 115588178 B CN115588178 B CN 115588178B
Authority
CN
China
Prior art keywords
point cloud
point
semantic
points
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211587117.5A
Other languages
English (en)
Other versions
CN115588178A (zh
Inventor
白慧鹏
冯建亮
朱必亮
钱志奇
李俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Speed China Technology Co Ltd
Original Assignee
Speed Space Time Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Speed Space Time Information Technology Co Ltd filed Critical Speed Space Time Information Technology Co Ltd
Priority to CN202211587117.5A priority Critical patent/CN115588178B/zh
Publication of CN115588178A publication Critical patent/CN115588178A/zh
Application granted granted Critical
Publication of CN115588178B publication Critical patent/CN115588178B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种高精地图要素自动化提取的方法，步骤为：S1模型训练：对采集的点云数据进行预处理，将处理后的点云数据作为基于深度学习的语义点云自动化提取模型训练的输入，进行语义点云自动化提取模型训练；S2语义化点云：对增强处理后的点云数据采用步骤S1中的语义点云自动化提取模型进行语义化分割处理，获得语义点云数据；S3单体化点云：对语义点云数据进行单体化处理，获得单体化点云数据；S4自动化提取：对单体化点云数据进行点要素、线要素和面要素的几何信息的自动化提取，获得高精地图的三维矢量要素。该方法可以有效自动化提取高精地图要素信息，提高了高精地图的生产效率，减少了生产成本。

Description

一种高精地图要素自动化提取的方法
技术领域
本发明涉及高精地图数据生产技术领域，具体涉及一种基于深度学习技术与点云处理算法相结合的高精地图要素自动化提取的方法。
背景技术
随着自动驾驶技术的蓬勃发展，对高精地图的需求日趋庞大。行业对高精地图的解读丰富，对应的高精地图标准也有所不同。以往基于传统人工制图方式的高精地图生产已经不能满足目前高精地图数据量和快速更新的需求。
而现有高精地图数据生产过程中，要素种类繁杂多样，自动分类精度不高，人工绘制工作量大等问题，且存在大量的数据需要内业人员花费大量时间进行人工判读，语义信息提取，属性录入等非自动化步骤。
中国专利文献CN 115147609 A公开了一种地图要素特征提取方法、装置、电子设备、存储介质及产品，涉及自动驾驶和智能交通技术领域，尤其涉及用于自动驾驶的高精地图的要素特征的技术领域。具体实现方案为：获取地图的线性要素特征，并获取所述自动驾驶车辆行驶的路径轨迹线；基于所述线性要素特征与所述路径轨迹线之间的距离，对所述线性要素特征进行聚类，确定至少一个线性要素特征簇；确定每个所述线性要素特征簇中缺失的线性要素特征，并生成与所述缺失的线性要素特征对应虚拟线性要素特征；提取所述虚拟线性要素特征。通过本公开可以提高高精地图的作业生成效率。该方法主要解决问题是提取线性要素中因遮挡存在缺失的问题。
中国专利文献CN 109215487 A公开了一种基于深度学习的高精地图制作方法，涉及高精地图制作技术领域，所述高精地图制作方法包括：利用视觉系统和定位系统采集图像信息和位置信息；对图像信息中的高精地图要素和场景进行分类标注；采用深度学习算法根据图像标注成果训练图像识别模型；根据图像识别模型的训练成果和采集的位置信息对高精地图的要素进行精准测量；人工审核图像识别模型训练成果中的错误，并迭代优化图像模型，进而提示高精地图测量精度和自动化程度；根据优化的图像识别模型自动化合成高精地图。该方法中只是采用的深度学习技术，并未解决高精地图要素的识别分类和语义信息自动提取等问题。
因此，如何解决以激光点云语义分割技术为基础，在高精地图要素生产过程中点云数据的高精地图要素的识别分类、语义信息的自动提取等问题。
发明内容
本发明要解决的技术问题是提出一种基于深度学习与点云算法相结合的高精地图要素自动化提取的方法作为高精地图一体化生产流程的解决方案，其采用深度学习技术结合一系列点云处理算法，提高高精地图要素几何信息提取的自动化水平以及精度，改变传统制图方式的作业流程，极大提高自动化程度，降低内业人员的劳动强度，缩减高精地图成本、提高高精地图更新效率。
为了解决上述技术问题，本发明采用的技术方案是：该高精地图要素自动化提取的方法，具体包括以下步骤：
S1模型训练：对采集的点云数据进行预处理，将处理后的点云数据作为基于深度学习的语义点云自动化提取模型训练的输入，进行语义点云自动化提取模型训练，并输出语义点云自动化提取模型；
S2语义化点云：对增强处理后的点云数据采用步骤S1中得到的语义点云自动化提取模型进行语义化分割处理，获得语义点云数据；
S3单体化点云：对步骤S2中获得的语义点云数据进行单体化处理，获得单体化点云数据；
S4自动化提取：对单体化点云数据进行点要素、线要素和面要素的几何信息的自动化提取，获得高精地图的三维矢量要素。
采用上述技术方案，通过深度学习技术进行语义分割，再进行单体化处理，最后结合点云处理算法进行点、线、面要素的自动提取，从而获得高精地图的三维矢量要素。该技术方案针对高精地图生产过程中工作强度大的问题，研发了基于深度学习语义分割与点云处理算法相结合的高精地图要素自动化提取技术体系，其中主要包括优化改进了基于深度学习的高精地图自动化分类技术，建立了高精地图要素语义点云自动化提取模型体系，分别在数据质量评估，点云数据分类，矢量要素提取等多个方面提高了高精地图生产的效率与精度。
优选地，所述步骤S1的具体步骤为：
S11数据准备：对采集的点云数据依次进行标注、清洗和增强处理，获得增强处理后的点云数据；
S12模型准备：分别定义模型训练所需的网络、数据、损失函数及优化器和评估训练结果的指标，为模型训练做准备；
S13模型训练：设置超参，将增强处理后的点云数据作为基于深度学习的语义点云自动化提取模型训练的输入，进行语义点云自动化提取模型训练，再对训练完成的点云语义分割算法模型进行精度验证，并输出满足泛性的语义点云自动化提取模型。
优选地，所述步骤S13具体包括以下步骤：
S131：设置超参，包括学习速率、迭代次数、卷积核的大小和激活函数的选择；
S132：将增强处理后的点云数据作为基于深度学习的语义点云自动化提取模型训练的输入，进行语义点云自动化提取模型训练；
S133：判断训练获得的语义点云自动化提取模型输出的结果是否为全局最优，若是全局最优，则转至步骤S134验证该语义点云自动化提取模型的精度；若不是全局最优，则返回步骤S132重新进行该语义点云自动化提取模型的训练，循环步骤S132~S133，直至输出的结果为全局最优；
S134：若满足精度，则输出该语义点云自动化提取模型，并转至步骤S135评定该语义点云自动化提取模型是否满足泛性；若不满足精度，则返回步骤S131，重新设置超参，循环步骤S131~S134，直至训练获得的语义点云自动化提取模型满足精度验证，即在测试数据集中语义分割的准确率大于90%；
S135：若满足泛性评定，即在项目点云数据中的点云语义分割精度大于90%，则进行模型部署应用；若不满足泛性评定，则返回步骤S12，重新进行参数定义，并循环步骤S131~S135直至训练获得的语义点云自动化提取模型满足泛性评定。
优选地，所述步骤S2的具体步骤为：
S21：首先对采集的海量的点云数据进行降采样，建立每个保留的特征点和过滤掉的非特征点的关系；
S22：然后对降采样后的特征点进行属性判断，确定属性后再将特征点属性分配给非特征点；
S23：采用语义分割方法对三维点云坐标和标志牌类的小目标检测进行分割，完成数据的语义分割，获得语义点云数据。
上述技术方案中，完成语义分割的过程，从策略上讲，就是使用简单快速的随机采样方法来大大降低点密度，同时应用设计的局部特征聚合器来保留突出的特征，这使整个网络都能在效率和有效性之间取得良好的平衡。
优选地，所述步骤S23的具体步骤为：
S231：对于三维点云坐标信息输入，融合RGB信息并且利用VFE（Voxel FeatureEncoding）模型结构挖掘1088维特征结构信息作为多层感知机的信息输入；
S232：对于标志牌类的小目标检测，在语义点云自动化提取模型中加入特征金字塔结构（FPN），并在每个层级采用MSG（Multi-scale grouping）或MRG（Multi-resolutiongrouping）策略充分利用各阶段的特征信息；
S233：若出现数据类别误差超过设定误差范围，则采用Focal Loss思想对损失函数进行改进，减少数据类别的误差，其损失函数如下所示：
；
其中，为初始交叉损失函数，为类别间的权重参数，为简单困难样本调节因子，为聚焦参数。通过该方法可以减小主体类别少对损失函数的影响，利用以上方法以达到提高模型精度和稳定性的目的。
优选地，所述步骤S3的具体步骤为：
S31：从语义点云数据中任意选取一个未处理的点；
S32：判断步骤S31中选取的点是否为核心点，若是核心点，则找出所有与该点密度相连的对象，形成一个点云簇；若不是核心点，则返回步骤S31，重新选取一个点；
S33：循环步骤S31~S32，直至处理完语义点云数据中所有的点。
优选地，在所述步骤S3中若语义点云数据中的某一类别包含的点云数量少于设定的数量阈值一时，则将该类别排除。这样的操作是为了达到进一步去噪的目的。
优选地，所述步骤S4中对于道路标识要素采用模板匹配的方式进行道路标识边界信息提取，具体步骤为：
S4-11：首先结合国家道路交通标牌、标识、标志、标线的设置规范，选择道路标识的角点作为匹配的关键特征；
S4-12：以提取的道路标识的点云集合为目标对象，以制作的道路标识的角点坐标集合为参考对象进行匹配；
S4-13：分别计算目标对象与参考对象的质心坐标，将参考对象通过以目标对象的质心为起点，参考对象的质心为终点的向量平移至目标对象的位置；
S4-14：在目标对象的点云集合中查找与参考对象中特征点的距离最近点形成点云对；
S4-15：通过SVD分解法求得使所述步骤S4-14的对应的点云对的平均距离最小的刚体变换，以及求得平移参数和旋转参数；
S4-16：对参考对象使用步骤S4-15求得的平移参数和旋转参数，得到新点集；
S4-17：以步骤S4-16中得到的新点集作为参考对象和目标对象中对应的点云对的距离之和作为该次匹配得分；
S4-18：重复步骤S4-12~S4-17，若匹配得分小于设定匹配阈值或匹配次数达到最大值，则停止迭代计算；
S4-19：将目标对象绕z轴逆时针旋转5°，重复步骤S4-17，取所有匹配得分最小的结果作为最优模板匹配。
优选地，所述步骤S4中对于杆状要素信息的提取，首先利用激光点云分割技术并结合点云聚类算法提取出单个点云杆件对象，再将通过语义分割技术手段得到的单个点云杆件对象的语义信息，通过计算该单个点云杆件的语义信息OBB包围盒，进而得到单个点云杆件的其他几何属性；其中OBB包围盒的计算步骤如下：
S4-21：按坐标类型对数据进行组合，分别获得集合x、集合y以及集合z，记为：x ={x1, x2, …, xn}，y = {y1, y2, …, yn}，z = {z1, z2, …, zn}；
S4-22：分别求出集合x、集合y以及集合z的平均值averX，averY，averZ并构建协方差矩阵 A，如下式所示：
；
S4-23：再根据协方差矩阵 A求解其特征值和特征向量；
S4-24：将获得的特征值中选取最大的特征值作为OBB包围盒的主轴方向，获得的特征向量即为新的坐标系，将原始数据回落到该新的坐标系下，即可求得OBB包围盒的长、宽以及中心点。
优选地，所述步骤S4中对于线状要素的提取采用线性模型拟合的方式提取线要素，具体的提取步骤为：
S4-31：首先随机假设一小组局内点为初始值，即任意选取两点，然后用所述的局内点拟合一个线性模型，所述线性模型适应于假设的局内点，所有的未知参数都能从假设的局内点计算得出；
S4-32：用步骤S4-31中得到的线性模型测试所有的点云数据，若某个点适用于所述线性模型，则认为其是局内点，并将局内点进行扩充；
S4-33：若所有的点云数据中有超过数量阈值二的点被归类为假设的局内点时，则判定该线性模型的适用性为合理；
S4-34：再用所有的假设的局内点去重新判定该线性模型，重复步骤S4-31~S4-33，直到该线性模型满足要求。
优选地，所述步骤S4中对于面状高精地图要素的提取具体步骤为：
S4-41：首先利用PCA算法计算出面状要素的点云特征变化最小的方向，即面状要素的点云数据所对应协方差矩阵最小特征值对应的特征向量，其中PCA算法计算的具体步骤为：
设定散乱点云数据中采样点，及其最近邻域，对协方差矩阵进行SVD特征根的分解，如下式所示：
；
式中，，为的邻近点；是协方差矩阵，其全部的特征值均为实数，所有的特征向量也是正交的，通过上式得到三个特征根记为，其对应的特征向量为、、，将最小特征根对应的特征向量作为投影的特征向；
S4-42：再将点云数据沿着特征向量方向进行投影得到二维平面点云；
S4-43：对于步骤S4-42投影得到的二维平面点云采用凸包算法获取其边界信息；
S4-44：最后再根据投影变换映射到三维空间中获得面状要素的三维矢量数据。
优选地，所述步骤S4-43采用凸包算法获取边界信息的具体步骤为：
S4-431：首先寻找二维平面点云上的纵坐标最小值的点，将其记作P0；若存在多个则纵坐标最小值的点，则选二维平面点云的横坐标最小值的点记作P0，那么P0则为凸包上的点；
S4-432：将二维平面点云上所有点的坐标以P0为原点进行平移；
S4-433：计算其他各个点相对于P0的幅角α，按幅角α从小到大的顺序对各个点进行排序；当幅角α相同时，则将与P0的距离近的点排在前面，从而转至步骤S4-434判断其他各个点是否为凸包上的点；
S4-434：将P0、P1入栈，然后按照步骤S4-433中的幅角α从小到大的顺序排序进行判断其他各个点是否为凸包点，依次连接栈顶的两个点，得到直线L；判断当前点是否在直线L的左边，若在直线L的左边则执行步骤S4-436；若在直线L的右边则执行步骤S4-435；
S4-435：若栈顶的元素不是凸包上的点，则将栈顶的元素出栈，返回步骤S4-434并执行步骤S4-434重新进行判断；
S4-436：若当前点是凸包上的点，则将其入栈，并执行步骤S4-437；
S4-437：检查当前的点是否为P8；若是则算法结束，若不是则返回步骤S4-434重新进行判断，从而得出栈中的元素即为凸包上的点。凸包算法是先找到凸包上的一个点，然后从该点开始按逆时针方向逐个找凸包上的点，实际上就是进行极角排序，然后对其查询使用。
与现有技术相比，本发明具有的有益效果为：本发明使用改进的基于深度学习的高精地图交通要素激光点云语义分割技术，将以往自动化分类由中低精度整体提升至82%以上，其中重要交通要素的自动分类精度提升至90%以上；同时构建了一套多几何形态要素的语义点云自动化提取模型技术体系，解决了自动化提取的缺失和不规则问题，显著提高矢量提取精度和效率；在已分类点云的单体化基础上，根据各单体要素点云的几何特征针对性地采用对应的点云算法自动化提取几何信息；与传统单要素人工提取方式相比，效率提升了63%，高精地图要素特征点误差控制在10厘米以内；该提取的方法可以有效自动化提取大部分高精地图要素信息，提高了高精地图的生产效率，减少了生产成本。
附图说明
图1是本发明高精地图要素自动提取的方法的流程示意图；
图2 是本发明高精地图要素自动提取的方法中的步骤S2中的VFE网络结构示意图；
图3是本发明高精地图要素自动提取的方法中步骤S2中的MSG与MRG结构图；
图4是本发明高精地图要素自动提取的方法的步骤S4中的凸包算法描述示意图。
具体实施方式
下面将结合本发明的实施例图中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。
实施例：如图1所示，该高精地图要素提取方法，具体包括以下步骤：
S1模型训练：对采集的点云数据进行预处理，将处理后的点云数据作为基于深度学习的语义点云自动化提取模型训练的输入，进行语义点云自动化提取模型训练，并输出语义点云自动化提取模型；
所述步骤S1的具体步骤为：
S11数据准备：对采集的点云数据依次进行标注、清洗和增强处理，获得增强处理后的点云数据；
S12模型准备：分别定义模型训练所需的网络、数据、损失函数及优化器和评估训练结果的指标，为模型训练做准备；
S13模型训练：设置超参，将增强处理后的点云数据基于深度学习的语义点云自动化提取模型训练的输入，进行语义点云自动化提取模型训练，再对训练完成的语义点云自动化提取模型进行精度验证，并输出满足泛性的语义点云自动化提取模型；
所述步骤S13具体包括以下步骤：
S131：设置超参，包括学习速率、迭代次数、卷积核的大小和激活函数的选择；
S132：将增强处理后的点云数据作为基于深度学习的语义点云自动化提取模型训练的输入，进行语义点云自动化提取模型训练；
S133：判断训练获得的语义点云自动化提取模型输出的结果是否为全局最优，若是全局最优，则转至步骤S134验证该语义点云自动化提取模型的精度；若不是全局最优，则返回步骤S132重新进行该语义点云自动化提取模型的训练，循环步骤S132~S133，直至输出的结果为全局最优；
S134：若满足精度，则输出该语义点云自动化提取模型，并转至步骤S135评定该语义点云自动化提取模型是否满足泛性；若不满足精度，则返回步骤S131，重新设置超参，循环步骤S131~S134，直至训练获得的语义点云自动化提取模型满足精度验证，即在测试数据集中语义分割的准确率大于90%；
S135：若满足泛性评定，即在项目点云数据中的点云语义分割精度大于90%，则进行模型部署应用；若不满足泛性评定，则返回步骤S12，重新进行参数定义，并循环步骤S131~S135直至训练获得的语义点云自动化提取模型满足泛性评定；
S2语义化点云：对增强处理后的点云数据采用深度学习技术进行语义化分割处理，获得语义点云数据；
所述步骤S2的具体步骤为：
S21：首先对采集的海量的点云数据进行降采样，建立每个保留的特征点和过滤掉的非特征点的关系；
S22：然后对降采样后的特征点进行属性判断，确定属性后再将特征点属性分配给非特征点；
S23：分别采用不同的语义分割方法对三维点云坐标和标志牌类的小目标检测进行分割，完成数据的语义分割，获得语义点云数据；完成语义分割的过程，从策略上讲，就是使用简单快速的随机采样方法来大大降低点密度，同时应用设计的局部特征聚合器来保留突出的特征，这使整个网络都能在效率和有效性之间取得良好的平衡；
所述步骤S23的具体步骤为：
S231：对于三维点云坐标信息输入，融合RGB信息并且利用VFE（Voxel FeatureEncoding）模型结构挖掘1088维特征结构信息作为多层感知机的信息输入，使模型的骨干网络更加鲁棒；
S232：对于标志牌类的小目标检测，在语义点云自动化提取模型中加入特征金字塔结构（FPN），并在每个层级采用MSG（Multi-scale grouping）或MRG（Multi-resolutiongrouping）策略充分利用各阶段的特征信息，使模型对于小目标的检测更加敏感；MSG与MRG结构如图3所示；
S233：若出现数据类别误差超过设定误差范围，则采用Focal Loss思想对损失函数进行改进，减少数据类别的误差，其损失函数如下所示：
；
其中，为初始交叉损失函数，为类别间的权重参数，为简单困难样本调节因子，为聚焦参数。通过Focal Loss思想改进损失函数可以减小主体类别少对损失函数的影响，利用以上方法以达到提高模型精度和稳定性的目的。对于一般的三维点云坐标信息输入，融合RGB信息并且利用VFE（Voxel Feature Encoding）模型结构挖掘了更高维（1088维）的特征结构信息作为多层感知机的信息输入，其中VFE的网络设计结构如图2所示，该网络主要是将点云通过一个骨干网络结构提取出该点云的全局特征图，然后将该全局特征与原始的点云数据拼接在一起重新送入到骨干网络中进一步提取点云特征，这样可使得最后的点云特征信息中既带有全局特征信息也带有局部特征信息；
S3单体化点云：对步骤S2中获得的语义点云进行单体化处理，获得单体化点云数据；由于语义分割的共性问题，分割出的要素对象边界多呈锯齿状，部分细节甚至缺失以及存在部分点云误分割的情况，若按照真实的语义分割情况进行边界提取，不能满足高精地图的数据要求；因此本发明技术方案通过聚类的方式，以聚类后的单体化要素所包含的点云数量为阈值排除一部分错误点云分割的类别，再通过模板匹配的方法以单体点云的整体特征进行匹配获得相对准确的提取效果；
所述步骤S3的具体步骤为：
S31：从语义点云数据中任意选取一个未处理的点；
S32：判断步骤S31中选取的点是否为核心点，若是核心点，则找出所有与该点密度相连的对象，形成一个点云簇；若不是核心点，则返回步骤S31，重新选取一个点；
S33：循环步骤S31~S32，直至处理完语义点云数据中所有的点；
此外，在所述步骤S3中若语义点云数据中的某一类别包含的点云数量少于设定的数量阈值一时，则将该类别排除；这样的操作是为了达到进一步去噪的目的；
S4自动化提取：对单体化点云数据进行点要素、线要素和面要素的几何信息的自动化提取，获得高精地图的三维矢量要素；
所述步骤S4中对于道路标识要素采用模板匹配的方式进行道路标识边界信息提取，具体步骤为：
S4-11：首先结合国家道路交通标牌、标识、标志、标线的设置规范，选择道路标识的角点作为匹配的关键特征；
S4-12：以提取的道路标识的点云集合为目标对象，以制作的道路标识的角点坐标集合为参考对象进行匹配；
S4-13：分别计算目标对象与参考对象的质心坐标，将参考对象通过以目标对象的质心为起点，参考对象的质心为终点的向量平移至目标对象的位置；
S4-14：在目标对象的点云集合中查找与参考对象中特征点的距离最近点形成点云对；
S4-15：通过SVD分解法求得使所述步骤S4-14的对应的点云对的平均距离最小的刚体变换，以及求得平移参数和旋转参数；
S4-16：对参考对象使用步骤S4-15求得的平移参数和旋转参数，得到新点集；
S4-17：以步骤S4-16中得到的新点集作为参考对象和目标对象中对应的点云对的距离之和作为该次匹配得分；
S4-18：重复步骤S4-12~S4-17，若匹配得分小于设定匹配阈值或匹配次数达到最大值，则停止迭代计算；
S4-19：将目标对象绕z轴逆时针旋转5°，重复步骤S4-17，取所有匹配得分最小的结果作为最优模板匹配；
所述步骤S4中对于杆状要素信息的提取，首先利用激光点云分割技术并结合点云聚类算法提取出单个点云杆件对象，再将通过语义分割技术手段得到的单个点云杆件对象的语义信息，通过计算该单个点云杆件的语义信息OBB包围盒，进而得到单个点云杆件的其他几何属性；其中OBB包围盒的计算步骤如下：
S4-21：按坐标类型对数据进行组合，分别获得集合x、集合y以及集合z，记为：x ={x1, x2, …, xn}，y = {y1, y2, …, yn}，z = {z1, z2, …, zn}；
S4-22：分别求出集合x、集合y以及集合z的平均值averX，averY，averZ并构建协方差矩阵 A，如下式所示：
；
S4-23：再根据协方差矩阵 A求解其特征值和特征向量；
S4-24：将获得的特征值中选取最大的特征值作为OBB包围盒的主轴方向，获得的特征向量即为新的坐标系，将原始数据回落到该新的坐标系下，即可求得OBB包围盒的长、宽以及中心点；
所述步骤S4中对于线状要素的提取采用线性模型拟合的方式提取线要素，具体的提取步骤为：
S4-31：首先随机假设一小组局内点为初始值，即任意选取两点，然后用所述的局内点拟合一个线性模型，所述线性模型适应于假设的局内点，所有的未知参数都能从假设的局内点计算得出；
S4-32：用步骤S4-31中得到的线性模型测试所有的点云数据，若某个点适用于所述线性模型，则认为其是局内点，并将局内点进行扩充；
S4-33：若所有的点云数据中有超过数量阈值二的点被归类为假设的局内点时，则判定该线性模型的适用性为合理；
S4-34：再用所有的假设的局内点去重新判定该线性模型，重复步骤S4-31~S4-33，直到该线性模型满足要求。此外，对于高精地图点线要素的提取也可按照步骤S4-21至S4-24以及S4-31至S4-34，根据要素特征选择合适的算法提取；
所述步骤S4中对于面状高精地图要素的提取具体步骤为：
S4-41：首先利用PCA算法计算出面状要素的点云特征变化最小的方向，即面状要素的点云数据所对应协方差矩阵最小特征值对应的特征向量，其中PCA算法计算的具体步骤为：
设定散乱点云数据中采样点，及其最近邻域，对协方差矩阵进行SVD特征根的分解，如下式所示：
；
式中，，为的邻近点；是协方差矩阵，其全部的特征值均为实数，所有的特征向量也是正交的，通过上式得到三个特征根记为，其对应的特征向量为、、，将最小特征根对应的特征向量作为投影的特征向；
S4-42：再将点云数据沿着特征向量方向进行投影得到二维平面点云；
S4-43：因大部分需要提取的高精地图面状要素非凹多边形，所以对于步骤S4-42投影得到的二维平面点云采用凸包算法获取其边界信息；
S4-44：最后再根据投影变换映射到三维空间中获得面状要素的三维矢量数据；
如图4所示，所述步骤S4-43采用凸包算法获取边界信息的具体步骤为：
S4-431：首先寻找二维平面点云上的纵坐标最小值的点，将其记作P0；若存在多个则纵坐标最小值的点，则选二维平面点云的横坐标最小值的点记作P0，那么P0则为凸包上的点；
S4-432：将二维平面点云上所有点的坐标以P0为原点进行平移；如上图4所示；
S4-433：计算其他各个点相对于P0的幅角α，按幅角α从小到大的顺序对各个点进行排序；当幅角α相同时，则将与P0的距离近的点排在前面，从而转至步骤S4-434判断其他各个点是否为凸包上的点；例如上图4中得到的结果为 P1，P2，P3，P4，P5，P6，P7，P8，由几何知识可知，点P1和点P8则必定是凸包上的点；
S4-434：将P0、P1入栈，然后按照步骤S4-433中的幅角α从小到大的顺序排序进行判断其他各个点是否为凸包点，依次连接栈顶的两个点，得到直线L；判断当前点是否在直线L的左边，若在直线L的左边则执行步骤S4-436；若在直线L的右边则执行步骤S4-435；
S4-435：若栈顶的元素不是凸包上的点，则将栈顶的元素出栈，返回步骤S4-434并执行步骤S4-434重新进行判断；
S4-436：若当前点是凸包上的点，则将其入栈，并执行步骤S4-437；
S4-437：检查当前的点是否为P8；若是则算法结束，若不是则返回步骤S4-434重新进行判断，从而得出栈中的元素即为凸包上的点；凸包算法是先找到凸包上的一个点，然后从该点开始按逆时针方向逐个找凸包上的点，实际上就是进行极角排序，然后对其查询使用。
此外，对于自动化提取到的三维矢量要素还可以进行人工修补检测，从而输出更精准的三维矢量。
以上所述仅为本发明的较佳实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种高精地图要素自动化提取的方法，其特征在于，具体包括以下步骤：
S1模型训练：对采集的点云数据进行预处理，将处理后的点云数据作为基于深度学习的语义点云自动化提取模型训练的输入，进行语义点云自动化提取模型训练，并输出语义点云自动化提取模型；
S2语义化点云：对增强处理后的点云数据采用步骤S1中得到的语义点云自动化提取模型进行语义化分割处理，获得语义点云数据；
S3单体化点云：对步骤S3中获得的语义点云数据进行单体化处理，获得单体化点云数据；
S4自动化提取：对单体化点云数据进行点要素、线要素和面要素的几何信息的自动化提取，获得高精地图的三维矢量要素；
所述步骤S1的具体步骤为：
S11数据准备：对采集的点云数据依次进行标注、清洗和增强处理，获得增强处理后的点云数据；
S12模型准备：分别定义模型训练所需的网络、数据、损失函数及优化器和评估训练结果的指标，为模型训练做准备；
S13模型训练：设置超参，将增强处理后的点云数据基于深度学习的语义点云自动化提取模型训练的输入，进行语义点云自动化提取模型训练，再对训练完成的点云语义分割算法模型进行精度验证，并输出满足泛性的语义点云自动化提取模型。
2.根据权利要求1所述的高精地图要素自动化提取的方法，其特征在于，所述步骤S13具体包括以下步骤：
S131：设置超参，包括学习速率、迭代次数、卷积核的大小和激活函数的选择；
S132：将增强处理后的点云数据作为基于深度学习的语义点云自动化提取模型训练的输入，进行语义点云自动化提取模型训练；
S133：判断训练的语义点云自动化提取模型输出的结果是否为全局最优，若是全局最优，则转至步骤S134验证模型的精度；若不是全局最优，则返回步骤S132重新进行模型训练，循环步骤S132～S133，直至输出的结果为全局最优；
S134：若满足精度，则输出模型，并转至步骤S135评定该模型是否满足泛性；若不满足精度，则返回步骤S131，重新设置超参，循环步骤S131～S134，直至训练获得的语义点云自动化提取模型满足精度验证，即在测试数据集中语义分割的准确率大于90％；
S135：若满足泛性评定，即在项目点云数据中的点云语义分割精度大于90％，则进行模型部署应用；若不满足泛性评定，则返回步骤S12，重新进行参数定义，并循环步骤S131～S135直至训练获得的语义点云自动化提取模型满足泛性评定。
3.根据权利要求1所述的高精地图要素自动化提取的方法，其特征在于，所述步骤S2的具体步骤为：
S21：首先对采集的点云数据进行降采样，建立每个保留的特征点和过滤掉的非特征点的关系；
S22：然后对降采样后的特征点进行属性判断，确定属性后再将特征点属性分配给非特征点；
S23：采用语义分割方法对三维点云坐标和标志牌类的小目标检测进行分割，完成数据的语义分割，获得语义点云数据。
4.根据权利要求3所述的高精地图要素自动化提取的方法，其特征在于，所述步骤S23的具体步骤为：
S231：对于三维点云坐标信息输入，融合RGB信息并且利用VFE模型结构挖掘1088维的特征结构信息作为多层感知机的信息输入；
S232：对于标志牌类的小目标检测，在语义点云自动化提取模型中加入特征金字塔结构，并在每个层级采用MSG或MRG策略充分利用各阶段的特征信息；
S233：若出现数据类别误差超过设定误差范围，则采用Focal Loss思想对损失函数进行改进，减少数据类别的误差，其损失函数如下所示：
FL(pt)＝-αt(1-pt)γlog(pt)；
其中，-log(pt)为初始交叉损失函数，γ为类别间的权重参数，(1-pt)γ为简单困难样本调节因子，α为聚焦参数。
5.根据权利要求3所述的高精地图要素自动化提取的方法，其特征在于，所述步骤S3的具体步骤为：
S31：从语义点云数据中任意选取一个未处理的点；
S32：判断若步骤S31中选取的点是否为核心点，若是核心点，则找出所有与该点密度相连的对象，形成一个点云簇；若不是核心点，则返回步骤S31，重新选取一个点；
S33：循环步骤S31～S32，直至处理完语义点云数据中所有的点。
6.根据权利要求5所述的高精地图要素自动化提取的方法，其特征在于，在所述步骤S3中若语义点云数据中的某一类别包含的点云数量少于设定的数量阈值一时，则将该类别排除。
7.根据权利要求5所述的高精地图要素自动化提取的方法，其特征在于，所述步骤S4中对于道路标识要素采用模板匹配的方式进行道路标识边界信息提取，具体步骤为：
S4-11：首先结合国家道路交通标牌、标识、标志、标线的设置规范，选择道路标识的角点作为匹配的关键特征；
S4-12：以提取的道路标识的点云集合为目标对象，以制作的道路标识的角点坐标集合为参考对象进行匹配；
S4-13：分别计算目标对象与参考对象的质心坐标，将参考对象通过以目标对象的质心为起点，参考对象的质心为终点的向量平移至目标对象的位置；
S4-14：在目标对象的点云集合中查找与参考对象中特征点的距离最近点形成点云对；
S4-15：通过SVD分解法求得使所述步骤S4-14的对应的点云对的平均距离最小的刚体变换，以及求得平移参数和旋转参数；
S4-16：对参考对象使用步骤S4-15求得的平移参数和旋转参数，得到新点集；
S4-17：以步骤S4-16中得到的新点集作为参考对象和目标对象中对应的点云对的距离之和作为该次匹配得分；
S4-18：重复步骤S4-12～S4-17，若匹配得分小于设定匹配阈值或匹配次数达到最大值，则停止迭代计算；
S4-19：将目标对象绕z轴逆时针旋转5°，重复步骤S4-17，取所有匹配得分最小的结果作为最优模板匹配。
8.根据权利要求5所述的高精地图要素自动化提取的方法，其特征在于，所述步骤S4中对于杆状要素信息的提取，首先利用激光点云分割技术并结合点云聚类算法提取出单个点云杆件对象，再将通过语义分割技术手段得到的单个点云杆件对象的语义信息，通过计算该单个点云杆件的语义信息OBB包围盒，进而得到单个点云杆件的其他几何属性；其中OBB包围盒的计算步骤如下：
S4-21：按坐标类型对数据进行组合，分别获得集合x、集合y以及集合z，记为：x＝{x1,x2,…,xn}，y＝{y1,y2,…,yn}，z＝{z1,z2,…,zn}；
S4-22：分别求出集合x、集合y以及集合z的平均值averX，averY，averZ并构建协方差矩阵A，如下式所示：
Figure FDA0004068093040000041
S4-23：再根据协方差矩阵A求解其特征值和特征向量；
S4-24：将获得的特征值中选取最大的特征值作为OBB包围盒的主轴方向，获得的特征向量即为新的坐标系，将原始数据回落到该新的坐标系下，即可求得OBB包围盒的长、宽以及中心点。
9.根据权利要求5所述的高精地图要素自动化提取的方法，其特征在于，所述步骤S4中对于线状要素的提取采用线性模型拟合的方式提取线要素，具体的提取步骤为：
S4-31：首先随机假设一小组局内点为初始值，即任意选取两点，然后用所述的局内点拟合一个线性模型，所述线性模型适应于假设的局内点，所有的未知参数都能从假设的局内点计算得出；
S4-32：用步骤S4-31中得到的线性模型测试所有的点云数据，若某个点适用于所述线性模型，则认为其是局内点，并将局内点进行扩充；
S4-33：若所有的点云数据中有超过数量阈值二的点被归类为假设的局内点时，则判定该线性模型的适用性为合理；
S4-34：再用所有的假设的局内点去重新判定该线性模型，重复步骤S4-31～S4-33，直到该线性模型满足要求。
10.根据权利要求5所述的高精地图要素自动化提取的方法，其特征在于，所述步骤S4中对于面状高精地图要素的提取具体步骤为：
S4-41：首先利用PCA算法计算出面状要素的点云特征变化最小的方向，即面状要素的点云数据所对应协方差矩阵最小特征值对应的特征向量，其中PCA算法计算的具体步骤为：
设定散乱点云数据中采样点pj∈S，及其最近k邻域N(pi)，对协方差矩阵C进行SVD特征根的分解，如下式所示：
Figure FDA0004068093040000051
式中，
Figure FDA0004068093040000052
pj为p的邻近点；C是协方差矩阵，其全部的特征值均为实数，所有的特征向量也是正交的，通过上式得到三个特征根记为0≤λ0≤λ1≤λ2，其对应的特征向量为v0、v1、v2，将最小特征根λ0对应的特征向量v0作为投影的特征向量；
S4-42：再将点云数据沿着特征向量方向进行投影得到二维平面点云；
S4-43：对于步骤S4-42投影得到的二维平面点云采用凸包算法获取其边界信息；
S4-44：最后再根据投影变换映射到三维空间中获得面状要素的三维矢量数据。
11.根据权利要求10所述的高精地图要素自动化提取的方法，其特征在于，所述步骤S4-43采用凸包算法获取边界信息的具体步骤为：
S4-431：首先寻找二维平面点云上的纵坐标最小值的点，将其记作P0；若存在多个则纵坐标最小值的点，则选二维平面点云的横坐标最小值的点记作P0，那么P0则为凸包上的点；
S4-432：将二维平面点云上所有点的坐标以P0为原点进行平移；
S4-433：计算其他各个点相对于P0的幅角α，按幅角α从小到大的顺序对各个点进行排序；当幅角α相同时，则将与P0的距离近的点排在前面，从而转至步骤S4-434判断其他各个点是否为凸包上的点；
S4-434：将P0、P1入栈，然后按照步骤S4-433中的幅角α从小到大的顺序排序进行判断其他各个点是否为凸包点，依次连接栈顶的两个点，得到直线L；判断当前点是否在直线L的左边，若在直线L的左边则执行步骤S4-436；若在直线L的右边则执行步骤S4-435；
S4-435：若栈顶的元素不是凸包上的点，则将栈顶的元素出栈，返回步骤S4-434并执行步骤S4-434重新进行判断；
S4-436：若当前点是凸包上的点，则将其入栈，并执行步骤S4-437；
S4-437：检查当前的点是否为P8；若是则算法结束，若不是则返回步骤S4-434重新进行判断，从而得出栈中的元素即为凸包上的点。
CN202211587117.5A 2022-12-12 2022-12-12 一种高精地图要素自动化提取的方法 Active CN115588178B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211587117.5A CN115588178B (zh) 2022-12-12 2022-12-12 一种高精地图要素自动化提取的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211587117.5A CN115588178B (zh) 2022-12-12 2022-12-12 一种高精地图要素自动化提取的方法

Publications (2)

Publication Number Publication Date
CN115588178A CN115588178A (zh) 2023-01-10
CN115588178B true CN115588178B (zh) 2023-05-02

Family

ID=84783205

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211587117.5A Active CN115588178B (zh) 2022-12-12 2022-12-12 一种高精地图要素自动化提取的方法

Country Status (1)

Country Link
CN (1) CN115588178B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117606470B (zh) * 2024-01-24 2024-04-16 航天宏图信息技术股份有限公司 高精导航图线状要素智能自适追索生成方法、装置及设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111160328A (zh) * 2020-04-03 2020-05-15 速度时空信息科技股份有限公司 一种基于语义分割技术的交通标线自动提取的方法
CN114926699A (zh) * 2022-07-20 2022-08-19 深圳大学 一种室内三维点云语义分类方法、装置、介质及终端

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112488010A (zh) * 2020-12-05 2021-03-12 武汉中海庭数据技术有限公司 基于无人机点云数据的高精度目标提取方法及系统
CN114266780A (zh) * 2022-02-28 2022-04-01 深圳市其域创新科技有限公司 一种建筑物单体化实例分割方法及装置
CN115187647A (zh) * 2022-05-27 2022-10-14 自然资源部第一地形测量队(陕西省第二测绘工程院) 基于矢量的道路三维实景结构化建模方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111160328A (zh) * 2020-04-03 2020-05-15 速度时空信息科技股份有限公司 一种基于语义分割技术的交通标线自动提取的方法
CN114926699A (zh) * 2022-07-20 2022-08-19 深圳大学 一种室内三维点云语义分类方法、装置、介质及终端

Also Published As

Publication number Publication date
CN115588178A (zh) 2023-01-10

Similar Documents

Publication Publication Date Title
CN109410321B (zh) 基于卷积神经网络的三维重建方法
Min et al. Spair-71k: A large-scale benchmark for semantic correspondence
CN113160192B (zh) 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置
CN113012212B (zh) 一种基于深度信息融合的室内场景三维点云重建方法和系统
US9472022B2 (en) Three-dimensional point processing and model generation
CN110188228B (zh) 基于草图检索三维模型的跨模态检索方法
CN112070769B (zh) 一种基于dbscan的分层点云分割方法
CN110245678B (zh) 一种基于异构孪生区域选取网络的图像匹配方法
Guo et al. Efficient center voting for object detection and 6D pose estimation in 3D point cloud
CN108389251A (zh) 基于融合多视角特征的投影全卷积网络三维模型分割方法
CN111652293B (zh) 一种多任务联合判别学习的车辆重识别方法
CN111985376A (zh) 一种基于深度学习的遥感影像舰船轮廓提取方法
CN104850822B (zh) 基于多特征融合的简单背景下的叶片识别方法
CN106324581B (zh) 一种基于体元的机载lidar建筑物检测方法
CN106485651A (zh) 快速鲁棒性尺度不变的图像匹配方法
CN115588178B (zh) 一种高精地图要素自动化提取的方法
Liu et al. A novel rock-mass point cloud registration method based on feature line extraction and feature point matching
CN112099046A (zh) 基于多值体素模型的机载lidar三维平面检测方法
CN111783722B (zh) 一种激光点云的车道线提取方法和电子设备
CN113159043A (zh) 基于语义信息的特征点匹配方法及系统
CN110633727A (zh) 基于选择性搜索的深度神经网络舰船目标细粒度识别方法
CN109993213A (zh) 一种用于服装部件图的自动识别方法
CN112200915A (zh) 一种基于靶标三维模型纹理影像的前后形变量检测方法
CN116740758A (zh) 一种防止误判的鸟类图像识别方法及系统
Cui et al. Global propagation of affine invariant features for robust matching

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 210000 8 -22, 699 Xuanwu Road, Xuanwu District, Nanjing, Jiangsu.

Patentee after: Speed Technology Co.,Ltd.

Address before: 210000 8 -22, 699 Xuanwu Road, Xuanwu District, Nanjing, Jiangsu.

Patentee before: SPEED TIME AND SPACE INFORMATION TECHNOLOGY Co.,Ltd.

CP01 Change in the name or title of a patent holder