CN116092038A - 一种基于点云的大件运输关键道路空间通行性判定方法 - Google Patents

一种基于点云的大件运输关键道路空间通行性判定方法 Download PDF

Info

Publication number
CN116092038A
CN116092038A CN202310366844.7A CN202310366844A CN116092038A CN 116092038 A CN116092038 A CN 116092038A CN 202310366844 A CN202310366844 A CN 202310366844A CN 116092038 A CN116092038 A CN 116092038A
Authority
CN
China
Prior art keywords
point cloud
road
height
dimensional
key road
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310366844.7A
Other languages
English (en)
Other versions
CN116092038B (zh
Inventor
曾喆
张强
黄松
刘善伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Petroleum East China
Original Assignee
China University of Petroleum East China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Petroleum East China filed Critical China University of Petroleum East China
Priority to CN202310366844.7A priority Critical patent/CN116092038B/zh
Publication of CN116092038A publication Critical patent/CN116092038A/zh
Application granted granted Critical
Publication of CN116092038B publication Critical patent/CN116092038B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于点云的大件运输关键道路空间通行性判定方法，涉及点云分割技术领域，该方法包括获取大件运输关键道路及其限高附属设施三维点云并进行预处理、构建三维点云提取网络模型并进行训练、计算大件运输关键道路和限高附属设施的空间信息、计算大件车辆的扫空路径、进行大件车辆关键道路空间通行性判定。本发明通过改进动态图卷积神经网络对关键道路及其限高设施三维点云可有效进行自动提取，并计算大件车辆三维扫空区域信息和关键道路信息，对比两者信息可快速有效的实现对大件车辆关键道路的空间通行性的判定，为后续大件运输车辆的路径规划提供一种决策支持。

Description

一种基于点云的大件运输关键道路空间通行性判定方法
技术领域
本发明属于点云分割技术领域，特别是涉及一种基于点云的大件运输关键道路空间通行性判定方法。
背景技术
随着三维对象特征学习在自动驾驶、机器人技术以及计算机视觉等诸多领域中被广泛应用，以点云数据驱动的计算机视觉任务迎来崭新的发展阶段，点云提供了地物分类和地物目标识别所需的测量方案作为人工智能领域的一项主导技术，同时深度学习已被成功的应用于三维视觉任务中，而三维点云分割就是当前主流的三维视觉任务之一。
大件设备由于体积很大，在构建大件运输通行路径的时候需要综合考虑关键道路路段的几何信息以及道路限高附属设施的几何信息，有利于后续的大件运输车辆的路径规划。随着中国基础建设的发展，大件运输道路上会建有限高杆、桥梁和收费站等限高附属设施，为了防止车辆碰撞低矮桥梁、限高杆等限高设施，一般会在入口处设置一个限高标志，然而针对路网数据以及道路的限高属性等信息更新不及时，会对大件运输空间通行性判断带来一定的制约。传统的大件运输关键道路通行性判定大多是基于人工量测的方法，周期长、效率低、人工成本高，应用三维点云能精确的表现道路的空间信息，目前，采集三维点云的技术有架站式三维激光扫描、手持式三维激光扫描、车载式三维激光扫描等，但以上技术在大件运输关键道路采集中会有受限，采集效率较低、采集范围也较小。
发明内容
为了解决以上问题，本发明利用无人机快速的采集摄影测量数据生成三维点云，并提供了如下的技术方案。
本发明给出了一种基于点云的大件运输关键道路空间通行性判定方法，包括以下步骤：
步骤1：获取大件运输关键道路及其限高附属设施三维点云并进行预处理；
步骤2：构建大件运输关键道路及其限高附属设施三维点云提取网络模型；
步骤3：训练三维点云提取网络模型；
步骤4：计算大件运输关键道路和限高附属设施的空间信息；
步骤5：计算大件车辆的扫空路径；
步骤6：进行大件车辆关键道路空间通行性判定。
其中，步骤1中获取大件运输关键道路及其限高附属设施三维点云如下：对于大件运输中需要进行空间通行性判定的关键道路，会建有桥梁、收费站、限高杆道路限高附属设施，利用无人机采集具有以上道路附属设施的关键道路影像数据，采用运动恢复结构算法对无人机影像进行处理，生成三维点云。
其中，步骤1中三维点云预处理包括：将得到的大件运输关键道路及其限高附属设施三维点云进行人为标注，得到桥梁、收费站、限高杆、道路和背景这五类待识别的目标物的标记结果，其中桥梁、收费站、限高杆为大件运输关键道路中的限高目标；将大件运输关键道路三维点云和标记结果分别作为三维点云样本集和标记样本集。
其中，步骤2中构建大件运输关键道路及其限高附属设施三维点云提取网络模型结构如下：首先，利用动态图卷积神经网络中集成的EdgeConv模块，提取点与其邻域点的结构信息，获得大件运输限高设施的局部邻域信息和全局形状信息；其次，在网络中添加法向量提取模块获取点云法向量信息用于提取大件运输限高设施的形状特征；再引入多头注意力机制模块，加权融合EdgeConv模块和法向量提取模块特征，对提取出的限高设施特征进一步捕捉关键特征；最后，利用以上特征连接全局特征使得网络学习到大件运输关键道路限高设施点云的多特征信息。
模型以
Figure SMS_1
个点作为输入，采用最远点采样法进行点云降采样处理；分割网络包含三层EdgeConv模块和法向量提取模块，每层模块输出维度都是64，再用多头注意力机制加权融合两个模块特征，后接一个共享全连接层聚合之前层的信息，通过最大池化操作，形成一个一维全局特征，再接3个共享全连接层来转换逐点特征，通过连接每个点的全局特征和所有EdgeConv模块的局部特征以及法向量特征模块来扩展分类模型，为
Figure SMS_2
个语义标签输出逐点分类概率；其中，为了防止网络性能下降，加入残差模块，使用跳跃连接将前一层卷积的结果加入到下一层卷积的结果上。
法向量提取模块用于表现大件运输限高设施的形状特征，有利于提高三维点云语义分割的准确度；模块利用改进的加权主成分分析方法提取点云法向量，为了提高近邻域点在采样点法向量估算中的影响，削弱远邻域点对采样点法向量估算的干扰，以马氏距离为权重计算指标，拉普拉斯核函数为权值计算点云法向量，将得到的法向量特征矩阵输入多头注意力机制模块。
多头注意力机制模块对输入数据进行多次自注意力操作，每次自注意力操作参数互相独立，可以对提取出的大件运输限高目标特征进一步捕捉关键特征，提高关键道路限高目标分割网络的鲁棒性；将输入的3维的EdgeConv特征图和3维的法向量特征图进行拼接，得到6维的特征图，将其作为多头注意力机制的输入，输出得到多头注意力特征。
其中，步骤3中训练三维点云提取网络模型如下：将得到的大件运输关键道路三维点云的样本集和标记样本集放入点云提取网络进行训练，得到训练后的模型；并将待预测的大件运输关键道路三维点云放入训练后的模型进行预测，得到所有输入点云的类别，进而提取道路和限高目标三维点云。
其中，步骤4中计算大件运输关键道路和限高附属设施的空间信息如下：将提取的大件运输关键道路限高目标和道路的三维点云数据，经过alpha shapes算法得到限高目标和道路的边界轮廓信息，再将提取出边界轮廓的道路点云进行均匀采样，选取起始点云进行遍历，计算相邻两点云的向量，并求出相邻点云向量的夹角，设定夹角大于10度为弯曲道路即关键道路，剔除掉非弯曲道路点云，保留弯曲道路点云，然后计算弯曲道路的最小宽度和限高目标到道路的最小高度；道路最小宽度
Figure SMS_3
计算公式为：
Figure SMS_4
。
式中，
Figure SMS_5
为外弯道点云
Figure SMS_6
到任意内弯道点云
Figure SMS_7
一点的距离，
Figure SMS_8
为所有
Figure SMS_9
到
Figure SMS_10
距离的最小值，即在每个点的道路宽度。同理求出限高目标到道路的最小高度
Figure SMS_11
。
其中，步骤5中计算大件车辆的扫空路径如下：由大件设备的最大外扫半径、大件车辆的最小内扫半径和大件车辆最大高度组成的三维封闭区域作为大件运输车辆转弯状态下的三维扫空路径；大件车辆最大高度为
Figure SMS_12
，大件车辆平面扫空路径计算如下：
简化轮胎位置位于车身四角，大件车辆最小内扫半径
Figure SMS_13
计算公式为：
Figure SMS_14
。
式中，
Figure SMS_15
为车身长的一半，
Figure SMS_16
=DA为车身宽，
Figure SMS_17
，
Figure SMS_18
为车辆外轮最大转向角。
大件设备最大外扫半经
Figure SMS_19
计算公式为：
Figure SMS_20
。
式中，
Figure SMS_21
，
Figure SMS_22
为大件设备超出车身的长度，
Figure SMS_23
为大件设备的宽度。
其中，步骤6中进行大件车辆关键道路空间通行性判定如下：对于大件运输过程中装载的大件货物长于车身的情形，将关键道路和限高目标的空间信息与大件车辆的扫空区域及最大高度进行比对；
步骤6.1：关键道路的最小宽度
Figure SMS_24
，限高目标的最小高度
Figure SMS_25
；
步骤6.2：车辆最小内扫半径
Figure SMS_26
、大件设备最大外扫半经
Figure SMS_27
，
Figure SMS_28
即为大件车辆的最大平面扫空区域，记作
Figure SMS_29
，大件车辆最大高度为
Figure SMS_30
；
步骤6.3：若
Figure SMS_31
且
Figure SMS_32
，则可通行，否则不可通行。
与现有的技术相比，本发明具有如下有益效果：本发明给出了一种基于点云的大件运输关键道路空间通行性判定方法；利用无人机获取关键道路影像数据生成三维点云，在动态图卷积神经网络的基础上，加入法向量提取模块提取道路限高设施的形状特征，有利于提高限高设施的语义分割准确度；再引入多头注意力机制对提取出的限高设施特征进一步捕捉关键特征；本方法可以自动提取建有限高附属设施的大件运输关键道路空间信息，与大件车辆三维扫空路径进行比对可快速有效的判断道路的空间通行性，为后续大件运输车辆的路径规划提供一种决策支持。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
图1为本发明方法整体流程图。
图2为大件运输关键道路三维点云提取网络模型结构示意图。
图3 为计算转弯道路点云向量夹角示意图。
图4 为计算大件车辆转弯扫空空间的示意图。
图5 为大件车辆可通行的示意图。
图6 为大件车辆不可通行的示意图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
本发明给出的基于点云的大件运输关键道路空间通行性判定方法的整体流程图如图1所示。本发明包括以下步骤：
步骤1：获取大件运输关键道路及其限高附属设施三维点云并进行预处理；
步骤2：构建大件运输关键道路及其限高附属设施三维点云提取网络模型；
步骤3：训练三维点云提取网络模型；
步骤4：计算大件运输关键道路和限高附属设施的空间信息；
步骤5：计算大件车辆的扫空路径；
步骤6：进行大件车辆关键道路空间通行性判定。
其中，步骤1中获取大件运输关键道路及其限高附属设施三维点云如下：对于大件运输中需要进行空间通行性判定的关键道路，会建有桥梁、收费站、限高杆道路限高附属设施，利用无人机采集具有以上道路附属设施的关键道路影像数据，采用运动恢复结构算法对无人机影像进行处理，生成三维点云。
其中，步骤1中三维点云预处理包括：将得到的大件运输关键道路及其限高附属设施三维点云进行人为标注，得到桥梁、收费站、限高杆、道路和背景这五类待识别的目标物的标记结果，其中桥梁、收费站、限高杆为大件运输关键道路中的限高目标；将大件运输关键道路三维点云和标记结果分别作为三维点云样本集和标记样本集。
其中，步骤2中构建大件运输关键道路及其限高附属设施三维点云提取网络模型结构如下：首先，利用动态图卷积神经网络中集成的EdgeConv模块，提取点与其邻域点的结构信息，获得大件运输限高设施的局部邻域信息和全局形状信息；其次，在网络中添加法向量提取模块获取点云法向量信息用于提取大件运输限高设施的形状特征；再引入多头注意力机制模块，加权融合EdgeConv模块和法向量提取模块特征，对提取出的限高设施特征进一步捕捉关键特征；最后，利用以上特征连接全局特征使得网络学习到大件运输关键道路限高设施点云的多特征信息。
如图2所示，模型以
Figure SMS_33
个点作为输入，采用最远点采样法（FPS）进行点云降采样处理；分割网络包含三层EdgeConv模块和法向量提取模块，每层模块输出维度都是64，再用多头注意力机制加权融合两个模块特征，后接共享全连接的多层感知器（MLP）聚合之前层的信息，通过最大池化操作，形成一个一维全局特征，再接3个共享全连接层(256,256,128)来转换逐点特征，通过连接每个点的全局特征和所有EdgeConv模块的局部特征以及法向量特征模块来扩展分类模型，为
Figure SMS_34
个语义标签输出逐点分类概率；其中，为了防止网络性能下降，加入残差模块，使用跳跃连接将前一层卷积的结果加入到下一层卷积的结果上。
法向量提取模块可以表现大件运输限高设施的形状特征，有利于提高点云语义分割的准确度；模块利用改进的加权主成分分析方法提取点云法向量，为了提高近邻域点在采样点法向量估算中的影响，削弱远邻域点对采样点法向量估算的干扰，以马氏距离为权重计算指标，拉普拉斯核函数为权值计算公式，计算目标函数
Figure SMS_35
得到法向量，其中，
Figure SMS_36
表示目标平面的法向量，
Figure SMS_37
表示原点到目标平面的空间距离，计算公式为：
Figure SMS_38
。
式中：
Figure SMS_39
为采样点邻域点集中第j个点的拉普拉斯权重，
Figure SMS_40
是带宽，控制径向作用范围；其中，
Figure SMS_41
表示采样点
Figure SMS_42
与其邻域点集
Figure SMS_43
第j个点的马氏距离，
Figure SMS_44
是邻域点云坐标平均值，
Figure SMS_45
是协方差矩阵。
多头注意力机制模块对输入数据进行多次自注意力操作，每次自注意力操作参数互相独立，可以对提取出的大件运输限高设施特征进一步捕捉关键特征；首先，将输入的3维的EdgeConv特征图和3维的法向量特征图进行拼接，得到6维的特征图
Figure SMS_58
，与1×1卷积核
Figure SMS_48
、
Figure SMS_53
、
Figure SMS_60
相乘分别得到特征图
Figure SMS_64
、
Figure SMS_61
、
Figure SMS_65
，再采用不同的线性投影矩阵将其分别映射为
Figure SMS_51
组矩阵
Figure SMS_56
、
Figure SMS_46
、
Figure SMS_52
；最后，对这
Figure SMS_49
组矩阵分别进行自注意力运算，求出
Figure SMS_54
和
Figure SMS_50
的内积，并对
Figure SMS_55
进行加权求和，通过公式计算得到多组自注意力特征，将这些特征连接在一起组成多头注意力特征，自注意力特征
Figure SMS_57
计算公式为：
Figure SMS_62
。式中：
Figure SMS_59
为缩放因子,
Figure SMS_63
表示
Figure SMS_47
函数。
其中，步骤3中训练三维点云提取网络模型如下：将得到的大件运输关键道路三维点云的样本集和标记样本集放入点云提取网络进行训练，得到训练后的模型；并将待预测的大件运输关键道路三维点云放入训练后的模型进行预测，得到所有输入点云的类别，进而提取道路和限高目标三维点云。
其中，步骤4中计算大件运输关键道路和限高附属设施的空间信息如下：将提取的大件运输关键道路限高目标和道路的三维点云数据，经过alpha shapes算法得到限高目标和道路的边界轮廓信息，将提取出边界轮廓的道路点云进行均匀采样，道路边界点云表示为
Figure SMS_66
，如图3所示，选取起始点云进行遍历，计算相邻两点云的向量，并求出相邻向量的夹角。
设
Figure SMS_67
，
Figure SMS_70
，
Figure SMS_72
为三个相邻的点，则向量
Figure SMS_69
，
Figure SMS_71
，向量
Figure SMS_73
和
Figure SMS_74
夹角
Figure SMS_68
。
设定夹角大于10度为弯曲道路，剔除掉非弯曲道路点云，保留弯曲道路点云，然后将道路边界点云
Figure SMS_75
分为外弯道点云
Figure SMS_76
和内弯道点云
Figure SMS_77
，则道路最小宽度
Figure SMS_78
计算公式为：
Figure SMS_79
；
式中，
Figure SMS_80
为外弯道点云
Figure SMS_81
到任意内弯道点云
Figure SMS_82
一点的距离，
Figure SMS_83
为所有
Figure SMS_84
到
Figure SMS_85
距离的最小值，即在每个点的道路宽度。同理求出限高设施到道路的最小高度
Figure SMS_86
。
其中，步骤5中计算大件车辆的扫空路径如下：由大件设备的最大外扫半径、大件车辆的最小内扫半径和大件车辆最大高度组成的三维封闭区域作为大件运输车辆转弯状态下的三维扫空路径；大件车辆最大高度为
Figure SMS_87
，大件车辆平面扫空路径计算如下：如图4所示，简化轮胎位置位于车身四角，大件车辆最小内扫半径
Figure SMS_88
计算公式为：
Figure SMS_89
。
式中，
Figure SMS_90
为车身长的一半，
Figure SMS_91
=DA为车身宽，
Figure SMS_92
，
Figure SMS_93
为车辆外轮最大转向角。
大件设备最大外扫半经
Figure SMS_94
计算公式为：
Figure SMS_95
。
式中，
Figure SMS_96
，
Figure SMS_97
为大件设备超出车身的长度，
Figure SMS_98
为大件设备的宽度。
其中，步骤6中进行大件车辆关键道路空间通行性判定如下：
对于大件运输过程中装载的大件货物长于车身的情形，将关键道路和限高目标的空间信息与大件车辆的扫空区域及最大高度进行比对。
步骤6.1：关键道路的最小宽度
Figure SMS_99
，限高目标的最小高度
Figure SMS_100
；
步骤6.2：车辆最小内扫半径
Figure SMS_101
、大件设备最大外扫半经
Figure SMS_102
，
Figure SMS_103
即为大件车辆的最大平面扫空区域，记作
Figure SMS_104
，大件车辆最大高度为
Figure SMS_105
；
步骤6.3：若
Figure SMS_106
且
Figure SMS_107
，则可通行，如图5所示；否则不可通行，如图6所示。
应当理解的是，本说明书未详细阐述的部分均属于现有技术。应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (8)

1.一种基于点云的大件运输关键道路空间通行性判定方法，其特征在于，包括以下步骤：
步骤1：获取大件运输关键道路及其限高附属设施三维点云并进行预处理；
步骤2：构建大件运输关键道路及其限高附属设施三维点云提取网络模型；
步骤3：训练三维点云提取网络模型；
步骤4：计算大件运输关键道路和限高附属设施的空间信息；
步骤5：计算大件车辆的扫空路径；
步骤6：进行大件车辆关键道路空间通行性判定。
2.根据权利要求1所述的一种基于点云的大件运输关键道路空间通行性判定方法，其特征在于，步骤1中获取大件运输关键道路及其限高附属设施三维点云如下：
对于大件运输中需要进行空间通行性判定的关键道路，会建有桥梁、收费站、限高杆道路限高附属设施，利用无人机采集具有以上道路附属设施的关键道路影像数据，采用运动恢复结构算法对无人机影像进行处理，生成三维点云。
3.根据权利要求1所述的一种基于点云的大件运输关键道路空间通行性判定方法，其特征在于，步骤1中三维点云预处理包括：
将得到的大件运输关键道路及其限高附属设施三维点云进行人为标注，得到桥梁、收费站、限高杆、道路和背景这五类待识别的目标物的标记结果，其中桥梁、收费站、限高杆为大件运输关键道路中的限高目标；将大件运输关键道路三维点云和标记结果分别作为三维点云样本集和标记样本集。
4.根据权利要求1所述的一种基于点云的大件运输关键道路空间通行性判定方法，其特征在于，步骤2中构建大件运输关键道路及其限高附属设施三维点云提取网络模型结构如下：
首先，利用动态图卷积神经网络中集成的EdgeConv模块，提取点与其邻域点的结构信息，获得大件运输限高设施的局部邻域信息和全局形状信息；其次，在网络中添加法向量提取模块获取点云法向量信息用于提取大件运输限高设施的形状特征；再引入多头注意力机制模块，加权融合EdgeConv模块和法向量提取模块特征，对提取出的限高设施特征进一步捕捉关键特征；最后，利用以上特征连接全局特征使得网络学习到大件运输关键道路限高设施点云的多特征信息；
模型以
Figure QLYQS_1
个点作为输入，采用最远点采样法进行点云降采样处理；分割网络包含三层EdgeConv模块和法向量提取模块，每层模块输出维度都是64，再用多头注意力机制加权融合两个模块特征，后接一个共享全连接层聚合之前层的信息，通过最大池化操作，形成一个一维全局特征，再接3个共享全连接层来转换逐点特征，通过连接每个点的全局特征和所有EdgeConv模块的局部特征以及法向量特征模块来扩展分类模型，为
Figure QLYQS_2
个语义标签输出逐点分类概率；其中，为了防止网络性能下降，加入残差模块，使用跳跃连接将前一层卷积的结果加入到下一层卷积的结果上；
法向量提取模块用于表现大件运输限高设施的形状特征，有利于提高三维点云语义分割的准确度；模块利用改进的加权主成分分析方法提取点云法向量，为了提高近邻域点在采样点法向量估算中的影响，削弱远邻域点对采样点法向量估算的干扰，以马氏距离为权重计算指标，拉普拉斯核函数为权值计算点云法向量，将得到的法向量特征矩阵输入多头注意力机制模块；
多头注意力机制模块对输入数据进行多次自注意力操作，每次自注意力操作参数互相独立，可以对提取出的大件运输限高目标特征进一步捕捉关键特征，提高关键道路限高目标分割网络的鲁棒性；将输入的3维的EdgeConv特征图和3维的法向量特征图进行拼接，得到6维的特征图，将其作为多头注意力机制的输入，输出得到多头注意力特征。
5.根据权利要求1所述的一种基于点云的大件运输关键道路空间通行性判定方法，其特征在于，步骤3中训练三维点云提取网络模型如下：
将得到的大件运输关键道路三维点云的样本集和标记样本集放入点云提取网络进行训练，得到训练后的模型；并将待预测的大件运输关键道路三维点云放入训练后的模型进行预测，得到所有输入点云的类别，进而提取道路和限高目标三维点云。
6.根据权利要求1所述的一种基于点云的大件运输关键道路空间通行性判定方法，其特征在于，步骤4中计算大件运输关键道路和限高附属设施的空间信息如下：
将提取的大件运输关键道路限高目标和道路的三维点云数据，经过alpha shapes算法得到限高目标和道路的边界轮廓信息，再将提取出边界轮廓的道路点云进行均匀采样，选取起始点云进行遍历，计算相邻两点云的向量，并求出相邻点云向量的夹角，设定夹角大于10度为弯曲道路即关键道路，剔除掉非弯曲道路点云，保留弯曲道路点云，然后计算弯曲道路的最小宽度和限高目标到道路的最小高度；道路最小宽度
Figure QLYQS_3
计算公式为：
Figure QLYQS_4
；
式中，
Figure QLYQS_5
为外弯道点云
Figure QLYQS_6
到任意内弯道点云
Figure QLYQS_7
一点的距离，
Figure QLYQS_8
为所有
Figure QLYQS_9
到
Figure QLYQS_10
距离的最小值，即在每个点的道路宽度；
同理求出限高目标到道路的最小高度
Figure QLYQS_11
。
7.根据权利要求1所述的一种基于点云的大件运输关键道路空间通行性判定方法，其特征在于，步骤5中计算大件车辆的扫空路径如下：
由大件设备的最大外扫半径、大件车辆的最小内扫半径和大件车辆最大高度组成的三维封闭区域作为大件运输车辆转弯状态下的三维扫空路径；大件车辆最大高度为
Figure QLYQS_12
，大件车辆平面扫空路径计算如下：
简化轮胎位置位于车身四角，大件车辆最小内扫半径
Figure QLYQS_13
计算公式为：
Figure QLYQS_14
；
式中，
Figure QLYQS_15
为车身长的一半，
Figure QLYQS_16
=DA为车身宽，
Figure QLYQS_17
，
Figure QLYQS_18
为车辆外轮最大转向角；
大件设备最大外扫半经
Figure QLYQS_19
计算公式为：
Figure QLYQS_20
；
式中，
Figure QLYQS_21
，
Figure QLYQS_22
为大件设备超出车身的长度，
Figure QLYQS_23
为大件设备的宽度。
8.根据权利要求1所述的一种基于点云的大件运输关键道路空间通行性判定方法，其特征在于，步骤6中进行大件车辆关键道路空间通行性判定如下：
对于大件运输过程中装载的大件货物长于车身的情形，将关键道路和限高目标的空间信息与大件车辆的扫空区域及最大高度进行比对；
步骤6.1：关键道路的最小宽度
Figure QLYQS_24
，限高目标的最小高度
Figure QLYQS_25
；
步骤6.2：车辆最小内扫半径
Figure QLYQS_26
、大件设备最大外扫半经
Figure QLYQS_27
，
Figure QLYQS_28
即为大件车辆的最大平面扫空区域，记作
Figure QLYQS_29
，大件车辆最大高度为
Figure QLYQS_30
；
步骤6.3：若
Figure QLYQS_31
且
Figure QLYQS_32
，则可通行，否则不可通行。
CN202310366844.7A 2023-04-07 2023-04-07 一种基于点云的大件运输关键道路空间通行性判定方法 Active CN116092038B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310366844.7A CN116092038B (zh) 2023-04-07 2023-04-07 一种基于点云的大件运输关键道路空间通行性判定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310366844.7A CN116092038B (zh) 2023-04-07 2023-04-07 一种基于点云的大件运输关键道路空间通行性判定方法

Publications (2)

Publication Number Publication Date
CN116092038A true CN116092038A (zh) 2023-05-09
CN116092038B CN116092038B (zh) 2023-06-30

Family

ID=86199446

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310366844.7A Active CN116092038B (zh) 2023-04-07 2023-04-07 一种基于点云的大件运输关键道路空间通行性判定方法

Country Status (1)

Country Link
CN (1) CN116092038B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117198080A (zh) * 2023-09-05 2023-12-08 长安大学 车辆轨迹控制系统及车辆轨迹控制方法
CN117350623A (zh) * 2023-10-24 2024-01-05 长安大学 基于模糊层次综合评价法的大件运输路径智能决策方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111665828A (zh) * 2019-03-08 2020-09-15 深圳市速腾聚创科技有限公司 车辆感应方法、装置、计算机设备和存储介质
CN112257637A (zh) * 2020-10-30 2021-01-22 福州大学 一种融合点云和多视图的车载激光点云多目标识别方法
US10929694B1 (en) * 2020-01-22 2021-02-23 Tsinghua University Lane detection method and system based on vision and lidar multi-level fusion
CN112488210A (zh) * 2020-12-02 2021-03-12 北京工业大学 一种基于图卷积神经网络的三维点云自动分类方法
CN113554654A (zh) * 2021-06-07 2021-10-26 之江实验室 基于图神经网络的点云特征提取模型及分类分割方法
CN113989784A (zh) * 2021-11-30 2022-01-28 福州大学 一种基于车载激光点云的道路场景类型识别方法及系统
CN114049362A (zh) * 2021-11-09 2022-02-15 中国石油大学(华东) 一种基于transformer的点云实例分割方法
CN114387407A (zh) * 2021-11-18 2022-04-22 桂林电子科技大学 一种基于三维通道模型的大件货物运输通过性评估方法
WO2022088676A1 (zh) * 2020-10-29 2022-05-05 平安科技（深圳）有限公司 三维点云语义分割方法、装置、设备及介质
CN114511745A (zh) * 2022-02-14 2022-05-17 安徽大学 三维点云分类及旋转姿态预测方法及系统
CN114998604A (zh) * 2022-05-09 2022-09-02 中国地质大学（武汉） 一种基于局部点云位置关系的点云特征提取方法
CN115019191A (zh) * 2022-04-22 2022-09-06 中国石油大学(华东) 一种基于Hausdorff距离的大件运输关键道路空间通行性判定方法
CN115063465A (zh) * 2022-06-15 2022-09-16 华南理工大学 一种基于激光雷达的无人车行驶路况建模方法
US20220414821A1 (en) * 2021-06-29 2022-12-29 The Regents Of The University Of Michigan Systems and methods for point cloud registration

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111665828A (zh) * 2019-03-08 2020-09-15 深圳市速腾聚创科技有限公司 车辆感应方法、装置、计算机设备和存储介质
US10929694B1 (en) * 2020-01-22 2021-02-23 Tsinghua University Lane detection method and system based on vision and lidar multi-level fusion
WO2022088676A1 (zh) * 2020-10-29 2022-05-05 平安科技（深圳）有限公司 三维点云语义分割方法、装置、设备及介质
CN112257637A (zh) * 2020-10-30 2021-01-22 福州大学 一种融合点云和多视图的车载激光点云多目标识别方法
CN112488210A (zh) * 2020-12-02 2021-03-12 北京工业大学 一种基于图卷积神经网络的三维点云自动分类方法
CN113554654A (zh) * 2021-06-07 2021-10-26 之江实验室 基于图神经网络的点云特征提取模型及分类分割方法
US20220414821A1 (en) * 2021-06-29 2022-12-29 The Regents Of The University Of Michigan Systems and methods for point cloud registration
CN114049362A (zh) * 2021-11-09 2022-02-15 中国石油大学(华东) 一种基于transformer的点云实例分割方法
CN114387407A (zh) * 2021-11-18 2022-04-22 桂林电子科技大学 一种基于三维通道模型的大件货物运输通过性评估方法
CN113989784A (zh) * 2021-11-30 2022-01-28 福州大学 一种基于车载激光点云的道路场景类型识别方法及系统
CN114511745A (zh) * 2022-02-14 2022-05-17 安徽大学 三维点云分类及旋转姿态预测方法及系统
CN115019191A (zh) * 2022-04-22 2022-09-06 中国石油大学(华东) 一种基于Hausdorff距离的大件运输关键道路空间通行性判定方法
CN114998604A (zh) * 2022-05-09 2022-09-02 中国地质大学（武汉） 一种基于局部点云位置关系的点云特征提取方法
CN115063465A (zh) * 2022-06-15 2022-09-16 华南理工大学 一种基于激光雷达的无人车行驶路况建模方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
FANFAN W 等: "3D scene graph prediction from point clouds", 《 VIRTUAL REALITY & INTELLIGENT HARDWARE》, vol. 4, pages 76 - 88 *
YIMING CUI 等: "Geometric attentional dynamic graph convolutional neural networks for point cloud analysis", 《NEUROCOMPUTING》, vol. 432, pages 300 - 310 *
牛辰庚 等: "基于点云数据的三维目标识别和模型分割方法", 《图学学报》, vol. 40, no. 2, pages 274 - 281 *
王婉佳: "点云特征提取与拼接算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, vol. 2019, no. 1, pages 138 - 4776 *
陈迎亮 等: "物件点云的语义实例联合分割网络", 《东华大学学报(自然科学版)》, vol. 48, no. 6, pages 84 - 91 *
韩姗姗 等: "基于DGCNN语义分割的倾斜摄影测量三维点云建筑物分类", 《测绘标准化》, vol. 36, no. 3, pages 21 - 26 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117198080A (zh) * 2023-09-05 2023-12-08 长安大学 车辆轨迹控制系统及车辆轨迹控制方法
CN117198080B (zh) * 2023-09-05 2024-10-18 长安大学 车辆轨迹控制系统及车辆轨迹控制方法
CN117350623A (zh) * 2023-10-24 2024-01-05 长安大学 基于模糊层次综合评价法的大件运输路径智能决策方法

Also Published As

Publication number Publication date
CN116092038B (zh) 2023-06-30

Similar Documents

Publication Publication Date Title
CN110942000B (zh) 一种基于深度学习的无人驾驶车辆目标检测方法
CN116092038B (zh) 一种基于点云的大件运输关键道路空间通行性判定方法
CN109446970B (zh) 一种基于深度学习的变电站巡检机器人道路场景识别方法
CN108171112B (zh) 基于卷积神经网络的车辆识别与跟踪方法
CN111242041B (zh) 基于伪图像技术的激光雷达三维目标快速检测方法
CN111169468B (zh) 一种自动泊车的系统及方法
Ohgushi et al. Road obstacle detection method based on an autoencoder with semantic segmentation
CN107703945A (zh) 一种多目标融合的智能农用机械路径规划方法
CN107808123B (zh) 图像可行域检测方法、电子设备、存储介质、检测系统
Balaska et al. Enhancing satellite semantic maps with ground-level imagery
CN113409252B (zh) 一种架空输电线路巡检机器人障碍物检测方法
CN113126115A (zh) 基于点云的语义slam方法、装置、电子设备和存储介质
Saleem et al. Steering angle prediction techniques for autonomous ground vehicles: a review
Mulyanto et al. A New Indonesian Traffic Obstacle Dataset and Performance Evaluation of YOLOv4 for ADAS
CN111098850A (zh) 一种自动停车辅助系统及自动泊车方法
CN113468994A (zh) 基于加权采样和多分辨率特征提取的三维目标检测方法
Dimitrievski et al. Semantically aware multilateral filter for depth upsampling in automotive lidar point clouds
Gökçe et al. Recognition of dynamic objects from UGVs using Interconnected Neuralnetwork-based Computer Vision system
Kumari et al. YOLOv8 Based Deep Learning Method for Potholes Detection
Liu et al. Research on security of key algorithms in intelligent driving system
Imad et al. Navigation system for autonomous vehicle: A survey
CN115187959B (zh) 一种基于双目视觉的飞行汽车山地着陆方法及系统
CN116664851A (zh) 一种基于人工智能的自动驾驶数据提取方法
Yildiz et al. CNN based sensor fusion method for real-time autonomous robotics systems
Chen et al. A new adaptive region of interest extraction method for two-lane detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant