CN116030076A - 基于因果推理的隧道点云多目标分割集成方法及系统 - Google Patents

基于因果推理的隧道点云多目标分割集成方法及系统 Download PDF

Info

Publication number
CN116030076A
CN116030076A CN202310065678.7A CN202310065678A CN116030076A CN 116030076 A CN116030076 A CN 116030076A CN 202310065678 A CN202310065678 A CN 202310065678A CN 116030076 A CN116030076 A CN 116030076A
Authority
CN
China
Prior art keywords
point cloud
tunnel
cloud data
point
evidence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310065678.7A
Other languages
English (en)
Inventor
张立茂
张兆祥
黄锦庭
王迦淇
李永胜
王堃宇
邬毛志
吴贤国
刘琼
郭靖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202310065678.7A priority Critical patent/CN116030076A/zh
Publication of CN116030076A publication Critical patent/CN116030076A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于因果推理的隧道点云多目标分割集成方法及系统,方法包括:采集隧道的点云数据并基于圆投影算法转化为二维点图;基于二维点图和二维Unet模型提取点云数据的全局特征,基于二维点图和边缘卷积提取点云数据的局部特征;基于因果推理模型对隧道的点云数据进行数据增强;分别根据全局特征和局部特征数据增强后的隧道的点云数据进行分类,基于改进的D‑S基于证据的特征融合方法对分类结果进行特征融合。针对有效迅速的解决三维点云语义分割问题,提出了一种基于点投影和动态图卷积神经网络的集成方法,对输入点云进行处理,并进行良好的语义推理,从而进行高精度快速的进行渗流类别的识别确定。

Description

基于因果推理的隧道点云多目标分割集成方法及系统
技术领域
本发明属于盾构施工三维点云多目标探测识别技术领域,更具体地,涉及一种基于因果推理的隧道点云多目标分割集成方法及系统。
背景技术
地铁隧道作为地铁运营的重要支撑,其安全性受到外部环境和内部因素的影响,如行车振动、土体压力、地质条件、老化过程等。如果不及时检查并采取维护措施,隧道劣化可能会加剧,从而影响地铁的正常运营,特别是劣化产生的渗水会逐渐演变,从而影响隧道结构的性能,最终可能导致局部或全局坍塌,危及地铁的安全运营,这是隧道运营管理中普遍存在的问题。当前的一种传统的解决办法是采用人工进行隧道检查,这种方法虽然有效,但效率低、耗时、劳动强度大,无法适应与大型隧道。因此,开发先进的方法具有重要的意义和优先性。
当前,基于图像和点云的方法都被提出用于隧道监测。这些方法无疑提高了隧道勘察的有效性和效率。然而,图像所收集信息受到视野的限制,这些图像无法充分覆盖整个隧道,其中二维(2D)图像的性质很难代表现实世界中的三维(3D)物体。此外,隧道内光照条件较弱,可能会导致采集到的图像质量较差,从而导致评判结果相差甚远。而点云的采集是通过三维激光扫描获得的,不需要额外的光照,因此能够提供三维场景描述,也具有应用于隧道内黑暗环境的能力。三维点云能够提供详细的空间和属性信息,用于精确和细粒度的对象描述,比视觉图像更适合隧道对象表示。基于点云的方法直接在三维点云上工作,性能较好,但在时间效率和精度方面仍然需要进一步的优化。同时三维点云具有非结构化和不规则性,会干扰模型的特征学习,从而对有效的结果分析造成严重阻碍。总的来说,上述研究大多在特定场景下取得了良好的效果,提高了模型的性能,丰富了领域知识库,促进了行业的发展。这些研究主要基于特征工程,加强特征提取,不断改进模型,提出新的模型,有效的特征提取可以使模型捕获和学习特征,从而提高性能。
因果干涉法打破了不同类之间的虚假联系,使模型学习独立解耦的目标特征。因果干预方法可以实现高效的图像泛化特征提取,但因果干预在减少背景干扰和特征耦合方面的作用尚未充分应用于基于点云的分割任务中,且大多数相关工作都集中在增强模型在基于图像的任务上的性能。
为了克服有效的点特征提取问题,提高分割精度,本发明开发了一种集成隧道分割模型,提出了一种基于投影点分割和基于点分割的集成框架,设计了一种能够有效高效地分割大尺度三维隧道点云中包括渗流在内的各种目标的集成分割模型。
发明内容
针对现有技术的以上缺陷或改进需求,本发明提供一种基于因果推理的隧道点云多目标分割集成方法及系统,针对有效迅速的解决三维点云语义分割问题,提出了一种基于点投影和动态图卷积神经网络的集成方法,对输入点云进行处理,并进行良好的语义推理,从而进行高精度快速的进行渗流类别的识别确定。
为实现上述目的,按照本发明的一方面,提供一种基于因果推理的隧道点云多目标分割集成方法,包括:
采集隧道的点云数据并基于圆投影算法转化为二维点图;
基于二维点图和二维Unet模型提取点云数据的全局特征,基于二维点图和边缘卷积提取点云数据的局部特征;
基于因果推理模型对隧道的点云数据进行数据增强;
分别根据全局特征和局部特征数据增强后的隧道的点云数据进行分类,基于改进的D-S基于证据的特征融合方法对分类结果进行特征融合。
进一步地,所述采集隧道的点云数据并基于圆投影算法转化为二维点图,包括:
根据第一坐标变换矩阵将隧道的点云数据从球面坐标空间变换到笛卡尔坐标空间;
将笛卡尔坐标空间中隧道的点云数据的向量进行排序并按照梯度区间进行分组,将隧道每一小段的横截面分成一组;
根据最小二乘圆拟合算法确定截面中心,根据截面中心和第二坐标变换矩阵对分组后的点云数据进行投影变换得到二维点图。
进一步地,所述第一坐标变换矩阵包括:
Figure BDA0004073597480000031
其中,x、y、z表示点云数据中每个点的三维坐标,R、α、β分别为采集的隧道的点云数据的半径、高程和方位角。
进一步地,所述根据最小二乘圆拟合算法确定截面中心,根据截面中心和第二坐标变换矩阵对分组后的点云数据进行投影变换得到二维点图,包括:
基于最小二乘圆拟合算法确定截面中心(xc,zc);
基于截面中心和第二坐标变换矩阵将点云数据由笛卡尔坐标空间转换到极坐标,并确定极坐标下点云数据的坐标。
进一步地,所述基于二维点图和边缘卷积提取点云的局部特征,包括:
从二维点图中选取一个大小为N×N的矩形区域,对矩形区域内的点进行分组;
基于KNN算法获取矩形区域内每个点的k个最近点,得到k-edge向量;
基于1×1卷积层从k-edge向量中提取特征,得到k个特征;
基于最大池化操作将k个特征整合为一个特征,得到局部特征。
进一步地,基于因果推理模型对隧道的点云数据进行数据增强,包括:
构建因果结构模型;
基于因果结构模型和隧道的点云数据,构建点云对应的因果结构图;
构建非线性转换器作为干预算子,基于隧道的点云数据、干预算子和因果结构图增强隧道的点云数据。
进一步地,所述干预算子,包括:
Φ(x)=ΦI(x)+ΦP(x)
其中,ΦI(x)和ΦP(x)是两个非线性转换器,ΦI(x)是一个浅卷积网络,包括两个卷积层和一个Leaky ReLU层,用于为每个点的强度产生各种转换函数;ΦP(x)是应用于笛卡儿坐标的随机向量。
进一步地,基于改进的D-S基于证据的特征融合方法对分类结果进行特征融合,包括:
确定各分类结果的证据,并将证据汇总为证据集;
根据证据和证据集确定证据冲突度,根据证据冲突度确定证据信任因子,根据证据信任因子确定证据权重;
根据证据和证据权重进行特征融合。
进一步地,所述基于改进的D-S基于证据的特征融合方法对分类结果进行特征融合,还包括:根据交并比、召回率、精度和F1分数对特征融合后的分类结果进行评估。
按照本发明的第二方面,提供一种基于因果推理的隧道点云多目标分割集成系统,包括:
第一主模块,用于采集隧道的点云数据并基于圆投影算法转化为二维点图;
第二主模块,用于基于二维点图和二维Unet模型提取点云数据的全局特征,基于二维点图和边缘卷积提取点云数据的局部特征;
第三主模块,用于基于因果推理模型对隧道的点云数据进行数据增强;
第四主模块,用于分别根据全局特征和局部特征数据增强后的隧道的点云数据进行分类,基于改进的D-S基于证据的特征融合方法对分类结果进行特征融合。
总体而言,通过本发明所构思的以上技术方案与现有技术相比,能够取得下列有益效果:
1.本发明的隧道点云多目标分割集成方法,将三维点云数据转化为二维点图,提取点云数据的全局特征和局部特征,基于因果推理模型对隧道的点云数据进行数据增强;分别根据全局特征和局部特征数据增强后的隧道的点云数据进行分类,基于改进的D-S基于证据的特征融合方法对分类结果进行特征融合。本发明针对有效迅速的解决三维点云语义分割问题,提出了一种基于点投影和动态图卷积神经网络的集成方法,对输入点云进行处理,并进行良好的语义推理,从而进行高精度快速的进行渗流类别的识别确定。
2.本发明的隧道点云多目标分割集成方法,将投影策略与基于点的方法相结合。在此基础上,提出了一种因果推断数据增强方法,以缓解分段类与渗流类之间的混淆。在测试阶段,采用DS证据融合方法对不同CNN模型的局部特征和全局特征进行融合。为隧道运营阶段进行隧道的安全健康状态检查和维护提供了有效的技术方案。
3.本发明的隧道点云多目标分割集成方法,与不同基线的基于原始点的分割模型相比,表现出最好的分割分数,与基于其他基线(包括Pointnet、PCT、Pointnet2和PointMLP)的相同集成框架相比,基于DGCNN基线设计的框架表现最好,基于因果推理的数据增强和特征融合方法能够很好地辅助模型进行数据分割,取得了很好的效果
4.本发明的隧道点云多目标分割集成方法,为自主实现基于三维点云的隧道多目标分割,构建智能自主无人化隧道运营安全状态监测提供一种新的思路和实现途径。
附图说明
图1为本发明实施例的分割隧道点云的集成模型示意图;
图2为本发明数据采集((a)点云数据;(b)隧道内不同目标物体的真实场景)示意图;
图3为本发明实施例的全局特征提取模块的结构说明;
图4为本发明实施例的局部特征提取模块的结构示意图;
图5为本发明实施例的因果模型示意图;
图6为本发明实施例的分割结果可视化示意图(图6中(a)原始方法基线结果;(b)改进方法结果;(c)原始方法基线结果;(d)改进方法结果);
图7为本发明实施例的基于因果推理的隧道点云多目标分割集成系统示意图;
图8为本发明实施例的基于因果推理的隧道点云多目标分割集成方法的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
在本发明的描述中,除非另有明确的规定和限定,术语“相连”、“连接”、“固定”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组合。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像本申请实施例中一样被特定定义,否则不会用理想化或过于正式的含义来解释。
本发明提供一种基于因果推理的隧道点云多目标分割集成方法,可应用于点云分割技术领域,尤其适用于环境光暗淡的隧道等环境下的点云分割。
其中,点云分类(point cloud classification):为每个点分配一个语义标记。点云的分类是将点云分类到不同的点云集。同一个点云集具有相似或相同的属性,例如地面、树木、人等。也叫做点云语义分割。
其中,点云数据分割的主要方法有三种,基于边的分割方法、基于面的分割方法和基于聚类的分割方法。
1)基于边的分割方法需先寻找出特征线。所谓特征线,也就是特征点所连成的线,目前最常用的提取特征点的方法为基于曲率和法矢量的提取方法,通常认为曲率或者法矢量突变的点为特征点,例如拐点或者角点。提取出特征线之后,再对特征线围成的区域进行分割。
2)基于面的方法是一个不断迭代过程,找到具有相同曲面性质的点,将属于同一基本几何特征的点集分割到同一区域,再确定这些点所属的曲面,最后由相邻的曲面决定曲面间的边界。
3)基于聚类的方法就是将相似的几何特征参数数据点分类,可用根据高斯曲率和平均曲率来求出其几何特征再聚类,最后根据所属类来分割。
本申请实施例提供的基于因果推理的隧道点云多目标分割集成方法可由服务器执行,也可以由终端执行。其中,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、车载终端、智能电视等,具体可基于实际应用场景需求确定,在此不做限制。
如图8所示为本发明的实施例的基于因果推理的隧道点云多目标分割集成方法的流程图,基于因果推理的隧道点云多目标分割集成方法包括步骤S100~S400。
步骤S100、采集隧道的点云数据并基于圆投影算法转化为二维点图;
具体地,本发明实施例采用三维激光扫描系统采集隧道点云数据。如图2所示,在隧道环境下存在多种不同的目标物体,如供电轨、电缆、电缆支架、管片、渗透点,采用三维激光进行数据采集后需要对三维点云数据进行特征提取,根据不同目标物体的特征进行分类。
为了将三维点云转换为二维像素点,本发明提出了一种圆投影算法,基于圆投影算法将三维点云转化为二维点图。
步骤S100包括步骤S101~S103。
步骤S101、根据第一坐标变换矩阵将隧道的点云数据从球面坐标空间变换到笛卡尔坐标空间;
所述第一坐标变换矩阵包括:
Figure BDA0004073597480000081
其中,x、y、z表示点云数据中每个点的三维坐标,R、α、β分别为采集的隧道的点云数据的半径、高程和方位角。
步骤S102、将笛卡尔坐标空间中隧道的点云数据的向量进行排序并按照梯度区间进行分组,将隧道每一小段的横截面分成一组;
在笛卡尔坐标中,点按y的大小升序排列。然后,将排序后的向量按y的梯度区间进行分组,也可选择x或z的大小进行排序并按其梯度区间进行分组。即,将隧道数据中每个小段的横截面分成一组。
步骤S103、根据最小二乘圆拟合算法确定横截面的截面中心,根据截面中心和第二坐标变换矩阵对分组后的点云数据进行投影变换得到二维点图。
所述根据最小二乘圆拟合算法确定横截面的截面中心,根据截面中心和第二坐标变换矩阵对分组后的点云数据进行投影变换得到二维点图,包括:基于最小二乘圆拟合算法确定截面中心(xc,zc);基于截面中心和第二坐标变换矩阵将点云数据由笛卡尔坐标空间转换到极坐标,并确定极坐标下点云数据的坐标。
第二坐标变换矩阵将点云从笛卡尔空间坐标转换到极坐标,第二坐标变换矩阵,包括:
Figure BDA0004073597480000091
其中,xp和zp是每个横截面上每个点的坐标,截面中心(xc,zc)。输出的投影的二维点图中,点图的每个像素都是对应点云的强度。
通过将三维点云降维到二维,可以通过二维的CNN方法提取特征。
步骤S200、基于二维点图和二维U-net模型提取点云数据的全局特征,基于二维点图和边缘卷积提取点云数据的局部特征;
如图3所示为二维U-net模型基于二维点图提取点云数据的全局特征示意图,通过引入二维U-net模型,有效地提取了大尺度点云的全局特征,特别是渗流类特征。然而,这种方法不可避免地会导致信息丢失。有时将不同类别的点分组到同一组中,需要引入模式分数在几个不同的点类别之间选择输出类别,这导致分割结果错误,特别是在渗流边缘区域。为了进一步增强边缘区域的分割结果,我们采用了一种有效的局部特征提取方法。
如图4所示为对二维点图进行局部特征提取(LFE)的示意图,所述基于二维点图和边缘卷积提取点云数据的局部特征包括:
从二维点图中选取一个大小为N×N的矩形区域,对矩形区域内的点进行分组;
基于KNN算法获取矩形区域内每个点的k个最近点,得到k-edge向量;
基于1×1卷积层从k-edge向量中提取特征,得到k个特征;
基于最大池化操作将k个特征整合为一个特征,得到局部特征。
为了提取局部特征,我们从二维点云图中随机选取一个大小为N×N的矩形区域,并将该区域内所有的点分组,用X={x1,...,xn}表示。每个点包含一个四维值,即[x,y,z,I]。在每个点的特征空间中,对于每个点xi,利用KNN算法来获取k个最近点。k个点按距离的升序排列,记为
Figure BDA0004073597480000101
;k-edge向量点来源于
Figure BDA0004073597480000102
然后引入一个核大小为1×1的卷积层,从k-edge向量中提取特征,得到局部特征。
步骤S300、基于因果推理模型对隧道的点云数据进行数据增强;
本发明实施例的因果结构模型如图5所示。xf表示点云类的有效特征,如渗流类。而xb可能与背景类相关,比如管片类。
Figure BDA0004073597480000103
为分割模型。Y是点云分类。根据因果模型,神经网络模型提取全局和局部的点特征对隧道点进行分类,这意味着渗流点和邻近背景的渗流点不可避免地同时被感知。因此,xb和xf都会影响分割模型的输出。渗流类和管片类之间的伪相关会混淆神经网络模型,影响特征提取。
步骤S300包括步骤S301~S303。
步骤S301、构建因果结构模型;
因果结构模型用于确定点云目标(如渗流类)和背景(如管片类)的关联关系,需要说明的是,因果结构模型的构建为现有技术,在此不作赘述。
步骤S302、基于因果结构模型和隧道的点云数据,构建点云对应的因果结构图;
具体而言,点云的目标特征为所需要识别点云类的有效特征,基于因果结构模型确定点云目标(如渗流类)和背景(如管片类)的关联关系,隔绝渗流类和管片类之间的伪相关。
步骤S303、构建非线性转换器作为干预算子,基于隧道的点云数据、干预算子和因果结构图增强隧道的点云数据。
干预算子包括点的强度和位置两个转换器,在因果结构图中通过干预算子对点的转换,克服了渗流类与管片类之间的错误连接,实现对隧道的点云数据的增强。
所述干预算子,包括:
Φ(x)=ΦI(x)+ΦP(x)
其中,ΦI(x)和ΦP(x)是两个非线性转换器,ΦI(x)是一个浅卷积网络,包括两个卷积层和一个Leaky ReLU层,用于为每个点的强度产生各种转换函数;ΦP(x)是应用于笛卡儿坐标的随机向量。
在每次迭代中,管片类的训练点被赋予不同的位置和强度,从而克服了渗流类与管片类之间的错误连接,提高了渗流类的分段性能。
步骤S400、分别根据全局特征和局部特征对数据增强后的隧道的点云数据进行分类,基于改进的D-S基于证据的特征融合方法对分类结果进行特征融合。
对于隧道点云数据,在处理前根据专家意见或者点云分割需求将点云数据标为几类,如管片类、渗流类等,提取全局特征和局部特征后分别基于全局特征和局部特征将点云数据进行分类。
为提高点云分割的效果(交并比IOU、召回率(R)、精度(P)和F1分数),对基于全局特征和局部特征的分类结果进行融合。
步骤S400包括步骤S401~S403。
步骤S401、确定各分类结果的证据,并将证据汇总为证据集;
步骤S402、根据证据和证据集确定证据冲突度,根据证据冲突度确定证据信任因子,根据证据信任因子确定证据权重;
步骤S403、根据证据和证据权重进行特征融合。
对于一个类别为k的分割结果i,都有证据信任因子Crdi,k和证据Ei,k,将证据汇总为证据集,对于任一证据Ei,k,证据Ej,k与证据Ei,k的证据冲突度为
Figure BDA0004073597480000121
其中,d为两个证据Ei,k和Ej,k之间的Jousselme距离。需要说明的是,Jousselme距离的计算方法为现有技术,在此不作赘述。
Sk是衡量证据Ei,k冲突程度的指标,它反映了两个证据之间的差异程度。当Sk较小时,意味着Ei,k与其他证据更一致,冲突程度较低。相反,当Sk较大时,则意味着Ei,k与其他证据有很大不同,且证据高度发散且高度冲突。
根据证据冲突度Sk得到证据信任因子Crdi,k。将每个证据与其他证据的证据冲突度求和得到,对于任一证据,其证据信任因子即为该证据证据冲突度与该证据与其他证据的证据冲突度之和的比。
得到所有证据的信任因子后根据,证据信任因子可以得到证据权重:
Crdmax=max(Crd1,Crd2,…,Crdn)
Figure BDA0004073597480000122
其中,Crd1,Crd2,…Crdn为各证据相对于证据Ei,k的证据信任因子,Crdmax为所有证据信任因子的最大值。
根据证据权重和证据得到特征融合的点云分割结果:
Figure BDA0004073597480000123
其中,Outk为第k类点云分割的综合结果。
所述基于改进的D-S基于证据的特征融合方法对分类结果进行特征融合之后,还包括:根据交并比、召回率、精度和F1分数对分割效果进行评估。
具体来说交并比(IOU)是目标检测中使用的一个概念,是产生的候选框(candidate bound)与原标记框(ground truth bound)的交叠率,即它们的交集与并集的比值;精度是TP与正数总数之比按模型分类的样本;召回率是TP与实际正性样本总数之比;F1分数是精确度和召回率的结合。
Figure BDA0004073597480000131
精度=TP/(TP+FP)
召回率=TP/(TP+FN)
Figure BDA0004073597480000132
其中,A为真实框,B为预测框,TP为检测数据总数,FP为假阳性例数,FN为假阴性例数。
实施例1
为使本发明的方法的具体实施过程更加清楚明确,本申请以某隧道数据的三维点云分割进行具体说明。
本发明的方法模型是使用Pytorch框架实现的。所有实验均使用GeForce RTX3090GPU和24GB RAM,以及i7 CPU和16GB RAM进行。学习率初始化为1×104。在这个实例中使用的模型训练优化器是Adam。
步骤一、采集隧道的点云数据并基于圆投影算法转化为二维点图;
本实例采用经典的徕卡“SiTrack:ONE”三维激光扫描系统采集隧道点云数据。该数据集包含34407083个点,由领域专家使用CloudCompare软件手动标记为七个类。此外,该数据集中80%的隧道点(约2750万个点)被应用为训练数据集,剩余的隧道点(约688万个点)被用作测试数据集来评估。
根据第一坐标变换矩阵将隧道的点云数据从球面坐标空间变换到笛卡尔坐标空间;
所述第一坐标变换矩阵包括:
Figure BDA0004073597480000141
其中,x、y、z表示点云数据中每个点的三维坐标,R、α、β分别为采集的隧道的点云数据的半径、高程和方位角。
步骤S102、将笛卡尔坐标空间中隧道的点云数据的向量进行排序并按照梯度区间进行分组,将隧道每一小段的横截面分成一组;
在笛卡尔坐标中,点按y的大小升序排列。然后,将排序后的向量按y的梯度区间进行分组,也可选择x或z的大小进行排序并按其梯度区间进行分组。即,将隧道数据中每个小段的横截面分成一组。
步骤S103、根据最小二乘圆拟合算法确定横截面的截面中心,根据截面中心和第二坐标变换矩阵对分组后的点云数据进行投影变换得到二维点图。
所述根据最小二乘圆拟合算法确定横截面的截面中心,根据截面中心和第二坐标变换矩阵对分组后的点云数据进行投影变换得到二维点图,包括:基于最小二乘圆拟合算法确定截面中心(xc,zc);基于截面中心和第二坐标变换矩阵将点云数据由笛卡尔坐标空间转换到极坐标,并确定极坐标下点云数据的坐标。
第二坐标变换矩阵将点云从笛卡尔空间坐标转换到极坐标,第二坐标变换矩阵,包括:
Figure BDA0004073597480000142
其中,xp和zp是每个横截面上每个点的坐标,截面中心坐标为(xc,zc)。输出的投影的二维点图中,点图的每个像素都是对应点云的强度。
通过将三维点云降维到二维,可以通过二维的CNN方法提取特征。
步骤二、基于二维点图和二维Unet模型提取点云数据的全局特征,基于二维点图和边缘卷积提取点云数据的局部特征;
二维点图降低了数据维数,允许二维CNN提取特征。参照图3所示,通过引入经典的二维Unet模型,有效地提取了大尺度点云的全局特征,特别是渗流类特征。然而,这种方法不可避免地会导致信息丢失。有时将不同类别的点分组到同一组中,需要引入模式分数在几个不同的点类别之间选择输出类别,这导致分割结果错误,特别是在渗流边缘区域。为了进一步增强边缘区域的分割结果,我们采用了一种有效的局部特征提取方法。
为了提取局部特征,我们从二维点云图中随机选取一个大小为N×N的矩形区域,并将该区域内所有的点分组,用X={x1,...,xn}表示。每个点包含一个四维值,即[x,y,z,I]。在每个点的特征空间中,对于每个点,提出了一种经典的KNN算法来获取k个最近点。k个点按距离的升序排列,记为
Figure BDA0004073597480000151
;k-边缘向量点xi来源于
Figure BDA0004073597480000152
然后我们引入一个核大小为1×1的卷积层,从k-edge向量中提取特征。如下式所示:
Figure BDA0004073597480000153
其中Fi是提取的第i个特征。最后,应用最大池化操作将上述k个特征整合为一个特征,如下式所示:
Figure BDA0004073597480000154
其中outputi为xi输出边缘特征。
点云分割局部特征提取体系结构参照图4所示。第一个LFE的输入为点云数据。在深度神经网络架构中,每个后续LFE层都对前一个LFE层的输出进行操作。由于二维点图中不同位置的点密度不同,引入数据随机抽样策略,从随机矩形区域中提取一定数量的点Nin。也就是说,如果提取区域内的点数量大于Nin,则对这些点进行随机下采样,并选择Nin点作为分割架构的输入。另一方面,如果点的数量小于Nin,则重复进行点序列,直到数量达到Nin为止。对于每个形状为N×4096的点云数据,减小点云数据之间的常数差是加速训练过程的必要条件。计算出点的均值向量,然后每个点云数字阵列减去其均值向量以去除分布偏差,从而成为神经网络架构的输入。
对于LFE方法,LFE内核大小(KS)和点采样数(PSN)是影响集成框架性能的关键因素。本项目方法在不同超参数下的分割结果如表1所示:
表1.不同超参数模型对隧道点云的影响
Figure BDA0004073597480000161
Figure BDA0004073597480000171
结合表1中的内核大小(KS)分数和采样点数(PSN),我们选择了几个不同的组的两个参数,并比较他们的表现。根据结果,所选参数为KS=20,PSN=4096。不同超参数的结果也表明,PSN越大,KS越高,得分越高。但是,当KS大于20,PSN等于4096时,分割性能下降。这是因为较大的KS导致较大的感知场,在卷积过程中可能会忽略局部特征的细节。我们保留KS=20,PSN=4096用于后续实验,并利用集成模型对隧道点云进行分割。
步骤三、基于因果推理模型对隧道的点云数据进行数据增强;
本申请实施例的因果模型如参考图5所示。xf表示点云类的有效特征,如渗流类。而xb可能与背景类相关,比如管片类。
Figure BDA0004073597480000172
为分割模型。Y是点云分类。根据因果模型,神经网络模型提取全局和局部的点特征对隧道点进行分类,这意味着渗流点和邻近背景的渗流点不可避免地同时被感知。因此,xb和xf都会影响分割模型的输出。渗流类和分段类之间的伪相关会混淆神经网络模型,影响特征提取。
由于xf包含了足够的信息来描述Y,因此需要通过引入干预算子来去除混杂的P→xb,如图4所示。通过打破xb和xf之间的伪相关。从训练阶段到测试阶段的转移相关效应得到了缓解。本实例提出了一种非线性转换器来增强点云数据作为干预算子。干预算子如下式所示:
Φ(x)=ΦI(x)+ΦP(x)
其中,ΦI(x)和ΦP(x)是两个非线性转换器。ΦI(x)是一个浅卷积网络,包括两个卷积层和一个Leaky ReLU层,用于为每个点的强度产生各种转换函数。ΦP(x)是应用于[x,y,z]的随机向量,以便随机改变每个点的位置。在每次迭代中,分段类的训练点被赋予不同的位置和强度。从而克服了渗流类与分段类之间的错误连接,提高了渗流类的分段性能。
分别根据全局特征和局部特征数据增强后的隧道的点云数据进行分类,基于改进的D-S基于证据的特征融合方法对分类结果进行特征融合。
本实例中对于每一个类别为k的分割结果i,我们定义信任因子Crdi,k和证据Ei,k,从证据Ei,k到证据集的欧氏距离E定义如下式所示:
Figure BDA0004073597480000181
其中d为两个证据Ei,k和Ej,k之间的Jousselme距离。
Sk是衡量证据Ei,k冲突程度的指标,它反映了两个证据之间的差异程度。当Sk较小时,意味着Ei,k与其他证据更一致,冲突程度较低。相反,当Sk较大时,则意味着Ei,k与其他证据有很大不同,且证据高度发散且高度冲突。在得到证据Ei,k的Crdi,k后,进一步得到其他证据对该证据的支持度量。支持度度量用作该证据的权重ωi,k,每个类的融合结果由如下公式给出。
Crdmax=max(Crd1,Crd2,…,Crdn)
Figure BDA0004073597480000182
Figure BDA0004073597480000183
其中,Outk为第k类点云分割的综合结果。
为了检验所设计方法的有效性,在测试数据集上尝试了不同的分割模块来表达定量结果,如表2所示:在提出的投影框架、基于因果推理的数据增强和Dempster-Shafer(DS)融合方法下,提出的集成模型在交并比IOU、召回率(R)、精度(P)和F1得分方面获得了最佳结果,尤其是在渗流类上。也就是说,投影框架和基于因果推理的数据增强有助于得分的提高,分别为0.101和0.01,进一步验证了所开发的集成投影方法的优越性。DS-特征融合将渗流F1分数从0.817提高到0.824,证明了其有效性。实验结果表明,采用合适的融合模型将全局点特征与局部特征进行融合是提高隧道分割性能的有效方法。
表2.隧道点云模型的计算结果.
Figure BDA0004073597480000191
本发明实施例的分割结果及模型评估,具体包括:
为了更好地评估和比较所提出的方法,使用20%的隧道点云进行监督学习型像素级分割,以验证和提高其性能。本研究采用了DGCNN、PointNet、Pointnet++、PointMLP、PCT五种SOTA基于点的分割架构,通过AP得分的比较,发现基于DGCNN的模型在渗流等物体的检测上表现最优,符合我们的预期。在“Cable”、“Segment”、“Pipe”、“PowerTrack”、“Seepage”、“Support”和“Track”类别中,基于DGCNN的投影方法分别获得了0.9318、0.8919、0.9968、0.954、0.7362、0.7718和0.9814的AP评分。因此,将DGCNN骨干网应用于下面的实验中。从不同类别的PR曲线可以看出,大多数类别都可以很容易地通过点分类方法进行分类。7个班级中,AP分数超过0.9的班级有5个。渗流类是最难分类的类,渗流分段AP得分最佳值小于0.75。因此,本文提出了以提高渗流分割性能为重点的模块,并在后续实验中验证了模块的性能。
本实例为了进一步证明所提出的综合方法的优越性,将基于5个点的分割基线与投影方法相结合,对隧道数据进行分割。在相同的数据配置中对组合的方法进行训练和测试。从表3可以看出,渗流分割结果表明,对于每个基线,本文方法的渗流分割性能都优于原始方法。原因是基于点的方法善于提取局部特征,而投影方法集中于全局特征。该方法将两种特征结合起来,提取出渗流类的综合特征,在渗流分割上取得了较好的分值。从表3还可知基于DGCNN的方法获得了最好的IOU和F1分数,这与表1的结果一致,反映了DGCNN基线对隧道数据分割的有效性。
表3.不同主干的渗流分割模型的结果。
Figure BDA0004073597480000201
本实例通过将所提出的集成方法与数据增强模型和特征融合模型相结合,使用基于python的Open3D库生成测试点云的分割结果。分割结果的可视化参照图6所示。与RawDGCNN方法相比,进一步验证了本文提出的积分模型对大部分渗流点进行了正确分割。正确的渗流像素点和正确的其他类标记为浅蓝色和深蓝色,而错误分类为其他类的渗流点标记为橙色。而将错误划分为渗流类的非渗流点标记为绿色(图6中以不同程度的灰色表示)。可视化结果表明,大部分误差来自于将非渗流类错误划分为渗流类。这是因为在小范围内段点与渗流点非常相似,而基于点的模型与局部特征相混淆。与原始方法相比,绿色像素明显减少,进一步验证了本实例所提方法的优越性。通过基于投影的框架将局部特征与全局特征相结合,可以在大范围内正确划分管片类和渗流类。分割结果的精度和F1分数得到了显著提高。
本发明各个实施例的实现基础是通过具有中央处理器功能的设备进行程序化的处理实现的。因此在工程实际中,可以将本发明各个实施例的技术方案及其功能封装成各种模块。基于这种现实情况,在上述各实施例的基础上,本发明的实施例提供了一种基于因果推理的隧道点云多目标分割集成系统,如图7所示,用于执行上述方法实施例中的基于因果推理的隧道点云多目标分割集成方法。包括:
第一主模块,用于采集隧道的点云数据并基于圆投影算法转化为二维点图;
第二主模块,用于基于二维点图和二维Unet模型提取点云数据的全局特征,基于二维点图和边缘卷积提取点云数据的局部特征;
第三主模块,用于基于因果推理模型对隧道的点云数据进行数据增强;
第四主模块,用于分别根据全局特征和局部特征数据增强后的隧道的点云数据进行分类,基于改进的D-S基于证据的特征融合方法对分类结果进行特征融合。
需要说明的是,本发明提供的装置实施例中的装置,除了可以用于实现上述方法实施例中的方法外,还可以用于实现本发明提供的其他方法实施例中的方法,区别仅仅在于设置相应的功能模块,其原理与本发明提供的上述装置实施例的原理基本相同,只要本领域技术人员在上述装置实施例的基础上,参考其他方法实施例中的具体技术方案,通过组合技术特征获得相应的技术手段,以及由这些技术手段构成的技术方案,在保证技术方案具备实用性的前提下,就可以对上述装置实施例中的装置进行改进,从而得到相应的装置类实施例,用于实现其他方法类实施例中的方法。
本发明实施例的方法是依托电子设备实现的,因此对相关的电子设备有必要做一下介绍。基于此目的,本发明的实施例提供了一种电子设备,该电子设备包括:至少一个中央处理器(Central processor)、通信接口(Communications Interface)、至少一个存储器(Memory)和通信总线,其中,至少一个中央处理器,通信接口,至少一个存储器通过通信总线完成相互间的通信。至少一个中央处理器可以调用至少一个存储器中的逻辑指令,以执行前述各个方法实施例提供的方法的全部或部分步骤。
此外,上述的至少一个存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个方法实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件实现。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。基于这种认识,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于因果推理的隧道点云多目标分割集成方法,其特征在于,包括:
采集隧道的点云数据并基于圆投影算法转化为二维点图;
基于二维点图和二维Unet模型提取点云数据的全局特征,基于二维点图和边缘卷积提取点云数据的局部特征;
基于因果推理模型对隧道的点云数据进行数据增强;
分别根据全局特征和局部特征数据增强后的隧道的点云数据进行分类,基于改进的D-S基于证据的特征融合方法对分类结果进行特征融合。
2.根据权利要求1所述的一种基于因果推理的隧道点云多目标分割集成方法,其特征在于,所述采集隧道的点云数据并基于圆投影算法转化为二维点图,包括:
根据第一坐标变换矩阵将隧道的点云数据从球面坐标空间变换到笛卡尔坐标空间;
将笛卡尔坐标空间中隧道的点云数据的向量进行排序并按照梯度区间进行分组,将隧道每一小段的横截面分成一组;
根据最小二乘圆拟合算法确定截面中心,根据截面中心和第二坐标变换矩阵对分组后的点云数据进行投影变换得到二维点图。
3.根据权利要求1所述的一种基于因果推理的隧道点云多目标分割集成方法,其特征在于,所述第一坐标变换矩阵包括:
Figure FDA0004073597470000011
其中,x、y、z表示点云数据中每个点的三维坐标,R、α、β分别为采集的隧道的点云数据的半径、高程和方位角。
4.根据权利要求1所述的一种基于因果推理的隧道点云多目标分割集成方法,其特征在于,所述根据最小二乘圆拟合算法确定截面中心,根据截面中心和第二坐标变换矩阵对分组后的点云数据进行投影变换得到二维点图,包括:
基于最小二乘圆拟合算法确定截面中心(xc,zc);
基于截面中心和第二坐标变换矩阵将点云数据由笛卡尔坐标空间转换到极坐标,并确定极坐标下点云数据的坐标。
5.根据权利要求1所述的一种基于因果推理的隧道点云多目标分割集成方法,其特征在于,所述基于二维点图和边缘卷积提取点云的局部特征,包括:
从二维点图中选取一个大小为N×N的矩形区域,对矩形区域内的点进行分组;
基于KNN算法获取矩形区域内每个点的k个最近点,得到k-edge向量;
基于1×1卷积层从k-edge向量中提取特征,得到k个特征;
基于最大池化操作将k个特征整合为一个特征,得到局部特征。
6.根据权利要求1所述的一种基于因果推理的隧道点云多目标分割集成方法,其特征在于,基于因果推理模型对隧道的点云数据进行数据增强,包括:
构建因果结构模型;
基于因果结构模型和隧道的点云数据,构建点云对应的因果结构图;
构建非线性转换器作为干预算子,基于隧道的点云数据、干预算子和因果结构图增强隧道的点云数据。
7.根据权利要求1所述的一种基于因果推理的隧道点云多目标分割集成方法,其特征在于,所述干预算子,包括:
Φ(x)=ΦI(x)+ΦP(x)
其中,ΦI(x)和ΦP(x)是两个非线性转换器,ΦI(x)是一个浅卷积网络,包括两个卷积层和一个Leaky ReLU层,用于为每个点的强度产生各种转换函数;ΦP(x)是应用于笛卡儿坐标的随机向量。
8.根据权利要求7所述的一种基于因果推理的隧道点云多目标分割集成方法,其特征在于,基于改进的D-S基于证据的特征融合方法对分类结果进行特征融合,包括:
确定各分类结果的证据,并将证据汇总为证据集;
根据证据和证据集确定证据冲突度,根据证据冲突度确定证据信任因子,根据证据信任因子确定证据权重;
根据证据和证据权重进行特征融合。
9.根据权利要求1所述的一种基于因果推理的隧道点云多目标分割集成方法,其特征在于,所述基于改进的D-S基于证据的特征融合方法对分类结果进行特征融合,还包括:根据交并比、召回率、精度和F1分数对特征融合后的分类结果进行评估。
10.一种基于因果推理的隧道点云多目标分割集成系统,其特征在于,包括:
第一主模块,用于采集隧道的点云数据并基于圆投影算法转化为二维点图;
第二主模块,用于基于二维点图和二维Unet模型提取点云数据的全局特征,基于二维点图和边缘卷积提取点云数据的局部特征;
第三主模块,用于基于因果推理模型对隧道的点云数据进行数据增强;
第四主模块,用于分别根据全局特征和局部特征数据增强后的隧道的点云数据进行分类,基于改进的D-S基于证据的特征融合方法对分类结果进行特征融合。
CN202310065678.7A 2023-01-12 2023-01-12 基于因果推理的隧道点云多目标分割集成方法及系统 Pending CN116030076A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310065678.7A CN116030076A (zh) 2023-01-12 2023-01-12 基于因果推理的隧道点云多目标分割集成方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310065678.7A CN116030076A (zh) 2023-01-12 2023-01-12 基于因果推理的隧道点云多目标分割集成方法及系统

Publications (1)

Publication Number Publication Date
CN116030076A true CN116030076A (zh) 2023-04-28

Family

ID=86070561

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310065678.7A Pending CN116030076A (zh) 2023-01-12 2023-01-12 基于因果推理的隧道点云多目标分割集成方法及系统

Country Status (1)

Country Link
CN (1) CN116030076A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116222579A (zh) * 2023-05-05 2023-06-06 西安麦莎科技有限公司 一种基于建筑施工的无人机巡察方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116222579A (zh) * 2023-05-05 2023-06-06 西安麦莎科技有限公司 一种基于建筑施工的无人机巡察方法及系统

Similar Documents

Publication Publication Date Title
Sony et al. A systematic review of convolutional neural network-based structural condition assessment techniques
Deng et al. Vision based pixel-level bridge structural damage detection using a link ASPP network
CN108961235B (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN110287932B (zh) 基于深度学习图像语义分割的道路阻断信息提取方法
TW202207077A (zh) 一種文本區域的定位方法及裝置
US20170076448A1 (en) Identification of inflammation in tissue images
CN113159120A (zh) 一种基于多尺度跨图像弱监督学习的违禁物检测方法
Zhang et al. Investigation of pavement crack detection based on deep learning method using weakly supervised instance segmentation framework
Stomberg et al. Jungle-net: Using explainable machine learning to gain new insights into the appearance of wilderness in satellite imagery
Liu et al. Fine-grained multilevel fusion for anti-occlusion monocular 3d object detection
CN114972759A (zh) 基于分级轮廓代价函数的遥感图像语义分割方法
CN116030076A (zh) 基于因果推理的隧道点云多目标分割集成方法及系统
CN115527098A (zh) 基于全局均值对比度空间注意力的红外小目标检测方法
Wang et al. NAS-ASDet: An adaptive design method for surface defect detection network using neural architecture search
Yang et al. An effective and lightweight hybrid network for object detection in remote sensing images
Pijackova et al. Deep learning pipeline for chromosome segmentation
CN113887455B (zh) 一种基于改进fcos的人脸口罩检测系统及方法
Liu et al. ViTR-Net: An unsupervised lightweight transformer network for cable surface defect detection and adaptive classification
Widyaningrum et al. Tailored features for semantic segmentation with a DGCNN using free training samples of a colored airborne point cloud
Sabir et al. MONet: Multi-Scale Overlap Network for Duplication Detection in Biomedical Images
CN113689067B (zh) 一种图像保障信息评估系统
CN114882292B (zh) 基于跨样本关注机制图神经网络的遥感影像海洋目标识别方法
CN117274817B (zh) 裂缝自动化识别方法、装置、终端设备及存储介质
Sui et al. A boundary aware neural network for road extraction from high-resolution remote sensing imagery
CN114998605B (zh) 一种恶劣成像条件下图像增强引导的目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination