CN111833449A - 地铁隧道内部环境三维重建和病害智能识别方法 - Google Patents

地铁隧道内部环境三维重建和病害智能识别方法 Download PDF

Info

Publication number
CN111833449A
CN111833449A CN202010617959.5A CN202010617959A CN111833449A CN 111833449 A CN111833449 A CN 111833449A CN 202010617959 A CN202010617959 A CN 202010617959A CN 111833449 A CN111833449 A CN 111833449A
Authority
CN
China
Prior art keywords
tunnel
point cloud
data
radar
wall
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010617959.5A
Other languages
English (en)
Other versions
CN111833449B (zh
Inventor
黎宁
宋子昂
徐帆
李亚红
梅劲松
袁家斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202010617959.5A priority Critical patent/CN111833449B/zh
Publication of CN111833449A publication Critical patent/CN111833449A/zh
Application granted granted Critical
Publication of CN111833449B publication Critical patent/CN111833449B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
    • H04L69/164—Adaptation or special uses of UDP protocol

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Geometry (AREA)
  • Probability & Statistics with Applications (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种地铁隧道内部环境三维重建和病害智能识别方法。首先以16线旋转式激光雷达Z轴作为运动方向，沿着隧道的中心线进行旋转式扫描，得到完整的隧道内部点云数据集，再按照激光雷达UDP数据包提取方法提取出隧道原始数据中的各个激光点的XYZ值和折射率信息，并进行三维重建可视化，然后将XYZI数据和label文件一起封装成batch文件，送进点云深度学习网络Pointnet进行训练和预测，从而得出针对隧道内壁的点云分割模型。隧道内壁点云信息可以快速获得并迅速重建，避免了低效率、低可靠的人工检测方式和手工提取隧道病害特征的复杂环节，充分利用了深度学习技术所带来的高效便捷，提高了隧道内壁病害识别的精确度和效率，具有较强的实用性和广阔的应用前景。

Description

地铁隧道内部环境三维重建和病害智能识别方法
技术领域
本发明涉及隧道内部安全自动检测技术领域，尤其是指地铁隧道内部的环境安全检测领域，具体说是一种地铁隧道内部环境三维重建和病害智能识别方法。
背景技术
国内的轨道交通正处在高速发展阶段，各主要城市纷纷加快推动地铁建设。随着时间的推移，我国较早一批地铁隧道线路已进入养护期，而新建成和在建的地铁隧道工程也需要进行一系列对隧道内壁病害风险的检测。
衬砌裂缝是衬砌结构破坏或失稳塌陷的重要原因。犹豫隧道的衬砌处于复杂的围岩地质体中，特殊地层因不同反应情况施加在隧道衬砌结构上的荷载，以及列车的高速运行等原因导致隧道混凝土衬砌产生裂缝。裂缝会降低钢筋混凝土结构的承载能力，甚至导致衬砌失稳和突然坍塌，威胁到隧道结构的运营安全。因此对于隧道内部裂缝等危险的检测预防是必不可少的。
目前，地铁运营隧道安全检测工作在夜间非运营时间进行，主要方式为人工纸质记录、拍照、摄像等，智能化程度低，巡检效率低，且巡检结果受检测人员主观因素影像较大。
近年来，随着地面激光相关技术的进步以及社会需求的不断增加，地面激光雷达扫描技术作为一种新型、快速、实时的三维空间信息获取手段，正在快速向前发展。在很短的时间内，它能快速、精确、无接触地获取目标的三维点云信息，完成目标的测量，提供精确的定量分析数据及结果。因为这些优势，引起了大量学者的关注，正被逐步引入工业测量、文物保护、地形图制作，以及公路、桥梁、大坝等的变形监测领域。
发明内容
本发明所要解决的技术问题是针对现有隧道内部人工检测效率低下、智能化程度低的情况，利用激光雷达和深度学习技术，提出了一种地铁隧道内部环境三维重建和病害智能识别方法，能够高效、准确地定位隧道内的主要病害。
本发明为解决上述技术问题采用以下技术方案：
地铁隧道内部环境三维重建和病害智能识别方法，包括以下步骤：
步骤1：使激光雷达Z轴沿着隧道中心线行进，对隧道内壁进行“切片面包”式扫描；
步骤2：采用Wireshark软件实时抓取激光雷达传给上位机的UDP数据包；
步骤3：对扫描完成后得到的数据集按照既定公式提取出XYZ坐标和intensity信息；
步骤4：对得到的点云簇根据Z轴前进的设定速度进行拉伸得到隧道内壁的三维影像；
步骤5：将数据送进训练好的3D深度学习Pointnet网络进行部分分割；
步骤6：将分割出的与正常隧道内壁不同的点云群进行分析，判定是否为病害。
进一步的，步骤1中对待检测地铁隧道进行激光雷达扫描的详细步骤如下：
步骤1.1：将激光雷达固定在匀速轨道车上；
步骤1.2：依据这款雷达自身属性，其最高采样频率为20Hz。采集一次切面数据点的时间为0.05s，若想达到横向0.01m级精度，根据公式V≤A·Fmax(V:小车速度，单位m/s；A:精度需求，单位m；Fmax:雷达最高旋转采样频率，单位Hz)，需要轨道车在0.05s内移动少于0.01m，所以小车速度应慢于0.2m/s；
步骤1.3：控制R-Fans的计算机(上位机)应与R-Fans在同一个子网内，即IP地址为192.168.1.x，子网掩码为255.255.255.0，IP地址不能与R-Fans16的IP地址冲突(R-Fans16默认IP地址为192.168.1.201)。
进一步的，步骤2和3中对回传UDP数据包的抓取与信息重构的详细步骤如下：
步骤2.1：上位机发送命令目标是R-Fans16的2015端口，并通过wireshark抓包软件监听2015端口解析UDP报文；
步骤3.1：UDP包中的GPS Timestamp表示Group0中Point0的时间戳，UDP包中其它Point的时间戳都通过GPS Timestamp为基础计算得到；
步骤3.2：读取UDP数据包中的十六进制数据并转换为十进制，并将其按激光雷达用户手册里的UDP格式和坐标计算方法，转换为点云的XYZ坐标和折射率信息的矩阵。
作为本发明一种地铁隧道内部环境三维重建和病害智能识别方法进一步的优化方案，步骤4中点云成像的详细步骤如下：
步骤4.1：根据雷达自身属性，每隔1202us会向上位机传递1给UDP数据包，每个UDP数据包含有16给Group，每个Group含有32个点云信息，故而可以计算出1秒内产生约32万个点云数据。
步骤4.2：经测算定制轨道车匀速行驶时的速度为0.172m/s，若要达到系统整体的隧道内壁扫描厘米级精度，那么同线相邻点的在Z轴上的投影间隔为5.384×10-7m，并以此间隔为标准拉伸16线静态数据投射点，使之成为实际隧道内壁点云影像。
作为本发明地铁隧道内部环境三维重建和病害智能识别方法进一步的优化方案，步骤5中根据深度学习网络进行点云部分分割的详细步骤如下：
步骤5.1：利用点云标注软件首先标注出隧道已知病害(如衬砌裂缝等)，利用一些数据增强手段，加大训练样本的数量；
步骤5.2：网络输入n*3的数据，n就是采样点的个数，3表示三维坐标。经过几步mlp(多层感知器)获得n*1024维的采样点特征，然后使用max pooling进行对称操作得到1024维的整体特征(global feature)。其中在分类模型(Classification)中直接经过几层降维输出softmax分类概率，而分割模型(Segmentation)中要将整体特征串接到采样点特征之后再进行多层网络输出。
步骤5.3：在网络中间有两个T-net网络，用于对模型进行旋转不变性处理，T-net生成3*3的旋转矩阵对模型进行操作，分别用于旋转模型坐标和模型中间特征。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
该系统能够高效地获得隧道内壁点云信息并迅速重建，避免了低效率、低可靠的人工检测方式和手工提取隧道病害特征的复杂环节，充分利用了深度学习技术所带来的高效便捷，提高了隧道内壁病害识别的精确度和效率，具有较强的实用性和广阔的应用前景。
附图说明
图1(a)、1(b)分别是激光雷达及其结构示意图；
图2是发明地铁隧道内部环境三维重建和病害智能识别方法的整体流程图；
图3是Wireshark抓取激光雷达回传的UDP包示意图；
图4(a)、图4(b)、图4(c)分别是UDP数据包结构、坐标系角度关系示意图和16线雷达角度偏差表。
图5(a)、5(b)分别是16线静态扫描点云图以及测试场地室内三维重建场景；
图6是3D深度学习网络Pointnet示意图；
图7(a)、7(b)、7(c)分别是隧道三维重建示意图、截取的部分隧道点云原图和部分分割的结果图；
图8是实施例中采用的max-pooling网络结构示意图。
具体实施方式
下面结合附图对本发明的技术方案做进一步的详细说明：
图1所示为本发明的硬件系统实现.
轨道车移动平台以高精度齿轮传动的方式控制自身匀速行进，分为不同的速度档位，实际测试中采用低速挡位即172mm/s挂载雷达进行室内测试扫描，既保证了运行的稳定性，也保证了雷达在水平方向的扫描精度。
R-Fans16激光雷达通过16线360°扫描实现三维探测成像。基于高精度激光回波信号测量技术，R-Fans16具备测程远，测量精度高，回波强度准确等技术特点，同时兼顾了俯仰方向的角度覆盖和角分辨率，具体特点包括：
1.有效抵抗环境背景光干扰，探测能力最远达到200m，测距精度优于2cm；
2.16线产品角度覆盖24°，网格分辨率1°或2°；
3.目标反射回波强度达到8位(bits)；
4.激光探测频率优于640kHz，扫描帧频最高20Hz；
5.工业化设计，可以有效适应车载平台的温湿度、运动及振动环境。
图2所示为地铁隧道内部环境三维重建和病害智能识别方法的流程示意图，总体上整个检测方法包括下述过程：
第一步：使激光雷达Z轴沿着隧道中心线行进，对隧道内壁进行“切片面包”式扫描；
第二步：采用Wireshark软件实时抓取激光雷达传给上位机的UDP数据包；
第三步：对扫描完成后得到的数据集按照既定公式提取出XYZ坐标和intensity信息；
第四步：对得到的点云簇根据Z轴前进的设定速度进行拉伸得到隧道内壁的三维影像；
第五步：将数据送进训练好的3D深度学习Pointnet网络进行部分分割；
第六步：将分割出的与正常隧道内壁不同的点云群进行分析，判定是否为病害。
下面结合图示与具体实例对本发明作进一步说明。
步骤1中对待检测地铁隧道进行激光雷达扫描的详细步骤如下：
步骤1.1：将激光雷达固定在匀速轨道车上；
步骤1.2：依据这款雷达自身属性，其最高采样频率为20Hz。采集一次切面数据点的时间为0.05s，若想达到横向0.01m级精度，根据公式V≤A·Fmax(V:小车速度，单位m/s；A:精度需求，单位m；Fmax:雷达最高旋转采样频率，单位Hz)，需要轨道车在0.05s内移动少于0.01m，所以小车速度应慢于0.2m/s；
步骤1.3：控制R-Fans的计算机(上位机)应与R-Fans在同一个子网内，即IP地址为192.168.1.x，子网掩码为255.255.255.0，IP地址不能与R-Fans16的IP地址冲突(R-Fans16默认IP地址为192.168.1.201)。
步骤2和3中对回传UDP数据包的抓取与信息重构的详细步骤如下：
步骤2.1：上位机发送命令目标是R-Fans16的2015端口，并通过wireshark抓包软件监听2015端口解析UDP报文。
在第三步中，对于第二步中抓取的UDP数据，我们需要结合图4(a)进行以下说明：
步骤3.1：UDP包中的GPS Timestamp表示Group0中Point0的时间戳，UDP包中其它Point的时间戳都通过GPS Timestamp为基础计算得到；
步骤3.2：读取UDP数据包中的十六进制数据并转换为十进制，并将其按激光雷达用户手册里的UDP格式和坐标计算方法，转换为点云的XYZ坐标和折射率信息的矩阵。
每个UDP包由42个字节的UDP header、12个长度为100字节的Group(序号0～11)以及4个字节的GPS Timestamp和2个字节的Reserved组成。
Group由2个字节的Azimuth Angle、2个字节Flag、以及32个长度为3个字节的Point(序号0～31)组成。
Point由2个字节的Range和1个字节的Intensity组成。
GPS Timestamp为4个字节的unsigned integer，取值范围为0～3,599,999,999，表示Group 0中Point0的时间戳，该时间戳为从上一个整点时间开始计时的微秒数(如果没有授时信息输入，则时间戳为从设备上电开始计时的微秒数)。
Reserved长度为2个字节，值为0x37**。
Azimuth Angle为2个字节的unsigned integer，单位为0.01°，取值范围为0～35999，表示所在Group中Point0的方位角。
Range为2个字节的unsigned integer，单位为4.0mm。
Intensity长度为1个，取值范围为1～255。表示经过检较的回波强度。
R-Fans16发送的UDP包中，Group包含的32个Point中前16个Point(Point 0～Point15)分别对应R-Fans16的16个通道号，后16个Point(Point 16～Point 31)也分别对应R-Fans16的16个通道号。R-Fans16的16个通道号的有效性参考图4(c)角度偏差表。
根据图4(b)所示，我们使用以下公式得到空间点云真实坐标信息：
Angle＝-wt-w*ΔT-(H_Beta)
X＝Range*cos(V_theta)*cos(Angle)
Y＝Range*cos(V_theta)*sin(Angle)
Z＝Range*sin(V_theta)
回波距离Range、转台角度wt四个参数都可以通过解析该方向的点对应的Group和Point结构体获得。任意通道数据的转台角度Angle应等于，其中wt为Group中的AzimuthAngle，水平角度H_Beta可根据通道号查询图4(c)角度偏差表获得，w为通过计算出的瞬时角速度(5Hz转速下，角速度为0.0018°/μsec)，ΔT的值可根据通道号查询图4(c)角度偏差表得到，R-Fans16所求Point如果位于Group中后16个的位置，应在表格查询值基础上加上50us。
回波距离Range的值可根据激光点云数据解析和计算方法计算获得。
垂直角度V_theta的值可根据通道号查询图4(c)角度偏差表获得。
根据第三步得到的XYZ坐标点云集，将其投射到三维空间中，此时就得到了16线静态扫描结果，如图5(a)所示。
在第四步中，根据雷达自身属性，每隔1202us会向上位机传递1给UDP数据包，每个UDP数据包含有16给Group，每个Group含有32个点云信息，故而可以计算出1秒内产生约32万个点云数据。定制轨道车匀速行驶时的速度为0.172m/s，若要达到系统整体的隧道内壁扫描厘米级精度，那么同线相邻点的在Z轴上的投影间隔为5.384×10-7m，并以此间隔为标准拉伸16线静态数据投射点，使之成为实际隧道内壁点云影像，如图5(b)所示。
在第五步中，本次发明使用了3D深度学习技术，在此之前，点云数据因其具有的无序性、刚性旋转等特点，一直被其他方式所描述，故而分类、分割的精度就不高。典型的卷积架构需要非常规则的输入数据格式，例如图像网格或3D体素的格式，以便执行权重共享和其他内核优化。由于点云或网格不是常规格式，大多数研究人员通常在将这些数据馈送到深层网络体系结构之前将这些数据转换为常规3D体素网格或图像(例如，视图)集合。然而，这种数据表示转换使得所得到的数据不必要地庞大，同时还引入了可以模糊数据的自然不变性的量化伪影。所以本次发明使用了直接处理点云数据的Pointnet深度学习框架。
网络的一般结构是提特征-特征映射-特征图压缩(降维)-全连接。本实施例提供的网络结构如图8所示，如图图8中x代表点云中某个点，h代表特征提取层，g叫做对称方法，r代表更高维特征提取，最后接一个softmax分类。g可以是maxpooling或sumpooling，也就是说，最后的D维特征对每一维都选取N个点中对应的最大特征值或特征值总和，这样就可以通过g来解决无序性问题，Pointnet采用了max-pooling策略。
空间变换网络解决旋转问题：三维的STN可以通过学习点云本身的位姿信息学习到一个最有利于网络进行分类或分割的DxD旋转矩阵(D代表特征维度，Pointnet中D采用3和64)。至于其中的原理，我的理解是，通过控制最后的loss来对变换矩阵进行调整，Pointnet并不关心最后真正做了什么变换，只要有利于最后的结果都可以。Pointnet采用了两次STN，第一次input transform是对空间中点云进行调整，直观上理解是旋转出一个更有利于分类或分割的角度，比如把物体转到正面；第二次feature transform是对提取出的64维特征进行对齐，即在特征层面对点云进行变换。
其中，mlp是通过共享权重的卷积实现的，第一层卷积核大小是1x3(因为每个点的维度是xyz)，之后的每一层卷积核大小都是1x1。即特征提取层只是把每个点连接起来而已。经过两个空间变换网络和两个mlp之后，对每一个点提取1024维特征，经过maxpool变成1x1024的全局特征。再经过一个mlp得到k个score。
在Pointnet中，部分分割被作为一个点分类问题来解决。评价指标是MIOU点。对于C类中的每个形状S，要计算形状的mIoU：对于C类中的每个部件类型，在基础事实和预测之间计算IoU。如果地面真理和预测点的结合是空的，那么将部分IOU计数为1。然后，对C类的所有部分类型进行平均化，得到MIU。为了计算MIUE的类别，应当对该类别中的所有形状取平均值。
将结果可视化后，就得到了图7(c)的分割结果图，使病害点云群落区别正常隧道内壁点云群、隧道管道线路点云群和其他点云群，最后根据网络分割结果设置每个点云群的数量阈值，低于阈值的点云群标为疑似病害，最终由人工进一步判读，从而实现病害检测的功能。
本技术领域技术人员可以理解的是，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种地铁隧道内部环境三维重建和病害智能识别方法，其特征在于，步骤包括：
步骤1：使激光雷达Z轴沿着隧道中心线行进，对隧道内壁进行螺旋前进式扫描；
步骤2：实时抓取激光雷达传给上位机的UDP数据包；
步骤3：对扫描完成后得到的数据集按照UDP格式和坐标计算方法，重构出点云的XYZ坐标和灰度信息；
步骤4：对得到的点云空间坐标根据Z轴前进的设定速度进行拉伸得到隧道内壁的三维影像；
步骤5：将数据送进训练好的点云深度学习网络Pointnet网络进行部分分割；
步骤6：将分割出的与正常隧道内壁不同的点云群进行分析，判定是否为病害。
2.根据权利要求1所述一种地铁隧道内部环境三维重建和病害智能识别方法，其特征在于，所述步骤1中的隧道扫描方式，详细步骤如下：
步骤1.1：将激光雷达固定在匀速轨道车上；
步骤1.2：基于雷达自身的属性，设定采样频率和每次采集数据的时间，根据精度要求设定轨道车的速度；根据公式V≤A·Fmax(V:小车速度，单位m/s；A:精度需求，单位m；Fmax:雷达最高旋转采样频率，单位Hz)，需要轨道车在0.05s内移动少于0.01m，所以小车速度应慢于0.2m/s；
步骤1.3：控制上位机与雷达在同一个子网内，上位机IP地址不能与雷达的IP地址冲突。
3.根据权利要求1所述一种地铁隧道内部环境三维重建和病害智能识别方法，其特征在于所述步骤2和3中的数据抓取和重构方式，详细步骤如下：
步骤2.1：上位机向雷达发送指令，雷达实施扫描，所述上位机监听端口解析UDP报文；
步骤3.1：UDP报文中的GPS Timestamp表示Group0中Point0的时间戳，UDP报文中其它Point的时间戳都通过GPS Timestamp为基础计算得到；
步骤3.2：将UDP报文中的十六进制数据转换为十进制，并将其按激光雷达用户手册里的UDP格式和坐标计算方法，重构为点云的XYZ坐标和折射率信息的矩阵。
4.根据权利要求1所述一种地铁隧道内部环境三维重建和病害智能识别方法，其特征在于所述步骤4中得到隧道内壁的三维影像，详细步骤如下：
步骤4.1：根据雷达自身属性，每隔1202us向上位机传递1个UDP报文，每个UDP报文含有16个Group，每个Group含有32个点云信息，计算出1秒内产生约32万个点云数据；
步骤4.2：所述轨道车匀速行驶时的速度为0.172m/s，同线相邻点的在Z轴上的投影间隔为5.384×10-7m，并以此间隔为标准拉伸16线静态数据投射点，使之成为实际隧道内壁点云影像。
5.根据权利要求1所述一种地铁隧道内部环境三维重建和病害智能识别方法，其特征在于所述步骤5中所述进行部分分割，其具体步骤如下：
步骤5.1：首先在隧道内壁点云影像中标注出隧道已知病害，加大训练样本的数量；
步骤5.2：网络输入n*3的数据，n是采样点的个数，3表示三维坐标；经过多层感知器获得n*1024维的采样点特征；然后使用最大池化max pooling进行对称操作得到1024维的全局特征；
其中在分类模型中直接经过若干层降维输出softmax分类概率，分割模型中将整体特征串接到采样点特征之后再进行多层网络输出；
步骤5.3：在网络中间有两个T-net网络，用于对模型进行旋转不变性处理，T-net生成3*3的旋转矩阵对模型进行操作，分别用于旋转模型坐标和模型中间特征。
CN202010617959.5A 2020-06-30 2020-06-30 地铁隧道内部环境三维重建和病害智能识别方法 Active CN111833449B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010617959.5A CN111833449B (zh) 2020-06-30 2020-06-30 地铁隧道内部环境三维重建和病害智能识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010617959.5A CN111833449B (zh) 2020-06-30 2020-06-30 地铁隧道内部环境三维重建和病害智能识别方法

Publications (2)

Publication Number Publication Date
CN111833449A true CN111833449A (zh) 2020-10-27
CN111833449B CN111833449B (zh) 2023-10-31

Family

ID=72899929

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010617959.5A Active CN111833449B (zh) 2020-06-30 2020-06-30 地铁隧道内部环境三维重建和病害智能识别方法

Country Status (1)

Country Link
CN (1) CN111833449B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112632680A (zh) * 2020-12-30 2021-04-09 同济大学 基于深度学习的大型土木工程结构的渗漏水状况重建方法
CN113655477A (zh) * 2021-06-11 2021-11-16 成都圭目机器人有限公司 一种采用浅层对地雷达自动检测地质病害的方法
CN114460592A (zh) * 2022-02-08 2022-05-10 北京建筑大学 一种基于5g通信的轨道移动激光雷达测量系统及方法
CN114694051A (zh) * 2022-03-16 2022-07-01 哈尔滨工业大学水资源国家工程研究中心有限公司 一种基于改进CapsNet网络的电磁法管道病害识别与定位方法
CN116258835A (zh) * 2023-05-04 2023-06-13 武汉大学 基于深度学习的点云数据三维重建方法和系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104567708A (zh) * 2015-01-06 2015-04-29 浙江工业大学 基于主动式全景视觉的隧道全断面高速动态健康检测装置与方法
CN205537505U (zh) * 2016-01-29 2016-08-31 中铁工程设计咨询集团有限公司 铁路隧道激光三维扫描检测装置
CN108645373A (zh) * 2018-07-24 2018-10-12 南京航空航天大学 一种动态三维隧道断面形变检测及分析系统、方法及装置
KR20180113699A (ko) * 2017-04-07 2018-10-17 (주)가하 해저터널 내 3차원 레이저 스캐너를 이용한 취득 스캔 데이터 처리기법
CN108827182A (zh) * 2018-03-30 2018-11-16 曾思远 一种隧道三维成像方法及系统
CN109459439A (zh) * 2018-12-06 2019-03-12 东南大学 一种基于移动式三维激光扫描技术的隧道衬砌裂缝检测方法
US20190156507A1 (en) * 2016-10-10 2019-05-23 Tencent Technology (Shenzhen) Company Limited Method and apparatus for processing point cloud data and storage medium

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104567708A (zh) * 2015-01-06 2015-04-29 浙江工业大学 基于主动式全景视觉的隧道全断面高速动态健康检测装置与方法
CN205537505U (zh) * 2016-01-29 2016-08-31 中铁工程设计咨询集团有限公司 铁路隧道激光三维扫描检测装置
US20190156507A1 (en) * 2016-10-10 2019-05-23 Tencent Technology (Shenzhen) Company Limited Method and apparatus for processing point cloud data and storage medium
KR20180113699A (ko) * 2017-04-07 2018-10-17 (주)가하 해저터널 내 3차원 레이저 스캐너를 이용한 취득 스캔 데이터 처리기법
CN108827182A (zh) * 2018-03-30 2018-11-16 曾思远 一种隧道三维成像方法及系统
CN108645373A (zh) * 2018-07-24 2018-10-12 南京航空航天大学 一种动态三维隧道断面形变检测及分析系统、方法及装置
CN109459439A (zh) * 2018-12-06 2019-03-12 东南大学 一种基于移动式三维激光扫描技术的隧道衬砌裂缝检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
宋云记等: "利用三维激光扫描技术进行地铁隧道施工质量管控及病害检测", 《测绘通报》, no. 05, pages 150 - 154 *
薛亚东等: "基于深度学习的盾构隧道衬砌病害识别方法", 《湖南大学学报(自然科学版)》, vol. 45, no. 03, pages 100 - 109 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112632680A (zh) * 2020-12-30 2021-04-09 同济大学 基于深度学习的大型土木工程结构的渗漏水状况重建方法
CN113655477A (zh) * 2021-06-11 2021-11-16 成都圭目机器人有限公司 一种采用浅层对地雷达自动检测地质病害的方法
CN113655477B (zh) * 2021-06-11 2023-09-01 成都圭目机器人有限公司 一种采用浅层对地雷达自动检测地质病害的方法
CN114460592A (zh) * 2022-02-08 2022-05-10 北京建筑大学 一种基于5g通信的轨道移动激光雷达测量系统及方法
CN114460592B (zh) * 2022-02-08 2024-04-16 北京建筑大学 一种基于5g通信的轨道移动激光雷达测量系统及方法
CN114694051A (zh) * 2022-03-16 2022-07-01 哈尔滨工业大学水资源国家工程研究中心有限公司 一种基于改进CapsNet网络的电磁法管道病害识别与定位方法
CN116258835A (zh) * 2023-05-04 2023-06-13 武汉大学 基于深度学习的点云数据三维重建方法和系统

Also Published As

Publication number Publication date
CN111833449B (zh) 2023-10-31

Similar Documents

Publication Publication Date Title
CN111833449A (zh) 地铁隧道内部环境三维重建和病害智能识别方法
Xiong et al. Automated regional seismic damage assessment of buildings using an unmanned aerial vehicle and a convolutional neural network
WO2022193420A1 (zh) 近水桥梁多类型病害智能检测方法与无人船设备
JP6837467B2 (ja) 点群データ同士のマッチング関係を確定するための方法及び装置
CN104359459B (zh) 采用三维激光扫描反射率信息生成隧道内壁影像的方法
CN110220909A (zh) 一种基于深度学习的地铁盾构隧道病害检测方法
CN109086679A (zh) 一种毫米波雷达安检仪异物检测方法
CN104599243A (zh) 一种多视频流与三维场景的虚实融合方法
CN102768022A (zh) 采用数码照相技术的隧道围岩变形检测方法
CN107642036A (zh) 桥梁快速可视化检测装置及其系统和方法
CN111899332A (zh) 一种基于倾斜摄影测量技术的架空输电线路三维设计方法
CN106524940A (zh) 一种盾构法隧道智能ct检测诊断系统及方法
CN108711172A (zh) 基于细粒度分类的无人机识别与定位方法
CN108471497A (zh) 一种基于云台摄像机的船目标实时检测方法
CN113762090A (zh) 一种特高压密集输电通道灾害监测预警方法
CN116258980A (zh) 一种基于视觉的无人机分布式光伏电站巡检方法
CN106320173B (zh) 车载无人机桥梁日常安全检测系统及检测方法
CN114627021A (zh) 基于点云与深度学习的缺陷检测方法和系统
CN114971166A (zh) 一种轻量化道路路面服务质量巡检系统
CN115170816A (zh) 多尺度特征提取系统、方法和风机桨叶缺陷检测方法
CN102592282B (zh) 交通视频中道路实际距离与相应像素距离关系的标定方法
He et al. Construction of 3D Model of Tunnel Based on 3D Laser and Tilt Photography.
CN116665125A (zh) 用于桥隧病害的智能识别系统
CN206399377U (zh) 一种盾构法隧道智能ct检测诊断系统
Li et al. A multilevel feature and structure prior information-based positioning approach for catenary support components

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant