CN116630267A - 基于无人机与激光雷达数据融合的路基沉降监测方法 - Google Patents

基于无人机与激光雷达数据融合的路基沉降监测方法 Download PDF

Info

Publication number
CN116630267A
CN116630267A CN202310591358.5A CN202310591358A CN116630267A CN 116630267 A CN116630267 A CN 116630267A CN 202310591358 A CN202310591358 A CN 202310591358A CN 116630267 A CN116630267 A CN 116630267A
Authority
CN
China
Prior art keywords
point
data
point cloud
image
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310591358.5A
Other languages
English (en)
Inventor
朱磊
陶栎琦
黑新宏
姜琨
姬文江
赵钦
刘征
王佳龙菲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN202310591358.5A priority Critical patent/CN116630267A/zh
Publication of CN116630267A publication Critical patent/CN116630267A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C5/00—Measuring height; Measuring distances transverse to line of sight; Levelling between separated points; Surveyors' levels
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02D—FOUNDATIONS; EXCAVATIONS; EMBANKMENTS; UNDERGROUND OR UNDERWATER STRUCTURES
    • E02D1/00—Investigation of foundation soil in situ
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Chemical & Material Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Electromagnetism (AREA)
  • Mathematical Physics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Analytical Chemistry (AREA)
  • Soil Sciences (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Mining & Mineral Resources (AREA)
  • Paleontology (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于无人机与激光雷达数据融合的路基沉降监测方法，首先对无人机平台搭载的摄像头与激光雷达两种传感器进行标定，以消除畸变与时间空间不同步带来的误差影响；随后划定飞行路线；下一步无人机沿施工沿线飞行，采集数据；将收集到的点云数据与图像数据分别进行特征提取，点云数据使用point‑based网络，然后使用AFF‑注意力特征融合模块进行特征融合；将融合后的数据输入到目标检测网络生成包围框；将完成目标识别的图像数据进行拼接得到大铁施工场地的实景图；然后将多期点云数据拼接后作差，得到沉降数据，并根据数值大小进行赋色，得到地面沉降的可视化图，并与实景图进行图层融合。

Description

基于无人机与激光雷达数据融合的路基沉降监测方法
技术领域
本发明属于多模态数据融合技术领域，涉及一种基于无人机与激光雷达数据融合的路基沉降监测方法。
背景技术
近年来，多模态融合技术发展迅速，尤其是在自动驾驶、医疗等领域。摄像头与激光雷达这两种传感器的融合大大提高了数据的可靠性与可用性，这一点在汽车自动驾驶的研究中得到了很好的验证。在我国铁路建设领域，存在大量的施工质量控制需求，目前这些需求仅仅依靠单一传感器与人工的方式进行监测，这类传统方式耗时长、依赖人力、精确度较低。因此，急需寻找一种适应铁路基础设施建设过程中复杂施工场景的动态感知技术，在铁路建设中提供定期的地面沉降监测，以此保证施工安全进行并且提升铁路建筑行业的信息化水平，提高生产效率。
发明内容
本发明的目的是提供一种基于无人机与激光雷达数据融合的路基沉降监测方法，采用该方法能够有效降低目前大铁施工过程中地面沉降从而导致塌方塌陷的风险，以及简化地面沉降监测的工作流程，提高监测精度。
本发明所采用的技术方案是，基于无人机与激光雷达数据融合的路基沉降监测方法，具体包括如下步骤：
步骤1，对光学摄像头和激光雷达进行调试及参数标定；
步骤2，采用搭载激光雷达与光学摄像头的无人机设备，收集并存储铁路施工沿线的图像帧数据以及点云数据；
步骤3，对步骤2收集的点云数据和图像帧数据进行特征取；
步骤4，将步骤3提取的图像特征输入到颈部网络中，实现不同层次的特征融合；
步骤5，将经步骤3提取的点云特征与步骤4处理的图像特征进行融合；
步骤6，将经步骤5处理后的特征输入目标检测网络中，进行目标检测。
本发明的特点还在于：
步骤3的具体过程为：
使用point-based网络对点云数据进行点云特征提取的过程为：
使用最远点采样法选取采样点，为每一个采样点划定一个球形邻域，根据球形领域得到分组点云数据，将分组点云数据输送到特征提取层进行特征提取，通过最大池化操作统一每个邻域的局部特征维度，将局部特征拼接成全局特征，输出全局特征向量；
使用SE-ResNet-50网络对图像数据进行特征提取的过程为：
将无人机采集到的图像数据输入到SE-ResNet-50网络进行图像特征提取，图像数据经过SE-ResNet-50的各个卷积模块卷积后，经过残差处理和池化处理，能够得到不同维度的多层次特征。
步骤4的具体过程为：
步骤4.1，在颈部网络中，自顶向下Top-Down，对各层图像特征进行融合；
步骤4.2，将步骤4.1与步骤3.2中输出的相同层次的特征图进行逐元素相加融合。
步骤5的具体过程为：
步骤5.1，注意力特征融合模块的输入是点云数据采样点的特征和对应的图像特征，两者的维度分别为N×C1和N×C2；首先将两种特征分别输入到全连接层FC1和FC2中，对两种特征的维度进行调整，统一为N×C3；
步骤5.2，将经步骤5.1统一之后的维度进行逐元素相加得到综合特征；
步骤5.3，将步骤5.2得到的综合特征输送到第三层全连接层FC3中匹配并输出注意力分数；
步骤5.4，通过如下公式(1)sigmoid输出维度为N×1维注意力因子，将注意力因子与图像特征相乘，得到注意力加权之后的图像特征：
步骤5.5，将加权之后的图像特征拼接到点云特征之后，得到点云与图像的融合特征作为输出。
步骤6的具体过程为：
步骤6.1，生成候选中心点；
步骤6.2，在检测头中，对每一个候选中心点进行边界框回归，预测出候选中心点相对于真实中心的位移偏差、目标的类别、边界框的尺寸、边界框角度朝向及边界框八个角点的位置，得到预测框向量(xp，yp，zp，lp，wp，hp，θp)，
其中，(xp、yp、zp)分别表示预测框在激光雷达坐标系下的三维坐标，lp、wp、hp分别表示预测框的长宽高尺寸，θp为预测框的朝向相对于z轴的旋转角度；将预测出的检测框与真值之间计算损失，优化损失训练网络；
步骤6.3，计算每个候选中心点与真值中心点之间的欧氏距离l1，并利用
lmask1进行筛选，小于距离阈值的中心点进行下一步操作，计算过程如式(2)所示：
计算经过第一步筛选之后的中心点与真值标签框的中心度l2，并用中心度阈值lmask2进行筛选，中心度大于阈值说明当前中心候选点越接近真值标签框的中心，反之，则越偏离真值标签框中心，计算过程如式(3)所示：
式中，f、b、l、r、t、d分别为候选中心点与真值标签框的前、后、左、右、上、下六个面的距离，将中心度大于阈值的候选中心点与相应的标签进行关联，从而可以计算损失。
本发明的有益效果是，本发明通过搭载摄像头和激光雷达的无人机沿着施工工地沿线飞行收集数据，将收集到的图像数据以及点云数据进行数据处理，点云数据通过point-based网络进行特征提取，图像数据通过SE-ResNet-50网络进特征提取，将经过特征提取后不同维度的多层次图像特征通过中间颈部层(Neck层)处理后与对应层次的点云特征一起输入到融合模块，通过AFF-注意力特征融合模块进行融合，最后将融合后的特征传输到检测头，通过基于Anchor free的AF-SSD目标检测网络预测生成包围框，进行目标检测。对比目标元素的多期点云数据生成沉降幅度可视化图，并与实景图融合生成最后的施工场景地面沉降分析图。采用本发明基于无人机平台的摄像头与激光雷达多模态融合地面沉降监测方法能够在大铁基础设施建设施工过程质量检测方面降低人力成本，并且能够适用于人力无法进行监测的复杂场景，无需考虑环境，天气等原因。该技术能提高地面沉降监测精度，并且能够精确定位有几率超过地面沉降阈值的地点，降低施工现场发生塌陷的风险。将该技术应用于大铁基础设施建设施工过程中的质量检测，风险预警方面，能缩短时间成本以及人力成本，提高检测准确率和风险预测率和质量检测方面信息化水平。
附图说明
图1是本发明基于无人机与激光雷达数据融合的路基沉降监测方法的总流程图；
图2是本发明基于无人机与激光雷达数据融合的路基沉降监测方法中point-based网络提取点云特征流程图；
图3是本发明基于无人机与激光雷达数据融合的路基沉降监测方法中SE-ResNet-50网络提取图像特征与颈部网络进行不同尺寸特征图融合流程图；
图4是本发明基于无人机与激光雷达数据融合的路基沉降监测方法中AFF-注意力特征融合模块融合图像与点云特征流程图；
图5是本发明基于无人机与激光雷达数据融合的路基沉降监测方法中沉降数值-色谱对应关系图；
图6是本发明基于无人机与激光雷达数据融合的路基沉降监测方法中沉降幅度可视化与实景融合图片。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明基于无人机与激光雷达数据融合的路基沉降监测方法。首先对无人机平台搭载的摄像头与激光雷达两种传感器进行标定，以消除畸变与时间空间不同步带来的误差影响；随后划定飞行路线；下一步无人机沿施工沿线飞行，采集数据；将收集到的点云数据与图像数据分别进行特征提取，点云数据使用point-based网络，图像数据使用SE-ResNet-50网络；然后使用AFF-注意力特征融合模块进行特征融合；将融合后的数据输入到基于Anchor free的AF-SSD目标检测网络生成包围框；将完成目标识别的图像数据进行拼接得到大铁施工场地的实景图；然后将多期点云数据拼接后作差，得到沉降数据，并根据数值大小进行赋色，得到地面沉降的可视化图，并与实景图进行图层融合。
实施例1
本发明基于无人机与激光雷达数据融合的路基沉降监测方法，流程如图1所示，具体包括以下步骤：
步骤1，本发明使用了光学摄像头和激光雷达两种传感器，在使用之前需要对两种传感器进行调试以及参数标定，具体标定步骤如下：
步骤1.1，摄像头由于其成像原理，无法避免存在畸变，本发明采用张正友标定法，使用摄像头对黑白棋盘格从不同的方向进行拍照得到标定数据，以此标定摄像头的内参。
步骤1.2，为了使图像帧数据与点云数据一一对应，避免冗余，需要对摄像头与激光雷达进行时间同步，采用基于时间戳数据邻匹配的数据软同步方法。
步骤1.3，摄像头与激光雷达两者之间存在一定的空间差异，为了避免造成误差，需要对两者进行联合标定。首先对激光雷达坐标系标定特征进行提取，其次对摄像头坐标系标定特征进行提取，最后优化参数求解，完成联合标定。
步骤1.4，在空旷场景下，利用激光雷达扫描标定板得到点云图像，对该点云图像进行裁剪得到标定板所在的感兴趣区域。在该范围内，利用M-估计器采样一致性算法对区域内的点云进行平面拟合，得出标定板点云的平面拟合方程，进而得到标定板平面的法向量。将拟合算法得到的内点投影到拟合出来的平面上，根据Y轴坐标值，对每一条扫描线束得到的点区分出极值点，根据极值点得到标定板的左右边界点，并将左右边界点进行直线拟合得到边界的直线方程。至此，已得到标定板上半部分的两条边界直线，采用相同方法得到下半部分的两条边界直线，对四条直线方程求交点得到标定板在雷达坐标系下的四个角点，并根据角点得到标定板的中心点。
步骤1.5，在空旷场景下，利用摄像头拍摄标定板得到图像，在与点云数据匹配的图像数据中，利用OpenCV库中的角点识别函数识别得到角点的像素坐标，然后以角点的像素坐标与步骤1.1得到的摄像头内参作为输入，利用N-point透视变换算法求解出标定板对于摄像头坐标系的旋转和平移参数，进而利用旋转平移参数求出标定板在摄像头坐标系下的中心点坐标与平面法向量，进一步得到标定板的四个角点坐标。
步骤1.6，重复步骤1.4～1.5，得到激光雷达与摄像头的多组角点与法向量特征(至少六组)，对旋转平移矩阵中的11个未知参数进行求解。为减小误差，采集多组数据进行迭代优化，直到目标损失函数小于设定的阈值。
步骤2，采用搭载激光雷达与摄像头的无人机设备，沿着铁路施工沿线飞行，收集并存储铁路施工沿线的图像帧数据以及点云数据。
步骤3，使用point-based网络对点云数据进行点云特征提取，使用SE-ResNet-50网络对图像数据进行特征提取。
具体处理步骤如下：
步骤3.1，将无人机采集到的点云数据输入到Point-based网络进行点云特征提取，流程如图2所示。在Point-based网络选取采样点的过程中，本发明采用的采样方法为最远点采样法。同时为了在不忽略背景点的情况下尽可能覆盖所有的前景目标，本发明在Point-based网络中设置了三个模块进行采样点选取及特征提取(三个模块的差异体现在距离度量标准上，采用的采样方法皆为最远点采样法)。在第一个模块的采样层中，单独采用欧氏距离(欧氏距离计算如公式(1))作为距离度量标准。在第二个模块的采样层中，采用欧氏距离与特征距离(特征距离计算如公式(2))融合(融合方法如公式(3))作为距离度量标准。在第三个模块的采样层中，采用欧氏距离与特征距离各占二分之一的混合距离度量标准。
Lf(A，B)＝||fa-fb||2 (2)；
D(A，B)＝λLf(A，B)+βLd(A，B) (3)；
假设点A，B为点云数据中的两个点，Ld为点A，B之间的欧氏距离，Lf为点A，B之间的特征距离，(x1，y1，z1)、(x2，y2，z2)分别为点A，B的坐标，fa，fb为点A，B的特征距离，本发明中将点的x、y和z坐标作为点的特征向量。公式(3)中，D(A，B)代表A，B之间的融合距离，λ和β分别表示特征距离和欧氏距离度量的权重。
三个模块采用相同的特征提取方法，具体为：为每一个采样点划定一个球形邻域，根据球形领域得到分组点云数据，将分组点云数据输送到特征提取层进行特征提取，通过最大池化操作统一每个邻域的局部特征维度，将局部特征拼接成全局特征，输出全局特征向量。以特征向量表征点云图像的形状、结构变化趋势。最终输出的点云特征通道维度为(64，128，256)。
步骤3.2，将无人机采集到的图像数据输入到SE-ResNet-50网络进行图像特征提取，流程如图3所示。图像数据经过SE-ResNet-50的卷积模块卷积后，经过残差处理和池化处理，得到对应不同深度的三张特征图(特征层次由浅至深，较浅的层次可能更多地关注低级特征，如边缘、纹理等。随着网络的深入，特征提取模块能够逐渐学习到更高级别的特征，如形状、物体部分等。)，它们的通道维度依次为256、512和1024。
步骤4，将图像特征提取网络SE-ResNet-50网络输出的特征图输入到颈部网络(Neck层，处于特征提取网络层与目标检测网络层之间)中，以融合不同层次的特征图，并且丰富特征中的语义信息。
具体步骤如下：
步骤4.1，Top-Down(自顶向下)，在颈部网络中，将步骤3.2提取的蕴含丰富信息的特征图通过上采样向下传递的方法，将高层较抽象(维度较高，含有更丰富的语义信息)的特征图与低层的高分辨率(维度较低，含有较少的语义信息)特征图进行融合。
步骤4.2，Lateral Connection(横向连接)，将步骤4.1与步骤3.2中输出的相同层次的特征图进行逐元素相加融合。具体操作如下：
首先，对步骤3.2中生成的维度较高、尺寸较小的特征图采用1×1卷积进行降维处理，将维度调整至同层次的上采样特征维度，然后将维度调整之后的特征图与上采样之后的特征图进行逐元素相加，最后将融合之后的特征图经过3×3卷积处理，得到最后的输出。在颈部网络中所有层的特征维度输出都固定为256。
步骤5，由AFF-注意力特征融合模块将点云数据中采样点的特征(步骤3.1)与对应的图像特征(步骤4)进行自适应融合，流程如图4所示，具体步骤如下。
步骤5.1，AFF-注意力特征融合模块的输入是采样点的特征和对应的图像特征(步骤3.1，步骤3.2)，两者的维度分别为N×C1和N×C2。(N为采样点个数，C1为点云特征维度，C2为图像特征维度)首先将两种特征分别输入到全连接层I和全连接层II中，对两种特征的维度进行调整，统一为N×C3，C3为融合特征维度；
步骤5.2，将统一之后的维度进行逐元素相加得到综合特征；
步骤5.3，将综合特征输送到全连接层III中匹配并输出注意力分数，通过sigmoid函数(如公式(4))输出维度为N的注意力因子，将注意力因子与图像特征相乘，得到注意力加权之后的图像特征。再将加权之后的图像特征拼接到点云特征之后，得到点云与图像的融合特征作为输出。
Sigmoid函数的输入x为注意力分数。
步骤6，将经过特征提取与特征融合(步骤3、4、5)的点云、图像特征融合数据输入到AF-SSD目标检测网络中，进行目标检测。目标检测的标签如表1所示。AF-SSD目标检测网络的训练具体分为以下三步：
表1目标检测标签
序号 标签名称 含义
1 railway-station 车站、站房
2 track 轨道
3 elevated-track 高架、桥梁
4 construction-site 施工工地
5 tunnel 隧道
实施例2
在实施例1的基础上，步骤6的具体过程为：
步骤6.1，在AF-SSD网络的中心候选点生成模块中：
在步骤3.1得到的采样点中筛选出中心点，在基于欧氏距离和基于特征距离获取的两种采样点中，只采用基于特征距离的采样点进行处理，采用基于霍夫投票机制的方法对采样点向中心位置进行偏移，使其尽可能的靠近物体的真实中心，生成候选中心点。
步骤6.2，在AF-SSD目标检测网络的训练过程中，训练数据中每个目标的标签信息被编码成一个七维向量(xg，yg，zg，lg，wg，hg，θg)，(xg，yg，zg)表示预测框在激光雷达坐标系下的三维坐标，lg、wg、hg表示预测框的长、宽、高尺寸，θg为预测框的朝向相对于z轴的旋转角度。在AF-SSD目标检测网络的检测头中，对中心候选点进行边界框回归，预测出候选中心点相对于真实中心的位移偏差、目标的类别、边界框的尺寸、边界框角度朝向及边界框八个角点的位置，得到预测框向量(xp，yp，zp，lp，wp，hp，θp)，(xp，yp，zp)表示预测框在激光雷达坐标系下的三维坐标，(lp，wp，hp)表示预测框的长宽高尺寸，θp为预测框的朝向相对于z轴的旋转角度。将预测出的检测框与真值之间计算损失，优化损失，训练网络。
损失函数计算方法如下：
公式(5)为位置偏移回归损失计算，式中Gpi为第i个目标的中心点坐标真值，Ppi为第i个目标的中心点坐标预测值，Np为预测为前景目标点的中心点数量。
公式(6)为中心点分类损失计算，式中Gci为第i个候选中心点的类别标签，Nc为候选中心点数量。
公式(7)为朝向角度回归及分类损失计算，式中Pθi为角度预测值，Gθi为角度真值，Pθb_i为角度正反预测，Gθb_i为真值框的朝向。
公式(8)为角点位置回归损失计算，式中Pcp_j为第i个边界框的第j个角点的坐标预测，Gcp_j为第i个边界框的第j个角点的坐标真值。
L＝λ1Lclass+λ2[Lposition+Lsize+Lcenter+Langle+Lcorner]+λ3Lshift (9)；
公式(9)为计算AF-SSD目标检测网络的总的损失，式中Lshift为中心候选点生成模块的中心点偏移损失，λ1，λ2，λ3分别为各部分损失的权重系数。
步骤6.3，在训练过程中，网络模型对中心点的位置进行预测之后，需要将预测的中心点与真值中心点相互进行关联才能计算损失。本发明采用以下两个步骤将中心点与真值中心点进行关联：
步骤6.3.1，中心点通过预设的距离阈值lmask1进行筛选，计算过程如式(10)所示，当l1小于距离阈值lmask1的中心点进行下一步公式(11)的计算。
式中，l1为候选中心点与真值中心点之间的欧式距离，(x，y，z)为候选中心点坐标，(xgt，ygt，zgt)为真值中心点坐标。
步骤6.3.2，计算经过步骤6.1筛选之后的中心点与真值标签框的中心度l2，并用中心度阈值lmask2进行筛选。当中心度l2大于中心度阈值lmask2时，说明当前中心候选点越接近真值标签框的中心。反之则越偏离真值标签框中心。计算过程如式(11)所示。
式中，f，b，l，r，t，d分别为候选中心点与真值标签框的前、后、左、右、上、下六个面的距离。将中心度大于阈值的候选中心点与相应的标签进行关联。
步骤6.4，在实际使用中，将经过特征提取与特征融合(步骤3、4、5)的点云、图像特征融合数据输入到经过训练的AF-SSD目标检测网络中，进行目标检测。最后将目标检测的结果进行后处理和解码，并将其映射回原始图像空间。得到带有目标检测标签的可视化图像数据。
实施例3
在实施例2的基础上，继续执行如下步骤：
步骤7，使用SIFT方法拼接经过步骤6目标检测之后得到的带有目标检测标签的图像数据，对点云数据进行配准，生成完整施工现场的实景图像，与点云图像。
步骤8，间隔固定时间采集点云数据，得到不同时期施工现场的点云图像，将得到的点云图像作差得到表示沉降幅度的点云图像。
步骤9，使用open3d方法根据地面沉降数值对表示沉降幅度的点云图像进行赋色。沉降数值-色谱对应关系如图5所示。
步骤10，利用openCV中的ps图层混合算法将步骤9得到的沉降可视化图片与步骤7得到的实景图进行融合。最终得到沉降幅度可视化与实景融合的图片，效果如图6所示。供下一步进行分析。
步骤11，根据施工现场的环境计算地面沉降阈值，以及步骤10中的融合图片综合分析施工现场的地面沉降情况。
依据《TB10621-2014高速铁路设计规范》附录B软土地基沉降计算所述，地基沉降量计算其压缩层厚度按附加应力等于0.1倍自重压力确实。地基的总沉降量S，一般情况下可由瞬时沉降Sd与主固结沉降Sc之和计算。对泥炭土、富含有机质黏土或高塑性黏土地层可视情况考虑计算次固结沉降Ss。

Claims (5)

1.基于无人机与激光雷达数据融合的路基沉降监测方法，其特征在于：具体包括如下步骤：
步骤1，对光学摄像头和激光雷达进行调试及参数标定；
步骤2，收集并存储铁路施工沿线的图像帧数据以及点云数据；
步骤3，对步骤2收集的点云数据和图像帧数据进行特征取；
步骤4，将步骤3提取的图像特征输入到颈部网络中，实现不同层次的特征融合；
步骤5，将经步骤3提取的点云特征与步骤4处理的图像特征进行融合；
步骤6，基于经步骤5处理后的特征进行目标检测。
2.根据权利要求1所述的基于无人机与激光雷达数据融合的路基沉降监测方法，其特征在于：所述步骤3的具体过程为：
使用point-based网络对点云数据进行点云特征提取的过程为：
使用最远点采样法选取采样点，为每一个采样点划定一个球形邻域，根据球形领域得到分组点云数据，将分组点云数据输送到特征提取层进行特征提取，通过最大池化操作统一每个邻域的局部特征维度，将局部特征拼接成全局特征，输出全局特征向量；
使用SE-ResNet-50网络对图像数据进行特征提取的过程为：
将无人机采集到的图像数据输入到SE-ResNet-50网络进行图像特征提取，图像数据经过SE-ResNet-50的各个卷积模块卷积后，经过残差处理和池化处理，能够得到不同维度的多层次特征。
3.根据权利要求2所述的基于无人机与激光雷达数据融合的路基沉降监测方法，其特征在于：所述步骤4的具体过程为：
步骤4.1，在颈部网络中，自顶向下Top-Down，对各层图像特征进行融合；
步骤4.2，将步骤4.1与步骤3.2中输出的相同层次的特征图进行逐元素相加融合。
4.根据权利要求3所述的基于无人机与激光雷达数据融合的路基沉降监测方法，其特征在于：所述步骤5的具体过程为：
步骤5.1，注意力特征融合模块的输入是点云数据采样点的特征和对应的图像特征，两者的维度分别为N×C1和N×C2；首先将两种特征分别输入到全连接层FC1和FC2中，对两种特征的维度进行调整，统一为N×C3；
步骤5.2，将经步骤5.1统一之后的维度进行逐元素相加得到综合特征；
步骤5.3，将步骤5.2得到的综合特征输送到第三层全连接层FC3中匹配并输出注意力分数；
步骤5.4，通过如下公式(1)sigmoid输出维度为N×1维注意力因子，将注意力因子与图像特征相乘，得到注意力加权之后的图像特征：
步骤5.5，将加权之后的图像特征拼接到点云特征之后，得到点云与图像的融合特征作为输出。
5.根据权利要求4所述的基于无人机与激光雷达数据融合的路基沉降监测方法，其特征在于：所述步骤6的具体过程为：
步骤6.1，生成候选中心点；
步骤6.2：在检测头中，对每一个候选中心点进行边界框回归，预测出候选中心点相对于真实中心的位移偏差、目标的类别、边界框的尺寸、边界框角度朝向及边界框八个角点的位置，得到预测框向量(xp，yp，zp，lp，wp，hp，θp)，
其中，xp、yp、zp分别表示预测框在激光雷达坐标系下的三维坐标，lp、wp、hp分别表示预测框的长宽高尺寸，θp为预测框的朝向相对于z轴的旋转角度；将预测出的检测框与真值之间计算损失，优化损失训练网络；
步骤6.3，计算每个候选中心点与真值中心点之间的欧氏距离l1，并利用lmask1进行筛选，小于距离阈值的中心点进行下一步操作，计算过程如式(2)所示：
计算经过第一步筛选之后的中心点与真值标签框的中心度l2，并用中心度阈值lmask2进行筛选，中心度大于阈值说明当前中心候选点越接近真值标签框的中心，反之，则越偏离真值标签框中心，计算过程如式(3)所示：
式中，f、b、l、r、t、d分别为候选中心点与真值标签框的前、后、左、右、上、下六个面的距离，将中心度大于阈值的候选中心点与相应的标签进行关联，从而可以计算损失。
CN202310591358.5A 2023-05-24 2023-05-24 基于无人机与激光雷达数据融合的路基沉降监测方法 Pending CN116630267A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310591358.5A CN116630267A (zh) 2023-05-24 2023-05-24 基于无人机与激光雷达数据融合的路基沉降监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310591358.5A CN116630267A (zh) 2023-05-24 2023-05-24 基于无人机与激光雷达数据融合的路基沉降监测方法

Publications (1)

Publication Number Publication Date
CN116630267A true CN116630267A (zh) 2023-08-22

Family

ID=87602050

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310591358.5A Pending CN116630267A (zh) 2023-05-24 2023-05-24 基于无人机与激光雷达数据融合的路基沉降监测方法

Country Status (1)

Country Link
CN (1) CN116630267A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116993730A (zh) * 2023-09-26 2023-11-03 四川新视创伟超高清科技有限公司 一种基于8k图像的裂缝检测方法
CN117970285A (zh) * 2024-03-28 2024-05-03 湖南省交通科学研究院有限公司 一种基于机载激光雷达的路基沉降监测方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116993730A (zh) * 2023-09-26 2023-11-03 四川新视创伟超高清科技有限公司 一种基于8k图像的裂缝检测方法
CN116993730B (zh) * 2023-09-26 2023-12-15 四川新视创伟超高清科技有限公司 一种基于8k图像的裂缝检测方法
CN117970285A (zh) * 2024-03-28 2024-05-03 湖南省交通科学研究院有限公司 一种基于机载激光雷达的路基沉降监测方法
CN117970285B (zh) * 2024-03-28 2024-06-04 湖南省交通科学研究院有限公司 一种基于机载激光雷达的路基沉降监测方法

Similar Documents

Publication Publication Date Title
Dhiman et al. Pothole detection using computer vision and learning
US11551344B2 (en) Methods of artificial intelligence-assisted infrastructure assessment using mixed reality systems
CN111340797A (zh) 一种激光雷达与双目相机数据融合检测方法及系统
CN112990310A (zh) 服务于电力机器人的人工智能系统及方法
CN103425967B (zh) 一种基于行人检测和跟踪的人流监控方法
Zhao et al. Concrete dam damage detection and localisation based on YOLOv5s-HSC and photogrammetric 3D reconstruction
CN116630267A (zh) 基于无人机与激光雷达数据融合的路基沉降监测方法
Wu et al. Passive measurement method of tree diameter at breast height using a smartphone
CN102800127B (zh) 一种基于光流优化的三维重建方法及装置
Dong et al. A completely non-contact recognition system for bridge unit influence line using portable cameras and computer vision
Al-Sabbag et al. Enabling human–machine collaboration in infrastructure inspections through mixed reality
CN115115859A (zh) 基于无人机航拍的长线性工程施工进度智能识别与分析方法
CN114663473A (zh) 基于多视角信息融合的人员目标定位与追踪方法及系统
Yang et al. Deep neural network based visual inspection with 3d metric measurement of concrete defects using wall-climbing robot
Yang et al. Automated wall‐climbing robot for concrete construction inspection
CN115082254A (zh) 一种变电站精益管控数字孪生系统
CN115035251B (zh) 一种基于领域增强合成数据集的桥面车辆实时追踪方法
Ma et al. ROV-based binocular vision system for underwater structure crack detection and width measurement
CN115797408A (zh) 融合多视角图像和三维点云的目标跟踪方法及装置
CN114966696A (zh) 一种基于Transformer的跨模态融合目标检测方法
CN117036300A (zh) 基于点云-rgb异源图像多级配准映射的路面裂缝识别方法
CN110349209A (zh) 基于双目视觉的振捣棒定位方法
CN114842340A (zh) 一种机器人双目立体视觉障碍物感知方法与系统
CN114608522A (zh) 一种基于视觉的障碍物识别与测距方法
Shi et al. Cobev: Elevating roadside 3d object detection with depth and height complementarity

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination