CN114266891A - 基于图像与激光数据融合的铁路运行环境异常辨识方法 - Google Patents

Abstract

本发明提供了一种基于图像与激光数据融合的铁路运行环境异常辨识方法，该方法首先将点云数据进行特征分析和数据预处理，利用基于随机采样‑特征聚合‑原型拟合的大尺度点云语义分割模型对点云数据进行分割利用基于改进的欧几里得算法对点云进行聚类，利用基于迁移学习的深度学习实例分割方法对目标进行识别，最后再采用点云数据与可见光图像识别结果串行决策层融合的方法实现铁路运行周边环境异常的智能识别。该方法具有结果准确全面、容错性高等优点，同时也证明了多源数据融合对铁路运行环境异常识别的意义。

Description

基于图像与激光数据融合的铁路运行环境异常辨识方法

技术领域

本发明涉及一种基于无人机作业的图像与激光融合的铁路运行环境异常辨识方法，利用改进的点云分割算法检测铁路运行环境中的异常，再利用改进的图像实力分割算法对可疑目标进行检测，属于多源数据融合技术领域。

背景技术

目前，以人工检查为主的高铁周边环境巡检普遍存在着效率低、夜间巡检条件差、巡检频率低、检查区域窄、自动化分析能力差等问题。而且存在不少巡检死角，无法做到巡检全覆盖。由于各地政策不同，且监管水平不同，对于铁路沿线周边环境的维护工作有很大的区别，而一旦发生安全事故，后果不堪设想。无人机自身具备高空、远距离、快速、自行作业和受地形、天窗影响小等优势。尤其是不受地形约束和无死角巡检的特点，特别适合作为高铁目前巡检手段的补充和替代。

随着数字图像处理技术的不断发展完善，基于计算机视觉的图像处理和检测的工业项目不断落地，基于图像的目标检测技术已广泛应用在铁路领域。

无人机进行巡检任务时根据不同的任务需求可携带不同的任务载荷，主要包括可见光相机，激光雷达等，采集得到的数据包括图像和点云。通过先进的目标检测或分割技术对这些数据进行处理可以实现危险及隐患检测，相较于人工识别方法可极大的提升识别速度与准确度。但是单一数据类型包含的信息有限，例如可见光图像不包含对象的三维信息，点云数据的颜色及纹理特征则没有可见光图像丰富，如果只使用单一类型数据进行检测，无法适应复杂的铁路运行环境，存在检测精度不高，判断不准确等问题。多源数据融合的目的是将不同类型数据采集传感器采集到的数据在各个层面进行融合，以获得更全面丰富的对象信息，可以有效提升算法性能，并弥补单类数据的不足。在铁路运行环境巡检中，结合激光雷达点云数据的三维信息与可见光图像的纹理特征与颜色信息进行异常识别表现出巨大的潜力。

发明内容

为了解决上述技术问题，本发明提出了一种基于无人机获取铁路运行周边环境点云与遥感图像，利用多源数据融合的算法检测铁路运行周边环境异常的方法。本发明首先将点云数据进行特征分析和数据预处理，利用基于随机采样-特征聚合-原型拟合的大尺度点云语义分割模型对点云数据进行分割利用基于改进的欧几里得算法对点云进行聚类，利用基于迁移学习的深度学习实例分割方法对目标进行识别，最后再采用点云数据与可见光图像识别结果串行决策层融合的方法实现铁路运行周边环境异常的智能识别。具体采用如下技术方案：

本发明提出了一种多源数据融合的铁路周边环境异常检测的方法，具体包括以下步骤：

一种基于图像与激光数据融合的铁路运行环境异常辨识方法，该方法包括以下步骤：

步骤一、利用无人机搭载相机和激光雷达，距离铁轨一定距离，以一定角度拍摄沿线周边环境，采集点云数据；

步骤二、对采集到的点云数据进行特征分析，并通过离群点去除、冗余点去除、地面点滤除方法进行点云数据的预处理；

步骤三、利用基于随机采用-特征聚合-原型拟合的额大尺度点云语义分割算法对预处理后的点云数据进行检测分割；

步骤四、利用基于改进的欧几里得算法对分割后的结果进行点云聚类，再分别利用Alpha-shape算法对不规则点云进行体积计算，并对点云间距离进行计算；

步骤五、利用基于深度迁移学习与数据增强的图像实例分割方法，利用迁移学习预训练模型提高检测模型的精度，利用EnlightenGAN网络对低光照数据进行光照增强，利用马赛克方法，对图像进行数据扩充，将训练数据集输入到网络中训练模型，将验证集数据输入到网络中，比对检测结果，调整模型参数；

步骤六、采用点云与图像串行式融合方法，在决策层对两者检测结果进行融合。

优选地，步骤三具体步骤为：

预处理后的点云特征输入后，首先经过共享权重的多层感知机进行处理，处理后和输入点云的原始XYZ坐标一起进行局部空间编码与基于注意力的池化，局部空间编码和基于注意力的池化方式如下：

(1)对于输入为(N,3+d)的点云中的任一点n_i，记其XYZ坐标为p_i，通过K-D树查找其K个近邻点，并获取每个近邻点的XYZ坐标，记为

获取每个近邻点的输入特征，记为

(2)按式(1)计算近邻点中任一点相对于中心点n_i的空间位置特征，其中

表示拼接操作，||.||表示计算欧式距离，MLP(.)是一个多层感知机；

(3)将r_i ^k与f_i ^k拼接起来，得到任一近邻点的增强的特征

该特征除了其原有的特征之外还包含了相对于中心点n_i的空间位置信息；

(4)对n_i的所有近邻点进行(2)，(3)中的计算，即可获得增强的n_i的邻域特征

大小为(k,2d)，至此对点n_i的局部空间编码完成；

(5)基于注意力机制的池化操作通过一个多层感知机自主学习获得一个大小为(k,2d)特征权重矩阵

代表了模型对

中特征重要程度的判断，将二者点乘并在k所属维度上求和，获得最终的点n_i的邻域特征；

重复两次局部空间编码与基于注意力机制的池化操作后，点云中每点的邻域特征被完全聚合，之后将该邻域特征与多层感知机处理后的点云自身特征相加，完成点云局部特征的聚合。

优选地，步骤三还包括如下步骤：

建立用于存储并拟合不同类别点云特征原型的模块，该拟合模块可被视为一个K×D的矩阵，其中D是输入的点云特征维度，K表示该模块中的原型数量，K可由下式计算：

K＝C×M

式中C表示类别数，M表示每个类别具有的原型数量；

编码层提取的点云特征进入该模块后，通过下式进行调整：

式中f_i表示输入中某点的原始特征，

表示调整后的特征，m_j是模块中的该类的某一个特征原型，λ，μ是两个权重系数，用来确定原始特征与特征原型的各自占比，ω_ij通过判断原始特征与特征原型之间的差异来为特征原型赋予权重，通过下式计算：

式中d(.)表示计算两向量间的余弦距离，用于判断两向量的相似程度。

优选地，步骤四具体步骤为：

设立距离阈值r：

r＝λd_i+μσ_y

式中d_i表示点云中所有点与其最近邻点距离的均值，λ与μ是权重系数，σ_y表示点云中两线之间的平均距离；

计算异常对象点云到轨道点云中线所在平面的距离：

(1)将轨道点云投影到拟合的地平面上，并提取二维轨道点云的边界；

(2)使用最小二乘法对边界点进行直线拟合，由于轨道点云近似对称，所以拟合结果可近似为铁路线路中线；

(3)以该拟合直线为新的x轴建立新坐标系并对所有点云做坐标转换；

(4)计算坐标转换后的异常点云中所有点到新坐标系下XOZ平面的距离，取最小值，记为d_m；

(5)记投影后的轨道点云拟合中线至路堤坡脚、路堑坡顶的距离为d_x，d_x可由下式计算，其中h是路堑或路堤相对地面的高度，θ是路堑或路堤的坡比，d_r为排水沟宽度，d_o为其他附属设施宽度；

(6)最终修正后的异常对象到轨道距离

由下式计算：

优选地，步骤五具体步骤为：首先通过主干网络提取特征，在数据集上对主干网络进行预训练，使用预训练获得的参数对实例分割训练时的主干网络进行初始化；然后从总数据集中取出一个批次的数据，之后在这个批次中随机取出四张图片，进行随机位置的裁剪拼接，合成新图片，并重复批次大小次，最后得到经过数据增强后的一个批次的新数据。

优选地，步骤六分为两个阶段：

第一个阶段是对原始点云数据进行处理，包括预处理方法、点云语义分割及点云聚类，此时获得的是被点云数据判定为异常的对象所属的点云数据，所述对象被视为潜在异常对象，聚类获得的点云则是潜在异常对象点云，等待进一步判断；

第二个阶段是对图像数据进行处理并对两类数据识别的结果进行决策级融合，首先通过空间位置匹配方法获得与潜在异常对象点云对应的图像数据，并通过基于迁移学习及数据增强的图像实例分割方法对图像数据进行处理，获得对潜在异常对象类别的准确判断，之后进行点云数据与可见光图像数据识别结果的决策级融合：对于被点云数据识别为建筑的对象，图像数据的识别结果可能是彩钢板顶棚建筑、砖石房屋及其他三类，对应于前两类结果的潜在异常对象将被认为属于异常且进一步计算该异常距铁路的距离，对应于第三类结果的潜在异常对象将被认为不属于异常并不进行后续处理；对于被点云数据识别为垃圾堆积的对象，图像数据的识别结果是垃圾堆积与其他两类，对应于第一类结果的潜在异常对象将被认为属于异常并进一步计算该异常对象体积及距铁路距离，对应于第二类结果的潜在异常对象将被认为不属于异常并不进行后续处理。

本发明具有如下有益效果：

(1)利用无人机进行巡检拍摄，在不影响线路运行的情况下能够获取质量更好的铁路沿线周边环境数据。由于无人机特有的优势，可以获取到大范围、全景的周边环境数据。

(2)将多源数据融合技术应用到铁路周边环境检测中，并实现沿线周边环境隐患的自动识别。与现有技术相比，本发明在数据获取、数据处理、数据融合、检测精度等方面有独特性优势，具有一定的应用价值。

(3)本发明提出面向铁路沿线周边环境异常隐患识别的方法，克服了周边环境中与铁路的距离、隐患的体积计算等难题。本发明基于现有的大尺度点云语义分割算法RandLA-Net，提出了一种适用于铁路运行环境无人机巡检机载激光雷达点云数据的语义分割算法，该算法使用随机采样方法进行数据降采样，使得算法有能力直接对大尺度点云进行处理，并通过一种能同时提取局部特征与全局特征的特征聚合模块来避免随机采样造成的信息损失问题。针对现场数据存在的小样本问题，本发明提出了一种原型拟合模块，可以有效提升算法在小样本类别上的表现。

(4)本发明提出面向铁路沿线周边环境异常隐患识别的方法，克服了可见光图像检测中光照因素、存在一些小目标的检测难题。本发明通过利用EnlightenGAN算法进行光照增强，该算法是一个无监督生成对抗网络，通过输入自身提取的信息来正则化非配对训练，而不需要使用低光照/正常图像块进行训练，同时具有较好的泛化效果。使用该数据增强算法对获得数据中的低光图像进行处理，能够有效提升模型效果；通过利用马赛克数据增强的方法对数据进行增强，马赛克数据增强后生成的图像各不相同，因此这种数据增强方法可以大大提高样本量，另一方面，原始图像中的小目标在新生成的图像中可能占据较大画幅，例如第二张原始图像中位于左下角的垃圾堆积通过该方法扩大了在图像中的占比，因此该方法可以有效改善小目标问题带来的影响。

(5)本发明中，提出一种串行式结构的决策级数据融合方法，该方法的所有流程顺序进行，不存在并行分支，因此结构简单；该方法获得的异常识别结果需要两类数据识别结果的共同支持，因此结果可信度较单类数据识别结果更高，且具有一定的容错率；该方法获得的融合结果充分利用了各类数据蕴含的信息，因此结果更加全面。

附图说明

图1是本发明周边环境隐患检测的整体步骤流程图。

图2是无人机拍摄铁路周边环境数据示意图。

图3是大尺度点云语义分割网络示意图。

图4是点云与可见光图像决策级融合方法示意图。

图5是特征聚合模块示意图。

图6是特征原型拟合模块示意图。

具体实施方式

下面将结合附图和实例对本发明作进一步的详细说明。

本发明提出了一种将无人机周边环境图像以此输入到点云分割网络，图像分割网络中，通过提取特征，多源数据决策融合，完成异常隐患坐标的定位与检测任务，实现铁路沿线周边环境中异常隐患的自动检测。如图1所示，具体步骤如下：

步骤一、通过无人机搭载相机获取周边环境数据

安装在无人机DJI Matrice 300RTK上的航空相机DJI Zenmuse H20T(由大疆创新公司生产)距离轨面80-100m的空中拍摄铁路周边环境。经纬M300 RTK是一种四旋翼飞行平台，设计用于专业航空摄影和工业应用。通过配备2个智能飞行电池，可以有效延长飞行时间。内置API控制功能和可扩展的中心框架，最大起飞重量为9kg，这使得经纬M300 RTK成为连接其他设备的理想选择，以满足不同应用的特定需求。本发明研究内容涉及对象体积及距离计算，因此要求激光雷达获取的点云数据为三维点云且尽可能还原对象，即机载激光雷达必须为多线式，且测距精度、角分辨率、点密度等指标尽量高，基于以上要求对市场主流激光雷达进行比选，选择北科天绘公司的R-Fans-32线激光雷达；本发明涉及多源数据融合，所以可见光相机除了满足基本要求外还需要考虑可见光数据与点云数据的融合，因此定焦相机更符合研究需求。

步骤二、激光点云数据的预处理

本发明中使用的机载激光雷达点云数据含有丰富的几何信息，同时具有覆盖范围广、数据量大、数据复杂、有效信息占比小等特点。因此在后续处理中应该首先对数据进行精炼及简化，剔除其中的噪声点，之后要着力于提升算法的特征提取能力并设法克服小样本问题带来的影响。

(1)离群点去除

相较于主体点云，离群点具有稀疏的特性，离群点之间的距离远大于主体点云中点的距离，因此本发明采用基于统计的离群点去除方法对其进行处理。该方法的基本思想是通过采样点与近邻点的距离的统计学特征来判断该采样点是否是离群点，因此该方法首先应该寻找每个采样点的邻域点，由于点云具有无序性，所以首先通过建立点云的空间索引来表明点云间的空间拓扑关系，本发明使用K-D树来表明点云的空间特征。

K-D树是二叉树(BINARY TREE)在多维空间上的拓展，大致步骤如下：

1)点云处于三维欧几里得空间中，具有X，Y，Z三个维度，首先分别计算三个维度上坐标值的方差，由于方差最大的坐标维度可认为离散度最大，所以将该维度作为初始分割维度；

2)初始分割维度确定后，选择初始的切割点，即K-D树的根节点，在本发明中选择初始维度坐标值的平均值，该值可以通过对点云进行随机采样获得的子集计算；

3)选择初始维度及根节点后，将初始维度上坐标值大于根节点的点放到右子树中，小于该值的点放到左子树；

4)进行第二次分割，选择方差第二大的维度做为分割维度，分别对上一次分割生成的左子树与右子树进行分割，按照同样的方法选择左右子树的分割值，此时左右子树又可以在新维度上生成两个新的子树；

5)进行第三次分割，此时选择最后一个尚未分割的维度作为分割维度，按照同样的方法对之前生成的若干子树进行分割；

6)重复第3)、4)、5)步，直到全部点云分割完成为止。

建立点云的K-D树之后，点云的拓扑结构也就建立，通过K-D树可以快速获得点云中任意点的K个近邻点，点云中点与其K个近邻点间的相互关系是点云处理的关键之一。

(2)冗余点去除

本发明使用的点云中冗余点有两个主要来源，一是扫描区域边缘未充分扫描产生的冗余，这部分点与离群点较类似，二是点云拼接导致重叠部分出现冗余。对于不同来源的冗余点应采取不同的处理方法，扫描区域边缘未充分扫描的部分点密度较低，仍然具有稀疏的特性，因此同样采用基于统计的方法进行去除。点云拼接产生的冗余点则具有密集的特性，相邻冗余点间距离远小于正常点云，因此本发明通过设置最小距离阈值来识别冗余点并剔除，具体步骤如下：

1)使用K-D树算法建立点云数据的拓扑结构，并寻找每个点的最近邻点；

2)计算每个点与其最近邻点的距离；

3)剔除所有与最近邻点距离小于距离阈值的点；

4)重复2)、3)步直到不存在与最近邻点距离小于距离阈值的点。

步骤三、利用基于随机采用-特征聚合-原型拟合的额大尺度点云语义分割算法对预处理后的点云数据进行检测分割

本发明基于现有的大尺度点云语义分割算法RandLA-Net，提出了一种适用于铁路运行环境无人机巡检机载激光雷达点云数据的语义分割算法，该算法使用随机采样方法进行数据降采样，使得算法有能力直接对大尺度点云进行处理，并通过一种能同时提取局部特征与全局特征的特征聚合模块来避免随机采样造成的信息损失问题。

本发明提出的大尺度点云语义分割网络采用经典的编码器-解码器结构，输入点云数据的特征通过共享的多层感知机提取，并在四个编码层与四个解码层中被学习，之后使用三个全连接层来预测点云中每点的语义标签，网络结构如图3所示。中(N,d_in)表示输入点云中点的数量及其原始特征维度，原始特征包括XYZ坐标，RGB值以及强度值等，在本发明中为点的XYZ坐标与强度信息，因此d_i为4。输入点云经过第一个全连接层(FullyConnected，FC)进行特征提取后，特征维度从4维增长到8维。接下来点云进入编码层，在每一个编码层中点云首先通过特征聚合模块(Feature Aggregation，FA)进行特征提取，在此期间点云特征维度成倍增长，特征聚合后使用随机采样(Random Sample，RS)进行点云降采样。经过四次编码层操作之后，点云特征被充分提取，并进入特别设计的原型拟合模块(Feature Prototype Fitting，FPF)进行处理，该模块专门针对小样本问题设计，可以以相同的尺度存储所有类别的特征，不受样本量的影响。在解码层中，点云继续通过共享的多层感知机进行处理，并对特征进行降维，同时做上采样(Up Sample，US)处理。解码层后是三个全连接层，用于获取点云的语义信息，DP表示全连接层中的Dropout操作，可以随机丢弃全连接层中的一些连接，主要用于防止过拟合。最后输出一个的点云，每个点的信息包括其原始的XYZ坐标信息，预测类别信息以及与类别信息对应的特定的RGB信息，共七个维度。

本次实验的量化评价指标有三个：第一个是总准确率(Overall Accuracy，OA)，第二个是单类交并比(per-class IoU)，第三个是平均交并比(mean IoU，mIoU)。在计算方法上，总准确率计算比较简单，只需要计算分类正确的点占总数的比例即可。交并比通过预测结果与真实结果的交集与并集之比计算，计算方法如下式。平均交并比通过对各类交并比求均值获得。

下面给出算法在自建数据集上的量化结果，并与近几年提出的效果较好的点云语义分割算法进行对比，实验结果如表1所示，其中后三列是不同类别的单类IoU(％)。

表1实验量化结果

对预处理后的点云数据利用基于随机采用-特征聚合-原型拟合的额大尺度点云语义分割算法，本方法使用了一种特别设计的特征聚合模块(FA)，能够聚合点云的局部特征与全局特征，该模块具体结构如图5所示。

在第一个编码层中，该模块的输入是经过MLP处理后的8维点云特征，在后续编码层中的输入则是之前编码层获得的高维聚合特征。点云特征输入后，首先经过共享权重的多层感知机进行处理，处理后和输入点云的原始XYZ坐标一起进行局部空间编码(LOCALSPATIAL ENCODING，LOCSE)与基于注意力的池化(ATTENTIVE POOLING，AP)，局部空间编码和基于注意力的池化原理如下：

(1)对于输入为(N,3+d)的点云中的任一点n_i，记其XYZ坐标为p_i，通过K-D树查找其K个近邻点，并获取每个近邻点的XYZ坐标，记为

获取每个近邻点的输入特征，记为

(2)按式(1)计算近邻点中任一点相对于中心点n_i的空间位置特征，其中

表示拼接(CONCATENATE)操作，||.||表示计算欧式距离，MLP(.)是一个多层感知机；

(3)将r_i ^k与f_i ^k拼接起来，得到任一近邻点的增强的特征

该特征除了其原有的特征之外还包含了相对于中心点n_i的空间位置信息；

(4)对n_i的所有近邻点进行(2)，(3)中的计算，即可获得增强的n_i的邻域特征

大小为(k,2d)，至此对点n_i的局部空间编码完成；

(5)基于注意力机制的池化操作通过一个多层感知机自主学习获得一个大小为(k,2d)特征权重矩阵

代表了模型对

中特征重要程度的判断，可以辨别哪些特征更加重要，将二者点乘并在k所属维度上求和，可获得最终的点n_i的邻域特征，大小为(1,2d)，基于注意力机制的池化操作在计算方式上类似于求加权和，相比于常见的最大池化与平均池化更加灵活合理。

重复两次局部空间编码与基于注意力机制的池化操作后，点云中每点的邻域特征被完全聚合，之后将该邻域特征与多层感知机处理后的点云自身特征相加，即完成了点云局部特征的聚合。点云的全局特征通过对局部特征进行最大池化操作获得。

由于点云中不同类别的点的数量不同，模型在训练时更多的是学习到数量占比更大的类别的特征，小样本类别的特征容易被掩盖。考虑到相同类别的点云在特征上会存在一定的共同点，如果可以使用一个特定的模块来存储不同类别点云的特征原型，并通过该模块对模型学习到的点的原始特征进行调整，那么点云数据上的小样本问题有望得到改善。基于上述思想，本发明设计了一个用于存储并拟合不同类别点云特征原型的模块，该模块结构图6所示。

该拟合模块可被视为一个K×D的矩阵，其中D是输入的点云特征维度，K表示该模块中的原型数量，K可由下式计算：

K＝C×M

式中C表示类别数，M表示每个类别具有的原型数量，在实验中M被设为6。进行如此设置是考虑到同一类别的对象之间也会存在差异，因此单一类别也应存在多个原型。在实际训练中，所有原型被随机初始化并视作变量，可以在训练过程中不断优化。编码层提取的点云特征进入该模块后，通过下式进行调整：

式中f_i表示输入中某点的原始特征，

表示调整后的特征，m_j是模块中的该类的某一个特征原型，λ，μ是两个权重系数，用来确定原始特征与特征原型的各自占比，ω_ij通过判断原始特征与特征原型之间的差异来为特征原型赋予权重，可通过下式计算：

式中d(.)表示计算两向量间的余弦距离，可用于判断两向量的相似程度。在解码层中，主要通过多层感知机和上采样操作逐渐降低特征维度并还原点云。

步骤四、利用基于改进的欧几里得算法对分割后的结果进行点云聚类，再分别利用Alpha-shape算法对不规则点云进行体积计算，并对点云间距离进行计算。

本发明主要研究对象的点云在场景中分布稀疏，使用语义分割分离掉地面点等不相干点之后，属于各类主要对象的点云在空间中会呈现浮空分离状，因此使用欧几里得算法进行语义分割后点云的聚类可以取得较好的效果。但传统的欧几里得算法难以确定合适的距离阈值，如果该阈值设置过小，那么会出现聚类过度的情况，即原本属于同一对象的点云被聚类为多类，这种情况较为常见；如果阈值设置过大，会将属于不同对象的点云划分为同一类。本发明提出了一种改进的阈值r的计算方法如下式所示：

r＝λd_i+μσ_y

式中d_i表示点云中所有点与其最近邻点距离的均值，λ与μ是权重系数，σ_y表示点云中两线之间的平均距离，在本发明中通过下列方法计算：

(1)提取所有点的y坐标值，并创建集合S；

(2)对坐标值进行排序并合并相同的值；

(3)依次计算相邻的y坐标值之间的差值，如果该差值小于阈值d_y，就将该差值放入集合S中，如果大于阈值d_y，则舍弃掉该差值；

(4)计算完成后，求S中所有值的均值，即为σ_y。

设置差值阈值d_y的目的是剔除掉过大的差值，语义分割后属于垃圾堆积类别的点云在空间中分为几大部分，这几部分之间的坐标值差异较大，因此应该分别计算。在实际使用时，d_y的值可以直接设为没有限制条件时的坐标差值均值。

为了进一步提升聚类结果的合理性，在算法中增加两个阈值：聚类最低数据占比阈值o与聚类数量阈值n_c，这两个阈值可单独使用也可同时使用，主要目的是防止聚类过度。在实验中这两个阈值主要通过如下方式生效：

(1)对于阈值o，在聚类结束后首先对聚类结果按数据量排序，并判断是否存在数据占比小于阈值的聚类，如果存在，按照数据占比从小到大的顺序依次将小于阈值的聚类合并到距离最近的其他聚类中，直到不存在数据量小于阈值的聚类；

(2)对于阈值n_c，在聚类结束后如果聚类数量大于阈值，同样按数据量从小到大的顺序将数据量较少的聚类合并到最邻近的其他聚类中，直到聚类数量满足要求。

为了验证改进算法的效果，统计了λ,μ,o,n_c四个关键参数不同取值情况下的聚类结果如表2所示，实验数据为语义分割获得的垃圾堆积类别点云。

表2聚类效果对比

激光雷达只能获取对象表面的信息，因此分割及聚类后获得的异常对象点云并不是闭合的，其下部呈镂空状，只有与对应的地面点云结合才能闭合。同时，体积计算时还可能涉及高度值的确定，这也需要以地面为参照，但是在点云坐标系下地面并不一定完全等同于XOY等平面，且地面也有陡峭与平坦之分，这都会对体积计算带来影响。为了解决上述问题，本发明提出了一种基于Alpha-shape算法的不规则点云体积计算方法。该方法首先对点云进行坐标准换，减少了地面与坐标轴所成平面不平行带来的误差，并简化了后续的高度计算。

在铁路运行环境异常识别中，需要计算异常对象到铁路线路边缘的距离来判断该异常对象的风险等级。但是在实际巡检中由于遮挡等原因，铁路线路路堤坡脚、路堑坡顶等通常存在扫描不完全的问题，致使点云边缘呈锯齿状，如果直接进行距离计算，会存在较大误差，本发明通过计算异常对象点云到轨道点云中线所在平面的距离来消除该误差，具体方法如下：

(2)将轨道点云投影到拟合的地平面上，并提取二维轨道点云的边界；

(2)使用最小二乘法对边界点进行直线拟合，由于轨道点云近似对称，所以拟合结果可近似为铁路线路中线；

(3)以该拟合直线为新的x轴建立新坐标系并对所有点云做坐标转换；

(4)计算坐标转换后的异常点云中所有点到新坐标系下XOZ平面的距离，取最小值，记为d_m；

(5)记投影后的轨道点云拟合中线至路堤坡脚、路堑坡顶的距离为d_x，d_x可由下式计算，其中h是路堑或路堤相对地面的高度，θ是路堑或路堤的坡比，d_r为排水沟宽度，d_o为其他附属设施宽度；

(6)最终修正后的异常对象到轨道距离

由下式计算：

步骤五、利用基于深度迁移学习与数据增强的图像实例分割方法

本发明以YOLACT算法为基础对铁路运行环境可见光图像进行实例分割，并使用迁移学习技术及图像增强技术提升分割效果。

在发明使用的实例分割网络中，主干网络承担了提取特征的任务，因此在数据集上对主干网络进行预训练，之后使用预训练获得的参数对实例分割训练时的主干网络进行初始化。通过上述迁移学习方法，网络的收敛速度及准确率都可以得到提升，同时还能有效避免过拟合现象。

可见光图像数据同样存在样本不足的问题，并且受拍摄条件限制，实际实验采集到的部分图像还存在低光照问题与小目标问题，这些问题会对算法的分割精度带来不利影响，需要进行数据增强。本发明采用EnlightenGAN算法进行光照增强，该算法是一个无监督生成对抗网络，通过输入自身提取的信息来正则化非配对训练，而不需要使用低光照/正常图像块进行训练，同时具有较好的泛化效果。使用该数据增强算法对获得数据中的低光图像进行处理，能够有效提升模型效果。马赛克数据增强方法首先是从总数据集中取出一个批次(batch)的数据，之后在这个批次中随机取出四张图片，进行随机位置的裁剪拼接，合成新图片，并重复批次大小次，最后得到经过数据增强后的一个批次的新数据，这种数据增强方法对于小目标问题尤其有效。

步骤六、多源数据串行式融合决策

多源数据融合方法按照融合层级的不同被分为像素级，特征级与决策级。决策级融合方法是更高层次的数据融合，融合对象是不同类型数据的识别结果。该类方法实时性好，受传感器配准误差影响小，对传感器要求不高，同时不同传感器的处理结果可互为对照。决策级融合方法要求不同类型数据针对同一对象独立获得识别结果，因此该类算法允许两类数据中的一个检测结果出错且最终结果不一致，这代表着某一类数据质量较差时整个系统也能得到正确的结果，因此具有较好的容错能力。出于对实时性与容错性的需求，综合考虑不同类型融合方法的优劣势，且使用的无人机巡检系统采集的点云数据与可见光数据覆盖范围有较大差异，且点云数据量远大于图像数据量。本发明选择使用决策级融合方法进行点云数据与可见光数据的融合。具体流程如图4所示。

该方法分为两个阶段：第一个阶段主要是对原始点云数据进行处理，包括一系列预处理方法、点云语义分割及点云聚类。此时获得的是被点云数据判定为异常的对象所属的点云数据，但是点云数据存在由颜色及纹理信息缺乏带来的的类别判断不精确的问题，所以这些对象只能被视为潜在异常对象，聚类获得的点云则是潜在异常对象点云，还需要进一步判断。

第二个阶段则是对图像数据进行处理并对两类数据识别的结果进行决策级融合。在这个阶段首先通过空间位置匹配方法获得与潜在异常对象点云对应的图像数据，并通过基于迁移学习及数据增强的图像实例分割方法对图像数据进行处理，获得对潜在异常对象类别的准确判断。之后进行点云数据与可见光图像数据识别结果的决策级融合，按表3所示准则进行：对于被点云数据识别为建筑的对象，图像数据的识别结果可能是彩钢板顶棚建筑、砖石房屋及其他三类，对应于前两类结果的潜在异常对象将被认为属于异常且进一步计算该异常距铁路的距离，对应于第三类结果的潜在异常对象将被认为不属于异常并不进行后续处理。对于被点云数据识别为垃圾堆积的对象，图像数据的识别结果可能是垃圾堆积与其他两类，对应于第一类结果的潜在异常对象将被认为属于异常并进一步计算该异常对象体积及距铁路距离，对应于第二类结果的潜在异常对象将被认为不属于异常并不进行后续处理。

上述融合方法具有以下优点：(1)该方法的所有流程顺序进行，不存在并行分支，因此结构简单；(2)该方法获得的异常识别结果需要两类数据识别结果的共同支持，因此结果可信度较单类数据识别结果更高，且具有一定的容错率；(3)该方法获得的融合结果充分利用了各类数据蕴含的信息，因此结果更加全面。

表3点云与图像数据融合准则

对潜在异常进行识别时，点云数据获得的结果为该潜在对象的类别例如为建筑，获取对应的图像数据后，使用实例分割算法对图像数据进行细分类，判断该潜在异常的类别例如为彩钢板顶棚建筑，因此融合算法输出该潜在异常对象的类别为彩钢板顶棚建筑，并确定该对象属于异常，之后使用该对象所属的点云计算其距铁路线路距离，最终结果如表4所示，基于表3中的判别标准，将该异常的风险等级定为危险。

表4砖石房屋识别融合结果

对潜在异常对象进行识别时，两类数据的识别结果相同，因此判断该潜在异常对象的类别例如为垃圾堆积，并判定该对象为异常，之后同样进行体积及距离计算，得到的结果如表5所示，基于表3中的判别标准，将该异常的风险等级定为危险。

表5垃圾堆积识别融合结果

从各实验结果可以看出，本发明的改进方法更适用于铁路周边环境隐患检查，具有明显的实际应用价值。

Claims (6)

1.一种基于图像与激光数据融合的铁路运行环境异常辨识方法，其特征在于，该方法包括以下步骤：

步骤一、利用无人机搭载相机和激光雷达，距离铁轨一定距离，以一定角度拍摄沿线周边环境，采集点云数据；

步骤二、对采集到的点云数据进行特征分析，并通过离群点去除、冗余点去除、地面点滤除方法进行点云数据的预处理；

步骤三、利用基于随机采用-特征聚合-原型拟合的额大尺度点云语义分割算法对预处理后的点云数据进行检测分割；

步骤四、利用基于改进的欧几里得算法对分割后的结果进行点云聚类，再分别利用Alpha-shape算法对不规则点云进行体积计算，并对点云间距离进行计算；

步骤五、利用基于深度迁移学习与数据增强的图像实例分割方法，利用迁移学习预训练模型提高检测模型的精度，利用EnlightenGAN网络对低光照数据进行光照增强，利用马赛克方法，对图像进行数据扩充，将训练数据集输入到网络中训练模型，将验证集数据输入到网络中，比对检测结果，调整模型参数；

步骤六、采用点云与图像串行式融合方法，在决策层对两者检测结果进行融合。

2.根据权利要求1所述的一种基于图像与激光数据融合的铁路运行环境异常辨识方法，其特征在于，步骤三具体步骤为：

预处理后的点云特征输入后，首先经过共享权重的多层感知机进行处理，处理后和输入点云的原始XYZ坐标一起进行局部空间编码与基于注意力的池化，局部空间编码和基于注意力的池化方式如下：

(1)对于输入为(N,3+d)的点云中的任一点n_i，记其XYZ坐标为p_i，通过K-D树查找其K个近邻点，并获取每个近邻点的XYZ坐标，记为

P_i ^k∈R³，获取每个近邻点的输入特征，记为F_i ^k＝{f_i ¹,f_i ²…f_i ^k}，F_i ^k∈R^d；

(2)按式(1)计算近邻点中任一点相对于中心点n_i的空间位置特征，其中

表示拼接操作，||.||表示计算欧式距离，MLP(.)是一个多层感知机；

(3)将r_i ^k与f_i ^k拼接起来，得到任一近邻点的增强的特征

该特征除了其原有的特征之外还包含了相对于中心点n_i的空间位置信息；

(4)对n_i的所有近邻点进行(2)，(3)中的计算，即可获得增强的n_i的邻域特征

大小为(k,2d)，至此对点n_i的局部空间编码完成；

(5)基于注意力机制的池化操作通过一个多层感知机自主学习获得一个大小为(k,2d)特征权重矩阵

代表了模型对

中特征重要程度的判断，将二者点乘并在k所属维度上求和，获得最终的点n_i的邻域特征；

重复两次局部空间编码与基于注意力机制的池化操作后，点云中每点的邻域特征被完全聚合，之后将该邻域特征与多层感知机处理后的点云自身特征相加，完成点云局部特征的聚合。

3.根据权利要求1所述的基于图像与激光数据融合的铁路运行环境异常辨识方法，其特征在于，步骤三还包括如下步骤：

建立用于存储并拟合不同类别点云特征原型的模块，该拟合模块可被视为一个K×D的矩阵，其中D是输入的点云特征维度，K表示该模块中的原型数量，K可由下式计算：

K＝C×M

式中C表示类别数，M表示每个类别具有的原型数量；

编码层提取的点云特征进入该模块后，通过下式进行调整：

式中f_i表示输入中某点的原始特征，

表示调整后的特征，m_j是模块中的该类的某一个特征原型，λ，μ是两个权重系数，用来确定原始特征与特征原型的各自占比，ω_ij通过判断原始特征与特征原型之间的差异来为特征原型赋予权重，通过下式计算：

式中d(.)表示计算两向量间的余弦距离，用于判断两向量的相似程度。

4.根据权利要求1所述的基于图像与激光数据融合的铁路运行环境异常辨识方法，其特征在于，步骤四具体步骤为：

设立距离阈值r：

r＝λd_i+μσ_y

式中d_i表示点云中所有点与其最近邻点距离的均值，λ与μ是权重系数，σ_y表示点云中两线之间的平均距离；

计算异常对象点云到轨道点云中线所在平面的距离：

(1)将轨道点云投影到拟合的地平面上，并提取二维轨道点云的边界；

(2)使用最小二乘法对边界点进行直线拟合，由于轨道点云近似对称，所以拟合结果可近似为铁路线路中线；

(3)以该拟合直线为新的x轴建立新坐标系并对所有点云做坐标转换；

(4)计算坐标转换后的异常点云中所有点到新坐标系下XOZ平面的距离，取最小值，记为d_m；

(5)记投影后的轨道点云拟合中线至路堤坡脚、路堑坡顶的距离为d_x，d_x可由下式计算，其中h是路堑或路堤相对地面的高度，θ是路堑或路堤的坡比，d_r为排水沟宽度，d_o为其他附属设施宽度；

(6)最终修正后的异常对象到轨道距离

由下式计算：

5.根据权利要求1所述的基于图像与激光数据融合的铁路运行环境异常辨识方法，其特征在于，步骤五具体步骤为：

首先通过主干网络提取特征，在数据集上对主干网络进行预训练，使用预训练获得的参数对实例分割训练时的主干网络进行初始化；然后从总数据集中取出一个批次的数据，之后在这个批次中随机取出四张图片，进行随机位置的裁剪拼接，合成新图片，并重复批次大小次，最后得到经过数据增强后的一个批次的新数据。

6.根据权利要求1所述的基于图像与激光数据融合的铁路运行环境异常辨识方法，其特征在于，

步骤六分为两个阶段：

第一个阶段是对原始点云数据进行处理，包括预处理方法、点云语义分割及点云聚类，此时获得的是被点云数据判定为异常的对象所属的点云数据，所述对象被视为潜在异常对象，聚类获得的点云则是潜在异常对象点云，等待进一步判断；

第二个阶段是对图像数据进行处理并对两类数据识别的结果进行决策级融合，首先通过空间位置匹配方法获得与潜在异常对象点云对应的图像数据，并通过基于迁移学习及数据增强的图像实例分割方法对图像数据进行处理，获得对潜在异常对象类别的准确判断，之后进行点云数据与可见光图像数据识别结果的决策级融合：对于被点云数据识别为建筑的对象，图像数据的识别结果可能是彩钢板顶棚建筑、砖石房屋及其他三类，对应于前两类结果的潜在异常对象将被认为属于异常且进一步计算该异常距铁路的距离，对应于第三类结果的潜在异常对象将被认为不属于异常并不进行后续处理；对于被点云数据识别为垃圾堆积的对象，图像数据的识别结果是垃圾堆积与其他两类，对应于第一类结果的潜在异常对象将被认为属于异常并进一步计算该异常对象体积及距铁路距离，对应于第二类结果的潜在异常对象将被认为不属于异常并不进行后续处理。

Images