CN114612833A - 一种基于深度学习的铁轨扣件异常识别方法及系统 - Google Patents

Abstract

本申请涉及神经网络技术领域，提供一种基于深度学习的铁轨扣件异常识别方法及系统，首先，获取铁轨深度图以及对应的采集位置；然后，通过扣件检测模型定位铁轨深度图中扣件所在位置并生成带有扣件的预测框图像和所述预测框图像的基本信息；再然后将所述预测框图像以及预测框图像的基本信息输入预先建立的扣件异常状态识别模型，并由所述扣件异常状态识别模型对预测框图像中的扣件进行二次分类，获得扣件的最终类别。通过对铁轨深度图中的扣件进行定位，并提取出带有扣件的预测框图像，然后由扣件异常状态识别模型识别扣件的最终类别，降低运算复杂度，提高检测速度和识别准确率，并保证能够将检测结果进行即使反馈。

Description

一种基于深度学习的铁轨扣件异常识别方法及系统

技术领域

本申请涉及神经网络技术领域，尤其涉及一种基于深度学习的铁轨扣件异常识别方法及系统。

背景技术

用于固定铁路轨道的紧固件(扣件)作为铁轨的重要安全保障，其状态关乎列车能否安全运行、会否造成安全和经济上的危险。而随着铁路技术的高速发展，轨道状态自动检测系统的设计已成为铁路有关部门研究的重中之重。

与靠工人人眼进行巡检的人工巡检方法相比，自动化扣件检测方法速度快、精度高。自动化扣件检测一般是沿铁路方向获取铁轨图像，然后针对获取的铁轨图像进行扣件状态检测，但是，实际场景下，在获取的铁轨图像中，扣件所在的区域较小，导致检测难度较大，或者要求检测系统具备较高的算力，存在计算量较大，检测延迟较高的问题。

发明内容

为了提供一种检测速度快、识别准确率高以及状态反馈及时的检测方法，本申请实施例提供一种基于深度学习的铁轨扣件异常识别方法及系统。

本申请第一方面提供一种基于深度学习的铁轨扣件异常识别方法，包括：

获取铁轨深度图以及对应的采集位置，并输入预先建立的扣件检测模型；

扣件检测模型响应于输入的铁轨深度图，定位铁轨深度图中扣件所在位置并生成带有扣件的预测框图像和所述预测框图像的基本信息，所述预测框图像的基本信息包括预测框图像中扣件所处位置、初步分类、铁轨图像获取时间；

将所述预测框图像以及预测框图像的基本信息输入预先建立的扣件异常状态识别模型；

所述扣件异常状态识别模型响应于所述预测框图像，对预测框图像中的扣件进行二次分类，获得扣件的最终类别。

在一种实现方式中，所述预先建立的扣件检测模型通过以下步骤建立：

获取铁轨深度图，对铁轨深度图中的扣件位置及类别进行标注，并对所述铁轨深度图进行预处理；

对预处理后的铁轨深度图进行随机缩放、随机拼接、色域转换及增加白噪声手段后拼接成样本图像；

将所述样本图像输入轻量化的YOLOv5网络中，完成预设周期的组合训练，所述组合训练分为骨干网络训练和YOLOv3检测头训练；

筛选所述样本图像中扣件区域横纵比超过预设阈值的样本图像，作为第二样本，利用所述第二样本单独对骨干网络进行预设次数的少样本训练，并将骨干网络少样本训练的反向传播学习到的残差以更低的学习率同步给轻量化的YOLOv5网络的骨干网络；

利用所述第二样本单独对YOLOv3检测头进行预设次数的少样本训练，并将YOLOv3检测头的少样本训练的反向传播学习到的残差以更低的学习率同步给轻量化的YOLOv5网络的YOLOv3检测头。

在一种实现方式中，所述预先建立的扣件异常状态识别模型通过以下步骤建立：

将扣件检测模型输出的预测框图像以及所述预测框图像的基本信息输入二次识别网络，所述二次识别网络包括基于重加权损失函数的不平衡学习分支和基于改进Mixup算法的数据增强分支；

通过数据增强分支对所述预测框图像中扣件的初步类别进行插值，并将插值类别向扣件异常状态类别偏移；

通过不平衡学习分支将所述预测框图像中扣件的初步类别向扣件异常状态类别偏移；

对不平衡学习分支和数据增强分支进行动态加权得到损失值，并将所述损失值反向传播同步对二次识别网络进行参数的更新，获得扣件异常状态识别模型。

在一种实现方式中，所述不平衡学习分支的损失函数为：

其中，y为样本实际标签，γ为调制系数，n为样本数，p_i为预测样本属于i的概率，C为所有类别的总数，β∈[0,1)为超参数，扣件类别i的有效样本数量E_i。

在一种实现方式中，所述损失值为：Loss＝αL_imb+(1-α)L_mu，其中，L_imb是不平衡学习分支的损失函数，L_mu是数据增强分支的损失函数。

在一种实现方式中，所述获取铁轨深度图以及对应的采集位置，并输入预先建立的扣件检测模型的步骤具体为：

获取铁轨深度图以及对应的采集位置；

对所述铁轨深度图进行预处理，并对预处理后的铁轨深度图进行随机缩放、随机拼接、色域转换及增加白噪声手段后拼接，获得待检测图像；

将所述待检测图像和对应的采集位置输入预先建立的扣件检测模型。

在一种实现方式中，还包括：

将所述铁轨深度图以及对应的采集位置通过UDP存储于服务器；

以及，采用UDP通信将所述扣件的最终类别以及对应扣件所处位置和所述的铁轨深度图发送至回服务器；

若所述扣件的最终类别为异常状态，则生成并发出告警信号，所述异常状态至少包括扣件松动或遮挡。

本申请第二方面提供一种基于深度学习的铁轨扣件异常识别系统，其特征在于，所述一种基于深度学习的铁轨扣件异常识别系统用于执行本申请第一方面提供的一种基于深度学习的铁轨扣件异常识别方法；

所述一种基于深度学习的铁轨扣件异常识别系统包括：

图片像采集模块，用于采集铁轨深度图；

扣件定位检测模块，用于确定铁轨深度图的采集位置；

扣件状态识别模块，所述扣件状态识别模块中存储有扣件检测模型和扣件异常状态识别模型；

所述扣件检测模型用于输入的铁轨深度图，定位铁轨深度图中扣件所在位置并生成带有扣件的预测框图像和所述预测框图像的基本信息；

所述扣件异常状态识别模型用于根据所述预测框图像，对预测框图像中的扣件进行二次分类，获得扣件的最终类别。

本申请第三方面提供一种计算机设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如本申请第一方面提供的一种基于深度学习的铁轨扣件异常识别方法的步骤。

本申请第四方面提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理执行时实现如本申请第一方面提供的一种基于深度学习的铁轨扣件异常识别方法的步骤。

本申请提供一种基于深度学习的铁轨扣件异常识别方法，首先，获取铁轨深度图以及对应的采集位置，并输入预先建立的扣件检测模型；然后，通过扣件检测模型定位铁轨深度图中扣件所在位置并生成带有扣件的预测框图像和所述预测框图像的基本信息；再然后将所述预测框图像以及预测框图像的基本信息输入预先建立的扣件异常状态识别模型，并由所述扣件异常状态识别模型响应于所述预测框图像，对预测框图像中的扣件进行二次分类，获得扣件的最终类别。通过对铁轨深度图中的扣件进行定位，并提取出带有扣件的预测框图像，然后由扣件异常状态识别模型识别扣件的最终类别，降低运算复杂度，提高检测速度和识别准确率，并保证能够将检测结果进行即使反馈。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种基于深度学习的铁轨扣件异常识别方法的流程示意图；

图2为本申请实施例提供的扣件检测模型训练流程示意图；

图3为本申请实施例提供的扣件异常状态识别模型的训练流程示意图；

图4为本申请实施例提供的扣件三种状态示意图；

图5为本申请实施例提供的用于训练的样本图像；

图6为本申请提供的采用马赛克增强获得的扣件图像；

图7为本申请实施例提供的采用改进数据增强获得的扣件图像。

具体实施方式

为了提供一种检测速度快、识别准确率高以及状态反馈及时的检测方法，本申请实施例提供一种基于深度学习的铁轨扣件异常识别方法及系统，如图1所示，为本申请实施例提供的一种基于深度学习的铁轨扣件异常识别方法的流程示意图，所述一种基于深度学习的铁轨扣件异常识别方法包括S101至S104。

S101，获取铁轨深度图以及对应的采集位置，并输入预先建立的扣件检测模型。

在实际应用过程中，通过图像采集模块获取铁轨深度图，具体的，采用工业相机对铁轨进行深度信息的采集，得到1280×1000的16位深1通道铁轨深度图，在采集所述铁轨深度图时，同步采集所述铁轨深度图对应的位置，并记录铁轨图像获取时间。

以及对所述铁轨深度图进行预处理，并对预处理后的铁轨深度图进行随机缩放、随机拼接、色域转换及增加白噪声手段拼接成待检测图像；将所述待检测图像和铁轨深度图像采集位置输入预先建立的扣件检测模型。

参见图2，为本申请实施例提供的扣件检测模型训练流程示意图，所述预先建立的扣件检测模型通过S201至S205建立：

S201，获取铁轨深度图，对铁轨深度图中的扣件位置及类别进行标注，并对所述铁轨深度图进行预处理。

由于铁轨深度图是采用设备自动采集，一般是沿铁轨进行连续或间断的图像采集，采集的图片为整个轨道的图像，所以铁轨深度图上存在大量不存在扣件的区域，本申请实施例在获得铁轨深度图后，对铁轨深度图中扣件进行位置及类别的标注，其中，对扣件进行位置标准是指在铁轨深度图上圈出扣件所处的区域。并对标注后的铁轨深度图进行预处理，其中，所述扣件类别至少包括正常、松动和遮挡三种状态，如图4所示，图中从左至右排列的三个扣件图像分别对应正常、松动和遮挡三种状态的扣件。

S202，对预处理后的铁轨深度图进行随机缩放、随机拼接、色域转换及增加白噪声手段后拼接成样本图像。

为提升检测速度，在申请实施例中，提出将马赛克增强由4图拼接改为9图拼接，如图5、图6和图7所示，与马赛克增强所应用的场景不同，铁轨扣件的定位识别没有小样本和样本紧邻的情况。因此，本申请实施例提出的改进数据增强并不采用如马赛克增强所用的随机缩放后拼接的策略，而是直接随机剪裁后拼接。具体为将预处理后的铁轨深度图进行随机缩放、随机拼接、色域转换及增加白噪声手段后拼接成样本图像，此外，铁轨扣件大小约为250×250mm，因此为提升检测速度，本检测网络增加图像拼接的个数。这将加速离线检测网络的收敛速度，变相加大了训练数据的喂入数量，使得训练对GPU(graphicsprocessing unit，图形处理器)的依赖更小，速度更快。

需要说明的是，图5、图6和图7中，黑色方框内的图像为扣件图像，附图上呈现长方形的黑色区域为铁轨对应的图像。

S203，将所述样本图像输入轻量化的YOLOv5网络中，完成预设周期的组合训练，所述组合训练分为骨干网络训练和YOLOv3检测头训练。

S204，筛选所述样本图像中扣件区域横纵比超过预设阈值的样本图像，作为第二样本，利用所述第二样本单独对骨干网络进行预设次数的少样本训练，并将骨干网络少样本训练的反向传播学习到的残差以更低的学习率同步给轻量化的YOLOv5网络的骨干网络。

S205，利用所述第二样本单独对YOLOv3检测头进行预设次数的少样本训练，并将YOLOv3检测头的少样本训练的反向传播学习到的残差以更低的学习率同步给轻量化的YOLOv5网络的YOLOv3检测头。

具体的，在本申请实施例中，所述组合训练的训练周期为295个周期。由于实际采集的铁轨深度图中，由于正常运行的铁轨中大部分扣件状态正常，只有极少部分扣件处于异常状态中，当完成295个周期的组合训练后，单独使用扣件区域横纵比超过2的扣件目标的铁轨深度图进行少样本数据训练，其中，所述少样本数据是指类别为异常或遮挡的扣件。

所述少样本训练具体为：筛选所述样本图像中扣件区域横纵比超过2的样本图像，作为第二样本，利用所述第二样本单独对骨干网络进行5个训练周期的少样本训练，并将骨干网络少样本训练的反向传播学习到的残差以更低的学习率同步给轻量化的YOLOv5网络的骨干网络；以及，利用所述第二样本单独对YOLOv3检测头进行5个训练周期的少样本训练，并将YOLOv3检测头的少样本训练的反向传播学习到的残差以更低的学习率同步给轻量化的YOLOv5网络的YOLOv3检测头。

S102，扣件检测模型响应于输入的铁轨深度图，定位铁轨深度图中扣件所在位置并生成带有扣件的预测框图像和所述预测框图像的基本信息，所述预测框图像的基本信息包括预测框图像中扣件的所处位置、初步分类、铁轨图像获取时间。

其中，扣件的所处位置是扣件在铁轨上的实际位置坐标，初步分类可以为正常、松动和遮挡中一种。

本申请实施例提出基于YOLOv5的铁轨扣件实时检测网络，通过引入只读少样本挖掘网络提升对少样本的识别能力，部分主要通过改进模型喂入数据方式对YOLOv5网络进行轻量化处理，以此优化系统对铁轨扣件定位的实时性。

因铁轨扣件检测所需的实时性，本申请提出使用轻量化的YOLOv5网络进行扣件实时定位。为解决数据的长尾问题，增加少样本训练模块。对于因训练时数量较少而容易被漏检的铁轨扣件状态，在离线扣件检测训练时，将这部分扣件图片作为少样本训练模块的输入。少样本训练模块将学习到的残差信息同步分享给常规YOLOv5网络，并进行权重更新。在后续的在线检测阶段，只有常规网络运行，因此加入少样本训练模块只提升系统对异常扣件的识别能力，而不影响网络模型的测试速度。

S103，将所述预测框图像以及预测框图像的基本信息输入预先建立的扣件异常状态识别模型。

其中，参见图3，为本申请实施例提供的扣件异常状态识别模型的训练流程示意图，预先建立的扣件异常状态识别模型的建立过程为：S301至S304。

S301，将扣件检测模型输出的预测框图像以及所述预测框图像的基本信息输入二次识别网络，所述二次识别网络包括基于重加权损失函数的不平衡学习分支和基于改进Mixup算法的数据增强分支。

需要说明的是，所述扣件异常状态识别模型主要解决扣件状态相似性较高的问题，对具有长尾分布的扣件状态进行二次识别，此二次识别网络分为基于重加权损失函数的不平衡学习分支和基于改进Mixup算法的数据增强分支展开，损失值由二者动态加权获得。

S302，通过数据增强分支对所述预测框图像中扣件的初步类别进行插值，并将插值类别向扣件异常状态类别偏移。

数据增强学习通道通过改进Mixup算法，在数据输入阶段使得类别插值时向少样本类的方向偏移，给混合样本中分配更大份额(λ)的小样本标签。合理控制向少数类偏移的程度，实现对决策边界的合理分配。其中λ符合Beta分布，而λ_y通过下式在进行混合的两样本所属状态的总样本数相差3倍时实现偏移。

λ～B。ta(α，α)；

其中，α＝1-T/T_max，T为当前训练周期数，T_max为训练总周期(组合训练和少样本训练的总周期)300，n_i为类别i总样本的数量，n_j为类别j总样本的数量，i和j分别为混合样本随机选中的两个样本所属类别，x和y分别为混合样本的图像数据及标签。

S303，通过不平衡学习分支将所述预测框图像中扣件的初步类别向扣件异常状态类别偏移。

其中不平衡学习分支使用重加权技术改善网络对于正常扣件的偏好。采用有效样本数概念对数据进行重加权。有效样本数定义为样本体积，可通过简单公式计算，其中n为样本数，C为所有类别的总数，β∈[0,1)为超参数。类别i的有效样本数量E_i,其中，为了简化算β＝(N-1)/N。本文选用Focal loss法，不平衡学习分支的损失函数为：

其中，y为样本实际标签，γ为调制系数，n为样本数，p_i为预测样本属于i的概率，C为所有类别的总数，β∈[0,1)为超参数，扣件类别i的有效样本数量E_i。

S304，对不平衡学习分支和数据增强分支进行动态加权得到损失值，并将所述损失值反向传播同步对二次识别网络进行参数的更新，获得扣件异常状态识别模型。

其中，损失值为Loss＝αL_imb+(1-α)L_mu，L_imb是不平衡学习分支的损失函数，L_mu是数据增强分支的损失函数。

S104，所述扣件异常状态识别模型响应于所述预测框图像，对预测框图像中的扣件进行二次分类，获得扣件的最终类别。

在本申请实施例中，因扣件之间相似性较强，在得到铁轨扣件的检测框(预测框图像)后，将框内对象进行二次分类。针对铁轨扣件分布存在的长尾现象提出基于双分支学习的扣件图片长尾识别算法，使用重加权技术改善深度学习网络对于扣件状态正常的偏向，为更加需要监测及定位的异常状态扣件划分出合理的决策边界。

在实际应用过程中，所述一种基于深度学习的铁轨扣件异常识别方法还包括：将所述铁轨深度图以及对应的采集位置通过UDP(UDP，User Datagram Protocol，用户数据报协议)存储于服务器；以及，采用UDP通信将所述扣件的最终类别以及对应扣件所处位置和所述的铁轨深度图发送至回服务器；所述最终类别包括正常状态和异常状态，若所述扣件的最终类别为异常状态，则生成并发出告警信号，所述异常状态至少包括扣件松动或遮挡。

本申请实施例所提出的基于深度学习的一种基于深度学习的铁轨扣件异常识别方法实现在对下一幅图像进行采样之前，进行图像采集、扣件检测、状态识别并反馈告警，检测速度达到83FPS，扣件状态识别准确率为95.6％。

综上所述，本申请实施例提供的一种基于深度学习的铁轨扣件异常识别方法，基于实际场景下：(1)扣件状态间相似度较强，扣件松动时所产生的例如扣件倾斜此类的表象对于计算机而言较难分辨。(2)铁轨数据在采集时存在图像边缘处只采集到扣件小部分的情况。这种非完整的扣件为标注和基于计算机视觉的扣件定位及状态识别带来较大挑战。(3)正常运行的铁轨中大部分扣件状态正常，只有极少部分扣件处于异常状态中，此时深度学习将倾向于基于多数类(正常扣件)提取特征，并将产生大量误判的少数类样本。(4)铁轨扣件异常识别需要极高的反馈速度，从巡检车下悬挂工业相机采样到铁轨数据到反馈扣件状态到服务器需要极短的时间才能保证系统的实时性。

针对上述难点，本申请实施例通过获取铁轨深度图以及对应的采集位置，并由预先建立的扣件检测模型生成带有扣件的预测框图像和所述预测框图像的基本信息，然后由扣件异常状态识别模型，对预测框图像中的扣件进行二次分类，获得扣件的最终类别。

与前述一种基于深度学习的铁轨扣件异常识别方法的实施例相对应，本申请还提供了一种基于深度学习的铁轨扣件异常识别系统的实施例。所述一种基于深度学习的铁轨扣件异常识别系统用于执行上述一种基于深度学习的铁轨扣件异常识别方法。所述一种基于深度学习的铁轨扣件异常识别系统包括：

图片像采集模块，用于采集铁轨深度图。

扣件定位检测模块，用于确定铁轨深度图的采集位置。

扣件状态识别模块，所述扣件状态识别模块中存储有扣件检测模型和扣件异常状态识别模型。

所述扣件检测模型用于输入的铁轨深度图，定位铁轨深度图中扣件所在位置并生成带有扣件的预测框图像和所述预测框图像的基本信息。

所述扣件异常状态识别模型用于根据所述预测框图像，对预测框图像中的扣件进行二次分类，获得扣件的最终类别。

相应的，本申请实施例还提供一种计算机设备，包括：

存储器，用于存储计算机程序。

处理器，用于执行所述计算机程序时实现如上述一种基于深度学习的铁轨扣件异常识别方法的步骤。

相应的，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理执行时实现上述一种基于深度学习的铁轨扣件异常识别方法的步骤。

以上的具体实施方式，对本申请的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本申请的具体实施方式而已，并不用于限定本申请的保护范围，凡在本申请的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本申请的保护范围之内。

Claims (10)

1.一种基于深度学习的铁轨扣件异常识别方法，其特征在于，包括：

获取铁轨深度图以及对应的采集位置，并输入预先建立的扣件检测模型；

扣件检测模型响应于输入的铁轨深度图，定位铁轨深度图中扣件所在位置并生成带有扣件的预测框图像和所述预测框图像的基本信息，所述预测框图像的基本信息包括预测框图像中扣件所处位置、初步分类、铁轨图像获取时间；

将所述预测框图像以及预测框图像的基本信息输入预先建立的扣件异常状态识别模型；

所述扣件异常状态识别模型响应于所述预测框图像，对预测框图像中的扣件进行二次分类，获得扣件的最终类别。

2.根据权利要求1所述的一种基于深度学习的铁轨扣件异常识别方法，其特征在于，所述预先建立的扣件检测模型通过以下步骤建立：

获取铁轨深度图，对铁轨深度图中的扣件位置及类别进行标注，并对所述铁轨深度图进行预处理；

对预处理后的铁轨深度图进行随机缩放、随机拼接、色域转换及增加白噪声手段后拼接成样本图像；

将所述样本图像输入轻量化的YOLOv5网络中，完成预设周期的组合训练，所述组合训练分为骨干网络训练和YOLOv3检测头训练；

筛选所述样本图像中扣件区域横纵比超过预设阈值的样本图像，作为第二样本，利用所述第二样本单独对骨干网络进行预设次数的少样本训练，并将骨干网络少样本训练的反向传播学习到的残差以更低的学习率同步给轻量化的YOLOv5网络的骨干网络；

利用所述第二样本单独对YOLOv3检测头进行预设次数的少样本训练，并将YOLOv3检测头的少样本训练的反向传播学习到的残差以更低的学习率同步给轻量化的YOLOv5网络的YOLOv3检测头。

3.根据权利要求1所述的一种基于深度学习的铁轨扣件异常识别方法，其特征在于，所述预先建立的扣件异常状态识别模型通过以下步骤建立：

将扣件检测模型输出的预测框图像以及所述预测框图像的基本信息输入二次识别网络，所述二次识别网络包括基于重加权损失函数的不平衡学习分支和基于改进Mixup算法的数据增强分支；

通过数据增强分支对所述预测框图像中扣件的初步类别进行插值，并将插值类别向扣件异常状态类别偏移；

通过不平衡学习分支将所述预测框图像中扣件的初步类别向扣件异常状态类别偏移；

对不平衡学习分支和数据增强分支进行动态加权得到损失值，并将所述损失值反向传播同步对二次识别网络进行参数的更新，获得扣件异常状态识别模型。

4.根据权利要求3所述的一种基于深度学习的铁轨扣件异常识别方法，其特征在于，所述不平衡学习分支的损失函数为：

其中，y为样本实际标签，γ为调制系数，n为样本数，p_i为预测样本属于i的概率，C为所有类别的总数，β∈[0,1)为超参数，扣件类别i的有效样本数量E_i。

5.根据权利要求3所述的一种基于深度学习的铁轨扣件异常识别方法，其特征在于，所述损失值为：

Loss＝αL_imb+(1-α)L_mu，其中，L_imb是不平衡学习分支的损失函数，L_mu是数据增强分支的损失函数。

6.根据权利要求1所述的一种基于深度学习的铁轨扣件异常识别方法，其特征在于，所述获取铁轨深度图以及对应的采集位置，并输入预先建立的扣件检测模型的步骤具体为：

获取铁轨深度图以及对应的采集位置；

对所述铁轨深度图进行预处理，并对预处理后的铁轨深度图进行随机缩放、随机拼接、色域转换及增加白噪声手段后拼接，获得待检测图像；

将所述待检测图像和对应的采集位置输入预先建立的扣件检测模型。

7.根据权利要求1所述的一种基于深度学习的铁轨扣件异常识别方法，其特征在于，还包括：

将所述铁轨深度图以及对应的采集位置通过UDP存储于服务器；

以及，采用UDP通信将所述扣件的最终类别以及对应扣件所处位置和所述的铁轨深度图发送至回服务器；

若所述扣件的最终类别为异常状态，则生成并发出告警信号，所述异常状态至少包括扣件松动或遮挡。

8.一种基于深度学习的铁轨扣件异常识别系统，其特征在于，所述一种基于深度学习的铁轨扣件异常识别系统用于执行权利要求1-7任一项所述的一种基于深度学习的铁轨扣件异常识别方法；

所述一种基于深度学习的铁轨扣件异常识别系统包括：

图片像采集模块，用于采集铁轨深度图；

扣件定位检测模块，用于确定铁轨深度图的采集位置；

扣件状态识别模块，所述扣件状态识别模块中存储有扣件检测模型和扣件异常状态识别模型；

所述扣件检测模型用于输入的铁轨深度图，定位铁轨深度图中扣件所在位置并生成带有扣件的预测框图像和所述预测框图像的基本信息；

所述扣件异常状态识别模型用于根据所述预测框图像，对预测框图像中的扣件进行二次分类，获得扣件的最终类别。

9.一种计算机设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1-7任一项所述的一种基于深度学习的铁轨扣件异常识别方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理执行时实现如权利要求1-7任一项所述的一种基于深度学习的铁轨扣件异常识别方法的步骤。

Images