CN116109987B - 基于深度学习的接触网悬挂部件故障检测方法和装置 - Google Patents

Abstract

本发明提供一种基于深度学习的接触网悬挂部件故障检测方法和装置，所述方法包括：根据设置在列车上的动态视觉感受器和相机，同时对列车上方进行预设时间段的拍摄，获得至少两个运动图像帧以及多个动态视觉图像；在运动图像帧中，确定接触网悬挂部件所在的第一区域；根据第一区域，筛选动态视觉图像，获得目标动态视觉图像；将目标动态视觉图像和运动图像帧输入分类网络模型，获得接触网悬挂部件的类型；根据接触网悬挂部件的类型和运动图像帧，确定接触网悬挂部件的故障检测结果。根据本发明，还可利用目标动态视觉图像增强分类网络模型的特征，提升识别和分类的准确性，从而在高速运行的列车上识别接触网悬挂部件的类型，提升故障检测准确性。

Description

基于深度学习的接触网悬挂部件故障检测方法和装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于深度学习的接触网悬挂部件故障检测方法和装置。

背景技术

在相关技术中，CN115100580A公开了一种异物检测方法、装置、终端及计算机可读存储介质，异物检测方法包括对待处理运动图像帧中包含的待检测目标进行特征提取，得到待处理运动图像帧的目标特征信息；待处理运动图像帧是视频流中的一帧图像；基于待处理运动图像帧的目标特征信息和参考运动图像帧的目标特征信息，确定待检测目标的轮廓分布特征；参考运动图像帧至少包括视频流中待处理运动图像帧之前和/或之后的运动图像帧；基于待检测目标的轮廓分布特征，确定待处理运动图像帧中是否存在异物。

CN115294451A公开了一种高压线上异物检测方法及装置，属于机器视觉图像处理技术领域，方法包括：通过摄像头采集目标图像；通过目标检测网络获取目标图像中的电线杆以及三角架的位置信息；选取在目标图像中所占的显示面积最大的第一电线架设装置和第二电线架设装置；确定第一电线架设装置在目标图像中对应的第一感兴趣区域和第二电线架设装置在目标图像中对应的第二感兴趣区域；根据第一感兴趣区域与第二感兴趣区域，确定架设于电线杆和三角架上的接触网欲旋转至水平方向的旋转角度；将目标图像、第一感兴趣区域和第二感兴趣区域旋转相应的角度后进行切分，以得到接触网图像；通过孪生网络模型对接触网图像进行分类，以确定接触网图像中是否存在异物。

CN114970904A公开了一种基于缺陷处理的接触网运营维修资源数字化调整方法，包括以下步骤：统计历史缺陷记录表排名前N项零部件和设备，历史维修记录表排名前M项零部件和设备；根据排名前M项零部件和设备调整单项维修计划工作人时；按照锚段为单位的历史缺陷记录表调整维修资源配给量；将排名前N项零部件和设备的缺陷作为设备质量指标修正接触网系统健康状态指标，并进行接触网系统健康状态评价，计算接触网处于亚健康及以下的健康度计算时间点，分配维修计划工作人时和维修资源配给量。

综上，在相关技术中，可基于接触网部分的图像来识别接触网上的异物和故障，但是均未考虑当摄像机设置于列车之上时，由于列车的高速运动，难以对拍摄的视频中发生高速运动的接触网部件进行识别的情况，也无法基于对于接触网的识别来自动调节列车的接触部件，从而降低故障发生的概率，且不能自动确定接触网是否存在故障。

公开于本申请背景技术部分的信息仅仅旨在加深对本申请的一般背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。

发明内容

本发明涉及一种基于深度学习的接触网悬挂部件故障检测方法和装置，所要解决的问题是在高速运动的列车上识别接触网悬挂部件的分类，并确定接触网悬挂部件是否存在故障。

本发明提供一种基于深度学习的接触网悬挂部件故障检测方法，包括：

根据设置在列车上的动态视觉感受器和相机，同时对列车上方进行预设时间段的拍摄，获得所述相机拍摄的至少两个运动图像帧，以及所述动态视觉感受器拍摄的多个动态视觉图像，其中，所述动态视觉图像的数量多于运动图像帧的数量，所述动态视觉图像和所述运动图像帧中均包括接触网悬挂部件，所述相机和所述动态视觉感受器的视野相同，且位于所述接触网悬挂部件的斜下方；

在至少两个运动图像帧中，确定所述接触网悬挂部件所在的第一区域；

根据所述第一区域，对所述多个动态视觉图像进行筛选，获得目标动态视觉图像；

将目标动态视觉图像和至少两个运动图像帧输入分类网络模型进行处理，获得所述接触网悬挂部件的类型；

根据所述接触网悬挂部件的类型，以及至少两个运动图像帧，确定所述接触网悬挂部件的故障检测结果；

其中，根据所述第一区域，对所述多个动态视觉图像进行筛选，获得目标动态视觉图像，包括：

在所述第一区域中，确定所述接触网悬挂部件的接触线所在的第二区域；

在所述多个动态视觉图像中，筛选出在所述第二区域中的像素点数量大于或等于第一预设数量的备选动态视觉图像；

在所述第一区域中，确定所述接触网悬挂部件的牵引索所在的第三区域；

在所述备选动态视觉图像中筛选出在所述第三区域中的像素点数量大于或等于第二预设数量，或者小于或等于第三预设数量的所述目标动态视觉图像，所述第二预设数量大于所述第三预设数量。

在本发明的一些实施例中，将目标动态视觉图像和至少两个运动图像帧输入分类网络模型进行处理，获得所述接触网悬挂部件的类型，包括：

将至少两个运动图像帧输入所述分类网络模型的编码模块的输入层，获得编码模块输出的第一特征图；

将所述第一特征图和所述目标动态视觉图像进行特征融合，获得第二特征图；

将所述第二特征图输入所述分类网络模型的解码层，获得所述接触网悬挂部件的类型。

在本发明的一些实施例中，将所述第一特征图和所述目标动态视觉图像进行特征融合，获得第二特征图，包括：

将所述目标动态视觉图像进行放缩，获得与所述第一特征图尺寸相同的放缩图像；

将所述放缩图像中与所述第一区域对应的区域的像素值，以及所述第一特征图中与所述第一区域对应的区域的像素值进行求和，获得所述第二特征图。

在本发明的一些实施例中，所述方法还包括：

将样本运动图像帧输入所述分类网络模型的编码模块的输入层，获得编码模块输出的第一样本特征图；

将样本动态视觉图像与所述第一样本特征图进行特征融合，获得第二样本特征图；

将所述第二样本特征图输入所述分类网络模型的解码模块，获得解码特征信息；

根据所述解码特征信息，获得预测分类结果；

根据所述预测分类结果、所述解码特征信息以及与所述样本运动图像帧对应的标注信息，确定所述分类网络模型的损失函数；

通过所述损失函数对所述分类网络模型进行训练，获得训练后的分类网络模型。

在本发明的一些实施例中，根据所述预测分类结果、所述解码特征信息以及与所述样本运动图像帧对应的标注信息，确定所述分类网络模型的损失函数，包括：

根据所述预测分类结果和所述标注信息，确定类别损失函数；

根据所述解码特征信息和所述标注信息，确定位置损失函数；

根据所述类别损失函数和所述位置损失函数，确定所述分类网络模型的损失函数。

在本发明的一些实施例中，根据所述解码特征信息和所述标注信息，确定位置损失函数，包括：

根据公式

确定所述位置损失函数，其中，S_P为位置损失函数，n为所述解码特征信息中接触网悬挂部件所在的第一区域中的像素值不为0的像素点数量，n₁为所述解码特征信息中接触线所在的第二区域的中像素值不为0的像素点的数量，n₂为所述解码特征信息中牵引索所在的第三区域的中像素值不为0的像素点的数量，（x_2,i，y_2,i）为所述解码特征信息中接触线所在的第二区域中的像素点，（x_3,k，y_3,k）为所述解码特征信息中牵引索所在的第三区域中的像素点，（x_c,i，y_c,i）为所述标注信息的接触线所在位置中，与（x_2,i，y_2,i）的位置最接近的像素点，（x_c,k，y_c,k）为所述标注信息的接触线所在位置中，与（x_3,k，y_3,k）的位置最接近的像素点，（x_d,k，y_d,k）为所述标注信息的牵引索所在位置中，与（x_3,k，y_3,k）的位置最接近的像素点，T=0表示标注信息标注的类型为不含牵引索的简单接触悬挂，T=1表示标注信息标注的类型为含有牵引索的链形接触悬挂。

在本发明的一些实施例中，

根据所述接触网悬挂部件的类型，以及至少两个运动图像帧，确定所述接触网悬挂部件的故障检测结果，包括：

在至少两个运动图像帧中，确定所述接触网悬挂部件的接触线的弧度；

根据所述接触网悬挂部件的类型，以及所述接触线的弧度，确定所述故障检测结果。

本发明提供一种基于深度学习的接触网悬挂部件故障检测装置，所述装置包括：

拍摄模块，用于根据设置在列车上的动态视觉感受器和相机，同时对列车上方进行预设时间段的拍摄，获得所述相机拍摄的至少两个运动图像帧，以及所述动态视觉感受器拍摄的多个动态视觉图像，其中，所述动态视觉图像的数量多于运动图像帧的数量，所述动态视觉图像和所述运动图像帧中均包括接触网悬挂部件，所述相机和所述动态视觉感受器的视野相同，且位于所述接触网悬挂部件的斜下方；

第一区域模块，用于在至少两个运动图像帧中，确定所述接触网悬挂部件第一区域；

筛选模块，用于根据所述第一区域，对所述多个动态视觉图像进行筛选，获得目标动态视觉图像；

分类模块，用于将目标动态视觉图像和至少两个运动图像帧输入分类网络模型进行处理，获得所述接触网悬挂部件的类型；

故障检测模块，用于根据所述接触网悬挂部件的类型，以及至少两个运动图像帧，确定所述接触网悬挂部件的故障检测结果；

其中，所述筛选模块进一步用于：

在所述第一区域中，确定所述接触网悬挂部件的接触线所在的第二区域；

在所述多个动态视觉图像中，筛选出在所述第二区域中的像素点数量大于或等于第一预设数量的备选动态视觉图像；

在所述第一区域中，确定所述接触网悬挂部件的牵引索所在的第三区域；

在所述备选动态视觉图像中筛选出在所述第三区域中的像素点数量大于或等于第二预设数量，或者小于或等于第三预设阈值的所述目标动态视觉图像，所述第二预设数量大于所述第三预设数量。

在本发明的一些实施例中，所述分类模块进一步用于：

将至少两个运动图像帧输入所述分类网络模型的编码模块的输入层，获得编码模块输出的第一特征图；

将所述第一特征图和所述目标动态视觉图像进行特征融合，获得第二特征图；

将所述第二特征图输入所述分类网络模型的解码层，获得所述接触网悬挂部件的类型。

在本发明的一些实施例中，所述分类模块进一步用于：

将所述目标动态视觉图像进行放缩，获得与所述第一特征图尺寸相同的放缩图像；

将所述放缩图像中与所述第一区域对应的区域的像素值，以及所述第一特征图中与所述第一区域对应的区域的像素值进行求和，获得所述第二特征图。

在本发明的一些实施例中，所述装置还包括训练模块，用于：

将样本运动图像帧输入所述分类网络模型的编码模块的输入层，获得编码模块输出的第一样本特征图；

将样本动态视觉图像与所述第一样本特征图进行特征融合，获得第二样本特征图；

将所述第二样本特征图输入所述分类网络模型的解码模块，获得解码特征信息；

根据所述解码特征信息，获得预测分类结果；

根据所述预测分类结果、所述解码特征信息以及与所述样本运动图像帧对应的标注信息，确定所述分类网络模型的损失函数；

通过所述损失函数对所述分类网络模型进行训练，获得训练后的分类网络模型。

在本发明的一些实施例中，所述训练模块进一步用于：

根据所述预测分类结果和所述标注信息，确定类别损失函数；

根据所述解码特征信息和所述标注信息，确定位置损失函数；

根据所述类别损失函数和所述位置损失函数，确定所述分类网络模型的损失函数。

在本发明的一些实施例中，所述训练模块进一步用于：

根据公式

确定所述位置损失函数，其中，S_P为位置损失函数，n为所述解码特征信息中接触网悬挂部件所在的第一区域中的像素值不为0的像素点数量，n₁为所述解码特征信息中接触线所在的第二区域的中像素值不为0的像素点的数量，n₂为所述解码特征信息中牵引索所在的第三区域的中像素值不为0的像素点的数量，（x_2,i，y_2,i）为所述解码特征信息中接触线所在的第二区域中的像素点，（x_3,k，y_3,k）为所述解码特征信息中牵引索所在的第三区域中的像素点，（x_c,i，y_c,i）为所述标注信息的接触线所在位置中，与（x_2,i，y_2,i）的位置最接近的像素点，（x_c,k，y_c,k）为所述标注信息的接触线所在位置中，与（x_3,k，y_3,k）的位置最接近的像素点，（x_d,k，y_d,k）为所述标注信息的牵引索所在位置中，与（x_3,k，y_3,k）的位置最接近的像素点，T=0表示标注信息标注的类型为不含牵引索的简单接触悬挂，T=1表示标注信息标注的类型为含有牵引索的链形接触悬挂。

在本发明的一些实施例中，所述故障检测模块进一步用于：

在至少两个运动图像帧中，确定所述接触网悬挂部件的接触线的弧度；

根据所述接触网悬挂部件的类型，以及所述接触线的弧度，确定所述故障检测结果。

本发明还提供一种基于深度学习的接触网悬挂部件故障检测设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行上述方法。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。

根据本发明的实施例的基于深度学习的接触网悬挂部件故障检测方法，可将动态视觉感受器和相机设置在列车上，动态视觉感受器的帧率较高，适于对高速运动的物体进行拍摄，因此，可用于在高速运动中对接触网悬挂部件进行识别和分类。进一步地，还可利用目标动态视觉图像增强分类网络模型的特征，提升识别和分类的准确性，从而在高速运行的列车上识别接触网悬挂部件的类型，进而可在列车行驶到特定路段时，使列车针对接触网悬挂部件的类型自行做出调整，降低故障概率。且可在列车行驶过程中即可确定存在故障或隐患的接触网悬挂部件，提升故障检测准确性和便利性，减少人工巡检的工作量。在对增强分类网络模型的训练过程中，可增强接触线所在位置的特征，并在标注信息中不存在牵引索时，减少第三区域的像素点数量，减少干扰，在标注信息中存在牵引索时，将第三区域的像素点集中于牵引索所在位置，增强牵引索的特征，进一步提升存在牵引索和不存在牵引索两种情况的对比度，有利于提升分类准确性。

附图说明

图1示例性地示出本发明实施例的基于深度学习的接触网悬挂部件故障检测方法；

图2A和图2B示例性地示出本发明实施例的运动图像帧的示意图；

图3A和图3B示例性地示出本发明实施例的第一区域的示意图；

图4示例性地示出本发明实施例的分类网络模型的示意图；

图5示例性地示出本发明实施例的基于深度学习的接触网悬挂部件故障检测的框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

应当理解，在本发明的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

应当理解，在本发明中，“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

应当理解，在本发明中，“多个”是指两个或两个以上。“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。“包含A、B和C”、“包含A、B、C”是指A、B、C三者都包含，“包含A、B或C”是指包含A、B、C三者之一，“包含A、B和/或C”是指包含A、B、C三者中任1个或任2个或3个。

应当理解，在本发明中，“与A对应的B”、“与A相对应的B”、“A与B相对应”或者“B与A相对应”，表示B与A相关联，根据A可以确定B。根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其他信息确定B。A与B的匹配，是A与B的相似度大于或等于预设的阈值。

取决于语境，如在此所使用的“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。

下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

图1示例性地示出本发明实施例的基于深度学习的接触网悬挂部件故障检测方法，包括：

步骤S1，根据设置在列车上的动态视觉感受器和相机，同时对列车上方进行预设时间段的拍摄，获得所述相机拍摄的至少两个运动图像帧，以及所述动态视觉感受器拍摄的多个动态视觉图像，其中，所述动态视觉图像的数量多于运动图像帧的数量，所述动态视觉图像和所述运动图像帧中均包括接触网悬挂部件，所述相机和所述动态视觉感受器的视野相同，且位于所述接触网悬挂部件的斜下方；

步骤S2，在至少两个运动图像帧中，确定所述接触网悬挂部件所在的第一区域；

步骤S3，根据所述第一区域，对所述多个动态视觉图像进行筛选，获得目标动态视觉图像；

步骤S4，将目标动态视觉图像和至少两个运动图像帧输入分类网络模型进行处理，获得所述接触网悬挂部件的类型；

步骤S5，根据所述接触网悬挂部件的类型，以及至少两个运动图像帧，确定所述接触网悬挂部件的故障检测结果。

根据本发明的实施例的基于深度学习的接触网悬挂部件故障检测方法，可将动态视觉感受器和相机设置在列车上，动态视觉感受器的帧率较高，适于对高速运动的物体进行拍摄，因此，可用于在高速运动中对接触网悬挂部件进行识别和分类。进一步地，还可利用目标动态视觉图像增强分类网络模型的特征，提升识别和分类的准确性，从而在高速运行的列车上识别接触网悬挂部件的类型，进而可在列车行驶到特定路段时，使列车针对接触网悬挂部件的类型自行做出调整，降低故障概率。且可在列车行驶过程中即可确定存在故障或隐患的接触网悬挂部件，提升故障检测准确性和便利性，减少人工巡检的工作量。

在本发明的一些实施例中，接触网悬挂部件的类型包括不含牵引索的简单接触悬挂以及含有牵引索的链形接触悬挂，其中，不含牵引索的简单接触悬挂将接触线直接悬挂于支撑柱上，施工简单，成本较低，但特别在悬挂处易造成与列车的受电弓之间的接触不良，从而发生故障。而含有牵引索的链形接触悬挂则将接触线悬挂在与接触线并行的牵引索上，再将牵引索悬挂在支撑柱上，使得接触线悬挂点更多，与受电弓的接触更均匀，接触故障较少，但施工成本较高。

在本发明的一些实施例中，基于接触网悬挂部件的上述类型，可在列车运行到具有特定类型的接触网悬挂部件的路段时自行做出调整，例如，调整受电弓的高度和列车的速度等，以适应特定类型的接触网悬挂部件，然而，由于牵引索和接触线在列车携带的相机拍摄的图像中所在的区域均为较细的线形区域，区域较小，不便于识别，并且，由于列车的高速运动，导致成像模糊，进一步加大了识别和分类难度。

在本发明的一些实施例中，动态视觉感受器（Dynamic visual receptors，DVS）与对光强变化率敏感，并且每个像素可记录该像素位置处光强的变化量，当变化量超过阈值后产生一个正向或负向脉冲，即，动态视觉信息。

例如，事件相机（Event Camera）是一种动态视觉感受器，可用于获取预设场景的光强变化率。在预设场景中的目标出现异动或进行某些动作时，该目标呈现在事件相机中的光强可发生一定程度的变化，事件相机可敏锐地捕捉这种变化，获得动态视觉信息。

在本发明的一些实施例中，相比于普通相机或摄像头，动态视觉感受器的帧率更高，例如，相机或传统摄像头的帧频约为100fps，而动态视觉感受器的帧频约为1,000,000fps。因此，在普通相机或摄像头拍摄到两帧图像之间的时间间隔中，可拍摄到多帧动态视觉图像。

在本发明的一些实施例中，单帧动态视觉图像中的信息量较少，像素数据稀疏，但系数的像素点的位置可为识别接触网悬挂部件的类型，即，识别是否存在牵引索提供参考，提升识别准确性。

在本发明的一些实施例中，在步骤S1中，根据设置在列车上的动态视觉感受器和相机，同时对列车上方进行预设时间段的拍摄，获得所述相机拍摄的至少两个运动图像帧，以及所述动态视觉感受器拍摄的多个动态视觉图像，其中，所述动态视觉图像的数量多于运动图像帧的数量，所述动态视觉图像和所述运动图像帧中均包括接触网悬挂部件，所述相机和所述动态视觉感受器的视野相同，且位于所述接触网悬挂部件的斜下方。

在本发明的一些实施例中，相机和动态视觉感受器设置在列车上且位于接触网悬挂部件斜下方，在这种情况下，如果存在牵引索，则牵引索不会被接触线遮挡，使得相机和动态视觉感受器能够拍摄到牵引索。相机和动态视觉感受器可拍摄预设时间段，相机可拍摄的至少两个运动图像帧，动态视觉感受器可拍摄到两个运动图像帧之间的多个动态视觉图像，多个动态视觉图像虽然像素点稀疏，但像素点出现的位置可为确定是否存在牵引索提供参考。

在本发明的一些实施例中，在步骤S2中，可在运动图像帧中，确定接触网悬挂部件第一区域。

图2A和图2B示例性地示出本发明实施例的运动图像帧的示意图，如图2A所示，在该运动图像帧中，接触网悬挂部件可包括接触线和牵引索，接触线悬挂在牵引索上。如图2B所示，在该运动图像帧中，接触网悬挂部件不包括牵引索，接触线直接悬挂在支撑柱上。

在本发明的一些实施例中，可在运动图像帧中确定接触网悬挂部件所在的第一区域。在示例中，由于相机和动态视觉感受器在列车上的位置和视角是固定的，而接触网悬挂部件与列车的相对位置是固定的，因此，接触网悬挂部件在运动图像帧中的位置是固定的，因此，可确定出接触网悬挂部件所在的第一区域。

图3A和图3B示例性地示出本发明实施例的第一区域的示意图。如图3A所示，在拍摄到含有牵引索的链形接触悬挂的运动图像帧中，第一区域可将牵引索和接触线全部包含在内，如图3A中虚线围成的区域。如图3B所示，在拍摄到不包含牵引索的简单接触悬挂的运动图像帧中，第一区域可与图3A中的面积和位置相同，将接触线包含在内。由于事先未知拍摄到的运动图像帧中的接触网悬挂部件的类型，因此，采用面积较大的第一区域，则可在无论拍摄到何种类型的接触网悬挂部件时，均可将接触网悬挂部件全部包围在第一区域内。

在本发明的一些实施例中，在步骤S3中，动态视觉图像与运动图像帧的尺寸和视野相同，因此，接触网悬挂部件在动态视觉图像中的位置也在第一区域内，且由于动态视觉图像的像素点稀疏，并非每个动态视觉图像均可提供有效信息，因此，可对动态视觉图像进行筛选，选择能够提供能有效信息的目标动态视觉图像。

在本发明的一些实施例中，可根据第一区域内的像素点来筛选目标动态视觉图像，步骤S3可包括：在所述第一区域中，确定所述接触网悬挂部件的接触线所在的第二区域；在所述多个动态视觉图像中，筛选出在所述第二区域中的像素点数量大于或等于第一预设数量的备选动态视觉图像；在所述第一区域中，确定所述接触网悬挂部件的牵引索所在的第三区域；在所述备选动态视觉图像中筛选出在所述第三区域中的像素点数量大于或等于第二预设数量，或者小于或等于第三预设阈值的所述目标动态视觉图像，所述第二预设数量大于所述第三预设数量。

在本发明的一些实施例中，接触线所在的第二区域包括在所述第一区域中，且由于接触线与相机之间的相对关系固定，因此，接触线在运动图像帧中的位置是固定的，因此，可在第一区域中确定接触线所在的第二区域，并且，可在动态视觉图像中确定位置相同的第二区域。

在本发明的一些实施例中，可确定第二区域中像素点数量大于或等于第一预设数量的备选动态视觉图像，即，选择第二区域中像素点数量较多，能够提供较多有效参考信息的备选动态视觉图像。

在本发明的一些实施例中，如上所述，无论是否存在牵引索，第一区域接触网悬挂部件全部包围在内，如果存在牵引索，则牵引索所在的区域即为第三区域，如果不存在牵引索，则可将相同的位置确定为第三区域。

在本发明的一些实施例中，可在备选动态视觉图像中，确定第三区域的像素点数量，如果第三区域中的像素点数量大于或等于第二预设数量，则预计该动态视觉图像为链形接触悬挂的图像，即，包括牵引索，则可将其确定为目标动态视觉图像。如果不包括牵引索，则可选择第三区域中像素点少于或等于第三预设数量的备选动态视觉图像，即，选择噪声干扰较少的备选动态视觉图像作为目标动态视觉图像。

在本发明的一些实施例中，在步骤S4中，可通过分类网络模型对运动图像帧和目标动态视觉图像进行处理，获得接触网悬挂部件的类型，例如，可确定是否存在牵引索。

图4示例性地示出本发明实施例的分类网络模型的示意图。步骤S4可包括：将至少两个运动图像帧输入所述分类网络模型的编码模块的输入层，获得编码模块输出的第一特征图；将所述第一特征图和所述目标动态视觉图像进行特征融合，获得第二特征图；将所述第二特征图输入所述分类网络模型的解码层，获得所述接触网悬挂部件的类型。

在本发明的一些实施例中，分类网络模型可以是深度学习网络模型，例如，卷积神经网络模型，可包括编码模块和解码模块，编码模块可对输入图像进行卷积处理，在卷积过程中，对图像进行下采样，导致图像尺寸减小，分辨率下降，但增加特征通道数，增加特征图数量，从而以不同的视野来观察特征图，增大感受野，突出图像特征。在解码模块可将特征图恢复成原尺寸，缩小感受野，降低特征通道数量，并得到结果。

在本发明的一些实施例中，可将至少两个运动图像帧输入分类网络模型的编码模块的输入层，在其输出层可得到第一特征图。

在本发明的一些实施例中，可将第一特征图和目标动态视觉图像进行特征融合，从而增加参考信息，增强第一特征图的特征。该步骤可包括：将所述目标动态视觉图像进行放缩，获得与所述第一特征图尺寸相同的放缩图像；将所述放缩图像中与所述第一区域对应的区域的像素值，以及所述第一特征图中与所述第一区域对应的区域的像素值进行求和，获得所述第二特征图。

在本发明的一些实施例中，对目标动态视觉图像进行放缩后，可获得放缩图像，放缩图像同样为像素稀疏的图像，但像素点的位置可为分类提供参考。

在本发明的一些实施例中，放缩图像在接触网悬挂部件所在位置的像素点的像素值可与第一特征图中接触网悬挂部件所在位置的像素点的像素值相加，从而增强接触网悬挂部件所在位置的特征。且使得链形接触悬挂和简单接触悬挂的区分度更高，即，在像素值叠加后，如果存在牵引索，则牵引索所在的第三区域的像素值会增大，如果不存在牵引索，则该位置处的像素值不会发生变化，或仅由噪声干扰引起较小的变化。从而使得牵引索所在的第三区域中是否存在牵引索的特征更为明显，存在牵引索的特征和不存在牵引索的特征之间的区分度更大。

在本发明的一些实施例中，可将特征融合后的第二特征图输入分类网络模型的解码层，在进行解码后，可获得接触网悬挂部件的类型，例如，判断是否存在牵引索，从而确定接触网悬挂部件的类型为含有牵引索的链形接触悬挂还是不含牵引索的简单接触悬挂。

在本发明的一些实施例中，在确定接触网悬挂部件的类型后，可在步骤S4中根据接触网悬挂部件的类型对列车进行适应性调整，从而减少故障发生的概率，步骤S4可包括：根据所述接触网悬挂部件的类型，调整列车的速度与受电弓的高度中的至少一种。例如，如果接触网悬挂部件的类型为简单接触悬挂，则可降低车速，和/或降低受电弓高度等，本公开对具体调整方式不做限制。

在本发明的一些实施例中，在步骤S5中，可在确定接触网悬挂部件的类型后，进一步确定接触网悬挂部件是否存在故障，即，确定故障检测结果。例如，如果接触线的弧度较大，则可能存在接触线下垂的情况，在这种情况下，可能存在接触线变形，支撑柱损坏，或牵引索损坏等情况。

在本发明的一些实施例中，步骤S5包括：在至少两个运动图像帧中，确定所述接触网悬挂部件的接触线的弧度；根据所述接触网悬挂部件的类型，以及所述接触线的弧度，确定所述故障检测结果。即，首先可确定运动图像帧中接触线的弧度，例如，可在运动图像帧中对接触线所在位置的像素点进行拟合等处理，获得拟合曲线，该拟合曲线的弧度可被确定为接触线的弧度。进一步地，简单接触悬挂由于不含有牵引索，其接触线的弧度较大，反之，含有牵引索的链形接触悬挂的接触线的弧度较小。如上所述，在接触线弧度过大时，可能存在接触线下垂的情况，而由于接触网悬挂部件的类型不同，确定其接触线是否下垂的标准也不同。例如，可为类型为链形接触悬挂的接触网悬挂部件的接触线设定较小的第一弧度阈值，在接触线的弧度大于该第一弧度阈值时，可认为存在接触线下垂的情况，可能存在引索损坏等故障。又例如，可为类型为简单接触悬挂的接触网悬挂部件的接触线设定较大的第二弧度阈值，在接触线的弧度大于该第二弧度阈值时，可认为存在接触线下垂的情况，可能存在接触线变形，支撑柱损坏等故障。进一步地，可记录存在上述情况的接触网悬挂部件的位置，例如，在检测到接触线下垂的状况时，即可记录列车此时的位置，从而在人工巡检时对该位置的接触网悬挂部件进行重点检修，减少接触网悬挂部件进一步损坏的概率，且减少人工巡检的工作量，提升检修工作的便利性。

在本发明的一些实施例中，在使用所述分类网络模型确定接触网悬挂部件类型之前，可对分类网络模型进行训练。所述方法还包括：将样本运动图像帧输入所述分类网络模型的编码模块的输入层，获得编码模块输出的第一样本特征图；将样本动态视觉图像与所述第一样本特征图进行特征融合，获得第二样本特征图；将所述第二样本特征图输入所述分类网络模型的解码模块，获得解码特征信息；根据所述解码特征信息，获得预测分类结果；根据所述预测分类结果、所述解码特征信息以及与所述样本运动图像帧对应的标注信息，确定所述分类网络模型的损失函数；通过所述损失函数对所述分类网络模型进行训练，获得训练后的分类网络模型。

在本发明的一些实施例中，所述样本运动图像帧和样本动态视觉图像与上述运动图像帧和动态视觉图像的获取方式相同，并且还同时获取了样本运动图像帧和样本动态视觉图像的标注信息，标注信息中可包括接触网悬挂部件的类型，例如，是否包括牵引索，所述标注信息中还可包括接触网悬挂部件所在的第一区域，接触线所在的第二区域和牵引索（如有）所在的第三区域。

在本发明的一些实施例中，与以上分类网络模型对运动图像帧和动态视觉图像的处理方式类似，可将样本运动图像帧输入分类网络模型的编码模块的输入层，获得第一样本特征图，并可对样本动态视觉图像进行筛选，将筛选出的样本动态视觉图像进行放缩后，与第一样本特征图进行相加，获得的样本特征图，随后可输入分类网络模型的解码模块，获得解码特征信息。

在本发明的一些实施例中，所述解码特征信息可以是能够识别接触网悬挂部件的类别的特征图，在该特征图中，是否存在牵引索的特征明显，可用于确认接触网悬挂部件的类别。在示例中，可对解码特征信息进一步处理，例如，通过全连接层进行处理，获得预测分类结果。

在本发明的一些实施例中，可基于预测分类结果、解码特征信息和标注信息来确定损失函数，从而根据损失函数对分类网络模型进行训练。

在本发明的一些实施例中，确定损失函数的步骤可包括：根据所述预测分类结果和所述标注信息，确定类别损失函数；根据所述解码特征信息和所述标注信息，确定位置损失函数；根据所述类别损失函数和所述位置损失函数，确定所述分类网络模型的损失函数。

在本发明的一些实施例中，类别损失函数可基于预测分类结果可标注信息中的类别信息之间的差异来确定，在示例中，可基于预测分类结果和标注信息中的类别信息确定交叉熵损失函数，作为所述类别损失函数，本公开对类别损失函数的具体类型不做限制。

在本发明的一些实施例中，位置损失函数可基于解码特征信息和标注信息中的第一区域、第二区域和第三区域之间的差异来确定。根据所述解码特征信息和所述标注信息，确定位置损失函数，包括：

根据公式（1）确定所述位置损失函数，

（1）

其中，S_P为位置损失函数，n为所述解码特征信息中接触网悬挂部件所在的第一区域中的像素值不为0的像素点数量，n₁为所述解码特征信息中接触线所在的第二区域的中像素值不为0的像素点的数量，n₂为所述解码特征信息中牵引索所在的第三区域的中像素值不为0的像素点的数量，（x_2,i，y_2,i）为所述解码特征信息中接触线所在的第二区域中的像素点，（x_3,k，y_3,k）为所述解码特征信息中牵引索所在的第三区域中的像素点，（x_c,i，y_c,i）为所述标注信息的接触线所在位置中，与（x_2,i，y_2,i）的位置最接近的像素点，（x_c,k，y_c,k）为所述标注信息的接触线所在位置中，与（x_3,k，y_3,k）的位置最接近的像素点，（x_d,k，y_d,k）为所述标注信息的牵引索所在位置中，与（x_3,k，y_3,k）的位置最接近的像素点，T=0表示标注信息标注的类型为不含牵引索的简单接触悬挂，T=1表示标注信息标注的类型为含有牵引索的链形接触悬挂。

在本发明的一些实施例中，如果标注信息标注的类型为不含牵引索的简单接触悬挂，则第三区域中不应包括像素值不为0的像素点，因此，可在损失函数中包括第三区域的中像素值不为0的像素点的数量与第一区域中的像素值不为0的像素点数量的比值，以在训练中使该比值缩小，从而减少第三区域中不为0的像素点，提高分类准确性。

在本发明的一些实施例中，如果标注信息标注的类型为不含牵引索的简单接触悬挂，则在损失函数中可包括第三区域中的n₂个像素点与标注信息的接触线所在位置中的距离最近的像素点的距离的求和项。由于第三区域中不应包括像素点，因此，可在训练过程中减小第三区域的像素点与接触线所在位置的距离，即，将第三区域中的像素点移动至接触线所在位置，不仅可减少第三区域中的像素点，还可使接触线所在位置的像素点增加，增强接触线所在位置的特征，提高分类准确性。

在本发明的一些实施例中，如果标注信息标注的类型为不含牵引索的简单接触悬挂，则在损失函数中可包括第二区域中的n₁个像素点与标注信息的接触线所在位置中的距离最近的像素点的距离的求和项。从而在训练过程中，将第二区域中零散的像素点与接触线所在位置的距离缩小，从而可将第二区域中零散的像素点集中于接触线所在位置，增强接触线所在位置的特征，提高分类准确性。

在本发明的一些实施例中，如果标注信息标注的类型为含有牵引索的链形接触悬挂，则在损失函数中可包括第三区域中的n₂个像素点与标注信息的牵引索所在位置中的距离最近的像素点的距离的求和项。从而在训练过程中，将第三区域中的零散的像素点集中于牵引索所在位置，增强牵引索所在位置的特征，提高分类准确性。

在本发明的一些实施例中，如果标注信息标注的类型为含有牵引索的链形接触悬挂，则在损失函数中可包括第二区域中的n₁个像素点与标注信息的接触线所在位置中的距离最近的像素点的距离的求和项。从而在训练过程中，将第二区域中零散的像素点与接触线所在位置的距离缩小，从而可将第二区域中零散的像素点集中于接触线所在位置，增强接触线所在位置的特征，提高分类准确性。

在本发明的一些实施例中，通过上述位置损失函数进行训练，可增强接触线所在位置的特征，并在标注信息中不存在牵引索时，减少第三区域的像素点数量，减少干扰，在标注信息中存在牵引索时，将第三区域的像素点集中于牵引索所在位置，增强牵引索的特征，进一步提升存在牵引索和不存在牵引索两种情况的对比度，有利于提升分类准确性。

在本发明的一些实施例中，可获得类别损失函数和位置损失函数后，可确定分类网络模型的损失函数。根据所述类别损失函数和所述位置损失函数，确定所述分类网络模型的损失函数，包括：将所述类别损失函数和所述位置损失函数进行加权求和，获得所述分类网络模型的损失函数。

在本发明的一些实施例中，可利用损失函数来训练分类网络模型，例如，可将损失函数进行反向传播，并通过梯度下降法来调整分类网络模型的参数。以上训练过程可迭代执行多次，直到分类网络模型的精度符合要求，获得训练后的分类网络模型，并将其用于对接触网悬挂部件的分类处理中。

根据本发明的实施例的基于深度学习的接触网悬挂部件故障检测方法，可将动态视觉感受器和相机设置在列车上，动态视觉感受器的帧率较高，适于对高速运动的物体进行拍摄，因此，可用于在高速运动中对接触网悬挂部件进行识别和分类。进一步地，还可利用目标动态视觉图像增强分类网络模型的特征，提升识别和分类的准确性，从而在高速运行的列车上识别接触网悬挂部件的类型，进而可在列车行驶到特定路段时，使列车针对接触网悬挂部件的类型自行做出调整，降低故障概率。且可在列车行驶过程中即可确定存在故障或隐患的接触网悬挂部件，提升故障检测准确性和便利性，减少人工巡检的工作量。在对增强分类网络模型的训练过程中，可增强接触线所在位置的特征，并在标注信息中不存在牵引索时，减少第三区域的像素点数量，减少干扰，在标注信息中存在牵引索时，将第三区域的像素点集中于牵引索所在位置，增强牵引索的特征，进一步提升存在牵引索和不存在牵引索两种情况的对比度，有利于提升分类准确性。

图5示例性地示出本发明实施例的基于深度学习的接触网悬挂部件故障检测装置的框图，如图5所示，所述装置包括：

拍摄模块11，用于根据设置在列车上的动态视觉感受器和相机，同时对列车上方进行预设时间段的拍摄，获得所述相机拍摄的至少两个运动图像帧，以及所述动态视觉感受器拍摄的多个动态视觉图像，其中，所述动态视觉图像的数量多于运动图像帧的数量，所述动态视觉图像和所述运动图像帧中均包括接触网悬挂部件，所述相机和所述动态视觉感受器的视野相同，且位于所述接触网悬挂部件的斜下方；

第一区域模块12，用于在至少两个运动图像帧中，确定所述接触网悬挂部件第一区域；

筛选模块13，用于根据所述第一区域，对所述多个动态视觉图像进行筛选，获得目标动态视觉图像；

分类模块14，用于将目标动态视觉图像和至少两个运动图像帧输入分类网络模型进行处理，获得所述接触网悬挂部件的类型；

故障检测模块15，用于根据所述接触网悬挂部件的类型，以及至少两个运动图像帧，确定所述接触网悬挂部件的故障检测结果；

其中，所述筛选模块进一步用于：

在所述第一区域中，确定所述接触网悬挂部件的接触线所在的第二区域；

在所述多个动态视觉图像中，筛选出在所述第二区域中的像素点数量大于或等于第一预设数量的备选动态视觉图像；

在所述第一区域中，确定所述接触网悬挂部件的牵引索所在的第三区域；

在所述备选动态视觉图像中筛选出在所述第三区域中的像素点数量大于或等于第二预设数量，或者小于或等于第三预设阈值的所述目标动态视觉图像，所述第二预设数量大于所述第三预设数量。

在本发明的一些实施例中，所述分类模块进一步用于：

将至少两个运动图像帧输入所述分类网络模型的编码模块的输入层，获得编码模块输出的第一特征图；

将所述第一特征图和所述目标动态视觉图像进行特征融合，获得第二特征图；

将所述第二特征图输入所述分类网络模型的解码层，获得所述接触网悬挂部件的类型。

在本发明的一些实施例中，所述分类模块进一步用于：

将所述目标动态视觉图像进行放缩，获得与所述第一特征图尺寸相同的放缩图像；

将所述放缩图像中与所述第一区域对应的区域的像素值，以及所述第一特征图中与所述第一区域对应的区域的像素值进行求和，获得所述第二特征图。

在本发明的一些实施例中，所述装置还包括训练模块，用于：

将样本运动图像帧输入所述分类网络模型的编码模块的输入层，获得编码模块输出的第一样本特征图；

将样本动态视觉图像与所述第一样本特征图进行特征融合，获得第二样本特征图；

将所述第二样本特征图输入所述分类网络模型的解码模块，获得解码特征信息；

根据所述解码特征信息，获得预测分类结果；

根据所述预测分类结果、所述解码特征信息以及与所述样本运动图像帧对应的标注信息，确定所述分类网络模型的损失函数；

通过所述损失函数对所述分类网络模型进行训练，获得训练后的分类网络模型。

在本发明的一些实施例中，所述训练模块进一步用于：

根据所述预测分类结果和所述标注信息，确定类别损失函数；

根据所述解码特征信息和所述标注信息，确定位置损失函数；

根据所述类别损失函数和所述位置损失函数，确定所述分类网络模型的损失函数。

在本发明的一些实施例中，所述训练模块进一步用于：

根据公式

确定所述位置损失函数，其中，S_P为位置损失函数，n为所述解码特征信息中接触网悬挂部件所在的第一区域中的像素值不为0的像素点数量，n₁为所述解码特征信息中接触线所在的第二区域的中像素值不为0的像素点的数量，n₂为所述解码特征信息中牵引索所在的第三区域的中像素值不为0的像素点的数量，（x_2,i，y_2,i）为所述解码特征信息中接触线所在的第二区域中的像素点，（x_3,k，y_3,k）为所述解码特征信息中牵引索所在的第三区域中的像素点，（x_c,i，y_c,i）为所述标注信息的接触线所在位置中，与（x_2,i，y_2,i）的位置最接近的像素点，（x_c,k，y_c,k）为所述标注信息的接触线所在位置中，与（x_3,k，y_3,k）的位置最接近的像素点，（x_d,k，y_d,k）为所述标注信息的牵引索所在位置中，与（x_3,k，y_3,k）的位置最接近的像素点，T=0表示标注信息标注的类型为不含牵引索的简单接触悬挂，T=1表示标注信息标注的类型为含有牵引索的链形接触悬挂。

在本发明的一些实施例中，所述故障检测模块进一步用于：

在至少两个运动图像帧中，确定所述接触网悬挂部件的接触线的弧度；

根据所述接触网悬挂部件的类型，以及所述接触线的弧度，确定所述故障检测结果。

本发明可以是方法、装置、设备和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本发明的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、静态随机存取存储器（SRAM）、便携式压缩盘只读存储器（CD-ROM）、数字多功能盘（DVD）、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波（例如，通过光纤电缆的光脉冲）、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构（ISA）指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列（FPGA）或可编程逻辑阵列（PLA），该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。

这里参照根据本发明实施例的方法、装置（系统）和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其他可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其他可编程数据处理装置、或其他设备上，使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其他可编程数据处理装置、或其他设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

注意，除非另有直接说明，否则本说明书(包含任何所附权利要求、摘要和附图)中所揭示的所有特征皆可由用于达到相同、等效或类似目的的可替代特征来替换。因此，除非另有明确说明，否则所公开的每一个特征仅是一组等效或类似特征的一个示例。在使用到的情况下，进一步地、较优地、更进一步地和更优地是在前述实施例基础上进行另一实施例阐述的简单起头，该进一步地、较优地、更进一步地或更优地后带的内容与前述实施例的结合作为另一实施例的完整构成。在同一实施例后带的若干个进一步地、较优地、更进一步地或更优地设置之间可任意组合的组成又一实施例。

本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (9)

1.一种基于深度学习的接触网悬挂部件故障检测方法，其特征在于，包括：

根据设置在列车上的动态视觉感受器和相机，同时对列车上方进行预设时间段的拍摄，获得所述相机拍摄的至少两个运动图像帧，以及所述动态视觉感受器拍摄的多个动态视觉图像，其中，所述动态视觉图像的数量多于运动图像帧的数量，所述动态视觉图像和所述运动图像帧中均包括接触网悬挂部件，所述相机和所述动态视觉感受器的视野相同，且位于所述接触网悬挂部件的斜下方；

在所述至少两个运动图像帧中，确定所述接触网悬挂部件所在的第一区域；

根据所述第一区域，对所述多个动态视觉图像进行筛选，获得目标动态视觉图像；

将所述目标动态视觉图像和至少两个运动图像帧输入分类网络模型进行处理，获得所述接触网悬挂部件的类型；具体包括：将至少两个运动图像帧输入所述分类网络模型的编码模块的输入层，获得编码模块输出的第一特征图；将所述第一特征图和所述目标动态视觉图像进行特征融合，获得第二特征图；将所述第二特征图输入所述分类网络模型的解码层，获得所述接触网悬挂部件的类型；

根据所述接触网悬挂部件的类型，以及至少两个运动图像帧，确定所述接触网悬挂部件的故障检测结果；

其中，根据所述第一区域，对所述多个动态视觉图像进行筛选，获得目标动态视觉图像，包括：

在所述第一区域中，确定所述接触网悬挂部件的接触线所在的第二区域；

在所述多个动态视觉图像中，筛选出在所述第二区域中的像素点数量大于或等于第一预设数量的备选动态视觉图像；

在所述第一区域中，确定所述接触网悬挂部件的牵引索所在的第三区域；

在所述备选动态视觉图像中筛选出在所述第三区域中的像素点数量大于或等于第二预设数量，或者小于或等于第三预设数量的所述目标动态视觉图像，所述第二预设数量大于所述第三预设数量。

2.根据权利要求1所述的基于深度学习的接触网悬挂部件故障检测方法，其特征在于，将所述第一特征图和所述目标动态视觉图像进行特征融合，获得第二特征图，包括：

将所述目标动态视觉图像进行放缩，获得与所述第一特征图尺寸相同的放缩图像；

将所述放缩图像中与所述第一区域对应的区域的像素值，以及所述第一特征图中与所述第一区域对应的区域的像素值进行求和，获得所述第二特征图。

3.根据权利要求1所述的基于深度学习的接触网悬挂部件故障检测方法，其特征在于，所述方法还包括：

将样本运动图像帧输入所述分类网络模型的编码模块的输入层，获得编码模块输出的第一样本特征图；

将样本动态视觉图像与所述第一样本特征图进行特征融合，获得第二样本特征图；

将所述第二样本特征图输入所述分类网络模型的解码模块，获得解码特征信息；

根据所述解码特征信息，获得预测分类结果；

根据所述预测分类结果、所述解码特征信息以及与所述样本运动图像帧对应的标注信息，确定所述分类网络模型的损失函数；

通过所述损失函数对所述分类网络模型进行训练，获得训练后的分类网络模型。

4.根据权利要求3所述的基于深度学习的接触网悬挂部件故障检测方法，其特征在于，根据所述预测分类结果、所述解码特征信息以及与所述样本运动图像帧对应的标注信息，确定所述分类网络模型的损失函数，包括：

根据所述预测分类结果和所述标注信息，确定类别损失函数；

根据所述解码特征信息和所述标注信息，确定位置损失函数；

根据所述类别损失函数和所述位置损失函数，确定所述分类网络模型的损失函数。

5.根据权利要求4所述的基于深度学习的接触网悬挂部件故障检测方法，其特征在于，根据所述解码特征信息和所述标注信息，确定位置损失函数，包括：

根据公式

；

确定所述位置损失函数，其中，S_P为位置损失函数，n为所述解码特征信息中接触网悬挂部件所在的第一区域中的像素值不为0的像素点数量，n₁为所述解码特征信息中接触线所在的第二区域的中像素值不为0的像素点的数量，n₂为所述解码特征信息中牵引索所在的第三区域的中像素值不为0的像素点的数量，（x_2,i，y_2,i）为所述解码特征信息中接触线所在的第二区域中的像素点，（x_3,k，y_3,k）为所述解码特征信息中牵引索所在的第三区域中的像素点，（x_c,i，y_c,i）为所述标注信息的接触线所在位置中，与（x_2,i，y_2,i）的位置最接近的像素点，（x_c,k，y_c,k）为所述标注信息的接触线所在位置中，与（x_3,k，y_3,k）的位置最接近的像素点，（x_d,k，y_d,k）为所述标注信息的牵引索所在位置中，与（x_3,k，y_3,k）的位置最接近的像素点，T=0表示标注信息标注的类型为不含牵引索的简单接触悬挂，T=1表示标注信息标注的类型为含有牵引索的链形接触悬挂。

6.根据权利要求1所述的基于深度学习的接触网悬挂部件故障检测方法，其特征在于，根据所述接触网悬挂部件的类型，以及至少两个运动图像帧，确定所述接触网悬挂部件的故障检测结果，包括：

在至少两个运动图像帧中，确定所述接触网悬挂部件的接触线的弧度；

根据所述接触网悬挂部件的类型，以及所述接触线的弧度，确定所述故障检测结果。

7.一种基于深度学习的接触网悬挂部件故障检测装置，其特征在于，包括：

拍摄模块，用于根据设置在列车上的动态视觉感受器和相机，同时对列车上方进行预设时间段的拍摄，获得所述相机拍摄的至少两个运动图像帧，以及所述动态视觉感受器拍摄的多个动态视觉图像，其中，所述动态视觉图像的数量多于运动图像帧的数量，所述动态视觉图像和所述运动图像帧中均包括接触网悬挂部件，所述相机和所述动态视觉感受器的视野相同，且位于所述接触网悬挂部件的斜下方；

第一区域模块，用于在至少两个运动图像帧中，确定所述接触网悬挂部件第一区域；

筛选模块，用于根据所述第一区域，对所述多个动态视觉图像进行筛选，获得目标动态视觉图像；

分类模块，用于将目标动态视觉图像和至少两个运动图像帧输入分类网络模型进行处理，获得所述接触网悬挂部件的类型；具体包括：将至少两个运动图像帧输入所述分类网络模型的编码模块的输入层，获得编码模块输出的第一特征图；将所述第一特征图和所述目标动态视觉图像进行特征融合，获得第二特征图；将所述第二特征图输入所述分类网络模型的解码层，获得所述接触网悬挂部件的类型；

故障检测模块，用于根据所述接触网悬挂部件的类型，以及至少两个运动图像帧，确定所述接触网悬挂部件的故障检测结果；

其中，所述筛选模块用于：

在所述第一区域中，确定所述接触网悬挂部件的接触线所在的第二区域；

在所述多个动态视觉图像中，筛选出在所述第二区域中的像素点数量大于或等于第一预设数量的备选动态视觉图像；

在所述第一区域中，确定所述接触网悬挂部件的牵引索所在的第三区域；

在所述备选动态视觉图像中筛选出在所述第三区域中的像素点数量大于或等于第二预设数量，或者小于或等于第三预设阈值的所述目标动态视觉图像，所述第二预设数量大于所述第三预设数量。

8.一种基于深度学习的接触网悬挂部件故障检测设备，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为调用所述存储器存储的指令，以执行权利要求1至6中任意一项所述的方法。

9.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至6中任意一项所述的方法。

Images