CN110135273A - 接触网视频图像云端智能监测与故障识别方法 - Google Patents

Abstract

本发明涉及接触网视频图像云端智能监测与故障识别方法，通过（1）模型训练、（2）视频图像采集与传输、（3）视频图像数据分布式存储、（4）智能监测与故障识别任务调度、（5）接触网状态检修流程化操作五个步骤实现。本发明通过采集高铁线路接触网正常状态图像和部件异常图像，建立正常状态标准图像库和部件异常图像库，然后基于深度学习技术构造基于正常状态标准图像库构建接触网状态比对算法和接触网部件故障识别算法，为接触网非接触网式监测提供了可行方法。

Description

接触网视频图像云端智能监测与故障识别方法

技术领域

本发明涉及电气化铁路接触网故障智能分析领域，具体涉及一种接触网视频图像云端智能监测与故障识别方法。

背景技术

接触网系统是电气化铁路系统重要的组成部分，承担将牵引网中的电能输送给电力机车的关键工作。受电弓和接触网装置之间存在复杂的力学、电气交互影响，列车长期运行产生的振动和冲击不可避免地使接触网支持装置出现故障，例如腕臂连接件的紧固件出现松脱甚至脱落，严重影响列车的安全运行。接触网在户外环境中风吹日晒，易于破损（接触线磨耗、绝缘子破裂等），异物悬挂现象（如树枝和塑料袋悬挂、鸟窝等）时有发生。这些问题可能形成列车运行安全隐患，为保障高速铁路的行车安全，国内外均对铁路接触网巡检工作和技术进步非常重视。

目前铁路接触网系统的巡检工作主要依靠接触式检测和非接触式检测两种方式。接触式检测主要是利用传感器采集弓网系统装置上不同类型的参数，继而分析接触网系统结构或零部件装置是否存在问题。但对接触网部件表面破损、异常和异物入侵等，这些安全隐患无法使用接触式手段进行检测，需要利用安装在列车或铁路上的拍摄装置对接触网系统进行视频和图像采集，通过人工查看视频或图像发现异常或故障。人工查找会由于受视觉疲劳、个人情绪、责任心等因素的影响，难免出现漏判或误判，而且效率较低下，人员成本高。

国内外铁路部门非常重视基于视频图像的接触网非接触式检测技术的研究。早在2007 年，日本就开发了通过安装在普通运营列车车顶的摄像机获取受电弓周边连续图像，检测弓网接触点状况。近年来，我国一些高校和科研机构也开始尝试接触网视频检测技术研究，但只是对接触网个别部件的异常识别，还没有形成完整的接触网运行状态检测与故障识别系统。

我国制定了高铁供电6C检测系统，实现对铁路接触网系统全方位监测检测，其中：接触网安全巡检装置（2C）搭载于运营动车组，对接触网的状态进行视频采集；接触网悬挂状态检测监测装置（4C）搭载在接触网作业车或专用车辆上，对接触网悬挂系统的零部件实施高精度成像记录；受电弓滑板监测装置（5C） 搭载在车站和动车库出入线，采集受电弓碳滑板状态的视频图像。但对所获取的视频图像分析主要是通过工作人员观察确定故障或异常状态，实时性差、费时费力、准确度有限。我国高铁供电6C检测系统运行积累的视频图像为接触网智能状态检测与故障识别提供了数据支撑。发展基于视频或图像的非接触式智能监测检测技术，已成为接触网监测检测技术的重点发展方向。

随着高清摄像设备的普及、高铁成像检测车及相关成像技术批量化生产，以及图像处理与视频分析、大数据存储、大数据处理与分析技术的发展，研发接触网视频图像智能监测系统具备了可行性。许多学者提出了多种接触网部件故障识别算法，但没有形成完整的应用解决方案。

发明内容

本发明的目的是提供一种接触网视频图像云端智能监测与故障识别方法，形成接触网视频图像智能监测与故障识别的云架构解决方案，并应用与高铁运营和专业检测实际工作中，克服人工浏览视频劳动强度大、难免漏判和误判等困难，为接触网检修提供可靠依据，提高接触网维护、维修工作效率。

本发明所采用的技术方案为：

接触网视频图像云端智能监测与故障识别方法，其特征在于：

所述方法包括以下步骤：

（1）模型训练：

采集高铁线路接触网正常状态图像和部件异常图像，建立正常状态标准图像库和部件异常图像库；然后构造两种类型算法，一种是基于正常状态标准图像库构建接触网状态比对算法，用于发现接触网整体异常情况；另一种是接触网部件故障识别算法，该算法是基于深度学习方法通过部件异常图像库训练的故障识别模型所形成的算法；

（2）视频图像采集与传输；

运营列车或接触网作业车上的摄像机拍摄接触网全景和部件局部图像，将本地缓存的图像数据上传到云中心；

（3）视频图像数据分布式存储：

系统接收步骤（2）上传的图像数据，并将其存储于HBase数据库中；

（4）智能监测与故障识别任务调度：

系统监测接收到待识别的图像，调度系统分配计算资源，以Docker容器运行智能监测与故障识别算法，并将监测与故障识别结果保存数据库中；

（5）接触网状态检修流程化操作。

2、根据权利要求1所述的接触网视频图像云端智能监测与故障识别方法，其特征在于：

步骤（1）具体为：

(1.1)建立接触网正常状态标准数据集：具体地，在运营列车驾驶室安装摄像头，摄取线路全部视频图像，每一跨段抽取三帧图片：按里程抽取存储支柱近处拍摄的接触网全貌图片，以接触网支柱编号为文件名存储；每跨段支柱近处拍摄的接触网全貌图像，每一跨段内提取两帧图片，反映本跨段内承力索、接触线和吊弦的部件状态；

(1.2)训练基于正常接触网状态图像的监测模型，利用高铁2C系统采集接触网吊弦、定位器、绝缘子的部位图像，与其历史正常图像进行比对，监测当前结构件是否变化、变化的趋势和变化的类型，实现异常检测，具体流程如下：

(1.2a)以支柱为基准对不同时间采集的图像进行对齐配准，最大程度消除由于车速、光线的外部因素造成的图像错位问题；

(1.2b)进行图像预处理，以消除噪声对图像特征信息的混淆；

(1.2c)采用深度网络自编码器提取特征，并进行特征匹配，通过粗略局部比对找寻与接触网历史正常图像无法匹配的特征区域，将其作为待识别故障区域；

(1.2d)将待识别故障区域作为模板，搜寻整幅接触网历史正常图像，精准定位故障位置；

(1.2e)若匹配成功，表明该部位无异常，否则该部位发生异常；

(1.3)建立接触网部件故障识别数据集，具体地，从4C获取的接触网图片中，按部件选取正常图片和异常图片，再通过GAN对抗网络技术生成异常样本，使得其总数基本与正常图片个数相同；

(1.4) 训练接触网部件故障识别模型，具体地，以I-RFCN深度网络训练接触网关键部件故障识别模型，具体步骤如下：

(1.4a)接触网图像预处理模块输出的图片随机划分为三组数据集，分别作为训练集、验证集和测试集；

(1.4b)利用训练集及其标注信息，对接触网I-RFCN网络模型进行训练，并基于贝叶斯优化的思想，根据训练集、验证集识别率关系对模型的参数进行调整，初步得到接触网关键部件识别的网络模型；

(1.4c)利用得到的模型对验证集测试集进行测试，设定阈值，统计接触网部件识别准确率是否达到阈值，若达到则保存接触网I-RFCN网络模型，否则，根据测试集、训练集、验证集准确率及通过扩充接触网关键部件图像样本对模型参数进行调整。

3、根据权利要求2所述的接触网视频图像云端智能监测与故障识别方法，其特征在于：

步骤（2）中，接触网图像数据传输模块基于4G/5G高速传输接触网视频图像数据到分布式存储系统，2C和 4C系统在机车上安装本地高速SSD缓存，将拍摄的视频和图像暂存于本地；2C系统增加边缘计算，将需要识别的图片从视频中遴选出来缓存于本地存储中，边缘服务器通过高速网络定时将缓存中的2C和4C图片通过Aspera FASP™高效协议传输到云平台服务器的分布式存储中。

4、根据权利要求3所述的接触网视频图像云端智能监测与故障识别方法，其特征在于：

步骤（3）中，图像分布式存储模块接收大量运营列车和检测列车采集的接触网图像文件，并存储与分布式文件系统中；具体地，采用基于HDFS文件系统和HBase列式数据库，并对其改进使其适用于超过1MB的图像文件的分布式存储；解决具体做法是将超过1MB的文件进行切片，使每片数据小于1MB，然后将所有切片保存到同样的RowKey、Family，并按照切片顺序逐一保存，HBase会自动打上TimeStamp；读取图片时可根据RowKey+Family找到同一图片的所有切片，然后按照每个切片TimeStamp的时间顺序合并切片，即可恢复出原始图片。

5、根据权利要求4所述的接触网视频图像云端智能监测与故障识别方法，其特征在于：

步骤（4）中，智能监测与故障辨识模块从对分布式存储子系统中自动获取接触网视频图像自动进行识别，并将识别结果写入数据库，具体实现步骤如下：

（4.1）任务触发：监测HBase，发现有新的图像文件写入，进行步骤（4.2）；

（4.2）任务类型判定：Kubernetes根据计算节点的负载，通过智能监测与故障辨识程序镜像启动Cantiner，读取图像文件，以文件名判断是2C图像的检测任务还是4C图像的故障识别任务；

（4.3）根据（4.2）的判断，调用2C图像检测算法或4C图像故障识别算法，并将其结果写入故障数据库中。

6、根据权利要求5所述的接触网视频图像云端智能监测与故障识别方法，其特征在于：

步骤（5）中，接触网状态检修流程化模块对步骤（4）所检测出的异常和故障进行人工查询、确认、统计、展示、维修审批和反馈。

本发明具有以下优点：

本发明通过采集高铁线路接触网正常状态图像和部件异常图像，建立正常状态标准图像库和部件异常图像库，然后基于深度学习技术构造基于正常状态标准图像库构建接触网状态比对算法和接触网部件故障识别算法。所提出的算法比对和故障识别精度高，达到了工程应用要求。特别是，基于这些算法建立了包括接触网图像获取、边缘计算、本地缓存、图像数据传输、分布式存储、比对与识别算法云平台调度和接触网异常信息发布与维护等全流程接触网云智能监测与故障识别系统方案，为接触网非接触网式监测提供了可行方法。

附图说明

图1是本发明总体架构；

图2是图像数据传输模块；

图3是接触网智能监测与故障识别算法调度；

图4是训练基于正常接触网状态图像的监测模型；

图5 是接触网部件故障识别模型训练流程；

图6 是接触网I-RFCN网络结构。

具体实施方式

下面结合具体实施方式对本发明进行详细的说明。

本发明基于深度学习技术，训练接触网视频图像智能监测与故障识别的多种深度网络模型，并将这模型应用于基于Docker和Kubernets技术的GPU计算云平台，通过对智能监测与故障识别模型的分布式调用，实现对运营列车和检测列车获取的接触网视频和图像的实时监测与故障分析。

本发明涉及的接触网视频图像云端智能监测与故障识别方法，采用的技术方案如下：

一种接触网云视频图像智能监测与故障识别系统及方法，包括以下几个步骤：

（1）模型训练。采集高铁线路接触网正常状态图像和部件异常图像，建立正常状态标准图像库和部件异常图像库。然后构造两种类型算法，一种是基于正常状态标准图像库构建接触网状态比对算法，用于发现接触网整体异常情况；另一种是接触网部件故障识别算法，该算法是基于深度学习方法通过部件异常图像库训练的故障识别模型所形成的算法。

（2）视频图像采集与传输。运营列车或接触网作业车上的摄像机拍摄接触网全景和部件局部图像，将本地缓存的图像数据上传到云中心。

（4）视频图像数据分布式存储。系统接收步骤（2）上传的图像数据，并将其存储于HBase数据库中。

（5）智能监测与故障识别任务调度。系统监测接收到待识别的图像，调度系统分配计算资源，以Docker容器运行智能监测与故障识别算法，并将监测与故障识别结果保存数据库中。

（6）接触网状态检修流程化操作。

实施例：

(1)训练智能监测与故障识别深度网络模型，包括接触网正常状态监测模型和接触网部件故障识别模型。其具体步骤如下：

(1.1)建立接触网正常状态标准数据集。具体地，在运营列车驾驶室安装摄像头，摄取线路全部视频图像，每一跨段抽取三帧图片：按里程抽取存储支柱近处拍摄的接触网全貌图片，以接触网支柱编号为文件名存储；每跨段支柱近处拍摄的接触网全貌图像，每一跨段内提取两帧图片，反映本跨段内承力索、接触线和吊弦等部件状态。以郑西线第3689支柱为例，所抽取的三张图片文件名命名为ZX3689、ZX368901和ZX36890。

(1.2)训练基于正常接触网状态图像的监测模型。利用高铁2C系统采集接触网吊弦、定位器、绝缘子等部位图像，与其历史正常图像进行比对，监测当前结构件是否变化、变化的趋势和变化的类型，实现异常检测。具体地，如图4所示，算法具体流程如下：

(1.2a)以支柱为基准对不同时间采集的图像进行对齐配准，最大程度消除由于车速、光线等外部因素造成的图像错位问题；

(1.2b)进行图像预处理，以消除噪声对图像特征信息的混淆；

(1.2c)采用深度网络自编码器提取特征，并进行特征匹配，通过粗略局部比对找寻与接触网历史正常图像无法匹配的特征区域，将其作为待识别故障区域；

(1.2d)将待识别故障区域作为模板，搜寻整幅接触网历史正常图像，精准定位故障位置；

(1.2e)若匹配成功，表明该部位无异常，否则该部位发生异常。

(1.3)建立接触网部件故障识别数据集。具体地，如图5所示，从4C获取的接触网图片中，按部件选取正常图片不低于2000张，部件异常图不低于120张，再通过GAN对抗网络技术生成异常样本，使得其总数基本与正常图片个数相同。

(1.4) 训练接触网部件故障识别模型。具体地，以I-RFCN深度网络训练接触网关键部件故障识别模型，如图5所示，具体步骤如下：

(1.4a)接触网图像预处理模块输出的图片按一定比例随机划分为三组数据集，分别作为训练集、验证集和测试集；

(1.4b)利用训练集及其标注信息，对接触网I-RFCN网络模型进行训练，并基于贝叶斯优化的思想，根据训练集、验证集识别率关系对模型的参数进行调整，初步得到接触网关键部件识别的网络模型；

(1.4c)利用步骤2)中得到的模型对验证集测试集进行测试，设定阈值，统计接触网部件识别准确率是否达到阈值，若达到则保存接触网I-RFCN网络模型，否则，根据测试集、训练集、验证集准确率及通过扩充接触网关键部件图像样本对模型参数进行调整。接触网I-RFCN网络结构如图6所示。

（2）接触网图像数据传输模块。该模块主要通过4G/5G等高速传输接触网视频图像数据到分布式存储系统。为了增强数据的可靠性，2C和 4C系统均会在机车上安装本地高速SSD缓存，将拍摄的视频和图像暂存于本地。两者不同的是，2C系统会增加边缘计算，采用(1.1)所述的方法，将需要识别的图片从视频中遴选出来缓存于本地存储中。边缘服务器通过高速网络（如5G、铁路专网）定时将缓存中的2C和4C图片通过Aspera FASP™高效协议传输到云平台服务器的分布式存储中。

（3）图像分布式存储。该模块接收大量运营列车（2C系统）和检测列车（4C系统）采集的接触网图像文件，并存储与分布式文件系统中。具体地，采用基于HDFS文件系统和HBase列式数据库，并对其改进使其适用于超过1MB的图像文件的分布式存储。解决具体做法是将超过1MB的文件进行切片，使每片数据小于1MB，然后将所有切片保存到同样的RowKey、Family，并按照切片顺序逐一保存，HBase会自动打上TimeStamp。读取图片时可根据RowKey+Family找到同一图片的所有切片，然后按照每个切片TimeStamp的时间顺序合并切片，即可恢复出原始图片。

特别地，对于运营和检测列车不超过50列的情况，系统具体配置如下：HBaseMaster服务器2台，配置16核CPU、256G内存、1TB SSD硬盘。HBase HRegion服务器10台，配置16核CPU、256G内存、1TB SSD硬盘。HDFS NameNode服务器2台，配置16核CPU、256GBG内存、1TB SSD硬盘。其中一台作为HDFS DataNode服务器，另一台作为Secondary NameNode服务器；。Data Node服务其55台，配置4核CPU、128GB内存、2TB*18 SAS硬盘。ZooKeeper服务器4台，可与2台HBase Master服务器和2台HDFS NameNode服务器复用。采用Paxos算法从4台中推选一台作为主服务器，其余3台作为备用服务器。系统存储容量、并行处理能力可按需扩展。

（4）基于Kubernetes的任务调度的智能监测与故障识别

智能监测与故障辨识模块从对分布式存储子系统中自动获取接触网视频图像自动进行识别，并将识别结果写入数据库。具体实现步骤如下：

（4.1）任务触发。监测HBase，发现有新的图像文件写入，进行步骤（4.2）；

（4.2）任务类型判定。Kubernetes根据计算节点的负载，通过智能监测与故障辨识程序镜像启动Cantiner，读取图像文件，以文件名判断是2C图像的检测任务还是4C图像的故障识别任务。

（4.3）根据（4.2）的判断，调用2C图像检测算法或4C图像故障识别算法，并将其结果写入故障数据库中。

（5）接触网状态检修流程化模块主要实现对步骤（4）所检测出的异常和故障的人工查询、确认、统计、展示、维修审批和反馈等功能。

本发明的内容不限于实施例所列举，本领域普通技术人员通过阅读本发明说明书而对本发明技术方案采取的任何等效的变换，均为本发明的权利要求所涵盖。

Claims (6)

1.接触网视频图像云端智能监测与故障识别方法，其特征在于：

所述方法包括以下步骤：

（1）模型训练：

采集高铁线路接触网正常状态图像和部件异常图像，建立正常状态标准图像库和部件异常图像库；然后构造两种类型算法，一种是基于正常状态标准图像库构建接触网状态比对算法，用于发现接触网整体异常情况；另一种是接触网部件故障识别算法，该算法是基于深度学习方法通过部件异常图像库训练的故障识别模型所形成的算法；

（2）视频图像采集与传输；

运营列车或接触网作业车上的摄像机拍摄接触网全景和部件局部图像，将本地缓存的图像数据上传到云中心；

（3）视频图像数据分布式存储：

系统接收步骤（2）上传的图像数据，并将其存储于HBase数据库中；

（4）智能监测与故障识别任务调度：

系统监测接收到待识别的图像，调度系统分配计算资源，以Docker容器运行智能监测与故障识别算法，并将监测与故障识别结果保存数据库中；

（5）接触网状态检修流程化操作。

2.根据权利要求1所述的接触网视频图像云端智能监测与故障识别方法，其特征在于：

步骤（1）具体为：

(1.1)建立接触网正常状态标准数据集：具体地，在运营列车驾驶室安装摄像头，摄取线路全部视频图像，每一跨段抽取三帧图片：按里程抽取存储支柱近处拍摄的接触网全貌图片，以接触网支柱编号为文件名存储；每跨段支柱近处拍摄的接触网全貌图像，每一跨段内提取两帧图片，反映本跨段内承力索、接触线和吊弦的部件状态；

(1.2)训练基于正常接触网状态图像的监测模型，利用高铁2C系统采集接触网吊弦、定位器、绝缘子的部位图像，与其历史正常图像进行比对，监测当前结构件是否变化、变化的趋势和变化的类型，实现异常检测，具体流程如下：

(1.2a)以支柱为基准对不同时间采集的图像进行对齐配准，最大程度消除由于车速、光线的外部因素造成的图像错位问题；

(1.2b)进行图像预处理，以消除噪声对图像特征信息的混淆；

(1.2c)采用深度网络自编码器提取特征，并进行特征匹配，通过粗略局部比对找寻与接触网历史正常图像无法匹配的特征区域，将其作为待识别故障区域；

(1.2d)将待识别故障区域作为模板，搜寻整幅接触网历史正常图像，精准定位故障位置；

(1.2e)若匹配成功，表明该部位无异常，否则该部位发生异常；

(1.3)建立接触网部件故障识别数据集，具体地，从4C获取的接触网图片中，按部件选取正常图片和异常图片，再通过GAN对抗网络技术生成异常样本，使得其总数基本与正常图片个数相同；

(1.4) 训练接触网部件故障识别模型，具体地，以I-RFCN深度网络训练接触网关键部件故障识别模型，具体步骤如下：

(1.4a)接触网图像预处理模块输出的图片随机划分为三组数据集，分别作为训练集、验证集和测试集；

(1.4b)利用训练集及其标注信息，对接触网I-RFCN网络模型进行训练，并基于贝叶斯优化的思想，根据训练集、验证集识别率关系对模型的参数进行调整，初步得到接触网关键部件识别的网络模型；

(1.4c)利用得到的模型对验证集测试集进行测试，设定阈值，统计接触网部件识别准确率是否达到阈值，若达到则保存接触网I-RFCN网络模型，否则，根据测试集、训练集、验证集准确率及通过扩充接触网关键部件图像样本对模型参数进行调整。

3.根据权利要求2所述的接触网视频图像云端智能监测与故障识别方法，其特征在于：

步骤（2）中，接触网图像数据传输模块基于4G/5G高速传输接触网视频图像数据到分布式存储系统，2C和 4C系统在机车上安装本地高速SSD缓存，将拍摄的视频和图像暂存于本地；2C系统增加边缘计算，将需要识别的图片从视频中遴选出来缓存于本地存储中，边缘服务器通过高速网络定时将缓存中的2C和4C图片通过Aspera FASP™高效协议传输到云平台服务器的分布式存储中。

4.根据权利要求3所述的接触网视频图像云端智能监测与故障识别方法，其特征在于：

步骤（3）中，图像分布式存储模块接收大量运营列车和检测列车采集的接触网图像文件，并存储与分布式文件系统中；具体地，采用基于HDFS文件系统和HBase列式数据库，并对其改进使其适用于超过1MB的图像文件的分布式存储；解决具体做法是将超过1MB的文件进行切片，使每片数据小于1MB，然后将所有切片保存到同样的RowKey、Family，并按照切片顺序逐一保存，HBase会自动打上TimeStamp；读取图片时可根据RowKey+Family找到同一图片的所有切片，然后按照每个切片TimeStamp的时间顺序合并切片，即可恢复出原始图片。

5.根据权利要求4所述的接触网视频图像云端智能监测与故障识别方法，其特征在于：

步骤（4）中，智能监测与故障辨识模块从对分布式存储子系统中自动获取接触网视频图像自动进行识别，并将识别结果写入数据库，具体实现步骤如下：

（4.1）任务触发：监测HBase，发现有新的图像文件写入，进行步骤（4.2）；

（4.2）任务类型判定：Kubernetes根据计算节点的负载，通过智能监测与故障辨识程序镜像启动Cantiner，读取图像文件，以文件名判断是2C图像的检测任务还是4C图像的故障识别任务；

（4.3）根据（4.2）的判断，调用2C图像检测算法或4C图像故障识别算法，并将其结果写入故障数据库中。

6.根据权利要求5所述的接触网视频图像云端智能监测与故障识别方法，其特征在于：

步骤（5）中，接触网状态检修流程化模块对步骤（4）所检测出的异常和故障进行人工查询、确认、统计、展示、维修审批和反馈。