CN109598054A - 可在开发板实现的电力机车受电弓及电弧快速检测方法 - Google Patents
可在开发板实现的电力机车受电弓及电弧快速检测方法 Download PDFInfo
- Publication number
- CN109598054A CN109598054A CN201811446073.8A CN201811446073A CN109598054A CN 109598054 A CN109598054 A CN 109598054A CN 201811446073 A CN201811446073 A CN 201811446073A CN 109598054 A CN109598054 A CN 109598054A
- Authority
- CN
- China
- Prior art keywords
- pantograph
- electric arc
- detection
- picture
- arc
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010891 electric arc Methods 0.000 title claims abstract description 142
- 238000001514 detection method Methods 0.000 title claims abstract description 139
- 238000011161 development Methods 0.000 title claims abstract description 37
- 230000003137 locomotive effect Effects 0.000 title claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 41
- 238000012360 testing method Methods 0.000 claims abstract description 35
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 33
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 20
- 238000011897 real-time detection Methods 0.000 claims abstract description 15
- 230000002159 abnormal effect Effects 0.000 claims abstract description 10
- 238000000034 method Methods 0.000 claims description 46
- 230000006870 function Effects 0.000 claims description 17
- 230000005611 electricity Effects 0.000 claims description 15
- 238000013480 data collection Methods 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 230000008901 benefit Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000002790 cross-validation Methods 0.000 claims description 2
- 238000003475 lamination Methods 0.000 claims 1
- 230000006872 improvement Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 8
- 238000012544 monitoring process Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 6
- 238000007689 inspection Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 3
- 229910052799 carbon Inorganic materials 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 238000005299 abrasion Methods 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000012152 algorithmic method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000008846 dynamic interplay Effects 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000009413 insulation Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000009527 percussion Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Current-Collector Devices For Electrically Propelled Vehicles (AREA)
Abstract
本发明公开了一种可在开发板实现的电力机车受电弓及电弧快速检测方法，包括：采集视频，并提取受电弓图片及其电弧和疑似电弧图片，分类作为神经网络训练样本集；分别建立能够在开发板上实现实时检测受电弓和检测电弧的卷积神经网络；对卷积神经网络用训练样本进行训练分别得到受电弓检测模型和电弧检测模型；利用改进型YOLO算法在图片内检测或预测受电弓位置作为第一级检测，截取受电弓所在区域的局部图片；并在局部图片内利用改进型YOLO算法检测电弧作为第二级检测，保存异常图片获得检测结果。本发明的改进后的算法速度相比于以前提升3倍左右，能够在开发板上运行程序实现实时检测。
Description
技术领域
本发明属于计算机数字图像处理与模式识别技术领域，特别涉及一种可在开发板实现的电力机车受电弓及电弧快速检测方法。
背景技术
随着我国以高铁为代表的电气化铁路的快速发展，对牵引供电系统的安全性提出了更高的要求。作为牵引供电系统重要组成部分的受电弓—接触网关系，是电气化铁路的主要供电设备，对电气化铁路运营起着极其重要的作用。在正常状态下，空气是良好的绝缘体，但如果在气体两端施加足够大的电压，空气间隙将被击穿，导致气体两端的电流导通，这种现象称为气体放电。当受电弓在接触导线上滑动受电时，由于接触导线的不平顺、接触网悬挂设备的硬点、受电弓运行时弓头的振动和接触网波动、轨道平顺度等多种因素的影响，导致弓网分离而产生的气体放电现象称为弓网电弧。列车速度越高，越容易产生弓网电弧。EN 50137:2002《轨道交通受流系统受电弓与接触网动态相互作用的测试要求和测量确认》将弓网电弧定义为：“击穿滑板(接触板)和接触线之间空气间隙的电流，通常表现为强烈放光现象”。
受电弓滑行过程中出现电弧：容易产生如下不良影响：
(1)电弧熄灭瞬间产生幅值很高的过电压，影响电力机车安全运行；
(2)烧蚀受电弓碳滑板和接触导线，缩短其使用寿命。严重时将导致接触线断线，造成行车事故；
(3)产生电磁辐射和干扰。
现有的接触网检测主要是采用人工巡检的方式，在接触网沿线布设红外测温仪，由工作人员定时检测接触网的温度，取得了一定的效果，但是这种方法不具有实时性，而且人力损耗较大，属于单点式静态检测，存在很多盲点，无法有效及时发现铁路动态运行中的隐患。
另外，对于接触网系统中的受电弓状态检测方法主要包括入库静态检测和机载检测系统。入库静态检测要求接触网必须在受电弓检测前断电，且通常只能在机车入库停车后才能检测，不能实现受电弓的在线自动检测。在实际运作中取药投入大规模的人力、成本较高。
机载受电弓检测方法属于一种在线自动检测方法。主要包括两种方式，一种是通过在机车上安装光、电、力学等多种传感器采集受电弓位置、碳滑板损耗，以及受电弓弓头左右偏移量状态等信息对受电弓进行检测，但传感器获取的受电弓运行状态信息容易受机车运行过程中产生的振动干扰；另一种是将光纤内埋式磨损传感器嵌入受电弓滑板中，当受电弓滑板受到接触网的冲击作用而产生磨损或缺失时，传感器给出相应的磨损信号。该方法的主要缺点是对材料的要求比较高，要在受电弓滑板中内嵌传感器，材料工艺要求高，受电弓滑板材料结构的改变可能会降低受电弓的使用寿命，提高了成本。
随着监控设备成像技术的提高，近年来国内外出现了许多基于在线获取图像的接触网和受电弓检测方法。首先通过监控摄像头进行接触网和受电弓的图像采集，然后进行识别分析。
2013年10月10日公布的申请号为201310217622.5的中国发明专利申请，公布了一种“基于主动形状模型的受电弓自动检测方法”；该发明基于主动形状模型来完成对受电弓碳滑板厚度的线上自动定量检测，具有一定的检测分析效果，但缺陷在于，检测方法基于单幅图像分析，未充分利用受电弓系统内安装的监控摄像头所采集视频的帧间关联性，对动态运行过程中接触网和受电弓产生的电弧没有进行分析识别。
2013年1月30日公布的申请号为201210359596.5的中国发明专利申请，公布了一种“一种电气化铁路接触网电弧捕捉及定位方法”，该发明集成高精度GPS/IMU定位定向装置和高速数码成像设备对电气化铁路接触网电弧捕捉及定位。该发明方法包括：基于高精度GPS/IMU定位定向技术和高速数码成像技术的电气化铁路接触网电弧捕捉及定位方法。该方法采用高速数码成像设备，聚焦与电力机车受电弓与接触网触电位置，连续记录拍摄运动中的影像，但是缺少关键的电弧分析方法，并且高速数码成像设备尤其是热红外高速数码成像设备价格昂贵，不属于电力机车的受电弓监控系统配套设备，实际应用具有很大局限性。
深度学习近年来快速发展，其概念由Hinton等人于2006年提出，起源于对人工神经网络的研究，旨在模拟人脑来获取和辨别、学习外部事物、知识等。其特点是通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示，在视觉、语音等多个领域深度学习相比于传统方法都表现出了极大的优势。
YOLO算法是一种基于深度学习的目标检测算法，由Joseph Redmon，SantoshDivvala，Ross Girshick,Ali Farhadi在2015年提出，详见文献Redmon J,Divvala S,Girshick R,et al.You only look once:Unified,real-time object detection[J].arXiv preprint arXiv:1506.02640,2015.作为基于深度学习的经典目标检测算法之一，相比于其他算法其主要特点是使用深度学习中的卷积神经网络技术的同时在GPU下保持了很快的检测速度，使其精度上远高于传统算法而速度上又快于其他深度学习算法。
卷积神经网络是近几年发展起来的一种高效识别方法，20世纪60年代，Hubel和Wiesel在研究猫脑皮层中用于局部敏感和方向选择的神经元时发现其独特的网络结构可以有效地降低反馈神经网络的复杂性，继而提出了卷积神经网络。卷积神经网络(Convolutional Neural Network,CNN)是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。
中国专利公开号第CN108288055A号，公开了一种我们提出的基于深度网络与分级测试的电力机车受电弓及电弧检测方法，其算法速度较慢不能在开发板上实现。
发明内容
本发明的目的在于提供一种可在开发板实现的电力机车受电弓及电弧快速检测方法，以解决上述存在的技术问题。本发明在算法中必要的图片格式转化的优化以及网络模型上作出改进，改进后算法速度相比于以前提升3倍左右，能够在开发板上运行程序实现实时检测。
为达到上述目的，本发明采用以下技术方案：
一种可在开发板实现的电力机车受电弓及电弧快速检测方法，包括以下步骤：
步骤1：通过安装在火车受电弓前方的在线拍照系统采集视频，并在视频中提取受电弓图片及其电弧和疑似电弧图片，并分类作为神经网络训练样本集；
步骤2：分别建立能够在开发板上实现实时检测受电弓和检测电弧的卷积神经网络；两种卷积神经网络结构相同，但网络输入图片分辨率和输出层数量不同；电弧检测网络输入图片分辨率小于受电弓检测网络输入图片分辨率；
步骤3：对卷积神经网络用训练样本进行训练分别得到受电弓检测模型和电弧检测模型；
步骤4：实时采集视频中的帧并利用改进型YOLO算法在图片内直接检测受电弓或者利用相邻帧预测受电弓位置作为第一级检测，截取受电弓所在区域的局部图片；
步骤5：在步骤4截取的局部图片内进一步利用改进型YOLO算法检测电弧作为第二级检测，保存异常图片获得检测结果。
进一步的，步骤1在视频中提取受电弓图片及电弧和疑似电弧图片作为训练样本，其中受电弓样本不含负样本；电弧样本按照电弧和疑似电弧图片分为正样本和负样本，正样本为真实的电弧图片，负样本为疑似电弧图片，分为太阳、横梁、顶灯、房顶四类。
进一步的，步骤2建立的神经网络包括检测受电弓所对应的网络结构和检测电弧所对应的网络结构；检测受电弓所对应的网络结构仅检测受电弓一类物体，检测电弧所对应的网络结构检测电弧、太阳、横梁、顶灯和房顶共五类物体；
具体建立方法为：在darknet框架下创建后缀为.cfg的文件开始对网络进行定义；受电弓检测网络输入图片分辨率为112×112，电弧检测网络输入图片分辨率为48×48；采用的网络包括7个卷积层和5个最大池化层以及全连接层；分布顺序为前十层为卷积层和最大池化层交替，接着是两个卷积层，最后是全连接层；即整体结构为第1、3、5、7、9、11、12层为卷积层，每个卷积层对应的卷积核数量分别为8、16、32、64、128、512、128个，卷积核大小均为3×3，步长均为1，激活函数为Leaky ReLU函数；第2、4、6、8、10层为最大池化层，卷积核大小均为2×2，步长均为2，第13层为全连接层，检测受电弓的网络输出为539，检测电弧的网络输出为735。
进一步的，步骤3使用步骤1提取到的训练样本对步骤2建立的卷积神经网络进行训练，分别得到受电弓测试模型和电弧测试模型；
具体方法为：首先将训练样本数据集制作成PASCAL VOC格式，然后再利用YOLO自带脚本制作成YOLO算法需要的格式，生成归一化的人工标注的位置信息以及图片的路径列表和训练和交叉验证列表；使用darknet框架下的partial命令生成和步骤2创建的.cfg配置文件配套的预训练权重模型文件，然后运行“./darknet yolo train配置文件预训练权重文件”开始对网络进行训练；训练迭代4万次，初始学习率为0.0005；采用受电弓图片数据集训练生成受电弓测试模型；采用电弧和疑似电弧图片数据集训练训练生成电弧测试模型。
进一步的，步骤4具体包括：使用步骤3中生成的受电弓检测模型对受电弓进行测试并截取受电弓区域的局部图片，并采用相邻帧预测方法进行提速；整个过程在YOLO算法源码基础上借助opencv工具修改实现；具体方法为：在直接检测受电弓时，利用opencv读取受电弓视频流，并将opencv框架下IplImage格式图片整体转化为darknet框架下需要的image格式图片；检测程序在image格式图片中检测到受电弓以后记录受电弓区域的位置，并利用记录的受电弓位置信息对图片进行截取，保留截取的受电弓局部图片并作为电弧的检测图片；每次检测受电弓并保存受电弓位置以后，利用受电弓短时间内不会出现大幅变化的特点，在相邻的若干帧以内不再对受电弓进行检测，直接使用先前保存的位置作为目标位置，此时利用opencv读取受电弓视频流，只将opencv框架下IplImage格式图片中受电弓局部图片转化为darknet框架下的image格式，并对该局部图片进行截取，加快整体的检测速度。
进一步的，步骤5具体包括：将步骤4截取到的受电弓局部图片再次通过电弧检测模型对电弧进行检测，并保存检测结果为电弧的图片；
具体方法为：在步骤4完成后会得到截取的受电弓局部图片，然后再次将此时得到的受电弓局部图片经过检测电弧的电弧检测模型对电弧进行检测，阈值设定为0.35；检测时得到电弧、太阳、横梁、顶灯和房顶五类检测结果；检测结果为电弧时则认定为异常并保存异常图片。
进一步的，步骤2中的开发板为RK3399开发板或比RK3399开发板计算能力更强的硬件。
进一步的，步骤4中，对受电弓状态检测通过高铁智能监控系统主程序控制；主程序启动后自动开始对受电弓状态检测。
进一步的，步骤4中通过高铁智能监控系统主程序控制对受电弓状态检测具体包括：
主程序借助Qt工具编写，主程序作为高铁智能分析主机，接受来自客户端发来的信号，接受客户端的访问，具有界面控制、实时检测磁盘空间状态、生成受电弓状态日志、电弧异常图片生成、电弧异常图片查询和下载、受电弓检测系统工作状态检验的功能；受电弓和电弧检测程序作为智能监控系统的子程序，在主程序启动后自动启动线程开始受电弓及电弧检测。
与现有技术相比，本发明具有以下有益效果：
本发明在算法中必要的图片格式转化的优化以及网络结构上作出改进，具体改进为减少图片的格式转化区域，同时减小输入网络的图片尺寸。改进前在进行检测时无论是检测受电弓还是检测电弧都将整张图片进行格式转化，转化成检测框架需要的图片格式以后然后再进行检测。改进后仅仅在检测受电弓的时候将整张图片进行格式转化。改进后算法速度相比上一版本提升3倍，并能够在开发板上运行程序实现实时检测。本发明能够仅仅依靠安装在受电弓前的在线拍照系统和开发板实现对受电弓状态进行实时检测，无需成本昂贵和体积庞大的计算设备，不仅能够定位受电弓还能精确检测电弧并截取电弧图片，电弧检出率达到85％。
进一步的，本发明还加入了检测系统主程序，主程序具有界面控制、实时检测磁盘空间状态、生成受电弓状态日志、电弧异常图片生成、电弧异常图片查询和下载、受电弓检测系统工作状态检验的功能；通过界面程序对整体程序进行控制，实现查看检测系统运行状态以及查询异常图片等功能，加入主程序后可以直接在界面上控制各个功能，辅助受电弓检测系统工作。
附图说明
图1是本发明的一种可在开发板实现的电力机车受电弓及电弧快速检测方法的流程示意图；
图2是本发明实施例的基于深度学习YOLO算法方法检测流程示意图；
图3是部分受电弓训练样本图片；
图4是对电弧及其疑似电弧物体的分类后各类相应的部分训练样本图片；图4(a)为顶灯训练样本图片；图4(b)为房顶训练样本示意图；图4(c)为横梁训练样本示意图；图4(d)为电弧训练样本图片示意图；图4(e)为太阳训练样本图片示意图；
图5是受电弓网络结构示意图；图中：卷积层下数字表示卷积核大小和滤波器数量；最大池化层下数字表示滤波器尺寸和步长；
图6是电弧网络结构示意图；图中：卷积层下数字表示卷积核大小和滤波器数量；最大池化层下数字表示滤波器尺寸和步长；
图7是电弧检测结果示意图；
图8是主程序界面示意图；
图9是在INTEL I5-4790CPU上算法改进前后速度对比图；图9(a)为改进前示意图；图9(b)为改进后示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施列用于说明本发明，但不用来限制本发明的范围。
请参阅图1，本发明一种可在开发板实现的电力机车受电弓及电弧快速检测方法，包括如下步骤：
步骤1：通过安装在受电弓前方的在线拍照系统采集视频，并在视频中提取受电弓图片及其电弧和疑似电弧图片，并分类作为神经网络训练样本集。
本实例中采集的受电弓图片及其电弧和疑似电弧图片用于训练卷积神经网络。具体通过安装在高铁受电弓前方的在线拍照系统采集视频并在视频中提取图片来实现，受电弓的提取包含多种场景下的受电弓图片，不包含负样本，共计图片4686张。电弧图片由人工在视频中对出现电弧和其他疑似电弧的帧进行提取，具体步骤为观察受电弓的监控视频，在出现电弧和疑似电弧物体时记录出现的时间，视频结束后根据所有记录的时间点对该时间周围出现电弧和疑似电弧物体时间段的帧全部提取，然后再在其中筛选具体出现电弧或者疑似电弧物体的图片，对提取到的电弧以及疑似电弧物体进行分类，区分开电弧和其他疑似物体。具体方法是在所有样本中挑选出电弧作为正样本，疑似电弧的物体作为负样本，负样本分为太阳、横梁、顶灯、房顶四类；负样本与电弧形态相似、易对电弧检测结果产生混淆，通过加入负样本的方式使得神经网络判断检测结果是负样本所对应的情况还是真正的电弧，筛除负样本所对应的情况，以此方法减少误检。也即正负样本一共分为5类，包含电弧和四类负样本，使得训练的神经网络能够区分电弧和其他物体，降低误检率。电弧样本共计图片3038张，其中正样本1620张，负样本共计1418张。
请参阅图3至图6，步骤2：分别建立能够在RK3399开发板以及计算能力更强的硬件上实现实时检测受电弓和检测电弧的卷积神经网络；卷积神经网络结构相同，但网络输入图片分辨率和输出层数量不同；电弧检测网络输入图片分辨率小于受电弓检测网络输入图片分辨率。RK3399开发板CPU包含双Cortex-A72核心和四Cortex-A53核心，主频2GHz；算法可在该CPU配置以及优于该CPU配置的开发板以及硬件中实现实时检测。
本实例建立了训练和测试所使用的神经网络结构，检测受电弓的网络结构和检测电弧的网络结构基本相同，区别在于检测受电弓所对应的网络检测仅检测受电弓一类物体，检测电弧所对应的网络检测电弧和太阳、横梁、顶灯、房顶共五类物体，输出层数量也因此而不同。具体方法为在darknet框架下创建后缀为.cfg的文件开始对网络进行定义。受电弓检测网络和电弧检测网络输入图片分辨率和输出层数量不同，但网络结构相同，本实例所采用的网络包括7个卷积层和5个最大池化层以及全连接层。分布顺序为前十层为卷积层和最大池化层交替，接着是两个卷积层，最后是全连接层。即整体结构为第1、3、5、7、9、11、12层为卷积层，每个卷积层对应的卷积核数量分别为8、16、32、64、128、512、128个，卷积核大小均为3×3，步长均为1，激活函数为Leaky ReLU函数；第2、4、6、8、10层为最大池化层，卷积核大小均为2×2，步长均为2；第13层为全连接层，检测受电弓的网络输出为539，检测电弧的网络输出为735。两种检测网络均采用减少卷积核数量和减少网络层数的方法来加快检测速度。受电弓检测网络将输入图片变换尺寸为112×112，电弧检测网路将输入图片变化尺寸为48×48，然后经过上述卷积层、池化层、全连接层完成提取特征、分类工作。
步骤3：在YOLO算法框架下对卷积神经网络用训练样本进行训练分别得到受电弓检测模型和电弧检测模型。
本实例使用步骤1提取到的训练样本对步骤2建立的卷积神经网络进行训练，分别得到受电弓测试模型和电弧测试模型。具体方法是首先将受电弓图片数据集、电弧和疑似电弧图片数据集全部制作成PASCAL VOC格式，然后再利用YOLO自带脚本制作成YOLO算法需要的格式，此时会生成归一化的人工标注的位置信息以及图片的路径列表和训练和交叉验证列表，接着使用darknet框架下的partial命令生成和步骤2创建的.cfg配置文件配套的预训练权重模型文件，然后运行“./darknet yolo train配置文件预训练权重文件”开始对网络进行训练。训练迭代4万次，初始学习率为0.0005。使用此方法分别对受电弓检测网络和电弧检测网络进行训练，训练受电弓检测网络时加载受电弓数据集和受电弓检测网络的配置文件，训练电弧检测网络时加载电弧和疑似电弧数据集和电弧检测网络的配置文件，最终分别生成受电弓检测模型和电弧检测模型用作测试。
请参阅图8，步骤4：启动高铁智能监控系统主程序，主程序启动后自动开始对受电弓状态检测。
本实例在项目目录下运行“./highway”开始执行监控系统主程序。监控系统主程序借助Qt工具编写，主程序作为高铁智能分析主机，利用Qt工具实现监视端口，并接受来自客户端发来的信号，接受客户端的访问。同时具有界面控制、实时检测磁盘空间状态、生成受电弓状态日志、电弧异常图片生成、电弧异常图片查询和下载、受电弓检测系统工作状态检验的功能。受电弓和电弧检测程序写入主程序的线程中，随着主程序线程的启动而自动运行。主程序在监测各个网络端口的同时，生成日志来记录检测程序的运行状态；可视窗口部分可以查询截取异常图片。主程序关闭以后，检测程序随之关闭。
主程序具体为：主程序分为界面可视部分、后台部分和检测部分。可视部分界面请参阅图6，包括车次和摄像机位置选择、故障图片查询与下载、故障参数设置、校时功能。整体通过Qt工具的pushButton、label、comboBox、lineEdit部件并且由对应槽函数实现。程序可以根据车次和摄像机位置来保存异常图片到对应路径。故障图片查询时可以根据输入的起始时间和结束时间来自动检索符合时间要求的图片。故障参数用来对火花进行分类，分类标准分为火花大小以及火花的出现频率。校时功能可以通过输入时间来改变当前系统时间。后台部分主要是实时检测硬盘空间大小以防空间不足，并且利用Qt自带的网络通信相关库函数监听各个端口。接受客户端传送过来的日期、位置号、速度、里程数、车次、区间、车厢号信息。最终是检测部分，检测部分放入子线程中，主要就是对视频流进行实时检测并预警、保存异常图片。
请参阅图2，步骤5：实时采集视频中的帧并利用改进型YOLO算法在图片内直接检测受电弓或者利用相邻帧预测受电弓位置作为第一级检测，截取受电弓所在区域的局部图片。
本实例使用步骤3中生成的受电弓检测模型对受电弓进行测试并截取受电弓区域的局部图片，并采用相邻帧预测方法进行提速。整个过程在YOLO算法源码基础上借助opencv工具修改实现，具体方法是：在直接检测受电弓时，利用opencv读取受电弓视频流，并将opencv框架下IplImage格式图片整体转化为darknet框架下需要的image格式图片。转化由自编函数完成，方法是遍历整张图片的像素点，对应像素点的值由IplImage赋值给image数组的data部分。检测程序检测到受电弓以后记录受电弓区域的位置，位置信息包括受电弓区域的左上点坐标和受电弓区域的宽和高，并利用记录的受电弓位置信息对图片进行截取，保留截取的受电弓局部图片并作为电弧的检测图片。利用局部图片检测电弧可以减少电弧检测时间并且减少整图环境中所带来的干扰。此外，每次检测受电弓并保存受电弓位置以后，利用受电弓短时间内不会出现大幅变化的特点，在相邻的24帧以内不再对受电弓进行检测而是直接使用先前保存的位置作为目标位置并对图片进行截取，此时利用opencv读取受电弓视频流，只将opencv框架下IplImage格式图片中受电弓局部图片转化为darknet框架下的image格式，转化由自编函数完成，在上一帧检测到受电弓的区域遍历像素点，然后对应的值复制给image数组中的data部分。每秒检测一次受电弓的同时减少数据处理量，加快整体的检测速度。
请参阅图2，步骤6：在步骤5截取的受电弓局部图片内进一步利用改进型YOLO算法检测电弧作为第二级检测，保存异常图片。
本实例将步骤5截取到的受电弓局部图片通过步骤3生成的电弧检测模型对电弧进行检测，并保存检测结果为电弧的图片。具体方法是在步骤5完成后会得到截取的受电弓局部图片，然后再次将此时得到的受电弓局部图片经过检测电弧的电弧检测模型对电弧进行检测，经过多次试验最终将阈值设定为0.35。检测时会得到电弧、太阳、横梁、顶灯、房顶五类检测结果，检测结果为电弧时则认定为异常并保存异常图片。步骤5和步骤6均在YOLO算法源码基础上修改并在同一个函数内实现，函数运行时同时加载受电弓检测和电弧检测的网络结构配置文件以及受电弓检测模型和电弧检测模型，然后按照步骤5到步骤6也即先检测受电弓再检测电弧的顺序完成整个检测过程。
请参阅图9，实验结果表明，与改进算法相比，检测速度提升为原来3倍左右，图9为检测算法在改进前与改进后在INTEL I5-4590处理器上的速度对比图。改进后算法可以在高铁运行的复杂场景下，仅依靠RK3399开发板作为硬件支撑，对随机出现的电弧作出精确的捕获和定位，以大于25帧每秒的处理速度实现对电弧的精准检测，检出率(检出电弧数量/实际电弧数量)大于85％同时误检率(误检结果/全部检出结果)小于10％。本发明充分发挥了深度学习检测方法的优点，保持了高精度和好的鲁棒性，同时又通过精简网络提升速度实现实时检测，能够快速而精确地对电电弧进行预警。
综上，本发明在算法中必要的图片格式转化的优化以及网络结构上作出改进，改进为减少图片的格式转化区域，同时减小输入网络的图片尺寸。改进前在进行检测时无论是检测受电弓还是检测电弧都将整张图片进行格式转化，转化成检测框架需要的图片格式以后然后再进行检测；同时改进前进行电弧检测时输入网络的图片分辨率为72×72，该分辨率难以满足在所述开发板硬件条件下实时检测的目的。改进后仅仅在检测受电弓的时候将整张图片进行格式转化，每25帧在全图范围内检测一次受电弓，在检测电弧时仅仅将上一次检测到的受电弓局部区域进行格式转换，也即每25帧转化一次整张图片，其余24帧仅仅转化局部图片。以1280×720分辨率的视频为例，改进后一般需要的转化的图片区域尺寸仅仅为300×80左右，计算量减少为原来的三十分之一左右。与此同时，在电弧检测时将输入网络的图片分辨率大小修改为48×48，使得需要处理的数据量缩减到原先的一半。
Claims (9)
1.一种可在开发板实现的电力机车受电弓及电弧快速检测方法，其特征在于，包括以下步骤：
步骤1：通过安装在火车受电弓前方的在线拍照系统采集视频，在视频中提取受电弓图片及其电弧和疑似电弧图片，并分类作为神经网络训练样本集；
步骤2：分别建立能够在开发板上实现实时检测受电弓和检测电弧的卷积神经网络；两种卷积神经网络结构相同，但网络输入图片分辨率和输出层数量不同；电弧检测网络输入图片分辨率小于受电弓检测网络输入图片分辨率；
步骤3：对卷积神经网络用训练样本进行训练分别得到受电弓检测模型和电弧检测模型；
步骤4：实时采集视频中的帧并利用改进型YOLO算法在图片内直接检测受电弓或者利用相邻帧预测受电弓位置作为第一级检测，截取受电弓所在区域的局部图片；
步骤5：在步骤4截取的局部图片内进一步利用改进型YOLO算法检测电弧作为第二级检测，保存异常图片获得检测结果。
2.根据权利要求1所述的一种可在开发板实现的电力机车受电弓及电弧快速检测方法，其特征在于，步骤1在视频中提取受电弓图片及电弧和疑似电弧图片作为训练样本，其中受电弓样本不含负样本；电弧样本按照电弧和疑似电弧图片分为正样本和负样本，正样本为真实的电弧图片，负样本为疑似电弧图片，分为太阳、横梁、顶灯和房顶四类。
3.根据权利要求1所述的一种可在开发板实现的电力机车受电弓及电弧快速检测方法，其特征在于，步骤2建立的神经网络包括检测受电弓所对应的网络结构和检测电弧所对应的网络结构；检测受电弓所对应的网络结构仅检测受电弓一类物体，检测电弧所对应的网络结构检测电弧、太阳、横梁、顶灯和房顶共五类物体；
具体建立方法为：在darknet框架下创建后缀为.cfg的文件开始对网络进行定义；受电弓检测网络输入图片分辨率为112×112，电弧检测网络输入图片分辨率为48×48；采用的网络包括7个卷积层和5个最大池化层以及全连接层；分布顺序为前十层为卷积层和最大池化层交替，接着是两个卷积层，最后是全连接层；即整体结构为第1、3、5、7、9、11、12层为卷积层，每个卷积层对应的卷积核数量分别为8、16、32、64、128、512、128个，卷积核大小均为3×3，步长均为1，激活函数为Leaky ReLU函数；第2、4、6、8、10层为最大池化层，卷积核大小均为2×2，步长均为2，第13层为全连接层，检测受电弓的网络输出为539，检测电弧的网络输出为735。
4.根据权利要求1所述的一种可在开发板实现的电力机车受电弓及电弧快速检测方法，其特征在于，步骤3使用步骤1提取到的训练样本对步骤2建立的卷积神经网络进行训练，分别得到受电弓测试模型和电弧测试模型；
具体方法为：首先将训练样本数据集制作成PASCAL VOC格式，然后再利用YOLO自带脚本制作成YOLO算法需要的格式，生成归一化的人工标注的位置信息以及图片的路径列表和训练和交叉验证列表；使用darknet框架下的partial命令生成和步骤2创建的.cfg配置文件配套的预训练权重模型文件，然后运行“./darknet yolo train配置文件预训练权重文件”开始对网络进行训练；训练迭代4万次，初始学习率为0.0005；采用受电弓图片数据集训练生成受电弓测试模型；采用电弧和疑似电弧图片数据集训练训练生成电弧测试模型。
5.根据权利要求1所述的一种可在开发板实现的电力机车受电弓及电弧快速检测方法，其特征在于，步骤4具体包括：使用步骤3中生成的受电弓检测模型对受电弓进行测试并截取受电弓区域的局部图片，并采用相邻帧预测方法进行提速；整个过程在YOLO算法源码基础上借助opencv工具修改实现；具体方法为：在直接检测受电弓时，利用opencv读取受电弓视频流，并将opencv框架下IplImage格式图片整体转化为darknet框架下需要的image格式图片；检测程序在image格式图片中检测到受电弓以后记录受电弓区域的位置，并利用记录的受电弓位置信息对图片进行截取，保留截取的受电弓局部图片并作为电弧的检测图片；每次检测受电弓并保存受电弓位置以后，利用受电弓短时间内不会出现大幅变化的特点，在相邻的若干帧以内不再对受电弓进行检测，直接使用先前保存的位置作为目标位置，此时利用opencv读取受电弓视频流，只将opencv框架下IplImage格式图片中受电弓局部图片转化为darknet框架下的image格式，并对该局部图片进行截取，加快整体的检测速度。
6.根据权利要求1所述的一种可在开发板实现的电力机车受电弓及电弧快速检测方法，其特征在于，步骤5具体包括：将步骤4截取到的受电弓局部图片再次通过电弧检测模型对电弧进行检测，并保存检测结果为电弧的图片；
具体方法为：在步骤4完成后会得到截取的受电弓局部图片，然后再次将此时得到的受电弓局部图片经过检测电弧的电弧检测模型对电弧进行检测，阈值设定为0.35；检测时得到电弧、太阳、横梁、顶灯和房顶五类检测结果；检测结果为电弧时则认定为异常并保存异常图片。
7.根据权利要求1至6中任一项所述的一种可在开发板实现的电力机车受电弓及电弧快速检测方法，其特征在于，步骤2中的开发板为RK3399开发板或比RK3399开发板计算能力更强的硬件。
8.根据权利要求7所述的一种可在开发板实现的电力机车受电弓及电弧快速检测方法，其特征在于，步骤4中，对受电弓状态检测通过高铁智能监控系统主程序控制；主程序启动后自动开始对受电弓状态检测。
9.根据权利要求8所述的一种可在开发板实现的电力机车受电弓及电弧快速检测方法，其特征在于，步骤4中通过高铁智能监控系统主程序控制对受电弓状态检测具体包括：
主程序借助Qt工具编写，主程序作为高铁智能分析主机，接受来自客户端发来的信号，接受客户端的访问，具有界面控制、实时检测磁盘空间状态、生成受电弓状态日志、电弧异常图片生成、电弧异常图片查询和下载、受电弓检测系统工作状态检验的功能；受电弓和电弧检测程序作为智能监控系统的子程序，在主程序启动后自动启动线程开始受电弓及电弧检测。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811446073.8A CN109598054A (zh) | 2018-11-29 | 2018-11-29 | 可在开发板实现的电力机车受电弓及电弧快速检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811446073.8A CN109598054A (zh) | 2018-11-29 | 2018-11-29 | 可在开发板实现的电力机车受电弓及电弧快速检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109598054A true CN109598054A (zh) | 2019-04-09 |
Family
ID=65960487
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811446073.8A Pending CN109598054A (zh) | 2018-11-29 | 2018-11-29 | 可在开发板实现的电力机车受电弓及电弧快速检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109598054A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111259762A (zh) * | 2020-01-13 | 2020-06-09 | 西南交通大学 | 一种受电弓异常检测方法 |
| CN111452037A (zh) * | 2020-03-03 | 2020-07-28 | 佛山科学技术学院 | 一种自动抓药系统及方法 |
| CN118658009A (zh) * | 2024-08-19 | 2024-09-17 | 北京国铁安捷科技有限公司 | 整备场机车撒砂状态智能检测系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100322465A1 (en) * | 2007-08-06 | 2010-12-23 | Qr Limited | Pantograph damage and wear monitoring system |
| CN105539512A (zh) * | 2015-12-31 | 2016-05-04 | 天津市北海通信技术有限公司 | 一种受电弓监测系统 |
| CN108288055A (zh) * | 2018-03-14 | 2018-07-17 | 台州智必安科技有限责任公司 | 基于深度网络与分级测试的电力机车受电弓及电弧检测方法 |
-
2018
- 2018-11-29 CN CN201811446073.8A patent/CN109598054A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100322465A1 (en) * | 2007-08-06 | 2010-12-23 | Qr Limited | Pantograph damage and wear monitoring system |
| CN105539512A (zh) * | 2015-12-31 | 2016-05-04 | 天津市北海通信技术有限公司 | 一种受电弓监测系统 |
| CN108288055A (zh) * | 2018-03-14 | 2018-07-17 | 台州智必安科技有限责任公司 | 基于深度网络与分级测试的电力机车受电弓及电弧检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 温捷文等: "实时目标检测算法YOLO的批再规范化处理", 《计算机应用研究》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111259762A (zh) * | 2020-01-13 | 2020-06-09 | 西南交通大学 | 一种受电弓异常检测方法 |
| CN111259762B (zh) * | 2020-01-13 | 2022-03-29 | 西南交通大学 | 一种受电弓异常检测方法 |
| CN111452037A (zh) * | 2020-03-03 | 2020-07-28 | 佛山科学技术学院 | 一种自动抓药系统及方法 |
| CN111452037B (zh) * | 2020-03-03 | 2023-04-25 | 佛山科学技术学院 | 一种自动抓药系统及方法 |
| CN118658009A (zh) * | 2024-08-19 | 2024-09-17 | 北京国铁安捷科技有限公司 | 整备场机车撒砂状态智能检测系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108288055B (zh) | 基于深度网络与分级测试的电力机车受电弓及电弧检测方法 | |
| CN109711320B (zh) | 一种值班人员违规行为检测方法及系统 | |
| CN106919978B (zh) | 一种高铁接触网支撑装置零部件识别检测方法 | |
| CN109508671B (zh) | 一种基于弱监督学习的视频异常事件检测系统及其方法 | |
| CN103279765B (zh) | 基于图像匹配的钢丝绳表面损伤检测方法 | |
| CN110598736A (zh) | 一种电力设备红外图像故障定位、识别与预测方法 | |
| Liu et al. | A high-precision positioning approach for catenary support components with multiscale difference | |
| CN109598054A (zh) | 可在开发板实现的电力机车受电弓及电弧快速检测方法 | |
| JP2022549541A (ja) | 欠陥検出方法、装置、電子機器及びコンピュータ記憶媒体 | |
| CN103837087B (zh) | 基于主动形状模型的受电弓自动检测方法 | |
| Liu et al. | Unified deep learning architecture for the detection of all catenary support components | |
| Liu et al. | An efficient method for high-speed railway dropper fault detection based on depthwise separable convolution | |
| CN107633266B (zh) | 一种电力机车接触网受电弓电弧检测方法 | |
| Gasparini et al. | Anomaly detection, localization and classification for railway inspection | |
| CN109374631A (zh) | 一种隧道状态评测方法 | |
| Liu et al. | An improved faster R-CNN for UAV-based catenary support device inspection | |
| CN113788051A (zh) | 列车在站运行状态监测分析系统 | |
| CN112508911A (zh) | 基于巡检机器人的轨交接触网悬挂支撑部件裂纹检测系统及其检测方法 | |
| CN116258980A (zh) | 一种基于视觉的无人机分布式光伏电站巡检方法 | |
| Guo et al. | Detection of insulator defects based on YOLO V3 | |
| Yusof et al. | Assessing the performance of YOLOv5, YOLOv6, and YOLOv7 in road defect detection and classification: a comparative study | |
| Li et al. | A multilevel feature and structure prior information-based positioning approach for catenary support components | |
| CN115083229A (zh) | 基于ai视觉识别的飞行训练设备智能识别与警示系统 | |
| Zhang et al. | Fault detection of overhead contact systems based on multi-view Faster R-CNN | |
| Brintha et al. | FOD-YOLO NET: Fasteners fault and object detection in railway tracks using deep yolo network 1 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190409 |
|
| RJ01 | Rejection of invention patent application after publication |