CN112132789B - 基于级联式神经网络的受电弓在线检测装置及方法 - Google Patents

基于级联式神经网络的受电弓在线检测装置及方法 Download PDF

Info

Publication number
CN112132789B
CN112132789B CN202010891404.XA CN202010891404A CN112132789B CN 112132789 B CN112132789 B CN 112132789B CN 202010891404 A CN202010891404 A CN 202010891404A CN 112132789 B CN112132789 B CN 112132789B
Authority
CN
China
Prior art keywords
pantograph
image
neural network
model
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010891404.XA
Other languages
English (en)
Other versions
CN112132789A (zh
Inventor
蔡晨晓
朱茂旗
李晋
龙静
郑标
黄亚唯
王志惠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202010891404.XA priority Critical patent/CN112132789B/zh
Publication of CN112132789A publication Critical patent/CN112132789A/zh
Application granted granted Critical
Publication of CN112132789B publication Critical patent/CN112132789B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于级联式神经网络的受电弓在线检测装置与方法，该装置包括图像采集单元、图像传输单元、图像处理单元，检测方法为：通过图像采集单元获取受电弓前后图像，对获取的图像进行图像增强处理并标注，构建受电弓图像数据集；利用受电弓图像数据集对级联式神经网络模型进行训练，得到受电弓检测模型和模型参数；将受电弓检测模型加载至终端图像处理单元，并利用图像采集单元对列车运行进行实时监测。本发明实现了对运行列车的非接触式动态检测，具有易实施、高精度、低延迟等优点。

Description

基于级联式神经网络的受电弓在线检测装置及方法
技术领域
本发明属于受电弓检测技术领域，具体涉及一种基于级联式神经网络的受电弓在线检测方法。
背景技术
随着我国城市化进程的快速推进，城市轨道交通也日益蓬勃发展，其快速、高效、舒适、安全、节能等特点越发突出。为贯彻国家的可持续发展战略，适应和促进国民经济发展和社会进步，我国轨道交通的运营里程和建设里程不断增加。为保证轨道交通运营的安全性及可靠性，对列车关键部件运行状态进行监测显得尤为重要。
受电弓是电力牵引机车从接触网取得电能的电气设备。受电弓运行状态直接影响到轨道列车的安全运营，其故障可能造成列车运行中断，甚至造成严重事故，因此对受电弓的检测是轨道列车安全运营不可或缺的环节。目前在轨道列车实际运营中，对于受电弓状态的检测主要分为接触式人工检测方法和非接触式图像处理方法。基于人工的检测方法存在流程繁琐、工作量大、效率低下等问题，因此非接触式图像处理方法的使用越来越广泛。但由于受电弓检测为多任务检测，现有基于图像处理方法仍存在计算过程复杂、实时性差等问题。
发明内容
本发明目的在于提供一种检测精度高、实时性好、多任务一体化的基于级联式神经网络的受电弓在线检测装置及方法，实现高精度的在线非接触式测量。
实现本发明目的的技术解决方案为：一种基于级联式神经网络的受电弓在线检测装置，包括图像采集单元、图像传输单元和图像处理单元；
图像采集单元获取受电弓前后图像，对获取的图像进行图像增强处理并标注，构建受电弓图像数据集；利用受电弓图像数据集对级联式神经网络模型进行训练，得到受电弓检测模型和模型参数；将受电弓检测模型加载至终端图像处理单元，并利用图像采集单元对列车运行进行实时监测；列车经过时触发图像采集单元获取受电弓图像，利用一级神经网络模型对受电弓羊角进行定位和状态检测，并计算受电弓中心位置,同时返回受电弓羊角状态信息；再利用二级神经网络模型对接触网进行分割，并结合其结构特征确定接触网中心线；最后利用受电弓中心线与接触网中心线计算中心线偏移量，若偏移量超出安全阈值则发出异常警报，否则返回待检测状态等待下一列通过；
所述受电弓检测模型是以Faster-RCNN网络作为一级模神经网络型，U-net网络作为二级神经网络模型串联构成；其中Faster-RCNN网络在Fast-RCNN网络的基础上增加了候选区域推荐网络，包含13个卷积层、13个relu激活层和4个池化层；U-net网络由4个正向卷积池化层和4个反向卷积池化层构成，通过正向卷积进行图像特征提取和特征融合，通过反向卷积进行维度恢复以实现像素级分割。
进一步的，所述图像采集单元包括第一～第四磨耗相机，第一、第二中心线相机，第一～第八滑板闪光灯，第一、第二光电传感器；第二光电传感器设置在第一光电传感器后方；
当第一光电传感器检测到受电弓时，第一磨耗相机、第一中心线相机、第二磨耗相机对受电弓进行拍摄，并且第一～第四滑板闪光灯与上述三个相机同步，对目标受电弓进行补光；
当第二光电传感器检测到受电弓时，第三磨耗相机、第二中心线相机、第四磨耗相机对受电弓进行拍摄，并且第五～第八滑板闪光灯与上述三个相机同步，对目标受电弓进行补光。
本发明还提供一种基于级联式神经网络的受电弓在线检测方法，包括以下步骤：
步骤1、通过图像采集单元获取受电弓前后图像，对获取的图像进行图像增强处理并标注，构建受电弓数据集；
步骤2、构建基于级联式神经网络的受电弓检测模型，利用受电弓数据集对级联式神经网络模型进行离线训练获得受电弓检测模型和模型参数，并将受电弓检测模型加载至终端图像处理单元；
步骤3、利用图像采集单元对列车运行进行实时监测，列车经过时触发采集装置获取该列车受电弓图像并进行图像预处理；
步骤4、利用一级神经网络模型对图像中受电弓羊角进行定位和状态检测，若检测到羊角状态异常，则发出异常警报；否则继续计算受电弓中心接触点位置；
步骤5、利用步骤4中羊角的定位信息从图像中提取受电弓主体位置，利用二级神经网络模型对接触网进行分割，并结合其结构特征确定接触网中心线；
步骤6、利用受电弓中心接触点与接触网中心线计算中心线偏移量，若偏移量超过安全阈值则发出异常警报，否则返回步骤3等待下一列车通过。
进一步的，步骤1中所述对获取的图像进行图像增强处理，采用单尺度视网膜增强算法以增强图像中的边缘信息。
进一步的，步骤2中所述的基于级联式神经网络的受电弓检测模型是以Faster-RCNN网络作为一级模型，U-net网络作为二级模型串联构成；其中Faster-RCNN网络在Fast-RCNN网络的基础上增加了候选区域推荐网络，包含13个卷积层、13个relu激活层和4个池化层；U-net网络由4个正向卷积池化层和4个反向卷积池化层构成，通过正向卷积进行图像特征提取和特征融合，通过反向卷积进行维度恢复以实现像素级分割。
进一步的，步骤2中所述基于级联式神经网络的受电弓检测模型，利用受电弓数据集对级联式神经网络模型进行分级离线训练获得受电弓检测模型和模型参数，模型训练过程具体如下：
步骤2.1：对获取的受电弓图像进行人工预标注，分别标出受电弓羊角位置与状态以及接触网位置；
步骤2.2：将标注完成的数据集用以受电弓检测模型的训练，利用Faster-RCNN网络的卷积层对羊角进行特征提取获得一组特征图；
步骤2.3：在特征图上的每一个点都生成对应9个不同尺寸的anchor，根据损失函数，采用反向传播和随机梯度下降法对RPN进行训练，其损失函数定义为：
Figure BDA0002657121020000031
其中，i表示anchor的序号，p表示anchor是前景的概率，p*表示anchor的标签，其值为0,1，Lcls表示分类器损失函数，Lreg表示回归器损失函数，t表示预测框的坐标参数，t*表示标定框的坐标参数，Ncls表示特征图数，Nreg表示anchor数量；
步骤2.4：RPN输出候选区域的坐标参数和置信度，并将候选区域映射至原图获得感兴趣区域ROI；再对感兴趣区域通过卷积池化操作进行深度特征提取与融合，完成Faster-RCNN网络中分类器和回归器的训练，其中分类器用以确定受电弓羊角状态信息，回归器用以确定受电弓羊角位置信息；
步骤2.5：利用U-net网络的下采样卷积层对受电弓的接触网分割图像进行特征提取；对下采样所得特征图通过反卷积操作进行上采样，将特征图恢复至原图尺寸；
步骤2.6：将上采样与下采用过程中相同尺寸的特征图进行特征融合，再根据损失函数对U-net网络进行训练，其损失函数定义为：
Figure BDA0002657121020000041
其中，
Figure BDA0002657121020000042
Figure BDA0002657121020000043
Ω表示所有像素点，ai(x)表示每一像素点x对应特征通道i的得分，M表示分割类别数量，pi(x)表示像素点的分类结果，wc(x)表示平衡类平率的权重，d1(x)表示背景某个像素点到最近正类样本边界的距离，d2(x)表示背景某个像素点到次近正类样本边界的距离，w0与σ为固定常数。
进一步的，步骤4中所述利用一级神经网络模型对图像中受电弓羊角进行检测，获得位置信息和状态信息，若检测到羊角状态异常，则发出异常警报；否则继续计算受电弓中心接触点位置；其中位置信息为x,y,w,h四个参数，分别代表检测框中心点的横坐标、纵坐标、检测框的宽度、高度；状态信息为正常、异常两种状态以及预测置信度α；在检测时设置预测阈值ξ＝0.8，此时图像中只显示置信度α＞0.8的预测框；
若羊角状态无异常则继续计算受电弓中心线位置；受电弓的两个羊角为对称结构，根据其结构对称性并结合两个羊角位置信息，确受电弓的中心接触点位置，中心接触点坐标如下所示：
Figure BDA0002657121020000044
Figure BDA0002657121020000045
其中(x1,y1)为左羊角预测框中心点坐标，(x2,y2)为右羊角预测框中心点坐标。
进一步的，步骤5中所述，利用步骤4中羊角的定位信息从图像中截取受电弓主体位置，利用二级神经网络模型对接触网进行分割，并结合其结构特征确定接触网中心线；接触网中心线具体提取步骤如下：
步骤5.1：根据步骤4羊角定位信息可得受电弓中心接触点坐标(xo,yo)，由此确定截取区域的坐标点分别为：
A＝(xo+aL,yo+bW)
B＝(xo+aL,yo-bW)
C＝(xo-aL,yo+bW)
D＝(xo-aL,yo-bW)
其中a,b为横向放大系数和纵向放大系数，L,W分别为受电弓横向长度和纵向长度；
步骤5.2：将截取区域图像利用U-net网络进行分割，获得二值化的接触网掩膜图像；
步骤5.3：对掩膜图像进行Canny边缘检测，实现接触网轮廓提取，再通过概率霍夫变换得到接触网左边界线l1(x,y)和右边界线l2(x,y)；
步骤5.4：在N个水平方向上截取l1(x,y)，l2(x,y)两边界线，获得N组坐标对，由此计算出N个坐标对中心点，并通过拟合这N个坐标对中心点来提取接触网中心线。
进一步的，步骤6中所述，利用受电弓中心接触点与接触网中心线计算中心线偏移量，若偏移量超过安全阈值则发出异常警报，安全阈值设定为
Figure BDA0002657121020000051
本发明与现有技术相比，其显著优点为；(1)硬件结构布局简便，系统维护方便，运行稳定；(2)本方案采用串联式建模，融合一级模型Fster-RCNN网络和二级模型U-net网络的优点，对待检受电弓进行高精度检测，精准定位中心线，准确识别羊角状态，可实现对受电弓的非接触式动态检测，保证列车运行安全性；(3)本方案检测系统应用深度学习方法，对受电弓状态特征进行提取并集成化，即使角度发生变化或者羊角形态发生改变也具有较高的检测率。(4)本方案所采用的模型，可移植性高，鲁棒性强，可完成不同背景下的受电弓检测。
附图说明
图1是本发明基于级联式神经网络的受电弓在线检测方法流程图。
图2是本发明的图像采集系统硬件结构图。
图3是本发明中级联式神经网络中一级网络检测原理图。
图4是本发明中级联式神经网络中二级网络检测原理图。
图5至图7是级联式神经网络中一级网络的检测结果图。
图8是级联式神经网络中二级网络的检测结果图。
具体实施方式
本发明是一种基于级联式神经网络的受电弓在线检测方法，首先对图像进行人工标定构建训练数据集完成对检测模型训练，接着通过图像采集系统对运行列车进行拍摄获取受电弓图像，最后将图像传至检测模型进行检测。检测时，先对羊角状态进行判断，若缺失则发出警报；否则，继续进行中心线偏移计算。完成上述检测后则等待下一列车经过。
下面结合附图及具体实施例对本发明作进一步详细说明。
本发明的基于级联式神经网络的受电弓在线检测装置包括图像采集单元、图像传输单元和图像处理单元；
图像采集单元获取受电弓前后图像，图像处理单元对获取的图像进行图像增强处理并标注，构建受电弓图像数据集；利用受电弓图像数据集对级联式神经网络模型进行训练，得到受电弓检测模型和模型参数；将受电弓检测模型加载至终端图像处理单元，并利用图像采集单元对列车运行进行实时监测；列车经过时触发图像处理单元获取受电弓图像，利用一级神经网络模型对受电弓羊角进行定位和状态检测，并计算受电弓中心位置,同时返回受电弓羊角状态信息；再利用二级神经网络模型对接触网进行分割，并结合其结构特征确定接触网中心线；最后利用受电弓中心线与接触网中心线计算中心线偏移量，若偏移量超出安全阈值则发出异常警报，否则返回待检测状态等待下一列通过；
所述受电弓检测模型是以Faster-RCNN网络作为一级模神经网络型，U-net网络作为二级神经网络模型串联构成；其中Faster-RCNN网络在Fast-RCNN网络的基础上增加了候选区域推荐网络，包含13个卷积层、13个relu激活层和4个池化层；U-net网络由4个正向卷积池化层和4个反向卷积池化层构成，通过正向卷积进行图像特征提取和特征融合，通过反向卷积进行维度恢复以实现像素级分割。
本发明的图像采集单元硬件结构如图2所示。其中，C1、C3、C4、C6为磨耗相机，C2、C5为中心线相机，L1至L8为滑板闪光灯。当光电传感器1检测到受电弓时，相机C1、C2、C3对受电弓进行拍摄，并且滑板闪光灯L1、L2、L5、L6与相机C1、C2、C3同步，对目标受电弓进行补光；当光电传感器2检测到受电弓时，相机C4、C5、C6对受电弓进行拍摄，并且滑板闪光灯L4、L5、L7、L8与相机C4、C5、C6同步，对目标受电弓进行补光。
结合图1、2，本发明的一种基于级联式神经网络的受电弓在线检测方法，包括以下步骤：
步骤1：通过图像采集单元获取受电弓前后图像，对获取的图像进行图像增强处理并标注，构建受电弓数据集；所述对获取的图像进行图像增强处理，采用单尺度视网膜增强算法(Single-Scale Retinex，SSR)以增强图像中的边缘信息，保留图像颜色恒常特性。
步骤2：构建基于级联式神经网络的受电弓检测模型，利用受电弓数据集对级联式神经网络模型进行离线训练获得受电弓检测模型和模型参数，并将受电弓检测模型加载至终端图像处理单元；
所述的基于级联式神经网络的受电弓检测模型是以Faster-RCNN网络作为一级模型，U-net网络作为二级模型串联构成；其中Faster-RCNN网络在Fast-RCNN网络的基础上增加了候选区域推荐网络(Region Proposal Networks，RPN)，包含13个卷积层、13个relu激活层和4个池化层，其检测原理如图3所示；U-net网络由4个正向卷积池化层和4个反向卷积池化层构成，通过正向卷积进行图像特征提取和特征融合，通过反向卷积进行维度恢复以实现像素级分割，其检测原理如图4所示。
所述利用受电弓数据集对级联式神经网络模型进行离线分级训练获得受电弓检测模型和模型参数，模型训练过程具体如下：
步骤2.1：对获取的受电弓图像进行人工预标注，分别标出受电弓羊角位置与状态以及接触网位置；
步骤2.2：将标注完成的数据集用以受电弓检测模型的训练，利用Faster-RCNN网络的卷积层对羊角进行特征提取获得一组特征图。
步骤2.3：在特征图上的每一个点都生成对应9个不同尺寸的anchor，根据损失函数，采用反向传播和随机梯度下降法对RPN进行训练，其损失函数定义为：
Figure BDA0002657121020000081
其中，i表示anchor的序号，p表示anchor是前景的概率，p*表示anchor的标签，其值为0,1，Lcls表示分类器损失函数，Lreg表示回归器损失函数，t表示预测框的坐标参数，t*表示标定框的坐标参数，Ncls表示特征图数，Nreg表示anchor数量。
步骤2.4：RPN输出候选区域的坐标参数和置信度，并将候选区域映射至原图获得感兴趣区域(Region of Interest，ROI)。再通过卷积池化操作对ROI进行深度特征提取与融合，完成Faster-RCNN网络中分类器和回归器的训练，其中分类器用以确定受电弓羊角状态信息，回归器用以确定受电弓羊角位置信息。
步骤2.5：利用U-net网络的下采样卷积层对受电弓的接触网分割图像进行特征提取。对下采样所得特征图通过反卷积操作进行上采样，将特征图恢复至原图尺寸。
步骤2.6：将上采样与下采用过程中相同尺寸的特征图进行特征融合，再根据损失函数对U-net网络进行训练，其损失函数定义为：
Figure BDA0002657121020000082
其中，
Figure BDA0002657121020000083
Figure BDA0002657121020000084
Ω表示所有像素点，ai(x)表示每一像素点x对应特征通道i的得分，M表示分割类别数量，pi(x)表示像素点的分类结果，中wc(x)表示平衡类平率的权重，d1(x)表示背景某个像素点到最近正类样本边界的距离，d2(x)表示背景某个像素点到次近正类样本边界的距离，w0与σ为固定常数。
步骤3：利用图像采集单元对列车运行进行实时监测，列车经过时触发采集装置获取该列车受电弓图像并进行图像预处理；
步骤4：利用一级神经网络模型对图像中受电弓羊角进行定位和状态检测，若检测到羊角状态异常，则发出异常警报；否则继续计算受电弓中心接触点位置；
所述利用一级神经网络模型对图像中受电弓羊角进行检测，获得位置信息和状态信息，若检测到羊角状态异常，则发出异常警报；否则继续计算受电弓中心接触点位置。其中位置信息为x,y,w,h四个参数，分别代表检测框中心点的横坐标、纵坐标、检测框的宽度、高度；状态信息为正常、异常两种状态以及预测置信度α。在检测时设置预测阈值ξ＝0.8，此时图像中只显示置信度α＞0.8的预测框，检测结果如图5至图7所示。
若羊角状态无异常则继续计算受电弓中心线位置。受电弓的两个羊角通常为对称结构，根据其结构对称性并结合两个羊角位置信息，确受电弓的中心接触点位置。中心接触点坐标如下所示：
Figure BDA0002657121020000091
Figure BDA0002657121020000092
其中(x1,y1)为左羊角预测框中心点坐标，(x2,y2)为右羊角预测框中心点坐标；
步骤5：利用步骤4中羊角的定位信息从图像中提取受电弓主体位置，利用二级神经网络模型对接触网进行分割，并结合其结构特征确定接触网中心线；接触网中心线具体提取步骤如下：
步骤5.1：根据步骤4羊角定位信息可得受电弓中心接触点坐标(xo,yo)，由此确定截取区域的坐标点分别为：
A＝(xo+aL,yo+bW)
B＝(xo+aL,yo-bW)
C＝(xo-aL,yo+bW)
D＝(xo-aL,yo-bW)
其中a,b为横向放大系数和纵向放大系数，L,W分别为受电弓横向长度和纵向长度。
步骤5.2：将截取区域图像利用U-net网络进行分割，获得二值化的接触网掩膜图像。
步骤5.3：对掩膜图像进行Canny边缘检测，实现接触网轮廓提取，再通过概率霍夫变换得到接触网左边界线l1(x,y)和右边界线l2(x,y)。
步骤5.4：在N个水平方向上截取l1(x,y)，l2(x,y)两边界线，获得N组坐标对，由此计算出N个坐标对中心点，并通过拟合N个坐标对中心点来提取接触网中心线。
步骤6：利用受电弓中心接触点与接触网中心线计算中心线偏移量，若偏移量超过安全阈值则发出异常警报，否则返回步骤3等待下一列车通过。检测结果如图8所示。
下面结合实施例对本发明进行详细说明。
实施例
本试验选取440张受电弓正面图像作为训练集，其中380张为正常羊角图像，60张为缺失羊角图像。对检测模型进行训练前，对所有图像进行人工羊角标定，构建训练图像数据集用以一级模型训练；对380张正常羊角图像进行人工分割标定用以二级模型训练。
再另外选取200张图像作为测试集进行羊角状态检测，包括150张正常图像和50张异常图像，其中正常亮度图像与低亮度图像各占一半。利用本文所提出的检测模型对上述200张受电弓图像进行检测，检测效果如图5至图7所示。图5、图6分别为检测出正常状态和缺失状态，图7为出现误检。结果统计如表1所示。其中正常亮度下的图像检测准确率为100％，而在低亮度下时，正常羊角图像的准确率为96％，缺失羊角图像的准确率为92％。由此可见图像的亮度对模型检测存在一定的影响。
表1羊角状态检测统计表
Figure BDA0002657121020000101
一级模型检测出正常羊角状态的图像共75张，先将图像进行重塑尺寸并传递给二级模型进行中心线偏移检测，检测结果如图8所示，结果统计如表2所示。其中中心线偏移量采用偏移半分比计算，即偏移长度占受电弓长度的比例。根据统计表所示，受电弓数据集中中心线偏移量大多集中在偏移5％-10％，且无受电弓超出安全阈值。
表2中心线偏移检测统计表
中心线偏移量 0-5％ 5％-10％ 10％-15％ >15％
图像张数 2 68 5 0
比例 2.6％ 90.7％ 6.7％ 0

Claims (9)

1.一种基于级联式神经网络的受电弓在线检测装置，其特征在于，包括图像采集单元、图像传输单元和图像处理单元；
图像采集单元获取受电弓前后图像，对获取的图像进行图像增强处理并标注，构建受电弓图像数据集；利用受电弓图像数据集对级联式神经网络模型进行训练，得到受电弓检测模型和模型参数；将受电弓检测模型加载至终端图像处理单元，并利用图像采集单元对列车运行进行实时监测；列车经过时触发图像采集单元获取受电弓图像，利用一级神经网络模型对受电弓羊角进行定位和状态检测，并计算受电弓中心位置,同时返回受电弓羊角状态信息；再利用二级神经网络模型对接触网进行分割，并结合其结构特征确定接触网中心线；最后利用受电弓中心线与接触网中心线计算中心线偏移量，若偏移量超出安全阈值则发出异常警报，否则返回待检测状态等待下一列通过；
所述受电弓检测模型是以Faster-RCNN网络作为一级模神经网络型，U-net网络作为二级神经网络模型串联构成；其中Faster-RCNN网络在Fast-RCNN网络的基础上增加了候选区域推荐网络，包含13个卷积层、13个relu激活层和4个池化层；U-net网络由4个正向卷积池化层和4个反向卷积池化层构成，通过正向卷积进行图像特征提取和特征融合，通过反向卷积进行维度恢复以实现像素级分割。
2.根据权利要求1所述的基于级联式神经网络的受电弓在线检测装置，其特征在于，所述图像采集单元包括第一～第四磨耗相机，第一、第二中心线相机，第一～第八滑板闪光灯，第一、第二光电传感器；第二光电传感器设置在第一光电传感器后方；
当第一光电传感器检测到受电弓时，第一磨耗相机、第一中心线相机、第二磨耗相机对受电弓进行拍摄，并且第一～第四滑板闪光灯与上述三个相机同步，对目标受电弓进行补光；
当第二光电传感器检测到受电弓时，第三磨耗相机、第二中心线相机、第四磨耗相机对受电弓进行拍摄，并且第五～第八滑板闪光灯与上述三个相机同步，对目标受电弓进行补光。
3.一种基于级联式神经网络的受电弓在线检测方法，其特征在于，包括以下步骤：
步骤1、通过图像采集单元获取受电弓前后图像，对获取的图像进行图像增强处理并标注，构建受电弓数据集；
步骤2、构建基于级联式神经网络的受电弓检测模型，利用受电弓数据集对级联式神经网络模型进行离线训练获得受电弓检测模型和模型参数，并将受电弓检测模型加载至终端图像处理单元；
步骤3、利用图像采集单元对列车运行进行实时监测，列车经过时触发图像采集单元获取该列车受电弓图像并进行图像预处理；
步骤4、利用一级神经网络模型对图像中受电弓羊角进行定位和状态检测，若检测到羊角状态异常，则发出异常警报；否则继续计算受电弓中心接触点位置；
步骤5、利用步骤4中羊角的定位信息从图像中提取受电弓主体位置，利用二级神经网络模型对接触网进行分割，并结合其结构特征确定接触网中心线；
步骤6、利用受电弓中心接触点与接触网中心线计算中心线偏移量，若偏移量超过安全阈值则发出异常警报，否则返回步骤3等待下一列车通过。
4.根据权利要求3所述的基于级联式神经网络的受电弓在线检测方法，其特征在于：步骤1中所述对获取的图像进行图像增强处理，采用单尺度视网膜增强算法以增强图像中的边缘信息。
5.根据权利要求3所述的基于级联式神经网络的受电弓在线检测方法，其特征在于：步骤2中所述的基于级联式神经网络的受电弓检测模型是以Faster-RCNN网络作为一级模型，U-net网络作为二级模型串联构成；其中Faster-RCNN网络在Fast-RCNN网络的基础上增加了候选区域推荐网络，包含13个卷积层、13个relu激活层和4个池化层；U-net网络由4个正向卷积池化层和4个反向卷积池化层构成，通过正向卷积进行图像特征提取和特征融合，通过反向卷积进行维度恢复以实现像素级分割。
6.根据权利要求3或5所述的基于级联式神经网络的受电弓在线检测方法，其特征在于：步骤2中所述基于级联式神经网络的受电弓检测模型，利用受电弓数据集对级联式神经网络模型进行分级离线训练获得受电弓检测模型和模型参数，模型训练过程具体如下：
步骤2.1：对获取的受电弓图像进行人工预标注，分别标出受电弓羊角位置与状态以及接触网位置；
步骤2.2：将标注完成的数据集用以受电弓检测模型的训练，利用Faster-RCNN网络的卷积层对羊角进行特征提取获得一组特征图；
步骤2.3：在特征图上的每一个点都生成对应9个不同尺寸的anchor，根据损失函数，采用反向传播和随机梯度下降法对RPN进行训练，其损失函数定义为：
Figure FDA0003807547350000031
其中，i表示anchor的序号，p表示anchor是前景的概率，p*表示anchor的标签，其值为0,1，Lcls表示分类器损失函数，Lreg表示回归器损失函数，t表示预测框的坐标参数，t*表示标定框的坐标参数，Ncls表示特征图数，Nreg表示anchor数量；
步骤2.4：RPN输出候选区域的坐标参数和置信度，并将候选区域映射至原图获得感兴趣区域；再对感兴趣区域通过卷积池化操作进行深度特征提取与融合，完成Faster-RCNN网络中分类器和回归器的训练，其中分类器用以确定受电弓羊角状态信息，回归器用以确定受电弓羊角位置信息；
步骤2.5：利用U-net网络的下采样卷积层对受电弓的接触网分割图像进行特征提取；对下采样所得特征图通过反卷积操作进行上采样，将特征图恢复至原图尺寸；
步骤2.6：将上采样与下采用过程中相同尺寸的特征图进行特征融合，再根据损失函数对U-net网络进行训练，其损失函数定义为：
Figure FDA0003807547350000032
其中，
Figure FDA0003807547350000033
Figure FDA0003807547350000034
Ω表示所有像素点，ai(x)表示每一像素点x对应特征通道i的得分，M表示分割类别数量，pi(x)表示像素点的分类结果，wc(x)表示平衡类平率的权重，d1(x)表示背景某个像素点到最近正类样本边界的距离，d2(x)表示背景某个像素点到次近正类样本边界的距离，w0与σ为固定常数。
7.根据权利要求3所述的基于级联式神经网络的受电弓在线检测方法，其特征在于：步骤4中所述利用一级神经网络模型对图像中受电弓羊角进行检测，获得位置信息和状态信息，若检测到羊角状态异常，则发出异常警报；否则继续计算受电弓中心接触点位置；其中位置信息为x,y,w,h四个参数，分别代表检测框中心点的横坐标、纵坐标、检测框的宽度、高度；状态信息为正常、异常两种状态以及预测置信度α；在检测时设置预测阈值ξ＝0.8，此时图像中只显示置信度α>0.8的预测框；
若羊角状态无异常则继续计算受电弓中心线位置；受电弓的两个羊角为对称结构，根据其结构对称性并结合两个羊角位置信息，确受电弓的中心接触点位置，中心接触点坐标如下所示：
Figure FDA0003807547350000041
Figure FDA0003807547350000042
其中(x1,y1)为左羊角预测框中心点坐标，(x2,y2)为右羊角预测框中心点坐标。
8.根据权利要求3所述的基于级联式神经网络的受电弓在线检测方法，其特征在于：步骤5中，利用步骤4中羊角的定位信息从图像中截取受电弓主体位置，利用二级神经网络模型对接触网进行分割，并结合其结构特征确定接触网中心线；接触网中心线具体提取步骤如下：
步骤5.1：根据步骤4羊角定位信息可得受电弓中心接触点坐标(xo,yo)，由此确定截取区域的坐标点分别为：
A＝(xo+aL,yo+bW)
B＝(xo+aL,yo-bW)
C＝(xo-aL,yo+bW)
D＝(xo-aL,yo-bW)
其中a,b为横向放大系数和纵向放大系数，L,W分别为受电弓横向长度和纵向长度；
步骤5.2：将截取区域图像利用U-net网络进行分割，获得二值化的接触网掩膜图像；
步骤5.3：对掩膜图像进行Canny边缘检测，实现接触网轮廓提取，再通过概率霍夫变换得到接触网左边界线l1(x,y)和右边界线l2(x,y)；
步骤5.4：在N个水平方向上截取l1(x,y)，l2(x,y)两边界线，获得N组坐标对，由此计算出N个坐标对中心点，并通过拟合这N个坐标对中心点来提取接触网中心线。
9.根据权利要求6所述的基于级联式神经网络的受电弓在线检测方法，其特征在于：步骤6中，利用受电弓中心接触点与接触网中心线计算中心线偏移量，若偏移量超过安全阈值则发出异常警报，中心线偏移量的安全阈值设定为
Figure FDA0003807547350000051
CN202010891404.XA 2020-08-30 2020-08-30 基于级联式神经网络的受电弓在线检测装置及方法 Active CN112132789B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010891404.XA CN112132789B (zh) 2020-08-30 2020-08-30 基于级联式神经网络的受电弓在线检测装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010891404.XA CN112132789B (zh) 2020-08-30 2020-08-30 基于级联式神经网络的受电弓在线检测装置及方法

Publications (2)

Publication Number Publication Date
CN112132789A CN112132789A (zh) 2020-12-25
CN112132789B true CN112132789B (zh) 2022-10-25

Family

ID=73848391

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010891404.XA Active CN112132789B (zh) 2020-08-30 2020-08-30 基于级联式神经网络的受电弓在线检测装置及方法

Country Status (1)

Country Link
CN (1) CN112132789B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112985263B (zh) * 2021-02-09 2022-09-23 中国科学院上海微系统与信息技术研究所 一种弓网几何参数检测方法、装置及设备
CN113436157B (zh) * 2021-06-18 2022-11-22 西南交通大学 一种用于受电弓故障的车载图像识别方法
CN113469994A (zh) * 2021-07-16 2021-10-01 科大讯飞(苏州)科技有限公司 受电弓检测方法、装置、电子设备和存储介质
CN113763326B (zh) * 2021-08-04 2023-11-21 武汉工程大学 一种基于Mask Scoring R-CNN网络的受电弓检测方法
CN113362330B (zh) * 2021-08-11 2021-11-30 昆山高新轨道交通智能装备有限公司 受电弓羊角实时检测方法、装置、计算机设备及存储介质
CN114494186B (zh) * 2022-01-25 2022-11-08 国网吉林省电力有限公司电力科学研究院 一种高压输变电线路电气设备的故障检测方法
CN115994909B (zh) * 2023-03-23 2023-06-02 中铁电气化局集团有限公司 基于图像工业算法的接触网接触故障检测方法和装置
CN117382426A (zh) * 2023-09-28 2024-01-12 中车工业研究院有限公司 一种车载受电弓自适应控制方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104077613A (zh) * 2014-07-16 2014-10-01 电子科技大学 一种基于级联多级卷积神经网络的人群密度估计方法
CN107590441A (zh) * 2017-08-21 2018-01-16 南京理工大学 一种基于图像处理的受电弓羊角在线检测装置与方法
CN109658387A (zh) * 2018-11-27 2019-04-19 北京交通大学 电力列车的受电弓碳滑板缺陷的检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104077613A (zh) * 2014-07-16 2014-10-01 电子科技大学 一种基于级联多级卷积神经网络的人群密度估计方法
CN107590441A (zh) * 2017-08-21 2018-01-16 南京理工大学 一种基于图像处理的受电弓羊角在线检测装置与方法
CN109658387A (zh) * 2018-11-27 2019-04-19 北京交通大学 电力列车的受电弓碳滑板缺陷的检测方法

Also Published As

Publication number Publication date
CN112132789A (zh) 2020-12-25

Similar Documents

Publication Publication Date Title
CN112132789B (zh) 基于级联式神经网络的受电弓在线检测装置及方法
CN111047554B (zh) 一种基于实例分割的复合绝缘子过热缺陷检测方法
CN108876780B (zh) 一种复杂背景下桥梁裂缝图像裂缝检测方法
CN109977921B (zh) 一种输电线路隐患检测方法
CN110738121A (zh) 一种前方车辆检测方法及检测系统
CN111695514A (zh) 一种基于深度学习的雾天下车辆检测方法
CN104517095A (zh) 一种基于深度图像的人头分割方法
CN111462140B (zh) 一种基于区块拼接的实时图像实例分割方法
CN115526864A (zh) 基于改进的特征金字塔网络和度量学习的钢轨表面缺陷检测方法
CN101320477B (zh) 一种人体跟踪方法及其设备
CN113486712B (zh) 一种基于深度学习的多人脸识别方法、系统和介质
CN110852157A (zh) 一种基于二值化网络的深度学习轨道线检测方法
CN102063726B (zh) 一种运动目标分类方法和系统
CN109766780A (zh) 一种基于深度学习的船舶烟雾排放在线检测和追踪方法
CN116977917A (zh) 一种红外图像行人检测方法
CN111597939A (zh) 一种基于深度学习的高铁线路鸟窝缺陷检测方法
CN116129329A (zh) 基于深对空卷积和卡尔曼滤波的早期细小火苗检测方法
CN115359513A (zh) 基于关键点监督和分组特征融合的多视图行人检测方法
CN113763326A (zh) 一种基于Mask Scoring R-CNN网络的受电弓检测方法
Wang et al. Research on appearance defect detection of power equipment based on improved faster-rcnn
Gao et al. Railway Fastener Anomaly Detection via Multi-sensor Fusion and Self-driven Loss Reweighting
Li et al. Damage detection algorithm based on faster-RCNN
Tan et al. BSIRNet: A road extraction network with bidirectional spatial information reasoning
Ma et al. Ship Detection Based on LiDAR and Visual Information Fusion
Jin et al. On Highway Guardrail Detection Algorithm Based on Mask RCNN in Complex Environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Cai Chenxiao

Inventor after: Zhu Maoqi

Inventor after: Li Jin

Inventor after: Long Jing

Inventor after: Zheng Biao

Inventor after: Huang Yawei

Inventor after: Wang Zhihui

Inventor before: Zhu Maoqi

Inventor before: Li Jin

Inventor before: Cai Chenxiao

Inventor before: Long Jing

Inventor before: Zheng Biao

Inventor before: Huang Yawei

Inventor before: Wang Zhihui

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant