CN112766195A - 一种电气化铁路弓网燃弧视觉检测方法 - Google Patents
一种电气化铁路弓网燃弧视觉检测方法 Download PDFInfo
- Publication number
- CN112766195A CN112766195A CN202110102075.0A CN202110102075A CN112766195A CN 112766195 A CN112766195 A CN 112766195A CN 202110102075 A CN202110102075 A CN 202110102075A CN 112766195 A CN112766195 A CN 112766195A
- Authority
- CN
- China
- Prior art keywords
- feature map
- feature
- image
- pixel
- channels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 24
- 230000000007 visual effect Effects 0.000 title claims abstract description 8
- 238000000034 method Methods 0.000 claims abstract description 35
- 230000011218 segmentation Effects 0.000 claims abstract description 31
- 238000012549 training Methods 0.000 claims abstract description 24
- 230000004927 fusion Effects 0.000 claims abstract description 23
- 238000000605 extraction Methods 0.000 claims abstract description 16
- 230000007246 mechanism Effects 0.000 claims abstract description 7
- 238000010586 diagram Methods 0.000 claims description 73
- 238000011049 filling Methods 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 230000009191 jumping Effects 0.000 claims description 8
- 230000003137 locomotive effect Effects 0.000 claims description 8
- 238000012795 verification Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 238000013341 scale-up Methods 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 2
- 230000003044 adaptive effect Effects 0.000 claims description 2
- 238000000137 annealing Methods 0.000 claims description 2
- 238000005520 cutting process Methods 0.000 claims description 2
- 238000013434 data augmentation Methods 0.000 claims description 2
- 238000013499 data model Methods 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims description 2
- 230000005764 inhibitory process Effects 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 230000009467 reduction Effects 0.000 claims description 2
- 238000012216 screening Methods 0.000 claims description 2
- 238000003860 storage Methods 0.000 claims description 2
- 238000011179 visual inspection Methods 0.000 claims 2
- 230000008859 change Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种电气化铁路弓网燃弧视觉检测方法，涉及计算机图形识别技术领域。首先对存在燃弧的弓网图像进行掩码标注，然后将标注后的图像作为多维特征融合分割网络的数据集对网路进行训练，分割网络采用深度卷积网络，由特征提取模块、多维特征融合模块和头模块构成，弓网图像通过分割网络进行前向推理，网络分割头子模块输出结果两倍上采样后所得特征图作为弓网图像的分割结果。在多维特征融合模块中加入深度可分离卷积与分组卷积，同通道注意力和空间注意力机制的加入使得网络更加关注燃弧区域特征，训练完成后该网络能够准确地检测出弓网图像中是否发生了燃弧现象，对模型进行在线学习及自适应切换也能够提高网络的准确性与鲁棒性。
Description
技术领域
本发明涉及计算机图形图像识别技术领域。
技术背景
弓网系统是电气化铁路供电系统中的关键组成部分，确保弓网良好的受流性能是列车高速运行的重要安全保障，弓网燃弧是影响弓网间良好受流的一个重要因素。因此研究基于计算机视觉的弓网燃弧视觉检测算法，实现对弓网燃弧鲁棒得实时、准确检测，对于提高弓网检测系统的自动化、智能化水平和保证弓网系统的安全、稳定运行有重要的意义。
目前针对弓网燃弧检测主要有两类方法，一类是基于非视觉的方法，主要通过检测电流和电压信号的变化实现。但列车过电压或负载变化等原因，也会引起电流和电压信号的变化，容易导致误报。H.L.Lan等人认为燃弧声可以作为燃弧现象的检测参数，但是因为声音传感器很难区分电弧声和环境噪声，这种方法未被广泛采用。传统的弓网燃弧检测采用通过紫外传感器检测、红外热成像仪检测或者紫外成像仪检测的方法。代富强等人通过对弓网燃弧光谱的提取与分析，研制了基于特征紫外光和光子计数技术的弓网燃弧检测系统，但是由于紫外传感器检测易受到太阳光中的紫外光干扰，误报、漏报率非常大。胡怡等人基于红外图像和光谱诊断法，对降弓过程中弓网燃弧等离子体的温度以及受电弓滑板、接触线的温升情况进行了研究，但会出现由于弓网燃弧能量较低导致温度变化不明显而漏检的情况。
另一类弓网燃弧检测是基于视觉的方法，Ma等人利用基于离散小波的方法和基于霍夫变换的方法，从弓网图像中提取与磨损有关的特征来判断燃弧是否出现。Wang等人使用图像处理检测受电弓和悬链线接之间的接触点类确定弓网燃弧的存在。Ayudin等人提取摄像头中的一帧，然后通过检查受电弓边缘的接触线位置来检测弓网燃弧。Karakose等人将阈值方法应用于SDRAM(双口RAM)构造的图像矩阵来检测出燃弧，此外，他们还模拟了受电弓和接触网之间的相互作用，以及将当前状态分为三类：危险、安全和缺陷。上述研究主要采用从图像中提取与弓网关系特征，据此判断是否有燃弧发生，且没有针对单帧图像提取燃弧信息。
发明内容
本发明的目的是提供一种电气化铁路弓网燃弧视觉检测方法，它能够有效地实现弓网燃弧像素级分割，从而判别是否有燃弧现象发生。
本发明的目的是通过以下技术方案来实现的：一种电气化铁路弓网燃弧视觉检测方法，包括以下步骤：
步骤一：弓网燃弧数据集获取与制作
通过安装在电力机车车顶的摄像头采集图像生成分辨率为1920像素×1080像素的图像库，并对图像库中所有图片进行中央裁剪和尺度归一化处理，处理后的图像分辨率变换为512像素×512像素，所有处理后的图像组成原始数据集；通过程序自动筛选的方式过滤数据集中的噪声图像和冗余图像并保证数据集的均衡性和多样性，使用LabelMe标注工具标注出图像中的燃弧边界点并生成对应掩码，所有的图像及其掩码共同构成电气化铁路弓网燃弧数据集，数据集按照7:2:1的比例划分为训练集、测试集、验证集；
步骤二：多维特征融合分割网络构建
该网络包括特征提取模块、多维特征融合模块和头模块；
(1)特征提取模块采用在COCO数据集上预训练的ResNet-50网络；ResNet-50网络每次输入弓网燃弧数据集中的一幅图像img，其conv2_x输出对图像img下采样四倍后形成128像素×128像素×256通道的特征图C2，conv3_x输出对图像img下采样八倍后形成64像素×64像素×512通道的特征图C3，conv4_x输出对图像img下采样十六倍后形成32像素×32像素×1024通道的特征图C4，conv5_x输出对图像img下采样三十二倍后形成16像素×16像素×2048通道的特征图C5；
(2)多维特征融合模块包括可级联增强特征金字塔子模块和多维特征注意力子模块；可级联增强特征金字塔子模块首先分别将输入特征图C2、特征图C3、特征图C4、特征图C5的通道归一化为128通道，对应输出特征图A2、特征图A3、特征图A4、特征图A5，然后对特征图A2、特征图A3、特征图A4、特征图A5进行尺度提升增强和尺度下降增强后对应输出特征图F2、特征图F3、特征图F4、特征图F5；定义卷积核大小为3像素×3像素，输入通道数、输出通道数均为128通道，跨度、边界填充均为1像素，分组数为128的卷积层；定义卷积核大小为1像素×1像素，输入通道数、输出通道数均为128通道，跨度、边界填充均为1像素，分组数为1组的卷积层；BN层，Relu激活层的组合成为深度可分离卷积层；
(2.1)尺度提升增强过程：将特征图A5通过双线性插值方式尺度提升一倍后，与特征图A4元素维度相加，相加所得的特征图Tup4经深度可分离卷积层输出特征图B4，将特征图B4通过双线性插值方式尺度提升一倍后，与特征图A3元素维度相加，相加所得的特征图Tup3经深度可分离卷积层输出特征图B3，将特征图B3通过双线性插值方式尺度提升一倍后，与特征图A2元素维度相加，相加所得的特征图Tup2经深度可分离卷积层输出特征图B2，通过尺度提升增强获得特征图B2、特征图B3、特征图B4；
(2.2)尺度下降增强过程：将特征图B2通过双线性插值方式尺度下降一倍后，与特征图B3元素维度相加，相加所得的特征图Tdown3经深度可分离卷积层输出特征图F3，将特征图F3通过双线性插值方式尺度下降一倍后，与特征图B4元素维度相加，相加所得的特征图Tdown4经深度可分离卷积层输出特征图F4，将特征图F4通过双线性插值方式尺度下降一倍后，与特征图A5元素维度相加，相加所得的特征图Tdown5经深度可分离卷积层输出特征图F5，通过尺度下降增强获得特征图F3、特征图F4、特征图F5；
(2.3)将特征图B2重命名为特征图F2；多维特征注意力子模块首先将特征图F3、特征图F4、特征图F5分别采用双线性插值的方式提升到与特征图F2相同的尺度，输出特征图F3up、特征图F4up、特征图F5up，然后将特征图F2、特征图F3up、特征图F4up、特征图F5up在通道维度级联得到特征图Fuse，并对特征图Fuse进行分组卷积得到特征图Fg，最终对特征图Fg采用通道注意力机制和空间注意力机制输出特征图Fen；
(2.3.1)分组卷积过程：采用卷积核大小为3像素×3像素、输入通道数为512通道、输出通道数为128通道，跨度、边界填充均为1像素，分组数为四组的卷积层对Fuse进行卷积，输出特征图Fg；
(2.3.2)通道注意力机制为：首先在特征图Fg的每一通道上进行全局最大池化得到1像素×1像素×128通道的通道权重特征向量vf，然后将通道权重特征向量vf经过输入层节点数为128，隐藏层节点数为32，输出层节点数为128，激活函数为Sigmoid的全连接网络输出通道权重向量v，最终将通道权重向量v与特征图Fg每一通道进行逐元素相乘，得到特征图Fca；
(2.3.3)空间注意力机制为：首先在特征图Fca每一位置的所有通道上进行全局最大池化得到128像素×128像素×1通道的特征图Fsa1，然后将特征图Fsa1经过卷积核大小为3像素×3像素，输入通道数、输出通道数均为1通道，跨度、边界填充均为1像素，分组数为1组的卷积层和Sigmoid激活函数输出空间权重特征图Fsa2，最终将空间权重特征图Fsa2与特征图Fca的每一通道特征图进行逐元素相乘输出128像素×128像素×128通道的特征图Fen；
(3)头模块包括分隔头子模块、边界框头子模块，分割头子模块和边界框头子模块都包含一个特征再提取层，且该两个子模块的特征再提取层具有相同的结构，共九层，每个结构都包含：卷积核大小为3像素×3像素，输入通道数为128通道，输出通道数为256通道，跨度、边界填充均为1像素，分组数为1组的卷积层；BN层，Relu激活层，卷积核大小为3像素×3像素，输入通道数、输出通道数均为256通道，跨度、边界填充均为1像素，分组数为1组的卷积层；BN层，Relu激活层，卷积核大小为3像素×3像素，输入通道数、输出通道数均为256通道，跨度、边界填充均为1像素，分组数为1组的卷积层；BN层，Relu激活层；
(3.1)分割头子模块，首先将特征图Fen经过特征再提取层得到特征图Fst1，然后将特征图Fst1经过卷积核大小为3像素×3像素，输入通道数为256通道，输出通道数为1通道，跨度、边界填充均为1像素，分组数为1组的卷积层；BN层、Sigmoid激活层输出128像素×128像素×1通道的特征图Fst2；通过双线性插值的方式将特征图Fst2尺度提升至512像素×512像素，输出特征图Fs；特征图Fs每一位置上的像素值，代表图像img在相同位置上的像素属于燃弧的概率；
(3.2)边界框头子模块，首先将特征图Fen经过特征再提取层得到特征图Fbt，然后将特征图Fbt经过卷积核大小为3像素×3像素，输入通道数为256通道、输出通道数为4通道，跨度、边界填充均为1像素，分组数为1组的卷积层；BN层、Sigmoid激活层输出128像素×128像素×4通道的特征图Fb；图像img划分为128个×128个，4像素×4像素的像素块，每个位置的像素块与特征图Fb相同位置的像素一一对应，且特征图Fb在该位置的四个通道上各自的像素值分别代表其对应位置像素块所含燃弧的最小包围矩形框中心点的横坐标、中心点纵坐标、宽和高；
步骤三：多维特征融合分割网络训练
网络构建完成后，使用步骤一中的电气化铁路弓网燃弧数据集对多维特征融合分割网络进行训练；初始学习率设置为0.001；首先采用Adam优化器训练200轮，再使用SGD优化器训练300轮，学习率策略选择余弦退火并在训练初始阶段进行模型预热；
多维特征融合分割网络的损失函数为
其中α为平衡因子用来平衡正负样本数量，p为当前像素网络预测其属于燃弧的概率，γ为调制系数，能使得网络更加注重于较难区分的样本，y为当前像素的标签；
边界框回归任务损失函数为
其中A为预测框，B为真实框，C为包含A和B的最小外接矩形框；
中心点损失函数为交叉熵损失函数
多维特征融合分割网络所有参数中，ResNet-50网络直接采用预训练好的权重，其他参数均采用Kaiming He初始化；
训练完成后，网络具备对弓网燃弧的分割能力；将训练好的模型复制一份，其中一份作为在线运行模型，另一份作为在线学习模型；
步骤四：图像输入
在实时处理情况下，提取安装在电力机车或动车车顶摄像头采集并保存在存储区的原始弓网燃弧视频图像，作为待检测图像；在离线处理情况下，将已采集的弓网燃弧视频分解为多个帧组成的图像序列，按照时间顺序逐个提取帧图像作为输入图像，将输入图像归一化为512像素×512像素×3通道大小的图像，如果输入图像为空，则流程中止；
步骤五：弓网燃弧检测
使用步骤三训练所得在线运行模型对步骤四所得图像进行前向推理，分割分支输出图像掩码作为未处理结果，对所得结果依次进行开运算、闭运算、开运算，对边界框分支所得结果进行非极大值抑制，若存在抑制后边界框中内半径超过3像素的燃弧区域，则认为该图像中包含燃弧，跳入步骤六；否则，认为当前图像无燃弧，已完成该帧图像检测，跳入步骤四；
步骤六：数据扩充及模型在线学习
将步骤五所得含有燃弧的图像帧和在线运行模型在该图像上推理所得掩码作为训练数据，采用该训练数据对在线学习模型进行在线训练，并将含有燃弧的图像帧和其掩码保存在图像库中，若图像库中新增图像帧数量达到人工设定阈值30000张，跳入步骤七；否则，跳入步骤四；
步骤七：模型自适应切换
对比在线运行模型和在线学习模型在验证集上AP值的大小，若在线学习模型在验证集上AP值较大，则在线运行模型的参数值替换为在线学习模型的参数值；否则，在线学习模型的参数值替换为在线运行模型的参数值；完成以上操作后跳入步骤四。
所述的噪声图像和冗余图像，其中噪声图像指过明、过暗和不包含弓网信息的图像，冗余图像指相似度超过80％的图像。
所述的燃弧区域是指分割分支输出图像掩码中元素值大于0.6的元素形成的连通区域。
本发明与现有技术相比的优点和效果：
该方法首先对存在燃弧的弓网图像进行掩码标注，然后将受弓网图像及其掩码标注作为多维特征融合分割网络的数据集对网路进行训练，分割网络采用深度卷积网络，由特征提取模块、多维特征融合模块和头模块构成，在燃弧检测过程中，弓网图像通过分割网络进行前向推理，网络分割头子模块输出结果两倍上采样后所得特征图作为弓网图像的分割结果，根据分割结果判断弓网图像中是否含有燃弧，完成对弓网燃弧的检测任务。本发明在多维特征融合模块中加入深度可分离卷积与分组卷积，在极大程度保留原有信息的同时显著减少了网络的计算量，同通道注意力和空间注意力机制的加入使得网络更加关注燃弧区域特征，一定程度上提升了网络效果，训练完成后该网络能够准确地检测出弓网图像中是否发生了燃弧现象，并燃弧的像素级分割结果，对模型进行在线学习及自适应切换也能够提高网络的准确性与鲁棒性。此外，本发明方法对不同的铁路和机车情况均可以处理且可以作为燃弧能量等级分析的前级网络，实际应用过程中只需要根据具体情况改造和增强数据集，适当配置相关参数，即可实现对弓网燃弧的准确监测，具有较强的场景适应能力和可扩展性。
附图说明
图1为本发明的示意图。
图2为本发明的流程图。
具体实施方式：
实施例：
本发明的方法可用于不同电气化铁路路线和机车情况，能够对各种弓网监控视频图像进行燃弧的检测及像素级分割。
具体来说，在采用该方法对弓网燃弧进行检测分割时，首先采用电气化铁路机车车顶监控摄像头拍摄的弓网图像构成弓网图像库，并将弓网图像尺度归一化为512×512像素大小，其深度为3通道，使用LabelMe标注工具标注出图像中燃弧边界点并生成对应掩码，所有弓网图像及其掩码共同构成电气化铁路弓网燃弧数据集，数据集按照7:2:1的比例划分为训练集、测试集、验证集。然后将受弓网图像及其掩码标注作为多维特征融合分割网络的数据集对网路进行训练，分割网络采用深度卷积网络，由特征提取模块、多维特征融合模块和头模块构成，在燃弧检测过程中，弓网图像通过分割网络进行前向推理，网络分割头子模块输出结果两倍上采样后所得特征图作为弓网图像分割结果，根据分割结果判断弓网图像中是否含有燃弧，完成对弓网燃弧的检测任务。本发明在多维特征融合模块中加入深度可分离卷积与分组卷积，在极大程度保留原有信息的同时显著减少了网络的计算量，同通道注意力和空间注意力机制的加入使得网络更加关注燃弧区域特征，一定程度上提升了网络效果，训练完成后该网络能够准确地检测出弓网图像中是否发生了燃弧现象，并燃弧的像素级分割结果，对模型进行在线学习及自适应切换也能够提高网络的准确性与鲁棒性。此外，本发明方法对不同的铁路和机车情况均可以处理且可以作为燃弧能量等级分析的前级网络，实际应用过程中只需要根据具体情况改造和增强数据集，适当配置相关参数，即可实现对弓网燃弧的准确监测，具有较强的场景适应能力和可扩展性。
本发明方法可通过任何计算机编程语言(如python语言)编程实现，基于本方法的检测系统可以在任何PC或者嵌入式系统中实现弓网燃弧实时检测分割应用。
Claims (3)
1.一种电气化铁路弓网燃弧视觉检测方法，包括以下步骤：
步骤一：弓网燃弧数据集获取与制作
通过安装在电力机车车顶的摄像头采集图像生成分辨率为1920像素×1080像素的图像库，并对图像库中所有图片进行中央裁剪和尺度归一化处理，处理后的图像分辨率变换为512像素×512像素，所有处理后的图像组成原始数据集；通过程序自动筛选的方式过滤数据集中的噪声图像和冗余图像并保证数据集的均衡性和多样性，使用LabelMe标注工具标注出图像中的燃弧边界点并生成对应掩码，所有的图像及其掩码共同构成电气化铁路弓网燃弧数据集，数据集按照7:2:1的比例划分为训练集、测试集、验证集；
步骤二：多维特征融合分割网络构建
该网络包括特征提取模块、多维特征融合模块和头模块；
(1)特征提取模块采用在COCO数据集上预训练的ResNet-50网络；ResNet-50网络每次输入弓网燃弧数据集中的一幅图像img，其conv2_x输出对图像img下采样四倍后形成128像素×128像素×256通道的特征图C2，conv3_x输出对图像img下采样八倍后形成64像素×64像素×512通道的特征图C3，conv4_x输出对图像img下采样十六倍后形成32像素×32像素×1024通道的特征图C4，conv5_x输出对图像img下采样三十二倍后形成16像素×16像素×2048通道的特征图C5；
(2)多维特征融合模块包括可级联增强特征金字塔子模块和多维特征注意力子模块；可级联增强特征金字塔子模块首先分别将输入特征图C2、特征图C3、特征图C4、特征图C5的通道归一化为128通道，对应输出特征图A2、特征图A3、特征图A4、特征图A5，然后对特征图A2、特征图A3、特征图A4、特征图A5进行尺度提升增强和尺度下降增强后对应输出特征图F2、特征图F3、特征图F4、特征图F5；定义卷积核大小为3像素×3像素，输入通道数、输出通道数均为128通道，跨度、边界填充均为1像素，分组数为128的卷积层；定义卷积核大小为1像素×1像素，输入通道数、输出通道数均为128通道，跨度、边界填充均为1像素，分组数为1组的卷积层；BN层，Relu激活层的组合成为深度可分离卷积层；
(2.1)尺度提升增强过程：将特征图A5通过双线性插值方式尺度提升一倍后，与特征图A4元素维度相加，相加所得的特征图Tup4经深度可分离卷积层输出特征图B4，将特征图B4通过双线性插值方式尺度提升一倍后，与特征图A3元素维度相加，相加所得的特征图Tup3经深度可分离卷积层输出特征图B3，将特征图B3通过双线性插值方式尺度提升一倍后，与特征图A2元素维度相加，相加所得的特征图Tup2经深度可分离卷积层输出特征图B2，通过尺度提升增强获得特征图B2、特征图B3、特征图B4；
(2.2)尺度下降增强过程：将特征图B2通过双线性插值方式尺度下降一倍后，与特征图B3元素维度相加，相加所得的特征图Tdown3经深度可分离卷积层输出特征图F3，将特征图F3通过双线性插值方式尺度下降一倍后，与特征图B4元素维度相加，相加所得的特征图Tdown4经深度可分离卷积层输出特征图F4，将特征图F4通过双线性插值方式尺度下降一倍后，与特征图A5元素维度相加，相加所得的特征图Tdown5经深度可分离卷积层输出特征图F5，通过尺度下降增强获得特征图F3、特征图F4、特征图F5；
(2.3)将特征图B2重命名为特征图F2；多维特征注意力子模块首先将特征图F3、特征图F4、特征图F5分别采用双线性插值的方式提升到与特征图F2相同的尺度，输出特征图F3up、特征图F4up、特征图F5up，然后将特征图F2、特征图F3up、特征图F4up、特征图F5up在通道维度级联得到特征图Fuse，并对特征图Fuse进行分组卷积得到特征图Fg，最终对特征图Fg采用通道注意力机制和空间注意力机制输出特征图Fen；
(2.3.1)分组卷积过程：采用卷积核大小为3像素×3像素、输入通道数为512通道、输出通道数为128通道，跨度、边界填充均为1像素，分组数为四组的卷积层对Fuse进行卷积，输出特征图Fg；
(2.3.2)通道注意力机制为：首先在特征图Fg的每一通道上进行全局最大池化得到1像素×1像素×128通道的通道权重特征向量vf，然后将通道权重特征向量vf经过输入层节点数为128，隐藏层节点数为32，输出层节点数为128，激活函数为Sigmoid的全连接网络输出通道权重向量v，最终将通道权重向量v与特征图Fg每一通道进行逐元素相乘，得到特征图Fca；
(2.3.3)空间注意力机制为：首先在特征图Fca每一位置的所有通道上进行全局最大池化得到128像素×128像素×1通道的特征图Fsa1，然后将特征图Fsa1经过卷积核大小为3像素×3像素，输入通道数、输出通道数均为1通道，跨度、边界填充均为1像素，分组数为1组的卷积层和Sigmoid激活函数输出空间权重特征图Fsa2，最终将空间权重特征图Fsa2与特征图Fca的每一通道特征图进行逐元素相乘输出128像素×128像素×128通道的特征图Fen；
(3)头模块包括分隔头子模块、边界框头子模块，分割头子模块和边界框头子模块都包含一个特征再提取层，且该两个子模块的特征再提取层具有相同的结构，共九层，每个结构都包含：卷积核大小为3像素×3像素，输入通道数为128通道，输出通道数为256通道，跨度、边界填充均为1像素，分组数为1组的卷积层；BN层，Relu激活层，卷积核大小为3像素×3像素，输入通道数、输出通道数均为256通道，跨度、边界填充均为1像素，分组数为1组的卷积层；BN层，Relu激活层，卷积核大小为3像素×3像素，输入通道数、输出通道数均为256通道，跨度、边界填充均为1像素，分组数为1组的卷积层；BN层，Relu激活层；
(3.1)分割头子模块，首先将特征图Fen经过特征再提取层得到特征图Fst1，然后将特征图Fst1经过卷积核大小为3像素×3像素，输入通道数为256通道，输出通道数为1通道，跨度、边界填充均为1像素，分组数为1组的卷积层；BN层、Sigmoid激活层输出128像素×128像素×1通道的特征图Fst2；通过双线性插值的方式将特征图Fst2尺度提升至512像素×512像素，输出特征图Fs；特征图Fs每一位置上的像素值，代表图像img在相同位置上的像素属于燃弧的概率；
(3.2)边界框头子模块，首先将特征图Fen经过特征再提取层得到特征图Fbt，然后将特征图Fbt经过卷积核大小为3像素×3像素，输入通道数为256通道、输出通道数为4通道，跨度、边界填充均为1像素，分组数为1组的卷积层；BN层、Sigmoid激活层输出128像素×128像素×4通道的特征图Fb；图像img划分为128个×128个，4像素×4像素的像素块，每个位置的像素块与特征图Fb相同位置的像素一一对应，且特征图Fb在该位置的四个通道上各自的像素值分别代表其对应位置像素块所含燃弧的最小包围矩形框中心点的横坐标、中心点纵坐标、宽和高；
步骤三：多维特征融合分割网络训练
网络构建完成后，使用步骤一中的电气化铁路弓网燃弧数据集对多维特征融合分割网络进行训练；初始学习率设置为0.001；首先采用Adam优化器训练200轮，再使用SGD优化器训练300轮，学习率策略选择余弦退火并在训练初始阶段进行模型预热；
多维特征融合分割网络的损失函数为
其中α为平衡因子用来平衡正负样本数量，p为当前像素网络预测其属于燃弧的概率，γ为调制系数，能使得网络更加注重于较难区分的样本，y为当前像素的标签；
边界框回归任务损失函数为
其中A为预测框，B为真实框，C为包含A和B的最小外接矩形框；
中心点损失函数为交叉熵损失函数
多维特征融合分割网络所有参数中，ResNet-50网络直接采用预训练好的权重，其他参数均采用Kaiming He初始化；
训练完成后，网络具备对弓网燃弧的分割能力；将训练好的模型复制一份，其中一份作为在线运行模型，另一份作为在线学习模型；
步骤四：图像输入
在实时处理情况下，提取安装在电力机车或动车车顶摄像头采集并保存在存储区的原始弓网燃弧视频图像，作为待检测图像；在离线处理情况下，将已采集的弓网燃弧视频分解为多个帧组成的图像序列，按照时间顺序逐个提取帧图像作为输入图像，将输入图像归一化为512像素×512像素×3通道大小的图像，如果输入图像为空，则流程中止；
步骤五：弓网燃弧检测
使用步骤三训练所得在线运行模型对步骤四所得图像进行前向推理，分割分支输出图像掩码作为未处理结果，对所得结果依次进行开运算、闭运算、开运算，对边界框分支所得结果进行非极大值抑制，若存在抑制后边界框中内半径超过3像素的燃弧区域，则认为该图像中包含燃弧，跳入步骤六；否则，认为当前图像无燃弧，已完成该帧图像检测，跳入步骤四；
步骤六：数据扩充及模型在线学习
将步骤五所得含有燃弧的图像帧和在线运行模型在该图像上推理所得掩码作为训练数据，采用该训练数据对在线学习模型进行在线训练，并将含有燃弧的图像帧和其掩码保存在图像库中，若图像库中新增图像帧数量达到人工设定阈值30000张，跳入步骤七；否则，跳入步骤四；
步骤七：模型自适应切换
对比在线运行模型和在线学习模型在验证集上AP值的大小，若在线学习模型在验证集上AP值较大，则在线运行模型的参数值替换为在线学习模型的参数值；否则，在线学习模型的参数值替换为在线运行模型的参数值；完成以上操作后跳入步骤四。
2.根据权利要求1所述的电气化铁路弓网燃弧视觉检测方法，其特征在于：所述的噪声图像和冗余图像，其中噪声图像指过明、过暗和不包含弓网信息的图像，冗余图像指相似度超过80％的图像。
3.根据权利要求1所述的电气化铁路弓网燃弧视觉检测方法，其特征在于：所述的燃弧区域是指分割分支输出图像掩码中元素值大于0.6的元素形成的连通区域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110102075.0A CN112766195B (zh) | 2021-01-26 | 2021-01-26 | 一种电气化铁路弓网燃弧视觉检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110102075.0A CN112766195B (zh) | 2021-01-26 | 2021-01-26 | 一种电气化铁路弓网燃弧视觉检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112766195A true CN112766195A (zh) | 2021-05-07 |
| CN112766195B CN112766195B (zh) | 2022-03-29 |
Family
ID=75707438
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110102075.0A Expired - Fee Related CN112766195B (zh) | 2021-01-26 | 2021-01-26 | 一种电气化铁路弓网燃弧视觉检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112766195B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113295145A (zh) * | 2021-05-20 | 2021-08-24 | 株洲中车时代电气股份有限公司 | 一种弓网运行状态的检测系统及检测方法 |
| CN113436157A (zh) * | 2021-06-18 | 2021-09-24 | 西南交通大学 | 一种用于受电弓故障的车载图像识别方法 |
| CN113763326A (zh) * | 2021-08-04 | 2021-12-07 | 武汉工程大学 | 一种基于Mask Scoring R-CNN网络的受电弓检测方法 |
| CN114034390A (zh) * | 2021-11-08 | 2022-02-11 | 山东大学 | 一种基于红外检测的设备温度异常检测系统 |
| CN114092820A (zh) * | 2022-01-20 | 2022-02-25 | 城云科技（中国）有限公司 | 目标检测方法及应用其的移动目标跟踪方法 |
| CN114140731A (zh) * | 2021-12-08 | 2022-03-04 | 西南交通大学 | 一种牵引变电所异常检测方法 |
| CN117197415A (zh) * | 2023-11-08 | 2023-12-08 | 四川泓宝润业工程技术有限公司 | 天然气长输管道巡检区域目标检测方法、装置及存储介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103575255A (zh) * | 2013-11-06 | 2014-02-12 | 西南交通大学 | 一种基于线阵面阵双图像采集通道的高速轨道状态检测方法 |
| CN104361196A (zh) * | 2014-09-22 | 2015-02-18 | 西南交通大学 | 一种计及列车速度的弓网离线电弧数学模型 |
| CN108333488A (zh) * | 2018-02-08 | 2018-07-27 | 南京视道信息技术有限公司 | 基于紫外、红外和光学图像相融合的燃弧检测方法 |
| CN108334842A (zh) * | 2018-02-02 | 2018-07-27 | 成都国铁电气设备有限公司 | 一种识别弓网受流燃弧大小的方法 |
| CN109711413A (zh) * | 2018-12-30 | 2019-05-03 | 陕西师范大学 | 基于深度学习的图像语义分割方法 |
| US20200075148A1 (en) * | 2018-08-31 | 2020-03-05 | The Board Of Regents Of The University Of Texas System | Deep learning based dosed prediction for treatment planning and quality assurance in radiation therapy |
| CN111209918A (zh) * | 2020-01-06 | 2020-05-29 | 河北工业大学 | 一种图像显著性目标检测方法 |
| CN111259762A (zh) * | 2020-01-13 | 2020-06-09 | 西南交通大学 | 一种受电弓异常检测方法 |
| US20200357143A1 (en) * | 2019-05-09 | 2020-11-12 | Sri International | Semantically-aware image-based visual localization |
| CN111932550A (zh) * | 2020-07-01 | 2020-11-13 | 浙江大学 | 一种基于深度学习的3d心室核磁共振视频分割系统 |
| CN112085735A (zh) * | 2020-09-28 | 2020-12-15 | 西安交通大学 | 一种基于自适应锚框的铝材质图像缺陷检测方法 |
-
2021
- 2021-01-26 CN CN202110102075.0A patent/CN112766195B/zh not_active Expired - Fee Related
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103575255A (zh) * | 2013-11-06 | 2014-02-12 | 西南交通大学 | 一种基于线阵面阵双图像采集通道的高速轨道状态检测方法 |
| CN104361196A (zh) * | 2014-09-22 | 2015-02-18 | 西南交通大学 | 一种计及列车速度的弓网离线电弧数学模型 |
| CN108334842A (zh) * | 2018-02-02 | 2018-07-27 | 成都国铁电气设备有限公司 | 一种识别弓网受流燃弧大小的方法 |
| CN108333488A (zh) * | 2018-02-08 | 2018-07-27 | 南京视道信息技术有限公司 | 基于紫外、红外和光学图像相融合的燃弧检测方法 |
| US20200075148A1 (en) * | 2018-08-31 | 2020-03-05 | The Board Of Regents Of The University Of Texas System | Deep learning based dosed prediction for treatment planning and quality assurance in radiation therapy |
| CN109711413A (zh) * | 2018-12-30 | 2019-05-03 | 陕西师范大学 | 基于深度学习的图像语义分割方法 |
| US20200357143A1 (en) * | 2019-05-09 | 2020-11-12 | Sri International | Semantically-aware image-based visual localization |
| CN111209918A (zh) * | 2020-01-06 | 2020-05-29 | 河北工业大学 | 一种图像显著性目标检测方法 |
| CN111259762A (zh) * | 2020-01-13 | 2020-06-09 | 西南交通大学 | 一种受电弓异常检测方法 |
| CN111932550A (zh) * | 2020-07-01 | 2020-11-13 | 浙江大学 | 一种基于深度学习的3d心室核磁共振视频分割系统 |
| CN112085735A (zh) * | 2020-09-28 | 2020-12-15 | 西安交通大学 | 一种基于自适应锚框的铝材质图像缺陷检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| LONG CHEN ET AL.: "SCA-CNN: Spatial and Channel-wise Attention in Convolutional Networks for Image Captioning", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
| 权伟 等: "在线学习多重检测的可视对象跟踪方法", 《电子学报》 * |
| 隆超: "高速铁路弓网燃弧检测系统研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113295145A (zh) * | 2021-05-20 | 2021-08-24 | 株洲中车时代电气股份有限公司 | 一种弓网运行状态的检测系统及检测方法 |
| CN113436157A (zh) * | 2021-06-18 | 2021-09-24 | 西南交通大学 | 一种用于受电弓故障的车载图像识别方法 |
| CN113763326A (zh) * | 2021-08-04 | 2021-12-07 | 武汉工程大学 | 一种基于Mask Scoring R-CNN网络的受电弓检测方法 |
| CN113763326B (zh) * | 2021-08-04 | 2023-11-21 | 武汉工程大学 | 一种基于Mask Scoring R-CNN网络的受电弓检测方法 |
| CN114034390A (zh) * | 2021-11-08 | 2022-02-11 | 山东大学 | 一种基于红外检测的设备温度异常检测系统 |
| CN114034390B (zh) * | 2021-11-08 | 2023-11-03 | 山东大学 | 一种基于红外检测的设备温度异常检测系统 |
| CN114140731A (zh) * | 2021-12-08 | 2022-03-04 | 西南交通大学 | 一种牵引变电所异常检测方法 |
| CN114092820A (zh) * | 2022-01-20 | 2022-02-25 | 城云科技（中国）有限公司 | 目标检测方法及应用其的移动目标跟踪方法 |
| CN117197415A (zh) * | 2023-11-08 | 2023-12-08 | 四川泓宝润业工程技术有限公司 | 天然气长输管道巡检区域目标检测方法、装置及存储介质 |
| CN117197415B (zh) * | 2023-11-08 | 2024-01-30 | 四川泓宝润业工程技术有限公司 | 天然气长输管道巡检区域目标检测方法、装置及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112766195B (zh) | 2022-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112766195B (zh) | 一种电气化铁路弓网燃弧视觉检测方法 | |
| CN108805015B (zh) | 加权卷积自编码长短期记忆网络人群异常检测方法 | |
| CN111046880B (zh) | 一种红外目标图像分割方法、系统、电子设备及存储介质 | |
| CN111784633B (zh) | 一种面向电力巡检视频的绝缘子缺损自动检测算法 | |
| CN110929593B (zh) | 一种基于细节辨别区别的实时显著性行人检测方法 | |
| CN111738342B (zh) | 一种受电弓异物检测方法、存储介质及计算机设备 | |
| Ribeiro et al. | An end-to-end deep neural architecture for optical character verification and recognition in retail food packaging | |
| CN114841972A (zh) | 基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法 | |
| KR102132407B1 (ko) | 점진적 딥러닝 학습을 이용한 적응적 영상 인식 기반 감성 추정 방법 및 장치 | |
| Mohajerani et al. | Shadow detection in single RGB images using a context preserver convolutional neural network trained by multiple adversarial examples | |
| CN112597928B (zh) | 一种事件检测方法及相关装置 | |
| CN114743119A (zh) | 基于无人机的高铁接触网吊弦螺母缺陷检测方法 | |
| CN111738054A (zh) | 一种基于时空自编码器网络和时空cnn的行为异常检测方法 | |
| CN114648714A (zh) | 一种基于yolo的车间规范行为的监测方法 | |
| CN112766056A (zh) | 一种基于深度神经网络的弱光环境车道线检测方法、装置 | |
| CN110414430B (zh) | 一种基于多比例融合的行人重识别方法及装置 | |
| CN115239672A (zh) | 缺陷检测方法及装置、设备、存储介质 | |
| CN116977292A (zh) | 一种太阳能电池片虚焊检测方法 | |
| CN116912184B (zh) | 一种基于篡改区域分离和区域约束损失的弱监督深度修复图像篡改定位方法及系统 | |
| KR20230023263A (ko) | 딥러닝 기반 하수도 결함 감지 방법 및 그 장치 | |
| CN116524725B (zh) | 一种智能驾驶的交通标志图像数据识别系统 | |
| CN117197554A (zh) | 一种变压器漏油实时检测方法及系统 | |
| CN116958786A (zh) | 一种基于YOLOv5和ResNet50神经网络的化工废渣动态视觉识别方法 | |
| CN111666819B (zh) | 一种融合多元信息的高精度视频异常事件检测方法 | |
| CN115700737A (zh) | 一种基于视频监控的溢油检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220329 |