CN112329863B - 一种牵引变电所内隔离开关状态识别方法 - Google Patents
一种牵引变电所内隔离开关状态识别方法 Download PDFInfo
- Publication number
- CN112329863B CN112329863B CN202011237345.0A CN202011237345A CN112329863B CN 112329863 B CN112329863 B CN 112329863B CN 202011237345 A CN202011237345 A CN 202011237345A CN 112329863 B CN112329863 B CN 112329863B
- Authority
- CN
- China
- Prior art keywords
- layer
- pixels
- isolating switch
- output
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000002955 isolation Methods 0.000 title claims abstract description 54
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000011218 segmentation Effects 0.000 claims abstract description 60
- 238000011176 pooling Methods 0.000 claims abstract description 40
- 238000000605 extraction Methods 0.000 claims abstract description 10
- 230000004927 fusion Effects 0.000 claims abstract description 10
- 239000000284 extract Substances 0.000 claims abstract description 8
- 238000012544 monitoring process Methods 0.000 claims abstract description 5
- 238000012549 training Methods 0.000 claims description 17
- 238000010586 diagram Methods 0.000 claims description 16
- 238000002372 labelling Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 7
- 230000009191 jumping Effects 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000004519 manufacturing process Methods 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 2
- 238000010276 construction Methods 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 claims description 2
- 210000002569 neuron Anatomy 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 238000005192 partition Methods 0.000 claims description 2
- 230000001788 irregular Effects 0.000 abstract description 3
- 238000007689 inspection Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 3
- 206010063385 Intellectualisation Diseases 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 240000005319 Sedum acre Species 0.000 description 1
- 235000014327 Sedum acre Nutrition 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/06—Recognition of objects for industrial automation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种牵引变电所内隔离开关状态识别方法,涉及铁路牵引变电所智能监测技术领域。该方法通过构建多任务学习网络进行隔离开关分割和状态识别,主要由两个阶段构成,第一阶段隔离开关分割网络包含输入层、编码层、解码层、特征融合模块和输出层,其中解码层和特征融合模块中的条形池化模块和金字塔池化模块能够有效提取隔离开关的旋转闸刀和其他不规则形状的特征,并准确分割隔离开关;第二阶段隔离开关识别网络包含输入层、特征提取层、全连接层和输出层,其中特征提取层的全局上下文模块能够有效提取隔离开关图像的全局上下文信息,从而准确识别“开”、“半开”、“闭”隔离开关的三种状态。
Description
技术领域
本发明涉及铁路牵引变电所智能监测技术领域。
背景技术
隔离开关作为电网系统中使用最广泛,安装量最大的设备,其运行状态是决定变电站能否安全运行的关键因素之一。隔离开关一旦发生故障,将会造成严重的故障和经济损失。因此,在巡检的过程中,隔离开关是否正常工作是重要的检查任务。传统的电力巡检方法主要靠人工巡检,该方式耗费时力、巡检周期长、且易受到巡检人员主观判断等影响。寻找一种可减少人力资源,方便高效率的隔离开关状态识别方法便具有重大的意义。无人机与高清摄像头的出现,使得拍摄隔离开关图像代替原始的目视检查成为可能。通过智能设备进行巡检的方式相较于传统的方式具有安全性高、便于实施、效率高等优点,使用摄像设备拍摄隔离开关的图像,进行分析和处理,提高了数据的利用效率,为整个智能化系统的实现提供了数据支撑,同时,机器学习和深度学习的发展,使得计算机视觉技术方法突飞猛进,无论是实现速度还是准确度都得到了极大的提升,为整个智能化系统的实现提供了技术支撑。因此,利用目前先进的计算机视觉技术对隔离开关的状态进行识别是变电站智能化的重要一步,具有重大的意义。2007年,石延辉等通过提取高压隔离开关的具体图像特征,实现了局部边缘检测算法。2012年,陈安伟等利用SIFT和Hough变换对隔离开关的位置信息和状态信息进行建模,实现自动识别。2016年,邵剑雄等提取了Lab颜色特征、轮廓特征和方向梯度直方图(HOG),并应用霍夫森林训练状态识别模型来识别隔离开关状态。2017年,Wang J.等提出了一种基于经典机器学习的刀闸位置检测与跟踪的隔离开关识别方法,提取了SIFT和轮廓特征,并利用开关两臂之间的距离来确定隔离开关的“开”或“关”状态。
然而,使用手动的特征学习很难确保准确性、健壮性和灵活性。特别是,手动提取的特征必须与SVM和随机森林等分类器结合使用。如HOG对目标或背景的任意变化非常敏感,而SIFT特征对于平滑边缘几乎没有效果,当目标不够清晰时,HOG特征的检测率下降。因此,上述传统方法需要改进。
发明内容
本发明的目的是提供一种牵引变电所内隔离开关状态识别方法,它能有效地解决隔离开关状态识别确保准确性、健壮性和灵活性的技术问题。
本发明的目的是通过以下技术方案来实现的:一种牵引变电所内隔离开关状态识别方法,包括如下步骤:
步骤一、获取与制作隔离开关数据集
隔离开关数据集的获取:首先,将牵引变电所内杆塔搭载的监控摄像头拍摄的图像构成图像库,共10000张,图像尺寸大小为1920×1080×3像素,对这些源图像进行尺度归一化处理,处理后的图像统一为256×256×3像素大小;然后是隔离开关数据集的制作,制作分为两个部分,其一是隔离开关真实标签分割图的标注任务,使用LabelMe标注出图像中的隔离开关区域,得到隔离开关的真实标签分割图;另一个是隔离开关状态标注任务,对所有图像分别标注为“开”、“半开”、“闭”三种状态,所有图像及其标注结果共同构成隔离开关数据集;
步骤二、多任务学习网络构建
该多任务学习网络由第一阶段的隔离开关分割网络与第二阶段的隔离开关状态识别网络构成,其中,隔离开关分割网络实现隔离开关的精确分割,隔离开关状态识别网络实现隔离开关的状态识别;
第一阶段的隔离开关分割网络包含输入层、编码层、解码层、特征融合模块和输出层,,将输入图像和256×256×3像素的隔离开关真实标签分割图同时输入隔离开关分割网络,构成输入层,其中,输入图像为256×256×3像素的三维矩阵;编码层一共分为五层,除了第五层只有一个卷积层外,其余每个编码层包含一个卷积层和池化层;其中,第一层卷积层和池化层分别输出包含256×256×64像素、128×128×64像素的两组特征图,第二层卷积层和池化层分别输出包含128×128×128像素、64×64×128像素的两组特征图,第三层卷积层和池化层分别输出包含64×64×256像素、32×32×256像素的两组特征图,第四层卷积层和池化层分别输出包含32×32×512像素、16×16×512像素的两组特征图,第五层卷积层输出16×16×1024像素的特征图;解码层也分为五层,除了第十层只有一个卷积层外,其余每个解码层包含一个卷积层、一个条形池化层和一个反卷积层;其中,第六层的卷积层、条形池化层和反卷积层分别输出包含16×16×1024像素、16×16×1024像素、32×32×512像素的三组特征图,第六层反卷积层的输出结果和第四层卷积层的输出结果在第三个维度上拼接在一起构成新的特征图,其维度为32×32×1024像素;第七层卷积层、条形池化层和反卷积层分别输出32×32×512像素、32×32×512像素、64×64×256像素的三组特征图,第七层反卷积层的输出结果和第三层卷积层的输出结果在第三个维度上拼接在一起构成新的特征图,其维度为64×64×512像素;第八层卷积层、条形池化层和反卷积层分别输出64×64×256像素、64×64×256像素、128×128×128像素的三组特征图,第八层反卷积层的输出结果和第二层卷积层的输出结果在第三个维度上拼接在一起构成新的特征图,其维度为128×128×256像素;第九层卷积层、条形池化层和反卷积层分别输出128×128×128像素、128×128×128像素、256×256×64像素的三组特征图,第九层反卷积层的输出结果和第一层卷积层的输出结果在第三个维度上拼接在一起构成新的特征图,其维度为256×256×128像素;第十层卷积层输出256×256×64像素的特征图;特征融合模块一共分为四个步骤,首先,将解码器得到的256×256×64像素的特征图输入通道注意力模块得到256×256×64像素的新的特征图,接着经过金字塔池化模块、条形池化模块分别得到256×256×64像素、256×256×64像素的特征图,再将金字塔池化模块的输出结果和条形池化模块的输出结果在第三个维度上拼接在一起构成新的特征图,其维度为256×256×128像素;最后经过一层卷积层输出256×256×3像素的隔离开关分割图,输出层直接提取隔离开关分割图作为输出;
第二阶段的隔离开关识别包含输入层、特征提取层、全连接层和输出层;其中输入层分为三个部分,第一个部分由隔离开关分割网络中的通过通道注意力模块得到的256×256×64像素的特征图和输出层得到的256×256×3像素的隔离开关分割图在第三个维度上拼接构成,形成256×256×67像素新的特征图;第二个部分是256×256×3像素的隔离开关分割图通过尺寸变换为65536×3像素的特征图,再分别通过取平均和取最大值操作,得到二个3×1像素的特征图;第三个部分是隔离开关状态真实的标签值;特征提取层一共分为六层,由输入层的第一个部分作为输入,前二层分别包含一个最大池化层和一个卷积层,即第一层的最大池化层和卷积层分别输出128×128×67像素、128×128×8像素的两组特征图,第二层最大池化层和卷积层分别输出64×64×8像素、64×64×16像素的两组特征图,第三层卷积层输出64×64×32像素的特征图,第四层为全局上、下文模块,输出64×64×32像素的特征图;第五层为通过尺寸变换得到4096×32像素的特征图,再分别通过取平均和取最大值操作,输出得到二个32×1像素的特征图,第六层将输入层的第二个部分和第五层输出的二个特征图在第一个维度上拼接,得到70×1像素的特征图;再经过神经元个数为三的全连接层,最后由Softmax函数输出“开”、“半开”、“闭”三种状态的得分;输出层提取其中得分最大的一个状态作为输出;
步骤三、多任务学习网络训练
多任务学习网络构建完成后,使用步骤一中的隔离开关数据集对多任务学习网络进行训练,训练采用分阶段按顺序训练策略,具体是,先训练隔离开关分割网络,再训练隔离开关状态识别网络;训练方法均采用目前广泛使用的Adam方法,训练时隔离开关分割网络的损失函数设置为n表示隔离开关数据集的数量,yi代表隔离开关的真实标签分割图,代表隔离开关分割网络输出的分割图;隔离开关状态识别网络的损失函数设置为k代表隔离开关状态类别的数量,这里的隔离开关状态类别一共为三类,分别是“开”、“半开”、“闭”三种状态状态,所以k=3,yi,k代表隔离开关的真实状态,pi,k代表隔离开关状态识别网络输出的隔离开关状态,训练完成后,隔离开关分割网络具备对隔离开关分割的能力,隔离开关状态识别网络具备对隔离开关状态识别的能力;
步骤四、图像输入
在实时处理情况下,提取牵引变电所内摄像头采集并保存在存储区的原始隔离开关视频图像,作为待进行隔离开关状态识别的输入图像;在离线处理情况下,将已釆集的隔离开关视频文件分解为多个帧组成的图像序列,按照时间顺序,逐个提取帧图像作为输入图像,将输入图像尺度归一化为256×256×3像素大小的图像,如果输入图像为空,则整个流程中止;
步骤五、隔离开关分割与状态识别
使用步骤三训练得到的多任务学习网络对步骤四中输入的隔离开关图像进行分割和状态识别,输入图像在经过第一阶段的隔离开关分割网络正向处理之后,得到隔离开关的分割图,然后经过第二阶段的隔离开关状态识别网络,得到隔离开关状态结果,当隔离开关的分割图与真实标签分割图的交并比大于0.9且状态识别正确,跳转到步骤四,否则,认为当前输入图像分割和状态识别不准确,跳转到步骤六;
步骤六、多任务学习网络在线学习
将未分割的隔离开关图像以及状态识别不准确的输入图像重新人工制作真实标签分割图和状态类别,将输入图像及其重新标记的真实标签分割图和状态类别作为在线训练集,并对多任务学习网络进行在线学习,然后跳转到步骤四。
本发明的优点和积极效果:
本发明提出一种牵引变电所内隔离开关状态识别方法。该方法通过构建多任务学习网络进行隔离开关分割和状态识别,主要由两个阶段构成,第一阶段隔离开关分割网络包含输入层、编码层、解码层、特征融合模块和输出层,其中解码层和特征融合模块中的条形池化模块和金字塔池化模块能够有效提取隔离开关的旋转闸刀和其他不规则形状的特征,并准确分割隔离开关;第二阶段隔离开关识别网络包含输入层、特征提取层、全连接层和输出层,其中特征提取层的全局上下文模块能够有效提取隔离开关图像的全局上下文信息,从而准确识别“开”、“半开”、“闭”隔离开关的三种状态。训练完成后,该多任务学习网络能够准确分割出隔离开关图像,并识别隔离开关状态,能够满足牵引变电所内电力巡检智能化的要求。
此外,本发明方法对不同的牵引变电所的隔离开关均可以处理,在实际应用过程中只要根据实际情况对隔离开关数据集进行改造,适当配置相关参数,即可实现对隔离开关的状态识别,具有较强的鲁棒性和场景适应能力。
附图说明
图1为本发明的技术流程图
具体实施方式
本发明的方法可用于不同的牵引变电所的隔离开关,能够对各种变电所的隔离开关监控视频图像进行隔离开关状态的准确识别。
具体为,采用本发明方法对隔离开关进行状态识别时,首先采用牵引变电所内的固定摄像头或无人机摄像设备拍摄的隔离开关图像构成隔离开关图像库,并将隔离开关图像尺寸归一化为256×256×3像素大小,然后利用标注软件对隔离开关进行分割区域和状态标注,隔离开关图像与标注结果共同构成隔离开关数据集。将该数据集输入多任务学习网络进行隔离开关分割和状态识别,该主要由两个阶段构成,第一阶段隔离开关分割网络包含输入层、编码层、解码层、特征融合模块和输出层,其中解码层和特征融合模块中的条形池化模块和金字塔池化模块能够有效提取隔离开关的旋转闸刀和其他不规则形状的特征,并准确分割隔离开关;第二阶段隔离开关识别网络包含输入层、特征提取层、全连接层和输出层,其中特征提取层的全局上下文模块能够有效提取隔离开关图像的全局上下文信息,从而准确识别“开”、“半开”、“闭”隔离开关的三种状态。训练完成后,该多任务学习网络能够准确分割出隔离开关图像,并识别隔离开关状态,同时通过对未正常分割和状态识别的隔离开关图像进行在线学习,能够提高多任务学习网络的泛化能力。此外,本发明方法对不同的牵引变电所的隔离开关均可以处理,在实际应用过程中只要根据实际情况对隔离开关数据集进行改造,适当配置相关参数,即可实现对隔离开关的分割和状态识别,具有较强的鲁棒性和场景适应能力。
本发明方法可通过任何计算机程序设计语言(如Python语言)编程实现,基于本方法的检测系统软件可在任何PC或者嵌入式系统中实现实时隔离开关状态识别应用。
Claims (1)
1.一种牵引变电所内隔离开关状态识别方法,包括如下步骤:
步骤一、获取与制作隔离开关数据集
隔离开关数据集的获取:首先,将牵引变电所内杆塔搭载的监控摄像头拍摄的图像构成图像库,共10000张,图像尺寸大小为1920×1080×3像素,对这些源图像进行尺度归一化处理,处理后的图像统一为256×256×3像素大小;然后是隔离开关数据集的制作,制作分为两个部分,其一是隔离开关真实标签分割图的标注任务,使用LabelMe标注出图像中的隔离开关区域,得到隔离开关的真实标签分割图;另一个是隔离开关状态标注任务,对所有图像分别标注为“开”、“半开”、“闭”三种状态,所有图像及其标注结果共同构成隔离开关数据集;
步骤二、多任务学习网络构建
该多任务学习网络由第一阶段的隔离开关分割网络与第二阶段的隔离开关状态识别网络构成,其中,隔离开关分割网络实现隔离开关的精确分割,隔离开关状态识别网络实现隔离开关的状态识别;
第一阶段的隔离开关分割网络包含输入层、编码层、解码层、特征融合模块和输出层,将输入图像和256×256×3像素的隔离开关真实标签分割图同时输入隔离开关分割网络,构成输入层,其中,输入图像为256×256×3像素的三维矩阵;编码层一共分为五层,除了第五层只有一个卷积层外,其余每个编码层包含一个卷积层和池化层;其中,第一层卷积层和池化层分别输出包含256×256×64像素、128×128×64像素的两组特征图,第二层卷积层和池化层分别输出包含128×128×128像素、64×64×128像素的两组特征图,第三层卷积层和池化层分别输出包含64×64×256像素、32×32×256像素的两组特征图,第四层卷积层和池化层分别输出包含32×32×512像素、16×16×512像素的两组特征图,第五层卷积层输出16×16×1024像素的特征图;解码层也分为五层,除了第十层只有一个卷积层外,其余每个解码层包含一个卷积层、一个条形池化层和一个反卷积层;其中,第六层的卷积层、条形池化层和反卷积层分别输出包含16×16×1024像素、16×16×1024像素、32×32×512像素的三组特征图,第六层反卷积层的输出结果和第四层卷积层的输出结果在第三个维度上拼接在一起构成新的特征图,其维度为32×32×1024像素;第七层卷积层、条形池化层和反卷积层分别输出32×32×512像素、32×32×512像素、64×64×256像素的三组特征图,第七层反卷积层的输出结果和第三层卷积层的输出结果在第三个维度上拼接在一起构成新的特征图,其维度为64×64×512像素;第八层卷积层、条形池化层和反卷积层分别输出64×64×256像素、64×64×256像素、128×128×128像素的三组特征图,第八层反卷积层的输出结果和第二层卷积层的输出结果在第三个维度上拼接在一起构成新的特征图,其维度为128×128×256像素;第九层卷积层、条形池化层和反卷积层分别输出128×128×128像素、128×128×128像素、256×256×64像素的三组特征图,第九层反卷积层的输出结果和第一层卷积层的输出结果在第三个维度上拼接在一起构成新的特征图,其维度为256×256×128像素;第十层卷积层输出256×256×64像素的特征图;特征融合模块一共分为四个步骤,首先,将解码器得到的256×256×64像素的特征图输入通道注意力模块得到256×256×64像素的新的特征图,接着经过金字塔池化模块、条形池化模块分别得到256×256×64像素、256×256×64像素的特征图,再将金字塔池化模块的输出结果和条形池化模块的输出结果在第三个维度上拼接在一起构成新的特征图,其维度为256×256×128像素;最后经过一层卷积层输出256×256×3像素的隔离开关分割图,输出层直接提取隔离开关分割图作为输出;
第二阶段的隔离开关识别包含输入层、特征提取层、全连接层和输出层;其中输入层分为三个部分,第一个部分由隔离开关分割网络中的通过通道注意力模块得到的256×256×64像素的特征图和输出层得到的256×256×3像素的隔离开关分割图在第三个维度上拼接构成,形成256×256×67像素新的特征图;第二个部分是256×256×3像素的隔离开关分割图通过尺寸变换为65536×3像素的特征图,再分别通过取平均和取最大值操作,得到二个3×1像素的特征图;第三个部分是隔离开关状态真实的标签值;特征提取层一共分为六层,由输入层的第一个部分作为输入,前二层分别包含一个最大池化层和一个卷积层,即第一层的最大池化层和卷积层分别输出128×128×67像素、128×128×8像素的两组特征图,第二层最大池化层和卷积层分别输出64×64×8像素、64×64×16像素的两组特征图,第三层卷积层输出64×64×32像素的特征图,第四层为全局上、下文模块,输出64×64×32像素的特征图;第五层为通过尺寸变换得到4096×32像素的特征图,再分别通过取平均和取最大值操作,输出得到二个32×1像素的特征图,第六层将输入层的第二个部分和第五层输出的二个特征图在第一个维度上拼接,得到70×1像素的特征图;再经过神经元个数为三的全连接层,最后由Softmax函数输出“开”、“半开”、“闭”三种状态的得分;输出层提取其中得分最大的一个状态作为输出;
步骤三、多任务学习网络训练
多任务学习网络构建完成后,使用步骤一中的隔离开关数据集对多任务学习网络进行训练,训练采用分阶段按顺序训练策略,具体是,先训练隔离开关分割网络,再训练隔离开关状态识别网络;训练方法均采用目前广泛使用的Adam方法,训练时隔离开关分割网络的损失函数设置为n表示隔离开关数据集的数量,yi代表隔离开关的真实标签分割图,代表隔离开关分割网络输出的分割图;隔离开关状态识别网络的损失函数设置为k代表隔离开关状态类别的数量,这里的隔离开关状态类别一共为三类,分别是“开”、“半开”、“闭”三种状态状态,所以k=3,yi,k代表隔离开关的真实状态,pi,k代表隔离开关状态识别网络输出的隔离开关状态,训练完成后,隔离开关分割网络具备对隔离开关分割的能力,隔离开关状态识别网络具备对隔离开关状态识别的能力;
步骤四、图像输入
在实时处理情况下,提取牵引变电所内摄像头采集并保存在存储区的原始隔离开关视频图像,作为待进行隔离开关状态识别的输入图像;在离线处理情况下,将已釆集的隔离开关视频文件分解为多个帧组成的图像序列,按照时间顺序,逐个提取帧图像作为输入图像,将输入图像尺度归一化为256×256×3像素大小的图像,如果输入图像为空,则整个流程中止;
步骤五、隔离开关分割与状态识别
使用步骤三训练得到的多任务学习网络对步骤四中输入的隔离开关图像进行分割和状态识别,输入图像在经过第一阶段的隔离开关分割网络正向处理之后,得到隔离开关的分割图,然后经过第二阶段的隔离开关状态识别网络,得到隔离开关状态结果,当隔离开关的分割图与真实标签分割图的交并比大于0.9且状态识别正确,跳转到步骤四,否则,认为当前输入图像分割和状态识别不准确,跳转到步骤六;
步骤六、多任务学习网络在线学习
将未分割的隔离开关图像以及状态识别不准确的输入图像重新人工制作真实标签分割图和状态类别,将输入图像及其重新标记的真实标签分割图和状态类别作为在线训练集,并对多任务学习网络进行在线学习,然后跳转到步骤四。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011237345.0A CN112329863B (zh) | 2020-11-09 | 2020-11-09 | 一种牵引变电所内隔离开关状态识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011237345.0A CN112329863B (zh) | 2020-11-09 | 2020-11-09 | 一种牵引变电所内隔离开关状态识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112329863A CN112329863A (zh) | 2021-02-05 |
CN112329863B true CN112329863B (zh) | 2022-04-22 |
Family
ID=74315484
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011237345.0A Expired - Fee Related CN112329863B (zh) | 2020-11-09 | 2020-11-09 | 一种牵引变电所内隔离开关状态识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112329863B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108304785A (zh) * | 2018-01-16 | 2018-07-20 | 桂林电子科技大学 | 基于自建神经网络的交通标志检测与识别方法 |
CN108549895A (zh) * | 2018-04-17 | 2018-09-18 | 深圳市唯特视科技有限公司 | 一种基于对抗网络的半监督语义分割方法 |
CN109712118A (zh) * | 2018-12-11 | 2019-05-03 | 武汉三江中电科技有限责任公司 | 一种基于Mask RCNN的变电站隔离开关检测识别方法 |
WO2020177189A1 (zh) * | 2019-03-06 | 2020-09-10 | 中国科学院自动化研究所 | 图像精细化阴影区域分割系统、方法、装置 |
CN111860258A (zh) * | 2020-07-10 | 2020-10-30 | 华中师范大学 | 基于三维卷积神经网络的考场全局事件检测方法及系统 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8865075B2 (en) * | 2010-11-01 | 2014-10-21 | Princeton Biochemicals, Inc. | Multi-task immunoaffinity device secured to a peripheral box and integrated to a capillary electrophoresis apparatus |
CN108022238B (zh) * | 2017-08-09 | 2020-07-03 | 深圳科亚医疗科技有限公司 | 对3d图像中对象进行检测的方法、计算机存储介质和系统 |
CN110569695B (zh) * | 2018-08-31 | 2021-07-09 | 创新先进技术有限公司 | 基于定损图像判定模型的图像处理方法和装置 |
-
2020
- 2020-11-09 CN CN202011237345.0A patent/CN112329863B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108304785A (zh) * | 2018-01-16 | 2018-07-20 | 桂林电子科技大学 | 基于自建神经网络的交通标志检测与识别方法 |
CN108549895A (zh) * | 2018-04-17 | 2018-09-18 | 深圳市唯特视科技有限公司 | 一种基于对抗网络的半监督语义分割方法 |
CN109712118A (zh) * | 2018-12-11 | 2019-05-03 | 武汉三江中电科技有限责任公司 | 一种基于Mask RCNN的变电站隔离开关检测识别方法 |
WO2020177189A1 (zh) * | 2019-03-06 | 2020-09-10 | 中国科学院自动化研究所 | 图像精细化阴影区域分割系统、方法、装置 |
CN111860258A (zh) * | 2020-07-10 | 2020-10-30 | 华中师范大学 | 基于三维卷积神经网络的考场全局事件检测方法及系统 |
Non-Patent Citations (3)
Title |
---|
"An Anomaly Detection Method for Outdoors Insulator in High-Speed";Quan Wei等;《2020 2nd International Conference on Advances in Computer Technology, Information Science and Communications 》;20200922;第161-165页 * |
"State Recognition of Switch Matrix Based on Image Processing";Zhang Shigang等;《2018 Prognostics and System Health Management Conference》;20190107;第614-618页 * |
"隔离开关图像数据扩充方法及其在自动状态识别中的应用";刘梓权等;《高电压技术》;20200229;第46卷(第2期);第441-447页 * |
Also Published As
Publication number | Publication date |
---|---|
CN112329863A (zh) | 2021-02-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110414368B (zh) | 一种基于知识蒸馏的无监督行人重识别方法 | |
CN109063723B (zh) | 基于迭代挖掘物体共同特征的弱监督图像语义分割方法 | |
Yang et al. | Bidirection-fusion-YOLOv3: An improved method for insulator defect detection using UAV image | |
CN111798456A (zh) | 一种实例分割模型的训练方法、装置、实例分割方法 | |
CN108596102B (zh) | 基于rgb-d的室内场景物体分割分类器构造方法 | |
CN110675421B (zh) | 基于少量标注框的深度图像协同分割方法 | |
CN111209864B (zh) | 一种电力设备目标识别方法 | |
CN114821014B (zh) | 基于多模态与对抗学习的多任务目标检测识别方法及装置 | |
Tao et al. | Industrial weak scratches inspection based on multifeature fusion network | |
CN111402224A (zh) | 一种用于电力设备的目标识别方法 | |
CN111079645A (zh) | 一种基于AlexNet网络的绝缘子自爆识别方法 | |
CN113205039A (zh) | 基于多dcnn网络的电力设备故障图像识别勘灾系统及方法 | |
CN113128476A (zh) | 一种基于计算机视觉目标检测的低功耗实时头盔检测方法 | |
Wang et al. | Railway insulator detection based on adaptive cascaded convolutional neural network | |
Sun et al. | Detection and recognition of text traffic signs above the road | |
CN117437647A (zh) | 基于深度学习和计算机视觉的甲骨文字检测方法 | |
CN113469938A (zh) | 基于嵌入式前端处理服务器的管廊视频分析方法及系统 | |
CN115937492B (zh) | 一种基于特征识别的变电设备红外图像识别方法 | |
CN112329863B (zh) | 一种牵引变电所内隔离开关状态识别方法 | |
CN116580232A (zh) | 一种图像自动标注方法、系统及电子设备 | |
Han et al. | Learning for tower detection of power line inspection | |
CN113947567B (zh) | 基于多任务学习的缺陷检测方法 | |
CN114372922A (zh) | 夜间环境下基于无人机巡检的绝缘子红外缺陷诊断方法 | |
CN114494703A (zh) | 一种智能车间场景目标轻量级语义分割方法 | |
CN113239931A (zh) | 一种物流站车牌识别的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220422 |
|
CF01 | Termination of patent right due to non-payment of annual fee |