CN115424121B - 一种基于计算机视觉的电力压板开关巡检方法 - Google Patents

一种基于计算机视觉的电力压板开关巡检方法 Download PDF

Info

Publication number
CN115424121B
CN115424121B CN202210912343.XA CN202210912343A CN115424121B CN 115424121 B CN115424121 B CN 115424121B CN 202210912343 A CN202210912343 A CN 202210912343A CN 115424121 B CN115424121 B CN 115424121B
Authority
CN
China
Prior art keywords
switch
sticker
label
inspection
switches
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210912343.XA
Other languages
English (en)
Other versions
CN115424121A (zh
Inventor
帅辉明
高誌怡
王梦彦
刘晨曦
陈琳琳
朱娴
刘飞宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN202210912343.XA priority Critical patent/CN115424121B/zh
Publication of CN115424121A publication Critical patent/CN115424121A/zh
Application granted granted Critical
Publication of CN115424121B publication Critical patent/CN115424121B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/1444—Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C3/00—Registering or indicating the condition or the working of machines or other apparatus, other than vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Economics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于计算机视觉的电力压板开关巡检方法，包括：采集单帧图像，并获取所述单帧图像上多个压板开关的位置、开关状态、贴纸种类以及开关底部标签的种类；获取开关底部标签的文本信息，并构建YOLOv3算法将压板开关与其对应的标签、贴纸关联输出；采用校验算法判断巡检前后开关状态、标签贴纸信息是否变化；依据校验反馈结果完成对电力压板开关的巡检。无需手动录入开关数量信息，直接一站式拍摄加检测，即可准确得到结果；除了检测开关还有其标签种类，还对标签上的文字进行了OCR检测，可以直接获得文本内容，不必手动输入，减少了工人的工作量。

Description

一种基于计算机视觉的电力压板开关巡检方法
技术领域
本发明涉及电力压板开关巡检的技术领域，尤其涉及一种基于计算机视觉的电力压板开关巡检方法。
背景技术
目前业界内已经存在许多文献、方案解决电力系统巡检的问题，如文献[1]中设计了电力巡检机器人，但巡检机器人运用了多种复杂的传感器，涉及多个控制系统定位模块，不仅设备成本高，而且其运用的计算机视觉算法对变电站应用场景的局限性较大；文献[2]中将无人机应用到电力巡检中，其缺陷除了成本大以外，还会受到电磁环境等情况的影响，其普适性不高且实现难度较大；除此之外，如文献[3]中主要针对变电站的指示灯、空气开关等继电保护装置的状态进行研究，并没有将其各种装置对应的标签内容识别检测出来。
[1]吴昊,陈山,冯驰,罗涛,操昊鹏.电力巡检机器人终端视觉巡检技术[J].电力设备管理,2020(09):196-199.
[2]王瑞群,欧阳权,段朝伟,王志胜.基于强化学习的无人机全自主电力巡检[J].机械与电子,2021,39(12):34-38+43.
[3]潘成成.变电站继电保护装置的图像识别方法研究[D].广西大学,2020.
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
鉴于上述现有存在的问题，提出了本发明。
因此，本发明解决的技术问题是：标签较小且繁多，对电力巡检这一特定场景下的文本检测与识别效果很不理想的问题。
为解决上述技术问题，本发明提供如下技术方案：采集单帧图像，并获取所述单帧图像上多个压板开关的位置、开关状态、贴纸种类以及开关底部标签的种类；获取开关底部标签的文本信息，并构建YOLOv3算法将压板开关与其对应的标签、贴纸关联输出；采用校验算法判断巡检前后开关状态、标签贴纸信息是否变化；依据校验反馈结果完成对电力压板开关的巡检。
作为本发明所述的基于计算机视觉的电力压板开关巡检方法的一种优选方案，其中：所述YOLOv3算法包括，
利用MobileNetv1神经网络对所述单帧图像进行特征提取；
将所述单帧图像划分为多个区域，并预测所述单帧图像的边界框和每个区域的概率值。
作为本发明所述的基于计算机视觉的电力压板开关巡检方法的一种优选方案，其中：所述开关底部标签的文本信息的获取包括，
利用MobileNetV3 Small网络作为backbone实现对单帧图像特征序列的提取；
使用RNN结构作为循环层来预测从卷积层获取的所述单帧图像特征序列的标签分布；
使用CTC作为转录层,将从循环层获取到的标签分布通过去重整合等操作转换成最终的识别结果。
作为本发明所述的基于计算机视觉的电力压板开关巡检方法的一种优选方案，其中：所述压板开关与其对应的标签、贴纸关联输出包括，
将所述文本信息划分为标签、开关和贴纸，并将所述文本信息存放在三个数组中；
每个数组中都包含位置、种类信息，此外开关数组中还包括标签、贴纸、贴纸位置这三个属性。
作为本发明所述的基于计算机视觉的电力压板开关巡检方法的一种优选方案，其中：所述压板开关与其对应的标签、贴纸关联输出还包括，
判断是否出现漏检的情况，并获取所有开关的位置信息。
作为本发明所述的基于计算机视觉的电力压板开关巡检方法的一种优选方案，其中：若未出现漏检，则遍历每一个所述开关数组，并设置第一个开关；
以所述第一个开关为基准，遍历所有的开关目标，若第一个开关在y轴上的中值是在这个目标的上边界和下边界的值之间，则这个目标是和第一个开关是同一排的开关，并根据这个目标的x坐标进行排序，活动的第一排开关的全部相对位置信息。
作为本发明所述的基于计算机视觉的电力压板开关巡检方法的一种优选方案，其中：还包括，
遍历所有的标签数组，计算每一个标签和开关底部中心的距离，将标签和距离这个标签最近的开关相关联，以此类推，把标签的信息并入开关数组；
遍历所有的贴纸数组，计算每一个贴纸和开关上部中心的距离，将贴纸和距离这个贴纸最近的开关相关联，以此类推，把贴纸的信息并入开关数组；
遍历开关时跳过已经有坐标的开关，获取到所有开关的位置信息。
作为本发明所述的基于计算机视觉的电力压板开关巡检方法的一种优选方案，其中：若出现漏检，则利用捡漏算法查找漏检情况；
若左边和右边相邻的开关间距大于一个开关搞的1.65倍，则认为中间存在漏检情况，要插入一个值为“null”的开关，表示未能成功检测，并提醒用户人工检查并手动添加信息，若不存在漏检的情况，则需要调整好规范角度重新拍摄。
作为本发明所述的基于计算机视觉的电力压板开关巡检方法的一种优选方案，其中：所述校验算法包括，
对巡检前后拍摄的单帧图像进行检测识别，并返回巡检前后每个开关、标签与贴纸的信息json识别结果，比较两个json文件中开关总数是否相同。
作为本发明所述的基于计算机视觉的电力压板开关巡检方法的一种优选方案，其中：所述校验算法还包括，
若开关总数相同，比较在两个json文件中行列坐标相同的开关的种类是否相同，判断巡检前后开关状态是否变化；检测完成后输出巡检前后开关状态、标签贴纸信息以及开关状态是否变化，实现开关检测自动校检；
若开关总数不同，则需巡检人员重新拍摄巡检后的图片，重新进行检测或人工校验。
本发明的有益效果：无需手动录入开关数量信息，直接一站式拍摄加检测，即可准确得到结果；除了检测开关还有其标签种类，还对标签上的文字进行了OCR检测，可以直接获得文本内容，不必手动输入，减少了工人的工作量。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
图1为本发明一个实施例提供的一种基于计算机视觉的电力压板开关巡检方法的基本流程示意图；
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例1
参照图，为本发明的一个实施例，提供了一种基于计算机视觉的电力压板开关巡检方法，包括：
S1：采集单帧图像，并获取单帧图像上多个压板开关的位置、开关状态、贴纸种类以及开关底部标签的种类。
S2：获取开关底部标签的文本信息，并构建YOLOv3算法将压板开关与其对应的标签、贴纸关联输出。需要说明的是：
YOLOv3算法包括，
利用MobileNetv1神经网络对单帧图像进行特征提取；
将单帧图像划分为多个区域，并预测单帧图像的边界框和每个区域的概率值。
开关底部标签的文本信息的获取包括，
利用MobileNetV3 Small网络作为backbone实现对单帧图像特征序列的提取；
使用RNN结构作为循环层来预测从卷积层获取的单帧图像特征序列的标签分布；
使用CTC作为转录层,将从循环层获取到的标签分布通过去重整合等操作转换成最终的识别结果。
针对RNN存在梯度消失的问题，无法获取更多的上下文信息，CRNN使用的LSTM神经单元作为RNN的单元，从而允许捕获长距离依赖。
RNN在进行时序分类时，会出现很多冗余信息，比如一个字母被连续识别两次，为了解决这个问题，CTC插入blank机制，即连续相同的字符若中间含有blank则不予以合并，来得以解决。
CRNN模型可完成端到端训练，只需垂直方向缩放到固定长度，同时可以识别任意长度的序列，训练速度快，模型复杂度低。
压板开关与其对应的标签、贴纸关联输出包括，
将文本信息划分为标签、开关和贴纸，并将文本信息存放在三个数组中；
每个数组中都包含位置、种类信息，此外开关数组中还包括标签、贴纸、贴纸位置这三个属性。
压板开关与其对应的标签、贴纸关联输出还包括，
判断是否出现漏检的情况，并获取所有开关的位置信息。
若未出现漏检，则遍历每一个开关数组，并设置第一个开关；
以第一个开关为基准，遍历所有的开关目标，若第一个开关在y轴上的中值是在这个目标的上边界和下边界的值之间，则这个目标是和第一个开关是同一排的开关，并根据这个目标的x坐标进行排序，活动的第一排开关的全部相对位置信息。
还包括，
遍历所有的标签数组，计算每一个标签和开关底部中心的距离，将标签和距离这个标签最近的开关相关联，以此类推，把标签的信息并入开关数组；
遍历所有的贴纸数组，计算每一个贴纸和开关上部中心的距离，将贴纸和距离这个贴纸最近的开关相关联，以此类推，把贴纸的信息并入开关数组；
遍历开关时跳过已经有坐标的开关，获取到所有开关的位置信息。
若出现漏检，则利用捡漏算法查找漏检情况；
若左边和右边相邻的开关间距大于一个开关搞的1.65倍，则认为中间存在漏检情况，要插入一个值为“null”的开关，表示未能成功检测，并提醒用户人工检查并手动添加信息，若不存在漏检的情况，则需要调整好规范角度重新拍摄。
S3：采用校验算法判断巡检前后开关状态、标签贴纸信息是否变化。需要说明的是：
校验算法包括，
对巡检前后拍摄的单帧图像进行检测识别，并返回巡检前后每个开关、标签与贴纸的信息json识别结果，比较两个json文件中开关总数是否相同。
校验算法还包括，
若开关总数相同，比较在两个json文件中行列坐标相同的开关的种类是否相同，判断巡检前后开关状态是否变化；检测完成后输出巡检前后开关状态、标签贴纸信息以及开关状态是否变化，实现开关检测自动校检；
若开关总数不同，则需巡检人员重新拍摄巡检后的图片，重新进行检测或人工校验。
S4：依据校验反馈结果完成对电力压板开关的巡检。
无需手动录入开关数量信息，直接一站式拍摄加检测，即可准确得到结果；除了检测开关还有其标签种类，还对标签上的文字进行了OCR检测，可以直接获得文本内容，不必手动输入，减少了工人的工作量。
实施例2
参照图为本发明的第二个实施例，该实施例不同于第一个实施例的是，提供了一种基于计算机视觉的电力压板开关巡检方法的验证测试，为对本方法中采用的技术效果加以验证说明，以验证本方法所具有的真实效果。
YOLOv3算法使用一个单独神经网络作用在图像上，将图像划分多个区域并且预测边界框和每个区域的概率，其使用的特征提取网络是DarkNet-53，但DarkNet-53的内存需求大，计算量大，导致无法在移动设备以及嵌入式设备上运行，本发明将Darknet53替换为MobileNetv1，大大减少了目标检测网络运算量和模型尺寸，MobileNetv1网络结构表如表1所示。
表1：MobileNetv1网络结构表。
MobileNetv1引入了深度可分离卷积，作为传统卷积层的有效替代。深度可分卷积通过将空间滤波与特征生成机制分离开来，有效地分解了传统卷积。深度可分离卷积由两个单独的层定义：用于空间滤波的轻量级深度卷积和用于特征生成的1x1点卷积。深度可分离卷积将其分为两层，一层用于过滤(DW卷积)，另一层用于合并(PW卷积)。其网络结构是首先经过一个3*3的卷积层，接着通过一系列的深度可分离卷积(DW+PW卷积)，最后经过平均池化层、全连接层，以及经过softmax函数后得到最终的输出值，这种分解方法大大减少了计算量和模型尺寸。因此，本发明将YOLOv3的骨干网络Darknet53替换为MobileNetv1，大大减少了目标检测网络运算量和模型尺寸，这为之后在移动端部署提供便利。
本发明文本识别采用DB算法。DB(Differentiable Binarization)算法即可微分二值化处理，是基于分割的文本检测。其最关键的就是对二值化map的后处理过程，即将模型输出的概率图转化为文本框的过程。可微分二值化处理是将二值化操作插入到分割网络中进行联合优化，优化后的分割网络可以自适应的预测图像中每一个像素点的阈值，从而实现前景与背景的像素完全分离。且二值化阈值是通过网络学习得到，能够将二值化操作加入到网络里一起训练，这样最终的输出图对于阈值就有很强的鲁棒性，改善了传统分割方法采用固定阈值实现二值化map的操作所带来鲁棒性差的问题，同时提高了文本检测效果。
本发明的开关标签检测模型以DBNet模型为大题框架，以基于轻量级主干网络MobileNetv3 Large作为backbone，MobileNetv3是MobileNet的最新版，综合了MobileNetv1的深度可分离卷积、MobileNetv2的线性瓶颈的逆残差结构以及轻量级的注意力模型和利用h-swish代替swish作为激活函数这四个特点的轻量级网络。MobileNetv3的整体结构表如表2所示。
表2：MobileNetv3的整体结构表。
Input Operator exp size #out SE NL s
2242×3 Conv2d - 16 - HS 2
1122×16 bneck，3×3 16 16 - RE 1
1122×16 bneck，3×3 64 24 - RE 2
562×24 bneck，3×3 72 24 - RE 1
562×24 bneck，5×5 72 40 √ RE 2
282×40 bneck，5×5 120 40 √ RE 1
282×40 bneck，5×5 120 40 √ RE 1
282×40 bneck，3×3 240 80 - HS 2
142×80 bneck，3×3 200 80 - HS 1
142×80 bneck，3×3 184 80 - HS 1
142×80 bneck，3×3 184 80 - HS 1
142×80 bneck，3×3 480 112 √ HS 1
142×112 bneck，3×3 672 112 √ HS 1
142×112 bneck，5×5 672 160 √ HS 2
72×160 bneck，5×5 960 160 √ HS 1
72×160 bneck，5×5 960 160 √ HS 1
72×160 conv2d，1×1 - 960 - HS 1
72×960 pool，7×7 - - - - 1
72×960 conv2d，1×1 - 1280 - HS 1
72×1280 conv2d，1×1 - k - - 1
其中第一列Input表示输入尺寸，代表mobilenetV3每个特征层的shape变化；第二列Operator表示每次特征层即将经历的block结构，其中NBN表示不使用BN，conv2d 1x1相当于全连接层的作用，从MobileNetV3的结构中，可以看到特征提取经过了许多的bneck结构；第三列exp size表示bneck内逆残差结构上升后的通道数；第四列out表示bottleneck输出的channel个数即特征层的通道数；第五列SE表示是否使用SE模块(即是否在这一层引入注意力机制)；第六列NL表示激活函数的类别，HS即h-swish，RE表示RELU；第七列s表示每一次block结构所用的步长(s＝2，长宽变为原来一半)。
为了方便在移动端部署深度学习模型，出现了很多移动端深度学习工具，本发明使用paddle-lite移动端框架进行模型部署。
首先将目标检测YOLOv3模型和文字识别DB模型与CRNN模型在训练过程中得到的pdmodel文件转成naive_buffer格式的文件，然后搭建Android开关识别项目工程，在主程序中调用开关检测算法进行检测识别。开关检测算法在华为p40pro手机进行测试，如图1所示，对拍摄开关图进行检测识别，手机APP可以正确识别出每个开关、标签、贴纸的信息，并匹配关联标签得到存有其信息的json文件，一张图处理时间仅需200ms，可以达到工业中较理想的检测识别的效果。
使用Android Studio将算法封装成java文件，选择训练好的OCR模型，使用PaddleLite提供的opt工具优化该模型，使之优化后的模型更轻量级，耗费资源更少。并利用PaddleLite的JavaAPI、PaddleOCR和PaddleDetection检测模型完成端侧推理。
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (2)

1.一种基于计算机视觉的电力压板开关巡检方法，其特征在于，包括：
采集单帧图像，并获取所述单帧图像上多个压板开关的位置、开关状态、贴纸种类以及开关底部标签的种类；
获取开关底部标签的文本信息，并构建YOLOv3算法将压板开关与其对应的标签、贴纸关联输出；所述压板开关与其对应的标签、贴纸关联输出包括，将所述文本信息划分为标签、开关和贴纸，并将所述文本信息存放在三个数组中；每个数组中都包含位置、种类信息，此外开关数组中还包括标签、贴纸、贴纸位置这三个属性；
所述YOLOv3算法包括，利用MobileNetv1神经网络对所述单帧图像进行特征提取；将所述单帧图像划分为多个区域，并预测所述单帧图像的边界框和每个区域的概率值；
所述压板开关与其对应的标签、贴纸关联输出还包括，判断是否出现漏检的情况，并获取所有开关的位置信息；若未出现漏检，则遍历每一个所述开关数组并设置第一个开关；以所述第一个开关为基准，遍历所有的开关目标，若第一个开关在y轴上的中值是在这个目标的上边界和下边界的值之间，则这个目标是和第一个开关是同一排的开关，并根据这个目标的x坐标进行排序，活动的第一排开关的全部相对位置信息；还包括，遍历所有的标签数组，计算每一个标签和开关底部中心的距离，将标签和距离这个标签最近的开关相关联，以此类推，把标签的信息并入开关数组；遍历所有的贴纸数组，计算每一个贴纸和开关上部中心的距离，将贴纸和距离这个贴纸最近的开关相关联，以此类推，把贴纸的信息并入开关数组；遍历开关时跳过已经有坐标的开关，获取到所有开关的位置信息；
采用校验算法判断巡检前后开关状态、标签贴纸信息是否变化；所述校验算法包括，对巡检前后拍摄的单帧图像进行检测识别，并返回巡检前后每个开关、标签与贴纸的信息son识别结果，比较两个json文件中开关总数是否相同；若开关总数相同，比较在两个json文件中行列坐标相同的开关的种类是否相同，判断巡检前后开关状态是否变化；检测完成后输出巡检前后开关状态、标签贴纸信息以及开关状态是否变化，实现开关检测自动校检；如果开关总数不同，则需巡检人员重新拍摄巡检后的图片，重新进行检测或人工校验；依据校验反馈结果完成对电力压板开关的巡检；若出现漏检，则利用捡漏算法查找漏检情况；若左边和右边相邻的开关间距大于一个开关搞的1.65倍，则认为中间存在漏检情况，要插入一个值为“null”的开关，表示未能成功检测，并提醒用户人工检查并手动添加信息，若不存在漏检的情况，则需要调整好规范角度重新拍摄。
2.如权利要求1所述的基于计算机视觉的电力压板开关巡检方法，其特征在于：所述开关底部标签的文本信息的获取包括，
利用MobileNetV3 Small网络作为backbone实现对单帧图像特征序列的提取；
使用RNN结构作为循环层来预测从卷积层获取的所述单帧图像特征序列的标签分布；
使用CTC作为转录层，将从循环层获取到的标签分布通过去重整合操作转换成最终的识别结果。
CN202210912343.XA 2022-07-30 2022-07-30 一种基于计算机视觉的电力压板开关巡检方法 Active CN115424121B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210912343.XA CN115424121B (zh) 2022-07-30 2022-07-30 一种基于计算机视觉的电力压板开关巡检方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210912343.XA CN115424121B (zh) 2022-07-30 2022-07-30 一种基于计算机视觉的电力压板开关巡检方法

Publications (2)

Publication Number Publication Date
CN115424121A CN115424121A (zh) 2022-12-02
CN115424121B true CN115424121B (zh) 2023-10-13

Family

ID=84195520

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210912343.XA Active CN115424121B (zh) 2022-07-30 2022-07-30 一种基于计算机视觉的电力压板开关巡检方法

Country Status (1)

Country Link
CN (1) CN115424121B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5805813A (en) * 1996-07-26 1998-09-08 Schweitzer Engineering Laboratories, Inc. System for visual monitoring of operational indicators in an electric power system
CN112364821A (zh) * 2020-11-30 2021-02-12 国网湖南省电力有限公司 一种继电保护设备电力模式数据自识别方法和自识别设备
CN112446370A (zh) * 2020-11-24 2021-03-05 东南大学 一种电力设备铭牌文本信息识别的方法
CN113673509A (zh) * 2021-07-28 2021-11-19 华南理工大学 一种基于图像文本的仪表检测分类方法
CN114549812A (zh) * 2022-01-18 2022-05-27 国网冀北电力有限公司 基于目标检测模型的智能变电站继电保护硬压板校核方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5805813A (en) * 1996-07-26 1998-09-08 Schweitzer Engineering Laboratories, Inc. System for visual monitoring of operational indicators in an electric power system
CN112446370A (zh) * 2020-11-24 2021-03-05 东南大学 一种电力设备铭牌文本信息识别的方法
CN112364821A (zh) * 2020-11-30 2021-02-12 国网湖南省电力有限公司 一种继电保护设备电力模式数据自识别方法和自识别设备
CN113673509A (zh) * 2021-07-28 2021-11-19 华南理工大学 一种基于图像文本的仪表检测分类方法
CN114549812A (zh) * 2022-01-18 2022-05-27 国网冀北电力有限公司 基于目标检测模型的智能变电站继电保护硬压板校核方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Tracking Position and Status of Electric Control Switches Based on YOLO Detector;Xingang Mou等;Intelligent Data Engineering and Automated Learning – IDEAL 2019;第184-194页 *
基于深度学习的变电站硬压板状态检测与识别算法;汪洋等;沈阳工业大学学报;第42卷(第6期);第676-680页 *

Also Published As

Publication number Publication date
CN115424121A (zh) 2022-12-02

Similar Documents

Publication Publication Date Title
CN110060237B (zh) 一种故障检测方法、装置、设备及系统
CN107944450B (zh) 一种车牌识别方法及装置
CN114445706A (zh) 一种基于特征融合的输电线路目标检测与识别方法
CN106027931A (zh) 视频录制方法及服务器
CN108090434B (zh) 一种矿石快速识别方法
CN112529090B (zh) 一种基于改进YOLOv3的小目标检测方法
CN110458794B (zh) 用于轨道列车的配件质量检测方法及装置
CN111368636A (zh) 目标分类方法、装置、计算机设备和存储介质
CN111652846B (zh) 一种基于特征金字塔卷积神经网络的半导体缺陷识别方法
CN111080615A (zh) 基于卷积神经网络的pcb缺陷检测系统及检测方法
CN111666848B (zh) 运输车辆到站检测方法、装置、设备及存储介质
CN111767915A (zh) 车牌检测方法、装置、设备及存储介质
CN116385430A (zh) 一种机器视觉瑕疵检测方法、装置、介质及设备
CN111178445A (zh) 图像处理方法及装置
WO2022222036A1 (zh) 车位确定方法及装置
CN115424121B (zh) 一种基于计算机视觉的电力压板开关巡检方法
CN113591735A (zh) 一种基于深度学习的行人检测方法及系统
CN112561885A (zh) 基于YOLOv4-tiny的插板阀开度检测方法
CN112001963A (zh) 消防通道的排查的方法、系统和计算机设备
CN116543333A (zh) 电力系统的目标识别方法、训练方法、装置、设备和介质
CN115601345A (zh) 基于机器视觉的大尺寸冲压板孔群防漏检测方法及装置
CN114120175A (zh) 基于计算机视觉的输煤皮带异物识别方法
CN114596243A (zh) 缺陷检测方法、装置、设备及计算机可读存储介质
CN112257525A (zh) 物流车辆打卡的识别方法、装置、设备和存储介质
CN110910352A (zh) 基于深度学习的太阳能电池缺陷检测系统及检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant