CN113569819B - 刀闸开合状态的识别方法、系统、存储介质及计算机设备 - Google Patents

刀闸开合状态的识别方法、系统、存储介质及计算机设备 Download PDF

Info

Publication number
CN113569819B
CN113569819B CN202111111431.1A CN202111111431A CN113569819B CN 113569819 B CN113569819 B CN 113569819B CN 202111111431 A CN202111111431 A CN 202111111431A CN 113569819 B CN113569819 B CN 113569819B
Authority
CN
China
Prior art keywords
disconnecting link
image
target image
mask
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111111431.1A
Other languages
English (en)
Other versions
CN113569819A (zh
Inventor
寇振宇
黄睿
晏斐
张远来
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tellhow Software Co ltd
Original Assignee
Tellhow Software Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tellhow Software Co ltd filed Critical Tellhow Software Co ltd
Priority to CN202111111431.1A priority Critical patent/CN113569819B/zh
Publication of CN113569819A publication Critical patent/CN113569819A/zh
Application granted granted Critical
Publication of CN113569819B publication Critical patent/CN113569819B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种刀闸开合状态的识别方法、系统、存储介质及计算机设备，该方法包括：获取待处理的目标图像，目标图像中含有闸刀片和绝缘子，并将目标图像输入到最终语义分割模型之中；获取最终语义分割模型检测识别目标图像后输出的闸刀片掩膜和绝缘子掩膜；根据绝缘子掩膜判断刀闸是否完整；若是则对闸刀片掩膜进行轮廓提取，得到多个连通区域的集合；获取第一大连通区域与第二大连通区域的面积之比，并判断第一大连通区域与第二大连通区域的面积之比是否大于第一预设占比阀值，若是则表示刀闸处于闭合状态。本发明提出的刀闸开合状态的识别方法，能够极大地降低背景干扰，从而精确地识别出刀闸开合状态，具有操作简单、检测成本低的优点。

Description

刀闸开合状态的识别方法、系统、存储介质及计算机设备
技术领域
本发明涉及图像处理技术领域，特别涉及一种刀闸开合状态的识别方法、系统、存储介质及计算机设备。
背景技术
变电站刀闸是高压开关电器中使用次数非常频繁的一种电器，在电路中起隔离作用。在实际应用中，由于刀闸的长期运转，会出现刀闸闭合或打开不到位的情形，该情形会导致刀闸的左右刀闸臂之间产生电弧。
电弧是一种气体放电现象，电流通过某些绝缘介质产生的瞬间火花可能会造成火灾或威胁人身安全；此外，电弧温度极高，容易把绝缘材料烧毁，造成漏电事件或造成刀闸设备损坏，因此，刀闸的开合状态需要实时准确的检测。
然而，现有技术中，刀闸开合状态的确认方式通常采用传统的图像处理技术，由于提取的特征表达能力不足，且检测模型对变电站场景、图像背景内容、图像采集装置拍摄角度等要求严格，存在通用性弱、鲁棒性差、性能不高的问题。
发明内容
基于此，本发明的目的是提出一种刀闸开合状态的识别方法、系统、存储介质及计算机设备，以解决上述的至少一种问题。
根据本发明提出的刀闸开合状态的识别方法，应用于刀闸检测系统，所述刀闸包括闸刀片和分别设于所述闸刀片两端的一对绝缘子，所述方法包括：
获取待处理的目标图像，所述目标图像中含有所述闸刀片和所述绝缘子，并将所述目标图像输入到最终语义分割模型之中；
获取所述最终语义分割模型检测识别所述目标图像后输出的闸刀片掩膜和绝缘子掩膜；
根据所述绝缘子掩膜判断所述刀闸是否完整；
若是则对所述闸刀片掩膜进行轮廓提取，得到多个连通区域的集合，并从多个连通区域中筛选出第一大连通区域和第二大连通区域；
获取第一大连通区域与第二大连通区域的面积之比，并判断第一大连通区域与第二大连通区域的面积之比是否大于第一预设占比阀值，若是则表示所述刀闸处于闭合状态。
综上，根据上述的刀闸开合状态的识别方法，通过降低背景干扰以保证对刀闸开合状态的识别准确度。具体为，通过将待处理的目标图像输入到训练好的最终语义分割模型之中，从而提取出闸刀片掩膜和绝缘子掩膜，由于刀闸的结构包括闸刀片和设于闸刀片两端的一对绝缘子，因此根据绝缘子掩膜判断刀闸是否完整是很可行的，在根据绝缘子掩膜判断到刀闸为完整时，再对闸刀片掩膜进行轮廓提取，从而得到第一大连通区域和第二大连通区域，进而根据第一大连通区域和第二大连通区域的面积之比判断刀闸的开合状态，该方法无需考量变电站场景以及图像背景内容，有效解决了传统检测方式存在的通用性弱、性能不高的问题。
进一步地，所述获取待处理的目标图像，所述目标图像中含有所述闸刀片和所述绝缘子，并将所述目标图像输入到最终语义分割模型之中的步骤之前还包括：
获取多张含有刀闸的图像样本；
对所述图像样本中的刀闸进行标注，标注对象为刀闸整体，并将标注后的所有图像样本进行汇总，以制成第一数据集；
将所述第一数据集按第一预设比例划分成第一训练集和第一验证集，并对所述第一训练集进行数据增强，同时根据增强后的第一训练集对初始目标检测模型进行训练第一预设次数，以获取与第一预设次数对应数量的训练后的目标检测模型；
根据所述第一验证集对所有训练后的目标检测模型分别进行验证，并筛选出验证损失值最小的训练后的目标检测模型作为最终目标检测模型。
进一步地，所述对所述图像样本中的刀闸进行标注，标注对象为刀闸整体的步骤之后还包括：
根据对图像样本的标注结果截取所述图像样本中含有完整刀闸的小图像；
对所述小图像中的绝缘子和闸刀片分别进行标注，并将标注后的所有小图像进行汇总以制成第二数据集；
将所述第二数据集按第二预设比例划分成第二训练集和第二验证集，并对所述第二训练集进行数据增强，并根据增强后的所述第二训练集和所述第二验证集对初始语义分割模型进行训练第二预设次数，以获取与第二预设次数对应数量的训练后的语义分割模型；
根据所述第二验证集对所有训练后的语义分割模型分别进行验证，并筛选出验证损失值最小的训练后的语义分割模型作为最终语义分割模型。
进一步地，所述获取待处理的目标图像的步骤之前还包括：
获取刀闸的监控视频，并从所述监控视频中提取出某一帧的图像信息；
将所述图像信息输入到所述最终目标检测模型，得到目标检测识别后的图像；
从目标检测识别后的图像中截取刀闸区域图像，所述刀闸区域图像为所述目标图像。
进一步地，所述根据所述绝缘子掩膜判断所述刀闸是否完整的步骤包括：
获取所述绝缘子掩膜的面积，并根据所述绝缘子掩膜的面积计算得到所述绝缘子掩膜在所述目标图像中的面积占比；
判断所述绝缘子掩膜在所述目标图像中的面积占比是否大于第二预设占比阀值，若是则表示所述目标图像中的刀闸完整；
若否则表示所述目标图像中的刀闸不完整，此时主动丢弃输入到所述最终语义分割模型当中的目标图像，并从刀闸的监控视频中提取下一帧的图像信息。
进一步地，所述方法还包括：
采用颜色阈值变换、颜色阈值反转以及mosaic变换方法对所述第一训练集进行数据增强，得到增强后的第一训练集；
采用图像亮度变化、图像翻转、图像旋转对所述第二训练集进行数据增强，得到增强后的第二训练集。
进一步地，所述初始语义分割模型采用二分类交叉熵损失函数，所述二分类交叉熵损失函数由BCELoss损失函数和DiceLoss损失函数构成，其中：
BCELoss损失函数的处理公式为：
Figure 615362DEST_PATH_IMAGE001
其中xi表示理论标签，yi表示实际预测值，wi为权重；
DiceLoss损失函数的处理公式为：
Figure 479412DEST_PATH_IMAGE002
其中︱X∩Y︱是X类别元素和Y类别元素之间的交集，︱X︱表示X类别元素个数，︱Y︱表示Y类别元素个数。
根据本发明实施例的一种刀闸开合状态的识别系统，应用于刀闸检测系统，所述刀闸包括闸刀片和分别设于所述闸刀片两端的一对绝缘子，所述刀闸开合状态的识别系统包括：
第一输入模块，用于获取待处理的目标图像，所述目标图像中含有所述闸刀片和所述绝缘子，并将所述目标图像输入到最终语义分割模型之中；
特征掩膜提取模块，用于获取所述最终语义分割模型检测识别所述目标图像后输出的闸刀片掩膜和绝缘子掩膜；
特征掩膜分析模块，用于根据所述绝缘子掩膜判断所述刀闸是否完整；
连通区域获取模块，用于若是则对所述闸刀片掩膜进行轮廓提取，得到多个连通区域的集合，并从多个连通区域中筛选出第一大连通区域和第二大连通区域；
开合状态判断模块，用于获取第一大连通区域与第二大连通区域的面积之比，并判断第一大连通区域与第二大连通区域的面积之比是否大于第一预设占比阀值，若是则表示所述刀闸处于闭合状态。
本发明另一方面还提供一种存储介质，包括所述存储介质存储一个或多个程序，该程序被执行时实现如上述的刀闸开合状态的识别方法。
本发明另一方面还提供一种计算机设备，所述计算机设备包括存储器和处理器，其中：
所述存储器用于存放计算机程序；
所述处理器用于执行所述存储器上所存放的计算机程序时，实现如上述的刀闸开合状态的识别方法。
附图说明
图1为本发明第一实施例提出的刀闸开合状态的识别方法的流程图；
图2为本发明第二实施例提出的刀闸开合状态的识别方法的流程图；
图3为本发明第二实施例中的步骤S16的细化图；
图4为本发明第三实施例提出的刀闸开合状态的识别系统的结构示意图。
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的若干个实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
需要说明的是，当元件被称为“固设于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及／或”包括一个或多个相关的所列项目的任意的和所有的组合。
请参阅图1，所示为本发明第一实施例中的刀闸开合状态的识别方法的流程图，应用于刀闸检测系统，该刀闸开合状态的识别方法包括步骤S01至步骤S05，其中：
步骤S01：获取待处理的目标图像，所述目标图像中含有所述闸刀片和所述绝缘子，并将所述目标图像输入到最终语义分割模型之中；
需要说明的是，由于目标图像中含有闸刀片和绝缘子，通过将需要识别的目标图像输入到最终语义分割模型之中，以提取到刀闸的结构特征。
步骤S02：获取所述最终语义分割模型检测识别所述目标图像后输出的闸刀片掩膜和绝缘子掩膜；
可以理解的，语义分割是一种典型的计算机视觉问题，其涉及将一些原始数据作为输入并将它们转换为具有突出显示的感兴趣区域的掩模，在本实施例中，通过输入含有刀闸的目标图像，最终语义分割模型对该目标图像进行检测识别，以得到闸刀片掩膜和绝缘子掩膜。
步骤S03：根据所述绝缘子掩膜判断所述刀闸是否完整；
需要指出的是，在本实施例中，刀闸由闸刀片和绝缘子构成，且绝缘子设于闸刀片的两端，因此若绝缘子掩膜是完整的，即目标图像中的绝缘子完整，则在绝缘子之间的闸刀片也必定是完整的，从而能够有效分析出目标图像中的目标刀闸是否是完整的。
步骤S04：若是则对所述闸刀片掩膜进行轮廓提取，得到多个连通区域的集合，并从多个连通区域中筛选出第一大连通区域和第二大连通区域；
需要说明的是，由于刀闸的开合状态是由闸刀片直接体现的，因此，当判断到目标图像中的刀闸是完整的后，只需对闸刀片掩膜进行轮廓提取，能够有效降低背景干扰，同时由于最终语义分割模型在对目标图像进行检测识别时，输出的闸刀片掩膜不可避免会存在误差，从而导致在对闸刀片掩膜进行轮廓提取时，能够得到多个连通区域的集合，通过获取各个连通区域的面积，进而从多个连通区域中筛选出面积最大和第二大的连通区域，即第一大连通区域和第二大连通区域。
步骤S05：获取第一大连通区域与第二大连通区域的面积之比，并判断第一大连通区域与第二大连通区域的面积之比是否大于第一预设占比阀值，若是则表示所述刀闸处于闭合状态。
可以理解的，当刀闸处于闭合状态时，此时闸刀片相互合拢，则获取到的第一大连通区域的面积必然比包括第二大连通区域在内的其他连通区域大很多，基于此，通过判断第一大连通区域与第二大连通区域的面积之比是十分有必要的，若该面积之比大于第一预设占比阀值时，则表示符合刀闸闭合的情况，因此判定刀闸此时处于闭合状态。反之，当刀闸处于分开状态时，由于闸刀片相互分开，则获取到的第一大连通区域的面积和第二大连通区域的面积相差不大，基于此，若第一大连通区域与第二大连通区域的面积之比小于第一预设占比阀值时，则表示符合刀闸分开的情况，因此判定刀闸处于分开状态。
在本步骤中，示例而非限定，第一预设占比阀值设为8，即若第一大连通区域的面积是第二大连通区域的面积的8倍以上，则表示此时刀闸为闭合状态，反之则为分开状态。
综上，根据上述的刀闸开合状态的识别方法，通过降低背景干扰以保证对刀闸开合状态的识别准确度。具体为，通过将待处理的目标图像输入到训练好的最终语义分割模型之中，从而提取出闸刀片掩膜和绝缘子掩膜，由于刀闸的结构包括闸刀片和设于闸刀片两端的绝缘子，因此根据绝缘子掩膜判断刀闸是否完整是很可行的，在根据绝缘子掩膜判断到刀闸为完整时，再对闸刀片掩膜进行轮廓提取，从而得到第一大连通区域和第二大连通区域，进而根据第一大连通区域和第二大连通区域的面积之比判断刀闸的开合状态，该方法无需考量变电站场景以及图像背景内容，有效解决了传统检测方式存在的通用性弱、性能不高的问题。
请参阅图2，所示为本发明第二实施例中的刀闸开合状态的识别方法的流程图，该方法包括步骤S11至步骤S18，其中：
步骤S11：获取刀闸的监控视频，并从所述监控视频中提取出某一帧的图像信息；
可以理解的，通过在变电站现场安装摄像设备，从而实时采集刀闸开关的监控视频，进而对该监控视频进行分析，从而获取某一帧的图像信息，以进行图像处理。
步骤S12：将所述图像信息输入到所述最终目标检测模型，得到目标检测识别后的图像；
可以理解的，在构建最终目标模型的过程中，首先需获取多张含有刀闸的图像样本，在本实施例中，总共采集了68幅变电站刀闸开关的图片作为图像样本，并对所述图像样本中的刀闸进行标注，且标注对象为刀闸整体，需要说明的是，一个刀闸整体包括一对闸刀片和一对绝缘子，并将标注后的所有图像样本进行汇总，从而制成第一数据集。
进一步的，将制得的第一数据集按第一预设比例划分成第一训练集和第一验证集，在本实施例中，预设比例设置为8：2，可以理解的，由于图像样本数量可能会出现偏少的情况，为了提高训练后的最终目标检测模型的泛化能力，还需对所述第一训练集进行数据增强，数据增强方式采用颜色阈值变换、颜色阈值反转以及mosaic变换方法对所述第一训练集进行数据增强，得到增强后的第一训练集，同时根据增强后的第一训练集对初始目标检测模型进行训练第一预设次数，以获取与第一预设次数对应数量的训练后的目标检测模型。
具体的，在本实施例中，采用YOLOv4算法作为初始目标检测模型，其骨干网络采用CSP-DarkNet53。且YOLOv4算法训练采用9组检测框，尺寸分别为(12，16)，(19，36)，(40，28)，(36，75)，(76，55)，(72，146)，(142，140)，(192，243)，(459，401)。对初始目标检测模型的训练采用冻结后解冻训练的方式，首先冻结骨干网络训练50个周期，批大小设置为32，初始学习率为0.001；然后在此基础上解冻骨干网络，第一预设次数设置为150周期，批大小设置为8，初始学习率设置为0.0001。
可以理解的，对初始目标检测模型训练150周期，即得到150个训练后的目标检测模型，为了从中选出准确率最高的目标检测模型作为最终目标检测模型，还需根据所述第一验证集对所有训练后的目标检测模型分别进行验证，并筛选出验证损失值最小的训练后的目标检测模型作为最终目标检测模型。具体的，从解冻训练开始，保存每个周期的模型权重，通过权重对应的损失值，筛选出损失值最低的5个权重。然后，利用mAP0.5指标评估模型，选取指标值最高的模型作为最终目标检测模型。
步骤S13：从目标检测识别后的图像中截取刀闸区域图像，所述刀闸区域图像为所述目标图像；
可以理解的，由于最终目标检测模型是对刀闸整体进行训练而得到的，因此在将图像信息输入到最终目标检测模型当中，能够快速地根据目标检测识别后的图像中截取刀闸区域图像。
步骤S14：获取待处理的目标图像，所述目标图像中含有所述闸刀片和所述绝缘子，并将所述目标图像输入到最终语义分割模型之中；
步骤S15：获取所述最终语义分割模型检测识别所述目标图像后输出的闸刀片掩膜和绝缘子掩膜；
可以理解的，在构建最终语义分割模型的过程中，同样需对图像样本中的刀闸整体进行标注，并根据对图像样本的标注结果截取所述图像样本中含有完整刀闸的小图像，再对所述小图像中的绝缘子和闸刀片分别进行标注，并将标注后的所有小图像进行汇总以制成第二数据集。
进一步的，在制成第二数据集后，将所述第二数据集按第二预设比例划分成第二训练集和第二验证集，在本实施例中，第二预设比例设置为9:1，并对所述第二训练集进行数据增强，数据增强方式为采用图像亮度变化、图像翻转、图像旋转对所述第二训练集进行数据增强，得到增强后的第二训练集，并根据增强后的所述第二训练集和所述第二验证集对初始语义分割模型进行训练第二预设次数，以获取与第二预设次数对应数量的训练后的语义分割模型，在本实施例中，第二预设次数设置为200周期，初始学习率设置为0.0001。
具体的，在本步骤中，采用U-Net作为初始语义分割模型。U-Net模型主要包括两部分，第一部分为特征提取，第二部分为上采样部分。特征提取部分采用Mobilenet作为骨干网络，且损失函数采用二分类交叉熵损失函数，所述二分类交叉熵损失函数由BCELoss损失函数和DiceLoss损失函数构成，其中：
BCELoss损失函数的处理公式为：
Figure 28205DEST_PATH_IMAGE001
其中xi表示理论标签，yi表示实际预测值，wi为权重；
DiceLoss损失函数的处理公式为：
Figure 460455DEST_PATH_IMAGE002
其中︱X∩Y︱是X类别元素和Y类别元素之间的交集，︱X︱表示X类别元素个数，︱Y︱表示Y类别元素个数，且分子乘2是为了保证分母重复计算后取值范围在[0，1]之间。
根据所述第二验证集对所有训练后的语义分割模型分别进行验证，并筛选出验证损失值最小的训练后的语义分割模型作为最终语义分割模型，在具体实施例时，首先排除训练初期损失值较高的语义分割模型，然后对剩余的语义分割模型权重利用MIOU（MeanIntersectionOverUnion，均交并比）指标来评价模型，MIOU一般都是基于类进行计算的，将每一类的IOU计算之后累加，再进行平均，以得到的就是基于全局的评价，在本实施例中，均交并比的的计算公式为：
Figure 461909DEST_PATH_IMAGE003
其中，Pij表示真实值为i，被预测为j的数量，k+1表示类别个数（包含空类），Pii表示真正的数量，Pji表示假负。
通过计算两个集合的交集和并集之比，在语义分割中，这两个集合分别为真实值和预测值。这个比例可以变形为正真数比上真正、假负、假正（并集）之和，在每个类上计算IOU，之后平均，从而得到各个的语义分割模型的MIOU指标，并选取最优的模型权重作为最终使用的绝缘子、闸刀片的最终语义分割模型模型。
步骤S16：根据所述绝缘子掩膜判断所述刀闸是否完整；
进一步地，请参阅图3，步骤S16包括步骤S161至步骤S164，其中：
步骤S161：获取所述绝缘子掩膜的面积，并根据所述绝缘子掩膜的面积计算得到所述绝缘子掩膜在所述目标图像中的面积占比；
需要指出的是，由于需要检测识别的刀闸开关的结构为包括一对绝缘子和一对闸刀片，且绝缘子设于闸刀片两端，因此，若判断出从图像信息中截取的绝缘子部分是完整的，则同样能够说明刀闸整体也是完整的，从而无需再分析目标图像中的闸刀片是否是完整的，能够提高检测识别效率。
步骤S162：判断所述绝缘子掩膜在所述目标图像中的面积占比是否大于第二预设占比阀值；
步骤S163：若是则判定所述目标图像中的刀闸完整；
可以理解的，在本实施例中，第二预设占比阀值设定为5%，即当绝缘子掩膜的面积大于5%时，则判定此次从监控视频中提取的图像信息包含了完整的刀闸，即该目标图像有效。
步骤S164：若否则判定所述目标图像中的刀闸不完整，此时主动丢弃输入到所述最终语义分割模型当中的目标图像，并从刀闸的监控视频中提取下一帧的图像信息。
需要说明的是，若绝缘子掩膜面积不大于5%，说明该目标图像无效，则从刀闸的监控视频中提取下一帧的图像信息，可以理解的，第二预设占比阀值是由刀闸实物和刀闸应用场景决定的，因此在本发明的其他实施例中，第二预设占比阀值还可以设置成其他数值。
综上，根据上述的刀闸开合状态的识别方法，通过降低背景干扰以保证对刀闸开合状态的识别准确度。具体为，通过将待处理的目标图像输入到训练好的最终语义分割模型之中，从而提取出闸刀片掩膜和绝缘子掩膜，由于刀闸的结构包括闸刀片和设于闸刀片两端的绝缘子，因此根据绝缘子掩膜判断刀闸是否完整是很可行的，在根据绝缘子掩膜判断到刀闸为完整时，再对闸刀片掩膜进行轮廓提取，从而得到第一大连通区域和第二大连通区域，进而根据第一大连通区域和第二大连通区域的面积之比判断刀闸的开合状态，该方法无需考量变电站场景以及图像背景内容，有效解决了传统检测方式存在的通用性弱、性能不高的问题，具有操作简单，测试成本低的优点。
请参阅图4，所示为本发明第三实施例中的刀闸开合状态的识别系统的结构示意图，所述刀闸包括闸刀片和分别设于所述闸刀片两端的绝缘子，应用于刀闸检测系统，所述刀闸开合状态的识别系统包括：
视频处理模块10，用于获取刀闸的监控视频，并从所述监控视频中提取出某一帧的图像信息。
目标检测模块20，用于将所述图像信息输入到所述最终目标检测模型，得到目标检测识别后的图像。
剪切模块30，用于从目标检测识别后的图像中截取刀闸区域图像，所述刀闸区域图像为所述目标图像。
第一输入模块40，用于获取待处理的目标图像，所述目标图像中含有所述闸刀片和所述绝缘子，并将所述目标图像输入到最终语义分割模型之中。
特征掩膜提取模块50，用于获取所述最终语义分割模型检测识别所述目标图像后输出的闸刀片掩膜和绝缘子掩膜。
特征掩膜分析模块60，用于根据所述绝缘子掩膜判断所述刀闸是否完整。
进一步地，特征掩膜分析模块60还包括：
计算单元，用于获取所述绝缘子掩膜的面积，并根据所述绝缘子掩膜的面积计算得到所述绝缘子掩膜在所述目标图像中的面积占比；
分析单元，用于判断所述绝缘子掩膜在所述目标图像中的面积占比是否大于第二预设占比阀值；
判定单元，用于若是则判定所述目标图像中的刀闸完整；
重复提取单元，用于若否则判定所述目标图像中的刀闸不完整，此时主动丢弃输入到所述最终语义分割模型当中的目标图像，并从刀闸的监控视频中提取下一帧的图像信息。
连通区域获取模块70，用于若是则对所述闸刀片掩膜进行轮廓提取，得到多个连通区域的集合，并从多个连通区域中筛选出第一大连通区域和第二大连通区域。
开合状态判断模块80，用于获取第一大连通区域与第二大连通区域的面积之比，并判断第一大连通区域与第二大连通区域的面积之比是否大于第一预设占比阀值，若是则表示所述刀闸处于闭合状态。
综上，根据上述的刀闸开合状态的识别系统，通过将待处理的目标图像输入到训练好的最终语义分割模型之中，从而提取出闸刀片掩膜和绝缘子掩膜，由于刀闸的结构包括闸刀片和设于闸刀片两端的绝缘子，因此根据绝缘子掩膜判断刀闸是否完整是很可行的，在根据绝缘子掩膜判断到刀闸为完整时，再对闸刀片掩膜进行轮廓提取，从而得到第一大连通区域和第二大连通区域，进而根据第一大连通区域和第二大连通区域的面积之比判断刀闸的开合状态，该方法无需考量变电站场景以及图像背景内容，有效解决了传统检测方式存在的通用性弱、性能不高的问题，具有操作简单，测试成本低的优点。
本发明另一方面还提出计算机存储介质，其上存储有一个或多个程序，该程序给处理器执行时实现上述的刀闸开合状态的识别方法。
本发明另一方面还提出一种计算机设备，包括存储器和处理器，其中存储器用于存放计算机程序，处理器用于执行存储器上所存放的计算机程序，以实现上述的刀闸开合状态的识别方法。
本领域技术人员可以理解，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或它们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (9)

1.一种刀闸开合状态的识别方法，其特征在于，应用于刀闸检测系统，所述刀闸包括闸刀片和分别设于所述闸刀片两端的一对绝缘子，所述方法包括：
将图像信息输入到最终目标检测模型，得到目标检测识别后的图像，所述最终目标检测模型是对刀闸整体进行训练而得到的；
从目标检测识别后的图像中截取刀闸区域图像，所述刀闸区域图像为目标图像；
获取待处理的目标图像，所述目标图像中含有所述闸刀片和所述绝缘子，并将所述目标图像输入到最终语义分割模型之中；
获取所述最终语义分割模型检测识别所述目标图像后输出的闸刀片掩膜和绝缘子掩膜；
获取所述绝缘子掩膜的面积，并根据所述绝缘子掩膜的面积计算得到所述绝缘子掩膜在所述目标图像中的面积占比；
判断所述绝缘子掩膜在所述目标图像中的面积占比是否大于第二预设占比阀值；
若否则表示所述目标图像中的刀闸不完整，此时主动丢弃输入到所述最终语义分割模型当中的目标图像，并从刀闸的监控视频中提取下一帧的图像信息；
若是则判定所述目标图像中的刀闸完整；
对所述闸刀片掩膜进行轮廓提取，得到多个连通区域的集合，并从多个连通区域中筛选出第一大连通区域和第二大连通区域；
获取第一大连通区域与第二大连通区域的面积之比，并判断第一大连通区域与第二大连通区域的面积之比是否大于第一预设占比阀值，若是则表示所述刀闸处于闭合状态。
2.根据权利要求1所述的刀闸开合状态的识别方法，其特征在于，所述获取待处理的目标图像，所述目标图像中含有所述闸刀片和所述绝缘子，并将所述目标图像输入到最终语义分割模型之中的步骤之前还包括：
获取多张含有刀闸的图像样本；
对所述图像样本中的刀闸进行标注，标注对象为刀闸整体，并将标注后的所有图像样本进行汇总，以制成第一数据集；
将所述第一数据集按第一预设比例划分成第一训练集和第一验证集，并对所述第一训练集进行数据增强，同时根据增强后的第一训练集对初始目标检测模型进行训练第一预设次数，以获取与第一预设次数对应数量的训练后的目标检测模型；
根据所述第一验证集对所有训练后的目标检测模型分别进行验证，并筛选出验证损失值最小的训练后的目标检测模型作为最终目标检测模型。
3.根据权利要求2所述的刀闸开合状态的识别方法，其特征在于，所述对所述图像样本中的刀闸进行标注，标注对象为刀闸整体的步骤之后还包括：
根据对图像样本的标注结果截取所述图像样本中含有完整刀闸的小图像；
对所述小图像中的绝缘子和闸刀片分别进行标注，并将标注后的所有小图像进行汇总以制成第二数据集；
将所述第二数据集按第二预设比例划分成第二训练集和第二验证集，并对所述第二训练集进行数据增强，并根据增强后的所述第二训练集和所述第二验证集对初始语义分割模型进行训练第二预设次数，以获取与第二预设次数对应数量的训练后的语义分割模型；
根据所述第二验证集对所有训练后的语义分割模型分别进行验证，并筛选出验证损失值最小的训练后的语义分割模型作为最终语义分割模型。
4.根据权利要求2所述的刀闸开合状态的识别方法，其特征在于，所述获取待处理的目标图像的步骤之前还包括：
获取刀闸的监控视频，并从所述监控视频中提取出某一帧的图像信息。
5.根据权利要求3所述的刀闸开合状态的识别方法，其特征在于，所述方法还包括：
采用颜色阈值变换、颜色阈值反转以及mosaic变换方法对所述第一训练集进行数据增强，得到增强后的第一训练集；
采用图像亮度变化、图像翻转、图像旋转对所述第二训练集进行数据增强，得到增强后的第二训练集。
6.根据权利要求3所述的刀闸开合状态的识别方法，其特征在于，所述初始语义分割模型采用二分类交叉熵损失函数，所述二分类交叉熵损失函数由BCELoss损失函数和DiceLoss损失函数构成，其中：
BCELoss损失函数的处理公式为：
Figure 192364DEST_PATH_IMAGE001
其中xi表示理论标签，yi表示实际预测值，wi为权重；
DiceLoss损失函数的处理公式为：
Figure 640663DEST_PATH_IMAGE002
其中︱X∩Y︱是X类别元素和Y类别元素之间的交集个数，︱X︱表示X类别元素个数，︱Y︱表示Y类别元素个数。
7.一种刀闸开合状态的识别系统，其特征在于，应用于刀闸检测系统，所述刀闸包括闸刀片和分别设于所述闸刀片两端的一对绝缘子，所述刀闸开合状态的识别系统包括：
第一输入模块，用于获取待处理的目标图像，所述目标图像中含有所述闸刀片和所述绝缘子，并将所述目标图像输入到最终语义分割模型之中；
特征掩膜提取模块，用于获取所述最终语义分割模型检测识别所述目标图像后输出的闸刀片掩膜和绝缘子掩膜；
特征掩膜分析模块，用于根据所述绝缘子掩膜判断所述刀闸是否完整；
连通区域获取模块，用于对所述闸刀片掩膜进行轮廓提取，得到多个连通区域的集合，并从多个连通区域中筛选出第一大连通区域和第二大连通区域；
开合状态判断模块，用于获取第一大连通区域与第二大连通区域的面积之比，并判断第一大连通区域与第二大连通区域的面积之比是否大于第一预设占比阀值，若是则表示所述刀闸处于闭合状态；
目标检测模块，用于将图像信息输入到最终目标检测模型，得到目标检测识别后的图像，所述最终目标检测模型是对刀闸整体进行训练而得到的；
剪切模块，用于从目标检测识别后的图像中截取刀闸区域图像，所述刀闸区域图像为所述目标图像；
所述特征掩膜分析模块还包括：
计算单元，用于获取所述绝缘子掩膜的面积，并根据所述绝缘子掩膜的面积计算得到所述绝缘子掩膜在所述目标图像中的面积占比；
分析单元，用于判断所述绝缘子掩膜在所述目标图像中的面积占比是否大于第二预设占比阀值；
判定单元，用于若是则判定所述目标图像中的刀闸完整；
重复提取单元，用于若否则判定所述目标图像中的刀闸不完整，此时主动丢弃输入到所述最终语义分割模型当中的目标图像，并从刀闸的监控视频中提取下一帧的图像信息。
8.一种存储介质，其特征在于，包括：所述存储介质存储一个或多个程序，该程序被处理器执行时实现如权利要求1-6任一所述的刀闸开合状态的识别方法。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，其中：
所述存储器用于存放计算机程序；
所述处理器用于执行所述存储器上所存放的计算机程序时，实现权利要求1-6任一所述的刀闸开合状态的识别方法。
CN202111111431.1A 2021-09-23 2021-09-23 刀闸开合状态的识别方法、系统、存储介质及计算机设备 Active CN113569819B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111111431.1A CN113569819B (zh) 2021-09-23 2021-09-23 刀闸开合状态的识别方法、系统、存储介质及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111111431.1A CN113569819B (zh) 2021-09-23 2021-09-23 刀闸开合状态的识别方法、系统、存储介质及计算机设备

Publications (2)

Publication Number Publication Date
CN113569819A CN113569819A (zh) 2021-10-29
CN113569819B true CN113569819B (zh) 2021-12-24

Family

ID=78174077

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111111431.1A Active CN113569819B (zh) 2021-09-23 2021-09-23 刀闸开合状态的识别方法、系统、存储介质及计算机设备

Country Status (1)

Country Link
CN (1) CN113569819B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113989510B (zh) * 2021-12-28 2022-03-11 深圳市万物云科技有限公司 一种河道排水口溢流检测方法、装置及相关设备
CN114078234B (zh) * 2022-01-07 2022-05-31 泰豪软件股份有限公司 供电台区施工工艺的检测方法、系统、存储介质及设备
CN115049735B (zh) * 2022-08-12 2022-11-08 季华实验室 一种掩膜优化处理方法、装置、电子设备及存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107257161A (zh) * 2017-06-20 2017-10-17 安徽南瑞继远电网技术有限公司 一种基于状态识别算法的变电站刀闸遥控辅助校核方法及系统
CN107944396A (zh) * 2017-11-27 2018-04-20 国网安徽省电力有限公司经济技术研究院 一种基于改进深度学习的刀闸状态识别方法
CN110689528A (zh) * 2019-09-21 2020-01-14 南京鑫和汇通电子科技有限公司 一种基于自动定位的对开式刀闸开合角度检测方法
CN110705571A (zh) * 2019-09-21 2020-01-17 南京鑫和汇通电子科技有限公司 一种剪刀式刀闸开合状态检测方法
CN110717409A (zh) * 2019-09-21 2020-01-21 南京鑫和汇通电子科技有限公司 一种对开式刀闸状态的实时精确检测方法
CN110942443A (zh) * 2019-09-21 2020-03-31 南京鑫和汇通电子科技有限公司 一种对开式刀闸状态的实时检测方法
CN111191641A (zh) * 2019-09-21 2020-05-22 南京鑫和汇通电子科技有限公司 一种对开式刀闸运动状态的精确检测方法
CN111950606A (zh) * 2020-07-28 2020-11-17 北京恒通智控机器人科技有限公司 一种刀闸状态识别方法、装置、设备和存储介质
CN112216371A (zh) * 2020-11-20 2021-01-12 中国科学院大学 多路多尺度并联编解码网络图像分割方法、系统及介质
CN112541890A (zh) * 2020-12-07 2021-03-23 国网江苏省电力有限公司常州供电分公司 刀闸行程状态的检测方法、设备和可读存储介质
US10963540B2 (en) * 2016-06-02 2021-03-30 Brown University Physics informed learning machine
CN112712082A (zh) * 2021-01-19 2021-04-27 南京南瑞信息通信科技有限公司 一种基于多级图像信息的刀闸开合状态识别方法及装置
CN113065598A (zh) * 2021-04-06 2021-07-02 泰豪软件股份有限公司 一种绝缘子识别模型的获取方法、装置及计算机设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113221688B (zh) * 2021-04-28 2024-03-19 南京南瑞继保电气有限公司 一种刀闸状态识别方法、装置和存储介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10963540B2 (en) * 2016-06-02 2021-03-30 Brown University Physics informed learning machine
CN107257161A (zh) * 2017-06-20 2017-10-17 安徽南瑞继远电网技术有限公司 一种基于状态识别算法的变电站刀闸遥控辅助校核方法及系统
CN107944396A (zh) * 2017-11-27 2018-04-20 国网安徽省电力有限公司经济技术研究院 一种基于改进深度学习的刀闸状态识别方法
CN111191641A (zh) * 2019-09-21 2020-05-22 南京鑫和汇通电子科技有限公司 一种对开式刀闸运动状态的精确检测方法
CN110717409A (zh) * 2019-09-21 2020-01-21 南京鑫和汇通电子科技有限公司 一种对开式刀闸状态的实时精确检测方法
CN110942443A (zh) * 2019-09-21 2020-03-31 南京鑫和汇通电子科技有限公司 一种对开式刀闸状态的实时检测方法
CN110705571A (zh) * 2019-09-21 2020-01-17 南京鑫和汇通电子科技有限公司 一种剪刀式刀闸开合状态检测方法
CN110689528A (zh) * 2019-09-21 2020-01-14 南京鑫和汇通电子科技有限公司 一种基于自动定位的对开式刀闸开合角度检测方法
CN111950606A (zh) * 2020-07-28 2020-11-17 北京恒通智控机器人科技有限公司 一种刀闸状态识别方法、装置、设备和存储介质
CN112216371A (zh) * 2020-11-20 2021-01-12 中国科学院大学 多路多尺度并联编解码网络图像分割方法、系统及介质
CN112541890A (zh) * 2020-12-07 2021-03-23 国网江苏省电力有限公司常州供电分公司 刀闸行程状态的检测方法、设备和可读存储介质
CN112712082A (zh) * 2021-01-19 2021-04-27 南京南瑞信息通信科技有限公司 一种基于多级图像信息的刀闸开合状态识别方法及装置
CN113065598A (zh) * 2021-04-06 2021-07-02 泰豪软件股份有限公司 一种绝缘子识别模型的获取方法、装置及计算机设备

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Insulator Detection Method in Inspection Image Based on Improved Faster R-CNN;Zhenbing Zhao et al.;《Energies 2019》;20191231;第1-15页 *
变电站机器人自动巡检中的刀闸开合状态分析;马啸川 等;《电子测量与仪器学报》;20180630;第32卷(第6期);第64-71页 *
基于U-net网络的航拍绝缘子检测;陈景文 等;《陕西科技大学学报》;20180831;第36卷(第4期);第153-157页 *
基于改进深度学习的刀闸状态识别方法研究;张骥 等;《电测与仪表》;20180310;第55卷(第5期);第8-13页 *
复杂背景图像中垂直伸缩式刀闸状态识别研究;吴宽 等;《自动化仪表》;20180331;第39卷(第3期);第14-16,20页 *

Also Published As

Publication number Publication date
CN113569819A (zh) 2021-10-29

Similar Documents

Publication Publication Date Title
CN113569819B (zh) 刀闸开合状态的识别方法、系统、存储介质及计算机设备
CN106326808B (zh) 基于无人机图像的检测输电线路杆塔上鸟窝的方法
CN112380952A (zh) 基于人工智能的电力设备红外图像实时检测及识别方法
CN113344475B (zh) 基于序列模态分解的变压器套管缺陷识别方法及系统
CN108268832A (zh) 电力作业监测方法、装置、存储介质和计算机设备
CN113222949B (zh) 一种电力设备导体插接位置的x射线影像自动检测方法
CN112163572A (zh) 识别对象的方法和装置
CN115619778A (zh) 一种电力设备缺陷识别方法、系统、可读存储介质及设备
CN113065484A (zh) 一种基于紫外图谱的绝缘子污秽状态评估方法
CN111899210A (zh) 一种基于图像识别的电弧检测方法
WO2013022688A1 (en) Automated detection of diagnostically relevant regions in pathology images
CN112541890B (zh) 刀闸行程状态的检测方法、设备和可读存储介质
CN111931721B (zh) 年检标签颜色和个数的检测方法、装置及电子设备
CN110992306B (zh) 基于深度学习的红外图像中劣化绝缘子的分割方法及装置
CN112733957A (zh) 变电站保护压板状态核查方法、装置、设备及存储介质
Almanasra et al. Alternative real-time image-based smoke detection algorithm
CN116739963A (zh) 一种基于多层级多尺度特征融合的电网设备缺陷检测方法
CN114821309A (zh) 一种室内变电站开关及指示灯状态识别方法及系统
CN113643234A (zh) 一种复合绝缘子破损检测方法、终端设备及可读存储介质
CN116740472B (zh) 电力开关柜开关状态的识别方法、装置、设备及存储介质
CN118015552A (zh) 基于信息融合的站内设备工作状态识别方法、系统及装置
CN112819002B (zh) 车牌识别结果评估方法、装置、电子设备及存储介质
CN117686823B (zh) 一种变电站继电保护自动化验收系统
CN117934920A (zh) 端到端的配电柜状态监控方法及装置
CN111931900B (zh) 基于残差网络与多尺度特征融合的gis放电波形检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant