CN114140612A - 电力设备隐患检测方法、装置、设备及存储介质 - Google Patents
电力设备隐患检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN114140612A CN114140612A CN202111473421.2A CN202111473421A CN114140612A CN 114140612 A CN114140612 A CN 114140612A CN 202111473421 A CN202111473421 A CN 202111473421A CN 114140612 A CN114140612 A CN 114140612A
- Authority
- CN
- China
- Prior art keywords
- hidden danger
- power equipment
- model
- equipment
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000001514 detection method Methods 0.000 claims abstract description 103
- 238000012549 training Methods 0.000 claims abstract description 43
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 31
- 238000013526 transfer learning Methods 0.000 claims abstract description 21
- 238000005516 engineering process Methods 0.000 claims abstract description 20
- 238000013527 convolutional neural network Methods 0.000 claims description 70
- 230000011218 segmentation Effects 0.000 claims description 19
- 238000000605 extraction Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 230000002776 aggregation Effects 0.000 claims description 5
- 238000004220 aggregation Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 7
- 230000004927 fusion Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种电力设备隐患检测方法、装置、设备及存储介质。该方法包括：获取标注有隐患点轮廓的电力设备图像集；采用迁移学习技术对优化的Mask R‑CNN模型进行模型参数初始化；利用梯度下降算法在所述电力设备图像集中对所述优化的Mask R‑CNN模型进行模型训练，得到训练完成的设备隐患检测模型；将待测电力设备图像输入所述设备隐患检测模型，并根据所述设备隐患检测模型输出的隐患预测图像，确定电力设备隐患点信息。本发明实施例的技术方案，通过使用基于优化的Mask R‑CNN模型，在电力设备上获取精确的电力设备隐患点信息。
Description
技术领域
本发明实施例涉及电力设备运行维护技术领域，尤其涉及一种电力设备隐患检测方法、装置、设备及存储介质。
背景技术
随着我国电力需求越来越大，电力设备数量成指数倍增长，随之而来的是各种运行故障的爆发，这都是由于设备数量过多不能很快的发现隐患点而导致的。目前电网运行中已运用无人机巡检，对带电设备进行近距离拍照，但在整理照片并进行甄别时，会因图片过多导致错过设备隐患、缺陷。因此，基于计算机视觉的电力设备隐患检测技术在电网运行维护领域有很好的应用价值。
现有的基于计算机视觉的电力设备隐患的检测方法主要实现了电力设备隐患的检测及隐患位置的定位。然而单一的电力设备隐患检测及定位并不能满足电力行业工作者的需求，在需要更进一步分析电力设备隐患时，简单粗糙的位置信息并不足够使电力行业工作者进行准确的判断。其次，在无人机或手机拍摄的电力设备图像中，往往存在大量的背景信息，这些将干扰电力行业工作者的判断。
发明内容
本发明实施例提供一种电力设备隐患检测方法、装置、设备及存储介质，以实现使用基于优化的Mask R-CNN模型，在电力设备上获取精确的电力设备隐患点信息。
第一方面，本发明实施例提供了一种电力设备隐患检测方法，包括：
获取标注有隐患点轮廓的电力设备图像集；
采用迁移学习技术对优化的Mask R-CNN模型进行模型参数初始化；
利用梯度下降算法在电力设备图像集中对优化的Mask R-CNN模型进行模型训练，得到训练完成的设备隐患检测模型；
将待测电力设备图像输入设备隐患检测模型，并根据设备隐患检测模型输出的隐患预测图像，确定电力设备隐患点信息。
可选的，优化的Mask R-CNN模型包括残差网络ResNet-101，特征金字塔网络(Feature Pyramid Networks，FPN)，区域建议网络(Region Proposal Network，RPN)，候选区域匹配(Region of Interest Align,ROI Align)层，分类网络以及实例分割网络；
其中，FPN网络包括：自下而上的卷积神经网络、自上而下的侧边连接路径以及自下而上的反向侧边连接路径。
可选的，获取标注有隐患点轮廓的电力设备图像集，包括：
获取从不同角度、不同方向采集的电力设备图像，并将电力设备图像统一缩放到固定像素大小；
采用标注软件Labelme为电力设备图像标注隐患点的边缘轮廓以及相应类型，得到标注有隐患点轮廓的电力设备图像集。
可选的，采用迁移学习技术对优化的Mask R-CNN模型进行模型参数初始化，包括：
设置训练参数，采用迁移学习技术，利用COCO物体检测数据集的模型参数，对优化的Mask R-CNN模型进行初始模型参数的泛化。
可选的，利用梯度下降算法在电力设备图像集中对优化的Mask R-CNN模型进行模型训练，得到训练完成的设备隐患检测模型，包括：
将电力设备图像集中的训练集输入优化的Mask R-CNN模型；
利用ResNet101网络以及FPN网络对输入图像进行特征提取，得到特征图；
利用RPN网络对特征图中的每一个位置，生成预设数量的候选框；
将候选框映射到ROI Align层，使用双线性插值使特征聚集连续，将待测电力设备图像和特征图的像素对应；
将ROI Align层生成的特征图输入分类网络和实例分割网络，进行隐患点的目标框定位、预测隐患点所属类别以及用彩色的二值掩码绘出隐患点的边缘轮廓；
根据设置的参数值进行迭代训练，通过梯度下降算法和误差后向传播算法得到在迭代轮数内的最优模型，保存为设备隐患检测模型。
可选的，将待测电力设备图像输入设备隐患检测模型，并根据设备隐患检测模型输出的隐患预测图像，确定电力设备隐患点信息，包括：
将待测电力设备图像输入设备隐患检测模型；
通过设备隐患检测模型，如果预测待测电力设备图像中存在隐患点，则输出具有隐患点定位矩形框以及用二值掩码绘出的隐患点边缘轮廓的隐患预测图像；
通过设备隐患检测模型，如果预测待测电力设备图像中不存在隐患点，则输出原始的待测电力设备图像作为隐患预测图像，并提示电力设备运行正常。第二方面，本发明实施例还提供了一种电力设备隐患检测装置，包括：
数据获取模块，用于获取标注有隐患点轮廓的电力设备图像集；
初始化模块，用于采用迁移学习技术对优化的Mask R-CNN模型进行模型参数初始化；
模型训练模块，用于利用梯度下降算法在电力设备图像集中对优化的Mask R-CNN模型进行模型训练，得到训练完成的设备隐患检测模型；
隐患检测模块，用于将待测电力设备图像输入设备隐患检测模型，并根据设备隐患检测模型输出的隐患预测图像，确定电力设备隐患点信息。
可选的，优化的Mask R-CNN模型包括残差网络ResNet-101，特征金字塔网络FPN，区域建议网络RPN，ROI Align层，分类网络以及实例分割网络；
其中，FPN网络包括：自下而上的卷积神经网络、自上而下的侧边连接路径以及自下而上的反向侧边连接路径。
第三方面，本发明实施例还提供了一种计算机设备，设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现本发明任意实施例提供的电力设备隐患检测方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例提供的电力设备隐患检测方法。
本发明实施例的技术方案，通过获取标注有隐患点轮廓的电力设备图像集；采用迁移学习技术对优化的Mask R-CNN模型进行模型参数初始化；利用梯度下降算法在电力设备图像集中对优化的Mask R-CNN模型进行模型训练，得到训练完成的设备隐患检测模型；将待测电力设备图像输入设备隐患检测模型，并根据设备隐患检测模型输出的隐患预测图像，确定电力设备隐患点信息，解决了现有技术中只能对电力设备隐患进行简单定位的问题，使用基于优化的Mask R-CNN模型，在电力设备上获取精确的电力设备隐患点信息。
附图说明
图1a是本发明实施例一中的一种电力设备隐患检测方法的流程图；
图1b是本发明实施例一中的一种电力设备的隐患检测实现流程图；
图2a是本发明实施例二中的一种电力设备隐患检测方法的流程图；
图2b是本发明实施例二中的一种多尺度特征融合图；
图3是本发明实施例三中的一种电力设备隐患检测装置的结构示意图；
图4是本发明实施例四中的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1a是本发明实施例一中的一种电力设备隐患检测方法的流程图，本实施例可适用于对电力设备进行精确的隐患点检测的情况，该方法可以由电力设备隐患检测装置来执行，该装置可以由硬件和/或软件来实现，并一般可以集成在提供隐患检测服务的计算机设备中。如图1a所示，该方法包括：
步骤110、获取标注有隐患点轮廓的电力设备图像集。
其中，电力设备图像是指对多个电力设备从不同角度不同方向拍摄的照片，照片中可以包括电力设备中的高压电线、变压器等部件。隐患点可以是电力设备中发生运行故障、安全隐患或者人为操作引发各类隐患的部件，例如切合空载运行的变压器。
可选的，获取标注有隐患点轮廓的电力设备图像集，可以包括：获取从不同角度、不同方向采集的电力设备图像，并将电力设备图像统一缩放到固定像素大小；采用标注软件Labelme为电力设备图像标注隐患点的边缘轮廓以及相应类型，得到标注有隐患点轮廓的电力设备图像集。
本实施例中，可以利用手机或无人机从不同角度、不同方向采集不同电力设备的图像，并将所采集的不同尺寸的电力设备图像统一缩放到300×300像素大小。采用标注软件Labelme在电力设备图像中标注隐患点的边缘轮廓，并标注相应类型，例如对于图像中的所有变压器标注类型“变压器”，得到标注有隐患点轮廓的电力设备图像集，完成标注后保存标注信息并生成json文件。
需要说明的是，如图1b所示，为了便于后续对模型进行训练，可以对电力设备图像集进行划分，随机选择电力设备图像集中的3000张图像作为训练集，选择500张图像作为验证集，选择500张图像作为测试集。
步骤120、采用迁移学习技术对优化的Mask R-CNN模型进行模型参数初始化。
本实施例中，基于Mask R-CNN算法对电力设备隐患检测做出改进，以实现精准的电力设备隐患检测及分割效果。其中，Mask R-CNN算法是在Faster R-CNN的基础上，利用全卷积网络对检测目标进行实例级的分割的目标检测算法。迁移学习是一种机器学习方法，就是把为任务A开发的模型作为初始点，重新使用在为任务B开发模型的过程中。
可选的，采用迁移学习技术对优化的Mask R-CNN模型进行模型参数初始化，可以包括：设置训练参数，采用迁移学习技术，利用COCO物体检测数据集的模型参数，对优化的Mask R-CNN模型进行初始模型参数的泛化。
本实施例中，可以设置迭代轮数为50轮，每轮迭代次数为3000次，其中前30轮的学习率设置为0.001，剩余20轮学习率为0.0001，动量统一为0.9。如图1b所示，读取COCO物体检测数据集的模型参数，对优化的Mask R-CNN模型进行初始模型参数的泛化，利用COCO物体检测数据集的模型已具有的特征提取能力，帮助优化的Mask R-CNN模型快速收敛，解决超参数不收敛的问题，减少训练时间。
可选的，优化的Mask R-CNN模型包括残差网络ResNet-101，特征金字塔网络FPN，区域建议网络RPN，ROI Align层，分类网络以及实例分割网络；其中，FPN网络包括：自下而上的卷积神经网络、自上而下的侧边连接路径以及自下而上的反向侧边连接路径。
本实施例中，在使用Mask R-CNN模型对电力设备图像进行隐患检测时，为了提高小尺度隐患点的检测性能，在特征提取阶段，对FPN网络进行改进，采用了多尺度特征融合策略，在自下而上的卷积神经网络和自上而下的侧边连接路径的基础上，增加自下向上的反向侧边连接路径，实现在深层特征中与浅层特征的融合，提高了小尺度电力设备隐患点的检测精度。使用ROI Align算法，使检测后图像像素点定位精准度达到像素级的效果，满足实例分割技术对像素点精准度的要求。从而实现在手机或无人机拍摄的电力设备图像上，准确框出隐患点，并对隐患点做实例级分割，绘出其二值掩码的效果。
步骤130、利用梯度下降算法在电力设备图像集中对优化的Mask R-CNN模型进行模型训练，得到训练完成的设备隐患检测模型。
本实施例中，将电力设备图像集的训练集输入优化的Mask R-CNN模型，利用梯度下降算法进行模型训练。在训练过程中，每轮迭代学习完成后，将验证集输入学习出来的优化的Mask R-CNN模型中，测试当前模型的检测准确率。在模型训练结束后，将测试集输入训练完的优化的Mask R-CNN模型中，测试模型的检测精度和推广能力。
最终训练得到的设备隐患检测模型，在经过ResNet-101网络和FPN网络从输入图像中提取特征后，在获取到的有效特征层上应用RPN网络获取先验框，以获得对设备隐患点的初步筛选，并将获取的先验框映射到特征图上一同输入ROI Align层，不同大小的特征层会在此重新映射，使得输出的特征图大小相同，接着进行两个全连接层的并行处理得出两个结果，分别为分类预测的结果和实例分割的结果，分类结果可以获得建议框内的物体标签，实例分割结果可以在对建议框进行调整得到真实的预测框后，对每一个预测框执行二类分割得到用二值掩码绘出的物体的边缘轮廓。
步骤140、将待测电力设备图像输入设备隐患检测模型，并根据设备隐患检测模型输出的隐患预测图像，确定电力设备隐患点信息。
本实施例中，将待测电力设备图像输入设备隐患检测模型，获取设备隐患检测模型输出的标记有隐患点的隐患预测图像，然后从隐患预测图像中获取电力设备隐患点信息，并将隐患预测图像和隐患点信息都发送给工作人员，以使工作人员及时消除设备隐患，避免隐患扩大导致故障发生，减少电力设备的损坏。
可选的，将待测电力设备图像输入设备隐患检测模型，并根据设备隐患检测模型输出的隐患预测图像，确定电力设备隐患点信息，可以包括：将待测电力设备图像输入设备隐患检测模型；通过设备隐患检测模型，如果预测待测电力设备图像中存在隐患点，则输出具有隐患点定位矩形框以及用二值掩码绘出的隐患点边缘轮廓的隐患预测图像；通过设备隐患检测模型，如果预测待测电力设备图像中不存在隐患点，则输出原始的待测电力设备图像作为隐患预测图像，并提示电力设备运行正常。
本实施例中，设备隐患检测模型对输入的待测电力设备图像进行隐患检测后，如果预测结果表示待测电力设备图像中存在隐患点，则输出具有隐患点定位矩形框的图像，此外，在图像中，设备隐患点通过彩色的二值掩码从背景的干扰信息中分割出来，以便于电力工作人员进行下一步的判断或采取下一步的隐患诊断工作。如果预测结果表示待测电力设备图像中不存在隐患点，则直接输出原始的待测电力设备图像，并提示电力设备运行正常。
本发明实施例的技术方案，通过获取标注有隐患点轮廓的电力设备图像集；采用迁移学习技术对优化的Mask R-CNN模型进行模型参数初始化；利用梯度下降算法在电力设备图像集中对优化的Mask R-CNN模型进行模型训练，得到训练完成的设备隐患检测模型；将待测电力设备图像输入设备隐患检测模型，并根据设备隐患检测模型输出的隐患预测图像，确定电力设备隐患点信息，解决了现有技术中只能对电力设备隐患进行简单定位的问题，使用基于优化的Mask R-CNN模型，在电力设备上获取精确的电力设备隐患点信息。
实施例二
图2a是本发明实施例二中的一种电力设备隐患检测方法的流程图，本实施例在上述实施例的基础上进一步细化，提供利用梯度下降算法在电力设备图像集中对优化的MaskR-CNN模型进行模型训练，得到训练完成的设备隐患检测模型的具体步骤。下面结合图2a对本实施例提供的一种电力设备隐患检测方法进行说明，包括以下步骤：
步骤210、获取标注有隐患点轮廓的电力设备图像集。
步骤220、采用迁移学习技术对优化的Mask R-CNN模型进行模型参数初始化。
步骤230、将电力设备图像集中的训练集输入优化的Mask R-CNN模型。
步骤240、利用ResNet101网络以及FPN网络对输入图像进行特征提取，得到特征图。
本实施例中，利用多尺度特征融合策的ResNet101网络以及FPN网络对输入图像进行一次性的特征提取。不同于传统的Mask R-CNN模型，本实施例采用多尺度特征融合策略以改进小尺度设备隐患目标的检测效果。具体的，在FPN网络中添加了一个自下而上的特征融合路径，如图2b所示，从而不仅缩短了深层特征与浅层特征的传输距离，而且实现了在深层特征中与浅层特征的融合，提高了小尺度电力设备隐患点的检测的精度。
本实施例中，在卷积神经网络模型中，高层网络的感受野比较大，语义信息表征能力强，但特征图的分辨率低，几何信息的表征能力弱，表现为网络的目标定位能力差；低层网络的感受野比较小，几何信息表征能力强，虽然分辨率高，但语义信息表征能力弱，所含目标信息少。因此，在通过ResNet-101网络提取图像特征后，会将其中几个不同大小的特征图提取出来，构建FPN网络。
如图2b所示，ResNet101网络根据输出图像的尺寸及维度可分为5层，每层的最后1个残差块特征作为1个FPN网络的输入特征图。考虑到底层的语义信息表达过少，且其输出的特征图进行卷积、上采样的计算量过大，故仅使用上4层C2～C5的特征图。然后，C5通过1×1卷积核降维得到P5。下层P2～P4通过将上一层的上采样结果与左侧特征图的1×1卷积结果进行对应元素相加得到，例如，P5上采样到与C4相同尺寸，将P5的上采样结果与C4的1×1卷积结果相加，得到P4，其余同理，由此构建自上而下的金字塔结构。金字塔每层分别通过3×3卷积运算得到特征图N2～N5。N2直接从P2复制而来并经过步长为2的3×3卷积得到与P3相同尺寸的特征图，然后将该特征图与P3相加，所得的新特征图再经过一个步长为1的3×3卷积得到N3，其余同理。
步骤250、利用RPN网络对特征图中的每一个位置，生成预设数量的候选框。
本实施例中，在得到特征图之后，利用RPN网络在特征图上迅速生成候选框。例如，RPN网络采用不同横纵比、不同尺度的锚框对特征图中的每一个位置，滑动生成300个可能的候选框。计算候选框与真实框的交集和并集的交并比(Intersection over Union，IOU)，IOU大于0.5为正样本，小于0.5为负样本。从正、负样本中各选取128个样本进行特征训练，调优RPN网络层参数。
步骤260、将候选框映射到ROI Align层，使用双线性插值使特征聚集连续，将待测电力设备图像和特征图的像素对应。
本实施例中，对所选取的候选框映射到ROI Align层进行区域匹配操作，区域匹配操作取消了量化过程，使用双线性插值使特征聚集连续，将待测电力设备图像和特征图的像素对应，从而使特征图与固定的特征对应起来。其中，ROI Align层使用双线性插值，可以保留像素间的空间位置，给准确度带来不小的提升，经过ROI Align层之后可以使原本限定输入为固定大小的特征图变为可以接受任意大小，而输出特征图的大小固定。
步骤270、将ROI Align层生成的特征图输入分类网络和实例分割网络，进行隐患点的目标框定位、预测隐患点所属类别以及用彩色的二值掩码绘出隐患点的边缘轮廓。
本实施例中，将ROI Align层生成的特征图输入分类网络和实例分割网络，通过分类网络对候选框进行调整得到真实的预测框，即定位隐患点的目标框，并预测目标框内的隐患点的所属类别，通过实例分割网络使用彩色的二值掩码绘出对应的边缘轮廓，使隐患点与背景图像分割开来。
步骤280、根据设置的参数值进行迭代训练，通过梯度下降算法和误差后向传播算法得到在迭代轮数内的最优模型，保存为设备隐患检测模型。
本实施例中，利用梯度下降算法对优化的Mask R-CNN模型进行模型训练，计算网络模型的训练损失，采用误差反向传播算法进行网络模型权重参数的更新。在结束一轮迭代训练后，将验证集输入当前学习出来的优化的Mask R-CNN模型中，测试当前模型的检测准确率，最终得到迭代轮数内的最优模型，并保存为设备隐患检测模型。
步骤290、将待测电力设备图像输入所述设备隐患检测模型，并根据所述设备隐患检测模型输出的隐患预测图像，确定电力设备隐患点信息。
本发明实施例的技术方案，通过获取标注有隐患点轮廓的电力设备图像集；采用迁移学习技术对优化的Mask R-CNN模型进行模型参数初始化；利用梯度下降算法在电力设备图像集中对优化的Mask R-CNN模型进行模型训练，得到训练完成的设备隐患检测模型；将待测电力设备图像输入设备隐患检测模型，并根据设备隐患检测模型输出的隐患预测图像，确定电力设备隐患点信息，解决了现有技术中只能对电力设备隐患进行简单定位的问题，使用基于优化的Mask R-CNN模型，在电力设备上获取精确的电力设备隐患点信息。
实施例三
图3是本发明实施例三中的一种电力设备隐患检测装置的结构示意图，本实施例可适用于对电力设备进行精确的隐患点检测的情况，该装置可以由硬件和/或软件来实现，并一般可以集成在提供隐患检测服务的计算机设备中。如图3所示，该装置包括：
数据获取模块310，用于获取标注有隐患点轮廓的电力设备图像集；
初始化模块320，用于采用迁移学习技术对优化的Mask R-CNN模型进行模型参数初始化；
模型训练模块330，用于利用梯度下降算法在电力设备图像集中对优化的Mask R-CNN模型进行模型训练，得到训练完成的设备隐患检测模型；
隐患检测模块340，用于将待测电力设备图像输入设备隐患检测模型，并根据设备隐患检测模型输出的隐患预测图像，确定电力设备隐患点信息。
本发明实施例的技术方案，通过获取标注有隐患点轮廓的电力设备图像集；采用迁移学习技术对优化的Mask R-CNN模型进行模型参数初始化；利用梯度下降算法在电力设备图像集中对优化的Mask R-CNN模型进行模型训练，得到训练完成的设备隐患检测模型；将待测电力设备图像输入设备隐患检测模型，并根据设备隐患检测模型输出的隐患预测图像，确定电力设备隐患点信息，解决了现有技术中只能对电力设备隐患进行简单定位的问题，使用基于优化的Mask R-CNN模型，在电力设备上获取精确的电力设备隐患点信息。
可选的优化的Mask R-CNN模型包括残差网络ResNet-101，特征金字塔网络FPN，区域建议网络RPN，ROI Align层，分类网络以及实例分割网络；
其中，FPN网络包括：自下而上的卷积神经网络、自上而下的侧边连接路径以及自下而上的反向侧边连接路径。
可选的，数据获取模块310，用于：
获取从不同角度、不同方向采集的电力设备图像，并将电力设备图像统一缩放到固定像素大小；
采用标注软件Labelme为电力设备图像标注隐患点的边缘轮廓以及相应类型，得到标注有隐患点轮廓的电力设备图像集。
可选的，初始化模块320，用于：
设置训练参数，采用迁移学习技术，利用COCO物体检测数据集的模型参数，对优化的Mask R-CNN模型进行初始模型参数的泛化。
可选的，模型训练模块330，用于：
将电力设备图像集中的训练集输入优化的Mask R-CNN模型；
利用ResNet101网络以及FPN网络对输入图像进行特征提取，得到特征图；
利用RPN网络对特征图中的每一个位置，生成预设数量的候选框；
将候选框映射到ROI Align层，使用双线性插值使特征聚集连续，将待测电力设备图像和特征图的像素对应；
将ROI Align层生成的特征图输入分类网络和实例分割网络，进行隐患点的目标框定位、预测隐患点所属类别以及用彩色的二值掩码绘出隐患点的边缘轮廓；
根据设置的参数值进行迭代训练，通过梯度下降算法和误差后向传播算法得到在迭代轮数内的最优模型，保存为设备隐患检测模型。
可选的，隐患检测模块340，用于：
将待测电力设备图像输入设备隐患检测模型；
通过设备隐患检测模型，如果预测待测电力设备图像中存在隐患点，则输出具有隐患点定位矩形框以及用二值掩码绘出的隐患点边缘轮廓的隐患预测图像；
通过设备隐患检测模型，如果预测待测电力设备图像中不存在隐患点，则输出原始的待测电力设备图像作为隐患预测图像，并提示电力设备运行正常。
本发明实施例所提供的电力设备隐患检测装置可执行本发明任意实施例所提供的电力设备隐患检测方法，具备执行方法相应的功能模块和有益效果。
实施例四
图4是本发明实施例四中的一种计算机设备的结构示意图。图4示出了适于用来实现本发明实施方式的示例性设备12的框图。图4显示的设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示，设备12以通用计算设备的形式表现。设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该设备12交互的设备通信，和/或与使得该设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与设备12的其它模块通信。应当明白，尽管图中未示出，可以结合设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的电力设备隐患检测方法。
也即：实现一种电力设备隐患检测方法，包括：
获取标注有隐患点轮廓的电力设备图像集；
采用迁移学习技术对优化的Mask R-CNN模型进行模型参数初始化；
利用梯度下降算法在电力设备图像集中对优化的Mask R-CNN模型进行模型训练，得到训练完成的设备隐患检测模型；
将待测电力设备图像输入设备隐患检测模型，并根据设备隐患检测模型输出的隐患预测图像，确定电力设备隐患点信息。
实施例五
本发明实施例五还提供一种计算机可读存储介质，其上存储有计算机程序，程序在被计算机处理器执行时用于执行一种电力设备隐患检测方法，该方法包括：
获取标注有隐患点轮廓的电力设备图像集；
采用迁移学习技术对优化的Mask R-CNN模型进行模型参数初始化；
利用梯度下降算法在电力设备图像集中对优化的Mask R-CNN模型进行模型训练，得到训练完成的设备隐患检测模型；
将待测电力设备图像输入设备隐患检测模型，并根据设备隐患检测模型输出的隐患预测图像，确定电力设备隐患点信息。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是，但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言，诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种电力设备隐患检测方法，其特征在于，包括：
获取标注有隐患点轮廓的电力设备图像集；
采用迁移学习技术对优化的Mask R-CNN模型进行模型参数初始化；
利用梯度下降算法在所述电力设备图像集中对所述优化的Mask R-CNN模型进行模型训练，得到训练完成的设备隐患检测模型；
将待测电力设备图像输入所述设备隐患检测模型，并根据所述设备隐患检测模型输出的隐患预测图像，确定电力设备隐患点信息。
2.根据权利要求1所述的方法，其特征在于，所述优化的Mask R-CNN模型包括残差网络ResNet-101，特征金字塔网络FPN，区域建议网络RPN，ROIAlign层，分类网络以及实例分割网络；
其中，FPN网络包括：自下而上的卷积神经网络、自上而下的侧边连接路径以及自下而上的反向侧边连接路径。
3.根据权利要求1所述的方法，其特征在于，获取标注有隐患点轮廓的电力设备图像集，包括：
获取从不同角度、不同方向采集的电力设备图像，并将所述电力设备图像统一缩放到固定像素大小；
采用标注软件Labelme为所述电力设备图像标注隐患点的边缘轮廓以及相应类型，得到标注有隐患点轮廓的电力设备图像集。
4.根据权利要求1所述的方法，其特征在于，采用迁移学习技术对优化的Mask R-CNN模型进行模型参数初始化，包括：
设置训练参数，采用迁移学习技术，利用COCO物体检测数据集的模型参数，对优化的Mask R-CNN模型进行初始模型参数的泛化。
5.根据权利要求2所述的方法，其特征在于，利用梯度下降算法在所述电力设备图像集中对所述优化的Mask R-CNN模型进行模型训练，得到训练完成的设备隐患检测模型，包括：
将所述电力设备图像集中的训练集输入所述优化的Mask R-CNN模型；
利用ResNet101网络以及FPN网络对输入图像进行特征提取，得到特征图；
利用RPN网络对所述特征图中的每一个位置，生成预设数量的候选框；
将所述候选框映射到ROI Align层，使用双线性插值使特征聚集连续，将待测电力设备图像和特征图的像素对应；
将ROI Align层生成的特征图输入分类网络和实例分割网络，进行隐患点的目标框定位、预测隐患点所属类别以及用彩色的二值掩码绘出隐患点的边缘轮廓；
根据设置的参数值进行迭代训练，通过梯度下降算法和误差后向传播算法得到在迭代轮数内的最优模型，保存为设备隐患检测模型。
6.根据权利要求1所述的方法，其特征在于，将待测电力设备图像输入所述设备隐患检测模型，并根据所述设备隐患检测模型输出的隐患预测图像，确定电力设备隐患点信息，包括：
将待测电力设备图像输入所述设备隐患检测模型；
通过所述设备隐患检测模型，如果预测所述待测电力设备图像中存在隐患点，则输出具有隐患点定位矩形框以及用二值掩码绘出的隐患点边缘轮廓的隐患预测图像；
通过所述设备隐患检测模型，如果预测所述待测电力设备图像中不存在隐患点，则输出原始的待测电力设备图像作为隐患预测图像，并提示电力设备运行正常。
7.一种电力设备隐患检测装置，其特征在于，包括：
数据获取模块，用于获取标注有隐患点轮廓的电力设备图像集；
初始化模块，用于采用迁移学习技术对优化的Mask R-CNN模型进行模型参数初始化；
模型训练模块，用于利用梯度下降算法在所述电力设备图像集中对所述优化的MaskR-CNN模型进行模型训练，得到训练完成的设备隐患检测模型；
隐患检测模块，用于将待测电力设备图像输入所述设备隐患检测模型，并根据所述设备隐患检测模型输出的隐患预测图像，确定电力设备隐患点信息。
8.根据权利要求7所述的装置，其特征在于，所述优化的Mask R-CNN模型包括残差网络ResNet-101，特征金字塔网络FPN，区域建议网络RPN，ROIAlign层，分类网络以及实例分割网络；
其中，FPN网络包括：自下而上的卷积神经网络、自上而下的侧边连接路径以及自下而上的反向侧边连接路径。
9.一种计算机设备，其特征在于，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的电力设备隐患检测方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的电力设备隐患检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111473421.2A CN114140612A (zh) | 2021-11-29 | 2021-11-29 | 电力设备隐患检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111473421.2A CN114140612A (zh) | 2021-11-29 | 2021-11-29 | 电力设备隐患检测方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114140612A true CN114140612A (zh) | 2022-03-04 |
Family
ID=80388146
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111473421.2A Pending CN114140612A (zh) | 2021-11-29 | 2021-11-29 | 电力设备隐患检测方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114140612A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115393605A (zh) * | 2022-08-10 | 2022-11-25 | 长江三峡勘测研究院有限公司（武汉） | 基于图像识别技术的岩芯rqd数字化统计方法、设备及终端 |
| CN118071694A (zh) * | 2024-02-02 | 2024-05-24 | 浪潮通用软件有限公司 | 一种工厂设备异常检测系统、方法、设备及介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109949316A (zh) * | 2019-03-01 | 2019-06-28 | 东南大学 | 一种基于rgb-t融合的电网设备图像弱监督实例分割方法 |
| CN111339882A (zh) * | 2020-02-19 | 2020-06-26 | 山东大学 | 基于实例分割的输电线路隐患检测方法 |
| CN113222064A (zh) * | 2021-05-31 | 2021-08-06 | 苏州晗林信息技术发展有限公司 | 一种图像目标对象实时检测方法、系统、终端及存储介质 |
-
2021
- 2021-11-29 CN CN202111473421.2A patent/CN114140612A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109949316A (zh) * | 2019-03-01 | 2019-06-28 | 东南大学 | 一种基于rgb-t融合的电网设备图像弱监督实例分割方法 |
| CN111339882A (zh) * | 2020-02-19 | 2020-06-26 | 山东大学 | 基于实例分割的输电线路隐患检测方法 |
| CN113222064A (zh) * | 2021-05-31 | 2021-08-06 | 苏州晗林信息技术发展有限公司 | 一种图像目标对象实时检测方法、系统、终端及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| 任之俊;蔺素珍;李大威;王丽芳;左健宏;: "基于改进特征金字塔的MASK R-CNN目标检测方法", 激光与光电子学进展, vol. 56, no. 4, 7 September 2018 (2018-09-07), pages 041502 - 1 * |
| 孔英会;王维维;张珂;戚银城;: "基于改进Mask R-CNN模型的电力场景目标检测方法", 科学技术与工程, no. 08, 18 March 2020 (2020-03-18) * |
| 王陶然; 王明泉;张俊生;张浩杰;程志勇;: "基于MASK R-CNN的轮毂缺陷分割技术", 国外电子测量技术, vol. 40, no. 2, 15 February 2021 (2021-02-15), pages 1 - 4 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115393605A (zh) * | 2022-08-10 | 2022-11-25 | 长江三峡勘测研究院有限公司（武汉） | 基于图像识别技术的岩芯rqd数字化统计方法、设备及终端 |
| CN118071694A (zh) * | 2024-02-02 | 2024-05-24 | 浪潮通用软件有限公司 | 一种工厂设备异常检测系统、方法、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107067003B (zh) | 感兴趣区域边界的提取方法、装置、设备和计算机存储介质 | |
| CN108229485B (zh) | 用于测试用户界面的方法和装置 | |
| CN110264444B (zh) | 基于弱分割的损伤检测方法及装置 | |
| US20240319099A1 (en) | Defect detection method, apparatus and device, and computer-readable storage medium | |
| US11164306B2 (en) | Visualization of inspection results | |
| CN114140612A (zh) | 电力设备隐患检测方法、装置、设备及存储介质 | |
| CN110910445B (zh) | 一种物件尺寸检测方法、装置、检测设备及存储介质 | |
| CN112052840B (zh) | 图片筛选方法、系统、设备及存储介质 | |
| CN107992791A (zh) | 目标跟踪失效重检方法及装置、存储介质、电子设备 | |
| CN113012200B (zh) | 一种运动物体的定位方法、装置、电子设备及存储介质 | |
| CN112861940A (zh) | 双目视差估计方法、模型训练方法以及相关设备 | |
| CN116071294A (zh) | 一种光纤表面缺陷检测方法和装置 | |
| CN116597413A (zh) | 一种基于改进的YOLOv5的实时交通标志检测方法 | |
| CN103837135B (zh) | 工件检测方法及其系统 | |
| CN117788444A (zh) | Smt贴片偏移检测方法、装置及视觉检测系统 | |
| CN112907575A (zh) | 人脸质量评估方法、装置及电子设备 | |
| CN113076889A (zh) | 集装箱铅封识别方法、装置、电子设备和存储介质 | |
| CN113223011A (zh) | 基于引导网络和全连接条件随机场的小样本图像分割方法 | |
| CN111951328A (zh) | 一种物体位置检测方法、装置、设备和存储介质 | |
| CN112749293A (zh) | 一种图像分类方法、装置及存储介质 | |
| CN113469086B (zh) | 建筑平面图中的区域划分方法、装置、设备及介质 | |
| CN112530554B (zh) | 一种扫描定位方法、装置、存储介质及电子设备 | |
| CN113537026A (zh) | 建筑平面图中的图元检测方法、装置、设备及介质 | |
| CN111124862B (zh) | 智能设备性能测试方法、装置及智能设备 | |
| CN113469087A (zh) | 建筑图纸中的图框检测方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |