CN114627360A - 基于级联检测模型的变电站设备缺陷识别方法 - Google Patents
基于级联检测模型的变电站设备缺陷识别方法 Download PDFInfo
- Publication number
- CN114627360A CN114627360A CN202011464932.3A CN202011464932A CN114627360A CN 114627360 A CN114627360 A CN 114627360A CN 202011464932 A CN202011464932 A CN 202011464932A CN 114627360 A CN114627360 A CN 114627360A
- Authority
- CN
- China
- Prior art keywords
- equipment
- model
- defect
- transformer substation
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 107
- 238000000034 method Methods 0.000 title claims abstract description 81
- 238000001514 detection method Methods 0.000 title claims abstract description 55
- 238000012549 training Methods 0.000 claims abstract description 50
- 238000007689 inspection Methods 0.000 claims abstract description 24
- 238000012805 post-processing Methods 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims description 19
- 230000004927 fusion Effects 0.000 claims description 19
- 238000012360 testing method Methods 0.000 claims description 13
- 238000013528 artificial neural network Methods 0.000 claims description 12
- 238000005520 cutting process Methods 0.000 claims description 9
- 238000002372 labelling Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 230000007717 exclusion Effects 0.000 claims description 7
- 230000031068 symbiosis, encompassing mutualism through parasitism Effects 0.000 claims description 2
- 230000007935 neutral effect Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 12
- 230000008901 benefit Effects 0.000 abstract description 7
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000005065 mining Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 16
- 238000004364 calculation method Methods 0.000 description 13
- 238000005070 sampling Methods 0.000 description 9
- 238000003825 pressing Methods 0.000 description 8
- 239000012212 insulator Substances 0.000 description 7
- 238000012216 screening Methods 0.000 description 7
- 230000002159 abnormal effect Effects 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000000391 smoking effect Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 238000007430 reference method Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000000741 silica gel Substances 0.000 description 1
- 229910002027 silica gel Inorganic materials 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于级联检测模型的变电站设备缺陷识别方法，涉及人工智能领域及变电站设备类缺陷检测领域，包括：样本库采集与构建，获取多个变电站中巡检机器人、无人机、高清摄像头拍摄的变电站设备及缺陷图像；对获取的训练集进行图像增强及扩充方法；变电站重点设备识别模型构建；设备先验的变电站缺陷识别模型构建；联合巡检视频或图像实时推理；逻辑性后处理策略。本发明的方法可以挖掘变电站重点设备与缺陷之间的关系，有效地提升识别效果，尤其针对小目标缺陷样本识别，具有抗干扰能力强、模型泛化能力好、鲁棒性高等优点，能够应用于基于巡检机器人、无人机及高清摄像头的在线智能巡检系统。
Description
技术领域
本发明涉及人工智能领域及变电站设备类缺陷检测领域，尤其涉及一种基于级联检测模型的变电站设备缺陷识别方法。
背景技术
变电站作为连接主干网和配电网的关键节点，其安全性直接关系到整个电力系统的稳定运行。为实现对变电设备状态的感知与管控，变电站的安全巡检一直是电网公司重点工作内容。随着技术发展，巡检方式已经由传统人工巡检逐步转向为依托巡检机器人、无人机及高清摄像头的自动巡检方式，利用上述设备获取设备图像，并给予单帧图像处理算法完成设备异常移位、缺陷识别、人员作业管控等工作。
目前，变电站常用的设备缺陷识别方法主要有快速霍夫变换、模板匹配、YoloV3、Faster RCNN、Mask RCNN、超分辨重构等。其中，快速霍夫变换、模板匹配等传统图像处理方法精度不高、泛化性能较差、不适用于变电站复杂变化的场景；YoloV3算法推理速度较快，算法部署简单，但是精度不高，存在漏检误检的情况；Faster RCNN算法精度较高，但是训练过程复杂，耗时长，并且原始的Faster RCNN没有特征融合模块，对于变电站常见的小尺寸目标识别准确率不高；Mask RCNN算法主要任务是语义分割，算法实施较复杂，对样本标注要求高、难度大，不适用于变电站现场实时应用；超分辨率重构是一种图像预处理技术，主要是通过生成对抗神经网络，提升小目标的清晰度进而提升识别准确率，但是该方法没有增加小尺寸目标的数量，因此数据集扔存在样本不平衡的问题，而且变电站场景复杂，拍摄的图像不仅有模糊的问题，还有光照、天气、环境等因素的影响，而超分辨率重构不适用于所有的情况。
综上所述，变电站缺陷识别方法基本采用的是单个目标检测模型来识别缺陷，目前的方法可识别的类别不多，识别准确率较低，尤其需要解决小目标识别问题。
发明内容
发明目的：为了解决背景技术中的问题，本发明提出了一种基于级联检测模型的变电站缺陷识别方法，提供一种级联检测模型的方法来提高设备缺陷异常的识别准确率，同时提供一种基于上下文的信息的数据增强算法，增加中、小尺寸样本的数量，减少数据集长尾效应对模型的影响。
技术方案：本发明空开了一种基于级联检测模型的变电站缺陷识别方法，具体包括以下步骤：
步骤1：样本库采集与构建：包括获取国内多座变电站包含的重点设备及设备缺陷图片/视频数据；对这些图片中包含的重点设备和设备缺陷进行标注，生成符合Pascal VOC格式标准的xml标签文件；按照对应比例将设备样本和缺陷样本均划分为训练集和测试集，具体实施中，所述的划分比例为0.8训练集，0.2测试集；
步骤2：数据扩充及预处理：数据扩充主要解决训练集类别分布不平衡造成的长尾效应，包括基于上下文信息的小目标数据扩充等方法；数据预处理包括马赛克、裁剪、旋转、亮度调整、对比度调整等数据增强方法；其中，小目标为目标框的长宽未占到原图的10％，数据扩充目的是增加数据集中样本数量，尤其是小样本数量，这样可以减小数据集长尾效应对模型训练的影响。
步骤3：变电站重点设备识别模型构建：基于一阶检测算法构建变电站重点设备识别模型，对数据集中包含重点设备标注信息的图像进行训练，利用测试集调整模型参数，对比测试结果不断更新优化，最终得到第一级重点设备识别模型；
步骤4：设备先验的变电站缺陷识别模型构建：基于二阶检测算法构建变电站缺陷识别模型，对数据集中包含典型缺陷标注信息的图像进行训练，利用测试集进行模型参数优化，最终得到第二级设备先验的变电站缺陷识别模型；
步骤5：联合巡检图像/视频实时推理：用步骤三和步骤四得到训练完成后的两级模型，在变电站站端对联合巡检系统采集到的站内图像进行实时分析推理，得到基于级联检测模型输出的预测框；
步骤6：逻辑性后处理策略：包括挖掘设备与缺陷之间以及缺陷与缺陷之间的共生、互斥关系；为每个类别设置各自的置信度阈值；设定预测框宽长比阈值及面积阈值等策略。
进一步的，本发明所使用的图像/视频数据指在多个变电站中，固定高清摄像头、巡检机器人及无人机以重点设备作为目标物，正对目标物采集获取的数据。
进一步的，本发明使用LabelImg对图像进行标注，标签文件按照Pascal VOC格式存储为.xml格式，小尺寸目标指标注的目标框长宽未占到原图的10％。
进一步的，本发明使用基于两级检测模型的变电站缺陷识别方法，需要将图像数据按照标注结果构成两个训练数据集：
第一数据集：重点设备训练集，仅包含需识别的设备图像；
第二数据集：设备缺陷训练集，第一部分包含设备缺陷的原图，第二部分包含设备先验的缺陷图像，如果缺陷(如绝缘子破裂)中包含设备信息(如绝缘子设备)，则按照设备的标注裁剪出样本图像，在裁剪后的图像上再次进行缺陷样本标注(如标注出破裂的绝缘子部分)。
进一步的，基于上下文信息的小目标数据扩充方法复制任何对象的原始位置，然后粘贴到图像中的不同位置。粘贴之前需要改变复制物体大小和旋转角度，粘贴过程需确保新粘贴的对象不会与任何现有对象重叠，并且不超过图像边界。
进一步的，第一级重点设备检测模型采用YoloV4。重点设备训练集中的图像首先需要经过预处理，预处理的方法包括几何增强(翻转、裁剪、拉伸等)和色彩增强(亮度、HSV空间等)，还包括克服遮挡问题的随机擦除增强、提高小目标识别率的马赛克数据增强等方法；预处理后的图像输入骨干网络CSPDarknet53生成特征图；将骨干网络第2和第3个残差卷积块的输出特征图及最后一个卷积层的特征图送入特征融合模块PANet，PANet分别经过小尺寸特征图的上采样和大尺寸特征图的下采样操作，统一上述三个卷积层的尺寸大小，实现特征融合；特征融合后的三个卷积层再经过预测分支模块，生成检测框(检测框选择标准为非极大值抑制面积交并比阈值小于0.5且与目标框的面积交并比大于0.5)及分类标签(置信度阈值超过0.2)。
在YoloV4模型训练过程中，图片需要统一缩放至608×608尺寸，载入预训练模型初始化神经网络参数，优化器为SGD，初始学习率为0.01，动量项为0.949，权重衰减系数为5×10-4，批训练大小为4，训练总迭代次数为50,000次，其中前1000次迭代用作慢启动，慢启动系数为0.1，慢启动指在第一次迭代的学习率为原始学习率与慢启动系数的乘积(本发明为0.01×0.1)，每次迭代学习率都线性增长，直到第1000次迭代达到初始学习率；学习率下降方式是指在第40,000次和第45,000次迭代在原基础上分别缩放1/10。
进一步的，第二级设备先验的变电站缺陷识别模型采用二阶检测模型CascadeRCNN，其主要结构包括：
(1)模型骨干网络使用SEResNeXt101，用作特征生成器；
(2)骨干网络的第2至第5个残差组的输出特征图输入特征金字塔网络FPN，FPN通过上采样实现不同尺寸特征图的特征融合；
(3)融合后的特征图经过级联RPN网络提取候选框(region proposal)，每级RPN网络设定不同IoU(候选框与目标框的面积交并比)阈值，RPN网络按照该阈值将候选框划分成正负样本进行训练；
(4)检测器采用了全连接操作和卷积操作完成预测框分类和定位任务，并对两个分支的预测结果进行融合计算；
(5)检测器的置信度阈值设置为0.2、非极大值抑制面积交并比阈值设置为0.5，经过阈值筛选得出最终的预测结果。
Cascade RCNN模型将训练的图片统一缩放至1000×600大小，载入ImageNet已知数据预训练权重初始化神经网络参数，优化器为SGD，初始学习率为0.02，动量项为0.9，权重衰减系数为1×10-4，批训练大小为2，训练总迭代轮数为30轮，其中前500次迭代用来慢启动，慢启动系数为1/3，并在第8轮和第11轮学习率分别降为原有学习率的1/10。
进一步的，基于级联检测模型方法的联合巡检图像实时推理包括以下步骤：
(1)高清摄像头、无人机及巡检机器人拍摄到的图片传输给对应的智能运算终端；
(2)重点设备检测模型对图中的变电站重点设备进行预测；
(3)截出图中的重点设备，并将设备截图和原图分别送入设备先验的变电站缺陷识别模型，模型分别推理出两张图中所包含的缺陷信息；
(4)将设备截图的预测结果映射回大图，并通过非极大值抑制算法，得出最终的预测结果。
进一步的，逻辑性后处理策略可以优化预测结果，主要包括以下步骤：
(1)挖掘模型推理出的重点设备与缺陷之间的联系，如果存在互斥(如重点设备是表计，预测缺陷类型是未穿安全帽)的情况则忽略该缺陷的预测结果；
(2)为每类缺陷设置不同的面积交并比阈值和置信度阈值；
(3)为某些特定类别的缺陷设置预测框长宽比、面积约束等。
有益效果：与现有技术相比，本发明具有如下显著的优点：
(1)相比于以往的变电站缺陷识别方法，本发明方法识别准确率高、鲁棒性好，尤其对小目标物体的识别性能稳定；
(2)本发明分别标注了高清摄像头、无人机及巡检机器人采集的重点设备及缺陷异常样本，分别构建了重点设备及缺陷异常两个数据集，有利于后续样本集管理及扩充；
(3)基于上下文信息的小目标数据扩充方法，平衡了数据集中各类别样本数目，减小了数据集中小尺寸目标长尾效应对模型性能的影响，并且为数据扩充提供了一种新的借鉴方法；
(4)利用随机擦除、马赛克等数据增强方法，可以增加数据多样性，提高模型的泛化性能；
(5)利用推理速度较快的YoloV4模型检测出变电站重点设备，再通过推理精度较高的Cascade RCNN检测出设备先验的缺陷类别，该方法可以充分利用数据样本中的信息，同时结合两种模型的优势，提高设备缺陷识别精度，尤其对小尺寸目标识别性能提高较大；
(6)利用逻辑性后处理策略，可以挖掘变电站重点设备及缺陷异常之间的共生、互斥的关系，同时为每个缺陷类别设置不同的阈值和筛选策略，可以降低识别结果的误检率，提高识别精度。
附图说明
图1是本发明的方法流程图；
图2是本发明的马赛克数据增强方法示意图；
图3是本发明的基于上下文信息的小目标数据扩充方法；
图4是本发明的重点设备检测模型YoloV4结构示意图；
图5是本发明的设备先验的变电站缺陷识别模型Cascade RCNN结构示意图；
图6是本发明的Cascade RCNN模型的特征融合模块及候选框提取模块示意图；
图7是本发明的基于级联检测模型的变电站缺陷识别方法示意图；
图8是本发明的变电站缺陷的检测与定位结果。
具体实施方式
下面结合附图和实施方式对本发明的技术方案作进一步的说明。
本发明实施提供一种技术方案：一种基于级联检测模型的变电站缺陷识别方法，该方法通过级联重点设备识别模型和设备先验的缺陷识别模型，可以挖掘变电站重点设备与缺陷之间的关系，有效地提升识别效果，为在线智能巡检系统正常工作奠定了技术基础，具体包括以下步骤：
步骤A，样本库采集与构建。
通过高清摄像头、巡检机器人及无人机等巡检设备，本发明获取国内多座不同电压等级变电站的图像/视频数据。其具体步骤如下：
(A.1)图像数据和视频数据按时间保存到固定目录，视频数据按帧进行划分，并且通过结构相似性(SSIM)算法筛除相似性较高的图片；
(A.2)早期获取的数据通过人工标注的形式得到标注文档，随着数据量的积累，本发明使用人工核验的标注方法，即采用人工标注的数据训练缺陷标注识别模型，该模型对于精度要求一般，但要求训练和推理速度较快，即模型更新迭代速度较快，本发明使用的是YoloV3-tiny算法实现该功能；
(A.3)后期新增的数据通过所述的YoloV3-tiny进行推理，推理结果中包含缺陷的图像进行人工确认并对预测框进行修改；
(A.4)将人工确认后的数据合并入原有数据集中，本发明利用更新后的数据集对所述的缺陷标注识别模型YoloV3-tiny进行更新。
本发明人工确认修改的标注文档及模型推理输出的预测结果格式均按照PascalVOC数据集标准，每张图片数据对应一个xml文件，该文件包括图像文件名、图像文件路径、图像尺寸、目标框的详细信息，如类别、是否截断、是否遮挡、坐标位置等。
本发明所用数据集包括17类变电站重点设备及25类变电站常见缺陷或异常。图像数据按照标注结果构成两个训练数据集：
第一数据集：重点设备训练集，仅包含需识别的设备图像；
第二数据集：设备缺陷训练集，第一部分包含设备缺陷的原图，第二部分包含设备先验的缺陷图像，如果缺陷(如绝缘子破裂)中包含设备信息(如绝缘子设备)，则按照设备的标注裁剪出样本图像，在裁剪后的图像上再次进行缺陷样本标注(如标注出破裂的绝缘子部分)。
步骤B，数据增强及扩充方法。
数据增强方法包括马赛克、裁剪、旋转、亮度调整、对比度调整等方法。马赛克(Mosaic)数据增强方法是基于CutMix算法的改进，算法效果如图2所示。CutMix算法针对两张图片进行变换，具体操作是在图片A中随机生成一个裁剪框，并将该裁剪框用B图中相应位置的图像进行替换，计算损失时采用加权求和的方式进行求解。而本发明所述的马赛克数据增强方法将4张训练图像按照一定比例组合成1张，该方法使得神经网络不同感受野区域可以定位不同类型的图像，并且使得模型能够学习如何识别比正常物体尺寸小的物体，有利于提升小尺寸目标识别的性能。
本发明所述的数据扩充方法主要指基于上下文信息的小目标数据扩充方法，其基本思想是将目标框中的物体复制粘贴到同一张图像的不同位置。如图3所示，“吸烟”类别的目标框较小，且在数据集中样本数目较少，因此需要对该类别进行数据扩充。为了确保目标框上下文语义信息的准确，新粘贴的吸烟对象与任何其它对象不存在重叠，并且距离图像边框至少5个像素；同时，为了确保数据多样性，在粘贴之前，需要对准备粘贴的对象进行随机数据增强，包括旋转、缩放等。
步骤C，变电站重点设备识别模型构建。
本发明所述的重点设备识别模型指YoloV4模型，模型结构示意图如图4所示，主要包括骨干网络、特征统一结构、特征融合结构、分类回归分支，训练数据集为步骤A所述的第一数据集。具体步骤包括：
(C.1)本发明所述的YoloV4骨干网络模型采用的是CSPDarknet53，它是CSPNet和Darknet的结合。具体的网络结构如图2中CSPDarknet模组所示，并且在每个残差模块(Resblock)引入了跨阶段局部网络(Cross Stage Partial Network,CSPNet)，CSPNet将残差模块的输入分成两个部分[x0,x1]，前者直接连接到模块输出，得到特征图x0；后者则通过残差模块，再经过1×1的卷积过渡层，得到特征图x1'。将两个特征图级联，再经过一次卷积过渡操作，得到CSP残差模块的输出。所述的网络结构可以增强卷积神经网络的学习能力，在轻量化的同时保持准确性。
(C.2)本发明所述的特征统一结构指空间金字塔池化(Spatial PyramidPooling,SPP)层，将SPP层放在骨干网络最后一个卷积的输出之后，对特征进行池化，并产生固定长度的输出，这个输出再用于训练检测器。该方法可以移除计算模型对输入图片尺寸的限制，并且对形变物体也保持鲁棒，可以较好地适配变电站缺陷识别应用场景。
(C.3)本发明所述的特征融合结构指路径聚合网络(Path Aggregation Network,PANet)结合特征金字塔网络(Feature Pyramid Networks,FPN)。FPN方法设计了一个自顶向下的路径，通过线性插值等方法进行上采样，利用横向连接将上采样的结果和骨干网络中相同大小的特征图进行融合；PANet在FPN的基础上另外设计了一个自底向上的路径，将底层的特征图通过卷积、池化等方法进行下采样，与上层相同大小的FPN特征图进行特征融合。所述的特征融合结构可以利用底层特征中准确的定位信息增强高层特征图的定位性能，提高变电站设备的定位准确度。
(C.4)本发明所述的分类回归分支指Yolo Head模块，包括预测结果输出、损失函数计算、预测结果解析三个模块。具体包括：
(C.4.1)分类回归分支输出：分别利用2层卷积操作输出预测框及对应类别，图4中三个不同尺度的Yolo Head模块输出向量尺度分别为13×13×3×(4+1+17),26×26×3×(4+1+17),52×52×3×(4+1+17)。其中，13、26和52指PANet输出的特征图尺寸，3指锚框(anchors)的数目，4指预测框的4个坐标，1指置信度，17指变电站重点设备类别。
(C.4.2)锚框的生成：利用数据集中所有标注的目标框聚类生成9组不同尺寸锚框，并将这9个锚框平均分配到PANet的三个分支中，并根据锚框和预测的位置偏移量生成网络的预测框。
(C.4.3)目标框网格分配：标定目标框中心点所在的网格，方便后续计算。
(C.4.4)正负样本生成：按照预测框和目标框的面积交并比，将这些样本划分成正、负、忽略样本，并按照一定规则进行采样。
(C.4.5)损失函数计算：损失函数形式如下，
式中，第一项为CIoU损失函数，作用是优化预测框回归过程，G和B分别代表目标框和预测框，ctr代表框的中心点，ρ(.)代表欧式距离计算方法，v指预测框长和宽的一种计算方法，c为G和B包围最小框的对角线长度，α为常数；第二项为置信度损失函数，
为步骤(3)中目标框网格的二值标定；第三项为分类交叉熵损失函数；λIoU、λconf和λcls分别为损失函数系数，本发明中分别设定为0.05、1和0.5。
(C.5)本发明所述的YoloV4算法的训练参数如下：图片统一缩放至608×608尺寸，载入预训练模型初始化神经网络参数，优化器选择为SGD，初始学习率为0.01，动量项为0.949，权重衰减系数为5×10-4，批训练大小为4，训练总迭代次数为50,000次，其中前1,000次迭代用作慢启动，慢启动系数为0.1，慢启动指在第一次迭代的学习率为原始学习率与慢启动系数的乘积(本发明为0.01×0.1)，慢启动过程中的每次迭代学习率都线性增长，直到第1,000次迭代达到初始学习率；学习率下降方式是指在第40,000次和第45,000次迭代在原学习率基础上分别缩放1/10。
步骤D，设备先验的变电站缺陷识别模型构建。
本发明所述的设备先验的变电站缺陷识别模型指Cascade RCNN模型，模型结构如图5所示，主要包括骨干网络模块、特征融合模块、级联候选框提取模块、检测器模块，训练数据集为步骤A所述的第二数据集。具体步骤包括：
(D.1)本发明所述的Cascade RCNN的骨干网络模块采用的是SEResNeXt101。该网络由SE(Squeeze and Excitation)模块和ResNeXt构成。
(D.1.1)ResNet通过堆叠相同形状的残差块，不仅可以减少参数量还可以取得较好的效果；而Inception网络结构通过拓宽网络，先将输入分配到并行的多路，然后每一路进行转换，最后再将所有支路的结果融合，这样也能达到较好的效果。ResNeXt是将ResNet和Inception的想法结合在一起，ResNeXt模块的输入经过一个恒等变换、32组相同结构的拓宽变化共同构成，最后对得到的特征进行融合。
(D.1.2)ResNeXt是从神经网络特征感受野空间角度提升网络效果，而SE模块则是通过学习特征通道之间的关系提升网络性能。该模块可以看成是通道层面的注意力机制模型，即通过神经网络学习到与通道尺寸相同的一个权重向量，并对对应通道加权求和。本发明中具体的SE模块包括：(1)对当前特征图使用全局平均池化作为压缩操作；(2)利用第一全连接层将特征维度降到输入的1/16，并通过ReLU激活函数，使模型具有更好的非线性性能；(3)利用第二全连接层将特征升到原来输入的维度，并通过Sigmoid激活函数将输出值归一化到[0,1]范围，使输出的数值具有权重的数学意义；(4)将SE模块学习到的通道权重加权到每个通道特征上。
(D.2)本发明所述的特征融合模块为特征金字塔网络(FPN)，示意图如图6所示。原有检测模型算法感兴趣区域提取都在最后一个卷积特征图上进行操作，这样在骨干网络层数较多时，小尺寸目标映射的感兴趣区域携带的语义信息较少甚至消失，会造成小目标物体识别准确率不高。本发明所述的FPN模块可以通过融合不同层的特征解决上述问题。具体模块包括自下而上的路径、自上而下的路径和横向连接：
(D.2.1)自下而上的路径，即卷积神经网络的前馈计算。本发明选择所述的SEResNeXt101每个残差模块的最后一层特征图作为特征模块，因为每个残差模块的最后一层具有最强的特征表示能力。具体操作是取第2～5个残差模块的输出表示为图6中的{C2,C3,C4,C5}。
(D.2.2)自上而下的路径和横向连接，把高层特征图进行上采样，然后与骨干网络对应特征图进行横向连接，实现不同层语义信息的融合。具体做法是：(1)通过反卷积对高层特征进行2倍上采样；(2)骨干网络对应特征图经过1×1卷积操作将通道数转换为与(1)中上采样后的尺寸相同；(3)将两个特征图进行逐像素相加；(4)利用3×3卷积操作处理融合后的特征图，消除上采样的混叠效应，生成最终的特征图，本发明中固定3×3卷积核的通道数为256。最终生成的融合特征层如图6中的{P2,P3,P4,P5}。
(D.3)本发明所述的级联候选框模块结合了候选框提取网络(Region ProposalNetwork,RPN)和级联RPN模型。通过该模块可以产生高质量的候选框(高质量指与目标框面积交并比阈值较高)，提高检测器的预测精度。
(D.3.1)本发明所述的候选框提取网络(Region Proposal Network,RPN)通过卷积操作，按照锚框的尺寸提取特征图上的候选框，再通过softmax函数判断候选框是否为前景，同时通过框回归修正产生的候选框。举例来说，本发明中第一级RPN前景的选择标准包括：(1)与某个目标框有最大的面积交并比(IoU)的候选框；(2)与任意某个目标框的IoU大于0.5；背景的选择标准是与任意目标框的IoU均小于0.3。
由于使用了FPN特征融合模块，需要在图6中的{P2,P3,P4,P5,P6}每层特征图上应用不同尺寸的锚框，本发明分别设定为{322,642,1282,2562,5122}，为了满足不同长宽比的要求，每层锚框都有三个不同的尺寸，即{1:2,1:1,2:1}。综上，本发明所述的设备先验的变电站缺陷识别模型共有15种不同尺寸的锚框。
(D.3.2)步骤D.3.1中所述的RPN模块产生的一部分候选框质量不高，原因是候选框与目标框的面积交并比阈值较低，如果单纯地提高IoU阈值会造成满足条件的候选框变少，模型训练出现过拟合现象。因此，本发明采用级联RPN模块的方法，使用级联回归作为一种重采样的机制，逐级提高候选框和目标框的IoU阈值，从而使得前一级重采样过的候选框能够适应下一级更高IoU阈值的要求。本发明中级联了三个RPN模块，每个模块的神经网络权重不共享，三级的IoU阈值分别设定为{0.5,0.6,0.7}。
本发明所述的级联RPN模块在变电站在线巡视实例中应用的优势包括：(1)变电站产生的图片场景复杂，质量差异较大，固定IoU阈值有难度，使用了级联模型，每一级的IoU阈值不同，使得每一级都有足够满足阈值条件的样本，每一级都不存在过拟合现象；(2)深层的RPN模块可以优化IoU阈值更大的候选框；(3)RPN网络权值不共享，可以使级联模型适应变电站样本的分布；(4)模型推理时，第一级产生的候选框质量依然不高，但在经过级联RPN模块后，产生的候选框质量提高，提升了变电站现场缺陷识别的准确率。
(D.4)本发明所述的检测器模块指完成候选框的分类和回归任务的模块，该模块同时采用全连接和卷积计算完成上述两个任务。原有检测模型大多采用独立分支(仅使用全连接或仅使用卷积计算)进行分类和回归任务，但是通过实验分析实际采集的变电站图像，结果表明两种计算是互补的，全连接计算对于空间特征比较敏感，候选框的不同位置可以得到不同分数，这样的特性更适合于分类任务；而卷积计算对于回归整个物体更加鲁棒，更适用于定位任务。综上，本发明为了结合两种方法的优势，在检测器的分类和回归任务分支同时采用了全连接和卷积计算。
模型训练时，对检测器模块全连接层和卷积层输出的结果进行加权求和计算损失函数。模型推理时，框回归任务使用卷积层输出的结果，而框分类任务则是使用两个分支的融合，融合策略如式2所示，式中sfc和sconv分别代表全连接层和卷积层的分类结果：
s＝sfc+sconv(1-sfc)＝sconv+sfc(1-sconv) (2)
(D.5)本发明所述的设备先验的变电站缺陷识别模型损失优化函数包括级联RPN模块和检测器两部分的损失优化函数。
(D.5.1)本发明所述的级联RPN模块损失优化函数如式3所示：
L(xt,g)＝Lcls(ht(xt),yt)+λ[yt≥1]Lloc(ft(xt,bt),g)
级联RPN模块的每一级均要按照式3计算损失函数，其中包括分类(前景或背景)损失Lcls及候选框回归损失Lloc，级联特征ft表示为ft(xt,bt)＝ftοft-1ο…οf1(x,b)，g为候选框xt对应的目标框，λ为平衡系数，当xt满足当前级IoU阈值时，即满足当前候选框为前景的条件，λ设置为1。
(D.5.2)本发明所述的检测器中全连接分支的损失优化函数Lfc和卷积分支优化函数Lconv如式4：
式中，λfc和λconv是两个分支的平衡系数，本发明中分别设定为0.6和0.8。
(D.6)Cascade RCNN模型将训练的图片统一缩放至1000×600大小，载入ImageNet已知数据预训练的SEResNeXt权重初始化神经网络参数，优化器选择为SGD，初始学习率为0.02，动量项为0.9，权重衰减系数为1×10-4，批训练大小为2，训练总迭代轮数为30轮，其中前500次迭代用来慢启动，慢启动系数为1/3，并在第8轮和第11轮学习率分别降为原有学习率的1/10。
步骤E，基于级联检测模型方法的联合巡检图像实时推理。
变电站巡检过程中发现故障的类型和位置直接关系到变电站的设备，例如变电站中的电表存在仪表模糊、表盘破损、仪表外壳破损等缺陷。如果直接识别缺陷，忽略设备信息，则会误判具有相似特征的缺陷，如地面油渍、零件表面油渍等。本发明所述的级联检测模型可以挖掘电力设备典型异常特征与设备主体之间的关联特征，建立高精度的识别模型，模型示意图如图7所示。
由于所述步骤C和D中的模型训练需要用到多个变电站的图像数据，因此模型训练均在后台(集控型主变电站或研发中心)服务器上完成，将训练代码、权重封装成容器，在站端通过容器下发更新形式进行模型文件更新和巡检图像实时推理。具体步骤包括：
(E.1)高清摄像头、无人机及巡检机器人采集到的图片分别传输给对应的智能运算终端；
(E.2)重点设备检测模型对采集到的图片进行实时推理分析，推理出图中变电站的重点设备；
(E.3)截出图中的重点设备，并将重点设备截图和(E.1)得到的原图全部送入设备先验的变电站缺陷识别模型，模型分别推理出两张图中所包含的缺陷信息；
(E.4)将设备截图的预测结果映射回大图，并通过非极大值抑制算法，得出最终的预测结果。
步骤F，利用所述的逻辑性后处理策略，可以挖掘变电站重点设备及缺陷之间的共生、互斥的关系，同时为每个缺陷类别设置不同的阈值和筛选策略，可以降低识别结果的误检率，提高识别精度。主要包括如下几种后处理策略：
(F.1)本发明为每种不同设备类型及缺陷类型设定了不同的置信度阈值，测试集上检测效果较好的类别置信度阈值较高，反之，则性能较差的类别设定较低的置信度阈值。本发明具体实施案例中，变电站典型设备的置信度阈值如：绝缘子0.6、压板0.8、箱门0.5等；典型缺陷/异常状态置信度阈值如未穿安全帽0.8，压板分合0.8，吸烟0.3等。
(F.2)本发明还为部分类别设定了筛选策略，这样可以去除部分截断、遮挡、模糊候选框对检测性能的影响，具体实施案例中包括以下几种典型情况：(1)对于开关柜面上的压板，通常会出现多排多个的现象，巡检机器人或者高清摄像头拍摄的压板图像被视野范围经常会出现图像边缘处的压板截断，但由于神经网络具有较好的泛化性能，依然可以推理出其认为压板分合的状态，但是这种截断现象在现场应用通常不会考虑，操作人员会认为是模型的误报，因此针对这种情况，本发明制定预测框长宽比筛选策略，筛除被截断的压板；(2)由于未戴安全帽类别会出现部分预测框范围较大，这样会导致不满足与目标框IoU阈值的要求，也会被认为误检，因此针对这种情况，本发明制定了预测框面积筛选策略，当第一级变电站重点设备检测模型检测出类别为“人”，第二级设备先验的变电站缺陷识别模型检测出未戴安全帽异常，满足第二级预测的结果大部分包含在第一级预测结果(本发明实施案例该阈值设定为0.7)的前提下，当未戴安全帽异常预测框面积与其对应“人”的预测框面积比例大于某阈值(本发明实施案例该阈值设定为0.3)时，则筛除未戴安全帽预测框。
(F.3)本发明挖掘了变电站重点设备及缺陷之间的共生、互斥关系，在后处理过程中分别创建共生和互斥列表，共生列表包含的是设备和缺陷存在对应关系的标签对，当两级模型预测结果满足标签对时，即使第一级模型的重点设备预测框与第二级模型的设备缺陷/异常预测框IoU较小(本实施案例设定为0.25)，依然可以将该缺陷/异常预测结果保留，如设备为呼吸器，缺陷为呼吸器硅胶变色等；互斥列表包含的是设备和缺陷大概率不会匹配的标签对，当设备预测结果与缺陷预测结果满足该互斥对，且IoU小于阈值(本实施案例设定为0.35)时，则忽略该缺陷预测框，如预测的设备是“人”，预测缺陷为挂空悬浮物等。
利用本发明所述的方法对划分的测试集中图像进行分析，并在图像中框出预测框，预测结果样例如图8所示。测试指标是在所述IoU阈值及置信度阈值条件下，测试集各类别的平均精度(mAP)，误检率(1-P)和检出率(R)，根据这些指标调整训练的学习率、学习策略以及各类超参数，实现对模型的更新迭代。
Claims (9)
1.一种基于级联检测模型的变电站设备缺陷识别方法，其特征在于，包括以下步骤：
步骤1：样本库采集与构建：包括获取国内多座变电站包含的重点设备及设备缺陷图片或视频数据；对这些数据进行统一存储和标注，生成xml标签文件；按照4：1比例将设备样本和缺陷样本划分为训练集和测试集；
步骤2：数据扩充及预处理：基于上下文信息的小目标数据扩充方法用于增加数据集中样本数量，所述小目标为目标框的长宽未占到原图的10％；数据预处理包括马赛克、裁剪、旋转、亮度调整、对比度调整的数据增强方法；
步骤3：变电站重点设备识别模型构建：基于一阶检测算法构建变电站重点设备识别模型，对数据集中包含重点设备标注信息的图像进行训练，利用测试集调整重点设备识别模型参数，对比测试结果不断更新优化，最终得到第一级重点设备识别模型；
步骤4：设备先验的变电站缺陷识别模型构建：基于二阶检测算法构建变电站缺陷识别模型，对数据集中包含典型缺陷标注信息的图像进行训练，利用测试集进行变电站缺陷识别模型参数优化，最终得到第二级设备先验的变电站缺陷识别模型；
步骤5：联合巡检视频或图像实时推理：利用步骤三和步骤四得到训练完成后的两级模型，在变电站站端对联合巡检系统采集到的站内图像进行实时分析推理，得到基于级联检测模型输出的预测框；
步骤6：逻辑性后处理策略：包括挖掘设备与缺陷之间以及缺陷与缺陷之间的共生、互斥关系；为每个类别设置各自的置信度阈值；设定预测框宽长比阈值及面积阈值等策略。
2.根据权利要求1所述的一种基于级联检测模型的变电站设备缺陷识别方法，其特征在于：所述步骤1中的图像或视频数据的获取包括在多个变电站中，固定高清摄像头、巡检机器人及无人机以重点设备作为目标物，正对目标物采集获取数据。
3.根据权利要求2所述的一种基于级联检测模型的变电站设备缺陷识别方法，其特征在于：还包括对采集到的图像数据进行标注构成两个训练数据集：
第一数据集：重点设备训练集，仅包含需识别的设备图像；
第二数据集：设备缺陷训练集，第一部分包含设备缺陷的原图，第二部分包含设备先验的缺陷图像，如果缺陷图像中包含设备信息，则按照所述设备图像的标注裁剪出设备样本图像，在裁剪后的图像上再次进行缺陷样本标注。
4.根据权利要求1所述的一种基于级联检测模型的变电站设备缺陷识别方法，其特征在于：所述步骤2中小目标数据扩充方法包括复制任何对象的原始位置，并粘贴到图像中的不同位置；粘贴之前改变复制物体大小和旋转角度，粘贴过程确保新粘贴的对象不会与任何现有对象重叠，并且不超过图像边界。
5.根据权利要求3所述的一种基于级联检测模型的变电站设备缺陷识别方法，其特征在于：所述第一级重点设备识别模型采用YoloV4模型，将所述第一数据集中的图片经过所述步骤2中的数据预处理方法，输入算法模型，通过损失函数优化预测框与类别的精准性，其中，YoloV4模型包括骨干网络Backbone模块，特征融合Neck模块及检测分支Prediction模块。
6.根据权利要求5所述的一种基于级联检测模型的变电站设备缺陷识别方法，其特征在于：所述YoloV4模型将训练的图片统一缩放至608×608尺寸，载入预训练模型初始化神经网络参数，优化器选择为SGD，初始学习率为0.01，动量项为0.949，权重衰减系数为5×10-4，批训练大小为4，训练总迭代次数为50,000次，其中前1000次迭代用作慢启动，并采用学习率逐渐下降方式进行训练。
7.根据权利要求1所述的一种基于级联检测模型的变电站设备缺陷识别方法，其特征在于：所述第二级设备先验的变电站缺陷识别模型采用二阶检测模型Cascade RCNN，模型的第一阶是候选框生成器，使用SEResNeXt101作为骨干网络，特征金字塔FPN作为特征融合模块，生成特征图，并在这些特征图上利用级联的候选区域网络提取高质量的候选框，其中每一级设定递增的面积交并比阈值；第二阶为检测器，检测器分别采用全连接分支和卷积分支预测结果框的类别和位置。
8.根据权利要求7所述的一种基于级联检测模型的变电站设备缺陷识别方法，其特征在于：将训练的图片统一缩放至1000×600大小，神经网络采用在ImageNet数据集得到的预训练权重进行初始化，优化器选择为SGD，初始学习率为0.02，动量项为0.9，权重衰减系数为1×10-4，批训练大小为2，训练总迭代轮数为30轮，其中前500次迭代用来慢启动，并采用学习率逐渐下降方式进行训练。
9.根据权利要求1所述的一种基于级联检测模型的变电站设备缺陷识别方法，其特征在于：联合巡检实时推理时，实时采集的图像数据输入训练完成的级联检测模型，得到图像中重点设备及缺陷位置；使用逻辑性后处理算法优化预测框结果，所述逻辑性后处理包括以下步骤：
步骤9.1：挖掘模型推理出的重点设备与缺陷之间的联系，如果存在重点设备与预测类型不一致的互斥情况则忽略该缺陷预测结果，筛选和滤除不符合变电站实际逻辑的预测框；
步骤9.2：为每个类设置不同的面积交并比阈值和置信度阈值；
步骤9.3：为不同的缺陷类别设置预测框长宽比、面积约束等。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011464932.3A CN114627360A (zh) | 2020-12-14 | 2020-12-14 | 基于级联检测模型的变电站设备缺陷识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011464932.3A CN114627360A (zh) | 2020-12-14 | 2020-12-14 | 基于级联检测模型的变电站设备缺陷识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114627360A true CN114627360A (zh) | 2022-06-14 |
Family
ID=81897366
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011464932.3A Pending CN114627360A (zh) | 2020-12-14 | 2020-12-14 | 基于级联检测模型的变电站设备缺陷识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114627360A (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114842426A (zh) * | 2022-07-06 | 2022-08-02 | 广东电网有限责任公司肇庆供电局 | 一种基于精确对准摄像的变电站设备状态监测方法和系统 |
| CN115294483A (zh) * | 2022-09-28 | 2022-11-04 | 山东大学 | 输电线路复杂场景的小目标识别方法及系统 |
| CN115436384A (zh) * | 2022-11-07 | 2022-12-06 | 国网山东省电力公司荣成市供电公司 | 一种基于无人机图像的配电箱表面缺陷检测系统及方法 |
| CN115527059A (zh) * | 2022-08-16 | 2022-12-27 | 贵州博睿科讯科技发展有限公司 | 一种基于ai识别技术的涉路施工元素检测系统及方法 |
| CN115587975A (zh) * | 2022-09-28 | 2023-01-10 | 国网湖北省电力有限公司超高压公司 | 充油设备套管积污缺陷诊断系统、方法和介质 |
| CN116205916A (zh) * | 2023-04-28 | 2023-06-02 | 南方电网数字电网研究院有限公司 | 电力小样本缺陷检测方法、装置、计算机设备及存储介质 |
| CN116309564A (zh) * | 2023-05-17 | 2023-06-23 | 厦门微图软件科技有限公司 | 基于人工智能图像识别的电芯外观缺陷检测方法及系统 |
| CN116843941A (zh) * | 2023-05-15 | 2023-10-03 | 北京中润惠通科技发展有限公司 | 电力设备检测数据智能分析系统 |
| CN116862860A (zh) * | 2023-07-04 | 2023-10-10 | 中国机械总院集团江苏分院有限公司 | 一种基于Yolov4的冲压智能检测及静态生产数据采集联网方法 |
| CN116993776A (zh) * | 2023-06-30 | 2023-11-03 | 中信重工开诚智能装备有限公司 | 一种人员轨迹追踪方法 |
| CN117237363A (zh) * | 2023-11-16 | 2023-12-15 | 国网山东省电力公司曲阜市供电公司 | 一种输电线路外破源识别方法、系统、介质及设备 |
| CN117252862A (zh) * | 2023-11-10 | 2023-12-19 | 北京航空航天大学江西研究院 | 一种基于SE-ResNeXt铸件缺陷识别方法 |
| WO2023241276A1 (zh) * | 2022-06-15 | 2023-12-21 | 华为云计算技术有限公司 | 图像编辑方法及相关设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111353413A (zh) * | 2020-02-25 | 2020-06-30 | 武汉大学 | 一种输电设备低漏报率缺陷识别方法 |
| CN111881723A (zh) * | 2020-06-09 | 2020-11-03 | 南瑞集团有限公司 | 雷电地闪回击波形的自动识别方法、系统及电子设备 |
| WO2020232816A1 (zh) * | 2019-05-23 | 2020-11-26 | 网宿科技股份有限公司 | 一种目标对象的质检方法及边缘计算设备 |
-
2020
- 2020-12-14 CN CN202011464932.3A patent/CN114627360A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020232816A1 (zh) * | 2019-05-23 | 2020-11-26 | 网宿科技股份有限公司 | 一种目标对象的质检方法及边缘计算设备 |
| CN111353413A (zh) * | 2020-02-25 | 2020-06-30 | 武汉大学 | 一种输电设备低漏报率缺陷识别方法 |
| CN111881723A (zh) * | 2020-06-09 | 2020-11-03 | 南瑞集团有限公司 | 雷电地闪回击波形的自动识别方法、系统及电子设备 |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023241276A1 (zh) * | 2022-06-15 | 2023-12-21 | 华为云计算技术有限公司 | 图像编辑方法及相关设备 |
| CN114842426B (zh) * | 2022-07-06 | 2022-10-04 | 广东电网有限责任公司肇庆供电局 | 一种基于精确对准摄像的变电站设备状态监测方法和系统 |
| CN114842426A (zh) * | 2022-07-06 | 2022-08-02 | 广东电网有限责任公司肇庆供电局 | 一种基于精确对准摄像的变电站设备状态监测方法和系统 |
| CN115527059A (zh) * | 2022-08-16 | 2022-12-27 | 贵州博睿科讯科技发展有限公司 | 一种基于ai识别技术的涉路施工元素检测系统及方法 |
| CN115527059B (zh) * | 2022-08-16 | 2024-04-09 | 贵州博睿科讯科技发展有限公司 | 一种基于ai识别技术的涉路施工元素检测系统及方法 |
| CN115294483A (zh) * | 2022-09-28 | 2022-11-04 | 山东大学 | 输电线路复杂场景的小目标识别方法及系统 |
| CN115587975A (zh) * | 2022-09-28 | 2023-01-10 | 国网湖北省电力有限公司超高压公司 | 充油设备套管积污缺陷诊断系统、方法和介质 |
| CN115436384A (zh) * | 2022-11-07 | 2022-12-06 | 国网山东省电力公司荣成市供电公司 | 一种基于无人机图像的配电箱表面缺陷检测系统及方法 |
| CN116205916A (zh) * | 2023-04-28 | 2023-06-02 | 南方电网数字电网研究院有限公司 | 电力小样本缺陷检测方法、装置、计算机设备及存储介质 |
| CN116205916B (zh) * | 2023-04-28 | 2023-09-15 | 南方电网数字电网研究院有限公司 | 电力小样本缺陷检测方法、装置、计算机设备及存储介质 |
| CN116843941A (zh) * | 2023-05-15 | 2023-10-03 | 北京中润惠通科技发展有限公司 | 电力设备检测数据智能分析系统 |
| CN116309564B (zh) * | 2023-05-17 | 2023-08-11 | 厦门微图软件科技有限公司 | 基于人工智能图像识别的电芯外观缺陷检测方法及系统 |
| CN116309564A (zh) * | 2023-05-17 | 2023-06-23 | 厦门微图软件科技有限公司 | 基于人工智能图像识别的电芯外观缺陷检测方法及系统 |
| CN116993776A (zh) * | 2023-06-30 | 2023-11-03 | 中信重工开诚智能装备有限公司 | 一种人员轨迹追踪方法 |
| CN116993776B (zh) * | 2023-06-30 | 2024-02-13 | 中信重工开诚智能装备有限公司 | 一种人员轨迹追踪方法 |
| CN116862860A (zh) * | 2023-07-04 | 2023-10-10 | 中国机械总院集团江苏分院有限公司 | 一种基于Yolov4的冲压智能检测及静态生产数据采集联网方法 |
| CN117252862A (zh) * | 2023-11-10 | 2023-12-19 | 北京航空航天大学江西研究院 | 一种基于SE-ResNeXt铸件缺陷识别方法 |
| CN117237363A (zh) * | 2023-11-16 | 2023-12-15 | 国网山东省电力公司曲阜市供电公司 | 一种输电线路外破源识别方法、系统、介质及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114627360A (zh) | 基于级联检测模型的变电站设备缺陷识别方法 | |
| WO2023056889A1 (zh) | 模型训练和场景识别方法、装置、设备及介质 | |
| CN112183788B (zh) | 一种域自适应设备运检系统和方法 | |
| CN109934153B (zh) | 基于门控深度残差优化网络的建筑物提取方法 | |
| CN110827251A (zh) | 一种基于航拍图像的输电线路锁紧销缺陷检测方法 | |
| CN113392960B (zh) | 一种基于混合空洞卷积金字塔的目标检测网络及方法 | |
| CN111950453A (zh) | 一种基于选择性注意力机制的任意形状文本识别方法 | |
| CN113902915A (zh) | 一种基于低光照复杂道路场景下的语义分割方法及系统 | |
| CN110781882A (zh) | 一种基于yolo模型的车牌定位和识别方法 | |
| CN112686207A (zh) | 一种基于区域信息增强的城市街道场景目标检测方法 | |
| CN116385958A (zh) | 一种用于电网巡检和监控的边缘智能检测方法 | |
| CN114782734A (zh) | 一种阀冷系统管道渗漏视觉检测方法及计算机与存储介质 | |
| CN112215100B (zh) | 一种不平衡训练样本下针对退化图像的目标检测方法 | |
| CN111652240A (zh) | 一种基于cnn的图像局部特征检测与描述方法 | |
| CN115861619A (zh) | 一种递归残差双注意力核点卷积网络的机载LiDAR城市点云语义分割方法与系统 | |
| CN116740516A (zh) | 基于多尺度融合特征提取的目标检测方法及系统 | |
| CN115482518A (zh) | 一种面向交通场景的可扩展多任务视觉感知方法 | |
| CN115239710A (zh) | 基于注意力反馈和双空间金字塔的绝缘子缺陷检测方法 | |
| CN115272777A (zh) | 面向输电场景的半监督图像解析方法 | |
| CN110942097A (zh) | 基于单像素探测器的免成像分类方法和系统 | |
| CN112837281B (zh) | 基于级联卷积神经网络的销钉缺陷识别方法、装置和设备 | |
| CN117115727A (zh) | 一种变电站缺陷判别方法及系统 | |
| CN114219989A (zh) | 一种基于干扰抑制和动态轮廓的雾天场景船舶实例分割方法 | |
| Häufel et al. | Evaluation of CNNs for land cover classification in high-resolution airborne images | |
| CN115272814B (zh) | 一种远距离空间自适应多尺度的小目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20230118 Address after: No. 19, Jiangning District, Jiangning District, Nanjing, Jiangsu Applicant after: NARI Group Corp. Applicant after: NARI TECHNOLOGY Co.,Ltd. Applicant after: NARI NANJING CONTROL SYSTEM Co.,Ltd. Address before: No. 19, Jiangning District, Jiangning District, Nanjing, Jiangsu Applicant before: NARI TECHNOLOGY Co.,Ltd. Applicant before: NARI NANJING CONTROL SYSTEM Co.,Ltd. |
|
| TA01 | Transfer of patent application right |