CN111444939A - 电力领域开放场景下基于弱监督协同学习的小尺度设备部件检测方法 - Google Patents
电力领域开放场景下基于弱监督协同学习的小尺度设备部件检测方法 Download PDFInfo
- Publication number
- CN111444939A CN111444939A CN202010103125.2A CN202010103125A CN111444939A CN 111444939 A CN111444939 A CN 111444939A CN 202010103125 A CN202010103125 A CN 202010103125A CN 111444939 A CN111444939 A CN 111444939A
- Authority
- CN
- China
- Prior art keywords
- network
- strong
- supervision
- weak
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 71
- 238000012545 processing Methods 0.000 claims abstract description 32
- 238000000034 method Methods 0.000 claims description 45
- 238000012549 training Methods 0.000 claims description 42
- 238000011176 pooling Methods 0.000 claims description 35
- 230000006870 function Effects 0.000 claims description 22
- 230000007547 defect Effects 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 12
- 238000002372 labelling Methods 0.000 claims description 10
- 238000005192 partition Methods 0.000 claims description 10
- 230000004927 fusion Effects 0.000 claims description 9
- 230000005540 biological transmission Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 125000000205 L-threonino group Chemical group [H]OC(=O)[C@@]([H])(N([H])[*])[C@](C([H])([H])[H])([H])O[H] 0.000 claims description 6
- 238000011478 gradient descent method Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 230000035945 sensitivity Effects 0.000 claims description 6
- 238000005303 weighing Methods 0.000 claims description 6
- 230000008901 benefit Effects 0.000 claims description 5
- 230000002950 deficient Effects 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 230000002401 inhibitory effect Effects 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000005484 gravity Effects 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 claims 1
- 238000013527 convolutional neural network Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 10
- 238000003062 neural network model Methods 0.000 description 9
- 238000007689 inspection Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 5
- 239000012212 insulator Substances 0.000 description 5
- 238000013145 classification model Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 3
- 230000001629 suppression Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012827 research and development Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 239000003513 alkali Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Economics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
Abstract
电力领域开放场景下基于弱监督协同学习的小尺度设备部件检测方法，基于设备部件小目标的特性，使用特征金字塔对浅层特征与深层特征相融合，得到更丰富的信息。当提取的多尺度特征输入至候选区域生成网络后，会生成不同尺度特征下的候选区域，根据候选区域的尺度大小对强弱监督学习网络的处理范围进行划分，以充分发挥强监督子网络的高性能和弱监督子网络的协同性。并在很大程度上降低了时间成本，做好效率与精度的均衡。同时，本发明利用了一种不同于经典的Faster R‑CNN模型的检测框架对目标进行检测，再次同时提高了小目标检测的精度以及速度。
Description
技术领域
本发明公开电力领域开放场景下基于弱监督协同学习的小尺度设备部件检测方法， 属于智能电网的技术领域。
背景技术
电力是人类社会生产生活不可或缺的重要能源之一，随着输电线路的大规模增长， 输电设备日益增多，针对设备的安全巡检尤其是设备部件缺陷的及时监测越来越重要。 目前我国输电设备巡检主要采用传统的人工巡检与无人机自动巡视等方式，存在以下问题：工作量大、效率低、故障判断存在较大滞后性。
为此，在本技术领域陆续开始研发：利用神经网络学习进行自动识别电力场景中设备部件的检测方法，例如：
中国专利文献CN106504233B公开了基于Faster R-CNN的无人机巡检图像电力小部件识别方法及系统；包括步骤如下：对ZFnet模型进行预训练，提取无人机巡检图 像的特征图；对初始化得到的RPN区域提议网络模型训练，得到区域提取网络，利用 区域提取网络在图像的特征图上生成候选区域框，对候选区域框中的特征进行提取， 提取到目标的位置特征和深层特征；利用目标的位置特征、深层特征和特征图，对初 始化得到的Faster R-CNN检测网络进行训练，得到电力小部件检测模型。但是，该对 比文献并不能生成不同尺寸的候选区域，为此，本发明转变研发思路利用了一个特征 信息更为丰富的基础特征提取模型——残差网络，并基于构建的特征金字塔，生成不 同尺度的候选区域。
中国专利文献CN110232687A公开了一种电力巡检图像中带销螺栓缺陷的检测方法，主要包括Faster R-CNN模型的构建、Faster R-CNN模型的训练、带销螺栓目标 的检测以及带销螺栓的缺陷判断的步骤，解决在复杂背景中对带销螺栓目标的难准确 检测问题，大大提升了带销螺栓这种小目标物体的检测精度，为进一步进行带销螺栓 缺陷诊断提供基础，同时提出了基于灰度图的带销螺栓缺陷判别方法。在本技术领域 的实际场景中，怎样提高识别精度是一直被关注的技术重点，但是难以忽略的是：识 别精度的提高势必会引起识别速度的下降，而且还会占用网络通信资源，所以，怎样 在精度和速度之间做到权衡一直是个技术难题，为此本发明并不未灰度图等技术以此 提高小部件设备检测的精度，而是利用特征融合、强弱碱督协同、改进R-CNN子网络 等技术提高检测精度，可以很好的解决该技术难题。
中国专利文献CN110136097A公开了一种基于特征金字塔的绝缘子故障识别方法与装置，该方法包括：获取含有绝缘子的背景图像；将所述背景图像输入预设的绝缘 子故障识别模型，对所述背景图像进行绝缘子故障识别，识别所述背景图像中的故障 绝缘子。相较于此对比文献，本专利仅利用了两层特征进行构建特征金字塔，保留了 大部分特征信息且同时仅添加很少的参数量，并同时利用其它技术提高了精度，而不 必构建较深层次的特征金字塔。
目前深度神经网络模型在目标检测任务中表现非常优异，但是监督学习式地训练模型需要大量的人员进行标注，尤其是类似销钉等数量庞大的输电设备部件，往往会 耗费大量的人力物力。不同于监督学习模型要求标注与模型输出一一对应，弱监督学 习仅依赖部分层级标注的信息。因此弱监督学习在电力领域开放场景下具有良好的应 用前景与经济效益。
中国专利文献CN108764292A提供了一种基于弱监督信息的深度学习图像目标映射及定位方法。该方法包括：使用带有类别标签的图像数据分别训练两个深度卷积神 经网络框架，得到分类模型M1和分类模型M2，并获取全局带参可学习池化层参数； 使用新的分类模型M2对测试图像进行特征提取，得到特征图，根据特征图通过特征类 别映射及阈值法得到初步定位框；使用选择性搜索方法对测试图像进行候选区域提取， 使用分类模型M1筛选类别出候选框集合；对初步定位框和候选框进行非极大值抑制处 理，得到测试图像最终的目标定位框。本发明引入全局带参可学习池化层，能够学习 得到关于目标类别j的更好的特征表达，并通过使用选择性特征类别映射的方式，有 效得到图像中目标物体的位置信息。相较于此对比文献，本发明只使用弱监督学习网 络协同强监督学习网络的训练，并针对候选区域的特性进行选择性协同，可以更好地 同时利用弱监督信息的协同性以及缓解添加弱监督学习网络所带来的复杂度，并对 R-CNN子网络进行改进，进一步提高了小尺度设备部件检测的速度和精度。
综上可知，目前基于深度学习的目标检测方法主要分为两类：基于候选区域的神经网络模型和基于分割的神经网络模型。但这两类网络模型却各有利弊，基于候选区 域的神经网络模型的检测精度较高，而检测速度较慢；基于分割的神经网络模型的检 测速度较快，其检测精度与所需划分的网格的多少有较大关系，如果要检测小目标， 则往往需要划分较多的网格，但会导致其检测速度快速下降。虽然基于候选区域的神 经网络模型的检测精度较高，但它对于小目标的检测往往没有较高的精度保证。
相比于上述对比文献及现有技术，本发明主要应用于电力领域开放场景下，研究了一种基于弱监督协同学习框架的小尺度设备部件异常的智能检测算法。其中检测模 型的训练网络为改进之后残差网络，改进后的检测模型的训练网络将残差网络的特征 层conv3和特征层conv4相融合，再将融合之后的特征作用于候选区域生成网络，生 成不同尺度下的候选区域。对候选区域进行强弱监督协同、单强监督两方面处理，合 理发挥弱监督子网络的协同性，以此在目标检测准确率和效率之间做到很好的权衡。 另外，针对R-CNN强监督子网络，使用一种更为轻便的分类、回归结构，进一步提高 了小尺度设备部件检测的速度和精度。
发明内容
针对现有技术的问题，本发明公开一种基于弱监督协同学习的小尺度设备部件检测方法。
发明概述：
本发明所述检测方法利用弱监督协同强监督学习网络增强学习能力，充分考虑检测设备部件各种形态情形；将ResNet中的若干特征层进行构建特征金字塔，并针对得 到的不同尺度特征下的候选区域进行划分，合理发挥弱监督子网络的协同性，以此在 目标检测准确率和效率之间做到很好的权衡；通过改进R-FCN的R-CNN强监督子网络， 使用一种更为轻便的分类、回归结构，以此提高了小尺度设备部件检测的速度和精度。
本发明的技术方案如下：
电力领域开放场景下基于弱监督协同学习的小尺度设备部件检测方法，包括以下步骤:
S1：对电力开放场景下的图像进行预处理：使用标注工具对归一化处理后的图形进行标注；
S2：提取图像信息以及特征融合：提取包含图片不同尺度的特征图，使用ResNet的conv1-conv4卷积层进行特征提取，并在得到特征之后在conv3、conv4卷积层之间 构建特征金字塔；本发明构建特征金字塔的目的在于丰富提取的特征信息，而同时会 增加特征提取时间，因此研究实验发现，当只在conv3、conv4卷积层之间构建金字塔 实现特征信息丰富程度与提取速度之间的权衡；其中所述ResNet是指残差网络；
S3：将特征金字塔中的特征图嵌入至后续的区域生成网络，生成基于不同尺度特征图的候选区域作为子网络的输入，将不同尺度的特征图对应的候选区域进行处理： 划分强弱监督协同学习网络和单强监督子网络的处理范围；
S4：搭建弱监督子网络：将划分后的不同尺度的特征图和其对应的候选区域接入空间金字塔池化层，并对候选区域的特征图进行归一化，用于后续的识别流和检测流， 最后将识别流和检测流对应的两路合并起来得到图像级的预测类别；相较于经典两阶 段检测模型对候选区域使用全局平均池化操作，本发明使用空间金字塔池化操作对获 得的不同尺度的特征图进行处理，以提高模型的鲁棒性和精度；所述空间金字塔池化 层用于在对候选区域的特征图特征处理后，接入后续弱监督子网络；
S5：搭建改进后的R-CNN强监督子网络：将不同划分中不同尺度的特征图分别接入候选区域池化层，用于后续网络预测目标类别得分，以及回归目标边界框的准确位 置；
S6：训练网络模型：将网络模型的训练分为两阶段式训练，通过梯度下降法最小化损失函数，以训练得到最终的网络模型；
S7：在电力领域开放场景下进行小尺度设备部件检测，能够得到输电设备图像中缺陷部件的目标类别和位置坐标。
根据本发明优选的，所述步骤S1中图像预处理包括：
S11：收集整理图像数据，对图像尺寸做归一化处理，并通过高斯模糊处理去模拟不同的开放场景；
S12：使用标注工具对经过处理过后的图像数据进行标注，获得.xml格式文件。
根据本发明优选的，所述步骤S2提取图像信息以及特征融合包括：
S21：获取训练好的ResNet，将其中conv4卷积层后的网络层剔除，并使用网络 结构中conv3和conv4卷积层，以此构建一层的特征金字塔进行特征融合；此处所述 训练好的残差网络是指已训练好的开源的基础特征提取模型，本发明只是在用时对训 练好的网络层进行构建特征金字塔；
S22：对conv4卷积层得到的特征图进行上采样，并通过填充使得上采样得到的特征图与conv3卷积层具有相同的分辨率，然后将处理过的conv3低层特征和处理过的 conv4高层特征进行累加，即进行特征融合，此时便构建完成了这只有一层的特征金 字塔；所述填充是指对低尺度的特征图调整为高尺度的特征图，对调整后没有值的位 置通过填充0来表示；
S23：最终得到信息更丰富的卷积层conv3以及拥有更低分辨率信息的卷积层conv4，将卷积层conv3、卷积层conv4作用于后续的候选区域生成网络以及池化层， 进而用于分类和回归。
根据本发明优选的，所述步骤S3生成候选区域以及对子网络处理范围进行划分包括：
S31：将步骤S2得到的特征金字塔中两种尺度的特征图嵌入至区域生成网络，生成若干两种尺度特征图所对应的候选框；对生成的两种尺度特征图下所有的候选框用 NMS来降低重叠率，最终得到候选区域；两种尺度的特征图分别指出：conv3、conv4 两层所输出的特征图尺度；所述NMS非极大值抑制；
S32：对当前要输入至后续网络的候选区域坐标信息进行转换，并计算整个候选区域面积占比其所对应特征图面积的比值；
S33：获取用于处理至后续强监督子网络的池化层的特征输出尺寸：假设候选区域所对应的特征图经池化后，得到长度为f*f的特征作为后续网络的输入，所述S32所 述比值作为判断阈值用于对后续子网络处理范围的划分，将这个阈值记为thres＝1.0 /(f*f)；
S34：对子网络处理范围进行划分：
当候选框区域与其所对应特征图面积的比值大于thres时，将其划分至单强监督学习子网络范围中；否则划分至强弱监督协同学习网络范围。
根据本发明优选的，所述步骤S4中搭建弱监督子网络的方法包括：
S41：将步骤S3得到的弱监督协同学习划分中不同尺度的候选区域接入到后续的空间金字塔池化层，得到相同长度的池化特征；
S42：将得到的池化特征仅接入一个全连接层，可以在提高速度的同时保持弱监督网络检测器的准确率，并在之后分为识别流和检测流两路，并在两路后分别接入两个 不同的softmax层，并生成相同大小的矩阵；
S43：得到两个预测得分：
分类通道是为了比较每个区域的类别得分；
检测通道是为了比较每一个类别中哪个区域更加具有信息性；
最后对两路进行合并得到图像级的预测类别，即最后对两路得到的得分矩阵执行元素 间乘积，并通过对它们求和预测得到图像级的预测类别；
S44：构造与图像级类别误差有关的弱监督子网络模型的目标损失函数L(Weak)：
上述公式中，Zc表示目标的图像级类别总数，
表示目标的真实类别向量，yz表 示目标的预测类别向量；β用于权衡损失函数和正则化项之间的比重；w表示网络模 型的参数；正则化项使得弱监督子网络更具鲁棒性；此目标函数是用于衡量图像级类 别的误差。
根据本发明优选的，所述步骤S5搭建改进后的R-CNN强监督子网络的方法，具体包括：
S51：将步骤S31得到的两种不同划分中若干不同尺度特征图对应的候选区域，都接入至一个卷积层，用于生成敏感得分图；
S52：对R-CNN强监督子网络进行改进：使用p*p*10个感受野为1×1卷积核去卷 积生成位置敏感得分图，其中p表示将候选区域划分成p*p的网格区域；
使用RoI pooling得到候选区域在各个敏感得分图上的响应值，并接入一层全连接层进行变换，用于后续的分类和回归；经实验验证，上述生成位置敏感得分图的卷 积核维数设置为7*7*10；所述RoI pooling候选区域池化；
S53：构造与强弱监督协同检测网络的预测一致性、类别误差和边界框缩放误差以及单强监督子网络的预测误差有关的强监督子网络模型的目标损失函数L(Strong)：
上述公式第一项中，Zf表示目标的细致标签类别总数；F方法中第一部分和第二部分保证强弱监督协同学习网络之间以及之内的预测类别一致性，第三部分保证强弱 监督协同学习网络之间的坐标回归一致性；pjz,piz分别表示强弱监督协同学习网络中 弱监督子网络、强监督子网络的预测类别，tjz,tiz分别表示强弱监督协同学习网络中 弱监督子网络、强监督子网络的坐标回归值；G(·)表示平滑L1损失函数；AW和AS分别 是强弱监督协同学习网络在一个batch中候选区域的个数；Fij是一个二分类器，当两 个候选区域之间的IoU＞0.5时，Iij＝1，否则Fij＝0；α用于调节强弱监督协同 学习网络中强监督子网络对弱监督子网络预测的重视程度；i，j为1～Aw和1～As加和 中的一项，分别代表强监督学习候选区域划分中的一项和弱强监督学习候选区域划分 中的一项；此目标函数是用于衡量强弱监督协同学习进行预测的误差和单强监督学习 进行预测的误差；
上述公式第二项中，λ表示对单强监督学习子网络中候选区域损失的重视程度；B是单强监督学习子网络在一个batch中候选区域的个数；Xcls和Xreg分别是单强监督 学习网络在一个候选区域中类别个数和位置坐标个数；piz表示单强监督学习子网络的 预测类别；tiz表示单强监督学习子网络的坐标回归值；β用于权衡单强监督学习子网 络分类和回归之间的差距；Z和G(·)意义同上。
根据本发明优选的，所述步骤S6中训练网络模型包括：
S61：利用搭建了特征金字塔的残差网络模型先对区域生成网络进行训练，利用训练好的区域生成网络同时对两个子网络进行训练，通过梯度下降法最小化损失函数， 直到收敛完成第一阶段训练；所述两个子网络即S4的弱监督子网络和S5的强监督子 网络；
S62：在每次学习迭代中，整个目标检测网络只将图像级标签作为弱监督信息，并且通过预测一致性损失并行优化强监督和弱监督检测网络，以及将所有细致标签作为 单强监督子网络的监督信息；第二阶段训练重复S61过程，迭代训练直到收敛获得最 终训练好的网络模型。
根据本发明优选的，所述步骤S7在电力领域开放场景下进行小尺度设备部件检测过程包括：
S71：利用开放场景下高清摄像头获取原始图像，对图像进行去噪、增强处理；
S72：将图像输入至保存的模型中，利用训练好的特征金字塔网络的提取获得图像的特征；此处所述的模型是指经过两阶段训练最终得到的模型；
S73：利用提取到的图像特征生成一系列候选框，此时只通过训练好的改进型R-CNN子网络预测目标类别，并将所有边界框回归到正确的位置，同时，通过极大值 抑制去除冗余的边界框；
S74：获得预测的类别和边界框，并在原始图像上显示出检测结果；如果检测到了缺陷异常，则推送一条警报消息。
本发明的有益效果：
本发明针对电力领域开放场景下设备部件都较为简单却多样化、小尺度的特性，以及小尺度设备部件的分布集中性，通过简单融合特征高层和低层之间的信息，使得 能够利用小尺度部件的周边信息以及其它细致特征，并通过对得到的两种尺度特征下 的候选区域进行划分，合理发挥弱监督子网络的协同性以及强监督子网络的高效性， 提高小尺度设备部件检测的准确率的同时也能做到检测效率的保证。本发明通过实现 弱监督和强监督子网络的协同学习，能够得到较其他检测器网络更全面和更紧凑的边 界框预测。同时，在强监督子网络中使用一种只有一个全连接层的分类、回归结构， 从而再次提高了目标检测的速度。另外本发明通过使用数据增强技术，模拟不同电力 场景下的图像，以此增加模型的泛化能力。最后，本发明能够有效克服传统巡检方式 的缺点，实现设备部件缺陷检测的高效性、及时性以及高准确性。
附图说明
图1是本发明模型特征融合框架流程图；
图2是本发明模型预测层子网络的框架流程图；
图3是本发明针对电力场景中销钉缺陷检测的示意效果图；
图4是本发明针对电力场景中销钉易脱落(闭口)检测的示意效果图。
具体实施方式
下面结合实施例和说明书附图对本发明做详细的说明，但不限于此。
实施例、
电力领域开放场景下基于弱监督协同学习的小尺度设备部件检测方法，包括以下步骤:
S1：对电力开放场景下的图像进行预处理：使用标注工具对归一化处理后的图形进行标注；
S2：提取图像信息以及特征融合：提取包含图片不同尺度的特征图，使用ResNet的conv1-conv4卷积层进行特征提取，并在得到特征之后在conv3、conv4卷积层之间 构建特征金字塔；本发明构建特征金字塔的目的在于丰富提取的特征信息，而同时会 增加特征提取时间，因此研究实验发现，当只在conv3、conv4卷积层之间构建金字塔 实现特征信息丰富程度与提取速度之间的权衡；其中所述ResNet是指残差网络；
S3：将特征金字塔中的特征图嵌入至后续的区域生成网络，生成基于不同尺度特征图的候选区域作为子网络的输入，将不同尺度的特征图对应的候选区域进行处理： 划分强弱监督协同学习网络和单强监督子网络的处理范围；
S4：搭建弱监督子网络：将划分后的不同尺度的特征图和其对应的候选区域接入空间金字塔池化层，并对候选区域的特征图进行归一化，用于后续的识别流和检测流， 最后将识别流和检测流对应的两路合并起来得到图像级的预测类别；相较于经典两阶 段检测模型对候选区域使用全局平均池化操作，本发明使用空间金字塔池化操作对获 得的不同尺度的特征图进行处理，以提高模型的鲁棒性和精度；所述空间金字塔池化 层用于在对候选区域的特征图特征处理后，接入后续弱监督子网络；
S5：搭建改进后的R-CNN强监督子网络：将不同划分中不同尺度的特征图分别接入候选区域池化层，用于后续网络预测目标类别得分，以及回归目标边界框的准确位 置；
S6：训练网络模型：将网络模型的训练分为两阶段式训练，通过梯度下降法最小化损失函数，以训练得到最终的网络模型；
S7：在电力领域开放场景下进行小尺度设备部件检测，能够得到输电设备图像中缺陷部件的目标类别和位置坐标。
所述步骤S1中图像预处理包括：
S11：收集整理图像数据，对图像尺寸做归一化处理，并通过高斯模糊处理去模拟不同的开放场景；
S12：使用标注工具对经过处理过后的图像数据进行标注，获得.xml格式文件。
在本实施例中，对电力开放场景下的输电塔图像进行预处理，使用标注工具对图像中的销钉以及图像类别进行标注，如图3所示：进行销钉缺陷检测，标注缺陷和不 缺陷两种细致类别、“销钉缺陷”图像级类别；图4进行销钉易脱落检测，标注销钉开 口和闭口两种细致类别、“销钉易脱落”图像级类别。此处标注是指对每一张训练图片， 人工确定图片里的待检测目标(比如销钉等)的位置，再使用标注工具将这些目标分 别用矩形框框起来，并为每个矩形框设定一个属性值，表明这个矩形框里的目标属于 哪一种类别。由此，在后续S6步骤中训练模型的时候，模型就能识别哪张图片里的哪 个位置具有哪种类别的目标，按此原理训练模型。
所述步骤S2提取图像信息以及特征融合包括：
S21：获取训练好的ResNet，将其中conv4卷积层后的网络层剔除，并使用网络 结构中conv3和conv4卷积层，以此构建一层的特征金字塔进行特征融合；此处所述 训练好的残差网络是指已训练好的开源的基础特征提取模型，本发明只是在用时对训 练好的网络层进行构建特征金字塔；
S22：对conv4卷积层得到的特征图进行上采样，并通过填充使得上采样得到的特征图与conv3卷积层具有相同的分辨率，然后将处理过的conv3低层特征和处理过的 conv4高层特征进行累加，即进行特征融合，此时便构建完成了这只有一层的特征金 字塔；所述填充是指对低尺度的特征图调整为高尺度的特征图，对调整后没有值的位 置通过填充0来表示；
S23：最终得到信息更丰富的卷积层conv3以及拥有更低分辨率信息的卷积层conv4，将卷积层conv3、卷积层conv4作用于后续的候选区域生成网络以及池化层， 进而用于分类和回归。
所述步骤S3生成候选区域以及对子网络处理范围进行划分包括：
S31：将步骤S2得到的特征金字塔中两种尺度的特征图嵌入至区域生成网络，生成若干两种尺度特征图所对应的候选框；对生成的两种尺度特征图下所有的候选框用 NMS来降低重叠率，最终得到候选区域；两种尺度的特征图分别指出：conv3、conv4 两层所输出的特征图尺度；所述NMS非极大值抑制；
S32：对当前要输入至后续网络的候选区域坐标信息进行转换，并计算整个候选区域面积占比其所对应特征图面积的比值；
S33：获取用于处理至后续强监督子网络的池化层的特征输出尺寸：假设候选区域所对应的特征图经池化后，得到长度为f*f的特征作为后续网络的输入，所述S32所 述比值作为判断阈值用于对后续子网络处理范围的划分，将这个阈值记为thres＝1.0 /(f*f)；并根据阈值(本检测任务设置为0.1)对候选区域进行划分至强弱监督协同 学习网络和单强监督子网络的处理范围；
S34：对子网络处理范围进行划分：
当候选框区域与其所对应特征图面积的比值大于thres时，将其划分至单强监督学习子网络范围中；否则划分至强弱监督协同学习网络范围。
所述步骤S4中搭建弱监督子网络的方法包括：
S41：将步骤S3得到的弱监督协同学习划分中不同尺度的候选区域接入到后续的空间金字塔池化层，得到相同长度的池化特征；
S42：将得到的池化特征仅接入一个全连接层，可以在提高速度的同时保持弱监督网络检测器的准确率，并在之后分为识别流和检测流两路，并在两路后分别接入两个 不同的softmax层，并生成相同大小的矩阵；
S43：得到两个预测得分：
分类通道是为了比较每个区域的类别得分；
检测通道是为了比较每一个类别中哪个区域更加具有信息性；
最后对两路进行合并得到图像级的预测类别，即最后对两路得到的得分矩阵执行元素 间乘积，并通过对它们求和预测得到图像级的预测类别；
S44：构造与图像级类别误差有关的弱监督子网络模型的目标损失函数L(Weak)：
上述公式中，Zc表示目标的图像级类别总数，
表示目标的真实类别向量，yz表示目标的预测类别向量；β用于权衡损失函数和正则化项之间的比重；w表示网络模 型的参数；正则化项使得弱监督子网络更具鲁棒性；此目标函数是用于衡量图像级类 别的误差。
所述步骤S5搭建改进后的R-CNN强监督子网络的方法，具体包括：
S51：将步骤S31得到的两种不同划分中若干不同尺度特征图对应的候选区域，都接入至一个卷积层，用于生成敏感得分图；
S52：对R-CNN强监督子网络进行改进：使用p*p*10个感受野为1×1卷积核去卷 积生成位置敏感得分图，其中p表示将候选区域划分成p*p的网格区域；
使用RoI pooling得到候选区域在各个敏感得分图上的响应值，并接入一层全连接层进行变换，用于后续的分类和回归；经实验验证，上述生成位置敏感得分图的卷 积核维数设置为7*7*10；所述RoI pooling候选区域池化；
S53：构造与强弱监督协同检测网络的预测一致性、类别误差和边界框缩放误差以及单强监督子网络的预测误差有关的强监督子网络模型的目标损失函数L(Strong)：
上述公式第一项中，Zf表示目标的细致标签类别总数；F方法中第一部分和第二部分保证强弱监督协同学习网络之间以及之内的预测类别一致性，第三部分保证强弱 监督协同学习网络之间的坐标回归一致性；pjz,piz分别表示强弱监督协同学习网络中 弱监督子网络、强监督子网络的预测类别，tjz,tiz分别表示强弱监督协同学习网络中 弱监督子网络、强监督子网络的坐标回归值；G(·)表示平滑L1损失函数；AW和AS分别 是强弱监督协同学习网络在一个batch中候选区域的个数；Fij是一个二分类器，当两 个候选区域之间的IoU＞0.5时，Iij＝1，否则Fij＝0；α用于调节强弱监督协同 学习网络中强监督子网络对弱监督子网络预测的重视程度；i，j为1～Aw和1～As加和 中的一项，分别代表强监督学习候选区域划分中的一项和弱强监督学习候选区域划分 中的一项；此目标函数是用于衡量强弱监督协同学习进行预测的误差和单强监督学习 进行预测的误差；
上述公式第二项中，λ表示对单强监督学习子网络中候选区域损失的重视程度；B是单强监督学习子网络在一个batch中候选区域的个数；Xcls和Xreg分别是单强监督 学习网络在一个候选区域中类别个数和位置坐标个数；piz表示单强监督学习子网络的 预测类别；tiz表示单强监督学习子网络的坐标回归值；β用于权衡单强监督学习子网 络分类和回归之间的差距；Z和G(·)意义同上。
所述步骤S6中训练网络模型包括：
S61：利用搭建了特征金字塔的残差网络模型先对区域生成网络进行训练，利用训练好的区域生成网络同时对两个子网络进行训练，通过梯度下降法最小化损失函数， 直到收敛完成第一阶段训练；所述两个子网络即S4的弱监督子网络和S5的强监督子 网络；
S62：在每次学习迭代中，整个目标检测网络只将图像级标签作为弱监督信息，并且通过预测一致性损失并行优化强监督和弱监督检测网络，以及将所有细致标签作为 单强监督子网络的监督信息；第二阶段训练重复S61过程，迭代训练直到收敛获得最 终训练好的网络模型。
所述步骤S7在电力领域开放场景下进行小尺度设备部件检测过程包括：
S71：利用开放场景下高清摄像头获取原始图像，对图像进行去噪、增强处理；
S72：将图像输入至保存的模型中，利用训练好的特征金字塔网络的提取获得图像的特征；此处所述的模型是指经过两阶段训练最终得到的模型；
S73：利用提取到的图像特征生成一系列候选框，此时只通过训练好的改进型 R-CNN子网络预测目标类别，并将所有边界框回归到正确的位置，同时，通过极大值 抑制去除冗余的边界框；
S74：获得预测的类别和边界框，并在原始图像上显示出检测结果；如果检测到 了缺陷异常，则推送一条警报消息。
Claims (8)
1.电力领域开放场景下基于弱监督协同学习的小尺度设备部件检测方法，其特征在于，包括以下步骤:
S1：对电力开放场景下的图像进行预处理：使用标注工具对归一化处理后的图形进行标注；
S2：提取图像信息以及特征融合：提取包含图片不同尺度的特征图，使用ResNet的conv1-conv4卷积层进行特征提取，并在得到特征之后在conv3、conv4卷积层之间构建特征金字塔；
S3：将特征金字塔中的特征图嵌入至后续的区域生成网络，生成基于不同尺度特征图的候选区域作为子网络的输入，将不同尺度的特征图对应的候选区域进行处理：划分强弱监督协同学习网络和单强监督子网络的处理范围；
S4：搭建弱监督子网络：将划分后的不同尺度的特征图和其对应的候选区域接入空间金字塔池化层，并对候选区域的特征图进行归一化，用于后续的识别流和检测流，最后将识别流和检测流对应的两路合并起来得到图像级的预测类别；
S5：搭建改进后的R-CNN强监督子网络：将不同划分中不同尺度的特征图分别接入候选区域池化层，用于后续网络预测目标类别得分，以及回归目标边界框的准确位置；
S6：训练网络模型：将网络模型的训练分为两阶段式训练，通过梯度下降法最小化损失函数，以训练得到最终的网络模型；
S7：在电力领域开放场景下进行小尺度设备部件检测，能够得到输电设备图像中缺陷部件的目标类别和位置坐标。
2.根据权利要求1所述的电力领域开放场景下基于弱监督协同学习的小尺度设备部件检测方法，其特征在于，所述步骤S1中图像预处理包括：
S11：收集整理图像数据，对图像尺寸做归一化处理，并通过高斯模糊处理去模拟不同的开放场景；
S12：使用标注工具对经过处理过后的图像数据进行标注，获得.xml格式文件。
3.根据权利要求1所述的电力领域开放场景下基于弱监督协同学习的小尺度设备部件检测方法，其特征在于，所述步骤S2提取图像信息以及特征融合包括：
S21：获取训练好的ResNet，将其中conv4卷积层后的网络层剔除，并使用网络结构中conv3和conv4卷积层，以此构建一层的特征金字塔进行特征融合；
S22：对conv4卷积层得到的特征图进行上采样，并通过填充使得上采样得到的特征图与conv3卷积层具有相同的分辨率，然后将处理过的conv3低层特征和处理过的conv4高层特征进行累加，即进行特征融合，此时便构建完成了这只有一层的特征金字塔；
S23：将卷积层conv3、卷积层conv4作用于后续的候选区域生成网络以及池化层，进而用于分类和回归。
4.根据权利要求1所述的电力领域开放场景下基于弱监督协同学习的小尺度设备部件检测方法，其特征在于，所述步骤S3生成候选区域以及对子网络处理范围进行划分包括：
S31：将步骤S2得到的特征金字塔中两种尺度的特征图嵌入至区域生成网络，生成若干两种尺度特征图所对应的候选框；对生成的两种尺度特征图下所有的候选框用NMS来降低重叠率，最终得到候选区域；
S32：对当前要输入至后续网络的候选区域坐标信息进行转换，并计算整个候选区域面积占比其所对应特征图面积的比值；
S33：获取用于处理至后续强监督子网络的池化层的特征输出尺寸：假设候选区域所对应的特征图经池化后，得到长度为f*f的特征作为后续网络的输入，所述S32所述比值作为判断阈值用于对后续子网络处理范围的划分，将这个阈值记为thres＝1.0/(f*f)；
S34：对子网络处理范围进行划分：
当候选框区域与其所对应特征图面积的比值大于thres时，将其划分至单强监督学习子网络范围中；否则划分至强弱监督协同学习网络范围。
5.根据权利要求1所述的电力领域开放场景下基于弱监督协同学习的小尺度设备部件检测方法，其特征在于，所述步骤S4中搭建弱监督子网络的方法包括：
S41：将步骤S3得到的弱监督协同学习划分中不同尺度的候选区域接入到后续的空间金字塔池化层，得到相同长度的池化特征；
S42：将得到的池化特征仅接入一个全连接层，并在之后分为识别流和检测流两路，并在两路后分别接入两个不同的softmax层，并生成相同大小的矩阵；
S43：得到两个预测得分：
分类通道是为了比较每个区域的类别得分；
检测通道是为了比较每一个类别中哪个区域更加具有信息性；
最后对两路进行合并得到图像级的预测类别；
S44：构造与图像级类别误差有关的弱监督子网络模型的目标损失函数L(Weak)：
上述公式中，Zc表示目标的图像级类别总数，
表示目标的真实类别向量，yz表示目标的预测类别向量；β用于权衡损失函数和正则化项之间的比重；w表示网络模型的参数。
6.根据权利要求1所述的电力领域开放场景下基于弱监督协同学习的小尺度设备部件检测方法，其特征在于，所述步骤S5搭建改进后的R-CNN强监督子网络的方法，具体包括：
S51：将步骤S31得到的两种不同划分中若干不同尺度特征图对应的候选区域，都接入至一个卷积层，用于生成敏感得分图；
S52：对R-CNN强监督子网络进行改进：使用p*p*10个感受野为1×1卷积核去卷积生成位置敏感得分图，其中p表示将候选区域划分成p*p的网格区域；
使用RoI pooling得到候选区域在各个敏感得分图上的响应值，并接入一层全连接层进行变换，用于后续的分类和回归；
S53：构造与强弱监督协同检测网络的预测一致性、类别误差和边界框缩放误差以及单强监督子网络的预测误差有关的强监督子网络模型的目标损失函数L(Strong)：
上述公式第一项中，Zf表示目标的细致标签类别总数；F方法中第一部分和第二部分保证强弱监督协同学习网络之间以及之内的预测类别一致性，第三部分保证强弱监督协同学习网络之间的坐标回归一致性；pjz,piz分别表示强弱监督协同学习网络中弱监督子网络、强监督子网络的预测类别，tjz,tiz分别表示强弱监督协同学习网络中弱监督子网络、强监督子网络的坐标回归值；G(·)表示平滑L1损失函数；AW和AS分别是强弱监督协同学习网络在一个batch中候选区域的个数；Fij是一个二分类器，当两个候选区域之间的IoU＞0.5时，Iij＝1，否则Fij＝0；α用于调节强弱监督协同学习网络中强监督子网络对弱监督子网络预测的重视程度；i，j为1～Aw和1～As加和中的一项，分别代表强监督学习候选区域划分中的一项和弱强监督学习候选区域划分中的一项；
上述公式第二项中，λ表示对单强监督学习子网络中候选区域损失的重视程度；B是单强监督学习子网络在一个batch中候选区域的个数；Xcls和Xreg分别是单强监督学习网络在一个候选区域中类别个数和位置坐标个数；piz表示单强监督学习子网络的预测类别；tiz表示单强监督学习子网络的坐标回归值；β用于权衡单强监督学习子网络分类和回归之间的差距；Z和G(·)意义同上。
7.根据权利要求1所述的电力领域开放场景下基于弱监督协同学习的小尺度设备部件检测方法，其特征在于，所述步骤S6中训练网络模型包括：
S61：利用搭建了特征金字塔的残差网络模型先对区域生成网络进行训练，利用训练好的区域生成网络同时对两个子网络进行训练，通过梯度下降法最小化损失函数，直到收敛完成第一阶段训练；
S62：在每次学习迭代中，整个目标检测网络只将图像级标签作为弱监督信息，并且通过预测一致性损失并行优化强监督和弱监督检测网络，以及将所有细致标签作为单强监督子网络的监督信息；第二阶段训练重复S61过程，迭代训练直到收敛获得最终训练好的网络模型。
8.根据权利要求1所述的电力领域开放场景下基于弱监督协同学习的小尺度设备部件检测方法，其特征在于，所述步骤S7在电力领域开放场景下进行小尺度设备部件检测过程包括：
S71：利用开放场景下高清摄像头获取原始图像，对图像进行去噪、增强处理；
S72：将图像输入至保存的模型中，利用训练好的特征金字塔网络的提取获得图像的特征；
S73：利用提取到的图像特征生成一系列候选框，此时只通过训练好的改进型R-CNN子网络预测目标类别，并将所有边界框回归到正确的位置，同时，通过极大值抑制去除冗余的边界框；
S74：获得预测的类别和边界框，并在原始图像上显示出检测结果；如果检测到了缺陷异常，则推送一条警报消息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010103125.2A CN111444939B (zh) | 2020-02-19 | 2020-02-19 | 电力领域开放场景下基于弱监督协同学习的小尺度设备部件检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010103125.2A CN111444939B (zh) | 2020-02-19 | 2020-02-19 | 电力领域开放场景下基于弱监督协同学习的小尺度设备部件检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111444939A true CN111444939A (zh) | 2020-07-24 |
| CN111444939B CN111444939B (zh) | 2022-06-28 |
Family
ID=71627181
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010103125.2A Active CN111444939B (zh) | 2020-02-19 | 2020-02-19 | 电力领域开放场景下基于弱监督协同学习的小尺度设备部件检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111444939B (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112036517A (zh) * | 2020-11-05 | 2020-12-04 | 中科创达软件股份有限公司 | 图像缺陷分类方法、装置及电子设备 |
| CN112183414A (zh) * | 2020-09-29 | 2021-01-05 | 南京信息工程大学 | 一种基于混合空洞卷积的弱监督遥感目标检测方法 |
| CN112364754A (zh) * | 2020-11-09 | 2021-02-12 | 云南电网有限责任公司迪庆供电局 | 螺栓缺陷检测方法及系统 |
| CN112419316A (zh) * | 2020-12-14 | 2021-02-26 | 国网浙江省电力有限公司 | 一种跨设备可见光纹理缺陷检测方法及装置 |
| CN112907532A (zh) * | 2021-02-10 | 2021-06-04 | 哈尔滨市科佳通用机电股份有限公司 | 基于Faster RCNN改进的货车车门脱落检测方法 |
| CN112966684A (zh) * | 2021-03-15 | 2021-06-15 | 北湾科技(武汉)有限公司 | 一种注意力机制下的协同学习文字识别方法 |
| CN113269190A (zh) * | 2021-07-21 | 2021-08-17 | 中国平安人寿保险股份有限公司 | 基于人工智能的数据分类方法、装置、计算机设备及介质 |
| CN113610807A (zh) * | 2021-08-09 | 2021-11-05 | 西安电子科技大学 | 基于弱监督多任务学习的新冠肺炎分割方法 |
| CN113989558A (zh) * | 2021-10-28 | 2022-01-28 | 哈尔滨工业大学 | 基于迁移学习与边界框调节的弱监督目标检测方法 |
| CN116206201A (zh) * | 2023-02-21 | 2023-06-02 | 北京理工大学 | 一种监督目标检测识别方法、装置、设备及存储介质 |
| CN117556147A (zh) * | 2024-01-11 | 2024-02-13 | 中国传媒大学 | 电商数据分类推荐系统、方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107833213A (zh) * | 2017-11-02 | 2018-03-23 | 哈尔滨工业大学 | 一种基于伪真值自适应法的弱监督物体检测方法 |
| CN108564097A (zh) * | 2017-12-05 | 2018-09-21 | 华南理工大学 | 一种基于深度卷积神经网络的多尺度目标检测方法 |
| CN109299644A (zh) * | 2018-07-18 | 2019-02-01 | 广东工业大学 | 一种基于区域全卷积网络的车辆目标检测方法 |
| CN109344821A (zh) * | 2018-08-30 | 2019-02-15 | 西安电子科技大学 | 基于特征融合和深度学习的小目标检测方法 |
| CN109711437A (zh) * | 2018-12-06 | 2019-05-03 | 武汉三江中电科技有限责任公司 | 一种基于yolo网络模型的变压器部件识别方法 |
-
2020
- 2020-02-19 CN CN202010103125.2A patent/CN111444939B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107833213A (zh) * | 2017-11-02 | 2018-03-23 | 哈尔滨工业大学 | 一种基于伪真值自适应法的弱监督物体检测方法 |
| CN108564097A (zh) * | 2017-12-05 | 2018-09-21 | 华南理工大学 | 一种基于深度卷积神经网络的多尺度目标检测方法 |
| CN109299644A (zh) * | 2018-07-18 | 2019-02-01 | 广东工业大学 | 一种基于区域全卷积网络的车辆目标检测方法 |
| CN109344821A (zh) * | 2018-08-30 | 2019-02-15 | 西安电子科技大学 | 基于特征融合和深度学习的小目标检测方法 |
| CN109711437A (zh) * | 2018-12-06 | 2019-05-03 | 武汉三江中电科技有限责任公司 | 一种基于yolo网络模型的变压器部件识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| JIAJIE WANG等: "Collaborative Learning for Weakly Supervised Object Detection", 《IJCAI"18 PROCEEDINGS OF THE 27TH INTERNATIONAL JOINT CONFERENCE ON ARTIFICIAL INTELLIGENCE》 * |
| SHAOQING REN等: "Faster R-CNN Towards Real-Time Object Detection with Region Proposal Networks", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 * |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112183414A (zh) * | 2020-09-29 | 2021-01-05 | 南京信息工程大学 | 一种基于混合空洞卷积的弱监督遥感目标检测方法 |
| CN112036517A (zh) * | 2020-11-05 | 2020-12-04 | 中科创达软件股份有限公司 | 图像缺陷分类方法、装置及电子设备 |
| CN112364754B (zh) * | 2020-11-09 | 2024-05-14 | 云南电网有限责任公司迪庆供电局 | 螺栓缺陷检测方法及系统 |
| CN112364754A (zh) * | 2020-11-09 | 2021-02-12 | 云南电网有限责任公司迪庆供电局 | 螺栓缺陷检测方法及系统 |
| CN112419316A (zh) * | 2020-12-14 | 2021-02-26 | 国网浙江省电力有限公司 | 一种跨设备可见光纹理缺陷检测方法及装置 |
| CN112907532A (zh) * | 2021-02-10 | 2021-06-04 | 哈尔滨市科佳通用机电股份有限公司 | 基于Faster RCNN改进的货车车门脱落检测方法 |
| CN112966684A (zh) * | 2021-03-15 | 2021-06-15 | 北湾科技(武汉)有限公司 | 一种注意力机制下的协同学习文字识别方法 |
| CN113269190A (zh) * | 2021-07-21 | 2021-08-17 | 中国平安人寿保险股份有限公司 | 基于人工智能的数据分类方法、装置、计算机设备及介质 |
| CN113610807B (zh) * | 2021-08-09 | 2024-02-09 | 西安电子科技大学 | 基于弱监督多任务学习的新冠肺炎分割方法 |
| CN113610807A (zh) * | 2021-08-09 | 2021-11-05 | 西安电子科技大学 | 基于弱监督多任务学习的新冠肺炎分割方法 |
| CN113989558A (zh) * | 2021-10-28 | 2022-01-28 | 哈尔滨工业大学 | 基于迁移学习与边界框调节的弱监督目标检测方法 |
| CN113989558B (zh) * | 2021-10-28 | 2024-04-30 | 哈尔滨工业大学 | 基于迁移学习与边界框调节的弱监督目标检测方法 |
| CN116206201A (zh) * | 2023-02-21 | 2023-06-02 | 北京理工大学 | 一种监督目标检测识别方法、装置、设备及存储介质 |
| CN117556147A (zh) * | 2024-01-11 | 2024-02-13 | 中国传媒大学 | 电商数据分类推荐系统、方法 |
| CN117556147B (zh) * | 2024-01-11 | 2024-04-12 | 中国传媒大学 | 电商数据分类推荐系统、方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111444939B (zh) | 2022-06-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111444939B (zh) | 电力领域开放场景下基于弱监督协同学习的小尺度设备部件检测方法 | |
| CN109949317B (zh) | 基于逐步对抗学习的半监督图像实例分割方法 | |
| CN111179217A (zh) | 一种基于注意力机制的遥感图像多尺度目标检测方法 | |
| CN111275688A (zh) | 基于注意力机制的上下文特征融合筛选的小目标检测方法 | |
| CN109376606B (zh) | 一种电力巡检图像杆塔基础故障检测方法 | |
| CN113920107A (zh) | 一种基于改进yolov5算法的绝缘子破损检测方法 | |
| CN114972213A (zh) | 一种基于机器视觉的两阶段主板图像缺陷检测及定位方法 | |
| CN113609896A (zh) | 基于对偶相关注意力的对象级遥感变化检测方法及系统 | |
| CN111242144B (zh) | 电网设备异常的检测方法和装置 | |
| CN112884742A (zh) | 一种基于多算法融合的多目标实时检测、识别及跟踪方法 | |
| Li et al. | A review of deep learning methods for pixel-level crack detection | |
| CN111275010A (zh) | 一种基于计算机视觉的行人重识别方法 | |
| CN115439458A (zh) | 基于深度图注意力的工业图像缺陷目标检测算法 | |
| CN115131747A (zh) | 基于知识蒸馏的输电通道工程车辆目标检测方法及系统 | |
| CN114332473A (zh) | 目标检测方法、装置、计算机设备、存储介质及程序产品 | |
| CN113920468A (zh) | 一种基于跨尺度特征增强的多分支行人检测方法 | |
| CN116823793A (zh) | 设备缺陷检测方法、装置、电子设备和可读存储介质 | |
| CN111507398A (zh) | 基于目标检测的变电站金属仪器锈蚀识别方法 | |
| Zhao et al. | Bitnet: A lightweight object detection network for real-time classroom behavior recognition with transformer and bi-directional pyramid network | |
| Zhou et al. | SWDet: Anchor-based object detector for solid waste detection in aerial images | |
| CN111414855B (zh) | 基于端到端回归模型的电线杆标牌目标检测及识别方法 | |
| CN113052103A (zh) | 一种基于神经网络的电气设备缺陷检测方法及装置 | |
| CN115830302A (zh) | 一种多尺度特征提取融合配电网设备定位识别方法 | |
| CN112199984B (zh) | 一种大尺度遥感图像的目标快速检测方法 | |
| Zan et al. | Defect Identification of Power Line Insulators Based on a MobileViT‐Yolo Deep Learning Algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |