CN107563412A - 一种基于深度学习的红外图像电力设备实时检测方法 - Google Patents
一种基于深度学习的红外图像电力设备实时检测方法 Download PDFInfo
- Publication number
- CN107563412A CN107563412A CN201710676658.8A CN201710676658A CN107563412A CN 107563412 A CN107563412 A CN 107563412A CN 201710676658 A CN201710676658 A CN 201710676658A CN 107563412 A CN107563412 A CN 107563412A
- Authority
- CN
- China
- Prior art keywords
- mrow
- prediction
- msub
- power equipment
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000013135 deep learning Methods 0.000 title claims abstract description 12
- 238000011897 real-time detection Methods 0.000 title claims abstract description 10
- 238000012549 training Methods 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 12
- 238000001514 detection method Methods 0.000 claims description 38
- 230000006870 function Effects 0.000 claims description 27
- 238000013528 artificial neural network Methods 0.000 claims description 23
- 230000001629 suppression Effects 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 9
- 230000004807 localization Effects 0.000 claims description 6
- 230000006798 recombination Effects 0.000 claims description 3
- 238000005215 recombination Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000004927 fusion Effects 0.000 claims description 2
- 238000012216 screening Methods 0.000 claims description 2
- 238000012360 testing method Methods 0.000 abstract description 9
- 238000012423 maintenance Methods 0.000 abstract description 5
- 230000007935 neutral effect Effects 0.000 abstract 3
- 238000010586 diagram Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的红外图像电力设备实时检测方法。采集多幅包含已知电力设备的红外图像，每幅红外图像均已标示目标框，目标框是含有单个已知电力设备的图像区域，每幅红外图像均具有设备级标签；将红外图像及其对应的设备级标签输入到电力设备检测神经网络中，利用带动量的SGD算法训练电力设备检测神经网络；采用训练后的电力设备检测神经网络对未知待测图像进行处理，获得未知待测图像中电力设备的位置和种类的检测结果。本发明方法和传统的红外图像电力设备检测方法相比，得到了更好的性能，同时能够达到实时的处理速度。
Description
技术领域
本发明涉及图像目标检测方法，具体涉及了一种基于深度学习的红外图像电力设备实时检测方法。
背景技术
电力设备是电网运行的基本单元，对电力设备状态进行有效、准确的检测和评估，是电力设备状态检修和寿命周期管理的前提，也是智能调度运行的重要依据，可以为电网安全、可靠、高效的运行提供有力的技术支撑。
为了对电力设备进行故障诊断，首先需要对图像中的电力设备进行检测和定位。传统的基于计算机视觉的红外图像电力设备检测技术仍然在采用人工设计的特征，不仅需要为在特定场景下的应用调整许多模型的参数，并且当红外图像的背景相对比较复杂的时候，传统的方法无法提供令人满意的结果。
另一方面，深度学习因为其优越的学习能力和表达能力，在泛化的目标检测领域取得了突破性的进展。为了提供训练深度学习模型所需要的数据，本方法首先收集了近8000张电力设备的红外热像图，并对它们进行了设备级别的标注。红外图像中的电力设备检测相比泛化的目标检测的区别主要体现在电力设备在红外图像中可能是倾斜的，而目前绝大部分目标检测任务针对的是正的目标检测。
发明内容
为了解决背景技术中存在的问题，本发明的目的在于提供一种实时的基于深度学习的红外图像电力设备实时检测方法。
本发明采用的技术方案包括如下步骤：
(1)采集多幅包含已知电力设备的红外图像I，多幅红外图像I包含有各种已知的电力设备，每幅红外图像I均已标示目标框，目标框是含有单个已知电力设备的图像区域，每幅红外图像I均具有设备级标签，设备级标签为 [ci,xi,yi,θi,wi,hi]，其中i表示目标框的序号，ci表示目标框内所包含设备的类别，共有C个类别的电力设备，具体实施中分为电流互感器、电压互感器、避雷器、断路器的四类，xi,yi分别表示目标框中心点的x坐标和y坐标，θi,wi,hi分别表示目标框的倾斜角、宽度和高度；
x坐标和y坐标分别是指图像的横纵坐标。倾斜角是目标框的纵边和图像横坐标方向之间的夹角。
(2)将图像I及其对应的设备级标签输入到电力设备检测神经网络中，利用带动量(momentum)的SGD算法训练电力设备检测神经网络；
所述的电力设备检测神经网络是基于YOLO目标检测框架的深度神经网络。
(3)采用训练后的电力设备检测神经网络对未知待测图像进行处理，获得未知待测图像中电力设备的位置和种类的检测结果。
所述步骤(2)中训练包括多尺度特征提取(Multi-scale feature extraction)步骤和多任务学习(Multi-task learning)步骤，红外图像I输入后，通过多尺度特征提取得到融合多尺度特征的特征图，在特征图中建立预测框，通过多任务学习进行处理使得预测框接近于目标框。
如图1所示，所述步骤(2)具体为：
(2.1)将红外图像I进行多尺度处理，尺度是指图像大小上的变化，获得一系列不同尺度的特征图；
(2.2)取任一较低层的特征图进行重组处理使得图像大小为原来的四分之一并且深度为原来4倍，将重组处理后的较低层的特征图和较高层的特征图在深度方向上进行连接，得到融合之后的最终特征图，最终特征图再经过一次卷积操作之后作为多任务学习步骤的输入；
较低层的特征图的图像大小较大，较高层的特征图的图像大小较小。
(2.3)将最终特征图分成各个S×S大小的网格，最终特征图的每个网格对应于红外图像I中也分成S×S后的区域，在每一个具有目标框的网格内随机生成 B个预测框，没有目标框的网格不生成预测框，B个预测框允许可以重叠，以目标框的中心点是否位于网格内判断网格内是否具有目标框，每一个预测框具有框标签[s,p,tx,ty,tθ,tw,th]，其中s表示预测框内存在电力设备的置信度，p表示预测框内存在电力设备情况下电力设备所属类别的概率分布，tθ表示预测框的倾斜角，tx,ty分别表示预测框中心点的x,y坐标，tw,th分表表示预测框的宽度和高度；
其中的置信度s和概率分布p的初始值是随机生成的，并且初始值不等于零。
(2.4)在具有目标框的每个网格中，找到和目标框之间交叠率最大的预测框作为该网格的实际预测框；
所述的交叠率为预测框和目标框之间的重叠面积占预测框和目标框总面积的比例。
(2.5)采用带动量SGD算法以实际预测框的框标签为训练对象进行迭代运算训练，使得每个网格内的实际预测框逐渐接近目标框，完成训练。
所述的步骤(2.5)的训练过程具体包括定位损失函数和分类损失函数：
L＝Lloc+Lcls
其中，L表示损失函数之和，Lloc表示定位损失函数，Lcls表示分类损失函数；
定位损失函数表示为：
其中，表示第i个网格中第j个预测框是否是最接近预测框的指示函数，当第i个网格中第j个预测框是最接近预测框时指示函数为1，当第i个网格中第j个预测框不是最接近预测框时指示函数为0；
表示预测框中存在电力设备的置信度真值，表示目标框位置和角度参数的真实值，λnoobj表示不存在电力设备的网格的损失函数权重，λloc表示定位任务的损失函数权重；
表示第i个网格中第j个预测框是否非最接近预测框，当第i个网格中第j个预测框不是最接近预测框时指示函数为1，当第i个网格中第j个预测框是最接近预测框时指示函数为0；
sij表示第i个网格中第j个预测框的预测置信度，表示第i个网格中第j个预测框对应的真实置信度，当第i个网格中第j个预测框是最接近预测框时，为 1，否则为0；
tij表示第i个网格中第j个预测框的预测位置和角度参数，表示第i个网格中第j个预测框对应的真实目标框的位置和角度参数，表示求L2范数计算；只有当第i个网格中第j个预测框时最接近预测框时，它才有对应的真实目标框。
分类损失函数表示为：
其中，表示实际预测框所属类别的概率分布，λcls表示分类任务的损失函数权重；pij表示第i个网格中第j个预测框属于各个电力设备部件类别的预测的概率分布，表示第i个网格中第j个预测框属于各个电力设备部件类别真实的概率分布。只有当第i个网格中第j个预测框是最接近预测框时，才会计算这一部分损失函数。
所述步骤(3)具体为：将未知待测图像输入到电力设备检测神经网络中，在电力设备检测神经网络的输出端得到未知待测图像划分成各个S×S大小的网格、各个网格获得各自的预测框的结果；对所有的预测框进行非极大值抑制，根据置信度选择预测框作为最终的预测结果。
所述的对所有的预测框进行非极大值抑制，根据置信度选择预测框作为最终的预测结果，具体是针对所有的预测框采用以下方式进行处理：
首先，对于属于同一电力设备部件类别的所有预测框，如果任意两个预测框的交叠率大于非极大值抑制交叠率阈值，则将置信度较小的预测框的置信度设置为0，置信度较大的预测框保留下来；
接着，保留下来的预测框用置信度阈值进行筛选，排除预测框的框标签中置信度小于置信度阈值的预测框，保留预测框的框标签中置信度大于等于置信度阈值的预测框。
本方法采用了基于YOLO的目标检测框架，通过大量的数据对网络的参数进行训练。测试时直接将未知标签的图像通过一次神经网络的前向传播，经过非极大值抑制即可得到电力设备的检测结果。测试时在GPU上能达到超过20 帧每秒的速度。
本发明的有益效果是：
本发明方法利用YOLO目标检测框架，在近8000张已标注设备的红外图像上进行训练，充分学习得到网络的参数，本方法采用的全卷积神经网络的设计方式使得模型的测试速度能够在GPU上超过20帧每秒，适合高精度，快速电力设备部件检测的应用场景。
附图说明
图1是本发明基于YOLO深度神经网络的电力设备检测框图。
图2是本发明一些电力设备部件检测结果示意图。
具体实施方式
下面对本发明进行进一步说明。
本发明的实施例及其实施过程是：
(1)采集一幅已知设备级标签的红外图像I，设备级标签为[ci,xi,yi,θi,wi,hi]，其中i表示第i个设备，ci表示第i个设备的类别，C为设备类别总数。xi,yi,θi,wi,hi分别表示第i个设备的x坐标，y坐标，倾斜角，宽度和高度。
(2)构建基于YOLO目标检测框架的电力设备检测的神经网络；主要包括多尺度特征提取(Multi-scale feature extraction)步骤、多任务学习(Multi-task learning)步骤以及非极大值抑制(Non-maximum suppression)步骤。
(2.1)将红外图像I进行多尺度处理，获得一系列不同尺度的特征图；
(2.2)取任一较低层的特征图进行重组处理使得图像大小为原来的四分之一并且深度为原来4倍，将重组处理后的较低层的特征图和较高层的特征图在深度方向上进行连接，得到融合之后的最终特征图；
具体实施中，多尺度特征提取包括传统的深度神经网络中的卷积、激活、池化以及批规范化的运算，具体是由原始的将红外图像I逐渐进行图像缩小，图像缩小的同时深度增加，从而获得一系列的不同尺度的特征图。为了得到融合多尺度信息的特征图，本方法将低层的分辨率较高的特征图重组成为长宽分辨率为原来四分之一，深度为原来4倍的特征图，然后将该特征图和高层分辨率一致的特征图在深度方向上进行连接，得到融合之后的特征图。
(2.3)将最终特征图分成各个S×S大小的网格，最终特征图的每个网格对应于红外图像I中也分成S×S后的区域，在每一个具有目标框的网格内随机生成 B个预测框，没有目标框的网格不生成预测框，B个预测框允许可以重叠，以目标框的中心点是否位于网格内判断网格内是否具有目标框，每一个预测框具有框标签[s,p,tx,ty,tθ,tw,th]，其中s表示预测框内存在电力设备的置信度，p表示预测框内存在电力设备情况下电力设备所属类别的概率分布，tθ表示预测框的倾斜角，tx,ty分别表示预测框中心点的x,y坐标，tw,th分表表示预测框的宽度和高度；
(2.4)在具有目标框的每个网格中，找到和目标框之间交叠率最大的预测框作为该网格的实际预测框；
(2.5)采用带动量SGD算法以实际预测框的框标签为训练对象进行迭代运算训练，使得每个网格内的实际预测框逐渐接近目标框，完成训练。
(3)将图像I及其对应的设备级标签输入到电力设备检测神经网络中，利用带动量(momentum)的SGD算法训练电力设备检测神经网络，获得电力设备检测神经网络的参数；
具体实施中，动量设置为0.9，一共迭代90000次，前30000次学习率为0.01，后60000次学习率为0.001.训练结束后，保存电力设备检测神经网络的参数。
(4)采用训练后的电力设备检测神经网络对未知设备级标签的待测图像进行处理获得电力设备检测结果。
具体实施中，将未知图像作为电力设备检测神经网络的输入，得到所有网格预测的预测框，采用非极大值抑制算法，当预测为相同类的两个预测框的交叠率大于0.4时，将置信度较小的预测框的置信度设置为0，置信度较大的预测框保留。最后，选择置信度大于0.2的预测框作为最终的预测结果。图2展示实施例一些电力设备检测结果。
图2中可见，左上角的子图表示输入一张包含电流互感器的红外图像，通过我们的模型能够对图中存在的3个电力互感器设备准确地定位。
右上角的子图表示输入一张包含避雷器的红外图像，通过我们的模型能够对图中存在的1个避雷器设备准备地定位。
左下角的子图表示输入一张电压互感器的红外图像，通过我们的模型能够对图中存在的1个电压互感器设备准确地定位。
右下角的子图表示输入一张包含断路器的红外图像，通过我们的模型能够对图中存在的3个断路器设备准确地定位。
本实施例最后在收集的红外图像电力设备数据集上进行测试，一共有电流互感器、电压互感器、避雷器、断路器共4种电力设备的类型。随机选取数据集的60％进行训练，剩下的40％进行测试。使用目标检测的标准评判准则AP 和mAP进行评测，表1给出了本方法在测试集上的AP和mAP值，其中mAP 的值为各个类别的AP值的平均。AP和mAP值越大，说明性能越好。
从上表中可以看到，本方法的mAP值达到了96，其中电流互感器和避雷器的AP值均不小于97。从测试结果可以显示本方法突出显著的技术效果。
Claims (6)
1.一种基于深度学习的红外图像电力设备实时检测方法，其特征是，包括如下步骤：
(1)采集多幅包含已知电力设备的红外图像I，每幅红外图像I均已标示目标框，目标框是含有单个已知电力设备的图像区域，每幅红外图像I均具有设备级标签，设备级标签为[ci,xi,yi,θi,wi,hi]，其中i表示目标框的序号，ci表示目标框内所包含设备的类别，xi,yi分别表示目标框中心点的x坐标和y坐标，θi,wi,hi分别表示目标框的倾斜角、宽度和高度；
(2)将图像I及其对应的设备级标签输入到电力设备检测神经网络中，利用带动量(momentum)的SGD算法训练电力设备检测神经网络；
(3)采用训练后的电力设备检测神经网络对未知待测图像进行处理，获得未知待测图像中电力设备的位置和种类的检测结果。
2.根据权利要求1所述的一种基于深度学习的实时的红外图像电力设备检测方法，其特征是：
所述步骤(2)中训练包括多尺度特征提取(Multi-scale feature extraction)步骤和多任务学习(Multi-task learning)步骤，红外图像I输入后，通过多尺度特征提取得到融合多尺度特征的特征图，在特征图中建立预测框，通过多任务学习进行处理使得预测框接近于目标框。
3.根据权利要求2所述的一种基于深度学习的红外图像电力设备实时检测方法，其特征是：所述步骤(2)具体为：
(2.1)将红外图像I进行多尺度处理，获得一系列不同尺度的特征图；
(2.2)取任一较低层的特征图进行重组处理使得图像大小为原来的四分之一并且深度为原来4倍，将重组处理后的较低层的特征图和较高层的特征图在深度方向上进行连接，得到融合之后的最终特征图，最终特征图再经过一次卷积操作之后作为多任务学习步骤的输入；
(2.3)将最终特征图分成各个S×S大小的网格，在每一个具有目标框的网格内随机生成B个预测框，每一个预测框具有框标签[s,p,tx,ty,tθ,tw,th]，其中s表示预测框内存在电力设备的置信度，p表示预测框内存在电力设备情况下电力设备所属类别的概率分布，tθ表示预测框的倾斜角，tx,ty分别表示预测框中心点的x,y坐标，tw,th分表表示预测框的宽度和高度；
(2.4)在具有目标框的每个网格中，找到和目标框之间交叠率最大的预测框作为该网格的实际预测框；
(2.5)采用带动量SGD算法以实际预测框的框标签为训练对象进行迭代运算训练，使得每个网格内的实际预测框逐渐接近目标框，完成训练。
4.根据权利要求3所述的一种基于深度学习的红外图像电力设备实时检测方法，其特征是：所述的步骤(2.5)的训练过程具体包括定位损失函数和分类损失函数：
L＝Lloc+Lcls
其中，L表示损失函数之和，Lloc表示定位损失函数，Lcls表示分类损失函数；
定位损失函数表示为：
<mfenced open = "" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>L</mi>
<mrow>
<mi>l</mi>
<mi>o</mi>
<mi>c</mi>
</mrow>
</msub>
<mo>=</mo>
<munderover>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msup>
<mi>S</mi>
<mn>2</mn>
</msup>
</munderover>
<munderover>
<mi>&Sigma;</mi>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>B</mi>
</munderover>
<msubsup>
<mi>I</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
<mrow>
<mi>o</mi>
<mi>b</mi>
<mi>j</mi>
</mrow>
</msubsup>
<msup>
<mrow>
<mo>(</mo>
<mrow>
<msub>
<mi>s</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mover>
<mi>s</mi>
<mo>^</mo>
</mover>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
</mrow>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>+</mo>
<msub>
<mi>&lambda;</mi>
<mrow>
<mi>n</mi>
<mi>o</mi>
<mi>o</mi>
<mi>b</mi>
<mi>j</mi>
</mrow>
</msub>
<munderover>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msup>
<mi>S</mi>
<mn>2</mn>
</msup>
</munderover>
<munderover>
<mi>&Sigma;</mi>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>B</mi>
</munderover>
<msubsup>
<mi>I</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
<mrow>
<mi>n</mi>
<mi>o</mi>
<mi>o</mi>
<mi>b</mi>
<mi>j</mi>
</mrow>
</msubsup>
<msup>
<mrow>
<mo>(</mo>
<mrow>
<msub>
<mi>s</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mover>
<mi>s</mi>
<mo>^</mo>
</mover>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
</mrow>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>+</mo>
<msub>
<mi>&lambda;</mi>
<mrow>
<mi>l</mi>
<mi>o</mi>
<mi>c</mi>
</mrow>
</msub>
<munderover>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msup>
<mi>S</mi>
<mn>2</mn>
</msup>
</munderover>
<munderover>
<mi>&Sigma;</mi>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>B</mi>
</munderover>
<msubsup>
<mi>I</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
<mrow>
<mi>o</mi>
<mi>b</mi>
<mi>j</mi>
</mrow>
</msubsup>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>t</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mover>
<mi>t</mi>
<mo>^</mo>
</mover>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
其中，表示第i个网格中第j个预测框是否是最接近预测框的指示函数，当第i个网格中第j个预测框是最接近预测框时指示函数为1，当第i个网格中第j个预测框不是最接近预测框时指示函数为0；
表示预测框中存在电力设备的置信度真值，表示目标框位置和角度参数的真实值，λnoobj表示不存在电力设备的网格的损失函数权重，λloc表示定位任务的损失函数权重；
表示第i个网格中第j个预测框是否非最接近预测框，当第i个网格中第j个预测框不是最接近预测框时指示函数为1，当第i个网格中第j个预测框是最接近预测框时指示函数为0；
sij表示第i个网格中第j个预测框的预测置信度，表示第i个网格中第j个预测框对应的真实置信度，当第i个网格中第j个预测框是最接近预测框时，为1，否则为0；
tij表示第i个网格中第j个预测框的预测位置和角度参数，表示第i个网格中第j个预测框对应的真实目标框的位置和角度参数，表示求L2范数计算；
分类损失函数表示为：
<mrow>
<msub>
<mi>L</mi>
<mrow>
<mi>c</mi>
<mi>l</mi>
<mi>s</mi>
</mrow>
</msub>
<mo>=</mo>
<msub>
<mi>&lambda;</mi>
<mrow>
<mi>c</mi>
<mi>l</mi>
<mi>s</mi>
</mrow>
</msub>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msup>
<mi>S</mi>
<mn>2</mn>
</msup>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>B</mi>
</munderover>
<msubsup>
<mn>1</mn>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
<mrow>
<mi>o</mi>
<mi>b</mi>
<mi>j</mi>
</mrow>
</msubsup>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>p</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mover>
<mi>p</mi>
<mo>^</mo>
</mover>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
</mrow>
其中，表示实际预测框所属类别的概率分布，λcls表示分类任务的损失函数权重；pij表示第i个网格中第j个预测框属于各个电力设备部件类别的预测的概率分布，表示第i个网格中第j个预测框属于各个电力设备部件类别真实的概率分布。
5.根据权利要求1所述的一种基于深度学习的红外图像电力设备实时检测方法，其特征是：所述步骤(3)具体为：将未知待测图像输入到电力设备检测神经网络中，在电力设备检测神经网络的输出端得到未知待测图像划分成各个S×S大小的网格、各个网格获得各自的预测框的结果；对所有的预测框进行非极大值抑制，根据置信度选择预测框作为最终的预测结果。
6.根据权利要求5所述的一种基于深度学习的红外图像电力设备实时检测方法，其特征是：所述的对所有的预测框进行非极大值抑制，根据置信度选择预测框作为最终的预测结果，具体是针对所有的预测框采用以下方式进行处理：
首先，对于属于同一电力设备部件类别的所有预测框，如果任意两个预测框的交叠率大于非极大值抑制交叠率阈值，则将置信度较小的预测框的置信度设置为0，置信度较大的预测框保留下来；
接着，保留下来的预测框用置信度阈值进行筛选，排除预测框的框标签中置信度小于置信度阈值的预测框，保留预测框的框标签中置信度大于等于置信度阈值的预测框。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710676658.8A CN107563412A (zh) | 2017-08-09 | 2017-08-09 | 一种基于深度学习的红外图像电力设备实时检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710676658.8A CN107563412A (zh) | 2017-08-09 | 2017-08-09 | 一种基于深度学习的红外图像电力设备实时检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107563412A true CN107563412A (zh) | 2018-01-09 |
Family
ID=60974379
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710676658.8A Pending CN107563412A (zh) | 2017-08-09 | 2017-08-09 | 一种基于深度学习的红外图像电力设备实时检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107563412A (zh) |
Cited By (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108205687A (zh) * | 2018-02-01 | 2018-06-26 | 通号通信信息集团有限公司 | 目标检测系统中基于关注点机制定位损失计算方法及系统 |
| CN108288055A (zh) * | 2018-03-14 | 2018-07-17 | 台州智必安科技有限责任公司 | 基于深度网络与分级测试的电力机车受电弓及电弧检测方法 |
| CN108647655A (zh) * | 2018-05-16 | 2018-10-12 | 北京工业大学 | 基于轻型卷积神经网络的低空航拍影像电力线异物检测方法 |
| CN108734225A (zh) * | 2018-06-08 | 2018-11-02 | 浙江大学 | 一种基于深度学习的输电线路施工物体图像检测方法 |
| CN108875819A (zh) * | 2018-06-08 | 2018-11-23 | 浙江大学 | 一种基于长短期记忆网络的物体和部件联合检测方法 |
| CN109101906A (zh) * | 2018-07-27 | 2018-12-28 | 中国南方电网有限责任公司超高压输电公司贵阳局 | 一种变电站电力设备红外图像异常实时检测方法及装置 |
| CN109241856A (zh) * | 2018-08-13 | 2019-01-18 | 浙江零跑科技有限公司 | 一种单目车载视觉系统立体目标检测方法 |
| CN109255320A (zh) * | 2018-09-03 | 2019-01-22 | 电子科技大学 | 一种改进的非极大值抑制方法 |
| CN109376580A (zh) * | 2018-08-30 | 2019-02-22 | 杭州电子科技大学 | 一种基于深度学习的电力塔架部件识别方法 |
| CN109446925A (zh) * | 2018-10-08 | 2019-03-08 | 中山大学 | 一种基于卷积神经网络的电力设备检测算法 |
| CN109784336A (zh) * | 2019-01-30 | 2019-05-21 | 云南电网有限责任公司电力科学研究院 | 一种基于yolo目标检测算法的红外图像故障点识别方法 |
| CN109916912A (zh) * | 2019-04-01 | 2019-06-21 | 北京通运腾达科技发展有限公司 | 一种铁轨扣件病害检测方法及系统 |
| CN109948613A (zh) * | 2019-03-22 | 2019-06-28 | 国网重庆市电力公司电力科学研究院 | 一种避雷器的红外图像识别方法及装置 |
| CN110008923A (zh) * | 2019-04-11 | 2019-07-12 | 网易有道信息技术（北京）有限公司 | 图像处理方法和训练方法、以及装置、介质、计算设备 |
| CN110288615A (zh) * | 2019-06-28 | 2019-09-27 | 浙江明峰智能医疗科技有限公司 | 一种基于深度学习的倾斜定位框定位方法 |
| CN110598736A (zh) * | 2019-08-06 | 2019-12-20 | 西安理工大学 | 一种电力设备红外图像故障定位、识别与预测方法 |
| CN111027480A (zh) * | 2019-12-10 | 2020-04-17 | 南方电网数字电网研究院有限公司 | 电力部件识别方法、装置和计算机设备 |
| CN111340059A (zh) * | 2018-12-19 | 2020-06-26 | 北京嘀嘀无限科技发展有限公司 | 图像特征提取方法、装置、电子设备及存储介质 |
| CN111337789A (zh) * | 2019-10-23 | 2020-06-26 | 西安科技大学 | 一种高压输电线路中故障电气元件检测方法及检测系统 |
| CN111523423A (zh) * | 2020-04-15 | 2020-08-11 | 四川赛康智能科技股份有限公司 | 一种电力设备识别方法及装置 |
| CN111524108A (zh) * | 2020-04-15 | 2020-08-11 | 四川赛康智能科技股份有限公司 | 一种变电站设备检测方法及设备 |
| CN111582257A (zh) * | 2019-02-15 | 2020-08-25 | 波音公司 | 用于对待检测对象进行检测的方法、装置及系统 |
| CN111709903A (zh) * | 2020-05-26 | 2020-09-25 | 中国科学院长春光学精密机械与物理研究所 | 一种红外与可见光图像融合方法 |
| CN111783941A (zh) * | 2020-06-07 | 2020-10-16 | 北京化工大学 | 一种基于概率置信度卷积神经网络的机械设备诊断分类方法 |
| CN111948501A (zh) * | 2020-08-05 | 2020-11-17 | 广州市赛皓达智能科技有限公司 | 一种用于电网运行的自动巡检设备 |
| CN112199993A (zh) * | 2020-09-01 | 2021-01-08 | 广西大学 | 基于人工智能识别任意方向变电站绝缘子红外图像检测模型的方法 |
| CN112488230A (zh) * | 2020-12-07 | 2021-03-12 | 中国农业大学 | 基于机器学习的作物水分胁迫程度判定方法和装置 |
| WO2023092759A1 (zh) * | 2021-11-25 | 2023-06-01 | 浙江天铂云科光电股份有限公司 | 基于温度视觉的智能检测方法、装置及电子设备 |
| CN116229369A (zh) * | 2023-03-03 | 2023-06-06 | 嘉洋智慧安全科技(北京)股份有限公司 | 人流量的检测方法、装置、设备及计算机可读存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW366428B (en) * | 1998-07-06 | 1999-08-11 | Inst Information Industry | Method of testing failing circuits by using image characteristics |
| CN106291339A (zh) * | 2015-05-20 | 2017-01-04 | 国网上海市电力公司 | 一种基于人工神经网络的断路器故障诊断专家系统 |
| CN106556781A (zh) * | 2016-11-10 | 2017-04-05 | 华乘电气科技（上海）股份有限公司 | 基于深度学习的局部放电缺陷图像诊断方法及系统 |
-
2017
- 2017-08-09 CN CN201710676658.8A patent/CN107563412A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW366428B (en) * | 1998-07-06 | 1999-08-11 | Inst Information Industry | Method of testing failing circuits by using image characteristics |
| CN106291339A (zh) * | 2015-05-20 | 2017-01-04 | 国网上海市电力公司 | 一种基于人工神经网络的断路器故障诊断专家系统 |
| CN106556781A (zh) * | 2016-11-10 | 2017-04-05 | 华乘电气科技（上海）股份有限公司 | 基于深度学习的局部放电缺陷图像诊断方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| JOSEPH REDMON等: "YOLO9000:Better,Faster,Stronger", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
| JOSEPH REDMON等: "You Only Look Once: unified ，real-time object detection", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
Cited By (44)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108205687A (zh) * | 2018-02-01 | 2018-06-26 | 通号通信信息集团有限公司 | 目标检测系统中基于关注点机制定位损失计算方法及系统 |
| CN108205687B (zh) * | 2018-02-01 | 2022-04-01 | 通号通信信息集团有限公司 | 目标检测系统中基于注意力机制定位损失计算方法及系统 |
| CN108288055B (zh) * | 2018-03-14 | 2020-09-22 | 台州智必安科技有限责任公司 | 基于深度网络与分级测试的电力机车受电弓及电弧检测方法 |
| CN108288055A (zh) * | 2018-03-14 | 2018-07-17 | 台州智必安科技有限责任公司 | 基于深度网络与分级测试的电力机车受电弓及电弧检测方法 |
| CN108647655A (zh) * | 2018-05-16 | 2018-10-12 | 北京工业大学 | 基于轻型卷积神经网络的低空航拍影像电力线异物检测方法 |
| CN108647655B (zh) * | 2018-05-16 | 2022-07-12 | 北京工业大学 | 基于轻型卷积神经网络的低空航拍影像电力线异物检测方法 |
| CN108734225A (zh) * | 2018-06-08 | 2018-11-02 | 浙江大学 | 一种基于深度学习的输电线路施工物体图像检测方法 |
| CN108875819A (zh) * | 2018-06-08 | 2018-11-23 | 浙江大学 | 一种基于长短期记忆网络的物体和部件联合检测方法 |
| CN108875819B (zh) * | 2018-06-08 | 2020-10-27 | 浙江大学 | 一种基于长短期记忆网络的物体和部件联合检测方法 |
| CN109101906A (zh) * | 2018-07-27 | 2018-12-28 | 中国南方电网有限责任公司超高压输电公司贵阳局 | 一种变电站电力设备红外图像异常实时检测方法及装置 |
| CN109241856A (zh) * | 2018-08-13 | 2019-01-18 | 浙江零跑科技有限公司 | 一种单目车载视觉系统立体目标检测方法 |
| CN109376580B (zh) * | 2018-08-30 | 2022-05-20 | 杭州电子科技大学 | 一种基于深度学习的电力塔架部件识别方法 |
| CN109376580A (zh) * | 2018-08-30 | 2019-02-22 | 杭州电子科技大学 | 一种基于深度学习的电力塔架部件识别方法 |
| CN109255320A (zh) * | 2018-09-03 | 2019-01-22 | 电子科技大学 | 一种改进的非极大值抑制方法 |
| CN109255320B (zh) * | 2018-09-03 | 2020-09-25 | 电子科技大学 | 一种改进的非极大值抑制方法 |
| CN109446925A (zh) * | 2018-10-08 | 2019-03-08 | 中山大学 | 一种基于卷积神经网络的电力设备检测算法 |
| CN111340059A (zh) * | 2018-12-19 | 2020-06-26 | 北京嘀嘀无限科技发展有限公司 | 图像特征提取方法、装置、电子设备及存储介质 |
| CN109784336A (zh) * | 2019-01-30 | 2019-05-21 | 云南电网有限责任公司电力科学研究院 | 一种基于yolo目标检测算法的红外图像故障点识别方法 |
| CN111582257A (zh) * | 2019-02-15 | 2020-08-25 | 波音公司 | 用于对待检测对象进行检测的方法、装置及系统 |
| CN109948613A (zh) * | 2019-03-22 | 2019-06-28 | 国网重庆市电力公司电力科学研究院 | 一种避雷器的红外图像识别方法及装置 |
| CN109916912A (zh) * | 2019-04-01 | 2019-06-21 | 北京通运腾达科技发展有限公司 | 一种铁轨扣件病害检测方法及系统 |
| CN110008923A (zh) * | 2019-04-11 | 2019-07-12 | 网易有道信息技术（北京）有限公司 | 图像处理方法和训练方法、以及装置、介质、计算设备 |
| CN110008923B (zh) * | 2019-04-11 | 2021-07-27 | 网易有道信息技术（北京）有限公司 | 图像处理方法和训练方法、以及装置、介质、计算设备 |
| CN110288615B (zh) * | 2019-06-28 | 2020-11-13 | 浙江明峰智能医疗科技有限公司 | 一种基于深度学习的倾斜定位框定位方法 |
| CN110288615A (zh) * | 2019-06-28 | 2019-09-27 | 浙江明峰智能医疗科技有限公司 | 一种基于深度学习的倾斜定位框定位方法 |
| CN110598736B (zh) * | 2019-08-06 | 2022-12-20 | 西安理工大学 | 一种电力设备红外图像故障定位、识别与预测方法 |
| CN110598736A (zh) * | 2019-08-06 | 2019-12-20 | 西安理工大学 | 一种电力设备红外图像故障定位、识别与预测方法 |
| CN111337789A (zh) * | 2019-10-23 | 2020-06-26 | 西安科技大学 | 一种高压输电线路中故障电气元件检测方法及检测系统 |
| CN111027480A (zh) * | 2019-12-10 | 2020-04-17 | 南方电网数字电网研究院有限公司 | 电力部件识别方法、装置和计算机设备 |
| CN111524108A (zh) * | 2020-04-15 | 2020-08-11 | 四川赛康智能科技股份有限公司 | 一种变电站设备检测方法及设备 |
| CN111523423A (zh) * | 2020-04-15 | 2020-08-11 | 四川赛康智能科技股份有限公司 | 一种电力设备识别方法及装置 |
| CN111523423B (zh) * | 2020-04-15 | 2023-08-08 | 四川赛康智能科技股份有限公司 | 一种电力设备识别方法及装置 |
| CN111709903B (zh) * | 2020-05-26 | 2022-08-19 | 中国科学院长春光学精密机械与物理研究所 | 一种红外与可见光图像融合方法 |
| CN111709903A (zh) * | 2020-05-26 | 2020-09-25 | 中国科学院长春光学精密机械与物理研究所 | 一种红外与可见光图像融合方法 |
| CN111783941A (zh) * | 2020-06-07 | 2020-10-16 | 北京化工大学 | 一种基于概率置信度卷积神经网络的机械设备诊断分类方法 |
| CN111783941B (zh) * | 2020-06-07 | 2024-03-29 | 北京化工大学 | 一种基于概率置信度卷积神经网络的机械设备诊断分类方法 |
| CN111948501A (zh) * | 2020-08-05 | 2020-11-17 | 广州市赛皓达智能科技有限公司 | 一种用于电网运行的自动巡检设备 |
| CN111948501B (zh) * | 2020-08-05 | 2022-12-13 | 广州市赛皓达智能科技有限公司 | 一种用于电网运行的自动巡检设备 |
| CN112199993A (zh) * | 2020-09-01 | 2021-01-08 | 广西大学 | 基于人工智能识别任意方向变电站绝缘子红外图像检测模型的方法 |
| CN112199993B (zh) * | 2020-09-01 | 2022-08-09 | 广西大学 | 基于人工智能识别任意方向变电站绝缘子红外图像检测模型的方法 |
| CN112488230A (zh) * | 2020-12-07 | 2021-03-12 | 中国农业大学 | 基于机器学习的作物水分胁迫程度判定方法和装置 |
| WO2023092759A1 (zh) * | 2021-11-25 | 2023-06-01 | 浙江天铂云科光电股份有限公司 | 基于温度视觉的智能检测方法、装置及电子设备 |
| CN116229369A (zh) * | 2023-03-03 | 2023-06-06 | 嘉洋智慧安全科技(北京)股份有限公司 | 人流量的检测方法、装置、设备及计算机可读存储介质 |
| CN116229369B (zh) * | 2023-03-03 | 2024-06-28 | 嘉洋智慧安全科技(北京)股份有限公司 | 人流量的检测方法、装置、设备及计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107563412A (zh) | 一种基于深度学习的红外图像电力设备实时检测方法 | |
| CN107742093B (zh) | 一种红外图像电力设备部件实时检测方法、服务器及系统 | |
| CN111784685B (zh) | 一种基于云边协同检测的输电线路缺陷图像识别方法 | |
| CN112819804B (zh) | 一种基于改进YOLOv5卷积神经网络的绝缘子缺陷检测方法 | |
| CN115731164A (zh) | 基于改进YOLOv7的绝缘子缺陷检测方法 | |
| CN109446925A (zh) | 一种基于卷积神经网络的电力设备检测算法 | |
| CN109376768B (zh) | 一种基于深度学习的航拍图像杆塔标识牌故障诊断方法 | |
| CN111598843B (zh) | 基于深度学习的电力变压器呼吸器目标缺陷检测方法 | |
| CN108710913A (zh) | 一种基于深度学习的开关柜图像开关状态自动识别方法 | |
| CN108038846A (zh) | 基于多层卷积神经网络的输电线路设备图像缺陷检测方法及系统 | |
| CN107871134A (zh) | 一种人脸检测方法及装置 | |
| CN108052946A (zh) | 一种基于卷积神经网络的高压机柜开关自动识别方法 | |
| CN111046767B (zh) | 一种基于单目图像的3d目标检测方法 | |
| CN111242144B (zh) | 电网设备异常的检测方法和装置 | |
| CN112183667A (zh) | 一种协同深度学习的绝缘子故障检测方法 | |
| CN109815800A (zh) | 基于回归算法的目标检测方法及系统 | |
| CN115294473A (zh) | 一种基于目标检测与实例分割的绝缘子故障识别方法及系统 | |
| CN110390261A (zh) | 目标检测方法、装置、计算机可读存储介质及电子设备 | |
| CN109829881A (zh) | 基于深度学习的鸟巢检测方法及系统 | |
| CN109815798A (zh) | 无人机图像处理方法及系统 | |
| Wiratmoko et al. | Design of potholes detection as road’s feasibility data information using convolutional neural network (CNN) | |
| CN109785288A (zh) | 基于深度学习的输电设备缺陷检测方法及系统 | |
| CN110992307A (zh) | 基于yolo的绝缘子定位识别方法及装置 | |
| CN111540203B (zh) | 基于Faster-RCNN调节绿灯通行时间的方法 | |
| CN107818563A (zh) | 一种输电线路分裂导线间距空间测量与定位方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180109 |
|
| WD01 | Invention patent application deemed withdrawn after publication |