CN115410024A - 一种基于动态激活热力图的电力图像缺陷检测方法 - Google Patents
一种基于动态激活热力图的电力图像缺陷检测方法 Download PDFInfo
- Publication number
- CN115410024A CN115410024A CN202210584812.XA CN202210584812A CN115410024A CN 115410024 A CN115410024 A CN 115410024A CN 202210584812 A CN202210584812 A CN 202210584812A CN 115410024 A CN115410024 A CN 115410024A
- Authority
- CN
- China
- Prior art keywords
- image
- thermodynamic diagram
- diagram
- activation
- defect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开基于动态激活热力图的电力图像缺陷检测方法,包括以下步骤:1、电力正常/缺陷图像的收集与预处理,划分训练集、验证集和测试集2、通过基于CNN结构的网络将电力图像样本映射到深度特征空间;3、选定目标层,生成粗糙激活热力图;4、对粗糙激活热力图进行归一化操作,并下采样到与步骤2中的深度特征图相同的尺寸,得到等效软性掩膜图;5、将等效软性掩膜图叠加于深度特征图,然后输入全局平均池化层与全连接网络层进行分类;6、进行模型训练迭代,动态更新等效软性掩膜图,获取最终激活热力图;7、在测试集上进行缺陷类别识别,将最终激活热力图双线性上采样到与输入图像相同的尺寸,与原图叠加,得到缺陷在图中的准确定位。
Description
技术领域
本发明属于机器学习与图像分类技术领域,具体涉及一种基于动态激活热力图的电力图像缺陷检测方法。
背景技术
电力设备的各种缺陷是影响电网平稳运行的重要因素,设备缺陷若未能得到重视,可能演变成安全事故,给生产生活带来重大的损失,因此,快速准确地进行设备缺陷检测在提升电网可靠性、供电质量、运维水平等方面具有重要意义。传统的检测方法大多是依赖人工巡检,需要耗费大量的人力和时间成本,人工巡检还存在周期长、效率低等问题。
近年来,随着无人机技术在输变电巡检应用的成熟,利用无人机巡检可见光图像与基于深度学习的图像识别技术对电力设备进行检测是未来一段时间内必然的发展趋势,该检测方法具有灵活性强、危险性低等方面的特征,能够大幅度提升电力设备缺陷检测的效率。专利号为202110684066.7的中国专利“一种基于AI深度学习的多功能电力图像智能分析装置”,具体公开了包括图像采集模块、图像降噪模块、图像预处理模块、区域生长模块、灰度映射增强对比度模块、目标图像识别模块、图像特征提取与识别模块、设备识别模块、对比分析模块等功能模块的装置,该装置既能提高电力图像的对比度,还能有效保护电力图像的边缘信息和细节信息,对采集的图像进行增强,改善图像的质量,提高电力图像的识别准确度。但是,在无人机或机器人巡检过程中,拍摄时间、角度、距离的多样性增大了设备图像缺陷检测的难度,使得现有基于深度学习的电力图像缺陷检测方法对小目标、隐蔽目标缺陷的识别精度较低;同时,已有的特征可视化方法主要是针对测试阶段网络进行内部分析,并未探究模型训练状态下特征空间的动态可解释性。
发明内容
本发明提供一种基于动态激活热力图的电力图像缺陷检测方法,以解决现有电力图像缺陷检测方法不具备模型训练下特征空间的动态可解释性、对于小目标、隐蔽目标缺陷的识别精度较低的问题。
本发明的技术方案如下:
一种基于动态激活热力图的电力图像缺陷检测方法,包括以下步骤:
S1、进行电力设备正常图像与缺陷图像的收集,将所有图像进行数据预处理,并划分训练集、验证集与测试集;
S2、搭建特征提取网络,将S1中获取的电力图像的训练集样本映射到深度特征空间,并得到深度特征图;
S3、在S2搭建的特征提取网络中选定一个目标层,利用cam技术计算该目标层上空间维度上的权重贡献分布,生成粗糙激活热力图;
S4、对经过S3生成的粗糙激活热力图进行归一化操作,并下采样到与步骤 S2中的深度特征图相同的尺寸,得到等效软性掩膜图;
S5、将S4中的等效软性掩膜图叠加于S2中的深度特征图,实现缺陷关联有效信息的增强与冗余信息的过滤,然后输入全局平均池化层与全连接网络层进行分类;
S6、进行模型训练迭代,重复S2至S5,动态地更新等效软性掩膜图,选取最佳模型并获得最终激活热力图;
S7、在经过S1划分的测试集上进行缺陷类别识别,将测试集样本输入步骤S7中的最佳模型中,得到缺陷分类结果预测;将S6中的最终激活热力图经双线性上采样到与输入图像相同的尺寸,与电力设备样本图像进行叠加,得到图中缺陷的准确定位信息。
进一步的,所述步骤S2中搭建的特征提取网络为经典的CNN结构网络。
进一步的,所述步骤S3中cam技术为grad-cam及其衍生技术。
进一步的,所述步骤S3中利用cam技术生成粗糙激活热力图的具体步骤为:
S31、根据样本缺陷大小在原图中比例选取目标层;
进一步的,所述步骤S4中对粗糙激活热力图进行归一化操作包括以下步骤:
S42、并下采样到与所述步骤2中的深度特征图fea相同的尺寸,得到等效软性掩膜图,具体为其中,sizecam、sizefea分别为归一化后的热力图的长或宽、深度特征图的长或宽,r为下采样的倍率, avgpooling为平均池化操作。
进一步的,所述步骤S4中等效软性掩膜图叠加于深度特征图,即将等效软性掩膜图与深度特征图进行逐元素相乘后获得增强特征其中,为元素相乘操作;将结果输入全局平均池化层与全连接网络层进行分类,得到预测结果pred;具体为pred=Softax(FC(GAP(fea)),其中,FC为全连接层操作,GAP为全局平均池化操作。
本发明具有如下有益效果:
1、首先,利用基于卷积网络的图像分类方法中最重要的操作为卷积和池化;但是,现有技术中卷积操作由于其自身的局限性,其原理本身没有从信息论和稀疏表达的角度来考量计算量,存在计算量较大的问题,因而需要引入信息的筛选手段;而池化操作中为了达成图片尺寸变小的目的,池化操作进行了强制的下采样,造成信息丢失率较高,容易发生小尺度目标漏检的情况。其次,现有技术的图像分类方法只能判断出缺陷的类别,其结构的局限性使得其无法得到缺陷在原图像中的定位,而Cam技术作为一种特征可视化手段,目前在图像分类问题上的应用场景基本上都是对完成训练后的模型进行特征可视化,均属于静态的、一次性的技术操作;因此,本发明首次将类别激活热力图(cam)融合进分类模型的每一轮训练中,根据缺陷识别关联度对深度特征图进行任务相关信息的增强以及冗余信息的过滤,辅助训练过程,提供了训练状态下特征空间的动态可解释性,同时也提升了模型对难样本的识别精度;
2、本发明中提出等效软性掩模图,能够根据缺陷识别关联度对深度特征图进行任务相关信息的增强以及冗余信息的过滤,更适应于小目标、隐蔽目标的缺陷挖掘,增强无人机巡检可见光图像的可用性,提高了电力设备缺陷的识别精度。
附图说明
图1为本发明中基于动态激活热力图的电力图像缺陷检测方法的流程图。
具体实施方式
下面结合附图和具体实施例来对本发明进行详细的说明。
参见图1,一种基于动态激活热力图的电力图像缺陷检测方法,将类别激活热力图融合进分类模型的每一轮训练中,根据缺陷识别关联度对深度特征图进行任务相关信息的增强以及冗余信息的过滤,辅助训练过程,提供了训练状态下特征空间的动态可解释性,同时也提升了模型对难样本的识别精度,所述检测方法具体包括以下步骤:
S1、进行电力设备正常图像与缺陷图像的收集,将所有图像进行数据预处理,并划分训练集、验证集与测试集;对所有图像进行数据预处理主要为对图形进行标准化处理,其中,其中,μ为像素均值,x为图像像素矩阵,σ为标准方差,N为图像的像素数量;
S2、搭建特征提取网络,特征提取网络为基于CNN结构的网络,可以为 AlexNet、VGG、ResNet、InceptionNet等经典CNN结构网络,将S1中获取的电力图像的训练集样本映射到深度特征空间,并得到深度特征图fea;本实施例中以VGG-16网络为例,但本发明的技术方案不限于VGG-16,具体网络结构依次为,①两层卷积层加一层最大池化层→②两层卷积层加一层最大池化层→③三层卷积层加一层最大池化层→④三层卷积层加一层池化层→⑤三层卷积层加一层池化层,其中,所有卷积层均使用二维卷积;设置网络参数如下:①两层卷积层的卷积核大小为3×3,卷积核数量为64;②两层卷积层的卷积核大小为 3×3,卷积核数量为128;③三层卷积层的卷积核大小为3×3,卷积核数量为 256;④三层卷积层的卷积核大小为3×3,卷积核数量为512;⑤三层卷积层的卷积核大小为3×3,卷积核数量为512;网络结构中所有的最大池化层的下采样因子均为2×2,步长均为[2,2];电力设备正常图像与缺陷图像经上述特征提取网络,得到形状为(512,7,7)的深度特征图fea;
S3、在S2搭建的特征提取网络中选定一个目标层,利用cam技术计算该目标层上空间维度上的权重贡献分布,生成粗糙激活热力图Camcoarse;cam技术为 grad-cam及其衍生技术,可以包括grad-cam、xgrad-cam或layer-cam等,本实施例中以grad-cam为例,但本发明的技术方案不限于grad-cam;
S4、对经过S3生成的粗糙激活热力图Camcoarse进行归一化操作,并下采样到与步骤S2中的深度特征图fea相同的尺寸,得到等效软性掩膜图Cov;
S5、将S4中的等效软性掩膜图Cov叠加于S2中的深度特征图fea,即将等效软性掩膜图Cov与深度特征图fea进行逐元素相乘后获得增强特征fea′,其中,为元素相乘操作,进而实现缺陷关联有效信息的增强与冗余信息的过滤,然后输入全局平均池化层与全连接网络层进行分类,得到预测结果pred,具体为pred=Softmax(FC(GAP(fea)),其中,FC为全连接层操作,GAP为全局平均池化操作;
S6、进行模型训练迭代,重复S2至S5,进而将cam类别激活热力图融合进分类模型的每一轮训练中,在每一轮的训练过程中,根据当前模型参数,动态地更新并记录S4中生成的等效软性掩膜图Cov;同时,选取验证集指标表现最佳的轮数,记录该轮模型参数,得到最佳模型modelbess,并将该轮的粗糙激活热力图作为最终激活热力图Camfinal;
S7、在经过S1划分的测试集上进行缺陷类别识别,将测试集样本输入步骤 S7中的最佳模型modelbess中,即使用测试集的数据重复进行步骤S1-S5,得到缺陷分类结果预测;将S6中的最终激活热力图Camfinal经双线性上采样到与输入图像相同的尺寸,与电力设备样本图像进行叠加,得到缺陷在图中的准确定位信息。
在本实施例中,利用grad-cam生成粗糙激活热力图Camcoarse的具体步骤为:
S31、不同于现有cam技术选取特征提取网络的最后一层卷积层作为目标层,本方法目标层Layertarget的选取取决于样本缺陷大小在原图中的比例;由于考虑到缺陷目标占原图像的比例大小,选用的是VGG-16第④结构的最后一层形状为(512,14,14)的卷积层;
S32、假定训练集样本k的类别标签为c,令模型进行前向传播与梯度反向传播,记录前向传播时目标层Layertarget的激活值以及c类别的模型得分反向传播到目标层Layertarget的梯度信息,得到神经元通道权重向量
其中,所述步骤S4中对粗糙激活热力图进行归一化操作包括以下步骤:
S42、并下采样到与所述步骤2中的深度特征图fea相同的尺寸,得到等效软性掩膜图Cov,具体为其中,sizecam、sizefea分别为Cam′coarse的长(或宽)、深度特征图fea的长(或宽),r为下采样的倍率,avgpooling 为平均池化操作。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (8)
1.一种基于动态激活热力图的电力图像缺陷检测方法,其特征在于,将类别激活热力图融合进分类模型的每一轮训练中,根据缺陷识别关联度对深度特征图进行任务相关信息的增强以及冗余信息的过滤,辅助训练过程,提供了训练状态下特征空间的动态可解释性,适用于小目标、隐蔽目标的缺陷挖掘和识别过程。
2.根据权利要求1所述的一种基于动态激活热力图的电力图像缺陷检测方法,其特征在于,包括以下步骤:
S1、进行电力设备正常图像与缺陷图像的收集,将所有图像进行数据预处理,并划分训练集、验证集与测试集;
S2、搭建特征提取网络,将S1中获取的电力图像的训练集样本映射到深度特征空间,并得到深度特征图;
S3、在S2搭建的特征提取网络中选定一个目标层,利用cam技术计算该目标层上空间维度上的权重贡献分布,生成粗糙激活热力图;
S4、对经过S3生成的粗糙激活热力图进行归一化操作,并下采样到与步骤S2中的深度特征图相同的尺寸,得到等效软性掩膜图;
S5、将S4中的等效软性掩膜图叠加于S2中的深度特征图,实现缺陷关联有效信息的增强与冗余信息的过滤,然后输入全局平均池化层与全连接网络层进行分类;
S6、进行模型训练迭代,重复S2至S5,动态地更新等效软性掩膜图,选取最佳模型并获得最终激活热力图;
S7、在经过S1划分的测试集上进行缺陷类别识别,将测试集样本输入步骤S6的最佳模型中,得到缺陷分类结果预测;将S6中的最终激活热力图经双线性上采样到与输入图像相同的尺寸,与电力设备样本图像进行叠加,得到图中缺陷的准确定位信息。
4.根据权利要求2所述的一种基于动态激活热力图的电力图像缺陷检测方法,其特征在于:所述步骤S2中搭建的特征提取网络为经典的CNN结构网络。
5.根据权利要求1所述的一种基于动态激活热力图的电力图像缺陷检测方法,其特征在于:所述步骤S3中cam技术为grad-cam及其衍生技术。
6.根据权利要求5所述的一种基于动态激活热力图的电力图像缺陷检测方法,其特征在于:所述步骤S3中利用cam技术生成粗糙激活热力图的具体步骤为:
S31、根据样本缺陷大小在原图中比例选取目标层;
S32、假定训练集样本k的类别标签为c,令模型进行前向传播与梯度反向传播,记录前向传播时目标层的激活值以及c类别的模型得分反向传播到目标层的梯度信息,得到神经元通道权重向量
7.根据权利要求2所述的一种基于动态激活热力图的电力图像缺陷检测方法,其特征在于:所述步骤S4中对粗糙激活热力图进行归一化操作包括以下步骤:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210584812.XA CN115410024A (zh) | 2022-05-27 | 2022-05-27 | 一种基于动态激活热力图的电力图像缺陷检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210584812.XA CN115410024A (zh) | 2022-05-27 | 2022-05-27 | 一种基于动态激活热力图的电力图像缺陷检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115410024A true CN115410024A (zh) | 2022-11-29 |
Family
ID=84157867
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210584812.XA Pending CN115410024A (zh) | 2022-05-27 | 2022-05-27 | 一种基于动态激活热力图的电力图像缺陷检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115410024A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116664839A (zh) * | 2023-05-31 | 2023-08-29 | 博衍科技(珠海)有限公司 | 一种弱监督半监督缺陷感知分割方法、装置及电子设备 |
CN117783769A (zh) * | 2024-02-28 | 2024-03-29 | 国网山西省电力公司太原供电公司 | 基于可视平台的配电网络故障定位方法、系统、设备及存储介质 |
-
2022
- 2022-05-27 CN CN202210584812.XA patent/CN115410024A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116664839A (zh) * | 2023-05-31 | 2023-08-29 | 博衍科技(珠海)有限公司 | 一种弱监督半监督缺陷感知分割方法、装置及电子设备 |
CN116664839B (zh) * | 2023-05-31 | 2024-02-13 | 博衍科技(珠海)有限公司 | 一种弱监督半监督缺陷感知分割方法、装置及电子设备 |
CN117783769A (zh) * | 2024-02-28 | 2024-03-29 | 国网山西省电力公司太原供电公司 | 基于可视平台的配电网络故障定位方法、系统、设备及存储介质 |
CN117783769B (zh) * | 2024-02-28 | 2024-05-10 | 国网山西省电力公司太原供电公司 | 基于可视平台的配电网络故障定位方法、系统、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110738697B (zh) | 基于深度学习的单目深度估计方法 | |
CN109446992B (zh) | 基于深度学习的遥感影像建筑物提取方法及系统、存储介质、电子设备 | |
CN108537742B (zh) | 一种基于生成对抗网络的遥感图像全色锐化方法 | |
CN110956126B (zh) | 一种联合超分辨率重建的小目标检测方法 | |
CN111340738B (zh) | 一种基于多尺度渐进融合的图像去雨方法 | |
CN111612008B (zh) | 基于卷积网络的图像分割方法 | |
CN113673590B (zh) | 基于多尺度沙漏密集连接网络的去雨方法、系统和介质 | |
CN115410024A (zh) | 一种基于动态激活热力图的电力图像缺陷检测方法 | |
CN112862774B (zh) | 一种遥感影像建筑物精确分割方法 | |
CN112488025B (zh) | 基于多模态特征融合的双时相遥感影像语义变化检测方法 | |
CN111222519B (zh) | 一种层次化彩绘文物线稿提取模型构建、方法及装置 | |
CN112529005B (zh) | 基于语义特征一致性监督金字塔网络的目标检测方法 | |
CN114419449A (zh) | 一种自注意力多尺度特征融合的遥感图像语义分割方法 | |
CN110659601B (zh) | 基于中心点的深度全卷积网络遥感图像密集车辆检测方法 | |
CN114511710A (zh) | 一种基于卷积神经网络的图像目标检测方法 | |
CN112801085A (zh) | 一种图像中文字的识别方法、装置、介质及电子设备 | |
CN111275694B (zh) | 一种注意力机制引导的递进式划分人体解析系统及方法 | |
CN115330703A (zh) | 基于上下文信息融合的遥感影像云与云阴影检测方法 | |
CN115829942A (zh) | 基于非负性约束稀疏自编码器的电子电路缺陷检测方法 | |
Zhou et al. | MSAR‐DefogNet: Lightweight cloud removal network for high resolution remote sensing images based on multi scale convolution | |
CN116503677B (zh) | 一种湿地分类信息提取方法、系统、电子设备及存储介质 | |
CN111612803B (zh) | 一种基于图像清晰度的车辆图像语义分割方法 | |
CN114757941A (zh) | 变电站设备缺陷的识别方法、装置、电子设备及存储介质 | |
CN115424091A (zh) | 一种基于SMCA-YOLOv5的轻量化军事目标检测方法 | |
Kim et al. | Tackling Structural Hallucination in Image Translation with Local Diffusion |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |