CN116128766A - 一种基于改进Retinex-Net的电力设备红外图像增强方法 - Google Patents

一种基于改进Retinex-Net的电力设备红外图像增强方法 Download PDF

Info

Publication number
CN116128766A
CN116128766A CN202310230330.9A CN202310230330A CN116128766A CN 116128766 A CN116128766 A CN 116128766A CN 202310230330 A CN202310230330 A CN 202310230330A CN 116128766 A CN116128766 A CN 116128766A
Authority
CN
China
Prior art keywords
image
net
enhanced
infrared image
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310230330.9A
Other languages
English (en)
Inventor
谢静
王天艺
刘志坚
杜耀文
龙志宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunming University of Science and Technology
Original Assignee
Kunming University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunming University of Science and Technology filed Critical Kunming University of Science and Technology
Priority to CN202310230330.9A priority Critical patent/CN116128766A/zh
Publication of CN116128766A publication Critical patent/CN116128766A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G06T5/90—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Abstract

本发明公开了一种基于改进Retinex‑Net的电力设备红外图像增强方法，属于图像处理与电力设备检测领域。本发明包括：对电力设备红外图像进行HSV色彩空间转换，获得H、S、V三通道分量；针对H、S、V三通道分量，基于改进Retinex‑Net网络，获得初步增强红外图像；对初步增强红外图像进行超像素分割和重构，获得最终增强红外图像。通过本发明的方法，不仅能够避免出现色彩失真和图像模糊、较好的保持图像边缘细节、降低不均匀光照的影响以及提高图像目标与背景的对比度，有效提高红外图像综合质量，还可以提高目标检测模型精度，为实现电力设备态势感知提供了有利条件，为后续电力设备故障诊断奠定了重要基础，对变电站实现智能化运维有较好的应用价值。

Description

一种基于改进Retinex-Net的电力设备红外图像增强方法
技术领域
本发明涉及一种基于改进Retinex-Net的电力设备红外图像增强方法，属于图像处理与电力设备检测领域。
背景技术
电力设备是电网的重要组成部分，其安全运行会直接影响整个电力系统的稳定。电力设备容易受到外界环境等因素的影响，导致设备发生故障，而异常发热引起的故障占绝大多数,必须通过及时检测电力设备的运行状态来预防设备缺陷引起的电网事故。
与传统检修方法相比，红外热成像技术具有非接触、操作简单、灵敏度高等优点，能够及时有效的发现设备异常发热缺陷。但由于变电站背景复杂，红外图像在采集过程中由于拍摄角度、无关设备遮挡、照明条件差等因素的干扰，导致电力设备红外图像整体视觉效果差、对比度较低、光照不均匀、目标特征细节不够清晰，增加了检测难度，无法有效区分检测设备与背景，影响设备红外图像自动识别精度，进一步影响设备态势感知的准确性，因此需要对电力设备红外图像尤其是低照度图像进行增强。
传统的低照度图像增强方法包含直方图均衡化法、灰度变换法、图像去雾法、基于Retinex理论法等，这些方法主要是针对低照度可见光图像的增强，能够提高图像整体对比度，解决了低照度图像可见度差、色彩偏差等问题，但由于图像背景复杂，未考虑图像的细节特征，其增强后的图像可能存在边缘特征模糊或目标特征细节丢失等问题，导致处理后的图像视觉效果较差。
随着人工智能技术的发展，基于机器学习技术的发展，低照度图像增强也实现了深度处理。例如黄淑英等在文章“基于生成对抗网络的图像去雾算法[J].模式识别与人工智能,2021,34(11):990-1003.”中结合深度学习技术，针对复杂场景去雾不彻底及颜色扭曲的问题提出一种基于生成对抗网络的图像去雾算法，全方面提取图像特征信息，最终去雾图像更接近对应的真实无雾图像。徐少平等在文章“采用深度学习与图像融合混合实现策略的低照度图像增强算法[J].电子学报,2021,49(01):72-76.”中基于深度学习采用局部结构化融合和色度加权融合技术对多幅待融合图像进行融合获得最终增强图像，该方法在局部图像结构细节上具有较好的边缘保持和颜色保真效果。江泽涛等在文章“一种基于U-Net生成对抗网络的低照度图像增强方法[J].电子学报,2020,48(02):258-264.”中为提升低照度图像的质量，利用U-Net生成对抗网络，提取低照度图像特征，并将其映射到正常照度图像上，选取差异较大的部分进行着重增强，该方法可以有效提高图像的亮度和对比度，对局部细节处理较好。欧嘉敏等在文章“改进Retinex-Net的低光照图像增强算法[J].模式识别与人工智能,2021,34(01):77-86.”中在Retinex-Net的基础上引入去噪损失和注意力机制模块，在增强图像亮度的同时减少颜色失真，而且有效降低增强图像的噪声。
分析上述方法可知，低照度图像增强方法主要用于可见光图像的识别，对电力设备低照度红外图像增强还需进一步研究。另一方面这些方法未考虑光照不均匀的情况，无法自适应增强不同亮度区域，导致图像对比度较差、亮度低和目标特征细节丢失的问题，降低了图像的综合质量，增加了图像目标检测的难度，影响电力设备故障的准确判断。
发明内容
本发明提供了一种基于改进Retinex-Net的电力设备红外图像增强方法，通过改变图像色彩空间，实现对图像亮度分量单独进行调整，避免出现色彩失真；通过改进Retinex-Net网络来解决图像模糊、目标细节丢失和光照不均匀的问题；最后通过超像素分割和重构来实现低照度红外图像最终增强的目的。
本发明的技术方案是：一种基于改进Retinex-Net的电力设备红外图像增强方法，包括：
S1、对电力设备红外图像进行HSV色彩空间转换，获得H、S、V三通道分量；
S2、针对H、S、V三通道分量，基于改进Retinex-Net网络，获得初步增强红外图像；
S3、对初步增强红外图像进行超像素分割和重构，获得最终增强红外图像。
所述S2，包括：
S2.1、针对V分量，基于传统Retinex-Net网络使用快速导向滤波平滑损失函数代替原网络的平滑损失函数，得到初步增强后的V分量；
S2.2、对初步增强后的V分量做校正以及融合处理得到增强后的V分量；
S2.3、将增强后的V分量与原始H、S分量进行通道合并，得到初步增强的红外图像。
还包括验证步骤S4，针对改进的Retinex-Net网络，通过设置三个模块分别进行验证分析，以传统Retinex-Net网络为基础设计实验：①将仅改进损失函数的网络，记作FR-Net；②将既改进损失函数，又添加校正调整的网络，记作FGR-Net；③在FGR-Net的基础上再添加融合模块，即改进Retinex-Net，通过定量评估指标，验证改进Retinex-Net的增强效果；然后对于最终增强方法，利用YOLO v3和SSD目标检测模型对检测效果进行验证。
所述S2.2，包括：对初步增强后的V分量做自适应Gamma校正以及基于VSM+WLS融合处理得到增强后的V分量。
所述自适应Gamma校正中，校正常数表达式为：
Figure BDA0004120102050000031
式中：γ为校正常数；I(x,y)表示图像某一点的灰度值；μ和σ分别表示图像灰度的均值和标准差；ε为亮度阈值。
首先利用每幅初步增强的V分量图像的灰度均值计算其光照系数并统计所有初步增强后的V分量的光照系数分布；然后计算所有初步增强后的V分量光照系数的平均值，并根据光照系数平均值得到光照分量中出现概率最高的像素均值，作为亮度阈值ε。
所述基于VSM+WLS融合处理，具体为：首先将原始V分量图像作为自适应Gamma校正后的V分量的补充图像；然后依次利用高斯滤波和迭代滤波估计校正后的V分量图像的基础层和细节层，通过VSM计算权重对校正后的V分量图像的基础层进行加权叠加，再利用WLS对校正后的V分量图像的每一层细节层进行叠加；最后将处理后的基础层和细节层进行融合重建得到增强后的V分量图像。
所述S3包括：首先采用基于MSRM和SEEDS超像素分割方法分割，获得最终分割的目标图像；然后利用多尺度混合式引导滤波算法进行重构得到最终增强的图像。
所述采用基于MSRM和SEEDS超像素分割方法分割出目标设备，具体为：首先通过SEEDS做超像素预分割，然后依据所提标记规则对分割出的超像素块进行标记划分，实现MSRM超像素合并，最后利用形态学法处理合并后的超像素得到最终分割的目标图像。
所述对于分割出的设备利用多尺度混合式引导滤波算法对提取的目标设备进行重构得到最终增强的图像，具体为：依据初步增强的红外图像、最终分割的目标图像，首先通过多尺度RGF分解出图像细节层和基础层，并利用滤波获得显著图和权重图，然后使用加权融合方法融合权重图、基础层和细节层，得到融合的基础层SB和融合的细节层SD，最后对SD做全局细节增强，获得增强后的SD；依据融合的基础层SB和增强后的SD，得到最终的融合结果S，作为最终增强红外图像。
本发明的有益效果是：
(1)利用HSV色彩空间各通道的相互独立性，将低照度红外图像转换至HSV空间，能够保证在增强图像亮度的同时不会引起颜色产生明显的偏移和畸变。
(2)使用快速导向滤波平滑损失函数具有实时性，有效保持图像边缘；通过构造自适应Gamma校正函数，解决了不同亮度区域增强效果差的问题，同时采用VSM和WLS融合算法融合图像亮度分量，避免校正过程中可能会带来目标部分细节丢失、图像模糊的问题，提高V分量图像质量。
(3)基于MSRM和SEEDS的超像素分割及多尺度混合式引导滤波重构方法，能够在避免颜色失真的前提下进一步提高图像目标与背景的对比度，较清晰完整的保留了图像特征细节。
综上，通过本发明的方法，不仅能够避免出现色彩失真和图像模糊、较好的保持图像边缘细节、降低不均匀光照的影响以及提高图像目标与背景的对比度，有效提高红外图像综合质量，还可以提高目标检测模型精度，为实现电力设备态势感知提供了有利条件，为后续电力设备故障诊断奠定了重要基础，对变电站实现智能化运维有较好的应用价值。
附图说明
图1为本发明整体流程图；
图2为本发明原始Retinex-Net网络结构；
图3为本发明改进Retinex-Net网络整体框架图；
图4为本发明超像素分割和重构流程图。
具体实施方式
下面结合附图和实施例，对发明做进一步的说明，但本发明的内容并不限于所述范围。
实施例1：如图1-4所示，根据本发明实施例的一方面，提供了一种基于改进Retinex-Net的电力设备红外图像增强方法，包括：
S1、对电力设备红外图像进行HSV色彩空间转换，获得H、S、V三通道分量；
S2、针对H、S、V三通道分量，基于改进Retinex-Net网络，获得初步增强红外图像；
S3、对初步增强红外图像进行超像素分割和重构，获得最终增强红外图像。
进一步地，所述S2，包括：
S2.1、针对V分量，基于传统Retinex-Net网络使用快速导向滤波平滑损失函数代替原网络的平滑损失函数，得到初步增强后的V分量；其中，传统Retinex-Net网络如图2所示；
S2.2、对初步增强后的V分量做校正以及融合处理得到增强后的V分量；
S2.3、将增强后的V分量与原始H、S分量进行通道合并，得到初步增强的红外图像。
进一步地，还包括验证步骤S4，针对改进的Retinex-Net网络，通过设置三个模块分别进行验证分析，以传统Retinex-Net网络为基础设计实验：①将仅改进损失函数的网络，记作FR-Net；②将既改进损失函数，又添加校正调整的网络，记作FGR-Net；③在FGR-Net的基础上再添加融合模块，即改进Retinex-Net，通过定量评估指标，验证改进Retinex-Net的增强效果；然后对于最终增强方法，利用YOLO v3和SSD目标检测模型对检测效果进行验证。
进一步地，所述S2.2，包括：对初步增强后的V分量做自适应Gamma校正以及基于VSM+WLS融合处理得到增强后的V分量。
所述自适应Gamma校正中，校正常数表达式为：
Figure BDA0004120102050000051
式中：γ为校正常数；I(x,y)表示图像某一点的灰度值；μ和σ分别表示图像灰度的均值和标准差；ε为亮度阈值。
进一步地，首先利用每幅初步增强的V分量图像的灰度均值计算其光照系数并统计所有初步增强后的V分量的光照系数分布；然后计算所有初步增强后的V分量光照系数的平均值，并根据光照系数平均值得到光照分量中出现概率最高的像素均值，作为亮度阈值ε。
进一步地，所述基于VSM+WLS融合处理，具体为：首先将原始V分量图像作为自适应Gamma校正后的V分量的补充图像；然后依次利用高斯滤波和迭代滤波估计校正后的V分量图像的基础层和细节层，通过VSM计算权重对校正后的V分量图像的基础层进行加权叠加，再利用WLS对校正后的V分量图像的每一层细节层进行叠加；最后将处理后的基础层和细节层进行融合重建得到增强后的V分量图像。
如图3所示，在模型改进部分，改进模型的损失函数函数，并为模型添加自适应Gamma编码和V分量融合模块。首先利用HSV空间各通道的相互独立性将红外图像转换至HSV色彩空间，便于调整图像V分量，然后使用快速导向滤波平滑损失函数代替原网络的平滑损失函数，同时利用no flash/flash降噪法，在保持图像边缘的同时有效去除噪声的干扰，并引入自适应Gamma函数对V分量图像的亮度分区域进行调整，降低不均匀光照的影响，同时基于VSM和WLS融合方法融合图像V分量得到初步增强的红外图像I，避免目标细节丢失，提升图像质量、同时有效抑制色彩失真现象发生。
进一步地，如图4所示，所述S3包括：首先采用MSRM和SEEDS的超像素分割方法提取初步增强的低照度红外图像I中的感兴趣目标P，然后再通过基于混合式引导滤波的多尺度红外图像融合方法对提取的目标图像进行重构得到最终的增强图像S。
进一步地，所述采用基于MSRM和SEEDS超像素分割方法分割出目标设备，具体为：首先通过SEEDS做超像素预分割，然后依据所提标记规则对分割出的超像素块进行标记划分，实现MSRM超像素合并，最后利用形态学法处理合并后的超像素得到最终分割的目标图像。
进一步地，所述对于分割出的设备利用多尺度混合式引导滤波算法对提取的目标设备进行重构得到最终增强的图像，具体为：依据初步增强的红外图像、最终分割的目标图像，首先通过多尺度RGF分解出图像细节层和基础层，并利用滤波获得显著图和权重图，然后使用加权融合方法融合权重图、基础层和细节层，得到融合的基础层SB和融合的细节层SD，最后对SD做全局细节增强，获得增强后的SD；依据融合的基础层SB和增强后的SD，得到最终的融合结果S，作为最终增强红外图像。
再进一步地，对本发明一种可选地具体实施方式说明如下：
步骤1、收集的红外图像数据为正常照度，利用曲线-色阶原理随机调整图像局部亮度，构建了2239张低照度的电力设备红外图像，作为电力设备红外图像数据集；将电力设备红外图像数据集按8:2划分成训练集和测试集。
步骤2、通过python程序将低照度的电力设备红外图像数据集转换至HSV色彩空间，并分离出H、S、V三通道分量。
步骤3、针对V分量，基于传统Retinex-Net网络使用快速导向滤波平滑损失函数代替原网络的平滑损失函数，得到初步增强后的V分量，能够保持图像边缘细节；
传统Retinex-Net网络平滑损失函数为Ls，改进后的平滑损失为
Figure BDA0004120102050000068
那么改进后网络分解模型损失函数LDecom包括重建损失Lrecon、反射分量一致性损失Lr和入射分量平滑损失
Figure BDA0004120102050000069
增强模型损失函数LEnhance包括重建损失Lrecon和入射分量平滑损失
Figure BDA00041201020500000610
则改进后网络分解模型损失函数为：
Figure BDA0004120102050000061
Figure BDA0004120102050000062
Figure BDA0004120102050000063
Figure BDA0004120102050000064
Lr＝||Rlow-Rnormal||1
Figure BDA0004120102050000065
Figure BDA0004120102050000066
Figure BDA0004120102050000067
式中，i、j表示图像亮度是低照度low还是正常照度normal；Ri表示不同照度图像的反射分量，Ij表示不同照度图像的入射分量，Sj表示不同照度的源图像；‖‖1表示1范数；λr和λs表示平衡反射一致性和入射平滑性的系数；
Figure BDA0004120102050000071
为包含水平和垂直方向的梯度；λg表示平滑结构感知强度系数；l和p分别表示引导图像和待滤波图像，在本节中两者为同一图像；k为窗口中心，ωk表示以r为半径的局部矩形滤波窗口；ak和bk为线性函数的常量系数；
Figure BDA0004120102050000072
为正则化参数避免ak过大；σk 2为引导图像l在ωk内的方差；
Figure BDA0004120102050000073
为待滤波图像在ωk内的均值。
步骤4、对初步增强后的V分量做自适应Gamma校正以及基于VSM+WLS融合处理得到增强后的V分量；
所述自适应Gamma校正时，为降低校正常数γ值选取的随机性所带来的影响，构造了一个自适应Gamma校正函数，首先利用每幅初步增强的V分量图像的灰度均值m计算其光照系数β并统计所有初步增强后的V分量的光照系数分布；然后计算所有初步增强后的V分量光照系数的平均值，并根据光照系数平均值得到光照分量中出现概率最高的像素均值ε(将光照系数平均值*255作为像素均值ε)；因此设定亮度阈值为ε来区分低/高对比度区域；最后为低/高对比度区域分别设计Gamma校正常数γ，对初步增强后的目标图像V分量进行Gamma校正，实现图像不同对比度区域的自适应校正，提高V分量的整体亮度和对比度，自适应Gamma函数为：
Figure BDA0004120102050000074
Figure BDA0004120102050000075
Figure BDA0004120102050000076
式中，Vin、Vout分别表示输入的初步增强的V分量图像和Gamma校正后的输出V分量，Vin,max表示输入的初步增强的V分量的最大灰度值；γ为校正常数；I(x,y)表示图像某一点的灰度值；μ和σ分别表示图像灰度的均值和标准差。
步骤5、将增强后的V分量与原始H、S分量进行通道合并，得到初步增强的红外图像；
首先将低照度红外图像本身的原始V分量图像作为自适应Gamma校正后的V分量的补充图像；然后依次利用高斯滤波和迭代滤波估计校正后的V分量图像的基础层和细节层，通过VSM计算权重对校正后的V分量图像的基础层进行加权叠加，再利用WLS对校正后的V分量图像的每一层细节层进行叠加；最后将处理后的基础层和细节层进行融合重建得到增强后的V分量图像。该方法可将更多有用的视觉和细节信息传递到融合图像中，使图像具有良好的整体外观，而且在保持图像边缘的同时能够较好的抑制噪声。融合结果F、融合图像基础层BF和细节层D的计算公式为：
Figure BDA0004120102050000081
BF＝WbB1+(1-Wb)B2
Figure BDA0004120102050000082
Figure BDA0004120102050000083
Figure BDA0004120102050000084
式中，F表示融合结果，即增强后的V分量图像；B1、B2分别表示两幅V分量图像的基础层；N表示图像I的像素总数；Mj表示“最大绝对”规则的细节层；λ表示优化参数；Wb表示权重值；Aj是包含所有像素权重的对角矩阵；d2 j表示滤波差值；V(p)表示像素p的视觉显著映射值；Ip表示图像I中像素p的亮度值，Ij表示图像I中像素j的亮度值；Mi表示像素级为i的像素个数。要注意的式V(p)要归一化至[0,1]之间。V1和V2分别表示两幅V分量图像的视觉显著映射。
步骤6、对初步增强的红外图像进行超像素分割：首先通过SEEDS做超像素预分割，然后依据所提标记规则对分割出的超像素块进行标记划分，实现MSRM超像素合并，最后利用形态学法处理合并后的超像素得到最终分割的目标图像；
基于MSRM和SEEDS对初步增强红外图像做超像素分割时，根据输入图像的特点制定合理的标记规则来引导超像素块的合并，从而提高目标设备的分割效果。标记规则为：
目标块：将图像中任意位置且形状采集较完整的电力设备的超像素块标记为目标。
背景块：①将图像中亮度低的区域的超像素块标记为背景；②将图像中亮度较高的非设备和无关设备区域的超像素块标记为背景；
具体分割步骤如下：
1)：SEEDS超像素初始分割。设定K个网格对输入图像进行分割，K则为分割出的超像素块数；
2)：MSRM超像素合并。首先将得到的超像素块划分为3类，即目标块、背景块和未标记块；然后利用所提的标记规则指导超像素合并。整个合并规则分为两个阶段，第一阶段将标记的背景块与其相邻区域合并，第二阶段主要合并第一阶段遗留下的未标记块，经过两个阶段的多次循环合并，直到没有新的合并发生，则表示超像素块合并完毕。
(3)：形态学处理。针对步骤(2)得到的设备分割图像可能出现会过分割和欠分割情况，基于轮廓提取对设备的分割图像做形态学处理，得到最终的电力设备分割结果。
步骤7、对最终得到的分割的目标图像做重构处理：依据初步增强的红外图像、最终分割的目标图像，首先通过多尺度RGF分解出图像细节层和基础层，并利用滤波获得显著图和权重图，然后使用加权融合方法融合权重图、基础层和细节层，得到融合的基础层SB和融合的细节层SD，最后对SD做全局细节增强，获得增强后的SD；依据融合的基础层SB和增强后的SD，得到最终的融合结果S；
具体而言，首先运用两种不同尺度的参数σs的RGF分别对图像I、P进行多尺度滤波获取其基础层，并通过加性原则获取图像细节层，有效消除小结构信息，提取图像不同尺度下的特征；然后通过RGF滤波和LoG滤波生成图像I、P显著图和初始权重图，并选取四个不同尺度的引导滤波作为联合滤波优化初始权重图得到最终权重图；最后通过加权平均融合算法获得图像的融合基础层SB和融合细节层SD，同时对SD做全局细节增强，获得最终融合结果，即本文低照度红外图像的最终增强结果S。权重图的计算和融合表达式为：
Figure BDA0004120102050000091
SWP(x,y)＝1-SWI(x,y)
Figure BDA0004120102050000092
S＝SB+SD
式中，SI和SP分别表示图像I、P的显著图；SWI和SWP分别表示SI、SP在位置(x,y)处的初始权重图；GF表示滤波函数；m指图像I、P；Wm B、Wm D分别表示基础层和细节层的最终权重图；r、ε为引导滤波的半径和正则化参数，本发明选取的引导滤波半径分别为3、8、15、30。
如下对本发明所提增强方法的性能测试进行说明。
1)改进Retinex-Net网络性能
对Retinex-Net改进的三个模块分别进行实验分析，以传统Retinex-Net网络为基础设计实验：①将仅改进损失函数的网络，记作FR-Net；②将既改进损失函数，又添加自适应Gamma调整的网络，记作FGR-Net；③在FGR-Net的基础上再添加V分量融合模块，即改进Retinex-Net，通过实验可知，FR-Net网络相较于传统Retinex-Net网络，E和PSNR值分别提高了2.14％、7.32％，而SSIM没有明显的下降，有力的证明了快速导向滤波平滑损失可以很好的保留图像细节信息和结构特征；FGR-Net网络相比于FR-Net网络SSIM没有提升，图像MSE和std值分别提升了19.81％、17.55％，证明了自适应Gamma编码的有效性；本文改进Retinex-Net在FGR-Net基础上添加了V分量融合模块，图像亮度略有下降，但E、PNSR和SSIM值分别提升了3.04％、7.63％和4.55％，证明了V分量融合的有效性。综上可知改进Retinex-Net网络增强后的图像整体亮度有明显提高，但相较于传统Retinex-Net网络增强后图像对比度仍偏低、目标结构特征不够清晰，因此需对初步增强的红外图像作进一步的处理分割和重构处理。
2)本发明增强方法整体性能
通过实验可知，本发明所提增强方法与传统Retinex-Net相比，图像信息熵、均值和标准差分别提高了13.48％、6.42％、14.09％，峰值信噪比和结构相似性分别提高了16.08％、3.20％，能够提高图像亮度、较清晰的保留目标特征细节的同时，避免色彩失真，有效提升图像的综合质量。可以使YOLO v3模型的mAP值提高了2.31％、SSD模型的mAP值提高了1.46％，为实现电力设备态势感知提供了有利条件。
根据本发明实施例的另一方面，还提供了一种基于改进Retinex-Net的电力设备红外图像增强装置，包括：
第一获得模块，用于对电力设备红外图像进行HSV色彩空间转换，获得H、S、V三通道分量；
第二获得模块，用于针对H、S、V三通道分量，基于改进Retinex-Net网络，获得初步增强红外图像；
第三获得模块，对初步增强红外图像进行超像素分割和重构，获得最终增强红外图像。
上述中针对各个模块没有详述的部分，可以参见实施例的相关描述。
上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (10)

1.一种基于改进Retinex-Net的电力设备红外图像增强方法，其特征在于，包括：
S1、对电力设备红外图像进行HSV色彩空间转换，获得H、S、V三通道分量；
S2、针对H、S、V三通道分量，基于改进Retinex-Net网络，获得初步增强红外图像；
S3、对初步增强红外图像进行超像素分割和重构，获得最终增强红外图像。
2.根据权利要求1所述的基于改进Retinex-Net的电力设备红外图像增强方法，其特征在于，所述S2，包括：
S2.1、针对V分量，基于传统Retinex-Net网络使用快速导向滤波平滑损失函数代替原网络的平滑损失函数，得到初步增强后的V分量；
S2.2、对初步增强后的V分量做校正以及融合处理得到增强后的V分量；
S2.3、将增强后的V分量与原始H、S分量进行通道合并，得到初步增强的红外图像。
3.根据权利要求2所述的基于改进Retinex-Net的电力设备红外图像增强方法，其特征在于，还包括验证步骤S4，针对改进的Retinex-Net网络，通过设置三个模块分别进行验证分析，以传统Retinex-Net网络为基础设计实验：①将仅改进损失函数的网络，记作FR-Net；②将既改进损失函数，又添加校正调整的网络，记作FGR-Net；③在FGR-Net的基础上再添加融合模块，即改进Retinex-Net，通过定量评估指标，验证改进Retinex-Net的增强效果；然后对于最终增强方法，利用YOLOv3和SSD目标检测模型对检测效果进行验证。
4.根据权利要求2所述的基于改进Retinex-Net的电力设备红外图像增强方法，其特征在于，所述S2.2，包括：对初步增强后的V分量做自适应Gamma校正以及基于VSM+WLS融合处理得到增强后的V分量。
5.根据权利要求4所述的基于改进Retinex-Net的电力设备红外图像增强方法，其特征在于，所述自适应Gamma校正中，校正常数表达式为：
Figure FDA0004120102040000011
式中：γ为校正常数；I(x,y)表示图像某一点的灰度值；μ和σ分别表示图像灰度的均值和标准差；ε为亮度阈值。
6.根据权利要求5所述的基于改进Retinex-Net的电力设备红外图像增强方法，其特征在于，首先利用每幅初步增强的V分量图像的灰度均值计算其光照系数并统计所有初步增强后的V分量的光照系数分布；然后计算所有初步增强后的V分量光照系数的平均值，并根据光照系数平均值得到光照分量中出现概率最高的像素均值，作为亮度阈值ε。
7.根据权利要求4所述的基于改进Retinex-Net的电力设备红外图像增强方法，其特征在于，所述基于VSM+WLS融合处理，具体为：首先将原始V分量图像作为自适应Gamma校正后的V分量的补充图像；然后依次利用高斯滤波和迭代滤波估计校正后的V分量图像的基础层和细节层，通过VSM计算权重对校正后的V分量图像的基础层进行加权叠加，再利用WLS对校正后的V分量图像的每一层细节层进行叠加；最后将处理后的基础层和细节层进行融合重建得到增强后的V分量图像。
8.根据权利要求1所述的基于改进Retinex-Net的电力设备红外图像增强方法，其特征在于，所述S3包括：首先采用基于MSRM和SEEDS超像素分割方法分割，获得最终分割的目标图像；然后利用多尺度混合式引导滤波算法进行重构得到最终增强的图像。
9.根据权利要求8所述的基于改进Retinex-Net的电力设备红外图像增强方法，其特征在于，所述采用基于MSRM和SEEDS超像素分割方法分割出目标设备，具体为：首先通过SEEDS做超像素预分割，然后依据所提标记规则对分割出的超像素块进行标记划分，实现MSRM超像素合并，最后利用形态学法处理合并后的超像素得到最终分割的目标图像。
10.根据权利要求8所述的基于改进Retinex-Net的电力设备红外图像增强方法，其特征在于，所述对于分割出的设备利用多尺度混合式引导滤波算法对提取的目标设备进行重构得到最终增强的图像，具体为：依据初步增强的红外图像、最终分割的目标图像，首先通过多尺度RGF分解出图像细节层和基础层，并利用滤波获得显著图和权重图，然后使用加权融合方法融合权重图、基础层和细节层，得到融合的基础层SB和融合的细节层SD，最后对SD做全局细节增强，获得增强后的SD；依据融合的基础层SB和增强后的SD，得到最终的融合结果S，作为最终增强红外图像。
CN202310230330.9A 2023-03-10 2023-03-10 一种基于改进Retinex-Net的电力设备红外图像增强方法 Pending CN116128766A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310230330.9A CN116128766A (zh) 2023-03-10 2023-03-10 一种基于改进Retinex-Net的电力设备红外图像增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310230330.9A CN116128766A (zh) 2023-03-10 2023-03-10 一种基于改进Retinex-Net的电力设备红外图像增强方法

Publications (1)

Publication Number Publication Date
CN116128766A true CN116128766A (zh) 2023-05-16

Family

ID=86311900

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310230330.9A Pending CN116128766A (zh) 2023-03-10 2023-03-10 一种基于改进Retinex-Net的电力设备红外图像增强方法

Country Status (1)

Country Link
CN (1) CN116128766A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117437151A (zh) * 2023-12-21 2024-01-23 成都市晶林科技有限公司 一种噪声抑制的伪彩映射方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117437151A (zh) * 2023-12-21 2024-01-23 成都市晶林科技有限公司 一种噪声抑制的伪彩映射方法
CN117437151B (zh) * 2023-12-21 2024-03-08 成都市晶林科技有限公司 一种噪声抑制的伪彩映射方法

Similar Documents

Publication Publication Date Title
CN107133943B (zh) 一种防震锤缺陷检测的视觉检测方法
CN108230264B (zh) 一种基于ResNet神经网络的单幅图像去雾方法
CN109754377B (zh) 一种多曝光图像融合方法
CN107358585B (zh) 基于分数阶微分及暗原色先验的雾天图像增强方法
CN111161360B (zh) 基于Retinex理论的端到端网络的图像去雾方法
CN109389569B (zh) 基于改进DehazeNet的监控视频实时去雾方法
CN115393227B (zh) 基于深度学习的微光全彩视频图像自适应增强方法及系统
CN111179196B (zh) 一种基于分而治之的多分辨率深度网络图像去高光方法
CN112435191A (zh) 一种基于多个神经网络结构融合的低照度图像增强方法
CN114066747A (zh) 一种基于光照和反射互补性的低照度图像增强方法
CN116128766A (zh) 一种基于改进Retinex-Net的电力设备红外图像增强方法
CN113052859A (zh) 基于自适应种子点密度聚类超像素分割方法
Fu et al. Multi-feature-based bilinear CNN for single image dehazing
Tan et al. Image haze removal based on superpixels and Markov random field
Lei et al. Low-light image enhancement using the cell vibration model
Zhou et al. IACC: Cross-Illumination Awareness and Color Correction for Underwater Images Under Mixed Natural and Artificial Lighting
CN116704316A (zh) 基于阴影图像重构的变电站渗漏油检测方法、系统及介质
CN111832508A (zh) 基于die_ga的低照度目标检测方法
CN111260589B (zh) 基于Retinex的输电线路监控图像去雾方法
Guo et al. Marg-unet: a single image dehazing network based on multimodal attention residual group
CN115908155A (zh) Nsst域结合gan及尺度相关系数的低照度图像增强及去噪方法
CN110717960A (zh) 一种建筑垃圾遥感图像样本的生成方法
Wang et al. Multi-Patch and Feature Fusion Network for Single Image Dehazing
CN104809712B (zh) 一种基于粗糙集的图像快速修复方法
Wang et al. Image Defogging Method based on Multi-Scale and Frequency Domain Features

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination