CN116681637B - 特高压换流变压器红外与可见光监测图像融合方法及系统 - Google Patents
特高压换流变压器红外与可见光监测图像融合方法及系统 Download PDFInfo
- Publication number
- CN116681637B CN116681637B CN202310970847.1A CN202310970847A CN116681637B CN 116681637 B CN116681637 B CN 116681637B CN 202310970847 A CN202310970847 A CN 202310970847A CN 116681637 B CN116681637 B CN 116681637B
- Authority
- CN
- China
- Prior art keywords
- infrared
- image
- visible light
- layer
- weight map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 23
- 238000007500 overflow downdraw method Methods 0.000 title claims description 13
- 230000004927 fusion Effects 0.000 claims abstract description 104
- 238000000034 method Methods 0.000 claims abstract description 86
- 238000009499 grossing Methods 0.000 claims abstract description 34
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 33
- 230000009466 transformation Effects 0.000 claims abstract description 15
- 238000007670 refining Methods 0.000 claims abstract description 9
- 230000008569 process Effects 0.000 claims description 31
- 230000006870 function Effects 0.000 claims description 25
- 238000001914 filtration Methods 0.000 claims description 19
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000008707 rearrangement Effects 0.000 claims description 4
- 230000005855 radiation Effects 0.000 abstract description 17
- 230000003313 weakening effect Effects 0.000 abstract description 4
- 238000013135 deep learning Methods 0.000 description 5
- 230000007547 defect Effects 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000009413 insulation Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/0096—Radiation pyrometry, e.g. infrared or optical thermometry for measuring wires, electrical contacts or electronic systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/48—Thermography; Techniques using wholly visual means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Photometry And Measurement Of Optical Pulse Characteristics (AREA)
Abstract
本发明公开一种特高压换流变压器红外与可见光监测图像融合方法及系统，方法包括采用顶帽变换去除红外图像中的噪点，并将红外源图像注入去除噪点后的红外图像，得到红外权重图；采用边缘保持平滑滤波器对所述红外权重图进行细化处理，得到细化后的红外权重图，所述边缘保持平滑滤波器包括亮度和对比度保真项以及梯度平滑正则项；对可见光图像和所述红外权重图分别进行潜在低秩分解，得到各自对应的基础层和显著层；基于所述细化后的红外权重图，将所述可见光图像和所述红外权重图各自对应的基础层和显著层进行加权融合，得到融合图像；解决了红外与可见光图像融合算法中普遍存在热辐射削弱以及细节信息丢失的问题。
Description
技术领域
本发明涉及图像融合技术领域，具体涉及一种特高压换流变压器红外与可见光监测图像融合方法及系统。
背景技术
特高压换流变压器是直流输电工程的核心设备，其安全运行对高压直流输电系统的正常运转至关重要。由于特高压换流变压器存在容量大、耐受电压水平高和内部电场分布复杂等特点，因此，对绝缘强度的要求极高。在实际运行中，特高压换流变常因绝缘受损、漏油和接头接触不良等缺陷表现出局部异常发热的状况，影响其使用寿命，直接威胁到电力系统的安全运行。目前，对特高压换流变的运行状态主要采用可见光和红外图像进行监测，并以人工方式进行巡检，如何根据可见光图像和红外图像的信息，实现特高压换流变压器运行状态的智能监测是一个亟待解决的问题。
随着传感器技术的不断发展，对于不同场景获取的信息变得更加真实。但是由于单一传感器无法对不同类型信息进行捕捉，必须借助多个传感器对同一场景信息进行描述。红外传感器能够有效的捕捉变电站主变的热辐射信息，它不受各种天气的影响，能够在恶劣环境中进行稳定的工作。但是红外传感器容易受到噪声的影响，导致生成的图像存在大量噪点，另外由于红外传感器成像原理的限制，无法对场景中的细节信息进行捕捉。而可见光传感器可以反映场景中丰富的细节信息，准确地反映套管表面油污、异物覆盖、接线端子松动等缺陷，但是对热辐射信息并不敏感。利用红外传感器成像与可见光传感器成像的互补性，对红外图像与可见光图像进行融合，融合后图像包含不同类型的特征。
常见的图像融合方法包括以下几种：
（1）基于空间域的融合算法
基于空间域的处理方法是图像融合初步发展阶段中学者应用和研究最为广泛的算法，主要包括加权平均、灰度选择、主成分分析法、IHS变换等。此类算法的实质内容是直接在图像的原始数据上做简易操作，这种融合方式具有操作简易、计算量小的优点。但基于空间域的融合算法会丢失源图像的部分显著信息以及细节成分，因此融合后的图像对比度较低，融合质量较差。
（2）基于变换域的融合算法
在空间域的融合算法中，应用最为广泛的是基于多尺度变换分解的融合方法，其首先将待融合图像利用不同的分解工具进行分解获得数量合适的低频子带和高频子带，然后设定合适的融合策略对高频和低频子带分别进行融合，最后经重构得到最终的融合图像。但这些基于变换域的融合算法仅仅是对图像像素进行简单的加权等操作，没有考虑图像的整体相关性和连续性，导致融合图像出现明显的块效应，边缘和细节信息丢失，影响视觉效果。
而且在基于多尺度变换的图像融合方法中，大多采用边缘保持平滑滤波器对图像进行分解，例如，申请公布号为CN104809734A的专利申请文献中采用多尺度引导滤波对红外图像和可见光图像进行多尺度分解得到低频子带和高频子带；还有申请公布号为CN112884690A的专利申请文献中提出通过利用高斯滤波器对红外图像与可见光图像分别进行滤波，获得红外背景亮度层图像与可见光背景亮度层图像。但是，这类采用滤波器对图像进行多尺度分解的方法并不能对图像的高低频进行分离，导致最终结果不理想。
（3）基于深度学习的融合算法
基于深度学习的融合算法能够通过构建神经网络将源图像中的深度特征提取出来，无需人工设计复杂的图像融合策略，经过模型的多次训练和优化得到理想的图像融合结果。目前，基于深度学习的图像融合方法主要包括卷积神经网络(Convolutional NeuralNetworks,CNN)、卷积稀疏表示(Convolutional Sparse Representation,CSR)以及自编码网络。在这三种网络结构中，基于卷积神经网络结构的应用居多。尽管基于深度学习的方法所取得的融合效果较好，但是也存在一些不足之处，其主要缺点是当训练数据不足时，很难进行训练，尤其是在红外和可见光图像融合任务中，并且基于深度学习的方法很少关注图像分解。
发明内容
本发明旨在于如何解决基于多尺度变换的红外与可见光图像融合算法中普遍存在热辐射削弱以及细节信息丢失的问题。
本发明通过以下技术手段解决上述技术问题的：
一方面，本发明提出了一种特高压换流变压器红外与可见光监测图像融合方法，所述方法包括：
采用顶帽变换去除红外图像中的噪点，并将该红外图像注入去除噪点后的红外图像，得到红外权重图；
采用边缘保持平滑滤波器对所述红外权重图进行细化处理，得到细化后的红外权重图，其中，所述边缘保持平滑滤波器包括亮度和对比度保真项以及梯度平滑正则项；
对可见光图像和所述红外权重图分别进行潜在低秩分解，得到各自对应的基础层和显著层；
基于所述细化后的红外权重图，将所述可见光图像和所述红外权重图各自对应的基础层和显著层进行加权融合，得到融合图像。
进一步地，所述红外权重图的公式表示为：
式中，表示去除噪点后的红外图像，表示红外图像，表示红外权重图。
进一步地，所述边缘保持平滑滤波器的公式表示为：
式中，为细化后的红外权重图，为红外权重图，为像素的位置，为常数，为惩罚系数，为红外图形，为细化后红外权重图，为范数，为差分算子，为导向滤波操作，为红外权重图，j为一个变量，为范数，为相乘操作。
进一步地，在所述导向滤波操作中，采用全变差导向图作为导向图，公式表示为：
式中，为高斯滤波操作，为全变差导向图，为前向差分算子，为取绝对值操作。
进一步地，所述对可见光图像和所述红外权重图分别进行潜在低秩分解，得到各自对应的基础层和显著层，包括：
采用MDLatLRR对所述红外权重图进行多尺度分解，得到所述红外权重图对应的红外基础层和不同尺度的红外显著层；
采用MDLatLRR对所述可见光图像进行多尺度分解，得到所述可见光图像对应的可见光基础层和不同尺度的可见光显著层；
其中，所述MDLatLRR的公式表示为：
式中，i和r分别表示当前和最终分解尺度，为图像的第i级分解结果，表示LatLRR学习的投影矩阵，表示包含滑动窗口技术和重排的两阶段算子，表示基于的细节重构算子，和分别是图像的第i层基础层和显著层，为第0层基础层，为第i-1层基础层。
进一步地，所述基于所述细化后的红外权重图，将所述可见光图像和所述红外权重图各自对应的基础层和显著层进行加权融合，得到融合图像，包括：
将所述细化后的红外权重图作为基础层权重图，对所述红外权重图对应的红外基础层和所述可见光图像对应的可见光基础层进行加权融合，得到基础融合图像；
采用红外增强非线性函数定义显著层权重图，对所述红外权重图对应的红外显著层和所述可见光图像对应的可见光显著层进行加权融合，得到显著融合图像；
将所述基础融合图像与所述显著融合图像相加，得到所述融合图像。
进一步地，所述将所述细化后的红外权重图作为基础层权重图，对所述红外权重图对应的红外基础层和所述可见光图像对应的可见光基础层进行加权融合，得到基础融合图像，公式表示为：
式中，为基础融合图像，为细化后的红外权重图，为红外基础层，为可见光基础层。
进一步地，所述采用红外增强非线性函数定义显著层权重图，对所述红外权重图对应的红外显著层和所述可见光图像对应的可见光显著层进行加权融合，得到显著融合图像，包括：
采用所述红外增强非线性函数定义显著层权重图为：，为红外增强非线性函数，为红外显著层与可见光显著层之间的差异图，为显著层权重图；
基于所述显著层权重图对所述红外权重图对应的红外显著层和所述可见光图像对应的可见光显著层进行加权融合，得到显著融合图像，公式表示为：
式中，为第i层显著融合图像，为第i层红外显著层，为第i层可见光显著层。
进一步地，所述差异图的公式表示为：
式中，为第i层红外显著层与第i层可见光显著层绝对值取差值得到的第i层差异图。
此外，本发明还提出了一种特高压换流变压器红外与可见光监测图像融合系统，所述系统包括：
顶帽变换模块，用于采用顶帽变换去除红外图像中的噪点，并将红外图像注入去除噪点后的红外图像，得到红外权重图；
滤波模块，用于采用边缘保持平滑滤波器对所述红外权重图进行细化处理，得到细化后的红外权重图，其中，所述边缘保持平滑滤波器包括亮度和对比度保真项以及梯度平滑正则项；
分解模块，用于对可见光图像和所述红外权重图分别进行潜在低秩分解，得到各自对应的基础层和显著层；
融合模块，用于基于所述细化后的红外权重图，将所述可见光图像和所述红外权重图各自对应的基础层和显著层进行加权融合，得到融合图像。
本发明的优点在于：
（1）本发明考虑到红外传感器自身的缺点，会造成图像中存在大量的噪点，因此先对红外图像进行了顶帽变换，减少红外背景对热辐射信息的影响；然后为了消除融合图像中存在的伪影与噪音，采用一个包含亮度和对比度保真项以及梯度稀疏约束项的边缘保持平滑滤波器对处理后的红外图像进行细化，生成红外权重图；再使用潜在低秩表示将源图像分解为基础层和显著层，使用细化后的权重图进行加权融合，得到融合图像；本方案能够同时兼顾红外信息与可见光信息。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
图1是本发明一实施例提出的一种特高压换流变压器红外与可见光监测图像融合方法的流程示意图；
图2是本发明一实施例中特高压换流变压器红外与可见光监测图像融合方法的原理框图；
图3是本发明图2中不同lambda对应的S函数的放大图；
图4是本发明一实施例提出的一种特高压换流变压器红外与可见光监测图像融合系统的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1至图2所示，本发明第一实施例公开了一种特高压换流变压器红外与可见光监测图像融合方法，包括以下步骤：
S10、采用顶帽变换去除红外图像中的噪点，并将该红外图像注入去除噪点后的红外图像，得到红外权重图；
需要说明的是，考虑到红外传感器自身的缺点，会造成图像中存在大量的噪点，因此对红外图像进行了顶帽变换，减少红外背景对热辐射信息的影响。
S20、采用边缘保持平滑滤波器对所述红外权重图进行细化处理，得到细化后的红外权重图，其中，所述边缘保持平滑滤波器包括亮度和对比度保真项以及梯度平滑正则项；
需要说明的是，本实施例采用边缘保持平滑滤波器对处理后的红外图像进行细化，生成红外权重图，消除融合图像中的存在的伪影与噪音。
S30、对可见光图像和所述红外权重图分别进行潜在低秩分解，得到各自对应的基础层和显著层；
S40、基于所述细化后的红外权重图，将所述可见光图像和所述红外权重图各自对应的基础层和显著层进行加权融合，得到融合图像。
本实施例提出的特高压换流变压器红外与可见光监测图像融合方法能够同时兼顾红外信息与可见光信息，解决基于多尺度变换的红外与可见光图像融合算法普遍存在的热辐射削弱以及细节信息丢失这一系列问题。
具体地，红外图像反映的是场景中的热辐射特征，由于在实际的场景中，受到红外传感器成像结构的限制导致图像中存在大量噪点。如果不将这些噪点进行去除，融合结果将会十分不理想，本实施例使用top-hat变换对红外图像进行处理，提取热辐射特征，消除背景对红外特征的影响。同时为了使得红外特征更加突出，将红外源图像注入top-hat变换后的图像中，因此，所述步骤S10中计算得到的红外权重图，公式表示为：
式中，表示去除噪点后的红外图像，表示红外图像，表示红外权重图。
在一实施例中，所述步骤S20中采用的边缘保持平滑滤波器的公式表示为：
式中，为细化后的红外权重图，为红外权重图，为像素的位置，为常数，为惩罚系数，为红外图形，为细化后红外权重图，为范数，为差分算子，为导向滤波操作，为红外权重图，j为一个变量，为范数，为相乘操作。
需要说明的是，由于经过top-hat变换后的权重图是粗糙的，存在着大量的噪音。如果直接将权重图与源图像加权相乘，那么在融合图像中势必会出现噪声干扰。为了对权重图进行细化，本实施例提出了一种边缘保持平滑滤波器，该滤波器由亮度、对比度保真项和梯度平滑正则项组成。该滤波器在增强热辐射特征，保持与权重图相似的同时，保留权重图中的大边缘，去除小细节和噪点，因而可以实现平滑的效果。
具体地，本实施例采用Split Bregman method对滤波器进行求解。
在一实施例中，在所述导向滤波操作中，采用全变差导向图作为导向图，公式表示为：
式中，为高斯滤波操作，为全变差导向图，为前向差分算子，为取绝对值操作。
本实施例在正则项中运用了导向滤波器对权重图梯度进行导向滤波，对于导向图，本实施例选取相对全变差作为其导向图，它能够有效的突出主要结构，对于梯度变化区域能够完整的展现。
在一实施例中，所述步骤S30：对可见光图像和所述红外权重图分别进行潜在低秩分解，得到各自对应的基础层和显著层，包括以下步骤：
S31、采用MDLatLRR对所述红外权重图进行多尺度分解，得到所述红外权重图对应的红外基础层和不同尺度的红外显著层；
S32、采用MDLatLRR对所述可见光图像进行多尺度分解，得到所述可见光图像对应的可见光基础层和不同尺度的可见光显著层；
其中，所述MDLatLRR的公式表示为：
式中，i和r分别表示当前和最终分解尺度，为图像的第i级分解结果，表示LatLRR学习的投影矩阵，表示包含滑动窗口技术和重排的两阶段算子，表示基于的细节重构算子，和分别是图像的第i层基础层和显著层，为第0层基础层，为第i-1层基础层。
进一步地，如果将细化的权重图直接与源图像进行单尺度加权，会使得融合后的图像显得不自然，并且会存在一些细节丢失的情况。因此本实施例采用MDLatLRR对源图像进行多尺度分解。
在一实施例中，所述步骤S40：基于所述细化后的红外权重图，将所述可见光图像和所述红外权重图各自对应的基础层和显著层进行加权融合，得到融合图像，包括以下步骤：
S41、将所述细化后的红外权重图作为基础层权重图，对所述红外权重图对应的红外基础层和所述可见光图像对应的可见光基础层进行加权融合，得到基础融合图像，公式表示为：
式中，为基础融合图像，为细化后的红外权重图，为红外基础层，为可见光基础层。
S42、采用红外增强非线性函数定义显著层权重图，对所述红外权重图对应的红外显著层和所述可见光图像对应的可见光显著层进行加权融合，得到显著融合图像；
S43、将所述基础融合图像与所述显著融合图像相加，得到所述融合图像。
需要说明的是，经过多尺度变换后的基础层图像是最粗尺度下的图像，包含着大量的低频信息，它控制着图像的大致轮廓，并且一定量的细节信息在基础层中有所保留。因此基础层的融合对最后的融合结果起着至关重要的影响。对于基础层的融合规则，本实施例采用细化后的权重图作为基础层的权重图，这样既能保留热辐射信息，并且细节信息也能很好的保存。
由于结构特征和少量的热辐射信息存在于细节层图像中，需要对这些细节信息进行提取。此外，在红外细节层中，热辐射信息并不是特别突出，因此本实施设计出一种凸型函数增强这方面信息，同时也能保留所需要的结构信息。
在一实施例中，所述步骤S42：采用红外增强非线性函数定义显著层权重图，对所述红外权重图对应的红外显著层和所述可见光图像对应的可见光显著层进行加权融合，得到显著融合图像，包括：
S421、采用所述红外增强非线性函数定义显著层权重图为：，为红外增强非线性函数，为红外显著层与可见光显著层之间的差异图，为显著层权重图；
S422、基于所述显著层权重图对所述红外权重图对应的红外显著层和所述可见光图像对应的可见光显著层进行加权融合，得到显著融合图像，公式表示为：
式中，为第i层显著融合图像，为第i层红外显著层，为第i层可见光显著层。
进一步地，所述差异图的计算过程为：
对第i层的红外显著层与可见光显著层绝对值取差值得到第i层的差异图：
将差异图除以差异图的最大值，得到归一化后的差异图P：
式中，为第i层红外显著层与第i层可见光显著层绝对值取差值得到的第i层差异图，表示取绝对值操作，表示取最大值操作。
如果>0，说明在该像素点处包含热辐射信息，在该处应该分配较大的权重值，最大限度保留红外信息。因此本实施例提出了一种红外增强非线性函数，由于红外细节层中存在一些干扰的热辐射信息，该函数能够有效的抑制干扰信息，突出显著特征。该非线性函数定义为：
其中，属于[0,1],是常量，表示双曲正切函数。
本实施例设计的非线性函数能够有效的增强红外图像的红外信息，同时也能保留可见光图像中的细节信息，不同lambda对应的S函数如图3所示，则对于第i层红外细节层的权重图生成定义为：。
在一实施例中，所述步骤S43：将所述基础融合图像与所述显著融合图像相加，得到所述融合图像，公式表示为：
式中，为基础融合图像，为第i层显著融合图像。
此外，如图4所示，本发明第二实施例公开了一种特高压换流变压器红外与可见光监测图像融合系统，所述系统包括：
顶帽变换模块10，用于采用顶帽变换去除红外图像中的噪点，并将该红外图像注入去除噪点后的红外图像，得到红外权重图；
滤波模块20，用于采用边缘保持平滑滤波器对所述红外权重图进行细化处理，得到细化后的红外权重图，其中，所述边缘保持平滑滤波器包括亮度和对比度保真项以及梯度平滑正则项；
分解模块30，用于对可见光图像和所述红外权重图分别进行潜在低秩分解，得到各自对应的基础层和显著层；
融合模块40，用于基于所述细化后的红外权重图，将所述可见光图像和所述红外权重图各自对应的基础层和显著层进行加权融合，得到融合图像。
本实施例考虑到红外传感器自身的缺点，会造成图像中存在大量的噪点，因此先对红外图像进行了顶帽变换，减少红外背景对热辐射信息的影响；然后为了消除融合图像中的存在的伪影与噪音，采用一个包含亮度和对比度保真项以及梯度稀疏约束项的边缘保持平滑滤波器对处理后的红外图像进行细化，生成红外权重图；再使用潜在低秩表示对源图像分解为基础层和显著层，使用细化后的权重图进行加权融合，得到融合图像，解决基于多尺度变换的红外与可见光图像融合算法普遍存在的热辐射削弱以及细节信息丢失这一系列问题。
在一实施例中，所述红外权重图的公式表示为：
式中，表示去除噪点后的红外图像，表示红外图像，表示红外权重图。
在一实施例中，所述边缘保持平滑滤波器的公式表示为：
式中，为细化后的红外权重图，为红外权重图，为像素的位置，为常数，为惩罚系数，为红外图形，为细化后红外权重图，为范数，为差分算子，为导向滤波操作，为红外权重图，j为一个变量，为范数，为相乘操作。
在一实施例中，在所述导向滤波操作中，采用全变差导向图作为导向图，公式表示为：
式中，为高斯滤波操作，为全变差导向图，为前向差分算子，为取绝对值操作。
在一实施例中，所述分解模块30，包括：
第一分解单元，用于采用MDLatLRR对所述红外权重图进行多尺度分解，得到所述红外权重图对应的红外基础层和不同尺度的红外显著层；
第二分解单元，用于采用MDLatLRR对所述可见光图像进行多尺度分解，得到所述可见光图像对应的可见光基础层和不同尺度的可见光显著层；
其中，所述MDLatLRR的公式表示为：
式中，i和r分别表示当前和最终分解尺度，为图像的第i级分解结果，表示LatLRR学习的投影矩阵，表示包含滑动窗口技术和重排的两阶段算子，表示基于的细节重构算子，和分别是图像的第i层基础层和显著层，为第0层基础层，为第i-1层基础层。
在一实施例中，所述融合模块40，包括：
第一加权融合单元，用于将所述细化后的红外权重图作为基础层权重图，对所述红外权重图对应的红外基础层和所述可见光图像对应的可见光基础层进行加权融合，得到基础融合图像；
第二加权融合单元，用于采用红外增强非线性函数定义显著层权重图，对所述红外权重图对应的红外显著层和所述可见光图像对应的可见光显著层进行加权融合，得到显著融合图像；
拼接单元，用于将所述基础融合图像与所述显著融合图像相加，得到所述融合图像。
在一实施例中，所述第一加权融合单元，用于融合得到基础融合图像，公式表示为：
式中，为基础融合图像，为细化后的红外权重图，为红外基础层，为可见光基础层。
在一实施例中，所述第二加权融合单元，具体用于：
采用所述红外增强非线性函数定义显著层权重图为：，为红外增强非线性函数，为红外显著层与可见光显著层之间的差异图，为显著层权重图；
基于所述显著层权重图对所述红外权重图对应的红外显著层和所述可见光图像对应的可见光显著层进行加权融合，得到显著融合图像，公式表示为：
式中，为第i层显著融合图像，为第i层红外显著层，为第i层可见光显著层。
在一实施例中，所述差异图的公式表示为：
式中，为第i层红外显著层与第i层可见光显著层绝对值取差值得到的第i层差异图。
在一实施例中，非线性函数定义为：
其中，属于[0,1],是常量，表示双曲正切函数。
需要说明的是，本发明所述特高压换流变压器红外与可见光监测图像融合系统的其他实施例或具有实现方法可参照上述各方法实施例，此处不再赘余。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (9)
1.一种特高压换流变压器红外与可见光监测图像融合方法，其特征在于，所述方法包括：
采用顶帽变换去除红外图像中的噪点，并将该红外图像注入去除噪点后的红外图像，得到红外权重图；
采用边缘保持平滑滤波器对所述红外权重图进行细化处理，得到细化后的红外权重图，其中，所述边缘保持平滑滤波器包括亮度和对比度保真项以及梯度平滑正则项，其中在梯度平滑正则项中利用导向滤波器对权重图梯度进行导向滤波，采用全变差导向图作为导向图，公式表示为：
式中，为高斯滤波操作，为全变差导向图，为前向差分算子，为取绝对值操作；
对可见光图像和所述红外权重图分别进行潜在低秩分解，得到各自对应的基础层和显著层；
基于所述细化后的红外权重图，将所述可见光图像和所述红外权重图各自对应的基础层和显著层进行加权融合，得到融合图像。
2.如权利要求1所述的特高压换流变压器红外与可见光监测图像融合方法，其特征在于，所述红外权重图的公式表示为：
式中，表示去除噪点后的红外图像，表示红外图像，表示红外权重图。
3.如权利要求1所述的特高压换流变压器红外与可见光监测图像融合方法，其特征在于，所述边缘保持平滑滤波器的公式表示为：
式中，为细化后的红外权重图，为红外权重图，为像素的位置，为常数，为惩罚系数，为红外图形，为细化后红外权重图，为范数，为差分算子，为导向滤波操作，为红外权重图，j为一个变量，为范数，为相乘操作。
4.如权利要求1所述的特高压换流变压器红外与可见光监测图像融合方法，其特征在于，所述对可见光图像和所述红外权重图分别进行潜在低秩分解，得到各自对应的基础层和显著层，包括：
采用MDLatLRR对所述红外权重图进行多尺度分解，得到所述红外权重图对应的红外基础层和不同尺度的红外显著层；
采用MDLatLRR对所述可见光图像进行多尺度分解，得到所述可见光图像对应的可见光基础层和不同尺度的可见光显著层；
其中，所述MDLatLRR的公式表示为：
式中，i和r分别表示当前和最终分解尺度，为图像的第i级分解结果，表示LatLRR学习的投影矩阵，表示包含滑动窗口技术和重排的两阶段算子，表示基于的细节重构算子，和分别是图像的第i层基础层和显著层，为第0层基础层，为第i-1层基础层。
5.如权利要求1所述的特高压换流变压器红外与可见光监测图像融合方法，其特征在于，所述基于所述细化后的红外权重图，将所述可见光图像和所述红外权重图各自对应的基础层和显著层进行加权融合，得到融合图像，包括：
将所述细化后的红外权重图作为基础层权重图，对所述红外权重图对应的红外基础层和所述可见光图像对应的可见光基础层进行加权融合，得到基础融合图像；
采用红外增强非线性函数定义显著层权重图，对所述红外权重图对应的红外显著层和所述可见光图像对应的可见光显著层进行加权融合，得到显著融合图像；
将所述基础融合图像与所述显著融合图像相加，得到所述融合图像。
6.如权利要求5所述的特高压换流变压器红外与可见光监测图像融合方法，其特征在于，所述将所述细化后的红外权重图作为基础层权重图，对所述红外权重图对应的红外基础层和所述可见光图像对应的可见光基础层进行加权融合，得到基础融合图像，公式表示为：
式中，为基础融合图像，为细化后的红外权重图，为红外基础层，为可见光基础层。
7.如权利要求5所述的特高压换流变压器红外与可见光监测图像融合方法，其特征在于，所述采用红外增强非线性函数定义显著层权重图，对所述红外权重图对应的红外显著层和所述可见光图像对应的可见光显著层进行加权融合，得到显著融合图像，包括：
采用所述红外增强非线性函数定义显著层权重图为：，为红外增强非线性函数，为红外显著层与可见光显著层之间的差异图，为显著层权重图；
基于所述显著层权重图对所述红外权重图对应的红外显著层和所述可见光图像对应的可见光显著层进行加权融合，得到显著融合图像，公式表示为：
式中，为第i层显著融合图像，为第i层红外显著层，为第i层可见光显著层。
8.如权利要求7所述的特高压换流变压器红外与可见光监测图像融合方法，其特征在于，所述差异图的公式表示为：
式中，为第i层红外显著层与第i层可见光显著层绝对值取差值得到的第i层差异图。
9.一种特高压换流变压器红外与可见光监测图像融合系统，其特征在于，所述系统包括：
顶帽变换模块，用于采用顶帽变换去除红外图像中的噪点，并将该红外图像注入去除噪点后的红外图像，得到红外权重图；
滤波模块，用于采用边缘保持平滑滤波器对所述红外权重图进行细化处理，得到细化后的红外权重图，其中，所述边缘保持平滑滤波器包括亮度和对比度保真项以及梯度平滑正则项，其中在梯度平滑正则项中利用导向滤波器对权重图梯度进行导向滤波，采用全变差导向图作为导向图，公式表示为：
式中，为高斯滤波操作，为全变差导向图，为前向差分算子，为取绝对值操作；
分解模块，用于对可见光图像和所述红外权重图分别进行潜在低秩分解，得到各自对应的基础层和显著层；
融合模块，用于基于所述细化后的红外权重图，将所述可见光图像和所述红外权重图各自对应的基础层和显著层进行加权融合，得到融合图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310970847.1A CN116681637B (zh) | 2023-08-03 | 2023-08-03 | 特高压换流变压器红外与可见光监测图像融合方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310970847.1A CN116681637B (zh) | 2023-08-03 | 2023-08-03 | 特高压换流变压器红外与可见光监测图像融合方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116681637A CN116681637A (zh) | 2023-09-01 |
| CN116681637B true CN116681637B (zh) | 2024-01-02 |
Family
ID=87789497
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310970847.1A Active CN116681637B (zh) | 2023-08-03 | 2023-08-03 | 特高压换流变压器红外与可见光监测图像融合方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116681637B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117391983A (zh) * | 2023-10-26 | 2024-01-12 | 安徽大学 | 一种红外图像与可见光图像融合方法 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104408700A (zh) * | 2014-11-21 | 2015-03-11 | 南京理工大学 | 基于形态学和pca的轮廓波红外与可见光图像融合方法 |
| CN110570360A (zh) * | 2019-05-30 | 2019-12-13 | 昆明理工大学 | 一种基于Retinex的鲁棒和全面的低质量光照图像增强方法 |
| CN111681198A (zh) * | 2020-08-11 | 2020-09-18 | 湖南大学 | 一种形态学属性滤波多模融合成像方法、系统及介质 |
| CN114119439A (zh) * | 2021-11-12 | 2022-03-01 | 武汉大学 | 红外与可见光图像融合方法、装置、设备及存储介质 |
| CN114648475A (zh) * | 2022-03-14 | 2022-06-21 | 泰山学院 | 基于低秩稀疏表示的红外与可见光图像融合方法和系统 |
| CN115456924A (zh) * | 2022-09-22 | 2022-12-09 | 中国科学院长春光学精密机械与物理研究所 | 基于多尺度潜在低秩表示的自适应红外与可见光融合方法 |
| CN115578304A (zh) * | 2022-12-12 | 2023-01-06 | 四川大学 | 一种结合显著性区域检测的多波段图像融合方法和系统 |
| CN115601280A (zh) * | 2022-10-21 | 2023-01-13 | 中国第一汽车股份有限公司（Cn） | 图像的处理方法和车辆 |
| CN115761428A (zh) * | 2022-11-30 | 2023-03-07 | 国网安徽省电力有限公司超高压分公司 | 一种特高压换流变压器套管红外与可见光图像融合方法 |
| KR20230036343A (ko) * | 2021-09-07 | 2023-03-14 | 인천대학교 산학협력단 | 고화질 영상 융합 장치 |
| WO2023036034A1 (zh) * | 2021-09-10 | 2023-03-16 | 荣耀终端有限公司 | 图像处理方法及其相关设备 |
-
2023
- 2023-08-03 CN CN202310970847.1A patent/CN116681637B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104408700A (zh) * | 2014-11-21 | 2015-03-11 | 南京理工大学 | 基于形态学和pca的轮廓波红外与可见光图像融合方法 |
| CN110570360A (zh) * | 2019-05-30 | 2019-12-13 | 昆明理工大学 | 一种基于Retinex的鲁棒和全面的低质量光照图像增强方法 |
| CN111681198A (zh) * | 2020-08-11 | 2020-09-18 | 湖南大学 | 一种形态学属性滤波多模融合成像方法、系统及介质 |
| KR20230036343A (ko) * | 2021-09-07 | 2023-03-14 | 인천대학교 산학협력단 | 고화질 영상 융합 장치 |
| WO2023036034A1 (zh) * | 2021-09-10 | 2023-03-16 | 荣耀终端有限公司 | 图像处理方法及其相关设备 |
| CN114119439A (zh) * | 2021-11-12 | 2022-03-01 | 武汉大学 | 红外与可见光图像融合方法、装置、设备及存储介质 |
| CN114648475A (zh) * | 2022-03-14 | 2022-06-21 | 泰山学院 | 基于低秩稀疏表示的红外与可见光图像融合方法和系统 |
| CN115456924A (zh) * | 2022-09-22 | 2022-12-09 | 中国科学院长春光学精密机械与物理研究所 | 基于多尺度潜在低秩表示的自适应红外与可见光融合方法 |
| CN115601280A (zh) * | 2022-10-21 | 2023-01-13 | 中国第一汽车股份有限公司（Cn） | 图像的处理方法和车辆 |
| CN115761428A (zh) * | 2022-11-30 | 2023-03-07 | 国网安徽省电力有限公司超高压分公司 | 一种特高压换流变压器套管红外与可见光图像融合方法 |
| CN115578304A (zh) * | 2022-12-12 | 2023-01-06 | 四川大学 | 一种结合显著性区域检测的多波段图像融合方法和系统 |
Non-Patent Citations (2)
| Title |
|---|
| "MDLatLRR:A Novel Decomposition Method for Infrared and Visible Image Fusion";Hui Li.et al;《IEEE》;期刊摘要，第3节，图3 * |
| 杨擎宇等."基于引导滤波权重与显著信息优化的红外与可见光图像融合".2021,第4卷(第4期),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116681637A (zh) | 2023-09-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109035166B (zh) | 基于非下采样剪切波变换的电气设备红外图像增强方法 | |
| Shi et al. | Normalised gamma transformation‐based contrast‐limited adaptive histogram equalisation with colour correction for sand–dust image enhancement | |
| Al‐Ameen | Nighttime image enhancement using a new illumination boost algorithm | |
| Xu et al. | Inter/intra-category discriminative features for aerial image classification: A quality-aware selection model | |
| Guorong et al. | Multi‐focus image fusion based on non‐subsampled shearlet transform | |
| Yang et al. | Multi-focus image fusion using an effective discrete wavelet transform based algorithm | |
| Jakhetiya et al. | A highly efficient blind image quality assessment metric of 3-D synthesized images using outlier detection | |
| Shin et al. | Efficient naturalness restoration for non‐uniform illumination images | |
| CN107505546A (zh) | 一种利用紫外成像仪监测电晕放电的方法 | |
| CN116681637B (zh) | 特高压换流变压器红外与可见光监测图像融合方法及系统 | |
| CN112381727B (zh) | 一种图像去噪方法、装置、计算机设备和存储介质 | |
| US9443286B2 (en) | Gray image processing method and apparatus based on wavelet transformation | |
| Gao et al. | Single fog image restoration with multi-focus image fusion | |
| Liu et al. | Infrared and visible image fusion based on region of interest detection and nonsubsampled contourlet transform | |
| CN114092459A (zh) | 一种基于决策级融合的电力设备热故障诊断方法、设备及介质 | |
| Chen et al. | Application of multi-focus image fusion in visual power patrol inspection | |
| Liu et al. | Remote sensing image fusion method based on discrete wavelet and multiscale morphological transform in the IHS color space | |
| CN107146202B (zh) | 基于l0正则化和模糊核后处理的图像盲去模糊的方法 | |
| Pal et al. | A robust framework for visibility enhancement of foggy images | |
| Li et al. | Laplace dark channel attenuation-based single image defogging in ocean scenes | |
| Liu et al. | Joint dehazing and denoising for single nighttime image via multi-scale decomposition | |
| Hong et al. | Single image dehazing based on pixel-wise transmission estimation with estimated radiance patches | |
| Banerjee et al. | Bacterial foraging-fuzzy synergism based image Dehazing | |
| Lv et al. | Low‐light image haze removal with light segmentation and nonlinear image depth estimation | |
| CN111292274A (zh) | 一种基于谱残差显著性模型的光伏组件图像融合方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |