CN113177904B - 一种图像融合方法及系统 - Google Patents
一种图像融合方法及系统 Download PDFInfo
- Publication number
- CN113177904B CN113177904B CN202110554906.8A CN202110554906A CN113177904B CN 113177904 B CN113177904 B CN 113177904B CN 202110554906 A CN202110554906 A CN 202110554906A CN 113177904 B CN113177904 B CN 113177904B
- Authority
- CN
- China
- Prior art keywords
- frequency
- image
- visible light
- low
- infrared
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 12
- 230000004927 fusion Effects 0.000 claims abstract description 157
- 230000005284 excitation Effects 0.000 claims abstract description 139
- 238000001914 filtration Methods 0.000 claims abstract description 29
- 238000000034 method Methods 0.000 claims abstract description 24
- 230000009466 transformation Effects 0.000 claims abstract description 16
- 238000006243 chemical reaction Methods 0.000 claims abstract description 7
- 239000011159 matrix material Substances 0.000 claims description 136
- 210000002569 neuron Anatomy 0.000 claims description 53
- 238000010304 firing Methods 0.000 claims description 26
- 230000000694 effects Effects 0.000 claims description 17
- 230000001054 cortical effect Effects 0.000 claims description 7
- 230000001537 neural effect Effects 0.000 claims description 7
- 230000003321 amplification Effects 0.000 claims description 6
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 6
- 230000014759 maintenance of location Effects 0.000 abstract description 3
- 238000000354 decomposition reaction Methods 0.000 description 10
- 238000007499 fusion processing Methods 0.000 description 3
- 101100134058 Caenorhabditis elegans nth-1 gene Proteins 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000000541 pulsatile effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012421 spiking Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明涉及一种图像融合方法及系统。所述方法包括：对红外图像与可见光图像分别进行非下采样剪切波变换得到红外图像的子带系数和可见光图像的子带系数；根据红外图像的子带系数得到红外输入图像，以红外图像为引导图对红外输入图像进行引导滤波操作得到红外高频激励；根据可见光图像的子带系数得到可见光输入图像，以可见光图像为引导图对可见光输入图像进行引导滤波操作得到可见光高频激励；将红外高频激励和可见光高频激励输入脉冲发放皮层模型得到高频融合系数；基于高频融合系数和低频融合系数，采用非下采样剪切波逆变换得到融合图像。本发明可以提高边缘信息的保留能力，使得融合图像中的边缘信息更丰富。
Description
技术领域
本发明涉及图像融合领域，特别是涉及一种图像融合方法及系统。
背景技术
红外图像与可见光图像的融合广泛应用于军事指挥、安全监控和目标勘探等领域。
近几年来，将非下采样剪切波变换(nonsubsampled shearlet transform，NSST)与脉冲发放皮层模型(Spiking Cortical Model，SCM)结合的算法成为图像融合领域的一大主流，但这种方法对于源图像的边缘保持能力不强，虽然在一定程度上解决了图像融合过程中时间耗费大，图像纹理信息丢失等问题，但仍存在边缘信息保留能力弱、图像扭曲等问题，不能满足当今军事、监控、勘探等领域对图像融合的要求。
发明内容
本发明的目的是提供一种图像融合方法及系统，以提高边缘信息的保留能力，使得融合图像中的边缘信息更丰富。
为实现上述目的，本发明提供了如下方案：
一种图像融合方法，包括：
对红外图像与可见光图像分别进行非下采样剪切波变换得到红外图像的子带系数和可见光图像的子带系数；所述子带系数包括高频子带系数和低频子带系数；
根据所述红外图像的子带系数得到红外输入图像，以所述红外图像为引导图对所述红外输入图像进行引导滤波操作得到红外高频激励；
根据所述可见光图像的子带系数得到可见光输入图像，以所述可见光图像为引导图对所述可见光输入图像进行引导滤波操作得到可见光高频激励；
将所述红外高频激励和所述可见光高频激励输入脉冲发放皮层模型得到高频融合系数；
基于所述高频融合系数和低频融合系数，采用非下采样剪切波逆变换得到融合图像。
可选的，所述低频融合系数的确定方法为：
根据所述红外图像的低频子带系数的区域均值和区域标准差得到红外低频激励；
根据所述可见光图像的低频子带系数的区域均值和区域标准差得到可见光低频激励；
将所述红外低频激励和所述可见光低频激励输入所述脉冲发放皮层模型得到低频融合系数。
可选的，所述将所述红外高频激励和所述可见光高频激励输入脉冲发放皮层模型得到高频融合系数具体包括：
将所述红外高频激励输入所述脉冲发放皮层模型得到红外高频矩阵；
将所述可见光高频激励输入所述脉冲发放皮层模型得到可见光高频矩阵；
判断所述红外高频矩阵和所述可见光高频矩阵是否相等，得到第一判断结果；
若所述第一判断结果为否，则根据所述红外高频矩阵和所述可见光高频矩阵确定高频融合系数；
若所述第一判断结果为是，则根据所述可见光图像的信息熵和所述红外图像的信息熵确定高频融合系数。
可选的，所述将所述红外低频激励和所述可见光低频激励输入所述脉冲发放皮层模型得到低频融合系数，具体包括：
将所述红外低频激励输入所述脉冲发放皮层模型得到红外低频矩阵；
将所述可见光低频激励输入所述脉冲发放皮层模型得到可见光低频矩阵；
判断所述红外低频矩阵和所述可见光低频矩阵是否相等，得到第二判断结果；
若所述第二判断结果为否，则根据所述红外低频矩阵和所述可见光低频矩阵确定低频融合系数；
若所述第二判断结果为是，则根据所述可见光图像的信息熵和所述红外图像的信息熵确定低频融合系数。
可选的，所述脉冲发放皮层模型具体包括：神经元点火状态确定模型和矩阵确定模型；
所述神经元点火状态确定模型为：
其中，n为神经元点火状态确定模型内部的迭代次数；Uxy(n)是第n次迭代时神经元的内部活动项；f可控制神经元内部行为的衰减；Uxy(n-1)是第n-1次迭代时神经元的内部活动项；Sxy为激励信号；Wxykl为连接权系数矩阵；Ykl(n-1)为第n-1次迭代时邻域神经元的输出；Exy(n)是第n次迭代时动态阈值函数输出；g为阈值衰减系数；Exy(n-1)是第n-1次迭代时动态阈值函数输出；h为阈值放大系数，Yxy(n-1)表示第n-1次迭代时，神经元的点火状态；Yxy(n)表示第n次迭代时，神经元的点火状态；
所述矩阵确定模型为：
表示第n次迭代得到的矩阵，Txy(n-1)表示第n-1次迭代得到的矩阵。
一种图像融合系统，包括：
子带系数确定模块，用于对红外图像与可见光图像分别进行非下采样剪切波变换得到红外图像的子带系数和可见光图像的子带系数；所述子带系数包括高频子带系数和低频子带系数；
红外高频激励确定模块，用于根据所述红外图像的子带系数得到红外输入图像，以所述红外图像为引导图对所述红外输入图像进行引导滤波操作得到红外高频激励；
可见光高频激励确定模块，用于根据所述可见光图像的子带系数得到可见光输入图像，以所述可见光图像为引导图对所述可见光输入图像进行引导滤波操作得到可见光高频激励；
高频融合系数确定模块，用于将所述红外高频激励和所述可见光高频激励输入脉冲发放皮层模型得到高频融合系数；
融合图像确定模块，用于基于所述高频融合系数和低频融合系数，采用非下采样剪切波逆变换得到融合图像。
可选的，所述图像融合系统，还包括：
红外低频激励确定模块，用于根据所述红外图像的低频子带系数的区域均值和区域标准差得到红外低频激励；
可见光低频激励确定模块，用于根据所述可见光图像的低频子带系数的区域均值和区域标准差得到可见光低频激励；
低频融合系数确定模块，用于将所述红外低频激励和所述可见光低频激励输入所述脉冲发放皮层模型得到低频融合系数。
可选的，所述高频融合系数确定模块，包括：
红外高频矩阵确定单元，用于将所述红外高频激励输入所述脉冲发放皮层模型得到红外高频矩阵；
可见光高频矩阵确定单元，用于将所述可见光高频激励输入所述脉冲发放皮层模型得到可见光高频矩阵；
第一判断单元，用于判断所述红外高频矩阵和所述可见光高频矩阵是否相等，得到第一判断结果；
第一高频融合系数确定单元，用于若所述第一判断结果为否，则根据所述红外高频矩阵和所述可见光高频矩阵确定高频融合系数；
第二高频融合系数确定单元，用于若所述第一判断结果为是，则根据所述可见光图像的信息熵和所述红外图像的信息熵确定高频融合系数。
可选的，所述低频融合系数确定模块，包括：
红外低频矩阵确定单元，用于将所述红外低频激励输入所述脉冲发放皮层模型得到红外低频矩阵；
可见光低频矩阵确定单元，用于将所述可见光低频激励输入所述脉冲发放皮层模型得到可见光低频矩阵；
第二判断单元，用于判断所述红外低频矩阵和所述可见光低频矩阵是否相等，得到第二判断结果；
第一高频融合系数确定单元，用于若所述第二判断结果为否，则根据所述红外低频矩阵和所述可见光低频矩阵确定低频融合系数；
第二高频融合系数确定单元，用于若所述第二判断结果为是，则根据所述可见光图像的信息熵和所述红外图像的信息熵确定低频融合系数。
可选的，所述脉冲发放皮层模型具体包括：神经元点火状态确定模型和矩阵确定模型；
所述神经元点火状态确定模型为：
其中，n为神经元点火状态确定模型内部的迭代次数；Uxy(n)是第n次迭代时神经元的内部活动项；f可控制神经元内部行为的衰减；Uxy(n-1)是第n-1次迭代时神经元的内部活动项；Sxy为激励信号；Wxykl为连接权系数矩阵；Ykl(n-1)为第n-1次迭代时邻域神经元的输出；Exy(n)是第n次迭代时动态阈值函数输出；g为阈值衰减系数；Exy(n-1)是第n-1次迭代时动态阈值函数输出；h为阈值放大系数，Yxy(n-1)表示第n-1次迭代时，神经元的点火状态，Yxy(n)表示第n次迭代时，神经元的点火状态；
所述矩阵确定模型为：
表示第n次迭代得到的矩阵，Txy(n-1)表示第n-1次迭代得到的矩阵。
根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明在传统的NSST结合SCM的红外图像与可见光图像融合算法上，引入引导滤波激励SCM，融合高频子带图像，既能解决图像融合中边缘及细节信息保留较少的问题，又能减少变换域所造成的图像扭曲，最终获得一幅目标清晰、对比度较高、边缘及纹理信息丰富的融合图像。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的图像融合方法的大概过程的流程图；
图2为本发明实施例提供的图像融合方法的具体流程图；
图3为本发明实施例提供的以最后两层的高低频系数为例进行融合的过程；
图4为本发明实施例提供的图像融合系统的框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
目前红外与可见光图像融合算法主要存在以下问题：(1)边缘信息保留不够；(2)细节纹理信息易丢失，所以融合规则的选取直接影响融合结果。基于多尺度几何变换的图像融合算法是当前的研究热点。其中，NSST是目前在图像融合领域里性能较好的一个多尺度分解方式，其不仅具有多方向性，平移不变性等特点而且有效减少了图像融合算法的时间消耗，但对噪声比较敏感，易导致图像细节纹理信息丢失，空间扭曲等问题。为解决上述问题本实施例提供了一种图像融合方法在传统的NSST域与SCM结合的算法中引入引导滤波，来处理高频系数，并将其作为高频子带图像融合中SCM的外部激励进行红外与可见光图像融合。大概流程图如图1所示，首先，将源红外图像与源可见光图像用NSST分解得到各自的高频和低频系数，分解之后对红外高频系数和红外低频系数进行引导滤波操作得到SCM激励，在高频子带图像与低频子带图像中都使用SCM模型进行融合得到高频融合系数和低频融合系数，对高频融合系数和低频融合系数采用逆NSST得到融合图像，且在高频与低频子带图像的融合过程中计算各自不同的SCM外部激励，选取不同的融合规则。如图2所示，所述方法包括：
步骤101：对红外图像与可见光图像分别进行非下采样剪切波变换得到红外图像的子带系数和可见光图像的子带系数。所述子带系数包括高频子带系数和低频子带系数。使用NSST可避免在分解和重构过程中产生的频率混叠现象，且分解得到的高频子带和低频子带图像(子带图像由子带系数矩阵组成)与源图像大小相同，可以在后续图像融合过程中的减少图像配准误差对融合效果的不利影响，并且容易找到各子带图像像素之间的对应关系，有利于提升融合效果，本实施例设定4层的NSST分解，每层分解的方向数为[4,4,16,16]。
步骤102：根据所述红外图像的子带系数得到红外输入图像，以所述红外图像为引导图对所述红外输入图像进行引导滤波操作得到红外高频激励。
步骤103：根据所述可见光图像的子带系数得到可见光输入图像，以所述可见光图像为引导图对所述可见光输入图像进行引导滤波操作得到可见光高频激励。
步骤104：将所述红外高频激励和所述可见光高频激励输入脉冲发放皮层模型得到高频融合系数。
步骤105：基于所述高频融合系数和低频融合系数，采用非下采样剪切波逆变换得到融合图像。
在实际应用中，以所述可见光图像为引导图对所述可见光输入图像进行引导滤波操作得到可见光高频激励；以所述红外图像为引导图对所述红外输入图像进行引导滤波操作得到红外高频激励具体为：
根据公式IH(x,y)＝Gr,ε(I(x,y),P(x,y))计算高频激励，式中，IH(x,y)为高频子带图像融合中SCM的外部激励即高频激励；Gr,ε表示图像经引导滤波处理，r为滤波半径，ε为滤波模糊程度；I(x,y)为引导图像，这里取源红外图像与源可见光图像；P(x,y)表示输入图像，即需要滤波的图像。当引导图为可见光图像，输入图像为可见光输入图像时得到的是可见光高频激励，当引导图为红外图像，输入图像为红外输入图像时得到的是红外高频激励。
其中式中Hpq(x,y)表示q方向、p分解层数的红外图像的高频子带系数或可见光图像的高频子带系数；p，q分别表示分解的层数与方向序数；Ave(x,y)表示红外图像的低频子带系数的区域均值或者可见光图像的低频子带系数的区域均值。
在实际应用中引导滤波处理引导滤波处理的过程具体为：
根据公式得到滤波结果，式中，E(ak,bk)为滤波结果即高频激励，i为像素索引，ak，bk为线性系数，Ii为引导图，Pi为输入图像，ε为归一化因子，ωk为以引导图中一点k为中心，大小为(2r+1)×(2r+1)的局部窗。
其中，式中，μk为引导图的均值，/>表示引导图的方差，/>表示输入图像在窗口ωk中的均值；|ω|表示窗口内的像素数。
引导图与输出图之间的局部线性模型为：qi＝akIi+bk,
在实际应用中，结合区域均值和区域能量确定低频融合系数，所述低频融合系数的确定方法为：
根据所述红外图像的低频子带系数的区域均值和区域标准差得到红外低频激励；根据所述可见光图像的低频子带系数的区域均值和区域标准差得到可见光低频激励；低频子带图像可以看作时源图像的近似，携带源图像的大部分信息。但低频子带图像中含有少量的边缘信息，传统的融合方法往往忽视这一点，故本实施例在低频子带图像的融合中，选取低频子带图像的区域均值，保留图像的亮度及位置信息，同时选取区域方差，保留边缘信息，将两者结合起来，作为低频子带图像融合中SCM的外部激励，即低频激励。
将所述红外低频激励和所述可见光低频激励输入所述脉冲发放皮层模型得到低频融合系数。
在实际应用中，根据所述红外图像的低频子带系数的区域均值和区域标准差得到红外低频激励；根据所述可见光图像的低频子带系数的区域均值和区域标准差得到可见光低频激励，具体为：
根据公式计算低频激励，其中，IL(x,y)为低频子带图像融合时，SCM的外部激励即低频激励，M(x,y)和S(x,y)分别为低频子带图像中以像素(x,y)为中心的3×3区域均值和区域标准差的归一化形式，exp()为以自然常数e为底的指数函数。当输入为红外图像的低频子带系数的区域均值和区域标准差得到红外低频激励，当可见光图像的低频子带系数的区域均值和区域标准差得到可见光低频激励。
其中，式中M(x,y)为以像素(x,y)为中心的3×3区域均值的归一化形式，A(x,y)为以像素(x,y)为中心的3×3区域均值，max(A)表示区域均值取最大值。
其中S(x,y)为以像素(x,y)为中心的3×3区域标准差的归一化形式，σ(x,y)为以像素(x,y)为中心的3×3区域标准差。
其中其中L(x+i,y+i)为像素(x+i,y+1)的低频子带系数。
为了避免矩阵输出相等的情况，且让最终的融合图像保留源图像更多的有效信息，加入信息熵取大的方法进选择融合系数，在实际应用中，将所述红外高频激励和所述可见光高频激励输入脉冲发放皮层模型得到高频融合系数具体包括：
将所述红外高频激励输入所述脉冲发放皮层模型得到红外高频矩阵。
将所述可见光高频激励输入所述脉冲发放皮层模型得到可见光高频矩阵。
判断所述红外高频矩阵和所述可见光高频矩阵是否相等，得到第一判断结果。
若所述第一判断结果为否，则根据所述红外高频矩阵和所述可见光高频矩阵确定高频融合系数。
若所述第一判断结果为是，则根据所述可见光图像的信息熵和所述红外图像的信息熵确定高频融合系数。
在实际应用中，若第一判断结果为否则根据公式
得到高频融合系数，
若第一判断结果为是则根据公式
得到高频融合系数，式中，/>表示高频融合系数,/>和/>分别表示红外图像的高频子带系数和可见光图像的高频子带系数。/>为p层q方向的红外高频矩阵，/>为p层q方向的可见光高频矩阵，IEVI和IEIR分别表示红外图像的信息熵和可见光图像的信息熵。
在实际应用中，将所述红外低频激励和所述可见光低频激励输入所述脉冲发放皮层模型得到低频融合系数，具体包括：
将所述红外低频激励输入所述脉冲发放皮层模型得到红外低频矩阵。
将所述可见光低频激励输入所述脉冲发放皮层模型得到可见光低频矩阵。
判断所述红外低频矩阵和所述可见光低频矩阵是否相等，得到第二判断结果。
若所述第二判断结果为否，则根据所述红外低频矩阵和所述可见光低频矩阵确定低频融合系数。
若所述第二判断结果为是，则根据所述可见光图像的信息熵和所述红外图像的信息熵确定低频融合系数。
输入的图像(可见光图像和红外图像)和对应的激励(可见光高频激励、可见光低频激励、红外高频激励、红外低频激励)在脉冲发放皮层模型满足公式：
其中，Lxy(n)为输入的图像；Vl为增益幅度。
在实际应用中，若第二判断结果为否则根据公式
计算低频融合系数，
若所述第二判断结果为是则根据公式
计算低频融合系数，式中，/>和/>分别表示红外低频矩阵和可见光低频矩阵，LF(x,y)表示低频融合系数,LVI(x,y)和LIR(x,y)分别表示红外图像的低频子带系数和可见光图像的低频子带系数，IEVI和IEIR分别表示红外图像和可见光图像的信息熵。
在实际应用中，信息熵的确定过程为：根据公式计算信息熵，其中IE为信息熵，pi为图像第i级灰度值出现的概率。
在实际应用中，所述脉冲发放皮层模型具体包括：神经元点火状态确定模型和矩阵确定模型。
所述神经元点火状态确定模型为：
其中，xy为图像中对应的像素点位置，n为神经元点火状态确定模型内部的迭代次数；Uxy(n)是第n次迭代时神经元的内部活动项；f可控制神经元内部行为的衰减；Uxy(n-1)是第n-1次迭代时神经元的内部活动项；Sxy为激励信号；Wxykl为连接权系数矩阵；Ykl(n-1)为第n-1次迭代时邻域神经元的输出；Exy(n)是第n次迭代时动态阈值函数输出；g为阈值衰减系数；Exy(n-1)是第n-1次迭代时动态阈值函数输出；h为阈值放大系数，Yxy(n-1)表示第n-1次迭代时，神经元的点火状态，Yxy(n)表示第n次迭代时，神经元的点火状态，当Yxy(n)＝1时，称神经元点火；当初始迭代时令Uxy(0)＝Lxy(0)＝Exy(0)＝Yxy(0)＝0,即，使神经元的内部行为初始值Uxy(0)，连接输入项初始值Lxy(0)，动态阈值函数输出初始值Exy(0)及还未迭代时神经元的点火状态Yxy(0)都为0。
现有的矩阵确定模型为：
通过这个矩阵确定模型为来输出SCM第一次输出脉冲的时间(即当时所达到的迭代次数n)，在考虑高频低频子带图像融合规则的时候，只需要比较第一次输出脉冲的时间，通过取小的方法来融合。矩阵使得SCM在图像融合的应用中的算法效率有了一定的提高，且解决了参数n的设定问题。但是由于一般情况下SCM中的相关变量的初值通常会设为0，而当外部输入激励Sxy取值为0时，会导致SCM无法产生脉冲，从而使得添加矩阵后进入无限迭代的过程。为了防止这种情况的发生，对SCM进行了一点改进，添加一个判定外部激励是否为0的条件，如果外部激励为0，则直接输出矩阵在对应位置处元素的值为无穷大即将所述矩阵模型确定为：
其中Txy(n)表示第n次迭代得到的矩阵，Txy(n-1)表示第n-1次迭代得到的矩阵。图像是由不同灰度值的像素点组成的，输入多少个像素点，就会输出多少个元素值(比如：当输入红外图像和红外高频激励时，若SCM神经元不是点火状态，输出为0，若为点火状态，则输出1，2,...，n，SCM迭代到第n次截至)，这些元素值组成红外高频矩阵即当Sxy不为0时，当第一次迭代的点火状态为1时，第n次迭代得到的矩阵为由n组成的矩阵，当第一次迭代的点火状态不为1时，第n次迭代得到的矩阵为第n-1次迭代得到的矩阵，将n次迭代得到的所有矩阵确定为最终的矩阵。
将红外图像与可见光图像各自的高、低频激励输入SCM模型中，输出各自的高低频矩阵，为了方便区分，分别用表示(其中，T表示矩阵，H表示高频子带图像，L表示低频子带图像，VI表示可见光图像，IR表示红外图像)。当Sxy为红外高频激励时Txy(n)为红外高频矩阵/>(由n次迭代得到的所有矩阵构成的)，当Sxy为红外低频激励时Txy(n)为红外低频矩阵/>(由n次迭代得到的所有矩阵构成的)，当Sxy为可见光高频激励时Txy(n)为可见光高频矩阵/>(由n次迭代得到的所有矩阵构成的)，当Sxy为可见光低频激励时Txy(n)为可见光低频矩阵/>(由n次迭代得到的所有矩阵构成的)。
在实际应用中，基于所述高频融合系数和低频融合系数，采用非下采样剪切波逆变换得到融合图像具体包括：
先将得到的每一层每个方向的高频融合系数与每个层构建的剪切滤波器SF进行逆卷积变换，(p表示每一个层的分解，q表示q个不同的方向)得到每个层的高频系数/>然后通过离散傅里叶变换，将SF从笛卡尔坐标转换到伪极化格中，将得到的每一层的高频融合系数/>与低频融合系数/>经过非下采样金字塔(NLP)的逆变换，得到上一层的低频融合系数，接着将上一层的低频融合系数与上一层的高频融合系数得到进行NLP逆变换，得到上上层的低频融合系数，重复以上操作，最终得到重构的融合图像。
以最后两层的高低频系数为例，流程图如图3所示，图中，逆NLP表示非下采样拉普拉斯逆变换；逆SF表示逆剪切波变换；HF和LF分别表示高频和低频融合的子带系数；上标中的1，2表示第一层和第二层分解，q表示q个不同的方向。
本实施例还提供了一种与上述方法对应的图像融合系统，如图4所示，所述系统包括：
子带系数确定模块A1，用于对红外图像与可见光图像分别进行非下采样剪切波变换得到红外图像的子带系数和可见光图像的子带系数；所述子带系数包括高频子带系数和低频子带系数。
红外高频激励确定模块A2，用于根据所述红外图像的子带系数得到红外输入图像，以所述红外图像为引导图对所述红外输入图像进行引导滤波操作得到红外高频激励。
可见光高频激励确定模块A3，用于根据所述可见光图像的子带系数得到可见光输入图像，以所述可见光图像为引导图对所述可见光输入图像进行引导滤波操作得到可见光高频激励。
高频融合系数确定模块A4，用于将所述红外高频激励和所述可见光高频激励输入脉冲发放皮层模型得到高频融合系数。
融合图像确定模块A5，用于基于所述高频融合系数和低频融合系数，采用非下采样剪切波逆变换得到融合图像。
作为一种可选的实施方式，所述系统还包括：
红外低频激励确定模块，用于根据所述红外图像的低频子带系数的区域均值和区域标准差得到红外低频激励。
可见光低频激励确定模块，用于根据所述可见光图像的低频子带系数的区域均值和区域标准差得到可见光低频激励。
低频融合系数确定模块，用于将所述红外低频激励和所述可见光低频激励输入所述脉冲发放皮层模型得到低频融合系数。
作为一种可选的实施方式，所述高频融合系数确定模块，包括：
红外高频矩阵确定单元，用于将所述红外高频激励输入所述脉冲发放皮层模型得到红外高频矩阵。
可见光高频矩阵确定单元，用于将所述可见光高频激励输入所述脉冲发放皮层模型得到可见光高频矩阵。
第一判断单元，用于判断所述红外高频矩阵和所述可见光高频矩阵是否相等，得到第一判断结果。
第一高频融合系数确定单元，用于若所述第一判断结果为否，则根据所述红外高频矩阵和所述可见光高频矩阵确定高频融合系数。
第二高频融合系数确定单元，用于若所述第一判断结果为是，则根据所述可见光图像的信息熵和所述红外图像的信息熵确定高频融合系数。
作为一种可选的实施方式，所述低频融合系数确定模块，包括：
红外低频矩阵确定单元，用于将所述红外低频激励输入所述脉冲发放皮层模型得到红外低频矩阵。
可见光低频矩阵确定单元，用于将所述可见光低频激励输入所述脉冲发放皮层模型得到可见光低频矩阵。
第二判断单元，用于判断所述红外低频矩阵和所述可见光低频矩阵是否相等，得到第二判断结果。
第一高频融合系数确定单元，用于若所述第二判断结果为否，则根据所述红外低频矩阵和所述可见光低频矩阵确定低频融合系数。
第二高频融合系数确定单元，用于若所述第二判断结果为是，则根据所述可见光图像的信息熵和所述红外图像的信息熵确定低频融合系数。
作为一种可选的实施方式，所述脉冲发放皮层模型具体包括：神经元点火状态确定模型和矩阵确定模型。
所述神经元点火状态确定模型为：
其中，n为神经元点火状态确定模型内部的迭代次数；Uxy(n)是第n次迭代时神经元的内部活动项；f可控制神经元内部行为的衰减；Uxy(n-1)是第n-1次迭代时神经元的内部活动项；Sxy为激励信号；Wxykl为连接权系数矩阵；Ykl(n-1)为第n-1次迭代时邻域神经元的输出；Exy(n)是第n次迭代时动态阈值函数输出；g为阈值衰减系数；Exy(n-1)是第n-1次迭代时动态阈值函数输出；h为阈值放大系数，Yxy(n-1)表示第n-1次迭代时，神经元的点火状态，Yxy(n)表示第n次迭代时，神经元的点火状态。
所述矩阵确定模型为：
其中Txy(n)表示第n次迭代得到的矩阵，Txy(n-1)表示第n-1次迭代得到的矩阵。
本实施例有以下技术效果：
1、引导滤波具有良好的边缘梯度保持特性、边缘平滑功能特性。使用引导滤波，可以保留更多的边缘信息，同时减少NSST域造成的空间扭曲。相对于低频子带图像来说，高频子带图像携带更多的边缘细节信息，且其突出程度取决于背景信息。因此，在高频子带图像融合中，可以将低频子带图像信息近似为背景信息。传统方法中，大多在使用引导滤波后直接进行低频子带图像融合，而本文与传统方法不同，使用引导滤波处理高频子带系数的绝对值与对应低频系数所在领域的均值后，作为高频融合中SCM的外部激励，保留更多的边缘细节信息，并且减少变换域所造成的图像扭曲。在主观视觉上红外目标突出，背景信息丰富，保留了良好的边缘及纹理信息，使得边缘保留因子、信息熵，以及对比度等指标有明显的提高，同时增加系数的空间连续性，改善变换域算法图像扭曲的特点。
2、SCM是从脉冲耦合神经元网络PCNN模型为切入点衍生出的模型。SCM不仅继承了PCNN适于人眼观察优点，而且与PCNN相比，其参数较少，降低了计算的复杂度，节省了时间，大大提高了融合效率。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (4)
1.一种图像融合方法，其特征在于，包括：
对红外图像与可见光图像分别进行非下采样剪切波变换得到红外图像的子带系数和可见光图像的子带系数；所述子带系数包括高频子带系数和低频子带系数；
根据所述红外图像的子带系数得到红外输入图像，以所述红外图像为引导图对所述红外输入图像进行引导滤波操作得到红外高频激励；
根据所述可见光图像的子带系数得到可见光输入图像，以所述可见光图像为引导图对所述可见光输入图像进行引导滤波操作得到可见光高频激励；
将所述红外高频激励和所述可见光高频激励输入脉冲发放皮层模型得到高频融合系数；
基于所述高频融合系数和低频融合系数，采用非下采样剪切波逆变换得到融合图像；
所述低频融合系数的确定方法为：
根据所述红外图像的低频子带系数的区域均值和区域标准差得到红外低频激励；
根据所述可见光图像的低频子带系数的区域均值和区域标准差得到可见光低频激励；
将所述红外低频激励和所述可见光低频激励输入所述脉冲发放皮层模型得到低频融合系数；
将所述红外高频激励和所述可见光高频激励输入脉冲发放皮层模型得到高频融合系数具体包括：
将所述红外高频激励输入所述脉冲发放皮层模型得到红外高频矩阵；
将所述可见光高频激励输入所述脉冲发放皮层模型得到可见光高频矩阵；
判断所述红外高频矩阵和所述可见光高频矩阵是否相等，得到第一判断结果；
若所述第一判断结果为否，则根据公式
得到高频融合系数；
若所述第一判断结果为是，则根据公式
得到高频融合系数，式中，/>表示高频融合系数，/>和/>分别表示红外图像的高频子带系数和可见光图像的高频子带系数；/>为p层q方向的红外高频矩阵，/>为p层q方向的可见光高频矩阵，IEVI和IEIR分别表示红外图像的信息熵和可见光图像的信息熵；
将所述红外低频激励和所述可见光低频激励输入所述脉冲发放皮层模型得到低频融合系数，具体包括：
将所述红外低频激励输入所述脉冲发放皮层模型得到红外低频矩阵；
将所述可见光低频激励输入所述脉冲发放皮层模型得到可见光低频矩阵；
判断所述红外低频矩阵和所述可见光低频矩阵是否相等，得到第二判断结果；
若所述第二判断结果为否，则根据公式
计算低频融合系数；
若所述第二判断结果为是，则根据公式
计算低频融合系数，式中，/>和/>分别表示红外低频矩阵和可见光低频矩阵，LF(x,y)表示低频融合系数，LVI(x,y)和LIR(x,y)分别表示红外图像的低频子带系数和可见光图像的低频子带系数，IEVI和IEIR分别表示红外图像和可见光图像的信息熵。
2.根据权利要求1所述的一种图像融合方法，其特征在于，所述脉冲发放皮层模型具体包括：神经元点火状态确定模型和矩阵确定模型；
所述神经元点火状态确定模型为：
其中，n为神经元点火状态确定模型内部的迭代次数；Uxy(n)是第n次迭代时神经元的内部活动项；f可控制神经元内部行为的衰减；Uxy(n-1)是第n-1次迭代时神经元的内部活动项；Sxy为激励信号；Wxykl为连接权系数矩阵；Ykl(n-1)为第n-1次迭代时邻域神经元的输出；Exy(n)是第n次迭代时动态阈值函数输出；g为阈值衰减系数；Exy(n-1)是第n-1次迭代时动态阈值函数输出；h为阈值放大系数，Yxy(n-1)表示第n-1次迭代时，神经元的点火状态；Yxy(n)表示第n次迭代时，神经元的点火状态；
所述矩阵确定模型为：
其中Txy(n)表示第n次迭代得到的矩阵，Txy(n-1)表示第n-1次迭代得到的矩阵。
3.一种图像融合系统，其特征在于，包括：
子带系数确定模块，用于对红外图像与可见光图像分别进行非下采样剪切波变换得到红外图像的子带系数和可见光图像的子带系数；所述子带系数包括高频子带系数和低频子带系数；
红外高频激励确定模块，用于根据所述红外图像的子带系数得到红外输入图像，以所述红外图像为引导图对所述红外输入图像进行引导滤波操作得到红外高频激励；
可见光高频激励确定模块，用于根据所述可见光图像的子带系数得到可见光输入图像，以所述可见光图像为引导图对所述可见光输入图像进行引导滤波操作得到可见光高频激励；
高频融合系数确定模块，用于将所述红外高频激励和所述可见光高频激励输入脉冲发放皮层模型得到高频融合系数；
红外低频激励确定模块，用于根据所述红外图像的低频子带系数的区域均值和区域标准差得到红外低频激励；
可见光低频激励确定模块，用于根据所述可见光图像的低频子带系数的区域均值和区域标准差得到可见光低频激励；
低频融合系数确定模块，用于将所述红外低频激励和所述可见光低频激励输入所述脉冲发放皮层模型得到低频融合系数；
融合图像确定模块，用于基于所述高频融合系数和低频融合系数，采用非下采样剪切波逆变换得到融合图像；
所述高频融合系数确定模块，包括：
红外高频矩阵确定单元，用于将所述红外高频激励输入所述脉冲发放皮层模型得到红外高频矩阵；
可见光高频矩阵确定单元，用于将所述可见光高频激励输入所述脉冲发放皮层模型得到可见光高频矩阵；
第一判断单元，用于判断所述红外高频矩阵和所述可见光高频矩阵是否相等，得到第一判断结果；
第一高频融合系数确定单元，用于若所述第一判断结果为否，则根据公式
得到高频融合系数；
第二高频融合系数确定单元，用于若所述第一判断结果为是，则根据公式
得到高频融合系数，式中，/>表示高频融合系数，/>和/>分别表示红外图像的高频子带系数和可见光图像的高频子带系数；/>为p层q方向的红外高频矩阵，/>为p层q方向的可见光高频矩阵，IEVI和IEIR分别表示红外图像的信息熵和可见光图像的信息熵；
所述低频融合系数确定模块，包括：
红外低频矩阵确定单元，用于将所述红外低频激励输入所述脉冲发放皮层模型得到红外低频矩阵；
可见光低频矩阵确定单元，用于将所述可见光低频激励输入所述脉冲发放皮层模型得到可见光低频矩阵；
第二判断单元，用于判断所述红外低频矩阵和所述可见光低频矩阵是否相等，得到第二判断结果；
第一高频融合系数确定单元，用于若所述第二判断结果为否，则根据公式
计算低频融合系数；
第二高频融合系数确定单元，用于若所述第二判断结果为是，则根据公式
计算低频融合系数，式中，/>和/>分别表示红外低频矩阵和可见光低频矩阵，LF(x,y)表示低频融合系数，LVI(x,y)和LIR(x,y)分别表示红外图像的低频子带系数和可见光图像的低频子带系数，IEVI和IEIR分别表示红外图像和可见光图像的信息熵。
4.根据权利要求3所述的一种图像融合系统，其特征在于，所述脉冲发放皮层模型具体包括：神经元点火状态确定模型和矩阵确定模型；
所述神经元点火状态确定模型为：
其中，n为神经元点火状态确定模型内部的迭代次数；Uxy(n)是第n次迭代时神经元的内部活动项；f可控制神经元内部行为的衰减；Uxy(n-1)是第n-1次迭代时神经元的内部活动项；Sxy为激励信号；Wxykl为连接权系数矩阵；Ykl(n-1)为第n-1次迭代时邻域神经元的输出；Exy(n)是第n次迭代时动态阈值函数输出；g为阈值衰减系数；Exy(n-1)是第n-1次迭代时动态阈值函数输出；h为阈值放大系数，Yxy(n-1)表示第n-1次迭代时，神经元的点火状态；Yxy(n)表示第n次迭代时，神经元的点火状态；
所述矩阵确定模型为：
其中Txy(n)表示第n次迭代得到的矩阵，Txy(n-1)表示第n-1次迭代得到的矩阵。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110554906.8A CN113177904B (zh) | 2021-05-21 | 2021-05-21 | 一种图像融合方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110554906.8A CN113177904B (zh) | 2021-05-21 | 2021-05-21 | 一种图像融合方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113177904A CN113177904A (zh) | 2021-07-27 |
| CN113177904B true CN113177904B (zh) | 2024-04-19 |
Family
ID=76929522
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110554906.8A Active CN113177904B (zh) | 2021-05-21 | 2021-05-21 | 一种图像融合方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113177904B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113935922B (zh) * | 2021-10-21 | 2024-05-24 | 燕山大学 | 一种红外与可见光图像特征增强融合方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104809734A (zh) * | 2015-05-11 | 2015-07-29 | 中国人民解放军总装备部军械技术研究所 | 一种基于引导滤波的红外图像与可见光图像融合的方法 |
| CN108389158A (zh) * | 2018-02-12 | 2018-08-10 | 河北大学 | 一种红外和可见光的图像融合方法 |
| CN109035189A (zh) * | 2018-07-17 | 2018-12-18 | 桂林电子科技大学 | 基于柯西模糊函数的红外与弱可见光图像融合方法 |
-
2021
- 2021-05-21 CN CN202110554906.8A patent/CN113177904B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104809734A (zh) * | 2015-05-11 | 2015-07-29 | 中国人民解放军总装备部军械技术研究所 | 一种基于引导滤波的红外图像与可见光图像融合的方法 |
| CN108389158A (zh) * | 2018-02-12 | 2018-08-10 | 河北大学 | 一种红外和可见光的图像融合方法 |
| CN109035189A (zh) * | 2018-07-17 | 2018-12-18 | 桂林电子科技大学 | 基于柯西模糊函数的红外与弱可见光图像融合方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于Guide滤波和NSCT-PCNN的图像增强;张雁翔;祁育仙;;智能计算机与应用(第02期);全文 * |
| 结合视觉显著性与Dual-PCNN的红外与可见光图像融合;侯瑞超;周冬明;聂仁灿;刘栋;郭晓鹏;;计算机科学(第S1期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113177904A (zh) | 2021-07-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111012336B (zh) | 时空特征融合的并行卷积网络运动想象脑电图分类方法 | |
| CN109035189B (zh) | 基于柯西模糊函数的红外与弱可见光图像融合方法 | |
| CN111080568B (zh) | 一种基于Tetrolet变换的近红外与彩色可见光图像融合算法 | |
| CN107194904B (zh) | 基于增补机制和pcnn的nsct域图像融合方法 | |
| CN113837974B (zh) | 一种基于改进beeps滤波算法的nsst域电力设备红外图像增强方法 | |
| CN106327459B (zh) | 基于udct和pcnn的可见光与红外图像融合方法 | |
| CN111028163A (zh) | 一种基于卷积神经网络的联合图像去噪与弱光增强方法 | |
| CN113808042B (zh) | 一种基于小波变换和生成对抗网络的sar图像去噪方法 | |
| CN105551010A (zh) | 基于nsct及深度信息激励pcnn的多聚焦图像融合方法 | |
| CN114092353B (zh) | 一种基于加权引导滤波的红外图像增强方法 | |
| CN113870135A (zh) | 一种基于天牛须优化算法的nsst域红外图像增强方法 | |
| CN105225213B (zh) | 一种基于s‑pcnn与拉普拉斯金字塔的彩色图像融合方法 | |
| CN112819739B (zh) | 一种扫描电子显微镜图像处理方法和系统 | |
| CN109493295A (zh) | 一种非局部哈尔变换图像去噪方法 | |
| CN113177904B (zh) | 一种图像融合方法及系统 | |
| CN114170103A (zh) | 一种电气设备红外图像增强方法 | |
| Shan et al. | Residual learning of deep convolutional neural networks for image denoising | |
| CN115049570A (zh) | 一种低照度下的可见光与红外图像融合方法 | |
| CN110148083B (zh) | 基于快速bemd和深度学习的图像融合方法 | |
| CN104616252B (zh) | 基于nsct和pcnn的数字图像增强方法 | |
| CN104240208A (zh) | 非制冷红外焦平面探测器图像细节增强方法 | |
| CN114445308B (zh) | 基于新型区域特征融合规则的红外与可见光图像融合方法 | |
| CN112862712A (zh) | 美颜处理方法、系统、存储介质和终端设备 | |
| CN112822343A (zh) | 一种面向夜间视频的清晰化方法及存储介质 | |
| CN114066786A (zh) | 一种基于稀疏和滤波器的红外和可见光图像融合方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |