CN111861960B - 一种红外和可见光图像融合方法 - Google Patents
一种红外和可见光图像融合方法 Download PDFInfo
- Publication number
- CN111861960B CN111861960B CN202010694381.3A CN202010694381A CN111861960B CN 111861960 B CN111861960 B CN 111861960B CN 202010694381 A CN202010694381 A CN 202010694381A CN 111861960 B CN111861960 B CN 111861960B
- Authority
- CN
- China
- Prior art keywords
- fusion
- image
- gradient
- matrix
- infrared
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 14
- 230000004927 fusion Effects 0.000 claims abstract description 89
- 238000000034 method Methods 0.000 claims abstract description 45
- 238000004800 variational method Methods 0.000 claims abstract description 12
- 239000011159 matrix material Substances 0.000 claims description 63
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 230000004438 eyesight Effects 0.000 abstract description 4
- 238000005457 optimization Methods 0.000 abstract description 4
- 238000001514 detection method Methods 0.000 abstract description 2
- 238000012216 screening Methods 0.000 abstract description 2
- 238000011156 evaluation Methods 0.000 description 14
- 230000000694 effects Effects 0.000 description 6
- 230000002146 bilateral effect Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 229920002430 Fibre-reinforced plastic Polymers 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000011151 fibre-reinforced plastic Substances 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10052—Images from lightfield camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明提出了一种红外和可见光图像融合方法，基于变分法与局部梯度相似性，能够生成保留更多像素梯度和强度信息的融合图像。以已配准的红外和可见光图像为背景，以获取信息更为丰富的融合图像为目标，研究图像融合问题。首先采用结构张量计算得到源图像的融合梯度，利用局部梯度相似性使融合梯度方向更加精确；其次，根据像素强度的比较，将源图像重构为显著图和非显著图，并计算用于甄别和保留非显著图有效细节的权重图；再者，基于源图像的梯度特征和像素强度信息，建立图像融合模型；最后，采用变分法求解优化模型以得到融合图像。本发明所提出的方法在许多应用领域具有潜在的价值，如目标检测、跟踪等计算机视觉方面。
Description
技术领域
本发明属于信息处理方面图像融合技术领域，涉及一种红外和可见光图像融合方法。
背景技术
由于人类视觉的局限性，不同的传感器可以用来获取不同情况下人类视觉无法获取的信息。图像融合技术能够协同利用同一场景的多种传感器图像信息，并生成融合图像，以获得更准确、可靠和全面的场景描述，也便于人类视觉感知或计算机进一步处理和分析。
红外和可见光传感器获取的图像在内容上具有互补性，具体体现在红外图像传感器是热成像工作原理，受黑暗或恶劣天气影响较小，但是成像一般较暗且无彩色信息。而可见光图像光谱信息丰富，能够保留更多的细节和纹理信息，但是需要有照明良好的工作环境。二者的融合可以有效提高图像对场景细节与热目标的描述能力，获得更加详细准确的信息，在军事作战、目标检测、跟踪等领域都具有广泛的使用价值。
目前，红外与可见光图像融合的主要方法有：基于多尺度变换的方法，基于稀疏表示的方法等，大部分算法都是基于空域和频域。还有一个重要分支即利用梯度域信息，在梯度域，重要图像特征被提取成梯度信息能较容易传递到融合图像中，一些优化方法也相继被用于图像融合领域，例如加权最小二乘优化方法、粒子群优化方法等。但是现有的这些融合方法没有考虑到梯度域图像特征的优点，不能保证在梯度域获得的融合梯度信息融合梯度方向的精确性；在空域进行图像重构时，没有赋予有效细节的权重图，生成保留的像素梯度和强度信息有效，导致融合效果一般，图像目标不突出。
发明内容
有鉴于此，本发明提出了一种红外和可见光图像融合方法，基于变分法与局部梯度相似性，能够生成保留更多像素梯度和强度信息的融合图像，融合效果更好，图像目标突出，更有利于后续的图像应用。
为实现上述目的，本发明技术方案如下：
本发明的一种红外和可见光图像融合方法，包括以下步骤：
步骤1、将红外和可见光源图像的权重设定为1，获得红外和可见光源图像在x位置处的初始融合梯度的结构张量：
其中，x用(x1，x2)表示，x1表示水平方向坐标，x2表示竖直方向坐标；In表示图像的像素强度分布矩阵，n＝1，2，分别表示对红外和可见光源两个模态源图像的标号；
G(x)为半正定矩阵，G(x)＝U(x)Λ(x)U(x)T；其中Λ(x)为具有两个非负特征值的对角矩阵，其维数为2×2；U(x)为由Λ(x)的特征值相对应的特征向量构成的正交矩阵，其维数为2×2；
将Λ(x)特征值中最大的记为λ1(x)，根据公式G(x)＝λ1(x)θ1(x)θ1(x)T，计算得到λ1(x)对应的特征向量θ1(x)；
获得初始融合梯度为：
步骤2，分别计算初始融合梯度VF(x)的局部梯度相似性矩阵P0(x)与红外源图像梯度的局部梯度相似性矩阵P1(x)，以及可见光源图像梯度的局部梯度相似性矩阵P2(x)的差值，则x位置处的差值Sn(x)为：
Sn(x)＝||Pn(x)-P0(x)||1
其中，||·||1表示向量的1范数；
获得模态隶属标号C(x)：
计算在x位置处的最终融合梯度VF1(x)：
其中，其中，sign表示为符号函数，<·>表示计算向量内积，/>表示标号为C(x)模态的源图像在x位置处的梯度；
步骤3、在空域比较红外源图与可见光源图的像素强度，得到红外源图中像素强度大于可见光源图像素强度的区域D；
将红外和可见光两种模态的源图像重构成显著图M和非显著图U两幅图像，具体如下：
M＝D×I1+(1-D)×I2
U＝(1-D)×I2+D×I1
步骤4，获得非显著图对应的权重矩阵Wd：
其中，为红外模态非显著图部分对应的权重矩阵，/>为可见光模态非显著图部分对应的权重矩阵；/>计算公式为：/>
其中，为非显著图像有效细节判断矩阵，/>为具体权值计算矩阵；具体地，对于红外和可见光两种模态，在x位置处/>和/>具体表达式如下：
其中，wx为以位置x为中心的窗口，q表示wx窗口内的像素位置，D(x)表示所述区域D在x位置上的取值，ε为常数；
步骤5、利用融合梯度矩阵VF、显著图M、非显著图U以及非显著图对应的权重矩阵Wd，构建图像融合模型：
其中，||·||F表示矩阵的F范数，β和α分别表示两个正则项；IF为融合图像，由以下公式求得：
IF＝W×I1+(1-W)×I2
其中，W为融合权重矩阵；
步骤6、采用变分法迭代求解图像融合模型，得到融合权重矩阵W，进而得到融合图像IF；
其中，在采用变分法迭代图像融合模型求解的过程中引入时间辅助变量t，具体求解公式如下：
其中，和/>分别代表融合梯度在水平和竖直上的梯度分量；/>和/>分别表示融合权重矩阵W在x1和x2方向上的偏导数；/>和/>分别表示融合图像IF在x1和x2方向上的偏导数，具体由以下公式计算得到：
通过迭代循环，最终得到融合权重矩阵W，进而计算得到融合图像IF。
其中，所述步骤2中，局部梯度相似性矩阵由以下公式计算得到：
其中，i表示周围8个位置与中心x的关联编号，σ为指数衰减因子；表示方向因子，用于描述在第n个模态中，x位置的梯度/>与x位置周围第i个位置的梯度/>所构成角度差的余弦值，/>表达式为/>其中，|·|表示计算向量的模；/>表示距离因子，用于描述在第n个模态中，x位置的梯度/>与x位置周围第i个位置的梯度/>计算得到的欧式距离，/>表达式为/>其中，||·||2表示向量的2范数。
其中，其特征在于，所述步骤4中，在计算得到具体权值矩阵后，采用导向滤波对其进行优化处理。
有益效果：
本发明在处理梯度域信息时，采用结构张量和局部梯度相似性计算获得融合梯度信息，在梯度域上能够提取并保留更多源图像有效的细节信息；本发明采用梯度域的图像梯度信息和空域的像素强度信息构建图像融合模型，使融合图像包含的信息更丰富；本发明采用变分法迭代求解图像融合模型，获得融合图像，在主观视觉和客观评价指标上具有更优异的效果。
附图说明
图1为本发明所描述的基于结构张量和变分法的红外和可见光融合方法整体流程图；
图2(a)和(b)分别是本发明第一组源图像的红外图像和可见光图像；
图2(c)和(d)分别是本发明第二组源图像的红外图像和可见光图像；
图2(e)和(f)分别是本发明第三组源图像的红外图像和可见光图像；
图3(a)-(d)分别是本发明、交叉双边滤波器方法(CBF)、导向滤波方法(GFF)、加权最小二乘融合方法(WLS)融合第一组源图像生成的融合图像；
图4(a)-(d)分别是本发明、交叉双边滤波器方法(CBF)、导向滤波方法(GFF)、加权最小二乘融合方法(WLS)融合第二组源图像生成的融合图像；
图5(a)-(d)分别是本发明、交叉双边滤波器方法(CBF)、导向滤波方法(GFF)、加权最小二乘融合方法(WLS)融合第三组源图像生成的融合图像。
具体实施方式
下面结合附图并举实施例，对本发明进行详细描述。
考虑到梯度域图像特征的优点，在梯度域，采用结构张量和提出的局部梯度相似性以获得融合梯度信息。在空域进行图像重构，赋予有效细节进行权重图。并结合空域和梯度域信息构建图像融合模型，最后采用变分法迭代求解模型，以生成保留更多像素梯度和强度信息的融合图像。本发明基于结构张量和变分法的红外和可见光图像融合方法的整体流程图如图1所示，硬件环境为计算机；软件配置为Windows 8/10；MATLAB环境软件，具体实现如下：
步骤1、采用结合结构张量和局部梯度相似性的方法，在梯度域计算初始融合梯度。具体计算过程包括以下步骤：
将红外和可见光源图像的权重设定为1，获得红外和可见光源图像在x位置处的初始融合梯度的结构张量：
其中，x＝x1，x2，x1表示水平方向坐标，x2表示竖直方向坐标；In表示图像的像素强度分布矩阵，n＝1，2，In(x)表示对红外和可见光源两个模态源图像的标号；
G(x)为半正定矩阵，G(x)＝U(x)Λ(x)U(x)T；其中Λ为具有两个非负特征值的对角矩阵，其维数为2×2；U为由Λ的特征值相对应的特征向量构成的正交矩阵，其维数为2×2；
将Λ特征值中最大的记为λ1(x)，根据公式G(x)＝λ1(x)θ1(x)θ1(x)T，计算得到λ1(x)对应的特征向量θ1(x)；
获得初始融合梯度为：
步骤2，分别计算得到两个模态源图像梯度的局部梯度相似性矩阵Pn(x)，以及初始融合梯度VF(x)的局部梯度相似性矩阵P0(x)。分别计算P0(x)与P1(x)和P2(x)之间的差值，利用下式计算差值矩阵Sn(x)：
Sn(x)＝||Pn(x)-P0(x)||1，n＝1，2
其中，||·||1表示向量的1范数。利用下式计算隶属矩阵C(x)：
根据步骤1计算得到的最大特征向量对应的特征向量θ1(x)，以及步骤2计算得到的隶属矩阵C(x)，由以下公式计算k矩阵：
其中，sign表示为符号函数。在x位置处的最终融合梯度VF(x)：
其中，本实施例采用的局部梯度相似性矩阵在步骤1计算得到的初始融合梯度的基础上，增设用于精确决策融合梯度方向的k矩阵。k矩阵与局部梯度相似性矩阵相关，/>由以下公式计算得到：
其中，i表示周围8个位置与中心x的关联编号，σ为指数衰减因子。相关参数的设定和需要满足的要求如下：
表示方向因子，用于描述在第n个模态中，x位置的梯度与其周围第i个位置的梯度所构成角度差的余弦值。一般情况下Dn(x)为一个1×8的向量，定义公式为：
其中，<·>表示计算向量内积，|·|表示计算向量的模。
表示距离因子，用于描述在第n个模态中，x位置的梯度与其周围第i个位置的梯度计算得到的欧式距离。一般情况下An(x)为一个1×8的向量，定义公式为：
其中，||·||2表示向量的2范数。
步骤3、根据像素强度大小将源图像重构为显著图和非显著图，并计算用于甄别和保留非显著图有效细节的权重图；具体过程有以下步骤：
步骤3.1、在空域根据像素强度的比较，得到红外源图中具有较大像素值的区域，由以下公式计算得到：
将红外和可见光两种模态的源图像重构成显著图和非显著图两幅图像。其中，显著图M由来自红外源图的M1和来自可见光源图的M2构成，非显著图U来自红外源图的U1和来自可见光源图的U2构成，可由以下公式计算得来：
M(x)＝M1(x)+M2(x)＝D(x)×I1(x)+(1-D(x))×I2(x)
U(x)＝U1(x)+U2(x)＝(1-D(x))×I2(x)+D×I1(x)
步骤3.2、根据步骤3.1可以得到，非显著图U可以由两个模态的部分图像组成。非显著图对应的权重图是以每一个像素位置为单位计算得到的像素级权重图，由两个部分/>和/>相乘得到，n表示模态数。
其中，为非显著图像有效细节判断矩阵，/>为具体权值计算矩阵；具体地，对于红外和可见光两种模态，在x位置处/>和/>具体表达式如下：
其中，q表示以x为中心的窗口wx内的像素位置，ε为一个极小的常数。
步骤3.3、根据步骤3.2计算得到由于所得到的权重图/>存在伪影，采用导向滤波对图像边界保留较好的优势处理权重图，最终权重图可由以下公式求得：
其中，GF(·)表示导向滤波，r和∈皆为导向滤波的参数，r用于表示滤波窗口半径大小，∈2为正则项。
非显著图对应的权重矩阵Wd可由以下公式计算得到：
步骤4、利用VF、M、U以及Wd构建图像融合模型，具体如下所示：
其中，||·||F表示矩阵的F范数，α和β分别为两个由经验设置的常数比例系数。融合图像IF可视为融合权重矩阵W的函数，两者关系如下所示：
IF(x)＝W(x)×I1(x)+(1-W(x))×I2(x)
步骤5、采用变分法迭代计算图像融合模型，在迭代求解的过程中引入时间辅助变量t，具体求解公式如下：
其中，和/>分别代表融合梯度在像素x位置上的水平和竖直梯度分量。/>和/>分别表示融合权重矩阵W在像素x位置上对x1和x2方向求偏导数，/>和/>分别表示融合图像IF在像素x位置上对x1和x2方向求偏导数，具体由以下公式计算得到：
通过迭代循环，最终得到融合权重矩阵W，可计算得到融合图像IF。
本发明在windows 10操作系统的MATLAB环境下对整个过程进行仿真实验，采用了三组图进行实验，测试本发明方法的有效性。
第一组图像为图2(a)-(b)，是一组行人在树林中行走的图像。源图像的成像差异较明显，主要体现在红外图像中包含清晰地行人的位置和轮廓信息，在可见光图像中显示了清晰的树叶和树枝轮廓。本发明方法得到的融合图像如3(a)所示，融合结果中可以看出图像的细节信息丰富，目标显著，兼具红外图像与可见光图像的特点。
第二组图像为图2(c)-(d)，是一组由天空、房子和远处汽车构成的图像。在红外图像中，包含了远处行驶车辆的位置和轮廓，可见光图像对天空的渐变以及房屋的窗户轮廓有很好的表现。本发明方法得到的融合图像如4(a)所示，融合结果中可以看出图像中房屋和汽车的细节保持良好，树叶轮廓细节丰富。
第三组图像为图2(e)-(f)，是一组由大量房屋、天空和行驶汽车构成的图像。可见光图像显示房屋与天空的清晰边界，而红外图像主要包含房屋和行驶车辆的细节。本发明方法得到的融合图像如5(a)所示，融合结果中可以看出图像中天空处少有伪影和噪声，房屋和汽车细节保持良好。
本发明与其他技术作对比，分别为交叉双边滤波器方法(CBF)、导向滤波方法(GFF)和加权最小二乘融合方法(WLS)。各方法融合第一组图像得到的结果为图3(a)-(d)，融合第二组图像得到的结果为图4(a)-(d)，融合第三组图像得到的结果为图5(a)-(d)。
从主观方面来看，本发明的融合结果从图像显著性以及图像的细节、纹理等方面都由于其他技术。从客观评价来看，采取结构相似性(SSIM)和噪声伪影比例(Nabf)2个评价指标评价算法的优劣性，评价值如下表1和表2所示。
表1表示不同方法得到的融合图像在SSIM指标下的评价值，SSIM用于表示源图像和融合图像之间的结构相似性，评价值越大则表明相似性越高，融合效果更好，从表中可以得到本发明方法得到的评价值高于其他方法，融合图像结构相似性保持的更好。
表2不同方法得到的融合图像在Nabf指标下的评价值，Nabf反映了从源图像引入融合图像的噪声和伪影的比例，评价值越小则表示融合图像中的噪声和伪影更少，融合效果更好。从表中可以得到本发明方法得到的评价值低于其他方法，融合图像含有的噪声和伪影更少。
表1不同方法得到的融合图像在SSIM指标下的评价值
表2不同方法得到的融合图像在Nabf指标下的评价值
可见，本发明的红外和可见光图像融合方法可以更好的将两种源图像融合，相比其他方法的融合效果更好，图像目标突出，更有利于后续的图像应用。
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (3)
1.一种红外和可见光图像融合方法，其特征在于，包括以下步骤：
步骤1、将红外和可见光源图像的权重设定为1，获得红外和可见光源图像在x位置处的初始融合梯度的结构张量：
其中，x用(x1，x2)表示，x1表示水平方向坐标，x2表示竖直方向坐标；In表示图像的像素强度分布矩阵，n＝1，2，分别表示对红外和可见光源两个模态源图像的标号；
G(x)为半正定矩阵，G(x)＝U(x)Λ(x)U(x)T；其中Λ(x)为具有两个非负特征值的对角矩阵，其维数为2×2；U(x)为由Λ(x)的特征值相对应的特征向量构成的正交矩阵，其维数为2×2；
将Λ(x)特征值中最大的记为λ1(x)，根据公式G(x)＝λ1(x)θ1(x)θ1(x)T，计算得到λ1(x)对应的特征向量θ1(x)；
获得初始融合梯度为：
步骤2，分别计算初始融合梯度VF0(x)的局部梯度相似性矩阵P0(x)与红外源图像梯度的局部梯度相似性矩阵P1(x)，以及可见光源图像梯度的局部梯度相似性矩阵P2(x)的差值，则x位置处的差值Sn(x)为：
Sn(x)＝||Pn(x)-P0(x)||1
其中，||·||1表示向量的1范数；
获得模态隶属标号C(x)：
计算在x位置处的最终融合梯度VF(x)：
其中，其中，sign表示为符号函数，<·>表示计算向量内积，/>表示标号为C(x)模态的源图像在x位置处的梯度；
步骤3、在空域比较红外源图与可见光源图的像素强度，得到红外源图中像素强度大于可见光源图像素强度的区域D；
将红外和可见光两种模态的源图像重构成显著图M和非显著图U两幅图像，具体如下：
M＝D×I1+(1-D)×I2
U＝(1-D)×I2+D×I1
步骤4，获得非显著图对应的权重矩阵Wd：
其中，为红外模态非显著图部分对应的权重矩阵，/>为可见光模态非显著图部分对应的权重矩阵；/>计算公式为：/>
其中，为非显著图像有效细节判断矩阵，/>为具体权值计算矩阵；具体地，对于红外和可见光两种模态，在x位置处/>和/>具体表达式如下：
其中，wx为以位置x为中心的窗口，q表示wx窗口内的像素位置，D(x)表示所述区域D在x位置上的取值，ε为常数；
步骤5、利用融合梯度矩阵VF、显著图M、非显著图U以及非显著图对应的权重矩阵Wd，构建图像融合模型：
其中，||·||F表示矩阵的F范数，β和α分别表示两个正则项；IF为融合图像，由以下公式求得：
IF＝W×I1+(1-W)×I2
其中，W为融合权重矩阵；
步骤6、采用变分法迭代求解图像融合模型，得到融合权重矩阵W，进而得到融合图像IF；
其中，在采用变分法迭代图像融合模型求解的过程中引入时间辅助变量t，具体求解公式如下：
其中，和/>分别代表融合梯度在水平和竖直上的梯度分量；/>和/>分别表示融合权重矩阵W在x1和x2方向上的偏导数；/>和/>分别表示融合图像IF在x1和x2方向上的偏导数，具体由以下公式计算得到：
通过迭代循环，最终得到融合权重矩阵W，进而计算得到融合图像IF。
2.根据权利要求1所述的红外和可见光图像融合方法，其特征在于，所述步骤2中，局部梯度相似性矩阵由以下公式计算得到：
其中，i表示周围8个位置与中心x的关联编号，σ为指数衰减因子；表示方向因子，用于描述在第n个模态中，x位置的梯度/>与x位置周围第i个位置的梯度/>所构成角度差的余弦值，/>表达式为/>其中，|·|表示计算向量的模；表示距离因子，用于描述在第n个模态中，x位置的梯度/>与x位置周围第i个位置的梯度/>计算得到的欧式距离，/>表达式为/>其中，||·||2表示向量的2范数。
3.根据权利要求1所述的红外和可见光图像融合方法，其特征在于，所述步骤4中，在计算得到具体权值矩阵后，采用导向滤波对其进行优化处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010694381.3A CN111861960B (zh) | 2020-07-17 | 2020-07-17 | 一种红外和可见光图像融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010694381.3A CN111861960B (zh) | 2020-07-17 | 2020-07-17 | 一种红外和可见光图像融合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111861960A CN111861960A (zh) | 2020-10-30 |
| CN111861960B true CN111861960B (zh) | 2023-09-29 |
Family
ID=73000574
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010694381.3A Active CN111861960B (zh) | 2020-07-17 | 2020-07-17 | 一种红外和可见光图像融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111861960B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115908221B (zh) * | 2023-03-08 | 2023-12-08 | 荣耀终端有限公司 | 图像处理方法、电子设备及存储介质 |
| CN118365541B (zh) * | 2024-06-20 | 2024-08-30 | 浙江大华技术股份有限公司 | 图像融合方法、设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109215006A (zh) * | 2018-09-11 | 2019-01-15 | 中国科学院长春光学精密机械与物理研究所 | 基于显著性总变分模型与*2-范数优化的图像融合方法 |
| CN109493309A (zh) * | 2018-11-20 | 2019-03-19 | 北京航空航天大学 | 一种保持显著性信息的红外与可见光图像变分融合方法 |
| CN109919884A (zh) * | 2019-01-30 | 2019-06-21 | 西北工业大学 | 基于高斯滤波加权的红外和可见光图像融合方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7636098B2 (en) * | 2006-09-28 | 2009-12-22 | Microsoft Corporation | Salience preserving image fusion |
-
2020
- 2020-07-17 CN CN202010694381.3A patent/CN111861960B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109215006A (zh) * | 2018-09-11 | 2019-01-15 | 中国科学院长春光学精密机械与物理研究所 | 基于显著性总变分模型与*2-范数优化的图像融合方法 |
| CN109493309A (zh) * | 2018-11-20 | 2019-03-19 | 北京航空航天大学 | 一种保持显著性信息的红外与可见光图像变分融合方法 |
| CN109919884A (zh) * | 2019-01-30 | 2019-06-21 | 西北工业大学 | 基于高斯滤波加权的红外和可见光图像融合方法 |
Non-Patent Citations (2)
| Title |
|---|
| 云计算下大规模非显著特征多传感数据融合系统设计;付婷 等;《科学技术与工程》;20180331;第18卷(第8期);全文 * |
| 多尺度梯度域可见光与红外热图像融合方法研究;肖儿良 等;《计算机应用研究》;20151031;第32卷(第10期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111861960A (zh) | 2020-10-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Bhalla et al. | Fusion of Infrared and Visible Images Using Fuzzy Based Siamese Convolutional Network. | |
| Zhang et al. | A fusion algorithm for infrared and visible images based on saliency analysis and non-subsampled Shearlet transform | |
| Yan et al. | Injected infrared and visible image fusion via $ l_ {1} $ decomposition model and guided filtering | |
| Kuanar et al. | Multi-path dilated convolution network for haze and glow removal in nighttime images | |
| CN112215296B (zh) | 基于迁移学习的红外图像识别方法及存储介质 | |
| Panigrahy et al. | Parameter adaptive unit-linking dual-channel PCNN based infrared and visible image fusion | |
| Wang et al. | Low-illumination image enhancement for night-time UAV pedestrian detection | |
| CN111861960B (zh) | 一种红外和可见光图像融合方法 | |
| CN103093478B (zh) | 基于快速核空间模糊聚类的异源图像粗大边缘检测方法 | |
| Liu et al. | Infrared and visible image fusion based on convolutional neural network model and saliency detection via hybrid l 0-l 1 layer decomposition | |
| Gao et al. | Improving the performance of infrared and visible image fusion based on latent low-rank representation nested with rolling guided image filtering | |
| Chen et al. | The enhancement of catenary image with low visibility based on multi-feature fusion network in railway industry | |
| Yin et al. | Significant target analysis and detail preserving based infrared and visible image fusion | |
| CN117422971A (zh) | 一种基于跨模态注意力机制融合的双模态目标检测方法与系统 | |
| Wang et al. | Low-light image enhancement based on deep learning: a survey | |
| Zhou et al. | A pedestrian extraction algorithm based on single infrared image | |
| Pan et al. | DenseNetFuse: A study of deep unsupervised DenseNet to infrared and visual image fusion | |
| Liu et al. | Infrared and visible image fusion via salient object extraction and low-light region enhancement | |
| Shen et al. | RETRACTED: A novel Gauss-Laplace operator based on multi-scale convolution for dance motion image enhancement [EAI Endorsed Scal Inf Syst (2022), Online First] | |
| Qi et al. | Infrared image enhancement using cellular automata | |
| CN116664462A (zh) | 一种基于ms-dsc和i_cbam的红外和可见光图像融合方法 | |
| Zhang et al. | IVOMFuse: An image fusion method based on infrared-to-visible object mapping | |
| Luo et al. | Infrared and visible image fusion based on visibility enhancement and norm optimization low-rank representation | |
| Yang et al. | A review on infrared and visible image fusion algorithms based on neural networks | |
| CN106530389B (zh) | 基于中波红外人脸图像的立体重构方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |