CN112232403A - 一种红外图像与可见光图像的融合方法 - Google Patents

一种红外图像与可见光图像的融合方法 Download PDF

Info

Publication number
CN112232403A
CN112232403A CN202011091470.5A CN202011091470A CN112232403A CN 112232403 A CN112232403 A CN 112232403A CN 202011091470 A CN202011091470 A CN 202011091470A CN 112232403 A CN112232403 A CN 112232403A
Authority
CN
China
Prior art keywords
image
visible light
infrared
fusing
formula
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011091470.5A
Other languages
English (en)
Inventor
骆忠强
代金鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University of Science and Engineering
Original Assignee
Sichuan University of Science and Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University of Science and Engineering filed Critical Sichuan University of Science and Engineering
Priority to CN202011091470.5A priority Critical patent/CN112232403A/zh
Publication of CN112232403A publication Critical patent/CN112232403A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种红外图像与可见光图像的融合方法，本发明将红外图像与可见光图像分解为基础层与细节层，能在保留边缘细节的同时去除小规模伪影；基于VGG‑19网络结构逐层提取图像细节特征，并得到红外图像与可见光图像的活动映射权值图；最后分别就基础层与细节层采取不同的融合策略。本方法得到的融合结果既保留了可见光图像的纹理信息，又保留了红外图像的热辐射信息。本发明可应用于目标检测、目标跟踪、夜色视觉、生物识别等领域。

Description

一种红外图像与可见光图像的融合方法
技术领域
本发明涉及图像处理领域，具体涉及一种红外图像与可见光图像的融合方法。
背景技术
可见光图像与红外图像的融合可以实现信息互补，使融合后的图像包含了更为全面、丰富的信息，其更符合人或机器的视觉特性、更有利于对图像的进一步分析处理以及自动目标识别。红外图像与可见光图像融合同时保留了红外图像的热辐射信息和可见光图像的纹理信息，被广泛应用于目标检测、目标跟踪、夜色视觉、生物识别等领域。
目前研究最广泛的红外与可见光图像融合方法大致有基于多尺度分解、基于稀疏表示、基于显著性、基于深度学习等。其中，多尺度分解的方法研究最为成熟，如金字塔变换、小波变换、轮廓波变换等。这类融合方法的鲁棒性很强，但融合结果缺少深层次的图像细节。近两年，深度学习由于其在图像处理领域的突出优势，已经成为了图像融合的热门研究方向。现有的基于深度学习的方法在图像细节保留上占有优势，但仍然存在融合效率低、边缘特征模糊等局限性。
发明内容
针对现有技术中的上述不足，本发明提供的一种红外图像与可见光图像的融合方法解决了现有方法存在边缘特征模糊、融合细节缺失的问题。
为了达到上述发明目的，本发明采用的技术方案为：
提供一种红外图像与可见光图像的融合方法，其包括以下步骤：
S1、分别获取红外图像和可见光图像的原始制导图像；
S2、分别对红外图像和可见光图像的原始制导图像进行迭代，获取红外图像所对应的基层图像和细节层图像，获取可见光图像所对应的基层图像和细节层图像；
S3、分别获取红外图像所对应的细节层图像的活动映射图和可见光图像所对应的细节层图像的活动映射图；
S4、将红外图像所对应的基层图像和可见光图像所对应的基层图像进行融合，得到基层融合图像；
S5、将红外图像所对应的细节层图像的活动映射图和可见光图像所对应的细节层图像的活动映射图进行融合，得到细节层融合图像；
S6、将基层融合图像和细节层融合图像相加得到红外图像与可见光图像融合后的图像。
进一步地，步骤S1中获取原始制导图像的具体方法为：
根据公式：
Figure BDA0002722218000000021
Figure BDA0002722218000000022
对源图像Xk上的像素点p进行高斯滤波，得到像素点p处的原始制导数据Gk(p)，进而得到整体的原始制导图像Gk，Gk(p)∈Gk；其中k∈{I,V}，分别表示红外图像与可见光图像；q表示像素点p的相邻像素；Up表示正则化函数；N(p)为像素点p相邻像素的集合；exp(·)表示以自然常数e为底的指数函数；σs为结构尺度参数；Xk(q)为源图像Xk上的像素点q。
进一步地，步骤S2中对原始制导图像进行迭代的具体方法为：
根据公式：
Figure BDA0002722218000000031
对原始制导数据Gk(p)进行第i次迭代，得到第i次迭代的结果Ok(p)，进而得到原始制导图像整体上第i次迭代的结果Ok，即基层图像Bk，Ok(p)∈Ok＝Bk；其中Ki+1(p)表示像素点p处第i次迭代输出结果；Ki(p)表示像素点p处第i-1次迭代输出结果，K1(p)＝Gk(p)；Ki(q)表示像素点p的相邻像素q第i-1次迭代输出结果，K1(q)＝Gk(q)；σN表示范围权值；
根据公式：
Dk＝Xk-Bk
获取细节层图像Dk。
进一步地，对原始制导图像进行迭代的次数上限为4。
进一步地，步骤S3中获取细节层图像的活动映射图的具体方法包括以下子步骤：
S3-1、建立具有四个卷积层的VGG-19网络，根据公式：
Figure BDA0002722218000000032
获取细节层图像在第j个卷积层的M个信道映射图
Figure BDA0002722218000000033
其中k∈{I,V}，分别表示红外图像与可见光图像；Dk表示细节层图像；Φj(·)表示VGG-19网络的第j个卷积层；M＝64×2j-1；
S3-2、根据公式：
Figure BDA0002722218000000034
获取细节层图像中点(x,y)处的初始活动水平数据
Figure BDA0002722218000000035
进而得到细节层图像整体对应的初始活动水平图
Figure BDA0002722218000000036
Figure BDA0002722218000000037
其中||·||1表示l1范数；
S3-3、根据公式：
Figure BDA0002722218000000041
获取细节层图像中点(x,y)处的活动映射图
Figure BDA0002722218000000042
进而得到细节层图像整体对应的活动映射图
Figure BDA0002722218000000043
Figure BDA0002722218000000044
其中ω为块的大小决定参数；
Figure BDA0002722218000000045
表示点(x,y)在块大小内的相邻像素点的初始活动水平数据。
进一步地，步骤S4的具体方法包括以下子步骤：
S4-1、将基层图像Bk由m×n的二维矩阵转换为1×(m×n)的单行矩阵B'k；其中单行矩阵B'k的(((x-1)×n+1):(x×n))段元素值为Bk中第x行元素值；
S4-2、根据公式：
Figure BDA0002722218000000046
采用mapminmax函数对单行矩阵B'k进行归一化处理，得到点(x,y)处的元素Bk’(x,y)的权值
Figure BDA0002722218000000047
进而得到整体的权值矩阵
Figure BDA0002722218000000048
Figure BDA0002722218000000049
其中k∈{I,V}，分别表示红外图像与可见光图像；mapminmax(Bk’，0，1)表示将单行矩阵B'k元素标准化至(0,1)；min(Bk’)表示单行矩阵B'k中像素点的最小值；max(Bk’)表示单行矩阵B'k中像素点的最大值；
S4-3、根据公式：
Figure BDA00027222180000000410
对红外图像对应的权值矩阵和可见光图像对应的权值矩阵进行融合，得到第x行的融合结果FB(x,:)，进而得到整体的融合结果FB，即基层融合图像FB；其中FB(x,:)∈FB；Bk(x,:)表示Bk中第x行中的元素值；WBk(x)表示与Bk中第x行中的元素值所对应的权值。
进一步地，步骤S5的具体方法包括以下子步骤：
S5-1、根据公式：
Figure BDA0002722218000000051
获取活动映射图在四个卷积层各自的特征映射权值图
Figure BDA0002722218000000052
S5-2、根据公式：
Figure BDA0002722218000000053
对特征映射权值图
Figure BDA0002722218000000054
中(x,y)处进行上采样，得到(x,y)处配准后的权值图
Figure BDA0002722218000000055
进而得到整体配准后的权值图
Figure BDA0002722218000000056
其中a,b∈{0,1,...,2j-1-1}；
S5-3、根据公式：
Figure BDA0002722218000000057
将配准后的权值图
Figure BDA0002722218000000058
中(x,y)处的数据
Figure BDA0002722218000000059
与细节层图像Dk中(x,y)处的数据Dk(x,y)进行融合，得到(x,y)处的细节层融合图像
Figure BDA00027222180000000510
进而得到整体的细节层融合图像
Figure BDA00027222180000000511
Figure BDA00027222180000000512
进一步地，步骤S6的具体方法为：
根据公式：
Figure BDA00027222180000000513
将基层融合图像FB和细节层融合图像相加得到红外图像与可见光图像融合后的图像F。
进一步地，块的大小决定参数ω的值为1。
本发明的有益效果为：
1、本发明将红外图像与可见光图像分解为基础层与细节层，能在保留边缘细节的同时去除小规模伪影；基于VGG-19网络结构逐层提取图像细节特征，并得到红外图像与可见光图像的活动映射权值图；最后分别就基础层与细节层采取不同的融合策略。本方法得到的融合结果既保留了可见光图像的纹理信息，又保留了红外图像的热辐射信息。本发明可应用于目标检测、目标跟踪、夜色视觉、生物识别等领域。
2、与传统的多尺度分解方法和基于深度学习的方法相比，本发明在融合图像关于深层细节的保留、边缘特征检测效率上占有优势。本方法在TNO红外与可见光数据集上进行仿真实验，得到的融合结果在人眼视觉系统主观上具有清晰的细节纹理。与现有的其他典型方法进行定性的指标评测，其在熵、空间频率、标准差、平均梯度和互信息等常用的红外与可见光图像融合质量评价指标上均占有优势。
附图说明
图1为本发明的流程示意图；
图2为迭代流程示意图；
图3为本方法与另外5种现有方法关于野外图像的融合结果细节对比图；
图4为本方法与另外7种现有方法在TNO图像融合数据集上选取的10对图像的融合结果对比图；
图5为本方法与另外7种现有方法的融合结果质量评价指标对比图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
如图1所示，该红外图像与可见光图像的融合方法包括以下步骤：
S1、分别获取红外图像和可见光图像的原始制导图像；
S2、分别对红外图像和可见光图像的原始制导图像进行迭代，获取红外图像所对应的基层图像和细节层图像，获取可见光图像所对应的基层图像和细节层图像；
S3、分别获取红外图像所对应的细节层图像的活动映射图和可见光图像所对应的细节层图像的活动映射图；
S4、将红外图像所对应的基层图像和可见光图像所对应的基层图像进行融合，得到基层融合图像；
S5、将红外图像所对应的细节层图像的活动映射图和可见光图像所对应的细节层图像的活动映射图进行融合，得到细节层融合图像；
S6、将基层融合图像和细节层融合图像相加得到红外图像与可见光图像融合后的图像。
步骤S1中获取原始制导图像的具体方法为：根据公式：
Figure BDA0002722218000000071
Figure BDA0002722218000000072
对源图像Xk上的像素点p进行高斯滤波，得到像素点p处的原始制导数据Gk(p)，进而得到整体的原始制导图像Gk，Gk(p)∈Gk；其中k∈{I,V}，分别表示红外图像与可见光图像；q表示像素点p的相邻像素；Up表示正则化函数；N(p)为像素点p相邻像素的集合；exp(·)表示以自然常数e为底的指数函数；σs为结构尺度参数；Xk(q)为源图像Xk上的像素点q。
步骤S2中对原始制导图像进行迭代的具体方法为：根据公式：
Figure BDA0002722218000000081
对原始制导数据Gk(p)进行第i次迭代，得到第i次迭代的结果Ok(p)，进而得到原始制导图像整体上第i次迭代的结果Ok，即基层图像Bk，Ok(p)∈Ok＝Bk；其中Ki+1(p)表示像素点p处第i次迭代输出结果；Ki(p)表示像素点p处第i-1次迭代输出结果，K1(p)＝Gk(p)；Ki(q)表示像素点p的相邻像素q第i-1次迭代输出结果，K1(q)＝Gk(q)；σN表示范围权值；
根据公式：
Dk＝Xk-Bk
获取细节层图像Dk。对原始制导图像进行迭代的次数上限为4。
步骤S3中获取细节层图像的活动映射图的具体方法包括以下子步骤：
S3-1、建立具有四个卷积层的VGG-19网络，根据公式：
Figure BDA0002722218000000082
获取细节层图像在第j个卷积层的M个信道映射图
Figure BDA0002722218000000083
其中k∈{I,V}，分别表示红外图像与可见光图像；Dk表示细节层图像；Φj(·)表示VGG-19网络的第j个卷积层；M＝64×2j-1；
S3-2、根据公式：
Figure BDA0002722218000000084
获取细节层图像中点(x,y)处的初始活动水平数据
Figure BDA0002722218000000085
进而得到细节层图像整体对应的初始活动水平图
Figure BDA0002722218000000086
Figure BDA0002722218000000087
其中||·||1表示l1范数；
S3-3、根据公式：
Figure BDA0002722218000000091
获取细节层图像中点(x,y)处的活动映射图
Figure BDA0002722218000000092
进而得到细节层图像整体对应的活动映射图
Figure BDA0002722218000000093
Figure BDA0002722218000000094
其中ω为块的大小决定参数，值为1；
Figure BDA0002722218000000095
表示点(x,y)在块大小内的相邻像素点的初始活动水平数据。
步骤S4的具体方法包括以下子步骤：
S4-1、将基层图像Bk由m×n的二维矩阵转换为1×(m×n)的单行矩阵B'k；其中单行矩阵B'k的(((x-1)×n+1):(x×n))段元素值为Bk中第x行元素值；
S4-2、根据公式：
Figure BDA0002722218000000096
采用mapminmax函数对单行矩阵B'k进行归一化处理，得到点(x,y)处的元素Bk’(x,y)的权值
Figure BDA0002722218000000097
进而得到整体的权值矩阵
Figure BDA0002722218000000098
Figure BDA0002722218000000099
其中k∈{I,V}，分别表示红外图像与可见光图像；mapminmax(Bk’，0，1)表示将单行矩阵B'k元素标准化至(0,1)；min(Bk’)表示单行矩阵B'k中像素点的最小值；max(Bk’)表示单行矩阵B'k中像素点的最大值；
S4-3、根据公式：
Figure BDA00027222180000000910
对红外图像对应的权值矩阵和可见光图像对应的权值矩阵进行融合，得到第x行的融合结果FB(x,:)，进而得到整体的融合结果FB，即基层融合图像FB；其中FB(x,:)∈FB；Bk(x,:)表示Bk中第x行中的元素值；
Figure BDA00027222180000000911
表示与Bk中第x行中的元素值所对应的权值。
步骤S5的具体方法包括以下子步骤：
S5-1、根据公式：
Figure BDA0002722218000000101
获取活动映射图在四个卷积层各自的特征映射权值图
Figure BDA0002722218000000102
S5-2、根据公式：
Figure BDA0002722218000000103
对特征映射权值图
Figure BDA0002722218000000104
中(x,y)处进行上采样，得到(x,y)处配准后的权值图
Figure BDA0002722218000000105
进而得到整体配准后的权值图
Figure BDA0002722218000000106
其中a,b∈{0,1,...,2j-1-1}；(x+a,y+b)为经过上采样配准后的新权值图
Figure BDA0002722218000000107
坐标；由于有上采样配准操作，输入的坐标并不能直接对应到输出的坐标，所以引入a、b两参数来表示新的坐标；
S5-3、根据公式：
Figure BDA0002722218000000108
将配准后的权值图
Figure BDA0002722218000000109
中(x,y)处的数据
Figure BDA00027222180000001010
与细节层图像Dk中(x,y)处的数据Dk(x,y)进行融合，得到(x,y)处的细节层融合图像
Figure BDA00027222180000001011
进而得到整体的细节层融合图像
Figure BDA00027222180000001012
Figure BDA00027222180000001013
步骤S6的具体方法为：根据公式：
Figure BDA00027222180000001014
将基层融合图像FB和细节层融合图像相加得到红外图像与可见光图像融合后的图像F。
在本发明的一个实施例中，如图3所示，对野外图像进行融合，图3(a)、图3(b)、图3(c)、图3(d)和图3(e)均为现有技术得到的融合结果，图3(f)为本方法得到的融合结果，从其中(图中左下角方框内)可以看出，本方法得到的融合图像在人眼视觉系统主观上具有更清晰的细节纹理。
在本发明的另一个实施例中将本方法与另外7种现有方法在TNO图像融合数据集上选取的10对图像的融合结果进行对比，如图4所示，图4中从上到下每排依次为：可见光图像、红外图像、基于卷积神经网络的融合结果、基于滚动导向滤波的融合结果、基于潜多阶低秩表示的融合结果、基于视觉显著性图和最小二乘滤波的融合结果、基于非下采样轮廓波变换的融合结果、基于红外特征提取和视觉信息保存的融合结果、基于残差网络的融合结果、本发明提出方法的融合结果。从图4中可以看出，本方法在深层细节的保留、边缘特征检测效率上均占有优势，得到的融合结果在人眼视觉系统主观上具有清晰的细节纹理。
在该实施例中，如图5所示，还对本方法与另外7种现有方法的融合结果质量评价指标进行了直观对比，其中加粗表示所有方法最优，双下划线表示次优，单下划线表示第三优。可以看出，本方法在空间频率、标准差和平均梯度三个指标中均最优，在熵指标和互信息中也处于前三。由此可见，相比以上现有技术，本方法的整体效果更好。
综上所述，本发明将红外图像与可见光图像分解为基础层与细节层，能在保留边缘细节的同时去除小规模伪影；基于VGG-19网络结构逐层提取图像细节特征，并得到红外图像与可见光图像的活动映射权值图；最后分别就基础层与细节层采取不同的融合策略。本方法得到的融合结果既保留了可见光图像的纹理信息，又保留了红外图像的热辐射信息。本发明可应用于目标检测、目标跟踪、夜色视觉、生物识别等领域。

Claims (9)

1.一种红外图像与可见光图像的融合方法，其特征在于，包括以下步骤：
S1、分别获取红外图像和可见光图像的原始制导图像；
S2、分别对红外图像和可见光图像的原始制导图像进行迭代，获取红外图像所对应的基层图像和细节层图像，获取可见光图像所对应的基层图像和细节层图像；
S3、分别获取红外图像所对应的细节层图像的活动映射图和可见光图像所对应的细节层图像的活动映射图；
S4、将红外图像所对应的基层图像和可见光图像所对应的基层图像进行融合，得到基层融合图像；
S5、将红外图像所对应的细节层图像的活动映射图和可见光图像所对应的细节层图像的活动映射图进行融合，得到细节层融合图像；
S6、将基层融合图像和细节层融合图像相加得到红外图像与可见光图像融合后的图像。
2.根据权利要求1所述的红外图像与可见光图像的融合方法，其特征在于，所述步骤S1中获取原始制导图像的具体方法为：
根据公式：
Figure FDA0002722217990000011
Figure FDA0002722217990000012
对源图像Xk上的像素点p进行高斯滤波，得到像素点p处的原始制导数据Gk(p)，进而得到整体的原始制导图像Gk，Gk(p)∈Gk；其中k∈{I,V}，分别表示红外图像与可见光图像；q表示像素点p的相邻像素；Up表示正则化函数；N(p)为像素点p相邻像素的集合；exp(·)表示以自然常数e为底的指数函数；σs为结构尺度参数；Xk(q)为源图像Xk上的像素点q。
3.根据权利要求2所述的红外图像与可见光图像的融合方法，其特征在于，所述步骤S2中对原始制导图像进行迭代的具体方法为：
根据公式：
Figure FDA0002722217990000021
对原始制导数据Gk(p)进行第i次迭代，得到第i次迭代的结果Ok(p)，进而得到原始制导图像整体上第i次迭代的结果Ok，即基层图像Bk，Ok(p)∈Ok＝Bk；其中Ki+1(p)表示像素点p处第i次迭代输出结果；Ki(p)表示像素点p处第i-1次迭代输出结果，K1(p)＝Gk(p)；Ki(q)表示像素点p的相邻像素q第i-1次迭代输出结果，K1(q)＝Gk(q)；σN表示范围权值；
根据公式：
Dk＝Xk-Bk
获取细节层图像Dk。
4.根据权利要求3所述的红外图像与可见光图像的融合方法，其特征在于，对原始制导图像进行迭代的次数上限为4。
5.根据权利要求1所述的红外图像与可见光图像的融合方法，其特征在于，所述步骤S3中获取细节层图像的活动映射图的具体方法包括以下子步骤：
S3-1、建立具有四个卷积层的VGG-19网络，根据公式：
Figure FDA0002722217990000022
获取细节层图像在第j个卷积层的M个信道映射图
Figure FDA0002722217990000023
其中k∈{I,V}，分别表示红外图像与可见光图像；Dk表示细节层图像；Φj(·)表示VGG-19网络的第j个卷积层；M＝64×2j-1；
S3-2、根据公式：
Figure FDA0002722217990000031
获取细节层图像中点(x,y)处的初始活动水平数据
Figure FDA0002722217990000032
进而得到细节层图像整体对应的初始活动水平图
Figure FDA0002722217990000033
Figure FDA0002722217990000034
其中||·||1表示l1范数；
S3-3、根据公式：
Figure FDA0002722217990000035
获取细节层图像中点(x,y)处的活动映射图
Figure FDA0002722217990000036
进而得到细节层图像整体对应的活动映射图
Figure FDA0002722217990000037
Figure FDA0002722217990000038
其中ω为块的大小决定参数；
Figure FDA0002722217990000039
表示点(x,y)在块大小内的相邻像素点的初始活动水平数据。
6.根据权利要求1所述的红外图像与可见光图像的融合方法，其特征在于，所述步骤S4的具体方法包括以下子步骤：
S4-1、将基层图像Bk由m×n的二维矩阵转换为1×(m×n)的单行矩阵B'k；其中单行矩阵B'k的(((x-1)×n+1):(x×n))段元素值为Bk中第x行元素值；
S4-2、根据公式：
Figure FDA00027222179900000310
采用mapminmax函数对单行矩阵B'k进行归一化处理，得到点(x,y)处的元素Bk’(x,y)的权值
Figure FDA00027222179900000311
进而得到整体的权值矩阵
Figure FDA00027222179900000312
Figure FDA00027222179900000313
其中k∈{I,V}，分别表示红外图像与可见光图像；mapminmax(Bk’，0，1)表示将单行矩阵B'k元素标准化至(0,1)；min(Bk’)表示单行矩阵B'k中像素点的最小值；max(Bk’)表示单行矩阵B'k中像素点的最大值；
S4-3、根据公式：
Figure FDA0002722217990000041
对红外图像对应的权值矩阵和可见光图像对应的权值矩阵进行融合，得到第x行的融合结果FB(x,:)，进而得到整体的融合结果FB，即基层融合图像FB；其中FB(x,:)∈FB；Bk(x,:)表示Bk中第x行中的元素值；
Figure FDA0002722217990000042
表示与Bk中第x行中的元素值所对应的权值。
7.根据权利要求5所述的红外图像与可见光图像的融合方法，其特征在于，所述步骤S5的具体方法包括以下子步骤：
S5-1、根据公式：
Figure FDA0002722217990000043
获取活动映射图在四个卷积层各自的特征映射权值图
Figure FDA0002722217990000044
S5-2、根据公式：
Figure FDA0002722217990000045
对特征映射权值图
Figure FDA0002722217990000046
中(x,y)处进行上采样，得到(x,y)处配准后的权值图
Figure FDA0002722217990000047
进而得到整体配准后的权值图
Figure FDA0002722217990000048
其中a,b∈{0,1,...,2j-1-1}；
S5-3、根据公式：
Figure FDA0002722217990000049
将配准后的权值图
Figure FDA00027222179900000410
中(x,y)处的数据
Figure FDA00027222179900000411
与细节层图像Dk中(x,y)处的数据Dk(x,y)进行融合，得到(x,y)处的细节层融合图像
Figure FDA00027222179900000412
进而得到整体的细节层融合图像
Figure FDA00027222179900000413
Figure FDA00027222179900000414
8.根据权利要求7所述的红外图像与可见光图像的融合方法，其特征在于，所述步骤S6的具体方法为：
根据公式：
Figure FDA0002722217990000051
将基层融合图像FB和细节层融合图像相加得到红外图像与可见光图像融合后的图像F。
9.根据权利要求5所述的红外图像与可见光图像的融合方法，其特征在于，所述块的大小决定参数ω的值为1。
CN202011091470.5A 2020-10-13 2020-10-13 一种红外图像与可见光图像的融合方法 Pending CN112232403A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011091470.5A CN112232403A (zh) 2020-10-13 2020-10-13 一种红外图像与可见光图像的融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011091470.5A CN112232403A (zh) 2020-10-13 2020-10-13 一种红外图像与可见光图像的融合方法

Publications (1)

Publication Number Publication Date
CN112232403A true CN112232403A (zh) 2021-01-15

Family

ID=74112498

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011091470.5A Pending CN112232403A (zh) 2020-10-13 2020-10-13 一种红外图像与可见光图像的融合方法

Country Status (1)

Country Link
CN (1) CN112232403A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113034371A (zh) * 2021-05-27 2021-06-25 四川轻化工大学 一种基于特征嵌入的红外与可见光图像融合方法
CN114092369A (zh) * 2021-11-19 2022-02-25 中国直升机设计研究所 基于视觉显著映射与最小二乘优化的图像融合方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104408700A (zh) * 2014-11-21 2015-03-11 南京理工大学 基于形态学和pca的轮廓波红外与可见光图像融合方法
CN108389158A (zh) * 2018-02-12 2018-08-10 河北大学 一种红外和可见光的图像融合方法
CN109360175A (zh) * 2018-10-12 2019-02-19 云南大学 一种红外与可见光的图像融合方法
CN110189286A (zh) * 2019-05-30 2019-08-30 兰州交通大学 一种基于ResNet的红外与可见光图像融合方法
CN110189284A (zh) * 2019-05-24 2019-08-30 南昌航空大学 一种红外与可见光图像融合方法
CN111080724A (zh) * 2019-12-17 2020-04-28 大连理工大学 一种红外和可见光的融合方法
CN111145131A (zh) * 2019-11-28 2020-05-12 中国矿业大学 一种基于多尺度生成式对抗网络的红外和可见光图像融合方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104408700A (zh) * 2014-11-21 2015-03-11 南京理工大学 基于形态学和pca的轮廓波红外与可见光图像融合方法
CN108389158A (zh) * 2018-02-12 2018-08-10 河北大学 一种红外和可见光的图像融合方法
CN109360175A (zh) * 2018-10-12 2019-02-19 云南大学 一种红外与可见光的图像融合方法
CN110189284A (zh) * 2019-05-24 2019-08-30 南昌航空大学 一种红外与可见光图像融合方法
CN110189286A (zh) * 2019-05-30 2019-08-30 兰州交通大学 一种基于ResNet的红外与可见光图像融合方法
CN111145131A (zh) * 2019-11-28 2020-05-12 中国矿业大学 一种基于多尺度生成式对抗网络的红外和可见光图像融合方法
CN111080724A (zh) * 2019-12-17 2020-04-28 大连理工大学 一种红外和可见光的融合方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CHANGDA XING等: "Fusion of infrared and visible images with Gaussian smoothness and joint bilateral filtering iteration decomposition", 《THE INSTITUTION OF ENGINEERING AND TECHNOLOGY 2018》 *
HUI LI等: "Infrared and Visible Image Fusion using a Deep Learning Framework", 《2018 24TH INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION (ICPR)》 *
安影等: "结合FABEMD和改进的显著性检测的图像融合", 《系统工程与电子技术》 *
延翔: "多源图像融合算法研究", 《中国博士学位论文全文数据库信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113034371A (zh) * 2021-05-27 2021-06-25 四川轻化工大学 一种基于特征嵌入的红外与可见光图像融合方法
CN114092369A (zh) * 2021-11-19 2022-02-25 中国直升机设计研究所 基于视觉显著映射与最小二乘优化的图像融合方法

Similar Documents

Publication Publication Date Title
CN110738697B (zh) 基于深度学习的单目深度估计方法
CN108961235B (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN109886986B (zh) 一种基于多分支卷积神经网络的皮肤镜图像分割方法
CN113065558A (zh) 一种结合注意力机制的轻量级小目标检测方法
CN110728209A (zh) 一种姿态识别方法、装置、电子设备及存储介质
CN107066916B (zh) 基于反卷积神经网络的场景语义分割方法
CN109840483B (zh) 一种滑坡裂缝检测与识别的方法及装置
CN109635726B (zh) 一种基于对称式深度网络结合多尺度池化的滑坡识别方法
CN107341837B (zh) 基于影像金字塔的栅格-矢量数据转换及连续尺度表达方法
CN113870263B (zh) 一种路面缺陷损伤实时监测方法及系统
CN115527123B (zh) 一种基于多源特征融合的土地覆被遥感监测方法
CN110969171A (zh) 基于改进卷积神经网络的图像分类模型、方法及应用
AU2021101531A4 (en) A Fusion Method of Infrared Image and Visible Image
CN113627472A (zh) 基于分层深度学习模型的智慧园林食叶害虫识别方法
CN112232403A (zh) 一种红外图像与可见光图像的融合方法
CN113516126A (zh) 一种基于注意力特征融合的自适应阈值场景文本检测方法
CN115272306B (zh) 利用梯度运算的太阳能电池板栅线增强方法
CN115423734A (zh) 一种基于多尺度注意机制的红外与可见光图像融合方法
CN115797350A (zh) 桥梁病害检测方法、装置、计算机设备和存储介质
CN116279592A (zh) 一种用于无人物流车的可行驶区域划分方法
CN113592894A (zh) 一种基于边界框和同现特征预测的图像分割方法
CN114943893A (zh) 一种土地覆盖分类的特征增强网络
CN110751271B (zh) 一种基于深度神经网络的图像溯源特征表征方法
Liu et al. Infrared and visible image fusion via salient object extraction and low-light region enhancement
Wang et al. Paccdu: pyramid attention cross-convolutional dual unet for infrared and visible image fusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210115

RJ01 Rejection of invention patent application after publication