CN111652832A - 一种基于滑动窗口技术的红外与可见光图像融合方法 - Google Patents

一种基于滑动窗口技术的红外与可见光图像融合方法 Download PDF

Info

Publication number
CN111652832A
CN111652832A CN202010654320.4A CN202010654320A CN111652832A CN 111652832 A CN111652832 A CN 111652832A CN 202010654320 A CN202010654320 A CN 202010654320A CN 111652832 A CN111652832 A CN 111652832A
Authority
CN
China
Prior art keywords
image
fused
low
sliding window
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010654320.4A
Other languages
English (en)
Other versions
CN111652832B (zh
Inventor
李忠民
李威
鄢慧斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang Hangkong University
Original Assignee
Nanchang Hangkong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang Hangkong University filed Critical Nanchang Hangkong University
Priority to CN202010654320.4A priority Critical patent/CN111652832B/zh
Publication of CN111652832A publication Critical patent/CN111652832A/zh
Application granted granted Critical
Publication of CN111652832B publication Critical patent/CN111652832B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于滑动窗口技术的红外与可见光图像融合方法，所述方法包括以下步骤，（1）提出基于滑动窗口技术的分解方法用于分解源图像
Figure DEST_PATH_IMAGE002
Figure DEST_PATH_IMAGE004
为低阶图像
Figure DEST_PATH_IMAGE006
和显着性图像
Figure DEST_PATH_IMAGE008
；（2）通过对低阶图像
Figure 741467DEST_PATH_IMAGE006
Figure 284706DEST_PATH_IMAGE004
执行两尺度融合规则来获取融合的低阶图像
Figure DEST_PATH_IMAGE010
；（3）通过对显着性图像
Figure 126760DEST_PATH_IMAGE008
Figure 521969DEST_PATH_IMAGE004
执行自适应融合规则来获取融合显着图像
Figure DEST_PATH_IMAGE012
；（4）将融合的低阶图像
Figure 398658DEST_PATH_IMAGE010
和显着性图像
Figure 283438DEST_PATH_IMAGE008
相加以重构融合图像
Figure DEST_PATH_IMAGE014
。本发明的优点是：本方法得到的融合图像能够融合更多的有用的图像信息，减少冗余图像信息且更符合人的视觉感知，能运用于基于图像融合的目标识别系统等。

Description

一种基于滑动窗口技术的红外与可见光图像融合方法
技术领域
本发明涉及图像融合技术领域，具体涉及一种基于滑动窗口技术的红外与可见光图像融合方法。
背景技术
多传感器数据通常提供某区域的互补信息。而随着传感器技术的发展，红外成像传感器、可见光成像传感器在军事和安全监控等领域的应用得到了不断的推广。可见光传感器主要捕获反射光从而令可见光图像具有丰富的背景信息，有利于建立判别模型；相比之下，红外传感器主要捕捉物体发出的热辐射，受光照变化或伪装的影响较小，因此，它可以克服一些障碍发现目标并且昼夜工作。但这两类传感器由于成像的特点和局限性，使得它们在某些特定成像的环境下，往往使用一个传感器无法完成既定的任务。
若将红外图像中的热物体信息和可见光的背景信息融合到一张图像中不仅符合人的视觉感知，而且有利于后续应用比如目标识别等。本专利研究的主要是红外和可见光图像信息的融合算法。融合算法主要步骤如下：首先将源图像分解到特定的图像表示域，然后利用不同的融合规则对图像进行融合，最后利用逆变换得到融合图像。由于红外与可见光图像呈现的是同一场景下的不同内容，因此红外图像信息和可见光图像信息之间的融合互补，能有效地挖掘和综合图像的特征信息、突出红外目标等。
发明内容
本发明所要解决的问题是：提供一种基于滑动窗口技术的红外与可见光图像融合方法，本方法得到的融合图像能够融合更多的有用的图像信息，减少冗余图像信息且更符合人的视觉感知，能运用于基于图像融合的目标识别系统等。
本发明为解决上述问题所提供的技术方案为：一种基于滑动窗口技术的红外与可见光图像融合方法，所述方法包括以下步骤：
(1)提出基于滑动窗口技术的分解方法用于分解源图像X(X∈{IR，VI})为低阶图像XL和显着性图像XS；
(2)通过对低阶图像XL(X∈{IR，VI})执行两尺度融合规则来获取融合的低阶图像FL；
(3)通过对显着性图像XS(X∈{IR，VI})执行自适应融合规则来获取融合显着图像FS；
(4)将融合的低阶图像FL和显着性图像XS相加以重构融合图像F。
具体的，所述(1)为利用滑动窗口技术和RPCA技术稳健地分解源图像：首先使用从左上到下的滑动窗口，从源图像获取P个大小为L×L的图像斑块，并将得到的P个图像斑块矢量化，拼接成为新矩阵；其次使用GreBsmo算法得到稀疏矩阵；然后通过中值滤波器将稀疏矩阵重构为显着性图像；最后将输入图像减去获取的显着性图像，获得低阶图像；
具体的，所述(2)为低阶图像的融合：首先将低阶图像XL(X∈{IR，VI})分解为各自的基础层
Figure BDA0002576140610000021
和细节层
Figure BDA0002576140610000022
其次使用平均融合规则将基础层
Figure BDA0002576140610000023
合并，获取融合后的基础层
Figure BDA0002576140610000024
然后计算细节层
Figure BDA0002576140610000025
的平均梯度图
Figure BDA0002576140610000026
之后得到初始权重图
Figure BDA0002576140610000027
然后使用滤波器对其细化得到最终的权重图
Figure BDA0002576140610000028
最后获取融合后的细节层
Figure BDA0002576140610000029
具体的，所述(3)为显著性图像的融合：首先计算显着性图像XS(X∈{IR，VI})的平均梯度图
Figure BDA00025761406100000210
其次获取显着性权重图
Figure BDA00025761406100000211
然后获取AG权重图
Figure BDA00025761406100000212
之后获取初始权重图
Figure BDA00025761406100000213
然后使用滤波器器进行细化得到最终的权重图
Figure BDA00025761406100000214
最后得到融合后的显着性图像FS；
具体的，所述(4)为重构源图像：通过融合后的低阶图像FL和融合后的显着性图像FS相加得到重构源图像F。
与现有技术相比，本发明的优点是：本发明提出一种新的红外与可见光图像融合方法，在该方法中，我们首先利用滑动窗口技术和RPCA技术将源图像分解成各自的低阶图像和显著性图像，然后利用设计的平均融合规则、自适应融合规则对源图像的低阶图像和显著性图像分别进行融合处理，最后由得到的低阶图像和显著性图像重构融合图像。本方法得到的融合图像能够融合更多的有用的图像信息，减少冗余图像信息且更符合人的视觉感知，能运用于基于图像融合的目标识别系统等。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明的示意图。
附图标注：Infrared image:红外光图像，Vectorization：矢量化，New matrix：新矩阵，GreBsmo：算法，Sparse matrix：稀疏矩阵，Low-rank image：低阶矩阵，Reconstruction：中值滤波器重构，Saliency image：显著性图像，Visible image：可见光图像，Two-scale fusion rule：两尺度融合规则，Adaptive fusion rule：自适应规则，Fusion low-rank image：融合后的低阶矩阵，Fusion Saliency image：融合后的显著性图像，Fusion image：融合后的图像。
具体实施方式
以下将配合附图及实施例来详细说明本发明的实施方式，藉此对本发明如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。
一种基于滑动窗口技术的红外与可见光图像融合方法：
Step1：基于滑动窗口技术和RPCA技术图像分解方法
步骤1：使用从左上到下的滑动窗口，从源图像获取P个大小为L×L的图像斑块，并将得到的P个图像斑块矢量化，拼接成为新矩阵；
步骤2：在获得的新矩阵使用GreBsmo算法得到稀疏矩阵；
步骤3：通过中值滤波器将稀疏矩阵重构为显着性图像；
步骤4：将输入图像减去获取的显着性图像，获得低阶图像。
Step2：低阶图像的融合
低阶图像XL(X∈{IR，VI})主要包含源图像X的亮度和轮廓信息，而为了保留尽可能多的有用信息并最大程度减少冗余信息，我们设计了两极融合规则。以下是其详尽表达：
步骤1：通过等式(1)(2)将低阶图像XL(X∈{IR，VI})分解为各自的基础层
Figure BDA00025761406100000313
和细节层
Figure BDA0002576140610000031
Figure BDA0002576140610000032
Figure BDA0002576140610000033
(其中Z为7×7平均滤波器，符号*为卷积运算)
步骤2：使用平均融合规则将基础层
Figure BDA0002576140610000034
并，获取融合后的基础层
Figure BDA0002576140610000035
Figure BDA0002576140610000036
(其中
Figure BDA0002576140610000037
和
Figure BDA0002576140610000038
分别为
Figure BDA0002576140610000039
和
Figure BDA00025761406100000310
的权重，设置为0.5)
步骤3.然后计算细节层
Figure BDA00025761406100000311
平均梯度图
Figure BDA00025761406100000312
像素(x，y)的平均梯度在尺寸为W×H的局部窗口定义如下。
Figure BDA0002576140610000041
▽Gh(x,y)＝G(x,y)-G(x-1,y),(5)
▽Gv(x,y)＝G(x,y)-G(x,y-1),(6)
Figure BDA0002576140610000042
Figure BDA0002576140610000043
(其中▽Gh(x,y)，▽Gv(x,y)，▽Gmd(x,y)和▽God(x,y)分别为0°，90°，135°，15°四个方向上的梯度，另外将尺寸W×H设置大小为3×3)
步骤4：按下述式子得到初始权重图
Figure BDA0002576140610000044
Figure BDA0002576140610000045
步骤5：由于获得的初始权重图
Figure BDA0002576140610000046
嘈杂且缺乏空间一致性，因此需使用滤波器对其细化得到最终的权重图
Figure BDA0002576140610000047
Figure BDA0002576140610000048
(其中GFr,ε定义为滤波器操作，而r和ε为相应的滤波参数，分别为7和10-6)
步骤6：获取融合后的细节层
Figure BDA0002576140610000049
Figure BDA00025761406100000410
步骤7：获取融合后的低阶图像FL。
Figure BDA00025761406100000411
Step3：显着性图像的融合
显着性图像XS(X∈{IR，VI})主要包含显着性信息和边缘信息。通常，显着性图像中的像素值可以反映显着性信息，并且显着性图像中的平均梯度能够很好地体现边缘信息。因此显着性图像的像素值和平均梯度被用于显着性图像的融合，在此基础上提出了一种自适应融合规则。步骤如下：
步骤1：利用等式(4)-(8)计算显着性图像XS(X∈{IR，VI})的平均梯度图
Figure BDA00025761406100000412
步骤2：获取显着性权重图
Figure BDA0002576140610000051
Figure BDA0002576140610000052
步骤3：获取AG权重图
Figure BDA0002576140610000053
Figure BDA0002576140610000054
步骤4：获取初始权重图
Figure BDA0002576140610000055
Figure BDA0002576140610000056
(其中符号“|”为逻辑运算“或”)
步骤5：由于获取的初始权重图
Figure BDA0002576140610000057
嘈杂且缺乏空间一致性。因此使用滤波器进行细化得到最终的权重图
Figure BDA0002576140610000058
Figure BDA0002576140610000059
步骤6：得到最后的融合后的显着性图像FS。
Figure BDA00025761406100000510
Step4：重构源图像
通过融合后的低阶图像FL和融合后的显着性图像FS相加得到重构源图像F。
F＝FL+FS(18)
本专利的有利效果是：本发明提出一种新的红外与可见光图像融合方法，在该方法中，使用基于滑动窗口技术和鲁棒主成分析(RPCA)的鲁棒图像分解方法，将所提出的分解方法应用于将IR和VI图像分解，其次提出一种两尺度融合规则和自适应融合规则得到融合后的低阶图像和显著性图像，最后得到红外和可见光融合图像。这种融合方法保证了融合信息的完备性，减低冗余信息，符合人的视觉感知，可运用于图像融合的目标识别系统等。
以上仅就本发明的最佳实施例作了说明，但不能理解为是对权利要求的限制。本发明不仅局限于以上实施例，其具体结构允许有变化。凡在本发明独立权利要求的保护范围内所作的各种变化均在本发明保护范围内。

Claims (5)

1.一种基于滑动窗口技术的红外与可见光图像融合方法，所述方法包括以下步骤：
(1)提出基于滑动窗口技术的分解方法用于分解源图像X(X∈{IR，VI})为低阶图像XL和显着性图像XS；
(2)通过对低阶图像XL(X∈{IR，VI})执行两尺度融合规则来获取融合的低阶图像FL；
(3)通过对显着性图像XS(X∈{IR，VI})执行自适应融合规则来获取融合显着图像FS；
(4)将融合的低阶图像FL和显着性图像XS相加以重构融合图像F。
2.根据权利要求1所述的一种基于滑动窗口技术的红外与可见光图像融合方法，其特征在于：
(1)为利用滑动窗口技术和RPCA技术稳健地分解源图像：首先使用从左上到下的滑动窗口，从源图像获取P个大小为L×L的图像斑块，并将得到的P个图像斑块矢量化，拼接成为新矩阵；其次使用GreBsmo算法得到稀疏矩阵；然后通过中值滤波器将稀疏矩阵重构为显着性图像；最后将输入图像减去获取的显着性图像，获得低阶图像。
3.根据权利要求1所述的一种基于滑动窗口技术的红外与可见光图像融合方法，其特征在于：(2)为低阶图像的融合：首先将低阶图像XL(X∈{IR，VI})分解为各自的基础层
Figure FDA0002576140600000011
和细节层
Figure FDA0002576140600000012
其次使用平均融合规则将基础层
Figure FDA0002576140600000013
合并，获取融合后的基础层
Figure FDA0002576140600000014
然后计算细节层
Figure FDA0002576140600000015
的平均梯度图
Figure FDA0002576140600000016
之后得到初始权重图
Figure FDA0002576140600000017
然后使用滤波器对其细化得到最终的权重图
Figure FDA0002576140600000018
最后获取融合后的细节层
Figure FDA0002576140600000019
4.根据权利要求1所述的一种基于滑动窗口技术的红外与可见光图像融合方法，其特征在于：(3)为显著性图像的融合：首先计算显着性图像XS(X∈{IR，VI})的平均梯度图
Figure FDA00025761406000000110
其次获取显着性权重图
Figure FDA00025761406000000111
然后获取AG权重图
Figure FDA00025761406000000112
之后获取初始权重图
Figure FDA00025761406000000113
然后使用滤波器进行细化得到最终的权重图
Figure FDA00025761406000000114
最后得到融合后的显着性图像FS；
5.根据权利要求1所述的一种基于滑动窗口技术的红外与可见光图像融合方法，其特征在于：(4)为重构源图像：通过融合后的低阶图像FL和融合后的显着性图像FS相加得到重构源图像F。
CN202010654320.4A 2020-07-09 2020-07-09 一种基于滑动窗口技术的红外与可见光图像融合方法 Active CN111652832B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010654320.4A CN111652832B (zh) 2020-07-09 2020-07-09 一种基于滑动窗口技术的红外与可见光图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010654320.4A CN111652832B (zh) 2020-07-09 2020-07-09 一种基于滑动窗口技术的红外与可见光图像融合方法

Publications (2)

Publication Number Publication Date
CN111652832A true CN111652832A (zh) 2020-09-11
CN111652832B CN111652832B (zh) 2023-05-12

Family

ID=72350253

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010654320.4A Active CN111652832B (zh) 2020-07-09 2020-07-09 一种基于滑动窗口技术的红外与可见光图像融合方法

Country Status (1)

Country Link
CN (1) CN111652832B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120328178A1 (en) * 2010-06-25 2012-12-27 Cireca Theranostics, Llc Method for analyzing biological specimens by spectral imaging
CN107341786A (zh) * 2017-06-20 2017-11-10 西北工业大学 小波变换与联合稀疏表示的红外与可见光图像融合方法
CN107730482A (zh) * 2017-09-28 2018-02-23 电子科技大学 一种基于区域能量和方差的稀疏融合算法
CN109801250A (zh) * 2019-01-10 2019-05-24 云南大学 基于adc-scm与低秩矩阵表达的红外与可见光图像融合方法
CN110148104A (zh) * 2019-05-14 2019-08-20 西安电子科技大学 基于显著性分析与低秩表示的红外与可见光图像融合方法
CN110189284A (zh) * 2019-05-24 2019-08-30 南昌航空大学 一种红外与可见光图像融合方法
AU2020100178A4 (en) * 2020-02-04 2020-03-19 Huang, Shuying DR Multiple decision maps based infrared and visible image fusion
CN111080566A (zh) * 2019-12-12 2020-04-28 太原科技大学 一种基于结构组双稀疏学习的可见光与红外图像融合方法
CN111223069A (zh) * 2020-01-14 2020-06-02 天津工业大学 一种图像融合方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ITTO20120907A1 (it) * 2012-10-16 2014-04-17 Selex Galileo Spa Sistema di visione esterna e/o di puntamento di un'arma per veicoli militari terrestri ed unita' navali militari

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120328178A1 (en) * 2010-06-25 2012-12-27 Cireca Theranostics, Llc Method for analyzing biological specimens by spectral imaging
CN107341786A (zh) * 2017-06-20 2017-11-10 西北工业大学 小波变换与联合稀疏表示的红外与可见光图像融合方法
CN107730482A (zh) * 2017-09-28 2018-02-23 电子科技大学 一种基于区域能量和方差的稀疏融合算法
CN109801250A (zh) * 2019-01-10 2019-05-24 云南大学 基于adc-scm与低秩矩阵表达的红外与可见光图像融合方法
CN110148104A (zh) * 2019-05-14 2019-08-20 西安电子科技大学 基于显著性分析与低秩表示的红外与可见光图像融合方法
CN110189284A (zh) * 2019-05-24 2019-08-30 南昌航空大学 一种红外与可见光图像融合方法
CN111080566A (zh) * 2019-12-12 2020-04-28 太原科技大学 一种基于结构组双稀疏学习的可见光与红外图像融合方法
CN111223069A (zh) * 2020-01-14 2020-06-02 天津工业大学 一种图像融合方法及系统
AU2020100178A4 (en) * 2020-02-04 2020-03-19 Huang, Shuying DR Multiple decision maps based infrared and visible image fusion

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘峰;沈同圣;马新星;: "交叉双边滤波和视觉权重信息的图像融合" *

Also Published As

Publication number Publication date
CN111652832B (zh) 2023-05-12

Similar Documents

Publication Publication Date Title
Li et al. Single image de-hazing using globally guided image filtering
CN110223265B (zh) 基于多尺度变换分解的目标显著的图像融合方法及系统
CN109801250A (zh) 基于adc-scm与低秩矩阵表达的红外与可见光图像融合方法
CN103020933B (zh) 一种基于仿生视觉机理的多源图像融合方法
CN112801927B (zh) 一种基于三尺度分解的红外和可见光图像融合方法
CN112017139B (zh) 一种红外与可见光图像感知融合方法
CN110189284A (zh) 一种红外与可见光图像融合方法
Mitianoudis et al. Optimal contrast correction for ICA-based fusion of multimodal images
CN105225213B (zh) 一种基于s‑pcnn与拉普拉斯金字塔的彩色图像融合方法
CN112215787B (zh) 基于显著度分析及自适应滤波器的红外和可见光图像融合方法
US20240029206A1 (en) Low light and thermal image normalization for advanced fusion
CN116823694B (zh) 基于多聚焦信息整合的红外与可见光图像融合方法及系统
Asmare et al. Image Enhancement by Fusion in Contourlet Transform.
CN103400360A (zh) 基于Wedgelet和NSCT的多源图像融合方法
CN113706432A (zh) 保留输入图像纹理细节的多源图像融合方法和系统
Lin et al. Adaptive infrared and visible image fusion method by using rolling guidance filter and saliency detection
Patel et al. A review on infrared and visible image fusion techniques
Zhang et al. WGGAN: A wavelet-guided generative adversarial network for thermal image translation
Bhattacharya et al. D2bgan: A dark to bright image conversion model for quality enhancement and analysis tasks without paired supervision
Selvaraj et al. Infrared and visible image fusion using multi‐scale NSCT and rolling‐guidance filter
Kaur et al. Medical image fusion using gaussian filter, wavelet transform and curvelet transform filtering
CN107301625B (zh) 基于亮度融合网络的图像去雾方法
Gao et al. Infrared and visible image fusion using dual-tree complex wavelet transform and convolutional sparse representation
CN107194906A (zh) 一种基于曲波变换融合的图像处理方法及系统
Wang et al. Rapid nighttime haze removal with color-gray layer decomposition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant