CN111462025A - 基于多尺度低秩矩阵分解的红外与可见光图像融合方法 - Google Patents

基于多尺度低秩矩阵分解的红外与可见光图像融合方法 Download PDF

Info

Publication number
CN111462025A
CN111462025A CN202010119950.1A CN202010119950A CN111462025A CN 111462025 A CN111462025 A CN 111462025A CN 202010119950 A CN202010119950 A CN 202010119950A CN 111462025 A CN111462025 A CN 111462025A
Authority
CN
China
Prior art keywords
image
layer
low
rank
decomposition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010119950.1A
Other languages
English (en)
Other versions
CN111462025B (zh
Inventor
孟祥超
陈潮起
邵枫
符冉迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo University
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN202010119950.1A priority Critical patent/CN111462025B/zh
Publication of CN111462025A publication Critical patent/CN111462025A/zh
Application granted granted Critical
Publication of CN111462025B publication Critical patent/CN111462025B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于多尺度低秩矩阵分解的红外与可见光图像融合方法，其基于多尺度低秩矩阵分解将预处理后的红外图像和预处理后的可见光图像分解为多层次局部低秩图和全局低秩图两类，并根据各分解图像特点，针对性设计最优融合规则，得到的最终融合图像在不引入人工伪影和斑块的同时，能够保留原图的细节信息、增强热辐射显著目标，具有较好的对比度，有利于后续目标识别、检测等应用的开展。

Description

基于多尺度低秩矩阵分解的红外与可见光图像融合方法
技术领域
本发明涉及一种图像融合技术，尤其是涉及一种基于多尺度低秩矩阵分解的红外与可见光图像融合方法。
背景技术
红外图像与可见光图像在军事、工程、科研以及日常生活等各方面都有着广泛地应用。其中，红外传感器成像基于物体的热辐射特性，具有较强的云雾穿透能力，可在复杂环境下对具有较强热辐射特性的目标进行有效成像，但红外传感器成像对物体的细节表现能力差，往往表现为图像空间分辨率低、细节纹理少、图像模糊等特点。可见光传感器成像基于物体对光的反射率特性，具有图像空间分辨率高、细节纹理丰富、图像相对清晰等特点，但可见光传感器成像受光照条件影响较大，且极易受天气、云雾遮挡等的影响。红外/可见光图像融合可集成两者优势，弥补单一传感器成像的不足，实现对成像场景全面精确地表达。
目前，红外/可见光图像融合方法主要有：基于多尺度分解的融合方法、基于稀疏表示的融合方法、基于神经网络的融合方法等。基于多尺度分解的融合方法应用较为广泛，为红外/可见光图像融合中的研究热点，其基本思想为：首先，利用金字塔、小波变换等对红外图像和可见光图像分别进行低频和高频信息的分解，得到红外图像和可见光图像各自的低频和高频分量；其次，设计合理融合规则对红外图像的低频分量和可见光图像的低频分量进行融合、对红外图像的高频分量和可见光图像的高频分量进行融合；最后，利用融合后的低频分量和融合后的高频分量重建得到最终的融合图像。基于多尺度分解的融合方法主要包括基于金字塔分解的融合方法、基于小波变换的融合方法、基于曲波变换的融合方法、基于轮廓波变换的融合方法、基于引导滤波变换的融合方法等。此外，Bavirisetti等人提出了一种基于二尺度分解和显著性检测的融合方法，其利用均值滤波和中值滤波提取基础层和细节层，并利用视觉显著性获得权重图。此外，低秩分解于近几年引入红外/可见光图像融合领域，如Li等人提出的基于低秩分解的红外/可见光图像融合方法。现阶段使用的低秩分解模型大多基于Liu提出的低秩表示LRR(low-rank representation)理论，但是这种表示方法不能很好地提取区域结构信息。因此，2011年Liu又提出潜在低秩表示LatLRR(Latent low-rank representation)理论，这种表示方法能够在一定程度上从原始数据中获取全局和局部的结构信息。Li在LatLRR理论的基础上提出了基于LatLRR理论的红外与可见光图像融合方法，一定程度上提高了融合精度。
上述基于多尺度分解的红外与可见光图像融合方法往往采用了两层分解方式，即通过一种低通滤波器得到基础层低频信息，再通过与原图相减得到细节层，然而，上述两层分解方式对红外图像和可见光图像中的空间细节信息提取不充分。尽管LatLRR方法在一定程度上分解提取了原图的显著性区域和低秩区域，但分解得到的显著性图和低秩图存在分解不彻底且互相包含，导致融合结果往往存在对比度低、细节与纹理不够清晰、热红外目标不明显等问题。
发明内容
本发明所要解决的技术问题是提供一种基于多尺度低秩矩阵分解的红外与可见光图像融合方法，其充分考虑到红外图像和可见光图像存在的局部相关性特点和显著性目标的多尺度特点，引入了多尺度低秩矩阵分解技术，并对得到的分解图像针对性地设计最优融合规则，提高了融合对比度、细节与纹理的清晰度、热红外目标的明显程度，从而进一步提升了融合效果和精度。
本发明解决上述技术问题所采用的技术方案为：一种基于多尺度低秩矩阵分解的红外与可见光图像融合方法，其特征在于包括以下步骤：
步骤1：选取同一场景的一幅红外图像和一幅可见光图像，对应记为Ir和Iv；然后分别对Ir和Iv进行预处理，将预处理后得到的红外图像记为
Figure BDA0002392654670000021
将预处理后得到的可见光图像记为
Figure BDA0002392654670000022
其中，Ir和Iv的宽度均为M，Ir和Iv的高度均为N；
步骤2：对
Figure BDA0002392654670000023
进行多尺度低秩矩阵分解，将
Figure BDA0002392654670000024
分解为L层分解图像，将
Figure BDA0002392654670000025
的第i层分解图像记为
Figure BDA0002392654670000026
将
Figure BDA0002392654670000027
中坐标位置为(x,y)的像素点的像素值记为
Figure BDA0002392654670000028
将
Figure BDA0002392654670000029
中坐标位置为(x,y)的像素点的像素值记为
Figure BDA0002392654670000031
Figure BDA0002392654670000032
同样，对
Figure BDA0002392654670000033
进行多尺度低秩矩阵分解，将
Figure BDA0002392654670000034
分解为L层分解图像，将
Figure BDA0002392654670000035
的第i层分解图像记为
Figure BDA0002392654670000036
将
Figure BDA0002392654670000037
中坐标位置为(x,y)的像素点的像素值记为
Figure BDA0002392654670000038
将
Figure BDA0002392654670000039
中坐标位置为(x,y)的像素点的像素值记为
Figure BDA00023926546700000310
Figure BDA00023926546700000311
其中，L表示多尺度低秩矩阵分解的分解层数，
Figure BDA00023926546700000312
符号
Figure BDA00023926546700000313
为向上取整符号，1≤i≤L，1≤x≤M，1≤y≤N；
步骤3：对
Figure BDA00023926546700000314
的L层分解图像和
Figure BDA00023926546700000315
的L层分解图像针对性地设计最优融合权重，并进行融合，具体过程为：
步骤3_1：将
Figure BDA00023926546700000316
和
Figure BDA00023926546700000317
各自的L层分解图像分为多层次局部低秩图和全局低秩图两类，再将多层次局部低秩图分为局部小低秩块部分和局部大低秩块部分，当L为偶数时，局部小低秩块部分由第1层至第
Figure BDA00023926546700000318
层分解图像组成，局部大低秩块部分由第
Figure BDA00023926546700000319
层至第L-1层分解图像组成，第L层分解图像为全局低秩图；当L为奇数时，局部小低秩块部分由第1层至第
Figure BDA00023926546700000320
层分解图像组成，局部大低秩块部分由第
Figure BDA00023926546700000321
层至第L-1层分解图像组成，第L层分解图像为全局低秩图；
步骤3_2：对于局部小低秩块部分，将
Figure BDA00023926546700000322
的局部小低秩块部分中的每层分解图像和
Figure BDA00023926546700000323
的局部小低秩块部分中的每层分解图像的最优融合权重均设计为1；然后根据
Figure BDA00023926546700000324
的局部小低秩块部分中的每层分解图像和
Figure BDA00023926546700000325
的局部小低秩块部分中对应层分解图像，获取对应层融合图像，当
Figure BDA00023926546700000326
的第j层分解图像Tr j属于
Figure BDA00023926546700000327
的局部小低秩块部分且
Figure BDA00023926546700000328
的第j层分解图像Tv j属于
Figure BDA00023926546700000329
的局部小低秩块部分时，将获取的第j层融合图像记为Fj，将Fj中坐标位置为(x,y)的像素点的像素值记为Fj(x,y)，
Figure BDA00023926546700000330
其中，当L为偶数时
Figure BDA0002392654670000041
当L为奇数时
Figure BDA0002392654670000042
1≤x≤M，1≤y≤N，
Figure BDA0002392654670000043
表示
Figure BDA0002392654670000044
中坐标位置为(x,y)的像素点的像素值，
Figure BDA0002392654670000045
表示
Figure BDA0002392654670000046
中坐标位置为(x,y)的像素点的像素值；
对于局部大低秩块部分，根据
Figure BDA0002392654670000047
的局部大低秩块部分中的每层分解图像和
Figure BDA0002392654670000048
的局部大低秩块部分中对应层分解图像，获取对应层融合图像，当
Figure BDA0002392654670000049
的第k层分解图像Tr k属于
Figure BDA00023926546700000410
的局部大低秩块部分且
Figure BDA00023926546700000411
的第k层分解图像Tv k属于
Figure BDA00023926546700000412
的局部大低秩块部分时，将获取的第k层融合图像记为Fk，将Fk中坐标位置为(x,y)的像素点的像素值记为Fk(x,y)，
Figure BDA00023926546700000413
其中，当L为偶数时
Figure BDA00023926546700000414
当L为奇数时
Figure BDA00023926546700000415
Figure BDA00023926546700000416
表示Tv k的最优融合权重，
Figure BDA00023926546700000417
表示
Figure BDA00023926546700000418
的最优融合权重，
Figure BDA00023926546700000419
Wk表示Tv k的初始融合权重，Wk为最大绝对值方法权重系数，
Figure BDA00023926546700000420
符号“||”为取绝对值符号，符号
Figure BDA00023926546700000421
为卷积运算符号，G(x,y,σs)为高斯滤波器，σs表示高斯滤波器的标准差，Tr k(x,y)表示Tr k中坐标位置为(x,y)的像素点的像素值，Tv k(x,y)表示Tv k中坐标位置为(x,y)的像素点的像素值；
对于全局低秩图，将
Figure BDA00023926546700000422
的全局低秩图即第L层分解图像Tr L的最优融合权重设计为wr，将
Figure BDA00023926546700000423
的全局低秩图即第L层分解图像Tv L的最优融合权重设计为wv；然后根据
Figure BDA00023926546700000424
的全局低秩图即第L层分解图像Tr L和
Figure BDA00023926546700000425
的全局低秩图即第L层分解图像Tv L，获取第L层融合图像，记为FL，将FL中坐标位置为(x,y)的像素点的像素值记为FL(x,y)，FL(x,y)＝wrTr L(x,y)+wvTv L(x,y)；其中，wr+wv＝1，Tr L(x,y)表示Tr L中坐标位置为(x,y)的像素点的像素值，Tv L(x,y)表示Tv L中坐标位置为(x,y)的像素点的像素值；
步骤4：计算Ir和Iv的最终融合图像，记为F，将F中坐标位置为(x,y)的像素点的像素值记为F(x,y)，
Figure BDA0002392654670000051
其中，Fi(x,y)表示第i层融合图像Fi中坐标位置为(x,y)的像素点的像素值。
所述的步骤1中，对Ir进行预处理的过程为采用SIFT的特征点提取方法对Ir进行空间几何配准，经空间几何配准后得到的图像即为预处理后得到的红外图像
Figure BDA0002392654670000052
同样，对Iv进行预处理的过程为采用SIFT的特征点提取方法对Iv进行空间几何配准，经空间几何配准后得到的图像即为预处理后得到的可见光图像
Figure BDA0002392654670000053
与现有技术相比，本发明的优点在于：
1)本发明方法充分考虑到红外图像和可见光图像存在的局部相关性特点和显著性目标的多尺度特点，引入了多尺度低秩矩阵分解技术，将红外图像和可见光图像分别分解为多层次局部低秩图(也就是显著图)和全局低秩图两类，以更充分地提取红外图像和可见光图像的纹理和目标显著性信息。
2)本发明方法充分考虑到多层次分解图像的特点，针对性地设计最优融合策略，从而更加全面地保留了原图像的细节纹理信息和显著性信息。
3)本发明方法得到的最终融合图像的细节与纹理清晰、热红外辐射目标突出、融合对比度较高，具有良好的实际工程应用前景。
附图说明
图1为本发明方法的总体流程框图；
图2a为一幅Nato_camp场景的红外图像经本发明方法的步骤1预处理后得到的红外图像；
图2b为一幅Nato_camp场景的可见光图像经本发明方法的步骤1预处理后得到的可见光图像；
图3为图2a所示的红外图像经本发明方法的步骤2后再进行多尺度低秩矩阵分解得到的6层分解图像；
图4为图2a和图2b的最终融合图像。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
充分考虑到红外/可见光图像融合在目标识别、夜视仪等工程应用的需求，即红外/可见光融合图像既要突显红外图像的目标信息，同时又不丢失可见光图像的内容以及避免加入人工伪影，因此提出了一种基于多尺度低秩矩阵分解的红外与可见光图像融合方法，其总体流程框图如图1所示，其包括以下步骤：
步骤1：选取同一场景的一幅红外图像和一幅可见光图像，对应记为Ir和Iv；然后分别对Ir和Iv进行预处理，将预处理后得到的红外图像记为
Figure BDA0002392654670000061
将预处理后得到的可见光图像记为
Figure BDA0002392654670000062
其中，Ir和Iv的宽度均为M，Ir和Iv的高度均为N。
在此具体实施例中，步骤1中，对Ir进行预处理的过程为采用SIFT(Scale-invariant feature transform，尺度不变特征变换)的特征点提取方法对Ir进行空间几何配准，经空间几何配准后得到的图像即为预处理后得到的红外图像
Figure BDA0002392654670000063
同样，对Iv进行预处理的过程为采用SIFT的特征点提取方法对Iv进行空间几何配准，经空间几何配准后得到的图像即为预处理后得到的可见光图像
Figure BDA0002392654670000064
在此，空间几何配准所使用的软件为matlab。
步骤2：对
Figure BDA0002392654670000065
进行多尺度低秩矩阵分解，将
Figure BDA0002392654670000066
分解为L层分解图像，将
Figure BDA0002392654670000067
的第i层分解图像记为Tr i，将
Figure BDA0002392654670000068
中坐标位置为(x,y)的像素点的像素值记为
Figure BDA0002392654670000069
将Tr i中坐标位置为(x,y)的像素点的像素值记为Tr i(x,y)，
Figure BDA00023926546700000610
同样，对
Figure BDA00023926546700000611
进行多尺度低秩矩阵分解，将
Figure BDA00023926546700000612
分解为L层分解图像，将
Figure BDA00023926546700000613
的第i层分解图像记为Tv i，将
Figure BDA00023926546700000614
中坐标位置为(x,y)的像素点的像素值记为
Figure BDA00023926546700000615
将Tv i中坐标位置为(x,y)的像素点的像素值记为Tv i(x,y)，
Figure BDA00023926546700000616
其中，多尺度低秩矩阵分解是一种现有技术，文献(Frank Ong andMichael Lustig，Beyond Low Rank+Sparse:Multiscale Low Rank MatrixDecomposition，IEEE JSTSP,2016)(Frank Ong and Michael Lustig，比低秩+稀疏更优越的多尺度低秩矩阵分解方法，IEEE JSTSP,2016)公开了这种技术，L表示多尺度低秩矩阵分解的分解层数，
Figure BDA0002392654670000071
符号
Figure BDA0002392654670000072
为向上取整符号，1≤i≤L，分解图像的宽度为M且高度为N，1≤x≤M，1≤y≤N。
步骤3：对
Figure BDA0002392654670000073
的L层分解图像和
Figure BDA0002392654670000074
的L层分解图像针对性地设计最优融合权重，并进行融合，具体过程为：
步骤3_1：
Figure BDA0002392654670000075
和
Figure BDA0002392654670000076
各自分解得到的L层分解图像包括多层次局部低秩图和全局低秩图两类，在此多层次局部低秩图基于图像的局部低秩性特点，采用不同大小的局部图像块进行分解得到，全局低秩图是对图像整体进行低秩分解得到的，因此为合理设计最优融合权重，本发明进一步将多层次局部低秩图分为两部分，分别是局部小低秩块部分(采用较小局部图像块分解得到)和局部大低秩块部分(采用较大局部图像块分解得到)，具体为：将
Figure BDA0002392654670000077
和
Figure BDA0002392654670000078
各自的L层分解图像分为多层次局部低秩图和全局低秩图两类，再将多层次局部低秩图分为局部小低秩块部分和局部大低秩块部分，当L为偶数时，局部小低秩块部分由第1层至第
Figure BDA0002392654670000079
层分解图像组成，局部大低秩块部分由第
Figure BDA00023926546700000710
层至第L-1层分解图像组成，第L层分解图像为全局低秩图；当L为奇数时，局部小低秩块部分由第1层至第
Figure BDA00023926546700000711
层分解图像组成，局部大低秩块部分由第
Figure BDA00023926546700000712
层至第L-1层分解图像组成，第L层分解图像为全局低秩图。
步骤3_2：对于局部小低秩块部分，将
Figure BDA00023926546700000713
的局部小低秩块部分中的每层分解图像和
Figure BDA00023926546700000714
的局部小低秩块部分中的每层分解图像的最优融合权重均设计为1；然后根据
Figure BDA00023926546700000715
的局部小低秩块部分中的每层分解图像和的局部小低秩块部分中对应层分解图像，获取对应层融合图像，当
Figure BDA00023926546700000717
的第j层分解图像Tr j属于
Figure BDA00023926546700000718
的局部小低秩块部分且
Figure BDA00023926546700000719
的第j层分解图像Tv j属于
Figure BDA00023926546700000720
的局部小低秩块部分时，将获取的第j层融合图像记为Fj，将Fj中坐标位置为(x,y)的像素点的像素值记为Fj(x,y)，考虑到
Figure BDA0002392654670000081
的局部小低秩块部分中的各层分解图像和
Figure BDA0002392654670000082
的局部小低秩块部分中的各层分解图像具有极强的互补性，因此采用求和融合策略求得对应层融合图像，以最大化保持红外图像和可见光图像的显著性信息，表示为Fj(x,y)＝Tr j(x,y)+Tv j(x,y)；其中，当L为偶数时
Figure BDA0002392654670000083
当L为奇数时
Figure BDA0002392654670000084
1≤x≤M，1≤y≤N，Tr j(x,y)表示Tr j中坐标位置为(x,y)的像素点的像素值，Tv j(x,y)表示Tv j中坐标位置为(x,y)的像素点的像素值。
对于局部大低秩块部分，根据
Figure BDA0002392654670000085
的局部大低秩块部分中的每层分解图像和
Figure BDA0002392654670000086
的局部大低秩块部分中对应层分解图像，获取对应层融合图像，当
Figure BDA0002392654670000087
的第k层分解图像Tr k属于
Figure BDA0002392654670000088
的局部大低秩块部分且
Figure BDA0002392654670000089
的第k层分解图像Tv k属于
Figure BDA00023926546700000810
的局部大低秩块部分时，将获取的第k层融合图像记为Fk，将Fk中坐标位置为(x,y)的像素点的像素值记为Fk(x,y)，Fk(x,y)＝(1-Wd k)×Tr k(x,y)+Wd k×Tv k(x,y)；其中，当L为偶数时
Figure BDA00023926546700000811
当L为奇数时
Figure BDA00023926546700000812
Figure BDA00023926546700000813
表示Tv k的最优融合权重，
Figure BDA00023926546700000814
表示Tr k的最优融合权重，考虑到
Figure BDA00023926546700000815
的局部大低秩块部分中的各层分解图像和
Figure BDA00023926546700000816
的局部大低秩块部分中的各层分解图像具有较好的互补性，同时存在一定的冗余性，因此采用最大绝对值融合策略进行融合，Wk为最大绝对值方法权重系数，同时为了减小噪声，使用高斯滤波器来平滑初始融合权重，因此表示为
Figure BDA00023926546700000817
Wk表示Tv k的初始融合权重，Wk为最大绝对值方法权重系数，
Figure BDA00023926546700000818
符号“||”为取绝对值符号，符号
Figure BDA00023926546700000819
为卷积运算符号，G(x,y,σs)为高斯滤波器，σs表示高斯滤波器的标准差，通常设σs＝2，Tr k(x,y)表示Tr k中坐标位置为(x,y)的像素点的像素值，Tv k(x,y)表示Tv k中坐标位置为(x,y)的像素点的像素值。
对于全局低秩图，将
Figure BDA0002392654670000091
的全局低秩图即第L层分解图像Tr L的最优融合权重设计为wr，将
Figure BDA0002392654670000092
的全局低秩图即第L层分解图像Tv L的最优融合权重设计为wv；然后根据
Figure BDA0002392654670000093
的全局低秩图即第L层分解图像Tr L和
Figure BDA0002392654670000094
的全局低秩图即第L层分解图像Tv L，获取第L层融合图像，记为FL，将FL中坐标位置为(x,y)的像素点的像素值记为FL(x,y)，FL(x,y)＝wrTr L(x,y)+wvTv L(x,y)；其中，wr+wv＝1，为了更好地保留红外图像和可见光图像的全局结构信息和纹理信息、减少不必要的冗余信息以及复杂融合方法所带来的人工伪影，因此采用直接平均加权方式进行融合，在本实施例中取wr＝wv＝0.5，Tr L(x,y)表示Tr L中坐标位置为(x,y)的像素点的像素值，Tv L(x,y)表示Tv L中坐标位置为(x,y)的像素点的像素值。
步骤4：计算Ir和Iv的最终融合图像，记为F，将F中坐标位置为(x,y)的像素点的像素值记为F(x,y)，
Figure BDA0002392654670000095
其中，Fi(x,y)表示第i层融合图像Fi中坐标位置为(x,y)的像素点的像素值。
为了验证本发明方法的可行性和有效性，对本发明方法进行实验。
图2a给出了一幅Nato_camp场景的红外图像经本发明方法的步骤1预处理后得到的红外图像，图2b给出了一幅Nato_camp场景的可见光图像经本发明方法的步骤1预处理后得到的可见光图像。从图2a和图2b中可以看出，可见光图像在正常的光照条件下获得场景的细节纹理信息，图片清晰，而红外图像在光照不足的情况下对热辐射目标有较为明显的成像结果。
图3给出了图2a所示的红外图像经本发明方法的步骤2后再进行多尺度低秩矩阵分解得到的6层分解图像，图3中Y代表图2a所示的红外图像，X1表示Y的第1层分解图像，X2表示Y的第2层分解图像，X3表示Y的第3层分解图像，X4表示Y的第4层分解图像，X5表示Y的第5层分解图像，X6表示Y的第6层分解图像。从图3中可以看出，不同层的分解图像包含了原图的不同信息，前5层分解图像有较多的显著性信息，最后一层分解图像呈现较好的全局低秩结构。通过多尺度低秩矩阵分解能够更好地区分原始图像的显著性区域和低秩区域，其分解相对于普通的两层低秩分解方法，分解图像效果更好，显著部分每幅图也包含不同的信息，可以更加有针对性地制定不同融合规则，这样在减少融合结果人工伪影和斑块的同时完整地保留了图像的显著性信息和细节纹理信息。
图4给出了图2a和图2b的最终融合图像，从图4中可以看出，最终融合图像的融合对比度高，突出了目标信息，热红外显著性信息保留完整，这有利于后续的目标跟踪和检测，同时保留了更多可见光图像的纹理信息。

Claims (2)

1.一种基于多尺度低秩矩阵分解的红外与可见光图像融合方法，其特征在于包括以下步骤：
步骤1：选取同一场景的一幅红外图像和一幅可见光图像，对应记为Ir和Iv；然后分别对Ir和Iv进行预处理，将预处理后得到的红外图像记为
Figure FDA0002392654660000011
将预处理后得到的可见光图像记为
Figure FDA0002392654660000012
其中，Ir和Iv的宽度均为M，Ir和Iv的高度均为N；
步骤2：对
Figure FDA0002392654660000013
进行多尺度低秩矩阵分解，将
Figure FDA0002392654660000014
分解为L层分解图像，将
Figure FDA0002392654660000015
的第i层分解图像记为
Figure FDA0002392654660000016
将
Figure FDA0002392654660000017
中坐标位置为(x,y)的像素点的像素值记为
Figure FDA0002392654660000018
将
Figure FDA0002392654660000019
中坐标位置为(x,y)的像素点的像素值记为
Figure FDA00023926546600000110
同样，对
Figure FDA00023926546600000111
进行多尺度低秩矩阵分解，将
Figure FDA00023926546600000112
分解为L层分解图像，将
Figure FDA00023926546600000113
的第i层分解图像记为
Figure FDA00023926546600000114
将
Figure FDA00023926546600000115
中坐标位置为(x,y)的像素点的像素值记为
Figure FDA00023926546600000116
将
Figure FDA00023926546600000117
中坐标位置为(x,y)的像素点的像素值记为
Figure FDA00023926546600000118
其中，L表示多尺度低秩矩阵分解的分解层数，
Figure FDA00023926546600000119
符号
Figure FDA00023926546600000120
为向上取整符号，1≤i≤L，1≤x≤M，1≤y≤N；
步骤3：对
Figure FDA00023926546600000121
的L层分解图像和
Figure FDA00023926546600000122
的L层分解图像针对性地设计最优融合权重，并进行融合，具体过程为：
步骤3_1：将
Figure FDA00023926546600000123
和
Figure FDA00023926546600000124
各自的L层分解图像分为多层次局部低秩图和全局低秩图两类，再将多层次局部低秩图分为局部小低秩块部分和局部大低秩块部分，当L为偶数时，局部小低秩块部分由第1层至第
Figure FDA00023926546600000125
层分解图像组成，局部大低秩块部分由第
Figure FDA00023926546600000126
层至第L-1层分解图像组成，第L层分解图像为全局低秩图；当L为奇数时，局部小低秩块部分由第1层至第
Figure FDA0002392654660000021
层分解图像组成，局部大低秩块部分由第
Figure FDA0002392654660000022
层至第L-1层分解图像组成，第L层分解图像为全局低秩图；
步骤3_2：对于局部小低秩块部分，将
Figure FDA0002392654660000023
的局部小低秩块部分中的每层分解图像和
Figure FDA0002392654660000024
的局部小低秩块部分中的每层分解图像的最优融合权重均设计为1；然后根据
Figure FDA0002392654660000025
的局部小低秩块部分中的每层分解图像和
Figure FDA0002392654660000026
的局部小低秩块部分中对应层分解图像，获取对应层融合图像，当
Figure FDA0002392654660000027
的第j层分解图像
Figure FDA00023926546600000238
属于
Figure FDA0002392654660000028
的局部小低秩块部分且
Figure FDA0002392654660000029
的第j层分解图像
Figure FDA00023926546600000210
属于
Figure FDA00023926546600000211
的局部小低秩块部分时，将获取的第j层融合图像记为Fj，将Fj中坐标位置为(x,y)的像素点的像素值记为Fj(x,y)，
Figure FDA00023926546600000212
其中，当L为偶数时
Figure FDA00023926546600000213
当L为奇数时
Figure FDA00023926546600000214
1≤x≤M，1≤y≤N，
Figure FDA00023926546600000215
表示
Figure FDA00023926546600000216
中坐标位置为(x,y)的像素点的像素值，
Figure FDA00023926546600000217
表示
Figure FDA00023926546600000218
中坐标位置为(x,y)的像素点的像素值；
对于局部大低秩块部分，根据
Figure FDA00023926546600000219
的局部大低秩块部分中的每层分解图像和
Figure FDA00023926546600000220
的局部大低秩块部分中对应层分解图像，获取对应层融合图像，当
Figure FDA00023926546600000221
的第k层分解图像
Figure FDA00023926546600000222
属于
Figure FDA00023926546600000223
的局部大低秩块部分且
Figure FDA00023926546600000224
的第k层分解图像
Figure FDA00023926546600000225
属于
Figure FDA00023926546600000226
的局部大低秩块部分时，将获取的第k层融合图像记为Fk，将Fk中坐标位置为(x,y)的像素点的像素值记为Fk(x,y)，
Figure FDA00023926546600000227
其中，当L为偶数时
Figure FDA00023926546600000228
当L为奇数时
Figure FDA00023926546600000229
Figure FDA00023926546600000230
表示
Figure FDA00023926546600000231
的最优融合权重，
Figure FDA00023926546600000232
表示
Figure FDA00023926546600000233
的最优融合权重，
Figure FDA00023926546600000234
Wk表示
Figure FDA00023926546600000235
的初始融合权重，Wk为最大绝对值方法权重系数，
Figure FDA00023926546600000236
符号“||”为取绝对值符号，符号
Figure FDA00023926546600000237
为卷积运算符号，G(x,y,σs)为高斯滤波器，σs表示高斯滤波器的标准差，
Figure FDA0002392654660000031
表示
Figure FDA0002392654660000032
中坐标位置为(x,y)的像素点的像素值，
Figure FDA0002392654660000033
表示
Figure FDA0002392654660000034
中坐标位置为(x,y)的像素点的像素值；
对于全局低秩图，将
Figure FDA0002392654660000035
的全局低秩图即第L层分解图像
Figure FDA00023926546600000313
的最优融合权重设计为wr，将
Figure FDA0002392654660000036
的全局低秩图即第L层分解图像
Figure FDA00023926546600000314
的最优融合权重设计为wv；然后根据
Figure FDA0002392654660000037
的全局低秩图即第L层分解图像
Figure FDA00023926546600000315
和
Figure FDA0002392654660000038
的全局低秩图即第L层分解图像
Figure FDA00023926546600000316
获取第L层融合图像，记为FL，将FL中坐标位置为(x,y)的像素点的像素值记为FL(x,y)，
Figure FDA0002392654660000039
其中，wr+wv＝1，
Figure FDA00023926546600000318
表示
Figure FDA00023926546600000317
中坐标位置为(x,y)的像素点的像素值，
Figure FDA00023926546600000321
表示
Figure FDA00023926546600000320
中坐标位置为(x,y)的像素点的像素值；
步骤4：计算Ir和Iv的最终融合图像，记为F，将F中坐标位置为(x,y)的像素点的像素值记为F(x,y)，
Figure FDA00023926546600000310
其中，Fi(x,y)表示第i层融合图像Fi中坐标位置为(x,y)的像素点的像素值。
2.根据权利要求1所述的一种基于多尺度低秩矩阵分解的红外与可见光图像融合方法，其特征在于所述的步骤1中，对Ir进行预处理的过程为采用SIFT的特征点提取方法对Ir进行空间几何配准，经空间几何配准后得到的图像即为预处理后得到的红外图像
Figure FDA00023926546600000311
同样，对Iv进行预处理的过程为采用SIFT的特征点提取方法对Iv进行空间几何配准，经空间几何配准后得到的图像即为预处理后得到的可见光图像
Figure FDA00023926546600000312
CN202010119950.1A 2020-02-26 2020-02-26 基于多尺度低秩矩阵分解的红外与可见光图像融合方法 Active CN111462025B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010119950.1A CN111462025B (zh) 2020-02-26 2020-02-26 基于多尺度低秩矩阵分解的红外与可见光图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010119950.1A CN111462025B (zh) 2020-02-26 2020-02-26 基于多尺度低秩矩阵分解的红外与可见光图像融合方法

Publications (2)

Publication Number Publication Date
CN111462025A true CN111462025A (zh) 2020-07-28
CN111462025B CN111462025B (zh) 2023-04-07

Family

ID=71684159

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010119950.1A Active CN111462025B (zh) 2020-02-26 2020-02-26 基于多尺度低秩矩阵分解的红外与可见光图像融合方法

Country Status (1)

Country Link
CN (1) CN111462025B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112950518A (zh) * 2021-03-19 2021-06-11 中国科学院长春光学精密机械与物理研究所 基于潜在低秩表示嵌套滚动引导图像滤波的图像融合方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106846268A (zh) * 2017-01-04 2017-06-13 温州大学 一种高斯‑脉冲混合图像噪声去除方法
CN109801250A (zh) * 2019-01-10 2019-05-24 云南大学 基于adc-scm与低秩矩阵表达的红外与可见光图像融合方法
WO2019153651A1 (zh) * 2018-02-06 2019-08-15 江苏宇特光电科技股份有限公司 基于双边滤波金字塔的三光图像智能融合方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106846268A (zh) * 2017-01-04 2017-06-13 温州大学 一种高斯‑脉冲混合图像噪声去除方法
WO2019153651A1 (zh) * 2018-02-06 2019-08-15 江苏宇特光电科技股份有限公司 基于双边滤波金字塔的三光图像智能融合方法
CN109801250A (zh) * 2019-01-10 2019-05-24 云南大学 基于adc-scm与低秩矩阵表达的红外与可见光图像融合方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LI H，ET.AL: "infrared and visible image fusion using latent low-rank representation" *
朱雄泳;等: "求解低秩矩阵融合高动态范围图像" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112950518A (zh) * 2021-03-19 2021-06-11 中国科学院长春光学精密机械与物理研究所 基于潜在低秩表示嵌套滚动引导图像滤波的图像融合方法
CN112950518B (zh) * 2021-03-19 2022-10-04 中国科学院长春光学精密机械与物理研究所 基于潜在低秩表示嵌套滚动引导图像滤波的图像融合方法

Also Published As

Publication number Publication date
CN111462025B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN110533620B (zh) 基于aae提取空间特征的高光谱和全色图像融合方法
Ozcelik et al. Rethinking CNN-based pansharpening: Guided colorization of panchromatic images via GANs
Yang et al. Deep joint rain detection and removal from a single image
CN111915530B (zh) 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法
CN106934766B (zh) 一种基于稀疏表示的红外图像超分辨率重建方法
Zhang et al. One-two-one networks for compression artifacts reduction in remote sensing
CN112233026A (zh) 一种基于多尺度残差注意力网络的sar图像去噪方法
Huang et al. Deep hyperspectral image fusion network with iterative spatio-spectral regularization
Liu et al. Hyperspectral restoration and fusion with multispectral imagery via low-rank tensor-approximation
CN110189286B (zh) 一种基于ResNet的红外与可见光图像融合方法
CN113222877B (zh) 红外和可见光图像融合方法及其在机载光电视频中的应用
Wang et al. MAGAN: Unsupervised low-light image enhancement guided by mixed-attention
CN114862731B (zh) 低秩先验与空谱信息引导的多-高光谱影像融合方法
Li et al. Infrared-visible image fusion method based on sparse and prior joint saliency detection and LatLRR-FPDE
Yu et al. Split-attention multiframe alignment network for image restoration
Ren et al. Unsupervised single image dehazing with generative adversarial network
Mun et al. Texture preserving photo style transfer network
CN111462025B (zh) 基于多尺度低秩矩阵分解的红外与可见光图像融合方法
Wali et al. Recent Progress in Digital Image Restoration Techniques: A Review
CN116563101A (zh) 一种基于频域残差的无人机图像盲超分辨率重建方法
Van Noord et al. Light-weight pixel context encoders for image inpainting
Li et al. ConvFormerSR: Fusing Transformers and Convolutional Neural Networks for Cross-sensor Remote Sensing Imagery Super-resolution
Liu et al. Dnt: Learning unsupervised denoising transformer from single noisy image
CN113436123B (zh) 去云-分辨率提升协同的高分sar与低分多光谱图像融合方法
CN114331894A (zh) 一种基于潜在特征重构和掩模感知的人脸图像修复方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant