CN111833284A - 一种基于低秩分解和卷积稀疏编码的多源图像融合的方法 - Google Patents
一种基于低秩分解和卷积稀疏编码的多源图像融合的方法 Download PDFInfo
- Publication number
- CN111833284A CN111833284A CN202010684188.1A CN202010684188A CN111833284A CN 111833284 A CN111833284 A CN 111833284A CN 202010684188 A CN202010684188 A CN 202010684188A CN 111833284 A CN111833284 A CN 111833284A
- Authority
- CN
- China
- Prior art keywords
- sparse
- image
- fused
- components
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000354 decomposition reaction Methods 0.000 title claims abstract description 36
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 21
- 230000004927 fusion Effects 0.000 claims abstract description 87
- 238000000034 method Methods 0.000 claims abstract description 38
- 238000010586 diagram Methods 0.000 claims abstract description 20
- 238000012545 processing Methods 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims description 38
- 238000012360 testing method Methods 0.000 claims description 16
- 239000000126 substance Substances 0.000 claims description 15
- 230000008859 change Effects 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 4
- 101100391182 Dictyostelium discoideum forI gene Proteins 0.000 claims description 3
- 238000009825 accumulation Methods 0.000 claims description 3
- 230000008602 contraction Effects 0.000 claims description 3
- 230000001186 cumulative effect Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 abstract description 9
- 230000000694 effects Effects 0.000 abstract description 6
- 230000006870 function Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 3
- 230000014759 maintenance of location Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于低秩分解和卷积稀疏编码的多源图像融合的方法,属于数字图像处理技术领域。本发明充分考虑了图像块之间的一致性,通过一组滤波器和稀疏特征图来表示整张图像,不需要将图像切块处理,使得最终融合图像的效果保留了源图像丰富的细节信息,细节更加清晰,不管是从主观视觉上还是客观评价指标上来看实验结果,本发明的融合结果优于其他传统的方法,验证了本发明的有效性。
Description
技术领域
本发明涉及一种基于低秩分解和卷积稀疏编码的多源图像融合的方法,属于数字图像处理技术领域。
背景技术
多源图像融合是指将多源信道所采集到的关于同一目标的图像数据经过图像处理和计算机技术处理等,最大限度的提取各自信道中的有利信息并去除冗余信息,最后综合生成高质量的图像,来提高图像信息的利用率、改善计算机解译精度和可靠性、提升源图像的光谱分辨率和光谱利用率。现已应用到日常生活的方方面面,小到医疗方面的医学成像、小区的安全监控等应用,大到国家的航空航天、军事国防等领域。
近年来,多源图像融合技术受到了研究者的广泛关注,并提出了许多融合方法。大多数的融合方法都是像素级的,像素级的融合方法大致可分为两类——基于空间域变换的融合算法和基于变换域变换的融合算法。基于空间域变换的融合算法将亮度值作为特征进行融合,可通过分块或分割的方法把图像分成多个小区域,选择空间频率、梯度能量等作为衡量区域显著度的活动级测量准则,之后利用“系数平均值”、“系数取大”等融合规则进行区域融合;它充分利用了图像的结构信息指导融合,因此可以克服像素级融合对噪声敏感等缺点,但仍存在块效应等问题。基于变换域变换的融合算法将图像在变换域的系数作为显著性特征进行融合,包括基于多分辨率分析的方法,以金字塔变换、小波变换、多尺度几何分析为代表。由于图像的显著性特征在变换域比在空间域能更好地被描述,因此变换域算法相对空间域算法性能更好,但其算法耗时、效率较低。不过,随着计算机软硬件性能的提高,这一问题将逐步被弱化。而近几年来,随着压缩感知技术的兴起,基于稀疏表示的图像融合技术被推向了一个新的高度。在传统意义上的稀疏表示模型中,还存在一些缺陷。如l0范数的可拓展性贫乏,在处理大规模问题上限制了稀疏编码的应用。为了减少建模和计算担,一般都只是对图像块单独编码,其次,只单独编码一维信号,没有考虑数据信息在二维空间结构和图像块之间的一致性,导致编码高度冗余,这种稀疏表示方法忽视了图像块之间的一致性。
发明内容
本发明提供了一种基于低秩分解和卷积稀疏编码的多源图像融合的方法,以用于实现多源图像的融合。
本发明的技术方案是:一种基于低秩分解和卷积稀疏编码的多源图像融合的方法,选取一组图像作为训练样本,对这组图像进行低秩分解,分解成低秩成分和稀疏成分,通过加入低秩约束提出一种新的滤波器训练模型,根据提出的滤波器训练模型进行卷积稀疏编码优化求解,并迭代更新获得训练样本图像的滤波器;
对待融合图像处理,得到融合图像:选取两幅待融合图像作为测试图像,对两幅待融合图像进行低秩分解,分别得到待融合图像的低秩成分和待融合图像的稀疏成分,对待融合图像的低秩成分和待融合图像的稀疏成分分别设计不同的融合规则:对于待融合图像的低秩成分,根据待融合图像低秩成分的能量信息变化获得低秩成分的融合决策图,再根据低秩成分的融合决策图得到融合低秩成分;对于待融合图像的稀疏成分,通过与训练样本图像获得的滤波器进行卷积稀疏分解得到待融合图像的稀疏成分的稀疏特征图,根据待融合图像的稀疏成分的稀疏特征图通过改进的拉普拉斯运算获得稀疏成分的融合稀疏特征图,通过稀疏成分的融合稀疏特征图与训练样本图像获得的滤波器进行卷积运算得到融合稀疏成分;最后将得到的融合低秩成分与融合稀疏成分进行相加得到测试图像的融合图像。
所述训练样本图像的滤波器具体步骤如下:
Step1、选取一组图像{X1,X2,...,XK}作为训练样本,对这组训练的k幅图像进行低秩分解,可以分解成低秩成分和稀疏成分其中,表示第k幅训练图像的低秩成分,表示第k幅训练图像的稀疏成分;滤波器训练模型表示如下:
其中,{fi}i=1,2,…N表示N个滤波器,滤波器大小为d×d,d表示表示滤波器的行数及列数;Zk,i∈Rm×n表示第k幅图像中第i个稀疏特征图,R表示空间域,m表示行数,n表示列数;Xk表示第k幅训练图像,λ1、λ2表示正则化参数,用来调整正则化程度,表示卷积运算符,表示Frobenius范数平方运算符,|| ||*表示核范数,|| ||1表示l1范数运算符。
所述滤波器训练模型的求解具体为:
对待融合图像处理,得到融合图像的步骤如下:
Step3、选取两张待融合的图像作为测试图像,分别为待融合图像YA、待融合图像YB,对待融合图像YA、YB分别进行低秩分解,分别得到低秩成分和稀疏成分其中,分别表示待融合图像YA的低秩成分、稀疏成分,分别表示待融合图像YB的低秩成分、稀疏成分;
其中,表示低秩成分在(m,n)处的融合决策图,表示低秩成分在(m,n)处的能量值,表示低秩成分在(m,n)处的能量值,表示低秩成分在(m,n)处的灰度值,表示低秩成分在(m,n)处的灰度值,表示低秩成分和在(m,n)处的融合低秩成分;
Step5、根据稀疏成分设计融合规则:首先,将稀疏成分分别进行卷积稀疏分解,分解得到稀疏成分在(m,n)处的稀疏特征图Gi,A(m,n)和稀疏成分在(m,n)处的稀疏特征图Gi,B(m,n),卷积稀疏分解公式计算如下:
其中,表示待融合图像YA的稀疏成分,表示待融合图像YB的稀疏成分,fi(i=1,2,…N)为N个滤波器,Gi,A(m,n)表示稀疏成分在(m,n)处的第i个稀疏特征图,Gi,B(m,n)表示稀疏成分在(m,n)处的第i个稀疏特征图,令Gi(m,n)表示稀疏成分在(m,n)处的第i个稀疏特征图,Gm,n表示在(m,n)处的i个稀疏特征图的累加和,则改进的图像拉普拉斯算子表示为:
式中,MLm,n表示改进后的在(m,n)处的稀疏特征图的拉普拉斯运算,SMLm,n表示在(m,n)处的稀疏特征图的拉普拉斯运算和,参数W用于确定拉普拉斯值累加窗口大小的大小,窗口大小为(2W+1)×(2W+1),参数r为拉普拉斯算子值,根据如下表达式可以得到稀疏成分的融合稀疏特征图在(m,n)处的灰度值:
其中,表示稀疏成分在(m,n)处的融合决策图,SMLA(m,n)和SMLB(m,n)分别表示稀疏成分在(m,n)处的稀疏特征图的SML值,Gi,F(m,n)表示稀疏成分在(m,n)处的第i个融合稀疏特征图,再联合滤波器fi(i=1,2,…N)进行卷积运算,得到稀疏成分和在(m,n)处的融合稀疏成分表达式如下:
本发明的有益效果是:本发明充分考虑了图像块之间的一致性,通过一组滤波器和稀疏特征图来表示整张图像,不需要将图像切块处理,使得最终融合图像的效果保留了源图像丰富的细节信息,细节更加清晰,不管是从主观视觉上还是客观评价指标上来看实验结果,本发明的融合结果优于其他传统的方法,验证了本发明的有效性。
附图说明
图1是本发明的流程图;
图2是待融合的两张测试图像——医学图像CT图像和MRI图像;
图3是本发明融合的医学图像及与其他不同方法融合的医学图像进行对比;
图4是待融合的两张测试图像——红外图像和可见光图像;
图5是本发明融合的红外和可见光图像及与其他不同方法融合的红外和可见光图像进行对比。
具体实施方式
实施例1:如图1-5所示,一种基于低秩分解和卷积稀疏编码的多源图像融合的方法,选取一组图像作为训练样本,对这组图像进行低秩分解,分解成低秩成分和稀疏成分,通过加入低秩约束提出一种新的滤波器训练模型,根据提出的滤波器训练模型进行卷积稀疏编码优化求解,并迭代更新获得训练样本图像的滤波器;
对待融合图像处理,得到融合图像的步骤如下:选取两幅待融合图像作为测试图像,对两幅待融合图像进行低秩分解,分别得到待融合图像的低秩成分和待融合图像的稀疏成分,对待融合图像的低秩成分和待融合图像的稀疏成分分别设计不同的融合规则:对于待融合图像的低秩成分,根据待融合图像低秩成分的能量信息变化获得低秩成分的融合决策图,再根据低秩成分的融合决策图得到融合低秩成分;对于待融合图像的稀疏成分,通过与训练样本图像获得的滤波器进行卷积稀疏分解得到待融合图像的稀疏成分的稀疏特征图,根据待融合图像的稀疏成分的稀疏特征图通过改进的拉普拉斯运算获得稀疏成分的融合稀疏特征图,通过稀疏成分的融合稀疏特征图与训练样本图像获得的滤波器进行卷积运算得到融合稀疏成分;最后将得到的融合低秩成分与融合稀疏成分进行相加得到测试图像的融合图像。
进一步地,可以设置具体步骤如下:
Step1、选取一组图像{X1,X2,...,XK}作为训练样本,对这组训练的k幅图像进行低秩分解,可以分解成低秩成分和稀疏成分其中,表示第k幅训练图像的低秩成分,表示第k幅训练图像的稀疏成分;由于低秩成分是线性相关的,因此加入低秩约束,以提高模型的鲁棒性和学习效率,滤波器训练模型表示如下:
其中,{fi}i=1,2,…N表示N个滤波器,滤波器大小为d×d,d表示表示滤波器的行数及列数;Zk,i∈Rm×n表示第k幅图像中第i个稀疏特征图,R表示空间域,m表示行数,n表示列数;Xk表示第k幅训练图像,λ1、λ2表示正则化参数,用来调整正则化程度,表示卷积运算符,表示Frobenius范数平方运算符,|| ||*表示核范数,|| ||1表示l1范数运算符。
进一步地,滤波器训练模型的求解具体为:
进一步地,可以设置对待融合图像处理,得到融合图像的步骤如下:
Step3、选取两张待融合的图像作为测试图像,分别为待融合图像YA、待融合图像YB,对待融合图像YA、YB分别进行低秩分解,分别得到低秩成分和稀疏成分其中,分别表示待融合图像YA的低秩成分、稀疏成分,分别表示待融合图像YB的低秩成分、稀疏成分;
Step4、根据低秩成分设计融合规则:由于低秩成分包含了图像的背景、亮度信息成分,而图像能量能反映图像的亮度信息,因此可以根据待融合图像低秩成分的能量信息变化获得低秩成分的融合决策图,再根据融合决策图得到融合低秩成分,低秩成分的融合规则设计如下:
其中,表示低秩成分在(m,n)处的融合决策图,表示低秩成分在(m,n)处的能量值,表示低秩成分在(m,n)处的能量值,表示低秩成分在(m,n)处的灰度值,表示低秩成分在(m,n)处的灰度值,表示低秩成分和在(m,n)处的融合低秩成分;
Step5、根据稀疏成分设计融合规则,由于稀疏成分图像包含了图像的边缘细节、轮廓、纹理结构等信息成分,而拉普拉斯运算能有效增强图像的边缘细节信息,因此对分解得到的稀疏特征图通过改进的拉普拉斯运算进行边缘细节增强,并根据局部特征显著性选取融合稀疏特征图,可有效的提高稀疏成分的融合效果。首先,将稀疏成分分别进行卷积稀疏分解,分解得到稀疏成分在(m,n)处的稀疏特征图Gi,A(m,n)和稀疏成分在(m,n)处的稀疏特征图Gi,B(m,n),卷积稀疏分解公式计算如下:
其中,表示待融合图像YA的稀疏成分,表示待融合图像YB的稀疏成分,fi(i=1,2,…N)为Step2中得到的N个滤波器,Gi,A(m,n)表示稀疏成分在(m,n)处的第i个稀疏特征图,Gi,B(m,n)表示稀疏成分在(m,n)处的第i个稀疏特征图,令Gi(m,n)表示稀疏成分在(m,n)处的第i个稀疏特征图,Gm,n表示在(m,n)处的i个稀疏特征图的累加和,则改进的图像拉普拉斯算子表示为:
式中,MLm,n表示改进后的在(m,n)处的稀疏特征图的拉普拉斯运算,SMLm,n表示在(m,n)处的稀疏特征图的拉普拉斯运算和,参数W用于确定拉普拉斯值累加窗口大小的大小,窗口大小为(2W+1)×(2W+1),参数r为拉普拉斯算子值,传统的拉普拉斯运算只计算了相邻四个位置处的拉普拉斯算子值,在本发明中是设计了改进的拉普拉斯运算方法,计算了相邻八个位置点的拉普拉斯算子值,此外,考虑到由于各个方向的像素点到中心像素点的距离不一样,拉普拉斯算子的影响也就不一样。例如斜对角方向的四个点贡献较小,设置r=0.6,而正对方向的四个点的贡献较大,设置r=1。根据如下表达式可以得到稀疏成分的融合稀疏特征图在(m,n)处的灰度值:
其中,表示稀疏成分在(m,n)处的融合决策图,SMLA(m,n)和SMLB(m,n)分别表示稀疏成分在(m,n)处的稀疏特征图的SML值,Gi,F(m,n)表示稀疏成分在(m,n)处的第i个融合稀疏特征图,再联合滤波器fi(i=1,2,…N)进行卷积运算,得到稀疏成分和在(m,n)处的融合稀疏成分表达式如下:
实施例2:一种基于低秩分解和卷积稀疏编码的多源图像融合的方法,给出具体实验过程如下:
选取像素大小为256×256的两张待融合的测试图像,分别为医学图像CT图像和MRI图像(如图2中的(a)和(b)),根据本发明提出的上述方法进行融合实验,并将实验结果与当前其他人的图像融合方法进行对比。
如图3所示,图3(a)-(f)依次是NSCT-SR[1]、Kim’s[2]、Zhu-KSVD[3]、Hu-DSR[4]、ASR[5]以及本发明提出方法的融合结果。从中可以看出,不同的融合方法在对图像边缘细节信息的保留上具有不同的作用和性能。从整体上可以看出,NSCT-SR、Kim’s、Zhu-KSVD、Hu-DSR、ASR和本发明提出方法相比,其余方法的融合结果对比度和清晰度较低;除了本发明提出方法的融合图像完整保留细节特征之外,其他方法下的融合效果都或多或少丢失了本该特有的细节特征。
实施例3:一种基于低秩分解和卷积稀疏编码的多源图像融合的方法,给出具体实验如下:选取像素大小为256×256的两张待融合的测试图像,分别为红外和可见光图像(如图4中(a)和(b)),和例2一样,用本发明提出的上述方法进行融合实验,操作和实例1相同。并将实验结果与当前其他人的图像融合方法进行对比。图5(a)-(f)依次是NSCT-SR、Kim’s、Zhu-KSVD、Hu-DSR、ASR以及本发明提出方法的融合结果。通过对比可以发现,本发明提出的融合方法不仅能有效保护源图像的边缘细节信息,而且能保持源图像的对比度,因而本发明方法所产生的视觉效果更好。
由于对图像的主观视觉评价在实际应用中并不总是可行的,因此为客观公正地对不同方法产生的融合结果进行评价,使用三种具有代表性的客观评价指标来评价不同融合方法的性能,对融合结果的质量进行度量。包括信息熵(E)、归一化互信息(QMI)以及边缘信息保留值(QAB/F)。其中其中信息熵E体现了融合图像中平均信息量的大小,可表征图像的信息量在融合前后发生的变化;归一化互信息QMI用来衡量源图像中被转移到融合图像中信息量的多少;边缘信息保留值QAB/F用来衡量源图像的边缘细节信息到融合图像的保留情况。这些评价指标的数值越大,表明融合结果的质量越好。表1和表2数据表明本发明方法在客观评价上具有较高的指标值,这从客观上也证明了本发明方法是有效的。
统而言之,本发明提出的基于低秩分解和卷积稀疏编码的多源图像融合的方法,克服了传统的方法基于图像块模型的缺陷,充分考虑了图像块之间的一致性,通过一组滤波器和稀疏特征图来表示整张图像,不需要将图像切块处理,使得最终融合图像的效果保留了源图像丰富的细节信息,细节更加清晰,不管是从主观视觉上还是客观评价指标上来看实验结果,本发明的融合结果优于其他传统的方法,验证了本发明的有效性。
表1不同融合方法的医学图像融合客观评价指标
表2不同融合方法的红外与可见光图像融合客观评价指标
[1]Liu Y,Liu S P,Wang Z F.A general framework for image fusion basedon multi-scale transform and sparse representation[J].Information Fusion,2015,24:147-164.
[2]Kim M,Han D K,Ko H.Joint patch clustering-based dictionarylearning for multimodal image fusion[J].Information Fusion,2016,27:198-214.
[3]Zhu Z Q,Chai Y,Yin H P,et al.A novel dictionary learning approachfor multi-modality medical image fusion[J].Neuro-computing,2016,214:471-482.
[4]hu Z,Yin H,Chai Y,et al.A novel multi-modality image fusion methodbased on image decomposition and sparse representation[J].InformationSciences,2018,432:516–529.
[5]Liu Y,Wang Z F.Simultaneous image fusion and denoising withadaptive sparse representation[J].IET Image Processing,2015,9(5):347-357.
上面结合附图对本发明的具体实施方式作了详细说明,但是本发明并不限于上述实施方式,在本领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下做出各种变化。
Claims (4)
1.一种基于低秩分解和卷积稀疏编码的多源图像融合的方法,其特征在于:选取一组图像作为训练样本,对这组图像进行低秩分解,分解成低秩成分和稀疏成分,通过加入低秩约束提出一种新的滤波器训练模型,根据提出的滤波器训练模型进行卷积稀疏编码优化求解,并迭代更新获得训练样本图像的滤波器;
对待融合图像处理,得到融合图像:选取两幅待融合图像作为测试图像,对两幅待融合图像进行低秩分解,分别得到待融合图像的低秩成分和待融合图像的稀疏成分,对待融合图像的低秩成分和待融合图像的稀疏成分分别设计不同的融合规则:对于待融合图像的低秩成分,根据待融合图像低秩成分的能量信息变化获得低秩成分的融合决策图,再根据低秩成分的融合决策图得到融合低秩成分;对于待融合图像的稀疏成分,通过与训练样本图像获得的滤波器进行卷积稀疏分解得到待融合图像的稀疏成分的稀疏特征图,根据待融合图像的稀疏成分的稀疏特征图通过改进的拉普拉斯运算获得稀疏成分的融合稀疏特征图,通过稀疏成分的融合稀疏特征图与训练样本图像获得的滤波器进行卷积运算得到融合稀疏成分;最后将得到的融合低秩成分与融合稀疏成分进行相加得到测试图像的融合图像。
2.根据权利要求1所述的基于低秩分解和卷积稀疏编码的图像融合的方法,其特征在于:所述训练样本图像的滤波器具体步骤如下:
Step1、选取一组图像{X1,X2,...,XK}作为训练样本,对这组训练的k幅图像进行低秩分解,可以分解成低秩成分和稀疏成分其中,表示第k幅训练图像的低秩成分,表示第k幅训练图像的稀疏成分;滤波器训练模型表示如下:
3.根据权利要求2所述的基于低秩分解和卷积稀疏编码的图像融合的方法,其特征在于:所述滤波器训练模型的求解具体为:
4.根据权利要求1至3中任一项所述的基于低秩分解和卷积稀疏编码的图像融合的方法,其特征在于:对待融合图像处理,得到融合图像的步骤如下:
Step3、选取两张待融合的图像作为测试图像,分别为待融合图像YA、待融合图像YB,对待融合图像YA、YB分别进行低秩分解,分别得到低秩成分和稀疏成分其中,分别表示待融合图像YA的低秩成分、稀疏成分,分别表示待融合图像YB的低秩成分、稀疏成分;
其中,表示低秩成分在(m,n)处的融合决策图,表示低秩成分在(m,n)处的能量值,表示低秩成分在(m,n)处的能量值,表示低秩成分在(m,n)处的灰度值,表示低秩成分在(m,n)处的灰度值,表示低秩成分和在(m,n)处的融合低秩成分;
Step5、根据稀疏成分设计融合规则:首先,将稀疏成分分别进行卷积稀疏分解,分解得到稀疏成分在(m,n)处的稀疏特征图Gi,A(m,n)和稀疏成分在(m,n)处的稀疏特征图Gi,B(m,n),卷积稀疏分解公式计算如下:
其中,表示待融合图像YA的稀疏成分,表示待融合图像YB的稀疏成分,fi(i=1,2,…N)为N个滤波器,Gi,A(m,n)表示稀疏成分在(m,n)处的第i个稀疏特征图,Gi,B(m,n)表示稀疏成分在(m,n)处的第i个稀疏特征图,令Gi(m,n)表示稀疏成分在(m,n)处的第i个稀疏特征图,Gm,n表示在(m,n)处的i个稀疏特征图的累加和,则改进的图像拉普拉斯算子表示为:
式中,MLm,n表示改进后的在(m,n)处的稀疏特征图的拉普拉斯运算,SMLm,n表示在(m,n)处的稀疏特征图的拉普拉斯运算和,参数W用于确定拉普拉斯值累加窗口大小的大小,窗口大小为(2W+1)×(2W+1),参数r为拉普拉斯算子值,根据如下表达式可以得到稀疏成分的融合稀疏特征图在(m,n)处的灰度值:
其中,表示稀疏成分在(m,n)处的融合决策图,SMLA(m,n)和SMLB(m,n)分别表示稀疏成分在(m,n)处的稀疏特征图的SML值,Gi,F(m,n)表示稀疏成分在(m,n)处的第i个融合稀疏特征图,再联合滤波器fi(i=1,2,…N)进行卷积运算,得到稀疏成分和在(m,n)处的融合稀疏成分表达式如下:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010684188.1A CN111833284B (zh) | 2020-07-16 | 2020-07-16 | 一种基于低秩分解和卷积稀疏编码的多源图像融合的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010684188.1A CN111833284B (zh) | 2020-07-16 | 2020-07-16 | 一种基于低秩分解和卷积稀疏编码的多源图像融合的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111833284A true CN111833284A (zh) | 2020-10-27 |
CN111833284B CN111833284B (zh) | 2022-10-14 |
Family
ID=72924104
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010684188.1A Active CN111833284B (zh) | 2020-07-16 | 2020-07-16 | 一种基于低秩分解和卷积稀疏编码的多源图像融合的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111833284B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112541509A (zh) * | 2020-12-29 | 2021-03-23 | 宁波职业技术学院 | 一种融合稀疏与低秩的图像处理方法 |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105678723A (zh) * | 2015-12-29 | 2016-06-15 | 内蒙古科技大学 | 基于稀疏分解和差分图像的多聚焦图像融合方法 |
CN107563968A (zh) * | 2017-07-26 | 2018-01-09 | 昆明理工大学 | 一种基于判别字典学习的联合医学图像融合去噪的方法 |
CN107689038A (zh) * | 2017-08-22 | 2018-02-13 | 电子科技大学 | 一种基于稀疏表示和循环引导滤波的图像融合方法 |
CN107977661A (zh) * | 2017-10-13 | 2018-05-01 | 天津工业大学 | 基于全卷积神经网络与低秩稀疏分解的感兴趣区域检测方法 |
CN108446716A (zh) * | 2018-02-07 | 2018-08-24 | 武汉大学 | 基于FCN与稀疏-低秩子空间表示融合的PolSAR图像分类方法 |
CN108520501A (zh) * | 2018-03-30 | 2018-09-11 | 西安交通大学 | 一种基于多尺度卷积稀疏编码的视频去雨雪方法 |
CN108596866A (zh) * | 2018-03-21 | 2018-09-28 | 昆明理工大学 | 一种基于稀疏低秩分解和视觉显著性结合的医学图像融合方法 |
US10176382B1 (en) * | 2015-10-01 | 2019-01-08 | Hrl Laboratories, Llc | Method and apparatus for sparse associative recognition and recall for visual media reasoning |
CN109410157A (zh) * | 2018-06-19 | 2019-03-01 | 昆明理工大学 | 基于低秩稀疏分解和pcnn的图像融合方法 |
CN109801250A (zh) * | 2019-01-10 | 2019-05-24 | 云南大学 | 基于adc-scm与低秩矩阵表达的红外与可见光图像融合方法 |
CN109886908A (zh) * | 2019-02-14 | 2019-06-14 | 西安理工大学 | 红外图像与可见光图像融合方法 |
US20190209035A1 (en) * | 2018-01-11 | 2019-07-11 | Zhejiang University | Method for noninvasive imaging of cardiac electrophysiological based on low rank and sparse constraints |
CN110428392A (zh) * | 2019-09-10 | 2019-11-08 | 哈尔滨理工大学 | 一种基于字典学习和低秩表示的医学图像融合方法 |
AU2020100199A4 (en) * | 2020-02-08 | 2020-03-19 | Cao, Sihua MR | A medical image fusion method based on two-layer decomposition and improved spatial frequency |
CN111028301A (zh) * | 2019-11-13 | 2020-04-17 | 南京邮电大学 | 一种基于加权l1范数的卷积稀疏编码方法 |
-
2020
- 2020-07-16 CN CN202010684188.1A patent/CN111833284B/zh active Active
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10176382B1 (en) * | 2015-10-01 | 2019-01-08 | Hrl Laboratories, Llc | Method and apparatus for sparse associative recognition and recall for visual media reasoning |
CN105678723A (zh) * | 2015-12-29 | 2016-06-15 | 内蒙古科技大学 | 基于稀疏分解和差分图像的多聚焦图像融合方法 |
CN107563968A (zh) * | 2017-07-26 | 2018-01-09 | 昆明理工大学 | 一种基于判别字典学习的联合医学图像融合去噪的方法 |
CN107689038A (zh) * | 2017-08-22 | 2018-02-13 | 电子科技大学 | 一种基于稀疏表示和循环引导滤波的图像融合方法 |
CN107977661A (zh) * | 2017-10-13 | 2018-05-01 | 天津工业大学 | 基于全卷积神经网络与低秩稀疏分解的感兴趣区域检测方法 |
US20190209035A1 (en) * | 2018-01-11 | 2019-07-11 | Zhejiang University | Method for noninvasive imaging of cardiac electrophysiological based on low rank and sparse constraints |
CN108446716A (zh) * | 2018-02-07 | 2018-08-24 | 武汉大学 | 基于FCN与稀疏-低秩子空间表示融合的PolSAR图像分类方法 |
CN108596866A (zh) * | 2018-03-21 | 2018-09-28 | 昆明理工大学 | 一种基于稀疏低秩分解和视觉显著性结合的医学图像融合方法 |
CN108520501A (zh) * | 2018-03-30 | 2018-09-11 | 西安交通大学 | 一种基于多尺度卷积稀疏编码的视频去雨雪方法 |
CN109410157A (zh) * | 2018-06-19 | 2019-03-01 | 昆明理工大学 | 基于低秩稀疏分解和pcnn的图像融合方法 |
CN109801250A (zh) * | 2019-01-10 | 2019-05-24 | 云南大学 | 基于adc-scm与低秩矩阵表达的红外与可见光图像融合方法 |
CN109886908A (zh) * | 2019-02-14 | 2019-06-14 | 西安理工大学 | 红外图像与可见光图像融合方法 |
CN110428392A (zh) * | 2019-09-10 | 2019-11-08 | 哈尔滨理工大学 | 一种基于字典学习和低秩表示的医学图像融合方法 |
CN111028301A (zh) * | 2019-11-13 | 2020-04-17 | 南京邮电大学 | 一种基于加权l1范数的卷积稀疏编码方法 |
AU2020100199A4 (en) * | 2020-02-08 | 2020-03-19 | Cao, Sihua MR | A medical image fusion method based on two-layer decomposition and improved spatial frequency |
Non-Patent Citations (20)
Title |
---|
CHENG ZHANG等: "A Deep Multiscale Fusion Method via Low-Rank Sparse Decomposition for Object Saliency Detection Based on Urban Data in Optical Remote Sensing Images", 《WIRELESS COMMUNICATIONS AND MOBILE COMPUTING》 * |
CHENG ZHANG等: "A Deep Multiscale Fusion Method via Low-Rank Sparse Decomposition for Object Saliency Detection Based on Urban Data in Optical Remote Sensing Images", 《WIRELESS COMMUNICATIONS AND MOBILE COMPUTING》, 8 May 2020 (2020-05-08), pages 1 - 14 * |
QIANG ZHANG等: "Sparse representation based multi-sensor image fusion for multi-focus and multi-modality images: A review", 《INFORMATION FUSION》 * |
QIANG ZHANG等: "Sparse representation based multi-sensor image fusion for multi-focus and multi-modality images: A review", 《INFORMATION FUSION》, vol. 40, 9 June 2017 (2017-06-09), pages 57 - 75 * |
RAJESH GOGINENI等: "A Robust Pansharpening Algorithm Based on Convolutional Sparse Coding for Spatial Enhancement", 《IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING》 * |
RAJESH GOGINENI等: "A Robust Pansharpening Algorithm Based on Convolutional Sparse Coding for Spatial Enhancement", 《IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING》, vol. 12, no. 10, 31 October 2019 (2019-10-31), pages 4024 - 4037, XP011758365, DOI: 10.1109/JSTARS.2019.2945815 * |
吴新峰: "基于非凸低秩和卷积稀疏编码的磁共振图像重建", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
吴新峰: "基于非凸低秩和卷积稀疏编码的磁共振图像重建", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 2018, 15 February 2018 (2018-02-15), pages 138 - 1560 * |
张凯: "基于稀疏矩阵分解的遥感图像融合", 《中国博士学位论文全文数据库 工程科技II辑》 * |
张凯: "基于稀疏矩阵分解的遥感图像融合", 《中国博士学位论文全文数据库 工程科技II辑》, no. 2019, 15 July 2019 (2019-07-15), pages 028 - 8 * |
熊娇娇: "基于卷积稀疏编码和多视角特征先验信息的图像恢复", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
熊娇娇: "基于卷积稀疏编码和多视角特征先验信息的图像恢复", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 2018, 31 December 2018 (2018-12-31), pages 138 - 1086 * |
王丽芳等: "双重字典学习与自适应PCNN相结合的医学图像融合", 《中国图象图形学报》 * |
王丽芳等: "双重字典学习与自适应PCNN相结合的医学图像融合", 《中国图象图形学报》, vol. 24, no. 9, 30 September 2019 (2019-09-30), pages 1588 - 1603 * |
王加新等: "基于低秩分解和卷积稀疏编码的多源图像融合", 《激光与光电子学进展》 * |
王加新等: "基于低秩分解和卷积稀疏编码的多源图像融合", 《激光与光电子学进展》, vol. 58, no. 22, 30 November 2021 (2021-11-30), pages 1 - 9 * |
王文卿等: "基于低秩稀疏表示的红外与可见光图像序列融合方法", 《西安理工大学学报》 * |
王文卿等: "基于低秩稀疏表示的红外与可见光图像序列融合方法", 《西安理工大学学报》, vol. 35, no. 3, 31 March 2019 (2019-03-31), pages 276 - 283 * |
邓志华: "基于稀疏表示与低秩分解的医学图像融合方法研究", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》 * |
邓志华: "基于稀疏表示与低秩分解的医学图像融合方法研究", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》, no. 2019, 15 January 2019 (2019-01-15), pages 080 - 42 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112541509A (zh) * | 2020-12-29 | 2021-03-23 | 宁波职业技术学院 | 一种融合稀疏与低秩的图像处理方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111833284B (zh) | 2022-10-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zhao et al. | Multisensor image fusion and enhancement in spectral total variation domain | |
Guo et al. | An efficient SVD-based method for image denoising | |
Fu et al. | Bidirectional 3D quasi-recurrent neural network for hyperspectral image super-resolution | |
CN108830818B (zh) | 一种快速多聚焦图像融合方法 | |
CN111429391B (zh) | 一种红外和可见光图像融合方法、融合系统及应用 | |
CN108198147B (zh) | 一种基于判别字典学习的多源图像融合去噪的方法 | |
Rabin et al. | Wasserstein regularization of imaging problem | |
CN109410157B (zh) | 基于低秩稀疏分解和pcnn的图像融合方法 | |
Ding et al. | Brain Medical Image Fusion Based on Dual‐Branch CNNs in NSST Domain | |
CN109636722B (zh) | 一种基于稀疏表示的在线字典学习超分辨率重建的方法 | |
CN112257753B (zh) | 基于偏微分算子的广义等变卷积网络模型的图像分类方法 | |
CN113177592B (zh) | 一种图像分割方法、装置、计算机设备及存储介质 | |
Liu et al. | Adaptive sparse coding on PCA dictionary for image denoising | |
CN113298147B (zh) | 基于区域能量和直觉模糊集的图像融合方法及装置 | |
Gao et al. | Multi-modal convolutional dictionary learning | |
Wang et al. | Multimodal medical image fusion based on nonsubsampled shearlet transform and convolutional sparse representation | |
Wang et al. | Super-resolution of multi-observed RGB-D images based on nonlocal regression and total variation | |
Yang et al. | Super-resolution of medical image using representation learning | |
Zhang et al. | Unrolled convolutional neural network for full-wave inverse scattering | |
CN106934398B (zh) | 基于超像素聚类和稀疏表示的图像去噪方法 | |
CN110097499B (zh) | 基于谱混合核高斯过程回归的单帧图像超分辨率重建方法 | |
CN111833284B (zh) | 一种基于低秩分解和卷积稀疏编码的多源图像融合的方法 | |
CN108596866B (zh) | 一种基于稀疏低秩分解和视觉显著性结合的医学图像融合方法 | |
CN114298950A (zh) | 一种基于改进的GoDec算法的红外与可见光图像融合方法 | |
Chen et al. | A novel face super resolution approach for noisy images using contour feature and standard deviation prior |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |