CN107633496A - 一种利用高频信息引导的基于稀疏表示的图像融合方法 - Google Patents
一种利用高频信息引导的基于稀疏表示的图像融合方法 Download PDFInfo
- Publication number
- CN107633496A CN107633496A CN201710760414.8A CN201710760414A CN107633496A CN 107633496 A CN107633496 A CN 107633496A CN 201710760414 A CN201710760414 A CN 201710760414A CN 107633496 A CN107633496 A CN 107633496A
- Authority
- CN
- China
- Prior art keywords
- mrow
- frequency information
- image
- msubsup
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种利用高频信息引导的基于稀疏表示的图像融合方法，步骤一：将图像信息分解成高频部分低频部分：采用非降采样金字塔分解方式，提取图像信息中不同层次上的高频信息。步骤二：利用样本图像的高频信息和低频信息分别完成适应高频信息的过完备字典和适应低频信息的过完备字典建立：通过样例学习方法得到过完备字典。步骤三：利用高频信息引导低频信息的融合。步骤四：采用绝对最大值作为融合策略进行高频信息的融合，得到融合后的各个层次上的高频信息{IHF}。步骤五：重建融合图像。本发明方法改善了图像稀疏表示后对高频信息不敏感带来的问题；抑制融合中出现的块状效应，对各类型的图像融合都可得到较高质量的融合结果。
Description
【技术领域】
本发明涉及一种利用高频信息引导的基于稀疏表示的图像融合方法，图像融合在图像应用领域具有广泛的应用，隶属于数字图像处理技术领域。
【背景技术】
图像融合是指将多源图像信息或者同源不同条件下的图像信息整合到融合图像的技术，融合的本质是使得图像信息可以克服单一传感器成像的缺陷，使融合后的图像满足人眼识别以及计算机后续处理的要求。图像融合可以使得融合图像从各类源图像中提取更多有效信息，便于图像更加准确的分析和应用。为了充分挖掘并利用各类复杂数据，图像融合技术快速发展起来。图像融合可以分成三个不同层次：像素级图像融合，特征级图像融合和决策级图像融合。由于像素级图像融合是在图像最基础层面上进行融合，可以更加充分地利用图像的全部像素信息，使得像素级图像融合受到广泛关注。像素级图像融合可以大致分为三类方法：基于多尺度分析的图像融合方法，基于稀疏特性分析的图像融合方法，基于图像像素或其他变换域的图像融合方法等。自1996年奥尔斯豪森和大卫提出了模拟人眼视觉系统的稀疏编码机制以来(参见文献：奥尔斯豪森,大卫.通过研究一种针对自然图像的稀疏编码显示简单细胞感受域特性.自然381，1996(6583):607–609(B.A.Olshausen,J.F.David,Emergence of simple-cell receptive field properties by learning asparse code for natural images[J].Nature 381,1996(6583):607–609))，随着对稀疏的深入研究，研究学者发现自然信号本身具有稀疏特性。因此将稀疏特征用于实现图像融合可以得到信息丰富的融合图像。近年来，基于稀疏特征提高图像融合质量的方法层出不穷。
基于稀疏表示的图像融合的基本框架大体步骤首先是引入窗口滑块将图像进行矢量化，成为一系列列向量；接下来对每个列向量进行稀疏表示，即通过训练好的字典寻求最优的稀疏系数，针对所求系数进行融合规则得到融合系数；最后通过字典重构图像完成融合。传统的基于稀疏表示的图像融合的改进主要在两方面进行，一个是稀疏系数求解方法，另一个是过完备字典的求取。在稀疏系数求解方面，杨斌等(参见文献：杨斌,李树涛.基于稀疏表示的多聚焦图像融合与修复.美国电气电子工程师学会仪器仪表与测量学报，2010(59(4)):884–892(B.Yang,S.Li,Multifocus image fusion and restoration withsparse representation[J],IEEE Trans.Instrum.Meas.2010(59(4)):884–892))最初提出稀疏融合的框架时，使用正交匹配贪婪法，这种方法得到的稀疏系数具有分布随机性的特点。近年来，学者认为可以利用稀疏系数中包含图像空间结构信息进一步提高融合效果，李树涛提出了结合稀疏约束的组稀疏性；陈晨等(参见文献：陈晨等.基于局部光谱一致性和动态梯度稀疏性的图像融合方法.美国电气电子工程学会计算视觉与模式识别会议记录，2014,pp.2760–2765(C.Chen,Y.Li,W.Liu,J.Huang,Image fusion with localspectral consistency and dynamic gradient sparsity[C],Proceedings of IEEEConference on Computer Vision and Pattern Recognition,2014,pp.2760–2765))在稀疏求解中添加了梯度稀疏约束，使稀疏系数可以较为准确地反映出清晰边缘的特性；结合图像的特性，杨斌(参见文献：杨斌,李树涛.基于同步正交匹配追踪的像素级图像融合.信息融合，2012(13(1)):10–19(B.Yang,S.Li,Pixel-level image fusion withsimultaneous orthogonal matching pursuit[J],Inf.Fus.2012(13(1)):10–19))在多聚焦融合上采用了同时正交匹配贪婪法(SOMP)从而控制求解相似向量的稀疏系数的非零部分出现在同样的位置。在过完备字典的选取上，近年来多以学习方法构建字典为主，经典的字典学习方法有方向方法以及K-奇异值训练方法(参见文献：阿哈龙,埃拉德,布瑞克斯汀.K-SVD:一种针对稀疏表达设计的过完备字典生成算法.美国电气电子工程师学会信号处理，2006(vol.54,no.11):4311-4322(M.Aharon,M.Elad,and A.Bruckstein,The K-SVD:Analgorithm for designing of overcomplete dictionaries for sparserepresentation[J],IEEE Trans.on Signal Processing,2006(vol.54,no.11):4311-4322))，但是随着稀疏方法在图像融合领域中的深入研究，字典训练方法也不断更新，金姆等(参见文献：金姆,韩,蔻.针对多模图像融合的联合片段集群的字典学习方法,信息融合，2016(27(1)):198–214(M.Kim,D.K.Han,H.Ko,Joint patch clustering-baseddictionary learning for multimodal image fusion[J],Inf.Fus.2016(27(1)):198–214))率先将群体训练样本转化为多个结构群体，然后对每个群组训练一种特定的子词典。通过这种方式，每个子词典对应其最适合特定的结构，因此整个字典具有更强的表征能力。与之相似的是，王文庆等(参见文献：王文庆,焦李成,杨淑媛,通过稀疏表示和局部自回归模型进行多光谱和全色图像融合,信息融合，2014(20(1)):73–87(W.Wang,L.Jiao,S.Yang,Fusion of multispectral and panchromatic images via sparse representation andlocal autoregressive model[J],Inf.Fus.2014(20(1)):73–87))分别构建了多光谱和全色图像融合的光谱词典和空间细节词典。
上述基于稀疏特性的融合算法都使得融合图像的质量不断提高，但也都存在一定的问题。由于图像稀疏分解后边缘特性表现不明显，融合结果在高频部分的表现力不足，并且会产生块状现象，使得融合后图像的高频信息和低频信息不相匹配，导致融合图像质量不高。针对此问题，为了使融合图像获得更多更丰富的信息，本发明提出了一种利用高频信息引导的基于稀疏表示的图像融合方法。
【发明内容】
1、目的：本发明的目的在于提供一种利用高频信息引导的基于稀疏表示的图像融合方法，以解决传统的基于稀疏表示的融合方法通常存在的对边缘表现能力较弱以及由于最大1范数的融合策略导致的高低频信息不匹配，致使融合结果产生块状效应，导致融合图像失真、图像质量下降等问题。
针对传统的基于稀疏表示的图像融合方法中产生的块状效应以及边缘信息模糊等现象，本发明提出了一种利用高频信息引导的基于稀疏表示的图像融合方法。该方法首先探究了高低频图像稀疏系数中0范数与1范数不同特性，根据高低频图像的特性改变融合策略，用高频信息约束低频信息的融合，从而较好地抑制融合结果中因高低频信息不匹配所出现的融合图像块状效应，提高融合后图像质量，保证融合结果的真实性。
2、技术方案：为了实现这个目的，本发明的技术方案如下，首先利用非下采样金字塔的方法对输入图像进行高低频分解，利用连贯正则训练方法和K-奇异值分解训练方法分别得到适应高频信息和低频信息的字典，在高频信息融合上遵循最大值融合，在低频信息融合中，采用高频信息的稀疏系数作为约束进行融合，最后将融合后分别得到的高频信息与低频信息进行逆变换得到融合图像。本发明方法中引进高频信息对低频信息融合进行约束，抑制了块状效应的产生，使得融合图像的质量得到明显提高。
本发明是一种利用高频信息引导的基于稀疏表示的图像融合方法，该方法具体步骤如下：
步骤一：将图像信息分解成高频部分和低频部分：采用非降采样金字塔分解的方式，提取出图像信息中不同层次上的高频信息。
步骤二：利用样本图像的高频信息和低频信息分别完成适应高频信息的过完备字典和适应低频信息的过完备字典建立：通过样例学习方法得到过完备字典。
其中，步骤二具体步骤如下：
2.1采用K-奇异值训练方法，以图像低频信息作为样本，完成适应低频部分的过完备字典的构建，这种训练方法具有适应性广泛的特点，可以更好地适应图像低频部分的特征。
2.2采用原子间相互性弱的连贯正则训练方法进行适应图像高频部分的字典训练，这类方法适应图像高频部分的特征相异性较大的特点。
步骤三：利用高频信息引导低频信息的融合。采用改进后的融合规则，将高频信息引入约束低频信息的融合。
改进后的融合规则如下：
其中，i为图像窗口列变换后的序号；j为图像分解成不同层次下的高频信息序号；x为非下采样金字塔变化分解得高频信息个数；αAL为图像A中低频信息的稀疏系数；αAH图像A中高频信息的稀疏系数；αBL为图像B中低频信息的稀疏系数；αBH为图像B中高频信息的稀疏系数；αFL为融合后低频信息的稀疏系数；
将高频部分的1范数与低频部分的0范数结合考虑，创建新的低频部分融合中的融合规则。
具体步骤如下：
3.1应用滑窗将{ILA,ILB}，{IHA,IHB}从图像的左上到右下每次滑s步分成一系列(假设为R)的列向量以及(由于高低频分解时，由于分解方法不同，高频信息可能是多个图，假定为x)；
3.2将低频信息每一列去均值重构，高频信息不变，低频信息表示为：
在公式中I代表全1的向量，高频信息表达为：
3.3计算各自的稀疏系数，通过不同的字典训练后得到适应高频和低频的信息的字典，本发明使用的求解稀疏系数的方法是正交匹配贪婪法(OMP)即求解以及计算如下：
3.4通过所构建的新的低频融合规则得到融合后的低频稀疏系数，最终融合后的低频稀疏系数为
3.5通过一系列的列向量进行滑块逆变换，将列向量(n×1)转化成为的一系列块状区域，块状区域复原除以所覆盖面的均值矩阵从而得到融合后的低频信息{ILF}。
步骤四：采用绝对最大值作为融合策略进行高频信息的融合，得到融合后的各个层次上的高频信息{IHF}。
步骤五：重建融合图像。
通过步骤三以及步骤四中所获得的融合图像的低频信息{ILF}以及高频信息{IHF}，将融合后得到的高频和低频信息进行逆处理，得到融合图像IF。
3、优点及功效：传统的基于稀疏表示的图像融合方法，由于将图像稀疏表示后对图像边缘信息不敏感，导致在融合过程中可能出现错误选择源图像像素致使融合图像产生块状效应以及边缘信息模糊等现象。因此，传统的基于稀疏表示的图像融合方法不能够得到质量更好的融合图像，在图像融合中无法得到较为理想的结果。本发明提出利用高频信息引导的基于稀疏表示的图像融合方法，将高频信息单独考虑，并且将高频信息引入低频信息的融合中，作为改进方法中新的融合规则的约束因素，改善了图像稀疏表示后对高频信息不敏感带来的问题。并且通过约束，更准确地进行低频信息的融合，抑制融合中出现的块状效应，而且对各种类型的图像融合都可以得到较高质量的融合结果。具有广阔的市场前景与应用价值。
【附图说明】
图1为本发明利用高频信息引导的基于稀疏表示的图像融合方法的框架图。
图2a是本发明所用图例。
图2b是本发明高低频分解后所用图例。
图2c是本发明所用图例高频1范数对比图。
图2d是本发明所用图例低频0范数对比图。
图2e是本发明所用图例在新的融合规则下的决策图。
图2f是本发明所用图例在新的融合规则下的融合效果图
图3a是本发明在多聚焦类型融合中源图像。
图3b是本发明融合后结果图。
图3c是本发明融合后结果与传统方法对比图。
图4a是本发明在多聚焦类型融合中源图像。
图4b是本发明融合后结果图。
图4c是本发明融合后结果与传统方法对比图。
图5a是本发明在多聚焦类型融合中源图像。
图5b是本发明融合后结果图。
图5c是本发明融合后结果与传统方法对比图。
图6a是本发明在多模态类型融合中源图像。
图6b是本发明融合后结果图。
图6c是本发明融合后结果与传统方法对比图。
图7a是本发明在多模态类型融合中源图像。
图7b是本发明融合后结果图。
图7c是本发明融合后结果与传统方法对比图。
图8a是本发明在多模态类型融合中源图像。
图8b是本发明融合后结果图。
图8c是本发明融合后结果与传统方法对比图。
【具体实施方式】
为了更好地理解本发明的技术方案，以下结合附图对本发明的实施方式作进一步描述。
本发明的结构框图如图1所示，本发明的具体实施步骤如下：
步骤一：将图像信息分解成高频信息和低频信息。采用非降采样金字塔分解的方式，本发明将原图(图2a)分解为4个层次，提取出图像信息中各个层次上的高频信息，如图2b所示。
步骤二：利用样本图像的高频信息和低频信息分别完成适应高频信息的过完备字典和适应低频信息的过完备字典建立。通过样例学习方法得到过完备字典。
其中，步骤二具体步骤如下：
2.1采用阿哈龙，埃拉德，布瑞克斯汀等人提出的K-奇异值训练方法，以图像低频信息作为样本，进行低频过完备字典的构建(参见文献：阿哈龙,埃拉德,布瑞克斯汀.K-SVD:一种针对稀疏表达设计的过完备字典生成算法.美国电气电子工程师学会信号处理，2006(vol.54,no.11):4311-4322(M.Aharon,M.Elad,and A.Bruckstein,The K-SVD:Analgorithm for designing of overcomplete dictionaries for sparserepresentation[J],IEEE Trans.on Signal Processing,2006(vol.54,no.11):4311-4322))，这种训练方法具有适应性广泛的特点，可以更好地适应低频图像的特征。
2.2采用原子间相互性弱的连贯正则训练方式进行高频字典的训练(参见文献：曼苏尔等.连贯正则字典学习方法.美国电气电子工程师学会国际声学演讲以及信号处理大会.中国上海，2016:4717–4721.(Mansour Nejati,Shadrokh Samavi,S.M.RezaSoroushmehr,Kayvan Najarian,Coherence Regularized Dictionary Learning[C],inProceedings of IEEE International Conference on Acoustics,Speech,and SignalProcessing,Shanghai,China,2016:4717–4721.))，这类方法适应高频特征相异性较大的特点。
步骤三：利用高频信息引导低频信息的融合。采用改进后的融合规则，将高频信息引入约束低频信息的融合。
改进后的融合规则如下：
表1参数定义
通过对图像稀疏化表示的理解，稀疏系数的0范数表示区域内显著性信息占比大小，而稀疏系数的1范数则表示区域内显著信息的多少。因此为了抑制传统的基于稀疏方法融合中产生的块状效应，保证区域选择的准确性，在进行融合时，将高频信息中的显著信息引入到低频信息的融合。在对图像的高频低频进行稀疏分解后的1范数和0范数分别构图，经对比发现其中高频1范数可以较好地对应信息结构的复杂度，如图2c。稀疏系数的0范数表示区域内显著性信息占比例小，在结构相对平滑的低频信息中，显著性比例大小可以较好地表达平滑部分的结构丰富度。低频部分的0范数对比图表明，在平滑处聚焦与非聚焦部分有明显差异，如图2d。因此，将高频部分的1范数与低频部分的0范数结合考虑，创建新的低频部分融合中的融合规则，以新的融合规则做出决策图如图2e。
具体步骤如下：
3.1应用滑窗将{ILA,ILB}，{IHA,IHB}从图像的左上到右下每次滑s步分成一系列(假设为R)的列向量以及(由于高低频分解时，由于分解方法不同，高频信息可能是多个图，假定为x)；
3.2将低频信息每一列去均值重构，高频信息不变，低频信息表示为：
在公式中I代表全1的向量，高频信息表达为：
3.3计算各自的稀疏系数，通过不同的字典训练后得到适应高频和低频的信息的字典，本文使用的求解稀疏系数的方法是正交匹配贪婪法(OMP)即求解以及计算如下：
3.4通过所构建的新的低频融合规则得到融合后的低频稀疏系数，最终融合后的低频稀疏系数为
3.5通过一系列的列向量进行滑块逆变换，将列向量(n×1)转化成为的一系列块状区域，块状区域复原除以所覆盖面的均值矩阵从而得到融合后的低频信息{ILF}。
步骤四：采用绝对最大值(max-absolute rule)作为融合策略进行高频信息的融合，得到融合后的各个方向上的高频信息{IHF}。
步骤五：重建融合图像。
通过步骤三以及步骤四中所获得的融合图像的低频信息{ILF}以及高频信息{IHF}，采用非下采样金字塔分解的反变换，将融合后得到的高频和低频信息进行逆处理，得到融合图像IF，所用图例的融合结果如图2f所示。
为了展示本发明的效果，提出的方法在各类数据上进行了验证。本文给出6组融合效果对比图作为示例进行说明，其中多聚焦类型融合以及多模态类型融合图例各3组。由对比图可以看出，采用利用高频信息引导下的稀疏表示的图像融合方法可以有效抑制块状效应的产生，同时提高融合图像质量。其中，图3a、b、c，图4a、b、c以及图5a、b、c在边缘处较传统方法有了明显提高，有效抑制了块状效应，使得融合后的图像获得更多有效信息。在多模态图像融合中，图6a、b、c以及图7a、b、c均表现的是红外图像以及可见光图像的融合，大幅度减少融合结果的碎块现象，使得融合图像中各类场景一致性有所提高，图8a、b、c展示的是CT和MRI图像的合成，本发明的结果细节较传统融合方法更加丰富。传统基于稀疏表示的图像融合方法由于稀疏本身对高频信号不敏感致使融合结果产生块状效应以及边界模糊等现象，本发明将高频信息引入到低频信息的融合规则中作为约束，有效缓解了稀疏表示对高频信息不敏感的特点，并较好地抑制了融合结果中块状现象以及边缘模糊等现象的产生，从而能够得到质量较好、包含信息丰富的融合结果。
Claims (3)
1.一种利用高频信息引导的基于稀疏表示的图像融合方法，其特征在于：该方法具体步骤如下：
步骤一：将图像信息分解成高频部分和低频部分：采用非降采样金字塔分解的方式，提取出图像信息中不同层次上的高频信息；
步骤二：利用样本图像的高频信息和低频信息分别完成适应高频信息的过完备字典和适应低频信息的过完备字典建立：通过样例学习方法得到过完备字典；
步骤三：利用高频信息引导低频信息的融合；采用改进后的融合规则，将高频信息引入约束低频信息的融合；
改进后的融合规则如下：
<mrow>
<msubsup>
<mi>&alpha;</mi>
<mrow>
<mi>F</mi>
<mi>L</mi>
</mrow>
<mi>i</mi>
</msubsup>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<msubsup>
<mi>&alpha;</mi>
<mrow>
<mi>A</mi>
<mi>L</mi>
</mrow>
<mi>i</mi>
</msubsup>
</mtd>
<mtd>
<mrow>
<mi>i</mi>
<mi>f</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>|</mo>
<mo>|</mo>
<msubsup>
<mi>&alpha;</mi>
<mrow>
<mi>A</mi>
<mi>L</mi>
</mrow>
<mi>i</mi>
</msubsup>
<mo>|</mo>
<msub>
<mo>|</mo>
<mn>0</mn>
</msub>
<mo>&times;</mo>
<mi>s</mi>
<mi>u</mi>
<mi>m</mi>
<msubsup>
<mrow>
<mo>(</mo>
<mo>|</mo>
<mo>|</mo>
<msubsup>
<mi>&alpha;</mi>
<mrow>
<msub>
<mi>AH</mi>
<mi>j</mi>
</msub>
</mrow>
<mi>i</mi>
</msubsup>
<mo>|</mo>
<msub>
<mo>|</mo>
<mn>1</mn>
</msub>
<mo>)</mo>
</mrow>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>x</mi>
</msubsup>
<mo>&GreaterEqual;</mo>
<mo>|</mo>
<mo>|</mo>
<msubsup>
<mi>&alpha;</mi>
<mrow>
<mi>B</mi>
<mi>L</mi>
</mrow>
<mi>i</mi>
</msubsup>
<mo>|</mo>
<msub>
<mo>|</mo>
<mn>0</mn>
</msub>
<mo>&times;</mo>
<mi>s</mi>
<mi>u</mi>
<mi>m</mi>
<msubsup>
<mrow>
<mo>(</mo>
<mo>|</mo>
<mo>|</mo>
<msubsup>
<mi>&alpha;</mi>
<mrow>
<msub>
<mi>BH</mi>
<mi>j</mi>
</msub>
</mrow>
<mi>i</mi>
</msubsup>
<mo>|</mo>
<msub>
<mo>|</mo>
<mn>1</mn>
</msub>
<mo>)</mo>
</mrow>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>x</mi>
</msubsup>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<msubsup>
<mi>&alpha;</mi>
<mrow>
<mi>B</mi>
<mi>L</mi>
</mrow>
<mi>i</mi>
</msubsup>
</mtd>
<mtd>
<mrow>
<mi>i</mi>
<mi>f</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>|</mo>
<mo>|</mo>
<msubsup>
<mi>&alpha;</mi>
<mrow>
<mi>A</mi>
<mi>L</mi>
</mrow>
<mi>i</mi>
</msubsup>
<mo>|</mo>
<msub>
<mo>|</mo>
<mn>0</mn>
</msub>
<mo>&times;</mo>
<mi>s</mi>
<mi>u</mi>
<mi>m</mi>
<msubsup>
<mrow>
<mo>(</mo>
<mo>|</mo>
<mo>|</mo>
<msubsup>
<mi>&alpha;</mi>
<mrow>
<msub>
<mi>AH</mi>
<mi>j</mi>
</msub>
</mrow>
<mi>i</mi>
</msubsup>
<mo>|</mo>
<msub>
<mo>|</mo>
<mn>1</mn>
</msub>
<mo>)</mo>
</mrow>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>x</mi>
</msubsup>
<mo><</mo>
<mo>|</mo>
<mo>|</mo>
<msubsup>
<mi>&alpha;</mi>
<mrow>
<mi>B</mi>
<mi>L</mi>
</mrow>
<mi>i</mi>
</msubsup>
<mo>|</mo>
<msub>
<mo>|</mo>
<mn>0</mn>
</msub>
<mo>&times;</mo>
<mi>s</mi>
<mi>u</mi>
<mi>m</mi>
<msubsup>
<mrow>
<mo>(</mo>
<mo>|</mo>
<mo>|</mo>
<msubsup>
<mi>&alpha;</mi>
<mrow>
<msub>
<mi>BH</mi>
<mi>j</mi>
</msub>
</mrow>
<mi>i</mi>
</msubsup>
<mo>|</mo>
<msub>
<mo>|</mo>
<mn>1</mn>
</msub>
<mo>)</mo>
</mrow>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>x</mi>
</msubsup>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
其中，i为图像窗口列变换后的序号；j为图像分解成不同层次下的高频信息序号；x为非下采样金字塔变化分解得高频信息个数；αAL为图像A中低频信息的稀疏系数；αAH图像A中高频信息的稀疏系数；αBL为图像B中低频信息的稀疏系数；αBH为图像B中高频信息的稀疏系数；αFL为融合后低频信息的稀疏系数；
将高频部分的1范数与低频部分的0范数结合考虑，创建新的低频部分融合中的融合规则；得到融合后的低频信息{ILF}；
步骤四：采用绝对最大值作为融合策略进行高频信息的融合，得到融合后的各个层次上的高频信息{IHF}；
步骤五：重建融合图像；
通过步骤三以及步骤四中所获得的融合图像的低频信息{ILF}以及高频信息{IHF}，将融合后得到的高频和低频信息进行逆处理，得到融合图像IF。
2.根据权利要求1所述的一种利用高频信息引导的基于稀疏表示的图像融合方法，其特征在于：所述步骤二具体如下：
2.1采用K-奇异值训练方法，以图像低频信息作为样本，完成适应低频部分的过完备字典的构建，这种训练方法具有适应性广泛的特点，可以更好地适应图像低频部分的特征；
2.2采用原子间相互性弱的连贯正则训练方法进行适应图像高频部分的字典训练，这类方法适应图像高频部分的特征相异性较大的特点。
3.根据权利要求1所述的一种利用高频信息引导的基于稀疏表示的图像融合方法，其特征在于：步骤三中所述的创建新的低频部分融合中的融合规则，具体步骤如下：
3.1应用滑窗将{ILA,ILB}，{IHA,IHB}从图像的左上到右下每次滑s步分成一系列(假设为R)的列向量以及(由于高低频分解时，由于分解方法不同，高频信息可能是多个图，假定为x)；
3.2将低频信息每一列去均值重构，高频信息不变，低频信息表示为：
在公式中I代表全1的向量，高频信息表达为：
3.3计算各自的稀疏系数，通过不同的字典训练后得到适应高频和低频的信息的字典，本发明使用的求解稀疏系数的方法是正交匹配贪婪法(OMP)即求解以及计算如下：s.t.||Pi-Diα||2＜ε；
3.4通过所构建的新的低频融合规则得到融合后的低频稀疏系数，最终融合后的低频稀疏系数为
3.5通过一系列的列向量进行滑块逆变换，将列向量(n×1)转化成为的一系列块状区域，块状区域复原除以所覆盖面的均值矩阵从而得到融合后的低频信息{ILF}。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710760414.8A CN107633496B (zh) | 2017-08-30 | 2017-08-30 | 一种利用高频信息引导的基于稀疏表示的图像融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710760414.8A CN107633496B (zh) | 2017-08-30 | 2017-08-30 | 一种利用高频信息引导的基于稀疏表示的图像融合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107633496A true CN107633496A (zh) | 2018-01-26 |
| CN107633496B CN107633496B (zh) | 2020-04-07 |
Family
ID=61101576
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710760414.8A Active CN107633496B (zh) | 2017-08-30 | 2017-08-30 | 一种利用高频信息引导的基于稀疏表示的图像融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107633496B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109064437A (zh) * | 2018-07-11 | 2018-12-21 | 中国人民解放军国防科技大学 | 一种基于引导滤波和在线字典学习的图像融合方法 |
| WO2021046989A1 (zh) * | 2019-09-10 | 2021-03-18 | 深圳大学 | 一种磁共振成像方法、系统及相关装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103903243A (zh) * | 2014-04-15 | 2014-07-02 | 北京航空航天大学 | 一种利用形态学中心算子的图像融合方法 |
| CN106981058A (zh) * | 2017-03-29 | 2017-07-25 | 武汉大学 | 一种基于稀疏字典的光学与红外图像融合方法及系统 |
-
2017
- 2017-08-30 CN CN201710760414.8A patent/CN107633496B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103903243A (zh) * | 2014-04-15 | 2014-07-02 | 北京航空航天大学 | 一种利用形态学中心算子的图像融合方法 |
| CN106981058A (zh) * | 2017-03-29 | 2017-07-25 | 武汉大学 | 一种基于稀疏字典的光学与红外图像融合方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| JIAN CHENG ETAL.: "Remote sensing image fusion via wavelet transform and sparse representation", 《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》 * |
| LU TANG ETAL.: "NSCT-Based Multimodal Medical Image Fusion With Sparse Representation and Pulse Coupled Neural Network", 《JOURNAL OF INFORMATION HIDING AND MULTIMEDIA SIGNAL PROCESSING》 * |
| YIN ZHOUPING: "FUSION ALGORITHM OF OPTICAL IMAGES AND SAR WITH SVT AND SPARSE REPRESENTATION", 《INTERNATIONAL JOURNAL ON SMART SENSING AND INTELLIGENT SYSTEMS》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109064437A (zh) * | 2018-07-11 | 2018-12-21 | 中国人民解放军国防科技大学 | 一种基于引导滤波和在线字典学习的图像融合方法 |
| WO2021046989A1 (zh) * | 2019-09-10 | 2021-03-18 | 深圳大学 | 一种磁共振成像方法、系统及相关装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107633496B (zh) | 2020-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Rao et al. | TGFuse: An infrared and visible image fusion approach based on transformer and generative adversarial network | |
| Wang et al. | Esrgan: Enhanced super-resolution generative adversarial networks | |
| CN110119780B (zh) | 基于生成对抗网络的高光谱图像超分辨重建方法 | |
| CN112734646B (zh) | 一种基于特征通道划分的图像超分辨率重建方法 | |
| CN103093444B (zh) | 基于自相似性和结构信息约束的图像超分辨重建方法 | |
| CN113516601B (zh) | 基于深度卷积神经网络与压缩感知的图像恢复方法 | |
| WO2021022929A1 (zh) | 一种单帧图像超分辨率重建方法 | |
| CN103077511B (zh) | 基于字典学习和结构相似的图像超分辨率重建方法 | |
| CN109214989B (zh) | 基于多方向特征预测先验的单幅图像超分辨率重建方法 | |
| CN105046672A (zh) | 一种图像超分辨率重建方法 | |
| CN109035146A (zh) | 一种基于深度学习的低质量图像超分方法 | |
| CN116682120A (zh) | 基于深度学习的多语种马赛克图像文本识别方法 | |
| CN106056141A (zh) | 一种使用空间稀疏编码的目标识别与角度粗估计算法 | |
| CN117274059A (zh) | 基于图像编码-解码的低分辨率图像重构方法及其系统 | |
| Shi et al. | Structure-aware deep networks and pixel-level generative adversarial training for single image super-resolution | |
| Zhang et al. | FCHP: Exploring the discriminative feature and feature correlation of feature maps for hierarchical DNN pruning and compression | |
| Wang et al. | PACCDU: Pyramid attention cross-convolutional dual UNet for infrared and visible image fusion | |
| CN113516604B (zh) | 图像修复方法 | |
| CN107633496A (zh) | 一种利用高频信息引导的基于稀疏表示的图像融合方法 | |
| Wu et al. | Lightweight asymmetric convolutional distillation network for single image super-resolution | |
| Song et al. | Semi-MapGen: translation of remote sensing image into map via semisupervised adversarial learning | |
| Li et al. | Efficient Image Super-Resolution with Feature Interaction Weighted Hybrid Network | |
| Zhang et al. | Multi Morphological Sparse Regularized Image Super-Resolution Reconstruction Based on Machine Learning Algorithm | |
| Wang | Single image super-resolution with u-net generative adversarial networks | |
| CN106815844A (zh) | 一种基于流形学习的抠图方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |