CN109064437A - 一种基于引导滤波和在线字典学习的图像融合方法 - Google Patents
一种基于引导滤波和在线字典学习的图像融合方法 Download PDFInfo
- Publication number
- CN109064437A CN109064437A CN201810759034.7A CN201810759034A CN109064437A CN 109064437 A CN109064437 A CN 109064437A CN 201810759034 A CN201810759034 A CN 201810759034A CN 109064437 A CN109064437 A CN 109064437A
- Authority
- CN
- China
- Prior art keywords
- dictionary
- image
- online
- dictionary learning
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001914 filtration Methods 0.000 title claims abstract description 49
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 21
- 238000000034 method Methods 0.000 claims abstract description 68
- 230000004927 fusion Effects 0.000 claims abstract description 39
- 238000000354 decomposition reaction Methods 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 9
- 238000002156 mixing Methods 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 8
- 238000002939 conjugate gradient method Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 15
- 230000008901 benefit Effects 0.000 abstract description 5
- 230000006872 improvement Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000002146 bilateral effect Effects 0.000 description 3
- 238000002591 computed tomography Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012886 linear function Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000010008 shearing Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000005481 NMR spectroscopy Methods 0.000 description 1
- XCWPUUGSGHNIDZ-UHFFFAOYSA-N Oxypertine Chemical compound C1=2C=C(OC)C(OC)=CC=2NC(C)=C1CCN(CC1)CCN1C1=CC=CC=C1 XCWPUUGSGHNIDZ-UHFFFAOYSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000004925 denaturation Methods 0.000 description 1
- 230000036425 denaturation Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000155 melt Substances 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于引导滤波和在线字典学习的图像融合方法，步骤包括：S1.分别获取所有的源图像并基于引导滤波的方法进行分解，每个源图像分解得到低频、高频分量；S2.将分解后的各源图像的低频分量采用综合方式进行融合，得到融合后的低频分量，以及使用基于稀疏表示的融合方法将分解后的各源图像的高频分量进行融合，得到融合后的高频分量，其中使用基于稀疏表示的融合方法进行融合时，使用在线鲁棒字典学习方法获取字典；S3.将得到的融合后的低频分量、所述融合后的高频分量进行合并，得到最终的融合图像。本发明具有实现方法简单、多图像融合的实时性及效果好且融合效率高、易于实现等优点。
Description
技术领域
本发明涉及数字图像处理技术领域，尤其涉及一种基于引导滤波和在线字典学习的图像融合方法。
背景技术
由于单传感器图像无法提供足够的信息，增加来自不同传感器的信息可以增强针对人眼的可视性，多源图像融合技术即是指将多个传感器采集到的关于同一场景或目标的多幅已配准图像，或同一传感器以不同工作模式获取的多幅图像，经过一定的处理后提取各测量图像的特征，综合成一副图像以充分利用待融合图像所包含的冗余和互补信息，获得更可靠、更准确的有用信息，供后续观察或进一步处理的过程。如互补的成像传感器，包括红外、微光传感器和合成孔径雷达等，可以在视觉监视系统中增强可视性和感知效果；在医学成像领域，核磁共振(MR)和计算机断层扫描(CT)成像的融合可以清晰地显示骨骼和软组织，被广泛用于病理诊断；在军事领域，可利用融合图像进行导航和目标识别跟踪；在航空领域，融合图像可辅助飞行员判断航线，保证飞行安全。
图像融合的各类方法中，基于多分辨域变换的图像融合技术应用最为广泛，具有简单易实现的优点，包括从离散小波变换(DWT)到双树复杂小波变换(DT-CWT)，从曲波(CVT)到轮廓波(CT)再到剪切波(ST)，以及非下采样轮廓波(NSCT)和非下采样剪切波(NSST)的各类多分辨率变换方法得到的系数均能够比较合理表示图像的重要特征，但每种变换针对不同的输入图像也有各种缺点和不足，而且基于多尺度变换的方法在存在噪声的情况下具有较差融合效果的问题。
针对基于多分辨域变换的图像融合的上述问题，基于稀疏表示图像融合方法的提出提供了另一种思路，其是通过稀疏表示提取图像特征，再对特征进行合并后重构得到融合图像。稀疏表示能够以简洁灵活的方式对图像进行表示，把传统的正交基拓展为过完备字典，将图像表示成字典中少数原子的线性组合，同时稀疏表示使图像能量信号集中在少量非零系数上，这些少量非零系数和对应的原子揭示了信号的主要特征和内在结构。
目前使用基于稀疏表示图像融合方法进行图像融合时，通常是直接对各源图像的整个图像进行稀疏表示以进行融合，会存在以下问题：
1、图像中包括低频分量、高频分量，其中低频分量背景信息量大，但是不是主要感兴趣的区域，高频分量体现的是则是图像目标区域的纹理细节，直接对整个图像进行稀疏表示会使得处理复杂度高，同时增加了大量不必要的数据处理，使得融合所需的耗时较长，尤其是应用于如视频融合的大规模动态数据处理中，会极大的限制融合效率；
2、稀疏表示中过完备字典是用于更好表示图像信号的关键，它直接决定了图像融合方法的性能好坏，如经典的K-SVD字典学习相较于基于固定构造字典比如DCT、WT等的基于训练的字典即具有较好的融合效果，但是即便如经典的K-SVD字典的鲁棒性及灵活性差，当引入新的信号时必须重新进行字典的构建，不适用于如视频融合的大规模动态数据处理中。
中国专利申请CN107341786A提供了一种小波变换与联合稀疏表示的红外与可见光图像融合方法，该方案首先对源图像进行DWT变换分解成低频子带与高频子带系数，并用滑窗策略将低频子带系数分解成矩阵，再针对上述分解的低频子带矩阵学习字典，其次分别融合低频子带系数和高频子带系数，最后通过DWT逆变换重构出融合图像。但该方案中使用小波分解方式，容易引起吉布斯效应，对边缘细节的保护不够，且采用传统的滑窗策略，效率不高、耗时较长，且低频子带矩阵学习字典的策略灵活性、自适应性差，不适用于如视频融合的大规模动态数据处理中。
发明内容
本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种实现方法简单、多图像融合的实时性及效果好且融合效率高的基于引导滤波和在线字典学习的图像融合方法，能够适用大规模动态数据中实现高效的多图像融合。
为解决上述技术问题，本发明提出的技术方案为：
一种基于引导滤波和在线字典学习的图像融合方法，步骤包括：
S1.分别获取所有的源图像并基于引导滤波(Guided Filter，GF)的方法进行分解，每个所述源图像分解得到低频、高频分量；
S2.将分解后的各源图像的低频分量采用综合方式进行融合，得到融合后的低频分量，以及使用基于稀疏表示的融合方法将分解后的各源图像的高频分量进行融合，得到融合后的高频分量，其中使用基于稀疏表示的融合方法进行融合时，使用在线鲁棒字典学习(Online Robust Dictionary Learning，ORDL)方法获取字典；
S3.将所述步骤S2得到的所述融合后的低频分量、所述融合后的高频分量进行合并，得到最终的融合图像。
作为本发明的进一步改进，所述步骤S1中基于引导滤波的方法进行分解的具体步骤为：对每个所述源图像进行引导滤波后，输出对应的低频分量，将各所述源图像与对应的所述低频分量相减后得到高频分量。
作为本发明的进一步改进，所述引导滤波具体采用qi＝pi-ni的约束条件，以及的局部线性模型，其中p为输入图像，q为滤波后的输出图像，I为引导图像，且q是I在以像素k为中心、窗口wk为邻域的线性变换，ak,bk是由wk约束的线性变换系数；求解滤波结果时，使代价函数达到最小值，得到解为：
其中，∈是一个标准化参数，μk和是I中邻域wk的均值和方差。
作为本发明的进一步改进：所述步骤S2中低频分量具体采用加权平均的综合方式进行融合。
作为本发明的进一步改进：所述步骤S2中使用基于稀疏表示的融合方法时，具体采用连续正交匹配追踪法(Simultaneous Orthogonal Matching Pursuit，SOMP)的稀疏分解方法。
作为本发明的进一步改进，所述步骤S2中对高频分量进行融合的具体步骤为：
S21.将各源图像的高频分量分割为多个子块并进行向量化，得到多个向量化子块；
S22.使用所述在线字典学习获取字典对各所述向量化子块进行稀疏表示，得到多个稀疏系数
S23.将各所述稀疏系数进行融合，得到融合系数
S24.使用所述在线字典学习获取字典对所述融合系数进行重构，得到融合后的高频分量。
作为本发明的进一步改进，所述步骤S2中具体基于图像联合块聚类使用在线鲁棒字典学习方法获取字典，具体步骤包括：
将所有源图像分割成多个相互重叠的子块，得到多个图像子块；
对所有图像子块进行聚类，得到各类子块Ω1～ΩC；
分别对各类子块Ω1～ΩC进行在线鲁棒字典学习，得到多个子字典；
由得到多个子字典的构成最终所需的字典。
作为本发明的进一步改进，具体按照下式进行在线鲁棒字典学习；
其中X＝{x1,x2,…,xn}，Θ＝{β1,β2,…,βn}，x为输入，即包含n个元素的训练集，xi为被标准化为零均值和单位方差，系数βi为每次迭代的成本，当βi固定为某个值时，λ是一个标准化参数，字典D属于一个封闭的、凸且有边界的集合R，即：
其中，dj是D的第j列。
作为本发明的进一步改进，所述进行在线鲁棒字典学习时，具体基于Batch字典更新方式对字典进行更新，具体步骤为：按照下式进行更新：
其中使得新数据将被存储在和中，其中线性系统采用共轭梯度法求解，并将Dt-h作为本轮迭代的初始值，最终得到更新字典Dt，t为迭代次数。
作为本发明的进一步改进，所述对字典进行更新过程中，还引入约束优化：
与现有技术相比，本发明的优点在于：
1)本发明通过先将各源图像分解为低频、高频分量，再使用不同的融合策略来对低频、高频分量分别进行融合，低频分量采用简单的综合方式进行融合，可以减少总体的运算复杂度，同时不会影响整体的融合效果，高频分量则采用基于在线鲁棒字典学习的稀疏表示融合方法，可以利用在线鲁棒字典学习的鲁棒性、灵活性充分发挥稀疏表示融合方法的性能，可以实现高质量的高频分量融合，从而可以在有效降低实现复杂度的同时，提高融合的效果。
2)本发明对高频分量使用基于稀疏表示的融合方法进行融合时，通过结合在线鲁棒字典学习可以获取鲁棒性、自适应性以及灵活性强的字典，从而实现鲁棒性及灵活性强、高质量的图像高频分量稀疏表示融合，且通过在线的学习方式，能够不断对新的信号数据进行学习，尤其适用于如视频融合的大规模动态数据中实现高效的多图像融合。
3)本发明将源图像分解成低频和高频分量时使用引导滤波的方式，可将图像分解为富含背景信息的低频分量和边缘纹理保留度很高的重点感兴趣区域，相比于传统的如高斯滤波的滤波方法，具有更好的边缘保护特性，高频分量中能够保留更多的图像细节，且效率更高，并且在对彩色图像进行滤波时，不会出现双边滤波算法容易出现的图像边缘处理梯度反转现象，结合引导滤波以及低频、高频融合策略，可以最大限度的减少实现复杂度、提高融合效率，同时保证融合效果。
4)本发明可对各类多源图像进行融合，比如红外可见光图像、多焦距图像、医学图像等，具有很好的融合效果，鲁棒性、抗噪性能强等优点。
5)本发明进一步采用联合块聚类的方法首先将图像子快分类，再将各类子图像作为训练数据集进行字典学习，能够得到维度更小的字典，字典中原子的利用率更高，可有效减少图像融合的耗时。
附图说明
图1是本实施例基于引导滤波和在线字典学习的图像融合方法的实现流程示意图。
图2是本实施例基于引导滤波和在线字典学习实现图像融合的实现原理示意图。
图3是本实施例采用的引导滤波的实现原理示意图。
图4是本实施例对高频分量进行融合的实现流程示意图。
图5是本发明具体应用实施例中图像子块滑窗操作的实现原理示意图。
图6是本发明具体应用实施例中图像联合块聚类的实现原理示意图。
图7是本发明具体应用实施例中在线鲁棒字典学习的实现流程示意图。
具体实施方式
以下结合说明书附图和具体优选的实施例对本发明作进一步描述，但并不因此而限制本发明的保护范围。
如图1、2所示，本实施例基于引导滤波和在线字典学习的图像融合方法步骤包括：
S1.分别获取所有的源图像并基于引导滤波的方法进行分解，每个源图像分解得到低频、高频分量；
S2.将分解后的各源图像的低频分量采用综合的方式进行融合，得到融合后的低频分量，以及使用基于稀疏表示的融合方法将分解后的各源图像的高频分量进行融合，得到融合后的高频分量，其中使用基于稀疏表示的融合方法进行融合时，使用在线鲁棒字典学习(ORDL)方法获取字典；
S3.将步骤S2得到的融合后的低频分量、融合后的高频分量进行合并，得到最终的融合图像。
图像中高频分量体现的是图像目标区域的纹理细节，能够更好地保留图像中重点区域的细节信息，而低频分量背景信息量大，但是不是主要感兴趣的区域，本实施例考虑图像高频、低频分量的上述特性，通过先将各源图像分解为低频、高频分量，再使用不同的融合策略来对低频、高频分量分别进行融合，低频分量采用简单的综合方式进行融合，可以减少总体的运算复杂度，同时不会影响整体的融合效果，高频分量则采用基于在线鲁棒字典学习的稀疏表示融合方法，可以利用在线鲁棒字典学习的鲁棒性、灵活性充分发挥稀疏表示融合方法的性能，可以实现高质量的高频分量融合，从而可以在有效降低实现复杂度的同时，提高融合的效果。
在线鲁棒字典学习(ORDL)是使用l1回归问题代替传统在线字典学习中的l2回归，通过将问题转化为几个二次函数迭代，相比传统字典学习可以很好地解决字典更新的问题，该ORDL遵循在线学习的框架，随着数据的增长，会不断消耗内存，因而运行时间和数据量的大小保持线性关系，对异常的鲁棒性很强。本实施例对高频分量使用基于稀疏表示的融合方法进行融合时，结合在线鲁棒字典学习(ORDL)可以获取鲁棒性、自适应性以及灵活性强的字典，从而实现鲁棒性及灵活性强、高质量的图像高频分量稀疏表示融合，且通过在线的学习方式，能够不断对新的信号数据进行学习，字典的表示性能可始终维持在一个较高水平，尤其适用于如视频融合的大规模动态数据中实现高效的多图像融合。
本实施例将源图像分解成低频和高频分量时使用引导滤波的方式，可将图像分解为富含背景信息的低频分量和边缘纹理保留度很高的重点感兴趣区域，相比于传统的如高斯滤波的滤波方法，具有更好的边缘保护特性，高频分量中能够保留更多的图像细节，且效率更高，能够达到O(N)水平，并且在对彩色图像进行滤波时，不会出现双边滤波算法容易出现的图像边缘处理梯度反转现象，结合引导滤波以及上述低频、高频融合策略，可以最大限度的减少实现复杂度、提高融合效率，同时保证融合效果。
本实施例中，步骤S1基于引导滤波的方法进行分解的具体步骤为：对每个源图像进行引导滤波后，输出对应的低频分量，将各源图像与对应的低频分量相减后得到高频分量，通过采用引导滤波的方式，可以获得保留有更多图像细节的高频分量以及保护图像边缘。
假设需要滤波的输入图像为p，输出的滤波后图像为q，引导图像为I，p和I根据实际的应用情况给出，可以是相同的，当p和I是同一幅图像时，引导滤波器即是一个具有边缘保留功能的平滑算子。
假设q是I在以像素k为中心，窗口wk为邻域的线性变换：
其中(ak,bk)是由wk约束的线性变换系数，由输入p得到。设定以下模型，输出为输入p减去一些不必要的分量n，如噪声。
上述局部线性模型认为某函数上一点与其邻近部分的点成线性关系，一个复杂的函数就可以用很多局部的线性函数来表示，当需要求该函数上某一点的值时，只需计算所有包含该点的线性函数的值并做平均即可。
将输出为输入p减去一些不必要的分量n，如噪声，设定以下模型：
qi＝pi-ni (2)
在上述线性模型下尽量减少输入p和q的差距，即使以下代价函数达到最小值：
其中∈是一个标准化参数。
得到求解结果为：
其中，μk和是I中邻域wk的均值和方差。
本实施例引导滤波具体即是采用上述式(2)为约束条件，以及上述式(1)的局部线性模型，求解滤波结果时，使代价函数式(3)达到最小值，得到如式(4)、(5)所示的求解结果。
如图3所示，本实施例中使用引导滤波时，滤波器的输入p由引导图像I采用如式(1)所示的局部线性模型，在如式(2)所示的约束条件下，得到滤波输出q，经过上述引导滤波的复杂度为O(N)，相对于双边滤波有更好的边缘保持特性，且不会出现梯度反转现象。
本实施例步骤S2中低频分量具体采用加权平均的综合方式进行融合，即对于步骤S1分解得到的不同源图像的低频分量，采用加权平均的融合规则进行融合，具体可采用下式(6)将各源图像的低频分量进行融合；
其中，yk,L为第k个源图像的低频系数，wk为加权系数。
低频分量蕴含了图像的背景信息，内容丰富但是不是主要感兴趣的区域，本实施例通过采用简单的加权平均融合规则对非重点关注区域的低频分量进行融合，可以有效减少算法总体的运算复杂度，同时不会影响整体融合效果，实现融合实现复杂度以及融合效果的综合考虑。
本实施例步骤S2中使用基于稀疏表示的融合方法时，具体采用连续正交匹配追踪法的稀疏分解方法。高频分量主要蕴含了源图像中的重要感兴趣区域，本实施例通过采用连续正交匹配追踪算法，可以尽可能的保留高频分量中的细节纹理。
如图4所示，本实施例步骤S2中对高频分量进行融合的具体步骤为：
S21.将各源图像的高频分量分割为多个子块并进行向量化，得到多个向量化子块；
S22.使用在线字典学习获取字典对各向量化子块进行稀疏表示，得到多个稀疏系数
S23.将各稀疏系数进行融合，得到融合系数
S24.使用在线字典学习获取字典对融合系数进行重构，得到融合后的高频分量。
本实施例步骤S21中具体采用滑窗操作获取高频分量矩阵的子块，即将原图像高频分量利用滑窗操作从左到右、从上到下分为许多小块。通过滑窗操作可以使得图像高频分量分块后尽可能的保持图像的所有信息，而且保证了对于图像融合算法很重要的平移不变性。
上述步骤S23中具体可采用诸如加权平均、绝对值取大等的融合规则融合。
本实施例步骤S2中具体基于图像联合块聚类使用在线鲁棒字典学习方法获取字典，具体步骤包括：
将所有源图像分割成多个相互重叠的子块，得到多个图像子块；
对所有图像子块进行聚类，得到各类子块Ω1～ΩC；
分别对各类子块Ω1～ΩC进行在线鲁棒字典学习，得到多个子字典；
由得到多个子字典的构成最终所需的字典。
使用在线鲁棒字典学习获取字典可以充分利用了在线学习方案，也就是说，随着数据的增长，会消耗恒定的内存，并且与数据大小成线性关系，与此同时，由于稀疏性，对异常值的鲁棒性非常强大。
源图像中的像素可以与描述底层结构的各种图像特征进行聚类，即局部补丁图像的强度或梯度可以作为低级特征，图像融合中一些特征仅在某一个源图像中更占优势，则可以通过利用来自所有源图像的联合聚类补丁来学习包含源图像的所有可能图像结构的更多信息的通用字典，本实施例通过提取所有被分类到同一个聚类中的图像子块，并为它们做一个组，通过联合块聚类的方法首先将图像子快分类，再将各类子图像作为训练数据集进行字典学习，能够得到维度更小的字典，相比传统稀疏字典学习方法需要先通过滑窗将图像分块再展开矩阵形成训练数据集的方式，字典中原子的利用率更高，可有效减少图像融合的耗时。
本实施例中，具体按照下式进行在线鲁棒字典学习：
其中X＝{x1,x2,…,xn}，Θ＝{β1,β2,…,βn}，x为输入，即包含n个元素的训练集，其中xi被标准化为零均值和单位方差，系数βi代表了每次迭代的成本，当βi固定为某个值时，二阶优化技术可用于在每一步精确估计D，λ是一个标准化参数，字典D属于一个封闭的、凸且有边界的集合R，即：
其中，dj是D的第j列。
本实施例首先对X中的{xt-h+1,…,xt}，其中h为mini-batch的大小，t为迭代次数，按照上式(7)进行迭代执行，更新迭代起止条件为j＝t-h+1:t；再结合Dt-h和更新Dt，最终返回字典。
本实施例Dt的更新具体采用基于Batch字典更新的方式对字典进行更新，，即从Batch字典更新程序开始，然后将其扩展到在线版本并提供了在线词典更新的理论鲁棒性分析，其中Batch字典更新的具体步骤为：迭代执行 并计算其中i＝1,…,n j＝1,…,p，直到收敛，输出字典D。
本实施例在线鲁棒字典更新的具体步骤为：迭代执行 求解线性系统并计算直到收敛，输出更新后字典Dt，参数
具体而言，本实施例在线字典更新可表示为：
其中 使得新数据将被存储在和中，其中线性系统采用共轭梯度法进行求解，并将Dt-h作为本轮迭代的初始值，因为矩阵往往是对角矩阵，从现有数据合理初始化可以使共轭梯度更新快速收敛；为了不让字典D过大，进一步引入约束优化：经过迭代上述过程后得到更新字典Dt。由于初始值设为Dt-h，迭代一般在5-7次开始收敛。
本实施例按照上述步骤得到融合后的低频分量和高频分量后，将融合后的低频分量和高频分量进行合并，具体可利用过完备字典进行稀疏求解的逆过程，即可得到最终的融合图像。
如图2所示，假设有K幅源图像，本实施例首先对源图像进行基于引导滤波的图像预处理，将红外和可见光图像用引导滤波进行分解，利用引导滤波良好的边缘保护特性，将源图像分解成低频和高频分量I1,L—IK,L、I1,H—IK,H，其中低频分量为引导滤波器的输出，用源图像减去低频分量即是高频分量；对于不同源图像的低频分量I1,L—IK,L，采用加权平均的融合规则进行融合，得到融合后的低频分量对于不同源图像的高频分量I1,H—IK,H，采用基于稀疏表示的融合方法进行融合，首先对源图像的高频分量利用连续正交匹配追踪算法SOMP进行稀疏分解，得到稀疏系数其中字典的训练方式为在线鲁棒字典学习，将各个图像的稀疏系数用诸如加权平均、绝对值取大等融合规则融合为再进行重构，得到融合后的高频分量，重构即为求解稀疏系数的逆过程，最后将融合后的高频和低频分量相加，即可得到融合图像。
本发明具体应用实施例中图像子块滑窗操作如图5所示，将原图像高频分量利用滑窗操作从左到右、从上到下分为许多小块，可以得图像高频分量分块后尽可能的保持图像的所有信息，而且保证了对于图像融合算法很重要的平移不变性。。
本发明具体应用实施例中进行图像联合块聚类如图6、7所示，通过提取所有被分类到同一个聚类中的图像子块构成一个组，如各组聚类规则为：j∈Ωc，其中分别代表聚类后源图像1归为第i类的子块，图像2归为第j类的子块，图像2归为第k类的子块，将属于第j类的子块联合，得到联合聚类块通过上述步骤得到多个分类的图像子快Ω1～ΩC，再将各类子图像作为训练数据集进行ORDL的字典学习，得到包含C个子字典的字典提供给稀疏表示融合。
上述只是本发明的较佳实施例，并非对本发明作任何形式上的限制。虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明。因此，凡是未脱离本发明技术方案的内容，依据本发明技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均应落在本发明技术方案保护的范围内。
Claims (10)
1.一种基于引导滤波和在线字典学习的图像融合方法，其特征在于，步骤包括：
S1.分别获取所有的源图像并基于引导滤波的方法进行分解，每个所述源图像分解得到低频、高频分量；
S2.将分解后的各源图像的低频分量采用综合方式进行融合，得到融合后的低频分量，以及使用基于稀疏表示的融合方法将分解后的各源图像的高频分量进行融合，得到融合后的高频分量，其中使用基于稀疏表示的融合方法进行融合时，使用在线鲁棒字典学习方法获取字典；
S3.将所述步骤S2得到的所述融合后的低频分量、所述融合后的高频分量进行合并，得到最终的融合图像。
2.根据权利要求1所述的基于引导滤波和在线字典学习的图像融合方法，其特征在于，所述步骤S1中基于引导滤波的方法进行分解的具体步骤为：对每个所述源图像进行引导滤波后，输出对应的低频分量，将各所述源图像与对应的所述低频分量相减后得到高频分量。
3.根据权利要求2所述的基于引导滤波和在线字典学习的图像融合方法，其特征在于，所述引导滤波具体采用qi＝pi-ni的约束条件，以及qi＝akIi+bk,的局部线性模型，其中p为输入图像，q为滤波后的输出图像，I为引导图像，且q是I在以像素k为中心、窗口wk为邻域的线性变换，ak,bk是由wk约束的线性变换系数；求解滤波结果时，使代价函数达到最小值，得到解为：
其中，∈是一个标准化参数，μk和是I中邻域wk的均值和方差。
4.根据权利要求1或2或3所述的基于引导滤波和在线字典学习的图像融合方法，其特征在于，所述步骤S2中低频分量具体采用加权平均的综合方式进行融合。
5.根据权利要求1或2或3所述的基于引导滤波和在线字典学习的图像融合方法，其特征在于，所述步骤S2中使用基于稀疏表示的融合方法时，具体采用连续正交匹配追踪法的稀疏分解方法。
6.根据权利要求1或2或3所述的基于引导滤波和在线字典学习的图像融合方法，其特征在于，所述步骤S2中对高频分量进行融合的具体步骤为：
S21.将各源图像的高频分量分割为多个子块并进行向量化，得到多个向量化子块；
S22.使用所述在线字典学习获取字典对各所述向量化子块进行稀疏表示，得到多个稀疏系数
S23.将各所述稀疏系数进行融合，得到融合系数
S24.使用所述在线字典学习获取字典对所述融合系数进行重构，得到融合后的高频分量。
7.根据权利要求l或2或3所述的基于引导滤波和在线字典学习的图像融合方法，其特征在于，所述步骤S2中具体基于图像联合块聚类使用在线鲁棒字典学习方法获取字典，具体步骤包括：
将所有源图像分割成多个相互重叠的子块，得到多个图像子块；
对所有图像子块进行聚类，得到各类子块Ω1～ΩC；
分别对各类子块Ω1～ΩC进行在线鲁棒字典学习，得到多个子字典；
由得到多个子字典的构成最终所需的字典。
8.根据权利要求7所述的基于引导滤波和在线字典学习的图像融合方法，其特征在于，具体按照下式进行在线鲁棒字典学习；
其中X＝{x1，x2，…，xn}，Θ＝{β1，β2，…，βn}，x为输入，即包含n个元素的训练集，xi为被标准化为零均值和单位方差，系数βi为每次迭代的成本，当βi固定为某个值时，λ是一个标准化参数，字典D属于一个封闭的、凸且有边界的集合R，即：
其中，dj是D的第j列。
9.根据权利要求8所述的基于引导滤波和在线字典学习的图像融合方法，其特征在于，所述进行在线鲁棒字典学习时，具体基于Batch字典更新方式对字典进行更新，具体步骤为：按照下式进行更新：
其中使得新数据将被存储在和中，线性系统采用共轭梯度法进行求解，并将Dt-h作为本轮迭代的初始值，最终得到更新字典Dt，t为迭代次数。
10.根据权利要求9所述的基于引导滤波和在线字典学习的图像融合方法，其特征在于，所述对字典进行更新过程中，还引入约束优化：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810759034.7A CN109064437A (zh) | 2018-07-11 | 2018-07-11 | 一种基于引导滤波和在线字典学习的图像融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810759034.7A CN109064437A (zh) | 2018-07-11 | 2018-07-11 | 一种基于引导滤波和在线字典学习的图像融合方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109064437A true CN109064437A (zh) | 2018-12-21 |
Family
ID=64816098
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810759034.7A Pending CN109064437A (zh) | 2018-07-11 | 2018-07-11 | 一种基于引导滤波和在线字典学习的图像融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109064437A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109785282A (zh) * | 2019-01-22 | 2019-05-21 | 厦门大学 | 一种多聚焦图像融合方法 |
| CN109903262A (zh) * | 2019-02-26 | 2019-06-18 | 东北师范大学人文学院 | 一种图像融合的方法、系统及相关装置 |
| CN110111290A (zh) * | 2019-05-07 | 2019-08-09 | 电子科技大学 | 一种基于nsct和结构张量的红外与可见光图像融合方法 |
| CN110726413A (zh) * | 2019-10-25 | 2020-01-24 | 中国人民解放军国防科技大学 | 面向大规模slam的多传感器融合与数据管理机制 |
| CN111079556A (zh) * | 2019-11-25 | 2020-04-28 | 航天时代飞鸿技术有限公司 | 一种多时相无人机视频图像变化区域检测及分类方法 |
| CN112017139A (zh) * | 2020-09-14 | 2020-12-01 | 南昌航空大学 | 一种红外与可见光图像感知融合方法 |
| CN114066786A (zh) * | 2020-08-03 | 2022-02-18 | 四川大学 | 一种基于稀疏和滤波器的红外和可见光图像融合方法 |
| CN114708178A (zh) * | 2022-03-30 | 2022-07-05 | 北京理工大学 | 基于引导滤波与稀疏表示的遥感影像融合方法 |
| CN115065761A (zh) * | 2022-06-13 | 2022-09-16 | 中亿启航数码科技(北京)有限公司 | 一种多镜头扫描装置及其扫描方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107341786A (zh) * | 2017-06-20 | 2017-11-10 | 西北工业大学 | 小波变换与联合稀疏表示的红外与可见光图像融合方法 |
| CN107633496A (zh) * | 2017-08-30 | 2018-01-26 | 北京航空航天大学 | 一种利用高频信息引导的基于稀疏表示的图像融合方法 |
-
2018
- 2018-07-11 CN CN201810759034.7A patent/CN109064437A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107341786A (zh) * | 2017-06-20 | 2017-11-10 | 西北工业大学 | 小波变换与联合稀疏表示的红外与可见光图像融合方法 |
| CN107633496A (zh) * | 2017-08-30 | 2018-01-26 | 北京航空航天大学 | 一种利用高频信息引导的基于稀疏表示的图像融合方法 |
Non-Patent Citations (4)
| Title |
|---|
| CEWU LU 等: "Online Robust Dictionary Learning", 《2013 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
| MINJAE KIM 等: "Joint patch clustering-based dictionary learning for multimodal image fusion", 《INFORMATION FUSION》 * |
| 刘先红 等: "结合引导滤波和卷积稀疏表示的红外与可见光图像融合", 《光学精密工程》 * |
| 姜东: "基于稀疏表示与字典学习的图像融合方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109785282A (zh) * | 2019-01-22 | 2019-05-21 | 厦门大学 | 一种多聚焦图像融合方法 |
| CN109903262B (zh) * | 2019-02-26 | 2021-02-12 | 东北师范大学人文学院 | 一种图像融合的方法、系统及相关装置 |
| CN109903262A (zh) * | 2019-02-26 | 2019-06-18 | 东北师范大学人文学院 | 一种图像融合的方法、系统及相关装置 |
| CN110111290A (zh) * | 2019-05-07 | 2019-08-09 | 电子科技大学 | 一种基于nsct和结构张量的红外与可见光图像融合方法 |
| CN110111290B (zh) * | 2019-05-07 | 2023-08-25 | 电子科技大学 | 一种基于nsct和结构张量的红外与可见光图像融合方法 |
| CN110726413A (zh) * | 2019-10-25 | 2020-01-24 | 中国人民解放军国防科技大学 | 面向大规模slam的多传感器融合与数据管理机制 |
| CN111079556B (zh) * | 2019-11-25 | 2023-08-15 | 航天时代飞鸿技术有限公司 | 一种多时相无人机视频图像变化区域检测及分类方法 |
| CN111079556A (zh) * | 2019-11-25 | 2020-04-28 | 航天时代飞鸿技术有限公司 | 一种多时相无人机视频图像变化区域检测及分类方法 |
| CN114066786A (zh) * | 2020-08-03 | 2022-02-18 | 四川大学 | 一种基于稀疏和滤波器的红外和可见光图像融合方法 |
| CN112017139A (zh) * | 2020-09-14 | 2020-12-01 | 南昌航空大学 | 一种红外与可见光图像感知融合方法 |
| CN114708178A (zh) * | 2022-03-30 | 2022-07-05 | 北京理工大学 | 基于引导滤波与稀疏表示的遥感影像融合方法 |
| CN115065761A (zh) * | 2022-06-13 | 2022-09-16 | 中亿启航数码科技(北京)有限公司 | 一种多镜头扫描装置及其扫描方法 |
| CN115065761B (zh) * | 2022-06-13 | 2023-09-12 | 中亿启航数码科技(北京)有限公司 | 一种多镜头扫描装置及其扫描方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109064437A (zh) | 一种基于引导滤波和在线字典学习的图像融合方法 | |
| Li et al. | Infrared and visible image fusion using a deep learning framework | |
| CN109934887B (zh) | 一种基于改进的脉冲耦合神经网络的医学图像融合方法 | |
| CN109410157B (zh) | 基于低秩稀疏分解和pcnn的图像融合方法 | |
| CN103020933B (zh) | 一种基于仿生视觉机理的多源图像融合方法 | |
| Gao et al. | Fusion of medical images based on salient features extraction by PSO optimized fuzzy logic in NSST domain | |
| CN107845065A (zh) | 超分辨率图像重建方法和装置 | |
| CN103632341A (zh) | 一种塔式分解和字典学习的带噪cs-mri重构方法 | |
| Yang | Multiresolution Image Fusion Based on Wavelet Transform By Using a Novel Technique for Selection Coefficients. | |
| Zhang et al. | Salient feature multimodal image fusion with a joint sparse model and multiscale dictionary learning | |
| CN109816617A (zh) | 基于导向滤波和图论显著性的多模态医学图像融合方法 | |
| CN114972313A (zh) | 图像分割网络预训练方法及装置 | |
| Sun et al. | RGB and optimal waveband image fusion for real-time underwater clear image acquisition | |
| Su et al. | GeFuNet: A knowledge-guided deep network for the infrared and visible image fusion | |
| Zhang et al. | Image fusion using online convolutional sparse coding | |
| Mergin et al. | Shearlet transform-based novel method for multimodality medical image fusion using deep learning | |
| Luo et al. | Infrared and visible image fusion based on VPDE model and VGG network | |
| Huang et al. | Image de-noising and enhancement based on rough set and principal component analysis | |
| Zhao et al. | MHW-GAN: Multidiscriminator Hierarchical Wavelet Generative Adversarial Network for Multimodal Image Fusion | |
| CN116630964A (zh) | 一种基于离散小波注意力网络的食品图像分割方法 | |
| Bhavana et al. | Multi-modal image fusion using contourlet and wavelet transforms: a multi-resolution approach | |
| Guo | Real-time medical image denoising and information hiding model based on deep wavelet multiscale autonomous unmanned analysis | |
| Tang et al. | EgeFusion: Towards Edge Gradient Enhancement in Infrared and Visible Image Fusion With Multi-Scale Transform | |
| DE112021005555T5 (de) | Multitasking-lernen über gradienteilung zur umfangreichen menschlichen analyse | |
| Vanitha et al. | Multimodal Medical Image Fusion Based on Hybrid L 1-L 0 Layer Decomposition Method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181221 |
|
| RJ01 | Rejection of invention patent application after publication |