CN110689510B - 一种引入字典信息基于稀疏表示的图像融合方法 - Google Patents
一种引入字典信息基于稀疏表示的图像融合方法 Download PDFInfo
- Publication number
- CN110689510B CN110689510B CN201910868156.4A CN201910868156A CN110689510B CN 110689510 B CN110689510 B CN 110689510B CN 201910868156 A CN201910868156 A CN 201910868156A CN 110689510 B CN110689510 B CN 110689510B
- Authority
- CN
- China
- Prior art keywords
- image
- sparse
- dictionary
- fusion
- sparse coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 22
- 239000013598 vector Substances 0.000 claims abstract description 77
- 238000000034 method Methods 0.000 claims abstract description 45
- 230000004927 fusion Effects 0.000 claims abstract description 32
- 238000012549 training Methods 0.000 claims description 8
- 238000010801 machine learning Methods 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000011084 recovery Methods 0.000 claims description 3
- 238000007499 fusion processing Methods 0.000 abstract description 6
- 238000013507 mapping Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种引入字典信息基于稀疏表示的图像融合方法，包括以下三个步骤：第一步使用字典将源图像分别转换为稀疏系数向量；第二步结合字典信息将多个稀疏系数向量融合为一个稀疏系数向量；第三步结合字典由融合后的稀疏系数向量恢复融合图像。该方法将字典信息引入了稀疏系数向量的融合过程，使得稀疏系数向量的融合质量更高，可以获得质量更高的融合图像。该融合方法具有较强的抗干扰能力及鲁棒性。
Description
技术领域
本方法涉及图像融合方法，尤其涉及基于稀疏表示理论的图像融合方法。
背景技术
图像融合方法可以输出全面综合了各个输入图像信息的高质量单一图像，提高了人的感知或机器分析、理解以及决策的效率及准确性。图像融合技术已逐步成为大多数实际图像信息处理系统数据预处理的关键模块，被广泛应用于各种不同的实际场景中，比如机器视觉、安防监控、医学图像分析、遥感图像解译、军事目标识别与跟踪等。
目前，被广泛使用的图像融合方法可以分为空间域方法和变换域方法。空间域方法以加权平均法、逻辑滤波法及数学形态法等为代表。变换域方法包括IHS变换(W.J.Carper,T.M.Lillesand,and R.W.Kiefer,“The use of Intensity-Hue-Saturationtransform for merging SPOT panchromatic and multispectral image data,”Photogramm.Eng.Remote Sens.,vol.56,no.4,pp.459–467,1990)、PCA变换(Chavez P,Sides S C,Anderson J A.Comparison of three different methods to mergemultiresolution and multispectral data-Landsat TM and SPOT panchromatic[J].Photogrammetric Engineering and remote sensing,1991,57(3):295-303)、以小波变换(H.Li,B.S.Manjunath,S.K.Mitra,Multisensor image fusion using the wavelettransform,Graphical Models Image Process.57(3)(1995)235–245)为代表的多尺度变换分析及稀疏域变换(B.Yang,S.Li,Multifocus image fusion and restoration withsparse representation,IEEE Trans.Instrum.Meas.59(4)(2010)884–892)等。
上述加权平均法、逻辑滤波法及数学形态法等空间域方法直接对图像像素进行处理，难以利用图像中较高层次的视觉特征信息，融合图像质量较差。传统的IHS变换、PCA变换、多尺度变换分析等变换域方法只着眼于特定的视觉特征信息或者只适用于特定的图像融合场景，融合图像质量不及稀疏域变换方法。现有的基于稀疏表示的图像融合算法只考虑对稀疏域的稀疏系数向量所包含的信息进一步发掘和利用，而不考虑使用来自字典的信息进一步提升融合图像质量。
发明内容
本发明要解决的技术问题是：克服现有技术的不足，提供一种引入字典信息基于稀疏表示的图像融合方法，能够在保证基于稀疏表示的图像融合方法具备高融合质量以及广阔适用性特点的基础上，将字典信息引入稀疏系数向量的融合过程，提高了融合图像质量。并且抗干扰能力强，鲁棒性好。
本发明的方法的技术方案是：一种引入字典信息基于稀疏表示的图像融合方法，实现对单源或多源图像的高质量融合，包括下列步骤：
1)使用字典将多幅源图像分别转换为稀疏系数向量；
2)结合字典信息融合稀疏系数向量；
3)由融合后的稀疏系数向量恢复融合图像。
所述结合字典信息指根据被称为原子的字典矩阵的列所包含的信息量大小构造权向量，然后使用该权向量对稀疏系数向量进行加权。
所述的信息量通过计算字典中原子的向量范数或者香农熵获得。
所述步骤1)的具体方法为：
11)建立由大量图像或图像块组成的训练数据库；
12)基于机器学习技术通过训练数据库获得字典；
13)使用字典对源图像或源图像分块进行稀疏编码，获得稀疏域的稀疏系数向量。
所述稀疏系数向量属于稀疏表示理论中的概念，通过使用字典对图像进行稀疏编码获得。
所述的融合稀疏系数向量为将转换自源图像的多个稀疏系数向量融合为单一的稀疏系数向量。
所述步骤2)的具体方法为：
结合步骤1)中字典包含的信息，将步骤1)中转换自源图像或图像块的两个或两个以上的稀疏系数向量融合为一个稀疏系数向量。
所述的恢复融合图像为利用所述字典对融合后的稀疏系数向量执行反稀疏编码，即稀疏编码的逆过程，得到融合图像。
所述步骤3)的方法为：
31)使用步骤1)中的字典对步骤2)中的稀疏系数向量融合结果执行反稀疏编码过程，获得融合图像或图像块；
32)通过合并所有融合后的图像块获得融合图像。
所述的单源或多源图像由同一种传感器通过调节成像参数或不同类型的传感器在无干扰的理想环境或者是存在各种干扰的复杂环境下获取的图像或图像的局部区域。
所述字典通过使用解析模型进行构造获得或者使用机器学习技术由图像数据库训练获得。
所述的融合图像指综合了两幅或两幅以上源图像部分或全部信息的单一图像，其信息量更多或者质量更高或者更便于人或机器的感知。
能够将单源或多源图像融合为综合了各个源图像信息的单一高质量图像，通过将字典信息引入稀疏系数向量融合过程实现了更高的融合图像质量。
本发明相比于现有技术具有如下有益效果：
现有的基于稀疏表示的图像融合方法通常只考虑对稀疏系数向量所包含的信息做进一步发掘和利用，而本发明引入字典信息基于稀疏表示的图像融合方法将来自字典的信息引入稀疏系数向量的融合过程，能够更好地融合稀疏系数向量，有效提升融合图像质量。同时，该方法并不会造成运算量的明显增加，并且具有较强的抗干扰能力及鲁棒性。
附图说明
图1为本发明引入字典信息基于稀疏表示的图像融合方法某一实施方案举例流程图；
图2为某一学习获得的字典的可视化图像。
具体实施方式
本发明的基本思想是：将字典信息引入稀疏系数向量的融合过程，从而提升融合图像质量。
一种引入字典信息基于稀疏表示的图像融合方法，实现对单源或多源图像的高质量融合，包括下列步骤：
1)使用字典将多幅源图像分别转换为稀疏系数向量；
2)结合字典信息融合稀疏系数向量；
3)由融合后的稀疏系数向量恢复融合图像。
所述结合字典信息指根据被称为原子的字典矩阵的列所包含的信息量大小构造权向量，然后使用该权向量对稀疏系数向量进行加权。
所述的信息量通过计算字典中原子的向量范数或者香农熵获得。
所述步骤1)的具体方法为：
11)建立由大量图像或图像块组成的训练数据库；
12)基于机器学习技术通过训练数据库获得字典；
13)使用字典对源图像或源图像分块进行稀疏编码，获得稀疏域的稀疏系数向量。
所述稀疏系数向量属于稀疏表示理论中的概念，通过使用字典对图像进行稀疏编码获得。
所述的融合稀疏系数向量为将转换自源图像的多个稀疏系数向量融合为单一的稀疏系数向量。
所述步骤2)的具体方法为：
结合步骤1)中字典包含的信息，将步骤1)中转换自源图像或图像块的两个或两个以上的稀疏系数向量融合为一个稀疏系数向量。
所述的恢复融合图像为利用所述字典对融合后的稀疏系数向量执行反稀疏编码，即稀疏编码的逆过程，得到融合图像。
所述步骤3)的方法为：
31)使用步骤1)中的字典对步骤2)中的稀疏系数向量融合结果执行反稀疏编码过程，获得融合图像或图像块；
32)通过合并所有融合后的图像块获得融合图像。
所述的单源或多源图像由同一种传感器通过调节成像参数或不同类型的传感器在无干扰的理想环境或者是存在各种干扰的复杂环境下获取的图像或图像的局部区域。
所述字典通过使用解析模型进行构造获得或者使用机器学习技术由图像数据库训练获得。
所述的融合图像指综合了两幅或两幅以上源图像部分或全部信息的单一图像，其信息量更多或者质量更高或者更便于人或机器的感知。
能够将单源或多源图像融合为综合了各个源图像信息的单一高质量图像，通过将字典信息引入稀疏系数向量融合过程实现了更高的融合图像质量。
为使本发明的目的、技术方案和优点更加清楚明白，以下对本方法的每一个步骤，选择本方法所涉及范围内的某一种具体的实施方案形成了一个完整的实施方案举例，并参照附图对本发明作进一步详细说明。
图1为本发明引入字典信息基于稀疏表示的图像融合方法所涉及范围内的某一种具体的实施方案举例流程图。如图1所示，本发明引入字典信息基于稀疏表示的图像融合方法总体分为以下步骤：
步骤1：使用字典将源图像转换为稀疏系数向量。
首先，通过对多种不同场景下的高品质自然图像集随机采样获得训练图像块数据库，并使用K-SVD算法由训练数据库学习获得字典D(字典的某一可视化图像见图2)。然后，将图像融合系统输入的源图像使用滑动窗分解为图像块，将图像块分别变形为列向量并做中心化使其均值为零。最后，使用正交匹配追踪(OMP)算法利用字典D对源图像块分别进行稀疏编码，获得对应于源图像块的稀疏系数向量。该过程如图1中的步骤1所示。
步骤2：结合字典信息融合稀疏系数向量。
首先，对步骤1中的字典D进行规范化使其每一个原子的L2范数为1，以消除原子能量的干扰。然后，计算每一个原子的L1范数，作为其对于融合图像信息量大小的贡献程度度量，并将整个字典所有原子的总信息量规范化为1得到权向量V。最后，将步骤1中转换自源图像块的稀疏系数向量的绝对值分别与权向量V计算内积得到加权稀疏系数。选择加权稀疏系数最大值对应的稀疏系数向量作为融合后的稀疏系数向量w，并将其均值作为融合后的均值m。该过程如图1中的步骤2所示。
步骤3：由融合后的稀疏系数向量恢复融合图像。
使用步骤1中的字典D对步骤2中获得的融合后的稀疏系数向量w和图像块均值m执行反稀疏编码，获得融合后的图像块。该过程的基本形式如下：
I＝Dw+m
其中，I为融合后的图像块向量。最后，将所有的图像块向量重新变形为图像块并填充到融合图像中，对重叠位置的像素值进行平均获得最终的融合图像。该过程如图1中的步骤3所示。
本发明说明书中未作详细描述的内容属本领域技术人员的公知技术。
Claims (5)
1.一种引入字典信息基于稀疏表示的图像融合方法，实现对单源或多源图像的高质量融合，其特征在于包括下列步骤：
1)使用字典将多幅源图像分别转换为稀疏系数向量；
2)结合字典信息融合稀疏系数向量；
3)由融合后的稀疏系数向量恢复融合图像；
所述结合字典信息是指根据被称为原子的字典矩阵的列所包含的信息量大小构造权向量，然后使用该权向量对稀疏系数向量进行加权；
所述的信息量通过计算字典中原子的向量范数或者香农熵获得；
所述步骤1)的具体方法为：
11)建立由大量图像或图像块组成的训练数据库；
12)基于机器学习技术通过训练数据库获得字典；
13)使用字典对源图像或源图像分块进行稀疏编码，获得稀疏域的稀疏系数向量；
所述步骤2)的具体方法为：
结合步骤1)中字典包含的信息，将步骤1)中转换自源图像或图像块的两个或两个以上的稀疏系数向量融合为一个稀疏系数向量；
所述步骤3)的方法为：
31)使用步骤1)中的字典对步骤2)中的稀疏系数向量融合结果执行反稀疏编码过程，获得融合图像或图像块；
32)通过合并所有融合后的图像块获得融合图像。
2.根据权利要求1所述的图像融合方法，其特征在于：所述稀疏系数向量属于稀疏表示理论中的概念，通过使用字典对图像进行稀疏编码获得。
3.根据权利要求1所述的图像融合方法，其特征在于：所述的融合稀疏系数向量为将转换自源图像的多个稀疏系数向量融合为单一的稀疏系数向量。
4.根据权利要求1所述的图像融合方法，其特征在于：所述的恢复融合图像为利用所述字典对融合后的稀疏系数向量执行反稀疏编码，即稀疏编码的逆过程，得到融合图像。
5.根据权利要求1-4任一所述的图像融合方法，其特征在于：所述的单源或多源图像由同一种传感器通过调节成像参数或不同类型的传感器在无干扰的理想环境或者是存在各种干扰的复杂环境下获取的图像或图像的局部区域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910868156.4A CN110689510B (zh) | 2019-09-12 | 2019-09-12 | 一种引入字典信息基于稀疏表示的图像融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910868156.4A CN110689510B (zh) | 2019-09-12 | 2019-09-12 | 一种引入字典信息基于稀疏表示的图像融合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110689510A CN110689510A (zh) | 2020-01-14 |
| CN110689510B true CN110689510B (zh) | 2022-04-08 |
Family
ID=69109103
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910868156.4A Active CN110689510B (zh) | 2019-09-12 | 2019-09-12 | 一种引入字典信息基于稀疏表示的图像融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110689510B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113066036B (zh) * | 2021-03-18 | 2022-06-03 | 中北大学 | 一种基于模糊熵和稀疏表示的x射线图像融合方法及装置 |
| CN113554131B (zh) * | 2021-09-22 | 2021-12-03 | 四川大学华西医院 | 医学图像处理和分析方法、计算机设备、系统和存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104835130A (zh) * | 2015-04-17 | 2015-08-12 | 北京联合大学 | 一种多曝光图像融合方法 |
| CN106886986A (zh) * | 2016-08-31 | 2017-06-23 | 电子科技大学 | 基于自适应组结构稀疏字典学习的图像融合方法 |
| CN106981058A (zh) * | 2017-03-29 | 2017-07-25 | 武汉大学 | 一种基于稀疏字典的光学与红外图像融合方法及系统 |
| CN108198147A (zh) * | 2018-01-02 | 2018-06-22 | 昆明理工大学 | 一种基于判别字典学习的多源图像融合去噪的方法 |
| CN108805850A (zh) * | 2018-06-05 | 2018-11-13 | 天津师范大学 | 一种基于原子融合吸收度的框架性图像融合方法 |
-
2019
- 2019-09-12 CN CN201910868156.4A patent/CN110689510B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104835130A (zh) * | 2015-04-17 | 2015-08-12 | 北京联合大学 | 一种多曝光图像融合方法 |
| CN106886986A (zh) * | 2016-08-31 | 2017-06-23 | 电子科技大学 | 基于自适应组结构稀疏字典学习的图像融合方法 |
| CN106981058A (zh) * | 2017-03-29 | 2017-07-25 | 武汉大学 | 一种基于稀疏字典的光学与红外图像融合方法及系统 |
| CN108198147A (zh) * | 2018-01-02 | 2018-06-22 | 昆明理工大学 | 一种基于判别字典学习的多源图像融合去噪的方法 |
| CN108805850A (zh) * | 2018-06-05 | 2018-11-13 | 天津师范大学 | 一种基于原子融合吸收度的框架性图像融合方法 |
Non-Patent Citations (1)
| Title |
|---|
| Fusion of infrared and visible images based on nonsubsampled contourlet transform and sparse K-SVD dictionary learning;Jiajun Cai 等;《Infrared Physics & Technology》;20171231;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110689510A (zh) | 2020-01-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110738697B (zh) | 基于深度学习的单目深度估计方法 | |
| CN111709902B (zh) | 基于自注意力机制的红外和可见光图像融合方法 | |
| CN111145131B (zh) | 一种基于多尺度生成式对抗网络的红外和可见光图像融合方法 | |
| CN110322423B (zh) | 一种基于图像融合的多模态图像目标检测方法 | |
| Xie et al. | Weakly supervised low-rank representation for hyperspectral anomaly detection | |
| CN109636742B (zh) | 基于对抗生成网络的sar图像和可见光图像的模式转换方法 | |
| Xiong et al. | MAC-Net: Model-aided nonlocal neural network for hyperspectral image denoising | |
| CN115496928B (zh) | 基于多重特征匹配的多模态图像特征匹配方法 | |
| CN110956581A (zh) | 一种基于双通道生成-融合网络的图像模态变换方法 | |
| CN110689510B (zh) | 一种引入字典信息基于稀疏表示的图像融合方法 | |
| CN110060225B (zh) | 一种基于快速有限剪切波变换与稀疏表示的医学图像融合法 | |
| CN115035003A (zh) | 交互补偿注意力的红外与可见光图像对抗融合方法 | |
| CN115330653A (zh) | 基于边窗滤波的多源图像融合方法 | |
| CN111161160A (zh) | 一种雾天障碍物检测方法、装置、电子设备和存储介质 | |
| CN115311186A (zh) | 一种红外与可见光图像跨尺度注意力对抗融合方法及终端 | |
| CN116612468A (zh) | 基于多模态融合与深度注意力机制的三维目标检测方法 | |
| Long et al. | Dual self-attention Swin transformer for hyperspectral image super-resolution | |
| Lan et al. | An optimized GAN method based on the Que-Attn and contrastive learning for underwater image enhancement | |
| Huang et al. | RDCa-Net: Residual dense channel attention symmetric network for infrared and visible image fusion | |
| CN113724308A (zh) | 基于光度与对比度互注意力的跨波段立体匹配算法 | |
| CN117496158A (zh) | 半监督场景融合改进mbi的对比学习与语义分割方法 | |
| Luo et al. | Infrared and visible image fusion based on VPDE model and VGG network | |
| CN113781375B (zh) | 一种基于多曝光融合的车载视觉增强方法 | |
| Wu et al. | Algorithm Development of Cloud Removal from Solar Images Based on Pix2Pix Network. | |
| CN116563103A (zh) | 一种基于自适应神经网络的遥感图像时空融合方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |