CN111652243A - 基于显著性融合的红外与可见光图像融合方法 - Google Patents
基于显著性融合的红外与可见光图像融合方法 Download PDFInfo
- Publication number
- CN111652243A CN111652243A CN202010337699.6A CN202010337699A CN111652243A CN 111652243 A CN111652243 A CN 111652243A CN 202010337699 A CN202010337699 A CN 202010337699A CN 111652243 A CN111652243 A CN 111652243A
- Authority
- CN
- China
- Prior art keywords
- image
- infrared
- infrared image
- target
- visible light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 33
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 12
- 238000000605 extraction Methods 0.000 claims abstract description 18
- 238000003709 image segmentation Methods 0.000 claims abstract description 10
- 239000011159 matrix material Substances 0.000 claims description 51
- 238000000034 method Methods 0.000 claims description 19
- 238000000354 decomposition reaction Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 9
- 238000000513 principal component analysis Methods 0.000 claims description 7
- 150000001875 compounds Chemical class 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 abstract description 4
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 230000007547 defect Effects 0.000 abstract description 3
- 238000001514 detection method Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于显著性融合的红外与可见光图像融合方法，采用了包括基于四叉树的红外图像分割和贝塞尔背景重构的显著目标提取、基于结构低秩编码的稀疏显著目标提取、基于拉普拉斯的显著目标多尺度细节提取三种提取方法，以及红外显著目标确定，将红外与可见光图像进行融合，既获得了目标的视觉显著性特征，同时保留了场景的细节信息。本发明提供的图像融合方法可以弥补红外图像的不足，能够发挥可见光与红外的优势，使得融合图像同时具有红外与可见光的优点，有利于提高系统的探测侦察能力。
Description
技术领域
本发明涉及飞行器视觉导航与成像制导仿真技术领域，更具体地说，它涉及一种基于显著性融合的红外与可见光图像融合方法。
背景技术
信息融合技术的发展使得多种传感器协同工作成为可能。信息融合技术是指将获取的同一场景同一时刻的信息进行多级别、多方面、多层次的处理和融合，从而获取更可靠、更丰富、更精确、更有意义的信息。
而目前最常见的就是红外传感器与可见光传感器的融合，由于可见光传感器所捕获的图像是物体的反射图像，所形成的图像符合人眼观察，图像含有丰富的细节信息，但易受天气影响，在烟雾和低照度情况下会丢失许多场景信息，不能全天候工作，尤其是对于目标与背景色度差异较小的情况下，容易丢失目标。而红外图像由于是物体自身的辐射所产生的图像，可以“主动”地获取场景中的目标信息，并且能够很好地显示隐藏的热目标，受照明条件与恶劣天气的影响较小，但是同时由于成像原理的限制，红外图像对比度较低，空间相关性强，目标细节的反映能力也比较差，成像效果不符合人眼视觉习惯而如果将红外图像与可见光图像融合，则可以弥补红外图像的不足，能够发挥可见光与红外的优势，使得融合图像同时具有红外与可见光的优点，有利于提高系统的探测侦察能力。
因此，红外与可见光的融合技术在成像制导领域有着广泛的应用。通常来说，红外与可见光图像融合后的图像能够显著显示红外目标，并且最大限度保留可见光图像背景的纹理信息，并且算法实时性要好。
发明内容
本发明设计的融合方法一方面使融合图像继承了红外图像中感兴趣目标的视觉显著性特征，为制导武器开展自寻的制导、搜索跟踪等创造有利条件；同时融合图像包含可见光图像中丰富的场景细节纹理信息，为制导武器开展图像匹配制导创造有利条件。另一方面，本发明考虑到弹载计算机的计算能力有限，为满足实时性要求，设计的图像融合算法简洁高效，计算耗时少，满足实时性要求。
本发明的上述技术目的是通过以下技术方案得以实现的：
基于显著性融合的红外与可见光图像融合方法，包括以下步骤：S1：基于四叉树的红外图像分割和贝塞尔背景重构的显著目标提取：
S1-1：将原始红外图像以四叉树结构分割成若干子图；
S1-2：在得到的每个子图上选择背景点，通过贝塞尔差值算法重建每个子图的背景图像；
S1-3：得到重建背景图像的整体红外图像；
S1-4：将得到的整体红外图像与原始红外图像做差值，提取红外图像目标特征；
S1-5：将得到的红外图像目标特征进行细化；
S2：基于结构低秩编码的稀疏显著目标提取：
S2-1：将原始红外图像进行子块的分解并向量化；
S2-2：将向量化子块进行矩阵分解得到低秩矩阵和稀疏矩阵；
S2-3：对稀疏矩阵进行重构；
S2-4：提取红外图像目标特征；
S3：基于拉普拉斯的显著目标多尺度细节提取：
S3-1：将原始红外图像与可见光图像进行拉普拉斯金字塔分层处理；
S3-2：对各层进行检测融合，提取边缘和红外图像目标特征信息；
S3-3：将得到的红外图像目标特征进行重构得到显著性红外图像特征目标；
S3-4：提取显著性红外图像特征目标；
S4：将S1得到的红外图像目标特征、S2得到的红外图像目标特征和S3得到的显著性红外图像特征目标进行加权融合，得到最终红外图像显著目标特征；
S5：将S4得到的最终红外图像显著目标特征与可见光图像的像素点融合，得到融合图像。
在上述技术方案中，红外背景通常比有用的明亮特征更平滑、更暗。因此，可以先重建红外图像的背景，再从红外图像中提取红外目标特征，然后将提取红外特征后的红外图像与可见光图像进行像素级融合。
将红外图像以四叉树结构分割成大小合适的子图，在此基础上粗略估计红外目标的轮廓，并为后续开展背景重构创造条件；然后得到的每个子图上，选择合适的背景点，然后通过贝塞尔差值的手段重建每个子图的背景图像，进而得到整个红外图像的背景；其次将红外图像与重构的背景图像做差值，提取红外目标图像；红外显著性目标特征细化；最后引入可见光图像信息，对获取的红外目标图像进行降噪与背景抑制，并设置融合可见光图像的权值。
对向量化子块进行矩阵分解为低秩矩阵和稀疏矩阵，显著目标具有稀疏性，背景具有低秩性，对稀疏矩阵进行重构便可以提取显著目标。
通过自适应加权系数，对三种红外显著性目标信息进行综合处理，防止过曝。
将严格配准后的红外图像与可见光的像素点直接加，得到融合图像。
上述技术方案具有以下特性：
1、将红外图像的亮度对比显著性、稀疏结构显著性和多尺度细节显著性进行融合，用于对红外图像的显著特征提取，有效提取了目标的红外特征信息；
2、首次将结构低秩编码引入到红外与可见光融合算法中，显著目标具有低秩特性，通过矩阵分解和重构，有效提取红外图像中的显著特征；
3、大量的实验对比。与现有算法的定性和定量比对，验证了本项目所提算法的有效性。
作为一种优选方案，S1过程中，四叉树结构中阈值tquad为18—22，图像分割尺寸为红外图像灰度值前3％—7％的平均值。
作为一种优选方案，S2过程中，首先将图像分解为图像子块，使用k×k的滑动窗，步长为k/2对图像进行扫描，得到N个子块，将每个子块列向量化，形成矩阵
在此基础上，鲁棒主成分分析可以演变为低秩表达模型，表达式如下：
式中，
为字典，矩阵
为误差矩阵，矩阵Z∈RL×N为D在字典A下的表示系数。
作为一种优选方案，S3过程中，在进行拉普拉斯金字塔分层处理过程中需要进行顶层处理：设LAl和LBl分别为源图像IMGIR，IMGVIS经过拉普拉斯金字塔分解后得到的第l层图像，融合后的结果为LFl；当l＝N，LAN和LBN分别为源图像IMGIR，IMGVIS经过拉普拉斯金字塔分解后得到的顶层图像。
综上所述，本发明具有以下有益效果：
针对多传感器融合技术问题，设计了一种基于显著性融合的红外与可见光图像融合方法。在分析大量的红外图像特点的基础上，先重建红外图像的背景，再从红外图像中提取红外目标特征，然后将提取红外特征后的红外图像与可见光图像进行像素级融合。相比传统的单一传感器成像技术，本方法可以弥补红外图像的不足，能够发挥可见光与红外的优势，使得融合图像同时具有红外与可见光的优点，有利于提高系统的探测侦察能力。
附图说明
图1是本发明实施例的总体流程示意图；
图2是本发明实施例的算例采用的红外和可见光图片示意图；
图3是本发明实施例的不同最小图像尺寸(sz)下的四叉树分割图像示意图；
图4是本发明实施例的不同最小图像尺寸(sz)下重构的背景图像示意图；
图5是本发明实施例的不同处理阶段的红外图像示意图；
图6是本发明实施例的不同最小图像尺寸(sz)下的四叉树分割图像示意图；
图7是本发明实施例的鲁棒主成分分析示意图；
图8是本发明实施例的矩阵分解及稀疏矩阵进行重构流程示意图；
图9是本发明实施例的融合图像流程示意图；
图10是本发明实施例的红外显著目标确定示意图；
图11是本发明实施例的图像融合结果示意图。
具体实施方式
以下结合附图对本发明作进一步详细说明。
基于显著性融合的红外与可见光图像融合方法，包括以下步骤：S1：基于四叉树的红外图像分割和贝塞尔背景重构的显著目标提取：
S1-1：将原始红外图像以四叉树结构分割成若干子图；
S1-2：在得到的每个子图上选择背景点，通过贝塞尔差值算法重建每个子图的背景图像；
S1-3：得到重建背景图像的整体红外图像；
S1-4：将得到的整体红外图像与原始红外图像做差值，提取红外图像目标特征；
S1-5：将得到的红外图像目标特征进行细化；
S2：基于结构低秩编码的稀疏显著目标提取：
S2-1：将原始红外图像进行子块的分解并向量化；
S2-2：将向量化子块进行矩阵分解得到低秩矩阵和稀疏矩阵；
S2-3：对稀疏矩阵进行重构；
S2-4：提取红外图像目标特征；
S3：基于拉普拉斯的显著目标多尺度细节提取：
S3-1：将原始红外图像与可见光图像进行拉普拉斯金字塔分层处理；
S3-2：对各层进行检测融合，提取边缘和红外图像目标特征信息；
S3-3：将得到的红外图像目标特征进行重构得到显著性红外图像特征目标；
S3-4：提取显著性红外图像特征目标；
S4：将S1得到的红外图像目标特征、S2得到的红外图像目标特征和S3得到的显著性红外图像特征目标进行加权融合，得到最终红外图像显著目标特征；
S5：将S4得到的最终红外图像显著目标特征与可见光图像的像素点融合，得到融合图像。
作为一种优选实施例，S1过程中，四叉树结构中阈值tquad为18—22，图像分割尺寸为红外图像灰度值前3％—7％的平均值。
作为一种优选实施例，S2过程中，首先将图像分解为图像子块，使用k×k的滑动窗，步长为k/2对图像进行扫描，得到N个子块，将每个子块列向量化，形成矩阵
在此基础上，鲁棒主成分分析可以演变为低秩表达模型，表达式如下：
式中，
为字典，矩阵
为误差矩阵，矩阵Z∈RL×N为D在字典A下的表示系数。
作为一种优选实施例，S3过程中，在进行拉普拉斯金字塔分层处理过程中需要进行顶层处理：设LAl和LBl分别为源图像IMGIR，IMGVIS经过拉普拉斯金字塔分解后得到的第l层图像，融合后的结果为LFl；当l＝N，LAN和LBN分别为源图像IMGIR，IMGVIS经过拉普拉斯金字塔分解后得到的顶层图像
S1基于四叉树的红外图像分割和贝塞尔背景重构的显著目标提取：
基于四叉树的红外图像分割。
四叉树即“四叉树数据结构”，是一种对栅格数据的压缩编码方法。其基本思想是将一幅栅格数据层或图像等分为4部分，逐块检查其格网属性值(或灰度)；如果某个子区的所有格网值都具有相同的值，则这个子区就不再继续分割，否则还要把这个子区分割为四个子区；这样依次分割，直到每个子块都只含有相同的属性值或灰度为止。首先将红外图像初始化为四叉树结构的子图，如果当前子图不是最大子图，则进一步分割成子图或子图达到最小尺寸。
在基于四叉树的图像分割中，阈值tquad和大小sz是两个重要参数。用于确定四叉树中的子图是否需要进一步分割，通常选择一个小的阈值来抑制噪点影响。我们设置tquad＝20以消除可能的噪点。而允许的最小尺寸应足够大以覆盖整个或大部分红外物体，因此我们将此参数设置为红外物体的最大尺寸。可以通过使用大阈值分割红外图像来估计红外物体的最大尺寸，例如，取红外图像灰度值前5％的平均值。图2是算例采用的红外和可见光图片，通过这两个步骤，可以很好地生成红外图像的四叉树结构。
基于贝塞尔差值的背景重构。
贝塞尔插值是通过插值已知的控制点来恢复大规模矩阵的一种方法，图3是不同最小图像尺寸(sz)下的四叉树分割图像，图4是不同最小图像尺寸(sz)下重构的背景图像。
显著目标的提取和增强。图5是不同处理阶段的红外图像，将红外图像与重构的背景图像做差值，提取红外显著目标图像，引入可见光图像信息，对获取的红外目标图像进行降噪与背景抑制，对红外显著性目标特征细化，图6是不同最小图像尺寸(sz)下的四叉树分割图像。
S2：基于结构低秩编码的稀疏显著目标提取。
在红外图像中，背景变换相对缓慢，可以红外图像分为大小相等的子块并对子块进行向量化，背景子块之间相似性较高，相应的系数矩阵具有低秩特性，而目标子块则具有稀疏性。
假设红外图像即观测矩阵为I∈Rm×n，由背景即低秩矩阵I0∈Rm×n和目标即稀疏矩阵E∈Rm×n组成。这一分析理论称为鲁棒主成分分析(Robust Principal Analysis,RPCA)，表达式描述如下：
式中，λ为平衡参数，平衡低秩特性与稀疏特性，||·||λ表示特定范数，可以根据具体要求选择不同的范数。如图7所示为鲁棒主成分分析示意图。
对于实际的红外图像，背景比较复杂，本身的低秩特性并不明显。但是图像子块之间可以相互线性表示，即表示的系数矩阵具有稀疏性。所以首先将图像分解为图像子块，使用k×k的滑动窗，步长为k/2对图像进行扫描，得到N个子块，将每个子块列向量化，形成矩阵
在此基础上，鲁棒主成分分析可以演变为低秩表达(Low RankRepresentation,LRR)模型，表达式如下：
式中，
为字典，矩阵
为误差矩阵，矩阵Z∈RL×N为D在字典A下的表示系数。若字典A为单位矩阵，则LRR模型退化为RPCA问题。上式是一个非凸优化问题，为利用现有的凸优化算法，将约束条件放宽，利用核范数代替低秩描述，表达式如下：
式中，||·||*表示核范数，其值为矩阵所有特征值之和。低秩编码能够捕捉数据的主要结构。在图像融合的红外显著目标结构提取时，目标区域与背景主要结构差异较大，所以一般不能被字典稀疏表示。含有目标的图像子块在字典中进行线性表示时，误差较大，即E的列具有稀疏性，表达式如下：
式中，||·||1,2范数称为列稀疏范数，其数值等于矩阵列向量||·||2范数之和。对于红外图像，希望字典A中有很少的原子参与线性表示，而参与线性表示的原子尽量参与多个图像子块的表达，这样有利于背景模型的建立。这些特性反映到系数矩阵Z上，表现为Z有很少的非零行，且在非零行中，非零元素的个数尽量多，这正是行稀疏矩阵的特性。经过以上分析，使用行稀疏范数代替核范数，对系数矩阵的约束具有相同的作用，而且可以加快求解速度，所以可改写为：
式中，||·||2,1为行稀疏范数，其数值等于矩阵行向量||·||2范数之和。
通过将向量化矩阵进行矩阵分解，将其中的稀疏矩阵进行重构，便可以得到红外图像的结构显著性区域。流程图如图8所示。
S3：基于拉普拉斯的显著目标多尺度细节提取。
基于拉普拉斯的显著目标多尺度细节提取。图像拉普拉斯金字塔分解的目的是将源图像分别分解到不同的空间频带上，融合过程是在各空间频率层上分别进行的，这样就可以将来自不同图像的特征与细节融合在一起。
顶层处理。设LAl和LBl分别为源图像IMGIR，IMGVIS经过拉普拉斯金字塔分解后得到的第l层图像，融合后的结果为LFl。当l＝N，LAN和LBN分别为源图像IMGIR，IMGVIS经过拉普拉斯金字塔分解后得到的顶层图像。对于顶层图像的融合，首先计算以其各个像素为中心的区域大小为M×N(M、N取奇数且M≥3、N≥3)的区域平均梯度：
其中，ΔIx与ΔIy分别为在x与y方向上的一阶差分。
因此对于顶层图像中的每一个像素LAN(i,j)和LBN(i,j)都可以得到与之相对应的区域平均梯度GA(i,j)和GB(i,j)。由于平均梯度反映了图像中的微小细节反差和纹理变化特征，同时也反映出图像的清晰度。一般来说平均梯度越大，图像层次也丰富，则图像越清晰。因此顶层图像的融合结果为：
各层次处理。当0＜l＜N时，则对于经过拉普拉斯金字塔分解的第l层图像，首先计算其区域能量：
则其他层次图像的融合结果为：
在得到金字塔各个层次的融合图像LF1,LF2,LFN，通过前面的重构，便可得到最终的融合图像。流程图如9所示。
红外显著目标确定。通过自适应加权系数，对三种红外显著性目标信息进行综合处理，防止过曝。如图10所示。
红外与可见光图像融合。将严格配准后的红外图像与可见光的像素点直接加，得到融合图像。
仿真条件
为了验证本发明的有效性，对多组空地目标进行了仿真测试，得到了相应的图像融合结果。实验环境为Intel(R)Core(TM)CPU 2.2GHz/16GB内存/MATLAB 2017。
仿真实验
将本发明的融合图像与红外图像、可见光图像相比，可以发现融合算法得到的目标图像视觉特征更为显著，同时保留了图像中丰富的场景细节信息，算法有效性明显。例如融合图像Fusion7包含目标信息和场景的细节，而红外图像IR7对场景细节描述不够，可见光图像VIS7缺少目标信息。如图11所示为红外图像、可见光图像以及融合图像结果。
本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。
Claims (4)
1.基于显著性融合的红外与可见光图像融合方法，其特征在于，包括以下步骤：
S1：基于四叉树的红外图像分割和贝塞尔背景重构的显著目标提取：
S1-1：将原始红外图像以四叉树结构分割成若干子图；
S1-2：在得到的每个子图上选择背景点，通过贝塞尔差值算法重建每个子图的背景图像；
S1-3：得到重建背景图像的整体红外图像；
S1-4：将得到的整体红外图像与原始红外图像做差值，提取红外图像目标特征；
S1-5：将得到的红外图像目标特征进行细化；
S2：基于结构低秩编码的稀疏显著目标提取：
S2-1：将原始红外图像进行子块的分解并向量化；
S2-2：将向量化子块进行矩阵分解得到低秩矩阵和稀疏矩阵；
S2-3：对稀疏矩阵进行重构；
S2-4：提取红外图像目标特征；
S3：基于拉普拉斯的显著目标多尺度细节提取：
S3-1：将原始红外图像与可见光图像进行拉普拉斯金字塔分层处理；
S3-2：对各层进行检测融合，提取边缘和红外图像目标特征信息；
S3-3：将得到的红外图像目标特征进行重构得到显著性红外图像特征目标；
S3-4：提取显著性红外图像特征目标；
S4：将S1得到的红外图像目标特征、S2得到的红外图像目标特征和S3得到的显著性红外图像特征目标进行加权融合，得到最终红外图像显著目标特征；
S5：将S4得到的最终红外图像显著目标特征与可见光图像的像素点融合，得到融合图像。
2.根据权利要求1所述的基于显著性融合的红外与可见光图像融合方法，其特征在于，所述S1过程中，四叉树结构中阈值tquad为18—22，图像分割尺寸为红外图像灰度值前3％—7％的平均值。
3.根据权利要求1所述的基于显著性融合的红外与可见光图像融合方法，其特征在于，所述S2过程中，首先将图像分解为图像子块，使用k×k的滑动窗，步长为k/2对图像进行扫描，得到N个子块，将每个子块列向量化，形成矩阵
在此基础上，鲁棒主成分分析可以演变为低秩表达模型，表达式如下：
式中，
为字典，矩阵
为误差矩阵，矩阵Z∈RL×N为D在字典A下的表示系数。
4.根据权利要求1所述的基于显著性融合的红外与可见光图像融合方法，其特征在于，所述S3过程中，在进行拉普拉斯金字塔分层处理过程中需要进行顶层处理：设LAl和LBl分别为源图像IMGIR，IMGVIS经过拉普拉斯金字塔分解后得到的第l层图像，融合后的结果为LFl；当l＝N，LAN和LBN分别为源图像IMGIR，IMGVIS经过拉普拉斯金字塔分解后得到的顶层图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010337699.6A CN111652243B (zh) | 2020-04-26 | 2020-04-26 | 基于显著性融合的红外与可见光图像融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010337699.6A CN111652243B (zh) | 2020-04-26 | 2020-04-26 | 基于显著性融合的红外与可见光图像融合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111652243A true CN111652243A (zh) | 2020-09-11 |
| CN111652243B CN111652243B (zh) | 2022-09-30 |
Family
ID=72346641
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010337699.6A Active CN111652243B (zh) | 2020-04-26 | 2020-04-26 | 基于显著性融合的红外与可见光图像融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111652243B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113159229A (zh) * | 2021-05-19 | 2021-07-23 | 深圳大学 | 图像融合方法、电子设备及相关产品 |
| CN114004775A (zh) * | 2021-11-30 | 2022-02-01 | 四川大学 | 结合潜在低秩表示和卷积神经网络的红外和可见光图像融合方法 |
| CN117218048A (zh) * | 2023-11-07 | 2023-12-12 | 天津市测绘院有限公司 | 基于三层稀疏光滑模型的红外与可见光图像融合方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109801250A (zh) * | 2019-01-10 | 2019-05-24 | 云南大学 | 基于adc-scm与低秩矩阵表达的红外与可见光图像融合方法 |
| CN110148104A (zh) * | 2019-05-14 | 2019-08-20 | 西安电子科技大学 | 基于显著性分析与低秩表示的红外与可见光图像融合方法 |
| CN110223265A (zh) * | 2019-05-05 | 2019-09-10 | 中国地质大学（武汉） | 基于多尺度变换分解的目标显著的图像融合方法及系统 |
-
2020
- 2020-04-26 CN CN202010337699.6A patent/CN111652243B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109801250A (zh) * | 2019-01-10 | 2019-05-24 | 云南大学 | 基于adc-scm与低秩矩阵表达的红外与可见光图像融合方法 |
| CN110223265A (zh) * | 2019-05-05 | 2019-09-10 | 中国地质大学（武汉） | 基于多尺度变换分解的目标显著的图像融合方法及系统 |
| CN110148104A (zh) * | 2019-05-14 | 2019-08-20 | 西安电子科技大学 | 基于显著性分析与低秩表示的红外与可见光图像融合方法 |
Non-Patent Citations (2)
| Title |
|---|
| 段兴旺等: "基于RPCA模型的红外与可见光图像融合", 《中国科技论文》 * |
| 王凡等: "利用结构化和一致性约束的稀疏表示模型进行红外和可见光图像融合", 《信号处理》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113159229A (zh) * | 2021-05-19 | 2021-07-23 | 深圳大学 | 图像融合方法、电子设备及相关产品 |
| CN113159229B (zh) * | 2021-05-19 | 2023-11-07 | 深圳大学 | 图像融合方法、电子设备及相关产品 |
| CN114004775A (zh) * | 2021-11-30 | 2022-02-01 | 四川大学 | 结合潜在低秩表示和卷积神经网络的红外和可见光图像融合方法 |
| CN114004775B (zh) * | 2021-11-30 | 2023-07-04 | 四川大学 | 结合潜在低秩表示和卷积神经网络的红外和可见光图像融合方法 |
| CN117218048A (zh) * | 2023-11-07 | 2023-12-12 | 天津市测绘院有限公司 | 基于三层稀疏光滑模型的红外与可见光图像融合方法 |
| CN117218048B (zh) * | 2023-11-07 | 2024-03-08 | 天津市测绘院有限公司 | 基于三层稀疏光滑模型的红外与可见光图像融合方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111652243B (zh) | 2022-09-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Alhashim et al. | High quality monocular depth estimation via transfer learning | |
| Xie et al. | Multilevel cloud detection in remote sensing images based on deep learning | |
| CN109242888B (zh) | 一种结合图像显著性和非下采样轮廓波变换的红外与可见光图像融合方法 | |
| CN111652243B (zh) | 基于显著性融合的红外与可见光图像融合方法 | |
| CN107657593B (zh) | 一种单幅图像去雨方法 | |
| CN109685045B (zh) | 一种运动目标视频跟踪方法及系统 | |
| CN109903272B (zh) | 目标检测方法、装置、设备、计算机设备和存储介质 | |
| CN110458192B (zh) | 基于视觉显著性的高光谱遥感图像分类方法及系统 | |
| Raza et al. | IR-MSDNet: Infrared and visible image fusion based on infrared features and multiscale dense network | |
| CN110033431A (zh) | 钢桥表面锈蚀区域检测的非接触式检测装置及检测方法 | |
| CN108470178B (zh) | 一种结合深度可信度评价因子的深度图显著性检测方法 | |
| Yan et al. | Improving the performance of image fusion based on visual saliency weight map combined with CNN | |
| CN114996814A (zh) | 一种基于深度学习与三维重建的家具设计系统 | |
| Luo et al. | Fast removal of rain streaks from a single image via a shape prior | |
| Kratzwald et al. | Improving video generation for multi-functional applications | |
| CN109241981B (zh) | 一种基于稀疏编码的特征检测方法 | |
| Gan et al. | Multilevel image dehazing algorithm using conditional generative adversarial networks | |
| Liu et al. | A shadow imaging bilinear model and three-branch residual network for shadow removal | |
| Zhang et al. | Trustworthy image fusion with deep learning for wireless applications | |
| CN112580442B (zh) | 一种基于多维金字塔层次模型的行为识别方法 | |
| CN110751189B (zh) | 一种基于感知对比度和特征选择的椭圆检测方法 | |
| CN112749713A (zh) | 一种基于人工智能的大数据图像识别系统及方法 | |
| Nair et al. | Benchmarking single image dehazing methods | |
| Várkonyi-Kóczy | New advances in digital image processing | |
| Sharma | DSP in image processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |