CN114004775A - 结合潜在低秩表示和卷积神经网络的红外和可见光图像融合方法 - Google Patents
结合潜在低秩表示和卷积神经网络的红外和可见光图像融合方法 Download PDFInfo
- Publication number
- CN114004775A CN114004775A CN202111445419.4A CN202111445419A CN114004775A CN 114004775 A CN114004775 A CN 114004775A CN 202111445419 A CN202111445419 A CN 202111445419A CN 114004775 A CN114004775 A CN 114004775A
- Authority
- CN
- China
- Prior art keywords
- image
- low
- rank
- significant
- infrared
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 18
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 14
- 230000004927 fusion Effects 0.000 claims abstract description 32
- 238000000034 method Methods 0.000 claims description 48
- 230000006870 function Effects 0.000 claims description 23
- 239000011159 matrix material Substances 0.000 claims description 23
- 238000012549 training Methods 0.000 claims description 19
- 238000013528 artificial neural network Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 8
- 238000013459 approach Methods 0.000 claims description 5
- 238000000354 decomposition reaction Methods 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 4
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000005286 illumination Methods 0.000 abstract description 2
- 230000008901 benefit Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000011426 transformation method Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明涉及计算机信息技术领域，公开了一种结合潜在低秩表示和卷积神经网络的红外和可见光图像融合方法，本发明对可见光图像和红外图像进行预处理，通过潜在低秩表示将图像分解为显著部分和低秩部分，使用两个全卷积模型分别对显著部分和低秩部分进行融合，最后将融合后的显著部分和融合后的低秩部分相加得到最终的融合图像。通过本发明融合得到的融合结果细节信息丰富，相比于原来的低照度图像，场景目标更加清晰，图像的对比度提升。
Description
技术领域
本发明涉及计算机，图像融合和智能监控领域，具体涉及一种结合潜在低秩表示和卷积神经网络的红外和可见光图像融合方法。
背景技术
图像融合在于从不同传感器获取的图像中提取出最有意义的部分，然后将它们组合成一幅图像，融合图像中包含了更多的场景描述信息，更方便后续的应用。红外和可见光图像融合具有独特的优势。红外传感器将物体的热辐射捕捉到图像上，因此红外图像不易受复杂环境的影响，可以更好地将物体与背景区分开来，但这也导致细节信息不足，对比度低。可见光传感器捕捉环境的反射光，成像容易受环境影响，但可见光图像涵盖了丰富的细节信息，符合人眼的感知。这两张图像的融合可以同时获得场景几乎所有的固有属性，包括细节信息和目标信息，因此红外和可见光图像的融合比其他融合可以应用到更多的领域。
现有的红外与可见光图像融合方法根据融合理论可大致分为七种，即基于多尺度变换、稀疏表示、神经网络、子空间、显著性的方法、混合模型以及其它方法。基于多尺度变换的方法将源图像分解成不同部分，根据相应的融合规则融合这些部分，然后使用融合后的部分重构融合图像。基于多尺度变换的方法大多采用人工制定的融合策略，而且高度依赖于多尺度变换方法，导致提出新方法越来越困难。基于稀疏表示的方法旨在从大量高质量自然图像中学习一个过完备字典对源图像进行稀疏表示，融合规则作用于稀疏系数，最后根据融合后的稀疏系数使用学到的过完备字典恢复融合图像。对于基于稀疏表示的方法而言，系数的编码技术对融合性能起着至关重要的作用，而且构造具有目标数据的良好表示的合适的过完备字典仍然很困难。基于神经网络的方法利用神经网络强大的学习能力来融合图像，但是设计一个适合的神经网络是十分具有挑战性的。基于子空间的方法通过去除图像中的冗余信息将图像投影到低维空间或者子空间，因为低维空间有助于捕捉原始图像的固有结构，存在的问题则是找到一个具有强大表示能力的子空间很困难。基于显著性的方法根据人眼视觉系统的机制保留显著目标区域并且可以提高融合图像的质量，然而怎样充分利用显著区域则一直都没有一个准确答案。混合模型则是结合上述方法的优点来提高融合图像的质量。除了以上几种方法外，还有一些使用其它理论的融合方法如基于模糊理论的方法、基于马尔科夫随机场的方法等。
为了获得更好的融合性能，基于多尺度变换的方法会趋于设计越来越复杂的融合策略，导致方法实施有困难而且设计出的规则也不能确保充分利用了分解后的图片的特征，而基于神经网络的方法则会设计更加复杂的网络结构和损失函数，会使得设计一个适用于融合的模型非常困难。
发明内容
为了克服上述问题，本发明提出了一种结合潜在低秩表示和卷积神经网络的红外和可见光图像融合方法，在避免了设计复杂的融合规则和构造复杂的网络结构的同时可以获得更好的融合效果。本发明的技术方案为：
一种结合潜在低秩表示和卷积神经网络的红外和可见光图像融合方法，包括以下步骤：
步骤1：获取红外和可见光图像融合数据集，扩充数据集作为神经网络的训练集；
步骤2：将训练集中的所有图像均通过潜在低秩表示计算，得到相应的投影矩阵；
步骤3：将训练集图像和投影矩阵做矩阵乘法，得到图像的显著部分，用源图像减去显著部分得到图像的低秩部分；
步骤4：通过所述低秩部分训练背景模型，通过所述显著部分训练显著模型，所述背景模型和显著模型结构均为由五层全卷积神经网络构成的主干网络；
步骤5：背景模型采用梯度损失函数和结构相似性损失函数，显著模型采用像素强度损失函数和结构相似性损失函数；
步骤6：待融合图像经过潜在低秩分解分为低秩部分和显著部分，低秩部分通过背景模型进行融合，显著部分通过显著模型进行融合，将融合后的背景部分和融合后的显著部分做逐像素加法即得最终的融合结果。
进一步的，所述步骤1中，红外和可见光融合数据集使用TNO；从中选取若干对红外和可见光图像作为原始图像，以14为步长将图片裁剪为120x120大小，最终获得30014对图像，以扩充数据集，其全部作为训练集，将未裁剪的图片即原始图片作为测试集。
更进一步的，所述步骤3中潜在低秩表示的过程如下：
s.t.X＝XZ+LX+E
其中，X为源图像、Z为低秩矩阵、L为投影矩阵、E为噪声、λ为平衡系数；||·||*和||·||1分别表示核范数和一范数；XZ为图像的低秩表示，LX为图像的显著成分；投影矩阵L通过不精确的增强拉格朗日乘子法求解。
更进一步的，所述步骤4中的五层的全卷积神经网络中，第一层卷积采用5x5的卷积核，第二、三、四层采用3x3的卷积核，最后一层则采用1x1的卷积进行降维；除了最后一层的激活函数使用Tanh，其它层均使用PReLU。
更进一步的，所述步骤4的具体过程如下：
步骤4.1：将红外图像和可见光图像的低秩部分在通道维度上拼接起来，可见光图像的低秩部分在第一通道，红外图像的低秩部分在第二通道；将红外图像和可见光图像的显著部分也在通道维度上拼接起来，可见光图像的显著部分在第一通道，红外图像的显著部分在第二通道；
步骤4.2：将拼接起来的红外图像和可见光图像的低秩部分送入背景模型，背景模型输出
融合后的低秩部分；将拼接起来的红外图像和可见光图像的显著部分送入显著模型，显著模型输出融合后的显著部分；
步骤4.3：背景模型和显著模型分别根据自己的损失函数计算损失并进行反向传播。
更进一步的，所述步骤5中的损失函数如下：
背景模型的损失函数为：
其中，
表示梯度损失，
表示低秩部分的结构相似性损失；H和W分别表示图像的宽高，ξ和ω是平衡系数，
表示矩阵Frobenius范数，
是梯度算子，
和
分别表示融合图像的低秩部分和可见光图像的低秩部分；
表示融合图像低秩部分和可见光图像低秩部分的结构相似性；SSIMX,F表示图像X和F的结构相似性，μx和μf为图像X和F的均值，σx和σf表示图像X和F的方差，σxf表示X和F的协方差；C1、C2、C3为避免分母趋于0时的不稳定性调节常数，本发明中C1＝6.5025、C2＝58.5225、C3＝29.26125；
显著模型的损失函数为：
其中，
表示像素强度损失，
表示显著部分的结构相似性损失；β、γ和ω为平衡系数；
和
分别表示融合图像的显著部分和可见光图像的显著部分；
表示融合图像的显著部分和可见光图像的显著部分之间的结构相似性。
更进一步的，所述步骤6的具体过程如下：
步骤6.1：将待融合的红外图像和可见光图像经过步骤2、3处理得到低秩部分和显著部分；
步骤6.2：将两个低秩部分在通道维度进行拼接，可见光图像的低秩部分在第一通道，红外图像的低秩部分在第二通道，然后将图像送入训练好的背景模型最后得到融合后的低秩部分；显著部分也进行同样的拼接处理后送入显著模型得到融合后的显著部分；
步骤6.3：将融合后的低秩部分和融合后的显著部分逐像素做加法，得到最终的融合图像。
采用上述技术方案带来的有益效果：
1)本发明提出结合潜在低秩表示和卷积神经网络的红外和可见光图像融合方法，在避免了设计复杂的融合规则和构造复杂的网络结构的同时可以获得背景清晰且目标突出的融合效果。
2)本发明采用两个卷积神经网络分别融合分解后的部分，在一定程度上充分利用了分解后各部分的信息，同时保证了整个流程的合理性和可逆性。
3)通过本发明融合得到的融合图像细节信息丰富，图像对比度高，相比于原来的低照度图像，图像背景清晰同时目标突出，在公共数据集上平均EN(交叉熵)指标达到了7.5954、平均MI(互信息)指标达到了2.8973、平均SD(标准差)指标达到了57.7775、平均VIF(视觉保真度)指标达到了0.507。
附图说明
图1为本发明的红外和可见光图像融合方法的流程图。
图2为所用卷积神经网络的详细结构。
图3为潜在低秩表示的公式和示意图。
图4为本发明方法和其它六种方法的定性对比。
图5为本发明方法和其它六种方法的定量对比。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。本发明提供了一种结合潜在低秩表示和卷积神经网络的红外和可见光图像融合方法，包括以下步骤：
步骤1)挑选红外和可见光融合数据集，扩充数据集作为神经网络的训练集。
红外和可见光融合数据集使用TNO，其链接为https://figshare.com/articles/TNO_Image_Fusion_Dataset/1008029。根据图像质量和在论文中出现的频率，从其中选取了28对红外和可见光图像作为原始图像。由于本发明的模型中有神经网络结构，故需要大量的数据进行训练，因此考虑做数据扩充。扩充数据集的方式具体为以14为步长将图片裁剪为120x120大小，最终边缘部分不足120的部分予以舍弃，最终获得30014对图像，将其全部作为训练集，将未裁剪的图片即原始图片作为测试集。因为本发明的网络是一个全卷积网络，网络的所有参数都不依赖于输入图像的尺寸，所以可以用这种方式来扩充数据集和划分测试集。
步骤2)使用五层的全卷积神经网络作为主干网络。
全卷积网络结构如图2，第一层卷积采用5x5的卷积核，为了以较大的感受野扩充维度。第二、三、四层采用3x3的卷积核，最后一层则采用1x1的卷积进行降维。除了最后一层的激活函数使用Tanh，其它层全使用PReLU，因为最后一层为输出层，并不对输出层做其它处理，因此需要保证每个像素点的值在允许范围内。除了最后一层，在每个卷积层后都加了一个批量归一化层，目的是加速网络收敛同时防止梯度消失和爆炸。
步骤3)将训练集的所有图片都通过潜在低秩表示计算，得到相应的投影矩阵。
潜在低秩表示的示意图如图3所示。图像被分解为了三个部分：显著部分、低秩部分、噪声，在红外与可见光图像融合领域，原始图像的所有信息都是应该被保留的，因此本发明只讲图像分解为了显著部分和低秩部分，通过原始图像减去显著部分得到低秩部分。投影矩阵L通过不精确的增强拉格朗日乘子法求解得到。
s.t.X＝XZ+LX+E
其中，X为源图像、Z为低秩矩阵、L为投影矩阵、E为噪声、λ为平衡系数；||·||*和||·||1分别表示核范数和一范数；XZ为图像的低秩表示，LX为图像的显著成分；投影矩阵L通过不精确的增强拉格朗日乘子法求解。
步骤4)训练集图片和投影矩阵做矩阵乘法，得到图片的低秩部分和显著部分。
对原始图像做潜在低秩表示计算，得到相应的投影矩阵。然后将投影矩阵与原始图像进行矩阵乘法，得到图片的显著部分，用源图像减去显著部分得到图片的低秩部分。所有用到的图片都进行上述处理。
源图像的低秩部分和显著部分通过下式得到；
Xs＝LX,Xlrr＝X-Xs
其中，Xs表示源图像的显著部分Xlrr表示图像的低秩部分，我们采用源图像直接减去显著部分得到低秩部分的做法是为了避免在分解过程中丢失源图像中的信息。
步骤5)低秩部分用于训练背景模型，显著部分用于训练显著模型，背景模型和显著模型结构均为步骤2所述。
步骤5-1)将红外图像和可见光图像的低秩部分在通道维度上拼接起来，可见光图像的低秩部分在第一个通道，红外图像的低秩部分在第二个通道。将红外图像和可见光图像的显著部分也在通道维度上拼接起来，可见光图像的显著部分在第一通道，红外图像的显著部分在第二通道。
步骤5-2)将拼接起来的图像送入模型，模型输出融合后的低秩部分和融合后的显著部分。
步骤5-3)两个模型根据自己的损失函数计算损失并进行反向传播。
步骤6)背景模型采用梯度损失和结构相似性损失，显著模型采用像素强度损失和结构相似性损失。
背景模型的损失函数为：
其中，
表示梯度损失，
表示低秩部分的结构相似性损失；H和W分别表示图像的宽高，ξ和ω是平衡系数，
表示矩阵Frobenius范数，
是梯度算子，
和
分别表示融合图像的低秩部分和可见光图像的低秩部分；
表示融合图像低秩部分和可见光图像低秩部分的结构相似性；SSIMX,F表示图像X和F的结构相似性，μx和μf为图像X和F的均值，σx和σf表示图像X和F的方差，σxf表示X和F的协方差；C1、C2、C3为避免分母趋于0时的不稳定性调节常数，本方法中C1＝6.5025、C2＝58.5225、C3＝29.26125。
显著模型的损失函数为：
其中，
表示像素强度损失，
表示显著部分的结构相似性损失；β、γ和ω为平衡系数；
和
分别表示融合图像的显著部分和可见光图像的显著部分；
表示融合图像的显著部分和可见光图像的显著部分之间的结构相似性。
步骤7)最终，待融合图像经过潜在低秩分解分为低秩部分和显著部分，低秩部分通过背景模型进行融合，显著部分通过显著模型进行融合，将融合后的背景部分和融合后的显著部分做逐像素加法即得最终的融合结果。
对图像融合质量进行评价分析，和其它六种先进的算法进行了定性和定量对比，分别是GTF、LatLRR、IVIFDLF、FusionGAN、IVIFTMTD、MDLatLRR。定量指标选取以下几个：(a)融合图像的信息熵(EN)，表示包含信息量的多少；(b)融合图像的标准差(SD)，表示融合图像对比度的大小；(c)融合图像与源图像的相关度(MI)；(d)视觉信息保真度(VIF)。比较结果如图4的定性对比和图5的定量对比。
整体上看，所有的方法都可以在一定程度上融合可见光和红外图片的信息，难以据此评估不同的方法的优劣。然而，若考虑融合图像中的细节信息，显然GTF、LatLRR、IVIFDLF和FusionGAN没有很好的保留住可见光图像中的细节信息，整体图像除了目标区域外都较为模糊，而IVIFTMTD、MDLatLRR和本发明方法的结果都有着丰富的纹理信息。虽然IVIFTMTD方法可以较好的保留细节信息，但是相较MDLatLRR和本发明的方法而言，它对于目标信息的保留则是做得不到位，在第一个场景的融合结果中根本看不出来烟的后面有目标存在，而MDLatLRR和本发明方法的结果都可以清晰的看到目标。本发明方法在目标显著程度上略弱于MDLatLRR，但是本发明的结果在细节信息的保留能力上是要更强的，比如，在sandpath中，本发明的结果中木桩更为清晰且而且边界分明，但是在MDLatLRR中几乎难以分辨出木桩的边界，类似的现象也可以从其它四个场景中观察到。总体而言，本发明方法的结果中目标不失显著性同时对细节信息有较好的保留。本发明的方法在同时保留目标信息和纹理信息上性能优于最先进的方法。
本发明的方法在四个指标上都表现出最高值而且平均值也是最大的。在EN和SD上本发明的方法有着毋庸置疑的最大值，在MI和VIF上则是略微高于其它方法。最大的EN值表明本发明的结果含有最多的信息量。最大的MI值说明本发明的结果和原始图像是最相关的，也就是说有着最少的伪影。最大的SD显示本发明的结果有着最高的对比度，这和定性比较的结果是吻合的。最大的VIF则证明本发明的结果失真程度最小，最符合人眼的感知。综合来看，本算法可以改善融合图像的对比度，突出红外目标，同时较好地保留了可见光信息，是一种有益算法。
Claims (7)
1.一种结合潜在低秩表示和卷积神经网络的红外和可见光图像融合方法，其特征在于，包括如下步骤：
步骤1：获取红外和可见光图像融合数据集，扩充数据集作为神经网络的训练集；
步骤2：将训练集中的所有图像均通过潜在低秩表示计算，得到相应的投影矩阵；
步骤3：将训练集图像和投影矩阵做矩阵乘法，得到图像的显著部分，用源图像减去显著部分得到图像的低秩部分；
步骤4：通过所述低秩部分训练背景模型，通过所述显著部分训练显著模型，所述背景模型和显著模型结构均为由五层全卷积神经网络构成的主干网络；
步骤5：背景模型采用梯度损失函数和结构相似性损失函数，显著模型采用像素强度损失函数和结构相似性损失函数；
步骤6：待融合图像经过潜在低秩分解分为低秩部分和显著部分，低秩部分通过背景模型进行融合，显著部分通过显著模型进行融合，将融合后的背景部分和融合后的显著部分做逐像素加法即得最终的融合结果。
2.根据权利要求1所述的结合潜在低秩表示和卷积神经网络的红外和可见光图像融合方法，其特征在于，所述步骤1中，红外和可见光融合数据集使用TNO；从中选取若干对红外和可见光图像作为原始图像，以14为步长将图片裁剪为120x120大小，最终获得30014对图像，以扩充数据集，其全部作为训练集，将未裁剪的图片即原始图片作为测试集。
3.根据权利要求1所述的结合潜在低秩表示和卷积神经网络的红外和可见光图像融合方法，其特征在于，所述步骤3中潜在低秩表示的过程如下：
s.t.X＝XZ+LX+E
其中，X为源图像、Z为低秩矩阵、L为投影矩阵、E为噪声、λ为平衡系数；||·||*和||·||1分别表示核范数和一范数；XZ为图像的低秩表示，LX为图像的显著成分；投影矩阵L通过不精确的增强拉格朗日乘子法求解。
4.根据权利要求1所述的结合潜在低秩表示和卷积神经网络的红外和可见光图像融合方法，其特征在于，所述步骤4中的五层的全卷积神经网络中，第一层卷积采用5x5的卷积核，第二、三、四层采用3x3的卷积核，最后一层则采用1x1的卷积进行降维；除了最后一层的激活函数使用Tanh，其它层均使用PReLU。
5.根据权利要求1所述的结合潜在低秩表示和卷积神经网络的红外和可见光图像融合方法，其特征在于，所述步骤4的具体过程如下：
步骤4.1：将红外图像和可见光图像的低秩部分在通道维度上拼接起来，可见光图像的低秩部分在第一通道，红外图像的低秩部分在第二通道；将红外图像和可见光图像的显著部分也在通道维度上拼接起来，可见光图像的显著部分在第一通道，红外图像的显著部分在第二通道；
步骤4.2：将拼接起来的红外图像和可见光图像的低秩部分送入背景模型，背景模型输出融合后的低秩部分；将拼接起来的红外图像和可见光图像的显著部分送入显著模型，显著模型输出融合后的显著部分；
步骤4.3：背景模型和显著模型分别根据自己的损失函数计算损失并进行反向传播。
6.根据权利要求1所述的结合潜在低秩表示和卷积神经网络的红外和可见光图像融合方法，其特征在于，所述步骤5中的损失函数如下：
背景模型的损失函数为：
其中，
表示梯度损失，
表示低秩部分的结构相似性损失；H和W分别表示图像的宽高，ξ和ω是平衡系数，
表示矩阵Frobenius范数，
是梯度算子，
和
分别表示融合图像的低秩部分和可见光图像的低秩部分；
表示融合图像低秩部分和可见光图像低秩部分的结构相似性；SSIMX,F表示图像X和F的结构相似性，μx和μf为图像X和F的均值，σx和σf表示图像X和F的方差，σxf表示X和F的协方差；C1、C2、C3为避免分母趋于0时的不稳定性调节常数；
显著模型的损失函数为：
其中，
表示像素强度损失，
表示显著部分的结构相似性损失；β、γ和ω为平衡系数；
和
分别表示融合图像的显著部分和可见光图像的显著部分；
表示融合图像的显著部分和可见光图像的显著部分之间的结构相似性。
7.根据权利要求1所述的结合潜在低秩表示和卷积神经网络的红外和可见光图像融合方法，其特征在于，所述步骤6的具体过程如下：
步骤6.1：将待融合的红外图像和可见光图像经过步骤2、3处理得到低秩部分和显著部分；
步骤6.2：将两个低秩部分在通道维度进行拼接，可见光图像的低秩部分在第一通道，红外图像的低秩部分在第二通道，然后将图像送入训练好的背景模型最后得到融合后的低秩部分；显著部分也进行同样的拼接处理后送入显著模型得到融合后的显著部分；
步骤6.3：将融合后的低秩部分和融合后的显著部分逐像素做加法，得到最终的融合图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111445419.4A CN114004775B (zh) | 2021-11-30 | 2021-11-30 | 结合潜在低秩表示和卷积神经网络的红外和可见光图像融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111445419.4A CN114004775B (zh) | 2021-11-30 | 2021-11-30 | 结合潜在低秩表示和卷积神经网络的红外和可见光图像融合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114004775A true CN114004775A (zh) | 2022-02-01 |
| CN114004775B CN114004775B (zh) | 2023-07-04 |
Family
ID=79930897
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111445419.4A Active CN114004775B (zh) | 2021-11-30 | 2021-11-30 | 结合潜在低秩表示和卷积神经网络的红外和可见光图像融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114004775B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116109539A (zh) * | 2023-03-21 | 2023-05-12 | 智洋创新科技股份有限公司 | 基于生成对抗网络的红外图像纹理信息增强方法和系统 |
| CN116664462A (zh) * | 2023-05-19 | 2023-08-29 | 兰州交通大学 | 一种基于ms-dsc和i_cbam的红外和可见光图像融合方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106157319A (zh) * | 2016-07-28 | 2016-11-23 | 哈尔滨工业大学 | 基于卷积神经网络的区域和像素级融合的显著性检测方法 |
| CN109118467A (zh) * | 2018-08-31 | 2019-01-01 | 武汉大学 | 基于生成对抗网络的红外与可见光图像融合方法 |
| CN109360175A (zh) * | 2018-10-12 | 2019-02-19 | 云南大学 | 一种红外与可见光的图像融合方法 |
| CN111652243A (zh) * | 2020-04-26 | 2020-09-11 | 中国人民解放军火箭军工程大学 | 基于显著性融合的红外与可见光图像融合方法 |
| CN111899176A (zh) * | 2020-07-31 | 2020-11-06 | 罗雄彪 | 一种视频图像增强方法 |
| CN111986132A (zh) * | 2020-08-12 | 2020-11-24 | 兰州交通大学 | 一种基于DLatLRR与VGG·Net的红外与可见光图像融合方法 |
| CN112381813A (zh) * | 2020-11-25 | 2021-02-19 | 华南理工大学 | 一种基于图卷积神经网络的全景图视觉显著性检测方法 |
| CN113095358A (zh) * | 2021-03-05 | 2021-07-09 | 北京中电联达信息技术有限公司 | 一种图像融合方法及系统 |
| CN113362281A (zh) * | 2021-05-17 | 2021-09-07 | 杭州电子科技大学 | 基于WSN-LatLRR的红外和可见光图像融合方法 |
-
2021
- 2021-11-30 CN CN202111445419.4A patent/CN114004775B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106157319A (zh) * | 2016-07-28 | 2016-11-23 | 哈尔滨工业大学 | 基于卷积神经网络的区域和像素级融合的显著性检测方法 |
| CN109118467A (zh) * | 2018-08-31 | 2019-01-01 | 武汉大学 | 基于生成对抗网络的红外与可见光图像融合方法 |
| CN109360175A (zh) * | 2018-10-12 | 2019-02-19 | 云南大学 | 一种红外与可见光的图像融合方法 |
| CN111652243A (zh) * | 2020-04-26 | 2020-09-11 | 中国人民解放军火箭军工程大学 | 基于显著性融合的红外与可见光图像融合方法 |
| CN111899176A (zh) * | 2020-07-31 | 2020-11-06 | 罗雄彪 | 一种视频图像增强方法 |
| CN111986132A (zh) * | 2020-08-12 | 2020-11-24 | 兰州交通大学 | 一种基于DLatLRR与VGG·Net的红外与可见光图像融合方法 |
| CN112381813A (zh) * | 2020-11-25 | 2021-02-19 | 华南理工大学 | 一种基于图卷积神经网络的全景图视觉显著性检测方法 |
| CN113095358A (zh) * | 2021-03-05 | 2021-07-09 | 北京中电联达信息技术有限公司 | 一种图像融合方法及系统 |
| CN113362281A (zh) * | 2021-05-17 | 2021-09-07 | 杭州电子科技大学 | 基于WSN-LatLRR的红外和可见光图像融合方法 |
Non-Patent Citations (4)
| Title |
|---|
| XIAOZHU WANG 等: "Infrared Weak-Small Targets Fusion Based on Latent Low-Rank Representation and DWT", vol. 7, pages 112681, XP011741688, DOI: 10.1109/ACCESS.2019.2934523 * |
| 程永翔 等: "基于卷积神经网络与视觉显著性的图像融合", vol. 37, no. 03, pages 225 - 230 * |
| 童林 等: "潜在低秩表示下VSM联合PCNN的红外与可见光图像融合", vol. 40, no. 10, pages 84 - 90 * |
| 陈潮起 等: "一种基于多尺度低秩分解的红外与可见光图像融合方法", vol. 40, no. 11, pages 72 - 80 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116109539A (zh) * | 2023-03-21 | 2023-05-12 | 智洋创新科技股份有限公司 | 基于生成对抗网络的红外图像纹理信息增强方法和系统 |
| CN116664462A (zh) * | 2023-05-19 | 2023-08-29 | 兰州交通大学 | 一种基于ms-dsc和i_cbam的红外和可见光图像融合方法 |
| CN116664462B (zh) * | 2023-05-19 | 2024-01-19 | 兰州交通大学 | 一种基于ms-dsc和i_cbam的红外和可见光图像融合方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114004775B (zh) | 2023-07-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Jung et al. | Unsupervised deep image fusion with structure tensor representations | |
| Chen et al. | Perceptual underwater image enhancement with deep learning and physical priors | |
| CN112233038B (zh) | 基于多尺度融合及边缘增强的真实图像去噪方法 | |
| Xiao et al. | Fast image dehazing using guided joint bilateral filter | |
| US20170132771A1 (en) | Systems and methods for automated hierarchical image representation and haze removal | |
| Suárez et al. | Deep learning based single image dehazing | |
| Liu et al. | Survey of natural image enhancement techniques: Classification, evaluation, challenges, and perspectives | |
| Fang et al. | Variational single image dehazing for enhanced visualization | |
| CN113592018B (zh) | 基于残差密集网络和梯度损失的红外光与可见光图像融合方法 | |
| Liu et al. | Image de-hazing from the perspective of noise filtering | |
| CN114004775B (zh) | 结合潜在低秩表示和卷积神经网络的红外和可见光图像融合方法 | |
| Lepcha et al. | A deep journey into image enhancement: A survey of current and emerging trends | |
| Wang et al. | Joint iterative color correction and dehazing for underwater image enhancement | |
| CN112967178B (zh) | 一种图像转换方法、装置、设备及存储介质 | |
| CN113706432A (zh) | 保留输入图像纹理细节的多源图像融合方法和系统 | |
| Chang | Single underwater image restoration based on adaptive transmission fusion | |
| Chen et al. | End-to-end single image enhancement based on a dual network cascade model | |
| CN116883303A (zh) | 基于特征差分补偿与融合的红外与可见光图像融合方法 | |
| Mun et al. | Texture preserving photo style transfer network | |
| CN117745570A (zh) | 一种基于低秩全变分深度先验融合的视觉数据补全方法 | |
| CN111754561B (zh) | 基于自监督深度学习的光场图像深度恢复方法及系统 | |
| CN115965844B (zh) | 基于视觉显著性先验知识的多聚焦图像融合方法 | |
| CN116597146A (zh) | 一种针对激光雷达稀疏点云数据的语义分割方法 | |
| Xu et al. | Attention‐based multi‐channel feature fusion enhancement network to process low‐light images | |
| Karalı et al. | Adaptive enhancement of sea-surface targets in infrared images based on local frequency cues |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |