CN116843588B - 目标语义层级挖掘的红外与可见光图像融合方法 - Google Patents
目标语义层级挖掘的红外与可见光图像融合方法 Download PDFInfo
- Publication number
- CN116843588B CN116843588B CN202310732526.8A CN202310732526A CN116843588B CN 116843588 B CN116843588 B CN 116843588B CN 202310732526 A CN202310732526 A CN 202310732526A CN 116843588 B CN116843588 B CN 116843588B
- Authority
- CN
- China
- Prior art keywords
- image
- fusion
- module
- mining
- semantic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005065 mining Methods 0.000 title claims abstract description 49
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 12
- 230000004927 fusion Effects 0.000 claims abstract description 122
- 238000000034 method Methods 0.000 claims abstract description 25
- 239000000284 extract Substances 0.000 claims abstract description 12
- 238000000605 extraction Methods 0.000 claims abstract description 7
- 230000004913 activation Effects 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 claims description 2
- 230000010365 information processing Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 14
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 5
- 238000000354 decomposition reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241000558306 Gynocardia odorata Species 0.000 description 1
- 238000009412 basement excavation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明属于图像信息处理技术领域，提出一种目标语义层级挖掘的红外与可见光图像融合方法。图像融合网络包括融合特征模块、语义特征模块、层级挖掘模块与图像重建模块；源图像对输入至图像融合网络后，融合特征模块提取源图像对的图像融合特征Fuj，语义特征模块提取源图像对的图像语义特征Fej；层级挖掘模块挖掘多个层级的目标语义特征并进行整合，多次重复特征提取与挖掘后，通过图像重建模块生成融合结果。相较于仅利用单一图像融合特征的融合方法，本发明通过不同层次的挖掘图像中目标语义并将其整合到图像融合网络中，有效地提升了图像融合网络中特征的多样性，从而可以获得更高质量的图像融合结果。
Description
技术领域
本发明涉及图像信息处理技术领域，尤其涉及一种目标语义层级挖掘的红外与可见光图像融合方法。
背景技术
红外传感器根据物体发出的热辐射信息来形成图像，因此可以良好的捕捉目标的结构与轮廓，不易受外部环境因素(如光照条件)的影响。但红外图像受其成像原理的限制，无法体现被捕捉场景中的纹理等细节信息且图像分辨率较低。而可见光传感器根据光的反射原理进行成像，可见光传感器在良好的照明条件下可以获得分辨率高、纹理等细节信息丰富的可见光图像，但可见光图像的质量易受外部环境的影响。红外与可见光图像的融合旨在生成同时具备两种模态优势的融合图像，在理想状态下，该融合图像可以包含各个模态中互补的有效信息，抛弃冗余信息，可以准确、全面地描述实际场景并且有效地缓解了数据体积增大的问题。因此，此技术也被广泛地应用于遥感、医学、安防等领域。
现有的图像融合算法可以分为两类：传统算法与基于深度学习的算法。在传统算法领域，Li等人在《MDLatLRR:A Novel Decomposition Method for Infrared andVisible Image Fusion》提出了一种基于潜在低秩表示的多级图像分解方法，将源图像分解为细节部分和基础部分，然后对于不同的部分设计相应的融合算法来实现图像融合任务；晁等在《一种基于小波变换的图像融合算法》中提出了基于小波变换的图像融合方法，并针对小波分解的不同频率域研究设计了不同的系数选择方案。
在基于深度学习的领域，Zhang等人《IFCNN:A general image fusion frameworkbased on convolutional neural network》设计了一种通用的全卷积模型，该模型对于每个输入图像利用一个卷积神经网络提取特征，然后根据输入图像的类型选择合适融合规则将输入图像的特征进行融合并生成融合结果。王等人在《基于多分支CNN的高光谱与全色影像融合处理》设计了两个独立的分支网络逐级计算光谱特征与空间特征，提升了融合后图像空间细节。Ma等人在《SwinFusion:Cross-domain Long-range Learning for GeneralImage Fusion via Swin Transformer》提出了一个卷积神经网络与Swin Transformer结合的图像融合框架，利用卷积神经网络提取图像的局部特征，利用Swin Transformer提取图像的全局特征，最终把局部与全局特征进行融合来生成融合结果。有关融合模型约束的研究往往会与方法框架等方面向结合，Ma等人《FusionGAN:Agenerative adversarialnetwork for infrared and visible image fusion》在对抗生成损失中加入图像的内容损失，约束生成器输出的结果更加真实且减小图像内容(如纹理，边缘等)的丢失，提升了网络的融合效果。
然而，现有的图像大多数融合算法仅仅利用比较单一的图像信息，使融合算法中的融合特征缺乏多样性，因此无法进一步提升其融合性能。而本方法通过设计层级挖掘模块通过两个层次充分挖掘图像的语义信息并将其整合到图像融合特征中，从而增加图像融合特征的多样性，有效地提升图像融合性能。
发明内容
为了利用多方面的图像信息提升图像融合性能，本发明提出了一种目标语义层级挖掘的红外与可见光图像融合方法。层级挖掘模块通过两个层次全面地整合多个级别的语义信息来帮助图像融合模型提升其特征的多样性，从而使得图像融合模型可以利用多方面信息进行融合，提升图像融合模型的图像融合性能。因此本发明的关键是设计层级挖掘模块，来挖掘目标语义中不同层级的信息。
本发明的技术方案如下：一种目标语义层级挖掘的红外与可见光图像融合方法，基于图像融合网络实现；所述图像融合网络包括融合特征模块、语义特征模块、层级挖掘模块与图像重建模块；源图像对输入至图像融合网络后，融合特征模块提取源图像对的图像融合特征Fuj，语义特征模块提取源图像对的图像语义特征Fej；层级挖掘模块挖掘多个层级的目标语义特征并进行整合，多次重复特征提取与挖掘后，通过图像重建模块生成融合结果；
所述图像融合网络的损失函数为SSIM损失；首先计算两幅输入图像x、y之间的SSIM数值，如公式1所示，
其中，μx、μy为输入图像x、y各自的均值，σx、σy为输入图像x、y各自的标准差，σxy为输入图像x、y之间的协方差；所述SSIM损失计算如公式2所示；
其中，If为融合结果，Ii为输入的红外图像，Iv输入的可见光图像；当If包含Ii、Iv中信息越多时，Lf越趋近于0，该损失用于约束图像融合网络生成的结果包含输入源图像对的信息。
所述层级挖掘模块包括三个支路，分别为上方支路、中间支路和下方支路；所述上方支路用于直接传输图像融合特征；所述中间支路为权重支路，用于计算挖掘图像语义特征不同层级的权重；
第j个层级挖掘模块的中间支路计算过程如下，首先通过两个分支计算通道权重wcj与空间权重wsj，如公式3至5所示；
wcj＝P×1(FC×3(tuj)) (4)
wsj＝C×2(tuj) (5)
其中，是由图像融合特征Fuj经过一层平均池化P×1后与图像语义特征Fej级联得到，/>由tuj经过一层全局平均池化P×1，再经过三层全连接层得到，其中前两层全连接层以ReLU为激活函数，最后一层全连接层以Sigmoid为激活函数；由tuj经过两层卷积层C×2获得，其中第一层卷积层以ReLU为激活函数，第二层卷积层以Sigmoid为激活函数；
所述下方支路用于图像语义特征的映射；图像语义特征首先经过两层以ReLU为激活函数的卷积层，通道权重wcj与空间权重wsj通过复制扩展数据维度为将通道权重wcj的对应位置元素分别与经过两层卷积映射的图像语义特征Fej相乘得到通道挖掘特征Fcj，如公式6所示；
Fcj＝C×2(Fej)×wcj (6)
将空间权重wsj的对应位置元素分别与经过两层卷积映射的图像语义特征Fej相乘，得到空间挖掘特征Fsj，如公式7所示，
Fsj＝C×2(Fej)×wsj (7)
通道挖掘特征Fcj、空间挖掘特征Fsj与上方支路的图像融合特征相加整合为多样化特征，再经过两层以ReLU为激活函数的卷积层输入至融合特征模块中，其过程如公式8所示；
Fmj＝C×2(Fsj+Fcj+Fuj) (8)
其中，Fmj为第j个层级挖掘模块的输出。
所述图像重建模块根据最终层级挖掘模块输出的多样化特征生成融合结果；图像重建模块包括六层卷积层，前五层卷积层以ReLU作为激活函数，最后一层卷积层以Sigmoid作为激活函数。
所述融合特征模块包括六个卷积层并分为两支路，每个支路均由两个卷积层构成；源图像对通过两个卷积层计算特征，所得特征分别经过两个支路上的卷积层进行进一步的特征提取；两个支路的输出经级联以得到图像融合特征；所述图像融合网络中第j个融合特征模块的计算过程通过公式9与10所示；
txj＝C×2(Fmj-1) (9)
其中，Fuj表示图像融合特征；输入Fmj-1为第j-1个层级挖掘模块的输出，j＝1、2、3，当j＝1时，Fm0为输入的源图像对；C×2代表两个以ReLU为激活函数的卷积层，表示特征图通道维度级联；
所述语义特征模块通过4层以ReLU为激活函数的卷积层构成，采用语义分割任务对语义特征模块进行训练获得其权重，从而使语义特征模块提取到图像中的语义信息。
本发明的有益效果：相较于仅利用单一图像融合特征的融合方法，本发明通过不同层次的挖掘图像中目标语义并将其整合到图像融合网络中，有效地提升了图像融合网络中特征的多样性，从而可以获得更高质量的图像融合结果。
附图说明
图1(a)为目标语义层级挖掘的红外与可见光图像融合方法中图像融合网络结构示意图。
图1(b)为层级挖掘模块示意图。
图1(c)为融合特征模块示意图。
具体实施方式
以下结合附图和技术方案，进一步说明本发明的具体实施方式。
如图1(a)所示，本发明的图像融合网络包括融合特征模块、语义特征模块、层级挖掘模块与图像重建模块。总体来说，在源图像对输入图像融合网络后，融合特征模块用于提取源图像对的融合特征，然后利用层级挖掘模块使图像融合网络可以整合多个层级的目标语义信息，重复特征提取与挖掘过程两次后，最终利用图像重建模块生成融合结果。
融合特征模块首先使用两个卷积层计算特征；紧接着，这些特征会分别经过两个分支进行进一步的特征提取；最终，两个分支的输出会被级联起来以得到该模块的输出。其中每个分支均有两个卷积层构成。第j个融合特征模块的计算过程可以由公式1与2所示，
txj＝C×2(Fmj-1) (1)
其中，Fuj表示融合特征模块输出的图像融合特征；输入Fmj-1为第j-1个层级挖掘模块的输出，j＝1、2、3，特别地，当j＝1时，Fm0为输入的图像对；C×2代表两个以ReLU为激活函数的卷积层，表示特征图通道维度级联，
层级挖掘模块是本方法的关键，如图1(b)所示，通过两个层级挖掘图像中的语义信息，并与融合特征模块进行整合；第一个层级是通道级别的挖掘，图像融合特征与图像语义特征获得通道权重，通过此权重本方法可以在语义信息的通道维度上发掘图像语义信息中的重要部分，并减少冗余特征的整合到图像融合网络中去。第二个层级是空间级别的挖掘，图像融合特征与图像语义特征获得空间权重，通过此权重本方法可以在语义信息的空间维度上发掘图像语义信息中的重要部分，并将其整合到融合特征中来提升融合特征对于图像语义的表达，从而有效的提升图像融合效果。所述通道权重、空间权重分别与语义特征进行像素级相乘，分别获得通道挖掘特征、空间挖掘特征；所述通道挖掘特征、空间挖掘特征整合到图像融合特征中。层级挖掘模块通过两个层级来充分的挖掘图像中的语义信息，然后在与图像融合特征进行整合从而使图像融合网络可以利用不同种类的特征进而提升图像融合效果。
图像重建模块用于根据提取到的图像融合特征生成融合结果，该模块由六层卷积构成，其中前五层以ReLU激活，最后一层以Sigmoid作为激活函数。
在本发明框架中，语义特征模块用于提供图像的语义信息。每个语义特征模块均有4层以ReLU为激活函数的卷积层构成，并加载语义分割训练的权重，从而使语义特征模块可以提取到图像中的语义信息。
本方法采用图像融合领域中常用的SSIM损失，其计算首先计算两幅输入图像x、y之间的SSIM数值。
其中，μx、μy为输入图像x、y各自的均值，σx、σy为输入图像x、y各自的标准差，σxy为输入图像x、y之间的协方差。
其中，If为融合结果，Ii为输入的红外图像，Iv输入的可见光图像。当If与Ii、Iv相似即If包含Ii、Iv中信息时，公式7中第二项约为1，使Lf约等于0，因此该损失可以约束融合网络生成的结果包含输入源图像对的信息。
首先，从红外与可见光图像融合数据集中采样一对输入图像，送入图1(a)所示的网络模型，在该模型中，在语义特征模块提取到图像的特征后，通过一个目标语义层级挖掘模块通过通道层级与空间层级两方面挖掘图像中目标语义，层级挖掘模块的结构如图1(b)所示，然后再将其与图像融合网络提取到的特征进行相加以提升图像融合特征的多样性，并由图像融合网络生成图像融合结果；在得到图像融合结果之后，通过损失函数来约束模型产生合理的图像融合结果。融合特征模块的结构如图1(c)所示。
总的来说，本方法设计了一个目标语义层级挖掘的红外与可见光图像融合模型，可以生成高质量的融合图像。
Claims (3)
1.一种目标语义层级挖掘的红外与可见光图像融合方法，其特征在于，基于图像融合网络实现；所述图像融合网络包括融合特征模块、语义特征模块、层级挖掘模块与图像重建模块；源图像对输入至图像融合网络后，融合特征模块提取源图像对的图像融合特征Fuj，语义特征模块提取源图像对的图像语义特征Fej；层级挖掘模块挖掘多个层级的目标语义特征并进行整合，多次重复特征提取与挖掘后，通过图像重建模块生成融合结果；
所述图像融合网络的损失函数为SSIM损失；首先计算两幅输入图像x、y之间的SSIM数值，如式(1)所示：
其中，μx、μy为输入图像x、y各自的均值，σx、σy为输入图像x、y各自的标准差，σxy为输入图像x、y之间的协方差；所述SSIM损失计算如式(2)所示：
其中，If为融合结果，Ii为输入的红外图像，Iv输入的可见光图像；当If包含Ii、Iv中信息越多时，Lf越趋近于0，该损失用于约束图像融合网络生成的结果包含输入源图像对的信息；
所述层级挖掘模块包括三个支路，分别为上方支路、中间支路和下方支路；所述上方支路用于直接传输图像融合特征；所述中间支路为权重支路，用于计算挖掘图像语义特征不同层级的权重；
第j个层级挖掘模块的中间支路计算过程如下，首先通过两个分支计算通道权重wcj与空间权重wsj，如式(3)至(5)所示；
wcj＝P×1(FC×3(tuj))(4)
wsj＝C×2(tuj)(5)
其中，是由图像融合特征Fuj经过一层平均池化P×1后与图像语义特征Fej级联得到，/>由tuj经过一层平均池化P×1，再经过三层全连接层得到，其中前两层全连接层以ReLU为激活函数，最后一层全连接层以Sigmoid为激活函数；由tuj经过两层卷积层C×2获得，其中第一层卷积层以ReLU为激活函数，第二层卷积层以Sigmoid为激活函数；
所述下方支路用于图像语义特征的映射；图像语义特征首先经过两层以ReLU为激活函数的卷积层，通道权重wcj与空间权重wsj通过复制扩展数据维度为将通道权重wcj的对应位置元素分别与经过两层卷积映射的图像语义特征Fej相乘得到通道挖掘特征Fcj，如式(6)所示：
Fcj＝C×2(Fej)×wcj(6)
将空间权重wsj的对应位置元素分别与经过两层卷积映射的图像语义特征Fej相乘，得到空间挖掘特征Fsj，如式(7)所示：
Fsj＝C×2(Fej)×wsj(7)
通道挖掘特征Fcj、空间挖掘特征Fsj与上方支路的图像融合特征相加整合为多样化特征，再经过两层以ReLU为激活函数的卷积层输入至融合特征模块中，其过程如式(8)所示：
Fmj＝C×2(Fsj+Fcj+Fuj)(8)
其中，Fmj为第j个层级挖掘模块的输出。
2.根据权利要求1所述的目标语义层级挖掘的红外与可见光图像融合方法，其特征在于，所述图像重建模块根据最终层级挖掘模块输出的多样化特征生成融合结果；图像重建模块包括六层卷积层，前五层卷积层以ReLU作为激活函数，最后一层卷积层以Sigmoid作为激活函数。
3.根据权利要求2所述的目标语义层级挖掘的红外与可见光图像融合方法，其特征在于，所述融合特征模块包括六个卷积层并分为两支路，每个支路均由两个卷积层构成；源图像对通过两个卷积层计算特征，所得特征分别经过两个支路上的卷积层进行进一步的特征提取；两个支路的输出经级联以得到图像融合特征；所述图像融合网络中第j个融合特征模块的计算过程通过式(9)与(10)所示：
txj＝C×2(Fmj-1)(9)
其中，Fuj表示图像融合特征；输入Fmj-1为第j-1个层级挖掘模块的输出，j＝1、2、3，当j＝1时，Fm0为输入的源图像对；C×2代表两个以ReLU为激活函数的卷积层，表示特征图通道维度级联；
所述语义特征模块通过4层以ReLU为激活函数的卷积层构成，采用语义分割任务对语义特征模块进行训练获得其权重，从而使语义特征模块提取到图像中的语义信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310732526.8A CN116843588B (zh) | 2023-06-20 | 2023-06-20 | 目标语义层级挖掘的红外与可见光图像融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310732526.8A CN116843588B (zh) | 2023-06-20 | 2023-06-20 | 目标语义层级挖掘的红外与可见光图像融合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116843588A CN116843588A (zh) | 2023-10-03 |
| CN116843588B true CN116843588B (zh) | 2024-02-06 |
Family
ID=88171767
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310732526.8A Active CN116843588B (zh) | 2023-06-20 | 2023-06-20 | 目标语义层级挖掘的红外与可见光图像融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116843588B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118552424B (zh) * | 2024-07-30 | 2024-09-24 | 大连理工大学 | 像素级-目标级特征平衡的红外与可见光图像融合方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114187221A (zh) * | 2021-12-13 | 2022-03-15 | 北京环境特性研究所 | 基于自适应权重学习的红外与可见光图像融合方法 |
| CN115063329A (zh) * | 2022-06-10 | 2022-09-16 | 中国人民解放军国防科技大学 | 低光照环境下的可见光和红外图像融合增强方法及系统 |
| CN115471723A (zh) * | 2022-09-23 | 2022-12-13 | 安徽优航遥感信息技术有限公司 | 一种基于红外与可见光图像融合的变电站无人机巡检方法 |
| CN115620010A (zh) * | 2022-09-20 | 2023-01-17 | 长春理工大学 | 一种rgb-t双模态特征融合的语义分割方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111161356B (zh) * | 2019-12-17 | 2022-02-15 | 大连理工大学 | 一种基于双层优化的红外和可见光融合方法 |
| CN111062905B (zh) * | 2019-12-17 | 2022-01-04 | 大连理工大学 | 一种基于显著图增强的红外和可见光融合方法 |
-
2023
- 2023-06-20 CN CN202310732526.8A patent/CN116843588B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114187221A (zh) * | 2021-12-13 | 2022-03-15 | 北京环境特性研究所 | 基于自适应权重学习的红外与可见光图像融合方法 |
| CN115063329A (zh) * | 2022-06-10 | 2022-09-16 | 中国人民解放军国防科技大学 | 低光照环境下的可见光和红外图像融合增强方法及系统 |
| CN115620010A (zh) * | 2022-09-20 | 2023-01-17 | 长春理工大学 | 一种rgb-t双模态特征融合的语义分割方法 |
| CN115471723A (zh) * | 2022-09-23 | 2022-12-13 | 安徽优航遥感信息技术有限公司 | 一种基于红外与可见光图像融合的变电站无人机巡检方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116843588A (zh) | 2023-10-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111145131B (zh) | 一种基于多尺度生成式对抗网络的红外和可见光图像融合方法 | |
| Zhang et al. | Information fusion for classification of hyperspectral and LiDAR data using IP-CNN | |
| Li et al. | Asymmetric feature fusion network for hyperspectral and SAR image classification | |
| Liu et al. | GAFNet: Group attention fusion network for PAN and MS image high-resolution classification | |
| CN111046967A (zh) | 一种基于卷积神经网络和注意力机制的水下图像分类方法 | |
| CN116843588B (zh) | 目标语义层级挖掘的红外与可见光图像融合方法 | |
| CN105184270A (zh) | 一种基于脉冲耦合神经网络方法的道路信息遥感提取方法 | |
| CN117292274B (zh) | 基于深度语义字典零次学习的高光谱湿地图像分类方法 | |
| Yang et al. | MSFusion: Multistage for remote sensing image spatiotemporal fusion based on texture transformer and convolutional neural network | |
| Liu et al. | Class-guided coupled dictionary learning for multispectral-hyperspectral remote sensing image collaborative classification | |
| CN115841438A (zh) | 基于改进gan网络的红外图像与可见光图像融合方法 | |
| Gao et al. | Hierarchical shrinkage multiscale network for hyperspectral image classification with hierarchical feature fusion | |
| Wang et al. | A double dictionary-based nonlinear representation model for hyperspectral subpixel target detection | |
| CN116863247A (zh) | 一种融合全局和局部信息的多模态遥感数据分类方法 | |
| CN113724308B (zh) | 基于光度与对比度互注意力的跨波段立体匹配算法 | |
| Kanellopoulos et al. | Integration of neural network and statistical image classification for land cover mapping | |
| Yang et al. | Cirrus detection based on tensor multi-mode expansion sum nuclear norm in infrared imagery | |
| CN117576483A (zh) | 基于多尺度卷积自编码器的多源数据融合地物分类方法 | |
| Yu et al. | Shadow Mask Driven Multimodal Intrinsic Image Decomposition For Hyperspectral and LiDAR Data Fusion | |
| Ni et al. | MHST: Multiscale Head Selection Transformer for Hyperspectral and LiDAR Classification | |
| Lu et al. | Hyperspectral image classification based on multilevel joint feature extraction network | |
| Jing et al. | An image super-resolution reconstruction method based on PEGAN | |
| Zhang et al. | Local–Global Cross Fusion Network With Gaussian-Initialized Learnable Positional Prompting for Hyperspectral Image Classification | |
| Ren et al. | Cultivated land segmentation of remote sensing image based on PSPNet of attention mechanism | |
| CN112396099B (zh) | 一种基于深度学习和信息融合的点击率预估方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |