CN117173023A - 无人机高分辨率热红外图像生成方法及系统 - Google Patents

Abstract

本发明提供无人机高分辨率热红外图像生成方法及系统，方法包括：对无人机捕获的热图像和可见光图像进行不同类型的浅层特征提取，得到两种模态的浅层特征；构建并利用相互指导模块MGM，将可见和热成像特征分别输入到MGM的两个不同分支中，以提取两个子任务的深层特征，通过双向注意力传递机制，使两个任务之间进行全面的特征交互，得到高质量的模态转换和超分辨率特征；构建并利用双向对齐融合模块BAFM，同时将两个分支的输出精细对齐到相同的特征空间，并进行特征融合；融合的特征通过pixelshuffle上采样得到超分辨率结果。本发明解决了由于可见图像和热红外图像信息利用不充分、不同模态之间存在差异导致无人机热红外图像质量较低的技术问题。

Description

无人机高分辨率热红外图像生成方法及系统

技术领域

本发明涉及计算机视觉和图像处理领域，具体涉及无人机高分辨率热红外图像生成方法及系统。

背景技术

无人机高分辨率热红外图像具有较高的实用价值和广阔的应用前景。热红外成像技术受光照影响较小，为无人机(UAV)提供了广泛的监视范围、高移动性、实时监控和快速部署能力，适用于安全检查、农业测量、野生动物保护和水资源管理等多个场景。例如公布号为CN116718165A的现有发明专利申请文献《一种基于无人机平台的联合成像系统及图像增强融合方法》，该现有系统包括：飞行单元、机载计算单元、快门控制单元、姿态控制单元、机载图传单元、十目成像单元、负载云台接口；所述飞行单元用于搭载负载设备按预定航线飞行；所述快门控制单元用于控制负载相机的拍摄参数；所述机载图传单元用于将热红外图像、可见光图像和经图像增强融合后的热红外增强图像通过无线方式传输给地面设备；所述姿态控制单元包括惯性测量单元IMU模块、全球定位系统GPS模块，所述惯性测量单元IMU模块用于测量、记录飞行单元的姿态参数和负载相机位置，所述全球定位系统GPS模块用于测量、记录飞行单元的准确地理信息位置；所述机载计算单元包括图像处理模块，所述图像处理模块用于接收并存储负载相机的图像数据、姿态控制单元所记录的负载相机位置与姿态，并对图像进行实时处理与融合；所述十目成像单元通过负载云台接口与快门控制单元、姿态控制单元、机载图传单元相连，所述十目成像单元用于对目标物体的彩色成像和热红外成像，采集图像数据并传输至机载计算单元。然而，由于热感应器的限制，直接从UAV捕获的热红外图像分辨率有限，阻碍了对无人机热红外图像的分析与理解。为此，需要寻找生成无人机高分辨率热红外图像的有效方法。

现有基于深度神经网络的单图像超分辨率(SISR)方法，展现出了强大的特征提取能力，但由于低分辨率热红外图像中信息的稀缺，在大规模超分辨率任务下，这种方法生成的热红外图像会有所失真。最近的研究在超分辨率过程中，使用引导信息来补充低分辨率热红外图像中缺失的纹理，即引导图像超分辨率方法(GISR)。用高分辨率可见图像来引导低分辨率热红外图像，从而生成高分辨率热红外图像。例如公布号为CN116402692A的现有发明专利申请文献《基于非对称交叉注意力的深度图超分辨率重建方法与系统》该现有方法包括如下步骤：步骤1、给定输入数据，输入数据包括低分辨率深度图以及与所述低分辨率深度图相对应的高分辨率彩色图像，以所述高分辨率彩色图像为引导图像，以所述低分辨率深度图为深度图像；步骤2、提取引导图像和深度图像的浅层特征，并进行深度细化以得到引导特征和深度特征；步骤3、利用非对称交叉注意力域，将引导特征的像素块和深度特征的像素块进行双向交流，以交替迭代融合的方式对引导特征和深度特征进行更新，再经过上采样操作以逐步提高引导特征和深度特征的分辨率，并对应得到第一最终特征与第二最终特征；步骤4、将第一最终特征与第二最终特征进行特征的拼接融合，在融合完成后进行卷积操作以得到第三深度残差图；步骤5、将低分辨率深度图进行双三次插值以得到上采样深度图，将所述第三深度残差图与所述上采样深度图进行叠加以得到最终的深度超分辨率图像。然而，前述现有技术由于可见图像与热红外图像存在模态差异，导致生成的无人机高分辨率热红外图像质量不高。

近期，有方法将可见图像进行模态转换(MC)，以此来获得高分辨率热红外图像。随着各种生成对抗网络，如GAN，Cycle-GAN，和Conditional GAN的发展和崛起，它们在自然图像的模态转换任务上已卓有成效，但在复杂场景下，将无人机捕获的遥感图像进行模态转换的结果仍不尽人意，在一定程度上仍无法满足无人机高分辨率热红外图像的质量要求。

本发明所要解决的技术问题在于如何充分利用可见图像和热红外图像信息，弥合不同模态之间的差异，从而生成无人机高分辨率热红外图像。

综上，现有技术存在由于可见图像和热红外图像信息利用不充分、不同模态之间存在差异导致无人机热红外图像质量较低的技术问题。

发明内容

本发明所要解决的技术问题在于：如何解决现有技术中由于可见图像和热红外图像信息利用不充分、不同模态之间存在差异导致无人机热红外图像质量较低的技术问题。

本发明是采用以下技术方案解决上述技术问题的：无人机高分辨率热红外图像生成方法包括：

S1、利用无人机捕获热图像、可见光图像，按照不同类型对热图像、可见光图像分别提取浅层特征，保留每种模态特定信息，以得到热红外模态浅层特征、可见光模态浅层特征；

S2、构建并利用相互指导模块MGM，将热红外模态浅层特征、可见光模态浅层特征，分别输入到相互指导模块MGM的不同分支，以提取热红外子任务的深层特征、可见光子任务的深层特征，在热红外子任务、可见光子任务之间，进行特征交互操作，得到模态转换特征、超分辨率特征，其中，相互指导模块MGM包括：模态转换分支、超分辨率分支；

S3、构建并利用双向对齐融合模块BAFM，将模态转换特征、超分辨率特征，精细对齐到相同特征空间，并进行特征融合，得到有效融合特征；

S4、对有效融合特征，进行pixelshuffle上采样，以得到超分辨率结果，以作为适用高分辨率热成像图像。

本发明新的协同训练框架CFIG(Collaborative Framework for High-Resolution Thermal UAV Image Generation)，本发明将模态转换任务与超分辨率任务结合起来，通过协同学习特征交互，来缩小两种模态之间的距离，充分利用可见图像中的信息，弥合不同模态之间的差异，从而生成无人机高分辨率图像。

本发明通过相互指导模块MGM提取深层特征，通过双向对齐融合模块BAFM进行特征融合，能够将复杂的遥感可见图像转换为热图像，并从中准确提取有用信息，从而有效引导超分辨率任务，将超分辨率输出作为最终的高分辨率热图像，进一步提高了无人机热红外图像的分辨率。

在更具体的技术方案中，步骤S1包括：

S11、利用单个3×3的卷积层，扩展热图像的特征图通道数，以提取热红外模态浅层特征；

S12、利用不少于2个3×3的卷积层，提取可见光模态浅层特征。

在更具体的技术方案中，步骤S2包括：

S21、利用相互指导模块MGM的相互指导层MGL，实现多头自注意力MSA、移位窗口机制，以增强来自对面分支的指导信息；

S22、利用相互指导层MGL，执行多头交叉注意力MCA、移位窗口机制，以从对面分支生成注意力，据以进行指导操作；

其中，利用下述逻辑，执行多头交叉注意力MCA：

Q＝YW^Q,K＝YW^K,V＝XW^V

式中，W^Q，W^K和W^V是线性投影矩阵。X表示当前分支输入的特征，而Y表示来自对立分支的特征；

利用下述逻辑，根据在本地窗口内的的自注意力、交叉注意力，求取注意力矩阵：

式中，B是可学习的相对位置编码矩阵。d_k是查询K的维度。Attention(·)表示自注意力或交叉注意力；

S23、设置单独的不干扰STL组，以处理预置引导特征，得到STL特征，以与当前分支的模态转换特征、超分辨率特征结合。

本发明在相互指导模块中，超分辨率任务可以为模态转换任务提供丰富的热信息，而模态转换任务能够为超分辨率任务解决跨模态差异问题，通过设计相互指导模块，结合图像超分辨率和模态转换，能够有效弥合不同模态之间的差距，充分利用可见图像中的信息，以恢复更好的纹理细节和结构信息。

在更具体的技术方案中，步骤S23中，不干扰STL组利用下述逻辑，处理引导特征，以得到STL特征：

Y＝MSA(LN(Y))+Y,

Y＝MLP(LN(Y))+Y.

式中，MSA、MLP以及LN分别代表多头自注意力、多层感知器和层归一化的功能，Y表示输入特征。

在更具体的技术方案中，步骤S23中，不干扰STL组利用下述逻辑，结合处理STL特征与模态转换超分辨率特征，以计算多头交叉注意力MCA：

Y＝STL(Y),

X^l＝MCA(LN(X^l-1),Y)+X^l-1,

X^l+1＝MLP(LN(X^l)+X^l-1).

式中，STL表示Swin Transformer层，MCA表示多头交叉注意力函数，MLP和LN分别表示多层感知机和层归一化，X和Y分别表示当前分支的特征和对立分支的特征。

本发明设计了相互指导层(MGL)用于两个分支的特征交互，并设置单独的不干扰STL组，有利于两种模态在信息交互后可以通过单独的STL处理接收到的信息，更加专注于各自的任务。

在更具体的技术方案中，步骤S3中，BAFM模块的实现逻辑包括：

X_out＝Conv([FAM₁(X_mc,X_sr),FAM₂(X_sr,X_mc)])

式中，[·,·]表示沿着通道维度的连接操作，X_mc和X_sr分别表示MGM模块中的模态转换分支和超分辨率分支的输出。FAM₁和FAM₂表示两个具有相同结构的FAM模块，Conv表示一个3×3的卷积层。

本发明的技术方案在深层特征提取步骤，为了有效利用来自可见图像的信息，引入互相指导模块共同完成模态转换任务和超分辨率任务，使用Transformer的注意力机制进行特征交互，使得两个任务具有相互加强效果。

在更具体的技术方案中，步骤S3包括：

S31、将模态转换特征、超分辨率特征输入到不少于2个FAM模块；

S32、将预置参考特征输入到FSM模块，以进行特征选择得到选定参考特征；

S33、从模态转换特征、超分辨率特征，以选定参考特征的组合中，预测映射参数偏移量，适用偏移量，利用可变形卷积，对齐处理模态转换特征、超分辨率特征，以得到对齐特征。

S34、对对齐特征，进行通道连接操作以及3×3卷积，以得到有效融合特征。

本发明设计了BAFM来对齐和融合两种特征，以充分利用特征之间的互补潜力，消除两种特征的位置信息差异，然后将融合的特征上采样为高分辨率的热成像。

在更具体的技术方案中，步骤S32中，FSM模块的实现逻辑包括：

FSM(X_ref)＝Conv(X_ref+u),

u＝σ(Conv(GAP(X_ref)).

式中，FSM表示特征选择模块FSM，X_ref表示参考特征，GAP表示全局平均池化层，Conv表示1×1卷积，σ表示sigmoid激活函数。

在更具体的技术方案中，不干扰STL组利用下述逻辑，结合处理STL特征与模态转换超分辨率特征，以计算多头交叉注意力MCA：

Y＝STL(Y),

X^l＝MCA(LN(X^l-1),Y)+X^l-1,

X^l+1＝MLP(LN(X^l)+X^l-1).

式中，STL表示Swin Transformer层，MCA表示多头交叉注意力函数，MLP和LN分别表示多层感知机和层归一化，X和Y分别表示当前分支的特征和对立分支的特征。

本发明在特征融合步骤，使用双向对齐融合模块，以用来将模态转换和超分辨率任务生成的互补的热图像进行融合。上述两种模块能够将复杂的遥感可见图像转换为热图像，并从中准确提取有用信息，从而有效引导超分辨率任务，将超分辨率输出作为最终的高分辨率热图像，提高了无人机热红外图像的分辨率。

在更具体的技术方案中，无人机高分辨率热红外图像生成系统包括：

浅层特征提取模块，用以利用无人机捕获热图像、可见光图像，按照不同类型对热图像、可见光图像分别提取浅层特征，保留每种模态特定信息，以得到热红外模态浅层特征、可见光模态浅层特征；

相互指导模块，用以将热红外模态浅层特征、可见光模态浅层特征，分别输入到相互指导模块MGM的不同分支，以提取热红外子任务的深层特征、可见光子任务的深层特征，在热红外子任务、可见光子任务之间，进行特征交互操作，得到模态转换特征、超分辨率特征，其中，相互指导模块MGM包括：模态转换分支、超分辨率分支，相互指导模块与浅层特征提取模块连接；

特征对齐融合模块，用以构建并利用双向对齐融合模块BAFM，将模态转换特征、超分辨率特征，精细对齐到相同特征空间，并进行特征融合，得到有效融合特征，特征对齐融合模块与相互指导模块连接；

高分辨率热成像图像获取模块，用以对有效融合特征，进行pixelshuffle上采样，以得到超分辨率结果，以作为适用高分辨率热成像图像，高分辨率热成像图像获取模块与特征对齐融合模块连接。

本发明相比现有技术具有以下优点：本发明新的协同训练框架CFIG(Collaborative Framework for High-Resolution Thermal UAV Image Generation)，本发明将模态转换任务与超分辨率任务结合起来，通过协同学习特征交互，来缩小两种模态之间的距离，充分利用可见图像中的信息，弥合不同模态之间的差异，从而生成无人机高分辨率图像。

本发明通过相互指导模块MGM提取深层特征，通过双向对齐融合模块BAFM进行特征融合，能够将复杂的遥感可见图像转换为热图像，并从中准确提取有用信息，从而有效引导超分辨率任务，将超分辨率输出作为最终的高分辨率热图像，进一步提高了无人机热红外图像的分辨率。

本发明在相互指导模块中，超分辨率任务可以为模态转换任务提供丰富的热信息，而模态转换任务能够为超分辨率任务解决跨模态差异问题，通过设计相互指导模块，结合图像超分辨率和模态转换，能够有效弥合不同模态之间的差距，充分利用可见图像中的信息，以恢复更好的纹理细节和结构信息。

本发明设计了相互指导层(MGL)用于两个分支的特征交互，并设置单独的不干扰STL组，有利于两种模态在信息交互后可以通过单独的STL处理接收到的信息，更加专注于各自的任务。

本发明的技术方案在深层特征提取步骤，为了有效利用来自可见图像的信息，引入互相指导模块共同完成模态转换任务和超分辨率任务，使用Transformer的注意力机制进行特征交互，使得两个任务具有相互加强效果。

本发明设计了BAFM来对齐和融合两种特征，以充分利用特征之间的互补潜力，消除两种特征的位置信息差异，然后将融合的特征上采样为高分辨率的热成像。

本发明在特征融合步骤，使用双向对齐融合模块，以用来将模态转换和超分辨率任务生成的互补的热图像进行融合。上述两种模块能够将复杂的遥感可见图像转换为热图像，并从中准确提取有用信息，从而有效引导超分辨率任务，将超分辨率输出作为最终的高分辨率热图像，提高了无人机热红外图像的分辨率。

本发明解决了现有技术中由于可见图像和热红外图像信息利用不充分、不同模态之间存在差异导致无人机热红外图像质量较低的技术问题。

附图说明

图1为本发明实施例1的无人机高分辨率热红外图像生成方法基本步骤示意图；

图2为本发明实施例1的浅层特征提取模块具体步骤示意图；

图3为本发明实施例1的MGM模块结构示意图；

图4为本发明实施例1的MGL模块结构示意图；

图5为本发明实施例1的STL模块结构示意图；

图6为本发明实施例1的MGM模块提取两个子任务的深层特征具体步骤示意图；

图7为本发明实施例1的BAFM模块对齐融合两个分支的输出特征具体步骤示意图；

图8为本发明实施例1的FAM模块结构示意图；

图9为本发明实施例1的FSM模块的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

如图1所示，本发明提供的无人机高分辨率热红外图像生成方法，包括以下基本步骤：

S1、对无人机捕获的热图像和可见光图像进行不同类型的浅层特征提取，保留每种模态的独特信息，得到两种模态的浅层特征；

如图3所示，浅层特征提取的步骤S1，还包括以下具体步骤：

S11、使用单个3×3的卷积层来扩展热图像特征图的通道数；

S12、使用多个3×3的卷积进行可见图像特征提取。

S2、构建并利用相互指导模块MGM，将可见和热成像特征分别输入到MGM的两个不同分支中，以提取两个子任务的深层特征，通过双向注意力传递机制，使两个任务之间进行全面的特征交互，得到高质量的模态转换和超分辨率特征；

如图2、图4及图5所示，在本实施例中，使用相互指导模块的两个分支进行两个子任务的深层特征提取，并使用双向注意力传递机制，让两个任务之间能够进行全面的特征交互，生成高质量的模态转换和超分辨率特征，在本实施例中，MGM模块包括：两个分支，即模态转换分支和超分辨率分支。每个分支都由四个Swin Transformer块(RSTB)组成，每个RSTB包含六个Swin Transformer层(STL)和一个本方法设计的相互指导层(MGL)。MGL模块和STL模块的结构参见图4及图5。

如图6所示，在本实施例中，获取高质量的模态转换和超分辨率特征的步骤S2，还包括以下具体步骤：

S21、利用相互指导层MGL首先实现多头自注意力MSA和移位窗口机制，以增强来自对面分支的指导信息；

S22、利用MGL执行多头交叉注意力MCA和移位窗口机制，以从对面分支生成注意力，并使用该注意力进行指导；

在本实施例中，MCA的计算如下：

Q＝YW^Q,K＝YW^K,V＝XW^v

其中，W^Q，W^K和W^V是线性投影矩阵，它们在不同的窗口之间共享。X表示当前分支输入的特征，而Y表示来自对立分支的特征。注意力矩阵是通过在本地窗口内的自注意力或交叉注意力机制来计算的，如下所示：

其中，B是可学习的相对位置编码矩阵。d_k是查询K的维度。Attention(·)表示自注意力或交叉注意力。

在本实施例的MSA中，Q,K和V来自其自身的分支。在MCA中，Q和K来自传递自对立分支的特征，而V来自其自身分支输入的特征。

S23、设置单独的不干扰STL组，引导特征通过STL进行处理，然后与当前分支的特征结合。

在本实施例中，STL中的整个过程如下所述：

Y＝MSA(LN(Y))+Y,

Y＝MLP(LN(Y))+Y.

其中，术语MSA、MLP和LN分别代表多头自注意力、多层感知器和层归一化的功能，Y表示输入特征。

在本实施例中，引导特征通过STL进行处理，然后与当前分支的特征结合，以计算交叉注意力。整个过程如下式所述：

Y＝STL(Y),

X^l＝MCA(LN(X^l-1),Y)+X^l-1,

X^l+1＝MLP(LN(X^l)+X^l-1).

其中，STL表示Swin Transformer层，MCA表示多头交叉注意力函数，MLP和LN分别表示多层感知机和层归一化。X和Y分别表示当前分支的特征和对立分支的特征。

S3、构建并利用双向对齐融合模块BAFM，同时将两个分支的输出精细对齐到相同的特征空间，并进行特征融合，得到有效的融合特征；

在本实施例中，重复三次RSTB特征处理。

如图2所示，使用双向对齐融合模块BAFM来消除两种已提取特征的位置信息差异，并将其对齐融合。

如图7所示，在本实施例中，特征融合的步骤S3，还包括以下具体步骤：

S31、将模态转换特征和超分辨率特征输入到两个FAM模块；

S32、将参考特征输入到FSM中进行特征选择；

如图8及图9所示，在本实施例中，利用FSM模块进行特征选择。其中FSM模块的结构参见图9。

在本实施例中，FSM模块中的实现逻辑包括：

FSM(X_ref)＝Conv(X_ref+u),

u＝σ(Conv(GAP(X_ref)).

其中，FSM表示特征选择模块FSM，X_ref表示参考特征，GAP表示全局平均池化层，Conv表示1×1卷积，σ表示sigmoid激活函数。

S33、从要对齐的特征和选定的参考特征的组合中预测映射参数偏移量，适用偏移量通过可变形卷积对要对齐的特征进行对齐；

映射参数偏移量是从要对齐的特征和选定的参考特征的组合中预测出来的，然后使用偏移量通过可变形卷积对要对齐的特征进行对齐。

在本实施例中，对齐过程如下：

FAM(X_ref,X_in)＝DCN(X_in,Δ),

Δ＝Conv([X_selt,X_in]).

其中，X_selt表示FSM模块选择后的参考特征，X_in表示需要对齐的特征，[·,·]表示沿着通道维度的连接操作，Conv表示1×1卷积，Δ表示在可变形卷积中的偏移量。X_ref表示参考特征，DCN表示可变形卷积。

S34、经过两个FAMs后，对齐的特征将进行通道连接操作，然后进行3×3卷积以减少通道数量作为最终的输出特征。

在本实施例中，经过两个FAMs后，对齐的特征将进行通道连接操作，然后进行3×3卷积以减少通道数量作为最终的输出特征。

整个BAFM模块的公式如下：

X_out＝Conv([FAM₁(X_mc,X_st),FAM₂(X_sr,X_mc)])

其中[·,·]表示沿着通道维度的连接操作，X_mc和X_sr分别表示MGM模块中的模态转换分支和超分辨率分支的输出。FAM₁和FAM₂表示两个具有相同结构的FAM模块，Conv表示一个3×3的卷积层。

S4、融合的特征通过pixelshuffle上采样得到超分辨率结果。将超分辨率结果作为整个框架生成的最终高分辨率热成像图像。使用pix2pix论文中的损失函数进行输出评估，以获得准确的模态转换结果。

在本实施例中，融合的特征通过上采样得到超分辨率结果，参见图2。为了获得准确的模态转换结果，我们使用pix2pix论文中的损失函数进行输出评估。这种方法涉及到L1损失和条件gan损失的组合，其中，L1损失的计算如下：

ζ_pix＝||I_mc-I_hr||₁

其中，I_mc表示模态转换结果，I_hr表示GT热成像。由于欧几里得距离约束导致图像模糊，我们在模态转换任务中引入了条件GAN损失，其公式如下：

ζ_adv＝E_x,y[㏒D(x,y)]+E_x,z[㏒(1-D(G(X,Z)))]

其中，x表示输入的可见图像，y表示GT热图像，z表示随机噪声，D表示判别器，G表示成器。模态转换任务的总损失函数如下：

ζ_mc＝αL_adv+βL_pix

其中，α和β是超参数，我们遵循了Pixtopix的设置，使得α＝1和β＝100。对于超分辨率任务的输出，我们使用传统的L1损失进行约束，损失的计算如下：

ζ_sr＝||I_sr-I_hr||₁

其中I_sr是我们的超分辨率任务的预测结果，I_hr是GT热图像。为了平衡两个任务的训练，我们使用了不确定性损失作为整个模型的最终损失函数，损失的计算如下：

其中L_mc和L_sr分别表示模态转换任务和超分辨率任务的损失函数。σ1和σ2是可学习的参数，分别表示L_mc和L_sr的损失权重，而损失函数的最后一项，㏒σ1σ2，作为权重的正则化项。

综上，本发明新的协同训练框架CFIG(Collaborative Framework for High-Resolution Thermal UAV Image Generation)，本发明将模态转换任务与超分辨率任务结合起来，通过协同学习特征交互，来缩小两种模态之间的距离，充分利用可见图像中的信息，弥合不同模态之间的差异，从而生成无人机高分辨率图像。

本发明通过相互指导模块MGM提取深层特征，通过双向对齐融合模块BAFM进行特征融合，能够将复杂的遥感可见图像转换为热图像，并从中准确提取有用信息，从而有效引导超分辨率任务，将超分辨率输出作为最终的高分辨率热图像，进一步提高了无人机热红外图像的分辨率。

本发明在相互指导模块中，超分辨率任务可以为模态转换任务提供丰富的热信息，而模态转换任务能够为超分辨率任务解决跨模态差异问题，通过设计相互指导模块，结合图像超分辨率和模态转换，能够有效弥合不同模态之间的差距，充分利用可见图像中的信息，以恢复更好的纹理细节和结构信息。

本发明设计了相互指导层(MGL)用于两个分支的特征交互，并设置单独的不干扰STL组，有利于两种模态在信息交互后可以通过单独的STL处理接收到的信息，更加专注于各自的任务。

本发明的技术方案在深层特征提取步骤，为了有效利用来自可见图像的信息，引入互相指导模块共同完成模态转换任务和超分辨率任务，使用Transformer的注意力机制进行特征交互，使得两个任务具有相互加强效果。

本发明设计了BAFM来对齐和融合两种特征，以充分利用特征之间的互补潜力，消除两种特征的位置信息差异，然后将融合的特征上采样为高分辨率的热成像。

本发明在特征融合步骤，使用双向对齐融合模块，以用来将模态转换和超分辨率任务生成的互补的热图像进行融合。上述两种模块能够将复杂的遥感可见图像转换为热图像，并从中准确提取有用信息，从而有效引导超分辨率任务，将超分辨率输出作为最终的高分辨率热图像，提高了无人机热红外图像的分辨率。

本发明解决了现有技术中由于可见图像和热红外图像信息利用不充分、不同模态之间存在差异导致无人机热红外图像质量较低的技术问题。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.无人机高分辨率热红外图像生成方法，其特征在于，所述方法包括：

S1、利用无人机捕获热图像、可见光图像，按照不同类型对所述热图像、所述可见光图像分别提取浅层特征，保留每种模态特定信息，以得到热红外模态浅层特征、可见光模态浅层特征；

S2、构建并利用相互指导模块MGM，将所述热红外模态浅层特征、所述可见光模态浅层特征，分别输入到所述相互指导模块MGM的不同分支，以提取热红外子任务的深层特征、可见光子任务的深层特征，在所述热红外子任务、所述可见光子任务之间，进行特征交互操作，得到模态转换特征、超分辨率特征，其中，所述相互指导模块MGM包括：模态转换分支、超分辨率分支；

S3、构建并利用双向对齐融合模块BAFM，将所述模态转换特征、所述超分辨率特征，精细对齐到相同特征空间，并进行特征融合，得到有效融合特征；

S4、对所述有效融合特征，进行pixelshuffle上采样，以得到超分辨率结果，以作为适用高分辨率热成像图像。

2.根据权利要求1所述的无人机高分辨率热红外图像生成方法，其特征在于，所述步骤S1包括：

S11、利用单个3×3的卷积层，扩展所述热图像的特征图通道数，以提取所述热红外模态浅层特征；

S12、利用不少于2个3×3的所述卷积层，提取所述可见光模态浅层特征。

3.根据权利要求1所述的无人机高分辨率热红外图像生成方法，其特征在于，所述步骤S2包括：

S21、利用所述相互指导模块MGM的相互指导层MGL，实现多头自注意力MSA、移位窗口机制，以增强来自对面分支的指导信息；

S22、利用所述相互指导层MGL，执行多头交叉注意力MCA、移位窗口机制，以从所述对面分支生成注意力，据以进行指导操作；

其中，利用下述逻辑，执行所述多头交叉注意力MCA：

Q＝YW^Q,K＝YW^K,V＝XW^V

式中，W^Q，W^K和W^V是线性投影矩阵。X表示当前分支输入的特征，而Y表示来自对立分支的特征；

利用下述逻辑，根据在本地窗口内的的自注意力、交叉注意力，求取注意力矩阵：

式中，B是可学习的相对位置编码矩阵。d_k是查询K的维度。Attention(·)表示自注意力或交叉注意力；

S23、设置单独的不干扰STL组，以处理预置引导特征，得到STL特征，以与当前分支的所述模态转换特征、所述超分辨率特征结合。

4.根据权利要求3所述的无人机高分辨率热红外图像生成方法，其特征在于，所述步骤S23中，所述不干扰STL组利用下述逻辑，处理所述引导特征，以得到所述STL特征：

Y＝MSA(LN(Y))+Y,

Y＝MLP(LN(Y))+Y.

式中，MSA、MLP以及LN分别代表多头自注意力、多层感知器和层归一化的功能，Y表示输入特征。

5.根据权利要求3所述的无人机高分辨率热红外图像生成方法，其特征在于，所述步骤S23中，所述不干扰STL组利用下述逻辑，结合处理所述所述STL特征与所述所述模态转换超分辨率特征，以计算所述多头交叉注意力MCA：

Y＝STL(Y),

X^l＝MCA(LN(X^l-1),Y)+X^l-1,

X^l+1＝MLP(LN(X^l)+X^l-1).

式中，STL表示Swin Transformer层，MCA表示多头交叉注意力函数，MLP和LN分别表示多层感知机和层归一化，X和Y分别表示当前分支的特征和对立分支的特征。

6.根据权利要求1所述的无人机高分辨率热红外图像生成方法，其特征在于，所述步骤S3中，所述BAFM模块的实现逻辑包括：

X_out＝Conv([FAM₁(X_mc,X_sr),FAM₂(X_sr,X_mc)])

式中，[·,·]表示沿着通道维度的连接操作，X_mc和X_sr分别表示MGM模块中的模态转换分支和超分辨率分支的输出。FAM₁和FAM₂表示两个具有相同结构的FAM模块，Conv表示一个3×3的卷积层。

7.根据权利要求1所述的无人机高分辨率热红外图像生成方法，其特征在于，所述步骤S3包括：

S31、将所述模态转换特征、所述超分辨率特征输入到不少于2个FAM模块；

S32、将预置参考特征输入到FSM模块，以进行特征选择得到选定参考特征；

S33、从所述模态转换特征、所述超分辨率特征，以所述选定参考特征的组合中，预测映射参数偏移量，适用偏移量，利用可变形卷积，对齐处理所述模态转换特征、所述超分辨率特征，以得到对齐特征。

S34、对所述对齐特征，进行通道连接操作以及3×3卷积，以得到所述有效融合特征。

8.根据权利要求7所述的无人机高分辨率热红外图像生成方法，其特征在于，所述步骤S32中，所述FSM模块的实现逻辑包括：

FSM(X_ref)＝Conv(X_ref+u),

u＝σ(Conv(GAP(X_ref)).

式中，FSM表示特征选择模块FSM，X_ref表示参考特征，GAP表示全局平均池化层，Conv表示1×1卷积，σ表示sigmoid激活函数。

9.根据权利要求7所述的无人机高分辨率热红外图像生成方法，其特征在于，所述不干扰STL组利用下述逻辑，结合处理所述所述STL特征与所述所述模态转换超分辨率特征，以计算所述多头交叉注意力MCA：

Y＝STL(Y),

X^l＝MCA(LN(X^l-1),Y)+X^l-1,

X^l+1＝MLP(LN(X^l)+X^l-1).

式中，STL表示Swin Transformer层，MCA表示多头交叉注意力函数，MLP和LN分别表示多层感知机和层归一化，X和Y分别表示当前分支的特征和对立分支的特征。

10.无人机高分辨率热红外图像生成系统，其特征在于，所述系统包括：

浅层特征提取模块，用以利用无人机捕获热图像、可见光图像，按照不同类型对所述热图像、所述可见光图像分别提取浅层特征，保留每种模态特定信息，以得到热红外模态浅层特征、可见光模态浅层特征；

相互指导模块，用以将所述热红外模态浅层特征、所述可见光模态浅层特征，分别输入到所述相互指导模块MGM的不同分支，以提取热红外子任务的深层特征、可见光子任务的深层特征，在所述热红外子任务、所述可见光子任务之间，进行特征交互操作，得到模态转换特征、超分辨率特征，其中，所述相互指导模块MGM包括：模态转换分支、超分辨率分支，所述相互指导模块与所述浅层特征提取模块连接；

特征对齐融合模块，用以构建并利用双向对齐融合模块BAFM，将所述模态转换特征、所述超分辨率特征，精细对齐到相同特征空间，并进行特征融合，得到有效融合特征，所述特征对齐融合模块与所述相互指导模块连接；

高分辨率热成像图像获取模块，用以对所述有效融合特征，进行pixelshuffle上采样，以得到超分辨率结果，以作为适用高分辨率热成像图像，所述高分辨率热成像图像获取模块与所述特征对齐融合模块连接。