CN111681195B - 红外图像和可见光图像的融合方法、装置及可读存储介质 - Google Patents

Abstract

本申请公开了一种红外图像和可见光图像的融合方法、装置及计算机可读存储介质。其中，方法包括基于深度学习方法训练卷积神经网络模型得到包含编码模块和解码模块的编码‑解码模型；编码模块的每一个卷积网络层输出的特征图分辨率保持不变、且每一卷积网络层的输出都与其之前的每一个网络卷积层前向连接。获取航天靶场光学设备于同一时刻拍摄同一目标的可见光图像和红外图像，响应图像特征提取指令调用编码模块对这两幅图像进行图像特征提取得到红外图像特征和可见光特征；将红外图像特征和可见光特征进行融合得到融合图像特征；调用解码模块对融合图像特征进行解码重建以响应图像融合指令，从而得到包含图像特征信息更多的高质量融合图像。

Description

红外图像和可见光图像的融合方法、装置及可读存储介质

技术领域

本申请涉及图像处理技术领域，特别是涉及一种红外图像和可见光图像的融合方法、装置及计算机可读存储介质。

背景技术

随着红外技术的快速发展，同时配备可见光相机和红外相机的光学设备越来越多，例如航天靶场光学设备，该设备用于对火箭飞行实况景象进行记录。可以理解的是，不同成像类型的相机的成像特点不同，可见光相机分辨率高，细节信息丰富，红外相机不受背景照度影响，可用性较高。因此，通过融合红外图像与可见光图像将两者的优势进行互补，可以获得质量更高的图像。

传统红外与可见光图像融合方法一般基于多尺度分解方法，这种方法需要手工设计特征提取方法和特征融合策略，适用性较差。为了解决传统图像融合方法的缺陷，相关技术基于神经网络且采用降采样方法进行特征提取，然后基于提取后的特征直接进行图像融合。而基于降采样的特征提取方法往往都伴随着特征位置信息的丢失，基于提取特征直接进行图像融合会导致较多的图像信息丢失，最终得到的融合图像不满足用户的高质量需求。

鉴于此，如何得到包含图像特征信息更多的高质量融合图像，是所属领域技术人员需要解决的技术问题。

发明内容

本申请提供了一种红外图像和可见光图像的融合方法、装置及计算机可读存储介质，获取得到了包含图像特征信息更多的高质量融合图像。

为解决上述技术问题，本发明实施例提供以下技术方案：

本发明实施例一方面提供了一种红外图像和可见光图像的融合方法，包括：

预先训练包含编码模块和解码模块的编码-解码模型；所述编码模块和所述解码模块均为基于深度学习方法训练卷积神经网络模型所得，所述编码模块的每一个卷积网络层输出的特征图分辨率保持不变、且每一卷积网络层的输出都与其之前的每一个网络卷积层前向连接；

调用所述编码模块对航天靶场光学设备于同一时刻拍摄同一目标的待融合可见光图像和待融合红外图像进行图像特征提取以响应图像特征提取指令，得到红外图像特征和可见光特征；

将所述红外图像特征和所述可见光特征进行融合以响应特征融合指令，得到融合图像特征；

调用所述解码模块对所述融合图像特征进行解码重建以响应图像融合指令，得到融合图像。

可选的，所述解码模块采用对称U型结构，所述调用所述解码模块对所述融合图像特征进行解码重建以响应图像融合指令，得到融合图像包括：

将所述融合图像特征发送至所述编码-解码模型的解码模块中，以使所述解码模块采用所述对称U型结构将当前网络层的特征图与所述编码模块输出的特征图不断进行叠加直至重建得到所述融合图像。

可选的，所述编码模块包括第一卷积网络层、第二卷积网络层、第三卷积网络层和第四卷积网络层，且各卷积网络层输入的特征图数量逐渐增加；

其中，所述第一卷积网络层、所述第二卷积网络层、所述第三卷积网络层和所述第四卷积网络层的卷积核尺寸均为[3，3]，卷积步长均为[1，1]，输出的特征图的分辨率均为[256，320]。

可选的，所述将所述红外图像特征和所述可见光特征进行融合以响应特征融合指令，得到融合图像特征包括：

将所述红外图像特征和所述可见光特征进行特征相加，得到融合图像特征。

可选的，所述解码模块包括第五卷积网络层、第六卷积网络层、第七卷积网络层和第八卷积网络层，且逐渐减少各卷积网络层输出的特征图数量；

其中，所述第五卷积网络层、所述第六卷积网络层、所述第七卷积网络层和所述第八卷积网络层的卷积核尺寸均为[3，3]，卷积步长均为[1，1]，输出的特征图数量相同且分辨率均为[256，320]。

本发明实施例另一方面提供了一种红外图像和可见光图像的融合装置，包括：

模型训练模块，用于预先训练包含编码模块和解码模块的编码-解码模型；所述编码模块和所述解码模块均为基于深度学习方法训练卷积神经网络模型所得，所述编码模块的每一个卷积网络层输出的特征图分辨率保持不变、且每一卷积网络层的输出都与其之前的每一个网络卷积层前向连接；

特征提取模块，用于调用所述编码模块对航天靶场光学设备于同一时刻拍摄同一目标的待融合可见光图像和待融合红外图像进行图像特征提取以响应图像特征提取指令，得到红外图像特征和可见光特征；

特征融合模块，用于将所述红外图像特征和所述可见光特征进行融合以响应特征融合指令，得到融合图像特征；

图像融合模块，用于调用所述解码模块对所述融合图像特征进行解码重建以响应图像融合指令，得到融合图像。

可选的，所述图像融合模块为将所述融合图像特征发送至所述编码-解码模型的解码模块中，以使所述解码模块采用所述对称U型结构将当前网络层的特征图与所述编码模块输出的特征图不断进行叠加直至重建得到所述融合图像的模块；所述解码模块采用对称U型结构。

可选的，所述特征融合模块为将所述红外图像特征和所述可见光特征进行特征相加，得到融合图像特征的模块。

本发明实施例还提供了一种红外图像和可见光图像的融合装置，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如前任一项所述红外图像和可见光图像的融合方法的步骤。

本发明实施例最后还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有红外图像和可见光图像的融合程序，所述红外图像和可见光图像的融合程序被处理器执行时实现如前任一项所述红外图像和可见光图像的融合方法的步骤。

本申请提供的技术方案的优点在于，编码模块的每一层的特征都前向传播至每一个网络层，能够自动关联深层和浅层特征，提取丰富的特征信息；在特征提取的过程中，随着特征提取网络的深入，特征图尺寸不断变小不同，不需要进行降采样处理，特征图尺寸保持不变，从而避免了特征位置信息的丢失，尽可能保留多的特征位置信息，从而保证后续得到的融合图像包含的图像特征信息更多；在对融合图像特征解码重建后进行图像融合，进一步保留更多的图像信息在融合图像中，有效提升融合图像的质量。

此外，本发明实施例还针对红外图像和可见光图像的融合方法提供了相应的实现装置及计算机可读存储介质，进一步使得所述方法更具有实用性，所述装置及计算机可读存储介质具有相应的优点。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。

附图说明

为了更清楚的说明本发明实施例或相关技术的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种红外图像和可见光图像的融合方法的流程示意图；

图2为本发明实施例提供的编码-解码模型的一种实施方式下的结构示意图；

图3为本发明实施例提供的基于图2编码-解码模型的示意性例子输入的红外图像的示意图；

图4为本发明实施例提供的基于图2编码-解码模型的示意性例子输入的可见光图像的示意图；

图5为本发明实施例提供的基于图2编码-解码模型的示意性例子得到的融合图像的示意图；

图6为本发明实施例提供的红外图像和可见光图像的融合装置的一种具体实施方式结构图；

图7为本发明实施例提供的红外图像和可见光图像的融合装置的另一种具体实施方式结构图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。

在介绍了本发明实施例的技术方案后，下面详细的说明本申请的各种非限制性实施方式。

首先参见图1，图1为本发明实施例提供的一种红外图像和可见光图像的融合方法的流程示意图，本发明实施例可包括以下内容：

S101：预先训练包含编码模块和解码模块的编码-解码模型。

在本申请中，编码-解码模型用于对输入图像进行特征提取并基于提取的图像特征进行图像重建，该模型可基于深度学习方法利用大量样本数据集如COCO2017数据集训练卷积神经网络模型得到，编码-解码模型可包括用于进行特征提取的编码模块和用于图像重建的解码模块，编码模块和解码模块可均为基于深度学习方法训练卷积神经网络模型所得。编码模块的每一卷积网络层的输出都与其之前的每一个网络卷积层前向连接，采用了密集连接思想，每一层的特征都前向传播至每一个网络层，能够自动关联深层和浅层特征，提取丰富的特征信息。可以理解的是，密集连接网络的模型结构随着特征提取网络的深入特征图尺寸不断变小，特征提取神经网络结构需要进行降采样处理，而进行降采样往往都伴随着特征位置信息的丢失，不利于得到高质量融合图像，本申请的编码模块的每一个卷积网络层输出的特征图分辨率保持不变，特征图尺寸保持不变，避免了特征位置信息的丢失，尽可能保留多的特征位置信息。

S102：调用编码模块对航天靶场光学设备于同一时刻拍摄同一目标的待融合可见光图像和待融合红外图像进行图像特征提取以响应图像特征提取指令，得到红外图像特征和可见光特征。

本申请适用于航天靶场光学设备，对该设备中的红外相机和可见光相机于同一时刻拍摄同一目标的红外图像和可见光图像进行图像融合后输出展示给用户。在接收到图像特征提取指令后，待融合可见光图像和待融合红外图像发送至S101中训练好的编码-解码模型中，利用其模型中的编码模块对待融合可见光图像和待融合红外图像进行图像特征提取，得到红外图像特征和可见光特征。

S103：将红外图像特征和可见光特征进行融合以响应特征融合指令，得到融合图像特征。

本申请在进行图像融合前，可先将提取得到两张图像的图像特征进行融合，为了简化特征融合复杂度，可将红外图像特征和可见光特征进行特征相加得到融合图像特征。也就是说，可直接将红外图像特征如可表示为

和可见光图像特征如可表示为/>

进行相加，融合得到融合特征/>

采用特征相加的策略，相比其他复杂的特征融合策略，算法复杂度更简单，且效果几乎相当。

S104：调用解码模块对融合图像特征进行解码重建以响应图像融合指令，得到融合图像。

在图像特征融合完成之后，当接收到图像融合指令时触发图像融合步骤，可直接调用S101中训练好的编码-解码模型的解码模块融合图像特征进行解码重建，解码模型输出即为融合图像。

在本发明实施例提供的技术方案中，编码模块的每一层的特征都前向传播至每一个网络层，能够自动关联深层和浅层特征，提取丰富的特征信息；在特征提取的过程中，随着特征提取网络的深入，特征图尺寸不断变小不同，不需要进行降采样处理，特征图尺寸保持不变，从而避免了特征位置信息的丢失，尽可能保留多的特征位置信息，从而保证后续得到的融合图像包含的图像特征信息更多；在对融合图像特征解码重建后进行图像融合，进一步保留更多的图像信息在融合图像中，有效提升融合图像的质量。

需要说明的是，本申请中各步骤之间没有严格的先后执行顺序，只要符合逻辑上的顺序，则这些步骤可以同时执行，也可按照某种预设顺序执行，图1只是一种示意方式，并不代表只能是这样的执行顺序。

为了进一步增加融合图像包含原始图像的图像特征，在上述实施例中，对于解码模块的结构进行了限定，相应的，S104在对图像重建得到的融合图像中会增加更多的图像特征，可包括下述内容：

解码模块采用对称U型结构，调用解码模块对融合图像特征进行解码重建以响应图像融合指令，得到融合图像包括：

将融合图像特征发送至编码-解码模型的解码模块中，以使解码模块采用对称U型结构将当前网络层的特征图与编码模块输出的特征图不断进行叠加直至重建得到融合图像。

在进行图像重建时，采用对称的U型结构进行高低层特征的融合，将特征提取模块的特征与重建后的图像不断进行叠加，直至重建出最终的融合图像，使得融合图像的信息更加丰富。

为了使本领域技术人员更加清楚明白本申请的技术方案，本申请还提供了一个示意性例子，在该示意性例子中，编码-解码模型的结构如图2所示，输入编码-解码模型的红外图像和可见光图像如图3和图4所示，编码-解码模型输出最终的融合图像如图5所示，可包括下述内容：

在Tensorflow深度学习框架中搭建附图2中的编码-解码模型，编码模块中的特征提取网络采用了4层卷积网络，即包括第一卷积网络层、第二卷积网络层、第三卷积网络层和第四卷积网络层，第一卷积网络层、第二卷积网络层、第三卷积网络层和第四卷积网络层的卷积核尺寸均为[3，3]，卷积步长均为[1，1]，输出的特征图的分辨率均为[256，320]。这样避免了特征提取过程中降采样带来的特征位置信息的丢失。采用密集连接的思想，每一层的输出都前向连接至前面的每一层卷积层，因此各卷积网络层输入的特征图数量逐渐增加。随着卷积层的增加，特征图可依次增加为16，32，48，64。解码模块同样包括4层卷积网络，包括第五卷积网络层、第六卷积网络层、第七卷积网络层和第八卷积网络层，第五卷积网络层、第六卷积网络层、第七卷积网络层和第八卷积网络层的卷积核尺寸均为[3，3]，卷积步长均为[1，1]，输出的特征图数量相同且分辨率均为[256，320]。重建的过程中，逐渐减少各卷积网络层输出的特征图数量，例如可依次减少为64，48，32，1，同时利用对称U型结构，将本层的特征图与前面的特征提取网络层的特征图叠加，尽可能多的恢复更多地图像信息，得到最终的融合输出图像。整个编码-解码模型的参数如表1所示。

结合图3-图5可知，本申请基于图2的编码-解码模型输出的融合图像相比输入图像，包含更丰富的图像特征，取得好的融合效果。

表1编码-解码模型的参数

本发明实施例还针对红外图像和可见光图像的融合方法提供了相应的装置，进一步使得所述方法更具有实用性。其中，装置可从功能模块的角度和硬件的角度分别说明。下面对本发明实施例提供的红外图像和可见光图像的融合装置进行介绍，下文描述的红外图像和可见光图像的融合装置与上文描述的红外图像和可见光图像的融合方法可相互对应参照。

基于功能模块的角度，参见图6，图6为本发明实施例提供的红外图像和可见光图像的融合装置在一种具体实施方式下的结构图，该装置可包括：

模型训练模块601，用于预先训练包含编码模块和解码模块的编码-解码模型；编码模块和解码模块均为基于深度学习方法训练卷积神经网络模型所得，编码模块的每一个卷积网络层输出的特征图分辨率保持不变、且每一卷积网络层的输出都与其之前的每一个网络卷积层前向连接。

特征提取模块602，用于调用编码模块对航天靶场光学设备于同一时刻拍摄同一目标的待融合可见光图像和待融合红外图像进行图像特征提取以响应图像特征提取指令，得到红外图像特征和可见光特征。

特征融合模块603，用于将红外图像特征和可见光特征进行融合以响应特征融合指令，得到融合图像特征。

图像融合模块604，用于调用解码模块对融合图像特征进行解码重建以响应图像融合指令，得到融合图像。

可选的，在本实施例的一些实施方式中，所述图像融合模块604可为将融合图像特征发送至编码-解码模型的解码模块中，以使解码模块采用对称U型结构将当前网络层的特征图与编码模块输出的特征图不断进行叠加直至重建得到融合图像的模块；解码模块采用对称U型结构。

可选的，在本实施例的另一些实施方式中，所述特征融合模块603例如还可为将红外图像特征和可见光特征进行特征相加，得到融合图像特征的模块。

本发明实施例所述红外图像和可见光图像的融合装置的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

由上可知，本发明实施例包含了图像特征信息更多的高质量融合图像。

上文中提到的红外图像和可见光图像的融合装置是从功能模块的角度描述，进一步的，本申请还提供一种红外图像和可见光图像的融合装置，是从硬件角度描述。图7为本申请实施例提供的另一种红外图像和可见光图像的融合装置的结构图。如图7所示，该装置包括存储器70，用于存储计算机程序；

处理器71，用于执行计算机程序时实现如上述任一实施例提到的红外图像和可见光图像的融合方法的步骤。

其中，处理器71可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器71可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器71也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器71可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器71还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器70可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器70还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器70至少用于存储以下计算机程序701，其中，该计算机程序被处理器71加载并执行之后，能够实现前述任一实施例公开的红外图像和可见光图像的融合方法的相关步骤。另外，存储器70所存储的资源还可以包括操作系统702和数据703等，存储方式可以是短暂存储或者永久存储。其中，操作系统702可以包括Windows、Unix、Linux等。数据703可以包括但不限于测试结果对应的数据等。

在一些实施例中，红外图像和可见光图像的融合装置还可包括有显示屏72、输入输出接口73、通信接口74、电源75以及通信总线76。

本领域技术人员可以理解，图7中示出的结构并不构成对红外图像和可见光图像的融合装置的限定，可以包括比图示更多或更少的组件，例如传感器77。

本发明实施例所述红外图像和可见光图像的融合装置的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

由上可知，本发明实施例包含了图像特征信息更多的高质量融合图像。

可以理解的是，如果上述实施例中的红外图像和可见光图像的融合方法以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random AccessMemory，RAM)、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、磁碟或者光盘等各种可以存储程序代码的介质。

基于此，本发明实施例还提供了一种计算机可读存储介质，存储有红外图像和可见光图像的融合程序，所述红外图像和可见光图像的融合程序被处理器执行时如上任意一实施例所述红外图像和可见光图像的融合方法的步骤。

本发明实施例所述计算机可读存储介质的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

由上可知，本发明实施例包含了图像特征信息更多的高质量融合图像。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

以上对本申请所提供的一种红外图像和可见光图像的融合方法、装置及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims (8)

1.一种红外图像和可见光图像的融合方法，其特征在于，包括：

预先训练包含编码模块和解码模块的编码-解码模型；所述编码模块和所述解码模块均为基于深度学习方法训练卷积神经网络模型所得，所述编码模块的每一个卷积网络层输出的特征图分辨率保持不变、且每一卷积网络层的输出都与其之后的每一个网络卷积层前向密集连接；所述解码模块采用对称U型结构，其用于图像重建；

调用所述编码模块对航天靶场光学设备于同一时刻拍摄同一目标的待融合可见光图像和待融合红外图像进行图像特征提取以响应图像特征提取指令，得到红外图像特征和可见光特征；

将所述红外图像特征和所述可见光特征进行融合以响应特征融合指令，得到融合图像特征；

调用所述解码模块对所述融合图像特征进行解码重建以响应图像融合指令，得到融合图像；其中，所述调用所述解码模块对所述融合图像特征进行解码重建以响应图像融合指令，得到融合图像的过程包括：

将所述融合图像特征发送至所述编码-解码模型的解码模块中，以使所述解码模块采用所述对称U型结构将当前网络层的特征图与所述编码模块输出的特征图不断进行叠加直至重建得到所述融合图像。

2.根据权利要求1所述的红外图像和可见光图像的融合方法，其特征在于，所述编码模块包括第一卷积网络层、第二卷积网络层、第三卷积网络层和第四卷积网络层；所述编码模块采用密集连接的思想，每一卷积网络层的输出都前向密集连接至后面的每一卷积网络层，且各卷积网络层输入的特征图数量逐渐增加；随着卷积网络层的增加，各卷积网络层输出的特征图可依次增加为16，32，48，64；

其中，所述第一卷积网络层、所述第二卷积网络层、所述第三卷积网络层和所述第四卷积网络层的卷积核尺寸均为[3，3]，卷积步长均为[1，1]，输出的特征图的分辨率均为[256，320]。

3.根据权利要求1或2所述的红外图像和可见光图像的融合方法，其特征在于，所述将所述红外图像特征和所述可见光特征进行融合以响应特征融合指令，得到融合图像特征包括：

将所述红外图像特征和所述可见光特征进行特征相加，得到融合图像特征。

4.根据权利要求3所述的红外图像和可见光图像的融合方法，其特征在于，所述解码模块包括第五卷积网络层、第六卷积网络层、第七卷积网络层和第八卷积网络层；重建的过程中，逐渐减少各卷积网络层输出的特征图数量，随着卷积网络层的减少，各卷积网络层输出的特征图可依次减少为64，48，32，1；同时利用所述对称U型结构将本卷积网络层的特征图与前面的特征提取网络层的特征图叠加，以得到最终的融合输出图像；

其中，所述第五卷积网络层、所述第六卷积网络层、所述第七卷积网络层和所述第八卷积网络层的卷积核尺寸均为[3，3]，卷积步长均为[1，1]，输出的特征图数量相同且分辨率均为[256，320]。

5.一种红外图像和可见光图像的融合装置，其特征在于，包括：

模型训练模块，用于预先训练包含编码模块和解码模块的编码-解码模型；所述编码模块和所述解码模块均为基于深度学习方法训练卷积神经网络模型所得，所述编码模块的每一个卷积网络层输出的特征图分辨率保持不变、且每一卷积网络层的输出都与其之后的每一个网络卷积层前向密集连接；所述解码模块采用对称U型结构，其用于图像重建；

特征提取模块，用于调用所述编码模块对航天靶场光学设备于同一时刻拍摄同一目标的待融合可见光图像和待融合红外图像进行图像特征提取以响应图像特征提取指令，得到红外图像特征和可见光特征；

特征融合模块，用于将所述红外图像特征和所述可见光特征进行融合以响应特征融合指令，得到融合图像特征；

图像融合模块，用于调用所述解码模块对所述融合图像特征进行解码重建以响应图像融合指令，得到融合图像；

其中，所述图像融合模块为将所述融合图像特征发送至所述编码-解码模型的解码模块中，以使所述解码模块采用所述对称U型结构将当前网络层的特征图与所述编码模块输出的特征图不断进行叠加直至重建得到所述融合图像的模块。

6.根据权利要求5所述的红外图像和可见光图像的融合装置，其特征在于，所述特征融合模块为将所述红外图像特征和所述可见光特征进行特征相加，得到融合图像特征的模块。

7.一种红外图像和可见光图像的融合装置，其特征在于，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1至4任一项所述红外图像和可见光图像的融合方法的步骤。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有红外图像和可见光图像的融合程序，所述红外图像和可见光图像的融合程序被处理器执行时实现如权利要求1至4任一项所述红外图像和可见光图像的融合方法的步骤。

Images