CN113160104A - 一种基于密集连接网络的图像融合方法 - Google Patents

一种基于密集连接网络的图像融合方法 Download PDF

Info

Publication number
CN113160104A
CN113160104A CN202110560960.3A CN202110560960A CN113160104A CN 113160104 A CN113160104 A CN 113160104A CN 202110560960 A CN202110560960 A CN 202110560960A CN 113160104 A CN113160104 A CN 113160104A
Authority
CN
China
Prior art keywords
feature map
image
deep
convolution
dense
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110560960.3A
Other languages
English (en)
Other versions
CN113160104B (zh
Inventor
程良伦
李凤
吴衡
陈妍伶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202110560960.3A priority Critical patent/CN113160104B/zh
Publication of CN113160104A publication Critical patent/CN113160104A/zh
Application granted granted Critical
Publication of CN113160104B publication Critical patent/CN113160104B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明提供的一种基于密集连接网络的图像融合方法，首先将获取的第一图像和第二图像分别输入至第一卷积层中，通过第一卷积层来提取第一图像和第二图像的浅层特征，接着，再将提取后得到的第一浅层特征图和第二浅层特征图分别输入至密集连接网络中，通过密集连接网络提取第一浅层特征图和第二浅层特征图的深层特征，并且通过密集连接网络提取的特征具有上下文联系，能够更好地进行图像融合；最后，本申请对密集连接网络中提取得到的第一深层特征图和第二深层特征图进行深层特征融合，并对融合后的特征进行重构后获得最终的融合图像，该融合图像包含丰富的边缘信息和场景信息，提高了融合质量。

Description

一种基于密集连接网络的图像融合方法
技术领域
本发明涉及图像融合技术领域，尤其涉及一种基于密集连接网络的图像融合方法。
背景技术
近年来，红外和可见光图像融合技术得到了广泛的关注。红外成像受环境影响较小，在恶劣天气、光线较弱、目标突出的情况下仍能成像。可见光成像通过利用物体对可见光的反射，获得边缘清晰、轮廓清晰的可见光图像。然而，由于红外相机的固有特点，存在细节信息不明显、对比度低、目标纹理信息不足等问题。因此，结合红外和可见光图像的优点，融合红外和可见光图像可以获得信息丰富和鲁棒性强的图像。
目前，随着深度学习的发展，许多基于深度学习的融合方法被广泛用于红外和可见光图像融合领域中。通过利用卷积网络获得图像特征和重建融合图像，但基于卷积网络的方法仍然存在缺陷，使用卷积网络对图像进行融合时，容易丢失中间层特征以及难以提取深层特征，使得最终得到的融合图像的融合质量较低。
发明内容
本发明的目的旨在至少能解决上述的技术缺陷之一，特别是现有技术中使用卷积网络对图像进行融合时，容易丢失中间层特征以及难以提取深层特征，使得最终得到的融合图像的融合质量较低的技术缺陷。
本发明提供了一种基于密集连接网络的图像融合方法，所述方法包括：
获取待融合的第一图像和第二图像；
通过第一卷积层提取所述第一图像和所述第二图像的浅层特征，得到第一浅层特征图和第二浅层特征图；
通过密集连接网络提取所述第一浅层特征图和所述第二浅层特征图的深层特征，得到第一深层特征图和第二深层特征图；
对所述第一深层特征图和所述第二深层特征图进行加权融合；
将加权融合后的特征图进行重构，得到最终的融合图像。
可选地，所述第一图像包括红外图像，所述第二图像包括可见光图像；
所述获取待融合的第一图像和第二图像的步骤，包括：
获取红外图像和原始可见光图像；
利用所述红外图像对所述原始可见光图像进行预处理，得到可见光图像。
可选地，所述利用所述红外图像对所述原始可见光图像进行预处理，得到可见光图像的步骤，包括：
确定所述红外图像的分辨率；
根据所述红外图像的分辨率对所述原始可见光图像进行裁剪，得到可见光图像。
可选地，所述密集连接网络包括至少一个第二卷积层、至少三个密集连接的卷积块和至少一个第三卷积层，每个卷积块包括至少三个密集卷积层。
可选地，所述通过密集连接网络提取所述第一浅层特征图的深层特征，得到第一深层特征图的步骤，包括：
通过所述密集连接网络中的第二卷积层提取所述第一浅层特征图的特征信息，并将所述特征信息输入至所述卷积块中；
依次通过每个卷积块中的每个密集卷积层，将之前所有的第二卷积层和/或密集卷积层输入的特征信息进行拼接，并将拼接后提取的特征信息传递至之后的各个密集卷积层中；
将所述卷积块中最后一个密集卷积层输出的特征图输入至所述第三卷积层中，通过所述第三卷积层提取所述特征图的特征信息，得到第一深层特征图。
可选地，所述通过密集连接网络提取所述第二浅层特征图的深层特征，得到第二深层特征图的步骤，包括：
通过所述密集连接网络中的第二卷积层提取所述第二浅层特征图的特征信息，并将所述特征信息输入至所述卷积块中；
依次通过每个卷积块中的每个密集卷积层，将之前所有的第二卷积层和/或密集卷积层输入的特征信息进行拼接，并将拼接后提取的特征信息传递至之后的各个密集卷积层中；
将所述卷积块中最后一个密集卷积层输出的特征图输入至所述第三卷积层中，通过所述第三卷积层提取所述特征图的特征信息，得到第二深层特征图。
可选地，所述对所述第一深层特征图和所述第二深层特征图进行加权融合的步骤，包括：
确定所述第一深层特征图的像素值和权值，以及所述第二深层特征图的像素值和权值；
根据所述第一深层特征图的像素值和权值，以及所述第二深层特征图的像素值和权值，对所述第一深层特征图和所述第二深层特征图进行加权融合。
可选地，所述第一深层特征图的权值和所述第二深层特征图的权值相同。
可选地，所述重构过程包括至少四个第四卷积层。
可选地，所述将加权融合后的特征图进行重构，得到最终的融合图像的步骤，包括：
将所述加权融合后的特征图输入至所述第四卷积层中，通过所述第四卷积层对所述加权融合后的特征图进行特征重构，得到最终的融合图像。
从以上技术方案可以看出，本发明实施例具有以下优点：
本发明提供的一种基于密集连接网络的图像融合方法，首先将获取的第一图像和第二图像分别输入至第一卷积层中，通过第一卷积层来提取第一图像和第二图像的浅层特征，接着，再将提取后得到的第一浅层特征图和第二浅层特征图分别输入至密集连接网络中，通过密集连接网络提取第一浅层特征图和第二浅层特征图的深层特征，并且通过密集连接网络提取的特征具有上下文联系，能够更好地进行图像融合；最后，本申请对密集连接网络中提取得到的第一深层特征图和第二深层特征图进行深层特征融合，并对融合后的特征进行重构后获得最终的融合图像，该融合图像包含丰富的边缘信息和场景信息，提高了融合质量。
另外，本申请的图像融合方法，不仅适用于红外和可见光图像的融合，还适用于其他不同图像之间的融合，适用范围较广。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的一种基于密集连接网络的图像融合方法的流程示意图；
图2为本发明实施例提供的红外图像和可见光图像的采集过程示意图；
图3为本发明实施例提供的网络框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
近年来，红外和可见光图像融合技术得到了广泛的关注。红外成像受环境影响较小，在恶劣天气、光线较弱、目标突出的情况下仍能成像。可见光成像通过利用物体对可见光的反射，获得边缘清晰、轮廓清晰的可见光图像。然而，由于红外相机的固有特点，存在细节信息不明显、对比度低、目标纹理信息不足等问题。因此，结合红外和可见光图像的优点，融合红外和可见光图像可以获得信息丰富和鲁棒性强的图像。
目前，随着深度学习的发展，许多基于深度学习的融合方法被广泛用于红外和可见光图像融合领域中。通过利用卷积网络获得图像特征和重建融合图像，但基于卷积网络的方法仍然存在缺陷，使用卷积网络对图像进行融合时，容易丢失中间层特征以及难以提取深层特征，使得最终得到的融合图像的融合质量较低。
因此，本发明的目的是解决现有技术中使用卷积网络对图像进行融合时，容易丢失中间层特征以及难以提取深层特征，使得最终得到的融合图像的融合质量较低的技术问题，并提出如下技术方案：
在一个实施例中，如图1所示，图1为本发明实施例提供的一种基于密集连接网络的图像融合方法的流程示意图，本发明提供了基于密集连接网络的图像融合方法，具体包括如下步骤：
S110：获取待融合的第一图像和第二图像。
本步骤中，在对图像进行融合之前，需要获取待融合的第一图像和第二图像，其中，第一图像指的是分辨率、图像内容、或图像尺寸大小等区别于第二图像的图像。
进一步地，本申请中的第一图像可以是红外图像，第二图像可以是可见光图像，如图2所示，图2为本发明实施例提供的红外图像和可见光图像的采集过程示意图；图2中，红外相机用于采集目标的红外图像，可见光相机用于采集目标的可见光图像，个人计算机用于储存和显示红外和可见光图像。
其中，红外相机主要由四部分组成，分别是探测器、信号处理器、显示器、光学系统；红外相机的工作原理是：物体的红外辐射经过镜头聚焦搭探测器上，探测器将产生电信号，电信号经过放大并数字化到热像仪的电子处理部分，再转换成我们能再显示器上看到的红外图像。
可见光相机主要由电荷耦合器件(CCD)和光学镜头组成；可见光相机的工作原理是：物体反射出的光线通过光学镜头聚到电荷耦合器件(CCD)上，经模数转换器转换成数字信号后贮于存贮器中，并通过PC机的显示屏显示可见光图像。
S120：提取第一图像和第二图像的浅层特征，得到第一浅层特征图和第二浅层特征图。
本步骤中，通过步骤S110获取到待融合的第一图像和第二图像后，可以通过第一卷积层分别来提取第一图像和第二图像的浅层特征，以此来获得与第一图像对应的第一浅层特征图，以及与第二图像对应的第二浅层特征图。
可以理解的是，这里的第一卷积层主要用于对本申请中后续所使用的卷积层的顺序进行区分，并不作为该第一卷积层所使用的滤波器尺寸和步长的限制。
S130：提取第一浅层特征图和第二浅层特征图的深层特征，得到第一深层特征图和第二深层特征图。
本步骤中，通过步骤S120得到第一浅层特征图和第二浅层特征图后，可将第一浅层特征图和第二浅层特征图分别送入到密集连接网络中，通过密集连接网络来提取第一浅层特征图和第二浅层特征图的深层特征，以此来得到第一深层特征图和第二深层特征图。
可以理解的是，这里的密集连接网络指的是在保证网络中层与层之间最大程度的信息传输的前提下，直接将所有层连接起来，即为了能够保证前馈的特性，每一层将之前所有层的输入进行拼接，之后将输出的特征图传递给之后的所有层。
举例来说，在传统的卷积神经网络中，如果共设置有L层，那么就会有L个连接，但是在密集连接网络中，则会有L(L+1)/2个连接。与卷积神经网络不同的是，密集连接网络不是在特征传递给某一层之前将其进行相加(combine)，而是将其进行拼接(concatenate)。因此，密集连接网络的第i层有i个输入，这些输入是该层之前的所有卷积块(block)的特征图，而它自己的特征图则传递给之后的所有层。
进一步地，本申请中的密集连接网络可以使用DCCNet，而DCCNet可以由多个卷积层以及卷积块等共同构成密集块，其中卷积块的作用不仅可以提取图像的深层特征，还可以获取特征图的上下文信息，以便更好地对图像进行融合。
S140：对第一深层特征图和第二深层特征图进行加权融合。
本步骤中，当通过步骤S130获得第一深层特征图和第二深层特征图后，可对第一深层特征图和第二深层特征图进行加权融合，以便提高图像的融合质量。
进一步地，在对第一深层特征图和第二深层特征图进行加权融合时，可使用加权平均融合策略，加权平均融合策略指的是对原图像的像素值直接取相同的权值，然后进行加权平均后得到的融合图像的像素值。
S150：将加权融合后的特征图进行重构，得到最终的融合图像。
本步骤中，通过步骤S140对第一深层特征图和第二深层特征图进行加权融合后，可将加权融合后的特征图进行重构，以便得到最终的融合图像。
具体地，将加权融合后的特征图进行重构的过程可以利用多个卷积层来实现特征重构，也可以使用树状稀疏模型，或图像超分辨率重构算法等来实现，具体在此不做限制。
上述实施例中，首先将获取的第一图像和第二图像分别输入至第一卷积层中，通过第一卷积层来提取第一图像和第二图像的浅层特征，接着，再将提取后得到的第一浅层特征图和第二浅层特征图分别输入至密集连接网络中，通过密集连接网络提取第一浅层特征图和第二浅层特征图的深层特征，并且通过密集连接网络提取的特征具有上下文联系，能够更好地进行图像融合；最后，本申请对密集连接网络中提取得到的第一深层特征图和第二深层特征图进行深层特征融合，并对融合后的特征进行重构后获得最终的融合图像，该融合图像包含丰富的边缘信息和场景信息，提高了融合质量。
另外，本申请的图像融合方法，不仅适用于红外和可见光图像的融合，还适用于其他不同图像之间的融合，适用范围较广。
上述实施例主要对本申请基于密集连接网络的图像融合方法进行展开描述，下面将对如何获取待融合的第一图像和第二图像进行具体说明。
在一个实施例中，所述第一图像可以包括红外图像，所述第二图像可以包括可见光图像；所述获取待融合的第一图像和第二图像的步骤，可以包括：
S111：获取红外图像和原始可见光图像。
S112：利用所述红外图像对所述原始可见光图像进行预处理，得到可见光图像。
本实施例中，若本申请获取的是红外图像和原始可见光图像的话，由于可见光相机的分辨率为2500×1800像素，而红外相机的分辨率为320×240像素，因此，需要利用获取到的红外图像对原始可见光图像进行预处理，以便使用预处理后的可见光图像与红外图像进行融合。
上述实施例中对如何获取待融合的第一图像和第二图像进行具体说明，下面将对如何利用红外图像对所述原始可见光图像进行预处理，从而得到可见光图像的过程进行描述。
在一个实施例中，步骤S112中利用所述红外图像对所述原始可见光图像进行预处理，得到可见光图像的步骤，可以包括：
S1121：确定所述红外图像的分辨率。
S1122：根据所述红外图像的分辨率对所述原始可见光图像进行裁剪，得到可见光图像。
本实施例中，由于采集的红外图像和原始可见光图像大小不一致，需要根据红外图像的大小对原始可见光图像进行裁剪。
具体地，可选中红外图像和原始可见光图像重合的区域，并按照红外图像的尺寸对原始可见光图像进行裁剪，从而得到可见光图像。
上述实施例中主要是对如何利用红外图像对所述原始可见光图像进行预处理，从而得到可见光图像的过程进行描述，下面将对密集连接块的组成部分进行说明。
在一个实施例中，所述密集连接网络可以包括至少一个第二卷积层、至少三个密集连接的卷积块和至少一个第三卷积层，每个卷积块可以包括至少三个密集卷积层。
本实施例中，密集连接网络可以使用DCCNet，而DCCNet可以由多个卷积层以及卷积块等共同构成密集块，其中卷积块的作用不仅可以提取图像的深层特征，还可以获取特征图的上下文信息，以便更好地对图像进行融合。
当密集连接网络使用DCCNet时，可以包括至少一个第二卷积层、至少三个密集连接的卷积块和至少一个第三卷积层，且每个卷积块可以包括至少三个密集卷积层。
需要说明的是，这里的第二卷积层和第三卷积层主要用于区分本申请的其他卷积层，且第二卷积层的顺序要落后于第一卷积层，第三卷积层的顺序要落后的第二卷积层，但第二卷积层与第三卷积层的滤波器尺寸和步长在此不做限制，本申请可以设置第二卷积层、第三卷积层的滤波器尺寸和步长与第一卷积层一致。
这里的密集卷积层指的是每个卷积块中设置的多个卷积层，该卷积层的滤波器尺寸和步长可以依据第二卷积层和第三卷积层来设置，在此不做限制。
上述实施例中对密集连接块的组成部分进行说明，下面将对如何提取第一浅层特征图的深层特征进行展开描述。
在一个实施例中，步骤S130中通过密集连接网络提取所述第一浅层特征图的深层特征，得到第一深层特征图的步骤，可以包括：
A1：通过所述密集连接网络中的第二卷积层提取所述第一浅层特征图的特征信息，并将所述特征信息输入至所述卷积块中。
A2：依次通过每个卷积块中的每个密集卷积层，将之前所有的第二卷积层和/或密集卷积层输入的特征信息进行拼接，并将拼接后提取的特征信息传递至之后的各个密集卷积层中。
A3：将所述卷积块中最后一个密集卷积层输出的特征图输入至所述第三卷积层中，通过所述第三卷积层提取所述特征图的特征信息，得到第一深层特征图。
本实施例中，利用密集连接网络对第一浅层特征图进行特征提取时，可以利用密集连接网络中的第二卷积层提取第一浅层特征图的特征信息，并将提取到的特征信息输入至卷积块中。
本申请的密集连接网络中包含多个卷积块，而每个卷积块中又包含有多个密集卷积层。因此，将第二卷积层提取的第一浅层特征图的特征信息输入到每个卷积块中的每个密集卷积层后，依次通过每个卷积块中的每个密集卷积层，将之前所有的第二卷积层和/或密集卷积层输入的特征信息进行拼接，并将拼接后提取的特征信息传递至之后的各个密集卷积层中。
例如，将第二卷积层提取的第一浅层特征图的特征信息输入到第一个卷积块中的第一个密集卷积层后，该第一个密集卷积层也会对输入的特征信息进行特征提取，并将特征提取后的特征信息传递至该卷积块中与之相邻的密集卷积块中，使得与之相邻的密集卷积块依据第二卷积层提取的第一浅层特征图的特征信息、第一个密集卷积层提取的特征信息进行拼接，并将拼接后提取的特征信息传递至之后的密集卷积层中。
示意性地，如图3所示，图3为本发明实施例提供的网络框图；本发明的网络框架图可以使用AFDCCNet，如图3所示，AFDCCNet可以由多个模块组成，分别是第一卷积层(Conv1)、密集连接网络(DCCNet)、加权平均模块(Fusion)和重构模块(Reconsitution)。其中，DCCNet可以由第二卷积层Conv2、卷积块CC1和第三卷积层Conv3共同构成密集块，而卷积块CC1中包含C1、C2、C3等多个密集卷积层。
以红外图像和可见光图像为例，首先，将红外图像和可见光图像分别输入到Conv1中，得到红外图像和可见光图像的浅层特征。然后，将Conv1的卷积结果输入到DCCNet中，Conv2将对Conv1的卷积结果进行卷积，得到特征图A0。其中DCCNet使用了密集块，一个密集块的第K层输出Ak可表示为：
Ak＝Q([A0,A1,A2,...,Ak-1])
上式中，Qk(·)表示第k层的非线性映射，[A0,A1,A2,...,Ak-1]表示将0～(k-1)层输出的特征图合并。
接着，C1使用3个卷积核为1×1的卷积层对特征图进行卷积，得到3张特征图{D,E,F}，这三张特征图的尺寸为(C×H×W)，其中C为特征图的通道数，H为特征图的高度，W为特征图的宽度，将特征图{D,E,F}转置为C×Q,其中Q＝H×W，Q为像素的数量，然后将矩阵D和矩阵E的转置相乘，再通过softmax得到Sji，具体公式如下：
Figure BDA0003075869600000101
上式中，i指特征图D中第i个元素，j表示特征图E中第j个元素，Sji可以得到元素j和元素i之间相互关联的概率分布。
得到Sji后，可将Sji和矩阵F的转置相乘，再乘以尺度系数α，α的值可以设置为1，然后将其结果转置为原来的形状(C×H×W)，并与Aj相加得到Ej，如下式：
Figure BDA0003075869600000111
上式中，Fi表示矩阵F，Aj表示特征图。为了提取具有上下文联系的特征图，C2和C1的操作一样，C2将得到Ej′，并将其输入到C3中，得到Ej”。
最后，将Ej”输入到Conv3中，得到特征图I。
进一步地，本发明在实验阶段可以使用pytorch(pythonversion3.6)来训练DCCNet。例如，使用MS-COCO 2014作为输入图像，实验中，每次输入的图像数为4副，迭代次数为100，学习率为0.0001。
另外，本发明还将DCCNet算法与其他4个算法进行了比较，如表1所示，表1分别给出了对比算法与5种图像融合质量评价指标的数据。
Figure BDA0003075869600000112
表1不同融合方法的定量比较
需要说明的是，表1中的5种图像融合质量评价指标分别是：VIFF、Qabf、SSIM、MS-SSIM和FMI_W，其中VIFF是基于视觉信息保真度提出的衡量融合图像质量的指标，VIFF的值越大，表示融合图像质量越好；Qabf是一种新颖的融合图像客观非参考质量评估指标，Qabf的值越高，表示融合图像的质量越好；SSIM取值范围为[0,1]，值越大，表示图像失真越小；MS-SSIM能更好地与人眼视觉系统的视觉感知相一致，值越大，表示融合的图像结构越相似；FMI_W指标值越大，通常表示从源图像传输到融合图像中的特征信息越多。
由表1数据可以清晰发现，本发明使用的DCCNet算法优于其他算法，实验证明使用本发明的算法可以有效提高红外图像和可见光图像的融合质量。
上述实施例中对如何提取第一浅层特征图的深层特征进行展开描述，下面将对如何提取第二浅层特征图的深层特征进行详细描述。
在一个实施例中，步骤S130中通过密集连接网络提取所述第二浅层特征图的深层特征，得到第二深层特征图的步骤，可以包括：
B1：通过所述密集连接网络中的第二卷积层提取所述第二浅层特征图的特征信息，并将所述特征信息输入至所述卷积块中。
B2：依次通过每个卷积块中的每个密集卷积层，将之前所有的第二卷积层和/或密集卷积层输入的特征信息进行拼接，并将拼接后提取的特征信息传递至之后的各个密集卷积层中。
B3：将所述卷积块中最后一个密集卷积层输出的特征图输入至所述第三卷积层中，通过所述第三卷积层提取所述特征图的特征信息，得到第二深层特征图。
本实施例中，利用密集连接网络对第二浅层特征图进行特征提取时，可以利用密集连接网络中的第二卷积层提取第二浅层特征图的特征信息，并将提取到的特征信息输入至卷积块中。
本申请的密集连接网络中包含多个卷积块，而每个卷积块中又包含有多个密集卷积层。因此，将第二卷积层提取的第二浅层特征图的特征信息输入到每个卷积块中的每个密集卷积层后，依次通过每个卷积块中的每个密集卷积层，将之前所有的第二卷积层和/或密集卷积层输入的特征信息进行拼接，并将拼接后提取的特征信息传递至之后的各个密集卷积层中。
例如，将第二卷积层提取的第二浅层特征图的特征信息输入到第一个卷积块中的第一个密集卷积层后，该第一个密集卷积层也会对输入的特征信息进行特征提取，并将特征提取后的特征信息传递至该卷积块中与之相邻的密集卷积块中，使得与之相邻的密集卷积块依据第二卷积层提取的第一浅层特征图的特征信息、第一个密集卷积层提取的特征信息进行拼接，并将拼接后提取的特征信息传递至之后的密集卷积层中。
最后，将卷积块的输出传递至第三卷积层中，以使第三卷积层对卷积块中输出的特征图进行深层特征提取。
上述实施例中对如何提取第二浅层特征图的深层特征进行详细描述，下面，将对第一深层特征图和第二深层特征图进行加权融合的过程进行说明。
在一个实施例中，步骤S140中对所述第一深层特征图和所述第二深层特征图进行加权融合的步骤，可以包括：
S141：确定所述第一深层特征图的像素值和权值，以及所述第二深层特征图的像素值和权值。
S142：根据所述第一深层特征图的像素值和权值，以及所述第二深层特征图的像素值和权值，对所述第一深层特征图和所述第二深层特征图进行加权融合。
本实施例中，在对第一深层特征图和第二深层特征图进行加权融合时，可以使用加权平均融合策略，该加权平均融合策略主要是对原图像的像素值直接取相同的权值，然后进行加权平均得到融合图像的像素值。
具体地，在本申请中，首先确定第一深层特征图的像素值和权值，以及第二深层特征图的像素值和权值，然后根据第一深层特征图的像素值和权值以及第二深层特征图的像素值和权值，对第一深层特征图和第二深层特征图进行加权融合，从而得到加权融合后的图像。
具体公式如下：
If＝λrIr+λvIv
上式中，Ir为可见光图像对应的第二深层特征图的像素值，Iv为红外图像对应的第一深层特征图的像素值，λr是第一深层特征图的权值，λv是第二深层特征图的权值。
上述实施例对第一深层特征图和第二深层特征图进行加权融合的过程进行说明，下面将对第一深层特征图的权值和第二深层特征图的权值进行说明。
在一个实施例中，所述第一深层特征图的权值和所述第二深层特征图的权值相同。
本实施例中，当第一深层特征图的权值和第二深层特征图的权值相同时，可以防止可见光图像因权值过高引起曝光问题，或者因红外图像因权值过低引起融合的图像不够清晰的问题。
上述实施例对第一深层特征图的权值和第二深层特征图的权值进行说明，下面将对本申请的重构过程进行描述。
在一个实施例中，所述重构过程包括至少四个第四卷积层。如图3所示，本申请的重构过程可以在重构模块中实现，具体重构模块可以是重构块(Reconsitution Block)，其中，重构块可以包括四个第四卷积层，如Conv4、Conv5、Conv6、Conv7。
在一个实施例中，步骤S150中将加权融合后的特征图进行重构，得到最终的融合图像的步骤，可以包括：将所述加权融合后的特征图输入至所述第四卷积层中，通过所述第四卷积层对所述加权融合后的特征图进行特征重构，得到最终的融合图像。
本实施例中，在对加权融合后的特征图进行重构时，可以将特征图输入至Conv4中进行特征重构，然后将Conv4的输出传输至Conv5中，以此类推，最终通过Conv7输出重构后的图像，即融合图像。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间可以根据需要进行组合，且相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于密集连接网络的图像融合方法，其特征在于，所述方法包括：
获取待融合的第一图像和第二图像；
通过第一卷积层提取所述第一图像和所述第二图像的浅层特征，得到第一浅层特征图和第二浅层特征图；
通过密集连接网络提取所述第一浅层特征图和所述第二浅层特征图的深层特征，得到第一深层特征图和第二深层特征图；
对所述第一深层特征图和所述第二深层特征图进行加权融合；
将加权融合后的特征图进行重构，得到最终的融合图像。
2.根据权利要求1所述的基于密集连接网络的图像融合方法，其特征在于，所述第一图像包括红外图像，所述第二图像包括可见光图像；
所述获取待融合的第一图像和第二图像的步骤，包括：
获取红外图像和原始可见光图像；
利用所述红外图像对所述原始可见光图像进行预处理，得到可见光图像。
3.根据权利要求2所述的基于密集连接网络的图像融合方法，其特征在于，所述利用所述红外图像对所述原始可见光图像进行预处理，得到可见光图像的步骤，包括：
确定所述红外图像的分辨率；
根据所述红外图像的分辨率对所述原始可见光图像进行裁剪，得到可见光图像。
4.根据权利要求1所述的基于密集连接网络的图像融合方法，其特征在于，所述密集连接网络包括至少一个第二卷积层、至少三个密集连接的卷积块和至少一个第三卷积层，每个卷积块包括至少三个密集卷积层。
5.根据权利要求4所述的基于密集连接网络的图像融合方法，其特征在于，所述通过密集连接网络提取所述第一浅层特征图的深层特征，得到第一深层特征图的步骤，包括：
通过所述密集连接网络中的第二卷积层提取所述第一浅层特征图的特征信息，并将所述特征信息输入至所述卷积块中；
依次通过每个卷积块中的每个密集卷积层，将之前所有的第二卷积层和/或密集卷积层输入的特征信息进行拼接，并将拼接后提取的特征信息传递至之后的各个密集卷积层中；
将所述卷积块中最后一个密集卷积层输出的特征图输入至所述第三卷积层中，通过所述第三卷积层提取所述特征图的特征信息，得到第一深层特征图。
6.根据权利要求4所述的基于密集连接网络的图像融合方法，其特征在于，所述通过密集连接网络提取所述第二浅层特征图的深层特征，得到第二深层特征图的步骤，包括：
通过所述密集连接网络中的第二卷积层提取所述第二浅层特征图的特征信息，并将所述特征信息输入至所述卷积块中；
依次通过每个卷积块中的每个密集卷积层，将之前所有的第二卷积层和/或密集卷积层输入的特征信息进行拼接，并将拼接后提取的特征信息传递至之后的各个密集卷积层中；
将所述卷积块中最后一个密集卷积层输出的特征图输入至所述第三卷积层中，通过所述第三卷积层提取所述特征图的特征信息，得到第二深层特征图。
7.根据权利要求1所述的基于密集连接网络的图像融合方法，其特征在于，所述对所述第一深层特征图和所述第二深层特征图进行加权融合的步骤，包括：
确定所述第一深层特征图的像素值和权值，以及所述第二深层特征图的像素值和权值；
根据所述第一深层特征图的像素值和权值，以及所述第二深层特征图的像素值和权值，对所述第一深层特征图和所述第二深层特征图进行加权融合。
8.根据权利要求7所述的基于密集连接网络的图像融合方法，其特征在于，所述第一深层特征图的权值和所述第二深层特征图的权值相同。
9.根据权利要求1所述的基于密集连接网络的图像融合方法，其特征在于，所述重构过程包括至少四个第四卷积层。
10.根据权利要求9所述的基于密集连接网络的图像融合方法，其特征在于，所述将加权融合后的特征图进行重构，得到最终的融合图像的步骤，包括：
将所述加权融合后的特征图输入至所述第四卷积层中，通过所述第四卷积层对所述加权融合后的特征图进行特征重构，得到最终的融合图像。
CN202110560960.3A 2021-05-20 2021-05-20 一种基于密集连接网络的图像融合方法 Active CN113160104B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110560960.3A CN113160104B (zh) 2021-05-20 2021-05-20 一种基于密集连接网络的图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110560960.3A CN113160104B (zh) 2021-05-20 2021-05-20 一种基于密集连接网络的图像融合方法

Publications (2)

Publication Number Publication Date
CN113160104A true CN113160104A (zh) 2021-07-23
CN113160104B CN113160104B (zh) 2024-03-12

Family

ID=76877217

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110560960.3A Active CN113160104B (zh) 2021-05-20 2021-05-20 一种基于密集连接网络的图像融合方法

Country Status (1)

Country Link
CN (1) CN113160104B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116586924A (zh) * 2023-07-17 2023-08-15 浙江一益医疗器械有限公司 一种针尖五斜面结构的不锈钢针管及其制备工艺

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111127374A (zh) * 2019-11-22 2020-05-08 西北大学 一种基于多尺度密集网络的Pan-sharpening方法
CN112163449A (zh) * 2020-08-21 2021-01-01 同济大学 一种轻量化的多分支特征跨层融合图像语义分割方法
CN112288668A (zh) * 2020-09-22 2021-01-29 西北工业大学 基于深度无监督密集卷积网络的红外和可见光图像融合方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111127374A (zh) * 2019-11-22 2020-05-08 西北大学 一种基于多尺度密集网络的Pan-sharpening方法
CN112163449A (zh) * 2020-08-21 2021-01-01 同济大学 一种轻量化的多分支特征跨层融合图像语义分割方法
CN112288668A (zh) * 2020-09-22 2021-01-29 西北工业大学 基于深度无监督密集卷积网络的红外和可见光图像融合方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116586924A (zh) * 2023-07-17 2023-08-15 浙江一益医疗器械有限公司 一种针尖五斜面结构的不锈钢针管及其制备工艺
CN116586924B (zh) * 2023-07-17 2024-02-27 浙江一益医疗器械有限公司 一种针尖五斜面结构的不锈钢针管及其制备工艺

Also Published As

Publication number Publication date
CN113160104B (zh) 2024-03-12

Similar Documents

Publication Publication Date Title
CN110428366B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
WO2021022983A1 (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN111062892B (zh) 一种基于复合残差网络和深层监督的单幅图像去雨方法
Gao et al. Gradient-based interpolation method for division-of-focal-plane polarimeters
CN112733950A (zh) 一种基于图像融合与目标检测结合的电力设备故障诊断方法
Zhao et al. Pyramid global context network for image dehazing
CN108875821A (zh) 分类模型的训练方法和装置、移动终端、可读存储介质
CN112288663A (zh) 一种红外与可见光图像融合方法及系统
CN111292264A (zh) 一种基于深度学习的图像高动态范围重建方法
CN110533623B (zh) 一种基于监督学习的全卷积神经网络多聚焦图像融合方法
CN113449727A (zh) 一种基于深度神经网络的伪装目标检测识别方法
KR20200140713A (ko) 이미지 디테일 향상을 위한 신경 네트워크 모델 학습 방법 및 장치
CN110276831B (zh) 三维模型的建构方法和装置、设备、计算机可读存储介质
CN113628261B (zh) 一种电力巡检场景下的红外与可见光图像配准方法
CN114782298B (zh) 一种具有区域注意力的红外与可见光图像融合方法
CN115330653A (zh) 基于边窗滤波的多源图像融合方法
CN117274759A (zh) 一种基于蒸馏-融合-语义联合驱动的红外与可见光图像融合系统
CN116681636A (zh) 基于卷积神经网络的轻量化红外与可见光图像融合方法
Almasri et al. Rgb guided thermal super-resolution enhancement
CN115578262A (zh) 基于afan模型的偏振图像超分辨率重建方法
CN116757986A (zh) 一种红外与可见光图像融合方法及装置
CN113160104B (zh) 一种基于密集连接网络的图像融合方法
CN114862707A (zh) 一种多尺度特征恢复图像增强方法、装置及存储介质
CN113628143A (zh) 一种基于多尺度卷积的加权融合图像去雾方法及装置
CN116258756B (zh) 一种自监督单目深度估计方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant