CN116128735B - 基于密集连接残差网络的多光谱图像去马赛克结构及方法 - Google Patents

基于密集连接残差网络的多光谱图像去马赛克结构及方法 Download PDF

Info

Publication number
CN116128735B
CN116128735B CN202310404702.5A CN202310404702A CN116128735B CN 116128735 B CN116128735 B CN 116128735B CN 202310404702 A CN202310404702 A CN 202310404702A CN 116128735 B CN116128735 B CN 116128735B
Authority
CN
China
Prior art keywords
convolution
module
densely connected
layer
modules
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310404702.5A
Other languages
English (en)
Other versions
CN116128735A (zh
Inventor
李思敏
刘羽
张峰瑞
周国轩
秋勇涛
刘友江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Electronic Engineering of CAEP
Original Assignee
Institute of Electronic Engineering of CAEP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Electronic Engineering of CAEP filed Critical Institute of Electronic Engineering of CAEP
Priority to CN202310404702.5A priority Critical patent/CN116128735B/zh
Publication of CN116128735A publication Critical patent/CN116128735A/zh
Application granted granted Critical
Publication of CN116128735B publication Critical patent/CN116128735B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了基于密集连接残差网络的多光谱图像去马赛克结构及方法，该结构包括顺序连接的浅层特征提取模块、多层次特征融合模块和图像重建模块。本发明采用端到端的方法直接对多光谱马赛克图像进行去马赛克处理，无需事先进行图像插值等预处理，能够有效节省计算复杂度和计算资源；通过设计局部密集连接模块和残差模块，有效提升了特征的表征能力和信息融合程度，能够获取低层次局部特征和高层次全局特征，有助于帮助多光谱图像恢复重建，并通过引入残差学习机制，能够有效避免深度神经网络的梯度消失和性能退化等问题，同时学习到全局和局部的细节信息。

Description

基于密集连接残差网络的多光谱图像去马赛克结构及方法
技术领域
本发明属于图像信号处理领域，尤其涉及基于密集连接残差网络的多光谱图像去马赛克结构及方法。
背景技术
多光谱图像在获取物体空间尺寸信息的同时也获取了更丰富的光谱维度信息，与传统的彩色图像相比，能够更好地反映待成像物质在多个光谱维度上的光学辐射特性，具有更广泛的应用价值，可应用于农林监测、矿物勘探、目标识别以及医学成像。
多光谱图像通过快照式多光谱成像技术进行成像，该技术借鉴传统彩色成像中采用的彩色滤波阵列（color filter array, CFA）方案，通过将不同中心波长滤光片组成的多光谱滤波阵列（multi-spectral filter array, MSFA）按一定规律在图像传感器上周期性重复排布，以同时获得目标的二维空间信息和一维光谱信息。利用该成像技术成像时，传感器平面上每一个像素区域仅能获得成像场景在某一中心波段下的空间信息，而缺失其他波段下的探测结果。这种成像方式实质上是通过牺牲一定的空间分辨率换取更多通道的光谱分辨率，单次成像即可同时获得成像场景的空间信息和光谱信息。为了获得多个光谱波段下完整空间信息的多光谱图像，需要对原始单张多光谱马赛克图像进行重建处理，恢复每个像素位置缺失的其余波段分量，这一关键过程称之为多光谱图像去马赛克。图1展示了16个光谱波段（4×4）的多光谱滤波阵列MSFA及其在传感器平面上周期性重复排布的效果，利用该传感器成像获得的图像上每个像素仅具有特定光谱波段下的空间信息，需要对其他波段下缺失的信息进行重建恢复，以获得完整的多光谱图像。由此可见，多光谱去马赛克算法的性能对多光谱图像的重建质量至关重要，随着光谱波段的增多，多光谱图像需要恢复的信息随之显著增加，为多光谱图像的重建恢复质量带来较大挑战。
传统的多光谱去马赛克方法主要采用线性插值方法，即对于每个波段下缺失的像素信息，利用近邻已知像素的强度值，通过线性插值等方式估算出未知像素。这种方法仅能利用像素级信息，获得的重建图像质量较低、可视化效果差，且存在边缘失真或局部畸变等缺陷。而现有结合深度学习的多光谱去马赛克方法研究尚处于起步阶段，图像重建质量有较大提升空间。
发明内容
有鉴于此，本发明提出了一种基于密集连接残差网络的多光谱图像去马赛克结构及方法，该申请采用端到端的方法直接对多光谱马赛克图像进行去马赛克处理，无需事先进行图像插值等预处理，能够有效节省计算复杂度和计算资源；通过设计局部密集连接模块和残差模块，有效提升了特征的表征能力和信息融合程度，能够获取低层次局部特征和高层次全局特征，有助于帮助多光谱图像恢复重建，并通过引入残差学习机制，能够有效避免深度神经网络的梯度消失和性能退化等问题，同时学习到全局和局部的细节信息。
为达此目的，本发明第一方面提供一种基于密集连接残差网络的多光谱图像去马赛克结构，所述结构包括顺序连接的浅层特征提取模块、多层次特征融合模块和图像重建模块；
所述浅层特征提取模块包括：两层卷积层和两层LeakyReLU激活函数层，其中卷积层和LeakyReLU激活函数层交替顺序连接；
所述多层次特征融合模块由M个密集连接残差模块组成，M≥1；每个密集连接残差模块均包括3个卷积模块和一个过度模块，密集连接残差模块中3个卷积模块和过度模块之间的连接关系为：m-1级密集连接残差模块的输出和m-1密集连接残差模块的输入相加后，作为m级密集连接残差模块的第一个卷积模块的输入，与第一个卷积模块相连，1≤m≤M；m级密集连接残差模块的第一个卷积模块的输入向量以及输出向量在特征维度上进行拼接后，作为m级密集连接残差模块的第二个卷积模块的输入，与第二个卷积模块连接；m级密集连接残差模块的前两个卷积模块的输入向量以及第二个卷积模块的输出向量在特征维度上进行拼接后，作为m级密集连接残差模块的第三个卷积模块的输入，与第三个卷积模块连接；m级密集连接残差模块的三个卷积模块的输入向量与第三个卷积模块的输出向量在特征维度上进行拼接后，作为m级密集连接残差模块的过度模块的输入，与过度模块连接；m级密集连接残差模块的过度模块的输出与m级密集连接残差模块的输入相加，得到m级密集连接残差模块的最终输出；
所述图像重建模块包括顺序连接的卷积层、全局残差连接操作层、LeakyReLU激活函数层和卷积输出层，且LeakyReLU激活函数层与浅层特征提取模块中第一层LeakyReLU激活函数层的输出连接。
优选的，所述浅层特征提取模块中两层卷积层分别为：采用64个1×1的卷积核的第一卷积层，采用64个3×3的卷积核的第二卷积层。
优选的，所述密集连接残差模块中，卷积模块均由两层卷积层和两层LeakyReLU激活函数层组成，且卷积层和LeakyReLU激活函数层顺序交替连接；所述过度模块包括顺序连接的采用64个1×1卷积核的卷积层和LeakyReLU激活函数层。
优选的，所述卷积模块中两层卷积层分别为：采用128个1×1卷积核的第一卷积层和采用32个3×3卷积核的第二卷积层。
优选的，所述图像重建模块中卷积层采用64个1×1卷积核；卷积输出层采用16个3×3卷积核。
本发明第二方面提供一种基于密集连接残差网络的多光谱图像去马赛克方法，所述方法基于上述的基于密集连接残差网络的多光谱图像去马赛克结构进行，所述方法包括：
S1：将原始N×N多光谱滤波阵列MSFA生成的马赛克多光谱图像输入浅层特征提取模块，学习得到原始多光谱图像的初始浅层特征，N≥1；
S2：将初始浅层特征送入多层次特征融合模块，得到多光谱图像的非线性局部及全局融合信息；
S3：将多光谱图像的非线性局部及全局融合信息送入图像重建模块，生成N×N个光谱波段下完整的多光谱图像立方体。
优选的，所述S1中在浅层特征提取模块进行的操作包括：
Figure SMS_1
Figure SMS_2
Figure SMS_3
Figure SMS_4
其中，
Figure SMS_7
为原始马赛克多光谱图像；/>
Figure SMS_10
( )表示采用64个1×1卷积核的卷积层函数，/>
Figure SMS_13
( )表示采用64个3×3卷积核的卷积层函数，LeakyReLU( )表示LeakyReLU激活函数；/>
Figure SMS_8
、/>
Figure SMS_12
和/>
Figure SMS_15
分别表示原始马赛克多光谱图像/>
Figure SMS_17
经过卷积层函数/>
Figure SMS_5
、第一个LeakyReLU激活函数以及卷积层函数/>
Figure SMS_11
计算后的中间值；
Figure SMS_14
表示原始马赛克图像/>
Figure SMS_16
经过浅层特征提取模块后得到的初始浅层特征，/>
Figure SMS_6
表示经过浅层特征提取模块中卷积层函数/>
Figure SMS_9
和第一个LeakyReLU激活函数计算后生成的中间特征。
优选的，所述S2中，多层次特征融合模块的每个卷积模块内均进行如下计算：
Figure SMS_18
Figure SMS_19
Figure SMS_20
Figure SMS_21
其中，
Figure SMS_23
和/>
Figure SMS_26
分别是第i个卷积模块的输入和输出，i代表第i个卷积模块，i=1或2或3；/>
Figure SMS_27
、/>
Figure SMS_22
和/>
Figure SMS_25
表示第i个卷积模块的输入/>
Figure SMS_28
分别经过第i个卷积模块内的第一个卷积层函数、第一个LeakyReLU激活函数和第二卷积层函数计算后得到的中间值；/>
Figure SMS_29
( )和/>
Figure SMS_24
( )分别表示采用128个1×1卷积核的卷积层函数和采用32个3×3卷积核的卷积层函数；LeakyReLU( )表示LeakyReLU激活函数；
所述过度模块内的计算如下：
Figure SMS_30
Figure SMS_31
其中，
Figure SMS_32
和/>
Figure SMS_33
分别表示过度模块的输入和输出，x为过度模块的输入/>
Figure SMS_34
经过卷积函数计算后的中间值；/>
Figure SMS_35
( )表示过度模块内采用128个1×1卷积核的卷积层函数，LeakyReLU()表示LeakyReLU激活函数。
优选的，所述多层次特征融合模块，其第m级（1≤m≤M）密集连接残差模块中的每个卷积模块的和过度模块的输入分别如下：
Figure SMS_36
Figure SMS_37
Figure SMS_38
Figure SMS_39
其中
Figure SMS_41
表示第m-1个密集连接残差模块的输出，且
Figure SMS_47
，/>
Figure SMS_50
为第m-1个密集连接残差模块中的过度模块的输出，/>
Figure SMS_42
为第m-1个密集连接残差模块中第一个卷积模块的输入，/>
Figure SMS_44
表示第m-2个密集连接残差模块的输出；/>
Figure SMS_48
、/>
Figure SMS_51
、/>
Figure SMS_40
和/>
Figure SMS_45
分别表示第m个密集连接残差模块中3卷积模块和过度模块的输入，/>
Figure SMS_49
、/>
Figure SMS_52
、/>
Figure SMS_43
和/>
Figure SMS_46
分别表示第m个密集连接残差模块中3卷积模块和过度模块的输出；Concatenate( )表示输入向量和输出向量在特征维度上的拼接操作。
优选的，所S3包括：
Figure SMS_53
Figure SMS_54
Figure SMS_55
Figure SMS_56
其中，
Figure SMS_58
为多层次特征融合模块输出的非线性局部及全局融合信息；
Figure SMS_61
()和/>
Figure SMS_65
()分别表示图像重建模块中采用64个1×1卷积核的卷积层函数和采用16个3×3卷积核的卷积输出层函数，LeakyReLU()表示LeakyReLU激活函数；/>
Figure SMS_59
、/>
Figure SMS_63
和/>
Figure SMS_66
分别表示非线性局部及全局融合信息/>
Figure SMS_68
分别经过/>
Figure SMS_57
()卷积函数、全局残差连接操作和激活函数层LeakyReLU计算后得到的中间值，/>
Figure SMS_62
表示原始马赛克图像/>
Figure SMS_64
经过浅层特征提取模块中卷积层函数/>
Figure SMS_67
和第一个LeakyReLU激活函数计算后生成的中间特征，/>
Figure SMS_60
表示去马赛克后的多光谱图像立方体。
本发明的有益效果是：本发明公开的基于密集连接残差网络的多光谱图像去马赛克结构及方法，是一种端到端的多光谱图像去马赛克技术，利用本申请的结构进行去马赛克的整个过程无需进行图像插值预处理，可直接对原始成像得到的单张多光谱马赛克图像进行恢复重建，相比于传统的仅利用近邻像素强度值对未知像素信息进行线性估计的插值方法，本发明通过搭建深层网络模型直接对原始多光谱马赛克图像进行深度特征提取，更够有效减少线性插值方法带来的图像畸变、失真等问题，图像重建质量和可视化效果明显提高；其次，本申请在多光谱图像去马赛克过程中通过结合密集连接和残差学习机制，有效提取原始多光谱马赛克图像不同层次的有效重建信息，去马赛克效果更优。
附图说明
图1为4×4MSFA多光谱马赛克图像去马赛克的过程示意图；
图2为本发明实施例中多光谱马赛克图像去马赛克的过程示意图；
图3为本发明实施例中密集连接残差模块的结构示意图；
图4为采用不同方法得到多光谱去马赛克图像结果局部细节可视化对比图。
具体实施方式
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。
本申请提出的基于密集连接残差网络的多光谱图像去马赛克结构及方法采用端到端的方法直接对多光谱马赛克图像进行去马赛克处理，无需事先进行图像插值等预处理，能够有效节省计算复杂度和计算资源；通过设计局部密集连接模块和残差模块，有效提升了特征的表征能力和信息融合程度，能够获取低层次局部特征和高层次全局特征，有助于帮助多光谱图像恢复重建，并通过引入残差学习机制，能够有效避免深度神经网络的梯度消失和性能退化等问题，同时学习到全局和局部的细节信息。
下面结合附图和具体实施例对本发明及其优势进行详细说明。
本实施例以4×4多光谱滤波阵列MSFA（16个光谱波段）生成的马赛克多光谱图像的去马赛克过程为例进行说明，利用本申请提出的结构及方法对上述马赛克多光谱图像进行去马赛克的过程如图2所示：
首先，将原始4×4多光谱滤波阵列MSFA（16个光谱波段）生成的马赛克多光谱图像输入浅层特征提取模块，学习到多光谱图像的初始浅层特征；其中，浅层特征提取模块由两层卷积层和两层LeakyReLU激活函数层组成，作为实施例，两层卷积层中第一个卷积层采用64个1×1的卷积核，第二个卷积层采用64个3×3的卷积核；且第一个卷积层、第一LeakyReLU激活函数层、第二个卷积层和第二LeakyReLU激活函数层顺序连接。
作为实施例，原始马赛克图像
Figure SMS_69
在浅层特征提取模块中的提取过程如下：
Figure SMS_70
Figure SMS_71
Figure SMS_72
Figure SMS_73
其中，
Figure SMS_76
为原始马赛克多光谱图像；/>
Figure SMS_78
( )表示采用64个1×1卷积核卷积层函数，/>
Figure SMS_80
( )表示采用64个3×3卷积核的卷积层函数，LeakyReLU( )表示LeakyReLU激活函数；/>
Figure SMS_75
、/>
Figure SMS_79
和/>
Figure SMS_82
分别表示原始马赛克多光谱图像/>
Figure SMS_84
经过卷积层函数/>
Figure SMS_74
、第一个LeakyReLU激活函数以及卷积层函数/>
Figure SMS_83
计算后的中间值；
Figure SMS_85
、/>
Figure SMS_86
分别表示原始马赛克图像/>
Figure SMS_77
经过浅层特征提取模块后得到的初始浅层特征和经过浅层特征提取模块中卷积层函数/>
Figure SMS_81
和第一个LeakyReLU激活函数计算后生成的中间特征。
接着，为了进一步从多光谱马赛克图像获取深层次、具有表达性的特征信息，将初始浅层特征
Figure SMS_87
送入由多个密集连接残差模块组成的多层次特征融合模块，学习有助于多光谱图像重建的非线性局部及全局融合特征；
本实施例中多层次特征融合模块由15个密集连接残差模块
Figure SMS_88
组成，即M取15，密集连接残差模块/>
Figure SMS_89
的数量可根据实际情况进行调整。将初始浅层特征/>
Figure SMS_90
送入由15个密集连接残差模块/>
Figure SMS_91
组成的多层次特征融合模块/>
Figure SMS_92
，生成更具表达性和鲁棒性的多层次特征融合模块输出的非线性局部及全局融合信息/>
Figure SMS_93
：
Figure SMS_94
其中
Figure SMS_95
模块包含15个/>
Figure SMS_96
子模块。
本实施例中，每个密集连接残差模块由3个卷积模块
Figure SMS_97
和1个过度模块
Figure SMS_98
组成，如图3所示，其中，每个卷积模块由两个卷积层和两个激活函数层组成，第一个卷积层采用128个1×1的卷积核，第二个卷积层采用32个3×3的卷积核，激活函数均采用LeakyReLU函数，具体来说卷积模块模块内的操作如下所示：
Figure SMS_99
Figure SMS_100
Figure SMS_101
Figure SMS_102
其中，
Figure SMS_103
和/>
Figure SMS_106
分别是第i个卷积模块的输入和输出，i=1或2或3；/>
Figure SMS_108
、
Figure SMS_105
和/>
Figure SMS_107
表示第i个卷积模块的输入/>
Figure SMS_109
分别经过第i个卷积模块内的第一个卷积层函数、第一个LeakyReLU激活函数和第二卷积层函数计算后得到的中间值；
Figure SMS_110
( )和/>
Figure SMS_104
( )分别表示采用128个1×1卷积核的卷积层函数和采用32个3×3卷积核的卷积层函数；LeakyReLU( )表示LeakyReLU激活函数。
为了保留密集连接残差模块中不同层级特征中对多光谱图像重建有效的信息，将所有卷积模块的输入和输出采用密集连接方式连接起来。为了充分学习每个密集连接残差模块中的局部残差特征同时避免梯度消失，在密集连接残差模块中引入局部残差连接，将过度模块的输出
Figure SMS_111
与该密集连接残差模块的输入/>
Figure SMS_112
相加，最终得到第m个密集连接残差模块的输出，即/>
Figure SMS_113
，也就是说，m-1级密集连接残差模块的输出/>
Figure SMS_114
和该密集连接残差模块的输入/>
Figure SMS_115
（）相加后，作为第m级密集连接残差模块的第一个卷积模块的输入，与第m级密集连接残差模块的第一个卷积模块连接，其中1≤m≤M；m级密集连接残差模块的第一个卷积模块的输入向量以及输出向量在特征维度上进行拼接后，作为m级密集连接残差模块的第二个卷积模块的输入，与第二个卷积模块连接；m级密集连接残差模块的前两个卷积模块的输入向量以及第二个卷积模块的输出向量在特征维度上进行拼接后，作为m级密集连接残差模块的第三个卷积模块的输入，与第三个卷积模块连接；m级密集连接残差模块的三个卷积模块的输入向量与第三个卷积模块的输出向量在特征维度上进行拼接后，作为m级密集连接残差模块的过度模块的输入，与过度模块连接；m级密集连接残差模块的过度模块的输出与m级密集连接残差模块的输入相加，得到m级密集连接残差模块的最终输出；即：
Figure SMS_116
Figure SMS_117
Figure SMS_118
Figure SMS_119
其中
Figure SMS_120
表示第m-1个密集连接残差模块的输出，且
Figure SMS_123
，/>
Figure SMS_128
为第m-1个密集连接残差模块中过度模块的输出，/>
Figure SMS_121
为第m-1个密集连接残差模块中第一个卷积模块的输入，/>
Figure SMS_125
表示表示第m-2个密集连接残差模块的输出；/>
Figure SMS_127
、/>
Figure SMS_130
和/>
Figure SMS_122
分别表示第m个密集连接残差模块中3卷积模块的输入，/>
Figure SMS_124
、/>
Figure SMS_126
、/>
Figure SMS_129
分别表示第m个密集连接残差模块中3卷积模块的输出；Concatenate()表示输入向量和输出向量在特征维度上的拼接操作。
本实施例中将
Figure SMS_131
输入由一层含有64个1×1卷积核的卷积层和一层LeakyReLU激活函数组成的过度模块/>
Figure SMS_132
中进行融合处理，其计算如下：
Figure SMS_133
Figure SMS_134
其中，
Figure SMS_135
为过度模块的输入；x为/>
Figure SMS_136
经过卷积函数计算后的中间值；
Figure SMS_137
()表示过度模块内的卷积层的函数，/>
Figure SMS_138
为过度模块的输出。
最后，将用于深层次重建的非线性局部及全局融合信息送入图像重建模块，最终生成16个光谱波段下完整的多光谱图像立方体。通过最小化网络模型生成的多光谱图像立方体和多光谱数据集中真实16个波段多光谱图像数据之间的差异，从而优化整个网络模型的参数。
本实施例中，图像重建模块由两层卷积层、全局残差连接层和激活函数组成，且一层含有64个1×1卷积核的卷积层、一个全局残差连接操作、一层激活函数层LeakyReLU和一层含有16个3×3卷积核的卷积输出层顺序连接，图像重建模块中的具体计算过程如下：
Figure SMS_139
Figure SMS_140
Figure SMS_141
Figure SMS_142
其中，
Figure SMS_143
为多层次特征融合模块输出的非线性局部及全局融合信息；/>
Figure SMS_144
、
Figure SMS_145
和/>
Figure SMS_146
分别表示非线性局部及全局融合信息分别经过卷积层、全局残差连接操作和激活函数层LeakyReLU计算后得到的中间值；/>
Figure SMS_147
( )和
Figure SMS_148
( )分别表示图像重建模块中含有64个1×1卷积核的卷积层函数和含有16个3×3卷积核的卷积输出层函数；LeakyReLU( )为激活函数。
上式中
Figure SMS_149
是浅层特征提取模块中生成的中间特征，与初始输入的多光谱马赛克图像/>
Figure SMS_150
最接近，包含最丰富的底层特征信息，将/>
Figure SMS_151
与高层次重建特征进行全局残差连接融合，可以更有效地学习不同层级的重建信息，同时避免训练过程中网络模型过深带来的性能失效和重建效果退化。
采用以上方法，将公开的多光谱图像数据集CAVE中包含不同场景的多光谱图像按4×4多光谱滤波阵列MSFA仿真生成原始多光谱马赛克图像
Figure SMS_152
和对应16个光谱波段下完整多光谱图像/>
Figure SMS_155
，并将它们按8:2的比例随机划分为训练集和验证集。对于训练集中每个场景的多光谱马赛克图像/>
Figure SMS_158
和对应完整多光谱图像/>
Figure SMS_154
，分别在空间维度上切割成一一对应的大小为64×64的训练样本对，最终生成T个训练样本对/>
Figure SMS_156
。将T个多光谱马赛克训练样本/>
Figure SMS_159
输入本申请所提出的基于密集连接残差网络的多光谱去马赛克网络模型，得到T个网络模型生成的重建结果/>
Figure SMS_161
，优化目标是找到合适的网络模型参数使得下式的损失函数/>
Figure SMS_153
最小，即模型重建结果/>
Figure SMS_157
与真实结果/>
Figure SMS_160
最接近：
Figure SMS_162
其中
Figure SMS_163
代表本申请所提网络模型中所有网络参数变量。
利用优化好的网络模型对验证集中的多光谱马赛克图像
Figure SMS_164
进行去马赛克重建，采用峰值信噪比（Peak Signal Noise Ratio，PSNR）和重建图像的可视化效果作为评价标准，并对比现有三种多光谱去马赛克方法的性能（双线性插值方法Bilinear 、基于残差网络的多光谱去马赛克方法ResNet和基于马赛克卷积注意力网络的多光谱去马赛克方法MCAN），得到验证集多光谱图像的平均重建效果，如表1所示。
表1 不同方法对验证集多光谱图像去马赛克的重建效果对比
Figure SMS_165
由表1可以看出，本申请所提方法对验证集中4×4 MSFA的马赛克图像具有最优的去马赛克重建质量，平均PSNR达到47.31dB，远远优于传统插值方法的32.15dB；相比于现有两种基于深度学习的多光谱去马赛克方法ResNet和MCAN，其平均多光谱重建质量分别为42.62dB和46.03dB，本发明所提方法仍具有明显优势。图4展示了几种不同方法对两种不同的多光谱图像去马赛克的可视化效果，图中第一列为真实图像，第二例为真实图像的GT效果，后面四列分别为利用双线性插值方法Bilinear 、基于残差网络的多光谱去马赛克方法ResNet、基于马赛克卷积注意力网络的多光谱去马赛克方法MCAN以及本申请的方法进行去，马赛克后的图像，从重建图像视觉效果对比可以看出，传统线性插值方法Bilinear 的去马赛克图像上有明显模糊，图像质量不清晰，ResNet和MCAN方法的图像质量有一定提升，但仍存在图像细节模糊、失真现象。而本发明所提方法在可视化效果最佳、图像畸变最小，最接近真实图像GT效果。

Claims (10)

1.基于密集连接残差网络的多光谱图像去马赛克系统，其特征在于，所述系统包括顺序连接的浅层特征提取模块、多层次特征融合模块和图像重建模块；
所述浅层特征提取模块包括：两层卷积层和两层LeakyReLU激活函数层，其中卷积层和LeakyReLU激活函数层交替顺序连接；
所述多层次特征融合模块由M个密集连接残差模块组成，M≥1；每个密集连接残差模块均包括3个卷积模块和一个过度模块，密集连接残差模块中3个卷积模块和过度模块之间的连接关系为：m-1级密集连接残差模块的输出和m-1密集连接残差模块的输入相加后，作为m级密集连接残差模块的第一个卷积模块的输入，与第一个卷积模块相连，1≤m≤M；m级密集连接残差模块的第一个卷积模块的输入向量以及输出向量在特征维度上进行拼接后，作为m级密集连接残差模块的第二个卷积模块的输入，与第二个卷积模块连接；m级密集连接残差模块的前两个卷积模块的输入向量以及第二个卷积模块的输出向量在特征维度上进行拼接后，作为m级密集连接残差模块的第三个卷积模块的输入，与第三个卷积模块连接；m级密集连接残差模块的三个卷积模块的输入向量与第三个卷积模块的输出向量在特征维度上进行拼接后，作为m级密集连接残差模块的过度模块的输入，与过度模块连接；m级密集连接残差模块的过度模块的输出与m级密集连接残差模块的输入相加，得到m级密集连接残差模块的最终输出；
所述图像重建模块包括顺序连接的卷积层、全局残差连接操作层、LeakyReLU激活函数层和卷积输出层，且LeakyReLU激活函数层与浅层特征提取模块中第一层LeakyReLU激活函数层的输出连接。
2.根据权利要求1所述的基于密集连接残差网络的多光谱图像去马赛克系统，其特征在于，所述浅层特征提取模块中两层卷积层分别为：采用64个1×1的卷积核的第一卷积层和采用64个3×3的卷积核的第二卷积层。
3.根据权利要求1所述的基于密集连接残差网络的多光谱图像去马赛克系统，其特征在于，所述密集连接残差模块中，卷积模块均由两层卷积层和两层LeakyReLU激活函数层组成，且卷积层和LeakyReLU激活函数层顺序交替连接；所述过度模块包括顺序连接的采用64个1×1卷积核的卷积层和LeakyReLU激活函数层。
4.根据权利要求3所述的基于密集连接残差网络的多光谱图像去马赛克系统，其特征在于，所述卷积模块中两层卷积层分别为：采用128个1×1卷积核的第一卷积层和采用32个3×3卷积核的第二卷积层。
5.根据权利要求1所述的基于密集连接残差网络的多光谱图像去马赛克系统，其特征在于，所述图像重建模块中卷积层采用64个1×1卷积核；卷积输出层采用16个3×3卷积核。
6.基于密集连接残差网络的多光谱图像去马赛克方法，其特征在于，所述方法基于权利要求1～5中任一项所述的基于密集连接残差网络的多光谱图像去马赛克系统进行，所述方法包括：
S1：将原始N×N多光谱滤波阵列MSFA生成的马赛克多光谱图像输入浅层特征提取模块，学习得到原始多光谱图像的初始浅层特征，N≥1；
S2：将初始浅层特征送入多层次特征融合模块，得到多光谱图像的非线性局部及全局融合信息；
S3：将多光谱图像的非线性局部及全局融合信息送入图像重建模块，生成N×N个光谱波段下完整的多光谱图像立方体。
7.根据权利要求6所述的基于密集连接残差网络的多光谱图像去马赛克方法，其特征在于，
所述S1中在浅层特征提取模块进行的操作包括：
f0＝Conv2D(filters＝64,kernel＝(1,1))(IMSFA)
f1＝fM＝LeakyReLU(f0)
f2＝Conv2D(filters＝64,kernel＝(3,3))(f1)
fshallow＝LeakyReLU(f2)
其中，IMSFA为原始马赛克多光谱图像；Conv2D(filters＝64,kernel＝(1,1))()表示采用64个1×1卷积核的卷积层函数，Conv2D(filters＝64,kernel＝(3,3))()表示采用64个3×3卷积核的卷积层函数，LeakyReLU()表示LeakyReLU激活函数；f0、f1和f2分别表示原始马赛克多光谱图像IMSFA经过卷积层函数Conv2D(filters＝64,kernel＝(1,1))、第一个LeakyReLU激活函数以及卷积层函数Conv2D(filters＝64,kernel＝(3,3))计算后的中间值；fshallow表示原始马赛克图像IMSFA经过浅层特征提取模块后得到的初始浅层特征，fM表示经过浅层特征提取模块中卷积层函数Conv2D(filters＝64,kernel＝(1,1))和第一个LeakyReLU激活函数计算后生成的中间特征。
8.根据权利要求6所述的基于密集连接残差网络的多光谱图像去马赛克方法，其特征在于，所述S2中，多层次特征融合模块的每个卷积模块内均进行如下计算：
Figure FDA0004236544480000031
Figure FDA0004236544480000032
Figure FDA0004236544480000033
Figure FDA0004236544480000034
其中，
Figure FDA0004236544480000035
和/>
Figure FDA0004236544480000036
分别是第i个卷积模块的输入和输出，i代表第i个卷积模块，i＝1或2或3；/>
Figure FDA0004236544480000037
和/>
Figure FDA0004236544480000038
表示第i个卷积模块的输入/>
Figure FDA0004236544480000039
分别经过第i个卷积模块内的第一个卷积层函数、第一个LeakyReLU激活函数和第二卷积层函数计算后得到的中间值；Conv2D(filters＝128,kernel＝(1,1))()和Conv2D(filters＝32,kernel＝(3,3))()分别表示采用128个1×1卷积核的卷积层函数和采用32个3×3卷积核的卷积层函数；LeakyReLU()表示LeakyReLU激活函数；
所述过度模块内的计算如下：
Figure FDA00042365444800000310
Figure FDA00042365444800000311
其中，
Figure FDA00042365444800000312
和/>
Figure FDA00042365444800000313
分别表示过度模块的输入和输出，x为过度模块的输入/>
Figure FDA00042365444800000314
经过卷积函数计算后的中间值；Conv2D(filters＝64,kernel＝(1,1))()表示过度模块内采用128个1×1卷积核的卷积层函数，LeakyReLU()表示LeakyReLU激活函数。
9.根据权利要求8所述的基于密集连接残差网络的多光谱图像去马赛克方法，其特征在于，所述多层次特征融合模块，其第m级(1≤m≤M)密集连接残差模块中的每个卷积模块的和过度模块的输入分别如下：
Figure FDA0004236544480000041
Figure FDA0004236544480000042
Figure FDA0004236544480000043
Figure FDA0004236544480000044
其中
Figure FDA0004236544480000045
表示第m-1个密集连接残差模块的输出，且
Figure FDA0004236544480000046
为第m-1个密集连接残差模块中的过度模块的输出，/>
Figure FDA0004236544480000047
为第m-1个密集连接残差模块中第一个卷积模块的输入，/>
Figure FDA0004236544480000048
表示第m-2个密集连接残差模块的输出；/>
Figure FDA0004236544480000049
Figure FDA00042365444800000410
和/>
Figure FDA00042365444800000411
分别表示第m个密集连接残差模块中3个卷积模块和过度模块的输入，/>
Figure FDA00042365444800000412
和/>
Figure FDA00042365444800000413
分别表示第m个密集连接残差模块中3个卷积模块和过度模块的输出；Concatenate()表示输入向量和输出向量在特征维度上的拼接操作。
10.根据权利要求6所述的基于密集连接残差网络的多光谱图像去马赛克方法，其特征在于，所S3包括：
Figure FDA00042365444800000414
Figure FDA00042365444800000415
Figure FDA00042365444800000416
Figure FDA00042365444800000417
其中，fmultilevel为多层次特征融合模块输出的非线性局部及全局融合信息；Conv2D(filters＝64,kernel＝(1,1))()和Conv2D(filters＝16,kernel＝(3,3))()分别表示图像重建模块中采用64个1×1卷积核的卷积层函数和采用16个3×3卷积核的卷积输出层函数，LeakyReLU()表示LeakyReLU激活函数；
Figure FDA0004236544480000051
和/>
Figure FDA0004236544480000052
分别表示非线性局部及全局融合信息fmultilevel分别经过Conv2D(filters＝64,kernel＝(1,1))()卷积函数、全局残差连接操作和激活函数层LeakyReLU计算后得到的中间值，fM表示原始马赛克图像IMSFA经过浅层特征提取模块中卷积层函数Conv2D(filters＝64,kernel＝(1,1))和第一个LeakyReLU激活函数计算后生成的中间特征，/>
Figure FDA0004236544480000053
表示去马赛克后的多光谱图像立方体。
CN202310404702.5A 2023-04-17 2023-04-17 基于密集连接残差网络的多光谱图像去马赛克结构及方法 Active CN116128735B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310404702.5A CN116128735B (zh) 2023-04-17 2023-04-17 基于密集连接残差网络的多光谱图像去马赛克结构及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310404702.5A CN116128735B (zh) 2023-04-17 2023-04-17 基于密集连接残差网络的多光谱图像去马赛克结构及方法

Publications (2)

Publication Number Publication Date
CN116128735A CN116128735A (zh) 2023-05-16
CN116128735B true CN116128735B (zh) 2023-06-20

Family

ID=86295955

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310404702.5A Active CN116128735B (zh) 2023-04-17 2023-04-17 基于密集连接残差网络的多光谱图像去马赛克结构及方法

Country Status (1)

Country Link
CN (1) CN116128735B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117237474B (zh) * 2023-11-16 2024-02-09 长春理工大学 一种基于深度引导的片上集成多光谱成像重构方法
CN117372564B (zh) * 2023-12-04 2024-03-08 长春理工大学 一种重构多光谱图像的方法、系统及存储介质
CN118175435B (zh) * 2024-05-13 2024-08-13 中国工程物理研究院电子工程研究所 一种基于强度差值的多尺度残差多光谱去马赛克网络结构

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110009590A (zh) * 2019-04-12 2019-07-12 北京理工大学 一种基于卷积神经网络的高质量彩色图像去马赛克方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11410273B2 (en) * 2019-07-05 2022-08-09 Baidu Usa Llc Systems and methods for multispectral image demosaicking using deep panchromatic image guided residual interpolation
CN111383200B (zh) * 2020-03-30 2023-05-23 西安理工大学 基于生成式对抗神经网络的cfa图像去马赛克方法
CN111583112A (zh) * 2020-04-29 2020-08-25 华南理工大学 视频超分辨率的方法、系统、装置和存储介质
CN111696036B (zh) * 2020-05-25 2023-03-28 电子科技大学 基于空洞卷积的残差神经网络及两阶段图像去马赛克方法
CN112836773B (zh) * 2021-04-08 2022-09-02 河海大学 一种基于全局注意力残差网络的高光谱图像分类方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110009590A (zh) * 2019-04-12 2019-07-12 北京理工大学 一种基于卷积神经网络的高质量彩色图像去马赛克方法

Also Published As

Publication number Publication date
CN116128735A (zh) 2023-05-16

Similar Documents

Publication Publication Date Title
CN116128735B (zh) 基于密集连接残差网络的多光谱图像去马赛克结构及方法
Syu et al. Learning deep convolutional networks for demosaicing
Arad et al. Ntire 2022 spectral recovery challenge and data set
CN109903228B (zh) 一种基于卷积神经网络的图像超分辨率重建方法
CN111127336B (zh) 一种基于自适应选择模块的图像信号处理方法
Ratnasingam Deep camera: A fully convolutional neural network for image signal processing
CN111080567A (zh) 基于多尺度动态卷积神经网络的遥感图像融合方法及系统
CN112465727A (zh) 基于HSV色彩空间和Retinex理论的无正常光照参考的低照度图像增强方法
CN112561799A (zh) 一种红外图像超分辨率重建方法
CN112819705B (zh) 一种基于网状结构与长距离相关性的真实图像去噪方法
CN115564692B (zh) 顾及幅宽差异下的全色-多光谱-高光谱一体化融合方法
Bian et al. Generalized MSFA engineering with structural and adaptive nonlocal demosaicing
Fan et al. Global sensing and measurements reuse for image compressed sensing
CN112150363B (zh) 一种基于卷积神经网络的图像夜景处理方法及运行该方法的计算模块与可读存储介质
CN113628143A (zh) 一种基于多尺度卷积的加权融合图像去雾方法及装置
CN117392327A (zh) 一种基于先验图像和自编码器模型的高光谱图像重构方法
CN117036182A (zh) 一种单幅图像去雾方法及系统
CN116245968A (zh) 基于Transformer的LDR图像生成HDR图像的方法
CN114972073B (zh) 基于超分辨率生成对抗网络srgan的图像去马赛克方法
CN115984106A (zh) 一种基于双边生成对抗网络的线扫描图像超分辨率方法
CN115861749A (zh) 一种基于窗口交叉注意力的遥感图像融合方法
CN113393379B (zh) 基于像素编码的大f数衍射实时校正的高分辨成像方法
Bai et al. Convolutional sparse coding for demosaicking with panchromatic pixels
CN118175435B (zh) 一种基于强度差值的多尺度残差多光谱去马赛克网络结构
CN114972072A (zh) 基于注意力机制的图像去马赛克方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant