CN117372564B - 一种重构多光谱图像的方法、系统及存储介质 - Google Patents

一种重构多光谱图像的方法、系统及存储介质 Download PDF

Info

Publication number
CN117372564B
CN117372564B CN202311641120.5A CN202311641120A CN117372564B CN 117372564 B CN117372564 B CN 117372564B CN 202311641120 A CN202311641120 A CN 202311641120A CN 117372564 B CN117372564 B CN 117372564B
Authority
CN
China
Prior art keywords
image
multispectral
interpolation
reconstructing
residual error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311641120.5A
Other languages
English (en)
Other versions
CN117372564A (zh
Inventor
宋延嵩
董科研
郝群
张博
朴明旭
闫冈崎
梁宗林
刘天赐
胡文一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun University of Science and Technology
Original Assignee
Changchun University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun University of Science and Technology filed Critical Changchun University of Science and Technology
Priority to CN202311641120.5A priority Critical patent/CN117372564B/zh
Publication of CN117372564A publication Critical patent/CN117372564A/zh
Application granted granted Critical
Publication of CN117372564B publication Critical patent/CN117372564B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种重构多光谱图像的方法、系统及存储介质，用于多光谱技术领域，包括以下步骤：构建空谱联合的注意力残差网络模型；其中，注意力残差网络模型包括：多分支空间通道补偿块、残差密集块；多分支空间通道补偿块对插值稀疏图像进行初步去马赛克处理，得到c个波段特征信息和初步插值全通图像；将c个波段特征信息和初步插值全通图像输入残差密集块，进一步提取底层特征，进行空间和光谱残差补偿，得到最终的去马赛克多光谱图像；插值稀疏图像为原始图像I经二进制掩码调制后对各个波段的采样结果。

Description

一种重构多光谱图像的方法、系统及存储介质
技术领域
本发明属于多光谱光学技术领域，尤其涉及一种重构多光谱图像的方法、系统及存储介质。
背景技术
在本领域中，建立多光谱成像系统从而获得不同波段的光谱信息以达到物体信息的互补能够更利于在计算机视觉、卫星成像、食品工业、农业、医学成像等各种光学场景中有着更广泛的应用。但是在现有的多光谱图像的采集与重构的技术方案中，在单传感器上同时采集多光谱图像的空间和光谱信息可以利用多光谱滤光片阵列 （Multispectralfilter array，MSFA）进行单次拍摄来有效执行。然而，对于含有稀疏空间采样率及强的频谱互相关性的原始数据图像进行重构成为了一个具有挑战性的问题；例如使用传统的利用加权双线性差值方法以及伪全色图像差分法，进行多光谱去马赛克，如果不结合空间和频谱的相关性，结果通常会导致在频谱上失真，并导致空间域上的边缘模糊。而基于深度学习的方法虽然优于上述传统方法，但深度学习的方法生成的图像能在具有高对比度的明亮区域中呈现假彩色伪影并且在去马赛克结果中观察到光晕效应。即，在多光谱图像重构的方法中，传统方法和深度学习方法都有着各自的缺点。
基于此，本领域技术人员亟需提供一种全新的多光谱图像重构方法，以解决上述现有技术中存在的多光谱图像重构过程中存在的技术问题。
发明内容
有鉴于此，本发明的目的在于提供一种重构多光谱图像的方法的，通过采用MSFA单传感器多光谱快照成像系统联合传统的马赛克去除法以及深度学习方法的深度学习网络重构多光谱图像，以解决上述现有技术中存在的技术问题。
为此本发明提供了如下技术方案：
一种重构多光谱图像的方法，包括以下步骤：
构建空谱联合的注意力残差网络模型；
其中，所述注意力残差网络模型包括：多分支空间通道补偿块、残差密集块；所述多分支空间通道补偿块对插值稀疏图像进行初步去马赛克处理，得到c个波段特征信息和初步插值全通图像；将所述c个波段特征信息和所述初步插值全通图像输入所述残差密集块，进一步提取底层特征，进行空间和光谱残差补偿，得到最终的去马赛克多光谱图像/>；所述插值稀疏图像/>为原始图像I经二进制掩码调制后对各个波段的采样结果；
获取用于训练所述注意力残差网络模型的训练集，利用所述训练集对所述注意力残差网络模型进行训练，利用损失函数进行优化直至得到最优的注意力残差网络模型；
将所述插值稀疏图像输入最优的所述注意力残差网络模型，输出最终的去马赛克多光谱图像/>。
优选的，所述多分支空间通道补偿块对待重构图像进行初步去马赛克处理，得到所述c个波段特征信息和所述初步插值全通图像，具体包括以下步骤：
应用加权双线性WB插值将所述插值稀疏图像生成初步的去马赛克图像/>，然后通过马赛克通道卷积块MCCB对分裂出的各波段稀疏图像的浅层特征进行初步提取，得到各个波段的浅层特征信息；
并将c个波段的所述浅层特征信息和全波段的所述浅层特征信息级联输入预构建的空间通道注意力模型SCAM，在空间和通道上进行自适应的特征匹配学习，得到c波段特征信息。
优选的，将所述c个波段特征信息和所述初步插值全通图像输入所述残差密集块，进一步提取深层特征，进行空间和光谱残差补偿，并将补偿结果图像进行重构，得到最终的所述去马赛克多光谱图像/>：
将所述c波段特征信息和所述初步插值全通图像使用所述残差密集块进行学习聚合，得到所述补偿结果图像/>；
利用一个输出为c通道的卷积层将所述补偿结果图像进行重构，并添加长跳跃连接使初步插值图像/>与重构的八波段多光谱残差图像相加，得到最终的去马赛克多光谱图像/>。
优选的，所述去马赛克多光谱图像的表达式为：
；
其中，表示输出为c通道的ARN卷积网络函数；/>表示重构层。
优选的，还包括：获取插值稀疏图像的步骤，具体包括：
基于MSFA单传感器成像方法获取空间分辨率为W*H像素的原始马赛克图像；其中，稀疏单个波段和高采样率的全通波段b是与MSFA中对应像素相关联；
原始图像I经过各个波段的二进制掩码进行调制；其中，采集像素处为1，其余全为0；
根据像素坐标将最终得到的所述插值稀疏图像/>看作对各个波段进行采样的结果。
优选的，所述注意力残差网络模型的优化方法包括：
采用L1损失函数监督所述注意力残差网络模型的网络学习；获取一个由N幅光谱马赛克图像及恢复的多光谱图像对应表示为的所述训练集；所述训练集训练ARN的目标是使L1损失函数达到最小：
其中，L1损失函数的表达式如下：
；
其中表示ARN的参数集；并利用优化器对损失函数进行优化。
一种重构多光谱图像的系统，包括：
图像采集单元：利用MSFA单传感器多光谱快照成像方法获取空间分辨率为W*H像素的原始马赛克图像；
图像处理单元：采用空谱联合的注意力残差网络模型对所述原始马赛克图像进行去马赛克处理，得到去马赛克多光谱图像；
图像数据传输单元，为所述系统各个单元间进行数据传输提供帮助；
通信单元包括：信号监测装置、信号切换装置、无线通信模块、北斗通信模块，基于所述无线通信模块与北斗通信模块，将信息实时传输至终端设备；
电源单元：太阳能电池及电源管理模块，为系统整体提供稳定电源；
系统故障监测单元，通过将一定数量的所述原始马赛克图像对应的最终的所述去马赛克多光谱图像作为测试集输入所述注意力残差网络模型中，将输出结果与所述去马赛克多光谱图像/>进行匹配，若匹配不一致则判定系统出现故障蜂鸣器发出警报，若匹配一致则判定系统未故障系统正常运行。
优选的，所述，所述通信单元中信号切换装置根据信号监测装置监测的通信信号大小，进行无线通信和北斗通信模块的通信切换。
一种计算机可读存储介质，其上存储计算机可读指令，当所述计算机可读指令由计算机执行时，所述计算机执行任一项所述重构多光谱图像的方法的步骤。
与现有技术相比，本发明具有如下有益效果：
本申请基于一种含有全通波段的8波段4×4MSFA；提出了空谱联合的注意力残差网络模型，首先使用多分支模型对各个波段插值后的图像特征进行学习，其次八个波段和全通波段的特征信息联合通过本申请设计的空间通道注意力模型SCAM，应用多层卷积和卷积注意力模块并使用残差补偿的方式可以有效的弥补各波段的颜色差异和丰富边缘纹理相关特征信息；之后初步插值的全通波段和其余波段特征信息通过无需进行批量归一化的残差密集块对多光谱图像空间和光谱相关性进行特征学习以匹配各个波段的光谱信息。实验结果表明，本申请对于在D65光源下测试图像的峰值信噪比、结构相似度和光谱角相似度分别优于最先进深度学习方法3.46%、0.27%和6%，并且此方法不仅减少了伪影还获得更多的纹理细节。
附图说明
图1为本发明配备MSFA的单传感器多光谱相机的原始图像采集与去马赛克过程图；
图2为本发明残差注意力网络模型框架图；
图3为本发明马赛克通道卷积块结构图；
图4为本发明空间通道注意模型结构图；
图5为本发明对D65光源下的测试图像在sRGB颜色空间中的去马赛克效果视觉对比图；
图6为本发明不同测试图像在679nm处不同场景的去马赛克误差图视觉比较图；
图7为本发明测试图像光盘在494nm、605nm以及679nm波段的4种技术下去马赛克误差图视觉比较图；
图中：1光线、2景象、3透镜、41MSFA、42传感器、4配备MSFA的单传感器、5空谱联合的注意力残差网络模型MBARN、6重构后的多光谱图像、7原始图像。
具体实施方式
下面结合实施例对本发明提供的技术方案进行详细的说明，但是不能把它们理解为对本发明保护范围的限定。
实施例1
一种重构多光谱图像的方法，包括以下步骤：
构建空谱联合的注意力残差网络模型；
其中，注意力残差网络模型包括：多分支空间通道补偿块、残差密集块；多分支空间通道补偿块对插值稀疏图像进行初步去马赛克处理，得到c个波段特征信息和初步插值全通图像；将c个波段特征信息和初步插值全通图像输入残差密集块，进一步提取底层特征，进行空间和光谱残差补偿，得到最终的去马赛克多光谱图像/>；插值稀疏图像/>为原始图像I经二进制掩码调制后对各个波段的采样结果。
获取用于训练注意力残差网络模型的训练集，利用训练集对注意力残差网络模型进行训练，利用损失函数进行优化直至得到最优的注意力残差网络模型；
将插值稀疏图像输入最优的注意力残差网络模型，输出最终的去马赛克多光谱图像/>。
具体地：
还包括：获取插值稀疏图像的步骤，具体包括：
基于MSFA单传感器成像方法获取空间分辨率为W*H像素的原始马赛克图像；其中，稀疏单个波段和高采样率的全通波段是与MSFA中对应像素/>相关联，，/>；
原始图像I经过各个波段的二进制掩码进行调制；其中，采集像素处为1，其余全为0；
根据像素坐标将最终得到的插值稀疏图像/>看作对各个波段进行采样的结果，其表达式为：
（1）
其中，为原始图像与二进制掩码对应元素相乘。上述获取稀疏马赛克图像/>的过程可以简化为简单的线性观测模型：
(2)
其中表示由MSFA二进制掩码矩阵决定的马赛克操作。针对退化模型，去马赛克问题的研究往往利用插值稀疏图像/>和缺失像素空间分布的/>来恢复干净的全分辨率图像。重建过程可以表示为：
（3）
其中是重构多光谱图像，F表示重建算法。而对于基于CNN网络的MSFA去马赛克方法，F还表示使用相应的损失函数L在真值图像/>的监督下训练的神经网络：
(4)
为4×4MSFA相机的原始图像采集过程和马赛克模型，其中，在本实施例中C=8，C表示通道数。MSFA中的每个传感器像素在接收到场景反射的光后，根据光谱灵敏度曲线在特定波段进行响应。通过一次采集对原始图像进行去马赛克处理，获得8通道全分辨率的最终的去马赛克多光谱图像。
更进一步地，需要说明的是，在MSFA模式与CNN结合的多光谱图像去马赛克的方法中，一种是利用传统的插值对缺失像素进行插值然后输入到网络模型中，另外一种是利用生成的伪全色图像然后作为某个CNN网络的输入。而与其他的多光谱图像重构任务相比，考虑到本实施例所使用的MSFA模式，针对高采样率全通图像包含丰富的图像颜色和纹理信息以及八波段稀疏图像的特性，本实施例提出了一种残差注意力网络模型。如图2所示，此网络模型是一个端到端的网络；在本实施例中首先多分支空间通道补偿块对待重构图像进行初步去马赛克处理，得到c个波段特征信息和初步插值全通图像，具体包括以下步骤：
应用加权双线性WB插值将插值稀疏图像生成初步的去马赛克图像/>，然后通过马赛克通道卷积块MCCB对分裂出的各波段稀疏图像的浅层特征进行初步提取，得到各个波段的浅层特征信息，从而降低代价的同时降低马赛克失真。
(7)
其中代表马赛克通道卷积块的操作。并将c个波段的浅层特征信息和全波段的浅层特征信息级联输入预构建的空间通道注意力模型SCAM，在空间和通道上进行自适应的特征匹配学习，得到c波段特征信息/>。其中在本实施例中c=8。
(8)
其中表示空间通道注意力模型的操作，/>表示全通图像经过MCCB后的初步特征信息。由于MCCB仅是对初步的去马赛克图像进行了浅层特征提取，并没有对混叠的伪影和边缘纹理进行处理，而SCAM可以对联合输入的特征信息在空间和通道上进行自适应的特征信息匹配学习，可以有效的降低图像由于插值产生的伪影和提高边缘纹理不清晰的问题。
最后，将c个波段特征信息和初步插值全通图像输入残差密集块，进一步提取深层特征，进行空间和光谱残差补偿，并将补偿结果图像进行重构，得到最终的去马赛克多光谱图像/>：
将c波段特征信息和初步插值全通图像使用残差密集块进行学习聚合，得到补偿结果图像/>，使其提取更深层次的特征以进行空间和光谱残差补偿，从而提高多光谱图像特征信息的空间光谱相关性。
(9)
利用一个输出为c通道的卷积层将补偿结果图像进行重构，并添加长跳跃连接使初步插值图像/>与重构的八波段多光谱残差图像相加，得到最终的去马赛克多光谱图像；
(10)
其中表示ARN整个网络函数，/>表示重构层。
其中，在本实施例中使用的WB插值是公认的MSFA图像去马赛克最常用的方法。根据与中心像素的距离分配不同的权重。使用初始设计的低通滤波器，通过插值稀疏图像生成初步估计的多光谱图像/>。
(5)
其中为卷积算子，W为7×7的滤波器，定义为：
(6)
由于WB插值是快速的，本实施例选择这种方法生成一个初步的4×4MSFA图像的马赛克结果作为后续对空间光谱进行特征学习的基础。
去马赛克多光谱图像的表达式为：
；
其中，表示输出为c通道的ARN卷积网络函数；/>表示重构层；/>表示空间通道注意力模型的操作。
注意力残差网络模型的优化方法包括：
采用L1损失函数监督注意力残差网络模型的网络学习；获取一个由N幅光谱马赛克图像及恢复的多光谱图像对应表示为的训练集；训练集训练ARN的目标是使L1损失函数达到最小：
其中，L1损失函数的表达式如下：
；
其中表示ARN的参数集；并利用优化器对损失函数进行优化。
结合大量的实验数据对本实施例的技术效果进行进一步的介绍：
由于初步插值的马赛克图像存在大量的伪影并且细节纹理特征表现模糊。并且优先对插值后的马赛克图像初步提取特征已被证明是可行的，因此在本实施例中改进了所使用的卷积模块。应用MCCB对图像的空间特征进行有效的初步提取。并对后续进行深层特征提取进行空间补偿，减少伪影。如图3所示，初步插值后的单波段马赛克图像首先被输入到3×3卷积层中以增加维度，然后通过马赛克注意卷积以及LeakyReLU激活函数可以增加非线性，最后通过维度变换为后续输入做准备。
其中插值后的马赛克图像经过MCCB只是对浅层特征的提取，并不能很好的解决插值图像存在的伪影和纹理不清晰的问题。因此构造了SCAM，其输入将联合各波段特征信息和全通波段特征信息，由于全通图像不仅采样率高，而且对于局部纹理和整体颜色特征都有着良好的表现形式。通过学习全通波段的颜色和纹理特征信息从而移植到八波段去马赛克图像中。这种方法有效地从中捕获更多的细节特征，并且有助于给后续的八波段图像重构提供更多的特征信息并且加快学习过程的收敛。这种注意力机制不仅有利于减轻传统方法中常见的空间伪影和光谱混叠问题。而且此过程不涉及下采样操作，因此空间信息得到了很好的保留。
空间通道注意模型网络结构如图4所示，输入是由MCCB分别对各个波段和全通波段插值后的马赛克图像进行特征特征提取后级联构成，在前项模块中，输出特征均为32，所以在本实施例中设置了一层输入输出为64的卷积层对联合输入的特征进行维度变换以供后续操作，最后一层是由一个输入64输出1的卷积层构成，并由激活函数增加非线性输出到后续的重构层对八波段马赛克图像重构。中间卷积层的目的是根据融合过全通波段的特征图进行平滑去马赛克和估计各个波段多光谱图像。其中设置了卷积核大小均为3×3的两层输入输出为64卷积层和MA层。SCAM网络结构应用了卷积注意模块CBAM来提高输出特征在空间和通道中的自适应性，并且在多尺度上对八波段图像捕获更多的颜色纹理细节信息。
在实际实施时使用了哥伦比亚大学的CAVE实验室在中发布的高质量多光谱图像数据集、TokyoTech-31 band（TT31） 数据集。其中CAVE包含32个场景，每个场景为31个波段，覆盖波长范围从420nm到720nm。TT31数据集包含35个场景，具有从420nm到720nm的31个波段，全部以10nm间隔。分别创建具有58个和9个样本的训练集和测试集。
对于所有实验，本实施例的模型在Pytorch中实现。通过使用三种CIE标准光源（A，D65，F12），水平或垂直翻转并旋转90°，180°和270°来随机增强辐射率多光谱图像。在模型训练过程中，随机抽取32幅大小为128×128的拼接图像作为批量输入。使用Adam作为优化器。所有层的学习率初始化为0.002。训练过程将在2000个epoch后停止。
与现有去马赛克方法的定量比较
在对图像进行定量的性能评价中，本实施例使用较为广泛的PSNR、SSIM和SAM作为评价指标。为了说明算法的有效性，将所提出的去马赛克方法与两种传统算法进行比较，包括WB、PPID，以及基于深度学习的MGCC方法。其中WB是基于加权双线性插值的，PPID是基于伪全色图像的，MGCC是一种基于颜色相互引导的深度学习方法，通过使用与上述相同的数据集以及参数设置训练MGCC。表1、表2和表3分别显示了测试图像分别在A光源、D65光源和F12光源下的PSNR、SSIM和SAM评估的定量结果。对于每个指标，最佳结果以粗体突出显示。每个表的最后一行表示9幅测试图像的平均值，其他行分别表示各个测试图像的定量结果。
明显看出WB几乎在所有情况下都具有最差的性能，因为估计的图像被过度平滑。相反，PPID估计的图像是过度锐化和噪声密集的，导致低的平均分数。然而，相比于最先进的深度学习方法，传统方法的性能仍有所差距。在对比的深度学习方法中，显示了所提出的去马赛克方法在空间域和谱域中优于现有方法。在9幅测试图像中，对于表1模拟A光源，本实施例的方法仅有一幅图像中的SAM值低于MGCC，而其他图像的PSNR、SSIM和SAM均具有最佳性能，并且PSNR、SSIM和SAM的平均值分别显著优于MGCC的1.25dB、0.0018和0.469。
表1 A光源下的PSNR、SSIM和SAM值
对于表2模拟的D65光源，本实施例的方法生成了9幅具有最佳PSNR的图像，8幅具有最佳SSIM和SAM的图像。对比其它方法，MGCC仅在SSIM和SAM指标中分别又一幅图像表现最好。然而，所提出的方法在所有图像的PSNR，SSIM和SAM平均值都显着优于MGCC的1.35dB，0.0027和0.228。
表2 D65光源下的PSNR、SSIM和SAM值
对于表3模拟的F12光源，本实施例提出的方法在PSNR和SSIM均具有最佳性能，并且两种指标的均值都显著优于MGCC的1.1dB、0.0043，而在SAM指标中本文方法有7副测试图像具备最佳性能，并且在所有测试图像的平均值上优于MGCC方法0.435。本实施例所使用的模型网络框架的优越性来自所使用的马赛克通道卷积块和空间通道注意模型对于MSFA模式去马赛克的性质和恢复高质量图像具有很强的一致性。这表明我们提出的模型在图像质量和光谱保真度方面都优于现有方法。
表3 F12光源下的PSNR、SSIM和SAM值
与现有去马赛克方法的视觉比较
图5显示了在sRGB颜色空间中对D65光源下的图像进行了去马赛克效果的主观视觉比较。对于每个图像，具有重要细节的区域在彩色框中突出显示并放大。明显观察出传统WB方法在大多数情况下表现并不令人满意，因为过度平滑导致纹理不清晰显示模糊并且在部分图像中有严重的彩色伪影。尽管PPID相比于WB产生了更清晰的输出，但仍然丢失了一些局部细节并且有着密集的噪声。基于深度学习的方法相对于传统方法总体表现更好。然而，MGCC在边缘处依然有局部噪声和少量伪影存在，如“气球”和“Resolution Test Card”突出显示区域所示，其中“气球”中的字母处明显有少量的颜色伪影，“Resolution TestCard”中的放大区域更是明显存在颜色混叠及边缘存在少量噪声。对比本文提出的方法，不仅在整体效果上表现更好，并且在局部放大中对于高亮区域和边缘纹理方面有着良好的效果，相比于其他算法也存在更少的颜色伪影。
重构方法的速度和计算成本对于确定它是否可以在真实的多光谱成像系统上实现非常重要。表4和表5比较了几种多光谱去马赛克方法在三种光源下所有测试图像上的重构性能以及它们的运行时间。能观察到，所提出的模型在所有客观评估指标方面和运行时间上都显着优于其他方法。因此，算法以有竞争力的速度和计算成本运行。
表4 测试图像在三种光源下的PSNR、SSIM和SAM与不同去马赛克方法的定量比较
表5 不同去马赛克方法运行时间比较单位：ms
实施例2
一种重构多光谱图像的系统，包括：
图像采集单元：利用MSFA单传感器多光谱快照成像方法获取空间分辨率为W*H像素的原始马赛克图像；
图像处理单元：采用空谱联合的注意力残差网络模型对原始马赛克图像进行去马赛克处理，得到去马赛克多光谱图像；
图像数据传输单元，为系统各个单元间进行数据传输提供帮助；
通信单元包括：信号监测装置、信号切换装置、无线通信模块、北斗通信模块，基于无线通信模块与北斗通信模块，将信息实时传输至终端设备；
电源单元：太阳能电池及电源管理模块，为系统整体提供稳定电源；
系统故障监测单元，通过将一定数量的原始马赛克图像对应的最终的去马赛克多光谱图像作为测试集输入注意力残差网络模型中，将输出结果与去马赛克多光谱图像/>进行匹配，若匹配不一致则判定系统出现故障蜂鸣器发出警报，若匹配一致则判定系统未故障系统正常运行。
通信单元中信号切换装置根据信号监测装置监测的通信信号大小，进行无线通信和北斗通信模块的通信切换。
实施例3
一种计算机可读存储介质，其上存储计算机可读指令，当计算机可读指令由计算机执行时，计算机执行如实施例1-2任一项重构多光谱图像的方法的步骤。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种重构多光谱图像的方法，其特征在于，包括以下步骤：
构建空谱联合的注意力残差网络模型；
其中，所述注意力残差网络模型包括：多分支空间通道补偿块、残差密集块；所述多分支空间通道补偿块对插值稀疏图像I％进行初步去马赛克处理，得到c个波段特征信息和初步插值全通图像；将所述c个波段特征信息和所述初步插值全通图像输入所述残差密集块，进一步提取底层特征，进行空间和光谱残差补偿，得到最终的去马赛克多光谱图像所述插值稀疏图像I％为原始图像I经二进制掩码调制后对各个波段的采样结果；
获取用于训练所述注意力残差网络模型的训练集，利用所述训练集对所述注意力残差网络模型进行训练，利用损失函数进行优化直至得到最优的注意力残差网络模型；
将所述插值稀疏图像I％输入最优的所述注意力残差网络模型，输出最终的去马赛克多光谱图像
其中，多分支空间通道补偿块对待重构图像进行初步去马赛克处理，得到所述c个波段特征信息和所述初步插值全通图像，具体包括以下步骤：
应用加权双线性WB插值将所述插值稀疏图像I％生成初步的去马赛克图像然后通过马赛克通道卷积块MCCB对分裂出的各波段稀疏图像的浅层特征进行初步提取，得到各个波段的浅层特征信息；
并将c个波段的所述浅层特征信息和全波段的所述浅层特征信息级联输入预构建的空间通道注意力模型SCAM，在空间和通道上进行自适应的特征匹配学习，得到c波段特征信息FS。
2.根据权利要求1所述的一种重构多光谱图像的方法，其特征在于，将所述c个波段特征信息和所述初步插值全通图像输入所述残差密集块，进一步提取底层特征，进行空间和光谱残差补偿，并将补偿结果图像FR进行重构，得到最终的所述去马赛克多光谱图像
将所述c波段特征信息FS和所述初步插值全通图像使用所述残差密集块进行学习聚合，得到所述补偿结果图像FR；
利用一个输出为c通道的卷积层将所述补偿结果图像FR进行重构，并添加长跳跃连接使初步插值图像与重构的八波段多光谱残差图像相加，得到最终的去马赛克多光谱图像
3.根据权利要求2所述的一种重构多光谱图像的方法，其特征在于，所述去马赛克多光谱图像的表达式为：
其中，MARN(·)表示输出为c通道的ARN卷积网络函数；MR(·)表示重构层。
4.根据权利要求1所述的一种重构多光谱图像的方法，其特征在于，还包括：获取插值稀疏图像I％的步骤，具体包括：
基于MSFA单传感器成像方法获取空间分辨率为W*H像素的原始马赛克图像；其中，稀疏单个波段和高采样率的全通波段b是与MSFA中对应像素p(i,j)相关联；
原始图像I经过各个波段的二进制掩码进行调制；其中，采集像素处为1，其余全为0；
根据像素坐标(i,j)将最终得到的所述插值稀疏图像I％看作对各个波段进行采样的结果。
5.根据权利要求1所述的一种重构多光谱图像的方法，其特征在于，所述注意力残差网络模型的优化方法包括：
采用L1损失函数监督所述注意力残差网络模型的网络学习；获取一个由N幅光谱马赛克图像及恢复的多光谱图像对应表示为的所述训练集；所述训练集训练ARN的目标是使L1损失函数达到最小：
其中，L1损失函数的表达式如下：
其中θ表示ARN的参数集；并利用优化器对损失函数进行优化。
6.一种重构多光谱图像的系统，所述系统使用如权利要求1-5所述一种重构多光谱图像的方法进行，其特征在于，包括：
图像采集单元：利用MSFA单传感器多光谱快照成像方法获取空间分辨率为W*H像素的原始马赛克图像；
图像处理单元：采用空谱联合的注意力残差网络模型对所述原始马赛克图像进行去马赛克处理，得到去马赛克多光谱图像
图像数据传输单元，为所述系统各个单元间进行数据传输提供帮助；
通信单元包括：信号监测装置、信号切换装置、无线通信模块、北斗通信模块，基于所述无线通信模块与北斗通信模块，将信息实时传输至终端设备；
电源单元：太阳能电池及电源管理模块，为系统整体提供稳定电源；
系统故障监测单元，通过将一定数量的所述原始马赛克图像对应的最终的所述去马赛克多光谱图像作为测试集输入所述注意力残差网络模型中，将输出结果与所述去马赛克多光谱图像/>进行匹配，若匹配不一致则判定系统出现故障蜂鸣器发出警报，若匹配一致则判定系统未故障系统正常运行。
7.根据权利要求6所述的一种重构多光谱图像的系统，其特征在于，所述通信单元中信号切换装置根据信号监测装置监测的通信信号大小，进行无线通信和北斗通信模块的通信切换。
8.一种计算机可读存储介质，其特征在于，其上存储计算机可读指令，当所述计算机可读指令由计算机执行时，所述计算机执行如权利要求1-5任一项所述重构多光谱图像的方法的步骤。
CN202311641120.5A 2023-12-04 2023-12-04 一种重构多光谱图像的方法、系统及存储介质 Active CN117372564B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311641120.5A CN117372564B (zh) 2023-12-04 2023-12-04 一种重构多光谱图像的方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311641120.5A CN117372564B (zh) 2023-12-04 2023-12-04 一种重构多光谱图像的方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN117372564A CN117372564A (zh) 2024-01-09
CN117372564B true CN117372564B (zh) 2024-03-08

Family

ID=89396877

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311641120.5A Active CN117372564B (zh) 2023-12-04 2023-12-04 一种重构多光谱图像的方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN117372564B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118175435B (zh) * 2024-05-13 2024-08-13 中国工程物理研究院电子工程研究所 一种基于强度差值的多尺度残差多光谱去马赛克网络结构
CN118279541B (zh) * 2024-05-30 2024-09-03 天津恒达文博科技股份有限公司 一种用于文物图像采集的多光谱相机图像数据处理方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111104850A (zh) * 2019-10-30 2020-05-05 中国资源卫星应用中心 一种基于残差网络的遥感影像建筑物自动提取方法和系统
CN116029930A (zh) * 2023-01-09 2023-04-28 西安电子科技大学 一种基于卷积神经网络的多光谱图像去马赛克方法
CN116128735A (zh) * 2023-04-17 2023-05-16 中国工程物理研究院电子工程研究所 基于密集连接残差网络的多光谱图像去马赛克结构及方法
CN116134298A (zh) * 2020-06-03 2023-05-16 伦敦大学国王学院 用于联合去马赛克和光谱特征图估计的方法和系统
CN116309139A (zh) * 2023-03-03 2023-06-23 西北工业大学 一种适用于一对多红外多光谱图像去马赛克方法
CN116309070A (zh) * 2023-03-24 2023-06-23 阿坝州自然资源与科技信息研究所 一种高光谱遥感图像超分辨率重建方法、装置及计算机设备
CN117011534A (zh) * 2022-04-25 2023-11-07 北京小米移动软件有限公司 光谱重建方法、装置、电子设备和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111104850A (zh) * 2019-10-30 2020-05-05 中国资源卫星应用中心 一种基于残差网络的遥感影像建筑物自动提取方法和系统
CN116134298A (zh) * 2020-06-03 2023-05-16 伦敦大学国王学院 用于联合去马赛克和光谱特征图估计的方法和系统
CN117011534A (zh) * 2022-04-25 2023-11-07 北京小米移动软件有限公司 光谱重建方法、装置、电子设备和存储介质
CN116029930A (zh) * 2023-01-09 2023-04-28 西安电子科技大学 一种基于卷积神经网络的多光谱图像去马赛克方法
CN116309139A (zh) * 2023-03-03 2023-06-23 西北工业大学 一种适用于一对多红外多光谱图像去马赛克方法
CN116309070A (zh) * 2023-03-24 2023-06-23 阿坝州自然资源与科技信息研究所 一种高光谱遥感图像超分辨率重建方法、装置及计算机设备
CN116128735A (zh) * 2023-04-17 2023-05-16 中国工程物理研究院电子工程研究所 基于密集连接残差网络的多光谱图像去马赛克结构及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"基于可变形卷积和多尺度残差注意力的多光谱行人检测方法";张国立 等;《激光与光电子学进展》;第1-14页 *

Also Published As

Publication number Publication date
CN117372564A (zh) 2024-01-09

Similar Documents

Publication Publication Date Title
CN117372564B (zh) 一种重构多光谱图像的方法、系统及存储介质
CN108830796B (zh) 基于谱空结合和梯度域损失的高光谱图像超分辨重构方法
Jiang et al. A switched view of Retinex: Deep self-regularized low-light image enhancement
Ma et al. A wavelet-based dual-stream network for underwater image enhancement
CN109509160A (zh) 一种利用逐层迭代超分辨率的分层次遥感图像融合方法
EP4055555A1 (en) Noise reconstruction for image denoising
CN112465727A (zh) 基于HSV色彩空间和Retinex理论的无正常光照参考的低照度图像增强方法
CN111598789B (zh) 一种基于深度学习的稀疏颜色传感器图像重建方法
Huang et al. Color correction and restoration based on multi-scale recursive network for underwater optical image
Li et al. Adaptive weighted multiscale retinex for underwater image enhancement
CN116309126A (zh) 基于自回归模型的五波段多光谱图像重建方法
CN113379861B (zh) 基于色彩恢复块的彩色微光图像重建方法
Ding et al. Learning-based underwater image enhancement: An efficient two-stream approach
CN117274060B (zh) 一种无监督的端到端去马赛克方法及系统
Feng et al. Unsupervised Spectral Demosaicing With Lightweight Spectral Attention Networks
Nguyen et al. Two-step color-polarization demosaicking network
Tang et al. Curvature-based real-time brightness adjustment for ultra hd video
CN114638761B (zh) 一种高光谱图像全色锐化方法、设备及介质
US11997246B2 (en) Trained artificial intelligence model for raw to RGB image transformation
CN114092327B (zh) 一种利用异构知识蒸馏的高光谱图像超分辨率方法
CN115760638A (zh) 一种基于深度学习的端到端去模糊超分辨率的方法
Yue et al. Recaptured Raw Screen Image and Video Demoir\'eing via Channel and Spatial Modulations
You et al. CNN-Based Local Tone Mapping in the Perceptual Quantization Domain
Huang et al. Unsupervised image dehazing based on improved generative adversarial networks
Kumar et al. Orthogonal transform based generative adversarial network for image dehazing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information

Inventor after: Song Yansong

Inventor after: Dong Keyan

Inventor after: Hao Qun

Inventor after: Zhang Bo

Inventor after: Pu Mingxu

Inventor after: Yan Gangqi

Inventor after: Liang Zonglin

Inventor after: Liu Tianci

Inventor after: Hu Wenyi

Inventor before: Song Yansong

Inventor before: Dong Keyan

Inventor before: Hao Qun

Inventor before: Zhang Bo

Inventor before: Pu Mingxu

Inventor before: Yan Gangqi

Inventor before: Liang Zonglin

Inventor before: Liu Tianci

Inventor before: Hu Wenyi

CB03 Change of inventor or designer information