CN114723631A - 基于深度上下文先验与多尺度重建子网络的图像去噪方法、系统及装置 - Google Patents

基于深度上下文先验与多尺度重建子网络的图像去噪方法、系统及装置 Download PDF

Info

Publication number
CN114723631A
CN114723631A CN202210339248.5A CN202210339248A CN114723631A CN 114723631 A CN114723631 A CN 114723631A CN 202210339248 A CN202210339248 A CN 202210339248A CN 114723631 A CN114723631 A CN 114723631A
Authority
CN
China
Prior art keywords
noise
image
module
hyperspectral image
hyperspectral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210339248.5A
Other languages
English (en)
Inventor
刘帅
肖嘉华
楼文丹
许翔
李林玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202210339248.5A priority Critical patent/CN114723631A/zh
Publication of CN114723631A publication Critical patent/CN114723631A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度上下文先验与多尺度重建子网络的图像去噪方法、系统及装置，包括：对采集到的高光谱图像进行划分，得到训练集和测试集；基于噪声图像重建子网和高光谱图像，获取深度上下文先验；基于深度上下文先验和多尺度重建子网络，构建多尺度去噪网络；基于训练集对多尺度去噪网络进行训练，得到最优化的多尺度去噪网络；将测试集输入到最优化的多尺度去噪网络中，得到目标高光谱图像。本发明不仅在合成噪声场景下的各种指标下均达到了最先进的精度，而且在实际高光谱图像数据去噪中具有更好的视觉效果。

Description

基于深度上下文先验与多尺度重建子网络的图像去噪方法、 系统及装置
技术领域
本发明属于图像去噪领域，涉及一种基于深度上下文先验与多尺度重建子 网络的图像去噪方法、系统及装置。
背景技术
高光谱图像去噪是减少高光谱图像中噪声的过程，是高光谱图像分析和解 释之前常用的预处理步骤。高光谱遥感图像是通过高光谱传感器在同一场景中 获取几十到上百个光谱波段的图像，具有不同于传统的RGB图像更多的光谱信 息。因此，高光谱图像已广泛应用于地质矿产、植被生态、大气科学、海洋学、 农业等领域。然而，由于高光谱传感器、光子效应等因素的限制，在捕获和传 输高光谱图像时，不可避免地会受到各种类型的噪声影响，如高斯噪声、条纹、 脉冲噪声等。这些噪声不仅严重降低了高光谱图像的质量，而且严重影响了基 于高光谱图像应用程序的性能。因此，对高光谱图像进行去噪是高光谱图像分 析和使用时不可或缺的预处理步骤。
由于高光谱图像中真实噪声在不同波段的分布不一致且未知，仅将每个波 段视为二维图像的方法难以考虑相邻波段之间的相关性，无法应对真实高光谱 图像中复杂和各向异性的噪声。为了解决这些问题，提出了各种高光谱图像去 噪方法。一般来说，高光谱图像去噪方法可以大致分为三大类：模型驱动方法、 数据驱动方法和基于模型的数据驱动方法。下面针对不同类别的高光谱图像去 噪方法进行简单描述和分析。
模型驱动方法依赖于高光谱图像的典型先验，通过人类手工制作的先验去 除噪声，例如稀疏表示、低秩张量、非局部自相似性等。显然，人类手工制作 的先验无法灵活应对现实世界中高光谱图像噪声的多样性和复杂性。此外，此 类方法通常将高光谱图像去噪描述为一个复杂的优化问题，需要耗时的迭代求 解和手动调整参数以达到最佳性能。
为了避免上述缺点，高光谱图像去噪范式已从上述模型驱动方法转向基于 数据驱动的方法，该方法提取了高光谱图像的内在特征，避免了复杂的先验约 束，表现出突出的性能和巨大的潜力。这类方法依赖于大量的样本数据(干净 的标签数据和相应的噪声数据)，通过端到端的深度学习框架来获得合适的降噪 器。具体来说，这些新颖的方法需要一个训练有素的噪声估计器来估计噪声水 平作为额外的先验信息，将其提供给去噪网络。对于不同类型的噪声去除，噪 声水平先验信息的有效预测是基于已知的噪声分布。将不同类型的噪声手动建 模为不同的假设分布，网络学习的参数也不同。因此，当噪声分布建模不准确 或噪声水平估计器已过拟合时，它无法提供准确的噪声信息，导致降噪器去噪 结果不佳。此外，在没有物理模型对深度CNN约束的情况下，去噪高光谱图 像中会存在光谱失真和纹理细节恶化的现象。
因此，提出了基于模型的数据驱动高光谱图像去噪方法，该方法结合了模 型驱动方法的优点，并将高光谱图像的内在特征作为先验信息引入到所提出的 方法中。这种方法继承了混合的优点，如优越的特征提取能力、良好的物理模 型引导，但同时也难以规避模型驱动方法的弱点，去噪性能取决于先验是否被 合理地用于高光谱图像的潜在特征。可以发现提供额外信息将使CNN更容易 学习整个去噪任务。然而，这些高光谱图像去噪方法仍然没有充分探索高光谱 图像的综合空间光谱信息和潜在噪声分布作为最佳先验，仅仅通过对单个 CNN的物理约束或附加先验信息的各种假设取得了出色的性能。换言之，当 经验假设偏离高光谱图像的实际情况时，这些模型将无法工作。因此，对于高 光谱图像噪声去除，亟需一种泛化能力强，去噪效果好的方法。
发明内容
本发明的目的在于解决现有技术中的问题，提供一种基于深度上下文先验 与多尺度重建子网络的图像去噪方法、系统及装置，用于高光谱图像噪声盲去 除，能够在合成噪声场景下实现最先进的精度，在实际高光谱图像中具有很好 的去噪视觉效果。
为达到上述目的，本发明采用以下技术方案予以实现：
基于深度上下文先验与多尺度重建子网络的图像去噪方法，包括：
对采集到的高光谱图像进行划分，得到训练集和测试集；
基于噪声图像重建子网和高光谱图像，获取深度上下文先验；
基于深度上下文先验和多尺度重建子网络，构建多尺度去噪网络；
基于训练集对多尺度去噪网络进行训练，得到最优化的多尺度去噪网络；
将测试集输入到最优化的多尺度去噪网络中，得到目标高光谱图像。
本发明的进一步改进在于：
所述测试集和训练集均包括：噪声高光谱图像和干净的高光谱图像；所述 噪声高光谱图像和干净的高光谱图像为相对应的图像对。
所述基于训练集对多尺度去噪网络进行训练，包括：
所述噪声图像重建子网包括解码器模块和编码器模块；所述多尺度重建子 网络为降噪器模块；
将训练集输入至噪声图像重建子网中，通过编码器模块和解码器模块处理， 得到重建的噪声高光谱图像；
基于编码器的最后一层的两个分支，得到编码器模块的损失函数；
基于训练集中的高光谱图像与重建的噪声高光谱图像的差异，建立解码器 模块的损失函数；
基于深度上下文先验和训练集中的噪声高光谱图像进行按照通道维级联， 获得级联数据；
将级联数据输入到降噪器模块中进行训练得到去噪的高光谱图像；
基于去噪的高光谱图像和训练集中干净的高光谱图像的差异，构建降噪器 模块的损失函数；
最小化编码器模块、解码器模块和降噪器模块的损失函数之和，得到最优 化的多尺度去噪网络。
还包括对训练集的噪声高光谱图像、干净的高光谱图像、重建的噪声高光 谱图像和去噪的高光谱图像块进行划分，得到数量相对应的图像块。
编码器模块、解码器模块和降噪器模块的损失函数之和如公式(1)所示：
Figure BDA0003578162910000041
所述解码器模块的损失函数如公式(2)所示：
Figure BDA0003578162910000042
其中，N是训练噪声图像块的数量，yi和
Figure BDA0003578162910000043
分别表示重建噪声高光谱图像 块和训练集中的噪声高光谱图像块；
所述编码器模块的损失函数如公式(3)所示：
Figure BDA0003578162910000044
其中，μ和σ为编码器模块中的最后一层的两个分支输出；
所述降噪器模块的损失函数如公式(4)所示：
Figure BDA0003578162910000045
其中，N是训练图像块的数量，表示xiand
Figure BDA0003578162910000046
分别表示去噪的高光谱 图像块和训练集中干净的高光谱图像块。
将训练集输入至噪声图像重建子网中，通过编码器模块和解码器模块处理， 得到重建的噪声高光谱图像，具体为：
将训练集中的噪声高光谱图像输入到编码器模块中，得到深度上下文先验， 并将深度上下文先验输入到解码器模块中，获取重建噪声高光谱图像；
所述将训练集中的噪声高光谱图像输入编码器模块中，生成深度上下文先 验，具体为：
训练集中的噪声高光谱图像Y作为带参数τE的编码器模块的输入，深度上下 文先验G的生成过程表示为概率分布Qencoder(G|Y；τE)逼近真实分布P(G)；
其中，P(G)表示深度上下文先验G的真实分布，为具有零均值和单位协方 差的
Figure BDA0003578162910000047
高斯分布；
所述生成深度上下文先验具体为：通过∈*σ+μ计算深度上下文先验，其 中∈从高斯分布
Figure BDA0003578162910000053
中采样；μ和σ为编码器模块中的最后一层的两个分支输 出；
所述将深度上下文先验输入到解码器模块中，获取重建的噪声高光谱图像， 具体为：
将深度上下文先验G作为带参数τD的解码器模块输入，输出重建噪声高光 谱图像
Figure BDA0003578162910000051
重建过程表示概率分布Qdecoder(Y|G；τD)逼近真实分布P(Y|G)；其中， P(Y|G)是从深度上下文先验G重构重建噪声高光谱图像
Figure BDA0003578162910000052
的概率分布。
降噪器模块采用U-Net架构作为主干，基于对称结构包括三个尺度；所述 三个尺度对应对降噪器模块对级联数据进行三次采样得到的图像结果，图像大 小分别为H*W*B、H/2*W/2*B和H/4*W/4*B；其中，H和W表示空间图像的高 度和宽度，B是光谱带的数量；
编码器模块具体为：层深度设置为四个3D卷积块；第一层和最后一层的 内核大小均设置为3×3×3，步幅为1×1×1，卷积跟随ReLU激活 层，中间两层内核大小为2×2×1，步幅为2×2×1和内核数64卷 积块；最后一层有两个分支输出，分别对应于μ和σ；
解码器模块具体为：上采样层利用内核大小为2×2×1和步长为2 ×2×1的转置卷积块；重建的噪声高光谱图像由最后一个卷积层输出。
基于深度上下文先验与多尺度重建子网络的图像去噪系统，包括：
划分模块，所述划分模块用于对采集到的高光谱图像进行划分，得到训练 集和测试集；
获取模块，所述获取模块基于噪声图像重建子网和高光谱图像，获取深度 上下文先验；
构建模块，所述构建模块基于深度上下文先验和多尺度重建子网络，构建 多尺度去噪网络；
训练模块，所述训练模块基于训练集对多尺度去噪网络进行训练，得到最 优化的多尺度去噪网络；
测试模块，所述测试模块用于将测试集输入到最优化的多尺度去噪网络中， 得到目标高光谱图像。
一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述 处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法 的步骤。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序， 所述计算机程序被处理器执行时实现上述方法的步骤。
与现有技术相比，本发明具有以下有益效果：
本发明通过噪声图像重建子网和高光谱图像，获取深度上下文先验，并结 合多尺度重建子网络，构建多尺度去噪网络；训练集对多尺度去噪网络进行训 练，得到最优化的多尺度去噪网络。深度上下文先验可以指导降噪器自适应地 消除高光谱图像中不同级别和类型的噪声，避免手动制作高光谱图像先验和选 择噪声假设的弱点。同时基于降噪器模块，可以通过跳跃连接融合不同尺度的 特征，重建目标高光谱图像，以在去噪时保留更多的结构信息和局部细节。本 发明不仅在合成噪声场景下的各种指标下均达到了最先进的精度，而且在实际 高光谱图像数据去噪中具有更好的视觉效果。
附图说明
为了更清楚的说明本发明实施例的技术方案，下面将对实施例中所需要使 用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例， 因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创 造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例的基于深度上下文先验与多尺度重建子网络的图像去 噪方法流程示意图；
图2为本发明实施例的基于深度上下文先验与多尺度重建子网络的图像去 噪方法结构示意图；
图3为本发明实施例的编码器、解码器和降噪器网络模块配置图；(a)为 编码器的网络网络模块配置图；(b)为解码器的网络网络模块配置图；(c)为 降噪器的网络网络模块配置图；
图4为本发明实施例3-D残差块示意图；
图5为本发明实施例来自Urban数据集的真实世界图像的第108个波段的 视觉比较图；
图6为本发明实施例来自Urban数据集的真实世界图像的第139个波段的 视觉比较图；
图7为本发明实施例来自Urban数据集的真实世界图像的第150个波段 的视觉比较图；
图8为本发明实施例来自IndianPines数据集的真实世界图像的第4个波 段的视觉比较图；
图9为本发明实施例来自IndianPines数据集的真实世界图像的第24个波 段的视觉比较图；
图10为本发明实施例来自IndianPines数据集的真实世界图像的第128个 波段的视觉比较图；
图5-10中a-i分别表示对应算法的降噪图像(a)noisy，(b)BM4D，(c)LRMR， (d)LRTV，(e)FastHyDe，(f)HSID-CNN，(g)QRNN3D，(h)MAC-NET， (i)DCPMSRNET；
图11为本发明实施例基于深度上下文先验与多尺度重建子网络的图像去 噪系统结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明 实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然， 所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附 图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要 求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的 实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他 实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某 一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解 释。
在本发明实施例的描述中，需要说明的是，若出现术语“上”、“下”、“水 平”、“内”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者 是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和 简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定 的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第 二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
此外，若出现术语“水平”，并不表示要求部件绝对水平，而是可以稍微倾 斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结 构一定要完全水平，而是可以稍微倾斜。
在本发明实施例的描述中，还需要说明的是，除非另有明确的规定和限定， 若出现术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是 固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是 电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内 部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语 在本发明中的具体含义。
下面结合附图对本发明做进一步详细描述：
参见图1，本发明公开了一种基于深度上下文先验与多尺度重建子网络的 图像去噪方法，其特征在于，包括：
S101，对采集到的高光谱图像进行划分，得到训练集和测试集。
测试集和训练集均包括：噪声高光谱图像和干净的高光谱图像；所述噪声 高光谱图像和干净的高光谱图像为相对应的图像对。
S102，基于噪声图像重建子网和高光谱图像，获取深度上下文先验。
S103，基于深度上下文先验和多尺度重建子网络，构建多尺度去噪网络。
S104，基于训练集对多尺度去噪网络进行训练，得到最优化的多尺度去噪 网络。
噪声图像重建子网包括解码器模块和编码器模块；多尺度重建子网络为降 噪器模块；
将训练集输入至噪声图像重建子网中，通过编码器模块和解码器模块处理， 得到重建的噪声高光谱图像；
基于编码器的最后一层的两个分支，得到编码器模块的损失函数；
基于训练集中的高光谱图像与重建的噪声高光谱图像的差异，建立解码器 模块的损失函数；
基于深度上下文先验和训练集中的噪声高光谱图像进行按照通道维级联， 获得级联数据；
将级联数据输入到降噪器模块中进行训练得到去噪的高光谱图像；
基于去噪的高光谱图像和训练集中干净的高光谱图像的差异，构建降噪器 模块的损失函数；
最小化编码器模块、解码器模块和降噪器模块的损失函数之和，得到最优 化的多尺度去噪网络。
还包括对训练集的噪声高光谱图像、干净的高光谱图像、重建的噪声高光 谱图像和去噪的高光谱图像块进行划分，得到数量相对应的图像块。
编码器模块、解码器模块和降噪器模块的损失函数之和如公式(1)所示：
Figure BDA0003578162910000091
所述解码器模块的损失函数如公式(2)所示：
Figure BDA0003578162910000101
其中，N是训练噪声图像块的数量，yi和
Figure BDA0003578162910000102
分别表示重建噪声高光谱图像 块和训练集中的噪声高光谱图像块；
所述编码器模块的损失函数如公式(3)所示：
Figure BDA0003578162910000108
其中，μ和σ为编码器模块中的最后一层的两个分支输出；
所述降噪器模块的损失函数如公式(4)所示：
Figure BDA0003578162910000103
其中，N是训练图像块的数量，表示xiand
Figure BDA0003578162910000104
分别表示去噪的高光谱 图像块和训练集中干净的高光谱图像块。
将训练集中的噪声高光谱图像输入到编码器模块中，得到深度上下文先验， 并将深度上下文先验输入到解码器模块中，获取重建噪声高光谱图像；
所述将训练集中的噪声高光谱图像输入编码器模块中，生成深度上下文先 验，具体为：
训练集中的噪声高光谱图像Y作为带参数τE的编码器模块的输入，深度上下 文先验G的生成过程表示为概率分布Qencoder(G|Y；τE)逼近真实分布P(G)；
其中，P(G)表示深度上下文先验G的真实分布，为具有零均值和单位协方 差的
Figure BDA0003578162910000105
高斯分布；
所述生成深度上下文先验具体为：通过∈*σ+μ计算深度上下文先验，其 中∈从高斯分布
Figure BDA0003578162910000106
中采样；μ和σ为编码器模块中的最后一层的两个分支输 出；
所述将深度上下文先验输入到解码器模块中，获取重建的噪声高光谱图像， 具体为：
将深度上下文先验G作为带参数τD的解码器模块输入，输出重建噪声高光 谱图像
Figure BDA0003578162910000107
重建过程表示概率分布Qdecoder(Y|G；τD)逼近真实分布P(Y|G)；其中，P(Y|G)是从深度上下文先验G重构重建噪声高光谱图像
Figure BDA0003578162910000111
的概率分布。
S105，将测试集输入到最优化的多尺度去噪网络中，得到目标高光谱图像。
本发明公布了一种基于深度上下文先验(DCP-MSRNet)的新型多尺度去 噪网络，包括两个子网：第一部分从带噪声高光谱图像数据中获取深度上下文 先验，包括噪声和空间光谱特性信息。将带噪声高光谱图像和深度上下文先验 按通道维级联，输入第二部分，从级联数据中提取多尺度空间光谱特征，并重 建目标高光谱图像。提出的DCP-MSRNet专为高光谱图像噪声盲去除而设计， 可通过使用3D卷积应用于任何具有不同光谱分辨率的高光谱图像。
首先联合分布逼近为获取深度上下文先验提供理论支撑，避免了对特定类 型的噪声假设进行建模，可消除不同类型的噪声，具有良好的泛化性。根据贝 叶斯推理框架，建模过程如下：
干净的高光谱图像可以定义为3-D立方体X∈RH×W×B，其中H和W表示空 间图像的高度和宽度，B是光谱带的数量。由于高光谱图像中的噪声在不同频 段的分布不一致，所有类型的加性噪声可以定义为N∈RH×W×B。干净的高光谱 图像X被噪声N破坏的情况可以建模为
Y＝X+N
其中，Y代表所观察到的噪声高光谱图像。显然，从Y获取X是不合适的， 并且需要对未知X施加额外的先验。基于传统MAP框架，从Y获取X可由条件 后验P(X|Y)给出。
为了使深度上下文先验中包含全局空间光谱和基础噪声分布的高光谱图像 信息，构建一个新的框架来模拟降噪器的联合分布P(X,Y,G)，其中G∈Rh×w×b表 示深度上下文先验。已知P(X,Y,G)联合分布可以分解如下：
P(X,Y,G)＝P(X|Y,G)P(Y|G)P(G)
第一项P(X|Y,G)可以被认为是从先验信息G和噪声图像Y中获得的条件概 率分布。第二项P(Y|G)是从G重构Y的概率分布。最后一项P(G)表示深度上下 文先验G的真实分布，可以简单地设置为具有零均值和单位协方差的
Figure BDA0003578162910000112
高 斯分布。基于深度上下文先验的高光谱图像去噪问题贝叶斯推理框架已经完成。 现在目标集中在了逼近联合概率分布P(X,Y,G)以及使先验G在高光谱图像中包 含噪声和空间光谱信息。
在提出的框架中，按通道维级联的深度上下文先验G和原始噪声高光谱图 像Y作为降噪器模块的输入。用φ参数来表示降噪器模块学习到的概率分布 QDenoiser(X|Y,G；φ)以逼近真实分布P(X|Y,G)。在估计P(Y|G)和P(G)真实分布 的过程中，为了生成深度上下文先验G和重构噪声图像Y需要一个强大的生成模 型用于学习潜在的复杂数据空间作为理论支持。受深度生成模型变分自编码器 的启发，原始噪声高光谱图像Y作为带参数τE的编码器模块的输入，深度先验图 像G的生成过程表示为概率分布Qencoder(G|Y；τE)逼近真实分布P(G)。对应的解码 器带参数τD将深度上下文先验G作为输入，输出重建噪声高光谱图像
Figure BDA0003578162910000127
重建过 程表示概率分布QEncoder(Y|G；τD)逼近真实分布P(Y|G)。
编码器模块的输出可以看作是在Y～P(Y)条件下，从QEncoder(G|Y；τE)采样 的样本，可表示为：
Figure BDA0003578162910000121
其中
Figure BDA0003578162910000122
同理，可以得到denoiser和decoder的输出如下：
Figure BDA0003578162910000123
其中
Figure BDA0003578162910000124
Figure BDA0003578162910000125
其中
Figure BDA0003578162910000126
显然，变量X,Y,G在联合概率分布P(X,Y,G)中不是独立的，而是具有很强 的相关性。深度上下文先验G会在干净高光谱图像X和原始噪声高光谱图像Y之 间丢失大量的潜在信息，并且只有这三个模块分别训练时才与原始噪声高光谱 图像Y有关。因此，为了进一步提高去噪性能，将这三个模块在一个整体框架中 联合训练。此外，由τE、τD、和φ参数化的编码器、解码器和降噪器的目标可 分别表示为：
Figure BDA0003578162910000131
Figure BDA0003578162910000132
Figure BDA0003578162910000133
最小化条件分布
Figure BDA0003578162910000134
与真实分布P(G)的KL散度以达到逼近P(G) 的目的，同时最大化从G重建Y的期望和从Y和G重建X的期望。因此，参数τE、τD和 φ与最终目标函数联合优化可表示为：
Figure BDA0003578162910000135
通过这种联合优化策略，生成的近似服从真实联合分布P(X,Y,G)的先验G将 包含干净图像X和原始噪声高光谱图像Y的综合信息。由此，最终目标已经获得， 所提出网络的综合损失可以由以下三个模块组成：
Figure BDA0003578162910000136
其中β>0是正则化参数。
编码器模块的损失项可以计算为：
Figure BDA0003578162910000137
其中μ和σ由编码器模块的前馈过程和
Figure BDA0003578162910000138
获得。在实践中，G可 以看作是来自该
Figure BDA0003578162910000139
分布的随机样本。为了通过随机优化更容易地训练提 出的网络，深度上下文先验G的采样被转换为G＝∈*σ+μ，其中∈通过重参数 化技术从高斯分布
Figure BDA00035781629100001310
中采样。
解码器和降噪器的损失项可以分别推导如下：
Figure BDA00035781629100001311
Figure BDA0003578162910000141
其中N是训练样本的数量。
由此，模型构建完成，提出的网络主要包括两个子网络，分别为：噪声高 光谱图像重构子网络和干净高光谱图像多尺度重建子网络。噪声高光谱图像重 构子网旨在从输入的原始噪声高光谱图像数据中获取深度上下文先验，包括干 净和带噪声高光谱图像数据的噪声和空间光谱特性信息。
所提出的编码器模块对应于前一代子网络，网络模块架构如图3(a)所示。 层深度设置为四个3D卷积块，没有跳跃连接。在这些层中，第一层和最后一层 的内核大小都设置为3×3×3，步幅等于1×1×1，卷积跟随ReLU激 活层，中间两层内核大小为2×2×1，步幅2×2×1和内核数64卷 积块用于对特征图进行下采样。最后一层有两个分支输出，分别对应于μ和σ。 最后，通过∈*σ+μ计算深度上下文先验，其中∈从高斯分布
Figure RE-GDA0003684662880000164
中采样。为 了降低计算成本并增加感受野大小，与原始图像相比，下采样操作将先验空间大 小减小了两倍。拟建网络的编码器模块配置如表1所示。
表1：本发明编码器网络模块配置
Figure BDA0003578162910000143
将深度上下文先验输入解码器模块，解码器模块对应噪声高光谱图像重构子 网，采用与前代子网前三层对称的结构，网络结构如图3(b)所示。上采样层利 用内核大小为2×2×1和步长为2×2×1的转置卷积块，避免传统采 样方法没有可学习参数的缺点。最后一个卷积层输出噪声高光谱图像重建结果。 拟建网络的解码器模块配置如表2所示。
表2：本发明解码器网络模块配置
Figure BDA0003578162910000151
解码器模块通过最小化噪声重建图像块与其对应的原始噪声图像块之间的 平均绝对误差(MAE)进行训练。损失函数可以描述为：
Figure BDA0003578162910000152
其中N是训练噪声图像块的数量，yi和
Figure BDA0003578162910000153
分别表示噪声重建图像块和原始 噪声图像块。
降噪器模块对应于干净高光谱图像多尺度重建子网络(MSRNet),网络结构 如图3(c)所示，该模块接收按通道维级联的深度上下文先验和原始噪声高光谱 图像作为输入。该子网采用U-Net架构作为主干，基于对称结构由三个尺度组 成，利用丰富的多尺度信息有效地恢复干净高光谱图像。
三个尺度对应对降噪器模块对级联数据进行三次采样得到的特征图结果， 特征图大小分别为H*W*B、H/2*W/2*B和H/4*W/4*B。
在编码路径中，特征图的空间大小从第一尺度到第三尺度通过卷积降尺度 操作减少了两倍，卷积核大小为2×2×1，步长为2×2×1。同时，在连续的尺度 缩小中核数增加了一倍，即64、128、256。在解码路径中存在来自较低层的特 征图的转置卷积放大操作，可以看作是与卷积缩小操作相对应的反向操作。为 了有效融合多尺度特征信息，消除整个网络的退化问题，降噪器模块的每个尺 度都有一个从低层到高层的跳跃连接路径，使得低阶和高阶语义信息融合。为 了增加建模网络的容量，在每个采样操作之前或之后采用如图4所示的堆叠的 3-D残差块。拟建网络的降噪器模块配置如表3所示。
表3：本发明降噪器网络模块配置
Figure BDA0003578162910000161
在构建了整个去噪网络之后，通过最小化以下平均绝对误差(MAE)损失 函数来训练MSRNet：
Figure BDA0003578162910000162
其中N是训练图像块的数量，表示xiand
Figure BDA0003578162910000163
分别表示多尺度重建子网 络的输出图像块和真实干净图像块。
为了训练提出的DCP-MSRNet，从包含201张图像的ICVL高光谱数据 集中随机选择100张尺寸为1392×1300×31的图像，并将这些选中的高 光谱图像裁剪为1024×1024×31作为训练样品。为了扩展和增强训练标 签，进行例如随机翻转、旋转、缩放等操作。相应地，图像被裁剪为大小为64 ×64×31的立方体数据，获得了大约53k的立方体数据。
采用Adam优化算法来训练所提出的网络，学习过程分为三个阶段：首先， 网络在噪声水平σ＝50的非盲零均值加性高斯白噪声下学习；然后网络在σ从 30到70均匀选择的盲零均值加性高斯白噪声上学习；最后，网络使用混合噪 声进行学习。此外，所有三个阶段的学习率都初始化为2e-4，并在网络的准确 性不再提高时衰减。在第一阶段，训练epoch的数量设置为30，batch size＝32。 在第二阶段，训练epoch的数量设置为20，batch size＝128。在最后阶段，训 练epoch的数量为设置为50，batch size＝128。
为了验证本发明的可行性，选择了七种具有代表性的模型驱动和数据驱动 方法进行比较，包括基于过滤的方法(BM4D)、基于低秩矩阵的方法(LRMR、 LRTV)、基于非局部相似性先验的方法(FastHyDe)、基于2D DCNN的方法 (HSID-CNN)、一种基于3D DCNN的方法(QRNN3D)和一种基于模型的数据 驱动方法(MAC-net)，使用峰值信噪比(PSNR)、结构相似性(SSIM)和光谱 角映射器(SAM)来定量评估各种去噪方法指标，并在Intel(R)Xeon(R)Gold 6253W CPU、NVIDIA GTX 3090Ti GPU和16-GB内存的PC上，针对50张 去噪测试结果进行定量比较。
为了评估本发明针对独立同分布(i.i.d.)高斯噪声下的去噪性能，采用具 有不同噪声水平σ的零均值加性高斯白噪声，即σ＝30、50、70和σ∈[10,70]。 同时，为了模拟在采集过程中通常会破坏真实世界高光谱图像的各种噪声，设 计了五种类型的复杂噪声情况，它们被添加到干净的图像中，这些加性复杂噪 声的细节定义如下：
类型1：非独立同分布高斯噪声。随机选择10到70的不同强度的零均 值高斯噪声添加到高光谱图像数据的每个波段中，其余四种类型也以相同的方 式使用了该类型噪声。
类型2：非独立同分布高斯+条纹噪声。非独立同分布高斯噪声如类型1所 述。此外，在随机选择的三分之一的波段中加入条纹噪声，每个选择的波段的 条纹比例范围随机设置为5％到15％。
类型3：非独立同分布高斯+截止噪声。所有波段都被非独立同分布高斯 污染，同时添加了与条纹噪声相同的策略的截止噪声。
类型4：非独立同分布高斯+脉冲噪声。除了案例1中的非独立同分布高 斯噪声，随机选择三分之一的频段添加不同强度的脉冲噪声，脉冲比例从10％ 到70％不等。
类型5：混合噪声。以上四种类型噪声混合在一起，使用每个对应案例相 同的策略来加入噪声。
针对独立同分布高斯噪声情况下的去噪性能实验对比结果具体情况如表4 所示，可以得出结论：
实验结果显示，数据驱动方法的去噪性能优于模型驱动方法。与 HSID-CNN和MAC-NET相比，QRNN3D通过3D卷积捕获沿频谱的全局 相关性在已知一致噪声的情况下实现了更好的性能。由于同时考虑了光谱低秩 模型和空间深度先验来去除高光谱图像噪声，MAC-NET比QRNN3D更能够处 理高光谱图像中的盲噪声。在所有独立同分布高斯噪声情况下，本发明 DCP-MSRNet的每个质量指标都实现了最佳结果，这要归功于应用隐式包含噪 声和空间光谱信息的最佳数据驱动先验。而BM4D、LRMR、LRTV、FasHyde、 HSID-CNN和MAC-Net的结果中存在一些残余噪声，放大后的结果表明，与 其他方法相比，QRNN3D能够很好地去除高斯噪声，但仍有一些细节丢失。相 比之下，本发明DCP-MSRNet能够有效地去除高斯噪声，同时精细地保留图 像中的细节。进一步表明了本发明在多尺度特征学习中的有效性。此外，与“黑 盒”QRNN3D不同，本发明在统一的贝叶斯框架下提供了架构可解释性和性能 可靠性。
表4：本发明在独立同分布高斯噪声情况下与上述七种代表性算法实验对比
Figure BDA0003578162910000181
Figure BDA0003578162910000191
针对复杂噪声的去噪性能实验对比结果具体情况如表5所示，可以得出结 论：
通过噪声估计器提供高斯噪声强度先验知识的高斯去噪方法BM4D，由于 非高斯噪声结构，不能有效去除复杂噪声。此外，基于HSI中低秩特征假设 的方法，即LRMR和LRTV能够消除大部分杂项噪声，但也丢失了很多精细 细节。HSIDCNN、QRNN3D、MAC-Net具有更好的去噪性能，但这些方法恢 复的图像仍然包含很少的残余噪声或没有很好地保留结构信息。HSID-CNN、 QRNN3D、MAC-Net和本发明在类型2噪声下都达到了很好的去噪效果。但 是HSID-CNN和本发明恢复的图像细节在放大的结果中更加清晰。此外， FastHyDe和MAC-Net的结果中存在一些残留的条纹噪声。FastHyDe在同质 场景下相比类型2可以达到更好的去噪性能。对于类型4和5中难以去除的 复杂噪声，大多数方法都不能很好地去除。与其他先进方法相比，本发明 DCP-MSRNet可以更好地滤除复杂噪声并保持原始图像的细粒度结构。相比之 下，可以有力地证明，本发明在复杂噪声去除性能方面优于当前最先进的方法， 如BM4D、QRNN3D和MAC-Net。
表5：本发明在复杂噪声情况下与上述七种代表性算法实验对比
Figure BDA0003578162910000192
Figure BDA0003578162910000201
为了进一步证明本发明的泛化能力和鲁棒性，对遥感图像进行了复杂的噪 声去除实验。在大小为360×360×102的Pavia中心上的去噪量化结果 如表6所示，结果显示所提出的DCP-MSRNet明显优于其他比较方法。
表6：本发明针对遥感图像与上述七种代表性算法实验对比
Figure BDA0003578162910000202
为了进一步证实本发明DCP-MSRNet在真实世界噪声高光谱图像中的有 效性，采用与上述合成实验相同的预训练模型，并为真实数据实验选择两个真 实世界噪声高光谱图像数据集，分别为印度松树和城市。从图5-10可以看出， 这两个数据集都受到大气、吸水和复杂噪声的严重污染。具体来说，从图5-7 可以看出，除了HSID-CNN之外，所有这些比较方法都无法有效去除城市数 据集的水平条纹噪声。相比之下，本发明成功地解决了大多数复杂的噪声并保 留了精细的细节。根据图8-10可以看出，本发明可以处理大气和水的吸收，并 产生比其他方法更清晰、更准确的结果，进一步证明了本发明模型的鲁棒性和 灵活性。
综上，本发明所提出的方法不仅在生成噪声图像下能取得了最好的结果， 同时在真实高光谱图像上也有着不错的效果。本发明在ICVL数据集上的预训 练模型能够直接处理遥感图像，这比大多数现有的基于数据驱动的HSI去噪 方法更灵活。与其他去噪方法相比，具有更好的泛化性，能够应对不同类型的 噪声图像。
参见图11，本发明公布了一种基于深度上下文先验与多尺度重建子网络的 图像去噪系统，包括：
划分模块，所述划分模块用于对采集到的高光谱图像进行划分，得到训练 集和测试集；
获取模块，所述获取模块基于噪声图像重建子网和高光谱图像，获取深度 上下文先验；
构建模块，所述构建模块基于深度上下文先验和多尺度重建子网络，构建 多尺度去噪网络；
训练模块，所述训练模块基于训练集对多尺度去噪网络进行训练，得到最 优化的多尺度去噪网络；
测试模块，所述测试模块用于将测试集输入到最优化的多尺度去噪网络中， 得到目标高光谱图像。
本发明一实施例提供的终端设备。该实施例的终端设备包括：处理器、存 储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序。所述处 理器执行所述计算机程序时实现上述各个方法实施例中的步骤。或者，所述处 理器执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能。
所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模 块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。
所述终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计 算设备。所述终端设备可包括，但不仅限于，处理器、存储器。
所述处理器可以是中央处理单元(CentralProcessingUnit，CPU)，还可以是 其他通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电 路(ApplicationSpecificIntegratedCircuit，ASIC)、现成可编程门阵列 (Field-ProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者 晶体管逻辑器件、分立硬件组件等。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或 执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的 数据，实现所述终端设备的各种功能。
所述终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独 立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样 的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机 程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储 介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。 其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代 码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质 可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、 移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、 随机存取存储器(RAM，RandomAccessMemory)、电载波信号、电信信号以及 软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司 法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区， 根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的 技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内， 所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.基于深度上下文先验与多尺度重建子网络的图像去噪方法，其特征在于，包括：
对采集到的高光谱图像进行划分，得到训练集和测试集；
基于噪声图像重建子网和高光谱图像，获取深度上下文先验；
基于深度上下文先验和多尺度重建子网络，构建多尺度去噪网络；
基于训练集对多尺度去噪网络进行训练，得到最优化的多尺度去噪网络；
将测试集输入到最优化的多尺度去噪网络中，得到目标高光谱图像。
2.根据权利要求1所述的基于深度上下文先验与多尺度重建子网络的图像去噪方法，其特征在于，所述测试集和训练集均包括：噪声高光谱图像和干净的高光谱图像；所述噪声高光谱图像和干净的高光谱图像为相对应的图像对。
3.根据权利要求2所述的基于深度上下文先验与多尺度重建子网络的图像去噪方法，其特征在于，所述基于训练集对多尺度去噪网络进行训练，包括：
所述噪声图像重建子网包括解码器模块和编码器模块；所述多尺度重建子网络为降噪器模块；
将训练集输入至噪声图像重建子网中，通过编码器模块和解码器模块处理，得到重建的噪声高光谱图像；
基于编码器的最后一层的两个分支，得到编码器模块的损失函数；
基于训练集中的高光谱图像与重建的噪声高光谱图像的差异，建立解码器模块的损失函数；
基于深度上下文先验和训练集中的噪声高光谱图像进行按照通道维级联，获得级联数据；
将级联数据输入到降噪器模块中进行训练得到去噪的高光谱图像；
基于去噪的高光谱图像和训练集中干净的高光谱图像的差异，构建降噪器模块的损失函数；
最小化编码器模块、解码器模块和降噪器模块的损失函数之和，得到最优化的多尺度去噪网络。
4.根据权利要求3所述的基于深度上下文先验与多尺度重建子网络的图像去噪方法，其特征在于，还包括对训练集的噪声高光谱图像、干净的高光谱图像、重建的噪声高光谱图像和去噪的高光谱图像块进行划分，得到数量相对应的图像块。
5.根据权利要求4所述的基于深度上下文先验与多尺度重建子网络的图像去噪方法，其特征在于，所述编码器模块、解码器模块和降噪器模块的损失函数之和如公式(1)所示：
Figure FDA0003578162900000021
所述解码器模块的损失函数如公式(2)所示：
Figure FDA0003578162900000022
其中，N是训练噪声图像块的数量，yi和
Figure FDA0003578162900000023
分别表示重建噪声高光谱图像块和训练集中的噪声高光谱图像块；
所述编码器模块的损失函数如公式(3)所示：
Figure FDA0003578162900000024
其中，μ和σ为编码器模块中的最后一层的两个分支输出；
所述降噪器模块的损失函数如公式(4)所示：
Figure FDA0003578162900000025
其中，N是训练图像块的数量，表示xiand
Figure FDA0003578162900000026
分别表示去噪的高光谱图像块和训练集中干净的高光谱图像块。
6.根据权利要求5所述的基于深度上下文先验与多尺度重建子网络的图像去噪方法，其特征在于，所述将训练集输入至噪声图像重建子网中，通过编码器模块和解码器模块处理，得到重建的噪声高光谱图像，具体为：
将训练集中的噪声高光谱图像输入到编码器模块中，得到深度上下文先验，并将深度上下文先验输入到解码器模块中，获取重建噪声高光谱图像；
所述将训练集中的噪声高光谱图像输入编码器模块中，生成深度上下文先验，具体为：
训练集中的噪声高光谱图像Y作为带参数τE的编码器模块的输入，深度上下文先验G的生成过程表示为概率分布Qencoder(G|Y；τE)逼近真实分布P(G)；
其中，P(G)表示深度上下文先验G的真实分布，为具有零均值和单位协方差的
Figure FDA0003578162900000031
高斯分布；
所述生成深度上下文先验具体为：通过∈*σ+μ计算深度上下文先验，其中∈从高斯分布
Figure FDA0003578162900000032
中采样；μ和σ为编码器模块中的最后一层的两个分支输出；
所述将深度上下文先验输入到解码器模块中，获取重建的噪声高光谱图像，具体为：
将深度上下文先验G作为带参数τD的解码器模块输入，输出重建噪声高光谱图像
Figure FDA0003578162900000033
重建过程表示概率分布Qdecoder(Y|G；τD)逼近真实分布P(Y|G)；其中，P(Y|G)是从深度上下文先验G重构重建噪声高光谱图像
Figure FDA0003578162900000034
的概率分布。
7.根据权利要求6所述的基于深度上下文先验与多尺度重建子网络的图像去噪方法，其特征在于，所述降噪器模块采用U-Net架构作为主干，基于对称结构包括三个尺度；所述三个尺度对应对降噪器模块对级联数据进行三次采样得到的图像结果，图像大小分别为H*W*B、H/2*W/2*B和H/4*W/4*B；其中，H和W表示空间图像的高度和宽度，B是光谱带的数量；
所述编码器模块具体为：层深度设置为四个3D卷积块；第一层和最后一层的内核大小均设置为3×3×3，步幅为1×1×1，卷积跟随ReLU激活层，中间两层内核大小为2×2×1，步幅为2×2×1和内核数64卷积块；最后一层有两个分支输出，分别对应于μ和σ；
所述解码器模块具体为：上采样层利用内核大小为2×2×1和步长为2×2×1的转置卷积块；重建的噪声高光谱图像由最后一个卷积层输出。
8.基于深度上下文先验与多尺度重建子网络的图像去噪系统，其特征在于，包括：
划分模块，所述划分模块用于对采集到的高光谱图像进行划分，得到训练集和测试集；
获取模块，所述获取模块基于噪声图像重建子网和高光谱图像，获取深度上下文先验；
构建模块，所述构建模块基于深度上下文先验和多尺度重建子网络，构建多尺度去噪网络；
训练模块，所述训练模块基于训练集对多尺度去噪网络进行训练，得到最优化的多尺度去噪网络；
测试模块，所述测试模块用于将测试集输入到最优化的多尺度去噪网络中，得到目标高光谱图像。
9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-7任一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述方法的步骤。
CN202210339248.5A 2022-04-01 2022-04-01 基于深度上下文先验与多尺度重建子网络的图像去噪方法、系统及装置 Pending CN114723631A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210339248.5A CN114723631A (zh) 2022-04-01 2022-04-01 基于深度上下文先验与多尺度重建子网络的图像去噪方法、系统及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210339248.5A CN114723631A (zh) 2022-04-01 2022-04-01 基于深度上下文先验与多尺度重建子网络的图像去噪方法、系统及装置

Publications (1)

Publication Number Publication Date
CN114723631A true CN114723631A (zh) 2022-07-08

Family

ID=82241386

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210339248.5A Pending CN114723631A (zh) 2022-04-01 2022-04-01 基于深度上下文先验与多尺度重建子网络的图像去噪方法、系统及装置

Country Status (1)

Country Link
CN (1) CN114723631A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114998363A (zh) * 2022-08-03 2022-09-02 南京信息工程大学 一种高分辨率遥感影像渐进式分割方法
CN115760670A (zh) * 2023-01-06 2023-03-07 之江实验室 基于网络隐式先验的无监督高光谱融合方法及装置
CN115849519A (zh) * 2022-12-30 2023-03-28 浙江致远环境科技股份有限公司 一种有机模块化电催化氧化处理装置
CN116958131A (zh) * 2023-09-18 2023-10-27 腾讯科技（深圳）有限公司 一种图像处理方法、装置、设备及存储介质
CN117635479A (zh) * 2024-01-25 2024-03-01 北京航空航天大学 基于双阶段扩散模型的磁粒子图像去噪方法、系统及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103065282A (zh) * 2012-12-27 2013-04-24 浙江大学 一种基于稀疏线性系统的图像融合方法
US20170213321A1 (en) * 2016-01-22 2017-07-27 Siemens Healthcare Gmbh Deep Unfolding Algorithm For Efficient Image Denoising Under Varying Noise Conditions
CN108376259A (zh) * 2018-01-23 2018-08-07 西安交通大学 结合贝叶斯分层学习和空谱联合先验的图像降噪方法
US20190304069A1 (en) * 2018-03-29 2019-10-03 Pixar Denoising monte carlo renderings using neural networks with asymmetric loss
CN112767271A (zh) * 2021-01-19 2021-05-07 西安交通大学 一种基于三维变分网络的高光谱图像深度降噪的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103065282A (zh) * 2012-12-27 2013-04-24 浙江大学 一种基于稀疏线性系统的图像融合方法
US20170213321A1 (en) * 2016-01-22 2017-07-27 Siemens Healthcare Gmbh Deep Unfolding Algorithm For Efficient Image Denoising Under Varying Noise Conditions
CN108376259A (zh) * 2018-01-23 2018-08-07 西安交通大学 结合贝叶斯分层学习和空谱联合先验的图像降噪方法
US20190304069A1 (en) * 2018-03-29 2019-10-03 Pixar Denoising monte carlo renderings using neural networks with asymmetric loss
CN112767271A (zh) * 2021-01-19 2021-05-07 西安交通大学 一种基于三维变分网络的高光谱图像深度降噪的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
朱宜生;孙成;: "基于卷积神经网络的红外图像去噪方法研究", 环境技术, no. 06, 25 December 2019 (2019-12-25) *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114998363A (zh) * 2022-08-03 2022-09-02 南京信息工程大学 一种高分辨率遥感影像渐进式分割方法
CN115849519A (zh) * 2022-12-30 2023-03-28 浙江致远环境科技股份有限公司 一种有机模块化电催化氧化处理装置
CN115849519B (zh) * 2022-12-30 2024-03-22 浙江致远环境科技股份有限公司 一种有机模块化电催化氧化处理装置
CN115760670A (zh) * 2023-01-06 2023-03-07 之江实验室 基于网络隐式先验的无监督高光谱融合方法及装置
CN116958131A (zh) * 2023-09-18 2023-10-27 腾讯科技（深圳）有限公司 一种图像处理方法、装置、设备及存储介质
CN116958131B (zh) * 2023-09-18 2024-01-05 腾讯科技（深圳）有限公司 一种图像处理方法、装置、设备及存储介质
CN117635479A (zh) * 2024-01-25 2024-03-01 北京航空航天大学 基于双阶段扩散模型的磁粒子图像去噪方法、系统及设备
CN117635479B (zh) * 2024-01-25 2024-04-23 北京航空航天大学 基于双阶段扩散模型的磁粒子图像去噪方法、系统及设备

Similar Documents

Publication Publication Date Title
CN110660038B (zh) 一种基于生成对抗网络的多光谱图像与全色图像融合方法
CN110533620B (zh) 基于aae提取空间特征的高光谱和全色图像融合方法
Wei et al. 3-D quasi-recurrent neural network for hyperspectral image denoising
CN114723631A (zh) 基于深度上下文先验与多尺度重建子网络的图像去噪方法、系统及装置
CN108921799B (zh) 基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法
CN109035142B (zh) 一种对抗网络结合航拍图像先验的卫星图像超分辨方法
CN108133465B (zh) 基于空谱加权tv的非凸低秩松弛的高光谱图像恢复方法
Jozdani et al. A review and meta-analysis of generative adversarial networks and their applications in remote sensing
CN106920214B (zh) 空间目标图像超分辨率重建方法
Zhang et al. LR-Net: Low-rank spatial-spectral network for hyperspectral image denoising
CN112669248B (zh) 基于cnn与拉普拉斯金字塔的高光谱与全色图像融合方法
CN111127354B (zh) 一种基于多尺度字典学习的单图像去雨方法
Dharejo et al. A deep hybrid neural network for single image dehazing via wavelet transform
CN114677300A (zh) 一种基于双阶段学习框架的高光谱图像深度降噪的方法及系统
Fu et al. Nonlocal spatial–spectral neural network for hyperspectral image denoising
CN115640506A (zh) 基于时频谱信号增强的磁粒子分布模型重建方法和系统
Kan et al. Attention-based octave network for hyperspectral image denoising
Nguyen et al. Sentinel-2 sharpening using a single unsupervised convolutional neural network with MTF-based degradation model
Dumka et al. Advanced digital image processing and its applications in big data
Frants et al. QSAM-Net: Rain streak removal by quaternion neural network with self-attention module
Zhao et al. SSIR: Spatial shuffle multi-head self-attention for single image super-resolution
Xie et al. MWA-MNN: Multi-patch wavelet attention memristive neural network for image restoration
CN111882512B (zh) 基于深度学习的图像融合方法、装置、设备和存储介质
Wu et al. Multi-task multi-objective evolutionary network for hyperspectral image classification and pansharpening
Kim et al. Unsupervised image denoising with frequency domain knowledge

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination