CN111986114B - 一种基于自监督约束的双尺度图像盲去噪方法及系统 - Google Patents

一种基于自监督约束的双尺度图像盲去噪方法及系统 Download PDF

Info

Publication number
CN111986114B
CN111986114B CN202010847027.XA CN202010847027A CN111986114B CN 111986114 B CN111986114 B CN 111986114B CN 202010847027 A CN202010847027 A CN 202010847027A CN 111986114 B CN111986114 B CN 111986114B
Authority
CN
China
Prior art keywords
scale
image
small
noise
self
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010847027.XA
Other languages
English (en)
Other versions
CN111986114A (zh
Inventor
潘金山
王迪
唐金辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202010847027.XA priority Critical patent/CN111986114B/zh
Publication of CN111986114A publication Critical patent/CN111986114A/zh
Application granted granted Critical
Publication of CN111986114B publication Critical patent/CN111986114B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于自监督约束的双尺度图像盲去噪方法及系统。该方法包括：根据小尺度的噪声图像和大尺度的噪声图像，构建双尺度的边缘保持自监督约束、双尺度的背景一致性自监督约束和双尺度的结构相似性注意力自监督约束，以各自监督约束为约束条件，根据小尺度的噪声图像数据集和大尺度的噪声图像数据集训练盲去噪网络，通过训练后的盲去噪网络实现噪声图像的自监督去噪。

Description

一种基于自监督约束的双尺度图像盲去噪方法及系统
技术领域
本发明涉及图像去噪技术领域，特别是涉及一种基于自监督约束的双尺度图像盲去噪方法及系统。
背景技术
人们观测到的图像大多都是通过数字成像设备获取的，在成像的过程中由于外部光线和设备内部元器件的干扰，原始清晰图像在传输和压缩的过程中容易遭受噪声的退化，导致观测到的图像往往是噪声图像。因此，图像去噪算法成为当前的一个重要的研究热点。
目前的图像去噪算法主要分为两大类，一类是基于图像先验的传统去噪方法，另一类是基于深度学习的图像去噪方法。传统去噪方法主要涉及到结构自相似性、稀疏表示、字典编码以及马尔科夫随机场等图像先验知识，它们致力于处理特定的加性高斯白噪声，严重依赖于给定的噪声强度，对于未知噪声强度的真实图像泛化性能较差。基于深度学习的图像去噪方法作为目前主流的图像去噪方法已经缓解了传统去噪方法的不足。在给定合成/真实噪声数据集的条件下，基于深度学习的图像去噪方法通过设计合理的卷积神经网络学习噪声的内在统计特性，最终达到去除噪声的目的。
发明内容
基于此，本发明的目的是提供一种基于自监督约束的双尺度图像盲去噪方法及系统，根据噪声图像的不同尺度，构建双尺度的边缘保持自监督约束、双尺度的背景一致性自监督约束和双尺度的结构相似性注意力自监督约束，实现噪声图像的自监督去噪。
为实现上述目的，本发明提供了如下方案：
一种基于自监督约束的双尺度图像盲去噪方法，所述方法包括：
获取噪声图像数据集；
在所述数据集的各噪声图像上随机裁剪设定数量以及设定尺寸的大尺度噪声图像，所述大尺度噪声图像构成大尺度噪声图像数据集；
对各大尺度噪声图像进行设定尺度的下采样得到小尺度噪声图像，所述小尺度噪声图像构成小尺度噪声图像数据集；
根据所述小尺度噪声图像和小尺度去噪图像的梯度和均方误差构建小尺度的边缘保持自监督约束；根据所述大尺度噪声图像和大尺度去噪图像的梯度和均方误差构建大尺度的边缘保持自监督约束；
根据所述小尺度噪声图像和所述小尺度去噪图像的背景一致性构建小尺度的背景一致性自监督约束；根据所述大尺度噪声图像和所述大尺度去噪图像的背景一致性构建大尺度的背景一致性自监督约束；
根据所述小尺度噪声图像和所述小尺度去噪图像的结构相似性构建小尺度的结构相似性注意力自监督约束；根据所述大尺度噪声图像和所述大尺度去噪图像的结构相似性构建大尺度的结构相似性注意力自监督约束；
采用所述大尺度噪声图像数据集和所述小尺度噪声图像数据集，以所述小尺度的边缘保持自监督约束、所述大尺度的边缘保持自监督约束、所述小尺度的背景一致性自监督约束、所述大尺度的背景一致性自监督约束、所述小尺度的结构相似性注意力自监督约束和所述大尺度的结构相似性注意力自监督约束为约束条件，以所述小尺度噪声图像作为盲去噪网络的第一次输入，小尺度去噪图像作为所述盲去噪网络的第一次输出，合并图像作为所述盲去噪网络的第二次输入，大尺度去噪图像为所述盲去噪网络的第二次输出，训练所述盲去噪网络；所述合并图像为所述小尺度去噪图像的放大图和与所述小尺度噪声图像对应的大尺度噪声图像合并后的图像；所述放大图为所述小尺度去噪图像进行所述设定尺度的上采样确定的；
根据训练后的所述盲去噪网络对待去噪的图像进行去噪。
可选地，所述盲去噪网络包括噪声估计子网络和非盲去噪子网络；所述训练盲去噪网络具体包括：
以所述小尺度噪声图像作为噪声估计子网络的第一次输入，所述小尺度噪声图像的噪声强度图和第一去噪图像作为所述噪声估计子网络的第一次输出，所述噪声估计子网络的第一次输出作为非盲去噪子网络的第一次输入，所述小尺度去噪图像作为所述非盲去噪子网络的第一次输出，所述合并图像作为所述噪声估计子网络的第二次输入，所述合并图像的噪声强度图和第二去噪图像作为所述噪声估计子网络的第二次输出，所述噪声估计子网络的第二次输出作为所述非盲去噪子网络的第二次输入，所述大尺度去噪图像为所述非盲去噪子网络的第二次输出；
所述第一去噪图像为所述小尺度噪声图像去除噪声强度后的图像；所述第二去噪图像为所述合并图像去除噪声强度后的图像。
可选地，所述小尺度的边缘保持自监督约束的表达式为
Figure GDA0003073202780000031
表示所述小尺度噪声图像，
Figure GDA0003073202780000032
表示沿水平方向的梯度算子，
Figure GDA0003073202780000033
表示垂直方向的梯度算子，λ表示第一平滑参数和α表示第二平滑参数，ε为常数；
所述大尺度的边缘保持自监督约束的表达式为
Figure GDA0003073202780000034
其中，
Figure GDA0003073202780000035
表示所述大尺度去噪图像，
Figure GDA0003073202780000036
表示所述大尺度噪声图像。
可选地，所述小尺度背景一致性自监督约束的表达式为
Figure GDA0003073202780000037
其中，
Figure GDA0003073202780000038
表示所述小尺度噪声图像，
Figure GDA0003073202780000039
表示所述小尺度去噪图像，
Figure GDA00030732027800000310
表示所述第一噪声强度图，
Figure GDA00030732027800000311
表示重建的小尺度噪声图像，
Figure GDA00030732027800000312
表示对
Figure GDA0003073202780000041
进行高斯模糊操作，
Figure GDA0003073202780000042
表示对
Figure GDA0003073202780000043
进行高斯模糊操作，σ表示进行高斯模糊操作的尺度；
所述大尺度背景一致性自监督约束的表达式为
Figure GDA0003073202780000044
其中，
Figure GDA0003073202780000045
表示所述大尺度噪声图像，
Figure GDA0003073202780000046
表示所述大尺度去噪图像，
Figure GDA0003073202780000047
表示所述第二噪声强度图，
Figure GDA0003073202780000048
表示重建的大尺度噪声图像，
Figure GDA0003073202780000049
表示对
Figure GDA00030732027800000410
进行高斯模糊操作，
Figure GDA00030732027800000411
表示对
Figure GDA00030732027800000412
进行高斯模糊操作。
可选地，所述小尺度结构相似性注意力自监督约束的表达式为
Figure GDA00030732027800000413
所述大尺度结构相似性注意力自监督约束的表达式为
Figure GDA00030732027800000414
其中，
Figure GDA00030732027800000415
表示小尺度结构相似性注意力图谱
Figure GDA00030732027800000416
与所述小尺度噪声图像
Figure GDA00030732027800000417
相乘，
Figure GDA00030732027800000418
表示小尺度结构相似性注意力图谱
Figure GDA00030732027800000419
与所述重建的小尺度噪声图像
Figure GDA00030732027800000420
相乘，
Figure GDA00030732027800000421
表示大尺度结构相似性注意力图谱
Figure GDA00030732027800000422
与所述大尺度噪声图像
Figure GDA00030732027800000423
相乘，
Figure GDA00030732027800000424
表示大尺度结构相似性注意力图谱
Figure GDA00030732027800000425
与所述重建的大尺度噪声图像
Figure GDA00030732027800000426
相乘，
Figure GDA00030732027800000427
为小尺度噪声图像对
Figure GDA00030732027800000428
通过结构相似性度量函数生成的结构相似性图谱后进行高斯变换确定的，
Figure GDA00030732027800000429
为大尺度噪声图像对
Figure GDA00030732027800000430
通过结构相似性度量函数生成的结构相似性图谱后进行高斯变换确定的。
一种基于自监督约束的双尺度图像盲去噪系统，所述系统包括：
数据集获取模块，用于获取噪声图像数据集；
大尺度噪声图像数据集确定模块，用于在所述数据集的各噪声图像上随机裁剪设定数量以及设定尺寸的大尺度噪声图像，所述大尺度噪声图像构成大尺度噪声图像数据集；
小尺度噪声图像数据集确定模块，用于对各大尺度噪声图像进行设定尺度的下采样得到小尺度噪声图像，所述小尺度噪声图像构成小尺度噪声图像数据集；
边缘保持自监督约束确定模块，用于根据所述小尺度噪声图像和小尺度去噪图像的梯度和均方误差构建小尺度的边缘保持自监督约束；根据所述大尺度噪声图像和大尺度去噪图像的梯度和均方误差构建大尺度的边缘保持自监督约束；
背景一致性自监督约束确定模块，用于根据所述小尺度噪声图像和所述小尺度去噪图像的背景一致性构建小尺度的背景一致性自监督约束；根据所述大尺度噪声图像和所述大尺度去噪图像的背景一致性构建大尺度的背景一致性自监督约束；
结构相似性注意力自监督约束确定模块，用于根据所述小尺度噪声图像和所述小尺度去噪图像的结构相似性构建小尺度的结构相似性注意力自监督约束；根据所述大尺度噪声图像和所述大尺度去噪图像的结构相似性构建大尺度的结构相似性注意力自监督约束；
盲去噪网络训练模块，用于采用所述大尺度噪声图像数据集和所述小尺度噪声图像数据集，以所述小尺度的边缘保持自监督约束、所述大尺度的边缘保持自监督约束、所述小尺度的背景一致性自监督约束、所述大尺度的背景一致性自监督约束、所述小尺度的结构相似性注意力自监督约束和所述大尺度的结构相似性注意力自监督约束为约束条件，以所述小尺度噪声图像作为盲去噪网络的第一次输入，小尺度去噪图像作为所述盲去噪网络的第一次输出，合并图像作为所述盲去噪网络的第二次输入，大尺度去噪图像为所述盲去噪网络的第二次输出，训练所述盲去噪网络；所述合并图像为所述小尺度去噪图像的放大图和与所述小尺度噪声图像对应的大尺度噪声图像合并后的图像；所述放大图为所述小尺度去噪图像进行所述设定尺度的上采样确定的；
去噪模块，用于根据训练后的所述盲去噪网络对待去噪的图像进行去噪。
可选地，所述盲去噪网络包括噪声估计子网络和非盲去噪子网络；所述训练盲去噪网络具体包括：
以所述小尺度噪声图像作为噪声估计子网络的第一次输入，所述小尺度噪声图像的噪声强度图和第一去噪图像作为所述噪声估计子网络的第一次输出，所述噪声估计子网络的第一次输出作为非盲去噪子网络的第一次输入，所述小尺度去噪图像作为所述非盲去噪子网络的第一次输出，所述合并图像作为所述噪声估计子网络的第二次输入，所述合并图像的噪声强度图和第二去噪图像作为所述噪声估计子网络的第二次输出，所述噪声估计子网络的第二次输出作为所述非盲去噪子网络的第二次输入，所述大尺度去噪图像为所述非盲去噪子网络的第二次输出；
所述第一去噪图像为所述小尺度噪声图像去除噪声强度后的图像；所述第二去噪图像为所述合并图像去除噪声强度后的图像。
可选地，所述小尺度的边缘保持自监督约束的表达式为
Figure GDA0003073202780000061
其中，
Figure GDA0003073202780000062
表示所述小尺度去噪图像，
Figure GDA0003073202780000063
表示所述小尺度噪声图像，
Figure GDA0003073202780000064
表示沿水平方向的梯度算子，
Figure GDA0003073202780000065
表示垂直方向的梯度算子，λ表示第一平滑参数和α表示第二平滑参数，ε为常数；
所述大尺度的边缘保持自监督约束的表达式为
Figure GDA0003073202780000066
其中，
Figure GDA0003073202780000067
表示所述大尺度去噪图像，
Figure GDA0003073202780000068
表示所述大尺度噪声图像。
可选地，所述小尺度背景一致性自监督约束的表达式为
Figure GDA0003073202780000071
其中，
Figure GDA0003073202780000072
表示所述小尺度噪声图像，
Figure GDA0003073202780000073
表示所述小尺度去噪图像，
Figure GDA0003073202780000074
表示所述第一噪声强度图，
Figure GDA0003073202780000075
表示重建的小尺度噪声图像，
Figure GDA0003073202780000076
表示对
Figure GDA0003073202780000077
进行高斯模糊操作，
Figure GDA0003073202780000078
表示对
Figure GDA0003073202780000079
进行高斯模糊操作，σ表示进行高斯模糊操作的尺度；
所述大尺度背景一致性自监督约束的表达式为
Figure GDA00030732027800000710
其中，
Figure GDA00030732027800000711
表示所述大尺度噪声图像，
Figure GDA00030732027800000712
表示所述大尺度去噪图像，
Figure GDA00030732027800000713
表示所述第二噪声强度图，
Figure GDA00030732027800000714
表示重建的大尺度噪声图像，
Figure GDA00030732027800000715
表示对
Figure GDA00030732027800000716
进行高斯模糊操作，
Figure GDA00030732027800000717
表示对
Figure GDA00030732027800000718
进行高斯模糊操作。
可选地，所述小尺度结构相似性注意力自监督约束的表达式为
Figure GDA00030732027800000719
所述大尺度结构相似性注意力自监督约束的表达式为
Figure GDA00030732027800000720
其中，
Figure GDA00030732027800000721
表示小尺度结构相似性注意力图谱
Figure GDA00030732027800000722
与所述小尺度噪声图像
Figure GDA00030732027800000723
相乘，
Figure GDA00030732027800000724
表示小尺度结构相似性注意力图谱
Figure GDA00030732027800000725
与所述重建的小尺度噪声图像
Figure GDA00030732027800000726
相乘，
Figure GDA00030732027800000727
表示大尺度结构相似性注意力图谱
Figure GDA00030732027800000728
与所述大尺度噪声图像
Figure GDA00030732027800000729
相乘，
Figure GDA00030732027800000730
表示大尺度结构相似性注意力图谱
Figure GDA00030732027800000731
与所述重建的大尺度噪声图像
Figure GDA00030732027800000732
相乘，
Figure GDA00030732027800000733
为小尺度噪声图像对
Figure GDA00030732027800000734
通过结构相似性度量函数生成的结构相似性图谱后进行高斯变换确定的，
Figure GDA00030732027800000735
为大尺度噪声图像对
Figure GDA00030732027800000736
通过结构相似性度量函数生成的结构相似性图谱后进行高斯变换确定的。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明公开了一种基于自监督约束的双尺度图像盲去噪方法及系统，根据小尺度的噪声图像和大尺度的噪声图像，构建双尺度的边缘保持自监督约束、双尺度的背景一致性自监督约束和双尺度的结构相似性注意力自监督约束，以各自监督约束为约束条件，根据小尺度的噪声图像数据集和大尺度的噪声图像数据集训练盲去噪网络，通过训练后的盲去噪网络实现噪声图像的自监督去噪。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种基于自监督约束的双尺度图像盲去噪方法流程示意图；
图2为本发明一种基于自监督约束的双尺度图像盲去噪方法原理图；
图3为本发明一种基于自监督约束的双尺度图像盲去噪系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于自监督约束的双尺度图像盲去噪方法及系统，根据噪声图像的不同尺度，构建双尺度的边缘保持自监督约束、双尺度的背景一致性自监督约束和双尺度的结构相似性注意力自监督约束，实现噪声图像的自监督去噪。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1-2所示，本发明公开了一种基于自监督约束的双尺度图像盲去噪方法，包括以下步骤：
步骤101：获取噪声图像数据集。
其中，步骤101中具体包括，下载公开的真实噪声数据集，下载网络包括https://www.eecs.yorku.ca/～kamel/sidd/benchmark.php和https://noise.visinf.tu-darmstadt.de/。真实噪声数据集包括真实噪声训练数据集Dtrain＝[I1,I2,…,In-1,In]，和真实噪声测试数据集Dtest＝[T1,T2,…,Tm-1,Tm]，In和Tm表示真实噪声图像。
步骤102：在所述数据集的各噪声图像上随机裁剪设定数量设定尺寸的大尺度噪声图像，所述大尺度噪声图像构成大尺度噪声图像数据集。
其中，步骤102中具体包括，设定数量记为K，设定尺寸为H×W。在每一张噪声图像Ik上随机裁剪若干个尺寸为H×W的子图像作为大尺度的噪声图像训练集
Figure GDA0003073202780000091
步骤103：对各大尺度噪声图像进行设定尺度的下采样得到小尺度噪声图像，所述小尺度噪声图像构成小尺度噪声图像数据集。
其中，步骤103中具体包括，对
Figure GDA0003073202780000092
中每一幅噪声图像
Figure GDA0003073202780000093
进行尺度为2的双线性插值下采样操作得到对应的小尺度噪声图像
Figure GDA0003073202780000094
因此构造出尺寸为
Figure GDA0003073202780000095
的小尺度的噪声训练集
Figure GDA0003073202780000096
和
Figure GDA0003073202780000097
所包含的样本数量K是相同的。
本发明根据步骤102和步骤103，准备了两个尺度的真实噪声训练集。同理，获得大尺度的真实噪声测试集
Figure GDA0003073202780000101
步骤104：根据所述小尺度噪声图像和小尺度去噪图像的梯度和均方误差构建小尺度的边缘保持自监督约束；根据所述大尺度噪声图像和大尺度去噪图像的梯度和均方误差构建大尺度的边缘保持自监督约束。
步骤105：根据所述小尺度噪声图像和所述小尺度去噪图像的背景一致性构建小尺度的背景一致性自监督约束；根据所述大尺度噪声图像和所述大尺度去噪图像的背景一致性构建大尺度的背景一致性自监督约束。
步骤106：根据所述小尺度噪声图像和所述小尺度去噪图像的结构相似性构建小尺度的结构相似性注意力自监督约束；根据所述大尺度噪声图像和所述大尺度去噪图像的结构相似性构建大尺度的结构相似性注意力自监督约束。
步骤107：采用所述大尺度噪声图像数据集和所述小尺度噪声图像数据集，以所述小尺度的边缘保持自监督约束、所述大尺度的边缘保持自监督约束、所述小尺度的背景一致性自监督约束、所述大尺度的背景一致性自监督约束、所述小尺度的结构相似性注意力自监督约束和所述大尺度的结构相似性注意力自监督约束为约束条件，以所述小尺度噪声图像作为盲去噪网络的第一次输入，小尺度去噪图像作为所述盲去噪网络的第一次输出，合并图像作为所述盲去噪网络的第二次输入，大尺度去噪图像为所述盲去噪网络的第二次输出，训练所述盲去噪网络；所述合并图像为所述小尺度去噪图像的放大图和与所述小尺度噪声图像对应的大尺度噪声图像合并后的图像；所述放大图为所述小尺度去噪图像进行所述设定尺度的上采样确定的。
其中，步骤107之前，具体还包括：构建双尺度真实图像的盲去噪网络，盲去噪网络包括噪声估计子网络和非盲去噪子网络，每个尺度图像的盲去噪网络均包含一个噪声估计子网络和一个图像非盲去噪子网络，且两个尺度的网络共享相同的参数。
搭建噪声估计子网络，称为Net-E，其网络结构包含20个卷积层{conv(1),…,conv(i),…,conv20}；
初始化训练参数集ΘNet-E，初始学习率2e-5，设定图像批处理大小为16，最大迭代次数400次。
搭建图像非盲去噪子网络，称为Net-D，其网络结构是一个内嵌残差密集块的UNet卷积神经网络；
初始化训练参数集ΘNet-D，初始学习率2e-5，设定图像批处理大小为16，最大迭代次数400次。
步骤107具体包括，将小尺度噪声图像
Figure GDA0003073202780000111
输入噪声估计子网络Net-E，输出小尺度噪声图像的噪声强度图
Figure GDA0003073202780000112
和粗略的去噪结果
Figure GDA0003073202780000113
Figure GDA0003073202780000114
为小尺度噪声图像
Figure GDA0003073202780000115
减去小尺度噪声图像的噪声强度图
Figure GDA0003073202780000116
后的图像，然后将
Figure GDA0003073202780000117
和
Figure GDA0003073202780000118
一同输入非盲去噪子网络Net-D，Net-D输出学习到的尺寸为
Figure GDA0003073202780000119
的小尺度去噪图像
Figure GDA00030732027800001110
将尺寸为
Figure GDA00030732027800001111
的小尺度去噪图像
Figure GDA00030732027800001112
进行尺度为2的双线性插值上采样得到尺寸为H×W的图像
Figure GDA00030732027800001113
与大尺度的噪声图像
Figure GDA00030732027800001114
合并后一同输入Net-E估计出合并图像的噪声强度图
Figure GDA00030732027800001115
和粗略的去噪结果
Figure GDA00030732027800001116
为合并图像减去合并图像的噪声强度图
Figure GDA00030732027800001117
后的图像，然后将
Figure GDA00030732027800001118
和
Figure GDA00030732027800001119
输入Net-D，输出学习到的尺寸为H×W大尺度去噪图像
Figure GDA00030732027800001120
步骤104具体包括：使用小尺度去噪图像
Figure GDA00030732027800001121
与其输入噪声图像
Figure GDA00030732027800001122
借助均方误差
Figure GDA00030732027800001123
和图像全变分先验
Figure GDA00030732027800001124
为小尺度图像去噪分支构造出一种边缘保持自监督约束
Figure GDA0003073202780000121
其中
Figure GDA0003073202780000122
是小尺度分支的边缘保持自监督约束函数，
Figure GDA0003073202780000123
和
Figure GDA0003073202780000124
分别表示沿水平方向和竖直方向的梯度算子，参数λ和α是可以调节的平滑参数，λ为第一平滑参数，α为第二平滑参数，ε是一个极小常量。
同理，使用大尺度去噪图像
Figure GDA0003073202780000125
及其输入噪声图像
Figure GDA0003073202780000126
为大尺度图像去噪分支构造边缘保持自监督约束
Figure GDA0003073202780000127
步骤105具体包括：首先使用小尺度去噪图像
Figure GDA0003073202780000128
和大尺度去噪图像Ok l分别与估计的对应的噪声强度图
Figure GDA0003073202780000129
和
Figure GDA00030732027800001210
合并得到重建的小尺度噪声图像
Figure GDA00030732027800001211
和重建的大尺度噪声图像
Figure GDA00030732027800001212
然后，提出背景指导模块BGM，对小尺度和大尺度网络的输入噪声图像对
Figure GDA00030732027800001213
和重建噪声图像对
Figure GDA00030732027800001214
分别进行尺度为σ＝3,5,9的高斯模糊操作Bσ(·)后再计算梯度误差
Figure GDA00030732027800001215
和
Figure GDA00030732027800001218
以此构造小尺度图像去噪分支的背景一致性自监督约束
Figure GDA00030732027800001216
和大尺度图像去噪分支的背景一致性自监督约束
Figure GDA00030732027800001217
步骤106具体包括：首先得到两个尺度的重建噪声图像
Figure GDA0003073202780000131
和
Figure GDA0003073202780000132
然后，提出结构相似性注意力机制SAM，使用尺寸分别为H×W和
Figure GDA0003073202780000133
的两个尺度的输入噪声图像对
Figure GDA0003073202780000134
和重建噪声图像对
Figure GDA0003073202780000135
分别通过结构相似性度量函数SSIM生成结构相似性图谱
Figure GDA0003073202780000136
和
Figure GDA0003073202780000137
接下来使用高斯函数对这两个结构相似性图谱进行高斯变换得到对应的结构相似性注意力图谱
Figure GDA0003073202780000138
和
Figure GDA0003073202780000139
最后与噪声图像对
Figure GDA00030732027800001310
和
Figure GDA00030732027800001311
进行元素间的乘法得到特征重组的噪声图像对
Figure GDA00030732027800001312
和
Figure GDA00030732027800001313
以此借助均方误差
Figure GDA00030732027800001314
和
Figure GDA00030732027800001315
分别构造小尺度和大尺度去噪分支的结构相似性注意力自监督约束
Figure GDA00030732027800001316
和
Figure GDA00030732027800001317
使用上述三种双尺度的自监督约束条件同时约束网络(也可以说成“同时对网络进行训练”)，即对网络进行训练，不断更新网络Net-E和Net-D的参数，参数涉及权重、梯度和偏置，直至训练到最大迭代数，至此模型训练完成。
图2中x表示小尺度噪声图像，yS表示小尺度噪声图像的噪声强度图，yD表示第一去噪图像，y表示小尺度去噪图像，y*＝y+yS，表示重建的小尺度噪声图像。
Figure GDA00030732027800001318
表示小尺度去噪图像的放大图与大尺度噪声图像的合并图像，
Figure GDA00030732027800001319
表示大尺度噪声图像的噪声强度图，
Figure GDA00030732027800001320
表示第二去噪图像，
Figure GDA00030732027800001321
表示大尺度去噪图像，
Figure GDA00030732027800001322
表示重建的大尺度噪声图像。
步骤108：根据训练后的所述盲去噪网络对待去噪的图像进行去噪。
其中，步骤108具体包括：依次从预先准备好的小尺度测试集
Figure GDA0003073202780000141
中读取噪声图像
Figure GDA0003073202780000142
输入训练好的盲去噪网络中，得到小尺度的去噪结果
Figure GDA0003073202780000143
将小尺度去噪结果
Figure GDA0003073202780000144
经过双线性插值上采样操作得到
Figure GDA0003073202780000145
然后将其与大尺度的测试图像
Figure GDA0003073202780000146
一同输入到训练好的盲去噪网络中，得到大尺度去噪结果
Figure GDA0003073202780000147
即最终的去噪图像。
本发明还提供了一种基于自监督约束的双尺度图像盲去噪系统，包括：
数据集获取模块201，用于获取噪声图像数据集；
大尺度噪声图像数据集确定模块202，用于在所述数据集的各噪声图像上随机裁剪设定数量设定尺寸的大尺度噪声图像，所述大尺度噪声图像构成大尺度噪声图像数据集；
小尺度噪声图像数据集确定模块203，用于对各大尺度噪声图像进行设定尺度的下采样得到小尺度噪声图像，所述小尺度噪声图像构成小尺度噪声图像数据集；
边缘保持自监督约束确定模块204，用于根据所述小尺度噪声图像和小尺度去噪图像的梯度和均方误差构建小尺度的边缘保持自监督约束；根据所述大尺度噪声图像和大尺度去噪图像的梯度和均方误差构建大尺度的边缘保持自监督约束；
背景一致性自监督约束确定模块205，用于根据所述小尺度噪声图像和所述小尺度去噪图像的背景一致性构建小尺度的背景一致性自监督约束；根据所述大尺度噪声图像和所述大尺度去噪图像的背景一致性构建大尺度的背景一致性自监督约束；
结构相似性注意力自监督约束确定模块206，用于根据所述小尺度噪声图像和所述小尺度去噪图像的结构相似性构建小尺度的结构相似性注意力自监督约束；根据所述大尺度噪声图像和所述大尺度去噪图像的结构相似性构建大尺度的结构相似性注意力自监督约束；
盲去噪网络训练模块207，用于采用所述大尺度噪声图像数据集和所述小尺度噪声图像数据集，以所述小尺度的边缘保持自监督约束、所述大尺度的边缘保持自监督约束、所述小尺度的背景一致性自监督约束、所述大尺度的背景一致性自监督约束、所述小尺度的结构相似性注意力自监督约束和所述大尺度的结构相似性注意力自监督约束为约束条件，以所述小尺度噪声图像作为盲去噪网络的第一次输入，小尺度去噪图像作为所述盲去噪网络的第一次输出，合并图像作为所述盲去噪网络的第二次输入，大尺度去噪图像为所述盲去噪网络的第二次输出，训练所述盲去噪网络；所述合并图像为所述小尺度去噪图像的放大图和与所述小尺度噪声图像对应的大尺度噪声图像合并后的图像；所述放大图为所述小尺度去噪图像进行所述设定尺度的上采样确定的；
去噪模块208，用于根据训练后的所述盲去噪网络对待去噪的图像进行去噪。
所述盲去噪网络包括噪声估计子网络和非盲去噪子网络；所述训练盲去噪网络具体包括：
以所述小尺度噪声图像作为噪声估计子网络的第一次输入，所述小尺度噪声图像的噪声强度图和第一去噪图像作为所述噪声估计子网络的第一次输出，所述噪声估计子网络的第一次输出作为非盲去噪子网络的第一次输入，所述小尺度去噪图像作为所述非盲去噪子网络的第一次输出，所述合并图像作为所述噪声估计子网络的第二次输入，所述合并图像的噪声强度图和第二去噪图像作为所述噪声估计子网络的第二次输出，所述噪声估计子网络的第二次输出作为所述非盲去噪子网络的第二次输入，所述大尺度去噪图像为所述非盲去噪子网络的第二次输出；
所述第一去噪图像为所述小尺度噪声图像去除噪声强度后的图像；所述第二去噪图像为所述合并图像去除噪声强度后的图像。
所述小尺度的边缘保持自监督约束的表达式为
Figure GDA0003073202780000151
其中，
Figure GDA0003073202780000152
表示所述小尺度去噪图像，
Figure GDA0003073202780000161
表示所述小尺度噪声图像，
Figure GDA0003073202780000162
表示沿水平方向的梯度算子，
Figure GDA0003073202780000163
表示垂直方向的梯度算子，λ表示第一平滑参数和α表示第二平滑参数，ε为常数；
所述大尺度的边缘保持自监督约束的表达式为
Figure GDA0003073202780000164
其中，
Figure GDA0003073202780000165
表示所述大尺度去噪图像，
Figure GDA0003073202780000166
表示所述大尺度噪声图像。
所述小尺度背景一致性自监督约束的表达式为
Figure GDA0003073202780000167
其中，
Figure GDA0003073202780000168
表示所述小尺度噪声图像，
Figure GDA0003073202780000169
表示所述小尺度去噪图像，
Figure GDA00030732027800001610
表示所述第一噪声强度图，
Figure GDA00030732027800001611
表示重建的小尺度噪声图像，
Figure GDA00030732027800001612
表示对
Figure GDA00030732027800001613
进行高斯模糊操作，
Figure GDA00030732027800001614
表示对
Figure GDA00030732027800001615
进行高斯模糊操作，σ表示进行高斯模糊操作的尺度；
所述大尺度背景一致性自监督约束的表达式为
Figure GDA00030732027800001616
其中，
Figure GDA00030732027800001617
表示所述大尺度噪声图像，
Figure GDA00030732027800001618
表示所述大尺度去噪图像，
Figure GDA00030732027800001619
表示所述第二噪声强度图，
Figure GDA00030732027800001620
表示重建的大尺度噪声图像，
Figure GDA00030732027800001621
表示对
Figure GDA00030732027800001622
进行高斯模糊操作，
Figure GDA00030732027800001623
表示对
Figure GDA00030732027800001624
进行高斯模糊操作。
所述小尺度结构相似性注意力自监督约束的表达式为
Figure GDA00030732027800001625
所述大尺度结构相似性注意力自监督约束的表达式为
Figure GDA0003073202780000171
其中，
Figure GDA0003073202780000172
表示小尺度结构相似性注意力图谱
Figure GDA0003073202780000173
与所述小尺度噪声图像
Figure GDA0003073202780000174
相乘，
Figure GDA0003073202780000175
表示小尺度结构相似性注意力图谱
Figure GDA0003073202780000176
与所述重建的小尺度噪声图像
Figure GDA0003073202780000177
相乘，
Figure GDA0003073202780000178
表示大尺度结构相似性注意力图谱
Figure GDA0003073202780000179
与所述大尺度噪声图像
Figure GDA00030732027800001710
相乘，
Figure GDA00030732027800001711
表示大尺度结构相似性注意力图谱
Figure GDA00030732027800001712
与所述重建的大尺度噪声图像
Figure GDA00030732027800001713
相乘，
Figure GDA00030732027800001714
为小尺度噪声图像对
Figure GDA00030732027800001715
通过结构相似性度量函数生成的结构相似性图谱后进行高斯变换确定的，
Figure GDA00030732027800001716
为大尺度噪声图像对
Figure GDA00030732027800001717
通过结构相似性度量函数生成的结构相似性图谱后进行高斯变换确定的。
本发明涉及一种基于自监督约束的双尺度图像盲去噪方法及系统，根据小尺度的噪声图像和大尺度的噪声图像，构建双尺度的边缘保持自监督约束、双尺度的背景一致性自监督约束和双尺度的结构相似性注意力自监督约束，以各自监督约束为约束条件，根据小尺度的噪声图像数据集和大尺度的噪声图像数据集训练盲去噪网络，通过训练后的盲去噪网络实现噪声图像的自监督去噪。训练后的盲去噪网络能够将输入的一张真实场景下拍摄的噪声图像，复原出清晰的去噪图像。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于自监督约束的双尺度图像盲去噪方法，其特征在于，所述方法包括：
获取噪声图像数据集；
在所述数据集的各噪声图像上随机裁剪设定数量以及设定尺寸的大尺度噪声图像，所述大尺度噪声图像构成大尺度噪声图像数据集；
对各大尺度噪声图像进行设定尺度的下采样得到小尺度噪声图像，所述小尺度噪声图像构成小尺度噪声图像数据集；
根据所述小尺度噪声图像和小尺度去噪图像的梯度和均方误差构建小尺度的边缘保持自监督约束；根据所述大尺度噪声图像和大尺度去噪图像的梯度和均方误差构建大尺度的边缘保持自监督约束；
根据所述小尺度噪声图像和重建的小尺度噪声图像的背景一致性构建小尺度的背景一致性自监督约束；根据所述大尺度噪声图像和重建的大尺度噪声图像的背景一致性构建大尺度的背景一致性自监督约束；
根据所述小尺度噪声图像和所述小尺度去噪图像的结构相似性构建小尺度的结构相似性注意力自监督约束；根据所述大尺度噪声图像和所述大尺度去噪图像的结构相似性构建大尺度的结构相似性注意力自监督约束；
采用所述大尺度噪声图像数据集和所述小尺度噪声图像数据集，以所述小尺度的边缘保持自监督约束、所述大尺度的边缘保持自监督约束、所述小尺度的背景一致性自监督约束、所述大尺度的背景一致性自监督约束、所述小尺度的结构相似性注意力自监督约束和所述大尺度的结构相似性注意力自监督约束为约束条件，以所述小尺度噪声图像作为盲去噪网络的第一次输入，小尺度去噪图像作为所述盲去噪网络的第一次输出，合并图像作为所述盲去噪网络的第二次输入，大尺度去噪图像为所述盲去噪网络的第二次输出，训练所述盲去噪网络；所述合并图像为所述小尺度去噪图像的放大图和与所述小尺度噪声图像对应的大尺度噪声图像合并后的图像；所述放大图为所述小尺度去噪图像进行所述设定尺度的上采样确定的；
根据训练后的所述盲去噪网络对待去噪的图像进行去噪。
2.根据权利要求1所述的基于自监督约束的双尺度图像盲去噪方法，其特征在于，所述盲去噪网络包括噪声估计子网络和非盲去噪子网络；所述训练盲去噪网络具体包括：
以所述小尺度噪声图像作为噪声估计子网络的第一次输入，所述小尺度噪声图像的噪声强度图和第一去噪图像作为所述噪声估计子网络的第一次输出，所述噪声估计子网络的第一次输出作为非盲去噪子网络的第一次输入，所述小尺度去噪图像作为所述非盲去噪子网络的第一次输出，所述合并图像作为所述噪声估计子网络的第二次输入，所述合并图像的噪声强度图和第二去噪图像作为所述噪声估计子网络的第二次输出，所述噪声估计子网络的第二次输出作为所述非盲去噪子网络的第二次输入，所述大尺度去噪图像为所述非盲去噪子网络的第二次输出；
所述第一去噪图像为所述小尺度噪声图像去除噪声强度后的图像；所述第二去噪图像为所述合并图像去除噪声强度后的图像。
3.根据权利要求1所述的基于自监督约束的双尺度图像盲去噪方法，其特征在于，所述小尺度的边缘保持自监督约束的表达式为
Figure FDA0003073202770000021
其中，
Figure FDA0003073202770000022
表示所述小尺度去噪图像，
Figure FDA0003073202770000023
表示所述小尺度噪声图像，
Figure FDA0003073202770000024
表示沿水平方向的梯度算子，
Figure FDA0003073202770000025
表示垂直方向的梯度算子，λ表示第一平滑参数和α表示第二平滑参数，ε为常数；
所述大尺度的边缘保持自监督约束的表达式为
Figure FDA0003073202770000031
其中，
Figure FDA0003073202770000032
表示所述大尺度去噪图像，
Figure FDA0003073202770000033
表示所述大尺度噪声图像。
4.根据权利要求2所述的基于自监督约束的双尺度图像盲去噪方法，其特征在于，所述小尺度背景一致性自监督约束的表达式为
Figure FDA0003073202770000034
其中，
Figure FDA0003073202770000035
表示所述小尺度噪声图像，
Figure FDA0003073202770000036
表示所述小尺度去噪图像，
Figure FDA0003073202770000037
表示第一噪声强度图，
Figure FDA0003073202770000038
表示重建的小尺度噪声图像，
Figure FDA0003073202770000039
Figure FDA00030732027700000310
表示对
Figure FDA00030732027700000311
进行高斯模糊操作，
Figure FDA00030732027700000312
表示对
Figure FDA00030732027700000313
进行高斯模糊操作，σ表示进行高斯模糊操作的尺度，
Figure FDA00030732027700000314
表示梯度算子，λσ表示平滑参数；
所述大尺度背景一致性自监督约束的表达式为
Figure FDA00030732027700000315
其中，
Figure FDA00030732027700000316
表示所述大尺度噪声图像，
Figure FDA00030732027700000317
表示所述大尺度去噪图像，
Figure FDA00030732027700000318
表示第二噪声强度图，
Figure FDA00030732027700000319
表示重建的大尺度噪声图像，
Figure FDA00030732027700000320
Figure FDA00030732027700000321
表示对
Figure FDA00030732027700000322
进行高斯模糊操作，
Figure FDA00030732027700000323
表示对
Figure FDA00030732027700000324
进行高斯模糊操作。
5.根据权利要求4所述的基于自监督约束的双尺度图像盲去噪方法，其特征在于，所述小尺度结构相似性注意力自监督约束的表达式为
Figure FDA00030732027700000325
所述大尺度结构相似性注意力自监督约束的表达式为
Figure FDA0003073202770000041
其中，
Figure FDA0003073202770000042
表示小尺度结构相似性注意力图谱
Figure FDA0003073202770000043
与所述小尺度噪声图像
Figure FDA0003073202770000044
相乘，
Figure FDA0003073202770000045
表示小尺度结构相似性注意力图谱
Figure FDA0003073202770000046
与所述重建的小尺度噪声图像
Figure FDA0003073202770000047
相乘，
Figure FDA0003073202770000048
表示大尺度结构相似性注意力图谱
Figure FDA0003073202770000049
与所述大尺度噪声图像
Figure FDA00030732027700000410
相乘，
Figure FDA00030732027700000411
表示大尺度结构相似性注意力图谱
Figure FDA00030732027700000412
与所述重建的大尺度噪声图像
Figure FDA00030732027700000413
相乘，
Figure FDA00030732027700000414
为小尺度噪声图像对
Figure FDA00030732027700000415
通过结构相似性度量函数生成的结构相似性图谱后进行高斯变换确定的，
Figure FDA00030732027700000416
为大尺度噪声图像对
Figure FDA00030732027700000417
通过结构相似性度量函数生成的结构相似性图谱后进行高斯变换确定的。
6.一种基于自监督约束的双尺度图像盲去噪系统，其特征在于，所述系统包括：
数据集获取模块，用于获取噪声图像数据集；
大尺度噪声图像数据集确定模块，用于在所述数据集的各噪声图像上随机裁剪设定数量以及设定尺寸的大尺度噪声图像，所述大尺度噪声图像构成大尺度噪声图像数据集；
小尺度噪声图像数据集确定模块，用于对各大尺度噪声图像进行设定尺度的下采样得到小尺度噪声图像，所述小尺度噪声图像构成小尺度噪声图像数据集；
边缘保持自监督约束确定模块，用于根据所述小尺度噪声图像和小尺度去噪图像的梯度和均方误差构建小尺度的边缘保持自监督约束；根据所述大尺度噪声图像和大尺度去噪图像的梯度和均方误差构建大尺度的边缘保持自监督约束；
背景一致性自监督约束确定模块，用于根据所述小尺度噪声图像和所述小尺度去噪图像的背景一致性构建小尺度的背景一致性自监督约束；根据所述大尺度噪声图像和所述大尺度去噪图像的背景一致性构建大尺度的背景一致性自监督约束；
结构相似性注意力自监督约束确定模块，用于根据所述小尺度噪声图像和所述小尺度去噪图像的结构相似性构建小尺度的结构相似性注意力自监督约束；根据所述大尺度噪声图像和所述大尺度去噪图像的结构相似性构建大尺度的结构相似性注意力自监督约束；
盲去噪网络训练模块，用于采用所述大尺度噪声图像数据集和所述小尺度噪声图像数据集，以所述小尺度的边缘保持自监督约束、所述大尺度的边缘保持自监督约束、所述小尺度的背景一致性自监督约束、所述大尺度的背景一致性自监督约束、所述小尺度的结构相似性注意力自监督约束和所述大尺度的结构相似性注意力自监督约束为约束条件，以所述小尺度噪声图像作为盲去噪网络的第一次输入，小尺度去噪图像作为所述盲去噪网络的第一次输出，合并图像作为所述盲去噪网络的第二次输入，大尺度去噪图像为所述盲去噪网络的第二次输出，训练所述盲去噪网络；所述合并图像为所述小尺度去噪图像的放大图和与所述小尺度噪声图像对应的大尺度噪声图像合并后的图像；所述放大图为所述小尺度去噪图像进行所述设定尺度的上采样确定的；
去噪模块，用于根据训练后的所述盲去噪网络对待去噪的图像进行去噪。
7.根据权利要求6所述的基于自监督约束的双尺度图像盲去噪系统，其特征在于，所述盲去噪网络包括噪声估计子网络和非盲去噪子网络；所述训练盲去噪网络具体包括：
以所述小尺度噪声图像作为噪声估计子网络的第一次输入，所述小尺度噪声图像的噪声强度图和第一去噪图像作为所述噪声估计子网络的第一次输出，所述噪声估计子网络的第一次输出作为非盲去噪子网络的第一次输入，所述小尺度去噪图像作为所述非盲去噪子网络的第一次输出，所述合并图像作为所述噪声估计子网络的第二次输入，所述合并图像的噪声强度图和第二去噪图像作为所述噪声估计子网络的第二次输出，所述噪声估计子网络的第二次输出作为所述非盲去噪子网络的第二次输入，所述大尺度去噪图像为所述非盲去噪子网络的第二次输出；
所述第一去噪图像为所述小尺度噪声图像去除噪声强度后的图像；所述第二去噪图像为所述合并图像去除噪声强度后的图像。
8.根据权利要求6所述的基于自监督约束的双尺度图像盲去噪系统，其特征在于，所述小尺度的边缘保持自监督约束的表达式为
Figure FDA0003073202770000061
其中，
Figure FDA0003073202770000062
表示所述小尺度去噪图像，
Figure FDA0003073202770000063
表示所述小尺度噪声图像，
Figure FDA0003073202770000064
表示沿水平方向的梯度算子，
Figure FDA0003073202770000065
表示垂直方向的梯度算子，λ表示第一平滑参数和α表示第二平滑参数，ε为常数；
所述大尺度的边缘保持自监督约束的表达式为
Figure FDA0003073202770000066
其中，
Figure FDA0003073202770000067
表示所述大尺度去噪图像，
Figure FDA0003073202770000068
表示所述大尺度噪声图像。
9.根据权利要求7所述的基于自监督约束的双尺度图像盲去噪系统，其特征在于，所述小尺度背景一致性自监督约束的表达式为
Figure FDA0003073202770000069
其中，
Figure FDA00030732027700000610
表示所述小尺度噪声图像，
Figure FDA00030732027700000611
表示所述小尺度去噪图像，
Figure FDA00030732027700000612
表示第一噪声强度图，
Figure FDA00030732027700000613
表示重建的小尺度噪声图像，
Figure FDA00030732027700000614
Figure FDA00030732027700000615
表示对
Figure FDA00030732027700000616
进行高斯模糊操作，
Figure FDA00030732027700000617
表示对
Figure FDA00030732027700000618
进行高斯模糊操作，σ表示进行高斯模糊操作的尺度，
Figure FDA00030732027700000619
表示梯度算子，λσ表示平滑参数；
所述大尺度背景一致性自监督约束的表达式为
Figure FDA0003073202770000071
其中，
Figure FDA0003073202770000072
表示所述大尺度噪声图像，
Figure FDA0003073202770000073
表示所述大尺度去噪图像，
Figure FDA0003073202770000074
表示第二噪声强度图，
Figure FDA0003073202770000075
表示重建的大尺度噪声图像，
Figure FDA0003073202770000076
Figure FDA0003073202770000077
表示对
Figure FDA0003073202770000078
进行高斯模糊操作，
Figure FDA0003073202770000079
表示对
Figure FDA00030732027700000710
进行高斯模糊操作。
10.根据权利要求9所述的基于自监督约束的双尺度图像盲去噪系统，其特征在于，所述小尺度结构相似性注意力自监督约束的表达式为
Figure FDA00030732027700000711
所述大尺度结构相似性注意力自监督约束的表达式为
Figure FDA00030732027700000712
其中，
Figure FDA00030732027700000713
表示小尺度结构相似性注意力图谱
Figure FDA00030732027700000714
与所述小尺度噪声图像
Figure FDA00030732027700000715
相乘，
Figure FDA00030732027700000716
表示小尺度结构相似性注意力图谱
Figure FDA00030732027700000717
与所述重建的小尺度噪声图像
Figure FDA00030732027700000718
相乘，
Figure FDA00030732027700000719
表示大尺度结构相似性注意力图谱
Figure FDA00030732027700000720
与所述大尺度噪声图像
Figure FDA00030732027700000721
相乘，
Figure FDA00030732027700000722
表示大尺度结构相似性注意力图谱
Figure FDA00030732027700000723
与所述重建的大尺度噪声图像
Figure FDA00030732027700000724
相乘，
Figure FDA00030732027700000725
为小尺度噪声图像对
Figure FDA00030732027700000726
通过结构相似性度量函数生成的结构相似性图谱后进行高斯变换确定的，
Figure FDA00030732027700000727
为大尺度噪声图像对
Figure FDA00030732027700000728
通过结构相似性度量函数生成的结构相似性图谱后进行高斯变换确定的。
CN202010847027.XA 2020-08-21 2020-08-21 一种基于自监督约束的双尺度图像盲去噪方法及系统 Active CN111986114B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010847027.XA CN111986114B (zh) 2020-08-21 2020-08-21 一种基于自监督约束的双尺度图像盲去噪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010847027.XA CN111986114B (zh) 2020-08-21 2020-08-21 一种基于自监督约束的双尺度图像盲去噪方法及系统

Publications (2)

Publication Number Publication Date
CN111986114A CN111986114A (zh) 2020-11-24
CN111986114B true CN111986114B (zh) 2021-07-16

Family

ID=73443845

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010847027.XA Active CN111986114B (zh) 2020-08-21 2020-08-21 一种基于自监督约束的双尺度图像盲去噪方法及系统

Country Status (1)

Country Link
CN (1) CN111986114B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112634159B (zh) * 2020-12-23 2022-07-26 中国海洋大学 基于盲噪声估计的高光谱图像去噪方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101651643B (zh) * 2009-09-18 2013-01-02 南京信息工程大学 基于空间分集的小波神经网络盲均衡方法
CN108182657A (zh) * 2018-01-26 2018-06-19 深圳市唯特视科技有限公司 一种基于循环生成对抗网络的面部图像转换方法
US10699465B1 (en) * 2018-12-28 2020-06-30 Intel Corporation Cluster of scalar engines to accelerate intersection in leaf node

Also Published As

Publication number Publication date
CN111986114A (zh) 2020-11-24

Similar Documents

Publication Publication Date Title
Brifman et al. Turning a denoiser into a super-resolver using plug and play priors
CN109035142B (zh) 一种对抗网络结合航拍图像先验的卫星图像超分辨方法
CN112419184B (zh) 一种综合局部信息和全局信息的空间注意力图像去噪方法
CN112150354B (zh) 联合轮廓增强与去噪统计先验的单幅图像超分辨率方法
CN111007566B (zh) 一种曲率驱动扩散全卷积网络地震数据坏道重建与去噪方法
CN114723631B (zh) 基于深度上下文先验与多尺度重建子网络的图像去噪方法、系统及装置
Thakur et al. Agsdnet: Attention and gradient-based sar denoising network
CN106169174B (zh) 一种图像放大方法
CN114494015B (zh) 基于盲超分辨率网络的图像重建方法
CN107154064A (zh) 基于深度稀疏编码的自然图像压缩感知重建方法
CN105488759A (zh) 一种基于局部回归模型的图像超分辨率重建方法
CN115526779A (zh) 一种基于动态注意力机制的红外图像超分辨率重建方法
CN117114984A (zh) 基于生成对抗网络的遥感图像超分辨率重建方法
CN117558288B (zh) 单通道语音增强模型的训练方法、装置、设备及存储介质
CN114998107A (zh) 一种图像盲超分辨网络模型、方法、设备及存储介质
CN111986114B (zh) 一种基于自监督约束的双尺度图像盲去噪方法及系统
CN108122262B (zh) 基于主结构分离的稀疏表示单帧图像超分辨率重建算法
CN116819615A (zh) 一种地震数据重建方法
CN115205136A (zh) 一种基于傅里叶先验的图像去雨方法
CN112200752B (zh) 一种基于er网络多帧图像去模糊系统及其方法
CN116957940A (zh) 基于轮廓波知识引导网络的多尺度图像超分辨率重建方法
CN116611995B (zh) 一种基于深度展开网络的手写文本图像超分辨率重建方法
CN106056554B (zh) 一种梯度域卷积稀疏编码的磁共振快速成像方法
CN111402173A (zh) 一种混合噪声去除方法、装置、电子设备和存储介质
CN113298232B (zh) 一种基于深度学习神经网络的红外光谱盲自去卷积方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant