CN111986114B - 一种基于自监督约束的双尺度图像盲去噪方法及系统 - Google Patents
一种基于自监督约束的双尺度图像盲去噪方法及系统 Download PDFInfo
- Publication number
- CN111986114B CN111986114B CN202010847027.XA CN202010847027A CN111986114B CN 111986114 B CN111986114 B CN 111986114B CN 202010847027 A CN202010847027 A CN 202010847027A CN 111986114 B CN111986114 B CN 111986114B
- Authority
- CN
- China
- Prior art keywords
- scale
- image
- small
- noise
- self
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000012549 training Methods 0.000 claims abstract description 22
- 238000001228 spectrum Methods 0.000 claims description 21
- 238000009499 grossing Methods 0.000 claims description 15
- 230000009466 transformation Effects 0.000 claims description 11
- 238000004321 preservation Methods 0.000 claims description 9
- 238000005259 measurement Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 description 8
- 238000012360 testing method Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 101150064138 MAP1 gene Proteins 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 101150077939 mapA gene Proteins 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于自监督约束的双尺度图像盲去噪方法及系统。该方法包括:根据小尺度的噪声图像和大尺度的噪声图像,构建双尺度的边缘保持自监督约束、双尺度的背景一致性自监督约束和双尺度的结构相似性注意力自监督约束,以各自监督约束为约束条件,根据小尺度的噪声图像数据集和大尺度的噪声图像数据集训练盲去噪网络,通过训练后的盲去噪网络实现噪声图像的自监督去噪。
Description
技术领域
本发明涉及图像去噪技术领域,特别是涉及一种基于自监督约束的双尺度图像盲去噪方法及系统。
背景技术
人们观测到的图像大多都是通过数字成像设备获取的,在成像的过程中由于外部光线和设备内部元器件的干扰,原始清晰图像在传输和压缩的过程中容易遭受噪声的退化,导致观测到的图像往往是噪声图像。因此,图像去噪算法成为当前的一个重要的研究热点。
目前的图像去噪算法主要分为两大类,一类是基于图像先验的传统去噪方法,另一类是基于深度学习的图像去噪方法。传统去噪方法主要涉及到结构自相似性、稀疏表示、字典编码以及马尔科夫随机场等图像先验知识,它们致力于处理特定的加性高斯白噪声,严重依赖于给定的噪声强度,对于未知噪声强度的真实图像泛化性能较差。基于深度学习的图像去噪方法作为目前主流的图像去噪方法已经缓解了传统去噪方法的不足。在给定合成/真实噪声数据集的条件下,基于深度学习的图像去噪方法通过设计合理的卷积神经网络学习噪声的内在统计特性,最终达到去除噪声的目的。
发明内容
基于此,本发明的目的是提供一种基于自监督约束的双尺度图像盲去噪方法及系统,根据噪声图像的不同尺度,构建双尺度的边缘保持自监督约束、双尺度的背景一致性自监督约束和双尺度的结构相似性注意力自监督约束,实现噪声图像的自监督去噪。
为实现上述目的,本发明提供了如下方案:
一种基于自监督约束的双尺度图像盲去噪方法,所述方法包括:
获取噪声图像数据集;
在所述数据集的各噪声图像上随机裁剪设定数量以及设定尺寸的大尺度噪声图像,所述大尺度噪声图像构成大尺度噪声图像数据集;
对各大尺度噪声图像进行设定尺度的下采样得到小尺度噪声图像,所述小尺度噪声图像构成小尺度噪声图像数据集;
根据所述小尺度噪声图像和小尺度去噪图像的梯度和均方误差构建小尺度的边缘保持自监督约束;根据所述大尺度噪声图像和大尺度去噪图像的梯度和均方误差构建大尺度的边缘保持自监督约束;
根据所述小尺度噪声图像和所述小尺度去噪图像的背景一致性构建小尺度的背景一致性自监督约束;根据所述大尺度噪声图像和所述大尺度去噪图像的背景一致性构建大尺度的背景一致性自监督约束;
根据所述小尺度噪声图像和所述小尺度去噪图像的结构相似性构建小尺度的结构相似性注意力自监督约束;根据所述大尺度噪声图像和所述大尺度去噪图像的结构相似性构建大尺度的结构相似性注意力自监督约束;
采用所述大尺度噪声图像数据集和所述小尺度噪声图像数据集,以所述小尺度的边缘保持自监督约束、所述大尺度的边缘保持自监督约束、所述小尺度的背景一致性自监督约束、所述大尺度的背景一致性自监督约束、所述小尺度的结构相似性注意力自监督约束和所述大尺度的结构相似性注意力自监督约束为约束条件,以所述小尺度噪声图像作为盲去噪网络的第一次输入,小尺度去噪图像作为所述盲去噪网络的第一次输出,合并图像作为所述盲去噪网络的第二次输入,大尺度去噪图像为所述盲去噪网络的第二次输出,训练所述盲去噪网络;所述合并图像为所述小尺度去噪图像的放大图和与所述小尺度噪声图像对应的大尺度噪声图像合并后的图像;所述放大图为所述小尺度去噪图像进行所述设定尺度的上采样确定的;
根据训练后的所述盲去噪网络对待去噪的图像进行去噪。
可选地,所述盲去噪网络包括噪声估计子网络和非盲去噪子网络;所述训练盲去噪网络具体包括:
以所述小尺度噪声图像作为噪声估计子网络的第一次输入,所述小尺度噪声图像的噪声强度图和第一去噪图像作为所述噪声估计子网络的第一次输出,所述噪声估计子网络的第一次输出作为非盲去噪子网络的第一次输入,所述小尺度去噪图像作为所述非盲去噪子网络的第一次输出,所述合并图像作为所述噪声估计子网络的第二次输入,所述合并图像的噪声强度图和第二去噪图像作为所述噪声估计子网络的第二次输出,所述噪声估计子网络的第二次输出作为所述非盲去噪子网络的第二次输入,所述大尺度去噪图像为所述非盲去噪子网络的第二次输出;
所述第一去噪图像为所述小尺度噪声图像去除噪声强度后的图像;所述第二去噪图像为所述合并图像去除噪声强度后的图像。
可选地,所述小尺度背景一致性自监督约束的表达式为其中,表示所述小尺度噪声图像,表示所述小尺度去噪图像,表示所述第一噪声强度图,表示重建的小尺度噪声图像,表示对进行高斯模糊操作,表示对进行高斯模糊操作,σ表示进行高斯模糊操作的尺度;
可选地,所述小尺度结构相似性注意力自监督约束的表达式为所述大尺度结构相似性注意力自监督约束的表达式为其中,表示小尺度结构相似性注意力图谱与所述小尺度噪声图像相乘,表示小尺度结构相似性注意力图谱与所述重建的小尺度噪声图像相乘,表示大尺度结构相似性注意力图谱与所述大尺度噪声图像相乘,表示大尺度结构相似性注意力图谱与所述重建的大尺度噪声图像相乘,为小尺度噪声图像对通过结构相似性度量函数生成的结构相似性图谱后进行高斯变换确定的,为大尺度噪声图像对通过结构相似性度量函数生成的结构相似性图谱后进行高斯变换确定的。
一种基于自监督约束的双尺度图像盲去噪系统,所述系统包括:
数据集获取模块,用于获取噪声图像数据集;
大尺度噪声图像数据集确定模块,用于在所述数据集的各噪声图像上随机裁剪设定数量以及设定尺寸的大尺度噪声图像,所述大尺度噪声图像构成大尺度噪声图像数据集;
小尺度噪声图像数据集确定模块,用于对各大尺度噪声图像进行设定尺度的下采样得到小尺度噪声图像,所述小尺度噪声图像构成小尺度噪声图像数据集;
边缘保持自监督约束确定模块,用于根据所述小尺度噪声图像和小尺度去噪图像的梯度和均方误差构建小尺度的边缘保持自监督约束;根据所述大尺度噪声图像和大尺度去噪图像的梯度和均方误差构建大尺度的边缘保持自监督约束;
背景一致性自监督约束确定模块,用于根据所述小尺度噪声图像和所述小尺度去噪图像的背景一致性构建小尺度的背景一致性自监督约束;根据所述大尺度噪声图像和所述大尺度去噪图像的背景一致性构建大尺度的背景一致性自监督约束;
结构相似性注意力自监督约束确定模块,用于根据所述小尺度噪声图像和所述小尺度去噪图像的结构相似性构建小尺度的结构相似性注意力自监督约束;根据所述大尺度噪声图像和所述大尺度去噪图像的结构相似性构建大尺度的结构相似性注意力自监督约束;
盲去噪网络训练模块,用于采用所述大尺度噪声图像数据集和所述小尺度噪声图像数据集,以所述小尺度的边缘保持自监督约束、所述大尺度的边缘保持自监督约束、所述小尺度的背景一致性自监督约束、所述大尺度的背景一致性自监督约束、所述小尺度的结构相似性注意力自监督约束和所述大尺度的结构相似性注意力自监督约束为约束条件,以所述小尺度噪声图像作为盲去噪网络的第一次输入,小尺度去噪图像作为所述盲去噪网络的第一次输出,合并图像作为所述盲去噪网络的第二次输入,大尺度去噪图像为所述盲去噪网络的第二次输出,训练所述盲去噪网络;所述合并图像为所述小尺度去噪图像的放大图和与所述小尺度噪声图像对应的大尺度噪声图像合并后的图像;所述放大图为所述小尺度去噪图像进行所述设定尺度的上采样确定的;
去噪模块,用于根据训练后的所述盲去噪网络对待去噪的图像进行去噪。
可选地,所述盲去噪网络包括噪声估计子网络和非盲去噪子网络;所述训练盲去噪网络具体包括:
以所述小尺度噪声图像作为噪声估计子网络的第一次输入,所述小尺度噪声图像的噪声强度图和第一去噪图像作为所述噪声估计子网络的第一次输出,所述噪声估计子网络的第一次输出作为非盲去噪子网络的第一次输入,所述小尺度去噪图像作为所述非盲去噪子网络的第一次输出,所述合并图像作为所述噪声估计子网络的第二次输入,所述合并图像的噪声强度图和第二去噪图像作为所述噪声估计子网络的第二次输出,所述噪声估计子网络的第二次输出作为所述非盲去噪子网络的第二次输入,所述大尺度去噪图像为所述非盲去噪子网络的第二次输出;
所述第一去噪图像为所述小尺度噪声图像去除噪声强度后的图像;所述第二去噪图像为所述合并图像去除噪声强度后的图像。
可选地,所述小尺度的边缘保持自监督约束的表达式为其中,表示所述小尺度去噪图像,表示所述小尺度噪声图像,表示沿水平方向的梯度算子,表示垂直方向的梯度算子,λ表示第一平滑参数和α表示第二平滑参数,ε为常数;
可选地,所述小尺度背景一致性自监督约束的表达式为其中,表示所述小尺度噪声图像,表示所述小尺度去噪图像,表示所述第一噪声强度图,表示重建的小尺度噪声图像,表示对进行高斯模糊操作,表示对进行高斯模糊操作,σ表示进行高斯模糊操作的尺度;
可选地,所述小尺度结构相似性注意力自监督约束的表达式为所述大尺度结构相似性注意力自监督约束的表达式为其中,表示小尺度结构相似性注意力图谱与所述小尺度噪声图像相乘,表示小尺度结构相似性注意力图谱与所述重建的小尺度噪声图像相乘,表示大尺度结构相似性注意力图谱与所述大尺度噪声图像相乘,表示大尺度结构相似性注意力图谱与所述重建的大尺度噪声图像相乘,为小尺度噪声图像对通过结构相似性度量函数生成的结构相似性图谱后进行高斯变换确定的,为大尺度噪声图像对通过结构相似性度量函数生成的结构相似性图谱后进行高斯变换确定的。
根据本发明提供的具体实施例,本发明公开了以下技术效果:
本发明公开了一种基于自监督约束的双尺度图像盲去噪方法及系统,根据小尺度的噪声图像和大尺度的噪声图像,构建双尺度的边缘保持自监督约束、双尺度的背景一致性自监督约束和双尺度的结构相似性注意力自监督约束,以各自监督约束为约束条件,根据小尺度的噪声图像数据集和大尺度的噪声图像数据集训练盲去噪网络,通过训练后的盲去噪网络实现噪声图像的自监督去噪。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一种基于自监督约束的双尺度图像盲去噪方法流程示意图;
图2为本发明一种基于自监督约束的双尺度图像盲去噪方法原理图;
图3为本发明一种基于自监督约束的双尺度图像盲去噪系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的目的是提供一种基于自监督约束的双尺度图像盲去噪方法及系统,根据噪声图像的不同尺度,构建双尺度的边缘保持自监督约束、双尺度的背景一致性自监督约束和双尺度的结构相似性注意力自监督约束,实现噪声图像的自监督去噪。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1-2所示,本发明公开了一种基于自监督约束的双尺度图像盲去噪方法,包括以下步骤:
步骤101:获取噪声图像数据集。
其中,步骤101中具体包括,下载公开的真实噪声数据集,下载网络包括https://www.eecs.yorku.ca/~kamel/sidd/benchmark.php和https://noise.visinf.tu-darmstadt.de/。真实噪声数据集包括真实噪声训练数据集Dtrain=[I1,I2,…,In-1,In],和真实噪声测试数据集Dtest=[T1,T2,…,Tm-1,Tm],In和Tm表示真实噪声图像。
步骤102:在所述数据集的各噪声图像上随机裁剪设定数量设定尺寸的大尺度噪声图像,所述大尺度噪声图像构成大尺度噪声图像数据集。
步骤103:对各大尺度噪声图像进行设定尺度的下采样得到小尺度噪声图像,所述小尺度噪声图像构成小尺度噪声图像数据集。
步骤104:根据所述小尺度噪声图像和小尺度去噪图像的梯度和均方误差构建小尺度的边缘保持自监督约束;根据所述大尺度噪声图像和大尺度去噪图像的梯度和均方误差构建大尺度的边缘保持自监督约束。
步骤105:根据所述小尺度噪声图像和所述小尺度去噪图像的背景一致性构建小尺度的背景一致性自监督约束;根据所述大尺度噪声图像和所述大尺度去噪图像的背景一致性构建大尺度的背景一致性自监督约束。
步骤106:根据所述小尺度噪声图像和所述小尺度去噪图像的结构相似性构建小尺度的结构相似性注意力自监督约束;根据所述大尺度噪声图像和所述大尺度去噪图像的结构相似性构建大尺度的结构相似性注意力自监督约束。
步骤107:采用所述大尺度噪声图像数据集和所述小尺度噪声图像数据集,以所述小尺度的边缘保持自监督约束、所述大尺度的边缘保持自监督约束、所述小尺度的背景一致性自监督约束、所述大尺度的背景一致性自监督约束、所述小尺度的结构相似性注意力自监督约束和所述大尺度的结构相似性注意力自监督约束为约束条件,以所述小尺度噪声图像作为盲去噪网络的第一次输入,小尺度去噪图像作为所述盲去噪网络的第一次输出,合并图像作为所述盲去噪网络的第二次输入,大尺度去噪图像为所述盲去噪网络的第二次输出,训练所述盲去噪网络;所述合并图像为所述小尺度去噪图像的放大图和与所述小尺度噪声图像对应的大尺度噪声图像合并后的图像;所述放大图为所述小尺度去噪图像进行所述设定尺度的上采样确定的。
其中,步骤107之前,具体还包括:构建双尺度真实图像的盲去噪网络,盲去噪网络包括噪声估计子网络和非盲去噪子网络,每个尺度图像的盲去噪网络均包含一个噪声估计子网络和一个图像非盲去噪子网络,且两个尺度的网络共享相同的参数。
搭建噪声估计子网络,称为Net-E,其网络结构包含20个卷积层{conv(1),…,conv(i),…,conv20};
初始化训练参数集ΘNet-E,初始学习率2e-5,设定图像批处理大小为16,最大迭代次数400次。
搭建图像非盲去噪子网络,称为Net-D,其网络结构是一个内嵌残差密集块的UNet卷积神经网络;
初始化训练参数集ΘNet-D,初始学习率2e-5,设定图像批处理大小为16,最大迭代次数400次。
步骤107具体包括,将小尺度噪声图像输入噪声估计子网络Net-E,输出小尺度噪声图像的噪声强度图和粗略的去噪结果 为小尺度噪声图像减去小尺度噪声图像的噪声强度图后的图像,然后将和一同输入非盲去噪子网络Net-D,Net-D输出学习到的尺寸为的小尺度去噪图像
将尺寸为的小尺度去噪图像进行尺度为2的双线性插值上采样得到尺寸为H×W的图像与大尺度的噪声图像合并后一同输入Net-E估计出合并图像的噪声强度图和粗略的去噪结果为合并图像减去合并图像的噪声强度图后的图像,然后将和输入Net-D,输出学习到的尺寸为H×W大尺度去噪图像
步骤104具体包括:使用小尺度去噪图像与其输入噪声图像借助均方误差和图像全变分先验为小尺度图像去噪分支构造出一种边缘保持自监督约束其中是小尺度分支的边缘保持自监督约束函数,和分别表示沿水平方向和竖直方向的梯度算子,参数λ和α是可以调节的平滑参数,λ为第一平滑参数,α为第二平滑参数,ε是一个极小常量。
然后,提出背景指导模块BGM,对小尺度和大尺度网络的输入噪声图像对和重建噪声图像对分别进行尺度为σ=3,5,9的高斯模糊操作Bσ(·)后再计算梯度误差和以此构造小尺度图像去噪分支的背景一致性自监督约束和大尺度图像去噪分支的背景一致性自监督约束
步骤106具体包括:首先得到两个尺度的重建噪声图像和然后,提出结构相似性注意力机制SAM,使用尺寸分别为H×W和的两个尺度的输入噪声图像对和重建噪声图像对分别通过结构相似性度量函数SSIM生成结构相似性图谱和
接下来使用高斯函数对这两个结构相似性图谱进行高斯变换得到对应的结构相似性注意力图谱和最后与噪声图像对和进行元素间的乘法得到特征重组的噪声图像对和以此借助均方误差和分别构造小尺度和大尺度去噪分支的结构相似性注意力自监督约束和
使用上述三种双尺度的自监督约束条件同时约束网络(也可以说成“同时对网络进行训练”),即对网络进行训练,不断更新网络Net-E和Net-D的参数,参数涉及权重、梯度和偏置,直至训练到最大迭代数,至此模型训练完成。
图2中x表示小尺度噪声图像,yS表示小尺度噪声图像的噪声强度图,yD表示第一去噪图像,y表示小尺度去噪图像,y*=y+yS,表示重建的小尺度噪声图像。表示小尺度去噪图像的放大图与大尺度噪声图像的合并图像,表示大尺度噪声图像的噪声强度图,表示第二去噪图像,表示大尺度去噪图像,表示重建的大尺度噪声图像。
步骤108:根据训练后的所述盲去噪网络对待去噪的图像进行去噪。
本发明还提供了一种基于自监督约束的双尺度图像盲去噪系统,包括:
数据集获取模块201,用于获取噪声图像数据集;
大尺度噪声图像数据集确定模块202,用于在所述数据集的各噪声图像上随机裁剪设定数量设定尺寸的大尺度噪声图像,所述大尺度噪声图像构成大尺度噪声图像数据集;
小尺度噪声图像数据集确定模块203,用于对各大尺度噪声图像进行设定尺度的下采样得到小尺度噪声图像,所述小尺度噪声图像构成小尺度噪声图像数据集;
边缘保持自监督约束确定模块204,用于根据所述小尺度噪声图像和小尺度去噪图像的梯度和均方误差构建小尺度的边缘保持自监督约束;根据所述大尺度噪声图像和大尺度去噪图像的梯度和均方误差构建大尺度的边缘保持自监督约束;
背景一致性自监督约束确定模块205,用于根据所述小尺度噪声图像和所述小尺度去噪图像的背景一致性构建小尺度的背景一致性自监督约束;根据所述大尺度噪声图像和所述大尺度去噪图像的背景一致性构建大尺度的背景一致性自监督约束;
结构相似性注意力自监督约束确定模块206,用于根据所述小尺度噪声图像和所述小尺度去噪图像的结构相似性构建小尺度的结构相似性注意力自监督约束;根据所述大尺度噪声图像和所述大尺度去噪图像的结构相似性构建大尺度的结构相似性注意力自监督约束;
盲去噪网络训练模块207,用于采用所述大尺度噪声图像数据集和所述小尺度噪声图像数据集,以所述小尺度的边缘保持自监督约束、所述大尺度的边缘保持自监督约束、所述小尺度的背景一致性自监督约束、所述大尺度的背景一致性自监督约束、所述小尺度的结构相似性注意力自监督约束和所述大尺度的结构相似性注意力自监督约束为约束条件,以所述小尺度噪声图像作为盲去噪网络的第一次输入,小尺度去噪图像作为所述盲去噪网络的第一次输出,合并图像作为所述盲去噪网络的第二次输入,大尺度去噪图像为所述盲去噪网络的第二次输出,训练所述盲去噪网络;所述合并图像为所述小尺度去噪图像的放大图和与所述小尺度噪声图像对应的大尺度噪声图像合并后的图像;所述放大图为所述小尺度去噪图像进行所述设定尺度的上采样确定的;
去噪模块208,用于根据训练后的所述盲去噪网络对待去噪的图像进行去噪。
所述盲去噪网络包括噪声估计子网络和非盲去噪子网络;所述训练盲去噪网络具体包括:
以所述小尺度噪声图像作为噪声估计子网络的第一次输入,所述小尺度噪声图像的噪声强度图和第一去噪图像作为所述噪声估计子网络的第一次输出,所述噪声估计子网络的第一次输出作为非盲去噪子网络的第一次输入,所述小尺度去噪图像作为所述非盲去噪子网络的第一次输出,所述合并图像作为所述噪声估计子网络的第二次输入,所述合并图像的噪声强度图和第二去噪图像作为所述噪声估计子网络的第二次输出,所述噪声估计子网络的第二次输出作为所述非盲去噪子网络的第二次输入,所述大尺度去噪图像为所述非盲去噪子网络的第二次输出;
所述第一去噪图像为所述小尺度噪声图像去除噪声强度后的图像;所述第二去噪图像为所述合并图像去除噪声强度后的图像。
所述小尺度背景一致性自监督约束的表达式为其中,表示所述小尺度噪声图像,表示所述小尺度去噪图像,表示所述第一噪声强度图,表示重建的小尺度噪声图像,表示对进行高斯模糊操作,表示对进行高斯模糊操作,σ表示进行高斯模糊操作的尺度;
所述小尺度结构相似性注意力自监督约束的表达式为所述大尺度结构相似性注意力自监督约束的表达式为其中,表示小尺度结构相似性注意力图谱与所述小尺度噪声图像相乘,表示小尺度结构相似性注意力图谱与所述重建的小尺度噪声图像相乘,表示大尺度结构相似性注意力图谱与所述大尺度噪声图像相乘,表示大尺度结构相似性注意力图谱与所述重建的大尺度噪声图像相乘,为小尺度噪声图像对通过结构相似性度量函数生成的结构相似性图谱后进行高斯变换确定的,为大尺度噪声图像对通过结构相似性度量函数生成的结构相似性图谱后进行高斯变换确定的。
本发明涉及一种基于自监督约束的双尺度图像盲去噪方法及系统,根据小尺度的噪声图像和大尺度的噪声图像,构建双尺度的边缘保持自监督约束、双尺度的背景一致性自监督约束和双尺度的结构相似性注意力自监督约束,以各自监督约束为约束条件,根据小尺度的噪声图像数据集和大尺度的噪声图像数据集训练盲去噪网络,通过训练后的盲去噪网络实现噪声图像的自监督去噪。训练后的盲去噪网络能够将输入的一张真实场景下拍摄的噪声图像,复原出清晰的去噪图像。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种基于自监督约束的双尺度图像盲去噪方法,其特征在于,所述方法包括:
获取噪声图像数据集;
在所述数据集的各噪声图像上随机裁剪设定数量以及设定尺寸的大尺度噪声图像,所述大尺度噪声图像构成大尺度噪声图像数据集;
对各大尺度噪声图像进行设定尺度的下采样得到小尺度噪声图像,所述小尺度噪声图像构成小尺度噪声图像数据集;
根据所述小尺度噪声图像和小尺度去噪图像的梯度和均方误差构建小尺度的边缘保持自监督约束;根据所述大尺度噪声图像和大尺度去噪图像的梯度和均方误差构建大尺度的边缘保持自监督约束;
根据所述小尺度噪声图像和重建的小尺度噪声图像的背景一致性构建小尺度的背景一致性自监督约束;根据所述大尺度噪声图像和重建的大尺度噪声图像的背景一致性构建大尺度的背景一致性自监督约束;
根据所述小尺度噪声图像和所述小尺度去噪图像的结构相似性构建小尺度的结构相似性注意力自监督约束;根据所述大尺度噪声图像和所述大尺度去噪图像的结构相似性构建大尺度的结构相似性注意力自监督约束;
采用所述大尺度噪声图像数据集和所述小尺度噪声图像数据集,以所述小尺度的边缘保持自监督约束、所述大尺度的边缘保持自监督约束、所述小尺度的背景一致性自监督约束、所述大尺度的背景一致性自监督约束、所述小尺度的结构相似性注意力自监督约束和所述大尺度的结构相似性注意力自监督约束为约束条件,以所述小尺度噪声图像作为盲去噪网络的第一次输入,小尺度去噪图像作为所述盲去噪网络的第一次输出,合并图像作为所述盲去噪网络的第二次输入,大尺度去噪图像为所述盲去噪网络的第二次输出,训练所述盲去噪网络;所述合并图像为所述小尺度去噪图像的放大图和与所述小尺度噪声图像对应的大尺度噪声图像合并后的图像;所述放大图为所述小尺度去噪图像进行所述设定尺度的上采样确定的;
根据训练后的所述盲去噪网络对待去噪的图像进行去噪。
2.根据权利要求1所述的基于自监督约束的双尺度图像盲去噪方法,其特征在于,所述盲去噪网络包括噪声估计子网络和非盲去噪子网络;所述训练盲去噪网络具体包括:
以所述小尺度噪声图像作为噪声估计子网络的第一次输入,所述小尺度噪声图像的噪声强度图和第一去噪图像作为所述噪声估计子网络的第一次输出,所述噪声估计子网络的第一次输出作为非盲去噪子网络的第一次输入,所述小尺度去噪图像作为所述非盲去噪子网络的第一次输出,所述合并图像作为所述噪声估计子网络的第二次输入,所述合并图像的噪声强度图和第二去噪图像作为所述噪声估计子网络的第二次输出,所述噪声估计子网络的第二次输出作为所述非盲去噪子网络的第二次输入,所述大尺度去噪图像为所述非盲去噪子网络的第二次输出;
所述第一去噪图像为所述小尺度噪声图像去除噪声强度后的图像;所述第二去噪图像为所述合并图像去除噪声强度后的图像。
6.一种基于自监督约束的双尺度图像盲去噪系统,其特征在于,所述系统包括:
数据集获取模块,用于获取噪声图像数据集;
大尺度噪声图像数据集确定模块,用于在所述数据集的各噪声图像上随机裁剪设定数量以及设定尺寸的大尺度噪声图像,所述大尺度噪声图像构成大尺度噪声图像数据集;
小尺度噪声图像数据集确定模块,用于对各大尺度噪声图像进行设定尺度的下采样得到小尺度噪声图像,所述小尺度噪声图像构成小尺度噪声图像数据集;
边缘保持自监督约束确定模块,用于根据所述小尺度噪声图像和小尺度去噪图像的梯度和均方误差构建小尺度的边缘保持自监督约束;根据所述大尺度噪声图像和大尺度去噪图像的梯度和均方误差构建大尺度的边缘保持自监督约束;
背景一致性自监督约束确定模块,用于根据所述小尺度噪声图像和所述小尺度去噪图像的背景一致性构建小尺度的背景一致性自监督约束;根据所述大尺度噪声图像和所述大尺度去噪图像的背景一致性构建大尺度的背景一致性自监督约束;
结构相似性注意力自监督约束确定模块,用于根据所述小尺度噪声图像和所述小尺度去噪图像的结构相似性构建小尺度的结构相似性注意力自监督约束;根据所述大尺度噪声图像和所述大尺度去噪图像的结构相似性构建大尺度的结构相似性注意力自监督约束;
盲去噪网络训练模块,用于采用所述大尺度噪声图像数据集和所述小尺度噪声图像数据集,以所述小尺度的边缘保持自监督约束、所述大尺度的边缘保持自监督约束、所述小尺度的背景一致性自监督约束、所述大尺度的背景一致性自监督约束、所述小尺度的结构相似性注意力自监督约束和所述大尺度的结构相似性注意力自监督约束为约束条件,以所述小尺度噪声图像作为盲去噪网络的第一次输入,小尺度去噪图像作为所述盲去噪网络的第一次输出,合并图像作为所述盲去噪网络的第二次输入,大尺度去噪图像为所述盲去噪网络的第二次输出,训练所述盲去噪网络;所述合并图像为所述小尺度去噪图像的放大图和与所述小尺度噪声图像对应的大尺度噪声图像合并后的图像;所述放大图为所述小尺度去噪图像进行所述设定尺度的上采样确定的;
去噪模块,用于根据训练后的所述盲去噪网络对待去噪的图像进行去噪。
7.根据权利要求6所述的基于自监督约束的双尺度图像盲去噪系统,其特征在于,所述盲去噪网络包括噪声估计子网络和非盲去噪子网络;所述训练盲去噪网络具体包括:
以所述小尺度噪声图像作为噪声估计子网络的第一次输入,所述小尺度噪声图像的噪声强度图和第一去噪图像作为所述噪声估计子网络的第一次输出,所述噪声估计子网络的第一次输出作为非盲去噪子网络的第一次输入,所述小尺度去噪图像作为所述非盲去噪子网络的第一次输出,所述合并图像作为所述噪声估计子网络的第二次输入,所述合并图像的噪声强度图和第二去噪图像作为所述噪声估计子网络的第二次输出,所述噪声估计子网络的第二次输出作为所述非盲去噪子网络的第二次输入,所述大尺度去噪图像为所述非盲去噪子网络的第二次输出;
所述第一去噪图像为所述小尺度噪声图像去除噪声强度后的图像;所述第二去噪图像为所述合并图像去除噪声强度后的图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010847027.XA CN111986114B (zh) | 2020-08-21 | 2020-08-21 | 一种基于自监督约束的双尺度图像盲去噪方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010847027.XA CN111986114B (zh) | 2020-08-21 | 2020-08-21 | 一种基于自监督约束的双尺度图像盲去噪方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111986114A CN111986114A (zh) | 2020-11-24 |
CN111986114B true CN111986114B (zh) | 2021-07-16 |
Family
ID=73443845
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010847027.XA Active CN111986114B (zh) | 2020-08-21 | 2020-08-21 | 一种基于自监督约束的双尺度图像盲去噪方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111986114B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112634159B (zh) * | 2020-12-23 | 2022-07-26 | 中国海洋大学 | 基于盲噪声估计的高光谱图像去噪方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101651643B (zh) * | 2009-09-18 | 2013-01-02 | 南京信息工程大学 | 基于空间分集的小波神经网络盲均衡方法 |
CN108182657A (zh) * | 2018-01-26 | 2018-06-19 | 深圳市唯特视科技有限公司 | 一种基于循环生成对抗网络的面部图像转换方法 |
US10699465B1 (en) * | 2018-12-28 | 2020-06-30 | Intel Corporation | Cluster of scalar engines to accelerate intersection in leaf node |
-
2020
- 2020-08-21 CN CN202010847027.XA patent/CN111986114B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN111986114A (zh) | 2020-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Brifman et al. | Turning a denoiser into a super-resolver using plug and play priors | |
CN109035142B (zh) | 一种对抗网络结合航拍图像先验的卫星图像超分辨方法 | |
CN112419184B (zh) | 一种综合局部信息和全局信息的空间注意力图像去噪方法 | |
CN112150354B (zh) | 联合轮廓增强与去噪统计先验的单幅图像超分辨率方法 | |
CN111007566B (zh) | 一种曲率驱动扩散全卷积网络地震数据坏道重建与去噪方法 | |
CN114723631B (zh) | 基于深度上下文先验与多尺度重建子网络的图像去噪方法、系统及装置 | |
Thakur et al. | Agsdnet: Attention and gradient-based sar denoising network | |
CN106169174B (zh) | 一种图像放大方法 | |
CN114494015B (zh) | 基于盲超分辨率网络的图像重建方法 | |
CN107154064A (zh) | 基于深度稀疏编码的自然图像压缩感知重建方法 | |
CN105488759A (zh) | 一种基于局部回归模型的图像超分辨率重建方法 | |
CN115526779A (zh) | 一种基于动态注意力机制的红外图像超分辨率重建方法 | |
CN117114984A (zh) | 基于生成对抗网络的遥感图像超分辨率重建方法 | |
CN117558288B (zh) | 单通道语音增强模型的训练方法、装置、设备及存储介质 | |
CN114998107A (zh) | 一种图像盲超分辨网络模型、方法、设备及存储介质 | |
CN111986114B (zh) | 一种基于自监督约束的双尺度图像盲去噪方法及系统 | |
CN108122262B (zh) | 基于主结构分离的稀疏表示单帧图像超分辨率重建算法 | |
CN116819615A (zh) | 一种地震数据重建方法 | |
CN115205136A (zh) | 一种基于傅里叶先验的图像去雨方法 | |
CN112200752B (zh) | 一种基于er网络多帧图像去模糊系统及其方法 | |
CN116957940A (zh) | 基于轮廓波知识引导网络的多尺度图像超分辨率重建方法 | |
CN116611995B (zh) | 一种基于深度展开网络的手写文本图像超分辨率重建方法 | |
CN106056554B (zh) | 一种梯度域卷积稀疏编码的磁共振快速成像方法 | |
CN111402173A (zh) | 一种混合噪声去除方法、装置、电子设备和存储介质 | |
CN113298232B (zh) | 一种基于深度学习神经网络的红外光谱盲自去卷积方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |