CN116385281A - 一种基于真实噪声模型与生成对抗网络的遥感图像去噪方法 - Google Patents
一种基于真实噪声模型与生成对抗网络的遥感图像去噪方法 Download PDFInfo
- Publication number
- CN116385281A CN116385281A CN202310112508.XA CN202310112508A CN116385281A CN 116385281 A CN116385281 A CN 116385281A CN 202310112508 A CN202310112508 A CN 202310112508A CN 116385281 A CN116385281 A CN 116385281A
- Authority
- CN
- China
- Prior art keywords
- image
- network
- remote sensing
- noise
- representing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000012549 training Methods 0.000 claims abstract description 26
- 238000012360 testing method Methods 0.000 claims abstract description 13
- 230000006870 function Effects 0.000 claims description 32
- 238000000605 extraction Methods 0.000 claims description 16
- 230000004913 activation Effects 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 9
- 230000014509 gene expression Effects 0.000 claims description 7
- 230000015556 catabolic process Effects 0.000 claims description 6
- 238000006731 degradation reaction Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 238000009826 distribution Methods 0.000 claims description 5
- 230000008447 perception Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Facsimiles In General (AREA)
Abstract
本发明提供一种基于真实噪声模型与生成对抗网络的遥感图像去噪方法，包括：读取原始遥感图像数据集，建立用于训练遥感图像去噪的生成对抗网络的数据集，并将数据集分为训练集与测试集；根据遥感图像数据集设计噪声模型，构建LR‑HR图像训练对；构建生成器网络，将LR图像输入到生成器网络，生成估计的低噪声图像；构建判别器网络，将生成器预测的HR图像(G(ILR))输入到判别器中进行判别，使用损失函数计算判别结果，并以反向传播的形式更新生成器网络和判别器网络的权重参数，在经过迭代后得到训练后的生成网络模型；最小化损失函数；利用训练好的生成器网络对测试集中的遥感图像去噪，将测试集中的遥感图像输入生成器网络得到去噪后的清晰遥感图像。
Description
技术领域
本发明涉及遥感图像去噪技术领域，具体而言，尤其涉及一种基于真实噪声模型与生成对抗网络的遥感图像去噪方法。
背景技术
利用卫星与飞机捕获的遥感图像在环境调查、灾害监测和智能测绘等应用中发挥着重要作用。噪声是阻碍遥感影像(remote sensing images，RSI)应用的最重要因素之一，这是由于高性能成像系统的编码、传输以及太空中恶劣的成像条件极大的降低了真实的RSI质量。在真实世界中，RSI的质量取决于诸如照明、大气、成像传感器响应和信号处理等多种因素，在理想数据集上的训练会导致面对真实的RSI时的性能下降。
遥感图像去噪方法在过去的几十年中构成了一个具有挑战性的研究方向，并且仍然是一个热门的研究领域。许多算法已被提出并应用于遥感图像处理，根据不同的原理，可以分为传统的图像去噪算法和深度学习的图像去噪算法。传统的遥感图像去噪可以分为基于滤波的去噪算法和基于统计学的方法：
基于过滤器的算法是通过对含噪图像进行局部平滑来保留信息，通过计算含噪图像像素与周围像素的关系来消除噪声。但这种方法通常会导致图像中出现边界效应，而且，由于这些方法计算效率高，往往会导致图像的过度平滑，不利于保留源图像的细节信息。
基于统计学习的方法用于学习自然图像、噪声图像和噪声信号的统计属性，并融合空间和变换域方法来对图像进行去噪，重点在于使用学习机制来确定诸如原始模型滤波器核大小和尺度变换阈值的参数，主要使用决策树和贝叶斯估计等算法模型，但计算复杂度高，去噪时间过长。
近年来，随着计算机并行处理能力的提高，深度学习技术在遥感图像去噪领域逐渐开始发挥作用。基于深度学习的方法是通过学习大量数据获得先验知识，从而将含噪图像映射到真实图像上，实现去噪功能。这类方法在仅使用下采样的方式处理图像数据集并用于网络训练就可以取得较好的效果。但也正是由于噪声模型通常是基于下采样的训练集没有充分考虑遥感图像的复杂特征，提取的图像特征不丰富、不充分，导致其模型均存在特征提取能力不足、去噪效果不稳定的问题。
发明内容
根据上述提出的技术问题，提供一种基于真实噪声模型与生成对抗网络的遥感图像去噪方法。本发明根据遥感图像中存在的噪声类型，建立了更适用于实际成像的退化模型，来构建一个更加真实的对比训练数据集。对于图像重建网络，本发明设计了一个新的生成对抗网络，并通过深层特征提取进行真假判别。最终在真实的RSI数据集上重建出具有优秀质量的低噪声遥感图像。
本发明采用的技术手段如下：
一种基于真实噪声模型与生成对抗网络的遥感图像去噪方法，包括：
读取原始遥感图像数据集，建立用于训练遥感图像去噪的生成对抗网络的数据集，并将数据集分为训练集与测试集；
根据遥感图像数据集设计噪声模型，用于从训练集中生成真实的LR图像，并构建LR-HR图像训练对；
构建生成器网络，将LR图像输入到生成器网络，生成估计的低噪声图像；
构建判别器网络，将生成器预测的HR图像(G(ILR))输入到判别器中进行判别，使用损失函数计算判别结果，并以反向传播的形式更新生成器网络和判别器网络的权重参数，在经过迭代后得到训练后的生成网络模型；
最小化损失函数，基于真实噪声模型与生成对抗网络的遥感图像去噪方法的损失函数主要包括像素损失、感知损失和对抗损失；
利用训练好的生成器网络对测试集中的遥感图像去噪，将测试集中的遥感图像输入生成器网络得到去噪后的清晰遥感图像。
进一步地，所述根据遥感图像数据集设计噪声模型，其建模过程如下：
IHR＝(Ireal)↓s1
ILR＝(IHR)↓s2+n
其中，Ireal表示训练数据集中真实的RSI，IHR表示对真实RSI下采样生成的干净HR图像，ILR表示合成的真实LR图像，s1和s2分别表示HR和LR图像的下采样尺度，n代表噪声；
将噪声从图像中分离出来，表达式如下：
σ(ni)＜v
其中，σ表示计算方差，v为方差的最大值，ni为减去均值后的图像噪声补丁；
将噪声补丁序列{n1,n2…ni}随机加入到退化图像中，使噪声模式多样化，从而获取用于训练遥感图像去噪的生成对抗网络的噪声图像，与干净的HR图像组成LR-HR遥感图像对。
进一步地，所述构建生成器网络，将LR图像输入到生成器网络，生成估计的低噪声图像，包括：
学习具有噪声的遥感图像到干净的遥感图像的映射函数，关系表达式如下：
y＝G(x)
其中，x表示由噪声模型退化得到的LR图像，y表示由生成器通过学习估计得到的HR图像；
构建的生成器网络使用编码器-解码器结构，具体如下：
在编码器中，包含了两个单独的步长为1的3×3卷积层，三个密集残差模块和一个注意力平衡模块；每个密集残差模块由5个卷积层与每两个卷积层之间的ReLU层组成；注意力平衡模块包含了通道注意力和空间注意力两条路径；在通道注意力路径中，C×H×W特征图被平均池化层转换为C×1×1的通道特征图；然后通过两个1×1卷积层和一个ReLU激活层生成通道特征图，由Sigmoid层将其转换为通道输出权向量；在空间注意力路径中，输入C×H×W特征图被最大池化层转换为1×H×W的空间特征图，由步长为1的7×7卷积层和Sigmoid层将特征图转换为空间输出权向量；最后，将两个输出权向量与输入特征图相乘，得到图像的注意力特征；
在解码器中，使用3×3卷积层与PixelShuffle层的组合对特征图上采样，最终由步长为1的3×3卷积层输出预测的HR图像。
进一步地，所述构建判别器网络，将生成器预测的HR图像(G(ILR))输入到判别器中进行判别，使用损失函数计算判别结果，并以反向传播的形式更新生成器网络和判别器网络的权重参数，在经过迭代后得到训练后的生成网络模型，包括：
输入图像通过步长为1的3×3卷积层与LeakyReLU层进行浅层特征提取；
通过3个特征提取块，进行高级特征提取，每个特征提取块由一个步长为2的4×4卷积层、一个LeakyReLU激活和一个批归一化层组成；
提取到的多维高级特征通过Flatten转换为一维特征，最后由Sigmoid激活函数进行生成图像的真假判别。
进一步地，所述最小化损失函数，包括：
总损失的表达式如下：
Ltotal＝αLpixel+βLperceptual+γLadversarial
Lpixel表示生成图像G(LR)与HR图像的像素损失，定义如下：
其中，C、H、W分别为特征图的通道号、高度和宽度，G(ILR)表示生成器生成的预测图像，IHR表示干净图像；
Lperceptual表示生成图像G(ILR)与HR图像在特征空间上的损失，定义如下：
其中，fVGG()为VGG网络的特征映射函数；
Ladversarial表示将生成器的损失最小化，将判别器的损失最大化，定义如下：
其中，E代表期望值，IHR表示干净的图像，P表示图像的像素分布，ILR表示输入的噪声图像，G(ILR)表示生成器由输入的噪声图像生成的干净的预测图像，D表示判别其网络对生成的预测图像与干净图像的判别结果；
表示最小化生成器网络的损失函数，/>
表示最大化判别器网络的损失函数。
较现有技术相比，本发明具有以下优点：
1、本发明提供的基于真实噪声模型与生成对抗网络的遥感图像去噪方法，针对遥感图像的噪声基于噪声补丁进行建模，使用密集残差结构与注意力平衡模块来提升网络性能与图像去噪表现，通过以浅层特征与深层特征提取对生成图像进行真假判别，显著提升了最终的输出图像质量，提供了一种优秀的遥感图像去噪方法。
2、本发明提供的基于真实噪声模型与生成对抗网络的遥感图像去噪方法，模拟真实的遥感图像退化，对数据集中的噪声斑块进行估计，建立了一个适用于真实遥感成像的噪声模型。
3、本发明提供的基于真实噪声模型与生成对抗网络的遥感图像去噪方法，开发了一个新的生成器模型来执行遥感图像的去噪任务，使用密集残差结构作为主干生成器网络，在保留了特征图跳跃连接的同时，提升了特征的可重用性，大幅减少了网络参数。并利用注意力机制，按照特征的通道与空间位置来分配权重，使特征与全局信息关联，提高网络性能。
4、本发明提供的基于真实噪声模型与生成对抗网络的遥感图像去噪方法，设计了特征提取网络作为生成图像的鉴别器，结合对抗损失、像素损失和感知损失，计算每个像素的真实度，对遥感图像的细节纹理产生精确的梯度反馈。
基于上述理由本发明可在遥感图像去噪等领域广泛推广。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明方法流程图。
图2为本发明生成器网络示意图。
图3为本发明判别器网络示意图。
图4为本发明实施例提供的噪声测试图像。
图5为本发明实施例提供的去噪图像结果。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。同时，应当清楚，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员己知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任向具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
在本发明的描述中，需要理解的是，方位词如“前、后、上、下、左、右”、“横向、竖向、垂直、水平”和“顶、底”等所指示的方位或位置关系通常是基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，在未作相反说明的情况下，这些方位词并不指示和暗示所指的装置或元件必须具有特定的方位或者以特定的方位构造和操作，因此不能理解为对本发明保护范围的限制：方位词“内、外”是指相对于各部件本身的轮廓的内外。
为了便于描述，在这里可以使用空间相对术语，如“在……之上”、“在……上方”、“在……上表面”、“上面的”等，用来描述如在图中所示的一个器件或特征与其他器件或特征的空间位置关系。应当理解的是，空间相对术语旨在包含除了器件在图中所描述的方位之外的在使用或操作中的不同方位。例如，如果附图中的器件被倒置，则描述为“在其他器件或构造上方”或“在其他器件或构造之上”的器件之后将被定位为“在其他器件或构造下方”或“在其位器件或构造之下”。因而，示例性术语“在……上方”可以包括“在……上方”和“在……下方”两种方位。该器件也可以其他不同方式定位(旋转90度或处于其他方位)，并且对这里所使用的空间相对描述作出相应解释。
此外，需要说明的是，使用“第一”、“第二”等词语来限定零部件，仅仅是为了便于对相应零部件进行区别，如没有另行声明，上述词语并没有特殊含义，因此不能理解为对本发明保护范围的限制。
如图1所示，本发明提供了一种基于真实噪声模型与生成对抗网络的遥感图像去噪方法，包括：
S1、读取原始遥感图像数据集，建立用于训练遥感图像去噪的生成对抗网络的数据集，并将数据集分为训练集与测试集；在本实施例中，采用双三次插值下采样法与噪声补偿对源数据集中的图像进行处理，并将每个处理后的图像与源数据集中的图像对应起来，构成所述数据集。
S2、根据遥感图像数据集设计噪声模型，用于从训练集中生成真实的LR图像，并构建LR-HR图像训练对；在本实施例中，RSI的噪声包括不同种类的成像噪声与JPEG压缩噪声。成像噪声是由传感器在图像捕获过程中不期望的响应引起的。不同因素引起的成像噪声满足不同的统计分布，如高斯分布和泊松分布。由于卫星或飞机的下载带宽有限，RSIs通常采用JPEG算法进行压缩；然而，JPEG压缩会丢失高频信息并引入不必要的伪影。收集了数据集中的噪声模式，并随机用于生成真实的LR图像，并构建LR-HR训练对数据集。
具体实施时，作为本发明优选的实施方式，所述根据遥感图像数据集设计噪声模型，其建模过程如下：
IHR＝(Ireal)↓s1
ILR＝(IHR)↓s2+n
其中，Ireal表示训练数据集中真实的RSI，IHR表示对真实RSI下采样生成的干净HR图像，ILR表示合成的真实LR图像，s1和s2分别表示HR和LR图像的下采样尺度，n代表噪声；
将噪声从图像中分离出来，表达式如下：
σ(ni)＜v
其中，σ表示计算方差，v为方差的最大值，ni为减去均值后的图像噪声补丁；
将噪声补丁序列{n1,n2…ni}随机加入到退化图像中，使噪声模式多样化，从而获取用于训练遥感图像去噪的生成对抗网络的噪声图像，与干净的HR图像组成LR-HR遥感图像对。
S3、构建生成器网络，将LR图像输入到生成器网络，生成估计的低噪声图像；在本实施例中，生成器网络包括编码器与解码器，编码器主要由密集残差模块与注意力模块组成，能够有效提取输入图像的特征信息，并通过给特征图分配权重来强调通道或空间位置之间的相关性和重要性。解码器部分由一个上采样器和一个卷积层组成，完成遥感图像的重构工作，其中上采样器用于将特征映射从LR空间上升到HR空间，最后由位于上采样器之后的卷积层将特征映射转换为遥感图像输出。
具体实施时，作为本发明优选的实施方式，所述构建生成器网络，将LR图像输入到生成器网络，生成估计的低噪声图像，包括：
学习具有噪声的遥感图像到干净的遥感图像的映射函数，关系表达式如下：
y＝G(x)
其中，x表示由噪声模型退化得到的LR图像，y表示由生成器通过学习估计得到的HR图像；
构建的生成器网络使用编码器-解码器结构，生成器网络结构如图2所示，具体如下：
在编码器中，包含了两个单独的步长为1的3×3卷积层，三个密集残差模块和一个注意力平衡模块；每个密集残差模块由5个卷积层与每两个卷积层之间的ReLU层组成；注意力平衡模块包含了通道注意力和空间注意力两条路径；在通道注意力路径中，C×H×W特征图被平均池化层转换为C×1×1的通道特征图；然后通过两个1×1卷积层和一个ReLU激活层生成通道特征图，由Sigmoid层将其转换为通道输出权向量；在空间注意力路径中，输入C×H×W特征图被最大池化层转换为1×H×W的空间特征图，由步长为1的7×7卷积层和Sigmoid层将特征图转换为空间输出权向量；最后，将两个输出权向量与输入特征图相乘，得到图像的注意力特征；
在解码器中，使用3×3卷积层与PixelShuffle层的组合对特征图上采样，最终由步长为1的3×3卷积层输出预测的HR图像。
S4、构建判别器网络，将生成器预测的HR图像(G(ILR))输入到判别器中进行判别，使用损失函数计算判别结果，并以反向传播的形式更新生成器网络和判别器网络的权重参数，在经过迭代后得到训练后的生成网络模型；
具体实施时，作为本发明优选的实施方式，判别器网络结构如图3所示，所述构建判别器网络，将生成器预测的HR图像(G(ILR))输入到判别器中进行判别，使用损失函数计算判别结果，并以反向传播的形式更新生成器网络和判别器网络的权重参数，在经过迭代后得到训练后的生成网络模型，包括：
输入图像通过步长为1的3×3卷积层与LeakyReLU层进行浅层特征提取；
通过3个特征提取块，进行高级特征提取，每个特征提取块由一个步长为2的4×4卷积层、一个LeakyReLU激活和一个批归一化层组成；
提取到的多维高级特征通过Flatten转换为一维特征，最后由Sigmoid激活函数进行生成图像的真假判别。
S5、最小化损失函数，基于真实噪声模型与生成对抗网络的遥感图像去噪方法的损失函数主要包括像素损失、感知损失和对抗损失；在本实施例中，对抗损失函数为相对对抗损失；像素损失是衡量HR图像与网络输出图像之间的像素级差异；感知损失是使用与训练的VGG19网络提取的特征来测量两幅图像之间的差异，它能够从输入图像中提取高级语义信息，这有助于提高网络输出图像的质量。
具体实施时，作为本发明优选的实施方式，所述最小化损失函数，包括：
总损失的表达式如下：
Ltotal＝αLpixel+βLperceptual+γLadversarial
Lpixel表示生成图像G(LR)与HR图像的像素损失，定义如下：
其中，C、H、W分别为特征图的通道号、高度和宽度，G(ILR)表示生成器生成的预测图像，IHR表示干净图像；
Lperceptual表示生成图像G(ILR)与HR图像在特征空间上的损失，定义如下：
其中，fVGG()为VGG网络的特征映射函数；
Ladversarial表示将生成器的损失最小化，将判别器的损失最大化，定义如下：
其中，E代表期望值，IHR表示干净的图像，P表示图像的像素分布，ILR表示输入的噪声图像，G(ILR)表示生成器由输入的噪声图像生成的干净的预测图像，D表示判别其网络对生成的预测图像与干净图像的判别结果；
表示最小化生成器网络的损失函数，/>
表示最大化判别器网络的损失函数。
S6、利用训练好的生成器网络对测试集中的遥感图像去噪，将测试集中的遥感图像输入生成器网络得到去噪后的清晰遥感图像，其结果如图4和图5所示。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (5)
1.一种基于真实噪声模型与生成对抗网络的遥感图像去噪方法，其特征在于，包括：
读取原始遥感图像数据集，建立用于训练遥感图像去噪的生成对抗网络的数据集，并将数据集分为训练集与测试集；
根据遥感图像数据集设计噪声模型，用于从训练集中生成真实的LR图像，并构建LR-HR图像训练对；
构建生成器网络，将LR图像输入到生成器网络，生成估计的低噪声图像；
构建判别器网络，将生成器预测的HR图像(G(ILR))输入到判别器中进行判别，使用损失函数计算判别结果，并以反向传播的形式更新生成器网络和判别器网络的权重参数，在经过迭代后得到训练后的生成网络模型；
最小化损失函数，基于真实噪声模型与生成对抗网络的遥感图像去噪方法的损失函数主要包括像素损失、感知损失和对抗损失；
利用训练好的生成器网络对测试集中的遥感图像去噪，将测试集中的遥感图像输入生成器网络得到去噪后的清晰遥感图像。
2.根据权利要求1所述的基于真实噪声模型与生成对抗网络的遥感图像去噪方法，其特征在于，所述根据遥感图像数据集设计噪声模型，其建模过程如下：
IHR＝(Ireal)↓s1
ILR＝(IHR)↓s2+n
其中，Ireal表示训练数据集中真实的RSI，IHR表示对真实RSI下采样生成的干净HR图像，ILR表示合成的真实LR图像，s1和s2分别表示HR和LR图像的下采样尺度，n代表噪声；
将噪声从图像中分离出来，表达式如下：
σ(ni)＜v
其中，σ表示计算方差，v为方差的最大值，ni为减去均值后的图像噪声补丁；
将噪声补丁序列{n1,n2…ni}随机加入到退化图像中，使噪声模式多样化，从而获取用于训练遥感图像去噪的生成对抗网络的噪声图像，与干净的HR图像组成LR-HR遥感图像对。
3.根据权利要求1所述的基于真实噪声模型与生成对抗网络的遥感图像去噪方法，其特征在于，所述构建生成器网络，将LR图像输入到生成器网络，生成估计的低噪声图像，包括：
学习具有噪声的遥感图像到干净的遥感图像的映射函数，关系表达式如下：
y＝G(x)
其中，x表示由噪声模型退化得到的LR图像，y表示由生成器通过学习估计得到的HR图像；
构建的生成器网络使用编码器-解码器结构，具体如下：
在编码器中，包含了两个单独的步长为1的3×3卷积层，三个密集残差模块和一个注意力平衡模块；每个密集残差模块由5个卷积层与每两个卷积层之间的ReLU层组成；注意力平衡模块包含了通道注意力和空间注意力两条路径；在通道注意力路径中，C×H×W特征图被平均池化层转换为C×1×1的通道特征图；然后通过两个1×1卷积层和一个ReLU激活层生成通道特征图，由Sigmoid层将其转换为通道输出权向量；在空间注意力路径中，输入C×H×W特征图被最大池化层转换为1×H×W的空间特征图，由步长为1的7×7卷积层和Sigmoid层将特征图转换为空间输出权向量；最后，将两个输出权向量与输入特征图相乘，得到图像的注意力特征；
在解码器中，使用3×3卷积层与PixelShuffle层的组合对特征图上采样，最终由步长为1的3×3卷积层输出预测的HR图像。
4.根据权利要求1所述的基于真实噪声模型与生成对抗网络的遥感图像去噪方法，其特征在于，所述构建判别器网络，将生成器预测的HR图像(G(ILR))输入到判别器中进行判别，使用损失函数计算判别结果，并以反向传播的形式更新生成器网络和判别器网络的权重参数，在经过迭代后得到训练后的生成网络模型，包括：
输入图像通过步长为1的3×3卷积层与LeakyReLU层进行浅层特征提取；
通过3个特征提取块，进行高级特征提取，每个特征提取块由一个步长为2的4×4卷积层、一个LeakyReLU激活和一个批归一化层组成；
提取到的多维高级特征通过Flatten转换为一维特征，最后由Sigmoid激活函数进行生成图像的真假判别。
5.根据权利要求1所述的基于真实噪声模型与生成对抗网络的遥感图像去噪方法，其特征在于，所述最小化损失函数，包括：
总损失的表达式如下：
Ltotal＝αLpixel+βLperceptual+γLadversarial
Lpixel表示生成图像G(LR)与HR图像的像素损失，定义如下：
其中，C、H、W分别为特征图的通道号、高度和宽度，G(ILR)表示生成器生成的预测图像，IHR表示干净图像；
Lperceptual表示生成图像G(ILR)与HR图像在特征空间上的损失，定义如下：
其中，fVGG()为VGG网络的特征映射函数；
Ladversarial表示将生成器的损失最小化，将判别器的损失最大化，定义如下：
其中，E代表期望值，IHR表示干净的图像，P表示图像的像素分布，ILR表示输入的噪声图像，G(ILR)表示生成器由输入的噪声图像生成的干净的预测图像，D表示判别其网络对生成的预测图像与干净图像的判别结果；
表示最小化生成器网络的损失函数，/>
表示最大化判别器网络的损失函数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310112508.XA CN116385281A (zh) | 2023-02-14 | 2023-02-14 | 一种基于真实噪声模型与生成对抗网络的遥感图像去噪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310112508.XA CN116385281A (zh) | 2023-02-14 | 2023-02-14 | 一种基于真实噪声模型与生成对抗网络的遥感图像去噪方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116385281A true CN116385281A (zh) | 2023-07-04 |
Family
ID=86960480
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310112508.XA Pending CN116385281A (zh) | 2023-02-14 | 2023-02-14 | 一种基于真实噪声模型与生成对抗网络的遥感图像去噪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116385281A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114757841A (zh) * | 2022-03-30 | 2022-07-15 | 西北核技术研究所 | 一种基于噪声特性的激光诱导荧光图像去噪方法 |
-
2023
- 2023-02-14 CN CN202310112508.XA patent/CN116385281A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114757841A (zh) * | 2022-03-30 | 2022-07-15 | 西北核技术研究所 | 一种基于噪声特性的激光诱导荧光图像去噪方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110378844B (zh) | 基于循环多尺度生成对抗网络的图像盲去运动模糊方法 | |
| CN112001960B (zh) | 基于多尺度残差金字塔注意力网络模型的单目图像深度估计方法 | |
| CN112184577B (zh) | 基于多尺度自注意生成对抗网络的单幅图像去雾方法 | |
| CN105657402B (zh) | 一种深度图恢复方法 | |
| CN112132959B (zh) | 数字岩心图像处理方法、装置、计算机设备及存储介质 | |
| CN110599401A (zh) | 遥感图像超分辨率重建方法、处理装置及可读存储介质 | |
| CN111028177A (zh) | 一种基于边缘的深度学习图像去运动模糊方法 | |
| CN111179189B (zh) | 基于生成对抗网络gan的图像处理方法、装置以及电子设备、存储介质 | |
| CN111160229B (zh) | 基于ssd网络的视频目标检测方法及装置 | |
| CN107767358B (zh) | 一种图像中物体模糊度确定方法和装置 | |
| CN111489304B (zh) | 一种基于注意机制的图像去模糊方法 | |
| CN114897728A (zh) | 图像增强方法、装置、终端设备以及存储介质 | |
| CN116739899A (zh) | 基于saugan网络的图像超分辨率重建方法 | |
| CN116563146A (zh) | 基于可学习曲率图的图像增强方法与系统 | |
| CN113362338A (zh) | 铁轨分割方法、装置、计算机设备和铁轨分割处理系统 | |
| CN112686830A (zh) | 基于图像分解的单一深度图的超分辨率方法 | |
| KR102095444B1 (ko) | 딥러닝 기반의 선형성을 갖는 노이즈 영상 제거 방법 및 장치 | |
| CN116385281A (zh) | 一种基于真实噪声模型与生成对抗网络的遥感图像去噪方法 | |
| CN114529793A (zh) | 一种基于门控循环特征融合的深度图像修复系统及方法 | |
| CN110533575A (zh) | 一种基于异构核的深度残差隐写分析方法 | |
| CN117314751A (zh) | 一种基于生成式对抗网络的遥感图像超分辨率重建方法 | |
| CN116563141A (zh) | 一种基于卷积神经网络的火星表面图像增强方法 | |
| Yufeng et al. | Research on SAR image change detection algorithm based on hybrid genetic FCM and image registration | |
| CN113326847B (zh) | 一种基于全卷积神经网络的遥感图像语义分割方法及装置 | |
| CN115223033A (zh) | 一种合成孔径声呐图像目标分类方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |