CN111553860B - 水色遥感影像的深度学习非邻域均值化处理方法及系统 - Google Patents
水色遥感影像的深度学习非邻域均值化处理方法及系统 Download PDFInfo
- Publication number
- CN111553860B CN111553860B CN202010356718.XA CN202010356718A CN111553860B CN 111553860 B CN111553860 B CN 111553860B CN 202010356718 A CN202010356718 A CN 202010356718A CN 111553860 B CN111553860 B CN 111553860B
- Authority
- CN
- China
- Prior art keywords
- image
- convolution
- layer
- processing
- local mean
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 38
- 238000012935 Averaging Methods 0.000 title claims abstract description 37
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 36
- 238000003672 processing method Methods 0.000 title claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 75
- 238000013528 artificial neural network Methods 0.000 claims abstract description 37
- 238000004364 calculation method Methods 0.000 claims abstract description 7
- 238000000034 method Methods 0.000 claims description 39
- 238000013527 convolutional neural network Methods 0.000 claims description 31
- 230000006870 function Effects 0.000 claims description 16
- 238000010606 normalization Methods 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 11
- 238000003384 imaging method Methods 0.000 description 13
- 230000000694 effects Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 9
- 238000003062 neural network model Methods 0.000 description 8
- 238000005286 illumination Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000001035 drying Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种水色遥感影像的深度学习非邻域均值化处理方法及系统，涉及图像处理技术领域，该方法包括：采集待处理的含噪卫星水色图像；向预设的深度卷积神经网络框架的非局部均值模型输入待处理的原始图像；采用预设的深度卷积神经网络框架的非局部均值模型的N个卷积层中的卷积核对输入的原始图像进行处理，输出网络学习后的与原始图像对应的噪声图像；对噪声图像和原始图像进行叠加处理，得到去噪后的图像。该系统包括：采集模块、计算模块、处理模块一、处理模块二、处理模块三、处理模块四、处理模块五和输出模块。本发明在深度卷积网络模型的基础上，增加非局部均值模块，能够有效的消除随机噪声。
Description
技术领域
本发明涉及图像处理技术领域，更具体地，涉及一种水色遥感影像的深度学习非邻域均值化处理方法及系统。
背景技术
随着计算机图像的快速发展，成像已经被广泛地应用于军事、医学、商业以及日常生活中。在特种应用环境中，由于普通可见光图像受成像系统本身的限制，以及周围环境进光量的限制，导致图像噪声与图像本身所含信息差距较小，成像后的图像信噪比过低，导致目标模糊不清，甚至被背景噪声掩盖，导致在实际应用中需要对信噪比较低的图像进行图像增强处理。
卫星图像的信噪比性能更多依赖于成像器件的动态范围，成像器件的性能制约着卫星观测能力。为了实现卫星图像质量的整体提升，实现水色观测信噪比优于1000的指标要求，有必要对成像过程的噪声产生环节，以及噪声抑制方法进行分析，明确信噪比提升的相关技术手段。
目前来看，制约单画幅图像信噪比提升的主要问题在于信号/噪声的分辨需要服从一定的先验假设，以及在复杂场景下缺乏足够的智能性，尤其是遥感影像具有画幅大、地物类型复杂、纹理类型丰富的特点，当图像细节纹理和噪声的相似度较高时，往往在提升信噪比的同时也过多地平滑了地物细节成分而影响图像的空间分辨率。
首先，直方图均衡法是提高图像对比度和扩大灰度的动态范围最有效的方法之一，但是由于该算法在统计概率分布时对处理的数据不加选择，可能会增加背景和噪声的对比度并且降低目标信号的对比度，使得变换后图像的灰度值减少，导致某些细节消失，致使最终显示的图像不清楚；其次，随着模式识别与机器学习的不断发展，基于机器学习的信噪比提升方法被提出来，通过建立可靠的训练样本集，使滤波器能够自适应地学习各种复杂场景下的噪声分布规律，使用机器学习的信噪比提升方法具有更强的适应性和鲁棒性，但由于监测仪光学孔径、探测器灵敏度和一次曝光时间有限，导致成像SNR偏低的现状。
因此，亟需一种图像处理方法，能够消除随机噪声，抑制卫星图像在低照度情况下，背景和噪音对成像的影响。
发明内容
有鉴于此，本发明提供了一种水色遥感影像的深度学习非邻域均值化处理方法及系统，其中，在深度卷积网络模型的基础上，增加非局部均值模块，能够有效的消除随机噪声，抑制卫星图像在低照度情况下，背景和噪音对成像的影响。
本申请所提供的一种水色遥感影像的深度学习非邻域均值化处理方法，包括：
采集待处理的原始图像，原始图像为含噪卫星水色图像；
向预设的深度卷积神经网络框架的非局部均值模型输入待处理的原始图像；
采用预设的深度卷积神经网络框架的非局部均值模型的N个卷积层中的第一层的卷积核对原始图像进行卷积处理，得到原始图像的初始图像特征，N为大于17的正整数；
采用预设的深度卷积神经网络框架的非局部均值模型的N个卷积层中的第二层的卷积核至第六层的卷积核对初始图像特征进行卷积处理，得到第一图像特征；
采用预设的深度卷积神经网络框架的非局部均值模型的N个卷积层中的第七层的卷积核对第一图像特征进行卷积处理，得到第二图像特征；
采用预设的深度卷积神经网络框架的非局部均值模型的N个卷积层中的第八层的卷积核至第十六层的卷积核对第二图像特征进行卷积处理，得到第三图像特征；
采用预设的深度卷积神经网络框架的非局部均值模型的N个卷积层中的第十七层至第十八层的卷积核对第三图像特征进行卷积处理，输出网络学习后的与原始图像对应的噪声图像；
对噪声图像和原始图像进行叠加处理，得到去噪后的图像。
可选地，第一层为特征提取层，使用了64个3×3×c的卷积核，且第一层采用了线性整流函数进行有效特征选择，其中，c为图片通道数，且c＝3。
可选地，第二层至第六层，每层均使用3×3×64的卷积核，在卷积层和线性整流函数之间加入归一化层对初始图像特征的分布进行归一化处理。
可选地，第七层为非局部均值模块，用于增加第一图像特征的空间语义信息。
可选地，非局部均值模块的计算公式为：
可选地，第八层至第十六层中，每层均使用3×3×64的卷积核，在卷积层和线性整流函数之间加入归一化层对第二图像特征分布进行归一化处理。
可选地，第十八层为图像重建层，使用c个3×3×64的卷积核，用于增加第三图像特征的空间语义信息，c为图片通道数。
可选地，对噪声图像和原始图像进行叠加处理，得到去噪后的图像，包括：
对原始图像进行处理，获取原始图像对应的像素点的灰度数据；
将原始图像对应的像素点的灰度数据减去网络学习后的噪声图像对应的像素点的灰度数据，得到原始图像对应的去燥后的图像。
本申请还提供一种水色遥感影像的深度学习非邻域均值化处理系统，包括：
采集模块，用于采集待处理的原始图像，原始图像为含噪卫星水色图像；
计算模块，用于向预设的深度卷积神经网络框架的非局部均值模型输入待处理的原始图像；
处理模块一，用于采用预设的深度卷积神经网络框架的非局部均值模型的N个卷积层中的第一层的卷积核对原始图像进行卷积处理，得到原始图像的初始图像特征，N为大于17的正整数；
处理模块二，用于采用预设的深度卷积神经网络框架的非局部均值模型的N个卷积层中的第二层的卷积核至第六层的卷积核对初始图像特征进行卷积处理，得到第一图像特征；
处理模块三，用于采用预设的深度卷积神经网络框架的非局部均值模型的N个卷积层中的第七层的卷积核对第一图像特征进行卷积处理，得到第二图像特征；
处理模块四，用于采用预设的深度卷积神经网络框架的非局部均值模型的N个卷积层中的第八层的卷积核至第十六层的卷积核对第二图像特征进行卷积处理，得到第三图像特征；
处理模块五，用于采用预设的深度卷积神经网络框架的非局部均值模型的N个卷积层中的第十七层至第十八层的卷积核对第三图像特征进行卷积处理，输出网络学习后的与原始图像对应的噪声图像；
输出模块，用于对噪声图像和原始图像进行叠加处理，得到去噪后的图像。
与现有技术相比，本发明提供的一种水色遥感影像的深度学习非邻域均值化处理方法及系统，至少实现了如下的有益效果：
1、本申请所提供的水色遥感影像的深度学习非邻域均值化处理方法及系统中，采用深度卷积神经网络模型结合非局部均值方法，能够在深度卷积神经网络模型得到特征图像的基础上，增加特征图像的空间语义信息，使得特征图像清晰度高，而且不丢失细节。
2、本申请所提供的水色遥感影像的深度学习非邻域均值化处理方法及系统中，采用深度卷积神经网络框架的非局部均值模型，能够提高非监督性的图像信噪比，使学习的过程中滤波器能够自适应地学习各种复杂场景下的噪声分布规律，具有更强的适应性和鲁棒性。
3、本申请所提供的水色遥感影像的深度学习非邻域均值化处理方法及系统中，采用非局部均值模型，区别于传统的基于局部窗口的特征提取方法，利用了自然图像中不同区域的相似性关系去噪声进行抑制，根据相似度进行区域的加权平均得到结果，能够将传统的图像处理方法中的非局部均值思想引入视频分类任务中，综合考虑了不同空间和时间位置上特征的关系，能够取得良好的效果。
4、本申请所提供的水色遥感影像的深度学习非邻域均值化处理方法及系统中，采用深度卷积神经网络，能够克服由于自然图像中景物多样，特征复杂，造成学习难度较大的学习网络，通过残差学习获取简单的噪声分布映射，能够降低网络学习的难度，消除随机噪声，抑制卫星图像在低照度情况下，背景和噪音对成像的影响。
当然，实施本发明的任一产品必不特定需要同时达到以上所述的所有技术效果。
通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。
图1示出了本申请实施例所提供的一种水色遥感影像的深度学习非邻域均值化处理方法的流程图；
图2示出了本申请实施例所提供的非局部均值模块的网络结构图；
图3示出了本申请实施例所提供的又一种水色遥感影像的深度学习非邻域均值化处理方法的流程图；
图4示出了本申请实施例所提供的一种水色遥感影像的深度学习非邻域均值化处理系统的结构示意图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
以下将结合附图和具体实施例进行详细说明。
实施例一
图1为本申请实施例所提供的一种水色遥感影像的深度学习非邻域均值化处理方法的流程图，如图1所示，本发明所提供的一种水色遥感影像的深度学习非邻域均值化处理方法，包括：
步骤S101，采集待处理的原始图像，原始图像为含噪卫星水色图像；
步骤S102，向预设的深度卷积神经网络框架的非局部均值模型输入待处理的原始图像；
步骤S103，采用预设的深度卷积神经网络框架的非局部均值模型的N个卷积层中的第一层的卷积核对原始图像进行卷积处理，得到原始图像的初始图像特征，N为大于17的正整数；
步骤S104，采用预设的深度卷积神经网络框架的非局部均值模型的N个卷积层中的第二层的卷积核至第六层的卷积核对初始图像特征进行卷积处理，得到第一图像特征；
步骤S105，采用预设的深度卷积神经网络框架的非局部均值模型的N个卷积层中的第七层的卷积核对第一图像特征进行卷积处理，得到第二图像特征；
步骤S106，采用预设的深度卷积神经网络框架的非局部均值模型的N个卷积层中的第八层的卷积核至第十六层的卷积核对第二图像特征进行卷积处理，得到第三图像特征；
步骤S107，采用预设的深度卷积神经网络框架的非局部均值模型的N个卷积层中的第十七层至第十八层的卷积核对第三图像特征进行卷积处理，输出网络学习后的与原始图像对应的噪声图像；
步骤S108，对噪声图像和原始图像进行叠加处理，得到去噪后的图像。
具体地，深度卷积神经网络(DnCNN)为一种图像去噪算法，是深度学习中较为先进的算法，相比于传统的图像去噪算法具有明显的优势，深度卷积神经网络包括三部分，第一部分为第一层由卷积核为3×3×c的卷积层和线性整流函数(Relu激活函数)组成，第二部分为第二层～第十六层共15层，均由卷积核为3×3×64的卷积层、线性整流函数和归一化层组成，第三部分为第十七层共一层，由c个卷积核为3×3×64的卷积层组成，整个网络学习从输入端到输出端进行了全局跳跃，形成残差学习策略。整个网络学习可以描述为：G(x,y)＝O(x,y)+b(x,y)，其中，G(x,y)为二维的噪声图像，O(x,y)为无噪声的原始图像，b(x,y)为附加噪声，噪声图像就是在无噪声的原始图像上经过拍摄设备的局限形成的一种退化结果，图像去噪的目的就是得到一个
即原始图像的一个估计值，O(x,y)与
的差值越小，说明图像去噪效果越好。
而本申请是将深度卷积神经网络模型的第七层设置为非局部均值模块(Non-local模块)，即增加一层，目的是将经过深度卷积神经网络前六层输出的特征图像增加空间语义信息，使用神经网络实现非局部均值的操作，可将非局部均值表达式定义为z i＝Wzyi+xi，其中，yi为模块输入，+xi为残差连接，残差连接的网络结构赋予了非局部均值模块网络更多的灵活性，可以在任意网络中插入新的非局部均值模块而不需要改变其原有的结构，其中，Wang X等的实验证明非局部均值模块的网络对不同的度量形式具有鲁棒性。
需要说明的是，本申请的深度卷积神经网络仍采用了残差学习的训练方式，输入为含噪声的图像，输出为噪声残差图像。
本发明提供的一种水色遥感影像的深度学习非邻域均值化处理方法，采用深度卷积神经网络模型结合非局部均值方法，能够在深度卷积神经网络模型得到特征图像的基础上，增加特征图像的空间语义信息，使得特征图像清晰度高，而且不丢失细节；采用深度卷积神经网络框架的非局部均值模型，能够提高非监督性的图像信噪比，使学习的过程中滤波器能够自适应地学习各种复杂场景下的噪声分布规律，具有更强的适应性和鲁棒性；采用非局部均值模型，区别于传统的基于局部窗口的特征提取方法，利用了自然图像中不同区域的相似性关系去噪声进行抑制，根据相似度进行区域的加权平均得到结果，能够将传统的图像处理方法中的非局部均值思想引入视频分类任务中，综合考虑了不同空间和时间位置上特征的关系，能够取得良好的效果；采用深度卷积神经网络，能够克服由于自然图像中景物多样，特征复杂，造成学习难度较大的学习网络，通过残差学习获取简单的噪声分布映射，能够降低网络学习的难度，消除随机噪声，抑制卫星图像在低照度情况下，背景和噪音对成像的影响。
可选地，步骤S103中的第一层为特征提取层，使用了64个3×3×c的卷积核，且第一层采用了线性整流函数进行有效特征选择，其中，c为图像通道数，且c＝3。
具体地，深度卷积神经网络框架的非局部均值模型的第一层为特征提取层，输入为35×35的图像，经过第一层的64个3×3×3的卷积核处理，输出为64张35×35的图像，即35×35×64的图像，因为第一层中加入了padding，确保中间层的每个特征图具有与输入图像相同的大小。
需要说明的是，c为图像通道数，当c＝3时，即用于彩色图像，在本申请的一些其他实施例中，当c＝1时，可用于灰度图像。
可选地，步骤S104中的第二层至第六层，每层均使用3×3×64的卷积核，在卷积层和线性整流函数之间加入归一化层对初始图像特征的分布进行归一化处理。
具体地，第二层到第六层中的卷积核均为64个3×3×64的卷积核，输入35×35×64的特征图像，输出也为35×35×64的特征图像，大小不变，在第二层到第六层中加入了BN层，即归一化层，能够优化梯度传递。
可选地，步骤S105中的第七层为非局部均值模块，用于增加第一图像特征的空间语义信息。
具体地，非局部均值模块将传统图像处理方法中的非局部均值思想引入了视频分类任务中，综合考虑了不同空间和时间位置上特征的关系，区别于传统的基于全局窗口的特征提取方法。非局部均值思想利用了自然图像中不同区域的相似性关系对噪声进行抑制，根据相似度进行区域的加权平均得到结果，经过非局部均值模块处理，使特征图像清晰度高，而且不丢失细节。
可选地，上述非局部均值模块的计算公式为：
具体地，从上式中可以看出，任何位置的特征值都可以对输出值产生影响，其中，位置可以是时间的、空间的、或任意的时空位置。实际计算中，f(xi,yj)和g(xj)有很多种实现形式，如f可以使用高斯、编码高斯和点乘相似度等来定义。在本申请中，f统一使用编码高斯的形式实现，g采用线性映射，相似度函数f(xi,yj)采用高斯编码形式，同时使用了“瓶颈”结构将通道减半来减少计算量。
需要说明的是，使用神经网络实现非局部均值操作，可将上述的公式变形为一个非局部均值block，并定义为：z i＝Wzyi+xi，其中，yi为模块输入，+xi为残差连接，残差连接的网络结构赋予了网络更多的灵活性，可以在任意模型中插入新的非局部均值Block模块而不需要改变其原有的结构。
图2为本申请实施例所提供的非局部均值模块的网络结构图，如图2所示，如果图像特征尺寸为T×H×W×1024，则输入有1024个通道，θ：1×1×1、
1×1×1和g：1×1×1均表示为1×1的卷积核，
表示矩阵乘法，
为矩阵加法，模块输入和输出相等，都为T×H×W×1024，T为时间帧数，对应的输入T×H×W×512与512×THW矩阵相乘输出THW×THW的模块，对每个通道的点的特征向量进行内积，空间信息均保留下来，输出的还是H×W，THW表示输入图像特征的维度。
可选地，步骤S106中的第八层至第十六层中，每层均使用3×3×64的卷积核，在卷积层和线性整流函数之间加入归一化层对第二图像特征分布进行归一化处理。
具体地，第八层到第十六层中的卷积核均为64个3×3×64的卷积核，输入3×3×64的特征图像，输出也为35×35×64的特征图像，大小不变，在第二层到第六层中加入了BN层，即归一化层，能够优化梯度传递。
可选地，步骤S107中的第十八层为图像重建层，使用c个3×3×64的卷积核，用于增加第三图像特征的空间语义信息，c为图片通道数。
具体地，最后一层为图像重建层，通过c个3×3×64的卷积核，重建c维特征图像，并输出图像，其中，c＝3。
可选地，步骤S108中对噪声图像和原始图像进行叠加处理，得到去噪后的图像，包括：
对原始图像进行处理，获取原始图像对应的像素点的灰度数据；
将原始图像对应的像素点的灰度数据减去网络学习后的噪声图像对应的像素点的灰度数据，得到原始图像对应的去燥后的图像。
具体地，首先需要对原始图像进行处理，得到每个原始图像上像素点的灰度数据，其次得到网络学习后的噪声图像上像素点的灰度数据，将原始图像上像素点的灰度数据减去网络学习后的噪声图像上像素点的灰度数据，得到原始图像去噪后的图像。
实施例二
图3为本申请实施例所提供的又一种水色遥感影像的深度学习非邻域均值化处理方法的流程图，如图3所示，本发明所提供的又一种水色遥感影像的深度学习非邻域均值化处理方法，包括：
步骤S201，将含噪卫星水色图像输入到已经训练好的深度卷积神经网络框架的非局部均值模型中。
步骤S202，向深度卷积神经网络框架的非局部均值模型的第一层输入64张图像大小为35×35的特征图，经过第一层中64个3×3×3的卷积核进行处理，输出64张图像大小为35×35的特征图，即35×35×64特征图像。
该步骤中，深度卷积神经网络框架的非局部均值模型的第一层为特征提取层，并且采用了线性整流函数对有效特征进行选择。
需要说明的是，在第一层特征提取层中，因为加入了padding，使经过第一层处理的图像大小不变。
步骤S203，向深度卷积神经网络框架的非局部均值模型的第二层输入经过第一层处理的特征图像，并依次经过第三层到第六层，输出35×35×64的特征图像。
该步骤中，第二层到第六层均使用了64个3×3×64的卷积核，并且在卷积层和线性整流函数之间加入了归一化层对经过第二层到第六层处理的特征图像进行归一化处理，加入的归一化层能够优化梯度传递。
需要说明的是，因为第二层到第六层的卷积核均为64个3×3×64的卷积核，因此输出的图像依然为35×35×64的特征图像。
步骤S204，向深度卷积神经网络框架的非局部均值模型的第七层输入经过上步骤S203处理后的特征图像，增加经过上述步骤S203处理后特征图像的空间语义信息。
该步骤中，使用神经网络实现非局部均值操作，可以将非局部均值方法的表达式变形，即得到zi＝Wzyi+xi，其中，yi为模块输入，+xi为残差连接，残差连接的网络结构赋予了网络更多的灵活性。
步骤S205，向深度卷积神经网络框架的非局部均值模型的第八层到第十六层输入经过上步骤S204处理后的特征图像，输出35×35×64的特征图像。
该步骤中，第八层到第十六层的卷积核均使用了64个3×3×64的卷积核，并且在卷积层和线性整流函数之间加入了归一化层对经过第七层处理的特征图像进行归一化处理，加入的归一化层能够优化梯度传递。
需要说明的是，因为第八层到第十六层的卷积核均为64个3×3×64的卷积核，因此输出的图像依然为35×35×64的特征图像。
步骤S206，向深度卷积神经网络框架的非局部均值模型的第十七层到第十八层输入经过上步骤S205处理后的特征图像，进行噪声图像重建，输出噪声图像。
需要说明的是，第十八层为图像重建层，使用了3×3×64个卷积核。
步骤S207，将得到的噪声图像与原始图像进行叠加处理，达到单幅图像去噪的效果。
具体地，本发明的深度卷积神经网络框架的非局部均值模型仍然采用了残差学习的训练方式，输入为含噪声的图像，输出为噪声残差图像。实验过程中，首先采用信噪比评估方法对GF-4海域图像的噪声水平进行了评估，然后再进行近似噪声条件的训练集构建，由于AID数据集的分辨率较高，在构建训练集时，还对训练集进行了采样与高斯模糊操作，以模拟高轨卫星成像条件。
需要说明的是，实验过程中采用了AID数据集中的海滩部分对模型进行训练，能够有效去除GF-4海域图像中的噪声。AID数据集是一种新型的大型航空图像数据集，包含了机场、森林、海滩、住宅区等30种典型地物。
本发明所提供的又一种水色遥感影像的深度学习非邻域均值化处理方法，采用深度卷积神经网络模型结合非局部均值方法，能够在深度卷积神经网络模型得到特征图像的基础上，增加特征图像的空间语义信息，使得特征图像清晰度高，而且不丢失细节；采用深度卷积神经网络框架的非局部均值模型，能够提高非监督性的图像信噪比，使学习的过程中滤波器能够自适应地学习各种复杂场景下的噪声分布规律，具有更强的适应性和鲁棒性；采用非局部均值模型，区别于传统的基于局部窗口的特征提取方法，利用了自然图像中不同区域的相似性关系去噪声进行抑制，根据相似度进行区域的加权平均得到结果，能够将传统的图像处理方法中的非局部均值思想引入视频分类任务中，综合考虑了不同空间和时间位置上特征的关系，能够取得良好的效果；采用深度卷积神经网络，能够克服由于自然图像中景物多样，特征复杂，造成学习难度较大的学习网络，通过残差学习获取简单的噪声分布映射，能够降低网络学习的难度，消除随机噪声，抑制卫星图像在低照度情况下，背景和噪音对成像的影响。通过上述实施例二的实验，本发明所提出的深度卷积神经网络框架的非局部均值模型最终提升效果为3.33倍。
实施例三
图4为本申请实施例所提供的一种水色遥感影像的深度学习非邻域均值化处理系统的结构示意图，如图4所示，本发明还提供一种水色遥感影像的深度学习非邻域均值化处理系统，包括：
采集模块301，用于采集待处理的原始图像，原始图像为含噪卫星水色图像；
计算模块302，用于向预设的深度卷积神经网络框架的非局部均值模型输入待处理的原始图像；
处理模块一303，用于采用预设的深度卷积神经网络框架的非局部均值模型的N个卷积层中的第一层的卷积核对原始图像进行卷积处理，得到原始图像的初始图像特征，N为大于17的正整数；
处理模块二304，用于采用预设的深度卷积神经网络框架的非局部均值模型的N个卷积层中的第二层的卷积核至第六层的卷积核对初始图像特征进行卷积处理，得到第一图像特征；
处理模块三305，用于采用预设的深度卷积神经网络框架的非局部均值模型的N个卷积层中的第七层的卷积核对第一图像特征进行卷积处理，得到第二图像特征；
处理模块四306，用于采用预设的深度卷积神经网络框架的非局部均值模型的N个卷积层中的第八层的卷积核至第十六层的卷积核对第二图像特征进行卷积处理，得到第三图像特征；
处理模块五307，用于采用预设的深度卷积神经网络框架的非局部均值模型的N个卷积层中的第十七层至第十八层的卷积核对第三图像特征进行卷积处理，输出网络学习后的与原始图像对应的噪声图像；
输出模块308，用于对噪声图像和原始图像进行叠加处理，得到去噪后的图像。
具体地，本发明通过采集模块301采集含噪卫星水色图像，并输入至计算模块302中的预设的深度卷积神经网络框架的非局部均值模型，经过预设的深度卷积神经网络框架的非局部均值模型中共十八层的卷积层和非局部均值模块进行处理，通过输出模块308输出去噪后的图像，达到去噪的效果。
本发明所提供的一种图像的信噪比处理系统，采用计算模块302中的预设的深度卷积神经网络框架的非局部均值模型，能够提高非监督性的图像信噪比，使学习的过程中滤波器能够自适应地学习各种复杂场景下的噪声分布规律，能够克服由于自然图像中景物多样，特征复杂，造成学习难度较大的学习网络，通过残差学习获取简单的噪声分布映射，能够降低网络学习的难度，消除随机噪声，抑制卫星图像在低照度情况下，背景和噪音对成像的影响。
综上，本发明提供的一种水色遥感影像的深度学习非邻域均值化处理方法及系统，至少实现了如下的有益效果：
1、本申请所提供的水色遥感影像的深度学习非邻域均值化处理方法及系统中，采用深度卷积神经网络模型结合非局部均值方法，能够在深度卷积神经网络模型得到特征图像的基础上，增加特征图像的空间语义信息，使得特征图像清晰度高，而且不丢失细节。
2、本申请所提供的水色遥感影像的深度学习非邻域均值化处理方法及系统中，采用深度卷积神经网络框架的非局部均值模型，能够提高非监督性的图像信噪比，使学习的过程中滤波器能够自适应地学习各种复杂场景下的噪声分布规律，具有更强的适应性和鲁棒性。
3、本申请所提供的水色遥感影像的深度学习非邻域均值化处理方法及系统中，采用非局部均值模型，区别于传统的基于局部窗口的特征提取方法，利用了自然图像中不同区域的相似性关系去噪声进行抑制，根据相似度进行区域的加权平均得到结果，能够将传统的图像处理方法中的非局部均值思想引入视频分类任务中，综合考虑了不同空间和时间位置上特征的关系，能够取得良好的效果。
4、本申请所提供的水色遥感影像的深度学习非邻域均值化处理方法及系统中，采用深度卷积神经网络，能够克服由于自然图像中景物多样，特征复杂，造成学习难度较大的学习网络，通过残差学习获取简单的噪声分布映射，能够降低网络学习的难度，消除随机噪声，抑制卫星图像在低照度情况下，背景和噪音对成像的影响。
虽然已经通过例子对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上例子仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员应该理解，可在不脱离本发明的范围和精神的情况下，对以上实施例进行修改。本发明的范围由所附权利要求来限定。
Claims (9)
1.一种水色遥感影像的深度学习非邻域均值化处理方法，其特征在于，包括：
采集待处理的原始图像，所述原始图像为含噪卫星水色图像；
向预设的深度卷积神经网络框架的非局部均值模型输入待处理的原始图像；
采用预设的深度卷积神经网络框架的非局部均值模型的N个卷积层中的第一层的卷积核对所述原始图像进行卷积处理，得到所述原始图像的初始图像特征，所述N为大于17的正整数；
采用预设的深度卷积神经网络框架的非局部均值模型的N个卷积层中的第二层的卷积核至第六层的卷积核对所述初始图像特征进行卷积处理，得到第一图像特征；
采用预设的深度卷积神经网络框架的非局部均值模型的N个卷积层中的第七层的卷积核对所述第一图像特征进行卷积处理，得到第二图像特征；
采用预设的深度卷积神经网络框架的非局部均值模型的N个卷积层中的第八层的卷积核至第十六层的卷积核对所述第二图像特征进行卷积处理，得到第三图像特征；
采用预设的深度卷积神经网络框架的非局部均值模型的N个卷积层中的第十七层至第十八层的卷积核对所述第三图像特征进行卷积处理，输出网络学习后的与所述原始图像对应的噪声图像；
对所述噪声图像和所述原始图像进行叠加处理，得到去噪后的图像；
其中，将深度卷积神经网络模型DnCNN的第七层设置为非局部均值模块。
2.根据权利要求1所述的水色遥感影像的深度学习非邻域均值化处理方法，其特征在于，所述第一层为特征提取层，使用了64个3×3×c的卷积核，且所述第一层采用了线性整流函数进行有效特征选择，其中，c为图片通道数，且c＝3。
3.根据权利要求1所述的水色遥感影像的深度学习非邻域均值化处理方法，其特征在于，所述第二层至所述第六层，每层均使用3×3×64的卷积核，在卷积层和线性整流函数之间加入归一化层对所述初始图像特征的分布进行归一化处理。
4.根据权利要求1所述的水色遥感影像的深度学习非邻域均值化处理方法，其特征在于，所述第七层为非局部均值模块，用于增加所述第一图像特征的空间语义信息。
5.根据权利要求4所述的水色遥感影像的深度学习非邻域均值化处理方法，其特征在于，所述非局部均值模块的计算公式为：
6.根据权利要求1所述的水色遥感影像的深度学习非邻域均值化处理方法，其特征在于，所述第八层至所述第十六层中，每层均使用3×3×64的卷积核，在卷积层和线性整流函数之间加入归一化层对所述第二图像特征分布进行归一化处理。
7.根据权利要求1所述的水色遥感影像的深度学习非邻域均值化处理方法，其特征在于，所述第十八层为图像重建层，使用c个3×3×64的卷积核，用于增加所述第三图像特征的空间语义信息，c为图片通道数。
8.根据权利要求1所述的水色遥感影像的深度学习非邻域均值化处理方法，其特征在于，所述对所述噪声图像和所述原始图像进行叠加处理，得到去噪后的图像，包括：
对所述原始图像进行处理，获取所述原始图像对应的像素点的灰度数据；
将所述原始图像对应的像素点的灰度数据减去网络学习后的噪声图像对应的像素点的灰度数据，得到所述原始图像对应的去噪后的图像。
9.一种水色遥感影像的深度学习非邻域均值化处理系统，其特征在于，包括：
采集模块，用于采集待处理的原始图像，所述原始图像为含噪卫星水色图像；
计算模块，用于向预设的深度卷积神经网络框架的非局部均值模型输入待处理的原始图像；
处理模块一，用于采用预设的深度卷积神经网络框架的非局部均值模型的N个卷积层中的第一层的卷积核对所述原始图像进行卷积处理，得到所述原始图像的初始图像特征，所述N为大于17的正整数；
处理模块二，用于采用预设的深度卷积神经网络框架的非局部均值模型的N个卷积层中的第二层的卷积核至第六层的卷积核对所述初始图像特征进行卷积处理，得到第一图像特征；
处理模块三，用于采用预设的深度卷积神经网络框架的非局部均值模型的N个卷积层中的第七层的卷积核对所述第一图像特征进行卷积处理，得到第二图像特征；
处理模块四，用于采用预设的深度卷积神经网络框架的非局部均值模型的N个卷积层中的第八层的卷积核至第十六层的卷积核对所述第二图像特征进行卷积处理，得到第三图像特征；
处理模块五，用于采用预设的深度卷积神经网络框架的非局部均值模型的N个卷积层中的第十七层至第十八层的卷积核对所述第三图像特征进行卷积处理，输出网络学习后的与所述原始图像对应的噪声图像；
输出模块，用于对所述噪声图像和所述原始图像进行叠加处理，得到去噪后的图像；
其中，将深度卷积神经网络模型DnCNN的第七层设置为非局部均值模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010356718.XA CN111553860B (zh) | 2020-04-29 | 2020-04-29 | 水色遥感影像的深度学习非邻域均值化处理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010356718.XA CN111553860B (zh) | 2020-04-29 | 2020-04-29 | 水色遥感影像的深度学习非邻域均值化处理方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111553860A CN111553860A (zh) | 2020-08-18 |
| CN111553860B true CN111553860B (zh) | 2023-04-28 |
Family
ID=72007898
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010356718.XA Active CN111553860B (zh) | 2020-04-29 | 2020-04-29 | 水色遥感影像的深度学习非邻域均值化处理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111553860B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113229767B (zh) * | 2021-04-12 | 2022-08-19 | 佛山市顺德区美的洗涤电器制造有限公司 | 用于处理图像的方法、处理器、控制装置及家用电器 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103150712A (zh) * | 2013-01-18 | 2013-06-12 | 清华大学 | 一种基于投影序列数据相似性的图像去噪方法 |
| CN106204462A (zh) * | 2015-05-04 | 2016-12-07 | 南京邮电大学 | 基于图像多特征融合的非局部均值去噪方法 |
| CN107909558A (zh) * | 2017-12-12 | 2018-04-13 | 成都信息工程大学 | 一种基于无监督学习的非局部均值图像去噪方法 |
| CN109035172A (zh) * | 2018-08-08 | 2018-12-18 | 华中科技大学 | 一种基于深度学习的非局部均值超声图像去噪方法 |
| CN109658357A (zh) * | 2018-12-24 | 2019-04-19 | 北京理工大学 | 一种面向遥感卫星图像的去噪方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10096109B1 (en) * | 2017-03-31 | 2018-10-09 | The Board Of Trustees Of The Leland Stanford Junior University | Quality of medical images using multi-contrast and deep learning |
-
2020
- 2020-04-29 CN CN202010356718.XA patent/CN111553860B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103150712A (zh) * | 2013-01-18 | 2013-06-12 | 清华大学 | 一种基于投影序列数据相似性的图像去噪方法 |
| CN106204462A (zh) * | 2015-05-04 | 2016-12-07 | 南京邮电大学 | 基于图像多特征融合的非局部均值去噪方法 |
| CN107909558A (zh) * | 2017-12-12 | 2018-04-13 | 成都信息工程大学 | 一种基于无监督学习的非局部均值图像去噪方法 |
| CN109035172A (zh) * | 2018-08-08 | 2018-12-18 | 华中科技大学 | 一种基于深度学习的非局部均值超声图像去噪方法 |
| CN109658357A (zh) * | 2018-12-24 | 2019-04-19 | 北京理工大学 | 一种面向遥感卫星图像的去噪方法 |
Non-Patent Citations (3)
| Title |
|---|
| Houqiang Yu 等.PCANet based nonlocal means method for speckle noise removal in ultrasound images.《RESEARCH ARTICLE》.2018,第1-19页. * |
| 孔祥皓 等.面向持续观测的静止轨道高分辨率光学成像卫星应用模式设计与分析.《影像科学与光化学》.2016,第34卷(第34期),第43-50页. * |
| 王倩 等.NSCT 域分类预处理的改进非局部均值去噪算法.《计算机辅助设计与图形学学报》.2018,第30卷(第30期),第436-446页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111553860A (zh) | 2020-08-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Frosio et al. | Statistical nearest neighbors for image denoising | |
| CN107133923B (zh) | 一种基于自适应梯度稀疏模型的模糊图像非盲去模糊方法 | |
| Li | Deep learning for image denoising | |
| Min et al. | Blind deblurring via a novel recursive deep CNN improved by wavelet transform | |
| CN111340716A (zh) | 一种改进双重判别对抗网络模型的图像去模糊方法 | |
| CN111768350B (zh) | 一种红外图像增强方法及系统 | |
| Tan et al. | Pixelwise Estimation of Signal‐Dependent Image Noise Using Deep Residual Learning | |
| Zhang et al. | Image deblurring using tri-segment intensity prior | |
| Paul et al. | Modified convolutional neural network with pseudo-CNN for removing nonlinear noise in digital images | |
| CN114092355A (zh) | 自适应红外图像对比度增强方法及装置 | |
| Syed et al. | Addressing image and Poisson noise deconvolution problem using deep learning approaches | |
| CN116596792B (zh) | 一种面向智能船舶的内河雾天场景恢复方法、系统及设备 | |
| Zhang et al. | Unleashing the power of self-supervised image denoising: A comprehensive review | |
| CN114936979A (zh) | 一种模型训练方法、图像去噪方法、装置、设备及存储介质 | |
| CN115170410A (zh) | 融合小波变换和注意力机制的图像增强方法及装置 | |
| CN116385281A (zh) | 一种基于真实噪声模型与生成对抗网络的遥感图像去噪方法 | |
| Jiang et al. | A new nonlocal means based framework for mixed noise removal | |
| Zhou et al. | Sparse representation with enhanced nonlocal self-similarity for image denoising | |
| CN111553860B (zh) | 水色遥感影像的深度学习非邻域均值化处理方法及系统 | |
| CN113222879B (zh) | 一种用于红外与可见光图像融合的生成对抗网络 | |
| Ma et al. | Edge-guided cnn for denoising images from portable ultrasound devices | |
| Yu et al. | Haze removal using deep convolutional neural network for Korea Multi-Purpose Satellite-3A (KOMPSAT-3A) multispectral remote sensing imagery | |
| CN117392036A (zh) | 基于照明幅度的低光图像增强方法 | |
| CN115760630A (zh) | 一种低照度图像增强方法 | |
| CN111028159B (zh) | 一种图像条带噪声抑制方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |