CN111598790A - 基于对偶深度神经网络的高光谱遥感图像去噪方法 - Google Patents
基于对偶深度神经网络的高光谱遥感图像去噪方法 Download PDFInfo
- Publication number
- CN111598790A CN111598790A CN202010272152.2A CN202010272152A CN111598790A CN 111598790 A CN111598790 A CN 111598790A CN 202010272152 A CN202010272152 A CN 202010272152A CN 111598790 A CN111598790 A CN 111598790A
- Authority
- CN
- China
- Prior art keywords
- image
- dual
- noise
- neural network
- activation function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 34
- 230000009977 dual effect Effects 0.000 title claims abstract description 33
- 230000004913 activation Effects 0.000 claims abstract description 29
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims abstract description 5
- 238000005096 rolling process Methods 0.000 claims description 6
- 230000003213 activating effect Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 6
- 230000006870 function Effects 0.000 description 16
- 238000012545 processing Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于对偶深度神经网络的高光谱遥感图像去噪方法，该方法包括以下步骤：单独构建两个结构完全相同的卷积神经网络；基于参考图像和噪声图像训练F（IV）和F（Iu）；把针对噪声图像的F（Iu）中的激活函数替换成新定义的激活函数；把F（IV）的信息XV输入到F（Iu）对应的特征层XU，让两个对偶网络通过激活函数公式建立连接；把参考图像和噪声图像分别输入构造的对偶网络，得到除噪声结果。通过该方法，建立了对偶神经网络结构，充分利用了高光谱图像中未受到污染的清晰波段的信息，进而辅助受到噪声污染波段的图像除噪声；提升了图像复原的效果，解决了现有去噪算法在面对高光谱图像中噪声过多时容易出现的细节过平滑问题。
Description
技术领域
本发明涉及遥感图像处理技术领域，具体来说，涉及一种基于对偶深度神经网络的高光谱遥感图像去噪方法。
背景技术
高光谱图像凭借其丰富的光谱信息，被广泛的应用于目标检测，土地类型分类和信息提取等领域。然而受传感器、大气等因素干扰，高光谱图像内经常存在各种类型的噪声，如随机噪声、条纹噪声等，极大的降低了图像质量。在不断的研究中，越来越多的去噪算法被提出和改进。例如基于非局部块匹配思想的BM3D，在传统非局部平均算法的基础上进行了改进，将图像均分为同等规模的小块，利用硬阈值计算图像块之间的相似性，并将具有相似结构的二维图像块建立成三维数组，再用联合滤波的方法对这些三维数组进行处理，最后，通过逆变换，把处理后的结果返回到原图像中，从而得到去噪后的图像。虽然能取得较优的去噪效果，但是BM3D的算法复杂度较高，且阈值难以选择。除了传统的方法外，深度学习因其独特的特征学习能力，也为去噪提供了新的研究思路。例如DnCNN将图像中的噪声信息作为网络的最终输出，表现出了优于大多数传统方法的去噪性能。而FFDNet将噪声水平图与噪声图像同时输入网络内，通过网络直接训练得到清晰的去噪图像，提高了神经网络的灵活性，并获得了更优的去噪效果。虽然此类方法在应用于高光谱图像的噪声图像中能够有效的去噪，但是他们仅仅依赖于噪声图像自身的内部结构去噪，属于内部去噪方法，当噪声较大时，容易出现过平滑现象。
发明内容
针对相关技术中的上述技术问题，本发明提出一种基于对偶深度神经网络的高光谱遥感图像去噪方法，能够克服现有技术的上述不足。
为实现上述技术目的，本发明的技术方案是这样实现的：
一种基于对偶深度神经网络的高光谱遥感图像去噪方法,该方法包括以下步骤：
S1：单独构建两个结构完全相同的卷积神经网络，卷积神经网络分别为F(IV)、F(Iu)，其中，F(IV)针对参考图像，用于提取参考图像IV中的特征信息；F(Iu)针对噪声图像，用于提取目标图像Iu中的特征信息；
S2：基于参考图像和噪声图像训练F(IV)和F(Iu)；
S3：把针对噪声图像的F(Iu)中的激活函数替换成新定义的激活函数，其中，新定义的激活函数的公式为
式中XU和XV分别是由卷积层提取出的噪声图像与参考图像的特征信息，leak为参数；
S4：把F(IV)的信息XV输入到F(Iu)对应的特征层XU，让两个对偶网络通过激活函数公式建立连接；
S5：把参考图像IV和噪声图像Iu分别输入所述步骤S4构造的对偶网络，得到除噪声结果
进一步的，当XU和XV全大于等于0时，被ReLU激活函数完全激活；当XU小于0，XV大于等于0时，XU中的部分信息被Leak-ReLU激活函数激活；当XV小于0时，XU等于0。
进一步的，卷积神经网络内的操作分为两部分：线性操作与非线性操作。
进一步的，通过非线性层将F(IV)中的卷积层生成的特征信息XV引入F(Iu)中，具体流程为：
将F(IV)卷积层得到的XV构建一个双分支结构，第一个分支继续进入子网F(IV)内，等待非线性激活；
第二个分支进入子网F(Iu)中，与F(Iu)卷积层得到的XU共同输入特殊的激活函数内；
采用激活函数激活。
进一步的，在同一高光谱数据集中选取与噪声波段图像结构相似度最高的清晰波段图像作为参考图像。
本发明的有益效果：通过该方法，建立了对偶神经网络结构，充分利用了高光谱图像中未受到污染的清晰波段的信息，进而辅助受到噪声污染波段的图像除噪声；提升了图像复原的效果，解决了现有去噪算法在面对高光谱图像中噪声过多时容易出现的细节过平滑问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例所述的基于对偶深度神经网络的高光谱遥感图像去噪方法的流程框图；
图2是根据本发明实施例所述的基于对偶深度神经网络的高光谱遥感图像去噪方法的对偶深度神经网络结构图；
图3是根据本发明实施例所述的基于对偶深度神经网络的高光谱遥感图像去噪方法的原始图像；
图4是根据本发明实施例所述的基于对偶深度神经网络的高光谱遥感图像去噪方法的参考图像；
图5是根据本发明实施例所述的基于对偶深度神经网络的高光谱遥感图像去噪方法的噪声图像；
图6是根据本发明实施例所述的基于对偶深度神经网络的高光谱遥感图像去噪方法的DD-CNN图像；
图7是根据本发明实施例所述的基于对偶深度神经网络的高光谱遥感图像去噪方法的FFDNet图像；
图8是根据本发明实施例所述的基于对偶深度神经网络的高光谱遥感图像去噪方法的DnCNN图像；
图9是根据本发明实施例所述的基于对偶深度神经网络的高光谱遥感图像去噪方法的BM3D图像；
图10是根据本发明实施例所述的基于对偶深度神经网络的高光谱遥感图像去噪方法的CrossField图像。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，根据本发明实施例所述的基于对偶深度神经网络的高光谱遥感图像去噪方法，包括以下步骤：
S1：单独构建两个结构完全相同的卷积神经网络，卷积神经网络分别为F(IV)、F(Iu)，其中，F(IV)针对参考图像，用于提取参考图像IV中的特征信息；F(Iu)针对噪声图像，用于提取目标图像Iu中的特征信息；
S2：基于参考图像和噪声图像训练F(IV)和F(Iu)；
S3：把针对噪声图像的F(Iu)中的激活函数替换成新定义的激活函数，其中，新定义的激活函数的公式为
式中XU和XV分别是由卷积层提取出的噪声图像与参考图像的特征信息，leak为参数；
S4：把F(IV)的信息XV输入到F(Iu)对应的特征层XU，让两个对偶网络通过激活函数公式建立连接；
S5：把参考图像IV和噪声图像Iu分别输入所述步骤S4构造的对偶网络，得到除噪声结果
在本发明的一个具体实施例中，当XU和XV全大于等于0时，被ReLU激活函数完全激活；当XU小于0，XV大于等于0时，XU中的部分信息被Leak-ReLU激活函数激活；当XV小于0时，XU等于0。
在本发明的一个具体实施例中，卷积神经网络内的操作分为两部分：线性操作与非线性操作。
在本发明的一个具体实施例中，通过非线性层将F(IV)中的卷积层生成的特征信息XV引入F(Iu)中，具体流程为：
将F(IV)卷积层得到的XV构建一个双分支结构，第一个分支继续进入子网F(IV)内，等待非线性激活；
第二个分支进入子网F(Iu)中，与F(Iu)卷积层得到的XU共同输入特殊的激活函数内；
采用激活函数激活。
在本发明的一个具体实施例中，在同一高光谱数据集中选取与噪声波段图像结构相似度最高的清晰波段图像作为参考图像。
为了方便理解本发明的上述技术方案，以下对本发明的上述技术方案进行详细说明。
如图2所示，在一个实施例中，构造对偶深度神经网络DD-CNN，其中，上边子网F(Iu)网络激活函数为式(1)，而下边子网F(IV)网络内的激活函数为式(2)。该网络包含两个输入端，分别输入参考图像IV与噪声图像Iu，并将F(Iu)子网络构建的目标图像作为最终输出的去噪图像
最终实现除噪声，其中，公式为
图3-10所示，在一个实施例中，显示了以华盛顿特区高光谱数据集中第57波段为噪声图像的仿真实验结果。图像的大小为256x256，并且选取了每幅图像的第25行区域，将其像素值与原始图像相同点位的像素值通过图标方式进行了对比(图中高亮的白色线条下方即为所选取对比区域)。图3是原始的57波段图像。图4来自该数据集的第94波段，作为算法中的参考图像。图5在原始图像的基础上添加了噪声方差为30的高斯噪声。图6-10分别是本发明所提出的DD-CNN，K.Zhang等人提出的FFDNet在K.Zhang,W.Zuo,and L.Zhang,“FFDNet:Toward a fast and flexible solution for CNN-based image denoising,”IEEE Trans.Image Process.,vol.27,no.9,pp.4608–4622,Sep.2018和与DnCNN在K.Zhang,W.Zuo,Y.Chen,D.Meng,and L.Zhang,“Beyond a Gaussian Denoiser:Residuallearning of deep CNN for image denoising,”IEEE Trans.Image Process.,vol.26,no.7,pp.3142–3155,Jul.2017的文献中，K.Dabov等人提出的BM3D以及Q.Yan等人提出的CrossField方法的去噪结果。可以清楚的看到本发明的结果图6不但更好地去除了图像中的噪声，而且没有引入额外的伪影，取得了相对最优的去噪效果。
综上所述，借助于本发明的上述技术方案，通过该方法，建立了对偶神经网络结构，充分利用了高光谱图像中未受到污染的清晰波段的信息，进而辅助受到噪声污染波段的图像除噪声；提升了图像复原的效果，解决了现有去噪算法在面对高光谱图像中噪声过多时容易出现的细节过平滑问题。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.基于对偶深度神经网络的高光谱遥感图像去噪方法，其特征在于，包括以下步骤：
S1：单独构建两个结构完全相同的卷积神经网络，其中，两个卷积神经网络分别为F(IV)、F(Iu)，F(IV)针对参考图像，用于提取参考图像IV中的特征信息；F(Iu)针对噪声图像，用于提取目标图像Iu中的特征信息；
S2：基于参考图像和噪声图像训练F(IV)和F(Iu)；
S3：把针对噪声图像的F(Iu)中的激活函数替换成新定义的激活函数，其中，新定义的激活函数的公式为
式中XU和XV分别是由卷积层提取出的噪声图像与参考图像的特征信息，leak为参数；
S4：把F(IV)的信息XV输入到F(Iu)对应的特征层XU，让两个对偶网络通过激活函数公式建立连接；
S5：把参考图像IV和噪声图像Iu分别输入所述步骤S4构造的对偶网络，得到除噪声结果
2.根据权利要求1所述的基于对偶深度神经网络的高光谱遥感图像去噪方法，其特征在于，当XU和XV全大于等于0时，被ReLU激活函数完全激活；当XU小于0，XV大于等于0时，XU中的部分信息被Leak-ReLU激活函数激活；当XV小于0时，XU等于0。
3.根据权利要求1所述的基于对偶深度神经网络的高光谱遥感图像去噪方法，其特征在于，卷积神经网络内的操作分为两部分：线性操作与非线性操作。
4.根据权利要求1所述的基于对偶深度神经网络的高光谱遥感图像去噪方法，其特征在于，通过非线性层将F(IV)中的卷积层生成的特征信息XV引入F(Iu)中，具体流程为：
将F(IV)卷积层得到的XV构建一个双分支结构，第一个分支继续进入子网F(IV)内，等待非线性激活；
第二个分支进入子网F(Iu)中，与F(Iu)卷积层得到的XU共同输入特殊的激活函数内；
采用激活函数激活。
5.根据权利要求1所述的基于对偶深度神经网络的高光谱遥感图像去噪方法，其特征在于，在同一高光谱数据集中选取与噪声波段图像结构相似度最高的清晰波段图像作为参考图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010272152.2A CN111598790A (zh) | 2020-04-09 | 2020-04-09 | 基于对偶深度神经网络的高光谱遥感图像去噪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010272152.2A CN111598790A (zh) | 2020-04-09 | 2020-04-09 | 基于对偶深度神经网络的高光谱遥感图像去噪方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111598790A true CN111598790A (zh) | 2020-08-28 |
Family
ID=72190627
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010272152.2A Pending CN111598790A (zh) | 2020-04-09 | 2020-04-09 | 基于对偶深度神经网络的高光谱遥感图像去噪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111598790A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112598599A (zh) * | 2020-12-29 | 2021-04-02 | 南京大学 | 一种高光谱图像的去噪模型训练方法及去噪方法 |
| CN113436111A (zh) * | 2021-07-21 | 2021-09-24 | 西北工业大学 | 一种基于网络结构搜索的高光谱遥感图像去噪方法 |
| CN117152023A (zh) * | 2023-10-30 | 2023-12-01 | 浪潮软件科技有限公司 | 基于结构-纹理分解的压缩图像去噪方法及装置 |
-
2020
- 2020-04-09 CN CN202010272152.2A patent/CN111598790A/zh active Pending
Non-Patent Citations (1)
| Title |
|---|
| WEI SHAN: "《Hyperspectral Image Denoising With Dual Deep CNN》", 《IEEE ACCESS》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112598599A (zh) * | 2020-12-29 | 2021-04-02 | 南京大学 | 一种高光谱图像的去噪模型训练方法及去噪方法 |
| CN112598599B (zh) * | 2020-12-29 | 2024-04-09 | 南京大学 | 一种高光谱图像的去噪模型训练方法及去噪方法 |
| CN113436111A (zh) * | 2021-07-21 | 2021-09-24 | 西北工业大学 | 一种基于网络结构搜索的高光谱遥感图像去噪方法 |
| CN113436111B (zh) * | 2021-07-21 | 2024-01-09 | 西北工业大学 | 一种基于网络结构搜索的高光谱遥感图像去噪方法 |
| CN117152023A (zh) * | 2023-10-30 | 2023-12-01 | 浪潮软件科技有限公司 | 基于结构-纹理分解的压缩图像去噪方法及装置 |
| CN117152023B (zh) * | 2023-10-30 | 2024-02-02 | 浪潮软件科技有限公司 | 基于结构-纹理分解的压缩图像去噪方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Tian et al. | Deep learning on image denoising: An overview | |
| CN111275643B (zh) | 基于通道和空间注意力的真实噪声盲去噪网络系统及方法 | |
| CN111598790A (zh) | 基于对偶深度神经网络的高光谱遥感图像去噪方法 | |
| CN104796582B (zh) | 基于随机喷射retinex的视频图像去噪与增强方法及装置 | |
| CN108765330B (zh) | 基于全局和局部先验联合约束的图像去噪方法和装置 | |
| CN111539893A (zh) | 一种基于导向滤波的Bayer图像联合去马赛克去噪方法 | |
| CN113724164B (zh) | 一种基于融合重构制导滤波的可见光图像噪声去除方法 | |
| Gong et al. | Sub-window box filter | |
| CN106530254A (zh) | 一种基于小波阈值函数与改进中值滤波融合的抑制图像混合噪声算法 | |
| CN107424121B (zh) | 一种基于分数阶微分的模糊图像超分辨率重构方法 | |
| CN108550111B (zh) | 一种基于多级字典学习的残差实例回归超分辨重建方法 | |
| CN106778789B (zh) | 一种多视点图像中的快速目标提取方法 | |
| CN110852947B (zh) | 一种基于边缘锐化的红外图像超分辨方法 | |
| CN117252773A (zh) | 基于自适应颜色校正和导向滤波的图像增强方法及系统 | |
| CN116385312A (zh) | 基于相位相关的低照度图像去噪方法 | |
| CN116862809A (zh) | 一种低曝光条件下的图像增强方法 | |
| CN112927151B (zh) | 一种基于边缘增强和卷积神经网络的图像去噪方法 | |
| Huang et al. | Fast color-guided depth denoising for RGB-D images by graph filtering | |
| CN109345478B (zh) | 一种基于梯度最小化的图像平滑处理方法 | |
| CN110599419A (zh) | 一种防止图像边缘信息丢失的图像去噪方法 | |
| Pakdelazar et al. | Improvement of BM3D algorithm and Employment to satellite and CFA images Denoising | |
| Tun et al. | Image Denoising by Incorporating Noisy Image Patch and Impulse Response of Low-Pass Filter in CNN Learning | |
| CN115482162B (zh) | 一种基于随机重排和无标签模型的隐式图像盲去噪方法 | |
| CN113627468B (zh) | 基于无监督学习的非局部神经网络图像处理方法及系统 | |
| Hsia et al. | Adaptive Wavelet Shrinkage Based On Intelligent FIS Learned Thresholding |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200828 |