CN112634159B - 基于盲噪声估计的高光谱图像去噪方法 - Google Patents

基于盲噪声估计的高光谱图像去噪方法 Download PDF

Info

Publication number
CN112634159B
CN112634159B CN202011541883.9A CN202011541883A CN112634159B CN 112634159 B CN112634159 B CN 112634159B CN 202011541883 A CN202011541883 A CN 202011541883A CN 112634159 B CN112634159 B CN 112634159B
Authority
CN
China
Prior art keywords
noise
image
network
denoising
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011541883.9A
Other languages
English (en)
Other versions
CN112634159A (zh
Inventor
高峰
高琰
董军宇
王会金
曲晓帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ocean University of China
Original Assignee
Ocean University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ocean University of China filed Critical Ocean University of China
Priority to CN202011541883.9A priority Critical patent/CN112634159B/zh
Publication of CN112634159A publication Critical patent/CN112634159A/zh
Application granted granted Critical
Publication of CN112634159B publication Critical patent/CN112634159B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/70
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing

Abstract

基于盲噪声估计的高光谱图像去噪方法,包括将ICVL数据集分为训练数据集和测试数据集两个数据集(干净图像);将训练数据集和测试数据集的图像加上噪声得到噪声图像;将样本训练集的噪声图像送入噪声估计子网络中得到噪声水平估计;再将噪声图像和噪声水平一起输入去噪子网络得到去噪后的干净图像;将训练后的网络用于测试数据集进行测试从而得到去噪后的干净高光谱图像。本发明是由噪声估计子网络和去噪子网络两部分构成,使用噪声估计子网络可以实现图像盲去噪。噪声估计子网络模块使用了多尺度特征融合,能够发挥不同尺度的优势更好地提取噪声特征;同时在损失函数中加入了一个惩罚项,可以实现对噪声的准确估计。

Description

基于盲噪声估计的高光谱图像去噪方法
技术领域
本发明涉及一种基于盲噪声估计的高光谱图像去噪方法,属于图像处理和深度学习技术领域。
背景技术
图像去噪技术旨在对被噪声污染的图像进行噪声去除,随着各式各样的数码产品的普及,数字图像已成为人类活动中获取信息最常用的载体,图像包含着物体的大量信息,成为人们获取外界原始信息的主要途径。然而在图像的获取、传输和存贮过程中常常会受到各种噪声的干扰和影响从而使得图像质量下降,同时图像预处理算法的好坏又直接关系到后续图像处理的效果,如图像分割、目标识别等。因此为了获取高质量数字图像,很有必要对图像进行降噪处理,尽可能的保持原始信息完整性的同时,又能够去除信号中无用的信息。所以,图像去噪技术一直是图像处理和计算机视觉研究的热点。
高光谱图像是由多通道(几十甚至几百个)构成的图像,每个像素点都有很多的数来描述,单个通道上的“灰度值”反映了被拍摄对象对于某一波段的光的反射情况。高光谱图像对于真实场景的每个空间位置都是由大量的离散波段组成,提供了比RGB图像更丰富的场景信息(可以同时获得光谱和空间信息),在遥感、分类、跟踪、人脸识别等方面得到了大量应用。然而,传统的高光谱图像在采集过程中,由于每个频带的光量有限,往往会受到各种噪声的影响。因此,在高光谱图像分析和处理的典型工作流程中,去噪是必不可少的预处理。
高光谱已经应用到很多领域,比如植被测绘、矿物勘探、城市规划和环境监测。然而,高光谱图像在采集、转换、传输、压缩和储存等过程中,常会因成像设备与外部环境因素的影响而引入噪音。噪音的存在不仅影响高光谱图像的视觉效果,而且也限制了后续处理工作的精度。因此,去除噪声对提高图像质量有着十分重要的意义。
图像去噪的最终目的是改善给定的图像,解决实际图像由于噪声干扰而导致图像质量下降的问题。通过去噪技术可以有效地提高图像质量,增大信噪比,更好的体现原来图像所携带的信息。作为一种重要的预处理手段,人们对图像去噪算法进行了广泛的研究。在现有的去噪算法中,有的去噪算法在低维信号图像处理中取得较好的效果,却不适用于高维信号图像处理;或者去噪效果较好,却丢失部分图像边缘信息,或者致力于研究检测图像边缘信息,保留图像细节。因此,如何在抵制噪音和保留细节上找到一个较好的平衡点,成为近年来研究的重点。传统的高光谱图像去噪方法通常使用非局部低秩张量来建模,这种方法通过考虑潜在的特征来达到更高的精度,但这些方法的性能本质上取决于手工先验(如低秩张量)与高光谱图像的内在特征匹配的好坏。这些方法通常将高光谱图像去噪表述为一个复杂的优化问题,需要迭代求解,因此使得去噪过程非常耗时。此外,由于噪声存在于空间域和光谱域,且强度不均匀,这些方法不足以满足这种复杂情况,在较复杂的噪声场景中容易产生过平滑或频谱失真。另一种方法是基于学习的卷积神经网络方法。近年来,以端到端方式解决复杂问题的深度学习理论可以为解决现有方法的不足提供策略。这些类型方法利用专门从大量数据中学习到的特性表示,而不是主要基于领域特定知识设计的手工制作特征。
发明内容
本发明实例期望提供一种基于盲噪声估计的高光谱图像去噪方法,以对带有噪声的图像进行去噪提升图像的质量。本发明实例的技术方案是这样实现的:
基于盲噪声估计的高光谱图像去噪方法方法,包括以下步骤:
将ICVL数据集按比例裁剪并划分为训练数据集和测试数据集两个数据集;
将训练数据集和测试数据集的图像加上噪声得到噪声图像;
将样本训练集的噪声图像输入噪声估计子网络中得到噪声水平估计;
将噪声图像和噪声水平估计一起输入去噪子网络得到去噪后的干净图像;
将训练后的网络用于测试数据集对噪声图像进行测试得到盲去噪后的干净高光谱图像;
本发明的具体步骤包括如下:
(1):一张高光谱噪声图像可被建模为:
X=Y+∈
其中
Figure BDA0002854956840000021
X表示噪声图像,Y表示不含噪声的原始干净高光谱图像,∈表示噪声;H,W,C分别表示图像的空间高度,空间宽度和通道数;
(2):将网上公开的ICVL数据集下载下来,将ICVL数据集种的各个高光谱图像裁剪并按比例划分为训练数据集和测试数据集:
(2.1):ICVL数据集是由多张尺寸为1300×1392×31(H×W×C)的高光谱图像组成,首先取出一张ICVL数据集的图像,以图像中心点为中心,切割一张尺寸为1024×1024×31(H×W×C)的图像,再将切割后的图再次切割为256张尺寸为64×64×31(H×W×C)的图像,将ICVL数据集的每一张图像都做如上切割;
(2.2):将步骤2.1切割得到的所有图像按照8:2的比例进行划分,作为步骤1中的Y;
(3):步骤1中的∈可以表示不同类型的数字图像噪声(本文使用的是高斯噪声和条带噪声),对步骤2.2得到的Y分别加上噪声∈得到高光谱噪声图像,作为步骤1中的X;X因此划分为比列为8∶2的训练数据集和测试数据集;
(4):将步骤3得到的训练数据集用于基于盲噪声估计的高光谱去噪神经网络的训练:
(4.1):所述基于盲噪声估计的高光谱去噪神经网络是基于Pytorch构建的,所构建的网络由噪声估计子网络和去噪子网络两部分组成,步骤4.2-4.10和步骤4.11-4.14分别具体描述了噪声估计子网络和去噪子网络;
(4.2):将步骤3得到的噪声图像输入噪声估计子网络,由于真实的噪声图可能同时包含等级不同的噪声,为更好地捕获噪声特征,噪声估计子网络由三个具有不同感受野的Multiscale(多尺度模块)来获取噪声特征,使用感受野较小的Multiscale捕获尺度特征小的噪声特征,使用感受野较大的Multiscale捕获尺度特征大的噪声特征;
每个Multiscale均由六个Block(子模块)组成,每个Multiscale的输出表示为:
Mj=cat[B1,B2,...,B6]
其中Mj,j=1,2,3表示第j个Multiscale,cat表示拼接,Bi,i=1,2,...,6表示第i个Block的输出;
(4.3):X在进行各个Block操作之后,又分别组合一个transition层,由此步骤4.2中的公式可以进一步写为:
M1=cat[T2(B1(X)),T2(B1(X)),T2(B1(X)),T1(B1(X)),T1(B1(X)),T1(B1(X))]
M2=cat[T2(B2(X)),T2(B2(X)),T3(B2(X)),T3(B2(X)),T1(B2(X)),T1(B2(X))]
M3=cat[T2(B3(X)),T3(B3(X)),T3(B3(X)),T3(B3(X)),T3(B3(X)),T1(B3(X))]
其中,X为输入,B1为感受野为7×7的Block操作,具体写为B1=conv1(σ(Bn(X)));B2为感受野为5×5的Block操作,具体写为B2=conv2(σ(Bn(X)));B3为感受野为3×3的Block操作,具体写为B3=conv3(σ(Bn(X))),其中conv1表示卷积核为7×7的卷积操作,conv2表示卷积核为5×5的卷积操作,conv3表示卷积核为3×3的卷积操作,σ表示ReLU激活函数,Bn表示归一化;
T1为transition-up层操作,具体写为T1=up(conv(σ(Bn(Y))));T2为transition-down层操作,具体写为T2=avg(conv(σ(Bn(Y))));T3为no-sampling transition层操作,具体写为T3=conv(σ(Bn(Y))),其中,Y代表输入,up为上采样操作,conv表示卷积核为1×1的反卷积操作,σ表示ReLU激活函数,Bn表示归一化,avg表示均值池化操作;
(4.4):将步骤4.3中M1,M2,M3进行拼接:
F1=cat[M1,M2,M3]
(4.5):将F1分别进行四种均值池化和上采样:
A1=up(avg1(F1))
A2=up(avg2(F1))
A3=up(avg3(F1))
A4=up(avg4(F1))
其中,up表示上采样,avg1、avg2、avg3、avg4分别表示感受野为32×32、16×16、8×8、4×4的均值池化;
(4.6):将步骤4.5中的A1,A2,A3,A4进行拼接:
F2=cat(A1,A2,A3,A4)
(4.7):将步骤4.6中的F2进行全局平均池化,对于任意特征图而言全局平均池化是将每个通道的所有像素值相加求平均得到一个值,也就是把尺度由4C×H×W变成4C×1×1——H,W泛指图像的空间高度和空间宽度、C表示A1或A2或A3或A4的通道数、4C表示A1-A4的通道数之和,再进行reshape操作使4C×1×1变为4C:
F3=R(GMP(F3))
其中,GMP为全局平均池化,R表示reshape操作;
(4.8):将步骤4.7中的F3进行两次全连接操作,使F3的大小变化为4C→C/4→4C:
F4=δ(fc2(σ(fc1(F3))))
其中,δ为Sigmoid激活函数,σ为ReLU激活函数,fc1为使张量大小变为原来的
Figure BDA0002854956840000041
倍的全连接,fc2为使张量大小变为原来的16倍的全连接;
(4.9):将步骤4.8中的F4拆分为四组向量,其尺寸变化为4C×1×1→4(C×1×1):
F5=L(C(F4))
其中,C表示将F4划分为四组向量,L表示将四组向量竖向排列为上下4行(C×1×1)的形式;
(4.10):将步骤4.6中的F2与步骤4.9中的向量F5按通道相乘,得到四组特征V1,V2,V3,V4,并将他们进行拼接,输出即为噪声水平估计:
F6=cat[V1,V2,V3,V4]
(4.11):将步骤4.10中的噪声估计水平F6与步骤3确立的高光谱噪声图像X进行拼接:
U1=cat[F6,X]
其中,F6表示噪声水平估计图,X表示步骤3的高光谱噪声图像;
(4.12):本方法的去噪子网络是基于UNet结构的,UNet使用到了大量卷积,全部是3×3,因此编写了一个统一操作,记作s:
s=σ(conv2d(z))
其中,σ表示ReLU激活函数,conv2d表示卷积核为3×3的卷积操作,z表示输入;
UNet中有两次下采样和两次上采样,下采样使用均值池化,上采样采用的是反卷积;
下采样:
down=avg1(X)
其中,X表示输入,avg1表示感受野为2×2的均值池化;
上采样:
up=conv1(X)
其中,X表示输入,conv1表示卷积核为2×2的反卷积;
输出层的操作为利用1×1的卷积将通道数为64的特征图转变为通道数为31的特征图,该操作记作out:
out=conv2(X)
其中,X表示输入,conv2表示卷积核为1×1的卷积;
(4.13):将步骤4.11中的U1输入去噪子网络:
U2=out(S5(up2(S4(up1(S3(down2(S2(down1(S1(U1))))))))))
其中,U1表示去噪子网络的输入,down1和down2均表示步骤4.12中的下采样操作down,up1和up2均表示步骤4.12中的上采样操作up,out表示步骤4.12中的输出层操作out,S1表示两次步骤4.12中的s操作,S1=s(s(Z));S2表示三次步骤4.12中的S操作,S2=s(s(s(Z)));S3表示六次步骤4.12中的s操作,S3=s(s(s(s(s(s(Z))))));S4表示三次步骤4.12中的s操作,S4=s(s(s(Z)));S5表示两次步骤4.12中的S操作,S5=s(s(Z));其中Z泛指输入;
在这一过程中,图像的通道数变化为:
Figure BDA0002854956840000051
Figure BDA0002854956840000061
(4.14):经过去噪子网络处理后的输出被认为是噪声的残差映射,和输入图像加在一起,即可得到最终的去噪图像:
U3=U2+X
其中,U2为步骤4.13中去噪子网络的输出,X为步骤4.11得到的高光谱噪声图像;
(5):计算整个网络的损失函数:
进行边缘重建损失,公式为:
Figure BDA0002854956840000062
其中,用sobel算子提取边缘,w表示原始干净图的边缘,v表示去噪后图像的边缘,n表示边缘像素总数,wt表示原始干净图边缘的第t个像素,vt表示去噪后图像边缘的第t个像素;
再进行完整图像重建损失:
Figure BDA0002854956840000063
其中,p表示原始干净图像,q表示去噪后图像,m表示像素总数,pt表示原始干净图的第t个像素,qt表示去噪后图像的第t个像素;
采用感知损失来优化网络:
感知损失使用VGG-19网络,把VGG-19网络的中间层作为目标,计算两个图像经过VGG-19中间层的欧氏距离,用如下数学公式表达:
Figure BDA0002854956840000064
其中,j表示网络的第j层,CjHjWj表示网络第j个特征图的尺寸,d表示原始干净图,e表示去噪后图像,φj(d)表示原始干净图在VGG-19网络的第j层的输出,φj(e)表示去噪后图像在VGG-19网络的第j层的输出;
为了使网络结构可以做到盲去噪,使用含有惩罚项的非对称损失函数,以避免噪声水平图上出现估计不足的情况:
Figure BDA0002854956840000071
其中,
Figure BDA0002854956840000072
表示步骤4.10中的估计噪声F6,z表示步骤3中加入的噪声∈,α设置为0.3;当网络低估噪声等级时,
Figure BDA0002854956840000073
成立,则
Figure BDA0002854956840000074
即可对损失起到放大的作用;当网络高估噪声等级时,
Figure BDA0002854956840000075
不成立,则
Figure BDA0002854956840000076
即可对损失起到缩小的作用;
综上,完整的损失函数可定义为:
Loss=Loss1+Loss2+Loss3+Loss4
然后计算步骤4.14所得的U3与原始干净高光谱图像Y的Loss,
然后使用自适应矩估计优化基于盲噪声估计的神经网络;
(6):将步骤3中的测试集加入噪声后输入到优化后的基于盲噪声估计的神经网络,按照步骤4.2至4.14所述过程获得关于测试集的去噪图像。
本发明实例所提供的基于盲噪声估计的高光谱图像去噪方法,通过所述的噪声估计子网络对高光谱噪声图像进行盲噪声估计获得噪声水平,再将噪声图像和噪声水平估计一起输入去噪子网络进行图像去噪,利用了多尺度卷积神经网络的提取特征优势和噪声水平估计对于去噪子网络的引导作用。本发明所提供的基于多尺度卷积神经网络的高光谱图像去噪方法具有如下优点:
1.本发明提出了一种盲去噪的方法,其是由噪声估计子网络和去噪子网络构成。噪声估计子网络对高光谱噪声图像进行噪声估计,使用了不对称损失很好地提高了对真实噪声水平的估计能力。
2.本发明的多尺度卷积神经网络通过融合不同尺度的卷积获得的特征,能够更好地提取噪声特征,从而获得更鲁棒的噪声估计水平,提高对高光谱图像的去噪能力。
3.本发明采用了多种噪声水平进行训练以提高网络的去噪泛化能力,并且该网络对遥感噪声图像去噪也取得了不错的效果。
附图说明
图1为本发明的步骤流程图。
图2为本发明的整体流程示意图。
图3为不同方法对高斯噪声为30的噪声图像进行去噪的结果对比图。
图4为不同方法对含有混合噪声(高斯噪声和条带噪声)的噪声图像进行去噪的结果对比图。
图5为本发明的网络结构图。
图6为Multiscale的具体结构图。
具体实施方式
如图1、2所示,本发明实现的具体步骤:
步骤1:一张高光谱噪声图像可被建模为:
X=Y+∈
其中
Figure BDA0002854956840000081
X表示噪声图像,Y表示不含噪声的原始干净高光谱图像,∈表示噪声;H,W,C分别表示图像的空间高度,空间宽度和通道数;
步骤2:将网上公开的ICVL数据集下载下来,将ICVL数据集种的各个高光谱图像裁剪并按比例划分为训练数据集和测试数据集:
步骤2.1:ICVL数据集是由多张尺寸为1300×1392×31(H×W×C)的高光谱图像组成,首先取出一张ICVL数据集的图像,以图像中心点为中心,切割一张尺寸为1024×1024×31(H×W×C)的图像,再将切割后的图再次切割为256张尺寸为64×64×31(H×W×C)的图像,将ICVL数据集的每一张图像都做如上切割;
步骤2.2:将步骤2.1切割得到的所有图像按照8:2的比例进行划分,作为步骤1中的Y;
步骤3:步骤1中的∈可以表示不同类型的数字图像噪声(本文使用的是高斯噪声和条带噪声),对步骤2.2得到的Y分别加上噪声∈得到高光谱噪声图像,作为步骤1中的X;X因此划分为比列为8:2的训练数据集和测试数据集;
步骤4:将步骤3得到的训练数据集用于基于盲噪声估计的高光谱去噪神经网络的训练:
步骤4.1:所述基于盲噪声估计的高光谱去噪神经网络是基于Pytorch构建的,如图5所示,所构建的网络由噪声估计子网络和去噪子网络两部分组成,步骤4.2-4.10和步骤4.11-4.14分别具体描述了噪声估计子网络和去噪子网络;
步骤4.2:将步骤3得到的噪声图像输入噪声估计子网络,由于真实的噪声图可能同时包含等级不同的噪声,为更好地捕获噪声特征,噪声估计子网络由三个具有不同感受野的Multiscale(多尺度模块)来获取噪声特征,使用感受野较小的Multiscale捕获尺度特征小的噪声特征,使用感受野较大的Multiscale捕获尺度特征大的噪声特征;
如图6所示,每个Multiscale均由六个Block(子模块)组成,每个Multiscale的输出表示为:
Mj=cat[B1,B2,...,B6]
其中Mj,j=1,2,3表示第j个Multiscale,cat表示拼接,Bi,i=1,2,...,6表示第i个Block的输出;
步骤4.3:X在进行各个Block操作之后,又分别组合一个transition层,由此步骤4.2中的公式可以进一步写为:
M1=cat[T2(B1(X)),T2(B1(X)),T2(B1(X)),T1(B1(X)),T1(B1(X)),T1(B1(X))]
M2=cat[T2(B2(X)),T2(B2(X)),T3(B2(X)),T3(B2(X)),T1(B2(X)),T1(B2(X))]
M3=cat[T2(B3(X)),T3(B3(X)),T3(B3(X)),T3(B3(X)),T3(B3(X)),T1(B3(X))]
其中,X为输入,B1为感受野为7×7的Block操作,具体写为B1=conv1(σ(Bn(X)));B2为感受野为5×5的Block操作,具体写为B2=conv2(σ(Bn(X)));B3为感受野为3×3的Block操作,具体写为B3=conv3(σ(Bn(X))),其中conv1表示卷积核为7×7的卷积操作,conv2表示卷积核为5×5的卷积操作,conv3表示卷积核为3×3的卷积操作,σ表示ReLU激活函数,Bn表示归一化;
T1为transition-up层操作,具体写为T1=up(conv(σ(Bn(Y))));T2为transition-down层操作,具体写为T2=avg(conv(σ(Bn(Y))));T3为no-sampling transition层操作,具体写为T3=conv(σ(Bn(Y))),其中,Y代表输入,up为上采样操作,conv表示卷积核为1×1的反卷积操作,σ表示ReLU激活函数,Bn表示归一化,avg表示均值池化操作;
步骤4.4:将步骤4.3中M1,M2,M3进行拼接:
F1=cat[M1,M2,M3]
步骤4.5:将F1分别进行四种均值池化和上采样:
A1=up(avg1(F1))
A2=up(avg2(F1))
A3=up(avg3(F1))
A4=up(avg4(F1))
其中,up表示上采样,avg1、avg2、avg3、avg4分别表示感受野为32×32、16×16、8×8、4×4的均值池化;
步骤4.6:将步骤4.5中的A1,A2,A3,A4进行拼接:
F2=cat(A1,A2,A3,A4)
步骤4.7:将步骤4.6中的F2进行全局平均池化,对于任意特征图而言全局平均池化是将每个通道的所有像素值相加求平均得到一个值,也就是把尺度由4C×H×W变成4C×1×1——H,W泛指图像的空间高度和空间宽度、C表示A1或A2或A3或A4的通道数、4C表示A1-A4的通道数之和,再进行reshape操作使4C×1×1变为4C:
F3=R(GMP(F3))
其中,GMP为全局平均池化,R表示reshape操作;
步骤4.8:将步骤4.7中的F3进行两次全连接操作,使F3的大小变化为4C→C/4→4C:
F4=δ(fc2(σ(fc1(F3))))
其中,δ为Sigmoid激活函数,σ为ReLU激活函数,fc1为使张量大小变为原来的
Figure BDA0002854956840000101
倍的全连接,fc2为使张量大小变为原来的16倍的全连接;
步骤4.9:将步骤4.8中的F4拆分为四组向量,其尺寸变化为4C×1×1→4(C×1×1):
F5=L(C(F4))
其中,C表示将F4划分为四组向量,L表示将四组向量竖向排列为上下4行(C×1×1)的形式;
步骤4.10:将步骤4.6中的F2与步骤4.9中的向量F5按通道相乘,得到四组特征V1,V2,V3,V4,并将他们进行拼接,输出即为噪声水平估计:
F6=cat[V1,V2,V3,V4]
步骤4.11:将步骤4.10中的噪声估计水平F6与步骤3确立的高光谱噪声图像X进行拼接:
U1=cat[F6,X]
其中,F6表示噪声水平估计图,X表示步骤3的高光谱噪声图像;
步骤4.12:本方法的去噪子网络是基于UNet结构的,UNet使用到了大量卷积,全部是3×3,因此编写了一个统一操作,记作s:
s=σ(conv2d(z))
其中,σ表示ReLU激活函数,conv2d表示卷积核为3×3的卷积操作,z表示输入;
UNet中有两次下采样和两次上采样,下采样使用均值池化,上采样采用的是反卷积;
下采样:
down=avg1(X)
其中,X表示输入,avg1表示感受野为2×2的均值池化;
上采样:
up=conv1(X)
其中,X表示输入,conv1表示卷积核为2×2的反卷积;
输出层的操作为利用1×1的卷积将通道数为64的特征图转变为通道数为31的特征图,该操作记作out:
out=conv2(X)
其中,X表示输入,conv2表示卷积核为1×1的卷积;
步骤4.13:将步骤4.11中的U1输入去噪子网络:
U2=out(S5(up2(S4(up1(S3(down2(S2(down1(S1(U1))))))))))
其中,U1表示去噪子网络的输入,down1和down2均表示步骤4.12中的下采样操作down,up1和up2均表示步骤4.12中的上采样操作up,out表示步骤4.12中的输出层操作out,S1表示两次步骤4.12中的s操作,S1=s(s(Z));S2表示三次步骤4.12中的s操作,S2=s(s(s(Z)));S3表示六次步骤4.12中的s操作,S3=s(s(s(s(s(s(Z))))));S4表示三次步骤4.12中的s操作,S4=s(s(s(Z)));S5表示两次步骤4.12中的s操作,S5=s(s(Z));其中Z泛指输入;
在这一过程中,图像的通道数变化为:
步骤 通道数变化
S<sub>1</sub> 62→64→64
down<sub>1</sub> 64
S<sub>2</sub> 64→128→128→128
down<sub>2</sub> 128
S<sub>3</sub> 128→256→256→256→256→256→256
up<sub>1</sub> 256→128
S<sub>4</sub> 128→128→128→128
up<sub>2</sub> 128→64
S<sub>5</sub> 64→64→64
out 64→31
步骤4.14:经过去噪子网络处理后的输出被认为是噪声的残差映射,和输入图像加在一起,即可得到最终的去噪图像:
U3=U2+X
其中,U2为步骤4.13中去噪子网络的输出,X为步骤4.11得到的高光谱噪声图像;
步骤5:计算整个网络的损失函数:
进行边缘重建损失,公式为:
Figure BDA0002854956840000111
其中,用sobel算子提取边缘,w表示原始干净图的边缘,v表示去噪后图像的边缘,n表示边缘像素总数,wt表示原始干净图边缘的第t个像素,vt表示去噪后图像边缘的第t个像素;
再进行完整图像重建损失:
Figure BDA0002854956840000121
其中,p表示原始干净图像,q表示去噪后图像,m表示像素总数,pt表示原始干净图的第t个像素,qt表示去噪后图像的第t个像素;
采用感知损失来优化网络:
感知损失使用VGG-19网络,把VGG-19网络的中间层作为目标,计算两个图像经过VGG-19中间层的欧氏距离,用如下数学公式表达:
Figure BDA0002854956840000122
其中,j表示网络的第j层,CjHjWj表示网络第j个特征图的尺寸,d表示原始干净图,e表示去噪后图像,φj(d)表示原始干净图在VGG-19网络的第j层的输出,φj(e)表示去噪后图像在VGG-19网络的第j层的输出;
为了使网络结构可以做到盲去噪,使用含有惩罚项的非对称损失函数,以避免噪声水平图上出现估计不足的情况:
Figure BDA0002854956840000123
其中,
Figure BDA0002854956840000124
表示步骤4.10中的估计噪声F6,z表示步骤3中加入的噪声∈,α设置为0.3;当网络低估噪声等级时,
Figure BDA0002854956840000125
成立,则
Figure BDA0002854956840000126
即可对损失起到放大的作用;当网络高估噪声等级时,
Figure BDA0002854956840000127
不成立,则
Figure BDA0002854956840000128
即可对损失起到缩小的作用;
综上,完整的损失函数可定义为:
Loss=Loss1+Loss2+Loss3+Loss4
然后计算步骤4.14所得的U3与原始干净高光谱图像Y的Loss,
然后使用自适应矩估计优化基于盲噪声估计的神经网络;
步骤6:将步骤3中的测试集加入噪声后输入到优化后的基于盲噪声估计的神经网络,按照步骤4.2至4.14所述过程获得关于测试集的去噪图像。
下面结合仿真实验对本发明的效果进一步说明:
本发明的仿真实验在Intel Xeon E5-2620、NVIDIA TITAN XP、内存16GB的硬件环境和Ubuntu 16.04.6、Keras、Matlab2016a的软件环境下进行,实验对象为ICVL数据集、Pavia University数据集。ICVL数据集由是用specimps-kappadx4高光谱相机和旋转台进行空间扫描获得的,在519个光谱带(400-1000nm,增量约为1.25nm)上以1392×1300的空间分辨率采集图像。ICVL数据集采用.mat文件,提供了从400nm到700nm的31个光谱通道的数据,增量为10nm。Pavia University数据集是由ROSIS传感器获取的,传感器一共有115个波段,经过处理后,Pavia University数据有103个波段,大小为610×340。
本发明方法与现有比较先进的图像去噪方法的对比结果参见图3和图4。对比试验中的Block-Matching 4D filtering(下述简写为BM4D)方法是文章“Nonlocal transform-domain fifilter for volumetric data denoising and reconstruction.”中提出的;Decomposable Nonlocal Tensor Dictionary Learning(下述简写为TDL)方法是文章“Decomposable nonlocal tensor dictionary learning for multispectral imagedenoising.”中提出的;HSID-CNN方法是文章“Hyperspectral image denoisingemploying a spatial-spectral deep residual convolutional neural network.”中提出的;Low-rank matrix recovery(下述简写为LRMR)方法是文章“Hyperspectral imagerestoration using low-rank matrix recovery.”中提出的;Low-rank total variation(下述简写为LRTV)方法是文章“Total-variation-regularized low-rank matrixfactorization for hyperspectral image restoration.”中提出的。如图3所示,虽然输入图像存在强烈噪声,本发明方法依旧能够对噪声进行较好地去除,提高图像的质量。
本发明使用峰值信噪比(PSNR)、结构相似性(SSIM)和光谱角测度(SAM)在客观指标上与上述方法进行对比,计算方法如下:
Figure BDA0002854956840000131
Figure BDA0002854956840000132
Figure BDA0002854956840000133
其中,
Figure BDA0002854956840000136
表示图片可能的最大像素值,MSE表示均方误差;x,y表示两张样本图像,μx表示x的平均值,μy表示y的平均值,
Figure BDA0002854956840000134
表示x的方差,
Figure BDA0002854956840000135
表示y的方差,σxy表示x和y的协方差,c1=(k1L)2,c2=(k2L)2是用来维持稳定的常数;cos表示余弦,x*表示未知向量,xi表示已知向量。
表1和表2显示了本发明与上述方法的对比。
表1:不同去噪方法在不同噪声水平下对ICVL数据集去噪的定量结果,30,50,70分别为不同的高斯噪声强度,Mixture noise表示混合了高斯噪声,条带噪声,椒盐噪声的噪声。从表中可以看到,本方明的方法指标较好,这说明本发明的方法能够对噪声进行有效的去除,提高图片质量。
Figure BDA0002854956840000141
表2:不同去噪方法对带有混合噪声的Pavia University数据集进行去噪的定量结果,该噪声混合了混合了高斯噪声,条带噪声,椒盐噪声。从表中可以看到,本方明的方法指标较好,这说明本发明的方法能够对高光谱遥感噪声图像进行有效的噪声去除操作,提高图片质量。
Figure BDA0002854956840000142
以上对本发明所提供的基于盲噪声估计的高光谱图像去噪方法作了详细的说明,但显然本发明的具体实现形式并不局限于此。对于本技术领域的一般技术人员来说,在不背离本发明的权利要求范围的情况下对它进行的各种显而易见的改变都在本发明的保护范围之内。

Claims (1)

1.一种基于盲噪声估计的高光谱图像去噪方法,其特征是包括以下步骤:
步骤1:一张高光谱噪声图像可被建模为:
X=Y+∈
其中
Figure FDA0003514053780000011
X表示噪声图像,Y表示不含噪声的原始干净高光谱图像,∈表示噪声;H,W,C分别表示图像的空间高度,空间宽度和通道数;
步骤2:将ICVL数据集下载下来,将ICVL数据集中的各个高光谱图像裁剪并按比例划分为训练数据集和测试数据集:
步骤2.1:ICVL数据集是由多张尺寸为H×W×C=1300×1392×31的高光谱图像组成,首先取出一张ICVL数据集的图像,以图像中心点为中心,切割一张尺寸为1024×1024×31的图像,再将切割后的图再次切割为256张尺寸为64×64×31的图像,将ICVL数据集的每一张图像都做如上切割;
步骤2.2:将步骤2.1切割得到的所有图像按照8:2的比例进行划分,作为步骤1中的Y;
步骤3:步骤1中的∈可以表示不同类型的数字图像噪声,对步骤2.2得到的Y分别加上噪声∈得到高光谱噪声图像,作为步骤1中的X;X因此划分成比例为8:2的训练数据集和测试数据集;
步骤4:将步骤3得到的训练数据集用于基于盲噪声估计的高光谱去噪神经网络的训练:
步骤4.1:所述基于盲噪声估计的高光谱去噪神经网络是基于Pytorch构建的,所构建的网络由噪声估计子网络和去噪子网络两部分组成,步骤4.2-4.10和步骤4.11-4.14分别具体描述了噪声估计子网络和去噪子网络;
步骤4.2:将步骤3得到的噪声图像输入噪声估计子网络,由于真实的噪声图可能同时包含等级不同的噪声,为更好地捕获噪声特征,噪声估计子网络由三个具有不同感受野的Multiscale来获取噪声特征,使用感受野较小的Multiscale捕获尺度特征小的噪声特征,使用感受野较大的Multiscale捕获尺度特征大的噪声特征;
每个Multiscale均由六个Block组成,每个Multiscale的输出表示为:
Mj=cat[B1,B2,…,B6]
其中Mj,j=1,2,3表示第j个Multiscale,cat表示拼接,Bi,i=1,2,…,6表示第i个Block的输出;
步骤4.3:X在进行各个Block操作之后,又分别组合一个transition层,由此步骤4.2中的公式则进一步写为:
M1=cat[T2(B1(X)),T2(B1(X)),T2(B1(X)),T1(B1(X)),T1(B1(X)),T1(B1(X))]
M2=cat[T2(B2(X)),T2(B2(X)),T3(B2(X)),T3(B2(X)),T1(B2(X)),T1(B2(X))]
M3=cat[T2(B3(X)),T3(B3(X)),T3(B3(X)),T3(B3(X)),T3(B3(X)),T1(B3(X))]
其中,X为输入,B1为感受野为7×7的Block操作,具体写为B1=conv1(σ(Bn(X)));B2为感受野为5×5的Block操作,具体写为B2=conv2(σ(Bn(X)));B3为感受野为3×3的Block操作,具体写为B3=conv3(σ(Bn(X))),其中conv1表示卷积核为7×7的卷积操作,conv2表示卷积核为5×5的卷积操作,conv3表示卷积核为3×3的卷积操作,σ表示ReLU激活函数,Bn表示归一化;
T1为transition-up层操作,具体写为T1=up(conv(σ(Bn(Y))));T2为transition-down层操作,具体写为T2=avg(conv(σ(Bn(Y))));T3为no-sampling transition层操作,具体写为T3=conv(σ(Bn(Y))),其中,Y代表输入,up为上采样操作,conv表示卷积核为1×1的反卷积操作,σ表示ReLU激活函数,Bn表示归一化,avg表示均值池化操作;
步骤4.4:将步骤4.3中M1,M2,M3进行拼接:
F1=cat[M1,M2,M3]
步骤4.5:将F1分别进行四种均值池化和上采样:
A1=up(avg1(F1))
A2=up(avg2(F1))
A3=up(avg3(F1))
A4=up(avg4(F1))
其中,up表示上采样,avg1、avg2、avg3、avg4分别表示感受野为32×32、16×16、8×8、4×4的均值池化;
步骤4.6:将步骤4.5中的A1,A2,A3,A4进行拼接:
F2=cat(A1,A2,A3,A4)
步骤4.7:将步骤4.6中的F2进行全局平均池化,对于任意特征图而言全局平均池化是将每个通道的所有像素值相加求平均得到一个值,也就是把尺度由4C×H×W变成4C×1×1——H,W泛指图像的空间高度和空间宽度、C表示A1或A2或A3或A4的通道数、4C表示A1-A4的通道数之和,再进行reshape操作使4C×1×1变为4C:
F3=R(GMP(F3))
其中,GMP为全局平均池化,R表示reshape操作;
步骤4.8:将步骤4.7中的F3进行两次全连接操作,使F3的大小变化为4C→C/4→4C:
F4=δ(fc2(σ(fc1(F3))))
其中,δ为Sigmoid激活函数,σ为ReLU激活函数,fc1为使张量大小变为原来的
Figure FDA0003514053780000031
倍的全连接,fc2为使张量大小变为原来的16倍的全连接;
步骤4.9:将步骤4.8中的F4拆分为四组向量,其尺寸变化为4C×1×1→4(C×1×1):
F5=L(C(F4))
其中,C表示将F4划分为四组向量,L表示将四组向量竖向排列为上下4行的形式;
步骤4.10:将步骤4.6中的F2与步骤4.9中的向量F5按通道相乘,得到四组特征V1,V2,V3,V4,并将他们进行拼接,输出即为噪声水平估计:
F6=cat[V1,V2,V3,V4]
步骤4.11:将步骤4.10中的噪声估计水平F6与步骤3确立的高光谱噪声图像X进行拼接:
U1=cat[F6,X]
其中,F6表示噪声水平估计图,X表示步骤3的高光谱噪声图像;
步骤4.12:本方法的去噪子网络是基于UNet结构的,UNet使用到了大量卷积,全部是3×3,因此编写了一个统一操作,记作s:
s=σ(conv2d(z))
其中,σ表示ReLU激活函数,conv2d表示卷积核为3×3的卷积操作,z表示输入;
UNet中有两次下采样和两次上采样,下采样使用均值池化,上采样采用的是反卷积;
下采样:
down=avg5(X)
其中,X表示输入,avg5表示感受野为2×2的均值池化;
上采样:
up=conv4(X)
其中,X表示输入,conv4表示卷积核为2×2的反卷积;
输出层的操作为利用1×1的卷积将通道数为64的特征图转变为通道数为31的特征图,该操作记作out:
out=conv5(X)
其中,X表示输入,conv5表示卷积核为1×1的卷积;
步骤4.13:将步骤4.11中的U1输入去噪子网络:
U2=out(S5(up2(S4(up1(S3(down2(S2(down1(S1(U1))))))))))
其中,U1表示去噪子网络的输入,down1和down2均表示步骤4.12中的下采样操作down,up1和up2均表示步骤4.12中的上采样操作up,out表示步骤4.12中的输出层操作out,S1表示两次步骤4.12中的s操作,S1=s(s(Z));S2表示三次步骤4.12中的s操作,S2=s(s(s(Z)));S3表示六次步骤4.12中的s操作,S3=s(s(s(s(s(s(Z))))));S4表示三次步骤4.12中的s操作,S4=s(s(s(Z)));S5表示两次步骤4.12中的s操作,S5=s(s(Z));其中Z泛指输入;
在这一过程中,图像的通道数变化为:
Figure FDA0003514053780000041
步骤4.14:经过去噪子网络处理后的输出被认为是噪声的残差映射,和输入图像加在一起,即得到最终的去噪图像:
U3=U2+X
其中,U2为步骤4.13中去噪子网络的输出,X为步骤4.11得到的高光谱噪声图像;
步骤5:计算整个网络的损失函数:
进行边缘重建损失,公式为:
Figure FDA0003514053780000042
其中,用sobel算子提取边缘,w表示原始干净图的边缘,v表示去噪后图像的边缘,n表示边缘像素总数,wt表示原始干净图边缘的第t个像素,vt表示去噪后图像边缘的第t个像素;
再进行完整图像重建损失:
Figure FDA0003514053780000043
其中,p表示原始干净图像,q表示去噪后图像,m表示像素总数,pt表示原始干净图的第t个像素,qt表示去噪后图像的第t个像素;
采用感知损失来优化网络:
感知损失使用VGG-19网络,把VGG-19网络的中间层作为目标,计算两个图像经过VGG-19中间层的欧氏距离,用如下数学公式表达:
Figure FDA0003514053780000051
其中,j表示网络的第j层,CjHjWj表示网络第j个特征图的尺寸,d表示原始干净图,e表示去噪后图像,φj(d)表示原始干净图在VGG-19网络的第j层的输出,φj(e)表示去噪后图像在VGG-19网络的第j层的输出;
为了使网络结构可以做到盲去噪,使用含有惩罚项的非对称损失函数,以避免噪声水平图上出现估计不足的情况:
Figure FDA0003514053780000052
其中,
Figure FDA0003514053780000053
表示步骤4.10中的估计噪声F6,z表示步骤3中加入的噪声∈,α设置为0.3;当网络低估噪声等级时,
Figure FDA0003514053780000054
成立,则
Figure FDA0003514053780000055
|1-α|>0.5,即可对损失起到放大的作用;当网络高估噪声等级时,
Figure FDA0003514053780000056
不成立,则
Figure FDA0003514053780000057
|0-α|<0.5,即可对损失起到缩小的作用;
综上,完整的损失函数可定义为:
Loss=Loss1+Loss2+Loss3+Loss4
然后计算步骤4.14所得的U3与原始干净高光谱图像Y的Loss,
然后使用自适应矩估计优化基于盲噪声估计的神经网络;
步骤6:将步骤3中的测试集加入噪声后输入到优化后的基于盲噪声估计的神经网络,按照步骤4.2至4.14所述过程获得关于测试集的去噪图像。
CN202011541883.9A 2020-12-23 2020-12-23 基于盲噪声估计的高光谱图像去噪方法 Active CN112634159B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011541883.9A CN112634159B (zh) 2020-12-23 2020-12-23 基于盲噪声估计的高光谱图像去噪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011541883.9A CN112634159B (zh) 2020-12-23 2020-12-23 基于盲噪声估计的高光谱图像去噪方法

Publications (2)

Publication Number Publication Date
CN112634159A CN112634159A (zh) 2021-04-09
CN112634159B true CN112634159B (zh) 2022-07-26

Family

ID=75321954

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011541883.9A Active CN112634159B (zh) 2020-12-23 2020-12-23 基于盲噪声估计的高光谱图像去噪方法

Country Status (1)

Country Link
CN (1) CN112634159B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113229767B (zh) * 2021-04-12 2022-08-19 佛山市顺德区美的洗涤电器制造有限公司 用于处理图像的方法、处理器、控制装置及家用电器
CN113191968B (zh) * 2021-04-19 2024-02-09 华中科技大学 三维超声图像盲去噪模型的建立方法及其应用
CN113436111B (zh) * 2021-07-21 2024-01-09 西北工业大学 一种基于网络结构搜索的高光谱遥感图像去噪方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104966271A (zh) * 2015-05-28 2015-10-07 电子科技大学 基于生物视觉感受野机制的图像去噪方法
CN108876737A (zh) * 2018-06-06 2018-11-23 武汉大学 一种联合残差学习和结构相似度的图像去噪方法
CN109685119A (zh) * 2018-12-07 2019-04-26 中国人民解放军陆军工程大学 一种随机最大池化深度卷积神经网络噪声图形分类方法
CN110503608A (zh) * 2019-07-13 2019-11-26 贵州大学 基于多视角的卷积神经网络的图像去噪方法
CN110599409A (zh) * 2019-08-01 2019-12-20 西安理工大学 基于多尺度卷积组与并行的卷积神经网络图像去噪方法
CN111127356A (zh) * 2019-12-18 2020-05-08 清华大学深圳国际研究生院 一种图像盲去噪系统
CN111563846A (zh) * 2019-10-23 2020-08-21 哈尔滨理工大学 一种基于压缩神经网络的图像去噪方法
CN111986114A (zh) * 2020-08-21 2020-11-24 南京理工大学 一种基于自监督约束的双尺度图像盲去噪方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104966271A (zh) * 2015-05-28 2015-10-07 电子科技大学 基于生物视觉感受野机制的图像去噪方法
CN108876737A (zh) * 2018-06-06 2018-11-23 武汉大学 一种联合残差学习和结构相似度的图像去噪方法
CN109685119A (zh) * 2018-12-07 2019-04-26 中国人民解放军陆军工程大学 一种随机最大池化深度卷积神经网络噪声图形分类方法
CN110503608A (zh) * 2019-07-13 2019-11-26 贵州大学 基于多视角的卷积神经网络的图像去噪方法
CN110599409A (zh) * 2019-08-01 2019-12-20 西安理工大学 基于多尺度卷积组与并行的卷积神经网络图像去噪方法
CN111563846A (zh) * 2019-10-23 2020-08-21 哈尔滨理工大学 一种基于压缩神经网络的图像去噪方法
CN111127356A (zh) * 2019-12-18 2020-05-08 清华大学深圳国际研究生院 一种图像盲去噪系统
CN111986114A (zh) * 2020-08-21 2020-11-24 南京理工大学 一种基于自监督约束的双尺度图像盲去噪方法及系统

Also Published As

Publication number Publication date
CN112634159A (zh) 2021-04-09

Similar Documents

Publication Publication Date Title
CN112634159B (zh) 基于盲噪声估计的高光谱图像去噪方法
CN112308832B (zh) 一种基于机器视觉的轴承质量检测方法
CN106846289B (zh) 一种红外光强与偏振图像融合方法
CN113673590B (zh) 基于多尺度沙漏密集连接网络的去雨方法、系统和介质
CN112308873B (zh) 多尺度Gabor小波PCA融合图像边缘检测方法
CN106815819B (zh) 多策略粮虫视觉检测方法
CN105894483B (zh) 一种基于多尺度图像分析和块一致性验证的多聚焦图像融合方法
CN109961408B (zh) 基于nsct和块匹配滤波的光子计数图像去噪方法
Ma et al. Enhanced non-local cascading network with attention mechanism for hyperspectral image denoising
CN111696043A (zh) 一种三维fsrcnn的高光谱图像超分辨率重建算法
Xie et al. Trainable spectral difference learning with spatial starting for hyperspectral image denoising
CN111008664A (zh) 一种基于空谱联合特征的高光谱海冰检测方法
Li et al. Spectral-spatial sparse subspace clustering based on three-dimensional edge-preserving filtering for hyperspectral image
Singh et al. A review of image fusion: Methods, applications and performance metrics
Gebremeskel A critical analysis of the multi-focus image fusion using discrete wavelet transform and computer vision
CN109934102B (zh) 一种基于图像超分辨率的指静脉识别方法
CN108830829B (zh) 联合多种边缘检测算子的无参考质量评价算法
CN115272873A (zh) 基于梯度域的高光谱图像非线性特征预处理系统及方法
CN114862883A (zh) 一种目标边缘提取方法、图像分割方法及系统
Meenakshisundaram Quality assessment of IKONOS and Quickbird fused images for urban mapping
Rony et al. BottleNet18: Deep Learning-Based Bottle Gourd Leaf Disease Classification
CN111259914A (zh) 一种茶树叶特征信息高光谱提取方法
Gantenapalli et al. Selective mean filtering for reducing impulse noise in digital color images
AKINTOYE et al. COMPOSITE MEDIAN WIENER FILTER BASED TECHNIQUE FOR IMAGE ENHANCEMENT.
Parlewar et al. An Efficient Saliency Detection Using Wavelet Fusion Check for updates

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant