CN111915506B - 一种序列图像条带噪声消除方法 - Google Patents
一种序列图像条带噪声消除方法 Download PDFInfo
- Publication number
- CN111915506B CN111915506B CN202010566369.4A CN202010566369A CN111915506B CN 111915506 B CN111915506 B CN 111915506B CN 202010566369 A CN202010566369 A CN 202010566369A CN 111915506 B CN111915506 B CN 111915506B
- Authority
- CN
- China
- Prior art keywords
- layer
- image
- dimensional convolution
- activation
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 40
- 238000000605 extraction Methods 0.000 claims abstract description 26
- 238000012549 training Methods 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 11
- 230000004913 activation Effects 0.000 claims description 96
- 230000009467 reduction Effects 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 6
- 238000005520 cutting process Methods 0.000 claims description 2
- 230000008030 elimination Effects 0.000 abstract description 5
- 238000003379 elimination reaction Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 10
- 238000004088 simulation Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种序列图像条带噪声消除方法,包括:利用三维卷积构建序列图像时空关联信息提取模块;利用二维卷积构建图像二维重建模块;根据所述序列图像时空关联信息提取模块和所述图像二维重建模块构成初始卷积神经网络;创建序列图像训练集;利用所述序列图像训练集对所述初始卷积神经网络进行训练,得到训练后的卷积神经网络;将含有条带噪声的序列图像送入所述训练后的卷积神经网络中进行处理,得到去噪后的图像。该序列图像条带噪声消除方法将序列图像时空关联信息提取模块加入到原始卷积神经网络中,可以通过学习帧间相似信息更好地预测噪声。
Description
技术领域
本发明属于数字图像处理技术领域,具体涉及一种序列图像条带噪声消除方法。
背景技术
图像传感器由于制造工艺的限制和环境的影响,在成像过程中会产生条纹状的固定模式噪声,从而严重影响了图像信噪比。特别是在红外或高光谱成像系统中,图像因条带噪声的污染而大量丢失图像细节,从而对后续的目标检测识别带来巨大困难。鉴于制造工艺的改进周期长、投入大,因此,基于信号处理的图像复原技术对消除图像条带噪声还原原始场景信息具有重要价值。
传统的图像去噪算法利用图像先验模型进行去噪,比如非局部自相似模型、梯度模型、稀疏字典模型与马尔科夫随机场模型。经典的三维块匹配(BM3D)算法及其变体对彩色图像的扩展CBM3D,其主要思想是基于三维非局部相似块匹配。三维非局部相似块匹配与传统的非局部平均思想(NLM)不同,其采用硬阈值线性变换来寻找相似块,然后用联合滤波的方法对这些三维数组进行处理,最后通过逆变换把处理后的结果返回到原图像中,从而得到去噪后的图像。传统的图像去噪算法通常在处理优化问题上比较复杂,去噪过程中往往涉及繁琐的调参,且在噪声去除和细节保留方面的效果也不尽如人意。
近年来,卷积神经网络(CNN)不断应用到图像处理中,很多学者已经开发研究了许多用于图像去噪的卷积神经网络模型并取得不错的效果。2017年,Zhang等提出了一种深度残差网络(DnCNN)用于去除图像中的高斯噪声。DnCNN不对图像本身进行学习,而是以输出与噪声的L2范数为损失函数来训练网络,并且在该网络中引入BN层以解决深层网络无法收敛的问题。通过实验结果对比,DnCNN在不同噪声水平是的去噪效果优于BM3D等算法模型。2018年,Xiao等提出了一种十层的残差网络(ICSRN)用于去除图像中的条带噪声,该网络通过对网络层进行拼接以得到更多的特征表示,ICSRN对条带噪声的去除取得了一定效果,但在细节恢复方面仍需提高。目前,图像去噪领域已经取得了很大发展,各种卷积神经网络模型被不断提出,但都普遍存在噪声残留严重、细节恢复效果差等问题。
发明内容
为了解决现有技术中存在的上述问题,本发明提供了一种序列图像条带噪声消除方法。本发明要解决的技术问题通过以下技术方案实现:
本发明提供了一种序列图像条带噪声消除方法,所述方法包括:
S1:利用三维卷积构建序列图像时空关联信息提取模块;
S2:利用二维卷积构建图像二维重建模块;
S3:根据所述序列图像时空关联信息提取模块和所述图像二维重建模块构成初始卷积神经网络;
S4:创建序列图像训练集;
S5:利用所述序列图像训练集对所述初始卷积神经网络进行训练,得到训练后的卷积神经网络;
S6:将含有条带噪声的序列图像送入所述训练后的卷积神经网络中进行处理,得到去噪后的图像。
在本发明的一个实施例中,所述序列图像时空关联信息提取模块包括依次连接的空间维卷积、时间维卷积、融合层和降维层,其中,所述空间维卷积包括第一三维卷积层和第一激活层,所述时间维卷积包括第二三维卷积层和第二激活层,所述融合层包括第三三维卷积层和第三激活层,所述降维层的表达式为:
Y1_squ=squeeze(Y1_32)
其中,Y1_32是所述第三激活层的输出图像,squeeze表示对序列图像时间维度的提取,Y1_squ是所述降维层的输出图像。
在本发明的一个实施例中,所述第一三维卷积层的卷积核大小为1*3*3,输出通道为64;所述第二三维卷积层的卷积核大小为3*1*1,输出通道为64;所述第三三维卷积层的卷积核大小为5*1*1,输出通道为64。
在本发明的一个实施例中,所述图像二维重建模块包括依次连接的第一重建模块、第二重建模块、输出卷积层、升维层和残差层,其中,
所述第一重建模块包括依次连接的多个二维卷积层和多个激活层;
所述第二重建模块包括依次连接的多个二维卷积层和多个激活层;
所述输出卷积层包括一个二维卷积层;
所述升维层的输入为输出卷积层的输出,表达式为:
Y=expand(X)
其中,X为所述升维层的输入,expand表示对输入的时间维度的扩充,Y为所述升维层的输出;
所述残差层的输出为所述升维层的输出与所述初始卷积神经网络输入的差。
在本发明的一个实施例中,所述第一重建模块包括依次连接的第一二维卷积层、第四激活层、第二二维卷积层、第五激活层、第三二维卷积层、第六激活层、第四二维卷积层和第七激活层;
所述第二重建模块包括依次连接的第五二维卷积层、第八激活层、第六二维卷积层、第九激活层、第七二维卷积层、第十激活层、第八二维卷积层、第十一激活层、第九二维卷积层、第十二激活层、第十二维卷积层、第十三激活层、第十一二维卷积层、第十四激活层、第十二二维卷积层、第十五激活层、第十三二维卷积层、第十六激活层、第十四二维卷积层、第十七激活层、第十五二维卷积层、第十八激活层、第十六二维卷积层、第十九激活层、第十七二维卷积层、第二十激活层、第十八二维卷积层、第二十一激活层、第十九二维卷积层和第二十二激活层。
在本发明的一个实施例中,所述S3包括:
将所述序列图像时序信息提取模块和所述图像二维重建模块依次连接,构成所述初始卷积神经网络。
在本发明的一个实施例中,所述S4包括:
获取多组高清视频,将每组高清视频截取为图像帧,从每组图像帧中选取连续的多帧序列图像作为初始序列图像集;
对所述初始序列图像集进行同一灰度化、随机旋转、裁剪以及添加条带噪声,生成序列图像训练集。
在本发明的一个实施例中,所述S5包括:
采用均方误差作为损失函数,使用自适应矩估计优化器对所述卷积神经网络进行训练,所述均方误差的表达式为:
其中,F为重构图像,即经卷积神经网络处理的去噪图像,U为未添加噪声的原始图像,m和i分别代表图像的行和列。
与现有技术相比,本发明的有益效果在于:
1、本发明的序列图像条带噪声消除方法将序列图像时空关联信息提取模块加入到卷积神经网络中,构造带有序列图像时空关联信息提取模块的卷积神经网络,不仅能够提取图像空间维度的信息,也能够提取图像帧与帧之间的运动信息,可以通过学习帧间相似信息,更好地预测噪声,并且可以获得更多的信息进行后续的噪声估计与图像场景细节的恢复,从而解决图像去噪过程中的细节丢失问题。
2、本发明的方法采用端到端卷积神经网络直接生成去噪图像,避免了不同图像需要不断调参的麻烦。
以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
图1是本发明实施例提供的一种序列图像条带噪声消除方法的流程图;
图2a是本发明提供的一种序列图像时空关联信息提取模块的结构示意图;
图2b是本发明提供的一种序列图像时空关联信息提取模块的网络结构示意图;
图3a是本发明提供的一种图像二维重建模块的结构示意图;
图3b是本发明提供的一种图像二维重建模块的网络结构示意图;
图4是本发明实施例提供的一种序列图像条带噪声消除方法的卷积神经网络模型的示意图;
图5a是本发明仿真实验所使用的实际卫星图像;
图5b是图5a的实际卫星图像的噪声图,噪声水平为16.74dB;
图5c是基于DnCNN的方法、基于ICSRN的方法和本发明实施例方法的去噪效果对比图。
具体实施方式
为了进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及具体实施方式,对依据本发明提出的一种序列图像条带噪声消除方法进行详细说明。
有关本发明的前述及其他技术内容、特点及功效,在以下配合附图的具体实施方式详细说明中即可清楚地呈现。通过具体实施方式的说明,可对本发明为达成预定目的所采取的技术手段及功效进行更加深入且具体地了解,然而所附附图仅是提供参考与说明之用,并非用来对本发明的技术方案加以限制。
应当说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。
请参见图1,图1是本发明实施例提供的一种序列图像条带噪声消除方法的流程图。该序列图像条带噪声消除方法包括:
S1:利用三维卷积构建序列图像时空关联信息提取模块;
请参见图2a和图2b,图2a是本发明提供的一种序列图像时空关联信息提取模块的结构示意图;图2b是本发明提供的一种序列图像时空关联信息提取模块的网络结构示意图。如图所示,该序列图像时空关联信息提取模块包括依次连接的空间维卷积、时间维卷积、融合层和降维层。
具体地,空间维卷积由第一三维卷积层和第一激活层连接而成,其中,第一三维卷积层的卷积核大小为1*3*3,输出通道为64,第一三维卷积层的表达式为:
Y1_11=K1_1*X1+B1_1
其中,X1为输入序列图像,大小为t*h*w*c,t是输入序列图像的时间维度大小,h,w分别是输入序列图像的高和宽,c是输入序列图像的通道数,Y1_11是第一三维卷积层的输出图像,大小为t*h*w*64,K1_1是大小为1*3*3*c*64的卷积核,B1_1是偏置,是一个64*1的列向量。
第一激活层为修正线性单元(Rectified Linear Unit,简称ReLU)激活层,第一激活层用于增加第一三维卷积层输出结果的稀疏性,可以去除第一三维卷积层输出结果的冗余数据,最大可能地保留输出结果的特征,第一激活层的表达式为:
Y1_12=max(0,Y1_11)
其中,max表示取最大值,Y1_12为第一激活层的输出图像,Y1_11是第一激活层的输入图像。
时间维卷积由第二三维卷积层和第二激活层连接而成,其中,第二三维卷积层的卷积核大小为3*1*1,输出通道为64,第二三维卷积层的表达式为:
Y1_21=K1_2*Y1_12+B1_2
其中,Y1_12是时间维卷积的输入图像,大小为t*h*w*64,Y1_21是第二三维卷积层的输出图像,大小为t*h*w*64,K1_2是大小为3*1*1*c*64的卷积核,B1_2是偏置,是一个64*1的列向量。
第二激活层为ReLU激活层,其表达式为:
Y1_22=max(0,Y1_21)
其中,max表示取最大值,Y1_22为第二激活层的输出图像,Y1_21为第二激活层的输入图像。
融合层由第三三维卷积层和第三激活层连接而成。第三三维卷积层的卷积核大小为5*1*1,输出通道为64,第三三维卷积层的表达式为:
Y1_31=K1_3*Y1_22+B1_3
其中,Y1_22是第三三维卷积层的输入图像,大小为t*h*w*64,Y1_31是第三三维卷积层的输出图像,大小为1*h*w*64,K1_3是大小为5*1*1*c*64的卷积核,B1_3是偏置,是一个64*1的列向量。
第三激活层为ReLU激活层,其表达式为:
Y1_32=max(0,Y1_31)
其中,max表示取最大值,Y1_32为第三激活层的输出图像,Y1_31是第三激活层的输入图像。
进一步地,降维层的表达式为:
Y1_squ=squeeze(Y1_32)
其中,squeeze表示对序列图像时间维度的提取,Y1_32是第三激活层的输出图像,大小为1*h*w*c*64,Y1_squ是降维层的输出图像,也是序列图像时序信息提取模块的输出图像,大小为h*w*64。
S2:利用二维卷积构建图像二维重建模块;
请参见图3a和图3b,图3a是本发明提供的一种图像二维重建模块的结构示意图;图3b是本发明提供的一种图像二维重建模块的网络结构示意图。该图像二维重建模块包括依次连接的第一重建模块、第二重建模块、输出卷积层、升维层和残差层。
本实施例的第一重建模块包括依次连接的第一二维卷积层、第四激活层、第二二维卷积层、第五激活层、第三二维卷积层、第六激活层、第四二维卷积层和第七激活层。
第一二维卷积层的卷积核大小为7*7,输出通道为64,第一二维卷积层的表达式为:
Y2_11=K2_11*X2+B2_11
其中,X2是第一二维卷积层的输入图像,大小为h*w*c,h,w分别是输入图像的高和宽,c是输入图像的通道数,Y2_11是第一二维卷积层的输出图像,大小为h*w*64,K2_11是大小为7*7*c*64的卷积核,B2_11是偏置,是一个64*1的列向量。第四激活层为ReLU激活层,其表达式为:
Y2_12=max(0,Y2_11)
其中,max表示取最大值,Y2_12为第四激活层的输出图像,Y2_11是第四激活层的输入图像。
第二二维卷积层的卷积核大小为7*7,输出通道为64,第二二维卷积层的表达式为:
Y2_21=K2_21*Y2_12+B2_21
其中,Y2_12是第二二维卷积层的输入图像,大小为h*w*64,h,w分别是输入图像的高和宽,Y2_21是第二二维卷积层的输出图像,大小为h*w*64,K2_21是大小为7*7*64*64的卷积核,B2_21是偏置,是一个64*1的列向量。第五激活层为ReLU激活层,其表达式为:
Y2_22=max(0,Y2_21)
其中,max表示取最大值,Y2_22为第五激活层的输出图像,Y2_21是第五激活层的输入图像。
第三二维卷积层的卷积核大小为7*7,输出通道为64,第三二维卷积层的表达式为:
Y2_31=K2_31*Y2_22+B2_31
其中,Y2_22是第三二维卷积层的输入图像,大小为h*w*64,h,w分别是输入图像的高和宽,Y2_31是第三二维卷积层的输出图像,大小为h*w*64,K_31是大小为7*7*64*64的卷积核,B_31是偏置,是一个64*1的列向量。第六激活层为ReLU激活层,其表达式为:
Y2_32=max(0,Y2_31)
其中,max表示取最大值,Y2_32为第六激活层的输出图像,Y2_31是第六激活层的输入图像。
第四二维卷积层的卷积核大小为3*3,输出通道为64,第四二维卷积层的表达式为:
Y2_41=K2_41*(concat(Y2_12,Y2_22,Y2_32))+B2_31其中,concat(Y2_12,Y2_22,Y2_32)是Y2_12,Y2_22,Y2_32在通道维的拼接,大小为h*w*192,h,w分别是输入图像的高和宽,Y2_41是第四二维卷积层的输出图像,大小为h*w*64,K2_31是大小为3*3*192*64的卷积核,B_41是偏置,是一个64*1的列向量。第七激活层为ReLU激活层,其表达式为:
Y2_42=max(0,Y2_41)
其中,max表示取最大值,Y2_42为第七激活层的输出图像,Y2_41是第七激活层的输入图像。
进一步地,第二重建模块由多个二维卷积层和多个激活层依次连接而成。本实施例的第二重建模块包括依次连接的第五二维卷积层、第八激活层、第六二维卷积层、第九激活层、第七二维卷积层、第十激活层、第八二维卷积层、第十一激活层、第九二维卷积层、第十二激活层、第十二维卷积层、第十三激活层、第十一二维卷积层、第十四激活层、第十二二维卷积层、第十五激活层、第十三二维卷积层、第十六激活层、第十四二维卷积层、第十七激活层、第十五二维卷积层、第十八激活层、第十六二维卷积层、第十九激活层、第十七二维卷积层、第二十激活层、第十八二维卷积层、第二十一激活层、第十九二维卷积层和第二十二激活层。
具体地,第五二维卷积层的卷积核大小为3*3,输出通道为64,第五二维卷积层的表达式为:
Y2_51=K2_51*Y2_42+B2_51
其中,Y2_42是第五二维卷积层的输入图像,大小为h*w*64,h,w分别是输入图像的高和宽,Y_51是第五二维卷积层的输出图像,大小为h*w*64,K2_51是大小为3*3*64*64的卷积核,B2_51是偏置,是一个64*1的列向量。第八激活层为ReLU激活层,其表达式为:
Y2_52=max(0,Y2_51)
其中,max表示取最大值,Y2_52为第八激活层的输出图像,Y2_51是第八激活层的输入图像。
第六二维卷积层的卷积核大小为3*3,输出通道为64,第六二维卷积层的表达式为:
Y2_61=K2_61*Y2_52+B2_61
其中,Y2_52是第六二维卷积层的输入图像,大小为h*w*64,h,w分别是输入图像的高和宽Y2_61是第六二维卷积层的输出图像,大小为h*w*64,K2_61是大小为3*3*64*64的卷积核,B2_61是偏置,是一个64*1的列向量。第九激活层为ReLU激活层,其表达式为:
Y2_62=max(0,Y2_61)
其中,max表示取最大值,Y2_62为第九激活层的输出图像,Y2_61是第九激活层的输入图像。
第七二维卷积层的卷积核大小为3*3,输出通道为64,第七二维卷积层的表达式为:
Y2_71=K2_71*Y2_62+B2_71
其中,Y2_62是第七二维卷积层的输入图像,大小为h*w*64,h,w分别是输入图像的高和宽,Y2_71是第七二维卷积层的输出图像,大小为h*w*64,K2_71是大小为3*3*64*64的卷积核,B2_71是偏置,是一个64*1的列向量。第十激活层为ReLU激活层,其表达式为:
Y2_72=max(0,Y2_71)
其中,max表示取最大值,Y2_72为第十激活层的输出图像,Y2_71是第十激活层的输入图像。
第八二维卷积层的卷积核大小为3*3,输出通道为64,第八二维卷积层的表达式为:
Y2_81=K2_81*Y2_72+B2_81
其中,Y2_72是第八二维卷积层的输入图像,大小为h*w*64,h,w分别是输入图像的高和宽,Y2_81是第八二维卷积层的输出图像,大小为h*w*64,K2_81是大小为3*3*64*64的卷积核,B2_81是偏置,是一个64*1的列向量。第十一激活层为ReLU激活层,其表达式为:
Y2_82=max(0,Y2_81)
其中,max表示取最大值,Y2_82为第十一激活层的输出图像,Y2_81是第十一激活层的输入图像。
第九二维卷积层的卷积核大小为3*3,输出通道为64,第九二维卷积层的表达式为:
Y2_91=K2_91*Y2_82+B2_91
其中,Y2_82是第九二维卷积层的输入图像,大小为h*w*64,h,w分别是输入图像的高和宽,Y2_91是第九二维卷积层的输出图像,大小为h*w*64,K2_91是大小为3*3*64*64的卷积核,B2_91是偏置,是一个64*1的列向量。第十二激活层为ReLU激活层,其表达式为:
Y2_92=max(0,Y2_91)
其中,max表示取最大值,Y2_92为第十二激活层的输出图像,Y2_91是第十二激活层的输入图像。
第十二维卷积层的卷积核大小为3*3,输出通道为64,第十二维卷积层的表达式为:
Y2_101=K2_101*Y2_92+B2_101
其中,Y2_92是第十二维卷积层的输入图像,大小为h*w*64,h,w分别是输入图像的高和宽,Y2_101是第十二维卷积层的输出图像,大小为h*w*64,K2_101是大小为3*3*64*64的卷积核,B2_101是偏置,是一个64*1的列向量。第十三激活层为ReLU激活层,其表达式为:
Y2_102=max(0,Y2_101)
其中,max表示取最大值,Y2_102为第十三激活层的输出图像,Y2_101是第十三激活层的输入图像。
第十一二维卷积层的卷积核大小为3*3,输出通道为64,第十一二维卷积层的表达式为:
Y2_111=K2_111*Y2_102+B2_111
其中,Y2_102是第十一二维卷积层的输入图像,大小为h*w*64,h,w分别是输入图像的高和宽,Y2_111是第十一二维卷积层的输出图像,大小为h*w*64,K2_111是大小为3*3*64*64的卷积核,B2_111是偏置,是一个64*1的列向量。第十四激活层为ReLU激活层,其表达式为:
Y2_112=max(0,Y2_111)
其中,max表示取最大值,Y2_112为第十四激活层的输出图像,Y2_111是第十四激活层的输入图像。
第十二二维卷积层的卷积核大小为3*3,输出通道为64,第十二二维卷积层的表达式为:
Y2_121=K2_121*Y2_112+B2_121
其中,Y2_112是第十二二维卷积层的输入图像,大小为h*w*64,h,w分别是输入图像的高和宽,Y2_121是第十二二维卷积层的输出图像,大小为h*w*64,K2_121是大小为3*3*64*64的卷积核,B2_121是偏置,是一个64*1的列向量。第十五激活层为ReLU激活层,其表达式为:
Y2_122=max(0,Y2_121)
其中,max表示取最大值,Y2_122为第十五激活层的输出图像,Y2_121是第十五激活层的输入图像。
第十三二维卷积层的卷积核大小为3*3,输出通道为64,第十三二维卷积层的表达式为:
Y2_131=K2_131*Y2_122+B2_131
其中,Y2_122是第十三二维卷积层的输入图像,大小为h*w*64,h,w分别是输入图像的高和宽,Y2_131是第十三二维卷积层的输出图像,大小为h*w*64,K2_131是大小为3*3*64*64的卷积核,B2_131是偏置,是一个64*1的列向量。第十六激活层为ReLU激活层,其表达式为:
Y2_132=max(0,Y2_131)
其中,max表示取最大值,Y2_132为第十六激活层的输出图像,Y2_131是第十六激活层的输入图像。
第十四二维卷积层的卷积核大小为3*3,输出通道为64,第十四二维卷积层的表达式为:
Y2_141=K2_141*Y2_132+B2_141
其中,Y2_132是第十四二维卷积层的输入图像,大小为h*w*64,h,w分别是输入图像的高和宽,Y2_141是第十四二维卷积层的输出图像,大小为h*w*64,K2_141是大小为3*3*64*64的卷积核,B2_141是偏置,是一个64*1的列向量。第十七激活层为ReLU激活层,其表达式为:
Y2_142=max(0,Y2_141)
其中,max表示取最大值,Y2_142为第十七激活层的输出图像,Y2_141是第十七激活层的输入图像。
第十五二维卷积层的卷积核大小为3*3,输出通道为64,第十五二维卷积层的表达式为:
Y2_151=K2_151*Y2_142+B2_151
其中,Y2_142是第十五二维卷积层的输入图像,大小为h*w*64,h,w分别是输入图像的高和宽,Y2_151是第十五二维卷积层的输出图像,大小为h*w*64,K2_151是大小为3*3*64*64的卷积核,B2_151是偏置,是一个64*1的列向量。第十八激活层为ReLU激活层,其表达式为:
Y2_152=max(0,Y2_151)
其中,max表示取最大值,Y2_152为第十八激活层的输出图像,Y2_151是第十八激活层的输入图像。
第十六二维卷积层的卷积核大小为3*3,输出通道为64,第十六二维卷积层的表达式为:
Y2_161=K2_161*Y2_152+B2_161
其中,Y2_152是第十六二维卷积层的输入图像,大小为h*w*64,h,w分别是输入图像的高和宽,Y2_161是第十六二维卷积层的输出图像,大小为h*w*64,K2_161是大小为3*3*64*64的卷积核,B_161是偏置,是一个64*1的列向量。第十九激活层为ReLU激活层,其表达式为:
Y2_162=max(0,Y2_161)
其中,max表示取最大值,Y2_162为第十九激活层的输出图像,Y2_161是第十九激活层的输入图像。
第十七二维卷积层的卷积核大小为3*3,输出通道为64,第十七二维卷积层的表达式为:
Y2_171=K2_171*Y2_162+B2_171
其中,Y2_162是第十七二维卷积层的输入图像,大小为h*w*64,h,w分别是输入图像的高和宽,Y2_171是第十七二维卷积层的输出图像,大小为h*w*64,K2_171是大小为3*3*64*64的卷积核,B2_171是偏置,是一个64*1的列向量。第二十激活层为ReLU激活层,其表达式为:
Y2_172=max(0,Y2_171)
其中,max表示取最大值,Y2_172为第二十激活层的输出图像,Y2_171是第二十激活层的输入图像。
第十八二维卷积层的卷积核大小为3*3,输出通道为64,第十八二维卷积层的表达式为:
Y2_181=K2_181*Y2_172+B2_181
其中,Y2_172是第十八二维卷积层的输入图像,大小为h*w*64,h,w分别是输入图像的高和宽,Y2_181是第十八二维卷积层的输出图像,大小为h*w*64,K2_181是大小为3*3*64*64的卷积核,B2_181是偏置,是一个64*1的列向量。第二十一激活层为ReLU激活层,其表达式为:
Y2_182=max(0,Y2_181)
其中,max表示取最大值,Y2_182为第二十一激活层的输出图像,Y2_181是第二十一激活层的输入图像。
第十九二维卷积层的卷积核大小为3*3,输出通道为64,第十九二维卷积层的表达式为:
Y2_191=K2_191*Y2_182+B2_191
其中,Y2_182是第十九二维卷积层的输入图像,大小为h*w*64,h,w分别是输入图像的高和宽,Y2_191是第十九二维卷积层的输出图像,大小为h*w*64,K2_191是大小为3*3*64*64的卷积核,B2_191是偏置,是一个64*1的列向量。第二十二激活层为ReLU激活层,其表达式为:
Y2_192=max(0,Y2_191)
其中,max表示取最大值,Y2_192为第二十二激活层的输出图像,Y2_191是第二十二激活层的输入图像。
进一步地,输出卷积层为一个二维卷积层,卷积核大小为3*3,输出通道为1,输出卷积层的表达式为:
Y2_201=K2_201*Y2_192+B2_201
其中,Y2_192是输出卷积层的输入图像,大小为h*w*64,h,w分别是输入图像的高和宽,Y2_201是输出卷积层的输出图像,大小为h*w*64,K2_191是大小为3*3*64*1的卷积核,B2_201是偏置,是一个64*1的列向量。
升维层的输入为输出卷积层的输出,其公式为:
Y=expand(X)
其中,X为升维层的输入,expand表示对输入的时间维度的扩充,Y为升维层的输出,大小为5*h*w*1。
残差层的输出为升维层的输出与网络输入的差,残差层的输出也是所述图像二维重建模块的输出。
具体地,残差层的输出为整个网络的输出,输出的序列图像块大小为t*h*w*c,其中,t是序列图像时间维度大小,h和w是图像的高和宽,c是图像的通道数。
S3:根据所述序列图像时空关联信息提取模块和所述图像二维重建模块构成初始卷积神经网络;
具体地,请参见图4,图4是本发明实施例提供的一种序列图像条带噪声消除方法的卷积神经网络模型的示意图。将序列图像时序信息提取模块和图像二维重建模块依次连接,构成序列图像去噪的卷积神经网络。
S4:创建序列图像训练集;
获取多组高清视频作为素材库,将每组视频截取为图像帧,从每组图像帧中选取连续的多帧序列图像作为初始序列图像集;对每组初始序列图像集进行同一灰度化、随机旋转、裁剪以及添加条带噪声,生成序列图像训练集。
优选地,从网站上获取40组高清视频作为素材库,然后将每组视频截取为图像帧,从每组图像帧中选取连续的5帧序列图像作为初始序列图像集。
对每组连续的5帧序列图像进行同一灰度化、随机旋转、裁剪、加噪声。具体地,随机选取某个像素点,以该像素点为中心,截取图像区域大小为50*50*3的区域,则5帧图像可截取为5*50*50*3大小的图像块。在每组初始序列图像集中随机截取2000个大小为5*50*50*3大小的图像块,40组初始序列图像集共截取80000*5*50*50*3大小的序列图像集。对该序列图像集进行灰度化处理,灰度化公式为:
Gray=0.299*R+0.587*G+0.114*B
其中,R代表彩色图像R通道的像素值,G代表彩色图像G通道的像素值,B代表彩色图像B通道的像素值,Gray代表灰度图像的像素值。经过灰度处理后,序列图像集的大小为80000*5*50*50*1。最后,对80000*5*50*50*1大小的序列图像集中的每张图像都添加统一的条带噪声,条带噪声的方差大小随机为0到55,生成序列图像训练集。
S5:利用所述序列图像训练集对所述初始卷积神经网络进行训练,得到训练后的卷积神经网络;
具体地,采用均方误差(Mean Square Error,MSE)作为损失函数,其表达式为:
其中,F为重构图像,即经所述卷积神经网络处理的去噪图像,U为未添加噪声的原始图像,m和i分别代表图像的行和列。
具体地,使用自适应矩估计(adaptive moment estimation,简称:Adam)优化器对卷积神经网络进行训练,其中,批尺寸(batch size)设置为128,学习率设为0.001,每隔10个回合学习率下降到当前学习率的10%,一共训练50个回合。该优化器能基于训练数据迭代地更新神经网络权重,避免了需要手动调整参数的麻烦。
S6:利用所述训练后的卷积神经网络获取去噪后的图像。
将含条带噪声的序列图像送入训练后的卷积神经网络中进行处理,得到去噪后的图像。
具体地,取5帧序列图像,组成5维矩阵(即(b,t,h,w,c),其中,b代表的是批次维,t为时间维,h和w代表图像的宽和高,c代表图像的通道数),送入训练后的卷积神经网络中进行处理,得到去噪后的图像。
接着,本发明实施例的序列图像条带噪声消除方法的效果可以通过以下仿真实验进一步说明。
仿真实验1,分别采用现有技术的基于DnCNN的方法、基于ICSRN的方法和本发明实施例的方法进行实验,并用基于峰值信噪比(PSNR)和结构相似度(SSIM)的评价标准来进行定量比较,实验结果见表1。
表1评价标准对比表
/>
由表1可见,本发明实施例的方法相较于DnCNN和ICSRN方法,对图像进行去噪后,得到PSNR值和SSIM值更大,说明图像去噪后的噪声残留更小,细节保持最好。
仿真实验2,请参见图5a至图5c,图5a是本发明仿真实验所使用的实际卫星图像;图5b是图5a的实际卫星图像的噪声图,噪声水平为16.74dB;图5c是基于DnCNN的方法、基于ICSRN的方法和本发明实施例方法的去噪效果对比图。从图5b和图5c可以看出,在一个较大的噪声水平下图像绝大部分细节已经丢失,经过本发明方法处理后,绝大部分噪声已经被去除,图像的边缘更加锐利,细节更加丰富,更符合人眼观察。综上所述,本发明实施例提出的基于三维与二维联合卷积的序列图像条带噪声去除方法能够在噪声去除和细节保持方面均取得更好的效果。
本发明实施例的序列图像条带噪声消除方法将序列图像时空关联信息提取模块加入到卷积神经网络中,构造带有序列图像时空关联信息提取模块的卷积神经网络,不仅能够提取图像空间维度的信息,也能够提取图像帧与帧之间的运动信息,可以通过学习帧间相似信息,更好地预测噪声,并且可以获得更多的信息进行后续的噪声估计与图像场景细节的恢复,从而解决图像去噪过程中的细节丢失问题。该方法采用端到端卷积神经网络直接生成去噪图像,避免了不同图像需要不断调参的麻烦。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。
Claims (6)
1.一种序列图像条带噪声消除方法,其特征在于,所述方法包括:
S1:利用三维卷积构建序列图像时空关联信息提取模块;
S2:利用二维卷积构建图像二维重建模块;
S3:根据所述序列图像时空关联信息提取模块和所述图像二维重建模块构成初始卷积神经网络,
所述序列图像时空关联信息提取模块包括依次连接的空间维卷积、时间维卷积、融合层和降维层,其中,所述空间维卷积包括第一三维卷积层和第一激活层,所述时间维卷积包括第二三维卷积层和第二激活层,所述融合层包括第三三维卷积层和第三激活层,所述降维层的表达式为:
Y1_squ=squeeze(Y1_32)
其中,Y1_32是所述第三激活层的输出图像,squeeze表示对序列图像时间维度的提取,Y1_squ是所述降维层的输出图像,
所述图像二维重建模块包括依次连接的第一重建模块、第二重建模块、输出卷积层、升维层和残差层,其中,
所述第一重建模块包括依次连接的多个二维卷积层和多个激活层;
所述第二重建模块包括依次连接的多个二维卷积层和多个激活层;
所述输出卷积层包括一个二维卷积层;
所述升维层的输入为输出卷积层的输出,表达式为:
Y=expand(X)
其中,X为所述升维层的输入,expand表示对输入的时间维度的扩充,Y为所述升维层的输出;
所述残差层的输出为所述升维层的输出与所述初始卷积神经网络输入的差;
S4:创建序列图像训练集;
S5:利用所述序列图像训练集对所述初始卷积神经网络进行训练,得到训练后的卷积神经网络;
S6:将含有条带噪声的序列图像送入所述训练后的卷积神经网络中进行处理,得到去噪后的图像。
2.根据权利要求1所述的序列图像条带噪声消除方法,其特征在于,所述第一三维卷积层的卷积核大小为1*3*3,输出通道为64;所述第二三维卷积层的卷积核大小为3*1*1,输出通道为64;所述第三三维卷积层的卷积核大小为5*1*1,输出通道为64。
3.根据权利要求2所述的序列图像条带噪声消除方法,其特征在于,所述第一重建模块包括依次连接的第一二维卷积层、第四激活层、第二二维卷积层、第五激活层、第三二维卷积层、第六激活层、第四二维卷积层和第七激活层;
所述第二重建模块包括依次连接的第五二维卷积层、第八激活层、第六二维卷积层、第九激活层、第七二维卷积层、第十激活层、第八二维卷积层、第十一激活层、第九二维卷积层、第十二激活层、第十二维卷积层、第十三激活层、第十一二维卷积层、第十四激活层、第十二二维卷积层、第十五激活层、第十三二维卷积层、第十六激活层、第十四二维卷积层、第十七激活层、第十五二维卷积层、第十八激活层、第十六二维卷积层、第十九激活层、第十七二维卷积层、第二十激活层、第十八二维卷积层、第二十一激活层、第十九二维卷积层和第二十二激活层。
4.根据权利要求1所述的序列图像条带噪声消除方法,其特征在于,所述S3包括:
将所述序列图像时序信息提取模块和所述图像二维重建模块依次连接,构成所述初始卷积神经网络。
5.根据权利要求1所述的序列图像条带噪声消除方法,其特征在于,所述S4包括:
获取多组高清视频,将每组高清视频截取为图像帧,从每组图像帧中选取连续的多帧序列图像作为初始序列图像集;
对所述初始序列图像集进行同一灰度化、随机旋转、裁剪以及添加条带噪声,生成序列图像训练集。
6.根据权利要求1至5中任一项所述的序列图像条带噪声消除方法,其特征在于,所述S5包括:
采用均方误差作为损失函数,使用自适应矩估计优化器对所述卷积神经网络进行训练,所述均方误差的表达式为:
其中,F为重构图像,即经卷积神经网络处理的去噪图像,U为未添加噪声的原始图像,m和i分别代表图像的行和列。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010566369.4A CN111915506B (zh) | 2020-06-19 | 2020-06-19 | 一种序列图像条带噪声消除方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010566369.4A CN111915506B (zh) | 2020-06-19 | 2020-06-19 | 一种序列图像条带噪声消除方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111915506A CN111915506A (zh) | 2020-11-10 |
CN111915506B true CN111915506B (zh) | 2023-10-03 |
Family
ID=73238133
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010566369.4A Active CN111915506B (zh) | 2020-06-19 | 2020-06-19 | 一种序列图像条带噪声消除方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111915506B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116959477B (zh) * | 2023-09-19 | 2023-12-19 | 杭州爱华仪器有限公司 | 一种基于卷积神经网络的噪声源分类的方法及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017215284A1 (zh) * | 2016-06-14 | 2017-12-21 | 山东大学 | 基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法 |
CN109544487A (zh) * | 2018-09-30 | 2019-03-29 | 西安电子科技大学 | 一种基于卷积神经网络的红外图像增强方法 |
CN110163808A (zh) * | 2019-03-28 | 2019-08-23 | 西安电子科技大学 | 一种基于卷积神经网络的单帧高动态成像方法 |
CN110223242A (zh) * | 2019-05-07 | 2019-09-10 | 北京航空航天大学 | 一种基于时空域残差生成对抗网络的视频湍流移除方法 |
CN110475118A (zh) * | 2019-07-11 | 2019-11-19 | 北京工业大学 | 一种基于注意力机制深度循环网络的旧电影闪烁修复方法 |
-
2020
- 2020-06-19 CN CN202010566369.4A patent/CN111915506B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017215284A1 (zh) * | 2016-06-14 | 2017-12-21 | 山东大学 | 基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法 |
CN109544487A (zh) * | 2018-09-30 | 2019-03-29 | 西安电子科技大学 | 一种基于卷积神经网络的红外图像增强方法 |
CN110163808A (zh) * | 2019-03-28 | 2019-08-23 | 西安电子科技大学 | 一种基于卷积神经网络的单帧高动态成像方法 |
CN110223242A (zh) * | 2019-05-07 | 2019-09-10 | 北京航空航天大学 | 一种基于时空域残差生成对抗网络的视频湍流移除方法 |
CN110475118A (zh) * | 2019-07-11 | 2019-11-19 | 北京工业大学 | 一种基于注意力机制深度循环网络的旧电影闪烁修复方法 |
Non-Patent Citations (1)
Title |
---|
朱宜生 ; 孙成 ; .基于卷积神经网络的红外图像去噪方法研究.环境技术.2019,(第06期),全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN111915506A (zh) | 2020-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021208122A1 (zh) | 基于深度学习的视频盲去噪方法及装置 | |
CN114140353B (zh) | 一种基于通道注意力的Swin-Transformer图像去噪方法及系统 | |
CN111091503B (zh) | 基于深度学习的图像去失焦模糊方法 | |
CN103761710B (zh) | 基于边缘自适应的高效图像盲去模糊方法 | |
CN109523482B (zh) | 一种基于深度神经网络的对含纹理退化图像的复原方法 | |
CN106504207B (zh) | 一种图像数据处理方法 | |
CN111062410B (zh) | 基于深度学习的星型信息桥气象预测方法 | |
CN106408550A (zh) | 一种改进的自适应多字典学习的图像超分辨率重建方法 | |
CN110610467B (zh) | 一种基于深度学习的多帧视频去压缩噪声方法 | |
CN105513033A (zh) | 一种非局部联合稀疏表示的超分辨率重建方法 | |
CN113469884A (zh) | 基于数据仿真的视频超分辨方法、系统、设备及存储介质 | |
CN111915506B (zh) | 一种序列图像条带噪声消除方法 | |
CN114627035A (zh) | 一种多聚焦图像融合方法、系统、装置及存储介质 | |
Zhang et al. | Attention mechanism enhanced kernel prediction networks for denoising of burst images | |
CN115345791A (zh) | 一种基于注意力机制残差网络模型的红外图像去模糊算法 | |
CN110503608B (zh) | 基于多视角的卷积神经网络的图像去噪方法 | |
CN108171124B (zh) | 一种相似样本特征拟合的人脸图像清晰化方法 | |
CN112200752B (zh) | 一种基于er网络多帧图像去模糊系统及其方法 | |
CN115965844B (zh) | 基于视觉显著性先验知识的多聚焦图像融合方法 | |
Qiu et al. | A GAN-based motion blurred image restoration algorithm | |
CN114612305B (zh) | 一种基于立体图建模的事件驱动视频超分辨率方法 | |
US20220398696A1 (en) | Image processing method and device, and computer-readable storage medium | |
CN112330572B (zh) | 一种基于密集型网络的生成式对抗神经网络及失真图像复原方法 | |
CN113793269B (zh) | 基于改进邻域嵌入与先验学习的超分辨率图像重建方法 | |
Zhou et al. | Real-World Image Super-Resolution Via Spatio-Temporal Correlation Network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |