CN116823652A - 一种基于轻量级双卷积神经网络的图像去噪方法 - Google Patents
一种基于轻量级双卷积神经网络的图像去噪方法 Download PDFInfo
- Publication number
- CN116823652A CN116823652A CN202310728361.7A CN202310728361A CN116823652A CN 116823652 A CN116823652 A CN 116823652A CN 202310728361 A CN202310728361 A CN 202310728361A CN 116823652 A CN116823652 A CN 116823652A
- Authority
- CN
- China
- Prior art keywords
- noise
- image
- convolution
- mcnn
- layers
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 99
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 23
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 24
- 150000003839 salts Chemical class 0.000 claims abstract description 16
- 238000012549 training Methods 0.000 claims description 25
- 239000006002 Pepper Substances 0.000 claims description 16
- 235000002566 Capsicum Nutrition 0.000 claims description 15
- 241000722363 Piper Species 0.000 claims description 15
- 235000016761 Piper aduncum Nutrition 0.000 claims description 15
- 235000017804 Piper guineense Nutrition 0.000 claims description 15
- 235000008184 Piper nigrum Nutrition 0.000 claims description 15
- 238000012545 processing Methods 0.000 abstract description 14
- 239000003550 marker Substances 0.000 abstract description 10
- 238000001914 filtration Methods 0.000 description 15
- 230000000694 effects Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 6
- 241001270131 Agaricus moelleri Species 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000004913 activation Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 101100008049 Caenorhabditis elegans cut-5 gene Proteins 0.000 description 1
- 241000519995 Stachys sylvatica Species 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本方案公开了智能图像处理技术领域的一种基于轻量级双卷积神经网络的图像去噪方法,分别搭建了噪声掩模卷积神经网络(MCNN)和去噪卷积神经网络(DCNN)。MCNN旨在实现精确噪点标记,而DCNN旨在实现高性能去噪。采用“噪声图像‑噪声掩模”对数据集和“噪声图像‑干净图像”对数据集训练MCNN和DCNN。实验结果表明,MCNN标记的误判率分别比极点标记法、均值标记法和极值图像块标记法降低了77.79%、77.75%和30.60%。去噪所得图像的峰值信噪比比传统方法提升了4.84%,信息损失降低了17.89%。此外,网络的运算复杂度比传统CNN降低3.98倍,还提升了椒盐去噪的性能。
Description
技术领域
本发明属于智能图像处理技术领域,特别涉及一种基于轻量级双卷积神经网络的图像去噪方法。
背景技术
随着智能时代的到来,图像处理的应用逐渐渗透到诸如目标跟踪、车牌识别、人脸识别、无人驾驶和智能医学影像等新兴领域中。图像在获取、存储和传输过程中容易受到椒盐噪声的污染,需要预先处理才能进行下一步的具体应用。椒盐去噪的研究由来已久,从上世纪80年代的中值滤波开始,到本世纪前十多年的各种基于像素灰阶的滤波方法,到近几年兴起的人工神经网络去噪方法,去噪性能逐渐提升。中值滤波取滑动窗口中所有像素灰阶的中值取代噪点灰阶。该方法主要有两个缺点,一是对所有灰阶的无差别处理使得信息损失严重,二是噪声密度稍高就会产生噪点残留。该方法虽然没有达到理想的去噪效果,但是围绕它进行的探索为后续去噪方法的改进提供了可行的思路。
第一个思路是提升噪点标记精度。为了避免无差别处理,需要研究噪点标记,旨在只针对标记为噪点的像素进行处理,而对正常像素直接输出,这样的去噪思路可降低信息损失。为此,业界提出了极点标记法、均值标记法和极值图像块标记法。极点标记法将噪声图像中的极值点,对于8-bit的图像把灰阶为0或255的像素标记为噪点。一般情况下该方法的标记尚准,但是如果一旦图像中本身自带较多的极值像素,该方法就会将这些极值像素误判为噪点。均值标记法将视野从一个点扩展到以扫描点位中心的窗口像素阵列,通过计算窗口中像素的平均灰阶辨别噪点。该方法虽然提高了标记精度,但是遇到成片的极值像素图像区域容易失效。极值图像块标记法通过比较窗口中正常像素数量和极值像素数量判别噪点,在低噪声密度下提升了标记精度。但是,在噪声密度极高的情况下各处噪点都很多,噪点数量的大小关系不再具备可辩特征,因此该方法在高密度下容易失效。因此,在噪点标记步骤需要深入研究,以提升噪点标记的精准性和稳定性。
第二个思路是改善更新噪点灰阶的方法,使得高密度下仍然能够彻底去除噪声。文献提出了带全正常像素单元的中值滤波,该方法的确降低了信息损失,但是图像的视觉效果还有较大的改进空间。除了中值滤波及其衍生方法,业界还研究了权重滤波器,该方法采用相邻像素单元灰阶的权重之和代替噪声像素单元的灰阶。该方法改善了处理所得图像的视觉效果,但是当噪声密度太大的时候会产生残留噪点。此外,业界提出了采用概率滤波进行椒盐去噪,该方法采用具有最大概率的相邻像素灰阶代替噪点灰阶,但是该方法在处理高密度噪声时容易失效。为了重点强调关键位置像素的影响,业界提出了重复滤波,它重复利用与噪点最近的像素单元生成新的灰阶。然而,由于最近邻的像素有可能是噪点,该方法的处理效果仍然不理想。
近年来,随着图形处理器(graphics processing unit,GPU)计算能力的突飞猛进,以及互联网给图像大数据获取提供的便利,人工神经网络的研究不断取得进步。而目前尚未发现基于上述两个思路,结合人工神经网络技术,提出应用双卷积神经网络的椒盐去噪方法。
发明内容
为了提升椒盐噪点标记精度,本发明提出了一种基于轻量级双卷积神经网络的椒盐噪点标记方法。
本方案中的一种基于轻量级双卷积神经网络的图像去噪方法,包括:
S1、彩色图像转换为黑白图像,然后截取若干个图像块;
S2、将所截取的图像块添加随机密度的椒盐噪声,得到噪声图像;分别对添加和未添加椒盐噪声的位置进行区别标记,生成噪声掩膜;
S3、(1)将噪声图像和噪声掩模组合在一起,构成一一对应的“噪声图像-噪声掩模”对,用作训练MCNN的数据集,得到MCNN网络模型;
(2)将噪声图像和干净图像组合在一起,构成一一对应的“噪声图像-干净图像”对,用作训练DCNN的数据集,得到DCNN网络模型;
S4、噪声图像进行去噪:用MCNN对图像中的噪点进行标记,对于MCNN标记为噪点的像素,采用DCNN网络模型对噪声图像进行去噪。
本方案中所述的干净图像为S1中截取出来后没有添加椒盐噪声的图像块。
进一步,所述MCNN网络模型包括若干个卷积层,优选的范围为8~12个卷积层,最优为10个卷积层;其中第一个和最后一个卷积层为常规卷积层,第一个卷积层将输入的噪声图像生成若干个卷积张量,优选为50~70个卷积张量,最优为64个卷积张量,最后一个卷积层对输入的所有张量生成1张噪声掩模,两个所述常规卷积层之间为多个重复的深度可分离卷积层,优选为5~10个重复的深度可分离卷积层,最优为8个重复的深度可分离卷积层。
进一步,所述DCNN网络模型包括若干个卷积层,优选的范围为15~20个卷积层,最优为17个卷积层,其中第一个卷积层和最后一个卷积层是常规卷积层,第一个卷积层将输入的噪声图像生成若干个卷积张量,优选为48~64个卷积张量,最优为64个卷积张量,最后一个卷积层对输入的所有个张量生成1张噪声掩模,两个所述常规卷积层之间为多个重复的深度可分离卷积层,优选为12~18个重复的深度可分离卷积层,最优为15个重复的深度可分离卷积层。
在MCNN网络模型和DCNN网络模型中,第一个常规卷积层和所有深度可分离卷积层都进行ReLU激活。
进一步,所述MCNN和DCNN的训练周期为50个训练周期。
进一步,所述MCNN训练时长为74分钟,DCNN训练时长为146分钟。
本发明的有益技术效果是:本发明基于轻量级双卷积神经网络的创新之处在于:(1)在噪点标记环节和噪声去除环节各采用一个卷积神经网络,实现了精确噪点标记和高性能去噪;(2)两个卷积神经网络的中间层均采用深度可分离卷积代替常规卷积,大大降低了运算复杂度。
实验结果表明,MCNN标记的误判率分别比极点标记法、均值标记法和极值图像块标记法降低了77.79%、77.75%和30.60%。去噪所得图像的峰值信噪比比传统方法提升了4.84%,信息损失降低了17.89%。此外,网络的运算复杂度比传统CNN降低3.98倍。该方法在降低网络运算复杂度的同时,提升了椒盐去噪的性能。
附图说明
图1数据集的构建方法;
图2MCNN模型;
图3DCNN模型;
图4深度可分离卷积;
图5图像块截取方法示意图;
图6随机截取的“噪声图像-噪声掩模”对;
图7随机截取的“噪声图像-干净图像”对;
图8噪点标记图像对比;
图9相同噪点标记下不同算法去噪效果对比。
具体实施方式
为了提升椒盐噪点标记精度,本发明提出了一种基于轻量级双卷积神经网络的椒盐噪点标记方法。本发明的内容包括:
■提出一种数据集的构建方法
■提出一种用于噪点标记的轻量级卷积神经网络
■提出一种用于噪点去除的轻量级卷积神经网络
(1)提出一种数据集的构建方法
在上述图像块截取和生成噪声掩模的基础上,数据集的构建方法如图1所示。选用91image数据集作为原数据,将彩色图像转换为黑白并调整分辨率。以20的步长从每张图像中截取出25个图像块,对这些图像块添加随机密度的椒盐噪声,得到噪声图像块。与此同时,将添加噪声的位置标记为白点,其它位置为黑点,生成与噪声图像所对应的噪声掩模。接着,将噪声图像块和噪声掩模块组合在一起,构成一一对应的“噪声图像-噪声掩模”对。最后,将噪声图像块和干净图像块组合在一起,构成一一对应的“噪声图像-干净图像”对。其中,“噪声图像-噪声掩模”对将作为训练MCNN的数据集,而“噪声图像-干净图像”对将作为训练DCNN的数据集。
(2)提出一种基于轻量级卷积神经网络的椒盐噪点标记方法
图2为本文采用的MCNN模型,用于训练噪声掩模。该网络将“噪声图像-噪声掩模”对数据集作为训练数据,将网络输出图像与理想噪声掩模之间的均方误差(mean squareerror,mse)作为损失函数。网络模型包括10个卷积层,其中第一个卷积层和最后一个卷积层均为常规卷积层,第一个卷积层将输入的噪声图像生成64个卷积张量,最后一个卷积层对输入的64个张量生成1张噪声掩模,首尾之间是8个重复的深度可分离卷积层。
图3为本文采用的DCNN模型,该网络将“噪声图像-干净图像”对数据集作为训练数据,将网络输出图像与干净图像之间的mse作为损失函数。网络模型包括17个卷积层,其中首端是常规卷积,将输入的噪声图像生成64个卷积张量。尾端卷积层对输入的64个张量生成1张噪声掩模。首尾之间是15个重复的深度可分离卷积层。
MobileNet-v1已经证实深度可分离卷积的复杂度比常规卷积降低了8-9倍。如图4所示,先采用3x3的卷积核处理64个输入通道,随后,执行批量标准化和ReLU激活。依次采用1x1的卷积核处理所有通道,得到64个处理后的通道,这步称为点卷积。最后,经过批量标准化和激活之后输出64个通道。
为了展示本发明的具体实现方法,提供具体实施方式。值得注意的是,下列步骤中使用的数据将具体化,相关的数据修改可能不太影响实施效果,仍然属于本专利保护的范围。本发明依次执行的步骤包括:第1步即数据集准备,包括生成“噪声图像-噪声掩模”对和生成“噪声图像-干净图像”对;第2步即机器训练,包括对MCNN和DCNN的训练;第3步即将输入的噪声图像进行去噪。
第1步:数据集准备
(1)图像块截取
截取图像块的方法如图5所示,在一张干净图像中以20的步长,从图像的左上角开始截取分辨率为70*70的图像块。对于分辨率为200*200的图像,横向和纵向上各截取5次,从左到右从上到下扫描,得到25个70*70的图像块。为了能够完整表征图像特征,图像块的分辨率不宜太小。为了避免训练参数量过大,图像块的分辨率不宜太大。因此,选用70*70的图像块分辨率。
(2)生成“噪声图像-噪声掩模”对
为了训练出噪声掩模,需要给MCNN喂“噪声图像-噪声掩模”,网络将对其中的噪声图像进行处理,输出噪声掩模,对比该输出与喂进来的噪声掩模,生成损失函数。在上述生成的70*70图像块基础上,添加随机密度的椒盐噪声,生成噪声图像。与此同时,标记每次添加噪声的位置并标记为1,而将图像中未添加噪声的像素标记为0,从而生成噪声掩模。值得注意的是,噪声图像和噪声掩模一一对应,构成“噪声图像-噪声掩模”对。此外,为了增强数据集的鲁棒性,对每个图像块添加噪声的密度是随机的,噪声密度取值范围是0.1-0.9之间的随机数。图6是随机截取的“噪声图像-噪声掩模”对,从中可以看出噪声图像是在图像块的基础上添加噪声所得,噪声掩模将添加噪声的位置标记为白点,正常像素标记为黑点。
(3)生成“噪声图像-干净图像”对
为了实现高性能去噪,需要训练DCNN,而喂给DCNN的数据是“噪声图像-干净图像”对。其中,噪声图像是DCNN的输入,该卷积神经网络的输出将与干净图像比较,生成损失函数。图7为随机截取的“噪声图像-干净图像”对。其中,噪声图像是在干净图像上添加随机密度的椒盐噪声所得,噪声密度的取值范围为0.1-0.9。与噪声掩模相同,这些图像对的分辨率是70*70。
第2步:机器训练
使用RTX 3080型GPU,在Tensorflow平台调用keras组件分别搭建MCNN和DCNN,采用的损失函数为mse,学习率的初值设为0.001,如果多个迭代周期之后损失函数值为降低,进行学习率衰减,衰减因子为0.2。分别导入各自的数据集,对MCNN和DCNN训练50个周期。MCNN训练耗时74分钟,DCNN训练耗时146分钟,如表1。由于MCNN比DCNN少7个卷积层,训练所需时间更少。
表1卷积神经网络的训练
第3步即将输入的噪声图像进行去噪
(1)噪点标记
输入噪声图像,用MCNN对图像中的噪点进行标记。
(2)噪声去除
输入噪声图像,对于MCNN标记为噪点的像素,采用DCNN进行去噪。对于MCNN标记正常点的像素,不作处理。
实施效果
(1)噪点标记
本文选用BSD300image中的三张图像作为实验图像,图8(a1)、图8(b1)和图8(c1)中的极点像素占比分别为13%、10%和10%。分别给这三张图片添加密度为0.2、0.5和0.8的椒盐噪声,如图8(a2)、图8(b2)和图8(c2)。在标记图像中,黑点表示噪点,白点表示正常点。极点标记法将噪声图像中的极值像素点标记为噪点,因而它容易将原图像本身就存在的正常极值点误判为噪点。如图8(a3)和图8(b3),这两张标记图中存在多个黑色图像块,而这些图像块不是噪点,而是原图像中的高亮区域。正常的噪点标记图像应该是均匀分布的黑点,不应受到原图像中的极值像素点影响。均值标记法通过比较窗口中像素单元的平均值和极值的差距判断噪点,当原图像中极值点较多的时候,这种比较判断机制容易失效,因而均值标记法的处理结果与极点标记法相似,如图8(a5)、图8(b5)和图8(c5)。相比之下,极值图像块标记法的处理结果较好,它通过窗口中正常像素和极值像素数量的大小关系判断噪点,在低密度下达到了超越前两种方法的标记效果。如图8(a4)和图8(b4),标记的噪点分布均匀,几乎不再受到原图像中正常极值点的误导。然而,在高噪声密度下,该方法将噪点标记为正常点,使得误判率增大,如图8(c4)。相比于传统方法,本文提出的MCNN标记方法通过卷积神经网络全方位地提取噪点的特征,从大量图像块中挖掘到噪点分布的内在规律,通过机器智能实现了更加符合客观事实的噪点标记结果。如图8(a6)和图8(b6),噪点分布均匀,而且没有极值图像块标记中那么明显的边界特征,这样的标记更加符合噪声均匀分布和随机分布的性质。此外,在高密度下,该方法的标记图像不像极值图像块标记图像中有较多白点,仍然具有较低的误判率。
表2不同标记方法误判率的对比
噪声密度 | 极点标记 | 极值图像块标记 | 均值标记 | MCNN标记 |
0.2 | 0.5525 | 0.0285 | 0.5525 | 0.0832 |
0.5 | 0.1089 | 0.0495 | 0.1089 | 0.0471 |
0.8 | 0.0248 | 0.1417 | 0.0237 | 0.0222 |
平均值 | 0.2287 | 0.0732 | 0.2283 | 0.0508 |
表2为不同标记方法误判率的对比其中误判率(MR)是错误标记的噪点数与总噪点数之比,MR越低越好。表2中的数据与上述分析一致,极点标记法和均值标记法的误判率相当,极值图像块的误判率较低,而MCNN标记法的误判率最低。数据显示,MCNN标记法的误判率分别比极点标记法、均值标记法和极值图像块标记法降低了75.47%、75.43%和23.36%。
(2)噪声去除
为了对比DCNN与传统去噪方法的性能,对所有去噪方法处理所得图像,根据MCNN噪点标记的结果,正常像素采用干净图像中对应位置的像素代替,噪点像素保留各自去噪方法生成的原有灰阶。按照该方法进行消融之后,再对比图像的视觉效果及峰值信噪比(peak signal to noise ratio,PSNR)和平均绝对误差(mean absolute error,MAE)的数值。图9是不同噪声密度下不同方法处理所得图像的视觉效果对比,其中输入图像分别为密度为0.2、0.5和0.8的噪声图像,覆盖了低、中和高三个等级的噪声密度。从中可以看出,中值滤波去噪图像在低密度下就开始存在噪点残留,如图9(a2)。在高密度下,噪点残留现象更加严重,如图9(b2)和图9(c2)。这是由于该方法采用滑动窗口中像素灰阶的中间值代替噪点,在一定的噪声密度下可能存在中值点也是噪点的情况,随着噪声密度的提升这种情况出现的概率增大。三权重因子算法采用自适应窗口多个像素灰阶的权重之和代替噪点,低密度下的去噪效果尚可,但是在高密度下,由于该方法采用的极点标记在输入图像本身就存在很多正常极值点的时候误判率较大,使得搜索到的正常点可能是噪点,而使用噪点代替噪点自然会存在噪点残留,如图9(a3)、图9(b3)和图9(c3)。自适应概率滤波采用最大概率的相邻像素灰阶代替噪点灰阶,但是在噪声密度极高的情况下相邻像素可能是噪点,因而在处理高密度噪声图像时概率滤波容易失效,如图9(c4)。在传统的非CNN去噪方法中,均值标记重复滤波表现最佳,主要原因在于该方法采用的均值噪点标记误判率较低。然而,该方法的信息损失还需要进一步降低。Liang CNN通过中值滤波进行彻底去噪,再通过残差网络的学习恢复正常图像。Liang CNN去噪所得图像中噪点彻底消除了,但是由于在网络的前半部分大量采用了中值滤波算子,损失了大量的图像细节,该方法处理所得图像显得模糊,如图9(a7)、图9(b7)和图9(c7)。Xing CNN通过17个卷积层去除噪声,相比之下,信息损失有所降低。但是,该网络对所有像素单元都采用了卷积神经网络进行改变,使得还有降低的空间,如表3。此外,Chen CNN提出根据极点标记的结果,对正常点直接输出,而对噪点采用卷积神经网络处理的灰阶代替。该方法的普适性较差,尤其是当原图像中本身就存在较多正常的极值点的时候,仍然用卷积神经网络的数据更新这些原本不用改变的像素。因此,该方法的信息损失较大,如表3。为了实现高性能去噪的同时降低信息损失,本文采用双CNN提升椒盐去噪的鲁棒性,其中MCNN的任务是实现精确噪点标记,DCNN的任务是实现高性能噪声去除。通过两个CNN的结合,实现了对噪点的针对性高性能处理,因而达到了最佳去噪效果,如图9(a10)、图9(b10)和图9(c10)。
表3的数据与上述分析一致,从中看出,本文提出的去噪方法相比于非CNN方法和CNN方法都有明显的提升。峰值信噪比PSNR评估图像的视觉效果,越大越好。信息损失MAE评估信息损失,越小越好。从表3看出,传统的非CNN方法中均值标记重复滤波较好,传统的CNN方法中Xing CNN和Chen CNN都取得了相对较好的去噪效果。双卷积神经网络方法的PSNR分别比均值标记重复滤波和Chen CNN方法提升了8.61%和6.04%,MAE分别比均值标记重复滤波和Chen CNN方法降低了15.60%和17.86%。
表3相同噪点标记下各种去噪方法的性能指标对比
Claims (9)
1.一种基于轻量级双卷积神经网络的图像去噪方法,其特征在于,包括:
S1、彩色图像转换为黑白图像,然后截取若干个图像块;
S2、将所截取的图像块添加随机密度的椒盐噪声,得到噪声图像;分别对添加和未添加椒盐噪声的位置进行区别标记,生成噪声掩膜;
S3、(1)将噪声图像和噪声掩模组合在一起,构成一一对应的“噪声图像-噪声掩模”对,用作训练MCNN的数据集,得到MCNN网络模型;
(2)将噪声图像和干净图像组合在一起,构成一一对应的“噪声图像-干净图像”对,用作训练DCNN的数据集,得到DCNN网络模型;
S4、噪声图像进行去噪:用MCNN对图像中的噪点进行标记,对于MCNN标记为噪点的像素,采用DCNN网络模型对噪声图像进行去噪。
2.根据权利要求1所述的一种基于轻量级双卷积神经网络的图像去噪方法,其特征在于:所述MCNN网络模型包括若干个卷积层,其中第一个和最后一个卷积层为常规卷积层,第一个卷积层将输入的噪声图像生成若干个卷积张量,最后一个卷积层对输入的所有张量生成1张噪声掩模,两个所述常规卷积层之间为多个重复的深度可分离卷积层。
3.根据权利要求2所述的一种基于轻量级双卷积神经网络的图像去噪方法,其特征在于:所述MCNN网络模型包括8~12个卷积层,其中第一个和最后一个卷积层为常规卷积层,第一个卷积层将输入的噪声图像生50~70个卷积张量,最后一个卷积层对输入的所有张量生成1张噪声掩模,两个所述常规卷积层之间为5~10个重复的深度可分离卷积层。
4.根据权利要求3所述的一种基于轻量级双卷积神经网络的图像去噪方法,其特征在于:所述MCNN网络模型包括10个卷积层,其中第一个和最后一个卷积层为常规卷积层,第一个卷积层将输入的噪声图像生成64个卷积张量,最后一个卷积层对输入的64个张量生成1张噪声掩模,两个所述常规卷积层之间为8个重复的深度可分离卷积层。
5.根据权利要求1~4中任一项所述的一种基于轻量级双卷积神经网络的图像去噪方法,其特征在于:所述DCNN网络模型包括若干个卷积层,其中第一个卷积层和最后一个卷积层是常规卷积层,第一个卷积层将输入的噪声图像生成若干个卷积张量,最后一个卷积层对输入的所有个张量生成1张噪声掩模,两个所述常规卷积层之间是多个重复的深度可分离卷积层。
6.根据权利要求5所述的一种基于轻量级双卷积神经网络的图像去噪方法,其特征在于:所述DCNN网络模型包括15~20个卷积层,其中第一个卷积层和最后一个卷积层是常规卷积层,第一个卷积层将输入的噪声图像生成48~64个卷积张量,最后一个卷积层对输入的所有张量生成1张噪声掩模,两个所述常规卷积层之间是12~18个重复的深度可分离卷积层。
7.根据权利要求6所述的一种基于轻量级双卷积神经网络的图像去噪方法,其特征在于:所述DCNN网络模型包括17个卷积层,其中第一个卷积层和最后一个卷积层是常规卷积层,第一个卷积层将输入的噪声图像生成64个卷积张量,最后一个卷积层对输入的64个张量生成1张噪声掩模,两个所述常规卷积层之间是15个重复的深度可分离卷积层。
8.根据权利要求1所述的一种基于轻量级双卷积神经网络的图像去噪方法,其特征在于:所述MCNN和DCNN的训练周期为50个训练周期。
9.根据权利要求8所述的一种基于轻量级双卷积神经网络的图像去噪方法,其特征在于:所述MCNN训练时长为74分钟,DCNN训练时长为146分钟。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310728361.7A CN116823652A (zh) | 2023-06-19 | 2023-06-19 | 一种基于轻量级双卷积神经网络的图像去噪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310728361.7A CN116823652A (zh) | 2023-06-19 | 2023-06-19 | 一种基于轻量级双卷积神经网络的图像去噪方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116823652A true CN116823652A (zh) | 2023-09-29 |
Family
ID=88113969
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310728361.7A Pending CN116823652A (zh) | 2023-06-19 | 2023-06-19 | 一种基于轻量级双卷积神经网络的图像去噪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116823652A (zh) |
-
2023
- 2023-06-19 CN CN202310728361.7A patent/CN116823652A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Wu et al. | Reduced-reference image quality assessment with visual information fidelity | |
US10902563B2 (en) | Moran's / for impulse noise detection and removal in color images | |
Harikiran et al. | Impulse noise removal in digital images | |
CN112837303A (zh) | 一种用于模具监视的缺陷检测方法、装置、设备及介质 | |
CN109410149B (zh) | 一种基于并行特征提取的cnn去噪方法 | |
CN110837802A (zh) | 一种基于灰度共生矩阵的面部图像特征提取方法 | |
CN110880165A (zh) | 一种基于轮廓和颜色特征融合编码的图像去雾方法 | |
CN111260591B (zh) | 一种基于注意力机制的图像自适应去噪方法 | |
CN110097522B (zh) | 一种基于多尺度卷积神经网络的单幅户外图像去雾方法 | |
Kim et al. | Multiple level feature-based universal blind image quality assessment model | |
CN111311508B (zh) | 一种带噪路面裂缝图像的降噪方法 | |
CN116091455A (zh) | 基于机器视觉的钢网表面缺陷判定方法 | |
CN111242878A (zh) | 基于布谷鸟搜索的矿井下图像增强方法 | |
CN110830043B (zh) | 一种基于混合加权全变分和非局部低秩的图像压缩感知重构方法 | |
CN105894507B (zh) | 基于图像信息量自然场景统计特征的图像质量评价方法 | |
CN112488934A (zh) | 一种基于cs-tcgan的指静脉图像去噪方法 | |
CN115565056A (zh) | 基于条件生成对抗网络的水下图像增强方法及系统 | |
CN110111266A (zh) | 一种基于深度学习去噪的近似信息传递算法改进方法 | |
CN118397367A (zh) | 一种基于卷积视觉Mamba的篡改检测方法 | |
CN109003247B (zh) | 彩色图像混合噪声的去除方法 | |
KR20130035914A (ko) | 디지털 단색 이미지의 결함 픽셀의 휘도를 정정하는 방법 | |
CN112200752B (zh) | 一种基于er网络多帧图像去模糊系统及其方法 | |
Chen et al. | Image quality assessment guided deep neural networks training | |
CN111461999B (zh) | 一种基于超像素相似性测量的sar图像相干斑抑制方法 | |
CN116823652A (zh) | 一种基于轻量级双卷积神经网络的图像去噪方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |