CN114998160B - 一种并行多尺度特征融合的卷积神经网络去噪方法 - Google Patents
一种并行多尺度特征融合的卷积神经网络去噪方法 Download PDFInfo
- Publication number
- CN114998160B CN114998160B CN202210930575.8A CN202210930575A CN114998160B CN 114998160 B CN114998160 B CN 114998160B CN 202210930575 A CN202210930575 A CN 202210930575A CN 114998160 B CN114998160 B CN 114998160B
- Authority
- CN
- China
- Prior art keywords
- neural network
- convolutional neural
- noise
- bypass
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000004927 fusion Effects 0.000 title claims abstract description 25
- 238000000605 extraction Methods 0.000 claims abstract description 15
- 238000013507 mapping Methods 0.000 claims abstract description 9
- 239000000126 substance Substances 0.000 claims description 14
- 230000006835 compression Effects 0.000 claims description 6
- 238000007906 compression Methods 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 abstract description 2
- 238000012549 training Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 230000007547 defect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种并行多尺度特征融合的卷积神经网络去噪方法,通过卷积神经网络对局部特征进行多尺度提取,在高层得到语义化程度比较高的特征之后,在此基础上对不同尺度下提取到的局部特征采取注意力机制引导的策略,然后和网络中的浅层特征融合,融合后的特征既有较高的语义性,也有较高的分辨率,针对低噪声场景下的图像,充分挖掘出隐藏在复杂背景中的特征,为融合成全局特征做准备。在卷积神经网络的最后引入了残差连接,将提取到的噪声图像与原始图像做映射运算,从而恢复出高质量的图像。
Description
技术领域
本发明涉及一种图像去噪方法,尤其涉及一种基于卷积神经网络的图像去噪方法。
背景技术
采集的原始图像会在一定程度上被噪声污染,这些噪声会使图像变得模糊,因此在数字图像处理的过程中,需要对采集的原始图像进行处理,去除掉图像上的噪声干扰信息,从一定程度上恢复图像的原始信息。
现有图像去噪技术主要分为两大类:一类是空间滤波去噪,另一类是频率域滤波去噪。这两类传统的图像去噪方法都存在优化问题复杂,去噪过程运算耗时的缺点,因此卷积神经网络被应用到去噪领域,现有的卷积神经网络去噪方法主要存在以下缺点:
1、卷积神经网络采用的是一个尺度下进行提取,这样做的缺点就是无法充分融合不同尺度下的特征信息,面对复杂背景的图像去噪场景下不能很好地辨别出噪声的特征。
2、目前的研究倾向于使用更深的卷积神经网络来提高性能。但是,盲目增加网络深度并不能有效改善网络,反而会导致计算量的增加以及网络退化的问题。
发明内容
发明目的:针对上述现有技术,提出一种并行多尺度特征融合的卷积神经网络去噪方法,针对低噪声场景下的图像,能够充分挖掘出隐藏在复杂背景中的特征,恢复出高质量的图像。
技术方案:一种并行多尺度特征融合的卷积神经网络去噪方法,包括:首先利用卷积神经网络对原始图像的局部噪声特征进行多尺度提取,然后对不同尺度下提取到的噪声特征采取注意力机制压缩成权重,利用权重进一步提取不同尺度下的噪声特征,最后将不同尺度下提取得到的噪声特征进行全局融合;在所述卷积神经网络的最后引入残差连接,将全局融合得到的噪声特征与原始图像做映射运算,从完成图像去噪。
进一步的,利用卷积神经网络对原始图像的局部噪声特征进行多尺度提取,具体包括:
原始图像I n-1作为所述卷积神经网络的输入特征,经过一个3*3的卷积核进行噪声特征提取后,输入所述卷积神经网络的两个旁路,第一个旁路包括两个3*3的卷积核,第二个旁路包括两个5*5的卷积核,两个旁路分别进行进一步的噪声特征提取,数学表示为:
其中,表示卷积神经网络的第一个3*3卷积核的输出;σ(·)表示ReLU激活函数;和分别表示卷积神经网络的第一个3*3卷积核的权重和偏差;和分别表示第一个旁路中两个3*3卷积核的权重;和分别表示第二个旁路中两个5*5卷积核的权重;表示两个旁路中第一个卷积核的偏差;表示两个旁路中第二个卷积核的偏差;和分别表示第一个旁路中两个3*3卷积核的输出;和分别表示第二个旁路中两个5*5卷积核的输出;表示和的合并操作。
进一步的,对不同尺度下提取到的噪声特征采取注意力机制压缩成权重,具体包括:
利用1*1的卷积核分别将两个旁路中第二个卷积核的输出压缩成向量,数学表示为:
进一步的,利用权重进一步提取不同尺度下的噪声特征,具体包括:
进一步的,利用一个1*1的卷积核将不同尺度下提取得到的噪声特征进行全局融合,数学表示为:
进一步的,在所述卷积神经网络的最后引入残差连接,将全局融合得到的噪声特征与原始图像做映射运算,数学表示为:
有益效果:去噪的目的在于能够保持图像光滑,但是图像光滑的同时会损失掉部分图像边缘的细节,因此本发明提出了一种既可以保留图像边缘细节又能很好的去除噪声的方法,即通过卷积神经网络对局部特征进行多尺度提取,在高层得到语义化程度比较高的特征之后,在此基础上对不同尺度下提取到的局部特征采取注意力机制引导的策略,然后和网络中的浅层特征融合,融合后的特征既有较高的语义性,也有较高的分辨率,针对低噪声场景下的图像,充分挖掘出隐藏在复杂背景中的特征。相对于之前的去噪方法,在边缘细节上获得了很大的提升。
此外,本发明方法还引入了残差连接,将提取到的噪声图像与原始图像做映射运算,从而恢复出高质量的图像。
附图说明
图1为本发明方法流程图;
图2为本发明中网络的结构图;
图3为本发明方法和现有方法的效果对比图。
具体实施方式
下面结合附图对本发明做更进一步的解释。
如图1所示,一种并行多尺度特征融合的卷积神经网络去噪方法,首先利用卷积神经网络对原始图像的局部噪声特征进行多尺度提取,然后对不同尺度下提取到的噪声特征采取注意力机制压缩成权重,利用权重进一步提取不同尺度下的噪声特征,最后将不同尺度下提取得到的噪声特征进行全局融合;在卷积神经网络的最后引入残差连接,将全局融合得到的噪声特征与原始图像做映射运算,从完成图像去噪,恢复出高质量的图像。
其中,卷积神经网络的构建方法包括如下步骤:
步骤1:构造训练数据集。
本实施例选择CBSD68数据集用于对网络进行训练,并将数据集中的图像剪裁成50*50的大小,对图像进行旋转增广处理,得到充分数量的训练数据集。
步骤2:搭建如图2所示的网络框架,卷积神经网络采用双旁路结构,其中第一个旁路使用两个3*3的卷积核,第二个旁路使用两个5*5的卷积核,经过两条旁路的卷积之后再进行合并,这样不同旁路之间的信息就可以实现相互共享,从而可以检测出不同尺度下图像的特征,具体过程如下:
步骤2.1:原始图像I n-1作为卷积神经网络的输入特征,经过一个3*3的卷积核进行噪声特征提取后,输入卷积神经网络的两个旁路,第一个旁路包括两个3*3的卷积核,第二个旁路包括两个5*5的卷积核,两个旁路分别进行先通过一个卷积核进行噪声特征提取,然后再分别通过旁路上的一个卷积和进行合并操作,数学表示为:
其中,表示卷积神经网络的第一个3*3卷积核的输出;σ(·)表示ReLU激活函数;和分别表示卷积神经网络的第一个3*3卷积核的权重和偏差;和分别表示第一个旁路中两个3*3卷积核的权重;和分别表示第二个旁路中两个5*5卷积核的权重;表示两个旁路中第一个卷积核的偏差;表示两个旁路中第二个卷积核的偏差;和分别表示第一个旁路中两个3*3卷积核的输出;和分别表示第二个旁路中两个5*5卷积核的输出;表示和的合并操作。
步骤2.2:利用合并后的特征图来引导前一阶段去学习噪声信息,这对于未知噪声图像,即盲去噪和真实噪声图像来说是非常有用,实现主要分为两个步骤:
第一步,对不同尺度下提取到的噪声特征采取注意力机制压缩成权重,即利用1*1的卷积核分别将两个旁路中第二个卷积核的输出压缩成向量:
第二步,利用压缩得到的向量作为权重,分别乘以两个旁路中第一个卷积核的输出,提取更突出的噪声特征。具体为,利用对第一个旁路中第一个卷积核的输出进一步提出噪声特征,用对第二个旁路中第一个卷积核的输出进一步提出噪声特征,数学表示为:
步骤2.3:将强化后的噪声特征和网络中的浅层特征进行全局融合,可以很好的代表不同尺度下的噪声特征。具体的,利用一个1*1的卷积核将不同尺度下提取得到的噪声特征进行全局融合,数学表示为:
在卷积神经网络的最后引入残差连接,将全局融合得到的噪声特征与原始图像做映射运算来增强网络的表达能力,数学表示为:
步骤3:设置步骤2构建的网络的超参数。
步骤3.1:训练开始之前设置卷积神经网络初始学习速率为1e-3,使用Adam优化损失函数,设置batch size和epoch分别为64和150。
步骤4:根据步骤3设置的网络超参数,通过步骤1的训练数据集对网络进行训练,得到网络模型。
步骤5:测试网络模型。
选取测试数据集,测试数据集的选取原则是不和训练数据集重合,本实施例选择Kodak24数据集作为测试集,包括了24张500*500大小的图像,将待测试图像输入到网络模型中观察效果,使用峰值信噪比(PSNR)作为误差度量来评估去噪效果,PSNR值越高表明去噪效果越好。
如图3所示,左上为原始图像,右上为噪声图像,左下为原始图像通过DnCNN去噪网络后的结果,右下为原始图像通过本发明方法去噪后的结果。
本发明方法与现有去噪网络的复杂度对比如下表所示。
参数量 | 运算量 | |
DnCNN | 0.56M | 1.40G |
BRDNet | 1.11M | 2.78G |
RED30 | 4.13M | 10.33G |
本发明方法 | 0.56M | 1.36G |
本发明方法充分考虑了边缘设备的计算能力以及芯片硬件的实现需求,不涉及复杂的运算,能够保证在获得稳定去噪效果的前提下对噪声图片进行相应处理,同时可以实现轻松部署到通用移动设备中。所以,在ISP图像处理环节,本发明的网络可作为图像降噪的特征提取模块。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (1)
1.一种并行多尺度特征融合的卷积神经网络去噪方法,其特征在于,包括:首先利用卷积神经网络对原始图像的局部噪声特征进行多尺度提取,然后对不同尺度下提取到的噪声特征采取注意力机制压缩成权重,利用权重进一步提取不同尺度下的噪声特征,最后将不同尺度下提取得到的噪声特征进行全局融合;在所述卷积神经网络的最后引入残差连接,将全局融合得到的噪声特征与原始图像做映射运算,从完成图像去噪;
利用卷积神经网络对原始图像的局部噪声特征进行多尺度提取,具体包括:
原始图像I n-1作为所述卷积神经网络的输入特征,经过一个3*3的卷积核进行噪声特征提取后,输入所述卷积神经网络的两个旁路,第一个旁路包括两个3*3的卷积核,第二个旁路包括两个5*5的卷积核,两个旁路分别进行进一步的噪声特征提取,数学表示为:
其中,表示卷积神经网络的第一个3*3卷积核的输出;σ(·)表示ReLU激活函数;和分别表示卷积神经网络的第一个3*3卷积核的权重和偏差;和分别表示第一个旁路中两个3*3卷积核的权重;和分别表示第二个旁路中两个5*5卷积核的权重;表示两个旁路中第一个卷积核的偏差;表示两个旁路中第二个卷积核的偏差;和分别表示第一个旁路中两个3*3卷积核的输出;和分别表示第二个旁路中两个5*5卷积核的输出;表示和的合并操作;
对不同尺度下提取到的噪声特征采取注意力机制压缩成权重,具体包括:
利用1*1的卷积核分别将两个旁路中第二个卷积核的输出压缩成向量,数学表示为:
利用权重进一步提取不同尺度下的噪声特征,具体包括:
利用一个1*1的卷积核将不同尺度下提取得到的噪声特征进行全局融合,数学表示为:
在所述卷积神经网络的最后引入残差连接,将全局融合得到的噪声特征与原始图像做映射运算,数学表示为:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210930575.8A CN114998160B (zh) | 2022-08-04 | 2022-08-04 | 一种并行多尺度特征融合的卷积神经网络去噪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210930575.8A CN114998160B (zh) | 2022-08-04 | 2022-08-04 | 一种并行多尺度特征融合的卷积神经网络去噪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114998160A CN114998160A (zh) | 2022-09-02 |
CN114998160B true CN114998160B (zh) | 2022-11-01 |
Family
ID=83023080
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210930575.8A Active CN114998160B (zh) | 2022-08-04 | 2022-08-04 | 一种并行多尺度特征融合的卷积神经网络去噪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114998160B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3966778A1 (en) * | 2019-05-06 | 2022-03-16 | Sony Group Corporation | Electronic device, method and computer program |
CN117689188B (zh) * | 2024-02-04 | 2024-04-26 | 江西驴充充物联网科技有限公司 | 基于大数据的用户充电策略优化系统及方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110599409A (zh) * | 2019-08-01 | 2019-12-20 | 西安理工大学 | 基于多尺度卷积组与并行的卷积神经网络图像去噪方法 |
AU2020100274A4 (en) * | 2020-02-25 | 2020-03-26 | Huang, Shuying DR | A Multi-Scale Feature Fusion Network based on GANs for Haze Removal |
CN111242862A (zh) * | 2020-01-09 | 2020-06-05 | 西安理工大学 | 多尺度融合并行稠密残差卷积神经网络图像去噪方法 |
CN112233026A (zh) * | 2020-09-29 | 2021-01-15 | 南京理工大学 | 一种基于多尺度残差注意力网络的sar图像去噪方法 |
-
2022
- 2022-08-04 CN CN202210930575.8A patent/CN114998160B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110599409A (zh) * | 2019-08-01 | 2019-12-20 | 西安理工大学 | 基于多尺度卷积组与并行的卷积神经网络图像去噪方法 |
CN111242862A (zh) * | 2020-01-09 | 2020-06-05 | 西安理工大学 | 多尺度融合并行稠密残差卷积神经网络图像去噪方法 |
AU2020100274A4 (en) * | 2020-02-25 | 2020-03-26 | Huang, Shuying DR | A Multi-Scale Feature Fusion Network based on GANs for Haze Removal |
CN112233026A (zh) * | 2020-09-29 | 2021-01-15 | 南京理工大学 | 一种基于多尺度残差注意力网络的sar图像去噪方法 |
Non-Patent Citations (1)
Title |
---|
分层特征融合注意力网络图像超分辨率重建;雷鹏程等;《中国图象图形学报》;20200916(第09期);第59-72页 * |
Also Published As
Publication number | Publication date |
---|---|
CN114998160A (zh) | 2022-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114998160B (zh) | 一种并行多尺度特征融合的卷积神经网络去噪方法 | |
CN109035149B (zh) | 一种基于深度学习的车牌图像去运动模糊方法 | |
CN109003240B (zh) | 一种基于多尺度并行cnn的图像去噪方法 | |
CN110570364B (zh) | 基于深度神经网络的分焦平面偏振图像去噪方法 | |
CN106709877B (zh) | 一种基于多参数正则优化模型的图像去模糊方法 | |
CN112419184B (zh) | 一种综合局部信息和全局信息的空间注意力图像去噪方法 | |
CN111861906B (zh) | 一种路面裂缝图像虚拟增广模型建立及图像虚拟增广方法 | |
CN105657402A (zh) | 一种深度图恢复方法 | |
CN110490816B (zh) | 一种水下异构信息数据降噪方法 | |
CN112347945B (zh) | 一种基于深度学习的含噪遥感图像增强方法及系统 | |
CN112435162B (zh) | 一种基于复数域神经网络的太赫兹图像超分辨重建方法 | |
CN116563146A (zh) | 基于可学习曲率图的图像增强方法与系统 | |
CN114266957A (zh) | 一种基于多降质方式数据增广的高光谱图像超分辨率复原方法 | |
CN112991199A (zh) | 一种基于残差密集网络的图像高低频分解噪声去除方法 | |
CN115526779A (zh) | 一种基于动态注意力机制的红外图像超分辨率重建方法 | |
CN114972130B (zh) | 一种去噪神经网络的训练方法、装置及训练设备 | |
CN115829870A (zh) | 一种基于可变尺度滤波的图像去噪方法 | |
CN113256528B (zh) | 基于多尺度级联深度残差网络的低照度视频增强方法 | |
CN111986114B (zh) | 一种基于自监督约束的双尺度图像盲去噪方法及系统 | |
Xu et al. | Dual-branch deep image prior for image denoising | |
CN116594061B (zh) | 一种基于多尺度u形注意网络的地震数据去噪方法 | |
CN116819615B (zh) | 一种地震数据重建方法 | |
CN114076986B (zh) | 一种多尺度字典学习稀疏去噪方法 | |
CN113177895B (zh) | 基于上下文的多特征融合网络的两阶段图像修复方法 | |
CN113361417B (zh) | 一种基于可变时序的人体行为识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20230411 Address after: No. 88, Wenchang East Road, Yangzhou, Jiangsu 225000 Patentee after: Jiangsu Daoyuan Technology Group Co.,Ltd. Address before: 211135 enlightenment star Nanjing maker space G41, second floor, No. 188, Qidi street, Qilin science and Technology Innovation Park, Qixia District, Nanjing, Jiangsu Province Patentee before: Jiangsu Peregrine Microelectronics Co.,Ltd. |
|
TR01 | Transfer of patent right |