CN111612707B - 一种基于小波变换的神经网络图像去噪方法 - Google Patents

一种基于小波变换的神经网络图像去噪方法 Download PDF

Info

Publication number
CN111612707B
CN111612707B CN202010364618.1A CN202010364618A CN111612707B CN 111612707 B CN111612707 B CN 111612707B CN 202010364618 A CN202010364618 A CN 202010364618A CN 111612707 B CN111612707 B CN 111612707B
Authority
CN
China
Prior art keywords
image
sub
convolution
neural network
wavelet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010364618.1A
Other languages
English (en)
Other versions
CN111612707A (zh
Inventor
颜成钢
陈利
巩鹏博
郑锦凯
孙垚棋
张继勇
张勇东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202010364618.1A priority Critical patent/CN111612707B/zh
Publication of CN111612707A publication Critical patent/CN111612707A/zh
Application granted granted Critical
Publication of CN111612707B publication Critical patent/CN111612707B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于小波变换的神经网络图像去噪方法。本发明首先使用小波变换对图像进行分解，具体的是将原始图像分解成为四个子图像；对于得到的子图像，分别单独的使用设计好的全卷积神经网络进行训练，四个神经网络之间互不干扰；接下来再使用图像融合的方法将四个子图融合成为最后的去噪图像。本发明针对图像中的噪声，可以有效的进行过滤，得到一张对比度强，色彩自然，视觉效果好的图像。该算法可以在手机上应用，只需要一键操作，有效的提高图像的质量，令用户的拍照体验感提升。

Description

一种基于小波变换的神经网络图像去噪方法
技术领域
本发明涉及图像去噪领域，具体的说涉及使用小波变换和神经网络进行图像去噪，训练出最佳的网络参数。
背景技术
随着先进移动设备的普及，尤其是手机上相机的应用，人们几乎可以随时随地拍照。而社交媒体平台的蓬勃发展，每天都有大量的照片被制作和分享，形成了一种重要的大数据。但是，这些可视化数据的质量并没有得到保证，因为这些可视化数据的生成源是相当开放的。一方面，在拍照时，大多数人都是业余爱好者或对摄影技巧知之甚少，他们常常选择次优的拍摄参数。另一方面，有许多挑战性的拍摄条件，导致低质量的照片，如恶劣的天气，移动的物体，和低光照条件。噪声图像降低了用户体验的视觉质量，并且阻碍了对工业应用程序内容的理解。
图像噪声是造成图像视觉质量差的主要因素之一，在黑暗中或者光照不均匀的情况下都会造成图像失真。虽然存在允许用户交互调整照片的软件，但对于非专业人士来说，这是相当乏味和困难的，因为它需要同时操纵颜色和对比度等控件，同时精细地调整照片中的各种对象和细节。
一般的图像处理，微小的细节对图像降噪的后续处理程序影响不太明显，但是当处理对象为医学图像时，这样的小失误是不被允许的，因为在医疗诊断或治疗中，每一个微小的失误都会影响医师的治疗方法甚至威胁到患者的生命。这就要求更多的研究者来投入时间和精力研究新的降噪技术，以达到降噪并同时仍能保留足够细节信息的目的。
图像去噪主要是对得到的不满意的图像进行自适应处理，过滤掉图像中的噪声，恢复图像的细节信息。得到的增强图像具有良好的对比度，自然的光照色彩以及良好的视觉效果。
发明内容
本发明主要是提出一种基于小波变换的神经网络图像去噪算法，可以对得到的包含噪声的图像进行增强处理，得到一张对比度明显，色彩自然，视觉效果好，细节清晰的图像。
本发明的方法首先使用小波变换对图像进行分解，具体的是将原始图像分解成为四个子图像；对于得到的子图像，分别单独的使用设计好的全卷积神经网络进行训练，四个神经网络之间互不干扰；接下来再使用图像融合的方法将四个子图融合成为最后的去噪图像。
本发明解决其技术问题所采用的技术方案具体包括以下步骤：
步骤1：使用小波变换分解原始噪声图像，得到四个子图；
通过低通和高通滤波器，分解原始噪声图像，得到四个子图：LL子带是由两个方向利用低通小波滤波器卷积后产生的小波系数，它是图像的近似表示；HL子带是在行方向利用低通小波滤波器卷积后，再用高通小波滤波器在列方向卷积而产生的小波系数，它表示图像的水平方向奇异特性；LH子带是在行方向利用高通小波滤波器卷积后，再用低通小波滤波器在列方向卷积而产生的小波系数，它表示图像的垂直方向奇异特性；HH子带是由两个方向利用高通小波滤波器卷积后产生的小波系数，它表示图像的对角边缘特性；
步骤2：使用全卷积神经网络进行训练，对得到的子图进行训练；
采取四个相同结构的全卷积神经网络分别进行训练，这四个网络之间互不干扰，每个全卷积神经网络只对自己的负责的子图进行训练；最后得到四张训练过后的输出子图；
步骤3：使用图像融合技术，将四个训练后的子图融合；
将得到的四张全卷积神经网络的输出子图进行融合，得到一张包含图像完整信息的去噪后的图像；
输出子图和原始的输入图像之间进行psnr处理，得到四个数值psnr1,psnr2,psnr3,psnr4；
利用这四个数值，得到第i张子图的权重：
Figure BDA0002476155010000021
四张子图根据权重进行融合得到一张包含图像完整信息的去噪后的融合图像；
在融合图像之后，使用伽马变化进行一个图像后处理，使得得到的融合图像色彩更加柔和。
所述的全卷积神经网络为自己定义的ResVDSR网络，具体如下：
首先使用双边滤波的方法对输入的噪声图像进行预处理；然后将经过预处理后的噪声图像输入ResVDSR网络；
ResVDSR网络一共有四层，第一层的输入通道为3，输出通道为64；第二层的输入通道为64，输出通道为128；第三层的输入通道为128，输出通道为64；第四层的输入通道为64，输出通道为3；四层网络的卷积核大小全部都是3*3，并且使用ReLU进行激活；在第一层输入之前到第四层输出之后建立一个残差结构，该结构能够保留图像更多的纹理信息。
本发明的有益效果：
本发明提出了一种基于小波变换的噪声图像增强算法，针对图像中的噪声，可以有效的进行过滤，得到一张对比度强，色彩自然，视觉效果好的图像。该算法可以在手机上应用，只需要一键操作，有效的提高图像的质量，令用户的拍照体验感提升。
附图说明
图1为本发明的算法流程图
图2为本发明定义的ResVDSR网络
具体实施方式
以下结合附图及实施例，对本发明进行进一步的详细说明。
本发明的方法首先使用小波变换对图像进行分解，具体的是将原始图像分解成为四个子图像；对于得到的子图像，分别单独的使用设计好的全卷积神经网络进行训练，四个神经网络之间互不干扰；接下来再使用图像融合的方法将四个子图融合成为最后的去噪图像。
实施流程如图1所示。本发明所述方法包括以下步骤：
步骤1：使用小波变换分解原始噪声图像，得到四个子图；
小波在图像处理里被称为图像显微镜，原因在于它的多分辨率分解能力可以将图片信息一层一层分解剥离开来。剥离的手段就是通过低通和高通滤波器，本方法得到了四个子图：LL子带是由两个方向利用低通小波滤波器卷积后产生的小波系数，它是图像的近似表示；HL子带是在行方向利用低通小波滤波器卷积后，再用高通小波滤波器在列方向卷积而产生的小波系数，它表示图像的水平方向奇异特性；LH子带是在行方向利用高通小波滤波器卷积后，再用低通小波滤波器在列方向卷积而产生的小波系数，它表示图像的垂直方向奇异特性；HH子带是由两个方向利用高通小波滤波器卷积后产生的小波系数，它表示图像的对角边缘特性。
在具体的分解过程中，滤波器的选择以及系数的确定对于最后的去噪结果都是有比较大的影响。此时可以多选择几组滤波器进行对比，取效果最好的作为最后的小波分解图像。
步骤2：使用神经网络，对得到的子图进行训练；
本发明采取了四个相同结构的神经网络分别进行训练，这四个网络之间互不干扰，每个网络只会对自己的负责的子图进行训练。最后得到四张训练过后的输出子图。
本发明提出了一种ResVDSR的网络结构，具体结构如图2所示。
首先使用双边滤波的方法对输入的噪声图像进行预处理；然后将经过预处理后的噪声图像输入ResVDSR网络；
ResVDSR网络一共有四层，第一层的输入通道为3，输出通道为64；第二层的输入通道为64，输出通道为128；第三层的输入通道为128，输出通道为64；第四层的输入通道为64，输出通道为3；四层网络的卷积核大小全部都是3*3，并且使用ReLU进行激活；在第一层输入之前到第四层输出之后建立一个残差结构，该结构能够保留图像更多的纹理信息。该网络的层数比较浅，而且得到的去噪效果也比较好。在时间复杂度与性能之间得到了一个比较好的平衡，在较短的时间内输出让人满意的输出图。
步骤3：使用图像融合技术，将四个训练后的子图融合。
此时我们只得到了四张神经网络的输出子图，这四张子图分别代表了原始图像的一些重要信息，将这些图像进行融合就可以得到一张包含图像完整信息的去噪后的图像。输出的子图和原始的输入图之间进行psnr处理可以得到四个数值psnr1,psnr2,psnr3,psnr4。
利用这四个数值，可以得到第i张子图的权重：
Figure BDA0002476155010000051
四张子图根据权重进行融合得到输出的子图。
在融合图像之后，可以使用伽马变化进行一个图像后处理，这样得到的图像色彩更加柔和，图像可视化效果比较好。

Claims (1)

1.一种基于小波变换的神经网络图像去噪方法，其特征在包括以下步骤：
步骤1：使用小波变换分解原始噪声图像，得到四个子图；
通过低通和高通滤波器，分解原始噪声图像，得到四个子图：LL子带是由两个方向利用低通小波滤波器卷积后产生的小波系数，它是图像的近似表示；HL子带是在行方向利用低通小波滤波器卷积后，再用高通小波滤波器在列方向卷积而产生的小波系数，它表示图像的水平方向奇异特性；LH子带是在行方向利用高通小波滤波器卷积后，再用低通小波滤波器在列方向卷积而产生的小波系数，它表示图像的垂直方向奇异特性；HH子带是由两个方向利用高通小波滤波器卷积后产生的小波系数，它表示图像的对角边缘特性；
步骤2：使用全卷积神经网络进行训练，对得到的子图进行训练；
采取四个相同结构的全卷积神经网络分别进行训练，这四个网络之间互不干扰，每个全卷积神经网络只对自己的负责的子图进行训练；最后得到四张训练过后的输出子图；
步骤3：使用图像融合技术，将四个训练后的子图融合；
将得到的四张全卷积神经网络的输出子图进行融合，得到一张包含图像完整信息的去噪后的图像；
输出子图和原始的输入图像之间进行psnr处理，得到四个数值psnr1,psnr2,psnr3,psnr4；
利用这四个数值，得到第i张子图的权重：
Figure FDA0004107602740000011
四张子图根据权重进行融合得到一张包含图像完整信息的去噪后的融合图像；
在融合图像之后，使用伽马变化进行一个图像后处理，使得得到的融合图像色彩更加柔和；
所述的全卷积神经网络为ResVDSR网络，具体如下：
首先使用双边滤波的方法对输入的噪声图像进行预处理；然后将经过预处理后的噪声图像输入ResVDSR网络；
ResVDSR网络一共有四层，第一层的输入通道为3，输出通道为64；第二层的输入通道为64，输出通道为128；第三层的输入通道为128，输出通道为64；第四层的输入通道为64，输出通道为3；四层网络的卷积核大小全部都是3*3，并且使用ReLU进行激活；在第一层输入之前到第四层输出之后建立一个残差结构，该结构能够保留图像更多的纹理信息。
CN202010364618.1A 2020-04-30 2020-04-30 一种基于小波变换的神经网络图像去噪方法 Active CN111612707B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010364618.1A CN111612707B (zh) 2020-04-30 2020-04-30 一种基于小波变换的神经网络图像去噪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010364618.1A CN111612707B (zh) 2020-04-30 2020-04-30 一种基于小波变换的神经网络图像去噪方法

Publications (2)

Publication Number Publication Date
CN111612707A CN111612707A (zh) 2020-09-01
CN111612707B true CN111612707B (zh) 2023-04-18

Family

ID=72201250

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010364618.1A Active CN111612707B (zh) 2020-04-30 2020-04-30 一种基于小波变换的神经网络图像去噪方法

Country Status (1)

Country Link
CN (1) CN111612707B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112258597B (zh) * 2020-12-18 2021-04-20 成都理工大学 基于神经网络定位算法的快速成像方法及装置
CN112819739B (zh) * 2021-01-28 2024-03-01 浙江祺跃科技有限公司 一种扫描电子显微镜图像处理方法和系统
WO2022193276A1 (zh) * 2021-03-19 2022-09-22 深圳高性能医疗器械国家研究院有限公司 一种用于医学图像低剂量估计的深度学习方法
CN113256508A (zh) * 2021-04-09 2021-08-13 浙江工业大学 一种改进的小波变换与卷积神经网络图像去噪声的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104240203A (zh) * 2014-09-09 2014-12-24 浙江工业大学 基于小波变换和快速双边滤波的医学超声图像去噪方法
CN109087255A (zh) * 2018-07-18 2018-12-25 中国人民解放军陆军工程大学 一种基于混合损失的轻量级深度图像去噪方法
CN109242804A (zh) * 2018-10-19 2019-01-18 华南理工大学 一种基于水平集曲率及小波变换的图像去噪方法
CN109816599A (zh) * 2018-12-07 2019-05-28 西安电子科技大学 一种基于小波分解卷积神经网络的图像条带噪声抑制方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7260272B2 (en) * 2003-07-10 2007-08-21 Samsung Electronics Co.. Ltd. Method and apparatus for noise reduction using discrete wavelet transform
US7778484B2 (en) * 2007-01-05 2010-08-17 Seiko Epson Corporation Method and apparatus for reducing noise in an image using wavelet decomposition

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104240203A (zh) * 2014-09-09 2014-12-24 浙江工业大学 基于小波变换和快速双边滤波的医学超声图像去噪方法
CN109087255A (zh) * 2018-07-18 2018-12-25 中国人民解放军陆军工程大学 一种基于混合损失的轻量级深度图像去噪方法
CN109242804A (zh) * 2018-10-19 2019-01-18 华南理工大学 一种基于水平集曲率及小波变换的图像去噪方法
CN109816599A (zh) * 2018-12-07 2019-05-28 西安电子科技大学 一种基于小波分解卷积神经网络的图像条带噪声抑制方法

Also Published As

Publication number Publication date
CN111612707A (zh) 2020-09-01

Similar Documents

Publication Publication Date Title
CN111612707B (zh) 一种基于小波变换的神经网络图像去噪方法
WO2023092813A1 (zh) 一种基于通道注意力的Swin-Transformer图像去噪方法及系统
CN109087255B (zh) 一种基于混合损失的轻量级深度图像去噪方法
CN110610467B (zh) 一种基于深度学习的多帧视频去压缩噪声方法
CN116051428B (zh) 一种基于深度学习的联合去噪与超分的低光照图像增强方法
CN113139909B (zh) 一种基于深度学习的图像增强方法
CN113284061B (zh) 一种基于梯度网络的水下图像增强方法
WO2021179764A1 (zh) 图像处理模型生成方法、处理方法、存储介质及终端
CN114723630A (zh) 基于空洞双残差多尺度深度网络的图像去模糊方法及系统
CN116188325A (zh) 一种基于深度学习和图像颜色空间特性的图像去噪方法
CN114881888A (zh) 基于线性稀疏注意力Transformer的视频去摩尔纹方法
CN108648162A (zh) 一种基于噪声水平的梯度相关tv因子图像去噪去模糊方法
CN115170410A (zh) 融合小波变换和注意力机制的图像增强方法及装置
CN114219722A (zh) 一种利用时频域层级处理的低光照图像增强方法
CN115393227A (zh) 基于深度学习的微光全彩视频图像自适应增强方法及系统
CN116188313A (zh) 一种基于非对称U-Net网络的动态场景盲去模糊方法
CN112614063B (zh) 用于楼宇内低照度环境的图像增强和噪声自适应去除方法
Yadav et al. Frequency-domain loss function for deep exposure correction of dark images
CN106375675A (zh) 一种航空相机多曝光图像融合方法
CN111353982B (zh) 一种深度相机图像序列筛选方法及装置
CN117391987A (zh) 基于多阶段联合增强机制的暗光图像处理方法
CN110175959B (zh) 一种台风云图增强方法
CN110738616A (zh) 一种具有细节信息学习能力的图像去噪方法
CN113256533B (zh) 基于msrcr的自适应低照度图像增强方法及系统
EP3913572A1 (en) Loss function for image reconstruction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant