CN109087255A - 一种基于混合损失的轻量级深度图像去噪方法 - Google Patents

一种基于混合损失的轻量级深度图像去噪方法 Download PDF

Info

Publication number
CN109087255A
CN109087255A CN201810794951.9A CN201810794951A CN109087255A CN 109087255 A CN109087255 A CN 109087255A CN 201810794951 A CN201810794951 A CN 201810794951A CN 109087255 A CN109087255 A CN 109087255A
Authority
CN
China
Prior art keywords
image
noise
denoising
losses
mixture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810794951.9A
Other languages
English (en)
Other versions
CN109087255B (zh
Inventor
李阳
苗壮
王家宝
张睿
吴波
张洋硕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Army Engineering University of PLA
Original Assignee
Army Engineering University of PLA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Army Engineering University of PLA filed Critical Army Engineering University of PLA
Priority to CN201810794951.9A priority Critical patent/CN109087255B/zh
Publication of CN109087255A publication Critical patent/CN109087255A/zh
Application granted granted Critical
Publication of CN109087255B publication Critical patent/CN109087255B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

一种基于混合损失的轻量级深度图像去噪方法,包括如下步骤:获取无噪声图像,并利用计算机在无噪声图像上加入随机噪声,构建一个用于训练去噪网络的数据集,数据集中包含成对的有噪声和无噪声图像;构造一个轻量级的深度卷积神经网络,网络可以实现将输入的有噪声图像转换为无噪声图像;构造一个混合损失函数,混合损失函数包括图像的像素级恢复损失和PSNR损失,利用该混合损失函数训练深度卷积神经网络,获得深度图像去噪网络模型参数;模型学习完毕后,即可利用该网络输入有噪声图像,网络的输出即为去噪之后的图像。本发明实现了轻量级的深度图像去噪方法,在有限计算资源的移动设备和嵌入式设备中能够达到高质量的去噪效果。

Description

一种基于混合损失的轻量级深度图像去噪方法
技术领域
本发明属于图像处理技术领域,具体涉及一种基于混合损失的轻量级深度图像去噪方法。
背景技术
随着信息技术的发展,数字图像被广泛适用于各种场景中。但由于摄像机自身原因和采集环境,数字图像中往往包含一定的噪声,严重影响了图像的质量。图像去噪的目的就是通过一种自动化的方法,自动实现数字图像中噪声的去除。虽然图像去噪方法经过了长时间的研究,但由于实际噪声的多样性,传统去噪算法很难适用于多种不同噪声。
为了解决上述关键问题,近年来大量的研究者希望利用机器学习的方式,让机器通过有噪声和无噪声图像数据的比较自动发现能去除图像噪声的算法。近期,深度学习技术中的卷积神经网络也被用于学习自动去噪模型,但由于深度卷积神经网络模型结构复杂,在实际应用中模型需要大量的存储和计算资源,很难应用到手机等移动终端中。因此,图像去噪方法急需轻量级的深度图像去噪方法,实现在有限计算资源的移动设备和嵌入式设备中达到高质量的去噪效果。
发明内容
本发明针对现有技术中的不足,提供一种基于混合损失的轻量级深度图像去噪方法。
为实现上述目的,本发明采用以下技术方案:
一种基于混合损失的轻量级深度图像去噪方法,其特征在于,包括以下步骤:
步骤S1、获取无噪声图像,并利用计算机在无噪声图像上加入随机噪声,构建一个用于训练去噪网络的数据集,数据集中包含成对的有噪声图像和无噪声图像;
步骤S2、构造一个轻量级深度卷积神经网络作为去噪网络,该深度卷积神经网络用于将输入的有噪声图像转换为无噪声图像;
步骤S3、构造一个混合损失函数,该混合损失函数包括图像的像素级恢复损失和PSNR损失,利用该混合损失函数训练深度卷积神经网络,获得深度图像去噪网络模型参数;
步骤S4、深度图像去噪网络模型学习完毕后,利用深度卷积神经网络输入有噪声图像,网络的输出即为去噪之后的图像。
为优化上述技术方案,采取的具体措施还包括:
步骤S1中,无噪声图像的获取是从互联网下载清晰图像或者利用数码相机拍摄采集,不同数据源获取的无噪声图像无需缩放至同一尺度大小;构建训练数据集时,当数据集规模包含预设数量的无噪声图像时,停止收集数据。
步骤S2中,轻量级深度卷积神经网络由若干去噪单元构成,其中每个去噪单元依次由单点卷积层、单层卷积层和单点卷积层构成,单点卷积层和单层卷积层之间加入批量归一化与非线性激活单元;给定一个有噪声图像,经过该轻量级深度卷积神经网络后输出一个无噪声图像。
步骤S3具体包括:
构建像素级恢复损失,该损失为:其中F(yi;Θ)为经过轻量级深度去噪网络后恢复的图像,xi为无噪声图像,yi为xi加噪后图像,N为样本个数;
构建PSNR损失,即图像恢复后和无噪声图像之间的峰值性噪比差异损失,该损失为:其中表示图像所有像素点上取最大值255的平方和;
构建优化目标函数,该优化目标函数为混合损失函数:l(Θ)=l1(Θ)+λl2(Θ),其中λ为比例系数;
利用反向传播算法,求解目标函数关于特征的偏导数同时对深度卷积神经网络各层参数利用随机梯度下降进行参数更新学习。
步骤S4中,模型学习得到模型参数后,通过输入任意一个有噪声图像,网络通过将有噪声图像与网络模型中的参数进行计算,输出去噪后的图像。
本发明的有益效果是:实现了轻量级的深度图像去噪方法,在有限计算资源的移动设备和嵌入式设备中达到高质量的去噪效果。
附图说明
图1为本发明基于混合损失的轻量级深度图像去噪方法流程图。
图2为本发明轻量级深度卷积神经网络模型结构图。
具体实施方式
现在结合附图对本发明作进一步详细的说明。
如图1所示的一种基于混合损失的轻量级深度图像去噪方法,包括以下步骤:
步骤S1:获取无噪声图像,并利用计算机在无噪声图像上加入随机噪声,构建一个用于训练去噪网络的数据集,数据集中包含成对的有噪声和无噪声图像。
在本实施方式中,轻量级深度图像去噪方法主要应用于去除各种场景下有噪声图像中的噪声信息,使得图像变得更加清晰。
具体地,在步骤S1中包括如下内容:
1.1、对于需要采集的无噪声图像没有特殊限制条件,只要该图像满足正常拍摄标准,获取的图像清晰即可;
1.2、无噪声图像的收集可以从互联网下载清晰图像,也可以利用数码相机拍摄采集;
1.3、不同数据源获取的无噪声图像无需缩放至同一尺度大小;
1.4、采用上述方法构建训练数据集,当数据集规模包含预设数量的无噪声图像时,可停止收集数据。
步骤S2:构造一个轻量级深度卷积神经网络,即去噪网络,该网络可以实现将输入的有噪图像转换为无噪声图像。
在本实施方式中,轻量级深度卷积神经网络由若干去噪单元构成,其中每个去噪单元依次由单点卷积层、单层卷积层和单点卷积层构成。单点卷积层和单层卷积层之间加入批量归一化与非线性激活单元;给定一个有噪声图像,经过该轻量级深度卷积神经网络后输出一个无噪声图像。
具体地,轻量级深度卷积神经网络结构参见图2,在步骤S2中包括如下内容:
输入图像为包含噪声的图像,其大小为H×W×D,其中H表示图像的高度,W表示图像宽度,D表示图像的通道数。输入图像首先经过一个卷积层,该卷积层包括64个3×3×D的滤波器。之后卷积层输出的结果经过归一化层和非线性激活层被送入去噪单元,去噪单元依次由单点卷积层,单层卷积层和单点卷积层构成,单点卷积层包括96个1×1×64的滤波器,单层卷积层包括96个3×3×1的滤波器,后面的单点卷积层包括64个1×1×96的滤波器,单点卷积层和单层卷积层之间加入批量归一化与非线性激活单元。每个去噪单元的输入和输出之间加入直接连接的通路,使得去噪单元变成一种残差结构。通过多个去噪单元的串联,即可构成深度去噪网络。在最后一个去噪单元的输出后面加入一个卷积层,该卷积层包括D个3×3×64的滤波器,进而使得输出与输入图像大小一致。同时在网络输出前,将输入图像与最后一个卷积层的进行相加,构建从输入到输出的残差结构,进而增加模型的学习能力。
步骤S3:构造一个混合损失函数,该混合损失函数包括图像的像素级恢复损失和PSNR损失,利用该混合损失函数训练深度卷积神经网络,获得深度图像去噪网络模型参数,即深度卷积神经网络各层参数。
在本实施方式中,图像去噪的混合损失函数包括图像的像素级恢复损失和PSNR损失。通过像素级损失可以保证恢复后图像和无噪声真实图像差异较小,通过PSNR损失可以使得去噪后图像的评价指标较高。
具体地,在步骤S3中包括如下步骤:
构建像素级恢复损失,该损失为其中F(yi;Θ)为经过轻量级深度去噪网络后恢复的图像,xi为无噪声图像,yi为xi加噪后图像,N为样本个数。
构建PSNR损失,即图像恢复后和无噪声图像之间的峰值性噪比差异损失,该损失为其中表示图像所有像素点上取最大值255的平方和。
构建优化目标函数,该优化目标为混合损失函数l(Θ)=l1(Θ)+λl2(Θ),其中λ为比例系数。
利用反向传播算法,求解目标函数关于特征的偏导数同时对深度卷积神经网络各层参数利用随机梯度下降进行参数更新学习。
步骤S4:模型学习完毕后,即可利用该网络输入有噪声图像,网络的输出即为去噪之后的图像。
在本实施方式中,模型学习得到模型参数后,通过输入任意一个有噪声图像,网络通过将有噪声图像与网络模型中的参数进行计算,网络的输出即为去噪后的图像。
需要注意的是,发明中所引用的如“上”、“下”、“左”、“右”、“前”、“后”等的用语,亦仅为便于叙述的明了,而非用以限定本发明可实施的范围,其相对关系的改变或调整,在无实质变更技术内容下,当亦视为本发明可实施的范畴。
以上仅是本发明的优选实施方式,本发明的保护范围并不仅局限于上述实施例,凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理前提下的若干改进和润饰,应视为本发明的保护范围。

Claims (5)

1.一种基于混合损失的轻量级深度图像去噪方法,其特征在于,包括以下步骤:
步骤S1、获取无噪声图像,并利用计算机在无噪声图像上加入随机噪声,构建一个用于训练去噪网络的数据集,数据集中包含成对的有噪声图像和无噪声图像;
步骤S2、构造一个轻量级深度卷积神经网络作为去噪网络,该深度卷积神经网络用于将输入的有噪声图像转换为无噪声图像;
步骤S3、构造一个混合损失函数,该混合损失函数包括图像的像素级恢复损失和PSNR损失,利用该混合损失函数训练深度卷积神经网络,获得深度图像去噪网络模型参数;
步骤S4、深度图像去噪网络模型学习完毕后,利用深度卷积神经网络输入有噪声图像,网络的输出即为去噪之后的图像。
2.如权利要求1所述的一种基于混合损失的轻量级深度图像去噪方法,其特征在于:步骤S1中,无噪声图像的获取是从互联网下载清晰图像或者利用数码相机拍摄采集,不同数据源获取的无噪声图像无需缩放至同一尺度大小;构建训练数据集时,当数据集规模包含预设数量的无噪声图像时,停止收集数据。
3.如权利要求1所述的一种基于混合损失的轻量级深度图像去噪方法,其特征在于:步骤S2中,轻量级深度卷积神经网络由若干去噪单元构成,其中每个去噪单元依次由单点卷积层、单层卷积层和单点卷积层构成,单点卷积层和单层卷积层之间加入批量归一化与非线性激活单元;给定一个有噪声图像,经过该轻量级深度卷积神经网络后输出一个无噪声图像。
4.如权利要求1所述的一种基于混合损失的轻量级深度图像去噪方法,其特征在于:步骤S3具体包括:
构建像素级恢复损失,该损失为:其中F(yi;Θ)为经过轻量级深度去噪网络后恢复的图像,xi为无噪声图像,yi为xi加噪后图像,N为样本个数;
构建PSNR损失,即图像恢复后和无噪声图像之间的峰值性噪比差异损失,该损失为:其中表示图像所有像素点上取最大值255的平方和;
构建优化目标函数,该优化目标函数为混合损失函数:l(Θ)=l1(Θ)+λl2(Θ),其中λ为比例系数;
利用反向传播算法,求解目标函数关于特征的偏导数同时对深度卷积神经网络各层参数利用随机梯度下降进行参数更新学习。
5.如权利要求1所述的一种基于混合损失的轻量级深度图像去噪方法,其特征在于:步骤S4中,模型学习得到模型参数后,通过输入任意一个有噪声图像,网络通过将有噪声图像与网络模型中的参数进行计算,输出去噪后的图像。
CN201810794951.9A 2018-07-18 2018-07-18 一种基于混合损失的轻量级深度图像去噪方法 Active CN109087255B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810794951.9A CN109087255B (zh) 2018-07-18 2018-07-18 一种基于混合损失的轻量级深度图像去噪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810794951.9A CN109087255B (zh) 2018-07-18 2018-07-18 一种基于混合损失的轻量级深度图像去噪方法

Publications (2)

Publication Number Publication Date
CN109087255A true CN109087255A (zh) 2018-12-25
CN109087255B CN109087255B (zh) 2022-03-08

Family

ID=64837913

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810794951.9A Active CN109087255B (zh) 2018-07-18 2018-07-18 一种基于混合损失的轻量级深度图像去噪方法

Country Status (1)

Country Link
CN (1) CN109087255B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109754376A (zh) * 2018-12-28 2019-05-14 深圳美图创新科技有限公司 图像去噪方法及装置
CN109919887A (zh) * 2019-02-25 2019-06-21 中国人民解放军陆军工程大学 一种基于深度学习的无监督图像融合方法
CN110009569A (zh) * 2019-04-17 2019-07-12 中国人民解放军陆军工程大学 一种基于轻量级卷积神经网络的红外和可见光图像融合方法
CN110163827A (zh) * 2019-05-28 2019-08-23 腾讯科技(深圳)有限公司 图像去噪模型的训练方法、图像去噪方法、装置及介质
CN110458784A (zh) * 2019-08-31 2019-11-15 杭州当虹科技股份有限公司 一种基于图像感知质量的去压缩噪声方法
CN111612707A (zh) * 2020-04-30 2020-09-01 杭州电子科技大学 一种基于小波变换的神经网络图像去噪方法
CN111738932A (zh) * 2020-05-13 2020-10-02 合肥师范学院 一种车载摄像头拍照图像自动去雨方法
CN112927159A (zh) * 2021-03-11 2021-06-08 清华大学深圳国际研究生院 基于多尺度选择反馈网络的真实图像去噪方法
CN113034475A (zh) * 2021-03-30 2021-06-25 浙江工业大学 基于轻量级三维卷积神经网络的手指oct体数据去噪方法
CN113052768A (zh) * 2019-12-27 2021-06-29 武汉Tcl集团工业研究院有限公司 一种处理图像的方法、终端及计算机可读存储介质
CN113628190A (zh) * 2021-08-11 2021-11-09 跃维(佛山)智能科技有限公司 一种深度图去噪方法、装置、电子设备及介质
CN113971660A (zh) * 2021-09-30 2022-01-25 哈尔滨工业大学 桥梁健康诊断的计算机视觉方法和智能摄像系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106204468A (zh) * 2016-06-27 2016-12-07 深圳市未来媒体技术研究院 一种基于ReLU卷积神经网络的图像去噪方法
CN106204467A (zh) * 2016-06-27 2016-12-07 深圳市未来媒体技术研究院 一种基于级联残差神经网络的图像去噪方法
CN107590778A (zh) * 2017-07-31 2018-01-16 南京理工大学 一种基于无损约束降噪的自编码方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106204468A (zh) * 2016-06-27 2016-12-07 深圳市未来媒体技术研究院 一种基于ReLU卷积神经网络的图像去噪方法
CN106204467A (zh) * 2016-06-27 2016-12-07 深圳市未来媒体技术研究院 一种基于级联残差神经网络的图像去噪方法
CN107590778A (zh) * 2017-07-31 2018-01-16 南京理工大学 一种基于无损约束降噪的自编码方法

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109754376A (zh) * 2018-12-28 2019-05-14 深圳美图创新科技有限公司 图像去噪方法及装置
CN109919887B (zh) * 2019-02-25 2021-06-18 中国人民解放军陆军工程大学 一种基于深度学习的无监督图像融合方法
CN109919887A (zh) * 2019-02-25 2019-06-21 中国人民解放军陆军工程大学 一种基于深度学习的无监督图像融合方法
CN110009569A (zh) * 2019-04-17 2019-07-12 中国人民解放军陆军工程大学 一种基于轻量级卷积神经网络的红外和可见光图像融合方法
CN110163827A (zh) * 2019-05-28 2019-08-23 腾讯科技(深圳)有限公司 图像去噪模型的训练方法、图像去噪方法、装置及介质
CN110163827B (zh) * 2019-05-28 2023-01-10 腾讯科技(深圳)有限公司 图像去噪模型的训练方法、图像去噪方法、装置及介质
CN110458784A (zh) * 2019-08-31 2019-11-15 杭州当虹科技股份有限公司 一种基于图像感知质量的去压缩噪声方法
CN113052768A (zh) * 2019-12-27 2021-06-29 武汉Tcl集团工业研究院有限公司 一种处理图像的方法、终端及计算机可读存储介质
CN113052768B (zh) * 2019-12-27 2024-03-19 武汉Tcl集团工业研究院有限公司 一种处理图像的方法、终端及计算机可读存储介质
CN111612707A (zh) * 2020-04-30 2020-09-01 杭州电子科技大学 一种基于小波变换的神经网络图像去噪方法
CN111612707B (zh) * 2020-04-30 2023-04-18 杭州电子科技大学 一种基于小波变换的神经网络图像去噪方法
CN111738932A (zh) * 2020-05-13 2020-10-02 合肥师范学院 一种车载摄像头拍照图像自动去雨方法
CN112927159A (zh) * 2021-03-11 2021-06-08 清华大学深圳国际研究生院 基于多尺度选择反馈网络的真实图像去噪方法
CN112927159B (zh) * 2021-03-11 2022-08-02 清华大学深圳国际研究生院 基于多尺度选择反馈网络的真实图像去噪方法
CN113034475A (zh) * 2021-03-30 2021-06-25 浙江工业大学 基于轻量级三维卷积神经网络的手指oct体数据去噪方法
CN113034475B (zh) * 2021-03-30 2024-04-19 浙江工业大学 基于轻量级三维卷积神经网络的手指oct体数据去噪方法
CN113628190A (zh) * 2021-08-11 2021-11-09 跃维(佛山)智能科技有限公司 一种深度图去噪方法、装置、电子设备及介质
CN113628190B (zh) * 2021-08-11 2024-03-15 跨维(深圳)智能数字科技有限公司 一种深度图去噪方法、装置、电子设备及介质
CN113971660A (zh) * 2021-09-30 2022-01-25 哈尔滨工业大学 桥梁健康诊断的计算机视觉方法和智能摄像系统
CN113971660B (zh) * 2021-09-30 2022-11-08 哈尔滨工业大学 桥梁健康诊断的计算机视觉方法和智能摄像系统

Also Published As

Publication number Publication date
CN109087255B (zh) 2022-03-08

Similar Documents

Publication Publication Date Title
CN109087255A (zh) 一种基于混合损失的轻量级深度图像去噪方法
CN113592736B (zh) 一种基于融合注意力机制的半监督图像去模糊方法
CN108510451B (zh) 一种基于双层卷积神经网络的重建车牌的方法
CN111079764B (zh) 一种基于深度学习的低照度车牌图像识别方法及装置
CN105787867B (zh) 基于神经网络算法的处理视频图像的方法和装置
CN107454285A (zh) 图像噪声估计方法及装置与图像提取装置
CN109859120A (zh) 基于多尺度残差网络的图像去雾方法
CN110825900A (zh) 特征重构层的训练方法、图像特征的重构方法及相关装置
CN106127729A (zh) 一种基于梯度的图像噪声水平估计方法
CN108109121A (zh) 一种基于卷积神经网络的人脸模糊快速消除方法
CN108537747A (zh) 一种基于带对称跨层连接的卷积神经网络的图像修复方法
CN112508817A (zh) 一种基于循环生成对抗网络的图像运动盲去模糊方法
CN113822830A (zh) 基于深度感知增强的多曝光图像融合方法
CN108596988A (zh) 一种用于卷积神经网络的压缩算法
Zhao et al. A simple and robust deep convolutional approach to blind image denoising
CN115984747A (zh) 一种基于动态滤波器的视频显著性目标检测方法
CN115131229A (zh) 图像降噪、滤波数据处理方法、装置和计算机设备
CN110533608A (zh) 图像条带噪声抑制方法及其装置、电子设备、存储介质
CN113888426A (zh) 一种基于深度可分离残差网络的电力监控视频去模糊方法
CN109978928B (zh) 一种基于加权投票的双目视觉立体匹配方法及其系统
CN117173232A (zh) 深度图像的获取方法、装置及设备
CN101567079B (zh) 基于Hopfield神经网络的运动模糊图像恢复方法
CN116542865A (zh) 一种基于结构重参数化的多尺度实时去雾方法及装置
Ren et al. SCGA‐Net: Skip Connections Global Attention Network for Image Restoration
CN112734673B (zh) 一种基于多表达式融合的低照度图像增强方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant