CN109087255B - 一种基于混合损失的轻量级深度图像去噪方法 - Google Patents

一种基于混合损失的轻量级深度图像去噪方法 Download PDF

Info

Publication number
CN109087255B
CN109087255B CN201810794951.9A CN201810794951A CN109087255B CN 109087255 B CN109087255 B CN 109087255B CN 201810794951 A CN201810794951 A CN 201810794951A CN 109087255 B CN109087255 B CN 109087255B
Authority
CN
China
Prior art keywords
image
denoising
network
noiseless
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810794951.9A
Other languages
English (en)
Other versions
CN109087255A (zh
Inventor
李阳
苗壮
王家宝
张睿
吴波
张洋硕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Army Engineering University of PLA
Original Assignee
Army Engineering University of PLA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Army Engineering University of PLA filed Critical Army Engineering University of PLA
Priority to CN201810794951.9A priority Critical patent/CN109087255B/zh
Publication of CN109087255A publication Critical patent/CN109087255A/zh
Application granted granted Critical
Publication of CN109087255B publication Critical patent/CN109087255B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

一种基于混合损失的轻量级深度图像去噪方法，包括如下步骤：获取无噪声图像，并利用计算机在无噪声图像上加入随机噪声，构建一个用于训练去噪网络的数据集，数据集中包含成对的有噪声和无噪声图像；构造一个轻量级的深度卷积神经网络，网络可以实现将输入的有噪声图像转换为无噪声图像；构造一个混合损失函数，混合损失函数包括图像的像素级恢复损失和PSNR损失，利用该混合损失函数训练深度卷积神经网络，获得深度图像去噪网络模型参数；模型学习完毕后，即可利用该网络输入有噪声图像，网络的输出即为去噪之后的图像。本发明实现了轻量级的深度图像去噪方法，在有限计算资源的移动设备和嵌入式设备中能够达到高质量的去噪效果。

Description

一种基于混合损失的轻量级深度图像去噪方法
技术领域
本发明属于图像处理技术领域，具体涉及一种基于混合损失的轻量级深度图像去噪方法。
背景技术
随着信息技术的发展，数字图像被广泛适用于各种场景中。但由于摄像机自身原因和采集环境，数字图像中往往包含一定的噪声，严重影响了图像的质量。图像去噪的目的就是通过一种自动化的方法，自动实现数字图像中噪声的去除。虽然图像去噪方法经过了长时间的研究，但由于实际噪声的多样性，传统去噪算法很难适用于多种不同噪声。
为了解决上述关键问题，近年来大量的研究者希望利用机器学习的方式，让机器通过有噪声和无噪声图像数据的比较自动发现能去除图像噪声的算法。近期，深度学习技术中的卷积神经网络也被用于学习自动去噪模型，但由于深度卷积神经网络模型结构复杂，在实际应用中模型需要大量的存储和计算资源，很难应用到手机等移动终端中。因此，图像去噪方法急需轻量级的深度图像去噪方法，实现在有限计算资源的移动设备和嵌入式设备中达到高质量的去噪效果。
发明内容
本发明针对现有技术中的不足，提供一种基于混合损失的轻量级深度图像去噪方法。
为实现上述目的，本发明采用以下技术方案：
一种基于混合损失的轻量级深度图像去噪方法，其特征在于，包括以下步骤：
步骤S1、获取无噪声图像，并利用计算机在无噪声图像上加入随机噪声，构建一个用于训练去噪网络的数据集，数据集中包含成对的有噪声图像和无噪声图像；
步骤S2、构造一个轻量级深度卷积神经网络作为去噪网络，该深度卷积神经网络用于将输入的有噪声图像转换为无噪声图像；
步骤S3、构造一个混合损失函数，该混合损失函数包括图像的像素级恢复损失和PSNR损失，利用该混合损失函数训练深度卷积神经网络，获得深度图像去噪网络模型参数；
步骤S4、深度图像去噪网络模型学习完毕后，利用深度卷积神经网络输入有噪声图像，网络的输出即为去噪之后的图像。
为优化上述技术方案，采取的具体措施还包括：
步骤S1中，无噪声图像的获取是从互联网下载清晰图像或者利用数码相机拍摄采集，不同数据源获取的无噪声图像无需缩放至同一尺度大小；构建训练数据集时，当数据集规模包含预设数量的无噪声图像时，停止收集数据。
步骤S2中，轻量级深度卷积神经网络由若干去噪单元构成，其中每个去噪单元依次由单点卷积层、单层卷积层和单点卷积层构成，单点卷积层和单层卷积层之间加入批量归一化与非线性激活单元；给定一个有噪声图像，经过该轻量级深度卷积神经网络后输出一个无噪声图像。
步骤S3具体包括：
构建像素级恢复损失，该损失为：
Figure GDA0003353895220000021
其中F(yi；Θ)为经过轻量级深度去噪网络后恢复的图像，xi为无噪声图像，yi为xi加噪后图像，N为样本个数；
构建PSNR损失，即图像恢复后和无噪声图像之间的峰值性噪比差异损失，该损失为：
Figure GDA0003353895220000022
其中
Figure GDA0003353895220000023
表示图像所有像素点上取最大值255的平方和；
构建优化目标函数，该优化目标函数为混合损失函数：
Figure GDA0003353895220000024
其中λ为比例系数；
利用反向传播算法，求解目标函数关于特征的偏导数
Figure GDA0003353895220000025
同时对深度卷积神经网络各层参数利用随机梯度下降进行参数更新学习。
步骤S4中，模型学习得到模型参数后，通过输入任意一个有噪声图像，网络通过将有噪声图像与网络模型中的参数进行计算，输出去噪后的图像。
本发明的有益效果是：实现了轻量级的深度图像去噪方法，在有限计算资源的移动设备和嵌入式设备中达到高质量的去噪效果。
附图说明
图1为本发明基于混合损失的轻量级深度图像去噪方法流程图。
图2为本发明轻量级深度卷积神经网络模型结构图。
具体实施方式
现在结合附图对本发明作进一步详细的说明。
如图1所示的一种基于混合损失的轻量级深度图像去噪方法，包括以下步骤：
步骤S1：获取无噪声图像，并利用计算机在无噪声图像上加入随机噪声，构建一个用于训练去噪网络的数据集，数据集中包含成对的有噪声和无噪声图像。
在本实施方式中，轻量级深度图像去噪方法主要应用于去除各种场景下有噪声图像中的噪声信息，使得图像变得更加清晰。
具体地，在步骤S1中包括如下内容：
1.1、对于需要采集的无噪声图像没有特殊限制条件，只要该图像满足正常拍摄标准，获取的图像清晰即可；
1.2、无噪声图像的收集可以从互联网下载清晰图像，也可以利用数码相机拍摄采集；
1.3、不同数据源获取的无噪声图像无需缩放至同一尺度大小；
1.4、采用上述方法构建训练数据集，当数据集规模包含预设数量的无噪声图像时，可停止收集数据。
步骤S2：构造一个轻量级深度卷积神经网络，即去噪网络，该网络可以实现将输入的有噪图像转换为无噪声图像。
在本实施方式中，轻量级深度卷积神经网络由若干去噪单元构成，其中每个去噪单元依次由单点卷积层、单层卷积层和单点卷积层构成。单点卷积层和单层卷积层之间加入批量归一化与非线性激活单元；给定一个有噪声图像，经过该轻量级深度卷积神经网络后输出一个无噪声图像。
具体地，轻量级深度卷积神经网络结构参见图2，在步骤S2中包括如下内容：
输入图像为包含噪声的图像，其大小为H×W×D，其中H表示图像的高度，W表示图像宽度，D表示图像的通道数。输入图像首先经过一个卷积层，该卷积层包括64个3×3×D的滤波器。之后卷积层输出的结果经过归一化层和非线性激活层被送入去噪单元，去噪单元依次由单点卷积层，单层卷积层和单点卷积层构成，单点卷积层包括96个1×1×64的滤波器，单层卷积层包括96个3×3×1的滤波器，后面的单点卷积层包括64个1×1×96的滤波器，单点卷积层和单层卷积层之间加入批量归一化与非线性激活单元。每个去噪单元的输入和输出之间加入直接连接的通路，使得去噪单元变成一种残差结构。通过多个去噪单元的串联，即可构成深度去噪网络。在最后一个去噪单元的输出后面加入一个卷积层，该卷积层包括D个3×3×64的滤波器，进而使得输出与输入图像大小一致。同时在网络输出前，将输入图像与最后一个卷积层的进行相加，构建从输入到输出的残差结构，进而增加模型的学习能力。
步骤S3：构造一个混合损失函数，该混合损失函数包括图像的像素级恢复损失和PSNR损失，利用该混合损失函数训练深度卷积神经网络，获得深度图像去噪网络模型参数，即深度卷积神经网络各层参数。
在本实施方式中，图像去噪的混合损失函数包括图像的像素级恢复损失和PSNR损失。通过像素级损失可以保证恢复后图像和无噪声真实图像差异较小，通过PSNR损失可以使得去噪后图像的评价指标较高。
具体地，在步骤S3中包括如下步骤：
构建像素级恢复损失，该损失为
Figure GDA0003353895220000041
其中F(yi；Θ)为经过轻量级深度去噪网络后恢复的图像，xi为无噪声图像，yi为xi加噪后图像，N为样本个数。
构建PSNR损失，即图像恢复后和无噪声图像之间的峰值性噪比差异损失，该损失为
Figure GDA0003353895220000042
其中
Figure GDA0003353895220000043
表示图像所有像素点上取最大值255的平方和。
构建优化目标函数，该优化目标为混合损失函数
Figure GDA0003353895220000044
其中λ为比例系数。
利用反向传播算法，求解目标函数关于特征的偏导数
Figure GDA0003353895220000051
同时对深度卷积神经网络各层参数利用随机梯度下降进行参数更新学习。
步骤S4：模型学习完毕后，即可利用该网络输入有噪声图像，网络的输出即为去噪之后的图像。
在本实施方式中，模型学习得到模型参数后，通过输入任意一个有噪声图像，网络通过将有噪声图像与网络模型中的参数进行计算，网络的输出即为去噪后的图像。
需要注意的是，发明中所引用的如“上”、“下”、“左”、“右”、“前”、“后”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (4)

1.一种基于混合损失的轻量级深度图像去噪方法，其特征在于，包括以下步骤：
步骤S1、获取无噪声图像，并利用计算机在无噪声图像上加入随机噪声，构建一个用于训练去噪网络的数据集，数据集中包含成对的有噪声图像和无噪声图像；
步骤S2、构造一个轻量级深度卷积神经网络作为去噪网络，该深度卷积神经网络用于将输入的有噪声图像转换为无噪声图像；步骤S2中，轻量级深度卷积神经网络由若干去噪单元构成，其中每个去噪单元依次由单点卷积层、单层卷积层和单点卷积层构成，单点卷积层和单层卷积层之间加入批量归一化与非线性激活单元；给定一个有噪声图像，经过该轻量级深度卷积神经网络后输出一个无噪声图像；
步骤S3、构造一个混合损失函数，该混合损失函数包括图像的像素级恢复损失和PSNR损失，利用该混合损失函数训练深度卷积神经网络，获得深度图像去噪网络模型参数；
步骤S4、深度图像去噪网络模型学习完毕后，利用深度卷积神经网络输入有噪声图像，网络的输出即为去噪之后的图像。
2.如权利要求1所述的一种基于混合损失的轻量级深度图像去噪方法，其特征在于：步骤S1中，无噪声图像的获取是从互联网下载清晰图像或者利用数码相机拍摄采集，不同数据源获取的无噪声图像无需缩放至同一尺度大小；构建训练数据集时，当数据集规模包含预设数量的无噪声图像时，停止收集数据。
3.如权利要求1所述的一种基于混合损失的轻量级深度图像去噪方法，其特征在于：步骤S3具体包括：
构建像素级恢复损失，该损失为：
Figure FDA0003353895210000011
其中F(yi；Θ)为经过轻量级深度去噪网络后恢复的图像，xi为无噪声图像，yi为xi加噪后图像，N为样本个数；
构建PSNR损失，即图像恢复后和无噪声图像之间的峰值性噪比差异损失，该损失为：
Figure FDA0003353895210000021
其中
Figure FDA0003353895210000022
表示图像所有像素点上取最大值255的平方和；
构建优化目标函数，该优化目标函数为混合损失函数：l(Θ)＝l1(Θ)+λl2(Θ)，其中λ为比例系数；
利用反向传播算法，求解目标函数关于特征的偏导数
Figure FDA0003353895210000023
同时对深度卷积神经网络各层参数利用随机梯度下降进行参数更新学习。
4.如权利要求1所述的一种基于混合损失的轻量级深度图像去噪方法，其特征在于：步骤S4中，模型学习得到模型参数后，通过输入任意一个有噪声图像，网络通过将有噪声图像与网络模型中的参数进行计算，输出去噪后的图像。
CN201810794951.9A 2018-07-18 2018-07-18 一种基于混合损失的轻量级深度图像去噪方法 Active CN109087255B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810794951.9A CN109087255B (zh) 2018-07-18 2018-07-18 一种基于混合损失的轻量级深度图像去噪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810794951.9A CN109087255B (zh) 2018-07-18 2018-07-18 一种基于混合损失的轻量级深度图像去噪方法

Publications (2)

Publication Number Publication Date
CN109087255A CN109087255A (zh) 2018-12-25
CN109087255B true CN109087255B (zh) 2022-03-08

Family

ID=64837913

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810794951.9A Active CN109087255B (zh) 2018-07-18 2018-07-18 一种基于混合损失的轻量级深度图像去噪方法

Country Status (1)

Country Link
CN (1) CN109087255B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109754376B (zh) * 2018-12-28 2020-11-10 深圳美图创新科技有限公司 图像去噪方法及装置
CN109919887B (zh) * 2019-02-25 2021-06-18 中国人民解放军陆军工程大学 一种基于深度学习的无监督图像融合方法
CN110009569B (zh) * 2019-04-17 2023-03-21 中国人民解放军陆军工程大学 一种基于轻量级卷积神经网络的红外和可见光图像融合方法
CN110163827B (zh) * 2019-05-28 2023-01-10 腾讯科技（深圳）有限公司 图像去噪模型的训练方法、图像去噪方法、装置及介质
CN110458784A (zh) * 2019-08-31 2019-11-15 杭州当虹科技股份有限公司 一种基于图像感知质量的去压缩噪声方法
CN113052768B (zh) * 2019-12-27 2024-03-19 武汉Tcl集团工业研究院有限公司 一种处理图像的方法、终端及计算机可读存储介质
CN111612707B (zh) * 2020-04-30 2023-04-18 杭州电子科技大学 一种基于小波变换的神经网络图像去噪方法
CN111738932A (zh) * 2020-05-13 2020-10-02 合肥师范学院 一种车载摄像头拍照图像自动去雨方法
CN112927159B (zh) * 2021-03-11 2022-08-02 清华大学深圳国际研究生院 基于多尺度选择反馈网络的真实图像去噪方法
CN113034475B (zh) * 2021-03-30 2024-04-19 浙江工业大学 基于轻量级三维卷积神经网络的手指oct体数据去噪方法
CN113628190B (zh) * 2021-08-11 2024-03-15 跨维(深圳)智能数字科技有限公司 一种深度图去噪方法、装置、电子设备及介质
CN113971660B (zh) * 2021-09-30 2022-11-08 哈尔滨工业大学 桥梁健康诊断的计算机视觉方法和智能摄像系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106204468A (zh) * 2016-06-27 2016-12-07 深圳市未来媒体技术研究院 一种基于ReLU卷积神经网络的图像去噪方法
CN106204467A (zh) * 2016-06-27 2016-12-07 深圳市未来媒体技术研究院 一种基于级联残差神经网络的图像去噪方法
CN107590778A (zh) * 2017-07-31 2018-01-16 南京理工大学 一种基于无损约束降噪的自编码方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106204468A (zh) * 2016-06-27 2016-12-07 深圳市未来媒体技术研究院 一种基于ReLU卷积神经网络的图像去噪方法
CN106204467A (zh) * 2016-06-27 2016-12-07 深圳市未来媒体技术研究院 一种基于级联残差神经网络的图像去噪方法
CN107590778A (zh) * 2017-07-31 2018-01-16 南京理工大学 一种基于无损约束降噪的自编码方法

Also Published As

Publication number Publication date
CN109087255A (zh) 2018-12-25

Similar Documents

Publication Publication Date Title
CN109087255B (zh) 一种基于混合损失的轻量级深度图像去噪方法
Wang et al. An experiment-based review of low-light image enhancement methods
CN112233038B (zh) 基于多尺度融合及边缘增强的真实图像去噪方法
CN111028177B (zh) 一种基于边缘的深度学习图像去运动模糊方法
CN108596841B (zh) 一种并行实现图像超分辨率及去模糊的方法
CN113592736B (zh) 一种基于融合注意力机制的半监督图像去模糊方法
CN112541877B (zh) 基于条件生成对抗网络的去模糊方法、系统、设备及介质
CN110189260B (zh) 一种基于多尺度并行门控神经网络的图像降噪方法
CN111192226B (zh) 一种图像融合去噪方法及装置、系统
CN110148088B (zh) 图像处理方法、图像去雨方法、装置、终端及介质
CN109544475A (zh) 用于图像去模糊的Bi-Level优化方法
CN113850741B (zh) 图像降噪方法、装置、电子设备以及存储介质
CN107301662A (zh) 深度图像的压缩恢复方法、装置、设备及存储介质
Zhang et al. Deep motion blur removal using noisy/blurry image pairs
CN114998099A (zh) 一种基于图像预训练策略的图像超分辨率方法
CN115131229A (zh) 图像降噪、滤波数据处理方法、装置和计算机设备
CN105338221B (zh) 一种图像处理方法及电子设备
CN110120009B (zh) 基于显著物体检测和深度估计算法的背景虚化实现方法
CN114862711B (zh) 基于双重互补先验约束的低照度图像增强与去噪方法
CN108986047B (zh) 图像降噪方法
CN116208812A (zh) 一种基于立体事件和强度相机的视频插帧方法及系统
CN115861113A (zh) 一种基于融合深度图与特征掩膜的半监督去雾方法
CN117011130A (zh) 图像超分辨率的方法、装置、设备、介质及程序产品
EP3913572A1 (en) Loss function for image reconstruction
CN115311149A (zh) 图像去噪方法、模型、计算机可读存储介质及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant