CN112634175A - 基于双重卷积网络的手机拍摄图像去噪方法 - Google Patents

基于双重卷积网络的手机拍摄图像去噪方法 Download PDF

Info

Publication number
CN112634175A
CN112634175A CN202110006550.4A CN202110006550A CN112634175A CN 112634175 A CN112634175 A CN 112634175A CN 202110006550 A CN202110006550 A CN 202110006550A CN 112634175 A CN112634175 A CN 112634175A
Authority
CN
China
Prior art keywords
convolution
network
function
layer
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110006550.4A
Other languages
English (en)
Inventor
罗仁泽
黄雪霁
郭亮
庹娟娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest Petroleum University
Original Assignee
Southwest Petroleum University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest Petroleum University filed Critical Southwest Petroleum University
Priority to CN202110006550.4A priority Critical patent/CN112634175A/zh
Publication of CN112634175A publication Critical patent/CN112634175A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明公开了一种基于双重卷积网络的手机拍摄图像去噪方法，本发明改进了FFDNet的不足，添加了一个噪声估计子网络，构建了冗余链接块结构，更好的保存了原始图像的结构性，解决了FFDNet主观估计噪声水平错误导致去噪效果大幅降低的问题。

Description

基于双重卷积网络的手机拍摄图像去噪方法
技术领域
本发明涉及图像去噪领域，特别是涉及手机拍摄图像，具体涉及一种基于双重卷积网络的手机拍摄图像去噪方法。
背景技术
今天智能手机被大家公认是影响我们普通人日常生活最重要的科技产品，在智能手机的各个功能中，拍照是一项非常重要的组成部分。虽然人们越来越习惯于使用轻便的智能手机拍照而不是笨重的数码单反相机，但是因为手机内部空间的限制，导致其传感器尺寸、光圈大小等硬件配置和数码单反相机仍然有差距。智能手机相比于数码单反的优势在其拥有强大的芯片和神经网络处理器，智能手机利用其芯片的强大运算能力，可以很好的解决拍摄图像不清晰、细节模糊等问题。
传统的图像去噪算法是在含有噪声的图像中寻找出一定规律后再进行相对应的图像去噪处理，如果含有噪声的图片本身没有办法找到有用的规律，去噪的效果就会大大降低。深度学习的图像去噪方法是最近兴起的一种属于数据驱动的方法，大部分图像去噪的实验数据是充足的，这为深度学习的图像去噪方法提供了坚实的基础，所以当前深度学习方法在许多场景下的去噪效果已经超越块匹配和3D滤波算法(Block-matching and 3Dfiltering，BM3D)，该方法是Dabov K在2007年发表的论文Image denoising by sparse 3-D transform-domain collaborative filtering[J].IEEE Transactions on imageprocessing,2007,16(8):2080-2095。但是智能手机的拍照环境多变且复杂，产生的图像噪声随机性强且通常与信号相关，受环境因素影响大，没有明确的分布可以描述。目前的一些基于深度学习的图像去噪方法应用于手机拍摄图像去噪时通常会出现去噪图像细节模糊、峰值信噪比低等问题，如何解决常规深度学习的图像去噪方法应用在智能手机拍摄图像上的缺陷是本论文研究目的和意义。
发明内容
为了解决现有技术的缺陷，改善常规深度学习方法无法有效估计手机拍摄图像噪声水平，导致去噪图像峰值信噪比低的问题，提出了一种双重卷积网络(TwiceConvolutional Neural Networks,T-CNN)去噪方法，本发明可以提高手机拍摄图像的去噪效果。
本发明涉及一种基于双重卷积去噪网络的手机拍摄图像去噪方法，其特征在于包括以下步骤：
本发明涉及一种基于双重卷积去噪网络的手机拍摄图像去噪方法，其特征在于包括以下步骤：
1.构建双重卷积去噪网络模型；
1)构建噪声估计子网络：
构建三个网络层，输入层、隐藏层、输出层；输入层是手机拍摄图像的输入；输出层是输出已估计的噪声；隐藏层分为5个部分：隐藏层中第一部分为卷积层，该卷积层包含了64个卷积核，尺寸为3x3，步长为1，填充为1，激活函数为线性整流函数；隐藏层中第二部分为3个冗余链接块，每个冗余链接块中包含两次批量标准化、两个卷积层，第一个卷积层的卷积核尺寸为1x1，步长为1，填充为1，激活函数为线性整流函数，第二个卷积层的卷积核尺寸为3x3，步长为1，填充为1，激活函数为线性整流函数，其中增长率为64；隐藏层中第三部分为过渡块，一个过渡块包含批量标准化，线性整流函数和卷积层，卷积层中包含64个卷积核，尺寸为1x1，步长为1，填充为1；隐藏层中第四部分为3个冗余链接块，每个冗余链接块中包含两次批量标准化、两个卷积层，第一个卷积层的卷积核尺寸为1x1，步长为1，填充为1，激活函数为线性整流函数，第二个卷积层的卷积核尺寸为3x3，步长为1，填充为1，激活函数为线性整流函数，其中增长率为64；隐藏层中第五部分为过渡块，一个过渡块包含批量标准化，线性整流函数和卷积层，卷积层包含64个卷积核，尺寸为1x1，步长为1，填充为1；其中线性整流函数的表达式为f(x)＝max(0,x)，x取值为任意实数；
2)构建去噪子网络：
构建三个网络层，输入层、隐藏层、输出层；输入层由1个卷积层组成，输入是手机拍摄图像和已估计噪声的拼接，拼接是指两张相同尺寸的3通道图像合成为一张长宽不变的6通道图像，卷积层包含批量标准化、卷积运算和激活函数运算，其中，卷积核尺寸为3x3，步长为1，填充为1，激活函数为渗漏整流线性函数；隐藏层由13个卷积层组成，卷积层包含卷积运算和激活函数运算，其中，卷积核尺寸为3x3，步长为1，填充为1，激活函数为渗漏整流线性函数；输出层由1个卷积层组成，输出已去噪的手机拍摄图像，卷积层包含批量标准化、卷积运算和激活函数运算，其中，卷积核尺寸为3x3，步长为1，填充为1，激活函数为渗漏整流线性函数；线性整流函数的表达式为f(x)＝max(0,x)，x取值为任意实数；渗漏整流线性函数的表达式为：x>0时，g(x)＝x，x≤0时，g(x)＝λx，x为输入量，λ为(0,1)之间的常数；
2.训练网络执行如下步骤：
第一步，准备数据集，把高像素图像剪裁为合适的尺寸，设定损失函数阈值和最大训练次数，初始化训练参数；
第二步，把手机拍摄图像输入噪声估计子网络，输出噪声估计图像；
第三步，计算噪声估计子网络的损失函数，损失函数为噪声估计图像和手机拍摄图像的均方误差；
第四步，若损失函数大于噪声估计子网络的损失函数阈值或未达到最大训练次数，则重复第二步至第三步；
第五步，把噪声估计图像与手机拍摄图像拼接后输入去噪子网络，拼接是指两张相同尺寸的3通道图像合成为一张长宽不变的6通道图像；
第六步，计算去噪子网络的损失函数，损失函数为输入图像和干净图像的均方误差；
第七步，若损失函数大于去噪子网络的损失函数阈值或未达到最大训练次数，则重复第五步至第六步；
3.进行双重卷积去噪网络的参数更新；
网络参数使用自适应矩估计算法进行优化，优化方法如下：
输入为手机拍摄图像数据集X＝{x1,x2,…,xn}，输出为去噪后图像
Figure BDA0002883356490000031
标签数据集Y＝{y1,y2,…,yn}，输入信号经过双重卷积去噪网络后输出
Figure BDA0002883356490000032
优化双重卷积去噪网络参数w，使
Figure BDA0002883356490000033
取出m个样本进入网络训练，m与n均为正整数，m≤n，L为损失函数，数据梯度均值为g，定义为：
Figure BDA0002883356490000034
Figure BDA0002883356490000035
表示损失函数L(yj,F(xj；w))对w求偏导数；设定参数β1和β2，取值范围为(0,1)，设定e为平滑参数，取值范围为(0,1)，计算衰减梯度为vi，i＝1,2,…,t，vt＝β1·vt-1+(1-β1)g，计算衰减学习率为ri，i＝1,2,…,t，rt＝β2·rt-1+(1-β2)g2；再对r和v进行偏置校正，
Figure BDA0002883356490000041
其中t为训练次数，(β1)t表示β1的t次方，(β2)t表示β2的t次方；更新双重卷积去噪网络参数wi，i＝1,2,…,t，
Figure BDA0002883356490000042
4.向构建好的网络模型F(X；w)中输入含有噪声的手机拍摄图像X，网络输出为去噪后的手机拍摄图像
Figure BDA0002883356490000043
本发明的创新点：
与FFDNet相比较，本发明添加了一个新型噪声估计子网络，构造了冗余连接结构，该结构可以使不同模块在通道上连接，再通过1x1卷积层来减少通道数，降低模型复杂度；这种结构可以更好的保存了原始图像的结构性，解决了FFDNet主观估计噪声水平错误导致去噪效果大幅降低的问题。
以上所述FFDNet为Zhang K等2018年发表的论文FFDNet:Toward a fast andflexible solution for CNN-based image denoising[J].IEEE Transactions on ImageProcessing,2018,27(9):4608-4622.以上所述的DnCNN为Zhang K等在2017年发表的论文Beyond a gaussian denoiser:Residual learning of deep cnn for image denoising[J].IEEE Transactions on Image Processing,2017,26(7):3142-3155.
附图说明
图1是噪声估计子网络结构示意图，输入层是手机拍摄图像的输入；输出层是输出已估计的噪声；隐藏层分为5个部分：隐藏层中第一部分为卷积层；隐藏层中第二部分为3个冗余链接块；隐藏层中第三部分为过渡块；隐藏层中第四部分为3个冗余链接块；隐藏层中第五部分为过渡块。
图2是去噪子网络结构示意图，输入层由1个卷积层组成，输入是手机拍摄图像和已估计噪声的拼接；隐藏层由13个卷积块组成；输出层由1个卷积层组成，输出已去噪的手机拍摄图像。
图3是冗余链接块结构示意图，每个冗余链接块中包含两次批量标准化、两个卷积层和两个线性整流函数，第一个卷积层的卷积核尺寸为1x1，步长为1，填充为0，第二个卷积层的卷积核尺寸为3x3，步长为1，填充为1，其中通道数为64；
图4是过渡块结构示意图，一个过渡块包含批量标准化、线性整流函数和卷积运算，其中卷积运算包含64个卷积核，尺寸为1x1，步长为1，填充为0。
图5是卷积块结构示意图，卷积块包含卷积运算、批量标准化和激活函数运算，其中，卷积核尺寸为3x3，步长为1，填充为1，激活函数为渗漏整流线性函数，渗漏整流线性函数可以避免某些神经元可能永远不会被激活，导致相应的参数永远不能被更新的问题。
图6是本发明的方法流程图，把待去噪图像输入噪声估计子网络，输出为噪声估计，把噪声估计与待去噪图像进行拼接，拼接是指两张相同尺寸的3通道图像合成为一张长宽不变的6通道图像，拼接后输入去噪子网络中，得到去噪图像。
图7是本发明与其它方法的去噪效果对比图，图中(a)是干净图片，(b)是含有噪声的图片，(c)是使用FFDNET去噪后的图片，(d)是通过双重卷积网络进行去噪得到的图片，其中(c)的峰值信噪比(PSNR)与结构相似性(SSIM)分别为37.7123和0.8978，其中(d)的峰值信噪比(PSNR)与结构相似性(SSIM)分别为39.0592和0.9463，可以看出双重卷积网络比FFDNET的去噪效果更好。
具体实施方式
下面对本发明的技术方案的主要实现原理、具体实施方式等进行详细描述。
1.构建双重卷积去噪网络模型；
1)构建噪声估计子网络：
构建三个网络层，输入层、隐藏层、输出层；输入层是手机拍摄图像的输入；输出层是输出已估计的噪声；隐藏层分为5个部分：隐藏层中第一部分为卷积层，该卷积层包含了64个卷积核，尺寸为3x3，步长为1，填充为1，激活函数为线性整流函数；隐藏层中第二部分为3个冗余链接块，每个冗余链接块中包含两次批量标准化、两个卷积层，第一个卷积层的卷积核尺寸为1x1，步长为1，填充为1，激活函数为线性整流函数，第二个卷积层的卷积核尺寸为3x3，步长为1，填充为1，激活函数为线性整流函数，其中增长率为64；隐藏层中第三部分为过渡块，一个过渡块包含批量标准化，线性整流函数和卷积层，卷积层中包含64个卷积核，尺寸为1x1，步长为1，填充为1；隐藏层中第四部分为3个冗余链接块，每个冗余链接块中包含两次批量标准化、两个卷积层，第一个卷积层的卷积核尺寸为1x1，步长为1，填充为1，激活函数为线性整流函数，第二个卷积层的卷积核尺寸为3x3，步长为1，填充为1，激活函数为线性整流函数，其中增长率为64；隐藏层中第五部分为过渡块，一个过渡块包含批量标准化，线性整流函数和卷积层，卷积层包含64个卷积核，尺寸为1x1，步长为1，填充为1；其中线性整流函数的表达式为f(x)＝max(0,x)，x取值为任意实数；
2)构建去噪子网络：
构建三个网络层，输入层、隐藏层、输出层；输入层由1个卷积层组成，输入是手机拍摄图像和已估计噪声的拼接，拼接是指两张相同尺寸的3通道图像合成为一张长宽不变的6通道图像，卷积层包含批量标准化、卷积运算和激活函数运算，其中，卷积核尺寸为3x3，步长为1，填充为1，激活函数为渗漏整流线性函数；隐藏层由13个卷积层组成，卷积层包含卷积运算和激活函数运算，其中，卷积核尺寸为3x3，步长为1，填充为1，激活函数为渗漏整流线性函数；输出层由1个卷积层组成，输出已去噪的手机拍摄图像，卷积层包含批量标准化、卷积运算和激活函数运算，其中，卷积核尺寸为3x3，步长为1，填充为1，激活函数为渗漏整流线性函数；线性整流函数的表达式为f(x)＝max(0,x)，x取值为任意实数；渗漏整流线性函数的表达式为：x>0时，g(x)＝x，x≤0时，g(x)＝λx，x为输入量，λ为(0,1)之间的常数；
2.训练网络通过以下步骤完成：
第一步，准备数据集，把高像素图像剪裁为合适的尺寸，以华为mate20pro所拍摄的一张尺寸为2736x3648x3的3通道RGB图像为例，剪裁为多个512x512x3尺寸的图像，这有助于加快网络训练速度，设定损失函数阈值为1*10-4，最大训练次数为10000，初始化训练参数；
第二步，把手机拍摄图像输入噪声估计子网络，尺寸为512x512x3，输出噪声估计图像，尺寸为512x512x3；
第三步，计算噪声估计子网络的损失函数，损失函数为噪声估计图像和手机拍摄图像的均方误差；
第四步，若损失函数大于噪声估计子网络的损失函数阈值或未达到最大训练次数，则重复第二步至第三步；
第五步，把噪声估计图像与手机拍摄图像拼接后输入去噪子网络，拼接后的图像尺寸为512x512x6；
第六步，计算去噪子网络的损失函数，损失函数为输入图像和干净图像的均方误差；
第七步，若损失函数大于去噪子网络的损失函数阈值或未达到最大训练次数，则重复第五步至第六步；
3.进行双重卷积去噪网络的参数更新；
网络参数使用自适应矩估计算法进行优化，优化方法如下：
输入为手机拍摄图像数据集X＝{x1,x2,…,xn}，输出为去噪后图像
Figure BDA0002883356490000071
标签数据集Y＝{y1,y2,…,yn}，输入信号经过双重卷积去噪网络后输出
Figure BDA0002883356490000072
优化双重卷积去噪网络参数w使
Figure BDA0002883356490000073
取出10个样本进入网络训练，L为损失函数，数据梯度均值为g，定义为：
Figure BDA0002883356490000074
Figure BDA0002883356490000075
表示损失函数L(yj,F(xj；w))对w求偏导数；设定参数β1和β2，β1＝0.9，β2＝0.99，设定e为平滑参数，e＝1*10-4，计算衰减梯度为vi，i＝1,2,…,t，vt＝β1·vt-1+(1-β1)g，计算衰减学习率为ri，i＝1,2,…,t，rt＝β2·rt-1+(1-β2)g2；再对r和v进行偏置校正，
Figure BDA0002883356490000076
其中t为训练次数，(β1)t表示β1的t次方，(β2)t表示β2的t次方；更新双重卷积去噪网络参数wi，i＝1,2,…,t，
Figure BDA0002883356490000077
4.向构建好的网络模型F(X；w)中输入含有噪声的手机拍摄图像X，网络输出为去噪后的手机拍摄图像
Figure BDA0002883356490000078
通过客观数据分析，由下表可以看出，在不同的拍摄参数下，双重卷积去噪网络(T-CNN)所生成去噪图像的峰值信噪比(PSNR)与结构相似性(SSIM)都优于EPLL，DnCNN和FFDNet方法。
以上所述FFDNet为Zhang K等2018年发表的论文FFDNet:Toward a fast andflexible solution for CNN-based image denoising[J].IEEE Transactions on ImageProcessing,2018,27(9):4608-4622.以上所述的DnCNN为Zhang K等在2017年发表的论文Beyond a gaussian denoiser:Residual learning of deep cnn for image denoising[J].IEEE Transactions on Image Processing,2017,26(7):3142-3155.以上所述的EPLL为Sulam J等2015年发表的论文Expected patch log likelihood with a sparse prior[C]//International Workshop on Energy Minimization Methods in Computer Visionand Pattern Recognition.Springer,Cham,2015:99-111.
场景 ISO 快门速度(秒) 环境亮度 去噪方法 PSNR(dB) SSIM
玩具车 800 1/800 亮 噪声图像 31.3107 0.8771
玩具车 800 1/800 亮 EPLL 35.4541 0.8831
玩具车 800 1/800 亮 DnCNN 37.1245 0.9541
玩具车 800 1/800 亮 FFDNet 37.7123 0.8978
玩具车 800 1/800 亮 T-CNN 39.0592 0.9463
玩具车 800 1/800 暗 噪声图像 32.0370 0.7086
玩具车 800 1/800 暗 EPLL 37.4254 0.8710
玩具车 800 1/800 暗 DnCNN 37.7642 0.9183
玩具车 800 1/800 暗 FFDNet 38.3650 0.8911
玩具车 800 1/800 暗 T-CNN 38.7589 0.9212

Claims (1)

1.本发明涉及一种基于双重卷积去噪网络的手机拍摄图像去噪方法，其特征在于包括以下步骤：
步骤1.构建双重卷积去噪网络模型；
1)构建噪声估计子网络：
构建三个网络层，输入层、隐藏层、输出层；输入层是手机拍摄图像的输入；输出层是输出已估计的噪声；隐藏层分为5个部分：隐藏层中第一部分为卷积层，该卷积层包含了64个卷积核，尺寸为3x3，步长为1，填充为1，激活函数为线性整流函数；隐藏层中第二部分为3个冗余链接块，每个冗余链接块中包含两次批量标准化、两个卷积层，第一个卷积层的卷积核尺寸为1x1，步长为1，填充为1，激活函数为线性整流函数，第二个卷积层的卷积核尺寸为3x3，步长为1，填充为1，激活函数为线性整流函数，其中增长率为64；隐藏层中第三部分为过渡块，一个过渡块包含批量标准化、线性整流函数和卷积运算，其中卷积运算包含64个卷积核，尺寸为1x1，步长为1，填充为1；隐藏层中第四部分为3个冗余链接块，每个冗余链接块中包含两次批量标准化、两个卷积层，第一个卷积层的卷积核尺寸为1x1，步长为1，填充为1，激活函数为线性整流函数，第二个卷积层的卷积核尺寸为3x3，步长为1，填充为1，激活函数为线性整流函数，其中增长率为64；隐藏层中第五部分为过渡块，一个过渡块包含批量标准化、线性整流函数和卷积运算，其中卷积运算包含64个卷积核，尺寸为1x1，步长为1，填充为1；其中线性整流函数的表达式为f(x)＝max(0,x)，x取值为任意实数；
2)构建去噪子网络：
构建三个网络层，输入层、隐藏层、输出层；输入层由1个卷积层组成，输入是手机拍摄图像和已估计噪声的拼接，拼接是指两张相同尺寸的3通道图像合成为一张长宽不变的6通道图像，卷积层包含批量标准化、卷积运算和激活函数运算，其中，卷积核尺寸为3x3，步长为1，填充为1，激活函数为渗漏整流线性函数；隐藏层由13个卷积块组成，卷积块包含卷积运算和激活函数运算，其中，卷积核尺寸为3x3，步长为1，填充为1，激活函数为渗漏整流线性函数；输出层由1个卷积层组成，输出已去噪的手机拍摄图像，卷积层包含批量标准化、卷积运算和激活函数运算，其中，卷积核尺寸为3x3，步长为1，填充为1，激活函数为渗漏整流线性函数；线性整流函数的表达式为f(x)＝max(0,x)，x取值为任意实数；渗漏整流线性函数的表达式为：x＞0时，g(x)＝x，x≤0时，g(x)＝λx，x为输入量，λ为(0，1)之间的常数；
步骤2.训练网络执行如下步骤：
第一步，准备数据集，把高像素图像剪裁为合适的尺寸，设定损失函数阈值和最大训练次数，初始化训练参数；
第二步，把手机拍摄图像输入噪声估计子网络，输出噪声估计图像；
第三步，计算噪声估计子网络的损失函数，损失函数为噪声估计图像和手机拍摄图像的均方误差；
第四步，若损失函数大于噪声估计子网络的损失函数阈值或未达到最大训练次数，则重复第二步至第三步；
第五步，把噪声估计图像与手机拍摄图像拼接后输入去噪子网络，拼接是指两张相同尺寸的3通道图像合成为一张长宽不变的6通道图像；
第六步，计算去噪子网络的损失函数，损失函数为输入图像和干净图像的均方误差；
第七步，若损失函数大于去噪子网络的损失函数阈值或未达到最大训练次数，则重复第五步至第六步；
步骤3.进行双重卷积去噪网络的参数更新；
网络参数使用自适应矩估计算法进行优化，优化方法如下：
输入为手机拍摄图像数据集X＝{x1，x2，...，xn}，输出为去噪后图像
Figure FDA0002883356480000024
标签数据集Y＝{y1，y2，...，yn}，输入信号经过双重卷积去噪网络后输出
Figure FDA0002883356480000025
优化双重卷积去噪网络参数w，使
Figure FDA0002883356480000026
取出m个样本进入网络训练，m与n均为正整数，m≤n，L为损失函数，数据梯度均值为g，定义为：
Figure FDA0002883356480000021
Figure FDA0002883356480000022
表示损失函数L(yj，F(xj；w))对w求偏导数；设定参数β1和β2，取值范围为(0，1)，设定e为平滑参数，取值范围为(0，1)，计算衰减梯度为vi，i＝1，2，...，t，vt＝β1·vt-1+(1-β1)g，计算衰减学习率为ri，i＝1，2，...，t，rt＝β2·rt-1+(1-β2)g2；再对r和v进行偏置校正，
Figure FDA0002883356480000023
其中t为训练次数，(β1)t表示β1的t次方，(β2)t表示β2的t次方；更新双重卷积去噪网络参数wi，i＝1，2，...，t，
Figure FDA0002883356480000031
步骤4.向构建好的网络模型F(X；w)中输入含有噪声的手机拍摄图像X，网络输出为去噪后的手机拍摄图像
Figure FDA0002883356480000032
CN202110006550.4A 2021-01-05 2021-01-05 基于双重卷积网络的手机拍摄图像去噪方法 Pending CN112634175A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110006550.4A CN112634175A (zh) 2021-01-05 2021-01-05 基于双重卷积网络的手机拍摄图像去噪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110006550.4A CN112634175A (zh) 2021-01-05 2021-01-05 基于双重卷积网络的手机拍摄图像去噪方法

Publications (1)

Publication Number Publication Date
CN112634175A true CN112634175A (zh) 2021-04-09

Family

ID=75291376

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110006550.4A Pending CN112634175A (zh) 2021-01-05 2021-01-05 基于双重卷积网络的手机拍摄图像去噪方法

Country Status (1)

Country Link
CN (1) CN112634175A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112991236A (zh) * 2021-05-20 2021-06-18 南京甄视智能科技有限公司 一种基于模板的图像增强方法及装置
CN116055844A (zh) * 2023-01-28 2023-05-02 荣耀终端有限公司 一种跟踪对焦方法、电子设备和计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107248144A (zh) * 2017-04-27 2017-10-13 东南大学 一种基于压缩型卷积神经网络的图像去噪方法
CN109285129A (zh) * 2018-09-06 2019-01-29 哈尔滨工业大学 基于卷积神经网络的图像真实噪声去除系统
CN109658348A (zh) * 2018-11-16 2019-04-19 天津大学 基于深度学习的联合噪声估计和图像去噪方法
JP2019078864A (ja) * 2017-10-24 2019-05-23 日本電信電話株式会社 楽音強調装置、畳み込みオートエンコーダ学習装置、楽音強調方法、プログラム
CN110473154A (zh) * 2019-07-31 2019-11-19 西安理工大学 一种基于生成对抗网络的图像去噪方法
CN111192211A (zh) * 2019-12-24 2020-05-22 浙江大学 一种基于单个深度神经网络的多噪声类型盲去噪方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107248144A (zh) * 2017-04-27 2017-10-13 东南大学 一种基于压缩型卷积神经网络的图像去噪方法
JP2019078864A (ja) * 2017-10-24 2019-05-23 日本電信電話株式会社 楽音強調装置、畳み込みオートエンコーダ学習装置、楽音強調方法、プログラム
CN109285129A (zh) * 2018-09-06 2019-01-29 哈尔滨工业大学 基于卷积神经网络的图像真实噪声去除系统
CN109658348A (zh) * 2018-11-16 2019-04-19 天津大学 基于深度学习的联合噪声估计和图像去噪方法
CN110473154A (zh) * 2019-07-31 2019-11-19 西安理工大学 一种基于生成对抗网络的图像去噪方法
CN111192211A (zh) * 2019-12-24 2020-05-22 浙江大学 一种基于单个深度神经网络的多噪声类型盲去噪方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DIEDERIK P. KINGMA 等: "ADAM: A METHOD FOR STOCHASTIC OPTIMIZATION", 《ARXIV》 *
HUANJING YUE 等: "Deep Joint Noise Estimation and Removal for High ISO JPEG Images", 《2018 24TH INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION (ICPR)》 *
SHI GUO: "Toward Convolutional Blind Denoising of Real Photographs", 《ARXIV》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112991236A (zh) * 2021-05-20 2021-06-18 南京甄视智能科技有限公司 一种基于模板的图像增强方法及装置
CN112991236B (zh) * 2021-05-20 2021-08-13 南京甄视智能科技有限公司 一种基于模板的图像增强方法及装置
CN116055844A (zh) * 2023-01-28 2023-05-02 荣耀终端有限公司 一种跟踪对焦方法、电子设备和计算机可读存储介质
CN116055844B (zh) * 2023-01-28 2024-05-31 荣耀终端有限公司 一种跟踪对焦方法、电子设备和计算机可读存储介质

Similar Documents

Publication Publication Date Title
Guo et al. Toward convolutional blind denoising of real photographs
CN108537746B (zh) 一种基于深度卷积网络的模糊可变图像盲复原方法
CN111968044B (zh) 基于Retinex和深度学习的低照度图像增强方法
CN111539879B (zh) 基于深度学习的视频盲去噪方法及装置
CN112634175A (zh) 基于双重卷积网络的手机拍摄图像去噪方法
CN112348747A (zh) 图像增强方法、装置及存储介质
TW202226141A (zh) 圖像去霧方法和使用圖像去霧方法的圖像去霧設備
CN110415193A (zh) 煤矿低照度模糊图像的复原方法
CN112529854A (zh) 一种噪声估计方法、装置、存储介质及设备
CN113284061A (zh) 一种基于梯度网络的水下图像增强方法
Sun et al. Deep maximum a posterior estimator for video denoising
Rabie Adaptive hybrid mean and median filtering of high-ISO long-exposure sensor noise for digital photography
CN117422653A (zh) 一种基于权重共享和迭代数据优化的低光照图像增强方法
Yadav et al. Frequency-domain loss function for deep exposure correction of dark images
KR102277005B1 (ko) 비지도 학습을 이용한 저조도 영상 처리 방법 및 장치
CN112634176B (zh) 基于多感知对抗生成网络的手机拍摄图像去噪方法
EP3913572A1 (en) Loss function for image reconstruction
CN112070686A (zh) 一种基于深度学习的逆光图像协同增强方法
He et al. Low-light image enhancement combined with attention map and u-net network
Steffens et al. Contrast enhancement and image completion: A cnn based model to restore ill exposed images
CN116433516A (zh) 一种基于注意力机制的低照度图像去噪增强方法
CN115311149A (zh) 图像去噪方法、模型、计算机可读存储介质及终端设备
CN113066023B (zh) 一种基于自校准卷积神经网络的sar图像去斑方法
CN115482173A (zh) 一种基于Retinex理论的夜间无人机跟踪低照度图像增强方法
CN115170420A (zh) 一种图像对比度的处理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210409

RJ01 Rejection of invention patent application after publication