CN112634176A - 基于多感知对抗生成网络的手机拍摄图像去噪方法 - Google Patents

Abstract

本发明公开了一种多感知对抗生成网络的手机拍摄图像去噪方法，本发明改进了SRGAN的不足，提出了一种新的损失函数，避免了SRGAN网络可能不收敛或者效果差的问题；判别网络在输入层使用了多个感知块，使判别网络不限制输入数据尺寸，更好的保存了输入数据的细节。

Description

基于多感知对抗生成网络的手机拍摄图像去噪方法

技术领域

本发明涉及图像去噪领域，特别是涉及手机拍摄图像，具体涉及一种基于多感知对抗生成网络的手机拍摄图像去噪方法。

背景技术

在智能手机的各个功能中，拍照是一项非常重要的功能，虽然人们越来越习惯于使用轻便的智能手机拍照而不是笨重的数码单反相机，但是因为手机内部空间的限制，导致其传感器尺寸、光圈大小等硬件配置和数码单反相机仍然有差距，这种硬件配置的差距导致智能手机拍照时产生的噪点会相对多于数码单反相机。智能手机相比于数码单反的优势在其拥有强大的芯片和神经网络处理器，智能手机利用其芯片的强大运算能力，可以很好的解决拍摄图像不清晰、细节模糊等问题。

传统的图像去噪算法是在含有噪声的图像中寻找出一定规律后再进行相对应的图像去噪处理，如果含有噪声的图片本身没有办法找到有用的规律，去噪的效果就会大大降低。深度学习的图像去噪方法是最近兴起的一种属于数据驱动的方法，大部分图像去噪的实验数据是充足的，这为深度学习的图像去噪方法提供了坚实的基础，所以当前深度学习方法在许多场景下的去噪效果已经超越块匹配和3D滤波算法(Block-matching and 3Dfiltering，BM3D)，该方法是Dabov K在2007年发表的论文Image denoising by sparse 3-D transform-domain collaborative filtering[J].IEEE Transactions on imageprocessing,2007,16(8):2080-2095。

智能手机的拍照环境多变且复杂，产生的图像噪声随机性强且通常与信号相关，受环境因素影响大，没有明确的分布可以描述。目前的一些基于深度学习的图像去噪方法应用于手机拍摄图像去噪时通常会出现去噪图像细节模糊、峰值信噪比低等问题，如何解决常规深度学习的图像去噪方法应用在智能手机拍摄图像上的缺陷是本论文研究目的和意义。

发明内容

为了解决现有技术的缺陷，改善常规深度学习方法生成的去噪图像细节模糊、纹理不清的问题，避免网络可能不收敛或者收敛慢的问题，提出了一种多感知对抗生成网络去噪方法，本发明可以提高手机拍摄图像的去噪效果。

本发明涉及一种多感知对抗生成网络的手机拍摄图像去噪方法，其特征在于包括以下步骤：

本发明涉及一种基于多感知对抗生成网络的手机拍摄图像去噪方法，其特征在于包括以下步骤：

1.构建多感知对抗生成网络模型；

1)构建多感知对抗生成网络中的生成网络F(x；w)，x为对抗生成网络输入，w为对抗生成网络参数：

生成网络包括三个网络层，输入层、隐藏层、输出层；输入层是手机拍摄图像的输入；输出层是输出已估计的噪声；隐藏层分为两个部分：隐藏层中第一部分包含四个卷积块和三个池化层，卷积块包含两个卷积层，第一层卷积的卷积核大小为1x1，填充为0，步长为1，第二层卷积的卷积核大小为3x3，填充为1，步长为1，激活函数为线性整流函数；隐藏层中第二部分包含四个卷积块和三个上采样层，卷积块包含两个卷积层，第一层卷积的卷积核大小为1x1，填充为0，步长为1，第二层卷积的卷积核大小为3x3，填充为1，步长为1，激活函数为线性整流函数；其中线性整流函数的表达式为f(x)＝max(0,x)，x取值为任意实数；生成网络的损失函数为L＝αD+βP+γS，其中L为损失函数，D表示来自判别网络的损失，P是所生成的图像与真实图像之间的像素与像素间差值的L2范数，S是平滑损失，表示第n次迭代训练的损失函数值与第n-1次迭代训练的损失函数值的绝对误差，当n等于1和2时S＝0，α，β和γ是0到1之间的实数，分别是D、P和S的预定义权重；

2)构建多感知对抗生成网络中的判别网络：

判别网络包括三个网络层，输入层、隐藏层、输出层；输入层的输入是生成网络输出的去噪图像，由多个感知块组成，感知块包括卷积运算、批量标准化和激活函数，其中卷积核大小为3x3，填充取1，步长为1，激活函数选用渗漏整流线性函数；输出层的输出是0到1之间的实数，去噪图像越接近干净图像，该数值越接近1，干净图像是指去噪目标图像，由池化层、全连接层和逻辑回归分类器组成，其中池化层为7x7全局池化；隐藏层包含卷积块和池化层，卷积块包含卷积运算、批量标准化和激活函数，其中卷积核尺寸为3x3，填充取1，步长为1，池化层采用3x3最大池化，步长为2，激活函数选用线性整流函数；线性整流函数的表达式为f(x)＝max(0，x)，x取值为任意实数；渗漏整流线性函数的表达式为：x＞0时，g(x)＝x，x≤0时，g(x)＝λx，x为输入量，λ为(0，1)之间的常数；

2.训练多感知对抗生成网络，步骤如下：

第一步，准备数据集，设定损失函数阈值和最大训练次数，初始化训练参数；

第二步，把手机拍摄图像输入生成网络，输出去噪图像；

第三步，将去噪图像输入判别网络，输出为M，M是0到1之间的实数，去噪图像越接近干净图像，M越接近1；

第四步，计算判别网络的损失函数D，D＝1-M，计算生成网络的损失函数L，L＝αD+βP+γS，D表示来自判别网络的损失，P是所生成的图像与真实图像之间的像素与像素间差值的L2范数，S是平滑损失，表示第n次迭代训练的生成网络损失函数值与第n-1次迭代训练的生成网络损失函数值的绝对误差，当n等于1和2时S＝0，α，β和γ是0到1之间的实数，分别是D、P和S的预定义权重；

第五步，若D和L大于所设定的损失函数阈值或未达到最大训练次数，则重复第二步至第四步；

3.网络参数使用自适应矩估计算法进行优化，优化方法如下：

输入为手机拍摄图像数据集X＝{x₁，x₂，...，x_n}，输出为去噪后图像

标签数据集Y＝{y₁，y₂，...，y_n}，输入信号经过多感知对抗生成网络后输出

优化多感知对抗生成网络参数w，使

取出m个样本进入网络训练，m与n均为正整数，m≤n，L为损失函数，数据梯度均值为g，定义为：

表示损失函数L(y_j，F(x_j；w))对w求偏导数；设定参数β₁和β₂，取值范围为(0，1)，设定e为平滑参数，取值范围为(0，1)，计算衰减梯度为v_i，i＝1，2，...，t，v_t＝β₁·v_t-1+(1-β₁)g，计算衰减学习率为r_i，i＝1，2，...，t，r_t＝β₂·r_t-1+(1-β₂)g²；再对r和v进行偏置校正，

其中t为训练次数，(β₁)^t表示β₁的t次方，(β₂)^t表示β₂的t次方；更新多感知对抗生成网络参数w_i，i＝1，2，...，t，

4.向构建好的网络模型F(X；w)中输入含有噪声的手机拍摄图像X，网络输出为去噪后的手机拍摄图像

本发明的创新点：

1.在生成网络部分，与SRGAN相比较，多感知对抗生成网络提出了一种新的损失函数，该损失函数为L＝αD+βP+γS，其中L为损失函数，D表示来自判别网络的损失，P是所生成的图像与真实图像之间的像素与像素间差值的L2范数，S是平滑损失，α，β和γ分别是D、P和S的预定义权重，避免了SRGAN网络可能不收敛或者效果差的问题；

2.在判别网络部分，与SRGAN相比较，多感知对抗生成网络提出了一种新的结构，在输入层使用多感知块结构，该结构中的感知块互相独立，提出图像中的特征，使判别网络不限制输入数据尺寸，更好的保存了输入数据的细节。

以上所述SRGAN为Li J等2019年所发表的论文Super resolution imagereconstruction of textile based on SRGAN[C]//2019IEEE InternationalConference on Smart Internet of Things(SmartloT).IEEE，2019：436-439.

附图说明

图1是生成网络结构示意图，生成网络包括三个网络层，输入层、隐藏层、输出层；输入层是手机拍摄图像的输入；输出层是输出已估计的噪声；隐藏层分为两个部分：隐藏层中第一部分包含四个卷积块和三个池化层，隐藏层中第二部分包含四个卷积块和三个上采样层。

图2是判别网络结构示意图，判别网络包括三个网络层，输入层、隐藏层、输出层；输入层的输入是生成网络输出的去噪图像，由多个感知块组成；输出层的输出是0到1之间的实数，去噪图像越接近干净图像，该数值越接近1，由池化层、全连接层和逻辑回归分类器组成；隐藏层由链接块组成，链接块包含卷积运算、池化运算、批量标准化和激活函数。

图3是生成网络中卷积块的结构示意图，卷积块包含两层2维卷积和线性整流函数，第一层2维卷积的卷积核大小为3x3，填充为1，步长为1，第二层卷积的卷积核大小为1x1，填充为0，步长为1。

图4是判别网络感知块结构示意图，包含二维卷积(卷积核大小为3，步长和填充为1)，批量标准化和渗漏整流线性函数，渗漏整流线性函数可以避免某些神经元可能永远不会被激活，导致相应的参数永远不能被更新的问题。

图5是判别网络的链接块结构示意图，链接块包括卷积运算(卷积核大小为3x3，步长取1，填充为1)、池化运算(3x3最大池化，步长为2)、批量标准化和激活函数，激活函数选用线性整流函数。

图6是判别网络输出层结构示意图，输出层的输出是0到1之间的实数，去噪图像越接近干净图像，该数值越接近1，由池化层、全连接层和逻辑回归分类器组成，其中池化层为7x7全局池化。

图7是本发明的方法流程图，多感知对抗生成网络由生成网络和判别网络组成；把待去噪图像输入到生成网络，输出为去噪图像，把去噪图像和图像输入判别网络，判别网络输出判别结果，判别结果为真伪的概率值，去噪图像越接近干净图像，该数值越接近1，若判别为真则去噪图像合格，若判别为假则去噪图像不合格。

图8是本发明与其它方法的去噪效果对比图，图中(a)是干净图片，(b)是含有噪声的图片，(c)是使用SRGAN去噪后的图片，(d)是通过多感知对抗生成网络进行去噪得到的图片，其中(c)的峰值信噪比(PSNR)与结构相似性(SSIM)分别为35.3854和0.9217，其中(d)的峰值信噪比(PSNR)与结构相似性(SSIM)分别为37.5765和0.9360，可以看出多感知对抗生成网络比SRGAN的去噪效果更好。

具体实施方式

下面对本发明的技术方案的主要实现原理、具体实施方式等进行详细描述。

1.构建多感知对抗生成网络模型；

1)构建多感知对抗生成网络中的生成网络F(x；w)，x为对抗生成网络输入，w为对抗生成网络参数：

生成网络包括三个网络层，输入层、隐藏层、输出层；输入层是手机拍摄图像的输入；输出层是输出已估计的噪声；隐藏层分为两个部分：隐藏层中第一部分包含四个卷积块和三个池化层，卷积块包含两个卷积层，第一层卷积的卷积核大小为3x3，填充为1，步长为1，第二层卷积的卷积核大小为1x1，填充为0，步长为1，激活函数为线性整流函数；隐藏层中第二部分包含四个卷积块和三个上采样层，卷积块包含两个卷积层，第一层卷积的卷积核大小为1x1，填充为0，步长为1，第二层卷积的卷积核大小为3x3，填充为1，步长为1，激活函数为线性整流函数；其中线性整流函数的表达式为f(x)＝max(0,x)，x取值为任意实数；生成网络的损失函数为L＝αD+βP+γS，其中L为损失函数，D表示来自判别网络的损失，P是所生成的图像与真实图像之间的像素与像素间差值的L2范数，S是平滑损失，表示第n次迭代训练的损失函数值与第n-1次迭代训练的损失函数值的绝对误差，当n等于1和2时S＝0，α，β和γ是0到1之间的实数，分别是D、P和S的预定义权重；

2)构建多感知对抗生成网络中的判别网络：

判别网络包括三个网络层，输入层、隐藏层、输出层；输入层的输入是生成网络输出的去噪图像，由多个感知块组成，感知块包括卷积运算、批量标准化和激活函数，其中卷积核大小为3x3，填充取1，步长为1，激活函数选用渗漏整流线性函数；输出层的输出是0到1之间的实数，去噪图像越接近干净图像，该数值越接近1，由池化层、全连接层和逻辑回归分类器组成，其中池化层为7x7全局池化；隐藏层由连接块组成，链接块包含卷积运算、池化运算、批量标准化和激活函数，其中卷积核尺寸为3x3，填充取1，步长为1，池化采用3x3最大池化，步长为2，激活函数选用线性整流函数；线性整流函数的表达式为f(x)＝max(0,x)，x取值为任意实数；渗漏整流线性函数的表达式为：x>0时，g(x)＝x，x≤0时，g(x)＝λx，x为输入量，λ为(0,1)之间的常数；

2.训练网络；

第一步，准备数据集，设定生成网络损失函数阈值为1*10^-4和判别网络损失函数阈值为0.1，最大训练次数为10000，初始化训练参数，以华为mate20pro所拍摄的一张尺寸为2736x3648x3的3通道RGB图像为例；

第二步，把手机拍摄图像输入生成网络，尺寸为2736x3648x3，输出去噪图像，尺寸为2736x3648x3；

第三步，将去噪图像输入判别网络，输出为M，M是0到1之间的实数，去噪图像越接近干净图像，M越接近1；

第四步，计算判别网络的损失函数D，D＝1-M，计算生成网络的损失函数L，L＝αD+βP+γS，D表示来自判别网络的损失，P是所生成的图像与真实图像之间的像素与像素间差值的L2范数，S是平滑损失，表示第n次迭代训练的生成网络损失函数值与第n-1次迭代训练的生成网络损失函数值的绝对误差，当n等于1和2时S＝0，α＝0.7，β＝0.2，γ＝0.1；

第五步，若D和L大于所设定的损失函数阈值或未达到最大训练次数，则重复第二步至第四步；

3.网络参数使用自适应矩估计算法进行优化，优化方法如下：

网络参数使用自适应矩估计算法进行优化，优化方法如下：

输入为手机拍摄图像数据集X＝{x₁，x₂，...，x₁₀₀₀}，输出为去噪后图像

标签数据集Y＝{y₁，y₂，...，y₁₀₀₀}，输入信号经过多感知对抗生成网络后输出

优化多感知对抗生成网络参数w使

取出10个样本进入网络训练，L为损失函数，数据梯度均值为g，定义为：

表示损失函数L(y_j，F(x_j；w))对w求偏导数；设定参数β₁＝0.9，β₂＝0.99，设定e为平滑参数，e＝1*10^-4，计算衰减梯度为v_i，i＝1，2，...，t，v_t＝β₁·v_t-1+(1-β₁)g，计算衰减学习率为r_i，i＝1，2，...，t，r_t＝β₂·r_t-1+(1-β₂)g²；再对r和v进行偏置校正，

其中t为训练次数，(β₁)^t表示β₁的t次方，(β₂)^t表示β₂的t次方；更新多感知对抗生成网络参数w_i，i＝1，2，...，t，

4.向构建好的网络模型F(X；w)中输入含有噪声的手机拍摄图像X，网络输出为去噪后的手机拍摄图像

通过客观数据分析，由下表可以看出，在不同的拍摄参数下，多感知对抗生成网络(M-GAN)所生成去噪图像的峰值信噪比(PSNR)与结构相似性(SSIM)都优于BM3D，DnCNN和SRGAN方法。

以上所述SRGAN为Li J等2019年所发表的论文Super resolution imagereconstruction of textile based on SRGAN[C]//2019IEEE InternationalConference on Smart Internet of Things(SmartloT).IEEE，2019：436-439.以上所述的DnCNN为Zhang K等在2017年发表的论文Beyond a gaussian denoiser：Residual leamingof deep cnn for image denoising[J].IEEE Transactions on Image Processing，2017，26(7)：3142-3155.以上所述的BM3D为Dabov K在2007年发表的论文Image denoisingby sparse 3-D transform-domain collaborative filtering[J].IEEE Transactionson image processing,2007,16(8):2080-2095.

场景

ISO

快门速度(秒)

环境亮度

去噪方法

PSNR(dB)

SSIM

书本

400

1/1000

暗

噪声图像

27.1434

0.5514

书本

400

1/1000

暗

BM3D

34.5132

0.8507

书本

400

1/1000

暗

SRGAN

35.5854

0.9217

书本

400

1/1000

暗

DnCNN

36.0433

0.9136

书本

400

1/1000

暗

M-GAN

37.5765

0.9360

书本

100

1/4000

正常

噪声图像

27.6665

0.5543

书本

100

1/4000

正常

BM3D

34.6241

0.8845

书本

100

1/4000

正常

SRGAN

36.1442

0.9011

书本

100

1/4000

正常

DnCNN

36.4955

0.8978

书本

100

1/4000

正常

M-GAN

37.7243

0.9408

Claims (1)

1.本发明涉及一种基于多感知对抗生成网络的手机拍摄图像去噪方法，其特征在于包括以下步骤：

步骤1.构建多感知对抗生成网络模型；

1)构建多感知对抗生成网络中的生成网络F(x；w)，x为对抗生成网络输入，w为对抗生成网络参数：

生成网络包括三个网络层，输入层、隐藏层、输出层；输入层是手机拍摄图像的输入；输出层是输出已估计的噪声；隐藏层分为两个部分：隐藏层中第一部分包含四个卷积块和三个池化层，卷积块包含两个卷积层，第一层卷积的卷积核大小为3x3，填充为1，步长为1，第二层卷积的卷积核大小为1x1，填充为0，步长为1，激活函数为线性整流函数；隐藏层中第二部分包含四个卷积块和三个上采样层，卷积块包含两个卷积层，第一层卷积的卷积核大小为1x1，填充为0，步长为1，第二层卷积的卷积核大小为3x3，填充为1，步长为1，激活函数为线性整流函数；其中线性整流函数的表达式为f(x)＝max(0,x)，x取值为任意实数；生成网络的损失函数为L＝αD+βP+γS，其中L为损失函数，D表示来自判别网络的损失，P是所生成的图像与真实图像之间的像素与像素间差值的L2范数，S是平滑损失，表示第n次迭代训练的损失函数值与第n-1次迭代训练的损失函数值的绝对误差，当n等于1和2时S＝0，α，β和γ是0到1之间的实数，分别是D、P和S的预定义权重；

2)构建多感知对抗生成网络中的判别网络：

判别网络包括三个网络层，输入层、隐藏层、输出层；输入层的输入是生成网络输出的去噪图像，由多个感知块组成，感知块包括卷积运算、批量标准化和激活函数，其中卷积核大小为3x3，填充取1，步长为1，激活函数选用渗漏整流线性函数；输出层的输出是0到1之间的实数，去噪图像越接近干净图像，该数值越接近1，由池化层、全连接层和逻辑回归分类器组成，其中池化层为7x7全局池化；隐藏层由连接块组成，链接块包含卷积运算、池化运算、批量标准化和激活函数，其中卷积核尺寸为3x3，填充取1，步长为1，池化采用3x3最大池化，步长为2，激活函数选用线性整流函数；线性整流函数的表达式为f(x)＝max(0,x)，x取值为任意实数；渗漏整流线性函数的表达式为：x>0时，g(x)＝x，x≤0时，g(x)＝λx，x为输入量，λ为(0,1)之间的常数；

步骤2.训练多感知对抗生成网络，步骤如下：

第一步，准备数据集，设定损失函数阈值和最大训练次数，初始化训练参数；

第二步，把手机拍摄图像输入生成网络，输出去噪图像；

第三步，将去噪图像输入判别网络，输出为M，M是0到1之间的实数，去噪图像越接近干净图像，M越接近1；

第四步，计算判别网络的损失函数D，D＝1-M，计算生成网络的损失函数L，L＝αD+βP+γS，D表示来自判别网络的损失，P是所生成的图像与真实图像之间的像素与像素间差值的L2范数，S是平滑损失，表示第n次迭代训练的生成网络损失函数值与第n-1次迭代训练的生成网络损失函数值的绝对误差，当n等于1和2时S＝0，α，β和γ是0到1之间的实数，分别是D、P和S的预定义权重；

第五步，若D和L大于所设定的损失函数阈值或未达到最大训练次数，则重复第二步至第四步；

步骤3.网络参数使用自适应矩估计算法进行优化，优化方法如下：

输入为手机拍摄图像数据集X＝{x₁，x₂，…，x_n}，输出为去噪后图像

标签数据集Y＝{y₁，y₂，...，y_n}，输入信号经过多感知对抗生成网络后输出

优化多感知对抗生成网络参数w，使

取出m个样本进入网络训练，m与n均为正整数，m≤n，L为损失函数，数据梯度均值为g，定义为：

表示损失函数L(y_j，F(x_j；w))对w求偏导数；设定参数β₁和β₂，取值范围为(0，1)，设定e为平滑参数，取值范围为(0，1)，计算衰减梯度为v_i，i＝1，2，...，t，v_t＝β₁·v_t-1+(1-β₁)g，计算衰减学习率为r_i，i＝1，2，...，t，r_t＝β₂·r_t-1+(1-β₂)g²；再对r和v进行偏置校正，

其中t为训练次数，(β₁)^t表示β₁的t次方，(β₂)^t表示β₂的t次方；更新多感知对抗生成网络参数w_i，i＝1，2，...，t，

步骤4.向构建好的网络模型F(X；w)中输入含有噪声的手机拍摄图像X，网络输出为去噪后的手机拍摄图像

Images