CN110390646B

CN110390646B - 一种细节保持图像去噪方法

Info

Publication number: CN110390646B
Application number: CN201910503633.7A
Authority: CN
Inventors: 李小霞; 肖娟; 吕念祖; 周颖玥; 王学渊
Original assignee: Southwest University of Science and Technology
Current assignee: Southwest University of Science and Technology
Priority date: 2019-06-12
Filing date: 2019-06-12
Publication date: 2023-10-17
Anticipated expiration: 2039-06-12
Also published as: CN110390646A

Abstract

本发明提出一种细节保持图像去噪方法。针对去噪后的图像由于大量缺失细节信息造成的模糊视觉效果和伪影现象，提出一种细节保持卷积神经网络（DRCNN）去噪模型。本方法包括如下步骤：步骤1，分析一个最小化问题并构建去噪数学模型；步骤2，搭建DRCNN的产生模块（GM）和细节保持模块（DRM）；步骤3，利用GM学习图像的噪声，并与噪声图像减相减获得中间特征图（IFM）；步骤4，利用DRM学习IFM所损失的细节信息，并与IFM相加获得去噪后的图像；步骤5，将实验结果与目前先进的图像去噪方法作比较分析。实验结果表明，DNCNN既能有效保持图像细节信息，表现出突出的视觉效果，同时还具有很强的泛化能力，可扩展到超声和激光图像等真实图像去噪任务中。

Description

一种细节保持图像去噪方法

技术领域

本发明属于计算机视觉的图像处理领域，特别涉及一种细节保持图像去噪方法。

背景技术

随着计算机技术的不断发展，计算机性能不断提高，图像去噪技术作为低层视觉信息处理中的经典主题也取得了巨大的突破，如今，图像去噪在医学图像处理、卫星图像处理和监控图像处理等都有着广泛的应用。图像去噪也是一种富有挑战性的技术，对于去噪后的图像由于大量缺失细节信息造成的模糊视觉效果和伪影现象，已成为应用中亟待解决的问题。目前，利用先验知识设计的传统方法已经满足不了需求，因此卷积神经网络（Convolutional Neural Network，CNN）是如今图像去噪技术研究的重点和热点。

传统的图像去噪方法众多，但都具有以下特点：第一，需要人工选择特征，其过程复杂，图像去噪效果的优劣取决于研究人员的先验知识；第二，去噪后的图像容易产生模糊的视觉效果和伪影现象。

近年来，由于CNN具有比传统方法更好的表征能力，因此CNN在图像去噪领域中取得了重大突破，成为现如今最先进的图像去噪方法。CNN在图像去噪上的标志性突破是张等人在2017年提出的去噪卷积神经网络（Denoising CNN，DnCNN），它利用残差学习策略成功地避免了传统去噪算法中会存在的光晕、振铃或马赛克效应，获得了非常出色的去噪效果。稍显遗憾的是，噪声不可能被充分的学习，所学习到的残差图中不仅包含噪声，还包含图像细节信息，使得去噪后的图像细节信息严重缺失。

为解决此问题，研究者们进行了大量的尝试。比如，Chen等人通过展开固定数量的梯度下降推断步骤，提出了一个可训练的非线性反应扩散（Trainable NonlinearReaction Diffusion，TNRD）去噪模型，该模型在捕获图像所有结构特征时局限于某种特定形式的先验信息。Cha等人提出了一种全卷积自适应图像去噪网络，该网络使用了一种基于上下文的像素化映射的方法，保持了比TNRD模型更多的图像细节信息，但容易出现伪影现象。Chen等人基于生成对抗网络提出了一种盲去噪模型，该模型分为三个部分：噪声提取、噪声生成和用于区分噪声图像和去噪后的图像的对抗网络，这个模型可克服伪影现象，但它容易生成错误的图像细节信息。为了加强网络顶层特征的图像细节表征能力，Mao等人提出了深度卷积编码—解码去噪网络，该网络在卷积层和反卷积层之间设计跳线连接结构，此结构不仅提高了顶层到底层的梯度传播效率，还在一定程度上解决了特征传播过程中细节信息的缺失问题。上述方法都着重于尽量减少去噪时图像细节的丢失，而从未考虑过对已经丢失的图像细节进行修复，因此仍然不能有效的解决图像细节信息缺失的问题。综上所述，目前在图像去噪领域中兼顾去噪性能和细节信息保持仍然是一大难点。

发明内容

在实际图像去噪任务中，图像去噪的目的是去除图像中的噪声并最大程度地保持图像细节特征。因此本发明提供一种新的细节保持卷积神经网络（Detail RetainingConvolutional Neural Network，DRCNN）去噪模型，能够很好的兼顾去噪性能和细节信息保持。

本发明的技术解决方案包括如下步骤：

步骤1，分析一个最小化问题并构建数学模型；

步骤2，搭建DRCNN去噪模型的产生模块（Generation Module，GM）和细节保持模块（Detail Retention Module，DRM）；

步骤3，利用GM学习图像的噪声，并与噪声图像减相减获得中间特征图（Intermediate Feature Maps，IFM）；

步骤4，利用DRM学习IFM所损失的细节信息，并与IFM相加获得去噪后的图像；

步骤5，将实验结果与目前先进的图像去噪方法作比较分析。

本文利用GM分离出噪声得到IFM，再利用DRM学习IFM所损失的细节信息，并与IFM相结合，形成产生-保持（Generation Retention，GR）模式，即DRCNN去噪模型。该模型不但能有效保持图像细节信息，表现出突出的视觉效果，同时还具有很强的泛化能力，可扩展到超声和激光图像等真实图像去噪任务中。

附图说明

图1为本发明的DRCNN网络结构图。

图2为本发明和DnCNN_S对Set12数据集中的部分图像的去噪效果对比。

图3为本发明和CDnCNN_B对彩色图像的去噪效果对比。

图4为本发明和DnCNN_B对超声图像和激光图像的去噪效果对比。

具体实施方式

以下将对本发明的基于DRCNN的细节保持图像去噪方法结合实例和附图作进一步的详细描述。

步骤1，分析一个最小化问题并构建数学模型。本发明的核心是对丢失的图像细节特征进行学习与预测，先从一个最小化问题出发，从理论上分析出细节缺失的原因，再推导出如何重新学习到这部分缺失的细节信息的数学模型。

由于噪声图像服从一个退化模型y=x+v，其中，y为噪声图像，x为干净图像，v是标准差为σ的加性高斯白噪声（Additive White Gaussian Noise，AWGN），DnCNN通过前馈CNN将噪声与噪声图像分离获得了良好的去噪性能。不同于直接预测干净图像的方法，DnCNN以噪声图像y作为网络输入，再采用残差学习策略去训练一个残差映射，最终获得去噪后的图像/>。实际上，R(y)中不可能包含全部的噪声，而是绝大部分AWGN和部分图像细节信息，因此图/>中不可避免的丢失了细节信息。本发明定义残差噪声特征图为n，图像细节信息为D，n中包含的绝大部分AWGN（/>）以及预测出的图像细节信息为 />，即：n= +/>，n、/>以及/>都是y的映射。学习的目的是：

(1)

因此学习时应解决一个最小化问题：

(2)

式(2)中是代价函数，θ表示需要学习的参数，N是学习时噪声图像的数量，对任意一张输入噪声图像y _i，D、/>和n变成/>、/>和/>， x _i是干净图像，v是AWGN， ||e||²表示求向量e的所有元素的平方和。

由于残差学习的优越性，学习到的噪声非常接近v，本文视，可以得到：

(3)

代入式（2）中，代价函数变成：

(4)

同时将v=y _i -x _i带入得：

(5)

式(5)中包括n和两种映射。

步骤2，搭建本发明所提出的GM和DRM。根据步骤1所建立的数学模型，可设计出DRCNN网络结构图，如图1所示。该网络共有30层滤波器大小为3×3、步长为1的卷积层，其输入为噪声图像y，输出为：

(6)

式(6)中，y表示一张输入噪声图像，n和变成/>和/>，n和/>这两种映射为CNN中不同深度的特征图映射，y-n(y;θ)为中间特征图（IFM）。因此，DRCNN应具有两个功能模块：用于生成IFM的产生模块（GM）和用于图像细节保持的细节保持模块（DRM）。

（1）搭建本发明所提出的GM：GM包含1到d ₀+1的卷积层，第d ₀+1层卷积层的通道数为c，c的值与输入噪声图像的通道数相同，其余卷积层的输出通道数均为64。本发明设定参数d ₀=19。

（2）搭建本发明所提出的DRM：DRM包含d ₁到30的卷积层，第30层卷积层的通道数为c，其中，d ₁ =d ₀ +2。

DRCNN的网络结构设计得很巧妙：

（1）DRCNN是端对端的网络，易于复现和理解。

（2）DRCNN参数数量为0.967百万，相比较VGG16、AlexNet、GoogleNet、InceptionV3以及MobileNet的参数量呈数量级减少，且空间复杂度低，具有很好的泛化能力。

（3）DRCNN的网络结构中没有批量归一化（Batch Normalization，BN）层。因为图像去噪更着重于图像内容的处理，BN算法同样会归一化噪声，不利于去噪，同时BN层消除了网络的灵活性，并且会占用更多的GPU内存资源。

步骤3，利用GM学习出图像的噪声，并将噪声从噪声图像中分离获得IFM。由于引入残差映射的深层网络更容易被优化且残差也更容易学习，同时，在图像去噪领域中，噪声图像中图像信号部分比噪声部分更接近于干净图像。因此，通过学习噪声图像和干净图像之间的残差来预测噪声是非常合适的。本发明以512×512大小的噪声图像y作为输入，再通过残差学习策略学习到噪声特征图n(y;θ)，最后将噪声特征图n(y;θ)从噪声图像y中分离获得IFM。

步骤4，利用DRM学习IFM在GM中所损失的细节信息，并与IFM相加获得去噪后的图像。将步骤3获得的IFM继续送入DRM，再以预测图像与真实图像之间的均方误差作为损失函数学习到IFM在GM中所损失的细节信息，最后将所学习到的细节信息与IFM相结合得到去噪后的图像/>。这样整个网络形成了一种新的产生-保持（GR）模式，即DRCNN去噪模型，使得整个去噪过程兼顾去噪性能和细节信息的保持。

步骤5，将实验结果与目前先进的图像去噪方法作比较分析。由于DnCNN是目前较先进且出色的图像去噪方法，将本发明与DnCNN的各种模型进行对比。

针对固定噪声水平的高斯去噪，在噪声水平σ= 25下训练DRCNN，并将训练后的参数模型命名为DRCNN_S_25；针对盲目高斯去噪，首先将噪声水平σ设置为[0,50]范围内的随机值，然后训练DRCNN，并将训练后的参数模型命名为DRCNN_B。除了完成灰度图像的去噪任务，还针对432张BSD彩色图像训练了一个去噪模型，将剩余的68张彩色图像作为测试集，该参数模型被命名为DRCNN_C_B。

测试是在GPU GTX1080上进行的，输入图片均为512×512的大小。图2是DRCNN_S_25 和DnCNN_S（σ= 25下训练的DnCNN）对Set12数据集中的部分图像的去噪效果对比图。框内为图像局部放大图。显然，DRCNN不存在模糊和伪影现象（如第一排中女性的脸部边缘），且可以恢复出更尖锐的边缘和更精细的纹理（如第二排中蝴蝶的翅膀）。特别地，DRCNN_S_25 在光滑的区域也能产生很自然的视觉效果（如第三排中鸟的羽毛）。由此可见，本方法在图像的视觉效果方面具有显著优势。

图3是针对BSD68彩色版本的图像的去噪效果对比图。图中对比了当噪声水平σ=35和σ=45时，DRCNN_C_B和CDnCNN_B（盲目高斯去噪）之间的视觉效果以及PSNR结果。DRCNN_C_B不仅恢复出了色彩更自然的图像（如斑马的斑纹），而且获得了更清晰的边缘纹理（如两个石像的中间部分）。

图4是DRCNN_B和DnCNN_B对超声图像和激光图像的去噪效果对比图。DnCNN_B的去噪效果更加模糊（如第一排所示）且容易出现锯齿状（如第二排所示）。然而DRCNN_B可在保持图像细节信息的同时实现更良好的视觉效果。由此可见，DRCNN不仅可以完成固定或盲目噪声水平的高斯去噪，还可以处理真实图像去噪，并且表现出具有竞争力的优势，表明DRCNN具有较强的泛化能力。

表1是不同方法在BSD68数据集上的平均峰值信噪比（Peak Signal to NoiseRatio，PSNR）结果对比。显然，DRCNN_S_σ和DRCNN_B参数模型获得最高的平均PSNR值。也就是说，无论针对固定噪声水平还是盲目高斯噪声，DRCNN均可获得比DnCNN以及其他几个经典方法更高的平均PSNR值。

表2是不同方法在Set12数据集上的平均PSNR结果对比。显然，对于固定噪声水平的高斯去噪，DRCNN_S_σ参数模型在每个噪声水平下对于每一张图片都具有最高的PSNR。此外，DRCNN_S_σ超过基于NSS的经典方法BM3D 平均PSNR 0.508~0.568dB，也超过基于残差学习的DnCNN_S方法平均PSNR 0.021dB~0.112dB，实验结过表明DRCNN_S_σ具有先进性和实用性。

Claims

1.一种细节保持图像去噪方法，包含以下五个步骤：

步骤1，分析一个最小化问题并构建去噪数学模型；

步骤2，搭建细节保持卷积神经网络DRCNN的产生模块GM和细节保持模块DRM：

步骤3，利用GM学习图像的噪声，并与噪声图像减相减获得中间特征图IFM；

步骤5，将实验结果与目前先进的图像去噪方法作比较分析；

其中，DRCNN网络共有30层滤波器大小为3×3、步长为1的卷积层，其输入为噪声图像y，输出为：

Y-y-n(y；θ)+D'(y；θ)

n和D’为噪声图像y在CNN中两种不同深度的特征图映射，y-n(y_i；θ)为中间特征图IFM；

GM包含1到d₀+1的卷积层，第d₀+1层卷积层的通道数为c，c的值与输入噪声图像的通道数相同，其余卷积层的输出通道数均为64；

DRM包含d₁到30的卷积层，第30层卷积层的通道数为c，其中，d₁＝d₀+2。

2.根据权利要求1所述的方法，其特征在于，步骤1从一个最小化问题出发，从理论上分析出细节缺失的原因，再推导出如何重新学习到这部分缺失的细节信息的数学模型：

l(θ)是代价函数，θ表示需要学习的参数，N是学习时噪声图像的数量，y_i是任意一张输入噪声图像，x_i是干净图像，n(y_i；θ)和D’(y_i；θ)是残差噪声特征图和预测出的图像细节信息，||e||²表示求向量e的所有元素的平方和，包括n和D’两种映射。

3.根据权利要求1所述的方法，其特征在于，步骤2根据步骤1推导出来的数学模型设计DRCNN网络结构中的GM和DRM，由于批量归一化BN层会归一化噪声且消除网络灵活性，为了获得更好的去噪效果，移除了BN层。

4.根据权利要求1所述的方法，其特征在于，步骤3利用GM学习图像的噪声，并与噪声图像减相减获得中间特征图IFM，步骤4利用DRM学习IFM所损失的细节信息，并与IFM相加获得去噪后的图像，这样整个网络形成了一种产生-保持GR模式，即DRCNN去噪模型，该模型不但能有效保持图像细节信息，表现出突出的视觉效果，同时还具有很强的泛化能力，可扩展到超声和激光图像的真实图像去噪任务中。