CN110197183A

CN110197183A - 一种图像盲去噪的方法、装置和计算机设备

Info

Publication number: CN110197183A
Application number: CN201910309673.8A
Authority: CN
Inventors: 侯贤旭; 罗鸿铭; 刘博智; 邱国平
Original assignee: Shenzhen University
Current assignee: Shenzhen University
Priority date: 2019-04-17
Filing date: 2019-04-17
Publication date: 2019-09-03
Anticipated expiration: 2039-04-17
Also published as: CN110197183B

Abstract

本申请涉及一种图像盲去噪的方法、装置和计算机设备，所述图像盲去噪的方法包括：将噪声级别不同的噪声图像输入神经网络，得到图像特征集；使用所述图像特征集对神经网络进行多次迭代训练，得到训练后的神经网络；将任意一张待去噪的噪声图像输入训练后的神经网络，得到去噪后的结果图。本发明通过对不同级别噪声图像的对抗学习，将不同的噪声图像映射到相似的特征空间中，实现同一模型能处理不同噪声级别的图像，以提高去噪算法的鲁棒性和普适性，使图像盲去噪的使用范围更广、去噪效果更好。

Description

一种图像盲去噪的方法、装置和计算机设备

技术领域

本申请涉及图像处理技术领域，特别是涉及一种图像盲去噪的方法、装置和计算机设备。

背景技术

随着图像处理、计算机视觉及深度学习等领域的高速发展，图像去噪的研究也取得了许多影响深远的成果。基于机器学习的图像去噪方法是近年来研究的热点，可以在一定程度上克服基于统计模型方法的各种缺陷，这类方法的目标是使用噪声和清晰图像配对的训练数据集进行训练来学习潜在的噪声模型，目前的方法需要针对不同噪声级别来训练不同的去噪模型，即一套模型只能用于一种噪声级别的图像去噪，要处理多种噪声级别的图像则需要训练多套网络模型，不具有普适性，不便于真实噪声图像去噪。

因此，现有技术有待改进。

发明内容

基于此，有必要针对现有技术一套模型只能对特定类别和级别的噪声进行处理的缺陷，提供一种实现对未知级别噪声图像进行盲去噪的方法，装置及计算机设备。

一种图像盲去噪的方法，所述方法包括：

将噪声级别不同的噪声图像输入神经网络，得到图像特征集；

使用所述图像特征集对神经网络进行多次迭代训练，得到训练后的神经网络；

将任意一张待去噪的噪声图像输入训练后的神经网络，得到去噪后的结果图。

可选的，所述神经网络包括：残差网络、卷积神经网络解码器和添加了梯度反转层的分类器网络。

可选的，所述将噪声级别不同的噪声图像输入神经网络，得到图像特征集的步骤包括：

将所述噪声级别不同的噪声图像输入到残差网络，通过残差网络提取与噪声级别不同的噪声图像相对应的不同的图像特征，由不同的图像特征组成图像特征集。

可选的，所述使用所述图像特征集对神经网络进行多次迭代训练包括依次重复下述步骤：

将所述图像特征集输入到添加了梯度反转层的分类器网络，根据输出结果得到第一损失函数；

将所述图像特征集输入到卷积神经网络解码器，根据输出结果得到第二损失函数；

将所述第一损失函数反向传播修改残差网络的参数；

将所述第二损失函数反向传播修改残差网络和卷积神经网络解码器的参数。

可选的，所述将所述图像特征集输入到添加了梯度反转层的分类器网络，根据输出结果得到第一损失函数的步骤包括：

通过添加了梯度反转层的分类器网络，将图像特征集中的不同的图像特征映射到相似的特征空间中，从分类器网络的输出层得到第一损失函数；所述第一损失函数为不同级别噪声图像对抗学习的损失函数。

可选的，所述将所述图像特征集输入到卷积神经网络解码器，根据输出结果得到第二损失函数的步骤包括：

将所述图像特征集输入到卷积神经网络解码器得到去噪图像，根据去噪图像和真实图像计算出第二损失函数；所述第二损失函数为图像重构损失函数。

可选的，所述将任意一张待去噪的噪声图像输入训练后的神经网络，得到去噪后的结果图的步骤包括：

将任意一张待去噪的噪声图像输入训练后的残差网络，由所述训练后的残差网络提取待去噪的噪声图像的图像特征；

将所述待去噪的噪声图像的图像特征输入训练后的卷积神经网络解码器，得到去噪后的结果图。

一种图像盲去噪的装置，所述装置包括：

建立图像特征集模块，用于将噪声级别不同的噪声图像输入神经网络，得到图像特征集；

神经网络训练模块，用于使用所述图像特征集对神经网络进行多次迭代训练，得到训练后的神经网络；

盲去噪模块，用于将所述待去噪的噪声图像的图像特征输入训练后的卷积神经网络解码器，得到去噪后的结果图。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现以下步骤：

一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现以下步骤：

上述一种图像盲去噪的方法、装置和计算机设备，所述方法包括：将噪声级别不同的噪声图像输入神经网络，得到图像特征集；使用所述图像特征集对神经网络进行多次迭代训练，得到训练后的神经网络；将任意一张待去噪的噪声图像输入训练后的神经网络，得到去噪后的结果图。本方法通过对不同级别噪声图像的对抗学习，将不同的噪声图像映射到相似的特征空间中，实现同一模型能处理不同噪声级别的图像，以提高去噪算法的鲁棒性和普适性，使图像盲去噪的使用范围更广、去噪效果更好。

附图说明

图1为本发明提供的一种图像盲去噪的方法的步骤流程图；

图2为一个实施例中噪声级别不同的噪声图像输入神经网络的原理示意图；

图3为一个实施例中神经网络迭代训练整体步骤流程图；

图4为本发明提供的一种图像盲去噪的装置的结构框图；

图5为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

请参阅图1，一种图像盲去噪的方法，所述方法包括：

S1、将噪声级别不同的噪声图像输入神经网络，得到图像特征集；

具体的，所述神经网络包括：残差网络、卷积神经网络解码器和添加了梯度反转层的分类器网络。

具体的，所述将噪声级别不同的噪声图像输入神经网络，得到图像特征集的步骤包括：

采用具有跳连结构的残差网络（ResNet）来提取图像特征，残差网络是在网络中增加了直连通道，保留了网络层中一定比例的输出，原始输入信息直接传到后面的层中，这一层不用学习整个输出，而是学习上一个网络输出的残差，通过残差网络可以极大的加快神经网络的训练，提高模型的准确率且具有很好的推广性。

提取图像特征是使用卷积核进行卷积，得到与卷积核矩阵相同的矩阵，一个图像的矩阵经过卷积核的卷积操作后得到另一个矩阵，这个矩阵叫做特征映射，每个卷积核都可以提取特定的特征，不同的卷积核提取不同的特征，在内积结果上取每一局部块的最大值即最大池化层的操作，通过卷积层和池化层实现了图像的特征提取，特征的提取是从原始数据映射到一个更高维的空间。

通过残差网络（ResNet）来提取噪声级别不同的图像的特征，由于输入图像的噪声级别不同，会得到不同的图像特征，由不同的图像特征组成图像特征集；例如，输入10种噪声级别不同的噪声图像，会相应得到10个不同的图像特征，由10个不同的图像特征组成图像特征集。噪声级别的数量可以根据用户的需要来实际选取，为了保证去噪的质量，可以设置噪声级别的数量阈值为20。

S2、使用所述图像特征集对神经网络进行多次迭代训练，得到训练后的神经网络；请参阅图2和图3；

具体的，所述使用所述图像特征集对神经网络进行多次迭代训练包括依次重复下述步骤：

将所述第一损失函数反向传播修改残差网络的参数；

具体的，所述将所述图像特征集输入到添加了梯度反转层的分类器网络，根据输出结果得到第一损失函数的步骤包括：

通过添加了梯度反转层的分类器网络，将图像特征集中的不同的图像特征映射到相似的特征空间中，从分类器网络的输出层得到第一损失函数，所述第一损失函数为不同级别噪声图像对抗学习的损失函数。

具体的，所述将所述图像特征集输入到卷积神经网络解码器，根据输出结果得到第二损失函数的步骤包括：

将所述图像特征集输入到卷积神经网络解码器得到去噪图像，根据去噪图像和真实图像计算出第二损失函数，所述第二损失函数为图像重构损失函数。

将不同的图像特征输入到梯度反转层，将不同级别的噪声图像映射到一个相似的特征空间中，从而实现同一模型能处理不同噪声级别的图像，并提高去噪算法的鲁棒性和普适性，从分类器网络的输出层得到不同级别噪声图像对抗学习的损失函数。

将不同的图像特征输入到卷积神经网络解码器，得到去噪图像，得到的去噪图像的张数与输入残差网络的噪声级别不同的噪声图像的张数相等，且得到的多张去噪图像相同，将得到的多张去噪图像分别与真实图像进行对比，计算出图像重构损失函数。

在一个实施例中，从10种噪声级别不同的噪声图像中提取了10个不同的图像特征，即有10个不同的特征空间，现有的分类器网络可以辨别不同级别的噪声图像特征，本发明在分类器中添加梯度反转层。梯度反转层是一个无参数层，在神经网络前向传播时，对输入不做任何处理，将前一层的结果作为后一层的输入；在神经网络反向传播时，从后面一层获取梯度，将其乘以-1并将其传递到前一层，从而实现梯度反转。

梯度反转层将10个不同的特征空间映射到相似的特征空间，使得分类器无法辨别相似特征空间中的图像特征在分类器网络的输出层得到不同级别噪声图像对抗学习的损失函数，将不同级别噪声图像对抗学习的损失函数反向传播修改残差网络的参数，通过上述操作完成了对残差网络的一次训练。

10个不同的图像特征输入到卷积神经网络解码器，得到10张相同的去噪图像，对去噪图像与真实图像进行计算，得到图像重构损失函数，将图像重构损失函数反向传播修改残差网络和卷积神经网络解码器的参数，通过上述操作完成了对残差网络和卷积神经网络解码器的一次训练。

在上述实施例中，完成了对神经网络的一次训练，可选的，设定总迭代训练次数为100,000次，在迭代过程中，学习率将逐渐减小，训练结束时学习率将衰减为0，在训练过程中，生成的去噪图像会越来越接近真实图像；经过多次迭代训练后得到训练后的残差网络和训练后的卷积神经网络解码器，训练后的神经网络可以实现同一模型能处理不同噪声级别的图像，可以增大信噪比，有效提高图像质量。

S3、将任意一张待去噪的噪声图像输入训练后的神经网络，得到去噪后的结果图。

具体的，所述将任意一张待去噪的噪声图像输入训练后的神经网络，得到去噪后的结果图的步骤包括：

通过步骤S2完成对神经网络的训练后，此套模型即可供用户处理不同噪声级别的噪声图像，用户选取任意一张待去噪的噪声图像进行处理，得到的去噪后的结果图可以很好的体现原来图像所携带的信息。

基于上述的一种图像盲去噪的方法，本发明还提供了一种图像盲去噪的装置，请参阅图4，所述装置包括：

建立图像特征集模块10，用于将噪声级别不同的噪声图像输入神经网络，得到图像特征集；

神经网络训练模块20，用于使用所述图像特征集对神经网络进行多次迭代训练，得到训练后的神经网络；

盲去噪模块30，用于将任意一张待去噪的噪声图像输入训练后的神经网络，得到去噪后的结果图。

关于图像盲去噪的装置的具体限定可以参见上文中对于一种图像盲去噪的方法的限定，在此不再赘述。上述一种图像盲去噪的装置中的各个模块可全部通过软件、硬件及其组合来实现。上述各模块可以以硬件形式内嵌于或独立于计算机设备的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行各个模块对应的操作。

在一个实施例中，本发明提供了一种计算机设备，该设备可以是终端，内部结构如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种非均匀纹理的处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图5所示的仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现以下步骤：

在一个实施例中，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现以下步骤：

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

本发明通过对不同级别噪声图像的对抗学习，将不同的噪声图像映射到相似的特征空间中，实现同一模型能处理不同噪声级别的图像，以提高去噪算法的鲁棒性和普适性，是使用范围更广、去噪效果更好的图像盲去噪的方法。

Claims

1.一种图像盲去噪的方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述神经网络包括：残差网络、卷积神经网络解码器和添加了梯度反转层的分类器网络。

3.根据权利要求2所述的方法，其特征在于，所述将噪声级别不同的噪声图像输入神经网络，得到图像特征集的步骤包括：

4.根据权利要求2所述的方法，其特征在于，所述使用所述图像特征集对神经网络进行多次迭代训练包括依次重复下述步骤：

将所述第一损失函数反向传播修改残差网络的参数；

5.根据权利要求4所述的方法，其特征在于，所述将所述图像特征集输入到添加了梯度反转层的分类器网络，根据输出结果得到第一损失函数的步骤包括：

6.根据权利要求4所述的方法，其特征在于，所述将所述图像特征集输入到卷积神经网络解码器，根据输出结果得到第二损失函数的步骤包括：

7.根据权利要求2所述的方法，其特征在于，所述将任意一张待去噪的噪声图像输入训练后的神经网络，得到去噪后的结果图的步骤包括：

8.一种图像盲去噪的装置，其特征在于，所述装置包括：

盲去噪模块，用于将任意一张待去噪的噪声图像输入训练后的神经网络，得到去噪后的结果图。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。