CN113888405A - 基于分簇自适应膨胀卷积神经网络的去噪去马赛克方法 - Google Patents

Abstract

本发明涉及一种基于分簇自适应膨胀卷积神经网络的去噪去马赛克方法，包括：获取待处理的噪声马赛克图像；将待处理的噪声马赛克图像输入至预先训练完成的分簇自适应膨胀卷积神经网络，得到去噪去马赛克的图像；其中，分簇自适应膨胀卷积神经网络是基于训练图像集训练获得的；分簇自适应膨胀卷积神经网络包括依次连接的第一输入卷积模块、第一分簇自适应膨胀卷积模块、第一输出卷积模块、第二输入卷积模块、第二分簇自适应膨胀卷积模块和第二输出卷积模块。本发明的方法去噪去马赛克后的图像保留了图像中更多的细节信息和边缘轮廓信息。

Description

基于分簇自适应膨胀卷积神经网络的去噪去马赛克方法

技术领域

本发明属于数字图像处理技术领域，具体涉及一种基于分簇自适应膨胀卷积神经网络的去噪去马赛克方法。

背景技术

在目前的相机成像系统中，由于像素传感器的制造工艺限制以及成像过程中外在的干扰，导致图像受到噪声的干扰，严重破坏了图像的细节信息，不利于后续有关图像的相关处理，因而去噪是十分必要的。另一方面，考虑到相机成像成本，大多数现代数码相机使用单个覆上滤色阵列的感光元件来取得影像，这种滤色阵列一般采用Bayer模式，这样产生的图像是一种单通道的马赛克图像，因此成像阶段还需要进行去马赛克处理，以将图像重建成契合视觉效果的三通道格式。

目前图像去噪去马赛克方法主要是将三维块匹配滤波方法(Block- matchingand 3D Filtering，BM3D)和基于梯度的无阈值彩色滤波器阵列插值方法(GRADIENT BASEDTHRESHOLD FREE COLOR FILTER ARRAY INTERPOLATION，GBTF)相结合进行去噪去马赛克，以及使用基于深度学习的Demosaicnet方法对图像进行处理。

但是，在对一些尺寸较大的图像进行处理时，上述两种方法的运算量大，时间复杂度高，运算速度慢，导致运算时间较长。其次，对于一些噪声较强且纹理信息较多的图像，使用上述两种方法进行处理时，会导致图像过于平滑，使图像损失较多的纹理细节信息，从而不利于后续颜色通道的重建，对去马赛克过程产生不利影响。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种基于分簇自适应膨胀卷积神经网络的去噪去马赛克方法。本发明要解决的技术问题通过以下技术方案实现：

本发明提供了一种基于分簇自适应膨胀卷积神经网络的去噪去马赛克方法，包括：

获取待处理的噪声马赛克图像；

将所述待处理的噪声马赛克图像输入至预先训练完成的分簇自适应膨胀卷积神经网络，得到去噪去马赛克的图像；

其中，所述分簇自适应膨胀卷积神经网络是基于训练图像集训练获得的；所述分簇自适应膨胀卷积神经网络包括依次连接的第一输入卷积模块、第一分簇自适应膨胀卷积模块、第一输出卷积模块、第二输入卷积模块、第二分簇自适应膨胀卷积模块和第二输出卷积模块。

在本发明的一个实施例中，将所述待处理的噪声马赛克图像输入至预先训练完成的分簇自适应膨胀卷积神经网络，得到去噪去马赛克的图像，之前还包括：

对所述待处理的噪声马赛克图像进行预处理，将所述待处理的噪声马赛克图像转换为红绿蓝三通道图像。

在本发明的一个实施例中，所述第一输入卷积模块、所述第一分簇自适应膨胀卷积模块和所述第一输出卷积模块组成第一卷积部M_A，所述第二输入卷积模块、所述第二分簇自适应膨胀卷积模块和所述第二输出卷积模块组成第二卷积部M_B，其中，

式中，∪表示拼接操作，I表示第一卷积部M_A的输入图像，E表示第一卷积部M_A的输出图像，F表示第二卷积部M_B的输入图像，OUT表示第二卷积部M_B的输出图像，E_G表示图像E的绿色通道的像素值，I_R表示图像I 的红色通道的像素值，I_B表示图像I的蓝色通道的像素值，图像F是将图像 E的绿色通道的像素值、图像I的红色通道的像素值和图像I的蓝色通道的像素值拼接形成。

在本发明的一个实施例中，所述第一分簇自适应膨胀卷积模块和所述第二分簇自适应膨胀卷积模块均包括若干依次连接的分簇自适应膨胀卷积层，所述分簇自适应膨胀卷积层用于执行以下操作：

对所述分簇自适应膨胀卷积层的输入f_l的特征层，进行划分得到若干个特征簇；

对输入f_l的每个特征簇进行空间平均化特征提取，得到空域平均特征集群p_l；

根据所述空域平均特征集群p_l，得到膨胀因子集群d_l；

根据所述膨胀因子集群d_l，对输入f_l进行分簇自适应膨胀卷积，得到分簇自适应膨胀卷积结果f_l+1。

在本发明的一个实施例中，所述空域平均特征集群p_l表示为：

其中，Σ表示累加操作，∪表示拼接操作，l表示分簇自适应膨胀卷积层的层数，N表示特征簇个数，m＝1,2,3,…,N，f_m,l表示输入f_l的第m个特征簇，X表示f_m,l的像素坐标组成的集合，x表示f_m,l的像素坐标，R表示f_m,l的像素坐标组成的集合中元素坐标的数目，f_m,l(x)表示坐标x对应的像素值。

在本发明的一个实施例中，所述膨胀因子集群d_l表示为：

其中，∪表示拼接操作，N表示特征簇个数，m＝1,2,3,…,N，l表示分簇自适应膨胀卷积层的层数，W_m,l表示该分簇自适应膨胀卷积层的第一卷积核权重W_l的第m组权重，

表示卷积操作，p_m,l表示第m个特征簇的空域平均特征。

在本发明的一个实施例中，根据所述膨胀因子集群d_l，对输入f_l进行分簇自适应膨胀卷积，得到分簇自适应膨胀卷积结果f_l+1，包括：

根据所述膨胀因子集群d_l，对输入f_l的每一特征簇中的特征层均使用该特征簇对应的膨胀因子进行分簇自适应膨胀卷积，得到分簇自适应膨胀卷积结果f_l+1，其中，分簇自适应膨胀卷积结果f_l+1表示为：

其中，Σ表示累加操作，∪表示拼接操作，*表示点对点相乘，N表示特征簇个数，m＝1,2,3,…,N，Z表示卷积核采样坐标集合，z表示卷积核采样坐标，l表示分簇自适应膨胀卷积层的层数，K_m,l表示该分簇自适应膨胀卷积层的第二卷积核权重K_l中的第m组权重，f_m,l表示输入f_l中的第m个特征簇，X表示f_m,l的像素坐标组成的集合，d_m,l表示第m个特征簇的膨胀因子。

在本发明的一个实施例中，所述分簇自适应膨胀卷积神经网络的训练方法包括：

获取训练图像集，所述训练图像集包括若干噪声马赛克图像及其对应的去噪声马赛克图像；

初始化所述分簇自适应膨胀卷积神经网络的每一层分簇自适应膨胀卷积层的第一卷积核权重W_l和第二卷积核权重K_l；

将所述训练图像集输入所述初始化的分簇自适应膨胀卷积神经网络中进行训练，并计算损失函数；

根据所述损失函数对所述分簇自适应膨胀卷积神经网络的每一层分簇自适应膨胀卷积层的第一卷积核权重W_l和第二卷积核权重K_l进行优化更新。

在本发明的一个实施例中，所述损失函数为：

其中，

代表二范数，D_ground表示训练图像集中的去噪声马赛克图像，D_ground(g)为训练图像集中的去噪声马赛克图像的绿色通道的像素值。

与现有技术相比，本发明的有益效果在于：

1.本发明的基于分簇自适应膨胀卷积神经网络的去噪去马赛克方法，通过搭建分簇自适应膨胀卷积神经网络并进行训练，利用训练完成的分簇自适应膨胀卷积神经网络得到去噪去马赛克的图像，该分簇自适应膨胀卷积神经网络以分簇自适应膨胀卷积模块作为基本模块，结合激活函数模块和常规卷积模块搭建而成，分簇自适应膨胀卷积模块会对输入张量的每个特征簇自适应地训练出一个膨胀因子，在进行卷积的时候，使用每簇对应的膨胀因子，将卷积核的采样坐标进行扩展膨胀，得益于该卷积结构自适应训练出的膨胀因子，在通过卷积提取图层特征信息的时候，无论图片中的是大物体还是小物体，该卷积结构都能够提取出较好的特征信息，从而能够在去除图像噪声的同时，尽可能地保留图像地纹理细节信息和边缘轮廓信息，并防止图像平滑过渡，避免了对后续的去马赛克处理产生的不利影响，进而能够更好的将单通道的Bayer马赛克图像重建成契合人类视觉效果的3通道图像。

2.本发明的基于分簇自适应膨胀卷积神经网络的去噪去马赛克方法，在分簇自适应膨胀卷积神经网络的训练过程中，由于同一个特征簇内的所有特征层都共享同一个膨胀因子，相比于常规卷积和常规可变膨胀卷积，这种共享膨胀因子的方法能大大地减少训练过程中的训练的参数量，满足参数优化要求的同时能达到轻量化的目的，为硬件的实现创造了必要条件。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。

附图说明

图1是本发明实施例提供的一种基于分簇自适应膨胀卷积神经网络的去噪去马赛克方法的流程示意图；

图2是本发明实施例提供的分簇自适应膨胀卷积神经网络的结构示意图；

图3a-3d是本发明实施例提供的仿真实验结果图。

具体实施方式

为了进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及具体实施方式，对依据本发明提出的一种基于分簇自适应膨胀卷积神经网络的去噪去马赛克方法进行详细说明。

有关本发明的前述及其他技术内容、特点及功效，在以下配合附图的具体实施方式详细说明中即可清楚地呈现。通过具体实施方式的说明，可对本发明为达成预定目的所采取的技术手段及功效进行更加深入且具体地了解，然而所附附图仅是提供参考与说明之用，并非用来对本发明的技术方案加以限制。

实施例一

请参见图1，图1是本发明实施例提供的一种基于分簇自适应膨胀卷积神经网络的去噪去马赛克方法的流程示意图，如图所示，本实施例的基于分簇自适应膨胀卷积神经网络的去噪去马赛克方法的流程示意图，包括：

步骤1：获取待处理的噪声马赛克图像；

步骤2：将待处理的噪声马赛克图像输入至预先训练完成的分簇自适应膨胀卷积神经网络，得到去噪去马赛克的图像。

由于大多数现代数码相机使用单个覆上滤色阵列的感光元件来取得影像，这种滤色阵列一般采用Bayer模式，这样产生的噪声马赛克图像是一种单通道的图像。

因此，需要说明的是，在步骤2之前还包括：对待处理的噪声马赛克图像进行预处理，将待处理的噪声马赛克图像转换为红绿蓝三通道图像，也就是从待处理的噪声马赛克图像中抽离红色位置、绿色位置和蓝色位置的像素值，然后重组成和原图尺寸一样的三通道的图像。

在本实施例中，分簇自适应膨胀卷积神经网络是基于训练图像集训练获得的。

请参见图2，图2是本发明实施例提供的分簇自适应膨胀卷积神经网络的结构示意图，如图所示，本实施例的分簇自适应膨胀卷积神经网络包括依次连接的第一输入卷积模块、第一分簇自适应膨胀卷积模块、第一输出卷积模块、第二输入卷积模块、第二分簇自适应膨胀卷积模块和第二输出卷积模块。

具体地，在本实施例中，第一输入卷积模块、第一分簇自适应膨胀卷积模块和第一输出卷积模块组成第一卷积部M_A，第二输入卷积模块、第二分簇自适应膨胀卷积模块和第二输出卷积模块组成第二卷积部M_B。

其中，

式中，∪表示拼接操作，I表示第一卷积部M_A的输入图像，E表示第一卷积部M_A的输出图像，F表示第二卷积部M_B的输入图像，OUT表示第二卷积部M_B的输出图像，E_G表示图像E的绿色通道的像素值，I_R表示图像I 的红色通道的像素值，I_B表示图像I的蓝色通道的像素值。具体地，图像F 是将图像E的绿色通道的像素值、图像I的红色通道的像素值和图像I的蓝色通道的像素值拼接形成。

在本实施例中，图像I和图像OUT均为三通道(红色通道、绿色通道和蓝色通道)图像。

在本实施例中，第一输入卷积模块、第一输出卷积模块、第二输入卷积模块和第二输出卷积模块均是由一层常规卷积模块搭建而成的。在本实施例中，第一输入卷积模块和第二输入卷积模块均用于将H*W*3的三通道图像转换为H*W*C的张量，第一输出卷积模块和第二输出卷积模块均用于将输入的H*W*C的张量转换为H*W*3的三通道图像，在本实施例中，C取值为32，在其他实施例中，C可以根据实际情况进行调整，具体数值在此不做限制。

进一步地，在本实施例中，第一分簇自适应膨胀卷积模块和第二分簇自适应膨胀卷积模块均包括若干依次连接的分簇自适应膨胀卷积层，分簇自适应膨胀卷积层用于执行以下操作：

对分簇自适应膨胀卷积层的输入f_l的特征层，进行划分得到若干个特征簇；

在本实施例中，f_l表示第l层分簇自适应膨胀卷积层的输入，l表示分簇自适应膨胀卷积层的层数。

对输入f_l的每个特征簇进行空间平均化特征提取，得到空域平均特征集群p_l；

在本实施例中，空域平均特征集群p_l是输入f_l的每个特征簇的空域平均特征的集合。

根据空域平均特征集群p_l，得到膨胀因子集群d_l；

根据膨胀因子集群d_l，对输入f_l进行分簇自适应膨胀卷积，得到分簇自适应膨胀卷积结果f_l+1。

在本实施例中，可选地，第一分簇自适应膨胀卷积模块和第二分簇自适应膨胀卷积模块均包括3层依次连接的分簇自适应膨胀卷积层。

进一步地，对本实施例的分簇自适应膨胀卷积层的搭建过程进行详细说明如下：

首先，搭建膨胀因子产生单元，设分簇自适应膨胀卷积层的输入为f_l，其中f_l有C个特征层，将C个特征层划分为N个特征簇，其中，1≤N≤C，在f_l的每个特征簇上进行空间平均化特征提取，得到空域平均特征集群p_l：

其中，Σ表示累加操作，∪表示拼接操作，l表示分簇自适应膨胀卷积层的层数，N表示特征簇个数，m＝1,2,3,…,N,f_m,l表示输入f_l的第m个特征簇，X表示f_m,l的像素坐标组成的集合，x表示f_m,l的像素坐标，R表示f_m,l的像素坐标组成的集合中元素坐标的数目，f_m,l(x)表示坐标x对应的像素值。

其次，将上述操作产生的空域平均特征集群p_l作为输入，设该分簇自适应膨胀卷积层的第一卷积核权重为W_l，产生膨胀因子d_l：

其中，∪表示拼接操作，N表示特征簇个数，m＝1,2,3,…,N，l为分簇自适应膨胀卷积层的层数，W_m,l表示该分簇自适应膨胀卷积层的第一卷积核权重W_l的第m组权重，

表示卷积操作，p_m,l表示第m个特征簇的空域平均特征。

最后，搭建参数共享化分簇自适应膨胀卷积单元，f_l有C个特征层，N个特征簇，那么，每个特征簇有

个特征层，对每一个特征簇中的

个特征层均使用该特征簇对应的膨胀因子进行分簇自适应膨胀卷积，即，同一个特征簇的所有特征层共享同一个膨胀因子，

即为膨胀因子共享率，需要说明的是，共享率可随特征簇个数N的设置而变化。设该分簇自适应膨胀卷积层的第二卷积核权重为K_l，那么，分簇自适应膨胀卷积结果f_l+1，也就是该分簇自适应膨胀卷积层的输出结果表示为：

其中，Σ表示累加操作，∪表示拼接操作，*表示点对点相乘，N表示特征簇个数，m＝1,2,3,…,N，Z表示卷积核采样坐标集合，例如，若卷积核的大小为3*3，那么，Z＝{(-1,-1),(-1,0),(-1,1),(0,-1),(0,0),(0,1),(1,-1),(1,0),(1,1)}； z表示卷积核采样坐标，l表示分簇自适应膨胀卷积层的层数，K_m,l表示该分簇自适应膨胀卷积层的的第二卷积核权重K_l中的第m组权重，f_m,l表示输入f_l中的第m个特征簇，X表示f_m,l的像素坐标组成的集合，d_m,l表示第m 个特征簇的膨胀因子。

在本实施例中，使用分簇自适应膨胀卷积层组成的分簇自适应膨胀卷积模块作为基本模块，结合激活函数模块和常规卷积模块搭建如图2所示的分簇自适应膨胀卷积神经网络，通过使用绿色通道引导插值的方法对该分簇自适应膨胀卷积神经网络进行训练。

进一步地，对本实施例的分簇自适应膨胀卷积神经网络的训练过程进行说明，具体地，该训练过程包括：

步骤a：获取训练图像集；

具体地，该训练图像集包括若干噪声马赛克图像及其对应的去噪声马赛克图像。

步骤b：初始化分簇自适应膨胀卷积神经网络的每一层分簇自适应膨胀卷积层的第一卷积核权重W_l和第二卷积核权重K_l；

需要说明的是的，在初始化的过程中，还需要对由常规卷积模块搭建的第一输入卷积模块、第一输出卷积模块、第二输入卷积模块和第二输出卷积模块的常规卷积核权重进行初始化。

步骤c：将训练图像集输入初始化的分簇自适应膨胀卷积神经网络中进行训练，并计算损失函数；

需要说明的是，在本实施例中，将训练图像集中的噪声马赛克图像输入初始化的初始卷积神经网络时，需要从噪声马赛克图像中抽离红色位置、绿色位置和蓝色位置的像素值，重组形成和原图尺寸一样的三通道的图像I，空余位置用0填充。

训练过程中，网络对输入的三通道的图像I执行如公式(1)的操作，即图像I输入第一卷积部M_A，第一卷积部M_A输出仅绿色通道插值完成的图像E，然后将图像E的绿色通道的像素值、图像I的红色通道的像素值和图像I的蓝色通道的像素值进行拼接，组成新的三通道图像F，将图像F 输入第二卷积部M_B，第二卷积部M_B输出图像OUT。

由于网络的输出有两个，第一个输出是第一卷积部M_A的输出图像 E，第二个输出是第二卷积部M_B的输出图像OUT，本实施例中使用绿色通道引导插值的方法来训练网络，在训练的过程中计算损失函数时需要分别为两个输出设置监督。具体地，在本实施例中，损失函数为：

其中，

代表二范数，D_ground表示训练图像集中的去噪声马赛克图像，D_ground(g)为训练图像集中的去噪声马赛克图像的绿色通道的像素值。

步骤d：根据损失函数对分簇自适应膨胀卷积神经网络各层的每一层分簇自适应膨胀卷积层的第一卷积核权重W_l和第二卷积核权重K_l进行优化更新。

可选地，利用已有的反向传播算法结合Adam优化方法将每一层分簇自适应膨胀卷积层的第一卷积核权重W_l和第二卷积核权重K_l朝向损失函数值最小的方向进行优化更新，最终得到优化后的每一层分簇自适应膨胀卷积层的第一卷积核权重

和第二卷积核权重

在本实施例中，通过将优化后的每一层分簇自适应膨胀卷积层的第一卷积核权重

和第二卷积核权重

加载至搭建的分簇自适应膨胀卷积神经网络中，以对待处理的噪声马赛克图像进行去噪去马赛克处理。

需要说明的是，在网络训练优化过程中，同时对常规卷积模块的常规卷积核权重进行更新优化，以获得优化后的常规卷积核权重，并将其加载至分簇自适应膨胀卷积神经网络中。

本实施例的基于分簇自适应膨胀卷积神经网络的去噪去马赛克方法，通过搭建分簇自适应膨胀卷积神经网络并进行训练，利用训练完成的分簇自适应膨胀卷积神经网络得到去噪去马赛克的图像，该分簇自适应膨胀卷积神经网络以分簇自适应膨胀卷积模块作为基本模块，结合激活函数模块和常规卷积模块搭建而成，分簇自适应膨胀卷积模块会对输入张量的每个特征簇自适应地训练出一个膨胀因子，在进行卷积的时候，使用每簇对应的膨胀因子，将卷积核的采样坐标进行扩展膨胀，得益于该卷积结构自适应训练出的膨胀因子，在通过卷积提取图层特征信息的时候，无论图片中的是大物体还是小物体，该卷积结构都能够提取出较好的特征信息，从而能够在去除图像噪声的同时，尽可能地保留图像地纹理细节信息和边缘轮廓信息，并防止图像平滑过渡，避免了对后续的去马赛克处理产生的不利影响，进而能够更好的将单通道的Bayer马赛克图像重建成契合人类视觉效果的3通道图像。

另外，本实施例的基于分簇自适应膨胀卷积神经网络的去噪去马赛克方法，在分簇自适应膨胀卷积神经网络的训练过程中，由于同一个特征簇内的所有特征层都共享同一个膨胀因子，相比于常规卷积和常规可变膨胀卷积，这种共享膨胀因子的方法能大大地减少训练过程中的训练的参数量，满足参数优化要求的同时能达到轻量化的目的，为硬件的实现创造了必要条件。

实施例二

本实施例通过仿真实验对实施例一的基于分簇自适应膨胀卷积神经网络的去噪去马赛克方法的效果进行了验证说明。

从测试图像集中选出3张图片，用作对比试验的验证集。分别使用传统的去噪方法三维块匹配滤波BM3D对图片进行降噪处理后，再通过GBTF 对图片进行去马赛克处理，使用基于深度学习的Demosaicnet方法对图片进行去噪去马赛克处理，使用本发明实施例一的方法对图片进行去噪去马赛克处理，实验结果见表1。

在本实施例中，使用峰值信噪比PSNR和结构相似度SSIM作为图像质量的评价指标。

表1对比测试结果的量化参数对比表

从表1可以看出，使用本发明实施例一的方法对图像进行去噪去马赛克处理后的图像的峰值信噪比PSNR明显高于使用BM3D去噪方法和 GBTF去马赛克方法的结果，同时也高于使用Demosaicnet方法的结果，说明经本发明实施例一的方法去噪去马赛克后的图像保留了图像中更多的细节信息。

使用本发明实施例一的方法对图像进行去噪去马赛克处理后的图像的结构相似性系数SSIM明显高于使用BM3D去噪方法和GBTF去马赛克方法的结果，同时也高于使用Demosaicnet方法的结果，说明经本发明实施例一的方法去噪去马赛克后的图像保留了图像中更多的结构信息。

从表1的结果可以充分说明，使用本发明的基于分簇自适应膨胀卷积神经网络的去噪去马赛克方法对图像进行去噪去马赛克处理的效果更好，既保留了原始场景更多的细节信息，还具有更好的结构保持特性。

请参见图3a-3d，图3a-3d是本发明实施例提供的仿真实验结果图，其中，图3a是是带有真实噪声的马赛克图像，图3b是使用BM3D方法和 GBTF方法去噪去马赛克后的图像，图3c是使用Demosaicnet方法去噪去马赛克后的图像，图3d是使用本发明实施例一的方法去噪去马赛克后的图像。

图3a为单通道的灰度图像，从图中可以看出噪声较多，马赛克严重；图3b为三通道的彩色图像，从图中可以看出噪声的去除效果不够，仍有较多噪声残留，影响视觉观感；图3c为三通道的彩色图像，从图中可以看出噪声的去除效果有明显提升，但平滑程度较高，导致图像的一些纹理细节丢失严重；图3d为三通道的彩色图像，从图中可以看出噪声明显去除，且纹理细节信息保存良好。

基于同一发明构思，本发明实施例还提供了一种计算机可读存储介质。在该计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时，实现上述任一种基于分簇自适应膨胀卷积神经网络的去噪去马赛克方法所述的方法步骤，或者，实现上述任一种分簇自适应膨胀卷积神经网络所实现的功能。

可选地，该计算机可读存储介质可以为非易失性存储器(Non-Volatile Memory，NVM)，例如为至少一个磁盘存储器。

可选的，所述计算机可读存储器还可以是至少一个位于远离前述处理器的存储装置。

在本发明的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一种基于分簇自适应膨胀卷积神经网络的去噪去马赛克方法所述的方法步骤，或者，实现上述任一种分簇自适应膨胀卷积神经网络的功能。

对于电子设备/存储介质/计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

应当说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (9)

1.一种基于分簇自适应膨胀卷积神经网络的去噪去马赛克方法，其特征在于，包括：

获取待处理的噪声马赛克图像；

将所述待处理的噪声马赛克图像输入至预先训练完成的分簇自适应膨胀卷积神经网络，得到去噪去马赛克的图像；

其中，所述分簇自适应膨胀卷积神经网络是基于训练图像集训练获得的；所述分簇自适应膨胀卷积神经网络包括依次连接的第一输入卷积模块、第一分簇自适应膨胀卷积模块、第一输出卷积模块、第二输入卷积模块、第二分簇自适应膨胀卷积模块和第二输出卷积模块。

2.根据权利要求1所述的基于分簇自适应膨胀卷积神经网络的去噪去马赛克方法，其特征在于，将所述待处理的噪声马赛克图像输入至预先训练完成的分簇自适应膨胀卷积神经网络，得到去噪去马赛克的图像，之前还包括：

对所述待处理的噪声马赛克图像进行预处理，将所述待处理的噪声马赛克图像转换为红绿蓝三通道图像。

3.根据权利要求1所述的基于分簇自适应膨胀卷积神经网络的去噪去马赛克方法，其特征在于，所述第一输入卷积模块、所述第一分簇自适应膨胀卷积模块和所述第一输出卷积模块组成第一卷积部M_A，所述第二输入卷积模块、所述第二分簇自适应膨胀卷积模块和所述第二输出卷积模块组成第二卷积部M_B，其中，

式中，∪表示拼接操作，I表示第一卷积部M_A的输入图像，E表示第一卷积部M_A的输出图像，F表示第二卷积部M_B的输入图像，OUT表示第二卷积部M_B的输出图像，E_G表示图像E的绿色通道的像素值，I_R表示图像I的红色通道的像素值，I_B表示图像I的蓝色通道的像素值，图像F是将图像E的绿色通道的像素值、图像I的红色通道的像素值和图像I的蓝色通道的像素值拼接形成。

4.根据权利要求3所述的基于分簇自适应膨胀卷积神经网络的去噪去马赛克方法，其特征在于，所述第一分簇自适应膨胀卷积模块和所述第二分簇自适应膨胀卷积模块均包括若干依次连接的分簇自适应膨胀卷积层，所述分簇自适应膨胀卷积层用于执行以下操作：

对所述分簇自适应膨胀卷积层的输入f_l的特征层，进行划分得到若干个特征簇；

对输入f_l的每个特征簇进行空间平均化特征提取，得到空域平均特征集群p_l；

根据所述空域平均特征集群p_l，得到膨胀因子集群d_l；

根据所述膨胀因子集群d_l，对输入f_l进行分簇自适应膨胀卷积，得到分簇自适应膨胀卷积结果f_l+1。

5.根据权利要求4所述的基于分簇自适应膨胀卷积神经网络的去噪去马赛克方法，其特征在于，所述空域平均特征集群p_l表示为：

其中，Σ表示累加操作，∪表示拼接操作，l表示分簇自适应膨胀卷积层的层数，N表示特征簇个数，m＝1,2,3,…,N，f_m,l表示输入f_l的第m个特征簇，X表示f_m,l的像素坐标组成的集合，x表示f_m,l的像素坐标，R表示f_m,l的像素坐标组成的集合中元素坐标的数目，f_m,l(x)表示坐标x对应的像素值。

6.根据权利要求4所述的基于分簇自适应膨胀卷积神经网络的去噪去马赛克方法，其特征在于，所述膨胀因子集群d_l表示为：

其中，∪表示拼接操作，N表示特征簇个数，m＝1,2,3,…,N，l表示分簇自适应膨胀卷积层的层数，W_m,l表示该分簇自适应膨胀卷积层的第一卷积核权重W_l的第m组权重，

表示卷积操作，p_m,l表示第m个特征簇的空域平均特征。

7.根据权利要求6所述的基于分簇自适应膨胀卷积神经网络的去噪去马赛克方法，其特征在于，根据所述膨胀因子集群d_l，对输入f_l进行分簇自适应膨胀卷积，得到分簇自适应膨胀卷积结果f_l+1，包括：

根据所述膨胀因子集群d_l，对输入f_l的每一特征簇中的特征层均使用该特征簇对应的膨胀因子进行分簇自适应膨胀卷积，得到分簇自适应膨胀卷积结果f_l+1，其中，分簇自适应膨胀卷积结果f_l+1表示为：

其中，Σ表示累加操作，∪表示拼接操作，*表示点对点相乘，N表示特征簇个数，m＝1,2,3,…,N，Z表示卷积核采样坐标集合，z表示卷积核采样坐标，l表示分簇自适应膨胀卷积层的层数，K_m,l表示该分簇自适应膨胀卷积层的第二卷积核权重K_l中的第m组权重，f_m,l表示输入f_l中的第m个特征簇，X表示f_m,l的像素坐标组成的集合，d_m,l表示第m个特征簇的膨胀因子。

8.根据权利要求7所述的基于分簇自适应膨胀卷积神经网络的去噪去马赛克方法，其特征在于，所述分簇自适应膨胀卷积神经网络的训练方法包括：

获取训练图像集，所述训练图像集包括若干噪声马赛克图像及其对应的去噪声马赛克图像；

初始化所述分簇自适应膨胀卷积神经网络的每一层分簇自适应膨胀卷积层的第一卷积核权重W_l和第二卷积核权重K_l；

将所述训练图像集输入所述初始化的分簇自适应膨胀卷积神经网络中进行训练，并计算损失函数；

根据所述损失函数对所述分簇自适应膨胀卷积神经网络的每一层分簇自适应膨胀卷积层的第一卷积核权重W_l和第二卷积核权重K_l进行优化更新。

9.根据权利要求8所述的基于分簇自适应膨胀卷积神经网络的去噪去马赛克方法，其特征在于，所述损失函数为：

其中，

代表二范数，D_ground表示训练图像集中的去噪声马赛克图像，D_ground(g)为训练图像集中的去噪声马赛克图像的绿色通道的像素值。

Images