CN107871306B - 一种图片去噪的方法和装置 - Google Patents

Abstract

本发明实施例提供了一种图片去噪的方法和装置，其中所述方法包括：采用编码网络对原始图片数据进行特征提取，获得图片特征信息，其中，所述图片特征信息包括噪声信息；将所述图片特征信息输入解码网络进行去噪处理，输出目标图片数据。本申请提供了采用编码网络和解码网络自动去除带条纹噪声的图片中的噪声信息，针对多种尺寸的图片都具有有效的去除噪声的效果，并且去除噪声的效率高，噪声去除效果明显。

Description

一种图片去噪的方法和装置

技术领域

本发明涉及图片处理的技术领域，特别是涉及一种图片去噪的方法和一种图片去噪的装置。

背景技术

在日常生活中，通常需要对带条纹噪声的证件照进行去条纹噪声处理。在现有技术中，对于包含不规则条纹噪声的图片去除条纹的方式一般包括如下过程：

(1)确定需要去除噪声的区域；

(2)针对噪声区域采用不同的方法进行填补。

在步骤1中采用的方法一般为边界分割，进行阈值处理，寻找到目标区域。在这一步中经常会出现的问题是，受到图片本身内容的影响，分割算法无法精准的定位噪声区域，并且由于图片的复杂性，阈值的选取在不同的图片上存在着巨大的差异，这使得到的需要处理的区域与实际有噪声区域有一定的偏差，从而造成了噪声去除效果在不同图片上表现不同。

在步骤2中常常采用微分方程的方法对区域进行填补。在填补的过程中需要利用原图的信息，填补出合理的像素值。而这样的方法的缺陷在于速度慢，并且受步骤1提取区域的影响较大，填补区域信息只能来自周边区域，无法充分利用整张图片的信息。

发明内容

鉴于上述问题，为了解决上述现有的图片去噪方式中存在的去噪效果不明显、去噪效率低的问题，本发明实施例提出了一种图片去噪的方法和相应的一种图片去噪的装置。

为了解决上述问题，本发明实施例公开了一种图片去噪的方法，包括：

采用编码网络对原始图片数据进行特征提取，获得图片特征信息，其中，所述图片特征信息包括噪声信息；

将所述图片特征信息输入解码网络进行去噪处理，输出目标图片数据。

优选地，所述编码网络以及所述解码网络为深度卷积神经网络；

所述编码网络包括多个卷积层，每个卷积层用于对输入的数据执行压缩以及特征重组的卷积操作；

所述解码网络包括与编码网络相同层数的多个卷积层，每个卷积层用于对输入的数据执行还原以及特征重组的卷积操作。

优选地，所述编码网络和所述解码网络组成网络模型；

所述网络模型采用如下方法进行训练：

对训练样本中的全部数据进行训练，获得初始网络模型；

基于所述初始网络模型，从原始图片数据中选取特定区域的数据进行训练，获得最终的网络模型。

优选地，所述特定区域为人脸所在的区域。

优选地，所述网络模型以损失函数为目的进行训练，所述损失函数采用如下方式计算：

设定训练样本中带噪声信息的像素点的第一权重值与不带噪声的像素点的第二权重值，其中，所述第一权重值大于所述第二权重值；

计算所述训练样本以及预设的参考样本之间的欧几里得距离；

基于所述第一权重值、所述第二权重值以及所述训练样本以及预设的参考样本之间的欧几里得距离计算损失函数。

本发明实施例还公开了一种图片去噪的装置，包括：

特征提取模块，用于采用编码网络对原始图片数据进行特征提取，获得图片特征信息，其中，所述图片特征信息包括噪声信息；

去噪模块，用于将所述图片特征信息输入解码网络进行去噪处理，输出目标图片数据。

优选地，所述编码网络以及所述解码网络为深度卷积神经网络；

所述编码网络包括多个卷积层，每个卷积层用于对输入的数据执行压缩以及特征重组的卷积操作；

所述解码网络包括与编码网络相同层数的多个卷积层，每个卷积层用于对输入的数据执行还原以及特征重组的卷积操作。

优选地，所述装置还包括：

网络模型生成模块，用于由所述编码网络和所述解码网络组成网络模型；

所述网络模型生成模块包括如下子模块：

第一训练子模块，用于对训练样本中的全部数据进行训练，获得初始网络模型；

第二训练子模块，用于基于所述初始网络模型，从原始图片数据中选取特定区域的数据进行训练，获得最终的网络模型。

优选地，所述特定区域为人脸所在的区域。

优选地，所述网络模型以损失函数为目的进行训练，所述损失函数采用如下方式计算：

设定训练样本中带噪声信息的像素点的第一权重值与不带噪声的像素点的第二权重值，其中，所述第一权重值大于所述第二权重值；

计算所述训练样本以及预设的参考样本之间的欧几里得距离；

基于所述第一权重值、所述第二权重值以及所述训练样本以及预设的参考样本之间的欧几里得距离计算损失函数。

本发明实施例包括以下优点：

本发明实施例提供了采用编码网络和解码网络自动去除带条纹噪声的图片中的噪声信息，针对多种尺寸的图片都具有有效的去除噪声的效果，并且去除噪声的效率高，噪声去除效果明显。

附图说明

图1是本发明的一种图片去噪的方法实施例一的步骤流程图；

图2a-图2b是本发明的实施例一中的卷积操作及池化操作示意图；

图3是本发明的网络模型训练流程图；

图4a-图4b是本发明的实施例一中的条纹噪声填充示意图以及标注示意图；

图5是本发明的一种图片去噪的装置实施例的结构框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

参照图1，示出了本发明的一种图片去噪的方法实施例一的步骤流程图，具体可以包括如下步骤：

步骤101，采用编码网络对原始图片数据进行特征提取，获得图片特征信息，其中，所述图片特征信息包括噪声信息；

在具体实现中，原始图片数据可以为携带噪声的图片，作为一种示例，该原始图片数据可以为携带不规则条纹噪声的图片，例如，携带不规则条纹噪声的证件照。

在本发明实施例中，编码网络可以为深度卷积神经网络(Convolutional NeuralNetwork，简称CNN)。CNN是一种深度的监督学习下的机器学习模型，具有极强的适应性，善于挖掘数据局部特征，提取全局训练特征和分类，它的权值共享结构网络使之更类似于生物神经网络，在模式识别各个领域都取得了很好的成果。

在一种实施方式中，编码网络中可以包括多个卷积层，每个卷积层用于对输入的数据执行压缩和特征重组的卷积操作。即，编码网络可以包括多个卷积层(例如，四个卷积层)，每个卷积层中包含一个压缩尺寸的卷积块以及一个对特征进行重组的卷积块。

为了使本领域技术人员能够更好地理解编码网络，以下以编码网络包括四个卷积层为例对本发明实施例的编码网络加以示例性说明，该编码网络的参数设置如表1所示：

表1

其中，layers表示卷积层；conv1_1表示第一卷积层_第一卷积块；conv1_2表示第一卷积层_第二卷积块；conv2_1表示第二卷积层_第一卷积块；conv2_2第二卷积层_第二卷积块；conv3_1表示第三卷积层_第一卷积块；conv3_2表示第三卷积层_第二卷积块；conv4_1表示第四卷积层_第一卷积块；conv4_2表示第四卷积层_第二卷积块；k/s/p表示卷积核大小/卷积核步长/填补区域pad大小；#num表示输出特征图的数量；size表示输出特征图的大小。

在表1的编码网络中，每层卷积均采用3*3大小的卷积核(k)，并且每层卷积时均添加值为1的pad，在两两卷积中间先使用规范化操作BN来归一化该卷积的输出，从而解决内部变量偏移(internal covariate shift)的问题，再使用非线性激活函数ReLU进行非线性处理。

针对上述表1的编码网络，输入的数据为大小是1张三色通道(RGB)的大小为100*100的原始图片数据，经过编码网络的四层卷积操作，Conv4_2输出的数据为512张大小是7*7的特征图，该512张大小是7*7的特征图构成图片特征信息。

以下结合表1对本发明实施例的编码网络的卷积过程进行说明：

第一卷积层：

假设输入为一副归一化后大小为100×100的目标图片数据，Conv1_1首先在每幅目标图片外围padding一圈零，随后采用3×3的卷积核，以步长为2对padding后的图片数据进行卷积，压缩得到64幅50×50的第一特征图像，然后对这64幅50×50的第一特征图像先进行BN规范化，再进行ReLU激活；

随后Conv1_1将这64幅50×50的第一特征图像输入Conv1_2中，Conv1_2在每幅第一特征图像外围padding一圈零，随后采用3×3的卷积核，以步长为1对padding后的图片数据进行重组，得到64幅50×50的第二特征图像，然后对这64幅50×50的第二特征图像先进行BN规范化，再进行ReLU激活。

第二卷积层：

Conv1_2将64幅50×50的第二特征图像输入Conv2_1，Conv2_1首先在每幅第二特征图像外围padding一圈零，随后采用3×3的卷积核，以步长为2对padding后的图片数据进行卷积，压缩得到128幅25×25的第三特征图像，然后对这128幅25×25的第三特征图像先进行BN规范化，再进行ReLU激活；

随后Conv2_1将这128幅25×25的第三特征图像输入Conv2_2中，Conv2_2在每幅第三特征图像外围padding一圈零，随后采用3×3的卷积核，以步长为1对padding后的图片数据进行重组，得到128幅25×25的第四特征图像，然后对这128幅25×25的第四特征图像先进行BN规范化，再进行ReLU激活。

第三卷积层：

Conv2_2将128幅25×25的第四特征图像输入Conv3_1，Conv3_1首先在每幅第四特征图像外围padding一圈零，随后采用3×3的卷积核，以步长为2对padding后的图片数据进行卷积，压缩得到256幅13×13的第五特征图像，然后对这256幅13×13的第五特征图像先进行BN规范化，再进行ReLU激活；

随后Conv3_1将这256幅13×13的第五特征图像输入Conv3_2中，Conv3_2在每幅第三特征图像外围padding一圈零，随后采用3×3的卷积核，以步长为1对padding后的图片数据进行重组，得到256幅13×13的第六特征图像，然后对这256幅13×13的第六特征图像先进行BN规范化，再进行ReLU激活。

第四卷积层：

Conv3_2将256幅13×13的第六特征图像输入Conv4_1，Conv4_1首先在每幅第四特征图像外围padding一圈零，随后采用3×3的卷积核，以步长为2对padding后的图片数据进行卷积，压缩得到512幅7×7的第七特征图像，然后对这512幅7×7的第七特征图像先进行BN规范化，再进行ReLU激活；

随后Conv4_1将这512幅7×7的第七特征图像输入Conv4_2中，Conv4_2在每幅第七特征图像外围padding一圈零，随后采用3×3的卷积核，以步长为1对padding后的图片数据进行重组，得到512幅7×7的第八特征图像，然后对这512幅7×7的第八特征图像先进行BN规范化，再进行ReLU激活后输出，输出的第八特征图像即为图片特征信息。

需要说明的是，在本发明实施例中，采用卷积的方式来改变输出特征的大小，而不是采用池化pooling的方式，是因为pooling操作舍弃了绝大部分的信息，这在识别等任务上是有效的，但是由于本发明实施例的目的是为了做像素级别上的密集预测，舍弃了绝大部分信息会造成收敛困难以及输出去噪后的图片不平滑的问题，而采用卷积的方式能够充分利用原始图片上每一点的信息。

参考图2a以及图2b的示意图，示出了卷积和pooling在改变输出特征的大小层面上的区别：

如图2a所示，若输入大小为4*4，采用局部取极大值(max)pooling的操作时，若输入的步长为2，pooling核的大小为2，那么输出的大小为输入的一半，并且输出的数据只包含了输入的数据的四分之一。

如图2b所示，如果采用卷积的方式，为了得到与pooling输出的大小一致的输出，使用卷积核的大小为3*3，步长为2，pad的大小为1(这里为了说明问题，采用的卷积核中的值固定的填充为1)，那么卷积的结果则可以利用输入的全部信息进行线性组合得到输出，该输出能够充分利用原始图片上每一点的信息。

另外，需要说明的是，由于全连接层对于图片有尺寸上的要求，导致了训练得到的卷积神经网络只适用于1种尺寸的输入，因此在本发明实施例中，编码网络结构中并没有采用全连接层，而是使用了多个卷积层，由于卷积层对输入大小是没用限制的，这就可以解决全连接只适用于一种尺寸的问题。

步骤102，将所述图片特征信息输入解码网络进行去噪处理，输出目标图片数据。

在本发明实施例中，将原始图片数据输入编码网络，输出图片特征信息以后，可以进一步将图片特征信息输入解码网络。

在实际中，除了将图片特征信息输入解码网络外，还可以将部分原始图片数据或浅层的卷积层的的输出输入到解码网络，即将网络浅层的输出与最终特征输出融合作为最终的输出，从而使得解码网络输出的目标图片不会出现整张图片模糊的情况，提高了目标图片中部分区域的清晰度。

与编码网络相同，解码网络也是深度卷积神经网络，实际上，解码网络可以看作是编码网络的逆操作。

在一种实施方式中，解码网络可以包括与编码网络相同层数的多个卷积层，这样的对称性可以保证图像大小随着网络深度加深时变化的平稳连续性。

与编码网络的卷积层的作用不同，解码网络的卷积层用于对输入的数据执行大小还原与特征重组的卷积操作，即每个卷积层中包含一个将压缩后的特征图恢复到原始输入数据的大小的反卷积块以及一个对特征进行重组的卷积块。

需要说明的是，由于对反卷积块的参数进行学习时得到该块的参数与双线性插值的参数很近似，因此，为了加快训练，在一种实施方式中，可以直接设定反卷积块的参数为双线性插值，即在反卷积块中，使用双线性插值的方式进行参数的设定，该参数为固定的参数，无需进行参数的训练。

为了使本领域技术人员能够更好地理解解码网络，以下以解码网络包括四个卷积层为例对本发明实施例的解码网络加以示例性说明，该解码网络的参数设置如表2所示：

表2

其中，dconv5_1表示第一卷积层_反卷积块；conv5_2表示第一卷积层_卷积块；dconv6_1表示第二卷积层_反卷积块；conv6_2第二卷积层_卷积块；dconv7_1表示第三卷积层_反卷积块；conv7_2表示第三卷积层_卷积块；dconv8_1表示第四卷积层_反卷积块；conv8_2表示第四卷积层_卷积块。

在表2的解码网络中的两两卷积中间先使用规范化操作BN来归一化该卷积的输出，从而解决内部变量偏移的问题，再使用非线性激活函数ReLU进行非线性处理。

针对上述表2的解码网络，输入的数据为512张大小是7*7的图片特征信息，经过解码网络的四层卷积操作，Conv8_2输出的数据为1张三色通道的大小是100*100的目标图片数据，该目标图片数据为去除条纹噪声后的图片。

以下结合表2对本发明实施例的解码网络的卷积过程进行说明：

第一卷积层：

编码网络的Conv4_2将512幅7×7的第八特征图像输入解码网络中的dconv5_1，dconv5_1采用3×3的卷积核，以步长为2对第八特征图像进行反卷积，恢复第八特征图像的大小，得到512幅13×13的第九特征图像，然后对这512幅13×13的第九特征图像先进行BN规范化，再进行ReLU激活；

随后dconv5_1将这512幅13×13的第九特征图像输入conv5_2中，conv5_2在每幅第九特征图像外围padding一圈零，随后采用3×3的卷积核，以步长为1对padding后的图片数据进行重组，得到256幅13×13的第十特征图像，然后对这256幅13×13的第十特征图像先进行BN规范化，再进行ReLU激活。

第二卷积层：

conv5_2将256幅13×13的第十特征图像输入dconv6_1，dconv6_1采用3×3的卷积核，以步长为2对第十特征图像进行反卷积，恢复第十特征图像的大小，得到256幅25×25的第十一特征图像，然后对这256幅25×25的第十一特征图像先进行BN规范化，再进行ReLU激活；

随后dconv6_1将这256幅25×25的第十一特征图像输入conv6_2中，conv6_2在每幅第十一特征图像外围padding一圈零，随后采用3×3的卷积核，以步长为1对padding后的图片数据进行重组，得到128幅25×25的第十二特征图像，然后对这128幅25×25的第十二特征图像先进行BN规范化，再进行ReLU激活。

第三卷积层：

Conv6_2将128幅25×25的第十二特征图像输入dconv7_1，dconv7_1采用3×3的卷积核，以步长为2对第十二特征图像进行反卷积，恢复第十二特征图像的大小，得到128幅50×50的第十三特征图像，然后对这128幅50×50的第十三特征图像先进行BN规范化，再进行ReLU激活；

随后dconv7_1将这128幅50×50的第十三特征图像输入conv7_2中，conv7_2在每幅第十三特征图像外围padding一圈零，随后采用3×3的卷积核，以步长为1对padding后的图片数据进行重组，得到64幅50×50的第十四特征图像，然后对这64幅50×50的第十四特征图像先进行BN规范化，再进行ReLU激活。

第四卷积层：

Conv7_2将64幅50×50的第十四特征图像输入dconv8_1，dconv8_1采用3×3的卷积核，以步长为2对第十四特征图像进行反卷积，恢复第十四特征图像的大小，得到64幅100×100的第十五特征图像，然后对这64幅100×100的第十五特征图像先进行BN规范化，再进行ReLU激活；

随后dconv8_1将这64幅100×100的第十五特征图像输入conv8_2中，conv8_2在每幅第十三特征图像外围padding一圈零，随后采用3×3的卷积核，以步长为1对padding后的图片数据进行重组，得到1张三色通道的大小为100×100的第十六特征图像，然后对这张100×100的第十六特征图像使用sigmoid函数激活作为最终的输出，得到去除噪声后的目标图片数据。

在本发明实施例中，在解码网络执行多层卷积的过程中，图片特征信息中的噪声信息会逐渐被全图的信息所填充，最后输出的是去除了部分或全部噪声后的目标图片数据。

在本发明实施例中，采用解码网络进行噪声信息的填充，能够提高噪声去除的效率，并且在填充过程中，整张图片上的信息都可以应用，而不仅仅是利用周边区域进行填充，使得填补的像素点与周边点差异不大，并且能充分表达该点在不被条纹噪声污染时所应有的信息。

本发明实施例提供了采用编码网络和解码网络自动去除带条纹噪声的图片中的噪声信息，针对多种尺寸的图片都具有有效的去除噪声的效果，并且去除噪声的效率高，噪声去除效果明显。

在本发明实施例中，输入、编码网络和解码网络可以组成网络模型，在实际应用场景中，将带有噪声的图片，如携带不规则条纹的证件照片输入网络模型后，该网络模型可以对该图片进行去噪处理，输出去除噪声后的目标图片。

参考图3所示的网络模型训练流程图，该网络模型的训练过程可以包括如下步骤：

步骤301，对训练样本中的全部数据进行训练，获得初始网络模型；

在具体实现中，由于带有不规则条纹或网纹的图片数量有限，并且对这些图片进行逐像素的标注是不现实的，因此，训练样本可以采取逆向制作的方式，对不带不规则条纹噪声的图片进行人为的添加噪声，这是短时间内产生大量数据的一种有效方式。

在实际应用中，考虑到图片的数量有限，可以对添加完噪声的图片采用随机裁剪的方式，将一张图片随机裁剪得到多张图片。

进一步地，为了使得本发明实施例对不同大小的输入图片均具有良好的去噪效果，还可以对添加了噪声后的图片进行多尺度的缩放，在不同尺度上进行裁剪，得到多张100*100大小的图片。

人为的对不带不规则条纹噪声的图片添加噪声的好处是，在得到含不规则条纹噪声的图片的同时，也得到了每一张图片中对应的噪声点位置。

在一种实施方式中，可以采用如下方式对人为添加的噪声信息进行标注：

图4a表示的是一个4*4大小的图像，其中用黑色填充的小块对应的就是在图片中被条纹噪声污染的区域，而白色的小块对应的区域为未被污染的区域。图4b表示的是对图4a进行标注后得到的矩阵，针对图4a中被污染的区域，图4b中使用数值1来标注，针对图4a中未被污染的区域，图4b中使用数值0来标注。

将图片中的像素点是噪声点的标注为1，像素点不是噪声点的标注为0以后，可以得到噪声矩阵M，表示如下：

需要说明的是，上述对噪声点进行标注的方式仅仅是本发明实施例的示例性说明，本领域技术人员采用其他方式对噪声点进行标注均是可以的，本发明实施例对此不作限制。

在训练过程中，训练样本中除了可以包含带条纹噪声的图片，还可以将一部分的不含条纹噪声的图片也加入到训练样本中，这使得网络模型在训练后对不含噪声的图片的处理具有稳定性。

为了促使模型快速地收敛，在本发明实施例中可以使用不同的数据对网络模型进行多阶段的训练，步骤301是网络模型训练的第一阶段，在该阶段中，选取训练样本中的全部数据进行训练，从而得到一个针对整张图片具有初步去噪效果的初始网络模型。

作为一种示例，在网络模型训练的第一阶段中，采用的方案和参数设置如下：采用梯度下降法进行训练，一批次训练样本数据为16，初始学习率设置为0.001，学习率衰减为每迭代5个epoch(数据总量)衰减一次，衰减系数为0.94，冲量项设置为0.9，权重衰减项为0.0005。

步骤302，基于所述初始网络模型，从原始图片数据中选取特定区域的数据进行训练，获得最终的网络模型。

在具体实现中，第一阶段得到的初始网络模型能够对整张图片具有初步的去噪效果，可以使得图片中非特定区域的噪声能够去除，但对于图片中特定区域的条纹噪声的去除不完全。因此，在第二阶段中，可以使用第一阶段训练得到的初始模型初始化第二阶段的模型，即可以针对部分的特定区域进行训练，从所述训练样本中提取特定区域的数据，并将该特定区域的数据输入初始网络模型中进行训练，获得最终的网络模型。

和第一阶段制作的数据方式一样，在第二阶段中也可以采用多尺度的方式对特定区域进行随机裁剪，在样本数据中同样也可以加入不含噪声的图片。

由于第二阶段训练模型的初始化是由第一阶段训练得到的模型得到的，因此要更改训练参数的设置，在第二阶段中，方案和训练参数设置如下：采用梯度下降法进行训练，一批次训练样本数据为16。初始学习率设置为0.00045，学习率衰减为每迭代3个epoch衰减一次，衰减系数为0.94，冲量项设置为0.9，权重衰减项为0.0005。

需要说明的是，上述两个阶段的训练方式可以替代为一个阶段的训练，其方法可以为，改变第一阶段的数据分布，增多数据中特定区域的数据的数量，但这可能会带来一个问题，训练缓慢，慢于分阶段的训练方式。

作为一种示例，若原始图片为证件照图片，则原始图片中的特定区域可以包括人脸所在的区域。

在本发明实施例中，网络模型以损失函数为目的进行训练，损失函数用于表示目前网络模型的能力。

在本发明实施例的一种优选实施例中，可以采用如下方式计算网络模型的损失函数：

设定训练样本中带噪声信息的像素点的第一权重值与不带噪声的像素点的第二权重值，其中，所述第一权重值大于所述第二权重值；

计算所述训练样本以及预设的参考样本之间的欧几里得距离；

基于所述第一权重值、所述第二权重值以及所述训练样本以及预设的参考样本之间的欧几里得距离计算损失函数。

具体的，在一种实施方式中，上述损失函数可以为欧几里得损失函数，用于比较卷积神经网络输出的目标图片数据与不含有条纹噪声的参考图片数据的欧氏距离。

在具体实现中，对于带条纹噪声的图片，由于被条纹噪声影响的区域面积远小于不需要处理的无噪声影响的区域，即标注为1的像素点数量远小于标注为0的像素点数量，这种情况称为数据的不平衡性，这种数据的不平衡性导致即使这些噪声区域不进行去噪处理，最终的损失函数值也会足够的小，因此，为了解决这个不平衡性，可以加大对条纹噪声区域的关注，即对标注为1的像素点上加大权重。

例如，如果把网络模型最终输出的目标图片数据表示为P，其对应的参考图片数据表示为Y，那么损失函数可以表示为：

其中，A表示不同像素点的权重，即带噪声信息的像素点的权重和/或不带噪声信息的像素点的权重，采用A的目的是为了解决上述数据的不平衡性；⊙操作表示两两矩阵的逐元素相乘。

假设对噪声点的权重设置为2，而对非噪声点的权重设置为1。那么A中的元素可以如下表示：

其中，a_ij的取值在不同的环境下可以选取不同的值，这依赖于不同的数据。

在本发明实施例中，对带噪声信息的像素点以及非噪声信息的像素点赋予不同的权重后，可以加快模型的训练，解码网络可以正常对噪声区域进行处理，并且收敛的速度更快，去噪效果更明显。

需要说明的是，本发明实施例中的损失函数除了可以为上述的欧几里得损失函数以外，还可以是交叉熵损失函数(交叉熵损失函数在二分类的问题中有着良好的效果，但同时也要注意样本数据的不平衡性问题)或者两者的结合，本发明实施例对此不作限定。

本发明实施例在得到最终的网络模型时，使用了多阶段的训练方式，通过构造不同的训练样本，有针对性的对特定区域进行了去噪处理，使得最终整体的去噪效果有了明显的改进。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

参照图5，示出了本发明的一种图片去噪的装置实施例的结构框图，具体可以包括如下模块：

特征提取模块501，用于采用编码网络对原始图片数据进行特征提取，获得图片特征信息，其中，所述图片特征信息包括噪声信息；

去噪模块502，用于将所述图片特征信息输入解码网络进行去噪处理，输出目标图片数据。

在本发明实施例的一种优选实施例中，所述编码网络以及所述解码网络为深度卷积神经网络；

所述编码网络包括多个卷积层，每个卷积层用于对输入的数据执行压缩以及特征重组的卷积操作；

所述解码网络包括与编码网络相同层数的多个卷积层，每个卷积层用于对输入的数据执行还原以及特征重组的卷积操作。

在本发明实施例的一种优选实施例中，所述装置还包括：

网络模型生成模块，用于由所述编码网络和所述解码网络组成网络模型；

所述网络模型生成模块包括如下子模块：

第一训练子模块，用于对训练样本中的全部数据进行训练，获得初始网络模型；

第二训练子模块，用于基于所述初始网络模型，从原始图片数据中选取特定区域的数据进行训练，获得最终的网络模型。

在本发明实施例的一种优选实施例中，所述特定区域为人脸所在的区域。

在本发明实施例的一种优选实施例中，所述网络模型以损失函数为目的进行训练，所述损失函数采用如下方式计算：

设定训练样本中带噪声信息的像素点的第一权重值与不带噪声的像素点的第二权重值，其中，所述第一权重值大于所述第二权重值；

计算所述训练样本以及预设的参考样本之间的欧几里得距离；

基于所述第一权重值、所述第二权重值以及所述训练样本以及预设的参考样本之间的欧几里得距离计算损失函数。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的一种图片去噪的方法和一种图片去噪的装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种图片去噪的方法，其特征在于，包括：

采用编码网络对原始图片数据进行特征提取，获得图片特征信息，其中，所述图片特征信息包括噪声信息；

将所述图片特征信息输入解码网络进行去噪处理，输出目标图片数据；

其中，所述编码网络和所述解码网络组成网络模型；

所述网络模型采用如下方法进行训练：

对训练样本中的全部数据进行训练，获得初始网络模型；

基于所述初始网络模型，从原始图片数据中选取特定区域的数据进行训练，获得最终的网络模型。

2.根据权利要求1所述的方法，其特征在于，所述编码网络以及所述解码网络为深度卷积神经网络；

所述编码网络包括多个卷积层，每个卷积层用于对输入的数据执行压缩以及特征重组的卷积操作；

所述解码网络包括与编码网络相同层数的多个卷积层，每个卷积层用于对输入的数据执行还原以及特征重组的卷积操作。

3.根据权利要求1所述的方法，其特征在于，所述特定区域为人脸所在的区域。

4.根据权利要求3所述的方法，其特征在于，所述网络模型以损失函数为目的进行训练，所述损失函数采用如下方式计算：

设定训练样本中带噪声信息的像素点的第一权重值与不带噪声的像素点的第二权重值，其中，所述第一权重值大于所述第二权重值；

计算所述训练样本以及预设的参考样本之间的欧几里得距离；

基于所述第一权重值、所述第二权重值以及所述训练样本以及预设的参考样本之间的欧几里得距离计算损失函数。

5.一种图片去噪的装置，其特征在于，包括：

特征提取模块，用于采用编码网络对原始图片数据进行特征提取，获得图片特征信息，其中，所述图片特征信息包括噪声信息；

去噪模块，用于将所述图片特征信息输入解码网络进行去噪处理，输出目标图片数据；

网络模型生成模块，用于由所述编码网络和所述解码网络组成网络模型；

所述网络模型生成模块包括如下子模块：

第一训练子模块，用于对训练样本中的全部数据进行训练，获得初始网络模型；

第二训练子模块，用于基于所述初始网络模型，从原始图片数据中选取特定区域的数据进行训练，获得最终的网络模型。

6.根据权利要求5所述的装置，其特征在于，所述编码网络以及所述解码网络为深度卷积神经网络；

所述编码网络包括多个卷积层，每个卷积层用于对输入的数据执行压缩以及特征重组的卷积操作；

所述解码网络包括与编码网络相同层数的多个卷积层，每个卷积层用于对输入的数据执行还原以及特征重组的卷积操作。

7.根据权利要求5所述的装置，其特征在于，所述特定区域为人脸所在的区域。

8.根据权利要求7所述的装置，其特征在于，所述网络模型以损失函数为目的进行训练，所述损失函数采用如下方式计算：

设定训练样本中带噪声信息的像素点的第一权重值与不带噪声的像素点的第二权重值，其中，所述第一权重值大于所述第二权重值；

计算所述训练样本以及预设的参考样本之间的欧几里得距离；

基于所述第一权重值、所述第二权重值以及所述训练样本以及预设的参考样本之间的欧几里得距离计算损失函数。

Images