CN108765295B - 图像处理方法、图像处理装置及存储介质 - Google Patents

Abstract

本发明提供一种图像处理方法，其包括：获取具有马赛克区域的处理图像；基于预设的残差超分子网络模型，对马赛克区域进行像素填充操作，以得到像素填充后的处理图像；基于预设的全局和局部联合的补全对抗网络模型，对像素填充后的处理图像进行像素还原操作，以生成去除马赛克的处理图像。本发明还提供一种图像处理装置，本发明通过残差超分子网络模型对图像的马赛克区域进行像素填充操作，通过全局和局部联合的补全对抗网络模型对图像的马赛克区域进行像素还原操作，使得对具有马赛克区域的处理图像具有较高的图像还原程度。

Description

图像处理方法、图像处理装置及存储介质

技术领域

本发明涉及图像处理领域，特别是涉及一种图像处理方法、图像处理装置及存储介质。

背景技术

马赛克效应(Mosaic)在人脸以及自然场景中具有广泛的应用，其形成的主要原因是由于原始图像分辨率过低，经过插值放大后导致的格子效应；也可能出于遮挡的目的，人为的在特定部位如人眼处加上马赛克。

马赛克效应的去除一方面能够有效的提高图像的视觉质量，另一方面也能给用户带来丰富有趣的互动娱乐体验。在现有技术中，可将图像中马赛克区域使用生成对抗网络(Generative Adversarial Nets)估计出来，使得背景区域与马赛克区域平滑过渡，视觉上自然真实且尽可能与原始真实图像相似，从而提高用户的使用体验。

基于马赛克效应的成因，可提出两种去除马赛克效应的方法：基于残差网络的图像超分辨率算法和基于全局和局部联合判别对抗网络的图像补全算法。对于残差对抗网络的图像超分辨率算法，马赛克效应可较好的被抑制，大尺度结构被恢复，但是修复后的纹理细节较为粗糙。对于全局和局部联合判别对抗网络的图像补全算法，修复后的纹理细节在视觉上更加自然，但是该纹理细节与真实图像的纹理细节可能差异较大。

因此与真实图像对比，经现有的去除马赛克效应的图像处理方法处理后的图像的还原程度较差。

发明内容

本发明实施例提供一种对马赛克图像的还原程度较高的图像处理方法以及图像处理装置；以解决现有的图像处理方法及图像处理装置的马赛克图像的还原程度较差的技术问题。

本发明实施例提供一种图像处理方法，其包括：

获取具有马赛克区域的处理图像；

基于预设的残差超分子网络模型，对所述马赛克区域进行像素填充操作，以得到像素填充后的处理图像；以及

基于预设的全局和局部联合的补全对抗网络模型，对所述像素填充后的处理图像进行像素还原操作，以生成去除马赛克的处理图像。

本发明实施例还提供一种图像处理装置，其包括：

处理图像获取模块，用于获取具有马赛克区域的处理图像；

像素填充操作模块，用于基于预设的残差超分子网络模型，对所述马赛克区域进行像素填充操作，以得到像素填充后的处理图像；以及

像素还原操作模块，用于基于预设的全局和局部联合的补全对抗网络模型，对所述像素填充后的处理图像进行像素还原操作，以生成去除马赛克的处理图像。

本发明实施例还提供一种存储介质，其内存储有处理器可执行指令，所述指令由一个或一个以上处理器加载，以执行上述的图像处理方法。

相较于现有技术，本发明的图像处理方法、图像处理装置及存储介质通过残差超分子网络模型对图像的马赛克区域进行像素填充操作，通过全局和局部联合的补全对抗网络模型对图像的马赛克区域进行像素还原操作，本发明的图像处理方法对具有马赛克区域的处理图像具有较高的图像还原程度；有效的解决了现有的图像处理方法及图像处理装置的马赛克图像的还原程度较差的技术问题。

附图说明

图1为本发明的图像处理方法的第一实施例的流程图；

图2为本发明的图像处理方法的第二实施例的流程图；

图3为本发明的图像处理方法的第二实施例的步骤S201的流程图；

图4a为本发明的图像处理方法的第二实施例的步骤S203的流程图；

图4b为本发明的图像处理方法的第二实施例的步骤S203的残差单元块的结构示意图；

图5为本发明的图像处理方法的具体实施例的模型创建以及图像处理的示意图；

图6为本发明的图像处理装置的第一实施例的结构示意图；

图7为本发明的图像处理装置的第二实施例的结构示意图；

图8为本发明的图像处理装置的第二实施例的模型训练模块的结构示意图；

图9为本发明的图像处理装置的第二实施例的像素填充操作模块的结构示意图；

图10为本发明的图像处理装置所在的电子设备的工作环境结构示意图。

具体实施方式

请参照图式，其中相同的组件符号代表相同的组件，本发明的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本发明具体实施例，其不应被视为限制本发明未在此详述的其它具体实施例。

在以下的说明中，本发明的具体实施例将参考由一部或多部计算机所执行之作业的步骤及符号来说明，除非另有述明。因此，其将可了解到这些步骤及操作，其中有数次提到为由计算机执行，包括了由代表了以一结构化型式中的数据之电子信号的计算机处理单元所操纵。此操纵转换该数据或将其维持在该计算机之内存系统中的位置处，其可重新配置或另外以本领域技术人员所熟知的方式来改变该计算机之运作。该数据所维持的数据结构为该内存之实体位置，其具有由该数据格式所定义的特定特性。但是，本发明原理以上述文字来说明，其并不代表为一种限制，本领域技术人员将可了解到以下所述的多种步骤及操作亦可实施在硬件当中。

本发明的图像处理方法及图像处理装置可设置在任何的电子设备中，用于对具有马赛克区域的处理图像进行去除马赛克的图像处理。该电子设备包括但不限于可穿戴设备、头戴设备、医疗健康平台、个人计算机、服务器计算机、手持式或膝上型设备、移动设备(比如移动电话、个人数字助理(PDA，Personal Digital Assistant)、媒体播放器等等)、多处理器系统、消费型电子设备、小型计算机、大型计算机、包括上述任意系统或设备的分布式计算环境，等等。该电子设备优选对具有马赛克的图像进行去除马赛克处理的图像处理终端或服务器，该图像处理终端或服务器通过残差超分子网络模型对图像的马赛克区域进行像素填充操作，通过全局和局部联合的补全对抗网络模型对图像的马赛克区域进行像素还原操作，故可对具有较高的图像还原程度。

请参照图1，图1为本发明的图像处理方法的第一实施例的流程图。本实施例的图像处理方法可使用上述的电子设备进行实施，本实施例的图像处理方法可包括：

步骤S101，获取具有马赛克区域的处理图像；

步骤S102，基于预设的残差超分子网络模型，对马赛克区域的进行像素填充操作，以得到像素填充后的处理图像；

步骤S103，基于预设的全局和局部联合的补全对抗网络模型，对像素填充后的处理图像进行像素还原操作，以生成去除马赛克的处理图像。

下面详细说明本实施例的图像处理方法的各步骤的具体流程。

在步骤S101中，图像处理装置获取需要进行去除马赛克处理的处理图像，该处理图像可为人物图像、动物图像或风景图像等。该处理图像具有至少一马赛克区域，以便图像处理装置对该马赛克区域进行去除操作。

在步骤S102中，图像处理装置获取预设的残差超分子网络模型，该残差超分子网络模型可较好的对处理图像的马赛克区域进行较好的抑制，可恢复处理图像的马赛克区域的大尺度结构，但是残差超分子网络模型对处理图像的马赛克区域的纹理细节刻画较差。

随后图像处理装置使用获取的残差超分子网络模型，对步骤S101获取的处理图像的马赛克区域进行像素填充操作，即对马赛克区域的像素进行放大操作，以使得处理图像的马赛克区域具有较多的图像信息，从而获取像素填充后的处理图像。由于像素填充操作是基于处理图像的马赛克区域中的像素进行的，因此像素填充后的处理图像可包含更多的原马赛克区域中的像素信息，实现了对处理图像的马赛克区域的抑制操作。

在步骤S103中，图像处理装置获取预设的全局和局部联合的补全对抗网络模型。这里的全局和局部联合的补全对抗网络模型可对处理图像的马赛克区域添加更多的纹理细节，提高处理图像与真实图像的一致性。

随后图像处理装置使用获取的全局和局部联合的补全对抗网络模型，对步骤S102获取的像素填充后的处理图像进行像素还原操作，即根据整个处理图像的内容以及处理图像的马赛克区域的内容对马赛克区域的图像进行像素还原，由于像素填充后的处理图像的马赛克区域已经具有较多的图像细节，因此像素还原后的马赛克区域的处理图像能够更加符合处理图像对应的真实图像。

最后图像处理装置根据像素还原操作后的处理图像，生成去除马赛克的处理图像。

这样即完成了本实施例的图像处理方法的图像马赛克的去除过程。

本实施例的图像处理方法通过残差超分子网络模型对图像的马赛克区域进行像素填充操作，通过全局和局部联合的补全对抗网络模型对图像的马赛克区域进行像素还原操作，使得对具有马赛克区域的处理图像具有较高的图像还原程度。

请参照图2，图2为本发明的图像处理方法的第二实施例的流程图。本实施例的图像处理方法可使用上述的电子设备进行实施，本实施例的图像处理方法可包括：

步骤S201，使用样本图像以及具有马赛克区域的对照样本图像，训练残差超分子网络模型以及全局和局部联合的补全对抗网络模型；

步骤S202，获取具有马赛克区域的处理图像；

步骤S203，基于残差超分子网络模型，对马赛克区域进行像素填充操作，以得到像素填充后的处理图像；

步骤S204，基于预设的全局和局部联合的补全对抗网络模型，对像素填充后的处理图像进行像素还原操作，以生成去除马赛克的处理图像。

下面详细说明本实施例的图像处理方法的各步骤的具体流程。

在步骤S201中，图像处理装置获取样本图像以及具有马赛克区域的对照样本图像，即可对样本图像中创建马赛克区域，以创建对照样本图像。

随后图像处理装置使用上述的样本图像以及对照样本图像，对残差超分子网络模型框架进行训练，以生成对应的残差超分子网络模型；对全局和局部联合的补全对抗网络模型框架进行训练，以生成对应的全局和局部联合的补全对抗网络模型。

具体的创建残差超分子网络模型以及全局和局部联合的补全对抗网络模型的流程请参照图3，图3为本发明的图像处理方法的第二实施例的步骤S201的流程图。该步骤S201包括：

步骤S301，图像处理装置获取残差超分子网络模型框架。这里的残差超分子网络模型框架为构建残差超分子网络模型的框架结构，图像处理装置通过机器训练残差超分子网络模型框架中的参数来形成残差超分子网络模型。

步骤S302，图像处理装置将对照样本图像作为残差超分子网络模型框架的输入，将样本图像作为残差超分子网络模型框架的输出，从而训练出残差超分子网络模型框架中参数，从而得到最佳的残差超分子网络模型。

具体的这里可以根据残差超分子网络模型的误差来生成损失函数进行反馈，以使得残差超分子网络模型生成的图像与对应的样本图像在灰度域上尽可能的相似。

步骤S303，图像处理装置获取全局和局部联合的补全对抗网络模型框架。这里的补全对抗网络模型框架为构建补全对抗网络模型的框架结构，图像处理装置通过机器训练补全对抗网络模型框架中的参数来形成补全对抗网络模型。

具体的这里可以根据补全对抗网络模型的误差来生成损失函数进行反馈，以使得补全对抗网络模型生成的图像与对应的样本图像在灰度域上尽可能的相似。

步骤S304，图像处理装置将对照样本图像在步骤S302得到的残差超分子网络模型中的输出，作为全局和局部联合的补全对抗网络模型框架的输入，样本图像作为全局和局部联合的补全对抗网络模型框架的输出，从而训练出补全对抗网络模型框架的参数，从而得到最佳的全局和局部联合的补全对抗网络模型。

步骤S305，图像处理装置获取对图像进行画面平滑判定的全局判别器，并使用该全局判别器对步骤S304创建的补全对抗网络模型输出的完全区域的图像进行画面平滑判定，即可较好的保证图像的马赛克区域经过像素还原操作后的过渡自然。这里可通过对整体图像中各个区域的像素灰度的变化是否连续来判断，如像素灰度的变化连续性较差，则判断该区域画面平滑性较差；如像素灰度的变化连续性较好，则判断该区域画面平滑性较好。

具体的这里可根据全局判别器的判别器损失来生成损失函数进行反馈，以使得图像的马赛克区域经过像素还原操作后的过渡更加自然。

步骤S306，图像处理装置获取对图像进行画面像素灰度判定的局部判别器，并使用该局部判别器对步骤S304创建的补全对抗网络模型输出的马赛克区域的图像进行画面像素灰度判定，即可较好的保证图像的马赛克区域经过像素还原操作后的真实性。图像处理装置可预设设定一位置指示器来指示图像的马赛克区域，以使得画面像素灰度判定更加准确。这里可通过对马赛克区域中的各个区域的像素灰度是否与样本图像相同或相似来判断，如像素灰度与样本图像对应区域的像素灰度相似度较高，则判断该区域的图像真实度较高；如像素灰度与样本图像对应区域的像素灰度相似度较低，则判断该区域的图像真实度较低。

具体的这里可根据局部判别器的判别器损失来生成损失函数进行反馈，以使得图像的马赛克区域经过像素还原操作后的真实性较高。

这样即完成残差超分子网络模型以及全局和局部联合的补全对抗网络模型的创建过程。

在步骤S202中，图像处理装置获取需要进行去除马赛克处理的处理图像，该处理图像可为人物图像、动物图像或风景图像等。该处理图像具有至少一马赛克区域，以便图像处理装置对该马赛克区域进行去除操作。

在步骤S203中，图像处理装置获取步骤S201创建的残差超分子网络模型，该残差超分子网络模型可较好的对处理图像的马赛克区域进行较好的抑制，可恢复处理图像的马赛克区域的大尺度结构，但是残差超分子网络模型对处理图像的马赛克区域的纹理细节刻画较差。

随后图像处理装置使用获取的残差超分子网络模型，对步骤S202获取的处理图像的马赛克区域进行像素填充操作，即对马赛克区域的像素进行放大操作，以使得处理图像的马赛克区域具有较多的图像信息，从而获取像素填充后的处理图像。

具体的，该残差超分子网络模型包括n级残差单元块，n为大于等于2的正整数。图像处理装置首先使用1级残差单元块对所述处理图像进行像素填充操作，随后使用i级残差单元块对经过(i-1)级残差单元块的像素填充操作后的处理图像进行像素填充操作；其中i为大于1且小于等于n的正整数。

下面详细说明每一级的残差单元块进行像素填充操作的具体流程，请参照图4a和图4b，图4a为本发明的图像处理方法的第二实施例的步骤S203的流程图，图4b为本发明的图像处理方法的第二实施例的步骤S203的残差单元块的结构示意图。其中每个残差单元块均包括卷积操作层41、批标准化层42、激活函数层53以及跳层连接层44。该步骤S203包括：

步骤S401，图像处理装置使用卷积操作层41，对处理图像或经过(i-1)级残差单元块的像素填充操作后的处理图像进行特征提取操作，以得到对应的卷积特征。如使用卷积核尺寸为5*5的卷积模板参数，在尺寸为32*32的处理图像上进行滑动，可以得到尺寸为28*28的卷积特征，其中每个5*5的窗口区域就是该卷积操作的感受野。

步骤S402，图像处理装置使用批标准化层42，对处理图像或经过(i-1)级残差单元块的像素填充操作后的处理图像对应的卷积特征(即步骤S401获取的卷积特征)进行数据分布调整，以得到对应的批标准化特征。数据分布调整减少了无法进行非线性化处理区域的数据，使得输出的批标准化特征的数据分布更加合理。

步骤S403，图像处理装置使用激活函数层43，对处理图像或经过(i-1)级残差单元块的像素填充操作后的处理图像对应的批标准化特征进行数据非线性化处理，以得到对应的非线性化特征。如使用Relu函数(Rectified Linear Unit)对批标准化特征进行数据非线性化处理，非线性化处理可以增加非线性化特征的分段线性的稀疏响应，从而增加了图像特征的非线性表达能力。

步骤S404，图像处理装置使用跳层连接层44，对处理图像或经过(i-1)级残差单元块的像素填充操作后的处理图像对应的非线性化特征进行正规化处理，以得到经过残差单元块的像素填充操作后的处理图像。如将卷积操作层的输入直接添加到激活函数层的输出上进行正规化处理，该正规化处理可以较好额度缓解图像特征的梯度消失的问题，进一步提高了像素填充操作的稳定性。

这样即完成了对处理图像的马赛克区域的像素填充操作。

在步骤S204中，图像处理装置获取预设的全局和局部联合的补全对抗网络模型。这里的全局和局部联合的补全对抗网络模型可对处理图像的马赛克区域添加更多的纹理细节，提高处理图像与真实图像的一致性。

随后图像处理装置使用获取的全局和局部联合的补全对抗网络模型，对步骤S203获取的像素填充后的处理图像进行像素还原操作，即根据整个处理图像的内容以及处理图像的马赛克区域的内容对马赛克区域的图像进行像素还原，由于像素填充后的处理图像的马赛克区域已经具有较多的图像细节，因此像素还原后的马赛克区域的处理图像能够更加符合处理图像对应的真实图像。

具体的，该全局和局部联合的补全对抗网络模型包括具有空洞卷积层的图像补全网络。图像处理装置可使用上述图像补全网络，对步骤S203中像素填充后的处理图像进行像素还原操作。由于引入了空洞卷积层，补全对抗模型可增加像素还原操作的感受野范围，从而可更好地还原处理图像的马赛克其余的纹理细节，从而提高了还原图像与真实图像的一致性。

最后图像处理装置根据像素还原操作后的处理图像，生成去除马赛克的处理图像。

这样即完成了本实施例的图像处理方法的图像马赛克的去除过程。

在第一实施例的基础上，本实施例的图像处理方法通过全局判别器以及局部判别器对补全对抗网络模型的输出进行画面像素灰度判定，进一步提高了该方法的图像还原程度；多级残差单元块的设置可进一步的提高像素填充操作的稳定性；全局和局部联合的补全对抗网络模型中空洞卷积层的引用，增加了像素还原操作的感受野范围，进一步提高了还原图像的纹理细节程度。

下面通过一具体实施例说明本发明的图像处理方法的具体工作原理。请参照图5，图5为本发明的图像处理方法的具体实施例的模型创建以及图像处理的示意图。本具体实施例的图像处理装置可设置在图像处理终端或服务器中。

本具体实施例进行模型创建的流程包括：

步骤S501，获取样本图像51以及具有马赛克区域的对照样本图像52。

步骤S502，获取残差超分子网络模型框架53以及全局和局部联合的补全对抗网络模型框架54。

步骤S503，将对照样本图像52作为残差超分子网络模型框架53的输入，将样本图像51作为残差超分子网络模型框架53的输出，训练出残差超分子网络模型55；并基于残差超分子网络模型55的误差来创建第一损失函数56。

步骤S504，将对照样本图像52在残差超分子网络模型55中的输出，作为全局和局部联合的补全对抗网络模型框架54的输入，样本图像51作为全局和局部联合的补全对抗网络模型框架54的输出，训练出全局和局部联合的补全对抗网络模型57；并基于全局和局部联合的补全对抗网络模型57的误差来创建第二损失函数58。

步骤S505，使用全局判别器59对全局和局部联合的补全对抗网络模型57输出的完整区域图像进行画面平滑判定；并基于全局判别器59的判别器损失来创建第三损失函数5A。

步骤S506，使用局部判别器5B对全局和局部联合的补全对抗网络模型57输出的马赛克区域图像进行画面像素灰度判定；并基于局部判别器5B的判别器损失来创建第四损失函数5C。

步骤S507，使用ADAM(adaptive moment estimation适应性矩估计)优化算法求解上述损失函数(第一损失函数56、第二损失函数58、第三损失函数5A以及第四损失函数5C)，并对现有的残差超分子网络模型55以及补全对抗网络模型57进行参数修正，从而得到优化后的残差超分子网络模型5D以及优化后的全局和局部联合的补全对抗网络模型框架5E。

步骤S508，获取具有马赛克区域的处理图像5F。

步骤S505，将该具有马赛克区域的处理图像5F输入至步骤S507获取的优化后的残差超分子网络模型5D，对处理图像5F的马赛克区域进行像素填充操作。

步骤S510，将像素填充操作后的处理图像输入至步骤S507获取的优化后的全局和局部联合的补全对抗网络模型框架5E，对像素填充后的处理图像进行像素还原操作，从而得到去除马赛克的处理图像5G。

这样即完成了本具体实施例的图像处理方法的模型创建以及图像处理过程。

本发明还提供一种图像处理装置，请参照图6，图6为本发明的图像处理装置的第一实施例的结构示意图。本实施例的图像处理装置可使用上述的图像处理方法的第一实施例进行实施，本实施例的图像处理装置60包括处理图像获取模块61、像素填充操作模块62以及像素还原操作模块63。

处理图像获取模块61用于获取具有马赛克区域的处理图像；像素填充操作模块62用于基于预设的残差超分子网络模型，对马赛克区域进行像素填充操作，以得到像素填充后的处理图像；像素还原操作模块63用于基于预设的全局和局部联合的补全对抗网络模型，对像素填充后的处理图像进行像素还原操作，以生成去除马赛克的处理图像。

本实施例的图像处理装置60使用时，首先处理图像获取模块61获取需要进行去除马赛克处理的处理图像，该处理图像可为人物图像、动物图像或风景图像等。该处理图像具有至少一马赛克区域，以便图像处理装置对该马赛克区域进行去除操作。

随后像素填充操作模块62获取预设的残差超分子网络模型，该残差超分子网络模型可较好的对处理图像的马赛克区域进行较好的抑制，可恢复处理图像的马赛克区域的大尺度结构，但是残差超分子网络模型对处理图像的马赛克区域的纹理细节刻画较差。

随后像素填充操作模块62使用获取的残差超分子网络模型，对处理图像获取模块获取的处理图像的马赛克区域进行像素填充操作，即对马赛克区域的像素进行放大操作，以使得处理图像的马赛克区域具有较多的图像信息，从而获取像素填充后的处理图像。由于像素填充操作是基于处理图像的马赛克区域中的像素进行的，因此像素填充后的处理图像可包含更多的原马赛克区域中的像素信息，实现了对处理图像的马赛克区域的抑制操作。

最后像素还原操作模块63获取预设的全局和局部联合的补全对抗网络模型。这里的全局和局部联合的补全对抗网络模型可对处理图像的马赛克区域添加更多的纹理细节，提高处理图像与真实图像的一致性。

随后像素还原操作模块63使用获取的全局和局部联合的补全对抗网络模型，对像素填充操作模块62获取的像素填充后的处理图像进行像素还原操作，即根据整个处理图像的内容以及处理图像的马赛克区域的内容对马赛克区域的图像进行像素还原，由于像素填充后的处理图像的马赛克区域已经具有较多的图像细节，因此像素还原后的马赛克区域的处理图像能够更加符合处理图像对应的真实图像。

最后图像处理装置60根据像素还原操作后的处理图像，生成去除马赛克的处理图像。

这样即完成了本实施例的图像处理装置60的图像马赛克的去除过程。

本实施例的图像处理装置通过残差超分子网络模型对图像的马赛克区域进行像素填充操作，通过全局和局部联合的补全对抗网络模型对图像的马赛克区域进行像素还原操作，使得对具有马赛克区域的处理图像具有较高的图像还原程度。

请参照图7，图7为本发明的图像处理装置的第二实施例的结构示意图。本实施例的图像处理装置可使用上述的图像处理方法的第二实施例进行实施，本实施例的图像处理装置70包括模型训练模块71、处理图像获取模块72、像素填充操作模块73以及像素还原操作模块74。

模型训练模块71用于使用样本图像以及具有马赛克区域的对照样本图像，训练残差超分子网络模型以及全局和局部联合的补全对抗网络模型。处理图像获取模块72用于获取具有马赛克区域的处理图像；像素填充操作模块73用于基于预设的残差超分子网络模型，对马赛克区域进行像素填充操作，以得到像素填充后的处理图像；像素还原操作模块74用于基于预设的全局和局部联合的补全对抗网络模型，对像素填充后的处理图像进行像素还原操作，以生成去除马赛克的处理图像。

请参照图8，图8为本发明的图像处理装置的第二实施例的模型训练模块的结构示意图。该模型训练模块71包括残差超分子网络模型框架获取单元81、残差超分子网络模型训练单元82、补全对抗网络模型框架获取单元83、补全对抗网络模型训练单元84、全局判定单元85以及局部判定单元86。

残差超分子网络模型框架获取单元81用于获取残差超分子网络模型框架；残差超分子网络模型训练单元82用于将对照样本图像作为残差超分子网络模型框架的输入，样本图像作为残差超分子网络模型框架的输出，从而训练出残差超分子网络模型框架对应的残差超分子网络模型；补全对抗网络模型框架获取单元83用于获取全局和局部联合的补全对抗网络模型框架；补全对抗网络模型训练单元84用于将对照样本图像在残差超分子网络模型中的输出作为全局和局部联合的补全对抗网络模型框架的输入，样本图像作为全局和局部联合的补全对抗网络模型框架的输出，从而训练出补全对抗网络模型框架对应的补全对抗网络模型；全局判定单元85用于使用全局判别器对补全对抗网络模型输出的完全区域的图像进行画面平滑判定；局部判定单元76用于使用局部判别器对补全对抗网络模型输出的马赛克区域的图像进行画面像素灰度判定。

请参照图9，图9为本发明的图像处理装置的第二实施例的像素填充操作模块的结构示意图。该像素填充操作模块73包括特征提取单元91、批标准化单元92、非线性化处理单元93以及正规化处理单元94。

特征提取单元91用于使用卷积操作层，对处理图像或经过(i-1)级残差单元块的像素填充操作后的处理图像进行特征提取操作，以得到对应的卷积特征；批标准化单元92用于使用批标准化层，对处理图像或经过(i-1)级残差单元块的像素填充操作后的处理图像对应的卷积特征进行数据分布调整，以得到对应的批标准化特征；非线性化处理单元93用于使用激活函数层，对处理图像或经过(i-1)级残差单元块的像素填充操作后的处理图像对应的批标准化特征进行数据非线性化处理，以得到对应的非线性化特征；正规化处理单元94用于使用跳层连接层，对处理图像或经过(i-1)级残差单元块的像素填充操作后的处理图像对应的非线性化特征进行正规化处理，以得到经过残差单元块的像素填充操作后的处理图像。

本实施例的图像处理装置70使用时，模型训练模块71获取样本图像以及具有马赛克区域的对照样本图像，即可对样本图像中创建马赛克区域，以创建对照样本图像。

随后模型训练模块71使用上述的样本图像以及对照样本图像，对残差超分子网络模型框架进行训练，以生成对应的残差超分子网络模型；对全局和局部联合的补全对抗网络模型框架进行训练，以生成对应的全局和局部联合的补全对抗网络模型。

具体的创建残差超分子网络模型以及全局和局部联合的补全对抗网络模型的流程包括：

模型训练模块71的残差超分子网络模型框架获取单元81获取残差超分子网络模型框架。这里的残差超分子网络模型框架为构建残差超分子网络模型的框架结构，图像处理装置通过机器训练残差超分子网络模型框架中的参数来形成残差超分子网络模型。

模型训练模块71的残差超分子网络模型训练单元82将对照样本图像作为残差超分子网络模型框架的输入，将样本图像作为残差超分子网络模型框架的输出，从而训练出残差超分子网络模型框架中参数，从而得到最佳的残差超分子网络模型。

具体的这里可以根据残差超分子网络模型的误差来生成损失函数进行反馈，以使得残差超分子网络模型生成的图像与对应的样本图像在灰度域上尽可能的相似。

模型训练模块71的补全对抗网络模型框架获取单元83获取全局和局部联合的补全对抗网络模型框架。这里的补全对抗网络模型框架为构建补全对抗网络模型的框架结构，图像处理装置通过机器训练补全对抗网络模型框架中的参数来形成补全对抗网络模型。

具体的这里可以根据补全对抗网络模型的误差来生成损失函数进行反馈，以使得补全对抗网络模型生成的图像与对应的样本图像在灰度域上尽可能的相似。

模型训练模块71的补全对抗网络模型训练单元84将对照样本图像在残差超分子网络模型中的输出，作为全局和局部联合的补全对抗网络模型框架的输入，样本图像作为全局和局部联合的补全对抗网络模型框架的输出，从而训练出补全对抗网络模型框架的参数，从而得到最佳的全局和局部联合的补全对抗网络模型。

模型训练模块71的全局判定单元85获取对图像进行画面平滑判定的全局判别器，并使用该全局判别器对补全对抗网络模型训练单元84创建的补全对抗网络模型输出的完全区域的图像进行画面平滑判定，即可较好的保证图像的马赛克区域经过像素还原操作后的过渡自然。这里可通过对整体图像中各个区域的像素灰度的变化是否连续来判断，如像素灰度的变化连续性较差，则判断该区域画面平滑性较差；如像素灰度的变化连续性较好，则判断该区域画面平滑性较好。

具体的这里可根据全局判别器的判别器损失来生成损失函数进行反馈，以使得图像的马赛克区域经过像素还原操作后的过渡更加自然。

模型训练模块71的局部判定单元86获取对图像进行画面像素灰度判定的局部判别器，并使用该局部判别器对补全对抗网络模型训练单元84创建的补全对抗网络模型输出的马赛克区域的图像进行画面像素灰度判定，即可较好的保证图像的马赛克区域经过像素还原操作后的真实性。局部判定单元86可预设设定一位置指示器来指示图像的马赛克区域，以使得画面像素灰度判定更加准确。这里可通过对马赛克区域中的各个区域的像素灰度是否与样本图像相同或相似来判断，如像素灰度与样本图像对应区域的像素灰度相似度较高，则判断该区域的图像真实度较高；如像素灰度与样本图像对应区域的像素灰度相似度较低，则判断该区域的图像真实度较低。

具体的这里可根据局部判别器的判别器损失来生成损失函数进行反馈，以使得图像的马赛克区域经过像素还原操作后的真实性较高。

这样即完成残差超分子网络模型以及全局和局部联合的补全对抗网络模型的创建过程。

随后处理图像获取模块72获取需要进行去除马赛克处理的处理图像，该处理图像可为人物图像、动物图像或风景图像等。该处理图像具有至少一马赛克区域，以便图像处理装置对该马赛克区域进行去除操作。

然后像素填充操作模块73获取模型训练模块81创建的残差超分子网络模型，该残差超分子网络模型可较好的对处理图像的马赛克区域进行较好的抑制，可恢复处理图像的马赛克区域的大尺度结构，但是残差超分子网络模型对处理图像的马赛克区域的纹理细节刻画较差。

随后像素填充操作模块73使用获取的残差超分子网络模型，对处理图像获取模块72获取的处理图像的马赛克区域进行像素填充操作，即对马赛克区域的像素进行放大操作，以使得处理图像的马赛克区域具有较多的图像信息，从而获取像素填充后的处理图像。

具体的，该残差超分子网络模型包括n级残差单元块，n为大于等于2的正整数。像素填充操作模块73首先使用1级残差单元块对所述处理图像进行像素填充操作，随后使用i级残差单元块对经过(i-1)级残差单元块的像素填充操作后的处理图像进行像素填充操作；其中i为大于1且小于等于n的正整数。其中每个残差单元块均包括卷积操作层、批标准化层、激活函数层以及跳层连接层。

每一级的残差单元块进行像素填充操作的具体流程包括：

像素填充操作模块73的特征提取单元91使用卷积操作层，对处理图像或经过(i-1)级残差单元块的像素填充操作后的处理图像进行特征提取操作，以得到对应的卷积特征。如使用卷积核尺寸为5*5的卷积模板参数，在尺寸为32*32的处理图像上进行滑动，可以得到尺寸为28*28的卷积特征，其中每个5*5的窗口区域就是该卷积操作的感受野。

像素填充操作模块73的批标准化单元92使用批标准化层，对处理图像或经过(i-1)级残差单元块的像素填充操作后的处理图像对应的卷积特征(即步骤S401获取的卷积特征)进行数据分布调整，以得到对应的批标准化特征。数据分布调整减少了无法进行非线性化处理区域的数据，使得输出的批标准化特征的数据分布更加合理。

像素填充操作模块73的非线性化处理单元93使用激活函数层，对处理图像或经过(i-1)级残差单元块的像素填充操作后的处理图像对应的批标准化特征进行数据非线性化处理，以得到对应的非线性化特征。如使用Relu函数(Rectified Linear Unit)对批标准化特征进行数据非线性化处理，非线性化处理可以增加非线性化特征的分段线性的稀疏响应，从而增加了图像特征的非线性表达能力。

像素填充操作模块73的正规化处理单元94使用跳层连接层，对处理图像或经过(i-1)级残差单元块的像素填充操作后的处理图像对应的非线性化特征进行正规化处理，以得到经过残差单元块的像素填充操作后的处理图像。如将卷积操作层的输入直接添加到激活函数层的输出上进行正规化处理，该正规化处理可以较好额度缓解图像特征的梯度消失的问题，进一步提高了像素填充操作的稳定性。

这样即完成了对处理图像的马赛克区域的像素填充操作。

最后像素还原操作模块74获取预设的全局和局部联合的补全对抗网络模型。这里的全局和局部联合的补全对抗网络模型可对处理图像的马赛克区域添加更多的纹理细节，提高处理图像与真实图像的一致性。

随后像素还原操作模块74使用获取的全局和局部联合的补全对抗网络模型，对像素填充操作模块73获取的像素填充后的处理图像进行像素还原操作，即根据整个处理图像的内容以及处理图像的马赛克区域的内容对马赛克区域的图像进行像素还原，由于像素填充后的处理图像的马赛克区域已经具有较多的图像细节，因此像素还原后的马赛克区域的处理图像能够更加符合处理图像对应的真实图像。

具体的，该全局和局部联合的补全对抗网络模型包括具有空洞卷积层的图像补全网络。像素还原操作模块74可使用上述图像补全网络，对像素填充后的处理图像进行像素还原操作。由于引入了空洞卷积层，补全对抗模型可增加像素还原操作的感受野范围，从而可更好地还原处理图像的马赛克其余的纹理细节，从而提高了还原图像与真实图像的一致性。

最后图像处理装置70根据像素还原操作后的处理图像，生成去除马赛克的处理图像。

这样即完成了本实施例的图像处理装置70的图像马赛克的去除过程。

在第一实施例的基础上，本实施例的图像处理装置通过全局判别器以及局部判别器对补全对抗网络模型的输出进行画面像素灰度判定，进一步提高了该方法的图像还原程度；多级残差单元块的设置可进一步的提高像素填充操作的稳定性；全局和局部联合的补全对抗网络模型中空洞卷积层的引用，增加了像素还原操作的感受野范围，进一步提高了还原图像的纹理细节程度。

本发明的图像处理方法、图像处理装置及存储介质通过残差超分子网络模型对图像的马赛克区域进行像素填充操作，通过全局和局部联合的补全对抗网络模型对图像的马赛克区域进行像素还原操作，本发明的图像处理方法对具有马赛克区域的处理图像具有较高的图像还原程度；有效的解决了现有的图像处理方法及图像处理装置的马赛克图像的还原程度较差的技术问题。

如本申请所使用的术语“组件”、“模块”、“系统”、“接口”、“进程”等等一般地旨在指计算机相关实体：硬件、硬件和软件的组合、软件或执行中的软件。例如，组件可以是但不限于是运行在处理器上的进程、处理器、对象、可执行应用、执行的线程、程序和/或计算机。通过图示，运行在控制器上的应用和该控制器二者都可以是组件。一个或多个组件可以有在于执行的进程和/或线程内，并且组件可以位于一个计算机上和/或分布在两个或更多计算机之间。

图10和随后的讨论提供了对实现本发明所述的图像处理装置所在的电子设备的工作环境的简短、概括的描述。图10的工作环境仅仅是适当的工作环境的一个实例并且不旨在建议关于工作环境的用途或功能的范围的任何限制。实例电子设备1012包括但不限于可穿戴设备、头戴设备、医疗健康平台、个人计算机、服务器计算机、手持式或膝上型设备、移动设备(比如移动电话、个人数字助理(PDA)、媒体播放器等等)、多处理器系统、消费型电子设备、小型计算机、大型计算机、包括上述任意系统或设备的分布式计算环境，等等。

尽管没有要求，但是在“计算机可读指令”被一个或多个电子设备执行的通用背景下描述实施例。计算机可读指令可以经由计算机可读介质来分布(下文讨论)。计算机可读指令可以实现为程序模块，比如执行特定任务或实现特定抽象数据类型的功能、对象、应用编程接口(API)、数据结构等等。典型地，该计算机可读指令的功能可以在各种环境中随意组合或分布。

图10图示了包括本发明的图像处理装置中的一个或多个实施例的电子设备1012的实例。在一种配置中，电子设备1012包括至少一个处理单元1016和存储器1018。根据电子设备的确切配置和类型，存储器1018可以是易失性的(比如RAM)、非易失性的(比如ROM、闪存等)或二者的某种组合。该配置在图10中由虚线1014图示。

在其他实施例中，电子设备1012可以包括附加特征和/或功能。例如，设备1012还可以包括附加的存储装置(例如可移除和/或不可移除的)，其包括但不限于磁存储装置、光存储装置等等。这种附加存储装置在图10中由存储装置1020图示。在一个实施例中，用于实现本文所提供的一个或多个实施例的计算机可读指令可以在存储装置1020中。存储装置1020还可以存储用于实现操作系统、应用程序等的其他计算机可读指令。计算机可读指令可以载入存储器1018中由例如处理单元1016执行。

本文所使用的术语“计算机可读介质”包括计算机存储介质。计算机存储介质包括以用于存储诸如计算机可读指令或其他数据之类的信息的任何方法或技术实现的易失性和非易失性、可移除和不可移除介质。存储器1018和存储装置1020是计算机存储介质的实例。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字通用盘(DVD)或其他光存储装置、盒式磁带、磁带、磁盘存储装置或其他磁存储设备、或可以用于存储期望信息并可以被电子设备1012访问的任何其他介质。任意这样的计算机存储介质可以是电子设备1012的一部分。

电子设备1012还可以包括允许电子设备1012与其他设备通信的通信连接1026。通信连接1026可以包括但不限于调制解调器、网络接口卡(NIC)、集成网络接口、射频发射器/接收器、红外端口、USB连接或用于将电子设备1012连接到其他电子设备的其他接口。通信连接1026可以包括有线连接或无线连接。通信连接1026可以发射和/或接收通信媒体。

术语“计算机可读介质”可以包括通信介质。通信介质典型地包含计算机可读指令或诸如载波或其他传输机构之类的“己调制数据信号”中的其他数据，并且包括任何信息递送介质。术语“己调制数据信号”可以包括这样的信号：该信号特性中的一个或多个按照将信息编码到信号中的方式来设置或改变。

电子设备1012可以包括输入设备1024，比如键盘、鼠标、笔、语音输入设备、触摸输入设备、红外相机、视频输入设备和/或任何其他输入设备。设备1012中也可以包括输出设备1022，比如一个或多个显示器、扬声器、打印机和/或任意其他输出设备。输入设备1024和输出设备1022可以经由有线连接、无线连接或其任意组合连接到电子设备1012。在一个实施例中，来自另一个电子设备的输入设备或输出设备可以被用作电子设备1012的输入设备1024或输出设备1022。

电子设备1012的组件可以通过各种互连(比如总线)连接。这样的互连可以包括外围组件互连(PCI)(比如快速PCI)、通用串行总线(USB)、火线(IEEE1394)、光学总线结构等等。在另一个实施例中，电子设备1012的组件可以通过网络互连。例如，存储器1018可以由位于不同物理位置中的、通过网络互连的多个物理存储器单元构成。

本领域技术人员将认识到，用于存储计算机可读指令的存储设备可以跨越网络分布。例如，可经由网络1028访问的电子设备1030可以存储用于实现本发明所提供的一个或多个实施例的计算机可读指令。电子设备1012可以访问电子设备1030并且下载计算机可读指令的一部分或所有以供执行。可替代地，电子设备1012可以按需要下载多条计算机可读指令，或者一些指令可以在电子设备1012处执行并且一些指令可以在电子设备1030处执行。

本文提供了实施例的各种操作。在一个实施例中，所述的一个或多个操作可以构成一个或多个计算机可读介质上存储的计算机可读指令，其在被电子设备执行时将使得计算设备执行所述操作。描述一些或所有操作的顺序不应当被解释为暗示这些操作必需是顺序相关的。本领域技术人员将理解具有本说明书的益处的可替代的排序。而且，应当理解，不是所有操作必需在本文所提供的每个实施例中存在。

而且，尽管已经相对于一个或多个实现方式示出并描述了本公开，但是本领域技术人员基于对本说明书和附图的阅读和理解将会想到等价变型和修改。本公开包括所有这样的修改和变型，并且仅由所附权利要求的范围限制。特别地关于由上述组件(例如元件、资源等)执行的各种功能，用于描述这样的组件的术语旨在对应于执行所述组件的指定功能(例如其在功能上是等价的)的任意组件(除非另外指示)，即使在结构上与执行本文所示的本公开的示范性实现方式中的功能的公开结构不等同。此外，尽管本公开的特定特征已经相对于若干实现方式中的仅一个被公开，但是这种特征可以与如可以对给定或特定应用而言是期望和有利的其他实现方式的一个或多个其他特征组合。而且，就术语“包括”、“具有”、“含有”或其变形被用在具体实施方式或权利要求中而言，这样的术语旨在以与术语“包含”相似的方式包括。

本发明实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器，磁盘或光盘等。上述的各装置或系统，可以执行相应方法实施例中的方法。

综上所述，虽然本发明已以实施例揭露如上，实施例前的序号仅为描述方便而使用，对本发明各实施例的顺序不造成限制。并且，上述实施例并非用以限制本发明，本领域的普通技术人员，在不脱离本发明的精神和范围内，均可作各种更动与润饰，因此本发明的保护范围以权利要求界定的范围为准。

Claims (11)

1.一种图像处理方法，其特征在于，包括：

获取具有马赛克区域的处理图像；

基于预设的残差超分子网络模型，对所述马赛克区域进行像素填充操作，以得到像素填充后的处理图像；以及

基于预设的全局和局部联合的补全对抗网络模型，对所述像素填充后的处理图像进行像素还原操作，以生成去除马赛克的处理图像；

其中所述残差超分子网络模型包括n级残差单元块，n为大于等于2的正整数；

所述基于预设的残差超分子网络模型，对所述马赛克区域进行像素填充操作，以得到像素填充后的处理图像的步骤包括：

使用1级残差单元块对所述处理图像进行像素填充操作；

使用i级残差单元块对经过(i-1)级残差单元块的像素填充操作后的处理图像进行像素填充操作；其中i为大于1且小于等于n的正整数；

所述残差单元块包括卷积操作层、批标准化层、激活函数层以及跳层连接层；

所述进行像素填充操作的步骤包括：

使用所述卷积操作层，对所述处理图像或经过(i-1)级残差单元块的像素填充操作后的处理图像进行特征提取操作，以得到对应的卷积特征；

使用所述批标准化层，对所述处理图像或经过(i-1)级残差单元块的像素填充操作后的处理图像对应的卷积特征进行数据分布调整，以得到对应的批标准化特征；

使用所述激活函数层，对所述处理图像或经过(i-1)级残差单元块的像素填充操作后的处理图像对应的批标准化特征进行数据非线性化处理，以得到对应的非线性化特征；以及

使用所述跳层连接层，对所述处理图像或经过(i-1)级残差单元块的像素填充操作后的处理图像对应的非线性化特征进行正规化处理，以得到经过残差单元块的像素填充操作后的处理图像。

2.根据权利要求1所述的图像处理方法，其特征在于，所述全局和局部联合的补全对抗网络模型包括具有空洞卷积层的图像补全网络；

所述基于预设的全局和局部联合的补全对抗网络模型，对所述像素填充后的处理图像进行像素还原操作，以生成去除马赛克的处理图像的步骤包括：

使用所述图像补全网络，对所述像素填充后的处理图像进行像素还原操作，以得到去除马赛克的处理图像。

3.根据权利要求1所述的图像处理方法，其特征在于，所述图像处理方法还包括：

使用样本图像以及具有马赛克区域的对照样本图像，训练所述残差超分子网络模型以及所述全局和局部联合的补全对抗网络模型。

4.根据所述权利要求3所述的图像处理方法，其特征在于，所述使用样本图像以及具有马赛克区域的对照样本图像，训练所述残差超分子网络模型以及所述全局和局部联合的补全对抗网络模型的步骤包括：

获取所述残差超分子网络模型框架；

将所述对照样本图像作为所述残差超分子网络模型框架的输入，所述样本图像作为所述残差超分子网络模型框架的输出，从而训练出所述残差超分子网络模型框架对应的残差超分子网络模型；

获取所述全局和局部联合的补全对抗网络模型框架；

将所述对照样本图像在所述残差超分子网络模型中的输出作为所述全局和局部联合的补全对抗网络模型框架的输入，所述样本图像作为所述全局和局部联合的补全对抗网络模型框架的输出，从而训练出所述补全对抗网络模型框架对应的补全对抗网络模型。

5.根据权利要求4所述的图像处理方法，其特征在于，所述训练所述残差超分子网络模型以及所述全局和局部联合的补全对抗网络模型的步骤还包括：

使用全局判别器对所述补全对抗网络模型输出的完全区域的图像进行画面平滑判定；以及

使用局部判别器对所述补全对抗网络模型输出的马赛克区域的图像进行画面像素灰度判定。

6.一种图像处理装置，其特征在于，包括：

处理图像获取模块，用于获取具有马赛克区域的处理图像；

像素填充操作模块，用于基于预设的残差超分子网络模型，对所述马赛克区域进行像素填充操作，以得到像素填充后的处理图像；以及

像素还原操作模块，用于基于预设的全局和局部联合的补全对抗网络模型，对所述像素填充后的处理图像进行像素还原操作，以生成去除马赛克的处理图像；

所述残差超分子网络模型包括n级残差单元块，n为大于等于2的正整数；

所述像素填充操作模块具体用于使用1级残差单元块对所述处理图像进行像素填充操作；使用i级残差单元块对经过(i-1)级残差单元块的像素填充操作后的处理图像进行像素填充操作；其中i为大于1且小于等于n的正整数；

所述残差单元块包括卷积操作层、批标准化层、激活函数层以及跳层连接层；

所述像素填充操作模块包括：

特征提取单元，用于使用所述卷积操作层，对所述处理图像或经过(i-1)级残差单元块的像素填充操作后的处理图像进行特征提取操作，以得到对应的卷积特征；

批标准化单元，用于使用所述批标准化层，对所述处理图像或经过(i-1)级残差单元块的像素填充操作后的处理图像对应的卷积特征进行数据分布调整，以得到对应的批标准化特征；

非线性化处理单元，用于使用所述激活函数层，对所述处理图像或经过(i-1)级残差单元块的像素填充操作后的处理图像对应的批标准化特征进行数据非线性化处理，以得到对应的非线性化特征；以及

正规化处理单元，用于使用所述跳层连接层，对所述处理图像或经过(i-1)级残差单元块的像素填充操作后的处理图像对应的非线性化特征进行正规化处理，以得到经过残差单元块的像素填充操作后的处理图像。

7.根据权利要求6所述的图像处理装置，其特征在于，所述全局和局部联合的补全对抗网络模型包括具有空洞卷积层的图像补全网络；

所述像素还原操作模块具体用于使用所述图像补全网络，对所述像素填充后的处理图像进行像素还原操作，以得到去除马赛克的处理图像。

8.根据权利要求6所述的图像处理装置，其特征在于，所述图像处理装置还包括：

模型训练模块，用于使用样本图像以及具有马赛克区域的对照样本图像，训练所述残差超分子网络模型以及所述全局和局部联合的补全对抗网络模型。

9.根据权利要求8所述的图像处理装置，其特征在于，所述模型训练模块包括：

残差超分子网络模型框架获取单元，用于获取所述残差超分子网络模型框架；

残差超分子网络模型训练单元，用于将所述对照样本图像作为所述残差超分子网络模型框架的输入，所述样本图像作为所述残差超分子网络模型框架的输出，从而训练出所述残差超分子网络模型框架对应的残差超分子网络模型；

补全对抗网络模型框架获取单元，用于获取所述全局和局部联合的补全对抗网络模型框架；

补全对抗网络模型训练单元，用于将所述对照样本图像在所述残差超分子网络模型中的输出作为所述全局和局部联合的补全对抗网络模型框架的输入，所述样本图像作为所述全局和局部联合的补全对抗网络模型框架的输出，从而训练出所述补全对抗网络模型框架对应的补全对抗网络模型。

10.根据权利要求9所述的图像处理装置，其特征在于，所述模型训练模块还包括：

全局判定单元，用于使用全局判别器对所述补全对抗网络模型输出的完全区域的图像进行画面平滑判定；以及

局部判定单元，用于使用局部判别器对所述补全对抗网络模型输出的马赛克区域的图像进行画面像素灰度判定。

11.一种存储介质，其内存储有处理器可执行指令，所述指令由一个或一个以上处理器加载，以执行如权利要求1-5中任一的图像处理方法。