CN114078134A - 图像处理方法、装置、设备、计算机存储介质和系统 - Google Patents

Abstract

本申请实施例公开了一种图像处理方法、装置、设备、计算机存储介质和系统，该方法包括：获取多个重构块；其中，所述多个重构块是由待处理图像所划分的多个图像块经由预设编码网络模型和预设解码网络模型后得到的；确定所述多个重构块中至少一个重构块的中心区域；对所述至少一个重构块的中心区域进行质量增强，得到至少一个目标重构块；根据所述至少一个目标重构块和所述多个重构块，生成重构图像；对所述重构图像中的块边界进行滤波处理，得到目标图像。

Description

图像处理方法、装置、设备、计算机存储介质和系统

技术领域

本申请涉及视频编解码技术领域，尤其涉及一种图像处理方法、装置、设备、计算机存储介质和系统。

背景技术

近年来，人工神经网络已经发展到了深度学习(deep learning)阶段。深度学习是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法，其强大的表达能力使其在计算机视觉和图像处理中得到了广泛应用，在视频和图像处理上的表现也具有较好的效果。

目前，基于深度学习的图像编解码以及图像后处理技术往往采用将整张图像一次性输入编解码网络进行处理的方案。但是随着图像尺寸的增大以及编解码网络的加深，这种方案会导致编解码的运行时间以及运行内存需求的大大增加。另外，即使目前存在一些基于块的图像编解码方案，但是现有方案的结构使得块与块之间的编解码不完全独立，无法实现编解码处理的并行化，仍然无法降低编解码的运行时间以及运行内存需求。

发明内容

本申请提出一种图像处理方法、装置、设备、计算机存储介质和系统，可以实现编解码处理的并行化，能够降低编解码的运行时间以及运行内存需求，而且还能够提高重构图像的峰值信噪比。

本申请的技术方案是这样实现的：

第一方面，本申请实施例提供了一种图像处理方法，应用于图像处理装置，所述方法包括：

获取多个重构块；其中，所述多个重构块是由待处理图像所划分的多个图像块经由预设编码网络模型和预设解码网络模型后得到的；

确定所述多个重构块中至少一个重构块的中心区域；

对所述至少一个重构块的中心区域进行质量增强，得到至少一个目标重构块；

根据所述至少一个目标重构块和所述多个重构块，生成重构图像；

对所述重构图像中的块边界进行滤波处理，得到目标图像。

第二方面，本申请实施例提供了一种图像处理方法，应用于解码设备，所述方法包括：

接收编码设备传输的码流；其中，所述码流是由待处理图像所划分的多个图像块经由预设编码网络模型后得到的；

利用预设解码网络模型解析所述码流，获取多个重构块；

利用预设后处理网络模型对所述多个重构块中至少一个重构块的中心区域进行质量增强，得到至少一个目标重构块；

根据所述至少一个目标重构块和所述多个重构块，生成重构图像；

利用所述预设后处理网络模型对所述重构图像中的块边界进行滤波处理，得到目标图像。

第三方面，本申请实施例提供了一种图像处理方法，应用于编码设备，所述方法包括：

获取待处理图像；

对所述待处理图像进行分块，得到多个图像块；其中，所述多个图像块大小相等且无重叠；

利用预设编码网络模型对所述多个图像块进行编码，生成码流；

将所述码流传输到解码设备。

第四方面，本申请实施例提供了一种图像处理装置，所述图像处理装置包括：获取单元、确定单元、增强单元和处理单元；其中，

所述获取单元，配置为获取多个重构块；其中，所述多个重构块是由待处理图像所划分的多个图像块经由预设编码网络模型和预设解码网络模型后得到的；

所述确定单元，配置为确定所述多个重构块中至少一个重构块的中心区域；

所述增强单元，配置为对所述至少一个重构块的中心区域进行质量增强，得到至少一个目标重构块；

所述处理单元，配置为根据所述至少一个目标重构块和所述多个重构块，生成重构图像；以及对所述重构图像中的块边界进行滤波处理，得到目标图像。

第五方面，本申请实施例提供了一种图像处理装置，所述图像处理装置包括：第一存储器和第一处理器；其中，

所述第一存储器，用于存储能够在所述第一处理器上运行的可执行指令；

所述第一处理器，用于在运行所述可执行指令时，执行如第一方面所述的方法。

第六方面，本申请实施例提供了一种解码设备，所述解码设备包括：接收单元、解码单元和后处理单元；其中，

所述接收单元，配置为接收编码设备传输的码流；其中，所述码流是由待处理图像所划分的多个图像块经由预设编码网络模型后得到的；

所述解码单元，配置为利用预设解码网络模型解析所述码流，获取多个重构块；

所述后处理单元，配置为利用预设后处理网络模型对所述多个重构块中至少一个重构块的中心区域进行质量增强，得到至少一个目标重构块；以及根据所述至少一个目标重构块和所述多个重构块，生成重构图像，并利用所述预设后处理网络模型对所述重构图像中的块边界进行滤波处理，得到目标图像。

第七方面，本申请实施例提供了一种解码设备，所述解码设备包括：第二存储器和第二处理器；其中，

所述第二存储器，用于存储能够在所述第二处理器上运行的可执行指令；

所述第二处理器，用于在运行所述可执行指令时，执行如第二方面所述的方法。

第八方面，本申请实施例提供了一种编码设备，所述编码设备包括：获取单元、分块单元、编码单元和发送单元；其中，

所述获取单元，配置为获取待处理图像；

所述分块单元，配置为对所述待处理图像进行分块，得到多个图像块；其中，所述多个图像块大小相等且无重叠；

所述编码单元，配置为利用预设编码网络模型对所述多个图像块进行编码，生成码流；

所述发送单元，配置为将所述码流传输到解码设备。

第九方面，本申请实施例提供了一种编码设备，所述编码设备包括：第三存储器和第三处理器；其中，

所述第三存储器，用于存储能够在所述第三处理器上运行的可执行指令；

所述第三处理器，用于在运行所述可执行指令时，执行如第三方面所述的方法。

第十方面，本申请实施例提供了一种计算机存储介质，所述计算机存储介质存储有图像处理程序，所述图像处理程序被第一处理器执行时实现如第一方面所述的方法、或者被第二处理器执行时实现如第二方面所述的方法、或者被第三处理器执行时实现如第三方面所述的方法。

第十一方面，本申请实施例提供了一种视频系统，所述视频系统包括：编码设备和解码设备；其中，

所述编码设备，配置为获取待处理图像；以及对所述待处理图像进行分块，得到多个图像块；其中，所述多个图像块大小相等且无重叠；以及利用预设编码网络模型对所述多个图像块进行编码，生成码流；并将所述码流传输到解码设备；

所述解码设备，配置为接收所述编码设备传输的码流；以及利用预设解码网络模型解析所述码流，获取多个重构块；以及利用预设后处理网络模型对所述多个重构块中至少一个重构块的中心区域进行质量增强，得到至少一个目标重构块；以及根据所述至少一个目标重构块和所述多个重构块，生成重构图像，并利用所述预设后处理网络模型对所述重构图像中的块边界进行滤波处理，得到目标图像。

本申请实施例所提供的一种图像处理方法、装置、设备、计算机存储介质和系统，通过获取多个重构块；其中，所述多个重构块是由待处理图像所划分的多个图像块经由预设编码网络模型和预设解码网络模型后得到的；确定所述多个重构块中至少一个重构块的中心区域；对所述至少一个重构块的中心区域进行质量增强，得到至少一个目标重构块；根据所述至少一个目标重构块和所述多个重构块，生成重构图像；对所述重构图像中的块边界进行滤波处理，得到目标图像。这样，针对待处理图像所划分的多个图像块，块与块之间完全独立，可以利用预设编码网络模型和预设解码网络模型实现多核并行编解码处理；而且由于分块后输入预设编码网络模型和预设解码网络模型的图像尺寸降低，还可以降低编解码的运行时间以及运行内存需求；另外，通过对重构块的中心区域进行质量增强，还能够提高重构图像的峰值信噪比，同时减少了因与待滤波处理的区域重叠而导致的计算冗余；通过对重构图像中的块边界进行滤波处理，还能够消除分块边界处的块效应，且还进一步提高了重构图像的峰值信噪比。

附图说明

图1为相关技术方案提供的一种图像处理的框图示意图；

图2为本申请实施例提供的一种图像处理方法的流程示意图；

图3为本申请实施例提供的一种后处理网络模型的结构示意图；

图4为本申请实施例提供的一种残差块的结构示意图；

图5为本申请实施例提供的一种利用预设后处理网络模型进行质量增强的结构示意图；

图6为本申请实施例提供的一种利用预设后处理网络模型进行块效应消除的结构示意图；

图7为本申请实施例提供的另一种图像处理方法的流程示意图；

图8为本申请实施例提供的一种包括预设编码网络模型和预设解码网络模型的端到端结构示意图；

图9为本申请实施例提供的又一种图像处理方法的流程示意图；

图10为本申请实施例提供的一种图像处理方法的详细流程示意图；

图11A为本申请实施例提供的一种带有块效应的重构图像示意图；

图11B为本申请实施例提供的一种无块效应的重构图像示意图；

图12为本申请实施例提供的一种预设后处理网络模型前后的图像率失真曲线对比示意图；

图13为本申请实施例提供的一种图像处理装置的组成结构示意图；

图14为本申请实施例提供的一种图像处理装置的硬件结构示意图；

图15为本申请实施例提供的一种解码设备的组成结构示意图；

图16为本申请实施例提供的一种解码设备的硬件结构示意图；

图17为本申请实施例提供的一种编码设备的组成结构示意图；

图18为本申请实施例提供的一种编码设备的硬件结构示意图；

图19为本申请实施例提供的一种视频系统的组成结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。可以理解的是，此处所描述的具体实施例仅仅用于解释相关申请，而非对该申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关申请相关的部分。

人工神经网络(Artificial Neural Networks，ANNs)也可简称为神经网络，或者称为连接模型，它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。

近年来，人工神经网络已经发展到了深度学习阶段。深度学习是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法，其强大的表达能力使其在各个机器学习的任务上取得了最好的效果，而且在视频和图像处理上的表现也超过了目前相关技术。

应理解，自编码器(Autoencoder)是深度学习的一个重要内容，神经网络通过大量数据集进行端到端(end-to-end)的训练，可以不断提高准确率，而Autoencoder通过设计编码(encode)和解码(decode)过程使得输入和输出越来越接近，这是一种无监督学习过程。这里，由于目前深度学习在视频和图像处理上的优秀表现，结合深度学习中的Autoencoder的基本思路进行视频和图像压缩，并且用深度学习的方式来提供一种新的编解码方法，对于未来视频压缩领域的发展是一个好的开始，也有利于未来在视频压缩方向上，基于神经网络的新方案在整个系统中有着比传统方案更好的表现和前景。

还需要说明的是，目前图像压缩方案一般会造成图像信息损失、图像质量下降，产生人工痕迹(artifacts)。这时候在图像压缩后就需要进行后处理，而且后处理是指针对压缩图像设计质量增强和人工痕迹消除的方法，用以改善图像的视觉效果。类似地，后处理在视频压缩中也被广泛采用。这样，由于近年来，深度学习在计算机视觉和图像处理中得到了广泛应用，使得目前一些研究工作也可以将深度学习用于图像或视频压缩后处理，并且取得了一定的效果。

参见图1，其示出了相关技术方案提供的一种图像处理的框图示意图。如图1所示，主要包括有：编码器11、信道传输模块12、解码器13和后处理模块14。其中，解码器13和后处理模块14可以集成在同一设备中。

在得到输入图像后，输入图像通过编码器11进行编码，并生成码流；该码流通过信道传输模块12传输至解码器13，由解码器13解析码流，以得到重构图像。这时候的重构图像可以会存在图像信息损失、图像质量下降以及块效应等问题，因此重构图像还需要经过后处理模块14进行相关处理，用以得到最终的目标图像。

然而，在目前的相关技术方案中，往往采用将整幅图像一次性输入编码器和解码器进行处理，但是随着图像尺寸的增大以及编码器所采用的编码网络和解码器所采用的解码网络的加深，这种方案会导致编解码的运行时间以及运行内存需求的大大增加，不利于实际应用。另外，即使目前存在一些基于块的图像编解码方案，但是现有方案采用了长短期记忆人工神经网络结构，使得块与块之间的编解码不完全独立，无法实现编解码处理的并行化，仍然无法降低编解码的运行时间以及运行内存需求。

基于此，本申请实施例提供了一种图像处理方法，该方法的基本思想是：获取对待处理图像，对待处理图像进行分块处理获取对应的多个图像块，然后利用预设编码网络模型对多个图像块进行编码生成码流，将码流传输至解码设备。解码设备在接收到码流之后，利用预设网络模型对码流进行解析，获取多个重构块，然后确定多个重构块中至少一个重构块的中心区域；对至少一个重构块的中心区域进行质量增强，得到至少一个目标重构块；根据至少一个目标重构块和多个重构块，生成重构图像；对重构图像中的块边界进行滤波处理，得到目标图像。

这样，针对待处理图像所划分的多个图像块，块与块之间完全独立，可以利用预设编码网络模型和预设解码网络模型实现多核并行编解码处理；而且由于分块后输入预设编码网络模型和预设解码网络模型的图像尺寸降低，还可以降低编解码的运行时间以及运行内存需求。另外，通过对重构块的中心区域进行质量增强，还能够提高重构图像的峰值信噪比，同时减少了因与待滤波处理的区域重叠而导致的计算冗余；通过对重构图像中的块边界进行滤波处理，还能够消除分块边界处的块效应，且还进一步提高了重构图像的峰值信噪比。

下面将结合附图对本申请各实施例进行详细说明。

本申请的一实施例中，参见图2，其示出了本申请实施例提供的一种图像处理方法的流程示意图。如图2所示，该方法可以包括：

S101：获取多个重构块；其中，所述多个重构块是由待处理图像所划分的多个图像块经由预设编码网络模型和预设解码网络模型后得到的。

需要说明的是，该方法应用于图像处理装置，或者集成有图像处理装置的设备，例如解码设备。另外，该图像处理装置的一种具体实施例为图1所示的后处理模块14。

还需要说明的是，编解码网络包括编码网络模型和解码网络模型，而预设编码网络模型和预设解码网络模型是基于神经网络结构进行模型训练得到的。其中，预设编码网络模型用于对待处理图像所划分的多个图像块进行编码以生成码流，预设解码网络模型用于对码流进行解析以得到多个重构块。

另外，针对待处理图像所划分的图像块，一个图像块可以为一个tile或者block，而且多个图像块大小相等且无重叠。通常情况下，每个图像块的大小可以为64*64尺寸、128*128尺寸、192*192尺寸、256*256尺寸或512*512尺寸等，具体根据图像大小以及编解码对于图像块大小的需求或要求确定。在本申请实施例中，图像块的大小通常设置为128*128尺寸，但是本申请实施例并不作具体限定。

这样，针对待处理图像所划分的多个图像块，块与块之间完全独立，可以利用预设编码网络模型和预设解码网络模型进行并行编解码处理，能够并行得到多个重构块。

S102：确定所述多个重构块中至少一个重构块的中心区域。

S103：对所述至少一个重构块的中心区域进行质量增强，得到至少一个目标重构块。

需要说明的是，在得到多个重构块之后，可以确定出多个重构块中至少一个重构块的中心区域。这里，如果每一重构块的大小为128*128，那么可以提取重构块的中心区域大小可以为112*112、110*110、100*100等，在本申请实施例中，通常可提取重构块的中心大小为112*112的区域作为每一重构块的中心区域。

这样，在得到至少一个重构块的中心区域后，可以对至少一个重构块的中心区域进行质量增强，能够得到至少一个目标重构块。具体地，在一些实施例中，所述对所述至少一个重构块的中心区域进行质量增强，得到至少一个目标重构块，可以包括：

对所述至少一个重构块的中心区域进行质量增强，得到至少一个增强区域；

根据所述至少一个增强区域对应替换所述至少一个重构块的中心区域，得到所述至少一个目标重构块。

也就是说，通过对至少一个重构块的中心区域进行质量增强，能够得到至少一个增强区域；然后利用这至少一个增强区域对应替换这至少一个重构块的中心区域，从而得到至少一个目标重构块。

还需要说明的是，在一些实施例中，该方法还可以包括：

构建预设后处理网络模型。

相应地，对于S103来说，所述对所述至少一个重构块的中心区域进行质量增强，得到至少一个目标重构块，可以包括：

利用所述预设后处理网络模型对所述至少一个重构块的中心区域进行质量增强，得到至少一个目标重构块。

这里，预设后处理网络模型也是基于神经网络结构进行模型训练得到的。在一些实施例中，所述构建预设后处理网络模型，可以包括：

获取多个重构训练块；

构建后处理网络模型，以所述多个重构训练块和所述至少一张训练图像对所述后处理网络模型进行训练，得到所述预设后处理网络模型。

需要说明的是，多个重构训练块可以是由训练集合中的至少一张训练图像所划分的多个训练块经由预设编码网络模型和预设解码网络模型后得到的。具体来讲，在模型训练前，首先需要获取训练集合，该训练集合中包括至少一张训练图像。这里，训练集合的选取对于整个神经网络的训练具有很大影响，在本申请实施例中，可以选取神经网络图像编解码器(Neutral Image Codec，NIC)数据集。NIC数据集是基于深度学习的图像压缩的电气和电子工程师协会(Institute of Electrical and Electronics Engineers，IEEE)标准测试模型NIC的开发数据集，在该数据集中，可以包括有训练集合，也可以包括有验证集合和测试集合；其中，训练集合中的图像大小可以为256*256，验证集合和测试集合中的图像大小也可以对应为256*256；当然，在本实施例中，训练集合、验证集合以及测试集合中的图像大小还可以设置为其他大小，例如，512*512或者其他尺寸大小，具体可以根据需要进行编解码的视频对应的图像大小来确定，在本申请实施例不作任何限定。

还需要说明的是，后处理网络模型采用神经网络结构，其可以是由卷积层、激活函数以及用于提供模型性能的多个级联的残差块构成。图3给出了上述后处理网络结构的一个示例。这里，激活函数可以是线性整流函数(Rectified Linear Unit,ReLU)，又称修正线性单元，是一种人工神经网络中常用的激活函数，通常指代以斜坡函数及其变种为代表的非线性函数。

示例性地，以消除重构块边界的块效应为例，如图3所示，针对带有明显块效应的重构块边界像素，可以顺序经过第一卷积层、多个残差块(例如，可以为9个级联的残差块)、第二卷积层和第三卷积层，然后利用加法器将第三卷积层的输出和第一卷积层的输入进行叠加，能够输出无明显块效应的重构块边界像素。其中，第一卷积层和第二卷积层包括有激活函数，第三卷积层不包括激活函数。在一个可选的实施例中，第一卷积层和第二卷积层表示为k3n128+ReLU，表明第一卷积层和第二卷积层的卷积核大小为3*3，输出特征数为128，步长为1，且包括有激活函数；而第三卷积层表示为k3n3，表明第三卷积层的卷积核大小为3*3，输出特征数为3，步长为1，但未包括激活函数。

对于每一个残差块，其网络结构如图4所示。在图4中，将图3中第一卷积层之后输出的特征图作为输入，然后顺序经过第四卷积层和第五卷积层，再利用加法器将第五卷积层的输出和第四卷积层的输入进行叠加，从而得到输出特征图。其中，第四卷积层包括有激活函数，第五卷积层不包括激活函数。在一个可选的实施例中，第四卷积层表示为k3n128+ReLU，表明第一卷积层和第二卷积层的卷积核大小为3*3，输出特征数为128，步长为1，且包括有激活函数；而第五卷积层表示为k3n128，表明第五卷积层的卷积核大小为3*3，输出特征数为128，步长为1，但未包括激活函数。

这样，构建出后处理网络模型后，可以利用训练集合以及预设算法对后处理网络模型进行模型训练。具体地，在一些实施例中，所述以所述多个重构训练块和所述至少一张训练图像对所述后处理网络模型进行训练，得到所述预设后处理网络模型，可以包括：

基于所述多个重构训练块和所述至少一张训练图像，利用预设算法对所述后处理网络模型进行模型训练；

当所述模型训练的代价函数对应的损失值收敛到预设阈值时，将训练后得到的后处理网络模型确定为所述预设后处理网络模型。

需要说明的是，在训练集合中，训练图像可以为256*256、512*512等尺寸，这里以尺寸为256*256的训练图像为例，在将其划分为等大且无重叠的128*128的训练块(也可以为其他尺寸大小的训练块)并输入预设编码网络模型和预设解码网络模型后，将所得到的重构块重新拼接为256*256(原图像的尺寸大小)的带有块效应的重构训练图像。这时候可以直接将多个重构块作为后处理网络模型的输入，也可以将带有块效应的重构训练图像作为后处理网络模型的训练输入图像；而将训练集合中的训练图像作为后处理网络模型的训练目标图像，然后可以根据训练输入图像和训练目标图像的均方差构建模型训练的代价函数。这里，代价函数可以为率失真代价函数，而失真度为训练输入图像和训练目标图像的均方差。

还需要说明的是，预设算法可以为自适应矩估计(Adaptive moment estimation，Adam)梯度优化算法。Adam梯度优化算法是一种对随机梯度下降法的扩展，在计算机视觉和自然语言处理中广泛应用于深度学习应用，其工作表现良好，能够很快地取得较好的成果。这样，利用Adam梯度优化算法训练后处理网络，在训练过程中保持预设编码网络模型和预设解码网络模型的网络参数固定，仅迭代更新后处理网络模型。在其代价函数对应的损失(Loss)值达到收敛且收敛到预设阈值后，这时候训练得到的后处理网络模型即为预设后处理网络模型。这里，预设阈值根据实际情况进行具体设定，本申请实施例不作任何限定。

具体地，参见图5，其示出了本申请实施例提供的一种利用预设后处理网络模型进行质量增强的结构示意图。如图5所示，针对所获取的多个重构块，首先提取这多个重构块的中心区域；然后将提取的中心区域输入预设后处理网络模型，经过预设后处理网络模型后对应输出多个增强区域；利用这多个增强区域对应替换这多个重构块的中心区域，能够得到多个目标重构块，即经过质量增强的重构块。

S104：根据所述至少一个目标重构块和所述多个重构块，生成重构图像。

需要说明的是，在得到至少一个目标重构块之后，可以通过拼接生成重构图像。具体来讲，在一些实施例中，所述根据所述至少一个目标重构块和所述多个重构块，生成重构图像，可以包括：

利用所述至少一个目标重构块对应替换所述多个重构块中至少一个重构块，将替换后得到的多个重构块进行拼接，生成所述重构图像。

也就是说，如果针对这多个重构块中每一重构块均进行质量增强，可以得到多个目标重构块；然后利用这多个目标重构块对应替换原来所有的多个重构块，将替换后得到新的多个重构块进行拼接，能够得到重构图像。或者，如果仅针对这多个重构块中部分重构块进行质量增强，那么得到部分目标重构块；然后利用这部分目标重构块对应替换多个重构块中原来的部分重构块，将替换后得到新的多个重构块进行拼接，能够得到重构图像。这时候，所得到的重构图像带有明显块效应。

S105：对所述重构图像中的块边界进行滤波处理，得到目标图像。

需要说明的是，由于重构图像带有明显块效应，这里的滤波处理具体是指消除重构图像中块边界处的块效应。

在一个实施例中，对重构图像进行滤波处理以消除块边界处的块效应的滤波处理，可以采用任意的去块效应的滤波算法，在本实施例中不做限定。

在一些实施例中，对重构图像进行滤波处理以消除块边界处的块效应的滤波处理还可以是其他方式。具体的，对于S105来说，所述对所述重构图像中的块边界进行滤波处理，得到目标图像，可以包括：

利用所述预设后处理网络模型对所述重构图像中的块边界进行滤波处理，得到目标图像。

需要说明的是，这里的预设后处理网络模型与前述质量增强所采用的预设后处理网络模型属于同一个后处理网络模型，这样能够减小图像处理装置或者解码设备中用于存储网络参数所需要的存储空间。

具体地，在一些实施例中，所述基于所述预设后处理网络模型对所述重构图像中的块边界进行滤波处理，得到目标图像，可以包括：

确定所述重构图像中包括所述块边界的至少一个矩形区域；

将所述至少一个矩形区域输入所述预设后处理网络模型，得到至少一个处理后的矩形区域；

利用所述至少一个处理后的矩形区域替换所述重构图像中包括所述块边界的对应局部区域，得到所述目标图像。

需要说明的是，首先需要提取重构图像中块边界附件的矩形区域。对于横向边界，矩形区域具体范围为，横向方向：块边界左侧预设像素至块边界右侧预设像素(其中，预设像素可以为16像素)；纵向方向：重构块上沿至下沿。对于纵向边界，矩形区域具体范围为，纵向方向：块边界上侧预设像素至块边界下侧预设像素(其中，预设像素可以为16像素)；横向方向：重构块左沿至右沿。这里，预设像素可以为16像素，也可以为10像素、8像素等。另外，预设像素的不同，导致所提取的矩形区域具体范围也不相同。通常情况下，预设像素可以为16像素，但是本申请实施例并不作任何限定。

示例性地，在对于横向边界，矩形区域具体范围为，横向方向：块边界左侧16像素至块边界右侧16像素；纵向方向：重构块上沿至下沿；对于纵向边界，矩形区域具体范围为，纵向方向：块边界上侧16像素至块边界下侧16像素；横向方向：重构块左沿至右沿的情况下，如果采用大小均为128*128重构块拼接成的重构图像，其矩形区域大小均为32*128；如果采用大小均为192*192重构块拼接成的重构图像，其矩形区域大小均为32*192。这里，32的单位为像素，128的单位为像素，192的单位也为像素；也就是说，重构图像或者重构块的大小都是采用像素数量表示。

这样，在通过提取确定出重构图像中包括块边界的至少一个矩形区域后，可以将这至少一个矩形区域输入预设后处理网络模型，得到至少一个处理后的矩形区域；然后利用这至少一个处理后的矩形区域替换重构图像中包括块边界的对应局部区域，得到目标图像。这时候所得到的目标图像能够减弱块效应。

为了进一步消除块效应，还可以消除预设后处理网络模型对边界补0的卷积操作所导致的边界图像失真，这时候需要对这至少一个处理后的矩形区域进行进一步裁剪。在一些实施例中，在所述得到至少一个处理后的矩形区域之后，该方法还可以包括：

对所述至少一个处理后的矩形区域进行裁剪，得到至少一个目标矩形区域；

利用所述至少一个目标矩形区域替换所述重构图像中包括所述块边界的对应局部区域，得到所述目标图像。

需要说明的是，以32*128的矩形区域为例，针对预设后处理网络模型所输出的至少一个处理后的矩形区域，可以通过舍弃左右两侧宽度为8像素、高度为128像素的边缘像素区域，仅保留中心大小为16*128的矩形区域；或者，也可以通过舍弃左右两侧宽度为4像素、高度为128像素的边缘像素区域，仅保留中心大小为24*128的矩形区域；这里所保留的矩形区域即为经过裁剪得到的至少一个目标矩形区域；最后利用这至少一个目标矩形区域替换重构图像中包括块边界的对应局部区域，可以得到无明显块效应的目标图像。

具体地，参见图6，其示出了本申请实施例提供的一种利用预设后处理网络模型进行块效应消除的结构示意图。如图6所示，针对带有明显块效应的重构图像，首先提取包括块边界的至少一个矩形区域，图6所示的网格填充的矩形区域表示纵向边界的矩形区域；将所提取出的至少一个矩形区域输入预设后处理网络模型，输出至少一个处理后的矩形区域；然后通过裁剪，舍弃矩形区域左右两侧的边缘像素区域，得到至少一个目标矩形区域；最后通过替换，即利用这至少一个目标矩形区域替换重构图像中包括块边界的对应局部区域，可以得到无明显块效应的重构图像。

本实施例提供了一种图像处理方法，通过获取多个重构块；其中，所述多个重构块是由待处理图像所划分的多个图像块经由预设编码网络模型和预设解码网络模型后得到的；确定所述多个重构块中至少一个重构块的中心区域；对所述至少一个重构块的中心区域进行质量增强，得到至少一个目标重构块；根据所述至少一个目标重构块和所述多个重构块，生成重构图像；对所述重构图像中的块边界进行滤波处理，得到目标图像。这样，针对待处理图像所划分的多个图像块，块与块之间完全独立，可以利用预设编码网络模型和预设解码网络模型实现多核并行编解码处理；而且由于分块后输入预设编码网络模型和预设解码网络模型的图像尺寸降低，还可以降低编解码的运行时间以及运行内存需求；另外，通过对重构块的中心区域进行质量增强，还能够提高重构图像的峰值信噪比，同时减少了因与待滤波处理的区域重叠而导致的计算冗余；通过对重构图像中的块边界进行滤波处理，还能够消除分块边界处的块效应，且还进一步提高了重构图像的峰值信噪比。

本申请的另一实施例中，参见图7，其示出了本申请实施例提供的另一种图像处理方法的流程示意图。如图7所示，该方法可以包括：

S601：接收编码设备传输的码流；其中，所述码流是由待处理图像所划分的多个图像块经由预设编码网络模型后得到的。

S602：利用预设解码网络模型解析所述码流，获取多个重构块。

需要说明的是，该方法应用于解码设备。在编码设备通过预设编码网络模型进行压缩编码生成码流后，可以将码流传输到解码设备，由解码设备利用预设解码网络模型来解析码流，从而获取到多个重构块。这里，在得到多个重构块之后，可以继续执行前述图1所述的方法，用以得到最终的目标图像；这里的目标图像不仅实现了对重构块的中心区域进行质量增强，而且还消除了重构图像中块边界处的块效应。

还需要说明的是，预设编码网络模型和预设解码网络模型是基于神经网络结构进行模型训练得到的。其中，预设编码网络模型用于指示编码设备对待处理图像所划分的多个图像块进行编码以生成码流，预设解码网络模型用于指示解码设备解析码流以得到多个重构块。

这里，对于预设编码网络模型和预设解码网络模型而言，在一些实施例中，该方法还可以包括：

获取训练集合；其中，所述训练集合包括至少一张训练图像；

构建编码网络模型和解码网络模型，基于所述训练集合对所述编码网络模型和所述解码网络模型进行模型训练，得到所述预设编码网络模型和所述预设解码网络模型。

需要说明的是，在模型训练前，首先需要获取训练集合，该训练集合中包括至少一张训练图像。具体地，可以收集和整理规范的高清静态图像数据集，例如NIC数据集；然后根据NIC数据集，可以得到用于模型训练的训练集合，以及用于模型测试和模型验证的测试集合和交叉验证集合等。

另外，对于编码网络模型和解码网络模型的构建，需要建立多层深度神经网络模型，即端到端的编解码网络结构。如图8所示，其示出了本申请实施例提供的一种包括预设编码网络模型和预设解码网络模型的端到端网络结构示意图。在图8中，编码端采用编码网络模型结构，可以包括有主编码器、超先验(Hyper prior)编码器、上下文模型、量化模块和熵编码器。其中，对于输入图像，可以划分为多个图像块。针对每一图像块，主编码器的作用为将输入的原始图像变换为通道数为192，行和列尺寸分别为原尺寸大小1/16的特征图。超先验编解码器及上下文模型的作用为根据特征图来估计特征图中像素的概率分布，并且将该概率分布提供给熵编码器。这里的熵编码器可以采用算术编码，而且为无损熵编码压缩。在编码端，针对主编码器所产生的特征图可以通过量化模块采用四舍五入取整的方式进行量化，熵编码器利用超先验编码器、超先验解码器和上下文模型提供的概率分布对量化后的特征图进行无损熵编码(如算术编码)形成码流；并且超先验编码器产生的压缩数据采用固定概率分布进行概率计算，在经过熵编码器后作为额外信息加入到最终的码流中。解码端采用解码网络模型结构，可以包括有主解码器、超先验解码器、上下文模型和熵解码器。其中，超先验解码器以及上下文模型的作用为通过前述码流中添加的额外信息解码出特征图中像素的概率分布提供给熵解码器，由熵解码器解析出特征图；而主解码器作用为将特征图还原为重构块，然后再根据重构块拼接成重构图像。

还需要注意的是，在图8中，主编码器是用于将图像的像素域转换为特征域，超先验编码器是用于将特征域转换为概率分布；而超先验解码器则是用于将概率分布转换为特征域，再由主解码器将特征域转换为像素域，以重建出重构图像。另外，上下文模型的概率分布可以采用(μ,σ)表示；其中，μ表示均值，σ表示方差。

这样，构建出编码网络模型和解码网络模型后，可以利用训练集合以及预设算法对编码网络模型和解码网络模型进行模型训练。具体地，在一些实施例中，所述基于所述训练集合对所述编码网络模型和所述解码网络模型进行模型训练，得到所述预设编码网络模型和所述预设解码网络模型，可以包括：

基于所述训练集合，利用预设算法对所述编码网络模型和所述解码网络模型进行模型训练；

当所述模型训练的代价函数对应的损失值收敛到预设阈值时，将训练后得到的编码网络模型和解码网络模型确定为所述预设编码网络模型和所述预设解码网络模型。

需要说明的是，预设算法可以为Adam梯度优化算法。采用Adam梯度优化算法对编码网络模型和解码网络模型的端到端网络结构进行模型训练。这里，代价函数可以为率失真代价函数，失真度为网络结构输入的训练图像和网络结构输出的重构图像之间的均方差。其中，码率通过利用超先验编码器、超先验解码器及上下文模型所得的概率分布计算特征图中像素包含的信息量进行估计。利用训练集合对编码网络模型和解码网络模型进行充分训练，在其代价函数对应的损失值达到收敛且收敛到预设阈值后，保存编码网络模型和解码网络模型，以作为本申请实施例中端到端网络结构的预设编码网络模型和预设解码网络模型。这里，预设阈值根据实际情况进行具体设定，本申请实施例不作任何限定。

在预设编码网络模型和预设解码网络模型的基础上，对后处理网络模型进行训练。具体地，在一些实施例中，该方法还可以包括：

获取多个重构训练块；其中，所述多个重构训练块是由所述训练集合中的至少一张训练图像所划分的多个训练块经由所述预设编码网络模型和所述预设解码网络模型后得到的；

构建后处理网络模型，以所述多个重构训练块和所述至少一张训练图像对所述后处理网络模型进行训练，得到所述预设后处理网络模型。

进一步地，所述以所述多个重构训练块和所述至少一张训练图像对所述后处理网络模型进行训练，得到所述预设后处理网络模型，可以包括：

基于所述多个重构训练块和所述至少一张训练图像，利用预设算法对所述后处理网络模型进行模型训练；

当所述模型训练的代价函数对应的损失值收敛到预设阈值时，将训练后得到的后处理网络模型确定为所述预设后处理网络模型。

需要说明的是，对于后处理网络模型的模型训练，也可以采用Adam梯度优化算法。针对训练集合中的训练图像，可以将其划分为等大且无重叠的多个训练块并输入预设编码网络模型和预设解码网络模型后，将所得到的多个重构块重新拼接为带有块效应的重构训练图像。这时候可以将带有块效应的重构训练图像作为后处理网络模型的训练输入图像，将训练集合中的训练图像作为后处理网络模型的训练目标图像；然后可以根据训练输入图像和训练目标图像的均方差构建模型训练的代价函数。在利用Adam梯度优化算法训练后处理网络的过程中，保持预设编码网络模型和预设解码网络模型的网络参数固定，仅迭代更新后处理网络模型。当其代价函数对应的损失(Loss)值达到收敛后，这时候训练得到的后处理网络模型即为预设后处理网络模型。这里，预设阈值根据实际情况进行具体设定，本申请实施例不作任何限定。

S603：利用预设后处理网络模型对所述多个重构块中至少一个重构块的中心区域进行质量增强，得到至少一个目标重构块。

S604：根据所述至少一个目标重构块和所述多个重构块，生成重构图像。

S605：利用所述预设后处理网络模型对所述重构图像中的块边界进行滤波处理，得到目标图像。

需要说明的是，在得到预设后处理网络模型后，可以利用该预设后处理网络模型对多个重构块中至少一个重构块的中心区域进行质量增强，以得到至少一个目标重构块；并根据这至少一个目标重构块，可以拼接生成重构图像；由于这里的重构图像中存在块效应，这时候可以利用同一个预设后处理网络模型对重构图像中的块边界进行滤波处理，得到消除块效应的目标图像。

具体地，在一些实施例中，所述利用所述预设后处理网络模型对所述重构图像中的块边界进行滤波处理，得到目标图像，可以包括：

确定所述重构图像中包括所述块边界的至少一个矩形区域；

将所述至少一个矩形区域输入所述预设后处理网络模型，得到至少一个处理后的矩形区域；

利用所述至少一个处理后的矩形区域替换所述重构图像中包括所述块边界的对应局部区域，得到所述目标图像。

进一步地，在所述得到至少一个处理后的矩形区域之后，该方法还可以包括：

对所述至少一个处理后的矩形区域进行裁剪，得到至少一个目标矩形区域；

利用所述至少一个目标矩形区域替换所述重构图像中包括所述块边界的对应局部区域，得到所述目标图像。

也就是说，在提取确定出重构图像中包括块边界的至少一个矩形区域后，可以将这至少一个矩形区域输入预设后处理网络模型，得到至少一个处理后的矩形区域；然后利用这至少一个处理后的矩形区域替换重构图像中包括块边界的对应局部区域，得到目标图像。这时候所得到的目标图像能够减弱块效应。为了进一步消除块效应，还可以消除预设后处理网络模型对边界补0的卷积操作所导致的边界图像失真，这时候需要对这至少一个处理后的矩形区域进行裁剪，比如舍弃左右两侧宽度为8像素、高度为128像素的边缘像素区域，仅保留中心大小为16*128的矩形区域，以得到至少一个目标矩形区域；最后利用这至少一个目标矩形区域替换重构图像中包括块边界的对应局部区域，可以得到无明显块效应的目标图像。

本实施例提供了一种图像处理方法，通过接收编码设备传输的码流；其中，所述码流是由待处理图像所划分的多个图像块经由预设编码网络模型后得到的；利用预设解码网络模型解析所述码流，获取多个重构块；利用预设后处理网络模型对所述多个重构块中至少一个重构块的中心区域进行质量增强，得到至少一个目标重构块；根据所述至少一个目标重构块和所述多个重构块，生成重构图像；利用所述预设后处理网络模型对所述重构图像中的块边界进行滤波处理，得到目标图像。这样，针对待处理图像所划分的多个图像块，块与块之间完全独立，可以利用预设编码网络模型和预设解码网络模型实现多核并行编解码处理；而且由于分块后输入预设编码网络模型和预设解码网络模型的图像尺寸降低，还可以降低编解码的运行时间以及运行内存需求；另外，通过对重构块的中心区域进行质量增强，还能够提高重构图像的峰值信噪比，同时减少了因与待滤波处理的区域重叠而导致的计算冗余；通过对重构图像中的块边界进行滤波处理，还能够消除分块边界处的块效应，且还进一步提高了重构图像的峰值信噪比。

本申请的又一实施例中，参见图9，其示出了本申请实施例提供的又一种图像处理方法的流程示意图。如图9所示，该方法可以包括：

S801：获取待处理图像。

S802：对所述待处理图像进行分块，得到多个图像块；其中，所述多个图像块大小相等且无重叠。

S803：利用预设编码网络模型对所述多个图像块进行编码，生成码流。

S804：将所述码流传输到解码设备。

需要说明的是，该方法应用于编码设备。在编码设备通过预设编码网络模型进行压缩编码生成码流后，可以将码流传输到解码设备，由解码设备利用预设解码网络模型来解析码流，从而获取到多个重构块。

还需要说明的是，预设编码网络模型和预设解码网络模型是基于神经网络结构进行模型训练得到的。其中，预设编码网络模型用于指示编码设备对待处理图像所划分的多个图像块进行编码以生成码流，预设解码网络模型用于解码设备解析码流以得到多个重构块。

这里，对于预设编码网络模型和预设解码网络模型而言，在一些实施例中，该方法还可以包括：

获取训练集合；其中，所述训练集合包括至少一张训练图像；

构建编码网络模型和解码网络模型，基于所述训练集合对所述编码网络模型和所述解码网络模型进行模型训练，得到预设编码网络模型和预设解码网络模型。

进一步地，所述基于所述训练集合对所述编码网络模型和所述解码网络模型进行模型训练，得到预设编码网络模型和预设解码网络模型，可以包括：

基于所述训练集合，利用预设算法对所述编码网络模型和所述解码网络模型进行模型训练；

当所述模型训练的代价函数对应的损失值收敛到预设阈值时，将训练后得到的编码网络模型和解码网络模型确定为所述预设编码网络模型和所述预设解码网络模型。

需要说明的是，对于编码网络模型和解码网络模型的构建，需要建立多层深度神经网络模型，即端到端的编解码网络结构，具体如图8所示。在构建出编码网络模型和解码网络模型后，可以采用Adam梯度优化算法对编码网络模型和解码网络模型进行模型训练。这里，代价函数可以为率失真代价函数，失真度为网络结构输入的训练图像和网络结构输出的重构图像之间的均方差。利用训练集合对编码网络模型和解码网络模型进行充分训练，在其代价函数对应的损失值达到收敛且收敛到预设阈值后，这时候训练得到的编码网络模型和解码网络模型即为本申请实施例中的预设编码网络模型和预设解码网络模型。这里，预设阈值根据实际情况进行具体设定，本申请实施例不作任何限定。

本实施例提供了一种图像处理方法，通过获取待处理图像；对所述待处理图像进行分块，得到多个图像块；其中，所述多个图像块大小相等且无重叠；利用预设编码网络模型对所述多个图像块进行编码，生成码流；将所述码流传输到解码设备。这样，针对待处理图像所划分的多个图像块，块与块之间完全独立，可以利用预设编码网络模型和预设解码网络模型实现多核并行编解码处理；而且由于分块后输入预设编码网络模型和预设解码网络模型的图像尺寸降低，从而降低了编解码的运行时间以及运行内存需求。

本申请的再一实施例中，基于前述实施例相同的发明构思，参见图10，其示出了本申请实施例提供的一种图像处理方法的详细流程示意图。如图10所示，该详细流程可以包括：

S901：构建训练集合。

需要说明的是，对于步骤S901来说，可以选取合适的静态图像训练集合。这里，训练集合的选取对于整个神经网络的训练有很大的影响，在本申请实施例中，可以选取NIC数据集。NIC数据集是基于深度学习的图像压缩的IEEE标准测试模型NIC的开发数据集，在该数据集中，可以包括有图像大小为256*256的训练集合，也可以包括有图像大小为256*256的验证集合和测试集合。

S902：建立多层深度神经网络模型，包括编码网络模型、解码网络模型和后处理网络模型。

需要说明的是，编码网络模型和解码网络模型的端到端网络结构如图8所示。编码端采用编码网络模型结构，包含主编码器、超先验编码器及上下文模型。主编码器的作用为将输入图像变换为通道数为192，行和列尺寸分别为原大小1/16的特征图。超先验编解码器及上下文模型的作用为根据特征图来估计特征图中像素的概率分布提供给熵编码器。在编码端，超先验编码器产生的压缩数据采用固定概率分布进行概率计算，经熵编码后作为额外信息加入到最终的压缩码流中。解码端采用解码网络模型结构，包含主解码器、超先验解码器及上下文模型。超先验解码器及上下文模型的作用为通过额外信息解码出特征图中像素的概率分布并提供给熵解码器。主解码器的作用为将特征图还原为重构图像。

对于后处理网络模型而言，具体如图3所示，可以由卷积层、激活函数及用于提高模型性能的多个级联的残差块构成。其中，残差块内部的具体网络结构如图4所示。在图中，k3n128表示卷积核大小为3*3，输出特征数为128，步长为1的卷积层；k33表示卷积核大小为3*3，输出特征数为3，步长为1的卷积层。

S903：利用训练集合和预设算法对编码网络模型和解码网络模型进行模型训练，得到预设编码网络模型和预设解码网络模型。

需要说明的是，对于步骤S903来说，可以采用Adam梯度优化算法对端到端的编码网络模型和解码网络模型进行模型训练。其中，代价函数为率失真代价函数，失真度为网络结构输入的训练图像与网络结构输出的重构图像之间的均方差；码率通过利用超先验编码器、超先验解码器及上下文模型所得的概率分布计算特征图中像素包含的信息量进行估计。通过在S901中建立的训练集合的基础上进行充分训练，当其代价函数对应的损失值达到收敛后，保存训练后的编码网络模型和解码网络模型，将其作为端到端的预设编码网络模型和预设解码网络模型。

S904：基于训练得到的预设编码网络模型和预设解码网络模型，利用训练集合和预设算法对后处理网络模型进行模型训练，得到预设后处理网络模型。

需要说明的是，使用步骤S903中保存的预设编码网络模型和预设解码网络模型对后处理网络模型进行模型训练。将步骤S901中所述训练集合中尺寸为256*256的训练图像，在将其划分为等大且无重叠的128*128的训练块并输入预设编码网络模型和预设解码网络模型后，将所得到的重构块重新拼接为256*256的带有块效应的重构训练图像。这时候可以将带有块效应的重构训练图像作为后处理网络模型的训练输入图像，将训练集合中未经编码压缩的训练图像作为后处理网络模型的训练目标图像；然后可以根据训练输入图像和训练目标图像的均方差构建模型训练的代价函数，采用Adam梯度优化算法训练后处理网络，在训练过程中保持预设编码网络模型和预设解码网络模型的网络参数固定，仅迭代更新后处理网络模型。在其代价函数对应的损失(Loss)值达到收敛后，这时候训练得到的后处理网络模型即为预设后处理网络模型。

S905：将待处理图像划分为128*128的等大小且无重叠的图像块并输入预设编码网络模型，生成待传输的码流。

需要说明的是，针对待处理图像，可以划分为等大无重叠的多个图像块，将这些图像块输入预设编码网络模型，以生成码流；具体可以是将预设编码网络模型的输出数据经过量化和无损熵编码输出为压缩数据。

也就是说，在编码端，将待处理图像划分为128*128等大小无重叠的图像块后输入预设编码网络模型，利用预设编码网络模型对每个图像块独立地进行编码产生特征图。然后对特征图采用四舍五入取整的方式进行量化，熵编码器则利用超先验编码器、超先验解码器及上下文模型提供的概率分布对量化后的特征图进行无损熵编码(如算术编码)形成码流，并与超先验编码器产生的额外码流叠加作为最终的压缩数据，再以码流形式传输到解码端。

S906：通过预设解码网络模型解析码流，得到128*128的重构块。

需要说明的是，解码端以同编码端对称的方式，通过熵解码器和预设解码网络模型将每个块的特征图重建为128*128的重构块。

S907：利用预设后处理网络模型对重构块的中心区域进行质量增强，并且拼接生成重构图像。

需要说明的是，对于步骤S907来说，对步骤S906中的重构块进行中心增强处理。具体地，采用如图5所示的方式提取重构块中心大小为112*112的中心区域。将该中心区域输入步骤S904中训练的预设后处理网络模型，用以增强块中心区域的图像质量；最后利用预设后处理网络模型的输出替换步骤S906中的重构块对应的中心区域；并且通过拼接生成重构图像。

S908：利用预设后处理网络模型对重构图像中的块边界进行局部后处理，得到目标图像。

需要说明的是，对于步骤S908来说，对步骤S907中重构图像的块边界进行局部后处理。具体地，采用如图6所示的方式提取图像边界附近的矩形区域。对于横向边界的矩形区域具体范围为，横向：块边界左侧16像素至块边界右侧16像素，纵向：块上沿至块下沿。对于纵向边界的矩形区域具体范围为，纵向：块边界上侧16像素至块边界下侧16像素。横向：块左沿至块右沿。对于步骤S906中采用大小为128*128重构块拼接成的重构图像，其矩形区域的大小均为32*128像素。将该矩形区域像素输入步骤S904中训练的预设后处理网络模型，输出减弱块效应的边界矩形区域。为了进一步消除预设后处理网络模型中对边界补0的卷积操作所导致的边界图像失真，本申请实施例可以对预设后处理网络模型输出的矩形区域进行进一步裁剪，例如，舍弃左右两侧宽度为8像素，高度为128像素的边缘像素区域，仅保留中心大小为16*128的矩形区域。最后用该大小为16*128的矩形区域替换原重构图像中对应的块边界矩形区域，可以得到无明显块效应的重构图像。

这样，本申请实施例提供了一种对于静态图像的分块编解码方案，通过对输入图像进行分块后对每个图像块进行独立地进行编解码，能够实现图像的多核并行编解码处理，从而减少了对图像进行编解码所需的运行时间以及每个核的运行内存需求；另外，针对重构块中心进行增强，可以提高其峰值信噪比；针对重构图像的边界处进行局部后处理，可以减小分块边界处的块效应。具体步骤如下：(1)选取合适的静态图像训练集合、训练集合和验证集合；(2)建立端到端网络的编码网络模型、解码网络模型以及重构图像的后处理网络模型；(3)训练端到端网络的编码网络模型和解码网络模型，训练后得到预设编码网络模型和预设解码网络模型；(4)将训练集合中的训练图像分成128*128的无重叠块输入训练后的预设编码网络模型和预设解码网络模型，然后将解码得到的重构块拼接成重构图像后作为新的训练数据训练后处理网络模型，训练后得到预设后处理网络模型；(5)编码端通过预设编码网络模型后的输出数据，在经过量化和无损熵编码后作为压缩数据，以码流形式传输到解码端；(6)解码端通过预设解码网络模型将码流还原成128*128的重构块；(7)对重构块的中心区域采用预设后处理网络模型进行增强，并将其拼接为重构图像；(8)利用与步骤(7)中相同的预设后处理网络模型对重构图像中的块边界区域进行局部后处理，以减小边界处的块效应，最后得到目标图像。

简言之，在本申请实施例中，在现有图像编解码网络结构的基础上对输入图像作分块处理，块与块之间独立地编解码，实现编解码多核并行处理，能够降低运行时间及单核运行内存需求。另外，采用后处理网络模型对重构块的中心区域进行增强，提高重构图像的峰值信噪比，同时只对块中心区域进行后处理，还减少了因与待滤波处理的区域重叠而导致的计算冗余。同时针对重构图像中块边界处的矩形区域采用与质量增强处理相同的预设后处理网络模型进行局部后处理，这样采用同一个预设后处理网络模型能够减小解码端用于存储网络参数所需要的存储空间。这里，每个矩形区域在处理过程中完全独立，能够实现后处理的并行化，从而能够达到降低运行时间及单核内存需求的效果。

也就是说，本申请实施例的技术方案能够实现图像的多核并行编解码，且降低单核编解码运行时间及运行内存需求。由于基于预设编码网络模型和预设解码网络模型的编解码过程，对于划分得到多个图像块的块与块之间完成独立，因此可以实现图像的多核并行编解码。另外，由于分块后输入预设编码网络模型和预设解码网络模型的图像尺寸降低，因此还降低了单核编解码所需要的运行时间及运行内存需求。如表1所示，在原图像大小为512*768的柯达测试集中，每个核的运行时间及单核运行内存需求均减小为无分块编解码处理的1/20。其中，运行时间的单位为秒(Second，s)，运行内存需求的单位为兆字节(MByte，MB)。

表1

	无分块编解码网络参数	有分块编解码网络参数
			运行时间(s)	10.85	0.5
运行内存需求(MB)	5195	263

另外，本申请实施例的技术方案采用预设后处理网络模型对重构块的中心区域进行增强，可以提高重构图像的峰值信噪比。而且本申请实施例的技术方案采用预设后处理网络模型消除重构图像中的块效应，进一步提高了重构图像的峰值信噪比。这里，本申请实施例的技术方案采用预设后处理网络模型解决了由于分块编解码导致块边界不连续产生的块效应；如图11A和图11B所示，图11A的重构图像中明显存在块效应，在经过后处理之后，图11B可以明显看出重构图像的块效应问题得到了有效解决。如图12所示，其示出了码率和峰值信噪比之间的率失真曲线示例；经过预设后处理网络模型的后处理之后，可以提升峰值信噪比约0.08～0.11dB，在实现重构图像分块多核并行后处理的同时，能够达到整幅图像后处理80％～90％的峰值信噪比增益效果。这里，如表2所示，在对重构块的中心区域进行增强时，每个核后处理所需运行时间和运行内存需求为整幅图像后处理的1/30；在对重构图像中边界区域进行去块效应处理时，每个核后处理所需运行时间和运行内存需求为整幅图像后处理的1/90。

表2

本实施例提供了一种图像处理方法，通过本实施例对前述实施例的具体实现进行了详细阐述，从中可以看出，针对待处理图像所划分的多个图像块，块与块之间完全独立，可以利用预设编码网络模型和预设解码网络模型实现多核并行编解码处理；而且由于分块后输入预设编码网络模型和预设解码网络模型的图像尺寸降低，还可以降低编解码的运行时间以及运行内存需求；另外，通过对重构块的中心区域进行质量增强，还能够提高重构图像的峰值信噪比，同时减少了因与待滤波处理的区域重叠而导致的计算冗余；通过对重构图像中的块边界进行滤波处理，还能够消除分块边界处的块效应，且还进一步提高了重构图像的峰值信噪比。

本申请的再一实施例中，基于前述实施例相同的发明构思，参见图13，其示出了本申请实施例提供的一种图像处理装置120的组成结构示意图。如图13所示，图像处理装置120可以包括：获取单元1201、确定单元1202、增强单元1203和处理单元1204；其中，

获取单元1201，配置为获取多个重构块；其中，所述多个重构块是由待处理图像所划分的多个图像块经由预设编码网络模型和预设解码网络模型后得到的；

确定单元1202，配置为确定所述多个重构块中至少一个重构块的中心区域；

增强单元1203，配置为对所述至少一个重构块的中心区域进行质量增强，得到至少一个目标重构块；

处理单元1204，配置为根据所述至少一个目标重构块和所述多个重构块，生成重构图像；以及对所述重构图像中的块边界进行滤波处理，得到目标图像。

在一些实施例中，增强单元1203，具体配置为对所述至少一个重构块的中心区域进行质量增强，得到至少一个增强区域；以及根据所述至少一个增强区域对应替换所述至少一个重构块的中心区域，得到所述至少一个目标重构块。

在一些实施例中，处理单元1204，具体配置为利用所述至少一个目标重构块对应替换所述多个重构块中至少一个重构块，将替换后得到的多个重构块进行拼接，生成所述重构图像。

在一些实施例中，参见图13，图像处理装置120还可以包括构建单元1205，配置为构建预设后处理网络模型；

增强单元1203，具体配置为利用所述预设后处理网络模型对所述至少一个重构块的中心区域进行质量增强，得到至少一个目标重构块；

处理单元1204，具体配置为利用所述预设后处理网络模型对所述重构图像中的块边界进行滤波处理，得到目标图像。

在一些实施例中，参见图13，图像处理装置120还可以包括训练单元1206；其中，

获取单元1201，还配置为获取多个重构训练块；其中，所述多个重构训练块是由训练集合中的至少一张训练图像所划分的多个训练块经由所述预设编码网络模型和所述预设解码网络模型后得到的；

构建单元1205，还配置为构建后处理网络模型；

训练单元1206，配置为以所述多个重构训练块和所述至少一张训练图像对所述后处理网络模型进行训练，得到所述预设后处理网络模型。

进一步地，训练单元1206，具体配置为基于所述多个重构训练块和所述至少一张训练图像，利用预设算法对所述后处理网络模型进行模型训练；当所述模型训练的代价函数对应的损失值收敛到预设阈值时，将训练后得到的后处理网络模型确定为所述预设后处理网络模型。

在一些实施例中，确定单元1202，还配置为确定所述重构图像中包括所述块边界的至少一个矩形区域；

处理单元1204，具体配置为将所述至少一个矩形区域输入所述预设后处理网络模型，得到至少一个处理后的矩形区域；以及利用所述至少一个处理后的矩形区域替换所述重构图像中包括所述块边界的对应局部区域，得到所述目标图像。

进一步地，处理单元1204，还配置为对所述至少一个处理后的矩形区域进行裁剪，得到至少一个目标矩形区域；以及利用所述至少一个目标矩形区域替换所述重构图像中包括所述块边界的对应局部区域，得到所述目标图像。

可以理解地，在本申请实施例中，“单元”可以是部分电路、部分处理器、部分程序或软件等等，当然也可以是模块，还可以是非模块化的。而且在本实施例中的各组成部分可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

所述集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中，基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或processor(处理器)执行本实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

因此，本申请实施例提供了一种计算机存储介质，应用于图像处理装置120，该计算机存储介质存储有图像处理程序，所述图像处理程序被第一处理器执行时实现前述实施例中任一项所述的方法。

基于上述图像处理装置120的组成以及计算机存储介质，参见图14，其示出了本申请实施例提供的图像处理装置120的硬件结构示意图。如图14所示，图像处理装置120可以包括：第一通信接口1301、第一存储器1302和第一处理器1303；各个组件通过第一总线系统1304耦合在一起。可理解，第一总线系统1304用于实现这些组件之间的连接通信。第一总线系统1304除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图14中将各种总线都标为第一总线系统1304。其中，

第一通信接口1301，用于在与其他外部网元之间进行收发信息过程中，信号的接收和发送；

第一存储器1302，用于存储能够在第一处理器1303上运行的计算机程序；

第一处理器1303，用于在运行所述计算机程序时，执行：

获取多个重构块；其中，所述多个重构块是由待处理图像所划分的多个图像块经由预设编码网络模型和预设解码网络模型后得到的；

确定所述多个重构块中至少一个重构块的中心区域；

对所述至少一个重构块的中心区域进行质量增强，得到至少一个目标重构块；

根据所述至少一个目标重构块和所述多个重构块，生成重构图像；

对所述重构图像中的块边界进行滤波处理，得到目标图像。

可以理解，本申请实施例中的第一存储器1302可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本申请描述的系统和方法的第一存储器1302旨在包括但不限于这些和任意其它适合类型的存储器。

而第一处理器1303可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过第一处理器1303中的硬件的集成逻辑电路或者软件形式的指令完成。上述的第一处理器1303可以是通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于第一存储器1302，第一处理器1303读取第一存储器1302中的信息，结合其硬件完成上述方法的步骤。

可以理解的是，本申请描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(Application Specific Integrated Circuits，ASIC)、数字信号处理器(Digital SignalProcessing，DSP)、数字信号处理设备(DSP Device，DSPD)、可编程逻辑设备(ProgrammableLogic Device，PLD)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。对于软件实现，可通过执行本申请所述功能的模块(例如过程、函数等)来实现本申请所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。

可选地，作为另一个实施例，第一处理器1303还配置为在运行所述计算机程序时，执行前述实施例中任一项所述的方法。

本实施例提供了一种图像处理装置，该图像处理装置可以包括获取单元、确定单元、增强单元和处理单元。这样，针对待处理图像所划分的多个图像块，块与块之间完全独立，可以利用预设编码网络模型和预设解码网络模型实现多核并行编解码处理；而且由于分块后输入预设编码网络模型和预设解码网络模型的图像尺寸降低，还可以降低编解码的运行时间以及运行内存需求；另外，通过对重构块的中心区域进行质量增强，还能够提高重构图像的峰值信噪比，同时减少了因与待滤波处理的区域重叠而导致的计算冗余；通过对重构图像中的块边界进行滤波处理，还能够消除分块边界处的块效应，且还进一步提高了重构图像的峰值信噪比。

本申请的再一实施例中，基于前述实施例相同的发明构思，参见图15，其示出了本申请实施例提供的一种解码设备140的组成结构示意图。如图15所示，解码设备140可以包括：接收单元1401、解码单元1402和后处理单元1403；其中，

接收单元1401，配置为接收编码设备传输的码流；其中，所述码流是由待处理图像所划分的多个图像块经由预设编码网络模型后得到的；

解码单元1402，配置为利用预设解码网络模型解析所述码流，获取多个重构块；

后处理单元1403，配置为利用预设后处理网络模型对所述多个重构块中至少一个重构块的中心区域进行质量增强，得到至少一个目标重构块；以及根据所述至少一个目标重构块和所述多个重构块，生成重构图像，并利用所述预设后处理网络模型对所述重构图像中的块边界进行滤波处理，得到目标图像。

在一些实施例中，参见图15，解码设备140还可以包括获取单元1404、构建单元1405和训练单元1406；其中，

获取单元1404，配置为获取训练集合；其中，所述训练集合包括至少一张训练图像；

构建单元1405，配置为构建编码网络模型和解码网络模型；

训练单元1406，配置为基于所述训练集合对所述编码网络模型和所述解码网络模型进行模型训练，得到所述预设编码网络模型和所述预设解码网络模型。

进一步地，训练单元1406，具体配置为基于所述训练集合，利用预设算法对所述编码网络模型和所述解码网络模型进行模型训练；以及当所述模型训练的代价函数对应的损失值收敛到预设阈值时，将训练后得到的编码网络模型和解码网络模型确定为所述预设编码网络模型和所述预设解码网络模型。

在一些实施例中，获取单元1404，还配置为获取多个重构训练块；其中，所述多个重构训练块是由所述训练集合中的至少一张训练图像所划分的多个训练块经由所述预设编码网络模型和所述预设解码网络模型后得到的；

构建单元1405，还配置为构建后处理网络模型；

训练单元1406，还配置为以所述多个重构训练块和所述至少一张训练图像对所述后处理网络模型进行训练，得到所述预设后处理网络模型。

进一步地，训练单元1406，具体配置为基于所述多个重构训练块和所述至少一张训练图像，利用预设算法对所述后处理网络模型进行模型训练；以及当所述模型训练的代价函数对应的损失值收敛到预设阈值时，将训练后得到的后处理网络模型确定为所述预设后处理网络模型。

在一些实施例中，后处理单元1403，具体配置为确定所述重构图像中包括所述块边界的至少一个矩形区域；以及将所述至少一个矩形区域输入所述预设后处理网络模型，得到至少一个处理后的矩形区域；以及利用所述至少一个处理后的矩形区域替换所述重构图像中包括所述块边界的对应局部区域，得到所述目标图像。

进一步地，后处理单元1403，还配置为对所述至少一个处理后的矩形区域进行裁剪，得到至少一个目标矩形区域；以及利用所述至少一个目标矩形区域替换所述重构图像中包括所述块边界的对应局部区域，得到所述目标图像。

可以理解地，在本实施例中，“单元”可以是部分电路、部分处理器、部分程序或软件等等，当然也可以是模块，还可以是非模块化的。而且在本实施例中的各组成部分可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

所述集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本实施例提供了一种计算机存储介质，应用于解码设备140，该计算机存储介质存储有图像处理程序，所述图像处理程序被第二处理器执行时实现前述实施例中任一项所述的方法。

基于上述解码设备140的组成以及计算机存储介质，参见图16，其示出了本申请实施例提供的解码设备140的硬件结构示意图。如图16所示，解码设备140可以包括：第二通信接口1501、第二存储器1502和第二处理器1503；各个组件通过第二总线系统1504耦合在一起。可理解，第二总线系统1504用于实现这些组件之间的连接通信。第二总线系统1504除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图16中将各种总线都标为第二总线系统1504。其中，

第二通信接口1501，用于在与其他外部网元之间进行收发信息过程中，信号的接收和发送；

第二存储器1502，用于存储能够在第二处理器1503上运行的计算机程序；

第二处理器1503，用于在运行所述计算机程序时，执行：

接收编码设备传输的码流；其中，所述码流是由待处理图像所划分的多个图像块经由预设编码网络模型后得到的；

利用预设解码网络模型解析所述码流，获取多个重构块；

利用预设后处理网络模型对所述多个重构块中至少一个重构块的中心区域进行质量增强，得到至少一个目标重构块；

根据所述至少一个目标重构块和所述多个重构块，生成重构图像；

利用所述预设后处理网络模型对所述重构图像中的块边界进行滤波处理，得到目标图像。

可选地，作为另一个实施例，第二处理器1503还配置为在运行所述计算机程序时，执行前述实施例中任一项所述的方法。

可以理解，第二存储器1502与第一存储器1302的硬件功能类似，第二处理器1503与第一处理器1303的硬件功能类似；这里不再详述。

本实施例提供了一种解码设备，该解码设备可以包括接收单元、解码单元和后处理单元。这样，针对待处理图像所划分的多个图像块，块与块之间完全独立，可以利用预设编码网络模型和预设解码网络模型实现多核并行编解码处理；而且由于分块后输入预设编码网络模型和预设解码网络模型的图像尺寸降低，还可以降低编解码的运行时间以及运行内存需求；另外，通过对重构块的中心区域进行质量增强，还能够提高重构图像的峰值信噪比，同时减少了因与待滤波处理的区域重叠而导致的计算冗余；通过对重构图像中的块边界进行滤波处理，还能够消除分块边界处的块效应，且还进一步提高了重构图像的峰值信噪比。

本申请的再一实施例中，基于前述实施例相同的发明构思，参见图17，其示出了本申请实施例提供的一种编码设备160的组成结构示意图。如图17所示，编码设备160可以包括：获取单元1601、分块单元1602、编码单元1603和发送单元1604；其中，

获取单元1601，配置为获取待处理图像；

分块单元1602，配置为对所述待处理图像进行分块，得到多个图像块；其中，所述多个图像块大小相等且无重叠；

编码单元1603，配置为利用预设编码网络模型对所述多个图像块进行编码，生成码流；

发送单元1604，配置为将所述码流传输到解码设备。

在一些实施例中，参见图17，编码设备160还可以包括构建单元1605和训练单元1606；其中，

获取单元1601，还配置为获取训练集合；其中，所述训练集合包括至少一张训练图像；

构建单元1605，配置为构建编码网络模型和解码网络模型；

训练单元1606，配置为基于所述训练集合对所述编码网络模型和所述解码网络模型进行模型训练，得到预设编码网络模型和预设解码网络模型；其中，预设解码网络模型用于指示所述解码设备解析所述码流以得到多个重构块。

进一步地，训练单元1606，具体配置为基于所述训练集合，利用预设算法对所述编码网络模型和所述解码网络模型进行模型训练；以及当所述模型训练的代价函数对应的损失值收敛到预设阈值时，将训练后得到的编码网络模型和解码网络模型确定为所述预设编码网络模型和所述预设解码网络模型。

可以理解地，在本实施例中，“单元”可以是部分电路、部分处理器、部分程序或软件等等，当然也可以是模块，还可以是非模块化的。而且在本实施例中的各组成部分可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

所述集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本实施例提供了一种计算机存储介质，应用于编码设备160，该计算机存储介质存储有图像处理程序，所述图像处理程序被第三处理器执行时实现前述实施例中任一项所述的方法。

基于上述编码设备160的组成以及计算机存储介质，参见图18，其示出了本申请实施例提供的编码设备160的硬件结构示意图。如图18所示，解码设备140可以包括：第三通信接口1701、第三存储器1702和第三处理器1703；各个组件通过第三总线系统1704耦合在一起。可理解，第三总线系统1704用于实现这些组件之间的连接通信。第三总线系统1704除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图18中将各种总线都标为第三总线系统1704。其中，

第三通信接口1701，用于在与其他外部网元之间进行收发信息过程中，信号的接收和发送；

第三存储器1702，用于存储能够在第三处理器1703上运行的计算机程序；

第三处理器1703，用于在运行所述计算机程序时，执行：

获取待处理图像；

对所述待处理图像进行分块，得到多个图像块；其中，所述多个图像块大小相等且无重叠；

利用预设编码网络模型对所述多个图像块进行编码，生成码流；

将所述码流传输到解码设备。

可选地，作为另一个实施例，第三处理器1703还配置为在运行所述计算机程序时，执行前述实施例中任一项所述的方法。

可以理解，第三存储器1702与第一存储器1302的硬件功能类似，第三处理器1703与第一处理器1303的硬件功能类似；这里不再详述。

本实施例提供了一种编码设备，该编码设备可以包括获取单元、分块单元、编码单元和发送单元。这样，针对待处理图像所划分的多个图像块，块与块之间完全独立，可以利用预设编码网络模型和预设解码网络模型实现多核并行编解码处理；而且由于分块后输入预设编码网络模型和预设解码网络模型的图像尺寸降低，从而降低了编解码的运行时间以及运行内存需求。

本申请的再一实施例中，基于前述实施例相同的发明构思，参见图19，其示出了本申请实施例提供的一种视频系统180的组成结构示意图。如图19所示，视频系统180可以包括：前述实施例所述的编码设备160和前述实施例所述的解码设备140。其中，

编码设备160，配置为获取待处理图像；以及对所述待处理图像进行分块，得到多个图像块；其中，所述多个图像块大小相等且无重叠；以及利用预设编码网络模型对所述多个图像块进行编码，生成码流；并将所述码流传输到解码设备140；

解码设备140，配置为接收编码设备160传输的码流；以及利用预设解码网络模型解析所述码流，获取多个重构块；以及利用预设后处理网络模型对所述多个重构块中至少一个重构块的中心区域进行质量增强，得到至少一个目标重构块；以及根据所述至少一个目标重构块和所述多个重构块，生成重构图像，并利用所述预设后处理网络模型对所述重构图像中的块边界进行滤波处理，得到目标图像。

在本申请实施例中，针对待处理图像所划分的多个图像块，块与块之间完全独立，可以利用预设编码网络模型和预设解码网络模型实现多核并行编解码处理；而且由于分块后输入预设编码网络模型和预设解码网络模型的图像尺寸降低，还可以降低编解码的运行时间以及运行内存需求；另外，通过对重构块的中心区域进行质量增强，还能够提高重构图像的峰值信噪比，同时减少了因与待滤波处理的区域重叠而导致的计算冗余；通过对重构图像中的块边界进行滤波处理，还能够消除分块边界处的块效应，且还进一步提高了重构图像的峰值信噪比。

需要说明的是，在本申请中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。

本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。

本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (26)

1.一种图像处理方法，其特征在于，应用于图像处理装置，所述方法包括：

获取多个重构块；其中，所述多个重构块是由待处理图像所划分的多个图像块经由预设编码网络模型和预设解码网络模型后得到的；

确定所述多个重构块中至少一个重构块的中心区域；

对所述至少一个重构块的中心区域进行质量增强，得到至少一个目标重构块；

根据所述至少一个目标重构块和所述多个重构块，生成重构图像；

对所述重构图像中的块边界进行滤波处理，得到目标图像。

2.根据权利要求1所述的方法，其特征在于，所述对所述至少一个重构块的中心区域进行质量增强，得到至少一个目标重构块，包括：

对所述至少一个重构块的中心区域进行质量增强，得到至少一个增强区域；

根据所述至少一个增强区域对应替换所述至少一个重构块的中心区域，得到所述至少一个目标重构块。

3.根据权利要求1所述的方法，其特征在于，所述根据所述至少一个目标重构块和所述多个重构块，生成重构图像，包括：

利用所述至少一个目标重构块对应替换所述多个重构块中至少一个重构块，将替换后得到的多个重构块进行拼接，生成所述重构图像。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述方法还包括：

构建预设后处理网络模型；

相应地，所述对所述至少一个重构块的中心区域进行质量增强，得到至少一个目标重构块，包括：

利用所述预设后处理网络模型对所述至少一个重构块的中心区域进行质量增强，得到至少一个目标重构块；

所述对所述重构图像中的块边界进行滤波处理，得到目标图像，包括：

利用所述预设后处理网络模型对所述重构图像中的块边界进行滤波处理，得到目标图像。

5.根据权利要求4所述的方法，其特征在于，所述构建预设后处理网络模型，包括：

获取多个重构训练块；其中，所述多个重构训练块是由训练集合中的至少一张训练图像所划分的多个训练块经由所述预设编码网络模型和所述预设解码网络模型后得到的；

构建后处理网络模型，以所述多个重构训练块和所述至少一张训练图像对所述后处理网络模型进行训练，得到所述预设后处理网络模型。

6.根据权利要求5所述的方法，其特征在于，所述以所述多个重构训练块和所述至少一张训练图像对所述后处理网络模型进行训练，得到所述预设后处理网络模型，包括：

基于所述多个重构训练块和所述至少一张训练图像，利用预设算法对所述后处理网络模型进行模型训练；

当所述模型训练的代价函数对应的损失值收敛到预设阈值时，将训练后得到的后处理网络模型确定为所述预设后处理网络模型。

7.根据权利要求4所述的方法，其特征在于，所述基于所述预设后处理网络模型对所述重构图像中的块边界进行滤波处理，得到目标图像，包括：

确定所述重构图像中包括所述块边界的至少一个矩形区域；

将所述至少一个矩形区域输入所述预设后处理网络模型，得到至少一个处理后的矩形区域；

利用所述至少一个处理后的矩形区域替换所述重构图像中包括所述块边界的对应局部区域，得到所述目标图像。

8.根据权利要求7所述的方法，其特征在于，在所述得到至少一个处理后的矩形区域之后，所述方法还包括：

对所述至少一个处理后的矩形区域进行裁剪，得到至少一个目标矩形区域；

利用所述至少一个目标矩形区域替换所述重构图像中包括所述块边界的对应局部区域，得到所述目标图像。

9.一种图像处理方法，其特征在于，应用于解码设备，所述方法包括：

接收编码设备传输的码流；其中，所述码流是由待处理图像所划分的多个图像块经由预设编码网络模型后得到的；

利用预设解码网络模型解析所述码流，获取多个重构块；

利用预设后处理网络模型对所述多个重构块中至少一个重构块的中心区域进行质量增强，得到至少一个目标重构块；

根据所述至少一个目标重构块和所述多个重构块，生成重构图像；

利用所述预设后处理网络模型对所述重构图像中的块边界进行滤波处理，得到目标图像。

10.根据权利要求9所述的方法，其特征在于，所述方法还包括：

获取训练集合；其中，所述训练集合包括至少一张训练图像；

构建编码网络模型和解码网络模型，基于所述训练集合对所述编码网络模型和所述解码网络模型进行模型训练，得到所述预设编码网络模型和所述预设解码网络模型。

11.根据权利要求10所述的方法，其特征在于，所述基于所述训练集合对所述编码网络模型和所述解码网络模型进行模型训练，得到所述预设编码网络模型和所述预设解码网络模型，包括：

基于所述训练集合，利用预设算法对所述编码网络模型和所述解码网络模型进行模型训练；

当所述模型训练的代价函数对应的损失值收敛到预设阈值时，将训练后得到的编码网络模型和解码网络模型确定为所述预设编码网络模型和所述预设解码网络模型。

12.根据权利要求10所述的方法，其特征在于，所述方法还包括：

获取多个重构训练块；其中，所述多个重构训练块是由所述训练集合中的至少一张训练图像所划分的多个训练块经由所述预设编码网络模型和所述预设解码网络模型后得到的；

构建后处理网络模型，以所述多个重构训练块和所述至少一张训练图像对所述后处理网络模型进行训练，得到所述预设后处理网络模型。

13.根据权利要求12所述的方法，其特征在于，所述以所述多个重构训练块和所述至少一张训练图像对所述后处理网络模型进行训练，得到所述预设后处理网络模型，包括：

基于所述多个重构训练块和所述至少一张训练图像，利用预设算法对所述后处理网络模型进行模型训练；

当所述模型训练的代价函数对应的损失值收敛到预设阈值时，将训练后得到的后处理网络模型确定为所述预设后处理网络模型。

14.根据权利要求9至13任一项所述的方法，其特征在于，所述利用所述预设后处理网络模型对所述重构图像中的块边界进行滤波处理，得到目标图像，包括：

确定所述重构图像中包括所述块边界的至少一个矩形区域；

将所述至少一个矩形区域输入所述预设后处理网络模型，得到至少一个处理后的矩形区域；

利用所述至少一个处理后的矩形区域替换所述重构图像中包括所述块边界的对应局部区域，得到所述目标图像。

15.根据权利要求14所述的方法，其特征在于，在所述得到至少一个处理后的矩形区域之后，所述方法还包括：

对所述至少一个处理后的矩形区域进行裁剪，得到至少一个目标矩形区域；

利用所述至少一个目标矩形区域替换所述重构图像中包括所述块边界的对应局部区域，得到所述目标图像。

16.一种图像处理方法，其特征在于，应用于编码设备，所述方法包括：

获取待处理图像；

对所述待处理图像进行分块，得到多个图像块；其中，所述多个图像块大小相等且无重叠；

利用预设编码网络模型对所述多个图像块进行编码，生成码流；

将所述码流传输到解码设备。

17.根据权利要求16所述的方法，其特征在于，所述方法还包括：

获取训练集合；其中，所述训练集合包括至少一张训练图像；

构建编码网络模型和解码网络模型，基于所述训练集合对所述编码网络模型和所述解码网络模型进行模型训练，得到预设编码网络模型和预设解码网络模型；其中，所述预设解码网络模型用于指示所述解码设备解析所述码流以得到多个重构块。

18.根据权利要求17所述的方法，其特征在于，所述基于所述训练集合对所述编码网络模型和所述解码网络模型进行模型训练，得到预设编码网络模型和预设解码网络模型，包括：

基于所述训练集合，利用预设算法对所述编码网络模型和所述解码网络模型进行模型训练；

当所述模型训练的代价函数对应的损失值收敛到预设阈值时，将训练后得到的编码网络模型和解码网络模型确定为所述预设编码网络模型和所述预设解码网络模型。

19.一种图像处理装置，其特征在于，所述图像处理装置包括：获取单元、确定单元、增强单元和处理单元；其中，

所述获取单元，配置为获取多个重构块；其中，所述多个重构块是由待处理图像所划分的多个图像块经由预设编码网络模型和预设解码网络模型后得到的；

所述确定单元，配置为确定所述多个重构块中至少一个重构块的中心区域；

所述增强单元，配置为对所述至少一个重构块的中心区域进行质量增强，得到至少一个目标重构块；

所述处理单元，配置为根据所述至少一个目标重构块和所述多个重构块，生成重构图像；以及对所述重构图像中的块边界进行滤波处理，得到目标图像。

20.一种图像处理装置，其特征在于，所述图像处理装置包括：第一存储器和第一处理器；其中，

所述第一存储器，用于存储能够在所述第一处理器上运行的可执行指令；

所述第一处理器，用于在运行所述可执行指令时，执行如权利要求1至8任一项所述的方法。

21.一种解码设备，其特征在于，所述解码设备包括：接收单元、解码单元和后处理单元；其中，

所述接收单元，配置为接收编码设备传输的码流；其中，所述码流是由待处理图像所划分的多个图像块经由预设编码网络模型后得到的；

所述解码单元，配置为利用预设解码网络模型解析所述码流，获取多个重构块；

所述后处理单元，配置为利用预设后处理网络模型对所述多个重构块中至少一个重构块的中心区域进行质量增强，得到至少一个目标重构块；以及根据所述至少一个目标重构块和所述多个重构块，生成重构图像，并利用所述预设后处理网络模型对所述重构图像中的块边界进行滤波处理，得到目标图像。

22.一种解码设备，其特征在于，所述解码设备包括：第二存储器和第二处理器；其中，

所述第二存储器，用于存储能够在所述第二处理器上运行的可执行指令；

所述第二处理器，用于在运行所述可执行指令时，执行如权利要求9至15任一项所述的方法。

23.一种编码设备，其特征在于，所述编码设备包括：获取单元、分块单元、编码单元和发送单元；其中，

所述获取单元，配置为获取待处理图像；

所述分块单元，配置为对所述待处理图像进行分块，得到多个图像块；其中，所述多个图像块大小相等且无重叠；

所述编码单元，配置为利用预设编码网络模型对所述多个图像块进行编码，生成码流；

所述发送单元，配置为将所述码流传输到解码设备。

24.一种编码设备，其特征在于，所述编码设备包括：第三存储器和第三处理器；其中，

所述第三存储器，用于存储能够在所述第三处理器上运行的可执行指令；

所述第三处理器，用于在运行所述可执行指令时，执行如权利要求16至18任一项所述的方法。

25.一种计算机存储介质，其特征在于，所述计算机存储介质存储有图像处理程序，所述图像处理程序被第一处理器执行时实现如权利要求1至8任一项所述的方法、或者被第二处理器执行时实现如权利要求9至15任一项所述的方法、或者被第三处理器执行时实现如权利要求16至18任一项所述的方法。

26.一种视频系统，其特征在于，所述视频系统包括：编码设备和解码设备；其中，

所述编码设备，配置为获取待处理图像；以及对所述待处理图像进行分块，得到多个图像块；其中，所述多个图像块大小相等且无重叠；以及利用预设编码网络模型对所述多个图像块进行编码，生成码流；并将所述码流传输到解码设备；

所述解码设备，配置为接收所述编码设备传输的码流；以及利用预设解码网络模型解析所述码流，获取多个重构块；以及利用预设后处理网络模型对所述多个重构块中至少一个重构块的中心区域进行质量增强，得到至少一个目标重构块；以及根据所述至少一个目标重构块和所述多个重构块，生成重构图像，并利用所述预设后处理网络模型对所述重构图像中的块边界进行滤波处理，得到目标图像。

Images