CN114463453A - 图像重建、编码解码方法、相关装置 - Google Patents

Abstract

本发明提供一种图像重建、编码解码方法、相关装置，图像重建方法基于图像重建模型进行，图像重建模型包括特征处理层、超分处理层以及增强处理层，方法包括：利用特征处理层对输入图像进行特征提取，得到特征图像；利用超分处理层对特征图像进行处理，得到第一输出图像；以及利用增强处理层对特征图像进行处理，得到第二输出图像；其中，第一输出图像的分辨率大于输入图像的分辨率；第二输出图像的客观质量大于输入图像的客观质量。图像超分与增强共用特征处理层，提高了计算性能，并且降低了计算资源开销。

Description

图像重建、编码解码方法、相关装置

技术领域

本发明涉及视频编解码技术领域，特别是涉及一种图像重建、编码解码方法、相关装置。

背景技术

视频图像数据量比较大，通常需要对视频像素数据(RGB、YUV等)进行压缩，压缩后的数据称之为视频码流，视频码流通过有线或者无线网络传输至用户端，再进行解码观看。整个视频编码流程包括块划分、预测、变换、量化、编码等过程。为了更有效地压缩视频数据，在编解码中将高分辨率图像下采样为低分辨率图像，在需要高分辨率图像时通过上采样进行放大或超分辨率技术进行重建。

超分辨率重建技术不仅需要将低分辨率图像放大，并且通过模型对缺失的信息进行重建，从而恢复出高分辨率图像。超分辨率重建技术的模型通常包括先验、神经网络等。

在现有技术中，质量增强和超分辨率重建网络是被独立训练和使用的，当二者组合使用时，总性能远低于二者独立性能之和，不能充分挖掘二者的潜在性能。

发明内容

本发明提供一种图像重建、编码解码方法、相关装置，其能够提高计算性能，降低计算开销。

为解决上述技术问题，本发明提供的第一个技术方案为：提供一种图像重建方法，图像重建方法基于图像重建模型进行，图像重建模型包括特征处理层、超分处理层以及增强处理层，方法包括：利用特征处理层对输入图像进行特征提取，得到特征图像；利用超分处理层对特征图像进行处理，得到第一输出图像；以及利用增强处理层对特征图像进行处理，得到第二输出图像；其中，第一输出图像的分辨率大于输入图像的分辨率；第二输出图像的客观质量大于输入图像的客观质量。

为解决上述技术问题，本发明提供的第二个技术方案为：提供一种图像重建装置，图像重建装置包括：特征处理模块、超分处理模块以及增强处理模块；其中，特征处理模块包括特征处理层，超分处理模块包括超分处理层，增强处理模块包括增强处理层；特征处理模块用于利用特征处理层对输入图像进行特征提取，得到特征图像；超分处理模块用于利用超分处理层对特征图像进行处理，得到第一输出图像；以及增强处理模块用于利用增强处理层对特征图像进行处理，得到第二输出图像；其中，第一输出图像的分辨率大于输入图像的分辨率；第二输出图像的客观质量大于输入图像的客观质量。

为解决上述技术问题，本发明提供的第三个技术方案为：提供一种解码方法，包括：对获取的码流解码，得到输入图像；利用特征处理层对输入图像进行特征提取，得到特征图像；利用超分处理层对特征图像进行处理，得到第一输出图像；以及利用增强处理层对特征图像进行处理，得到第二输出图像；其中，第一输出图像的分辨率大于输入图像的分辨率；第二输出图像的客观质量大于输入图像的客观质量。

为解决上述技术问题，本发明提供的第四个技术方案为：提供一种解码装置，包括：解码模块，用于对获取的码流解码，得到输入图像；特征处理模块，用于利用特征处理层对输入图像进行特征提取，得到特征图像；超分处理模块，用于利用超分处理层对特征图像进行处理，得到第一输出图像；增强处理模块，用于利用增强处理层对特征图像进行处理，得到第二输出图像；其中，第一输出图像的分辨率大于输入图像的分辨率；第二输出图像的客观质量大于输入图像的客观质量。

为解决上述技术问题，本发明提供的第五个技术方案为：提供一种编码方法，包括：获取编码重建图像，所述编码重建图像作为输入图像；利用特征处理层对输入图像进行特征提取，得到特征图像；利用超分处理层对特征图像进行处理，得到第一输出图像；以及利用增强处理层对特征图像进行处理，得到第二输出图像；其中，第一输出图像的分辨率大于输入图像的分辨率；第二输出图像的客观质量大于输入图像的客观质量。

为解决上述技术问题，本发明提供的第六个技术方案为：提供一种编码装置，包括：获取模块，用于编码重建图像，所述编码重建图像作为输入图像；特征处理模块，用于利用特征处理层对输入图像进行特征提取，得到特征图像；超分处理模块，用于利用超分处理层对特征图像进行处理，得到第一输出图像；增强处理模块，用于利用增强处理层对特征图像进行处理，得到第二输出图像；其中，第一输出图像的分辨率大于输入图像的分辨率；第二输出图像的客观质量大于输入图像的客观质量。

为解决上述技术问题，本发明提供的第七个技术方案为：提供一种电子设备，包括相互藕接的处理器以及存储器，其中，存储器用于存储实现上述任一项的方法的程序指令；处理器用于执行存储器存储的程序指令。

为解决上述技术问题，本发明提供的第八个技术方案为：提供一种计算机可读存储介质，存储有程序文件，程序文件能够被执行以实现上述任一项的方法。

本发明的有益效果，区别于现有技术，本发明图像重建方法基于图像重建模型进行，图像重建模型包括特征处理层、超分处理层以及增强处理层，方法包括：利用特征处理层对输入图像进行特征提取，得到特征图像；利用超分处理层对特征图像进行处理，得到第一输出图像；以及利用增强处理层对特征图像进行处理，得到第二输出图像；其中，第一输出图像的分辨率大于输入图像的分辨率；第二输出图像的客观质量大于输入图像的客观质量。图像超分与增强共用特征处理层，提高了计算性能，并且降低了计算资源开销。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图，其中：

图1为本发明图像重建方法的第一实施例的流程示意图；

图2a及图2b为图像分割示意图；

图2c为图像组合示意图；

图3为步骤S11的一实施例的流程示意图；

图4为图像重建方法的流程示意图；

图5为残差模块的处理流程示意图；

图6为注意力模块的处理流程示意图；

图7为本发明图像重建装置的一实施例的结构示意图；

图8为本发明解码方法的一实施例的流程示意图；

图9为现有技术中解码一实施例的流程示意图；

图10为本发明解码的第一实施例的流程示意图；

图11为本发明解码的第二实施例的流程示意图；

图12为本发明解码的第三实施例的流程示意图；

图13为本发明解码的第四实施例的流程示意图；

图14为本发明解码的第五实施例的流程示意图；

图15为本发明解码装置的一实施例的结构示意图；

图16为本发明编码方法的一实施例的流程示意图；

图17为本发明编码装置的一实施例的结构示意图；

图18为本发明电子设备的一实施例的结构示意图；

图19为本发明计算机可读存储介质的结构示意图。

具体实施方法

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

现有技术中，图像的分辨率提升处理以及质量增强处理是通过两个独立的模型实现的，当两者组合使用时，总性能远低于二者独立使用的性能之和，不能充分的释放模型的潜能。本申请提供一种能够实现分辨率提升处理以及质量增强处理的图像重建方法，该方法能够在同一模型中实现，且分辨率提升处理以及质量增强处理共用特征处理层，降低计算开销，并且性能优于二者独立使用的性能之和。具体的，该图像重建模型包括：特征处理层、超分处理层以及增强处理层。具体请参见图1，图1为本发明图像重建方法的一实施例的流程示意图，具体包括：

步骤S11：利用特征处理层对输入图像进行特征提取，得到特征图像。

在一具体实施例中，在将输入图像输入到图像重建模型之前，还需要对输入图像进行预处理。具体的，假设图像重建模型要求的输入尺寸为YUV4:2:0格式，输入块的尺寸为W*H，也即Y分量、U分量以及V分量的尺寸分别为W*H、W/2*H/2、W/2*H/2。在将输入图像输入到图像重建模型之前，对图像进行分割，得到多个输入图像。需要说明的是，待重建图像包括Y分量图像、U分量图像以及V分量图像，输入图像包括Y分量输入图像、U分量输入图像、V分量输入图像。以Y分量图像为例，如图2a所示，对Y分量图像进行分割，得到n个128*128的输入图像。在另一实施例中，为了保证图像边界的连续性，可以对输入图像的边界进行填充。在一实施例中，输入图像是基于对待重建图像进行分割得到的图像块得到的。具体的，对待重建图像进行分割，得到多个图像块，利用每一图像块周围的像素点对图像块进行填充，得到每一图像块对应的输入图像。以Y分量图像为例，如图2b所示，对Y分量图像进行分割，得到n个128*128的图像块，利用128*128的图像块周围的16个像素点对图像块进行填充，得到输入图像，也即最终得到的输入图像为160*160。

可以理解的，在图像重建模型对每一个输入图像进行处理后，将输出的处理后的图像按照对应的位置拼接，即得到最终的图像。如图2c所示，第2列第2行的160*160的输入图像经图像重建模型处理后，输出320*320的输出块，去除输出块中的填充像素，并将输出块的有效区域(256*256)放到第2列第2行对应的位置。

具体的，请结合图3，步骤S11还包括：

步骤S31：对输入图像进行处理，将输入图像的尺寸调整至预设尺寸，得到待处理图像，预设尺寸为图像重建模型的输入尺寸。

在现有技术中，在将图像输入神经网络之前，需要将YUV4:2:0格式的图像上采样为YUV4:4:4，在神经网络输出处理后的图像后，对处理后的YUV4:4:4格式的图像进行下采样，将其转换为YUV4:2:0格式的图像。该过程需要额外的上采样和下采样，不利于神经网络与编码解码器的结合。本申请提供的图像重建方法，不需要额外的上采样以及下采样处理，在图像重建模型中即可将其处理为合适的尺寸，具体的，本申请提供一种图像重建模型，该图像重建模型包括网络输入层以及网络处理层，网络输入层可以对输入图像进行处理，将输入图像的尺寸调整为预设尺寸，然后在网络处理层进行处理，避免额外的上采样以及下采样，有利于模型与编码、解码器的结合。

另外，目前现有的图像重建方法中，图像重建模型的输入缺少附加的先验信息，这不利于图像重建结果。本申请在图像重建模型的输入信息中添加附加信息。具体的，输入至图像重建模型的输入图像包括附加信息，附加信息包括图像分量、图像分量对应的量化参数图、图像分量对应的帧内帧间预测值中至少一种。具体的，当输入图像不包括附加信息时。输入低分辨图像的YUV分量,输出高分辨率图像的YUV分量。当输入图像包括附加信息时。输入低分辨图像的YUV分量和附加信息，输出高分辨率图像的YUV分量。其中，附加信息包括但不局限于重建图像的任意分量、QP、帧内预测图像的任意分量、帧间预测的任意分量以及各种组合等。

在一具体实施例中，在输入图像包含附加信息时，在将附加信息输入至图像重建模型之前，需要对附加信息进行预处理，进而将附加信息的尺寸调整至预设尺寸。具体的，对附加信息进行填充，将附加信息的尺寸调整至预设尺寸。具体的，在附加信息为单个点数据，例如附加信息为量化参数QP，且量化参数QP＝32，则需要将量化参数QP填充为W*H的输入块。当附加信息为一维向量时，比如1*2W的上参考像素，需要将转置后的向量与向量相乘得到2W*2W的矩阵，并调整尺寸至输入块尺寸W*H；再比如2H*1的左参考像素，需要将向量与转置后的向量相乘得到2H*2H矩阵，并调整尺寸至输入块尺寸W*H。当附加信息为二维矩阵时，比如矩阵尺寸为W/2*H/2时，需要将矩阵尺寸调整至输入块尺寸W*H。

在对图像以及附加信息进行预处理，得到输入图像之后，利用网络输入层对输入图像进行处理，将输入图像的尺寸调整至预设尺寸。具体的，网络输入层包括反卷积层以及拼接层。利用反卷积层对U分量输入图像、V分量输入图像进行处理，使得U分量输入图像、V分量输入图像的尺寸与Y分量输入图像的尺寸匹配；将反卷积层处理后的U分量输入图像、V分量输入图像与Y分量输入图像、附加信息进行拼接，进而将输入图像的尺寸调整至预设尺寸。

具体请结合图4，图4为本发明图像重建模型对输入图像的处理过程。对于卷积层参数使用[in,k,k,out]进行描述，in为输入通道数、k为卷积核大小、out为输出通道数。另外S为卷积步长，默认为1。具体的，在网络输入层中，利用步长为2的[1,3,3,1]的反卷积(deConv)层，将U分量输入图像U_Rec ^LR和V分量输入图像V_Rec ^LR的尺寸调整至与Y分量输入图像的尺寸Y_Rec ^LR尺寸相同，再通过拼接层concat将各输入在通道层上进行拼接。具体的，在拼接层，将U分量输入图像U_Rec ^LR、V分量输入图像V_Rec ^LR、Y分量输入图像的尺寸Y_Rec ^LR以及附加信息E进行拼接。在网络输出层处理后，即可将输入图像的尺寸调整至预设尺寸。可以理解的，在输入图像不包括附加信息时，则仅需要将反卷积层处理后的所述U分量输入图像、所述V分量输入图像与所述Y分量输入图像进行拼接，进而将所述输入图像的尺寸调整至所述预设尺寸。

步骤S32：对待处理图像进行特征提取，得到特征图像。

具体的，利用第一卷积层对调整后的输入图像进行处理；利用残差模块对第一卷积层的输出进行处理；利用第二卷积层对残差模块的输出进行处理，将第一卷积层的输出与第二卷积层的输出相加，得到特征图像。

请结合图4，在低级特征提取模块中，利用第一卷积层对待处理图像进行处理。第一卷积层conv1的参数为[m,3,3,64]，其中，m为第一卷积层的输入通道，第一卷积层的输入通道的数量由第一卷积层的卷积核以及附加信息的数量决定。在一具体实施例中，m＝3+n，3表示YUV三个分量，n表示附加信息的数量。在一具体实施例中，附加信息包括输入的YUV分量的预测值，也即附加信息数量为3，那么第一卷积层的输入通道即为6。

在重复主体模块中，利用残差模块对第一卷积层的输出进行处理。具体的，重复主体模块中包含级联的N个残差单元。在一具体实施例中，残差单元的数量N＝16。

具体的，依次利用N个级联的残差单元对第一卷积层的输出进行处理，N大于或等于1。其中，首个残差单元的输入为第一卷积层的输出，第N个残差单元的输入为第N-1个残差单元输出。

请结合图5，图5为残差单元的处理方法的一实施例的流程示意图，具体的，第M个残差单元中，依次利用R个子残差单元A对第M个残差单元的输入进行处理，子残差单元包括卷积层、激活层。如图5所示，子残差单元A的数量为2。具体的，依次利用卷积层conv7[64×3×3×64]、激活层ReLU1、卷积层conv8[64×3×3×64]、激活层ReLU2对第M个残差单元的输入进行处理。若M为1时，则依次利用卷积层conv7[64×3×3×64]、激活层ReLU1、卷积层conv8[64×3×3×64]、激活层ReLU2对第一卷积层的输出进行处理。在第二个子残差单元处理完成后，利用第三卷积层conv9[64×3×3×64]对第R个子残差单元(第二子残差单元)的输出进行处理。利用注意力模块AB对第三卷积层conv9[64×3×3×64]的输出进行处理。将注意力模块AB的输出与第三卷积层conv9[64×3×3×64]的输出相乘，得到乘积；将第M个残差单元的输入与乘积相加，得到第M个残差单元的输出。若M为1，则将第一卷积层的输出与乘积相加，得到第1个残差单元的输出；若M为2，则将第1个残差单元的输出与乘积相加，得到第2个残差单元的输出。

请结合图6，图6为注意力模块AB的处理方法的流程示意图，具体的，在注意力模块AB中，利用注意力模块AB中依次级联的池化层GAP、卷积层conv10[64×1×1×64]、激活层ReLU、卷积层conv11[64×1×1×64]、归一化层softmax对第三卷积层conv9[64×3×3×64]的输出进行处理。具体的，池化层GAP对第三卷积层conv9[64×3×3×64]的输出进行处理、卷积层conv10[64×1×1×64]对池化层GAP的输出进行处理、激活层ReLU对卷积层conv10[64×1×1×64]的输出进行处理、卷积层conv11[64×1×1×64]对激活层ReLU的输出进行处理、归一化层softmax对卷积层conv11[64×1×1×64]的输出进行处理。

具体的，请结合图4，在高级特征提取模块中，利用第二卷积层conv2[64×3×3×64]对模块的输出进行处理。在第二卷积层处理后，将第一卷积层的输出与第二卷积层的输出相加，得到特征图像。

步骤S12：利用超分处理层对特征图像进行处理，得到第一输出图像；以及利用增强处理层对特征图像进行处理，得到第二输出图像；其中，第一输出图像的分辨率大于输入图像的分辨率；第二输出图像的客观质量大于输入图像的客观质量。

具体的，利用超分处理层对特征图像进行处理，得到第一输出图像包括：对特征图像进行上采样处理；对上采样处理后的特征图像进行处理，得到第一输出图像。请结合图4，上采样模块中对特征图像进行上采样处理。在上采样模块中，利用上采样层对特征图像进行处理。其中上采样层包括卷积层conv3[64×3×3×256]和shuffle函数。利用卷积层conv3[64×3×3×256]对特征图像进行处理，然后利用shuffle函数对卷积层conv3[64×3×3×256]的输出进行处理。在超分输出层中对上采样处理后的特征图像进行处理，得到第一输出图像。具体的，超分输出层目的是在网络中将输出尺寸调整至输出尺寸，使得第一输出图像可直接使用，从而避免了现有技术中对特征图像的上下采样后处理。比如，现有技术的网络特征图像为YUV4:4:4格式，需要额外的后处理将图像转换为YUV4:2:0格式，而在本提案所提出的网络中可直接输出YUV4:2:0格式的图像。请结合图4，超分输出层为三个并联的[64,3,3,1]的卷积层，其中两个卷积层的卷积步长为2，在超分输出层中，对特征图像进行上采样处理，然后利用并联的多个卷积层分别对上采样处理后的特征图像进行卷积处理，得到第一输出图像。可以理解的，利用两个卷积步长为2的卷积层分别对U分量图像以及V分量图像进行处理，利用另外一个卷积层对Y分量图像进行处理。超分输出层输出的第一输出图像为高分辨率图像，第一输出图像包括Y分量第一输出图像Y_Rec ^SR、U分量第一输出图像U_Rec ^SR、V分量第一输出图像V_Rec ^SR。第一输出图像的分辨率大于输入图像的分辨率。

具体的，请结合图4，在增强输出层中利用增强处理层对特征图像进行处理，得到第二输出图像。具体的，增强输出层为三个并联的[64,3,3,1]的卷积层，其中两个卷积层的卷积步长为2，增强输出层输出的第二输出图像为高质量图像，第二输出图像包括Y分量第二输出图像YQE、U分量第二输出图像UQE、V分量第二输出图像VQE。第二输出图像的客观质量大于输入图像的客观质量。需要说明的是，客观质量基于峰值信噪比确定，通常在经过影像压缩之后，输出的影像通常都会有某种程度与原始影像不一样。为了衡量经过处理后的影像品质，我们通常会参考峰值信噪比的值来认定某个处理程序够不够令人满意。具体的，在图像处理中，要对图像进行客观的评价，常常需要计算峰值信噪比。峰值信噪比是衡量图像失真或是噪声水平的客观标准。2个图像之间峰值信噪比值越大，则越相似。普遍基准为30dB，30dB以下的图像劣化较为明显。

具体的，在上述的内容中，提出对图像进行分割，得到多个输入图像，那么通过图像重建模型对每一输入图像进行处理后，得到第一输出图像以及第二输出图像，则需要进一步将第一输出图像以及第二输出图像进行组合。具体的，每一第一输出图像以及第二输出图像是一个输入图像处理后得到的，将所有的第一输出图像拼接，即可得到待重建图像超分后的图像；将所有的第二输出图像拼接，即可得到待重建图像增强后的图像。具体的，将多个第一输出图像进行组合，即得到完整的高分辨率图像，对多个第二输出图像进行组合，即得到完整的增强图像。

在本申请的一实施例中，还需要训练图像重建模型，基于图像的参数信息确定对应的图像重建模型；参数信息包括输入图像的帧类型、输入图像的量化参数中至少一种。具体的，可以基于输入图像的帧类型为I帧还是B帧选择不同的图像重建模型。或者，可以基于输入图像中的量化参数的范围选择不同的图像重建模型。需要说明的是，量化参数表征图像的失真程度。

在一实施例中，利用多张样本图像以及量化参数对初始网络模型进行训练，得到多个图像重建模型。例如可以每个QP(量化参数)训练一个图像重建模型，例如，QP为22时训练一个图像重建模型。QP为27时训练一个图像重建模型。QP为32时训练一个图像重建模型。QP为37时训练一个图像重建模型。QP为42时训练一个模型。

在另一实施例中，可以将一个范围内的量化参数QP训练一个模型。例如QP为22-32范围训练一个模型a；其中，22-32范围内的QP可以为22、27和32。QP为32-42范围时训练一个模型b；其中，32-42范围内的QP可以为32、37和42。图像重建以及编解码时，将量化参数与预设值进行比较，基于比较结果确定对应的图像重建模型。例如QP不大于预设值32时的选择模型a，大于预设值32时的选择模型b。再比如，QP组合为{17，22，27}、{22，27，32}、{27，32，37}、{32,37,42}、{37,42，47}分别训练模型1、2、3、4、5，QP离22最近是选择模型1，离预设值27最近选择模型2，离预设值32最近选择模型3，离预设值37最近选择模型4，离预设值42最近选择模型5。量化的失真程度由量化参数QP决定，通常QP越大，量化导致的失真越大，反之亦然。在编码视频序列时，每个图像帧的QP以序列的QP为基准，根据编码的配置在一定的范围内变化。也即量化参数表征输入图像的失真程度。

在本申请的另一实施例中，还可以确定多张样本图像的帧类型，分别利用不同帧类型的样本图像对初始网络模型进行训练，得到多个图像重建模型。例如，利用帧类型为I帧的样本图像训练一个模型a，利用帧类型为B帧的样本图像训练一个模型b。在选择图像重建模型时，如果输入图像为I帧，则选择模型a，如果输入图像为B帧，则选择模型b。

在本申请的另一实施例中，还可以确定多张样本图像的帧类型；分别利用不同帧类型的样本图像以及量化参数对初始网络模型进行训练，得到多个图像重建模型。利用帧类型为I帧的样本图像训练一个QP为22时的图像重建模型、QP为27时的图像重建模型、QP为32时的图像重建模型、QP为37时的图像重建模型、QP为42时的模型。或者，利用帧类型为B帧的样本图像训练一个QP为22时的图像重建模型、QP为27时的图像重建模型、QP为32时的图像重建模型、QP为37时的图像重建模型、QP为42时的模型。再例如，利用帧类型为I帧的样本图像训练一个QP为22-32范围的模型a、QP为32-42范围的模型b。图像重建以及编解码时，将量化参数与预设值进行比较，基于帧类型以及比较结果确定分量对应的图像重建模型。

在一实施例中，对于不同QP的需求，训练QP包括22、27、32、37、42的模型，QP的范围为[0,QPmax]。当QP为22、27、32、37、42独立训练时，编码时各模型对应的QP使用区间为[0,24]、[25,29]、[30,34]、[35,39]、[40,QPmax]。当三个QP组合训练时，比如QP＝{22,27,32}训练一个lowQP模型，QP＝{32,37,42}训练一个highQP模型，编码时lowQP模型的QP使用区间为[0,32]，编码时high模型的QP使用区间为[33,QPmax]。当五个QP组合训练一个模型时，编码时直接应用于全部QP范围。

在另一实施例中，当I、B帧各帧独立训练一个模型，编码时选择训练帧类型与当前编码图像帧类型一致。当I、B组合训练一个模型，编码时直接应用于当前编码为I帧和B帧类型的图像。

在另一实施例中，对于不同QP和不同帧类型的组合需求，训练QP包括22、27、32、37、42，QP的范围为[0,QPmax]，帧类型为I、B帧。帧类型与QP可认为是相互独立，因此二者可直接组合。比如，当I、B各帧独立训练、QP独立训练时，训练I帧和B帧分别的5个QP模型，共10个模型。

当QP作为附加信息作为网络输入时，此时仅需训练一个模型，编码时此模型可直接用于全部QP范围。

在一实施例中，训练模型的样本图像包括对应第一编码条件、第一分辨率的编码图像、对应第一分辨率的真实图像、对应第一编码条件、第二分辨率的编码图像。或者样本图像包括对应第一编码条件、第一分辨率的编码图像、对应第一分辨率的真实图像、对应第二分辨率的真实图像。或者样本图像包括对应第一编码条件、第一分辨率的编码图像、对应第一分辨率的真实图像、对应第一编码条件、第二分辨率的编码图像以及真实图像；其中，第二分辨率大于第一分辨率。将已编码高分辨率作为超分训练标签，可以达到提升网络性能的目的。另外，作为上采样模块时，由于使用已编码数据作为标签，从而保持滤波和上采用模块在性能上的独立，使得二者的组合使用性能能够叠加。

本申请提出的图像重建方法不需要额外的上采样和下采样预处理过程，使得本方法更便于与编解码器的结合。且将附加的先验信息作为网络输入，可有效改善网络训练的效果，从而提升视频图像的质量。图像重建模型的输入输出均为图像，可解释性强，直接学习图像，从根本上降低了网络的计算难度，从而有效地降低了网络训练难度。另外，本申请提出的方法，超分处理和增强处理共用同一特征处理层，提高了模型的性能，并且降低了计算开销，本申请可以将超分处理和增强处理联合进行训练，有效平衡和增强和超分之间的性能。

请参见图7，为本发明图像重建装置的一实施例的结构示意图，图像重建装置包括：特征处理模块71、超分处理模块72以及增强处理模块73。其中，特征处理模块71包括特征处理层，超分处理模块72包括超分处理层，增强处理模块73包括增强处理层；

特征处理模块71用于利用特征处理层对输入图像进行特征提取，得到特征图像。

超分处理模块72用于利用超分处理层对特征图像进行处理，得到第一输出图像；以及增强处理模块73用于利用增强处理层对特征图像进行处理，得到第二输出图像。其中，第一输出图像的分辨率大于输入图像的分辨率；第二输出图像的客观质量大于输入图像的客观质量。

请参见图8，为本发明解码方法的第一实施例的流程示意图，具体包括：

步骤S81：对获取的码流解码，得到输入图像。

步骤S82：利用特征处理层对输入图像进行特征提取，得到特征图像。

步骤S83：利用超分处理层对特征图像进行处理，得到第一输出图像；以及利用增强处理层对特征图像进行处理，得到第二输出图像；其中，第一输出图像的分辨率大于输入图像的分辨率；第二输出图像的客观质量大于输入图像的客观质量。

具体的，现有技术的解码流程如图9所示，包括码流解码→滤波(滤波后得到质量增强图像，也即第二输出图像)→上采样(上采样后得到高分辨率图像，也即第一输出图像)。本实施例中，图像重建模型可以直接替换滤波模块以及上采样模块，也即，本申请的解码流程包括码流解码→图像重建模型(输出第一输出图像以及第二输出图像)。

在本申请的另一实施例中，解码方法还包括对第一输出图像进行上采样处理。具体的，请结合图10，在本实施例中，利用图像重建模型替换了滤波模块，也即本实施例的解码流程包括码流解码→图像重建模型(输出第一输出图像以及第二输出图像)→上采样(对第一输出图像上采样)。

在本申请的另一实施例中，利用特征处理层对输入图像进行特征提取，得到特征图像的步骤之前，还包括：对输入图像进行滤波。具体的，请结合图11，在本实施例中，利用图像重建模型替换了上采样模块，也即本实施例的解码流程包括码流解码→滤波→图像重建模型(输出第一输出图像以及第二输出图像)。

在本申请的另一实施例中，利用特征处理层对输入图像进行特征提取，得到特征图像的步骤之前，还包括：基于信噪比信息从模型集合中确定输入图像对应的图像重建模型；模型重建模型包括第一图像重建模型以及第二图像重建模型；第一图像重建模型用于实现上述的图像重建方法；利用特征处理层对输入图像进行特征提取，得到特征图像的步骤，包括：利用选择的图像重建模型中的特征处理层对输入图像进行特征提取，得到特征图像。具体的，请结合图12，本实施例中，将本申请的图像重建模型与现有的神经网络作为候选，基于信噪比从中选择合适的模型。具体的，现有的神经网络(也即第二图像重建模型)即包括滤波模块和上采样模块。也即，本实施例的解码流程包括码流解码→滤波和上采样或者图像重建模型。

在本申请的另一实施例中，现有的神经网络(也即第二图像重建模型)即包括滤波模块，解码方法还包括对第一输出图像进行上采样处理。具体的，请结合图13，本实施例的解码流程包括码流解码→滤波或者图像重建模型→上采样。

在本申请的另一实施例中，现有的神经网络(也即第二图像重建模型)即包括上采样模块，利用选择的图像重建模型中的特征处理层对输入图像进行特征提取，得到特征图像的步骤之前，还包括：对输入图像进行滤波处理。具体的，请结合图14，本实施例的解码流程包括码流解码→滤波→上采样或者图像重建模型。

在一实施例中，码流还包括滤波标记，滤波标记表征图像重建模型的类型。在选择图像重建模型时，还可以基于滤波标记进行选择，滤波标记为句法元素。在编解码的过程中，如果直接利用本申请的图像重建模型进行处理，则不需要传输任何句法元素；如果本申请的图像重建模型作为候选模块，则需要传输额外的句法元素来表示选择了哪种候选方式。定义句法元素CNN_FLAG，其取值为0、1、2、3，取值为0时表示未使用本申请的图像重建模型，取值为1时表示采用现有的滤波模块和上采样模块，取值为2时表示作为本申请的图像重建模型替换了滤波模块，取值为3时表示本申请的图像重建模型替换了上采样模块。

请参见图15，为本发明图像解码装置的一实施例的结构示意图，具体包括：解码模块151、特征处理模块152、超分输出模块153以及增强处理模块154。

解码模块151用于对获取的码流解码，得到输入图像；特征处理模块152用于利用特征处理层对输入图像进行特征提取，得到特征图像；超分处理模块153用于利用超分处理层对特征图像进行处理，得到第一输出图像；增强处理模块154用于利用增强处理层对特征图像进行处理，得到第二输出图像；其中，第一输出图像的分辨率大于输入图像的分辨率；第二输出图像的客观质量大于输入图像的客观质量。

请参见图16，为本发明编码方法的一实施例的流程示意图，具体包括：

步骤S161：获取编码重建图像，所述编码重建图像作为输入图像。

步骤S162：利用特征处理层对输入图像进行特征提取，得到特征图像。

步骤S163：利用超分处理层对特征图像进行处理，得到第一输出图像；以及利用增强处理层对特征图像进行处理，得到第二输出图像；其中，第一输出图像的分辨率大于输入图像的分辨率；第二输出图像的客观质量大于输入图像的客观质量。

需要说明的是，本实施例中的编码重建图像是像素重建图像，而图1所述的重建为分辨率重建。

在另一实施例中，还可以利用图像重建模型替换了滤波模块，也即本实施例的编码流程包括图像重建模型(输出第一输出图像以及第二输出图像)→上采样(对第一输出图像上采样)→编码得到码流。

在另一实施例中，利用特征处理层对输入图像进行特征提取，得到特征图像的步骤之前，还包括：对输入图像进行滤波。具体的，在本实施例中，利用图像重建模型替换了上采样模块，也即本实施例的便码流程包括码流滤波→图像重建模型(输出第一输出图像以及第二输出图像)→编码得到码流。

在本申请的另一实施例中，利用特征处理层对输入图像进行特征提取，得到特征图像的步骤之前，还包括：基于信噪比信息从模型集合中确定输入图像对应的图像重建模型；模型重建模型包括第一图像重建模型以及第二图像重建模型；第一图像重建模型用于实现上述的图像重建方法；利用特征处理层对输入图像进行特征提取，得到特征图像的步骤，包括：利用选择的图像重建模型中的特征处理层对输入图像进行特征提取，得到特征图像。具体的，本实施例中，将本申请的图像重建模型与现有的神经网络作为候选，基于信噪比从中选择合适的模型。具体的，现有的神经网络(也即第二图像重建模型)即包括滤波模块和上采样模块。也即，本实施例的编码流程包括：码流滤波和上采样或者图像重建模型→编码得到码流。

在本申请的另一实施例中，现有的神经网络(也即第二图像重建模型)即包括滤波模块，编码方法还包括对第一输出图像进行上采样处理。具体的，本实施例的解码流程包括：滤波或者图像重建模型→上采样→编码得到码流。

在本申请的另一实施例中，现有的神经网络(也即第二图像重建模型)即包括上采样模块，利用选择的图像重建模型中的特征处理层对输入图像进行特征提取，得到特征图像的步骤之前，还包括：对输入图像进行滤波处理。具体的，本实施例的编码流程包括滤波→上采样或者图像重建模型→编码得到码流。

具体的，在选择了合适的模型后，建立所用的图像重建模型的句法元素，将句法元素编码至码流中，在解码时，基于滤波标记从模型集合中选择图像重建模型。在一实施例中，定义句法元素CNN_FLAG，其取值为0、1、2、3，取值为0时表示未使用本申请的图像重建模型，取值为1时表示采用现有的滤波模块和上采样模块，取值为2时表示作为本申请的图像重建模型替换了滤波模块，取值为3时表示本申请的图像重建模型替换了上采样模块。

请参见图17，为本发明编码装置的一实施例的结构示意图，具体的，编码装置包括获取模块171、特征处理模块172、超分输出模块173以及增强处理模块174。

获取模块171用于获取编码重建图像，所述编码重建图像作为输入图像；特征处理模块172用于利用特征处理层对输入图像进行特征提取，得到特征图像；超分处理模块173用于利用超分处理层对特征图像进行处理，得到第一输出图像；增强处理模块174用于利用增强处理层对特征图像进行处理，得到第二输出图像；其中，第一输出图像的分辨率大于输入图像的分辨率；第二输出图像的客观质量大于输入图像的客观质量。

请参见图18，为本发明电子设备的一实施例的结构示意图。电子设备包括相互连接的存储器132和处理器131。

存储器132用于存储实现上述任意一项的方法的程序指令。

处理器131用于执行存储器132存储的程序指令。

其中，处理器131还可以称为CPU(Central Processing Unit，中央处理单元)。处理器131可能是一种集成电路芯片，具有信号的处理能力。处理器131还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器132可以为内存条、TF卡等，可以存储电子设备中全部信息，包括输入的原始数据、计算机程序、中间运行结果和最终运行结果都保存在存储器中。它根据控制器指定的位置存入和取出信息。有了存储器，电子设备才有记忆功能，才能保证正常工作。电子设备的存储器按用途存储器可分为主存储器(内存)和辅助存储器(外存)，也有分为外部存储器和内部存储器的分类方法。外存通常是磁性介质或光盘等，能长期保存信息。内存指主板上的存储部件，用来存放当前正在执行的数据和程序，但仅用于暂时存放程序和数据，关闭电源或断电，数据会丢失。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方法实现。例如，以上所描述的装置实施方法仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方法，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方法方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，系统服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方法的全部或部分步骤。

请参阅图19，为本发明计算机可读存储介质的结构示意图。本申请的存储介质存储有能够实现上述所有方法的程序文件141，其中，该程序文件141可以以软件产品的形式存储在上述存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方法的全部或部分步骤。而前述的存储装置包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。

以上仅为本发明的实施方法，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (35)

1.一种图像重建方法，其特征在于，所述图像重建方法基于图像重建模型进行，所述图像重建模型包括特征处理层、超分处理层以及增强处理层，所述方法包括：

利用所述特征处理层对输入图像进行特征提取，得到特征图像；

利用所述超分处理层对所述特征图像进行处理，得到第一输出图像；以及

利用所述增强处理层对所述特征图像进行处理，得到第二输出图像；其中，所述第一输出图像的分辨率大于所述输入图像的分辨率；所述第二输出图像的客观质量大于所述输入图像的客观质量。

2.根据权利要求1所述的图像重建方法，其特征在于，所述输入图像是基于对待重建图像进行分割得到的图像块得到的。

3.根据权利要求2所述的图像重建方法，其特征在于，所述待重建图像包括Y分量图像、U分量图像以及V分量图像，所述输入图像包括Y分量输入图像、U分量输入图像、V分量输入图像。

4.根据权利要求2所述的图像重建方法，其特征在于，所述利用所述特征处理层对输入图像进行特征提取，得到特征图像的步骤之前，包括：

对待重建图像进行分割，得到多个图像块；

利用每一所述图像块周围的像素点对所述图像块进行填充，得到每一所述图像块对应的所述输入图像。

5.根据权利要求1所述的图像重建方法，其特征在于，所述利用所述特征处理层对输入图像进行特征提取，得到特征图像的步骤，包括：

对所述输入图像进行处理，将所述输入图像的尺寸调整至预设尺寸，得到待处理图像，所述预设尺寸为所述图像重建模型的输入尺寸；

对所述待处理图像进行特征提取，得到所述特征图像。

6.根据权利要求1-5任一项所述的图像重建方法，其特征在于，所述输入图像包括附加信息，所述附加信息包括图像分量、所述图像分量对应的量化参数图、所述图像分量对应的帧内帧间预测值中至少一种。

7.根据权利要求6所述的图像重建方法，其特征在于，对所述输入图像进行处理，将所述输入图像的尺寸调整至预设尺寸，得到待处理图像，所述预设尺寸为所述图像重建模型的输入尺寸；对所述待处理图像进行特征提取，得到所述输出图像；

所述对所述输入图像进行处理，将所述输入图像的尺寸调整至预设尺寸的步骤之前，包括：

对所述附加信息进行填充，将所述附加信息的尺寸调整至所述预设尺寸。

8.根据权利要求5所述的图像重建方法，其特征在于，所述对所述输入图像进行处理，将所述输入图像的尺寸调整至预设尺寸的步骤，包括：

利用反卷积层对U分量输入图像、V分量输入图像进行处理，使得所述U分量输入图像、所述V分量输入图像的尺寸与Y分量输入图像的尺寸匹配；

将反卷积层处理后的所述U分量输入图像、所述V分量输入图像与所述Y分量输入图像进行拼接，进而将所述输入图像的尺寸调整至所述预设尺寸。

9.根据权利要求8所述的图像重建方法，其特征在于，响应于所述输入图像包括附加信息；

所述将反卷积层处理后的所述U分量输入图像、所述V分量输入图像与所述Y分量输入图像进行拼接的步骤，包括：

将反卷积层处理后的所述U分量输入图像、所述V分量输入图像、所述Y分量输入图像与所述附加信息进行拼接。

10.根据权利要求5所述的图像重建方法，其特征在于，所述对所述待处理图像进行特征提取，得到所述特征图像的步骤，包括：

利用第一卷积层对所述调整后的所述输入图像进行处理；

利用残差模块对所述第一卷积层的输出进行处理；

利用第二卷积层对所述残差模块的输出进行处理；

将所述第一卷积层的输出与所述第二卷积层的输出相加，得到所述特征图像。

11.根据权利要求10所述的图像重建方法，其特征在于，所述第一卷积层的输入通道的数量由所述第一卷积层的卷积核以及附加信息的数量决定。

12.根据权利要求10所述的图像重建方法，其特征在于，所述残差模块包括N个级联的残差单元；

所述利用残差模块对所述第一卷积层的输出进行处理的步骤，包括：

依次利用N个级联的残差单元对所述第一卷积层的输出进行处理，N大于或等于1；

其中，首个所述残差单元的输入为所述第一卷积层的输出，第N个所述残差单元的输入为第N-1个所述残差单元的输出。

13.根据权利要求12所述的图像重建方法，其特征在于，第M个残差单元中，

依次利用R个子残差单元对所述第M个残差单元的输入进行处理，所述子残差单元包括卷积层、激活层；

利用第三卷积层对第R个所述子残差单元的输出进行处理；

利用注意力模块对所述第三卷积层的输出进行处理；

将所述注意力模块的输出与所述第三卷积层的输出相乘，得到乘积；

将所述第M个残差单元的输入与所述乘积相加，得到所述第M个残差单元的输出。

14.根据权利要求13所述的图像重建方法，其特征在于，所述利用注意力模块对所述第三卷积层的输出进行处理的步骤，包括：

利用所述注意力模块中依次级联的池化层、卷积层、激活层、卷积层、归一化层对所述第三卷积层的输出进行处理。

15.根据权利要求1所述的图像重建方法，其特征在于，所述利用所述超分处理层对所述特征图像进行处理，得到第一输出图像的步骤，包括：

对所述特征图像进行上采样处理；

利用并联的多个卷积层分别对上采样处理后的所述特征图像进行卷积处理，得到所述第一输出图像。

16.根据权利要求2-4任一项所述的图像重建方法，其特征在于，所述利用所述超分处理层对所述输出图像进行处理，得到第一输出图像；以及利用所述增强处理层对所述输出图像进行处理，得到第二输出图像之后，还包括：

对所述第一输出图像进行组合，以及对所述第二输出图像进行组合。

17.根据权利要求1所述的图像重建方法，其特征在于，所述利用所述特征处理层对输入图像进行特征提取，得到图像特征的步骤，之前还包括：

基于所述输入图像的参数信息确定对应的图像重建模型；所述参数信息包括所述输入图像的帧类型和所述输入图像的量化参数中至少一种。

18.根据权利要求17所述的图像重建方法，其特征在于，所述参数信息包括量化参数；所述方法还包括：

利用多张样本图像以及所述量化参数对初始网络模型进行训练，得到多个图像重建模型。

19.根据权利要求17所述的图像重建方法，其特征在于，所述参数信息包括图像的帧类型；所述方法还包括：

分别利用不同帧类型的样本图像对初始网络模型进行训练，得到多个图像重建模型。

20.根据权利要求17所述的图像重建方法，其特征在于，所述参数信息包括图像的帧类型和量化参数；所述方法还包括：

分别利用不同帧类型的样本图像以及所述量化参数对初始网络模型进行训练，得到多个图像重建模型。

21.根据权利要求18所述的图像重建方法，其特征在于，

所述样本图像包括对应第一编码条件、第一分辨率的编码图像、对应所述第一分辨率的真实图像、对应所述第一编码条件、第二分辨率的编码图像；或者

所述样本图像包括对应第一编码条件、第一分辨率的编码图像、对应所述第一分辨率的真实图像、对应所述第二分辨率的真实图像；或者

所述样本图像包括对应第一编码条件、第一分辨率的编码图像、对应所述第一分辨率的真实图像、对应所述第一编码条件、所述第二分辨率的编码图像以及真实图像；

其中，所述第二分辨率大于所述第一分辨率。

22.一种图像重建装置，其特征在于，所述图像重建装置包括：特征处理模块、超分处理模块以及增强处理模块；其中，所述特征处理模块包括特征处理层，所述超分处理模块包括超分处理层，所述增强处理模块包括增强处理层；

所述特征处理模块用于利用所述特征处理层对输入图像进行特征提取，得到特征图像；

所述超分处理模块用于利用所述超分处理层对所述特征图像进行处理，得到第一输出图像；以及所述增强处理模块用于利用所述增强处理层对所述特征图像进行处理，得到第二输出图像；

其中，所述第一输出图像的分辨率大于所述输入图像的分辨率；所述第二输出图像的客观质量大于所述输入图像的客观质量。

23.一种解码方法，其特征在于，包括：

对获取的码流解码，得到输入图像；

利用所述特征处理层对输入图像进行特征提取，得到特征图像；

利用所述超分处理层对所述特征图像进行处理，得到第一输出图像；以及

利用所述增强处理层对所述特征图像进行处理，得到第二输出图像；其中，所述第一输出图像的分辨率大于所述输入图像的分辨率；所述第二输出图像的客观质量大于所述输入图像的客观质量。

24.根据权利要求23所述的解码方法，其特征在于，所述方法还包括：

对所述第一输出图像进行上采样处理。

25.根据权利要求23所述的解码方法，其特征在于，所述利用所述特征处理层对输入图像进行特征提取，得到特征图像的步骤之前，还包括：

对所述输入图像进行滤波。

26.根据权利要求23所述的解码方法，其特征在于，所述利用所述特征处理层对输入图像进行特征提取，得到特征图像的步骤之前，还包括：

基于信噪比信息从模型集合中确定所述输入图像对应的图像重建模型；所述模型重建模型包括第一图像重建模型以及第二图像重建模型；所述第一图像重建模型用于实现上述权利要求1～18任一项所述的图像重建方法；

所述利用所述特征处理层对输入图像进行特征提取，得到特征图像的步骤，包括：

利用选择的图像重建模型中的所述特征处理层对输入图像进行特征提取，得到特征图像。

27.根据权利要求26所述的解码方法，其特征在于，所述第二图像重建模型包括滤波模块以及上采样模块。

28.根据权利要求26所述的解码方法，其特征在于，所述第二图像重建模型包括滤波模块；

所述方法还包括：对所述第一输出图像进行上采样处理。

29.根据权利要求26所述的解码方法，其特征在于，所述第二图像重建模型包括上采样模块；

利用选择的图像重建模型中的所述特征处理层对输入图像进行特征提取，得到特征图像的步骤之前，还包括：

对所述输入图像进行滤波处理。

30.根据权利要求26所述的解码方法，其特征在于，所述码流还包括滤波标记，所述滤波标记表征所述图像重建模型的类型。

31.一种解码装置，其特征在于，包括：

解码模块，用于对获取的码流解码，得到输入图像；

特征处理模块，用于利用特征处理层对输入图像进行特征提取，得到特征图像；

超分处理模块，用于利用超分处理层对所述特征图像进行处理，得到第一输出图像；

增强处理模块，用于利用增强处理层对所述特征图像进行处理，得到第二输出图像；

其中，所述第一输出图像的分辨率大于所述输入图像的分辨率；所述第二输出图像的客观质量大于所述输入图像的客观质量。

32.一种编码方法，其特征在于，包括：

获取编码重建图像，所述编码重建图像作为输入图像；

利用所述特征处理层对所述输入图像进行特征提取，得到特征图像；

利用所述超分处理层对所述特征图像进行处理，得到第一输出图像；以及

利用所述增强处理层对所述特征图像进行处理，得到第二输出图像；其中，所述第一输出图像的分辨率大于所述输入图像的分辨率；所述第二输出图像的客观质量大于所述输入图像的客观质量。

33.一种编码装置，其特征在于，包括：

获取模块，用于获取编码重建图像，所述编码重建图像作为输入图像；

特征处理模块，用于利用所述特征处理层对输入图像进行特征提取，得到特征图像；

超分处理模块，用于利用所述超分处理层对所述特征图像进行处理，得到第一输出图像；

增强处理模块，用于利用所述增强处理层对所述特征图像进行处理，得到第二输出图像；其中，所述第一输出图像的分辨率大于所述输入图像的分辨率；所述第二输出图像的客观质量大于所述输入图像的客观质量。

34.一种电子设备，其特征在于，包括相互藕接的处理器以及存储器，其中，

所述存储器用于存储实现如权利要求1-21、23-30、32任一项所述的方法的程序指令；

所述处理器用于执行所述存储器存储的所述程序指令。

35.一种计算机可读存储介质，其特征在于，存储有程序文件，所述程序文件能够被执行以实现如权利要求1-21、23-30、32任一项所述的方法。

Images