CN114463454A - 图像重建、编码解码方法、相关装置 - Google Patents

Abstract

本发明提供一种图像重建、编码解码方法、重建模型训练方法、相关装置，图像重建方法基于图像重建模型进行，图像重建模型包括网络输入层以及网络处理层，方法包括：利用网络输入层对输入残差图像进行处理，将输入残差图像的尺寸调整至预设尺寸，得到待处理残差图像，预设尺寸为图像重建模型的输入尺寸；利用网络处理层对待处理残差图像进行处理，得到输出残差图像；输出残差图像的分辨率大于输入残差图像的分辨率。避免在图像重建模型外对图像进行上采样或下采样处理，有利于图像重建模型与编码器以及解码器的结合。

Description

图像重建、编码解码方法、相关装置

技术领域

本发明涉及视频编解码技术领域，特别是涉及一种图像重建、编码解码方法、相关装置。

背景技术

视频图像数据量比较大，通常需要对视频像素数据(RGB、YUV等)进行压缩，压缩后的数据称之为视频码流，视频码流通过有线或者无线网络传输至用户端，再进行解码观看。整个视频编码流程包括块划分、预测、变换、量化、编码等过程。为了更有效地压缩视频数据，在编解码中将高分辨率图像下采样为低分辨率图像，在需要高分辨率图像时通过上采样进行放大或超分辨率技术进行重建。

超分辨率重建技术不仅需要将低分辨率图像放大，并且通过模型对缺失的信息进行重建，从而恢复出高分辨率图像。超分辨率重建技术的模型通常包括先验、神经网络等。

在现有技术中，超分辨率重建技术的重建模型进行图像重建时难以与解码器以及编码器结合。

发明内容

本发明提供一种图像重建、编码解码方法、相关装置，其能够提高图像重建模型与解码器以及编码器的结合效果。

为解决上述技术问题，本发明提供的第一个技术方案为：提供一种图像重建方法，图像重建方法基于图像重建模型进行，图像重建模型包括网络输入层以及网络处理层，方法包括：利用网络输入层对输入残差图像进行处理，将输入残差图像的尺寸调整至预设尺寸，得到待处理残差图像，预设尺寸为图像重建模型的输入尺寸；利用网络处理层对待处理残差图像进行处理，得到输出残差图像；输出残差图像的分辨率大于输入残差图像的分辨率。

为解决上述技术问题，本发明提供的第二个技术方案为：提供一种图像重建装置，图像重建装置包括网络输入模块以及网络处理模块，网络输入模块包括网络输入层，网络处理模块包括网络处理层；网络输入模块利用网络输入层对输入残差图像进行处理，将输入残差图像的尺寸调整至预设尺寸，得到待处理残差图像；预设尺寸为图像重建模型的输入尺寸；网络处理模块利用网络处理层对待处理残差图像进行处理，得到输出残差图像；输出残差图像的分辨率大于输入残差图像的分辨率。

为解决上述技术问题，本发明提供的第三个技术方案为：提供一种解码方法，包括：对获取的码流解码，得到输入残差图像；利用图像重建模型中的网络输入层对输入残差图像进行处理，将输入残差图像的尺寸调整至预设尺寸，得到待处理残差图像；预设尺寸为图像重建模型的输入尺寸；利用图像重建模型中的网络处理层对输入残差图像进行处理，得到输出残差图像；输出残差图像的分辨率大于输入残差图像的分辨率。

为解决上述技术问题，本发明提供的第四个技术方案为：提供一种解码装置，包括：解码模块，用于对获取的码流解码，得到输入残差图像；网络输入模块，用于利用图像重建模型中的网络输入层对输入残差图像进行处理，将输入残差图像的尺寸调整至预设尺寸，得到待处理残差图像；预设尺寸为图像重建模型的输入尺寸；网络处理模块，用于利用图像重建模型中的网络处理层对输入残差图像进行处理，得到输出残差图像；输出残差图像的分辨率大于输入残差图像的分辨率。

为解决上述技术问题，本发明提供的第五个技术方案为：提供一种编码方法，包括：获取编码残差图像，所述编码残差图像作为输入残差图像；利用图像重建模型中的网络输入层对输入残差图像进行处理，将输入残差图像的尺寸调整至预设尺寸，得到待处理残差图像；预设尺寸为图像重建模型的输入尺寸；利用图像重建模型中的网络处理层对输入残差图像进行处理，得到输出残差图像；输出残差图像的分辨率大于输入残差图像的分辨率。

为解决上述技术问题，本发明提供的第六个技术方案为：提供一种编码装置，包括：获取模块，用于编码残差图像，所述编码残差图像作为输入残差图像；网络输入模块，用于利用图像重建模型中的网络输入层对输入残差图像进行处理，将输入残差图像的尺寸调整至预设尺寸，得到待处理残差图像；预设尺寸为图像重建模型的输入尺寸；网络处理模块，用于利用图像重建模型中的网络处理层对输入残差图像进行处理，得到输出残差图像；输出残差图像的分辨率大于输入残差图像的分辨率。

为解决上述技术问题，本发明提供的第七个技术方案为：提供一种电子设备，包括相互藕接的处理器以及存储器，其中，存储器用于存储实现上述任一项的方法的程序指令；处理器用于执行存储器存储的程序指令。

为解决上述技术问题，本发明提供的第八个技术方案为：提供一种计算机可读存储介质，存储有程序文件，程序文件能够被执行以实现上述任一项的方法。

本发明的有益效果，区别于现有技术，本发明利用图像重建模型中的网络输入层对输入残差图像进行处理，将输入残差图像的尺寸调整至预设尺寸，得到待处理残差图像，预设尺寸为图像重建模型的输入尺寸；利用图像重建模型中的网络处理层对待处理残差图像进行处理，得到输出残差图像；输出残差图像的分辨率大于输入残差图像的分辨率。避免在图像重建模型外对图像进行上采样或下采样处理，有利于图像重建模型与编码器以及解码器的结合。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图，其中：

图1为本发明图像重建方法的第一实施例的流程示意图；

图2a及图2b为图像分割示意图；

图2c为图像组合示意图；

图3为图像重建模型的图像重建方法一实施例的流程示意图；

图4为图像处理层的处理方法的流程示意图；

图5为残差模块的处理流程示意图；

图6为注意力模块的处理流程示意图；

图7为本发明图像重建方法的第二实施例的流程示意图；

图8为本发明图像重建装置的一实施例的结构示意图；

图9为本发明解码方法的一实施例的流程示意图；

图10为本发明解码装置的一实施例的结构示意图；

图11为本发明编码方法的一实施例的流程示意图；

图12为本发明编码装置的一实施例的结构示意图；

图13为本发明电子设备的一实施例的结构示意图；

图14为本发明计算机可读存储介质的结构示意图。

具体实施方法

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在现有技术中，在将图像输入神经网络之前，需要将YUV4:2:0格式的图像上采样为YUV4:4:4，在神经网络输出处理后的图像后，对处理后的YUV4:4:4格式的图像进行下采样，将其转换为YUV4:2:0格式的图像。该过程需要额外的上采样和下采样，不利于神经网络与编码解码器的结合。本申请提供的图像重建方法，不需要额外的上采样以及下采样处理，在图像重建模型中即可将其处理为合适的尺寸，具体的，本申请提供一种图像重建模型，该图像重建模型包括网络输入层以及网络处理层，网络输入层可以对输入图像进行处理，将输入图像的尺寸调整为预设尺寸，然后在网络处理层进行处理，避免额外的上采样以及下采样，有利于模型与编码、解码器的结合。具体请结合图1，图像重建方法包括：

步骤S11：利用网络输入层对输入残差图像进行处理，将输入残差图像的尺寸调整至预设尺寸，得到待处理残差图像；预设尺寸为图像重建模型的输入尺寸。

具体的，将输入残差图像输入到图像重建模型中，利用图像重建模型的网络输入层对输入残差图像进行处理，将输入残差图像的尺寸调整至预设尺寸，该预设尺寸即为图像重建模型的输入尺寸。

在一具体实施例中，在将输入残差图像输入到图像重建模型之前，还需要对输入残差图像进行预处理。具体的，假设图像重建模型要求的输入尺寸为YUV4:2:0格式，输入块的尺寸为W*H，也即Y分量、U分量以及V分量的尺寸分别为W*H、W/2*H/2、W/2*H/2。在将输入残差图像输入到图像重建模型之前，对待重建残差图像进行分割，得到多个输入残差图像。具体的，输入残差图像是基于对待重建残差图像进行分割得到的图像块得到的。需要说明的是，待重建残差图像包括Y分量残差图像、U分量残差图像以及V分量残差图像，输入残差图像包括Y分量输入残差图像、U分量输入残差图像、V分量输入残差图像。在一实施例中，对待重建残差图像进行分割，得到多个图像块；利用每一图像块周围的像素点对图像块进行填充，得到每一图像块对应的输入残差图像。具体的，以Y分量残差图像为例，如图2a所示，对Y分量残差图像进行分割，得到n个128*128的输入残差图像。在另一实施例中，为了保证图像边界的连续性，可以对输入残差图像的边界进行填充。具体的，对残差图像进行分割，得到多个分割块，利用每一分割块周围的像素点对分割块进行填充，得到输入残差图像。以Y分量残差图像为例，如图2b所示，对Y分量残差图像进行分割，得到n个128*128的分割块，利用128*128的分割块周围的16个像素点对分割块进行填充，得到输入残差图像，也即最终得到的输入残差图像为160*160。

可以理解的，在图像重建模型对每一个输入残差图像进行处理后，将输出的处理后的图像按照对应的位置拼接，即得到最终的图像。如图2c所示，第2列第2行的160*160的输入残差图像经图像重建模型处理后，输出320*320的输出块，去除输出块中的填充像素，并将输出块的有效区域(256*256)放到第2列第2行对应的位置。

另外，目前现有的图像重建方法中，图像重建模型的输入缺少附加的先验信息，这不利于图像重建结果。本申请在图像重建模型的输入信息中添加附加信息。具体的，输入至图像重建模型的输入残差图像包括附加信息，附加信息包括图像分量、图像分量对应的量化参数图、图像分量对应的帧内帧间预测值中至少一种。具体的，当输入残差图像不包括附加信息时。输入低分辨残差图像的YUV分量,输出高分辨率残差图像的YUV分量。当输入残差图像包括附加信息时。输入低分辨残差图像的YUV分量和附加信息，输出高分辨率残差图像的YUV分量。其中，附加信息包括但不局限于重建图像的任意分量、QP、帧内预测图像的任意分量、帧间预测的任意分量以及各种组合等。

在一具体实施例中，在输入残差图像包含附加信息时，在将附加信息输入至图像重建模型之前，需要对附加信息进行预处理，进而将附加信息的尺寸调整至预设尺寸。具体的，对附加信息进行填充，将附加信息的尺寸调整至预设尺寸。具体的，在附加信息为单个点数据，例如附加信息为量化参数QP，且量化参数QP＝32，则需要将量化参数QP填充为W*H的输入块。当附加信息为一维向量时，比如1*2W的上参考像素，需要将转置后的向量与向量相乘得到2W*2W的矩阵，并调整尺寸至输入块尺寸W*H；再比如2H*1的左参考像素，需要将向量与转置后的向量相乘得到2H*2H矩阵，并调整尺寸至输入块尺寸W*H。当附加信息为二维矩阵时，比如矩阵尺寸为W/2*H/2时，需要将矩阵尺寸调整至输入块尺寸W*H。

在对残差图像以及附加信息进行预处理，得到输入残差图像之后，利用网络输入层对输入残差图像进行处理，将输入残差图像的尺寸调整至预设尺寸。具体的，网络输入层包括反卷积层以及拼接层。利用反卷积层对U分量输入残差图像、V分量输入残差图像进行处理，使得U分量输入残差图像、V分量输入残差图像的尺寸与Y分量输入残差图像的尺寸匹配；将反卷积层处理后的U分量输入残差图像、V分量输入残差图像与Y分量输入残差图像、附加信息进行拼接，进而将输入残差图像的尺寸调整至预设尺寸；在不包括附加信息时，将反卷积层处理后的U分量输入残差图像、V分量输入残差图像与Y分量输入残差图像进行拼接，进而将输入残差图像的尺寸调整至预设尺寸。

具体请结合图3，图3为本发明图像重建模型对输入残差模型的处理过程。对于卷积层参数使用[in,k,k,out]进行描述，in为输入通道数、k为卷积核大小、out为输出通道数。另外S为卷积步长，默认为1。具体的，在网络输入层中，利用步长为2的[1,3,3,1]的反卷积(deConv)层，将U分量输入残差图像U_Rec ^LR和V分量输入残差图像V_Rec ^LR的尺寸调整至与Y分量输入残差图像的尺寸Y_Rec ^LR尺寸相同，再通过拼接层concat将各输入在通道层上进行拼接。具体的，在拼接层，将U分量输入残差图像U_Rec ^LR、V分量输入残差图像V_Rec ^LR、Y分量输入残差图像的尺寸Y_Rec ^LR以及附加信息E进行拼接。在网络输出层处理后，即可将输入残差图像的尺寸调整至预设尺寸。

步骤S12：利用网络处理层对待处理残差图像进行处理，得到输出残差图像；输出残差图像的分辨率大于输入残差图像的分辨率。

具体的，在利用网络输入层对输入残差图像进行处理后，得到待处理残差图像，进一步将待处理残差图像传输至网络处理层，利用网络处理层对待处理残差图像进行处理，得到输出残差图像。需要说明的是，输出残差图像的分辨率大于输入残差图像的分辨率。也即，输入残差图像为低分辨率残差图像，而输出残差图像为高分辨率残差图像。

具体的，请结合图4，利用网络处理层对待处理残差图像进行处理，包括：

步骤S41：利用第一卷积层对待处理残差图像进行处理。

具体的，请结合图3，在低级特征提取模块中，利用第一卷积层对待处理残差图像进行处理。第一卷积层conv1的参数为[m,3,3,64]，其中，m为第一卷积层的输入通道，第一卷积层的输入通道的数量由第一卷积层的卷积核以及附加信息的数量决定。在一具体实施例中，m＝3+n，3表示YUV三个分量，n表示附加信息的数量。在一具体实施例中，附加信息包括输入的YUV分量的预测值，也即附加信息数量为3，那么第一卷积层的输入通道即为6。

步骤S42：利用残差模块对第一卷积层的输出进行处理。

请结合图3，在重复主体模块中，利用残差模块对第一卷积层的输出进行处理。具体的，重复主体模块也即残差模块中包含级联的N个残差单元。在一具体实施例中，残差单元的数量N＝16。

具体的，依次利用N个级联的残差单元对第一卷积层的输出进行处理，N大于或等于1。其中，首个残差单元的输入为第一卷积层的输出，第N个残差单元的输入为第N-1个残差单元输出。

请结合图5，图5为残差单元的处理方法的一实施例的流程示意图，具体的，第M个残差单元中，依次利用R个子残差单元A对第M个残差单元的输入进行处理，子残差单元包括卷积层、激活层。如图5所示，子残差单元A的数量为2。具体的，依次利用卷积层conv7[64×3×3×64]、激活层ReLU1、卷积层conv8[64×3×3×64]、激活层ReLU2对第M个残差单元的输入进行处理。若M为1时，则依次利用卷积层conv7[64×3×3×64]、激活层ReLU1、卷积层conv8[64×3×3×64]、激活层ReLU2对第一卷积层的输出进行处理。在第二个子残差单元处理完成后，利用第三卷积层conv9[64×3×3×64]对第R个子残差单元(第二子子残差单元)的输出进行处理。利用注意力模块AB对第三卷积层conv9[64×3×3×64]的输出进行处理。将注意力模块AB的输出与第三卷积层conv9[64×3×3×64]的输出相乘，得到乘积；将第M个残差单元的输入与乘积相加，得到第M个残差单元的输出。若M为1，则将第一卷积层的输出与乘积相加，得到第1个残差单元的输出；若M为2，则将第1个残差单元的输出与乘积相加，得到第2个残差单元的输出。

请结合图6，图6为注意力模块AB的处理方法的流程示意图，具体的，在注意力模块AB中，利用依次级联的池化层GAP、卷积层conv10[64×1×1×64]、激活层ReLU、卷积层conv11[64×1×1×64]、归一化层softmax对第三卷积层conv9[64×3×3×64]的输出进行处理。具体的，池化层GAP对第三卷积层conv9[64×3×3×64]的输出进行处理、卷积层conv10[64×1×1×64]对池化层GAP的输出进行处理、激活层ReLU对卷积层conv10[64×1×1×64]的输出进行处理、卷积层conv11[64×1×1×64]对激活层ReLU的输出进行处理、归一化层softmax对卷积层conv11[64×1×1×64]的输出进行处理。

步骤S43：利用第二卷积层对残差模块的输出进行处理。

具体的，请结合图3，在高级特征提取模块中，利用第二卷积层conv2[64×3×3×64]对残差模块的输出进行处理。

步骤S44：利用上采样层对第二卷积层的输出进行处理。

具体的，请结合图3，在上采样模块中，利用上采样层对第二卷积层的输出进行处理。其中上采样层包括卷积层conv3[64×3×3×256]和shuffle函数。利用卷积层conv3[64×3×3×256]对第二卷积层conv2[64×3×3×64]的输出进行处理，然后利用shuffle函数对卷积层conv3[64×3×3×256]的输出进行处理。

步骤S45：利用输出层对上采样层的输出进行处理，进而得到输出残差图像。

具体的，输出层目的是在网络中将输出尺寸调整至输出尺寸，使得输出图像可直接使用，从而避免了现有技术中对输出图像的上下采样后处理。比如，现有技术的网络输出图像为YUV4:4:4格式，需要额外的后处理将图像转换为YUV4:2:0格式，而在本提案所提出的网络中可直接输出YUV4:2:0格式的图像。请结合图3，输出层为三个并联的[64,3,3,1]的卷积层Conv4、Conv5、Conv6，其中Conv4和Conv5的卷积步长为2，输出层输出的输出残差图像为高分辨率残差图像，输出残差图像包括Y分量输出残差图像Y_Rec ^SR、U分量输出残差图像U_Rec ^SR、V分量输出残差图像V_Rec ^SR。

通过本实施例的方式，即可得到高分辨率的输出残差图像。

请参见图7，图7为本发明图像重建方法的第二实施例的流程示意图，本实施例中，步骤S71以及步骤S72与上述图1所示的第一实施例中的步骤S11以及步骤S12相同，区别在于，本实施例在步骤S72之后还包括：

步骤S73：将输出残差图像进行组合，得到超分图像。

具体的，在上述的内容中，提出对残差图像进行分割，得到多个输入残差图像，那么通过图像重建模型对每一输入残差图像进行处理后，得到输出残差图像，则需要进一步将输出残差图像进行组合，得到超分图像。该超分图像即为高分辨率的完整图像。

步骤S74：对预测图像进行上采样处理，得到采样图像。

残差图像的定义为真实图像减去预测图像形成的差值图像。为了得到完整的重建图像，则需要将超分图像与预测图像相加。具体的，在将超分图像与预测图像相加之前，对预测图像进行上采样处理，得到采样图像。

步骤S75：将超分图像与采样图像相加，得到重建图像。

将超分图像与采样图像相加，即可得到真实图像的重建图像。

在本申请的一实施例中，还需要训练图像重建模型，基于残差图像的参数信息确定对应的图像重建模型；参数信息包括输入残差图像的帧类型、输入残差图像的附加信息中至少一种。具体的，可以基于输入残差图像的帧类型为I帧还是B帧选择不同的图像重建模型。或者，可以基于输入残差图像中的量化参数的范围选择不同的图像重建模型。

在一实施例中，利用多张样本图像以及量化参数对初始网络模型进行训练，得到多个图像重建模型。例如可以每个QP(量化参数)训练一个图像重建模型，例如，QP为22时训练一个图像重建模型。QP为27时训练一个图像重建模型。QP为32时训练一个图像重建模型。QP为37时训练一个图像重建模型。QP为42时训练一个模型。

在另一实施例中，可以将一个范围内的量化参数QP训练一个模型。例如QP为22-32范围训练一个模型a；其中，22-32范围内的QP可以为22、27和32。QP为32-42范围时训练一个模型b；其中，32-42范围内的QP可以为32、37和42。图像重建以及编解码时，将量化参数与预设值进行比较，基于比较结果确定对应的图像重建模型。例如QP不大于预设值32时的选择模型a，大于预设值32时的选择模型b。再比如，QP组合为{17，22，27}、{22，27，32}、{27，32，37}、{32,37,42}、{37,42，47}分别训练模型1、2、3、4、5，QP离22最近是选择模型1，离预设值27最近选择模型2，离预设值32最近选择模型3，离预设值37最近选择模型4，离预设值42最近选择模型5。量化的失真程度由量化参数QP决定，通常QP越大，量化导致的失真越大，反之亦然。在编码视频序列时，每个图像帧的QP以序列的QP为基准，根据编码的配置在一定的范围内变化。也即量化参数表征输入图像的失真程度。

在本申请的另一实施例中，还可以确定多张样本图像的帧类型，分别利用不同帧类型的样本图像对初始网络模型进行训练，得到多个图像重建模型。例如，利用帧类型为I帧的样本图像训练一个模型a，利用帧类型为B帧的样本图像训练一个模型b。在选择图像重建模型时，如果输入残差图像为I帧，则选择模型a，如果输入残差图像为B帧，则选择模型b。

在本申请的另一实施例中，还可以确定多张样本图像的帧类型；分别利用不同帧类型的样本图像以及量化参数对初始网络模型进行训练，得到多个图像重建模型。利用利用帧类型为I帧的样本图像训练一个QP为22时的图像重建模型、QP为27时的图像重建模型、QP为32时的图像重建模型、QP为37时的图像重建模型、QP为42时的模型。或者，利用帧类型为B帧的样本图像训练一个QP为22时的图像重建模型、QP为27时的图像重建模型、QP为32时的图像重建模型、QP为37时的图像重建模型、QP为42时的模型。再例如，利用帧类型为I帧的样本图像训练一个QP为22-32范围的模型a、QP为32-42范围的模型b。图像重建以及编解码时，将量化参数与预设值进行比较，基于帧类型以及比较结果确定分量对应的图像重建模型。

在一实施例中，对于不同QP的需求，训练QP包括22、27、32、37、42的模型，QP的范围为[0,QPmax]。当QP为22、27、32、37、42独立训练时，编码时各模型对应的QP使用区间为[0,24]、[25,29]、[30,34]、[35,39]、[40,QPmax]。当三个QP组合训练时，比如QP＝{22,27,32}训练一个lowQP模型，QP＝{32,37,42}训练一个highQP模型，编码时lowQP模型的QP使用区间为[0,32]，编码时high模型的QP使用区间为[33,QPmax]。当五个QP组合训练一个模型时，编码时直接应用于全部QP范围。

在另一实施例中，当I、B帧各帧独立训练一个模型，编码时选择训练帧类型与当前编码图像帧类型一致。当I、B组合训练一个模型，编码时直接应用于当前编码为I帧和B帧类型的图像。

在另一实施例中，对于不同QP和不同帧类型的组合需求，训练QP包括22、27、32、37、42，QP的范围为[0,QPmax]，帧类型为I、B帧。帧类型与QP可认为是相互独立，因此二者可直接组合。比如，当I、B各帧独立训练、QP独立训练时，训练I帧和B帧分别的5个QP模型，共10个模型。

当QP作为附加信息作为网络输入时，此时仅需训练一个模型，编码时此模型可直接用于全部QP范围。

在一实施例中，训练模型的样本图像包括对应第一编码条件的输入残差图像，和对应第一编码条件的输出残差图像。或者训练模型的样本图像包括对应第一编码条件的输入残差图像，和未编码的输出残差图像。或者训练模型的样本图像包括对应第一编码条件的输入残差图像，和对应第一编码条件的输出残差图像以及未编码的输出残差图像。其中，输出残差图像的分辨率大于输入残差图像的分辨率。

本申请提出的图像重建方法不需要额外的上采样和下采样预处理过程，使得本方法更便于与编解码器的结合。且将附加的先验信息作为网络输入，可有效改善网络训练的效果，从而提升视频图像的质量。图像重建模型的输入输出均为残差图像，可解释性强，直接学习图像残差，从根本上降低了网络的计算难度，从而有效地降低了网络训练难度。

请参见图8，为本发明图像重建装置的一实施例的结构示意图，具体包括：网络输入模块81以及网络处理模块82，网络输入模块81包括网络输入层。网络处理模块82包括网络处理层。

网络输入模块81利用网络输入层对输入残差图像进行处理，将输入残差图像的尺寸调整至预设尺寸，得到待处理残差图像；预设尺寸为图像重建模型的输入尺寸。网络处理模块82利用网络处理层对待处理残差图像进行处理，得到输出残差图像；输出残差图像的分辨率大于输入残差图像的分辨率。

本申请的图像重建装置，不需要在图像重建模型外对图像进行额外的上采样、写采样处理，能够更好的与编码器、解码器结合。

请参见图9，为本发明提供的解码方法的一实施例的流程示意图，具体包括：

步骤S91：对获取的码流解码，得到输入残差图像。

步骤S92：利用图像重建模型中的网络输入层对输入残差图像进行处理，将输入残差图像的尺寸调整至预设尺寸，得到待处理残差图像；预设尺寸为图像重建模型的输入尺寸。

步骤S93：利用图像重建模型中的网络处理层对输入残差图像进行处理，得到输出残差图像；输出残差图像的分辨率大于输入残差图像的分辨率。

本实施例中，直接利用实现上述图1至图7所示的图像重建方法的图像重建模型对输入残差图像进行处理。

在另一实施例中，码流还包括滤波标记，滤波标记表征图像重建模型的类型。在本实施例中，将实现上述图1至图7所示的图像重建方法的图像重建模型与现有的神经网络作为候选，在实际应用中，可以基于编码参数、代价等等从本申请的图像重建模型与现有的神经网络中选择合适的图像重建模型进行编码，并建立所用的图像重建模型的句法元素，将句法元素编码至码流中，在解码时，基于滤波标记从模型集合中选择图像重建模型，利用选择的图像重建模型中的网络输入层对输入残差图像进行处理。

具体的，模型集合包括第一图像重建模型以及第二图像重建模型，第一图像重建模型为实现上述图1至图7所示的图像重建方法的图像重建模型，而第二图像重建模型为现有的神经网络。

在一实施例中，定义句法元素SR_CNN_FLAG，其取值为0和1，取值为0时表示使用现有的神经网络，取值为1时表示采用实现上述图1至图7所示的图像重建方法的图像重建模型。

请参见图10，为本发明解码装置的一实施例的结构示意图，具体包括：解码模块101、网络输入模块102以及网络处理模块103，网络输入模块102包括网络输入层。网络处理模块103包括网络处理层。

解码模块101用于对获取的码流解码，得到输入残差图像。

网络输入模块102利用网络输入层对输入残差图像进行处理，将输入残差图像的尺寸调整至预设尺寸，得到待处理残差图像；预设尺寸为图像重建模型的输入尺寸。网络处理模块103利用网络处理层对待处理残差图像进行处理，得到输出残差图像；输出残差图像的分辨率大于输入残差图像的分辨率。

本申请的解码装置，不需要在图像重建模型外对图像进行额外的上采样、写采样处理，能够更好的与编码器、解码器结合。

请参见图11，为本发明编码方法的一实施例的流程示意图，具体包括：

步骤S111：获取编码残差图像，所述编码残差图像作为输入残差图像。

步骤S112：利用图像重建模型中的网络输入层对输入残差图像进行处理，将输入残差图像的尺寸调整至预设尺寸，得到待处理残差图像；预设尺寸为图像重建模型的输入尺寸。

步骤S113：利用图像重建模型中的网络处理层对输入残差图像进行处理，得到输出残差图像；输出残差图像的分辨率大于输入残差图像的分辨率。

本实施例中，直接利用实现上述图1至图7所示的图像重建方法的图像重建模型对输入残差图像进行处理，得到输出残差图像。

在实际应用中，可以基于编码参数、代价等等从本申请的图像重建模型与现有的神经网络中选择合适的图像重建模型对输入残差图像进行处理，并建立所用的图像重建模型的句法元素，将句法元素编码至码流中，在解码时，基于滤波标记从模型集合中选择图像重建模型，利用选择的图像重建模型中的网络输入层对输入残差图像进行处理。

具体的，模型集合包括第一图像重建模型以及第二图像重建模型，第一图像重建模型为实现上述图1至图7所示的图像重建方法的图像重建模型，而第二图像重建模型为现有的神经网络。

请参见图12，为本发明编码装置的一实施例的结构示意图，具体包括：获取模块121、网络输入模块122、网络处理模块123，网络输入模块122包括网络输入层。网络处理模块123包括网络处理层。

获取模块121用于编码残差图像，所述编码残差图像作为输入残差图像。

网络输入模块122利用网络输入层对输入残差图像进行处理，将输入残差图像的尺寸调整至预设尺寸，得到待处理残差图像；预设尺寸为图像重建模型的输入尺寸。网络处理模块123利用网络处理层对待处理残差图像进行处理，得到输出残差图像；输出残差图像的分辨率大于输入残差图像的分辨率。

本申请的解码装置，不需要在图像重建模型外对图像进行额外的上采样、写采样处理，能够更好的与编码器、解码器结合。

请参见图13，为本发明电子设备的一实施例的结构示意图。电子设备包括相互连接的存储器132和处理器131。

存储器132用于存储实现上述任意一项的方法的程序指令。

处理器131用于执行存储器132存储的程序指令。

其中，处理器131还可以称为CPU(Central Processing Unit，中央处理单元)。处理器131可能是一种集成电路芯片，具有信号的处理能力。处理器131还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器132可以为内存条、TF卡等，可以存储电子设备中全部信息，包括输入的原始数据、计算机程序、中间运行结果和最终运行结果都保存在存储器中。它根据控制器指定的位置存入和取出信息。有了存储器，电子设备才有记忆功能，才能保证正常工作。电子设备的存储器按用途存储器可分为主存储器(内存)和辅助存储器(外存)，也有分为外部存储器和内部存储器的分类方法。外存通常是磁性介质或光盘等，能长期保存信息。内存指主板上的存储部件，用来存放当前正在执行的数据和程序，但仅用于暂时存放程序和数据，关闭电源或断电，数据会丢失。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方法实现。例如，以上所描述的装置实施方法仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方法，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方法方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，系统服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方法的全部或部分步骤。

请参阅图14，为本发明计算机可读存储介质的结构示意图。本申请的存储介质存储有能够实现上述所有方法的程序文件141，其中，该程序文件141可以以软件产品的形式存储在上述存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方法的全部或部分步骤。而前述的存储装置包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。

以上仅为本发明的实施方法，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (28)

1.一种图像重建方法，其特征在于，所述图像重建方法基于图像重建模型进行，所述图像重建模型包括网络输入层以及网络处理层，所述方法包括：

利用所述网络输入层对输入残差图像进行处理，将所述输入残差图像的尺寸调整至预设尺寸，得到待处理残差图像，所述预设尺寸为所述图像重建模型的输入尺寸；

利用所述网络处理层对所述待处理残差图像进行处理，得到输出残差图像；所述输出残差图像的分辨率大于所述输入残差图像的分辨率。

2.根据权利要求1所述的图像重建方法，其特征在于，所述输入残差图像是基于对待重建残差图像进行分割得到的图像块得到的。

3.根据权利要求2所述的图像重建方法，其特征在于，

所述待重建残差图像包括Y分量残差图像、U分量残差图像以及V分量残差图像，所述输入残差图像包括Y分量输入残差图像、U分量输入残差图像、V分量输入残差图像。

4.根据权利要求2所述的图像重建方法，其特征在于，所述利用所述网络输入层对输入残差图像进行处理的步骤之前，包括：

对所述待重建残差图像进行分割，得到多个图像块；

利用每一所述图像块周围的像素点对所述图像块进行填充，得到每一所述图像块对应的所述输入残差图像。

5.根据权利要求1-4任一项所述的图像重建方法，其特征在于，所述输入残差图像包括附加信息，所述附加信息包括图像分量、所述图像分量对应的量化参数图、所述图像分量对应的帧内帧间预测值中至少一种。

6.根据权利要求5所述的图像重建方法，其特征在于，述利用所述网络输入层对输入残差图像进行处理，将所述输入残差图像的尺寸调整至预设尺寸的步骤之前，包括：

对所述附加信息进行填充，将所述附加信息的尺寸调整至所述预设尺寸。

7.根据权利要求4所述的图像重建方法，其特征在于，所述利用所述网络输入层对输入残差图像进行处理，将所述输入残差图像的尺寸调整至预设尺寸的步骤，包括：

利用反卷积层对U分量输入残差图像、V分量输入残差图像进行处理，使得所述U分量输入残差图像、所述V分量输入残差图像的尺寸与所述Y分量输入残差图像的尺寸匹配；

将反卷积层处理后的所述U分量输入残差图像、所述V分量输入残差图像与所述Y分量输入残差图像进行拼接，进而将所述输入残差图像的尺寸调整至所述预设尺寸。

8.根据权利要求7所述的图像重建方法，其特征在于，响应于所述输入残差图像包括附加信息；

所述将反卷积层处理后的所述U分量输入残差图像、所述V分量输入残差图像与所述Y分量输入残差图像进行拼接的步骤，包括：

将反卷积层处理后的所述U分量输入残差图像、所述V分量输入残差图像、所述Y分量输入残差图像与所述附加信息进行拼接。

9.根据权利要求1所述的图像重建方法，其特征在于，所述利用所述网络处理层对所述待处理残差图像进行处理，得到输出残差图像的步骤，包括：

利用第一卷积层对所述待处理残差图像进行处理；

利用残差模块对所述第一卷积层的输出进行处理；

利用第二卷积层对所述残差模块的输出进行处理；

利用上采样层对所述第二卷积层的输出进行处理；

利用输出层对所述上采样层的输出进行处理，进而得到所述输出残差图像。

10.根据权利要求9所述的图像重建方法，其特征在于，所述第一卷积层的输入通道的数量由所述第一卷积层的卷积核以及附加信息的数量决定。

11.根据权利要求9所述的图像重建方法，其特征在于，所述残差模块包括N个级联的残差单元；

所述利用残差模块对所述第一卷积层的输出进行处理的步骤，包括：

依次利用N个级联的残差单元对所述第一卷积层的输出进行处理，N大于或等于1；

其中，首个所述残差单元的输入为所述第一卷积层的输出，第N个所述残差单元的输入为第N-1个所述残差单元输出。

12.根据权利要求11所述的图像重建方法，其特征在于，第M个残差单元中，

依次利用R个子残差单元对所述第M个残差单元的输入进行处理，所述子残差单元包括卷积层、激活层；

利用第三卷积层对第R个所述子残差单元的输出进行处理；

利用注意力模块对所述第三卷积层的输出进行处理；

将所述注意力模块的输出与所述第三卷积层的输出相乘，得到乘积；

将所述第M个残差单元的输入与所述乘积相加，得到所述第M个残差单元的输出。

13.根据权利要求12所述的图像重建方法，其特征在于，所述利用注意力模块对所述第三卷积层的输出进行处理的步骤，包括：

利用所述注意力模块中依次级联的池化层、卷积层、激活层、卷积层、归一化层对所述第三卷积层的输出进行处理。

14.根据权利要求1所述的图像重建方法，其特征在于，所述方法还包括：

将所述输出残差图像进行组合，得到超分图像；

对预测图像进行上采样处理，得到采样图像；

将所述超分图像与所述采样图像相加，得到重建图像。

15.根据权利要求1所述的图像重建方法，其特征在于，所述利用所述网络输入层对输入残差图像进行处理的步骤之前，还包括：

基于所述输入残差图像的参数信息确定对应的图像重建模型；所述参数信息包括所述输入残差图像的帧类型、所述输入残差图像的量化参数中至少一种。

16.根据权利要求15所述的图像重建方法，其特征在于，所述参数信息包括量化参数；所述方法还包括：

利用所述多张样本图像以及所述量化参数对初始网络模型进行训练，得到多个图像重建模型。

17.根据权利要求15所述的图像重建方法，其特征在于，所述参数信息包括图像的帧类型；所述方法还包括：

分别利用不同帧类型的样本图像对初始网络模型进行训练，得到多个图像重建模型。

18.根据权利要求13所述的图像重建方法，其特征在于，所述参数信息包括图像的帧类型和量化参数；所述方法还包括：

分别利用不同帧类型的样本图像以及所述量化参数对初始网络模型进行训练，得到多个图像重建模型。

19.根据权利要求16所述的图像重建方法，其特征在于，

所述样本图像包括对应第一编码条件的输入残差图像，和对应所述第一编码条件的输出残差图像；或者

所述样本图像包括对应第一编码条件的输入残差图像，和未编码的输出残差图像；或者

所述样本图像包括对应第一编码条件的输入残差图像，和对应所述第一编码条件的输出残差图像以及未编码的输出残差图像。

20.一种图像重建装置，其特征在于，所述图像重建装置包括网络输入模块以及网络处理模块，所述网络输入模块包括网络输入层，所述网络处理模块包括网络处理层；

所述网络输入模块利用所述网络输入层对输入残差图像进行处理，将所述输入残差图像的尺寸调整至预设尺寸，得到待处理残差图像；所述预设尺寸为所述图像重建模型的输入尺寸；

所述网络处理模块利用所述网络处理层对所述待处理残差图像进行处理，得到输出残差图像；所述输出残差图像的分辨率大于所述输入残差图像的分辨率。

21.一种解码方法，其特征在于，包括：

对获取的码流解码，得到输入残差图像；

利用图像重建模型中的网络输入层对输入残差图像进行处理，将所述输入残差图像的尺寸调整至预设尺寸，得到待处理残差图像；所述预设尺寸为所述图像重建模型的输入尺寸；

利用图像重建模型中的网络处理层对所述输入残差图像进行处理，得到输出残差图像；所述输出残差图像的分辨率大于所述输入残差图像的分辨率。

22.根据权利要求21所述的解码方法，其特征在于，所述码流还包括滤波标记；所述滤波标记表征图像重建模型的类型；

所述利用图像重建模型中的网络输入层对输入残差图像进行处理的步骤，包括：

基于所述滤波标记从模型集合中选择图像重建模型；所述模型集合包括第一图像重建模型以及第二图像重建模型，所述第一图像重建模型用于实现上述权利要求1-17任一项所述的图像重建方法；

利用选择的所述图像重建模型中的网络输入层对输入残差图像进行处理。

23.一种解码装置，其特征在于，包括：

解码模块，用于对获取的码流解码，得到输入残差图像；

网络输入模块，用于利用图像重建模型中的网络输入层对输入残差图像进行处理，将所述输入残差图像的尺寸调整至预设尺寸，得到待处理残差图像；所述预设尺寸为所述图像重建模型的输入尺寸；

网络处理模块，用于利用图像重建模型中的网络处理层对所述输入残差图像进行处理，得到输出残差图像；所述输出残差图像的分辨率大于所述输入残差图像的分辨率。

24.一种编码方法，其特征在于，包括：

获取编码残差图像，所述编码残差图像作为输入残差图像；

利用图像重建模型中的网络输入层对输入残差图像进行处理，将所述输入残差图像的尺寸调整至预设尺寸，得到待处理残差图像；所述预设尺寸为所述图像重建模型的输入尺寸；

利用图像重建模型中的网络处理层对所述输入残差图像进行处理，得到输出残差图像；所述输出残差图像的分辨率大于所述输入残差图像的分辨率。

25.根据权利要求24所述的编码方法，其特征在于，所述利用图像重建模型中的网络输入层对输入残差图像进行处理的步骤，包括：

从模型集合中选择图像重建模型；所述模型集合包括第一图像重建模型以及第二图像重建模型，所述第一图像重建模型用于实现上述权利要求1-19任一项所述的图像重建方法；

利用选择的所述图像重建模型中的网络输入层对输入残差图像进行处理。

26.一种编码装置，其特征在于，包括：

获取模块，用于编码残差图像，所述编码残差图像作为输入残差图像；

网络输入模块，用于利用图像重建模型中的网络输入层对输入残差图像进行处理，将所述输入残差图像的尺寸调整至预设尺寸，得到待处理残差图像；所述预设尺寸为所述图像重建模型的输入尺寸；

网络处理模块，用于利用图像重建模型中的网络处理层对所述输入残差图像进行处理，得到输出残差图像；所述输出残差图像的分辨率大于所述输入残差图像的分辨率。

27.一种电子设备，其特征在于，包括相互藕接的处理器以及存储器，其中，

所述存储器用于存储实现如权利要求1-19、21-22、24-25任一项所述的方法的程序指令；

所述处理器用于执行所述存储器存储的所述程序指令。

28.一种计算机可读存储介质，其特征在于，存储有程序文件，所述程序文件能够被执行以实现如权利要求1-19、21-22、24-25任一项所述的方法。

Images