CN116527912A - 编码视频数据处理方法和视频编码处理器 - Google Patents

Abstract

本公开涉及一种编码视频数据处理方法和视频编码处理器。在第一节点对编码视频数据的至少部分视频数据的预测编码模式进行调整以提升预测效果，得到二次编码视频数据。将二次编码视频数据发送到第二节点。在第二节点将二次编码视频数据中经预测编码模式调整而得到的至少部分视频数据恢复为原视频数据预测编码模式的视频数据，得到恢复的编码视频数据。由此，使得所传输的二次编码视频数据具有小于原编码视频数据的数据量，从而能够降低视频数据传输所需的带宽资源。另一方面，由于可以在向用户的客户端提供视频数据之前，将二次编码视频数据恢复为原编码视频数据，可以在对用户无感的情况下实现本公开的编码视频数据处理方案。

Description

编码视频数据处理方法和视频编码处理器

技术领域

本公开涉及编码视频领域，特别涉及编码视频的处理方法和处理器。

背景技术

随着互联网技术的发展，特别是随着点播、直播、小视频APP等网络服务的兴起和繁荣，视频内容越来越丰富，并且在网络传输的各种内容中占据越来越多的比例。

由于视频内容往往具有较大的数据量，目前已有多种编码压缩方案来降低视频数据的数据量，也已经取得了非常好的数据压缩效果。

然而，在有大量视频内容需要网络传输的背景下，总是期望能够实现对视频数据的进一步压缩，进一步降低数据量。

因此，仍然期望一种改进的视频数据处理方案，其能够进一步降低视频数据传输的数据量。

发明内容

本公开要解决的一个技术问题是提供一种能够进一步降低视频数据传输的数据量的视频数据处理方案。

根据本公开的第一个方面，提供了一种编码视频数据处理方法，包括：对编码视频数据进行解码，得到解码视频数据；对解码视频数据的至少部分视频数据的预测编码模式进行调整以提升预测效果，得到转码视频数据；以及对转码视频数据进行编码，得到二次编码视频数据。

可选地，对解码视频数据的至少部分视频数据的预测编码模式进行调整以提升预测效果的步骤包括：将解码视频数据中基于帧内预测的视频数据转换为基于帧间预测的视频数据，得到转码视频数据。

可选地，将解码视频数据中基于帧内预测的视频数据转换为基于帧间预测的视频数据得到转码视频数据的步骤包括：使用当前帧的视频数据获取基于帧内预测的视频数据对应图像块的帧内预测数据；使用参考帧的视频数据获取图像块的帧间预测数据；获取图像块的帧间预测数据与帧内预测数据之间的差值；以及基于解码视频数据和差值得到转码视频数据。

可选地，解码视频数据包括当前帧的原视频数据与帧内预测数据之间的残差经变换处理和量化处理后得到的第一级别值，并且，基于解码视频数据和差值得到转码视频数据的步骤包括：对差值进行变换处理和量化处理得到差级别值；获取第一级别值和差级别值之间的差值，作为第二级别值，转码视频数据包括第二级别值。

可选地，对所述差值进行的变换处理与对所述残差进行的变换处理是一致的。

可选地，所述差值经变换处理之后进行的量化处理与所述残差经变换处理之后进行的量化处理是一致的。

可选地，所述参考帧是与当前帧邻近的一个或多个帧。或者，可选地，所述参考帧是当前帧之前的一个或多个关键帧。或者，可选地，当前编码视频数据属于第一编码视频数据码流，所述参考帧是第二编码视频数据码流中与当前帧相对应的帧。

可选地，基于帧内预测的视频数据包括：解码视频数据中关键帧的视频数据；以及/或者解码视频数据中非关键帧中基于帧内预测的视频数据。

根据本公开的第二个方面，提供了一种编码视频数据处理方法，包括：接收二次编码视频数据，其中，二次编码视频数据是对转码视频数据进行编码得到的，转码视频数据是通过对原编码视频数据的至少部分视频数据的预测编码模式进行调整以提升预测效果而得到的；对二次编码视频数据进行解码，得到转码视频数据；将转码视频数据中经预测编码模式调整而得到的至少部分视频数据恢复为原编码视频数据中相应预测编码模式的视频数据，得到恢复的解码视频数据；以及对解码视频数据进行编码，得到恢复的编码视频数据。

可选地，对原编码视频数据的至少部分视频数据的预测编码模式进行调整以提升预测效果包括：将原编码视频数据中基于帧内预测的视频数据转换为基于帧间预测的视频数据。可选地，将转码视频数据中经预测编码模式调整而得到的至少部分视频数据恢复为原编码视频数据中相应预测编码模式的视频数据的步骤包括：将转码视频数据中经转换得到的基于帧间预测的视频数据恢复为基于帧内预测的视频数据。

可选地，将转码视频数据中经转换得到的基于帧间预测的视频数据恢复为基于帧内预测的视频数据得到恢复的解码视频数据的步骤包括：对于经转换得到的基于帧间预测的视频数据对应的图像块，使用当前帧的视频数据获取帧内预测数据；使用参考帧的视频数据获取图像块的帧间预测数据；获取图像块的帧间预测数据与帧内预测数据之间的差值；以及基于转码视频数据和差值得到解码视频数据。

可选地，转码视频数据包括第二级别值，所述第二级别值是第一级别值与差级别值之间的差值，所述第一级别值是当前帧的原视频数据与帧内预测数据之间的残差经变换处理和量化处理后得到的，所述差级别值是当前帧的所述图像块的帧间预测数据与帧内预测数据之间的差值经变换处理和量化处理后得到的，并且，基于解码视频数据和差值得到转码视频数据的步骤包括：对差值进行变换处理和量化处理得到差级别值；获取第二级别值和差级别值之和，从而得到所述第一级别值。

根据本公开的第三个方面，提供了一种编码视频数据处理方法，包括：在第一节点对编码视频数据的至少部分视频数据的预测编码模式进行调整以提升预测效果，得到二次编码视频数据；将二次编码视频数据发送到第二节点；以及在第二节点将二次编码视频数据中经预测编码模式调整而得到的至少部分视频数据恢复为原视频数据预测编码模式的视频数据，得到恢复的编码视频数据。

根据本公开的第四个方面，提供了一种视频编码处理器，包括：第一解码器，用于对编码视频数据进行解码，得到解码视频数据；第一转码器，用于对解码视频数据的至少部分视频数据的预测编码模式进行调整以提升预测效果，得到转码视频数据；以及第一编码器，对转码视频数据进行编码，得到二次编码视频数据。

根据本公开的第五个方面，提供了一种视频编码处理器，包括：通信装置，用于接收二次编码视频数据，其中，二次编码视频数据是对转码视频数据进行编码得到的，转码视频数据是通过对原编码视频数据的至少部分视频数据的预测编码模式进行调整以提升预测效果而得到的；第二解码器，用于对输入的二次编码视频数据进行解码，得到转码视频数据；第二转码器，用于将转码视频数据中经预测编码模式调整而得到的至少部分视频数据恢复为原编码视频数据中相应预测编码模式的视频数据，得到恢复的解码视频数据；以及第二编码器，用于对解码视频数据进行编码，得到恢复的编码视频数据。

根据本公开的第六个方面，提供了一种计算设备，包括：处理器；以及存储器，其上存储有可执行代码，当可执行代码被处理器执行时，使处理器执行如上述第一方面所述的方法。

根据本公开的第七个方面，提供了一种计算机程序产品，包括可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上述第一方面所述的方法。

根据本公开的第八个方面，提供了一种非暂时性机器可读存储介质，其上存储有可执行代码，当可执行代码被电子设备的处理器执行时，使处理器执行如上述第一方面所述的方法。

由此，通过对标准模式的原编码视频数据中至少部分视频数据的预测编码模式进行调整以提升预测效果，使得所传输的二次编码视频数据具有小于原编码视频数据的数据量，从而能够降低视频数据传输所需的带宽资源。

另一方面，由于可以在向用户的客户端提供视频数据之前，将二次编码视频数据恢复为原编码视频数据，可以在对用户无感的情况下实现本公开的编码视频数据处理方案。

附图说明

通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的参考标号通常代表相同部件。

图1示意性地示出了根据本公开在网络上传输视频码流的方案。

图2是根据本公开实施例在网络上传输视频数据码流的编码视频数据处理方法的示意性流程图。

图3是当前一般视频数据编码方案的示意框架图。

图4是可用于实现根据本公开的二次编码的视频编码处理器的示意性框图。

图5是实现根据本公开的二次编码的编码视频数据处理方法的示意性流程图。

图6是根据本公开实施例用于实现二次编码的视频编码处理器的示意性框架图。

图7是可用于实现根据本公开的二次解码的视频编码处理器的示意性框图。

图8是实现根据本公开的二次解码的编码视频数据处理方法的示意性流程图。

图9是根据本公开实施例用于实现二次解码的视频编码处理器的示意性框架图。

图10示出了根据本发明一实施例可用于实现上述方法的计算设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

现有的视频数据编码方案中，通过帧内预测来降低视频数据的空间(空域)冗余，通过帧间预测来降低视频数据的时间(时域)冗余。相应地，编码视频数据中的帧可以分为I帧(也可以称为“关键帧”或“帧内压缩帧”)、P帧(也可以称为“向前搜索帧”或“差别帧”)、B帧(也可以称为“双向搜索帧”或“双向差别帧”)。

I帧是仅使用帧内预测来进行压缩的帧。编码视频数据中一般需要间隔设置一系列I帧。I帧可以作为每个图像组(GOP，Group ofPicture)的第一帧。视频解码时，I帧不需要参考任何其它帧即可完整解码。因此，一方面，I帧可以作为随机访问的起点；另一方面，即使前面的视频数据出错，也可以从下一个I帧开始实现正确解码。

P帧是使用在源视频的帧序列中先前的帧进行帧间预测的帧。B帧是使用在源视频的帧序列中先前和在后的帧进行帧间预测的帧。

一般而言，B帧的压缩率最高，I帧的压缩率最低。

在例如直播、点播等视频码流中，为了随机访问的需要，都会包含周期性布置的I帧。

然而，本公开的发明人注意到，编码视频数据的码流在互联网络中进行传输时，并不需要随机访问的能力，而且随着互联网络基础设施的发展，视频数据传输出错的情形也越来越少。

因此，本公开的发明人提出，至少在编码视频数据的传输过程中，可以利用时域信息对I帧进行二次无损压缩，换言之，可以将编码视频数据的I帧转变为帧间预测帧(P帧或B帧)，以减少I帧码率，降低数据传输的带宽成本。

简而言之，可以对I帧的重构块找到帧间预测，减去其帧内预测，对得到的残差进行变换和量化，形成量化级别。将该级别作为原始码流中原始量化级别的预测值。用原始量化级别减去该预测值，再对差值再进行熵编码，形成二次无损压缩的二次编码视频数据码流。

当二次编码视频数据码流传输到要向用户提供编码视频数据的网络节点时，可以由该节点将二次编码视频数据恢复为原来编码模式的编码视频数据。

本公开提出的I帧二次无损压缩方法可以适用于目前所有主流的视频编码标准，如H.264、H.265、VP8/9、AV1、AVS系列等。

使用本公开提出的I帧二次无损压缩方法，视频数据的源端编码方案和播放端解码方案都不需要做任何改动，可以在现有视频采集、编码、传输、解码、播放的完整技术架构内直接适用。

下面，参考附图对本公开的编码视频数据处理方案进行详细描述。

1.总体架构。

图1示意性地示出了根据本公开在网络上传输视频码流的方案。

如图1所示，视频数据码流从第一节点L1流向第二节点L2，客户端C从第二节点L2节点访问获取视频数据码流。

这样，视频数据码流只需要在第二节点L2能够满足客户端C访问获取的需要，例如具备随机访问能力。而在从第一节点至第二节点L2的传输过程中，则可以不必考虑所传输的视频数据码流是否便于客户端C的访问，例如可以无需具备随机访问能力。

因此，可以在第一节点L1，对原始的标准编码视频数据码流进行二次无损压缩，降低所需传输的视频数据码流的数据量，然后在将二次编码压缩后的视频数据码流传输到第二节点L2之后，再在第二节点L2进行二次无损解压缩，恢复为原始的标准编码视频数据码流，即可方便地供客户端C访问获取。

无损压缩是指对压缩数据进行解压之后可以完全恢复压缩前的原始数据。本公开的方案的二次编码压缩优选是无损压缩。但是，应当理解，在一些情况下，根据实际需要，适用一定程度的有损压缩进行二次编码压缩也是可行。

关于二次无损压缩方案，考虑到前述I帧相对于P/B帧的压缩率差别，可以尝试在第一节点L1对I帧进行进一步压缩。

例如，在第一节点L1，可以利用时域信息，对原始的标准编码视频数据码流中的I帧进行二次无损压缩，在第二节点L2再进行二次无损解压缩，恢复成原始标准编码视频数据码流。

图2是根据本公开实施例在网络上传输视频数据码流的编码视频数据处理方法的示意性流程图。

如图2所示，在步骤S110，可以在第一节点，对编码视频数据的至少部分视频数据的预测编码模式进行调整，以提升预测效果，从而得到二次编码视频数据。

这里，可以对编码视频数据中基于帧内预测的视频数据转换为基于帧间预测的视频数据。

例如，可以将I帧转变为P帧或B帧，将P帧或B帧中通过帧内预测进行编码的块转变为通过帧间预测进行编码。

然后，在步骤S120，将二次编码视频数据发送到第二节点。

在此传输过程中，可以不用考虑客户端C访问数据的便利性，不用考虑用户随机访问的能力。而通过传输具有更高压缩率的二次编码视频数据，取代相对具有较低压缩率的原编码视频数据的传输，能够节省视频数据码流传输所消耗的带宽资源。

然后，在步骤S130，在第二节点，可以将二次编码视频数据恢复为原编码视频数据，即，可以将二次编码视频数据中经前述预测编码模式调整而得到的至少部分视频数据恢复为原视频数据预测编码模式的视频数据，得到恢复的编码视频数据。

例如，可以将二次编码视频数据中经前述(帧内预测到帧间预测的)转换得到的基于帧间预测的视频数据，恢复为基于帧内预测的视频数据，从而得到恢复的编码视频数据。

由此，如前文所述，可以节省从第一节点L1到第二节点L2之间传输视频码流所消耗的带宽。

下面，进一步详细描述步骤S110中的二次编码和步骤S130中的二次解码。

这里称“二次解码”只是为了与“二次编码”相对应，而不是为了明示或暗示解码的次序或数量。

2.一次编码。

首先，参考图3描述当前一般的视频编码方案框架。目前几乎所有的主流视频压缩标准都遵循此框架。

为了与本公开的“二次编码”相区分，在此将该编码过程称为“一次编码”。

如图3所示，未经过编码压缩的YUV像素数据(YUV颜色编码采用的是明亮度和色度来指定像素的颜色，Y表示明亮度，而U和V表示色度)先减去预测数据(prediction)，得到残差(residual)，然后经过变换(transform)和量化(quantization)得到量化残差级别(level)的值，再对级别值进行熵编码(entropy encoder)形成压缩后的编码视频数据码流，将其输出。

其中，预测(prediction)分为帧内预测(intra prediction)和帧间预测(interprediction)。帧间预测的运动数据(motion data)和帧内预测的帧内模式信息(intramode info)也都需要写入码流。

如上文所述，对于I帧而言，只使用帧内预测。

图3中，用于进行预测的逆量化(inverse quantization)、逆变换(inversetransform)、环路滤波(loop filter)、参考帧缓存(reference frame buffer)、运动估计(motion estimation)、帧间预测、帧内预测等模块都已是现有技术所公知，在此不再赘述。

3.二次编码。

下面参考图4和图5描述根据本公开的二次编码方案，即前述在例如第一节点L1执行的步骤S110。

图4是可用于实现根据本公开的二次编码的视频编码处理器的示意性框图。

图5是实现根据本公开的二次编码的编码视频数据处理方法的示意性流程图。

如图4所示，可用于实现根据本公开的二次编码(部署在第一节点L1)的视频编码处理器400可以包括第一解码器410、第一转码器420、第一编码器430。

另外，视频编码处理器400还可以包括第一通信装置440。

如图5所示，在步骤S500，例如可以由第一通信装置440，接收编码视频数据。所接收的编码视频数据例如可以是通过如图3所示的一次编码方案编码得到的常规标准模式的编码视频数据。

在步骤S510，例如可以由第一解码器410，对编码视频数据进行解码，得到解码视频数据。

编码视频数据例如可以是由第一通信装置440接收的，例如通过图3所示一次编码方案编码的。

例如，在如图3所示一次编码方案最终执行熵编码的情况下，这里的第一解码器410可以相应进行熵解码，得到图3所示对YUV视频数据(像素数据)与预测数据之间的残差进行量化处理和变换处理得到的级别值，为与二次编码过程中后续通过转码处理得到的级别值相区分，在此称为“第一级别值”。

这里，可以只对要进行二次编码的帧以及要用作参考帧做帧间预测的帧进行解码。

要进行二次编码的帧可以是关键帧(I帧)，也可以是要对其中基于帧内预测的视频数据的进行二次编码的非关键帧(P帧或B帧)。

在步骤S520，例如可以由第一转码器420，对解码视频数据的至少部分视频数据的预测编码模式进行调整以提升预测效果，得到转码视频数据。

作为可行的预测编码模式调整方式，可以通过将解码视频数据中基于帧内预测的视频数据转换为基于帧间预测的视频数据，来提升预测效果，得到转码视频数据。

本领域技术人员应当理解，还可以有其它能够提升预测效果的预测编码模式调整方式。这些调整方式都可以用于本公开的二次编码方案。

这里，要进行转换的基于帧内预测的视频数据可以包括解码视频数据中关键帧(I帧)的视频数据。换言之，可以将关键帧(I帧)的视频数据转换为帧间预测的帧，即P帧或B帧。

通过将一次编码(标准编码方案)得到的编码视频数据中，仅基于帧内预测进行编码的关键帧(I帧)转换为基于帧间预测的P帧或B帧，可以提高压缩率，降低视频数据量，节省视频数据传输所需的带宽。

另外，在一些实施例中，要进行转换的基于帧内预测的视频数据还可以包括解码视频数据中非关键帧中基于帧内预测的视频数据。非关键帧是指视频数据中除关键帧(I帧)以外的帧，即不仅基于帧内预测还基于帧间预测进行编码的帧，可以包括前述P帧和B帧。

换言之，本公开的I帧二次无损压缩编码可以进一步扩展为帧内预测块(intrablock)的二次无损压缩编码。即，对所有使用帧内预测模式(intra mode)的块均可以利用帧间信息进行二次无损压缩编码。帧内预测块不止可以出现在I帧中，也可以出现在P/B帧中。只是对于出现在P/B中的帧内预测块，或许只有在增加额外参考帧的时候才有机会找到更好的帧间预测。

众所周知，与帧内预测编码相比，基于帧间预测进行编码具有更高的压缩率。通过将非关键帧如P帧或B帧中原本基于帧内预测进行编码的视频数据转换为基于帧间预测进行编码的视频数据，同样可以提高压缩率，降低视频数据量，节省视频数据传输所需的带宽。

这里，作为一个示例，描述步骤S520的转换的一种可行方案。

一方面，可以使用编码视频数据中当前帧的视频数据，获取基于帧内预测的视频数据对应图像块的帧内预测数据。

另一方面，还可以结合使用参考帧的视频数据获取该图像块的帧间预测数据。

这里，可以使用一个参考帧来进行帧间预测，也可以使用多个参考帧来进行帧间预测。

参考帧可以是邻近当前帧的前一帧和/或后一帧(一般为P帧或B帧)，也可以是与当前帧具有一定距离的帧。

或者，参考帧也可以是前一个GOP的I帧。

或者，参考帧还可以是其它编码视频数据码流中的帧。

例如，在直播和点播等网络服务中，一个原始视频数据码流往往会转码成多路具有不同分辨率和/或码率的编码视频数据码流。这些编码视频数据码流的各个对应帧可以具有相同的画面内容。如果这些编码视频数据码流都经过图1中的第一节点L1和第二节点L2，那么针对一个编码视频数据码流中的当前帧，就可以参考其它编码视频数据码流中在其之前已产生的对应帧(画面内容相同的帧)。

例如，假设有两个码流：原始编码视频数据码流A，转码编码视频数据码流B。一般而言，转码编码视频数据码流B中的对应帧肯定于转码流A的对应帧之后产生，则码流B中当前帧的参考帧则可以是码流A中的对应帧。

这样，可以在第一节点L1以码流A中的帧作为参考帧对码流B中的对应帧进行预测以进行二次编码，而在第二节点L2使用码流A中的帧作为参考帧对二次编码后的码流B中的对应帧进行恢复。

换言之，设当前编码视频数据属于第一编码视频数据码流，则可以以对应的第二编码视频数据码流中与当前帧相对应的帧作为参考帧来执行上述帧间预测，从而进行二次编码压缩处理。如前文所述，这里对应帧可以是指相对应的第一编码视频数据码流和第二编码视频数据码流中，具有相同画面内容的帧。第一编码视频数据码流和第二编码视频数据码流例如可以是针对相同视频内容的编码视频数据码流。例如，第一编码视频数据码流和第二编码视频数据码流可以是基于相同的源视频数据产生的，其中各对应帧可以具有相同或基本相对应的画面内容。

如果第二编码视频数据码流的分辨率和第一编码视频数据码流的分辨率不同，则可以先对第二编码视频数据码流的对应帧进行分辨率转换，例如进行缩放滤波处理，使得其与第一编码视频数据码流的当前帧具有相同的分辨率。

在如上所述获取了该图像快的帧间预测数据和帧内预测数据后，就可以获取该图像块的帧间预测数据与帧内预测数据之间的差值。

基于解码视频数据和上述差值，就可以得到上述转码视频数据。

进一步地，在如上所述，在本公开的实施例中，要进行转换的解码视频数据可以包括原视频数据与帧内预测数据之间的残差经变换处理和量化处理后得到的第一级别值。这样，可以对上述差值进行变换处理和量化处理得到差级别值。获取第一级别值和上述差级别值之间的差值，作为第二级别值。转码视频数据便可以包括该第二级别值。

这里的变换处理例如可以是各种图像变换处理，例如离散傅立叶变换(DFT)、离散余弦变换(DCT)、离散正弦变换(DST)等，用于对上述残差或差值进行空域/频域的转换。

产生差级别值时对上述差值进行的变换处理，与产生第一级别值时对上述残差进行的变换处理可以是一致的。

例如，如果产生第一级别值时使用DCT变换，则产生差级别值时也使用DCT变换；如果产生第一级别值时使用DST变换，则产生差级别值时也使用DST变换。

这里的量化处理可以是各种图像量化处理。

类似地，产生差级别值时，上述差值经变换处理之后进行的量化处理，与产生第一级别值时，上述残差经变换处理之后进行的量化处理，也可以是一致的。换言之，量化处理的例如量化参数(QP)可以是大小一致的。

另外，在步骤S520中，除了前述示例中，利用帧间预测来改进原始视频数据中帧内预测数据的残差量化级别的方案之外，还可以利用其它各种预测模式来改进原始预测模式的残差量化级别。例如，还可以对原始预测数据进行滤波以获得更好的预测结果。

然后，在步骤S530，例如可以由第一编码器430，对转码视频数据进行编码，得到二次编码视频数据。

这里，第一编码器430也可以对转码视频数据进行熵编码。

在步骤S540，例如可以由第一通信装置440，向例如第二节点L2发送二次编码视频数据。

下面，结合具体实施例，进一步描述二次编码方案。

图6是根据本公开实施例用于实现二次编码的视频编码处理器的示意性框架图。

在本实施例中，将编码视频数据中的I帧重构，对I帧的重构块找到帧间预测，减去其帧内预测，对得到的残差进行变换量化，形成量化差级别值。将该差级别值作为原始码流中原始量化第一级别值的预测值，即原始量化第一级别值减去该预测值，得到第二级别值，之后再进行熵编码，形成二次无损压缩的二次编码视频数据码流。

具体说来，如图6所示，I帧的编码视频数据码流经过熵解码(例如可以由第一解码器410执行)后得到残差量化的第一级别值。

对第一级别值进行逆量化处理和逆变换处理，得到残差数据。

残差数据加上帧内预测数据可以得到重构数据块。如本领域所已知，当前位置的帧内预测数据可以根据例如左侧和上侧已经重构的数据得到。如果左侧和上侧找不到已经重构的数据，例如当前位置是当前帧图像左上角第一个块，则可以使用缺省的预测数据。

运动估计模块利用当前帧的重构数据和参考帧缓存中的参考帧数据得到运动数据，参考帧缓存中的参考帧数据是先前解码的参考帧的重构数据经过环路滤波得到的。帧间预测模块可以利用运动数据和参考帧缓存中的参考帧数据得到帧间预测数据。

参考帧缓存中的参考帧数据可以包含和当前I帧近邻的P/B帧(即下文描述的实验中的方案A，也可以只包含前面的I帧以降低复杂度(即下文描述的实验的方案B。

换言之，在二次编码过程的步骤S520中，在执行帧间预测时，所使用的参考帧可以是与当前帧邻近的一个或多个帧。在当前帧为I帧的情况下，这些邻近的参考帧一般为P帧或B帧。

或者，所使用的参考帧也可以是当前帧之前的一个或多个I帧。这样，可以只对编码视频数据中的I帧进行解码和转换，并用作后续I帧预测模式转换时的参考帧，从而可以显著降低方案实现的复杂度。

帧间预测数据减去帧内预测数据得到差值数据。对差值数据进行变换处理和量化处理，得到差级别值(也可以称为级别预测值(level_pred))。

然后第一级别值减去差级别值，得到第二级别值。再对第二级别值进行熵编码(例如可以由第一编码器430执行)，可以形成二次编码视频数据码流(secondary bitstream)，将其输出。

其中，帧间预测的预测运动数据(motion data)信息是通过对当前I帧重构块和帧间参考帧缓存中的缓存像素进行运动估计得到的，可以写入二次压缩编码后的二次编码视频数据码流。帧内预测的帧内模式信息(intra mode info)是通过解析原始编码视频数据码流得到的，也可以写入二次压缩后的二次编码视频码流。

图6中上部示出的模块，包括熵解码、逆量化、逆变换、帧内预测、环路滤波、参考帧缓存等，都可以是标准编码视频解码器的模块。

图6中下面一行示出的模块，包括运动估计、帧间预测、变换、量化、熵编码，都可以是标准视频编码器的模块。

这些标准模块的实现方式和工作原理均为本领域所已知，在此不再赘述。

图6中的熵解码模块可以对应于图4中的第一解码器410，熵编码模块可以对应于图4中的第一编码器430，图6所示其余各模块可以对应于图4中的第一转码器420。

4.二次解码。

下面参考图7和图8描述根据本公开的二次解码方案，即前述在例如第二节点L2执行的步骤S130。

图7是可用于实现根据本公开的二次解码的视频编码处理器的示意性框图。

图8是实现根据本公开的二次解码的编码视频数据处理方法的示意性流程图。

如图7所示，可用于实现根据本公开的二次解码(部署在第二节点L2)的视频编码处理器700可以包括第二解码器710、第二转码器720、第二编码器730、第二通信装置740。

如图8所示，在步骤S800，例如可以由第二通信装置740，从例如前述第一节点L1，接收二次编码视频数据。

这里，二次编码视频数据对转码视频数据进行编码得到的。转码视频数据是通过对原编码视频数据的至少部分视频数据的预测编码模式进行调整以提升预测效果而得到的。

换言之，这里的二次编码视频数据可以是由例如图4所示视频编码处理器通过图5所示的二次编码方案编码得到的。

在步骤S810，例如可以由第二解码器710，对输入的二次编码视频数据进行解码，得到转码视频数据。

在二次编码采用熵编码的情况下，这里第二解码器720可以对二次编码视频数据进行对应的熵解码。

如上文关于步骤S520的可行方案示例中所描述，转码视频数据可以包括原视频数据与帧间预测数据之间的残差经变换处理和量化处理后得到的第二级别值。

在步骤S820，例如可以由第二转码器720，将转码视频数据中经预测编码模式调整而得到的至少部分视频数据恢复为原编码视频数据中相应预测编码模式的视频数据，得到恢复的解码视频数据。

如前文所述，在二次编码过程中，预测编码模式调整方式可以是将原编码视频数据(经解码后)中基于帧内预测的视频数据转换为基于帧间预测的视频数据。

相应地，在二次解码过程中，对应的预测编码模式调整方式(逆向调整方式)可以是将转码视频数据中经转换得到的基于帧间预测的视频数据恢复为基于帧内预测的视频数据。

当在二次编码过程中采用其它预测编码模式调整方式的情况下，二次解码过程中也可以采用相应的预测编码模式逆向调整方式。

与前文中步骤S520的转换方案示例对应地，在此作为示例描述步骤S820的转换的一种对应可行方案。

与前文步骤S520的转换方案示例对应地，一方面，对于经转换得到的基于帧间预测的视频数据对应的图像块，可以使用当前帧的视频数据获取帧内预测数据。

另一方面，还可以使用参考帧的视频数据获取该图像块的帧间预测数据。

于是，同样可以获取该图像块的帧间预测数据与帧内预测数据之间的差值。

基于转码视频数据和上述差值，就可以得到上述解码视频数据。

进一步地，在如上所述，在本公开的实施例中，转码视频数据可以包括第二级别值，第二级别值是第一级别值与差级别值之间的差值。这样，可以对上述差值进行变换处理和量化处理得到差级别值。获取第二级别值和上述差级别值之和，从而得到第一级别值。解码视频数据便可以包括该第一级别值。

如上文所述，这里的第一级别值是一次编码过程中，对当前帧的(图像块的)原视频数据与帧内预测数据之间的残差，进行变换处理和量化处理后，得到的。而这里的差级别值则是二次编码过程中，对当前帧的图像块的帧间预测数据与帧内预测数据之间的差值，进行变换处理和量化处理后，得到的。

然后，在步骤S830，例如可以由第二编码器730，对解码视频数据进行编码，得到恢复的编码视频数据。

这里，第二编码器730也可以对转码视频数据进行熵编码。

在前述二次编码过程中采用无损压缩方案的情况下，这里得到的恢复的编码视频数据可以与图4和图5所示二次编码方案的输入编码视频数据相同。即使在前述二次编码过程中采用了有损压缩方案，这里也可以得到与二次编码方案的输入编码视频数据具有基本相同格式的编码视频数据，请求访问视频数据的客户端C可以顺利地获取编码视频数据并对其进行解码和播放。

然后，在步骤S840，响应于来自客户端C的访问请求，例如可以由第二通信装置740，将编码视频数据发送到客户端C。

下面，结合具体实施例，进一步描述二次解码方案。

图9是根据本公开实施例用于实现二次解码的视频编码处理器的示意性框架图。

如图9所示，对二次编码视频数据码流进行熵解码(例如可以由第二解码器710执行)，得到量化的第二级别值。

第二级别值加上(例如由第二转码器720产生的)量化差级别值(级别预测值，level_pred)，形成原始的第一级别值。

再对第一级别值进行熵编码(例如可以由第二编码器730执行)，得到标准的原始I帧编码视频数据码流，将其输出。

差级别值的获取过程和图6所示二次压缩编码过程中是一样的。即，通过将I帧的重构块的帧间预测数据减去帧内预测数据，再经过变换处理和量化处理得到差级别值。

与图6的区别可以仅在于，其中帧间预测的运动数据信息及帧内预测的帧内模式信息都是通过解析二次压缩编码视频数据码流得到的。

换言之，在例如图6所示二次编码方案中，在二次编码视频数据中写入了用于帧间预测的运动数据信息和用于帧内预测的帧内模式信息，因此，在图9所示二次解码方案中，可以从所输入的二次编码视频数据中直接得到运动数据信息和帧内模式信息。使用这些信息，可以顺利地进行帧内预测及帧间预测。

残差数据加上帧内预测数据可以得到重构数据块。如本领域所已知，当前位置的帧内预测数据可以根据例如左侧和上侧已经重构的数据得到。例如，通过当前位置左侧或上侧已经重构得到的数据和从所输入的二次编码视频数据中携带的帧内模式信息，便可以得到当前位置的帧内预测数据。如果左侧和上侧找不到已经重构的数据，例如当前位置是当前帧图像左上角第一个块，则可以使用缺省的预测数据。

这样，对于左侧和上侧找不到已经重构的数据的位置，可以使用缺省预测数据，对于后续其它位置，可以使用先前位置的第一级别值经逆量化处理、逆变换处理得到的先前位置的残差数据、重构数据，获取当前位置的预测数据，以用于针对当前位置计算差级别值。

对于帧间预测，参考帧数据已预先获取并缓存在参考帧缓存。当前帧的运动数据信息可以从二次编码视频数据中获取，帧间预测模块可以利用运动数据信息和参考帧数据得到帧间预测数据。

于是，可以得到帧间预测数据与帧内预测数据之间的差值，对差值进行变换处理和量化处理，得到差级别值，便可以与熵解码得到的当前位置的第二级别值求和，得到当前位置的第一级别值。所得到的第一级别值一方面可以进行熵编码得到编码视频数据对外输出，另一方面可以进一步进行逆量化处理、逆变换处理得到残差数据，以用于后续位置的预测运算。

图9中熵解码、逆量化、逆变换、帧内预测、环路滤波、参考帧缓存等模块，都可以是标准编码视频解码器的模块。

图9中帧间预测、变换、量化、熵编码等模块，都可以是标准视频编码器的模块。

这些标准模块的实现方式和工作原理均为本领域所已知，在此不再赘述。

图9中的熵解码模块可以对应于图7中的第二解码器710，熵编码模块可以对应于图7中的第二编码器730，图9所示其余各模块可以对应于图7中的第二转码器720。

5.一次解码。

当客户端C从第二节点L2所获取到编码视频数据与图1所示第一节点L1的输入编码视频数据相同或基本相同的编码视频数据。

这样，客户端可以如同第一节点L1和第二节点L2之间不曾发生任何处理一样进行操作。

换言之，本公开的二次编码和二次解码对于用户可以是无感的。

而且，对于视频的提供方以及执行一次编码的一方，本公开的二次编码和二次解码也可以是无感的。

为与前述“二次解码”相区别，这里将客户端对编码视频数据的解码称为“一次解码”。

客户端C可以按照常规标准解码方案进行一次解码操作，在此不再赘述。

6.实验结果。

在二次编码过程中，以只对I帧进行无损压缩为例，进行实验。测试序列都是线上的直播H.265码流。

可以使用I帧近邻的P/B帧作为参考帧(方案A)，也可以只使用前面(前一个GOP)的I帧作为参考帧(方案B)，两者的压缩结果如下表所示。

实验中都只使用了一个参考帧。

只使用I帧作为参考帧(方案B)会使得参考距离过远，影响压缩效率，但是无需解码P/B帧，从而可以降低复杂度。

7.复杂度分析。

以只对I帧进行二次无损压缩为例，可以使用紧邻I帧的P/B帧作为参考帧(方案A)，也可以只使用前一个GOP的I帧作为参考帧(方案B)，两者的压缩结果如上表所示。

方案A需解码P/B帧，方案B无需解码P/B帧。

作为这两个方案的折中，也可以使用和I帧具有一定距离的P/B帧作为参考帧，其复杂度会比方案A低，压缩性能(码率节省)会比方案B高。

无论使用何种方案，I帧的二次压缩及解压缩的复杂度可以分析如下。

对于I帧二次无损压缩编码方案，可以执行标准解码和非标编码。非标编码与标准P帧编码相比，主要是可以不需要做块划分决策(一次编码时已经完成)。因此，复杂度大概和标准P帧编码相当。

对于I帧二次无损解压缩方案，可以执行标准解码、帧间预测、变换、量化、熵编码。复杂度不会超过标准I+P帧的解码。

图10示出了根据本发明一实施例可用于实现上述方法的计算设备的结构示意图。

参见图10，计算设备1000包括存储器1010和处理器1020。

处理器1020可以是一个多核的处理器，也可以包含多个处理器。在一些实施例中，处理器1020可以包含一个通用的主处理器以及一个或多个特殊的协处理器，例如图形处理器(GPU)、数字信号处理器(DSP)等等。在一些实施例中，处理器1020可以使用定制的电路实现，例如特定用途集成电路(ASIC，Application Specific Integrated Circuit)或者现场可编程逻辑门阵列(FPGA，Field Programmable Gate Arrays)。

存储器1010可以包括各种类型的存储单元，例如系统内存、只读存储器(ROM)，和永久存储装置。其中，ROM可以存储处理器1020或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器1010可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片(DRAM，SRAM，SDRAM，闪存，可编程只读存储器)，磁盘和/或光盘也可以采用。在一些实施方式中，存储器1010可以包括可读和/或写的可移除的存储设备，例如激光唱片(CD)、只读数字多功能光盘(例如DVD-ROM，双层DVD-ROM)、只读蓝光光盘、超密度光盘、闪存卡(例如SD卡、min SD卡、Micro-SD卡等等)、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。

存储器1010上存储有可执行代码，当可执行代码被处理器1020处理时，可以使处理器1020执行上文述及的方法。

上文中已经参考附图详细描述了根据本发明的编码视频数据处理方案。

需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。

此外，根据本发明的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本发明的上述方法中限定的上述各步骤的计算机程序代码指令。

或者，本发明还可以实施为一种非暂时性机器可读存储介质(或计算机可读存储介质、或机器可读存储介质)，其上存储有可执行代码(或计算机程序、或计算机指令代码)，当所述可执行代码(或计算机程序、或计算机指令代码)被电子设备(或计算设备、服务器等)的处理器执行时，使所述处理器执行根据本发明的上述方法的各个步骤。

本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。

附图中的流程图和框图显示了根据本发明的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (16)

1.一种编码视频数据处理方法，包括：

对编码视频数据进行解码，得到解码视频数据；

对所述解码视频数据的至少部分视频数据的预测编码模式进行调整以提升预测效果，得到转码视频数据；以及

对所述转码视频数据进行编码，得到二次编码视频数据。

2.根据权利要求1所述的方法，其中，所述对解码视频数据的至少部分视频数据的预测编码模式进行调整以提升预测效果的步骤包括：

将所述解码视频数据中基于帧内预测的视频数据转换为基于帧间预测的视频数据，得到转码视频数据。

3.根据权利要求2所述的方法，其中，所述将解码视频数据中基于帧内预测的视频数据转换为基于帧间预测的视频数据得到转码视频数据的步骤包括：

使用当前帧的视频数据获取基于帧内预测的视频数据对应图像块的帧内预测数据；

使用参考帧的视频数据获取所述图像块的帧间预测数据；

获取所述图像块的帧间预测数据与帧内预测数据之间的差值；以及

基于解码视频数据和所述差值得到所述转码视频数据。

4.根据权利要求3所述的方法，其中，

所述解码视频数据包括当前帧的原视频数据与帧内预测数据之间的残差经变换处理和量化处理后得到的第一级别值，并且，

所述基于解码视频数据和所述差值得到所述转码视频数据的步骤包括：

对所述差值进行变换处理和量化处理得到差级别值；

获取所述第一级别值和所述差级别值之间的差值，作为第二级别值，所述转码视频数据包括第二级别值。

5.根据权利要求4所述的方法，其中，

对所述差值进行的变换处理与对所述残差进行的变换处理是一致的；并且/或者

所述差值经变换处理之后进行的量化处理与所述残差经变换处理之后进行的量化处理是一致的。

6.根据权利要求3所述的方法，其中，

所述参考帧是与当前帧邻近的一个或多个帧；或者

所述参考帧是当前帧之前的一个或多个关键帧；或者

当前编码视频数据属于第一编码视频数据码流，所述参考帧是第二编码视频数据码流中与当前帧相对应的帧。

7.根据权利要求1所述的方法，其中，所述基于帧内预测的视频数据包括：

所述解码视频数据中关键帧的视频数据；以及/或者

所述解码视频数据中非关键帧中基于帧内预测的视频数据。

8.一种编码视频数据处理方法，包括：

接收二次编码视频数据，其中，所述二次编码视频数据是对转码视频数据进行编码得到的，所述转码视频数据是通过对原编码视频数据的至少部分视频数据的预测编码模式进行调整以提升预测效果而得到的；

对所述二次编码视频数据进行解码，得到所述转码视频数据；

将所述转码视频数据中经预测编码模式调整而得到的至少部分视频数据恢复为原编码视频数据中相应预测编码模式的视频数据，得到恢复的解码视频数据；以及

对所述解码视频数据进行编码，得到恢复的编码视频数据。

9.根据权利要求8所述的方法，其中，

所述对原编码视频数据的至少部分视频数据的预测编码模式进行调整以提升预测效果包括：将原编码视频数据中基于帧内预测的视频数据转换为基于帧间预测的视频数据；

所述将转码视频数据中经预测编码模式调整而得到的至少部分视频数据恢复为原编码视频数据中相应预测编码模式的视频数据的步骤包括：将所述转码视频数据中经转换得到的基于帧间预测的视频数据恢复为基于帧内预测的视频数据。

10.根据权利要求9所述的方法，其中，所述将转码视频数据中经转换得到的基于帧间预测的视频数据恢复为基于帧内预测的视频数据得到恢复的解码视频数据的步骤包括：

对于经转换得到的基于帧间预测的视频数据对应的图像块，使用当前帧的视频数据获取帧内预测数据；

使用参考帧的视频数据获取所述图像块的帧间预测数据；

获取所述图像块的帧间预测数据与帧内预测数据之间的差值；以及

基于转码视频数据和所述差值得到所述解码视频数据。

11.根据权利要求10所述的方法，其中，

所述转码视频数据包括第二级别值，所述第二级别值是第一级别值与差级别值之间的差值，所述第一级别值是当前帧的原视频数据与帧内预测数据之间的残差经变换处理和量化处理后得到的，所述差级别值是当前帧的所述图像块的帧间预测数据与帧内预测数据之间的差值经变换处理和量化处理后得到的，并且，

所述基于解码视频数据和所述差值得到所述转码视频数据的步骤包括：

对所述差值进行变换处理和量化处理得到差级别值；

获取所述第二级别值和所述差级别值之和，从而得到所述第一级别值。

12.一种编码视频数据处理方法，包括：

在第一节点对编码视频数据的至少部分视频数据的预测编码模式进行调整以提升预测效果，得到二次编码视频数据；

将二次编码视频数据发送到第二节点；以及

在第二节点将二次编码视频数据中经预测编码模式调整而得到的至少部分视频数据恢复为原视频数据预测编码模式的视频数据，得到恢复的编码视频数据。

13.一种视频编码处理器，包括：

第一解码器，用于对编码视频数据进行解码，得到解码视频数据；

第一转码器，用于对所述解码视频数据的至少部分视频数据的预测编码模式进行调整以提升预测效果，得到转码视频数据；以及

第一编码器，对所述转码视频数据进行编码，得到二次编码视频数据。

14.一种视频编码处理器，包括：

通信装置，用于接收二次编码视频数据，其中，所述二次编码视频数据是对转码视频数据进行编码得到的，所述转码视频数据是通过对原编码视频数据的至少部分视频数据的预测编码模式进行调整以提升预测效果而得到的；

第二解码器，用于对输入的二次编码视频数据进行解码，得到所述转码视频数据；

第二转码器，用于将所述转码视频数据中经预测编码模式调整而得到的至少部分视频数据恢复为原编码视频数据中相应预测编码模式的视频数据，得到恢复的解码视频数据；以及

第二编码器，用于对所述解码视频数据进行编码，得到恢复的编码视频数据。

15.一种计算设备，包括：

处理器；以及

存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1至12中任何一项所述的方法。

16.一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1至12中任何一项所述的方法。