CN115941971A - 视频处理方法、装置及计算机设备、存储介质、程序产品 - Google Patents

Abstract

本申请实施例提供一种视频处理方法、装置及计算机设备、存储介质、程序产品，该方法包括：对视频中待编码的图像块进行编码，以及按照第一划分方式对图像块进行划分，并对划分得到的多个子块进行编码；在编码过程中，若图像块进行平移帧间预测，且多个子块中的任一子块均不继续划分，且多个子块进行帧间预测时的运动信息与图像块进行帧间预测时的运动信息一致，则将图像块进行平移帧间预测时采用的参考帧设置为图像块的限制参考帧；限制参考帧用于作为图像块按照第二划分方式划分得到其他子块，以及其他子块的继续划分块进行帧间预测时的参考帧。采用本申请实施例，可以简化参考帧选择的决策过程，加速参考帧的选择效率，提升视频编码效率。

Description

视频处理方法、装置及计算机设备、存储介质、程序产品

技术领域

本申请涉及计算机技术领域，尤其涉及视频编码技术领域，具体涉及一种视频处理方法、一种视频处理装置、一种计算机设备、一种计算机可读存储介质、以及一种计算机程序产品。

背景技术

随着计算机技术的快速发展，视频编码技术被广泛应用于各大视频相关业务场景(例如视频会话业务场景、视频点播业务场景等等)中；视频编码技术是指对视频进行压缩，以减小视频体积的技术，通过视频编码技术能够有效节省视频的存储空间，提升视频的传输效率。

在目前的视频编码技术中，视频可以块划分的方式进行编码，对于视频中的某一图像块，该图像块通过不同划分方式划分得到的子块在进行帧间预测时都需要进行参考帧选择，参考帧选择的决策过程是复杂而低效的，这样导致视频编码效率不高。

发明内容

本申请实施例提供了一种视频处理方法、装置及计算机设备、存储介质、程序产品，可以简化参考帧选择的决策过程，加速参考帧的选择效率，从而提升视频编码效率。

一方面，本申请实施例提供了一种视频处理方法，该视频处理方法包括：

确定视频中待编码的图像块，图像块允许按照多种划分方式进行划分；

对图像块进行编码，以及按照多种划分方式中的第一划分方式对图像块进行划分，并对划分得到的多个子块进行编码；

在对图像块和多个子块的编码过程中，若图像块进行平移帧间预测，且多个子块中的任一子块均不继续划分，且多个子块进行帧间预测时的运动信息与图像块进行帧间预测时的运动信息一致，则获取图像块进行平移帧间预测时采用的参考帧；

将图像块进行平移帧间预测时采用的参考帧设置为图像块的限制参考帧；限制参考帧用于当图像块按照多种划分方式中的第二划分方式划分得到其他子块时，作为其他子块以及其他子块的继续划分块进行帧间预测时的参考帧。

相应地，本申请实施例提供了一种视频处理装置，该视频处理装置包括：

处理单元，用于确定视频中待编码的图像块，图像块允许按照多种划分方式进行划分；

处理单元，还用于对图像块进行编码，以及按照多种划分方式中的第一划分方式对图像块进行划分，并对划分得到的多个子块进行编码；

获取单元，用于在图像块和多个子块的编码过程中，若图像块进行平移帧间预测，且多个子块中的任一子块均不继续划分，且多个子块进行帧间预测时的运动信息与图像块进行帧间预测时的运动信息一致，则获取图像块进行平移帧间预测时采用的参考帧；

处理单元，还用于将图像块进行平移帧间预测时采用的参考帧设置为图像块的限制参考帧；限制参考帧用于当图像块按照所述多种划分方式中的第二划分方式划分得到其他子块时，作为其他子块以及其他子块的继续划分块进行帧间预测时的参考帧。

在一种实现方式中，获取单元，用于若图像块进行平移帧间预测，且多个子块中的任一子块均不继续划分，且多个子块进行帧间预测时的运动信息与图像块进行帧间预测时的运动信息一致，则获取图像块进行平移帧间预测时采用的参考帧时，具体用于执行如下步骤：

若图像块进行平移帧间预测，且图像块进行平移帧间预测时的预测残差信号满足帧间关联条件，且多个子块中的任一子块均不继续划分，且多个子块进行帧间预测时的运动信息与图像块进行帧间预测时的运动信息一致，则获取图像块进行平移帧间预测时采用的参考帧。

在一种实现方式中，处理单元，还用于执行如下步骤：

获取图像块进行平移帧间预测时的预测残差信号；

对预测残差信号进行压缩处理；

若预测残差信号的压缩结果小于残差阈值，则确定图像块进行平移帧间预测时的预测残差信号满足帧间关联条件。

在一种实现方式中，预测残差信号包括多个信号分量；处理单元，用于若预测残差信号的压缩结果小于残差阈值，则确定图像块进行平移帧间预测时的预测残差信号满足帧间关联条件时，具体用于执行如下步骤：

若多个信号分量中的目标信号分量的压缩结果小于残差阈值，则确定预测残差信号的压缩结果小于残差阈值。

在一种实现方式中，处理单元，用于获取图像块进行平移帧间预测时的预测残差信号时，具体用于执行如下步骤：

在图像块进行平移帧间预测时采用的参考帧中，确定图像块关联的参考区域；

根据图像块与参考区域之间的像素差异，确定图像块进行平移帧间预测时的预测残差信号。

在一种实现方式中，处理单元，用于将图像块进行平移帧间预测时采用的参考帧设置为图像块的限制参考帧时，具体用于执行如下步骤：

获取图像块的参考帧列表；图像块的参考帧列表包括一个或多个参考帧，图像块进行平移帧间预测时采用的参考帧是从图像块的参考帧列表中选择的；

在图像块的参考帧列表中，将图像块进行平移帧间预测时采用的参考帧设置为图像块的限制参考帧。

在一种实现方式中，处理单元，用于在图像块的参考帧列表中，将图像块进行平移帧间预测时采用的参考帧设置为图像块的限制参考帧时，具体用于执行如下步骤：

将图像块的参考帧列表中，图像块进行平移帧间预测时采用的参考帧设置为可用参考帧；

以及，将图像块的参考帧列表中，除图像块进行平移帧间预测时采用的参考帧外的其他参考帧设置为不可用参考帧。

在一种实现方式中，处理单元，用于在图像块的参考帧列表中，将图像块进行平移帧间预测时采用的参考帧设置为图像块的限制参考帧时，具体用于执行如下步骤：

保留图像块的参考帧列表中，图像块进行平移帧间预测时采用的参考帧；

以及，删除图像块的参考帧列表中，除图像块进行平移帧间预测时采用的参考帧外的其他参考帧。

在一种实现方式中，处理单元，用于获取图像块的参考帧列表时，具体用于执行如下步骤：

若图像块存在父块，则将图像块的父块的参考帧列表，确定为图像块的参考帧列表；

若图像块不存在父块，则将图像块在视频中所属图像帧的参考帧列表，确定为图像块的参考帧列表；图像块在视频中所属图像帧的参考帧列表，是根据参考帧列表构建规则所构建的。

在一种实现方式中，运动信息包括预测模式、参考帧选择模式、以及参考帧索引；

多个子块进行帧间预测时的运动信息与图像块进行帧间预测时的运动信息一致包括：多个子块进行帧间预测时的预测模式与图像块进行帧间预测时的预测模式一致且均为平移帧间预测，且多个子块进行帧间预测时的参考帧选择模式与图像块进行帧间预测时的参考帧选择一致，且多个子块进行帧间预测时的参考帧索引与图像块进行帧间预测时的参考帧索引一致。

在一种实现方式中，第一划分方式是多种划分方式中的任一种，第二划分方式是多种划分方式中除第一划分方式外的其他划分方式；

多种划分方式至少包括：水平二划分方式、垂直二划分方式、四划分方式、水平三划分方式、以及垂直三划分方式；第一划分方式为四划分方式。

相应地，本申请实施例提供一种计算机设备，该计算机设备包括：

处理器，适于实现计算机程序；

计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序适于由处理器加载并执行上述的视频处理方法。

相应地，本申请实施例提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被计算机设备的处理器读取并执行时，使得计算机设备执行上述的视频处理方法。

相应地，本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述的视频处理方法。

本申请实施例中，在图像块进行平移帧间预测，且图像块按照多种划分方式中的第一划分方式划分得到的多个子块中的任一子块均不继续划分，且多个子块进行帧间预测时的运动信息与图像块进行帧间预测时的运动信息一致的情况下，可以将图像块进行平移帧间预测时采用的参考帧设置为图像块的限制参考帧；通过设置限制参考帧，限制参考帧可以用于当图像块按照多种划分方式中的第二划分方式划分得到其他子块时，作为其他子块以及其他子块的继续划分块进行帧间预测时的参考帧；也就是说，设置限制参考帧后，当图像块按照多种划分方式中的第二划分方式划分得到其他子块时，其他子块以及其他子块的继续划分块可以直接将限制参考帧作为帧间预测时采用的参考帧，无需进行参考帧选择，这样可以简化视频编码中参考帧选择的决策过程，加速视频编码过程中参考帧的选择效率，从而提升视频编码效率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种图像块不划分和划分方式的示意图；

图2是本申请实施例提供的一种图像块划分结果的示意图；

图3是本申请实施例提供的一种帧间预测过程的示意图；

图4是本申请实施例提供的一种视频处理方法的流程示意图；

图5是本申请实施例提供的另一种视频处理方法的流程示意图；

图6是本申请实施例提供的一种视频处理装置的结构示意图；

图7是本申请实施例提供的一种计算机设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

视频是由连续的图像帧组成的图像帧序列，由于人眼的视觉暂留效应，当图像帧序列以一定的速率播放时，我们看到的就是动作连续的视频；一般来说，视频中连续的图像帧之间的相似性比较高，每一个图像帧内部以及连续的图像帧之间均存在大量的冗余信息，因此在对视频进行存储或传输之前，往往需要采用视频编码技术对视频进行压缩处理，以减小视频的体积，从而可以有效节省视频的存储空间，提升视频的传输效率。下面对视频编码技术的基本原理进行介绍：

在视频编码技术中，视频可以是以块划分的方式进行编码的，块划分的方式是一个自上而下的递归过程。具体来说，视频中的图像帧可以初步划分为多个大小相同的块，这些块可以不划分，或者可以按照划分方式进一步划分，进一步划分得到的子块可以不划分，或者可以按照划分方式继续划分，直至划分得到的块的大小达到划分限制，在划分过程中得到的块均可以称为图像块。

其中，不划分是指直接将当前图像块作为CU(Coding Unit，编码单元)，不继续划分，CU是指编码预测的基本单元，如图1所示的(a)中，图像块没有被继续划分。划分是指将当前图像块进一步划分为子块，划分方式至少可以包括以下任意一种：水平二划分方式、垂直二划分方式、四划分方式、水平三划分方式、以及垂直三划分方式。其中，水平二划分方式是指沿水平方向将图像块划分为两个子块，两个子块的大小可以相同，也可以不相同，如图1所示的(b)中，图像块沿水平方向被划分为两个大小相同的子块；垂直二划分方式是指沿垂直方向将图像块划分为两个子块，两个子块的大小可以相同，也可以不相同，如图1所示的(c)中，图像块沿垂直方向被划分为两个大小相同的子块；四划分方式是指将图像块划分为四个大小相同的子块，如图1所示的(d)；水平三划分方式是指沿水平方向将图像块划分为三个子块，三个子块的大小可以相同，也可以不相同，如图1所示的(e)中，图像块沿水平方向被划分为三个子块，从上往下，第一个子块和第三个子块的大小相同，第二个子块的大小与它们不相同；垂直三划分方式是指沿垂直方向将图像块划分为三个子块，三个子块的大小可以相同，也可以不相同，如图1所示的(f)中，图像块沿垂直方向被划分为三个子块，从左往右，第一个子块和第三个子块的大小相同，第二个子块的大小与它们不相同。

对于一个具体的图像块，视频编码标准并没有规定应该划分成什么形态，只要是符合划分方式的划分形态都是符合视频编码标准的。不同的划分形态会带来不同的编码效率；为了编码效率最大化，编码器往往会尝试所有可能的划分形态，并最终选择编码效率最佳的那种；不同划分方式的组合有非常多种，这导致了编码过程复杂度极高。也就是说，在视频编码的过程中，初步划分得到的图像块最终会被划分为若干个CU，图2示出了初步划分得到的图像块一种可能的划分形式。所有可能的CU可以组织成一棵搜索树；一般编码器都采取自上而下的递归过程遍历这颗块划分树来决定当前图像块最终的划分形式；类似先序遍历的方式，编码器先尝试不划分，然后依次递归各种继续划分的情况；最终遍历完所有可能的划分形式后，编码器会采用编码效率最高的那种方式。

若当前图像块尝试不划分时，编码器需要为其选择合适的预测模式，预测模式可以包含帧内预测和帧间预测两大类；其中，帧内预测是一种在空间域上进行预测编码的技术，使用帧内预测时，当前图像帧的编码不需要参考其他图像帧的信息；帧间预测是一种在时间域上进行预测编码的技术，使用帧间预测时，当前图像帧的编码需要参考其他图像帧的信息。帧间预测根据运动形式的不同，又可以分为平移帧间预测和仿射帧间预测；平移帧间预测时CU中每个像素的运动矢量是相同的；仿射帧间预测时每个CU的运动矢量可能不同，适合伸缩和旋转运动。

在进行帧间预测时，编码器会为当前图像帧构建参考帧列表，参考帧列表的构建与当前图像帧进行帧间预测的方向相关，帧间预测的方向可以包括单向帧间预测或双向帧间预测，单向帧间预测包括前向帧间预测或后向帧间预测，双向帧间预测包括前向帧间预测和后向帧间预测。当帧间预测的方向为单向帧间预测时，当前图像帧的参考帧列表可以包括前向参考帧列表(对应于前向帧间预测)或后向参考帧列表(对应于后向帧间预测)；当帧间预测的方向为双向帧间预测时，当前图像帧的参考帧列表可以包括前向参考帧列表和后向参考帧列表。前向参考帧列表中可以包含若干编码顺序和播放顺序位于当前图像帧之前的图像帧，后向参考帧列表中可以包含若干编码顺序在当前图像帧之前，但播放顺序位于当前图像帧之后的图像帧。在对当前图像帧中的CU进行单向帧间预测(包括前向帧间预测或后向帧间预测)时，编码器可以在前向参考帧列表或后向参考帧列表中选择一个图像帧作为当前图像帧中CU的参考帧；在对当前图像帧中的CU进行双向帧间预测时，编码器可以分别在两个参考帧列表中各选择一个图像帧，共两个图像帧作为当前图像帧中CU的参考帧。

帧间预测的基本思想是利用视频内容的时域相关性，在之前已编码的一个图像帧(单向帧间预测)或两个图像帧(双向帧间预测)中，选择一个像素分布最相似的区域对当前CU进行预测，然后编码这个相似区域的位置信息，以及当前CU与相似区域的像素差即可；如图3所示，以双向帧间预测为例，分别在前向参考帧列表选择图像帧301，在后向参考帧列表中选择图像帧302，将图像帧301和图像帧302作为当前CU的参考帧，并在参考帧中确定了与当前CU像素分布相似的区域(例如，图像帧301中的虚线区域3011和图像帧302中的虚线区域3021)。一般地，像素差越小，需要传输的字节数越少，编码效率越高，编码器如果最终选择的不是最合理的区域进行预测，也能生成符合标准的码流，只是编码效率会受到损伤。寻找这个最合理区域是一个计算复杂度非常高的过程，编码器往往是通过逐像素比较实现的，这个过程也叫运动搜索。

基于以上关于视频编码技术的基本原理的介绍，可以发现，块划分的编码方式伴随着预测和参考帧的选择，对于视频中的某一图像块，该图像块通过不同划分方式划分得到的子块在进行帧间预测时都需要进行参考帧选择，参考帧选择的决策过程是复杂而低效的，这样导致视频编码效率不高。基于此，本申请实施例提出一种视频处理方法，在该视频处理方法中，若视频中待编码的当前图像块作为一个整体进行平移运动，则可以对当前图像块进行参考帧限制，参考帧限制是指，将当前图像块进行平移帧间预测时采用的参考帧设置为限制参考帧，从而，当前图像块划分得到的子块以及子块的继续划分块进行帧间预测时，无需进行参考帧的选择，这样可以简化视频编码中参考帧选择的决策过程，加速视频编码过程中参考帧的选择效率，从而提升视频编码效率。

本申请实施例提供的视频处理方法可以从以下两个角度来判断图像块是否作为一个整体进行平移运动：第一个角度，图像块进行平移帧间预测的预测效果，如果图像块作为一个整体进行平移运动，那么图像块进行平移帧间预测的效果优于其他预测(例如帧内预测，以及仿射帧间预测)的效果；第二个角度，图像块划分得到的子块的运动一致性，如果图像块作为一个整体进行平移运动，那么划分得到的子块继续划分的可能性比较小，并且划分得到的子块进行帧间预测的运动信息与图像块不划分时进行帧间预测的运动信息具有一致性。

在具体实现中，本申请实施例提出的视频处理方法可以由编码器执行，该编码器可以将H.266作为视频编码标准，H.266也可以称为VVC(Versatile Video Coding，通用视频编码)，是最新一代的视频编码标准，视频编码标准中规定了H.266编解码的流程和语法，也就是说，本申请实施例提出的视频处理方法适用于H.266视频编码标准中。编码器可以是部署于计算机设备中的软件或硬件，该计算机设备可以是终端或服务器；本申请实施例所提及的终端可以包括但不限于：智能手机、平板电脑、笔记本电脑、台式计算机、智能手表、智能家电、智能车载终端、飞行器等；本申请实施例所提及的服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器，等等。

需要说明的是，本申请实施例提出的视频处理方法还可以与云技术中的云计算技术相结合，云技术中的云计算技术能够为视频处理方法中的视频编码过程提供强大的计算能力支持，进一步提升视频编码效率。其中：

云技术(Cloud Technology)是基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用，将来每个物品都有可能存在自己的识别标志，都需要传输到后台系统进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的系统后盾支撑，只能通过云计算来实现。

云计算技术(Cloud Computing)指IT(Internet Technology，互联网技术)基础设施的交付和使用模式，指通过网络以按需、易扩展的方式获得所需资源；广义云计算指服务的交付和使用模式，指通过网络以按需、易扩展的方式获得所需服务。这种服务可以是IT和软件、互联网相关，也可是其他服务。云计算是网格计算(Grid Computing)、分布式计算(Distributed Computing)、并行计算(Parallel Computing)、效用计算(UtilityComputing)、网络存储(Network Storage Technologies)、虚拟化(Virtualization)、负载均衡(Load Balance)等传统计算机和网络技术发展融合的产物。随着互联网、实时数据流、连接设备多样化的发展，以及搜索服务、社会网络、移动商务和开放协作等需求的推动，云计算迅速发展起来。不同于以往的并行分布式计算，云计算的产生从理念上将推动整个互联网模式、企业管理模式发生革命性的变革。

下面结合附图对本申请实施例提供的视频处理方法进行更为详细地介绍。

本申请实施例提供一种视频处理方法，该视频处理方法可以由计算机设备执行，计算机设备可以是终端或服务器。如图4所示，该视频处理方法可以包括但不限于以下步骤S401-步骤S404：

S401，确定视频中待编码的图像块。

视频可以是由多个连续的图像帧组成的，可以在视频中当前正在被编码的图像帧中确定待编码的图像块，当前正在被编码的图像帧中可以包括已编码的图像块和未编码的图像块，或者，当前正在被编码的图像帧中包括的图像块均未被编码，可以在当前正在被编码的图像帧中确定任一个未编码的图像块作为当前待编码的图像块。

图像块可以允许不划分，或者图像块可以允许按照多种划分方式进行划分，多种划分方式至少可以包括：水平二划分方式、垂直二划分方式、四划分方式、水平三划分方式、以及垂直三划分方式。

S402，对图像块进行编码，以及按照多种划分方式中的第一划分方式对图像块进行划分，并对划分得到的多个子块进行编码。

由前述内容可知，本申请实施例提供的视频处理方法可以从图像块进行平移帧间预测的预测效果，以及图像块划分得到的子块的运动一致性这两个角度，来判断图像块是否作为一个整体进行平移运动。因此，可以对图像块不划分，直接对图像块进行编码，即对图像块进行不划分编码，并在对图像块进行不划分编码的过程中，确定图像块是否采用平移帧间编码，以及图像块在采用平移帧间编码时的预测效果；然后，可以按照多种划分方式中的第一划分方式对图像块进行划分，并对划分得到的多个子块进行编码，即按照第一划分方式对图像块进行划分编码，并在划分编码的过程中，确定图像块划分得到的子块与图像块不划分时是否具有帧间运动一致性；第一划分方式可以是多种划分方式中的任一种划分方式。其中：

对图像块进行编码(即对图像块进行不划分编码)的过程可以包括：可以分别对图像块进行帧内预测、平移帧间预测和仿射帧间预测；若对图像块进行平移帧间预测的预测效果，优于对图像块进行帧内预测的预测效果，以及优于对图像块进行仿射帧间预测的预测效果，则可以确定对图像块进行平移帧间预测；若对图像块进行平移帧间预测的预测效果，劣于对图像块进行帧内预测或仿射帧间预测中的任意一种或两种的预测效果，则可以确定未对图像块进行平移帧间预测。

对图像块进行平移帧间预测的预测效果，可以是通过对图像块进行平移帧间预测后编码的编码率失真损失信息来衡量的。对图像块进行平移帧间预测后编码的编码率失真损失信息，可以是根据对图像块进行平移帧间预测后编码的编码码率与编码失真信息计算得到的，对图像块进行平移帧间预测后编码的编码率失真损失信息，可以是编码码率与编码失真信息之间的比值；其中，编码失真信息可以是指对图像块进行平移帧间预测后编码的编码过程中失真程度的估计值。对图像块进行帧内预测的预测效果，以及对图像块进行仿射帧间预测的预测效果，与对图像块进行平移帧间预测的预测效果类似，具体可以参见上述关于对图像块进行平移帧间预测的预测效果，在此不再赘述。

对按照第一划分方式对图像块划分得到的子块进行编码(即按照第一划分方式对图像块进行划分编码)的过程，可以包括：针对按照第一划分方式对图像块划分得到的任一子块而言，可以尝试对子块进行不划分编码，即直接对子块进行编码，以及可以尝试按照多种划分方式对子块进行划分编码；然后，可以将对子块进行不划分编码的编码效果，与按照多种划分方式对子块进行划分编码的编码效果之间进行比较；若对子块进行不划分编码的编码效果，优于按照多种划分方式对子块进行划分编码的编码效果，则可以确定对子块进行不划分编码，即子块不继续划分；若对子块进行不划分编码的编码效果，劣于按照多种划分方式对子块进行划分编码中的任一种或多种的编码效果，则可以确定对子块进行划分编码，即子块需要继续划分。

若确定子块不继续划分，即若确定直接对子块进行编码，则与直接对图像块进行编码类似，可以确定子块的预测模式，若确定对子块进行帧间编码，则可以获取对子块进行帧间编码时运动信息，运动信息可以包括但不限于：预测模式、参考帧选择模式、以及参考帧索引。其中，预测模式可以是指进行帧间预测的预测模式，可以包括平移帧间预测模式或仿射帧间预测模式。参考帧选择模式可以是指进行帧间预测时选择参考帧的模式，参考帧选择模式与帧间预测的方向有关；帧间预测为前向帧间预测时，参考帧选择模式可以是指从前向参考帧列表中选择参考帧的模式；帧间预测为后向帧间预测时，参考帧选择模式可以是指从后向参考帧列表中选择参考帧的模式；帧间预测为双向帧间预测时，参考帧选择模式可以是指从前向参考帧列表和后向参考帧列表中选择参考帧的模式。参考帧索引是指进行帧间预测时选择的参考帧在参考帧列表中的索引。

与图像块的预测效果类似，对子块的编码效果可以是通过对子块进行不划分编码或划分编码的编码率失真损失信息来衡量的，也就是说，对子块进行不划分编码的编码效果，可以是通过对子块进行不划分编码的编码率失真信息来衡量的，对子块进行划分编码的编码效果，可以是通过对子块进行划分编码的编码率失真信息来衡量的。对子块进行不划分的编码率失真损失信息，可以是根据对子块进行不划分编码的编码码率与编码失真信息计算得到的，对子块进行不划分编码的编码率失真损失信息，可以是编码码率与编码失真信息之间的比值；其中，编码失真信息可以是指对子块进行不划分编码的编码过程中失真程度的估计值。对子块进行划分编码的编码效果，与对子块进行不划分编码的编码效果类似，具体可以参见对子块进行不划分编码的编码效果，在此不再赘述。

S403，在图像块和多个子块的编码过程中，若图像块进行平移帧间预测，且多个子块中的任一子块均不继续划分，且多个子块进行帧间预测时的运动信息与图像块进行帧间预测时的运动信息一致，则获取图像块进行平移帧间预测时采用的参考帧。

S404，将图像块进行平移帧间预测时采用的参考帧设置为图像块的限制参考帧。

在步骤S403-步骤S404的一种实现方式中，若满足以下三个条件：图像块进行平移帧间预测，且多个子块中的任一子块均不继续划分，且多个子块进行帧间预测时的运动信息与图像块进行帧间预测时的运动信息一致，则可以确定图像块作为一个整体进行平移运动，则可以获取图像块进行平移帧间预测时采用的参考帧，对图像块进行平移帧间预测时采用的参考帧进行限制；若不满足以上三个条件中的任一个或多个条件，则可以确定图像块没有作为一个整体进行平移运动，则无需对图像块进行参考帧限制。

其中，多个子块进行帧间预测时的运动信息与图像块进行帧间预测时的运动信息一致，可以包括：多个子块进行帧间预测时的预测模式与图像块进行帧间预测时的预测模式一致且均为平移帧间预测，且多个子块进行帧间预测时的参考帧选择模式与图像块进行帧间预测时的参考帧选择一致，且多个子块进行帧间预测时的参考帧索引与图像块进行帧间预测时的参考帧索引一致，参考帧索引是指进行帧间预测时选择的参考帧在参考帧列表中的索引，参考帧索引一致，也就是说，多个子块进行帧间预测时选择的参考帧与图像块进行帧间预测时选择的参考帧是相同的参考帧。

在步骤S403-步骤S404的另一种实现方式中，若满足以下四个条件：图像块进行平移帧间预测，且图像块进行平移帧间预测时的预测残差信号满足帧间关联条件，且多个子块中的任一子块均不继续划分，且多个子块进行帧间预测时的运动信息与图像块进行帧间预测时的运动信息一致，则可以确定图像块作为一个整体进行平移运动，则可以获取图像块进行平移帧间预测时采用的参考帧，对图像块进行平移帧间预测时采用的参考帧进行限制；若不满足以上四个条件中的任一个或多个条件，则可以确定图像块没有作为一个整体进行平移运动，则无需对图像块进行参考帧限制。

其中，图像块进行平移帧间预测时的预测残差信号可以是通过以下方式获取的：可以在图像块进行平移帧间预测时采用的参考帧中，确定图像块关联的参考区域，参考区域是通过对图像块进行平移帧间预测时采用的参考帧进行运动搜索得到的，参考区域是图像块进行平移帧间预测时采用的参考帧中，与图像块的像素分布最相似的区域；然后，可以根据图像块与参考区域之间的像素差异，确定图像块进行平移帧间预测时的预测残差信号。

图像块进行平移帧间预测时的预测残差信号是否满足帧间关联条件，可以是通过以下方式判断的：可以对预测残差信号进行压缩处理，压缩处理的作用是减小预测残差信号的数据量，压缩处理可以包括量化处理，变换处理，或者变换处理后再进行量化处理中的任一种；然后，可以将预测残差信号的压缩结果与残差阈值相比较，若预测残差信号的压缩结果小于残差阈值，则可以确定图像块进行平移帧间预测时的预测残差信号满足帧间关联条件；若预测残差信号的压缩结果大于或等于残差阈值，则可以确定图像块进行平移帧间预测时的预测残差信号不满足帧间关联条件。

进一步地，图像块进行平移帧间预测时的预测残差信号可以包括多个信号分量，将预测残差信号的压缩结果与残差阈值相比较，具体可以是指，将多个信号分量中的目标信号分量的压缩结果与残差阈值进行比较；若目标信号分量的压缩结果小于残差阈值，则可以确定图像块进行平移帧间预测时的预测残差信号满足帧间关联条件；若目标信号分量的压缩结果大于或等于残差阈值，则可以确定图像块进行平移帧间预测时的预测残差信号不满足帧间关联条件。

更进一步地，当残差阈值足够小时，例如残差阈值为0时，目标信号分量的压缩结果与残差阈值之间的比较会发生如下变化：若目标信号分量的压缩结果等于残差阈值，则可以确定图像块进行平移帧间预测时的预测残差信号满足帧间关联条件；若目标信号分量的压缩结果大于残差阈值，则可以确定图像块进行平移帧间预测时的预测残差信号不满足帧间关联条件。

其中，目标信号分量可以是预测残差信号的多个信号分量中，与图像块呈现相关性最高的信号分量，也就是说，目标信号分量对于图像块的呈现起到决定性作用。例如，根据YUV(一种颜色编码方法)所生成的视频中，视频中可以包括Y分量和UV分量，Y分量是指Luminance或Luma分量(明亮度分量)，也就是灰阶值，UV分量是指Chrominance或Chroma(色度分量)，用于描述色彩及饱和度；从而，预测残差信号可以包括Y信号分量和UV信号分量，目标信号分量可以是Y信号分量，当Y信号分量的压缩结果为0时，可以确定图像块进行平移帧间预测时的预测残差信号不满足帧间关联条件。

需要说明的是，对图像块进行平移帧间预测时采用的参考帧进行限制，具体可以是指，将图像块进行平移帧间预测时采用的参考帧设置为图像块的限制参考帧。参考帧限制可以是在图像块的参考帧列表中进行的，图像块的参考帧列表中可以包括一个或多个参考帧，图像块进行平移帧间预测时采用的参考帧可以是从图像块的参考帧列表中选择的。在图像块的参考帧列表中进行参考帧限制的方式可以包括以下任一种：第一种，状态设置方式，可以将图像块的参考帧列表中，图像块进行平移帧间预测时采用的参考帧设置为可用参考帧，以及，将图像块的参考帧列表中，除图像块进行平移帧间预测时采用的参考帧外的其他参考帧设置为不可用参考帧；其中，可用参考帧是指图像块的参考帧列表中可以使用的参考帧，不可用参考帧是指图像块的参考帧列表中不可以使用的参考帧。第二种，删除方式，可以保留图像块的参考帧列表中，图像块进行平移帧间预测时采用的参考帧，以及，可以删除图像块的参考帧列表中，除图像块进行平移帧间预测时采用的参考帧外的其他参考帧。

进行参考帧限制后，限制参考帧可以用于当图像块按照多种划分方式中的第二划分方式划分得到其他子块时，作为其他子块以及其他子块的继续划分块进行帧间预测时的参考帧，第二划分方式是图像块允许的多种划分方式中除第一划分方式外的其他划分方式。也就是说，不论是通过状态设置方式进行参考帧限制，还是通过删除方式进行参考帧限制，进行参考帧限制的目的，都是为了使得图像块的参考帧列表中，图像块进行平移帧间预测时所采用的图像帧，能够被图像块按照第二划分方式划分得到的其他子块，以及这些子块的继续划分块进行帧间预测时使用；而图像块的参考帧列表中，没有被图像块进行平移帧间预测时所采用的图像帧，不可被图像块按照第二划分方式划分得到的其他子块，以及这些子块的继续划分块进行帧间预测时使用。这是因为，在确定图像块作为一个整体进行平移运动时，可以认为图像块已经找到了符合真实运动轨迹的参考帧，没有必要再进行参考帧选择。

在此还需要对参考帧列表的构建方式进行介绍：在一般情况下，参考帧列表是以图像帧为单位构建的，编码器可以按照默认的参考帧列表构建规则为每一个图像帧构建参考帧列表，从而，一帧内所有的图像块具有相同的参考帧列表；而在本申请实施例中，不论是上述状态设置方式，还是删除方式，都是限制了图像块的参考帧列表中可用的参考帧范围；父块被限制的参考帧列表对其子块依然有效，划分得到子块的图像块，可以称之为子块的父块；因此，在父块存在时应该复用父块的参考帧列表，即可以将图像块的父块的参考帧列表，确定为图像帧的参考帧列表；当父块不存在时，即当前图像块为最大尺寸的图像块时，可以将图像块在视频中所属图像帧的参考帧列表，确定为图像块的参考帧列表，图像帧的参考帧列表可以是使用默认的参考帧列表构建规则所构建的。基于本申请实施例中参考帧列表的父子继承关系，在图像块的参考帧列表被限制后，图像块限制后的参考帧列表可以被图像块按照第二划分方式划分得到的其他子块，以及其他子块的继续划分块所复用，从而可以达到简化参考帧选择的决策过程。

若未对图像块进行参考帧限制，则当按照第二划分方式对图形块划分得到其他子块，以及其他子块继续划分得到其他子块的继续划分块时，其他子块以及其他子块的继续划分块在进行帧间预测时，均需要进行参考帧选择。

在对图像块进行不划分编码，以及按照多种划分方式对图像块进行划分编码后，可以选择编码效果好的方式，对图像块进行处理。具体来说，若不划分编码的编码效果好，则可以将图像块作为CU，直接对图像块进行编码；若某种划分方式下的划分编码的编码效果好，则按照该划分方式可以对图像块进行划分，将划分得到的子块作为新的图像块，确定是否需要对新的图像块进行参考帧限制，以及确定对新的图像块进行不划分编码或划分编码，这是一个递归的过程。

本申请实施例中，在图像块进行平移帧间预测，且图像块按照多种划分方式中的第一划分方式划分得到的多个子块中的任一子块均不继续划分，且多个子块进行帧间预测时的运动信息与图像块进行帧间预测时的运动信息一致的情况下，可以将图像块进行平移帧间预测时采用的参考帧设置为图像块的限制参考帧；通过设置限制参考帧，限制参考帧可以用于当图像块按照多种划分方式中的第二划分方式划分得到其他子块时，作为其他子块以及其他子块的继续划分块进行帧间预测时的参考帧；也就是说，设置限制参考帧后，当图像块按照多种划分方式中的第二划分方式划分得到其他子块时，其他子块以及其他子块的继续划分块可以直接将限制参考帧作为帧间预测时采用的参考帧，无需进行参考帧选择，这样可以简化视频编码中参考帧选择的决策过程，加速视频编码过程中参考帧的选择效率，从而提升视频编码效率。

由前述内容可知，图像块需允许按照多种划分方式进行划分，多种划分方式可以包括：水平二划分方式、垂直二划分方式、四划分方式、水平三划分方式、以及垂直三划分方式。下面以第一划分方式是四划分方式，第二划分方式是水平二划分方式、垂直二划分方式、水平三划分方式、以及垂直三划分方式为例，对本申请实施例提供的视频处理方法进行介绍。如图5所示，该视频处理方法可以包括但不限于以下步骤S501-步骤S510：

S501，确定视频中当前待编码的图像块。

S502，对图像块进行父块检查。若图像块存在父块，则执行步骤S503；如图像块不存在父块，则执行步骤S504。

S503，将图像块的父块的参考帧列表，确定为图像块的参考帧列表。

S504，根据默认的参考帧列表构建规则，构建图像块的参考帧列表。

由前述内容可知，参考帧列表是以图像帧为单位构建的，编码器可以按照默认的参考帧列表构建规则为每一个图像帧构建参考帧列表，从而，一帧内所有的图像块具有相同的参考帧列表。也就是说，可以根据默认的参考帧列表构建规则，构建图像块所属图像帧的参考帧列表，将图像块所属图像帧的参考帧列表，确定为图像块的参考帧列表。

S505，对图像块进行不划分编码。

S506，按照四划分方式，对图像块进行划分编码。

按照四划分方式，对图像块进行划分编码，具体可以包括：按照四划分方式，将图像块划分为四个大小相同的子块，并对四个子块进行编码。此处选择四划分方式的原因是，四划分可以产生四个大小相同的子块，运动一致性的结果更可靠。

S507，在对图像块进行不划分编码时，对图像块进行帧间关联检查。

帧间关联检查是指：确定是否对图像块进行平移帧间预测，且图像块进行平移帧间预测时的预测残差信号满足帧间关联条件。若对图像块进行平移帧间预测，且图像块进行平移帧间预测时的预测残差信号满足帧间关联条件，则确定帧间关联检查通过，则执行步骤S508；若未对图像块进行平移帧间预测，或对图像块进行平移帧间预测但是图像块进行平移帧间预测时的预测残差信号不满足帧间关联条件，则可以确定帧间关联检查未通过，则执行步骤S510。

S508，对图像块进行划分编码时，对划分得到的四个子块进行运动一致性检查。

运动一致性检查是指：确定四个子块是否需要继续划分，若四个子块均不继续划分，则四个子块进行帧间预测的运动信息与图像块进行帧间预测的运动信息是否一致。若四个子块均不继续划分，且四个子块进行帧间预测的运动信息与图像块进行帧间预测的运动信息一致，则可以确定一致性检查通过，则执行步骤S509。若四个子块中存在需要继续划分的子块，或四个子块均不继续划分但是四个子块进行帧间预测的运动信息与图像块进行帧间预测的运动信息不一致，则可以确定一致性检查未通过，则执行步骤S510。

S509，对图像块进行参考帧限制。

参考帧限制是指，在图像块的参考帧列表中，将图像块进行平移帧间预测时采用的参考帧设置为图像块的限制参考帧。

S510，按照水平二划分方式、垂直二划分方式、水平三划分方式、以及垂直三划分方式，对图像块进行划分编码。

若对图像块进行参考帧限制，则当按照水平二划分方式、垂直二划分方式、水平三划分方式、以及垂直三划分方式中的任一种方式，对图像块划分得到的其他子块，以及其他子块的继续划分块需要进行帧间预测时，可以使用图像块进行平移帧间预测时采用的参考帧，作为其他子块，以及其他子块的继续划分块进行帧间预测时的参考帧。若未对图像块进行参考帧限制，则当按照水平二划分方式、垂直二划分方式、水平三划分方式、以及垂直三划分方式中的任一种方式，对图像块划分得到的其他子块，以及其他子块的继续划分块需要进行帧间预测时，需要在参考帧列表中进行参考帧选择。

在尝试对图像块进行不划分编码，以及尝试按照多种划分方式对图像块进行划分编码后，可以确定出一种合适的方式对图像块进行处理，当前图像块的编码流程结束。

本申请实施例中，在图像块进行平移帧间预测，且图像块按照多种划分方式中的第一划分方式划分得到的多个子块中的任一子块均不继续划分，且多个子块进行帧间预测时的运动信息与图像块进行帧间预测时的运动信息一致的情况下，可以将图像块进行平移帧间预测时采用的参考帧设置为图像块的限制参考帧；通过设置限制参考帧，限制参考帧可以用于当图像块按照多种划分方式中的第二划分方式划分得到其他子块时，作为其他子块以及其他子块的继续划分块进行帧间预测时的参考帧；也就是说，设置限制参考帧后，当图像块按照多种划分方式中的第二划分方式划分得到其他子块时，其他子块以及其他子块的继续划分块可以直接将限制参考帧作为帧间预测时采用的参考帧，无需进行参考帧选择，这样可以简化视频编码中参考帧选择的决策过程，加速视频编码过程中参考帧的选择效率，从而提升视频编码效率。

上述详细阐述了本申请实施例的方法，为了便于更好地实施本申请实施例的上述方案，相应地，下面提供了本申请实施例的装置。

请参见图6，图6是本申请实施例提供的一种视频处理装置的结构示意图，该视频处理装置可以设置于本申请实施例提供的计算机设备中，计算机设备可以是终端或服务器。图6所示的视频处理装置可以是运行于计算机设备中的一个计算机程序(包括程序代码)，该视频处理装置可以用于执行图4或图5所示的方法实施例中的部分或全部步骤。请参见图6，该视频处理装置可以包括如下单元：

处理单元601，用于确定视频中待编码的图像块，图像块允许按照多种划分方式进行划分；

处理单元601，还用于对图像块进行编码，以及按照多种划分方式中的第一划分方式对图像块进行划分，并对划分得到的多个子块进行编码；

获取单元602，用于在对图像块和多个子块的编码过程中，若图像块进行平移帧间预测，且多个子块中的任一子块均不继续划分，且多个子块进行帧间预测时的运动信息与图像块进行帧间预测时的运动信息一致，则获取图像块进行平移帧间预测时采用的参考帧；

处理单元601，还用于将图像块进行平移帧间预测时采用的参考帧设置为图像块的限制参考帧；限制参考帧用于当图像块按照所述多种划分方式中的第二划分方式划分得到其他子块时，作为其他子块以及其他子块的继续划分块进行帧间预测时的参考帧。

在一种实现方式中，获取单元602，用于若图像块进行平移帧间预测，且多个子块中的任一子块均不继续划分，且多个子块进行帧间预测时的运动信息与图像块进行帧间预测时的运动信息一致，则获取图像块进行平移帧间预测时采用的参考帧时，具体用于执行如下步骤：

若图像块进行平移帧间预测，且图像块进行平移帧间预测时的预测残差信号满足帧间关联条件，且多个子块中的任一子块均不继续划分，且多个子块进行帧间预测时的运动信息与图像块进行帧间预测时的运动信息一致，则获取图像块进行平移帧间预测时采用的参考帧。

在一种实现方式中，处理单元601，还用于执行如下步骤：

获取图像块进行平移帧间预测时的预测残差信号；

对预测残差信号进行压缩处理；

若预测残差信号的压缩结果小于残差阈值，则确定图像块进行平移帧间预测时的预测残差信号满足帧间关联条件。

在一种实现方式中，预测残差信号包括多个信号分量；处理单元601，用于若预测残差信号的压缩结果小于残差阈值，则确定图像块进行平移帧间预测时的预测残差信号满足帧间关联条件时，具体用于执行如下步骤：

若多个信号分量中的目标信号分量的压缩结果小于残差阈值，则确定预测残差信号的压缩结果小于残差阈值。

在一种实现方式中，处理单元601，用于获取图像块进行平移帧间预测时的预测残差信号时，具体用于执行如下步骤：

在图像块进行平移帧间预测时采用的参考帧中，确定图像块关联的参考区域；

根据图像块与参考区域之间的像素差异，确定图像块进行平移帧间预测时的预测残差信号。

在一种实现方式中，处理单元601，用于将图像块进行平移帧间预测时采用的参考帧设置为图像块的限制参考帧时，具体用于执行如下步骤：

获取图像块的参考帧列表；图像块的参考帧列表包括一个或多个参考帧，图像块进行平移帧间预测时采用的参考帧是从图像块的参考帧列表中选择的；

在图像块的参考帧列表中，将图像块进行平移帧间预测时采用的参考帧设置为图像块的限制参考帧。

在一种实现方式中，处理单元601，用于在图像块的参考帧列表中，将图像块进行平移帧间预测时采用的参考帧设置为图像块的限制参考帧时，具体用于执行如下步骤：

将图像块的参考帧列表中，图像块进行平移帧间预测时采用的参考帧设置为可用参考帧；

以及，将图像块的参考帧列表中，除图像块进行平移帧间预测时采用的参考帧外的其他参考帧设置为不可用参考帧。

在一种实现方式中，处理单元601，用于在图像块的参考帧列表中，将图像块进行平移帧间预测时采用的参考帧设置为图像块的限制参考帧时，具体用于执行如下步骤：

保留图像块的参考帧列表中，图像块进行平移帧间预测时采用的参考帧；

以及，删除图像块的参考帧列表中，除图像块进行平移帧间预测时采用的参考帧外的其他参考帧。

在一种实现方式中，处理单元601，用于获取图像块的参考帧列表时，具体用于执行如下步骤：

若图像块存在父块，则将图像块的父块的参考帧列表，确定为图像块的参考帧列表；

若图像块不存在父块，则将图像块在视频中所属图像帧的参考帧列表，确定为图像块的参考帧列表；图像块在视频中所属图像帧的参考帧列表，是根据参考帧列表构建规则所构建的。

在一种实现方式中，运动信息包括预测模式、参考帧选择模式、以及参考帧索引；

多个子块进行帧间预测时的运动信息与图像块进行帧间预测时的运动信息一致包括：多个子块进行帧间预测时的预测模式与图像块进行帧间预测时的预测模式一致且均为平移帧间预测，且多个子块进行帧间预测时的参考帧选择模式与图像块进行帧间预测时的参考帧选择一致，且多个子块进行帧间预测时的参考帧索引与图像块进行帧间预测时的参考帧索引一致。

在一种实现方式中，第一划分方式是多种划分方式中的任一种，第二划分方式是多种划分方式中除第一划分方式外的其他划分方式；

多种划分方式至少包括：水平二划分方式、垂直二划分方式、四划分方式、水平三划分方式、以及垂直三划分方式；第一划分方式为四划分方式。

根据本申请的另一个实施例，图6所示的视频处理装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本申请的实施例的技术效果的实现。上述单元是基于逻辑功能划分的，在实际应用中，一个单元的功能也可以由多个单元来实现，或者多个单元的功能由一个单元实现。在本申请的其它实施例中，视频处理装置也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。

根据本申请的另一个实施例，可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图4或图5所示的部分或全部方法所涉及的各步骤的计算机程序(包括程序代码)，来构造如图6中所示的视频处理装置，以及来实现本申请实施例的视频处理方法。计算机程序可以记载于例如计算机可读存储介质上，并通过计算机可读存储介质装载于上述计算设备中，并在其中运行。

本申请实施例中，在图像块进行平移帧间预测，且图像块按照多种划分方式中的第一划分方式划分得到的多个子块中的任一子块均不继续划分，且多个子块进行帧间预测时的运动信息与图像块进行帧间预测时的运动信息一致的情况下，可以将图像块进行平移帧间预测时采用的参考帧设置为图像块的限制参考帧；通过设置限制参考帧，限制参考帧可以用于当图像块按照多种划分方式中的第二划分方式划分得到其他子块时，作为其他子块以及其他子块的继续划分块进行帧间预测时的参考帧；也就是说，设置限制参考帧后，当图像块按照多种划分方式中的第二划分方式划分得到其他子块时，其他子块以及其他子块的继续划分块可以直接将限制参考帧作为帧间预测时采用的参考帧，无需进行参考帧选择，这样可以简化视频编码中参考帧选择的决策过程，加速视频编码过程中参考帧的选择效率，从而提升视频编码效率。

基于上述方法以及装置实施例，本申请实施例提供了一种计算机设备，该计算机设备可以是终端或服务器。请参见图7，图7是本申请实施例提供的一种计算机设备的结构示意图。图7所示的计算机设备至少包括处理器701、输入接口702、输出接口703以及计算机可读存储介质704。其中，处理器701、输入接口702、输出接口703以及计算机可读存储介质704可通过总线或其他方式连接。

计算机可读存储介质704可以存储在计算机设备的存储器中，计算机可读存储介质704用于存储计算机程序，计算机程序包括计算机指令，处理器701用于执行计算机可读存储介质704存储的程序指令。处理器701(或称CPU(Central Processing Unit，中央处理器))是计算机设备的计算核心以及控制核心，其适于实现一条或多条计算机指令，具体适于加载并执行一条或多条计算机指令从而实现相应方法流程或相应功能。

本申请实施例还提供了一种计算机可读存储介质(Memory)，计算机可读存储介质是计算机设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机可读存储介质既可以包括计算机设备中的内置存储介质，当然也可以包括计算机设备支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了计算机设备的操作系统。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或多条的计算机指令，这些计算机指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机可读存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(Non-VolatileMemory)，例如至少一个磁盘存储器；可选的还可以是至少一个位于远离前述处理器的计算机可读存储介质。

在一些实施例中，可由处理器701加载并执行计算机可读存储介质704中存放的一条或多条计算机指令，以实现上述有关图4或图5所示的视频处理方法的相应步骤。具体实现中，计算机可读存储介质704中的计算机指令由处理器701加载并执行如下步骤：

确定视频中待编码的图像块，图像块允许按照多种划分方式进行划分；

对图像块进行编码，以及按照多种划分方式中的第一划分方式对图像块进行划分，并对划分得到的多个子块进行编码；

在对图像块和多个子块的编码过程中，若图像块进行平移帧间预测，且多个子块中的任一子块均不继续划分，且多个子块进行帧间预测时的运动信息与图像块进行帧间预测时的运动信息一致，则获取图像块进行平移帧间预测时采用的参考帧；

将图像块进行平移帧间预测时采用的参考帧设置为图像块的限制参考帧；限制参考帧用于当图像块按照所述多种划分方式中的第二划分方式划分得到其他子块时，作为其他子块以及其他子块的继续划分块进行帧间预测时的参考帧。

在一种实现方式中，计算机可读存储介质704中的计算机指令由处理器701加载并执行若图像块进行平移帧间预测，且多个子块中的任一子块均不继续划分，且多个子块进行帧间预测时的运动信息与图像块进行帧间预测时的运动信息一致，则获取图像块进行平移帧间预测时采用的参考帧时，具体用于执行如下步骤：

若图像块进行平移帧间预测，且图像块进行平移帧间预测时的预测残差信号满足帧间关联条件，且多个子块中的任一子块均不继续划分，且多个子块进行帧间预测时的运动信息与图像块进行帧间预测时的运动信息一致，则获取图像块进行平移帧间预测时采用的参考帧。

在一种实现方式中，计算机可读存储介质704中的计算机指令由处理器701加载并还用于执行如下步骤：

获取图像块进行平移帧间预测时的预测残差信号；

对预测残差信号进行压缩处理；

若预测残差信号的压缩结果小于残差阈值，则确定图像块进行平移帧间预测时的预测残差信号满足帧间关联条件。

在一种实现方式中，预测残差信号包括多个信号分量；计算机可读存储介质704中的计算机指令由处理器701加载并执行若预测残差信号的压缩结果小于残差阈值，则确定图像块进行平移帧间预测时的预测残差信号满足帧间关联条件时，具体用于执行如下步骤：

若多个信号分量中的目标信号分量的压缩结果小于残差阈值，则确定预测残差信号的压缩结果小于残差阈值。

在一种实现方式中，计算机可读存储介质704中的计算机指令由处理器701加载并执行获取图像块进行平移帧间预测时的预测残差信号时，具体用于执行如下步骤：

在图像块进行平移帧间预测时采用的参考帧中，确定图像块关联的参考区域；

根据图像块与参考区域之间的像素差异，确定图像块进行平移帧间预测时的预测残差信号。

在一种实现方式中，计算机可读存储介质704中的计算机指令由处理器701加载并执行将图像块进行平移帧间预测时采用的参考帧设置为图像块的限制参考帧时，具体用于执行如下步骤：

获取图像块的参考帧列表；图像块的参考帧列表包括一个或多个参考帧，图像块进行平移帧间预测时采用的参考帧是从图像块的参考帧列表中选择的；

在图像块的参考帧列表中，将图像块进行平移帧间预测时采用的参考帧设置为图像块的限制参考帧。

在一种实现方式中，计算机可读存储介质704中的计算机指令由处理器701加载并执行在图像块的参考帧列表中，将图像块进行平移帧间预测时采用的参考帧设置为图像块的限制参考帧时，具体用于执行如下步骤：

将图像块的参考帧列表中，图像块进行平移帧间预测时采用的参考帧设置为可用参考帧；

以及，将图像块的参考帧列表中，除图像块进行平移帧间预测时采用的参考帧外的其他参考帧设置为不可用参考帧。

在一种实现方式中，计算机可读存储介质704中的计算机指令由处理器701加载并执行在图像块的参考帧列表中，将图像块进行平移帧间预测时采用的参考帧设置为图像块的限制参考帧时，具体用于执行如下步骤：

保留图像块的参考帧列表中，图像块进行平移帧间预测时采用的参考帧；

以及，删除图像块的参考帧列表中，除图像块进行平移帧间预测时采用的参考帧外的其他参考帧。

在一种实现方式中，计算机可读存储介质704中的计算机指令由处理器701加载并执行获取图像块的参考帧列表时，具体用于执行如下步骤：

若图像块存在父块，则将图像块的父块的参考帧列表，确定为图像块的参考帧列表；

若图像块不存在父块，则将图像块在视频中所属图像帧的参考帧列表，确定为图像块的参考帧列表；图像块在视频中所属图像帧的参考帧列表，是根据参考帧列表构建规则所构建的。

在一种实现方式中，运动信息包括预测模式、参考帧选择模式、以及参考帧索引；

多个子块进行帧间预测时的运动信息与图像块进行帧间预测时的运动信息一致包括：多个子块进行帧间预测时的预测模式与图像块进行帧间预测时的预测模式一致且均为平移帧间预测，且多个子块进行帧间预测时的参考帧选择模式与图像块进行帧间预测时的参考帧选择一致，且多个子块进行帧间预测时的参考帧索引与图像块进行帧间预测时的参考帧索引一致。

在一种实现方式中，第一划分方式是多种划分方式中的任一种，第二划分方式是多种划分方式中除第一划分方式外的其他划分方式；

多种划分方式至少包括：水平二划分方式、垂直二划分方式、四划分方式、水平三划分方式、以及垂直三划分方式；第一划分方式为四划分方式。

本申请实施例中，在图像块进行平移帧间预测，且图像块按照多种划分方式中的第一划分方式划分得到的多个子块中的任一子块均不继续划分，且多个子块进行帧间预测时的运动信息与图像块进行帧间预测时的运动信息一致的情况下，可以将图像块进行平移帧间预测时采用的参考帧设置为图像块的限制参考帧；通过设置限制参考帧，限制参考帧可以用于当图像块按照多种划分方式中的第二划分方式划分得到其他子块时，作为其他子块以及其他子块的继续划分块进行帧间预测时的参考帧；也就是说，设置限制参考帧后，当图像块按照多种划分方式中的第二划分方式划分得到其他子块时，其他子块以及其他子块的继续划分块可以直接将限制参考帧作为帧间预测时采用的参考帧，无需进行参考帧选择，这样可以简化视频编码中参考帧选择的决策过程，加速视频编码过程中参考帧的选择效率，从而提升视频编码效率。

根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选方式中提供的视频处理方法。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (15)

1.一种视频处理方法，其特征在于，包括：

确定视频中待编码的图像块，所述图像块允许按照多种划分方式进行划分；

对所述图像块进行编码，以及按照所述多种划分方式中的第一划分方式对所述图像块进行划分，并对划分得到的多个子块进行编码；

在对所述图像块和所述多个子块的编码过程中，若所述图像块进行平移帧间预测，且所述多个子块中的任一子块均不继续划分，且所述多个子块进行帧间预测时的运动信息与所述图像块进行帧间预测时的运动信息一致，则获取所述图像块进行平移帧间预测时采用的参考帧；

将所述图像块进行平移帧间预测时采用的参考帧设置为所述图像块的限制参考帧；所述限制参考帧用于当所述图像块按照所述多种划分方式中的第二划分方式划分得到其他子块时，作为所述其他子块以及所述其他子块的继续划分块进行帧间预测时的参考帧。

2.如权利要求1所述的方法，所述若所述图像块进行平移帧间预测，且所述多个子块中的任一子块均不继续划分，且所述多个子块进行帧间预测时的运动信息与所述图像块进行帧间预测时的运动信息一致，则获取所述图像块进行平移帧间预测时采用的参考帧，包括：

若所述图像块进行平移帧间预测，且所述图像块进行平移帧间预测时的预测残差信号满足帧间关联条件，且所述多个子块中的任一子块均不继续划分，且所述多个子块进行帧间预测时的运动信息与所述图像块进行帧间预测时的运动信息一致，则获取所述图像块进行平移帧间预测时采用的参考帧。

3.如权利要求2所述的方法，其特征在于，所述方法还包括：

获取所述图像块进行平移帧间预测时的预测残差信号；

对所述预测残差信号进行压缩处理；

若所述预测残差信号的压缩结果小于残差阈值，则确定所述图像块进行平移帧间预测时的预测残差信号满足帧间关联条件。

4.如权利要求3所述的方法，其特征在于，所述预测残差信号包括多个信号分量；所述若所述预测残差信号的压缩结果小于残差阈值，则确定所述图像块进行平移帧间预测时的预测残差信号满足帧间关联条件，包括：

若所述多个信号分量中的目标信号分量的压缩结果小于残差阈值，则确定所述预测残差信号的压缩结果小于残差阈值。

5.如权利要求3所述的方法，其特征在于，所述获取所述图像块进行平移帧间预测时的预测残差信号，包括：

在所述图像块进行平移帧间预测时采用的参考帧中，确定所述图像块关联的参考区域；

根据所述图像块与所述参考区域之间的像素差异，确定所述图像块进行平移帧间预测时的预测残差信号。

6.如权利要求1所述的方法，其特征在于，所述将所述图像块进行平移帧间预测时采用的参考帧设置为所述图像块的限制参考帧，包括：

获取所述图像块的参考帧列表；所述图像块的参考帧列表包括一个或多个参考帧，所述图像块进行平移帧间预测时采用的参考帧是从所述图像块的参考帧列表中选择的；

在所述图像块的参考帧列表中，将所述图像块进行平移帧间预测时采用的参考帧设置为所述图像块的限制参考帧。

7.如权利要求6所述的方法，其特征在于，所述在所述图像块的参考帧列表中，将所述图像块进行平移帧间预测时采用的参考帧设置为所述图像块的限制参考帧，包括：

将所述图像块的参考帧列表中，所述图像块进行平移帧间预测时采用的参考帧设置为可用参考帧；以及，

将所述图像块的参考帧列表中，除所述图像块进行平移帧间预测时采用的参考帧外的其他参考帧设置为不可用参考帧。

8.如权利要求6所述的方法，其特征在于，所述在所述图像块的参考帧列表中，将所述图像块进行平移帧间预测时采用的参考帧设置为所述图像块的限制参考帧，包括：

保留所述图像块的参考帧列表中，所述图像块进行平移帧间预测时采用的参考帧；以及，

删除所述图像块的参考帧列表中，除所述图像块进行平移帧间预测时采用的参考帧外的其他参考帧。

9.如权利要求6所述的方法，其特征在于，所述获取所述图像块的参考帧列表，包括：

若所述图像块存在父块，则将所述图像块的父块的参考帧列表，确定为所述图像块的参考帧列表；

若所述图像块不存在父块，则将所述图像块在所述视频中所属图像帧的参考帧列表，确定为所述图像块的参考帧列表；所述图像块在所述视频中所属图像帧的参考帧列表，是根据参考帧列表构建规则所构建的。

10.如权利要求1所述的方法，其特征在于，所述运动信息包括预测模式、参考帧选择模式、以及参考帧索引；

所述多个子块进行帧间预测时的运动信息与所述图像块进行帧间预测时的运动信息一致包括：所述多个子块进行帧间预测时的预测模式与所述图像块进行帧间预测时的预测模式一致且均为所述平移帧间预测，且所述多个子块进行帧间预测时的参考帧选择模式与所述图像块进行帧间预测时的参考帧选择一致，且所述多个子块进行帧间预测时的参考帧索引与所述图像块进行帧间预测时的参考帧索引一致。

11.如权利要求1-10任一项所述的方法，其特征在于，所述第一划分方式是所述多种划分方式中的任一种，所述第二划分方式是所述多种划分方式中除所述第一划分方式外的其他划分方式；

所述多种划分方式至少包括：水平二划分方式、垂直二划分方式、四划分方式、水平三划分方式、以及垂直三划分方式；所述第一划分方式为所述四划分方式。

12.一种视频处理装置，其特征在于，包括：

处理单元，用于确定视频中待编码的图像块，所述图像块允许按照多种划分方式进行划分；

所述处理单元，还用于对所述图像块进行编码，以及按照所述多种划分方式中的第一划分方式对所述图像块进行划分，并对划分得到的多个子块进行编码；

获取单元，用于在对所述图像块和所述多个子块的编码过程中，若所述图像块进行平移帧间预测，且所述多个子块中的任一子块均不继续划分，且所述多个子块进行帧间预测时的运动信息与所述图像块进行帧间预测时的运动信息一致，则获取所述图像块进行平移帧间预测时采用的参考帧；

所述处理单元，还用于将所述图像块进行平移帧间预测时采用的参考帧设置为所述图像块的限制参考帧；所述限制参考帧用于当所述图像块按照所述多种划分方式中的第二划分方式划分得到其他子块时，作为所述其他子块以及所述其他子块的继续划分块进行帧间预测时的参考帧。

13.一种计算机设备，其特征在于，所述计算机设备包括：

处理器，适于实现计算机程序；

计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1-11任一项所述的视频处理方法。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序适于由处理器加载并执行如权利要求1-11任一项所述的视频处理方法。

15.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机指令，所述计算机指令被处理器执行时实现如权利要求1-11任一项所述的视频处理方法。

Images