CN109068134A - 视频编码方法及装置 - Google Patents

Abstract

本申请提供的视频编码方法及装置，在所述方法中，首先，将关键视频帧进行编码得到关键视频帧的编码图像；接着，将所述关键视频帧的编码图像进行解码，参照解码后的关键视频帧图像得到分辨率降低的非关键视频帧的编码图像，以完成对待编码视频的编码。在上述方法中，基于人类的视觉线心理模型，通过参考关键视频帧生成分辨率降低的非关键视频帧，编码过程的复杂度没有明显改变，非关键帧分辨率的下降使得编码速度提高，视频清晰度的主观感受不受影响。

Description

视频编码方法及装置

技术领域

本申请涉及视频处理领域，具体而言，涉及一种视频编码方法及装置。

背景技术

现有的视频分级编码方法可以分为空域分级及时域分级两类，具体地分级方法包括MPEG(Moving Picture Experts Group，动态图像专家组)2的信噪比可分级类(SNRScalable Profile)、分块编码、时域编码、MPEG4的FGS(Fine Granular Scalable，精细可伸缩性视频编码)、H.264的SVC(Scalable video coding，可伸缩视频编码)，及小波变换的编码。

目前的视频分级编码方法存在以下缺陷：

空域分级增加编码的复杂度，并且采用空域分级技术的视频流，编码效率要低于没有分级的视频流；

在采用时域分级时，视频分辨率在同一序列中是不变的，解码端可以丢弃非关键帧，但帧速率的降低会使得视频看起来不流畅，损害主观体验；

现有的分级方案，在编码速度及编码压缩率方面都还可以提高。

发明内容

为了解决上述至少一种缺陷，本申请描述一种视频编码方法及装置，用于对待编码视频进行分级编码。

第一方面，本申请提供一种视频编码方法，待编码视频包括关键视频帧和非关键视频帧，所述非关键视频帧位于相邻的关键视频帧之间，所述方法包括：

将关键视频帧进行编码得到关键视频帧的编码图像；

将所述关键视频帧的编码图像进行解码，参照解码后的关键视频帧图像得到分辨率降低的非关键视频帧的编码图像，以完成对待编码视频的编码。

可选地，在本申请中，将所述关键视频帧的编码图像进行解码，参照解码后的关键视频帧图像得到分辨率降低的非关键视频帧的编码图像，包括：

将所述关键视频帧的编码图像进行解码后，并对解码后的关键视频帧图像进行下采样得到所述关键视频帧的下采样图像；

将所述非关键视频帧进行下采样得到所述非关键视频帧的下采样图像；

将所述非关键视频帧的下采样图像参考相邻所述关键视频帧的下采样图形进行编码，得到非关键视频帧的编码图像。

可选地，在本申请中，在所述关键视频帧包括I帧与P帧，所述非关键视频帧包括B帧时，将所述非关键视频帧的下采样图像参考相邻所述关键视频帧的下采样图形进行编码，得到非关键视频帧的编码图像，包括：

将所述B帧的下采样图像参照该B帧之前的I帧或P帧的下采样图像，和B帧之后的P帧的下采样图像进行编码，得到所述B帧的编码图像。

可选地，在本申请中，在所述关键视频帧包括I帧与P帧，所述非关键视频帧包括P帧时，将所述非关键视频帧的下采样图像参考相邻所述关键视频帧的下采样图形进行编码，得到非关键视频帧的编码图像，包括：

将所述非关键视频帧P帧的下采样图像参照该非关键视频帧P帧之前的I帧或关键视频帧P帧的下采样图像，得到所述非关键视频帧P帧的编码图像。

可选地，在本申请中，所述下采样图像的图像分辨率为下采样处理前图像分辨率的一半。

第二方面，本申请提供一种视频编码装置，待编码视频包括关键视频帧和非关键视频帧，所述非关键视频帧位于相邻的关键视频帧之间，所述装置包括：

关键视频帧编码模块，用于将关键视频帧进行编码得到关键视频帧的编码图像；

解码及编码模块，用于将所述关键视频帧的编码图像进行解码，参照解码后的关键视频帧图像得到分辨率降低的非关键视频帧的编码图像，以完成对待编码视频的编码。

可选地，在本申请中，解码及编码模块用于：

将所述关键视频帧的编码图像进行解码后，并对解码后的关键视频帧图像进行下采样得到所述关键视频帧的下采样图像；

将所述非关键视频帧进行下采样得到所述非关键视频帧的下采样图像；

所述非关键视频帧的下采样图像参考相邻所述关键视频帧的下采样图形进行编码，得到非关键视频帧的编码图像。

可选地，在本申请中，在关键视频帧包括I帧与P帧，非关键视频帧包括B帧时，所述解码及编码模块具体用于：

将所述B帧的下采样图像参照该B帧之前的I帧或P帧的下采样图像，和B帧之后的P帧的下采样图像进行编码，得到所述B帧的编码图像。

可选地，在本申请中，在关键视频帧包括I帧与P帧，非关键视频帧包括P帧时，所述解码及编码模块具体用于：

将所述非关键视频帧P帧的下采样图像参照该非关键视频帧P帧之前的I帧或关键视频帧P帧的下采样图像，得到所述非关键视频帧P帧的编码图像。

可选地，在本申请中，所述下采样图像的图像分辨率为下采样处理前图像分辨率的一半。

第三方面，本申请还提供一种电子设备，所述电子设备包括处理器及存储有若干计算机指令的非易失性存储器，所述计算机指令被所述处理器执行时，所述电子设备执行第一方面所述的视频编码方法。

第四方面，本申请还提供一种可读存储介质，所述可读存储介质包括计算机程序，所述计算机程序运行时控制所述可读存储介质所在电子设备执行第一方面所述的视频编码方法。

相对于现有技术而言，本申请具有以下有益效果：

本申请提供的视频编码方法及装置，在所述方法中，首先，将关键视频帧进行编码得到关键视频帧的编码图；接着，将所述关键视频帧的编码图像进行解码，参照解码后的关键视频帧图像得到分辨率降低的非关键视频帧的编码图像，以完成对待编码视频的编码。在上述方法中，基于人类的视觉线心理模型，通过参考关键视频帧生成分辨率降低的非关键视频帧，编码过程的复杂度没有明显改变，非关键帧分辨率的下降使得编码速度提高，视频清晰度的主观感受不受影响。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的电子设备的结构框图；

图2为本申请实施例提供的视频编码方法的流程示意图；

图3为图2中步骤S220的子步骤流程示意图；

图4A-图4E为本申请实施例提供视频编码的过程示意图；

图5为本申请实施例提供的视频编码装置的功能模块框图。

图标：100-电子设备；110-视频编码装置；1101-关键视频帧编码模块；1102-解码及编码模块；111-存储器；112-处理器；113-通信单元。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请实施例保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请实施例的描述中，术语"第一"、"第二"等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在本申请实施例的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请实施例中的具体含义。

请参照图1，图1为本申请实施例提供的一种电子设备100的结构示意图。所述电子设备100包括视频编码装置110、存储器111、处理器112及通信单元113。

所述存储器111、处理器112及通信单元113的各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。

其中，所述存储器111可以是，但不限于，随机存取存储器(Random AccessMemory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(ProgrammableRead-Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read-OnlyMemory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-OnlyMemory，EEPROM)等。其中，存储器111用于存储程序，所述处理器112在接收到执行指令后，执行所述程序。所述通信单元113用于通过网络建立所述电子设备100与其它设备(比如用户终端)之间的通信连接，并用于通过网络进行数据的接收和发送。

视频编码装置110包括至少一个可以软件或固件(firmware)的形式存储于所述存储器111中或固化在所述电子设备100的操作系统(Operating System，OS)中的软件功能模块。所述处理器112用于执行所述存储器111中存储的可执行模块，例如视频编码装置110所包括的软件功能模块及计算机程序等。

应当理解的是，图1所示的结构仅为示意，所述电子设备100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。

请参照图2，图2为本申请实施例提供的应用于图1中的电子设备100的视频编码方法的流程图，在本申请实施例中待编码视频包括关键视频帧和非关键视频帧，非关键视频帧位于相邻的关键视频帧之间，下面对所述方法包括的各个步骤进行详尽的阐述。

步骤S210，将关键视频帧进行编码得到关键视频帧的编码图像。

步骤S220，将关键视频帧的编码图像进行解码，参照解码后的关键视频帧图像得到分辨率降低的非关键视频帧的编码图像，以完成对待编码视频的编码。

请参照图3，在本申请实施例中，步骤S220可以包括以下子步骤：

子步骤S221，将关键视频帧的编码图像进行解码后，并对解码后的关键视频帧图像进行下采样得到关键视频帧的下采样图像；

子步骤S222，将非关键视频帧进行下采样得到非关键视频帧的下采样图像；

子步骤S223，将非关键视频帧的下采样图像参考相邻关键视频帧的下采样图形进行编码，得到非关键视频帧的编码图像。

待编码视频可以包括I帧、B帧及P帧，其中，I帧表示关键帧，可以理解为一帧画面的完整保留，解码时只需要本帧数据就可以完成。P帧表示当前帧跟之前的关键帧(或P帧)的差别，解码时需要用之前缓存的画面叠加上本帧定义的差别，生成最终画面，即P帧为差别帧，P帧没有完整画面数据，只有与前一帧的画面差别的数据。B帧是双向差别帧，也就是B帧记录的是本帧与前后帧的差别，换言之，需要解码B帧，不仅需要取得之前的缓存画面、还要解码之后的画面，通过前后画面与本帧数据的叠加得到最终的画面，B帧具有压缩率高的特点。

在本申请实施例的一种实施方式中，待编码视频包括I帧、B帧及P帧，下面以待编码视频包括I帧、B帧及P帧为例对本申请实施例提供的视频编码方案进行介绍。

请参照图4A，假设待编码处理的视频序列，从S0一直到S6，分辨率为W*H。

在待编码视频包括I帧、B帧及P帧时，关键视频帧包括I帧与P帧，非关键视频帧包括B帧。视频序列中的S0，S3，S6为关键视频帧I0，P3，P6；S1，S2，S4，S5为非关键帧B1，B2，B4，B5。

首先，请参照图4B，编码I0得到D0，对D0进行下采样得到下采样图像H0。

接着，请参照图4C，与D0类似的，编码P3，再将编码后的P3进行解码后得到D3，最后对D3进行下采样得到下采样图像H3。

再接着，请参照图4D，将S1进行下采样得到下采样图像H1，该下采样图像参考H0和H3进行编码，S2的编码过程与S1相同，在此就不再赘述。

再接着，与D3类似的，编码P6，在将编码后的P6进行解码后得到D6，最后对D6进行下采样得到下采样图像H6。

最后，请参照图4E，S4，S5进行下采样得到下采样图像H4和H5，下采样图像参考H3和H6进行编码。

在采用上述方式进行视频编码时，每一视频帧被编码后会打包发送给解码器，即在上述方式中，编码的视频帧顺序为S0、S3、S1、S2、S6、S4、S5，在进行解码时，会按照视频帧顺序将解码后的图像进行显示，即解码后的图像顺序为S0、S1、S2、S3、S4、S5、S6。在上述方式中，S1、S2、S4及S5不是关键视频帧，具有可丢弃的特性，即在数据传输或者解码过程中这些视频帧对应的数据丢失也不会影响整个视频的显示效果。

当然，在本申请实施例的其他实施方式中，如上述的S1、S2、S4、S5也可以作为关键视频帧，假设S1(B帧)作为关键视频帧，S1可以作为S2(B帧)的参考帧，但不能作为S0(I帧)、S3及S6(P帧)的参考帧，在该种情况下，S1不能被丢弃，即在数据传输或者解码过程中S1对应的数据丢失会影响解码，导致视频无法正常显示。

在本申请实施例的另一种实施方式中，待编码视频包括I帧及P帧，下面以待编码视频包括I帧及P帧为例对本申请实施例提供的视频编码方案进行介绍。

还是以图4A中的视频序列为例，视频序列的帧结构为S0为I帧，S1-S6为P帧。假设视频序列中的S0，S3，S6为关键视频帧I0，P3，P6；S1，S2，S4，S5为非关键帧P1，P2，P4，P5。

首先，与上面实施例相同的，编码I0得到D0，对D0进行下采样得到下采样图像H0。

接着，对P1进行下采样得到下采样图像H1，该下采样图像参照H0进行编码。

再接着，对P2进行下采样得到下采样图像H2，该下采样图像参照H0和/或H1进行编码。

再接着，与D0类似的，编码P3，再将编码后的P3进行解码后得到D3，对D3进行下采样得到下采样图像H3。

再接着，对P4、P5进行下采样得到下采样图像H4、H5，该下采样图像参照其之前的下采样图像进行编码。在本实施例中，下采样图像H4、H5可以参照其之前的所有下采样图像，也可以参考其之前的部分下采样图像，向前参考下采样图像的最大数量根据编码需求设定(比如，向前参考5个下采样图像)。

最后，再将P6进行编码，再将编码后的P6进行解码后得到D6，对D6进行下采样得到下采样图像H6。

在上述过程中，P帧(S1，S2，S4，S5)为非关键视频帧，未被其他视频帧所参考，这些P帧具有可丢弃的特性。而作为关键视频帧的P帧(S3，S6)，被其他视频帧参考，不能被丢弃。

下采样的目的是缩小图像(即将图像的分辨率降低)，在本申请实施例中，下采样将图像的分辨率减半，具体地，下采样的方式可以是将图像的宽度减半，则S0-S6的分辨率可以由W*H变为(W/2)*H；下采样的方式可以是将图像的长度减半，则S0-S6的分辨率可以由W*H变为W*(H/2)；下采样的方式还可以是将图像的长度与宽度均缩小，只要采样后的分辨率为原分辨率的一般即可，比如(0.8*W)*(0.625*H)。当然可以理解的是，在本申请中，下采样后图像的分辨率也可以近似等于采样前图像分辨率的一半。

在本申请实施例中，在进行视频帧编码的过程中，可以按照顺序对视频帧进行编码，即完成前一帧的视频编码后，再进行后一帧的视频编码；也可以多帧并行编码，在进行多帧并行编码时，可以将每帧图像进行空域分级，划分为多个空间块，可以以空间块为单位实现本申请实施例提供的编码方法，不必等到整个视频帧完成编码解码过程。在该过程中，不需要对关键视频帧进行下采样，非关键视频帧直接参考关键视频帧。

本申请实施例还提供一种视频编码装置110，与上面实施例不同的是，本视频编码装置110是从虚拟装置的角度描述本申请方案的。请参照图5，视频编码装置110可以包括以下模块。

关键视频帧编码模块1101，用于将关键视频帧进行编码得到关键视频帧的编码图像。

解码及编码模块1102，用于将关键视频帧的编码图像进行解码，参照解码后的关键视频帧图像得到分辨率降低的非关键视频帧的编码图像以完成对待编码视频的编码。

在本实施例中，解码及编码模块1101用于：

将关键视频帧的编码图像进行解码后，并对解码后的关键视频帧图像进行下采样得到所述关键视频帧的下采样图像；

将所述非关键视频帧进行下采样得到所述非关键视频帧的下采样图像；

所述非关键视频帧的下采样图像参考相邻所述关键视频帧的下采样图形进行编码，得到非关键视频帧的编码图像。

在本申请实施例中，在关键视频帧包括I帧与P帧，非关键视频帧包括B帧时，解码及编码模块1102具体用于：

将B帧的下采样图像参照该B帧之前的I帧或P帧的下采样图像，和B帧之后的P帧的下采样图像进行编码，得到B帧的编码图像。

在本申请实施例中，在关键视频帧包括I帧与P帧，非关键视频帧包括P帧时，解码及编码模块1102具体用于：

将非关键视频帧P帧的下采样图像参照该非关键视频帧P帧之前的I帧或关键视频帧P帧的下采样图像，得到非关键视频帧P帧的编码图像。

如果上述功能以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得电子设备100执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取存储器(英文：Random Access Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

综上所述，本申请提供的视频编码方法及装置，在所述方法中，首先，将关键视频帧进行编码得到关键视频帧的编码图；接着，将所述关键视频帧的编码图像进行解码，参照解码后的关键视频帧图像得到分辨率降低的非关键视频帧的编码图像，以完成对待编码视频的编码。在上述方法中，基于人类的视觉线心理模型，通过参考关键视频帧生成分辨率降低的非关键视频帧，编码过程的复杂度没有明显改变，非关键帧分辨率的下降使得编码速度提高，视频清晰度的主观感受不受影响。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种视频编码方法，其特征在于，待编码视频包括关键视频帧和非关键视频帧，所述非关键视频帧位于相邻的关键视频帧之间，所述方法包括：

将关键视频帧进行编码得到关键视频帧的编码图像；

将所述关键视频帧的编码图像进行解码，参照解码后的关键视频帧图像得到分辨率降低的非关键视频帧的编码图像，以完成对待编码视频的编码。

2.如权利要求1所述的方法，其特征在于，将所述关键视频帧的编码图像进行解码，参照解码后的关键视频帧图像得到分辨率降低的非关键视频帧的编码图像，包括：

将所述关键视频帧的编码图像进行解码后，并对解码后的关键视频帧图像进行下采样得到所述关键视频帧的下采样图像；

将所述非关键视频帧进行下采样得到所述非关键视频帧的下采样图像；

将所述非关键视频帧的下采样图像参考相邻所述关键视频帧的下采样图形进行编码，得到非关键视频帧的编码图像。

3.如权利要求2所述的方法，其特征在于，在所述关键视频帧包括I帧与P帧，所述非关键视频帧包括B帧时，将所述非关键视频帧的下采样图像参考相邻所述关键视频帧的下采样图形进行编码，得到非关键视频帧的编码图像，包括：

将所述B帧的下采样图像参照该B帧之前的I帧或P帧的下采样图像，和B帧之后的P帧的下采样图像进行编码，得到所述B帧的编码图像。

4.如权利要求2所述的方法，其特征在于，在所述关键视频帧包括I帧与P帧，所述非关键视频帧包括P帧时，将所述非关键视频帧的下采样图像参考相邻所述关键视频帧的下采样图形进行编码，得到非关键视频帧的编码图像，包括：

将所述非关键视频帧P帧的下采样图像参照该非关键视频帧P帧之前的I帧或关键视频帧P帧的下采样图像，得到所述非关键视频帧P帧的编码图像。

5.如权利要求2-4中任意一项所述的方法，其特征在于，所述下采样图像的图像分辨率为下采样处理前图像分辨率的一半。

6.一种视频编码装置，其特征在于，待编码视频包括关键视频帧和非关键视频帧，所述非关键视频帧位于相邻的关键视频帧之间，所述装置包括：

关键视频帧编码模块，用于将关键视频帧进行编码得到关键视频帧的编码图像；

解码及编码模块，用于将所述关键视频帧的编码图像进行解码，参照解码后的关键视频帧图像得到分辨率降低的非关键视频帧的编码图像以完成对待编码视频的编码。

7.如权利要求6所述的装置，其特征在于，解码及编码模块用于：

将所述关键视频帧的编码图像进行解码后，并对解码后的关键视频帧图像进行下采样得到所述关键视频帧的下采样图像；

将所述非关键视频帧进行下采样得到所述非关键视频帧的下采样图像；

所述非关键视频帧的下采样图像参考相邻所述关键视频帧的下采样图形进行编码，得到非关键视频帧的编码图像。

8.如权利要求7所述的装置，其特征在于，在关键视频帧包括I帧与P帧，非关键视频帧包括B帧时，所述解码及编码模块具体用于：

将所述B帧的下采样图像参照该B帧之前的I帧或P帧的下采样图像，和B帧之后的P帧的下采样图像进行编码，得到所述B帧的编码图像。

9.如权利要求7所述的装置，其特征在于，在关键视频帧包括I帧与P帧，非关键视频帧包括P帧时，所述解码及编码模块具体用于：

将所述非关键视频帧P帧的下采样图像参照该非关键视频帧P帧之前的I帧或关键视频帧P帧的下采样图像，得到所述非关键视频帧P帧的编码图像。

10.如权利要求7-9中任意一项所述的装置，其特征在于，所述下采样图像的图像分辨率为下采样处理前图像分辨率的一半。