CN104396246A - 视频压缩编码方法及编码器 - Google Patents

Abstract

本申请公开了一种视频压缩编码方法及编码器，主控模块将待编码的图像帧按照预定顺序逐个分发至空闲的帧编码模块后，帧编码模块中空闲的块编码模块根据对应图像帧中块的编码状态信息，互斥地选取具备编码条件但未编码的块进行编码，并在编码完成后更新块的编码状态信息，而当图像帧的编码完成后，更新帧编码模块的空闲状态信息。这样就能真正做到以块为任务分发单位，只要图像中可立即编码的块的数目超过块编码线程数，所有线程就能够被充分利用，大大减少了对下方宏块进行编码的线程出现等待的情况，进而减少了块间同步的次数，降低了并行视频压缩编码通信代价，提高了视频压缩编码性能。

Description

视频压缩编码方法及编码器 技术领域

本申请涉及数据处理领域，尤其涉及一种视频压缩编码方法及编码器。

背景技术

随着视频服务的普及，各种分辨率的视频得到越来越多的应用，尤其是高清分辨率及超高清分辨率的视频逐渐开始进入网络视频服务，相应地，高清分辨率及超高清分辨率视频压缩编码技术成为提高视频服务质量的关键技术。

目前，H.264或AVS标准已经成为当前市场上应用的主流视频压缩编码标准。相对于MPEG2等以往的标准而言，H.264或AVS标准由于运算复杂度的大幅提高，高清分辨率及超高清分辨率的视频实时压缩编码成为推广高清分辨率及超高清分辨率视频服务的瓶颈。

虽然目前已有一系列基于硬件编码芯片或半硬件嵌入式系统（如FPGA，DSP等）的高清分辨率视频压缩编码器投入市场，但由于基于硬件的编码系统存在开发周期长、产品定型后修改不便、不便于搭建分布式编码云平台等缺点，基于软件的视频压缩编码成为互联网视频服务中一个主要的视频压缩编码方案，特别是随着多核CPU的普及，基于软件实现的视频压缩编码器已经广泛利用了CPU并行计算能力，来进行并行视频压缩编码。典型的并行视频压缩编码包括GOP级并行、帧级并行及条带并行等。宏块级并行由于其具有延迟低及不影响编码性能的优点，被广泛应用于视频压缩编码中。

现有的宏块级并行视频压缩编码是以整行宏块作为任务分发单位，由于下方宏块行的编码依赖于作为参考的上方宏块行，在下方宏块行对应线程的编码速度高于其上方宏块行对应线程的编码速度时，会导致下方宏块行对应线程出现等待，从而导致宏块级并行视频压缩编码无法充分利用处理器的计算能力，降低了视频压缩编码性能。

发明内容

本申请提供一种视频压缩编码方法及编码器，以减少视频压缩编码中并行数据的排空及宏块间同步次数，提高视频压缩编码性能。

根据本申请的第一方面，本申请提供一种视频压缩编码方法，包括：

主控模块根据帧编码模块的第一空闲状态信息，将待编码的图像帧按照预定顺序逐个分发至空闲的帧编码模块；

帧编码模块接收到图像帧后，根据块编码模块的第二空闲状态信息，向空闲的块编码模块发送编码触发信号；

块编码模块接收到编码触发信号后，根据对应图像帧中被划分所得块的编码状态信息，互斥地选取具备编码条件但未编码的块进行编码，并在编码完成后更新块的编码状态信息及第二空闲状态信息；

帧编码模块检测是否完成对应图像帧的编码，若是，更新第一空闲状态信息。

根据本申请的第二方面，本申请提供一种视频压缩编码器，包括主控模块、帧编码模块及块编码模块，其中：

主控模块，用于根据帧编码模块的第一空闲状态信息，将待编码的图像帧按照预定顺序逐个分发至空闲的帧编码模块；

帧编码模块，用于在接收到图像帧后，根据块编码模块的第二空闲状态信息，向空闲的块编码模块发送编码触发信号；并检测是否完成对应图像帧的编码，若是，更新第一空闲状态信息；

块编码模块，用于在接收到编码触发信号后，根据对应图像帧中被划分所得块的编码状态信息，互斥地选取具备编码条件但未编码的块进行编码，并在编码完成后更新块的编码状态信息及第二空闲状态信息。

本申请的有益效果是：

通过提供一种视频压缩编码方法及编码器，主控模块将待编码的图像帧按照预定顺序逐个分发至空闲的帧编码模块后，帧编码模块中空闲的块编码模块根据对应图像帧中块的编码状态信息，互斥地选取具备编码条件但未编码的块进行编码，并在编码完成后更新块的编码状态信息，而当图像帧的编码完成后，更新帧编码模块的空闲状态信息。这样就能真正做到以块为任务分发单位，只要图像中可立即编码的块的数目超过块编码线程数，所有线程就能够被充分利用，大大减少了对下方宏块进行编码的线程出现等待的情况，进而减少了块间同步的次数，降低了并行视频压缩编码通信代价，提高了视频压缩编码性能。

附图说明

图1为本申请实施例一的视频压缩编码方法的流程图；

图2为本申请实施例一的视频压缩编码器的结构图；

图3为本申请实施例二的视频压缩编码器中主控模块201的结构图；

图4为本申请实施例三的视频压缩编码方法中步骤103的具体流程图；

图5为本申请实施例三的视频压缩编码方法中块的纵向位置示意图；

图6为本申请实施例三的视频压缩编码器中块编码模块203的结构图；

图7为本申请实施例四的视频压缩编码方法中步骤103的具体流程图；

图8为本申请实施例四的视频压缩编码器中块编码模块203的结构图。

具体实施方式

下面通过具体实施方式结合附图对本申请作进一步详细说明。

实施例一：

请参考图1，本实施例的视频压缩编码方法主要基于如图2所示的视频压缩编码器。在该视频压缩编码器中，共享内存存储有视频压缩编码所需的数据，这些数据主要包括待编码的图像帧，以及多种状态信息，如下述的第一空闲状态信息、第二空闲状态信息及编码状态信息等。同时，视频压缩编码器中的控制元件提供相应的线程，每条线程均可以访问共享内存中存储的数据。视频压缩编码器中的主控模块201、帧编码模块202及块编码模块203均由独立的线程驱动。基于此，上述视频压缩编码方法主要包括如下流程：

步骤101，主控模块根据帧编码模块的第一空闲状态信息，将待编码的图像帧按照预定顺序逐个分发至空闲的帧编码模块。具体地，第一空闲状态信息用于指示帧编码模块是处于工作状态还是空闲状态，其可包括帧编码模块的标识以及指示其是否空闲的符号等，主控模块根据第一空闲状态信息即可查找得到空闲的帧编码模块。而上述预定顺序一般为图像帧在显示时的先后顺序，显示顺序在先的图像帧优先发送到帧编码模块进行处理。每个帧编码模块仅针对一个图像帧进行处理。

步骤102，帧编码模块接收到图像帧后，根据块编码模块的第二空闲状态信息，向空闲的块编码模块发送编码触发信号。具体地，第二空闲状态信息用于指示块编码模块是处于工作状态还是空闲状态，其可包括块编码模块的标识以及指示其是否空闲的符号等，帧编码模块根据第二空闲状态信息即可查找得到空闲的块编码模块。编码触发信号用于触发块编码模块工作，以对块进行编码处理。

步骤103，块编码模块接收到编码触发信号后，根据对应图像帧中被划分所得块的编码状态信息，互斥地随机选取具备编码条件但未编码的块进行编码，并在编码完成后更新块的编码状态信息及第二空闲状态信息。图像帧被划分成若干块，每个块具有预定的规格并且在编码前具有初始的编码状态，即未编码状态，例如8像素×8像素，或16像素×16像素等规格。编码状态信息用于指示块是否已编码，其可包括块的标识以及指示其是否已编码的符号等，块的标识可以通过如下方式建立：以显示的正立图像建立二维坐标轴，块的标识可由其横向位置以及纵向位置组成。块编码模块根据编码状态信息可查找得到未编码的块。另外，块编码模块还可以从未编码的块中选取具备编码条件的块，例如，具备帧间编码条件或具备帧内编码条件的块。帧内编码条件是指：在当前块所属图像帧内，当前块的左块、左上块、上块及右上块已完成编码。帧间编码条件是指：一方面，在当前块所属图像帧内，当前块的左块、左上块、上块及右上块已完成编码，另一方面，当前块运动所依赖的参考图像帧中，运动搜索范围内的所有块已完成编码。块编码模块对块进行编码大致可包括模式选择（帧间编码模式或帧内编码模式）、帧间编码或帧内编码、块所在行的重建及熵编码等处理，其中，块所在行的重建及熵编码可包括滤波、插值等处理。块编码模块互斥地选取具备编码条件但未编码的块，旨在保证不同的块编码模块不会选取到同一个块。当块的编码完成后，块编码模块将更新块的编码状态信息，使块的编码状态从未编码状态变为已编码状态，并在块编码模块对某一块处理完毕后，更新块编码模块的第二空闲状态信息，使该块编码模块的第二空闲状态信息由工作状态变为空闲状态。

步骤104，帧编码模块检测是否完成对应图像帧的编码，若是，更新第一空闲状态信息。具体地，帧编码模块可根据块的编码状态信息判断对应图像帧是否已完成编码。例如，当图像帧中所有块都为已编码状态，则可判断整个图像帧已完成编码。进而该帧编码模块的第一空闲状态信息可从工作状态变为空闲状态，从而告知主控模块。

当完成整个图像帧的编码后，可输出该图像帧对应的码流。

相应地，如图2所示的本实施例的视频压缩编码器中：

主控模块201用于根据帧编码模块的第一空闲状态信息，将待编码的图像帧按照预定顺序逐个分发至空闲的帧编码模块；

帧编码模块202用于在接收到图像帧后，根据块编码模块的第二空闲状态信息，向空闲的块编码模块发送编码触发信号；并检测是否完成对应图像帧的编码，若是，更新第一空闲状态信息；

块编码模块203用于在接收到编码触发信号后，根据对应图像帧中被划分所得块的编码状态信息，互斥地随机选取具备编码条件但未编码的块进行编码，并在编码完成后更新块的编码状态信息及第二空闲状态信息。

通过实施本实施例，主控模块将待编码的图像帧按照预定顺序逐个分发至空闲的帧编码模块后，帧编码模块中空闲的块编码模块根据对应图像帧中块的编码状态信息，互斥地随机选取具备编码条件但未编码的块进行编码，并在编码完成后更新块的编码状态信息，而当图像帧的编码完成后，更新帧编码模块的空闲状态信息。这样，在主控模块的控制下，多个帧编码模块可同时对图像帧进行并行处理，而在帧编码模块的控制下，多个块编码模块可同时对一个图像帧内的不同块进行并行处理，因此能这样就能真正做到以块为任务分发单位，只要图像中可立即编码的块的数目超过块编码线程数，所有线程就能够被充分利用，大大减少了对下方宏块进行编码的线程出现等待的情况，进而减少了块间同步的次数，降低了并行视频压缩编码通信代价，提高了视频压缩编码性能。

实施例二：

本实施例在实施例一基础上增加了如下内容：

在视频压缩编码方法中，步骤101具体为：

若帧编码模块数量为K，待编码的图像帧数量为N，K与N均为正整数，主控模块将待编码的图像帧按照预定顺序依次标记为1,2,3,…,N，并将帧编码模块按照分配次序依次标记为1,2,3,…,K，当需要对第n个图像帧进行编码，n∈[1,2,3,…,N]，判断n是否大于K，若n≤K，表示至少第n个帧编码模块空闲，此时主控模块只需将第n个图像帧发送至第n个帧编码模块进行处理即可；若n＞K，则根据帧编码模块的第一空闲状态信息，检测第q个帧编码模块是否完成对应第n-K个图像帧的编码，当n不能整除K时，q为n除以K所得余数，当n能整除K时，q为K，检测到第q个帧编码模块完成对应第n-K个图像帧的编码时，则将第n个图像帧发送至第q个帧编码模块进行处理，检测到第q个帧编码模块没有完成对应第n-K个图像帧的编码时，等待第q个帧编码模块完成对应第n-K个图像帧的编码，并在等待结束后，将第n个图像帧发送至第q个帧编码模块进行处理。例如，当K取5，n取60时，表示有5个帧编码模块可以同时处理，那么要对第60个图像帧进行编码时，需检测第5个帧编码模块是否完成对第55个图像帧的编码，若是，则表征第5个帧编码模块空闲，将第60个图像帧发送至第5个帧编码模块进行处理。当K取5，n取59时，表示有5个帧编码模块可以同时处理，那么要对第59个图像帧进行编码时，需检测第4个帧编码模块是否完成对第54个图像帧的编码，若是，则表征第4个帧编码模块空闲，将第59个图像帧发送至第4个帧编码模块进行处理。

相应地，本实施例的视频压缩编码器中主控模块201具体包括如图3所示的结构：

标记模块301，用于若帧编码模块数量为K，待编码的图像帧数量为N，K与N均为正整数，将待编码的图像帧按照预定顺序依次标记为1,2,3,…,N，并将帧编码模块按照分配次序依次标记为1,2,3,…,K；

检测控制模块302，用于当需要对第n个图像帧进行编码，n∈[1,2,3,…,N]，判断n是否大于K，若是，则根据帧编码模块的第一空闲状态信息，检测第q个帧编码模块是否完成对应第n-K个图像帧的编码，当n不能整除K时，q为n除以K所得余数，当n能整除K时，q为K，若是，则将第n个图像帧发送至第q个帧编码模块进行处理。

实施例三：

本实施例在实施例一或实施例二基础上增加了如下内容：

编码状态信息包括用于指示块是否已编码的第一指示信息，以及用于指示块在图像帧中的纵向位置的第二指示信息。

在视频压缩编码方法中，步骤103具体可包括如图4所示的流程：

步骤401，块编码模块接收到编码触发信号后，根据对应图像帧中块的编码状态信息，对具备编码条件但未编码的块参照第二指示信息赋予选择权重值，其中，纵向位置越高的块，选择权重值越大。例如，如图5所示，*标记的块在图像帧中的纵向位置对应纵坐标为3，其可被赋予权重值120，而#标记的块在图像帧中的纵向位置对应纵坐标为4，其可被赋予权重值100。

步骤402，块编码模块按照选择权重值，互斥地随机选择具备编码条件但未编码的块进行编码。具体地，当块被赋予的权重值越大，在随机选择中，被选的几率也越大。

相应地，本实施例的视频压缩编码器中块编码模块203具体包括如图6所示的结构：

编码模块601，用于对块进行编码；

任务选取模块602，用于在接收到编码触发信号后，根据对应图像帧中块的编码状态信息，对具备编码条件但未编码的块参照第二指示信息赋予选择权重值，其中，纵向位置越高的块，选择权重值越大，并当空闲时，按照选择权重值，互斥地随机选择具备编码条件但未编码的块输入到编码模块601进行处理。

实施例四：

在实施例在实施例一至三中任一实施例的基础上增加了如下内容：

在视频压缩编码方法中，步骤103具体可包括如图7所示的流程：

步骤701，块编码模块对块进行帧内编码或帧间编码。

步骤702，当完成对块的帧内编码或帧间编码后，块编码模块更新块的编码状态信息。具体地，在完成对块的编码后，块编码模块将块的编码状态信息从未编码状态变为已编码状态。

步骤703，块的编码状态信息更新完成后，块编码模块判断已完成帧内编码或帧间编码的块所在行是否完成编码，若是，则进行行的重建及熵编码，否则继续互斥地选取具备编码条件但未编码的块进行编码。

步骤704，当行的重建及熵编码完成后，块编码模块更新第二空闲状态信息。具体的，在完成行的重建及熵编码后，将块编码模块从工作状态变为空闲状态，从而可被触发进行下一个块的编码。

相应地，本实施例的视频压缩编码器中块编码模块203具体包括如图8所示的结构：

进度更新模块801，用于在编码模块完成对块的编码后，更新编码状态信息；

判断模块802，用于当进度更新模块处理完成后，判断已完成帧内编码或帧间编码的块所在行是否完成编码；

重建及熵编码模块803，用于在判断模块判断为已完成帧内编码或帧间编码的块所在行完成编码时，进行行的重建及熵编码；

模块状态更新模块804，用于当行的重建及熵编码完成后，更新第二空闲状态信息。

需要进一步说明的有如下几点：

1、上述各实施例可应用于H.264、AVS、MPEG2、MPEG4或HEVC等标准。

2、上述各实施例中，块可以是宏块，也可以是最大编码单元（Largest Coding Unit，LCU）等。

以上内容是结合具体的实施方式对本申请所作的进一步详细说明，不能认定本申请的具体实施只局限于这些说明。对于本申请所属技术领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干简单推演或替换。

Claims (10)

1. 一种视频压缩编码方法，其特征在于，包括：

   主控模块根据帧编码模块的第一空闲状态信息，将待编码的图像帧按照预定顺序逐个分发至空闲的帧编码模块；

   帧编码模块接收到图像帧后，根据块编码模块的第二空闲状态信息，向空闲的块编码模块发送编码触发信号；

   块编码模块接收到编码触发信号后，根据对应图像帧中被划分所得块的编码状态信息，互斥地选取具备编码条件但未编码的块进行编码，并在编码完成后更新块的编码状态信息及第二空闲状态信息；

   帧编码模块检测是否完成对应图像帧的编码，若是，更新第一空闲状态信息。
2. 如权利要求1所述的视频压缩编码方法，其特征在于，主控模块根据帧编码模块的第一空闲状态信息，将待编码的图像帧按照预定顺序逐个分发至空闲的帧编码模块具体为：

   若帧编码模块数量为K，待编码的图像帧数量为N，K与N均为正整数，主控模块将待编码的图像帧按照预定顺序依次标记为1,2,3,…,N，并将帧编码模块按照分配次序依次标记为1,2,3,…,K，当需要对第n个图像帧进行编码，n∈[1,2,3,…,N]，判断n是否大于K，若是，则根据帧编码模块的第一空闲状态信息，检测第q个帧编码模块是否完成对应第n-K个图像帧的编码，当n不能整除K时，q为n除以K所得余数，当n能整除K时，q为K，若是，则将第n个图像帧发送至第q个帧编码模块进行处理。
3. 如权利要求1或2所述的视频压缩编码方法，其特征在于，编码状态信息包括用于指示块是否已编码的第一指示信息，以及用于指示块在图像帧中的纵向位置的第二指示信息，块编码模块接收到编码触发信号后，根据对应图像帧中被划分所得块的编码状态信息，互斥地选取具备编码条件但未编码的块进行编码具体包括：

   块编码模块接收到编码触发信号后，根据对应图像帧中块的编码状态信息，对具备编码条件但未编码的块参照第二指示信息赋予选择权重值，其中，纵向位置越高的块，选择权重值越大；

   块编码模块按照选择权重值，互斥地随机选择具备编码条件但未编码的块进行编码。
4. 如权利要求1至3中任一项所述的视频压缩编码方法，其特征在于，具备编码条件的块是指具备帧间编码条件或帧内编码条件的块。
5. 如权利要求4所述的视频压缩编码方法，其特征在于，块编码模块接收到编码触发信号后，根据对应图像帧中被划分所得块的编码状态信息，互斥地选取具备编码条件但未编码的块进行编码，并在编码完成后更新块的编码状态信息及第二空闲状态信息包括：

   块编码模块对块进行帧内编码或帧间编码；

   当完成对块的帧内编码或帧间编码后，块编码模块更新块的编码状态信息；

   块的编码状态信息更新完成后，块编码模块判断已完成帧内编码或帧间编码的块所在行是否完成编码，若是，则进行行的重建及熵编码；

   当行的重建及熵编码完成后，块编码模块更新第二空闲状态信息。
6. 一种视频压缩编码器，其特征在于，包括主控模块、帧编码模块及块编码模块，其中：

   主控模块，用于根据帧编码模块的第一空闲状态信息，将待编码的图像帧按照预定顺序逐个分发至空闲的帧编码模块；

   帧编码模块，用于在接收到图像帧后，根据块编码模块的第二空闲状态信息，向空闲的块编码模块发送编码触发信号；并检测是否完成对应图像帧的编码，若是，更新第一空闲状态信息；

   块编码模块，用于在接收到编码触发信号后，根据对应图像帧中被划分所得块的编码状态信息，互斥地选取具备编码条件但未编码的块进行编码，并在编码完成后更新块的编码状态信息及第二空闲状态信息。
7. 如权利要求6所述的视频压缩编码器，其特征在于，主控模块包括：

   标记模块，用于若帧编码模块数量为K，待编码的图像帧数量为N，K与N均为正整数，将待编码的图像帧按照预定顺序依次标记为1,2,3,…,N，并将帧编码模块按照分配次序依次标记为1,2,3,…,K；

   检测控制模块，用于当需要对第n个图像帧进行编码，n∈[1,2,3,…,N]，判断n是否大于K，若是，则根据帧编码模块的第一空闲状态信息，检测第q个帧编码模块是否完成对应第n-K个图像帧的编码，当n不能整除K时，q为n除以K所得余数，当n能整除K时，q为K，若是，则将第n个图像帧发送至第q个帧编码模块进行处理。
8. 如权利要求6或7所述的视频压缩编码器，其特征在于，编码状态信息包括用于指示块是否已编码的第一指示信息，以及用于指示块在图像帧中的纵向位置的第二指示信息，块编码模块包括：

   编码模块，用于对块进行编码；

   任务选取模块，用于在接收到编码触发信号后，根据对应图像帧中块的编码状态信息，对具备编码条件但未编码的块参照第二指示信息赋予选择权重值，其中，纵向位置越高的块，选择权重值越大，并当空闲时，按照选择权重值，互斥地随机选择具备编码条件但未编码的块输入到编码模块进行处理。
9. 如权利要求6至8中任一项所述的视频压缩编码器，其特征在于，具备编码条件的块是指具备帧间编码条件或帧内编码条件的块。
10. 如权利要求9所述的视频压缩编码器，其特征在于，块编码模块还包括：

    进度更新模块，用于在编码模块完成对块的编码后，更新编码状态信息；

    判断模块，用于当进度更新模块处理完成后，判断已完成帧内编码或帧间编码的块所在行是否完成编码；

    熵编码模块，用于在判断模块判断为已完成帧内编码或帧间编码的块所在行完成编码时，进行行的重建及熵编码；

    模块状态更新模块，用于当行的重建及熵编码完成后，更新第二空闲状态信息。