CN104980764B - 基于复杂度均衡的并行编解码方法、装置及系统 - Google Patents

Abstract

本发明公开了一种基于复杂度均衡的并行编解码方法、装置及系统，所述方法包括：初始化图像编码划分，依据初始图像编码划分参数对输入的第一视频帧进行编码，并将所述初始图像编码划分参数编入第一输出码流；统计分别依据所述初始图像编码划分参数处理所述第一视频帧的多核处理器的核心的前向复杂度统计参数；依据统计的前向复杂度统计参数、采用复杂度均衡算法动态计算得到当前图像编码划分参数，并依据所述当前图像编码划分参数对输入的第二视频帧进行编码，且将所述当前图像编码划分参数编入第二输出码流。本发明能够降低使用多核处理器的使用频率，减小使用处理器的成本，提高编码器的并行度，从而提高视频编解码的性能。

Description

基于复杂度均衡的并行编解码方法、装置及系统

技术领域

本发明属于视频编解码技术领域，具体而言，涉及一种基于复杂度均衡的并行编解码方法、装置及系统。

背景技术

随着高清视频技术的不断发展以及视频压缩能力的不断提高，视频编解码算法的复杂度也在不断提升，单核处理器已无法满足编解码的计算量需求，在此情势下，处理器多核化则应运而生。

目前，在当前处理器的多核发展趋势下，对视频编码器标准的并行编码的支持也提出了比较高的要求。

传统的高级视频编解码标准包含多种图像编码划分。在主流高级视频编解码标准中，如在H.264等标准中采取片（Slice）对图像进行图像编码划分，或在HEVC（HighEfficiency Video Coding，高效率视频编码）标准中采取WPP（Wavefront ParallelProcessing，波前并行处理）（如图1所示）、Tile（子图像）划分（如图2所示）、或Slice对图像进行图像编码划分。而片（Slice）的划分不是针对于并行编码提出的，在码流结构设计、视频压缩率等方面都不能很好的支持并行视频编码。

随着高级视频编解码标准的发展，最新被提出的HEVC标准与之前的视频编解码标准在支持并行编解码方面有很大的提高，特别是WPP与Tile工具集的提出，使得编码器从码流结构到编码器的算法工具集的支持都有了很大的提升。虽然这些图像编码划分（WPP与Tile）提供了并行的可能，但要最大限度的发展编码器的性能，如何提高算法并行度是我们不得不考虑的途径之一。在计算机体系结构中，算法并行度是指总算法计算在多核架构下能够并行的程度，如算法在单核处理器下的执行时间为D，如果在n个核的处理器下计算时间为d，那这个算法在n核处理器下的并行度则为D/（n*d）。显而易见地，如果算法不支持并行，且只能在单核上运行，无法利用多核的优势，从而算法实时性会受到很大影响。

据标准组织统计，HEVC编解码标准中提供的WPP与Tile算法工具集随着图像编码划分的增多，其处理的算法并行度快速下降，例如在对8个核的处理器中对高清视频序列（分辨率1920x1080）使用Tile与WPP工具集进行编码，对于大部分视频序列进行处理的算法并行度通常不足70%，当然，对于具有更多的图像编码划分，编解码算法的并行度越低。现有视频编码标准解码架构中图像编码区域划分示意如图3所示。

假设某段1080p视频采用HEVC进行编码压缩，通过8核处理器支持1080p的HEVC编码器。如果在视频内容中，其某个区域的运动复杂度比较高，而其他的区域则相对较低，使用HEVC标准中的Tile与WPP算法工具集对图像进行图像编码划分，并划分未8个Tile的编码区域，要完成一帧的编码，则需要等待8个Tile中最耗时的那个Tile编码完成。如果算法并行度太低，势必会影响编码器的实时性，增加使用成本。除此之外，较低的算法并行度还会增加编码器的功耗。

因此，如何发挥处理器的性能，提高编码器的实时性是亟待需要解决的问题。

发明内容

鉴于此，本发明实施例的目的在于提供一种基于复杂度均衡的并行编解码方法、装置及系统。

本发明实施例采用以下技术方案实现：

一种基于复杂度均衡的并行编码方法，包括：

初始化图像编码划分，依据初始图像编码划分参数对输入的第一视频帧进行编码，并将所述初始图像编码划分参数编入第一输出码流；

统计分别依据所述初始图像编码划分参数处理所述第一视频帧的多核处理器的核心的前向复杂度统计参数；

依据统计的前向复杂度统计参数、采用复杂度均衡算法动态计算得到当前图像编码划分参数，并依据所述当前图像编码划分参数对输入的第二视频帧进行编码，且将所述当前图像编码划分参数编入第二输出码流。

优选地，根据多核处理器的核心个数、每个核心的性能参数，以及编码器算法复杂度初始化图像编码划分，得到初始图像编码划分参数。

优选地，将所述当前图像编码划分参数编入第二输出码流的策略为：

根据熵编码代价选择比特代价最小的熵编码方式将所述当前图像编码划分参数编入第二输出码流。

优选地，如果所述当前图像编码划分参数与上次图像编码划分参数一致，则维持采用上次图像编码划分参数对输入的视频帧进行编码，并将上次图像编码划分参数编入相应的输出码流之中。

一种编码装置，包括：

复杂度均衡单元，用于初始化图像编码划分，得到初始图像编码划分参数；进一步用于统计分别依据所述初始图像编码划分参数处理所述第一视频帧的多核处理器的核心的前向复杂度统计参数，并依据统计的前向复杂度统计参数、采用复杂度均衡算法动态计算得到当前图像编码划分参数；

视频图像划分编码单元，用于依据初始图像编码划分参数对输入的第一视频帧进行编码，并将所述初始图像编码划分参数编入第一输出码流；进一步用于依据所述当前图像编码划分参数对输入的第二视频帧进行编码，且将所述当前图像编码划分参数编入第二输出码流。

优选地，复杂度均衡单元根据多核处理器的核心个数、每个核心的性能参数，以及编码器算法复杂度初始化图像编码划分，得到初始图像编码划分参数。

优选地，视频图像划分编码单元根据熵编码代价选择比特代价最小的熵编码方式将所述当前图像编码划分参数编入第二输出码流。

优选地，所述视频图像划分编码单元还用于对所述当前图像编码划分参数与上次图像编码划分参数进行判断，如果所述当前图像编码划分参数与上次图像编码划分参数一致，则维持采用上次图像编码划分参数对输入的视频帧进行编码，并将上次图像编码划分参数编入相应的输出码流之中。

一种基于如上所述的基于复杂度均衡的并行编码方法的解码方法，包括：

获取视频码流，解析出图像编码划分参数；

依据所述图像编码划分参数执行相应重建区域的解码图像重建。

优选地，获取视频码流中与图像编码划分参数对应的码字，熵解码所述码字，并解析出图像编码划分参数。

一种解码装置，包括：

熵解码单元，用于获取视频码流，并解析出图像编码划分参数；

视频图像划分解码单元，用于依据所述图像编码划分参数执行相应重建区域的解码图像重建。

优选地，熵解码单元包括：

获取子单元，用于获取视频码流中与图像编码划分参数对应的码字；

熵解码子单元，用于熵解码所述码字；

参数解析子单元，用于解析出图像编码划分参数。

一种系统，包括编码端以及解码端，其中：

在所述编码端：

初始化图像编码划分，依据初始图像编码划分参数对输入的第一视频帧进行编码，并将所述初始图像编码划分参数编入第一输出码流；统计分别依据所述初始图像编码划分参数处理所述第一视频帧的多核处理器的核心的前向复杂度统计参数；依据统计的前向复杂度统计参数、采用复杂度均衡算法动态计算得到当前图像编码划分参数，并依据所述当前图像编码划分参数对输入的第二视频帧进行编码，且将所述当前图像编码划分参数编入第二输出码流。

在所述解码端：

获取视频码流，解析出图像编码划分参数；依据所述图像编码划分参数执行相应重建区域的解码图像重建。

本发明提供一种在多核处理器的情况下方便于进行复杂度均衡以实现并行编码的视频编解码结构。该结构能够解决基于编码器在多核处理器编码下，由于多个核的编码复杂度不均衡而导致编码器的效率急剧下降、从而不利于编解码器的多核处理器下实现的问题。本发明能够降低使用多核处理器的使用频率，减小使用处理器的成本，提高编码器的并行度，从而提高视频编解码的性能。

附图说明

图1是现有HEVC编码标准中的WPP划分示意图。

图2是现有HEVC编码标准中的Tile划分示意图。

图3是现有高级视频编码标准中的图像编码划分示意图。

图4是现有的高级视频编解码标准中的编码端架构示意图。

图5是本发明实施例提供的编码装置的架构示意图。

图6为本发明实施例提供的基于复杂度均衡的并行编码方法流程示意图。

图7是现有的高级视频编解码标准的解码端架构示意图。

图8是发明实施例提供的解码装置的架构示意图。

图9为本发明实施例提供的一种解码方法流程示意图。

本发明目的的实现、功能特点及优异效果，下面将结合具体实施例以及附图做进一步的说明。

具体实施方式

下面结合附图和具体实施例对本发明所述技术方案作进一步的详细描述，以使本领域的技术人员可以更好的理解本发明并能予以实施，但所举实施例不作为对本发明的限定。

本发明在现有高级视频编解码标准上进行改进，采取对图像编码划分进行动态调整，从而达到均衡多核处理器各个处理核心的负荷、提高编解码算法并行度的目的。

当前高级视频编解码标准中，其视频编码结构如图4所示，编码器对视频帧按照划分的“编码单元”（如H.264中的宏块，HEVC中的LCU（Large Coding Uint）等）进行帧间/帧内预测、运动补偿、量化、变化、熵编码、反量化、反变换、自适应滤波、帧存管理等一系列算法单元进行处理以完成编码，并最终输出视频码流。

本发明实施例提供的编码器的结构如图5所示，主要是加入对编码视频帧进行处理的复杂度均衡单元与视频图像划分编码单元，对每个编码视频帧统计其前面划分区域的复杂度以获得前向复杂度统计参数，根据前面视频帧的前向复杂度统计参数信息，具体地，复杂度均衡单元统计“前面编码视频帧”中不同的划分的图像块在多核处理器各个核中处理时所需的处理器资源信息或处理时长信息等，通过将这些信息输入到复杂度均衡单元以以使其计算并决定当前输入的视频帧是否需要重新划分，如果需要重新划分视频区域，则由复杂度均衡单元计算重新得到划分参数，通过复杂度均衡算法对输入视频帧图像进行重新划分以平衡多核处理器中各个核的处理复杂度，并由视频图像划分编码单元把更新后的划分参数根据熵编码代价判断、采用某种熵编码方式编入输出码流。

具体地，图6为本发明实施例提供的一种基于复杂度均衡的并行编码方法流程示意图，其实现流程包括：

S10、初始化图像编码划分，依据初始图像编码划分参数对输入的第一视频帧进行编码，并将所述初始图像编码划分参数编入第一输出码流；

S11、统计分别依据所述初始图像编码划分参数处理所述第一视频帧的多核处理器的核心的前向复杂度统计参数；

S12、依据统计的前向复杂度统计参数、采用复杂度均衡算法动态计算得到当前图像编码划分参数，并依据所述当前图像编码划分参数对输入的第二视频帧进行编码，且将所述当前图像编码划分参数编入第二输出码流。

注意，此处所述“第一”“第二”仅用于描述目的，而不能被理解为指示或暗示相对重要性，或者隐含指明所指示的技术特征的数量。

在优选实施方式中，在所述步骤S10中，可以根据多核处理器的核心个数、每个核心的性能参数，以及编码器算法复杂度进行初始化图像编码划分，得到初始图像编码划分参数。

在得到初始图像编码划分参数之后，依据所述初始图像编码划分参数对输入的第一视频帧进行视频帧图像区域进行划分，例如，对视频帧图像区域的划分可以参考HEVC编码标准中的WPP或Tile划分，多核处理器的核心对相应的视频帧图像区域进行处理，输出编入了所述初始图像编码划分参数的第一输出码流以提供给解码端。

在优选实施方式中，在所述步骤S11中，所述前向复杂度统计参数为依据所述初始图像编码划分参数或当前图像编码划分参数在多核处理器的核心对输入视频帧相应的不同的划分图像块进行处理时所需的处理资源信息或处理时长信息。

在优选实施方式中，在所述步骤S12中，将所述当前图像编码划分参数编入第二输出码流的策略为：

根据熵编码代价选择比特代价最小的熵编码方式将所述当前图像编码划分参数编入第二输出码流。

应当理解，本发明实施例中所述的复杂度均衡算法为本技术领域的人员所公知，其为现有技术，本文对此不作细述。

在动态计算得到当前图像编码划分参数之后，在具体实施时，通常采取将所述当前图像编码划分参数与上次图像编码划分参数进行比较，若两者不一致，则依据所述当前图像编码划分参数对输入的第二视频帧进行视频帧图像区域进行划分，多核处理器的核心则对相应的视频帧图像区域进行处理，并输出编入了所述当前图像编码划分参数的第二输出码流以提供给解码端。

如果所述当前图像编码划分参数与上次图像编码划分参数一致，则维持采用上次图像编码划分参数对输入的视频帧进行编码，并将所述上次图像编码划分参数编入相应的第二输出码流之中。

例如，在当前HEVC高级视频编解码标准中，可以对视频图像进行Tile划分。假设视频序列为1080p（1920x1080），选用8个核心的多核处理器，视频图像划分为8个Tile。

采纳本发明，改进的HEVC高级视频编解码标准的编码端在进行并行编码时其具体处理过程如下：

步骤一：根据多核处理器的核数，以及性能等参数，按照HEVC协议标准对图像划分为8个Tile，初始划分尽量保证8个Tile的划分区域均等，多核处理器的每个核心均运行一个Tile编码，并依据初始Tile划分参数进行处理，输出码流，并将初始Tile划分参数编入码流。

步骤二：每个核心均统计当前Tile划分在当前核心中完成编码时所占用的处理器资源。

步骤三：通过复杂度均衡算法对图像重新进行区域划分，产生新的Tile划分参数。

步骤四：判断所述产生的Tile划分参数与上次编入码流的Tile划分参数是否一致，如果不一致，更新Tile划分参数，根据其熵编码代价判断，选择比特代价最小的方式的熵编码方式将所述更新后的Tile划分参数编入视频码流中。

继续参考图5所示，本发明实施例提供的一种编码装置，包括：

复杂度均衡单元，用于初始化图像编码划分，得到初始图像编码划分参数；进一步用于统计分别依据所述初始图像编码划分参数处理所述第一视频帧的多核处理器的核心的前向复杂度统计参数，并依据统计的前向复杂度统计参数、采用复杂度均衡算法动态计算得到当前图像编码划分参数；

视频图像划分编码单元，用于依据初始图像编码划分参数对输入的第一视频帧进行编码，并将所述初始图像编码划分参数编入第一输出码流；进一步用于依据所述当前图像编码划分参数对输入的第二视频帧进行编码，且将所述当前图像编码划分参数编入第二输出码流。

优选实施方式中，复杂度均衡单元根据多核处理器的核心个数、每个核心的性能参数，以及编码器算法复杂度初始化图像编码划分，得到初始图像编码划分参数。

优选实施方式中，视频图像划分编码单元根据熵编码代价选择比特代价最小的熵编码方式将所述当前图像编码划分参数编入第二输出码流。

在具体实施时，所述视频图像划分编码单元还用于对所述当前图像编码划分参数与上次图像编码划分参数进行判断，如果所述当前图像编码划分参数与上次图像编码划分参数一致，则维持采用上次图像编码划分参数对输入的视频帧进行编码，并将上次图像编码划分参数编入相应的输出码流之中。

现有的高级视频编解码标准的解码端架构如图7所示，其对高级视频编解码标准的编码的输出码流按照编解码协议对视频图像中划分的“编码单元”的码流进行解码，当当前图像所有的“编码单元”都解析完毕后，输出当前视频帧。

其中，其视频解码是按照高级视频编解码标准进行的，参考图7所示，主要包括熵解码、帧内预测、帧间预测、运动补偿、反变换、反量化、自适应滤波、参考图像缓存管理等算法单元。

本发明提供的解码器架构示意图如图8所示。当解码器接受到编码器所产生的码流时，解析图像划分系数，完成图像的各个划分区域的重建，输出完整图像。

具体地，如图9所示，本发明实施例提供的基于如上所述的基于复杂度均衡的并行编码方法的解码方法，包括如下步骤：

S20、获取视频码流，解析出图像编码划分参数；

S21、依据所述图像编码划分参数执行相应重建区域的解码图像重建。

具体实施时，在所述步骤S20中，在获取视频码流之后，获取视频码流中与图像编码划分参数对应的码字，熵解码所述码字，并解析出图像编码划分参数。

例如，采用本发明，HEVC高级视频编解码标准解码端实施视频码流解码的处理过程如下：

步骤一：在获取视频码流之后，如果发现HEVC视频码流中具有编码端编入的图像划分参数，解析图像划分参数，更新Tile划分。

步骤二：依据所述图像编码划分参数执行相应重建区域的解码图像重建，如果在步骤一中没有发现Tile图像划分参数，则按照之前解析的Tile图像划分参数进行解码图像的重建。其余解码部分按照现有的HEVC标准进行处理。

相应地，继续参考图8所示，本发明实施例提供的一种解码装置，包括：

熵解码单元，用于获取视频码流，并解析出图像编码划分参数；

视频图像划分解码单元，用于依据所述图像编码划分参数执行相应重建区域的解码图像重建。

本实施例中，熵解码单元包括：

获取子单元，用于获取视频码流中与图像编码划分参数对应的码字；

熵解码子单元，用于熵解码所述码字；

参数解析子单元，用于解析出图像编码划分参数。

本发明实施例还相应地提供了一种系统，所述系统为包括编码端以及解码端的通信系统，例如可为用于传输视频监控数据的视频监控系统，其中：

在所述编码端：

初始化图像编码划分，依据初始图像编码划分参数对输入的第一视频帧进行编码，并将所述初始图像编码划分参数编入第一输出码流；统计分别依据所述初始图像编码划分参数处理所述第一视频帧的多核处理器的核心的前向复杂度统计参数；依据统计的前向复杂度统计参数、采用复杂度均衡算法动态计算得到当前图像编码划分参数，并依据所述当前图像编码划分参数对输入的第二视频帧进行编码，且将所述当前图像编码划分参数编入第二输出码流。

在所述解码端：

获取视频码流，解析出图像编码划分参数；依据所述图像编码划分参数执行相应重建区域的解码图像重建。

对于所述编码端以及解码端的具体描述可参考上述实施例记载内容，此处不再赘述。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (13)

1.一种基于复杂度均衡的并行编码方法，其特征在于，包括：

初始化图像编码划分，依据初始图像编码划分参数对输入的第一视频帧进行编码，并将所述初始图像编码划分参数编入第一输出码流；

统计分别依据所述初始图像编码划分参数处理所述第一视频帧的多核处理器的核心的前向复杂度统计参数；

依据统计的前向复杂度统计参数、采用复杂度均衡算法动态计算得到当前图像编码划分参数，并依据所述当前图像编码划分参数对输入的第二视频帧进行编码，且将所述当前图像编码划分参数编入第二输出码流。

2.如权利要求1所述的基于复杂度均衡的并行编码方法，其特征在于，根据多核处理器的核心个数、每个核心的性能参数，以及编码器算法复杂度初始化图像编码划分，得到初始图像编码划分参数。

3.如权利要求1所述的基于复杂度均衡的并行编码方法，其特征在于，将所述当前图像编码划分参数编入第二输出码流的策略为：

根据熵编码代价选择比特代价最小的熵编码方式将所述当前图像编码划分参数编入第二输出码流。

4.如权利要求1所述的基于复杂度均衡的并行编码方法，其特征在于，如果所述当前图像编码划分参数与上次图像编码划分参数一致，则维持采用上次图像编码划分参数对输入的视频帧进行编码，并将上次图像编码划分参数编入相应的输出码流之中。

5.一种编码装置，其特征在于，包括：

复杂度均衡单元，用于初始化图像编码划分，得到初始图像编码划分参数；进一步用于统计分别依据所述初始图像编码划分参数处理的第一视频帧的多核处理器的核心的前向复杂度统计参数，并依据统计的前向复杂度统计参数、采用复杂度均衡算法动态计算得到当前图像编码划分参数；

视频图像划分编码单元，用于依据初始图像编码划分参数对输入的第一视频帧进行编码，并将所述初始图像编码划分参数编入第一输出码流；进一步用于依据所述当前图像编码划分参数对输入的第二视频帧进行编码，且将所述当前图像编码划分参数编入第二输出码流。

6.如权利要求5所述的编码装置，其特征在于，复杂度均衡单元根据多核处理器的核心个数、每个核心的性能参数，以及编码器算法复杂度初始化图像编码划分，得到初始图像编码划分参数。

7.如权利要求5所述的编码装置，其特征在于，视频图像划分编码单元根据熵编码代价选择比特代价最小的熵编码方式将所述当前图像编码划分参数编入第二输出码流。

8.如权利要求5所述的编码装置，其特征在于，所述视频图像划分编码单元还用于对所述当前图像编码划分参数与上次图像编码划分参数进行判断，如果所述当前图像编码划分参数与上次图像编码划分参数一致，则维持采用上次图像编码划分参数对输入的视频帧进行编码，并将上次图像编码划分参数编入相应的输出码流之中。

9.一种基于如权利要求1所述的基于复杂度均衡的并行编码方法的解码方法，其特征在于，包括：

获取视频码流，解析出图像编码划分参数；

依据所述图像编码划分参数执行相应重建区域的解码图像重建。

10.如权利要求9所述的解码方法，其特征在于，获取视频码流中与图像编码划分参数对应的码字，熵解码所述码字，并解析出图像编码划分参数。

11.一种基于如权利要求1所述的基于复杂度均衡的并行编码方法的解码装置，其特征在于，包括：

熵解码单元，用于获取视频码流，并解析出图像编码划分参数；

视频图像划分解码单元，用于依据所述图像编码划分参数执行相应重建区域的解码图像重建。

12.如权利要求11所述的解码装置，其特征在于，熵解码单元包括：

获取子单元，用于获取视频码流中与图像编码划分参数对应的码字；

熵解码子单元，用于熵解码所述码字；

参数解析子单元，用于解析出图像编码划分参数。

13.一种基于如权利要求1所述的基于复杂度均衡的并行编码方法的系统，包括编码端以及解码端，其特征在于：

在所述编码端：

初始化图像编码划分，依据初始图像编码划分参数对输入的第一视频帧进行编码，并将所述初始图像编码划分参数编入第一输出码流；统计分别依据所述初始图像编码划分参数处理所述第一视频帧的多核处理器的核心的前向复杂度统计参数；依据统计的前向复杂度统计参数、采用复杂度均衡算法动态计算得到当前图像编码划分参数，并依据所述当前图像编码划分参数对输入的第二视频帧进行编码，且将所述当前图像编码划分参数编入第二输出码流；

在所述解码端：

获取视频码流，解析出图像编码划分参数；依据所述图像编码划分参数执行相应重建区域的解码图像重建。