CN101656885B

CN101656885B - 多核处理器中并行解码的方法和装置

Info

Publication number: CN101656885B
Application number: CN 200910169058
Authority: CN
Inventors: 张良平; 陈军; 佟鑫; 刘军莉; 管辉
Original assignee: ZTE Corp
Current assignee: ZTE Corp
Priority date: 2009-09-17
Filing date: 2009-09-17
Publication date: 2011-12-07
Anticipated expiration: 2029-09-17
Also published as: CN101656885A

Abstract

本发明公开了一种在多核处理器中并行解码的方法和装置，属于通信领域。该方法包括：多核处理器的第一核接收slice码流，所述slice包括m行宏块，其中，m为大于2的自然数；对该slice进行熵解码，得到宏块信息，所述宏块信息包括：宏块模式、运动矢量和残差宏块；多核处理器的第2到第j核根据所述宏块信息对所述m行宏块进行帧间模式解码；在完成所述帧间模式解码后，根据所述宏块信息进行帧内模式解码；当已经解码的宏块数等于当前所述slice的宏块数时，得到经解码处理的slice；对所述slice进行环路滤波处理，得到经环路滤波处理的slice。本发明的技术方案可以保持负载均衡，有利于提高资源利用率。

Description

多核处理器中并行解码的方法和装置

技术领域

本发明涉及通信领域，特别涉及一种在多核处理器中并行解码的方法和装置。

背景技术

H.264协议是一种高复杂度的视频算法协议，其高质量的图像效果是以加大运算复杂度来换取的，数字信号处理器(Digital Signal Processing，DSP)芯片的计算能力与要求越来越高的图像效果之间产生了激烈矛盾。目前，视频应用已经进入了高清时代，以视频会议为例，当前720P已经是标准配置，1080160\1080P30也在大力推广中，以后还有1080P60，从而实现全高清。这些高清标准的数据处理量是惊人的，以市场上DSP芯片单核处理能力来说，没有哪款芯片能独立完成1080P25的解码，对于1080P30/60就更是望尘莫及。虽然，芯片厂商不断提高芯片处理能力，但其速度远远跟不上市场的步伐。而芯片处理能力提高带来的功耗、成本的急剧上升也是对产业的严重打击。

为了解决这个问题，多核芯片是最好的办法，多核通过共享资源的方式可以在功耗、成本增加不大的情况下极大提升效率。而对于软件来说，如何协调好这些处理器内核，使之有序高效独立工作是个难题。

多核芯片由于采用了多处理核之间共享内存、总线、缓存、增强型直接内存存取(EDMA，Enhanced Direct Memory Access)等资源，所以其单核平均成本、功耗等要比单核芯片低。由于单核芯片对于这些资源是独占的，利用这些资源不存在竞争关系，所以软件无需考虑临界资源问题。但对于多核芯片，核与核之间的同步、临界资源访问，是必须考虑的，如果核间交互过于频繁，对于整体性能来说，是个很大的打击。另外，多负载均衡问题也是需要充分考虑的，要避免大部分工作分配到一个核处理，这实际上没有充分发挥多核的优势。

具体到H.264解码来说，解码一帧的具体过程如图1所示：其中熵解码可以用单独一个核完成，熵解码由于上下文相关，其处理必须串行，所以熵解码要用多核并行处理比较困难。熵解码必须由一个核单独完成，可以并行处理的部分主要是运动补偿和帧间预测部分，这两部分是解码器的重要部分，如何将这两部分工作平均分配到不同处理器内核上，最大程度上减少核间数据依赖，不是件容易的事。如果核间通讯频繁，造成额外开销太大，对于处理器资源来说是个严峻的考验，因而，要尽可能让各个核独立工作，相互间不关心或少关心其它核的运行状态。只有这样才能真正达到并行处理的目的，充分发挥多核的优势，如果，核间频繁倒换数据，频繁通讯同步，这样使得多核之间互相制掣，不停等待其它核的消息，这样实际上并不能充分发挥多核的优势，会使得单核的平均性能大大降低，使单位成本上升。

关于多核解码方案，目前有一种比较简单易行的方案是按片(slice)级分配，即每个核独立解一个slice，为了提高网路健壮性，根据视频算法协议H.264将视频分割成一个个子图像独立编码，这些子图像即为slice，每个slice可以被独立解码，不需要依赖其它slice的数据。这种分配方法，在多核芯片上能获得极高的并行度，因为每个核都可以独立运行，不需要相互关心对方的运行状态。但这个方案的不足之处在于，有些图像编码是整帧为一个slice，也即图像只分成了一个子图像，而不是分成若干个子图像。这种情况下，采用slice级分配方法，多核芯片退化成了单核芯片，这是很难被接受的。另外，slice的数据量大小不同，差异性也较大，造成slice级分配容易导致各个处理核负载不均衡，从而导致处理资源浪费的问题。

发明内容

本发明实施例要解决的问题是提供一种在多核处理器中并行解码的方法和装置，以解决现有技术中多核进行并行解码时多核之间负载不均衡所导致的资源浪费的问题。

为了解决上述问题，本发明实施例提供了一种在多核处理器中并行解码的方法和装置，具体技术方案如下：

一种在多核处理器中并行解码的方法，所述多核处理器的核个数为N个，其中，N为大于2的自然数，所述方法包括：

所述多核处理器的第一核接收slice码流，所述slice包括m行宏块，其中，m为大于2的自然数；对当前所述slice进行熵解码，得到宏块信息，所述宏块信息包括：宏块模式、运动矢量和残差宏块；

所述多核处理器的第2到第j核根据所述宏块信息对所述m行宏块进行帧间模式解码，并在进行所述帧间模式解码过程中，根据第一可独立解码的帧内宏块的判断条件，获取并保存第一可独立解码的帧内宏块，其中，1＜j＜＝N；

在完成所述帧间模式解码后，根据所述宏块信息对所述保存的第一可独立解码的帧内宏块进行帧内模式解码，并在进行所述帧内模式解码过程中，根据第二可独立解码的宏块的判断条件，获取并保存所述第二可独立解码的帧内宏块；

根据所述宏块信息对所述保存的第二可独立解码的帧内宏块进行所述帧内模式解码；

当已经解码的宏块数等于当前所述slice的宏块数时，得到经解码处理的slice；

对所述slice进行环路滤波处理，得到经环路滤波处理的slice。

一种多核处理器，包括：

N个处理内核、获取模块和环路滤波模块，其中，N为大于2的自然数；

所述多核处理器的第一核，用于接收slice码流，所述slice包括m行宏块，其中，m为大于2的自然数；对当前所述slice进行熵解码，得到宏块信息，所述宏块信息包括：宏块模式、运动矢量和残差宏块；

所述多核处理器的第2到第j核，用于根据所述宏块信息对所述m行宏块进行帧间模式解码，并在进行所述帧间模式解码过程中，根据第一可独立解码的帧内宏块的判断条件，获取并保存第一可独立解码的帧内宏块，其中，1＜j＜＝N；

所述获取模块，用于当已经解码的宏块数等于当前所述slice的宏块数时，得到经解码处理的slice；

所述环路滤波模块，用于对所述slice进行环路滤波处理，得到经环路滤波处理的slice。

在本发明实施例中，通过多核处理器的第一核对接收的码流进行熵解码，得到宏块信息；多核处理器的第2到第j核根据宏块信息进行帧间模式解码，获取并保存可独立解码的帧内宏块；多核处理器的第2到第j核进行帧内模式解码，当已经解码的宏块数等于当前slice的宏块数时，得到经解码处理的slice；对slice进行环路滤波处理，得到经环路滤波处理的slice，可以使多核处理器中各核独立处理数据，并保持负载均衡，有利于提高资源利用率。

附图说明

图1是现有技术提供的H.264解码的示意图；

图2是本发明实施例提供的多核并行解码的方法的流程图；

图3是本发明实施例提供的多核处理器的第2到第j核进行帧间模式解码的示意图；

图4是本发明实施例提供的读写公共表的示意图；

图5是本发明实施例提供的查看的相邻宏块的示意图；

图6是本发明实施例提供的多核处理器的示意图。

具体实施方式

本发明的核心思想在于：通过多核处理器的第一核对接收的码流进行熵解码，得到宏块信息；多核处理器的第2到第j核根据宏块信息进行帧间模式解码，获取并保存可独立解码的帧内宏块；多核处理器的第2到第j核进行帧内模式解码，当已经解码的宏块数等于当前slice的宏块数时，得到经解码处理的slice；对slice进行环路滤波处理，得到经环路滤波处理的slice，可以是多核处理器中各核独立处理数据，并保持负载均衡，有利于提高资源利用率。

下面结合附图及优选实施方式对本发明技术方案进行详细说明。

本发明实施例提供了一种在多核处理器中并行解码的方法，该多核处理器的核个数为N个，其中，N为大于2的自然数，如图2所示，该方法包括：

201；多核处理器的第一核接收slice码流，该slice包括m行宏块，其中，m为大于2的自然数；对当前slice进行熵解码，得到宏块信息，该宏块信息包括：宏块模式、运动矢量和残差宏块；

202，多核处理器的第2到第j核根据宏块信息对m行宏块进行帧间模式解码，并在进行帧间模式解码过程中，根据第一可独立解码的帧内宏块的判断条件，获取并保存第一可独立解码的帧内宏块，其中，1＜j＜＝N；

具体地，如图3所示，多核处理器的第2到第j核根据宏块信息对m/(N-1)×(j-2)～m/(N-1)×(j-1)-1行的宏块中的帧间宏块进行帧间模式解码，具体地，多核处理器的第2到第j核根据运动矢量和宏块模式得到预测宏块，根据预测宏块和残差宏块得到重建图像。

在帧间模式解码过程中，每解码一个帧间宏块需要根据第一可独立解码的帧内宏块的判断条件，判断右相邻宏块的相邻宏块是否为可独立解码的帧内模式宏块，如果是，将可以独立解码的帧内模式宏块的地址存放在公共表中的末尾。公共表是临界资源，需要互斥访问。其中，需要查看的右相邻宏块的相邻宏块为左相邻宏决、上相邻宏块、上左相邻宏块、上右相邻宏块，第一可独立解码的帧内宏块的判断条件为右相邻宏块的左相邻宏块、上相邻宏块、上左相邻宏块、上右相邻宏块均为帧间模式。其中，m行宏块中第1行宏块所有帧内模式宏块全部为可以独立解码的帧内宏块。其中，黑色标注部分为可独立解码的帧内宏块

203，在完成帧间模式解码后，根据宏块信息对保存的第一可独立解码的帧内宏块进行帧内模式解码，并在进行帧内模式解码过程中，根据第二可独立解码的帧内宏块的判断条件，获取并保存第二可独立解码的帧内宏块；根据宏块信息对保存第二可独立解码的帧内宏块进行帧内模式解码；

在进行帧内模式解码时，第2到第j核在独立完成帧间模式宏块解码后，从公共表中获取可以解码的帧内模式宏块的地址，对公共表进行互斥访问，而且维持读写指针，每次将1个宏块地址写入公共表中时，写指针增加1个单位，每次从公共表中读取一个宏块地址，读指针增加1个单位。当读写指针相同，表明公共表为空，这时，进来读取宏块地址的内核需要释放临界资源，等待公共表不为空，公共表读写如图4所示。

在帧内模式解码时，需要更新公共表。当解完一个帧内宏块时，需要根据第二可独立解码的帧内宏块的判断条件查看其相邻宏块是否可以独立解码，如果能独立解码，则将其宏块地址写入公共表中。其中，需要查看的相邻宏块是右相邻宏块、下相邻宏块、下左相邻宏块、下右相邻宏块，如图5所示。该相连宏块可以独立解码的条件是：该相邻宏块的左相邻宏块、上相邻宏块、上左相邻宏块、上右相邻宏块已经执行解码。

204，当已经解码的宏块等于当前slice的宏块数时，得到经解码处理的slice；

205，对slice进行环路滤波处理，得到经环路滤波处理的slice。

基于与方法相同的发明构思，本发明实施例提供了一种多核处理器，如图6所示，包括：N个处理内核、获取模块和环路滤波模块，其中，N为大于2的自然数；

该多核处理器的第一核，用于接收slice码流，该slice包括m行宏块，其中，m为大于2的自然数；对当前该slice进行熵解码，得到宏块信息，该宏块信息包括：宏块模式、运动矢量和残差宏块；

该多核处理器的第2到第j核，用于根据该宏块信息对该m行宏块进行帧间模式解码，并在进行该帧间模式解码过程中，根据第一可独立解码的帧内宏块的判断条件，获取并保存第一可独立解码的帧内宏块，其中，1＜j＜＝N；

在完成该帧间模式解码后，根据该宏块信息对该保存的第一可独立解码的帧内宏块进行帧内模式解码，并在进行该帧内模式解码过程中，根据第二可独立解码的宏块的判断条件，获取并保存该第二可独立解码的帧内宏块；

根据宏块信息对保存第二可独立解码的帧内宏块进行帧内模式解码；

获取模块，用于当已经解码的宏块数等于当前该slice的宏块数时，得到经解码处理的slice；

环路滤波模块，用于对该slice进行环路滤波处理，得到经环路滤波处理的slice。

进一步，多核处理器的第2到第j核根据第一可独立解码的帧内宏块的判断条件，获取并保存第一可独立解码的帧内宏块，包括：

多核处理器的第2到第j核，用于判断当前解码的帧间宏块的右相邻宏块的左相邻宏块、上相邻宏块、上左相邻宏块、上右相邻宏块是否均为帧间宏块；

如果是，则获取并保存该右相邻宏块，该右相邻宏块作为第一可独立解码的帧内宏块。

进一步地，多核处理器的第2到第j核根据第二可独立解码的宏块的判断条件，获取并保存该第二可独立解码的宏块，包括：

多核处理器的第2到第j核，用于判断当前解码的帧内宏块的相邻宏块的左相邻宏块、上相邻宏块、上左相邻宏块、上右相邻宏块是否已经执行解码；如果是，则将该当前解码的帧内宏块的相邻宏块作为该第二可独立解码的帧内宏块，该当前解码的帧内宏块的相邻宏块为右相邻宏块、下相邻宏块、下左相邻宏块和下右相邻宏块。

进一步地，多核处理器的第2到第j核根据该宏块信息对该m行宏块进行帧间模式解码，包括：

多核处理器的第2到第j核，用于根据该宏块信息对m/(N-1)×(j-2)～m/(N-1)×(j-1)-1行的宏块中的帧间宏块进行帧间模式解码。

在本发明实施例中，通过多核处理器的第一核对接收的slice码流进行熵解码，得到宏块信息；多核处理器的第2到第j核根据宏决信息进行帧间模式解码，获取并保存可独立解码的帧内宏块；多核处理器的第2到第j核进行帧内模式解码，当已经解码的宏块数等于当前slice的宏块数时，得到经解码处理的slice；对slice进行环路滤波处理，得到经环路滤波处理的slice，可以使多核处理器中各核独立处理数据，并保持负载均衡，有利于提高资源利用率。

上述说明示出并描述了本发明的一个优选实施例，但如前所述，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权力要求的保护范围内。

Claims

1.一种在多核处理器中并行解码的方法，其特征在于，所述多核处理器的核个数为N个，其中，N为大于2的自然数，所述方法包括：

所述多核处理器的第2到第i核根据所述宏块信息对所述m行宏块进行帧间模式解码，并在进行所述帧间模式解码过程中，根据第一可独立解码的帧内宏决的判断条件，获取并保存第一可独立解码的帧内宏块，其中，1＜j＜＝N；

对所述slice进行环路滤波处理，得到经环路滤波处理的slice。

2.如权利要求1所述的方法，其特征在于，根据第一可独立解码的帧内宏块的判断条件，获取并保存第一可独立解码的帧内宏块，包括：

判断当前解码的帧间宏块，以及所述当前解码的帧间宏块的右相邻宏块的上相邻宏块、上左相邻宏块和上右相邻宏块是否均为帧间宏决；

如果是，则获取并保存所述右相邻宏块，所述右相邻宏块作为第一可独立解码的帧内宏块。

3.如权利要求1所述的方法，其特征在于，根据第二可独立解码的帧内宏块的判断条件，获取并保存所述第二可独立解码的帧内宏块，包括：

判断当前解码的帧内宏块的相邻宏块的左相邻宏块、上相邻宏块、上左相邻宏块、上右相邻宏块是否已经执行解码；如果是，则将所述当前解码的帧内宏块的相邻宏块作为所述第二可独立解码的帧内宏块，所述当前解码的帧内宏块的相邻宏块为右相邻宏块、下相邻宏块、下左相邻宏块和下右相邻宏块。

4.如权利要求1-3任意一项权利要求所述的方法，其特征在于，所述多核处理器的第2到第j核根据所述宏块信息对所述m行宏块进行帧间模式解码，包括：

多核处理器的第2到第j核根据所述宏块信息对m/(N-1)×(j-2)～m/(N-1)×(j-1)-1行的宏块中的帧间宏块进行帧间模式解码。

5.一种多核处理器，其特征在于，包括：

6.如权利要求5所述的多核处理器，其特征在于，所述多核处理器的第2到第j核根据第一可独立解码的帧内宏块的判断条件，获取并保存第一可独立解码的帧内宏块，包括：

所述多核处理器的第2到第j核，用于判断当前解码的帧间宏块，以及所述当前解码的帧间宏块的右相邻宏块的上相邻宏块、上左相邻宏块和上右相邻宏块是否均为帧间宏块；如果是，则获取并保存所述右相邻宏块，所述右相邻宏块作为第一可独立解码的帧内宏块。

7.如权利要求5所述的多核处理器，其特征在于，所述多核处理器的第2到第j核根据第二可独立解码的宏块的判断条件，获取并保存所述第二可独立解码的帧内宏块，包括：

所述多核处理器的第2到第j核，用于判断当前解码的帧内宏块的相邻宏块的左相邻宏块、上相邻宏块、上左相邻宏块、上右相邻宏块是否已经执行解码；如果是，则将所述当前解码的帧内宏块的相邻宏块作为所述第二可独立解码的帧内宏块，所述当前解码的帧内宏块的相邻宏块为右相邻宏块、下相邻宏块、下左相邻宏块和下右相邻宏块。

8.如权利要求5-7任意一项权利要求所述的多核处理器，其特征在于，

所述多核处理器的第2到第j核根据所述宏块信息对所述m行宏块进行帧间模式解码，包括：

多核处理器的第2到第j核，用于根据所述宏块信息对m/(N-1)×(j-2)～m/(N-1)×(j-1)-1行的宏块中的帧间宏块进行帧间模式解码。