CN1306819C

CN1306819C - 一种视频解码控制方法及装置

Info

Publication number: CN1306819C
Application number: CNB2004100702072A
Authority: CN
Inventors: 解晓东; 吴迪; 贾惠柱; 生滨; 郑俊浩; 张鹏; 邓磊; 张力; 张帧睿; 王忠立; 高文
Original assignee: National Source Coding Center Digital Audio And Video Frequency Technology (beijing) Co Ltd
Current assignee: Spreadtrum Communications Shanghai Co Ltd
Priority date: 2004-07-30
Filing date: 2004-07-30
Publication date: 2007-03-21
Anticipated expiration: 2024-07-30
Also published as: CN1589014A

Abstract

一种视频解码控制方法，包括：根据初始化控制信息进行初始化；搜索获取待解码视频码流的头类型；解析头信息，获得必要的控制参数并发送；对于图像头信息，计算获取解码图像将存储的地址、将使用的参考图像的地址、将显示的解码图像的地址；解析图像中的所有宏块头信息，获得必要的控制参数。通过本发明控制各视频解码模块，可以实现视频解码的码流解析控制、初始化控制、缓冲区控制、差错控制、复位控制、同步控制、随机访问/切入控制等功能，并能精确控制视频解码速度以及各视频解码模块之间的高效的流水作业；既降低了视频解码器硬件逻辑的复杂度，又提高了视频解码器的扩展性。本发明还提供了对应的视频解码控制装置。

Description

一种视频解码控制方法及装置

技术领域

本发明涉及数字图像解码技术，具体地说，涉及一种视频解码控制方法及装置。

背景技术

现有的视频编解码技术几乎都采用混合编码/解码的方式，如MPEG-1、MPEG-2、MPEG-4、H.26x及中国正在推出的AVS标准。典型的解码结构如图1所示，该结构采用了时间及空间的运动预测补偿、反变换、反量化和熵解码。在待解码的视频码流中包含有下述三种编码图像：

帧内编码图像(I图像/I帧)：仅使用图像本身信息进行编码，在解码时不参照其他图像；

前向预测编码图像(P图像/P帧)：P图像是向前预测一个或多个I图像或者P图像，因此若前面的某个参考I图像或者P图像不存在，则该P图像不能解码；

双向预测编码图像(B图像/B帧)：可以同时向前和向后预测一帧或多帧已解码I图像或者P图像；因此在解码B图像时，需要先解码获得在显示顺序上位于其后的I图像或者P图像数据，这样会导致解码顺序与显示顺序的不一致。

编码后的视频码流均采用层次结构，即由外到内一层包一层进行组织，分别是序列层、图像组层、图像层、组块层、宏块层和块层，具体的包含关系是一个序列包含多个图像组，每个图像组包含多个图像，每个图像包含多个宏块，每个宏块包含多个块，每个块包含真正的编码图像数据；而组块层是用于错误恢复的。在每一层的开始都用一个唯一的码字来标识该层，紧接其后的是对其他各层均不变的信息编码，码字和信息编码都被称为头信息。例如，在序列头中包含的图像宽高对于其他各层都是一样的，即在一个序列中是不会变的，而其中的编码图像模式对于每个图像则是不同的，因此需要在图像层进行编码。序列层是开始解码一个序列时必须经过的层次，因此在电视广播或者流媒体播放中的随机切入需要从一个序列头开始；图像组层规定了该图像组中的图像在编解码时不能预测其他组的图像信息，即图像组是作为一个独立编码单元进行处理，这是为了方便图像的随机访问；图像层包含一帧图像的编码信息，具有不同的编码模式。

在现有技术中，上述信息的解码在芯片中是使用硬件加速器来实现的，这样不仅使整个芯片的逻辑变得十分复杂，而且缺少灵活性。由于视频技术应用在不同应用领域中，发生变化的一般是视频编码的过程，而解码的核心算法不会发生变化，因此可单独将视频解码的控制抽离出来，通过软件实现。

发明内容

本发明所要解决的技术问题在于提出一种视频解码控制方法及装置，可控制完成视频解码的所有控制任务，并可以以嵌入式CPU的方式置于视频解码器中。

本发明所述视频解码控制方法，包括：根据初始化控制信息进行初始化；搜索获取待解码视频码流的头类型；解析头信息，获得必要的控制参数并发送；对于图像头信息，计算获取解码图像将存储的地址、将使用的参考图像的地址、将显示的解码图像的地址；解析图像中的所有宏块头信息，获得必要的控制参数。

本发明所述方法中，在解析头信息步骤之前，还包括接收并分析非码流中的控制信息的步骤。

本发明所述视频解码控制装置，包括：初始化控制模块、主控模块、错误处理模块、缓冲区管理模块和命令控制模块；

其中所述初始化控制模块用于接收初始化控制信息，对所述主控模块进行初始化，并通过所述命令控制模块对各视频解码模块进行初始化；

所述主控模块用于控制视频码流的解析，并将解析得到的控制信息通过所述命令控制模块发给相关的视频解码模块；

所述错误处理模块用于接收所述主控模块发出的错误报告，并通知所述主控模块进行调整；

所述缓冲区管理模块用于计算解码图像将存储的缓冲区地址、将使用的参考图像的缓冲区地址和将显示的解码图像的缓冲区地址，通过所述命令控制模块发送给相关的视频解码模块；

所述命令控制模块是所述视频解码控制装置与各视频解码模块的接口，用于将所述视频解码控制装置中其他模块发来的信息发送给相关的视频解码模块。

本发明所述视频解码控制装置，还包括：复位控制模块，用于接收复位信号，对所述主控模块进行复位，并通过所述命令控制模块向各视频解码模块发送复位信号。

本发明所述视频解码控制装置，还包括：同步控制模块，用于接收同步信号，通过所述主控模块和所述命令控制模块控制视频解码显示速度与音频播放速度的同步。

本发明所述视频解码控制装置，还包括：随机访问/切入模块，用于根据随机访问控制信号或随机切入信号通过所述主控模块实现视频码流的随机访问/切入控制。

通过本发明控制各视频解码模块，可以实现视频解码的码流解析控制、初始化控制、缓冲区控制、差错控制、复位控制、同步控制、随机访问/切入控制等功能，并能精确控制视频解码速度以及各视频解码模块之间的高效的流水作业；既降低了视频解码器硬件逻辑的复杂度，又提高了视频解码器的扩展性。

附图说明

图1是现有的视频解码结构的基本原理图；

图2是本发明视频解码控制方法的流程图；

图3是本发明视频解码控制装置的结构示意图；

图4是本发明视频解码控制装置应用于AVS1.0中的具体实施例；

图5是图4所示实施例进行解码控制的流程图。

具体实施方式

下面结合附图和实施例，对本发明的技术方案做进一步的详细描述。

AVS1.0是中国正在推出的视频编解码标准，其系统层与MPEG-2的系统层类似，视频解码框架与H.264(JVT)相仿，即如图1所示结构。该视频编解码标准采用最大两个前向参考帧，包括帧内编码图像(I帧)、前向预测编码图像(P帧)和双向预测编码图像(B帧)三种图像编码类型。

如图2所示，在进行视频解码控制时，首先根据初始化控制信息进行初始化，再搜索获取待解码视频码流的头类型，对每类头信息进行解析，获得必要的控制参数。对于图像头信息，在解析后，继续获取解码图像的存储地址、参考帧的地址和显示地址，然后解析图像中所有的宏块头信息，获得必要的控制参数，然后继续搜索下一帧的头类型。对于其它头信息，则在解析后直接继续搜索下一帧的头类型。此外，如果有非码流中的控制信息，则在执行解析头信息步骤之前，还包括接收并分析非码流中的控制信息的步骤，其中非码流中的控制信息包括：复位信号、同步信号、随机访问控制信号和随机切入信号。

视频解码控制装置是视频解码器中的主控部分，通过控制其它视频解码模块可以完成视频的解码显示过程。

在图3中，视频解码控制装置包括：初始化控制模块、主控模块、错误处理模块、缓冲区管理模块和命令控制模块；此外还可以包括复位控制模块、同步控制模块和随机访问/切入模块。

初始化控制模块是负责接收从主机或其它上级模块传递过来的初始控制信息，然后对主控模块进行初始化，并按照这些信息通过命令控制模块对各视频解码模块进行初始化。

主控模块可根据视频解码控制装置中其它功能模块的控制信号，对编码视频流进行解析控制，并将解码获得的控制信息在适当的时间通过命令控制模块发送给相应的视频解码模块，为其工作提供支持。

错误处理模块主要接收来自主控模块的错误报告，并据此通知主控模块进行相应的调整及处理。一般错误是在主控模块解析码流时产生的，具体的处理方法是：

如果发现序列头出错，则错误处理模块直接通知主控模块跳转到下一个序列头；

如果发现图像头出错，则判断是否已解码出图像编码类型，如果未解码出图像编码类型，则直接跳转到下一个图像组头；如果是I图像头或P图像头出错，则直接跳转到下一个图像组头；如果是B图像头出错，则跳转到下一个图像头；

如果发现组块头或者宏块头出错，则从命令缓冲区队列中清除当前解码帧的关于组块及宏块的控制命令；使用前一帧的解码图像数据恢复该组块数据；然后跳转到下一个组块头。

由于存在B图像而导致图像的解码顺序与显示顺序不一致，因此需要在解码后对解码缓冲区进行重排序，而且解码图像除用来显示外，还要作为后续图像解码的参考图像使用，为了节省缓冲区开销，采用参考图像缓冲区、解码图像缓冲区和显示图像缓冲区共享一个解码缓冲区的方式，为此需要有缓冲区管理模块对其进行管理，其主要功能包括：计算获得解码图像将存储的缓冲区地址，通过命令控制模块发送给相关视频解码模块；计算获得解码图像将使用的参考图像的缓冲区地址，通过命令控制模块发送给相关视频解码模块；计算获得将显示的解码图像的缓冲区地址，通过命令控制模块发送给相关视频解码模块。

命令控制模块是整个视频解码控制装置控制其它视频解码模块的接口，负责将视频解码控制装置中各模块发送过来的信息组织成满足硬件接口规范的命令格式发送给相关视频解码模块。为了使视频解码控制装置与视频解码模块之间能够正常进行流水操作，在命令控制模块与各视频解码模块之间还提供一个命令缓冲区队列(以下简称为命令FIFO)，用于信息交互，该命令FIFO的状态被传递给主控模块，主控模块根据该状态信息判断是否继续解码，如果命令FIFO的状态是不可用(一般是因为已满)，则暂停解码，直到状态是可用为止，这样可控制解码速度过快而造成的缓冲区上溢。

复位控制模块用于接收来自主机等上级模块发送过来的复位信号，按照复位级别通知主控模块在处理完当前操作后进行复位，通知命令控制模块向各视频解码模块发送复位命令，并清除命令控制模块中的命令缓冲区队列。

同步控制模块主要用于控制视频解码显示速度与音频播放速度的同步，采用的方法是：根据接收的同步信号判断当前可显示的解码帧是否比音频超前，如果当前显示帧比音频超前，则通过主控模块通知命令控制模块发送重复显示前一显示帧数据的命令；如果当前显示帧比音频滞后，则判断滞后是否由解码速度慢造成，如果是，则通知主控模块进行跳帧解码；否则通过主控模块通知命令控制模块发送跳帧显示的命令。

随机访问/切入模块用于实现视频码流的随机访问/切入控制，具体方法是：如果收到随机访问控制信号，则通知主控模块在解码完当前帧之后，控制搜索规定位置的图像组头；如果收到随机切入信号，则通知主控模块立即停止当前帧图像的解码，控制搜索下一个序列头，再进行正常解码。

在图4所给的实施例中，各视频解码模块采用硬件加速器来实现。非码流中的控制信息通过视频解码控制装置发送给各个硬件加速器，减少了各硬件加速器间的连线，提高了解码器的可编程控制性能，即扩展性；码流中的控制信息由视频解码控制装置解析获得后，根据解码器的流水线操作，控制信息直接或者经计算后传递给相关的硬件加速器，从而控制硬件加速器的正常运行。图4中方框内是视频解码控制装置，方框外是它的支撑环境。为减少视频解码控制装置与外围硬件之间的接口，在该实施例中，从主机传递过来的控制参数经过Ts流多路分离器后传递给视频解码控制装置，而视频解码控制装置中的命令控制模块发送出去的命令也经过变长解码加速器发送给其它各硬件加速器。下面对图中的硬件加速器进行介绍：

变长解码加速器(以下简称VLD)：用于完成某个码字的解析工作，并在视频解码控制装置的控制下完成码流的解析，同时负责将命令控制模块发送过来的命令转发给相关加速器。

帧间运动补偿加速器：用于完成运动补偿功能，根据缓冲区管理模块发送的参考图像的地址在解码缓冲区中获取参考图像数据，并将运动补偿后的图像数据发送给帧内预测补偿加速器进行图像的重构。

显示控制加速器：用于控制解码图像的显示，负责根据收到的显示的解码图像的地址从解码缓冲区中获取解码数据，并将解码数据转换成要求的显示格式输出给显示设备进行显示。

反量化/反变换加速器：用于完成反量化/反变换。

帧内预测补偿加速器：除了完成帧内预测功能外，还负责将运动补偿后的图像数据与经过反变换后的残差数据相加，重构编码图像。

环路滤波及解码帧存储加速器：用于完成去块效应滤波功能，并按照收到的存储地址将当前解码数据写入解码缓冲区中。

在该实施例中，整个解码器的流水是宏块级流水作业，由于命令控制模块发送的命令通过变长解码加速器进行转发，因此只需在每个加速器与变长解码加速器之间通过一个命令缓冲区队列(FIFO)相连接。

基于上述实施例的解码控制流程具体见图5，包括：首先接收来自Ts流多路分离器的初始化控制信号，并分析得到视频解码使能信号，检测该使能信号，如果未使能，则继续等待。

如果使能，则按照已获得的初始化信息进行初始化，包括：将初始化控制信息发送给相关硬件加速器进行初始化配置；使能变长解码加速器和显示控制加速器。然后搜索获得待解码码流的头类型。

如果Ts流多路分离器有控制信息输出，则主控模块对上述控制信息进行分析，具体是：如果是复位信号，则主控模块向各加速器发送复位信号，清除命令缓冲区队列，然后将自身状态进行复位；

如果是同步信号，则当当前显示帧比音频超前时，通过VLD以命令的方式通知显示控制加速器重复显示前一显示帧数据；当当前显示帧比音频滞后时，如果滞后是由于解码速度造成的，则若将解码帧是B帧，则向VLD发送查找下一个图像头的命令，否则不向显示控制加速器发送显示帧的地址，以此实现显示硬件加速器的跳帧显示；

如果是随机访问信号，则向VLD发送搜索规定位置的I图像头的命令；如果是随机切入信号，则向VLD发送搜索下一个序列头的命令。

然后主控模块完成头信息的解析，获得必要的控制参数，并通过变长解码加速器发送给相关模块。在解析完除图像头信息之外的所有头信息后，继续搜索下一个待解码码流的头类型；而对于图像头信息，则进一步地执行下述步骤：计算缓冲区的地址，并以命令的方式通过VLD将获得的参考图像的地址发送给帧间运动补偿加速器，解码图像的存储地址发送给环路滤波及解码帧存储加速器，解码图像的显示地址在完成当前帧图像解码后发送给显示控制加速器；然后解析宏块头信息，并将获得的参数以命令的方式发送给各加速器，例如将获得的量化系数传递给反量化加速器和帧间运动补偿加速器；重复解析宏块头信息，直到一帧图像解码结束，然后继续搜索下一个待解码码流的头类型。

此外，在解析宏块层以上的头信息过程中每向变长解码加速器发送一次命令以及在解析每个宏块头信息之前，均要检测是否有出错信号或复位信号产生，如果有出错信号产生，则进一步分析：如果是在序列头出错，则向VLD发送查找下一个序列头的命令；如果是在图像头出错，则判断是否解码出图像编码类型，如果未解码出图像编码类型，则向VLD发送查找下一个I图像头的命令，在AVS1.0中，一个图像组头由I帧头表示，否则如果是I、P图像头出错，则向VLD发送查找下一个I图像头的命令；如果是B图像头出错，则向VLD发送查找下一个图像头的命令；如果是组块头或者宏块头出错，则从命令缓冲区队列中清除当前解码帧的关于组块及宏块的控制命令，再通知环路滤波及解码帧存储加速器使用前一帧解码图像数据恢复该组块数据，然后向VLD发送查找下一个组块头的命令。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims

1、一种视频解码控制方法，其特征在于，包括以下步骤：根据初始化控制信息进行初始化；搜索获取待解码视频码流的头类型；解析头信息，获得必要的控制参数并发送；对于图像头信息，计算获取解码图像将存储的地址、将使用的参考图像的地址、将显示的解码图像的地址；解析图像中的所有宏块头信息，获得必要的控制参数。

2、根据权利要求1所述的视频解码控制方法，其特征在于，所述初始化的步骤具体包括：接收初始化控制信号；分析获得视频解码使能信号；检测使能信号是否有效；如果无效则继续等待；如果有效则对解码用模块进行初始化。

3、根据权利要求1所述的视频解码控制方法，其特征在于，在解析宏块层以上的头信息过程中每发送一次控制参数以及在解析每个宏块头信息之前，均检测是否有出错信号或复位信号产生，如果有出错信号产生，则进一步分析：如果是序列头出错，则查找下一个序列头；如果是图像头出错，则判断是否已解码出图像编码类型，如果未解码出图像编码类型，则查找下一个图像组头；如果是I图像头或P图像头出错，则查找下一个图像组头；如果是B图像头出错，则查找下一个图像头；如果是组块头或者宏块头出错，则从命令缓冲区队列中清除当前解码帧的关于组块及宏块的控制命令；使用前一帧的解码图像数据恢复该组块数据；然后查找下一个组块头。

4、根据权利要求1至3任一所述的视频解码控制方法，其特征在于，在解析头信息步骤之前，还包括接收并分析非码流中的控制信息的步骤。

5、根据权利要求4所述的视频解码控制方法，其特征在于，所述非码流中的控制信息包括：复位信号、同步信号、随机访问控制信号和随机切入信号。

6、根据权利要求5所述的视频解码控制方法，其特征在于，所述分析非码流中的控制信息的步骤进一步包括：如果是复位信号，则进行复位操作；如果是同步信号，则根据接收的同步信号判断当前可显示的解码帧是否比音频超前，如果当前显示帧比音频超前，则重复显示前一显示帧数据；如果当前显示帧比音频滞后，则判断滞后是否由解码速度慢造成，如果是，则进行跳帧解码；否则进行跳帧显示；如果是随机访问控制信号，则在解码完当前帧之后，控制搜索规定位置的图像组头；如果是随机切入信号，则立即停止当前帧图像的解码，控制搜索下一个序列头，再进行正常解码。

7、根据权利要求6所述的视频解码控制方法，其特征在于，如果当前显示帧比音频滞后，还可以是以下步骤：如果将解码帧是B帧，则查找下一个图像头，否则不发送显示帧的地址。

8、根据权利要求6所述的视频解码控制方法，其特征在于，在AVS1.0标准中，如果是随机访问信号，则搜索规定位置的I图像头；如果是随机切入信号，则搜索下一个序列头。

9、一种视频解码控制装置，其特征在于，包括：初始化控制模块、主控模块、错误处理模块、缓冲区管理模块和命令控制模块；其中

所述初始化控制模块用于接收初始化控制信息，对所述主控模块进行初始化，并通过所述命令控制模块对各视频解码模块进行初始化；

10、根据权利要求9所述的视频解码控制装置，其特征在于，所述错误处理模块收到错误报告后的具体处理为：

11、根据权利要求9或10所述的视频解码控制装置，其特征在于，还包括：复位控制模块，用于接收复位信号，对所述主控模块进行复位，并通过所述命令控制模块向各视频解码模块发送复位信号。

12、根据权利要求11所述的视频解码控制装置，其特征在于，还包括：同步控制模块，用于接收同步信号，通过所述主控模块和所述命令控制模块控制视频解码显示速度与音频播放速度的同步。

13、根据权利要求12所述的视频解码控制装置，其特征在于，所述同步控制模块采用的同步方法是：根据接收的同步信号判断当前可显示的解码帧是否比音频超前，如果当前显示帧比音频超前，则通过主控模块通知命令控制模块发送重复显示前一显示帧数据的命令；如果当前显示帧比音频滞后，则判断滞后是否由解码速度慢造成，如果是，则通知主控模块进行跳帧解码；否则通过主控模块通知命令控制模块发送跳帧显示的命令。

14、根据权利要求12所述的视频解码控制装置，其特征在于，还包括：随机访问/切入模块，用于根据随机访问控制信号或随机切入信号通过所述主控模块实现视频码流的随机访问/切入控制。

15、根据权利要求14所述的视频解码控制装置，其特征在于，所述随机访问/切入模块采用的处理方法是：如果收到随机访问控制信号，则通知主控模块在解码完当前帧之后，控制搜索规定位置的图像组头；如果收到随机切入信号，则通知主控模块立即停止当前帧图像的解码，控制搜索下一个序列头，再进行正常解码。