CN101127919A

CN101127919A - 一种视频序列的编码方法

Info

Publication number: CN101127919A
Application number: CN 200710162789
Authority: CN
Inventors: 陈睿
Original assignee: ZTE Corp
Current assignee: ZTE Corp
Priority date: 2007-09-28
Filing date: 2007-09-28
Publication date: 2008-02-20
Anticipated expiration: 2027-09-28
Also published as: CN101127919B

Abstract

本发明公开了一种视频序列的编码方法，用于视频传输的差错控制，包括：步骤一，对视频序列第一帧图像采取帧内编码方式进行编码；步骤二，在视频序列中第一帧图像之后数个位置插入核心参考帧，所述核心参考帧的参考帧是之前的I帧或者之前的核心参考帧；步骤三，对视频序列中的非核心参考帧图像按照标准的编码方法进行编码；步骤四，对视频序列中的核心参考帧图像采用当前帧之前的I帧或者核心参考帧编码。采用本发明所述方法进行编码具有更高的编码效率，而且能够有效减小或者阻止传输差错在视频序列上的扩散，从而提高视频传输的质量。

Description

一种视频序列的编码方法

技术领域

本发明涉及图像信息传输和处理领域，具体涉及在进行视频传输过程中的阻止传输差错扩散的方法。

背景技术

通过Internet和无线移动网等主要通信网络传输视频时，现有的视频压缩算法通常采用基于运动补偿的混合编码框架来提高压缩率。对于运动图像专家组标准(MPEG)视频流，采用三种类型的帧：帧内编码帧(以下简称I帧)、前向预测编码帧(以下简称P帧)和双向预测编码帧(以下简称B帧)。I帧是一个全帧压缩编码帧，它将全帧图像信息进行压缩编码及传输，解码时仅用I帧的数据就可重构完整图像；P帧可以由I帧或前面的P帧进行预测，P帧属于前向预测的帧间编码，压缩比大于I帧；B帧以前面的I或P帧和后面的P帧为参考帧进行预测，因此压缩比最高。

然而在满足带宽限制条件下，需要克服传输差错的影响。

如图1所示为传统的视频编码方式对传输差错的处理方法。在图1中，采用帧内编码模式的图像是可以独立解码的，其它的编码图像帧采取帧间编码模式。图1中所示是一种典型的视频编码码流结构，其中在t时刻和t+n时刻的图像帧是帧内编码模式，记为I，其它图像帧都采取用前一帧作为参考帧的帧间编码模式，记为P。

当出现传输差错时，例如在t+i时刻发生错误，则P(t+i)不能正确解码。由于后续的帧间编码帧都是用前一帧作为参考图像，因此错误解码图像会向后扩散，直到t+n时刻的帧内编码图像帧为止。在这种情况下，解码错误的时间间隔为n-i。

传输差错引起视频图像不能正常解码，而且错误图像信息会在时域和空域上扩散。为了降低视频传输差错及其差错扩散的影响，一种常用的方法是采用帧内编码更新技术，但是帧内编码方式会大幅度降低编码效率。

与帧内编码更新相比，参考帧选择(Reference Picture Selection，RPS)具有更高的编码效率。其基本思想是编码器通过反馈信道得到解码器的丢失情况，在编码下一个帧间编码帧时选用已被解码器正确接收的较早的帧作为参考帧。Hideaki Kimata和Yoshiyuki Yashima在文献“A study of key-frame referencepicture selection method for error resilient multiple video objects distribution”中提出了一种新的基于关键参考帧的无反馈关键参考帧选择方法。即以帧内编码帧(I帧)作为关键参考帧，每个P帧均以I帧作为参考帧。这种方法虽然可以有效地阻止差错的扩散，但过多地插入关键帧(I帧)，导致数据量过大，编码效率降低。

发明内容

本发明所要解决的技术问题在于提供了一种视频码流的编码/解码方法，通过在编码码流中插入核心参考帧，不但可以有效地减少或者阻止视频过程中由于传输差错引起的图像质量下降，而且不会明显降低视频图像的编码效率。

为了实现上述目的，本发明提供了一种视频序列的编码方法，用于视频传输的差错控制，包括：

步骤一，对视频序列第一帧图像采取帧内编码方式进行编码；

步骤二，在视频序列中第一帧图像之后数个位置插入核心参考帧，所述核心参考帧的参考帧是之前的I帧或者之前的核心参考帧；

步骤三，对视频序列中的非核心参考帧图像按照标准的编码方法进行编码；

步骤四，对视频序列中的核心参考帧图像以当前帧之前的I帧或者核心参考帧作为参考帧进行编码。

本发明提出了一种通过插入核心参考帧，可以在不明显降低视频编码效率的条件下，实现视频传输差错控制的方法。与原有的在视频序列中插入I帧或者关键参考帧的方法相比，具有更高的编码效率，而且能够有效减小或者阻止传输差错在视频序列上的扩散，从而提高视频传输的质量。

附图说明

图1所示为传统的视频编码方式对传输差错的处理方法；

图2所示为核心参考帧方法对传输差错的处理方法；

图3所示为采取固定间隔插入核心参考帧的差错控制方法；

图4所示为自适应核心参考帧间隔的差错控制方法。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

为了能够在出现传输差错时减少或者阻止错误解码图像的扩散，本发明提出了一种在基于核心参考帧的编码方法，可以在不明显降低视频编码效率的情况下，阻止错误的扩散。图2所示为核心参考帧方法对传输差错的处理方法。

在进行视频编码的过程中，在某些特定位置插入核心参考帧，记为C，如图2中的双线所示。核心参考帧也采取帧间编码方法进行编码，与普通的帧间编码方法比较，其不同之处在于其参考帧是前面的I帧或者核心参考帧。例如在图2中，C(t+j)是以I(t)为参考帧，C(t+k)是以C(t+j)为参考帧。

当出现传输差错时，例如在t+i时刻发生错误，则P(t+i)不能正确解码。由于后续的帧间编码帧P(t+i+1)是以P(t+i)作为参考图像，因此错误解码图像会向后扩散。

在t+j时刻，由于核心参考帧C(t+j)是以I(t)作为参考帧，与P(t+i)和P(t+i+1)没有关系，因此核心参考帧C(t+j)可以正确解码。对于t+j之后的图像帧，没有发生传输差错，图像都能够正确解码。在这种情况下，解码错误的时间间隔为j-i。

图3所示为根据本发明一示例性实施方式采取固定间隔插入核心参考帧实现传输差错控制的方法。

视频编码器对视频序列进行实时编码，得到编码视频码流，如图3中的上半部分所示。然后将编码视频码流传送到视频解码器进行解码，如图3中的下半部分所示。

由于编码器或者信道传输过程中存在一定的时间延迟，视频解码器接收到编码视频码流的时刻与真实的视频序列存在一定的时间差。同理，由于视频解码器和或者反馈信道传输过程存在一定的时间延迟，视频解码器将当前图像解码信息反馈至视频编码器也存在一定的时间延迟。在图3中假设刻编码器对视频序列进行编码后，经过信道传输，被解码器接收并解码，然后将解码状况反馈至编码器所需的时间在4个单位时间以内。即t时刻编码的图像帧被解码器接收后，在t+4时刻之前编码器可以得到解码器的反馈信息。

解码器端的核心参考帧的解码状态通过反馈信道传送给编码器，ACK表示该图像帧能够正确解码，NACK表示该图像帧不能正确解码。如图3中I(t)、C(t+4)、C(t+12)、C(t+16)、C(t+20)等能够正确解码的图像帧通过ACK反馈至编码器，而不能正确解码的C(t+8)通过NACK反馈至编码器。

在t时刻，编码器对视频序列的第一帧用帧内编码方式编码，记为I(t)。

在t+1至t+3时刻，编码器对当前图像采取以前一帧作为参考帧的帧间编码方式编码，记为P(t+1)、P(t+2)、P(t+3)。

在t+4时刻，编码器已经接收到解码器反馈的I(t)正确解码ACK信息，对当前图像采取核心参考帧方式进行编码，即以I(t)作为参考帧进行编码，记为C(t+4)。

在t+5至t+7时刻，编码器对当前图像采取以前一帧作为参考帧的帧间编码方式编码，记为P(t+5)、P(t+6)、P(t+7)。

在t+8时刻，编码器已经接收到解码器反馈的C(t+4)正确解码ACK信息，对当前图像采取核心参考帧方式进行编码，即以C(t+4)作为参考帧进行编码，记为C(t+8)。

在t+9至t+11时刻，编码器对当前图像采取以前一帧作为参考帧的帧间编码方式编码，记为P(t+9)、P(t+10)、P(t+11)。

在t+12时刻，编码器没有接收到解码器反馈的C(t+8)正确解码ACK信息，但是按照固定间隔核心参考帧方法需要对当前图像采取核心参考帧方式进行编码。所以即以前面正确接收的核心参考帧C(t+4)作为参考帧进行编码，记为C(t+12)。

后面时刻的编码方法与前面类似，在此不再重复。

图4所示为根据本发明另一示例性实施方式的自适应插入核心参考帧实现传输差错控制的方法。即在丢包率较低时采取普通帧间编码方法，在丢包率较高时采取核心参考帧方法。

视频编码器对视频序列进行实时编码，得到编码视频码流，如图4中的上半部分所示。然后将编码视频码流传送到视频解码器进行解码，如图4中的下半部分所示。

由于编码器或者信道传输过程中存在一定的时间延迟，视频解码器接收到编码视频码流的时刻与真实的视频序列存在一定的时间差。同理，由于视频解码器和或者反馈信道传输过程存在一定的时间延迟，视频解码器将当前图像解码信息反馈至视频编码器也存在一定的时间延迟。在图4中假设刻编码器对视频序列进行编码后，经过信道传输，被解码器接收并解码，然后将解码状况反馈至编码器所需的时间在2个单位时间以内。即t时刻编码的图像帧被解码器接收后，在t+2时刻之前编码器可以得到解码器的反馈信息。

解码器端的核心参考帧的解码状态通过反馈信道传送给编码器，ACK表示该图像帧能够正确解码，NACK表示该图像帧不能正确解码。如图3中I(t)、C(t+5)、C(t+10)、C(t+15)等能够正确解码的图像帧通过ACK反馈至编码器，而不能正确解码的P(t+6)、C(t+8)通过NACK反馈至编码器。

在t+1至t+4时刻，编码器没有收到任何NACK信息，对当前图像采取以前一帧作为参考帧的帧间编码方式编码，记为P(t+1)、P(t+2)、P(t+3)、P(t+4)。

在t+5时刻，编码器没有接收到任何NACK信息，即表明丢包率很低，对当前帧本应该采取以前一帧作为参考帧的帧间编码方式编码。但是由于很长时间内没有指定核心参考帧，当前帧和正确核心参考帧的间隔逐渐变远，一旦发生差错，需要参考正确核心参考帧编码，编码效率将显著降低。为了提高编码效率，如图4所示，当每连续编码5个普通帧后，不论当前帧参考那一帧编码，当前帧都指定为核心参考帧。

在t+6至t+7时刻，编码器没有收到任何NACK信息，对当前图像采取以前一帧作为参考帧的帧间编码方式编码，记为P(t+6)、P(t+7)。

在t+8时刻，编码器接收到NACK信息，P(t+6)不能正确解码。对当前帧采取核心参考帧方法进行编码，即以最近接收的正确核心参考帧C(t+5)作为参考图像进行帧间编码，记为C(t+8)。

在t+9时刻，编码器没有收到任何NACK信息，对当前图像采取以前一帧作为参考帧的帧间编码方式编码，记为P(t+9)。

在t+10时刻，编码器接收到解码器NACK信息，C(t+8)不能正确解码，对当前图像采取核心参考帧方式进行编码，即以前一个正确解码的核心参考帧C(t+5)作为参考帧进行编码，记为C(t+10)。

在t+11至t+14时刻，编码器没有收到任何NACK信息，对当前图像采取以前一帧作为参考帧的帧间编码方式编码，记为P(t+11)、P(t+12)、P(t+13)、P(t+14)。

在t+15时刻，编码器没有接收到任何NACK信息，即表明丢包率很低，对当前帧本应该采取以前一帧作为参考帧的帧间编码方式编码。但是为了提高编码效率，如图4所示，当每连续编码5个普通帧后，不论当前帧参考那一帧编码，当前帧都指定为核心参考帧，即以C(t+10)作为参考帧进行帧间编码，记为C(t+15)。

后续时刻的编码方法与前面类似，在此不再重复。

当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims

1.一种视频序列的编码方法，用于视频传输的差错控制，其特征在于，

包括：

2.根据权利要求1所述的视频序列的编码方法，其特征在于，所述步骤一中采取帧内编码方式的图像独立解码。

3.根据权利要求1所述的视频序列的编码方法，其特征在于，所述步骤二中插入核心参考帧包括每隔固定间隔插入核心参考帧，或根据率失真优化模型选择核心参考帧，或根据反馈信道传回的确认信息自适应插入核心参考帧。

4.根据权利要求1所述的视频序列的编码方法，其特征在于，所述步骤三中的所述图像是I帧、P帧或B帧。

5.根据权利要求1所述的视频序列的编码方法，其特征在于，所述步骤三中标准的编码方法为帧间编码方式。

6.根据权利要求5所述的视频序列的编码方法，其特征在于，所述帧间编码方式是以当前帧的前一帧作为参考帧进行编码。

7.根据权利要求1所述的视频序列的编码方法，其特征在于，所述步骤四中对核心参考帧图像采取帧间编码方式编码是以当前帧之前的I帧或者核心参考帧作为参考帧进行编码。

8.一种视频传输的差错控制方法，其特征在于，包括：

对视频序列第一帧图像采取帧内编码方式进行编码；

在视频序列中第一帧图像之后数个位置插入核心参考帧；

对视频序列中的非核心参考帧图像按照标准的编码方法进行编码；

对视频序列中的核心参考帧图像采取帧间编码方式编码；

接收编码的视频序列然后解码并反馈解码信息；

传输编码的视频序列以及反馈的解码信息。

9.根据权利要求8所述的视频传输的差错控制方法，其特征在于，所述在视频序列中第一帧图像之后数个位置插入核心参考帧步骤包括在视频序列中每隔固定间隔插入核心参考帧，或根据率失真优化模型选择核心参考帧，或根据反馈信道传回的确认信息选择核心参考帧。

10.根据权利要求8所述的视频传输的差错控制方法，其特征在于，所述标准的编码方法为采取帧间编码方式编码。

11.根据权利要求10所述的视频传输的差错控制方法，其特征在于，所述帧间编码方式采取以当前帧的前一帧作为参考帧。

12.根据权利要求8所述的视频传输的差错控制方法，其特征在于，所述对视频序列中的核心参考帧图像采取帧间编码方式编码步骤中是以当前帧之前的I帧或者核心参考帧作为参考帧进行编码。

13.一种视频传输的差错控制系统，其特征在于，包括：

编码器，用于对视频序列第一帧图像采取帧内编码方式进行编码，在视频序列中第一帧图像之后数个位置插入核心参考帧，对视频序列中的非核心参考帧图像按照标准的编码方法进行编码并对视频序列中的核心参考帧图像采取帧间编码方式编码；

解码器，用于接收编码的视频序列然后解码，并将解码状况反馈到编码器；

信道，用于传输编码器编码的视频序列以及反馈解码器解码的信息。

14.根据权利要求13所述的视频传输的差错控制系统，其特征在于，所述信道包括：

传输信道，用于传输编码起编码的视频序列；

反馈信道，用于反馈解码器解码的信息。

15.根据权利要求13所述的视频传输的差错控制系统，其特征在于，所述编码器、解码器和信道存在时间延迟。