CN101192903A - 数据帧编解码控制方法 - Google Patents

Abstract

本发明公开了一种数据帧编解码控制方法。编码端对数据帧进行分段编码，选定每段数据帧的中间一帧为需要帧内编码的帧；在对每段数据帧进行编码时，包括：A.缓存时序上处于所述选定帧之前的数据帧；B.将所述选定帧编码为I帧；C.对本段数据帧内的其它数据帧，都以所述I帧为参考帧编码成P帧。解码端包括：a.解码收到的I帧并进行缓存；b.参考I帧的解码数据，解码收到的P帧；并按照数据帧的时序信息依次显示所述解码后的数据帧。利用本发明，可以提高数据传输质量，提高对丢包的容错性。

Description

数据帧编解码控制方法

技术领域

本发明涉及数据压缩编解码技术，尤其涉及一种数据帧的编码控制方法及解码控制方法。

背景技术

随着即时通信的普及和网络带宽的提升，越来越多的网友开始用摄像头进行视频聊天，为了降低视频数据所占带宽，目前普遍采用视频压缩编码技术对发送端的视频数据帧进行压缩编码，在接收端按照对应的解码技术解码，从而还原视频数据。目前在对视频帧进行压缩编码时都是按照时序方法进行，主要包括以下两种现有技术。

现有技术一：图1为现有技术一进行编码控制的视频帧序列示意图。参见图1，该现有技术一采用分段编码的方式，例如所述7个视频帧序列组成了一段画面组(GOP)，一个视频帧表示一个画面，一个GOP就是一组连续的画面。可根据实际情况平衡确定这段视频序列的长度，长度越长则编码效率越高但容错性越差，越短编码效率越低但容错性越好。本例中将一段视频帧的帧数设为7，也就是说在实际编码一长段视频序列时，按照每7帧作为一段数据帧，分段进行编码。

图1中，所述I表示帧内编码帧，简称为I帧，也称为Intra帧，I帧采用类似单幅图片压缩的技术，只压缩本视频帧内的空间冗余信息；P则表示帧间编码帧，简称为P帧，也称为Inter帧，P帧不但压缩本视频帧内的空间冗余信息，还会利用本视频帧与指定的参考帧(可以是I帧也可以是P帧)之间的时间冗余来压缩数据，也就是进行时域预测并进行编码，这种P帧的压缩效率要比I帧高很多。由于P帧利用了参考帧的信息，所以就要求在解码端也必须得到参考帧，否则即使解码端完整收到了P帧的压缩数据也无法解码。图1中每帧中上部的小写英文字母表示本帧在一组GOP中的传到编码模块的顺序，即视频帧的时序；每帧中下部的数字表示对每帧进行编码操作的顺序，也是编码帧的发送顺序，发送端按照该顺序发送编码帧；在本方法中，所述编码顺序与视频帧到来的顺序相同；所述箭头表示如下的含义：即箭头的起始端表示当前帧，指向的则是当前帧的参考帧。

参见图1，在该编码控制方法中，需按照视频帧的时序(即小写英文字母的顺序)依次编码。将所述第a个帧编码为I帧，下一个视频帧在编码时要参考前面的I帧编码成一个P帧，其余的视频帧都参考其前一个P帧编码成P帧。

上述这种编码控制方法的缺点是：在视频接收端进行解码时，一个GOP中任何一个视频帧的编码帧(I帧或P帧)丢失都会造成后续帧的编码帧无法正确解码，即使后续帧的编码帧能够正确接收也无法正确解码。因此，这种方法的视频传输质量非常容易受丢包的影响，传输质量差。

现有技术二：针对上述方法的缺陷，中国专利公开号为CN1738432A、名称为《视频差错控制》的发明专利申请公开说明书中描述了一种编码控制方法。图2为现有技术二所述编码控制方法的视频帧序列示意图。参见图2，该方法同样采用分段编码的方式，例如所述7个视频帧组成了一段需要编码的GOP，每帧中上部的小写英文字母表示视频帧的时序；每帧中下部的数字表示对每帧进行编码操作的顺序，也是编码帧的发送顺序，发送端按照该顺序发送编码帧；所述箭头表示如下的含义：即箭头的起始端表示当前帧，指向的则是当前帧的参考帧。

参见图2，这种方法将一段视频帧序列的中点帧，即第d帧，作为I帧编码，然后两端依顺序参考I帧进行编码成P帧，且编码顺序与视频帧的时序不同。在本例中，前三帧(即第a、b、c帧)到来后需要进行缓存，第d帧到来后将该帧编码为I帧，然后从缓存中依次取出第c、b、a帧，进行逆向编码，即第c帧以所述I帧为参考编码成P帧，第b帧以第c帧的编码帧为参考编码成P帧，第a帧以第b帧的编码帧为参考编码成P帧；对于第d帧之后到来的视频帧采用正序编码，即后一帧参考前一帧编码成P帧。

现有技术二与现有技术一相比显然对网络丢包有了一定的抵抗能力，例如丢失第2号编码帧，但是第1、5、6、7号编码帧依然可以解码。

但是，现有技术二存在以下缺点：

参见图2，假如第2号编码帧丢失，则即使正确收到了第3、4号编码帧也无法解码，数据传输质量受丢包的影响还是很大，对丢包的容错性还是不高，对带宽资源是种无形的浪费。

发明内容

有鉴于此，本发明所要解决的技术问题在于提供一种数据帧编码控制方法和对应的解码控制方法，以提高数据传输质量，提高对丢包的容错性。

为了实现上述发明目的，本发明的主要技术方案为：

一种数据帧编码控制方法，对数据帧进行分段编码，选定每段数据帧的中间一帧为选定帧；在对每段数据帧进行编码时，包括：

A、缓存时序上处于所述选定帧之前的数据帧；

B、将所述选定帧编码为I帧；

C、对本段数据帧内的其它数据帧，都以所述I帧为参考帧编码成P帧。

优选的，步骤C中，先对所缓存的数据帧按照时序依次进行编码；再对时序上处于所述选定帧之后的数据帧按照时序依次进行编码。

优选的，进一步包括：按照编码顺序发送所述I帧和P帧。

优选的，在编码时进一步包括：将每个数据帧的时序信息加入到编码帧中。

优选的，进一步包括：将数据帧的时序与编码顺序的对应关系通知给解码端，供解码端按照时序排列解码后的数据帧。

优选的，所述的数据帧为视频帧。

一种数据帧解码控制方法，包括：

a、解码收到的I帧并进行缓存；

b、参考I帧的解码数据，解码收到的P帧。

优选的，进一步包括：

c、按照数据帧的时序信息依次显示所述解码后的数据帧。

优选的，所述时序信息通过对所接收的编码帧的内容进行解码分析得到。

优选的，所述时序信息由解码端根据数据帧的时序与编码顺序的对应关系得到；所述数据帧的时序与编码顺序的对应关系由编码端和解码端预先协商设定。

由于本发明对于每个GOP，先将中间的数据帧编码为I帧，GOP中其余的数据帧都参考该I帧编码为P帧，解码时，只要先解码I帧，再参考该I帧的解码数据依次解码P帧即可。因此按照本发明编码的一个GOP中，只要I帧被成功地解码，其它任何一个P帧丢失或解码不成功，都不会影响后续P帧的正确解码，不会浪费解码端任何收到的有效P帧的压缩数据，且本发明与现有技术二所使用的缓存大小及其它资源是完全一致的，但显然避免了一大类浪费带宽的现象，会带来更好的传输质量。而且，本发明可以与任何编码算法都可结合使用，除缓存外不需要其它系统资源。

本发明可适应当前的网络状况，提升用户体验。目前的互联网传输丢包比较严重，假如不采用一定的抗丢包策略则很难达到良好的传输质量；本发明提出的方法在I帧正常解码的情况下可以基本保证收到的数据量正比于视频质量

本发明可以抵抗一大类丢包，尤其对于连续丢包效果好。网络上的丢包大部分是连续的，按照本发明给出的技术，在基本不影响压缩效率的情况下将数据帧之间的耦合性尽可能降低，使视频质量基本上只与收到的数据量有关系，是一种绕开连续丢包处理难点的有效方法，可以大大提高对网络丢包的容错性。

附图说明

图1为现有技术一所述编码控制方法的视频帧序列示意图；

图2为现有技术二所述编码控制方法的视频帧序列示意图；

图3为本发明所述编码控制方法的视频帧序列示意图；

图4为本发明所述编码控制方法的一种实施例流程图；

图5为本发明所述解码控制方法的一种实施例流程图。

具体实施方式

下面通过具体实施例和附图对本发明做进一步详细说明。

本发明所述的编解码方法可以适用于各种数据帧，例如视频帧、音频帧等等，下面实施例以视频帧为例对本发明进行说明。

图3为本发明所述编码控制方法的视频帧序列示意图。参见图3，本发明同样采用分段编码的方式，例如所述7个视频帧组成了一段需要编码的GOP，每帧中上部的小写英文字母表示视频帧的时序；每帧中下部的数字表示对每帧进行编码操作的顺序，也是编码帧的发送顺序，发送端按照该顺序发送编码帧；所述箭头表示如下的含义：即箭头的起始端表示当前帧，指向的则是当前帧的参考帧。

参见图3，本发明首先确定一个GOP内要编码的帧数，即确定分段编码时每段的帧数，例如本实施例中确定一个GOP的帧数为7帧。然后，在GOP中选定中间的一帧需要编码为I帧，例如本实施例中选定第d帧。

在针对每段视频帧进行编码时，编码模块按照视频帧的时序接收需要编码的视频帧，在收到第d帧之前，所接收的前三个视频帧，即第a、b、c帧，需要将该三个帧缓存起来。在收到第d帧时，将该帧编码为I帧，然后再将缓存的a、b、c都参考I帧依次编码为P帧，然后对于后续的e、f、g帧都参考I帧依次编码为P帧。

图4为本发明所述编码控制方法的一种实施例流程图。参见图4，对于每一个GOP，该流程包括：

步骤401、按照视频帧的时序接收视频帧。此处的接收是指编码模块接收需要编码的视频帧。

步骤402、判断是否为第d帧，如果是，则执行步骤404；否则，执行步骤403。

步骤403、缓存当前接收的视频帧，并返回步骤401，接收下一个视频帧。

步骤404、将当前接收的视频帧编码为I帧，并发送，此时该I帧为本GOP的第1个编码帧。

步骤405、取出缓存的视频帧，对每个视频帧都参考所述I帧编码为P帧，并发送。由于缓存的视频帧位于第d帧之前，此时的P帧为前向帧。

本步骤中对所缓存的视频帧按照时序依次进行编码，即依次对第a、b、c帧进行编码，因此在时序上的第a、b、c帧分别为第2、3、4个编码帧。

步骤406～407、继续按照视频帧的时序接收视频帧，每接收一个视频帧则参考所述I帧编码为P帧，并发送，直到本GOP结束。

此处按照视频帧的时序对第d帧后续的视频帧进行编码，其时序顺序和编码顺序是一致的，即时序上的第e、f、g帧为第5、6、7个编码帧。

从上述编码端的编码控制方法可以看到，由于视频帧的时序与它们的编码顺序是不一致的，假如解码端不对这种情况进行处理，则会造成显示的顺序与视频的时序不一致，造成错乱。因此本发明还公开了对应的解码控制方法：即先解码收到的I帧并进行缓存，然后参照I帧的解码数据，解码收到的P帧；并进一步按照视频帧的时序对解码帧进行显示。

解码端在解码时需要知道视频帧的原有时序信息，这些时序信息可以由编码端在编码时将每个数据帧的时序信息加入到编码帧中，例如将上述时序信息d、a、b、c、e、f、g分别加入到第1、2、3、4、5、6、7个编码帧中；也可以由编码端与解码端协商设定好，即编码端将数据帧的时序与编码顺序的对应关系通知给解码端，例如时序d、a、b、c、e、f、g分别对应编码顺序1、2、3、4、5、6、7；解码端存储这些对应关系，按照这些对应关系确定所解码数据帧的时序，并依据时序排列显示解码后的视频帧。

图5为本发明所述解码控制方法的一种实施例流程图。参见图5，该流程包括：

在解码控制过程中，需要按照编码顺序接收编码帧。此处如果网络没有抖动和丢包，则编码帧的前后接收顺序就是编码顺序；但是由于网络的抖动和丢包的问题，可能会使编码帧发生前后乱序或者丢失编码帧，需要进行防抖动和丢包的接收处理，使解码端按照编码顺序接收编码帧。具体的防抖动和丢包接收处理方法可以采用现有成熟的方法，此处不再赘述，此处假设本发明需要解码的编码帧已经经过防抖动和丢包处理，是按照编码前后顺序接收的，参见图5，对于正确接收到的编码帧，本发明的解码控制方法从GOP的第一个编码帧开始，进行以下处理：

步骤501、对当前接收的编码帧进行解码。本发明一个GOP中的第一个编码帧为I帧，因此采用I帧对应的解码方式进行解码；该GOP中后续的编码帧为P帧，则参考I帧的解码数据，采用P帧对应的解码方式进行解码。

步骤502、判断是否还未收到在时序上位于当前解码帧之前的视频帧，如果是，则执行步骤503；否则，执行步骤504。由于已经做了丢包的处理，此处不考虑丢失的视频帧。由于编码端的编码控制方式，在解码端的GOP中，第一个收到的是I帧，因此需要缓存该I帧。

本步骤的判断方式可以有多种，例如在编码时在每个视频帧头中加入的实际的视频帧时序信息，解码端按照该时序信息进行判断；也可以预先由编码端和解码端进行具体的协商约定，例如在图4所述编码控制的实施例中，一个GOP有7个视频帧，其中先对时序上的第  d个视频帧进行编码，然后依次对时序上的第a、b、c个视频帧进行编码，接着对第e、f、g个视频帧进行编码；那么在解码端，按照编码顺序，第一个收到的应该为时序上的第d个视频帧，后续依次为时序上的第a、b、c、e、f、g个视频帧，那么解码端可以将这个固定的接收顺序存储下来，根据接收顺序确定每个视频帧的时序信息，并依照时序信息判断是否还未收到在时序上位于当前解码帧之前的视频帧。

步骤503、将当前解码帧缓存，指向下一个接收的编码帧，返回步骤501。

步骤504、判断缓存中是否有视频帧且缓存中视频帧的时序在当前解码帧之前，如果是则执行步骤505；否则，执行步骤506。

步骤505、从缓存中取出视频帧，按照视频帧的时序顺序显示从缓存中取出的视频帧和当前解码的视频帧，然执行步骤507。

步骤506、直接显示当前解码的视频帧，执行步骤507。

步骤507～508、判断本GOP是否结束，是则结束本流程，否则指向下一个接收的编码帧，返回步骤501。

通过上述处理，假如在时序上位于当前解码的视频帧之前的编码帧尚未收到，则把当前解码得到的视频帧缓存；直到当前解码得到的视频帧已经是时序上位于最前，或者所有时序上位于当前得到的视频帧(即当前解码得到的视频帧和缓存中时序最前视频帧两者中时序较前的视频帧)之前的视频帧均已丢失，只有在这种情况下，才将当前能得到的最小时序视频帧与其时序连续的视频帧显示出来。

由于本发明采用GOP中点的视频帧编码为I帧，GOP中的其它视频帧都参考该I帧编码为P帧，因此，在解码端，只要I帧不丢失，其它任何一个P帧丢失，都不会影响后续P帧的正确解码，不会浪费解码端任何收到的有效P帧的压缩数据，且本发明与现有技术二所使用的缓存大小及其它资源是完全一致的，但显然避免了一大类浪费带宽的现象，会带来更好的传输效果。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种数据帧编码控制方法，其特征在于，对数据帧进行分段编码，选定每段数据帧的中间一帧为选定帧；在对每段数据帧进行编码时，包括：

A、缓存时序上处于所述选定帧之前的数据帧；

B、将所述选定帧编码为I帧；

C、对本段数据帧内的其它数据帧，都以所述I帧为参考帧编码成P帧。

2.根据权利要求1所述的数据帧编码方法，其特征在于，步骤C中，先对所缓存的数据帧按照时序依次进行编码；再对时序上处于所述选定帧之后的数据帧按照时序依次进行编码。

3.根据权利要求2所述的数据帧编码方法，其特征在于，进一步包括：按照编码顺序发送所述I帧和P帧。

4.根据权利要求1所述的数据帧编码方法，其特征在于，在编码时进一步包括：将每个数据帧的时序信息加入到编码帧中。

5.根据权利要求1所述的数据帧编码方法，其特征在于，进一步包括：将数据帧的时序与编码顺序的对应关系通知给解码端，供解码端按照时序排列解码后的数据帧。

6.根据权利要求1至5任一项所述的数据帧编码方法，其特征在于，所述的数据帧为视频帧。

7.一种数据帧解码控制方法，其特征在于，包括：

a、解码收到的I帧并进行缓存；

b、参考I帧的解码数据，解码收到的P帧。

8.根据权利要求7所述的数据帧解码控制方法，其特征在于，进一步包括：

c、按照数据帧的时序信息依次显示所述解码后的数据帧。

9.根据权利要求8所述的数据帧解码控制方法，其特征在于，所述时序信息通过对所接收的编码帧的内容进行解码分析得到。

10.根据权利要求8所述的数据帧解码控制方法，其特征在于，所述时序信息由解码端根据数据帧的时序与编码顺序的对应关系得到；所述数据帧的时序与编码顺序的对应关系由编码端和解码端预先协商设定。

Images