CN101287120A - 一种视频序列的生成及对视频序列进行编码的方法 - Google Patents

Abstract

本发明涉及通信领域，提供了一种视频序列的生成及对视频序列进行编码的方法。所述对视频序列进行编码的方法包括以下步骤：A.接收端对接收到的视频序列进行丢包率检测，并将丢包率反馈至发送端；B.发送端根据所述丢包率设定以帧内编码帧作为参考的映射帧的插入位置；C.发送端基于插入的映射帧进行编码，重构视频序列。本发明在对视频序列进行编码的过程中，与现有技术的区别在于根据视频序列传输过程中的丢包率设定以帧内编码帧作为参考的映射帧的插入位置，并基于插入的映射帧进行编码，从而既保证了视频图像质量，也降低了延时，保证了视频图像的流畅。

Description

一种视频序列的生成及对视频序列进行编码的方法

技术领域

本发明涉及通信领域，更具体地说，涉及一种视频序列的生成及对视频序列进行编码的方法。

背景技术

随着即时通信的普及和网络带宽的提升，越来越多的网络用户利用摄像头进行视频聊天，但是由于网络带宽及传输质量的不稳定，造成了即时通信中视频聊天的质量难以保证。其中由于丢包造成视频传输的停顿是目前视频通信质量的瓶颈之一，而这个瓶颈是由视频序列编码过程导致的。

目前的视频序列编码都是按照时序方法进行的，如附图1所示，是现有技术一的视频序列编码示意图。在该视频序列中包含“帧内编码帧”，即I帧，以及“帧间预测帧”，即P帧，其中I帧不依赖于其他帧即可独立解码，P帧则以前一帧作为参考帧。附图1的编码方式就是通过定时编码I帧，然后依次编码P帧来组织视频数据的。但是这种方式存在一个明显的缺陷，因为在对视频序列中的P帧编码时，均以前一帧作为参考帧，使得视频帧之间过于依赖，只要一个P帧丢失，那么从该P帧直到下一个I帧之间的所有P帧都无法解码，这就会对视频质量造成严重影响。

为了避免上述问题，在现有技术二中，如附图2所示，是通过将插入的I帧移到周期性帧内请求中点的位置，时间轴上在其之前的视频图像采用逆向编码，在其之后的视频图像采用正序编码，两组视频图像都根据该插入的I帧做时域预测，从而减轻由于丢包导致的视频解码质量下降的问题。现有技术二还有另一种实现方式也于此类似并稍作改进，如附图3所示，也是将I帧移到周期性帧内请求中点的位置，但是时间轴前后的所有P帧均直接以该I帧作为参考帧，更好地减轻了丢包导致的视频解码质量下降的问题。不过现有技术二也存在一定的问题，由于将I帧移到周期性帧内请求中点的位置，因此该周期内的第一个P帧直到该I帧都没有开始编码，实质上引入了一定的延时，这种延时在网络拥堵的情况下可能会非常严重，导致用户无法观看到顺畅的视频图像。

因此需要一种新的对视频序列进行编码的方法，从而在保证视频质量的同时能够降低编码延时，使视频图像更加流畅。

发明内容

本发明的目的在于提供一种视频序列的生成方法，旨在解决现有技术在对视频序列进行编码时存在的延迟较高的问题。

本发明的目的还在于提供一种对视频序列进行编码的方法，以更好地解决现有技术中存在的上述问题。

为了实现发明目的，在该视频序列的生成方法中，所述视频序列包括至少一个帧周期，所述帧周期包括一个帧内编码帧和多个帧间预测帧，其特征在于，所述帧周期还包括至少一个以所述帧内编码帧作为参考的映射帧，其在帧周期中的插入位置根据当前视频序列传输过程的丢包率设定。

优选地，所述映射帧的插入位置由事先存储的数据映射表进行控制，所述数据映射表包含丢包率与映射帧插入间隔之间的映射关系。

优选地，所述映射帧的插入位置由以下函数表达式确定：F(n)＝floor(1.6*ln(1/loss)-1)；

其中，n表示当前帧距最近的帧内编码帧或映射帧的距离，loss为当前丢包率，ln(x)表示取x的自然对数，floor(x)表示取不小于x的最小非负整数。

为了更好地实现发明目的，还提供了一种对视频序列进行编码的方法，包括以下步骤：

A.接收端对接收到的视频序列进行丢包率检测，并将丢包率反馈至发送端；

B.发送端根据所述丢包率设定以帧内编码帧作为参考的映射帧的插入位置；

C.发送端基于插入的映射帧进行编码，重构视频序列。

优选地，所述步骤A中的丢包率检测是基于视频序列中各帧的序号及时戳信息进行的。

优选地，所述步骤A进一步包括：

A1.接收端接收视频序列的数据包，所述视频序列中的各帧具有序号及时戳信息；

A2.接收端对数据包进行解析，并根据解析得到的序号及时戳信息计算丢包率；

A3.接收端将计算出的丢包率反馈至发送端。

优选地，所述步骤B进一步包括：发送端根据事先存储的数据映射表控制映射帧的插入位置，所述数据映射表包含丢包率与映射帧插入间隔之间的映射关系。

优选地，所述步骤B进一步包括：发送端根据函数表达式确定映射帧的插入位置，该函数表达式为F(n)＝floor(1.6*ln(1/loss)-1)；

其中，n表示当前帧距最近的帧内编码帧或映射帧的距离，loss为当前丢包率，ln(x)表示取x的自然对数，floor(x)表示取不小于x的最小非负整数。

优选地，所述步骤C进一步包括：

C1.根据当前帧的位置判断其类型是帧内编码帧、帧间预测帧还是映射帧；

C2.根据判断结果，对帧内编码帧、帧间预测帧和映射帧分别采取对应的编码模式编码。

优选地，所述步骤C2进一步包括：

若当前帧为帧内编码帧，则采用帧内编码模式进行编码；

若当前帧为帧间预测帧，则以前一帧作为参考并采用帧间编码模式进行编码；

若当前帧为映射帧，则以前一个帧内编码帧作为参考并采用帧间编码模式进行编码。

由上可知，本发明在对视频序列进行编码的过程中，与现有技术的区别在于根据视频序列传输过程中的丢包率设定以帧内编码帧作为参考的映射帧的插入位置，并基于插入的映射帧进行编码，从而既保证了视频图像质量，也降低了延时，保证了视频图像的流畅。

附图说明

图1是现有技术一中视频序列的编码示意图；

图2是现有技术二中视频序列的编码示意图；

图3是现有技术二中视频序列的另一编码示意图；

图4是本发明的一个实施例中视频序列的编码示意图；

图5是本发明的一个实施例中对视频序列进行编码的方法流程图；

图6是本发明的另一实施例中对视频序列进行编码的方法流程图；

图7是本发明的又一实施例中对视频序列进行编码的方法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在本发明中，首先检测接收到的视频序列的丢包率，并根据丢包率设定以I帧作为参考的映射帧(即RP帧)的插入位置，然后基于插入的RP帧，在编码时对不同类型的当前帧进行编码，从而在保证视频图像质量的同时降低了延时。

图4是本发明的一个实施例中视频序列的编码示意图。该视频序列包括至少一个帧周期，由于各个帧周期的分布情况基本一致，因此在本实施例中仅示出了其中一个帧周期的情形。在该视频序列的一个帧周期中，包括一个I帧和多个P帧，以及插入的以I帧作为参考的RP帧。其中：

I帧与RP帧之间是一对多的映射关系，即一个I帧可以为多个RP帧的参考帧，RP帧只需根据I帧就可以解码。在本发明中，RP帧的插入位置根据视频序列传输过程的丢包率来确定。

在本发明的一个示例方案中，是根据当前的丢包率设定RP帧与I帧之间插入的P帧数，从而确定RP帧的插入位置。例如丢包率为0时，可以完全按照原有技术编码，不使用RP帧，相当于两个RP帧间有无数个P帧；随着丢包率不断增大，则不断减少两个RP帧之间的P帧数，最低可减小到0，即将所有P帧置换为RP帧。

在一个实施例中，可通过事先存储的数据映射表来控制其插入位置，该数据映射表包含丢包率与映射帧插入间隔之间的映射关系，其内容如下：

丢包率	RP帧插入间隔
		0％	不插入RP帧
0％-3％	9
		3％-5％	7
5％-10％	5
		10％-20％	3
20％-50％	1
		＞50％	0

在另一实施例中，是通过连续函数来设定该RP帧的插入位置，该函数表达式为：F(n)＝floor(1.6*ln(1/loss)-1)。其中，n表示当前帧距最近的I帧或RP帧的距离，F(n)表示该距离与丢包率之间的函数关系，loss为当前丢包率，ln(x)表示取x的自然对数，floor(x)表示取不小于x的最小非负整数。应当说明的是，该函数还可以是其他形式，本实施例的函数表达式并不用以限定本发明的保护范围。

图5示出了本发明的一个实施例中对视频序列进行编码的方法流程，具体过程如下：

在执行本发明的所有步骤之前，事先存储用以设定RP帧的插入位置的数据映射表或者函数参数。

在步骤S501中，接收端对接收到的视频序列进行丢包率检测，并将丢包率反馈至发送端。在本发明中，丢包率的检测可通过多种方式，在一个示例方案中，丢包率检测是基于视频序列中各帧的序号及时戳信息进行的，其具体过程包括：(1)接收端接收视频序列的数据包，视频序列中的各帧具有序号及时戳信息，是在发送时由发送端所添加的，具体的添加过程可参考现有技术；(2)接收端对数据包进行解析，并根据解析得到的序号及时戳信息计算丢包率；(3)接收端将计算出的丢包率反馈至发送端。

在步骤S502中，根据丢包率设定以I帧作为参考的RP帧的插入位置。I帧与RP帧之间是一对多的映射关系，即一个I帧可以为多个RP帧的参考帧，RP帧只需根据I帧就可以解码。在本发明中，RP帧的插入位置根据视频序列传输过程的丢包率来确定。在本发明的一个示例方案中，是根据当前的丢包率动态设定RP帧与I帧之间插入的P帧数，从而确定RP帧的插入位置。例如丢包率为0时，可以完全按照原有技术编码，不使用RP帧，相当于两个RP帧间有无数个P帧；随着丢包率不断增大，则不断减少两个RP帧之间的P帧数，最低可减小到0，即将所有P帧置换为RP帧。

在一个实施例中，可通过事先存储的数据映射表来控制其插入位置，该数据映射表包含丢包率与映射帧插入间隔之间的映射关系，其内容如下：

丢包率	RP帧插入间隔
		0％	不插入RP帧
0％-3％	9
		3％-5％	7
5％-10％	5
		10％-20％	3
20％-50％	1
		＞50％	0

在另一实施例中，是通过连续函数来设定该RP帧的插入位置，该函数如下：

F(n)＝floor(1.6*ln(1/loss)-1)；其中，n表示当前帧距最近的I帧或RP帧的距离，F(n)表示该距离与丢包率之间的函数关系，loss为当前丢包率，ln(x)表示取x的自然对数，floor(x)表示取不小于x的最小非负整数。应当说明的是，该函数还可以是其他形式，本实施例的函数表达式并不用以限定本发明的保护范围。

在步骤S503中，基于插入的映射帧进行编码，重构视频序列。该步骤具体包括：(1)根据当前帧的位置判断其类型是I帧、P帧还是RP帧；(2)根据判断结果，对是I帧、P帧和RP帧分别采取对应的编码模式编码。本发明的编码模式包括帧内编码模式和帧间编码模式，其具体过程与现有技术一致。对于帧内编码模式，编码图像仅经过离散余弦变换(Discrete Cosine Transform，DCT)，量化器和比特流编码器即生成编码比特流，而不经过预测环处理，DCT直接应用于原始的图像数据。对于帧间编码模式，原始图像首先与帧存储器中的预测图像进行比较，计算出运动矢量，由此运动矢量和参考帧生成原始图像的预测图像。而后，将原始图像与预测像素差值所生成的差分图像数据进行DCT变换，再经过量化器和比特流编码器生成输出的编码比特流。

图6示出了本发明的另一实施例中对视频序列进行编码的方法流程，该方法流程是一个具体应用场景中的实施例，具体过程如下：

在本实施例中执行所有步骤之前，事先存储数据映射表来控制RP帧的插入位置，该数据映射表包含丢包率与RP帧插入间隔之间的映射关系，表格内容可参考前述图4及图5中的表述，此处不再赘述。

在步骤S601中，接收端接收视频图像序列的数据包，通过解析到的各帧的序号及时戳信息检测其传输过程的丢包率为S。假设本实施例中丢包率S＝15％。

在步骤S602中，根据丢包率S，对事先存储的数据映射表进行查询，可知应该设置每隔3个P帧则插入一个RP帧。

在步骤S603中，根据当前帧的位置判断其类型是I帧、P帧还是RP帧：若为I帧则执行步骤S604；若为P帧则执行步骤S605；若为RP帧则执行步骤S606。

在步骤S604中，当前帧为I帧，则采用帧内编码模式，也即：编码图像仅经过DCT，量化器和比特流编码器即生成编码比特流，而不经过预测环处理，DCT直接应用于原始的图像数据。

在步骤S605中，当前帧为P帧，则以前一帧作为参考并采用帧间编码模式，也即：原始图像首先与帧存储器中的预测图像进行比较，计算出运动矢量，由此运动矢量和参考帧生成原始图像的预测图像。而后，将原始图像与预测像素差值所生成的差分图像数据进行DCT变换，再经过量化器和比特流编码器生成输出的编码比特流。

在步骤S606中，当前帧为RP帧，则以前一个I帧作为参考并采用帧间编码模式，具体过程与步骤S605中类似，只是参考帧有所区别。

在步骤S607中，判断是否完成编码：若是，则执行步骤S608；若否，则转步骤S603。

在步骤S608中，将编码后的视频序列发送至接收端进行解码。

图7示出了本发明的又一实施例中对视频序列进行编码的方法流程，该方法流程是一个具体应用场景中的实施例，具体过程如下：

在本实施例中执行所有步骤之前，事先设定好用以控制RP帧的插入位置的函数表达式中的各参数值，该函数表达式为F(n)＝floor(1.6*ln(1/loss)-1)。其中，n表示当前帧距最近的I帧或RP帧的距离，F(n)表示该距离与丢包率之间的函数关系，loss为当前丢包率，ln(x)表示取x的自然对数，floor(x)表示取不小于x的最小非负整数。

在步骤S701中，接收端接收视频图像序列的数据包，通过解析到的各帧的序号及时戳信息检测其传输过程的丢包率为S。假设本实施例中丢包率S＝7％。

在步骤S702中，发送端根据丢包率S和上述函数表达式计算RP帧插入间隔。在本实施例中，根据该函数表达式的计算结果是应该设置每隔5个P帧则插入一个RP帧。

在步骤S703中，根据当前帧的位置判断其类型是I帧、P帧还是RP帧：若为I帧则执行步骤S704；若为P帧则执行步骤S705；若为RP帧则执行步骤S706。

在步骤S704中，当前帧为I帧，则采用帧内编码模式，也即：编码图像仅经过DCT，量化器和比特流编码器即生成编码比特流，而不经过预测环处理，DCT直接应用于原始的图像数据。

在步骤S705中，当前帧为P帧，则以前一帧作为参考并采用帧间编码模式，也即：原始图像首先与帧存储器中的预测图像进行比较，计算出运动矢量，由此运动矢量和参考帧生成原始图像的预测图像。而后，将原始图像与预测像素差值所生成的差分图像数据进行DCT变换，再经过量化器和比特流编码器生成输出的编码比特流。

在步骤S706中，当前帧为RP帧，则以前一个I帧作为参考并采用帧间编码模式，具体过程与步骤S705中类似，只是参考帧有所区别。

在步骤S707中，判断是否完成编码：若是，则执行步骤S708；若否，则转步骤S703。

在步骤S708中，将编码后的视频序列发送至接收端进行解码。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1、一种视频序列的生成方法，所述视频序列包括至少一个帧周期，所述帧周期包括一个帧内编码帧和多个帧间预测帧，其特征在于，所述帧周期还包括至少一个以所述帧内编码帧作为参考的映射帧，其在帧周期中的插入位置根据当前视频序列传输过程的丢包率设定。

2、根据权利要求1所述的视频序列的生成方法，其特征在于，所述映射帧的插入位置由事先存储的数据映射表进行控制，所述数据映射表包含丢包率与映射帧插入间隔之间的映射关系。

3、根据权利要求1所述的视频序列的生成方法，其特征在于，所述映射帧的插入位置由以下函数表达式确定：F(n)＝floor(1.6*ln(1/loss)-1)；

其中，n表示当前帧距最近的帧内编码帧或映射帧的距离，loss为当前丢包率，ln(x)表示取x的自然对数，floor(x)表示取不小于x的最小非负整数。

4、一种对视频序列进行编码的方法，其特征在于，包括以下步骤：

A.接收端对接收到的视频序列进行丢包率检测，并将丢包率反馈至发送端；

B.发送端根据所述丢包率设定以帧内编码帧作为参考的映射帧的插入位置；

C.发送端基于插入的映射帧进行编码，重构视频序列。

5、根据权利要求4所述的对视频序列进行编码的方法，其特征在于，所述步骤A中的丢包率检测是基于视频序列中各帧的序号及时戳信息进行的。

6、根据权利要求5所述的对视频序列进行编码的方法，其特征在于，所述步骤A进一步包括：

A1.接收端接收视频序列的数据包，所述视频序列中的各帧具有序号及时戳信息；

A2.接收端对数据包进行解析，并根据解析得到的序号及时戳信息计算丢包率；

A3.接收端将计算出的丢包率反馈至发送端。

7、根据权利要求4所述的对视频序列进行编码的方法，其特征在于，所述步骤B进一步包括：发送端根据事先存储的数据映射表控制映射帧的插入位置，所述数据映射表包含丢包率与映射帧插入间隔之间的映射关系。

8、根据权利要求4所述的对视频序列进行编码的方法，其特征在于，所述步骤B进一步包括：发送端根据函数表达式确定映射帧的插入位置，该函数表达式为F(n)＝floor(1.6*ln(1/loss)-1)；

其中，n表示当前帧距最近的帧内编码帧或映射帧的距离，loss为当前丢包率，ln(x)表示取x的自然对数，floor(x)表示取不小于x的最小非负整数。

9、根据权利要求4所述的对视频序列进行编码的方法，其特征在于，所述步骤C进一步包括：

C1.根据当前帧的位置判断其类型是帧内编码帧、帧间预测帧还是映射帧；

C2.根据判断结果，对帧内编码帧、帧间预测帧和映射帧分别采取对应的编码模式编码。

10、根据权利要求9所述的对视频序列进行编码的方法，其特征在于，所述步骤C2进一步包括：

若当前帧为帧内编码帧，则采用帧内编码模式进行编码；

若当前帧为帧间预测帧，则以前一帧作为参考并采用帧间编码模式进行编码；

若当前帧为映射帧，则以前一个帧内编码帧作为参考并采用帧间编码模式进行编码。

Images