CN102006476A - 一种传输和接收实时视频数据的优化处理方法 - Google Patents

Abstract

本发明一种传输和接收实时视频数据的优化处理方法，当发送端将视频数据组包时，以视频帧为单位组包传输；在发送前对视频数据包进行编号，以窗口号为单位进行组织，接收端根据接收帧的编号判断数据的接收完整度，若发现有未收到的数据帧，则接收端发送控制命令给发送端要求重传；接收端接收到发送端传来的视频数据先存入缓存，当缓存中的视频数据达到一定数量时才开始解码播放；在解码播放时，接收端对缓存中的视频数据，以一个窗口为一组可完整编码播放的帧进行处理；本发明能够在带宽不足或不稳定的网络上，减少出现丢包、滞后、速率不稳定等情况，从而改善实时视频的显示效果。

Description

一种传输和接收实时视频数据的优化处理方法

技术领域

本发明涉及一种传输和接收实时视频数据的优化处理方法，尤指在带宽相对不足或不稳定的网络上传输和接收实时视频数据的优化处理方法。

背景技术

在互联网高速发展的今天，网络带宽得到了极大的发展，网络应用也日渐丰富，实时视频数据传输作为网络应用的一种也逐渐地发展起来，例如视频聊天、视频会议、视频监控已在诸多领域使用。但是在一定的情况下，网络带宽仍然相对不足，例如：在网络使用的高峰时段网络数据可能造成拥堵；在使用无线网络传输数据时由于网络自身的不稳定或者移动终端不停变换位置的影响造成网络通信的不顺畅；有的地方网络互连互通做的不够好，当数据跨运营商网络传输时，例如从电信到网通网络跨网传输时，数据传输的实际可用带宽可能会下降；上述种种原因造成视频数据的传输并不总是顺畅的，可能出现丢包、滞后、速率不稳定等情况，最终对实时视频的显示效果产生了影响，因此，需要针对性地采用一些方法来对实时视频数据的传输和接收进行优化处理，以最大可能地改善实时视频的显示效果。

发明内容

本发明的目的在于提供一种传输和接收实时视频数据的优化处理方法，能够在带宽不足或不稳定的网络上，减少出现丢包、滞后、速率不稳定等情况，从而改善实时视频的显示效果。

本发明一种传输和接收实时视频数据的优化处理方法，具体包括如下：

发送端将视频数据组包时，以视频帧为单位组包传输；发送端在发送前对视频数据包进行编号，以窗口号为单位进行组织，以一组或多组可完整进行解码播放的帧为一个窗口，一个窗口可以包含一个或多个i帧，以及多个p帧，编号格式为(窗口号，窗口内帧号)；

接收端根据接收帧的编号判断数据的接收完整度，若发现有未收到的数据帧，则接收端发送控制命令给发送端要求重传；接收端每收到一个窗口的最后一帧数据，对该窗口进行接收完整度的判断和重传处理；若接收端没有收到窗口的最后一帧数据，直接开始收到后续窗口的数据帧，则接收端仍然会对上一窗口进行接收完整度的判断和重传处理；传输完一个窗口的数据帧后，发送端不需要等待接收端的接收完成应答，直接传输后续窗口的数据，一旦收到接收端的重传控制指令，发送端优先重传接收端指定的数据帧；

接收端接收到发送端传来的视频数据不立即解码播放，而是先存入缓存，当缓存中的视频数据达到一定数量时才开始解码播放；在解码播放时，接收端对缓存中的视频数据，以一个窗口为一组可完整编码播放的帧进行处理，判断方式如下：

(1)若窗口数据中没有i帧，则此窗口数据不进行播放处理；

(2)若窗口数据中i帧存在，而后续有连续N个p帧不存在，则从这连续N个p帧的第一帧起之后的帧不进行解码；

(3)若窗口数据中i帧存在，后续有M个p帧不存在，这M个不存在的帧在编号上并非连续的，则在这M个p帧的最后一帧起之后的帧不进行解码。

该接收端对同一数据帧的重传请求只下发一次。

该接收端在解码播放时，解码播放设备按照数据中的原始帧率进行匀速播放，若缓存占用率超过阈值时，则加快播放速度，一旦缓存占用率低于阈值，则立即按原始帧率进行播放。

本发明提供一种实时视频数据传输和接收的优化处理方法，在无线移动终端的实时视频上传系统上进行应用，在不同网络带宽的情况下(分别使用TD-SCDMA、WCDMA、CDMA2000网络)，在网络信号质量不同的区域，传输1路CIF视频，马赛克出现的几率和面积显著降低，视频播放的速度相对稳定，视频显示的效果有显著提高。

附图说明

图1为本发明的视频数据组包示意图；

图2为本发明中一个窗口的帧组成示意图；

图3为本发明中一个窗口接收时连续缺少N个p帧的示意图；

图4为本发明中一个窗口接收时累计缺少M个p帧的示意图；

图5为本发明中视频播放随接收缓存占用率控制的示意图。

以下结合附图和具体实施例对本发明作进一步详述。

具体实施方式

本发明一种传输和接收实时视频数据的优化处理方法，具体包括如下：

发送端将视频数据组包时，以视频帧为单位组包传输，视频数据组包如图1所示。考虑到网络上可能出现的丢包现象，如果视频数据不以视频帧为单位组包，则一个数据包可能包含多帧数据的全部或一部分，这样一旦一个数据包丢失，就会出现所包含的视频帧都无法解码播放的问题，需要重传数据，若不重传则将导致视频画面的缺失，例如“马赛克”现象。因此，视频数据须以视频帧为单位组包发送，这样丢失一个包只影响该帧画面的解码播放，将影响降到最低。

发送端在发送前对视频数据包进行编号，以窗口号为单位进行组织，以一组或多组可完整进行解码播放的帧为一个窗口，一个窗口可以包含一个或多个i帧，以及多个p帧，编号格式为(窗口号，窗口内帧号)，接收端根据接收帧的编号判断数据的接收完整度，若发现有未收到的数据帧，则接收端发送控制命令要求发送端重新传输。

例如，若编码时每25个帧包含一个i帧，则可以1个i帧及其后的24个p帧为一个窗口，如图2所示，编号格式为(窗口号，窗口内帧号)，则视频帧的编号依次为“(1，1)(1，2)(1，3)……(1，24)(1，25)(2，1)(2，2)……”。例如若收到的帧编号为(1，1)(1，2)(1，3)(1，4)(1，5)(1，7)(1，9)(1，13)(1，14)(1，18)(1，19)(1，20)(1，21)(1，22)(1，23)(1，24)(1，25)”，接收端发现编号为(1，6)(1，8)(1，10)(1，11)(1，12)(1，15)(1，16)(1，17)帧没有收到，则接收端发送控制命令要求发送端重新传输。接收端每收到一个窗口的最后一帧数据，对该窗口进行接收完整度的判断和重传处理；若接收端没有收到编号为(1，25)的数据帧(即窗口1的最后一帧)，则判断开始收到后续窗口的数据帧时(例如窗口号为2的任一帧，甚至后续其他窗口号的任一帧)，接收端仍然会对窗口1进行接收完整度的判断和重传处理。

为确保数据的流畅性，发送端不需要等待接收端的接收完成应答，可以继续传输后续窗口的数据，一旦收到接收端的重传控制指令，发送端优先重传接收端指定的数据帧。为防止反复重传数据帧占用带宽，可规定接收端对同一数据帧的重传请求只下发一次。因为如果接收端请求重传一次后仍收不到此数据帧，则此时的网络传输质量可能是不好的，反复多次请求重传也没有意义。

接收端接收到发送端传输来的视频数据不立即解码播放，而是先存入缓存，当缓存中的视频数据达到一定数量时才开始解码播放。例如当帧率为25fps时，缓存中的帧数达到250帧时才开始解码播放，则视频画面将延迟10秒左右。这样，在数据帧解码播放前，收发双方还有一定的时间进行接收状态检测、排序和重传控制等处理。

在解码播放时，接收端对缓存中的视频数据，按照视频帧的特性，以一组可完整进行解码播放的帧为单位进行处理，即1个i帧+后续若干p帧。假设帧编号采取“1个i帧+24个p帧”为一个窗口的方式组织，则一个窗口即为一组可完整编码播放的帧。判断方式如下：

(1)若一个窗口的数据没有第一个帧，即i帧，则此窗口数据不进行播放处理，因为缺乏基础帧，后续的p帧也无法正确解码；

(2)若i帧存在，而后续有连续N个p帧不存在，如图3所示，则从这连续N个编号帧的第一帧起之后的帧不进行解码。因为若少数p帧不存在，可能只是部分视频数据丢失，会出现局部马赛克画面，视频显示效果在可接受范围内，但若连续多个p帧不存在，则一般来说对视频显示效果的影响较大，则不应解码播放；

(3)若i帧存在，后续有M个p帧不存在，如图4所示，则在这M个编号帧的最后一帧起之后的帧不进行解码。这样做的原因同上，区别在于这M个不存在的帧在编号上并非连续的，中间可能有其他已收到的帧。

接收端在解码播放时，根据数据缓存的多少控制播放速度。当缓存中的数据量随着网络接收情况而波动时，解码播放设备应尽量按照数据中的帧率进行匀速播放，但短时间内收到大量的数据帧时，只要没有超过缓存占用率的阈值，则仍按照帧率播放，防止视频的突然快进；当数据接收变慢时，因为缓存中积累了一定的数据，接收端在一定的时间内仍然可以按照原始帧率进行播放。但若缓存中的数据接收实在太快造成缓存使用率超过一定的阈值(例如85％)时，可以适当加快播放速度，以免缓存溢出造成新的数据无法接收，一旦缓存内的数据低于使用率阈值，则立即恢复按原始帧率播放，视频的播放速度随接收缓存占用率的控制如图5所示。

本发明实施的一个具体例子如下：

发送端将视频数据组包时，以视频帧为单位组包传输，发送端在发送前对视频数据包进行编号，以窗口号为单位进行组织，以一组可完整进行解码播放的帧为一个窗口，发送端的帧率为25fps，每25帧包含一个i帧，以1个i帧+24个p帧为一个窗口进行编号，编号格式为(窗口号，窗口内帧号)。

接收端根据接收帧的编号判断数据的接收完整度，若发现有未收到的数据帧，接收端会发送控制命令要求发送端重新传输；接收端每收到一个窗口的最后一帧数据，就进行重传判断；若没有收到该窗口的最后一帧数据，直接收到后续窗口的任一帧数据，仍然会对前一窗口进行重传判断；对同一帧数据，接收方要求发送端重发的指令只下发一次；发送端不需要等待接收端的接收完成应答，直接传输后续窗口的数据，一旦收到接收端的重传控制指令，发送端优先重传接收端指定的数据帧。

接收端接收到发送端传来的视频数据不立即解码播放，而是先存入缓存，当缓存中的视频数据达到一定数量时才开始解码播放。接收端开辟总共500帧的接收缓冲区，初始时，接收到250帧时开始解码播放。在解码播放时，接收端对缓存中的视频数据以一个窗口为单位进行处理，判断方式如下：

(1)若一个窗口的数据没有第一个帧，即i帧，则此窗口数据不进行播放处理；

(2)若i帧存在，而后续有连续N个p帧不存在，则从这连续N个p帧的第一帧起之后的帧不进行解码，N可取值为3；

(3)若i帧存在，后续有M个p帧不存在，这M个不存在的帧在编号上并非连续的，中间可能有其他已收到的帧，则在这M个p帧的最后一帧起之后的帧不进行解码，M可取值为4。

接收端在解码播放时，解码播放设备按照数据中的帧率进行匀速播放，若缓存占用率超过一定的阈值(例如85％)时，则加快播放速度，一旦缓存占用率低于阈值，则立即恢复按原始帧率播放。

以上所述，仅是本发明较佳实施例而已，并非对本发明的技术范围作任何限制，故凡是依据本发明的技术实质对以上实施例所作的任何细微修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (3)

1.一种传输和接收实时视频数据的优化处理方法，其特征在于：

发送端将视频数据组包时，以视频帧为单位组包传输；发送端在发送前对视频数据包进行编号，以窗口号为单位进行组织，以一组或多组可完整进行解码播放的帧为一个窗口，一个窗口可以包含一个或多个i帧，以及多个p帧，编号格式为(窗口号，窗口内帧号)；

接收端根据接收帧的编号判断数据的接收完整度，若发现有未收到的数据帧，则接收端发送控制命令给发送端要求重传；接收端每收到一个窗口的最后一帧数据，对该窗口进行接收完整度的判断和重传处理；若接收端没有收到窗口的最后一帧数据，直接开始收到后续窗口的数据帧，则接收端仍然会对上一窗口进行接收完整度的判断和重传处理；传输完一个窗口的数据帧后，发送端不需要等待接收端的接收完成应答，直接传输后续窗口的数据，一旦收到接收端的重传控制指令，发送端优先重传接收端指定的数据帧；

接收端接收到发送端传来的视频数据不立即解码播放，而是先存入缓存，当缓存中的视频数据达到一定数量时才开始解码播放；在解码播放时，接收端对缓存中的视频数据，以一个窗口为一组可完整编码播放的帧进行处理，判断方式如下：

(1)若窗口数据中没有i帧，则此窗口数据不进行播放处理；

(2)若窗口数据中i帧存在，而后续有连续N个p帧不存在，则从这连续N个p帧的第一帧起之后的帧不进行解码；

(3)若窗口数据中i帧存在，后续有M个p帧不存在，这M个不存在的帧在编号上并非连续的，则在这M个p帧的最后一帧起之后的帧不进行解码。

2.根据权利要求1所述的一种传输和接收实时视频数据的优化处理方法，其特征在于：接收端对同一数据帧的重传请求只下发一次。

3.根据权利要求1所述的一种传输和接收实时视频数据的优化处理方法，其特征在于：接收端在解码播放时，解码播放设备按照数据中的原始帧率进行匀速播放，若缓存占用率超过阈值时，则加快播放速度，一旦缓存占用率低于阈值，则立即按原始帧率进行播放。

Images