CN103686221A - 一种适应公用无线网络实现音视频流畅播出的方法 - Google Patents

Abstract

本发明涉及一种适应公用无线网络实现音视频流畅播出的方法，所述方法包括：设置参数；形成音视频传输流；丢弃部分信息；网络传输；添加部分信息；输出；制订传输策略。本发明通过实时的监测网络的当前网络有效带宽，实时调整传输策略，保证接收端的音视频流畅播出。如果编码码率已经调整到编码器最低的编码码率这样的极端状态下，则通过丢弃双向参考帧方式节省大约三分之一的网络带宽，保证每一帧视频帧的完整性以及音频的连续性。通过延时参数设置，保证整个传输过程的延时大小可以控制，避免由于网络状态的恶化，导致音视频传输延时的失控。同时在发送端适当丢弃音视频传输流中的PAT、PMT信息，去掉占位数据，节省带宽。

Description

一种适应公用无线网络实现音视频流畅播出的方法

技术领域

本发明涉及一种适应公用无线网络实现音视频流畅播出的方法，是一种网络数据传输的方法，是一种音视频数据传输的方法。

背景技术

数据传输的网络总会出现不稳定的状态，特别是公用无线网络存在带宽有限、状态不稳定、易受干扰等缺陷，尤其在公用无线网络中，基站的距离、建筑物的遮挡、天气情况、周围人群使用公用无线网络的变化都会对公用无线网络状态产生很大的影响；同时，对于音视频传输，音视频传输视频帧完整性、延时性、音频连续性的需求，以及音视频传输流自身数据量的波动均对编码和传输的控制策略提出了较高的要求。现有的网络音视频传输方法侧重考虑编码算法的优化和压缩比更高的编码格式，较多的考虑传输算法的优化，尽可能的利用网络带宽，提高带宽利用率。对于编码和传输的关系考虑得不够，结果不能够适应公用无线网络传输稳定性差的特点，遇到网络不稳定，传输的音视频图像和声音就会出现图像卡、马赛克、声音断续等问题。

发明内容

为解决现有技术的问题，本发明提出一种适应公用无线网络实现音视频流畅播出的方法。所述的方法根据公用无线网络状态，实时调整编码码率，并在极限状态下主动丢弃若干视频帧，并适当丢弃音视频传输流中的PAT、PMT信息、去掉占位数据，可以使编码和传输的关系更为协调，在接收端得到质量更高的传输流。

本发明的目的是这样实现的：一种适应公用无线网络实现音视频流畅播出的方法，所述方法使用的系统包括：通过网络连接的发送端和接收端，所述的发送端设有编码器，所述的接收端设有解码器和板卡，所述的方法的步骤如下：

设置参数的步骤：用于在发送端设置期望编码码率和编码参数，在接收端设置延时参数；

形成音视频传输流的步骤：用于根据初始的编码码率或传输策略制订的编码码率启动编码器，对被传输的音视频信号进行编码，形成音视频传输流；

丢弃部分信息的步骤：用于保留音视频传输流开始传输时的第1秒的节目关联表PAT、节目映射表PMT，丢弃第1秒之后的PAT、PMT信息，并去掉占位数据，同时根据传输策略确定是否丢弃双向参考帧，形成压缩包传输流；

网络传输的步骤：用于发送端将压缩包传输流发送至接收端，接收端将延时参数内收到的压缩包传输流送入下一步骤处理，并丢弃延时参数之外收到的压缩包传输流，同时进入“制订传输策略的步骤”；

添加部分信息的步骤：用于将压缩包传输流添加除第1秒之外的所有PAT、PMT信息，添加占位数据，形成音视频传输流；

输出的步骤：用于或者将音视频传输流进行流转发，或者通过解码器将音视频传输流解码成音视频信号，将音视频信号发给板卡播出；

制订传输策略的步骤：用于根据网络有效带宽对编码码率进行调整，同时确定是否丢弃双向参考帧，之后回到“形成音视频传输流的步骤”，本步骤包括如下子步骤：

计算网络有效带宽的子步骤：用于接收端根据延时参数计算当前网络有效带宽，并将当前网络有效带宽发送至发送端；

分析当前网络有效带宽的子步骤：用于判断网络的当前网络有效带宽是否大于、等于或者小于当前编码码率，如果当前网络有效带宽大于当前编码码率则发出调高编码码率的传输策略，如果当前网络有效带宽等于当前编码码率则发出维持当前编码码率的传输策略，如果当前网络有效带宽小于当前编码码率则进入下一子步骤；

编码器能力判断的子步骤：用于判断当前网络有效带宽是否低于编码器所能编制的最低码率，如果“否”则发出调低编码码率至与当前网络有效带宽相匹配的编码码率的传输策略，如果“是”则进入下一子步骤；

调整至最低码率的子步骤：用于发出调低编码码率至编码器所能编制的最低码率，并且丢弃双向参考帧的传输策略。

进一步的，所述的编码参数是GOP 12，帧结构IBBP。

本发明产生的有益效果是：本发明通过实时的监测网络的当前网络有效带宽，实时调整传输策略，根据当前带宽的变化选择合适的编码码率，保证接收端的音视频流畅播出。如果编码码率已经调整到编码器最低的编码码率这样的极端状态下，则通过丢弃双向参考帧方式节省大约三分之一的网络带宽，保证每一帧视频帧的完整性以及音频的连续性。通过延时参数设置，保证整个传输过程的延时大小可以控制，避免由于网络状态的恶化，导致音视频传输延时的失控。同时在发送端适当丢弃音视频传输流中的PAT、PMT信息，去掉占位数据，节省带宽。

附图说明

下面结合附图和实施例对本发明作进一步说明。

图1是发明实施例一所述方法所使用的系统示意图；

图2是发明实施例一所述方法的流程图；

图3是发明实施例一所述方法的制订传输策略的步骤的流程图

图4是发明实施例二所述方法的编码参数的GOP结构示意图。

具体实施方式

实施例一：

本实施例是一种适应公用无线网络实现音视频流畅播出的方法，所述的方法根据网络状态的实时参数调整传输策略，保证网络存在较大范围波动的环境下音视频的流畅播出。所述的传输策略包括：当网络有效带宽低于编码码率时，自动调低编码码率至低于网络有效带宽的值。当网络有效带宽低于编码码率调整范围的最低值时，采用最低码率编码，并主动丢弃传输流中的双向参考帧，以节省传输的数据量，保证音频优先。当网络带宽能够匹配编码码率，则尝试调高编码码率，获得更高的画面质量。另外，为减少数据传输量，在发送端适当丢弃传输流中的PAT（Program Association Table节目关联表）、PMT（Program Map Table节目映射表）信息，去掉占位数据，在同样的网络状态下获得了更高的编码码率。在接收端通过计算方式恢复成音视频传输流，保证音视频传输流的规范性和一致性。

本实施例所述方法所使用的系统包括（如图1所示）：通过网络连接的发送端和接收端，所述的发送端设有编码器，所述的接收端设有解码器和板卡。所述的网络是公共无线通讯网络，可以是手机无线通讯网，或者是WiFi。所述的发送端可以是各种无线通讯终端，如手机、平板电脑或者专用设备。所述的接收端可以是PC机、服务器等具有网络数据接收、解码、音视频信号输出能力的设备。所述的编码器、解码器、可以专门设计的硬件芯片，也可以是由硬件芯片和软件构成的系统，或者是软件模块。板卡是专门用于播放音视频的专用硬件设施，也可以是播放器之类的软件。

所述的方法的步骤如下（流程如图2所示）：

设置参数的步骤：用于在发送端设置期望编码码率和编码参数，在接收端设置延时参数。在传输初始时，首先设置一个期望编码码率，此码率为期望达到的理想值。这个期望码率主要是为了测试所使用网络的网络有效带宽。编码参数为固定值，通常情况下可以设置为GOP 12，帧结构IBBP（GOP为Group of Pictures画面组，一组连续的画面；IBBP为画面组中帧的一种排列方式）。延时参数是一个规定的时间长度，用于在接收端设置一个规定的时间长度的缓冲区，保存压缩包数据流。当数据包从发送端发送时开始计时，在规定的时间长度之内到达接收端的数据包认为是有效的，保存在缓冲区；在规定的时间长度之外到达接收端的数据包认为是无效的，接收端丢弃这些数据包。保存在缓冲区中的数据包从发送时算起，经过规定的时间长度之后，才进入下一步骤。例如，设置延时参数为5秒，接收端将5秒之内到达的数据包保存在缓冲区，而丢弃5秒之外到达的数据包。保存在缓冲区的数据包，从发送时算起，经过5秒后，进入下一步骤。设置延时参数可以有效控制数据传输的延时性，并保证播出的 流畅性；避免由于网络环境的恶化，导致音视频传输的延时失控，和产生音视频播出的卡顿现象。

形成音视频传输流的步骤：用于根据初始的编码码率或传输策略制订的编码码率启动编码器，对被传输的音视频信号进行编码，形成音视频传输流。

丢弃部分信息的步骤：用于保留音视频传输流开始传输时的第1秒的节目关联表PAT、节目映射表PMT，丢弃第1秒之后的PAT、PMT信息，并去掉占位数据，形成压缩包传输流。PAT、PMT以0.5秒为周期循环出现在音视频传输流中，在同一个音视频传输流中，所有的PAT、PMT均记录相同的信息。因此，音视频传输流中的绝大部分PAT、PMT信息为冗余信息。只需要传输第1秒的PAT、PMT信息，由接收端记录下，形成音视频传输流时，再添加PAT、PMT信息。音视频传输流按照188个字节分成大小相等的数据包，每个数据包中记录视频、音频或者其它媒体信息。当一帧数据没有占满一个数据包时，音视频传输流会加上占位数据，填满188个字节，并记录有效数据量的大小。发送时可以去掉占位数据，只记录有效数据量的大小即可，需要时再添加占位数据。适当去掉PAT、PMT信息，并去掉占位数据，形成压缩包传输流。压缩包数据流去掉了音视频传输流中的冗余信息，使网络可以传输更多的有效数据。

网络传输的步骤：用于发送端将压缩包传输流发送至接收端，接收端将延时参数内收到的压缩包传输流送入下一步骤处理，并丢弃延时参数之外收到的压缩包传输流，同时进入“制订传输策略的步骤”。本实施例所述的接收端不但要对接收的数据流进行解码等处理工作，还有一项十分重要的工作是对网络的当前带宽进行测试，测试过程是在数据传输过程中不断进行实时测试，随时监测网络的网络有效带宽，并实时的通知发送端。

添加部分信息的步骤：用于将压缩包传输流添加除第1秒之外的所有PAT、PMT信息，添加占位数据，形成音视频传输流。接收端将接收到的压缩包传输流第1秒内的PAT和PMT记录下，之后将PAT、PMT以0.5秒为周期循环恢复到压缩包传输流中，并根据有效数据量的大小添加占位数据，形成音视频传输流。

输出的步骤：用于或者将音视频传输流进行流转发，或者通过解码器将音视频传输流解码成音视频信号，将音视频信号发给板卡播出。解码器收到的音视频传输流，如果在发送端丢弃了双向参考帧，则解码出的视频信号缺失双向参考帧所对应的视频帧。此时，将上一帧视频帧重复发给板卡，使之播放重复的画面，而不是黑场，保持视频的连续性。

制订传输策略的步骤：用于根据网络有效带宽对编码码率进行调整，同时确定是否丢弃双向参考帧，之后回到“形成音视频传输流的步骤”，本步骤包括如下子步骤（流程如图3所示）：

计算网络有效带宽的子步骤：用于接收端根据延时参数计算当前网络有效带宽，并将当前网络有效带宽发送至发送端。所述的网络有效带宽是接收端在延时参数之内获取的数据包大小与时间的比值。

分析当前网络有效带宽的子步骤：用于判断网络的当前网络有效带宽是否大于、等于或者小于当前编码码率。网络有效带宽是接收端在一定时长内，在延时参数内收到的数据量与时长的比值，编码码率是一定时长的音视频信号，编码成为音视频传输流的数据量与时长的比值；网络有效带宽和编码码率均与数据比特率为同一量纲，单位是bit/s。网络有效带宽匹配编码码率是公用无线网络实现音视频流畅播出的必要条件：如果当前的网络有效带宽大于或者等于当前的编码码率，则压缩包传输流可以实时的进行网络传输，可能实现音视频流畅播出；如果当前的网络有效带宽小于当前的编码码率，则压缩包传输流不能实时的进行网络传输，实现音视频流畅播出出现困难。为此，制定传输策略，使编码码率匹配网络有效带宽。如果当前网络有效带宽大于当前编码码率则发出调高编码码率的传输策略，如果当前网络有效带宽等于当前编码码率则发出维持当前编码码率的传输策略，如果当前网络有效带宽小于当前编码码率则进入下一子步骤。

编码器能力判断的子步骤：用于判断当前网络有效带宽是否低于编码器所能编制的最低码率，如果“否”则发出调低编码码率至与当前网络有效带宽相匹配的编码码率的传输策略，如果“是”则进入下一子步骤。

调整至最低码率的子步骤：用于发出调低编码码率至编码器所能编制的最低码率，并且丢弃双向参考帧的传输策略。码率的变化和调整所受到的限制在于编码器所能编制的最低码率，如果当前的网络有效带宽低于这个限制就要丢弃双向参考帧，以节省带宽，传输更加必要的数据。

实施例二：

本实施例是实施例一的改进，是实施例一关于编码参数的细化。本实施例所述的编码参数是GOP 12，帧结构IBBP。

图4是本实施例所述编码参数的GOP结构示意图，图中显示了一个GOP中共有12帧，包括1个I 帧，3个P帧和8个B帧，排列结构为I、B、B、P、B、B、P、B、B、P、B、B（图中箭头表示预测方向）。I帧即Intra-coded picture（帧内编码图像帧），不参考其他图像帧，只利用本帧的信息进行编码；P帧即Predictive-coded Picture（预测编码图像帧），参考之前的I帧或P帧，采用运动预测的方式进行帧间预测编码; B帧即Bidirectionally predicted picture（双向预测编码图像帧，简称双向参考帧)，提供最高的压缩比，它既需要参考之前的图像帧(I帧或P帧)，也需要参考后来的图像帧(P帧)，采用运动预测的方式进行帧间双向预测编码。由于B帧具有较高的压缩比，帧结构IBBP在减小由于编码产生的图像质量损失的同时，尽可能的提高了编码压缩比，降低编码的数据量，减轻对于网络传输的压力。由于B帧不被其它帧所参考，因此如果丢弃GOP中的B帧，不影响其它帧解码后图像的正确性和完整性。采用丢弃B 帧的策略可以进一步降低编码的数据量；同时，丢弃B帧降低了视频解码后的帧率，但是保持了每一帧图像的正确性和完整性。因此，这样的编码参数和丢帧策略，作为适应网络环境和符合流畅播出要求的平衡点，可以最大限度的发挥编码优势并有效利用带宽，使编码码率匹配网络有效带宽，在公用无线网络的条件下实现音视频的流畅播出。

最后应说明的是，以上仅用以说明本发明的技术方案而非限制，尽管参照较佳布置方案对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案（比如传输策略的形式、步骤的先后顺序等）进行修改或者等同替换，而不脱离本发明技术方案的精神和范围。本发明所述的方法可编制为应用于计算机系统的程序，并运行于本发明所述的计算机网络系统中。 

Claims (2)

1.一种适应公用无线网络实现音视频流畅播出的方法，所述方法使用的系统包括：通过网络连接的发送端和接收端，所述的发送端设有编码器，所述的接收端设有解码器和板卡，其特征在于，所述的方法的步骤如下：

设置参数的步骤：用于在发送端设置期望编码码率和编码参数，在接收端设置延时参数；

形成音视频传输流的步骤：用于根据初始的编码码率或传输策略制订的编码码率启动编码器，对被传输的音视频信号进行编码，形成音视频传输流；

丢弃部分信息的步骤：用于保留音视频传输流开始传输时的第1秒的节目关联表PAT、节目映射表PMT，丢弃第1秒之后的PAT、PMT信息，并去掉占位数据，同时根据传输策略确定是否丢弃双向参考帧，形成压缩包传输流；

网络传输的步骤：用于发送端将压缩包传输流发送至接收端，接收端将延时参数内收到的压缩包传输流送入下一步骤处理，并丢弃延时参数之外收到的压缩包传输流，同时进入“制订传输策略的步骤”；

添加部分信息的步骤：用于将压缩包传输流添加除第1秒之外的所有PAT、PMT信息，添加占位数据，形成音视频传输流；

输出的步骤：用于或者将音视频传输流进行流转发，或者通过解码器将音视频传输流解码成音视频信号，将音视频信号发给板卡播出；

制订传输策略的步骤：用于根据网络有效带宽对编码码率进行调整，同时确定是否丢弃双向参考帧，之后回到“形成音视频传输流的步骤”，本步骤包括如下子步骤：

计算网络有效带宽的子步骤：用于接收端根据延时参数计算当前网络有效带宽，并将当前网络有效带宽发送至发送端；

分析当前网络有效带宽的子步骤：用于判断网络的当前网络有效带宽是否大于、等于或者小于当前编码码率，如果当前网络有效带宽大于当前编码码率则发出调高编码码率的传输策略，如果当前网络有效带宽等于当前编码码率则发出维持当前编码码率的传输策略，如果当前网络有效带宽小于当前编码码率则进入下一子步骤；

编码器能力判断的子步骤：用于判断当前网络有效带宽是否低于编码器所能编制的最低码率，如果“否”则发出调低编码码率至与当前网络有效带宽相匹配的编码码率的传输策略，如果“是”则进入下一子步骤；

调整至最低码率的子步骤：用于发出调低编码码率至编码器所能编制的最低码率，并且丢弃双向参考帧的传输策略。

2.根据权利要求1所述的方法，其特征在于，所述的编码参数是GOP 12，帧结构IBBP。

Images