CN112911650A - 移动高清视频智能双向探测带宽控制系统 - Google Patents

Abstract

本发明提出一种移动高清视频智能双向探测带宽控制方法，将目标端帧级时延趋向提取方法和扩展RTP/RTCP驱动的源端快速自适应方法相融合，不仅保留目标端帧级时延趋向提取方法的精确性，使得编码码率能充分使用链路可用视频带宽以达到最好的主观效果，同时融合RTP/RTCP速度快的特征，避免针对移动高清视频通信的链路缓存过小导致在探测到拥塞前出现丢包现象，提升移动高清视频的体验，并基于此提出一种视频带宽控制架构，使其针对波动的移动网络具有更好的视频效果，在实际应用中可行性强，是一种简洁高效、实用性强，本发明作为移动高清视频质量保证的最重要环节，对移动高清视频通信具有极其重要的作用。

Description

移动高清视频智能双向探测带宽控制系统

技术领域

本发明涉及一种移动视频带宽控制系统，特别涉及一种移动高清视频智能双向探测带宽控制系统，属于移动视频带宽技术领域。

背景技术

近年来，移动互联网产业高速发展，用户数量急速增加，使用强度也大幅上升，越来越多的移动终端助力工作、生活、娱乐，使得经济社会高速发展，人们的生活满意度和获得感不断提升。同时，移动高清视频需求在不断上升，思科发布的全球移动数据流量预测白皮书显示，当前视频流量占全球互联网网络流量消耗的七成以上，所占比例还在不断增加，作为移动高清视频流量的组成部分，视频通话的需求也在不断增加，但由于移动网络环境的复杂性，造成了移动高清视频通话还不能够完全满足人们的日常需求。

另外，由于信号覆盖、环境复杂、使用人数过多造成带宽竞争和高速移动易造成的带宽变化，造成丢包、时延增加、抖动等一系列问题，这将降低用户使用移动高清视频的可靠性和主观感受，对于常见的MPEG编码视频，3％的丢包率将使得30％的视频帧出现问题，较高的丢包率严重影响视频的主观质量。同时，也可能因为丢包导致目标端接收到的数据包不能完整解码，属于无效数据，浪费了链路带宽，这些问题对视频传输都是极大的考验，而视频高清通话更加需保证视频的质量和流畅性。

总的来说，由于移动网络信号覆盖、环境复杂、带宽容量的限制，同时存在不可靠性，实际可用视频带宽易变化，故视频通信带宽需自适应调整，以得到更好的带宽利用率和显示效果。现有技术可用视频带宽估算方法存在时延高、精确度和通用型低的问题，因此，基于双向探测来更及时更精确的估算网络即时可用视频带宽，以自适应的选择使用最优的编码参数组合，从而使视频通信的质量最佳化，对促进移动高清视频通信业务的大发展具有十分重要的意义，可以有效应对移动高清视频通信业务面临的低质瓶颈，具有十分重大的利用价值和运用空间。

源端的带宽探测主要由链路源端收集当前链路状态，包括丢包率、链路时延、可用带宽等，可用带宽测量按是否需要向被测链路注入探测包，分为主动测量和被动测量，其中主动测量方法是通过向被测链路中发送探测包分组对或探测包串，在目标端接收到经过被测链路后的探测包数据流，由于被测链路连通状态发生改变而导致探测包传输速率变化，进而出现丢包率、时延等网络指标变化，现有技术的方法是探测间隔模型PGM和探测速率模型PRM。PGM模型通过探测包对间隔变化估算可用带宽，当探测包发送速率大于链路可用带宽时，接收到的包间隔变大，PGM算法实现较简单，速度快，计算复杂度也较低，但明显存在的问题是，算法需要满足发送速率大于链路可用带宽，并要知道紧凑链路及其带宽大小，PGM模型被测链路容量是已知的，而且需满足被测链路的狭窄链路与瓶颈链路重合，不满足该条件会造成测量结果的偏差；PRM算法的思路是向被测链路中注入大量探测包，不拥塞链路的最大探测包发送速率即为链路可用视频带宽，PRM模型和PGM模型一样，同为主动测量需通过探测包使被测链路拥塞，故测量过程会影响链路现有状态和内部数据流，降低了链路传输能力，提高了出现不稳定情况的可能性。

目标端带宽探测和源端一样分为主动和被动算法，类似于源端的PTR，现有技术目标端带宽探测将RTP包重用为探测包，避免探测包影响原有数据，利用数据时延变化趋向探测链路可用视频带宽变化，并反馈编码端进行调整。虽然目标端算法可以充分的使用链路可用视频带宽，但存在探测速度慢的缺点。

现有技术依然没有解决移动高清视频带宽控制的难题，现有技术的难点和本发明解决的问题主要集中在以下方面：

第一，移动网络环境的复杂性，造成了移动高清视频通话还不能够完全满足人们的日常需求，由于信号覆盖、环境复杂、使用人数过多造成带宽竞争和高速移动易造成的带宽变化，造成丢包、时延增加、抖动等一系列问题，降低用户使用移动高清视频的可靠性和主观感受，同时，因为丢包导致目标端接收到的数据包不能完整解码，属于无效数据，浪费了链路带宽，这些问题对视频传输都是极大的考验，也严重制约视频高清通话视频的质量和流畅性，针对移动高清视频的特殊性，现有技术还没有一种性能优异、智能探测带宽控制的解决方法；

第二，现有技术可用视频带宽估算方法存在时延高、精确度和通用型低的问题，源端的带宽探测主要由链路源端收集当前链路状态，其中主动测量方法是通过向被测链路中发送探测包分组对或探测包串，在目标端接收到经过被测链路后的探测包数据流，由于被测链路连通状态发生改变而导致探测包传输速率变化，进而出现丢包率、时延等网络指标变化，现有技术的PGM模型通过探测包对间隔变化估算可用带宽，但明显存在的问题是，算法需要满足发送速率大于链路可用带宽，并要知道紧凑链路及其带宽大小，PGM模型被测链路容量是已知的，而且需满足被测链路的狭窄链路与瓶颈链路重合，不满足该条件会造成测量结果的偏差；PRM算法测量过程会影响链路现有状态和内部数据流，降低了链路传输能力，提高了出现不稳定情况的可能性；

第三，由于高清视频带宽需求和实际移动网络带宽的不平衡及实际无线网络的不可靠性，针对移动高清视频通信的链路可用视频带宽探测面临各种困难：一是低时延需求难以得到满足，当链路可用视频带宽发生变化时，需实时得到探测结果，以供编码源端及时改变编码参数；二是对可用视频带宽估算的精确性不高，精确估算可用视频带宽值能保证在不超过其值的前提下，选择编码参数使主观效果最佳；三是方法的普适性不足，视频编码存在不同标准，缺少普适算法便于对不同的视频编码提供可靠的可用视频带宽探测，无法提供有效而迅速的探测传输链路可用视频带宽，无法解决移动高清视频质量保证的瓶颈，阻碍移动高清视频产业的高速发展；

第四，现有技术目标端带宽探测将RTP包重用为探测包，避免探测包影响原有数据，利用数据时延变化趋向探测链路可用视频带宽变化，并反馈编码端进行调整。虽然目标端算法可以充分的使用链路可用视频带宽，但存在探测速度慢的缺点；

第五，现有技术移动高清视频带宽控制的实时性和动态性较差，丢包率和时延较高，无法对链路可用视频带宽最大化的利用，在移动高清视频低链路缓存情况下容易丢包及判断时间长的缺点，无法利用RTP的可扩展性，无法降低RTCP同步速度，无法提高RTCP报文传递链路可用视频带宽数据的速度，不能保证链路可用视频带宽的充分利用，在出现传输速率超过链路可用视频带宽时无法及时探测到并进行调整，不能满足实时性要求；同时缺少搭建完整的移动高清视频通信框架的切实可行的技术方案，针对波动的移动网络效果较差。

发明内容

针对现有技术的不足，针对现有技术链路可用视频带宽探测方法及移动高清视频通信应用时的缺点和不足，提出针对移动高清视频通信的链路可用视频带宽探测技术面临的各种挑战：对实时性和动态性的要求高，对丢包率和时延的降低，对链路可用视频带宽利用的最大化等，提出针对移动高清视频通信的基于双向链路可用视频带宽探测方法，融合扩展RTP的源端快速自适应算法，以降低探测过程的时延，搭建完整的移动高清视频通信框架，使其针对波动的移动网络具有更好的效果。

为达到以上技术效果，本发明所采用的技术方案如下：

移动高清视频智能双向探测带宽控制系统，进一步的，对目标端做帧级时延趋向探测估算链路可用视频带宽，提出扩展RTP/RTCP驱动的源端快速自适应方法，利用RTP的可扩展性，降低RTCP同步速度，提高RTCP报文传递链路可用视频带宽数据的速度，两者融合保证链路可用视频带宽的充分利用，在出现传输速率超过链路可用视频带宽时及时探测到并进行调整；

在本发明提出的可用视频带宽探测并动态调整编码参数方法流程的基础上，提出一个完整的融合目标端帧级时延趋向提取方法和扩展RTP/RTCP驱动的源端快速自适应方法的移动高清视频带宽控制架构，视频带宽控制架构主要包括五个模块：视频编码模块、源端RTCP反馈模块、链路传输模块、目标端帧级时延趋向提取反馈模块和视频解码模块；

基于视频带宽控制架构，提出一个完整的点对点移动高清视频通信的全过程，从源端编码到中间链路双向可用视频带宽探测并反馈编码端调整，使可用视频带宽充分利用以保障视频质量，再到目标端接收的全部过程；

移动视频双向探测带宽控制流程为：移动高清视频创建初始化时，编码源端设置较低的编码码率，确保不超过链路可用带宽，并进入码率调整粗扫描状态，RTP协议对每一帧编码视频按合适的包长度进行封包后，通过链路进行传输，目标端在接收到包含视频流数据的RTP包时，对接收到RTP数据包进行帧级时延提取，将提取出来的帧级时延在窗长度下进行时延趋向判定，当未出现时延递增趋向时，反馈编码源端选择较大的步进值提升编码码率，此时扩展后的RTCP提供较快的报文速度探测链路的RTT抖动变化趋向，相比目标端帧级时延趋向探测，RTCP具有更快的探测速度，当编码码率接近可用视频带宽利用临界点时，源端的RTCP报文有更高的权限停止粗扫描状态，客户端不断对接收到的RTP数据包按时间戳和序列号进行拼帧，供客户端进行解码实时回放；此时反馈源端回调一步码率提升值，并进入细扫描过程，与粗扫描过程不同的只是步进提升长度更小，细扫描之后传输过程进入稳定状态，RTCP报文探测可用视频带宽过度使用的情况，出现过度使用时，则编码源端恢复至初始化低编码码率状态，并重新开始粗扫描和细扫描的过程，当长时间未出现过度使用的情况时，目标端帧级时延在超过临界时间长度后仍未出现递增趋向，认定实际编码码率低于链路可用视频带宽，以粗扫描与细扫描的过程提升编码码率。

移动高清视频智能双向探测带宽控制系统，进一步的，通过视频带宽控制架构的搭建和各个模块的实现，最终实现整个系统功能，视频带宽控制架构包括：

视频编码模块，视频编码模块提供服务器端实时编码的视频码流源，本发明的算法融合目标端帧级时延趋向提取和源端RTCP报文信息快速反馈，两个算法对于编码端编码格式都无限制，选用x264软件包作为编码模块，反馈调整的是编码器的编码码率，视频编码模块打开码率控制，码率控制到单帧使每帧大小尽可能均匀；

链路传输模块，实时视频码流经RTP协议封包后经过以太网链路传输，RTP数据包在链路中实行无序传输，对于传输多媒体数据时，序列号用于决定适当的包位置，便于目标端重新整理数据，RTP的包长根据单帧大小调整，避免过小包长增加丢包概率或过大包长导致丢包后影响较大，并增加帧级时延波动；

源端RTCP反馈模块，源端RTCP反馈是双向探测链路可用视频带宽两个方向中的一个，利用RTP传输协议的一部分RTCP报文提供数据包的链路RTT、抖动信息，另外利用RTP/RTCP协议的可扩展性，降低链路同步时间和RTCP报文发送间隔，源端RTCP报文的反馈相比于目标端的反馈具有更快的反应速度，在实时视频传输较小链路缓存的情况下出现拥塞时，较快的调整编码带宽；

目标端帧级时延趋向提取反馈模块，目标端帧级时延趋向提取双向探测链路可用视频带宽中的两个方向中的另一个点，在端对端情况下，目标端将接收到的码流数据包根据RTP包序列号和时戳拼成完整的视频帧，利用目标端接收到视频帧发送数据包速率超过链路可用视频带宽时，目标端接收到视频帧产生的时延趋向，RTCP报文在链路可用视频带宽充分用尽时做出最快的反馈，目标端帧级时延趋向提取方法主要针对于码率调整上升阶段；

视频解码端模块，视频解码端根据源端的编码方式选择相应的解码器，对计算帧级时延时拼帧后的视频帧解码播放。

移动高清视频智能双向探测带宽控制系统，进一步的，目标端帧级时延趋向提取方法根据实时视频编码提出，并用在实时可交互的视频通话中，它只需标准的反馈机制，对任何视频编码格式都支持；

目标端的帧级时延趋向提取方法分为两部分：第一部分，时延探测：实时检测目标端接收到视频帧的时延，判断链路可用视频带宽的过度使用；第二部分，动态带宽调整：根据第一部分的时延探测，源端根据目标端的反馈调整编码码率来最大化适应链路可用视频带宽。

移动高清视频智能双向探测带宽控制系统，进一步的，时延可用性前提解析：目标端帧级时延趋向提取方法的关键点是通过在目标端探测视频包时延来判断可用视频带宽的过度使用，探测视频帧在链路传输过程中出现时延的明显的递增或递减的趋向，当可用视频带宽过度使用时，即数据包进入链路的速率超过链路可以传输这些包的能力，这些数据包将存储在链路提供的缓存中，直到传输完成，这就在目标端引入数据包的时延，即队列产生的时延，而最大的队列时延，取决于链路的缓存大小，当缓存溢出时，会出现数据包丢失，源端发送速率过大导致链路缓存无法存储不断到来的数据包，造成数据包随机丢失；

本发明提出新的计算时延的方法，将历史的参考帧作为时间参考点计算时延而非端到端绝对时延，测量每一帧的时延，简单且没有附加操作。

移动高清视频智能双向探测带宽控制系统，进一步的，提取帧级时延：目标端帧级时延趋向即通过比较接收到数据包的接收时间和RTP时戳，得到源端和目标端之间的单程时延，目标端帧级时延趋向探测是依据连续的数据包，出现时钟漂移也无关系，具体的时延探测都是在毫秒级，时钟漂移只可能导致单独数毫秒的递增或者递减情况出现，另一方面，编码器会针对I帧编码做特别的码率控制补偿，I帧的存在会影响时延趋向的判断，时延趋向算法会在I帧出现时复位时延参数计算，即时间参考点的改变；

正常时延趋向算法为：定义{q₁,q₂,q₃,...,q_i,...,}为收到的一系列数据包，定义Tx_i是为数据包i的接收时间，RS_i是数据包i的RTP时戳，令Tef(i)为距离数据包i最近的参考帧,则数据包时延如下式计算：

时延即为数据包接收时延和发送时戳时延归一化的差值，选择I帧后的第二个Q帧作为参考时间点，编码器会为I帧分配较大数据量后，在后几个连续Q帧做码率补偿,对一帧内连续包的时延做平均得到一帧的时延：

对一帧时延A(f_i)做滑动平均，平均结果作为目标端帧级时延所需参数值，即：

C(f_i)＝d*A(f_i)+(l-d)*C(f_i-1)(d∈[0，1])

其中，d为平滑因子。

移动高清视频智能双向探测带宽控制系统，进一步的，帧级时延趋向判定：得到帧级时延参数值后做时延探测，时延探测是基于目标端帧级时延趋向算法的核心，其中最重要的是找到两个可能出现的情况：第一，时延上升出现明显的时延递增，可用视频带宽出现过度使用，反馈编码源端降低编码码率；第二，时延下降出现明显的时延递减，可用视频带宽过度使用情况已被纠正，编码器降低足够的编码码率，或链路可用视频带宽有所上升，此时反馈编码源端尝试提升编码码率以提高视频编码效果；

帧级时延探测是选择对新接收到的视频帧做固定长加窗，做窗内计算，窗末尾都为最近接收到的视频帧，记W为给视频帧加窗的窗长度，探测中可能出现的情况做如下公式化：

对于时延上升情况：如果

都有C(f(i))＞C(f(i-1))，即窗内时延参数C遵循严格递增，式中的2，为考虑的参考时间点；

对于时延下降的情况：时延下降情况只能出现在上升情况之后，假设已经出现了上升情况，并且第f_W帧是时延峰值，值为S(f_W)，时延下降情况即为

C(f(i))＜C(f(i-1))且S(fi)小于S(fW)。

移动高清视频智能双向探测带宽控制系统，进一步的，带有反馈的带宽动态调整：得到帧级时延趋向后，进行动态反馈调整，模式分为两种：扫描模式与稳定模式，扫描模式又分为两种方式：粗扫描和细扫描；

扫描模式为一系列递增调整码率的模式，令E0是编码的初始码率，e是在间隔时间T内步进调整码率，经过mR时间后，链路中视频的码率调整为E₀+me，e存在两种值，记为e₁和e₂，其中e₁＞＞e₂，则e₁为粗扫描后调整模式，而e₂为细扫描后调整模式，调整模式由目标端控制，可用视频带宽估算后经过标准实时传输协议反馈源端编码器，目标端先采用粗扫描模式，即目标端连续扫描到达的数据包直到出现时延上升情况，时延上升情况出现表明粗扫描模式发送码率超过链路可用视频带宽，此时目标点降低编码码率请求，退为粗扫描模式上一步编码码率，并转为细扫描模式，目标端继续以细扫描的方式发送反馈使编码端以较小的码率递增调整编码，直到时延上升情况出现，编码码率往回调整一步后即可到达稳定模式，稳定模式下，链路达到充分利用无丢包的情况；

细扫描过程即在目标端得到帧级时延趋向后，根据可用视频带宽不断攀升调整编码码率，一旦出现发送码率超过链路可用视频带宽，时延上升情况就能在目标端被探测到，经过协议反馈源端编码器使链路最终达到稳定模式；

进入稳定模式后，目标端通过实时传输协议反馈控制命令，使源端编码器固定编码码率至可用视频带宽，之后目标端不断监测接收到数据包的时延，当探测到时延上升情况，表明链路可用视频带宽出现变化，需调整编码码率，目标端发送指令使编码器降低码率至较低、确定不超过可用视频带宽水平后，再启动类似启动阶段的粗扫描和细扫描，直至没有出现时延上升趋向，再次进入稳定状态，当稳定状态时间超过一定时间后，可能出现链路可用视频带宽增大，故尝试扫描提升编码码率。

移动高清视频智能双向探测带宽控制系统，进一步的，参数调整：优化参数来最大化传输质量，保证移动高清视频的主观体验，帧级时延趋向探测是算法核心，时延时间具有一定的波动性，算法实际会出现错误上升和错误下降两种错误，具体的，错误上升即为链路可用视频带宽并未过度使用，但探测到时延上升趋向，造成反馈错误信息，降低编码码率，影响编码后可视效果；相应的，错误下降即为链路过度使用，在一定时间内为探测到，造成实际链路拥塞过长时间，造成视频播放不连续，以上错误发生可能性及算法的成功性主要取决于提取帧级时延和帧级时延趋向判定中提到的两个参数，即平滑系数d和窗长度W，过小的窗长度W造成算法过于敏感，较少数帧就判断时延趋向变化，造成码率变动过于频繁，相反，过长的窗长度W造成探测到时延变化趋向过慢，特别是时延上升趋向判断过慢，造成链路拥堵较长时间，对平滑系数d，过大或过小也同样会造成错误。

移动高清视频智能双向探测带宽控制系统，进一步的，目标端和源端的应用需求总结为：源端是非常快，但精度不高；目标端是非常精确的调整带宽，二者都需实现又快又精确的处理任务，为使实时视频带宽调整具有更好的适应性，在本发明提出的帧级时延趋向算法上补充扩展RTP/RTCP的源端处理；

扩展RTP/RTCP驱动的源端快速自适应方法包括探测源端通信链路抖动和扩展RTP/RTCP协议。

移动高清视频智能双向探测带宽控制系统，进一步的，探测源端通信链路抖动：链路拥塞发生在带宽请求超过链路实际可用视频带宽时，令v(r)为链路实际可用视频带宽，视频编码码率为e(r)，即当前数据包传输速率，当e(r)>v(r)，链路拥塞发生，算法找到一个系数w(r)使得视频序列能很好的匹配链路可用视频带宽，即e(r)*w(r)＝v(r)，无需直接知道链路可用视频带宽v(r)和现在传输数据包速率e(r)，只需通过链路拥塞情况估算调整系数w(r)；

源端码率快速自适应算法的核心是探测由于发送码率略超过链路可用视频带宽时造成的链路回路时间变化，即链路抖动，而抖动信息从RTCP协议中的发送报告SR和接收报告RR中获取，链路回路时间RTT包括链路的物理传输时延a，a在源端和目标端确定的情况下，基本固定不变，链路缓存造成的队列时延p(r)，

RTT(r)＝a+p(r)

忽略基本固定不变的物理传输时延a后，当链路无拥塞时，只存在微小的抖动，p(r)基本为0，而RTT定义为：RTT₀(r)＝p₀(r)≈0，当链路存在拥塞，即发送数据包速率超过了链路可用视频带宽时，会产生明显的队列时延，RTT也相应的增加，链路抖动产生正变化，采用抖动的正变化出发编码器编码码率的调整，此时，RTT₀(r)＝p₀(r)0，实际操作中只需监测每个传输数据包反馈信息，当RTT出现正跳动时，即可判断为链路拥塞，令编码器改变编码码率；

当在时间点r_c监测到链路拥塞时，考虑在监测到调整的时间间隔[r_c,r_f]内，则链路缓存队列的拥塞程度变化表示为：

其中，H(r)表示为链路缓存队列的拥塞程度，而H(r)可用队列时延p(r)和在时刻r的数据包速率的乘积表示，即为链路可用视频带宽v(r)，假设在较短时间间隔内，链路可用视频带宽不变，则相对应的将队列时延变化近似表示为：

另一方面，监测这段时间间隔内，RTT变化为：

ΔRTT(r_c，r_f)＝RTT(r_f)-RTT(r_c)≈Δp(r_c，r_f)

由于基于源端，假设具有较短的时间间隔，并可设链路可用视频带宽v(r)和源端数据包发送速率e(r)为定值，分别为v和e，联立得到如下计算公式：

则调整系数w为：

对于链路突然出现的拥塞，很快的发现并作出调整，立即反馈编码端降低编码码率来保证实时视频流的流畅性，当RTT下降后，表明编码码率调整后的数据包发送速率e(r)低于链路可用视频带宽v(r)，但此时无法获取如何提升编码码率来充分利用可用视频带宽的相关信息,目标端配合提升编码码率。

与现有技术相比，本发明的贡献和创新点在于：

第一，本发明在基于目标端TREND算法基础上，提出一种移动高清视频智能双向探测带宽控制方法，将目标端帧级时延趋向提取方法和扩展RTP/RTCP驱动的源端快速自适应方法相融合，不仅保留目标端帧级时延趋向提取方法的精确性，使得编码码率能充分使用链路可用视频带宽以达到最好的主观效果，同时融合RTP/RTCP速度快的特征，避免针对移动高清视频通信的链路缓存过小导致在探测到拥塞前出现丢包现象，提升移动高清视频的体验，在实际应用中可行性强，是一种简洁高效、实用性强的移动高清视频智能双向探测带宽控制系统；

第二，本发明提出一种针对移动高清视频的改进的链路可用视频带宽探测方法，融合扩展RTP的源端快速自适应算法，利用RTP/RTCP的易扩展性，提高RTCP报文发送速率，降低探测过程的时延，基于此提出一种视频带宽控制架构，改进移动高清视频通信框架，使其针对波动的移动网络具有更好的视频效果，随着移动设备终端和5G网络的日益强大，移动高清视频通信的需求也愈发增加，本发明的链路可用视频带宽探测作为移动高清视频质量保证的最重要环节，对移动高清视频通信具有极其重要的作用；

第三，本发明移动高清视频智能双向探测带宽控制方法包括目标端帧级时延趋向提取方法和扩展RTP/RTCP驱动的源端快速自适应方法，目标端帧级时延趋向提取方法主要包括两个模块，帧级时延趋向提取和动态带宽调整，时延趋向提取利用视频本身的特征，通过帧级时延增加判断链路可用视频带宽过度使用，目标端通过得到的可用视频带宽利用程度反馈编码源端动态调整编码码率，目标端算法通过粗扫描和细扫描两个过程使编码码率最大限度使用链路可用视频带宽，提升用户接收到视频的质量，接下来针对目标端算法存在速度慢、低链路缓存容易丢包的问题，提出扩展RTP/RTCP驱动的源端快速自适应方法，利用RTCP报文判断链路时延，具有更快的速度来避免目标端算法存在的不足，但由于协议自身为了保证RTP数据包比例，RTCP报文有间隔较大，同步时间较长的缺点，提出了降低RTP同步时间的方法。

第四，本发明综合考虑高清视频带宽需求和实际移动网络带宽的不平衡及实际无线网络的不可靠性，针对移动高清视频通信的链路可用视频带宽探测提出多个方面的改进：一是低时延需求得到满足，当链路可用视频带宽发生变化时，实时得到探测结果，以供编码源端及时改变编码参数；二是对可用视频带宽估算的精确性提高，精确估算可用视频带宽值保证了在不超过其值的前提下，选择编码参数使主观效果最佳；三是方法的普适性增强，视频编码存在不同标准，本发明提供普适算法便于对不同的视频编码提供可靠的可用视频带宽探测，提供有效而迅速的探测传输链路可用视频带宽并正确调整编码码率，有效提高了视频通信效果，解决移动高清视频质量保证的瓶颈，促进移动高清视频产业的高速发展；

第五，本发明基于TREND算法对目标端做帧级时延趋向探测估算链路可用视频带宽，针对该算法在移动高清视频低链路缓存情况下容易丢包及判断时间长的缺点，提出扩展RTP/RTCP驱动的源端快速自适应方法，利用RTP的可扩展性，降低RTCP同步速度，提高RTCP报文传递链路可用视频带宽数据的速度，两者融合既保证链路可用视频带宽的充分利用，又能在出现传输速率超过链路可用视频带宽时及时探测到并进行调整，满足实时性要求；基于该方法，提供一个完整的满足移动高清视频通信的移动高清视频智能双向探测带宽控制系统，提高了链路传输能力，降低了出现不稳定情况的可能性，针对波动的移动网络效果更好。

附图说明

图1是移动高清视频智能双向探测带宽控制系统架构图。

图2是本发明的点对点移动高清视频通信系统流程示意图。

图3是目标端帧级时延探测算法动态调整带宽流程示意图。

具体实施方式

下面融合附图，对本发明提供的移动高清视频智能双向探测带宽控制系统的技术方案进行进一步的描述，使本领域的技术人员能够更好的理解本发明并能予以实施。

随着移动设备终端和5G移动网络的快速发展，包括移动高清视频在内的移动多媒体应用需求越发强烈，但由于高清视频带宽需求和实际移动网络带宽的不平衡及实际无线网络的不可靠性，针对移动高清视频通信的链路可用视频带宽探测面临各种挑战：一是低时延需求难以得到满足，当链路可用视频带宽发生变化时，需实时得到探测结果，以供编码源端及时改变编码参数；二是对可用视频带宽估算的精确性不高，精确估算可用视频带宽值能保证在不超过其值的前提下，选择编码参数使主观效果最佳；三是方法的普适性不足，视频编码存在不同标准，提供普适算法便于对不同的视频编码提供可靠的可用视频带宽探测。提供有效而迅速的探测传输链路可用视频带宽并正确调整编码码率以有效提高视频通信效果，可以解决移动高清视频质量保证的瓶颈，促进移动高清视频产业的高速发展。

本发明基于TREND算法对目标端做帧级时延趋向探测估算链路可用视频带宽，针对该算法在移动高清视频低链路缓存情况下容易丢包及判断时间长的缺点，提出扩展RTP/RTCP驱动的源端快速自适应方法，利用RTP的可扩展性，降低RTCP同步速度，提高RTCP报文传递链路可用视频带宽数据的速度，两者融合既保证链路可用视频带宽的充分利用，又能在出现传输速率超过链路可用视频带宽时及时探测到并进行调整，满足实时性要求；基于提出的移动高清视频智能双向探测带宽控制方法，搭建一个完整的满足移动高清视频通信的移动高清视频智能双向探测带宽控制系统。

一、视频带宽控制架构

在本发明提出的可用视频带宽探测并动态调整编码参数方法流程的基础上，本发明提出一个完整的融合目标端帧级时延趋向提取方法和扩展RTP/RTCP驱动的源端快速自适应方法的移动高清视频带宽控制架构，如图1。视频带宽控制架构主要包括五个模块：视频编码模块、源端RTCP反馈模块、链路传输模块、目标端帧级时延趋向提取反馈模块和视频解码模块，通过视频带宽控制架构的搭建和各个模块的实现，最终实现整个系统功能。图1为移动高清视频智能双向探测带宽控制系统架构图。

(一)视频编码模块，视频编码模块提供服务器端实时编码的视频码流源，本发明的算法融合目标端帧级时延趋向提取和源端RTCP报文信息快速反馈，两个算法对于编码端编码格式都无限制，本发明实施例选取H.264作为编码标准，为保证编码速度和编码效率，选用x264软件包作为编码模块，反馈调整的是编码器的编码码率，视频编码模块打开码率控制，另外，避免最大化利用可用视频带宽后，视频帧大小变化剧烈导致探测到的可用视频带宽变化波动大，码率控制到单帧使每帧大小尽可能均匀。

(二)链路传输模块，实时视频码流经RTP协议封包后经过以太网链路传输，RTP数据包在链路中实行无序传输，对于传输多媒体数据时，序列号用于决定适当的包位置，便于目标端重新整理数据，RTP的包长根据单帧大小调整，避免过小包长增加丢包概率或过大包长导致丢包后影响较大，并增加帧级时延波动。

(三)源端RTCP反馈模块，源端RTCP反馈是双向探测链路可用视频带宽两个方向中的一个，利用RTP传输协议的一部分RTCP报文提供数据包的链路RTT、抖动信息，另外利用RTP/RTCP协议的可扩展性，降低链路同步时间和RTCP报文发送间隔，源端RTCP报文的反馈相比于目标端的反馈具有更快的反应速度，在实时视频传输较小链路缓存的情况下出现拥塞时，较快的调整编码带宽。

(四)目标端帧级时延趋向提取反馈模块，目标端帧级时延趋向提取双向探测链路可用视频带宽中的两个方向中的另一个点，在端对端情况下，目标端将接收到的码流数据包根据RTP包序列号和时戳拼成完整的视频帧，利用目标端接收到视频帧发送数据包速率超过链路可用视频带宽时，目标端接收到视频帧产生的时延趋向，相比于RTCP报文反馈更加精确，RTCP报文在链路可用视频带宽充分用尽时做出最快的反馈，目标端帧级时延趋向提取方法主要针对于码率调整上升阶段。

(五)视频解码端模块，视频解码端根据源端的编码方式选择相应的解码器，对计算帧级时延时拼帧后的视频帧解码播放。

二、移动视频双向探测带宽控制流程

基于视频带宽控制架构，提出一个完整的点对点移动高清视频通信的全过程，从源端编码到中间链路双向可用视频带宽探测并反馈编码端调整，使可用视频带宽充分利用以保障视频质量，再到目标端接收的全部过程，如图2所示。

移动视频双向探测带宽控制流程为：移动高清视频创建初始化时，编码源端设置较低的编码码率，确保不超过链路可用带宽，并进入码率调整粗扫描状态，RTP协议对每一帧编码视频按合适的包长度进行封包后，通过链路进行传输，目标端在接收到包含视频流数据的RTP包时，对接收到RTP数据包进行帧级时延提取，将提取出来的帧级时延在窗长度下进行时延趋向判定，当未出现时延递增趋向时，反馈编码源端选择较大的步进值提升编码码率，此时扩展后的RTCP提供较快的报文速度探测链路的RTT抖动变化趋向，相比目标端帧级时延趋向探测，RTCP具有更快的探测速度，当编码码率接近可用视频带宽利用临界点时，源端的RTCP报文有更高的权限停止粗扫描状态，客户端不断对接收到的RTP数据包按时间戳和序列号进行拼帧，供客户端进行解码实时回放；

此时反馈源端回调一步码率提升值，并进入细扫描过程，与粗扫描过程不同的只是步进提升长度更小，细扫描之后传输过程进入稳定状态，RTCP报文探测可用视频带宽过度使用的情况，出现过度使用时，则编码源端恢复至初始化低编码码率状态，并重新开始粗扫描和细扫描的过程，当长时间未出现过度使用的情况时，目标端帧级时延在超过临界时间长度后仍未出现递增趋向，认定实际编码码率低于链路可用视频带宽，以粗扫描与细扫描的过程提升编码码率。

三、目标端帧级时延趋向提取方法

目标端帧级时延趋向提取方法根据实时视频编码提出，并用在实时可交互的视频通话中，因为它只需标准的反馈机制，因此可以使用在任意标准的视频通话系统中，对任何视频编码格式都支持，具有极佳的通用型。本发明实施例选取具有代表性的H.264视频编码作算法说明，实际使用中并不做限制，通用视频编码格式都可。

目标端的帧级时延趋向提取方法分为两部分：第一部分，时延探测：实时检测目标端接收到视频帧的时延，判断链路可用视频带宽的过度使用；第二部分，动态带宽调整：根据第一部分的时延探测，源端根据目标端的反馈调整编码码率来最大化适应链路可用视频带宽。

(一)时延可用性前提解析

目标端帧级时延趋向提取方法的关键点是通过在目标端探测视频包时延来判断可用视频带宽的过度使用，探测视频帧在链路传输过程中出现时延的明显的递增或递减的趋向。当可用视频带宽过度使用时，即数据包进入链路的速率超过链路可以传输这些包的能力，这些数据包将存储在链路提供的缓存中，直到传输完成，这就在目标端引入数据包的时延，即队列产生的时延，而最大的队列时延，取决于链路的缓存大小。当缓存溢出时，会出现数据包丢失，比如源端发送速率过大导致链路缓存无法存储不断到来的数据包，造成数据包随机丢失。

计算数据包端对端的时延并不简单，因为源端和目标端分属不同的机器，时间刻度不一致，本发明提出新的计算时延的方法，将历史的参考帧作为时间参考点计算时延而非端到端绝对时延，测量每一帧的时延，更加简单且没有附加操作。

(二)提取帧级时延

目标端帧级时延趋向即通过比较接收到数据包的接收时间和RTP时戳，得到源端和目标端之间的单程时延，目标端帧级时延趋向探测是依据连续的数据包，故出现时钟漂移也无关系，具体的时延探测都是在毫秒级，时钟漂移只可能导致单独数毫秒的递增或者递减情况出现，另一方面，由于编码器会针对I帧编码做特别的码率控制补偿，I帧的存在会影响时延趋向的判断，大多数的编码器会给I帧分配较大的数据量，同时会在接来下的数帧对码率做补偿，故时延趋向算法会在I帧出现时复位时延参数计算，即时间参考点的改变。

正常时延趋向算法为：定义{q₁,q₂,q₃,...,q_i,...,}为收到的一系列数据包，定义Tx_i是为数据包i的接收时间，RS_i是数据包i的RTP时戳，令Tef(i)为距离数据包i最近的参考帧,则数据包时延如下式计算：

时延即为数据包接收时延和发送时戳时延归一化的差值，选择I帧后的第二个Q帧作为参考时间点，编码器会为I帧分配较大数据量后，在后几个连续Q帧做码率补偿,对一帧内连续包的时延做平均得到一帧的时延：

为避免波动，对一帧时延A(f_i)做滑动平均，平均结果作为目标端帧级时延所需参数值，即：

C(f_i)＝d*A(f_i)+(l-d)*C(f_i-1)(d∈[0、1])

其中，d为平滑因子。

(三)帧级时延趋向判定

得到帧级时延参数值后做时延探测，时延探测是基于目标端帧级时延趋向算法的核心，其中最重要的是找到两个可能出现的情况：第一，时延上升出现明显的时延递增，可用视频带宽出现过度使用，反馈编码源端降低编码码率；第二，时延下降出现明显的时延递减，可用视频带宽过度使用情况已被纠正，编码器降低足够的编码码率，或链路可用视频带宽有所上升，此时反馈编码源端尝试提升编码码率以提高视频编码效果。

帧级时延探测是选择对新接收到的视频帧做固定长加窗，做窗内计算，窗末尾都为最近接收到的视频帧，记W为给视频帧加窗的窗长度，探测中可能出现的情况做如下公式化：

对于时延上升情况：如果

都有C(f(i))＞C(f(i-1))，即窗内时延参数C遵循严格递增，式中的2，为考虑的参考时间点；

对于时延下降的情况：时延下降情况只能出现在上升情况之后，假设已经出现了上升情况，并且第f_W帧是时延峰值，值为S(f_W)，时延下降情况即为

C(f(i))＜C(f(i-1))且S(f_i)小于S(f_W)。

(四)带有反馈的带宽动态调整

得到帧级时延趋向后，进行动态反馈调整，模式分为两种：扫描模式与稳定模式，扫描模式又分为两种方式：粗扫描和细扫描。图3展示了目标端帧级时延趋向算法流程。

扫描模式为一系列递增调整码率的模式，令E0是编码的初始码率，e是在间隔时间T内步进调整码率，经过mR时间后，链路中视频的码率调整为E₀+me，e存在两种值，记为e₁和e₂，其中e₁＞＞e₂，则e₁为粗扫描后调整模式，而e₂为细扫描后调整模式，调整模式由目标端控制，可用视频带宽估算后经过标准实时传输协议反馈源端编码器，目标端先采用粗扫描模式，即目标端连续扫描到达的数据包直到出现时延上升情况，时延上升情况出现表明粗扫描模式发送码率超过链路可用视频带宽，此时目标点降低编码码率请求，退为粗扫描模式上一步编码码率，并转为细扫描模式，目标端继续以细扫描的方式发送反馈使编码端以较小的码率递增调整编码，直到时延上升情况出现，编码码率往回调整一步后即可到达稳定模式，稳定模式下，链路达到充分利用无丢包的情况。

细扫描过程即在目标端得到帧级时延趋向后，根据可用视频带宽不断攀升调整编码码率，一旦出现发送码率超过链路可用视频带宽，时延上升情况就能在目标端被探测到，经过协议反馈源端编码器使链路最终达到稳定模式。

进入稳定模式后，目标端通过实时传输协议反馈控制命令，使源端编码器固定编码码率至可用视频带宽，之后目标端不断监测接收到数据包的时延，当探测到时延上升情况，表明链路可用视频带宽出现变化，需调整编码码率，目标端发送指令使编码器降低码率至较低、确定不超过可用视频带宽水平后，再启动类似启动阶段的粗扫描和细扫描，直至没有出现时延上升趋向，再次进入稳定状态，当稳定状态时间超过一定时间后，可能出现链路可用视频带宽增大，故尝试扫描提升编码码率。

(五)参数调整

帧级时延趋向算法的最终目标是通过避免丢包，最大化可用视频带宽利用率和最小化时延来提高移动高清视频参与者的视频体验，故优化参数来最大化传输质量，保证移动高清视频的主观体验，帧级时延趋向探测是算法核心，由于时延时间具有一定的波动性，算法实际会出现错误上升和错误下降两种错误，具体的，错误上升即为链路可用视频带宽并未过度使用，但探测到时延上升趋向，造成反馈错误信息，降低编码码率，影响编码后可视效果；相应的，错误下降即为链路过度使用，在一定时间内为探测到，造成实际链路拥塞过长时间，造成视频播放不连续，以上错误发生可能性及算法的成功性主要取决于提取帧级时延和帧级时延趋向判定中提到的两个参数，即平滑系数d和窗长度W，过小的窗长度W可能造成算法过于敏感，较少数帧就判断时延趋向变化，造成码率变动过于频繁，相反，过长的窗长度W会造成探测到时延变化趋向过慢，特别是时延上升趋向判断过慢，造成链路拥堵较长时间，对平滑系数d，过大或过小也同样会造成本段开头提及的错误。

四、扩展RTP/RTCP驱动的源端快速自适应方法

目标端帧级时延趋向提取方法是根据数据包传输速率超过链路可用视频带宽时，数据包填满链路缓冲而造成接收到数据包时延这一现象提出的。目标端算法能充分利用可用视频带宽，但缺点同样明显，时延算法的前提是链路缓冲大小要足够大来保证不产生链路丢包，数据包丢失就会造成时延计算不准确，但实时视频中，过大的链路缓冲在拥塞时可能造成视频时延过大，不连续的现象，RTP和RTCP协议在传输实时视频时，协议内部提供传输信息，包括链路回路时间，抖动，丢包率，更快速提供链路拥塞情况的反馈，避免链路可用视频带宽的过度使用。

将目标端和源端的应用需求总结为：源端是非常快，但精度不高；目标端是非常精确的调整带宽，二者都需实现又快又精确的处理任务，为了使实时视频带宽调整具有更好的适应性，在本发明提出的帧级时延趋向算法上补充扩展RTP/RTCP的源端处理。

(一)探测源端通信链路抖动

链路拥塞发生在带宽请求超过链路实际可用视频带宽时，令v(r)为链路实际可用视频带宽，视频编码码率为e(r)，即当前数据包传输速率，当e(r)>v(r)，链路拥塞发生，算法找到一个系数w(r)使得视频序列能很好的匹配链路可用视频带宽，即e(r)*w(r)＝v(r)，无需直接知道链路可用视频带宽v(r)和现在传输数据包速率e(r)，只需通过链路拥塞情况估算调整系数w(r)。

源端码率快速自适应算法的核心是探测由于发送码率略超过链路可用视频带宽时造成的链路回路时间变化，即链路抖动，而抖动信息从RTCP协议中的发送报告SR和接收报告RR中获取，链路回路时间RTT包括链路的物理传输时延a，a在源端和目标端确定的情况下，基本固定不变，链路缓存造成的队列时延p(r)，

RTT(r)＝a+p(r)

忽略基本固定不变的物理传输时延a后，当链路无拥塞时，只存在微小的抖动，p(r)基本为0，而RTT定义为：RTT₀(r)＝p₀(r)≈0，当链路存在拥塞，即发送数据包速率超过了链路可用视频带宽时，会产生明显的队列时延，RTT也相应的增加，链路抖动产生正变化，采用抖动的正变化出发编码器编码码率的调整，此时，RTT₀(r)＝p₀(r)0，实际操作中只需监测每个传输数据包反馈信息，当RTT出现正跳动时，即可判断为链路拥塞，令编码器改变编码码率。

当在时间点r_c监测到链路拥塞时，考虑在监测到调整的时间间隔[r_c,r_f]内，则链路缓存队列的拥塞程度变化表示为：

其中，H(r)表示为链路缓存队列的拥塞程度，而H(r)可用队列时延p(r)和在时刻r的数据包速率的乘积表示，即为链路可用视频带宽v(r)，假设在较短时间间隔内，链路可用视频带宽不变，则相对应的将队列时延变化近似表示为：

另一方面，监测这段时间间隔内，RTT变化为：

ΔRTT(r_c，r_f)＝RTT(r_f)-RTT(r_c)≈Δp(r_c，r_f)

由于基于源端，假设具有较短的时间间隔，并可设链路可用视频带宽v(r)和源端数据包发送速率e(r)为定值，分别为v和e，联立得到如下计算公式：

则调整系数w为：

本算法对于链路突然出现的拥塞，能很快的发现并作出调整，立即反馈编码端降低编码码率来保证实时视频流的流畅性，当RTT下降后，表明编码码率调整后的数据包发送速率e(r)低于链路可用视频带宽v(r)，但此时无法获取如何提升编码码率来充分利用可用视频带宽的相关信息,需目标端配合提升编码码率。

(二)扩展RTP/RTCP协议

源端码率快速自适应算法需得到链路回路时间RTT变化，抖动信息需从RTCP协议中获取。RTP和RTCP协议的基本标准在RFC3550规定，RTP负责传输具体数据包，RTCP在一个会话中，向所有的参与者周期性的发送控制包，包括提供链路数据传输情况的反馈(发送报告和接收报告)，关乎链路拥塞控制，用于媒体间同步的NTF格式时间戳信息和用于松散控制的会话信息，依照RFC3550标准的RTCP报文过慢，不适合源端的快速反应，解决解决快速同步RTP协议的方案包括：

第一，RTP的同步依靠目标端接收到源端发送的RTCP报文中的SR包，RTCP将控制包周期性的广播给会话中的所有成员，但成员更关心实际传输的数据包,当会话成员较多时时,RTCP报文相对RTP数据包的比例过高,浪费网络可用视频带宽,占链路可用视频带宽约5％，其中，四分之一的比例给源端，另外四分之三的带宽提供给目标端，RTCP报文的数量随会话的规模、成员的数量动态变化，每个RTCP报告周期内，RTCP平均发送一个RTCP报文包，根据RFC3550标准，最小报告时间间隔为5s，除非初始阶段发送报告，声明设置间隔时间减半使新的会话参与者能快速加入，修改后的最短报告时间间隔为360/链路可用视频带宽，可用视频带宽单位为Kbps，当可用视频带宽大于72Kbps，间隔时间小于5s，根据以上提供的时间间隔公式，对于点对点通信及单源多目标端的情况，发送端初始化同步创建时间趋近于0。

第二，基于RTP/RTCP极佳的可扩展性，对RTCP协议的扩展，针对音视频RTP传输提供快速反馈,有更短的自适应时间和更有效的反馈修复机制，RTP/AVPF标准的反馈信息包作为正常RTCP报文的补充，和RTCP同时计算流量占用，但在默认5s报文间隔时间内发送。反馈包分为基本版和完整版两种类型，其中都包含类似于RTCP报文的内容，具体报告内容由包头信息指定，包头信息中与普通RTCP报文包头不同的是FMT和PT字段，PT＝205时为传输层反馈消息，对应的协议只定义FMT＝1的情况，为通常的应答消息，其它保留，当PT＝206时，是针对负载类型传输情况的反馈，FMT＝1为图片丢包情况标识，FMT＝2为片丢失情况标识。

本发明采用新的反馈信息类型RTCP-SR-REQ，对应包的格式FMT＝5，PT＝205表示为RTP传输反馈信息，反馈控制信息FCI部分为空，反馈包只做同步用，并让正常的RTCP报文在比正常间隔的更短时间内发出，最终链路状态由RTCP报文提供，具体当在使用RTP/AVPF标准时，通过目标端发送的反馈信息包表示暂时无法同步媒体流，希望源端尽快发送新的SR包，并且当没有收到新的SR包时，以RTCP报文时间间隔发送新的RTCP-SR-REQ包，提升获取RTCP报文信息的速度和流同步的速度。

Claims (10)

1.移动高清视频智能双向探测带宽控制系统，其特征在于，对目标端做帧级时延趋向探测估算链路可用视频带宽，提出扩展RTP/RTCP驱动的源端快速自适应方法，利用RTP的可扩展性，降低RTCP同步速度，提高RTCP报文传递链路可用视频带宽数据的速度，两者融合保证链路可用视频带宽的充分利用，在出现传输速率超过链路可用视频带宽时及时探测到并进行调整；

在本发明提出的可用视频带宽探测并动态调整编码参数方法流程的基础上，提出一个完整的融合目标端帧级时延趋向提取方法和扩展RTP/RTCP驱动的源端快速自适应方法的移动高清视频带宽控制架构，视频带宽控制架构主要包括五个模块：视频编码模块、源端RTCP反馈模块、链路传输模块、目标端帧级时延趋向提取反馈模块和视频解码模块；

基于视频带宽控制架构，提出一个完整的点对点移动高清视频通信的全过程，从源端编码到中间链路双向可用视频带宽探测并反馈编码端调整，使可用视频带宽充分利用以保障视频质量，再到目标端接收的全部过程；

移动视频双向探测带宽控制流程为：移动高清视频创建初始化时，编码源端设置较低的编码码率，确保不超过链路可用带宽，并进入码率调整粗扫描状态，RTP协议对每一帧编码视频按合适的包长度进行封包后，通过链路进行传输，目标端在接收到包含视频流数据的RTP包时，对接收到RTP数据包进行帧级时延提取，将提取出来的帧级时延在窗长度下进行时延趋向判定，当未出现时延递增趋向时，反馈编码源端选择较大的步进值提升编码码率，此时扩展后的RTCP提供较快的报文速度探测链路的RTT抖动变化趋向，相比目标端帧级时延趋向探测，RTCP具有更快的探测速度，当编码码率接近可用视频带宽利用临界点时，源端的RTCP报文有更高的权限停止粗扫描状态，客户端不断对接收到的RTP数据包按时间戳和序列号进行拼帧，供客户端进行解码实时回放；此时反馈源端回调一步码率提升值，并进入细扫描过程，与粗扫描过程不同的只是步进提升长度更小，细扫描之后传输过程进入稳定状态，RTCP报文探测可用视频带宽过度使用的情况，出现过度使用时，则编码源端恢复至初始化低编码码率状态，并重新开始粗扫描和细扫描的过程，当长时间未出现过度使用的情况时，目标端帧级时延在超过临界时间长度后仍未出现递增趋向，认定实际编码码率低于链路可用视频带宽，以粗扫描与细扫描的过程提升编码码率。

2.根据权利要求1所述的移动高清视频智能双向探测带宽控制系统，其特征在于，通过视频带宽控制架构的搭建和各个模块的实现，最终实现整个系统功能，视频带宽控制架构包括：

视频编码模块，视频编码模块提供服务器端实时编码的视频码流源，本发明的算法融合目标端帧级时延趋向提取和源端RTCP报文信息快速反馈，两个算法对于编码端编码格式都无限制，选用x264软件包作为编码模块，反馈调整的是编码器的编码码率，视频编码模块打开码率控制，码率控制到单帧使每帧大小尽可能均匀；

链路传输模块，实时视频码流经RTP协议封包后经过以太网链路传输，RTP数据包在链路中实行无序传输，对于传输多媒体数据时，序列号用于决定适当的包位置，便于目标端重新整理数据，RTP的包长根据单帧大小调整，避免过小包长增加丢包概率或过大包长导致丢包后影响较大，并增加帧级时延波动；

源端RTCP反馈模块，源端RTCP反馈是双向探测链路可用视频带宽两个方向中的一个，利用RTP传输协议的一部分RTCP报文提供数据包的链路RTT、抖动信息，另外利用RTP/RTCP协议的可扩展性，降低链路同步时间和RTCP报文发送间隔，源端RTCP报文的反馈相比于目标端的反馈具有更快的反应速度，在实时视频传输较小链路缓存的情况下出现拥塞时，较快的调整编码带宽；

目标端帧级时延趋向提取反馈模块，目标端帧级时延趋向提取双向探测链路可用视频带宽中的两个方向中的另一个点，在端对端情况下，目标端将接收到的码流数据包根据RTP包序列号和时戳拼成完整的视频帧，利用目标端接收到视频帧发送数据包速率超过链路可用视频带宽时，目标端接收到视频帧产生的时延趋向，RTCP报文在链路可用视频带宽充分用尽时做出最快的反馈，目标端帧级时延趋向提取方法主要针对于码率调整上升阶段；

视频解码端模块，视频解码端根据源端的编码方式选择相应的解码器，对计算帧级时延时拼帧后的视频帧解码播放。

3.根据权利要求1所述的移动高清视频智能双向探测带宽控制系统，其特征在于，目标端帧级时延趋向提取方法根据实时视频编码提出，并用在实时可交互的视频通话中，它只需标准的反馈机制，对任何视频编码格式都支持；

目标端的帧级时延趋向提取方法分为两部分：第一部分，时延探测：实时检测目标端接收到视频帧的时延，判断链路可用视频带宽的过度使用；第二部分，动态带宽调整：根据第一部分的时延探测，源端根据目标端的反馈调整编码码率来最大化适应链路可用视频带宽。

4.根据权利要求1所述的移动高清视频智能双向探测带宽控制系统，其特征在于，时延可用性前提解析：目标端帧级时延趋向提取方法的关键点是通过在目标端探测视频包时延来判断可用视频带宽的过度使用，探测视频帧在链路传输过程中出现时延的明显的递增或递减的趋向，当可用视频带宽过度使用时，即数据包进入链路的速率超过链路可以传输这些包的能力，这些数据包将存储在链路提供的缓存中，直到传输完成，这就在目标端引入数据包的时延，即队列产生的时延，而最大的队列时延，取决于链路的缓存大小，当缓存溢出时，会出现数据包丢失，源端发送速率过大导致链路缓存无法存储不断到来的数据包，造成数据包随机丢失；

本发明提出新的计算时延的方法，将历史的参考帧作为时间参考点计算时延而非端到端绝对时延，测量每一帧的时延，简单且没有附加操作。

5.根据权利要求1所述的移动高清视频智能双向探测带宽控制系统，其特征在于，提取帧级时延：目标端帧级时延趋向即通过比较接收到数据包的接收时间和RTP时戳，得到源端和目标端之间的单程时延，目标端帧级时延趋向探测是依据连续的数据包，出现时钟漂移也无关系，具体的时延探测都是在毫秒级，时钟漂移只可能导致单独数毫秒的递增或者递减情况出现，另一方面，编码器会针对I帧编码做特别的码率控制补偿，I帧的存在会影响时延趋向的判断，时延趋向算法会在I帧出现时复位时延参数计算，即时间参考点的改变；

正常时延趋向算法为：定义{q₁,q₂,q₃,...,q_i,...,}为收到的一系列数据包，定义Tx_i是为数据包i的接收时间，RS_i是数据包i的RTP时戳，令Tef(i)为距离数据包i最近的参考帧,则数据包时延如下式计算：

时延即为数据包接收时延和发送时戳时延归一化的差值，选择I帧后的第二个Q帧作为参考时间点，编码器会为I帧分配较大数据量后，在后几个连续Q帧做码率补偿,对一帧内连续包的时延做平均得到一帧的时延：

对一帧时延A(f_i)做滑动平均，平均结果作为目标端帧级时延所需参数值，即：

C(f_i)＝d*A(f_i)+(1-d)*C(f_i-1) (d∈[0，1])

其中，d为平滑因子。

6.根据权利要求1所述的移动高清视频智能双向探测带宽控制系统，其特征在于，帧级时延趋向判定：得到帧级时延参数值后做时延探测，时延探测是基于目标端帧级时延趋向算法的核心，其中最重要的是找到两个可能出现的情况：第一，时延上升出现明显的时延递增，可用视频带宽出现过度使用，反馈编码源端降低编码码率；第二，时延下降出现明显的时延递减，可用视频带宽过度使用情况已被纠正，编码器降低足够的编码码率，或链路可用视频带宽有所上升，此时反馈编码源端尝试提升编码码率以提高视频编码效果；

帧级时延探测是选择对新接收到的视频帧做固定长加窗，做窗内计算，窗末尾都为最近接收到的视频帧，记W为给视频帧加窗的窗长度，探测中可能出现的情况做如下公式化：

对于时延上升情况：如果

都有C(f(i))＞C(f(i-1))，即窗内时延参数C遵循严格递增，式中的2，为考虑的参考时间点；

对于时延下降的情况：时延下降情况只能出现在上升情况之后，假设已经出现了上升情况，并且第f_W帧是时延峰值，值为S(f_W)，时延下降情况即为

C(f(i))＜C(f(i-1))且S(f_i)小于S(f_W)。

7.根据权利要求1所述的移动高清视频智能双向探测带宽控制系统，其特征在于，带有反馈的带宽动态调整：得到帧级时延趋向后，进行动态反馈调整，模式分为两种：扫描模式与稳定模式，扫描模式又分为两种方式：粗扫描和细扫描；

扫描模式为一系列递增调整码率的模式，令E0是编码的初始码率，e是在间隔时间T内步进调整码率，经过mR时间后，链路中视频的码率调整为E₀+me，e存在两种值，记为e₁和e₂，其中e₁＞＞e₂，则e₁为粗扫描后调整模式，而e₂为细扫描后调整模式，调整模式由目标端控制，可用视频带宽估算后经过标准实时传输协议反馈源端编码器，目标端先采用粗扫描模式，即目标端连续扫描到达的数据包直到出现时延上升情况，时延上升情况出现表明粗扫描模式发送码率超过链路可用视频带宽，此时目标点降低编码码率请求，退为粗扫描模式上一步编码码率，并转为细扫描模式，目标端继续以细扫描的方式发送反馈使编码端以较小的码率递增调整编码，直到时延上升情况出现，编码码率往回调整一步后即可到达稳定模式，稳定模式下，链路达到充分利用无丢包的情况；

细扫描过程即在目标端得到帧级时延趋向后，根据可用视频带宽不断攀升调整编码码率，一旦出现发送码率超过链路可用视频带宽，时延上升情况就能在目标端被探测到，经过协议反馈源端编码器使链路最终达到稳定模式；

进入稳定模式后，目标端通过实时传输协议反馈控制命令，使源端编码器固定编码码率至可用视频带宽，之后目标端不断监测接收到数据包的时延，当探测到时延上升情况，表明链路可用视频带宽出现变化，需调整编码码率，目标端发送指令使编码器降低码率至较低、确定不超过可用视频带宽水平后，再启动类似启动阶段的粗扫描和细扫描，直至没有出现时延上升趋向，再次进入稳定状态，当稳定状态时间超过一定时间后，可能出现链路可用视频带宽增大，故尝试扫描提升编码码率。

8.根据权利要求1所述的移动高清视频智能双向探测带宽控制系统，其特征在于，参数调整：优化参数来最大化传输质量，保证移动高清视频的主观体验，帧级时延趋向探测是算法核心，时延时间具有一定的波动性，算法实际会出现错误上升和错误下降两种错误，具体的，错误上升即为链路可用视频带宽并未过度使用，但探测到时延上升趋向，造成反馈错误信息，降低编码码率，影响编码后可视效果；相应的，错误下降即为链路过度使用，在一定时间内为探测到，造成实际链路拥塞过长时间，造成视频播放不连续，以上错误发生可能性及算法的成功性主要取决于提取帧级时延和帧级时延趋向判定中提到的两个参数，即平滑系数d和窗长度W，过小的窗长度W造成算法过于敏感，较少数帧就判断时延趋向变化，造成码率变动过于频繁，相反，过长的窗长度W造成探测到时延变化趋向过慢，特别是时延上升趋向判断过慢，造成链路拥堵较长时间，对平滑系数d，过大或过小也同样会造成错误。

9.根据权利要求1所述的移动高清视频智能双向探测带宽控制系统，其特征在于，目标端和源端的应用需求总结为：源端是非常快，但精度不高；目标端是非常精确的调整带宽，二者都需实现又快又精确的处理任务，为使实时视频带宽调整具有更好的适应性，在本发明提出的帧级时延趋向算法上补充扩展RTP/RTCP的源端处理；

扩展RTP/RTCP驱动的源端快速自适应方法包括探测源端通信链路抖动和扩展RTP/RTCP协议。

10.根据权利要求9所述的移动高清视频智能双向探测带宽控制系统，其特征在于，探测源端通信链路抖动：链路拥塞发生在带宽请求超过链路实际可用视频带宽时，令v(r)为链路实际可用视频带宽，视频编码码率为e(r)，即当前数据包传输速率，当e(r)>v(r)，链路拥塞发生，算法找到一个系数w(r)使得视频序列能很好的匹配链路可用视频带宽，即e(r)*w(r)＝v(r)，无需直接知道链路可用视频带宽v(r)和现在传输数据包速率e(r)，只需通过链路拥塞情况估算调整系数w(r)；

源端码率快速自适应算法的核心是探测由于发送码率略超过链路可用视频带宽时造成的链路回路时间变化，即链路抖动，而抖动信息从RTCP协议中的发送报告SR和接收报告RR中获取，链路回路时间RTT包括链路的物理传输时延a，a在源端和目标端确定的情况下，基本固定不变，链路缓存造成的队列时延p(r)，

RTT(r)＝a+p(r)

忽略基本固定不变的物理传输时延a后，当链路无拥塞时，只存在微小的抖动，p(r)基本为0，而RTT定义为：RTT₀(r)＝p₀(r)≈0，当链路存在拥塞，即发送数据包速率超过了链路可用视频带宽时，会产生明显的队列时延，RTT也相应的增加，链路抖动产生正变化，采用抖动的正变化出发编码器编码码率的调整，此时，RTT₀(r)＝p₀(r)0，实际操作中只需监测每个传输数据包反馈信息，当RTT出现正跳动时，即可判断为链路拥塞，令编码器改变编码码率；

当在时间点r_c监测到链路拥塞时，考虑在监测到调整的时间间隔[r_c,r_f]内，则链路缓存队列的拥塞程度变化表示为：

其中，H(r)表示为链路缓存队列的拥塞程度，而H(r)可用队列时延p(r)和在时刻r的数据包速率的乘积表示，即为链路可用视频带宽v(r)，假设在较短时间间隔内，链路可用视频带宽不变，则相对应的将队列时延变化近似表示为：

另一方面，监测这段时间间隔内，RTT变化为：

ΔRTT(r_c，r_f)＝RTT(r_f)-RTT(r_c)≈Δp(r_c，r_f)

由于基于源端，假设具有较短的时间间隔，并可设链路可用视频带宽v(r)和源端数据包发送速率e(r)为定值，分别为v和e，联立得到如下计算公式：

则调整系数w为：

对于链路突然出现的拥塞，很快的发现并作出调整，立即反馈编码端降低编码码率来保证实时视频流的流畅性，当RTT下降后，表明编码码率调整后的数据包发送速率e(r)低于链路可用视频带宽v(r)，但此时无法获取如何提升编码码率来充分利用可用视频带宽的相关信息,目标端配合提升编码码率。

Images