CN117729389A - 适用于自组网的视频低延时传输及带宽自适应控制方法 - Google Patents

Abstract

本发明公开了一种适用于自组网的视频低延时传输及带宽自适应控制方法，属于通信技术领域。包括以下步骤：建立视频传输流；视频硬件解码；无线网络通信质量监控；视频业务带宽的精确控制。本发明提供的有益效果：用户采用本发明在无线自组网中传输视频业务，可在弱网条件下将时延由传统RTSP方案的2～5秒减少至600毫秒以内；本发明可大幅降低无线自组网固有的易受干扰、误码、丢包等缺点对视频业务的影响，保证了画面的流畅性和质量；用户在使用本发明进行多业务、大量数据通信时，可实现网络拥塞及视频业务带宽的自动控制，保证多业务传输的稳定性、实时性及数据正确性。

Description

适用于自组网的视频低延时传输及带宽自适应控制方法

技术领域

本发明涉及通信技术领域，具体涉及一种适用于自组网的视频低延时传输及带宽自适应控制方法。

背景技术

目前主要的流媒体协议主要有RTSP(Real Time Streaming Protocol)、RTMP(Real Time Messaging Protocol)、HLS(HTTP Live Streaming)、WebRTC(Web Real TimeCommunications)以及SRT(Secure Reliable Transport)等。在无线自组网环境中传输流媒体数据，如使用RTSP/RTMP协议，存在画面质量受网络波动影响严重的情况，易出现花屏、卡顿、延迟逐渐增加等问题；使用HLS协议存在延迟高、对服务器内存要求高等问题；使用WebRTC协议存在协议体积庞大、部署困难及对服务器要求高等问题。

发明内容

本发明提供了一种适用于自组网的视频低延时传输及带宽自适应控制方法，为了解决现有技术中的以下问题：

1)无线自组网易波动、易受干扰。

2)SRT协议本身缺乏有效的拥塞控制。

为了解决上述技术问题，本发明采用如下技术方案：

本发明提供了一种适用于自组网的视频低延时传输及带宽自适应控制方法，包括以下步骤：

1)视频业务接收设备作为呼叫方通过自组网向视频源发送握手请求信号；

2)视频源接收到握手请求信号后向呼叫方发送应答信号，并且呼叫方的无线网络通信质量监控模块通过读取自组网中的全部通信路径的通信信息来计算当前自组网内任意两节点间的通信代价值，并根据所计算的通信代价值确定呼叫方与视频源之间的视频流数据传输路径；

4)呼叫方通过所确定的视频流数据传输路径向视频源发送视频控制参数；

5)视频源根据视频参数，通过所确定的视频流数据传输路径向呼叫方发送视频流数据；

6)呼叫方接收视频流数据并对视频流数据进行解码和显示，同时呼叫方通过视频带宽精确控制模块检测自组网内是否有高优先级业务传输且高优先级业务的传输路径是否与步骤3)中所确定视频流数据传输路径部分或全部重叠；

7)如果检测到自组网内有高优先级业务传输且高优先级业务的传输路径是否与步骤3)中所确定视频流数据传输路径部分或全部重叠，则视频带宽精确控制模块对重叠的视频流数据传输路径进行监控，当重叠的视频流数据传输路径负载上升至路径可用带宽的预定阈值之上时，则触发视频带宽控制保护，直到视频流数据传输结束或重叠的视频流数据传输路径下降至路径可用带宽的预定阈值之下。

在此基础上，本发明还可以作如下改进：视频带宽控制保护具体包括：视频带宽精确控制模块根据重叠的视频流数据传输路径超过路径可用带宽的预定阈值的情况，随着高优先级业务对带宽占用的增加，向视频源发送合适的码率限制请求，以降低视频流数据的清晰度和数据量，从而向高优先级业务让出带宽资源。

在此基础上，本发明还可以作如下改进：视频带宽控制保护还包括：视频带宽精确控制模块根据重叠的视频流数据传输路径负载超过路径可用带宽的预定阈值的情况，随着高优先级业务对带宽占用的减少，向视频源发送合适的解除码率限制请求，以恢复视频流数据的清晰度和数据量。

在此基础上，本发明还可以作如下改进：向视频源发送合适的码率限制请求，以降低视频流数据的清晰度和数据量，从而向高优先级业务让出带宽资源进一步包括：视频带宽精确控制模块断开视频流数据传输路径，以停止视频流数据的传输。

在此基础上，本发明还可以作如下改进：视频带宽控制保护还包括：当视频带宽精确控制模块断开视频流数据传输路径后或者呼叫方与视频源中的一个或多个与自组网断开连接后，网络通信质量监控模块继续读取自组网中的全部通信路径的通信信息，以实时监测通信信息，并且在路径降低到合适的区间后或在呼叫方与视频源中的一个或多个与自组网恢复连接后重建视频流数据传输路径。

在此基础上，本发明还可以作如下改进：视频参数包括版本信息、延时量、工作模式、加密和缓冲区大小。

在此基础上，本发明还可以作如下改进：通信信息包括：调制方式、通信质量、通信时延和误码率。

在此基础上，本发明还可以作如下改进：预定阈值为路径可用带宽的80％。

本发明提供的有益效果是：

1)本发明实施例提供了一种适用于无线自组网的视频低延时传输及带宽自适应控制的实现方法。用户采用本发明在无线自组网中传输视频业务，可在弱网条件下将时延由传统RTSP方案的2～5秒减少至600毫秒以内。

2)本发明实施例采用SRT协议进行数据传输，可大幅降低无线自组网固有的易受干扰、误码、丢包等缺点对视频业务的影响，保证了画面的流畅性和质量；

3)本发明实施例针对无线自组网带宽资源有限、SRT协议拥塞控制手段少的特点，加入了视频带宽自适应控制功能，并加入无线通信代价值及链路占用时隙数作为负载的参考。用户在使用本发明进行多业务、大量数据通信时，可实现网络拥塞及视频业务带宽的自动控制，保证多业务传输的稳定性、实时性及数据正确性。

本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明实践了解到。

附图说明

图1为本发明实施例的硬件方案及连接关系示意图。

图2为本发明实施例的自组网典型通信场景示意图。

图3为本发明实施例的数据包接收处理流程图。

图4为本发明实施例的双视频源带宽精确控制示意图。

图5为本发明实施例的单视频源带宽精确控制示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。

本发明的实现主要包括硬件部分及软件部分，具体内容如下：

如图1所示，为本发明实施例的硬件方案及连接关系示意图。硬件部分(以下称为视频业务接收设备)方案较为简单、易于实现，考虑到目前的全国产化需求趋势，硬件主要使用一款集成视频处理单元(VPU，Video Processing Unit)及图形处理单元(GPU，Graphics Processing Unit)的国产中央处理器(CPU，Central Processing Unit)作为核心，并配备网络接口、视频接口等对外数据接口。

本发明的适用于自组网的视频低延时传输及带宽自适应控制方法，包括以下步骤：

1)视频业务接收设备作为呼叫方(Caller)通过自组网向视频源(Listener)发送握手请求信号；

2)视频源接收到握手请求信号后向呼叫方发送应答信号，并且呼叫方的无线网络通信质量监控模块通过读取自组网中的全部通信路径的通信信息来计算当前自组网内任意两节点间的通信代价值，并根据所计算的通信代价值确定呼叫方与视频源之间的视频流数据传输路径；

4)呼叫方通过所确定的视频流数据传输路径向视频源发送视频控制参数；

5)视频源根据视频参数，通过所确定的视频流数据传输路径向呼叫方发送视频流数据；

6)呼叫方接收视频流数据并对视频流数据进行解码和显示，同时呼叫方通过视频带宽精确控制模块检测自组网内是否有高优先级业务传输且高优先级业务的传输路径是否与步骤3)中所确定视频流数据传输路径部分或全部重叠；

7)如果检测到自组网内有高优先级业务传输且高优先级业务的传输路径是否与步骤3)中所确定视频流数据传输路径部分或全部重叠，则视频带宽精确控制模块对重叠的视频流数据传输路径进行监控，当重叠的视频流数据传输路径负载上升至路径可用带宽的预定阈值之上时，则触发视频带宽控制保护，直到视频流数据传输结束或重叠的视频流数据传输路径下降至路径可用带宽的预定阈值之下。

本发明提供的有益效果是：

1)本发明实施例提供了一种适用于无线自组网的视频低延时传输及带宽自适应控制的实现方法。用户采用本发明在无线自组网中传输视频业务，可在弱网条件下将时延由传统RTSP方案的2～5秒减少至600毫秒以内。

2)本发明实施例采用SRT协议进行数据传输，可大幅降低无线自组网固有的易受干扰、误码、丢包等缺点对视频业务的影响，保证了画面的流畅性和质量；

3)本发明实施例针对无线自组网带宽资源有限、SRT协议拥塞控制手段少的特点，加入了视频带宽自适应控制功能，并加入无线通信代价值及链路占用时隙数作为负载的参考。用户在使用本发明进行多业务、大量数据通信时，可实现网络拥塞及视频业务带宽的自动控制，保证多业务传输的稳定性、实时性及数据正确性。

可选地，在一些可能的实施方式中，视频带宽控制保护具体包括：视频带宽精确控制模块根据重叠的视频流数据传输路径超过路径可用带宽的预定阈值的情况，随着高优先级业务对带宽占用的增加，向视频源发送合适的码率限制请求，以降低视频流数据的清晰度和数据量，从而向高优先级业务让出带宽资源。

可选地，在一些可能的实施方式中，视频带宽控制保护还包括：视频带宽精确控制模块根据重叠的视频流数据传输路径负载超过路径可用带宽的预定阈值的情况，随着高优先级业务对带宽占用的减少，向视频源发送合适的解除码率限制请求，以恢复视频流数据的清晰度和数据量。

可选地，在一些可能的实施方式中，向视频源发送合适的码率限制请求，以降低视频流数据的清晰度和数据量，从而向高优先级业务让出带宽资源进一步包括：视频带宽精确控制模块断开视频流数据传输路径，以停止视频流数据的传输。

可选地，在一些可能的实施方式中，视频带宽控制保护还包括：当视频带宽精确控制模块断开视频流数据传输路径后或者呼叫方与视频源中的一个或多个与自组网断开连接后，网络通信质量监控模块继续读取自组网中的全部通信路径的通信信息，以实时监测通信信息，并且在路径降低到合适的区间后或在呼叫方与视频源中的一个或多个与自组网恢复连接后重建视频流数据传输路径。

可选地，在一些可能的实施方式中，视频参数包括版本信息、延时量、工作模式、加密和缓冲区大小。

可选地，在一些可能的实施方式中，通信信息包括：调制方式、通信质量、通信时延和误码率。

可选地，在一些可能的实施方式中，预定阈值为路径可用带宽的80％。

以下为具体实施例：

如图2所示，为本发明实施例的自组网典型通信场景示意图。以自组网通信典型应用为例，自组网负载为高优先级业务、多路视频业务及其他数据业务。视频业务接收设备1、2(Caller1、2)在与视频源1、2(Listener1、2)完成握手、参数传递后，完成视频传输连接的建立。下面以Caller1接收Listener1发送的视频数据为例，说明本发明的具体实施方式。

如图3所示，为本发明实施例的数据包接收处理流程图。网络数据包由Listener1经自组网到达Caller1的网口，因无线网络通信质量波动、电磁环境的干扰等因素，网络数据包内包含了误码、丢包、乱序等错误。CPU针对相应错误情况，将接收到的数据包进行纠错、重发控制后，将正确的数据包进行排序后放入缓冲区。随后对数据包进行拆包、提取视频数据，并将属于同一帧的数据包进行组合，形成符合硬件解码规则的完整视频编码包。视频编码包传输至VPU进行解码后，发送至GPU进行显示。VPU解码快，GPU绘制、显示时间很短，因此本发明也从设备侧降低了视频时延。

带宽自适应功能仅在两种情况下触发：1、视频业务不作为高优先级业务且与高优先级业务占用了相同链路(传输路径)，网络负载达到保护阈值；2、视频业务传输占用的链路传输数据量过大，导致网络拥堵出现。两种情况的不同点仅在于触发条件不同，触发后的处理规则一致。下面对第一种情况为例，说明本发明的具体实施方式。

如图4所示，为本发明实施例的双视频源带宽精确控制示意图。视频业务接收设备(Caller)同时拉取视频源1、2(Listener1、2)发出的视频流，其中Listener1的视频流通过单独信道发送，Listener2发出的视频流与高优先级业务共用了同一段链路(自组网设备2到自组网设备3)。当高优先级业务开始传输数据时，Caller的无线网络通信质量监控功能检测到Listener 2数据与高优先级业务使用了部分公共链路，当公共链路的占用时隙数到达设定的保护阈值时，则自动向Listener 2发送合适的码率限制请求，Listener 1仍然按照原始码率发送。高优先级业务发送完成后，公共链路的占用时隙数下降，则解除对Listener 2的码率控制，恢复视频画面质量。

如图5所示，为本发明实施例的单视频源带宽精确控制示意图。针对一个视频源(Listener)为多个视频业务接收设备(Caller1、2)提供视频流的场景如图5所示，Caller1、2同时拉取Listener的视频流1和视频流2，其中视频流1传输链路与高优先级业务占用了部分公共链路，视频流2传输链路与高优先级业务相互独立。当高优先级业务开始传输时，Caller 1检测到公共链路占用时隙数上升达到保护阈值时，向视频源1发送针对视频流1的合适的码率控制请求，视频流2的码率保持不变。待高优先级业务发送完成后，则解除对视频流1的码率控制，恢复视频画面质量。

综上，针对自组网应用特点，本发明结合了SRT协议的优势及自组网相关控制功能，实现了在网络波动导致丢包、误码、乱序等情况下的视频低延时传输，比传统RTSP/RTMP流媒体协议方案在弱网环境的表现有了极大提升；同时视频业务接收设备的无线网络通信质量监控功能可实时分析网络链路负载类型及负载大小，计算网络内全部节点的通信代价值，实现对视频流实际传输路径的确定；利用视频带宽精准控制功能对高优先级业务所需的链路带宽资源进行提前让出，保证高优先级业务的稳定性及数据可靠性。

本方案适用于使用自组网进行数据传输且对时延要求较高、需对重点业务带宽进行保障的所有项目，带宽控制也不仅仅局限于视频业务——结合不同项目的特点，利用软件的无线网络通信质量监控功能及带宽精确控制功能，可对需进行带宽压缩的业务类型、实施方法进行相应调整，实现数据的低延时传输、相关业务带宽的合理分配及无线网络通信质量的整体优化。

可选地，在一些可能的实施方式中，可以包括如上各实施方式的全部或部分。

应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”或“一些示例”等描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式相结合。此外，在不互相矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的部分特征进行结合和组合。

当然，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员可以根据本发明作出各种相应的改变和变形，但这些改变和变形都应属于本发明的权利要求的保护范围。

Claims (8)

1.一种适用于自组网的视频低延时传输及带宽自适应控制方法，其特征在于，包括以下步骤：

1)视频业务接收设备作为呼叫方通过自组网向视频源发送握手请求信号；

2)视频源接收到握手请求信号后向呼叫方发送应答信号，并且呼叫方的无线网络通信质量监控模块通过读取自组网中的全部通信路径的通信信息来计算当前自组网内任意两节点间的通信代价值，并根据所计算的通信代价值确定呼叫方与视频源之间的视频流数据传输路径；

4)呼叫方通过所确定的视频流数据传输路径向视频源发送视频控制参数；

5)视频源根据视频参数，通过所确定的视频流数据传输路径向呼叫方发送视频流数据；

6)呼叫方接收视频流数据并对视频流数据进行解码和显示，同时呼叫方通过视频带宽精确控制模块检测自组网内是否有高优先级业务传输且高优先级业务的传输路径是否与步骤3)中所确定视频流数据传输路径部分或全部重叠；

7)如果检测到自组网内有高优先级业务传输且高优先级业务的传输路径是否与步骤3)中所确定视频流数据传输路径部分或全部重叠，则视频带宽精确控制模块对重叠的视频流数据传输路径进行监控，当重叠的视频流数据传输路径负载上升至路径可用带宽的预定阈值之上时，则触发视频带宽控制保护，直到视频流数据传输结束或重叠的视频流数据传输路径下降至路径可用带宽的预定阈值之下。

2.根据权利要求1所述的适用于自组网的视频低延时传输及带宽自适应控制方法，其特征在于，视频带宽控制保护具体包括：视频带宽精确控制模块根据重叠的视频流数据传输路径超过路径可用带宽的预定阈值的情况，随着高优先级业务对带宽占用的增加，向视频源发送合适的码率限制请求，以降低视频流数据的清晰度和数据量，从而向高优先级业务让出带宽资源。

3.根据权利要求2所述的适用于自组网的视频低延时传输及带宽自适应控制方法，其特征在于，视频带宽控制保护还包括：视频带宽精确控制模块根据重叠的视频流数据传输路径负载超过路径可用带宽的预定阈值的情况，随着高优先级业务对带宽占用的减少，向视频源发送合适的解除码率限制请求，以恢复视频流数据的清晰度和数据量。

4.根据权利要求1所述的适用于自组网的视频低延时传输及带宽自适应控制方法，其特征在于，向视频源发送合适的码率限制请求，以降低视频流数据的清晰度和数据量，从而向高优先级业务让出带宽资源进一步包括：视频带宽精确控制模块断开视频流数据传输路径，以停止视频流数据的传输。

5.根据权利要求4所述的适用于自组网的视频低延时传输及带宽自适应控制方法，其特征在于，视频带宽控制保护还包括：当视频带宽精确控制模块断开视频流数据传输路径后或者呼叫方与视频源中的一个或多个与自组网断开连接后，网络通信质量监控模块继续读取自组网中的全部通信路径的通信信息，以实时监测通信信息，并且在路径降低到合适的区间后或在呼叫方与视频源中的一个或多个与自组网恢复连接后重建视频流数据传输路径。

6.根据权利要求1至5中任一项所述的适用于自组网的视频低延时传输及带宽自适应控制方法，其特征在于，视频参数包括版本信息、延时量、工作模式、加密和缓冲区大小。

7.根据权利要求1至5中任一项所述的适用于自组网的视频低延时传输及带宽自适应控制方法，其特征在于，通信信息包括：调制方式、通信质量、通信时延和误码率。

8.根据权利要求1至5中任一项所述的适用于自组网的视频低延时传输及带宽自适应控制方法，其特征在于，预定阈值为路径可用带宽的80％。