CN109922318B

CN109922318B - 一种多路视频传输调度方法、装置、存储介质及电子终端

Info

Publication number: CN109922318B
Application number: CN201910221140.4A
Authority: CN
Inventors: 程智睿
Original assignee: Chongqing Unisinsight Technology Co Ltd
Current assignee: Chongqing Unisinsight Technology Co Ltd
Priority date: 2019-03-22
Filing date: 2019-03-22
Publication date: 2020-02-07
Anticipated expiration: 2039-03-22
Also published as: CN109922318A

Abstract

本发明公开了一种多路视频传输调度方法，包括：移动端与服务器建立连接；解析每一路视频流在下一个最大传输单元MTU待发送数据包的大小和视频帧类型；计算各路视频流待发送数据包的大小之和MTUsum；当可用带宽大小改变时，将所述移动端所在网络允许的最大连接速度s发送至所述服务器；判断移动端所在网络允许的最大连接速度s是否大于在下一个容忍时间T内传输完MTUsum所需的最小连接速度；若是，服务器将各路视频流数据在下一个容忍时间T内传输至移动端，流程结束；若否，则计算各路视频流数据传输的优先级，按照优先级在容忍时间T内分配各路视频流实际的传输时间。本发明在应对视频数据的突发和移动端网络状态的变化方面能实现自适应调节。

Description

一种多路视频传输调度方法、装置、存储介质及电子终端

技术领域

本发明属于网络通信技术领域，具体涉及一种多路视频传输调度方法、装置、存储介质及电子终端。

背景技术

随着无线通信技术及视频监控图像采集技术的进步，视频安防监控产业在移动互联网的背景之下发展迅猛，并广泛应用于交通、社区、园区、智能家居、环境监测等各个领域。

目前视频监控多采用嵌入式监控系统，通过图像采集卡对多路视频数据进行采集、压缩、编码，并将数据传输到服务器，用户通过移动端访问服务器获取实时监控视频数据。然而嵌入式监控系统在兼容性和拓展性方面较差，主要表现在移动端接入视频监控系统后受限于无线信道资源的大小，获取多路视频数据时将无法满足实时性的要求，进而成为视频安防监控产业发展的瓶颈。

当前多路视频数据无线传输存在如下问题：视频数据量大，数据流突发性强，速率波动剧烈，单路视频数据实时性受到影响；由于功耗原因，移动端无线信道传输速率存在上限，多路视频数据实时性无法保证；多个移动端接入共享无线信道，存在信道干扰，使得分配的信道资源大小无规律变化无法保障视频流数据传输的实时性。在保障单路视频数据实时性的同时会影响其他路视频数据的实时性，即多路视频数据同时传输，其实时性会相互影响。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种多路视频传输调度方法、装置、存储介质及电子终端，用于解决多路视频传输过程在多个移动端接入的情况下共享无线信道资源，导致信道资源无法满足视频传输实时性的需求的问题。

为实现上述目的及其他相关目的，本发明提供一种多路视频传输调度方法，所述多路视频传输调度方法包括：

移动端与服务器建立连接；

所述服务器根据移动端发送的若干路视频流请求，解析每一路视频流在下一个最大传输单元MTU待发送数据包的大小和视频帧类型；

计算各路视频流待发送数据包的大小之和MTUsum；

实时监听当前网络状态，当可用带宽大小改变时，将所述移动端所在网络允许的最大连接速度s发送至所述服务器；

判断移动端所在网络允许的最大连接速度s是否大于在下一个容忍时间T内传输完MTUsum所需的最小连接速度，其中，容忍时间T定义为播放一帧视频帧所需的时间；

若是，则服务器将各路视频流数据在下一个容忍时间T内传输至移动端，流程结束；

若否，则计算各路视频流数据传输的优先级PL_n，按照优先级PL_n在容忍时间T内分配各路视频流实际的传输时间t_n。

可选地，优先级PL_n的计算方法为：

根据各路视频流在下一个最大传输单元MTU待发送数据包的传输需求TD_n，计算各路视频流传输需求之和TD_sum；

各路视频流的优先级PL_n＝TD_n/TD_sum，n＝1,2,3,...,N；N表示视频流的总路数。

可选地，所述各路视频流在下一个最大传输单元MTU待发送数据包的传输需求TD_n表示为：

TD_n＝Li×Qi+Lp×Qp+Lb×Qb

其中，Qi表示I帧的优先级权重系数，Qp表示P帧的优先级权重系数，Qb表示B帧的优先级权重系数；Li表示待发送数据包中I帧的网络抽象层单元长度，Lp表示待发送数据包中P帧的网络抽象层单元长度，Lb表示待发送数据包中B帧的网络抽象层单元长度。

可选地，Qi＝2/3；Qp＝1/4；Qb＝1/12。

可选地，按照优先级PL_n在容忍时间T内分配各路视频流实际的传输时间t_n：

t_n＝T×PL_n。

为实现上述目的及其他相关目的，本发明还提供一种多路视频传输调度装置，该多路视频传输调度装置包括：

通信模块，用于移动端与服务器建立连接；

视频流计算模块，用于计算各路视频流待发送数据包的大小之和MTUsum；

网络监控模块，用于实时监听当前网络状态，当可用带宽大小改变时，将所述移动端所在网络允许的最大连接速度s发送至所述服务器；

判断模块，用于判断移动端所在网络允许的最大连接速度s是否大于在下一个容忍时间T内传输完MTUsum所需的最小连接速度，其中，容忍时间T定义为播放一帧视频帧所需的时间；若是，则服务器将各路视频流数据在下一个容忍时间T内传输至移动端，流程结束；若否，则计算各路视频流数据传输的优先级PL_n，

分配模块，用于按照所述优先级PL_n在容忍时间T内分配各路视频流实际的传输时间t_n。

可选地，所述优先级PL_n的计算方法为：

TD＝Li×Qi+Lp×Qp+Lb×Qb

可选地，Qi＝2/3；Qp＝1/4；Qb＝1/12。

可选地，按照所述优先级PL_n在容忍时间T内分配各路视频流实际的传输时间t_n：

t_n＝T×PL_n。

本发明还提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述方法。

本发明还提供一种电子终端，包括：处理器及存储器；

所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行所述方法。

如上所述，本发明的一种多路视频传输调度方法、装置、存储介质及电子终端，具有以下

有益效果：

本发明通过监测网络的状态，使得服务器可以根据移动端实时网络连接速度和视频数据请求的数据量大小为每一路视频流数据动态分配网络资源，在应对视频数据的突发和移动端网络状态的变化方面能实现自适应调节，使服务器和移动端构成了闭环负反馈控制结构。通过合理分配网络资源，保障各路视频流数据的实时性。同时，通过对不同类型视频帧进行优先级区分，保障了相对重要视频帧传输的实时性。

附图说明

图1为本发明实施例的一种多路视频传输调度方法的流程图；

图2为本发明实施例的网络拓扑结构图；

图3为本发明实施例的一种多路视频传输调度装置的框图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

本发明提供一种多路视频传输调度方法，用于解决多路视频数据无线传输过程中视频数据数据量大、视频流突发性强、无线信道资源无规律变化等问题。图2为网络拓扑结构图，如图所示，视频流传输网络包括多个移动端，移动端与路由器连接，路由器与服务器连接。在视频流传输网络中，传输协议采用RTP/RTCP&ERTSP，其中实时传输协议RTP用于传输视频流数据；实时传输控制协议RTCP用于控制和同步视频流数据，并对服务质量做出反馈；增强型实时流传输协议ERTSP，用于反馈及控制视频流传输网络状态。

如图1所示，多路视频传输调度方法，包括以下步骤：

S1移动端与服务器建立连接；

具体地，移动端可通过网络与服务器进行通信，以实现移动端与服务器之间的数据交互。移动端与服务器可以通过有线或无线的方式进行通信，无线方式包括但不限于WIFI、蓝牙、3G、LTE等。

所述移动端可以是，但不限于智能手机、个人计算机(Personal Computer,PC)、平板电脑、个人数字助理(Personal Digital Assistant,PDA)、移动上网设备(MobileInternet Device,MID)等。此外，移动端可以是瘦客户机，也即配置较低的PC机，其上配置有专业的低功耗、高运算功能的嵌入式处理器。

S2计算各路视频流待发送数据包的大小之和MTUsum；

S3实时监听当前网络状态，当可用带宽大小改变时(有新的移动端接入或者有移动端退出当前网络)，将所述移动端所在网络允许的最大连接速度s发送至所述服务器；

具体地，当可用带宽大小改变时，通过ERTSP协议发送NETSTAT报文以告知服务器该移动端所在网络允许的最大连接速度s。

S4判断移动端所在网络允许的最大连接速度s是否大于在下一个容忍时间T内传输完MTUsum所需的最小连接速度；若是，则服务器将各路视频流数据在下一个容忍时间T内传输至移动端，流程结束；若否，则计算各路视频流数据传输的优先级PL_n。其中，容忍时间T定义为播放一帧视频帧所需的时间，即T＝1/24秒。

S5按照优先级PL_n在容忍时间T内分配各路视频流实际的传输时间t_n。

优先级PL_n的计算方法为：

S51根据各路视频流在下一个最大传输单元MTU待发送数据包的传输需求TD_n，计算各路视频流传输需求之和TD_sum；

S52计算各路视频流的优先级PL_n＝TD_n/TD_sum，n＝1,2,3,...,N；N表示视频流的总路数。

于一实施例中，所述各路视频流在下一个最大传输单元MTU待发送数据包的传输需求TD_n表示为：

TD_n＝Li×Qi+Lp×Qp+Lb×Qb

Qi＝2/3；Qp＝1/4；Qb＝1/12

其中，Li表示待发送数据包中I帧的网络抽象层单元长度，I帧为独立编码帧，数据量最大，是不考虑与其他的图像帧的关系而单独进行编码的图像，它不需要其他的帧图像来进行预测编码；Lp表示待发送数据包中P帧的网络抽象层单元长度，P帧为向前预测帧，数据量小于I帧大于B帧，是根据前面已编码的I图像或P图像进行编码的图像；Lb表示待发送数据包中B帧的网络抽象层单元长度，B帧为双向预测帧，数据量最小，是同时根据前面的I图像和后面的P图像(或前后两个P图像)进行编码的图像。Qi表示I帧的优先级权重系数，Qp表示P帧的优先级权重系数，Qb表示B帧的优先级权重系数；Li表示待发送数据包中I帧的网络抽象层单元长度，Lp表示待发送数据包中P帧的网络抽象层单元长度，Lb表示待发送数据包中B帧的网络抽象层单元长度。

于一实施例中，按照优先级PL_n在容忍时间T内分配各路视频流实际的传输时间t_n：

t_n＝T×PL_n。

进一步地，在当前容忍时间T内，如果当前网络状态发生改变，移动端检测网络连接速度，更新NETSTAT报文内容，并及时发送给服务器，使得服务器在下一个容忍时间T到来之前获取该移动端最新的网络状态。获取移动端的最新的网络状态后，重复步骤S4～步骤S7为下一个T时段动态分配网络资源。

本发明通过监测网络的状态，使得服务器可以根据移动端实时网络连接速度和视频数据请求的数据量大小为每一路视频流数据动态分配网络资源，在应对视频数据的突发和移动端网络状态的变化方面能实现自适应调节，使服务器和移动端构成了闭环负反馈控制结构。通过合理分配网络资源，保障各路视频流数据的实时性。

如图3所示，本实施例还提供一种多路视频传输调度装置，该多路视频传输调度装置包括：

通信模块1，用于移动端与服务器建立连接；

视频流计算模块2，用于计算各路视频流待发送数据包的大小之和MTUsum；

网络监控模块3，用于实时监听当前网络状态，当可用带宽大小改变时，将所述移动端所在网络允许的最大连接速度s发送至所述服务器；

判断模块4，用于判断移动端所在网络允许的最大连接速度s是否大于在下一个容忍时间T内传输完MTUsum所需的最小连接速度，其中，容忍时间T定义为播放一帧视频帧所需的时间；若是，则服务器将各路视频流数据在下一个容忍时间T内传输至移动端，流程结束；若否，则计算各路视频流数据传输的优先级PL_n，

分配模块5，用于按照所述优先级PL_n在容忍时间T内分配各路视频流实际的传输时间t_n。

于一实施例中，所述优先级PL_n的计算方法为：

各路视频流的优先级PL_n＝TD_n/TD_sum，n＝1,2,3,...,N，N表示视频流的总路数。

TD_n＝Li×Qi+Lp×Qp+Lb×Qb

于一实施例中，Qi＝2/3；Qp＝1/4；Qb＝1/12。

于一实施例中，按照所述优先级PL_n在容忍时间T内分配各路视频流实际的传输时间t_n：

t_n＝T×PL_n。

在当前容忍时间T内，如果当前网络状态发生改变，移动端检测网络连接速度，更新NETSTAT报文内容，并及时发送给服务器，使得服务器在下一个容忍时间T到来之前获取该移动端最新的网络状态。

由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例的内容请参见方法部分的实施例的描述，这里暂不赘述。

本发明还提供一种存储介质，存储计算机程序，所述计算机程序被处理器运行时执行前述的多路视频传输调度方法。

本发明还提供一种电子终端，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述存储器存储的计算机程序，以使所述设备执行前述的多路视频传输调度方法。

所述处理器可以是中央处理单元(Central Processing Unit,CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(FieldProgrammable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器可以是内部存储单元或外部存储设备，例如插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字卡(Secure Digital,SD)，闪存卡(Flash Card)等。进一步地，所述存储器还可以既包括内部存储单元，也包括外部存储设备。所述存储器用于存储所述计算机程序以及其他程序和数据。所述存储器还可以用于暂时地存储己经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器((RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims

1.一种多路视频传输调度方法，其特征在于，所述多路视频传输调度方法包括：

移动端与服务器建立连接；

计算各路视频流待发送数据包的大小之和MTUsum；

若是，服务器将各路视频流数据在下一个容忍时间T内传输至移动端，流程结束；

若否，则根据各路视频流在下一个最大传输单元MTU待发送数据包的传输需求TD_n以及各路视频流传输需求之和TD_sum得到各路视频流数据传输的优先级PL_n，按照优先级PL_n在容忍时间T内分配各路视频流实际的传输时间t_n；

t_n＝T×PL_n，

PL_n＝TD_n/TD_sum,n＝1,2,3,...,N,N表示视频流的总路数；

各路视频流在下一个最大传输单元MTU待发送数据包的传输需求TD_n表示为：TD_n＝Li×Qi+Lp×Qp+Lb×Qb；

2.根据权利要求1所述的一种多路视频传输调度方法，其特征在于，Qi＝2/3；Qp＝1/4；Qb＝1/12。

3.一种多路视频传输调度装置，其特征在于，该多路视频传输调度装置包括：

通信模块，用于移动端与服务器建立连接；

判断模块，用于判断移动端所在网络允许的最大连接速度s是否大于在下一个容忍时间T内传输完MTUsum所需的最小连接速度，其中，容忍时间T定义为播放一帧视频帧所需的时间；若是，则服务器将各路视频流数据在下一个容忍时间T内传输至移动端，流程结束；若否，则根据各路视频流在下一个最大传输单元MTU待发送数据包的传输需求TD_n以及各路视频流传输需求之和TD_sum得到各路视频流数据传输的优先级PL_n；

分配模块，用于按照所述优先级PL_n在容忍时间T内分配各路视频流实际的传输时间t_n；

t_n＝T×PL_n，

PL_n＝TD_n/TD_sum,n＝1,2,3,...,N,N表示视频流的总路数；

4.根据权利要求3所述的一种多路视频传输调度装置，其特征在于，Qi＝2/3；Qp＝1/4；Qb＝1/12。

5.一种存储介质，其上存储有计算机程序，其特征在于：该程序被处理器执行时实现权利要求1或2中任一项所述方法。

6.一种电子终端，其特征在于，包括：处理器及存储器；

所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如权利要求1或2中任一项所述方法。