CN103647727B - 音视频传输控制方法和装置 - Google Patents

Abstract

本发明提供一种音视频传输控制方法和装置，该方法包括：目标网络设备接收源网络设备依次发送的各数据报文，并在接收到第一个所述数据报文时建立缓存队列，所述数据报文中包含所述源网络设备从音视频服务器接收到所述数据报文的接收时间信息和报文编号信息；根据接收到的所述各数据报文中的所述报文编号信息和接收时间信息确定向客户端设备发送所述各数据报文的时序和时间间隔；在满足预设发送条件时，以确定的时序和时间间隔向所述客户端设备发送所述缓存队列中的各数据报文。目标网络设备在接收到源网络设备发送的携带有报文编号信息和接收时间信息的数据报文后，通过控制数据报文的发送时序和时间间隔，使数据报文的传输质量得到保证。

Description

音视频传输控制方法和装置

技术领域

本发明涉及网络通信技术，尤其涉及一种音视频传输控制方法和装置。

背景技术

典型的音视频监控系统由三部分组成：前端监控子系统、IP传输网络和后端客户端。其中，前端监控子系统主要通过诸如摄像机、麦克风等设备将采集获取的音视频数据传输给音视频服务器中进行存储以及向后端客户端进行发送；IP传输网络主要包括发送端网络设备以无线广域网等无线方式与接收端网络设备进行广域网络连接，以将音视频服务器中的音视频数据报文发送给后端客户端；后端客户端主要包括诸如管理平台、显示设备等以供用户对前端监控子系统获取的音视频数据的分析、监控。

现有的音视频监控系统中，由于无线网络环境稳定性较差，不同的音视频数据报文可能会经历不同的网络时延到达客户端，使得在客户端进行音视频的显示时往往会出现有停顿、甚至中断的情况，传输质量不佳，造成较差的用户体验。

发明内容

针对现有技术中存在的问题，本发明提供一种音视频传输控制方法和装置，用以克服现有音视频监控系统中数据传输质量不佳的问题。

本发明提供了一种音视频传输控制方法，包括：

目标网络设备接收源网络设备依次发送的各数据报文，并在接收到第一个所述数据报文时建立缓存队列，所述数据报文中包含所述源网络设备从音视频服务器接收到所述数据报文的接收时间信息和报文编号信息；

在满足预设发送条件时，所述目标网络设备根据接收到的所述各数据报文中的所述报文编号信息和接收时间信息确定向客户端设备发送所述各数据报文的时序和时间间隔；

所述目标网络设备以确定的时序和时间间隔向所述客户端设备发送所述缓存队列中的各数据报文。

本发明提供了一种音视频传输目标控制装置，包括：

接收模块，用于接收源网络设备依次发送的各数据报文，并在接收到第一个所述数据报文时建立缓存队列，所述数据报文中包含所述源网络设备从音视频服务器接收到所述数据报文的接收时间信息和报文编号信息；

第一确定模块，用于在满足预设发送条件时，根据接收到的所述各数据报文中的所述报文编号信息和接收时间信息确定向客户端设备发送所述各数据报文的时序和时间间隔；

发送模块，用于以确定的时序和时间间隔向所述客户端设备发送所述各数据报文。

本发明提供了一种音视频传输源控制装置，包括：

接收模块，用于接收音视频服务器发送的各数据报文；

添加模块，用于向所述各数据报文中分别添加接收到所述各数据报文的接收时间信息和报文编号信息；

发送模块，用于向目标网络设备依次发送添加所述接收时间信息和报文编号信息的各数据报文，以使所述目标网络设备在满足预设发送条件时，根据接收到的所述各数据报文中的所述报文编号信息和接收时间信息确定向客户端设备发送所述各数据报文的时序和时间间隔。

本发明提供的音视频传输控制方法和装置，源网络设备在接收到音视频服务器发送的数据报文后，在数据报文中添加入其接收到数据报文的接收时间信息以及报文编号信息，使得目标网络设备在接收到源网络设备发送的携带有报文编号信息和接收时间信息的数据报文后缓存数据报文，并在满足预设发送条件时，对接收到的各数据报文根据所述报文编号信息进行发送时序确定，并根据接收时间信息确定向客户端设备发送的时间间隔。通过控制向客户端设备发送的数据报文的时序和时间间隔，使得音视频数据报文的传输质量得到保证，大大提高了客户端设备接收到的音视频数据的质量。

附图说明

图1为本发明音视频传输控制方法实施例一的流程图；

图2为本发明音视频传输控制方法实施例二的流程图；

图3为本发明音视频传输目标控制装置实施例一的结构示意图；

图4为本发明音视频传输目标控制装置实施例二的结构示意图；

图5为本发明音视频传输源控制装置实施例三的结构示意图；

图6为本发明音视频传输控制系统实施例一的示意图；

图7为本发明PRT选项的帧结构示意图。

具体实施方式

图1为本发明音视频传输控制方法实施例一的流程图，如图1所示，该方法包括：

步骤101、目标网络设备接收源网络设备依次发送的各数据报文，并在接收到第一个所述数据报文时建立缓存队列，所述数据报文中包含所述源网络设备从音视频服务器接收到所述数据报文的接收时间信息和报文编号信息；

本实施例中，当音视频采集设备将采集得音视频数据发送至音视频服务器后，音视频服务器实时或在接收到客户端设备的请求后向客户端设备发送音视频数据。一般而言，音视频服务器与客户端设备，比如PC机之间存在如下的网络连接架构：音视频服务器通过局域网与源网络设备进行有限或无线连接，源网络设备通过无线广域网与目标网络设备进行连接，而目标网络设备通过局域网与客户端设备以有线或无线方式进行连接。其中，源网络设备和目标网络设备例如可以是路由器、TCP代理等设备。

值得说明的是，由于源网络设备与音视频服务器之间，以及目标网络设备与客户端设备之间是局域网连接，网络环境对数据报文的传输的影响一般可以忽略。但是，由于源网络设备与目标网络设备间是广域网连接，其网络环境对数据报文的传输影响不可忽略。因此，采用本实施例提供的所述方法来克服由于广域无线网络环境导致数据报文传输时延不同等而造成的音视频数据质量不佳的缺陷。

本实施例中，当源网络设备接收到音视频服务器发送的音视频数据报文后，在数据报文的头域中加入该源网络设备接收到该数据报文的接收时间信息以及报文编号信息，其中，该报文编号信息为该源网络设备根据其维护的一个递增变量所指示的编号顺序添加入数据报文中的。例如，若当前该源网络设备首次接收音视频服务器发送的数据报文，其维护的递增变量的初始值设为1，则该数据报文的编号为1，依次类推，后续收到的数据报文依次加1编号。理想情况下，由于源网络设备与音视频服务器间的局域网网络环境对数据报文的时延等影响可以忽略，则源网络设备所添加入各数据报文中的编号的先后顺序与音视频服务器发送报文的先后顺序一致，从而，源网络设备接收到的相邻数据报文中的接收时间信息的差值也与音视频服务器发送相应的相邻数据报文的时间间隔一致。

具体地，当源网络设备将所述接收时间信息和报文编号信息添加入接收到的数据报文后，将该数据报文发送给目标网络设备，从而，目标网络设备接收源网络设备依次发送的各数据报文，并且，所述目标网络设备在接收到第一个数据报文时建立缓存队列，用以缓存接收到的各数据报文。

步骤102、在满足预设发送条件时，所述目标网络设备根据接收到的所述各数据报文中的所述报文编号信息和接收时间信息确定向客户端设备发送所述各数据报文的时序和时间间隔；

步骤103、所述目标网络设备以确定的时序和时间间隔向所述客户端设备发送所述缓存队列中的各数据报文。

具体地，由于源网络设备与目标网络设备间无线广域网络环境的影响，源网络设备依次发送的各数据报文很可能会经历不同的时延、抖动，使得达到目标网络设备的先后顺序不同。因此，在满足预设发送条件时，目标网络设备需根据接收到的所述各数据报文中的所述报文编号信息和接收时间信息确定向客户端设备发送所述各数据报文的时序和时间间隔，并以确定的时序和时间间隔向所述客户端设备发送所述缓存队列中的各数据报文。其中，所述预设发送条件包括：缓存时间达到预设时间，或者，缓存的数据报文数量达到预设数量。比如，当缓存时间已经达到预设的1s的时间长度时，目标网络设备根据在此时间内收到的各数据报文中的报文编号信息和接收时间信息确定发送时序和发送时间间隔，并以确定的发送时序和确定的发送时间间隔依次向客户端设备发送各数据报文。本实施例中，目标网络设备根据数据报文中携带的报文编号信息进行数据报文的发送时序恢复，并根据数据报文中携带的接收时间信息来调整向客户端设备发送数据报文的时间间隔，有利于避免由于无线网络环境对数据报文的不利影响而导致客户端设备接收到的音视频数据出现停顿、卡，甚至中断等不良现象。

下面以执行本实施例提供的所述方法的主体为TCP代理为例进行说明。此时要求源网络设备和目标网络设备都支持TCP代理的功能，具体地，源TCP代理和目标TCP代理可以集成或独立设置，且分别与源网络设备和目标网络设备对应。

由于源网络设备与目标网络设备一般以无线广域网连接，从而源TCP代理和目标TCP代理也在无线广域网的环境下。为了保证音视频数据报文传输的可靠性，一般采用TCP协议进行可靠传输。因此，本实施例中在TCP协议的头域中增加一个选项，用于传输所述的报文编号信息和接收时间信息，该选项命名为PRT（Packet Reception Time）。图7为本发明PRT选项的帧结构示意图，如图7所示，该选项中主要包括如下四个字段，即1字节的类型字段、1字节的长度字段、2字节的报文编号字段和4字节的接收时间字段。其中，类型字段为该PRT选项的标识字段，例如以50表征该PRT选项，长度字段表示该PRT选项所使用的总字节数，比如总共为8字节，而且，各字段的长度可依据实际情况进行调整，比如将报文编号字段增加至3字节，将接收时间字段增加至5字节，从而在类型字段长度和长度字段长度保持1字节的情况下，长度字段为10字节。

本实施例中，当需要进行音视频的传输时，音视频服务器、源网络设备、目标网络设备和客户端设备依次可以采用三次握手方式来协商是否启用PRT选项功能。本实施例中在音视频服务器和客户端设备不支持TCP代理，而源网络设备和目标网络设备都支持TCP代理的情况下，只有源网络设备和目标网络设备间可以启用PRT选项。此时，与源网络设备对应的源TCP代理在接收到来自音视频服务器的数据报文后，进行TCP报文的封装。首先，记录其接收到的接收时间，之后进行PRT选项的填充，即将记录的接收时间填充到PRT选项的接收时间字段中，并且使用一个递增变量填充PRT选项的报文编号字段，之后将封装好的TCP报文发送给目标TCP代理。目标TCP代理在接收到第一个TCP报文后建立缓存队列，并根据PRT选项中的报文编号信息和接收时间信息确定向客户端设备发送各报文的时序和时间间隔，以在满足预设发送条件时，以确定的时序和发送时间间隔向客户端设备发送TCP数据报文。值得说明的是，目标TCP代理向客户端设备发送的TCP数据报文中不再携带有PRT选项。

本实施例中，源网络设备在接收到音视频服务器发送的数据报文后，在数据报文中添加入其接收到数据报文的接收时间信息以及报文编号信息，使得目标网络设备在接收到源网络设备发送的携带有报文编号信息和接收时间信息的数据报文后缓存数据报文，并在满足预设发送条件时，对接收到的各数据报文根据所述报文编号信息进行发送时序确定，并根据接收时间信息确定向客户端设备发送的时间间隔。通过控制向客户端设备发送的数据报文的时序和时间间隔，使得音视频数据报文的传输质量得到保证，大大提高了客户端设备接收到的音视频数据的质量。

图2为本发明音视频传输控制方法实施例二的流程图，如图2所示，该方法包括：

步骤201、目标网络设备接收源网络设备依次发送的各数据报文，并在接收到第一个所述数据报文时建立缓存队列，所述数据报文中包含所述源网络设备从音视频服务器接收到所述数据报文的接收时间信息和报文编号信息；

步骤202、所述目标网络设备根据各报文编号信息分别确定所述各数据报文是否合法，若不合法，则执行步骤203，否则执行步骤204；

步骤203、所述目标网络设备删除不合法的数据报文；

本实施例中，当目标网络设备接收到源网络设备依次发送的携带有报文编号信息和接收时间信息的各数据报文后，根据各报文编号信息分别确定所述各数据报文是否合法，若不合法，则删除不合法的数据报文。具体地，若所述目标网络设备重复接收到同一报文编号信息的数据报文，则确定后续接收到的含有该报文编号信息的数据报文不合法，删除不合法的数据报文，进而执行步骤204。

步骤204、在满足预设发送条件时，所述目标网络设备根据接收到的所述各数据报文中的所述报文编号信息确定向客户端设备发送所述各数据报文的时序；

步骤205、若所述确定的时序不连续，则所述目标网络设备向所述源网络设备发送重传请求，以使所述源网络设备重传不连续时序对应的数据报文；

步骤206、所述目标网络设备确定发送相邻时序数据报文的时间间隔为与所述相邻时序数据报文分别对应的所述接收时间信息的差值；

步骤207、所述目标网络设备以确定的时序和时间间隔向所述客户端设备发送所述缓存队列中的各数据报文。

本实施例中，目标网络设备若确定接收到的数据报文合法，则在满足预设发送条件时，根据数据报文中的报文编号信息来确定各数据报文的发送时序，该发送时序即为目标网络设备向客户端设备发送接收到的数据报文的时序，该发送时序按照报文编号信息增大的顺序顺次排列。

进一步地，当目标网络设备确定数据报文的发送时序后，若时序不连续，比如前一个数据报文的时序为3，而后一个确定的数据报文的时序为5，此时，由于缺少时序为4的数据报文而确定数据报文的时序不连续。此时，目标网络设备向所述源网络设备发送重传请求，以使所述源网络设备重传不连续时序对应的数据报文。值得说明的是，源网络设备重传不连续时序对应的数据报文时，该数据报文中携带的报文编号信息和接收时间信息仍为源网络设备初始从音视频服务器接收的接收时间和报文编号。

进而，目标网络设备以确定出时序的相邻时序数据报文中的接收时间信息的差值作为发送该相邻时序数据报文的发送时间间隔，向客户端设备发送各数据报文。值得说明的是，本实施例中，时序排在第一位的数据报文的发送时间为满足发送条件的时刻，也可以根据实际应用情况适当调整。

本实施例中，目标网络设备根据接收到的数据报文中的报文编号信息来恢复经不同网络时延的各数据报文的发送时序，保证了数据报文的正确时序发送；通过缓存接收到的数据报文，以相邻时序数据报文中的接收时间信息差值作为发送时间间隔，使得目标网络设备向客户端设备发送相邻时序数据报文的时间间隔与源网络设备接收到音视频服务器发送的相邻数据报文的时间间隔相一致，从而克服了由于不同数据报文经历不同时延、抖动等造成的音视频播放不通畅的缺陷，大大提高了客户端设备接收到的音视频的质量；通过合法性确定以及差错重传，保证了数据报文传输的可靠性。

图3为本发明音视频传输目标控制装置实施例一的示意图，如图3所示，本实施例提供的所述装置优选地可以集成设置于目标网络设备中，所述装置包括：

接收模块11，用于接收源网络设备依次发送的各数据报文，并在接收到第一个所述数据报文时建立缓存队列，所述数据报文中包含所述源网络设备从音视频服务器接收到所述数据报文的接收时间信息和报文编号信息；

第一确定模块12，用于在满足预设发送条件时，根据接收到的所述各数据报文中的所述报文编号信息和接收时间信息确定向客户端设备发送所述各数据报文的时序和时间间隔；

发送模块13，用于以确定的时序和时间间隔向所述客户端设备发送所述各数据报文。

本实施例的装置可以用于执行图1所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

图4为本发明音视频传输目标控制装置实施例二的示意图，如图4所示，本实施例提供的所述装置在图3所示实施例的基础上，所述第一确定模块12包括：

第一确定单元121，用于根据接收到的所述各数据报文中的所述报文编号信息确定向客户端设备发送所述各数据报文的时序；

第二确定单元122，用于确定发送相邻时序数据报文的所述时间间隔为与所述相邻时序数据报文分别对应的所述接收时间信息的差值。

进一步地，所述装置还包括：

重传模块23，用于若所述确定的时序不连续，则向所述源网络设备发送重传请求，以使所述源网络设备重传不连续时序对应的数据报文。

进一步地，所述预设发送条件包括：

缓存时间达到预设时间，或者，缓存的数据报文数量达到预设数量。

进一步地，所述装置还包括：

第二确定模块21，用于根据各报文编号信息分别确定所述各数据报文是否合法；

删除模块22，用于若不合法，则删除不合法的数据报文。

本实施例的装置可以用于执行图2所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

图5为本发明音视频传输源控制装置实施例三的结构示意图，如图5所示，本实施例提供的所述装置，优选地可以集成设置于源网络设备中。

本实施例提供的装置包括：

接收模块31，用于接收音视频服务器发送的各数据报文；

添加模块32，用于向所述各数据报文中分别添加接收到所述各数据报文的接收时间信息和报文编号信息；

发送模块33，用于向目标网络设备依次发送添加所述接收时间信息和报文编号信息的各数据报文，以使所述目标网络设备在满足预设发送条件时，根据接收到的所述各数据报文中的所述报文编号信息和接收时间信息确定向客户端设备发送所述各数据报文的时序和时间间隔。

具体地，所述报文编号信息，用于使得所述目标网络设备根据接收到的所述各数据报文中的所述报文编号信息确定向客户端设备发送所述各数据报文的时序；

所述接收时间信息，用于使得所述目标网络设备确定发送相邻时序数据报文的所述时间间隔为与所述相邻时序数据报文分别对应的所述接收时间信息的差值。

具体地，所述发送条件包括：

缓存时间达到预设时间，或者，缓存的数据报文数量达到预设数量。

进一步地，所述装置还包括：

重传模块34，用于接收所述目标网络设备在确定的时序不连续时发送的重传请求，并重传不连续时序对应的数据报文。

图6为本发明音视频传输控制系统实施例一的示意图，如图6所示，该系统包括：如上所述的源控制装置41和如上所述的目标控制装置42。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (12)

1.一种音视频传输控制方法，其特征在于，包括：

目标网络设备接收源网络设备依次发送的各数据报文，并在接收到第一个所述数据报文时建立缓存队列，所述数据报文中包含所述源网络设备从音视频服务器接收到所述数据报文的接收时间信息和报文编号信息；

在满足预设发送条件时，所述目标网络设备根据接收到的所述各数据报文中的所述报文编号信息确定向客户端设备发送所述各数据报文的时序；所述目标网络设备确定发送相邻时序数据报文的时间间隔为与所述相邻时序数据报文分别对应的接收时间信息的差值；

所述目标网络设备以确定的时序和时间间隔向所述客户端设备发送所述缓存队列中的各数据报文。

2.根据权利要求1所述的方法，其特征在于，所述目标网络设备根据接收到的所述各数据报文中的所述报文编号信息和接收时间信息确定向客户端设备发送所述各数据报文的时序和时间间隔，包括：

所述目标网络设备根据接收到的所述各数据报文中的所述报文编号信息确定向客户端设备发送所述各数据报文的时序；

所述目标网络设备确定发送相邻时序数据报文的所述时间间隔为与所述相邻时序数据报文分别对应的所述接收时间信息的差值。

3.根据权利要求1所述的方法，其特征在于，所述目标网络设备根据接收到的所述各数据报文中的所述报文编号信息和接收时间信息确定向客户端设备发送所述各数据报文的时序和时间间隔之后，还包括：

若确定的时序不连续，则所述目标网络设备向所述源网络设备发送重传请求，以使所述源网络设备重传不连续时序对应的数据报文。

4.根据权利要求1～3中任一项所述的方法，其特征在于，所述发送条件包括：

缓存时间达到预设时间，或者，缓存的数据报文数量达到预设数量。

5.根据权利要求1～3中任一项所述的方法，其特征在于，所述目标网络设备根据接收到的所述各数据报文中的所述报文编号信息和接收时间信息确定向客户端设备发送所述各数据报文的时序和时间间隔之前，还包括：

所述目标网络设备根据各报文编号信息分别确定所述各数据报文是否合 法；

若不合法，则所述目标网络设备删除不合法的数据报文。

6.一种音视频传输目标控制装置，其特征在于，包括：

接收模块，用于接收源网络设备依次发送的各数据报文，并在接收到第一个所述数据报文时建立缓存队列，所述数据报文中包含所述源网络设备从音视频服务器接收到所述数据报文的接收时间信息和报文编号信息；

第一确定模块，用于在满足预设发送条件时，根据接收到的所述各数据报文中的所述报文编号信息确定向客户端设备发送所述各数据报文的时序；确定发送相邻时序数据报文的时间间隔为与所述相邻时序数据报文分别对应的接收时间信息的差值；

发送模块，用于以确定的时序和时间间隔向所述客户端设备发送所述各数据报文。

7.根据权利要求6所述的装置，其特征在于，所述第一确定模块包括：

第一确定单元，用于根据接收到的所述各数据报文中的所述报文编号信息确定向客户端设备发送所述各数据报文的时序；

第二确定单元，用于确定发送相邻时序数据报文的所述时间间隔为与所述相邻时序数据报文分别对应的所述接收时间信息的差值。

8.根据权利要求6所述的装置，其特征在于，还包括：

重传模块，用于若确定的时序不连续，则向所述源网络设备发送重传请求，以使所述源网络设备重传不连续时序对应的数据报文。

9.根据权利要求6～8中任一项所述的装置，其特征在于，还包括：

第二确定模块，用于根据各报文编号信息分别确定所述各数据报文是否合法；

删除模块，用于若不合法，则删除不合法的数据报文。

10.一种音视频传输源控制装置，其特征在于，包括：

接收模块，用于接收音视频服务器发送的各数据报文；

添加模块，用于向所述各数据报文中分别添加接收到所述各数据报文的接收时间信息和报文编号信息；

发送模块，用于向目标网络设备依次发送添加所述接收时间信息和报文编号信息的各数据报文，以使所述目标网络设备在满足预设发送条件时，根 据接收到的所述各数据报文中的所述报文编号信息确定向客户端设备发送所述各数据报文的时序及确定发送相邻时序数据报文的时间间隔为与所述相邻时序数据报文分别对应的接收时间信息的差值。

11.根据权利要求10所述的装置，其特征在于，所述报文编号信息，用于使得所述目标网络设备根据接收到的所述各数据报文中的所述报文编号信息确定向客户端设备发送所述各数据报文的时序；

所述接收时间信息，用于使得所述目标网络设备确定发送相邻时序数据报文的所述时间间隔为与所述相邻时序数据报文分别对应的所述接收时间信息的差值。

12.根据权利要求10所述的装置，其特征在于，还包括：

重传模块，用于接收所述目标网络设备在确定的时序不连续时发送的重传请求，并重传不连续时序对应的数据报文。