CN113905229B - 一种音视频传输质量监控方法及系统 - Google Patents

Abstract

本发明适用于计算机领域，提供了一种音视频传输质量监控方法及系统，在传输过程中，监控宽带传输路径上正在发送的音视频数据包数量；判断正在发送的音视频数据包数量是否超过当前宽带能够承受的匹配数据包数量；当正在发送的音视频数据包数量没超过当前宽带能够承受的匹配数据包数量，允许更多的音视频数据包从此宽带路径传输；当正在发送的音视频数据包数量超过当前宽带能够承受的匹配数据包数量，将后续音视频数据包分流到其他宽带传输路径或者增大当前传输宽带的带宽。避免音视频数据在同一条宽带上拥堵，造成接收端看到的音视频出现卡顿或者延迟等问题，保证音视频传输的质量，提升用户体验感，增加平台吸引力。

Description

一种音视频传输质量监控方法及系统

技术领域

本发明属于计算机领域，尤其涉及一种音视频传输质量监控方法及系统。

背景技术

随着互联网技术和网络传输技术的发展，人们上网的成本越来越低，直播以及与直播类似的网络沟通交流形式应运而生，视频直播、实时音视频通信等在线音视频服务面临各种复杂的网络环境和流量爆发式的增长，对音视频质量监控和成本优化提出新的严峻挑战。另外，音视频行业的发展，用户对音视频画质的清晰度、播放的流畅度、互动的低延迟、突破终端限制等的要求越来越高。这些需求从客观上对视频的传输提出更高的挑战。

对于如今人人皆可直播的网络现象，直播呈井喷式增长，因此在同一个平台上进行直播的过程中，就会出现直播音视频出现卡顿，或者直播出现延迟的现象，导致用户的体验感降低，对于用户的吸引力下降。

发明内容

本发明实施例提供一种音视频传输质量监控方法及系统，旨在解决直播过程中，音视频出现卡顿和延迟等现象的问题。

本发明实施例是这样实现的，一方面，一种音视频传输质量监控方法包括：

接收发送端上传的音视频数据；

将音视频数据按序编制成多个音视频数据包；

将音视频数据包通过宽带按序发送给接收端；

监控宽带传输路径上正在发送的音视频数据包数量；

判断正在发送的音视频数据包数量是否超过当前宽带能够承受的匹配数据包数量；

当正在发送的音视频数据包数量没超过当前宽带能够承受的匹配数据包数量，允许更多的音视频数据包从此宽带路径传输；

当正在发送的音视频数据包数量超过当前宽带能够承受的匹配数据包数量，将后续音视频数据包分流到其他宽带传输路径或者增大当前传输宽带的带宽。

作为本发明的一种改进方案：所述接收发送端上传的音视频数据之后，所述方法还包括：

对同一发送端连续上传的音视频数据进行数据编码；所述数据编码用于识别音视频数据是否属于同一数据流。

作为本发明的又一种改进方案：所述将音视频数据按序编制成多个音视频数据包具体包括：

识别音视频数据中携带的数据编码；

将音视频数据按照等距时间间隔按序编制成多个音视频数据包；

对每个编制的音视频数据包添加序号；

将数据编码添加到每个具有序号的音视频数据包内。

作为本发明的另一种改进方案：所述将音视频数据包通过宽带按序发送给接收端具体包括：

识别第一个音视频数据包的占用空间值和数据编码；

根据第一个音视频数据包的占用空间值，在宽带内构建与占用空间值相匹配的传输通道；

对构建出的传输通道进行通道编码；所述通道编码与数据编码相对应。

作为本发明的再进一步方案：所述监控宽带传输路径上正在发送的音视频数据包数量具体包括：

对进入宽带内的音视频数据包进行计数，记为输入数量；

对输出宽带的音视频数据包同样进行计数，记为输出数量；

根据输入数量和输出数量得到宽带传输路径上正在发送的音视频数据包理论数量；

对宽带传输路径上正在发送的音视频数据包进行计数，得到实际数量。

作为本发明的优化方案：所述根据第一个音视频数据包的占用空间值，在宽带内构建与占用空间值相匹配的传输通道的同时，所述方法还包括：

在宽带内构建与传输通道相同的并行通道；

将在传输通道内发送的音视频数据包另外在并行通道内再次发送；

在传输通道和并行通道输出端，将两个通道内发送的相同的连续一段音视频数据包去重合并，得到最终接收的音视频数据包流。

作为本发明的又一种方案：所述在传输通道和并行通道输出端，将两个通道内发送的连续一段音视频数据包去重合并，得到最终接收的音视频数据包流之后，所述方法还包括：

对最终接收的音视频数据包流内的数据包进行计数，得到接收数据包数量；

对传输通道输入的同一段音视频数据包流的数量进行预计数，记为发送数据包数量；

根据发送数据包数量和接收数据包数量，得到数据包丢失量；

判断数据包丢失量是否大于允许丢失量；

当数据包丢失量大于允许丢失量时，在构建传输通道的同时，构建多条并行通道，在多条并行通道内同时传输与传输通道内相同的音视频数据包，并且在传输通道输出端，将传输通道和多条并行通道内发送的相同的连续一段音视频数据包去重合并。

另一方面，一种音视频传输质量监控系统包括：

接收模块，用于接收发送端上传的音视频数据；

数据编制模块，用于将音视频数据按序编制成多个音视频数据包；

发送模块，用于将音视频数据包通过宽带按序发送给接收端；

监控模块，用于监控宽带传输路径上正在发送的音视频数据包数量；

判断模块，用于判断正在发送的音视频数据包数量是否超过当前宽带能够承受的匹配数据包数量；当正在发送的音视频数据包数量没超过当前宽带能够承受的匹配数据包数量，允许更多的音视频数据包从此宽带路径传输；

传输调整模块，用于当正在发送的音视频数据包数量超过当前宽带能够承受的匹配数据包数量，将后续音视频数据包分流到其他宽带传输路径或者增大当前传输宽带的带宽。

本发明的有益效果：通过接收发送端上传的音视频数据；并将音视频数据按序编制成多个音视频数据包，然后将音视频数据包通过宽带按序发送给接收端；在传输过程中，监控宽带传输路径上正在发送的音视频数据包数量；判断正在发送的音视频数据包数量是否超过当前宽带能够承受的匹配数据包数量；当正在发送的音视频数据包数量没超过当前宽带能够承受的匹配数据包数量，允许更多的音视频数据包从此宽带路径传输；当正在发送的音视频数据包数量超过当前宽带能够承受的匹配数据包数量，将后续音视频数据包分流到其他宽带传输路径或者增大当前传输宽带的带宽。避免音视频数据在同一条宽带上拥堵，造成接收端看到的音视频出现卡顿或者延迟等问题，保证音视频传输的质量，提升用户体验感，增加平台吸引力。

附图说明

图1是一种音视频传输质量监控方法的主流程图；

图2是一种音视频传输质量监控方法中的音视频数据编制流程图；

图3是一种音视频传输质量监控方法中的音视频数据包发送流程图；

图4是一种音视频传输质量监控方法中的数据防丢流程图；

图5是一种音视频传输质量监控系统的内部结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明通过接收发送端上传的音视频数据；并将音视频数据按序编制成多个音视频数据包，然后将音视频数据包通过宽带按序发送给接收端；在传输过程中，监控宽带传输路径上正在发送的音视频数据包数量；判断正在发送的音视频数据包数量是否超过当前宽带能够承受的匹配数据包数量；当正在发送的音视频数据包数量没超过当前宽带能够承受的匹配数据包数量，允许更多的音视频数据包从此宽带路径传输；当正在发送的音视频数据包数量超过当前宽带能够承受的匹配数据包数量，将后续音视频数据包分流到其他宽带传输路径或者增大当前传输宽带的带宽。避免音视频数据在同一条宽带上拥堵，造成接收端看到的音视频出现卡顿或者延迟等问题，保证音视频传输的质量，提升用户体验感，增加平台吸引力。

图1示出了本发明实施例的一种音视频传输质量监控方法的主流程图，所述音视频传输质量监控方法包括：

步骤S10：接收发送端上传的音视频数据。同一时间可能接收多个发送端上传的音视频数据，并且发送端的类型可能不同，发送端可以是移动智能手机，还可以是台式电脑或者平板电脑等。

步骤S11：将音视频数据按序编制成多个音视频数据包。这里所说的编制，可以简单的理解为分割，因为直播过程中产生的音视频是连续不断的，为了便于后续步骤中对音视频的传输质量进行监控，分割后，更容易判断音视频传输的质量。

步骤S12：将音视频数据包通过宽带按序发送给接收端。

步骤S13：监控宽带传输路径上正在发送的音视频数据包数量。

步骤S14：判断正在发送的音视频数据包数量是否超过当前宽带能够承受的匹配数据包数量。所述当前宽带能够承受的匹配数据包数量是指当前宽带的带宽下，承受音视频数据包的最大值情况下，不会产生接收端观看到的视频出现卡顿延迟问题，当超过这个最大值之后，发生卡顿延迟的问题就比较频繁。

步骤S15：当正在发送的音视频数据包数量没超过当前宽带能够承受的匹配数据包数量，说明当前宽带还有富余的传输能力，允许更多的音视频数据包从此宽带路径传输。

步骤S16：当正在发送的音视频数据包数量超过当前宽带能够承受的匹配数据包数量，说明当前宽带已经超过最佳传输能力，当前宽带上的音视频数据包持续再增加的话，会造成卡顿和延迟，因此将后续音视频数据包分流到其他宽带传输路径或者增大当前传输宽带的带宽。对带宽进行动态补偿，找出最优带宽使用占有配比，进行实时补偿；使得当前带宽和将要进行传输的音视频包大小相适应。

在本实施例的一种情况中，所述接收发送端上传的音视频数据之后，所述方法还包括：

对同一发送端连续上传的音视频数据进行数据编码；所述数据编码用于识别音视频数据是否属于同一数据流。因为同一时间会有多个发送端上传音视频数据，为了区分每一条音视频数据，所以对每一条音视频数据进行数据编码。

图2示出了本发明实施例的一种音视频传输质量监控方法中的音视频数据编制流程图，所述将音视频数据按序编制成多个音视频数据包具体包括：

步骤S110：识别音视频数据中携带的数据编码。

步骤S111：将音视频数据按照等距时间间隔按序编制成多个音视频数据包。每一个时间段，由于视频内容和视频包含的信息量不同，视频的大小会有区别，但是同一条视频内的音视频数据包区别不大。

步骤S112：对每个编制的音视频数据包添加序号，保证数据之间的连贯性。

步骤S113：将数据编码添加到每个具有序号的音视频数据包内。

图3示出了本发明实施例的一种音视频传输质量监控方法中的音视频数据包发送流程图，所述将音视频数据包通过宽带按序发送给接收端具体包括：

步骤S120：识别第一个音视频数据包的占用空间值和数据编码；

步骤S121：根据第一个音视频数据包的占用空间值，在宽带内构建与占用空间值相匹配的传输通道。由于不同发送端上传的视频大小和质量不一样，但是同一个发送端上传的同一条连贯的视频，其音视频数据包的大小区别不大，将第一个音视频数据包作为构建传输通道的依据，具有一定的代表性，使得当前传输通道和将要进行传输的音视频数据包大小相适应。

步骤S122：对构建出的传输通道进行通道编码；所述通道编码与数据编码相对应。

在本实施例的一种情况中，所述监控宽带传输路径上正在发送的音视频数据包数量具体包括：

步骤S130：对进入宽带内的音视频数据包进行计数，记为输入数量。

步骤S131：对输出宽带的音视频数据包同样进行计数，记为输出数量。

步骤S132：根据输入数量和输出数量得到宽带传输路径上正在发送的音视频数据包理论数量。通过音视频数据包理论数量能够知道当前宽带的承载量。

步骤S133：对宽带传输路径上正在发送的音视频数据包进行计数，得到实际数量。通过实际数量和理论数量能够得到当前宽带在传输过程中有没有出现数据包的丢失。

图4示出了本发明实施例的一种音视频传输质量监控方法中的数据防丢流程图，所述根据第一个音视频数据包的占用空间值，在宽带内构建与占用空间值相匹配的传输通道的同时，所述方法还包括：

步骤S30：在宽带内构建与传输通道相同的并行通道；

步骤S31：将在传输通道内发送的音视频数据包另外在并行通道内再次发送；

步骤S32：在传输通道和并行通道输出端，将两个通道内发送的相同的连续一段音视频数据包去重合并，得到最终接收的音视频数据包流。由于音视频数据包丢失是一个随机的事件，具有一定的不可控性，只能尽可能的减少这种数据丢失。对每一段音视频数据进行监控，当传输通道上的音视频数据出现丢失的情况时，通过与并行通道内的音视频数据包进行去重合并，以弥补传输通道上丢失的音视频数据包。

在本实施例的一种情况中，所述在传输通道和并行通道输出端，将两个通道内发送的连续一段音视频数据包去重合并，得到最终接收的音视频数据包流之后，所述方法还包括：

步骤S40：对最终接收的音视频数据包流内的数据包进行计数，得到接收数据包数量；

步骤S41：对传输通道输入的同一段音视频数据包流的数量进行预计数，记为发送数据包数量；

步骤S42：根据发送数据包数量和接收数据包数量，得到数据包丢失量；

步骤S43：判断数据包丢失量是否大于允许丢失量；

步骤S44：当数据包丢失量大于允许丢失量时，说明当前数据丢失严重，由于数据丢失存在时序上的关系，当前数据丢失会对后续的数据产生一定的负面影响，因此在构建传输通道的同时，可以构建多条并行通道，在多条并行通道内同时传输与传输通道内相同的音视频数据包，并且在传输通道输出端，将传输通道和多条并行通道内发送的相同的连续一段音视频数据包去重合并。增加并行的数据量，以减少数据的丢失。当并行通道增多的时候，整个宽带的承载能力就会相应的减少，此时需要将后续发送端上传的音视频数据转移到其他宽带上进行传输，避免造成数据拥堵。

图5示出了本发明实施例的一种音视频传输质量监控系统的内部结构示意图，所述音视频传输质量监控系统包括：

接收模块100，用于接收发送端上传的音视频数据；

数据编制模块200，用于将音视频数据按序编制成多个音视频数据包；

发送模块300，用于将音视频数据包通过宽带按序发送给接收端；

监控模块400，用于监控宽带传输路径上正在发送的音视频数据包数量；

判断模块500，用于判断正在发送的音视频数据包数量是否超过当前宽带能够承受的匹配数据包数量；当正在发送的音视频数据包数量没超过当前宽带能够承受的匹配数据包数量，允许更多的音视频数据包从此宽带路径传输；

传输调整模块600，用于当正在发送的音视频数据包数量超过当前宽带能够承受的匹配数据包数量，将后续音视频数据包分流到其他宽带传输路径或者增大当前传输宽带的带宽。

为了能够加载上述方法和系统能够顺利运行，该系统除了包括上述各种模块之外，还可以包括比上述描述更多或更少的部件，或者组合某些部件，或者不同的部件，例如可以包括输入输出设备、网络接入设备、总线、处理器和存储器等。

本应该理解的是，虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种音视频传输质量监控方法，其特征在于，所述方法包括：

接收发送端上传的音视频数据；

将音视频数据按序编制成多个音视频数据包；

将音视频数据包通过宽带按序发送给接收端；

监控宽带传输路径上正在发送的音视频数据包数量；

判断正在发送的音视频数据包数量是否超过当前宽带能够承受的匹配数据包数量；

当正在发送的音视频数据包数量没超过当前宽带能够承受的匹配数据包数量，允许更多的音视频数据包从此宽带路径传输；

当正在发送的音视频数据包数量超过当前宽带能够承受的匹配数据包数量，将后续音视频数据包分流到其他宽带传输路径或者增大当前传输宽带的带宽；

所述接收发送端上传的音视频数据之后，所述方法还包括：

对同一发送端连续上传的音视频数据进行数据编码；所述数据编码用于识别音视频数据是否属于同一数据流；

所述将音视频数据按序编制成多个音视频数据包具体包括：

识别音视频数据中携带的数据编码；

将音视频数据按照等距时间间隔按序编制成多个音视频数据包；

对每个编制的音视频数据包添加序号；

将数据编码添加到每个具有序号的音视频数据包内；

所述将音视频数据包通过宽带按序发送给接收端具体包括：

识别第一个音视频数据包的占用空间值和数据编码；

根据第一个音视频数据包的占用空间值，在宽带内构建与占用空间值相匹配的传输通道；

对构建出的传输通道进行通道编码；所述通道编码与数据编码相对应；

所述根据第一个音视频数据包的占用空间值，在宽带内构建与占用空间值相匹配的传输通道的同时，所述方法还包括：

在宽带内构建与传输通道相同的并行通道；

将在传输通道内发送的音视频数据包另外在并行通道内再次发送；

在传输通道和并行通道输出端，将两个通道内发送的相同的连续一段音视频数据包去重合并，得到最终接收的音视频数据包流；

所述在传输通道和并行通道输出端，将两个通道内发送的连续一段音视频数据包去重合并，得到最终接收的音视频数据包流之后，所述方法还包括：

对最终接收的音视频数据包流内的数据包进行计数，得到接收数据包数量；

对传输通道输入的同一段音视频数据包流的数量进行预计数，记为发送数据包数量；

根据发送数据包数量和接收数据包数量，得到数据包丢失量；

判断数据包丢失量是否大于允许丢失量；

当数据包丢失量大于允许丢失量时，在构建传输通道的同时，构建多条并行通道，在多条并行通道内同时传输与传输通道内相同的音视频数据包，并且在传输通道输出端，将传输通道和多条并行通道内发送的相同的连续一段音视频数据包去重合并 。

2.如权利要求1所述的音视频传输质量监控方法，其特征在于，所述监控宽带传输路径上正在发送的音视频数据包数量具体包括：

对进入宽带内的音视频数据包进行计数，记为输入数量；

对输出宽带的音视频数据包同样进行计数，记为输出数量；

根据输入数量和输出数量得到宽带传输路径上正在发送的音视频数据包理论数量；

对宽带传输路径上正在发送的音视频数据包进行计数，得到实际数量。

3.一种音视频传输质量监控系统，其特征在于，所述系统包括：

接收模块，用于接收发送端上传的音视频数据；

数据编制模块，用于将音视频数据按序编制成多个音视频数据包；

发送模块，用于将音视频数据包通过宽带按序发送给接收端；

监控模块，用于监控宽带传输路径上正在发送的音视频数据包数量；

判断模块，用于判断正在发送的音视频数据包数量是否超过当前宽带能够承受的匹配数据包数量；当正在发送的音视频数据包数量没超过当前宽带能够承受的匹配数据包数量，允许更多的音视频数据包从此宽带路径传输；

传输调整模块，用于当正在发送的音视频数据包数量超过当前宽带能够承受的匹配数据包数量，将后续音视频数据包分流到其他宽带传输路径或者增大当前传输宽带的带宽；

所述系统还分别应用如下方法：

所述接收发送端上传的音视频数据之后，包括：

对同一发送端连续上传的音视频数据进行数据编码；所述数据编码用于识别音视频数据是否属于同一数据流；

所述将音视频数据按序编制成多个音视频数据包具体包括：

识别音视频数据中携带的数据编码；

将音视频数据按照等距时间间隔按序编制成多个音视频数据包；

对每个编制的音视频数据包添加序号；

将数据编码添加到每个具有序号的音视频数据包内；

所述将音视频数据包通过宽带按序发送给接收端具体包括：

识别第一个音视频数据包的占用空间值和数据编码；

根据第一个音视频数据包的占用空间值，在宽带内构建与占用空间值相匹配的传输通道；

对构建出的传输通道进行通道编码；所述通道编码与数据编码相对应；

所述根据第一个音视频数据包的占用空间值，在宽带内构建与占用空间值相匹配的传输通道的同时，还包括：

在宽带内构建与传输通道相同的并行通道；

将在传输通道内发送的音视频数据包另外在并行通道内再次发送；

在传输通道和并行通道输出端，将两个通道内发送的相同的连续一段音视频数据包去重合并，得到最终接收的音视频数据包流；

所述在传输通道和并行通道输出端，将两个通道内发送的连续一段音视频数据包去重合并，得到最终接收的音视频数据包流之后，还包括：

对最终接收的音视频数据包流内的数据包进行计数，得到接收数据包数量；

对传输通道输入的同一段音视频数据包流的数量进行预计数，记为发送数据包数量；

根据发送数据包数量和接收数据包数量，得到数据包丢失量；

判断数据包丢失量是否大于允许丢失量；

当数据包丢失量大于允许丢失量时，在构建传输通道的同时，构建多条并行通道，在多条并行通道内同时传输与传输通道内相同的音视频数据包，并且在传输通道输出端，将传输通道和多条并行通道内发送的相同的连续一段音视频数据包去重合并 。

Images