CN110798751A

CN110798751A - 一种数据传输方法及设备

Info

Publication number: CN110798751A
Application number: CN201810873432.1A
Authority: CN
Inventors: 孙伟
Original assignee: Alibaba Group Holding Ltd
Current assignee: Alibaba Group Holding Ltd
Priority date: 2018-08-02
Filing date: 2018-08-02
Publication date: 2020-02-14
Anticipated expiration: 2038-08-02
Also published as: CN110798751B

Abstract

本申请提供的数据传输方案中，数据节点设备根据当前周期数据的切片尺寸，对数据切片后进行传输。在进行数据传输时，数据节点设备获取当前周期内数据节点设备的活跃连接的数量以及所述活跃连接的数据输出量，根据所述活跃连接的数量和所述活跃连接的数据输出量，获得所述数据节点设备的网络质量参考值，然后通过根据所述网络质量参考值，调整下一周期数据的切片尺寸。因此在网络质量较差时，若减小数据的切片尺寸，使得每个数据片段更小，虽然会增加总体的传输次数，但可以减少每个数据片段的下载时间，降低了播放视频时的后续片段无法及时完成下载的可能性，因此可以减少卡顿、中断等影响用户体验的情况。

Description

一种数据传输方法及设备

技术领域

本申请涉及信息技术领域，尤其涉及一种数据传输方法及设备。

背景技术

目前，在现有的视频播放系统中广泛使用M3U8格式进行观看，并通过分布式网络架构进行数据传输，以提高数据的传输效率。M3U8文件是指UTF-8编码格式的M3U文件。M3U文件是记录了一个索引纯文本文件，客户端打开M3U文件时，是根据该文件的索引找到对应的音视频文件的网络地址进行在线播放。分布式网络架构是由分布在不同地点的数据节点设备连成网状结构，每个数据节点设备至少有两条链路与其他数据节点设备相连。任何一条链路出故障时，数据可经其他链路通过，因此用户需要访问源站的数据时，网络可靠性较高，同时每个数据节点设备与客户端均处于同一运营商网络内，因此客户端访问节点的网络传输效率较高。

客户端设备打开M3U8文件播放视频时，根据索引查找到对应的数据节点设备，与所述数据节点设备建立连接，实时下载并播放对应的视频数据。例如，图1所示的分布式网络构架中，位于北京的用户会向北京的数据节点设备请求视频数据，以此获得较高的传输速度。数据节点设备在实现视频的在线播放时，会将视频数据进行切片之后，根据播放的需求将特定的数据片段发送给客户端设备，使得客户端设备可以优先下载完当前需要播放的部分，进行播放，从而提高用户体验。

不同的数据节点设备播放M3U8格式的视频数据时，都基于同一个索引文件，视频数据的切片尺寸也完全一致。而在实际场景，每个数据节点设备所处的网络环境不同，会遇到不同的网络压力。在网络质量较差的情况时，客户端设备从数据节点设备下载数据片段的速度较慢，播放视频时的后续片段可能无法及时完成下载，容易会出现卡顿、中断等影响用户体验的问题。

申请内容

本申请的一个目的是提供一种数据传输方法及设备，用以解决在网络质量较差时容易会出现卡顿、中断等影响用户体验的问题。

为实现上述目的，本申请提供了一种数据传输方法，该方法包括：

获取当前周期内数据节点设备的活跃连接的数量以及所述活跃连接的数据输出量，其中，所述数据节点设备根据当前周期数据的切片尺寸，对数据切片后进行传输；

根据所述活跃连接的数量和所述活跃连接的数据输出量，获得所述数据节点设备的网络质量参考值；

根据所述网络质量参考值，调整下一周期数据的切片尺寸。

基于本申请的另一方面，还提供了一种数据节点设备，该设备包括：

传输装置，用于根据当前周期数据的切片尺寸，对数据切片后进行传输；

检测装置，用于获取当前周期内数据节点设备的活跃连接的数量以及所述活跃连接的数据输出量；

网络状态判断装置，用于根据所述活跃连接的数量和所述活跃连接的数据输出量，获得所述数据节点设备的网络质量参考值；

切片调整装置，用于根据所述网络质量参考值，调整下一周期数据的切片尺寸。

此外，本申请还提供了一种数据节点设备，包括用于存储计算机程序指令的存储器和用于执行计算机程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发所述设备执行前述的数据传输方法。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1为分布式网络构架中用户请求数据时的示意图；

图2为本申请实施例提供的数据传输方法中对切片尺寸进行调整时的处理流程图；

图3为数据节点设备的数据总输出量和活跃连接的数量之间的关联关系示意图；

图4为本申请实施例提供的一种数据传输设备的结构示意图；

图5为本申请实施例提供的另一种数据传输设备的结构示意图；

附图中相同或相似的附图标记代表相同或相似的部件。

具体实施方式

下面结合附图对本申请作进一步详细描述。

在本申请一个典型的配置中，终端、服务网络的设备均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的装置或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

本申请实施例提供了一种数据传输方法，该方法会设定数据的切片尺寸，在进行数据传输时会根据当前周期数据的切片尺寸，对数据切片后进行传输，同时该方法能够根据数据节点设备当前的活跃连接数及其传输的数据量评估当前的网络质量，以此调整传输数据时数据的切片尺寸，以减少客户端设备在播放视频数据时卡顿、中断的情况。在实际场景中，该方法的执行主体可以是进行数据传输的数据节点设备，该数据节点设备的具体实现可以包括但不限于如网络主机、单个网络服务器、多个网络服务器集或基于云计算的计算机集合等实现。在此，云由基于云计算(Cloud Computing)的大量主机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟计算机。

本申请实施例提供的数据传输方法中，采用如图2所示处理流程对数据的切片尺寸进行调整，包括如下处理步骤：

步骤S201，获取当前周期内数据节点设备的活跃连接的数量以及所述活跃连接的数据输出量。其中，所述周期为进行尺寸调整的采样周期，周期的长度可以根据实际应用场景的需求调整，例如，可以定义该周期Ro为1分钟、2分钟或者3分钟等。

所述活跃连接是指在当前周期内请求过数据的连接，其数据输出量即为通过活跃连接对外发送的数据量。在应用于视频数据传输的场景时，客户端设备会与对应的数据节点设备建立连接以下载需要播放的视频数据。例如，对于数据节点设备A，可以检测该数据节点设备A在当前周期(例如0～3min)内一共有多少个活跃连接，同时统计每个活跃连接在当前周期内一共发送了多少数据。表1示出了连续多个周期内数据节点设备的活跃连接的数量以及所述活跃连接的数据输出量，其中数据输出量的单位为MB(兆字节)。

周期Ro	连接1	连接2	连接3	连接4	连接5	连接6
							1	3.6	4.3	1.7	3.8	3.7	4.1
2	3.1	4.0	1.5	3.3	3.4
							3	3.3	2.1
4	3.9	1.0	0.8	0.1
							5	0.2	0.3	0.4	0.1	0.3
…

表1

步骤S202，根据所述活跃连接的数量和所述活跃连接的数据输出量，获得所述数据节点设备的网络质量参考值。通过当前周期内数据节点设备活跃连接的数量和所述活跃连接的数据输出量，可以反映出数据节点设备在当前周期内所处网络的网络质量，在实际场景中，可以据此计算一个可量化的参考值，用以对网络质量做出一个定量的评价。

例如，在本申请的一些实施例中，可以采用每个周期内活跃连接数据输出量的标准差作为网络质量参考值，即根据所述活跃连接的数量和所述活跃连接的数据输出量，计算数据输出量的标准差，并将所述标准差确定为所述数据节点设备的网络质量参考值。所述标准差公式为：

其中，N为周期内活跃连接的数量，x_i为周期内第i个活跃连接的数据输出量，μ为周期内活跃连接的数据输出量平均值。

由此可以计算获得表1中多个周期的网络质量参考值，如表2所示：

周期	连接1	连接2	连接3	连接4	连接5	连接6	σ
								1	3.6	4.3	1.7	3.8	3.7	4.1	0.854
2	3.1	4.0	1.5	3.3	3.4		0.836
								3	3.3	2.1					0.600
4	3.9	1.0	0.8	0.1			1.453
								5	0.2	0.3	0.4	0.1	0.3		0.102

表2

步骤S203，根据所述网络质量参考值，调整下一周期数据的切片尺寸。

当网络质量参考值表明当前的网络质量较差时，数据节点设备发送数据片段的速度较慢，可能无法达到接收方的需求，例如进行视频播放的客户端设备中，需要连续播放的视频数据片段可能无法及时完成下载，容易会出现卡顿、中断等影响用户体验的问题。因此可以设定第一阈值，该第一阈值是表示网络质量优劣的一个下限值，若网络质量参考值小于第一阈值时，则表示网络质量无法满足接收方的需求，此时可以减少下一周期数据的切片尺寸，使得数据节点设备在下一周期所发送的每个数据片段更小，虽然会增加总体的传输次数，但可以减少每个数据片段的下载时间，降低了接收方的后续数据片段无法及时完成下载的可能性。在视频播放的场景中，可以减少客户端设备卡顿、中断等情况。

在数据总量不变的前提下，减少每个数据片段的切片尺寸会增加总体传输次数，此时会增加接收方设备对于网络的依赖，需要接收方设备始终保持在线，同样会增加收发双方的负担。因此，可以设定第二阈值，该第二阈值是表示网络质量优劣的一个上限值，其大于前述的第一阈值。若网络质量参考值大于第二阈值，则表示网络质量优于能够正常发送数据片段的需求，此时可以增大下一周期数据的切片尺寸，以减少总体的传输次数。

若网络质量参考值处于第一阈值和第二阈值之间，则表示当前的网络质量适合当前的传输，因此无需进行调整。

在本申请的一些实施例中，可以根据实际场景中的经验值定义第一阈值和第二阈值，设定第一阈值和第二阈值分别为P+和P-，P+为1.0，P-为0.2。而每次调整增大或者减少的尺寸也可以设定一变化值，例如对于视频数据可以按照视频长度进行尺寸的划分，可以设定初始切片尺寸大小为30秒，调整时的切片尺寸变化值为10秒，由此，对于前述实施例中的几个周期的数据，周期1的切片尺寸即为初始切片尺寸30秒；根据周期1～3的数据，可以确定各自的下一周期(即周期2～4)的切片尺寸不变；根据周期4的数据，可以确定下一周期5的切片尺寸增加10s，由30s调整为40s；而根据周期5的数据，可以确定下一周期6的切片尺寸减少10s，由40s调整为30s。切片尺寸的变化如下表3所示：

周期	连接1	连接2	连接3	连接4	连接5	连接6	σ	切片尺寸
									1	3.6	4.3	1.7	3.8	3.7	4.1	0.854	30s
2	3.1	4.0	1.5	3.3	3.4		0.836	30s
									3	3.3	2.1					0.600	30s
4	3.9	1.0	0.8	0.1			1.453	30s
									5	0.2	0.3	0.4	0.1	0.3		0.102	40s
6	…	…	…	…	…	…	…	30s

表3

同时，数据片段的尺寸大小也不可能无限大或者无限小，因此在调整下一周期数据的切片尺寸时，可以设定尺寸上限值、尺寸下限值。在所述网络质量参考值小于第一阈值时，判断当前周期的数据的切片尺寸是否达到尺寸下限值，若未达到尺寸下限值，减少下一周期数据的切片尺寸；或者在所述网络质量参考值大于第二阈值时，判断当前周期的数据的切片尺寸是否达到尺寸上限值，若未达到尺寸上限值，增大下一周期数据的切片尺寸。

在实际场景中，数据节点设备的数据总输出量与活跃连接的数量正相关，图3示出了数据节点设备的数据总输出量和活跃连接的数量之间的关联关系。在活跃连接的数量较少时，检测到的每个活跃连接的数据输出量会有一定程度的失真，而活跃连接的数量越多，则检测到的活跃连接的数据输出量余越接近真实情况。由此，为了保证处理的精度，避免数据失真造成的误差过大，本申请一些实施例提供的方法中可以定义一连接数计算阈值，在根据所述活跃连接的数量和所述活跃连接的数据输出量，获得所述数据节点设备的网络质量参考值之前，先将活跃连接的数量与连接数计算阈值比较，确定所述活跃连接的数量大于等于连接数计算阈值。

例如，本实施例中设定连接数计算阈值C为3，若当前周期为周期1、2、4或5，由于其活跃连接数分别为6、5、4或5，均超过连接数计算阈值，则可以继续进行后续的处理，根据所述活跃连接的数量和所述活跃连接的数据输出量，获得所述数据节点设备的网络质量参考值。若当前周期为周期3，由于其活跃连接数仅为2，小于连接数计算阈值，因此不会进行后续的处理。因此，对于前述实施例中的数据，根据计算周期3的数据进行计算其对应的网络质量参考值。

在本申请实施例的方案中，若确定所述活跃连接的数量小于连接数计算阈值，则保持下一周期数据的切片尺寸不变。例如，若周期3的切片尺寸为20s，本周期内检测到仅有两个活跃连接，则无需对下一周期数据的切片尺寸进行调整，保持周期4的数据的切片尺寸为20s即可。

基于同一发明构思，本申请实施例中还提供了数据节点设备，所述数据节点设备对应的数据传输方法是前述实施例中的方法，并且其解决问题的原理与该方法相似。

本申请实施例提供了一种数据传输设备，该设备可以设定数据的切片尺寸，在进行数据传输时会根据当前周期数据的切片尺寸，对数据切片后进行传输，同时该数据节点设备能够根据当前的活跃连接数及其传输的数据量评估当前的网络质量，以此调整传输数据时数据的切片尺寸，以减少客户端设备在播放视频数据时卡顿、中断的情况。在实际场景中，该数据传输设备的具体实现可以包括但不限于如网络主机、单个网络服务器、多个网络服务器集或基于云计算的计算机集合等实现。在此，云由基于云计算(Cloud Computing)的大量主机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟计算机。

图4示出了本申请一些实施例提供的数据传输设备的结构，该设备包括传输装置410、检测装置420、网络状态判断装置430和切片调整装置440。其中，所述传输装置410用于根据当前周期数据的切片尺寸，对数据切片后进行传输。检测装置420、网络状态判断装置430和切片调整装置440相互协同，在数据传输过程中，对数据的切片尺寸进行调整。

检测装置420用于获取当前周期内数据节点设备的活跃连接的数量以及所述活跃连接的数据输出量。其中，所述周期为进行尺寸调整的采样周期，周期的长度可以根据实际应用场景的需求调整，例如，可以定义该周期Ro为1分钟、2分钟或者3分钟等。

网络状态判断装置430用于根据所述活跃连接的数量和所述活跃连接的数据输出量，获得所述数据节点设备的网络质量参考值。通过当前周期内数据节点设备活跃连接的数量和所述活跃连接的数据输出量，可以反映出数据节点设备在当前周期内所处网络的网络质量，在实际场景中，可以据此计算一个可量化的参考值，用以对网络质量做出一个定量的评价。

由此可以计算获得表1中多个周期的网络质量参考值，如表2所示。

切片调整装置440用于根据所述网络质量参考值，调整下一周期数据的切片尺寸。

在本申请的一些实施例中，可以根据实际场景中的经验值定义第一阈值和第二阈值，设定第一阈值和第二阈值分别为P+和P-，P+为1.0，P-为0.2。而每次调整增大或者减少的尺寸也可以设定一变化值，例如对于视频数据可以按照视频长度进行尺寸的划分，可以设定初始切片尺寸大小为30秒，调整时的切片尺寸变化值为10秒，由此，对于前述实施例中的几个周期的数据，周期1的切片尺寸即为初始切片尺寸30秒；根据周期1～3的数据，可以确定各自的下一周期(即周期2～4)的切片尺寸不变；根据周期4的数据，可以确定下一周期5的切片尺寸增加10s，由30s调整为40s；而根据周期5的数据，可以确定下一周期6的切片尺寸减少10s，由40s调整为30s。切片尺寸的变化如表3所示。

在实际场景中，数据节点设备的数据总输出量与活跃连接的数量正相关，图3示出了数据节点设备的数据总输出量和活跃连接的数量之间的关联关系。在活跃连接的数量较少时，检测到的每个活跃连接的数据输出量会有一定程度的失真，而活跃连接的数量越多，则检测到的活跃连接的数据输出量余越接近真实情况。由此，为了保证处理的精度，避免数据失真造成的误差过大，本申请一些实施例提供的方案中可以定义一连接数计算阈值，在根据所述活跃连接的数量和所述活跃连接的数据输出量，获得所述数据节点设备的网络质量参考值之前，检测装置420先将活跃连接的数量与连接数计算阈值比较，确定所述活跃连接的数量大于等于连接数计算阈值。

在本申请实施例的方案中，若确定所述活跃连接的数量小于连接数计算阈值，则切片调整装置440保持下一周期数据的切片尺寸不变。例如，若周期3的切片尺寸为20s，本周期内检测到仅有两个活跃连接，则无需对下一周期数据的切片尺寸进行调整，保持周期4的数据的切片尺寸为20s即可。

另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。而调用本申请的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据程序指令运行的计算机设备的工作存储器中。在此，根据本申请的一些实施例包括一个如图5所示的设备，该设备包括存储有计算机可读指令的一个或多个存储器510和用于执行计算机可读指令的处理器520，其中，当该计算机可读指令被该处理器执行时，使得所述设备执行基于前述本申请的多个实施例的方法和/或技术方案。

此外，本申请的一些实施例还提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机可读指令可被处理器执行以实现前述本申请的多个实施例的方法和/或技术方案。

需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一些实施例中，本申请的软件程序可以通过处理器执行以实现上文步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims

1.一种数据传输方法，其中，该方法包括：

根据所述网络质量参考值，调整下一周期数据的切片尺寸。

2.根据权利要求1所述的方法，其中，根据所述活跃连接的数量和所述活跃连接的数据输出量，获得所述数据节点设备的网络质量参考值之前，还包括：

确定所述活跃连接的数量大于等于连接数计算阈值。

3.根据权利要求2所述的方法，其中，该方法还包括：

在确定所述活跃连接的数量小于连接数计算阈值时，保持下一周期数据的切片尺寸不变。

4.根据权利要求1所述的方法，其中，根据所述活跃连接的数量和所述活跃连接的数据输出量，获得所述数据节点设备的网络质量参考值，包括：

根据所述活跃连接的数量和所述活跃连接的数据输出量，计算数据输出量的标准差，并将所述标准差确定为所述数据节点设备的网络质量参考值。

5.根据权利要求1所述的方法，其中，根据所述网络质量参考值，调整下一周期数据的切片尺寸，包括：

在所述网络质量参考值小于第一阈值时，减少下一周期数据的切片尺寸。

6.根据权利要求5所述的方法，其中，在所述网络质量参考值小于第一阈值时，减少下一周期数据的切片尺寸，包括：

在所述网络质量参考值小于第一阈值时，判断当前周期的数据的切片尺寸是否达到尺寸下限值；

若未达到尺寸下限值，减少下一周期数据的切片尺寸。

7.根据权利要求5所述的方法，其中，根据所述网络质量参考值，调整下一周期数据的切片尺寸，包括：

在所述网络质量参考值大于第二阈值时，增大下一周期数据的切片尺寸，其中，所述第二阈值大于第一阈值。

8.根据权利要求7所述的方法，其中，在所述网络质量参考值大于第二阈值时，增大下一周期数据的切片尺寸，包括：

在所述网络质量参考值大于第二阈值时，判断当前周期的数据的切片尺寸是否达到尺寸上限值；

若未达到尺寸上限值，增大下一周期数据的切片尺寸。

9.一种数据节点设备，其中，该设备包括：

10.一种数据节点设备，包括用于存储计算机程序指令的存储器和用于执行计算机程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发所述设备执行权利要求1至8中任一项所述的方法。