CN109495299B - 一种数据流量的控制方法、装置 - Google Patents

Abstract

本申请实施例提供了一种数据流量的控制方法、装置，该方法包括：接收所有作业执行单元发送的心跳数据包；根据接收到的心跳数据包，结合预存的宽带设置信息，每隔预设的第一时长计算所有作业中每一个存活作业的带宽配置信息，作为返回参数；将返回参数发送至对应的作业执行单元；其中，第一作业是所有作业中的任一作业，心跳数据包中包括第一作业的ID、第一作业所使用的源存储单元的ID或者目标存储单元的ID以及对第一作业预设的权重，宽带设置信息包括存储单元的ID和存储单元的带宽。因此，通过动态的对业务作业中的各个线程的数据流量进行设置，从而简化数据流量分配，优化系统的数据交换过程，充分利用系统资源。

Description

一种数据流量的控制方法、装置

技术领域

本申请涉及信息技术领域，特别是涉及一种数据流量的控制方法、装置。

背景技术

随着移动互联网、物联网技术的不断发展，企业会积累丰富的数据，而这些数据根据业务特点被存放在不同的存储系统中，如Mysql、Hive、Hbase、Redis、MongoDB等。根据不同的业务的需求，数据会在不同存储系统中进行相互交换。通常是建立专门的数据交换平台来实现数据交换。不同的存储系统由于硬件配置的差异以及安全等级的差异，对流量的承载能力也是不同的。因此数据交换平台必须具备数据流量控制功能。

现有技术中，流控主要有两种方式，第一种是利用存储系统端的流控功能。这种方式需要存储系统本身具备流控功能，对于本身不具备流控功能的存储系统，这种方式则不再适用，且一旦需要修改流控参数，必须重启存储系统；第二种是在数据交换作业端预设流控阈值，流控阈值是由业务人员在创建数据交换作业时配置的，但在配置流控阈值时业务人员并不知道当前一共有多少数据交换作业在运行，因此无法控制同一时刻流经同一存储系统的流量总和。此外，该流控阈值是静态的，无法根据业务的实际流量进行动态调整，因此由于不适合的流控阈值设置会造成物理资源的浪费或者业务作业运行的延迟。

发明内容

鉴于上述问题，本申请实施例提供一种数据流量的控制方法，能够动态地对数据交换业务进行流量分配，进而解决现有技术所存在的物理资源浪费或者业务作业的延迟问题。

相应的，本申请实施例还提供了一种数据流量的控制装置。

为了解决上述问题，本申请实施例公开了一种数据流量的控制方法，应用于数据流量控制单元，所述数据流量控制单元用于控制所有作业的数据流量，所述方法包括：

接收所述所有作业执行单元发送的心跳数据包；

根据接收到的所述心跳数据包，结合预存的宽带设置信息，每隔预设的第一时长计算所述所有作业中每一个存活作业的带宽配置信息，作为返回参数；

将所述返回参数分别发送至对应的作业执行单元；

其中，所述心跳数据包中包括第一作业的ID、所述第一作业所使用的源存储单元的ID或者目标存储单元的ID以及对所述第一作业预设的权重，所述宽带设置信息包括存储单元的ID和所述存储单元的带宽，所述第一作业是所述所有作业中的任一作业。

相应的，本申请实施例还公开了一种数据流量的控制方法，应用于作业执行单元，所述方法包括：

当启动作业时，每隔预设的第三时长向数据流量控制单元发送心跳数据包，以便于所述数据流量控制单元根据所述心跳数据包和预存的宽带设置信息对应确定所述作业的带宽配置信息；

其中，所述心跳数据包中包括所述作业的ID，所述作业所使用的源存储单元ID或者目标存储单元的ID以及对所述作业预设的权重；

在执行所述作业时，以第一速率向所述作业中第一线程对应的第一消息队列发送令牌，其中所述第一速率是根据所述数据流量控制单元发送的所述带宽配置信息确定的所述第一消息队列的令牌发送速率，所述第一线程是所述作业中的任一作业线程；

在执行所述第一线程时，确定在所述第一消息队列中是否存在与所述第一线程的数据大小对应个数的令牌；

当在所述第一消息队列中不存在与所述第一线程的数据大小相对应个数的令牌时，暂缓执行所述第一线程，直至在所述第一消息队列中存在与所述第一线程的数据大小对应个数的令牌；

当在所述第一消息队列中存在与所述第一线程的数据大小对应个数的令牌时，获取与所述第一线程的数据大小对应个数的令牌，以执行所述第一线程。

相应的，本申请实施例还公开了一种数据流量的控制装置，应用于数据流量控制单元，所述数据流量控制单元用于控制所有作业的数据流量，所述装置包括：

接收模块，用于接收所述所有作业执行单元发送的心跳数据包；

计算模块，用于根据接收到的所述心跳数据包，结合预存的宽带设置信息，每隔预设的第一时长计算所述所有作业中每一个存活作业的带宽配置信息，作为返回参数；

将所述返回参数发送至对应的作业执行单元；

其中，所述心跳数据包中包括第一作业的ID、所述第一作业所使用的源存储单元的ID或者目标存储单元的ID以及对所述第一作业预设的权重，所述宽带设置信息包括存储单元的ID和所述存储单元的带宽，所述第一作业是所述所有作业中的任一作业。

相应的，本申请实施例还公开了一种数据流量的控制装置，应用于作业执行单元，所述装置包括：

数据发送模块，用于当启动作业时，在预设的第三时长内向数据流量控制单元发送心跳数据包，以便于所述数据流量控制单元根据所述心跳数据包和预存的宽带设置信息对应确定所述作业的带宽配置信息；

其中，所述心跳数据包中包括所述作业的ID，所述作业所使用的源存储单元ID或者目标存储单元的ID以及对所述作业预设的权重；

令牌发送模块，用于在执行所述作业时，以第一速率向所述作业中第一线程对应的第一消息队列发送令牌，其中所述第一速率是根据所述数据流量控制单元发送的所述带宽配置信息确定的所述第一消息队列的令牌发送速率，所述第一线程是所述作业中的任一作业线程；

个数确定模块，用于在执行所述第一线程时，确定在所述第一消息队列中是否存在与所述第一线程的数据大小对应个数的令牌；

暂缓执行模块，用于当在所述第一消息队列中不存在与所述第一线程的数据大小相对应个数的令牌时，暂缓执行所述第一线程，直至在所述第一消息队列中存在与所述第一线程的数据大小对应个数的令牌；

令牌获取模块，用于当在所述第一消息队列中存在与所述第一线程的数据大小对应个数的令牌时，获取与所述第一线程的数据大小对应个数的令牌，以执行所述第一线程。

本申请实施例还提供一种装置，包括处理器以及存储器，其中，

所述处理器执行所述存储器所存放的计算机程序代码，以实现本申请所述的数据流量的控制方法。

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现本申请所述的数据流量的控制方法的步骤。

本申请实施例包括以下优点：

本申请实施例通过接收所述所有作业执行单元发送的心跳数据包；根据接收到的所述心跳数据包，结合预存的宽带设置信息，每隔预设的第一时长计算所述所有作业中每一个存活作业的带宽配置信息，作为返回参数；将所述返回参数发送至对应的作业执行单元；其中，所述第一作业是所述所有作业中的任一作业，所述心跳数据包中包括所述第一作业的ID、所述第一作业所使用的源存储单元的ID或者目标存储单元的ID以及对所述第一作业预设的权重，所述宽带设置信息包括存储单元的ID和所述存储单元的带宽。

因此，通过动态的对业务作业中的各个线程的数据流量进行设置，从而简化数据流量分配，优化系统的数据交换过程，充分利用系统资源。

附图说明

图1是本申请的一种数据流量的控制方法实施例的步骤流程图；

图2是本申请的数据流量的控制方法的系统结构示意图；

图3是本申请的另一种数据流量的控制方法实施例的步骤流程图；

图4是本申请的一种数据流量的控制方法可选实施例的步骤流程图；

图5是本申请的又一种数据流量的控制方法实施例的步骤流程图；

图6是本申请的又一种数据流量的控制方法实施例的步骤流程图；

图7是本申请的一种数据流量的控制装置实施例的结构框图；

图8是本申请的另一种数据流量的控制装置实施例的结构框图。

具体实施方式

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。

参照图1，示出了本申请的一种数据流量的控制方法实施例的步骤流程图，应用于数据流量控制单元，该数据流量控制单元用于控制所有作业的数据流量，具体可以包括如下步骤：

步骤101，接收所有作业执行单元发送的心跳数据包。

其中，心跳数据包中包括第一作业的ID、第一作业所使用的源存储单元的ID或者目标存储单元的ID以及对第一作业预设的权重，该第一作业是所有作业中的任一作业。也就是说，每个作业执行单元均向数据流量控制单元发送该作业的信息，以便数据流量控制单元根据接收到的实际作业情况进行动态的数据流量分配。预先需要对数据交换平台上的所有的存储单元进行唯一标识，即设置ID，然后对应为每个存储单元设置带宽上限，并且将这些信息存在平台的数据库中，以便数据流量控制单元在计算每个作业对应的带宽时进行获取，业务人员在对数据交换作业进行配置时，根据不同的业务作业的重要性设置相应的权重，例如设置权重为1到10的整数，值越大可以表示该业务作业越重要。

需要说明的是，数据流量控制单元可以是数据交换平台上的一个服务器或者是在数据交换平台中执行的一个作业程序，用于控制所有作业的数据流量，也就是用于限流，数据流量控制单元能够与数据交换平台上的所有作业执行单元进行心跳数据包的数据交换，如图2所示，数据流量控制单元进而能够根据预设的权重和存储单元的流量阈值确定分配给每一个数据作业的流量信息。本实施例基于该数据流量控制单元是在数据交换平台中执行的一个作业程序进行本申请方法的描述，但并不对于数据流量控制单元进行具体的限制。类似的，作业执行单元可以是一个处理器单元或者是一个在执行的作业进程，用于执行该作业进程对应的操作，本实施例基于该作业执行单元为作业进程进行本申请方法的描述，每个作业都对应有相应的作业执行单元，能够与数据流量控制单元进行数据交换，以令数据流量控制单元获知作业进程的流量信息，同样本申请也不对作业执行单元进行具体的限制。

步骤102，根据接收到的心跳数据包，结合预存的宽带设置信息，每隔预设的第一时长计算所有作业中每一个存活作业的带宽配置信息，作为返回参数。

其中，宽带设置信息包括存储单元的ID和存储单元的带宽。

示例地，数据流量控制单元持续的接收作业发送的心跳数据包，并将接收到心跳数据包中的参数进行解析之后在内存中以二维表的数据结构进行存储；而数据流量控制单元从数据库中读取的带宽设置信息，也以二维表的数据结构存在内存中。例如，心跳数据包的数据结构为：job_id、datasource_id、weight；其中job_id代表当前存活的作业的ID，datasource_id代表当前存活的作业所使用的源存储单元ID或目标存储系统ID，weight代表作业的权重，记该结构为A；宽带设置信息的数据结构为：datasource_id、bandwitdh，其中datasource_id代表存储单元的ID，bandwidth代表存储单元的带宽，并记该结构为B。

数据流量控制单元根据结构A和结构B中的数据，每隔第一时长，例如是5秒即计算出对应每个存活作业当前应该分配到的带宽配额，即为对应作业的带宽配置信息，之后将所有作业的带宽配置信息作为返回参数。

步骤103，将返回参数分别发送至对应的作业执行单元。

综上所述，本申请提供的数据流量的控制方法，应用于数据流量控制单元，该数据流量控制单元用于控制所有作业的数据流量，包括接收所有作业执行单元发送的心跳数据包；根据接收到的心跳数据包，结合预存的宽带设置信息，每隔预设的第一时长计算所有作业中每一个作业的带宽配置信息，作为返回参数；将返回参数分别发送至对应的作业执行单元；其中，心跳数据包中包括第一作业的ID、第一作业所使用的源存储单元的ID或者目标存储单元的ID以及对第一作业预设的权重，宽带设置信息包括存储单元的ID和存储单元的带宽，第一作业是所有作业中的任一作业。因此，通过动态的对业务作业中的各个线程的数据流量进行设置，从而简化数据流量分配，优化系统的数据交换过程，充分利用系统资源。

参照图3，示出了本申请的另一种数据流量的控制方法实施例的步骤流程图，该方法还包括以下步骤：

步骤104，当在预设的第二时长内接收到第二作业发送的心跳数据包的个数大于等于预设的个数时，确定第二作业为存活作业。

其中，第二作业是所有作业中的任一作业。

示例地，数据流量控制单元判断某个存活的数据交换作业的标准为在第二时长，例如是4秒内至少接收到一个心跳数据包。当在4秒内至少接收到一个心跳数据包时，则判断该作业为存活作业，并且则以job_id为key，将最新接收到的心跳数据包中的参数覆盖原本在结构A中的记录；当在4秒内接收到0个心跳数据包时，则判断作业为非存活作业，则以job_id为key移除原本在结构A中的记录，也就是便于在步骤102所述的根据接收到的心跳数据包确定带宽配置信息时，仅对存活作业分配带宽，更为有效的进行数据流量的实时控制。

参照图4，示出了本申请的一种数据流量的控制方法可选实施例的步骤流程图，步骤102所述的在根据接收到的心跳数据包，结合预存的宽带设置信息，每隔预设的第一时长计算所有作业中每一个作业的带宽配置信息，作为返回参数，包括以下子步骤：

步骤1021，对接收到的心跳数据包进行解析。

步骤1022，根据解析的结果，结合宽带设置信息，每隔第一时长计算所述每一个作业的带宽配置信息。

示例地，带宽配置信息的计算方法如下：

先将从心跳数据包中解析出来的结构A和从存储单元中获取到的结构B通过datasource_id进行关联，再以datasource_id进行开窗分组对weight进行求和，记和为total，公式如下：

total＝SUM(weight)OVER(PQRTITION BY datasource_id)；

再根据权重的占比求出带宽配额的中间结果，记该中间结果为tmp_bandwidth，其中tmp_bandwidth＝weight/total*bandwidth。

最后再根据job_id进行分组，在组内对tmp_bandwidth求最小值，求出的最小值就是最终计算确定的带宽配置信息。

综上所述，本公开提供的数据流量的控制方法，通过接收所有作业执行单元发送的心跳数据包；根据接收到的心跳数据包，结合预存的宽带设置信息，每隔预设的第一时长计算所有作业中每一个存活作业的带宽配置信息，作为返回参数；将返回参数发送至对应的作业执行单元；其中，第一作业是所有作业中的任一作业，心跳数据包中包括第一作业的ID、第一作业所使用的源存储单元的ID或者目标存储单元的ID以及对第一作业预设的权重，宽带设置信息包括存储单元的ID和存储单元的带宽。因此，通过动态的对业务作业中的各个线程的数据流量进行设置，从而简化数据流量分配，优化系统的数据交换过程，充分利用系统资源。

参照图5，示出了本申请的又一种数据流量的控制方法实施例的步骤流程图，应用于作业执行单元，该方法包括以下步骤：

步骤501，当启动作业时，每隔预设的第三时长向数据流量控制单元发送心跳数据包，以便于数据流量控制单元根据心跳数据包和预存的宽带设置信息对应确定作业的带宽配置信息。

其中，心跳数据包中包括作业的ID，作业所使用的源存储单元ID或者目标存储单元的ID以及对作业预设的权重。

示例地，该作业执行单元可以是数据处理平台中任一作业对应的执行单元，该作业执行单元可以是一个实体的设备例如是处理器或者是一个能够执行对应操作的作业程序，本申请并不做具体限制，示例地，作业执行单元与数据流量控制单元之间的数据通信系统结构如图2所示。

数据交换作业在启动时会对每个进程开启一个心跳线程，并设置心跳线程在每隔第三时长，例如1秒向数据流量控制单元发送心跳数据包，以便于数据流量控制单元确定每个作业对应的带宽配置信息。示例地，一个作业中包括多个进程，每个进程在同一时刻不一定会都在进行数据交换操作，因此对于作业执行单元也需要进行存活进程的判断，例如每个进程会在每隔1秒内向作业执行单元的进程判断模块发送心跳数据包，该进程判断模块根据2秒内接收到至少一个该进程的心跳数据包确定该进程为存活进程的判断标准，实时对作业中的所有进行存活判断，并且将所有进程的数据信息汇总后再合成一个心跳数据包发送给数据流量控制单元。也就是说，数据流量控制单元获取对应作业总的心跳数据包，计算出的带宽配置信息也是对应整个作业的，之后在执行作业时，作业执行单元本身根据作业的进程再进行平均的带宽分配，也就是进行下一步骤的操作。

步骤502，在执行作业时，以第一速率向作业中第一线程对应的第一消息队列发送令牌。

其中，第一速率是根据数据流量控制单元发送的带宽配置信息确定的第一消息队列的令牌发送速率，第一线程是作业中的任一作业线程。

示例地，在一个作业中包括若干个进程，每个进程中设置有若干个线程，用于执行对应的数据操作，当作业执行单元收到数据流量控制单元发送的带宽配置信息后，将数据流量控制单元所分配的对应带宽平均分配给实际的作业线程，也就是需要进行数据交换操作的线程，例如数据流量控制单元分配给当前作业的带宽为100M，该作业具有两个用于执行操作的进程，则每个进行分配到50M的带宽，其中一个进程中有5个作业线程，平均分配后每个作业线程对应的带宽为10M；相应的，该作业线程为第一线程，其对应的消息队列为第一消息队列，则对应向第一消息队里中发送令牌的第一速率为10M/s，利用令牌对一个作业内的线程进行流量控制，以实现对带宽的平均分配。

步骤503，在执行第一线程时，确定在第一消息队列中是否存在与第一线程的数据大小对应个数的令牌。

步骤504，当在第一消息队列中不存在与第一线程的数据大小相对应个数的令牌时，暂缓执行第一线程，直至在第一消息队列中存在与第一线程的数据大小对应个数的令牌。

步骤505，当在第一消息队列中存在与第一线程的数据大小对应个数的令牌时，获取与第一线程的数据大小对应个数的令牌，以执行第一线程。

示例地，在对应执行第一线程时，首先根据第一线程需要的数据大小，判断对应的第一消息队列中是否存在足够的令牌数，例如所需的数据大小为50M，对应的第一消息队列中存在有52M个令牌，则执行步骤405的操作，获取这52M个令牌，以执行第一线程；相反的，当第一消息队列中存在有40M个令牌时，则执行步骤404的操作，暂缓第一线程的执行，等待第一消息队列的获取足够的令牌。也就是说，该消息队列是一个读阻塞队列，当线程对应的消息队列中没有足够的令牌，作业执行单元的作业线程将会被阻塞，直到有足够的令牌数生成才继续执行。

可选的，参照图6，示出了本申请的又一种数据流量的控制方法实施例的步骤流程图，应用于作业执行单元，该方法包括以下步骤：

步骤506，接收流量控制单元发送的带宽配置信息。

步骤507，根据带宽配置信息和作业中的所有作业线程的个数，分别确定所有作业线程所对应的令牌发送速率。

参照图7，示出了本申请的一种数据流量的控制装置实施例的结构框图，应用于数据流量控制单元，该数据流量控制单元用于控制所有作业的数据流量，所述装置包括：

接收模块710，用于接收所有作业执行单元发送的心跳数据包。

计算模块720，用于根据接收到的心跳数据包，结合预存的宽带设置信息，每隔预设的第一时长计算所有作业中每一个存活作业的带宽配置信息，作为返回参数。

参数发送单元730，用于将返回参数分别发送至对应的作业执行单元。

其中，心跳数据包中包括第一作业的ID、第一作业所使用的源存储单元的ID或者目标存储单元的ID以及对第一作业预设的权重，宽带设置信息包括存储单元的ID和存储单元的带宽，第一作业是所有作业中的任一作业。

可选的，本申请的一个可选实施例中，该装置还包括：确定模块，用于当在预设的第二时长内未接收到第二作业发送的心跳数据包的个数大于或者等于预设的个数时，确定第二作业为存活作业。

其中，第二作业是所有作业中的任一作业。

在本申请的一个可选实施例中，计算模块720，包括以下子模块：

解析子模块，用于对接收到的心跳数据包进行解析；

配置确定子模块，用于根据解析的结果，结合宽带设置信息，确定每一个作业的带宽配置信息。

参照图8，示出了本申请的另一种数据流量的控制装置实施例的结构框图，应用于作业执行单元，该装置包括：

数据发送模块810，用于当启动作业时，在预设的第三时长内向数据流量控制单元发送心跳数据包，以便于数据流量控制单元根据心跳数据包和预存的宽带设置信息对应确定作业的带宽配置信息。

其中，心跳数据包中包括作业的ID，作业所使用的源存储单元ID或者目标存储单元的ID以及对作业预设的权重；

令牌发送模块820，用于在执行作业时，以第一速率向作业中第一线程对应的第一消息队列发送令牌，其中第一速率是根据数据流量控制单元发送的带宽配置信息确定的第一消息队列的令牌发送速率，第一线程是作业中的任一作业线程。

个数确定模块830，用于在执行第一线程时，确定在第一消息队列中是否存在与第一线程的数据大小对应个数的令牌。

暂缓执行模块840，用于当在第一消息队列中不存在与第一线程的数据大小相对应个数的令牌时，暂缓执行第一线程，直至在第一消息队列中存在与第一线程的数据大小对应个数的令牌。

令牌获取模块850，用于当在第一消息队列中存在与第一线程的数据大小对应个数的令牌时，获取与第一线程的数据大小对应个数的令牌，以执行第一线程。

可选的，该装置还包括：

信息接收模块，用于接收流量控制单元发送的带宽配置信息。

速率确定模块，用于根据带宽配置信息和作业中的所有作业线程的个数，分别确定所有作业线程所对应的令牌发送速率。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在终端设备时，可以使得该终端设备执行本申请实施例中各方法步骤的指令(instructions)。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本申请实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种数据流量的控制方法，其特征在于，应用于数据流量控制单元，所述数据流量控制单元用于控制所有作业的数据流量， 所述方法包括：

接收所述所有作业执行单元发送的心跳数据包；

根据接收到的所述心跳数据包，结合预存的宽带设置信息，每隔 预设的第一时长计算所述所有作业中每一个存活作业的带宽配置信息，作为返回参数；

将所述返回参数分别发送至对应的作业执行单元；

其中，所述心跳数据包中包括第一作业的ID、所述第一作业所使用的源存储单元的ID或者目标存储单元的ID以及对所述第一作业 预设的权重，所述宽带设置信息包括存储单元的ID和所述存储单元的带宽，所述第一作业是所述所有作业中的任一作业。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当在预设的第二时长内接收到第二作业发送的心跳数据包的个数大于或者等于预设的个数时，确定所述第二作业为所述存活作业；

其中，所述第二作业是所述所有作业中的任一作业。

3.根据权利要求1所述的方法，其特征在于，所述根据接收到的所述心跳数据包，结合预存的宽带设置信息，每隔预设的第一时长计算所述所有作业中每一个作业的带宽配置信息，作为返回参数，包括：

对接收到的所述心跳数据包进行解析；

根据所述解析的结果，结合所述宽带设置信息，每隔所述第一时长计算所述每一个作业的带宽配置信息。

4.一种数据流量的控制方法，其特征在于，应用于作业执行单元，所述方法包括：

当启动作业时，每隔预设的第三时长向数据流量控制单元发送心跳数据包，以便于所述数据流量控制单元根据所述心跳数据包和预存的宽带设置信息对应确定所述作业的带宽配置信息；

其中，所述心跳数据包中包括所述作业的ID，所述作业所使用的源存储单元ID或者目标存储单元的ID以及对所述作业预设的权重；

在执行所述作业时，以第一速率向所述作业中第一线程对应的第一消息队列发送令牌，其中所述第一速率是根据所述数据流量控制单元发送的所述带宽配置信息确定的所述第一消息队列的令牌发送速率，所述第一线程是所述作业中的任一作业线程；

在执行所述第一线程时，确定在所述第一消息队列中是否存在与所述第一线程的数据大小对应个数的令牌；

当在所述第一消息队列中不存在与所述第一线程的数据大小相对应个数的令牌时，暂缓执行所述第一线程，直至在所述第一消息队列中存在与所述第一线程的数据大小对应个数的令牌；

当在所述第一消息队列中存在与所述第一线程的数据大小对应个数的令牌时，获取与所述第一线程的数据大小对应个数的令牌，以执行所述第一线程。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

接收所述流量控制单元发送的所述带宽配置信息；

根据所述带宽配置信息和所述作业中的所有作业线程的个数，分别确定所述所有作业线程所对应的令牌发送速率。

6.一种数据流量的控制装置，其特征在于，应用于数据流量控制单元，所述数据流量控制单元用于控制所有作业的数据流量，所述装置包括：

接收模块，用于接收所述所有作业执行单元发送的心跳数据包；

计算模块，用于根据接收到的所述心跳数据包，结合预存的宽带设置信息，每隔预设的第一时长计算所述所有作业中每一个存活作业的带宽配置信息，作为返回参数；

参数发送单元，用于将所述返回参数分别发送至对应的作业执行单元；

其中，所述心跳数据包中包括第一作业的ID、所述第一作业所使用的源存储单元的ID或者目标存储单元的ID以及对所述第一作业预设的权重，所述宽带设置信息包括存储单元的ID和所述存储单元的带宽，所述第一作业是所述所有作业中的任一作业。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

确定模块，用于当在预设的第二时长内未接收到第二作业发送的心跳数据包的个数大于或者等于预设的个数时，确定所述第二作业为所述存活作业；

其中，所述第二作业是所述所有作业中的任一作业。

8.根据权利要求6所述的装置，其特征在于，所述计算模块，包括：

解析子模块，用于对接收到的所述心跳数据包进行解析；

配置确定子模块，用于根据所述解析的结果，结合所述宽带设置信息，确定所述每一个作业的带宽配置信息。

9.一种数据流量的控制装置，其特征在于，应用于作业执行单元，所述装置包括：数据发送模块，用于当启动作业时，在预设的第三时长内向数据流量控制单元发送心跳数据包，以便于所述数据流量控制单元根据所述心跳数据包和预存的宽带设置信息对应确定所述作业的带宽配置信息；

其中，所述心跳数据包中包括所述作业的ID，所述作业所使用的源存储单元ID或者目标存储单元的ID以及对所述作业预设的权重；

令牌发送模块，用于在执行所述作业时，以第一速率向所述作业中第一线程对应的第一消息队列发送令牌，其中所述第一速率是根据所述数据流量控制单元发送的所述带宽配置信息确定的所述第一消息队列的令牌发送速率，所述第一线程是所述作业中的任一作业线程；

个数确定模块，用于在执行所述第一线程时，确定在所述第一消息队列中是否存在与所述第一线程的数据大小对应个数的令牌；

暂缓执行模块，用于当在所述第一消息队列中不存在与所述第一线程的数据大小相对应个数的令牌时，暂缓执行所述第一线程，直至在所述第一消息队列中存在与所述第一线程的数据大小对应个数的令牌；

令牌获取模块，用于当在所述第一消息队列中存在与所述第一线程的数据大小对应个数的令牌时，获取与所述第一线程的数据大小对应个数的令牌，以执行所述第一线程。

10.根据权利要求9所述的装置，其特征在于，所述装置还包括：

信息接收模块，用于接收所述流量控制单元发送的所述带宽配置信息；

速率确定模块，用于根据所述带宽配置信息和所述作业中的所有作业线程的个数，分别确定所述所有作业线程所对应的令牌发送速率。

Images