CN111416779A

CN111416779A - 基于时限的互联网业务队列调度方法

Info

Publication number: CN111416779A
Application number: CN202010226773.7A
Authority: CN
Inventors: 张岗山; 孙雨泓; 赵林靖; 刘炯; 吴炜
Original assignee: Xidian University
Current assignee: Xidian University
Priority date: 2020-03-27
Filing date: 2020-03-27
Publication date: 2020-07-14
Anticipated expiration: 2040-03-27
Also published as: CN111416779B

Abstract

本发明提出了一种基于时限的互联网业务队列调度方法，用于解决现有技术中存在的无法获得数据包截止时间和只能保障单一通信通路上业务流的数据包的实时性的问题。实现步骤为，获取互联网业务流的原始数据集T、时限集合D和大小集合S；构建分类模型X；最后获取互联网业务队列调度结果。本发明用时限表征互联网业务流从发出到接收所占用的最长时间，通过将互联网业务流的时限映射到互联网业务流中数据包的时限获得了数据包的截止时间，再通过将方法实现在网络层提高了整个互联网的业务及时交付率，最后本发明的队列调度方法以互联网业务流的时限和大小作为队列调度依据，最大程度地保障了互联网业务的实时性。

Description

基于时限的互联网业务队列调度方法

技术领域

本发明属于互联网技术领域，涉及一种保障互联网业务实时性的方法，具体涉及一种基于时限的互联网业务队列调度方法。

背景技术

随着互联网技术的日益发展，互联网业务对实时性要求要来越高。目前的互联网架构主要采用开放互联七层模型，过去研究者们通过提高底层物理层的规模和性能来保障互联网业务的实时性，这种方式成本高且灵活性差，后研究者们寄希望于通过改进互联网协议来保障互联网业务的实时性，具体是按照互联网设计者的需要将互联网业务进行排队，按排队顺序调度互联网网络资源，如带宽，为互联网业务提供相应的服务。

传统的互联网业务队列调度算法有三种，分别是先到先服务的业务队列调度方法、基于轮询的业务队列调度方法和基于优先级的业务队列调度方法。其中，先到先服务业务队列调度方法按照互联网业务流中数据包到达的先后顺序传输数据包；基于轮询的业务队列调度方法依次从每个业务流中取一个数据包进行传输直至所有互联网业务流都得到传输；基于优先级的业务队列调度方法将所有互联网业务流按照优先级进行排序，优先级高的互联网业务流优先被传输。通过互联网中业务的及时交付率，即互联网业务流被及时交付的比例可以衡量业务队列调度方法是否有效地保障了互联网业务的实时性，以上三种队列调度方法都没有考虑到互联网业务的实时性，无法保障互联网业务的实时性。

目前互联网业务队列调度方法通过考虑互联网业务流中数据包的截止时间，解决传统互联网业务队列调度方法无法保障互联网业务实时性的问题，例如，申请公布号为CN108809859A，名称为“一种面向数据包截止时间的传输层控制方法”的专利申请，该方法在传统的基于优先级的业务队列调度方法上进行改进，在发送端传输层标记数据包的优先级和截止时间，根据优先级将互联网业务划分成不同的发送队列，再根据互联网的丢包率和包到达时间判断数据包能否按时到达接收端，若能，则发送数据包，若不能，直接将数据包丢弃，以此在考虑优先级的同时保障互联网业务的实时性。上述发明考虑到数据包的截止时间，能保证被发送的数据包可按时到达接收到，但该发明假设互联网业务流中的数据包截止时间可直接获得，与实际中数据包的截止时间无法直接获得的情况不符，为发明的实现造成了困难；另外，该发明在发送端传输层进行队列调度，可以满足指定发送端与接收端之间的互联网业务流的实时性要求，而互联网是由千万条包括发送端、接收端及传输信道的通信通路组成，使用该发明，虽然可以保证每条通路上的互联网业务按时到达，但是无法根据互联网的拥塞情况实时协调各通路上的业务发送，因而极大限制了整个互联网的业务及时交付率；最后，该发明本质是一种基于优先级的队列调度方式，当互联网网络恶化时或高优先级的业务过多时，可能会导致低优先级业务不能得到发送，甚至出现“饿死”情况，无法保证互联网的业务及时交付率。

发明内容

本发明的目的在于克服上述现有技术的不足，提出一种基于时限的互联网业务队列调度方法，旨在解决现有技术无法获得数据包截止时间、在发送端进行排队调度限制了整个互联网的业务及时交付率和可能导致低优先级业务出现“饿死”情况的技术问题。

为实现上述目的，本发明采取的技术方案包括以下步骤：

(1)获取互联网业务流的原始数据集T、时限集合D和大小集合S：

(1a)使用网络监视器M以t为周期、在p时长内对连接在互联网中的路由器C进行检测，并记录检测的所有数据包packet，其中，t≤35纳秒，p≥2小时；

(1b)定义一条互联网业务流T_i中所有数据包的包头中具有相同的网络五元组数据：源IP地址、目的IP地址、协议号、源端口和目的端口，路由器C读取所有数据包packet的包头获得网络五元组数据后，根据网络五元组数据将所有数据包packet分成n条互联网业务流，得到原始数据集T：

T＝{T₁,T₂,...,T_i,...,T_n}

其中，T_i表示第i条由m个数据包所形成的互联网业务流，其中，n≥i≥1，n≥1000，m≥1；

(1c)定义互联网业务流T_i从被发出到被接收能所占用的最长时间为时限D_i，T_i的大小为S_i，则n条互联网业务流的时限和大小分别组成时限集合D和大小集合S：

D＝{D₁,D₂,...,D_i,...,D_n}

S＝{S₁,S₂,...,S_i,...,S_n}；

(2)构建分类模型X：

使用原始数据集T迭代训练决策树，得到输出为a个业务类型的分类模型X，其中，第x个业务类型的时限区间和数据大小区间分别为T_x_period和S_x_period，a≥x≥1；

(3)获取互联网业务队列调度结果：

(3a)路由器C接收数据包packet，读取接收到的数据包packet的包头获得网络五元组数据，根据网络五元组数据将接收到的数据包packet分成不同的互联网业务流{f₁,...,f_y,...}，其中，f_y为第y条含有q个数据包packet的互联网业务流，y≥1，q≥1；

(3b)将互联网业务流f_y作为分类模型X的输入进行分类，得到f_y的业务类型fa，以及fa对应的时限区间T_fa_period和数据大小区间S_fa_period，然后将T_fa_period中所有数据的平均值和S_fa_period中所有数据的平均值分别作为f_y的时限fD和大小fS；

(3c)将互联网业务流f_y的时限fD映射到的f_y的数据包packet中，得到数据包packet的时限fd：

fd＝fD-pr

其中，pr为路由器C处理互联网业务流f_y的时间；

(3d)根据数据包packet的时限fd、以及路由器C每次接收到数据包packet时记录的接收时间arr、互联网的当前时间now，计算数据包pack距离时限fd的剩余时间Δt：

Δt＝fd-(now-arr)；

(3e)每b毫秒更新一次所有数据包packet的Δt，b≥100，并判断所有数据包packet距离时限fd的剩余时间Δt大小是否相同，若存在Δt大小相同的数据包，先按照Δt由小到大的顺序将路由器C接收到的所有数据包packet进行排序，再将Δt数值相等的数据包按照fS从小到大进行排序，若所有数据包的Δt大小都不同，直接按照Δt由小到大的顺序将路由器C接收到的所有数据包packet进行排序，得到互联网业务队列调度后的数据包序列。

本发明与现有技术相比，具有以下优点：

1.本发明用时限表征互联网业务流从发出到接收所占用的最长时间，借助现有的决策树算法构建分类模型，将互联网业务流进行分类，进而获得互联网业务流的时限信息，然后将互联网业务流的时限映射为数据包的时限，数据包的时限可用于表示数据包的截止时间，解决了现有技术无法获得数据包截止时间的问题。

2.本发明的队列调度方法在网络层实现，网络层的主要硬件路由器对互联网中所有业务流的数据包提供分组、排队、路由服务，在路由器处实现队列调度方法，可以对经过该路由器的不同通信通路上的数据包进行统一的排队调度，保证经过该路由器的所有数据包的实时性，同时通过协调各个通信通路的数据包提高了整个互联网的业务及时交付率。

3.本发明的队列调度方法以互联网业务流的时限和大小作为依据，与互联网业务的优先级无关，避免了低优先级业务的“饿死”现象，同时最大程度地保障了互联网中业务的及时交付率。

附图说明

图1为本发明的实现流程图。

具体实施方式

下面结合附图和具体实施例，对本发明作进一步的详细描述：

参照图1，本发明包括如下步骤：

步骤1)获取互联网业务流的原始数据集T、时限集合D和大小集合S：

步骤1a)使用网络监视器M以t为周期、在p时长内对连接在互联网中的路由器C进行检测，并记录检测的所有数据包packet，其中，t≤35纳秒，p≥2小时；

路由器C的功能是为互联网中经过路由器C的数据包提供分组、排序、路由等服务，网络监视器M的功能是检测互联网中传输的数据包，监视周期根据网络监视器的性能确定，一般小于35纳秒，互联网业务流具有自相似性，一般监视时间取2小时可获得网络中98％以上的网络业务流，本实例使用的网络监视器M以周期t＝35，时长p＝2小时对路由器C进行检测。

步骤1b)定义一条互联网业务流T_i中所有数据包的包头中具有相同的网络五元组数据：源IP地址、目的IP地址、协议号、源端口和目的端口，路由器C读取所有数据包packet的包头获得网络五元组数据后，根据网络五元组数据将所有数据包packet分成n条互联网业务流，得到原始数据集T：

T＝{T₁,T₂,...,T_i,...,T_n}

现行TCP/IP协议下，数据包的包头中含有包括源IP地址、目的IP地址、协议号、源端口、目的端口、检验和、数据包长度等信息，路由器C接收数据包packet后读取包头，从中获取网络五元组数据；网络监测器M在2小时内，每隔35纳秒检测一次路由器C中的数据包，由于路由器中可能存在无数据包的情况，所以得到的互联网业务流数目有限，本实例中采集5次互联网业务流，分别采集到1001、1000、1000、1003、1004条互联网业务流，为了方便后续操作，本实例采用第二次取样的1000条互联网业务流作为原始数据集T；

步骤1c)定义互联网业务流T_i从被发出到被接收能所占用的最长时间为时限D_i，T_i的大小为S_i，则n条互联网业务流的时限和大小分别组成时限集合D和大小集合S：

D＝{D₁,D₂,...,D_i,...,D_n}

S＝{S₁,S₂,...,S_i,...,S_n}；

步骤2)构建分类模型X：

使用原始数据集T迭代训练决策树，得到输出为a个业务类型的分类模型X，其中，第x个业务类型的时限区间和数据大小区间分别为T_x_period和S_x_period，a≥x≥1，其中构建分类模型的具体步骤如下：

步骤2a)设训练次数为e，最大训练次数为k，1≤e≤k，1≤k≤n；

通常机器学习中为提高分类模型的准确性采用k折交叉法训练数据，k的常用取值为10，此处k＝10；

步骤2b)判断n除以k的商quo的余数re是否为0，若是，将原始数据集T划分为k个大小相同的数据子集，否则，从原始数据集T中随机丢弃re个互联网业务流后，将原始数据集T划分为k个大小相同的数据子集：

T'＝{T₁',T₂’,...,T_e',...,T_k’}

其中，T_e'表示第e个数据子集，T_e'＝{T_e1,...,T_ey,...,T_equo}，T_ey表示数据子集T_e'中第y个互联网业务流；

本实例中，n＝1000，k＝10，k正好可以整除n，所以直接将原始数据集T划分为10个各含100条互联网业务流的数据子集，而步骤1b)中的原始数据集T里是网络业务流，两处集合划分方式不同，为了区分此处用T'表示原始数据集T；

步骤2c)选择数据子集T_e'作为验证集，其余数据子集作为训练集，用训练集作为决策树输入训练得到决策树tree_e，用验证集中的互联网业务流被决策树tree_e正确分类的个数衡量tree_e分类的准确性accu_e；

决策树是一种树形的分类模型，决策树的每一个内部节点代表一个决策节点，对特征进行一次判断，每个叶子节点代表一个判断输出的结果，从决策树的根节点到叶子结点的每一条路径都代表一条分类规则。本实例中以训练集中的互联网业务流作为输入，选择互联网业务流的特征作为叶子节点进行判断，输出的叶子节点代表互联网业务流的类型；

步骤2d)k次训练后得到{tree₁,tree₂,...,tree_e,...,tree_k}，准确性分别为{accu₁,accu₂,...,accu_e,...,accu_k}，选择分类准确性最高的决策树作为分类模型X；

本实例中，对数据集进行10次训练，得到准确性依次为{96,98,97,99,98,98,94,95,96,97}的决策树，选择准确性最高、值为99的决策树作为分类模型X；

步骤3)获取互联网业务队列调度结果：

步骤3a)路由器C接收数据包packet，读取接收到的数据包packet的包头获得网络五元组数据，根据网络五元组数据将接收到的数据包packet分成不同的互联网业务流{f₁,...,f_y,...}，其中，f_y为第y条含有q个数据包packet的互联网业务流，y≥1，q≥1；

该步骤中路由器C接收数据包packet，注意步骤3a)中的数据包packet和步骤1)中的数据包packet都是互联网中传输的数据包，但两处数据包packet的作用不同，步骤1)中网络监视器C检测并记录路由器C中的数据包packet作用是形成原始数据集T以训练分类模型X，步骤3a)中路由器接收数据包packet是为了对packet进行实时的排序；

步骤3b)将互联网业务流f_y作为分类模型X的输入进行分类，得到f_y的业务类型fa，以及fa对应的时限区间T_fa_period和数据大小区间S_fa_period，然后将T_fa_period中所有数据的平均值和S_fa_period中所有数据的平均值分别作为f_y的时限fD和大小fS；

步骤3c)将互联网业务流f_y的时限fD映射到的f_y的数据包packet中，得到数据包packet的时限fd：

fd＝fD-pr

其中，pr为路由器C处理互联网业务流f_y的时间；

该步骤中，路由器C处理互联网业务流f_y的时间为微秒级、毫秒级，可忽略不计，在本实例中fd≈fD；

步骤3d)根据数据包packet的时限fd、以及路由器C每次接收到数据包packet时记录的接收时间arr、互联网的当前时间now，计算数据包pack距离时限fd的剩余时间Δt：

Δt＝fd-(now-arr)；

步骤3e)每b毫秒更新一次所有数据包packet的Δt，b＝100，并判断所有数据包packet距离时限fd的剩余时间Δt大小是否相同，若存在Δt大小相同的数据包，先按照Δt由小到大的顺序将路由器C接收到的所有数据包packet进行排序，再将Δt数值相等的数据包按照fS从小到大进行排序，若所有数据包的Δt大小都不同，直接按照Δt由小到大的顺序将路由器C接收到的所有数据包packet进行排序，得到互联网业务队列调度后的数据包序列；

采用时限作为排序依据，优先转发临近时限的数据包，可以保障互联网业务的实时性，当出现几个数据包临近时限程度相同时，优先调度较小的数据包，可以转发更多数据包，提高数据包被及时交付的比例，进而提高互联网业务流被及时交付的比例。

Claims

1.一种基于时限的互联网业务队列调度方法，其特征在于，包括以下步骤：

T＝{T₁,T₂,...,T_i,...,T_n}

D＝{D₁,D₂,...,D_i,...,D_n}

S＝{S₁,S₂,...,S_i,...,S_n}；

(2)构建分类模型X：

(3)获取互联网业务队列调度结果：

fd＝fD-pr

其中，pr为路由器C处理互联网业务流f_y的时间；

Δt＝fd-(now-arr)；

2.根据权利要求1所述的基于时限的互联网业务队列调度方法，其特征在于，步骤(2)所述的分类模型X，其训练过程包括如下步骤：

(2a)设训练次数为e，最大训练次数为k，1≤e≤k，n≥k≥1；

(2b)判断n除以k的商quo的余数re是否为0，若是，将原始数据集T划分为k个大小相同的数据子集，否则，从原始数据集T中随机丢弃re个互联网业务流后，将原始数据集T划分为k个大小相同的数据子集：

T'＝{T′₁,T’₂,...,T′_e,...,T’_k}

其中，T′_e表示第e个数据子集，T′_e＝{T_e1,...,T_ey,...,T_equo}，T_ey表示数据子集T′_e中第y个互联网业务流；

(2c)选择数据子集T′_e作为验证集，其余数据子集作为训练集，用训练集作为决策树输入训练得到决策树tree_e，用验证集中的互联网业务流被决策树tree_e正确分类的个数衡量tree_e分类的准确性accu_e；

(2d)k次训练后得到{tree₁,tree₂,...,tree_e,...,tree_k}，准确性分别为{accu₁,accu₂,...,accu_e,...,accu_k}，选择分类准确性最高的决策树作为分类模型X。