CN111431820A - 基于业务类型的在线数据流QoS识别方法及系统 - Google Patents
基于业务类型的在线数据流QoS识别方法及系统 Download PDFInfo
- Publication number
- CN111431820A CN111431820A CN202010157646.6A CN202010157646A CN111431820A CN 111431820 A CN111431820 A CN 111431820A CN 202010157646 A CN202010157646 A CN 202010157646A CN 111431820 A CN111431820 A CN 111431820A
- Authority
- CN
- China
- Prior art keywords
- cluster
- data
- data stream
- flow
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
- H04L47/2441—Traffic characterised by specific attributes, e.g. priority or QoS relying on flow classification, e.g. using integrated services [IntServ]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
- H04L47/2483—Traffic characterised by specific attributes, e.g. priority or QoS involving identification of individual flows
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供了一种基于业务类型的在线数据流QoS识别方法,包括:步骤S1:先用一部分有历史标签的历史流量进行分类,进行离线的模型训练,建立初始分类模型,然后将模型安装在SDN中的控制器中作为初始的分类器;步骤S2:当数据流量到达交换机时,将数据流的数据包和交换机中的转发流表进行匹配,如果匹配成功则按转发流表中设计的指令进行操作,否则将数据流的数据包封装后上传至控制器中。本发明的方法能够获得很高的准确率,且具有自适应调整能力,可用于不同时间不同地理位置的天地网络。
Description
技术领域
本发明涉及卫星网络、软件定义网络、服务质量(QoS)模型以及增量学习领域, 具体地,涉及一种基于业务类型的在线数据流QoS识别方法及系统。尤其地,涉及一种 天地一体化网络中业务敏感的在线数据流QoS识别方法。尤其地,涉及一种应用于软件 定义网络(SDN)的天地一体化卫星网络中应用于确保服务质量的数据流识别的方法。
背景技术
流量识别是软件定义网络中流量工程的应用中最为关键的技术,其识别的方式和精 度直接影响到后续的路由算法的性能以及最终提供的服务质量和用户体验,因此,准确地识别出数据流的QoS需求可以大大地提高需求被满足的几率,从而提高系统总体的性能。然而,天地一体化卫星网络是包含多种异构网络的复杂的融合网络,其中的业务类 型也种类繁多,而每种类型的业务和其特征也是随着环境动态变化的,因此数据流的识 别工作也是非常困难的。
经对现有技术文献的检索发现,美国专利US8031599B2,专利名称为《Statistical, signature-based approach to IP traffic classification(一种基于统计信息和签名 的IP流量分类方法)》曾提出过一种基于签名的流量分类方法,可以将流量映射到预先 设定的服务类别(CoS)中。通过分析一个已知的数据集,这些数据明显地属于已知的 某类服务,在训练阶段,该方法找出每一种类型的流量中具有特征的统计信息。在分析 阶段,该方法将每种数据流有特征的统计信息与数据流的特征进行关联性分析,分析会 后产生一个与一个或多个属性值相关的统计签名。分类过程利用统计签名,建立一个或 多个预先确定的流量属性值与预先选择的服务类之间的映射,从而建立QoS处理规则。然而此方法其分类的数据包仅限于IP包,并不适用于所有协议。另一个不足是此方法 的分类模型在训练阶段均已确定,然而其所选的特征如IP地址在实际中均为变化的, 且在不同的时间地点与业务类型的关系并不相同,从而导致过拟合现象的产生,模型在 不同网络间通用性不足。
F.Mendoza等人在论文《SDN-based traffic engineering for improvedresilience in integrated satellite-terrestrial backhaul networks》(2017 4thInternational Conference on Information and Communication Technologies forDisaster Management(ICT-DM),Münster,2017,pp.1-8.)中曾提出在软件定义的天地一体化 网络中基于不同的流量带宽进行弹性的资源分配方法,但并未对具体的业务类型进行区 分,从而无法确保满足每条数据流的QoS需求。另一个同样的问题是不足是此方法的分类模型在启动时均已确定,模型在不同网络间通用性不足。
发明内容
针对现有技术中的缺陷,本发明的目的是提供一种基于业务类型的在线数据流QoS 识别方法及系统。
根据本发明提供的一种基于业务类型的在线数据流QoS识别方法,包括:
步骤S1:先用一部分有历史标签的历史流量进行分类,进行离线的模型训练,建立初始分类模型,然后将模型安装在SDN中的控制器中作为初始的分类器;
步骤S2:当数据流量到达交换机时,将数据流的数据包和交换机中的转发流表进行 匹配,如果匹配成功则按转发流表中设计的指令进行操作,否则将数据流的数据包封装后上传至控制器中;
步骤S3:控制器收到数据包后将数据包放入分类器中进行分类,得到该数据包所属 数据流的业务类型后,将此类型业务映射到对应的QoS需求上,最终识别出此数据流的QoS需求,存储后作为信息提供给下一步的路由;
步骤S4:同时,根据此数据包的特征和业务流的类别在线对分类模型进行调整,进一步提高分类器的准确度。
优选地,所述建立初始分类模型:
对所有业务流使用K-means算法进行聚类,将最小化所有类别的点到中心欧式距离 和作为目标函数,使用EM算法迭代优化,最终得到kd个簇;
在每个簇内,取簇内点数量最多的业务类型作为整个簇的类型,将不是此类型的点 到簇中心的距离取负值,是此类型业务的点到簇中心的距离取正值,求和作为目标函数, 再次用EM算法迭代优化,得到调整后的kd个簇作为初始模型,完成初始模型的训练和建立。
优选地,所述业务流就是指网络中的数据流;
将一段时间内连续的从相同源节点到相同目的节点,同时具有相同特征的数据包视 为一条数据流;
所述具有相同特征的数据包指使用同一种协议的数据包。
优选地,所述在线对分类模型进行调整:
根据分类器的分类结果和输入的数据包特征,对分类器内的分类模型进行实时的在 线训练和调整;
先对每次分类计算可行度:
如果该数据流对应的向量就在某个簇的范围内,或者其虽然不在某个簇内但与其距 离最近的两个簇属于同一个类型,则认为这次分类是可信的,将此数据流加入这个簇内, 重新计算簇的范围和中心,对模型进行实时的调整。
优选地,所述对每次分类计算可行度:
计算数据流所属簇的范围,判断该数据流是否完全属于此簇:
其中,
r表示该簇的分类半径;
d表示数据流的特征数量;
NC为属于该簇数据流的数量;
Nj表示该簇数据流中含第j个特征的流个数;
xij表示第i条数据流中第j个特征的值;
如果该数据流到簇新的距离小于预设半径,或者距离该簇第二近的数据点也属于该 簇,则认为这次分类是可信的,认为该数据流完全属于此簇。
优选地,所述将此类型业务映射到对应的QoS需求上,最终识别出此数据流的QoS需求:
预先分析每种业务类型的最低要求,并将其作为一个映射表存储在控制器中;
在识别出数据流的类型后即可通过查表快速识别出数据流的QoS需求,作为最终的 数据流识别结果。
根据本发明提供的一种基于业务类型的在线数据流QoS识别系统,包括:
模块S1:先用一部分有历史标签的历史流量进行分类,进行离线的模型训练,建立初始分类模型,然后将模型安装在SDN中的控制器中作为初始的分类器;
模块S2:当数据流量到达交换机时,将数据流的数据包和交换机中的转发流表进行 匹配,如果匹配成功则按转发流表中设计的指令进行操作,否则将数据流的数据包封装后上传至控制器中;
模块S3:控制器收到数据包后将数据包放入分类器中进行分类,得到该数据包所属 数据流的业务类型后,将此类型业务映射到对应的QoS需求上,最终识别出此数据流的QoS需求,存储后作为信息提供给下一步的路由;
模块S4:同时,根据此数据包的特征和业务流的类别在线对分类模型进行调整,进一步提高分类器的准确度。
优选地,所述建立初始分类模型:
对所有业务流使用K-means算法进行聚类,将最小化所有类别的点到中心欧式距离 和作为目标函数,使用EM算法迭代优化,最终得到kd个簇;
在每个簇内,取簇内点数量最多的业务类型作为整个簇的类型,将不是此类型的点 到簇中心的距离取负值,是此类型业务的点到簇中心的距离取正值,求和作为目标函数, 再次用EM算法迭代优化,得到调整后的kd个簇作为初始模型,完成初始模型的训练和建立;
所述业务流就是指网络中的数据流;
将一段时间内连续的从相同源节点到相同目的节点,同时具有相同特征的数据包视 为一条数据流;
所述具有相同特征的数据包指使用同一种协议的数据包。
优选地,所述在线对分类模型进行调整:
根据分类器的分类结果和输入的数据包特征,对分类器内的分类模型进行实时的在 线训练和调整;
先对每次分类计算可行度:
如果该数据流对应的向量就在某个簇的范围内,或者其虽然不在某个簇内但与其距 离最近的两个簇属于同一个类型,则认为这次分类是可信的,将此数据流加入这个簇内, 重新计算簇的范围和中心,对模型进行实时的调整;
所述对每次分类计算可行度:
计算数据流所属簇的范围,判断该数据流是否完全属于此簇:
其中,
r表示该簇的分类半径;
d表示数据流的特征数量;
NC为属于该簇数据流的数量;
Nj表示该簇数据流中含第j个特征的流个数;
xij表示第i条数据流中第j个特征的值;
如果该数据流到簇新的距离小于预设半径,或者距离该簇第二近的数据点也属于该 簇,则认为这次分类是可信的,认为该数据流完全属于此簇。
优选地,所述将此类型业务映射到对应的QoS需求上,最终识别出此数据流的QoS需求:
预先分析每种业务类型的最低要求,并将其作为一个映射表存储在控制器中;
在识别出数据流的类型后即可通过查表快速识别出数据流的QoS需求,作为最终的 数据流识别结果。
与现有技术相比,本发明具有如下的有益效果:
本发明的方法能够获得很高的准确率,且具有自适应调整能力,可用于不同时间不 同地理位置的天地网络。由于针对卫星网络进行了专用的业务类型划分,且将业务类型映射到了对应的QoS需求上,在数据流识别中形成一个完整闭环,进一步地提高了分类 的精确度和QoS识别结果的可靠性,最后同时对分类模型进行动态调整,这就在无需人 工调整的前提下适用于不同时空特征的网络,具有良好的普适性和可用性。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人 员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变化和改进。这些都属于 本发明的保护范围。
根据本发明提供的一种基于业务类型的在线数据流QoS识别方法,包括:
步骤S1:先用一部分有历史标签的历史流量进行分类,进行离线的模型训练,建立初始分类模型,然后将模型安装在SDN中的控制器中作为初始的分类器;
步骤S2:当数据流量到达交换机时,将数据流的数据包和交换机中的转发流表进行 匹配,如果匹配成功则按转发流表中设计的指令进行操作,否则将数据流的数据包封装后上传至控制器中;
步骤S3:控制器收到数据包后将数据包放入分类器中进行分类,得到该数据包所属 数据流的业务类型后,将此类型业务映射到对应的QoS需求上,最终识别出此数据流的QoS需求,存储后作为信息提供给下一步的路由;
步骤S4:同时,根据此数据包的特征和业务流的类别在线对分类模型进行调整,进一步提高分类器的准确度。
具体地,所述建立初始分类模型:
对所有业务流使用K-means算法进行聚类,将最小化所有类别的点到中心欧式距离 和作为目标函数,使用EM算法迭代优化,最终得到kd个簇;
在每个簇内,取簇内点数量最多的业务类型作为整个簇的类型,将不是此类型的点 到簇中心的距离取负值,是此类型业务的点到簇中心的距离取正值,求和作为目标函数, 再次用EM算法迭代优化,得到调整后的kd个簇作为初始模型,完成初始模型的训练和建立。
具体地,所述业务流就是指网络中的数据流;
将一段时间内连续的从相同源节点到相同目的节点,同时具有相同特征的数据包视 为一条数据流;
所述具有相同特征的数据包指使用同一种协议的数据包。
具体地,所述在线对分类模型进行调整:
根据分类器的分类结果和输入的数据包特征,对分类器内的分类模型进行实时的在 线训练和调整;
先对每次分类计算可行度:
如果该数据流对应的向量就在某个簇的范围内,或者其虽然不在某个簇内但与其距 离最近的两个簇属于同一个类型,则认为这次分类是可信的,将此数据流加入这个簇内, 重新计算簇的范围和中心,对模型进行实时的调整。
具体地,所述对每次分类计算可行度:
计算数据流所属簇的范围,判断该数据流是否完全属于此簇:
其中,
r表示该簇的分类半径;
d表示数据流的特征数量;
NC为属于该簇数据流的数量;
Nj表示该簇数据流中含第j个特征的流个数;
xij表示第i条数据流中第j个特征的值;
如果该数据流到簇新的距离小于预设半径,或者距离该簇第二近的数据点也属于该 簇,则认为这次分类是可信的,认为该数据流完全属于此簇。
具体地,所述将此类型业务映射到对应的QoS需求上,最终识别出此数据流的QoS需求:
预先分析每种业务类型的最低要求,并将其作为一个映射表存储在控制器中;
在识别出数据流的类型后即可通过查表快速识别出数据流的QoS需求,作为最终的 数据流识别结果。
本发明提供的基于业务类型的在线数据流QoS识别系统,可以通过本发明给的基于 业务类型的在线数据流QoS识别方法的步骤流程实现。本领域技术人员可以将所述基于业务类型的在线数据流QoS识别方法,理解为所述基于业务类型的在线数据流QoS识别 系统的一个优选例。
根据本发明提供的一种基于业务类型的在线数据流QoS识别系统,包括:
模块S1:先用一部分有历史标签的历史流量进行分类,进行离线的模型训练,建立初始分类模型,然后将模型安装在SDN中的控制器中作为初始的分类器;
模块S2:当数据流量到达交换机时,将数据流的数据包和交换机中的转发流表进行 匹配,如果匹配成功则按转发流表中设计的指令进行操作,否则将数据流的数据包封装后上传至控制器中;
模块S3:控制器收到数据包后将数据包放入分类器中进行分类,得到该数据包所属 数据流的业务类型后,将此类型业务映射到对应的QoS需求上,最终识别出此数据流的QoS需求,存储后作为信息提供给下一步的路由;
模块S4:同时,根据此数据包的特征和业务流的类别在线对分类模型进行调整,进一步提高分类器的准确度。
具体地,所述建立初始分类模型:
对所有业务流使用K-means算法进行聚类,将最小化所有类别的点到中心欧式距离 和作为目标函数,使用EM算法迭代优化,最终得到kd个簇;
在每个簇内,取簇内点数量最多的业务类型作为整个簇的类型,将不是此类型的点 到簇中心的距离取负值,是此类型业务的点到簇中心的距离取正值,求和作为目标函数, 再次用EM算法迭代优化,得到调整后的kd个簇作为初始模型,完成初始模型的训练和建立;
所述业务流就是指网络中的数据流;
将一段时间内连续的从相同源节点到相同目的节点,同时具有相同特征的数据包视 为一条数据流;
所述具有相同特征的数据包指使用同一种协议的数据包。
具体地,所述在线对分类模型进行调整:
根据分类器的分类结果和输入的数据包特征,对分类器内的分类模型进行实时的在 线训练和调整;
先对每次分类计算可行度:
如果该数据流对应的向量就在某个簇的范围内,或者其虽然不在某个簇内但与其距 离最近的两个簇属于同一个类型,则认为这次分类是可信的,将此数据流加入这个簇内, 重新计算簇的范围和中心,对模型进行实时的调整;
所述对每次分类计算可行度:
计算数据流所属簇的范围,判断该数据流是否完全属于此簇:
其中,
r表示该簇的分类半径;
d表示数据流的特征数量;
NC为属于该簇数据流的数量;
Nj表示该簇数据流中含第j个特征的流个数;
xij表示第i条数据流中第j个特征的值;
如果该数据流到簇新的距离小于预设半径,或者距离该簇第二近的数据点也属于该 簇,则认为这次分类是可信的,认为该数据流完全属于此簇。
具体地,所述将此类型业务映射到对应的QoS需求上,最终识别出此数据流的QoS需求:
预先分析每种业务类型的最低要求,并将其作为一个映射表存储在控制器中;
在识别出数据流的类型后即可通过查表快速识别出数据流的QoS需求,作为最终的 数据流识别结果。
以下结合具体的实施例对本发明的技术方案作进一步详细描述。
实施例1:
步骤1:读入历史数据,建立初始模型。从数据库中读入标记好的历史流量信息,每条信息为一条数据流的信息,有源地址、目的地址、源端口、目的端口、协议类型业 务类型6个字段。源地址、目的地址为IP地址的形式,将其视为一个32位的二进制数, 转化为十进制数后进行归一化处理,目的端口和源端口也做归一化处理,一条数据流即 转化为一个5维向量,得到数据集X={x1,x2…,xN}。业务类型分为5种:一般业务、 时延敏感业务(实时通话等)、大流量业务(视频传输等)、高移动性业务(自动驾驶等)、 广覆盖业务(多目的地址广播型业务)。
使用K-means算法对其进行无监督学习的聚类,注入函数为
其中ui是第i个簇的中心。使用EM算法对其进行迭代优化,得到kd个簇。在每个簇内, 取簇内点数量最多的业务类型作为整个簇的类型,使用新的目标函数,
使用EM算法进行优化,最终得到kd个调整过的簇作为初始模型,部署在SDN控制器中。
步骤2:流表匹配。当天地网中的数据包从终端发送至Openflow交换机时,提取其包头的匹配字段,包括输入端口、MAC源地址、MAC目的地址、以太网类型、VLANID、 IP源地址、IP目的地址、IP端口、TCP源端口、TCP目的端口字段与交换机内部流表进 行匹配,如果匹配成功则说明该数据流已经被识别,按照流表项中根据识别结果计算出 的指令进行转发;匹配失败说明该数据包属于一个新的数据流,通过Openflow交换机 的安全通道发送至控制器。
步骤3:业务类型识别。提取出该数据包包头中的源地址、目的地址、源端口、目 的端口、协议类型五个属性按照与步骤1中相同的方法构成一个5维向量xi,计算此向 量到各个簇心的距离,对其进行排序,取距离最近的簇的类别作为分类的结果。
步骤4:模型动态调整。根据式(3)计算此数据流所属簇的范围,判断该数据流是否完全属于此簇。
其中NC为属于该簇数据流的数量。如果该数据流到簇新的距离小于半径,或者距离该簇 第二近的数据点也属于该簇,则我们认为它完全属于此簇,将其加入此簇并重新计算此 簇的半径和中心。
步骤5:QoS识别。根据标准制定的QoS映射表,找出其业务类型对应的QoS需求 得到最终的数据流QoS识别结果。最终结果可用于路由计算、拓扑发现、负载均衡、负 载预测等多个用途。
实施例2:
本发明的目的在于克服现有技术中的不足,提供一种能够在软件定义的天地一体化 网络中通过数据流中的部分分组包含的信息,准确识别出整条数据流的服务质量需求的 方法。这种方法基于在线增量学习和天地网QoS模型,既可以自适应地找出每条数据流的业务类型以及其对应的网络环境需求,且无需人工手动输入每条数据流的QoS信息和 对识别方法参数的手动调整,既提高了识别的准确度又增强了方法的普适性,可以用于 卫星网络、软件定义网络、天地一体化网络等领域。
本发明是通过以下技术方案实现的,本发明先用一部分历史流量记录作为已有业务 得到真实数据,进行离线的模型训练,然后将模型安装在SDN中的控制器中作为初始的分类器。当数据流量到达交换机时,将数据流的数据包和交换机中的转发流表进行匹配,如果匹配成功则按转发流表中设计的指令进行操作,否则将其封装后上传至控制器中。 控制器收到数据包后将其放入分类器中进行分类,得到该数据包所属数据流的业务类型 后,将此类型业务映射到对应的QoS需求上,最终识别出此业务流的QoS需求,存储后 作为信息提供给下一步的路由。同时,根据此数据包的特征和业务流的类别在线对分类 模型进行调整,进一步得提高分类器的准确度
所述的离线的模型训练和建立,是指:首先读入历史数据流分组信息,每条信息为一条数据流的信息,包括d个可选的数据包特征,为各个协议头部的字段,典型的为源 地址、目的地址、源端口号、目的端口号、协议类型等,以及其对应的业务类型。将每 条数据写为一个d维向量xi=(xi0,xi1,…,xd-1),其对应的业务类型为xi∈Yj。有Y= {Y0∪Y1∪…∪YC-1}共C种业务类型。对所有业务流使用K-means算法进行聚类,将最 小化所有类别的点到中心欧式距离和作为目标函数,(使用EM算法迭代优化,最终得到 kd个簇。在每个簇内,取簇内点数量最多的业务类型作为整个簇的类型,将不是此类型 的点到簇中心的距离取负值,是此类型业务的点到簇中心的距离取正值,求和作为目标 函数,再次用EM算法迭代优化,得到调整后的kd个簇作为初始模型,这样就完成了初 始模型的训练和建立。
所述的一个分类器,是指:一个输入一个数据流对应的d维特征向量xi,输出其业务类型分类的黑盒模型具体而言,计算其与各个簇心的距离,选择距离最 近者作为其所属的簇,此簇所对应的类型就是该数据流的业务类型。
所述的一个交换机和控制器,是指:基于软件定义的天地一体化卫星网络采用开源 的网络协议Openflow协议,整个网络由控制面、数据面、虚拟化层组成。数据面为Openflow交换机,负责数据层的转发。每个Openflow交换机拥有一个流表,它只会按 照流表制定的规则进行转发。而控制器则负责实现流表的制定、维护和下发。控制器与 交换机之间通过安全通道发送Openflow协议格式的报文进行通信。
所述的一个将数据包和转发流表进行匹配,是指:Openflow流表由流表项组成,每一项包括一个输入端口、源地址、MAC目的地址、以太网类型、VLANID、IP源地址、IP 目的地址、IP端口、TCP源端口、TCP目的端口在内的10个关键字的十元组,并存放了 其对应的操作指令。流表中的每个关键字都可以通配,当数据包到来时,将其与流表项 按顺序进行匹配,发现匹配项最多的就按照其对应的指令进行操作。如果匹配失败,则 将其封装后通过安全通道发送给控制器进行识别。
所述的一个将此类型业务映射到对应的QoS需求上,是指:对于用户来说,不同类型的业务对网络状态有不同的QoS要求,包括带宽、时延、时延抖动、丢包率等;如果 想要使该用户获得正常的服务,改数据流的转发路径就必须满足上述指标的最低要求。 该方法预先分析每种业务类型的最低要求,并将其作为一个映射表存储在控制器中。这 样在识别出数据流的类型后即可通过查表快速识别出数据流的QoS需求,作为必要信息 提供给控制器做出路由的决定。
所述的一个根据此数据包的特征和业务流的类别在线对分类模型进行调整,是指: 根据分类器的分类结果和输入的数据包特征,对分类器内的分类模型进行实时的在线训 练和调整。具体而言,我们先对每次分类计算可行度。如果该数据流对应的向量就在某个簇的范围内,或者其虽然不在某个簇内但与其距离最近的两个簇属于同一个类型,则 我们认为这次分类是完全可信的,将此数据流加入这个簇内,重新计算簇的范围和中心, 对模型进行实时的调整。
在本申请的描述中,需要理解的是,术语“上”、“下”、“前”、“后”、“左”、“右”、 “竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系,仅是为了便于 描述本申请和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以 特定的方位构造和操作,因此不能理解为对本申请的限制。
本领域技术人员知道,除了以纯计算机可读程序代码方式实现本发明提供的系统、 装置及其各个模块以外,完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系 统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以,本发明提供的系统、装置及其各个模块可以 被认为是一种硬件部件,而对其内包括的用于实现各种程序的模块也可以视为硬件部件 内的结构;也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以 是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特 定实施方式,本领域技术人员可以在权利要求的范围内做出各种变化或修改,这并不影响本发明的实质内容。在不冲突的情况下,本申请的实施例和实施例中的特征可以任意 相互组合。
Claims (10)
1.一种基于业务类型的在线数据流QoS识别方法,其特征在于,包括:
步骤S1:先用一部分有历史标签的历史流量进行分类,进行离线的模型训练,建立初始分类模型,然后将模型安装在SDN中的控制器中作为初始的分类器;
步骤S2:当数据流量到达交换机时,将数据流的数据包和交换机中的转发流表进行匹配,如果匹配成功则按转发流表中设计的指令进行操作,否则将数据流的数据包封装后上传至控制器中;
步骤S3:控制器收到数据包后将数据包放入分类器中进行分类,得到该数据包所属数据流的业务类型后,将此类型业务映射到对应的QoS需求上,最终识别出此数据流的QoS需求,存储后作为信息提供给下一步的路由;
步骤S4:同时,根据此数据包的特征和业务流的类别在线对分类模型进行调整,进一步提高分类器的准确度。
2.根据权利要求1所述的基于业务类型的在线数据流QoS识别方法,其特征在于,所述建立初始分类模型:
对所有业务流使用K-means算法进行聚类,将最小化所有类别的点到中心欧式距离和作为目标函数,使用EM算法迭代优化,最终得到kd个簇;
在每个簇内,取簇内点数量最多的业务类型作为整个簇的类型,将不是此类型的点到簇中心的距离取负值,是此类型业务的点到簇中心的距离取正值,求和作为目标函数,再次用EM算法迭代优化,得到调整后的kd个簇作为初始模型,完成初始模型的训练和建立。
3.根据权利要求2所述的基于业务类型的在线数据流QoS识别方法,其特征在于,所述业务流就是指网络中的数据流;
将一段时间内连续的从相同源节点到相同目的节点,同时具有相同特征的数据包视为一条数据流;
所述具有相同特征的数据包指使用同一种协议的数据包。
4.根据权利要求1所述的基于业务类型的在线数据流QoS识别方法,其特征在于,所述在线对分类模型进行调整:
根据分类器的分类结果和输入的数据包特征,对分类器内的分类模型进行实时的在线训练和调整;
先对每次分类计算可行度:
如果该数据流对应的向量就在某个簇的范围内,或者其虽然不在某个簇内但与其距离最近的两个簇属于同一个类型,则认为这次分类是可信的,将此数据流加入这个簇内,重新计算簇的范围和中心,对模型进行实时的调整。
6.根据权利要求1所述的基于业务类型的在线数据流QoS识别方法,其特征在于,所述将此类型业务映射到对应的QoS需求上,最终识别出此数据流的QoS需求:
预先分析每种业务类型的最低要求,并将其作为一个映射表存储在控制器中;
在识别出数据流的类型后即可通过查表快速识别出数据流的QoS需求,作为最终的数据流识别结果。
7.一种基于业务类型的在线数据流QoS识别系统,其特征在于,包括:
模块S1:先用一部分有历史标签的历史流量进行分类,进行离线的模型训练,建立初始分类模型,然后将模型安装在SDN中的控制器中作为初始的分类器;
模块S2:当数据流量到达交换机时,将数据流的数据包和交换机中的转发流表进行匹配,如果匹配成功则按转发流表中设计的指令进行操作,否则将数据流的数据包封装后上传至控制器中;
模块S3:控制器收到数据包后将数据包放入分类器中进行分类,得到该数据包所属数据流的业务类型后,将此类型业务映射到对应的QoS需求上,最终识别出此数据流的QoS需求,存储后作为信息提供给下一步的路由;
模块S4:同时,根据此数据包的特征和业务流的类别在线对分类模型进行调整,进一步提高分类器的准确度。
8.根据权利要求7所述的基于业务类型的在线数据流QoS识别系统,其特征在于,所述建立初始分类模型:
对所有业务流使用K-means算法进行聚类,将最小化所有类别的点到中心欧式距离和作为目标函数,使用EM算法迭代优化,最终得到kd个簇;
在每个簇内,取簇内点数量最多的业务类型作为整个簇的类型,将不是此类型的点到簇中心的距离取负值,是此类型业务的点到簇中心的距离取正值,求和作为目标函数,再次用EM算法迭代优化,得到调整后的kd个簇作为初始模型,完成初始模型的训练和建立;
所述业务流就是指网络中的数据流;
将一段时间内连续的从相同源节点到相同目的节点,同时具有相同特征的数据包视为一条数据流;
所述具有相同特征的数据包指使用同一种协议的数据包。
9.根据权利要求7所述的基于业务类型的在线数据流QoS识别系统,其特征在于,所述在线对分类模型进行调整:
根据分类器的分类结果和输入的数据包特征,对分类器内的分类模型进行实时的在线训练和调整;
先对每次分类计算可行度:
如果该数据流对应的向量就在某个簇的范围内,或者其虽然不在某个簇内但与其距离最近的两个簇属于同一个类型,则认为这次分类是可信的,将此数据流加入这个簇内,重新计算簇的范围和中心,对模型进行实时的调整;
所述对每次分类计算可行度:
计算数据流所属簇的范围,判断该数据流是否完全属于此簇:
其中,
r表示该簇的分类半径;
d表示数据流的特征数量;
NC为属于该簇数据流的数量;
Nj表示该簇数据流中含第j个特征的流个数;
xij表示第i条数据流中第j个特征的值;
如果该数据流到簇新的距离小于预设半径,或者距离该簇第二近的数据点也属于该簇,则认为这次分类是可信的,认为该数据流完全属于此簇。
10.根据权利要求7所述的基于业务类型的在线数据流QoS识别系统,其特征在于,所述将此类型业务映射到对应的QoS需求上,最终识别出此数据流的QoS需求:
预先分析每种业务类型的最低要求,并将其作为一个映射表存储在控制器中;
在识别出数据流的类型后即可通过查表快速识别出数据流的QoS需求,作为最终的数据流识别结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010157646.6A CN111431820A (zh) | 2020-03-09 | 2020-03-09 | 基于业务类型的在线数据流QoS识别方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010157646.6A CN111431820A (zh) | 2020-03-09 | 2020-03-09 | 基于业务类型的在线数据流QoS识别方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111431820A true CN111431820A (zh) | 2020-07-17 |
Family
ID=71546225
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010157646.6A Pending CN111431820A (zh) | 2020-03-09 | 2020-03-09 | 基于业务类型的在线数据流QoS识别方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111431820A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112866267A (zh) * | 2021-01-29 | 2021-05-28 | 哈尔滨工业大学(威海) | 一种网络业务动态识别与划分的系统、方法、设备及存储介质 |
CN113645594A (zh) * | 2021-08-18 | 2021-11-12 | 中国联合网络通信集团有限公司 | 信道资源管理方法、系统、基站及计算机可读存储介质 |
CN114301791A (zh) * | 2021-12-29 | 2022-04-08 | 中国电信股份有限公司 | 数据传输方法及装置、存储介质、电子设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104125167A (zh) * | 2014-07-24 | 2014-10-29 | 海信集团有限公司 | 一种流量控制方法和装置 |
CN107846326A (zh) * | 2017-11-10 | 2018-03-27 | 北京邮电大学 | 一种自适应的半监督网络流量分类方法、系统及设备 |
CN108460423A (zh) * | 2018-03-26 | 2018-08-28 | 大连大学 | 一种基于sdn架构的业务识别方法 |
CN109067612A (zh) * | 2018-07-13 | 2018-12-21 | 哈尔滨工程大学 | 一种基于增量聚类算法的在线流量识别方法 |
CN109451523A (zh) * | 2018-11-23 | 2019-03-08 | 南京邮电大学 | 基于流量识别技术和q学习的快速切换方法 |
CN109756424A (zh) * | 2019-03-25 | 2019-05-14 | 北京智芯微电子科技有限公司 | 业务流表聚合方法及系统 |
-
2020
- 2020-03-09 CN CN202010157646.6A patent/CN111431820A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104125167A (zh) * | 2014-07-24 | 2014-10-29 | 海信集团有限公司 | 一种流量控制方法和装置 |
CN107846326A (zh) * | 2017-11-10 | 2018-03-27 | 北京邮电大学 | 一种自适应的半监督网络流量分类方法、系统及设备 |
CN108460423A (zh) * | 2018-03-26 | 2018-08-28 | 大连大学 | 一种基于sdn架构的业务识别方法 |
CN109067612A (zh) * | 2018-07-13 | 2018-12-21 | 哈尔滨工程大学 | 一种基于增量聚类算法的在线流量识别方法 |
CN109451523A (zh) * | 2018-11-23 | 2019-03-08 | 南京邮电大学 | 基于流量识别技术和q学习的快速切换方法 |
CN109756424A (zh) * | 2019-03-25 | 2019-05-14 | 北京智芯微电子科技有限公司 | 业务流表聚合方法及系统 |
Non-Patent Citations (1)
Title |
---|
赵双,陈曙晖: "基于机器学习的流量识别技术综述与展望", 《计算机工程与科学》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112866267A (zh) * | 2021-01-29 | 2021-05-28 | 哈尔滨工业大学(威海) | 一种网络业务动态识别与划分的系统、方法、设备及存储介质 |
CN113645594A (zh) * | 2021-08-18 | 2021-11-12 | 中国联合网络通信集团有限公司 | 信道资源管理方法、系统、基站及计算机可读存储介质 |
CN113645594B (zh) * | 2021-08-18 | 2023-06-02 | 中国联合网络通信集团有限公司 | 信道资源管理方法、系统、基站及计算机可读存储介质 |
CN114301791A (zh) * | 2021-12-29 | 2022-04-08 | 中国电信股份有限公司 | 数据传输方法及装置、存储介质、电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109981691B (zh) | 一种面向SDN控制器的实时DDoS攻击检测系统与方法 | |
CN111431820A (zh) | 基于业务类型的在线数据流QoS识别方法及系统 | |
CN108259367B (zh) | 一种基于软件定义网络的服务感知的流策略定制方法 | |
Sun et al. | A QoS-guaranteed intelligent routing mechanism in software-defined networks | |
CN106470168B (zh) | 一种数据传输方法、使用该方法的交换机以及网络控制系统 | |
CN109688056B (zh) | 智能网络控制系统及方法 | |
CN112491619B (zh) | 一种基于sdn的服务定制网络资源自适应分配方法 | |
US20130242980A1 (en) | Data stream classification | |
US11669751B2 (en) | Prediction of network events via rule set representations of machine learning models | |
EP4087202A1 (en) | Data stream type identification model updating method and related device | |
EP4024791B1 (en) | Data stream type identification method and related devices | |
CN108023840B (zh) | Ovs网络流量加速优化方法及ovs网络流量加速优化系统 | |
CN101473631A (zh) | 用于服务质量的协议过滤的系统和方法 | |
CN115442275B (zh) | 基于分级可信流的混合遥测方法和系统 | |
WO2020022953A1 (en) | System and method for identifying an internet of things (iot) device based on a distributed fingerprinting solution | |
Xing et al. | Sample and fetch-based large flow detection mechanism in software defined networks | |
Abdollahi et al. | Flow-aware forwarding in SDN datacenters using a knapsack-PSO-based solution | |
Yang et al. | Achieving robust performance for traffic classification using ensemble learning in SDN networks | |
Liu et al. | The multi-path routing problem in the Software Defined Network | |
CN113259263B (zh) | 一种深度报文检测集群中的数据包调度方法 | |
CN107135170B (zh) | 一种内容中心网络的高质量QoS保证方法 | |
CN115695280A (zh) | 基于边缘节点的路由方法及装置、电子设备、存储介质 | |
Xu et al. | Federated traffic synthesizing and classification using generative adversarial networks | |
CN111064706B (zh) | 一种mRMR-SVM的空间网络数据流检测方法 | |
US20210044527A1 (en) | Packet forwarding method and device utilizing the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200717 |
|
RJ01 | Rejection of invention patent application after publication |