CN115002042B - 基于机器学习的专线流量管控方法、装置及计算机设备 - Google Patents

基于机器学习的专线流量管控方法、装置及计算机设备 Download PDF

Info

Publication number
CN115002042B
CN115002042B CN202210573804.5A CN202210573804A CN115002042B CN 115002042 B CN115002042 B CN 115002042B CN 202210573804 A CN202210573804 A CN 202210573804A CN 115002042 B CN115002042 B CN 115002042B
Authority
CN
China
Prior art keywords
flow
special line
time period
peak
traffic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210573804.5A
Other languages
English (en)
Other versions
CN115002042A (zh
Inventor
钱学广
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Property and Casualty Insurance Company of China Ltd
Original Assignee
Ping An Property and Casualty Insurance Company of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Property and Casualty Insurance Company of China Ltd filed Critical Ping An Property and Casualty Insurance Company of China Ltd
Priority to CN202210573804.5A priority Critical patent/CN115002042B/zh
Publication of CN115002042A publication Critical patent/CN115002042A/zh
Application granted granted Critical
Publication of CN115002042B publication Critical patent/CN115002042B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/20Traffic policing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/16Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/50Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请公开了一种基于机器学习的专线流量管控方法、装置及计算机设备,涉及人工智能技术领域,可以解决目前无法实现专线流量管控的技术问题。包括:获取历史专线数据,并对历史专线数据进行特征提取,依据提取出的特征构建特征数据库;基于机器学习与特征数据库,预测专线高峰流量时间段与专线低峰流量时间段;确定在专线高峰流量时间段各个系统级别对应的高峰流量占比以及在专线低峰流量时间段各个系统级别对应的低峰流量占比,根据高峰流量占比与低峰流量占比确定流量管控策略;根据流量管控策略管控专线流量。

Description

基于机器学习的专线流量管控方法、装置及计算机设备
技术领域
本申请涉及人工智能领域,尤其涉及到一种基于机器学习的专线流量管控方法、装置及计算机设备。
背景技术
在与外部合作伙伴如银行、互联网公司等进行业务对接时,基于保密需求租用专线,通过专线访问外部合作伙伴的业务系统,完成业务对接。但是随着应用系统的增多,一方面,固定的专线带宽下存在着专线流量争抢的问题,另一方面,如果采用升级带宽的方式解决专线流量争抢的问题将增加成本。
目前只能对专线流量进行监控,在应用请求较多,专线带宽不足的情况下,无法通过对专线流量进行监控实现专线流量管控,因此,如何实现专线流量管控,成为了亟待解决的问题。
发明内容
有鉴于此,本申请提供了一种基于机器学习的专线流量管控方法、装置及计算机设备,涉及人工智能技术领域,可以解决目前无法实现专线流量管控的技术问题。
根据本申请的一个方面,提供了一种基于机器学习的专线流量管控方法,该方法包括:
获取历史专线数据,并对所述历史专线数据进行特征提取,依据提取出的特征构建特征数据库;
基于机器学习与所述特征数据库,预测专线高峰流量时间段与专线低峰流量时间段;
确定在所述专线高峰流量时间段各个系统级别对应的高峰流量占比以及在所述专线低峰流量时间段所述各个系统级别对应的低峰流量占比,根据所述高峰流量占比与所述低峰流量占比确定流量管控策略;
根据所述流量管控策略管控专线流量。
根据本申请的另一个方面,提供了一种基于机器学习的专线流量管控装置,该装置包括:
获取模块,用于获取历史专线数据,并对所述历史专线数据进行特征提取,依据提取出的特征构建特征数据库;
预测模块,用于基于机器学习与所述特征数据库,预测专线高峰流量时间段与专线低峰流量时间段;
第一确定模块,用于确定在所述专线高峰流量时间段各个系统级别对应的高峰流量占比以及在所述专线低峰流量时间段所述各个系统级别对应的低峰流量占比,根据所述高峰流量占比与所述低峰流量占比确定流量管控策略;
第一管控模块,用于根据所述流量管控策略管控专线流量。
根据本申请的又一个方面,提供了一种非易失性可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现上述基于机器学习的专线流量管控方法。
根据本申请的再一个方面,提供了一种计算机设备,包括非易失性可读存储介质、处理器及存储在非易失性可读存储介质上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述基于机器学习的专线流量管控方法。
借由上述技术方案,本申请公开了一种基于机器学习的专线流量管控方法、装置及计算机设备,可首先获取历史专线数据,并对历史专线数据进行特征提取,依据提取出的特征构建特征数据库;然后基于机器学习与特征数据库,预测专线高峰流量时间段与专线低峰流量时间段;进一步的,确定在专线高峰流量时间段各个系统级别对应的高峰流量占比以及在专线低峰流量时间段各个系统级别对应的低峰流量占比,根据高峰流量占比与低峰流量占比确定流量管控策略;最后根据流量管控策略管控专线流量。通过本申请中的技术方案,能够通过机器学习预测专线高峰流量时间段与专线低峰流量时间段,根据专线高峰流量时间段与专线低峰流量时间段制定流量管理策略,既保证核心系统的稳定运行,又为专线流量的调配提供准确的依据,优化专线流量结构,提高专线的使用效率,降低专线运行成本。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本地申请的不当限定。在附图中:
图1示出了本申请实施例提供的一种基于机器学习的专线流量管控方法的流程示意图;
图2示出了本申请实施例提供的另一种基于机器学习的专线流量管控方法的流程示意图;
图3示出了本申请实施例提供的一种基于机器学习的专线流量管控装置的结构示意图;
图4示出了本申请实施例提供的另一种基于机器学习的专线流量管控装置的结构示意图。
具体实施方式
下文将参考附图并结合实施例来详细说明本申请。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互结合。
针对目前的问题,本申请实施例提供了一种基于机器学习的专线流量管控方法,如图1所示,该方法包括:
101、获取历史专线数据,并对历史专线数据进行特征提取,依据提取出的特征构建特征数据库。
其中,历史专线数据为在预设历史时间段内专线上各种流量请求的数据,对于本实施例,作为一种优选方式,采用串联监控的方式获取历史专线数据,并通过请求链路的路由或交换机端到内部应用之间添加硬件或者软件以收集监控的历史专线数据。监控方式包括:旁路监控模式和串联监控模式,本申请采用串联监控模式,相较于旁路监控模式,串联监控模式具有优点为:串联监控模式对交换机、路由器设备没有要求,旁路模式不支持UDP等类型的应用请求监控,串联模式不存在这样的问题,当请求量大过旁路监控的镜像端口速率时,到机器学习端有数据丢失风险。
对历史专线数据进行特征提取,提取出的特征包括:流量请求的应用、应用请求耗时、源IP、目的IP、应用请求成功率、应用请求流量使用量等,并且监控收集每个特征在预设历史时间段内的多个数据。依据提取出的特征构建特征数据库,是为了基于机器学习与特征数据库预测专线高峰流量时间段与专线低峰流量时间段,以便制定流量管控策略。
102、基于机器学习与特征数据库,预测专线高峰流量时间段与专线低峰流量时间段。
其中,专线高峰流量时间段是指专线上的应用请求流量使用量高于预设高峰阈值的时间段,专线低峰流量时间段是指专线上的应用请求流量使用量低于预设低峰阈值的时间段。
对于本实施例,可以选择时间序列模型预测专线高峰流量时间段与专线低峰流量时间段,其中,时间序列模型包括:自回归模型AR,移动平均模型MA,自回归移动平均模型ARMA,自回归差分移动平均模型ARIMA中的任意一种,基于机器学习与特征数据库,预测专线高峰流量时间段与专线低峰流量时间段的具体实施步骤包括:利用特征数据库训练初始时间序列模型,得到训练完成的目标时间序列模型,在特征数据库中提取预设历史时间段内的应用请求流量使用量,将预设历史时间段内的应用请求流量使用量输入目标时间序列模型,输出预设未来时间段内的专线上应用请求流量使用量,从而可以将高于预设高峰阈值的时间段确定为专线高峰流量时间段,将低于预设低峰阈值的时间段确定为专线低峰流量时间段,为专线带宽资源的智能调配提供准确的依据。
103、确定在专线高峰流量时间段各个系统级别对应的高峰流量占比以及在专线低峰流量时间段各个系统级别对应的低峰流量占比,根据高峰流量占比与低峰流量占比确定流量管控策略。
其中,每个进行流量请求的应用都对应一个系统级别,系统级别按照系统优先级别从高到低可分为一级系统、二级系统、三级系统等,流量管控策略是根据在专线高峰流量时间段与专线低峰流量时间段的系统优先级别制定的。制定的流量管控策略可以保障核心业务的稳定可用,优化专线流量结构,降低专线带宽的压力,对专线带宽进行合理分配。
对于本实施例,确定在专线高峰流量时间段各个系统级别对应的高峰流量占比的具体实施步骤包括:根据目的IP确定在专线高峰流量时间段每个系统级别对应的进行流量请求的应用,将相同系统级别下每个应用的应用请求流量使用量加和后再除以专线带宽流量,可以得到在专线高峰流量时间段各个系统级别对应的高峰流量占比,也就是各个系统级别对应占用专线带宽的比例。确定低峰流量占比的具体实施步骤与高峰流量占比的方法相同,在此不再赘述。
根据高峰流量占比与低峰流量占比确定流量管控策略也就是根据专线高峰流量时间段的每个系统级别的高峰流量占比与专线低峰流量时间段的每个系统级别的低峰流量占比进行重新分配。具体的,在专线高峰流量时间段内,且专线带宽使用率达到预设使用量时,根据系统级别从低到高依次中断每个系统级别对应的全部流量请求,直到剩余未中断的高峰流量占比低于第一预设中断阈值;在专线低峰流量时间段内,且专线带宽使用率未达到预设使用量时,恢复专线高峰流量时间段内被中断的流量请求;在专线低峰流量时间段内,专线带宽使用率达到预设使用量时,计算每个系统级别的低峰流量占比与该系统级别的预设最低流量占比的差值,根据系统级别从低到高依次中断每个系统级别对应差值部分的流量请求,直到剩余未中断的低峰流量占比低于第二预设中断阈值。
例如,专线高峰流量时间段为9:00-18:00,专线低峰流量时间段为0:00-9:00、18:00-24:00,具体的:在专线高峰流量时间段9:00-18:00且专线带宽使用率达到预设使用量100%时,例如,一级系统的高峰流量占比30%,二级系统的高峰流量占比50%,三级系统的高峰流量占比20%,第一预设中断阈值为60%,首先中断三级系统的高峰流量占比,计算剩余未中断的高峰流量占比为:二级系统的高峰流量占比50%与一级系统的高峰流量占比30%之和为80%,高于第一预设中断阈值,进一步的,中断二级系统的高峰流量占比,此时,剩余未中断的高峰流量占比为:一级系统的高峰流量占比30%低于第一中断阈值,则中断二、三级系统的流量请求,专线带宽100%的流量给一级系统使用。
在专线低峰流量时间段0:00-9:00、18:00-24:00,如果带宽使用率不足预设使用量100%,则不对各个系统级别下对应的低峰流量占比进行重新分配,并将专线高峰流量时间段9:00-18:00被中断的二、三级系统的请求,重新发起。
在专线低峰流量时间段0:00-9:00、18:00-24:00,如果带宽使用率达到预设使用量100%时,此时确定各个系统级别的预设最低流量占比也就是保证各个系统级别可用性的最低流量占比,如30%专线带宽流量可保证一级系统的可用性,20%专线带宽流量可保证二级系统的可用性,那么二级系统的预设最低流量占比为20%,10%专线带宽流量可以保证三级系统的可用性,那么三级系统的预设最低流量占比为10%,对各个系统级别下对应的低峰流量占比进行重新分配,此时如果一级系统的低峰流量占比30%,二级系统的低峰流量占比50%,三级系统的低峰流量占比20%,计算三级系统的低峰流量占比与三级系统级别的预设最低流量占比的差值为20%-10%=10%,同理二级系统的差值为30%,一级系统的差值为30%,根据系统级别从低到高依次中断每个系统级别对应差值部分的流量请求,直到剩余未中断的低峰流量占比低于第二预设中断阈值如70%,中断三级系统的差值10%,剩余未中断的低峰流量占比高于第二预设中断阈值70%,继续中断二级系统的差值30%,剩余未中断的低峰流量占比低于第二预设中断阈值70%,停止中断。
104、根据流量管控策略管控专线流量。
对于本实施例,作为一种优选实施方式,监测外部应用的流量请求,判断该流量请求与流量管控策略是否符合,如果不符合,则切断该流量请求,直到该流量请求符合该流量管控策略时,恢复该流量请求。
本申请公开了一种基于机器学习的专线流量管控方法、装置及计算机设备,可首先获取历史专线数据,并对历史专线数据进行特征提取,依据提取出的特征构建特征数据库;然后基于机器学习与特征数据库,预测专线高峰流量时间段与专线低峰流量时间段;进一步的,确定在专线高峰流量时间段各个系统级别对应的高峰流量占比以及在专线低峰流量时间段各个系统级别对应的低峰流量占比,根据高峰流量占比与低峰流量占比确定流量管控策略;最后根据流量管控策略管控专线流量。通过本申请中的技术方案,能够通过机器学习预测专线高峰流量时间段与专线低峰流量时间段,根据专线高峰流量时间段与专线低峰流量时间段制定流量管理策略,既保证核心系统的稳定运行,又为专线流量的调配提供准确的依据,优化专线流量结构,提高专线的使用效率,降低专线运行成本。
进一步的,作为上述实施例具体实施方式的细化和扩展,为了完整说明本实施例中的具体实施过程,提供了另一种基于机器学习的专线流量管控方法,如图2所示,该方法包括:
201、获取历史专线数据,并对历史专线数据进行特征提取,依据提取出的特征构建特征数据库。
具体实施过程可参照实施例步骤101中的相关描述,在此不再赘述。
202、利用特征数据库训练初始时间序列模型,得到训练完成的目标时间序列模型。
对于本实施例,作为一种实施方式,实施例步骤202具体可以包括:包括:根据预设比例,将特征数据库分为训练集与测试集;利用训练集训练初始时间序列模型,并计算初始时间序列模型的损失值;在判断损失值满足预设损失值阈值时,将测试集输入初始时间序列模型,获取预测值,并判断预测值与测试集中实际值的差值是否在预设阈值范围内,若是,则将初始时间序列模型确定为目标时间序列模型,若否,则调整初始时间序列模型的参数,直至预测值与实际值的差值在预设阈值范围内,将初始时间序列模型确定为目标时间序列模型。
其中,预设比例可以为7:3,选择特征数据库中70%的数据作为训练集,30%的数据作为测试集,训练集用于训练初始时间序列模型,使用训练集对初始时间序列模型进行训练也就是通过训练集的数据确定初始时间序列模型中拟合曲线的具体参数。但是初始时间序列模型中的参数是根据训练集中的数据进行拟合的,有可能出现该参数仅对该训练集中的数据拟合准确的情况也就是过拟合,使得训练好的初始时间序列模型预测准确率低,故需要测试集对训练好的初始时间序列模型进行评估,并再次训练,以获得精确度高的目标时间序列模型,因此,测试集用于评估已经训练好的初始时间序列模型的精确度,直到测试集输出的预测值与测试集中的实际值的差值在预设阈值范围内,表示已经获得精确度高的目标时间序列模型。
203、在特征数据库中提取应用请求流量使用量,将应用请求流量使用量输入目标时间序列模型,获取专线流量走势,将专线流量走势上高于预设高峰阈值的时间段确定为专线高峰流量时间段,将专线流量走势上低于预设低峰阈值的时间段确定为专线低峰流量时间段。
其中,专线流量走势是在预设未来时间段内各个流量请求的应用对专线带宽流量的占用量,对于本实施例,每个进行流量请求的应用都对应预设历史时间段内的多个应用请求流量使用量数据,将预设历史时间段内的多个应用请求流量使用量输入到目标时间序列模型,输出预设未来时间段内的多个应用请求流量使用量,进一步的,确定预设未来时间段内的应用请求流量使用量与预设高峰阈值、预设低峰阈值的大小关系,将高于预设高峰阈值的时间段确定为专线高峰流量时间段,将低于预设低峰阈值的时间段确定为专线低峰流量时间段,以便于根据专线高峰流量时间段与专线低峰流量时间段合理分配专线带宽流量,优化专线流量结构。
204、在专线高峰流量时间段,根据目的IP判断各个系统级别对应的应用请求流量使用量,将同一系统级别对应的应用请求流量使用量的加和占专线带宽流量的百分比确定为各个系统级别对应的高峰流量占比。
其中,特征数据库中的特征包括:目的IP、应用请求流量使用量。
对于本实施例,存在多个系统共用一条专线的情况,根据目的IP可以区分每个系统级别对应的多个应用请求流量使用量,而将同一系统级别对应的应用请求流量使用量加和后可以确定为该系统级别对应的总的应用请求流量使用量,再基于总的应用请求流量使用量除以专线带宽即为该系统级别在专线高峰流量时间段占用专线带宽的比例,也就是该系统级别对应的高峰流量占比,同理,可以计算各个系统级别对应的高峰流量占比,对各个系统级别对应的高峰流量占比按照系统级别的优先级以及专线带宽使用率可以作为制定专线流量管控策略的依据。
205、在专线低峰流量时间段,根据目的IP判断各个系统级别对应的应用请求流量使用量,将同一系统级别对应的应用请求流量使用量的加和占专线带宽流量的百分比确定为各个系统级别对应的低峰流量占比。
其中,特征数据库中的特征包括:目的IP、应用请求流量使用量。
对于本实施例,存在多个系统共用一条专线的情况,根据目的IP可以区分每个系统级别对应的多个应用请求流量使用量,而将同一系统级别对应的应用请求流量使用量加和后可以确定为该系统级别对应的总的应用请求流量使用量,再基于总的应用请求流量使用量除以专线带宽即为该系统级别在专线低峰流量时间段占用专线带宽的比例,也就是该系统级别对应的低峰流量占比,同理,可以计算各个系统级别对应的低峰流量占比,对各个系统级别对应的低峰流量占比按照系统级别的优先级以及专线带宽使用率可以作为制定专线流量管控策略的依据。
206、根据高峰流量占比、低峰流量占比以及专线带宽流量的使用率制定重新分配高峰流量占比与低峰流量占比的流量管控策略。
对于根据高峰流量占比、低峰流量占比以及专线带宽流量的使用率制定重新分配高峰流量占比与低峰流量占比的流量管控策略的具体实施过程可参照实施例步骤103中的相关描述,在此不再赘述。
207、根据流量管控策略管控专线流量。
对于本实施例,在根据流量管控策略管控专线流量时,实施例步骤207具体可以包括:监测外部应用的流量请求,切断与流量管控策略不符合的流量请求。具体的,可将外部应用的流量请求与流量管控策略进行匹配,当判断外部应用的流量请求与流量管控策略不匹配时,减少专线上无效的请求,降低专线带宽压力。直到流量请求符合流量管控策略时,恢复该流量请求。
在具体的应用场景中,作为另一种可选方式,还可在获取历史专线数据后,对历史专线数据进行特征提取,依据提取出的特征构建特征数据库,并根据特征数据库确定异常流量,进一步的,制定与异常流量对应的异常流量预警策略,其中,特征数据库中的特征包括:应用请求耗时、应用请求成功率、应用请求流量使用量。相应的,在制定异常流量预警策略时,实施例步骤具体可以包括:根据应用请求耗时、应用请求成功率、应用请求流量使用量中的至少一种确定异常流量;确定与异常流量对应的异常流量预警管控策略,并根据异常流量预警管控策略管控专线流量。
其中,异常流量包括:失败的请求所占用的流量、慢请求所占用的流量、满负荷流量。具体的,可以以识别记录http请求的状态为例,根据特征数据库确定异常流量包括:根据特征数据库中记录的应用请求成功率判断如果一级系统的http请求的返回404的比例达50%,则认为异常请求;根据特征数据库中记录的应用请求耗时判断如果请求二级系统的http耗时高于1秒则认为异常请求;根据特征数据库中记录的应用请求流量使用量判断如果某个系统或接口,与以往同期相比,请求量变化超30%,则认为系统接口流量异常。根据异常流量确定异常流量预警管控策略包括:如访问某系统的流量持续激增,与以往同期相比,请求量变化超30%,则提示该系统的容量能否承载请求激增。如专线带宽满负荷,但其中大部分请求为非核心业务请求,无实际业务价值,则提示降低此类请求,保障核心业务请求。如专线大量错误请求,则分析提示是否非法攻击。如专线搭建后,长期无流量,或无出单请求,无实际业务产出,则提示线路投入产出比,是否拆机或降速,以节约成本。如专线流量快速增长,结合实际业务情况,提示是否扩容专线带宽。如线路满负荷时,优先保障核心业务,非核心请求错峰执行,提高了专线的使用效率。
此外,在识别专线流量满负荷时,还可根据异常流量的来源和目的及其流量的细节特性,从而制定异常流量预警管控策略时,具体可包括:
a.根据流量来源,判断优先级别,如流量来自政府监管单位,则优先保障其流量,终止其他非核心请求。如流量来自重要合作伙伴,则优先保障其流量正常。如流量来自非重要合作伙伴,则终止或降低其流量请求。
b.根据目的,判断优先解绑,如流量请求核心系统,如出单,则优先保障其流量。如访问辅助系统,如合同、产品等,则降低或终止其流量请求。
在具体的应用场景中,在根据异常流量预警管控策略管控专线流量时,与实施例步骤207类似,实施例步骤具体可以包括:监测外部应用的流量请求,切断与异常流量预警策略不符合的流量请求。具体的,可将外部应用的流量请求与异常流量预警策略进行匹配,当判断外部应用的流量请求与异常流量预警策略不匹配时,减少专线上无效的请求,降低专线带宽压力。直到流量请求符合流量管控策略时,恢复该流量请求。
在具体的应用场景中,作为一种可选实施方式,还可实时监测内部应用的负载流量,当基于负载流量的监测,判断内部服务应用异常时,可主动切断部分外部流量请求,以降低内网应用压力。相应的,实施例步骤具体还可包括:监测内部应用的负载流量,当判断负载流量异常时,按照预设流量管控策略管控专线流量。其中,预设流量管控策略可为针对外部专线流量的切断策略,如可为切断对应外部专线流量占比大于预设流量阈值的外部专线流量(如50%),还可切断对应系统级别较低的外部专线流量(如包含一级系统、二级系统、三级系统的流量请求,鉴于一级系统的系统级别高于二级系统、三级系统,且二级系统的系统级别高于三级系统,故为了保证较高系统级别(如一级系统、二级系统)的专线流量稳定性,故可切断二级系统和/或三级系统的流量请求)。针对预设流量管控策略,还可根据其他可实现的流量管控规则进行制定,在此不进行穷举。
本申请公开了一种基于机器学习的专线流量管控方法、装置及计算机设备,可首先获取历史专线数据,并对历史专线数据进行特征提取,依据提取出的特征构建特征数据库;然后基于机器学习与特征数据库,预测专线高峰流量时间段与专线低峰流量时间段;进一步的,确定在专线高峰流量时间段各个系统级别对应的高峰流量占比以及在专线低峰流量时间段各个系统级别对应的低峰流量占比,根据高峰流量占比与低峰流量占比确定流量管控策略;最后根据流量管控策略管控专线流量。通过本申请中的技术方案,能够通过机器学习预测专线高峰流量时间段与专线低峰流量时间段,根据专线高峰流量时间段与专线低峰流量时间段制定流量管理策略,既保证核心系统的稳定运行,又为专线流量的调配提供准确的依据,优化专线流量结构,提高专线的使用效率,降低专线运行成本。
进一步的,作为图1和图2所示方法的具体实现,本申请实施例提供了一种基于机器学习的专线流量管控装置,如图3所示,该装置包括:获取模块31、预测模块32、第一确定模块33、第一管控模块34;
获取模块31,可用于获取历史专线数据,并对历史专线数据进行特征提取,依据提取出的特征构建特征数据库;
预测模块32,可用于基于机器学习与特征数据库,预测专线高峰流量时间段与专线低峰流量时间段;
第一确定模块33,可用于确定在专线高峰流量时间段各个系统级别对应的高峰流量占比以及在专线低峰流量时间段各个系统级别对应的低峰流量占比,根据高峰流量占比与低峰流量占比确定流量管控策略;
第一管控模块34,可用于根据流量管控策略管控专线流量。
在具体的应用场景中,基于机器学习与特征数据库,预测专线高峰流量时间段与专线低峰流量时间段时,如图4所示,预测模块32,具体可包括:训练单元321、输入单元322、第一确定单元323;
训练单元321,可用于利用特征数据库训练初始时间序列模型,得到训练完成的目标时间序列模型;
输入单元322,可用于在特征数据库中提取应用请求流量使用量,将应用请求流量使用量输入目标时间序列模型,获取专线流量走势;
第一确定单元323,可用于将专线流量走势上高于预设高峰阈值的时间段确定为专线高峰流量时间段,将专线流量走势上低于预设低峰阈值的时间段确定为专线低峰流量时间段。
相应的,训练单元321,具体可用于根据预设比例,将特征数据库分为训练集与测试集;利用训练集训练初始时间序列模型,并计算初始时间序列模型的损失值;在判断损失值满足预设损失值阈值时,将测试集输入初始时间序列模型,获取预测值,并判断预测值与测试集中实际值的差值是否在预设阈值范围内,若是,则将初始时间序列模型确定为目标时间序列模型,若否,则调整初始时间序列模型的参数,直至预测值与实际值的差值在预设阈值范围内,将初始时间序列模型确定为目标时间序列模型。
在具体的应用场景中,特征数据库中的特征包括:目的IP、应用请求流量使用量。相应的,在确定在专线高峰流量时间段各个系统级别对应的高峰流量占比以及在专线低峰流量时间段各个系统级别对应的低峰流量占比,根据高峰流量占比与低峰流量占比确定流量管控策略时,如图4所示,第一确定模块33,具体可包括:第一判断单元331、第二判断单元332、制定单元333;
第一判断单元331,可用于在专线高峰流量时间段,根据目的IP判断各个系统级别对应的应用请求流量使用量,将同一系统级别对应的应用请求流量使用量的加和占专线带宽流量的百分比确定为各个系统级别对应的高峰流量占比;
第二判断单元332,可用于在专线低峰流量时间段,根据目的IP判断各个系统级别对应的应用请求流量使用量,将同一系统级别对应的应用请求流量使用量的加和占专线带宽流量的百分比确定为各个系统级别对应的低峰流量占比;
制定单元333,可用于根据高峰流量占比、低峰流量占比以及专线带宽流量的使用率制定重新分配高峰流量占比与低峰流量占比的流量管控策略。
在具体的应用场景中,第一管控模块34,具体可用于监测外部应用的流量请求,切断与流量管控策略不符合的流量请求。
在具体的应用场景中,特征数据库中的特征包括:应用请求耗时、应用请求成功率、应用请求流量使用量。相应的,该装置还包括:第二确定模块35、第二管控模块36;
第二确定模块35,可用于根据应用请求耗时、应用请求成功率、应用请求流量使用量中的至少一种确定异常流量;确定与异常流量对应的异常流量预警策略;
第二管控模块36,可用于根据异常流量预警策略管控专线流量。
在具体的应用场景中,为了在监测内部应用的负载流量异常时,降低内网应用压力,如图4所示,该装置还包括:第三管控模块37;
第三管控模块37,可用于监测内部应用的负载流量,当判断负载流量异常时,按照预设流量管控策略管控专线流量。
需要说明的是,本实施例提供的一种基于机器学习的专线流量管控装置所涉及各功能单元的其他相应描述,可以参考图1至图2的对应描述,在此不再赘述。
基于上述如图1至图2所示方法,相应的,本实施例还提供了一种存储介质,存储介质具体可为易失性或非易失性,其上存储有计算机可读指令,该可读指令被处理器执行时实现上述如图1至图2所示的基于机器学习的专线流量管控方法。
基于这样的理解,本申请的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个存储介质(可以是CD-ROM,U盘,移动硬盘等)中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施场景的方法。
基于上述如图1至图2所示的方法和图3、图4所示的虚拟装置实施例,为了实现上述目的,本实施例还提供了一种计算机设备,该计算机设备包括存储介质和处理器;存储介质,用于存储计算机程序;处理器,用于执行计算机程序以实现上述如图1至图2所示的基于机器学习的专线流量管控方法。
可选的,该计算机设备还可以包括用户接口、网络接口、摄像头、射频(RadioFrequency,RF)电路,传感器、音频电路、WI-FI模块等等。用户接口可以包括显示屏(Display)、输入单元比如键盘(Keyboard)等,可选用户接口还可以包括USB接口、读卡器接口等。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI接口)等。
本领域技术人员可以理解,本实施例提供的一种计算机设备结构并不构成对该实体设备的限定,可以包括更多或更少的部件,或者组合某些部件,或者不同的部件布置。
存储介质中还可以包括操作系统、网络通信模块。操作系统是管理上述计算机设备硬件和软件资源的程序,支持信息处理程序以及其它软件和/或程序的运行。网络通信模块用于实现存储介质内部各组件之间的通信,以及与信息处理实体设备中其它硬件和软件之间通信。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本申请可以借助软件加必要的通用硬件平台的方式来实现,也可以通过硬件实现。
通过应用本申请的技术方案,与目前现有技术相比,本申请公开了一种基于机器学习的专线流量管控方法、装置及计算机设备,可首先获取历史专线数据,并对历史专线数据进行特征提取,依据提取出的特征构建特征数据库;然后基于机器学习与特征数据库,预测专线高峰流量时间段与专线低峰流量时间段;进一步的,确定在专线高峰流量时间段各个系统级别对应的高峰流量占比以及在专线低峰流量时间段各个系统级别对应的低峰流量占比,根据高峰流量占比与低峰流量占比确定流量管控策略;最后根据流量管控策略管控专线流量。通过本申请中的技术方案,能够通过机器学习预测专线高峰流量时间段与专线低峰流量时间段,根据专线高峰流量时间段与专线低峰流量时间段制定流量管理策略,既保证核心系统的稳定运行,又为专线流量的调配提供准确的依据,优化专线流量结构,提高专线的使用效率,降低专线运行成本。
本领域技术人员可以理解附图只是一个优选实施场景的示意图,附图中的模块或流程并不一定是实施本申请所必须的。本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中,也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块,也可以进一步拆分成多个子模块。
上述本申请序号仅仅为了描述,不代表实施场景的优劣。以上公开的仅为本申请的几个具体实施场景,但是,本申请并非局限于此,任何本领域的技术人员能思之的变化都应落入本申请的保护范围。

Claims (10)

1.一种基于机器学习的专线流量管控方法,其特征在于,包括:
获取历史专线数据,并对所述历史专线数据进行特征提取,依据提取出的特征构建特征数据库;
基于机器学习与所述特征数据库,预测专线高峰流量时间段与专线低峰流量时间段;
确定在所述专线高峰流量时间段各个系统级别对应的高峰流量占比以及在所述专线低峰流量时间段所述各个系统级别对应的低峰流量占比,根据所述高峰流量占比与所述低峰流量占比确定流量管控策略,所述根据所述高峰流量占比与所述低峰流量占比确定流量管控策略,包括:在所述专线高峰流量时间段内,且专线带宽使用率达到预设使用量时,根据所述系统级别从低到高依次中断每个所述系统级别对应的全部流量请求,直到剩余未中断的所述高峰流量占比低于第一预设中断阈值,在所述专线低峰流量时间段内,且所述专线带宽使用率未达到所述预设使用量时,恢复所述专线高峰流量时间段内被中断的流量请求,在所述专线低峰流量时间段内,所述专线带宽使用率达到所述预设使用量时,计算每个所述系统级别的所述低峰流量占比与所述系统级别的预设最低流量占比的差值,根据所述系统级别从低到高依次中断每个所述系统级别对应所述差值的流量请求,直到剩余未中断的所述低峰流量占比低于第二预设中断阈值;
根据所述流量管控策略管控专线流量。
2.根据权利要求1所述的方法,其特征在于,所述基于机器学习与所述特征数据库,预测专线高峰流量时间段与专线低峰流量时间段,包括:
利用所述特征数据库训练初始时间序列模型,得到训练完成的目标时间序列模型;
在所述特征数据库中提取应用请求流量使用量,将所述应用请求流量使用量输入所述目标时间序列模型,获取专线流量走势;
将所述专线流量走势上高于预设高峰阈值的时间段确定为专线高峰流量时间段,将所述专线流量走势上低于预设低峰阈值的时间段确定为专线低峰流量时间段。
3.根据权利要求2所述的方法,其特征在于,所述利用所述特征数据库训练初始时间序列模型,得到训练完成的目标时间序列模型,包括:
根据预设比例,将所述特征数据库分为训练集与测试集;
利用所述训练集训练初始时间序列模型,并计算所述初始时间序列模型的损失值;
在判断所述损失值满足预设损失值阈值时,将所述测试集输入所述初始时间序列模型,获取预测值,并判断所述预测值与所述测试集中实际值的差值是否在预设阈值范围内,若是,则将所述初始时间序列模型确定为目标时间序列模型,若否,则调整所述初始时间序列模型的参数,直至所述预测值与所述实际值的差值在所述预设阈值范围内,将所述初始时间序列模型确定为目标时间序列模型。
4.根据权利要求1所述的方法,其特征在于,所述特征数据库中的特征包括:目的IP、应用请求流量使用量;
所述确定在所述专线高峰流量时间段各个系统级别对应的高峰流量占比以及在所述专线低峰流量时间段所述各个系统级别对应的低峰流量占比,根据所述高峰流量占比与所述低峰流量占比确定流量管控策略,包括:
在所述专线高峰流量时间段,根据所述目的IP判断各个系统级别对应的所述应用请求流量使用量,将同一系统级别对应的所述应用请求流量使用量的加和占专线带宽流量的百分比确定为各个系统级别对应的高峰流量占比;
在所述专线低峰流量时间段,根据所述目的IP判断所述各个系统级别对应的所述应用请求流量使用量,将同一系统级别对应的所述应用请求流量使用量的加和占专线带宽流量的百分比确定为各个系统级别对应的低峰流量占比;
根据所述高峰流量占比、所述低峰流量占比以及所述专线带宽流量的使用率制定重新分配所述高峰流量占比与所述低峰流量占比的流量管控策略。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
监测外部应用的流量请求,切断与所述流量管控策略不符合的流量请求。
6.根据权利要求1所述的方法,其特征在于,所述特征数据库中的特征包括:应用请求耗时、应用请求成功率、应用请求流量使用量,所述方法还包括:
根据所述应用请求耗时、所述应用请求成功率、所述应用请求流量使用量中的至少一种确定异常流量;
确定与所述异常流量对应的异常流量预警策略,并根据所述异常流量预警策略管控专线流量。
7.根据权利要求1或6所述的方法,其特征在于,所述方法还包括:
监测内部应用的负载流量,当判断所述负载流量异常时,按照预设流量管控策略管控专线流量。
8.一种基于机器学习的专线流量管控装置,其特征在于,包括:
获取模块,用于获取历史专线数据,并对所述历史专线数据进行特征提取,依据提取出的特征构建特征数据库;
预测模块,用于基于机器学习与所述特征数据库,预测专线高峰流量时间段与专线低峰流量时间段;
第一确定模块,用于确定在所述专线高峰流量时间段各个系统级别对应的高峰流量占比以及在所述专线低峰流量时间段所述各个系统级别对应的低峰流量占比,根据所述高峰流量占比与所述低峰流量占比确定流量管控策略,所述根据所述高峰流量占比与所述低峰流量占比确定流量管控策略,包括:在所述专线高峰流量时间段内,且专线带宽使用率达到预设使用量时,根据所述系统级别从低到高依次中断每个所述系统级别对应的全部流量请求,直到剩余未中断的所述高峰流量占比低于第一预设中断阈值,在所述专线低峰流量时间段内,且所述专线带宽使用率未达到所述预设使用量时,恢复所述专线高峰流量时间段内被中断的流量请求,在所述专线低峰流量时间段内,所述专线带宽使用率达到所述预设使用量时,计算每个所述系统级别的所述低峰流量占比与所述系统级别的预设最低流量占比的差值,根据所述系统级别从低到高依次中断每个所述系统级别对应所述差值的流量请求,直到剩余未中断的所述低峰流量占比低于第二预设中断阈值;
第一管控模块,用于根据所述流量管控策略管控专线流量。
9.一种存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的基于机器学习的专线流量管控方法。
10.一种计算机设备,包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1至7中任一项所述的基于机器学习的专线流量管控方法。
CN202210573804.5A 2022-05-25 2022-05-25 基于机器学习的专线流量管控方法、装置及计算机设备 Active CN115002042B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210573804.5A CN115002042B (zh) 2022-05-25 2022-05-25 基于机器学习的专线流量管控方法、装置及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210573804.5A CN115002042B (zh) 2022-05-25 2022-05-25 基于机器学习的专线流量管控方法、装置及计算机设备

Publications (2)

Publication Number Publication Date
CN115002042A CN115002042A (zh) 2022-09-02
CN115002042B true CN115002042B (zh) 2023-06-20

Family

ID=83030309

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210573804.5A Active CN115002042B (zh) 2022-05-25 2022-05-25 基于机器学习的专线流量管控方法、装置及计算机设备

Country Status (1)

Country Link
CN (1) CN115002042B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112134811A (zh) * 2020-09-30 2020-12-25 安徽极玩云科技有限公司 一种cdn云平台流量调度方法
CN113986564A (zh) * 2021-09-22 2022-01-28 鸬鹚科技(深圳)有限公司 应用数据的流量监控方法、装置、计算机设备及介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109935338A (zh) * 2019-03-07 2019-06-25 平安科技(深圳)有限公司 基于机器学习的数据预测处理方法、装置和计算机设备
CN112073255B (zh) * 2020-03-25 2021-07-20 长扬科技(北京)有限公司 基于深度学习的工控网络流量预测方法、装置
CN113825152A (zh) * 2020-06-18 2021-12-21 中兴通讯股份有限公司 容量控制方法、网管设备、管理编排设备、系统及介质
CN116114230A (zh) * 2020-09-29 2023-05-12 华为技术有限公司 一种网络闭环控制方法及相关装置
CN113645077B (zh) * 2021-08-13 2022-11-29 中国工商银行股份有限公司 一种多专线非对称带宽规划方法、装置、设备及介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112134811A (zh) * 2020-09-30 2020-12-25 安徽极玩云科技有限公司 一种cdn云平台流量调度方法
CN113986564A (zh) * 2021-09-22 2022-01-28 鸬鹚科技(深圳)有限公司 应用数据的流量监控方法、装置、计算机设备及介质

Also Published As

Publication number Publication date
CN115002042A (zh) 2022-09-02

Similar Documents

Publication Publication Date Title
CN110505196B (zh) 物联网卡异常检测方法及装置
WO2019085405A1 (zh) 客服会话分配方法、电子装置及计算机可读存储介质
CN107333292B (zh) 一种sim卡状态判断方法及装置
CN109787915B (zh) 网络访问的流量控制方法、装置、电子设备及存储介质
CN112764920B (zh) 一种边缘应用部署方法、装置、设备和存储介质
CN113923609B (zh) 基于多个短信通道的短信分发方法、装置以及电子设备
CN110445939B (zh) 容量资源的预测方法及装置
CN111260382A (zh) 一种流失概率的预测处理方法及装置
US11310125B2 (en) AI-enabled adaptive TCA thresholding for SLA assurance
CN115543577A (zh) 基于协变量的Kubernetes资源调度优化方法、存储介质及设备
US20150142872A1 (en) Method of operating a server apparatus for delivering website content, server apparatus and device in communication with server apparatus
CN114595970A (zh) 资源调度智能决策方法、装置、电子设备及存储介质
CN115002042B (zh) 基于机器学习的专线流量管控方法、装置及计算机设备
CN110070392B (zh) 用户流失预警方法和装置
CN116546028A (zh) 服务请求的处理方法、装置、存储介质及电子设备
CN114462506B (zh) 一种支持偏好策略的通信网络辅助规划方法及其应用
CN113891325A (zh) 基于多接入边缘计算的网络切换方法和系统
CN111158899A (zh) 一种数据的采集方法、采集器、任务管理中心以及系统
CN115082911A (zh) 一种视频分析方法、装置及视频处理设备
CN113850390A (zh) 联邦学习系统中共享数据的方法、装置、设备及介质
WO2024093219A1 (zh) 业务路径的优化方法、装置及存储介质
CN116704448B (zh) 多摄像头的行人识别方法及识别系统
CN111815442B (zh) 一种链接预测的方法、装置和电子设备
CN115276762B (zh) 卫星网络的连接方法、系统、电子设备及存储介质
CN115037625B (zh) 网络切片处理方法、装置、电子设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant