CN112367276B - 基于网络流量优先级的网络资源动态自适应方法及系统 - Google Patents
基于网络流量优先级的网络资源动态自适应方法及系统 Download PDFInfo
- Publication number
- CN112367276B CN112367276B CN202011611312.8A CN202011611312A CN112367276B CN 112367276 B CN112367276 B CN 112367276B CN 202011611312 A CN202011611312 A CN 202011611312A CN 112367276 B CN112367276 B CN 112367276B
- Authority
- CN
- China
- Prior art keywords
- priority
- flow
- destination
- total
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 13
- 238000004590 computer program Methods 0.000 claims description 14
- 238000007781 pre-processing Methods 0.000 claims description 13
- 238000011144 upstream manufacturing Methods 0.000 claims description 12
- 230000002159 abnormal effect Effects 0.000 claims description 9
- 238000007619 statistical method Methods 0.000 claims description 7
- 230000000737 periodic effect Effects 0.000 claims description 6
- 230000006978 adaptation Effects 0.000 claims description 4
- 230000001276 controlling effect Effects 0.000 claims description 3
- 230000003203 everyday effect Effects 0.000 claims description 3
- 230000001105 regulatory effect Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/70—Admission control; Resource allocation
- H04L47/80—Actions related to the user profile or the type of traffic
- H04L47/805—QOS or priority aware
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/70—Admission control; Resource allocation
- H04L47/83—Admission control; Resource allocation based on usage prediction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/70—Admission control; Resource allocation
- H04L47/78—Architectures of resource allocation
- H04L47/781—Centralised allocation of resources
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Strategic Management (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Physics (AREA)
- Operations Research (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Human Resources & Organizations (AREA)
- Computational Mathematics (AREA)
- Economics (AREA)
- Quality & Reliability (AREA)
- General Business, Economics & Management (AREA)
- Game Theory and Decision Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Development Economics (AREA)
- Evolutionary Biology (AREA)
- Entrepreneurship & Innovation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Tourism & Hospitality (AREA)
- Algebra (AREA)
- Marketing (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明的目的在于提供基于网络流量优先级的网络资源动态自适应方法及系统，通过采集办公网流量数据，利用时序预测算法预测未来一段时间内的下行总流量，同时根据目的IP历史上行流量、下行流量、数据包、源IP数在工作日工作时间和休息时间的差异性，计算目的IP的优先级，建立目的IP优先级库。结合预测到的下行总流量和目的IP优先级，制定动态带宽调整策略，确保高优先级目的IP的带宽使用，保障办公工作在带宽有限的情况下能够顺利、高效的开展，同时也能够有效降低企业办公成本。
Description
技术领域
本发明涉及网络流量控制技术领域，尤其涉及基于网络流量优先级的网络资源动态自适应方法及系统。
背景技术
传统企业单位的办公网组网结构通常采用二层交换机做接入，二层交换机的每个端口对应到员工的办公工位，流量从二层交换机流入到三层交换机做汇聚，然后通过运营商提供的ISP出口连上互联网。考虑到办公网的信息安全，一般还会在网络出口处增加防火墙。
该组网方案对流量的控制不够精细，由于出口带宽固定，随着办公人数的增加网络拥塞的概率将会提高，当带宽被占满时剩余的流量将会排队等待带宽空闲。虽然采用带宽扩容的方法可以解决这个问题，但是这将增加企业办公成本。办公网流量有优先级之分，重要业务流量和重要视频会议流量等应该优先保障，而与办公无关的流量应该降低带宽使用优先级，这样能在带宽有限的情况下保障办公工作的正常运行，同时有效降低了企业办公成本。
为提高办公网络资源的有效利用,降低企业成本，通常企业会采取以下两种方式对网络资源进行优化：
（1）通过设置访问黑名单限制访问和工作不相关的服务，该方案的缺点是不同的单位需要根据自己的工作特性筛选黑名单，当因特殊情况需要访问黑名单中的目的IP对应的服务时，需要将该目的IP从黑名单中删除从而导致工作效率降低；
（2）限制不同的办公区域的带宽上限，该方法的缺点是当办公网络整体流量较低而部分部门或工位突发访问量时，带宽得不到有效的利用。
发明内容
有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供基于网络流量优先级的网络资源动态自适应方法及系统，确保高优先级目的IP的带宽使用，保障办公工作在带宽有限的情况下能够顺利、高效的开展，同时也能够有效降低企业办公成本。
为实现上述目的，本发明提供了基于网络流量优先级的网络资源动态自适应方法，其特征在于，包括：
S1：在办公网出口网络设备上镜像内网流量到一个固定端口，然后通过外接物理机进行办公网络流量数据采集；
S2：对步骤S1采集到的流量数据进行预处理，去除目的IP为私网地址的流量数据，并按分钟统计下行流量的总流量，形成下行流量时序数据；
S3：对流量数据进行统计分析，计算目的IP优先级，生成目的IP优先级库；
S4：对步骤S2预处理后的下行流量时序数据，利用时序预测算法，建立时序预测模型，预测未来30分钟的下行总流量；
S5：结合步骤S3生成的目的IP优先级库与步骤S4的下行总流量预测值，生成动态带宽调整策略；
S6：依据分析得到的动态带宽调整策略，对办公网络资源动态自适应调整。
进一步的，所述流量数据的字段至少包括：数据包长度、协议类型、服务类型、源IP地址、目的IP地址、源MAC地址、目的MAC地址、源端口、目的端口、访问URL。
进一步的，所述步骤S3对流量数据进行统计分析，计算目的IP优先级，生成目的IP优先级库，具体为：
S3-1：基于预处理后的近3个月内工作日办公出勤时间流量数据，对每个目的IP在每半个小时统计一次上行流量ut、下行流量dt、数据包数p、源IP数s，以及对应时间段上行总流量all_ut、下行总流量all_dt、数据包总数all_p、源IP总数all_s；
那么目的IP在每半个小时上行流量占相应时间段上行总流量比例的统计结果为
，数据包数占相应时间段数据包总数比例的统计结果为
，源IP数占相应时间段源IP总数比例的统计结果为
其中n为近3个月工作日办公出勤时间流量数据按半小时统计可以得到的统计值个数； LIST.UT、LIST.DT、LIST.P、LIST.S四组数据进行拆分，得到LIST.UT.w、LIST.UT.r、LIST.DT.w、LIST.DT.r、LIST.P.w、LIST.P.r、LIST.S.w、LIST.S.r，其中.w表示工作时间段，.r表示休息时间段
S3-2：设定工作日的工作时间段与午间休息时间段，按时间段不同对上述统计到的LIST.UT、LIST.DT、LIST.P、LIST.S四组数据进行拆分，得到LIST.UT.w、LIST.UT.r、LIST.DT.w、LIST.DT.r、LIST.P.w、LIST.P.r、LIST.S.w、LIST.S.r，其中.w表示工作时间段，.r表示休息时间段；
S3-3：对步骤S3-2得到的8个分组数据，分别计算平均值与方差，然后将不在[均值-3*方差,均值+3*方差]区间段内的统计值作为异常值剔除；
S3-4：取剔除异常值后8个分组数据的均值作为最终的统计值，可得到如下数据：
（1）工作时段每个目的IP的统计值包括：目的IP上行流量与上行总流量的比例
、目的IP下行流量占下行总流量的比例
、目的IP数据包数占总数据包数的比例
、目的
IP对应的源IP数与源IP总数的比例
；
（2）休息时段每个目的IP的统计值包括：目的IP上行流量与上行总流量的比例
、目的IP下行流量占下行总流量的比例
、目的IP数据包数占总数据包数的比例
、目的IP
对应的源IP数与源IP总数的比例
；
S3-5：根据步骤S3-4流量数据各项特征值计算每个目的IP优先级：
如果目的IP只在工作时间段出现，那么对应优先级值为1；如果目的IP在工作时间段和休息时间段同时出现，那么对应优先级值为(0,1)之间；如果目的IP只在休息时间段出现，那么对应优先级值为0；计算得到的优先级值越大，优先级越高；
S3-6：根据步骤S3-5所得目的IP优先级值生成目的IP优先级库；每天定时重复步骤S3-1至S3-5，计算目的IP优先级并更新至目的IP优先级库。
进一步的，所述步骤S4对步骤S2预处理后的下行流量时序数据，利用时序预测算法，建立时序预测模型，预测未来30分钟的下行总流量，具体为：对下行流量时序数据，利用prophet算法建模并预测未来30分钟的下行总流量，每30分钟执行一次，prophet模型整体结构如下：
整个模型由g（growth）、s（seasonality）、h（holidays）三个部分组成，其中g代表
整体增长趋势，主要用来拟合时序预测中的非周期性变化；s代表周期性变化趋势，包括按
天、周、年呈周期性变化；h代表非固定的假期对模型预测结果的影响；此外，
代表模型无
法预测到的异常波动。
进一步的，所述步骤S5结合步骤S3生成的目的IP优先级库与步骤S4的下行总流量预测值，生成动态带宽调整策略，具体为：
如果预测的下行总流量上限不超过带宽，则放开所有流量，不对任何目的IP进行限速；
如果预测的下行总流量上限超过带宽，则通过目的IP优先级库查询当前访问的所有目的IP的优先级，并根据优先级值进行降序排列，然后取前10%作为高优先级目的IP，10%-70%之间为中优先级，其它为低优先级；
对于高优先级目的IP直接放行；中优先级目的IP放入发送队列按顺序发送，如果队列已满则等待；低优先级目的IP排在中优先级目的IP之后加入队列，如果队列已满，则直接丢弃。
进一步的，所述步骤S6通过配置网络设备QOS策略的方式对办公网络资源动态自适应调整。
本发明还提供基于网络流量优先级的网络资源动态自适应系统，包括：流量采集模块、数据预处理模块、目的IP优先级库生成模块、下行总流量预测模块、动态带宽调整策略生成模块和策略执行模块，其中：
流量采集模块，用于在办公网出口网络设备上镜像内网流量到一个固定端口，然后通过外接物理机进行办公网络流量数据采集；
数据预处理模块，用于对采集到的原始流量数据进行预处理，去除目的IP为私网地址的流量数据，按分钟统计下行流量的总流量，形成下行流量时序数据；
目的IP优先级库生成模块，用于对流量数据进行统计分析，计算目的IP优先级，生成目的IP优先级库；
下行总流量预测模块，用于对预处理后的下行流量时序数据，利用时序预测算法，建立时序预测模型，预测未来30分钟的下行总流量；
动态带宽调整策略生成模块，用于结合下行总流量的预测结果与目的IP优先级库，制定动态带宽调整策略；
策略执行模块，用于依据分析得到的动态带宽调整策略对办公网络资源进行调控。
本发明还提供一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述基于网络流量优先级的网络资源动态自适应方法的步骤。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述基于网络流量优先级的网络资源动态自适应方法的步骤。
本发明的有益效果是：
本发明提供了基于网络流量优先级的网络资源动态自适应方法及系统，通过统计近期办公网访问的目的IP各项特征（如上行流量、下行流量、数据包、源IP数等）在工作日工作时间段和休息时间段的差异性，计算目的IP的优先级，根据优先级值的大小，可以准确分辨出每个目的IP的重要性,再结合预测的办公网下行总流量，对网络资源进行动态调控，确保高优先级目的IP有充足带宽，保障企业重要工作任务在带宽有限的情况下进展顺利，同时也有效降低了企业办公成本。
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
附图说明
图1本发明基于网络流量优先级计算的办公网络资源动态自适应方法的主要功能模块示意图。
图2本发明基于网络流量优先级计算的办公网络资源动态自适应方法中目的IP优先级库生成的详细流程示意图。
图3是本发明一实施例提供的终端设备的示意图。
具体实施方式
实施例1
如图1所示，本发明提供基于网络流量优先级的网络资源动态自适应方法，主要流程如下：
S1：在办公网出口网络设备上镜像内网流量到一个固定端口，然后通过外接物理机进行流量采集。物理机采用Linux系统，使用Tcpdump配合NetMate软件采集数据，设置采集数据所需要的特征，流量数据的主要字段包括：数据包长度、协议类型、服务类型、源IP地址、目的IP地址、源MAC地址、目的MAC地址、源端口、目的端口、访问URL等，采集到的流量数据累计不少于3个月；
S2：对步骤S1采集到的流量数据进行预处理，去除目的IP为私网地址的流量数据，并按分钟统计下行流量的总流量，形成下行流量时序数据；
S3: 对流量数据进行统计分析，计算目的IP的优先级，生成目的IP优先级库，其详细步骤如下，如图2所示，：
S3-1：基于预处理后的近3个月内工作日办公出勤时间流量数据，对每个目的IP在
每半个小时统计一次上行流量ut、下行流量dt、数据包数p、源IP数s，以及对应时间段上行
总流量all_ut、下行总流量all_dt、数据包总数all_p、源IP总数all_s；那么目的IP在每半
个小时上行流量占相应时间段上行总流量比例的统计结果为
，下行流量
占相应时间段下行总流量比例的统计结果为
，数据包数
占相应时间段数据包总数比例的统计结果为
，源IP数占相应时间段
源IP总数比例的统计结果为
（其中n为近3个月工作
日办公出勤时间流量数据按半小时统计可以得到的统计值个数）；S3-2：设定工作日的工作
时间段与午间休息时间段，按时间段不同对上述统计到的LIST.UT、LIST.DT、LIST.P、
LIST.S四组数据进行拆分，得到LIST.UT.w、LIST.UT.r、LIST.DT.w、LIST.DT.r、LIST.P.w、
LIST.P.r、LIST.S.w、LIST.S.r（.w表示工作时间段，.r表示休息时间段）；
S3-3：对步骤S3-2得到的8个分组数据，分别计算平均值与方差，然后将不在[均值-3*方差,均值+3*方差]区间段内的统计值作为异常值剔除；
（1） S3-4：取剔除异常值后8个分组数据的均值作为最终的统计值，可得到如下数
据：工作时段每个目的IP的统计值包括：目的IP上行流量与上行总流量的比例
、目的IP
下行流量占下行总流量的比例
、目的IP数据包数占总数据包数的比例
、目的IP对应的
源IP数与源IP总数的比例
；
（2） 休息时段每个目的IP的统计值包括：目的IP上行流量与上行总流量的比例
、目的IP下行流量占下行总流量的比例
、目的IP数据包数占总数据包数的比例
、目
的IP对应的源IP数与源IP总数的比例
；
S3-5：根据步骤S3-4流量数据各项特征值计算每个目的IP优先级：
如果目的IP只在工作时间段出现，那么对应优先级值为1；如果目的IP在工作时间段和休息时间段同时出现，那么对应优先级值为(0,1)之间；如果目的IP只在休息时间段出现，那么对应优先级值为0；计算得到的优先级值越大，优先级越高；
S3-6：根据步骤S3-5所得目的IP优先级值生成目的IP优先级库；每天定时重复步骤S3-1至S3-5，计算目的IP优先级并更新至目的IP优先级库；
S4：对步骤S2-2统计得到的下行流量时序数据，利用prophet算法建模并预测未来30分钟的下行总流量（每30分钟执行一次），prophet模型整体结构如下：
整个模型由g（growth）、s（seasonality）、h（holidays）三个部分组成，其中g代表
整体增长趋势，主要用来拟合时序预测中的非周期性变化；s代表周期性变化趋势，例如按
天、周、年呈周期性变化；h代表非固定的假期对模型预测结果的影响。此外，
代表模型无
法预测到的异常波动；
S5：结合步骤S3目的IP优先级库与步骤S4的下行总流量预测值，生成动态带宽调整策略：
（1） 如果预测的下行总流量上限不超过带宽，则放开所有流量，不对任何目的IP进行限速；
（2） 如果预测的下行总流量上限超过带宽，则通过目的IP优先级库查询当前访问的所有目的IP的优先级，并根据优先级值进行降序排列，然后取前10%作为高优先级目的IP，10%-70%之间为中优先级，其它为低优先级。对于高优先级目的IP直接放行；中优先级目的IP放入发送队列按顺序发送，如果队列已满则等待；低优先级目的IP排在中优先级目的IP之后加入队列，如果队列已满，则直接丢弃；
S6：将步骤S5得到的策略，通过配置网络设备QOS策略的方式执行，从而达到对办公网络资源动态自适应调整的目的。
实施例2
本发明还提出的基于网络流量优先级的网络资源动态自适应系统，其核心模块包括：流量采集模块、数据预处理模块、目的IP优先级库生成模块、下行总流量预测模块、动态带宽调整策略生成模块和策略执行模块。
流量采集模块：在办公网出口网络设备上镜像内网流量到一个固定端口，然后通过外接物理机进行办公网流量数据采集；
数据预处理模块：对采集到的原始流量数据进行预处理，去除目的IP为私网地址的流量数据，按分钟统计下行流量的总流量，形成下行流量时序数据；
目的IP优先级库生成模块：根据流量数据各项特征的统计值，计算目的IP优先级，生成目的IP优先级库；
下行总流量预测模块：对预处理后的下行流量时序数据，利用时序预测算法，建立时序预测模型，预测未来30分钟的下行总流量；
动态带宽调整策略生成模块：结合下行总流量的预测结果与目的IP优先级库，制定动态带宽调整策略；
策略执行模块：依据分析得到的动态带宽调整策略对办公网络资源进行调控。
图3是本发明实施例提供的终端设备的示意图。如图3所示，该实施例的终端设备6包括：处理器60、存储器61以及存储在所述存储器61中并可在所述处理器60上运行的计算机程序62，例如基于网络流量优先级的网络资源动态自适应程序。所述处理器60执行所述计算机程序62时实现上述基于网络流量优先级的网络资源动态自适应方法实施例中的步骤，例如图1所示的步骤。或者，所述处理器60执行所述计算机程序62时实现上述各装置实施例中各模块/单元的功能，例如图2所示模块的功能。
示例性的，所述计算机程序62可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器61中，并由所述处理器60执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序62在所述终端设备6中的执行过程。例如，所述计算机程序62可以被分割成流量采集模块、数据预处理模块、目的IP优先级库生成模块、下行总流量预测模块、动态带宽调整策略生成模块和策略执行模块。
所述终端设备6可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括但不仅限于，处理器60、存储器61。本领域技术人员可以理解，图3仅仅是终端设备6的示例，并不构成对终端设备6的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所述处理器60可以是中央处理单元(Central Processing Unit，CPU)，还可以是其它通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器61可以是所述终端设备6的内部存储单元，例如终端设备6的硬盘或内存。所述存储器61也可以是所述终端设备6的外部存储设备，例如所述终端设备6上配备的插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）等。进一步地，所述存储器61还可以既包括所述终端设备6的内部存储单元也包括外部存储设备。所述存储器61用于存储所述计算机程序以及所述终端设备所需的其它程序和数据。所述存储器61还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。
Claims (6)
1.基于网络流量优先级的网络资源动态自适应方法，其特征在于，包括：
S1：在办公网出口网络设备上镜像内网流量到一个固定端口，然后通过外接物理机进行办公网络流量数据采集；
S2：对步骤S1采集到的流量数据进行预处理，去除目的IP为私网地址的流量数据，并按分钟统计下行流量的总流量，形成下行流量时序数据；
S3：对流量数据进行统计分析，计算目的IP优先级，生成目的IP优先级库；
S4：对步骤S2预处理后的下行流量时序数据，利用时序预测算法，建立时序预测模型，预测未来30分钟的下行总流量；
S5：结合步骤S3生成的目的IP优先级库与步骤S4的下行总流量预测值，生成动态带宽调整策略；
S6：依据分析得到的动态带宽调整策略，对办公网络资源动态自适应调整；
所述步骤S3对流量数据进行统计分析，计算目的IP优先级，生成目的IP优先级库，具体为：
S3-1：基于预处理后的近3个月内工作日办公出勤时间流量数据，对每个目的IP在每半个小时统计一次上行流量ut、下行流量dt、数据包数p、源IP数s，以及对应时间段上行总流量all_ut、下行总流量all_dt、数据包总数all_p、源IP总数all_s；
那么目的IP在每半个小时上行流量占相应时间段上行总流量比例的统计结果为
，下行流量占相应时间段下行总流量比例的统计结果为
，数据包数占相应时间段数据包总数比例的统计结果为
，源IP数占相应时间段源IP总数比例的统计结果为
，其中n为近3个月工作日办公出勤时间流量数据按半小时统计可以得到的统计值个数；
S3-2：设定工作日的工作时间段与午间休息时间段，按时间段不同对上述统计到的LIST.UT、LIST.DT、LIST.P、LIST.S四组数据进行拆分，得到LIST.UT.w、LIST.UT.r、LIST.DT.w、LIST.DT.r、LIST.P.w、LIST.P.r、LIST.S.w、LIST.S.r，其中.w表示工作时间段，.r表示休息时间段；
S3-3：对步骤S3-2得到的8个分组数据，分别计算平均值与方差，然后将不在[均值-3*方差,均值+3*方差]区间段内的统计值作为异常值剔除；
S3-4：取剔除异常值后8个分组数据的均值作为最终的统计值，可得到如下数据：
工作时段每个目的IP的统计值包括：目的IP上行流量与上行总流量的比例
、目的IP下行流量占下行总流量的比例
、目的IP数据包数占总数据包数的比例
、目的IP对应的源IP数与源IP总数的比例
；
休息时段每个目的IP的统计值包括：目的IP上行流量与上行总流量的比例
、目的IP下行流量占下行总流量的比例
、目的IP数据包数占总数据包数的比例
、目的IP对应的源IP数与源IP总数的比例
；
S3-5：根据步骤S3-4流量数据各项特征值计算每个目的IP优先级：
如果目的IP只在工作时间段出现，那么对应优先级值为1；如果目的IP在工作时间段和休息时间段同时出现，那么对应优先级值为(0,1)之间；如果目的IP只在休息时间段出现，那么对应优先级值为0；计算得到的优先级值越大，优先级越高；
S3-6：根据步骤S3-5所得目的IP优先级值生成目的IP优先级库；每天定时重复步骤S3-1至S3-5，计算目的IP优先级并更新至目的IP优先级库；
所述步骤S4对步骤S2预处理后的下行流量时序数据，利用时序预测算法，建立时序预测模型，预测未来30分钟的下行总流量，具体为：对下行流量时序数据，利用prophet算法建模并预测未来30分钟的下行总流量，每30分钟执行一次，prophet模型整体结构如下：
整个模型由g（growth）、s（seasonality）、h（holidays）三个部分组成，其中g代表整体增长趋势，主要用来拟合时序预测中的非周期性变化；s代表周期性变化趋势，包括按天、周、年呈周期性变化；h代表非固定的假期对模型预测结果的影响；此外，
代表模型无法预测到的异常波动；
所述步骤S5结合步骤S3生成的目的IP优先级库与步骤S4的下行总流量预测值，生成动态带宽调整策略，具体为：
如果预测的下行总流量上限不超过带宽，则放开所有流量，不对任何目的IP进行限速；
如果预测的下行总流量上限超过带宽，则通过目的IP优先级库查询当前访问的所有目的IP的优先级，并根据优先级值进行降序排列，然后取前10%作为高优先级目的IP，10%-70%之间为中优先级，其它为低优先级；
对于高优先级目的IP直接放行；中优先级目的IP放入发送队列按顺序发送，如果队列已满则等待；低优先级目的IP排在中优先级目的IP之后加入队列，如果队列已满，则直接丢弃。
2.如权利要求1所述的基于网络流量优先级的网络资源动态自适应方法，其特征在于：所述流量数据的字段至少包括：数据包长度、协议类型、服务类型、源IP地址、目的IP地址、源MAC地址、目的MAC地址、源端口、目的端口、访问URL。
3.如权利要求1所述的基于网络流量优先级的网络资源动态自适应方法，其特征在于，所述步骤S6通过配置网络设备QOS策略的方式对办公网络资源动态自适应调整。
4.根据权利要求1所述基于网络流量优先级的网络资源动态自适应方法的网络资源动态自适应系统，其特征在于，包括：流量采集模块、数据预处理模块、目的IP优先级库生成模块、下行总流量预测模块、动态带宽调整策略生成模块和策略执行模块，其中：
流量采集模块，用于在办公网出口网络设备上镜像内网流量到一个固定端口，然后通过外接物理机进行办公网络流量数据采集；
数据预处理模块，用于对采集到的原始流量数据进行预处理，去除目的IP为私网地址的流量数据，按分钟统计下行流量的总流量，形成下行流量时序数据；
目的IP优先级库生成模块，用于对流量数据进行统计分析，计算目的IP优先级，生成目的IP优先级库；
下行总流量预测模块，用于对预处理后的下行流量时序数据，利用时序预测算法，建立时序预测模型，预测未来30分钟的下行总流量；
动态带宽调整策略生成模块，用于结合下行总流量的预测结果与目的IP优先级库，制定动态带宽调整策略；
策略执行模块，用于依据分析得到的动态带宽调整策略对办公网络资源进行调控。
5.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至3任一项基于网络流量优先级的网络资源动态自适应方法的步骤。
6.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3任一项基于网络流量优先级的网络资源动态自适应方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011611312.8A CN112367276B (zh) | 2020-12-31 | 2020-12-31 | 基于网络流量优先级的网络资源动态自适应方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011611312.8A CN112367276B (zh) | 2020-12-31 | 2020-12-31 | 基于网络流量优先级的网络资源动态自适应方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112367276A CN112367276A (zh) | 2021-02-12 |
| CN112367276B true CN112367276B (zh) | 2021-03-30 |
Family
ID=74534696
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011611312.8A Active CN112367276B (zh) | 2020-12-31 | 2020-12-31 | 基于网络流量优先级的网络资源动态自适应方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112367276B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114968391B (zh) * | 2021-05-26 | 2023-07-25 | 中移互联网有限公司 | 应用程序加速方法及装置 |
| CN114095255A (zh) * | 2021-11-22 | 2022-02-25 | 安徽健坤通信股份有限公司 | 一种网络安全监控的方法、装置及存储介质 |
| CN117675580A (zh) * | 2022-08-24 | 2024-03-08 | 中兴通讯股份有限公司 | 网络设备的能耗控制方法及装置 |
| CN117411463B (zh) * | 2023-12-15 | 2024-02-20 | 南京群顶科技股份有限公司 | 一种面向边缘计算网关数据采集自适应滤波方法 |
| CN117729164B (zh) * | 2024-02-08 | 2024-04-12 | 深圳中科云信息技术有限公司 | 一种四口千兆网卡动态带宽分配系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101360063A (zh) * | 2008-09-10 | 2009-02-04 | 中国科学院计算技术研究所 | 一种ip网络中业务流传输控制方法及系统 |
| CN101552722A (zh) * | 2008-04-03 | 2009-10-07 | 北京启明星辰信息技术股份有限公司 | 一种管理网络流量带宽的方法及装置 |
| CN101789880A (zh) * | 2010-01-22 | 2010-07-28 | 中国电信股份有限公司 | 基于IP接入网实现上行QoS的方法和多业务接入网关 |
| CN109120544A (zh) * | 2018-09-30 | 2019-01-01 | 华中科技大学 | 一种数据中心网络中基于主机端流量调度的传输控制方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8320249B2 (en) * | 2007-03-07 | 2012-11-27 | Broadcom Corporation | Method and system for controlling network access on a per-flow basis |
| CN109194661B (zh) * | 2018-09-13 | 2021-10-26 | 网易（杭州）网络有限公司 | 网络攻击告警阈值配置方法、介质、装置和计算设备 |
-
2020
- 2020-12-31 CN CN202011611312.8A patent/CN112367276B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101552722A (zh) * | 2008-04-03 | 2009-10-07 | 北京启明星辰信息技术股份有限公司 | 一种管理网络流量带宽的方法及装置 |
| CN101360063A (zh) * | 2008-09-10 | 2009-02-04 | 中国科学院计算技术研究所 | 一种ip网络中业务流传输控制方法及系统 |
| CN101789880A (zh) * | 2010-01-22 | 2010-07-28 | 中国电信股份有限公司 | 基于IP接入网实现上行QoS的方法和多业务接入网关 |
| CN109120544A (zh) * | 2018-09-30 | 2019-01-01 | 华中科技大学 | 一种数据中心网络中基于主机端流量调度的传输控制方法 |
Non-Patent Citations (1)
| Title |
|---|
| "流量调节防火墙的设计与实现";刘淑芬 等;《计算机辅助设计与图形学学报》;20001130;第12卷(第11期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112367276A (zh) | 2021-02-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112367276B (zh) | 基于网络流量优先级的网络资源动态自适应方法及系统 | |
| US9386086B2 (en) | Dynamic scaling for multi-tiered distributed systems using payoff optimization of application classes | |
| Li et al. | Low-complexity multi-resource packet scheduling for network function virtualization | |
| US20050198200A1 (en) | Method and apparatus for facilitating fulfillment of web-service requests on a communication network | |
| CN110365765B (zh) | 一种缓存服务器的带宽调度方法及装置 | |
| CN110381541A (zh) | 一种基于强化学习的智能电网切片分配方法及装置 | |
| Xu et al. | Learning-based dynamic resource provisioning for network slicing with ensured end-to-end performance bound | |
| US11799901B2 (en) | Predictive rate limiting system for cloud computing services | |
| Cervino et al. | Adaptive provisioning of stream processing systems in the cloud | |
| Abhaya et al. | Performance analysis of EDF scheduling in a multi-priority preemptive M/G/1 queue | |
| US20140029427A1 (en) | Method for operating an openflow switch within a network, an openflow switch and a network | |
| Stanojevic | Small active counters | |
| CN115208879A (zh) | 将查询定向到跨主机系统和主机系统的硬件加速器分布的容器编排平台的集群的节点 | |
| Walton | Concave switching in single and multihop networks | |
| WO2019067448A1 (en) | PREDICTIVE PROGRAMMER | |
| CN116302578B (zh) | 一种QoS约束的流应用延迟确保方法及系统 | |
| US11374869B2 (en) | Managing bandwidth based on user behavior | |
| Lemeshko et al. | Mathematical model of queue management with flows aggregation and bandwidth allocation | |
| Tawk et al. | Optimal scheduling and delay analysis for AFDX end-systems | |
| Ungureanu et al. | Deferred assignment scheduling in cluster-based servers | |
| HoseinyFarahabady et al. | Graceful Performance Degradation in Apache Storm | |
| CN115396319B (zh) | 数据流分片方法、装置、设备及存储介质 | |
| Lee | Mean Object Size Comparison of M/G/1/PS and TDM System | |
| CN116095175B (zh) | 一种用于电网边缘计算系统的数据流调度方法及装置 | |
| Lan et al. | Research on Task Scheduling Algorithm for Edge Computing in Low-voltage transformer the area network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: 210000 8 / F, building 1, international R & D headquarters park, Nanjing new town science and Technology Park, 68 Aoti street, Jianye District, Nanjing City, Jiangsu Province Patentee after: Nanjing Qunding Technology Co.,Ltd. Address before: 210019 8th floor, building 1, international R & D headquarters park, Nanjing new town science and Technology Park, 68 Aoti street, Jianye District, Nanjing City, Jiangsu Province Patentee before: NANJING QUNDING TECHNOLOGY Co.,Ltd. |