CN115834440A - 一种流量基线的生成方法、系统及计算机存储介质 - Google Patents
一种流量基线的生成方法、系统及计算机存储介质 Download PDFInfo
- Publication number
- CN115834440A CN115834440A CN202211497728.0A CN202211497728A CN115834440A CN 115834440 A CN115834440 A CN 115834440A CN 202211497728 A CN202211497728 A CN 202211497728A CN 115834440 A CN115834440 A CN 115834440A
- Authority
- CN
- China
- Prior art keywords
- data
- baseline
- preset model
- preset
- flow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Testing And Monitoring For Control Systems (AREA)
Abstract
本发明公开了流量基线的生成方法、系统及计算机存储介质，获取第一历史数据与第二历史数据；根据第一历史数据，匹配若干预设模型；任意选择一个预设模型，通过该预设模型对所述第一历史数据进行数据处理，获得基线预测值，通过该预设模型对第二历史数据进行数据处理，获得基线真实值，并对基线预测值与所述基线真实值进行分析计算，获得预测准确率，遍历完预设模型，获得若干预测准确率；对若干所述预测准确率进行分析处理，获得最优预设模型，所述最优预设模型为预测准确率最高对应的预设模型；通过所述最优预设模型对获取的多类流量指标值进行处理，获得流量基线；本发明的有益效果为提高了基线生成的准确性，减小了生成基线的误差。
Description
技术领域
本发明涉及基线生成技术领域，具体而言，涉及一种流量基线的生成方法、系统及计算机存储介质。
背景技术
基线(Baseline)，基线是软件文档或源码(或其它产出物)的一个稳定版本,它是进一步开发的基础，是项目储存库中每个工件版本在特定时期的一个“快照”，它提供一个正式标准，随后的工作基于此标准，并且只有经过授权后才能变更这个标准；建立一个初始基线后，以后每次对其进行的变更都将记录为一个差值，直到建成下一个基线。
目前流量基线的生成方法和装置，通过预测模型，结合历史各类流量参数值，得到将来时刻的预测参数值，即使用预置评估模型(选择一种基线算法+与算法配套的预置模型参数，如：权重算法+新值权重、基线偏差率等)，评估出基线预测数据后，即把预测数据运用于系统；但是在采用现有技术对基线进行生成的时候，通常采用一个预置评估模型对数据进行处理，而对数据采用什么模型对其进行处理，只是一个简单的判断，不能准确判断出该数据是否就是适合该模型，因此过度依赖于一个算法模型设置，导致无法做到对选择的算法模型的准确率进行及时判断，进而导致生成的基线误差大。
发明内容
本发明所要解决的技术问题是现有技术中，通过一个算法模型对数据进行处理获得的基线，无法对数据所需要的算法进行准确评估，导致计算出来的基线误差大，目的在于提供一种流量基线的生成方法、系统及计算机存储介质，能够提高生成基线的准确率，减小生成的误差。
本发明通过下述技术方案实现：
一种流量基线的生成方法，方法步骤包括：
获取第一历史数据与第二历史数据，所述第一历史数据与所述第二历史数据为多类流量指标值；
根据所述第一历史数据，匹配若干预设模型，所述预设模型为对数据进行处理的基线算法模型，且每个所述预设模型对应一种基线算法；
任意选择一个预设模型，通过该预设模型对所述第一历史数据进行数据处理，获得基线预测值，通过该预设模型对所述第二历史数据进行数据处理，获得基线真实值，并对所述基线预测值与所述基线真实值进行分析计算，获得预测准确率，遍历完预设模型，获得若干预测准确率；
对若干所述预测准确率进行分析处理，获得最优预设模型，所述最优预设模型为预测准确率最高对应的预设模型；
通过所述最优预设模型对获取的多类流量指标值进行处理，获得流量基线。
传统的对基线进行生成处理的时候，通常采用一个预置评估模型对数据进行处理，而对数据采用什么模型对其进行处理，只是一个简单的判断，不能准确判断出该数据是否就是适合该模型，因此过度依赖于一个算法模型设置，导致无法做到对选择的算法模型的准确率进行及时判断，进而导致生成的基线误差大。本发明提供了一种流量基线的生成方法，通过将与该数据进行适配的所有预设模型分别对历史数据进行处理，将获得的预测值与具体发生的真实值进行比较的方法来选取具体的预设模型，并通过该预设模型生成相对应数据的基线，提高了基线生成的准确性，减小了生成基线的误差。
优选地，最优预设模型获得的具体子步骤包括：
将若干所述预测准确率从高到低进行一次排列，并根据流量基线的应用场景，选择最高的所述预测准确率，并获取该预测准确率对应的预设模型，获得最优预设模型。
优选地，所述第一历史数据包括采样配置数据与预置数据源数据，所述采样配置数据包括采样周期数据、采样数据点数数据、采样对象数据；
所述预置数据源数据包括进/出比特率数据、进/出带宽利用率数据、进/出流量数据、进/出网丢包数数据、TCP重传率数据；所述第二历史数据与所述第一历史数据等同设置。
优选地，所述第一历史数据与所述第二历史数据为连续两个周期T内获取的多类流量指标值。
优选地，所述周期T为一周或两周或三周或一个月或两个月或三个月。
优选地，所述基线算法为标准差算法或权重算法或均线算法或自定义算法。
优选地，所述流量基线生成的子步骤包括：
获取实时多类指标流量值；
通过最优预设模型对所述实时多类指标流量值进行处理，获得流量基线。
本发明还提供了一种流量基线的生成系统，系统包括数据获取模块、匹配模块、计算模块、分析处理模块以及基线生成模块，
所述数据获取模块，用于获取第一历史数据与第二历史数据，所述第一历史数据与所述第二历史数据为多类流量指标值；
所述匹配模块，用于根据所述第一历史数据，匹配若干预设模型，所述预设模型为对数据进行处理的基线算法模型，且每个所述预设模型对应一种基线算法；
所述计算模块，用于任意选择一个预设模型，通过该预设模型对所述第一历史数据进行数据处理，获得基线预测值，通过该预设模型对所述第二历史数据进行数据处理，获得基线真实值，并对所述基线预测值与所述基线真实值进行分析计算，获得预测准确率，遍历完预设模型，获得若干预测准确率；
所述分析处理模块，用于对若干所述预测准确率进行分析处理，获得最优预设模型，所述最优预设模型为预测准确率最高对应的预设模型；
所述基线生成模块，用于通过所述最优预设模型对获取的多类流量指标值进行处理，获得流量基线。
优选地，所述数据模块包括配置数据采集模块以及预置数据采集模块，
所述配置数据采集模块，用于采集采样周期数据、采样数据点数数据、采样对象数据；
所述预置数据采集模块，用于进/出比特率数据、进/出带宽利用率数据、进/出流量数据、进/出网丢包数数据、TCP重传率数据。
本发明还提供了一种计算机存储介质，其上存储有计算程序，其特征在于，该计算机程序被处理器执行时，实现如上所述的方法。
本发明与现有技术相比，具有如下的优点和有益效果：
本发明实施例提供的一种流量基线的生成方法、系统及计算机存储介质，通过将与该数据进行适配的所有预设模型分别对历史数据进行处理，将获得的预测值与具体发生的真实值进行比较的方法来选取具体的预设模型，并通过该预设模型生成相对应数据的基线，提高了基线生成的准确性，减小了生成基线的误差。
附图说明
为了更清楚地说明本发明示例性实施方式的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为生成方法流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
在以下描述中，为了提供对本发明的透彻理解阐述了大量特定细节。然而，对于本领域普通技术人员显而易见的是：不必采用这些特定细节来实行本发明。在其他实施例中，为了避免混淆本发明，未具体描述公知的结构、电路或方法。
实施例一
传统的对基线进行生成处理的时候，通常采用一个预置评估模型对数据进行处理，而对数据采用什么模型对其进行处理，只是一个简单的判断，不能准确判断出该数据是否就是适合该模型，因此过度依赖于一个算法模型设置，导致无法做到对选择的算法模型的准确率进行及时判断，进而导致生成的基线误差大。
本实施例公开了一种流量基线的生成方法，通过将与该数据进行适配的所有预设模型分别对历史数据进行处理，将获得的预测值与具体发生的真实值进行比较的方法来选取具体的预设模型，并通过该预设模型生成相对应数据的基线，提高了基线生成的准确性，减小了生成基线的误差，本实施例具体的步骤方法如图1所示，本实施例的获取数据等步骤是从基线平台上获得的，方法步骤包括：
S1：获取第一历史数据与第二历史数据，所述第一历史数据与所述第二历史数据为多类流量指标值；
在步骤S1中，主要是获取历史的数据对相关的模型进行训练，通过获取的历史数据对模型训练，能够提高相关模型计算的精确度。
所述第一历史数据包括采样配置数据与预置数据源数据，所述采样配置数据包括采样周期数据、采样数据点数数据、采样对象数据；
所述预置数据源数据包括进/出比特率数据、进/出带宽利用率数据、进/出流量数据、进/出网丢包数数据、TCP重传率数据，此处依赖于原始数据统计数据，流量数据包内的指标解析非本装置功能；所述第二历史数据与所述第一历史数据等同设置。
所述第一历史数据与所述第二历史数据为连续两个周期T内获取的多类流量指标值。所述周期T为一周或两周或三周或一个月或两个月或三个月。设置周期性的获取相关的数据，可以根据多类流量指标值的实时变化对模型进行更新，自动调整最优的预设模型，能够使得计算出来的基线更准确。
S2：根据所述第一历史数据，匹配若干预设模型，所述预设模型为对数据进行处理的基线算法模型，且每个所述预设模型对应一种基线算法；所述基线算法为标准差算法或权重算法或均线算法或自定义算法。
在步骤S2中，根据基线平台的预设模型，主要包含：基线算法种类(标准差、权重、均线、自定义算法)以及基线算法的关键参数，主要包含：偏离值、新值所占权重数、上/下基线偏差率。
S3：任意选择一个预设模型，通过该预设模型对所述第一历史数据进行数据处理，获得基线预测值，通过该预设模型对所述第二历史数据进行数据处理，获得基线真实值，并对所述基线预测值与所述基线真实值进行分析计算，获得预测准确率，遍历完预设模型，获得若干预测准确率；
在步骤S3中，根据获得的第一历史数据，系统判断该数据可能对应的所有预设模型，在本实施例中，预设模型代表的是一个算法模型，具体设置的预设模型的个数不做限制，是根据应用的基线平台上的设置来确定的，然后将所有获取的预设模型对第一历史数据进行处理，来实现对预测基线值的准确率进行评估，在根据评估的预测值进行比较，采用多个预设模型对历史数据处理并比较分析的方式，能够提高最终生成基线的准确率，减小生成的误差，具体对预测准确率估计的方法为：当基线时刻真实值为95，基线预测值分成上基线与下基线，如：上基线值100，下基线值80；真实值在预测范围内，则表示基线预测准确，反之则不准确。累计预测正确样本数/样本时间总数，最终可以获得算法最终准确率。
S4：对若干所述预测准确率进行分析处理，获得最优预设模型，所述最优预设模型为预测准确率最高对应的预设模型；
最优预设模型获得的具体子步骤包括：将若干所述预测准确率从高到低进行一次排列，并根据流量基线的应用场景，选择最高的所述预测准确率，并获取该预测准确率对应的预设模型，获得最优预设模型。
在步骤S4中，以上步骤内置的预设模型，总计有3项(标准差算法、权重算法、均线算法)；三项评估数据总数据量1000，误差范围内次数985、995、945，所以准确率是，98.5％、99.5％、94.5％，排序后结果是，权重算法99.5％>标准值算法98.5％>均线算法94.5％。
S5：通过所述最优预设模型对获取的多类流量指标值进行处理，获得流量基线。
所述流量基线生成的子步骤包括：获取实时多类指标流量值；通过最优预设模型对所述实时多类指标流量值进行处理，获得流量基线。
在步骤S5中，判断所要运用的预设模型时，是要根据基线所在的应用场景进行确定，基线运用的场景不同，则选择的标准也不一样，具体根据相应场景来计算确定。
本实施例公开的一种流量基线的生成方法，合规的基线预测模型，闲时周期性观测，并使基线算法动态自适应；基线预设模型合规性评估，淘汰不合规的算法与策略，基线算法更优选：先进行基线算法预测模型合规性的评估，把不适合算法优先淘汰，使得后续的评估都是优中选优，也避免了算法过多而使得后期周期观测更加精准关注更加准确的算法。
实施例二
本实施公开了一种流量基线的生成系统，本实施例是为了实现如实施例一中的生成方法，系统包括数据获取模块、匹配模块、计算模块、分析处理模块以及基线生成模块，
所述数据获取模块，用于获取第一历史数据与第二历史数据，所述第一历史数据与所述第二历史数据为多类流量指标值；
所述匹配模块，用于根据所述第一历史数据，匹配若干预设模型，所述预设模型为对数据进行处理的基线算法模型，且每个所述预设模型对应一种基线算法；
所述计算模块，用于任意选择一个预设模型，通过该预设模型对所述第一历史数据进行数据处理，获得基线预测值，通过该预设模型对所述第二历史数据进行数据处理，获得基线真实值，并对所述基线预测值与所述基线真实值进行分析计算，获得预测准确率，遍历完预设模型，获得若干预测准确率；
所述分析处理模块，用于对若干所述预测准确率进行分析处理，获得最优预设模型，所述最优预设模型为预测准确率最高对应的预设模型；
所述基线生成模块，用于通过所述最优预设模型对获取的多类流量指标值进行处理，获得流量基线。
所述数据模块包括配置数据采集模块以及预置数据采集模块，
所述配置数据采集模块，用于采集采样周期数据、采样数据点数数据、采样对象数据；
所述预置数据采集模块，用于进/出比特率数据、进/出带宽利用率数据、进/出流量数据、进/出网丢包数数据、TCP重传率数据。
实施例三
本实施例公开了一种计算机存储介质，其上存储有计算程序，该计算机程序被处理器执行时，实现如实施例一所述的方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序发布指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序发布指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的发布指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序发布指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的发布指令产生包括发布指令装置的制造品，该发布指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序发布指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的发布指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种流量基线的生成方法，其特征在于，方法步骤包括：
获取第一历史数据与第二历史数据，所述第一历史数据与所述第二历史数据为多类流量指标值；
根据所述第一历史数据，匹配若干预设模型，所述预设模型为对数据进行处理的基线算法模型，且每个所述预设模型对应一种基线算法；
任意选择一个预设模型，通过该预设模型对所述第一历史数据进行数据处理，获得基线预测值，通过该预设模型对所述第二历史数据进行数据处理，获得基线真实值，并对所述基线预测值与所述基线真实值进行分析计算，获得预测准确率，遍历完预设模型，获得若干预测准确率；
对若干所述预测准确率进行分析处理，获得最优预设模型，所述最优预设模型为预测准确率最高对应的预设模型；
通过所述最优预设模型对获取的多类流量指标值进行处理，获得流量基线。
2.根据权利要求1所述的一种流量基线的生成方法，其特征在于，最优预设模型获得的具体子步骤包括：
将若干所述预测准确率从高到低进行一次排列，并根据流量基线的应用场景，选择最高的所述预测准确率，并获取该预测准确率对应的预设模型，获得最优预设模型。
3.根据权利要求1所述的一种流量基线的生成方法，其特征在于，所述第一历史数据包括采样配置数据与预置数据源数据，所述采样配置数据包括采样周期数据、采样数据点数数据、采样对象数据；
所述预置数据源数据包括进/出比特率数据、进/出带宽利用率数据、进/出流量数据、进/出网丢包数数据、TCP重传率数据；所述第二历史数据与所述第一历史数据等同设置。
4.根据权利要求3所述的一种流量基线的生成方法，其特征在于，所述第一历史数据与所述第二历史数据为连续两个周期T内获取的多类流量指标值。
5.根据权利要求4所述的一种流量基线的生成方法，其特征在于，所述周期T为一周或两周或三周或一个月或两个月或三个月。
6.根据权利要求1所述的一种流量基线的生成方法，其特征在于，所述基线算法为标准差算法或权重算法或均线算法或自定义算法。
7.根据权利要求1所述的一种流量基线的生成方法，其特征在于，所述流量基线生成的子步骤包括：
获取实时多类指标流量值；
通过最优预设模型对所述实时多类指标流量值进行处理，获得流量基线。
8.一种流量基线的生成系统，其特征在于，系统包括数据获取模块、匹配模块、计算模块、分析处理模块以及基线生成模块，
所述数据获取模块，用于获取第一历史数据与第二历史数据，所述第一历史数据与所述第二历史数据为多类流量指标值；
所述匹配模块，用于根据所述第一历史数据，匹配若干预设模型，所述预设模型为对数据进行处理的基线算法模型，且每个所述预设模型对应一种基线算法；
所述计算模块，用于任意选择一个预设模型，通过该预设模型对所述第一历史数据进行数据处理，获得基线预测值，通过该预设模型对所述第二历史数据进行数据处理，获得基线真实值，并对所述基线预测值与所述基线真实值进行分析计算，获得预测准确率，遍历完预设模型，获得若干预测准确率；
所述分析处理模块，用于对若干所述预测准确率进行分析处理，获得最优预设模型，所述最优预设模型为预测准确率最高对应的预设模型；
所述基线生成模块，用于通过所述最优预设模型对获取的多类流量指标值进行处理，获得流量基线。
9.根据权利要求8所述的一种流量基线的生成系统，其特征在于，所述数据模块包括配置数据采集模块以及预置数据采集模块，
所述配置数据采集模块，用于采集采样周期数据、采样数据点数数据、采样对象数据；
所述预置数据采集模块，用于进/出比特率数据、进/出带宽利用率数据、进/出流量数据、进/出网丢包数数据、TCP重传率数据。
10.一种计算机存储介质，其上存储有计算程序，其特征在于，该计算机程序被处理器执行时，实现如权利要求1～7任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211497728.0A CN115834440A (zh) | 2022-11-25 | 2022-11-25 | 一种流量基线的生成方法、系统及计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211497728.0A CN115834440A (zh) | 2022-11-25 | 2022-11-25 | 一种流量基线的生成方法、系统及计算机存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115834440A true CN115834440A (zh) | 2023-03-21 |
Family
ID=85531983
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211497728.0A Pending CN115834440A (zh) | 2022-11-25 | 2022-11-25 | 一种流量基线的生成方法、系统及计算机存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115834440A (zh) |
-
2022
- 2022-11-25 CN CN202211497728.0A patent/CN115834440A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8868993B1 (en) | Data replacement policy | |
| CN107015875B (zh) | 一种电子整机贮存寿命评估方法及装置 | |
| US20210006481A1 (en) | Method and Apparatus for Determining Status of Network Device | |
| CN112418921A (zh) | 用电需量预测方法、装置、系统与计算机存储介质 | |
| CN115576502B (zh) | 一种数据存储的方法、装置、电子设备以及存储介质 | |
| CN110661727A (zh) | 数据传输优化方法、装置、计算机设备和存储介质 | |
| CN117632905B (zh) | 基于云端使用记录的数据库管理方法及系统 | |
| CN114066262A (zh) | 一种电网调度后评估异常指标溯因推理方法、系统、装置及存储介质 | |
| CN111753875A (zh) | 一种电力信息系统运行趋势分析方法、装置及存储介质 | |
| CN111340233A (zh) | 机器学习模型的训练方法及装置、样本处理方法及装置 | |
| CN112183906A (zh) | 一种基于多模型组合模型的机房环境预测方法及系统 | |
| EP1672578A1 (en) | Method and system for analyzing the risk of a project | |
| CN113190429B (zh) | 服务器性能预测方法、装置及终端设备 | |
| CN114564345A (zh) | 一种服务器异常检测方法、装置、设备及存储介质 | |
| CN110543482A (zh) | 一种最大时间间隔误差计算方法及系统 | |
| CN111523798B (zh) | 一种自动建模的方法、装置、系统、及其电子设备 | |
| CN115834440A (zh) | 一种流量基线的生成方法、系统及计算机存储介质 | |
| CN109858632B (zh) | 一种确定阈值的方法及装置 | |
| CN112241512A (zh) | 提升审计精度的方法及系统 | |
| JP2004078780A (ja) | 予測方法、予測装置、予測プログラム、および予測プログラムを記録した記録媒体 | |
| JP2004246628A (ja) | 標準時間算出装置及びそれに用いる標準時間算出方法並びにそのプログラム | |
| US11762562B2 (en) | Performance analysis apparatus and performance analysis method | |
| CN112346995B (zh) | 一种基于银行业的测试风险预估模型的构建方法及装置 | |
| EP3460732A1 (en) | Dispatching method and system based on multiple levels of steady state production rate in working benches | |
| CN116561598B (zh) | 一种cps智能制造管理平台大数据处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |