CN117081909B - 异常宽带修正方法、装置、电子设备及存储介质 - Google Patents
异常宽带修正方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117081909B CN117081909B CN202311344300.7A CN202311344300A CN117081909B CN 117081909 B CN117081909 B CN 117081909B CN 202311344300 A CN202311344300 A CN 202311344300A CN 117081909 B CN117081909 B CN 117081909B
- Authority
- CN
- China
- Prior art keywords
- broadband
- data
- level
- abnormal
- correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 123
- 238000012937 correction Methods 0.000 title claims abstract description 119
- 238000000034 method Methods 0.000 title claims abstract description 74
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 56
- 238000001514 detection method Methods 0.000 claims abstract description 52
- 230000006870 function Effects 0.000 claims description 26
- 238000004590 computer program Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 7
- 239000003550 marker Substances 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 5
- 230000007547 defect Effects 0.000 claims description 4
- 230000005856 abnormality Effects 0.000 abstract description 13
- 238000010586 diagram Methods 0.000 description 7
- 238000009499 grossing Methods 0.000 description 5
- 238000013450 outlier detection Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000002547 anomalous effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0896—Bandwidth or capacity management, i.e. automatically increasing or decreasing capacities
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明涉及异常宽带修正方法、装置、电子设备及存储介质，该方法包括：获取第一宽带数据，并通过时间序列异常检测算法对第一宽带数据进行检测，得到具有第一标记的第一异常点，第一宽带数据为不同层级的CDN业务宽带历史数据。调用拉格朗日插值法将具有第一标记的第一异常点根据宽带曲线进行多项式函数拟合，得到第一填补值，第一填补值用于替换第一异常点。将第一层级的第一宽带数据中的第一异常点替换为对应的第一填补值，并以第一层级为基准对第二层级的第一宽带数据中的第一异常点进行校验比对，以对第二层级的第一宽带数据进行对齐修正。其中，第二层级为第一层级的下一层级。通过对CDN宽带数据异常的检查和修正，为CDN业务运行提供数据基础。
Description
技术领域
本发明涉及通信技术领域，特别是涉及一种异常宽带修正方法、装置、电子设备及存储介质。
背景技术
随着CDN市场的成熟发展，各CDN服务商的竞争日益激烈，因此，人们对CDN服务的智能化、实时性、稳定性提出了更高的要求。由于一切服务决策的依据离不开基础数据的支撑，因此CDN业务数据的准确性变得至关重要。
CDN业务数据易受到客观条件的影响，例如节点故障，网络延迟，数据上报失败以及重复上传等。这就使得CDN业务带宽数据中产生异常数据点，如果直接使用这些异常数据，将会影响相关CDN业务服务系统的计算决策，造成成本损失、服务质量下降以及用户体验变差等问题。目前，传统的CDN业务数据的处理难以对CDN业务带宽数据进行及时的检查和修正，导致CDN业务服务的稳定准确运行较难得到保障。
发明内容
基于此，有必要针对上述技术问题，提供一种能够及时对CDN业务宽带数据进行检查和修正，使得CDN业务服务的稳定准确运行得到保障的异常宽带修正方法、装置、电子设备及存储介质。
本发明提供了一种异常宽带修正方法，所述方法包括：
获取第一宽带数据，并通过时间序列异常检测算法对所述第一宽带数据进行检测，得到具有第一标记的第一异常点，所述第一宽带数据为不同层级的CDN业务宽带历史数据；
调用拉格朗日插值法将所述具有第一标记的第一异常点根据宽带曲线进行多项式函数拟合，得到第一填补值，所述第一填补值用于替换所述第一异常点；
将第一层级的所述第一宽带数据中的第一异常点替换为对应的所述第一填补值，并以所述第一层级为基准对第二层级的所述第一宽带数据中的第一异常点进行校验比对，以对所述第二层级的第一宽带数据进行对齐修正；
其中，所述第二层级为所述第一层级的下一层级。
在其中一个实施例中，所述获取第一宽带数据，并通过时间序列异常检测算法对所述第一宽带数据进行检测，得到具有第一标记的第一异常点，之前包括：
通过开源时序数据库管理系统对所述CDN业务宽带历史数据进行汇总统计，以获取具有固定粒度的所述第一宽带数据；
基于所述第一宽带数据，获取所述宽带曲线，所述宽带曲线由所述不同层级的CDN业务宽带历史数据构成。
在其中一个实施例中，所述获取第一宽带数据，并通过时间序列异常检测算法对所述第一宽带数据进行检测，得到具有第一标记的第一异常点，包括：
调用局部离群因子检测、聚类算法以及基于箱型图四分位距检测对所述第一宽带数据进行检测，确定所述第一异常点；
对所述第一异常点进行标记，以使所述第一异常点具有所述第一标记；
其中，所述时间序列异常检测算法至少包括所述局部离群因子检测、聚类算法以及基于箱型图四分位距检测。
在其中一个实施例中，所述调用拉格朗日插值法将所述具有第一标记的第一异常点根据宽带曲线进行多项式函数拟合，得到第一填补值，包括：
调用所述拉格朗日插值法将所述具有第一标记的第一异常点确定为第一缺失点；
以所述宽带曲线和所述第一缺失点位置为输入数据，计算拟合出所述宽带曲线的多项式函数，得到所述第一缺失点对应的所述第一填补值；
将所述第一填补值替换对应的所述第一缺失点对应的异常值，以对所述第一宽带数据进行修正。
在其中一个实施例中，所述将第一层级的所述第一宽带数据中的第一异常点替换为对应的所述第一填补值，并以所述第一层级为基准对第二层级的所述第一宽带数据中的第一异常点进行校验比对，以对所述第二层级的第一宽带数据进行对齐修正，包括：
基于将第一层级的所述第一宽带数据中的第一异常点替换为对应的所述第一填补值，获取修正前的所述第二层级的第一宽带数据与修正后的所述第一层级的第一宽带数据之间的误差；
以修正后的所述第一层级的第一宽带数据为基准，计算每个时间点修正前的所述第二层级的第一宽带数据对应的修正数据总和。
在其中一个实施例中，所述将第一层级的所述第一宽带数据中的第一异常点替换为对应的所述第一填补值，并以所述第一层级为基准对第二层级的所述第一宽带数据中的第一异常点进行校验比对，以对所述第二层级的第一宽带数据进行对齐修正，还包括：
基于修正前的所述第二层级的第一宽带数据与修正后的所述第一层级的第一宽带数据之间的误差，对修正前的所述第二层级的第一宽带数据进行缩放处理；
基于对修正前的所述第二层级的第一宽带数据进行缩放处理，对所述第二层级的第一宽带数据进行对齐修正。
在其中一个实施例中，所述方法还包括：
调用滤波算法获取设置参数，所述设置参数至少包括窗口长度以及多项式拟合的阶数；
基于所述设置参数，在时域内对所述窗口长度内的所述第一宽带数据进行多项式拟合，以滤掉高频数据；
其中，所述窗口长度的取值为奇数且不超过所述第一宽带数据的最大长度，所述窗口长度越大，则所述宽带曲线越平滑，所述多项式拟合的阶数越小，则所述宽带曲线越平滑。
本发明还提供了一种异常宽带修正装置，所述装置包括：
数据检测模块，用于获取第一宽带数据，并通过时间序列异常检测算法对所述第一宽带数据进行检测，得到具有第一标记的第一异常点，所述第一宽带数据为不同层级的CDN业务宽带历史数据；
函数拟合模块，用于调用拉格朗日插值法将所述具有第一标记的第一异常点根据宽带曲线进行多项式函数拟合，得到第一填补值，所述第一填补值用于替换所述第一异常点；
宽带修正模块，用于将第一层级的所述第一宽带数据中的第一异常点替换为对应的所述第一填补值，并以所述第一层级为基准对第二层级的所述第一宽带数据中的第一异常点进行校验比对，以对所述第二层级的第一宽带数据进行对齐修正；
其中，所述第二层级为所述第一层级的下一层级。
本发明还提供了一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述的异常宽带修正方法。
本发明还提供了一种计算机存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述的异常宽带修正方法。
上述异常宽带修正方法、装置、电子设备及存储介质，通过获取不同层级的CDN业务宽带历史数据，并通过时间序列异常检测算法对得到的CDN业务宽带历史数据进行检测，得到具有相应标记的异常点。随后，调用拉格朗日插值法将标记的异常点根据宽带曲线进行多项式函数拟合，得到对应的填补值，以替换对应的异常点。最后，将上一层级的CDN业务宽带数据中的异常点替换为对应的填补值，并以上一层级为基准对下一层级的CDN业务宽带数据中的异常点进行校验比对，来完成对下一层级的CDN业务宽带数据的对齐修正。该方法通过对CDN业务宽带数据的异常检测，以及插值修补等算法对CDN业务带宽数据进行及时的检查和修正，为CDN业务服务的稳定准确运行提供准确可信的数据基础。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的异常宽带修正方法流程示意图之一；
图2为本发明提供的异常宽带修正方法流程示意图之二；
图3为本发明提供的异常宽带修正方法流程示意图之三；
图4为本发明提供的异常宽带修正方法流程示意图之四；
图5为本发明提供的异常宽带修正方法流程示意图之五；
图6为本发明提供的异常宽带修正方法流程示意图之六；
图7为本发明提供的异常宽带修正方法流程示意图之七；
图8为本发明提供的异常宽带修正装置结构示意图；
图9为本发明提供的计算机设备的内部结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地说明，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图9描述本发明的异常宽带修正方法、装置、电子设备及存储介质。
如图1所示，在一个实施例中，一种异常宽带修正方法，包括以下步骤：
步骤S110，获取第一宽带数据，并通过时间序列异常检测算法对第一宽带数据进行检测，得到具有第一标记的第一异常点，第一宽带数据为不同层级的CDN业务宽带历史数据。
具体的，服务器基于大数据平台，根据业务特点，以一定的粒度（例如带宽计费采样周期为5分钟，与计费成本相关的服务使用该粒度），使用开源时序数据库管理系统（如ClickHouse、influxdb等）对CDN业务带宽日志进行数据汇总统计，获取不同层级的CDN业务带宽历史数据，即第一宽带数据，以及第一宽带数据对应的宽带曲线，如全网总业务量，分线路业务量和分域名业务量。随后，基于统计学、机器学习理论，使用局部离群因子检测（LOF）、聚类算法（如DBSCAN）、基于箱型图四分位距检测等方法，形成融合的时间序列异常检测算法，对获取的CDN带宽历史数据进行检测，并对检测出的异常点进行标记，即对第一异常点进行标记，使得第一异常点具有第一标记。根据业务需求可选用不同的标记策略，如对数据的信任度较低，可以同时使用多个检测算法，某个数据点只要被其中一个算法检测出异常，就进行标记。相反，如果对数据的整体信任度很高，则使用多个检测算法，只有一半以上甚至全部的算法认为该数据点异常时才进行标记。
其中，LOF方法是一种典型的基于密度的高精度离群点检测方法，该方法简单、直观，基于非离群点对象周围的密度与其邻域周围的密度类似，而离群点对象周围的密度显著不同于其邻域周围的密度的现象，不需要知道数据集的分布，即可进行异常检测，同时量化每个数据点的异常程度。因此，其适用性广泛，可作为带宽异常检测的默认基础算法使用。
DBSCAN是一种基于密度的噪声应用空间聚类算法，属于无监督的机器学习算法。应用聚类算法对数据进行聚类操作，可将不归属于任何一个类簇的点识别为异常点。聚类算法理论较为完善，使用聚类算法进行异常检测，可利用大量已有的聚类研究成果。但异常检测的目标在于寻找不正常的数据，而聚类的目的在于确定数据归属的类别，附带可以检测出异常离群数据点。同时聚类算法并未针对时间序列数据做优化，算法执行效率较低。因此，该方法主要作为带宽异常检测的辅助对比算法使用。
需要说明的是，基于箱型图四分位距对异常值进行检测属于统计学方法，该算法将所有数值由小到大排列并分成四等份，处于三个分割点位置的数值就是四分位数（Q1，Q2，Q3）。Q3-Q1即为四分位距（IQR），设置异常程度阈值k（根据统计学规律，一般1.5为中度异常，3为极度异常），定义数值<Q1-k×IQR或数值>Q3+k×IQR为异常点。该方法计算方式简单高效，计算结果比较客观，在识别异常值方面有一定的优越性。但k值的设置需要根据数据特点进行调整，在数据分布比较稳定的CDN业务带宽中，可作为主要的异常检测算法。
步骤S120，调用拉格朗日插值法将具有第一标记的第一异常点根据宽带曲线进行多项式函数拟合，得到第一填补值，第一填补值用于替换第一异常点。
具体的，服务器采用拉格朗日插值法，将标记出的异常带宽点（即第一异常点）视为缺失点，以整体带宽曲线和缺失点对应的值的位置为输入数据，计算拟合出逼近带宽曲线的多项式函数，从而计算出相应的缺失值，即第一填补值，然后替换对应异常点，实现异常带宽的修正。
步骤S130，将第一层级的第一宽带数据中的第一异常点替换为对应的第一填补值，并以第一层级为基准对第二层级的第一宽带数据中的第一异常点进行校验比对，以对第二层级的第一宽带数据进行对齐修正。
具体的，服务器分不同层级进行数据修正后，层级间数据会存在偏差，此时对于每一个时间点，以最上层（即第一层级）修正数据为基准，计算出下层（即第二层级）修正数据的总和，根据两者的误差对下层数据进行校验对比和缩放，实现整体CDN宽带数据的对齐修正操作。
上述异常宽带修正方法，通过获取不同层级的CDN业务宽带历史数据，并通过时间序列异常检测算法对得到的CDN业务宽带历史数据进行检测，得到具有相应标记的异常点。随后，调用拉格朗日插值法将标记的异常点根据宽带曲线进行多项式函数拟合，得到对应的填补值，以替换对应的异常点。最后，将上一层级的CDN业务宽带数据中的异常点替换为对应的填补值，并以上一层级为基准对下一层级的CDN业务宽带数据中的异常点进行校验比对，来完成对下一层级的CDN业务宽带数据的对齐修正。该方法通过对CDN业务宽带数据的异常检测，以及插值修补等算法对CDN业务带宽数据进行及时的检查和修正，为CDN业务服务的稳定准确运行提供准确可信的数据基础。
如图2所示，在一个实施例中，本发明提供的异常宽带修正方法，获取第一宽带数据，并通过时间序列异常检测算法对第一宽带数据进行检测，得到具有第一标记的第一异常点，之前包括以下步骤：
步骤S210，通过开源时序数据库管理系统对CDN业务宽带历史数据进行汇总统计，以获取具有固定粒度的第一宽带数据。
具体的，服务器通过开源时序数据库管理系统对CDN业务宽带历史数据进行汇总统计，来获取具有固定粒度的第一宽带数据。
步骤S220，基于第一宽带数据，获取宽带曲线，宽带曲线由不同层级的CDN业务宽带历史数据构成。
具体的，服务器基于步骤S210中得到的第一宽带数据，获取由不同层级的CDN业务宽带历史数据构成的宽带曲线。
如图3所示，在一个实施例中，本发明提供的异常宽带修正方法，获取第一宽带数据，并通过时间序列异常检测算法对第一宽带数据进行检测，得到具有第一标记的第一异常点，具体包括以下步骤：
步骤S112，调用局部离群因子检测、聚类算法以及基于箱型图四分位距检测对第一宽带数据进行检测，确定第一异常点。
具体的，服务器在对CDN业务宽带数据进行标记的过程中，调用局部离群因子检测、聚类算法以及基于箱型图四分位距检测融合的时间序列异常检测算法对CDN业务宽带数据进行检测，来确定第一异常点。
步骤S114，对第一异常点进行标记，以使第一异常点具有第一标记。
具体的，服务器对步骤S112中确定的第一异常点进行标记，使得第一异常点具有相应的标记策略的标记，即第一标记。
如图4所示，在一个实施例中，本发明提供的异常宽带修正方法，调用拉格朗日插值法将具有第一标记的第一异常点根据宽带曲线进行多项式函数拟合，得到第一填补值，具体包括以下步骤：
步骤S122，调用拉格朗日插值法将具有第一标记的第一异常点确定为第一缺失点。
具体的，服务器在多项式函数拟合的过程中，调用拉格朗日插值法将具有第一标记的第一异常点确定为第一缺失点。
步骤S124，以宽带曲线和第一缺失点位置为输入数据，计算拟合出宽带曲线的多项式函数，得到第一缺失点对应的第一填补值。
具体的，服务器以宽带曲线和第一缺失点对应的缺失值位置为输入数据，计算拟合出宽带曲线的多项式函数，进而计算出第一缺失点对应的缺失值，即第一填补值。
步骤S126，将第一填补值替换对应的第一缺失点对应的异常值，以对第一宽带数据进行修正。
具体的，服务器将步骤S124中计算得到的第一填补值替换对应的第一缺失点对应的异常值，以对CDN业务宽带数据进行修正。
如图5所示，在一个实施例中，本发明提供的异常宽带修正方法，将第一层级的第一宽带数据中的第一异常点替换为对应的第一填补值，并以第一层级为基准对第二层级的第一宽带数据中的第一异常点进行校验比对，以对第二层级的第一宽带数据进行对齐修正，具体包括以下步骤：
步骤S132，基于将第一层级的第一宽带数据中的第一异常点替换为对应的第一填补值，获取修正前的第二层级的第一宽带数据与修正后的第一层级的第一宽带数据之间的误差。
具体的，服务器在对不同层级进行对齐修正的过程中，基于将上一层级的CDN业务宽带数据中的异常点替换为相应的填补值，来获取修正前的下一层级的CDN业务宽带数据与修正后的上一层级的CDN业务宽带数据之间的误差。
步骤S134，以修正后的第一层级的第一宽带数据为基准，计算每个时间点修正前的第二层级的第一宽带数据对应的修正数据总和。
具体的，服务器以修正后的上一层级的CDN业务宽带数据为基准，对下一层级的CDN业务宽带数据进行校验，以计算出每个时间点修正前的下一层级的CDN业务宽带数据对应的修正数据总和。
如图6所示，在一个实施例中，本发明提供的异常宽带修正方法，将第一层级的第一宽带数据中的第一异常点替换为对应的第一填补值，并以第一层级为基准对第二层级的第一宽带数据中的第一异常点进行校验比对，以对第二层级的第一宽带数据进行对齐修正，具体还包括以下步骤：
步骤S136，基于修正前的第二层级的第一宽带数据与修正后的第一层级的第一宽带数据之间的误差，对修正前的第二层级的第一宽带数据进行缩放处理。
具体的，服务器基于修正前的下一层级的CDN业务宽带数据与修正后的上一层级的CDN业务宽带数据之间的误差，对修正前的下一层级的CDN业务宽带数据进行缩放处理。
步骤S138，基于对修正前的第二层级的第一宽带数据进行缩放处理，对第二层级的第一宽带数据进行对齐修正。
具体的，服务器基于步骤S136中对修正前的下一层级的CDN业务宽带数据的缩放处理，来完成对下一层级的CDN业务宽带数据的对齐修正。
如图7所示，在一个实施例中，本发明提供的异常宽带修正方法，还包括以下步骤：
步骤S710，调用滤波算法获取设置参数，设置参数至少包括窗口长度以及多项式拟合的阶数。
具体的，服务器调用滤波算法获取设置参数，该设置参数包括但不仅限于窗口长度以及多项式拟合的阶数。在具体的实施例中，服务器根据业务需要，借助Savitzky-Golay滤波器算法使用合理的参数设置对业务带宽进行平滑处理。如对于未来带宽趋势预估的场景中，平滑处理后可以减少日常带宽抖动的干扰，更好地理解数据变化的整体趋势。
其中，Savitzky-Golay滤波器是一种在时域内基于局域多项式最小二乘法拟合的滤波方法。这种滤波器最大的特点在于在滤除噪声的同时可以确保信号的形状、宽度不变。它对信号的操作是在时域内对window_length（窗口长度）内的数据进行多项式拟合，而从频域上看，这种拟合实际就是通过了低频数据，而滤掉了高频数据。这种滤波其实是一种移动窗口的加权平均算法，但是其加权系数不是简单的常数窗口，而是通过在滑动窗口内对给定高阶多项式的最小二乘拟合得出。
需要说明的是，window_length，即窗口长度，取值为奇数且不能超过数据最大长度。window_length越大，则平滑效果越明显，window_length越小，则更贴近原始曲线。polyorder为多项式拟合的阶数，polyorder越小，则平滑效果越明显，polyorder越大，则更贴近原始曲线。
针对CDN业务带宽数据的处理中，例如，当window_length取值为11，polyorder取值为3时，可以达到较好的平滑效果，在保留带宽变化真实趋势的同时使带宽曲线变得平滑。
步骤S720，基于设置参数，在时域内对窗口长度内的第一宽带数据进行多项式拟合，以滤掉高频数据。
具体的，服务器基于步骤S710中得到的设置参数，在时域内对窗口长度内的CDN业务宽带数据进行多项式拟合，来过滤掉高频数据。
下面对本发明提供的异常宽带修正装置进行描述，下文描述的异常宽带修正装置与上文描述的异常宽带修正方法可相互对应参照。
如图8所示，在一个实施例中，一种异常宽带修正装置，包括数据检测模块810、函数拟合模块820以及宽带修正模块830。
数据检测模块810用于获取第一宽带数据，并通过时间序列异常检测算法对第一宽带数据进行检测，得到具有第一标记的第一异常点，第一宽带数据为不同层级的CDN业务宽带历史数据。
函数拟合模块820用于调用拉格朗日插值法将具有第一标记的第一异常点根据宽带曲线进行多项式函数拟合，得到第一填补值，第一填补值用于替换第一异常点。
宽带修正模块830用于将第一层级的第一宽带数据中的第一异常点替换为对应的第一填补值，并以第一层级为基准对第二层级的第一宽带数据中的第一异常点进行校验比对，以对第二层级的第一宽带数据进行对齐修正。
其中，第二层级为第一层级的下一层级。
在本实施例中，本发明提供的异常宽带修正装置，还包括数据整理模块，用于：
通过开源时序数据库管理系统对CDN业务宽带历史数据进行汇总统计，以获取具有固定粒度的第一宽带数据。
基于第一宽带数据，获取宽带曲线，宽带曲线由不同层级的CDN业务宽带历史数据构成。
在本实施例中，本发明提供的异常宽带修正装置，数据检测模块具体用于：
调用局部离群因子检测、聚类算法以及基于箱型图四分位距检测对第一宽带数据进行检测，确定第一异常点。
对第一异常点进行标记，以使第一异常点具有第一标记。
其中，时间序列异常检测算法至少包括局部离群因子检测、聚类算法以及基于箱型图四分位距检测。
在本实施例中，本发明提供的异常宽带修正装置，函数拟合模块具体用于：
调用拉格朗日插值法将具有第一标记的第一异常点确定为第一缺失点。
以宽带曲线和第一缺失点位置为输入数据，计算拟合出宽带曲线的多项式函数，得到第一缺失点对应的第一填补值。
将第一填补值替换对应的第一缺失点对应的异常值，以对第一宽带数据进行修正。
在本实施例中，本发明提供的异常宽带修正装置，宽带修正模块具体用于：
基于将第一层级的第一宽带数据中的第一异常点替换为对应的第一填补值，获取修正前的第二层级的第一宽带数据与修正后的第一层级的第一宽带数据之间的误差。
以修正后的第一层级的第一宽带数据为基准，计算每个时间点修正前的第二层级的第一宽带数据对应的修正数据总和。
在本实施例中，本发明提供的异常宽带修正装置，宽带修正模块具体还用于：
基于修正前的第二层级的第一宽带数据与修正后的第一层级的第一宽带数据之间的误差，对修正前的第二层级的第一宽带数据进行缩放处理。
基于对修正前的第二层级的第一宽带数据进行缩放处理，对第二层级的第一宽带数据进行对齐修正。
在本实施例中，本发明提供的异常宽带修正装置，还包括平滑处理模块，用于：
调用滤波算法获取设置参数，设置参数至少包括窗口长度以及多项式拟合的阶数。
基于设置参数，在时域内对窗口长度内的第一宽带数据进行多项式拟合，以滤掉高频数据。
其中，窗口长度的取值为奇数且不超过第一宽带数据的最大长度，窗口长度越大，则宽带曲线越平滑，多项式拟合的阶数越小，则宽带曲线越平滑。
图9示例了一种电子设备的实体结构示意图，该电子设备可以是智能终端，其内部结构图可以如图9所示。该电子设备包括通过系统总线连接的处理器、内存储器和网络接口。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现异常宽带修正方法，该方法包括：
获取第一宽带数据，并通过时间序列异常检测算法对第一宽带数据进行检测，得到具有第一标记的第一异常点，第一宽带数据为不同层级的CDN业务宽带历史数据；
调用拉格朗日插值法将具有第一标记的第一异常点根据宽带曲线进行多项式函数拟合，得到第一填补值，第一填补值用于替换第一异常点；
将第一层级的第一宽带数据中的第一异常点替换为对应的第一填补值，并以第一层级为基准对第二层级的第一宽带数据中的第一异常点进行校验比对，以对第二层级的第一宽带数据进行对齐修正；
其中，第二层级为第一层级的下一层级。
本领域技术人员可以理解，图9中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
另一方面，本发明还提供了一种计算机存储介质，存储有计算机程序，计算机程序被处理器执行时实现异常宽带修正方法，该方法包括：
获取第一宽带数据，并通过时间序列异常检测算法对第一宽带数据进行检测，得到具有第一标记的第一异常点，第一宽带数据为不同层级的CDN业务宽带历史数据；
调用拉格朗日插值法将具有第一标记的第一异常点根据宽带曲线进行多项式函数拟合，得到第一填补值，第一填补值用于替换第一异常点；
将第一层级的第一宽带数据中的第一异常点替换为对应的第一填补值，并以第一层级为基准对第二层级的第一宽带数据中的第一异常点进行校验比对，以对第二层级的第一宽带数据进行对齐修正；
其中，第二层级为第一层级的下一层级。
又一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令时实现异常宽带修正方法，该方法包括：
获取第一宽带数据，并通过时间序列异常检测算法对第一宽带数据进行检测，得到具有第一标记的第一异常点，第一宽带数据为不同层级的CDN业务宽带历史数据；
调用拉格朗日插值法将具有第一标记的第一异常点根据宽带曲线进行多项式函数拟合，得到第一填补值，第一填补值用于替换第一异常点；
将第一层级的第一宽带数据中的第一异常点替换为对应的第一填补值，并以第一层级为基准对第二层级的第一宽带数据中的第一异常点进行校验比对，以对第二层级的第一宽带数据进行对齐修正；
其中，第二层级为第一层级的下一层级。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。
作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双倍数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种异常宽带修正方法，其特征在于，所述方法包括：
获取第一宽带数据，并通过时间序列异常检测算法对所述第一宽带数据进行检测，得到具有第一标记的第一异常点，所述第一宽带数据为不同层级的CDN业务宽带历史数据；
调用拉格朗日插值法将所述具有第一标记的第一异常点根据宽带曲线进行多项式函数拟合，得到第一填补值，所述第一填补值用于替换所述第一异常点；
将第一层级的所述第一宽带数据中的第一异常点替换为对应的所述第一填补值，并以所述第一层级为基准对第二层级的所述第一宽带数据中的第一异常点进行校验比对，以对所述第二层级的第一宽带数据进行对齐修正；
其中，所述第二层级为所述第一层级的下一层级。
2.根据权利要求1所述的异常宽带修正方法，其特征在于，所述获取第一宽带数据，并通过时间序列异常检测算法对所述第一宽带数据进行检测，得到具有第一标记的第一异常点，之前包括：
通过开源时序数据库管理系统对所述CDN业务宽带历史数据进行汇总统计，以获取具有固定粒度的所述第一宽带数据；
基于所述第一宽带数据，获取所述宽带曲线，所述宽带曲线由所述不同层级的CDN业务宽带历史数据构成。
3.根据权利要求1所述的异常宽带修正方法，其特征在于，所述获取第一宽带数据，并通过时间序列异常检测算法对所述第一宽带数据进行检测，得到具有第一标记的第一异常点，包括：
调用局部离群因子检测、聚类算法以及基于箱型图四分位距检测对所述第一宽带数据进行检测，确定所述第一异常点；
对所述第一异常点进行标记，以使所述第一异常点具有所述第一标记；
其中，所述时间序列异常检测算法至少包括所述局部离群因子检测、聚类算法以及基于箱型图四分位距检测。
4.根据权利要求3所述的异常宽带修正方法，其特征在于，所述调用拉格朗日插值法将所述具有第一标记的第一异常点根据宽带曲线进行多项式函数拟合，得到第一填补值，包括：
调用所述拉格朗日插值法将所述具有第一标记的第一异常点确定为第一缺失点；
以所述宽带曲线和所述第一缺失点位置为输入数据，计算拟合出所述宽带曲线的多项式函数，得到所述第一缺失点对应的所述第一填补值；
将所述第一填补值替换对应的所述第一缺失点对应的异常值，以对所述第一宽带数据进行修正。
5.根据权利要求1所述的异常宽带修正方法，其特征在于，所述将第一层级的所述第一宽带数据中的第一异常点替换为对应的所述第一填补值，并以所述第一层级为基准对第二层级的所述第一宽带数据中的第一异常点进行校验比对，以对所述第二层级的第一宽带数据进行对齐修正，包括：
基于将第一层级的所述第一宽带数据中的第一异常点替换为对应的所述第一填补值，获取修正前的所述第二层级的第一宽带数据与修正后的所述第一层级的第一宽带数据之间的误差；
以修正后的所述第一层级的第一宽带数据为基准，计算每个时间点修正前的所述第二层级的第一宽带数据对应的修正数据总和。
6.根据权利要求5所述的异常宽带修正方法，其特征在于，所述将第一层级的所述第一宽带数据中的第一异常点替换为对应的所述第一填补值，并以所述第一层级为基准对第二层级的所述第一宽带数据中的第一异常点进行校验比对，以对所述第二层级的第一宽带数据进行对齐修正，还包括：
基于修正前的所述第二层级的第一宽带数据与修正后的所述第一层级的第一宽带数据之间的误差，对修正前的所述第二层级的第一宽带数据进行缩放处理；
基于对修正前的所述第二层级的第一宽带数据进行缩放处理，对所述第二层级的第一宽带数据进行对齐修正。
7.根据权利要求1至6任一项所述的异常宽带修正方法，其特征在于，所述方法还包括：
调用滤波算法获取设置参数，所述设置参数至少包括窗口长度以及多项式拟合的阶数；
基于所述设置参数，在时域内对所述窗口长度内的所述第一宽带数据进行多项式拟合，以滤掉高频数据；
其中，所述窗口长度的取值为奇数且不超过所述第一宽带数据的最大长度，所述窗口长度越大，则所述宽带曲线越平滑，所述多项式拟合的阶数越小，则所述宽带曲线越平滑。
8.一种异常宽带修正装置，其特征在于，所述装置包括：
数据检测模块，用于获取第一宽带数据，并通过时间序列异常检测算法对所述第一宽带数据进行检测，得到具有第一标记的第一异常点，所述第一宽带数据为不同层级的CDN业务宽带历史数据；
函数拟合模块，用于调用拉格朗日插值法将所述具有第一标记的第一异常点根据宽带曲线进行多项式函数拟合，得到第一填补值，所述第一填补值用于替换所述第一异常点；
宽带修正模块，用于将第一层级的所述第一宽带数据中的第一异常点替换为对应的所述第一填补值，并以所述第一层级为基准对第二层级的所述第一宽带数据中的第一异常点进行校验比对，以对所述第二层级的第一宽带数据进行对齐修正；
其中，所述第二层级为所述第一层级的下一层级。
9.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311344300.7A CN117081909B (zh) | 2023-10-18 | 2023-10-18 | 异常宽带修正方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311344300.7A CN117081909B (zh) | 2023-10-18 | 2023-10-18 | 异常宽带修正方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117081909A CN117081909A (zh) | 2023-11-17 |
| CN117081909B true CN117081909B (zh) | 2024-02-27 |
Family
ID=88715706
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311344300.7A Active CN117081909B (zh) | 2023-10-18 | 2023-10-18 | 异常宽带修正方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117081909B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117436845B (zh) * | 2023-12-15 | 2024-04-09 | 山东齐芯智控科技有限公司 | 一种智慧小区供热系统异常数据监测方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013205894A (ja) * | 2012-03-27 | 2013-10-07 | Oki Electric Ind Co Ltd | 異常検出装置、プログラムおよび異常検出方法 |
| CN112671612A (zh) * | 2020-12-24 | 2021-04-16 | 深圳市高德信通信股份有限公司 | 一种基于cdn网络技术的网络带宽检测方法 |
| CN114285728A (zh) * | 2021-12-27 | 2022-04-05 | 中国电信股份有限公司 | 一种预测模型训练方法、流量预测方法、装置及存储介质 |
-
2023
- 2023-10-18 CN CN202311344300.7A patent/CN117081909B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013205894A (ja) * | 2012-03-27 | 2013-10-07 | Oki Electric Ind Co Ltd | 異常検出装置、プログラムおよび異常検出方法 |
| CN112671612A (zh) * | 2020-12-24 | 2021-04-16 | 深圳市高德信通信股份有限公司 | 一种基于cdn网络技术的网络带宽检测方法 |
| CN114285728A (zh) * | 2021-12-27 | 2022-04-05 | 中国电信股份有限公司 | 一种预测模型训练方法、流量预测方法、装置及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 数据异常值检测及修正方法研究;辛欣等;现代电子技术;第36卷(第11期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117081909A (zh) | 2023-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117081909B (zh) | 异常宽带修正方法、装置、电子设备及存储介质 | |
| CN111132145B (zh) | 网络通信安全监测方法、装置、服务器及网络通信系统 | |
| US20230140836A9 (en) | Anomaly detection method and device, terminal and storage medium | |
| CN109104731B (zh) | 小区场景类别划分模型的构建方法、装置和计算机设备 | |
| JP6811791B2 (ja) | テレコミュニケーションネットワークを監視するための方法および装置 | |
| JP7474864B2 (ja) | 故障セルの識別方法、電子機器、及びコンピュータ読み取り可能な媒体 | |
| CN114978956B (zh) | 智慧城市网络设备性能异常突变点检测方法及装置 | |
| Biener et al. | Grid reduction for energy system analysis | |
| CN111598457B (zh) | 一种电力无线网络质量的确定方法及装置 | |
| CN110011847B (zh) | 一种传感云环境下的数据源质量评估方法 | |
| CN110826606A (zh) | 要素匹配方法、装置、服务器及可读存储介质 | |
| CN111258968B (zh) | 企业冗余数据清理方法、装置及大数据平台 | |
| CN109784481B (zh) | 一种基于神经网络的调整方法、装置及设备 | |
| CN111680293A (zh) | 基于互联网的信息监控管理方法、装置及服务器 | |
| WO2022017231A1 (zh) | 训练通信决策模型的方法、电子设备、计算机可读介质 | |
| CN110990852B (zh) | 大数据安全防护方法、装置、服务器及可读存储介质 | |
| CN117376084A (zh) | 故障检测方法、电子设备及其介质 | |
| WO2023236548A1 (zh) | 网络配置参数的调整方法、装置及网管系统 | |
| CN112055076A (zh) | 基于互联网的多功能智能监控方法、装置及服务器 | |
| CN116545829A (zh) | 一种分层架构的设备异常检测方法及系统 | |
| CN108596230A (zh) | 一种参数自适应的密度峰值聚类方法 | |
| CN112055075B (zh) | 互联网产品监控方法、装置、服务器及可读存储介质 | |
| WO2022194099A1 (zh) | 模型训练方法、信道调整方法、电子设备和计算机可读存储介质 | |
| CN118246797A (zh) | 一种基于人工智能的工厂控制方法及系统 | |
| CN111132209A (zh) | 基于变分自编码器估计无线局域网络接入点吞吐量的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |