CN115408373A - 数据处理方法及设备、计算机可读存储介质 - Google Patents
数据处理方法及设备、计算机可读存储介质 Download PDFInfo
- Publication number
- CN115408373A CN115408373A CN202110575491.2A CN202110575491A CN115408373A CN 115408373 A CN115408373 A CN 115408373A CN 202110575491 A CN202110575491 A CN 202110575491A CN 115408373 A CN115408373 A CN 115408373A
- Authority
- CN
- China
- Prior art keywords
- time
- data
- value
- differential
- series data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 40
- 238000012545 processing Methods 0.000 claims abstract description 54
- 238000000034 method Methods 0.000 claims abstract description 27
- 238000004590 computer program Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 abstract description 11
- 238000011158 quantitative evaluation Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 15
- 238000012423 maintenance Methods 0.000 description 14
- 230000008859 change Effects 0.000 description 13
- 238000010606 normalization Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 4
- 230000002844 continuous effect Effects 0.000 description 4
- 230000000644 propagated effect Effects 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000002045 lasting effect Effects 0.000 description 3
- 230000000630 rising effect Effects 0.000 description 3
- 238000002759 z-score normalization Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
Abstract
本发明提供了一种数据处理方法及设备、计算机可读存储介质,其中,方法包括:对网络性能指标的第一时间序列数据进行差分处理,得到包括多个时刻的差分数据值的差分时间序列数据;根据各个时刻的差分数据值和预设阈值确定各个时刻的差分数据值的更新值,并根据所有更新值生成第二时间序列数据;对第一时间序列数据进行标准化处理,得到标准化时间序列数据;对标准化时间序列数据和第二时间序列数据进行合并处理,得到冲击特征时间序列数据。本发明实施例中,所得到的冲击特征时间序列数据能够体现冲击特征对时间序列带来的持续影响,可以用于对时间序列数据的冲击特征进行量化评估,从而能够满足数据检测需求。
Description
技术领域
本发明实施例涉及但不限于智能运维技术领域,尤其涉及一种数据处理方法及设备、计算机可读存储介质。
背景技术
在基于互联网系统的智能运维领域,时间序列是指将同一统计指标的数值按其发生的时间先后顺序排列而成的数列,所统计的指标可以是网络流量、时延以及丢包率等与智能运维领域相关的性能指标。对时间序列的数据分析是智能运维领域的一个主要研究课题,包括趋势分析、预测以及异常检测等研究方向,通过对时间序列进行数据分析可以了解性能指标的实际情况。以异常检测为例,当互联网环境网络发生异常,与互联网环境网络相关的性能指标的时间序列中的数据也会呈现出异常跳变,其主要表现形式之一是局部幅值突变,例如,出现短时冲击或者长时冲击的波动情况,针对时间序列做异常检测的主要目的就在于能够有效识别并提取如上所述的冲击特征。
目前,可以利用差分方法对冲击特征进行提取,即,可以根据由差分方法确定的差分值得到新的时间序列,从而通过新的时间序列提取冲击特征,但通过这种方式得到的时间序列只能体现冲击特征带来的边缘影响,无法满足数据检测需求。
发明内容
以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
本发明实施例提供了一种数据处理方法及设备、计算机可读存储介质,能够体现冲击特征对时间序列带来的持续影响,满足数据检测需求。
第一方面,本发明实施例提供了一种数据处理方法,包括:
对网络性能指标的第一时间序列数据进行差分处理,得到差分时间序列数据,所述差分时间序列数据包括多个时刻的差分数据值;
根据各个时刻的所述差分数据值和预设阈值确定各个时刻的所述差分数据值的更新值;
根据各个时刻的所述差分数据值的更新值生成第二时间序列数据;
对所述第一时间序列数据进行标准化处理,得到标准化时间序列数据;
对所述标准化时间序列数据和所述第二时间序列数据进行合并处理,得到冲击特征时间序列数据。
第二方面,本发明实施例还提供了一种设备,包括:
第一数据处理模块,用于对网络性能指标的第一时间序列数据进行差分处理,得到差分时间序列数据,所述差分时间序列数据包括多个时刻的差分数据值;
第二数据处理模块,用于根据各个时刻的所述差分数据值和预设阈值确定各个时刻的所述差分数据值的更新值;
第三数据处理模块,用于根据各个时刻的所述差分数据值的更新值生成第二时间序列数据;
第四数据处理模块,用于对所述第一时间序列数据进行标准化处理,得到标准化时间序列数据;
第五数据处理模块,用于对所述标准化时间序列数据和所述第二时间序列数据进行合并处理,得到冲击特征时间序列数据。
第三方面,本发明实施例还提供了一种设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上所述第一方面的数据处理方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,存储有计算机可执行指令,所述计算机可执行指令用于执行如上所述第一方面的数据处理方法。
本发明实施例包括:对网络性能指标的第一时间序列数据进行差分处理,得到差分时间序列数据,差分时间序列数据包括多个时刻的差分数据值;根据各个时刻的差分数据值和预设阈值确定各个时刻的差分数据值的更新值;根据各个时刻的差分数据值的更新值生成第二时间序列数据;对第一时间序列数据进行标准化处理,得到标准化时间序列数据;对标准化时间序列数据和第二时间序列数据进行合并处理,得到冲击特征时间序列数据。根据本发明实施例提供的方案,在获得差分时间序列数据中的多个时刻的差分数据值的情况下,通过更新各个时刻的差分数据值并相应生成第二时间序列数据,可以更准确地体现冲击特征对于差分时间序列数据在时延上的持续影响,进而对第二时间序列数据和由第一时间序列数据转化得到的标准化时间序列数据进行合并处理,以便于更准确地体现冲击特征对于第二时间序列数据在幅值上的持续影响,因此,基于一系列数据处理而得到的冲击特征时间序列数据能够体现冲击特征对时间序列带来的持续影响,能够良好表征原始的第一时间序列数据在各个时刻的冲击波动情况,可以用于对时间序列数据的冲击特征进行量化评估,从而能够满足数据检测需求。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明技术方案的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明的技术方案,并不构成对本发明技术方案的限制。
图1是本发明一个实施例提供的数据处理方法的流程图;
图2是本发明一个实施例提供的数据处理方法中得到差分时间序列数据的流程图;
图3是本发明一个实施例提供的数据处理方法中得到压缩时间序列数据的流程图;
图4是本发明一个实施例提供的数据处理方法中确定各个时刻的差分数据值的更新值的流程图;
图5是本发明另一个实施例提供的数据处理方法中确定各个时刻的差分数据值的更新值的流程图;
图6是本发明另一个实施例提供的数据处理方法中确定各个时刻的差分数据值的更新值的流程图;
图7是本发明一个实施例提供的数据处理方法中确定第一时刻的差分数据值的更新值的流程图;
图8是本发明另一个实施例提供的数据处理方法中确定第一时刻的差分数据值的更新值的流程图;
图9是本发明一个实施例提供的数据处理方法中得到冲击特征时间序列数据的流程图;
图10是本发明一个实施例提供的数据处理方法的执行示意图;
图11是本发明一个实施例提供的第一时间序列数据的示意图;
图12是本发明一个实施例提供的压缩时间序列数据的示意图;
图13是本发明一个实施例提供的差分时间序列数据的示意图;
图14是本发明一个实施例提供的第二时间序列数据的示意图;
图15是本发明一个实施例提供的标准化时间序列数据的示意图;
图16是本发明一个实施例提供的冲击特征时间序列数据的示意图;
图17是本发明一个实施例提供的设备的示意图;
图18是本发明另一个实施例提供的设备的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
需要注意的是,虽然在装置示意图中进行了功能模块划分,在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于装置中的模块划分,或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
本发明提供了一种数据处理方法及设备、计算机可读存储介质,在获得差分时间序列数据中的多个时刻的差分数据值的情况下,通过更新各个时刻的差分数据值并相应生成第二时间序列数据,可以更准确地体现冲击特征对于差分时间序列数据在时延上的持续影响,进而对第二时间序列数据和由第一时间序列数据转化得到的标准化时间序列数据进行合并处理,以便于更准确地体现冲击特征对于第二时间序列数据在幅值上的持续影响,因此,基于一系列数据处理而得到的冲击特征时间序列数据能够体现冲击特征对时间序列带来的持续影响,能够良好表征原始的第一时间序列数据在各个时刻的冲击波动情况,可以用于对时间序列数据的冲击特征进行量化评估,从而能够满足数据检测需求。
下面结合附图,对本发明实施例作进一步阐述。
如图1所示,图1是本发明一个实施例提供的数据处理方法的流程图,该数据处理方法包括但不限于步骤S100至S500。
步骤S100,对网络性能指标的第一时间序列数据进行差分处理,得到差分时间序列数据,差分时间序列数据包括多个时刻的差分数据值。
在一实施例中,网络性能指标可以但不限于为互联网环境下的任一相关性能指标,例如,可以为互联网环境在统计时间段内所流通的网络流量,也可以为互联网环境在统计时间段内的网络时延,也可以为互联网环境在统计时间段内的网络丢包数(丢包率),也可以为互联网环境所统计用户的网络平均速率等,这并未限制。
可以理解地是,互联网环境及其相应的智能运维系统的种类和条件并未限制,只需保证能够从智能运维系统下的互联网环境获取相关的网络性能指标即可,因此,本领域技术人员可以根据实际应用情况选择相应的智能运维系统以实现获取相关互联网环境下的网络性能指标,这并未限制。
在一实施例中,时间序列是指将所统计的同一网络性能指标的数据值按其发生的时间先后顺序排列而成的数列,时间序列数据对应于时间序列,用于体现相关网络性能指标的数据值在时延上的变化,即,针对时间序列数据,各个时刻分别对应各个幅值,从整体上呈现出幅值与时间的对应关系,其中,第一时间序列数据即原始的时间序列数据,换言之,第一时间序列数据即为通过智能运维系统直接统计相关网络性能指标而得到的。
在一实施例中,时间序列数据可以为在实时互联网环境下从网络性能指标获取到的,在这种情况下,通过获取网络性能指标在实时条件下的第一时间序列数据,可以获取网络性能指标的实时运维数据,从而了解网络性能指标的实时运维状态,同时,所获取的第一时间序列数据可以作为基础数据,使得后续步骤中可以基于第一时间序列数据以实现对网络性能指标的实时运维状态的进一步分析。
在一实施例中,时间序列数据可以为预先存储在数据资源库里的,在这种情况下,从数据资源库所获得的时间序列数据可能为网络性能指标的历史数据,即,该时间序列数据表征网络性能指标在过去某段时间内的运维状态,而并非实时运维状态,这在实际应用中也可能会出现,例如,针对网络性能指标的运维稳定性进行分析,由于数据资源库里存储有历史时间序列数据,因此可以基于该历史时间序列数据分析网络性能指标在过去某段时间内的运维状态,其中,数据资源库的类型和容量不受限定,只需设置为可匹配性地存储时间序列数据即可。
可以理解地是,上述关于获取时间序列数据的各个实施例的应用场景并不局限,可以对其进行相应演化及扩展,本领域技术人员也可以根据实际应用情况来进行设置,这并未限定。
在一实施例中,在获取到第一时间序列数据的情况下,通过对第一时间序列数据进行差分处理而得到多个时刻的差分数据值,能够消除第一时间序列数据中可能在某些时刻出现的趋势项,获得更能直观地体现冲击特征影响的差分时间序列数据,其中,每个时刻的差分数据值可以但不限于为第一时间序列数据中的后一时刻的幅值与前一时刻的幅值之差。
参照图2,步骤S100包括但不限于步骤S110至S120。
步骤S110,对网络性能指标的第一时间序列数据进行归一化处理,得到压缩时间序列数据;
步骤S120,对压缩时间序列数据进行差分处理,得到差分时间序列数据。
在一实施例中,通过对第一时间序列数据进行归一化处理,能够将第一时间序列数据中的各个时刻的数据值统一限制在同一值域内,可以减小因数据值过于繁杂而带来的处理麻烦,有利于提升数据处理的精确度和容易度,即,针对经归一化处理后的压缩时间序列数据,在对其进行差分处理时的难度相对降低,减小了数据计算的麻烦,使得差分处理更加可靠简便,最终得到差分时间序列数据,其中,每个时刻的差分数据值可以但不限于为压缩时间序列数据中的后一时刻的幅值与前一时刻的幅值之差。
可以理解地是,差分时间序列数据是由压缩时间序列数据通过差分处理而得到的,因此,压缩时间序列数据的值域范围与差分时间序列数据的值域范围是相同的,后续对差分时间序列数据进行处理的难度也会相对降低。
参照图3,步骤S110包括但不限于步骤S121至S123。
步骤S121,从网络性能指标的第一时间序列数据获取第一时间序列数据中的各个时刻的数据值;
步骤S122,将获取的第一时间序列数据的各个时刻的数据值分别对应转换为各个时刻的压缩数据值,其中,压缩数据值大于或等于零且小于或等于一;
步骤S123,根据各个时刻的压缩数据值生成压缩时间序列数据。
在一实施例中,通过将第一时间序列数据的各个时刻的数据值分别对应转换为各个时刻的压缩数据值,则可以基于各个时刻的压缩数据值生成压缩时间序列数据,在这之中,将压缩数据值的范围限制在0至1的标准化区间之内,可以减小数据计算的麻烦,而且考虑到目前计算机系统的应用条件,将相关数据进行归一化后再进行处理,能够更加容易匹配计算机系统的应用条件,有利于提升运算精度。
在一实施例中,对于本领域技术人员而言,压缩时间序列数据的压缩数据值的实际范围不一定限制在0至1之间,可以根据实际应用情况进行选择,相应地,所采用的压缩方式也可以根据实用情况进行选择,可以基于任一时刻的数据值与最大数据值、最小数据值之间的差异进行归一化处理等,例如,采用公式S=(St-min)/(max-min),其中,S为某时刻的压缩数据值,St为相应时刻的第一时间序列数据的数据值,max为第一时间序列数据中的最大数据值,min为第一时间序列数据中的最小数据值,这并未限制。
步骤S200,根据各个时刻的差分数据值和预设阈值确定各个时刻的差分数据值的更新值。
在一实施例中,考虑到差分数据值可能仅体现冲击特征在某一个时刻所造成的影响,而无法体现冲击特征在一段时间内的持续影响,因此,基于设定的预设阈值对各个时刻的差分数据值进行约束、限制处理,从而得到各个时刻的差分数据值的更新值,基于更新值更能够体现冲击特征的持续影响,以便于更可靠地体现第一时间序列数据在各个时刻的数据值的冲击波动情况。
在一实施例中,预设阈值可以但不限于包括一个阈值或多个不同的阈值,无论一个阈值还是多个不同的阈值,均可以用于配合各个时刻的差分数据值以确定各个时刻的差分数据值的更新值,因此,具体的预设阈值可以根据各个时刻的差分数据值的实际情况进行设置,这并未限制。
具体地,参照图4,在预设阈值包括第一阈值的情况下,且处于第一时刻的状态下,其中,第一时刻为除初始时刻之外的任意时刻,步骤S200包括但不限于步骤S210。
步骤S210,在第一时刻的差分数据值的绝对值小于或等于第一阈值的情况下,确定第一时刻的差分数据值的更新值为前一时刻的差分数据值,其中,第一时刻为除初始时刻之外的任意时刻。
在一实施例中,当第一时刻的差分数据值的绝对值小于或等于第一阈值,即,第一时间序列数据中相邻时刻之间的数据值的差值的绝对值小于或等于第一阈值,则说明第一时间序列数据在第一时刻及其相邻时刻的数据值的变化幅度并不较为显著,因此,为了体现冲击特征造成的持续影响,采用前一时刻的差分数据值代替第一时刻的差分数据值,相当于使得前一时刻的差分数据值向前传播,即,能够传播受到冲击影响更为显著的差分数据值,从而更容易体现冲击特征造成的持续影响。
可以理解地是,前一时刻的差分数据值必定为变化显著的差分数据值,可以假设,若前一时刻的差分数据值不为变化显著的差分数据值,则在这种情况下,前一时刻的差分数据值的绝对值必然满足小于或等于第一阈值的条件,因此,根据步骤210可知,前一时刻的差分数据值同样会被更早时刻的差分数据值所更新,以此类推,最终得到的前一时刻的差分数据值必定为变化显著的差分数据值,从而可以实现将变化显著的差分数据值持续地向前传播。
在一实施例中,第一阈值用于判定某时刻的差分数据值的变化程度是否显著,可以根据不同情况来相应设定其具体值,比如,针对网络性能指标分别为网络流量、时延以及丢包率等情况来相应设置第一阈值,这并未限制。
参照图5,当处于初始时刻的状态下,步骤S200包括但不限于步骤S220。
步骤S220,确定初始时刻的差分数据值的更新值为初始时刻的差分数据值。
在一实施例中,由于初始时刻之前不存在其它任意时刻,因此,初始时刻的差分数据值可以看作一开始就实现显著变化的差分数据值,为了体现冲击特征造成的持续影响,可以保留初始时刻的差分数据值以向前传播,即,初始时刻的差分数据值是显著变化的,参照前述步骤S210,显然地,初始时刻的差分数据值在相应条件下可以作为与初始时刻相邻的下一时刻的差分数据值的更新值。
进一步地,参照图6,在预设阈值包括第一阈值和第二阈值的情况下,且处于第一时刻的状态下,其中,第一时刻为除初始时刻之外的任意时刻,步骤S200还包括但不限于步骤S230。
步骤S230,在第一时刻的差分数据值的绝对值大于第一阈值的情况下,根据前一时刻的差分数据值与第一时刻的差分数据值之积以及第二阈值确定第一时刻的差分数据值的更新值。
在一实施例中,当第一时刻的差分数据值的绝对值大于第一阈值,即,第一时间序列数据中相邻时刻之间的数据值的差值的绝对值大于第一阈值,则说明第一时间序列数据在第一时刻及其相邻时刻的数据值的变化幅度相对较为显著,在这种情况下,具体考虑到两个时刻的差分数据值的连续变化趋势而可能对变化幅度带来的影响,例如,可以是先升后降、先降后升、连续下降以及连续上升等造成的影响,因此可以通过两个时刻的差分数据值之积配合第二阈值来共同确定第一时刻的差分数据值的更新值,使得更新后的第一时刻的差分数据值能够向前传播,即,能够传播受到冲击影响更为显著的差分数据值,从而更容易体现冲击特征造成的持续影响。
可以理解地是,与第一阈值类似地,第二阈值也可以根据不同情况来相应设定其具体值,比如,针对网络性能指标分别为网络流量、时延以及丢包率等情况来相应设置第二阈值,这并未限制。
参照图7,在第二阈值为零的情况下,且处于第一时刻的状态下,其中,第一时刻为除初始时刻之外的任意时刻,步骤S230包括但不限于步骤S231。
步骤S231,在前一时刻的差分数据值与第一时刻的差分数据值之积大于零的情况下,确定第一时刻的差分数据值的更新值为前一时刻的差分数据值与第一时刻的差分数据值之和。
在一实施例中,当前一时刻的差分数据值与第一时刻的差分数据值之积大于零,则说明在前一时刻到第一时刻的差分数据值是连续上升或者连续下降的,在这种情形下,冲击特征持续影响前一时刻和第一时刻的差分数据值,因此,为了体现冲击特征造成的持续影响,采用前一时刻的差分数据值与第一时刻的差分数据值之和代替第一时刻的差分数据值,相当于使得受到显著影响的两个时刻的差分数据值同时向前传播,即,能够传播受到冲击影响更为显著的差分数据值,从而更容易体现冲击特征造成的持续影响。
参照图8,在第二阈值为零的情况下,且处于第一时刻的状态下,其中,第一时刻为除初始时刻之外的任意时刻,步骤S230还包括但不限于步骤S232。
步骤S232,在前一时刻的差分数据值与第一时刻的差分数据值之积小于或等于零的情况下,确定第一时刻的差分数据值的更新值为第一时刻的差分数据值。
在一实施例中,当前一时刻的差分数据值与第一时刻的差分数据值之积小于或等于零,则说明在前一时刻到第一时刻的差分数据值是先升后降或者先降后升的,在这种情形下,由于第一时刻的差分数据值经历了两次突变影响,因此可知冲击特征的影响在第一时刻会达到更显著的状态,因此,为了体现冲击特征造成的持续影响,可以不更新第一时刻的差分数据值,而是直接采用第一时刻的差分数据值作为第一时刻的差分数据值的更新值,相当于直接将第一时刻的差分数据值向前进行传播,即,能够传播受到冲击影响更为显著的第一时刻的差分数据值,从而更容易体现冲击特征造成的持续影响。
步骤S300,根据各个时刻的差分数据值的更新值生成第二时间序列数据。
在一实施例中,当确定了各个时刻的差分数据值的更新值,即获得了各个时刻的受到冲击影响更为显著的差分数据值,因此,基于各个时刻的差分数据值的更新值而生成的第二时间序列数据,能够更容易体现冲击特征造成的持续影响,从而准确地呈现第一时间序列数据在各个时刻受到的冲击波动情况。
步骤S400,对第一时间序列数据进行标准化处理,得到标准化时间序列数据。
在一实施例中,通过对第一时间序列数据进行标准化处理而得到标准化时间序列数据,在标准化时间序列数据中,各个时刻的数据值被归化到相应幅值范围内,以便于更准确可靠地了解各个时刻的数据值在幅值上的波动情况,例如,采用零均值(Z-Score)标准化方式处理第一时间序列数据而得到标准化时间序列数据,其中,处于平均值附近的相应时刻的数据值即代表正常范围水平的数据值,或者说,即代表受到冲击影响相对较小的数据值,而受到冲击影响相对较大的数据值,则远离平均值附近。
在一实施例中,对第一时间序列数据进行标准化处理的方式不限制,除了上述的Z-Score标准化之外,还可以根据实际情况进行选择,由于Z-Score标准化处理方式是本领域技术人员所熟知的,因此,为免冗余,在此不作赘述。
步骤S500,对标准化时间序列数据和第二时间序列数据进行合并处理,得到冲击特征时间序列数据。
在一实施例中,由于标准化时间序列数据的各个时刻的数据值被归化到相应幅值范围内,可以表征各个时刻的数据值在幅值上的波动情况,且第二时间序列数据可以直观地体现冲击特征在时延上造成的持续影响,因此,通过将两者进行合并而得到的冲击特征时间序列数据,能够良好表征原始的第一时间序列数据在各个时刻的冲击波动情况,可以用于对初始的第一时间序列数据的冲击特征进行量化评估,从而能够满足数据检测需求。
参照图9,步骤S500包括但不限于步骤S510至步骤S530。
步骤S510,从标准化时间序列数据获取标准化时间序列数据中的各个时刻的数据值,并从第二时间序列数据获取第二时间序列数据中的各个时刻的数据值;
步骤S520,将获取的标准化时间序列数据和第二时间序列数据中的对应时刻的数据值相乘并取绝对值,得到各个时刻的目标数据值;
步骤S530,根据各个时刻的目标数据值生成冲击特征时间序列数据。
在一实施例中,通过将标准化时间序列数据和第二时间序列数据中的对应时刻的数据值相乘并取绝对值,可以使得标准化时间序列数据中对应为平均值附近的时刻的数据值的冲击强度将会被相应地抑制,同样使得标准化时间序列数据中对应为远离平均值附近的时刻的数据值的冲击强度将会维持,结合第二时间序列数据中具有显著特征的差分数据值,因此可以得到能够满足数据检测需求的冲击特征时间序列数据。
可以理解地是,针对上述各实施例提供的数据处理方法,无需对相应的时间序列数据建模即可进行应用,因此,相比于现有的建模处理方式,上述各实施例提供的数据处理方法的计算量和计算复杂度均大大降低,而且考虑到不同预测模型都具有其各自的局限性,仅基于建模方式而得到的预测模型数据不具有广泛的通用性,不能保证准确地评估时间序列数据受到的冲击影响,可知上述各实施例提供的数据处理方法具有更可靠的应用前景。
为了更清楚地阐述上述各实施例的工作原理,以下给出具体示例进行相应说明。
示例一
参照图10,图10是本发明一个实施例提供的数据处理方法的执行示意图。
如图10所示,在获取到第一时间序列数据(记为X)的情况下,分两个方向对X进行处理:一方面,通过归一化处理得到压缩时间序列数据(记为X1),然后对X1进行差分处理而得到差分时间序列数据(记为X2),然后对X2进行前向传播处理而得到第二时间序列数据(记为X3);另一方面,对X进行Z-Score标准化处理而得到标准化时间序列数据(记为X4)。最终,将X3和X4进行合并处理,得到冲击特征时间序列数据(记为Y)。
示例二
参照图11至16,图11是本发明一个实施例提供的第一时间序列数据的示意图,图12是本发明一个实施例提供的压缩时间序列数据的示意图,图13是本发明一个实施例提供的差分时间序列数据的示意图,图14是本发明一个实施例提供的第二时间序列数据的示意图,图15是本发明一个实施例提供的标准化时间序列数据的示意图,图16是本发明一个实施例提供的冲击特征时间序列数据的示意图。
首先,根据图11和图12可知,从X转换为X1,对于冲击特征影响的呈现没有改变,只是在幅值上进行了限制,即,使得X1的幅值范围处于0至1之间。
其次,根据图12和图13可知,由于X1的幅值范围处于0至1之间,因此,X2的幅值范围也相应被限制在0至1之间,并且,图13中的X2并不能体现图12中的X1的冲击影响,例如,在0至50的时刻点之间,X1中存在受到连续冲击影响的时刻,其幅值大约从0.7附近冲击到0附近,然后在0附近持续一段时间,而X2中仅呈现出一个突变尖点,即,X2仅体现出X1中的冲击特征的边缘影响,而并未体现出X1中的冲击特征的持续影响。
进一步地,根据图12、图13和图14可知,相比于X2,X3中的第二时间序列数据则能够较好地体现冲击特征的持续影响,例如,在0至50的时刻点之间,X1中存在受到连续冲击影响的时刻,X2中在相应时刻仅呈现出一个突变尖点,而X3在相应时刻的幅值呈现为先突变再维持一段时间,即,与X1相应时刻的冲击特征相对应,可以看出,X3能够较好地体现冲击特征的持续影响。
进一步地,根据图11和图15可知,X4相比于X1,对于冲击特征影响的呈现没有改变,只是将幅值进行了标准化处理,其中,平均值为0,相应地,处于0附近的相应时刻的数据值即代表正常范围水平的数据值,而受到冲击影响相对较大的数据值则远离0附近,靠近1附近。
进一步地,根据图11至图16可知,通过将X4和X3中的对应时刻的数据值相乘并取绝对值,可以使得X4中对应为0附近的时刻的数据值的冲击强度将会被相应地抑制,同样使得X4中对应为靠近1附近的时刻的数据值的冲击强度将会维持,从而得到满足要求的Y,Y能够良好表征X在各个时刻的冲击波动情况,可以用于对X的冲击特征进行量化评估,例如,在0至50的时刻点之间,X中存在受到连续冲击影响的时刻,在Y中同样能够体现出相应的连续冲击影响。
另外,参照图17,本发明的一个实施例提供了一种设备,包括:
第一数据处理模块200,用于对网络性能指标的第一时间序列数据进行差分处理,得到差分时间序列数据,差分时间序列数据包括多个时刻的差分数据值;
第二数据处理模块300,用于根据各个时刻的差分数据值和预设阈值确定各个时刻的差分数据值的更新值;
第三数据处理模块400,用于根据各个时刻的差分数据值的更新值生成第二时间序列数据;
第四数据处理模块500,用于对第一时间序列数据进行标准化处理,得到标准化时间序列数据;
第五数据处理模块600,用于对标准化时间序列数据和第二时间序列数据进行合并处理,得到冲击特征时间序列数据。
在一实施例中,在通过第一数据处理模块200获得差分时间序列数据中的多个时刻的差分数据值的情况下,利用第三数据处理模块400通过更新各个时刻的差分数据值以相应生成第二时间序列数据,可以更准确地体现冲击特征对于差分时间序列数据在时延上的持续影响,进而利用第五数据处理模块600对第二时间序列数据和由第一时间序列数据转化得到的标准化时间序列数据进行合并处理,以便于更准确地体现冲击特征对于第二时间序列数据在幅值上的持续影响,因此,基于一系列模块处理而得到的冲击特征时间序列数据能够体现冲击特征对时间序列带来的持续影响,能够良好表征原始的第一时间序列数据在各个时刻的冲击波动情况,可以用于对时间序列数据的冲击特征进行量化评估,从而能够满足数据检测需求。
另外,参照图18,本发明的一个实施例还提供了一种设备700,该设备700包括:存储器710、处理器720及存储在存储器710上并可在处理器720上运行的计算机程序。
处理器720和存储器710可以通过总线或者其他方式连接。
实现上述实施例的数据处理方法所需的非暂态软件程序以及指令存储在存储器710中,当被处理器720执行时,执行上述各实施例的数据处理方法,例如,执行以上描述的图1中的方法步骤S100至S500、图2中的方法步骤S110至S120、图3中的方法步骤S121至S123、图4中的方法步骤S210、图5中的方法步骤S220、图6中的方法步骤S230、图7中的方法步骤S231、图8中的方法步骤S232或图9中的方法步骤S510至S530。
以上所描述的装置实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
此外,本发明的一个实施例还提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机可执行指令,该计算机可执行指令被一个处理器720或控制器执行,例如,被上述设备实施例中的一个处理器720执行,可使得上述处理器720执行上述实施例中的数据处理方法,例如,执行以上描述的图1中的方法步骤S100至S500、图2中的方法步骤S110至S120、图3中的方法步骤S121至S123、图4中的方法步骤S210、图5中的方法步骤S220、图6中的方法步骤S230、图7中的方法步骤S231、图8中的方法步骤S232或图9中的方法步骤S510至S530。
本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器,如中央处理器、数字信号处理器或微处理器执行的软件,或者被实施为硬件,或者被实施为集成电路,如专用集成电路。这样的软件可以分布在计算机可读介质上,计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的,术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外,本领域普通技术人员公知的是,通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据,并且可包括任何信息递送介质。
以上是对本发明的较佳实施方式进行的具体说明,但本发明并不局限于上述实施方式,熟悉本领域的技术人员在不违背本发明精神的前提下还可作出种种的等同变形或替换,这些等同的变形或替换均包含在本发明权利要求所限定的范围内。
Claims (12)
1.一种数据处理方法,包括:
对网络性能指标的第一时间序列数据进行差分处理,得到差分时间序列数据,所述差分时间序列数据包括多个时刻的差分数据值;
根据各个时刻的所述差分数据值和预设阈值确定各个时刻的所述差分数据值的更新值;
根据各个时刻的所述差分数据值的更新值生成第二时间序列数据;
对所述第一时间序列数据进行标准化处理,得到标准化时间序列数据;
对所述标准化时间序列数据和所述第二时间序列数据进行合并处理,得到冲击特征时间序列数据。
2.根据权利要求1的数据处理方法,其特征在于,所述预设阈值包括第一阈值;
所述根据各个时刻的所述差分数据值和预设阈值确定各个时刻的所述差分数据值的更新值,包括:
当处于第一时刻,在所述第一时刻的所述差分数据值的绝对值小于或等于所述第一阈值的情况下,确定所述第一时刻的所述差分数据值的更新值为前一时刻的所述差分数据值,其中,所述第一时刻为除初始时刻之外的任意时刻。
3.根据权利要求2的数据处理方法,其特征在于,所述预设阈值还包括第二阈值;
所述根据各个时刻的所述差分数据值和预设阈值确定各个时刻的所述差分数据值的更新值,还包括:
在所述第一时刻的所述差分数据值的绝对值大于所述第一阈值的情况下,根据前一时刻的所述差分数据值与所述第一时刻的所述差分数据值之积以及所述第二阈值确定所述第一时刻的差分数据值的更新值。
4.根据权利要求3的数据处理方法,其特征在于,所述第二阈值为零;
所述根据前一时刻的所述差分数据值与所述第一时刻的所述差分数据值之积以及所述第二阈值确定所述第一时刻的差分数据值的更新值,包括:
在前一时刻的所述差分数据值与所述第一时刻的所述差分数据值之积大于零的情况下,确定所述第一时刻的所述差分数据值的更新值为前一时刻的所述差分数据值与所述第一时刻的所述差分数据值之和。
5.根据权利要求3所述的数据处理方法,其特征在于,所述第二阈值为零;
所述根据前一时刻的所述差分数据值与所述第一时刻的所述差分数据值之积以及所述第二阈值确定所述第一时刻的差分数据值的更新值,包括:
在前一时刻的所述差分数据值与所述第一时刻的所述差分数据值之积小于或等于零的情况下,确定所述第一时刻的所述差分数据值的更新值为所述第一时刻的所述差分数据值。
6.根据权利要求1的数据处理方法,其特征在于,所述根据各个时刻的所述差分数据值和预设阈值确定各个时刻的所述差分数据值的更新值,包括:
当处于初始时刻,确定所述初始时刻的所述差分数据值的更新值为所述初始时刻的所述差分数据值。
7.根据权利要求1所述的数据处理方法,其特征在于,所述对所述标准化时间序列数据和所述第二时间序列数据进行合并处理,得到冲击特征时间序列数据,包括:
从所述标准化时间序列数据获取所述标准化时间序列数据中的各个时刻的数据值,并从所述第二时间序列数据获取所述第二时间序列数据中的各个时刻的数据值;
将获取的所述标准化时间序列数据和所述第二时间序列数据中的对应时刻的所述数据值相乘并取绝对值,得到各个时刻的目标数据值;
根据各个时刻的所述目标数据值生成冲击特征时间序列数据。
8.根据权利要求1所述的数据处理方法,其特征在于,所述对网络性能指标的第一时间序列数据进行差分处理,得到差分时间序列数据,包括:
对网络性能指标的第一时间序列数据进行归一化处理,得到压缩时间序列数据;
对所述压缩时间序列数据进行差分处理,得到差分时间序列数据。
9.根据权利要求8所述的数据处理方法,其特征在于,所述对网络性能指标的第一时间序列数据进行归一化处理,得到压缩时间序列数据,包括:
从网络性能指标的第一时间序列数据获取所述第一时间序列数据中的各个时刻的数据值;
将获取的所述第一时间序列数据的各个时刻的所述数据值分别对应转换为各个时刻的压缩数据值,其中,所述压缩数据值大于或等于零且小于或等于一;
根据各个时刻的所述压缩数据值生成压缩时间序列数据。
10.一种设备,其特征在于,包括:
第一数据处理模块,用于对网络性能指标的第一时间序列数据进行差分处理,得到差分时间序列数据,所述差分时间序列数据包括多个时刻的差分数据值;
第二数据处理模块,用于根据各个时刻的所述差分数据值和预设阈值确定各个时刻的所述差分数据值的更新值;
第三数据处理模块,用于根据各个时刻的所述差分数据值的更新值生成第二时间序列数据;
第四数据处理模块,用于对所述第一时间序列数据进行标准化处理,得到标准化时间序列数据;
第五数据处理模块,用于对所述标准化时间序列数据和所述第二时间序列数据进行合并处理,得到冲击特征时间序列数据。
11.一种设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至9中任意一项所述的数据处理方法。
12.一种计算机可读存储介质,存储有计算机可执行指令,所述计算机可执行指令用于执行权利要求1至9中任意一项所述的数据处理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110575491.2A CN115408373A (zh) | 2021-05-26 | 2021-05-26 | 数据处理方法及设备、计算机可读存储介质 |
PCT/CN2022/091033 WO2022247600A1 (zh) | 2021-05-26 | 2022-05-05 | 数据处理方法及设备、计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110575491.2A CN115408373A (zh) | 2021-05-26 | 2021-05-26 | 数据处理方法及设备、计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115408373A true CN115408373A (zh) | 2022-11-29 |
Family
ID=84156504
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110575491.2A Pending CN115408373A (zh) | 2021-05-26 | 2021-05-26 | 数据处理方法及设备、计算机可读存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN115408373A (zh) |
WO (1) | WO2022247600A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116316586A (zh) * | 2023-03-15 | 2023-06-23 | 国网湖北省电力有限公司随州供电公司 | 一种采用跳变分析法对电力系统中功率跳变溯源的方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6223936B2 (ja) * | 2014-09-12 | 2017-11-01 | 株式会社日立ハイテクノロジーズ | 異常傾向検出方法およびシステム |
CN107303177B (zh) * | 2016-04-15 | 2020-04-14 | 中国科学院微电子研究所 | 一种心电图t波、p波的检测方法及系统 |
JP6602256B2 (ja) * | 2016-05-17 | 2019-11-06 | Kddi株式会社 | 相互相関に基づいて時系列変化点を検出可能なプログラム、装置及び方法 |
CN108333606A (zh) * | 2018-01-02 | 2018-07-27 | 杭州普玄物联科技有限公司 | 定位方法及系统 |
CN108763048B (zh) * | 2018-06-05 | 2021-01-19 | 西安交通大学 | 一种基于粒子滤波的硬盘故障预警与可靠性评估方法 |
CN110213125A (zh) * | 2019-05-23 | 2019-09-06 | 南京维拓科技股份有限公司 | 一种云环境下基于时序数据的异常检测系统 |
-
2021
- 2021-05-26 CN CN202110575491.2A patent/CN115408373A/zh active Pending
-
2022
- 2022-05-05 WO PCT/CN2022/091033 patent/WO2022247600A1/zh unknown
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116316586A (zh) * | 2023-03-15 | 2023-06-23 | 国网湖北省电力有限公司随州供电公司 | 一种采用跳变分析法对电力系统中功率跳变溯源的方法 |
CN116316586B (zh) * | 2023-03-15 | 2023-10-10 | 国网湖北省电力有限公司随州供电公司 | 一种采用跳变分析法对电力系统中功率跳变溯源的方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2022247600A1 (zh) | 2022-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2021232839B2 (en) | Updating Attribute Data Structures to Indicate Trends in Attribute Data Provided to Automated Modelling Systems | |
CN109063920B (zh) | 一种交易风险识别方法、装置、及计算机设备 | |
US7778715B2 (en) | Methods and systems for a prediction model | |
US9996444B2 (en) | Automated methods and systems for calculating hard thresholds | |
EP3678072A1 (en) | Model integration method and device | |
CN109214421B (zh) | 一种模型训练方法、装置、及计算机设备 | |
CN111045894B (zh) | 数据库异常检测方法、装置、计算机设备和存储介质 | |
CN111105786B (zh) | 一种多采样率语音识别方法、装置、系统及存储介质 | |
CN111639798A (zh) | 智能的预测模型选择方法及装置 | |
JP2015176175A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
CN113837596A (zh) | 一种故障确定方法、装置、电子设备及存储介质 | |
CN115794578A (zh) | 一种电力系统的数据管理方法、装置、设备及介质 | |
CN114168419A (zh) | 负载预测方法、系统、设备及计算机可读存储介质 | |
CN114090393B (zh) | 一种告警级别的确定方法、装置及设备 | |
CN115408373A (zh) | 数据处理方法及设备、计算机可读存储介质 | |
CN114978877A (zh) | 一种异常处理方法、装置、电子设备及计算机可读介质 | |
CN116977064A (zh) | 一种基于损失函数的风控模型构建方法、系统及装置 | |
CN116909712A (zh) | 基于机器学习的智能任务调度系统及其方法 | |
CN115600818A (zh) | 多维评分方法、装置、电子设备和存储介质 | |
CN113516185B (zh) | 模型训练的方法、装置、电子设备及存储介质 | |
CN115278757A (zh) | 一种检测异常数据的方法、装置及电子设备 | |
CN112398706B (zh) | 数据评估标准确定方法、装置及存储介质、电子设备 | |
CN112149833B (zh) | 基于机器学习的预测方法、装置、设备和存储介质 | |
CN113592136A (zh) | 一种交通数据预测方法、装置及电子设备 | |
CN112308294A (zh) | 违约概率预测方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |