CN110008096B - 数据监测方法、装置、电子设备及计算机可读存储介质 - Google Patents
数据监测方法、装置、电子设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN110008096B CN110008096B CN201811446352.4A CN201811446352A CN110008096B CN 110008096 B CN110008096 B CN 110008096B CN 201811446352 A CN201811446352 A CN 201811446352A CN 110008096 B CN110008096 B CN 110008096B
- Authority
- CN
- China
- Prior art keywords
- data
- value
- prediction
- entropy
- monitoring interval
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 185
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000002159 abnormal effect Effects 0.000 claims abstract description 76
- 230000005856 abnormality Effects 0.000 claims description 22
- 238000012549 training Methods 0.000 claims description 20
- 238000012806 monitoring device Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000015654 memory Effects 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 11
- 230000007246 mechanism Effects 0.000 abstract description 7
- 238000004458 analytical method Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 16
- 238000012360 testing method Methods 0.000 description 9
- 230000001960 triggered effect Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 6
- 238000011161 development Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000007405 data analysis Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- YHXISWVBGDMDLQ-UHFFFAOYSA-N moclobemide Chemical compound C1=CC(Cl)=CC=C1C(=O)NCCN1CCOCC1 YHXISWVBGDMDLQ-UHFFFAOYSA-N 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3447—Performance evaluation by modeling
Abstract
本发明实施例公开了一种数据监测方法、装置、电子设备及计算机可读存储介质，所述方法包括：确定数据异常监测区间，其中，所述数据异常监测区间由第一数据异常阈值和第二数据异常阈值组成，所述第一数据异常阈值大于所述第二数据异常阈值；获取预设时间段内待监测数据与所述第一数据异常阈值或第二数据异常阈值之间的差值序列；当所述差值序列满足预设条件时，触发报警操作。上述技术方案通过对于系统数据的分析，设置了深度数据异常自动监测机制，以对于系统数据可能发生的故障进行准确预警，进而实现有效预防故障、避免资产损失的效果，同时，该技术方案主要依靠数据自动分析，因此还能够大量节省人力成本的投入。
Description
技术领域
本发明实施例涉及数据处理技术领域，具体涉及一种数据监测方法、装置、电子设备及计算机可读存储介质。
背景技术
随着数据技术的发展，电子商务平台应运而生，而电子商务平台业务的迅速发展对于平台数据系统的安全保障提出了很高的要求。系统链路的压力测试是预防系统数据故障的有效途径，但在压力测试过程中，如果加压过高容易造成链路故障，导致资产损失，压力过低又达不到测试要求，因此压力的设置非常重要。现有技术中，通常采用两种监测方法，一种方法是人工监测，即依靠人工经验判断监控指标是否正常，这种方案不仅需要花费的人力成本极高，而且受个人主观影响较大，无法保证监测判断结果的客观性和可靠性，同时人工疲劳也极易导致判断的失误；另一种方法是数据分析判断，即利用大数据分析方法确定异常数据的共同点，分析得到出现异常现象的主要因素，以在下一次发生异常时能够快速进行识别，该方案的缺点是，其仍需要大量人工进行分析工作，更重要的是，该方案具有滞后性，无法提前预警故障的发生，因此不能有效避免资产损失。
发明内容
本发明实施例提供一种数据监测方法、装置、电子设备及计算机可读存储介质。
第一方面，本发明实施例中提供了一种数据监测方法。
具体的，所述数据监测方法，包括：
确定数据异常监测区间，其中，所述数据异常监测区间由第一数据异常阈值和第二数据异常阈值组成，所述第一数据异常阈值大于所述第二数据异常阈值；
获取预设时间段内待监测数据与所述第一数据异常阈值或第二数据异常阈值之间的差值序列；
当所述差值序列满足预设条件时，触发报警操作。
结合第一方面，本发明实施例在第一方面的第一种实现方式中，所述确定数据异常监测区间，包括：
获取第一预设历史时间段内的第一历史数据，并提取所述第一历史数据的特征值；
根据所述第一历史数据的特征值训练得到特征预测模型，并利用所述特征预测模型预测得到第一预设未来时间段内所述待监测数据的预测特征值；
根据所述预测特征值确定所述数据异常监测区间。
结合第一方面和第一方面的第一种实现方式，本发明实施例在第一方面的第二种实现方式中，所述获取第一预设历史时间段内的第一历史数据，并提取所述第一历史数据的特征值，包括：
获取第一预设历史时间段内的第一历史数据；
将所述第一历史数据按照预设长度分为两个或多个数据段；
分别计算所述数据段的第一特征值和第二特征值。
结合第一方面、第一方面的第一种实现方式和第一方面的第二种实现方式，本公开在第一方面的第三种实现方式中，所述根据所述第一历史数据的特征值训练得到特征预测模型，并利用所述特征预测模型预测得到第一预设未来时间段内所述待监测数据的预测特征值，包括：
根据所述数据段的第一特征值和第二特征值训练得到特征预测模型；
利用所述特征预测模型预测得到第一预设未来时间段内所述待监测数据的第一预测特征值和第二预测特征值。
结合第一方面、第一方面的第一种实现方式、第一方面的第二种实现方式和第一方面的第三种实现方式，本公开在第一方面的第四种实现方式中，所述根据所述预测特征值确定所述数据异常监测区间，包括：
设置数据异常监测区间系数；
计算所述数据异常监测区间系数与所述第二预测特征值的乘积；
将所述第一预测特征值与所述乘积之间的和确定为所述第一数据异常阈值，将所述第一预测特征值与所述乘积之间的差的绝对值确定为所述第二数据异常阈值，得到所述数据异常监测区间。
结合第一方面、第一方面的第一种实现方式、第一方面的第二种实现方式、第一方面的第三种实现方式和第一方面的第四种实现方式，本公开在第一方面的第五种实现方式中，所述当所述差值序列满足预设条件时，触发报警操作，包括：
确定熵值异常监测区间；
计算所述差值序列的熵值；
当所述熵值超出所述熵值异常监测区间时，触发报警操作。
结合第一方面、第一方面的第一种实现方式、第一方面的第二种实现方式、第一方面的第三种实现方式、第一方面的第四种实现方式和第一方面的第五种实现方式，本公开在第一方面的第六种实现方式中，所述确定熵值异常监测区间，包括：
获取第二预设历史时间段内的第二历史数据，并计算所述第二历史数据与所述第一数据异常阈值或第二数据异常阈值之间的差值序列的历史熵值；
根据所述历史熵值训练得到熵预测模型，并利用所述熵预测模型预测得到第二预设未来时间段内待监测差值序列的预测熵值；
根据所述预测熵值确定所述熵值异常监测区间。
第二方面，本发明实施例中提供了一种数据监测装置。
具体的，所述数据监测装置，包括：
确定模块，被配置为确定数据异常监测区间，其中，所述数据异常监测区间由第一数据异常阈值和第二数据异常阈值组成，所述第一数据异常阈值大于所述第二数据异常阈值；
获取模块，被配置为获取预设时间段内待监测数据与所述第一数据异常阈值或第二数据异常阈值之间的差值序列；
触发模块，被配置为当所述差值序列满足预设条件时，触发报警操作。结合第二方面，本发明实施例在第二方面的第一种实现方式中，所述确定模块包括：
第一获取子模块，被配置为获取第一预设历史时间段内的第一历史数据，并提取所述第一历史数据的特征值；
第一预测子模块，被配置为根据所述第一历史数据的特征值训练得到特征预测模型，并利用所述特征预测模型预测得到第一预设未来时间段内所述待监测数据的预测特征值；
第一确定子模块，被配置为根据所述预测特征值确定所述数据异常监测区间。
结合第二方面和第二方面的第一种实现方式，本发明实施例在第二方面的第二种实现方式中，所述第一获取子模块包括：
第二获取子模块，被配置为获取第一预设历史时间段内的第一历史数据；
划分子模块，被配置为将所述第一历史数据按照预设长度分为两个或多个数据段；
第一计算子模块，被配置为分别计算所述数据段的第一特征值和第二特征值。
结合第二方面、第二方面的第一种实现方式和第二方面的第二种实现方式，本公开在第二方面的第三种实现方式中，所述第一预测子模块包括：
训练子模块，被配置为根据所述数据段的第一特征值和第二特征值训练得到特征预测模型；
第二预测子模块，被配置为利用所述特征预测模型预测得到第一预设未来时间段内所述待监测数据的第一预测特征值和第二预测特征值。
结合第二方面、第二方面的第一种实现方式、第二方面的第二种实现方式和第二方面的第三种实现方式，本公开在第二方面的第四种实现方式中，所述第一确定子模块包括：
设置子模块，被配置为设置数据异常监测区间系数；
第二计算子模块，被配置为计算所述数据异常监测区间系数与所述第二预测特征值的乘积；
第二确定子模块，被配置为将所述第一预测特征值与所述乘积之间的和确定为所述第一数据异常阈值，将所述第一预测特征值与所述乘积之间的差的绝对值确定为所述第二数据异常阈值，得到所述数据异常监测区间。
结合第二方面、第二方面的第一种实现方式、第二方面的第二种实现方式、第二方面的第三种实现方式和第二方面的第四种实现方式，本公开在第二方面的第五种实现方式中，所述触发模块包括：
第三确定子模块，被配置为确定熵值异常监测区间；
第三计算子模块，被配置为计算所述差值序列的熵值；
触发子模块，被配置为当所述熵值超出所述熵值异常监测区间时，触发报警操作。
结合第二方面、第二方面的第一种实现方式、第二方面的第二种实现方式、第二方面的第三种实现方式、第二方面的第四种实现方式和第二方面的第五种实现方式，本公开在第二方面的第六种实现方式中，所述第三确定子模块包括：
第三获取子模块，被配置为获取第二预设历史时间段内的第二历史数据，并计算所述第二历史数据与所述第一数据异常阈值或第二数据异常阈值之间的差值序列的历史熵值；
第三预测子模块，被配置为根据所述历史熵值训练得到熵预测模型，并利用所述熵预测模型预测得到第二预设未来时间段内待监测差值序列的预测熵值；
第四确定子模块，被配置为根据所述预测熵值确定所述熵值异常监测区间。
第三方面，本发明实施例提供了一种电子设备，包括存储器和处理器，所述存储器用于存储一条或多条支持数据监测装置执行上述第一方面中数据监测方法的计算机指令，所述处理器被配置为用于执行所述存储器中存储的计算机指令。所述数据监测装置还可以包括通信接口，用于数据监测装置与其他设备或通信网络通信。
第四方面，本发明实施例提供了一种计算机可读存储介质，用于存储数据监测装置所用的计算机指令，其包含用于执行上述第一方面中数据监测方法为数据监测装置所涉及的计算机指令。
本发明实施例提供的技术方案可以包括以下有益效果：
上述技术方案通过对于系统数据的分析，设置了深度数据异常自动监测机制，以对于系统数据可能发生的故障进行准确预警，进而实现有效预防故障、避免资产损失的效果，同时，该技术方案主要依靠数据自动分析，因此还能够大量节省人力成本的投入。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明实施例。
附图说明
结合附图，通过以下非限制性实施方式的详细描述，本发明实施例的其它特征、目的和优点将变得更加明显。在附图中：
图1示出根据本发明一实施方式的数据监测方法的流程图；
图2示出根据图1所示实施方式的数据监测方法的步骤S101的流程图；
图3示出根据图2所示实施方式的数据监测方法的步骤S201的流程图；
图4示出根据图2所示实施方式的数据监测方法的步骤S202的流程图；
图5示出根据图2所示实施方式的数据监测方法的步骤S203的流程图；
图6示出根据图1所示实施方式的数据监测方法的步骤S103的流程图；
图7示出根据图6所示实施方式的数据监测方法的步骤S601的流程图；
图8示出根据本发明一实施方式的数据监测装置的结构框图；
图9示出根据图8所示实施方式的数据监测装置的确定模块801的结构框图；
图10示出根据图9所示实施方式的数据监测装置的第一获取子模块901的结构框图；
图11示出根据图9所示实施方式的数据监测装置的第一预测子模块902的结构框图；
图12示出根据图9所示实施方式的数据监测装置的第一确定子模块903的结构框图；
图13示出根据图8所示实施方式的数据监测装置的触发模块803的结构框图；
图14示出根据图13所示实施方式的数据监测装置的第三确定子模块1301的结构框图；
图15示出根据本发明一实施方式的电子设备的结构框图；
图16是适于用来实现根据本发明一实施方式的数据监测方法的计算机系统的结构示意图。
具体实施方式
下文中，将参考附图详细描述本发明实施例的示例性实施方式，以使本领域技术人员可容易地实现它们。此外，为了清楚起见，在附图中省略了与描述示例性实施方式无关的部分。
在本发明实施例中，应理解，诸如“包括”或“具有”等的术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在，并且不欲排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在或被添加的可能性。
另外还需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明实施例。
本发明实施例提供的技术方案通过对于系统数据的分析，设置了深度数据异常自动监测机制，以对于系统数据可能发生的故障进行准确预警，进而实现有效预防故障、避免资产损失的效果，同时，该技术方案主要依靠数据自动分析，因此还能够大量节省人力成本的投入。
图1示出根据本发明一实施方式的数据监测方法的流程图，如图1所示，所述数据监测方法包括以下步骤S101-S103：
在步骤S101中，确定数据异常监测区间，其中，所述数据异常监测区间由第一数据异常阈值和第二数据异常阈值组成，所述第一数据异常阈值大于所述第二数据异常阈值；
在步骤S102中，获取预设时间段内待监测数据与所述第二数据异常阈值之间的差值序列；
在步骤S103中，当所述差值序列满足预设条件时，触发报警操作。
上文提及，随着数据技术的发展，电子商务平台应运而生，而电子商务平台业务的迅速发展对于平台数据系统的安全保障提出了很高的要求。系统链路的压力测试是预防系统数据故障的有效途径，但在压力测试过程中，如果加压过高容易造成链路故障，导致资产损失，压力过低又达不到测试要求，因此压力的设置非常重要。现有技术中常用的监测方法要么人力成本极高、监测结果不准确，要么具有滞后性，无法提前预警故障的发生，不能有效避免资产损失。
考虑到上述问题，在该实施方式中，提出一种数据监测方法，该方法通过对于系统数据的分析，设置了深度数据异常自动监测机制，以对于系统数据可能发生的故障进行准确预警，进而实现有效预防故障、避免资产损失的效果，同时，该技术方案主要依靠数据自动分析，因此还能够大量节省人力成本的投入。
其中，所述数据异常监测区间用于判断待监测数据是否为异常。在本实施例的一个可选实现方式中，所述数据异常监测区间由第一数据异常阈值和第二数据异常阈值组成，且所述第一数据异常阈值大于所述第二数据异常阈值，也即所述第一数据异常阈值为所述数据异常监测区间的区间上限值，所述第二数据异常阈值为所述数据异常监测区间的区间下限值，在该实现方式中，若所述待监测数据位于所述数据异常监测区间内，即小于等于所述区间上限值且大于等于所述区间下限值，则认为所述待监测数据为正常数据，反之，若所述待监测数据超出了所述数据异常监测区间，即大于所述区间上限值，或者小于所述区间下限值，则认为所述待监测数据发生了异常。
由以上描述可知，借助所述数据异常监测区间已经可以判断所述待监测数据是否处于异常状态，但申请人发现此处对于待监测数据异常状态的判断还不足够，因为若监测到所述待监测数据超出了所述数据异常监测区间，比如大于所述区间上限值，或者小于所述区间下限值，即使此时立即触发报警操作，可能故障也已经发生，无法实现实际意义上的故障预警，同时也无法避免资产的损失。当然，为了解决这一问题，还可以对于所述数据异常监测区间进行基于经验值的缩小处理，以提高数据监测的敏感度，但在实际应用中，所述经验值的确定又将会成为一个新的难以解决的问题。
基于此，在本实施例的一个可选实现方式中，利用所述数据异常监测区间，并根据所述待监测数据的数据特点，进一步设置了报警操作的深度触发判断机制，以在所述待监测数据有可能超出所述数据异常监测区间时就执行报警操作，从而实现有效预防故障、避免资产损失的技术效果。具体地，首先获取预设时间段内所述待监测数据与所述第一数据异常阈值或第二数据异常阈值之间的差值序列，其中，计算所述差值序列时使用所述第一数据异常阈值还是第二数据异常阈值可根据实际监测的要求来确定；然后判断所述差值序列是否满足预设条件，当所述差值序列满足预设条件时，就触发报警操作。
在本实施例的一个可选实现方式中，如图2所示，所述步骤S101，即确定数据异常监测区间的步骤，包括以下步骤S201-S203：
在步骤S201中，获取第一预设历史时间段内的第一历史数据，并提取所述第一历史数据的特征值；
在步骤S202中，根据所述第一历史数据的特征值训练得到特征预测模型，并利用所述特征预测模型预测得到第一预设未来时间段内所述待监测数据的预测特征值；
在步骤S203中，根据所述预测特征值确定所述数据异常监测区间。
在该实施方式中，借助待监测数据的预测特征值来得到所述数据异常监测区间，进一步地，根据历史数据的特征值来训练得到所述特征预测模型。
其中，所述第一预设历史时间段指的是当前时刻之前的一个历史时间段，该时间段内的历史数据是已经产生的、可获得数据。本领域技术人员可根据实际应用的需要以及待监测数据的特点来确定所述第一预设历史时间段的具体取值，本发明对其不作具体限定。
其中，所述特征值用于表征所述数据的特征，在本实施例的一个可选实现方式中，所述特征值可选为统计特征，比如均值、标准差等等，当然也可以选为其他特征值。
其中，所述第一预设未来时间段指的是一还未发生的时间段，在该时段内的数据是不可获得的数据，该数据的具体值及其特征可根据历史数据形成的规律和预测方法预测得到。本领域技术人员可根据实际应用的需要以及待监测数据的特点来确定所述第一预设未来时间段的具体取值，本发明对其不作具体限定。
在本实施例的一个可选实现方式中，如图3所示，所述步骤S201，即获取第一预设历史时间段内的第一历史数据，并提取所述第一历史数据的特征值的步骤，包括以下步骤S301-S303：
在步骤S301中，获取第一预设历史时间段内的第一历史数据；
在步骤S302中，将所述第一历史数据按照预设长度分为两个或多个数据段；
在步骤S303中，分别计算所述数据段的第一特征值和第二特征值。
为了充分利用历史数据，得到高准确率的预测模型，在该实施方式中，首先获取第一预设历史时间段内的第一历史数据；然后将所述第一历史数据按照预设长度分为两个或多个数据段；最后分别计算所述数据段的第一特征值和第二特征值。
在本实施例的一个可选实现方式中，所述历史数据和待监测数据均为秒级时间序列数据，在该实现方式中，可将所述第一历史数据按照分钟或者小时的预设长度分为两个或多个数据段，当然，所述预设长度也可选为其他长度值，本发明对其不作具体限定。
上文提及，所述特征值可选为统计特征，比如均值、标准差等等，那么，在该实现方式中，可将所述第一特征值设置为均值，将所述第二特征值设置为标准差。这样，对于所述两个或多个数据段，每个数据段都对应计算有一个均值和一个标准差，组成一组特征值。
在本实施例的一个可选实现方式中，如图4所示，所述步骤S202，即根据所述第一历史数据的特征值训练得到特征预测模型，并利用所述特征预测模型预测得到第一预设未来时间段内所述待监测数据的预测特征值的步骤，包括以下步骤S401-S402：
在步骤S401中，根据所述数据段的第一特征值和第二特征值训练得到特征预测模型；
在步骤S402中，利用所述特征预测模型预测得到第一预设未来时间段内所述待监测数据的第一预测特征值和第二预测特征值。
在本实施例的一个可选实现方式中，可使用多种建模方法训练得到所述特征预测模型，比如，自回归积分滑动平均模型(Autoregressive Integrated Moving AverageModel，ARIMA)等时间序列建模方法、长短期记忆网络(Long Short-Term Memory，LSTM)等深度学习建模方法等等，本领域技术人员可根据实际应用的需要以及历史数据及其特征值的特点来确定所述建模方法，本发明对其不作具体限定。
在根据所述数据段的第一特征值和第二特征值训练得到特征预测模型之后，就可以利用所述特征预测模型预测得到第一预设未来时间段内所述待监测数据的第一预测特征值和第二预测特征值。比如，当所述第一特征值为均值，所述第二特征值为标准差时，利用所述特征预测模型预测得到第一预设未来时间段内所述待监测数据的第一预测特征值即为该待监测数据在第一预设未来时间段内的均值，第二预测特征值即为该待监测数据在第一预设未来时间段内呈现出来的标准差，更为具体地，若利用所述特征预测模型预测得到第一预设未来时间段内所述待监测数据的第一预测特征值，即均值为0，第二预测特征值，即标准差为5，那么可认为在第一预设未来时间段内，所述待监测数据应服从一个均值＝0，标准差＝5的高斯分布。
在本实施例的一个可选实现方式中，在得到所述特征预测模型之后，还可包括对于所述特征预测模型的预测效果进行评价并选择最优特征预测模型的步骤，在该步骤中，可选用多种模型评价方法来得到最优特征预测模型，本发明对其不作赘述。
在本实施例的一个可选实现方式中，如图5所示，所述步骤S203，即根据所述预测特征值确定所述数据异常监测区间的步骤，包括以下步骤S501-S503：
在步骤S501中，设置数据异常监测区间系数；
在步骤S502中，计算所述数据异常监测区间系数与所述第二预测特征值的乘积；
在步骤S503中，将所述第一预测特征值与所述乘积之间的和确定为所述第一数据异常阈值，将所述第一预测特征值与所述乘积之间的差的绝对值确定为所述第二数据异常阈值，得到所述数据异常监测区间。
为了准确确定所述数据异常监测区间的具体取值，在该实施方式中，基于统计知识，根据所述特征预测模型预测得到的第一预设未来时间段内所述待监测数据的第一预测特征值和第二预测特征值，来确定所述数据异常监测区间。具体地，首先设置数据异常监测区间系数；然后计算所述数据异常监测区间系数与所述第二预测特征值的乘积；最后将所述第一预测特征值与所述乘积之间的和确定为所述第一数据异常阈值，将所述第一预测特征值与所述乘积之间的差的绝对值确定为所述第二数据异常阈值，得到所述数据异常监测区间，上述可使用公式表示为：
Th＝E+N×S，
Tl＝|E-N×S|，
其中，Th表示第一数据异常阈值；Tl表示第二数据异常阈值；E表示第一预测特征值，比如均值；S表示第二预测特征值，比如标准差；N表示数据异常监测区间系数。
其中，所述数据异常监测区间系数用于对于所述数据异常监测区间的幅度进行调节，本领域技术人员可根据实际应用的需要以及待监测数据的特点进行设置，也可根据历史经验值进行设置。
在本实施例的一个可选实现方式中，如图6所示，所述步骤S103，即当所述差值序列满足预设条件时，触发报警操作的步骤，包括以下步骤S601-S603：
在步骤S601中，确定熵值异常监测区间；
在步骤S602中，计算所述差值序列的熵值；
在步骤S603中，当所述熵值超出所述熵值异常监测区间时，触发报警操作。
上文提及，借助所述数据异常监测区间可以判断所述待监测数据是否处于异常状态，但若当监测到所述待监测数据超出了所述数据异常监测区间时触发报警操作时，故障可能已经发生，即使立即启动报警操作，也无法避免资产的损失，也即无法实现真正意义上的故障预警。为了解决这一问题，并考虑到若数据发生异常或者有可能发生异常时，所述数据的实际值将会偏离预测值，并且与正常状态相比，此时所述数据的实际值与所述数据异常监测区间上下限值之间的残差很有可能会表现出幅值大且变化剧烈的特点，因此，在该实施方式中，可借助残差的变化特点来进行数据异常状态的有效预测。
另外，考虑到熵这一信息值能够量化系统数据的有序化程度，衡量残差变化的剧烈程度，因此，在本实施例的一个可选实现方式中，设置了熵值异常监测区间来进一步判断所述待监测数据是否有可能发生异常状态。具体地，在该实现方式中，首先确定一个熵值异常监测区间，然后计算所述预设时间段内待监测数据与所述第一数据异常阈值或第二数据异常阈值之间的差值序列的熵值；当检测到所述熵值超出所述熵值异常监测区间时，就认为所述待监测数据很有可能发生异常状态，触发报警操作，从而真正实现有效预防故障、避免资产损失的技术效果。
在本实施例的一个可选实现方式中，如图7所示，所述步骤S601，即确定熵值异常监测区间的步骤，包括以下步骤S701-S703：
在步骤S701中，获取第二预设历史时间段内的第二历史数据，并计算所述第二历史数据与所述第一数据异常阈值或第二数据异常阈值之间的差值序列的历史熵值；
在步骤S702中，根据所述历史熵值训练得到熵预测模型，并利用所述熵预测模型预测得到第二预设未来时间段内待监测差值序列的预测熵值；
在步骤S703中，根据所述预测熵值确定所述熵值异常监测区间。
在该实现方式中，所述熵值异常监测区间借助预测模型来确定，即首先获取第二预设历史时间段内的第二历史数据，并计算所述第二历史数据与所述第一数据异常阈值或第二数据异常阈值之间的差值序列的历史熵值，其中，所述差值序列可以为一个或多个；然后根据所述历史熵值训练得到熵预测模型，并利用所述熵预测模型预测得到第二预设未来时间段内待监测差值序列的预测熵值；最后根据所述预测熵值确定所述熵值异常监测区间，其中，在根据所述预测熵值确定所述熵值异常监测区间时，可根据所述预测熵值有可能发生的数值变化来确定所述熵值异常监测区间，比如可基于经验值来根据所述预测熵值确定所述熵值异常监测区间。
在本实施例的另一个可选实现方式中，也可根据所述历史熵值的分布规律直接确定所述熵值异常监测区间，比如，当所述历史熵值服从某一参数的正态分布时，也可认为所述预测熵值也应服从该正态分布，并据此来确定所述熵值异常监测区间。
其中，所述预设时间段、所述第一预设历史时间段、所述第一预设未来时间段、所述第二预设历史时间段以及第二预设未来时间段可设置得相同也可设置得不同，对于各时间段的具体取值，本领域技术人员可根据实际应用的需要进行确定，本发明对其不作具体限定。
下述为本发明装置实施例，可以用于执行本发明方法实施例。
图8示出根据本发明一实施方式的数据监测装置的结构框图，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图8所示，所述数据监测装置包括：
确定模块801，被配置为确定数据异常监测区间，其中，所述数据异常监测区间由第一数据异常阈值和第二数据异常阈值组成，所述第一数据异常阈值大于所述第二数据异常阈值；
获取模块802，被配置为获取预设时间段内待监测数据与所述第二数据异常阈值之间的差值序列；
触发模块803，被配置为当所述差值序列满足预设条件时，触发报警操作。
上文提及，随着数据技术的发展，电子商务平台应运而生，而电子商务平台业务的迅速发展对于平台数据系统的安全保障提出了很高的要求。系统链路的压力测试是预防系统数据故障的有效途径，但在压力测试过程中，如果加压过高容易造成链路故障，导致资产损失，压力过低又达不到测试要求，因此压力的设置非常重要。现有技术中常用的监测方法要么人力成本极高、监测结果不准确，要么具有滞后性，无法提前预警故障的发生，不能有效避免资产损失。
考虑到上述问题，在该实施方式中，提出一种数据监测装置，该装置通过对于系统数据的分析，设置了深度数据异常自动监测机制，以对于系统数据可能发生的故障进行准确预警，进而实现有效预防故障、避免资产损失的效果，同时，该技术方案主要依靠数据自动分析，因此还能够大量节省人力成本的投入。
其中，所述数据异常监测区间用于判断待监测数据是否为异常。在本实施例的一个可选实现方式中，所述数据异常监测区间由第一数据异常阈值和第二数据异常阈值组成，且所述第一数据异常阈值大于所述第二数据异常阈值，也即所述第一数据异常阈值为所述数据异常监测区间的区间上限值，所述第二数据异常阈值为所述数据异常监测区间的区间下限值，在该实现方式中，若所述待监测数据位于所述数据异常监测区间内，即小于等于所述区间上限值且大于等于所述区间下限值，则认为所述待监测数据为正常数据，反之，若所述待监测数据超出了所述数据异常监测区间，即大于所述区间上限值，或者小于所述区间下限值，则认为所述待监测数据发生了异常。
由以上描述可知，借助所述数据异常监测区间已经可以判断所述待监测数据是否处于异常状态，但申请人发现此处对于待监测数据异常状态的判断还不足够，因为若监测到所述待监测数据超出了所述数据异常监测区间，比如大于所述区间上限值，或者小于所述区间下限值，即使此时立即触发报警操作，可能故障也已经发生，无法实现实际意义上的故障预警，同时也无法避免资产的损失。当然，为了解决这一问题，还可以对于所述数据异常监测区间进行基于经验值的缩小处理，以提高数据监测的敏感度，但在实际应用中，所述经验值的确定又将会成为一个新的难以解决的问题。
基于此，在本实施例的一个可选实现方式中，利用所述数据异常监测区间，并根据所述待监测数据的数据特点，进一步设置了报警操作的深度触发判断机制，以在所述待监测数据有可能超出所述数据异常监测区间时就执行报警操作，从而实现有效预防故障、避免资产损失的技术效果。具体地，获取模块802获取预设时间段内所述待监测数据与所述第一数据异常阈值或第二数据异常阈值之间的差值序列，其中，获取模块802计算所述差值序列时使用所述第一数据异常阈值还是第二数据异常阈值可根据实际监测的要求来确定；判断所述差值序列是否满足预设条件，当所述差值序列满足预设条件时，触发模块803就触发报警操作。
在本实施例的一个可选实现方式中，如图9所示，所述确定模块801包括：
第一获取子模块901，被配置为获取第一预设历史时间段内的第一历史数据，并提取所述第一历史数据的特征值；
第一预测子模块902，被配置为根据所述第一历史数据的特征值训练得到特征预测模型，并利用所述特征预测模型预测得到第一预设未来时间段内所述待监测数据的预测特征值；
第一确定子模块903，被配置为根据所述预测特征值确定所述数据异常监测区间。
在该实施方式中，借助待监测数据的预测特征值来得到所述数据异常监测区间，进一步地，根据历史数据的特征值来训练得到所述特征预测模型。
其中，所述第一预设历史时间段指的是当前时刻之前的一个历史时间段，该时间段内的历史数据是已经产生的、可获得数据。本领域技术人员可根据实际应用的需要以及待监测数据的特点来确定所述第一预设历史时间段的具体取值，本发明对其不作具体限定。
其中，所述特征值用于表征所述数据的特征，在本实施例的一个可选实现方式中，所述特征值可选为统计特征，比如均值、标准差等等，当然也可以选为其他特征值。
其中，所述第一预设未来时间段指的是一还未发生的时间段，在该时段内的数据是不可获得的数据，该数据的具体值及其特征可根据历史数据形成的规律和预测方法预测得到。本领域技术人员可根据实际应用的需要以及待监测数据的特点来确定所述第一预设未来时间段的具体取值，本发明对其不作具体限定。
在本实施例的一个可选实现方式中，如图10所示，所述第一获取子模块901包括：
第二获取子模块1001，被配置为获取第一预设历史时间段内的第一历史数据；
划分子模块1002，被配置为将所述第一历史数据按照预设长度分为两个或多个数据段；
第一计算子模块1003，被配置为分别计算所述数据段的第一特征值和第二特征值。
为了充分利用历史数据，得到高准确率的预测模型，在该实施方式中，第二获取子模块1001获取第一预设历史时间段内的第一历史数据；划分子模块1002将所述第一历史数据按照预设长度分为两个或多个数据段；第一计算子模块1003分别计算所述数据段的第一特征值和第二特征值。
在本实施例的一个可选实现方式中，所述历史数据和待监测数据均为秒级时间序列数据，在该实现方式中，可将所述第一历史数据按照分钟或者小时的预设长度分为两个或多个数据段，当然，所述预设长度也可选为其他长度值，本发明对其不作具体限定。
上文提及，所述特征值可选为统计特征，比如均值、标准差等等，那么，在该实现方式中，可将所述第一特征值设置为均值，将所述第二特征值设置为标准差。这样，对于所述两个或多个数据段，每个数据段都对应计算有一个均值和一个标准差，组成一组特征值。
在本实施例的一个可选实现方式中，如图11所示，所述第一预测子模块902包括：
训练子模块1101，被配置为根据所述数据段的第一特征值和第二特征值训练得到特征预测模型；
第二预测子模块1102，被配置为利用所述特征预测模型预测得到第一预设未来时间段内所述待监测数据的第一预测特征值和第二预测特征值。
在本实施例的一个可选实现方式中，训练子模块1101可使用多种建模方法训练得到所述特征预测模型，比如，自回归积分滑动平均模型(Autoregressive IntegratedMoving Average Model，ARIMA)等时间序列建模方法、长短期记忆网络(Long Short-TermMemory，LSTM)等深度学习建模方法等等，本领域技术人员可根据实际应用的需要以及历史数据及其特征值的特点来确定所述建模方法，本发明对其不作具体限定。
在训练子模块1101根据所述数据段的第一特征值和第二特征值训练得到特征预测模型之后，第二预测子模块1102就可以利用所述特征预测模型预测得到第一预设未来时间段内所述待监测数据的第一预测特征值和第二预测特征值。比如，当所述第一特征值为均值，所述第二特征值为标准差时，利用所述特征预测模型预测得到第一预设未来时间段内所述待监测数据的第一预测特征值即为该待监测数据在第一预设未来时间段内的均值，第二预测特征值即为该待监测数据在第一预设未来时间段内呈现出来的标准差，更为具体地，若利用所述特征预测模型预测得到第一预设未来时间段内所述待监测数据的第一预测特征值，即均值为0，第二预测特征值，即标准差为5，那么可认为在第一预设未来时间段内，所述待监测数据应服从一个均值＝0，标准差＝5的高斯分布。
在本实施例的一个可选实现方式中，在得到所述特征预测模型之后，还可包括对于所述特征预测模型的预测效果进行评价并选择最优特征预测模型的部分，在该部分中，可选用多种模型评价方法来得到最优特征预测模型，本发明对其不作赘述。
在本实施例的一个可选实现方式中，如图12所示，所述第一确定子模块903包括：
设置子模块1201，被配置为设置数据异常监测区间系数；
第二计算子模块1202，被配置为计算所述数据异常监测区间系数与所述第二预测特征值的乘积；
第二确定子模块1203，被配置为将所述第一预测特征值与所述乘积之间的和确定为所述第一数据异常阈值，将所述第一预测特征值与所述乘积之间的差的绝对值确定为所述第二数据异常阈值，得到所述数据异常监测区间。
为了准确确定所述数据异常监测区间的具体取值，在该实施方式中，基于统计知识，根据所述特征预测模型预测得到的第一预设未来时间段内所述待监测数据的第一预测特征值和第二预测特征值，来确定所述数据异常监测区间。具体地，设置子模块1201设置数据异常监测区间系数；第二计算子模块1202计算所述数据异常监测区间系数与所述第二预测特征值的乘积；第二确定子模块1203将所述第一预测特征值与所述乘积之间的和确定为所述第一数据异常阈值，将所述第一预测特征值与所述乘积之间的差的绝对值确定为所述第二数据异常阈值，得到所述数据异常监测区间，上述可使用公式表示为：
Th＝E+N×S，
Tl＝|E-N×S|，
其中，Th表示第一数据异常阈值；Tl表示第二数据异常阈值；E表示第一预测特征值，比如均值；S表示第二预测特征值，比如标准差；N表示数据异常监测区间系数。
其中，所述数据异常监测区间系数用于对于所述数据异常监测区间的幅度进行调节，本领域技术人员可根据实际应用的需要以及待监测数据的特点进行设置，也可根据历史经验值进行设置。
在本实施例的一个可选实现方式中，如图13所示，所述触发模块803包括：
第三确定子模块1301，被配置为确定熵值异常监测区间；
第三计算子模块1302，被配置为计算所述差值序列的熵值；
触发子模块1303，被配置为当所述熵值超出所述熵值异常监测区间时，触发报警操作。
上文提及，借助所述数据异常监测区间可以判断所述待监测数据是否处于异常状态，但若当监测到所述待监测数据超出了所述数据异常监测区间时触发报警操作时，故障可能已经发生，即使立即启动报警操作，也无法避免资产的损失，也即无法实现真正意义上的故障预警。为了解决这一问题，并考虑到若数据发生异常或者有可能发生异常时，所述数据的实际值将会偏离预测值，并且与正常状态相比，此时所述数据的实际值与所述数据异常监测区间上下限值之间的残差很有可能会表现出幅值大且变化剧烈的特点，因此，在该实施方式中，可借助残差的变化特点来进行数据异常状态的有效预测。
另外，考虑到熵这一信息值能够量化系统数据的有序化程度，衡量残差变化的剧烈程度，因此，在本实施例的一个可选实现方式中，设置了熵值异常监测区间来进一步判断所述待监测数据是否有可能发生异常状态。具体地，在该实现方式中，第三确定子模块1301确定一个熵值异常监测区间，第三计算子模块1302计算所述预设时间段内待监测数据与所述第一数据异常阈值或第二数据异常阈值之间的差值序列的熵值；当检测到所述熵值超出所述熵值异常监测区间时，就认为所述待监测数据很有可能发生异常状态，触发子模块1303触发报警操作，从而真正实现有效预防故障、避免资产损失的技术效果。
在本实施例的一个可选实现方式中，如图14所示，所述第三确定子模块1301包括：
第三获取子模块1401，被配置为获取第二预设历史时间段内的第二历史数据，并计算所述第二历史数据与所述第一数据异常阈值或第二数据异常阈值之间的差值序列的历史熵值；
第三预测子模块1402，被配置为根据所述历史熵值训练得到熵预测模型，并利用所述熵预测模型预测得到第二预设未来时间段内待监测差值序列的预测熵值；
第四确定子模块1403，被配置为根据所述预测熵值确定所述熵值异常监测区间。
在该实现方式中，所述熵值异常监测区间借助预测模型来确定，即第三获取子模块1401获取第二预设历史时间段内的第二历史数据，并计算所述第二历史数据与所述第一数据异常阈值或第二数据异常阈值之间的差值序列的历史熵值，其中，所述差值序列可以为一个或多个；第三预测子模块1402根据所述历史熵值训练得到熵预测模型，并利用所述熵预测模型预测得到第二预设未来时间段内待监测差值序列的预测熵值；第四确定子模块1403根据所述预测熵值确定所述熵值异常监测区间，其中，在根据所述预测熵值确定所述熵值异常监测区间时，可根据所述预测熵值有可能发生的数值变化来确定所述熵值异常监测区间，比如可基于经验值来根据所述预测熵值确定所述熵值异常监测区间。
在本实施例的另一个可选实现方式中，第三确定子模块1301也可根据所述历史熵值的分布规律直接确定所述熵值异常监测区间，比如，当所述历史熵值服从某一参数的正态分布时，也可认为所述预测熵值也应服从该正态分布，并据此来确定所述熵值异常监测区间。
其中，所述预设时间段、所述第一预设历史时间段、所述第一预设未来时间段、所述第二预设历史时间段以及第二预设未来时间段可设置得相同也可设置得不同，对于各时间段的具体取值，本领域技术人员可根据实际应用的需要进行确定，本发明对其不作具体限定。
本发明实施例还公开了一种电子设备，图15示出根据本发明一实施方式的电子设备的结构框图，如图15所示，所述电子设备1500包括存储器1501和处理器1502；其中，
所述存储器1501用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器1502执行以实现上述任一方法步骤。
图16适于用来实现根据本发明实施方式的数据监测方法的计算机系统的结构示意图。
如图16所示，计算机系统1600包括中央处理单元(CPU)1601，其可以根据存储在只读存储器(ROM)1602中的程序或者从存储部分1608加载到随机访问存储器(RAM)1603中的程序而执行上述实施方式中的各种处理。在RAM1603中，还存储有系统1600操作所需的各种程序和数据。CPU1601、ROM1602以及RAM1603通过总线1604彼此相连。输入/输出(I/O)接口1605也连接至总线1604。
以下部件连接至I/O接口1605：包括键盘、鼠标等的输入部分1606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1607；包括硬盘等的存储部分1608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1609。通信部分1609经由诸如因特网的网络执行通信处理。驱动器1610也根据需要连接至I/O接口1605。可拆卸介质1611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1610上，以便于从其上读出的计算机程序根据需要被安装入存储部分1608。
特别地，根据本发明的实施方式，上文描述的方法可以被实现为计算机软件程序。例如，本发明的实施方式包括一种计算机程序产品，其包括有形地包含在及其可读介质上的计算机程序，所述计算机程序包含用于执行所述数据监测方法的程序代码。在这样的实施方式中，该计算机程序可以通过通信部分1609从网络上被下载和安装，和/或从可拆卸介质1611被安装。
附图中的流程图和框图，图示了按照本发明各种实施方式的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，路程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施方式中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
作为另一方面，本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施方式中所述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本发明实施例的方法。
以上描述仅为本发明的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本发明实施例中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本发明实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (13)
1.一种数据监测方法，其特征在于，包括：确定数据异常监测区间，其中，所述数据异常监测区间由第一数据异常阈值和第二数据异常阈值组成，所述第一数据异常阈值大于所述第二数据异常阈值；获取预设时间段内待监测数据与所述第一数据异常阈值或第二数据异常阈值之间的差值序列；当所述差值序列满足预设条件时，触发报警操作，借助所述待监测数据与所述第一数据异常阈值或第二数据异常阈值之间的残差的变化特点来进行数据异常状态的有效预测，所述特点包括：若数据发生异常或者将发生异常时，所述数据的实际值将会偏离预测值，并且与正常状态相比，此时所述数据的实际值与所述数据异常监测区间上下限值之间的残差会表现出幅值大且变化剧烈；
对所述数据异常监测区间进行了基于经验值的缩小处理；
所述确定数据异常监测区间，包括：设置数据异常监测区间系数；计算所述数据异常监测区间系数与第二预测特征值的乘积；根据第一预测特征值与所述乘积之间的和确定所述第一数据异常阈值，根据所述第一预测特征值与所述乘积之间的差的绝对值确定所述第二数据异常阈值，得到所述数据异常监测区间，所述第一预测特征值表示均值，所述第二预测特征值表示标准差。
2.根据权利要求1所述的方法，其特征在于，所述确定数据异常监测区间，包括：获取第一预设历史时间段内的第一历史数据，并提取所述第一历史数据的特征值；根据所述第一历史数据的特征值训练得到特征预测模型，并利用所述特征预测模型预测得到第一预设未来时间段内所述待监测数据的预测特征值；根据所述预测特征值确定所述数据异常监测区间。
3.根据权利要求2所述的方法，其特征在于，所述获取第一预设历史时间段内的第一历史数据，并提取所述第一历史数据的特征值，包括：获取第一预设历史时间段内的第一历史数据；将所述第一历史数据按照预设长度分为两个或多个数据段；分别计算所述数据段的第一特征值和第二特征值。
4.根据权利要求3所述的方法，其特征在于，所述根据所述第一历史数据的特征值训练得到特征预测模型，并利用所述特征预测模型预测得到第一预设未来时间段内所述待监测数据的预测特征值，包括：根据所述数据段的第一特征值和第二特征值训练得到特征预测模型；利用所述特征预测模型预测得到第一预设未来时间段内所述待监测数据的第一预测特征值和第二预测特征值。
5.根据权利要求1-4任一所述的方法，其特征在于，所述当所述差值序列满足预设条件时，触发报警操作，包括：确定熵值异常监测区间；计算所述差值序列的熵值；当所述熵值超出所述熵值异常监测区间时，触发报警操作。
6.根据权利要求5所述的方法，其特征在于，所述确定熵值异常监测区间，包括：获取第二预设历史时间段内的第二历史数据，并计算所述第二历史数据与所述第一数据异常阈值或第二数据异常阈值之间的差值序列的历史熵值；根据所述历史熵值训练得到熵预测模型，并利用所述熵预测模型预测得到第二预设未来时间段内待监测差值序列的预测熵值；根据所述预测熵值确定所述熵值异常监测区间。
7.一种数据监测装置，其特征在于，包括：确定模块，被配置为确定数据异常监测区间，其中，所述数据异常监测区间由第一数据异常阈值和第二数据异常阈值组成，所述第一数据异常阈值大于所述第二数据异常阈值；获取模块，被配置为获取预设时间段内待监测数据与所述第一数据异常阈值或第二数据异常阈值之间的差值序列；触发模块，被配置为当所述差值序列满足预设条件时，触发报警操作，借助所述待监测数据与所述第一数据异常阈值或第二数据异常阈值之间的残差的变化特点来进行数据异常状态的有效预测，所述特点包括：若数据发生异常或者将发生异常时，所述数据的实际值将会偏离预测值，并且与正常状态相比，此时所述数据的实际值与所述数据异常监测区间上下限值之间的残差会表现出幅值大且变化剧烈；
对所述数据异常监测区间进行了基于经验值的缩小处理；
所述确定数据异常监测区间，包括：设置数据异常监测区间系数；计算所述数据异常监测区间系数与第二预测特征值的乘积；根据第一预测特征值与所述乘积之间的和确定所述第一数据异常阈值，根据所述第一预测特征值与所述乘积之间的差的绝对值确定所述第二数据异常阈值，得到所述数据异常监测区间，所述第一预测特征值表示均值，所述第二预测特征值表示标准差。
8.根据权利要求7所述的装置，其特征在于，所述确定模块包括：第一获取子模块，被配置为获取第一预设历史时间段内的第一历史数据，并提取所述第一历史数据的特征值；第一预测子模块，被配置为根据所述第一历史数据的特征值训练得到特征预测模型，并利用所述特征预测模型预测得到第一预设未来时间段内所述待监测数据的预测特征值；第一确定子模块，被配置为根据所述预测特征值确定所述数据异常监测区间。
9.根据权利要求8所述的装置，其特征在于，所述第一获取子模块包括：第二获取子模块，被配置为获取第一预设历史时间段内的第一历史数据；划分子模块，被配置为将所述第一历史数据按照预设长度分为两个或多个数据段；第一计算子模块，被配置为分别计算所述数据段的第一特征值和第二特征值。
10.根据权利要求9所述的装置，其特征在于，所述第一预测子模块包括：训练子模块，被配置为根据所述数据段的第一特征值和第二特征值训练得到特征预测模型；第二预测子模块，被配置为利用所述特征预测模型预测得到第一预设未来时间段内所述待监测数据的第一预测特征值和第二预测特征值。
11.根据权利要求7-10任一所述的装置，其特征在于，所述触发模块包括：第三确定子模块，被配置为确定熵值异常监测区间；第三计算子模块，被配置为计算所述差值序列的熵值；触发子模块，被配置为当所述熵值超出所述熵值异常监测区间时，触发报警操作。
12.根据权利要求11所述的装置，其特征在于，所述第三确定子模块包括：第三获取子模块，被配置为获取第二预设历史时间段内的第二历史数据，并计算所述第二历史数据与所述第一数据异常阈值或第二数据异常阈值之间的差值序列的历史熵值；第三预测子模块，被配置为根据所述历史熵值训练得到熵预测模型，并利用所述熵预测模型预测得到第二预设未来时间段内待监测差值序列的预测熵值；第四确定子模块，被配置为根据所述预测熵值确定所述熵值异常监测区间。
13.一种电子设备，其特征在于，包括存储器和处理器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现权利要求1-6任一项所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811446352.4A CN110008096B (zh) | 2018-11-29 | 2018-11-29 | 数据监测方法、装置、电子设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811446352.4A CN110008096B (zh) | 2018-11-29 | 2018-11-29 | 数据监测方法、装置、电子设备及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110008096A CN110008096A (zh) | 2019-07-12 |
| CN110008096B true CN110008096B (zh) | 2024-02-06 |
Family
ID=67165011
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811446352.4A Active CN110008096B (zh) | 2018-11-29 | 2018-11-29 | 数据监测方法、装置、电子设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110008096B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110399366A (zh) * | 2019-07-29 | 2019-11-01 | 秒针信息技术有限公司 | 数据过滤方法、装置、服务器及计算机可读存储介质 |
| CN112632179A (zh) * | 2019-09-24 | 2021-04-09 | 北京国双科技有限公司 | 模型构建方法、装置、存储介质及设备 |
| CN111045894B (zh) * | 2019-12-13 | 2024-02-13 | 贵州广思信息网络有限公司广州分公司 | 数据库异常检测方法、装置、计算机设备和存储介质 |
| CN111221706B (zh) * | 2020-01-06 | 2023-04-07 | 北京思特奇信息技术股份有限公司 | 一种cpu使用率预测方法、系统、介质及设备 |
| CN111241155B (zh) * | 2020-01-06 | 2024-03-01 | 广州虎牙科技有限公司 | 时序数据异常检测方法、装置、设备及存储介质 |
| CN111898094B (zh) * | 2020-07-06 | 2021-04-06 | 广州市吉华勘测股份有限公司 | 基坑监测数据的处理方法、装置、电子设备及存储介质 |
| CN113993002A (zh) * | 2021-09-13 | 2022-01-28 | 广州番禺电缆集团有限公司 | 一种电缆监控数据上报方法及装置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1741526A (zh) * | 2005-09-05 | 2006-03-01 | 北京启明星辰信息技术有限公司 | 网络异常流量的检测方法及系统 |
| CN103412805A (zh) * | 2013-07-31 | 2013-11-27 | 交通银行股份有限公司 | 一种it故障源诊断方法及系统 |
| CN105588577A (zh) * | 2014-10-23 | 2016-05-18 | 中国移动通信集团公司 | 一种用于运动监测装置的异常计步的检测方法和装置 |
| CN106404201A (zh) * | 2016-09-27 | 2017-02-15 | 株洲中车时代电气股份有限公司 | 一种动车组轴温异常的预防性提示方法及系统 |
| CN107341444A (zh) * | 2017-06-07 | 2017-11-10 | 北京星网锐捷网络技术有限公司 | 数据异常预警方法及装置 |
| CN107908536A (zh) * | 2017-11-17 | 2018-04-13 | 华中科技大学 | Cpu‑gpu异构环境中对gpu应用的性能评估方法及系统 |
| CN108009063A (zh) * | 2017-11-30 | 2018-05-08 | 厦门理工学院 | 一种电子设备故障阈值检测的方法 |
| CN108898117A (zh) * | 2018-06-30 | 2018-11-27 | 防灾科技学院 | 一种滑动阈值的自适应随机信号异常提取方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7283919B2 (en) * | 2006-03-06 | 2007-10-16 | Sun Microsystems, Inc. | Determining the quality and reliability of a component by monitoring dynamic variables |
| US10505789B2 (en) * | 2016-03-28 | 2019-12-10 | TUPL, Inc. | Intelligent configuration system for alert and performance monitoring |
-
2018
- 2018-11-29 CN CN201811446352.4A patent/CN110008096B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1741526A (zh) * | 2005-09-05 | 2006-03-01 | 北京启明星辰信息技术有限公司 | 网络异常流量的检测方法及系统 |
| CN103412805A (zh) * | 2013-07-31 | 2013-11-27 | 交通银行股份有限公司 | 一种it故障源诊断方法及系统 |
| CN105588577A (zh) * | 2014-10-23 | 2016-05-18 | 中国移动通信集团公司 | 一种用于运动监测装置的异常计步的检测方法和装置 |
| CN106404201A (zh) * | 2016-09-27 | 2017-02-15 | 株洲中车时代电气股份有限公司 | 一种动车组轴温异常的预防性提示方法及系统 |
| CN107341444A (zh) * | 2017-06-07 | 2017-11-10 | 北京星网锐捷网络技术有限公司 | 数据异常预警方法及装置 |
| CN107908536A (zh) * | 2017-11-17 | 2018-04-13 | 华中科技大学 | Cpu‑gpu异构环境中对gpu应用的性能评估方法及系统 |
| CN108009063A (zh) * | 2017-11-30 | 2018-05-08 | 厦门理工学院 | 一种电子设备故障阈值检测的方法 |
| CN108898117A (zh) * | 2018-06-30 | 2018-11-27 | 防灾科技学院 | 一种滑动阈值的自适应随机信号异常提取方法 |
Non-Patent Citations (3)
| Title |
|---|
| Detecting email worn through contact-tract chain;Huang zhi-yong等;《Journal of university of electronic science and technology of China》;20110531;435-439 * |
| Fault early warning of wind turbine based on Hadoop platform;Yao Wanye等;《Electric Power Science and Engineering》;第34卷(第6期);66-72 * |
| 设备故障预警系统的设计与实践;吴国潮;《自动化与仪表》;20150915;10-13,59 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110008096A (zh) | 2019-07-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110008096B (zh) | 数据监测方法、装置、电子设备及计算机可读存储介质 | |
| US10747188B2 (en) | Information processing apparatus, information processing method, and, recording medium | |
| US7107187B1 (en) | Method for modeling system performance | |
| US7254514B2 (en) | Method and system for predicting remaining life for motors featuring on-line insulation condition monitor | |
| US7082381B1 (en) | Method for performance monitoring and modeling | |
| Compare et al. | Reliability model of a component equipped with PHM capabilities | |
| US8880946B2 (en) | Fault detection apparatus, a fault detection method and a program recording medium | |
| US20140365179A1 (en) | Method and Apparatus for Detecting and Identifying Faults in a Process | |
| CN111045894B (zh) | 数据库异常检测方法、装置、计算机设备和存储介质 | |
| EP2963553B1 (en) | System analysis device and system analysis method | |
| US20140195868A1 (en) | Operation management device, operation management method | |
| CN108269189B (zh) | 指标数据监控方法、装置、存储介质和计算机设备 | |
| US7197428B1 (en) | Method for performance monitoring and modeling | |
| JP5768983B2 (ja) | 契約違反予測システム、契約違反予測方法および契約違反予測プログラム | |
| EP2963552B1 (en) | System analysis device and system analysis method | |
| KR20190025474A (ko) | 플랜트 데이터 예측 장치 및 방법 | |
| JPH0954613A (ja) | プラント設備監視装置 | |
| Sousa Tomé et al. | Online early damage detection and localisation using multivariate data analysis: Application to a cable‐stayed bridge | |
| US20190026632A1 (en) | Information processing device, information processing method, and recording medium | |
| JP2009086896A (ja) | コンピュータの障害予測システムおよび障害予測方法 | |
| CN113252544A (zh) | 一种炼油装置腐蚀监测系统和方法 | |
| US20080288213A1 (en) | Machine condition monitoring using discontinuity detection | |
| CN116558574B (zh) | 基于大数据的气站安全监测方法和装置 | |
| JP2015133115A (ja) | 残存耐用寿命決定方法 | |
| JP6832890B2 (ja) | 監視装置、監視方法、及びコンピュータプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20200918 Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands Applicant after: Innovative advanced technology Co.,Ltd. Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands Applicant before: Advanced innovation technology Co.,Ltd. Effective date of registration: 20200918 Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands Applicant after: Advanced innovation technology Co.,Ltd. Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands Applicant before: Alibaba Group Holding Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |