CN111881185A - 一种数据监控方法、装置、设备及存储介质 - Google Patents
一种数据监控方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111881185A CN111881185A CN202010751255.7A CN202010751255A CN111881185A CN 111881185 A CN111881185 A CN 111881185A CN 202010751255 A CN202010751255 A CN 202010751255A CN 111881185 A CN111881185 A CN 111881185A
- Authority
- CN
- China
- Prior art keywords
- data
- monitored
- monitoring
- value
- dimension
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 127
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000002159 abnormal effect Effects 0.000 claims abstract description 25
- 238000012806 monitoring device Methods 0.000 claims abstract description 10
- 238000004590 computer program Methods 0.000 claims description 12
- 230000005856 abnormality Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 6
- 238000007637 random forest analysis Methods 0.000 claims description 6
- 238000010801 machine learning Methods 0.000 claims description 4
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 230000009471 action Effects 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2462—Approximate or statistical queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Data Mining & Analysis (AREA)
- Fuzzy Systems (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Quality & Reliability (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本申请公开了一种数据监控方法、装置、设备及存储介质。该方法的步骤包括：获取目标监控项在相邻的多个时刻下生成的待监控数据；统计各待监控数据之间在数据值维度、数据值变化维度以及数据生成时间维度中任意多个维度的数据特征；利用预设的异常判定模型对由各数据特征构成的特征集合进行分析，得到数据监控结果。由于本方法是根据相邻时刻生成的待监控数据之间多个维度的数据特征共同对待监控数据进行异常判定，避免了仅通过特定阈值对动态变化的待监控数据本身进行异常判定，而导致的监控结果不准确的情况，进而相对确保了数据监控的整体准确性。此外，本申请还提供一种数据监控装置、设备及存储介质，有益效果同上所述。
Description
技术领域
本申请涉及系统运维领域，特别是涉及一种数据监控方法、装置、设备及存储介质。
背景技术
随着互联网的飞速发展，数据中心承载着对系统中各类数据的采集、存储及分析的功能，为了确保各类数据的正常使用，当前往往需要对数据进行监控，以此确保当数据存在异常时能够及时告知运维人员以对系统中的故障进行排除。
传统的数据监控方式是针对于不同类型的数据设定相应阈值，并通过阈值判定相应的数据是否异常，以此达到对数据进行监控的目的，但是由于数据往往是动态变化的，因此通过特定的阈值对数据进行异常判定，该阈值往往难以作为界定数据异常的准确标准，进而难以确保数据监控的整体准确性。
由此可见，提供一种数据监控方法，以相对确保数据监控的整体准确性，是本领域技术人员需要解决的问题。
发明内容
本申请的目的是提供一种数据监控方法、装置、设备及存储介质，以相对确保数据监控的整体准确性。
为解决上述技术问题，本申请提供一种数据监控方法，包括：
获取目标监控项在相邻的多个时刻下生成的待监控数据；
统计各待监控数据之间在数据值维度、数据值变化维度以及数据生成时间维度中任意多个维度的数据特征；
利用预设的异常判定模型对由各数据特征构成的特征集合进行分析，得到数据监控结果。
优选地，在统计各待监控数据之间在数据值维度、数据值变化维度以及数据生成时间维度中任意多个维度的数据特征之前，方法还包括：
判断各待监控数据中是否存在数据缺失的目标待监控数据；
若存在目标待监控数据，则在待监控数据中统计除目标待监控数据以外的其它待监控数据；
计算各其它待监控数据的平均值数据，并以平均值数据覆盖目标待监控数据。
优选地，数据值维度的数据特征包括待监控数据的单一数据值、各待监控数据的平均值以及各待监控数据的累积值中的一项或多项；
数据值变化维度的数据特征包括各待监控数据的斜率、各待监控数据的标准差、各待监控数据中高于平均值的数据数量、相邻待监控数据的差值的累积值中的一项或多项；
数据生成时间维度的数据特征包括各待监控数据的生成日期以及各待监控数据的生成时刻中的一项或多项。
优选地，异常判定模型的生成过程包括：
获取目标监控项的样本监控数据以及样本监控数据的异常类别；
统计样本监控数据在多个预设维度的样本数据特征；
基于样本数据特征的样本特征集合与异常类别之间的对应关系进行机器学习得到异常判定模型。
优选地，利用预设的异常判定模型对由各数据特征构成的特征集合进行分析，得到数据监控结果，包括：
利用预设的随机森林模型判定由各数据特征构成的特征集合对应的异常类别，并将异常类别设置为数据监控结果。
此外，本申请还提供一种数据监控装置，包括：
数据获取模块，用于获取目标监控项在相邻的多个时刻下生成的待监控数据；
特征统计模块，用于统计各待监控数据之间在数据值维度、数据值变化维度以及数据生成时间维度中任意多个维度的数据特征；
特征分析模块，用于利用预设的异常判定模型对由各数据特征构成的特征集合进行分析，得到数据监控结果。
优选地，装置还包括：
判断模块，用于判断各待监控数据中是否存在数据缺失的目标待监控数据，若是，则依次调用数据统计模块以及覆盖模块；
数据统计模块，用于在待监控数据中统计除目标待监控数据以外的其它待监控数据；
覆盖模块，用于计算各其它待监控数据的平均值数据，并以平均值数据覆盖目标待监控数据；
相应的，特征统计模块，包括：
特征统计子模块，用于在以平均值数据覆盖目标待监控数据的基础上，统计各待监控数据之间在数据值维度、数据值变化维度以及数据生成时间维度中任意多个维度的数据特征。
此外，本申请还提供一种数据监控设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行计算机程序时实现如上述的数据监控方法的步骤。
此外，本申请还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述的数据监控方法的步骤。
本申请所提供的数据监控方法，首先获取目标监控项在相邻的多个时刻下生成的待监控数据，进而统计各待监控数据之间在数据值维度、数据值变化维度以及数据生成时间维度中任意多个维度的数据特征，并进一步利用预设的异常判定模型对由多个维度的数据特征构成的特征集合进行分析，得到对应的数据监控结果。由于本方法是根据相邻时刻生成的待监控数据之间多个维度的数据特征共同对待监控数据进行异常判定，避免了仅通过特定阈值对动态变化的待监控数据本身进行异常判定，而导致的监控结果不准确的情况，进而相对确保了数据监控的整体准确性。此外，本申请还提供一种数据监控装置、设备及存储介质，有益效果同上所述。
附图说明
为了更清楚地说明本申请实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例公开的一种数据监控方法的流程图；
图2为本申请实施例公开的一种数据监控方法的流程图；
图3为本申请实施例公开的一种数据监控装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本申请保护范围。
传统的数据监控方式是针对于不同类型的数据设定相应阈值，并通过阈值判定相应的数据是否异常，以此达到对数据进行监控的目的，但是由于数据往往是动态变化的，因此通过特定的阈值对数据进行异常判定，该阈值往往难以作为界定数据异常的准确标准，进而难以确保数据监控的整体准确性。
为此，本申请的核心是提供一种数据监控方法，以相对确保数据监控的整体准确性。
为了使本技术领域的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。
请参见图1所示，本申请实施例公开了一种数据监控方法，包括：
步骤S10：获取目标监控项在相邻的多个时刻下生成的待监控数据。
需要说明的是，本步骤中的目标监控项指的是需要进行数据监控的数据项，例如，在对设备的CPU硬件进行数据监控的场景下，目标监控项可以具体是CPU的资源占用率、CPU温度或是CPU运行频率等。另外，在本步骤汇总，目标监控项指的是多个监控项中特定的监控项，进而获取目标监控项在相邻的多个时刻下生成的待监控数据，本质上是在一定时间段内连续获取同一监控项对应的多个待监控数据，进而根据多个待监控数据在后续步骤中，对该目标监控项的异常状态进行监控。
步骤S11：统计各待监控数据之间在数据值维度、数据值变化维度以及数据生成时间维度中任意多个维度的数据特征。
在获取到目标监控项在相邻的多个时刻下生成的待监控数据之后，本步骤进一步统计各待监控数据之间在数据值维度、数据值变化维度以及数据生成时间维度中任意多个维度的数据特征。
需要说明的是，本实施例的重点在于将预设维度具体细化为数据值维度、数据值变化维度以及数据生成时间维度，其中，数据值维度指的是与各待监控数据的数据值相关的属性维度；数据值变化维度指的是与各待监控数据的变化量相关的属性维度；数据生成时间维度指的是与各待监控数据的生成时间相关的属性维度。本实施方式统计各待监控数据之间在数据值维度、数据值变化维度以及数据生成时间维度中任意多个维度的数据特征，能够进一步确保预设维度的多样性，进而提高数据特征类型的丰富性，以此进一步确保数据监控的整体准确性。
步骤S12：利用预设的异常判定模型对由各数据特征构成的特征集合进行分析，得到数据监控结果。
在统计各待监控数据之间在数据值维度、数据值变化维度以及数据生成时间维度中任意多个维度的数据特征之后，本步骤进一步利用预设的异常判定模型对由各数据特征构成的特征集合进行分析，以此得到与各数据特征构成的特征集合相对应的数据监控结果。
需要说明的是，本步骤中，利用预设的异常判定模型对由各数据特征构成的特征集合进行分析，可以具体是利用预设的异常判定模型根据特征集合中的各数据特征判定该目标监控项是否存在异常，也可以具体是利用预设的异常判定模型根据特征集合中的各数据特征判定该目标监控项的异常等级，应根据异常判定模型的具体训练方式而定，在此不做具体限定。需要强调的是，本实施例的重点在于利用各数据特征构成的特征集合对目标监控项的待监控数据进行分析，得到相应的数据监控结果，目的是避免通过单一阈值对待监控数据本身的值进行判定，而综合考虑带监控数据的多方面特征，相对确保监控结果的准确性。
本申请所提供的数据监控方法，首先获取目标监控项在相邻的多个时刻下生成的待监控数据，进而统计各待监控数据之间在数据值维度、数据值变化维度以及数据生成时间维度中任意多个维度的数据特征，并进一步利用预设的异常判定模型对由多个维度的数据特征构成的特征集合进行分析，得到对应的数据监控结果。由于本方法是根据相邻时刻生成的待监控数据之间多个维度的数据特征共同对待监控数据进行异常判定，避免了仅通过特定阈值对动态变化的待监控数据本身进行异常判定，而导致的监控结果不准确的情况，进而相对确保了数据监控的整体准确性。
更进一步的，作为一种优选的实施方式，数据值维度的数据特征包括待监控数据的单一数据值、各待监控数据的平均值以及各待监控数据的累积值中的一项或多项；
数据值变化维度的数据特征包括各待监控数据的斜率、各待监控数据的标准差、各待监控数据中高于平均值的数据数量、相邻待监控数据的差值的累积值中的一项或多项；
数据生成时间维度的数据特征包括各待监控数据的生成日期以及各待监控数据的生成时刻中的一项或多项。
需要说明的是，在本实施方式下数据值维度的数据特征中，待监控数据的单一数据值指的是待监控数据本身的数值；各待监控数据的平均值指的是各个待监控数据之间的平均值；各待监控数据的累积值指的是各个待监控数据的和或平方和的值。在本实施方式下数据值变化维度的数据特征中，各待监控数据的斜率指的是各个监控数据的变化程度；各待监控数据的标准差指的是各待监控数据的与各待监控数据的平均值之间的差异程度；各待监控数据中高于平均值的数据数量，指的是各个待监控数据中数据值大于各待监控数据之间的平均值的待监控数据数量；相邻待监控数据的差值的累积值，指的是每两个相邻的待监控数据之间的差值的累加和。在本实施方式下数据生成时间维度的数据特征中，各待监控数据的生成日期指的是各个待监控数据生成时的月、周或天；各待监控数据的生成时刻指的是各个待监控数据生成时的时刻。本实施方式通过对数据值维度、数据值变化维度以及数据生成时间维度做了进一步的细化，进一步提高了数据特征类型的丰富性，以此进一步确保了数据监控的整体准确性。
更进一步的，作为一种优选的实施方式，异常判定模型的生成过程包括：
获取目标监控项的样本监控数据以及样本监控数据的异常类别；
统计样本监控数据在多个预设维度的样本数据特征；
基于样本数据特征的样本特征集合与异常类别之间的对应关系进行机器学习得到异常判定模型。
需要说明的是，在生成异常判定模型的过程中，首先获取目标监控项的样本监控数据以及样本监控数据的异常类别，异常类型预先根据样本监控数据所对应的异常场景设定，在得到样本监控数据之后，进一步统计样本监控数据在多个预设维度的样本数据特征，进而基于样本数据特征的样本特征集合与异常类别之间的对应关系进行机器学习得到异常判定模型，以此在异常判定模型中建立多种样本特征集合与异常类别之间的对应关系，进而异常判定模型能够利用该对应关系判定与各数据特征构成的特征集合对应的异常类别。本实施方式确保了异常判定模型的可靠性，进而进一步保证了数据监控的整体准确性。
请参见图2所示，本申请实施例公开了一种数据监控方法，包括：
S20：获取目标监控项在相邻的多个时刻下生成的待监控数据。
S21：判断各待监控数据中是否存在数据缺失的目标待监控数据，如果是，则执行步骤S22至步骤S24，否则，执行步骤S24。
需要说明的是，考虑到在获取目标监控项在相邻的多个时刻下生成的待监控数据之后，可能存在因网络通信原因或待监控设备的运行抖动原因而存在某一时刻或某些时刻获取的待监控数据不可用的情况，因此为了进一步确保获取到的待监控数据均为可用的数据，本步骤在获取目标监控项在相邻的多个时刻下生成的待监控数据之后，进一步判断在各待监控数据中是否存在数据缺失的目标待监控数据，并针对数据缺点的目标待监控数据进行后续的修复操作。
步骤S22：在待监控数据中统计除目标待监控数据以外的其它待监控数据。
步骤S23：计算各其它待监控数据的平均值数据，并以平均值数据覆盖目标待监控数据。
当各待监控数据中存在数据缺失的目标待监控数据时，本步骤进一步在待监控数据中统计除目标待监控数据以外的其它待监控数据，此处统计的其它待监控数据均为内容完整的待监控数据，在获取到其它待监控数据之后，进一步计算各其它待监控数据的平均值数据，即各个其它待监控数据的平均值，并以平均值数据覆盖目标待监控数据，目的是以平均值数据作为目标待监控数据进行后续的监控分析。
步骤S24：统计各待监控数据之间在数据值维度、数据值变化维度以及数据生成时间维度中任意多个维度的数据特征。
步骤S25：利用预设的异常判定模型对由各数据特征构成的特征集合进行分析，得到数据监控结果。
本实施例通过对各待监控数据中存在数据缺失的目标待监控数据进行预处理，以此确保目标待监控数据具有可用性，从而进一步确保了数据监控过程的整体可靠性以及数据监控结果的整体准确性。
在上述一系列实施方式的基础上，作为一种优选的实施方式，利用预设的异常判定模型对由各数据特征构成的特征集合进行分析，得到数据监控结果，包括：
利用预设的随机森林模型判定由各数据特征构成的特征集合对应的异常类别，并将异常类别设置为数据监控结果。
需要说明的是，本实施方式的重点是通过随机森林作为异常判定模型对由各数据特征构成的特征集合进行分析，得到数据监控结果。由于随机森林是包含一系列树结构分类器的集合，能够基于多个样本特征与多个样本特征综合对应的样本类型，产生高准确度的分类器，并且在使用随机森林进行类型判定时，能够对实际场景下数据特征的重要性进行评估，并根据评估结果对判定结果进行调整，因此本实施方式利用预设的随机森林模型判定由各数据特征构成的特征集合对应的异常类别，并将异常类别设置为数据监控结果，能够进一步确保数据监控结果的整体准确性。
请参见图3所示，本申请实施例提供了一种数据监控装置，包括：
数据获取模块10，用于获取目标监控项在相邻的多个时刻下生成的待监控数据；
特征统计模块11，用于统计各待监控数据之间在数据值维度、数据值变化维度以及数据生成时间维度中任意多个维度的数据特征；
特征分析模块12，用于利用预设的异常判定模型对由各数据特征构成的特征集合进行分析，得到数据监控结果。
更进一步的，作为一种优选的实施方式，装置还包括：
判断模块，用于判断各待监控数据中是否存在数据缺失的目标待监控数据，若是，则依次调用数据统计模块以及覆盖模块；
数据统计模块，用于在待监控数据中统计除目标待监控数据以外的其它待监控数据；
覆盖模块，用于计算各其它待监控数据的平均值数据，并以平均值数据覆盖目标待监控数据；
相应的，特征统计模块，包括：
特征统计子模块，用于在以平均值数据覆盖目标待监控数据的基础上，统计各待监控数据之间在数据值维度、数据值变化维度以及数据生成时间维度中任意多个维度的数据特征。
本申请所提供的数据监控装置，首先获取目标监控项在相邻的多个时刻下生成的待监控数据，进而统计各待监控数据之间在数据值维度、数据值变化维度以及数据生成时间维度中任意多个维度的数据特征，并进一步利用预设的异常判定模型对由多个维度的数据特征构成的特征集合进行分析，得到对应的数据监控结果。由于本装置是根据相邻时刻生成的待监控数据之间多个维度的数据特征共同对待监控数据进行异常判定，避免了仅通过特定阈值对动态变化的待监控数据本身进行异常判定，而导致的监控结果不准确的情况，进而相对确保了数据监控的整体准确性。
此外，本申请实施例还提供一种数据监控设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行计算机程序时实现如上述的数据监控方法的步骤。
本申请所提供的数据监控设备，首先获取目标监控项在相邻的多个时刻下生成的待监控数据，进而统计各待监控数据之间在数据值维度、数据值变化维度以及数据生成时间维度中任意多个维度的数据特征，并进一步利用预设的异常判定模型对由多个维度的数据特征构成的特征集合进行分析，得到对应的数据监控结果。由于本设备是根据相邻时刻生成的待监控数据之间多个维度的数据特征共同对待监控数据进行异常判定，避免了仅通过特定阈值对动态变化的待监控数据本身进行异常判定，而导致的监控结果不准确的情况，进而相对确保了数据监控的整体准确性。
此外，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述的数据监控方法的步骤。
本申请所提供的计算机可读存储介质，首先获取目标监控项在相邻的多个时刻下生成的待监控数据，进而统计各待监控数据之间在数据值维度、数据值变化维度以及数据生成时间维度中任意多个维度的数据特征，并进一步利用预设的异常判定模型对由多个维度的数据特征构成的特征集合进行分析，得到对应的数据监控结果。由于本计算机可读存储介质是根据相邻时刻生成的待监控数据之间多个维度的数据特征共同对待监控数据进行异常判定，避免了仅通过特定阈值对动态变化的待监控数据本身进行异常判定，而导致的监控结果不准确的情况，进而相对确保了数据监控的整体准确性。
以上对本申请所提供的一种数据监控方法、装置、设备及存储介质进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (9)
1.一种数据监控方法，其特征在于，包括：
获取目标监控项在相邻的多个时刻下生成的待监控数据；
统计各所述待监控数据之间在数据值维度、数据值变化维度以及数据生成时间维度中任意多个维度的所述数据特征；
利用预设的异常判定模型对由各所述数据特征构成的特征集合进行分析，得到数据监控结果。
2.根据权利要求1所述的数据监控方法，其特征在于，在所述统计各所述待监控数据之间在数据值维度、数据值变化维度以及数据生成时间维度中任意多个维度的所述数据特征之前，所述方法还包括：
判断各所述待监控数据中是否存在数据缺失的目标待监控数据；
若存在所述目标待监控数据，则在所述待监控数据中统计除所述目标待监控数据以外的其它待监控数据；
计算各所述其它待监控数据的平均值数据，并以所述平均值数据覆盖所述目标待监控数据。
3.根据权利要求1所述的数据监控方法，其特征在于，所述数据值维度的数据特征包括所述待监控数据的单一数据值、各所述待监控数据的平均值以及各所述待监控数据的累积值中的一项或多项；
所述数据值变化维度的数据特征包括各所述待监控数据的斜率、各所述待监控数据的标准差、各所述待监控数据中高于所述平均值的数据数量、相邻所述待监控数据的差值的累积值中的一项或多项；
所述数据生成时间维度的数据特征包括各所述待监控数据的生成日期以及各所述待监控数据的生成时刻中的一项或多项。
4.根据权利要求1所述的数据监控方法，其特征在于，所述异常判定模型的生成过程包括：
获取所述目标监控项的样本监控数据以及所述样本监控数据的异常类别；
统计所述样本监控数据在多个所述预设维度的样本数据特征；
基于所述样本数据特征的样本特征集合与所述异常类别之间的对应关系进行机器学习得到所述异常判定模型。
5.根据权利要求1至4任意一项所述的数据监控方法，其特征在于，所述利用预设的异常判定模型对由各所述数据特征构成的特征集合进行分析，得到数据监控结果，包括：
利用预设的随机森林模型判定由各所述数据特征构成的特征集合对应的异常类别，并将所述异常类别设置为所述数据监控结果。
6.一种数据监控装置，其特征在于，包括：
数据获取模块，用于获取目标监控项在相邻的多个时刻下生成的待监控数据；
特征统计模块，用于统计各所述待监控数据之间在数据值维度、数据值变化维度以及数据生成时间维度中任意多个维度的所述数据特征；
特征分析模块，用于利用预设的异常判定模型对由各所述数据特征构成的特征集合进行分析，得到数据监控结果。
7.根据权利要求7所述的数据监控装置，其特征在于，所述装置还包括：
判断模块，用于判断各所述待监控数据中是否存在数据缺失的目标待监控数据，若是，则依次调用数据统计模块以及覆盖模块；
所述数据统计模块，用于在所述待监控数据中统计除所述目标待监控数据以外的其它待监控数据；
所述覆盖模块，用于计算各所述其它待监控数据的平均值数据，并以所述平均值数据覆盖所述目标待监控数据；
相应的，所述特征统计模块，包括：
特征统计子模块，用于在以所述平均值数据覆盖所述目标待监控数据的基础上，统计各所述待监控数据之间在多个所述预设维度的所述数据特征。
8.一种数据监控设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至5任一项所述的数据监控方法的步骤。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的数据监控方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010751255.7A CN111881185A (zh) | 2020-07-30 | 2020-07-30 | 一种数据监控方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010751255.7A CN111881185A (zh) | 2020-07-30 | 2020-07-30 | 一种数据监控方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111881185A true CN111881185A (zh) | 2020-11-03 |
Family
ID=73205572
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010751255.7A Withdrawn CN111881185A (zh) | 2020-07-30 | 2020-07-30 | 一种数据监控方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111881185A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113468234A (zh) * | 2021-05-31 | 2021-10-01 | 济南浪潮数据技术有限公司 | 一种监控数据处理方法、装置、系统及存储介质 |
| CN113868643A (zh) * | 2021-09-22 | 2021-12-31 | 苏州浪潮智能科技有限公司 | 运行资源的安全检测方法、装置、电子设备及存储介质 |
| CN114461502A (zh) * | 2022-02-16 | 2022-05-10 | 北京百度网讯科技有限公司 | 模型的监控方法和装置 |
-
2020
- 2020-07-30 CN CN202010751255.7A patent/CN111881185A/zh not_active Withdrawn
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113468234A (zh) * | 2021-05-31 | 2021-10-01 | 济南浪潮数据技术有限公司 | 一种监控数据处理方法、装置、系统及存储介质 |
| CN113468234B (zh) * | 2021-05-31 | 2023-12-22 | 济南浪潮数据技术有限公司 | 一种监控数据处理方法、装置、系统及存储介质 |
| CN113868643A (zh) * | 2021-09-22 | 2021-12-31 | 苏州浪潮智能科技有限公司 | 运行资源的安全检测方法、装置、电子设备及存储介质 |
| CN113868643B (zh) * | 2021-09-22 | 2023-11-03 | 苏州浪潮智能科技有限公司 | 运行资源的安全检测方法、装置、电子设备及存储介质 |
| CN114461502A (zh) * | 2022-02-16 | 2022-05-10 | 北京百度网讯科技有限公司 | 模型的监控方法和装置 |
| CN114461502B (zh) * | 2022-02-16 | 2023-11-14 | 北京百度网讯科技有限公司 | 模型的监控方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110880984B (zh) | 基于模型的流量异常监测方法、装置、设备及存储介质 | |
| CN111881185A (zh) | 一种数据监控方法、装置、设备及存储介质 | |
| US8065568B2 (en) | Communication network failure detection system, and communication network failure detection method and failure detection program | |
| CN110601900B (zh) | 一种网络故障预警方法及装置 | |
| CN107478455B (zh) | 一种适用于威布尔分布型产品的定时截尾可靠性试验方法 | |
| CN104102875B (zh) | 基于加权朴素贝叶斯分类器的软件服务质量监控方法及系统 | |
| JP7235967B2 (ja) | ネットワーク分析プログラム、ネットワーク分析装置及びネットワーク分析方法 | |
| CN111010291A (zh) | 业务流程异常告警方法、装置、电子设备及存储介质 | |
| CN107547266B (zh) | 在线量异常点的检测方法和装置、计算机设备和存储介质 | |
| WO2007052327A1 (ja) | 性能異常分析装置、方法及びプログラム、並びに性能異常分析装置の分析結果表示方法 | |
| CN110275878B (zh) | 业务数据检测方法、装置、计算机设备及存储介质 | |
| WO2018080523A1 (en) | Data cost effective fast similarity search with priority access | |
| CN115576738B (zh) | 一种基于芯片分析实现设备故障确定的方法及系统 | |
| CN111611146A (zh) | 一种微服务故障预测方法和装置 | |
| CN113125903A (zh) | 线损异常检测方法、装置、设备及计算机可读存储介质 | |
| CN117130851B (zh) | 一种高性能计算集群运行效率评价方法及系统 | |
| CN117592656A (zh) | 基于碳数据核算的碳足迹监控方法及系统 | |
| CN112699048A (zh) | 基于人工智能的程序故障处理方法、装置、设备及存储介质 | |
| CN110278105B (zh) | 基于zabbix和web拨测检测整体业务运行质量的方法 | |
| CN115225455B (zh) | 异常设备检测方法及装置、电子设备、存储介质 | |
| CN107087284A (zh) | 一种网络小区的质量监控方法及监控系统、服务器 | |
| CN107846586B (zh) | 视频流质量的监测方法、装置和服务端 | |
| CN107085544B (zh) | 一种系统错误定位方法及装置 | |
| CN107357703B (zh) | 一种终端应用耗电检测方法及服务器 | |
| CN115190039A (zh) | 一种设备健康评测方法、系统、设备以及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20201103 |