CN115878598A - 监控数据处理方法、电子设备及存储介质 - Google Patents
监控数据处理方法、电子设备及存储介质 Download PDFInfo
- Publication number
- CN115878598A CN115878598A CN202211268299.XA CN202211268299A CN115878598A CN 115878598 A CN115878598 A CN 115878598A CN 202211268299 A CN202211268299 A CN 202211268299A CN 115878598 A CN115878598 A CN 115878598A
- Authority
- CN
- China
- Prior art keywords
- monitoring
- data
- value
- abnormal
- lower limit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Testing And Monitoring For Control Systems (AREA)
Abstract
本发明涉及数据处理技术领域,提供一种监控数据处理方法、电子设备及存储介质,包括:获取目标对象的监控数据以及监控上下限阈值范围,根据监控数据确定各时间段对应的监控实际值;获取基准曲线,基准曲线表征各时间段与基准值的对应关系;根据监控实际值、基准值和监控上下限阈值范围确定目标对象在各时间段上的状态。本发明提供的监控数据处理方法、电子设备及存储介质,通过对象的监控数据确定各时间段对应的监控实际值,并通过监控实际值、基准值和监控上下限阈值范围进行综合判断,确定对象在各时间段上的状态,实现从多角度对数据进行异常判断,提高异常告警的准确性。
Description
技术领域
本发明涉及数据处理技术领域,尤其涉及一种监控数据处理方法、电子设备及存储介质。
背景技术
监控系统从一个封闭、专用、监看为主的系统向客户IT信息系统的核心业务部分转换,借鉴IT系统分层架构,面向客户需求的云监控整体架构包括云终端、云平台和云业务的三层架构,其核心是以多媒体数据中心为主要组成部分的云数据监控平台。
传统的云数据中心,在对监控数据进行采集时,采集的数据范围较广,并且告警方式单一,基本上是通过设定固定的阈值来判断并输出告警结果,人力投入多,告警不准确,不灵活,不及时。
发明内容
针对现有技术存在的问题,本发明提供一种监控数据处理方法、电子设备及存储介质。
第一方面,本发明提供一种监控数据处理方法,包括:
获取目标对象的监控数据以及监控上下限阈值范围,根据所述监控数据确定各时间段对应的监控实际值;
获取基准曲线,所述基准曲线表征各时间段与基准值的对应关系;
根据所述监控实际值、所述基准值和所述监控上下限阈值范围确定所述目标对象在各时间段上的状态。
在一个实施例中,根据所述监控实际值、所述基准值和所述监控上下限阈值范围确定所述目标对象在各时间段上的状态,包括:
确定所述监控数据为时序数据,将所述各时间段对应的监控实际值与所述基准曲线上的基准值进行比较,确定监控实际值与基准值之间的差值的绝对值,在所述绝对值超出预设阈值时,判断所述监控实际值对应的监控数据为异常数据。
在一个实施例中,根据所述监控实际值、所述基准值和所述监控上下限阈值范围确定所述目标对象在各时间段上的状态,包括:
确定所述监控数据为非时序数据,将所述各时间段对应的监控实际值与所述监控上下限阈值范围进行比较,筛选出超出所述监控上下限阈值范围的监控实际值对应的监控数据;
提取所述监控数据的监控特征,根据根据所述监控特征确定所述监控数据是否异常。
在一个实施例中,所述方法还包括所述基准曲线的获取步骤,包括:
从样本数据集中筛选出时序样本数据,采样LSTM算法对时序样本数据进行训练,得出与时间段对应的基准值,基于时间段对应的基准值生成基准曲线。
在一个实施例中,所述方法还包括所述监控上下限阈值的获取步骤,包括:
从样本数据集中筛选出非时序样本数据,采用3-sigma算法对非时序样本数据进行处理,得出均值、标准差,按照均值±3倍标准差的方式,得出第一监控上下限阈值范围;
采样四分位算法对非时序样本数据进行处理,按照数据排序,选4分之1和4分之3分布点的数值作为第二监控上下限阈值范围;
根据第一监控上下限阈值范围和第二监控上下限阈值范围确定所述监控上下限阈值范围。
在一个实施例中,所述方法还包括所述样本数据集的获取步骤,包括:
获取原始数据,筛选出所述原始数据中具有缺失内容的第一数据,采用采取特殊值对缺失内容进行补充,所述特殊值包括正数、平均值、回归算法LSTM得出预测值、前后相邻的实际值;
筛选出所述原始数据中的异常数据,剔除异常数据中的异常值并采取上述缺失值处理方式对异常值进行更换;
筛选出所述原始数据中的不符合预设格式的第二数据,采用minmax归一化算法,将第二数据的特征统一量纲,将数据的实际值压缩到预设数值范围内。
在一个实施例中,所述根据所述监控特征确定监控数据是否异常,包括:
将监控特征输入到异常判断模型中,得到由所述异常判断模型输出的判断结果,所述判断结果用于表征监控实际值是否异常;
其中,所述模型以根据样本数据确定的特征信息和所述样本数据的异常或正常标签作为输入,通过机器学习训练得到,用于对监控实际值进行异常判断。
在一个实施例中,所述方法还包括:
根据被确定为异常数据的监控实际值,以及预存的监控值、告警级别和异常类型三者之间的对应关系,确定所述目标对象在异常数据对应的时间段上的告警级别和异常类型。
第二方面,本发明提供一种电子设备,包括存储器和存储有计算机程序的存储器,所述处理器执行所述程序时实现第一方面所述监控数据处理方法的步骤。
第三方面,本发明提供一种处理器可读存储介质,所述处理器可读存储介质存储有计算机程序,所述计算机程序用于使所述处理器执行第一方面所述监控数据处理方法的步骤。
本发明提供的监控数据处理方法、电子设备及存储介质,通过对象的监控数据确定各时间段对应的监控实际值,并通过监控实际值、基准值和监控上下限阈值范围进行综合判断,确定对象在各时间段上的状态,实现从多角度对数据进行异常判断,提高异常告警的准确性。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明提供的监控数据处理方法的流程示意图;
图2是本发明提供的监控数据处理装置的结构示意图;
图3是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1示出了本发明提供的一种监控数据处理方法的流程示意图,参见图1,该方法包括:
11、获取目标对象的监控数据以及监控上下限阈值范围,根据监控数据确定各时间段对应的监控实际值;
12、获取曲线,基准曲线表征各时间段与基准值的对应关系;
13、根据监控实际值、基准值和监控上下限阈值范围确定目标对象在各时间段上的状态。
针对步骤11~步骤13,需要说明的是,在本发明中,不同领域中对设备的运行状态要实时监控,以便发现各种异常情况。例如运维平台告警、硬件告警、网络告警、性能告警等等。为此,不同的告警,针对的监控对象不同。
在本发明中,确定监控的对象,然后获取该对象的监控数据。该监控数据包含时序数据和非时序数据,时序数据即对象的工作状态数据与时间有强关联性,不同的时间段内对象的工作状态数据不同。非时序数据即对象的工作状态与时间缺少关联。
在本发明中,对监控数据是否异常进行判断时,可对监控数据进行换算,以数值的方式进行展示,即根据监控数据确定各时间段对应的监控实际值,该监控实际值可是一个数值,也可以是一个数值范围。
在本发明中,采用回归算法LSTM对历史数据中各时间段对应的监控实际值进行分析,生成基准曲线。该基准曲线表征各时间段与基准值的对应关系。基准值是对象在各时间段上处于正常状态范围上的监控标准值。
在本发明中,目标对象在被监控状态下,存在监控上下限阈值范围,通过监控上下限阈值范围对监控实际值进行判断。该监控上下限阈值范围可针对所有时间段,也可每个时间段均有监控上下限阈值范围。
在本发明中,可采用3-sigma和四分位算法等对历史监控数据进行反复测算,生成上下限计算模型。该上下限计算模型包括采用3-sigma算法对非时序样本数据进行处理,以及采用四分位算法对时序样本数据进行处理。基于两种算法的处理结果综合确定所需的上下限制阈值范围,还能随着监控数据的实时变化由上下限计算模型自适应更新上下限阈值范围。
在本发明中,存在监控实际值、基准值和监控上下限阈值范围,为此,需要结合三种数值的合理判断,判断各时间段上的监控实际值是否异常,基于数值的异常与否,能够确定目标对象在各时间段上的状态。
例如对时序数据,将监控实际值与监控上下限阈值范围进行比较,确定监控数据是否异常;对非时序数据,将监控实际值与基准值进行比较,确定监控数据是否异常。
本发明提供的一种监控数据处理方法,通过对象的监控数据确定各时间段对应的监控实际值,并通过监控实际值、基准值和监控上下限阈值范围进行综合判断,确定对象在各时间段上的状态,实现从多角度对数据进行异常判断,提高异常告警的准确性。
在上述方法的进一步方法中,主要是对根据监控实际值、基准值和监控上下限阈值范围确定目标对象在各时间段上的状态的处理过程进行解释说明,具体如下:
确定监控数据为时序数据,将各时间段对应的监控实际值与基准曲线上的基准值进行比较,确定监控实际值与基准值之间的差值的绝对值,在绝对值超出预设阈值时,判断监控实际值对应的监控数据为异常数据。
对此,需要说明的是,当待处理的监控数据为时序数据,则将基于监控数据确定的各时间段对应的监控实际值与基准曲线上的基准值进行比较,确定监控实际值与基准值之间的差值的绝对值,然后将绝对值与预设的阈值进行比较,当绝对值超出预设阈值时,判断监控实际值对应的监控数据为异常数据。相对应,当绝对值未超出预设阈值时,判断监控实际值对应的监控数据为正常数据。
确定监控数据为非时序数据,将各时间段对应的监控实际值与监控上下限阈值范围进行比较,筛选出超出监控上下限阈值范围的监控实际值对应的监控数据;
提取监控数据的监控特征,根据根据监控特征确定监控数据是否异常。
对此,需要说明的是,当待处理的监控数据为非时序数据,将各时间段对应的监控实际值与监控上下限阈值范围进行比较,筛选出超出监控上下限阈值范围的监控实际值对应的监控数据。还需要进一步对这些监控数据进行异常判断,原因是当出现某些突发场景,可以会使得此时的监控数据相对“异常”,但不一定是系统发生异常造就的异常数据。
此时,获取这些监控实际值对应的监控数据,根据监控数据确定监控特征,然后通过对监控特征的进一步分析,确定这些监控实际值是否异常。
更进一步的方法中,将监控特征输入到异常判断模型中,得到由异常判断模型输出的判断结果,判断结果用于表征监控实际值是否异常;
其中,模型以根据样本数据确定的特征信息和样本数据的异常或正常标签作为输入,通过机器学习训练得到,用于对监控实际值进行异常判断。
通过模型对监控特征进行分析,能够实现快速对监控数据进行异常判断,且保证判断更精确。
在上述方法的进一步方法中,主要是对基准曲线的获取过程进行进一步的解释说明,具体如下:
从样本数据集中筛选出时序样本数据,采样LSTM算法对时序样本数据进行训练,得出与时间段对应的基准值,基于时间段对应的基准值生成基准曲线。另外,还需要基于后续的实时采集的时序数据对基准曲线进行优化。
在上述方法的进一步方法中,主要是对监控上下限阈值的获取过程进行进一步的解释说明,包括:
从样本数据集中筛选出非时序样本数据,采用3-sigma算法对非时序样本数据进行处理,得出均值、标准差,按照均值±3倍标准差的方式,得出第一监控上下限阈值范围;
采样四分位算法对非时序样本数据进行处理,按照数据排序,选4分之1和4分之3分布点的数值作为第二监控上下限阈值范围;
根据第一监控上下限阈值范围和第二监控上下限阈值范围确定所述监控上下限阈值范围。在本发明中,上述得到的两个监控上下限阈值范围可以根据上下限阈值进行组合,得到所需的上下限阈值范围。例如将第一监控上下限阈值范围的下限阈值与第二监控上下限阈值范围的上限阈值进行组合,得到所需的上下限阈值范围。通常情况下,监控上下限阈值范围的下限阈值小于另一监控上下限阈值范围的上限阈值。另外,还可如取均值、取最大最小值等方式得到上下限阈值范围。
在本发明中,还需要基于后续的实时采集的非时序数据对监控上下限阈值范围进行优化。
在上述方法的进一步方法中,主要是对样本数据集的获取过程进行解释说明,具体如下:
获取原始数据,筛选出原始数据中具有缺失内容的第一数据,采用采取特殊值对缺失内容进行补充,特殊值包括正数、平均值、回归算法LSTM得出预测值、前后相邻的实际值;
筛选出原始数据中的异常数据,剔除异常数据中的异常值并采取上述缺失值处理方式对异常值进行更换;
筛选出原始数据中的不符合预设格式的第二数据,采用minmax归一化算法,将第二数据的特征统一量纲,将数据的实际值压缩到预设数值范围内。
对此,需要说明的是,构建样本数据集,采集到的监控数据参差不齐,需要将各类数据进行标准化处理。监控数据包括异常数据、缺失值数据、不同单位类型数据。
针对缺失值数据(上述提及的第一数据),采取特殊值补充,特殊值包括正数、平均值、回归算法LSTM得出预测值、前后相邻的实际值。另外,可根据业务反馈或者实际应用效果对特殊值填充值规则进行更新。
针对异常数据,剔除异常数据中的异常值并采取上述缺失值处理方式对异常值进行更换。
针对不同单位类型数据(上述提及的第二数据),采用minmax归一化算法,将第二数据的特征统一量纲,将数据的实际值压缩到预设数值范围内。
在上述方法的进一步方法中,将监控特征输入到异常判断模型中,得到由异常判断模型输出的判断结果,判断结果用于表征监控实际值是否异常;
其中,模型以根据样本数据确定的特征信息和样本数据的异常或正常标签作为输入,通过机器学习训练得到,用于对监控实际值进行异常判断。
通过模型对监控特征进行分析,能够实现快速对监控数据进行异常判断,且保证判断更精确。
另外,当模型基于监控特征判断对应的监控实际值为非异常数据,则可能表明监控实际值对应的时间段处于一种突发的运行场景,该运行场景属于正常现象,由此,造成当时的监控实际值超出监控上下限阈值范围。需要对这些运行场景进行考虑,基于通过监控特征被确定为非异常数据的监控实际值对监控上下限阈值范围进行修正。
在上述方法的进一步方法中,被确定为异常数据的监控实际值的大小,能够表征异常的不同程度,同时还能够表征可能发生的异常类型。为此,将被确定为异常数据的监控实际值在预存的监控值、告警级别和异常类型三者之间的对应关系上进行匹配,确定目标对象在异常数据对应的时间段上的告警级别和异常类型。在这里需要说明的是,该对应关系实质上是监控值区间与告警级别的对应关系,监控值区间与异常类型的对应关系。
本发明进一步的方法,通过告警级别和异常类型的展示,能够体现出对象在异常现象的轻重缓急,便于工作人员不同的维修策略。
下面对本发明提供的监控数据处理装置进行描述,下文描述的监控数据处理装置与上文描述的监控数据处理方法可相互对应参照。
图2示出了本发明提供的一种监控数据处理装置的流程示意图,参见图2,该装置包括获取模块21、生成模块22和处理模块23,其中:
获取模块,用于获取目标对象的监控数据以及监控上下限阈值范围,根据监控数据确定各时间段对应的监控实际值;
生成模块,用于获取基准曲线,基准曲线表征各时间段与基准值的对应关系;
处理模块,用于根据监控实际值、基准值和监控上下限阈值范围确定目标对象在各时间段上的状态。
在上述装置的进一步装置中,该处理模块具体用于:
确定所述监控数据为时序数据,将所述各时间段对应的监控实际值与所述基准曲线上的基准值进行比较,确定监控实际值与基准值之间的差值的绝对值,在所述绝对值超出预设阈值时,判断所述监控实际值对应的监控数据为异常数据。
在上述装置的进一步装置中,该处理模块具体用于:
确定所述监控数据为非时序数据,将所述各时间段对应的监控实际值与所述监控上下限阈值范围进行比较,筛选出超出所述监控上下限阈值范围的监控实际值对应的监控数据;
提取所述监控数据的监控特征,根据根据所述监控特征确定所述监控数据是否异常。
在上述装置的进一步装置中,该装置还包括构建模块,用于:
从样本数据集中筛选出时序样本数据,采样LSTM算法对时序样本数据进行训练,得出与时间段对应的基准值,基于时间段对应的基准值生成基准曲线。
在上述装置的进一步装置中,该构建模块还用于:
从样本数据集中筛选出非时序样本数据,采用3-sigma算法对非时序样本数据进行处理,得出均值、标准差,按照均值±3倍标准差的方式,得出第一监控上下限阈值范围;
采样四分位算法对非时序样本数据进行处理,按照数据排序,选4分之1和4分之3分布点的数值作为第二监控上下限阈值范围;
根据第一监控上下限阈值范围和第二监控上下限阈值范围确定所述监控上下限阈值范围。
在上述装置的进一步装置中,该构建模块还用于:
获取原始数据,筛选出所述原始数据中具有缺失内容的第一数据,采用采取特殊值对缺失内容进行补充,所述特殊值包括正数、平均值、回归算法LSTM得出预测值、前后相邻的实际值;
筛选出所述原始数据中的异常数据,剔除异常数据中的异常值并采取上述缺失值处理方式对异常值进行更换;
筛选出所述原始数据中的不符合预设格式的第二数据,采用minmax归一化算法,将第二数据的特征统一量纲,将数据的实际值压缩到预设数值范围内。
在上述装置的进一步装置中,该装置还包括告警模块,用于:
根据被确定为异常数据的监控实际值,以及预存的监控值、告警级别和异常类型三者之间的对应关系,确定目标对象在异常数据对应的时间段上的告警级别和异常类型。
在上述装置的进一步装置中,该处理模块在根据监控特征确定第一监控实际值是否异常的处理过程中,具体用于:
将监控特征输入到异常判断模型中,得到由异常判断模型输出的判断结果,判断结果用于表征监控实际值是否异常;
其中,模型以根据样本数据确定的特征信息和样本数据的异常或正常标签作为输入,通过机器学习训练得到,用于对监控实际值进行异常判断。
由于本发明实施例所述装置与上述实施例所述方法的原理相同,对于更加详细的解释内容在此不再赘述。
需要说明的是,本发明实施例中可以通过硬件处理器(hardware processor)来实现相关功能模。
本发明提供的监控数据处理装置,通过对象的监控数据确定各时间段对应的监控实际值,并通过监控实际值、基准值和监控上下限阈值范围进行综合判断,确定对象在各时间段上的状态,实现从多角度对数据进行异常判断,提高异常告警的准确性。
图3示例了一种电子设备的实体结构示意图,如图3所示,该电子设备可以包括:处理器(processor)31、通信接口(Communication Interface)32、存储器(memory)33和通信总线34,其中,处理器31,通信接口32,存储器33通过通信总线34完成相互间的通信。处理器31可以调用存储器33中的计算机程序,以执行监控数据处理方法的步骤,例如包括:获取目标对象的监控数据以及监控上下限阈值范围,根据监控数据确定各时间段对应的监控实际值;获取基准曲线,基准曲线表征各时间段与基准值的对应关系;根据监控实际值、基准值和监控上下限阈值范围确定目标对象在各时间段上的状态。
此外,上述的存储器33中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行监控数据处理方法的步骤,例如包括:获取目标对象的监控数据以及监控上下限阈值范围,根据监控数据确定各时间段对应的监控实际值;获取基准曲线,基准曲线表征各时间段与基准值的对应关系;根据监控实际值、基准值和监控上下限阈值范围确定目标对象在各时间段上的状态。
另一方面,本发明实施例还提供一种处理器可读存储介质,所述处理器可读存储介质存储有计算机程序,所述计算机程序用于使所述处理器执行监控数据处理方法的步骤,例如包括:获取目标对象的监控数据以及监控上下限阈值范围,根据监控数据确定各时间段对应的监控实际值;获取基准曲线,基准曲线表征各时间段与基准值的对应关系;根据监控实际值、基准值和监控上下限阈值范围确定目标对象在各时间段上的状态。
所述处理器可读存储介质可以是处理器能够存取的任何可用介质或数据存储设备,包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NANDFLASH)、固态硬盘(SSD))等。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种监控数据处理方法,其特征在于,包括:
获取目标对象的监控数据以及监控上下限阈值范围,根据所述监控数据确定各时间段对应的监控实际值;
获取基准曲线,所述基准曲线表征各时间段与基准值的对应关系;
根据所述监控实际值、所述基准值和所述监控上下限阈值范围确定所述目标对象在各时间段上的状态。
2.根据权利要求1所述的监控数据处理方法,其特征在于,根据所述监控实际值、所述基准值和所述监控上下限阈值范围确定所述目标对象在各时间段上的状态,包括:
确定所述监控数据为时序数据,将所述各时间段对应的监控实际值与所述基准曲线上的基准值进行比较,确定监控实际值与基准值之间的差值的绝对值,在所述绝对值超出预设阈值时,判断所述监控实际值对应的监控数据为异常数据。
3.根据权利要求1所述的监控数据处理方法,其特征在于,根据所述监控实际值、所述基准值和所述监控上下限阈值范围确定所述目标对象在各时间段上的状态,包括:
确定所述监控数据为非时序数据,将所述各时间段对应的监控实际值与所述监控上下限阈值范围进行比较,筛选出超出所述监控上下限阈值范围的监控实际值对应的监控数据;
提取所述监控数据的监控特征,根据根据所述监控特征确定所述监控数据是否异常。
4.根据权利要求1所述的监控数据处理方法,其特征在于,所述方法还包括所述基准曲线的获取步骤,包括:
从样本数据集中筛选出时序样本数据,采样LSTM算法对时序样本数据进行训练,得出与时间段对应的基准值,基于时间段对应的基准值生成基准曲线。
5.根据权利要求1所述的监控数据处理方法,其特征在于,所述方法还包括所述监控上下限阈值的获取步骤,包括:
从样本数据集中筛选出非时序样本数据,采用3-sigma算法对非时序样本数据进行处理,得出均值、标准差,按照均值±3倍标准差的方式,得出第一监控上下限阈值范围;
采样四分位算法对非时序样本数据进行处理,按照数据排序,选4分之1和4分之3分布点的数值作为第二监控上下限阈值范围;
根据第一监控上下限阈值范围和第二监控上下限阈值范围确定所述监控上下限阈值范围。
6.根据权利要求4或5所述的监控数据处理方法,其特征在于,所述方法还包括所述样本数据集的获取步骤,包括:
获取原始数据,筛选出所述原始数据中具有缺失内容的第一数据,采用采取特殊值对缺失内容进行补充,所述特殊值包括正数、平均值、回归算法LSTM得出预测值、前后相邻的实际值;
筛选出所述原始数据中的异常数据,剔除异常数据中的异常值并采取上述缺失值处理方式对异常值进行更换;
筛选出所述原始数据中的不符合预设格式的第二数据,采用minmax归一化算法,将第二数据的特征统一量纲,将数据的实际值压缩到预设数值范围内。
7.根据权利要求3所述的监控数据处理方法,其特征在于,所述根据所述监控特征确定监控数据是否异常,包括:
将监控特征输入到异常判断模型中,得到由所述异常判断模型输出的判断结果,所述判断结果用于表征监控实际值是否异常;
其中,所述模型以根据样本数据确定的特征信息和所述样本数据的异常或正常标签作为输入,通过机器学习训练得到,用于对监控实际值进行异常判断。
8.根据权利要求2或3所述的监控数据处理方法,其特征在于,所述方法还包括:
根据被确定为异常数据的监控实际值,以及预存的监控值、告警级别和异常类型三者之间的对应关系,确定所述目标对象在异常数据对应的时间段上的告警级别和异常类型。
9.一种电子设备,包括处理器和存储有计算机程序的存储器,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至8任一项所述监控数据处理方法的步骤。
10.一种处理器可读存储介质,其特征在于,所述处理器可读存储介质存储有计算机程序,所述计算机程序用于使所述处理器执行权利要求1至8任一项所述监控数据处理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211268299.XA CN115878598A (zh) | 2022-10-17 | 2022-10-17 | 监控数据处理方法、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211268299.XA CN115878598A (zh) | 2022-10-17 | 2022-10-17 | 监控数据处理方法、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115878598A true CN115878598A (zh) | 2023-03-31 |
Family
ID=85770464
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211268299.XA Pending CN115878598A (zh) | 2022-10-17 | 2022-10-17 | 监控数据处理方法、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115878598A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116909851A (zh) * | 2023-04-24 | 2023-10-20 | 山东溯源安全科技有限公司 | 一种监控方法、装置、电子设备及存储介质 |
CN117936104A (zh) * | 2024-03-25 | 2024-04-26 | 青岛山大齐鲁医院(山东大学齐鲁医院(青岛)) | 一种基于局部阈值分割算法的胃癌免疫评分方法及装置 |
-
2022
- 2022-10-17 CN CN202211268299.XA patent/CN115878598A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116909851A (zh) * | 2023-04-24 | 2023-10-20 | 山东溯源安全科技有限公司 | 一种监控方法、装置、电子设备及存储介质 |
CN117936104A (zh) * | 2024-03-25 | 2024-04-26 | 青岛山大齐鲁医院(山东大学齐鲁医院(青岛)) | 一种基于局部阈值分割算法的胃癌免疫评分方法及装置 |
CN117936104B (zh) * | 2024-03-25 | 2024-06-04 | 青岛山大齐鲁医院(山东大学齐鲁医院(青岛)) | 一种基于局部阈值分割算法的胃癌免疫评分方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110191094B (zh) | 异常数据的监控方法及装置、存储介质、终端 | |
CN115878598A (zh) | 监控数据处理方法、电子设备及存储介质 | |
CN108173670B (zh) | 检测网络的方法和装置 | |
CN111143102B (zh) | 异常数据检测方法、装置、存储介质及电子设备 | |
CN107977301B (zh) | 设备异常的检测方法、装置、存储介质及电子设备 | |
CN111045894B (zh) | 数据库异常检测方法、装置、计算机设备和存储介质 | |
CN110880984A (zh) | 基于模型的流量异常监测方法、装置、设备及存储介质 | |
US9704382B2 (en) | Method for calculating error rate of alarm | |
CN112436968A (zh) | 一种网络流量的监测方法、装置、设备及存储介质 | |
CN108445410A (zh) | 一种监测蓄电池组运行状态的方法及装置 | |
CN114723082B (zh) | 一种智能低压成套设备的异常预警方法及系统 | |
CN110995153B (zh) | 一种光伏电站的异常数据检测方法、装置及电子设备 | |
CN116049146B (zh) | 一种数据库故障处理方法、装置、设备及存储介质 | |
CN108696486B (zh) | 一种异常操作行为检测处理方法及装置 | |
CN113037575A (zh) | 网元异常的根因定位方法、装置、电子设备及存储介质 | |
CN114996090A (zh) | 一种服务器异常检测方法、装置、电子设备及存储介质 | |
CN111340287A (zh) | 配电柜运行状态预测方法及装置 | |
CN115018220A (zh) | 一种基于知识图谱的家电故障预测方法和系统 | |
CN107977626B (zh) | 一种电子设备工作数据的分组方法 | |
CN108009582B (zh) | 一种电子设备标准工作指标设置的方法 | |
CN113487182A (zh) | 设备健康状态评估方法、装置、计算机设备和介质 | |
CN113313304A (zh) | 一种基于大数据决策树的电网事故异常分析方法及系统 | |
CN110990223A (zh) | 一种基于系统日志的监控告警方法及装置 | |
CN110838940A (zh) | 地下电缆巡检任务配置方法和装置 | |
CN114881112A (zh) | 一种系统异常检测方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |