CN114915542A - 数据异常的告警方法、装置、设备及存储介质 - Google Patents
数据异常的告警方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN114915542A CN114915542A CN202210469531.XA CN202210469531A CN114915542A CN 114915542 A CN114915542 A CN 114915542A CN 202210469531 A CN202210469531 A CN 202210469531A CN 114915542 A CN114915542 A CN 114915542A
- Authority
- CN
- China
- Prior art keywords
- data
- analysis
- monitoring data
- dynamic threshold
- anomaly
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000004458 analytical method Methods 0.000 claims abstract description 196
- 238000012544 monitoring process Methods 0.000 claims abstract description 170
- 230000006870 function Effects 0.000 claims abstract description 114
- 230000002159 abnormal effect Effects 0.000 claims description 55
- 230000005856 abnormality Effects 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 2
- 238000000547 structure data Methods 0.000 claims 1
- 230000003068 static effect Effects 0.000 abstract description 7
- 238000007405 data analysis Methods 0.000 abstract description 6
- 238000010248 power generation Methods 0.000 description 16
- 238000004422 calculation algorithm Methods 0.000 description 11
- 238000005259 measurement Methods 0.000 description 11
- 230000001960 triggered effect Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000012549 training Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000002787 reinforcement Effects 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 238000004146 energy storage Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000012916 structural analysis Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
- H04L41/065—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis involving logical or physical relationship, e.g. grouping and hierarchies
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Debugging And Monitoring (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本申请公开了一种数据异常的告警方法、装置、设备及存储介质,涉及数据分析领域。该方法包括:服务器接收测点上传的待进行异常分析的监测数据;基于监测数据从至少两种候选分析函数中确定目标分析函数,至少两种候选分析函数通过不同的分析逻辑对监测数据进行分析;通过目标分析函数以及动态阈值对监测数据进行异常分析,得到监测数据对应的异常分析结果;基于异常分析结果生成异常分析报告。通过对动态阈值实时更新,并且针对不同数据类型的监测数据有选择地采用不同分析逻辑的函数,可以有效避免在监测数据复杂和环境多样的情况下采用静态阈值而导致监测数据不准的情况,提高了数据告警的准确性和适应性。
Description
技术领域
本申请实施例涉及数据分析领域,特别涉及一种数据异常的告警方法、装置、设备及存储介质。
背景技术
告警管理服务通常应用于设备运行监控过程中,对设备运行异常情况进行告警,从而管理人员能够高效了解设备运行异常,并在设备运行异常的情况下,进行实时状态监控和故障分析等需求。
相关技术中,告警平台主要采用的告警方式是设置一个静态阈值,当从测点接收到的数据超出该静态阈值时,视为发生异常情况,计算机产生告警。
但由于设备运行过程中监测数据的复杂性以及监测环境的多样性,静态阈值无法满足各种应用场景下的动态要求,告警触发效率较低。
发明内容
本申请实施例提供了一种数据异常的告警方法、装置、设备及存储介质,能够通过实时处理测点上传的监测数据更新原动态阈值,再针对监测数据的数据种类不同,从候选分析函数中选择相应的目标分析函数进行告警。所述技术方案如下。
一方面,提供了一种数据异常告警方法,所述方法包括:
接收测点上传的监测数据,所述监测数据为待进行异常分析的物联网IOT数据;
基于所述监测数据从至少两种候选分析函数中确定目标分析函数,所述至少两种候选分析函数通过不同的分析逻辑对所述监测数据进行分析;
通过所述目标分析函数以及动态阈值对所述监测数据进行异常分析,得到所述监测数据对应的异常分析结果;
基于所述异常分析结果生成异常分析报告,所述异常分析报告中包括所述测点的数据异常情况。
另一方面,提供了一种数据异常告警装置,所述装置包括:
接收模块,用于接收测点上传的监测数据,所述监测数据为待进行异常分析的物联网IOT数据;
确定模块,用于基于所述监测数据从至少两种候选分析函数中确定目标分析函数,所述至少两种候选分析函数通过不同的分析逻辑对所述监测数据进行分析;
分析模块,用于通过所述目标分析函数以及动态阈值对所述监测数据进行异常分析,得到所述监测数据对应的异常分析结果;
生成报告模块,用于基于所述异常分析结果生成异常分析报告,所述异常分析报告中包括所述测点的数据异常情况。
另一方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述本申请实施例中任一所数据异常告警方法。
另一方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述本申请实施例中任一所述的数据异常告警方法。
另一方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述实施例中任一所述的数据异常告警方法。
本申请实施例提供的技术方案带来的有益效果至少包括:
服务器接收测点上传的待进行异常分析的监测数据,将监测数据经过动态阈值确定模型得到阈值异常分析结果,进而得到新的动态阈值。用户可以预先设定具有不同分析逻辑的至少两种候选分析函数,针对不同数据类型的监测数据采用合适的目标分析函数进行告警监测,生成包括所述测点的数据异常情况的分析报告。这样可以有效地避免在监测数据复杂和环境多样的情况下采用静态阈值而导致监测数据不准的情况,提高了数据告警的准确性和适应性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一个示例性实施例提供的整体方案实施流程示意图;
图2是本申请一个示例性实施例提供的动态阈值确定模型示意图;
图3是本申请一个示例性实施例提供的数据异常告警方法的流程图;
图4是本申请另一个示例性实施例提供的数据异常告警方法的流程图;
图5是本申请一个示例性实施例提供的数据异常分析报告示意图;
图6是本申请一个示例性实施例提供的数据异常告警装置的结构框图;
图7是本申请另一个示例性实施例提供的数据异常告警装置的结构框图;
图8是本申请一个示例性实施例提供的服务器的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
首先,针对本申请实施例中涉及的名词进行简单介绍。
物联网(Internet of Things,IOT):是指通过各种信息传感器、射频识别技术、全球定位系统、红外感应器、激光扫描器等各种装置与技术,实时采集任何需要监控、连接、互动的物体或过程,采集其声、光、热、电、力学、化学、生物、位置等各种需要的信息。本申请实施例中,以数据异常的告警方法应用于物联网场景中为例,示意性的,监测数据是从物联网场景下的风力发电测点获取的数据,如:风力数据、环境数据、发电量数据、储能数据等,本申请实施例对此不加以限定。通过获取风力发电测点的监测数据,对风力发电测点的发点情况以及风力发电机的设备运行情况进行监控。
动态数据流趋势分析算法:动态数据流趋势算法包括增量递推最小二乘算法和广义似然比分割点检测。增量递推最小二乘算法可以利用新到达的数据修正原模板参数,从而得到新的模板参数;广义似然比分割点检测用以配合增量递推递推最小二乘算法,以满足数据流实时趋势分析的需要。
强化学习(Reinforcement Learning,RL):强化学习是机器学习的范式和方法论之一,用于描述和解决智能体在与环境的交互过程中通过学习策略以达到灰白最大化或实现特定目标的问题。强化学习不要求预先给定任何数据,而是通过接收环境对动作的返回获得学习信息并更新模型参数。
掩码:掩码是一串二进制代码对目标字段进行位与运算,屏蔽当前的输入位。将源码与掩码经过按位运算或逻辑运算得出新的操作数。
用户定义函数(User-defined function,UDF):该函数由程序或者环境的用户提供,在同一个应用过程中,通常假设UDF内置于程序或者环境中。
相关技术中,针对数据的异常告警需要通过将监测数据与静态阈值相比较。然而静态阈值是固定的,无法适应监测数据的复杂性以及监测环境的多样性,从而导致告警无法被有效触发。而且,由于被监测数据的数据类型并不唯一,采用固定的监测方式也无法有效处理测点输入的多种数据,进而无法触发告警。
本申请实施例中,提供了一种数据告警方式,用户可以先通过动态阈值确定模型得到实时更新的动态阈值,之后根据监测数据的数据类型从至少两种具有不同的分析逻辑的候选分析函数中确定目标分析函数,将最近一次更新的动态阈值和监测数据比较,进行异常数据告警分析,得到监测数据对应的异常分析结果,可以提高数据告警触发的准确性和灵活性。
示意性的,图1是本申请一个示例性实施例提供的整体方案实施流程示意图,以该方法应用于计算机设备为例,如图1所示,该方法包括:
步骤101,接收测点上传的监测数据。
测点是指数据分析所针对的设备或者设备集群,示意性的,本申请实施例中,监测数据为待进行异常分析的IOT数据,则测点为产生IOT数据的IOT设备,如:以风力发电场景为例,该测点为产生风力发电的风力发电设备或者风力发电设备集群。如:测点为目标风力发电场,其中包括n台风力发电机,n为正整数。
在一些实施例中,计算机设备与测点之间建立有通信网络连接,测点上传监测数据的方式包括如下方式中的至少一种:
第一,测点以预设的上报周期向计算机设备上传在上报周期内的监测数据;
示意性的,计算机预设上报周期的时长,测点根据该预设的上报周期,在一个上报周期后向计算机设备发送在这一个上报周期内的监测数据,如:计算机预设的上报周期为2小时,则当测点自上一次向计算机上传监测数据后,经过2小时,向计算机上报该2小时内的监测数据。
第二,测点接收计算机设备发送的上报指令,并根据上报指令上传监测数据;
其中,测点根据上报指令上传的监测数据为最近预设时长内的监测数据,如:当测点接收到上报指令时,上报最近24小时内的监测数据;
或者,测点根据上报指令上传的监测数据为指定时长内的监测数据,如:测点接收到上报指令,且上报指令中包括指定时长2小时,则测点向计算机设备上报已记录的最近2小时内的监测数据。
值得注意的是,上述上传监测数据的方式仅为示意性的举例,本申请实施例对上传监测数据的时机和方式不加以限定。
监测数据为测点持续生成的数据,用于指示测点的运行情况。示意性的,以IOT场景中的风力发电场景为例,IOT数据包括风力发电测点的环境数据(如:温度数据、湿度数据、风速数据、风向数据等)、发电量数据、储能数据等,其中,发电量数据是指测点在历史指定时长内的发电量,如:当观测点以2小时为上传周期向计算机设备上传监测数据时,发电量数据是指测点在最近2小时内的发电量。
本申请实施例中,通过获取测点的监测数据,对测点的运行情况进行监控,以监测数据与指定数据范围的比对结果,确定测点运行的正常或异常情况。
步骤102,基于监测数据从至少两种候选分析函数中确定目标分析函数。
其中,至少两种候选分析函数通过不同的分析逻辑对监测数据进行分析。
在一些实施例中,根据监测数据的数据类型从至少两种候选分析函数中确定目标分析函数。
示意性的,当数据类型为二进制数时,基于动态阈值对应的掩码规律进行设置。其中,动态阈值对应的掩码规律是指,以二进制的形式表达该动态阈值,根据当前动态阈值所表达的特征,确定位数的掩码取值规则,如:当前动态阈值实现为78,该动态阈值的二进制表达为1001110,该二进制的第三位取值为1,则定义监测数据对应的二进制第三位取值为1时则触发告警。
或者,当数据类型为结构体时,对结构体中指定的字段进行分析。示意性的,针对数据类型为结构体的监测数据,对结构体内容中需要的相关字段进行解析与读取,从而对该相关字段进行分析,如:当前动态阈值对应需要分析的字段为temperature字段,则从接收到的结构体形式的监测数据中解析并提取“temperature”字段的字段内容,从而对字段内容进行分析。
在另一些实施例中,根据用户的选择操作从至少两种候选分析函数中确定目标分析函数。
也即,接收用户的选择操作,基于选择操作从至少两种候选分析函数中确定目标分析函数。如:用户选择采用掩码匹配函数。若接收到的监测数据为二进制形式的数据,则直接通过掩码匹配函数对该监测数据进行分析;若接收到的监测数据非二进制形式,则将监测数据转换至二进制形式后,通过掩码匹配函数对该监测数据进行分析。
值得注意的是,上述目标分析函数的确定方式仅为示意性的举例,本申请实施例中还可以通过其他方式确定目标分析函数,如:随机确定方式、循环确定方式等,本申请实施例对此不加以限定。
步骤103,通过目标分析函数以及动态阈值对监测数据进行异常分析,得到监测数据对应的异常分析结果。
目标分析函数是根据监测数据的数据种类不同而具有不同分析逻辑的函数,目的就是可以对于不同种类的监测数据采用不同的分析方法进行分析。目标分析函数中包含有监测数据与动态阈值进行比对后触发报警的条件。
在一些实施例中,在通过目标分析函数以及动态阈值对监测数据进行异常分析之前,首先通过动态阈值确定模型确定动态阈值。可选地,该动态阈值是经过动态阈值确定模型中的模型参数迭代更新后实时得到的阈值。其中,在当前的监测数据经过异常分析后,将该监测数据输入至训练集中,用于训练该动态阈值确定模型,从而实现动态阈值确定模型的实时迭代更新。
动态阈值确定模型包括模型参数,且该动态阈值确定模型是使用一种动态数据流趋势分析算法,结合强化学习而形成的模型。
在本申请实施例中,动态阈值确定模型是为了更新动态阈值所设定的。如图2所示,该模型是为了避免阈值不适应环境而导致监测结果不准的情况。该动态阈值确定模型210采用UDF方法,可以由用户根据需要自行定义函数中的映射关系。其中,UDF方法中所需要的具体数据可以通过动态趋势流分析算法200得到。动态数据流趋势算法200包括增量递推最小二乘算法和广义似然比分割点检测。增量递推最小二乘算法可以利用新到达的数据修正原模型参数,从而得到新的模型参数;广义似然比分割点检测用以配合增量递推最小二乘算法,以满足数据流实时趋势分析的需要。
可选地,动态阈值确定模型通过接受监测数据获得学习信息并更新模型参数。对于不断上传的测点数据,基于前期训练的模型得到阈值的前提下,每新增加一条测点数据220,都自主加入训练集进行训练,进而实现动态阈值。
其中,训练集用于训练模型,确定模型的权重和偏置等参数。在本申请中,训练集的作用是在原先模型参数的基础上,对新输入的监测数据进行分析后更新原来的参数模型,进而得到新的动态阈值。
同时,还可以通过异常分析结果和监测数据对动态阈值确定模型的模型参数进行调整,通过调整模型参数后的动态阈值确定模型,达到更新动态阈值的目的。
步骤104,基于异常分析结果生成异常分析报告。
异常分析报告中包括测点的数据异常情况。
综上所述,本实施例提供的数据异常的告警方法,让用户可以通过动态阈值确定模型得到实时迭代更新的动态阈值,避免因为检测环境的多样性导致阈值不准的情况。除此之外,根据监测数据的数据类型不同而选择不同的目标分析函数进行分析,也可以避免采用一种分析方式分析不同数据类型而造成的计算量复杂、消耗时间和成本的情况。因此,采用本申请可以有效提高数据告警触发的准确性和灵活性。
在一些实施例中,上述目标分析函数包括掩码匹配函数,该监测数据为二进制数。图3是本申请另一个示例性实施例提供的数据异常的告警方法的流程图,以该方法应用于IOT场景中为例,如图3所示,该方法包括:
步骤301,接收测点上传的监测数据。
测点是指数据分析所针对的设备或者设备集群,示意性的,本申请实施例中,监测数据为待进行异常分析的IOT数据,则测点为产生IOT数据的IOT设备。监测数据的数据类型或有差异,既包括基本监测数据,也包括二进制监测数据、结构体监测数据等
步骤302,基于监测数据从至少两种候选分析函数中确定掩码匹配函数为目标分析函数。
可选的,若监测数据的数据类型为二进制型,采用的目标分析函数为掩码匹配函数,将从测点处采集的数据输入到掩码匹配函数中,同时,基于掩码匹配函数确定指定位数取值规则。
步骤303,基于掩码匹配函数对应的匹配规则,对监测数据进行异常分析。
掩码匹配函数的匹配规则是根据动态阈值确定的。在一些实施例中,匹配规则用于直接表达动态阈值的取值,或者,匹配规则用于表达该动态阈值的二进制数指定位数的取值。示意性的,由于匹配规则为根据二进制数确定的规则,如,动态阈值为78时,二进制数为1001110,则,匹配规则用于对所有取值为1的位数进行规则的设定,以确保监测数据达到或超过动态阈值78时触发告警;或者,匹配规则用于对部分取值为1的位数进行规则的设定,以确保监测数据以小于动态阈值的某一数值为告警阈值,如:动态阈值为78时,二进制数为1001110,则,匹配规则用于对第三位取值为1进行规则的设定,当监测数据的二进制数第三位取值为1时触发告警。
其中,指定位数取值规则用于指示监测数据的指定位数在符合异常情况时的取值情况。掩码匹配函数的掩码匹配规则是根据动态阈值确定的。掩码匹配函数的掩码匹配规则用于指示监测数据的指定位数在符合异常情况时的取值情况。
在本申请中,掩码匹配函数是根据动态阈值确定一定的告警规则,将动态阈值与新输入的监测数据进行比较分析,判断是否匹配。若动态阈值的二进制指定位数与掩码匹配函数的匹配规则匹配,则说明监测数据为异常数据,触发告警;若动态阈值的二进制指定位数与掩码匹配函数的匹配规则不匹配,则说明监测数据并非异常数据,不触发告警。
基于监测数据与指定位数取值规则的匹配情况,对监测数据进行异常分析。
步骤304,基于匹配规则得到与监测数据对应的异常分析结果。
示意性的,匹配规则是根据当前动态阈值确定的,当前动态阈值为78,则该动态阈值转换为二进制数为1001110,对应的匹配规则为:二进制数的第四位以及第七位取值为1,则当监测数据的二进制数第四位以及第七位取值为1时,确定该监测数据符合匹配规则,确定监测数据异常,触发告警。
在一些实施例中,计算机设备获取的动态阈值为二进制数,为了节省存储空间和传输速率,在存储该动态阈值时,将动态阈值压缩为十进制数进行存储,如,针对动态阈值1001110,将其压缩为十进制数78进行存储,并在需要进行匹配规则设定时,将十进制数反压缩为二进制数进行匹配规则的设置。
步骤305,基于异常分析结果生成异常分析报告,异常分析报告的界面如图5所示。
异常分析报告中包括测点的数据异常情况。
综上所述,本实施例提供的数据异常的告警方法,让用户可以通过动态阈值确定模型得到实时迭代更新的动态阈值后,根据监测数据的数据类型不同而选择不同的目标分析函数进行分析。对于数据类型为进制型的监测数据,采用掩码匹配函数充分利用了进制型数据的结构特点,不仅属于最简单、成本最低的处理方式,也可以有效提高数据告警触发的准确性。
同理,对本申请提供的数据异常告警方法进行说明,以该方法应用于IOT场景中的储能系统中为例,如图4所示:
步骤401,接收测点上传的监测数据。
测点是指数据分析所针对的设备或者设备集群,示意性的,本申请实施例中,监测数据为待进行异常分析的IOT数据,则测点为产生IOT数据的IOT设备。监测数据的数据类型或有差异,既包括基本监测数据,也包括二进制监测数据、结构体监测数据等
步骤402,基于监测数据从至少两种候选分析函数中确定结构体分析函数为目标分析函数。
可选的,若监测数据的数据类型为结构体型,采用的目标分析函数为结构体分析函数,将从测点处采集的数据输入到结构体分析函数中,同时,基于动态阈值中指定字段对监测数据的指定字段进行解析和读取。
其中,结构体是由一批数据组合而成的一种数据类型,由于结构体具有多种数据,因此需要对于各种类型数据分别进行分析。
在本申请中,结构体分析函数的作用就在于对结构体内容中的指定字段进行解析与读取,进而与动态阈值进行比较。
步骤403,从所述监测数据中获取指定字段数据。
指定字段数据的数据含义与动态阈值的含义相同。在一些实施例中,动态阈值的字段为多个字段,则此时从监测数据获取的指定字段既可以是单个字段,也可以是多个字段组成的字段串。示意性的,动态阈值的字段为“abc”和“xyz”,则从监测数据中既可以获取只包含“abc”或只包含“xyz”的字段,也可以获取同时含有“abc”和“xyz”的字段。当对结构体内容中的字段进行解析和读取后,与动态阈值进行比较,以便触发告警规则。
在另一些实施例中,动态阈值的字段为多种字段,则此时从监测数据获取的指定字段既可以是相同数据的字段,也可以是不同数据类型的字段。
在本申请中,对指定字段进行解析和读取是为了避免其他无关数据对于告警触发的影响。对监测数据的指定字段进行解析和读取这一过程是基于动态阈值中指定字段确定的。
将结构体内容中的指定字段进行解析和读取后,与动态阈值进行比较分析,判断是否匹配。若动态阈值与解析和提取后的监测数据的指定字段匹配,则说明监测数据为异常数据,触发告警;若动态阈值与解析和提取后的监测数据的指定字段不匹配,则说明监测数据并非异常数据,不触发告警。
步骤404,通过动态阈值对所述指定字段数据进行分析,得到异常分析结果。
其中,从监测数据中获取指定字段数据,指定字段数据的数据含义与所述动态阈值的含义相同
结构体分析函数如:上传的监测数据为结构体对象Combiner-Box,其中含有多种数据信息,包括temperature=20;update_result=“abc”;ping_point=“abc”等,此时输入的监测数据为温度数据,我们可以使用结构体分析函数对结构体内容中temperature字段进行解析和读取,进而与动态阈值进行比较,触发告警,并得出异常分析结果。
步骤405,基于异常分析结果生成异常分析报告。
异常分析报告中包括测点的数据异常情况,异常分析报告的界面如图5所示,在异常分析报告界面500中包括告警时间510、告警地点520以及测点的数据异常情况530,其中,告警时间510表示计算机设备获取到监测数据并识别该监测数据符合告警要求的时刻,告警地点520表示计算机设备获取到的告警数据对应的测点,测点的数据异常情况530表示数据达到告警条件的原因。
综上所述,本实施例提供的数据异常的告警方法,让用户可以通过动态阈值确定模型得到实时迭代更新的动态阈值后,根据监测数据的数据类型不同而选择不同的目标分析函数进行分析。对于数据类型为结构型的监测数据,采用结构体分析函数对于指定字段的内容进行解析和读取,不仅可以充分避免因为结构体中字段不同而导致分析困难的问题,也可以对结构体数据的字段解析后对不同种数据类型的数据同时分析,有效提高数据告警触发的效率。
值得注意的是,上述监测数据通过目标分析函数得到数据分析报告的方式仅为示意性的举例,本申请实施例对不同的分析函数能够针对不同数据类型的监测数据进行分析的情况不加以限定。
图6是本申请一个示例性实施例提供的数据异常告警装置的结构框图,如图6所示,一种数据异常的告警装置,该装置包括:
接收模块610,用于接收测点上传的监测数据,监测数据为待进行异常分析的物联网IOT数据;
确定模块620,用于基于监测数据从至少两种候选分析函数中确定目标分析函数,至少两种候选分析函数通过不同的分析逻辑对监测数据进行分析;
分析模块630,用于通过目标分析函数以及动态阈值对监测数据进行异常分析,得到所述监测数据对应的异常分析结果;
生成报告模块640,用于基于异常分析结果生成异常分析报告,异常分析报告中包括所述测点的数据异常情况。
在一个可选的实施例中,所述确定模块620,还用于通过动态阈值确定模型确定所述动态阈值。
在一个可选的实施例中,所述动态阈值确定模型中包括模型参数;
如图7所示,所述装置还包括:
调整模块650,用于通过所述异常分析结果和所述监测数据对所述模型参数进行调整;
更新模块660,用于通过调整模型参数后的所述动态阈值确定模型,更新所述动态阈值。
在一个可选的实施例中,所述目标分析函数包括掩码匹配函数,所述监测数据为二进制数;
分析模块630,用于基于所述掩码匹配函数对应的匹配规则,对所述监测数据进行异常分析,所述掩码匹配函数的匹配规则是根据所述动态阈值确定的;
分析模块630,用于基于所述匹配规则得到与所述监测数据对应的所述异常分析结果。
在一个可选的实施例中,确定模块620,还用于响应于所述监测数据为所述二进制数,将所述掩码匹配函数确定为所述目标分析函数。
在一个可选的实施例中,确定模块620,还用于基于所述掩码匹配函数确定指定位数取值规则,所述指定位数取值规则用于指示所述监测数据的指定位数在符合异常情况时的取值情况;
分析模块630,还用于基于所述监测数据与所述指定位数取值规则的匹配情况,对所述监测数据进行异常分析。
在一个可选的实施例中,所述目标分析函数包括结构体分析函数,所述监测数据为结构体数据;
分析模块630,包括:
获取单元631,用于从所述监测数据中获取指定字段数据,所述指定字段数据的数据含义与所述动态阈值的含义相同;
分析单元632,用于通过所述动态阈值对所述指定字段数据进行异常分析,得到所述异常分析结果。
综上所述,本实施例提供的数据异常的告警装置,让用户可以通过动态阈值确定模型得到实时迭代更新的动态阈值后,根据监测数据的数据类型不同而选择不同的目标分析函数进行分析。对于数据类型为结构型的监测数据,采用结构体分析函数对于指定字段的内容进行解析和读取,不仅可以充分避免因为结构体中字段不同而导致分析困难的问题,也可以对结构体数据的字段解析后对不同种数据类型的数据同时分析,有效提高数据告警触发的效率。
需要说明的是:上述实施例提供的数据异常的告警装置,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的数据异常的告警装置与数据异常的告警方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图8示出了本申请一个示例性实施例提供的服务器的结构示意图。该服务器800包括中央处理单元(Central Processing Unit,CPU)801、包括随机存取存储器(RandomAccess Memory,RAM)802和只读存储器(Read Only Memory,ROM)803的系统存储器804,以及连接系统存储器804和中央处理单元801的系统总线805。服务器800还包括用于存储操作系统813、应用程序814和其他程序模块815的大容量存储设备806。
大容量存储设备806通过连接到系统总线805的大容量存储控制器(未示出)连接到中央处理单元801。大容量存储设备806及其相关联的计算机可读介质为服务器800提供非易失性存储。也就是说,大容量存储设备806可以包括诸如硬盘或者紧凑型光盘只读存储器(Compact Disc Read Only Memory,CD-ROM)驱动器之类的计算机可读介质(未示出)。
不失一般性,计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、可擦除可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、带电可擦可编程只读存储器(Electrically Erasable Programmable Read Only Memory,EEPROM)、闪存或其他固态存储其技术,CD-ROM、数字通用光盘(Digital Versatile Disc,DVD)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然,本领域技术人员可知计算机存储介质不局限于上述几种。上述的系统存储器804和大容量存储设备806可以统称为存储器。
根据本申请的各种实施例,服务器800还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即服务器800可以通过连接在系统总线805上的网络接口单元811连接到网络812,或者说,也可以使用网络接口单元811来连接到其他类型的网络或远程计算机系统(未示出)。
上述存储器还包括一个或者一个以上的程序,一个或者一个以上程序存储于存储器中,被配置由CPU执行。
本申请的实施例还提供了一种计算机设备,该计算机设备包括处理器和存储器,该存储器中存储有至少一条指令、至少一段程序、代码集或指令集,至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述各方法实施例提供的数据异常的告警方法。
本申请的实施例还提供了一种计算机可读存储介质,该计算机可读存储介质上存储有至少一条指令、至少一段程序、代码集或指令集,至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行,以实现上述各方法实施例提供的数据异常的告警方法。
本申请的实施例还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述实施例中任一所述的数据异常的告警方法。
可选地,该计算机可读存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、固态硬盘(SSD,Solid State Drives)或光盘等。其中,随机存取记忆体可以包括电阻式随机存取记忆体(ReRAM,Resistance RandomAccess Memory)和动态随机存取存储器(DRAM,Dynamic Random Access Memory)。上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请的可选实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (10)
1.一种数据异常的告警方法,其特征在于,所述方法包括:
接收测点上传的监测数据,所述监测数据为待进行异常分析的物联网IOT数据;
基于所述监测数据从至少两种候选分析函数中确定目标分析函数,所述至少两种候选分析函数通过不同的分析逻辑对所述监测数据进行分析;
通过所述目标分析函数以及动态阈值对所述监测数据进行异常分析,得到所述监测数据对应的异常分析结果;
基于所述异常分析结果生成异常分析报告,所述异常分析报告中包括所述测点的数据异常情况。
2.根据权利要求1所述的方法,其特征在于,所述通过所述目标分析函数以及动态阈值对所述监测数据进行异常分析之前,还包括:
通过动态阈值确定模型确定所述动态阈值。
3.根据权利要求2所述的方法,其特征在于,所述动态阈值确定模型中包括模型参数;
所述方法还包括:
通过所述异常分析结果和所述监测数据对所述模型参数进行调整;
通过调整模型参数后的所述动态阈值确定模型,更新所述动态阈值。
4.根据权利要求1至3任一所述的方法,其特征在于,所述目标分析函数包括掩码匹配函数,所述监测数据为二进制数;
所述通过所述目标分析函数对应的动态阈值对所述监测数据进行异常分析,得到所述监测数据对应的异常分析结果,包括:
基于所述掩码匹配函数对应的匹配规则,对所述监测数据进行异常分析,所述掩码匹配函数的匹配规则是根据所述动态阈值确定的;
基于所述匹配规则得到与所述监测数据对应的所述异常分析结果。
5.根据权利要求4所述的方法,其特征在于,所述基于所述监测数据从至少两种候选分析函数中确定目标分析函数,包括:
响应于所述监测数据为所述二进制数,将所述掩码匹配函数确定为所述目标分析函数。
6.根据权利要求4所述的方法,其特征在于,所述基于所述掩码匹配函数对应的匹配规则,对所述监测数据进行异常分析,包括:
基于所述掩码匹配函数确定指定位数取值规则,所述指定位数取值规则用于指示所述监测数据的指定位数在符合异常情况时的取值情况;
基于所述监测数据与所述指定位数取值规则的匹配情况,对所述监测数据进行异常分析。
7.根据权利要求1至3任一所述的方法,其特征在于,所述目标分析函数包括结构体分析函数,所述监测数据为结构体数据;
所述通过所述目标分析函数对应的异常阈值对所述监测数据进行异常分析,得到所述监测数据对应的异常分析结果,包括:
从所述监测数据中获取指定字段数据,所述指定字段数据的数据含义与所述动态阈值的含义相同;
通过所述动态阈值对所述指定字段数据进行异常分析,得到所述异常分析结果。
8.一种数据异常的告警装置,其特征在于,所述装置包括:
接收模块,用于接收测点上传的监测数据,所述监测数据为待进行异常分析的物联网IOT数据;
确定模块,用于基于所述监测数据从至少两种候选分析函数中确定目标分析函数,所述至少两种候选分析函数通过不同的分析逻辑对所述监测数据进行分析;
分析模块,用于通过所述目标分析函数以及动态阈值对所述监测数据进行异常分析,得到所述监测数据对应的异常分析结果;
生成报告模块,用于基于所述异常分析结果生成异常分析报告,所述异常分析报告中包括所述测点的数据异常情况。
9.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行,以实现如权利要求1至7任一所述的数据异常的告警方法。
10.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行,以实现如权利要求1至7任一所述的数据异常的告警方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210469531.XA CN114915542B (zh) | 2022-04-28 | 2022-04-28 | 数据异常的告警方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210469531.XA CN114915542B (zh) | 2022-04-28 | 2022-04-28 | 数据异常的告警方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114915542A true CN114915542A (zh) | 2022-08-16 |
CN114915542B CN114915542B (zh) | 2024-08-02 |
Family
ID=82763942
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210469531.XA Active CN114915542B (zh) | 2022-04-28 | 2022-04-28 | 数据异常的告警方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114915542B (zh) |
Citations (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160342903A1 (en) * | 2015-05-21 | 2016-11-24 | Software Ag Usa, Inc. | Systems and/or methods for dynamic anomaly detection in machine sensor data |
CN106586747A (zh) * | 2016-12-08 | 2017-04-26 | 北京金尚互联科技股份有限公司 | 电梯运行的监测方法及其装置 |
CN108460320A (zh) * | 2017-12-19 | 2018-08-28 | 杭州海康威视数字技术股份有限公司 | 基于改进单元分析的监控视频异常事件检测方法 |
CN109524139A (zh) * | 2018-10-23 | 2019-03-26 | 中核核电运行管理有限公司 | 一种基于设备工况变化的实时设备性能监测方法 |
WO2019232773A1 (en) * | 2018-06-08 | 2019-12-12 | Beijing Didi Infinity Technology And Development Co., Ltd. | Systems and methods for abnormality detection in data storage |
WO2019233047A1 (zh) * | 2018-06-07 | 2019-12-12 | 国电南瑞科技股份有限公司 | 基于电网调度的运维方法 |
CN110704284A (zh) * | 2019-09-27 | 2020-01-17 | 高新兴科技集团股份有限公司 | 视频监控场景下的告警处理方法、系统及电子设备 |
CN110769068A (zh) * | 2019-10-30 | 2020-02-07 | 软通动力信息技术有限公司 | 一种告警消息的生成方法、装置、服务器和存储介质 |
CN110874674A (zh) * | 2018-08-29 | 2020-03-10 | 阿里巴巴集团控股有限公司 | 一种异常检测方法、装置及设备 |
CN111078512A (zh) * | 2019-11-05 | 2020-04-28 | 远景智能国际私人投资有限公司 | 告警记录生成方法、装置、告警设备及存储介质 |
CN112270814A (zh) * | 2020-12-21 | 2021-01-26 | 长沙树根互联技术有限公司 | 动态告警方法、装置、电子设备和可读存储介质 |
CN112433919A (zh) * | 2020-11-25 | 2021-03-02 | 深圳前海微众银行股份有限公司 | 一种信息告警方法、设备及存储介质 |
CN112882954A (zh) * | 2021-03-25 | 2021-06-01 | 浪潮云信息技术股份公司 | 一种分布式数据库运维动态阈值告警方法及装置 |
CN113342625A (zh) * | 2021-06-30 | 2021-09-03 | 北京九章云极科技有限公司 | 一种数据监控方法及系统 |
CN113377608A (zh) * | 2021-05-19 | 2021-09-10 | 广州有信科技有限公司 | 一种任务异常的告警方法、装置、终端设备及存储介质 |
CN113821416A (zh) * | 2021-09-18 | 2021-12-21 | 中国电信股份有限公司 | 监测告警方法、装置、存储介质及电子设备 |
CN114090408A (zh) * | 2021-11-29 | 2022-02-25 | 平安壹账通云科技(深圳)有限公司 | 数据监控分析方法、装置、计算机设备和存储介质 |
CN114168444A (zh) * | 2021-12-14 | 2022-03-11 | 天津科技大学 | 一种基于监控大数据的动态运维报修模型 |
CN114238058A (zh) * | 2021-12-21 | 2022-03-25 | 建信金融科技有限责任公司 | 监控方法、装置、设备、介质和程序产品 |
-
2022
- 2022-04-28 CN CN202210469531.XA patent/CN114915542B/zh active Active
Patent Citations (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160342903A1 (en) * | 2015-05-21 | 2016-11-24 | Software Ag Usa, Inc. | Systems and/or methods for dynamic anomaly detection in machine sensor data |
CN106586747A (zh) * | 2016-12-08 | 2017-04-26 | 北京金尚互联科技股份有限公司 | 电梯运行的监测方法及其装置 |
CN108460320A (zh) * | 2017-12-19 | 2018-08-28 | 杭州海康威视数字技术股份有限公司 | 基于改进单元分析的监控视频异常事件检测方法 |
WO2019233047A1 (zh) * | 2018-06-07 | 2019-12-12 | 国电南瑞科技股份有限公司 | 基于电网调度的运维方法 |
WO2019232773A1 (en) * | 2018-06-08 | 2019-12-12 | Beijing Didi Infinity Technology And Development Co., Ltd. | Systems and methods for abnormality detection in data storage |
CN110874674A (zh) * | 2018-08-29 | 2020-03-10 | 阿里巴巴集团控股有限公司 | 一种异常检测方法、装置及设备 |
CN109524139A (zh) * | 2018-10-23 | 2019-03-26 | 中核核电运行管理有限公司 | 一种基于设备工况变化的实时设备性能监测方法 |
CN110704284A (zh) * | 2019-09-27 | 2020-01-17 | 高新兴科技集团股份有限公司 | 视频监控场景下的告警处理方法、系统及电子设备 |
CN110769068A (zh) * | 2019-10-30 | 2020-02-07 | 软通动力信息技术有限公司 | 一种告警消息的生成方法、装置、服务器和存储介质 |
CN111078512A (zh) * | 2019-11-05 | 2020-04-28 | 远景智能国际私人投资有限公司 | 告警记录生成方法、装置、告警设备及存储介质 |
CN112433919A (zh) * | 2020-11-25 | 2021-03-02 | 深圳前海微众银行股份有限公司 | 一种信息告警方法、设备及存储介质 |
CN112270814A (zh) * | 2020-12-21 | 2021-01-26 | 长沙树根互联技术有限公司 | 动态告警方法、装置、电子设备和可读存储介质 |
CN112882954A (zh) * | 2021-03-25 | 2021-06-01 | 浪潮云信息技术股份公司 | 一种分布式数据库运维动态阈值告警方法及装置 |
CN113377608A (zh) * | 2021-05-19 | 2021-09-10 | 广州有信科技有限公司 | 一种任务异常的告警方法、装置、终端设备及存储介质 |
CN113342625A (zh) * | 2021-06-30 | 2021-09-03 | 北京九章云极科技有限公司 | 一种数据监控方法及系统 |
CN113821416A (zh) * | 2021-09-18 | 2021-12-21 | 中国电信股份有限公司 | 监测告警方法、装置、存储介质及电子设备 |
CN114090408A (zh) * | 2021-11-29 | 2022-02-25 | 平安壹账通云科技(深圳)有限公司 | 数据监控分析方法、装置、计算机设备和存储介质 |
CN114168444A (zh) * | 2021-12-14 | 2022-03-11 | 天津科技大学 | 一种基于监控大数据的动态运维报修模型 |
CN114238058A (zh) * | 2021-12-21 | 2022-03-25 | 建信金融科技有限责任公司 | 监控方法、装置、设备、介质和程序产品 |
Non-Patent Citations (2)
Title |
---|
YUPENG LI; WEIHUA CAO; WENKAI HU; MIN WU: "Abnormality Detection for Drilling Processes Based on Jensen–Shannon Divergence and Adaptive Alarm Limits", IEEE TRANSACTIONS ON INDUSTRIAL INFORMATICS, 20 October 2020 (2020-10-20) * |
曹靖城;张继东;吴春平;: "基于预警自适应技术的监控系统设计", 计算机与网络, no. 13, 12 July 2020 (2020-07-12) * |
Also Published As
Publication number | Publication date |
---|---|
CN114915542B (zh) | 2024-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2020417285B2 (en) | Scalable systems and methods for assessing healthy condition scores in renewable asset management | |
CN110659173A (zh) | 一种运维系统及方法 | |
US20200272923A1 (en) | Identifying locations and causes of network faults | |
US10540612B2 (en) | Technique for validating a prognostic-surveillance mechanism in an enterprise computer system | |
CN116187552A (zh) | 异常检测方法、计算设备及计算机存储介质 | |
CN117411810A (zh) | 一种基于边缘计算的电气物联网安全预警方法 | |
CN111753875A (zh) | 一种电力信息系统运行趋势分析方法、装置及存储介质 | |
CN116050930A (zh) | 监盘系统、方法、存储介质及电子设备 | |
CN115905450A (zh) | 一种基于无人机监控的水质异常溯源方法及系统 | |
CN118395126A (zh) | 一种设备旋转状态分析的故障诊断方法、系统和存储介质 | |
CN111555899B (zh) | 告警规则配置方法、设备状态监测方法、装置和存储介质 | |
CN114915542B (zh) | 数据异常的告警方法、装置、设备及存储介质 | |
WO2024039510A1 (en) | Incremental causal discovery and root cause localization for online system fault diagnosis | |
CN113447813A (zh) | 海上风力发电机组的故障诊断方法及设备 | |
CN116723157A (zh) | 终端行为检测模型构建方法、装置、设备和存储介质 | |
US11188064B1 (en) | Process flow abnormality detection system and method | |
CN115765182A (zh) | 基于时序数据库的数字孪生方法及装置 | |
CN113570473B (zh) | 设备故障监测方法、装置、计算机设备和存储介质 | |
US11334053B2 (en) | Failure prediction model generating apparatus and method thereof | |
Mebratu et al. | AI assisted fan failure prediction using workload fingerprinting | |
JPWO2018142694A1 (ja) | 特徴量生成装置、特徴量生成方法及びプログラム | |
CN110658769B (zh) | 一种机组监控系统及方法 | |
Su et al. | Combining Self-Organizing Map with Reinforcement Learning for Multivariate Time Series Anomaly Detection | |
CN113591266A (zh) | 一种电能表故障概率的分析方法及系统 | |
Li et al. | SCIF-ARF: Container Anomaly Prediction for Container Cloud Platforms |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |