CN116436772A - 实时告警方法和装置、电子设备及存储介质 - Google Patents
实时告警方法和装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116436772A CN116436772A CN202310671190.9A CN202310671190A CN116436772A CN 116436772 A CN116436772 A CN 116436772A CN 202310671190 A CN202310671190 A CN 202310671190A CN 116436772 A CN116436772 A CN 116436772A
- Authority
- CN
- China
- Prior art keywords
- event
- time
- data
- alarm
- filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000001914 filtration Methods 0.000 claims abstract description 35
- 230000002776 aggregation Effects 0.000 claims description 49
- 238000004220 aggregation Methods 0.000 claims description 49
- 238000004590 computer program Methods 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 230000001629 suppression Effects 0.000 claims description 8
- 230000000295 complement effect Effects 0.000 claims description 6
- 230000001960 triggered effect Effects 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims 1
- 238000001514 detection method Methods 0.000 abstract description 7
- 230000008569 process Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 238000013497 data interchange Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Alarm Systems (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请提供了一种实时告警方法和装置、电子设备及存储介质，涉及网络安全技术领域。该方法实时读取消息队列系统的一个或多个主题数据，其中各主题数据包含由设备的日志数据流处理得到且由多条消息组成的消息流；依据预先配置的一种或多种事件规则条件，分别对各主题数据的消息流进行过滤，过滤出各种事件规则条件对应的事件流；按照预先配置的告警规则条件，对各种事件规则条件对应的事件流进行处理，输出实时告警信息。可以看到，本申请实施例面对安全检测设备产生的日志数据流，能够实现高效、准确地检测潜在的威胁和告警。
Description
技术领域
本申请涉及网络安全技术领域，尤其涉及一种实时告警方法和装置、电子设备及存储介质。
背景技术
在互联网中，存在各种各样的网络安全设备、数据安全设备等安全检测设备。这些安全检测设备每天会产生成千上万的日志数据，安全运营团队需要对这些日志数据进行分析处理，发现潜在的威胁进行告警。面对实时海量的日志数据，如何高效、准确地检测潜在的威胁和告警成为亟需解决的技术问题。
发明内容
鉴于上述问题，提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题的实时告警方法和装置、电子设备及存储介质。所述技术方案如下：
第一方面，提供了一种实时告警方法，包括：
实时读取消息队列系统的一个或多个主题数据，其中各主题数据包含由设备的日志数据流处理得到且由多条消息组成的消息流；
依据预先配置的一种或多种事件规则条件，分别对各主题数据的消息流进行过滤，过滤出各种事件规则条件对应的事件流；
按照预先配置的告警规则条件，对各种事件规则条件对应的事件流进行处理，输出实时告警信息。
在一种可能的实现方式中，所述一种或多种事件规则条件是基于字段过滤器、范围过滤器、时间过滤器、情报碰撞过滤器中的一项或多项配置的。
在一种可能的实现方式中，若预先配置多种事件规则条件，则过滤出多个事件流；
所述告警规则条件是基于窗口信息和聚合类过滤器配置的；
所述按照预先配置的告警规则条件，对各种事件规则条件对应的事件流进行处理，输出实时告警信息，包括：
依次两两指定事件流中属性的对应关系，配置多个事件流的聚合；
基于配置的多个事件流的聚合，将多个事件流合并成单个合并事件流；
按照基于窗口信息和聚合类过滤器预先配置的告警规则条件，对单个合并事件流进行处理，输出实时告警信息。
在一种可能的实现方式中，在实时读取消息队列系统的一个或多个主题数据之前，所述方法还包括：
采集一个或多个设备生成的日志数据流；
对所述日志数据流进行处理，得到处理后的数据流；
将所述处理后的数据流写入消息队列系统的主题数据；
循环上述步骤，消息队列系统写入有一个或多个主题数据。
在一种可能的实现方式中，所述采集一个或多个设备生成的日志数据流，包括：
配置数据源，将一个或多个设备生成的日志数据流作为数据源；
基于配置的数据源，采集一个或多个设备生成的日志数据流。
在一种可能的实现方式中，对所述日志数据流进行处理，得到处理后的数据流，包括：
提取所述日志数据流中的各条日志；
解析所述日志数据流中各条日志的字段信息，其中字段信息包括一个或多个初始字段名以及各个初始字段名对应的初始字段值；
对各条日志的字段信息进行预设转换操作，得到各条日志的一个或多个目标字段名以及各个目标字段名对应的目标字段值；
将各条日志的一个或多个目标字段名以及各个目标字段名对应的目标字段值作为处理后的数据流。
在一种可能的实现方式中，所述预设转换操作包括补全操作和/或替换操作。
第二方面，提供了一种实时告警装置，包括：
读取模块，用于实时读取消息队列系统的一个或多个主题数据，其中各主题数据包含由设备的日志数据流处理得到且由多条消息组成的消息流；
事件流过滤模块，用于依据预先配置的一种或多种事件规则条件，分别对各主题数据的消息流进行过滤，过滤出各种事件规则条件对应的事件流；
告警模块，用于按照预先配置的告警规则条件，对各种事件规则条件对应的事件流进行处理，输出实时告警信息。
在一种可能的实现方式中，所述一种或多种事件规则条件是基于字段过滤器、范围过滤器、时间过滤器、情报碰撞过滤器中的一项或多项配置的。
在一种可能的实现方式中，若预先配置多种事件规则条件，则过滤出多个事件流；
所述告警规则条件是基于窗口信息和聚合类过滤器配置的；
所述告警模块还用于：
依次两两指定事件流中属性的对应关系，配置多个事件流的聚合；
基于配置的多个事件流的聚合，将多个事件流合并成单个合并事件流；
按照基于窗口信息和聚合类过滤器预先配置的告警规则条件，对单个合并事件流进行处理，输出实时告警信息。
在一种可能的实现方式中，所述装置还包括采集模块，用于：
采集一个或多个设备生成的日志数据流；
对所述日志数据流进行处理，得到处理后的数据流；
将所述处理后的数据流写入消息队列系统的主题数据；
循环上述步骤，消息队列系统写入有一个或多个主题数据。
在一种可能的实现方式中，所述采集模块还用于：
配置数据源，将一个或多个设备生成的日志数据流作为数据源；
基于配置的数据源，采集一个或多个设备生成的日志数据流。
在一种可能的实现方式中，所述采集模块还用于：
提取所述日志数据流中的各条日志；
解析所述日志数据流中各条日志的字段信息，其中字段信息包括一个或多个初始字段名以及各个初始字段名对应的初始字段值；
对各条日志的字段信息进行预设转换操作，得到各条日志的一个或多个目标字段名以及各个目标字段名对应的目标字段值；
将各条日志的一个或多个目标字段名以及各个目标字段名对应的目标字段值作为处理后的数据流。
在一种可能的实现方式中，所述预设转换操作包括补全操作和/或替换操作。
第三方面，提供了一种电子设备，该电子设备包括处理器和存储器，其中，所述存储器中存储有计算机程序，所述处理器被配置为运行所述计算机程序以执行上述任一项所述的实时告警方法。
第四方面，提供了一种存储介质，所述存储介质存储有计算机程序，其中，所述计算机程序被配置为运行时执行上述任一项所述的实时告警方法。
借由上述技术方案，本申请实施例提供的实时告警方法和装置、电子设备及存储介质，该方法可以实时读取消息队列系统的一个或多个主题数据，其中各主题数据包含由设备的日志数据流处理得到且由多条消息组成的消息流；依据预先配置的一种或多种事件规则条件，分别对各主题数据的消息流进行过滤，过滤出各种事件规则条件对应的事件流；按照预先配置的告警规则条件，对各种事件规则条件对应的事件流进行处理，输出实时告警信息。可以看到，本申请实施例面对安全检测设备产生的日志数据流，能够实时从消息队列系统读取一个或多个主题数据，各主题数据包含由日志数据流处理得到且由多条消息组成的消息流；进而依据预先配置的一种或多种事件规则条件，分别对各主题数据的消息流进行过滤，过滤出各种事件规则条件对应的事件流；按照预先配置的告警规则条件，对各种事件规则条件对应的事件流进行处理，输出实时告警信息，从而实现高效、准确地检测潜在的威胁和告警。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
图1示出了本申请实施例提供的实时告警方法的流程图；
图2示出了本申请实施例提供的实时告警装置的结构图；
图3示出了本申请另一实施例提供的实时告警装置的结构图；
图4示出了本申请实施例提供的一种电子设备的结构图。
具体实施方式
下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”及其变体要被解读为意味着“包括但不限于”的开放式术语。
为了解决上述技术问题，本申请实施例提供了一种实时告警方法，如图1所示，该实时告警方法可以包括以下步骤S101至S103：
步骤S101，实时读取消息队列系统的一个或多个主题数据，其中各主题数据包含由设备的日志数据流处理得到且由多条消息组成的消息流；
步骤S102，依据预先配置的一种或多种事件规则条件，分别对各主题数据的消息流进行过滤，过滤出各种事件规则条件对应的事件流；
步骤S103，按照预先配置的告警规则条件，对各种事件规则条件对应的事件流进行处理，输出实时告警信息。
本申请实施例面对安全检测设备产生的日志数据流，能够实时从消息队列系统读取一个或多个主题数据，各主题数据包含由日志数据流处理得到且由多条消息组成的消息流；进而依据预先配置的一种或多种事件规则条件，分别对各主题数据的消息流进行过滤，过滤出各种事件规则条件对应的事件流；按照预先配置的告警规则条件，对各种事件规则条件对应的事件流进行处理，输出实时告警信息，从而实现高效、准确地检测潜在的威胁和告警。
本申请实施例中提供了一种可能的实现方式，上面步骤S101实时读取消息队列系统的一个或多个主题数据之前，具体还可以包括以下步骤A1至A4：
步骤A1，采集一个或多个设备生成的日志数据流。
该步骤中，一个或多个设备可以是网络安全设备、数据安全设备等安全检测设备，本实施例对此不作限制。
步骤A2，对日志数据流进行处理，得到处理后的数据流。
步骤A3，将处理后的数据流写入消息队列系统的主题数据。
该步骤中，消息队列系统可以如Kafka，它是一种高吞吐量、持久性、分布式的发布订阅的消息队列系统，消息以队列的模式，包括生产者、队列和消费者。例如，单发邮件，a发出邮件，消息写入到消息队列后，没有具体的接收者。相当于a发邮件，但不会指定具体的接收者。可以看作是a将数据写入到一个数据存储的管道或通道中，这些数据可以被一个或多个接收者消费，或不消费。当消息被消费过后，不会马上被删除，此类消息队列为了确保数据可重复消费，可以设置数据在产生后，多长时间后被系统删除。
消息队列系统还可以包括发布订阅模式，例如a的社交账号有30万好友，a更新了一条笔记，那么这30万好友中订阅a的笔记的好友，可以消费a的这条更新的笔记。需要说明的是，此处例举仅是示意性的，并不对本实施例进行限制。
本实施例可以将处理后的数据流写入消息队列系统的主题数据，如Kafka的一个或多个topic（主题）数据，这样消费者可以通过订阅消费Kafka的一个或多个topic数据。
这里处理后的数据流可以作为一条或多条消息，写入消息队列系统的主题数据。
步骤A4，循环上述步骤，消息队列系统写入有一个或多个主题数据。
该步骤中，循环上述步骤，消息队列系统写入有一个或多个主题数据，各主题数据可以包含由多条消息组成的消息流。例如，在主题数据k1中，包括消息字段和字段值，消息字段用于标识各条消息，字段值用于存储具体的消息内容；主题数据k2中，也可以包括消息字段和字段值，消息字段用于标识各条消息，字段值用于存储具体的消息内容，等等。需要说明的是，此处例举仅是示意性的，并不对本实施例进行限制。
本实施例采集一个或多个设备生成的日志数据流；对日志数据流进行处理，得到处理后的数据流；将处理后的数据流写入消息队列系统的主题数据；循环上述步骤，消息队列系统写入有一个或多个主题数据，可以准确、高效地采集和处理数据。
本申请实施例中提供了一种可能的实现方式，上面步骤A1采集一个或多个设备生成的日志数据流，具体可以包括以下步骤A11和A12：
步骤A11，配置数据源，将一个或多个设备生成的日志数据流作为数据源；
步骤A12，基于配置的数据源，采集一个或多个设备生成的日志数据流。
本实施例可以根据需求来配置数据源，可以将一个或多个设备生成的日志数据流作为数据源，进而基于配置的数据源，采集一个或多个设备生成的日志数据流。这里的一个或多个设备生成的日志数据流可以是各种形式，如本地、tcp（transmission controlprotocol，传输控制协议）、udp（user datagram protocol，用户数据报协议）或者Kafka等等，本实施例对此不作限制。
本申请实施例中提供了一种可能的实现方式，上面步骤A2对日志数据流进行处理，得到处理后的数据流，具体可以包括以下步骤A21至A24：
步骤A21，提取日志数据流中的各条日志；
步骤A22，解析日志数据流中各条日志的字段信息，其中字段信息包括一个或多个初始字段名以及各个初始字段名对应的初始字段值；
步骤A23，对各条日志的字段信息进行预设转换操作，得到各条日志的一个或多个目标字段名以及各个目标字段名对应的目标字段值；
步骤A24，将各条日志的一个或多个目标字段名以及各个目标字段名对应的目标字段值作为处理后的数据流。
举例来说，各条日志的字段信息包括的初始字段名分别是字段名1、字段名2、字段名3、字段名4、字段名5、字段名6、字段名7，且各个初始字段名对应初始字段值。
然后，对各条日志的字段信息进行预设转换操作，得到各条日志的目标字段名分别是字段名1、字段名2、字段名3、字段名4、字段名5、字段名6、字段名7、字段名8、字段名9、字段名10……字段名26，且各个目标字段名对应目标字段值；进而将各条日志的一个或多个目标字段名以及各个目标字段名对应的目标字段值作为处理后的数据流。这里的预设转换操作可以是补全操作，也可以是替换操作，还可以是补全操作和替换操作，等等。需要说明的是，此处例举仅是示意性的，并不对本实施例进行限制。
本申请实施例中提供了一种可能的实现方式，上面步骤S102中提及的一种或多种事件规则条件，可以是基于字段过滤器、范围过滤器、时间过滤器、情报碰撞过滤器中的一项或多项配置的。
这里的字段过滤器可以根据业务需求对事件的各个属性字段进行过滤，目前支持十几种匹配模式，包括基础的等价匹配、数值比较，也包括正则匹配、黑白名单匹配等高级过滤方式。举例来说，字段过滤器的匹配模式是operationType（操作类型）具体为BELONG（属于，指定的字段的取值，是否在给定的字符串内（逗号分割）），指定过滤的字段名称为actiontype（动作类型），指定过滤的字段的值或对应参数，若指定多个值时可以通过逗号分割，具体为visit，change_pass，logout，login，access。这样，通过该字段过滤器可以过滤出与该匹配模式对应的事件流。
范围过滤器可以根据业务需求对事件的IP（网络之间互连的协议）或整数类型字段进行范围匹配过滤。与字段过滤器的BELONG（属于）所不同的是，BELONG需要指定匹配的每一个元素，而范围过滤需要指定起始元素和结束元素。
时间过滤器可以对事件属性中的时间类型字段进行解析和过滤。
情报碰撞过滤器用于匹配情报碰撞所产生的附加过滤信息，如ip（网络之间互连的协议）、domain（范围）、url（统一资源定位符）、文件hash（哈希）等情报对撞所补充产生的source（资源）、tag（标签）以及score（得分）数据，之后基于补充信息进行过滤。这里的文件hash可以是文件的md5（消息摘要算法第五版）、sha1（数据加密算法）或sha256（数据加密算法，使用的哈希值长度是256位），本实施例对此不作限制。
连接并集过滤器和连接交集过滤器可以对多个行过滤器的结果进行聚合，根据需要输出多个过滤器的并集或交集结果。同时支持嵌套操作，因此通过上述字段过滤器、范围过滤器、时间过滤器和情报碰撞过滤器这四种行过滤器的搭配使用，可以满足绝大部分事件流的定义。
在上面步骤S102依据预先配置的一种或多种事件规则条件，分别对各主题数据的消息流进行过滤，过滤出各种事件规则条件对应的事件流时，一般来说，对于每种事件规则条件，都需要读取全量的消息流进行过滤处理。例如，预先配置的一种或多种事件规则条件是事件规则条件1、事件规则条件2、事件规则条件3等；对于事件规则条件1，需要实时读取消息队列系统的主题数据为k1和k2；对于事件规则条件2，需要实时读取消息队列系统的主题数据为k1和k2；对于事件规则条件3，需要实时读取消息队列系统的主题数据为k1和k2。
这样需要每开启一种事件规则条件，都重新订阅一份消息，例如，在消息队列系统Kafka中，具体实现是在Kafka中针对每一种事件规则条件使用不同的消费组订阅topic，即k1和k2。
本申请实施例采用消息流的复用的方式，具体来说，就是首先在消息队列系统（如Kafka）订阅一次各主题数据的消息流（这里也只订阅一次），实时读取消息队列系统的主题数据后，将主题数据的消息流缓存在本地或云端的指定位置，且保存预设时长，如10分钟等，具体可以根据需求设置预设时长。后续的处理，都是在本地或云端的指定位置，通过复制的方式将消息流传递到各种事件规则条件的处理逻辑里面。进一步地，采用消息流的复用的方式，首先在消息队列系统订阅一次各主题数据的消息流，各主题数据被订阅之后，在实时读取消息队列系统的各主题数据时，在每个处理节点上通过单个公共线程进行消费，该公共线程会缓存消息数据并分发消息数据依次给到该处理节点上的全部已启用的事件规则。这里，针对所有的事件规则条件，共用一份消息流数据，这样能够提高灵活性和处理效率。
本申请实施例中提供了一种可能的实现方式，若步骤S102中预先配置一种事件规则条件，则可以过滤出一个事件流，进一步地，步骤S103中预先配置的告警规则条件，可以是仅基于过滤出的事件流进行告警。
本申请实施例中提供了一种可能的实现方式，若步骤S102中预先配置多种事件规则条件，则可以过滤出多个事件流，一种事件规则条件对应一个事件流；进一步地，步骤S103中预先配置的告警规则条件，可以是仅基于过滤出的事件流进行告警，还可以是基于窗口信息和聚合类过滤器配置的。这里的聚合类过滤器可以包括聚合过滤器、数组过滤器、事件并集过滤器、事件链过滤器、未发生事件过滤器、之前未发生事件过滤器中的一项或多项。
如果预先配置的告警规则条件是基于窗口信息和聚合类过滤器配置的，那么，步骤S103按照预先配置的告警规则条件，对各种事件规则条件对应的事件流进行处理，输出实时告警信息，具体可以包括以下步骤B1至B3：
步骤B1，依次两两指定事件流中属性的对应关系，配置多个事件流的聚合；
步骤B2，基于配置的多个事件流的聚合，将多个事件流合并成单个合并事件流；
步骤B3，按照基于窗口信息和聚合类过滤器预先配置的告警规则条件，对单个合并事件流进行处理，输出实时告警信息。
本实施例依次两两指定事件流中属性的对应关系，配置多个事件流的聚合；基于配置的多个事件流的聚合，将多个事件流合并成单个合并事件流；按照基于窗口信息和聚合类过滤器预先配置的告警规则条件，对单个合并事件流进行处理，输出实时告警信息，可以实现高效、准确地检测潜在的威胁和告警。
本申请实施例中提供了一种可能的实现方式，在输出实时告警信息时，根据预先设置的告警抑制时间，在触发告警后，抑制告警抑制时间再次触发同类型的告警。这里的告警抑制时间可以根据实际需求来设置，如300秒或350秒等，本实施例对此不作限制。
以上介绍了图1所示实施例的各个环节的多种实现方式，下面将通过具体实施例对本申请实施例的实时告警方法做进一步说明。
在具体实施例中，上面步骤S101至S103的实时告警方法，可以由GSP（是一个轻量化、可扩展的实时事件流处理引擎）来实现，GSP支持复杂事件处理（Complex EventProgressing，CEP）。能够将接入的实时数据看作不同类型的事件流，通过分析事件间的关系，建立不同的事件关系序列库，利用过滤、关联、聚合、模式匹配等技术，最终由简单事件产生告警事件，主要用于安全领域规则的实时告警处理。
实时事件流处理引擎接收Kafka集群中单个或多个topic数据，根据规则解析所需字段数据并生成索引用于计算。
实时事件流处理引擎支持基于数据库、API（应用程序接口）或者文件的方式获取规则；依据规则配置，引擎支持单事件过滤、多事件关联聚合过滤、模式匹配过滤等功能，支持滑动窗口和滚动窗口处理；支持多规则的实时配置、触发和管理。
实时事件流处理引擎生成告警事件后，可制定字段输出到Kafka，支持相同告警的抑制触发。
在实时事件流处理引擎实时读取消息队列系统的一个或多个主题数据之前，可以通过一个前置的采集模块写入到Kafka，这里的采集模块可以不属于此引擎；之后，实时事件流处理引擎通过读取Kafka的一个或多个topic数据，依据配置的每一个规则，分别过滤出相关的事件，再通过事件的关联、聚合、模式匹配，产生最终的告警。
一、引擎的单条规则配置如下：
1. 首先需要定义事件流，可以根据业务需求配置一条或多条事件流。事件流的定义是通过使用单行类过滤器实现。
目前单行类过滤器包括字段过滤器、范围过滤器、时间过滤器、情报碰撞过滤器等，可以参见前文介绍，此处不再赘述。
2. 产生事件流后，除了可以直接生成告警外，更主流的方式是通过一定时间的窗口聚合产生更高层次的告警。因此引入了窗口配置以及多种聚合类过滤器。
在使用聚合类过滤器之前，如果定义了多事件流，需要通过配置将多事件流转换合并成单事件流。因此还需要额外配置事件流的聚合。聚合方法是依次两两指定事件流中属性的对应关系。
窗口配置中必要的配置是窗口时间以及滑动处理时间。窗口时间是指事件聚合产生的数据集的起始和结束的时间范围。滑动处理时间是指两个连续的处理窗口之间的间隔时间。如果滑动处理时间等于窗口时间，此时就是滚动窗口处理模式。
当多条事件流聚合转换为为单条数据流后，就可以使用聚合类过滤器进行规则配置。规则中可以配置一个或多个聚合类过滤器。当有多个聚合类过滤器时，一个过滤器的输出会作为下一个过滤器的输入。最后一个过滤器若有输出数据，即为产生的告警的原始数据。另外聚合类过滤器均可以使用分组字段对原始的聚合数据进行进一步的细分。
目前聚合类过滤器包括以下几种：
a. 聚合过滤器可以对聚合的数据集进行多种聚合函数处理，并对结果进行比较。当满足比较规则时，进行全量输出。
b. 数组过滤器可以对指定的事件属性的值进行聚合，并进行比较，可以是需要满足全部值，或者仅满足任意一个值。当满足比较规则时，进行全量输出。
c. 事件并集过滤器可以判断多个事件是否同时段发生，且事件和事件之间没有顺序要求的场景。
d. 事件链过滤器可以通过回溯的方式，尝试对多个有顺序要求的事件进行模式匹配，当能够完成匹配，代表存在该事件链，输出全量数据或第一次匹配上的数据，否则不输出。
e. 未发生事件过滤器判断先发生第一事件，之后在限定窗口时间内，未发生第二事件的场景，例如可以判断如先发生事件1，之后在限定窗口时间内，未发生事件2的场景。
f. 之前未发生事件过滤器判断一直没有发生第一事件，在限定窗口时间内，最终发生第二事件的场景，例如可以判断如一直没有发生事件s1，在限定窗口时间内，最终发生事件s2的场景（发生事件s2之前一直未发生事件s1）。
3. 满足告警所产生的数据，可以配置是否输出和重命名字段名称，以及是否需要对重复产生的告警进行抑制。
二、过滤器配置的前置了解
由上文可知，引擎的过滤器类型包括：
单行类过滤器（主要用于配置事件流）；
聚合类过滤器（主要用于配置聚合过滤）。
引擎使用JSON（一种轻量级的数据交换格式）格式来序列化配置规则到数据库或者文件中，并在规则初始化时候通过JSON构建为指定的过滤器对象。因此在单个过滤器的JSON表达中，需要包括以下内容：
filterName（过滤器类型名称）；
params（构建该过滤器时需要的参数，为JSON对象）。
三、配置事件流
可以按照需要，使用单行类过滤器的过滤器配置一个或多个事件流。
1. 配置单个事件流
单个事件流主要由streamId（事件流的引用名称）和rowFilterConfig（事件流的具体配置，里面由若干个单行类过滤器的配置）组成。
单个事件流的配置中，可以添加一个或多个行过滤器，形成处理链。因此编写规则时，需要按照业务逻辑，顺序编写具体逻辑的配置信息。
2. 配置多个事件流
可以通过配置streamConfig（事件流的排列）来配置多个事件流。
四、配置事件流聚合
如果有后续的聚合处理，需要配置聚合的时间窗口相关信息。同时，如果配置了多事件流，也需要配置多事件流的聚合处理逻辑。
streamWindowConfig（事件流聚合窗口配置），可配置时间窗口、滑动处理时间、事件延迟时间以及多流的情况下的事件流聚合策略。
五、配置聚合过滤
可以按需要配置一个或多个聚合类过滤器，具体可以是聚合过滤器、数组过滤器、事件并集过滤器、事件链过滤器、未发生事件过滤器、之前未发生事件过滤器中的一项或多项，可以参见前文介绍，此处不再赘述。
六、事件的告警配置
事件的告警配置是一个JSON对象，目前支持的配置项如下：
支持group（按组输出）和each（按行输出）；
each 是配置输出告警输出涉及的全部行数据，可以配置输出具体的字段信息，可以使用关键字将输出的字段重命名；
group是按组输出，输出字段必须是通过聚合函数处理后的字段。
需要说明的是，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。实际应用中，上述所有可能的实施方式可以采用结合的方式任意组合，形成本申请的可能的实施例，在此不再一一赘述。
基于上文各个实施例提供的实时告警方法，基于同一发明构思，本申请实施例还提供了一种实时告警装置。
图2是本申请实施例提供的实时告警装置的结构图。如图2所示，该实时告警装置具体可以包括读取模块210、事件流过滤模块220以及告警模块230。
读取模块210，用于实时读取消息队列系统的一个或多个主题数据，其中各主题数据包含由设备的日志数据流处理得到且由多条消息组成的消息流；
事件流过滤模块220，用于依据预先配置的一种或多种事件规则条件，分别对各主题数据的消息流进行过滤，过滤出各种事件规则条件对应的事件流；
告警模块230，用于按照预先配置的告警规则条件，对各种事件规则条件对应的事件流进行处理，输出实时告警信息。
本申请实施例中提供了一种可能的实现方式，所述一种或多种事件规则条件是基于字段过滤器、范围过滤器、时间过滤器、情报碰撞过滤器中的一项或多项配置的。
本申请实施例中提供了一种可能的实现方式，若预先配置多种事件规则条件，则过滤出多个事件流；
所述告警规则条件是基于窗口信息和聚合类过滤器配置的；
所述告警模块230还用于：
依次两两指定事件流中属性的对应关系，配置多个事件流的聚合；
基于配置的多个事件流的聚合，将多个事件流合并成单个合并事件流；
按照基于窗口信息和聚合类过滤器预先配置的告警规则条件，对单个合并事件流进行处理，输出实时告警信息。
本申请实施例中提供了一种可能的实现方式，如图3所示，上文图2展示的装置还可以包括采集模块310，用于：
采集一个或多个设备生成的日志数据流；
对所述日志数据流进行处理，得到处理后的数据流；
将所述处理后的数据流写入消息队列系统的主题数据；
循环上述步骤，消息队列系统写入有一个或多个主题数据。
本申请实施例中提供了一种可能的实现方式，所述采集模块310还用于：
配置数据源，将一个或多个设备生成的日志数据流作为数据源；
基于配置的数据源，采集一个或多个设备生成的日志数据流。
本申请实施例中提供了一种可能的实现方式，所述采集模块310还用于：
提取所述日志数据流中的各条日志；
解析所述日志数据流中各条日志的字段信息，其中字段信息包括一个或多个初始字段名以及各个初始字段名对应的初始字段值；
对各条日志的字段信息进行预设转换操作，得到各条日志的一个或多个目标字段名以及各个目标字段名对应的目标字段值；
将各条日志的一个或多个目标字段名以及各个目标字段名对应的目标字段值作为处理后的数据流。
本申请实施例中提供了一种可能的实现方式，所述预设转换操作包括补全操作和/或替换操作。
基于同一发明构思，本申请实施例还提供了一种电子设备，包括处理器和存储器，存储器中存储有计算机程序，处理器被设置为运行计算机程序以执行上述任意一个实施例的实时告警方法。
在示例性的实施例中，提供了一种电子设备，如图4所示，图4所示的电子设备400包括：处理器401和存储器403。其中，处理器401和存储器403相连，如通过总线402相连。可选地，电子设备400还可以包括收发器404。需要说明的是，实际应用中收发器404不限于一个，该电子设备400的结构并不构成对本申请实施例的限定。
处理器401可以是CPU（Central Processing Unit，中心处理器），通用处理器，DSP（Digital Signal Processor，数据信号处理器），ASIC（Application SpecificIntegrated Circuit，专用集成电路），FPGA（Field Programmable Gate Array，现场可编程门阵列）或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器401也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线402可包括一通路，在上述组件之间传送信息。总线402可以是PCI（Peripheral Component Interconnect，外设部件互连标准）总线或EISA（ExtendedIndustry Standard Architecture，扩展工业标准结构）总线等。总线402可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器403可以是ROM（Read Only Memory，只读存储器）或可存储静态信息和指令的其他类型的静态存储设备，RAM（Random Access Memory，随机存取存储器）或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM（Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器）、CD-ROM（Compact DiscRead Only Memory，只读光盘）或其他光盘存储、光碟存储（包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等）、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
存储器403用于存储执行本申请方案的计算机程序代码，并由处理器401来控制执行。处理器401用于执行存储器403中存储的计算机程序代码，以实现前述方法实施例所示的内容。
其中，电子设备包括但不限于：移动电话、笔记本电脑、数字广播接收器、PDA（个人数字助理）、PAD（平板电脑）、PMP（便携式多媒体播放器）、车载终端（例如车载导航终端）等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图4示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
基于同一发明构思，本申请实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，计算机程序被设置为运行时执行上述任意一个实施例的实时告警方法。
所属领域的技术人员可以清楚地了解到，上述描述的系统、装置、模块的具体工作过程，可以参考前述方法实施例中的对应过程，为简洁起见，在此不另赘述。
本领域普通技术人员可以理解：本申请的技术方案本质上或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，其包括若干程序指令，用以使得一电子设备（例如个人计算机，服务器，或者网络设备等）在运行所述程序指令时执行本申请各实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM）、随机存取存储器（RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
或者，实现前述方法实施例的全部或部分步骤可以通过程序指令相关的硬件（诸如个人计算机，服务器，或者网络设备等的电子设备）来完成，所述程序指令可以存储于一计算机可读取存储介质中，当所述程序指令被电子设备的处理器执行时，所述电子设备执行本申请各实施例所述方法的全部或部分步骤。
以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：在本申请的精神和原则之内，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案脱离本申请的保护范围。
Claims (9)
1.一种实时告警方法，其特征在于，包括：
实时读取消息队列系统的一个或多个主题数据，其中各主题数据包含由设备的日志数据流处理得到且由多条消息组成的消息流；其中，采用消息流的复用的方式，首先在消息队列系统订阅一次各主题数据的消息流，各主题数据被订阅之后，在实时读取消息队列系统的各主题数据时，在每个处理节点上通过单个公共线程进行消费，该公共线程会缓存消息数据并分发消息数据依次给到该处理节点上的全部已启用的事件规则；
依据预先配置的一种或多种事件规则条件，分别对各主题数据的消息流进行过滤，过滤出各种事件规则条件对应的事件流；
按照预先配置的告警规则条件，对各种事件规则条件对应的事件流进行处理，输出实时告警信息；
其中，若预先配置多种事件规则条件，则过滤出多个事件流；所述告警规则条件是基于窗口信息和聚合类过滤器配置的，所述聚合类过滤器包括未发生事件过滤器或者之前未发生事件过滤器；所述未发生事件过滤器判断先发生第一事件，之后在限定窗口时间内，未发生第二事件的场景；所述之前未发生事件过滤器判断一直没有发生第一事件，在限定窗口时间内，最终发生第二事件的场景；
所述按照预先配置的告警规则条件，对各种事件规则条件对应的事件流进行处理，输出实时告警信息，包括：
依次两两指定事件流中属性的对应关系，配置多个事件流的聚合；
基于配置的多个事件流的聚合，将多个事件流合并成单个合并事件流；
按照基于窗口信息和未发生事件过滤器预先配置的告警规则条件，对单个合并事件流进行处理，输出实时告警信息；或者
按照基于窗口信息和之前未发生事件过滤器预先配置的告警规则条件，对单个合并事件流进行处理，输出实时告警信息；
在输出实时告警信息时，根据预先设置的告警抑制时间，在触发告警后，抑制所述告警抑制时间再次触发同类型的告警。
2.根据权利要求1所述的方法，其特征在于，所述一种或多种事件规则条件是基于字段过滤器、范围过滤器、时间过滤器、情报碰撞过滤器中的一项或多项配置的。
3.根据权利要求1至2中任一项所述的方法，其特征在于，在实时读取消息队列系统的一个或多个主题数据之前，所述方法还包括：
采集一个或多个设备生成的日志数据流；
对所述日志数据流进行处理，得到处理后的数据流；
将所述处理后的数据流写入消息队列系统的主题数据；
循环上述步骤，消息队列系统写入有一个或多个主题数据。
4.根据权利要求3所述的方法，其特征在于，所述采集一个或多个设备生成的日志数据流，包括：
配置数据源，将一个或多个设备生成的日志数据流作为数据源；
基于配置的数据源，采集一个或多个设备生成的日志数据流。
5.根据权利要求3所述的方法，其特征在于，对所述日志数据流进行处理，得到处理后的数据流，包括：
提取所述日志数据流中的各条日志；
解析所述日志数据流中各条日志的字段信息，其中字段信息包括一个或多个初始字段名以及各个初始字段名对应的初始字段值；
对各条日志的字段信息进行预设转换操作，得到各条日志的一个或多个目标字段名以及各个目标字段名对应的目标字段值；
将各条日志的一个或多个目标字段名以及各个目标字段名对应的目标字段值作为处理后的数据流。
6.根据权利要求5所述的方法，其特征在于，所述预设转换操作包括补全操作和/或替换操作。
7.一种实时告警装置，其特征在于，包括：
读取模块，用于实时读取消息队列系统的一个或多个主题数据，其中各主题数据包含由设备的日志数据流处理得到且由多条消息组成的消息流；其中，采用消息流的复用的方式，首先在消息队列系统订阅一次各主题数据的消息流，各主题数据被订阅之后，在实时读取消息队列系统的各主题数据时，在每个处理节点上通过单个公共线程进行消费，该公共线程会缓存消息数据并分发消息数据依次给到该处理节点上的全部已启用的事件规则；
事件流过滤模块，用于依据预先配置的一种或多种事件规则条件，分别对各主题数据的消息流进行过滤，过滤出各种事件规则条件对应的事件流；
告警模块，用于按照预先配置的告警规则条件，对各种事件规则条件对应的事件流进行处理，输出实时告警信息；
其中，若预先配置多种事件规则条件，则过滤出多个事件流；所述告警规则条件是基于窗口信息和聚合类过滤器配置的，所述聚合类过滤器包括未发生事件过滤器或者之前未发生事件过滤器；所述未发生事件过滤器判断先发生第一事件，之后在限定窗口时间内，未发生第二事件的场景；所述之前未发生事件过滤器判断一直没有发生第一事件，在限定窗口时间内，最终发生第二事件的场景；
所述告警模块还用于：
依次两两指定事件流中属性的对应关系，配置多个事件流的聚合；
基于配置的多个事件流的聚合，将多个事件流合并成单个合并事件流；
按照基于窗口信息和未发生事件过滤器预先配置的告警规则条件，对单个合并事件流进行处理，输出实时告警信息；或者
按照基于窗口信息和之前未发生事件过滤器预先配置的告警规则条件，对单个合并事件流进行处理，输出实时告警信息；
在输出实时告警信息时，根据预先设置的告警抑制时间，在触发告警后，抑制所述告警抑制时间再次触发同类型的告警。
8.一种电子设备，其特征在于，包括处理器和存储器，其中，所述存储器中存储有计算机程序，所述处理器被配置为运行所述计算机程序以执行权利要求1至6中任一项所述的实时告警方法。
9.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被配置为运行时执行权利要求1至6中任一项所述的实时告警方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310671190.9A CN116436772B (zh) | 2023-06-08 | 2023-06-08 | 实时告警方法和装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310671190.9A CN116436772B (zh) | 2023-06-08 | 2023-06-08 | 实时告警方法和装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116436772A true CN116436772A (zh) | 2023-07-14 |
| CN116436772B CN116436772B (zh) | 2023-08-11 |
Family
ID=87089349
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310671190.9A Active CN116436772B (zh) | 2023-06-08 | 2023-06-08 | 实时告警方法和装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116436772B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116760463A (zh) * | 2023-08-09 | 2023-09-15 | 中国电信股份有限公司 | 光纤光缆的监控方法及装置、存储介质和电子设备 |
| CN116974876A (zh) * | 2023-09-20 | 2023-10-31 | 云筑信息科技(成都)有限公司 | 一种基于实时流框架实现毫秒级监控告警的方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140201355A1 (en) * | 2013-01-15 | 2014-07-17 | Oracle International Corporation | Variable duration windows on continuous data streams |
| CN110659307A (zh) * | 2019-09-06 | 2020-01-07 | 西安交大捷普网络科技有限公司 | 一种事件流的关联分析方法与系统 |
| WO2020083023A1 (zh) * | 2018-10-22 | 2020-04-30 | 中兴通讯股份有限公司 | 一种事件流处理方法、电子设备和可读存储介质 |
| US20200213236A1 (en) * | 2018-12-31 | 2020-07-02 | Mist Systems, Inc. | Methods and apparatus for facilitating fault detection and/or predictive fault detection |
| CN111600898A (zh) * | 2020-05-22 | 2020-08-28 | 国网电力科学研究院有限公司 | 基于规则引擎的安全告警生成方法、装置及系统 |
| US11164090B1 (en) * | 2014-10-31 | 2021-11-02 | Tibco Software Inc. | Time-based aggregation to feed a rete engine |
| CN113656659A (zh) * | 2021-08-31 | 2021-11-16 | 上海观安信息技术股份有限公司 | 一种数据提取方法、装置、系统及计算机可读存储介质 |
| CN115858306A (zh) * | 2022-12-29 | 2023-03-28 | 深圳市远行科技股份有限公司 | 一种基于事件流的微服务监控方法、终端设备及存储介质 |
| CN115913885A (zh) * | 2022-12-21 | 2023-04-04 | 中盈优创资讯科技有限公司 | 一种可自定义的告警订阅转发方法及装置 |
| CN116170277A (zh) * | 2023-02-28 | 2023-05-26 | 上海中通吉网络技术有限公司 | 基于Golang的告警系统、方法和装置 |
-
2023
- 2023-06-08 CN CN202310671190.9A patent/CN116436772B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140201355A1 (en) * | 2013-01-15 | 2014-07-17 | Oracle International Corporation | Variable duration windows on continuous data streams |
| US11164090B1 (en) * | 2014-10-31 | 2021-11-02 | Tibco Software Inc. | Time-based aggregation to feed a rete engine |
| WO2020083023A1 (zh) * | 2018-10-22 | 2020-04-30 | 中兴通讯股份有限公司 | 一种事件流处理方法、电子设备和可读存储介质 |
| US20200213236A1 (en) * | 2018-12-31 | 2020-07-02 | Mist Systems, Inc. | Methods and apparatus for facilitating fault detection and/or predictive fault detection |
| CN110659307A (zh) * | 2019-09-06 | 2020-01-07 | 西安交大捷普网络科技有限公司 | 一种事件流的关联分析方法与系统 |
| CN111600898A (zh) * | 2020-05-22 | 2020-08-28 | 国网电力科学研究院有限公司 | 基于规则引擎的安全告警生成方法、装置及系统 |
| CN113656659A (zh) * | 2021-08-31 | 2021-11-16 | 上海观安信息技术股份有限公司 | 一种数据提取方法、装置、系统及计算机可读存储介质 |
| CN115913885A (zh) * | 2022-12-21 | 2023-04-04 | 中盈优创资讯科技有限公司 | 一种可自定义的告警订阅转发方法及装置 |
| CN115858306A (zh) * | 2022-12-29 | 2023-03-28 | 深圳市远行科技股份有限公司 | 一种基于事件流的微服务监控方法、终端设备及存储介质 |
| CN116170277A (zh) * | 2023-02-28 | 2023-05-26 | 上海中通吉网络技术有限公司 | 基于Golang的告警系统、方法和装置 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116760463A (zh) * | 2023-08-09 | 2023-09-15 | 中国电信股份有限公司 | 光纤光缆的监控方法及装置、存储介质和电子设备 |
| CN116760463B (zh) * | 2023-08-09 | 2023-11-10 | 中国电信股份有限公司 | 光纤光缆的监控方法及装置、存储介质和电子设备 |
| CN116974876A (zh) * | 2023-09-20 | 2023-10-31 | 云筑信息科技(成都)有限公司 | 一种基于实时流框架实现毫秒级监控告警的方法 |
| CN116974876B (zh) * | 2023-09-20 | 2024-02-23 | 云筑信息科技(成都)有限公司 | 一种基于实时流框架实现毫秒级监控告警的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116436772B (zh) | 2023-08-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116436772B (zh) | 实时告警方法和装置、电子设备及存储介质 | |
| US11386127B1 (en) | Low-latency streaming analytics | |
| US11818018B1 (en) | Configuring event streams based on identified security risks | |
| US10262032B2 (en) | Cache based efficient access scheduling for super scaled stream processing systems | |
| CN110019240B (zh) | 一种业务数据交互方法、装置及系统 | |
| US10409650B2 (en) | Efficient access scheduling for super scaled stream processing systems | |
| US10122788B2 (en) | Managed function execution for processing data streams in real time | |
| US20220004480A1 (en) | Log data collection method, log data collection device, storage medium, and log data collection system | |
| CN111209352B (zh) | 一种数据处理方法、装置、电子设备及存储介质 | |
| CN110347716B (zh) | 日志数据处理方法、装置、终端设备及存储介质 | |
| US9250963B2 (en) | Distributed data stream processing method and system | |
| US9965209B2 (en) | Large-scale, dynamic graph storage and processing system | |
| US20120296967A1 (en) | Bridging Social Silos for Knowledge Discovery and Sharing | |
| US20160098402A1 (en) | Custom Communication Alerts | |
| CN113010565B (zh) | 基于服务器集群的服务器实时数据处理方法及系统 | |
| US11716337B2 (en) | Systems and methods of malware detection | |
| Mătăcuţă et al. | Big Data Analytics: Analysis of Features and Performance of Big Data Ingestion Tools. | |
| CN109359109B (zh) | 一种基于分布式流计算的数据处理方法及系统 | |
| Nazeer et al. | Real-time text analytics pipeline using open-source big data tools | |
| US10511556B2 (en) | Bursty detection for message streams | |
| US20230222099A1 (en) | Policy driven event transformation | |
| CN115145964A (zh) | 一种时序数据整合方法、装置、设备及介质 | |
| CN116910144A (zh) | 算力网络资源中心、算力服务系统以及数据处理方法 | |
| CN105245380B (zh) | 一种消息的传播方式识别方法及装置 | |
| Racka | Apache Nifi As A Tool For Stream Processing Of Measurement Data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |