CN110737565B - 一种数据监控方法、装置、电子设备及存储介质 - Google Patents
一种数据监控方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN110737565B CN110737565B CN201910865601.1A CN201910865601A CN110737565B CN 110737565 B CN110737565 B CN 110737565B CN 201910865601 A CN201910865601 A CN 201910865601A CN 110737565 B CN110737565 B CN 110737565B
- Authority
- CN
- China
- Prior art keywords
- event
- target
- data
- different types
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 73
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000004806 packaging method and process Methods 0.000 claims description 42
- 238000012806 monitoring device Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 5
- 230000002159 abnormal effect Effects 0.000 description 13
- 230000015654 memory Effects 0.000 description 9
- 230000006399 behavior Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3089—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Alarm Systems (AREA)
Abstract
本申请提供了一种数据监控方法、装置、电子设备及存储介质，该方法包括：根据多个不同类型的第一目标事件特征，从目标数据源中获取分别匹配各个类型的第一目标事件特征的第一数据记录；根据获取的匹配多个不同类型的第一目标事件特征的多条第一数据记录，生成多个不同类型的第一事件；根据预设的第二目标事件特征，从多个不同类型的第一事件中选取匹配第二目标事件特征的至少两个不同类型的第一事件；根据预设的关联关系以及至少两个不同类型的第一事件分别对应的第一事件特征，生成第二事件。本申请能够对复杂场景中的复杂事件进行监控，能够在服务器资源有限的前提下，提高了监控效率。
Description
技术领域
本申请涉及计算机技术领域，具体而言，涉及一种数据监控方法、装置、电子设备及存储介质。
背景技术
随着计算机网络的飞速发展，数据的种类和数量也在不断增大，对于数据的监控告警的需求也越来越大，监控系统对于业务系统来说非常重要，其能够及时监控业务系统的线上运行情况，避免业务系统产生严重的问题。
目前，相关技术提供了一种数据监控方法，其只能对简单场景中的简单事件进行监控，但是对于复杂场景中，比如包括至少两个简单事件的复杂场景，或者对一些要求时间跨度很长的复杂场景，则无法对这些复杂场景中的复杂事件进行监控。
发明内容
有鉴于此，本申请实施例的目的在于提供一种数据监控方法、装置、电子设备及存储介质，能够对复杂场景中的复杂事件进行监控，且无需制定匹配复杂场景的定制化告警规则，在服务器资源有限的前提下，提高了监控效率。
第一方面，本申请实施例提供了一种数据监控方法，应用于服务器，所述数据监控方法包括：
根据多个不同类型的第一目标事件特征，从目标数据源中获取分别匹配各个类型的第一目标事件特征的第一数据记录；
根据获取的匹配多个不同类型的第一目标事件特征的多条第一数据记录，生成多个不同类型的第一事件；
根据预设的第二目标事件特征，从多个不同类型的第一事件中选取匹配所述第二目标事件特征的至少两个不同类型的第一事件；其中，所述第二目标事件特征中包括至少两个不同类型的第一事件分别对应的第一目标事件特征；
根据预设的关联关系以及所述至少两个不同类型的第一事件分别对应的第一事件特征，生成第二事件。
在一种可能的实施方式中，在根据预设的关联关系以及所述至少两个不同类型的第一事件分别对应的第一事件特征，生成第二事件之后，所述数据监控方法还包括：
获取所述第二事件对应的第二事件特征；其中，所述第二事件特征中至少包括所述第二目标事件特征；
基于所述第二事件对应的第二事件特征，确定所述第二事件对应的第一告警等级；
按照所述第一告警等级对应的第一封装方式对所述第二事件对应的第二事件特征进行封装，得到匹配所述第二事件的第一告警信息；
向目的端发送所述第一告警信息。
在一种可能的实施方式中，在根据获取的匹配多个不同类型的第一目标事件特征的多条第一数据记录，生成多个不同类型的第一事件之后，所述数据监控方法还包括：
针对任一类型的第一事件，获取该第一事件对应的第一事件特征；其中，所述第一事件特征中至少包括所述第一目标事件特征；
基于该第一事件对应的第一事件特征，确定所述第一事件对应的第二告警等级；
按照所述第二告警等级对应的第二封装方式对所述第一事件对应的第一事件特征进行封装，得到匹配所述第一事件的第二告警信息；
向目的端发送所述第二告警信息。
在一种可能的实施方式中，在获取该第一事件对应的第一事件特征之后，所述数据监控方法还包括：
提取所述第一事件特征中的目标特征，并记录所述目标特征；
所述数据监控方法还包括：
从所述目标数据源中选取包括所述目标特征的多条数据记录；
从多条所述数据记录中选取匹配预设的第三目标事件特征的第二数据记录；
根据选取的所述第二数据记录，生成相应类型的第一事件。
在一种可能的实施方式中，所述根据多个不同类型的第一目标事件特征，从目标数据源中获取分别匹配各个类型的第一目标事件特征的第一数据记录，包括：
针对任一类型的第一目标事件特征，选取在预设时间段内存在匹配该第一目标事件特征的目标数据记录；
若该目标数据记录的个数大于设定阈值，则将该目标数据记录确定为所述第一数据记录。
在一种可能的实施方式中，通过以下方式发送告警信息：
获取所述目的端的目的地址信息；
将所述告警信息发送至所述目的地址信息指示的目的端；其中，所述告警信息采用以下任一种方式进行封装：邮件、短信、系统日志。
第二方面，本申请实施例还提供了一种数据监控装置，所述数据监控装置包括：
第一获取模块，用于根据多个不同类型的第一目标事件特征，从目标数据源中获取分别匹配各个类型的第一目标事件特征的第一数据记录；
第一生成模块，用于根据获取的匹配多个不同类型的第一目标事件特征的多条第一数据记录，生成多个不同类型的第一事件；
第一选取模块，用于根据预设的第二目标事件特征，从多个不同类型的第一事件中选取匹配所述第二目标事件特征的至少两个不同类型的第一事件；其中，所述第二目标事件特征中包括至少两个不同类型的第一事件分别对应的第一目标事件特征；
第二生成模块，用于根据预设的关联关系以及所述至少两个不同类型的第一事件分别对应的第一事件特征，生成第二事件。
在一种可能的实施方式中，所述数据监控装置还包括：
第二获取模块，用于在根据预设的关联关系以及所述至少两个不同类型的第一事件分别对应的第一事件特征，生成第二事件之后，获取所述第二事件对应的第二事件特征；其中，所述第二事件特征中至少包括所述第二目标事件特征；
第一确定模块，用于基于所述第二事件对应的第二事件特征，确定所述第二事件对应的第一告警等级；
第一封装模块，用于按照所述第一告警等级对应的第一封装方式对所述第二事件对应的第二事件特征进行封装，得到匹配所述第二事件的第一告警信息；
第一发送模块，用于向目的端发送所述第一告警信息。
在一种实施方式中，所述数据监控装置还包括：
第三获取模块，用于在根据获取的匹配多个不同类型的第一目标事件特征的多条第一数据记录，生成多个不同类型的第一事件之后，针对任一类型的第一事件，获取该第一事件对应的第一事件特征；其中，所述第一事件特征中至少包括所述第一目标事件特征；
第二确定模块，用于基于该第一事件对应的第一事件特征，确定所述第一事件对应的第二告警等级；
第二封装模块，用于按照所述第二告警等级对应的第二封装方式对所述第一事件对应的第一事件特征进行封装，得到匹配所述第一事件的第二告警信息；
第二发送模块，用于向目的端发送所述第二告警信息。
在一种实施方式中，所述数据监控装置还包括：
提取模块，用于在获取该第一事件对应的第一事件特征之后，提取所述第一事件特征中的目标特征，并记录所述目标特征；
第二选取模块，用于从所述目标数据源中选取包括所述目标特征的多条数据记录；
第三选取模块，用于从多条所述数据记录中选取匹配预设的第三目标事件特征的第二数据记录；
第三生成模块，用于根据选取的所述第二数据记录，生成相应类型的第一事件。
在一种实施方式中，第一获取模块在根据多个不同类型的第一目标事件特征，从目标数据源中获取分别匹配各个类型的第一目标事件特征的第一数据记录时，包括：
针对任一类型的第一目标事件特征，选取在预设时间段内存在匹配该第一目标事件特征的目标数据记录；
若该目标数据记录的个数大于设定阈值，则将该目标数据记录确定为所述第一数据记录。
在一种实施方式中，第一发送模块和第二发送模块通过以下方式发送告警信息：
获取所述目的端的目的地址信息；
将所述告警信息发送至所述目的地址信息指示的目的端；其中，所述告警信息采用以下任一种方式进行封装：邮件、短信、系统日志。
第三方面，本申请实施例还提供了一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如第一方面任一项所述的数据监控方法的步骤。
第四方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如第一方面任一项所述的数据监控方法的步骤。
本申请实施例提供了一种数据监控方法、装置、电子设备及存储介质，基于匹配各个类型的第一目标事件特征的第一数据记录，生成多个不同类型的简单场景下的第一事件；根据预设的第二目标事件特征，从多个不同类型的第一事件中选取匹配第二目标事件特征的至少两个不同类型的第一事件，根据预设的关联关系以及选取的至少两个不同类型的第一事件，生成匹配复杂场景的第二事件。通过这种方式，能够对复杂场景中的复杂事件进行监控，且无需制定匹配复杂场景的定制化告警规则，在服务器资源有限的前提下，提高了监控效率。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例所提供的一种数据监控方法的流程图。
图2示出了本申请实施例所提供的另一种数据监控方法的流程图。
图3示出了本申请实施例所提供的另一种数据监控方法的流程图。
图4示出了本申请实施例所提供的另一种数据监控方法的流程图。
图5示出了本申请实施例所提供的另一种数据监控方法的流程图。
图6示出了本申请实施例所提供的一种数据监控装置的结构示意图。
图7示出了本申请实施例所提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
考虑到目前的数据监控方法要么无法对复杂场景进行数据监控，要么需要配置匹配复杂场景中复杂事件的定制化监控方式，对复杂场景进行数据监控，但是，前者无法进行复杂场景的数据监控，而后者的配置过程复杂度高，监控效率低。基于上述问题，本申请实施例提供了一种数据监控方法、装置、电子设备及存储介质，能够对复杂场景中的复杂事件进行监控，且无需制定匹配复杂场景的定制化告警规则，提高了监控效率。下面通过实施例进行描述。
如图1所示，本申请实施例提供了一种数据监控方法，应用于服务器，所述数据监控方法包括：
S101、根据多个不同类型的第一目标事件特征，从目标数据源中获取分别匹配各个类型的第一目标事件特征的第一数据记录。
本申请实施例中，目标数据源中存储有多条数据记录，每条数据记录中对应有相应的事件特征。其中，上述目标数据源可以为一个，也可以为多个。作为一种实施方式，上述目标数据源可以是日志数据源。
在本申请实施例中，服务器中还存储有多个不同类型的第一目标事件特征。作为一种实施方式，上述第一目标事件特征可以为服务器的负载状态特征(比如为异常负载特征)、用户针对服务器的访问行为特征(比如为异常访问行为特征)等。
针对目标数据源中的每一条数据记录，判断该数据记录对应的事件特征中是否包括第一目标事件特征，若该数据记录对应的事件特征中包括第一目标事件特征，则选取该条数据记录作为第一数据记录。
作为一种实施方式，上述目标数据源为日志数据源，服务器中预先定义了异常负载状态特征，服务器从操作系统的日志数据中获取数据记录，针对每一条数据记录，若该数据记录中包括上述异常负载状态特征，则将该数据记录确定为第一数据记录。
作为另一种实施方式，上述目标数据源为日志数据源，服务器中预先定义了异常访问行为特征，服务器从防火墙的日志数据中获取数据记录，针对每一条数据记录，若该数据记录中包括上述异常访问行为特征，则将该数据记录确定为第一数据记录。
S102、根据获取的匹配多个不同类型的第一目标事件特征的多条第一数据记录，生成多个不同类型的第一事件。
本申请实施例中，获取的每一条第一数据记录中均对应有第一事件特征；比如，第一数据记录中包括的第一事件特征为：源网络之间互连的协议(Internet Protocol，IP)地址、目的IP地址、访问行为特征。再比如，第一数据记录中包括的第一事件特征为：源IP地址、目的IP地址、负载状态特征。
针对获取的每一条第一数据记录，基于该第一数据记录对应的第一事件特征，生成匹配简单场景的第一事件。基于此，通过多条第一数据记录，可以生成多个不同类型的匹配简单场景的第一事件。
作为一种实施方式，服务器基于流式告警引擎选取第一数据记录，并基于选取的第一数据记录生成多个不同类型的第一事件。基于流式告警引擎选取第一事件，告警实时性高，可以同时运行100个以上的第一目标事件特征的告警规则，实现了实时告警。
S103、根据预设的第二目标事件特征，从多个不同类型的第一事件中选取匹配所述第二目标事件特征的至少两个不同类型的第一事件；其中，所述第二目标事件特征中包括至少两个不同类型的第一事件分别对应的第一目标事件特征。
本申请实施例中，服务器中还预先存储有各个第二事件对应的第二目标事件特征；其中，每个第二目标事件特征中包括至少两个不同类型的第一事件分别对应的第一目标事件特征；针对每一个第二目标事件特征，服务器从生成的第一事件中选取匹配该第二目标事件特征的至少两个不同类型的第一事件。
其中，服务器选取匹配该第二目标事件特征的至少两个不同类型的第一事件的方式如下：每个第一事件均对应有第一事件特征，针对每一个第二目标事件特征，将各个第一事件对应的第一事件特征分别与该第二目标事件特征进行匹配，选取与该第二目标事件特征相匹配的至少两个不同类型的第一事件。
S104、根据预设的关联关系以及所述至少两个不同类型的第一事件分别对应的第一事件特征，生成第二事件。
本申请实施例中，每个第一事件均对应有第一事件特征；其中，服务器中还存储有预设的关联关系，该预设的关联关系表征至少两个不同类型的第一事件分别对应的第一事件特征之间的关联关系(也即组合关系)。
服务器基于至少两个不同类型的第一事件分别对应的第一事件特征以及表征上述第一事件特征之间的关联关系，生成匹配复杂场景的第二事件。其中，上述第二事件为包括至少两个简单事件的复杂场景中的复杂事件，或者对一些要求时间跨度很长的复杂场景中的复杂事件。
比如，服务器选取了两个第一事件，一个第一事件对应的第一事件特征为：用户a执行了异常代码指令；另一个第一事件对应的第一事件特征为：服务器b的负载状态异常。上述预设的关联关系为：用户行为导致异常结果。
因此，服务器基于上述两个第一事件和上述预设的关联关系，生成的第二事件为：用户a执行了异常代码指令导致服务器b的异常负载状态。
本申请实施例中，服务器基于批次告警引擎生成匹配复杂场景的第二事件，批次告警引擎是在流式告警引擎的基础上运行的，其通过数据库进行临时数据存储，这样，流式引擎已经满足了简单场景中简单事件的告警需求，通过批次告警引擎进行复杂的规则逻辑处理。
作为一种实施方式，采用H2数据库进行临时数据存储，其中，H2数据库是一个开源的、纯java实现的关系数据库，有轻便、性能高、兼容性好的特点，并且，H2数据库支持结构化查询语言(Structured Query Language，SQL)，批次告警引擎中通过SQL进行复杂的规则逻辑处理，能够提高服务器的处理效率。
同时，批次引擎是以流式引擎生成的第一事件作为数据源的，通过对流式引擎进行过滤后的结果(即第一时间)进行处理，生成第二时间，大大减少了数据量，进一步提高了服务器的处理效率。
并且，在本申请实施例中，批次引擎中每个规则的数据查询时间范围是根据告警场景的时间跨度来的(例如：5分钟内连续登录失败5次后登录成功，这里的时间跨度就是5分钟)，查询出来后一次性处理完，而不是将数据一直保留在内存中，减少了对内存的占用，在服务器资源有限的前提下，提高了服务器的处理效率，很好的实现了对时间跨度很长的复杂场景进行监控。
本申请实施例提供了一种数据监控方法，基于匹配各个类型的第一目标事件特征的第一数据记录，生成多个不同类型的简单场景下的第一事件；根据预设的第二目标事件特征，从多个不同类型的第一事件中选取匹配第二目标事件特征的至少两个不同类型的第一事件，根据预设的关联关系以及选取的至少两个不同类型的第一事件，生成匹配复杂场景的第二事件。通过这种方式，能够对复杂场景中的复杂事件进行监控，且无需制定匹配复杂场景的定制化告警规则，提高了监控效率。
进一步的，如图2所示，本申请实施例提供的数据监控方法中，在根据预设的关联关系以及所述至少两个不同类型的第一事件分别对应的第一事件特征，生成第二事件之后，所述数据监控方法还包括：
S201、获取所述第二事件对应的第二事件特征；其中，所述第二事件特征中至少包括所述第二目标事件特征。
本申请实施例中，第二事件特征中包括该第二事件对应的第二目标事件特征，还包括其他特征。
比如，上述第二目标特征包括：异常代码指令对应的异常访问行为特征和异常负载状态对应的异常负载状态特征，上述第二事件特征中包括有上述第二目标特征，还包括用户身份标识号(Identity document，ID)、用户的源地址(比如为源IP地址)、服务器ID，服务器的目的地址(比如为目的IP地址)等其他特征。
S202、基于所述第二事件对应的第二事件特征，确定所述第二事件对应的第一告警等级。
本申请实施例中，服务器中预先存储有第二事件特征和与第二事件特征匹配的告警等级。服务器在获取了第二事件对应的第二事件特征后，确定该第二事件特征对应的第一告警等级。
S203、按照所述第一告警等级对应的第一封装方式对所述第二事件对应的第二事件特征进行封装，得到匹配所述第二事件的第一告警信息。
本申请实施例中，不同的告警等级对应的告警信息封装方式不同。作为一种可选的实施方式，告警等级包括三种，第一级别(即较低级别)的告警等级对应一种封装方式；第二级别(即中等级别)的告警等级对应两种封装方式；第三级别(即较高级别)的告警等级对应三种封装方式。
比如，第一告警等级为第三级别的告警等级，那么按照该告警等级对应的三种封装方式分别对第二事件特征进行封装，得到匹配该第二事件的三种不同封装方式的第一告警信息。
S204、向目的端发送所述第一告警信息。
本申请实施例中，服务器中预先存储有各个封装方式对应的目的端的目的地址，服务器在生成了第一告警信息后，确定该第一告警信息对应的目的端的目的地址，并基于获取的目的地址将该第一告警信息发送给相应的目的端。
在本申请实施例中，服务器在基于流式告警引擎选取出第一事件后，对第一事件进行告警，如图3所示，在根据获取的匹配多个不同类型的第一目标事件特征的多条第一数据记录，生成多个不同类型的第一事件之后，所述数据监控方法还包括：
S301、针对任一类型的第一事件，获取该第一事件对应的第一事件特征；其中，所述第一事件特征中至少包括所述第一目标事件特征。
本申请实施例中，第一事件特征中包括该第一事件对应的第一目标事件特征，还包括其他特征。
比如，上述第一目标特征包括异常负载特征，上述第一事件特征包括有上述第一目标特征，还包括用户身份标识号(Identity document，ID)、用户的源地址(比如为源IP地址)、服务器ID，服务器的目的地址(比如为目的IP地址)等其他特征。
S302、基于该第一事件对应的第一事件特征，确定所述第一事件对应的第二告警等级。
本申请实施例中，服务器中预先存储有第一事件特征和与第一事件特征匹配的告警等级。服务器在获取了第一事件对应的第一事件特征后，确定该第一事件特征对应的第二告警等级。
S303、按照所述第二告警等级对应的第二封装方式对所述第一事件对应的第一事件特征进行封装，得到匹配所述第一事件的第二告警信息。
本申请实施例中，不同的告警等级对应的告警信息封装方式不同。作为一种可选的实施方式，告警等级包括三种，第一级别(即较低级别)的告警等级对应一种封装方式；第二级别(即中等级别)的告警等级对应两种封装方式；第三级别(即较高级别)的告警等级对应三种封装方式。
比如，第二告警等级为第一级别的告警等级，那么按照该告警等级对应的一种封装方式分别对第一事件特征进行封装，得到匹配该第一事件的一种封装方式的第二告警信息。
S304、向目的端发送所述第二告警信息。
本申请实施例中，服务器中预先存储有各个封装方式对应的目的端的目的地址，服务器在生成了第二告警信息后，确定该第二告警信息对应的目的端的目的地址，并基于获取的目的地址，将该第一告警信息发送给相应的目的端。
进一步的，本申请实施例提供的数据监控方法中，在获取该第一事件对应的第一事件特征之后，所述数据监控方法还包括：
提取所述第一事件特征中的目标特征，并记录所述目标特征；
在本申请实施例中，服务器在获取了第一事件对应的第一事件特征后，还可以将第一事件特征中的目标特征加入活动列表，以便基于活动列表辅助对其他类型的第一事件进行监控。
比如，第一事件为恶意攻击事件，服务器可以将恶意攻击事件的攻击源地址，比如源IP地址添加到恶意攻击地址的活动列表中，得到一个恶意攻击IP地址的列表。
如图4所示，所述数据监控方法还包括：
S401、从所述目标数据源中选取包括所述目标特征的多条数据记录。
本申请实施例中，服务器在建立了活动列表后，从目标数据源中选取包括活动列表中的目标特征的多条数据记录。
比如，活动列表包括攻击源地址IP1，服务器从目标数据源中选取包括IP1的多条数据记录。
S402、从多条所述数据记录中选取匹配预设的第三目标事件特征的第二数据记录。
本申请实施例中，针对选取的多条数据记录中的每一条数据记录，将该数据记录对应的事件特征与第三目标事件特征进行匹配，若相匹配(也即该数据记录对应的事件特征中包括第三目标事件特征)，选取该数据记录作为第二数据记录。
S403、根据选取的所述第二数据记录，生成相应类型的第一事件。
本申请实施例中，针对选取的每一个第二数据记录，根据该第二数据记录对应的事件特征，生成第一事件；其中，该第一事件与基于匹配第一目标事件特征的第一数据记录生成的第一事件的类型不同。
本申请实施例中，活动列表辅助其它告警特征(即第三目标事件特征)可以监控到多种不同类型的第一事件，增加了数据监控的灵活性，提高了数据监控的准确度。
进一步的，本申请实施例提供的数据监控方法，所述根据多个不同类型的第一目标事件特征，从目标数据源中获取分别匹配各个类型的第一目标事件特征的第一数据记录，包括：
针对任一类型的第一目标事件特征，选取在预设时间段内存在匹配该第一目标事件特征的目标数据记录；
若该目标数据记录的个数大于设定阈值，则将该目标数据记录确定为所述第一数据记录。
需要说明的是，上述预设时间段可以根据监控的复杂场景中的跨度时间段进行设置，比如，当前监控的复杂场景中的跨度时间段为5分钟，上述预设时间段也可以设置为5分钟。
比如，若在5分钟内存在匹配异常负载状态特征的目标数据记录且该目标记录为5个，大于设定阈值3，确定该目标数据记录为第一数据记录。
再比如，若在10分钟内存在匹配异常访问行为特征的目标数据记录且该目标数据记录为5个，大于设定阈值3，确定该目标数据记录为第一数据记录。
进一步的，如图5所示，本申请实施例中提供的数据监控方法中，通过以下方式发送告警信息，这里的告警信息可以是上述第一告警信息，也可以是上述第二告警信息：
S501、获取所述目的端的目的地址信息。
S502、将所述告警信息发送至所述目的地址信息指示的目的端；其中，所述告警信息采用以下任一种方式进行封装：邮件、短信、系统日志。
结合步骤501和步骤502，服务器中预先存储有目的端的目的地址，在基于第一事件对应的第二告警等级或者第一事件对应的第一告警等级，将第一事件对应的第一事件特征或者第二事件对应的第二事件特征按照相应的等级对应的方式进行封装后，将封装后的告警信息发送至目的地址信息指示的目的端。
本申请实施例中，对第一事件特征或者第二事件特征进行封装的方式可以为邮件、短信、系统日志(即Syslog)中的至少一种。
本申请实施例提供了一种数据监控方法，基于匹配各个类型的第一目标事件特征的第一数据记录，生成多个不同类型的简单场景下的第一事件；根据预设的第二目标事件特征，从多个不同类型的第一事件中选取匹配第二目标事件特征的至少两个不同类型的第一事件，根据预设的关联关系以及选取的至少两个不同类型的第一事件，生成匹配复杂场景的第二事件。通过这种方式，能够对复杂场景中的复杂事件进行监控，且无需制定匹配复杂场景的定制化告警规则，能够解决、优化告警引擎在实现复杂告警场景以及长时间跨度告警场景时所遇到的性能瓶颈，在服务器资源有限的前提下，提高监控效率。
图6是示出本申请的一些实施例的数据监控装置的框图，该数据监控装置实现的功能对应上述方法执行的步骤。该数据监控装置可以理解为上述服务器，或服务器中的处理器，也可以理解为独立于上述服务器或处理器之外的在服务器控制下实现本申请功能的组件，如图6所示，所述数据监控装置可以包括：
第一获取模块601，用于根据多个不同类型的第一目标事件特征，从目标数据源中获取分别匹配各个类型的第一目标事件特征的第一数据记录；
第一生成模块602，用于根据获取的匹配多个不同类型的第一目标事件特征的多条第一数据记录，生成多个不同类型的第一事件；
第一选取模块603，用于根据预设的第二目标事件特征，从多个不同类型的第一事件中选取匹配所述第二目标事件特征的至少两个不同类型的第一事件；其中，所述第二目标事件特征中包括至少两个不同类型的第一事件分别对应的第一目标事件特征；
第二生成模块604，用于根据预设的关联关系以及所述至少两个不同类型的第一事件分别对应的第一事件特征，生成第二事件。
在一种实施方式中，所述数据监控装置还包括：
第二获取模块，用于在根据预设的关联关系以及所述至少两个不同类型的第一事件分别对应的第一事件特征，生成第二事件之后，获取所述第二事件对应的第二事件特征；
第一确定模块，用于基于所述第二事件对应的第二事件特征，确定所述第二事件对应的第一告警等级；
第一封装模块，用于按照所述第一告警等级对应的第一封装方式对所述第二事件对应的第二事件特征进行封装，得到匹配所述第二事件的第一告警信息；
第一发送模块，用于向目的端发送所述第一告警信息。
在一种实施方式中，所述数据监控装置还包括：
第三获取模块，用于在根据获取的匹配多个不同类型的第一目标事件特征的多条第一数据记录，生成多个不同类型的第一事件之后，针对任一类型的第一事件，获取该第一事件对应的第一事件特征；其中，所述第一事件特征中至少包括所述第一目标事件特征；
第二确定模块，用于基于该第一事件对应的第一事件特征，确定所述第一事件对应的第二告警等级；
第二封装模块，用于按照所述第二告警等级对应的第二封装方式对所述第一事件对应的第一事件特征进行封装，得到匹配所述第一事件的第二告警信息；
第二发送模块，用于向目的端发送所述第二告警信息。
在一种实施方式中，所述数据监控装置还包括：
提取模块，用于在获取该第一事件对应的第一事件特征之后，提取所述第一事件特征中的目标特征，并记录所述目标特征；
第二选取模块，用于从所述目标数据源中选取包括所述目标特征的多条数据记录；
第三选取模块，用于从多条所述数据记录中选取匹配预设的第三目标事件特征的第二数据记录；
第三生成模块，用于根据选取的所述第二数据记录，生成相应类型的第一事件。
在一种实施方式中，第一获取模块601，在根据多个不同类型的第一目标事件特征，从目标数据源中获取分别匹配各个类型的第一目标事件特征的第一数据记录时，包括：
针对任一类型的第一目标事件特征，选取在预设时间段内存在匹配该第一目标事件特征的目标数据记录；
若该目标数据记录的个数大于设定阈值，则将该目标数据记录确定为所述第一数据记录。
在一种实施方式中，第一发送模块和第二发送模块通过以下方式发送告警信息：
获取所述目的端的目的地址信息；
将所述告警信息发送至所述目的地址信息指示的目的端；其中，所述告警信息采用以下任一种方式进行封装：邮件、短信、系统日志。
本申请实施例提供的一种数据监控装置，基于匹配各个类型的第一目标事件特征的第一数据记录，生成多个不同类型的简单场景下的第一事件；根据预设的第二目标事件特征，从多个不同类型的第一事件中选取匹配第二目标事件特征的至少两个不同类型的第一事件，根据预设的关联关系以及选取的至少两个不同类型的第一事件，生成匹配复杂场景的第二事件。通过这种方式，能够对复杂场景中的复杂事件进行监控，且无需制定匹配复杂场景的定制化告警规则，提高了监控效率。
如图7所示，本申请实施例提供的一种电子设备700，包括：处理器701、存储器702和总线，所述存储器702存储有所述处理器701可执行的机器可读指令，当电子设备运行时，所述处理器701与所述存储器702之间通过总线通信，所述处理器701执行所述机器可读指令，以执行如上述数据监控方法的步骤。
具体地，上述存储器702和处理器701能够为通用的存储器和处理器，这里不做具体限定，当处理器701运行存储器702存储的计算机程序时，能够执行上述数据监控方法。
对应于上述数据监控方法，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述数据监控方法的步骤。
本申请实施例所提供的数据监控装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本申请实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的系统、装置和单元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种数据监控方法，其特征在于，应用于服务器，所述数据监控方法包括：
根据多个不同类型的第一目标事件特征，从目标数据源中获取分别匹配各个类型的第一目标事件特征的第一数据记录；
根据获取的匹配多个不同类型的第一目标事件特征的多条第一数据记录，针对获取的每一条第一数据记录，基于该第一数据记录对应的第一事件特征，生成匹配简单场景的第一事件；
针对每一个第二目标事件特征，将各个第一事件对应的第一事件特征分别与该第二目标事件特征进行匹配，选取与该第二目标事件特征相匹配的至少两个不同类型的第一事件，其中，服务器中预先存储有各个第二事件对应的第二目标事件特征，每个第二目标事件特征中包括至少两个不同类型的第一事件分别对应的第一目标事件特征，每个第一事件均对应有第一事件特征；
根据预设的关联关系以及所述至少两个不同类型的第一事件分别对应的第一事件特征，生成第二事件。
2.根据权利要求1所述的数据监控方法，其特征在于，在根据预设的关联关系以及所述至少两个不同类型的第一事件分别对应的第一事件特征，生成第二事件之后，所述数据监控方法还包括：
获取所述第二事件对应的第二事件特征；其中，所述第二事件特征中至少包括所述第二目标事件特征；
基于所述第二事件对应的第二事件特征，确定所述第二事件对应的第一告警等级；
按照所述第一告警等级对应的第一封装方式对所述第二事件对应的第二事件特征进行封装，得到匹配所述第二事件的第一告警信息；
向目的端发送所述第一告警信息。
3.根据权利要求1所述的数据监控方法，其特征在于，在根据获取的匹配多个不同类型的第一目标事件特征的多条第一数据记录，生成多个不同类型的第一事件之后，所述数据监控方法还包括：
针对任一类型的第一事件，获取该第一事件对应的第一事件特征；其中，所述第一事件特征中至少包括所述第一目标事件特征；
基于该第一事件对应的第一事件特征，确定所述第一事件对应的第二告警等级；
按照所述第二告警等级对应的第二封装方式对所述第一事件对应的第一事件特征进行封装，得到匹配所述第一事件的第二告警信息；
向目的端发送所述第二告警信息。
4.根据权利要求3所述的数据监控方法，其特征在于，在获取该第一事件对应的第一事件特征之后，所述数据监控方法还包括：
提取所述第一事件特征中的目标特征，并记录所述目标特征；
所述数据监控方法还包括：
从所述目标数据源中选取包括所述目标特征的多条数据记录；
从多条所述数据记录中选取匹配预设的第三目标事件特征的第二数据记录；
根据选取的所述第二数据记录，生成相应类型的第一事件。
5.根据权利要求1所述的数据监控方法，其特征在于，所述根据多个不同类型的第一目标事件特征，从目标数据源中获取分别匹配各个类型的第一目标事件特征的第一数据记录，包括：
针对任一类型的第一目标事件特征，选取在预设时间段内存在匹配该第一目标事件特征的目标数据记录；
若该目标数据记录的个数大于设定阈值，则将该目标数据记录确定为所述第一数据记录。
6.根据权利要求2或者3所述的数据监控方法，其特征在于，通过以下方式发送告警信息：
获取所述目的端的目的地址信息；
将所述告警信息发送至所述目的地址信息指示的目的端；其中，所述告警信息采用以下任一种方式进行封装：邮件、短信、系统日志。
7.一种数据监控装置，其特征在于，所述数据监控装置包括：
第一获取模块，用于根据多个不同类型的第一目标事件特征，从目标数据源中获取分别匹配各个类型的第一目标事件特征的第一数据记录；
第一生成模块，用于根据获取的匹配多个不同类型的第一目标事件特征的多条第一数据记录，针对获取的每一条第一数据记录，基于该第一数据记录对应的第一事件特征，生成匹配简单场景的第一事件；
第一选取模块，用于针对每一个第二目标事件特征，将各个第一事件对应的第一事件特征分别与该第二目标事件特征进行匹配，选取与该第二目标事件特征相匹配的至少两个不同类型的第一事件，其中，服务器中预先存储有各个第二事件对应的第二目标事件特征，每个第二目标事件特征中包括至少两个不同类型的第一事件分别对应的第一目标事件特征，每个第一事件均对应有第一事件特征；
第二生成模块，用于根据预设的关联关系以及所述至少两个不同类型的第一事件分别对应的第一事件特征，生成第二事件。
8.根据权利要求7所述的数据监控装置，其特征在于，所述数据监控装置还包括：
第二获取模块，用于在根据预设的关联关系以及所述至少两个不同类型的第一事件分别对应的第一事件特征，生成第二事件之后，获取所述第二事件对应的第二事件特征；其中，所述第二事件特征中至少包括所述第二目标事件特征；
第一确定模块，用于基于所述第二事件对应的第二事件特征，确定所述第二事件对应的第一告警等级；
第一封装模块，用于按照所述第一告警等级对应的第一封装方式对所述第二事件对应的第二事件特征进行封装，得到匹配所述第二事件的第一告警信息；
第一发送模块，用于向目的端发送所述第一告警信息。
9.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1至6任一项所述的数据监控方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至6任一项所述的数据监控方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910865601.1A CN110737565B (zh) | 2019-09-12 | 2019-09-12 | 一种数据监控方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910865601.1A CN110737565B (zh) | 2019-09-12 | 2019-09-12 | 一种数据监控方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110737565A CN110737565A (zh) | 2020-01-31 |
| CN110737565B true CN110737565B (zh) | 2023-12-05 |
Family
ID=69267882
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910865601.1A Active CN110737565B (zh) | 2019-09-12 | 2019-09-12 | 一种数据监控方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110737565B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112181477B (zh) * | 2020-09-02 | 2024-05-10 | 广州市双照电子科技有限公司 | 复杂事件处理方法、装置及终端设备 |
| CN113849383B (zh) * | 2021-09-27 | 2024-07-05 | 广州华多网络科技有限公司 | 告警通知控制方法及其装置、设备、介质、产品 |
| CN115834333B (zh) * | 2022-11-24 | 2023-08-29 | 苏州睿芯通量科技有限公司 | 一种多类型设备的监控方法、装置、电子设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101685466A (zh) * | 2009-07-22 | 2010-03-31 | 中兴通讯股份有限公司 | 事件处理方法和设备 |
| CN105407331A (zh) * | 2015-12-23 | 2016-03-16 | 深圳市科漫达智能管理科技有限公司 | 一种监控的方法以及监控设备 |
| CN106940923A (zh) * | 2016-01-05 | 2017-07-11 | 中兴通讯股份有限公司 | 一种告警监控方法及装置 |
| WO2018103315A1 (zh) * | 2016-12-09 | 2018-06-14 | 上海壹账通金融科技有限公司 | 监控数据的处理方法、装置、服务器及存储设备 |
| CN109981617A (zh) * | 2019-03-12 | 2019-07-05 | 深圳市智物联网络有限公司 | 一种物联网设备监控方法、系统及电子设备和存储介质 |
-
2019
- 2019-09-12 CN CN201910865601.1A patent/CN110737565B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101685466A (zh) * | 2009-07-22 | 2010-03-31 | 中兴通讯股份有限公司 | 事件处理方法和设备 |
| CN105407331A (zh) * | 2015-12-23 | 2016-03-16 | 深圳市科漫达智能管理科技有限公司 | 一种监控的方法以及监控设备 |
| CN106940923A (zh) * | 2016-01-05 | 2017-07-11 | 中兴通讯股份有限公司 | 一种告警监控方法及装置 |
| WO2018103315A1 (zh) * | 2016-12-09 | 2018-06-14 | 上海壹账通金融科技有限公司 | 监控数据的处理方法、装置、服务器及存储设备 |
| CN109981617A (zh) * | 2019-03-12 | 2019-07-05 | 深圳市智物联网络有限公司 | 一种物联网设备监控方法、系统及电子设备和存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 战场关键事件提取与告警方法;宋仁亮;戴兆乐;;软件工程(10);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110737565A (zh) | 2020-01-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108763031B (zh) | 一种基于日志的威胁情报检测方法及装置 | |
| CN110737565B (zh) | 一种数据监控方法、装置、电子设备及存储介质 | |
| CN107196895B (zh) | 网络攻击溯源实现方法及装置 | |
| US9870470B2 (en) | Method and apparatus for detecting a multi-stage event | |
| CN109347827B (zh) | 网络攻击行为预测的方法、装置、设备及存储介质 | |
| CN110164101B (zh) | 一种处理报警信息的方法及设备 | |
| CN112636979B (zh) | 一种集群告警方法及相关装置 | |
| CN113259168B (zh) | 一种故障根因分析方法及装置 | |
| US9658908B2 (en) | Failure symptom report device and method for detecting failure symptom | |
| CN110602135B (zh) | 网络攻击处理方法、装置以及电子设备 | |
| CN108845912A (zh) | 服务接口调用故障的报警方法及计算设备 | |
| CN110868418A (zh) | 一种威胁情报生成方法、装置 | |
| CN112818307A (zh) | 用户操作处理方法、系统、设备及计算机可读存储介质 | |
| CN115665016A (zh) | 心跳监听的方法、装置、设备及存储介质 | |
| CN115426154A (zh) | 一种挖矿行为监测方法、装置、设备及存储介质 | |
| CN111786940A (zh) | 一种数据处理方法及装置 | |
| CN114338189B (zh) | 基于节点拓扑关系链的态势感知防御方法、装置及系统 | |
| CN114301696B (zh) | 恶意域名检测方法、装置、计算机设备及存储介质 | |
| CN113872931B (zh) | 一种端口扫描行为的检测方法及系统、服务器、代理节点 | |
| CN115756888A (zh) | 数据处理方法、处理器、装置及存储介质 | |
| CN115333848A (zh) | 容器云平台网络安全防护方法、装置及电子设备 | |
| CN113852984A (zh) | 一种无线终端接入监控系统、方法、电子设备及可读存储装置 | |
| CN114362980B (zh) | 协议挂登录账号识别方法、装置、计算机设备和存储介质 | |
| CN114422396A (zh) | 一种dns服务器管理方法、装置、电子设备及存储介质 | |
| CN113127856A (zh) | 网络安全运维管理方法、装置、计算设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |