CN107426022B - 安全事件监测方法及装置、电子设备、存储介质 - Google Patents

安全事件监测方法及装置、电子设备、存储介质 Download PDF

Info

Publication number
CN107426022B
CN107426022B CN201710599864.3A CN201710599864A CN107426022B CN 107426022 B CN107426022 B CN 107426022B CN 201710599864 A CN201710599864 A CN 201710599864A CN 107426022 B CN107426022 B CN 107426022B
Authority
CN
China
Prior art keywords
time period
fields
predetermined
count value
log data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710599864.3A
Other languages
English (en)
Other versions
CN107426022A (zh
Inventor
江榕
周鸣杰
陈莹
任晓艳
杨晓春
雷兵
凌云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Ctrip Business Co Ltd
Original Assignee
Shanghai Ctrip Business Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Ctrip Business Co Ltd filed Critical Shanghai Ctrip Business Co Ltd
Priority to CN201710599864.3A priority Critical patent/CN107426022B/zh
Publication of CN107426022A publication Critical patent/CN107426022A/zh
Application granted granted Critical
Publication of CN107426022B publication Critical patent/CN107426022B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0604—Management of faults, events, alarms or notifications using filtering, e.g. reduction of information by using priority, element types, position or time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明提供一种安全事件监测方法及装置、电子设备、存储介质。所述安全事件监测方法，包括：流式执行器从一消息队列获取日志数据；将所述日志数据中的每条日志进行分片；对经分片的所述日志数据根据一个或多个预定字段进行聚合计数；若流式执行器判断所述一个或多个预定字段的计数值在第一时间段内超过第一预定阈值，则输出一阶事件；于所述日志数据中搜索该所述一个或多个预定字段，对第二时间段内的所述一个或多个预定字段进行聚合计数；以及若判断所述第二时间段内的所述一个或多个预定字段的计数值超过所述第二预定阈值，则输出所述一阶事件并进行告警。本发明提供的方法及装置全面的安全事件监测方法以防告警的漏报和误报。

Description

安全事件监测方法及装置、电子设备、存储介质
技术领域
本发明涉及计算机应用技术领域，尤其涉及一种安全事件监测方法及装置、电子设备、存储介质。
背景技术
随着互联网行业的不断发展，基于安全检测的日志分析的方案也越来越多。现在应用最广泛的日志分析引擎当属流式分析，对于针对原始日志分析的场景，如服务器安全日志及网络日志。具体而言，通常流式数据分析从一分布式消息队列获取消息，经由一具有多个节点的分布式拓扑图进行处理。流式数据分析的好处是能够实时得分析日志数据，但其无法在一个较大的时间跨度内对日志数据进行。因此，仅仅使用单一的流式分析仅能满足日志分析的实时性、时间维度日志前后关联性，而无法满足基于长跨度历史日志的准实时规律判断。由此，现有技术中的流式分析将带来大量误报，增加安全运维响应人员不必要的工作量。
发明内容
本发明为了克服上述现有技术存在的缺陷，提供一种安全事件监测方法及装置、电子设备、存储介质，以实现全面的安全事件监测方法以防告警的漏报和误报。
根据本发明的一个方面，提供一种安全事件监测方法，包括：流式执行器从一消息队列获取日志数据；将所述日志数据中的每条日志进行分片，划分成多个字段；对经分片的所述日志数据根据一个或多个预定字段进行聚合计数；所述流式执行器判断所述一个或多个预定字段的计数值是否在第一时间段内超过第一预定阈值；若流式执行器判断所述一个或多个预定字段的计数值在第一时间段内超过第一预定阈值，则输出一阶事件，所述一阶事件至少包括所述一个或多个预定字段及其计数值；利用搜索引擎于所述日志数据中搜索该所述一个或多个预定字段，对第二时间段内的所述一个或多个预定字段进行聚合计数，所述第二时间段的时间跨度大于所述第一时间段的时间跨度；判断所述第二时间段内的所述一个或多个预定字段的计数值是否超过第二预定阈值；以及若判断所述第二时间段内的所述一个或多个预定字段的计数值超过所述第二预定阈值，则输出所述一阶事件并进行告警。
可选地，所述对经分片的所述日志数据根据一个或多个预定字段进行聚合计数的步骤包括：对登陆账号相同、登陆状态为登陆失败的字段进行聚合计数，对应地，所述流式执行器判断登陆账号相同、登陆状态为登陆失败的计数值是否在第一时间段内超过第一预定阈值；利用搜索引擎于所述日志数据中搜索该所述该登陆账号，对第二时间段内的与该登陆账号相同、登陆状态为登陆失败的字段进行聚合计数。
可选地，所述对经分片的所述日志数据根据一个或多个预定字段进行聚合计数的步骤包括：对源IP地址相同、登陆状态为登陆失败的登陆账号进行聚合计数，对应地，所述流式执行器判断源IP地址相同、登陆状态为登陆失败的登陆账号数量是否在第一时间段内超过第一预定阈值；利用搜索引擎于所述日志数据中搜索该所述该源IP地址，对第二时间段内的与该源IP地址相同、登陆状态为登陆失败的登陆账号进行聚合计数。
可选地，所述第一时间段及所述第二时间段预先设定。
可选地，所述一阶事件包括还包括所述第一时间段，于所述日志数据中搜索该所述一个或多个预定字段，对第二时间段内的所述一个或多个预定字段进行聚合计数还包括：根据所述第一时间段自动生成所述第二时间段。
可选地，所述第一预定阈值及所述第二预定阈值预先设定。
可选地，判断所述第二时间段内的所述一个或多个预定字段的计数值是否超过第二预定阈值还包括：根据所述第一预定阈值自动生成所述第二预定阈值。
可选地，判断所述第二时间段内的所述一个或多个预定字段的计数值是否超过第二预定阈值还包括：根据所述第一时间段和所述第二时间段的比值及所述第一预定阈值自动生成所述第二预定阈值。
可选地，所述若判断所述第二时间段内的所述一个或多个预定字段的计数值超过所述第二预定阈值，则输出所述一阶事件并进行告警的步骤还包括：
若判断所述第二时间段内的所述一个或多个预定字段的计数值超过所述第二预定阈值，则调用一第三方接口判断是否对所述一阶事件进行告警。
可选地，判断所述第二时间段内的所述一个或多个预定字段的计数值是否超过第二预定阈值还包括：调用一第三方接口判断所述一个或多个预定字段的类型，根据不同的类型设定不同的第二时间段和不同的第二预定阈值。
根据本发明的又一方面，还提供一种安全事件监测装置，包括：流式执行器模块，包括：获取模块，用于从一消息队列获取日志数据；分片模块，用于将所述日志数据中的每条日志进行分片，划分成多个字段；第一聚合模块，用于对经分片的所述日志数据根据一个或多个预定字段进行聚合计数；第一判断模块，用于判断所述一个或多个预定字段的计数值是否在第一时间段内超过第一预定阈值；传参模块，若所述第一判断模块判断所述一个或多个预定字段的计数值在第一时间段内超过第一预定阈值，则所述传参模块用于输出一阶事件，所述一阶事件至少包括所述一个或多个预定字段及其计数值；搜索模块，包括：第二聚合模块，用于于所述日志数据中搜索该所述一个或多个预定字段，对第二时间段内的所述一个或多个预定字段进行聚合计数，所述第二时间段的时间跨度大于所述第一时间段的时间跨度；第二判断模块，用于判断所述第二时间段内的所述一个或多个预定字段的计数值是否超过第二预定阈值；以及告警模块，若判第二判断模块判断所述第二时间段内的所述一个或多个预定字段的计数值超过所述第二预定阈值，则所述告警模块用于输出所述一阶事件并进行告警。
可选地，还包括：第三方接口模块，若判断所述第二时间段内的所述一个或多个预定字段的计数值超过所述第二预定阈值，则所述第三方接口模块调用一第三方接口判断是否对所述一阶事件进行告警。
可选地，还包括：第三方接口模块，用于调用一第三方接口判断所述一个或多个预定字段的类型，根据不同的类型设定不同的第二时间段和不同的第二预定阈值。
根据本发明的又一方面，还提供一种电子设备，所述电子设备包括：处理器；存储介质，其上存储有计算机程序，所述计算机程序被所述处理器运行时执行如上所述的步骤。
根据本发明的又一方面，还提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上所述的步骤。
相比现有技术，本发明的优势在于：
1)在保留流式分析的实时性及时间维度日志前后关联性的前提下，增加基于长时间跨度的日志搜索的二次判断以规避误报；
2)由于增加二次判断，可以适当降低流式策略中设定的第一预定阈值，以避免因误报而设置过高的第一预定阈值而导致的漏报；
3)加入了搜索引擎来对长跨度的相关历史日志追溯，可通过预定第二预定阈值来进行判断，也可通过脚本语言编写插件进行多个判断结果的判断与合并；
4)结合第三方接口，脚本插件可在搜索引擎分析结果的同时调用接口进行进一步的判断。
附图说明
通过参照附图详细描述其示例实施方式，本发明的上述和其它特征及优点将变得更加明显。
图1示出了根据本发明实施例的安全事件监测方法的流程图。
图2示出了根据本发明实施例的安全事件监测装置的示意图。
图3示出了根据本发明实施例的流式执行器模块的示意图。
图4示出了根据本发明实施例的搜索模块的示意图。
图5示意性示出本公开示例性实施例中一种计算机可读存储介质示意图。
图6示意性示出本公开示例性实施例中一种电子设备示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
为了解决现有技术的缺陷，实现全面的安全事件监测方法以防告警的漏报和误报，本发明提供一种安全事件监测方法及装置、电子设备、存储介质。
首先参见图1，图1示出了根据本发明实施例的安全事件监测方法的流程图。图1中共示出了8个步骤：
步骤S110：流式执行器从一消息队列获取日志数据。
具体而言，流式执行器可以是流式分布式计算系统storm中的worker。消息队列可以是kalfka(高吞吐量的分布式发布订阅消息系统)。日志数据以流数据的形式储存在kalfka消息队列中。日志数据包括多条日志。每条日志可以一条描述一次操作信息的语句。该语句可以包括源ip地址、目的ip地址、操作类型、操作结果、用户账号id等等。
步骤S120：将所述日志数据中的每条日志进行分片，划分成多个字段。
具体而言，步骤S120可以根据字段位置、字段格式、字段名称等匹配方式，将每条日志的语句划分成多个字段。该多个字段可以包括源ip地址、目的ip地址、操作类型、操作结果、用户id等等。
步骤S130：对经分片的所述日志数据根据一个或多个预定字段进行聚合计数。
具体而言，例如，可以对源ip地址相同、操作类型为登陆、操作结果为登陆失败的多条日志进行聚合计数。换言之，于步骤S130中可获取同一源ip地址登陆失败的次数。进一步地，还可以对源ip地址相同，操作类型登陆，操作结果为登陆失败且用户id不同的多条日志进行聚合计数。于步骤S130中可获取同一源ip地址登陆失败且的不同用户id的数量。本领域技术人员根据实际应用还可以实现更多的变化方式，在此不予赘述。
步骤S140：所述流式执行器判断所述一个或多个预定字段的计数值是否在第一时间段内超过第一预定阈值。
具体而言，第一时间段小于等流式执行器的时间窗口。针对不同字段的计数的第一时间段和第一预定阈值可以预先设定。例如，可以设置在1分钟内同一源ip地址登陆失败的次数的第一预定阈值为20次。又例如，可以设置在5分钟内同一源ip地址登陆失败且输入的不同用户id的数量的第一预定阈值为60次。本领域技术人员根据实际应用还可以实现更多的变化方式，在此不予赘述。
步骤S150：若流式执行器判断所述一个或多个预定字段的计数值在第一时间段内超过第一预定阈值，则输出一阶事件，所述一阶事件至少包括所述一个或多个预定字段及其计数值。
具体而言，步骤S150中一阶事件的一个或多个预定字段及其计数值将作为参数传送至后续步骤以进行第二次判断。
步骤S160：利用搜索引擎于所述日志数据中搜索该所述一个或多个预定字段，对第二时间段内的所述一个或多个预定字段进行聚合计数，所述第二时间段的时间跨度大于所述第一时间段的时间跨度。
具体而言，例如，一阶事件为1分钟内同一源ip地址登陆失败的次数的为30次。步骤S160于日志数据中对第二时间段内的
且聚合获得1个小时内同一源ip地址登陆失败的次数为200次。
在一些实施例中，该对应一阶事件的该一个或多个字段的第二时间段可以预先设定。在有一些实施例中，当步骤S150将一阶事件中的一个或多个字段、计数值及第一时间段作为参数传送至步骤S160时，根据一阶事件中的第一时间段自动生成第二时间段。可选地，第二时间段可以是第一时间段的整数倍，通过预设的倍数关系，自动生成第二时间段。由此可减少需要储存的该一个或多个字段、第一时间段和第二时间段的对应关系，以减少数据储存所需要的容量。
步骤S170：判断所述第二时间段内的所述一个或多个预定字段的计数值是否超过第二预定阈值。
可选地，该第二预定阈值也预先设定。在一些实施例中，第二预定阈值也可根据第一预定阈值自动生成。当步骤S150将一阶事件中的一个或多个字段、计数值、第一预定阈值及第一时间段作为参数传送至步骤S160和步骤S170时，根据一阶事件中的第一预定阈值自动生成第二预定阈值。可选地，第二预定阈值可以是第一预定阈值的整数倍，通过预设的倍数关系，自动生成第二预定阈值。
在又一些实施例中，第二预定阈值也可根据第一时间段和第二时间段的比值结合第一预定阈值自动生成。当步骤S150将一阶事件中的一个或多个字段、计数值、第一预定阈值及第一时间段作为参数传送至步骤S160和步骤S170时，计算一阶事件中的第一时间段与预设的(或自动生成的)第二时间段的比值，将该比值(第二时间段/第一时间段)与第一预定阈值相乘以自动生成第二预定阈值。上述第二预定阈值的生成方式仅仅是示意性地，本领域技术人员还可以根据实际情况结合一个或多个参数调整第二预定阈值的取值。
步骤S180：若判断所述第二时间段内的所述一个或多个预定字段的计数值超过所述第二预定阈值，则输出所述一阶事件并进行告警。
具体而言，若该一阶事件在第一时间段和大于第一时间段的第二时间段内都被判断为不安全事件，则输出该一阶事件并告警由后续系统或人工对该告警进行核实和处理。
在一个具体实施例中，本发明还结合以第三方接口的脚本插件，与步骤S170和步骤S180一同判断一阶事件是否为不安全事件。具体而言，在一些实施例中，步骤S170若判断所述第二时间段内的所述一个或多个预定字段的计数值超过所述第二预定阈值，则与步骤S180中还调用一第三方接口判断是否对所述一阶事件进行告警。该第三方接口可以通过该一个或多个字段或者其他字段的类型进一步判断是否需要对该一阶事件进行告警。在一具体实施例中，可第三方接口可根据日志数据获取该一阶事件访问的设备的类型为自维护设备还是非自维护设备由于两类设备的操作环境不同导致处理方式不同(例如自维护设备的安全性要求较高)。因此，对同一一阶事件，若判断所述第二时间段内的所述一个或多个预定字段的计数值超过所述第二预定阈值，则判定访问自维护设备的一阶事件为不安全事件进而输出该一阶事件并告警，而判定访问非自维护设备的一阶事件为安全事件。在一变化例中，对于调用一第三方接口获得的一个或多个预定字段的类型，根据不同的类型设定不同的第二时间段和不同的第二预定阈值。例如，可设定访问自维护设备的一阶事件的第二预定阈值要低于访问非自维护设备的一阶事件的第二预定阈值。
此外，由于在流式数据分析后增加利用搜索引擎进行二次判断的脚本插件，该脚本插件可以调用多个从不同纬度判断一阶事件是否需要告警的第三方接口，以便于整个安全事件监测系统功能的扩展和灵活性。
下面结合图2至图4描述本发明提供的安全事件监测装置。安全事件监测装置包括流式执行器模块220及搜索模块230。
流式执行器模块220包括获取模块221、分片模块222、第一聚合模块223、第一判断模块224及传参模块225。获取模块221用于从一消息队列210获取日志数据。分片模块222用于将所述日志数据中的每条日志进行分片，划分成多个字段。第一聚合模块223用于对经分片的所述日志数据根据一个或多个预定字段进行聚合计数。第一判断模块224用于判断所述一个或多个预定字段的计数值是否在第一时间段内超过第一预定阈值。若第一判断模块判断所述一个或多个预定字段的计数值在第一时间段内超过第一预定阈值，则所述传参模块225用于向搜索模块230输出一阶事件，所述一阶事件至少包括所述一个或多个预定字段及其计数值。该一个或多个预定字段及其计数值作为参数输出到搜索模块230。
搜索模块230包括第二聚合模块231、第二判断模块232及告警模块233。第二聚合模块231用于于所述日志数据中搜索该所述一个或多个预定字段，对第二时间段内的所述一个或多个预定字段进行聚合计数，所述第二时间段的时间跨度大于所述第一时间段的时间跨度。第二判断模块232用于判断所述第二时间段内的所述一个或多个预定字段的计数值是否超过第二预定阈值。若第二判断模块232判断所述第二时间段内的所述一个或多个预定字段的计数值超过所述第二预定阈值，则所述告警模块233用于向输出模块240输出所述一阶事件并进行告警。
输出模块240可以是一显示装置以显示告警的一阶事件。一些变化例中240也可以是一输出接口以将一阶事件输出至后续处理系统进行后续处理。
如图2所示，本发明提供的安全事件监测装置还包括第三方接口模块250。若判断所述第二时间段内的所述一个或多个预定字段的计数值超过所述第二预定阈值，则第三方接口模块250调用一第三方接口判断是否对所述一阶事件进行告警。在一些变化例中，三方接口模块250用于调用一第三方接口判断所述一个或多个预定字段的类型，根据不同的类型设定不同的第二时间段和不同的第二预定阈值。
图2至图4仅仅是示意性地示出各个模块，可以理解，这些模块可以虚拟的软件模块或实际的硬件模块，这些模块的合并、拆分及其余模块的增加都在本发明的保护范围之内。
在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被例如处理器执行时可以实现上述任意一个实施例中所述电子处方流转处理方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。
参考图5所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品300，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在租户计算设备上执行、部分地在租户设备上执行、作为一个独立的软件包执行、部分在租户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到租户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
在本公开的示例性实施例中，还提供一种电子设备，该电子设备可以包括处理器，以及用于存储所述处理器的可执行指令的存储器。其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一个实施例中所述电子处方流转处理方法的步骤。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
下面参照图6来描述根据本发明的这种实施方式的电子设备600。图6显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同系统组件(包括存储单元620和处理单元610)的总线630、显示单元640等。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元610执行，使得所述处理单元610执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元610可以执行如图1中所示的步骤。
所述存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。
所述存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得租户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本公开实施方式的上述电子处方流转处理方法。
相比现有技术，本发明的优势在于：
1)在保留流式分析的实时性及时间维度日志前后关联性的前提下，增加基于长时间跨度的日志搜索的二次判断以规避误报；
2)由于增加二次判断，可以适当降低流式策略中设定的第一预定阈值，以避免因误报而设置过高的第一预定阈值而导致的漏报；
3)加入了搜索引擎来对长跨度的相关历史日志追溯，可通过预定第二预定阈值来进行判断，也可通过脚本语言编写插件进行多个判断结果的判断与合并；
4)结合第三方接口，脚本插件可在搜索引擎分析结果的同时调用接口进行进一步的判断。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。

Claims (15)

1.一种安全事件监测方法，其特征在于，包括：
流式执行器从一消息队列获取日志数据；
将所述日志数据中的每条日志进行分片，划分成多个字段；
对经分片的所述日志数据根据一个或多个预定字段进行聚合计数；
所述流式执行器判断所述一个或多个预定字段的计数值是否在第一时间段内超过第一预定阈值；
若流式执行器判断所述一个或多个预定字段的计数值在第一时间段内超过第一预定阈值，则输出一阶事件，所述一阶事件至少包括所述一个或多个预定字段及其计数值；
利用搜索引擎于所述日志数据中搜索该所述一个或多个预定字段，对第二时间段内的所述一个或多个预定字段进行聚合计数，所述第二时间段的时间跨度大于所述第一时间段的时间跨度；
判断所述第二时间段内的所述一个或多个预定字段的计数值是否超过第二预定阈值；以及
若判断所述第二时间段内的所述一个或多个预定字段的计数值超过所述第二预定阈值，则输出所述一阶事件并进行告警。
2.如权利要求1所述的安全事件监测方法，其特征在于，所述对经分片的所述日志数据根据一个或多个预定字段进行聚合计数的步骤包括：
对登陆账号相同、登陆状态为登陆失败的字段进行聚合计数，对应地，
所述流式执行器判断登陆账号相同、登陆状态为登陆失败的计数值是否在第一时间段内超过第一预定阈值；
当判断为超过时，利用搜索引擎于所述日志数据中搜索该所述该登陆账号，对第二时间段内的与该登陆账号相同、登陆状态为登陆失败的字段进行聚合计数，并判断所述第二时间段内的与该登陆账号相同、登陆状态为登陆失败的计数值是否超过第二预定阈值。
3.如权利要求1所述的安全事件监测方法，其特征在于，所述对经分片的所述日志数据根据一个或多个预定字段进行聚合计数的步骤包括：
对源IP地址相同、登陆状态为登陆失败的登陆账号进行聚合计数，对应地，
所述流式执行器判断源IP地址相同、登陆状态为登陆失败的登陆账号数量是否在第一时间段内超过第一预定阈值；
当判断为超过时，利用搜索引擎于所述日志数据中搜索该所述该源IP地址，对第二时间段内的与该源IP地址相同、登陆状态为登陆失败的登陆账号进行聚合计数，并判断所述第二时间段内的与该源IP地址相同、登陆状态为登陆失败的登陆账号数量是否超过第二预定阈值。
4.如权利要求1所述的安全事件监测方法，其特征在于，所述第一时间段及所述第二时间段预先设定。
5.如权利要求1所述的安全事件监测方法，其特征在于，所述一阶事件包括还包括所述第一时间段，
于所述日志数据中搜索该所述一个或多个预定字段，对第二时间段内的所述一个或多个预定字段进行聚合计数还包括：
根据所述第一时间段自动生成所述第二时间段。
6.如权利要求1所述的安全事件监测方法，其特征在于，所述第一预定阈值及所述第二预定阈值预先设定。
7.如权利要求1所述的安全事件监测方法，其特征在于，判断所述第二时间段内的所述一个或多个预定字段的计数值是否超过第二预定阈值还包括：
根据所述第一预定阈值自动生成所述第二预定阈值。
8.如权利要求1所述的安全事件监测方法，其特征在于，判断所述第二时间段内的所述一个或多个预定字段的计数值是否超过第二预定阈值还包括：
根据所述第一时间段和所述第二时间段的比值及所述第一预定阈值自动生成所述第二预定阈值。
9.如权利要求1所述的安全事件监测方法，其特征在于，所述若判断所述第二时间段内的所述一个或多个预定字段的计数值超过所述第二预定阈值，则输出所述一阶事件并进行告警的步骤还包括：
若判断所述第二时间段内的所述一个或多个预定字段的计数值超过所述第二预定阈值，则调用一第三方接口判断是否对所述一阶事件进行告警。
10.如权利要求1所述的安全事件监测方法，其特征在于，判断所述第二时间段内的所述一个或多个预定字段的计数值是否超过第二预定阈值还包括：
调用一第三方接口判断一个或多个预定字段的类型，根据不同的类型设定不同的第二时间段和不同的第二预定阈值。
11.一种安全事件监测装置，其特征在于，包括：
流式执行器模块，包括：
获取模块，用于从一消息队列获取日志数据；
分片模块，用于将所述日志数据中的每条日志进行分片，划分成多个字段；
第一聚合模块，用于对经分片的所述日志数据根据一个或多个预定字段进行聚合计数；
第一判断模块，用于判断所述一个或多个预定字段的计数值是否在第一时间段内超过第一预定阈值；
传参模块，若所述第一判断模块判断所述一个或多个预定字段的计数值在第一时间段内超过第一预定阈值，则所述传参模块用于输出一阶事件，所述一阶事件至少包括所述一个或多个预定字段及其计数值；搜索模块，包括：
第二聚合模块，用于于所述日志数据中搜索该所述一个或多个预定字段，对第二时间段内的所述一个或多个预定字段进行聚合计数，所述第二时间段的时间跨度大于所述第一时间段的时间跨度；
第二判断模块，用于判断所述第二时间段内的所述一个或多个预定字段的计数值是否超过第二预定阈值；以及
告警模块，若所述第二判断模块判断所述第二时间段内的所述一个或多个预定字段的计数值超过所述第二预定阈值，则所述告警模块用于输出所述一阶事件并进行告警。
12.如权利要求11所述的安全事件监测装置，其特征在于，还包括：
第三方接口模块，若判断所述第二时间段内的所述一个或多个预定字段的计数值超过所述第二预定阈值，则所述第三方接口模块调用一第三方接口判断是否对所述一阶事件进行告警。
13.如权利要求11所述的安全事件监测装置，其特征在于，还包括：
第三方接口模块，用于调用一第三方接口判断所述一个或多个预定字段的类型，根据不同的类型设定不同的第二时间段和不同的第二预定阈值。
14.一种电子设备，其特征在于，所述电子设备包括：
处理器；
存储介质，其上存储有计算机程序，所述计算机程序被所述处理器运行时执行如权利要求1至10任一项所述的方法。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至10任一项所述的方法。
CN201710599864.3A 2017-07-21 2017-07-21 安全事件监测方法及装置、电子设备、存储介质 Active CN107426022B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710599864.3A CN107426022B (zh) 2017-07-21 2017-07-21 安全事件监测方法及装置、电子设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710599864.3A CN107426022B (zh) 2017-07-21 2017-07-21 安全事件监测方法及装置、电子设备、存储介质

Publications (2)

Publication Number Publication Date
CN107426022A CN107426022A (zh) 2017-12-01
CN107426022B true CN107426022B (zh) 2020-06-16

Family

ID=60430807

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710599864.3A Active CN107426022B (zh) 2017-07-21 2017-07-21 安全事件监测方法及装置、电子设备、存储介质

Country Status (1)

Country Link
CN (1) CN107426022B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108063699B (zh) * 2017-12-28 2020-08-28 携程旅游信息技术（上海）有限公司 网络性能监控方法、装置、电子设备、存储介质
CN108566363A (zh) * 2018-01-09 2018-09-21 网宿科技股份有限公司 基于流式计算的暴力破解确定方法和系统
CN110399347B (zh) 2018-04-23 2021-05-18 华为技术有限公司 告警日志压缩方法、装置及系统、存储介质
CN110493166A (zh) * 2018-07-03 2019-11-22 北京数安鑫云信息技术有限公司 一种账号异常检测方法和装置
CN109033404B (zh) * 2018-08-03 2022-03-11 北京百度网讯科技有限公司 日志数据处理方法、装置和系统
CN110351116B (zh) * 2019-05-23 2022-09-30 平安科技（深圳）有限公司 异常对象监控方法、装置、介质及电子设备
CN111240940B (zh) * 2020-01-09 2022-09-16 江苏满运软件科技有限公司 实时业务监控方法、装置、电子设备、存储介质
CN111563527B (zh) * 2020-03-30 2024-02-09 北京金堤科技有限公司 异常事件检测方法以及装置
CN112256660B (zh) * 2020-10-27 2021-11-16 天窗智库文化传播(苏州)有限公司 一种铸铁生产安全监测方法、装置及服务器
CN113097981B (zh) * 2021-03-15 2022-03-25 国网江苏省电力有限公司南通供电分公司 一种变电站监控告警信号漏发的判断方法
CN113326243B (zh) * 2021-05-27 2022-08-16 北京百度网讯科技有限公司 分析日志数据的方法和装置
CN113656614A (zh) * 2021-08-25 2021-11-16 深圳市进化城市设计有限公司 一种用于城市设计的管理系统
CN114401126B (zh) * 2021-12-30 2024-04-30 中国电信股份有限公司 一种接口安全监控方法及装置
CN115934782B (zh) * 2023-02-13 2023-05-12 山东星维九州安全技术有限公司 一种安全日志分析与处理的方法及计算机存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106202511A (zh) * 2016-07-21 2016-12-07 浪潮(北京)电子信息产业有限公司 一种基于日志分析的告警方法和系统
CN106385331A (zh) * 2016-09-08 2017-02-08 努比亚技术有限公司 一种基于日志的监控告警方法及系统
CN106815125A (zh) * 2015-12-02 2017-06-09 阿里巴巴集团控股有限公司 一种日志审计方法及平台

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2468224B (en) * 2008-08-21 2012-07-18 Halliburton Energy Serv Inc Automated log quality monitoring systems and methods

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106815125A (zh) * 2015-12-02 2017-06-09 阿里巴巴集团控股有限公司 一种日志审计方法及平台
CN106202511A (zh) * 2016-07-21 2016-12-07 浪潮(北京)电子信息产业有限公司 一种基于日志分析的告警方法和系统
CN106385331A (zh) * 2016-09-08 2017-02-08 努比亚技术有限公司 一种基于日志的监控告警方法及系统

Also Published As

Publication number Publication date
CN107426022A (zh) 2017-12-01

Similar Documents

Publication Publication Date Title
CN107426022B (zh) 安全事件监测方法及装置、电子设备、存储介质
US9658902B2 (en) Adaptive clock throttling for event processing
EP3338191B1 (en) Diagnostic framework in computing systems
US9454375B2 (en) Parallel program analysis and branch prediction
CN110532322B (zh) 运维交互方法、系统、计算机可读存储介质及设备
CN109714230B (zh) 一种流量监控方法、装置和计算设备
CN106301823B (zh) 一种关键组件的故障告警方法、装置及大数据管理系统
US11074652B2 (en) System and method for model-based prediction using a distributed computational graph workflow
US20200099570A1 (en) Cross-domain topological alarm suppression
CN113328885B (zh) 网络健康度评估方法、装置、电子设备、介质和程序产品
CN113268399A (zh) 一种告警处理方法、装置和电子设备
CN110717132A (zh) 全链路监控系统数据收集方法、推送方法及相关设备
US11410049B2 (en) Cognitive methods and systems for responding to computing system incidents
CN113495820A (zh) 异常信息收集、处理方法和装置以及异常监控系统
CN115037597A (zh) 一种故障检测方法及设备
US20220019207A1 (en) Method and system for facility management based on user-defined rules
US9674060B2 (en) Dynamic and selective management of integration points using performance metrics
US9959163B2 (en) Processing main cause errors and sympathetic errors in devices in a system
CN115514618A (zh) 告警事件的处理方法、装置、电子设备和介质
CN110928940B (zh) 基于kafka集群的数据写入方法、装置、电子设备、存储介质
CN114756301A (zh) 日志处理方法、装置和系统
CN114844772A (zh) 一种基于Zabbix监控平台的管理方法及系统
CN109474478B (zh) 用于监测传输数据异常的方法、装置和系统
CN113254313A (zh) 一种监控指标异常检测方法、装置、电子设备及存储介质
CN113656160A (zh) 数据机房故障处理方法、装置、介质与电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant