CN111404909B - 一种基于日志分析的安全检测系统及方法 - Google Patents

一种基于日志分析的安全检测系统及方法 Download PDF

Info

Publication number
CN111404909B
CN111404909B CN202010163794.9A CN202010163794A CN111404909B CN 111404909 B CN111404909 B CN 111404909B CN 202010163794 A CN202010163794 A CN 202010163794A CN 111404909 B CN111404909 B CN 111404909B
Authority
CN
China
Prior art keywords
threat
module
log
alarm
analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010163794.9A
Other languages
English (en)
Other versions
CN111404909A (zh
Inventor
宋国徽
杨磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Pea Information Technology Co ltd
Original Assignee
Shanghai Pea Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Pea Information Technology Co ltd filed Critical Shanghai Pea Information Technology Co ltd
Priority to CN202010163794.9A priority Critical patent/CN111404909B/zh
Publication of CN111404909A publication Critical patent/CN111404909A/zh
Application granted granted Critical
Publication of CN111404909B publication Critical patent/CN111404909B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种基于日志分析的安全检测系统及方法，系统包括：日志收集模块，用于收集网络服务器的日志数据；日志发送模块，用于将日志数据进行实时分发和分布式离线存储分发；实时计算模块，用于对实时分发的日志数据按预设的威胁规则进行分析计算，并将计算结果存储至关系数据库；威胁规则库，用于存储、管理威胁规则；离线计算模块，用于对分布式离线存储分发的日志数据利用机器学习进行计算处理，以得到新的威胁规则，并将其更新到威胁规则库中；结果展示模块，用于从关系数据库中读取所述计算结果并进行展示；其效果是：及时处理网站威胁，并将新得出的威胁规则更新到威胁规则库中，进一步提高了对网络入侵行为的防护能力。

Description

一种基于日志分析的安全检测系统及方法
技术领域
本发明涉及信息安全技术领域，具体涉及一种基于日志分析的安全检测系统及方法。
背景技术
目前，随着互联网的飞速发展，网络安全的复杂性与重要性也日益突显。网络攻击事件不断，网络安全问题越来越受到人们重视。
为了保证网络服务器等的安全，一般需要进行网络攻击检测。例如，针对网页服务器的网络攻击检测主要可以分为事前检测和事后检测，其中事前检测是通过预设的安全策略，对具有恶意行为特征的网络访问行为进行识别，以实现对网络入侵行为的预警和阻断。事前检测主要包括软件检测和硬件检测，其中软件检测主要包括各类终端安全防御软件、专用杀毒软件等；硬件检测主要通过专用的安全设备完成，安全设备除了包括传统的防火墙，还包括入侵检测系统、入侵防御系统、网络安全扫描设备等。
但事前检测和事后检测均无法满足网站威胁的实时检测及分析，且存在处理效率低、缺乏时效性的缺陷；现有技术中，出现了通过日志数据进行处理的方案，但随着网站数据的不断增多，仍存在时效性越来越差的缺陷。
发明内容
本发明的目的是提供一种能够有效提高对网站威胁进行及时处理的一种基于日志分析的安全检测系统及方法。
第一方面：本发明实施例提供了一种基于日志分析的安全检测系统，该系统包括：
日志收集模块，用于收集网络服务器的日志数据；
日志发送模块，用于将所述日志数据进行实时分发和分布式离线存储分发；
实时计算模块，用于对实时分发的日志数据按预设的威胁规则进行分析计算，并将计算结果存储至关系数据库，其中，所述预设的威胁规则为威胁规则库中所存储的数据；
威胁规则库，用于存储、管理威胁规则；
离线计算模块，用于对分布式离线存储分发的日志数据利用机器学习进行计算处理，以得到新的威胁规则，并将所述新的威胁规则更新到所述威胁规则库中；
结果展示模块，用于从所述关系数据库中读取所述计算结果并进行展示。
作为本发明的一个优选的技术方案，所述系统还包括告警模块，所述告警模块用于根据所述计算结果的严重程度进行实时告警。
作为本发明的一个优选的技术方案，所述告警模块包括告警事件列表和告警联系人管理列表，不同严重程度的告警事件对应于告警联系人，有告警事件发送时，则对相应的告警联系人发送告警信息。
作为本发明的一个优选的技术方案，所述实时计算模块包括创建分析任务、分析任务列表和威胁事件列表；
所述创建分析任务针对不同种类的所述日志数据创建不同的分析任务；
所述分析任务列表用于查看所述计算结果中的整体分析情况和具体事件详情；
所述威胁事件列表用于显示按预设的威胁规则进行分析计算后所得到的威胁事件，其中，并对不同的威胁事件进行区别标记，以区分不同的严重程度。
作为本发明的一个优选的技术方案，所述管理威胁规则包括威胁库管理和威胁类型管理；所述威胁库管理包括对威胁特征进行增加、删除和修改操作；所述威胁类型管理包括对威胁类型进行增加、删除和修改操作。
第二方面：本发明实施例提供了一种基于日志分析的安全检测方法，应用于第一方面所述的一种基于日志分析的安全检测系统，所述方法包括：
通过日志收集模块收集网络服务器的日志数据；
由日志发送模块将所述日志数据进行实时分发和分布式离线存储分发；
利用实时计算模块对实时分发的日志数据按预设的威胁规则进行分析计算，并将计算结果存储至关系数据库，其中，所述预设的威胁规则为威胁规则库中所存储的数据；
由离线计算模块对分布式离线存储分发的日志数据利用机器学习进行计算处理，以得到新的威胁规则，并将所述新的威胁规则更新到所述威胁规则库中；
通过结果展示模块从所述关系数据库中读取所述计算结果并进行展示。
作为本发明的一个优选的技术方案，所述方法还包括：
利用告警模块根据所述计算结果的严重程度进行实时告警。
作为本发明的一个优选的技术方案，所述告警模块包括告警事件列表和告警联系人管理列表，不同严重程度的告警事件对应于告警联系人，有告警事件发送时，则对相应的告警联系人发送告警信息。
作为本发明的一个优选的技术方案，所述实时计算模块包括创建分析任务、分析任务列表和威胁事件列表；
所述创建分析任务针对不同种类的所述日志数据创建不同的分析任务；
所述分析任务列表用于查看所述计算结果中的整体分析情况和具体事件详情；
所述威胁事件列表用于显示按预设的威胁规则进行分析计算后所得到的威胁事件，其中，并对不同的威胁事件进行区别标记，以区分不同的严重程度。
作为本发明的一个优选的技术方案，所述管理威胁规则包括威胁库管理和威胁类型管理；所述威胁库管理包括对威胁特征进行增加、删除和修改操作；所述威胁类型管理包括对威胁类型进行增加、删除和修改操作。
采用上述技术方案，具有以下优点：本发明提出的一种基于日志分析的安全检测系统及方法，通过实时采集的日志数据、将日志数据实时分发、对日志数据依赖于威胁规则进行实时分析和检测计算，发现网站运行过程中的异常及遭遇到的攻击，将计算结果实时反馈，从而及时处理网站威胁；并且还利用离线计算模块，不断得出新的威胁规则以更新到威胁规则库中，进一步提高了对网络入侵行为的防护能力。
附图说明
图1为本发明实施例提供的一种基于日志分析的安全检测系统的结构框图；
图2为本发明实施例提供的一种基于日志分析的安全检测系统的功能设计图；
图3为本发明实施例提供的一种基于日志分析的安全检测方法的流程图。
具体实施方式
为了使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述，以下实施例用于说明本发明，但不用来限制本发明的范围。
参照图1、图2所示，本发明实施例提供了一种基于日志分析的安全检测系统，该系统包括：
日志收集模块，用于收集网络服务器的日志数据。
具体地，本实施例中使用filebeat插件进行日志数据的采集，当检测到日志文件发生变化时，对变化的数据进行增量采集。其中，文件发生变化是指日志文件的内容发生变化，采集时，能够从多个网站同时并行采集多个日志数据，也能同时从一个网站的多个服务器上并行采集日志数据，且实时采集时，可以控制采集的时机和数据传输的速率。
日志发送模块，用于将所述日志数据进行实时分发和分布式离线存储分发。
具体地，使用kafka集群将采集到的日志数据转换为消息队列，分别发送给实时计算引擎集群(flink)和分布式储存集群(hdfs)。将日志数据转换为消息队列后，进行数据实时分发：一方面将日志数据发送给实时计算引擎集群；另一方面将日志数据写入分布式储存集群。
实时计算模块，用于对实时分发的日志数据按预设的威胁规则进行分析计算，并将计算结果存储至关系数据库，其中，所述预设的威胁规则为威胁规则库中所存储的数据。
具体地，包括对日志数据进行实时清洗(预处理)、加工，及特征指提取，脱敏等，获取规则库所需的关键信息项；
利用威胁规则库中的规则，实时对日志数据的关键信息项进行匹配；
将实时匹配计算的结果保存在MySQL关系数据库中。
在本实施例中，所述实时计算模块还具有包括创建分析任务、分析任务列表和威胁事件列表的作用，即图2中的分析任务管理；
所述创建分析任务针对不同种类的所述日志数据创建不同的分析任务；
所述分析任务列表用于查看所述计算结果中的整体分析情况和具体事件详情；
所述威胁事件列表用于显示按预设的威胁规则进行分析计算后所得到的威胁事件，其中，并对不同的威胁事件进行区别标记，以区分不同的严重程度。
威胁规则库，用于存储、管理威胁规则。
具体地，所述管理威胁规则(即威胁规则管理)包括威胁库管理和威胁类型管理；所述威胁库管理包括对威胁特征进行增加、删除和修改操作；所述威胁类型管理包括对威胁类型进行增加、删除和修改操作；同时，所述威胁规则库与OWASP中的威胁信息数据同步。
离线计算模块，用于对分布式离线存储分发的日志数据利用机器学习进行计算处理，以得到新的威胁规则，并将所述新的威胁规则更新到所述威胁规则库中。
具体地，利用机器学习的相关算法对分布式储存集群储存的日志数据进行离线分析，提取用户异常行为特征来完善威胁规则库。
结果展示模块，用于从所述关系数据库中读取所述计算结果并进行展示。
具体地，展示内容包括统计分析，所述统计分析包括威胁总览、按威胁类型统计等内容。这样便于相关人员查看和统计威胁发生情况，针对性的进行系统优化，使其更加安全。
通过上述方案，利用实时采集的日志数据、将日志数据实时分发、对日志数据依赖于威胁规则进行实时分析和检测计算，发现网站运行过程中的异常及遭遇到的攻击，将计算结果实时反馈，从而及时处理网站威胁；并且还利用离线计算模块，不断得出新的威胁规则以更新到威胁规则库中，进一步提高了对网络入侵行为的防护能力。
进一步地，为了实现在网络攻击产生时立即采取有效措施，所述系统还包括告警模块，所述告警模块用于根据所述计算结果的严重程度进行实时告警。
具体地，所述告警模块包括告警事件列表和告警联系人管理列表，不同严重程度的告警事件对应于告警联系人，有告警事件发送时，则对相应的告警联系人发送告警信息；其中，网站威胁包括:SQL注入、XSS跨站脚本攻击、ELI文件包含、URL编码绕过、敏感词文件扫描、漏洞利用、扫描攻击、显错测试。根据网站威胁的检测结果，若判断为攻击行为，会对管理员进行告警，并网站威胁检测结果进行展示，包括：事件Id、发送时间、事件名称、事件类型、威胁等级、攻击IP、影响IP、原始日志等。
进一步地，为了提高系统的防护性能，所述系统还包括检测模块，所述检测模块用于获取网页服务器本身所具有的软件检测数据和硬件检测数据，并将其发送至实时计算模块处理。
具体地，所述实时计算模块根据所述检测模块的数据，进而在分析时，可直接调取所获取的威胁信息，避免了按预设的威胁规则进行分析计算的过程，优化了处理流程，从而提高处理的时效性和处理效率。
进一步地，为了更好地优化威胁规则库中的威胁规则，所述系统还包括连接模块，所述连接模块与第三方威胁检测系统连接，用于实时将第三方威胁检测系统所发布的新的威胁特征增加到所述威胁规则库中；其中，第三方威胁检测系统可为其它公司、机构等，通过这样设置，使得威胁规则库的更新不再局限于某一系统和依赖于单方面的日志数据，新的威胁特征能够更加及时和全面的更新。
基于与上述的一种基于日志分析的安全检测系统相同的发明构思，本实施例提供了一种基于日志分析的安全检测方法，参照图3所示，所述方法包括：
S101,通过日志收集模块收集网络服务器的日志数据。
具体地，本实施例中使用filebeat插件进行日志数据的采集，当检测到日志文件发生变化时，对变化的数据进行增量采集。其中，文件发生变化是指日志文件的内容发生变化，采集时，能够从多个网站同时并行采集多个日志数据，也能同时从一个网站的多个服务器上并行采集日志数据，且实时采集时，可以控制采集的时机和数据传输的速率。
S102,由日志发送模块将所述日志数据进行实时分发和分布式离线存储分发。
具体地，使用kafka集群将采集到的日志数据转换为消息队列，分别发送给实时计算引擎集群(flink)和分布式储存集群(hdfs)。将日志数据转换为消息队列后，进行数据实时分发：一方面将日志数据发送给实时计算引擎集群；另一方面将日志数据写入分布式储存集群。
S103,利用实时计算模块对实时分发的日志数据按预设的威胁规则进行分析计算，并将计算结果存储至关系数据库，其中，所述预设的威胁规则为威胁规则库中所存储的数据。
包括对日志数据进行实时清洗(预处理)、加工，及特征指提取，脱敏等，获取规则库所需的关键信息项；
利用威胁规则库中的规则，实时对日志数据的关键信息项进行匹配；
将实时匹配计算的结果保存在MySQL关系数据库中。
在本实施例中，所述实时计算模块还具有包括创建分析任务、分析任务列表和威胁事件列表的作用；
所述创建分析任务针对不同种类的所述日志数据创建不同的分析任务；
所述分析任务列表用于查看所述计算结果中的整体分析情况和具体事件详情；
所述威胁事件列表用于显示按预设的威胁规则进行分析计算后所得到的威胁事件，其中，并对不同的威胁事件进行区别标记，以区分不同的严重程度。
S104,由离线计算模块对分布式离线存储分发的日志数据利用机器学习进行计算处理，以得到新的威胁规则，并将所述新的威胁规则更新到所述威胁规则库中。
利用机器学习的相关算法对分布式储存集群储存的日志数据进行离线分析，提取用户异常行为特征来完善威胁规则库；具体应用时，离线计算模块还用于将历史的日志数据进行定量或定时的删除，也可以上传到云端进行备份，其中，删除或是上传的的触发条件为：
根据该部分历史日志数据进行计算后，得到了新的威胁规则，则可将该部分历史日志数据进行删除或上传；这样可减少占用不必要的资源和重复运算，相应提高离线计算模块的效率。
S105,通过结果展示模块从所述关系数据库中读取所述计算结果并进行展示。
具体地，展示内容包括统计分析，所述统计分析包括威胁总览、按威胁类型统计等内容。这样便于相关人员查看和统计威胁发生情况，针对性的进行系统优化，使其更加安全。
进一步地，所述方法还包括利用告警模块根据所述计算结果的严重程度进行实时告警。
具体地，所述告警模块包括告警事件列表和告警联系人管理列表，不同严重程度的告警事件对应于告警联系人，有告警事件发送时，则对相应的告警联系人发送告警信息；其中，网站威胁包括:SQL注入、XSS跨站脚本攻击、ELI文件包含、URL编码绕过、敏感词文件扫描、漏洞利用、扫描攻击、显错测试。根据网站威胁的检测结果，若判断为攻击行为，会对管理员进行告警，并网站威胁检测结果进行展示，包括：事件Id、发送时间、事件名称、事件类型、威胁等级、攻击IP、影响IP、原始日志等。这样使得在网络攻击产生时立即采取有效措施。
进一步地，所述方法还包括利用检测模块用于获取网页服务器本身所具有的软件检测数据和硬件检测数据，并将其发送至实时计算模块处理。
具体地，所述实时计算模块根据所述检测模块的数据，进而在分析时，可直接调取所获取的威胁信息，避免了按预设的威胁规则进行分析计算的过程，优化了处理流程，从而提高处理的时效性和处理效率。
进一步地，所述方法还包括通过连接模块与第三方威胁检测系统连接，用于实时将第三方威胁检测系统所发布的新的威胁特征增加到所述威胁规则库中；其中，第三方威胁检测系统可为其它公司、机构等，通过这样设置，使得威胁规则库的更新不再局限于某一系统和依赖于单方面的日志数据，新的威胁特征能够更加及时和全面的更新。
通过本发明实施例，实时采集的日志数据、将日志数据实时分发、对日志数据依赖于威胁规则进行实时分析和检测计算，发现网站运行过程中的异常及遭遇到的攻击，将计算结果实时反馈，从而及时处理网站威胁；并且还利用离线计算模块，不断得出新的威胁规则以更新到威胁规则库中，进一步提高了对网络入侵行为的防护能力。
需要说明的是，附图中的流程图和框图，图示了按照本发明各种实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这根据所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以通过执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以通过专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，例如，各所述单元可以是设置在计算机或移动智能设备中的软件程序，也可以是单独配置的硬件装置。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离本申请构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (6)

1.一种基于日志分析的安全检测系统，其特征在于，该系统包括：
日志收集模块，用于收集网络服务器的日志数据；
日志发送模块，用于将所述日志数据进行实时分发和分布式离线存储分发；
实时计算模块，用于对实时分发的日志数据按预设的威胁规则进行分析计算，并将计算结果存储至关系数据库，其中，所述预设的威胁规则为威胁规则库中所存储的数据；
威胁规则库，用于存储、管理威胁规则；
离线计算模块，用于对分布式离线存储分发的日志数据利用机器学习进行计算处理，以得到新的威胁规则，并将所述新的威胁规则更新到所述威胁规则库中；
结果展示模块，用于从所述关系数据库中读取所述计算结果并进行展示；
所述系统还包括检测模块，所述检测模块用于获取网页服务器本身所具有的软件检测数据和硬件检测数据，并将其发送至实时计算模块处理；
所述系统还包括告警模块，所述告警模块用于根据所述计算结果的严重程度进行实时告警；
所述告警模块包括告警事件列表和告警联系人管理列表，不同严重程度的告警事件对应于告警联系人，有告警事件发送时，则对相应的告警联系人发送告警信息；
所述系统还包括连接模块，所述连接模块与第三方威胁检测系统连接，用于实时将第三方威胁检测系统所发布的新的威胁特征增加到所述威胁规则库中。
2.根据权利要求1所述的一种基于日志分析的安全检测系统，其特征在于，所述实时计算模块包括创建分析任务、分析任务列表和威胁事件列表；
所述创建分析任务针对不同种类的所述日志数据创建不同的分析任务；
所述分析任务列表用于查看所述计算结果中的整体分析情况和具体事件详情；
所述威胁事件列表用于显示按预设的威胁规则进行分析计算后所得到的威胁事件，其中，并对不同的威胁事件进行区别标记，以区分不同的严重程度。
3.根据权利要求2所述的一种基于日志分析的安全检测系统，其特征在于，所述管理威胁规则包括威胁库管理和威胁类型管理；所述威胁库管理包括对威胁特征进行增加、删除和修改操作；所述威胁类型管理包括对威胁类型进行增加、删除和修改操作。
4.一种基于日志分析的安全检测方法，其特征在于，应用于权利要求1所述的一种基于日志分析的安全检测系统，所述方法包括：
通过日志收集模块收集网络服务器的日志数据；
由日志发送模块将所述日志数据进行实时分发和分布式离线存储分发；
利用实时计算模块对实时分发的日志数据按预设的威胁规则进行分析计算，并将计算结果存储至关系数据库，其中，所述预设的威胁规则为威胁规则库中所存储的数据；
由离线计算模块对分布式离线存储分发的日志数据利用机器学习进行计算处理，以得到新的威胁规则，并将所述新的威胁规则更新到所述威胁规则库中；
通过结果展示模块从所述关系数据库中读取所述计算结果并进行展示；
所述方法还包括利用检测模块获取网页服务器本身所具有的软件检测数据和硬件检测数据，并将其发送至实时计算模块处理；
所述方法还包括：
利用告警模块根据所述计算结果的严重程度进行实时告警；所述告警模块包括告警事件列表和告警联系人管理列表，不同严重程度的告警事件对应于告警联系人，有告警事件发送时，则对相应的告警联系人发送告警信息；
所述方法还包括通过连接模块与第三方威胁检测系统连接，用于实时将第三方威胁检测系统所发布的新的威胁特征增加到所述威胁规则库中。
5.根据权利要求4所述的一种基于日志分析的安全检测方法，其特征在于，所述实时计算模块包括创建分析任务、分析任务列表和威胁事件列表；
所述创建分析任务针对不同种类的所述日志数据创建不同的分析任务；
所述分析任务列表用于查看所述计算结果中的整体分析情况和具体事件详情；
所述威胁事件列表用于显示按预设的威胁规则进行分析计算后所得到的威胁事件，其中，并对不同的威胁事件进行区别标记，以区分不同的严重程度。
6.根据权利要求5所述的一种基于日志分析的安全检测方法，其特征在于，所述管理威胁规则包括威胁库管理和威胁类型管理；所述威胁库管理包括对威胁特征进行增加、删除和修改操作；所述威胁类型管理包括对威胁类型进行增加、删除和修改操作。
CN202010163794.9A 2020-03-10 2020-03-10 一种基于日志分析的安全检测系统及方法 Active CN111404909B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010163794.9A CN111404909B (zh) 2020-03-10 2020-03-10 一种基于日志分析的安全检测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010163794.9A CN111404909B (zh) 2020-03-10 2020-03-10 一种基于日志分析的安全检测系统及方法

Publications (2)

Publication Number Publication Date
CN111404909A CN111404909A (zh) 2020-07-10
CN111404909B true CN111404909B (zh) 2022-05-31

Family

ID=71432258

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010163794.9A Active CN111404909B (zh) 2020-03-10 2020-03-10 一种基于日志分析的安全检测系统及方法

Country Status (1)

Country Link
CN (1) CN111404909B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112134837A (zh) * 2020-08-06 2020-12-25 瑞数信息技术（上海）有限公司 Web攻击行为的检测方法和系统
CN111897834A (zh) * 2020-08-12 2020-11-06 网易（杭州）网络有限公司 日志搜索方法、装置及服务器
CN112148698A (zh) * 2020-09-10 2020-12-29 深圳供电局有限公司 一种大数据平台的日志审计方法及系统
CN112506954A (zh) * 2020-12-25 2021-03-16 新浪网技术(中国)有限公司 数据库审计方法和装置
CN113810362B (zh) * 2021-07-28 2024-02-13 中国人寿保险股份有限公司上海数据中心 一种安全风险检测处置方法
CN113515433B (zh) * 2021-07-28 2023-08-15 中移（杭州）信息技术有限公司 告警日志处理方法、装置、设备及存储介质
CN113904829B (zh) * 2021-09-29 2024-01-23 上海市大数据股份有限公司 一种基于机器学习的应用防火墙系统
CN113824745A (zh) * 2021-11-24 2021-12-21 武汉大学 一种基于循环神经网络模型的网络安全应急处置系统
CN114546975B (zh) * 2022-03-07 2023-01-03 上海之合网络科技有限公司 一种结合人工智能的业务风险处理方法及服务器
CN115296913A (zh) * 2022-08-05 2022-11-04 武汉思普崚技术有限公司 一种适应flink作业规则的快速编排系统
CN116186705A (zh) * 2022-11-17 2023-05-30 北京东方通科技股份有限公司 基于源代码静态分析的软件安全代码分析器及其检测方法
CN116170297B (zh) * 2023-04-23 2023-07-14 北京首信科技股份有限公司 一种网络接入认证中lns网元监控的方法和装置
CN117014203A (zh) * 2023-08-03 2023-11-07 中国电子信息产业集团有限公司第六研究所 一种卫星网络自适应安全服务系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104618343A (zh) * 2015-01-06 2015-05-13 中国科学院信息工程研究所 一种基于实时日志的网站威胁检测的方法及系统
CN107577588A (zh) * 2017-09-26 2018-01-12 北京中安智达科技有限公司 一种海量日志数据智能运维系统
CN110224990A (zh) * 2019-07-17 2019-09-10 浙江大学 一种基于软件定义安全架构的入侵检测系统
CN110347716A (zh) * 2019-05-27 2019-10-18 中国平安人寿保险股份有限公司 日志数据处理方法、装置、终端及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104618343A (zh) * 2015-01-06 2015-05-13 中国科学院信息工程研究所 一种基于实时日志的网站威胁检测的方法及系统
CN107577588A (zh) * 2017-09-26 2018-01-12 北京中安智达科技有限公司 一种海量日志数据智能运维系统
CN110347716A (zh) * 2019-05-27 2019-10-18 中国平安人寿保险股份有限公司 日志数据处理方法、装置、终端及存储介质
CN110224990A (zh) * 2019-07-17 2019-09-10 浙江大学 一种基于软件定义安全架构的入侵检测系统

Also Published As

Publication number Publication date
CN111404909A (zh) 2020-07-10

Similar Documents

Publication Publication Date Title
CN111404909B (zh) 一种基于日志分析的安全检测系统及方法
US20220124108A1 (en) System and method for monitoring security attack chains
US20200412754A1 (en) System and method for comprehensive data loss prevention and compliance management
CN108040493B (zh) 基于低置信度安全事件来检测安全事故的方法和装置
CN107239707B (zh) 一种用于信息系统的威胁数据处理方法
CN112073389B (zh) 云主机安全态势感知系统、方法、设备及存储介质
CN111786950B (zh) 基于态势感知的网络安全监控方法、装置、设备及介质
CN108924084B (zh) 一种网络设备安全评估方法及装置
US10489711B1 (en) Method and apparatus for predictive behavioral analytics for IT operations
CN114679338A (zh) 一种基于网络安全态势感知的网络风险评估方法
CN105009132A (zh) 基于置信因子的事件关联
EP2577552A2 (en) Dynamic multidimensional schemas for event monitoring priority
US20200153865A1 (en) Sensor based rules for responding to malicious activity
EP2936772B1 (en) Network security management
CN112416872A (zh) 一种基于大数据的云平台日志管理系统
CN115001792A (zh) 一种学习工业互联网安全感知体系的准确性评估方法
CN110618977B (zh) 登录异常检测方法、装置、存储介质和计算机设备
CN114338372A (zh) 网络信息安全监控方法及系统
CN112650180B (zh) 安全告警方法、装置、终端设备及存储介质
CN116861419B (zh) 一种ssr上主动防御日志告警方法
CN110677271B (zh) 基于elk的大数据告警方法、装置、设备及存储介质
WO2020102601A1 (en) Comprehensive data loss prevention and compliance management
CN116389148A (zh) 一种基于人工智能的网络安全态势预测系统
KR101973728B1 (ko) 통합 보안 이상징후 모니터링 시스템
CN111316268A (zh) 用于银行间金融交易的高级网络安全威胁抑制

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant