CN110912753B - 一种基于机器学习的云安全事件实时检测系统及方法 - Google Patents

一种基于机器学习的云安全事件实时检测系统及方法 Download PDF

Info

Publication number
CN110912753B
CN110912753B CN201911268191.9A CN201911268191A CN110912753B CN 110912753 B CN110912753 B CN 110912753B CN 201911268191 A CN201911268191 A CN 201911268191A CN 110912753 B CN110912753 B CN 110912753B
Authority
CN
China
Prior art keywords
log
analysis
time
real
machine learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911268191.9A
Other languages
English (en)
Other versions
CN110912753A (zh
Inventor
金舒原
陈浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN201911268191.9A priority Critical patent/CN110912753B/zh
Publication of CN110912753A publication Critical patent/CN110912753A/zh
Application granted granted Critical
Publication of CN110912753B publication Critical patent/CN110912753B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0227—Filtering policies
    • H04L63/0245—Filtering by information in the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明提供一种基于机器学习的云安全事件实时检测方法，在基于规则的日志分析方法上，提出了结合基于规则和基于机器学习的日志分析方法，不仅可以根据相应的规则发现安全事件，而且可以对未知的安全事件进行检测。第二，采用Spark对云日志进行分析，达到实时分析的效果，并且方便扩展，并通过多种方式提高系统分析效率和分析的准确率，通过在日志头部添加信息提高日志过滤解析效率、通过将日志解析为统一格式方便日志分析工作、将不同类型信息按照不同方式存储提高了存储效率、通过滑动窗口提高分析的准确率。第三，适合于云环境，可以检测云租户的恶意行为。

Description

一种基于机器学习的云安全事件实时检测系统及方法
技术领域
本发明涉及跨云资源共享领域，更具体地，涉及一种基于机器学习的云安全事件实时检测方法分析系统及方法。
背景技术
云计算通过虚拟化、分布式等技术将互联网中的各种硬件软件资源进行整合，为用户提供有效的服务。云计算有良好的发展前景，但安全问题是阻碍云计算发展的主要障碍。云计算多租户、方便访问等特点造成云计算面临更严峻的安全问题，例如(1).来自云服务商内部的威胁。如存在恶意的云平台管理员，利用自己的权限，入侵云租户的账户，造成用户隐私遭到窃取。(2).来自外部威胁，对比与传统的系统，通常可以内外路由器上添加防火墙来保证内网的安全，而对与云计算环境来说，非法用户可以通过多种手段访问云计算资源，如非法盗取云租户的账户，然后进行非法活动，常见的攻击类型有旁路攻击和拒绝服务攻击等。
日志在安全事件检测中可用发挥很好的作用，通过对日志的分析可用收集用户的操作行为、使用习惯，并在发生安全事件后有助与安全人员的取证分析工作。目前日志分析的技术主要分为三种(1).基于规则的方法主要通过将收集的日志数据与某种语言创建的规则进行匹配，匹配成功发出告警信息，这种方法具有准确率高的优点，但对未知的异常无法检测。(2).基于机器学习的方法，通过机器学习相关算法，确定正常事件的范围，若某个事件在正常范围内认为正常，反之认为异常。其优点的可以检测未知的异常，缺点是准确率较低。(3).基于数据挖掘的方法主要通过数据挖掘领域的算法挖掘日志中一些有用的信息，例如通过数据挖掘关联规则算法可以自动生成安全规则。
云计算环境日志分析存在一下的问题，(1).云环境下攻击的模式多样，攻击容易手段容易隐藏，对于目前常见的基于规则的日志分析系统无法检测未知、新型的攻击类型。(2).云环境下实例众多，产生的日志数据量大、总类多样、价值密度的特点，如何实时有效的对云日志进行分析是挑战性的工作。
发明内容
为了解决现有技术中的不足，本发明提供了一种基于机器学习的云安全事件实时检测系统及方法。
为解决上述技术问题，本发明的技术方案如下：
本发明第一方面提供一种基于机器学习的云安全事件实时检测系统，包括日志收集模块、日志分析模块、审计存储模块和前端管理模块；
所述的日志收集模块通过日志收集引擎收集所有云平台中的日志，并经过日志预处理后，将所有日志发送到日志分析模块进行统一分析；
所述的日志分析模块对接收到的日志数据进行分析，并生成日志分析结果；
所述的审计存储模块将数据量大的日志存储于分布式文件系统中，将数据量小且重要的日志分析结果存入数据库中；
所述的前端管理模块展示系统运行情况和发生的安全事件。
本发明第二方面提供一种基于机器学习的云安全事件实时检测方法，包括以下步骤：
S1.日志收集模块将所有日志发送到日志分析模块进行统一分析；
S2.日志分析模块对接收到的日志数据进行分析，并生成日志分析结果；
S3.审计存储模块将数据量大的日志存储于分布式文件系统中，将数据量小且重要的日志分析结果存入数据库中；
S4.前端管理模块展示系统运行情况和发生的安全事件。
云环境下日志文件类型繁多，首先确定要收集的日志文件有哪些，本方法收集的日志文件包括实例日志、物理机日志、系统日志、审计日志、云平台日志，并将这些日志发送到统一的日志分析模块。所述的日志收集模块通过Flume收集工具收集日志。
在一种优选方案中，所述的Flume收集工具包括拦截器。由于原始日志缺少一些关键的信息，如产生日志的设备类型，产生日志的设备IP，文件名等，因此需要在Flume的配置文件添加拦截器(interceptor)，拦截器会在每个日志的头部添加我们需要的信息，本发明中在日志的头部添加了节点类别，节点名称，节点IP和文件名，节点类别表示该日志产生的设备属于什么类别，例如实例、物理机、交换机等，节点名称为产生该日志的设备名，文件名表示该日志的文件名，添加这些信息有助与后面的分析工作，在日志过滤和格式化阶段根据不同的文件名，对应不同的解析函数，有助于提高分析的效率。在日志审计模块通过头部的IP地址和节点名称可以查询此恶意节点更多详细信息，形成审计报告。
本发明通过使用Spark Streaming程序构建一个有实时分析能力的系统。Spark是一个通用并行的技术框架。通过Spark并行技术框架可以把一个任务拆分为多个，交给不同的节点运算，Spark Streaming是Spark的一个应用程序接口，具有良好的高吞吐特性，可以用以处理流数据。所述的日志分析模块包括实时日志过滤解析格式化部分、结合基于规则和机器学习的日志分析部分；
所述的日志过滤解析格式化部分采用Spark Streaming进行日志分析，具体步骤如下：
S21.Spark Streaming实时的接收Flume发送的日志数据，按照时间片对日志进行切分，切分为原始的离散数据流Dsteam(Discretized Stream)；
S22.进一步对原始的DStream,进行分割，事先设定一个滑动窗口的长度，并且设定滑动窗口的时间间隔，即Spark Streaming每隔多长时间分析一次，滑动窗口按照每次按照设定的时间间隔进行滑动，Spark Streaming每次将滑动窗口内的数据进行分析；
所述的结合基于规则和机器学习的日志分析部分，其具体步骤如下：
S23.通过滑动窗口进行数据的切分后，以一个滑动窗口为单位对数据进行过滤和解析，过滤需要去除无用的信息；
S24.基于规则的日志分析，包括特征匹配和关联分析；
S241.特征匹配的分析方法，根据格式化后的日志中的某一个字段，与规则集进行字符串匹配或者是正则表达式匹配，若与规则集中某条规则匹配，则可以生成对应的事件和告警信息；
S242.通过特征匹配检测到用户感兴趣的安全事件，根据关联分析将多个事件或其他有用信息联系起来分析，发出相应的告警信息，
S25.经过基于机器学习的日志分析，包括模型训练和实时分析；
S251.对训练集进行训练，得到用户正常行为模型和异常行为模型，其中训练集为数据库中的数据；
S252.实时分析，通过训练好的模型对经过过滤解析后的日志进行实时分析得到分析结果。
在一种优选方案中，所述的日志过滤解析格式化部分将日志解析为统一的JSON格式。
在一种优选方案中，所述的前端管理模块包括日志告警部分和日志审计部分；
日志告警部分通过读取数据库中的告警信息进行展示；
日志审计部分通过检索分布式文件系统和数据库中的数据，形成审计报告。
在一种优选方案中，所述的S251中对训练集进行训练，分别通过N-Gram和TF-IDF(term frequency–inverse document frequency)进行特征提取和特征预处理。
现有技术相比，本发明技术方案的有益效果是：
本发明在基于规则的日志分析方法上，提出了结合基于规则和基于机器学习的日志分析方法，不仅可以根据相应的规则发现安全事件，而且可以对未知的安全事件进行检测。第二，采用Spark对云日志进行分析，达到实时分析的效果，并且方便扩展，并通过多种方式提高系统分析效率和分析的准确率，通过在日志头部添加信息提高日志过滤解析效率、通过日志将日志解析为统一格式方便日志分析工作、将不同类型信息按照不同方式存储提高了存储效率、通过滑动窗口提高分析的准确率。第三，适合于云环境，可以检测云租户的恶意行为。
附图说明
图1为本发明提供的基于机器学习的云安全事件实时检测系统的模块流程图；
图2为实施例2中基于机器学习的云安全事件实时检测方法的Spark Streaming对数据进行切分的示意图；
图3为实施例2中基于机器学习的云安全事件实时检测方法的基于规则的日志分析的示意图；
图4为实施例2中基于机器学习的云安全事件实时检测方法的基于机器学习的日志分析的示意图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
本实施例提供一种基于机器学习的云安全事件实时检测系统，包括日志收集模块、日志分析模块、审计存储模块和前端管理模块；
所述的日志收集模块通过日志收集引擎收集所有云平台中的日志，并经过日志预处理后，将所有日志发送到日志分析模块进行统一分析；
所述的日志分析模块对接收到的日志数据进行分析，并生成日志分析结果；
所述的审计存储模块将数据量大的日志存储于分布式文件系统中，将数据量小且重要的日志分析结果存入数据库中；
所述的前端管理模块展示系统运行情况和发生的安全事件。
实施例2
本实施例提供一种基于机器学习的云安全事件实时检测方法，包括以下步骤：
S1.日志收集模块将所有日志发送到日志分析模块进行统一分析；
S2.日志分析模块对接收到的日志数据进行分析，并生成日志分析结果；
S3.审计存储模块将数据量大的日志存储于分布式文件系统中，将数据量小且重要的日志分析结果存入数据库中；
S4.前端管理模块展示系统运行情况和发生的安全事件。
云环境下日志文件类型繁多，首先确定要收集的日志文件有哪些，本方法收集的日志文件包括实例日志、物理机日志、系统日志、审计日志、云平台日志，并将这些日志发送到统一的日志分析模块。所述的日志收集模块通过Flume收集工具收集日志。
在一种优选方案中，所述的Flume收集工具包括拦截器。由于原始日志缺少一些关键的信息，如产生日志的设备类型，产生日志的设备IP，文件名等，因此需要在Flume的配置文件添加拦截器，拦截器会在每个日志的头部添加我们需要的信息，本发明中在日志的头部添加了节点类别，节点名称，节点IP和文件名，节点类别表示该日志产生的设备属于什么类别，例如实例、物理机、交换机等，节点名称为产生该日志的设备名，文件名表示该日志的文件名，添加这些信息有助与后面的分析工作，在日志过滤和格式化阶段根据不同的文件名，对应不同的解析函数，有助于提高分析的效率。在日志审计模块通过头部的IP地址和节点名称可以查询此恶意节点更多详细信息，形成审计报告。
本发明通过使用Spark Streaming程序构建一个有实时分析能力的系统。Spark是一个通用并行的技术框架。通过Spark并行技术框架可以把一个任务拆分为多个，交给不同的节点运算，Spark Streaming是Spark的一个应用程序接口，具有良好的高吞吐特性，可以用以处理流数据。所述的日志分析模块包括实时日志过滤解析格式化部分、结合基于规则和机器学习的日志分析部分；
所述的日志过滤解析格式化部分采用Spark Streaming进行日志分析，如图2所示，具体步骤如下：
S21.Spark Streaming实时的接收Flume发送的日志数据，按照时间片对日志进行切分，切分为原始的DSteam数据；
S22.进一步对原始的Dstream，进行分割，事先设定一个滑动窗口的长度，并且设定滑动窗口的时间间隔，即Spark Streaming每隔多长时间分析一次，滑动窗口按照每次按照设定的时间间隔进行滑动，Spark Streaming每次将滑动窗口内的数据进行分析；
所述的结合基于规则和机器学习的日志分析部分，其具体步骤如下：
S23.通过滑动窗口进行数据的切分后，以一个滑动窗口为单位对数据进行过滤和解析，过滤需要去除无用的信息；例如某些日志我们不感兴趣可以认为无用的信息。解析将该条日志解析为统一的格式，形成多个字段，如日志来源、日志产生时间、日志中出现的IP、产生日志的进程等，在日志分析过程中只需要对格式化后需要的字段进行分析，而不是对整条日志分析，从而提高了分析效率。
S24.基于规则的日志分析，如图3所示，包括特征匹配和关联分析；
S241.特征匹配的分析方法，根据格式化后的日志中的某一个字段，与规则集进行字符串匹配或者是正则表达式匹配，若与规则集中某条规则匹配，则可以生成对应的事件和告警信息；例如格式化后的日志中事件类型字段为“Terminate\s\d+\sinstance\s[i-[0-9a-f][8]\]”则可以发出一个实例关闭的告警。
S242.通过特征匹配检测到用户感兴趣的安全事件，根据关联分析将多个事件或其他有用信息联系起来分析，发出相应的告警信息；包括以下时间过信息：
(1)按照发生频率，若单位时间某一个事件发生的次数过多，则发出一个告警信息，例如单位时间内，用户多次尝试访问没有权限的文件，表示用户账户被入侵。
(2)时间关联，根据时间和发生的事件进行关联分析，例如在工作期间外，VPN用户向网络之外传输大量数据，表示可能存在内部数据泄露。
(3)事件关联，将多个相似的事件关联分析，例如IDS检测到网络上的多台主机发生了扫描，将这些事件看为是同一个事件。
(4)黑名单关联，若发现黑名单里某个IP地址出现在日志中则发出告警信息，以及时提醒云平台管理员。
S25.经过基于机器学习的日志分析，如图4所示，包括模型训练和实时分析；
S251.对训练集进行训练，得到用户正常行为模型和异常行为模型，其中训练集为数据库中的数据；
S252.实时分析，通过训练好的模型对经过过滤解析后的日志进行实时分析得到分析结果。
在一种优选方案中，所述的日志过滤解析格式化部分将日志解析诶统一的JSON格式。
在一种优选方案中，所述的前端管理模块包括日志告警部分、日志审计部分和离线分析部分；
日志告警部分通过读取数据库中的告警信息进行展示；
日志审计部分通过检索分布式文件系统和数据库中的数据，形成审计报告；
离线分析部分通过用户上传的文件、文件类型、产生日志的设备信息进行分析，分析的方法可以采用基于规则、基于机器学习、基于数据挖掘等手段，并将分析结果保存至数据库中。
在一种优选方案中，所述的S251中对训练集进行训练，分别通过N-Gram和TF-IDF进行特征提取和特征预处理。本文采用的是三元N-Gram。例如分析一个系统调用序列为“2122 23 24”经过三元N-Gram的切分后，产生两个切片“21 22 23、22 24 24”序列，切片完成后进行TF-IDF处理。TF-IDF(termfrequency–inverse document frequency)可以用与计算某一个字词在文本中的重要程度。TF意思是词频(Term Frequency),与字词在文件中出现的次数成正比，若某个词在文件中出现了多次，代表这个词在文件中很重要，IDF意思是逆向文件频率(Inverse Document Frequency)，与字词在文件中出现的频率成反比，若某个单词在不同的文件中出现则降低此单词的IDF指，例如一些常见的单词如the会出现在不同类型的文件中，有无这个单词对文本的特性没有太多影响。因此TF-IDF其实就是TF*IDF，通过词频和逆向文件频率乘积代表某个单词的重要性。最后后经过机器学习相关的分类算法可以得到训练模型。
附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (6)

1.一种基于机器学习的云安全事件实时检测方法，其特征在于，包括日志收集模块、日志分析模块、审计存储模块和前端管理模块；
所述的日志收集模块通过日志收集引擎收集云平台中所有的日志，并经过日志预处理后，将所有日志发送到日志分析模块进行统一分析；
所述的日志分析模块对接收到的日志数据进行分析，并生成日志分析结果；所述的日志分析模块包括实时日志过滤解析格式化部分、结合基于规则和机器学习的日志分析部分；
所述的审计存储模块将数据量大的日志存储于分布式文件系统中，将数据量小且重要的日志分析结果存入数据库中；
所述的前端管理模块展示系统运行情况和发生的安全事件；
其中包括以下步骤：
S1.日志收集模块将所有日志发送到日志分析模块进行统一分析；
S2.日志分析模块对接收到的日志数据进行分析，并生成日志分析结果；所述的日志过滤解析格式化部分采用Spark Streaming进行日志分析，具体步骤如下：
S21.Spark Streaming实时的接收Flume发送的日志数据，按照时间片对日志进行切分，切分为原始的离散DStream数据流；
S22.进一步对原始的DStream进行分割，事先设定一个滑动窗口的长度，SparkStreaming之后会以滑动窗口为单位进行分析，并且设定滑动窗口的时间间隔，滑动窗口按照每次按照设定的时间间隔进行滑动，即Spark Streaming每隔多长时间分析一次，SparkStreaming每次将滑动窗口内的数据进行分析；
所述的结合基于规则和机器学习的日志分析部分，其具体步骤如下：
S23.通过滑动窗口进行数据的切分后，以一个滑动窗口为单位对数据进行过滤和解析，过滤需要去除无用的信息；
S24.基于规则的日志分析，包括特征匹配和关联分析；
S241.特征匹配的分析方法，根据格式化后的日志中的某一个字段，与规则集进行字符串匹配或者是正则表达式匹配，若与规则集中某条规则匹配，则可以生成对应的事件和告警信息；
S242.通过特征匹配检测到用户感兴趣的安全事件，根据关联分析将多个事件或其他有用信息联系起来分析，发出相应的告警信息；告警信息包括：
(1)按照发生频率，若单位时间某一个事件发生的次数过多，则发出告警信息；
(2)时间关联，根据时间和发生的事件进行关联分析；
(3)事件关联，将多个相似的事件关联分析；
(4)黑名单关联，若发现黑名单里某个IP地址出现在日志中则发出告警信息；
S25.基于机器学习的日志分析，包括模型训练和实时分析；
S251.对训练集进行训练，得到用户正常行为模型和异常行为模型，其中训练集为数据库中的数据；其中分别通过N元模型N-Gram和词频-逆向文件频率TF-IDF进行特征提取和特征预处理；
S252.实时分析，通过训练好的模型对经过过滤解析后的日志进行实时分析得到分析结果；
S3.审计存储模块将数据量大的日志存储于分布式文件系统中，将数据量小且重要的日志分析结果存入数据库中；
S4.前端管理模块展示系统运行情况和发生的安全事件。
2.根据权利要求1所述的基于机器学习的云安全事件实时检测方法，其特征在于，所述的日志收集模块通过Flume收集工具收集日志。
3.根据权利要求1所述的基于机器学习的云安全事件实时检测方法，其特征在于，Flume收集工具包括拦截器。
4.根据权利 要求1所述的基于机器学习的云安全事件实时检测方法，其特征在于，所述的日志过滤解析格式化部分将日志解析为统一的JSON格式。
5.根据权利 要求1所述的基于机器学习的云安全事件实时检测方法，其特征在于，所述的前端管理模块包括日志告警部分和日志审计部分；
日志告警部分通过读取数据库中的告警信息进行展示；
日志审计部分通过检索分布式文件系统和数据库中的数据，形成审计报告。
6.根据权利要求1所述的基于机器学习的云安全事件实时检测方法，其特征在于，所述的S251中对训练集进行训练，分别通过N元模型N-Gram和词频-逆向文件频率TF-IDF进行特征提取和特征预处理。
CN201911268191.9A 2019-12-11 2019-12-11 一种基于机器学习的云安全事件实时检测系统及方法 Active CN110912753B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911268191.9A CN110912753B (zh) 2019-12-11 2019-12-11 一种基于机器学习的云安全事件实时检测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911268191.9A CN110912753B (zh) 2019-12-11 2019-12-11 一种基于机器学习的云安全事件实时检测系统及方法

Publications (2)

Publication Number Publication Date
CN110912753A CN110912753A (zh) 2020-03-24
CN110912753B true CN110912753B (zh) 2022-03-25

Family

ID=69824672

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911268191.9A Active CN110912753B (zh) 2019-12-11 2019-12-11 一种基于机器学习的云安全事件实时检测系统及方法

Country Status (1)

Country Link
CN (1) CN110912753B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111881011A (zh) * 2020-07-31 2020-11-03 网易（杭州）网络有限公司 日志管理方法、平台、服务器及存储介质
CN112769840B (zh) * 2021-01-15 2023-04-07 杭州安恒信息技术股份有限公司 一种基于强化学习Dyna框架的网络攻击行为识别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104636494A (zh) * 2015-03-04 2015-05-20 浪潮电子信息产业股份有限公司 一种基于Spark大数据平台的日志审计倒查系统
CN108664791A (zh) * 2017-03-29 2018-10-16 腾讯科技（深圳）有限公司 一种超文本预处理器代码中的网页后门检测方法及装置
CN109471846A (zh) * 2018-11-02 2019-03-15 中国电子科技网络信息安全有限公司 一种基于云日志分析的云上用户行为审计系统及方法
CN109902072A (zh) * 2019-02-21 2019-06-18 云南电网有限责任公司红河供电局 一种日志处理系统
CN110224990A (zh) * 2019-07-17 2019-09-10 浙江大学 一种基于软件定义安全架构的入侵检测系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103824069A (zh) * 2014-03-19 2014-05-28 北京邮电大学 一种基于多主机日志关联的入侵检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104636494A (zh) * 2015-03-04 2015-05-20 浪潮电子信息产业股份有限公司 一种基于Spark大数据平台的日志审计倒查系统
CN108664791A (zh) * 2017-03-29 2018-10-16 腾讯科技（深圳）有限公司 一种超文本预处理器代码中的网页后门检测方法及装置
CN109471846A (zh) * 2018-11-02 2019-03-15 中国电子科技网络信息安全有限公司 一种基于云日志分析的云上用户行为审计系统及方法
CN109902072A (zh) * 2019-02-21 2019-06-18 云南电网有限责任公司红河供电局 一种日志处理系统
CN110224990A (zh) * 2019-07-17 2019-09-10 浙江大学 一种基于软件定义安全架构的入侵检测系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
web日志安全分析系统实践;xman21;《https://xz.aliyun.com/t/2136》;20180311;第1-14页 *

Also Published As

Publication number Publication date
CN110912753A (zh) 2020-03-24

Similar Documents

Publication Publication Date Title
US10867034B2 (en) Method for detecting a cyber attack
CN107172022B (zh) 基于入侵途径的apt威胁检测方法和系统
US9848004B2 (en) Methods and systems for internet protocol (IP) packet header collection and storage
CN109885562A (zh) 一种基于网络空间安全的大数据智能分析系统
US20140165207A1 (en) Method for detecting anomaly action within a computer network
US10915625B2 (en) Graph model for alert interpretation in enterprise security system
US8762515B2 (en) Methods and systems for collection, tracking, and display of near real time multicast data
CN103763124A (zh) 一种互联网用户行为分析预警系统及方法
CN110300100A (zh) 日志审计的关联分析方法与系统
CN114584401A (zh) 一种面向大规模网络攻击的追踪溯源系统及方法
CN106534146A (zh) 一种安全监测系统及方法
Lee et al. Toward the SIEM architecture for cloud-based security services
CN110912753B (zh) 一种基于机器学习的云安全事件实时检测系统及方法
KR20210083936A (ko) 사이버 위협정보 수집 시스템
CN109409113B (zh) 一种电网数据安全防护方法和分布式电网数据安全防护系统
Lee et al. A study on efficient log visualization using d3 component against apt: How to visualize security logs efficiently?
Dwivedi et al. Event correlation for intrusion detection systems
CN112714118A (zh) 网络流量检测方法和装置
US10891375B1 (en) Document behavior analytics—abnormal document flows to identify suspicious exfiltration utility patent
Jain et al. The role of decision tree technique for automating intrusion detection system
CN113343231A (zh) 一种基于集中管控的威胁情报的数据采集系统
Fessi et al. Data collection for information security system
Mahmoud et al. A hybrid snort-negative selection network intrusion detection technique
Acquesta et al. Detailed Statistical Models of Host-Based Data for Detection of Malicious Activity.
Lee Analysis of digital forensic artifacts data enrichment mechanism for cyber threat intelligence

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant