CN107872465A - 一种分布式网络安全监测方法及系统 - Google Patents

一种分布式网络安全监测方法及系统 Download PDF

Info

Publication number
CN107872465A
CN107872465A CN201711272653.5A CN201711272653A CN107872465A CN 107872465 A CN107872465 A CN 107872465A CN 201711272653 A CN201711272653 A CN 201711272653A CN 107872465 A CN107872465 A CN 107872465A
Authority
CN
China
Prior art keywords
event
distributed
alarm
network security
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711272653.5A
Other languages
English (en)
Inventor
张英杰
郭昊
马铁军
何小芸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Global Energy Interconnection Research Institute
Original Assignee
Global Energy Interconnection Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Global Energy Interconnection Research Institute filed Critical Global Energy Interconnection Research Institute
Priority to CN201711272653.5A priority Critical patent/CN107872465A/zh
Publication of CN107872465A publication Critical patent/CN107872465A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0654—Management of faults, events, alarms or notifications using network fault recovery
    • H04L41/0668—Management of faults, events, alarms or notifications using network fault recovery by dynamic selection of recovery network elements, e.g. replacement by the most appropriate element after failure

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer And Data Communications (AREA)

Abstract

一种分布式网络安全监测方法及系统，包括：采集网络安全事件，将网络安全事件存储至分布式消息队列；利用多个分布式处理设备从所述分布式消息队列中获取网络安全事件，结合预设的安全规则进行处理，生成告警事件。本发明提供的技术方案，实现了多个处理节点分布式处理，当节点遇到单点故障时，其他同类节点即可接替当前故障节点的工作，解决现有技术中单一节点容易出现单点故障导致整个系统无法运行的问题，此外，采用本发明提供的方案，可以根据数据量增长情况来逐渐增加廉价的硬件即可扩展系统性能，解决了现有技术中在数据量增长超过原硬件处理能力时只能丢弃原硬件、购买新硬件所带来的成本问题，提升了网络安全监测系统的可用性与可扩展性。

Description

一种分布式网络安全监测方法及系统
技术领域
本发明涉及网络安全领域，具体涉及一种分布式网络安全监测方法及系统。
背景技术
当前，越来越多的企业将自己的信息资产接入互联网中，伴随着信息资产接入互联网而来的是企业网络安全设备的增加及遭受网络攻击风险的加剧。这些网络安全设备每天产生大量的日志信息，要总体准确把控企业的网络安全态势，需要一个高效、稳定、扩展性高的安全监测装置。但是，现有技术的方案为传统串行监测流程，数据的采集、处理中的每个部分都是单节点运行。如果某个节点出现故障则整个系统就无法有效运行。随着安全设备与攻击数量的增加，传统的技术方案无法有效地对系统进行扩展以适应安全设备生成数据量的不断升高。
常规的网络安全监测装置往往在单个服务器中部署采集、处理节点，用来采集、处理网络安全设备日志，生成网络安全告警信息。通过提高部署服务器的硬件配置提高数据采集与处理能力。这些装置虽然在性能上暂时满足需求，但随着企业网络资产设备的不断增加与互联网环境的日趋复杂，网络安全告警会呈现出巨大的增长趋势。使用传统方式进行网络安全监测，不仅存在后续性能难以提升的问题，也增加了系统的整体成本。
发明内容
为了解决现有技术中所存在的上述不足，本发明提供一种分布式网络安全监测系统及方法。
本发明提供的技术方案是：一种分布式网络安全监测方法，包括：
采集网络安全事件；
将所述网络安全事件存储至分布式消息队列；
利用多个分布式处理设备从所述分布式消息队列中获取网络安全事件，结合预设的安全规则进行处理，生成告警事件。
优选的，所述采集网络安全事件为，利用多个事件采集器采集网络安全事件。
优选的，所述事件采集器采集到网络安全事件之后，还包括：
将所述网络安全事件归一化为网络安全事件对象；
对所述网络安全事件对象进行序列化、加密处理。
优选的，所述利用多个事件采集器采集网络安全事件，包括：
基于UDP协议采集网络安全设备发送的网络安全事件；
利用负载均衡组件将所述网络安全事件平均转发给各个事件采集器。
优选的，所述利用负载均衡组件将所述网络安全事件平均转发给各个事件采集器，包括：
所述负载均衡组件预先存储有各个事件采集器的IP列表；
所述负载均衡组件采用支持平均分布的随机算法在所述事件采集器的IP列表中选取一个事件采集器的IP，将所述网络安全事件转发给所述IP对应的事件采集器。
优选的，所述将所述网络安全事件归一化为网络安全事件对象，包括：
抽取网络安全事件中的元素；
根据抽取的元素将网络安全事件转换为网络安全事件对象。
优选的，所述对所述网络安全事件对象进行序列化、加密处理，包括：
基于protobuf格式将所述网络安全事件对象序列化为字节码；
基于AES算法对所述字节码进行加密。
优选的，所述安全规则包括Map规则和Reduce规则，所述结合预设的安全规则进行处理，生成告警事件，包括：
多个分布式处理组件根据Map规则对所述网络安全事件进行处理，生成分析事件；
聚合组件接收不同分布式处理组件生成的分析事件，根据Reduce规则对所述分析事件进行聚合，生成告警事件。
优选的，所述生成告警事件之后，进一步包括：
基于预设的告警条件对告警事件进行判断；
在预设周期内不同类型的告警事件的数量达到预设告警条件时，生成该类型告警事件的网络安全告警。
优选的，所述安全监测方法，还包括：
基于定长缓存队列存储所述告警事件；
接收多个展示前端发送的告警数据请求；所述告警数据请求包括告警事件数量N；
根据所述告警事件数量N，返回N条告警数据。
优选的，所述基于定长缓存队列存储所述告警事件，包括：
基于定长数组存储告警事件数据，维护头部指针和尾部指针，以及队列状态；
当所述定长缓存队列中无数据时，头部指针和尾部指针的值均为零；
当所述定长缓存队列未满时，每插入一条数据，头部指针自动加1，尾部指针位置不变；
当所述定长缓存队列数据满时，队列中插入的新数据优先覆盖最老的数据，头部指针和尾部指针重新进行累加计数并且值相等；
当展示前端向所述定长缓存队列请求最新数据时，以头部指针为起始点，以尾部指针为终点，按照数据插入方向的反方向取数据。
基于同一发明构思，本发明还提供了一种分布式网络安全监测系统，包括：
分布式网络安全事件采集模块：用于采集网络安全事件；
分布式消息队列，用于存储所述网络安全事件；
多个分布式处理设备，用于从所述分布式消息队列中获取网络安全事件，结合预设的安全规则进行处理，生成告警事件。
优选的，所述分布式网络安全事件采集模块，包括：多个事件采集器；所述多个事件采集器分别采集网络安全事件。
优选的，所述事件采集器还用于采集到网络安全事件之后，将所述网络安全事件归一化为网络安全事件对象；对所述网络安全事件对象进行序列化、加密处理。
优选的，所述分布式网络安全事件采集模块，进一步包括：
负载均衡组件，用于基于UDP协议采集网络安全设备发送的网络安全事件，将所述网络安全事件平均转发至各个事件采集器。
优选的，所述负载均衡组件，包括：
存储单元，用于预先存储各个事件采集器的IP列表；
发送单元，用于采用支持平均分布的随机算法在所述事件采集器的IP列表中选取一个事件采集器的IP，将所述网络安全事件转发给所述IP对应的事件采集器。
优选的，所述多个分布式处理设备，包括：多个分布式处理组件和事件聚合组件；
所述分布式处理组件，用于根据预设安全规则中的Map规则对所述网络安全事件进行处理，生成分析事件；
所述事件聚合组件，用于接收不同分布式处理组件生成的分析事件，根据预设安全规则中的Reduce规则对所述分析事件进行聚合，生成告警事件。
优选的，所述系统进一步包括：
判断模块，用于根据预设的告警条件对所述告警事件进行判断；
告警模块，用于在预设周期内不同类型的告警事件的数量达到预设告警条件时，生成该类型告警事件的网络安全告警。
优选的，所述安全监测系统，还包括：
告警储存模块：用于基于定长缓存队列存储所述告警事件；
供查询模块，用于接收多个展示前端发送的告警数据请求；所述告警数据请求包括告警事件数量N；根据所述告警事件数量N，返回N条告警数据。
优选的，所述分布式消息队列为由至少一台主机构成、具有数据缓存功能的消息中间件。
与最接近的现有技术相比，本发明提供的技术方案具有以下有益效果：
本发明提供的技术方案，通过分布式消息队列将采集网络安全事件进行传输，利用多个分布式处理设备在分布式消息队列中获取网络安全事件，结合安全规则进行处理，生成告警事件，实现了多个处理节点分布式处理，当节点遇到单点故障时，其他同类节点即可接替当前故障节点的工作，解决了现有技术中单一节点容易出现单点故障导致整个系统无法运行的问题，此外，采用本发明提供的方案，可以根据数据量增长情况来逐渐增加廉价的硬件即可扩展系统性能，解决了现有技术中在数据量增长超过原硬件处理能力时只能丢弃原硬件、购买新硬件所带来的成本问题，提升了网络安全监测系统的可用性与可扩展性。
本发明提供的技术方案，分布式事件处理通过简单地增加廉价硬件来扩展系统的性能，对于系统正常运行并无影响，同时降低了改造成本。
本发明提供的技术方案，通过分布式的事件采集，避免出现单点故障导致整个系统无法运行的问题。
本发明提供的技术方案，通过环形缓冲队列实现最新事件的缓存，在不影响系统性能的条件下高效地响应最新事件的请求。
附图说明
图1为本发明网络安全监测系统的流程图；
图2为本发明分布式网络安全监测系统的整体结构图；
图3为本发明的分布式网络安全事件采集流程；
图4为本发明安全规则的加载流程；
图5为本发明分布式处理单元的处理流程；
图6为本发明定长缓存队列使用定长数组存储数据的流程。
具体实施方式
为了更好地理解本发明，下面结合说明书附图和实例对本发明的内容做进一步的说明。
本实施例提供一种分布式的网络安全监测方法。图1为网络安全监测方法的流程图；所述方法可以包括如下步骤：
采集网络安全事件；
将所述网络安全事件存储至分布式消息队列；
利用多个分布式处理设备从所述分布式消息队列中获取网络安全事件，结合预设的安全规则进行处理，生成告警事件。
具体实施方法如下：
1、采集网络安全事件，本实施例中，通过负载均衡组件数据使用UDP协议接收网络安全设备中的网络安全事件，并平衡转发至多个事件采集器。负载均衡组件内部持有事件采集器的IP列表，在转发事件时随机在IP列表中选取一个事件采集器的IP进行发送，达到负载均衡的目的。
随机选取的算法支持平均分布，例如在1、2、3、4、5随机取1个数，取了100次之后，每个数据大概会被取到20次左右，从而实现了平均分布。
负载均衡组件可以使用多种方式实现，如nginx、LVS、负载均衡设备等。如图3所示，利用多个事件采集器采集网络安全事件之后还可以包括：数据接收、数据归一化、数据序列化、数据加密、数据发送五个部分。
数据接收部分使用UDP协议接收网络安全设备中的网络安全事件；
数据归一化部分按照面向对象的方法，抽取网络安全事件中的元素将网络安全事件转换为网络安全事件对象；
数据序列化部分使用protobuf格式将所述网络安全事件对象序列化为字节码；
数据加密部分使用AES算法对字节码进行加密；
数据发送部分将所述加密后的字节码发送至分布式消息队列中。
2、将所述网络安全事件存储至分布式消息队列
分布式网络安全事件采集模块将采集到的网络安全事件发送至分布式消息队列中，分布式消息队列将网络安全事件进行存储。
分布式消息队列为由任意台主机构成的、具有数据缓存功能的消息中间件，系统各个模块可以通过消息队列进行数据传输。本实施例中使用开源消息队列Kafka进行实现。
3、利用多个分布式处理设备从所述分布式消息队列中获取网络安全事件，结合预设的安全规则进行处理，生成告警事件。
在这里，本发明实施例可以通过使用分布式规则引擎，对获取的网络安全事件结合安全规则进行处理，生成告警事件。
分布式规则引擎处理分为：分布式处理单元(分布式处理组件)与事件聚合单元(事件聚合组件)两个部分。一个分布式规则引擎可以包含多个处理单元与事件聚合单元。分布式规则引擎初始化时需要加载安全规则，作为各个单元处理的基准。各个单元的数量可以根据处理数据量的变化进行弹性扩充或减少。
(1)安全规则
如图4所示安全规则的加载流程。安全规则包括：规则编号、聚合规则、时间窗口、告警条件。
规则编号为区别规则的唯一16位数字编码；
聚合规则为一组基于SQL语法具有聚合统计功能的规则语句；用于对不同类型网络安全事件按照不同维度进行统计分析。系统在加载聚合规则时，将规则解析为Map规则与Reduce规则。Map规则由分布式处理组件执行，用于生成告警事件；Reduce规则由聚合组件执行，用于对告警事件进行二次聚合。时间窗口为聚合规则处理网络安全事件的时间间隔。对时间窗口内接收到的网络安全事件进行聚合；告警条件为判断是否生成告警的条件或阈值，例如：一定周期内不同类型事件数量达到一定阈值即可产生告警。
(2)分布式处理组件
如图5所示为分布式处理单元的处理流程：分布式处理单元接收分布式消息队列传输的网络安全事件对象，由于分布式消息队列的特征，每个分布式处理单元接收到的事件量近似相同；分布式处理单元对网络安全事件对象进行解密、反序列化处理后将其转化为网络安全事件；每个单元执行Map规则对所述网络安全事件进行处理，最终生成分析事件。
(3)聚合组件单元
聚合组件单元接收不同分布式处理组件生成的告警事件，并将属于同一安全规则的告警事件进行聚合，生成告警事件。再根据告警条件对告警事件进行判断，生成网络安全告警。
具体实施时，所述分布式网络安全监测方法还可以包括：缓存最新告警事件，提供数据查询服务
处理多个展示前端对于最新告警数据的请求，根据请求条数不同，返回不同的告警数据。
使用定长缓存队列存储告警事件，根据展示请求中包含的数据条数：N，查询并返回最新的N条实时告警。
定长缓存队列使用定长数组存储数据，维护两个指针：头部指针Pt、尾部指针Pw，维护队列状态：State。其中Pt指的是数组的头部下标，Pw为数组尾部下标。
如图6‐1所示，队列中无数据时，Pt＝0，Pw＝0。如图6‐2、图6‐3所示，在队列未满时，每数插入一条数据，Pt自动加1，Pw位置不变。向所述队列请求最新数据时，需要以Pt为起点按照插入方向的反方向回溯至Pw为止。
如图6‐4、图6‐5所示，当队列数据满时，队列中插入的新数据会优先覆盖最老的数据，Pt与Pw将重新进行累加计数并且Pw＝Pt。向所述队列请求最新数据时，需要以Pt为起点按照插入方向的反方向回溯至Pw为止。
基于同一发明构思，本实施例还提供了一种分布式网络安全监控系统，所述系统可以包括：
分布式网络安全事件采集模块：用于采集网络安全事件；
分布式消息队列，用于存储所述网络安全事件；
多个分布式处理设备，用于从所述分布式消息队列中获取网络安全事件，结合预设的安全规则进行处理，生成告警事件。
主要处理步骤如下：
如图2所示为分布式网络安全监测系统的整体结构图；
所述分布式网络安全事件采集模块，包括：多个事件采集器；多个事件采集器分别采集网络安全事件。
事件采集器还用于采集到网络安全事件之后，将所述网络安全事件归一化为网络安全事件对象，对所述网络安全事件对象进行序列化、加密处理。
负载均衡功能组件：用于基于UDP协议采集网络安全设备发送的网络安全事件，并平均转发至各个事件采集器；
实施例中，所述负载均衡组件，包括：
存储单元，用于预先存储各个事件采集器的IP列表；
发送单元，用于采用支持平均分布的随机算法在所述事件采集器的IP列表中选取一个事件采集器的IP，将所述网络安全事件转发给所述IP对应的事件采集器。
实施例中，所述多个分布式处理设备，包括：多个分布式处理组件和事件聚合组件；
所述分布式处理组件：用于接收所述分布式消息队列中的网络安全事件对象，对所述网络安全事件对象进行反序列化、解密、数据丰富化处理后转换为网络安全事件；所述网络安全事件结合安全规则，生成分析事件；
所述事件聚合组件：用于根据安全规则对所述分析事件进行聚合分析后，生成告警事件；
所述分布式处理单元和所述事件聚合单元的数量由处理数据量的变化决定。
实施例中，所述系统进一步包括：
判断模块，用于根据预设的告警条件对所述告警事件进行判断；
告警模块，用于在预设周期内不同类型的告警事件的数量达到预设告警条件时，生成该类型告警事件的网络安全告警。
实施例中，所述安全监测系统，还包括：
告警储存模块：用于基于定长缓存队列存储所述告警事件；
供查询模块，用于接收多个展示前端发送的告警数据请求；所述告警数据请求包括告警事件数量N；根据所述告警事件数量N，返回N条告警数据。
实施例中，所述分布式消息队列为由至少一台主机构成、具有数据缓存功能的消息中间件。本实施例中使用开源消息队列Kafka进行实现。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上仅为本发明的实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均包含在申请待批的本发明的权利要求范围之内。

Claims (20)

1.一种分布式网络安全监测方法，其特征在于，包括：
采集网络安全事件；
将所述网络安全事件存储至分布式消息队列；
利用多个分布式处理设备从所述分布式消息队列中获取网络安全事件，结合预设的安全规则进行处理，生成告警事件。
2.如权利要求1所述的分布式网络安全监测方法，其特征在于，所述采集网络安全事件为，利用多个事件采集器采集网络安全事件。
3.如权利要求2所述的分布式网络安全监测方法，其特征在于，所述事件采集器采集到网络安全事件之后，还包括：
将所述网络安全事件归一化为网络安全事件对象；
对所述网络安全事件对象进行序列化、加密处理。
4.如权利要求2所述的分布式网络安全监测方法，其特征在于，所述利用多个事件采集器采集网络安全事件，包括：
基于UDP协议采集网络安全设备发送的网络安全事件；
利用负载均衡组件将所述网络安全事件平均转发给各个事件采集器。
5.如权利要求4所述的分布式网络安全监测方法，其特征在于，所述利用负载均衡组件将所述网络安全事件平均转发给各个事件采集器，包括：
所述负载均衡组件预先存储有各个事件采集器的IP列表；
所述负载均衡组件采用支持平均分布的随机算法在所述事件采集器的IP列表中选取一个事件采集器的IP，将所述网络安全事件转发给所述IP对应的事件采集器。
6.如权利要求3所述的分布式网络安全监测方法，其特征在于，所述将所述网络安全事件归一化为网络安全事件对象，包括：
抽取网络安全事件中的元素；
根据抽取的元素将网络安全事件转换为网络安全事件对象。
7.如权利要求3所述的分布式网络安全监测方法，其特征在于，所述对所述网络安全事件对象进行序列化、加密处理，包括：
基于protobuf格式将所述网络安全事件对象序列化为字节码；
基于AES算法对所述字节码进行加密。
8.如权利要求1所述的分布式网络安全监测方法，其特征在于，所述安全规则包括Map规则和Reduce规则，所述结合预设的安全规则进行处理，生成告警事件，包括：
多个分布式处理组件根据Map规则对所述网络安全事件进行处理，生成分析事件；
聚合组件接收不同分布式处理组件生成的分析事件，根据Reduce规则对所述分析事件进行聚合，生成告警事件。
9.如权利要求1所述的分布式网络安全监测方法，其特征在于，所述生成告警事件之后，进一步包括：
基于预设的告警条件对告警事件进行判断；
在预设周期内不同类型的告警事件的数量达到预设告警条件时，生成该类型告警事件的网络安全告警。
10.如权利要求1所述的分布式网络安全监测方法，其特征在于，所述安全监测方法，还包括：
基于定长缓存队列存储所述告警事件；
接收多个展示前端发送的告警数据请求；所述告警数据请求包括告警事件数量N；
根据所述告警事件数量N，返回N条告警数据。
11.如权利要求10所述的分布式网络安全监测方法，其特征在于，所述基于定长缓存队列存储所述告警事件，包括：
基于定长数组存储告警事件数据，维护头部指针和尾部指针，以及队列状态；
当所述定长缓存队列中无数据时，头部指针和尾部指针的值均为零；
当所述定长缓存队列未满时，每插入一条数据，头部指针自动加1，尾部指针位置不变；
当所述定长缓存队列数据满时，队列中插入的新数据优先覆盖最老的数据，头部指针和尾部指针重新进行累加计数并且值相等；
当展示前端向所述定长缓存队列请求最新数据时，以头部指针为起始点，以尾部指针为终点，按照数据插入方向的反方向取数据。
12.一种分布式网络安全监测系统，其特征在于，包括：
分布式网络安全事件采集模块：用于采集网络安全事件；
分布式消息队列，用于存储所述网络安全事件；
多个分布式处理设备，用于从所述分布式消息队列中获取网络安全事件，结合预设的安全规则进行处理，生成告警事件。
13.如权利要求12所述的分布式网络安全监测系统，其特征在于，所述分布式网络安全事件采集模块，包括：
多个事件采集器；所述多个事件采集器分别采集网络安全事件。
14.如权利要求13所述的分布式网络安全监测系统，其特征在于，所述事件采集器还用于采集到网络安全事件之后，将所述网络安全事件归一化为网络安全事件对象；对所述网络安全事件对象进行序列化、加密处理。
15.如权利要求13所述的分布式网络安全监测系统，其特征在于，所述分布式网络安全事件采集模块，进一步包括：
负载均衡组件，用于基于UDP协议采集网络安全设备发送的网络安全事件，将所述网络安全事件平均转发至各个事件采集器。
16.如权利要求15所述的分布式网络安全监测系统，其特征在于，所述负载均衡组件，包括：
存储单元，用于预先存储各个事件采集器的IP列表；
发送单元，用于采用支持平均分布的随机算法在所述事件采集器的IP列表中选取一个事件采集器的IP，将所述网络安全事件转发给所述IP对应的事件采集器。
17.如权利要求12所述的分布式网络安全监测系统，其特征在于，所述多个分布式处理设备，包括：多个分布式处理组件和事件聚合组件；
所述分布式处理组件，用于根据预设安全规则中的Map规则对所述网络安全事件进行处理，生成分析事件；
所述事件聚合组件，用于接收不同分布式处理组件生成的分析事件，根据预设安全规则中的Reduce规则对所述分析事件进行聚合，生成告警事件。
18.如权利要求12所述的分布式网络安全监测系统，其特征在于，所述系统进一步包括：
判断模块，用于根据预设的告警条件对所述告警事件进行判断；
告警模块，用于在预设周期内不同类型的告警事件的数量达到预设告警条件时，生成该类型告警事件的网络安全告警。
19.如权利要求12所述的分布式网络安全监测系统，其特征在于，所述安全监测系统，还包括：
告警储存模块：用于基于定长缓存队列存储所述告警事件；
供查询模块，用于接收多个展示前端发送的告警数据请求；所述告警数据请求包括告警事件数量N；根据所述告警事件数量N，返回N条告警数据。
20.如权利要求12所述的分布式网络安全监测系统，其特征在于，所述分布式消息队列为由至少一台主机构成、具有数据缓存功能的消息中间件。
CN201711272653.5A 2017-12-05 2017-12-05 一种分布式网络安全监测方法及系统 Pending CN107872465A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711272653.5A CN107872465A (zh) 2017-12-05 2017-12-05 一种分布式网络安全监测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711272653.5A CN107872465A (zh) 2017-12-05 2017-12-05 一种分布式网络安全监测方法及系统

Publications (1)

Publication Number Publication Date
CN107872465A true CN107872465A (zh) 2018-04-03

Family

ID=61755317

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711272653.5A Pending CN107872465A (zh) 2017-12-05 2017-12-05 一种分布式网络安全监测方法及系统

Country Status (1)

Country Link
CN (1) CN107872465A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108833442A (zh) * 2018-07-25 2018-11-16 安徽三实信息技术服务有限公司 一种分布式网络安全监控装置及其方法
CN108932143A (zh) * 2018-06-01 2018-12-04 国电南瑞科技股份有限公司 一种基于调度控制系统的告警信息动态展示方法
CN112165487A (zh) * 2020-09-27 2021-01-01 上海万向区块链股份公司 基于zeek的分布式网络安全、性能检测方法及系统
CN112307271A (zh) * 2020-10-29 2021-02-02 全球能源互联网研究院有限公司 一种配电自动化系统遥控业务的安全监测方法及装置
CN112866050A (zh) * 2020-12-31 2021-05-28 上海上实龙创智能科技股份有限公司 一种预警数据的快速处理系统
CN113595958A (zh) * 2020-04-30 2021-11-02 杭州萤石软件有限公司 一种物联网设备的安全检测系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104036025A (zh) * 2014-06-27 2014-09-10 蓝盾信息安全技术有限公司 一种基于分布式的海量日志采集系统
CN104618343A (zh) * 2015-01-06 2015-05-13 中国科学院信息工程研究所 一种基于实时日志的网站威胁检测的方法及系统
CN105893628A (zh) * 2016-05-17 2016-08-24 中国农业银行股份有限公司 一种数据实时收集系统及方法
CN106815254A (zh) * 2015-12-01 2017-06-09 阿里巴巴集团控股有限公司 一种数据处理方法和装置
US20170201556A1 (en) * 2016-01-12 2017-07-13 International Business Machines Corporation Scalable event stream data processing using a messaging system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104036025A (zh) * 2014-06-27 2014-09-10 蓝盾信息安全技术有限公司 一种基于分布式的海量日志采集系统
CN104618343A (zh) * 2015-01-06 2015-05-13 中国科学院信息工程研究所 一种基于实时日志的网站威胁检测的方法及系统
CN106815254A (zh) * 2015-12-01 2017-06-09 阿里巴巴集团控股有限公司 一种数据处理方法和装置
US20170201556A1 (en) * 2016-01-12 2017-07-13 International Business Machines Corporation Scalable event stream data processing using a messaging system
CN105893628A (zh) * 2016-05-17 2016-08-24 中国农业银行股份有限公司 一种数据实时收集系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王帅等: "网络安全分析中的大数据技术应用", 《电信科学》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108932143A (zh) * 2018-06-01 2018-12-04 国电南瑞科技股份有限公司 一种基于调度控制系统的告警信息动态展示方法
CN108833442A (zh) * 2018-07-25 2018-11-16 安徽三实信息技术服务有限公司 一种分布式网络安全监控装置及其方法
CN113595958A (zh) * 2020-04-30 2021-11-02 杭州萤石软件有限公司 一种物联网设备的安全检测系统及方法
CN112165487A (zh) * 2020-09-27 2021-01-01 上海万向区块链股份公司 基于zeek的分布式网络安全、性能检测方法及系统
CN112165487B (zh) * 2020-09-27 2022-07-15 上海万向区块链股份公司 基于zeek的分布式网络安全、性能检测方法及系统
CN112307271A (zh) * 2020-10-29 2021-02-02 全球能源互联网研究院有限公司 一种配电自动化系统遥控业务的安全监测方法及装置
CN112866050A (zh) * 2020-12-31 2021-05-28 上海上实龙创智能科技股份有限公司 一种预警数据的快速处理系统

Similar Documents

Publication Publication Date Title
CN107872465A (zh) 一种分布式网络安全监测方法及系统
CN107454109B (zh) 一种基于http流量分析的网络窃密行为检测方法
US10505814B2 (en) Centralized resource usage visualization service for large-scale network topologies
US10095993B1 (en) Methods and apparatus for configuring granularity of key performance indicators provided by a monitored component
JP6716727B2 (ja) ストリーミングデータ分散処理方法及び装置
US9135133B2 (en) Metric object tracking system
CN106487596A (zh) 分布式服务跟踪实现方法
US10296435B2 (en) Storage of mass data for monitoring
CN108701187A (zh) 混合硬件软件分布式威胁分析
CN107888452B (zh) 一种24小时分布式网站性能监测和实时告警方法
JP2014528126A (ja) 複数のターゲットへのマルチソースプッシュ通知の分配
DE112012002624T5 (de) Regex-Kompilierer
KR102462128B1 (ko) 컴퓨터 보안 사건을 보고하기 위한 시스템 및 방법
US11188443B2 (en) Method, apparatus and system for processing log data
CN111740868B (zh) 告警数据的处理方法和装置及存储介质
EP2702522A1 (en) Systems and methods for in-memory processing of events
CN112632129A (zh) 一种码流数据管理方法、装置及存储介质
CN112527599A (zh) 智能监控方法、装置、电子设备及可读存储介质
CN110457929A (zh) 异构his大数据实时加解密压缩上链的共享方法及系统
CN104580228A (zh) 对来自网络的访问请求产生黑名单的系统和方法
CN113505260A (zh) 人脸识别方法、装置、计算机可读介质及电子设备
CN108833442A (zh) 一种分布式网络安全监控装置及其方法
CN107885634B (zh) 监控中异常信息的处理方法和装置
CN108280007B (zh) 一种用于评估设备资源利用率的方法和装置
CN112788039B (zh) 一种DDoS攻击识别方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination