CN113472580B - 基于动态加载机制的告警系统及告警方法 - Google Patents
基于动态加载机制的告警系统及告警方法 Download PDFInfo
- Publication number
- CN113472580B CN113472580B CN202110750207.0A CN202110750207A CN113472580B CN 113472580 B CN113472580 B CN 113472580B CN 202110750207 A CN202110750207 A CN 202110750207A CN 113472580 B CN113472580 B CN 113472580B
- Authority
- CN
- China
- Prior art keywords
- information
- rule
- protocol data
- data
- alarm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1416—Event detection, e.g. attack signature detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general
Abstract
本公开描述了一种基于动态加载机制的告警系统。在告警系统中,获取模块配置为采集网络流量数据并进行解析以获得协议数据,创建包括协议数据的协议消息并将协议消息发送至消息集群服务器;通过分布式方式部署的消息集群服务器接收并管理协议数据以为第一处理模块提供协议数据;第一处理模块基于监控规则、情报信息、攻击来源、黑名单、白名单对协议数据进行检测以获得包协议数据和检测信息的分析数据、以及分析数据关联的资产信息和地理信息并支持动态加载相应的规则信息;监控模块用于输出分析数据和分析数据关联的资产信息和地理信息、以及识别误报或漏报的情况。由此,能够适应网络情况的变化、降低误报率和漏报率。
Description
技术领域
本公开大体涉及一种基于动态加载机制的告警系统及告警方法。
背景技术
随着计算机技术、网络技术和通信技术的普及,信息化已经成为各组织机构实现稳定发展和提高竞争力的有力保障。在信息化建设中,网络安全尤为重要,若网络受到攻击,有可能对组织机构的资产造成损害,进而造成重大的损失。因此,如何提升对网络攻击的防御能力并能够及时发现网络攻击行为并进行告警已经成为各组织机构的研究方向。
目前,常常利用网络安全工具例如防火墙、漏洞扫描工具或基于网络流量数据的入侵检测系统对网络攻击行为进行识别并产生告警。入侵检测系统可以利用规则对网络流量数据进行检测,以在网络流量数据与规则匹配时产生告警信息,并以可视化的方式呈现给网络安全负责人,以使网络安全负责人能够通过监控网络流量数据以及告警信息及时发现网络攻击行为。然而,上述的网络攻击行为识别的规则一般内置在程序中,往往难以适应网络情况的变化,较容易出现误报和漏报等情况,另外,在出现误报和漏报情况时可能无法识别。
发明内容
本公开是鉴于上述的状况而提出的,其目的在于提供一种能够适应网络情况的变化、降低误报率和漏报率的基于动态加载机制的告警系统及告警方法。
为此,本公开的第一方面提供了基于动态加载机制的告警系统,是基于网络流量数据进行告警的告警系统,包括获取模块、基于消息队列的消息集群服务器、第一处理模块、告警引擎、黑名单引擎、白名单引擎、动态加载机制、监控模块以及资产管理模块;所述获取模块配置为采集所述网络流量数据并进行解析以获得协议数据,创建包括所述协议数据的协议消息并将所述协议消息发送至所述消息集群服务器;所述消息集群服务器配置为通过分布式方式部署,用于接收所述协议消息、存储所述协议消息、以及为所述第一处理模块提供所述协议消息中的协议数据;所述第一处理模块配置为从所述消息集群服务器读取所述协议消息中的协议数据,通过所述告警引擎、所述黑名单引擎和所述白名单引擎对所述协议数据进行检测以获取包括所述协议数据和检测信息的分析数据并将所述分析数据关联资产信息和地理信息,其中,若存在所述检测信息,所述检测信息包括告警信息、黑名单标签和白名单标签中的至少一种;所述告警引擎包括规则引擎、情报引擎、以及攻击来源引擎,所述规则引擎配置为利用监控规则对所述协议数据进行规则匹配以获取第一告警信息,所述情报引擎配置为利用情报信息对所述协议数据进行情报匹配以获取第二告警信息,所述攻击来源引擎配置为将所述协议数据的来源地址与攻击来源进行匹配以获取第三告警信息,其中,所述告警信息包括所述第一告警信息、所述第二告警信息和所述第三告警信息,所述监控规则包括第一监控规则和第二监控规则,所述第一监控规则为启动所述规则引擎前设定好的监控规则,所述第一监控规则在所述规则引擎启动时自动加载,所述第二监控规则为启动所述规则引擎后用户通过可视化界面进行自定义的监控规则,所述第二监控规则通过所述动态加载机制进行加载;所述黑名单引擎配置为基于黑名单对所述协议数据进行标记以获取所述黑名单标签;所述白名单引擎配置为基于白名单对所述协议数据进行标记以获取所述白名单标签;所述动态加载机制配置为监测规则信息的变化,并重新加载规则信息,其中,所述规则信息包括所述监控规则、所述白名单、所述黑名单和所述攻击来源;所述监控模块配置为获取所述分析数据、以及所述分析数据关联的资产信息和地理信息并进行输出,所述监控模块还配置为若所述检测信息中存在所述告警信息和所述白名单标签,则判断存在误报的协议数据并突出该检测信息对应的分析数据以识别被误报的协议数据,若所述检测信息中不存在所述告警信息且存在所述黑名单标签,则判断存在漏报的协议数据并突出该检测信息对应的分析数据以识别被漏报的协议数据;所述资产管理模块配置为管理所述资产信息。在这种情况下,能够适应网络情况的变化,进而降低漏报率,另外,基于消息集群服务器对协议数据进行管理,能够降低耦合性并支持分布式部署,进而提高大数据的处理能力,降低丢包率,另外,基于告警信息、黑名单标签和白名单标签能够识别被误报或漏报的协议数据,能够进一步降低误报率或漏报率。
另外,在本公开的第一方面所涉及的告警系统中,可选地,所述第一监控规则以文件的形式存储,所述规则引擎启动时加载所述第一监控规则对应的文件以加载所述第一监控规则;所述第二监控规则基于所述动态加载机制并通过接口方式进行加载。在这种情况下,能够通过修改文件对第一监控规则进行更新,另外,通过接口的方式加载第二监控规则,能够降低耦合性。
另外,在本公开的第一方面所涉及的告警系统中,可选地,所述第一监控规则包括协议类型、规则编号、数据流向、告警内容、规则内容、评分和匹配字段;所述第二监控规则包括规则名称、规则编号、规则告警等级、匹配范围、匹配字段和匹配值。在这种情况下,对于第一监控规则,能够较全面地对监控规则进行配置,对于第二监控规则,能够较简单地进行配置。
另外,在本公开的第一方面所涉及的告警系统中,可选地,所述情报信息的恶意互联网协议地址和恶意域名以MD5加盐的方式进行存储,在所述情报引擎进行所述情报匹配时,所述情报引擎配置为对所述协议数据中的互联网协议地址和域名进行MD5加盐后再与所述情报信息的以MD5加盐的方式存储的恶意互联网协议地址和恶意域名进行匹配以获取所述第二告警信息。由此,能够降低情报信息被窃取的风险。
另外,在本公开的第一方面所涉及的告警系统中,可选地,所述告警系统还包括第二处理模块,所述第二处理模块配置为从所述消息集群服务器读取所述协议消息中的协议数据,对所述协议数据依次进行序列化和压缩处理以获取压缩协议数据。在这种情况下,能够减少协议数据的大小,后续存储时能够降低存储空间。由此,能够降低存储成本。
另外,在本公开的第一方面所涉及的告警系统中,可选地,所述第一处理模块将获得的第一预设时间内的分析数据和所述分析数据关联的资产信息和地理信息存储至第一存储单元中,所述第二处理模块将获得的第二预设时间内的压缩协议数据存储至第二存储单元中,其中,所述第一存储单元支持全文检索,所述第一预设时间小于所述第二预设时间。在这种情况下,根据使用协议数据的需求设置相应的存储时间,能够在满足实时查询的情况下,利用较少的存储空间存储较长时间的数据以支持历史的协议数据的查询。由此,能够降低存储成本。
另外,在本公开的第一方面所涉及的告警系统中,可选地,所述动态加载机制配置为当所述规则信息发生改变时,创建包括改变信息的规则改变消息,将所述规则改变消息发送至所述消息集群服务器,各个规则信息对应的监听程序监听所述消息集群服务器以发现规则改变消息,进而从所述消息集群服务器读取所述规则改变消息并基于所述规则改变消息重新加载所述规则信息,以利用重新加载的规则信息对所述协议数据进行检测以获取所述检测信息。在这种情况下,能够基于消息集群服务器重新加载规则信息。由此,能够降低耦合性。
另外,在本公开的第一方面所涉及的告警系统中,可选地,所述资产信息包括资产名称、资产地址和资产负责人信息,所述地理信息包括经纬度信息和地理名称。在这种情况下,能够在资产被攻击时,及时联系到相应的资产负责人进行处理。由此,能够降低资产被损害的风险,另外,能够直观地获得攻击来源。
另外,在本公开的第一方面所涉及的告警系统中,可选地,所述情报信息包括恶意互联网协议地址、恶意域名、矿池地址和木马文件中的至少一种。在这种情况下,能够为网络攻击行为提供更加有利的证据。
本公开的第二方面提供了一种基于动态加载机制的告警方法,是基于网络流量数据进行告警的告警方法,包括:采集所述网络流量数据并进行解析以获得协议数据,创建包括所述协议数据的协议消息并将所述协议消息发送至通过分布式方式部署且基于消息队列的消息集群服务器进行管理;从所述消息集群服务器读取所述协议消息中的协议数据,通过包括利用监控规则对所述协议数据进行规则匹配以获取第一告警信息的规则引擎、利用情报信息对所述协议数据进行情报匹配以获取第二告警信息的情报引擎、以及将所述协议数据的来源地址与攻击来源进行匹配以获取第三告警信息的攻击来源引擎的告警引擎、基于黑名单对所述协议数据进行标记以获取黑名单标签的黑名单引擎和基于白名单对所述协议数据进行标记以获取白名单标签的白名单引擎对所述协议数据进行检测以获取包括所述协议数据和检测信息的分析数据并将所述分析数据关联资产信息和地理信息,其中,若存在所述检测信息,所述检测信息包括告警信息、所述黑名单标签和所述白名单标签中的至少一种,所述告警信息包括所述第一告警信息、所述第二告警信息和所述第三告警信息,所述监控规则包括第一监控规则和第二监控规则,所述第一监控规则为启动所述规则引擎前设定好的监控规则,所述第一监控规则在所述规则引擎启动时自动加载,所述第二监控规则为启动所述规则引擎后用户通过可视化界面进行自定义的监控规则,所述第二监控规则通过用于监测规则信息的变化并重新加载规则信息的动态加载机制进行加载,所述规则信息包括所述监控规则、所述白名单、所述黑名单和所述攻击来源;并且获取所述分析数据、以及所述分析数据关联的资产信息和地理信息并进行输出,若所述检测信息中存在所述告警信息和所述白名单标签,则判断存在误报的协议数据并突出该检测信息对应的分析数据以识别被误报的协议数据,若所述检测信息中不存在所述告警信息且存在所述黑名单标签,则判断存在漏报的协议数据并突出该检测信息对应的分析数据以识别被漏报的协议数据。在这种情况下,能够适应网络情况的变化,进而降低漏报率,另外,基于消息集群服务器对协议数据进行管理,能够降低耦合性并支持分布式部署,进而提高大数据的处理能力,降低丢包率,另外,基于告警信息、黑名单标签和白名单标签能够识别被误报或漏报的协议数据,能够进一步降低误报率或漏报率。
根据本公开,提供一种能够适应网络情况的变化、降低误报率和漏报率的基于动态加载机制的告警系统及告警方法。
附图说明
现在将仅通过参考附图的例子进一步详细地解释本公开,其中:
图1是示出了本公开示例所涉及的基于动态加载机制的告警系统的应用场景图示意图。
图2是示出了本公开示例所涉及的基于动态加载机制的告警系统的框图。
图3是示出了本公开示例所涉及的处理模块的框图。
图4是示出了本公开示例所涉及的告警引擎的框图。
图5是示出了本公开示例所涉及的显示模块的框图。
图6是示出了本公开示例所涉及的基于动态加载机制的告警系统的另一种示例的框图。
图7是示出了本公开示例所涉及的基于动态加载机制的告警方法的流程图。
具体实施方式
以下,参考附图,详细地说明本公开的优选实施方式。需要说明的是,本公开中的术语“包括”和“具有”以及它们的任何变形,例如所包括或所具有的一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可以包括或具有没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。本公开所描述的所有方法可以以任何合适的顺序执行,除非在此另有指示或者与上下文明显矛盾。
本公开涉及的基于动态加载机制的告警系统及告警方法能够适应网络情况的变化、降低误报率和漏报率。本公开涉及的基于动态加载机制的告警系统有时也可以称为告警系统、监控系统、攻击检测系统、攻击告警系统或告警检测系统等。另外,本公开涉及的告警方法有时也可以称为告警方法、监控方法、攻击检测方法、攻击告警方法或告警检测方法。以下结合附图进行详细描述本公开。此外,本公开的示例描述的应用场景是为了更加清楚的说明本公开的技术方案,并不构成对于本公开提供的技术方案的限定。
图1是示出了本公开示例所涉及的基于动态加载机制117的告警系统100的应用场景图示意图。如图1所示,告警系统100可以获得经过流量汇集设备21的网络流量数据以通过监控网络流量数据识别网络攻击行为并进行告警。流量汇集设备21可以汇集组织机构内的多个流量设备22的网络流量数据。在一些示例中,组织机构内的终端设备23可以通过流量设备22和流量汇集设备21连接到互联网24并与其他连接到互联网24上的设备进行交互,进而产生网络流量数据。
在一些示例中,流量汇集设备21可以用于汇集组织机构内的网络流量数据。在一些示例中,流量汇集设备21可以用于连接到互联网24的设备。例如,流量汇集设备21可以是路由器。在一些示例中,经过流量汇集设备21的网络流量数据可以通过流量镜像的方式复制至告警系统100中。也即可以以旁路的方式获取网络流量数据。在这种情况下,通过流量镜像的方式能够在不影响原有网络的情况下,将流量汇集设备21的网络流量数据复制到告警系统100中,进而能够对网络流量数据进行检测以产生告警信息并对网络流量数据和告警信息进行监控。在一些示例中,告警系统100的网络设备例如网卡可以接收复制的网络流量数据。
在一些示例中,流量镜像可以通过包括但不限于是端口镜像(Port Monitoring)和分光器(Optical Splitter)流量采集等方式实现。
在一些示例中,流量设备22可以是组织机构内的用于区域通信例如局域网通信的设备。例如,流量设备22可以是交换机。在这种情况下,局域网内的终端设备23能够通过流量设备22进行交互。在一些示例中,局域网内的终端设备23能够通过流量设备22和流量汇集设备21连接到互联网24。但本公开的示例不限于此,在另一些示例中,终端设备23也可以直接通过流量汇集设备21连接到互联网24。
在一些示例中,终端设备23可以是组织机构内能够产生网络流量数据的设备。作为终端设备23的示例,如图1所示,终端设备23可以包括但不限于是应用服务器23a、打印机23b、个人计算机23c和数据库服务器23d等。在一些示例中,组织机构可以包括但不限于是企业单位、事业单位和社会团体等。
在一些示例中,告警系统100可以获得经过流量设备22的网络流量数据。在这种情况下,能对基于流量设备22进行交互产生的网络流量数据进行监控。在一些示例中,告警系统100可以获得流量设备22之间的网络流量数据。在这种情况下,能对流量设备22之间的网络流量数据进行监控并告警。在一些示例中,网络流量数据可以是能够连接网络的设备在网络上所产生的数据流量。在这种情况下,通过分析网络流量数据可以了解网络流量的使用情况、识别网络攻击行为和提高网络安全。
本实施方式中,告警系统100可以基于网络流量数据进行网络监控并告警。以下,结合附图详细描述本公开涉及的告警系统100。图2是示出了本公开示例所涉及的基于动态加载机制117的告警系统100的框图。
如图2所示,在一些示例中,告警系统100可以包括获取模块111。
在一些示例中,获取模块111可以配置为采集网络流量数据。在一些示例中,获取模块111可以配置为从网络设备例如网卡中获取网络流量数据。在一些示例中,从网络设备获取的网络流量数据可以是对经过流量汇集设备21的网络流量数据进行复制获得的。在一些示例中,网络设备例如网卡可以设置在用于接收复制的网络流量数据的设备上。在一些示例中,用于接收复制的网络流量数据的设备可以是服务器。
在一些示例中,获取模块111可以将从网络设备获取的网络流量数据拷贝至内核缓冲区。内核缓冲区可以是内核空间中分配一块缓冲区。在这种情况下,后续可以基于共享内存方式从内核缓冲区读取网络流量数据进行解析,进而减少拷贝和系统调用。由此,能够提高网络流量数据的采集效率和降低丢包率。
在一些示例中,获取模块111还可以配置为对网络流量数据进行解析以获得协议数据。在一些示例中,获取模块111可以从内核缓冲区读取网络流量数据。在这种情况下,能够减少拷贝和系统调用。由此,能够提高网络流量数据的采集效率和降低丢包率。在一些示例中,可以基于共享内存方式从内核缓冲区读取网络流量数据。具体地,获取模块111可以将用户空间映射到内核缓冲区以能够直接从内核缓冲区中读取网络流量数据。在一些示例中,可以通过mmap函数共享内存。也即,可以通过mmap函数将用户空间映射到内核缓冲区。
在一些示例中,获取模块111可以配置为对网络流量数据进行解析以获得协议数据。如上所述,网络流量数据可以从内核缓冲区读取。但本公开的示例不限于此,在另一些示例中,网络流量数据也可以从用户空间读取。在另一些示例中,网络流量数据可以是存储在存储介质例如硬盘上的数据。
在一些示例中,协议数据可以包括不同协议的字段。作为示例,不同协议例如可以为协议版本4(Internet Protocol version 4,IPv4)、互联网协议第6版(InternetProtocol Version 6,IPv6)、传输控制协议(Transmission Control Protocol,TCP)、用户数据报协议(User Datagram Protocol,UDP)或点对点协议(Point to Point Protocol,PPP)、超文本传输协议(HyperTextTransferProtocol,HTTP)、文件传输协议(FileTransfer Protocol,FTP)等,不同协议的字段例如可以包括来源地址和目的地址。在一些示例中,协议数据可以具有接收时间。在一些示例中,接收时间可以是获取模块111获得网络流量数据的时间。
在一些示例中,获取模块111可以配置为创建协议消息并将协议消息发送至消息集群服务器112。协议消息可以包括协议数据。在一些示例中,可以将协议消息发送至消息集群服务器112。
如图2所示,在一些示例中,告警系统100可以包括消息集群服务器112。消息集群服务器112可以接收和存储包括协议数据的协议消息。也即,消息集群服务器112可以对协议消息进行管理。
在一些示例中,消息集群服务器112可以是基于消息队列对协议消息进行管理的集群。具体地,消息集群服务器112可以通过消息队列接收协议消息、存储协议消息、以及提供协议消息。在这种情况下,通过消息集群服务器112对协议消息进行统一管理,能够降低耦合性。在一些示例中,消息集群服务器112可以为处理模块113(稍后描述)提供协议消息中的协议数据。
在一些示例中,消息集群服务器112可以运行一个或多个分布式系统。也即,消息集群服务器112可以通过分布式方式部署。由此,能够对大数据量的网络流量数据进行处理。在一些示例中,消息集群服务器112可以通过生产者、消费者的模式对协议消息进行管理。例如,获取模块111可以为协议消息的生产者,使用协议消息的模块或程序可以为协议消息的消费者。在一些示例中,处理模块113可以为协议消息的消费者。在一些示例中,消息集群服务器112可以基于kafka集群实现。
图3是示出了本公开示例所涉及的处理模块113的框图。如图2所示,在一些示例中,告警系统100可以包括处理模块113。处理模块113可以对协议消息中的协议数据进行处理以获取分析数据、分析数据关联的资产信息和地理信息(可以简称为关联数据)、和/或压缩协议数据。
在一些示例中,处理模块113可以包括第一处理模块113a(参见图3)。第一处理模块113a可以配置为对协议数据进行检测以获取分析数据。在一些示例中,第一处理模块113a可以配置为从消息集群服务器112读取协议消息中协议数据。也即,消息集群服务器112可以为第一处理模块113a提供协议消息中的协议数据。
如图2所示,在一些示例中,告警系统100可以包括告警引擎114、黑名单引擎115和白名单引擎116中的至少一种引擎。
在一些示例中,第一处理模块113a可以通过告警引擎114、黑名单引擎115和白名单引擎116对协议数据进行检测以获取分析数据。
在一些示例中,分析数据可以包括协议数据和检测信息。检测信息可以基于告警引擎114、黑名单引擎115和白名单引擎116获得。在一些示例中,若存在检测信息(也即检测信息不为空值),检测信息可以包括告警信息、黑名单标签和白名单标签中的至少一种。在一些示例中,检测信息还可以包括总评分和/或告警等级。总评分和/或告警等级可以由评分模块120(稍后描述)获得。
在一些示例中,第一处理模块113a可以通过告警引擎114对协议数据进行检测以获取告警信息。也即,告警引擎114可以用于获取告警信息。
图4是示出了本公开示例所涉及的告警引擎114的框图。如图4所示,在一些示例中,告警引擎114可以包括规则引擎114a、情报引擎114b、以及攻击来源引擎114c。在一些示例中,规则引擎114a可以具有监控规则。在一些示例中,情报引擎114b可以具有情报信息。在一些示例中,攻击来源引擎114c可以用于检测攻击来源。在这种情况下,能够较全面地对协议数据进行检测。由此,能够减低漏报率。
如上所述,在一些示例中,告警引擎114可以包括规则引擎114a。在一些示例中,规则引擎114a可以配置为管理监控规则。在一些示例中,规则引擎114a可以配置为利用监控规则对协议数据进行规则匹配以获取第一告警信息。在一些示例中,若存在第一告警信息,第一告警信息的数量可以大于等于1。在一些示例中,可以利用多条监控规则对协议数据进行规则匹配以获取一个或多个第一告警信息。
在一些示例中,管理监控规则可以包括新增监控规则、修改监控规则和删除监控规则。在一些示例中,监控规则可以用于对协议数据中的字段的值进行匹配以获取第一告警信息。由此,能够获得符合监控规则的协议数据。在一些示例中,监控规则可以具有评分。在这种情况下,基于监控规则的评分能够获取与该监控规则对应的第一告警信息的评分,进而能够获得协议数据的总评分和/或告警等级。
在一些示例中,监控规则可以包括第一监控规则和第二监控规则。在一些示例中,第一监控规则可以为预先定义好的监控规则(也可以称为内置监控规则)。在一些示例中,第一监控规则可以为启动规则引擎114a前设定好的监控规则。在一些示例中,第一监控规则可以在规则引擎114a启动时自动加载。在一些示例中,第一监控规则可以由开发人员进行管理。在一些示例中,第二监控规则可以为启动规则引擎114a后用户例如网络安全负责人通过可视化界面例如浏览器界面进行自定义的监控规则(也可以称为用户自定义规则)。在一些示例中,第二监控规则可以通过动态加载机制117(稍后描述)加载。在这种情况下,根据管理监控规则的对象对监控规则进行分类和管理,能够较好地满足网络监控的需求。另外,还支持动态加载用户自定义的监控规则,能够适应网络情况的变化。由此,能够降低误报率和漏报率且方便管理监控规则。
在一些示例中,第一监控规则可以包括协议类型、规则编号、数据流向、告警内容、规则内容、评分和匹配字段。在一些示例中,第一监控规则还可以包括告警标识、规则内容匹配时是否区分大小写的标识、规则版本、规则创建时间和规则更新时间。由此,能够较全面地对监控规则进行配置。
另外,协议类型可以为不同的协议。例如协议类型可以为上述的HTTP、FTP或PPP等。另外,规则编号可以唯一标识一条监控规则。
另外,数据流向可以表示监控规则对应的网络流量数据的流向、来源地址和目的地址。在一些示例中,网络流量数据的流向可以包括外网至内网、和内网至外网两个流向。在一些示例中,来源地址和目的地址可以分别包括互联网协议地址(Internet ProtocolAddress,IP地址)和端口。在一些示例中,来源地址和目的地址可以为域名。在一些示例中,若不设置网络流量数据的流向可以则表示不限制流向。与网络流量数据的流向类似,若不设置来源地址、目的地址、或来源地址和目的地址对应的IP地址和端口则可以表示不限制对应的设置。
另外,告警内容可以为监控规则的描述信息。作为告警内容的示例,例如告警内容可以为“疑似尝试sql注入行为”。在一些示例中,第一告警信息可以包括告警内容。
另外,规则内容可以用于判断协议数据中的字段的值是否存在符合规则内容对应的格式的数据。在一些示例中,规则内容可以是正则表达式。在这种情况下,能够通过判断协议数据中的字段的值是否与正则表达式匹配,以判断是否符合规则内容对应的格式的数据。在一些示例中,规则内容可以是固定的字符串。在这种情况下,能够通过判断协议数据中的字段的值是否存在该固定的字符串,以判断是否符合规则内容对应的格式的数据。
另外,匹配字段可以为协议数据中的字段。作为匹配字段的示例,例如Http协议对应的协议数据中的匹配字段可以为http_uri。另外,告警标识可以标识监控规则是否会产生告警。
在一些示例中,第一监控规则可以以文件的形式存储。在这种情况下,在规则引擎114a配置启动时,能够通过加载第一监控规则对应的文件以加载第一监控规则。在这种情况下,能够通过修改文件对第一监控规则进行更新。
在一些示例中,第二监控规则可以包括规则名称、规则编号、规则告警等级、匹配范围、匹配字段和匹配值。由此,能够较简单地对第二监控规则进行配置。除非特别说明,第二监控规则中与第一监控规则中相同的配置例如规则编号均适用于第二监控规则,参照第一监控规则中的相关描述。
在一些示例中,规则告警等级可以包括危急、高危、中危和低危。由此,能够更直观地获得第二监控规则对应的危急程度。在一些示例中,规则告警等级可以与评分相对应。也即,规则告警等级与评分之间可以相互转化。例如,若评分取值范围为0至12分,则可以令10至12分对应危急、7至9分对应高危、4至6分对应中危、1至3分对应低危。在一些示例中,规则告警等级转为评分时,规则告警等级可以对应相应范围的中位数。例如危急可以对应10至12分这个范围的中位数,也即危急可以对应11分。由此,规则告警等级与评分能够相互转化。在一些示例中,第二监控规则的匹配范围可以包括全网、内网和外网。匹配范围为全网可以匹配全部来源地址。匹配范围为内网可以匹配来源地址为内网的地址。匹配范围为外网可以匹配来源地址为外网的地址。在一些示例中,第二监控规则的匹配值可以为固定的字符串。由此,能够方便用户对第二监控规则进行配置。
在一些示例中,第二监控规则可以基于动态加载机制117并通过接口方式进行加载。例如,基于动态加载机制117加载第二监控规则时,可以以restful接口的方式进行加载。在这种情况下,通过接口的方式加载第二监控规则,能够降低耦合性。
如上所述,在一些示例中,告警引擎114可以包括情报引擎114b。在一些示例中,情报引擎114b可以配置为管理情报信息。在一些示例中,情报引擎114b可以配置为利用情报信息对协议数据进行情报匹配以获取第二告警信息。在一些示例中,若存在第二告警信息,第二告警信息的数量可以大于等于1。在一些示例中,可以利用多条情报信息对协议数据进行情报匹配以获取一个或多个第二告警信息。
在一些示例中,管理情报信息可以包括新增情报信息、修改情报信息和删除情报信息。在一些示例中,情报信息可以包括恶意互联网协议地址、恶意域名、矿池地址和木马文件中的至少一种。在这种情况下,能够为网络攻击行为提供更加有利的证据。在一些示例中,情报信息可以用于对协议数据进行匹配。由此,能够获得符合情报信息的协议数据。在一些示例中,情报信息可以具有评分。在这种情况下,基于情报信息的评分获取与该情报信息对应的第二告警信息的评分,进而能够获得协议数据的总评分和/或告警等级。
在一些示例中,情报信息的类型可以包括开源情报、商业情报和自研情报。开源情报可以为公开的情报。商业情报可以为需要付费才能获得的情报。自研情报可以为自主研发的情报。在这种情况下,能够支持多种类型的情报的匹配,能够为网络攻击行为提供更加有利的证据。由此,能够降低漏报率。在一些示例中,自研情报可以支持以restful接口的形式获取。
在一些示例中,情报信息的恶意互联网协议地址和恶意域名可以以MD5加盐的方式进行存储。在一些示例中,在情报引擎114b进行情报匹配时,情报引擎114b可以配置为对协议数据中的互联网协议地址和域名进行MD5加盐后,再与情报信息的以MD5加盐的方式存储的恶意互联网协议地址和恶意域名进行匹配以获取第二告警信息。由此,能够降低情报信息被窃取的风险。
如上所述,在一些示例中,告警引擎114可以包括攻击来源引擎114c。在一些示例中,攻击来源引擎114c可以配置为管理攻击来源。在一些示例中,攻击来源引擎114c可以配置为将协议数据的来源地址与攻击来源进行匹配以获取第三告警信息。在一些示例中,攻击来源可以包括攻击互联网协议地址和攻击域名。
在一些示例中,管理攻击来源可以包括新增攻击来源、修改攻击来源和删除攻击来源。在一些示例中,攻击来源可以具有评分。在这种情况下,基于攻击来源的评分获取与该攻击来源对应的第三告警信息的评分,进而能够获得协议数据的总评分和/或告警等级。
如上所述,第一处理模块113a可以通过告警引擎114对协议数据进行检测以获取告警信息,告警引擎114可以包括规则引擎114a、情报引擎114b、以及攻击来源引擎114c。在这种情况下,告警信息可以包括第一告警信息、第二告警信息和第三告警信息。但本公开的示例不限于此,在另一些示例中,第一处理模块113a可以选择告警引擎114中的任意一个或多个引擎对协议数据进行分析以获取告警信息。在这种情况下,告警信息可以包括第一告警信息、第二告警信息和第三告警信息中的至少一种。
在一些示例中,第一处理模块113a可以通过黑名单引擎115对协议数据进行检测以获取黑名单标签。在一些示例中,黑名单引擎115可以基于黑名单获取黑名单标签。在一些示例中,黑名单引擎115可以配置为管理黑名单。在一些示例中,黑名单引擎115可以配置为基于黑名单对协议数据进行标记以获取黑名单标签。在这种情况下,能够管理黑名单并利用黑名单对协议数据进行标记。由此,后续能够基于黑名单识别是否存在漏报的情况。
在一些示例中,黑名单可以包括匹配字段和匹配值。匹配字段可以为协议数据中的字段。作为示例,例如匹配字段可以为协议数据中的来源地址。来源地址例如可以为协议数据来源的互联网协议地址或协议数据来源的域名。在一些示例中,匹配值可以为固定的字符串。具体地,若协议数据中的字段与黑名单的匹配字段一致,且协议数据中的字段的值存在黑名单的匹配值,则可以对协议数据进行标记以获取黑名单标签。
在一些示例中,具有黑名单标签的协议数据(也即被标记为黑名单的协议数据)可以表示对应的协议数据存在网络攻击行为。如上所述,检测信息可以包括黑名单标签。在一些示例中,若分析数据中的检测信息中不存在告警信息且存在黑名单标签(也即存在被标识为黑名单却未产生告警信息的协议数据),则可以判断存在被漏报的协议数据。由此,能够识别被漏报的协议数据。在一些示例中,针对漏报的协议数据可以通过告警引擎114配置相应的监控规则、情报信息或攻击来源以识别漏报的协议数据。在这种情况下,通过黑名单引擎115能够识别是否存在漏报的情况,进而调整告警引擎114。由此,能够降低漏报率。
在一些示例中,第一处理模块113a可以通过白名单引擎116对协议数据进行检测以获取白名单标签。在一些示例中,白名单引擎116可以基于白名单获取白名单标签。在一些示例中,白名单引擎116可以配置为管理白名单。在一些示例中,白名单引擎116可以配置为基于白名单对协议数据进行标记以获取白名单标签。在这种情况下,能够管理白名单并利用白名单对协议数据进行标记。由此,后续能够基于白名单识别是否存在误报的情况。
在一些示例中,白名单可以包括匹配字段和匹配值。匹配字段可以为协议数据中的字段。作为示例,例如匹配字段可以为协议数据中的来源地址。在一些示例中,匹配值可以为固定的字符串。具体地,若协议数据中的字段与白名单的匹配字段一致,且协议数据中的字段的值存在白名单的匹配值,则可以对协议数据进行标记以获取白名单标签。
在一些示例中,具有白名单标签的协议数据(也即被标记为白名单的协议数据)可以表示对应的协议数据不存在网络攻击行为。如上所述,检测信息可以包括白名单标签。在一些示例中,若检测信息中存在告警信息和白名单标签(也即存在被标识为白名单却产生告警信息的协议数据),则可以判断存在被误报的协议数据。由此,能够识别被误报的协议数据。在一些示例中,针对误报的协议数据可以通过告警引擎114配置监控规则、情报信息或攻击来源以识别被误报的协议数据。在这种情况下,通过白名单引擎116能够识别是否存在误报的情况,进而调整告警引擎114。由此,能够降低误报率。
在一些示例中,第一处理模块113a还可以配置为将分析数据关联资产信息和地理信息。由此,能够直观地获得被攻击的资产以及攻击来源。
在一些示例中,第一处理模块113a可以配置为将分析数据关联资产信息。在一些示例中,资产信息可以包括资产名称、资产地址和资产负责人信息。在这种情况下,能够在资产被攻击时,及时联系到相应的资产负责人进行处理。由此,能够降低资产被损害的风险。在一些示例中,可以通过资产地址关联分析数据中的来源地址和/或目的地址(也即协议数据中的来源地址和/或目的地址)以使分析数据关联资产信息。
在一些示例中,第一处理模块113a可以配置为将分析数据关联地理信息。在一些示例中,地理信息可以包括经纬度信息和地理名称。由此,能够直观地获得攻击来源。在一些示例中,可以通过分析数据中的来源地址和/或目的地址(也即协议数据中的来源地址和/或目的地址)获取地理信息以使分析数据关联地理信息。例如,可以通过来源地址中的互联网协议地址或域名获取地理信息。
在一些示例中,第一处理模块113a还可以配置为将分析数据关联资产信息和地理信息后进行存储。也即,第一处理模块113a可以将分析数据、以及分析数据关联的资产信息和地理信息(也可以称为关联信息)进行存储。
在一些示例中,处理模块113可以包括第二处理模块113b(参见图3)。第二处理模块113b可以配置为对协议数据依次进行序列化和压缩处理以获取压缩协议数据。在这种情况下,能够减少协议数据的大小,后续存储时能够降低存储空间。由此,能够降低存储成本。
在一些示例中,可以利用avro中间件对协议数据进行序列化。由此,能够获得二进制形式的协议数据。在一些示例中,可以利用snappy算法对序列化后的协议数据进行压缩。由此,能够提高压缩的效率。
在一些示例中,第二处理模块113b可以配置为从消息集群服务器112读取协议消息中的协议数据。也即,消息集群服务器112可以为第二处理模块113b提供协议消息中的协议数据。在一些示例中,第二处理模块113b还可以配置为对压缩协议数据进行存储。
如图2所示,在一些示例中,告警系统100还可以包括动态加载机制117。动态加载机制117可以配置为监测规则信息的变化,并重新加载规则信息。在一些示例中,规则信息可以包括监控规则、白名单、黑名单和攻击来源中的至少一种。由此,能够动态加载多种规则信息。
具体地,在动态加载机制117中,当规则信息发生改变时,可以创建包括改变信息的规则改变消息,将规则改变消息发送至消息集群服务器112,各个规则信息对应的监听程序监听所述消息集群服务器112以发现规则改变消息,进而可以从消息集群服务器112读取规则改变消息并基于规则改变消息重新加载规则信息,以利用重新加载的规则信息对协议数据进行检测以获取检测信息。在这种情况下,能够基于消息集群服务器112重新加载规则信息。由此,能够降低耦合性。在一些示例中,可以通过接口的方式例如restful接口的方式重新加载规则信息。
在一些示例中,各个规则信息对应的监听程序可以为规则引擎114a、黑名单引擎115、白名单引擎116和攻击来源引擎114c等各个引擎中设置的监听程序。例如,规则引擎114a中设置的监听程序可以从消息集群服务器112读取规则改变消息并基于规则改变消息重新加载监控规则例如第二监控规则,以利用重新加载的监控规则对协议数据进行检测以获取第一告警信息。其他引擎类似,此处不再赘述。
在一些示例中,第一处理模块113a获得的分析数据和/或关联信息和第二处理模块113b获得的压缩协议数据可以存储至同一个存储单元中。
在一些示例中,第一处理模块113a获得的分析数据和/或关联信息和第二处理模块113b获得的压缩协议数据可以分别存储至不同的存储单元中。具体地,第一处理模块113a可以将获得的分析数据和/或关联信息存储至第一存储单元中。第二处理模块113b可以将获得的压缩协议数据存储至第二存储单元中。在一些示例中,第一存储单元或第二存储单元可以通过分布式方式部署。由此,能够支持海量数据的存储。
在一些示例中,第一存储单元和第二存储单元可以存储不同时间范围内的数据。例如,第一存储单元可以存储近期内用于实时监控的分析数据、以及关联信息,第二存储单元可以存储历史的压缩协议数据以支持流量回放。具体地,第一存储单元可以存储第一预设时间内的分析数据、以及关联信息。第二存储单元可以存储第二预设时间内的压缩协议数据。在一些示例中,第一预设时间可以小于第二预设时间。在这种情况下,根据使用协议数据的需求设置相应的存储时间,能够在满足实时查询的情况下,利用较少的存储空间存储较长时间的数据以支持历史的协议数据的查询。由此,能够降低存储成本。
在一些示例中,第一预设时间可以小于等于半年。在一些示例中,第一存储单元可以删除超过第一预设时间的分析数据。在这种情况下,存储较短时间范围内的分析数据、以及分析数据关联的资产信息和地理信息,在满足实时数据查询的情况下,能够降低存储成本。在一些示例中,第二预设时间可以大于等于1年。在这种情况下,存储较长时间范围内的压缩协议数据,在尽量降低存储成本的情况下,能够支持对实时性要求不太高的历史的协议数据的查询。
在一些示例中,第一存储单元可以支持全文检索。由此,能够更有利于对分析数据进行实时查询。在一些示例中,第一存储单元可以基于elasticsearch对分析数据以及关联信息进行存储。在这种情况下,能够支持全文检索。由此,能够方便地对分析数据进行实时查询。在一些示例中,第二存储单元可以是分布式文件系统。在这种情况下,能够利用较低配置的硬件进行承载。由此,能够降低存储成本。在一些示例中,第二存储单元可以基于Hadoop分布式文件系统(Hadoop Distributed File System,HDFS)对压缩协议数据进行存储。在这种情况下,能够支持海量压缩协议数据的存储。
在一些示例中,在第二存储单元中,压缩协议数据可以基于压缩协议数据的接收时间(也可以称为协议数据的接收时间)存储在相应的存储空间例如文件夹中,各个存储空间可以用于存储相应时间范围内的压缩协议数据。也即,压缩协议数据可以按接收时间存储到相应的存储空间。在这种情况下,后续能够根据查询时间定位到相应的存储空间,进而能够获得查询时间对应的时间范围内的压缩协议数据并进行流量回放。
图5是示出了本公开示例所涉及的显示模块118的框图。如图2所示,在一些示例中,告警系统100可以包括显示模块118。显示模块118可以显示分析数据以及关联信息、和/或对压缩协议数据进行流量回放。
在一些示例中,显示模块118可以包括监控模块118a(参见图5)。监控模块118a可以配置为获取分析数据以及关联信息并进行输出。由此,能够基于较全面的信息进行网络监控以识别网络攻击行为。在一些示例中,监控模块118a可以配置为获取分析数据以及关联信息并进行输出。在一些示例中,监控模块118a可以配置为从第一存储单元获取分析数据以及关联信息并进行输出。在这种情况下,能够实时且快速地查询较短的时间范围内分析数据、以及分析数据关联的资产信息和地理信息。由此,能够快速地识别网络攻击行为。但本公开的示例不限于此,在另一些示例中,监控模块118a也可以配置为获取分析数据并进行输出。
如上所述,检测信息可以包括告警信息、黑名单标签和白名单标签中的至少一种。在一些示例中,监控模块118a还配置为突出被误报的协议数据和/或被漏报的协议数据。
具体地,若分析数据中的检测信息中存在告警信息和白名单标签(也即存在被标识为白名单却产生告警信息的协议数据),则可以判断存在误报的协议数据并突出该检测信息对应的分析数据以识别被误报的协议数据。若分析数据中的检测信息中不存在告警信息且存在黑名单标签(也即存在被标识为黑名单却未产生告警信息的协议数据),则可以判断存在漏报的协议数据并突出该检测信息对应的分析数据以识别被漏报的协议数据。由此,能够基于白名单识别被误报的协议数据和基于黑名单识别被漏报的协议数据。在一些示例中,可以利用不同的颜色突出被误报的协议数据或被漏报的协议数据。在一些示例中,可以利用不同的图标突出被误报的协议数据或被漏报的协议数据。
在一些示例中,显示模块118可以包括流量回放模块118b(参见图5)。流量回放模块118b可以配置为获取压缩协议数据并进行检测以获取分析数据和/或关联信息并输出。由此,能够对压缩协议数据进行流量回放。
在一些示例中,在流量回放模块118b中,可以对压缩协议数据进行解压和反序列化处理以获取协议数据,然后对协议数据进行检测以获取分析数据和/或关联信息。在一些示例中,可以利用snappy算法对压缩协议数据进行压缩以获取解压后的压缩协议数据。在一些示例中,可以利用avro中间件对解压后的压缩协议数据进行反序列化。
在一些示例中,在流量回放模块118b中,可以利用第一处理模块113a对协议数据进行检测以获取分析数据和/或关联信息。在一些示例中,压缩协议数据可以从第二存储单元获取。在这种情况下,能够在较低存储成本的情况下,支持历史的协议数据的查询。具体地,可以从第二存储单元获取预设时间范围内的压缩协议数据,对该压缩协议数据进行解压和反序列化处理以获取协议数据,利用第一处理模块113a对协议数据进行关联信息以获取分析数据、以及关联信息并进行输出。在一些示例中,预设时间范围可以包括起始时间和结束时间。由此,能够查询起始时间至结束时间内的压缩协议数据。
图6是示出了本公开示例所涉及的基于动态加载机制117的告警系统100的另一种示例的框图。如图6所示,在一些示例中,告警系统100可以包括资产管理模块119。资产管理模块119可以配置为管理资产信息。在一些示例中,管理资产信息可以包括新增资产信息、修改资产信息和删除资产信息。在一些示例中,资产可以是对组织机构具有价值的资源且作为安全策略保护的对象。例如,资产可以是组织机构内的信息系统或硬件设备。在一些示例中,根据资产的表现形式,可以将资产分为数据、软件、硬件、服务和人员等类型。
如图6所示,在一些示例中,告警系统100可以包括评分模块120。评分模块120可以配置为获取分析数据的告警信息中的评分并进行汇总以获取总评分。
如上所述,告警信息可以包括第一告警信息、第二告警信息和第三告警信息中的至少一种。第一告警信息、第二告警信息、第三告警信息可以分别具有评分。在一些示例中,可以基于第一告警信息、第二告警信息和第三告警信息中的至少一种告警信息的评分进行汇总以获取总评分。
在一些示例中,在进行汇总中,可以获取评分最高的第一告警信息的评分作为第一评分,可以获取评分最高的第二告警信息的评分作为第二评分,可以将第三告警信息的评分作为第三评分。在一些示例中,可以基于第一评分、第二评分和第三评分获取总评分。在这种情况下,能够对分析数据对应的危急程度进行量化。由此,能够方便且快速地识别出危急程度高的网络攻击行为。在一些示例中,可以对第一评分、第二评分和第三评分进行加权求和以获取总评分。在一些示例中,可以对第一评分、第二评分和第三评分进行求和以获取总评分。但本公开的示例不限与此,在另一些示例中,可以基于第一评分、第二评分和第三评分中的至少一种评分获取总评分。例如可以将第一评分作为总评分,又例如可以对第一评分和第二评分进行求和以获取总评分。
在一些示例中,评分模块120还可以配置为基于总评分获取分析数据对应的告警等级。由此,能够直观地获得分析数据对应的危急程度。在一些示例中,告警等级可以包括危急、高危、中危和低危。告警等级与总评分的对应关系可以参见第二监控规则中的规则告警等级与评分相互转换的相关描述。
以下,结合图7详细描述本公开的基于动态加载机制117的告警方法。告警方法应用于上述的告警系统100中。除非特别说明,告警系统100涉及的相关描述均适用于告警方法。图7是示出了本公开示例所涉及的基于动态加载机制117的告警方法的流程图。
在一些示例中,如图7所示,告警方法可以获取网络流量数据进行解析以获得协议数据,将包括协议数据的协议消息发送至基于消息队列的消息集群服务器112进行管理(步骤S110)。在一些示例中,可以从网络设备中获取网络流量数据。在一些示例中,可以对网络流量数据进行解析以获得协议数据。在一些示例中,可以将包括协议数据的协议消息发送至基于消息队列的消息集群服务器112。在一些示例中,消息集群服务器112可以通过分布式方式部署。在一些示例中,可以创建包括协议数据的协议消息并将协议消息发送至消息集群服务器112进行管理。具体描述可以参见获取模块111和消息集群服务器112的相关描述。
在一些示例中,如图7所示,告警方法可以包括对协议数据进行检测以获取分析数据、以及分析数据关联的资产信息和地理信息(步骤S120)。在一些示例中,在步骤S120中,可以从消息集群服务器112读取协议消息中的协议数据。在一些示例中,可以通过告警引擎114、黑名单引擎115和白名单引擎116对协议数据进行检测以获取分析数据。在一些示例中,分析数据可以包括协议数据和检测信息。在一些示例中,若存在检测信息,检测信息可以包括告警信息、黑名单标签和白名单标签中的至少一种。在一些示例中,分析数据可以与资产信息和地理信息进行关联以获得分析数据关联的资产信息和地理信息。具体描述可以参见告警引擎114、黑名单引擎115、白名单引擎116以及第一处理模块113a的相关描述。
在一些示例中,如图7所示,告警方法可以包括获取分析数据和分析数据关联的资产信息和地理信息并输出以及基于分析数据识别被误报或漏报的协议数据(步骤S130)。在一些示例中,若检测信息中存在告警信息和白名单标签,则可以判断存在误报的协议数据并突出该检测信息对应的分析数据以识别被误报的协议数据。在一些示例中,若检测信息中不存在告警信息且存在黑名单标签,则可以判断存在漏报的协议数据并突出该检测信息对应的分析数据以识别被漏报的协议数据。具体描述可以参见监控模块118a的相关描述。
本公开的告警系统100及告警方法采集网络流量数据并进行解析以获得协议数据,通过分布式部署的基于消息队列的消息集群服务器112对包括协议数据的协议消息进行管理,对于消息集群服务器112中的协议数据,基于规则信息以及情报信息对协议数据进行检测以获分析数据以及分析数据关联的资产信息和地理信息并支持规则信息的动态加载。在这种情况下,能够适应网络情况的变化,进而降低漏报率,另外,基于消息集群服务器112对协议数据进行管理,能够降低耦合性并支持分布式部署,进而提高大数据的处理能力,降低丢包率,另外,基于告警信息、黑名单标签和白名单标签能够识别被误报或漏报的协议数据,能够进一步降低误报率或漏报率。
虽然以上结合附图和实施方式对本发明进行了具体说明,但是可以理解,上述说明不以任何形式限制本发明。本领域技术人员在不偏离本发明的实质精神和范围的情况下可以根据需要对本发明进行变形和变化,这些变形和变化均落入本发明的范围内。
Claims (10)
1.一种基于动态加载机制的告警系统,其特征在于,是基于网络流量数据进行告警的告警系统,包括获取模块、基于消息队列的消息集群服务器、第一处理模块、告警引擎、黑名单引擎、白名单引擎、动态加载机制、监控模块以及资产管理模块;所述获取模块配置为采集所述网络流量数据并进行解析以获得协议数据,创建包括所述协议数据的协议消息并将所述协议消息发送至所述消息集群服务器;所述消息集群服务器配置为通过分布式方式部署,用于接收所述协议消息、存储所述协议消息、以及为所述第一处理模块提供所述协议消息中的协议数据;所述第一处理模块配置为从所述消息集群服务器读取所述协议消息中的协议数据,通过所述告警引擎、所述黑名单引擎和所述白名单引擎对所述协议数据进行检测以获取包括所述协议数据和检测信息的分析数据并将所述分析数据关联资产信息和地理信息,其中,若存在所述检测信息,所述检测信息包括告警信息、黑名单标签和白名单标签中的至少一种;所述告警引擎包括规则引擎、情报引擎、以及攻击来源引擎,所述规则引擎配置为利用监控规则对所述协议数据进行规则匹配以获取第一告警信息,所述情报引擎配置为利用情报信息对所述协议数据进行情报匹配以获取第二告警信息,所述攻击来源引擎配置为将所述协议数据的来源地址与攻击来源进行匹配以获取第三告警信息,其中,所述告警信息包括所述第一告警信息、所述第二告警信息和所述第三告警信息,所述监控规则包括第一监控规则和第二监控规则,所述第一监控规则为启动所述规则引擎前设定好的监控规则,所述第一监控规则在所述规则引擎启动时自动加载,所述第二监控规则为启动所述规则引擎后用户通过可视化界面进行自定义的监控规则,所述第二监控规则通过所述动态加载机制进行加载;所述黑名单引擎配置为基于黑名单对所述协议数据进行标记以获取所述黑名单标签;所述白名单引擎配置为基于白名单对所述协议数据进行标记以获取所述白名单标签;所述动态加载机制配置为监测规则信息的变化,并重新加载规则信息,其中,所述规则信息包括所述监控规则、所述白名单、所述黑名单和所述攻击来源;所述监控模块配置为获取所述分析数据、以及所述分析数据关联的资产信息和地理信息并进行输出,所述监控模块还配置为若所述检测信息中存在所述告警信息和所述白名单标签,则判断存在误报的协议数据并突出该检测信息对应的分析数据以识别被误报的协议数据,若所述检测信息中不存在所述告警信息且存在所述黑名单标签,则判断存在漏报的协议数据并突出该检测信息对应的分析数据以识别被漏报的协议数据;所述资产管理模块配置为管理所述资产信息。
2.根据权利要求1所述的告警系统,其特征在于:
所述第一监控规则以文件的形式存储,所述规则引擎启动时加载所述第一监控规则对应的文件以加载所述第一监控规则;所述第二监控规则基于所述动态加载机制并通过接口方式进行加载。
3.根据权利要求1所述的告警系统,其特征在于:
所述第一监控规则包括协议类型、规则编号、数据流向、告警内容、规则内容、评分和匹配字段;所述第二监控规则包括规则名称、规则编号、规则告警等级、匹配范围、匹配字段和匹配值。
4.根据权利要求1所述的告警系统,其特征在于:
所述情报信息的恶意互联网协议地址和恶意域名以MD5加盐的方式进行存储,在所述情报引擎进行所述情报匹配时,所述情报引擎配置为对所述协议数据中的互联网协议地址和域名进行MD5加盐后再与所述情报信息的以MD5加盐的方式存储的恶意互联网协议地址和恶意域名进行匹配以获取所述第二告警信息。
5.根据权利要求1所述的告警系统,其特征在于:
所述告警系统还包括第二处理模块,所述第二处理模块配置为从所述消息集群服务器读取所述协议消息中的协议数据,对所述协议数据依次进行序列化和压缩处理以获取压缩协议数据。
6.根据权利要求5所述的告警系统,其特征在于:
所述第一处理模块将获得的第一预设时间内的分析数据和所述分析数据关联的资产信息和地理信息存储至第一存储单元中,所述第二处理模块将获得的第二预设时间内的压缩协议数据存储至第二存储单元中,其中,所述第一存储单元支持全文检索,所述第一预设时间小于所述第二预设时间。
7.根据权利要求1所述的告警系统,其特征在于:
所述动态加载机制配置为当所述规则信息发生改变时,创建包括改变信息的规则改变消息,将所述规则改变消息发送至所述消息集群服务器,各个规则信息对应的监听程序监听所述消息集群服务器以发现规则改变消息,进而从所述消息集群服务器读取所述规则改变消息并基于所述规则改变消息重新加载所述规则信息,以利用重新加载的规则信息对所述协议数据进行检测以获取所述检测信息。
8.根据权利要求1所述的告警系统,其特征在于:
所述资产信息包括资产名称、资产地址和资产负责人信息,所述地理信息包括经纬度信息和地理名称。
9.根据权利要求1所述的告警系统,其特征在于:
所述情报信息包括恶意互联网协议地址、恶意域名、矿池地址和木马文件中的至少一种。
10.一种基于动态加载机制的告警方法,其特征在于,是基于网络流量数据进行告警的告警方法,包括:采集所述网络流量数据并进行解析以获得协议数据,创建包括所述协议数据的协议消息并将所述协议消息发送至通过分布式方式部署且基于消息队列的消息集群服务器进行管理;从所述消息集群服务器读取所述协议消息中的协议数据,通过包括利用监控规则对所述协议数据进行规则匹配以获取第一告警信息的规则引擎、利用情报信息对所述协议数据进行情报匹配以获取第二告警信息的情报引擎、以及将所述协议数据的来源地址与攻击来源进行匹配以获取第三告警信息的攻击来源引擎的告警引擎、基于黑名单对所述协议数据进行标记以获取黑名单标签的黑名单引擎和基于白名单对所述协议数据进行标记以获取白名单标签的白名单引擎对所述协议数据进行检测以获取包括所述协议数据和检测信息的分析数据并将所述分析数据关联资产信息和地理信息,其中,若存在所述检测信息,所述检测信息包括告警信息、所述黑名单标签和所述白名单标签中的至少一种,所述告警信息包括所述第一告警信息、所述第二告警信息和所述第三告警信息,所述监控规则包括第一监控规则和第二监控规则,所述第一监控规则为启动所述规则引擎前设定好的监控规则,所述第一监控规则在所述规则引擎启动时自动加载,所述第二监控规则为启动所述规则引擎后用户通过可视化界面进行自定义的监控规则,所述第二监控规则通过用于监测规则信息的变化并重新加载规则信息的动态加载机制进行加载,所述规则信息包括所述监控规则、所述白名单、所述黑名单和所述攻击来源;并且获取所述分析数据、以及所述分析数据关联的资产信息和地理信息并进行输出,若所述检测信息中存在所述告警信息和所述白名单标签,则判断存在误报的协议数据并突出该检测信息对应的分析数据以识别被误报的协议数据,若所述检测信息中不存在所述告警信息且存在所述黑名单标签,则判断存在漏报的协议数据并突出该检测信息对应的分析数据以识别被漏报的协议数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110750207.0A CN113472580B (zh) | 2021-07-01 | 2021-07-01 | 基于动态加载机制的告警系统及告警方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110750207.0A CN113472580B (zh) | 2021-07-01 | 2021-07-01 | 基于动态加载机制的告警系统及告警方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113472580A CN113472580A (zh) | 2021-10-01 |
CN113472580B true CN113472580B (zh) | 2023-04-07 |
Family
ID=77877781
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110750207.0A Active CN113472580B (zh) | 2021-07-01 | 2021-07-01 | 基于动态加载机制的告警系统及告警方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113472580B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115033407B (zh) * | 2022-08-09 | 2022-11-04 | 微栈科技(浙江)有限公司 | 一种适用于云计算的采集识别流量的系统和方法 |
CN115840951B (zh) * | 2022-11-02 | 2024-02-13 | 长扬科技(北京)股份有限公司 | 一种网络安全基于全流量资产发现的实现方法与系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105262722A (zh) * | 2015-09-07 | 2016-01-20 | 深信服网络科技(深圳)有限公司 | 终端恶意流量规则更新方法、云端服务器和安全网关 |
CN105491053A (zh) * | 2015-12-21 | 2016-04-13 | 用友网络科技股份有限公司 | 一种Web恶意代码检测方法及系统 |
CN106790313A (zh) * | 2017-03-31 | 2017-05-31 | 杭州迪普科技股份有限公司 | 入侵防御方法及装置 |
CN107800671A (zh) * | 2016-09-05 | 2018-03-13 | 北京金山云网络技术有限公司 | 一种防火墙规则的生成方法及装置 |
CN107835149A (zh) * | 2017-09-13 | 2018-03-23 | 杭州安恒信息技术有限公司 | 基于dns流量分析的网络窃密行为检测方法以及装置 |
CN110868425A (zh) * | 2019-11-27 | 2020-03-06 | 上海三零卫士信息安全有限公司 | 一种采用黑白名单进行分析的工控信息安全监控系统 |
CN111159702A (zh) * | 2019-12-12 | 2020-05-15 | 北京神州绿盟信息安全科技股份有限公司 | 一种进程名单生成方法和装置 |
-
2021
- 2021-07-01 CN CN202110750207.0A patent/CN113472580B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105262722A (zh) * | 2015-09-07 | 2016-01-20 | 深信服网络科技(深圳)有限公司 | 终端恶意流量规则更新方法、云端服务器和安全网关 |
CN105491053A (zh) * | 2015-12-21 | 2016-04-13 | 用友网络科技股份有限公司 | 一种Web恶意代码检测方法及系统 |
CN107800671A (zh) * | 2016-09-05 | 2018-03-13 | 北京金山云网络技术有限公司 | 一种防火墙规则的生成方法及装置 |
CN106790313A (zh) * | 2017-03-31 | 2017-05-31 | 杭州迪普科技股份有限公司 | 入侵防御方法及装置 |
CN107835149A (zh) * | 2017-09-13 | 2018-03-23 | 杭州安恒信息技术有限公司 | 基于dns流量分析的网络窃密行为检测方法以及装置 |
CN110868425A (zh) * | 2019-11-27 | 2020-03-06 | 上海三零卫士信息安全有限公司 | 一种采用黑白名单进行分析的工控信息安全监控系统 |
CN111159702A (zh) * | 2019-12-12 | 2020-05-15 | 北京神州绿盟信息安全科技股份有限公司 | 一种进程名单生成方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN113472580A (zh) | 2021-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
MacDermott et al. | Iot forensics: Challenges for the ioa era | |
US9893970B2 (en) | Data loss monitoring of partial data streams | |
CN113507461B (zh) | 基于大数据的网络监控系统及网络监控方法 | |
US9792289B2 (en) | Systems and methods for file clustering, multi-drive forensic analysis and data protection | |
US7260844B1 (en) | Threat detection in a network security system | |
CN113472580B (zh) | 基于动态加载机制的告警系统及告警方法 | |
CN111917740A (zh) | 一种异常流量告警日志检测方法、装置、设备及介质 | |
US10659335B1 (en) | Contextual analyses of network traffic | |
US10313377B2 (en) | Universal link to extract and classify log data | |
CN110198303A (zh) | 威胁情报的生成方法及装置、存储介质、电子装置 | |
WO2019084072A1 (en) | GRAPHIC MODEL FOR ALERT INTERPRETATION IN AN ENTERPRISE SECURITY SYSTEM | |
CN110210213A (zh) | 过滤恶意样本的方法及装置、存储介质、电子装置 | |
CN109639726A (zh) | 入侵检测方法、装置、系统、设备及存储介质 | |
CN110149318B (zh) | 邮件元数据的处理方法及装置、存储介质、电子装置 | |
CN116545678A (zh) | 网络安全防护方法、装置、计算机设备和存储介质 | |
CN103532737B (zh) | 一种处理多种类型告警的方法、装置及系统 | |
CN112714118B (zh) | 网络流量检测方法和装置 | |
CN113849820A (zh) | 一种漏洞检测方法及装置 | |
CN115865525B (zh) | 日志数据处理方法、装置、电子设备和存储介质 | |
US20230315846A1 (en) | System and method for detecting leaked documents on a computer network | |
CN116684329A (zh) | 一种网络资产发现方法、装置和存储介质 | |
US10990676B1 (en) | File collection method for subsequent malware detection | |
CN112347066B (zh) | 日志处理方法、装置及服务器和计算机可读存储介质 | |
CN113992371A (zh) | 一种流量日志的威胁标签生成方法、装置及电子设备 | |
CN115296888B (zh) | 数据雷达监测系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |