CN112463553A - 一种基于普通告警关联分析智能告警的系统与方法 - Google Patents
一种基于普通告警关联分析智能告警的系统与方法 Download PDFInfo
- Publication number
- CN112463553A CN112463553A CN202011498926.XA CN202011498926A CN112463553A CN 112463553 A CN112463553 A CN 112463553A CN 202011498926 A CN202011498926 A CN 202011498926A CN 112463553 A CN112463553 A CN 112463553A
- Authority
- CN
- China
- Prior art keywords
- alarm
- log data
- intelligent
- data
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
- G06F11/324—Display of status information
- G06F11/327—Alarm or error message display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2216/00—Indexing scheme relating to additional aspects of information retrieval not explicitly covered by G06F16/00 and subgroups
- G06F2216/03—Data mining
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Fuzzy Systems (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Mathematical Physics (AREA)
- Debugging And Monitoring (AREA)
- Alarm Systems (AREA)
Abstract
本发明提供一种基于普通告警关联分析智能告警的系统与方法,包括数据采集模块、告警存储模块、关联分析模块、中间存储器、智能告警模块;通过配置事件匹配的条件对已有大数据进行过滤,将符合条件的数据存储到中间存储器,通过分布式任务的方式定期将缓存的数据进行二次筛选,匹配满足用户设置的条件,如果满足条件则根据用户配置的告警数据发送告警信息。本发明适用于大数据的清洗和分析,深度挖掘已存在数据的价值,实现高级告警,对于用户精准定位和处理问题、根据已知情形对未来做出预防响应,防患于未然,具有很高的实用性。
Description
技术领域
本发明涉及网络技术安全领域,尤其涉及一种基于普通告警关联分析智能告警的系统与方法,更具体地说,是涉及到日志审计、流量监控等事件关联分析的方法和系统。
背景技术
工业互联网是互联网和新一代信息技术与工业系统全方位深度融合所形成的产业和应用生态,是工业智能化发展的关键综合信息基础设施,其自身的安全可靠是确保其在各生产领域能够落地实施的前提,更是产业安全和国家安全的重要基础和保障。
工业互联网的关键是工业生产虚拟化并上云上平台,由此在数字化的基础上实现智能制造。在这个过程中就涉及到数据安全和网络安全的问题。目前实现安全防御的措施主要是监测审计和入侵检测两种手段:用户网络包含大量的信息资产,包括各种网络设备、安全设备、主机、应用及数据库等,每种设备类型的日志格式都不相同,即使是记录同一事件,也都有各自的日志规格。而每一种日志产生的数据量是相当庞大的,例如一个流量检测的系统60秒内可以产生五千条以上的流量告警信息;一个标准的入侵检测系统每天可能产生超过千万数量的事件日志,巨量的数据给运维审计等带来非常大的压力,也为业务顺畅运行的挑战。
发明内容
本发明的目的在于提供一种基于普通告警关联分析智能告警的方法与系统,能够解决上述提到的至少一个技术问题。
本发明提供一种基于普通告警关联分析智能告警的系统,其特征在于,包括数据采集模块、告警存储模块、关联分析模块、中间存储器、智能告警模块:
所述数据采集模块,用于监控系统运行,采集告警日志数据;
所述告警存储模块,用于存储所述告警日志数据;
所述关联分析模块,用于定义关联分析策略,并存储到智能分析器,并根据所述关联分析策略对所述告警存储模块中的所述告警日志数据进行关联分析,产生符合预设条件的告警日志数据;
所述中间存储器,用于存储符合预设条件的告警日志数据;
所述智能告警模块,用于对所述中间存储器中的所述符合预设条件的告警日志数据根据用户设置的智能告警策略进行多维度分析,发送智能告警信息。
进一步的,所述数据采集模块还包括,入侵检测规则配置模块和/或监测审计规则配置模块,所述入侵检测规则配置模块用于配置入侵检测规则,所述监测审计规则配置模块用于配置监测审计规则。
进一步的,所述告警存储模块包括消息队列以及分布式存储系统,所述消息队列用于接收告警日志数据,避免数据量过大造成系统宕机;所述分布式存储系统为基于全文索引的分布式存储系统,能够提高检索的效率和实时性。
进一步的,所述定义关联分析策略包括,设置策略名称和描述信息,定义匹配事件、触发规则、事件关系;匹配事件包括事件字段、目标值以及字段和目标值之间的逻辑关系;所述逻辑关系包括:“=”,“!=”,“>”,“<”,事件字段和目标值支持多表达式嵌套,多个表达式之间的条件组合有“与”“或”“非”。
进一步的,所述智能告警策略包括是否输出告警记录、允许在多长时间内产生告警的次数、是否需要自定义字段,如果需要自定义告警字段,定义告警字段和字段值。
本发明还提供一种基于普通告警关联分析智能告警的方法,其特征在于,包括以下步骤:
监控系统运行,采集告警日志数据;
存储所述告警日志数据;
定义关联分析策略,并存储到智能分析器,并根据所述关联分析策略对所述告警存储模块中的所述告警日志数据进行关联分析,产生符合预设条件的告警日志数据;
存储符合预设条件的告警日志数据;
对所述符合预设条件的告警日志数据根据用户设置的智能告警策略进行多维度分析,发送智能告警信息。
进一步的,所述监控系统运行,采集告警日志数据包括,配置入侵检测规则和/或监测审计规则,监控系统持续运行,当监控到的流量符合所述配置的规则或检测到疑似入侵行为是,产生告警日志数据。
进一步的,当有告警日志数据产生时,首先记录到消息队列中,避免数据量过大造成系统宕机;分布式存储系统实时消费所述消息队列中的所述告警日志数据,将所述消息队列中的所述告警日志数据进行合并、过滤、解析,经过此过程产生系统预定义格式的告警数据存入所述分布式存储系统;所述分布式存储系统为基于全文索引的分布式存储系统,能够提高检索的效率和实时性。
进一步的,所述定义关联分析策略包括,设置策略名称和描述信息,定义匹配事件、触发规则、事件关系;匹配事件包括事件字段、目标值以及字段和目标值之间的逻辑关系;所述逻辑关系包括:“=”,“!=”,“>”,“<”,事件字段和目标值支持多表达式嵌套,多个表达式之间的条件组合有“与”“或”“非”。
进一步的,所述智能告警策略包括是否输出告警记录、允许在多长时间内产生告警的次数、是否需要自定义字段,如果需要自定义告警字段,定义告警字段和字段值。
因此,本发明基于普通告警数据通过多维度关联分析,在此基础上进行智能告警的技术,适用于各种需要对告警数据进行清洗和二次分析的场景,比如工业互联网、大数据、物联网等。
本发明实施的上述方案与现有技术相比,至少具有以下有益效果:通过配置事件匹配的条件对已有大数据进行过滤,将符合条件的数据存储到中间存储器,通过分布式任务的方式定期将缓存的数据进行二次筛选,匹配满足用户设置的条件,如果满足条件则根据用户配置的告警数据发送告警信息。适用于大数据的清洗和分析,深度挖掘已存在数据的价值,实现高级告警,对于用户精准定位和处理问题、根据已知情形对未来做出预防响应,防患于未然,具有很高的实用性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1示出了本发明基于普通告警关联分析智能告警的系统实施例的示意图;
图2示出了本发明一种基于普通告警关联分析智能告警的方法的实施例流程图;
图3示出了本发明采集告警日志数据步骤的具体流程图;
图4示出了本发明定义关联分析策略步骤的具体流程图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义,“多种”一般包含至少两种。
应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的商品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种商品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的商品或者装置中还存在另外的相同要素。
入侵监测系统和监测审计系统,两套系统都是采用大数据采集、建模、分析技术,入侵监测是通过对各种网络资源的多维度信息采集和自动化的关联分析,及时发现网络当中的威胁和异常行为的网络安全工具,可以通过与防火墙、入侵防御、终端安全等产品的安全联动,实现对威胁和异常行为的有效处置。监测审计通过对网络端口进行实时监控,当流量超过系统设置的阈值时记录告警信息并发送到客户端,从而实现对异常行为的监控,是一种实时系统监控的网络安全监管系统。
多维度分析,又称关联分析。主要是针对告警数据的分析,日志数据主要有对流量监测告警日志、入侵监测的告警日志以及其它告警等来源。关联分析则是用户定义一个及以上的不同类型的匹配事件,对事件进行初步的筛选,然后通过配置的关联关系得出符合条件的告警数据。该方法的优势是能够对已有的告警做数据清洗和数据分析,挖掘数据深层次的价值。因此,对于产生更高层次的告警来说非常具有现实意义和实用价值。关联分析涉及到对实时事件的处理,需要对数据库进行大量的查询访问,传统的关系型数据库不适合执行每秒成千上万规模数据量的查询,而ElaticSearch检索系统存储数据更具效率和实时性,这也是本方法与系统关联分析需要用到ElaticSearch的原因。
智能告警,基于多维度分析,首先将用户设置的事件匹配的事件获取到数据,然后根据用户设置的匹配事件范围,匹配次数、分组分次等条件进行分析,满足该条件的则根据用户设置的高级告警字段发送对应的告警信息。这种方式的精准告警能够为用户分析问题和处理问题提供高效便捷的通道。
下面结合附图详细说明本发明的可选实施例。
图1示出了本发明实施例的示意图。
如图1所示,本发明的一种基于普通告警关联分析智能告警的系统,其特征在于,包括数据采集模块101、告警存储模块102、关联分析模块103、中间存储器104、智能告警模块105:
所述数据采集模块101,用于监控系统运行,采集告警日志数据;
所述告警存储模块102,用于存储所述告警日志数据;
所述关联分析模块103,用于定义关联分析策略,并存储到智能分析器,并根据所述关联分析策略对所述告警存储模块102中的所述告警日志数据进行关联分析,产生符合预设条件的告警日志数据;
所述中间存储器104,用于存储符合预设条件的告警日志数据;
所述智能告警模块105,用于对所述中间存储器104中的所述符合预设条件的告警日志数据根据用户设置的智能告警策略进行多维度分析,发送智能告警信息。
进一步的,所述数据采集模块101还包括,入侵检测规则配置模块和/或监测审计规则配置模块,所述入侵检测规则配置模块用于配置入侵检测规则,所述监测审计规则配置模块用于配置监测审计规则。
进一步的,所述告警存储模块102包括消息队列以及分布式存储系统,所述消息队列用于接收告警日志数据,避免数据量过大造成系统宕机;所述分布式存储系统为基于全文索引的分布式存储系统,能够提高检索的效率和实时性。
进一步的,所述定义关联分析策略包括,设置策略名称和描述信息,定义匹配事件、触发规则、事件关系;匹配事件包括事件字段、目标值以及字段和目标值之间的逻辑关系;所述逻辑关系包括:“=”,“!=”,“>”,“<”,事件字段和目标值支持多表达式嵌套,多个表达式之间的条件组合有“与”“或”“非”。
进一步的,所述智能告警策略包括是否输出告警记录、允许在多长时间内产生告警的次数、是否需要自定义字段,如果需要自定义告警字段,定义告警字段和字段值。
图2示出了本发明一种基于普通告警关联分析智能告警的方法的实施例,其特征在于,包括以下步骤:
步骤S201,监控系统运行,采集告警日志数据;
步骤S202,存储所述告警日志数据;
步骤S203,定义关联分析策略,并存储到智能分析器,并根据所述关联分析策略对所述告警存储模块中的所述告警日志数据进行关联分析,产生符合预设条件的告警日志数据;
步骤S204,存储符合预设条件的告警日志数据;
步骤S205,对所述符合预设条件的告警日志数据根据用户设置的智能告警策略进行多维度分析,发送智能告警信息。
进一步的,所述监控系统运行,采集告警日志数据包括,配置入侵检测规则和/或监测审计规则,监控系统持续运行,当监控到的流量符合所述配置的规则或检测到疑似入侵行为是,产生告警日志数据。
进一步的,当有告警日志数据产生时,首先记录到消息队列中,避免数据量过大造成系统宕机;分布式存储系统实时消费所述消息队列中的所述告警日志数据,将所述消息队列中的所述告警日志数据进行合并、过滤、解析,经过此过程产生系统预定义格式的告警数据存入所述分布式存储系统;所述分布式存储系统为基于全文索引的分布式存储系统,能够提高检索的效率和实时性。
图3示出了本发明采集告警日志数据步骤S201的流程。
步骤S2011,TAA日志采集器需要配置入侵检测规则和监测审计的规则,监控系统持续运行;
步骤S2012,检测流量是否符合告警规则条件或规则;
步骤S2013,检测到符合告警规则条件或规则或者检测到疑似入侵行为等,产生告警日志数据;
步骤S2014,当有告警日志数据时,首先记录到消息队列中,通过采用kafka消息队列的方式能够起到削峰填谷的作用,避免数据量过大造成服务器某一时间段”宕机”假象;
步骤S2015,分布式存储系统实时消费kafka消息队列中的数据,将TAA日志采集器发送到kafka消息队列中的数据进行合并、过滤和解析,经过此过程产生系统预定义格式的告警数据装入分布式存储系统,所述分布式分布系统如ElasticSearch。
进一步的,所述定义关联分析策略包括,设置策略名称和描述信息,定义匹配事件、触发规则、事件关系;匹配事件包括事件字段、目标值以及字段和目标值之间的逻辑关系;所述逻辑关系包括:“=”,“!=”,“>”,“<”,事件字段和目标值支持多表达式嵌套,多个表达式之间的条件组合有“与”“或”“非”。
进一步的,所述智能告警策略包括是否输出告警记录、允许在多长时间内产生告警的次数、是否需要自定义字段,如果需要自定义告警字段,定义告警字段和字段值。
图4示出了本发明定义关联分析策略步骤S203的流程图。
步骤S2031,首先用户需要新建策略,设置策略名称和描述信息等内容;
步骤S2032,用户定义匹配事件;
步骤S2033,判断匹配事件是否为多个;
如果只有一个匹配事件,则进行步骤S2034-S2035;
步骤S2034:设置匹配事件以定义触发规则;
步骤S2035:设置单个事件智能告警策略,如是否输出告警记录,允许在多长时间以内产生告警的次数、是否需要自定义告警字段,如果需要自定义告警字段,定义告警字段和字段值等。
如果匹配事件为多个,则执行步骤S2036-S2038:
步骤S2036:设置多个匹配事件以定义触发规则;
步骤S2037:定义多个匹配事件之间的关系;
可以定义的关系为一个事件的某字段与另外一个事件的某字段的关系,包括:”=”,”!=”,”<”,”>”,”<=”,”>=”;
步骤S2038:设置多个事件智能告警策略,可以设置对值相同/值不同字段计数,其中该策略的数据时间段和命中次数是必须进行设置的;设置是否输出告警记录,允许在多长时间以内产生告警的次数、是否需要自定义告警字段,如果需要自定义告警字段,定义告警字段和字段值等;
执行步骤步骤S2035或者步骤S2038后均执行:
步骤S2039,当用户选择启用该条策略的时候,将策略保存到智能分析器并通过任务的方式进行事件匹配并执行关联分析,然后根据用户定义的告警信息进行智能告警;如果用户未启用该策略,则只执行保存操作。
本发明提供的流量入侵日志的关联分析方法,包括如下技术:
定义事件对象:定义事件字段和目标值,以及字段和目标值之间的逻辑关系,逻辑关系包括:“=”,“!=”,“>”,“<”,事件字段和目标值支持多表达式嵌套,多个表达式之间的条件组合有“与”“或”“非”;
事件匹配:通过关联分析引擎按照事先定义的事件逻辑规则从日志系统中检索满足条件的事件并添加到缓存的过程,多个事件需要将满足不同事件的数据分别存储以便进行关联分析;
关联分析:策略中的一个以上的事件根据预定义事件关联关系进行关联分析;单事件的策略运行时则不会该操作。
智能告警:若匹配事件符合触发关联分析定义的智能告警阈值(规则),按照预定义的告警规则产生高级告警,将信息并入日志存储系统,这样当用户检索时就会有智能告警出现。
匹配事件和告警分析均通过分布式任务完成保证任务的可靠性,保证系统的高可用和并发处理能力,并解决多系统部署的幂等性问题。
接下来,更进一步地,描述关联分析策略步骤S203中单个事件的匹配方法:
通过任务开始执行事件匹配,到告警日志存储系统获取符合条件的告警数据存储到中间存储系统;
然后开始智能分析任务,验证中间存储系统的数据是否满足策略中定义的告警阈值,如果达到阈值以后,判断是否在规定的时间范围内,满足条件进行下一步,否则跳出任务;
开始智能告警的时候首先查找该任务执行的策略中定义的告警内容,拿到告警内容以后开始组装告警数据,进行告警操作并将该次告警信息存储,完成告警。
更进一步地,描述关联分析策略步骤S203中多事件配置关联分析规则解析:
首先通过任务开始执行事件匹配,到告警日志存储系统获取符合条件的告警数据存储到中间存储系统;
然后开始智能分析任务,通过关联事件去匹配中间存储器中的数据,将符合条件的关联数据放置到临时缓存中;
验证关联的数据是否满足策略中定义的告警阈值,如果达到阈值以后,进行下一步;否则跳出任务;
判断是否在规定的时间范围内,满足条件进行下一步,否则跳出任务;
开始智能告警的时候首先查找该任务执行的策略中定义的告警内容,拿到告警内容以后开始组装告警数据,进行告警操作并将该次告警信息存储,完成告警。
本专利旨在基于ElasticSearch和分布式任务的手段提供一种根据用户自定义事件配置和规则进行数据分析并产生高级告警的技术方法与系统。
该专利技术基于大数据智能分析和分布式任务的技术实现,通过配置事件匹配的条件对已有大数据进行过滤,将符合条件的数据存储到中间存储器,通过分布式任务的方式定期将缓存的数据进行二次筛选,匹配满足用户设置的条件,如果满足条件则根据用户配置的告警数据发送告警信息。适用于大数据的清洗和分析,深度挖掘已存在数据的价值,实现高级告警,对于用户精准定位和处理问题、根据已知情形对未来做出预防响应,防患于未然,具有很高的实用性。
本发明所述关联分析包括策略名称、策略描述、事件配置和规则配置、关联规则,时间范围和频率触发器以及该策略是否启用等信息;高级告警可以使用用户自定义告警名称,告警字段及字段值,以及在M时间范围内允许产生N次高级告警数据。
上述关联分析的事件设置匹配事件的的字段,目标值,字段和目标值之间的逻辑关系,逻辑关系包括:“=”,“!=”,“>”,“<”,事件字段和目标值支持多表达式嵌套,多个表达式之间的条件组合有“与”“或”“非”。
上述关联分析的事件可以包括一个及以上的事件,一个以上的事件关联可以定义不同的规则;多个规则之间的关系包括“与”和“或”,如果是“或”的关系,只要满足其中一条规则即视为符合的数据;如果是“与”的关系,多个条件都满足才是符合条件的数据。
本发明还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述用于授权管理控制请求的方法的步骤。其中,计算机可读存储介质可以包括但不限于任何类型的盘,包括软盘、光盘、DVD、CD-ROM、微型驱动器以及磁光盘、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、闪速存储器设备、磁卡或光卡、纳米系统(包括分子存储器IC),或适合于存储指令和/或数据的任何类型的媒介或设备。
本发明还提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,处理器执行程序时实现用于授权管理控制请求的方法的步骤。在本发明实施例中,处理器为计算机系统的控制中心,可以是实体机的处理器,也可以是虚拟机的处理器。
以上介绍仅为本发明的优选实施例而已,并非对本发明作任何实质和形式上的限制。虽然本发明已以较佳实施例揭示如上,然而并非用以限定本发明,对于本领域的技术人员来说,在不脱离本发明技术方案范围内,可以利用上述揭示的技术内容作出各种更改和变化的等效实施例。但凡未脱离本发明的精神和原则,依据本发明的技术实质对以上实施例所作的任何简单修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于普通告警关联分析智能告警的系统,其特征在于,包括数据采集模块、告警存储模块、关联分析模块、中间存储器、智能告警模块:
所述数据采集模块,用于监控系统运行,采集告警日志数据;
所述告警存储模块,用于存储所述告警日志数据;
所述关联分析模块,用于定义关联分析策略,并存储到智能分析器,并根据所述关联分析策略对所述告警存储模块中的所述告警日志数据进行关联分析,产生符合预设条件的告警日志数据;
所述中间存储器,用于存储符合预设条件的告警日志数据;
所述智能告警模块,用于对所述中间存储器中的所述符合预设条件的告警日志数据根据用户设置的智能告警策略进行多维度分析,发送智能告警信息。
2.如权利要求1所述的基于普通告警关联分析智能告警的系统,其特征在于:
所述数据采集模块还包括,入侵检测规则配置模块和/或监测审计规则配置模块,所述入侵检测规则配置模块用于配置入侵检测规则,所述监测审计规则配置模块用于配置监测审计规则。
3.如权利要求1所述的基于普通告警关联分析智能告警的系统,其特征在于:
所述告警存储模块包括消息队列以及分布式存储系统,所述消息队列用于接收告警日志数据,避免数据量过大造成系统宕机;所述分布式存储系统为基于全文索引的分布式存储系统,能够提高检索的效率和实时性。
4.如权利要求1-3任一项所述的基于普通告警关联分析智能告警的系统,其特征在于:
所述定义关联分析策略包括,设置策略名称和描述信息,定义匹配事件、触发规则、事件关系;匹配事件包括事件字段、目标值以及字段和目标值之间的逻辑关系;所述逻辑关系包括:“=”,“!=”,“>”,“<”,事件字段和目标值支持多表达式嵌套,多个表达式之间的条件组合有“与”“或”“非”。
5.如权利要求1-3任一项所述的基于普通告警关联分析智能告警的系统,其特征在于:
所述智能告警策略包括是否输出告警记录、允许在多长时间内产生告警的次数、是否需要自定义字段,如果需要自定义告警字段,定义告警字段和字段值。
6.一种基于普通告警关联分析智能告警的方法,其特征在于,包括以下步骤:
监控系统运行,采集告警日志数据;
存储所述告警日志数据;
定义关联分析策略,并存储到智能分析器,并根据所述关联分析策略对所述告警存储模块中的所述告警日志数据进行关联分析,产生符合预设条件的告警日志数据;
存储符合预设条件的告警日志数据;
对所述符合预设条件的告警日志数据根据用户设置的智能告警策略进行多维度分析,发送智能告警信息。
7.如权利要求6所述的一种基于普通告警关联分析智能告警的方法,其特征在于:
所述监控系统运行,采集告警日志数据包括,配置入侵检测规则和/或监测审计规则,监控系统持续运行,当监控到的流量符合所述配置的规则或检测到疑似入侵行为,产生告警日志数据。
8.如权利要求6所述的一种基于普通告警关联分析智能告警的方法,其特征在于:
当有告警日志数据产生时,首先记录到消息队列中,避免数据量过大造成系统宕机;分布式存储系统实时消费所述消息队列中的所述告警日志数据,将所述消息队列中的所述告警日志数据进行合并、过滤、解析,经过此过程产生系统预定义格式的告警数据存入所述分布式存储系统;所述分布式存储系统为基于全文索引的分布式存储系统,能够提高检索的效率和实时性。
9.如权利要求6-8任一项所述的一种基于普通告警关联分析智能告警的方法,其特征在于:
所述定义关联分析策略包括,设置策略名称和描述信息,定义匹配事件、触发规则、事件关系;匹配事件包括事件字段、目标值以及字段和目标值之间的逻辑关系;所述逻辑关系包括:“=”,“!=”,“>”,“<”,事件字段和目标值支持多表达式嵌套,多个表达式之间的条件组合有“与”“或”“非”。
10.如权利要求6-8任一项所述的一种基于普通告警关联分析智能告警的方法,其特征在于:
所述智能告警策略包括是否输出告警记录、允许在多长时间内产生告警的次数、是否需要自定义字段,如果需要自定义告警字段,定义告警字段和字段值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011498926.XA CN112463553B (zh) | 2020-12-18 | 2020-12-18 | 一种基于普通告警关联分析智能告警的系统与方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011498926.XA CN112463553B (zh) | 2020-12-18 | 2020-12-18 | 一种基于普通告警关联分析智能告警的系统与方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112463553A true CN112463553A (zh) | 2021-03-09 |
CN112463553B CN112463553B (zh) | 2023-06-06 |
Family
ID=74803627
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011498926.XA Active CN112463553B (zh) | 2020-12-18 | 2020-12-18 | 一种基于普通告警关联分析智能告警的系统与方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112463553B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113114628A (zh) * | 2021-03-19 | 2021-07-13 | 中国南方电网有限责任公司 | 一种基于事件关联模型和分层次的实时安全告警关联算法 |
CN113535453A (zh) * | 2021-07-14 | 2021-10-22 | 上海中畅数据技术有限公司 | 一种告警数据水印检测系统及方法 |
CN113542253A (zh) * | 2021-07-12 | 2021-10-22 | 杭州安恒信息技术股份有限公司 | 一种网络流量检测方法、装置、设备及介质 |
CN114090412A (zh) * | 2022-01-20 | 2022-02-25 | 北京安帝科技有限公司 | 一种分布式告警处理方法及系统 |
CN115292062A (zh) * | 2022-07-29 | 2022-11-04 | 成都智元汇信息技术股份有限公司 | 一种基于流架构实现产品顺序确认的方法、系统及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101291256A (zh) * | 2008-06-02 | 2008-10-22 | 杭州华三通信技术有限公司 | 系统日志升级为告警的方法及系统 |
CN107682351A (zh) * | 2017-10-20 | 2018-02-09 | 携程旅游网络技术(上海)有限公司 | 网络安全监控的方法、系统、设备及存储介质 |
CN108874614A (zh) * | 2017-05-11 | 2018-11-23 | 上海宏时数据系统有限公司 | 一种大数据日志智能分析系统及方法 |
CN111708679A (zh) * | 2020-05-08 | 2020-09-25 | 中国建设银行股份有限公司 | 日志监控方法、系统、装置和存储介质 |
-
2020
- 2020-12-18 CN CN202011498926.XA patent/CN112463553B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101291256A (zh) * | 2008-06-02 | 2008-10-22 | 杭州华三通信技术有限公司 | 系统日志升级为告警的方法及系统 |
CN108874614A (zh) * | 2017-05-11 | 2018-11-23 | 上海宏时数据系统有限公司 | 一种大数据日志智能分析系统及方法 |
CN107682351A (zh) * | 2017-10-20 | 2018-02-09 | 携程旅游网络技术(上海)有限公司 | 网络安全监控的方法、系统、设备及存储介质 |
CN111708679A (zh) * | 2020-05-08 | 2020-09-25 | 中国建设银行股份有限公司 | 日志监控方法、系统、装置和存储介质 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113114628A (zh) * | 2021-03-19 | 2021-07-13 | 中国南方电网有限责任公司 | 一种基于事件关联模型和分层次的实时安全告警关联算法 |
CN113542253A (zh) * | 2021-07-12 | 2021-10-22 | 杭州安恒信息技术股份有限公司 | 一种网络流量检测方法、装置、设备及介质 |
CN113535453A (zh) * | 2021-07-14 | 2021-10-22 | 上海中畅数据技术有限公司 | 一种告警数据水印检测系统及方法 |
CN113535453B (zh) * | 2021-07-14 | 2024-03-19 | 上海中畅数据技术有限公司 | 一种告警数据水印检测系统及方法 |
CN114090412A (zh) * | 2022-01-20 | 2022-02-25 | 北京安帝科技有限公司 | 一种分布式告警处理方法及系统 |
CN114090412B (zh) * | 2022-01-20 | 2022-06-28 | 北京安帝科技有限公司 | 一种分布式告警处理方法及系统 |
CN115292062A (zh) * | 2022-07-29 | 2022-11-04 | 成都智元汇信息技术股份有限公司 | 一种基于流架构实现产品顺序确认的方法、系统及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN112463553B (zh) | 2023-06-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112463553B (zh) | 一种基于普通告警关联分析智能告警的系统与方法 | |
CN109582551A (zh) | 日志数据解析方法、装置、计算机设备和存储介质 | |
CN110620759A (zh) | 基于多维关联的网络安全事件危害指数评估方法及其系统 | |
CN112114995A (zh) | 基于进程的终端异常分析方法、装置、设备及存储介质 | |
CN112738040A (zh) | 一种基于dns日志的网络安全威胁检测方法、系统及装置 | |
CN106095575B (zh) | 一种日志审计的装置、系统和方法 | |
CN114915479A (zh) | 一种基于Web日志的Web攻击阶段分析方法及系统 | |
CN112100149A (zh) | 日志自动化分析系统 | |
CN112822153A (zh) | 基于dns日志的可疑威胁发现方法和系统 | |
CN115544519A (zh) | 对计量自动化系统威胁情报进行安全性关联分析的方法 | |
CN117081858A (zh) | 一种基于多决策树入侵行为检测方法、系统、设备及介质 | |
CN115222374A (zh) | 一种基于大数据处理的政务数据服务系统 | |
RU148692U1 (ru) | Система мониторинга событий компьютерной безопасности | |
CN114579636A (zh) | 数据安全风险预测方法、装置、计算机设备和介质 | |
RU180789U1 (ru) | Устройство аудита информационной безопасности в автоматизированных системах | |
CN110708296B (zh) | 一种基于长时间行为分析的vpn账号失陷智能检测模型 | |
US20160078071A1 (en) | Large scale offline retrieval of machine operational information | |
CN112306820A (zh) | 一种日志运维根因分析方法、装置、电子设备及存储介质 | |
KR101484186B1 (ko) | 보안 관제 데이터의 검색을 위한 인덱싱 장치 및 방법 | |
CN114422341B (zh) | 一种基于指纹特征的工控资产识别方法及系统 | |
CN111324583A (zh) | 一种业务日志的分类方法及装置 | |
CN114547406A (zh) | 数据监控方法、系统、存储介质及电子装置 | |
CN113572781A (zh) | 网络安全威胁信息归集方法 | |
CN112769755A (zh) | 一种面向威胁检测的dns日志统计特征抽取方法 | |
CN111475380A (zh) | 一种日志分析方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: 311215 Room 216, Floor 2, Building B, No. 858, Jianshe Second Road, Xiaoshan Economic and Technological Development Zone, Xiaoshan District, Hangzhou City, Zhejiang Province Applicant after: Hangzhou Zhongdian Anke Modern Technology Co.,Ltd. Address before: 310051 building 3, 351 Changhe Road, Changhe street, Binjiang District, Hangzhou City, Zhejiang Province Applicant before: Hangzhou rischen Anke Technology Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |