CN111526109B - 自动检测web威胁识别防御系统的运行状态的方法及装置 - Google Patents

自动检测web威胁识别防御系统的运行状态的方法及装置 Download PDF

Info

Publication number
CN111526109B
CN111526109B CN201910105207.8A CN201910105207A CN111526109B CN 111526109 B CN111526109 B CN 111526109B CN 201910105207 A CN201910105207 A CN 201910105207A CN 111526109 B CN111526109 B CN 111526109B
Authority
CN
China
Prior art keywords
web
attack
log data
defense system
web attack
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910105207.8A
Other languages
English (en)
Other versions
CN111526109A (zh
Inventor
刘兴霞
李圣佳
丛磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shuan Xinyun Information Technology Co ltd
Original Assignee
Beijing Shuan Xinyun Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shuan Xinyun Information Technology Co ltd filed Critical Beijing Shuan Xinyun Information Technology Co ltd
Priority to CN201910105207.8A priority Critical patent/CN111526109B/zh
Publication of CN111526109A publication Critical patent/CN111526109A/zh
Application granted granted Critical
Publication of CN111526109B publication Critical patent/CN111526109B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic

Abstract

本发明提供一种自动检测web威胁识别防御系统的运行状态的方法及装置，包括：模拟用户攻击和/或正常访问web服务器所产生的原始web攻击和/或正常访问日志数据；获取web威胁识别防御系统对原始web攻击和/或正常访问日志数据进行数据统计、数据分析、威胁识别的处理结果；基于处理结果确定web威胁识别防御系统是否处于正常运行状态；通过模用户访问行为日志(正常和异常)，来监测web威胁识别防御系统运行的情况，日志条数不影响性能，线上运行，更具普适性。

Description

自动检测web威胁识别防御系统的运行状态的方法及装置
技术领域
本发明涉及计算机网络防护和状态检测领域，尤其涉及自动检测web威胁识别防御系统的运行状态的方法及装置。
背景技术
web威胁识别防御系统不同于传统的web防火墙系统，其主要功能是分析用户的不同访问行为，进而对可能存在的访问威胁进行深度识别。
由于使用web威胁识别防御系统的客户网站的线上业务不同，因此，在web威胁识别防御系统上线运行时，识别的威胁种类也会不同，很难通过一种普适性的方式检测web威胁识别防御系统是否正常在线分析、识别web攻击，而且，也很难检测web威胁识别防御系统的各个组件是否正常。
例如，web威胁识别防御系统可能会由于以下情况造成系统组件异常及系统分析、识别异常：
1、需要进行分析的数据(原始日志)过多，超出了系统承受能力。
2、系统运行中组件异常。
3、系统自身的原因(如代码bug)。
这样就会导致在web服务器遭受攻击时不能实时识别威胁，进而不能及时拦截或造成误拦截，最终会影响用户体验和业务系统的稳定性。
现有的技术方案存在以下缺点：
1、仅仅对web威胁识别防御系统进行CPU、内存等机器自身性能方面的监控。即，不能针对web威胁识别防御系统中的上述异常进行检测，缺少一套完整的监测程序。
2、难以发现丢失日志、误报漏报等情况，或者只能对这些情况进行人工分析。
3、无法准确检测组件异常。
例如，现有技术方案通常只是通过ps–ef命令来检测组件进程是否正在运行，然而，仅仅通过对进程是否存活进行判断，根本不能及时发现组件的运行状态是否出现了(例如，由组件的内部逻辑所引起的)异常。
为了解决上述问题，需要提出新的技术方案。
发明内容
本发明旨在解决上面描述的问题。
根据本发明的一个方面，一种自动检测web威胁识别防御系统的运行状态的方法，包括：模拟用户攻击和/或正常访问web服务器所产生的原始web攻击和/或正常访问日志数据；获取web威胁识别防御系统对原始web攻击和/或正常访问日志数据进行数据统计、数据分析、威胁识别的处理结果；基于处理结果确定web威胁识别防御系统是否处于正常运行状态，其中，web服务器使用LNMP组件来提供web服务，web攻击包括：CC攻击、路径扫描、漏洞攻击、危险UA、爬虫、异常流量包攻击、慢速攻击、刷单类攻击、账号类攻击。
web威胁识别防御系统对原始web攻击和/或正常访问日志数据进行数据统计、数据分析、威胁识别的步骤包括：web威胁识别防御系统使用kafka组件来获取原始web攻击和/或正常访问日志数据；和/或web威胁识别防御系统使用storm组件来对原始web攻击和/或正常访问日志数据进行数据统计、数据分析、威胁识别；和/或基于原始web攻击日志数据，判定是否存在某种web攻击的威胁。
还包括：使用ElasticSearch组件来收集、存储所述原始web攻击和/或正常访问日志数据和/或所述处理结果，其中，ElasticSearch组件通过建立专用处理结果索引的方式，存储和/或查询所述处理结果，所述专用处理结果索引包括下列中的至少一种：包含针对原始web攻击和/或正常访问日志数据的解析结果的原始web攻击日志解析索引、包含针对web威胁事件的解析结果的web威胁事件索引、包含针对域名的解析结果的域名索引、包含针对拦截流量的分析结果的拦截流量索引、包含关于所要监控的威胁事件的相关数据的测试索引。
还包括：基于所述处理结果，确定各个组件的运行状态。
基于处理结果确定所述web威胁识别防御系统是否处于正常运行状态的步骤包括：基于处理结果确定web威胁识别防御系统是否检测到了web攻击；和/或在检测到web攻击时，通过与原始web攻击日志数据所必定导致的正确预期检测结果对比，确定所检测到的web攻击的类型是否正确；和/或在未检测到web攻击时，确定未检测到web攻击的原因；和/或在误检测到web攻击时，确定误检测到web攻击的原因；其中，原始web攻击和/或正常访问日志数据包括用于在正常检测时必定能检测到存在至少一种web攻击、和/或必定能检测到指定web攻击、和/或必定不能检测到存在任何一种web攻击、和/或必定不能检测到存在指定web攻击的模拟日志数据。
在未检测到web攻击时，确定未检测到web攻击的原因包括：针对web攻击访问日志数据制定策略，当指定日志数据的URL请求特征值没有被正确计算时，对URL请求特征值没有被正确计算这一事件进行标记，将带有标记的上述事件存储在elasticsearch的事件索引中；查询elasticsearch事件索引中的URL请求特征值没有被正确计算这一事件，当查询到URL请求特征值没有被正确计算这一事件时，则确定该web威胁识别防御系统未检测到所述指定web攻击的原因为指定日志数据的URL请求特征值没有被正确计算；
在误检测到web攻击时，确定误检测到web攻击的原因包括：针对正常访问日志数据制定策略，当指定日志数据的URL请求特征值没有被正确计算时，对URL请求特征值没有被正确计算这一事件进行标记，将带有标记的上述事件存储在elasticsearch的事件索引中；查询elasticsearch事件索引中的URL请求特征值没有被正确计算这一事件，当查询到URL请求特征值没有被正确计算这一事件时，则确定该web威胁识别防御系统误检测到所述指定web攻击的原因为指定日志数据的URL请求特征值没有被正确计算；
针对本发明的另一个方面，一种自动检测web威胁识别防御系统的运行状态的装置，包括：web攻击模拟日志数据产生模块，用于模拟用户攻击和/或正常访问web服务器所产生的原始web攻击和/或正常访问日志数据；处理结果获取模块，用于获取web威胁识别防御系统对原始web攻击和/或正常访问日志数据进行数据统计、数据分析、威胁识别的处理结果；第一运行状态检测模块，用于基于处理结果确定web威胁识别防御系统是否处于正常运行状态，其中，web服务器使用LNMP组件来提供web服务，web攻击包括：CC攻击、路径扫描、漏洞攻击、危险UA、爬虫、异常流量包攻击、慢速攻击、刷单类攻击、账号类攻击。
还包括：web威胁识别防御系统模块，web威胁识别防御系统模块包括：kafka组件，用于获取原始web攻击和/或正常访问日志数据；和/或storm组件，用于对原始web攻击和/或正常访问日志数据进行数据统计、数据分析、威胁识别，web威胁识别防御系统模块用于：基于原始web攻击日志数据，判定是否存在某种web攻击的威胁。
还包括：ElasticSearch组件，用于收集、存储所述原始web攻击和/或正常访问日志数据和/或所述处理结果，其中，ElasticSearch组件通过建立专用处理结果索引的方式，存储和/或查询所述处理结果，专用处理结果索引包括下列中的至少一种：包含针对所述原始web攻击和/或正常访问日志数据的解析结果的原始web攻击日志解析索引、包含针对web威胁事件的解析结果的web威胁事件索引、包含针对域名的解析结果的域名索引、包含针对拦截流量的分析结果的拦截流量索引、包含关于所要监控的威胁事件的相关数据的测试索引。
还包括：第二运行状态检测模块，用于基于处理结果，确定各个组件的运行状态。
第一运行状态检测模块还用于：基于处理结果确定web威胁识别防御系统是否检测到了web攻击；和/或在检测到web攻击时，通过与原始web攻击日志数据所必定导致的正确预期检测结果对比，确定所检测到的web攻击的类型是否正确；和/或在未检测到web攻击时，确定未检测到web攻击的原因；和/或在误检测到web攻击时，确定误检测到web攻击的原因，其中，原始web攻击和/或正常访问日志数据包括用于在正常检测时必定能检测到存在至少一种web攻击、和/或必定能检测到指定web攻击、和/或必定不能检测到存在任何一种web攻击、和/或必定不能检测到存在指定web攻击的模拟日志数据。
在未检测到web攻击时，确定未检测到web攻击的原因包括：针对web攻击访问日志数据制定策略，当指定日志数据的URL请求特征值没有被正确计算时，对URL请求特征值没有被正确计算这一事件进行标记，将带有标记的上述事件存储在elasticsearch的事件索引中；查询elasticsearch事件索引中的URL请求特征值没有被正确计算这一事件，当查询到URL请求特征值没有被正确计算这一事件时，则确定该web威胁识别防御系统未检测到指定web攻击的原因为指定日志数据的URL请求特征值没有被正确计算；
在误检测到web攻击时，确定误检测到web攻击的原因包括：针对正常访问日志数据制定策略，当指定日志数据的URL请求特征值没有被正确计算时，对URL请求特征值没有被正确计算这一事件进行标记，将带有标记的上述事件存储在elasticsearch的事件索引中；查询elasticsearch事件索引中的URL请求特征值没有被正确计算这一事件，当查询到URL请求特征值没有被正确计算这一事件时，则确定该web威胁识别防御系统误检测到指定web攻击的原因为指定日志数据的URL请求特征值没有被正确计算。
本发明申请是一套完整的监控系统，可以监控到web威胁识别防御系统的组件基本全部方面，通过模拟用户访问行为日志(正常和异常)，来监测web威胁识别防御系统运行的情况，日志条数不影响性能，线上运行，更具普适性；自动监控丢失日志情况，自动监控多种威胁是否全部被识别的情况，减少因为算法调整或组件异常导致的漏报和误报。
参照附图来阅读对于示例性实施例的以下描述，本发明的其他特性、特征和优点将变得清晰。
附图说明
并入到说明书中并且构成说明书的一部分的附图示出了本发明的实施例，并且与相关的文字描述一起用于解释本发明的原理。在这些附图中，类似的附图标记用于表示类似的要素。下面描述中的附图是本发明的一些实施例，而不是全部实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，可以根据这些附图获得其他的附图。
图1示例性地示出了根据本发明的自动检测web威胁识别防御系统的运行状态的方法的示意流程图。
图2示例性地示出了根据本发明的自动检测web威胁识别防御系统的运行状态的装置的示意框图。
图3示例性地示出了可以实现根据本发明的上述技术方案的一个具体实施例的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
图1示例性地示出了根据本发明的自动检测web威胁识别防御系统的运行状态的方法的示意流程图。
如图1的实线框所示，根据本发明的自动检测web威胁识别防御系统的运行状态的方法，包括：
步骤S102：模拟用户攻击和/或正常访问web服务器所产生的原始web攻击和/或正常访问日志数据；
步骤S104：获取web威胁识别防御系统对原始web攻击和/或正常访问日志数据进行数据统计、数据分析、威胁识别的处理结果；
步骤S106：基于处理结果确定web威胁识别防御系统是否处于正常运行状态，
其中，web服务器使用LNMP组件来提供web服务，web攻击包括：CC攻击、路径扫描、漏洞攻击、危险UA、爬虫、异常流量包攻击、慢速攻击、刷单类攻击、账号类攻击。
例如，上述处理结果可以包括：
以解析过的原始日志为基准的原始日志解析索引(一种ElasticSearch数据库)数据、以事件为基准的威胁事件索引数据、以域名为基准的域名索引数据、以拦截流量为基准的拦截流量索引数据、以便于监控的威胁事件为基准的测试索引数据等。
上述处理结果可以按照产品展示的不同功能模块对应存储在不同的索引中，即，可以以不同的索引在ElasticSearch中记录，便于以不同的维度展示。
例如，所产生的原始web攻击和/或正常访问日志数据可以包括以下字段的信息：
"$remote_addr","$time_local","$scheme","$http_host","$method","$request_uri","$uri","$request_time","$status","$upstream_addr","$upstream_status","$upstream_response_time","$request_length","$body_bytes_sent","$http_referer","$http_user_agent","$http_x_forwarded_for","$hostname"。
可以预先统计上述web访问常见字段、及各个字段的取值范围，通过改变字段值及时间间隔等信息，模拟用户的(正常和/或异常)访问行为日志(例如，上述原始web攻击和/或正常访问日志数据)。
例如，模拟的日志(其中包含上述原始web攻击和/或正常访问日志数据)也可以经由web威胁识别防御系统分析，分析之后的结果也可以存储在ElasticSearch的上述各种索引中。
可选地，在步骤S104中，web威胁识别防御系统对原始web攻击和/或正常访问日志数据进行数据统计、数据分析、威胁识别的步骤包括：
web威胁识别防御系统使用kafka组件来获取原始web攻击和/或正常访问日志数据；和/或
web威胁识别防御系统使用storm组件来对原始web攻击和/或正常访问日志数据进行数据统计、数据分析、威胁识别；和/或
基于原始web攻击日志数据，判定是否存在某种web攻击的威胁。
可选地，如图1的虚线框所示，根据本发明的自动检测web威胁识别防御系统的运行状态的方法，还包括：
步骤S108：使用ElasticSearch组件来收集、存储原始web攻击和/或正常访问日志数据和/或处理结果，
其中，ElasticSearch组件通过建立专用处理结果索引的方式，存储和/或查询所述处理结果，所述专用处理结果索引包括下列中的至少一种：包含针对所述原始web攻击和/或正常访问日志数据的解析结果的原始web攻击日志解析索引、包含针对web威胁事件的解析结果的web威胁事件索引、包含针对域名的解析结果的域名索引、包含针对拦截流量的分析结果的拦截流量索引、包含关于所要监控的威胁事件的相关数据的测试索引。
根据本发明的上述技术方案，可以从ElasticSearch(组件)查询web威胁识别防御系统实际输出的上述各种数据，并和预期输出数据进行对比，从而进行监控，以确定web威胁识别防御系统的运行状态是否正常(实际输出和预期输出一致即为正常)。
例如，由于web威胁识别防御系统中可以按照针对域名进行数据统计、数据分析、威胁识别，所以在自动检测web威胁识别防御系统的运行状态时(即，执行上述方法时)，所推送的日志是针对指定域名(例如，monitor.com域名)的。因此，例如，针对攻击原因进行数据统计、数据分析、威胁识别时，就可以过滤出原始日志索引、域名索引、威胁事件索引中涉及指定域名的内容，进而为下一步的检测做准备。
例如，威胁事件索引中涉及指定域名(例如，XX域名)的、以IP为维度的以下识别信息：某IP被识别为威胁的时间、被识别出的威胁类型、访问次数等。
可选地，如图1的虚线框所示，根据本发明的自动检测web威胁识别防御系统的运行状态的方法，还包括：
步骤S110：基于处理结果，确定各个组件的运行状态。
例如，可以在ElasticSearch中查询出上述处理结果，并且结合web威胁识别防御系统组件架构、组件联系，进而确定web威胁识别防御系统及相关组件的运行状态。
例如，组件的运行状态包含但不局限于：进程本身的存活性、组件中各阶段逻辑功能的正常性。例如，storm组件的逻辑功能包括：日志解析功能、日志分析功能、日志中含有的攻击判定功能、policy是否有效等。
可选地，步骤S106包括：
基于处理结果确定web威胁识别防御系统是否检测到了web攻击；和/或
在检测到web攻击时，通过与原始web攻击日志数据所必定导致的正确预期检测结果对比，确定所检测到的web攻击的类型是否正确；和/或
在未检测到web攻击时，确定未检测到web攻击的原因；和/或
在误检测到web攻击时，确定误检测到web攻击的原因；
其中，所述原始web攻击和/或正常访问日志数据包括用于在正常检测时必定能检测到存在至少一种web攻击、和/或必定能检测到指定web攻击、和/或必定不能检测到存在任何一种web攻击、和/或必定不能检测到存在指定web攻击的模拟日志数据。
例如，根据本发明的上述技术方案，能够在原始web攻击日志数据中设定在时间范围内在web威胁识别防御系统正常运行状态下肯定能够被识别出含有CC攻击、路径扫描、漏洞攻击、危险UA、爬虫、异常流量包攻击、慢速攻击、刷单类攻击、账号类攻击等各种类型的web攻击。
在检测到web攻击时，通过与原始web攻击日志数据所必定导致的正确预期检测结果对比，确定所检测到的web攻击的类型是否正确，确定所述web威胁识别防御系统是否处于正常运行状态；
在未检测到web攻击时，确定未检测到web攻击的原因包括：
针对web攻击访问日志数据制定策略，当指定日志数据的URL请求特征值没有被正确计算时，对URL请求特征值没有被正确计算这一事件进行标记，将带有标记的上述事件存储在elasticsearch的事件索引中；
查询elasticsearch事件索引中的URL请求特征值没有被正确计算这一事件，当查询到URL请求特征值没有被正确计算这一事件时，则确定该web威胁识别防御系统未检测到所述指定web攻击的原因为指定日志数据的URL请求特征值没有被正确计算；
在误检测到web攻击时，确定误检测到web攻击的原因包括：
针对正常访问日志数据制定策略，当指定日志数据的URL请求特征值没有被正确计算时，对URL请求特征值没有被正确计算这一事件进行标记，将带有标记的上述事件存储在elasticsearch的事件索引中；
查询elasticsearch事件索引中的URL请求特征值没有被正确计算这一事件，当查询到URL请求特征值没有被正确计算这一事件时，则确定该web威胁识别防御系统误检测到所述指定web攻击的原因为指定日志数据的URL请求特征值没有被正确计算；
例如，基于高度模拟用户行为的原始web攻击和/或正常访问日志数据，针对web攻击访问日志数据制定策略，当指定日志数据的URL请求特征值没有被正确计算时，以urlpattern特征为例，urlpattern特征值是web威胁识别防御系统分析威胁时候用到的一个重要的维度。web威胁识别防御系统识别威胁逻辑简单举例为：
1.1.1.1这个IP访问域名a.com，如下5次访问的uri分别为：
/test/1.html
/test/2.html
/test/3.html
/test/4.html
/test/5.html
经过计算，可得到urlpattern＝/test/*.html，如果urlpattern特征值没有被正确计算，即没有计算成通配符“*”，那么web威胁识别防御系统就将对该web攻击访问无法有效识别，造成漏报。于是系统对该URL请求特征值没有被正确计算这一事件进行标记，将带有标记的上述事件存储在elasticsearch的事件索引中；通过查询elasticsearch事件索引中的URL请求特征值没有被正确计算这一事件，当查询到URL请求特征值没有被正确计算这一事件时，则可以确定该web威胁识别防御系统未检测到指定web攻击的原因为指定日志数据的URL请求特征值没有被正确计算；
同样道理，系统也可以确定该web威胁防御系统误检测到指定web攻击的原因为指定日志数据的URL请求特征值没有被正确计算，只是误检测的日志数据为正常访问日志数据。
根据本发明的上述技术方案，具有以下优点：
1、高度模拟线上整个分析流程，即线上如何推送、分析识别日志的，检测web威胁识别防御系统运行状态的方法(即，执行上述检测方法)就是如何推送、分析识别日志。
2、通过在线模拟，进行web威胁识别防御系统功能测试，解决了“由于线上客户日志威胁多种多样，像是有的客户存在web威胁，有的客户则不存在，这种情况下，只看组件的进程在不在，负载高不高是没有用的，且没有结果时不能定位是具体哪个组件”的技术问题。
图2示例性地示出了根据本发明的自动检测web威胁识别防御系统的运行状态的装置的示意框图。
如图2的实线框所示，根据本发明的自动检测web威胁识别防御系统的运行状态的装置200，包括：
web攻击模拟日志数据产生模块201，用于模拟用户攻击和/或正常访问web服务器所产生的原始web攻击和/或正常访问日志数据；
处理结果获取模块203，用于获取web威胁识别防御系统对原始web攻击和/或正常访问日志数据进行数据统计、数据分析、威胁识别的处理结果；
第一运行状态检测模块205，用于基于处理结果确定web威胁识别防御系统是否处于正常运行状态，
其中，web服务器使用LNMP组件来提供web服务，web攻击包括：CC攻击、路径扫描、漏洞攻击、危险UA、爬虫、异常流量包攻击、慢速攻击、刷单类攻击、账号类攻击。
可选地，如图2的虚线框所示，自动检测web威胁识别防御系统的运行状态的装置200还包括：
web威胁识别防御系统模块207，web威胁识别防御系统模块207包括：
kafka组件，用于获取原始web攻击和/或正常访问日志数据；和/或
storm组件，用于对原始web攻击和/或正常访问日志数据进行数据统计、数据分析、威胁识别。
例如，web威胁识别防御系统模块207还可以包括：
防御策略设定模块、报警模块。
可选地，如图2的虚线框所示，自动检测web威胁识别防御系统的运行状态的装置200还包括：
ElasticSearch组件209，用于收集、存储原始web攻击和/或正常访问日志数据和/或处理结果，
其中，ElasticSearch组件209通过建立专用处理结果索引的方式，存储和/或查询所述处理结果，所述专用处理结果索引包括下列中的至少一种：包含针对所述原始web攻击和/或正常访问日志数据的解析结果的原始web攻击日志解析索引、包含针对web威胁事件的解析结果的web威胁事件索引、包含针对域名的解析结果的域名索引、包含针对拦截流量的分析结果的拦截流量索引、包含关于所要监控的威胁事件的相关数据的测试索引。
可选地，如图2的虚线框所示，自动检测web威胁识别防御系统的运行状态的装置200还包括：
第二运行状态检测模块211，用于基于处理结果，确定各个组件的运行状态。
可选地，第一运行状态检测模块205还用于：
基于处理结果确定web威胁识别防御系统是否检测到了web攻击；和/或
在检测到web攻击时，通过与原始web攻击日志数据所必定导致的正确预期检测结果对比，确定所检测到的web攻击的类型是否正确；和/或
在未检测到web攻击时，确定未检测到web攻击的原因；和/或
在误检测到web攻击时，确定误检测到web攻击的原因，
其中，原始web攻击和/或正常访问日志数据包括用于在正常检测时必定能检测到存在至少一种web攻击、和/或必定能检测到指定web攻击、和/或必定不能检测到存在任何一种web攻击、和/或必定不能检测到存在指定web攻击的模拟日志数据。
在未检测到web攻击时，确定未检测到web攻击的原因包括：
针对web攻击访问日志数据制定策略，当指定日志数据的URL请求特征值没有被正确计算时，对URL请求特征值没有被正确计算这一事件进行标记，将带有标记的上述事件存储在elasticsearch的事件索引中；
查询elasticsearch事件索引中的URL请求特征值没有被正确计算这一事件，当查询到URL请求特征值没有被正确计算这一事件时，则确定该web威胁识别防御系统未检测到所述指定web攻击的原因为指定日志数据的URL请求特征值没有被正确计算；
在误检测到web攻击时，确定误检测到web攻击的原因包括：
针对正常访问日志数据制定策略，当指定日志数据的URL请求特征值没有被正确计算时，对URL请求特征值没有被正确计算这一事件进行标记，将带有标记的上述事件存储在elasticsearch的事件索引中；
查询elasticsearch事件索引中的URL请求特征值没有被正确计算这一事件，当查询到URL请求特征值没有被正确计算这一事件时，则确定该web威胁识别防御系统误检测到所述指定web攻击的原因为指定日志数据的URL请求特征值没有被正确计算；
为了使本领域技术人员更清楚地理解根据本发明的上述技术方案，下文将结合具体实施例进行描述。
图3示例性地示出了可以实现根据本发明的上述技术方案的一个具体实施例的示意图。
对应于结合图1描述的上述方法，以及，对应于结合图2描述的、包括web威胁识别防御系统模块207的上述装置200。如图3所示，该实施例包括：日志系统(即，上述web攻击模拟日志数据产生模块201)、web攻击防御系统(即，上述web威胁识别防御系统模块207+处理结果获取模块203+第一运行状态检测模块205)、组件健康状态监测(模块)(即，上述第二运行状态检测(模块)211)、微信告警(模块)。
1、日志系统用于执行日志收集。
例如，日志系统中可以包括默认原始日志、模拟的多种常见web攻击日志(即，上述原始web攻击和/或正常访问日志数据)、模拟的用户正常访问日志。
即，日志系统可以用于模拟用户访问行为，可以模拟多种用户访问行为日志场景推送。
例如，可以用kafka-client(对应于上述kafka组件)将收集到的web日志推入web攻击防御系统中的kafka–server(对应于上述kafka组件)。
2、web攻击防御系统用于执行日志分析、统计和威胁识别。
例如，可以通过storm(对应于上述storm组件)实时从kafka-server消费日志(例如，进行实时日志分析)，并解析日志成统一json格式写入ElasticSearch(对应于上述ElasticSearch组件209)原始日志索引，同时实时计算分析多个维度“值”，组成“特征”，基于“特征”，算法引擎通过一定的算法判定此IP或ID或其他的分析视角是否是某种威胁(例如，某种web攻击)，在判定是威胁后，经由“威胁上报API”上报威胁，同时从“用户行为画像记录API，信用污点API”等接口加载用户画像、信用污点等用户信息，一并写入ElasticSearch。
例如，在执行威胁判定检测时，其使用的算法配置文件跟线上相同且有补充(天使与魔鬼的判定者)。例如，添加了本次威胁没有被识别、已知原因判定的配置(对应于结合图1所述的上述步骤“在未检测到web攻击时，确定未检测到web攻击的原因”)。
web攻击防御系统还可以用于执行前端展示。
例如，可以经由前端将来自ElasticSearch的“值”、“特征”、用户画像、信用污点等数据，根据某分析视角进行展示。
web攻击防御系统还可以用于执行拦截。
例如，可以将拦截配置(如：拦截时长、拦截威胁的种类)、黑白名单配置及识别出来的威胁数据汇总，制定拦截规则“iptables”，通过salt-master(配置组件)下发命令给salt-monion(配置组件)到客户web服务器(即，salt-master下发命令指示salt-monion在客户机器的防火墙上添加“iptables”)，从而进行下一步对威胁的拦截。
3、组件健康状态监测用于检测各个组件的状态。
例如，所需要检查的组件可以包括：ElasticSearch、storm、LNMP、白名单列表组件、策略组件、拦截流组件。
4、告警(即，监控部分)可以基于组件健康状态监测传送的数据和告警平台数据进行整合，并且可以发送告警给具体的相关责任人。
例如，可以发送如图3所示的关于ElasticSearch组件异常、storm组件异常、攻击原因检测的告警信息。
更具体地，例如，可以分别执行以下组件的状态检测和/或告警操作：
1、检查ElasticSearch组件。
1)ElasticSearch组件产生异常的原因1：ElasticSearch进程是否假死或者挂掉了。
在预设的时间窗口及告警频次下，定时调用ElasticSearch接口，查看集群是否可连接，如果返回状态码200，则集群可以连接，否则，发送告警，ElasticSearch连接异常，且退出。
2)ElasticSearch组件产生异常的原因2：ElasticSearch组件异常(红色告警)。
检查ElasticSearch索引是否出现了unassigned shard及导致这种情况的原因(ElasticSearch OOM、可用磁盘存储空间太少、IO操作太频繁、CPU使用率太高)，然后把这些shard重新分配到节点上，分配后仍为红色告警，则发送告警，不退出。
2、检查storm组件。
storm组件产生异常的原因：根据日志消费流程，至少包括，从kafka中消费不到数据、storm spout不能接收到kafka的日志、storm bolt丢日志、storm bolt调接口失败、威胁上报API不能成功往ElasticSearch的威胁索引写入数据等。
在预设的时间窗口及检测频次下定时模拟简单型某域名CC攻击n条的日志，推入kafka集群，算法中内置了判定CC攻击的算法，统计该域名，如果当前时间的预设时间范围内，之前的ElasticSearch中威胁命中数据索引中命中的攻击条数小于预设条数，则认为storm运行异常。
web威胁识别防御系统整体在预设时长内没有响应，且通过ansible获取多台服务器的负载随告警一块返回，并退出。
上述检测操作正常执行之后，可以进行更加详细的攻击原因检测，例如，延长时间窗口，提高检测频次：
例如，可以模拟用户异常访问行为及正常访问行为，其中包含的攻击原因包括目前web攻防中的主要威胁因素：“CC攻击”、“路径扫描”、“漏洞攻击(SQL注入、xss、命令注入等)”、“危险UA”、“爬虫”、“异常流量包攻击”、“慢速攻击”、“刷单类”、“账号类攻击”等。算法中内置了判定上述攻击的算法，统计该域名，如果当前时间的预设时间范围内，ElasticSearch中所模拟的攻击原因没有被识别，则认为storm中的算法或规则异常。并通过上述urlpattern来确定或排除所模拟的攻击没有被识别的原因。
3、检查LNMP组件。
LNMP组件产生异常的原因至少包括：php-fpm是否工作正常、Nginx是否工作正常、mysql是否工作正常等。
在预设的时间窗口及检测频次下定时访问某web链接，发送请求，看返回的状态码，如果不是200，重试2次，仍然不是200，发送告警，LNMP组件异常，并返回当前状态码的信息，并退出。发送LNMP组件故障告警，请人工及时处理。
4、检查白名单(组件)是否有效。
白名单(组件)产生异常的原因：storm中的算法引擎出现故障。
在预设的时间窗口及检测频次下定时将一固定IP加入白名单配置里，推送含有此白名单IP的日志，到ElasticSearch中统计原始日志中是否含有这个IP，如果含有此IP的原始日志，则发送告警。
在预设时长内检测白名单失效，人工处理。
5、检测拦截组件是否正常。
拦截组件产生异常的原因至少包括：调用salt(配置组件)查看域名所属主机是没有拦截流量、ElasticSearch的拦截流量当天索引不正常。
在预设的时间窗口及检测频次下定时调用API查看开启拦截的域名，到ElasticSearch拦截流量索引统计有拦截流量的域名，并到ElasticSearch攻击次数索引统计攻击次数小于预定阈值n的域名，通过下面的逻辑：开启拦截的域名-(过滤有拦截流量的&&攻击次数<n)，得到预设时长内没有拦截流量的域名，告警ElasticSearch组件预设时长内没有拦截流量，并退出。
可选地，在模拟用户异常访问行为和/或正常访问行为时，需要满足以下条件：
1、日志少量，不影响系统运行。
2、保证系统正常运行的情况下，一定命中。
3、对丢日志有容错性。
可选地，针对上述组件检测、攻击原因检测的告警可以不同时产生告警，而是可以设置一个检测流程(即，可以设置不同的告警优先级)，意味着出现的告警越在流程前面，web威胁识别防御系统的整体问题可能越多，根据检测流程，至少包括：
ElasticSearch无法连接、ElasticSearch组件异常(红色告警)、web威胁识别防御系统整体预设时长内没有响应、LNMP组件故障、预设时长内没有拦截流量。
例如，可以通过以下操作来检测web威胁识别防御系统是否能够正确检测CC攻击(其他类型的攻击检测过程类似)：
1、模拟用户使用CC攻击，攻击web服务器所产生的原始web攻击日志数据(即，产生CC攻击日志)。
即，该CC攻击日志满足预定策略，以模拟某IP访问同一URL的日志：
可选地，还可以在该CC攻击日志加入群体正常行为日志，在算法中添加相应配置(以更准确地模拟线上多用户并发访问的实际情况)。
2、从ElasticSearch里查询近预设时长内日志总条数及是否有被该规则命中的信息。
如果命中，说明web威胁识别防御系统能够正确检测CC攻击，否则，说明web威胁识别防御系统不能正确检测CC攻击。
3、采用以下操作对storm组件的状态进行检测：
1)从ElasticSearch原始日志索引统计时间窗口内原始日志的总条数，在容错范围内，并跟同一时间窗口内的推送日志条数相比，如果统计后丢失日志数量>预设值，则告警：近预设时长内有丢日志的情况，丢日志占比XX％(即，进行storm组件的日志丢失检测操作)；
2)从ElasticSearch威胁索引中查看时间窗口内识别的所有威胁种类，跟先前推送的全部威胁种类做对比，查询不到的威胁种类就是威胁没有被识别的部分；
3)查看ElasticSearch威胁索引中是否含有特征值没有被正确计算这一事件标记，如果有，则说明，导致某个攻击原因没有被识别到的原因是该特征值没有被正确计算，可以记录以下信息：CC攻击、爬虫没有被识别，并退出。
根据本发明的上述技术方案，具有以下优点：
1、能够模拟多种web访问行为(包括正常行为、异常攻击行为)的日志，进而确定web威胁识别防御系统的在线运行状态。
2、能够在不影响web威胁识别防御系统自身性能的前提下，实时运行在客户网站的web威胁识别防御系统上，能够进行黑盒检测。
3、能够对web威胁识别防御系统的状态进行全面监控，不仅可以检测系统总体统计、分析、识别功能是否正常(即，系统是否正在正常进行web攻击检测)，还可以检测web威胁识别防御系统的各项检测功能(例如，针对某种攻击类型进行检测的功能)是否正常。
4、能够准确检测web威胁识别防御系统的各个组件的状态是否正常并进行报警。
5、能够检测URL请求特征值没有被正确计算，诸如“urlpattern没有计算成.*”等更细致的导致上层异常的原因。
6、能够根据预先设置的告警原因的优先级发送告警，能够根据预先设定的阈值(例如，上述攻击次数阈值)确定是否发送告警。
7、通过模拟相应的多种日志，可以自动监控特定威胁是否全部被识别的情况，减少因为算法调整或组件异常导致的漏报或误报。
上面描述的内容可以单独地或者以各种方式组合起来实施，而这些变型方式都在本发明的保护范围之内。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制。尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例的技术方案的精神和范围。

Claims (10)

1.一种自动检测web威胁识别防御系统的运行状态的方法，其特征在于，包括：
在线模拟用户攻击和/或正常访问web服务器所产生的原始web攻击和/或正常访问日志数据；
获取所述web威胁识别防御系统对所述原始web攻击和/或正常访问日志数据进行数据统计、数据分析、威胁识别的处理结果；
基于所述处理结果确定所述web威胁识别防御系统是否处于正常运行状态；
所述基于所述处理结果确定所述web威胁识别防御系统是否处于正常运行状态的步骤包括：
基于所述处理结果确定所述web威胁识别防御系统是否检测到了web攻击；和/或
在未检测到web攻击时，确定未检测到web攻击的原因；和/或
在误检测到web攻击时，确定误检测到web攻击的原因；
所述在未检测到web攻击时，确定未检测到web攻击的原因包括：
针对web攻击访问日志数据制定策略，当指定日志数据的URL请求特征值没有被正确计算时，对URL请求特征值没有被正确计算这一事件进行标记，将带有标记的上述事件存储在elasticsearch的事件索引中；
查询elasticsearch事件索引中的URL请求特征值没有被正确计算这一事件，当查询到URL请求特征值没有被正确计算这一事件时，则确定该web威胁识别防御系统未检测到所述指定web攻击的原因为指定日志数据的URL请求特征值没有被正确计算；
所述在误检测到web攻击时，确定误检测到web攻击的原因包括：
针对正常访问日志数据制定策略，当指定日志数据的URL请求特征值没有被正确计算时，对URL请求特征值没有被正确计算这一事件进行标记，将带有标记的上述事件存储在elasticsearch的事件索引中；
查询elasticsearch事件索引中的URL请求特征值没有被正确计算这一事件，当查询到URL请求特征值没有被正确计算这一事件时，则确定该web威胁识别防御系统误检测到所述指定web攻击的原因为指定日志数据的URL请求特征值没有被正确计算。
2.如权利要求1所述的自动检测web威胁识别防御系统的运行状态的方法，其特征在于，所述web威胁识别防御系统对所述原始web攻击和/或正常访问日志数据进行数据统计、数据分析、威胁识别的步骤包括：
所述web威胁识别防御系统使用kafka组件来获取所述原始web攻击和/或正常访问日志数据；和/或
所述web威胁识别防御系统使用storm组件来对所述原始web攻击和/或正常访问日志数据进行数据统计、数据分析、威胁识别；和/或
基于原始web攻击日志数据，判定是否存在某种web攻击的威胁。
3.如权利要求2所述的自动检测web威胁识别防御系统的运行状态的方法，其特征在于，还包括：
使用ElasticSearch组件来收集、存储所述原始web攻击和/或正常访问日志数据和/或所述处理结果，
其中，ElasticSearch组件通过建立专用处理结果索引的方式，存储和／或查询所述处理结果，所述专用处理结果索引包括下列中的至少一种：包含针对所述原始web攻击和/或正常访问日志数据的解析结果的原始web攻击日志解析索引、包含针对web威胁事件的解析结果的web威胁事件索引、包含针对域名的解析结果的域名索引、包含针对拦截流量的分析结果的拦截流量索引、包含关于所要监控的威胁事件的相关数据的测试索引。
4.如权利要求3所述的自动检测web威胁识别防御系统的运行状态的方法，其特征在于，还包括：
基于所述处理结果，确定各个组件的运行状态。
5.如权利要求1所述的自动检测web威胁识别防御系统的运行状态的方法，其特征在于，所述基于所述处理结果确定所述web威胁识别防御系统是否处于正常运行状态的步骤还包括：
在检测到web攻击时，通过与原始web攻击日志数据所必定导致的正确预期检测结果对比，确定所检测到的web攻击的类型是否正确；
其中，所述原始web攻击和/或正常访问日志数据包括用于在正常检测时必定能检测到存在至少一种web攻击、和/或必定能检测到指定web攻击、和/或必定不能检测到存在任何一种web攻击、和/或必定不能检测到存在指定web攻击的模拟日志数据。
6.一种自动检测web威胁识别防御系统的运行状态的装置，其特征在于，包括：
web攻击模拟日志数据产生模块，用于在线模拟用户攻击和/或正常访问web服务器所产生的原始web攻击和/或正常访问日志数据；
处理结果获取模块，用于获取所述web威胁识别防御系统对所述原始web攻击和/或正常访问日志数据进行数据统计、数据分析、威胁识别的处理结果；
第一运行状态检测模块，用于基于所述处理结果确定所述web威胁识别防御系统是否处于正常运行状态;
所述第一运行状态检测模块还用于：
基于所述处理结果确定所述web威胁识别防御系统是否检测到了web攻击；和/或
在未检测到web攻击时，确定未检测到web攻击的原因；和/或
在误检测到web攻击时，确定误检测到web攻击的原因，
所述在未检测到web攻击时，确定未检测到web攻击的原因包括：
针对web攻击访问日志数据制定策略，当指定日志数据的URL请求特征值没有被正确计算时，对URL请求特征值没有被正确计算这一事件进行标记，将带有标记的上述事件存储在elasticsearch的事件索引中；
查询elasticsearch事件索引中的URL请求特征值没有被正确计算这一事件，当查询到URL请求特征值没有被正确计算这一事件时，则确定该web威胁识别防御系统未检测到所述指定web攻击的原因为指定日志数据的URL请求特征值没有被正确计算；
所述在误检测到web攻击时，确定误检测到web攻击的原因包括：
针对正常访问日志数据制定策略，当指定日志数据的URL请求特征值没有被正确计算时，对URL请求特征值没有被正确计算这一事件进行标记，将带有标记的上述事件存储在elasticsearch的事件索引中；
查询elasticsearch事件索引中的URL请求特征值没有被正确计算这一事件，当查询到URL请求特征值没有被正确计算这一事件时，则确定该web威胁识别防御系统误检测到所述指定web攻击的原因为指定日志数据的URL请求特征值没有被正确计算。
7.如权利要求6所述的自动检测web威胁识别防御系统的运行状态的装置，其特征在于，还包括：
web威胁识别防御系统模块，所述web威胁识别防御系统模块包括：
kafka组件，用于获取所述原始web攻击和/或正常访问日志数据；和/或
storm组件，用于对所述原始web攻击和/或正常访问日志数据进行数据统计、数据分析、威胁识别，
所述web威胁识别防御系统模块用于：
基于原始web攻击日志数据，判定是否存在某种web攻击的威胁。
8.如权利要求7所述的自动检测web威胁识别防御系统的运行状态的装置，其特征在于，还包括：
ElasticSearch组件，用于收集、存储所述原始web攻击和/或正常访问日志数据和/或所述处理结果，
其中，ElasticSearch组件通过建立专用处理结果索引的方式，存储和／或查询所述处理结果，所述专用处理结果索引包括下列中的至少一种：包含针对所述原始web攻击和/或正常访问日志数据的解析结果的原始web攻击日志解析索引、包含针对web威胁事件的解析结果的web威胁事件索引、包含针对域名的解析结果的域名索引、包含针对拦截流量的分析结果的拦截流量索引、包含关于所要监控的威胁事件的相关数据的测试索引。
9.如权利要求8所述的自动检测web威胁识别防御系统的运行状态的装置，其特征在于，还包括：
第二运行状态检测模块，用于基于所述处理结果，确定各个组件的运行状态。
10.如权利要求6所述的自动检测web威胁识别防御系统的运行状态的装置，其特征在于，所述第一运行状态检测模块还用于：
在检测到web攻击时，通过与原始web攻击日志数据所必定导致的正确预期检测结果对比，确定所检测到的web攻击的类型是否正确；
其中，所述原始web攻击和/或正常访问日志数据包括用于在正常检测时必定能检测到存在至少一种web攻击、和/或必定能检测到指定web攻击、和/或必定不能检测到存在任何一种web攻击、和/或必定不能检测到存在指定web攻击的模拟日志数据。
CN201910105207.8A 2019-02-01 2019-02-01 自动检测web威胁识别防御系统的运行状态的方法及装置 Active CN111526109B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910105207.8A CN111526109B (zh) 2019-02-01 2019-02-01 自动检测web威胁识别防御系统的运行状态的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910105207.8A CN111526109B (zh) 2019-02-01 2019-02-01 自动检测web威胁识别防御系统的运行状态的方法及装置

Publications (2)

Publication Number Publication Date
CN111526109A CN111526109A (zh) 2020-08-11
CN111526109B true CN111526109B (zh) 2022-11-29

Family

ID=71910329

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910105207.8A Active CN111526109B (zh) 2019-02-01 2019-02-01 自动检测web威胁识别防御系统的运行状态的方法及装置

Country Status (1)

Country Link
CN (1) CN111526109B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112615865B (zh) * 2020-12-21 2021-08-31 上海德吾信息科技有限公司 基于大数据和人工智能的数据防入侵方法及大数据服务器
CN114257403B (zh) * 2021-11-16 2024-03-26 北京网宿科技有限公司 误报检测方法、设备及可读存储介质
CN114363023A (zh) * 2021-12-23 2022-04-15 国家电网有限公司 一种Web安全防护系统实施及策略调优方法、系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106487596A (zh) * 2016-10-26 2017-03-08 宜人恒业科技发展（北京）有限公司 分布式服务跟踪实现方法
CN107181612A (zh) * 2017-05-08 2017-09-19 深圳市众泰兄弟科技发展有限公司 一种基于大数据的可视化网络安全监控方法
CN108712329A (zh) * 2018-05-02 2018-10-26 山东汇贸电子口岸有限公司 一种基于Elasticsearch的服务网关及日志记录检索装置
US10162900B1 (en) * 2015-03-09 2018-12-25 Interos Solutions Inc. Method and system of an opinion search engine with an application programming interface for providing an opinion web portal

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10162900B1 (en) * 2015-03-09 2018-12-25 Interos Solutions Inc. Method and system of an opinion search engine with an application programming interface for providing an opinion web portal
CN106487596A (zh) * 2016-10-26 2017-03-08 宜人恒业科技发展（北京）有限公司 分布式服务跟踪实现方法
CN107181612A (zh) * 2017-05-08 2017-09-19 深圳市众泰兄弟科技发展有限公司 一种基于大数据的可视化网络安全监控方法
CN108712329A (zh) * 2018-05-02 2018-10-26 山东汇贸电子口岸有限公司 一种基于Elasticsearch的服务网关及日志记录检索装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《基于ELK Stack的实时日志分析系统的设计与实现》;王裕辰;《中国优秀硕士学位论文全文数据库》;20181130;论文第6-15，25-32，54-60页 *
《基于Web应用的日志采集与分析系统的设计与实现》;于静;《中国优秀硕士学位论文全文数据库》;20170131;论文第5-10，17-27，31-37，49-53页 *

Also Published As

Publication number Publication date
CN111526109A (zh) 2020-08-11

Similar Documents

Publication Publication Date Title
US10645110B2 (en) Automated forensics of computer systems using behavioral intelligence
CN109347827B (zh) 网络攻击行为预测的方法、装置、设备及存储介质
US8813220B2 (en) Methods and systems for internet protocol (IP) packet header collection and storage
US7903566B2 (en) Methods and systems for anomaly detection using internet protocol (IP) traffic conversation data
KR101239401B1 (ko) 보안 시스템의 로그 분석 시스템 및 방법
US7995496B2 (en) Methods and systems for internet protocol (IP) traffic conversation detection and storage
CN111526109B (zh) 自动检测web威胁识别防御系统的运行状态的方法及装置
US8762515B2 (en) Methods and systems for collection, tracking, and display of near real time multicast data
US20030084318A1 (en) System and method of graphically correlating data for an intrusion protection system
US8774023B2 (en) Method and system for detecting changes in network performance
US20030083847A1 (en) User interface for presenting data for an intrusion protection system
CN109063486B (zh) 一种基于plc设备指纹识别的安全渗透测试方法与系统
CN112114995A (zh) 基于进程的终端异常分析方法、装置、设备及存储介质
CN113660115B (zh) 基于告警的网络安全数据处理方法、装置及系统
CN105812200A (zh) 异常行为检测方法及装置
CN114006723B (zh) 基于威胁情报的网络安全预测方法、装置及系统
CN108259202A (zh) 一种ca监测预警方法和ca监测预警系统
CN107995066A (zh) 一种自动化测试网卡的方法和装置
CN114598506B (zh) 工控网络安全风险溯源方法、装置、电子设备及存储介质
CN104486320A (zh) 基于蜜网技术的内网敏感信息泄露取证系统及方法
CN117395076A (zh) 基于大数据的网络感知异常检测系统与方法
CN116866078A (zh) 一种网络安全评价方法
CN114006719B (zh) 基于态势感知的ai验证方法、装置及系统
KR100772177B1 (ko) 보안 기능 시험을 위한 침입 탐지 이벤트 생성 방법 및장치
CN113660223B (zh) 基于告警信息的网络安全数据处理方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant