CN112685214B - 一种通过日志收集分析中毒机器并进行告警的方法 - Google Patents
一种通过日志收集分析中毒机器并进行告警的方法 Download PDFInfo
- Publication number
- CN112685214B CN112685214B CN202110052467.0A CN202110052467A CN112685214B CN 112685214 B CN112685214 B CN 112685214B CN 202110052467 A CN202110052467 A CN 202110052467A CN 112685214 B CN112685214 B CN 112685214B
- Authority
- CN
- China
- Prior art keywords
- log
- virus
- data
- logs
- analyzing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明提供一种通过日志收集分析中毒机器并进行告警的方法，属于日记分析技术领域，本发明对安全设备、网络设备、服务器、虚拟机、应用、数据库等日志实时进行大批量日志收集分析，分析异常访问，根据日志异常访问，结合病毒库特征，判断资产是否中毒，并进行通报。根据日志的异常访问特征，对全内网资产进行全部安全检测，找出相同特征资产，查找全部相关病毒机器，进行预警通报，实现对海量日志数据的有效利用。
Description
技术领域
本发明涉及日记分析技术领域，尤其涉及一种通过日志收集分析中毒机器并进行告警的方法。
背景技术
随着应用系统日趋庞大，及各个云中心的出现，日志设备中的日志存的不全、查找困难的情况，也日趋凸显出来，要想从海量日志数据中提取安全相关有利信息，更是无从谈起。
当前市面上类似产品有日志审计和态势感知。日志审计是实现了日志的收集及展示，但是实际使用过程中，功能比较单一，性能也不好，在资产数量较多的情况下日志审计设备需要很多，成本上也不划算。市面上现在有的态势感知系统，一般是接入了流量进行流量分析，性能上存在瓶颈，并且当前的态势感知一般接入核心交换机，如果出现不经过核心交换机的攻击流量，态势感知就不会感知。
大型企业信息系统庞大，使用到的硬件资产也越来越多。另外，当前有比较多的云中心等，在参与云中心安全应急响应过程中发现日志设备中的日志存在不全，或者查找困难的情况。
在日志数量基本到达大数据级别时，一些日志分析及安全事件的处理，在使用常规的处理处理方式就会遇到各种问题，导致，日志分析成为安全事件处理的一个瓶颈。
发明内容
为了解决以上技术问题，本发明提供了一种通过日志收集分析中毒机器并进行告警的方法。
本发明的技术方案是：
一种通过日志收集分析中毒机器并进行告警的方法，根据日志提取病毒特征形成特征库，根据特征库进行全内网检测；
包含以下方面:
1)日志收集；
2)syslog服务器日志存储
3)消息队列集群
4)日志的存储及查询分析
5)安全预警。
进一步的，
对海量日志数据进行实时的异常行为分析，如发现异常行为，分析传输数据的特征，根据病毒特征库快速判断中病毒种类；根据特征库分析之后，在全内网进行该种病毒的全内网资产病毒探测。
进一步的，
对安全设备、网络设备、服务器、虚拟机、应用、数据库的日志实时进行批量日志收集分析，分析异常访问，根据日志异常访问，结合病毒库特征，判断资产是否中毒，并进行通报。
根据日志的异常访问特征，对全内网资产进行全部安全检测，找出相同特征资产，查找全部相关病毒机器，进行预警通报。
进一步的，
部署一个以上的syslog服务器收集全部设备的流量日志，收集的syslog日志通过logstash传输到kafka消息中间件，再通过logstash传输到统一的ES存储。
整个数据传输过程，性能需要调整到最优，保证由设备到syslog服务器，再到kafka、logstash、ES存储，全过程无数据积压，需要调整一次以上的参数，并调整部署架构。
后续的日志数据的提取分析的数据获取，都是通过ES的API提供；根据提供的接口调用的结果，定制报表会通过调用ESAPI做报表展示，可以定期进行邮件发送通知。
进一步的，
步骤如下：
1)产生日志之后，将日志自动传输到配置好的syslog服务器，收集到的日志会在syslog服务器存储6个月；
2)Syslog服务器上安装了logstash客户端，负责收集syslog服务器的日志通过logstash传输到kafka集群；Syslog服务器的日志在传输到logstash的时候日志进行切分，按照<key,value>的格式进行的切分；
3)Kafka集群上安装logstash，负责将kafka消息队列的数据传输到ES集群，ES负责1个月的日志存储及基本查询；
4)ES负责一个月的数据存储，及接口查询，ES存储的数据，是已经把日志切分之后的数据；
5)对日志数据进行实时的异常行为分析，如发现异常行为，分析传输数据的特征，根据病毒特征库快速判断中病毒种类；
6)根据特征库分析之后，在全内网进行该种病毒的全内网资产病毒探测。
本发明的有益效果是
本发明侧重在海量日志处理，分割存储，保证数据可以实时处理、存储、查询。有利于安全事件的快速处理；并能从就有安全威胁的日志中提取关键特征，用于全内网资产相关病毒的全面探测。
附图说明
图1是本发明的工作流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明主要包含以下几个方面:日志收集、syslog服务器日志存储、消息队列集群、日志的存储及查询分析、及安全预警、根据日志提取病毒特征形成特征库，根据特征库进行全内网检测。
整体架构是机房划分若干的部署一个或多个syslog服务器收集全部设备的流量日志，收集的syslog日志会通过logstash传输到kafka消息中间件，再通过logstash传输到统一的ES存储。整个数据传输过程，性能需要调整到最优，保证由设备到syslog服务器，再到kafka、logstash、ES存储，全过程无数据积压，这个需要多次调整参数，并调整部署架构，实际调整中一天处理数据量可以达到2亿条之多。
后续的日志数据的提取分析的数据获取，都是通过ES的API提供。根据提供的接口调用的结果，定制报表会通过调用ESAPI做报表展示，可以定期进行邮件发送通知。
具体的步骤如下：
1)物理机、安全设备、蜜罐等产生日志之后，会将日志自动传输到配置好的syslog服务器，收集到的日志会在syslog服务器存储6个月。
2)Syslog服务器上安装了logstash客户端。负责收集syslog服务器的日志通过logstash传输到kafka集群。Syslog服务器的日志在传输到logstash的时候日志进行了切分，按照<key,value>的格式进行的切分。
3)Kafka集群上也需要安装logstash，负责将kafka消息队列的数据传输到ES集群，ES负责1个月的日志存储及基本查询。
4)ES负责一个月的数据存储，及基本的接口查询，ES存储的数据，是已经把日志切分之后的数据。
5)对日志数据进行实时的异常行为分析，如发现异常行为，分析传输数据的特征，根据病毒特征库快速判断中病毒种类。
6)根据特征库分析之后，在全内网进行该种病毒的全内网资产病毒探测。
平台整体是一个分布式部署的架构，不同的服务模块部署在不同的服务器上，问题出现时，大部分情况需要根据日志暴露的关键信息，定位到具体的服务器和服务模块，提高定位问题的效率；并根据病毒在日志中的特征表现，在全内网进行大面积检测，减少病毒扩散的风险。
本发明包含以下几个主要特点：
1.有全部内网资产库，平台到全内网各个资产是网络可达的。
2.能够采集安全设备、网络设备、服务器、中间件、应用等全部资产的的登录、访问等全部日志数据及关键交换机设备的流量数据；
3.能够稳定的把数据传输到中央系统，跟生产网段隔离，不能因为日志收集影响正常生产环境带宽使用；
4.根据大量日志数据，分析异常访问，根据日志异常访问，结合病毒库特征，判断资产是否中毒，并进行通报。
5.根据日志的异常访问特征，对全内网资产进行全部安全检测，找出相同特征资产，并进行通报。
6.可以支持UI分析对数据进行有效分析；
7.能够提供错误报告、监控机制；
8.对整个数据结果的分析可以进行威胁分析、异常分析、事件告警。
本发明对海量日志处理，分割存储，保证数据可以实时处理、存储、查询。实际工作中，每天的实时日志处理量已经达到了2亿条。
以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (1)
1.一种通过日志收集分析中毒机器并进行告警的方法，其特征在于，
根据日志提取病毒特征形成特征库，根据特征库进行全内网检测；
包含以下方面:
1）日志收集；
2）syslog服务器日志存储；
3）消息队列集群；
4）日志的存储及查询分析；
5）安全预警；
对海量日志数据进行实时的异常行为分析，如发现异常行为，分析传输数据的特征，根据病毒特征库快速判断中病毒种类；根据特征库分析之后，在全内网进行该种病毒的全内网资产病毒探测；
对安全设备、网络设备、服务器、虚拟机、应用、数据库的日志实时进行批量日志收集分析，分析异常访问，根据日志异常访问，结合病毒库特征，判断资产是否中毒，并进行通报；
根据日志的异常访问特征，对全内网资产进行全部安全检测，找出相同特征资产，查找全部相关病毒机器，进行预警通报；
部署一个以上的syslog服务器收集全部设备的流量日志，收集的syslog日志通过logstash传输到kafka消息中间件，再通过logstash传输到统一的ES存储；
整个数据传输过程，性能需要调整到最优，保证由设备到syslog服务器，再到kafka、logstash、ES存储，全过程无数据积压，需要调整一次以上的参数，并调整部署架构；
后续的日志数据的提取分析的数据获取，都是通过ES的API提供；根据提供的接口调用的结果，定制报表会通过调用ESAPI做报表展示，可定期进行邮件发送通知；
具体步骤如下：
1）产生日志之后，将日志自动传输到配置好的syslog服务器，收集到的日志会在syslog服务器存储6个月；
3）Syslog服务器上安装了logstash客户端，负责收集syslog服务器的日志通过logstash传输到kafka集群；Syslog服务器的日志在传输到logstash的时候日志进行切分，按照<key,value>的格式进行的切分；
4）Kafka集群上安装logstash，负责将kafka消息队列的数据传输到ES集群，ES负责1个月的日志存储及基本查询；
5）ES负责一个月的数据存储，及接口查询，ES存储的数据，是已经把日志切分之后的数据；
7）对日志数据进行实时的异常行为分析，如发现异常行为，分析传输数据的特征，根据病毒特征库快速判断中病毒种类；
8）根据特征库分析之后，在全内网进行该种病毒的全内网资产病毒探测。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110052467.0A CN112685214B (zh) | 2021-01-15 | 2021-01-15 | 一种通过日志收集分析中毒机器并进行告警的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110052467.0A CN112685214B (zh) | 2021-01-15 | 2021-01-15 | 一种通过日志收集分析中毒机器并进行告警的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112685214A CN112685214A (zh) | 2021-04-20 |
| CN112685214B true CN112685214B (zh) | 2023-07-14 |
Family
ID=75457986
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110052467.0A Active CN112685214B (zh) | 2021-01-15 | 2021-01-15 | 一种通过日志收集分析中毒机器并进行告警的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112685214B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106534257A (zh) * | 2016-09-29 | 2017-03-22 | 国家电网公司 | 一种多层次集群式架构的多源安全日志采集系统及方法 |
| CN108551449A (zh) * | 2018-04-13 | 2018-09-18 | 上海携程商务有限公司 | 防病毒管理系统及方法 |
| CN109542733A (zh) * | 2018-12-05 | 2019-03-29 | 焦点科技股份有限公司 | 一种高可靠的实时日志收集及可视化检索方法 |
| CN110309030A (zh) * | 2019-07-05 | 2019-10-08 | 亿玛创新网络(天津)有限公司 | 基于ELK和Zabbix的日志分析监控系统和方法 |
| CN110401632A (zh) * | 2019-06-20 | 2019-11-01 | 国网辽宁省电力有限公司信息通信分公司 | 一种恶意域名感染主机溯源方法 |
| CN111711599A (zh) * | 2020-04-23 | 2020-09-25 | 北京凌云信安科技有限公司 | 基于多元海量数据融合关联分析的安全态势感知系统 |
-
2021
- 2021-01-15 CN CN202110052467.0A patent/CN112685214B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106534257A (zh) * | 2016-09-29 | 2017-03-22 | 国家电网公司 | 一种多层次集群式架构的多源安全日志采集系统及方法 |
| CN108551449A (zh) * | 2018-04-13 | 2018-09-18 | 上海携程商务有限公司 | 防病毒管理系统及方法 |
| CN109542733A (zh) * | 2018-12-05 | 2019-03-29 | 焦点科技股份有限公司 | 一种高可靠的实时日志收集及可视化检索方法 |
| CN110401632A (zh) * | 2019-06-20 | 2019-11-01 | 国网辽宁省电力有限公司信息通信分公司 | 一种恶意域名感染主机溯源方法 |
| CN110309030A (zh) * | 2019-07-05 | 2019-10-08 | 亿玛创新网络(天津)有限公司 | 基于ELK和Zabbix的日志分析监控系统和方法 |
| CN111711599A (zh) * | 2020-04-23 | 2020-09-25 | 北京凌云信安科技有限公司 | 基于多元海量数据融合关联分析的安全态势感知系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112685214A (zh) | 2021-04-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108964995B (zh) | 基于时间轴事件的日志关联分析方法 | |
| CN101325520B (zh) | 基于日志的智能自适应网络故障定位和分析方法 | |
| EP2487860B1 (en) | Method and system for improving security threats detection in communication networks | |
| CN111711599A (zh) | 基于多元海量数据融合关联分析的安全态势感知系统 | |
| CN106371986A (zh) | 一种日志处理运维监控系统 | |
| CN110300100A (zh) | 日志审计的关联分析方法与系统 | |
| CN108551449B (zh) | 防病毒管理系统及方法 | |
| CN110209518A (zh) | 一种多数据源日志数据集中收集存储方法及装置 | |
| CN111212035A (zh) | 一种主机失陷确认及自动修复方法及基于此的系统 | |
| CN115001877B (zh) | 一种基于大数据的信息安全运维管理系统及方法 | |
| CN112416872A (zh) | 一种基于大数据的云平台日志管理系统 | |
| CN102882701A (zh) | 一种电网核心业务数据智能化监控告警系统及方法 | |
| US20210365564A1 (en) | Techniques for monitoring computing infrastructure | |
| CN107809321B (zh) | 一种安全风险评估和告警生成的实现方法 | |
| CN116257021A (zh) | 一种工控系统智能网络安全态势监测预警平台 | |
| CN112714118B (zh) | 网络流量检测方法和装置 | |
| CN106911510A (zh) | 网络准入系统的可用性监测系统及方法 | |
| CN112685214B (zh) | 一种通过日志收集分析中毒机器并进行告警的方法 | |
| CN113132370A (zh) | 一种普适的一体化安管中心系统 | |
| CN105739408A (zh) | 一种电力调度系统用业务监控方法及系统 | |
| US20210303682A1 (en) | Detecting malicious behavior in a network using security analytics by analyzing process interaction ratios | |
| CN107682166B (zh) | 基于大数据的安全运维服务平台远程数据采集的实现方法 | |
| CN114257403B (zh) | 误报检测方法、设备及可读存储介质 | |
| CN114640567A (zh) | Apache日志的分析方法及装置 | |
| CN110460558A (zh) | 一种基于可视化的攻击模型发现的方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20230620 Address after: 250100 Inspur science and Technology Park, 1036 Inspur Road, hi tech Zone, Jinan City, Shandong Province Applicant after: Inspur Software Technology Co.,Ltd. Address before: 250100 First Floor of R&D Building 2877 Kehang Road, Sun Village Town, Jinan High-tech Zone, Shandong Province Applicant before: SHANDONG INSPUR BUSINESS SYSTEM Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |