CN112416872A - 一种基于大数据的云平台日志管理系统 - Google Patents
一种基于大数据的云平台日志管理系统 Download PDFInfo
- Publication number
- CN112416872A CN112416872A CN202011166851.5A CN202011166851A CN112416872A CN 112416872 A CN112416872 A CN 112416872A CN 202011166851 A CN202011166851 A CN 202011166851A CN 112416872 A CN112416872 A CN 112416872A
- Authority
- CN
- China
- Prior art keywords
- log
- data
- analysis
- module
- events
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 claims abstract description 75
- 238000000034 method Methods 0.000 claims abstract description 36
- 238000012545 processing Methods 0.000 claims abstract description 26
- 238000011897 real-time detection Methods 0.000 claims abstract description 15
- 238000003860 storage Methods 0.000 claims abstract description 14
- 230000008569 process Effects 0.000 claims abstract description 13
- 238000005065 mining Methods 0.000 claims abstract description 11
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 238000001914 filtration Methods 0.000 claims abstract description 7
- 230000004044 response Effects 0.000 claims abstract description 5
- 238000007726 management method Methods 0.000 claims description 33
- 230000006399 behavior Effects 0.000 claims description 18
- 230000002159 abnormal effect Effects 0.000 claims description 14
- 238000012550 audit Methods 0.000 claims description 8
- 238000007405 data analysis Methods 0.000 claims description 7
- 238000011161 development Methods 0.000 claims description 6
- 238000010219 correlation analysis Methods 0.000 claims description 5
- 238000010801 machine learning Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 230000009545 invasion Effects 0.000 claims description 3
- 230000000737 periodic effect Effects 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000012038 vulnerability analysis Methods 0.000 claims description 3
- 239000002023 wood Substances 0.000 claims description 3
- 238000012423 maintenance Methods 0.000 abstract description 16
- 230000008447 perception Effects 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 description 10
- 239000000243 solution Substances 0.000 description 9
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000007418 data mining Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000013024 troubleshooting Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/1734—Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/57—Certifying or maintaining trusted computer platforms, e.g. secure boots or power-downs, version controls, system software checks, secure updates or assessing vulnerabilities
- G06F21/577—Assessing vulnerabilities and evaluating computer system security
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Mathematical Physics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明属于大数据技术领域，公开了一种基于大数据的云平台日志管理系统，包括：日志采集模块：用于通过分布式多任务方法对日志实践进行分析挖掘；日志预处理模块：用于通过审计策略进行日志事件的过滤和同类事件进行归并处理，并分别发送至实时检测模块和数据库系统；数据库系统：用于存储日志预处理模块发送的日志事件；实时检测模块：用于对处理后的日志事件进行审计，并根据响应策略对审计结果进行响应；日志分析模块：用于对数据库系统中的历史数据进行分析，并根据用户设置通过图表对分析结果进行显示。本发明可以提高运维人员在运维管理过程中的工作效率及安全态势的感知能力。
Description
技术领域
本发明属于大数据技术领域，具体涉及一种基于大数据的云平台日志管理系统。
背景技术
随着信息技术的不断发展，用户对新业务的需求以及对服务质量的要求也不断提升。由此带来了一项新的挑战，即新环境产生大量的以前不曾有过的日志，并带来相关的问题，如：日志文件分散存放，数量多，可直接查阅的日志文件保存周期短，极不便于运维；日志格式不一致，可阅读性过低；查询耗时费力，效率低下；相关日志的关联性低，无法清晰定位；大量的日志无法统计，无法准确的分析业务；而且由于相关法规、政策或商业上的要求，必须保留并能够查询、分析处理这些日志数据。
日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。通常，日志被分散的储存不同的设备上。如果管理数十上百台服务器，使用依次登录每台机器的传统方法查阅日志，是很繁琐和效率低下的。当务之急是使用集中化的日志管理，将所有服务器上的日志收集汇总。但是集中化管理日志后，日志的统计和检索又成为一件比较麻烦的事情，现有技术中一般使用grep、awk和wc等Linux命令能实现检索和统计，但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。
基于关系型的传统数据库无法满足新形势下的要求，需要建立一种基于大数据的云平台日志管理系统，以提高日志管理效率。
发明内容
本发明克服现有技术存在的不足，所要解决的技术问题为：提供一种基于大数据的云平台日志管理系统。
为了解决上述技术问题，本发明采用的技术方案为：一种基于大数据的云平台日志管理系统，包括：
日志采集模块：用于通过分布式多任务方法对日志实践进行分析挖掘，所述日志时间包括安全日志、应用日志、系统日志和业务行为日志；
日志预处理模块：用于通过审计策略进行日志事件的过滤，然后对日志事件中的同类事件进行归并处理，避免产生事件风暴，最后将处理后的日志事件分别发送至实时检测模块和数据库系统；
数据库系统：用于存储日志预处理模块发送的日志事件；
实时检测模块：用于对处理后的日志事件进行审计，并根据响应策略对审计结果进行响应；
日志分析模块：用于对数据库系统中的历史数据进行分析，并根据用户设置通过图表对分析结果进行显示，所述分析结果包括日志事件的归类统计及日志事件的发展变化趋势。
所述日志采集模块中，将物理设备和虚拟设备分别作为一个数据接点，利用Flume日志收集系统和Scribe分布式日志收集系统进行日志事件的采集。
所述数据库系统采用分布式文件系统存储方式和对象存储方式对日志事件进行存储。
所述日志分析模块进行历史数据分析的方法为：将存储的数据利用HDFS分布式系统发送到各个网络节点，各个节点组成一个集群，然后将数据的处理过程按照Map Reduce框架转化为Map阶段和Reduce阶段进行处理，然后利用Map Reduce将预处理后的数据集采用机器学习的方法进行数据分析，挖掘出数据背后的价值建立预测模型。
所述日志分析模块具体用于：根据已采集的历史告警信息和历史产生事件信息，生成关联历史同类告警的解决方案清单视图；通过采集的攻击日志数据，生成告警所在各安全设备近期告警攻击行为的趋势视图；通过采集应用日志和系统日志，生成告警时间附件的异常日志视图；最后通过结合采集的配置信息和告警信息，申城关联应用告警情况的关联告警视图。
所述日志分析模块包括：
异常情报与威胁情报分析模块：用于通过对知识采集、处理和分析最终输出威胁情报；还用于基于外部开源的和第三方情报数据，增强威胁情报的准确度和时效性；以及用于利用大数据分析平台将本地历史数据、网络资产数据与情报数据按照多个维度进行关联分析，可快速感知威胁，通过平台安全规则的筛选和过滤最终形成漏斗效应，保证威胁告警的更加的精准和有效；
漏洞管理全生命周期管理模块：用于提供内网环境的资产感知和稽查功能，通过扫描指定的 IP 地址范围，嗅探新增设备以及启动服务，还用于通过单一通用端口探测并转向多协议探测，发现更多网络服务类型和相关数据，经过周期性对比和核实，构建资产安全脆弱性分析系统，实现根据异构网络资产元数据和服务数据的图谱构建和自动化分析，并提供可视化呈现和安全评估报告；
态势感知分析模块：用于通过对入侵、异常流量、僵木、蠕虫、系统安全、网站安全态势进行多维度日志采集和分析，形成多类型的安全态势分析图。
本发明与现有技术相比具有以下有益效果：本发明提供一种基于大数据的云平台日志管理系统，能够自动采集海量日志信息，采用数据挖掘技术对其进行处理，发现系统中存在的异常信息或行为，对日志对象按业务应用进行管理与分析，通过分布式多任务技术对海量日志进行分析挖掘，应用规则关联、统计关联等分析方法，建立科学的分析模型，将告警信息以邮件或者短信的形式发放自动计算分析，以缩短故障排查时间和业务中断时间。提供更为快速的处理分析和展现，适用于海量数据下的分析应用，帮助用户在关键业务系统及内部系统实现全面的智能关联分析，提高运维人员在运维管理过程中的工作效率及安全态势的感知能力，通过将日志中心作为上层应用，具备良好的扩展性和堆叠性，满足信息的交换和处理，避免信息系统烟囱式的发展。
附图说明
图1为本发明实施例提供的一种基于大数据的云平台日志管理系统的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供了一种基于大数据的云平台日志管理系统，包括：
日志采集模块：用于通过分布式多任务方法对日志实践进行分析挖掘，所述日志时间包括安全日志、应用日志、系统日志和业务行为日志；
日志预处理模块：用于通过审计策略进行日志事件的过滤，然后对日志事件中的同类事件进行归并处理，避免产生事件风暴，最后将处理后的日志事件分别发送至实时检测模块和数据库系统；
数据库系统：用于存储日志预处理模块发送的日志事件；
实时检测模块：用于对处理后的日志事件进行审计，并根据响应策略对审计结果进行响应；
日志分析模块：用于对数据库系统中的历史数据进行分析，并根据用户设置通过图表对分析结果进行显示，所述分析结果包括日志事件的归类统计及日志事件的发展变化趋势。
具体地，本实施例中，所述日志采集模块中，将物理设备和虚拟设备分别作为一个数据接点，利用Flume日志收集系统和Scribe分布式日志收集系统进行日志事件的采集。政务云平台每天都会产生大量的安全日志、应用日志、系统日志、业务行为日志等信息，本实施例将每台物理设备和虚拟设备作为一个数据节点，整个平台所有的设备作为一个大集群，采用Flume日志收集系统、Scribe分布式日志收集系统等进行日志信息的采集。Flume日志收集系统具有流式数据方式的特点，而且具有故障转移与故障恢复的能力，因此更加安全。Scribe分布式日志收集系统可以采用分布式方式，具有较强的容错能力，因此可以更加高效地收集数据。
日志数据主要来源于信息通信系统的网络设备、安全设备、主机操作系统、应用系统、业务系统以及数据库事务处理或操作。这些设备或系统产生的日志数据或日志文件广泛分布在各自的存储设备、数据库或通过Syslog日志协议发送到日志服务器上，从而造成日志采集效率低，不能完全捕获，数据格式不统一等问题，并且缺少标准化的技术手段对这些海量的日志数据进行管理，形成各自为政的尴尬局面。因此，需要对这些日志数据或文件进行有效采集，并采用统一格式进行存储分析，可提供面向流式数据、kafka实时数据和批量数据的处理流程；流数据通过kakfa缓冲做进一步统计分析;Flume等消息日志处理接入流计算处理平台，实时数据通过直接接入实时数据在线并针对计算结处理平台中，通过在线数据处理平台响应高并发读写请求;批数据通过数据抽取、同步、上传等导入到核心平台进行数据存储分析。
具体地，本实施例中，日志预处理模块对接收到的已格式化的事件信息进行处理，首先按审计策略进行事件的过滤，然后对大量的同类事件进行归并处理，避免产生事件风暴。事件的归并能简化后续的分析及方便用户的查看。处理后的事件分别发送至实时检测引擎及数据库系统。
具体地，本实施例中，所述数据库系统采用分布式文件系统存储方式和对象存储方式对日志事件进行存储。传统的日志存储方式，一般都是直接存储在硬盘当中，虽然磁盘的容量在稳步增加，但是磁盘的读取速度却没有与时俱进。磁盘中数据量大而读取效率低，将会导致整个日志分析效率低下。由于日志中心必须具有快速实时性，这样才能进行快速响应，定位问题，维护平台安全，否者滞后分析出的结果没有任何的价值。利用大数据技术中的分布式文件系统技术、对象存储技术对数据进行存 储后，可以大大加快数据的读取速度，从而提高整个日志分析的效率，满足实时性的要求。
具体地，本实施例中，所述日志分析模块进行历史数据分析的方法为：将存储的数据利用HDFS分布式系统发送到各个网络节点，各个节点组成一个集群，然后将数据的处理过程按照Map Reduce框架转化为Map阶段和Reduce阶段进行处理，然后利用Map Reduce将预处理后的数据集采用机器学习的方法进行数据分析，挖掘出数据背后的价值建立预测模型。
平台大量的日志数据背后隐藏着各种各样的有价值信息，通过对这些日志分析可以得知平台的安全状况，进而采取措施保证安全。大数据技术中的Map Reduce是一种用于数据处理的编程模型，可以进行大规模的数据集处理，效率非常高效。由于各个用户的访问信息是独立的，因此可以采用Map Reduce网络模型框架进行编程进而进行数据分析。首先，将存储的数据利用HDFS分布式系统发送到各个网络节点，各个节点组成一个集群，然后将数据的处理过程按照Map Reduce框架转化为Map（映射）阶段和Reduce（归约）阶段进行处理。本实施例利用Map Reduce框架不但可以进行数据的筛选，去掉一些不完整的数据或完善数据集，以避免数据集质量问题给网络安全分析造成错误或不好的分析结果。同时，此外，本实施例还可以利用Map Reduce将预处理后的数据集采用机器学习的方法进行数据分析，挖掘出数据背后的价值建立预测模型， 从而准确地进行网络安全分析。由于机器学习具有较好的泛化性能，因此可以应对各种各样的网络攻击。
进一步地，本实施例中，所述日志分析模块具体用于：根据已采集的历史告警信息和历史产生事件信息，生成关联历史同类告警的解决方案清单视图；通过采集的攻击日志数据，生成告警所在各安全设备近期告警攻击行为的趋势视图；通过采集应用日志和系统日志，生成告警时间附件的异常日志视图；最后通过结合采集的配置信息和告警信息，申城关联应用告警情况的关联告警视图。
本实施例中，对安全设备、网络设备、应用系统、主机系统等进行日志采集和索引建立后。通过对日志进行智能的归并和关联处理分析，提炼出当前网络的攻击事件。运维人员可以一次性对多台安全设备、网络设备、应用系统、主机系统上的日志进行事件查询分析。使得安全攻击行为和事件查询变得简单高效。就是说，本实施例中的日志分析分析模块日志分析展现功能实现了辅助告警分析功能，具体涵盖四类视图：平台根据已采集的历史告警信息和历史产生事件信息，关联实现了历史同类告警的解决方案清单视图 ；通过采集的攻击日志数据，实现了告警所在各安全设备近期告警攻击行为的趋势视图；通过采集应用日志和系统日志，实现了告警时间附件的异常日志视图；最后通过结合采集的配置信息和告警信息，实现了与本应用所有关联应用告警情况的关联告警视图。平台展现层通过对上述四个视图的场景化串联 ，辅助运维人员实现了告警的快速分析定位，提升了事件处理效率。
通过对多条与该事件相关的数据进行记录，并重新构建攻击的过程，安全分析人员可以清晰的了解和查询，攻击时间和位置，提权以及安装特征等，安全分析师可以快速地构建恶意攻击的概要信息，并通过链条式分析将注入路径衔接起来，识别出第一感染源头和其他被感染者，或进行预判，使安全团队提前发现威胁，能够快速阻断损害，将损失降到最低。
本实施例中，运维人员只能通过审计系统间接访问生产服务器，其在生产环境的操作行为和结果以文件形式保存，最终采集。基于上述操作行为数据，结合一些配置数据，平台实现了多维度的操作行为分析和审计。
（1）实现了用户维度的操作行为分析。使得监管用户能够了解运维用户的运维习惯和系统安全情况。
（2）实现了应用维度的操作行为分析。通过对应用的实际访问账号与实际管理权限的对比，直观展示不合规访问情况。
（3）实现了账号维度的操作行为分析。通过对比实际管理要求，找到非授权用户使用root类高权限账号进行生产操作的情况。
（4）实现了命令维度的操作行为分析。例如rm –rf命令Top10用户统计等，对高危险命令的使用合理性进行审查和通报，有效降低了用户操作风险。
进一步地，如图1所示，本发明实施例中，所述日志分析模块包括异常情报与威胁情报分析模块，漏洞管理全生命周期管理模块和态势感知分析模块。
其中，异常情报与威胁情报分析模块用于通过对知识采集、处理和分析最终输出威胁情报；还用于基于外部开源的和第三方情报数据，增强威胁情报的准确度和时效性；以及用于利用大数据分析平台将本地历史数据、网络资产数据与情报数据按照多个维度进行关联分析，可快速感知威胁，通过平台安全规则的筛选和过滤最终形成漏斗效应，保证威胁告警的更加的精准和有效，为运维管理人员提供异常的情报分析和威胁情报的预警。
漏洞管理全生命周期管理模块用于提供内网环境的资产感知和稽查功能，通过扫描指定的 IP 地址范围，嗅探新增设备以及启动服务，还用于通过单一通用端口探测并转向多协议探测，发现更多网络服务类型和相关数据，经过周期性对比和核实，构建资产安全脆弱性分析系统，实现根据异构网络资产元数据和服务数据的图谱构建和自动化分析，并提供可视化呈现和安全评估报告；漏洞管理全生命周期管理模块对企业在系统脆弱性的安全管理提供全生命周期的管理。帮助运维人员提高对内部系统的安全管理工作。
态势感知分析模块：用于通过对入侵、异常流量、僵木、蠕虫、系统安全、网站安全态势进行多维度日志采集和分析，形成多类型的安全态势分析图。通过设置态势感知分析模块，可以针对整体范围或某一特定时间与环境，基于这样的条件进行因素理解与分析，最终形成历史的整体态势以及对未来短期的预测。能够很好的洞察平台内部整体安全状态，并通过量化的评判指标直观的理解当前态势情况。日志中心从海量数据中分析统计中存在的风险，通过趋势图，占比图，滚动屏等方式清晰展示平台安全态势。协助安全分析人员快速聚焦全网高风险点。
综上所述，本发明实施例提供了一种基于大数据技术的云平台日志管理系统，能够自动采集海量日志信息，采用数据挖掘技术对其进行处理，发现系统中存在的异常信息或行为，对日志对象按业务应用进行管理与分析，通过分布式多任务技术对海量日志进行分析挖掘，应用规则关联、统计关联等分析方法，建立科学的分析模型，将告警信息以邮件或者短信的形式发放自动计算分析，以缩短故障排查时间和业务中断时间。提供更为快速的处理分析和展现，适用于海量数据下的分析应用，帮助用户在关键业务系统及内部系统实现全面的智能关联分析，提高运维人员在运维管理过程中的工作效率及安全态势的感知能力。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (6)
1.一种基于大数据的云平台日志管理系统，其特征在于，包括：
日志采集模块：用于通过分布式多任务方法对日志实践进行分析挖掘，所述日志时间包括安全日志、应用日志、系统日志和业务行为日志；
日志预处理模块：用于通过审计策略进行日志事件的过滤，然后对日志事件中的同类事件进行归并处理，避免产生事件风暴，最后将处理后的日志事件分别发送至实时检测模块和数据库系统；
数据库系统：用于存储日志预处理模块发送的日志事件；
实时检测模块：用于对处理后的日志事件进行审计，并根据响应策略对审计结果进行响应；
日志分析模块：用于对数据库系统中的历史数据进行分析，并根据用户设置通过图表对分析结果进行显示，所述分析结果包括日志事件的归类统计及日志事件的发展变化趋势。
2.根据权利要求1所述的一种基于大数据的云平台日志管理系统，其特征在于，所述日志采集模块中，将物理设备和虚拟设备分别作为一个数据接点，利用Flume日志收集系统和Scribe分布式日志收集系统进行日志事件的采集。
3.根据权利要求1所述的一种基于大数据的云平台日志管理系统，其特征在于，所述数据库系统采用分布式文件系统存储方式和对象存储方式对日志事件进行存储。
4.根据权利要求1所述的一种基于大数据的云平台日志管理系统，其特征在于，所述日志分析模块进行历史数据分析的方法为：将存储的数据利用HDFS分布式系统发送到各个网络节点，各个节点组成一个集群，然后将数据的处理过程按照Map Reduce框架转化为Map阶段和Reduce阶段进行处理，然后利用Map Reduce将预处理后的数据集采用机器学习的方法进行数据分析，挖掘出数据背后的价值建立预测模型。
5.根据权利要求1所述的一种基于大数据的云平台日志管理系统，其特征在于，所述日志分析模块具体用于：根据已采集的历史告警信息和历史产生事件信息，生成关联历史同类告警的解决方案清单视图；通过采集的攻击日志数据，生成告警所在各安全设备近期告警攻击行为的趋势视图；通过采集应用日志和系统日志，生成告警时间附件的异常日志视图；最后通过结合采集的配置信息和告警信息，申城关联应用告警情况的关联告警视图。
6.根据权利要求1所述的一种基于大数据的云平台日志管理系统，其特征在于，所述日志分析模块包括：
异常情报与威胁情报分析模块：用于通过对知识采集、处理和分析最终输出威胁情报；还用于基于外部开源的和第三方情报数据，增强威胁情报的准确度和时效性；以及用于利用大数据分析平台将本地历史数据、网络资产数据与情报数据按照多个维度进行关联分析，可快速感知威胁，通过平台安全规则的筛选和过滤最终形成漏斗效应，保证威胁告警的更加的精准和有效；
漏洞管理全生命周期管理模块：用于提供内网环境的资产感知和稽查功能，通过扫描指定的 IP 地址范围，嗅探新增设备以及启动服务，还用于通过单一通用端口探测并转向多协议探测，发现更多网络服务类型和相关数据，经过周期性对比和核实，构建资产安全脆弱性分析系统，实现根据异构网络资产元数据和服务数据的图谱构建和自动化分析，并提供可视化呈现和安全评估报告；
态势感知分析模块：用于通过对入侵、异常流量、僵木、蠕虫、系统安全、网站安全态势进行多维度日志采集和分析，形成多类型的安全态势分析图。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010506246 | 2020-06-05 | ||
| CN2020105062461 | 2020-06-05 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112416872A true CN112416872A (zh) | 2021-02-26 |
Family
ID=74840743
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011166851.5A Pending CN112416872A (zh) | 2020-06-05 | 2020-10-27 | 一种基于大数据的云平台日志管理系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112416872A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113792018A (zh) * | 2021-11-18 | 2021-12-14 | 北京珞安科技有限责任公司 | 一种实现文件安全交换的运维系统和方法 |
| CN113919799A (zh) * | 2021-09-09 | 2022-01-11 | 广州鲁邦通智能科技有限公司 | 一种云管理平台审计控制器集群数据的方法及系统 |
| CN114584365A (zh) * | 2022-03-01 | 2022-06-03 | 北京优炫软件股份有限公司 | 一种安全事件分析响应方法以及系统 |
| CN116599822A (zh) * | 2023-07-18 | 2023-08-15 | 云筑信息科技(成都)有限公司 | 一种基于日志采集事件的故障告警治理方法 |
| CN117150506A (zh) * | 2023-09-04 | 2023-12-01 | 广东运通奇安科技有限公司 | 一种漏洞全生命周期管理运营系统及方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070283194A1 (en) * | 2005-11-12 | 2007-12-06 | Phillip Villella | Log collection, structuring and processing |
| CN104636494A (zh) * | 2015-03-04 | 2015-05-20 | 浪潮电子信息产业股份有限公司 | 一种基于Spark大数据平台的日志审计倒查系统 |
| CN109617728A (zh) * | 2018-12-14 | 2019-04-12 | 中国电子科技网络信息安全有限公司 | 一种基于多协议的分布式ip级网络拓扑探测方法 |
| CN109885562A (zh) * | 2019-01-17 | 2019-06-14 | 安徽谛听信息科技有限公司 | 一种基于网络空间安全的大数据智能分析系统 |
-
2020
- 2020-10-27 CN CN202011166851.5A patent/CN112416872A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070283194A1 (en) * | 2005-11-12 | 2007-12-06 | Phillip Villella | Log collection, structuring and processing |
| CN104636494A (zh) * | 2015-03-04 | 2015-05-20 | 浪潮电子信息产业股份有限公司 | 一种基于Spark大数据平台的日志审计倒查系统 |
| CN109617728A (zh) * | 2018-12-14 | 2019-04-12 | 中国电子科技网络信息安全有限公司 | 一种基于多协议的分布式ip级网络拓扑探测方法 |
| CN109885562A (zh) * | 2019-01-17 | 2019-06-14 | 安徽谛听信息科技有限公司 | 一种基于网络空间安全的大数据智能分析系统 |
Non-Patent Citations (1)
| Title |
|---|
| 马建锋，沈玉龙: "《信息安全》", vol. 2013, 28 February 2013, 西安电子科技大学出版社, pages: 135 - 140 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113919799A (zh) * | 2021-09-09 | 2022-01-11 | 广州鲁邦通智能科技有限公司 | 一种云管理平台审计控制器集群数据的方法及系统 |
| CN113919799B (zh) * | 2021-09-09 | 2022-04-22 | 广州鲁邦通智能科技有限公司 | 一种云管理平台审计控制器集群数据的方法及系统 |
| CN113792018A (zh) * | 2021-11-18 | 2021-12-14 | 北京珞安科技有限责任公司 | 一种实现文件安全交换的运维系统和方法 |
| CN114584365A (zh) * | 2022-03-01 | 2022-06-03 | 北京优炫软件股份有限公司 | 一种安全事件分析响应方法以及系统 |
| CN116599822A (zh) * | 2023-07-18 | 2023-08-15 | 云筑信息科技(成都)有限公司 | 一种基于日志采集事件的故障告警治理方法 |
| CN116599822B (zh) * | 2023-07-18 | 2023-10-20 | 云筑信息科技(成都)有限公司 | 一种基于日志采集事件的故障告警治理方法 |
| CN117150506A (zh) * | 2023-09-04 | 2023-12-01 | 广东运通奇安科技有限公司 | 一种漏洞全生命周期管理运营系统及方法 |
| CN117150506B (zh) * | 2023-09-04 | 2024-06-04 | 广东运通奇安科技有限公司 | 一种漏洞全生命周期管理运营系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108933791B (zh) | 一种基于电力信息网安全防护策略智能优化方法及装置 | |
| CN112416872A (zh) | 一种基于大数据的云平台日志管理系统 | |
| CN109977689B (zh) | 一种数据库安全审计方法、装置及电子设备 | |
| US10122575B2 (en) | Log collection, structuring and processing | |
| CN107566163B (zh) | 一种用户行为分析关联的告警方法及装置 | |
| CN111404909B (zh) | 一种基于日志分析的安全检测系统及方法 | |
| CN106371986A (zh) | 一种日志处理运维监控系统 | |
| CN108763957A (zh) | 一种数据库的安全审计系统、方法及服务器 | |
| US9961047B2 (en) | Network security management | |
| CN115225386B (zh) | 基于事件序列关联融合的业务识别与风险分析方法及系统 | |
| CN116662989B (zh) | 一种安全数据解析方法及系统 | |
| CN111274218A (zh) | 一种电力信息系统多源日志数据处理方法 | |
| CN113938401A (zh) | 一种舰艇网络安全可视化系统 | |
| CN114125083B (zh) | 工业网络分布式数据采集方法、装置、电子设备及介质 | |
| CN113938306B (zh) | 一种基于数据清洗规则的可信认证方法及系统 | |
| CN113132370A (zh) | 一种普适的一体化安管中心系统 | |
| CN112104659A (zh) | 一种基于政务应用安全的实时监测平台 | |
| KR101973728B1 (ko) | 통합 보안 이상징후 모니터링 시스템 | |
| CN113946822A (zh) | 安全风险监控方法、系统、计算机设备和存储介质 | |
| CN112769755A (zh) | 一种面向威胁检测的dns日志统计特征抽取方法 | |
| CN112860471A (zh) | 一种基于决策流的业务操作日志审计与告警方法及系统 | |
| US20240036963A1 (en) | Multi-contextual anomaly detection | |
| CN116859804A (zh) | 一种面向船舶制造车间的安全态势监测预警系统 | |
| CN117914511A (zh) | 一种基于数据交换、日志分析的安全审计系统 | |
| CN115237886A (zh) | 一种Redis的安全审计方法、终端以及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |