CN205754379U - 日志处理系统 - Google Patents

Abstract

本实用新型公开了一种日志处理系统，涉及大数据处理领域，为解决处理日志数据时间长的问题而发明。主要采用的技术方案为：客户端服务器与分布式子系统连接，分布式子系统与控制台终端连接。分布式子系统中包括管理服务器和计算服务器，客户端服务器与管理服务器连接，管理服务器与计算服务器连接，计算服务器与控制台终端连接。客户端服务器存储客户端的日志数据；管理服务器获取日志数据，将日志数据包发送给计算服务器；计算服务器对日志数据包进行计算，并将计算结果反馈给管理服务器；管理服务器整合计算结果，获得数据结果，并将数据结果发送给控制台终端。本实用新型主要应用于日志数据处理的过程中。

Description

日志处理系统

技术领域

本实用新型涉及大数据处理领域，尤其涉及一种日志处理系统。

背景技术

作为云计算领域的重要延伸，大数据在行业内的热度逐渐增加。大数据是指难以用常用的软件工具在可容忍时间内抓取、管理以及处理的数据集合，涵盖了从数据的海量存储、处理到应用多方面的技术。大数据是云计算服务的基础，是构建云平台最基本的要素，没有对海量信息的分析的大数据，就没有获取有价值的信息的可能性。随着大数据时代的到来，由此产生的日志文件也迅速增长。

现有技术中，采用单机处理技术对日志数据进行处理，处理时间长。不能通过对日志数据的处理，实时的反映网络访问状况。

实用新型内容

本实用新型提供了日志处理系统，为解决处理日志数据时间长的问题。

为了解决上述技术问题，本实用新型提供了日志处理系统，该系统包括：

客户端服务器，用于存储客户端的日志数据；

分布式子系统，与所述客户端服务器连接，用于获取所述客户端服务器存储的日志数据，并对所述日志数据进行分布式处理，获得数据结果；

控制台终端，与所述分布式子系统连接，用于输出所述数据结果；

所述分布式子系统包括：

管理服务器，与所述客户端服务器连接，用于获取所述客户端服务器存储的日志数据；

至少两台计算服务器，分别与所述管理服务器连接，用于接收所述管理服务器发送的日志数据包，对所述日志数据包进行计算，并将计算结果反馈给所述管理服务器；

所述管理服务器与所述控制台终端连接，用于整合所述计算服务器反馈的计算结果，获得所述数据结果，并将所述数据结果发送给所述控制台终端。

本实用新型的目的及解决其技术问题还可采用以下技术措施进一步实现。

优选的，所述分布式子系统包括：

至少两台管理服务器，每个管理服务器连接至少一个计算服务器。

优选的，所述系统还包括：

转存服务器，分别与所述客户端服务器及所述管理服务器连接，用于导出并存储所述客户端服务器中的日志数据，并将存储的日志数据发送给所述管理服务器。

优选的，所述分布式子系统为由三台管理服务器和四台计算服务器组成的最低配置的高可用系统。

优选的，所述管理服务器，用于转存与分发所述日志数据。

优选的，所述计算服务器，用于对所述日志数据进行数据处理和自然语言处理。

优选的，所述计算服务器，还用于根据所述日志数据进行机器学习。

优选的，所述控制台终端，用于实时地展示所述数据结果，汇总所述数据结果。

优选的，所述控制台终端，还用于将所述数据结果汇总成分析数据和图表。

优选的，所述控制台终端，还用于实时扫描日志，提供报警信息。

借由上述技术方案，本实用新型日志处理系统至少具有下列优点：

通过客户端服务器、分布式子系统、以及控制台终端，共同完成日志处理。客户端服务器存储客户端的日志数据；管理服务器获取日志数据，将日志数据包发送给计算服务器；计算服务器对日志数据包进行计算，并将计算结果反馈给管理服务器；管理服务器整合计算结果，获得数据结果，并将数据结果发送给控制台终端。分布式子系统采用分布式数据处理技术，数据处理速度快。用分布式数据存储技术，海量数据保存时间长。采用大数据处理技术与搜索技术相结合的方案，数据处理一次，可重复多次展现。可使用统计、机器学习和图计算等复杂计算处理数据。通过复杂数据计算处理问题。在控制台终端展示数据结果。

上述说明仅是本实用新型技术方案的概述，为了能够更清楚了解本实用新型的技术手段，并可依照说明书的内容予以实施，以下以本实用新型的较佳实施例并配合附图详细说明如后。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本实用新型的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本实用新型实施例提供的一种日志处理系统的结构示意图；

图2示出了本实用新型实施例提供的另一种日志处理系统的结构示意图；

具体实施方式

为更进一步阐述本实用新型为达成预定实用新型目的所采取的技术手段及功效,以下结合附图及较佳实施例，对依据本实用新型提出的(名称)其具体实施方式、结构、特征及其功效，详细说明如后。在下述说明中，不同的“一实施例”或“实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。

本实用新型实施例提供的一种日志处理系统，如图1所示，包括：客户端服务器11、分布式子系统12以及控制台终端13。其中，

客户端服务器11，用于存储客户端的日志数据。

在客户端用户的操作，以日志的形式记录。客户端服务器11从客户端获取客户端的日志数据。客户端服务器11，可以定时地向客户端发送请求信息，请求获取客户端的日志数据，或者可以客户端产生一条日志数据向客户端服务器11发送一条日志数据。在本实施例中，对客户端服务器11获取客户端的日志数据不做限定。客户端服务器11存储获取的日志数据。

分布式子系统12，与客户端服务器11连接，用于获取客户端服务器11存储的日志数据，并对日志数据进行分布式处理，获得数据结果。

对日志数据进行分布式处理，对数据的处理包括，统计日志的数量、负载流量、页面浏览量、访问IP数量等数据信息，获得数据结果。

控制台终端13，与分布式子系统12连接，用于输出数据结果。

输出数据结果，输出的方式，可以是动态的图像数据，可以是表格数据、也定时输出的图片数据。在本实施例中，对数据结果的输出方式不做限定。

分布式子系统12包括：

管理服务器121，与客户端服务器11连接，用于获取客户端服务器11存储的日志数据；

至少两台计算服务器122，分别与管理服务器121连接，用于接收管理服务器121发送的日志数据包，对日志数据包进行计算，并将计算结果反馈给管理服务器121；

管理服务器121与控制台终端13连接，用于整合计算服务器122反馈的计算结果，获得数据结果，并将数据结果发送给控制台终端13。

对于本实用新型实施例，具体的应用场景可以如下所示，但不限于此，包括：对于某服务器的访问日志，时间范围是2015年10月28日-2015年12月11日，日志数量为420多万条，共19M的压缩包文件。本次处理要定位并分析服务器出现的情况。

统计负载流量、页面浏览量、日志行数、以及访问IP数量，四个指标的趋势图。查看四个指标的趋势图，发现在12月4日访问IP数量的数据异常。将12月4日的访问IP数量的数据进行逐小时数据展开查看，并发现16点-17点的数据突增。将16-17点进行详细查看，查看系统页面中的日志摘要文件。并进一步搜索，得知该集中访问疑似机器自动扫描程序伪造人为访问。

通过与用户的沟通，发现是用户方面的服务器在进行全网站内容的扫描工作，通过网站访问日志即可快速的发现网站的异常访问，为网站的维护与安全提供保证。

通过客户端服务器11、分布式子系统12、以及控制台终端13，共同完成日志处理。客户端服务器11存储客户端的日志数据；管理服务器121获取日志数据，将日志数据包发送给计算服务器122；计算服务器122对日志数据包进行计算，并将计算结果反馈给管理服务器121；管理服务器121整合计算结果，获得数据结果，并将数据结果发送给控制台终端13。分布式子系统12采用分布式数据处理技术，数据处理速度快。用分布式数据存储技术，海量数据保存时间长。采用大数据处理技术与搜索技术相结合的方案，数据处理一次，可重复多次展现。可使用统计、机器学习和图计算等复杂计算处理数据。通过复杂数据计算处理问题。在控制台终端13展示数据结果。

进一步地，作为图1所示方法的细化和扩展，本实用新型实施例还提供了另一种日志处理系统，如图2所示，包括：客户端服务器21、分布式子系统22以及控制台终端23。其中，

客户端服务器21，用于存储客户端的日志数据。

存储的日志数据，包括各种数据源、内部或外部的、结构化或非结构化的数据，而且数据的结构都不清晰，充满了噪音。这些日志数据会在不同的系统间传递，数据的不同处理阶段可能需要不同的语言和应用程序编程接口。所以在存储日志数据时，需要将存储数据序列化。当处理大量日志数据时，存储数据的方式，对存储要求和性能产生巨大影响。

存储的日志数据，可以是实时采集的，也可以通过网络文件传输或线下文件拷贝获得。

检测日志数据，以保证客户端服务器21重启后，未转存的数据不会丢失。

分布式子系统22，与客户端服务器21连接，用于获取客户端服务器21存储的日志数据，并对日志数据进行分布式处理，获得数据结果。

对日志数据进行处理时，主要采用流式计算和大规模批处理计算。流式计算，是把实时日志数据的各个计算结果累计在时间序列上。大规模批处理方式计算，是把计算结果分布在时间序列上。计算时，使用了数理统计、机器学习和智能计算，为系统管理和数据分析人员提供历史统计、趋势分析和决策支持数据。将数据结果存入关系型数据库，分布式存储。

控制台终端23，与分布式子系统22连接，用于输出数据结果。

分布式子系统22包括：

管理服务器221，与客户端服务器21连接，用于获取客户端服务器21存储的日志数据；

至少两台计算服务器222，分别与管理服务器221连接，用于接收管理服务器发送的日志数据包，对日志数据包进行计算，并将计算结果反馈给管理服务器；

管理服务器221与控制台终端23连接，用于整合计算服务器反馈的计算结果，获得数据结果，并将数据结果发送给控制台终端23。

优选的，分布式子系统22包括：

至少两台管理服务器221，每个管理服务器221连接至少一个计算服务器。

优选的，系统还包括：

转存服务器24，分别与客户端服务器21及管理服务器221连接，用于导出并存储客户端服务器21中的日志数据，并将存储的日志数据发送给管理服务器221。

积累一定数量的日志数据后，再将日志数据转存至分布式存储上，这样可以保证日志数据在转出过程中的安全性与完整性。

优选的，分布式子系统22为由三台管理服务器221和四台计算服务器222组成的最低配置的高可用系统。

从理论上说，管理服务器221与计算服务器222，可以由服务器虚拟多个虚拟节点运行，但是要保证为每个虚拟节点分配足够的内存，以确保计算效率。

优选的，管理服务器221，用于转存与分发日志数据。

优选的，计算服务器222，用于对日志数据进行数据处理和自然语言处理。

在日志信息加载到存储器后，所有的数据处理工作才能开始，使用一专用的基于高度结构化和优化过的数据结构的查询语言。在日志数据中，包括数据和自然语言。在对日志数据进行处理时，由于处理方式不同，要分别进行处理。自然语言处理的重点是利用凌乱的、有人类创造的文本并提取有意义的信息。数据处理包括数据的提取、分类、计算等过程。

优选的，计算服务器222，还用于根据日志数据进行机器学习。

机器学习系统根据数据做出自动化决策，系统利用训练的信息来处理后续的数据点，自生成类似于推荐或分组的输出结果。把一次性的数据分析转化成的生成服务的行为，而且这些行为在没有监督的情况下也能根据新的数据执行类似的动作。

优选的，控制台终端23，用于实时地展示数据结果，汇总数据结果。

提取日志数据中的重要部分，表达日志数据的含义，然后呈现出汇总数据结果。快速探索日志数据的规律，并展示易于理解的数据结果。

优选的，控制台终端23，还用于将数据结果汇总成分析数据和图表。

汇总的分析数据和图表，可以以邮件或文档的形式保存或显示。

优选的，控制台终端23，还用于实时扫描日志，提供报警信息。

报警信息是为监控人员提供的，报警信息可以通过声音，界面颜色的变化，或界面只能优先处理报警信息等方式，达到提醒监控人员的目的。

通过控制台终端展示数据结果，仅通过鼠标操作即可定位日志异常的时间区。通过图形化的日志摘要，进一步找到数据项的具体值。而且通过搜索关键词，详细排查具体问题。通过同步查看日志明细，了解初始日志数据，综合判断问题所在。

对于本实用新型实施例，具体的应用场景可以如下所示，但不限于此，包括：系统对实时的日志数据每隔10分钟进行一个数据图形化呈现，如果在页面中发现异常，或者需要详细查看的位置，可以快速进入相关时间段的日志明细页面，同时可以进行关键字的搜索处理。

假设发现某日的流量突降，快速找到异常的时间，并且打开相关时间段的日志明细进行查看，也可以进行关键字的搜索处理。查看事件报警的情况，可以进行详细查看，也可以链接到该事件发生时间的搜索页面进行定位查看。对于事件报警的情况，可以对事件进行备注处理。

通过客户端服务器21、分布式子系统22、以及控制台终端23，共同完成日志处理。客户端服务器21存储客户端的日志数据；管理服务器221获取日志数据，将日志数据包发送给计算服务器222；计算服务器222对日志数据包进行计算，并将计算结果反馈给管理服务器221；管理服务器221整合计算结果，获得数据结果，并将数据结果发送给控制台终端23。分布式子系统22采用分布式数据处理技术，数据处理速度快。用分布式数据存储技术，海量数据保存时间长。采用大数据处理技术与搜索技术相结合的方案，数据处理一次，可重复多次展现。可使用统计、机器学习和图计算等复杂计算处理数据。通过复杂数据计算处理问题。在控制台终端23展示数据结果，将数据结果汇总成分析数据和图表的形式，并实施扫描日志，若出现异常日志则提供报警信息。

以上所述，仅是本实用新型的较佳实施例而已，并非对本实用新型作任何形式上的限制，依据本实用新型的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本实用新型技术方案的范围内。

Claims (10)

1.一种日志处理系统，其特征在于，所述系统包括：

客户端服务器，用于存储客户端的日志数据；

分布式子系统，与所述客户端服务器连接，用于获取所述客户端服务器存储的日志数据，并对所述日志数据进行分布式处理，获得数据结果；

控制台终端，与所述分布式子系统连接，用于输出所述数据结果；

所述分布式子系统包括：

管理服务器，与所述客户端服务器连接，用于获取所述客户端服务器存储的日志数据；

至少两台计算服务器，分别与所述管理服务器连接，用于接收所述管理服务器发送的日志数据包，对所述日志数据包进行计算，并将计算结果反馈给所述管理服务器；

所述管理服务器与所述控制台终端连接，用于整合所述计算服务器反馈的计算结果，获得所述数据结果，并将所述数据结果发送给所述控制台终端。

2.根据权利要求1所述的系统，其特征在于，所述分布式子系统包括：

至少两台管理服务器，每个管理服务器连接至少一个计算服务器。

3.根据权利要求2所述的系统，其特征在于，所述系统还包括：

转存服务器，分别与所述客户端服务器及所述管理服务器连接，用于导出并存储所述客户端服务器中的日志数据，并将存储的日志数据发送给所述管理服务器。

4.根据权利要求1所述的系统，其特征在于，所述分布式子系统为由三台管理服务器和四台计算服务器组成的最低配置的高可用系统。

5.根据权利要求1所述的系统，其特征在于，所述管理服务器，用于转存与分发所述日志数据。

6.根据权利要求1所述的系统，其特征在于，所述计算服务器，用于对所述日志数据进行数据处理和自然语言处理。

7.根据权利要求1所述的系统，其特征在于，所述计算服务器，还用于根据所述日志数据进行机器学习。

8.根据权利要求1所述的系统，其特征在于，所述控制台终端，用于实时地展示所述数据结果，汇总所述数据结果。

9.根据权利要求1所述的系统，其特征在于，所述控制台终端，还用于将所述数据结果汇总成分析数据和图表。

10.根据权利要求1所述的系统，其特征在于，所述控制台终端，还用于实时扫描日志，提供报警信息。