CN115567319A - 一种日志采集解析规则优化以及系统性能优化 - Google Patents

Abstract

本发明涉及互联网日志优化技术领域，特别是涉及一种日志采集解析规则优化以及系统性能优化，包括S1日志采集目标、S2网关服务、S3Logstash服务器和S4日志分析平台。本发明通过解析规则策略的优化会使整个日志采集后的过滤操作更加迅速，加快整个采集流程，合理的编写解析规则进行排序能减少资源的消耗，加快整个配置执行流程，只需在平台中配置后点击按钮即可，或者定义任务，自动去触发配置条件，方便刷新最新策略优化和配置环境的搭建，系统性能和解析规则日志两种分析策略共同检测系统性能瓶颈，方便运维人员优化，自动优化解析规则，方便因日志数量的增加而下降的性能问题，自动生成系统以及工具的性能报告，方便运维人员进行调优。

Description

一种日志采集解析规则优化以及系统性能优化

技术领域

本发明涉及互联网日志优化技术领域，特别是涉及一种日志采集解析规则优化以及系统性能优化。

背景技术

随着互联网安全的发展，基于维护互联网安全和检测资产漏洞的设备越来越多，这些设备产生也催生了各种日志格式的产生，部分有日志分析能力的设备能将其分析可读性高的日志结果，但也有很多是捕获了各项其设定的参数，但分析警告的结果常常是运维人员通过经验去判断的；

在此环境下，无论是对日志的解析以及日志的链路追踪都有其重要的作用，但当服务器基于某个日志采集与分析流程下，搭建的环境常常会有瓶颈和性能问题，除了日志本身信息，也要保证平台化的可读性更高，链路追踪更有效的，回溯更方便的资产信息，而这样环境搭建常常十分复杂的，其次保证高效的解析效率去保持服务器的正常工作也是在运维人员测试时非常难以估算的，因此提出一种日志采集解析规则优化以及系统性能优化。

发明内容

为了克服现有技术的不足，本发明提供一种日志采集解析规则优化以及系统性能优化。

为解决上述技术问题，本发明提供如下技术方案：一种日志采集解析规则优化以及系统性能优化，包括以下步骤：

S1：日志采集目标；解析规则策略的优化会使整个日志采集后的过滤操作更加迅速，加快整个采集流程；

S2：网关服务；

S3:Logstash服务器；

S4：日志分析平台。

作为本发明的一种优选技术方案，所述S2网关服务包括可用性检测模块和均衡策略优化模块，合理的编写解析规则进行排序能减少资源的消耗，加快整个配置执行流程，只需在平台中配置后点击按钮即可，或者定义任务，自动去触发配置条件，方便刷新最新策略优化和配置环境的搭建，系统性能和解析规则日志两种分析策略共同检测系统性能瓶颈，方便运维人员优化，自动优化解析规则，方便因日志数量的增加而下降的性能问题，自动生成系统以及工具的性能报告，方便运维人员进行调优。

作为本发明的一种优选技术方案，所述S1日志采集目标包括防火墙、交换机和主机，主机为虚拟主机，也叫网站空间，是在网络服务器上划分出一定的磁盘空间供用户放置站点，应用组件等，提供必要的站点功能与数据存放，传输功能，防火墙技术是通过有机结合各类用于安全管理与筛选的软件和硬件设备，帮助计算机网络于其内、外网之间构建一道相对隔绝的保护屏障，以保护用户资料与信息安全性的一种技术。

作为本发明的一种优选技术方案，所述S3Logstash服务器包括Logstash日志和系统日志，Logstash是一种分布式日志收集框架，开发语言是JRuby,当然是为了与Java平台对接,不过与Ruby语法兼容良好，非常简洁强大,经常与ElasticSearch,Kibana配置,组成著名的ELK技术栈，非常适合用来做日志数据的分析。当然它可以单独出现，作为日志收集软件,你可以收集日志到多种存储系统或临时中转系统，如MySQL,Redis,Kakfa,HDFS,Lucene,Solr等,并不一定是ElasticSearch，Logstash的作用体现集中、转换和存储你的数据，Logstash是一个开源的服务器端数据处理管道，可以同时从多个数据源获取数据，并对其进行转换，第二个作用是输入，采集各种样式、大小和来源的数据数据往往以各种各样的形式，或分散或集中地存在于很多系统中，Logstash支持各种输入选择，可以在同一时间从众多常用来源捕捉事件，能够以连续的流式传输方式，轻松地从您的日志、指标、Web应用、数据存储以及各种AWS服务采集数据，第三个作用是作为过滤器，实时解析和转换数据数据从源传输到存储库的过程中，Logstash过滤器能够解析各个事件,识别已命名的字段以构建结构，并将它们转换成通用格式,以便更轻松、更快速地分析和实现商业价值。

作为本发明的一种优选技术方案，所述S3Logstash服务器还包括自动更新服务配置。

作为本发明的一种优选技术方案，所述S4日志分析平台包括日志存储。

作为本发明的一种优选技术方案，所述S4日志分析平台还包括日志分析模块。

作为本发明的一种优选技术方案，所述S4日志分析平台还包括数据管理任务调用模块。

作为本发明的一种优选技术方案，所述日志存储包括日志查询和日志规则聚合。

作为本发明的一种优选技术方案，所述日志分析模块包括系统资源分析、解析规则排序和日志自定义分析，所述数据管理任务调用模块包括任务调度、更新Logstash系统配置、更新解析规则解析策略、数据管理、链路思维导图、链路卡片自定义和分析报告，可用性是在某个考察时间，系统能够正常运行的概率或时间占有率期望值。考察时间为指定瞬间，则称瞬时可用性；考察时间为指定时段，则称时段可用性；考察时间为连续使用期间的任一时刻，则称固有可用性。它是衡量设备在投入使用后实际使用的效能，是设备或系统的可靠性、可维护性和维护支持性的综合特性。

与现有技术相比，本发明能达到的有益效果是：

1、解析规则策略的优化会使整个日志采集后的过滤操作更加迅速，加快整个采集流程；

2、合理的编写解析规则进行排序能减少资源的消耗；

3、加快整个配置执行流程，只需在平台中配置后点击按钮即可，或者定义任务，自动去触发配置条件，方便刷新最新策略优化和配置环境的搭建；

4、系统性能和解析规则日志两种分析策略共同检测系统性能瓶颈，方便运维人员优化；

5、自动优化解析规则，方便因日志数量的增加而下降的性能问题；

6、自动生成系统以及工具的性能报告，方便运维人员进行调优。

附图说明

图1为本发明的整体结构示意图；

图2为本发明中日志采集目标的结构示意图；

图3为本发明中日志分析平台的结构示意图；

图4为本发明中数据管理任务调用模块的结构示意图。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施例，进一步阐述本发明，但下述实施例仅仅为本发明的优选实施例，并非全部。基于实施方式中的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得其它实施例，都属于本发明的保护范围。下述实施例中的实验方法，如无特殊说明，均为常规方法，下述实施例中所用的材料、试剂等，

如无特殊说明，均可从商业途径得到。

实施例:

如图1、图2、图3和图4所示，一种日志采集解析规则优化以及系统性能优化，包括以下步骤：

S1：日志采集目标；

S2：网关服务，网关服务是单一访问点，并充当多项服务的代理。服务网关启用了跨所有服务的变换、路由和公共处理；

S3:Logstash服务器，Logstash是一种分布式日志收集框架，开发语言是JRuby,当然是为了与Java平台对接,不过与Ruby语法兼容良好，非常简洁强大,经常与ElasticSearch,Kibana配置,组成著名的ELK技术栈，非常适合用来做日志数据的分析。当然它可以单独出现，作为日志收集软件,你可以收集日志到多种存储系统或临时中转系统，如MySQL,Redis,Kakfa,HDFS,Lucene,Solr等,并不一定是ElasticSearch，Logstash的作用体现集中、转换和存储你的数据，Logstash是一个开源的服务器端数据处理管道，可以同时从多个数据源获取数据，并对其进行转换，第二个作用是输入，采集各种样式、大小和来源的数据数据往往以各种各样的形式，或分散或集中地存在于很多系统中，Logstash支持各种输入选择，可以在同一时间从众多常用来源捕捉事件，能够以连续的流式传输方式，轻松地从您的日志、指标、Web应用、数据存储以及各种AWS服务采集数据，第三个作用是作为过滤器，实时解析和转换数据数据从源传输到存储库的过程中，Logstash过滤器能够解析各个事件,识别已命名的字段以构建结构，并将它们转换成通用格式,以便更轻松、更快速地分析和实现商业价值；

S4：日志分析平台，解析规则策略的优化会使整个日志采集后的过滤操作更加迅速，加快整个采集流程，合理的编写解析规则进行排序能减少资源的消耗，加快整个配置执行流程，只需在平台中配置后点击按钮即可，或者定义任务，自动去触发配置条件，方便刷新最新策略优化和配置环境的搭建，系统性能和解析规则日志两种分析策略共同检测系统性能瓶颈，方便运维人员优化，自动优化解析规则，方便因日志数量的增加而下降的性能问题，自动生成系统以及工具的性能报告，方便运维人员进行调优；

所述S2网关服务包括可用性检测模块和均衡策略优化模块，可用性是在某个考察时间，系统能够正常运行的概率或时间占有率期望值。考察时间为指定瞬间，则称瞬时可用性；考察时间为指定时段，则称时段可用性；考察时间为连续使用期间的任一时刻，则称固有可用性。它是衡量设备在投入使用后实际使用的效能，是设备或系统的可靠性、可维护性和维护支持性的综合特性；

所述S1日志采集目标包括防火墙、交换机和主机，防火墙(英语：Firewall)技术是通过有机结合各类用于安全管理与筛选的软件和硬件设备，帮助计算机网络于其内、外网之间构建一道相对隔绝的保护屏障，以保护用户资料与信息安全性的一种技术，防火墙技术的功能主要在于及时发现并处理计算机网络运行时可能存在的安全风险、数据传输等问题，其中处理措施包括隔离与保护，同时可对计算机网络安全当中的各项操作实施记录与检测，以确保计算机网络运行的安全性，保障用户资料与信息的完整性，为用户提供更好、更安全的计算机网络使用体验；

交换机(Switch)意为“开关”是一种用于电(光)信号转发的网络设备。它可以为接入交换机的任意两个网络节点提供独享的电信号通路，交换是按照通信两端传输信息的需要，用人工或设备自动完成的方法，把要传输的信息送到符合要求的相应路由上的技术的统称。交换机根据工作位置的不同，可以分为广域网交换机和局域网交换机。广域的交换机就是一种在通信系统中完成信息交换功能的设备，它应用在数据链路层。交换机有多个端口，每个端口都具有桥接功能，可以连接一个局域网或一台高性能服务器或工作站。实际上，交换机有时被称为多端口网桥，网络交换机，是一个扩大网络的器材，能为子网络中提供更多的连接端口，以便连接更多的计算机。随着通信业的发展以及国民经济信息化的推进，网络交换机市场呈稳步上升态势。它具有性价比高、高度灵活、相对简单和易于实现等特点。以太网技术已成为当今最重要的一种局域网组网技术，网络交换机也就成为了最普及的交换机，Switch是交换机的英文名称，这个产品是由原集线器的升级换代而来，在外观上看和集线器没有很大区别。由于通信两端需要传输信息，而通过设备或者人工来把要传输的信息送到符合要求标准的对应的路由器上的方式，这个技术就是交换机技术。从广义上来分析，在通信系统里对于信息交换功能实现的设备，就是交换机；

上述提到的主机为虚拟主机，也叫网站空间，是在网络服务器上划分出一定的磁盘空间供用户放置站点，应用组件等，提供必要的站点功能与数据存放，传输功能。虚拟主机技术的出现，是对互联网技术的重大贡献，是广大互联网用户的福音。由于多台虚拟主机共享一台真实主机的资源，每个用户承受的硬件费用，网络维护费用，通信线路的费用均大幅度降低，互联网真正成为人人用得起的网络！现在，几乎所有的美国公司(包括一些家庭)均在网络上设立了自己的网络服务器，其中有相当的部分采用的是虚拟主机，所谓虚拟主机，也叫“网站空间”，就是把一台运行在互联网上的服务器划分成多个“虚拟”的服务器，每一个虚拟主机都具有独立的域名和完整的互联网服务器(支持万维网，FTP，电子邮箱等)功能。一台服务器上的不同虚拟主机是各自独立的，并由用户自行管理。但一台服务器主机只能够支持一定数量的虚拟主机，当超过这个数量时，用户将会感到性能急剧下降。虚拟主机技术是互联网服务器采用的节省服务器硬体成本的技术，虚拟主机技术主要应用于的HTTP服务，将一台服务器的某项或者全部服务内容逻辑划分为多个服务单位，对外表现为多个服务器，从而充分利用服务器硬体资源。如果划分是系统级别的，则称为虚拟服务器；

所述S3Logstash服务器包括Logstash日志和系统日志，系统日志是记录系统中硬件、软件和系统问题的信息，同时还可以监视系统中发生的事件。用户可以通过它来检查错误发生的原因，或者寻找受到攻击时攻击者留下的痕迹。系统日志包括系统日志、应用程序日志和安全日志，查看系统日志方法:开始→设置→控制面板→管理工具中找到的“事件查看器”，或者在【开始】→【运行】→输入eventvwr.msc也可以直接进入“事件查看器”在“事件查看器”当中的系统日志中包含了windows XP系统组建记录的事件，在启动过程中加载驱动程序和其他一些系统组建的成功与否都记录在系统日志当中，系统日志策略可以在故障刚刚发生时就向你发送警告信息，系统日志帮助你在最短的时间内发现问题，系统日志是一种非常关键的组件，因为系统日志可以让你充分了解自己的环境。这种系统日志信息对于决定故障的根本原因或者缩小系统攻击范围来说是非常关键的，因为系统日志可以让你了解故障或者袭击发生之前的所有事件。为虚拟化环境制定一套良好的系统日志策略也是至关重要的，因为系统日志需要和许多不同的外部组件进行关联。良好的系统日志可以防止你从错误的角度分析问题，避免浪费宝贵的排错时间。另外一种原因是借助于系统日志，管理员很有可能会发现一些之前从未意识到的问题，在几乎所有刚刚部署系统日志的环境当中，使用系统日志产品当中包含的其他特性，包括向监控团队自动发送报警通知等功能。系统日志基于警报类型或者准确的警报消息，系统日志可以通过触发特定操作来完成。系统日志通过简单地设定这些警报，你将会在自己的环境中处于更加主动的位置，因为你可以在事故变得更加严重之前得到通知；

所述S3Logstash服务器还包括自动更新服务配置；

所述S4日志分析平台包括日志存储；

所述S4日志分析平台还包括日志分析模块；

所述S4日志分析平台还包括数据管理任务调用模块；

所述日志存储包括日志查询和日志规则聚合；

所述日志分析模块包括系统资源分析、解析规则排序和日志自定义分析，所述数据管理任务调用模块包括任务调度、更新Logstash系统配置、更新解析规则解析策略、数据管理、链路思维导图、链路卡片自定义和分析报告，通过api监控对规则的自动更新的策略模块，以及引擎可用性检测和轮询负载均衡服务。

利用已有的数据进行链路追踪优化策略的优化方案更新模块，系统性能与工具性能日志采集分析，得到具体的数据模型进行聚合分析报告，自动化检测上述分析报告进行策略调优的触发，重新对系统内存使用进行分配；

启动任务模块进行轮询的对产生的链路信息数量的聚合，对解析规则进行策略优化，启动代理网关服务，每隔一段时间对服务的可用性和性能瓶颈进行检测，分配日志推送链路目的地的分配，增加日志链路信息，自定义回溯条件模块化对日志进行整合，对有相应特征的分析流程进行统一化管理，并且提高其解析规则策略优化的优先级。

工作原理：

第一步：日志的推送链路会增加其event基础信息，此信息包含filterId、host、assetsId、serviceHost以及此采集任务所在的标识taskId；

第二步：Event会先经过流程走到日志存储引擎中；

第三步：配置系统和工具日志采集，将其按日志采集特定的标签标记；

第四步：日志分析模块会调用api对日志进行聚合排序，并对系统工具日志分析服务的状态可用性，再生成报告进行策略优化；

第五步：解析规则的优化功能会基于filterId的聚合数量对其进行重编辑排序，再通过taskId链路信息优化采集任务的整个采集链路；

第六步：后面的日志推送流程经过网关服务会判断服务的状态推送到可用的服务器中分析，或者默认轮询推送；

第七步：任务定义，由自定义的性能指标策略对解析规则或者系统内存分配优化。

上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于此，在所属技术领域的技术人员所具备的知识范围内，在不脱离本发明宗旨的前提下还可以作出各种变化。

Claims (10)

1.一种日志采集解析规则优化以及系统性能优化，其特征在于，包括以下步骤：

S1：日志采集目标；

S2：网关服务；

S3:Logstash服务器；

S4：日志分析平台。

2.根据权利要求1所述的一种日志采集解析规则优化以及系统性能优化，其特征在于，所述S2网关服务包括可用性检测模块和均衡策略优化模块。

3.根据权利要求2所述的一种日志采集解析规则优化以及系统性能优化，其特征在于，所述S1日志采集目标包括防火墙、交换机和主机。

4.根据权利要求3所述的一种日志采集解析规则优化以及系统性能优化，其特征在于，所述S3Logstash服务器包括Logstash日志和系统日志。

5.根据权利要求4所述的一种日志采集解析规则优化以及系统性能优化，其特征在于，所述S3Logstash服务器还包括自动更新服务配置。

6.根据权利要求5所述的一种日志采集解析规则优化以及系统性能优化，其特征在于，所述S4日志分析平台包括日志存储。

7.根据权利要求6所述的一种日志采集解析规则优化以及系统性能优化，其特征在于，所述S4日志分析平台还包括日志分析模块。

8.根据权利要求7所述的一种日志采集解析规则优化以及系统性能优化，其特征在于，所述S4日志分析平台还包括数据管理任务调用模块。

9.根据权利要求8所述的一种日志采集解析规则优化以及系统性能优化，其特征在于，所述日志存储包括日志查询和日志规则聚合。

10.根据权利要求9所述的一种日志采集解析规则优化以及系统性能优化，其特征在于，所述日志分析模块包括系统资源分析、解析规则排序和日志自定义分析，所述数据管理任务调用模块包括任务调度、更新Logstash系统配置、更新解析规则解析策略、数据管理、链路思维导图、链路卡片自定义和分析报告。

Images