CN113485892A - 一种数据分析方法、系统、电子设备及存储介质 - Google Patents

Abstract

本发明提供一种数据分析方法、系统、电子设备及存储介质，启动预先设置的ELK自动注入脚本，以根据预先设置的配置文件搭建目标ELK日志监控系统；基于通过目标ELK日志监控系统，根据获取的目标业务系统中的应用的日志配置文件启动的filebeat获取目标业务系统的日志数据，将日志数据推送至通过目标ELK日志监控系统启动后的kafka进行临时存储，基于通过目标ELK日志监控系统启动后的logstash对kafka中存储的日志数据进行分析，将得到分析结果发送至通过目标ELK日志监控系统启动后的elasticsearch进行存储。本发明，能够减少技术人员的工作时间，以及减少搭建ELK日志监控系统的成本。

Description

一种数据分析方法、系统、电子设备及存储介质

技术领域

本发明涉及计算机技术领域，更具体地说，涉及一种数据分析方法、系统、电子设备及存储介质。

背景技术

业务系统在提供业务服务时会产生大量的日志数据，系统运维和开发人员可以通过该业务系统对产生的日志数据进行数据分析，以了解业务系统软硬件信息、检查配置过程中的错误及错误发生的原因。

在现有技术中，通过技术人员配置ELK日志监控系统中涉及的各个应用组件的配置文件，并通过配置的各个应用组件的配置文件配置相应的应用组件，从而完成ELK日志监控系统的搭建，在搭建完成后，基于搭建好的ELK日志监控系统对需要进行日志监控的应用系统进行相应的日志数据监控，并对监控到的日志数据进行数据分析。但是这种方式，需要技术人员手动搭建ELK日志监控系统，要求技术人员需要对ELK日志监控系统中涉及的各个应用组件的部署和配置有一定的经验和知识储备，不仅需要花费技术人员大量的工作时间，且搭建ELK日志监控系统的成本较高。

发明内容

有鉴于此，本发明提供一种数据分析方法、系统、电子设备及存储介质，以实现减少技术人员的工作时间，以及减少搭建ELK日志监控系统的成本。

本发明第一方面公开一种数据分析方法，所述方法包括：

启动预先设置的ELK自动注入脚本，以根据预先设置的配置文件搭建目标ELK日志监控系统，其中，所述目标ELK日志监控系统包括多个应用组件，所述多个应用组件至少包括所述filebeat、所述kafka、所述logstash，以及所述elasticsearch，所述预先设置的配置文件为用户基于待进行数据分析的目标业务系统进行配置的；

通过所述目标ELK日志监控系统，根据获取的所述目标业务系统中的应用的日志配置文件启动filebeat，以及根据预先设置的日志数据格式启动logstash，以及根据所述预先设置配置文件，分别启动kafka和elasticsearch；

基于启动的所述filebeat获取所述目标业务系统的日志数据，将所述日志数据推送至启动后的所述kafka进行临时存储；

基于启动后的所述logstash对所述kafka中存储的所述日志数据进行分析，并将得到分析结果发送至启动后的所述elasticsearch进行存储。

本发明第二方面公开一种数据分析系统，所述系统包括：

第一启动单元，用于启动预先设置的ELK自动注入脚本，以根据预先设置的配置文件搭建目标ELK日志监控系统；其中，所述目标ELK日志监控系统包括多个应用组件，所述多个应用组件至少包括所述filebeat、所述kafka、所述logstash，以及所述elasticsearch，所述预先设置的配置文件为用户基于待进行数据分析的目标业务系统进行配置的；

第二启动单元，用于通过所述目标ELK日志监控系统，根据获取的所述目标业务系统中的应用的日志配置文件启动filebeat，根据预先设置的日志数据格式启动logstash，以及根据所述预先设置配置文件，分别启动kafka和elasticsearch；

获取单元，用于基于启动的所述filebeat获取所述目标业务系统的日志数据，将所述日志数据推送至启动后的所述kafka进行临时存储；

分析单元，用于基于启动后的所述logstash对所述kafka中存储的所述日志数据进行分析，并将得到分析结果发送至启动后的所述elasticsearch进行存储。

本发明第三方面公开一种电子设备，包括：处理器以及存储器，处理器以及存储器通过通信总线相连；其中，处理器，用于调用并执行存储器中存储的程序；存储器，用于存储程序，程序用于实现如上述本发明第一方面公开的数据分析方法。

本发明第四方面公开一种计算机可读存储介质，计算机可读存储介质中存储有计算机可执行指令，计算机可执行指令用于执行如上述本发明第一方面公开的数据分析方法。

本发明提供一种数据分析方法、系统、电子设备及存储介质，通过启动预先设置的ELK自动注入脚本，以根据用户基于待进行数据分析的目标业务系统预先设置的配置文件搭建目标ELK日志监控系统，以便通过搭建好的目标ELK监控系统，根据获取的目标业务系统中的应用的日志配置文件启动filebeat，根据预先设置的日志数据格式启动logstash，以及根据预先设置配置文件，分别启动kafka和elasticsearch；其中，目标ELK日志监控系统包括多个应用组件，多个应用组件至少包括filebeat、kafka、logstash，以及elasticsearch，基于启动的filebeat获取目标业务系统的日志数据，将日志数据推送至启动后的kafka进行临时存储；基于启动后的logstash对kafka中存储的日志数据进行分析，并将得到分析结果发送至启动后的elasticsearch进行存储。本发明提供的技术方案，利用预先设置的ELK自动注入脚本，根据预先设置的配置文件便可自动搭建ELK日志监控系统，并使搭建好的ELK日志监控系统自动启动filebeat、kafka、logstash，以及elasticsearch，进而基于启动的各个应用组件完成目标业务系统的日志数据的捕获、分析以及存储，无需技术人员手动搭建ELK日志监控系统，从而减少了技术人员的工作时间，以及减少了搭建ELK日志监控系统的成本。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

结合附图并参考以下具体实施方式，本发明公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。

图1为本发明实施例提供的一种数据分析方法的流程示意图；

图2为本发明实施例提供的一种数据分析系统的结构示意图；

图3为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本发明公开的实施例。虽然附图中显示了本发明公开的某些实施例，然而应当理解的是，本发明公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本发明公开的附图及实施例仅用于示例性作用，并非用于限制本发明公开的保护范围。

本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。

需要注意，本发明公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。

需要注意，本发明公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。

参见图1，示出了本发明实施例提供的一种数据分析方法的流程示意图，该数据分析方法具体包括以下步骤：

S101：获取并运行预先设置的ELK日志注入脚本，以根据目标ELK日志监控系统的版本对应的依赖说明文件生成ELK日志监控脚本，其中，ELK日志注入脚本的依赖包包含各个版本的ELK日志监控系统的各个应用组件的安装包，以及每个版本的ELK日志监控系统的依赖说明文件。

在步骤S101中，预先设置ELK日志注入脚本，以及该ELK日志注入脚本相应的依赖包，其中，ELK日志注入脚本的依赖包包含各个版本的ELK日志监控系统的各个应用组件的安装包，以及每个版本的ELK日志监控系统的依赖说明文件，ELK日志监控系统中的多个应用组件至少包括filebeat、kafka、logstash、elasticsearch、kibana。

在具体执行步骤S101的过程中，用户在确定选取的ELK日志监控系统的版本后(为了便于区分，将用户选取的ELK日志监控系统的版本对应的ELK日志监控系统称为目标ELK日志监控西戎)，响应用户的选取操作，获取预先设置的ELK日志注入脚本，对所获取的ELK日志注入脚本进行解压，并运行解压后的ELK日志注入脚本，以使解压后的ELK日志注入脚本根据目标ELK日志监控系统的版本对应的依赖说明文件，生成相应的ELK日志监控脚本。

S102：运行ELK日志监控脚本，以当检测用户上传的配置文件时，启动ELK自动注入程序，以根据预先设置的配置文件搭建目标ELK日志监控系统。

在具体执行步骤S102的过程中，在运行预先设置的ELK日志注入脚本，以根据目标ELK日志监控系统的版本对应的依赖说明文件生成相应的ELK日志监控脚本后，自动运行该ELK日志监控脚本，以使该ELK日志监控脚本在检测到用户上传的预先设置的配置文件时，启动预先设置的ELK自动注入脚本，以使预先设置的ELK自动注入脚本根据预先设置的配置文件搭建目标ELK日志监控系统。

需要说明的，预先设置的配置文件包括待进行日志监控的目标业务系统的业务系统信息，以及与该目标业务系统相关的服务器资源信息，如：目标业务系统的业务系统信息可以为目标业务系统的各个应用的应用信息，服务资源信息包括每个服务器对应的服务器IP、每个服务器的登录与部署账号，以及提供给目标ELK日志监控系统的每个应用组件部署的服务器的资源信息。

进一步需要说明的是，服务器的资源信息包括服务器的性能、存储空间等等。

在本申请实施例中，启动预先设置的ELK自动注入脚本，以使预先设置的ELK自动注入脚本根据预先设置的配置文件中的各个服务器的资源信息，判断目标业务系统中的各个服务器是否满足该服务器上需要部署的应用组件的部署要求，若目标业务系统中的各个服务器均满足各需要部署的应用组件的部署要求，且目标业务系统与目标ELK日志监控系统之间的网络连通，确定目标业务系统上的各个服务器均满足目标ELK日志监控系统的搭建要求，进而从ELK日志注入脚本的依赖包中获取filebeat、kafka、logstash、elasticsearch和kibana对应的安装包，并将获取的每个应用组件的安装包安装至对应的服务器上，以便根据安装了filebeat的服务器、安装了kafka的服务器、安装了logstash、安装了elasticsearch的服务器，以及安装了kibana的服务器搭建目标ELK日志监控系统。

需要说明的是，若目标业务系统上的各个服务器中存在不满足目标ELK日志监控系统的搭建要求，或者目标业务系统与目标ELK日志监控系统之间的网络不连通时，返回相应的检测信息，以便技术人员基于相应的检测信息进行相应的调整。

S103：通过目标ELK日志监控系统，根据获取的目标业务系统中的应用的日志配置文件启动filebeat，根据预先设置的日志数据格式启动logstash，以及根据预先设置配置文件，分别启动kafka和elasticsearch。

在具体执行步骤S102的过程中，在成功搭建了目标ELK日志监控系统后，可以通过目标ELK日志监控系统后，通过目标ELK日志监控系统，获取目标业务系统中的应用的日志配置文件，并对日志配置文件进行解析，得到filebeat的配置文件，并根据filebeat的配置文件启动filebeat；根据预先设置的日志数据格式，自动生成logstash的配置文件，并根据logstash的配置文件启动logstash；以及根据预先设置的配置文件中服务器资源信息，自动生成kafka的配置文件、elasticsearch的配置文件和kibana的配置文件，并根据kafka的配置文件启动kafka，根据elasticsearch的配置文件启动elasticsearch，以及根据kibana的配置文件，启动kibana。

S104：基于启动的filebeat获取目标业务系统的日志数据，将日志数据推送至启动后的kafka进行临时存储。

在具体执行步骤S104的过程中，在通过目标ELK日志监控系统启动filebeat、kafka、logstash、elasticsearch和kibana后，可以通过启动的filebeat获取目标业务系统的各个应用产生的日志数据，并将获取到的日志数据推送至kafka进行临时存储。

S105：基于启动后的logstash对kafka中存储的日志数据进行分析，并将得到分析结果发送至启动后的elasticsearch进行存储。

在具体执行步骤S105的过程中，在将获取的日志数据推送至kafka进行临时存储后，可以通过启动后的logstash对存储在kafka中的日志数据进行数据分析，并将得到的分析结果发送给启动后的elasticseatch进行存储，最后基于kibana展示elasticsearch中存储的分析结果。

本发明提供一种数据分析方法，通过启动预先设置的ELK自动注入脚本，以根据用户基于待进行数据分析的目标业务系统预先设置的配置文件搭建目标ELK日志监控系统，以便通过搭建好的目标ELK监控系统，根据获取的目标业务系统中的应用的日志配置文件启动filebeat，根据预先设置的日志数据格式启动logstash，以及根据预先设置配置文件，分别启动kafka和elasticsearch；其中，目标ELK日志监控系统包括多个应用组件，多个应用组件至少包括filebeat、kafka、logstash，以及elasticsearch，基于启动的filebeat获取目标业务系统的日志数据，将日志数据推送至启动后的kafka进行临时存储；基于启动后的logstash对kafka中存储的日志数据进行分析，并将得到分析结果发送至启动后的elasticsearch进行存储。本发明提供的技术方案，利用预先设置的ELK自动注入脚本，根据预先设置的配置文件便可自动搭建ELK日志监控系统，并使搭建好的ELK日志监控系统自动启动filebeat、kafka、logstash，以及elasticsearch，进而基于启动的各个应用组件完成目标业务系统的日志数据的捕获、分析以及存储，无需技术人员手动搭建ELK日志监控系统，从而减少了技术人员的工作时间，以及减少了搭建ELK日志监控系统的成本。

进一步的，在上述本发明提供的数据分析方法的基础上，还包括：

当检测到日志配置文件发生变更时，通过目标ELK日志监控系统，根据发生变更的日志配置文件重新启动filebea。以便根据重新启动的filebea捕获目标业务系统的各个应用产生的日志数据。

当检测到预先设置的日志数据格式发生变化时，通过目标ELK提至监控系统，根据发生变更的预先设置的日志数据格式重新启动logstash。以便基于重新启动的logstash对所获取的日志数据进行数据分析。

当检测到目标业务系统的业务系统信息，和/或，服务器资源信息发生变更时，基于变更后的目标业务系统的业务系统信息，和/或，服务器资源信息发生变更，对预先设置的配置文件进行更新，并通过目标ELK日志监控系统，根据更新后的预先设置的配置文件，重新启动kafka、elasticsearch和kibana。以便基于重新启动后的kafka对接收到的日志数据进行临时存储，基于重新启动后的elasticsearch对接收到的分析结果进行存储，以及基于重新启动后的kibana将elasticsearch或者重新启动后的elasticsearch中存储的分析结果进行展示。

在本申请实施例中，当检测到预先设置的日志数据格式发生变化，或者日志配置文件发生变更时，自动调整目标ELK日志监控系统的各应用组件中相应的应用组件的配置信息并重启相应的应用组件；当目标业务系统的业务系统信息，和/或，所述服务器资源信息发生变更时，对预先设置配置文件进行相应的更新，自动调整目标ELK日志监控系统的各应用组件中相应的应用组件的配置信息并重启相应的应用组件，完成相应的更新操作，适应目标业务系统新的调整，以便利用重启后的目标ELK日志监控系统的各个应用组件完成对目标业务系统的日志数据的数据分析。

附图中的流程图和框图，图示了按照本发明公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。

本发明公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。

虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。

应当理解，本发明公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本发明公开的范围在此方面不受限制。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

与上述本发明实施例公开的一种数据分析方法相对应，本发明实施例还提供了一种数据分析系统，如图2所示，该数据分析系统包括：

第一启动单元21，用于启动预先设置的ELK自动注入脚本，以根据预先设置的配置文件搭建目标ELK日志监控系统；其中，目标ELK日志监控系统包括多个应用组件，多个应用组件至少包括filebeat、kafka、logstash，以及elasticsearch，预先设置的配置文件为用户基于待进行数据分析的目标业务系统进行配置的；

第二启动单元22，用于通过目标ELK日志监控系统，根据获取的目标业务系统中的应用的日志配置文件启动filebeat，根据预先设置的日志数据格式启动logstash，以及根据预先设置配置文件，分别启动kafka和elasticsearch；

获取单元23，用于基于启动的filebeat获取目标业务系统的日志数据，将日志数据推送至启动后的kafka进行临时存储；

分析单元24，用于基于启动后的logstash对kafka中存储的日志数据进行分析，并将得到分析结果发送至启动后的elasticsearch进行存储。

上述本发明实施例公开的数据分析系统中各个单元具体的原理和执行过程，与上述本发明实施例公开的数据分析方法相同，可参见上述本发明实施例公开的数据分析方法中相应的部分，这里不再进行赘述。

本发明提供一种数据分析系统，通过启动预先设置的ELK自动注入脚本，以根据用户基于待进行数据分析的目标业务系统预先设置的配置文件搭建目标ELK日志监控系统，以便通过搭建好的目标ELK监控系统，根据获取的目标业务系统中的应用的日志配置文件启动filebeat，根据预先设置的日志数据格式启动logstash，以及根据预先设置配置文件，分别启动kafka和elasticsearch；其中，目标ELK日志监控系统包括多个应用组件，多个应用组件至少包括filebeat、kafka、logstash，以及elasticsearch，基于启动的filebeat获取目标业务系统的日志数据，将日志数据推送至启动后的kafka进行临时存储；基于启动后的logstash对kafka中存储的日志数据进行分析，并将得到分析结果发送至启动后的elasticsearch进行存储。本发明提供的技术方案，利用预先设置的ELK自动注入脚本，根据预先设置的配置文件便可自动搭建ELK日志监控系统，并使搭建好的ELK日志监控系统自动启动filebeat、kafka、logstash，以及elasticsearch，进而基于启动的各个应用组件完成目标业务系统的日志数据的捕获、分析以及存储，无需技术人员手动搭建ELK日志监控系统，从而减少了技术人员的工作时间，以及减少了搭建ELK日志监控系统的成本。

进一步的，本发明提供的数据分析系统，还包括：

生成单元，用于获取并运行预先设置的ELK日志注入脚本，以根据目标ELK日志监控系统的版本对应的依赖说明文件生成ELK日志监控脚本，其中，ELK日志注入脚本的依赖包包含多个版本的ELK日志监控系统的各个应用组件的安装包，以及每个版本的ELK日志监控系统的依赖说明文件；

相应的，第一启动单元还用于，运行ELK日志监控脚本，以当检测用户上传的配置文件时，启动ELK自动注入脚本。

可选的，第一启动单元，具体用于启动预先设置的ELK自动注入脚本，以当根据预先设置的配置文件，确定目标业务系统，以及各个服务器均满足目标ELK日志监控系统的搭建要求时，根据从ELK日志注入脚本的依赖包中获取filebeat、kafka、logstash，以及elasticsearch的安装包，将filebeat、kafka、logstash，以及elasticsearch分别安装在对应的服务器上，并根据安装了filebeat的服务器、安装了kafka的服务器、安装了logstash，以及安装了elasticsearch的服务器搭建目标ELK日志监控系统；

其中，ELK日志系统的搭建要求为目标业务系统与目标ELK日志监控系统之间的网络连通，且每个服务器的性能满足要安装的应用组件的部署要求。

可选的，第二启动单元，包括：

第三启动单元，用于通过目标ELK日志监控系统，获取目标业务系统中的应用的日志配置文件，并对日志配置文件进行解析，得到filebeat的配置文件，并根据filebeat的配置文件启动filebeat；

第四启动单元，用于通过目标ELK日志监控系统根据预先设置的日志数据格式，自动生成logstash的配置文件，并根据logstash的配置文件启动logstash；

第五启动单元，用于通过目标ELK日志监控系统根据预先设置的配置文件中服务器资源信息，自动生成kafka的配置文件和elasticsearch的配置文件，并根据kafka的配置文件启动kafka，以及根据elasticsearch的配置文件启动elasticsearch。

进一步的，本发明提供的数据分析系统，预先设置的配置信息至少包括目标业务系统的业务系统信息和服务器资源信息，还包括：

第一重新启动单元，用于当检测到目标业务系统的业务系统信息，和/或，服务器资源信息发生变更时，基于变更后的目标业务系统的业务系统信息，和/或，服务器资源信息，对预先设置的配置文件进行更新，以使目标ELK日志监控系统，根据更新后的预先设置的配置文件，重新启动kafka和elasticsearch；

第二重新启动单元，用于当检测到日志配置文件发生变更时，通过目标ELK日志监控系统，根据发生变更的日志配置文件重新启动filebeat；

第三重新启动单元，用于当检测到预先设置的日志数据格式发生变化时，通过目标ELK提至监控系统，根据发生变更的预先设置的日志数据格式重新启动logstash。

进一步的，本发明提供的数据分析系统，还包括：

第六启动单元，用于通过目标ELK日志监控系统，根据预先设置配置文件生成kibana的配置文件，并根据kibana的配置文件，启动kibana；

展示单元，用于基于kibana展示elasticsearch中存储的分析结果。

描述于本发明公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。

本申请以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。

本申请实施例还提供一种电子设备，该电子设备包括：处理器以及存储器，处理器以及存储器通过通信总线相连；其中，处理器，用于调用并执行存储器中存储的程序；存储器，用于存储程序，该程序用于实现测试方法。

下面参考图3，其示出了适于用来实现本发明公开实施例的电子设备的结构示意图。本发明公开实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图3示出的电子设备仅仅是一个示例，不应对本发明公开实施例的功能和使用范围带来任何限制。

如图3所示，电子设备可以包括处理装置(例如中央处理器、图形处理器等301，其可以根据存储在只读存储器(ROM)302中的程序或者从存储装置306加载到随机访问存储器(RAM)303中的程序而执行各种适当的动作和处理。在RAM 303中，还存储有电子设备操作所需的各种程序和数据。处理装置301、ROM 302以及RAM303通过总线304彼此相连。输入/输出(I/O)接口305也连接至总线304。

通常，以下装置可以连接至I/O接口305：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置306；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置307；包括例如磁带、硬盘等的存储装置308；以及通信装置309。通信装置309可以允许电子设备与其他设备进行无线或有线通信以交换数据。虽然图3示出了具有各种装置的电子设备，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置309从网络上被下载和安装，或者从存储装置308被安装，或者从ROM 302被安装。在该计算机程序被处理装置301执行时，执行本发明公开实施例的方法中限定的上述功能。

更进一步的，本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机可执行指令，计算机可执行指令用于执行数据分析方法。

上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：启动预先设置的ELK自动注入脚本，以根据预先设置的配置文件搭建目标ELK日志监控系统，其中，所述目标ELK日志监控系统包括多个应用组件，所述多个应用组件至少包括所述filebeat、所述kafka、所述logstash，以及所述elasticsearch，所述预先设置的配置文件为用户基于待进行数据分析的目标业务系统进行配置的；通过所述目标ELK日志监控系统，根据获取的目标业务系统中的应用的日志配置文件启动filebeat，根据预先设置的日志数据格式启动logstash，以及根据所述预先设置配置文件，分别启动kafka和elasticsearch；基于启动的所述filebeat获取所述目标业务系统的日志数据，将所述日志数据推送至启动后的所述kafka进行临时存储；基于启动后的所述logstash对所述kafka中存储的所述日志数据进行分析，并将得到分析结果发送至启动后的所述elasticsearch进行存储。

在本发明公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

需要说明的是，本发明公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。

上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

Claims (10)

1.一种数据分析方法，其特征在于，所述方法包括：

启动预先设置的ELK自动注入脚本，以根据预先设置的配置文件搭建目标ELK日志监控系统，其中，所述目标ELK日志监控系统包括多个应用组件，所述多个应用组件至少包括所述filebeat、所述kafka、所述logstash，以及所述elasticsearch，所述预先设置的配置文件为用户基于待进行数据分析的目标业务系统进行配置的；

通过所述目标ELK日志监控系统，根据获取的所述目标业务系统中的应用的日志配置文件启动filebeat，根据预先设置的日志数据格式启动logstash，以及根据所述预先设置配置文件，分别启动kafka和elasticsearch；

基于启动的所述filebeat获取所述目标业务系统的日志数据，将所述日志数据推送至启动后的所述kafka进行临时存储；

基于启动后的所述logstash对所述kafka中存储的所述日志数据进行分析，并将得到分析结果发送至启动后的所述elasticsearch进行存储。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取并运行预先设置的ELK日志注入脚本，以根据所述目标ELK日志监控系统的版本对应的依赖说明文件生成ELK日志监控脚本，其中，所述ELK日志注入脚本的依赖包包含多个版本的ELK日志监控系统的各个应用组件的安装包，以及每个版本的所述ELK日志监控系统的依赖说明文件；

相应的，所述启动所述预先设置的ELK自动注入脚本，包括：

运行所述ELK日志监控脚本，以当检测用户上传的配置文件时，启动ELK自动注入脚本。

3.根据权利要求2所述的方法，其特征在于，所述启动预先设置的ELK自动注入脚本，以根据预先设置的配置文件搭建所述目标ELK日志监控系统，包括：

启动预先设置的ELK自动注入脚本，以当根据预先设置的配置文件，确定所述目标业务系统，以及各个所述服务器均满足目标ELK日志监控系统的搭建要求时，根据从所述ELK日志注入脚本的依赖包中获取的所述filebeat、所述kafka、所述logstash，以及所述elasticsearch的安装包，将所述filebeat、所述kafka、所述logstash，以及所述elasticsearch分别安装在对应的所述服务器上，并根据安装了所述filebeat的服务器、安装了所述kafka的服务器、安装了所述所述logstash，以及安装了所述elasticsearch的服务器搭建目标ELK日志监控系统；

其中，所述ELK日志系统的搭建要求为所述目标业务系统与所述目标ELK日志监控系统之间的网络连通，且每个所述服务器的性能满足要安装的所述应用组件的部署要求。

4.根据权利要求1所述的方法，其特征在于，所述通过所述目标ELK日志监控系统，根据获取的目标业务系统中的应用的日志配置文件启动所述filebeat，以及根据所述预先设置配置文件，分别启动所述kafka、所述logstash，以及所述elasticsearch，包括：

通过所述目标ELK日志监控系统，获取所述目标业务系统中的应用的日志配置文件，并对所述日志配置文件进行解析，得到所述filebeat的配置文件，并根据所述filebeat的配置文件启动所述filebeat；

通过所述目标ELK日志监控系统根据预先设置的日志数据格式，自动生成所述logstash的配置文件，并根据所述logstash的配置文件启动所述logstash；

通过所述目标ELK日志监控系统根据所述预先设置的配置文件中服务器资源信息，自动生成所述kafka的配置文件和所述elasticsearch的配置文件，并根据所述kafka的配置文件启动所述kafka，以及根据所述elasticsearch的配置文件启动所述elasticsearch。

5.根据权利要求1所述的方法，其特征在于，所述预先设置的配置信息至少包括所述目标业务系统的业务系统信息和服务器资源信息，所述方法还包括：

当检测到所述目标业务系统的业务系统信息，和/或，所述服务器资源信息发生变更时，基于变更后的所述目标业务系统的业务系统信息，和/或，服务器资源信息，对所述预先设置的配置文件进行更新，以使所述目标ELK日志监控系统，根据更新后的所述预先设置的配置文件，重新启动所述kafka和所述elasticsearch；

当检测到所述日志配置文件发生变更时，通过所述目标ELK日志监控系统，根据发生变更的所述日志配置文件重新启动所述filebeat；

当检测到所述预先设置的日志数据格式发生变化时，通过所述目标ELK提至监控系统，根据发生变更的所述预先设置的日志数据格式重新启动所述logstash。

6.根据权利要求1所述的方法，其特征在于，所述启动预先设置的ELK自动注入脚本，以根据预先设置的配置文件搭建所述目标ELK日志监控系统之后，所述方法还包括：

通过所述目标ELK日志监控系统，根据所述预先设置配置文件生成kibana的配置文件，并根据所述kibana的配置文件，启动所述kibana；

基于所述kibana展示所述elasticsearch中存储的分析结果。

7.一种数据分析系统，其特征在于，所述系统包括：

第一启动单元，用于启动预先设置的ELK自动注入脚本，以根据预先设置的配置文件搭建目标ELK日志监控系统；其中，所述目标ELK日志监控系统包括多个应用组件，所述多个应用组件至少包括所述filebeat、所述kafka、所述logstash，以及所述elasticsearch，所述预先设置的配置文件为用户基于待进行数据分析的目标业务系统进行配置的；

第二启动单元，用于通过所述目标ELK日志监控系统，根据获取的所述目标业务系统中的应用的日志配置文件启动filebeat，根据预先设置的日志数据格式启动logstash，以及根据所述预先设置配置文件，分别启动kafka和elasticsearch；

获取单元，用于基于启动的所述filebeat获取所述目标业务系统的日志数据，将所述日志数据推送至启动后的所述kafka进行临时存储；

分析单元，用于基于启动后的所述logstash对所述kafka中存储的所述日志数据进行分析，并将得到分析结果发送至启动后的所述elasticsearch进行存储。

8.根据权利要求1所述的系统，其特征在于，所述系统还包括：

生成单元，用于获取并运行预先设置的ELK日志注入脚本，以根据所述目标ELK日志监控系统的版本对应的依赖说明文件生成ELK日志监控脚本，其中，所述ELK日志注入脚本的依赖包包含多个版本的ELK日志监控系统的各个应用组件的安装包，以及每个版本的所述ELK日志监控系统的依赖说明文件；

相应的，所述第一启动单元还用于，运行所述ELK日志监控脚本，以当检测用户上传的配置文件时，启动ELK自动注入脚本。

9.一种电子设备，其特征在于，包括：处理器以及存储器，处理器以及存储器通过通信总线相连；其中，处理器，用于调用并执行存储器中存储的程序；存储器，用于存储程序，程序用于实现如权利要求1-6任意一项的所述的数据分析方法。

10.一种计算机可读存储介质，其特征在于，计算机可读存储介质中存储有计算机可执行指令，计算机可执行指令用于执行权利要求1-6任意一项的所述的数据分析方法。

Images