CN112685376A - 海量日志数据分析方法及系统 - Google Patents

Abstract

本发明公开了一种海量日志数据分析方法及系统。其中，该方法包括：获取目标日志数据；对所述目标日志数据进行分析，生成分析结果；将目标数据库中的日志数据与所述分析结果进行比对，生成比对结果；根据所述比对结果，生成日志展示数据并进行可视化展示。本发明解决了现有技术中日志分析无法准确、高效地进行多元化日志结果分析的技术问题。

Description

海量日志数据分析方法及系统

技术领域

本发明涉及日志分析领域，具体而言，涉及一种海量日志数据分析方法及系统。

背景技术

随着大数据部署的不断发展，人们在生活、学习、工作中都会用到大数据带来的有益效果，例如通过大数据配合设备软件平台的日志分析功能，可以大幅度地提高日志分析效率，增加日志分析的准确率，并可以利用大数据数据库多元化的特点生成日志分析结果中的风险及趋势预测信息。

目前，在进行日志分析时，通常会在终端利用固有的日志分析程序对本地所存储的数据进行日志分析，并得到故障信息等日志分析结果数据，这样过程的日志分析结果很片面，分析速度和效率不高，无法做到通过日志分析输出多元化分析结果的技术目的。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种海量日志数据分析方法及系统，以至少解决现有技术中日志分析无法准确、高效地进行多元化日志结果分析的技术问题。

根据本发明实施例的一个方面，提供了一种海量日志数据分析方法，包括：获取目标日志数据；对所述目标日志数据进行分析，生成分析结果；将目标数据库中的日志数据与所述分析结果进行比对，生成比对结果；根据所述比对结果，生成日志展示数据并进行可视化展示。

可选的，所述获取目标日志数据包括：根据目标设备软件进行日志数据实时采集，并生成所述目标日志数据。

可选的，所述对所述目标日志数据进行分析，生成分析结果包括：将所述目标日志数据进行分类，得到分类结果；根据所述分类结果，通过预设规则进行分析得到所述分析结果。

可选的，所述将目标数据库中的日志数据与所述分析结果进行比对，生成比对结果包括：根据所述目标日志数据选择所述目标数据库；将所述目标数据库中的数据与所述分析结果进行比对，得到所述比对结果。

可选的，所述比对结果包括：故障判断结果、风险评估结果、趋势预测结果。

可选的，所述展示数据包括：故障信息、风险信息、趋势信息。

根据本发明实施例的另一方面，还提供了一种海量日志数据分析系统，包括：获取模块，用于获取目标日志数据；分析模块，用于对所述目标日志数据进行分析，生成分析结果；比对模块，用于将目标数据库中的日志数据与所述分析结果进行比对，生成比对结果；展示模块，用于根据所述比对结果，生成日志展示数据并进行可视化展示。

可选的，所述获取模块包括：采集单元，用于根据目标设备软件进行日志数据实时采集，并生成所述目标日志数据。

可选的，所述分析模块包括：分类单元，用于将所述目标日志数据进行分类，得到分类结果；分析单元，用于根据所述分类结果，通过预设规则进行分析得到所述分析结果。

可选的，所述比对模块包括：选择单元，用于根据所述目标日志数据选择所述目标数据库；比对单元，用于将所述目标数据库中的数据与所述分析结果进行比对，得到所述比对结果。

在本发明实施例中，采用获取目标日志数据；对所述目标日志数据进行分析，生成分析结果；将目标数据库中的日志数据与所述分析结果进行比对，生成比对结果；根据所述比对结果，生成日志展示数据并进行可视化展示的方式，通过大数据对日志文件进行比对和分析，达到了监测日志故障信息、预测风险及趋势的目的，从而解决了现有技术中日志分析无法准确、高效地进行多元化日志结果分析的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种海量日志数据分析方法的流程图；

图2是根据本发明实施例的一种海量日志数据分析方法的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

根据本发明实施例，提供了一种海量日志数据分析方法的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

实施例一

图1是根据本发明实施例的一种海量日志数据分析方法的流程图，如图1所示，该方法包括如下步骤：

步骤S102，获取目标日志数据。

具体的，本发明实施例为了得到日志数据分析的结果，首先需要获取目标日志数据，其中，目标日志数据可以是用户正在使用的、待分析的日志记录数据集合，该日志分析可以是基于ELK进行的。

需要说明的是，ELK中的Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。他是一个完全开源的工具，他可以对你的日志进行收集、过滤，并将其存储供以后使用(如，搜索)。Kibana也是一个开源和免费的工具，Kibana可以为Logstash和ElasticSearch提供的日志分析友好的Web界面，可以汇总、分析和搜索重要数据日志。日志分析是运维工程师解决系统故障，发现问题的主要手段。日志包含多种类型，包括程序日志，系统日志以及安全日志等。通过对日志分析，预发故障的发生，又可以在故障发生时，寻找到蛛丝马迹，快速定位故障点。及时解决。具体到本发明实施例，ELK组件结构可以是：Elasticsearch：是一个开源分布式时实分析搜索引擎，建立在全文搜索引擎库ApacheLucene基础上，同时隐藏了Apache Lucene的复杂性。Elasticsearch将所有的功能打包成一个独立的动画片，索引副本机制，RESTful风格接口，多数据源。自动搜索等特点。Logstash：是一个完全开源的工具，主要用于日志收集，同时可以对数据处理，并输出给ElasticarchKibana：也是一个完全开源的工具，kibana可以为Logstash和Elasticsearch提供图形化的日志分析。Web界面，可以汇总，分析和搜索重要数据日志。

还需要说明的是，海量日志数据分析方法可以是在需要收集日志的所有服务上部署logstash，作为logstash agent(logstash shipper)用于监控并过滤收集日志，将过滤后的内容发送到Redis，然后logstash indexer将日志收集在一起交给全文搜索服务ElasticSearch，可以用ElasticSearch进行自定义搜索通过Kibana来结合自定义搜索进行页面展示。

可选的，所述获取目标日志数据包括：根据目标设备软件进行日志数据实时采集，并生成所述目标日志数据。

步骤S104，对所述目标日志数据进行分析，生成分析结果。

具体的，在得到目标日志数据之后需要通过处理器对日志数据进行分析，并得到相应的数据分析结果，该结果用于后续风险预测等功能的展示，其中，对于目标日志数据可以采用实时采集和存储器存储的方式来汇总目标日志数据，并在一定的预设周期之内将日志数据进行传输和分析，以提高整体目标日志数据分析的效率和统一性。

可选的，所述对所述目标日志数据进行分析，生成分析结果包括：将所述目标日志数据进行分类，得到分类结果；根据所述分类结果，通过预设规则进行分析得到所述分析结果。

具体的，由于从目标设备软件平台获取的目标日志数据是复杂的，多类的，因此需要对获取到的目标日志数据进行分类操作，将目标日志数据中的不同种类的数据进行相应种类的标签的标的，例如，目标日志文件中存在缓存释放记录数据，那么该缓存释放记录数据属于缓存标签，因此在进行目标日志数据分类的时候，需要将缓存释放记录数据标以“缓存”标签，同时将所有带有“缓存”标签的日志数据进行归类，统一地集合在一起，构成“缓存”集合。最后，通过预设规则对上述分类结果进行分析，并分析出不同种类日志数据的分析结果，以便后续处理之用。

需要说明的是，预设规则可以是在处理器中根据用户对日志数据需求预先设置好的规则矩阵，用于将目标日志数据的分类结果进行输入，并根据分类结果的数据内容得到相应的运算结果。例如，在分类结果缓存集合中，通过预设规则矩阵进行分析之后得到分析结果“缓存释放正常”。

步骤S106，将目标数据库中的日志数据与所述分析结果进行比对，生成比对结果。

可选的，所述将目标数据库中的日志数据与所述分析结果进行比对，生成比对结果包括：根据所述目标日志数据选择所述目标数据库；将所述目标数据库中的数据与所述分析结果进行比对，得到所述比对结果。

具体的，目标数据库可以是基于大数据的多元化数据库数据源，由于分析结果是根据分类结果产生的，所以目标日志数据的分析结果也是多元化的，根据分析结果中不同的结果种类可以从大数据数据库中抽取所需要的信息，并将该信息与本地获得的分析结果进行比对，以验证和校准本地获得的日志数据分析结果，使本地分析结果所对应的比对结果具有多元化数据特性，以便后续进行输出展示。

可选的，所述比对结果包括：故障判断结果、风险评估结果、趋势预测结果。

具体的，通过大数据数据库与分析结果进行比对的过程，可以得到准确的故障判断结果、风险评估结果、趋势预测结果，其中，故障判断结果可以包括是否存在故障，故障发生的时间以及故障程度等信息，风险评估结果可以包括发生故障的风险指数有多少，趋势预测结果可以是对目标设备软件平台运行的日志在以后可能出现各种稳定和不稳定情况的趋势是怎么样的。

步骤S108，根据所述比对结果，生成日志展示数据并进行可视化展示。

可选的，所述展示数据包括：故障信息、风险信息、趋势信息。

具体的，通过比对结果，通过显示屏对根据比对结果生成的展示数据进行可视化展示，其中，展示数据可以是根据比对结果整理而成的、具有图形化的故障信息、风险信息、趋势信息，最后通过显示设备对上述各种信息进行展示，以便用户可以直观地看到日志数据分析情况。

通过上述步骤，可以实现精准、高效地通过大数据对ELK日志分析结果进行展示的技术效果。

实施例二

图2是根据本发明实施例的一种海量日志数据分析方法的结构框图，如图2所示，该系统包括：

获取模块20，用于获取目标日志数据。

具体的，本发明实施例为了得到日志数据分析的结果，首先需要获取目标日志数据，其中，目标日志数据可以是用户正在使用的、待分析的日志记录数据集合，该日志分析是基于ELK进行的。

需要说明的是，ELK中的Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。他是一个完全开源的工具，他可以对你的日志进行收集、过滤，并将其存储供以后使用(如，搜索)。Kibana也是一个开源和免费的工具，Kibana可以为Logstash和ElasticSearch提供的日志分析友好的Web界面，可以汇总、分析和搜索重要数据日志。日志分析是运维工程师解决系统故障，发现问题的主要手段。日志包含多种类型，包括程序日志，系统日志以及安全日志等。通过对日志分析，预发故障的发生，又可以在故障发生时，寻找到蛛丝马迹，快速定位故障点。及时解决。具体到本发明实施例，ELK组件结构可以是：Elasticsearch：是一个开源分布式时实分析搜索引擎，建立在全文搜索引擎库ApacheLucene基础上，同时隐藏了Apache Lucene的复杂性。Elasticsearch将所有的功能打包成一个独立的动画片，索引副本机制，RESTful风格接口，多数据源。自动搜索等特点。Logstash：是一个完全开源的工具，主要用于日志收集，同时可以对数据处理，并输出给ElasticarchKibana：也是一个完全开源的工具，kibana可以为Logstash和Elasticsearch提供图形化的日志分析。Web界面，可以汇总，分析和搜索重要数据日志。

还需要说明的是，海量日志数据分析方法可以是在需要收集日志的所有服务上部署logstash，作为logstash agent(logstash shipper)用于监控并过滤收集日志，将过滤后的内容发送到Redis，然后logstash indexer将日志收集在一起交给全文搜索服务ElasticSearch，可以用ElasticSearch进行自定义搜索通过Kibana来结合自定义搜索进行页面展示。

可选的，所述获取模块包括：采集单元，用于根据目标设备软件进行日志数据实时采集，并生成所述目标日志数据。

分析模块22，用于对所述目标日志数据进行分析，生成分析结果。

具体的，在得到目标日志数据之后需要通过处理器对日志数据进行分析，并得到相应的数据分析结果，该结果用于后续风险预测等功能的展示，其中，对于目标日志数据可以采用实时采集和存储器存储的方式来汇总目标日志数据，并在一定的预设周期之内将日志数据进行传输和分析，以提高整体目标日志数据分析的效率和统一性。

可选的，所述分析模块包括：分类单元，用于将所述目标日志数据进行分类，得到分类结果；分析单元，用于根据所述分类结果，通过预设规则进行分析得到所述分析结果。

具体的，由于从目标设备软件平台获取的目标日志数据是复杂的，多类的，因此需要对获取到的目标日志数据进行分类操作，将目标日志数据中的不同种类的数据进行相应种类的标签的标的，例如，目标日志文件中存在缓存释放记录数据，那么该缓存释放记录数据属于缓存标签，因此在进行目标日志数据分类的时候，需要将缓存释放记录数据标以“缓存”标签，同时将所有带有“缓存”标签的日志数据进行归类，统一地集合在一起，构成“缓存”集合。最后，通过预设规则对上述分类结果进行分析，并分析出不同种类日志数据的分析结果，以便后续处理之用。

需要说明的是，预设规则可以是在处理器中根据用户对日志数据需求预先设置好的规则矩阵，用于将目标日志数据的分类结果进行输入，并根据分类结果的数据内容得到相应的运算结果。例如，在分类结果缓存集合中，通过预设规则矩阵进行分析之后得到分析结果“缓存释放正常”。

比对模块24，用于将目标数据库中的日志数据与所述分析结果进行比对，生成比对结果。

可选的，所述比对模块包括：选择单元，用于根据所述目标日志数据选择所述目标数据库；比对单元，用于将所述目标数据库中的数据与所述分析结果进行比对，得到所述比对结果。

具体的，目标数据库可以是基于大数据的多元化数据库数据源，由于分析结果是根据分类结果产生的，所以目标日志数据的分析结果也是多元化的，根据分析结果中不同的结果种类可以从大数据数据库中抽取所需要的信息，并将该信息与本地获得的分析结果进行比对，以验证和校准本地获得的日志数据分析结果，使本地分析结果所对应的比对结果具有多元化数据特性，以便后续进行输出展示。

可选的，所述比对结果包括：故障判断结果、风险评估结果、趋势预测结果。

具体的，通过大数据数据库与分析结果进行比对的过程，可以得到准确的故障判断结果、风险评估结果、趋势预测结果，其中，故障判断结果可以包括是否存在故障，故障发生的时间以及故障程度等信息，风险评估结果可以包括发生故障的风险指数有多少，趋势预测结果可以是对目标设备软件平台运行的日志在以后可能出现各种稳定和不稳定情况的趋势是怎么样的。

展示模块26，用于根据所述比对结果，生成日志展示数据并进行可视化展示。

可选的，所述展示数据包括：故障信息、风险信息、趋势信息。

具体的，通过比对结果，通过显示屏对根据比对结果生成的展示数据进行可视化展示，其中，展示数据可以是根据比对结果整理而成的、具有图形化的故障信息、风险信息、趋势信息，最后通过显示设备对上述各种信息进行展示，以便用户可以直观地看到日志数据分析情况。

根据本发明实施例的另一方面，还提供了一种包括指令的计算机程序产品，当所述指令在计算机上运行时，使得所述计算机执行一种海量日志数据分析方法。

具体的，上述一种海量日志数据分析方法包括：获取目标日志数据；对所述目标日志数据进行分析，生成分析结果；将目标数据库中的日志数据与所述分析结果进行比对，生成比对结果；根据所述比对结果，生成日志展示数据并进行可视化展示。

根据本发明实施例的另一方面，还提供了一种非易失性存储介质，所述非易失性存储介质包括存储的程序，其中，所述程序运行时控制非易失性存储介质所在的设备执行一种海量日志数据分析方法。

具体的，上述一种海量日志数据分析方法包括：获取目标日志数据；对所述目标日志数据进行分析，生成分析结果；将目标数据库中的日志数据与所述分析结果进行比对，生成比对结果；根据所述比对结果，生成日志展示数据并进行可视化展示。

根据本发明实施例的另一方面，还提供了一种电子装置，包含处理器和存储器；所述存储器中存储有计算机可读指令，所述处理器用于运行所述计算机可读指令，其中，所述计算机可读指令运行时执行一种海量日志数据分析方法。

具体的，上述一种海量日志数据分析方法包括：获取目标日志数据；对所述目标日志数据进行分析，生成分析结果；将目标数据库中的日志数据与所述分析结果进行比对，生成比对结果；根据所述比对结果，生成日志展示数据并进行可视化展示。

通过上述步骤，可以实现精准、高效地通过大数据对ELK日志分析结果进行展示的技术效果。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种海量日志数据分析方法，其特征在于，包括：

获取目标日志数据；

对所述目标日志数据进行分析，生成分析结果；

将目标数据库中的日志数据与所述分析结果进行比对，生成比对结果；

根据所述比对结果，生成日志展示数据并进行可视化展示。

2.根据权利要求1所述的方法，其特征在于，所述获取目标日志数据包括：根据目标设备软件进行日志数据实时采集，并生成所述目标日志数据。

3.根据权利要求1所述的方法，其特征在于，所述对所述目标日志数据进行分析，生成分析结果包括：

将所述目标日志数据进行分类，得到分类结果；

根据所述分类结果，通过预设规则进行分析得到所述分析结果。

4.根据权利要求1所述的方法，其特征在于，所述将目标数据库中的日志数据与所述分析结果进行比对，生成比对结果包括：

根据所述目标日志数据选择所述目标数据库；

将所述目标数据库中的数据与所述分析结果进行比对，得到所述比对结果。

5.根据权利要求4所述的方法，其特征在于，所述比对结果包括：故障判断结果、风险评估结果、趋势预测结果。

6.根据权利要求1所述的方法，其特征在于，所述展示数据包括：故障信息、风险信息、趋势信息。

7.一种海量日志数据分析系统，其特征在于，包括：

获取模块，用于获取目标日志数据；

分析模块，用于对所述目标日志数据进行分析，生成分析结果；

比对模块，用于将目标数据库中的日志数据与所述分析结果进行比对，生成比对结果；

展示模块，用于根据所述比对结果，生成日志展示数据并进行可视化展示。

8.根据权利要求7所述的系统，其特征在于，所述获取模块包括：采集单元，用于根据目标设备软件进行日志数据实时采集，并生成所述目标日志数据。

9.根据权利要求7所述的系统，其特征在于，所述分析模块包括：

分类单元，用于将所述目标日志数据进行分类，得到分类结果；

分析单元，用于根据所述分类结果，通过预设规则进行分析得到所述分析结果。

10.根据权利要求7所述的系统，其特征在于，所述比对模块包括：

选择单元，用于根据所述目标日志数据选择所述目标数据库；

比对单元，用于将所述目标数据库中的数据与所述分析结果进行比对，得到所述比对结果。

Images