CN112667574A - 海量日志数据筛选方法及系统 - Google Patents

Abstract

本发明公开了一种海量日志数据筛选方法及系统。其中，该方法包括：获取目标日志数据；对所述目标日志数据进行分析，生成分析结果；将目标数据库中的日志数据与所述分析结果进行筛选，生成筛选结果；根据所述筛选结果，生成日志展示数据并进行可视化展示。本发明解决了现有技术中海量日志数据无法进行筛选和展示的技术问题。

Description

海量日志数据筛选方法及系统

技术领域

本发明涉及海量日志数据筛选领域，具体而言，涉及一种海量日志数据筛选方法及系统。

背景技术

随着大数据部署的不断发展，人们在生活、学习、工作中都会用到大数据带来的有益效果，例如通过大数据配合设备软件平台的海量日志数据筛选功能，可以大幅度地提高海量日志数据筛选效率，增加海量日志数据筛选的准确率和灵活性，并可以利用大数据数据库多元化的特点生成海量日志数据筛选结果中的风险及趋势预测信息。

目前，在进行海量日志数据筛选时，通常会在终端利用固有的海量日志数据筛选程序对本地所存储的数据进行海量日志数据筛选，并得到故障信息等海量日志数据筛选结果数据，这样过程的海量日志数据筛选结果很片面，分析速度和效率不高，无法做到通过海量日志数据筛选输出多元化分析结果的技术目的。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种海量日志数据筛选方法及系统，以至少解决现有技术中海量日志数据无法进行筛选和展示的技术问题。

根据本发明实施例的一个方面，提供了一种海量日志数据筛选方法，包括：获取目标日志数据；对所述目标日志数据进行分析，生成分析结果；将所述分析结果进行筛选，生成筛选结果；将所述筛选结果进行展示。

可选的，所述获取目标日志数据包括：根据目标设备软件进行日志数据实时采集，并生成所述目标日志数据。

可选的，所述对所述目标日志数据进行分析，生成分析结果包括：将所述目标日志数据进行分类，得到分类结果；根据所述分类结果，通过预设规则进行分析得到所述分析结果。

可选的，所述将所述分析结果进行筛选，生成筛选结果包括：根据所述目标日志数据选择所述目标算法；通过所述目标算法对所述分析结果进行筛选，得到所述筛选结果。

可选的，所述筛选结果包括：故障筛选结果、冗余筛选结果。

可选的，所述根据所述筛选结果校准所述日志数据包括：将所述筛选结果进行排序和汇总；在目标输出设备上显示排序和汇总后的筛选结果。

根据本发明实施例的另一方面，还提供了一种海量日志数据筛选系统，包括：获取模块，用于获取目标日志数据；分析模块，用于对所述目标日志数据进行分析，生成分析结果；筛选模块，用于将所述分析结果进行筛选，生成筛选结果；展示模块，用于将所述筛选结果进行展示。

可选的，所述获取模块包括：采集单元，用于根据目标设备软件进行日志数据实时采集，并生成所述目标日志数据。

可选的，所述分析模块包括：分类单元，用于将所述目标日志数据进行分类，得到分类结果；分析单元，用于根据所述分类结果，通过预设规则进行分析得到所述分析结果。

可选的，所述筛选模块包括：选择单元，用于根据所述目标日志数据选择所述目标算法；筛选单元，用于通过所述目标算法对所述分析结果进行筛选，得到所述筛选结果。

在本发明实施例中，采用获取目标日志数据；对所述目标日志数据进行分析，生成分析结果；将所述分析结果进行筛选，生成筛选结果；将所述筛选结果进行展示的方式，通过预设的灵活的海量日志筛选算法对日志文件进行筛选，达到了筛选不必要的日志数据的目的，从而解决了现有技术中海量日志数据无法进行筛选和展示的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种海量日志数据筛选方法的流程图；

图2是根据本发明实施例的一种海量日志数据筛选系统的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

根据本发明实施例，提供了一种海量日志数据筛选方法的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

实施例一

图1是根据本发明实施例的一种海量日志数据筛选方法的流程图，如图1所示，该方法包括如下步骤：

步骤S102，获取目标日志数据。

具体的，本发明实施例为了得到日志数据分析的结果，首先需要获取目标日志数据，其中，目标日志数据可以是用户正在使用的、待分析的日志记录数据集合，该海量日志数据筛选是基于ELK进行的。

需要说明的是，ELK中的Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。他是一个完全开源的工具，他可以对你的日志进行收集、过滤，并将其存储供以后使用(如，搜索)。Kibana也是一个开源和免费的工具，Kibana可以为Logstash和ElasticSearch提供的海量日志数据筛选友好的Web界面，可以汇总、分析和搜索重要数据日志。海量日志数据筛选是运维工程师解决系统故障，发现问题的主要手段。日志包含多种类型，包括程序日志，系统日志以及安全日志等。通过对海量日志数据筛选，预发故障的发生，又可以在故障发生时，寻找到蛛丝马迹，快速定位故障点。及时解决。具体到本发明实施例，ELK组件结构可以是：Elasticsearch：是一个开源分布式时实分析搜索引擎，建立在全文搜索引擎库Apache Lucene基础上，同时隐藏了Apache Lucene的复杂性。Elasticsearch将所有的功能打包成一个独立的动画片，索引副本机制，RESTful风格接口，多数据源。自动搜索等特点。Logstash：是一个完全开源的工具，主要用于日志收集，同时可以对数据处理，并输出给ElasticarchKibana：也是一个完全开源的工具，kibana可以为Logstash和Elasticsearch提供图形化的海量日志数据筛选。Web界面，可以汇总，分析和搜索重要数据日志。

还需要说明的是，基于ELK的海量日志数据筛选方法可以是在需要收集日志的所有服务上部署logstash，作为logstash agent(logstash shipper)用于监控并过滤收集日志，将过滤后的内容发送到Redis，然后logstash indexer将日志收集在一起交给全文搜索服务ElasticSearch，可以用ElasticSearch进行自定义搜索通过Kibana来结合自定义搜索进行页面展示。

可选的，所述获取目标日志数据包括：根据目标设备软件进行日志数据实时采集，并生成所述目标日志数据。

步骤S104，对所述目标日志数据进行分析，生成分析结果。

具体的，在得到目标日志数据之后需要通过处理器对日志数据进行分析，并得到相应的数据分析结果，该结果用于后续风险预测等功能的展示，其中，对于目标日志数据可以采用实时采集和存储器存储的方式来汇总目标日志数据，并在一定的预设周期之内将日志数据进行传输和分析，以提高整体目标日志数据分析的效率和统一性。

可选的，所述对所述目标日志数据进行分析，生成分析结果包括：将所述目标日志数据进行分类，得到分类结果；根据所述分类结果，通过预设规则进行分析得到所述分析结果。

具体的，由于从目标设备软件平台获取的目标日志数据是复杂的，多类的，因此需要对获取到的目标日志数据进行分类操作，将目标日志数据中的不同种类的数据进行相应种类的标签的标的，例如，目标日志文件中存在缓存释放记录数据，那么该缓存释放记录数据属于缓存标签，因此在进行目标日志数据分类的时候，需要将缓存释放记录数据标以“缓存”标签，同时将所有带有“缓存”标签的日志数据进行归类，统一地集合在一起，构成“缓存”集合。最后，通过预设规则对上述分类结果进行分析，并分析出不同种类日志数据的分析结果，以便后续处理之用。

需要说明的是，预设规则可以是在处理器中根据用户对日志数据需求预先设置好的规则矩阵，用于将目标日志数据的分类结果进行输入，并根据分类结果的数据内容得到相应的运算结果。例如，在分类结果缓存集合中，通过预设规则矩阵进行分析之后得到分析结果“缓存释放正常”。

步骤S106，将所述分析结果进行筛选，生成筛选结果。

可选的，所述将所述分析结果进行筛选，生成筛选结果包括：根据所述目标日志数据选择所述目标算法；通过所述目标算法对所述分析结果进行筛选，得到所述筛选结果。

具体的，为了将海量的日志数据进行筛选，可以在预设存储位置存储若干中针对海量日志筛选的筛选算法，然后根据海量日志分析的分析结果，选择合适于当前日志数量和日志类型的筛选算法，进而进行筛选工作，将冗余的、坏损故障的日志数据剔除，留下正确的日志数据，增加日志任务的高效性。

可选的，所述筛选结果包括：故障筛选结果、冗余筛选结果。

具体的，通过大数据数据库与分析结果进行筛选的过程，可以得到准确的故障筛选结果、冗余筛选结果，其中，故障筛选结果可以包括是否存在故障，故障发生的时间以及故障程度等信息，冗余筛选结果可以包括发现多少冗余的海量日志中的日志数据信息，另外还可以根据需要增加趋势预测结果，其可以是对目标设备软件平台运行的日志在以后可能出现各种稳定和不稳定情况的趋势是怎么样的。

步骤S108，将所述筛选结果进行展示。

可选的，所述根据所述筛选结果校准所述日志数据包括：将所述筛选结果进行排序和汇总；在目标输出设备上显示排序和汇总后的筛选结果。

具体的，通过筛选结果，通过显示屏对根据筛选结果生成的展示数据进行可视化展示，进而通过筛选结果与日志数据的差异值来判断是否可以进行日志数据的校准操作。其中，展示数据可以是根据筛选结果整理而成的、具有图形化的故障信息、风险信息、趋势信息，最后通过显示设备对上述各种信息进行展示，以便用户可以直观地看到日志数据分析情况。

通过上述步骤，可以实现精准、高效地通过大数据对海量日志数据筛选结果进行展示的技术效果。

实施例二

图2是根据本发明实施例的一种海量日志数据筛选系统的结构框图，如图2所示，该系统包括：

获取模块20，用于获取目标日志数据。

具体的，本发明实施例为了得到日志数据分析的结果，首先需要获取目标日志数据，其中，目标日志数据可以是用户正在使用的、待分析的日志记录数据集合，该海量日志数据筛选是基于ELK进行的。

需要说明的是，ELK中的Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。他是一个完全开源的工具，他可以对你的日志进行收集、过滤，并将其存储供以后使用(如，搜索)。Kibana也是一个开源和免费的工具，Kibana可以为Logstash和ElasticSearch提供的海量日志数据筛选友好的Web界面，可以汇总、分析和搜索重要数据日志。海量日志数据筛选是运维工程师解决系统故障，发现问题的主要手段。日志包含多种类型，包括程序日志，系统日志以及安全日志等。通过对海量日志数据筛选，预发故障的发生，又可以在故障发生时，寻找到蛛丝马迹，快速定位故障点。及时解决。具体到本发明实施例，ELK组件结构可以是：Elasticsearch：是一个开源分布式时实分析搜索引擎，建立在全文搜索引擎库Apache Lucene基础上，同时隐藏了Apache Lucene的复杂性。Elasticsearch将所有的功能打包成一个独立的动画片，索引副本机制，RESTful风格接口，多数据源。自动搜索等特点。Logstash：是一个完全开源的工具，主要用于日志收集，同时可以对数据处理，并输出给ElasticarchKibana：也是一个完全开源的工具，kibana可以为Logstash和Elasticsearch提供图形化的海量日志数据筛选。Web界面，可以汇总，分析和搜索重要数据日志。

还需要说明的是，基于ELK的海量日志数据筛选方法可以是在需要收集日志的所有服务上部署logstash，作为logstash agent(logstash shipper)用于监控并过滤收集日志，将过滤后的内容发送到Redis，然后logstash indexer将日志收集在一起交给全文搜索服务ElasticSearch，可以用ElasticSearch进行自定义搜索通过Kibana来结合自定义搜索进行页面展示。

可选的，所述获取模块包括：采集单元，用于根据目标设备软件进行日志数据实时采集，并生成所述目标日志数据。

分析模块22，用于对所述目标日志数据进行分析，生成分析结果。

具体的，在得到目标日志数据之后需要通过处理器对日志数据进行分析，并得到相应的数据分析结果，该结果用于后续风险预测等功能的展示，其中，对于目标日志数据可以采用实时采集和存储器存储的方式来汇总目标日志数据，并在一定的预设周期之内将日志数据进行传输和分析，以提高整体目标日志数据分析的效率和统一性。

可选的，所述分析模块包括：分类单元，用于将所述目标日志数据进行分类，得到分类结果；分析单元，用于根据所述分类结果，通过预设规则进行分析得到所述分析结果。

具体的，由于从目标设备软件平台获取的目标日志数据是复杂的，多类的，因此需要对获取到的目标日志数据进行分类操作，将目标日志数据中的不同种类的数据进行相应种类的标签的标的，例如，目标日志文件中存在缓存释放记录数据，那么该缓存释放记录数据属于缓存标签，因此在进行目标日志数据分类的时候，需要将缓存释放记录数据标以“缓存”标签，同时将所有带有“缓存”标签的日志数据进行归类，统一地集合在一起，构成“缓存”集合。最后，通过预设规则对上述分类结果进行分析，并分析出不同种类日志数据的分析结果，以便后续处理之用。

需要说明的是，预设规则可以是在处理器中根据用户对日志数据需求预先设置好的规则矩阵，用于将目标日志数据的分类结果进行输入，并根据分类结果的数据内容得到相应的运算结果。例如，在分类结果缓存集合中，通过预设规则矩阵进行分析之后得到分析结果“缓存释放正常”。

筛选模块24，用于将所述分析结果进行筛选，生成筛选结果。

可选的，所述筛选模块包括：选择单元，用于根据所述目标日志数据选择所述目标算法；筛选单元，用于通过所述目标算法对所述分析结果进行筛选，得到所述筛选结果。

具体的，为了将海量的日志数据进行筛选，可以在预设存储位置存储若干中针对海量日志筛选的筛选算法，然后根据海量日志分析的分析结果，选择合适于当前日志数量和日志类型的筛选算法，进而进行筛选工作，将冗余的、坏损故障的日志数据剔除，留下正确的日志数据，增加日志任务的高效性。

可选的，所述筛选结果包括：故障筛选结果、冗余筛选结果。

具体的，通过大数据数据库与分析结果进行筛选的过程，可以得到准确的故障筛选结果、冗余筛选结果，其中，故障筛选结果可以包括是否存在故障，故障发生的时间以及故障程度等信息，冗余筛选结果可以包括发现多少冗余的海量日志中的日志数据信息，另外还可以根据需要增加趋势预测结果，其可以是对目标设备软件平台运行的日志在以后可能出现各种稳定和不稳定情况的趋势是怎么样的。

展示模块26，用于将所述筛选结果进行展示。

具体的，通过筛选结果，通过显示屏对根据筛选结果生成的展示数据进行可视化展示，其中，展示数据可以是根据筛选结果整理而成的、具有图形化的故障信息、风险信息、趋势信息，最后通过显示设备对上述各种信息进行展示，以便用户可以直观地看到日志数据分析情况。

根据本发明实施例的另一方面，还提供了一种包括指令的计算机程序产品，当所述指令在计算机上运行时，使得所述计算机执行一种海量日志数据筛选方法。

具体的，上述一种海量日志数据筛选方法包括：获取目标日志数据；对所述目标日志数据进行分析，生成分析结果；将目标数据库中的日志数据与所述分析结果进行筛选，生成筛选结果；根据所述筛选结果，生成日志展示数据并进行可视化展示。

根据本发明实施例的另一方面，还提供了一种非易失性存储介质，所述非易失性存储介质包括存储的程序，其中，所述程序运行时控制非易失性存储介质所在的设备执行一种海量日志数据筛选方法。

具体的，上述一种海量日志数据筛选方法包括：获取目标日志数据；对所述目标日志数据进行分析，生成分析结果；将目标数据库中的日志数据与所述分析结果进行筛选，生成筛选结果；根据所述筛选结果，生成日志展示数据并进行可视化展示。

根据本发明实施例的另一方面，还提供了一种电子系统，包含处理器和存储器；所述存储器中存储有计算机可读指令，所述处理器用于运行所述计算机可读指令，其中，所述计算机可读指令运行时执行一种海量日志数据筛选方法。

具体的，上述一种海量日志数据筛选方法包括：获取目标日志数据；对所述目标日志数据进行分析，生成分析结果；将目标数据库中的日志数据与所述分析结果进行筛选，生成筛选结果；根据所述筛选结果，生成日志展示数据并进行可视化展示。

通过上述步骤，可以实现精准、高效地通过大数据对海量日志数据筛选结果进行展示的技术效果。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的系统实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种海量日志数据筛选方法，其特征在于，包括：

获取目标日志数据；

对所述目标日志数据进行分析，生成分析结果；

将所述分析结果进行筛选，生成筛选结果；

将所述筛选结果进行展示。

2.根据权利要求1所述的方法，其特征在于，所述获取目标日志数据包括：根据目标设备软件进行日志数据实时采集，并生成所述目标日志数据。

3.根据权利要求1所述的方法，其特征在于，所述对所述目标日志数据进行分析，生成分析结果包括：

将所述目标日志数据进行分类，得到分类结果；

根据所述分类结果，通过预设规则进行分析得到所述分析结果。

4.根据权利要求1所述的方法，其特征在于，所述将所述分析结果进行筛选，生成筛选结果包括：

根据所述目标日志数据选择所述目标算法；

通过所述目标算法对所述分析结果进行筛选，得到所述筛选结果。

5.根据权利要求4所述的方法，其特征在于，所述筛选结果包括：故障筛选结果、冗余筛选结果。

6.根据权利要求1所述的方法，其特征在于，所述将所述筛选结果进行展示包括：

将所述筛选结果进行排序和汇总；

在目标输出设备上显示排序和汇总后的筛选结果。

7.一种海量日志数据筛选系统，其特征在于，包括：

获取模块，用于获取目标日志数据；

分析模块，用于对所述目标日志数据进行分析，生成分析结果；

筛选模块，用于将所述分析结果进行筛选，生成筛选结果；

展示模块，用于将所述筛选结果进行展示。

8.根据权利要求7所述的系统，其特征在于，所述获取模块包括：采集单元，用于根据目标设备软件进行日志数据实时采集，并生成所述目标日志数据。

9.根据权利要求7所述的系统，其特征在于，所述分析模块包括：

分类单元，用于将所述目标日志数据进行分类，得到分类结果；

分析单元，用于根据所述分类结果，通过预设规则进行分析得到所述分析结果。

10.根据权利要求7所述的系统，其特征在于，所述筛选模块包括：

选择单元，用于根据所述目标日志数据选择所述目标算法；

筛选单元，用于通过所述目标算法对所述分析结果进行筛选，得到所述筛选结果。

Images