CN106599120A - 基于流处理框架的数据处理方法及装置 - Google Patents

Abstract

本发明提供了一种基于流处理框架的数据处理方法及装置，数据处理方法包括：按照预设的采集规则采集日志信息，并获取预先配置的与日志信息相对应的解析规则和统计规则；通过流处理框架按照解析规则对日志信息进行解析处理，获得日志信息的解析结果，并按照统计规则对解析结果进行统计处理，获得日志信息的统计结果。本发明提供的基于流处理框架的数据处理方法及装置，通过按照采集规则采集日志信息，并利用流处理框架根据解析规则和统计规则对日志信息进行分析处理，可以有效地保证对日志信息处理的实时性，克服了现有技术中存在的实时性较差、降低用户的良好体验性的问题，进而有效地提高了该数据处理方法的实用性，有利于市场的推广与应用。

Description

基于流处理框架的数据处理方法及装置

技术领域

本发明实施例涉及通信技术领域，尤其涉及一种基于流处理框架的数据处理方法及装置。

背景技术

随着科学技术的不断发展和计算机的普遍应用，行业应用系统的规模迅速增大，行业应用所产生的数据呈爆炸性增长，进而对数据的统计分析与处理也越来越受到重视。

现有技术中，对数据统计分析的方式大部分为两种，一种为通过报表工具以离线的方式实现统计分析；另一种为通过将数据导入Hadoop等大数据体系中，通过mapreduce等算法实现统计分析，其中，Hadoop实现统计分析的方式同样为离线方式。

然而，在实施本技术方案时，发明人发现现有技术中存在以下缺陷：现有技术中的Hadoop方式或者报表工具实现统计分析的方式均为离线统计，实时性较差，降低了用户的良好体验性。

发明内容

本发明实施例提供基于流处理框架的数据处理方法及装置，可以有效地克服现有技术中所存在的实时性较差、降低用户的良好体验性的问题。

本发明实施例的一方面提供了一种基于流处理框架的数据处理方法，包括：

按照预设的采集规则采集日志信息，并获取预先配置的与所述日志信息相对应的解析规则和统计规则；

通过流处理框架按照所述解析规则对所述日志信息进行解析处理，获得所述日志信息的解析结果，并按照所述统计规则对所述解析结果进行统计处理，获得所述日志信息的统计结果。

如上所述的基于流处理框架的数据处理方法，在所述按照预设的采集规则采集日志信息之前，所述方法还包括：

采用面向方面编程Spring AOP技术获取数据参数信息和方法参数信息；

将所述方法参数信息转化为字符串信息，并拦截所述字符串信息；

根据所述数据参数信息生成所述日志信息。

如上所述的基于流处理框架的数据处理方法，所述按照预设的采集规则采集日志信息，具体包括：

所述采集规则包括存储所述日志信息的目标主机和采集路径；

按照所述采集路径、并通过预先设置在所述目标主机上的采集节点agent采集所述日志信息。

如上所述的基于流处理框架的数据处理方法，在获得所述日志信息的统计结果之后，所述方法还包括：

将所述统计结果存储至关系型数据库DB；

获取用户输入的结果展示请求，所述结果展示请求中包括日志信息标识；

根据所述结果展示请求在所述DB中查找与所述日志信息标识相对应的统计结果，并展示所述统计结果。

如上所述的基于流处理框架的数据处理方法，所述方法还包括：

获取所述流处理框架的数据处理能力；

若所述数据处理能力小于预设的数据处理阈值，则按照预设的采集规则主动采集所述日志信息。

本发明实施例的又一方面提供了一种基于流处理框架的数据处理装置，包括：

获取模块，用于按照预设的采集规则采集日志信息，并获取预先配置的与所述日志信息相对应的解析规则和统计规则；

处理模块，用于通过流处理框架按照所述解析规则对所述日志信息进行解析处理，获得所述日志信息的解析结果，并按照所述统计规则对所述解析结果进行统计处理，获得所述日志信息的统计结果。

如上所述的基于流处理框架的数据处理装置，所述获取模块，还用于在所述按照预设的采集规则采集日志信息之前，采用面向方面编程Spring AOP技术获取数据参数信息和方法参数信息；

所述数据处理装置还包括：

拦截模块，用于将所述方法参数信息转化为字符串信息，并拦截所述字符串信息；

生成模块，用于根据所述数据参数信息生成所述日志信息。

如上所述的基于流处理框架的数据处理装置，所述获取模块，具体用于：

所述采集规则包括存储所述日志信息的目标主机和采集路径；

按照所述采集路径、并通过预先设置在所述目标主机上的采集节点agent采集所述日志信息。

如上所述的基于流处理框架的数据处理装置，所述数据处理装置还包括：

存储模块，用于在获得所述日志信息的统计结果之后，将所述统计结果存储至关系型数据库DB；

所述获取模块，还用于获取用户输入的结果展示请求，所述结果展示请求中包括日志信息标识；

展示模块，用于根据所述结果展示请求在所述DB中查找与所述日志信息标识相对应的统计结果，并展示所述统计结果。

如上所述的基于流处理框架的数据处理装置，所述获取模块，还用于：

获取所述流处理框架的数据处理能力；

若所述数据处理能力小于预设的数据处理阈值，则按照预设的采集规则主动采集所述日志信息。

本发明提供的基于流处理框架的数据处理方法及装置，通过按照采集规则采集日志信息，并利用流处理框架根据解析规则和统计规则对日志信息进行分析处理，可以有效地保证对日志信息处理的实时性，克服了现有技术中存在的实时性较差、降低用户的良好体验性的问题，进而有效地提高了该数据处理方法的实用性，有利于市场的推广与应用。

附图说明

图1为本发明一实施例提供的一种基于流处理框架的数据处理方法的流程示意图；

图2为本发明另一实施例提供的一种基于流处理框架的数据处理方法的流程示意图；

图3为本发明又一实施例提供的一种基于流处理框架的数据处理方法的流程示意图；

图4为本发明再一实施例提供的一种基于流处理框架的数据处理方法的流程示意图；

图5为本发明又一实施例提供的一种基于流处理框架的数据处理方法的流程示意图；

图6为本发明一实施例提供的一种基于流处理框架的数据处理装置的结构示意图。

图中，

1、获取模块； 2、处理模块；

3、拦截模块； 4、生成模块；

5、存储模块； 6、展示模块。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实例用于说明本发明，但不用来限制本发明的范围。

图1为本发明一实施例提供的一种基于流处理框架的数据处理方法的流程示意图，参考附图1可知，本实施例提供了一种基于流处理框架的数据处理方法，该数据处理方法用于对行业应用所产生的数据进行分析处理，实时性高，具体的，该方法包括：

S101：按照预设的采集规则采集日志信息，并获取预先配置的与日志信息相对应的解析规则和统计规则；

采集规则为预先设置的，例如，可以将采集规则设置为直接采集或者被动采集，其中，直接采集为从行业应用系统中直接拉取日志信息；被动采集则为行业应用系统主动推送日志信息，具体的采集规则，本领域技术人员可以根据具体的设计需求进行设置，在此不再赘述；另外，解析规则和统计规则为预先为日志信息配置的，并且，解析规则和统计规则可以为自定义规则，解析规则用于对日志信息进行解析处理，获得解析结果，统计规则用于对解析结果进行聚合、统计处理，进而可以获得对日志信息进行分析处理的结果。

S102：通过流处理框架按照解析规则对日志信息进行解析处理，获得日志信息的解析结果，并按照统计规则对解析结果进行统计处理，获得日志信息的统计结果。

其中，流处理框架可以采用storm框架或者spark框架，当采用storm框架或spark框架对日志信息进行分析处理时，首先读取解析规则和统计规则，然后利用storm框架或者spark框架通过解析规则和统计规则对日志信息进行分析处理，进而可以获得日志信息的统计结果，由于流处理框架能够实时、快速、可靠的处理海量数据，从而可以有效地保证统计分析的实时性。

本实施例提供的基于流处理框架的数据处理方法，通过按照采集规则采集日志信息，并利用流处理框架根据解析规则和统计规则对日志信息进行分析处理，可以有效地保证对日志信息处理的实时性，克服了现有技术中存在的实时性较差、降低用户的良好体验性的问题，进而有效地提高了该数据处理方法的实用性，有利于市场的推广与应用。

图2为本发明另一实施例提供的一种基于流处理框架的数据处理方法的流程示意图，参考附图2可知，随着业务的不断深入，不停的会有新的统计分析业务产生，从而不可避免的会对原有的业务逻辑代码进行修改或者开发，以满足统计分析新业务的要求，研发人员在根据业务需求对业务逻辑进行处理时，使得业务逻辑发生变化，导致统计分析的实现代码也发生变化，此时则需要研发人员重新开发，为了避免上述情况的产生，在按照预设的采集规则采集日志信息之前，将方法设置为还包括：

S001：采用面向方面编程Spring AOP技术获取数据参数信息和方法参数信息；

其中，数据参数信息为与日志信息相对应的数据信息，方法参数信息为对日志信息进行分析处理的方法、规则等相对应的业务逻辑代码信息；另外，采用的Spring AOP技术可以适用于一切基于Java的spring框架开发的应用系统，进而提高了该数据处理方法的适用范围。

S002：将方法参数信息转化为字符串信息，并拦截字符串信息；

对于具体将方法参数信息转换为字符串信息的实现过程不做限定，本领域技术人员可以根据具体的设计需求进行设置，例如，可以通过软件编程实现或者通过预设的处理器对方法参数信息进行处理获得，在获得字符串信息之后，为了防止开发人员在对业务逻辑代码进行修改或者开发时，对原有的业务逻辑代码产生侵入情况。

S003：根据数据参数信息生成日志信息。

通过上述将方法参数信息转化为字符串信息，并拦截字符串信息，然后根据数据参数信息生成日志信息，有效地实现了在通过面向方面编程Spring AOP技术保证对业务逻辑代码无侵入情况下生成日志信息，不需要修改业务逻辑代码，减少对现有应用系统的大规模改造，最大限度的减少了工作量，业务逻辑的变化对统计分析构件不影响，不需修改统计分析的代码而只需要通过配置即可满足新业务的要求，使得该数据处理方法更具备推广性，进一步降低了生产研发成本，同时也提高了该数据处理方法的实用性，有利于市场的推广与应用。

图3为本发明又一实施例提供的一种基于流处理框架的数据处理方法的流程示意图，参考附图3可知，本实施例对于具体按照预设的采集规则采集日志信息的具体实现过程不做限定，其中，较为优选的，将按照预设的采集规则采集日志信息，设置为具体包括：

S1011：采集规则包括存储日志信息的目标主机和采集路径；

其中，目标主机用于存储日志信息，日志信息可以存储于目标主机的存储器中，采集路径用于与目标主机建立通信连接，以从目标主机上采集日志信息。

S1012：按照采集路径、并通过预先设置在目标主机上的采集节点agent采集日志信息。

采集节点agent为预先设置于目标主机上的，其中，在具体应用时，可以在每个主机上设置一采集节点，用于采集该主机上的日志信息，当确定需要获取目标主机上的日志信息时，则通过设置于目标主机上的agent采集相对应的日志信息，可以有效地保证日志信息获取的稳定可靠性，进而提高了该数据处理方法使用的稳定可靠性。

当然的，除了将日志信息存储于目标主机上，还可以将日志信息存储在预设的消息中间件(或消息采集工具)上，此时，日志信息则可以通过该消息中间件直接发送至流处理框架中，以实现通过流处理框架对日志信息进行分析处理。

图4为本发明再一实施例提供的一种基于流处理框架的数据处理方法的流程示意图，参考附图4可知，为了保证统计结果查阅以及调用的方便快捷性，在获得日志信息的统计结果之后，将方法设置为还包括：

S201：将统计结果存储至关系型数据库DB；

将统计结果存储至关系型数据库DB中，可以有效地保证统计结果存储的稳定可靠性。

S202：获取用户输入的结果展示请求，结果展示请求中包括日志信息标识；

结果展示请求为用户需要查看日志信息的统计结果的请求信息，该结果展示请求信息中包括日志信息标识，以查找到相对应的日志信息的统计结果。

S203：根据结果展示请求在DB中查找与日志信息标识相对应的统计结果，并展示统计结果。

由于统计结果存储在DB中，因此，可以根据日志信息标识查找到相对应的日志信息的统计结果，待查找到相应的统计结果后，可以通过预设的显示模块(显示屏、智能终端等)显示统计结果，以方便用户可以直观查阅该统计结果。

通过将统计结果存储在关系型数据库DB中，并在接收到用户输入的结果展示请求时，通过在DB中查找相应的日志信息的统计结果，并展示所查找到的统计结果，有效地保证了统计结果存储的稳定可靠性，并且方便向用户展示统计结果，进一步提高了该数据处理方法的实用性，有利于市场的推广与应用。

图5为本发明又一实施例提供的一种基于流处理框架的数据处理方法的流程示意图；参考附图5可知，在采集日志信息时，为了提高对日志信息的处理效率，可以将方法设置为还包括：

S301：获取流处理框架的数据处理能力；

其中，获取数据处理能够的具体实现方式不做限定，本领域技术人员可以根据具体的设计需求进行设置，在此不再赘述；另外，该数据处理能力可以实时获取，也可以按照预设的周期获取，只要能够及时有效地了解流处理框架的处理能力即可，在此不再赘述。

S302：若数据处理能力小于预设的数据处理阈值，则按照预设的采集规则主动采集日志信息。

在获取数据处理能力之后，将数据处理能力与预设的数据处理阈值进行比较，若数据处理能力小于数据处理阈值，则说明此时的流数据框架的数据处理压力较小，进而，此时则可以按照预设的采集规则主动采集日志信息，以提高对日志信息的处理效率；若数据处理能力大于数据处理阈值，则说明此时的流数据框架的数据处理压力较大，此时，为了保证数据处理效率，可以按照预设的周期获取日志信息。

通过获取流数据框架的数据处理能力，根据数据处理能力来采用不同的策略获取日志信息，有效地提高了对日志信息进行数据处理的效率，进而提高了该数据处理方法使用的稳定可靠性，进一步保证了用户的良好体验性。

图6为本发明一实施例提供的一种基于流处理框架的数据处理装置的结构示意图，参考附图6可知，本实施例提供了一种基于流处理框架的数据处理装置，包括：

获取模块1，用于按照预设的采集规则采集日志信息，并获取预先配置的与日志信息相对应的解析规则和统计规则；

其中，对于获取模块1的具体形状结构不做限定，本领域技术人员可以根据具体的设计需求进行设置，只要能够实现上述技术效果即可，在此不再赘述，另外，本实施例中获取模块1所实现操作步骤的具体实现过程以及实现效果与上述实施例中步骤S101的具体实现过程以及实现效果相同，具体可参考上述陈述内容，在此不再赘述。

处理模块2，用于通过流处理框架按照解析规则对日志信息进行解析处理，获得日志信息的解析结果，并按照统计规则对解析结果进行统计处理，获得日志信息的统计结果。

其中，对于处理模块2的具体形状结构不做限定，本领域技术人员可以根据具体的设计需求进行设置，只要能够实现上述技术效果即可，在此不再赘述，另外，本实施例中处理模块2所实现操作步骤的具体实现过程以及实现效果与上述实施例中步骤S102的具体实现过程以及实现效果相同，具体可参考上述陈述内容，在此不再赘述。

本实施例提供的基于流处理框架的数据处理装置，通过获取模块1按照采集规则采集日志信息，并通过处理模块2利用流处理框架根据解析规则和统计规则对日志信息进行分析处理，可以有效地保证对日志信息处理的实时性，克服了现有技术中存在的实时性较差、降低用户的良好体验性的问题，进而有效地提高了该数据处理装置的实用性，有利于市场的推广与应用。

在上述实施例的基础上，继续参考附图6可知，随着业务的不断深入，不停的会有新的统计分析业务产生，从而不可避免的会对原有的业务逻辑代码进行修改或者开发，以满足统计分析新业务的要求，研发人员在根据业务需求对业务逻辑进行处理时，使得业务逻辑发生变化，导致统计分析的实现代码也发生变化，此时则需要研发人员重新开发，为了避免上述情况的产生，将数据处理装置设置为还可以实现下述功能：

获取模块1，还用于在按照预设的采集规则采集日志信息之前，采用面向方面编程Spring AOP技术获取数据参数信息和方法参数信息；

本实施例中获取模块1所实现操作步骤的具体实现过程以及实现效果与上述实施例中步骤S001的具体实现过程以及实现效果相同，具体可参考上述陈述内容，在此不再赘述。

数据处理装置还包括：

拦截模块3，用于将方法参数信息转化为字符串信息，并拦截字符串信息；

其中，对于拦截模块3的具体形状结构不做限定，本领域技术人员可以根据具体的设计需求进行设置，只要能够实现上述技术效果即可，在此不再赘述，另外，本实施例中拦截模块3所实现操作步骤的具体实现过程以及实现效果与上述实施例中步骤S002的具体实现过程以及实现效果相同，具体可参考上述陈述内容，在此不再赘述。

生成模块4，用于根据数据参数信息生成日志信息。

其中，对于生成模块4的具体形状结构不做限定，本领域技术人员可以根据具体的设计需求进行设置，只要能够实现上述技术效果即可，在此不再赘述，另外，本实施例中生成模块4所实现操作步骤的具体实现过程以及实现效果与上述实施例中步骤S003的具体实现过程以及实现效果相同，具体可参考上述陈述内容，在此不再赘述。

拦截模块3通过上述将方法参数信息转化为字符串信息，并拦截字符串信息，然后生成模块4根据数据参数信息生成日志信息，有效地实现了在通过面向方面编程SpringAOP技术保证对业务逻辑代码无侵入情况下生成日志信息，不需要修改业务逻辑代码，减少对现有应用系统的大规模改造，最大限度的减少了工作量，业务逻辑的变化对统计分析构件不影响，不需修改统计分析的代码而只需要通过配置即可满足新业务的要求，使得该数据处理装置更具备推广性，进一步降低了生产研发成本，同时也提高了该数据处理装置的实用性，有利于市场的推广与应用。

在上述实施例的基础上，继续参考附图6可知，本实施例对于获取模块1具体按照预设的采集规则采集日志信息的具体实现过程不做限定，其中，较为优选的，将获取模块1设置为具体用于：

采集规则包括存储日志信息的目标主机和采集路径；

按照采集路径、并通过预先设置在目标主机上的采集节点agent采集日志信息。

本实施例中获取模块1所实现操作步骤的具体实现过程以及实现效果与上述实施例中步骤S1011-S1012的具体实现过程以及实现效果相同，具体可参考上述陈述内容，在此不再赘述。

在上述实施例的基础上，继续参考附图6可知，为了保证统计结果查阅以及调用的方便快捷性，将数据处理装置设置为还包括：

存储模块5，用于在获得日志信息的统计结果之后，将统计结果存储至关系型数据库DB；

其中，对于存储模块5的具体形状结构不做限定，本领域技术人员可以根据具体的设计需求进行设置，只要能够实现上述技术效果即可，在此不再赘述，另外，本实施例中存储模块5所实现操作步骤的具体实现过程以及实现效果与上述实施例中步骤S201的具体实现过程以及实现效果相同，具体可参考上述陈述内容，在此不再赘述。

获取模块1，还用于获取用户输入的结果展示请求，结果展示请求中包括日志信息标识；

本实施例中获取模块1所实现操作步骤的具体实现过程以及实现效果与上述实施例中步骤S202的具体实现过程以及实现效果相同，具体可参考上述陈述内容，在此不再赘述。

展示模块6，用于根据结果展示请求在DB中查找与日志信息标识相对应的统计结果，并展示统计结果。

其中，对于展示模块6的具体形状结构不做限定，本领域技术人员可以根据具体的设计需求进行设置，例如，可以将展示模块6设置为显示屏、智能终端等等，另外，本实施例中展示模块6所实现操作步骤的具体实现过程以及实现效果与上述实施例中步骤S203的具体实现过程以及实现效果相同，具体可参考上述陈述内容，在此不再赘述。

通过存储模块5将统计结果存储在关系型数据库DB中，并在接收到用户输入的结果展示请求时，通过获取模块1在DB中查找相应的日志信息的统计结果，并通过展示模块6展示所查找到的统计结果，有效地保证了统计结果存储的稳定可靠性，并且方便向用户展示统计结果，进一步提高了该数据处理装置的实用性，有利于市场的推广与应用。

在上述实施例的基础上，继续参考附图6可知，在采集日志信息时，为了提高对日志信息的处理效率，将获取模块1设置为还用于：

获取流处理框架的数据处理能力；

若数据处理能力小于预设的数据处理阈值，则按照预设的采集规则主动采集日志信息。

本实施例中获取模块1所实现操作步骤的具体实现过程以及实现效果与上述实施例中步骤S301-S302的具体实现过程以及实现效果相同，具体可参考上述陈述内容，在此不再赘述。

通过获取模块1获取流数据框架的数据处理能力，根据数据处理能力来采用不同的策略获取日志信息，有效地提高了对日志信息进行数据处理的效率，进而提高了该数据处理装置使用的稳定可靠性，进一步保证了用户的良好体验性。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种基于流处理框架的数据处理方法，其特征在于，包括：

按照预设的采集规则采集日志信息，并获取预先配置的与所述日志信息相对应的解析规则和统计规则；

通过流处理框架按照所述解析规则对所述日志信息进行解析处理，获得所述日志信息的解析结果，并按照所述统计规则对所述解析结果进行统计处理，获得所述日志信息的统计结果。

2.根据权利要求1所述的基于流处理框架的数据处理方法，其特征在于，在所述按照预设的采集规则采集日志信息之前，所述方法还包括：

采用面向方面编程Spring AOP技术获取数据参数信息和方法参数信息；

将所述方法参数信息转化为字符串信息，并拦截所述字符串信息；

根据所述数据参数信息生成所述日志信息。

3.根据权利要求1所述的基于流处理框架的数据处理方法，其特征在于，所述按照预设的采集规则采集日志信息，具体包括：

所述采集规则包括存储所述日志信息的目标主机和采集路径；

按照所述采集路径、并通过预先设置在所述目标主机上的采集节点agent采集所述日志信息。

4.根据权利要求1所述的基于流处理框架的数据处理方法，其特征在于，在获得所述日志信息的统计结果之后，所述方法还包括：

将所述统计结果存储至关系型数据库DB；

获取用户输入的结果展示请求，所述结果展示请求中包括日志信息标识；

根据所述结果展示请求在所述DB中查找与所述日志信息标识相对应的统计结果，并展示所述统计结果。

5.根据权利要求1-4中任意一项所述的基于流处理框架的数据处理方法，其特征在于，所述方法还包括：

获取所述流处理框架的数据处理能力；

若所述数据处理能力小于预设的数据处理阈值，则按照预设的采集规则主动采集所述日志信息。

6.一种基于流处理框架的数据处理装置，其特征在于，包括：

获取模块，用于按照预设的采集规则采集日志信息，并获取预先配置的与所述日志信息相对应的解析规则和统计规则；

处理模块，用于通过流处理框架按照所述解析规则对所述日志信息进行解析处理，获得所述日志信息的解析结果，并按照所述统计规则对所述解析结果进行统计处理，获得所述日志信息的统计结果。

7.根据权利要求6所述的基于流处理框架的数据处理装置，其特征在于，

所述获取模块，还用于在所述按照预设的采集规则采集日志信息之前，采用面向方面编程Spring AOP技术获取数据参数信息和方法参数信息；

所述数据处理装置还包括：

拦截模块，用于将所述方法参数信息转化为字符串信息，并拦截所述字符串信息；

生成模块，用于根据所述数据参数信息生成所述日志信息。

8.根据权利要求6所述的基于流处理框架的数据处理装置，其特征在于，所述获取模块，具体用于：

所述采集规则包括存储所述日志信息的目标主机和采集路径；

按照所述采集路径、并通过预先设置在所述目标主机上的采集节点agent采集所述日志信息。

9.根据权利要求6所述的基于流处理框架的数据处理装置，其特征在于，所述数据处理装置还包括：

存储模块，用于在获得所述日志信息的统计结果之后，将所述统计结果存储至关系型数据库DB；

所述获取模块，还用于获取用户输入的结果展示请求，所述结果展示请求中包括日志信息标识；

展示模块，用于根据所述结果展示请求在所述DB中查找与所述日志信息标识相对应的统计结果，并展示所述统计结果。

10.根据权利要求6-9中任意一项所述的基于流处理框架的数据处理装置，其特征在于，所述获取模块，还用于：

获取所述流处理框架的数据处理能力；

若所述数据处理能力小于预设的数据处理阈值，则按照预设的采集规则主动采集所述日志信息。