CN109241112A - 一种数据处理方法及装置 - Google Patents

Abstract

本发明提供了一种数据处理方法及装置。所述方法包括：采用计算引擎对目标数据进行一次处理，获取对应的第一处理结果；将所述第一处理结果保存至预置数据存储服务器中；应用服务器从所述预置数据存储服务器中获取所述第一处理结果；所述应用服务器按照预置规则对所述第一处理结果进行二次处理，以得到二次处理结果。本发明能够避免直接将第一处理结果保存出搜索服务中，从而能够对第一处理结果进行二次处理，并且，避免了大量数据写入ElasticSearch而影响Spark的计算效率的问题，提高了数据处理速度。

Description

一种数据处理方法及装置

技术领域

本发明涉及互联网技术领域，特别是涉及一种数据处理方法及装置。

背景技术

目前大多企业中存在很多对于用户行为分析的实现，其中有部分用户行为分析方案只解决了对于用户行为分析后的结果的展示，并没有对计算结果以及原始用户行为结合后的结果进行分析，比如Spark与Hadoop集成将Spark分析后的结果保存到(分布式文件系统hdfs，Hadoop Distributed File System)中，还有一部分实现了Spark与ElasticSearch(搜索服务器)的集成来实现日志的分析。

上述方案中，Spark分析后的结果保存到hdfs中不能直接进行二次计算分析，有的场景可能会对计算分析结果再次进行计算分析，并且，Spark分析后的结果直接保存到ElasticSearch中的性能问题，ElasticSearch写入效率相对较低，在大数据量写入的情况下会占用较多服务器资源，可能由于数据写入ElasticSearch而影响Spark的计算效率。

发明内容

本发明实施例提供一种数据处理方法及装置，以解决现有技术方案中Spark分析后的结果保存到hdfs中不能直接进行二次计算分析，并且，在大数据量写入的情况下会占用较多服务器资源，由于数据写入ElasticSearch而影响Spark的计算效率的问题。

为了解决上述技术问题，本发明是这样实现的：

第一方面，本发明实施例公开了一种数据处理方法，包括：采用计算引擎对目标数据进行一次处理，获取对应的第一处理结果；将所述第一处理结果保存至预置数据存储服务器中；应用服务器从所述预置数据存储服务器中获取所述第一处理结果；所述应用服务器按照预置规则对所述第一处理结果进行二次处理，以得到二次处理结果。

优选地，在所述采用计算引擎对目标数据进行一次处理，获取对应的第一处理结果的步骤之前，还包括：获取待处理的目标数据。

优选地，所述预置数据存储服务器中预先保存有策略配置信息，所述应用服务器从所述预置数据存储服务器中获取所述第一处理结果的步骤，包括：所述应用服务器从所述预置数据存储服务器中获取所述第一处理结果及所述策略配置信息；所述应用服务器按照预置规则对所述第一处理结果进行二次处理，以得到二次处理结果的步骤，包括：所述应用服务器按照所述策略配置信息对所述第一处理结果进行二次处理，以得到所述二次处理结果。

优选地，在所述应用服务器按照预置规则对所述第一处理结果进行二次处理，以得到二次处理结果的步骤之后，还包括：所述应用服务器将所述第二处理结果写入搜索服务器中。

优选地，在由述应用服务器将所述第二处理结果写入搜索服务器中的步骤之后，还包括：所述搜索服务器对所述第二处理结果执行聚合过滤处理；展示所述聚合过滤处理结果。

第二方面，本发明实施例还公开了一种数据处理装置，包括：一次处理模块，用于采用计算引擎对目标数据进行一次处理，获取对应的第一处理结果；第一结果保存模块，用于将所述第一处理结果保存至预置数据存储服务器中；第一结果获取模块，用于应用服务器从所述预置数据存储服务器中获取所述第一处理结果；二次处理模块，用于所述应用服务器按照预置规则对所述第一处理结果进行二次处理，以得到二次处理结果。

优选地，还包括：目标数据获取模块，用于获取待处理的目标数据。

优选地，所述预置数据存储服务器中预先保存有策略配置信息，所述第一结果获取模块包括：第一结果及策略获取子模块，用于所述应用服务器从所述预置数据存储服务器中获取所述第一处理结果及所述策略配置信息；所述二次处理模块包括：二次处理子模块，用于所述应用服务器按照所述策略配置信息对所述第一处理结果进行二次处理，以得到所述二次处理结果。

优选地，还包括：写入模块，用于所述应用服务器将所述第二处理结果写入搜索服务器中。

优选地，还包括：聚合过滤模块，用于所述搜索服务器对所述第二处理结果执行聚合过滤处理；展示模块，用于展示所述聚合过滤处理结果。

在本发明实施例中，通过采用计算引擎对目标数据进行一次处理，获取对应的第一处理结果，将第一处理结果保存至预置数据存储服务器中，应用服务器从预置数据存储服务器中获取所述第一处理结果，进而由应用服务器按照预置规则对第一处理结果进行二次处理，得到二次处理结果，通过预置数据存储服务器保存第一处理结果，避免了直接将第一处理结果保存出搜索服务中，从而能够对第一处理结果进行二次处理，并且，避免了大量数据写入ElasticSearch而影响Spark的计算效率的问题，提高了数据处理速度。

附图说明

图1是本发明实施例提供的一种数据处理方法的步骤流程图；

图2是本发明实施例提供的一种数据处理装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

参照图1，示出了本发明实施例提供的一种数据处理方法的步骤流程图，该数据处理方法具体可以包括如下步骤：

步骤101：采用计算引擎对目标数据进行一次处理，获取对应的第一处理结果。

本发明实施例可以应用于Spark+Hadoop系统中。

在系统中可以预先设置计算引擎，以针对系统获取的用户的目标数据进行计算等相关处理。计算引擎可以为Spark自带的计算引擎，也可以为其它计算引擎，本发明实施例对此不加以限制。

在本发明中，在采用计算引擎对获取的目标数据进行处理之前，还可以预先有Spark系统获取用户的数据，具体地，以下述优选实施例进行详细描述。

在本发明的一种优选实施例中，在上述步骤101之前，还可以包括：

步骤S：获取待处理的目标数据。

在本发明实施例中，可以从常用的数据存储插件或服务器中获取用户行为日志信息，以将用户的行为日志信息作为待处理的目标数据。

当然，在实际应用中，还可以采用其它方式获取待处理的目标数据，例如，由用户写入目标数据对应的代码等等，本发明实施例对此不加以限制。

在获取待处理的目标数据之后，则可以由Spark计算引擎应用系统开始对日志信息进行分析与计算，根据不同的规则、限制条件等分析计算得到相关结果，例如，根据配置的规则计算等到用户1下载涉密文件、用户1拷贝涉密文件到优盘等规则计算结果等等，进而得到第一处理结果。

在获取第一处理结果之后，执行步骤102。

步骤102：将所述第一处理结果保存至预置数据存储服务器中。

在系统中，预先设置有数据存储服务器，预置数据存储服务器可以为Redis数据存储服务器，本发明实施例对此不加以限制。

在Spark系统对目标数据进行处理之后，并不直接将得到的第一处理结果写入搜索服务器中，而是将第一处理结果直接保存到Redis数据存储服务器中，从而保存至Redis数据存储服务器中的第一处理结果可以进行二次处理，并且，避免了直接将第一处理结果写入搜索服务器，在大数据量写入的情况下会占用较多服务器资源，可能由于数据写入ElasticSearch而影响Spark的计算效率的问题。

在将第一处理结果保存至预置数据存储服务器之后，执行步骤103。

步骤103：应用服务器从所述预置数据存储服务器中获取所述第一处理结果。

在系统中，还预先设置有应用服务器，在应用服务器侧可以设置定时器，以根据定时器设置的定时时间来获取存储在预置数据存储服务器中的第一处理结果。例如，定时器设置的定时时间可以为3min，即每隔三分钟，应用服务器从预置数据存储服务器中获取一次第一处理结果等，当然，也可以设置其它定时时间，例如5min、8min等，本发明对此不加以限制。

在本发明的一种优选实施例中，上述步骤103还可以包括：

子步骤N1：所述应用服务器从所述预置数据存储服务器中获取所述第一处理结果及所述策略配置信息。

在本发明实施例中，在预置数据存储服务器中还可以预先保存有对应于处理结果的策略配置信息，该策略配置信息是对处理结果进行处理的相关配置信息，例如，不同的规则、限制条件等配置信息，本发明实施例对此不加以限制。

在应用服务器从预置数据存储服务器中获取第一处理结果之后，执行步骤104。

步骤104：所述应用服务器按照预置规则对所述第一处理结果进行二次处理，以得到二次处理结果。

在本发明实施例中，应用服务器可以根据相关策略信息对第一处理结果进行二次处理，如对第一处理结果进行分析计算等处理，并得出结论用户1行为异常(用户1下载涉密文件不一定能确定行为异常，一般用户都具有查看权限，但当下载与拷贝同时存在时则表示用户行为异常)等。

当然，应用服务器可以从预置数据存储服务器中获取策略配置信息，则上述步骤104可以包括：

子步骤M1：所述应用服务器按照所述策略配置信息对所述第一处理结果进行二次处理，以得到所述二次处理结果。

在本发明实施例中，应用服务器可以从预置数据存储服务器中获取策略配置信息，根据配置的策略配置信息对第一处理结果进行分析处理，例如，对第一处理结果进行push/pop、add/remove及取交集并集和差集等操作，对于具体的处理方式及过程，本发明不加以限制。

在应用服务器按照策略配置信息对第一处理结果进行二次处理之后，可以得到对应的二次处理结果。

在本发明的另一种优选实施例中，在上述步骤104之后，还可以包括：

步骤P：所述应用服务器将所述第二处理结果写入搜索服务器中。

在本发明实施例中，搜索服务器可以为ElasticSearch搜索服务器，ElasticSearch是一个基于Lucene的搜索服务器。

在应用服务器对第一处理结果进行二次处理得到第二处理结果之后，可以将第二处理结果写入搜索服务器中，具体地写入过程可以参照现有技术方案中常用的写入方式，本发明实施例对此不加以限制。

在本发明的另一种优选实施例中，在上述步骤P之后，还可以包括：

步骤H1：所述搜索服务器对所述第二处理结果执行聚合过滤处理；

步骤H2：展示所述聚合过滤处理结果。

在本发明实施例中，在将第二处理结果存储之搜索服务器之后，通搜索的搜索、聚合、过滤等操作实现不同行为分析报表的展示，可以是管理员能准确及时的发现某些用户的异常行为。

在本发明中，Spark系统对目标数据进行一次处理之后的处理结果并不直接写入搜索服务器中，而是通过预置数据存储服务器进行保存，从而避免了在大量数据写入ElasticSearch而影响Spark的计算效率的问题，并且，保存在预置数据存储服务器可以进行二次处理。

本发明实施例提供的数据处理方法，通过采用计算引擎对目标数据进行一次处理，获取对应的第一处理结果，将第一处理结果保存至预置数据存储服务器中，应用服务器从预置数据存储服务器中获取所述第一处理结果，进而由应用服务器按照预置规则对第一处理结果进行二次处理，得到二次处理结果，通过预置数据存储服务器保存第一处理结果，避免了直接将第一处理结果保存出搜索服务器中，从而能够对第一处理结果进行二次处理，并且，避免了大量数据写入ElasticSearch而影响Spark的计算效率的问题，提高了数据处理速度。

实施例二

参照图2，示出了本发明实施例提供的一种数据处理装置的结构示意图，具体可以包括：

一次处理模块210，用于采用计算引擎对目标数据进行一次处理，获取对应的第一处理结果；第一结果保存模块220，用于将所述第一处理结果保存至预置数据存储服务器中；第一结果获取模块230，用于应用服务器从所述预置数据存储服务器中获取所述第一处理结果；二次处理模块240，用于所述应用服务器按照预置规则对所述第一处理结果进行二次处理，以得到二次处理结果。

优选地，还包括：目标数据获取模块，用于获取待处理的目标数据。

优选地，所述预置数据存储服务器中预先保存有策略配置信息，所述第一结果获取模块230包括：第一结果及策略获取子模块，用于所述应用服务器从所述预置数据存储服务器中获取所述第一处理结果及所述策略配置信息；所述二次处理模块240包括：二次处理子模块，用于所述应用服务器按照所述策略配置信息对所述第一处理结果进行二次处理，以得到所述二次处理结果。

优选地，还包括：写入模块，用于所述应用服务器将所述第二处理结果写入搜索服务器中。

优选地，还包括：聚合过滤模块，用于所述搜索服务器对所述第二处理结果执行聚合过滤处理；展示模块，用于展示所述聚合过滤处理结果。

本发明实施例提供的数据处理装置，通过采用计算引擎对目标数据进行一次处理，获取对应的第一处理结果，将第一处理结果保存至预置数据存储服务器中，应用服务器从预置数据存储服务器中获取所述第一处理结果，进而由应用服务器按照预置规则对第一处理结果进行二次处理，得到二次处理结果，通过预置数据存储服务器保存第一处理结果，避免了直接将第一处理结果保存出搜索服务器中，从而能够对第一处理结果进行二次处理，并且，避免了大量数据写入ElasticSearch而影响Spark的计算效率的问题，提高了数据处理速度。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本发明的保护之内。

以上对本发明实施例所提供的一种数据处理方法及装置进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明实施例的限制。

本发明实施例公开了A1、一种数据处理方法，包括：

采用计算引擎对目标数据进行一次处理，获取对应的第一处理结果；

将所述第一处理结果保存至预置数据存储服务器中；

应用服务器从所述预置数据存储服务器中获取所述第一处理结果；

所述应用服务器按照预置规则对所述第一处理结果进行二次处理，以得到二次处理结果。

A2、如A1所述的方法，在所述采用计算引擎对目标数据进行一次处理，获取对应的第一处理结果的步骤之前，还包括：

获取待处理的目标数据。

A3、如A1所述的方法，所述预置数据存储服务器中预先保存有策略配置信息，所述应用服务器从所述预置数据存储服务器中获取所述第一处理结果的步骤，包括：

所述应用服务器从所述预置数据存储服务器中获取所述第一处理结果及所述策略配置信息；

所述应用服务器按照预置规则对所述第一处理结果进行二次处理，以得到二次处理结果的步骤，包括：

所述应用服务器按照所述策略配置信息对所述第一处理结果进行二次处理，以得到所述二次处理结果。

A4、如A1所述的方法，在所述应用服务器按照预置规则对所述第一处理结果进行二次处理，以得到二次处理结果的步骤之后，还包括：

所述应用服务器将所述第二处理结果写入搜索服务器中。

A5、如A4所述的方法，在由述应用服务器将所述第二处理结果写入搜索服务器中的步骤之后，还包括：

所述搜索服务器对所述第二处理结果执行聚合过滤处理；

展示所述聚合过滤处理结果。

本发明实施例还公开了B11、一种数据处理装置，包括：

一次处理模块，用于采用计算引擎对目标数据进行一次处理，获取对应的第一处理结果；

第一结果保存模块，用于将所述第一处理结果保存至预置数据存储服务器中；

第一结果获取模块，用于应用服务器从所述预置数据存储服务器中获取所述第一处理结果；

二次处理模块，用于所述应用服务器按照预置规则对所述第一处理结果进行二次处理，以得到二次处理结果。

B12、如B11所述的装置，还包括：

目标数据获取模块，用于获取待处理的目标数据。

B13、如B11所述的装置，所述预置数据存储服务器中预先保存有策略配置信息，所述第一结果获取模块包括：

第一结果及策略获取子模块，用于所述应用服务器从所述预置数据存储服务器中获取所述第一处理结果及所述策略配置信息；

所述二次处理模块包括：

二次处理子模块，用于所述应用服务器按照所述策略配置信息对所述第一处理结果进行二次处理，以得到所述二次处理结果。

B14、如B11所述的装置，还包括：

写入模块，用于所述应用服务器将所述第二处理结果写入搜索服务器中。

B15、如B14所述的装置，还包括：

聚合过滤模块，用于所述搜索服务器对所述第二处理结果执行聚合过滤处理；

展示模块，用于展示所述聚合过滤处理结果。

Claims (10)

1.一种数据处理方法，其特征在于，包括：

采用计算引擎对目标数据进行一次处理，获取对应的第一处理结果；

将所述第一处理结果保存至预置数据存储服务器中；

应用服务器从所述预置数据存储服务器中获取所述第一处理结果；

所述应用服务器按照预置规则对所述第一处理结果进行二次处理，以得到二次处理结果。

2.根据权利要求1所述的方法，其特征在于，在所述采用计算引擎对目标数据进行一次处理，获取对应的第一处理结果的步骤之前，还包括：

获取待处理的目标数据。

3.根据权利要求1所述的方法，其特征在于，所述预置数据存储服务器中预先保存有策略配置信息，所述应用服务器从所述预置数据存储服务器中获取所述第一处理结果的步骤，包括：

所述应用服务器从所述预置数据存储服务器中获取所述第一处理结果及所述策略配置信息；

所述应用服务器按照预置规则对所述第一处理结果进行二次处理，以得到二次处理结果的步骤，包括：

所述应用服务器按照所述策略配置信息对所述第一处理结果进行二次处理，以得到所述二次处理结果。

4.根据权利要求1所述的方法，其特征在于，在所述应用服务器按照预置规则对所述第一处理结果进行二次处理，以得到二次处理结果的步骤之后，还包括：

所述应用服务器将所述第二处理结果写入搜索服务器中。

5.根据权利要求4所述的方法，其特征在于，在由述应用服务器将所述第二处理结果写入搜索服务器中的步骤之后，还包括：

所述搜索服务器对所述第二处理结果执行聚合过滤处理；

展示所述聚合过滤处理结果。

6.一种数据处理装置，其特征在于，包括：

一次处理模块，用于采用计算引擎对目标数据进行一次处理，获取对应的第一处理结果；

第一结果保存模块，用于将所述第一处理结果保存至预置数据存储服务器中；

第一结果获取模块，用于应用服务器从所述预置数据存储服务器中获取所述第一处理结果；

二次处理模块，用于所述应用服务器按照预置规则对所述第一处理结果进行二次处理，以得到二次处理结果。

7.根据权利要求6所述的装置，其特征在于，还包括：

目标数据获取模块，用于获取待处理的目标数据。

8.根据权利要求6所述的装置，其特征在于，所述预置数据存储服务器中预先保存有策略配置信息，所述第一结果获取模块包括：

第一结果及策略获取子模块，用于所述应用服务器从所述预置数据存储服务器中获取所述第一处理结果及所述策略配置信息；

所述二次处理模块包括：

二次处理子模块，用于所述应用服务器按照所述策略配置信息对所述第一处理结果进行二次处理，以得到所述二次处理结果。

9.根据权利要求6所述的装置，其特征在于，还包括：

写入模块，用于所述应用服务器将所述第二处理结果写入搜索服务器中。

10.根据权利要求9所述的装置，其特征在于，还包括：

聚合过滤模块，用于所述搜索服务器对所述第二处理结果执行聚合过滤处理；

展示模块，用于展示所述聚合过滤处理结果。