CN106202235B - 一种数据处理方法及装置 - Google Patents

Abstract

本申请公开了一种数据处理方法，用以解决现有技术由于需要编写不同的处理脚本来处理不同格式日志中的数据，而造成数据处理的不便问题。方法包括：获取针对应用中各功能模块记录的日志；根据预先设置的配置信息，将获取到的各日志转换为统一格式的日志；从转换后的日志中提取待处理数据，并将提取出的待处理数据写入哈希表；按照预设周期从所述哈希表中获取本周期内写入所述哈希表中的数据；根据预先设定的各处理类型标识与预存的各处理脚本的对应关系，采用与获取到的数据中包含的处理类型标识对应的处理脚本，处理获取到的数据。本申请还公开了一种数据处理装置。

Description

一种数据处理方法及装置

技术领域

本申请涉及计算机技术领域，尤其涉及一种数据处理方法及装置。

背景技术

一般地，一个WEB应用往往是由多个用于完成不同任务的功能模块组成，各功能模块可能通过不同的应用程序编程接口(Application Programming Interface，API)从服务器调用不同的数据进行运行，以实现该WEB应用的不同功能。目前，往往可以统计WEB应用在运行时通过API调用的数据，根据统计结果，以确定该WEB应用的运行状况。

而WEB应用在运行时通过API调用的数据往往是记录在日志中的，由于WEB应用中不同功能模块在进行数据调用时，所使用的API往往是不同的，因而在运行时，针对WEB应用中各个功能模块所记录的日志的格式往往也是不同的。为了可以对从不同格式的日志中获得的调用数据进行统计，往往需要针对不同格式的日志分别编写不同的统计脚本。

例如，可能会通过分别对日志A中记录的数据以及日志B中记录的数据分别进行统计，以根据统计结果确定某WEB应用的工作状况，且对日志A中数据以及日志B中数据的统计方式均为求平均值，其中，日志A中需要进行统计的数据保存在日志A的第一字段，而日志B中需要进行统计的数据保存在日志B的第二字段，由于日志A与日志B的格式并不相同，因而在进行统计时，需要针对日志A以及日志B分别编写不同的统计脚本。

可见，由于对数据进行统计时，统计脚本的通用性较差，因而针对不同格式的日志均需要编写不同的统计脚本，不利于对数据的统计，同时这些统计脚本将占用大量的存储空间。

发明内容

本申请实施例提供一种数据处理方法及装置，用以解决现有技术由于需要编写不同的处理脚本来处理不同格式日志中的数据，而造成数据处理的不便问题。

本申请实施例采用下述技术方案：

一种数据处理方法，包括：

获取针对应用中各功能模块记录的日志；

根据预先设置的配置信息，将获取到的各日志转换为统一格式的日志；

从转换后的日志中提取待处理数据，并将提取出的待处理数据写入哈希表；

按照预设周期从所述哈希表中获取本周期内写入所述哈希表中的数据；

根据预先设定的各处理类型标识与预存的各处理脚本的对应关系，采用与获取到的数据中包含的处理类型标识对应的处理脚本，处理获取到的数据。

一种数据处理方法，其特征在于，包括：

日志获取单元，用于获取针对应用中各功能模块记录的日志；

格式转换单元，用于根据预先设置的配置信息，将获取到的各日志转换为统一格式的日志；

日志处理单元，用于从所述格式转换单元转换后的日志中提取待处理数据，并将提取出的待处理数据写入哈希表；

数据获取单元，用于按照预设周期从所述哈希表中获取本周期内写入所述哈希表中的数据；

数据处理单元，用于根据预先设定的各处理类型标识与预存的各处理脚本的对应关系，采用与获取到的数据中包含的处理类型标识对应的处理脚本，处理获取到的数据。

本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：

由于可以根据预先设置的配置信息，对获取到的针对应用中各功能模块记录的日志进行格式转换，将获取的各日志转换为统一格式的日志，并从转换后的日志中提取待处理数据写入哈希表，在进行数据处理时，可以按照预设周期从哈希表中获取本周期内写入所述哈希表中的数据，并按照预先设定的各处理类型标识与预存的各处理脚本的对应关系，采用与获取到的数据中包含的处理类型标识对应的处理脚本，处理获取到的数据，在这种情况下，待处理数据是从统一格式的日志中提取出的，因而不管待处理数据是从什么日志中提取到的，只要待处理数据的处理类型标识相同，则均可以使用相同的处理脚本进行处理，从而不需要针对不同格式的日志编写不同的处理脚本，便于对数据的处理，同时由于减少了处理脚本的数量，从而减少了存储空间的使用率。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例提供的一种数据处理方法的具体实现流程示意图；

图2为本申请实施例提供的一种格式的日志的结构示意图；

图3为本申请实施例提供的另一种格式的日志的结构示意图；

图4为本申请实施例提供的一种统一格式的日志的结构示意图；

图5为本申请实施例提供的另一种统一格式的日志的结构示意图；

图6为本申请实施例提供的一种待处理数据中包括的子数据的结构示意图；

图7为本申请实施例提供的一种数据处理方法的具体实现流程示意图；

图8为本申请实施例提供的一种数据处理装置的具体结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

以下结合附图，详细说明本申请各实施例提供的技术方案。

本申请实施例提供的数据处理方法的执行主体可以是服务器，例如，WEB应用的服务器、微博网站的服务器以及社交平台的服务器，等等。所述的执行主体并不构成对本申请的限定，为了便于描述，本申请实施例均以执行主体是WEB应用的服务器为例进行说明。

本申请实施例提供了一种数据处理方法，用以解决现有技术由于需要编写不同的处理脚本来处理不同格式日志中的数据，而造成数据处理的不便问题。该方法的具体实现流程示意图如图1所示，可以包括下述步骤：

步骤11，获取针对应用中各功能模块记录的日志；

以WEB应用为例，一个WEB应用可能包括多个用于实现不同服务的功能模块，这些不同的功能模块可能通过不同的API从服务器调用不同的数据进行运行，以实现该WEB应用的不同功能。在WEB应用运行时，各功能模块的数据调用情况均可以被记录在日志中。

需要说明的是，可以按照预设的时间周期，定期获取在该时间周期内针对各功能模块记录的日志；或者每当WEB应用服务器记录了一条针对功能模块的日志时，便可以对该条日志进行获取。为了可以保证对日志中数据处理的实时性，本申请实施例中一般每当WEB应用服务器记录了一条日志时，便对该条日志进行获取。

还需要说明的是，针对各功能模块记录的日志，可以记录在同一份日志中；或者，可以针对各功能模块分别记录的不同的日志。

步骤12，根据预先设置的配置信息，将获取到的各日志转换为统一格式的日志；

其中，所述预先设置的配置信息，可以包括预先设置的JSON(JavaScript ObjectNotation，JavaScript对象符号)格式的配置信息。

所述预先设置的配置信息即为用户所期望生成日志的标准格式规范，则根据所述预先设置的配置信息，可以将获取到的各日志按照配置信息中的日志的标准格式规范进行格式转换，以达到将获取到的各日志转换为统一格式的日志的目的。

所述统一格式的日志可以包括：用于表示所述统一格式的日志版本的字段、用于表示日志记录时间的字段、用于表示所述各功能模块所调用的应用程序编程接口API信息的字段、用于表示日志文本描述信息的字段、用于表示待处理数据的字段。

其中，所述用于表示待处理数据的字段由至少一个子数据字段组成，所述子数据字段包括处理类型标识以及待处理数据。

例如，假设通过执行步骤11，获取到的了日志A以及日志B这两条日志，其中，日志A的格式如图2所示，日志B的格式如图3所示，这两条日志均由六个字段的数据组成，其中，DATA表示日志中记录的数据，REQUEST TIME表示请求调用的时间，URL表示请求调用API的访问地址，SOURCEID表示请求调用API所部署服务器的ID，MASTEREID表示请求调用API的ID，TEXTLOG表示文本描述日志，除了日志中记录的数据DATA外，该日志中记录的其他信息，均可以称为该日志的属性信息。日志A与日志B中所记录的字段类型均相同，但是日志A与日志B中各字段的排列方式不同，则通过执行步骤12，根据预先设置的配置信息，可以将日志A的格式转换为如图4所示，而将日志B的格式转换为如图5所示，以使得格式转换后，日志A与日志B中各字段的排列方式相同，成为统一格式的日志。

需要说明的是，除了上述转换方式外，还可以将预先设置的配置信息保存在WEB应用的各功能模块上，以使得在记录针对各功能模块的日志时，即可根据保存在功能模块上的配置信息，将日志记录为统一格式的日志，则在这种情况下，通过执行步骤11获取到的日志即为统一格式的日志，从而不需要在进行格式转换。

还需要说明的是，为了可以按照获取日志的先后顺序，对转换后的日志进行后续处理，在一种实施方式中，可以根据日志获取的先后顺序，将转换后的日志添加到消息队列中。

步骤13，从转换后的日志中提取待处理数据，并将提取出的待处理数据写入哈希表；

由于通过执行步骤12，将所述转换后的日志添加到了消息队列中，因而，在从转换后的日志中提取待处理数据时，需要依次从所述消息队列中获取转换后的日志，并从获取到的转换后的日志中提取待处理数据。

由于转换后的日志均为统一的格式，因而转换后的日志中待处理的数据所保存的字段也为固定的，如图4或图5所示，在这两条日志中，待处理的数据均保存在日志的最后一个字段。因而可以从格式转换后的日志的固定位置提取待处理数据，从而在一定程度上提高了待处理数据的提取效率。

需要说明的是，获取到的待处理数据所在的日志中，除了包含待处理数据外，还包含有属性信息，为了可以查找到不同日志中所包含的待处理数据，在一种实施方式中，可以根据所述待处理数据所在的日志中包含的属性信息，确定所述待处理数据对应键，将所述待处理数据作为所述键对应的值，将所述键和所述值写入哈希表。

一般地，日志中包含的待处理数据可能是由多个子数据组成的，例如如图6所示，格式转换后的日志中包含的待处理数据DATA由6部分子数据组成，其中，ITEM0～ITEM5均为所述待处理数据DATA的子数据，在这种情况下，将所述待处理数据DATA写入哈希表，具体可以包括：将所述待处理数据所在日志中包含的属性信息确定为所述待处理数据对应的键，将所述待处理数据中包含的子数据分别作为所述键对应的值，将所述键和所述值写入哈希表，则此时，通过所述键，可以从哈希表中查找到组成所述待处理数据DATA的全部子数据。

步骤14，按照预设周期从哈希表中获取本周期内写入所述哈希表中的数据；

通过执行步骤13，从格式转换后的日志中提取到的待处理数据均被写入了哈希表，为了避免从哈希表中重复获取某一数据，而造成对某一数据的重复处理，从而对处理结果造成一定的影响，在一种实施方式中，可以预先设置一个时间周期，并按照设置的时间周期，从哈希表中获取本周期内写入的待处理数据。

具体地，步骤14的实现方式可以包括：按照预设周期，获取本周期内写入哈希表中的键，根据获取到的键，在所述哈希表中查找与获取到的键对应的值，作为获取到的待处理数据。

为了尽可能的达到对日志中包含的数据进行实时的处理，在一种实施方式中，可以将从哈希表中获取待处理数据的周期与步骤11中获取日志的周期设置一致，且获取日志的周期与WEB应用记录日志的周期保持一致，从而可以保证在WEB应用每次记录日志后，便可以获取该些日志，并在每次获取日志时，从哈希表中获取待处理数据进行处理，从而在一定程度上可以保证从哈希表中获取待处理数据的实时性，以达到实时处理待处理数据的效果。

步骤15，根据预先设定的各处理类型标识与预存的各处理脚本的对应关系，采用与获取到的数据中包含的处理类型标识对应的处理脚本，处理获取到的数据。

其中，所述处理类型，可以是指对待处理数据进行处理时所使用的处理方法，不同的处理方法可以通过与处理方法对应的处理脚本来实现，即所述处理类型与处理脚本存在对应关系。

所述处理类型标识用于表示处理类型，所述处理类型标识可以是根据用户对数据的处理需要，通过执行步骤12，在根据预先设置的配置信息对日志进行格式转换时，设置在所述日志所包含的待处理数据上的，此时，用户可以根据对数据的处理需要，在预设的配置信息中保存处理类型标识，以使得在格式转换时，可以将配置信息中保存的处理类型标识设置在待处理数据上。

或者也可以将保存有处理类型标识的配置信息预先设置在WEB应用的各个功能模块上，以使得在记录针对各功能模块的日志时，即可根据预先设置的配置信息，将日志记录为统一格式的日志，在这种情况下，生成的日志所包含的待处理数据中即保存有处理类型标识。

当待处理数据是由多个子数据组成时，每个子数据中均包含有处理类型标识，则可以采用与子数据中包含的处理类型标识对应的处理脚本，分别对待处理数据中包含的子数据进行处理。

为了便于用户获知对数据的处理结果，在一种实施方式中，在利用处理脚本对待处理数据进行处理后，可以将得到的处理结果保存到数据库中，并对处理结果进行展示。

同时为了可以较为对处理结果进行较为直观的展示，在一种实施方式中，可以根据得到的处理结果，生成用于表示所述处理结果的图表，并对生成的图表进行展示。

需要说明的是，上述数据处理方法包括的各步骤可以分别通过以下单元来实现，其中，步骤11可以通过日志获取单元来实现，步骤12可以通过格式转换单元来实现，步骤13可以通过日志处理单元来实现，步骤14可以通过数据获取单元来实现，步骤15可以通过数据处理单元来实现，在实际使用中，上述各单元在实现所述数据处理方法时的具体流程示意图如图7所述，主要包括下述步骤：

步骤21，日志获取单元获取针对应用中各功能模块记录的日志，并向格式转换单元发送获取到的日志；

步骤22，格式转换单元接收日志获取单元发送的日志，并根据预先设置的配置信息，将获取到的各日志转换为统一格式的日志；

步骤23，格式转换单元向日志处理单元发送所述统一格式的日志；

步骤24，日志处理单元接收所述格式转换单元发送的统一格式的日志，从接收到的所述格式转换后的日志中提取待处理数据，并将提取出的待处理数据写入哈希表；

步骤25，日志处理单元按照预设周期，向所述数据获取单元发送本周期内写入哈希表中的键；

步骤26，数据获取单元接收日志处理单元发送的键，根据接收到的键在所述哈希表中查找与接收到的键对应的值，作为获取到的待处理数据；

步骤27，数据获取单元将待处理数据发送至数据处理单元；

步骤28，数据处理单元根据预先设定的各处理类型标识与预存的各处理脚本的对应关系，采用与接收到的待处理数据中包含的处理类型标识对应的处理脚本，处理获取到的待处理数据。

需要说明的是，上述各单元可以为同一装置中的不同单元；或者上述各单元也可以为不同装置中的单元；比如，日志获取单元、格式转换单元、日志处理单元、数据获取单元以及数据处理单元可以均为装置1中包括的单元；还比如，日志获取单元和格式转换单元可以为装置1中包括的单元，日志处理单元可以为装置2中包括的单元，数据获取单元和数据处理单元可以为装置3中包括的单元，等等。

本申请实施例还提供了一种数据处理装置，用以解决现有技术由于需要编写不同的处理脚本来处理不同格式日志中的数据，而造成数据处理的不便问题。该装置的具体结构示意图如图8所示，包括：日志获取单元21，格式转换单元22、日志处理单元23、数据获取单元24以及数据处理单元25。

本申请实施例中提供的数据处理方法的各步骤均可以通过上述数据处理装置中的各单元来实现，其中，日志获取单元21，用于获取针对应用中各功能模块记录的日志；

格式转换单元22，用于根据预先设置的配置信息，将日志获取单元获取到的各日志转换为统一格式的日志；

日志处理单元23，用于从所述格式转换单元22转换后的日志中提取待处理数据，并将提取出的待处理数据写入哈希表；

数据获取单元24，用于按照预设周期从所述哈希表中获取本周期内写入所述哈希表中的数据；

数据处理单元25，用于根据预先设定的各处理类型标识与预存的各处理脚本的对应关系，采用与数据获取单元24获取到的数据中包含的处理类型标识对应的处理脚本，处理获取到的数据。

在一种实施方式中，所述预先设置的配置信息为JSON格式的配置信息；所述统一格式的日志包括：用于表示所述统一格式的日志版本的字段、用于表示日志记录时间的字段、用于表示所述各功能模块所调用的应用程序编程接口API信息的字段、用于表示日志文本描述信息的字段、用于表示待处理数据的字段；其中，所述用于表示待处理数据的字段由至少一个子数据字段组成，所述子数据字段包括处理类型标识以及待处理数据。

在一种实施方式中，所述格式转换单元22还用于，在所述日志处理单元23从转换后的日志中提取待处理数据之前，将所述转换后的日志添加到消息队列中；所述日志处理单元23具体用于，依次从所述消息队列中获取所述转换后的日志，从获取到的转换后的日志中提取待处理数据。

在一种实施方式中，所述日志处理单元23具体用于，根据所述待处理数据所在的日志中包含的信息，确定所述待处理数据对应键，将所述待处理数据作为所述键对应的值，将所述键和所述值写入哈希表。

在一种实施方式中，所述日志处理单元23还用于，按照预设周期，向所述数据获取单元24发送本周期内写入哈希表中的键；所述数据获取单元24具体用于，接收所述日志处理单元23发送的键，根据接收到的键在所述哈希表中查找与接收到的键对应的值，作为获取到的待处理数据。

在一种实施方式中，所述日志可以是针对WEB应用中各功能模块记录的日志。

采用本申请提供的数据处理方法，由于可以根据预先设置的配置信息，对获取到的针对应用中各功能模块记录的日志进行格式转换，将获取的各日志转换为统一格式的日志，并从转换后的日志中提取待处理数据写入哈希表，在进行数据处理时，可以按照预设周期从哈希表中获取本周期内写入所述哈希表中的数据，并按照预先设定的各处理类型标识与预存的各处理脚本的对应关系，采用与获取到的数据中包含的处理类型标识对应的处理脚本，处理获取到的数据，在这种情况下，待处理数据是从统一格式的日志中提取出的，因而不管待处理数据是从什么日志中提取到的，只要待处理数据的处理类型标识相同，则均可以使用相同的处理脚本进行处理，从而不需要针对不同格式的日志编写不同的处理脚本，便于对数据的处理，同时由于减少了处理脚本的数量，从而减少了存储空间的使用率。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种数据处理方法，其特征在于，包括：

按照预设的时间周期，定期获取针对应用中各功能模块记录的日志；

根据预先设置的配置信息，将获取到的各日志转换为统一格式的日志；

从转换后的日志中的预设位置提取待处理数据，并将提取出的待处理数据写入哈希表；其中，所述待处理数据包括API调用的数据；

按照所述预设的时间周期从所述哈希表中获取本周期内写入所述哈希表中的数据；

根据预先设定的各处理类型标识与预存的各处理脚本的对应关系，采用与获取到的数据中包含的处理类型标识对应的处理脚本，处理获取到的数据。

2.如权利要求1所述的方法，其特征在于，所述预先设置的配置信息为JavaScript对象符号JSON格式的配置信息；

所述统一格式的日志包括：用于表示所述统一格式的日志版本的字段、用于表示日志记录时间的字段、用于表示所述各功能模块所调用的应用程序编程接口API信息的字段、用于表示日志文本描述信息的字段、用于表示待处理数据的字段；

其中，所述用于表示待处理数据的字段由至少一个子数据字段组成，所述子数据字段包括处理类型标识以及待处理数据。

3.如权利要求1所述的方法，其特征在于，从转换后的日志中提取待处理数据之前，所述方法还包括：

将转换后的日志添加到消息队列中；

从转换后的日志中提取待处理数据，具体包括：

依次从所述消息队列中获取所述转换后的日志，从获取到的转换后的日志中的预设位置提取待处理数据。

4.如权利要求1所述的方法，其特征在于，将提取出的待处理数据写入哈希表，具体包括：

根据所述待处理数据所在的日志中包含的属性信息，确定所述待处理数据对应键；

将所述待处理数据作为所述键对应的值；

将所述键和所述值写入哈希表。

5.如权利要求4所述的方法，其特征在于，按照所述预设的时间周期从所述哈希表中获取本周期内写入所述哈希表中的数据，具体包括：

按照所述预设的时间周期，获取本周期内写入哈希表中的键；

根据获取到的键，在所述哈希表中查找与获取到的键对应的值，作为获取到的数据。

6.如权利要求1～5任一所述的方法，其特征在于，所述日志是针对web应用中各功能模块记录的日志。

7.一种数据处理装置，其特征在于，包括：

日志获取单元，用于按照预设的时间周期，定期获取针对应用中各功能模块记录的日志；

格式转换单元，用于根据预先设置的配置信息，将日志获取单元获取到的各日志转换为统一格式的日志；

日志处理单元，用于从所述格式转换单元转换后的日志中的预设位置提取待处理数据，并将提取出的待处理数据写入哈希表；其中，所述待处理数据包括API调用的数据；

数据获取单元，用于按照所述预设的时间周期从所述哈希表中获取本周期内写入所述哈希表中的数据；

数据处理单元，用于根据预先设定的各处理类型标识与预存的各处理脚本的对应关系，采用与获取到的数据中包含的处理类型标识对应的处理脚本，处理获取到的数据。

8.如权利要求7所述的装置，其特征在于，所述格式转换单元还用于，在所述日志处理单元从转换后的日志中提取待处理数据之前，将所述转换后的日志添加到消息队列中；

所述日志处理单元具体用于，依次从所述消息队列中获取所述转换后的日志，从获取到的转换后的日志中的预设位置提取待处理数据。

9.如权利要求7所述的装置，其特征在于，所述日志处理单元具体用于，根据所述待处理数据所在的日志中包含的信息，确定所述待处理数据对应键，将所述待处理数据作为所述键对应的值，将所述键和所述值写入哈希表。

10.如权利要求9所述的装置，其特征在于，所述日志处理单元还用于，按照所述预设的时间周期，向所述数据获取单元发送本周期内写入哈希表中的键；

所述数据获取单元具体用于，接收所述日志处理单元发送的键，根据接收到的键在所述哈希表中查找与接收到的键对应的值，作为获取到的数据。

Images