CN112699000A

CN112699000A - 数据处理方法、装置、可读存储介质和电子设备

Info

Publication number: CN112699000A
Application number: CN201911012734.0A
Authority: CN
Inventors: 柯圣; 黄杰; 李尊; 都鹏
Original assignee: Rajax Network Technology Co Ltd
Current assignee: Rajax Network Technology Co Ltd
Priority date: 2019-10-23
Filing date: 2019-10-23
Publication date: 2021-04-23

Abstract

本发明实施例公开了一种数据处理方法、装置、可读存储介质和电子设备。所述数据处理方法通过获取并解析日志文件包，分别存储所述日志文件包中的日志信息包含的服务日志，并获取对应的存储地址，将所述日志文件包中包含的与日志信息对应的日志标识、与服务日志对应的调用标识和存储地址存储在索引表中。所述方法可以实现记录每一次对任务请求进行处理时调用服务的过程，以供后期查询及监控，同时提高所述后期查询的速度和效率。

Description

数据处理方法、装置、可读存储介质和电子设备

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据处理方法、装置、可读存储介质和电子设备。

背景技术

服务器在处理内部任务请求或通过应用程序接口获取的外部设备的任务请求时，会调用服务器内部的大量应用服务，其中多个应用服务还会存在相互调用的关系。因在每次处理任务请求的过程中调用的应用服务数量庞大，且不同应用服务之间的调用关系复杂，后期在需要查询或监控所述任务请求时很难定位每一次调用应用服务的过程，进而导致在任务请求发生问题是无法准确判断时由服务器中哪一个应用服务导致的问题。

发明内容

有鉴于此，本发明实施例公开了一种数据处理方法、装置、可读存储介质和电子设备，以实现在每一次对任务请求进行处理时，记录调用服务的过程，以供后期查询及监控。

第一方面，本发明实施例公开了一种数据处理方法，所述方法包括：

确定日志文件包，所述日志文件包中包含日志信息和与所述日志信息对应的日志标识，所述日志信息中包含至少一个服务日志和与所述服务日志对应的调用标识，其中，所述服务日志用于记录处理任务请求时每一次调用服务的过程，所述日志标识中包含用于表征入口服务的入口标识，所述入口服务为处理所述任务请求过程中调用的第一个服务，所述调用标识用于表征各服务日志对应的服务与入口服务的调用关系；

将所述日志文件包加入日志处理队列；

从所述日志处理队列中获取日志文件包，并对所述日志文件包进行解析以确定其中包含的日志信息、日志标识和调用标识；

存储所述日志信息，并确定所述日志信息中每一个服务日志的存储位置；

将所述日志标识作为行键、每个服务日志对应的调用标识作为列键、存储位置作为值存储至索引表。

进一步地，所述确定日志文件包具体为：

从外部设备中读取日志文件包。

进一步地，所述确定日志文件包中包括：

确定处理任务请求过程中记录的日志信息；

在生成服务日志的同时确定与所述服务日志对应的调用标识；

确定与所述日志信息对应的日志标识。

进一步地，所述确定处理任务请求过程中记录的日志信息包括：

接收任务请求，并调用至少一个服务处理所述任务请求；

在每一次调用服务过程中记录服务日志以确定日志信息。

进一步地，所述任务请求处理过程中由入口服务开始的每一层调用服务过程对应的调用标识通过树状结构排列。

进一步地，所述确定与所述日志信息对应的日志标识包括：

随机生成预设位数的请求编码；

确定生成所述日志信息的任务请求对应的时间戳和入口标识；

拼接所述入口标识、请求编码和时间戳以确定与所述日志信息对应的日志标识。

进一步地，所述日志信息存储在Hadoop分布式文件系统中。

进一步地，所述索引表位于HBase中。

第二方面，本发明实施例公开了一种数据处理装置，所述装置包括：

信息确定模块，用于确定日志文件包，所述日志文件包中包含日志信息和与所述日志信息对应的日志标识，所述日志信息中包含至少一个服务日志和与所述服务日志对应的调用标识，其中，所述服务日志用于记录处理任务请求时每一次调用服务的过程，所述日志标识中包含用于表征入口服务的入口标识，所述入口服务为处理所述任务请求过程中调用的第一个服务，所述调用标识用于表征各服务日志对应的服务与入口服务的调用关系；

信息处理模块，用于将所述日志文件包加入日志处理队列；

数据解析模块，用于从所述日志处理队列中获取日志文件包，并对所述日志文件包进行解析以确定其中包含的日志信息、日志标识和调用标识；

数据存储模块，用于存储所述日志信息，并确定所述日志信息中每一个服务日志的存储位置；

索引创建模块，用于将所述日志标识作为行键、每个服务日志对应的调用标识作为列键、存储位置作为值存储至索引表。

进一步地，所述信息确定模块包括：

文件读取单元，用于从外部设备中读取日志文件包。

进一步地，所述信息确定模块包括：

日志记录单元，用于确定处理任务请求过程中记录的日志信息；

调用标识确定单元，用于在生成服务日志的同时确定与所述服务日志对应的调用标识；

日志标识确定单元，用于确定与所述日志信息对应的日志标识。

进一步地，所述日志记录单元包括：

接收任务子单元，用于接收任务请求，并调用至少一个服务处理所述任务请求；

信息记录子单元，用于在每一次调用服务过程中记录服务日志以确定日志信息。

进一步地，所述日志标识确定单元包括：

编码生成子单元，用于随机生成预设位数的请求编码；

其他信息确定子单元，用于确定生成所述日志信息的任务请求对应的时间戳和入口标识；

拼接子单元，用于拼接所述入口标识、请求编码和时间戳以确定与所述日志信息对应的日志标识。

进一步地，所述日志信息存储在Hadoop分布式文件系统中。

进一步地，所述索引表位于HBase中。

第三方面，本发明实施例公开了一种计算机可读存储介质，用于存储计算机程序指令，所述计算机程序指令在被处理器执行时实现如第一方面中任一项所述的方法。

第四方面，本发明实施例公开了一种电子设备，包括存储器和处理器，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如第一方面中任一项所述的方法。

本发明实施例的数据处理方法通过获取并解析日志文件包，分别存储所述日志文件包中的日志信息包含的服务日志，并获取对应的存储地址，将所述日志文件包中包含的与日志信息对应的日志标识、与服务日志对应的调用标识和存储地址存储在索引表中。所述方法可以实现记录每一次对任务请求进行处理时调用服务的过程，以供后期查询及监控。

附图说明

通过以下参照附图对本发明实施例的描述，本发明的上述以及其它目的、特征和优点将更为清楚，在附图中：

图1为实现本发明实施例的数据处理方法的系统示意图；

图2为本发明实施例的数据处理方法的流程图；

图3为本发明实施例一种可选实现方式的数据处理方法的示意图；

图4为本发明实施例另一种可选实现方式的数据处理方法的示意图；

图5为本发明实施例的一种日志信息的示意图；

图6为本发明实施例的处理任务请求链路的示意图；

图7为本发明实施例的一种索引表的示意图；

图8为本发明实施例的数据处理装置的示意图；

图9为本发明实施例的电子设备的示意图。

具体实施方式

以下基于实施例对本发明进行描述，但是本发明并不仅仅限于这些实施例。在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。为了避免混淆本发明的实质，公知的方法、过程、流程、元件和电路并没有详细叙述。

此外，本领域普通技术人员应当理解，在此提供的附图都是为了说明的目的，并且附图不一定是按比例绘制的。

除非上下文明确要求，否则在说明书的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义；也就是说，是“包括但不限于”的含义。

在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

图1为实现本发明实施例的数据处理方法的系统示意图，如图1所示，所述用于实现本发明实施例的数据处理方法的系统包括日志处理队列10、数据解析模块11、Hadoop分布式文件系统(HDFS)12和用于存储数据的存储中间件(HBase)13。

具体地，所述日志处理队列10、数据解析模块11和存储中间件13可以位于同一服务器中。所述数据解析模块为所述服务器中用于数据解析的应用服务。将所述服务器内部处理任务请求过程中生成的日志文件包或通过预设的应用程序接口从外部设备中接收的日志文件包按顺序加入所述日志处理队列10中，再通过所述数据解析模块11从所述日志处理队列10中获取日志文件包，并解析所述日志文件包得到日志信息、日志标识和调用标识。其中，所述日志信息中包含至少一个服务日志，所述日志标识与所述日志信息对应，所述各服务日志与所述各调用标识一一对应。所述数据解析模块11将所述日志信息发送至所述Hadoop分布式文件系统12中存储，并读取所述日志信息中的各服务日志在所述Hadoop分布式文件系统12中的存储位置。将所述日志信息对应的日志标识作为行键，将所述各服务日志对应的调用标识作为列键，所述各服务日志的存储位置作为值存储至存储中间件13的索引表中。

图2为本发明实施例的数据处理方法的流程图，如图2所示，所述方法包括：

步骤S100、确定日志文件包。

具体地，所述日志文件包为通过服务器将日志信息和对应的日志标识打包压缩得到的压缩文件，其中，所述日志信息中包含至少一个服务日志和与所述服务日志对应的调用标识。所述日志信息用于记录处理任务请求时每一次调用服务的过程，所述日志标识中包含用于表征入口服务的入口标识，所述入口服务为处理所述任务请求过程中调用的第一个服务，所述调用标识用于表征各服务日志对应的服务与入口服务的调用关系，即表征所述服务日志对应的服务在整个调用链路中的层级。

图5为本发明实施例的一种日志信息的示意图，如图5所示，所述日志信息中包含服务日志51和与所述服务日志对应的调用标识50。在本实施例中，所述服务日志51中包含调用服务方IP、分片键、服务方App id、请求结果等，可选的，还可以包括调用方IP、调用方App id等信息。

图3为本发明实施例一种可选实现方式的数据处理方法的示意图，如图3所示，所述服务器31接收客户端30发送的任务请求，并处理所述任务请求，以确定日志文件包。可选的，所述任务请求还可以通过其他服务器发送。所述确定日志文件包的过程包括：

步骤S110、确定处理任务请求过程中记录的日志信息。

具体地，所述确定日志信息的过程在本地服务器中进行，步骤S110可以包括：

步骤S111、接收任务请求，并调用至少一个服务处理所述任务请求。

具体地，服务器通过预设的应用接口接收客户端或其他服务器发送的任务请求，并基于所述任务请求的内容处理所述任务请求。例如，当所述任务请求为计算一个数值时，调用用于计算的服务基于任务请求内容进行计算，并返回一个数值；当所述任务请求为识别一个编码时，调用用于识别编码的服务基于所述任务请求内容识别所述编码，并返回识别结果。在处理所述任务请求的过程中，会调用服务器中的多个服务，其中第一次被调用的服务为入口服务，其他服务从所述入口服务开始以树状结构分层被依次调用。

图6为本发明实施例的处理任务请求链路的示意图，服务器在接收到所述任务请求后，先通过入口服务A60处理所述任务请求，所述服务A60在处理所述任务请求过程中调用下一层的服务B61和服务C62，所述服务B61在处理所述任务请求过程中还调用服务B61的下一层服务D63，所述服务C62在处理所述任务请求过程中还调用服务C62的下一层服务E64和服务F65。最终通过服务A60、服务B61、服务C62、服务D63、服务E64和服务F65形成一个树状结构分层的链路。

步骤S112、在每一次调用服务过程中记录服务日志以确定日志信息。

具体地，服务器在处理所述任务请求的过程中，以埋点分析等方式针对每一次调用服务的过程记录对应的服务日志，以便后续的查询以及监控。再通过处理任务请求过程中记录的全部服务日志确定日志信息，即所述日志信息为所述全部服务日志的集合。

步骤S120、在生成服务日志的同时确定与所述服务日志对应的调用标识。

具体地，所述调用标识非全局唯一标识，即不同的日志文件包可以共用一套调用标识。所述调用标识中在每一个日志信息中与其包含的所述服务日志一一对应，用于表征本次处理任务请求过程中记录的所述各服务日志对应的服务与入口服务的调用关系。在本实施例的一个可选的实施方式中，所述调用标识根据对应的服务日志记录的调用服务顺序生成，因此，与处理任务请求过程中从所述入口服务开始依次调用服务的树状分层结构相同，所述各服务日志对应的标识也以树状结构分层排列。

例如，当所述A服务为入口服务，所述B服务和C服务为所述A服务的下一层服务，所述D服务为所述B服务的下一层服务时，用于记录A服务处理过程的服务日志对应的调用标识为1，用于记录B服务处理过程的服务日志对应的调用标识为1.1，用于记录C服务处理过程的服务日志对应的调用标识为1.2，用于记录D服务处理过程的服务日志对应的调用标识为1.1.1。

如图6所示，所述处理任务请求的链路为服务A60、服务B61、服务C62、服务D63、服务E64和服务F65形成的树状结构分层，在所述任务请求的处理过程中，调用所述服务A60生成的服务日志对应的调用标识为1，调用所述服务B61生成的服务日志对应的调用标识为1.1，调用所述服务C62生成的服务日志对应的调用标识为1.2，调用所述服务D63生成的服务日志对应的调用标识为1.1.1，调用所述服务E64生成的服务日志对应的调用标识为1.2.1，调用所述服务D65生成的服务日志对应的调用标识为1.2.2，因此，所述处理任务请求过程中生成的各调用标识也以树状结构分层排列。

步骤S130、确定与所述日志信息对应的日志标识。

具体地，所述日志标识与日志信息对应，为全局唯一的标识。即一个日志标识仅对应一个日志信息。

其中，步骤S130可以包括如下步骤：

步骤S131、随机生成预设位数的请求编码。

具体地，为防止随机生成的请求编码重复，所述请求编码的预设位数的长度通常较长。

以预设位数为32位，同时，将所述编码设为16进制数为例，随机生成的请求编码可以是“00112233445566778899AABBCCDDEEFF”。

步骤S132、确定生成所述日志信息的任务请求对应的时间戳和入口标识。

具体地，可以根据服务器接收到所述任务请求的时间或处理所述任务请求的时间确定对应的时间戳，为防止随机生成的请求编码重复，所述时间戳的单位可以精确到毫秒或其他更小的单位。例如可以是“1494225051317”。所述入口标识用于表征处理所述任务请求的入口服务，可以是所述入口服务的域名，例如，“restapi.ele.me”。

步骤S133、拼接所述入口标识、请求编码和时间戳以确定与所述日志信息对应的日志标识。

具体地，所述日志标识通过以预设的格式拼接所述入口标识、请求编码和时间戳得到。例如，当预设的拼接格式为“入口标识^^请求编码|时间戳”，所述入口标识为“restapi.ele.me”，所述时间戳为“1494225051317”，所述请求编码为“00112233445566778899AABBCCDDEEFF”时，根据所述拼接格式拼接所述入口标识、请求编码和时间戳得到的日志标识为“restapi.ele.me^^00112233445566778899AABBCCDDEEFF|1494225051317”。应理解，连接入口标识和请求编码，以及连接请求编码和时间戳的符号也可以根据需要设置为其它类型的符号。

所述服务器在分别确定所述日志信息、调用标识和日志标识之后，将所述日志信息、调用标识和日志标识压缩打包为日志文件包。

图4为本发明实施例另一种可选实现方式的数据处理方法的示意图，如图4所示，在本实施例一个可选的实现方式中，所述日志文件包直接由其他服务器40在处理任务请求的过程中确定并发送至本地服务器41，即所述确定日志文件包的过程具体为接收外部设备发送的日志文件包。可选的，所述服务器40处理所述任务请求生成日志文件包的过程可以通过所述步骤S110-S130实现。

步骤S200、将所述日志文件包加入日志处理队列。

具体地，所述服务器会接收以及生成多个日志文件包，在确定所述各日志文件包后将所述各日志文件包按预设顺序加入日志处理队列中，以按照预定顺序读取所述各日志文件包，并依次处理。通过所述日志处理队列以防止所述服务器在确定多个日志文件包时发生重复处理或部分日志文件包被遗漏等问题。

步骤S300、从所述日志处理队列中获取日志文件包，并对所述日志文件包进行解析以确定其中包含的日志信息、日志标识和调用标识。

具体地，所述服务器中用于数据解析的应用服务从所述日志处理队列中按所述队列的排列顺序读取日志文件包，并对所述日志文件包进行解析。所述服务器解析所述日志文件包后得到所述日志文件包中包含的日志信息和日志标识，以及确定所述日志信息中包含的全部服务日志和对应的调用标识。同时，还确定所述日志信息与日志标识之间的对应关系。

如图3和图4所示，所述服务器31获取本地打包的日志文件包进行解析，所述服务器41获取接收到其他服务器40发送的日志文件包进行解析。

步骤S400、存储所述日志信息，并确定所述日志信息中每一个服务日志的存储位置。

具体地，所述服务器解析数据的应用服务在解析得到日志信息、日志标识和调用标识后，存储所述日志信息。在存储所述日志信息时，先确定所述日志信息中包含的服务日志，分别存储所述各服务日志，并获取所述各服务日志的存储位置。可选地，所述用于存储日志信息的存储介质为Hadoop分布式文件系统(HDFS)。所述Hadoop分布式文件系统为运行在通用硬件上的分布式文件系统，能提供高吞吐量的数据访问，非常适合应用于如本发明实施例所述的大量数据存储的情况。

如图3和图4所示，所述服务器将解析得到的日志文件发送至存储介质中存储，并获取所述各服务日志的存储位置。

步骤S500、将所述日志标识作为行键、每个服务日志对应的调用标识作为列键、存储位置作为值存储至索引表。

具体地，所述应用服务在获取到各服务日志对应的存储位置后，将所述日志标识、调用标识和存储位置存储至本地或远程存储中间件中包含的索引表。其中，将全局唯一的所述日志标识作为行键，将不同日志文件包共用的调用标识作为列键，存储位置作为值存储至所述索引表。可选地，也可以将所述调用标识作为行键，所述日志标识作为列键存储。在本实施例中，所述存储中间件为HBase。

在完成所述数据处理过程后，想要对某一任务请求的处理过程进行查询和监控时，可以根据日志标识和每一次调用过程对应的调用标识准确的在所述索引表中确定对应的服务日志地址，通过所述服务日志地址确定所述服务日志在HDFS中的存储位置，进而获取在调用所述服务处理任务请求过程中记录的服务日志，以确定在本次任务请求处理链路中的所述服务处理过程的状态。

图7为本发明实施例的一种索引表的示意图，如图7所示，所述索引表中包含的内容为至少一个行键70、列键71和值72，每个行键70对应多个列键71，每个列键72对应一个值72。在本实施例中，所述行键70为日志标识，所述列键71为调用标识，所述值72为服务日志的存储地址。其中所述日志标识为唯一标识，所述调用标识为通用标识，因此使得每一个日志标识和其对应的各调用标识对应的值为唯一的服务日志存储地址，在后期查询和监控的过程中可以根据日志标识和调用标识准确的获取对应的服务日志在HDFS中的存储地址，以在所述HDFS中查询读取所述服务日志。

如图3和图4所示，所述服务器将所述日志标识、调用标识和存储位置存储至本地的索引表中。可选的，还可以存储至远程设备中包含的索引表。

所述数据处理方法通过获取并解析日志文件包，分别存储所述日志文件包中的日志信息包含的服务日志，并获取对应的存储地址，将所述日志文件包中包含的与日志信息对应的日志标识、与服务日志对应的调用标识和存储地址存储在索引表中。所述方法可以实现记录每一次对任务请求进行处理时调用服务的过程，以供后期查询及监控。

图8为本发明实施例的数据处理装置的示意图，如图所示，所述装置包括信息确定模块80、信息处理模块81、数据解析模块82、数据存储模块83和索引创建模块84。

具体地，所述信息确定模块80用于确定日志文件包，所述日志文件包中包含日志信息和与所述日志信息对应的日志标识，所述日志信息中包含至少一个服务日志和与所述服务日志对应的调用标识，其中，所述服务日志用于记录处理任务请求时每一次调用服务的过程，所述日志标识中包含用于表征入口服务的入口标识，所述入口服务为处理所述任务请求过程中调用的第一个服务，所述调用标识用于表征各服务日志对应的服务与入口服务的调用关系。所述信息处理模块81用于将所述日志文件包加入日志处理队列。所述数据解析模块82用于从所述日志处理队列中获取日志文件包，并对所述日志文件包进行解析以确定其中包含的日志信息、日志标识和调用标识。所述数据存储模块83用于存储所述日志信息，并确定所述日志信息中每一个服务日志的存储位置。所述索引创建模块84用于将所述日志标识作为行键、每个服务日志对应的调用标识作为列键、存储位置作为值存储至索引表。

进一步地，所述信息确定模块包括：

文件读取单元，用于从外部设备中读取日志文件包。

进一步地，所述信息确定模块包括：

进一步地，所述日志记录单元包括：

进一步地，所述日志标识确定单元包括：

编码生成子单元，用于随机生成预设位数的请求编码；

进一步地，所述日志信息存储在Hadoop分布式文件系统中。

进一步地，所述索引表位于HBase中。

所述装置可以实现通过获取并解析日志文件包，分别存储所述日志文件包中的日志信息包含的服务日志，并获取对应的存储地址，将所述日志文件包中包含的与日志信息对应的日志标识、与服务日志对应的调用标识和存储地址存储在索引表。进而记录每一次服务器对任务请求进行处理时调用服务的过程，以供后期查询及监控。

图9为本发明实施例的电子设备的示意图，如图9所示，在本实施例中，所述电子设备可以为服务器或终端等，所述终端例如可以是手机、电脑、平板电脑等智能设备。如图所示，所述电子设备包括：至少一个处理器91；与至少一个处理器通信连接的存储器90；以及与存储介质通信连接的通信组件92，所述通信组件92在处理器的控制下接收和发送数据；其中，存储器90存储有可被至少一个处理器91执行的指令，指令被至少一个处理器91执行以实现本发明实施例所述的数据处理方法。

具体地，所述存储器90作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。处理器91通过运行存储在存储器中的非易失性软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述数据处理方法。

存储器90可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储选项列表等。此外，存储器90可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器90可选包括相对于处理器91远程设置的存储器，这些远程存储器可以通过网络连接至外接设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

一个或者多个模块存储在存储器90中，当被一个或者多个处理器91执行时，执行上述任意方法实施例中的数据处理方法。

上述产品可执行本申请实施例所公开的方法，具备执行方法相应的功能模块和有益效果，未在本实施例中详尽描述的技术细节，可参见本申请实施例所公开的方法。

本发明还涉及一种计算机可读存储介质，用于存储计算机可读程序，所述计算机可读程序用于供计算机执行上述部分或全部的方法实施例。

即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

本发明实施例公开了A1、一种数据处理方法，所述方法包括：

将所述日志文件包加入日志处理队列；

A2、根据A1所述的方法，所述确定日志文件包具体为：

从外部设备中读取日志文件包。

A3、根据A1所述的方法，所述确定日志文件包中包括：

确定处理任务请求过程中记录的日志信息；

确定与所述日志信息对应的日志标识。

A4、根据A3所述的方法，所述确定处理任务请求过程中记录的日志信息包括：

接收任务请求，并调用至少一个服务处理所述任务请求；

在每一次调用服务过程中记录服务日志以确定日志信息。

A5、根据A1所述的方法，所述任务请求处理过程中由入口服务开始的每一层调用服务过程对应的调用标识通过树状结构排列。

A6、根据A3所述的方法，所述确定与所述日志信息对应的日志标识包括：

随机生成预设位数的请求编码；

A7、根据A1所述的方法，所述日志信息存储在Hadoop分布式文件系统中。

A8、根据A1所述的方法，所述索引表位于HBase中。

本发明实施例还公开了B1、一种数据处理装置，所述装置包括：

信息处理模块，用于将所述日志文件包加入日志处理队列；

B2、根据B1所述的装置，所述信息确定模块包括：

文件读取单元，用于从外部设备中读取日志文件包。

B3、根据B1所述的装置，所述信息确定模块包括：

B4、根据B3所述的装置，所述日志记录单元包括：

B5、根据B1所述的装置，所述任务请求处理过程中由入口服务开始的每一层调用服务过程对应的调用标识通过树状结构排列。

B6、根据B3所述的装置，所述日志标识确定单元包括：

编码生成子单元，用于随机生成预设位数的请求编码；

B7、根据B1所述的装置，所述日志信息存储在Hadoop分布式文件系统中。

B8、根据B1所述的装置，所述索引表位于HBase中。

本发明实施例还公开了C1、一种计算机可读存储介质，用于存储计算机程序指令，所述计算机程序指令在被处理器执行时实现如A1-A8中任一项所述的方法。

本发明实施例还公开了D1、一种电子设备，包括存储器和处理器，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现A1-A8中任一项所述方法。

Claims

1.一种数据处理方法，其特征在于，所述方法包括：

将所述日志文件包加入日志处理队列；

2.根据权利要求1所述的方法，其特征在于，所述确定日志文件包具体为：

从外部设备中读取日志文件包。

3.根据权利要求1所述的方法，其特征在于，所述确定日志文件包中包括：

确定处理任务请求过程中记录的日志信息；

确定与所述日志信息对应的日志标识。

4.根据权利要求3所述的方法，其特征在于，所述确定处理任务请求过程中记录的日志信息包括：

接收任务请求，并调用至少一个服务处理所述任务请求；

在每一次调用服务过程中记录服务日志以确定日志信息。

5.根据权利要求1所述的方法，其特征在于，所述任务请求处理过程中由入口服务开始的每一层调用服务过程对应的调用标识通过树状结构排列。

6.根据权利要求3所述的方法，其特征在于，所述确定与所述日志信息对应的日志标识包括：

随机生成预设位数的请求编码；

7.根据权利要求1所述的方法，其特征在于，所述日志信息存储在Hadoop分布式文件系统中。

8.一种数据处理装置，其特征在于，所述装置包括：

信息处理模块，用于将所述日志文件包加入日志处理队列；

9.一种计算机可读存储介质，用于存储计算机程序指令，其特征在于，所述计算机程序指令在被处理器执行时实现如权利要求1-7中任一项所述的方法。

10.一种电子设备，包括存储器和处理器，其特征在于，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如权利要求1-7中任一项所述方法。