CN111414567A - 数据处理方法、装置 - Google Patents

Abstract

本申请提供一种数据处理方法、装置，对网络请求产生的调用链数据确定对应的抽象模型；将所述网络请求的调用链数据抽象模型与预设模型进行匹配，根据匹配结果，压缩保存所述网络请求的调用链数据。可以将相同网络请求的不同的分支模型只保存一个模型数据库中，其他的只需要保存模型的标识和/或差异数据，大大节省了存储空间，在提升存储效率的同时也可以根据模型的标识提高查询效率。

Description

数据处理方法、装置

技术领域

本发明涉及互联网调用链技术领域，尤其涉及一种数据处理方法、装置。

背景技术

目前，大部分互联网网站是基于分布式架构开发的服务系统，用户发起的每次请求需要经过n台后端服务器处理后，最终得到返回的响应。为方便故障排查，用户的每次请求经过的机器节点、响应情况都需要记录下来用作数据分析。由于用户访问量巨大，因此，请求数据存储占用大量空间。

发明内容

为了解决上述问题，本发明提供一种数据处理方法、装置，大大可以大大降低请求数据存储占用的空间，同时又能提高存储效率和查询效率。

本发明实施例提供一种数据处理方法，包括：

对网络请求产生的调用链数据确定对应的抽象模型；

将所述网络请求的调用链数据抽象模型与预设模型进行匹配；

根据匹配结果对所述调用链数据进行压缩存储；

所述预设模型是指与所述网络请求的调用链数据抽象模型差异满足预设条件的其他网络请求的调用链数据抽象模型。

可选地，根据匹配结果对所述调用链数据进行压缩存储，包括：

若所述网络请求的调用链数据抽象模型与预设模型匹配成功，则将所述预设模型的标识确定为所述网络请求的调用链数据抽象模型的标识，并压缩保存所述网络请求的调用链数据抽象模型的标识。

可选地，根据匹配结果对所述调用链数据进行压缩存储，包括：

若所述网络请求的调用链数据抽象模型与预设模型匹配不成功，则生成所述网络请求的调用链数据抽象模型的标识，压缩保存所述网络请求的调用链数据抽象模型及标识。

可选地，根据匹配结果对所述调用链数据进行压缩存储，包括：

若所述网络请求的调用链数据抽象模型与预设模型匹配不成功时，确定所述网络请求的调用链数据抽象模型与预设模型两个模型之间的差异数据；

压缩保存所述网络请求的调用链数据抽象模型的标识以及所述差异数据。

可选地，对网络请求产生的调用链数据确定对应的抽象模型，包括：

根据所述网络请求产生的调用链下各网络调用之间的顺序和嵌套层次关系，利用模型抽取算法，将所述网络请求产生的调用链数据生成调用树，其中，所述调用树的树节点记录所述网络请求类型、返回结果和服务名；所述调用树的根节点记录所述网络请求类型、返回结果、服务名和所述调用链总行数。

本申请还提供一种服务器，包括：存储器、处理器以及通信组件；

所述存储器，用于存储计算机程序；

所述处理器，与所述存储器和所述通信组件耦合，用于执行计算机程序，以用于：

对网络请求产生的调用链数据确定对应的调用链数据抽象模型；

将所述网络请求的调用链数据抽象模型与预设模型进行匹配；

根据匹配结果对所述调用链数据进行压缩存储；

所述预设模型是指与所述网络请求的调用链数据抽象模型差异满足预设条件的其他网络请求的调用链数据抽象模型。

可选地，所述处理器，用于执行计算机程序，以用于：

若所述网络请求的调用链数据抽象模型与预设模型匹配成功，则将所述预设模型的标识确定为所述网络请求的调用链数据抽象模型的标识，并通过所述通信组件将所述网络请求的调用链数据抽象模型的标识在所述存储器中保存。

可选地，所述处理器，用于执行计算机程序，以用于：

若所述网络请求的调用链数据抽象模型与预设模型匹配不成功，则生成所述网络请求的调用链数据抽象模型的标识，通过所述通信组件将所述网络请求的调用链数据抽象模型以及标识在所述存储器中压缩保存。

可选地，所述处理器，用于执行计算机程序，以用于：

若所述网络请求的调用链数据抽象模型与预设模型匹配不成功时，确定所述网络请求的调用链数据抽象模型与预设模型之间的差异数据；

通过所述通信组件将所述网络请求的调用链数据抽象模型的标识以及所述差异数据在所述存储器中压缩保存。

可选地，所述处理器，用于执行计算机程序，以用于：

根据所述网络请求产生的调用链下各网络调用之间的顺序和嵌套层次关系，利用模型抽取算法，将所述网络请求产生的调用链数据生成调用树，其中，所述调用树的树节点记录所述网络请求类型、返回结果和服务名；所述调用树的根节点记录所述网络请求类型、返回结果、服务名和所述调用链总行数。

本申请还提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被计算机执行时能够实现如上述数据处理方法所述的步骤或操作。

本发明实施例对网络请求产生的调用链数据进行模型抽取，得到所述网络请求的调用链数据抽象模型；将所述网络请求的调用链数据抽象模型与预设模型进行匹配，根据匹配结果对所述调用链数据进行压缩存储。由于在模型匹配时，选择的预设模型指与所述网络请求的调用链数据抽象模型差异满足预设条件(如差异最小)的其他网络请求的调用链数据抽象模型，因此，可以将相同网络请求的不同的分支模型只保存一个抽象模型，其他的只需要保存模型的标识和/或差异数据，大大节省了存储空间，在提升存储效率的同时也可以根据模型的标识提高查询效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例提供的数据处理方法的流程示意图；

图2所示为本发明实施例采用的三种分支模型的调用树示意图；

图3为本发明另一实施例提供的数据处理装置的结构示意图；

图4为本发明另一实施例提供的服务器的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种，但是不排除包含至少一种的情况。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。

术语解释：

调用链:客户的一次网络请求会产生唯一的调用链标识(TraceId)，经过后端服务器节点时会记录该标识的访问日志，包含该网络请求标识的访问日志汇集在一起就是本次调用的调用链数据。

网络调用标识(RpcId)：为了区别同一个调用链下多个网络调用的顺序和嵌套层次，需要传输和记录每个网络调用标识(RpcId)。RpcId可以用0.X1.X2.X3.....Xi来表示，Xi都是非负整数，根节点的RpcId固定从0开始，第一层网络调用的RpcId是0.X1，第二层的则为0.X1.X2，依次类推。例如，从根节点发出的调用的RpcId是0.1、0.2、0.3，RpcId是0.1的节点发出的RpcId则为0.1.1、0.1.2、0.1.3。

图1为本发明一实施例提供的数据处理方法的流程示意图，如图1所示：

101、对网络请求产生的调用链数据确定对应的抽象模型。

在一种可选的实施方式中，步骤101在具体实现时，例如，存储网络请求的调用日志时，可以先对网络请求的整个调用链数据进行模型抽取，得到整个调用链数据的抽象模型，根据网络请求产生的调用链下各网络调用之间的顺序和嵌套层次关系，利用模型抽取算法，将所述网络请求产生的调用链数据生成调用树，其中，所述调用树的树节点记录所述网络请求类型、返回结果和服务名；所述调用树的根节点记录所述网络请求类型、返回结果、服务名和所述调用链总行数。

102、将所述网络请求的调用链数据抽象模型与预设模型进行匹配。

举例来说，本实施例的模型数据库中保存有其他网络请求产生的调用链数据的抽象模型。

需要说明的是，本申请在实现本发明的过程中发现：

相同的网络请求，根据请求参数的不同会有不同的调用逻辑分支，(例如https://buy.tmall.com/order/confirm_order.htm，一种下单网络请求)，在使用优惠券时，参数列表为？x-itemid＝商品id&x-uid＝用户id&x-couchid＝优惠id，此时后端逻辑会调用优惠券流程。在未使用优惠券时，参数列表为？x-itemid＝商品id&x-uid＝用户id，此时后端逻辑就不会调用到优惠券对应逻辑。

因此，可以利用模型抽取算法对该下单网络请求进行模型抽取，可以抽象分析出不同分支的模型，假设可以抽象分析出该下单网络请求的分支模型有20种，其中，图2所示为本发明实施例采用的三种分支模型的调用树示意图，这里对其他分支模型调用树的示意图不再赘述，因为可以根据调用树的根节点记录的网络请求类型即可判断分支模型是否属于同一个网络请求。

进一步地，对该20种分支模型中的每一种分支模型生成一个调用链标识，调用链标识(id)例如可以分别为1，2，3，4……20。由于该20中分支模型同属于相同的网络请求，因此，在模型数据库(数据库)只需要保存其中一个分支模型即可，其他的分支模型只需要保存该分支模型对应的调用链标识以及与保存的分支模型之间的差异数据即可，可以实现将复杂的树状结构数据仅存储一份，从而达到较高的压缩比。

由此可知，本发明实施例中可以预先对各种网络请求的调用链数据进行模型抽取，从而可以得到每一种网络请求的不同的分支模型，并将其中的一个分支模型保存在模型数据库中。

基于上述预先建立的模型数据库，可以将网络请求的调用链数据抽象模型与模型数据库中的预设模型(分支模型)进行匹配，其中，这里的预设模型是指与所述网络请求的调用链数据抽象模型差异满足预设条件的其他网络请求的调用链数据抽象模型；优选地，本实施例中，预设模型是指与所述网络请求的调用链数据抽象模型之间的差异最小的其他网络请求的调用链数据抽象模型。

103、根据匹配结果对所述调用链数据进行压缩存储。

例如，保存网络请求的调用链数据抽象模型的标识和/或差异数据，其中，所述差异数据为所述网络请求的调用链数据抽象模型与预设模型之间的差异数据。因此，不需要对网络请求的整个调用链数据(网络请求的所有调用日志)进行存储，大大节省存储空间。

可选地，在步骤103中，根据匹配结果对所述调用链数据进行压缩存储包括：若所述网络请求的调用链数据抽象模型与预设模型匹配成功，则将所述预设模型的标识确定为所述网络请求的调用链数据抽象模型的标识，并保存所述网络请求的调用链数据抽象模型的标识。

假设所述模型数据库中存在与所述网络请求的调用链数据抽象模型相同的模型，则确定匹配成功，将所述匹配的相同模型的标识确定为所述网络请求的调用链数据抽象模型的标识，并保存所述网络请求的调用链数据抽象模型的标识。

可选地，在步骤103中，根据匹配结果对所述调用链数据进行压缩存储包括：若所述网络请求的调用链数据抽象模型与预设模型匹配不成功，则生成所述网络请求的调用链数据抽象模型的标识，压缩保存所述网络请求的调用链数据抽象模型以及标识。

假设所述模型数据库中不存在与所述网络请求的调用链数据抽象模型相同的模型，则确定匹配不成功，且模型数据库中也不存在与所述网络请求相同的网络请求的分支模型，此时，网络请求完全是一种新的网络请求，则生成所述网络请求的调用链数据抽象模型的标识，并将所述网络请求的调用链数据抽象模型及标识压缩保存到所述模型数据库中。此时，模型数据库多了一种新的网络请求的调用链数据抽象模型，通过这种方式可以不断的完善模型数据库。

可选地，在步骤103中，根据匹配结果对所述调用链数据进行压缩存储包括：若所述网络请求的调用链数据抽象模型与预设模型匹配不成功时，确定所述网络请求的调用链数据抽象模型与预设模型之间的差异数据；压缩保存所述网络请求的调用链数据抽象模型的标识以及所述差异数据。

例如，当在所述网络请求的调用链数据抽象模型与模型数据库中的模型进行匹配不成功时，且在所述模型数据库的其他网络请求中存在与网络请求相同的网络请求，因为网络请求是相同的，但是该网络请求的分支模型与网络请求的调用链数据抽象模型是不同的模型，此时，二者之间的差异数据是最小，将该网络请求的分支模型与网络请求的调用链数据抽象模型进行比较，得到二者之间的差异数据。

其中，差异数据例如包含客户端ip、服务端ip、耗时、请求大小、返回大小等数字化信息。

例如，第1次网络请求的调用链数据的数字化信息如下所示：

第2次网络请求的调用链数据的数字化信息如下所示：

根据上述两次网络请求的调用链数据的数字化信息，该两次网络请求是同一个网络请求。其中，服务名、请求类型、网络调用标识(RpcId)、返回结果是相同的数据，在模型数据库中已经包含这些信息，所以均可以不存储。只需要存储两者之间的差异数据即可，可选地，存储的时候可以先对差异数据进行压缩后再存储。

本发明实施例对网络请求产生的调用链数据进行模型抽取，得到所述网络请求的调用链数据抽象模型；将所述网络请求的调用链数据抽象模型与模型数据库中的预设模型进行匹配，所述模型数据库中保存有其他网络请求产生的调用链数据的抽象模型；根据匹配结果对所述调用链数据进行压缩存储。由于在模型匹配时，选择的预设模型指与所述网络请求的调用链数据抽象模型差异最小的其他网络请求的调用链数据抽象模型，因此，可以将相同网络请求的不同的分支模型只保存一个抽象模型，其他的只需要保存模型的标识和/或差异数据，大大节省了存储空间，在提升存储效率的同时也可以根据模型的标识提高查询效率。

图3为本发明另一实施例提供的数据处理装置的结构示意图，如图3所示，包括：

模型抽取模块，用于对网络请求产生的调用链数据确定对应的抽象模型；

匹配模块，用于将所述网络请求的调用链数据抽象模型与预设模型进行匹配；

保存模块，用于根据匹配结果对所述调用链数据进行压缩存储；

所述预设模型是指与所述网络请求的调用链数据抽象模型差异满足预设条件的其他网络请求的调用链数据抽象模型。

可选地，

所述保存模块，具体用于若所述网络请求的调用链数据抽象模型与预设模型匹配成功，则将所述预设模型的标识确定为所述网络请求的调用链数据抽象模型的标识，并保存所述网络请求的调用链数据抽象模型的标识。

可选地，

所述保存模块，具体还用于若所述网络请求的调用链数据抽象模型与预设模型匹配不成功，则生成所述网络请求的调用链数据抽象模型的标识，压缩保存所述网络请求的调用链数据抽象模型以及标识。

可选地，所述的装置还包括：

确定模块，用于若所述网络请求的调用链数据抽象模型与预设模型匹配不成功时，确定所述网络请求的调用链数据抽象模型与预设模型之间的差异数据；

所述保存模块，具体还用于压缩保存所述网络请求的调用链数据抽象模型的标识以及所述差异数据。

可选地，

所述模型抽取模块，具体用于根据所述网络请求产生的调用链下各网络调用之间的顺序和嵌套层次关系，利用模型抽取算法，将所述网络请求产生的调用链数据生成调用树，其中，所述调用树的树节点记录所述网络请求类型、返回结果和服务名；所述调用树的根节点记录所述网络请求类型、返回结果、服务名和所述调用链总行数。

本实施例所示装置可以执行上述图1所示方法实施例，其实现原理和技术效果不再赘述。

图4为本发明另一实施例提供的服务器的结构示意图，如图4所示，包括：

存储器、处理器以及通信组件；

存储器，用于存储计算机程序；

处理器，与存储器和通信组件耦合，用于执行计算机程序，以用于：

对网络请求产生的调用链数据确定对应的抽象模型；

将所述网络请求的调用链数据抽象模型与预设模型进行匹配；

根据匹配结果对所述调用链数据进行压缩存储；

所述预设模型是指与所述网络请求的调用链数据抽象模型差异满足预设条件的其他网络请求的调用链数据抽象模型。

可选地，所述处理器，用于执行计算机程序，以用于：

若所述网络请求的调用链数据抽象模型与预设模型匹配成功，则将所述预设模型的标识确定为所述网络请求的调用链数据抽象模型的标识，并通过所述通信组件将所述网络请求的调用链数据抽象模型的标识在所述存储器中压缩保存。

可选地，所述处理器，用于执行计算机程序，以用于：

若所述网络请求的调用链数据抽象模型与预设模型匹配不成功，则生成所述网络请求的调用链数据抽象模型的标识，通过所述通信组件将所述网络请求的调用链数据抽象模型以及标识在所述存储器中压缩保存。

可选地，所述处理器，用于执行计算机程序，以用于：

若所述网络请求的调用链数据抽象模型与预设模型匹配不成功时，确定所述网络请求的调用链数据抽象模型与预设模型之间的差异数据；

通过所述通信组件将所述网络请求的调用链数据抽象模型的标识以及所述差异数据在所述存储器中压缩保存。

可选地，所述处理器，用于执行计算机程序，以用于：

根据所述网络请求产生的调用链下各网络调用之间的顺序和嵌套层次关系，利用模型抽取算法，将所述网络请求产生的调用链数据生成调用树，其中，所述调用树的树节点记录所述网络请求类型、返回结果和服务名；所述调用树的根节点记录所述网络请求类型、返回结果、服务名和所述调用链总行数。

进一步，如图4所示，服务器还包括：显示器、电源组件、音频组件等其它组件。图4中仅示意性给出部分组件，并不意味着服务器只包括图4所示组件。

本实施例所示服务器可以执行上述图1所示方法实施例，其实现原理和技术效果不再赘述。

相应地，本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，计算机程序被计算机执行时能够实现上述方法实施例中与服务器相关的步骤或操作，在此不再赘述。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (11)

1.一种数据处理方法，其特征在于，包括：

对网络请求产生的调用链数据确定对应的抽象模型；

将所述网络请求的调用链数据抽象模型与预设模型进行匹配；

根据匹配结果对所述调用链数据进行压缩存储；

所述预设模型是指与所述网络请求的调用链数据抽象模型差异满足预设条件的其他网络请求的调用链数据抽象模型。

2.根据权利要求1所述的方法，其特征在于，根据匹配结果对所述调用链数据进行压缩存储，包括：

若所述网络请求的调用链数据抽象模型与预设模型匹配成功，则将所述预设模型的标识确定为所述网络请求的调用链数据抽象模型的标识，并保存所述网络请求的调用链数据抽象模型的标识。

3.根据权利要求1所述的方法，其特征在于，根据匹配结果对所述调用链数据进行压缩存储，包括：

若所述网络请求的调用链数据抽象模型与预设模型匹配不成功，则生成所述网络请求的调用链数据抽象模型的标识，压缩保存所述网络请求的调用链数据抽象模型以及标识。

4.根据权利要求3所述的方法，其特征在于，根据匹配结果对所述调用链数据进行压缩存储，包括：

若所述网络请求的调用链数据抽象模型与预设模型匹配不成功时，确定所述网络请求的调用链数据抽象模型与预设模型之间的差异数据；

压缩保存所述网络请求的调用链数据抽象模型的标识以及所述差异数据。

5.根据权利要求1所述的方法，其特征在于，对网络请求产生的调用链数据确定对应的抽象模型，包括：

根据所述网络请求产生的调用链下各网络调用之间的顺序和嵌套层次关系，利用模型抽取算法，将所述网络请求产生的调用链数据生成调用树，其中，所述调用树的树节点记录所述网络请求类型、返回结果和服务名；所述调用树的根节点记录所述网络请求类型、返回结果、服务名和所述调用链总行数。

6.一种服务器，其特征在于，包括：存储器、处理器以及通信组件；

所述存储器，用于存储计算机程序；

所述处理器，与所述存储器和所述通信组件耦合，用于执行计算机程序，以用于：

对网络请求产生的调用链数据确定对应的抽象模型；

将所述网络请求的调用链数据抽象模型与预设模型进行匹配；

根据匹配结果对所述调用链数据进行压缩存储；

所述预设模型是指与所述网络请求的调用链数据抽象模型差异满足预设条件的其他网络请求的调用链数据抽象模型。

7.根据权利要求6所述的服务器，其特征在于，所述处理器，用于执行计算机程序，以用于：

若所述网络请求的调用链数据抽象模型与预设模型匹配成功，则将所述预设模型的标识确定为所述网络请求的调用链数据抽象模型的标识，并通过所述通信组件将所述网络请求的调用链数据抽象模型的标识在所述存储器中压缩保存。

8.根据权利要求6所述的服务器，其特征在于，所述处理器，用于执行计算机程序，以用于：

若所述网络请求的调用链数据抽象模型与预设模型匹配不成功，则生成所述网络请求的调用链数据抽象模型的标识，通过所述通信组件将所述网络请求的调用链数据抽象模型以及标识在所述存储器中压缩保存。

9.根据权利要求8所述的服务器，其特征在于，所述处理器，用于执行计算机程序，以用于：

若所述网络请求的调用链数据抽象模型与预设模型匹配不成功时，确定所述网络请求的调用链数据抽象模型与预设模型之间的差异数据；

通过所述通信组件将所述网络请求的调用链数据抽象模型的标识以及所述差异数据在所述存储器中压缩保存。

10.根据权利要求6所述的服务器，其特征在于，所述处理器，用于执行计算机程序，以用于：

根据所述网络请求产生的调用链下各网络调用之间的顺序和嵌套层次关系，利用模型抽取算法，将所述网络请求产生的调用链数据生成调用树，其中，所述调用树的树节点记录所述网络请求类型、返回结果和服务名；所述调用树的根节点记录所述网络请求类型、返回结果、服务名和所述调用链总行数。

11.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被计算机执行时能够实现如权利要求1-5中任一项方法所述的步骤或操作。

Images