CN114372069A - 数据处理方法及装置、存储介质及电子设备 - Google Patents

Abstract

本发明提供一种数据处理方法及装置、存储介质及电子设备，该方法包括：从业务服务器集群中拉取各个数据文件；对各个数据文件进行解析处理，得到与每个数据文件对应的数据对象，并对各个数据对象执行存入数据库的操作；读取数据库中的各个数据对象，并基于各个接口分析属性，对读取到的各个数据对象进行分析处理，得到每个接口分析属性的流量分析信息。通过从业务服务集群中拉取数据文件，对数据文件进行解析后，得到对应的数据对象，并根据各个接口分析属性对数据对象进行分析处理，从而得到每个接口分析属性的流量分析信息，由此，可以有效分析业务服务集群被调用的情况，为研发人员提供优化系统的重要分析数据。

Description

数据处理方法及装置、存储介质及电子设备

技术领域

本发明涉及计算机技术领域，特别涉及一种数据处理方法及装置、存储介质及电子设备。

背景技术

目前，许多航空公司在分销机票时，使用全球分销系统(Global DistributionSystem，GDS)进行销售，而随着旅客的需求和计算机技术的发展，新分销能力(NewDistribution Capability，NDC)逐渐替代了GDS渠道，各大航司通过构建聚合及分销平台，使得航空系统具有NDC能力，从而可以拓宽销售渠道，增加航空公司的收入。

目前第三方分销平台在接入聚合及分销平台销售机票时，会调用聚合机分销平台的业务服务集群中的各种服务接口，进而为旅客提供各种服务。为了给旅客提供更加优质的服务，需要不断的优化航空系统，而优化航空系统的其中一项重要的参考信息就是聚合及分销平台被调用的情况，因此，如何分析聚合及分销平台被调用的情况成为研发人员亟需解决的主要问题。

发明内容

有鉴于此，本发明提供一种数据处理方法及装置、存储介质及电子设备，通过从业务服务器集群中拉取各个数据文件，对各个数据文件进行处理，得到各个数据对象，并基于各个接口分析属性对各个数据对象进行分析，得到每个接口分析属性的流量分析信息，为研发人员提供了业务服务集群被调用的分析情况，以便于研发人员根据流量分析信息对系统进行优化。

为实现上述目的，本发明实施例提供如下技术方案：

本发明第一方面公开一种数据处理方法，包括：

从业务服务器集群中拉取各个数据文件，其中，所述数据文件中包含业务服务器的服务接口被调用时生成的调用信息；

对各个所述数据文件进行解析处理，得到与每个所述数据文件对应的数据对象，并对各个所述数据对象执行存入数据库的操作；

读取所述数据库中的各个数据对象，并基于预设的各个接口分析属性，对读取到的各个数据对象进行分析处理，得到每个所述接口分析属性的流量分析信息。

本发明第二方面公开一种数据处理装置，包括：

拉取单元，用于从业务服务器集群中拉取各个数据文件，其中，所述数据文件中包含业务服务器的服务接口被调用时生成的调用信息；

解析处理单元，用于对各个所述数据文件进行解析处理，得到与每个所述数据文件对应的数据对象，并对各个所述数据对象执行存入数据库的操作；

读取单元，用于读取所述数据库中的各个数据对象，并基于预设的各个接口分析属性，对读取到的各个数据对象进行分析处理，得到每个所述接口分析属性对应的流量分析信息。

本发明第三方面公开一种存储介质，所述存储介质包括存储的指令，其中，在所述指令运行时控制所述存储介质所在的设备执行如上所述的数据处理方法。

本发明第四方面公开一种电子设备，包括存储器，以及一个或者一个以上的指令，其中一个或者一个以上指令存储于存储器中，且经配置以由一个或者一个以上处理器执行如上所述的数据处理方法。

与现有技术相比，本发明具有以下优点：

本发明提供一种数据处理方法及装置、存储介质及电子设备，该方法包括：从业务服务器集群中拉取各个数据文件，其中，数据文件中包含业务服务器的服务接口掉调用时生成的调用信息；对各个数据文件进行解析处理，得到与每个数据文件对应的数据对象，并对各个数据对象执行存入数据库的操作；读取数据库中的各个数据对象，并基于预设的各个接口分析属性，对读取到的各个数据对象进行分析处理，得到每个接口分析属性的流量分析信息。通过从业务服务集群中拉取数据文件，对数据文件进行解析后，得到对应的数据对象，并根据各个接口分析属性对数据对象进行分析处理，从而得到每个接口分析属性的流量分析信息，由此，可以有效分析业务服务集群被调用的情况，为研发人员提供优化系统的重要分析数据。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种数据处理方法的方法流程图；

图2为本发明实施例提供的一种数据处理方法的另一方法流程图；

图3为本发明实施例提供的一种数据处理方法的又一方法流程图；

图4为本发明实施例提供的一种数据处理方法的再一方法流程图；

图5为本发明实施例提供的一种数据处理装置的结构示意图；

图6为本发明实施例提供的一种数据处理装置的又一结构示意图；

图7为本发明实施例提供的一种数据处理方法的场景示例图；

图8为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本申请中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本发明可用于众多通用或专用的计算装置环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器装置、包括以上任何装置或设备的分布式计算环境等等。本发明提供的方法可应用于集成了聚合及分销平台的航空系统中，其执行主体可以为服务器或处理器。

参照图1，为本发明实施例提供的一种数据处理方法的方法流程图，具体说明如下所示：

S101、从业务服务器集群中拉取各个数据文件，其中，所述数据文件中包含业务服务器的服务接口被调用时生成的调用信息。

本发明实施例提供的方法中，聚合及分销平台可称为Aggregator，Aggregator是符合NDC技术标准、基于开放系统的平台，能够将从所有来源形式的相关内容全部聚合在一起，然后通过各种渠道将这些内容进行分销。

进一步的，业务服务器集群为Aggregator的重要组成成分之一，Aggregator有多种服务接口，具体如：airshoping，offerprice，ordercreate等服务接口，业务服务器集群中包含多个业务服务器，进一步的，不同的业务服务器可以提供不同的服务接口；可选的，每个业务服务器还可以提供多种服务接口。

数据文件中包含业务服务器的服务接口被调用时生成的调用数据，具体的，调用信息中包含但不限于代理人信息、用户名、时间、服务名、交易名、IP等数据。

优选的，从业务服务器集群中拉取各个数据文件时，可以是定时拉取的，在预设的定时任务启动时，便从业务服务器集群中拉取数据文件，优选的，定时任务的启动时间可以为每日的零点。可选的，从业务服务器中拉取各个数据文件时，可通过SFTP的方式获得。

参考图2，为本发明实施例提供的从业务服务器集群中拉取各个数据文件的方法流程图，具体说明如下所述：

S201、在解析服务器中创建文件存放目录。

基于预设的配置文件在解析服务器中创建文件存放目录，具体的配置文件中设置了创建存放数据文件的地址信息，基于该地址信息创建文件存放目录。

S202、使解析服务器与业务服务器集群中的每个业务服务器建立连接，并将成功与解析服务器建立连接的业务服务器确定为目标业务服务器。

基于配置文件使解析服务器与业务服务器集群中的每个业务服务器建立连接，其中，配置文件中设置了多组登录信息，每组登录信息包含但不限于IP信息、用户名、密码等信息，每组的登录信息是不同的，优选的，登录信息与业务服务器一一对应，进一步的，此处的配置文件为S201中的配置文件。

解析服务器使用登录信息登录对应的业务服务器，在解析服务器登录成功时，确定解析服务器与业务服务器建立连接成功；在解析服务器登录失败时，确定解析服务器与业务服务器建立连接失败，并在解析服务器的登录日志中记录详细的失败信息。

S203、应用解析服务器从每个目标业务服务器的文件拉取目录中拉取数据文件。

基于S201中的配置文件中的文件拉取地址信息，可以确定每个目标服务器的文件拉取目录，通过切换到文件拉取目录，可以拉取每个目标业务服务器的数据文件。

优选的，在拉取数据文件时，先确定当前日期，然后将文件拉取目录拉取中日期为前一天的数据文件。

S204、将拉取到的各个数据文件保存至所述文件存放目录中。

解析服务器将拉取到的各个数据文件保存在文件存放目录中，由此可以临时存放数据文件，并将数据文件与其他的文件分隔开，防止拉取到的数据文件与其他的文件混淆，从而有效的减少工作量，也进一步提高了后续对数据文件进行分析得到的结果的准确性。

S102、对各个所述数据文件进行解析处理，得到与每个所述数据文件对应的数据对象，并对各个所述数据对象执行存入数据库的操作。

对每个数据文件进行解析处理，得到与每个数据文件对应的数据对象，可将各个数据存入临时变量中，并对临时变量执行存入数据库的操作。

参照图3，为本发明实施例提供的对数据文件进行处理，得到数据对象的方法流程图，具体说明如下所述：

S301、从文件存放目录中读取数据文件，并将读取到的各个数据文件进行分组处理，得到多个文件分组，其中，每个所述文件分组包含至少一个数据文件。

从保存数据文件的文件存放目录中读取数据文件，数据文件的大小是不同的，此处需要对读取到的各个数据文件进行分组处理，分组的规则具体可为将大小相同的数据文件归为同一组；进一步的，还可根据文件大小区间进行分组，不同的文件大小区间对应不同的数值，具体如文件大小区间为[5,50]，表示文件大小在5K至50K的范围内，将文件大小在该区间的各个数据文件归为同一文件分组。

S302、对于每个文件分组，为文件分组分配解析线程，并使用解析线程对文件分组中的每个数据文件进行解析，得到文件分组中的每个数据文件的数据对象。

确定文件分组的个数，并在线程池中启动与文件分组的个数相同数量的解析线程，并为每个文件分组分配解析线程，各个文件分组与各个解析线程一一对应。

使用解析线程解析数据文件，从而得到数据文件的数据对象，具体的，对于每个数据文件，使用与其对应的解析线程对数据文件进行解析，得到数据文件中的调用信息，并对调用信息中的各项数据进行筛选，将通过筛选的各项数据封装成所述数据文件的数据对象。

需要说明的是，使用解析线程对数据文件解析后，得到数据文件中的调用信息，对调用信息中的各项数据进行筛选，以便将不满足合格规则的数据筛除，进一步的，在筛选到不符合预设规则的数据时，将该数据记录到解析服务器的日志文件中。

在对调用信息中的各项数据进行筛选时，不同的数据存在不同的合格规则，具体如在数据为用户名数据时，该项数据的合格规则为命名规则，在用户名数据的命名格式满足命名规则时，可确定该项数据通过筛选；又如在数据为IP数据时，该项数据的合格规则与数据长度有关，在IP数据的数据长度满足预设的数据长度时，确定该项数据通过筛选。

进一步的，将通过筛选的各项数据封装为数据文件的数据对象，可选的，数据对象类型于ConcurrentHashMap，包括但不限于代理人信息，用户名，时间，服务名，交易名，IP，航司，响应id等数据。

本发明实施例提供的方法中，通过对数据文件进行分组，可以按组批量的对数据文件进行处理，由此可以有效的提高对数据文件的出来速度，提高系统的工作效率。

参照图4，为本发明实施例提供的对数据对象执行存入数据库的操作的方法流程图，具体说明如下所述：

S401、将各个数据对象进行分组，得到多个数据对象集合，其中，所述数据对象集合中数据对象的数量小于或等于预设数量。

本发明实施例提供的方法中，在对各个数据对象执行存入数据库操作时，先将各个数据对象进行分组处理，在将各个数据对象进行分组的过程中，基于预设数量对各个数据对象进行分组，由此，得到的各个数据对象集合中的数据对象中的数量小于或等于预设数量，具体如：数据对象一共有一万个，将每2000个数据对象组成一个数据对象集合，由此可以得到5个数据对象集合；进一步的，在剩余的数据对象数目小于预设数量时，可将剩余的数据对象直接归纳为一个数据对象集合。

S402、对于每个数据对象集合，将数据对象集合存入所述数据库中，并确定数据对象集合是否成功存入所述数据库；当确定数据对象集合存入数据库失败时，执行S403；当数据对象集合存入数据库成功时，执行S404。

将数据对象集合一次性存入数据库中，由此可以批量的将数据对象存入数据库中；进一步的，需要确定数据对象集合是否成功存入数据库中，在确定数据对象集合存入数据库失败时，执行S403；在确定数据对象存入数据库成功时，执行S404。

进一步的，数据对象集合存入数据库失败的原因可能是因为其中一个数据对象存入数据库失败，从而导致整个数据对象集合存入数据库失败。

S403、将数据对象集合中的各个数据对象逐一存入数据库中，并在数据对象存入所述数据库失败时，在预设的解析日志中记录存入数据库失败的数据对象的信息。

在数据对象集合存入数据库失败时，将所述数据对象集合中的各个数据对象逐一存入数据库中，由此可以有效的筛选出异常的数据对象；在数据对象存入数据库失败时，可以在解析服务器的解析日志中记录存入数据库失败的数据对像的信息，具体可以包含数据对象的基本信息和详细的无法存入数据库的信息。

S404、确定数据对象集合中的各个数据对象均已存入所述数据库中。

在确定数据对象集合存入数据库成功时，可以确定数据对象集合中的各个数据对象已经存入数据库中，由此，可以批量的将数据对象存入数据库中，从而提高系统的工作效率。

本发明实施例提供的方法中，将数据对象存入数据库的过程中，通过将各个数据对象组成集合，以集合为单位进行处理，可以有效的提高将数据对象存入数据库的效率，进一步提高系统的工作效率。

S103、读取数据库中的各个数据对象，并基于预设的各个接口分析属性，对读取到的各个数据对象进行分析处理，得到每个接口分析属性的流量分析信息。

本发明实施例提供的方法中，接口分析属性为业务服务器集群中的各个服务接口被调用的分析属性，接口分析属性为根据研发人员设置的个性化的分析属性，具体如：每个服务接口被调用的次数、每个服务接口的调用规律、退票比例、改签比例、每个航司的调用次数等等。

根据对数据库中的各个数据对象进行分析处理，可以得到每个接口分析属性的流量分析信息。进一步的，可根据每个接口分析属性的流量分析信息在展示页面中进行展示，以便管理人员可以得知业务服务器集群被调用的情况。

本发明实施例提供的方法中，从业务服务器集群中拉取各个数据文件，其中，数据文件中包含业务服务器的服务接口掉调用时生成的调用信息；对各个数据文件进行解析处理，得到与每个数据文件对应的数据对象，并对各个数据对象执行存入数据库的操作；读取数据库中的各个数据对象，并基于预设的各个接口分析属性，对读取到的各个数据对象进行分析处理，得到每个接口分析属性的流量分析信息。通过从业务服务集群中拉取数据文件，对数据文件进行解析后，得到对应的数据对象，并根据各个接口分析属性对数据对象进行分析处理，从而得到每个接口分析属性的流量分析信息，由此，可以有效分析业务服务集群被调用的情况，为研发人员提供优化系统的重要分析数据。

与图1所示的方法相对应的，本发明实施例提供一种数据处理装置，用于支持图1所示的方法在现实生活中的实现，该装置可设置在计算机终端中，该装置的结构示意图如图5所示，具体说明如下所述：

拉取单元501，用于从业务服务器集群中拉取各个数据文件，其中，所述数据文件中包含业务服务器的服务接口被调用时生成的调用信息；

解析处理单元502，用于对各个所述数据文件进行解析处理，得到与每个所述数据文件对应的数据对象，并对各个所述数据对象执行存入数据库的操作；

读取单元503，用于读取所述数据库中的各个数据对象，并基于预设的各个接口分析属性，对读取到的各个数据对象进行分析处理，得到每个所述接口分析属性对应的流量分析信息。

本发明实施例提供的装置中，从业务服务器集群中拉取各个数据文件，其中，数据文件中包含业务服务器的服务接口掉调用时生成的调用信息；对各个数据文件进行解析处理，得到与每个数据文件对应的数据对象，并对各个数据对象执行存入数据库的操作；读取数据库中的各个数据对象，并基于预设的各个接口分析属性，对读取到的各个数据对象进行分析处理，得到每个接口分析属性的流量分析信息。通过从业务服务集群中拉取数据文件，对数据文件进行解析后，得到对应的数据对象，并根据各个接口分析属性对数据对象进行分析处理，从而得到每个接口分析属性的流量分析信息，由此，可以有效分析业务服务集群被调用的情况，为研发人员提供优化系统的重要分析数据。

本申请的一个实施例中，基于前述方案，所述拉取单元501，可以配置为：

存放子单元，用于在解析服务器中创建文件存放目录；

建立连接子单元，用于使所述解析服务器与所述业务服务器集群中的每个业务服务器建立连接，并将成功与所述解析服务器建立连接的业务服务器确定为目标业务服务器；

拉取子单元，用于应用所述解析服务器从每个所述目标业务服务器的文件拉取目录中拉取数据文件；

保存子单元，用于将拉取到的各个数据文件保存至所述文件存放目录中。

本申请的一个实施例中，基于前述方案，所述解析处理单元502，可以配置为：

第一分组子单元，用于从所述文件存放目录中读取数据文件，并将读取到的各个数据文件进行分组处理，得到多个文件分组，其中，每个所述文件分组包含至少一个数据文件；

分配子单元，用于对于每个所述文件分组，为所述文件分组分配解析线程，并使用所述解析线程对所述文件分组中的每个数据文件进行解析，得到所述文件分组中的每个数据文件的数据对象。

本申请的一个实施例中，基于前述方案，所述分配子单元，可以配置为：

筛选模块，用于对于每个所述数据文件，使用所述数据文件的解析线程对所述数据文件进行解析，得到所述数据文件中的调用信息，并对所述调用信息中的各项数据进行筛选，将通过筛选的各项数据封装成所述数据文件的数据对象。

本申请的一个实施例中，基于前述方案，所述解析处理单元502，可以配置为：

第二分组子单元，用于将各个所述数据对象进行分组，得到多个数据对象集合，其中，所述数据对象集合中数据对象的数量小于或等于预设数量；

第一确定子单元，用于对于每个所述数据对象集合，将所述数据对象集合存入所述数据库中，并确定所述数据对象集合是否成功存入所述数据库；

记录子单元，用于当确定所述数据对象集合存入所述数据库失败时，将所述数据对象集合中的各个数据对象逐一存入所述数据库中，并在数据对象存入所述数据库失败时，在预设的解析日志中记录存入所述数据库失败的数据对象的信息；

第二确定子单元，用于当确定所述数据对象集合存入所述数据库成功时，确定所述数据对象集合中的各个数据对象均已存入所述数据库中。

可选的，本发明实施例还提供可实现图1所示的方法的装置，该装置的结构具体如图6所示，具体说明如下所述：

聚合数据文件模块601：启动定时任务，将为第三方渠道提供销售机票业务的服务器上的数据文件，拉取到解析服务器上。

解析数据文件模块602：将解析服务器中，拉取过来的数据文件中的数据进行解析，得到数据对象。

存储数据文件模块603：将解析出来的数据对象存储到数据库中。

分析流量模块604：将数据库中的数据进行分析，可分析出各个服务接口的流量信息；具体的，在分析时，可按照时间进行分析，也可按照接口的服务进行分析。

进一步的，参照图7，为基于图6所示的装置在实际应用中实现本发明提供的方法的场景示例图，具体说明如下所述：

步骤1：聚合数据文件模块定时任务启动时，拉取数据文件。

具体的，在数据文件解析服务器上，启动一个定时任务(一般为0点)，当到了设定的时间，开始从销售机票业务的服务器上，拉取数据文件，本发明以SFTP的方式进行获取。需要说明的是，第三方平台在接入Aggregator后，会给用户提供查询，买票，退票，改签，附加服务等一系列的服务，在为用户提供服务时会调用Aggregator的一系列服务接口，如Airshoping，Offerprice，OrderCreate，OrderCancel，OrderChange，OrderRetrieve等等，在为用户提供服务时，会将每个服务接口的调用信息写入数据文件。Aggregator是一组集群，每个Aggregator上都有数据文件产生。本发明使用SFTP的方式，从Aggregator业务服务器上将数据文件拉取到解析服务器。具体方式为：配置一个定时任务(通常为0点)，当时间到了以后，定时任务启动，通过配置信息，获取Aggregator业务服务器的配置信息，具体的，配置信息包含但不限于服务器ip，端口以及目录等信息，根据已经配置好的业务服务器数量，启动线程池中的解析线程。每个解析线程对应一个Aggregator集群中的一台业务服务器，然后根据数据文件的配置目录和指定规则，具体如生成数据文件的名称等规则，拉取数据文件到解析服务器。

进一步的，拉取数据文件的具体流程如下所述：

1)在解析服务器中建立拉取数据文件时存放的文件存放目录。根据配置文件记录中要拉取数据文件的目录配置信息，先判断解析服务器是否存在这个文件存放目录，如果没有文件存放目录，则创建文件存放目录，如果已经存在则不进行创建。

2)建立和Aggregator业务服务器的连接。通过配置文件中IP，端口，在解析服务器建立和Aggregator平台中服务器的连接。在解析服务器的日志中记录登录是成功还是失败。如果是失败，还要在解析服务器的日志中记录详细失败信息。

3)通过配置文件中配置的Aggregator服务器中保存数据文件的文件拉取目录，切换到文件拉取目录下。

4)根据系统当前日期，推算出前一天的日期，将文件拉取目录下前一天的日期的数据文件拉取下来。如果拉取失败，将错误的详细信息记录到日志中。

步骤2：解析数据文件。将拉取到解析服务器中的数据文件进行解析，将复合业务规则的数据解析出来，组装成数据对象。

在获取数据文件后，由于数据文件比较多，并且大小不一，将数据文件按照指定的大小进行分组，根据分组数，启动解析线程池，每个解析线程对应一个分组进行处理。

处理如下：按照预先设定的规则(目前使用Aggregator平台成功调用后台XMLAPI的数据，并且数据字段不能为空)对数据文件中的数据进行筛选，将不符合预设规则的数据文件中的数据记录到解析服务器的日志文件中，将符合预设规则的数据文件中数据进行解析，分别获取其中的代理人信息，用户名，时间，服务名，交易名，IP，航司，响应id等信息封装成数据对象，具体的，可将数据对象储存在临时变量里，比如ConcurrentHashMap。

步骤3：存储数据文件。将解析出来的数据对象进行分组存储到数据库里。

由于数据库对一次存入的个数有限制，将刚刚解析出来数据文件构成的临时变量中包含多个数据对象；按照预先设置的存入个数进行分组，优选的，数据库一次性存入数据对象的个数是有限的，可将数据库一次性存入数据对象的最大个数设置为预设的存入个数。使用循环进行分组，将分组后的数据对象，以组为单位存入到数据库中，如果存入成功，整组的各个数据对象就进入数据库，如果存入过程中出现异常，则将该组的数据对象一个一个进行存入操作，并在数据对象存入数据库失败时，在解析服务器的日志中记录下存入失败的详细原因。

步骤4：分析流量；按照设定接口分析属性进行流量分析，接口分析属性为个性化的分析类别；具体如时间、调用次数以及服务类型等属性对服务接口的流量进行分析。

可以将数据库中的数据对象按照接口分析属性进行分析，并且在页面展示与接口分析属性对应的分析信息；具体如可以计算出，每个服务接口的调用次数；服务的调用规律；哪些服务调用次数比较多；什么时间段的服务用的比较多；哪些代理人使用的服务比较多；多少次查询会有一次买票；退票的比例会有多少；改签的比例会有多少；哪个航司处理比较多等等。

本专利对第三方平台接入Aggregator平台的情况进行统计、分析，通过使用拉取Aggregator被调用时生成的数据文件，对数据文件进行解析，可以得到Aggregator被调用的各种情况，解决了Aggregator平台不清楚第三方平台使用各个服务接口的问题。通过整理分析数据，让Aggregator平台了解了用户的习惯，为Aggregator平台的技术架构升级提供帮助，同时也为Aggregator平台给用户提供更好的服务打下基础。

本发明实施例还提供了一种存储介质，所述存储介质包括存储的指令，其中，在所述指令运行时控制所述存储介质所在的设备执行上述数据处理方法。

本发明实施例还提供了一种电子设备，其结构示意图如图8所示，具体包括存储器801，以及一个或者一个以上的指令802，其中一个或者一个以上指令802存储于存储器801中，且经配置以由一个或者一个以上处理器803执行所述一个或者一个以上指令802进行上述数据处理方法。

上述各个实施例的具体实施过程及其衍生方式，均在本发明的保护范围之内。

尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本申请公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。

以上描述仅为本申请公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

在具体实施方式部分，本申请将所有以权利要求形式进行保护的内容，以下述形式重复：

根据本申请公开的一个或多个实施例，图1提供了一种数据处理方法，包括：

从业务服务器集群中拉取各个数据文件，其中，所述数据文件中包含业务服务器的服务接口被调用时生成的调用信息；

对各个所述数据文件进行解析处理，得到与每个所述数据文件对应的数据对象，并对各个所述数据对象执行存入数据库的操作；

读取所述数据库中的各个数据对象，并基于预设的各个接口分析属性，对读取到的各个数据对象进行分析处理，得到每个所述接口分析属性的流量分析信息。

根据本申请公开的一个或多个实施例，图2提供了一种数据处理方法，包括：

在解析服务器中创建文件存放目录；

使所述解析服务器与所述业务服务器集群中的每个业务服务器建立连接，并将成功与所述解析服务器建立连接的业务服务器确定为目标业务服务器；

应用所述解析服务器从每个所述目标业务服务器的文件拉取目录中拉取数据文件；

将拉取到的各个数据文件保存至所述文件存放目录中。

根据本申请公开的一个或多个实施例，图3提供了一种数据处理方法，包括：

从所述文件存放目录中读取数据文件，并将读取到的各个数据文件进行分组处理，得到多个文件分组，其中，每个所述文件分组包含至少一个数据文件；

对于每个所述文件分组，为所述文件分组分配解析线程，并使用所述解析线程对所述文件分组中的每个数据文件进行解析，得到所述文件分组中的每个数据文件的数据对象；

其中，所述使用所述解析线程对所述文件分组中的每个数据文件进行解析，得到所述文件分组中的每个数据文件的数据对象，包括：

对于每个所述数据文件，使用所述数据文件的解析线程对所述数据文件进行解析，得到所述数据文件中的调用信息，并对所述调用信息中的各项数据进行筛选，将通过筛选的各项数据封装成所述数据文件的数据对象。

根据本申请公开的一个或多个实施例，图4提供了一种数据处理方法，包括：

将各个所述数据对象进行分组，得到多个数据对象集合，其中，所述数据对象集合中数据对象的数量小于或等于预设数量；

对于每个所述数据对象集合，将所述数据对象集合存入所述数据库中，并确定所述数据对象集合是否成功存入所述数据库；

当确定所述数据对象集合存入所述数据库失败时，将所述数据对象集合中的各个数据对象逐一存入所述数据库中，并在数据对象存入所述数据库失败时，在预设的解析日志中记录存入所述数据库失败的数据对象的信息；

当确定所述数据对象集合存入所述数据库成功时，确定所述数据对象集合中的各个数据对象均已存入所述数据库中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数据处理方法，其特征在于，包括：

从业务服务器集群中拉取各个数据文件，其中，所述数据文件中包含业务服务器的服务接口被调用时生成的调用信息；

对各个所述数据文件进行解析处理，得到与每个所述数据文件对应的数据对象，并对各个所述数据对象执行存入数据库的操作；

读取所述数据库中的各个数据对象，并基于预设的各个接口分析属性，对读取到的各个数据对象进行分析处理，得到每个所述接口分析属性的流量分析信息。

2.根据权利要求1所述的方法，其特征在于，所述从业务服务器集群中拉取各个数据文件，包括：

在解析服务器中创建文件存放目录；

使所述解析服务器与所述业务服务器集群中的每个业务服务器建立连接，并将成功与所述解析服务器建立连接的业务服务器确定为目标业务服务器；

应用所述解析服务器从每个所述目标业务服务器的文件拉取目录中拉取数据文件；

将拉取到的各个数据文件保存至所述文件存放目录中。

3.根据权利要求2所述的方法，其特征在于，所述对各个所述数据文件进行解析处理，得到与每个所述数据文件对应的数据对象，包括：

从所述文件存放目录中读取数据文件，并将读取到的各个数据文件进行分组处理，得到多个文件分组，其中，每个所述文件分组包含至少一个数据文件；

对于每个所述文件分组，为所述文件分组分配解析线程，并使用所述解析线程对所述文件分组中的每个数据文件进行解析，得到所述文件分组中的每个数据文件的数据对象。

4.根据权利要求3所述的方法，其特征在于，所述使用所述解析线程对所述文件分组中的每个数据文件进行解析，得到所述文件分组中的每个数据文件的数据对象，包括：

对于每个所述数据文件，使用所述数据文件的解析线程对所述数据文件进行解析，得到所述数据文件中的调用信息，并对所述调用信息中的各项数据进行筛选，将通过筛选的各项数据封装成所述数据文件的数据对象。

5.根据权利要求1所述的方法，其特征在于，所述对各个所述数据对象执行存入数据库的操作，包括：

将各个所述数据对象进行分组，得到多个数据对象集合，其中，所述数据对象集合中数据对象的数量小于或等于预设数量；

对于每个所述数据对象集合，将所述数据对象集合存入所述数据库中，并确定所述数据对象集合是否成功存入所述数据库；

当确定所述数据对象集合存入所述数据库失败时，将所述数据对象集合中的各个数据对象逐一存入所述数据库中，并在数据对象存入所述数据库失败时，在预设的解析日志中记录存入所述数据库失败的数据对象的信息；

当确定所述数据对象集合存入所述数据库成功时，确定所述数据对象集合中的各个数据对象均已存入所述数据库中。

6.一种数据处理装置，其特征在于，包括：

拉取单元，用于从业务服务器集群中拉取各个数据文件，其中，所述数据文件中包含业务服务器的服务接口被调用时生成的调用信息；

解析处理单元，用于对各个所述数据文件进行解析处理，得到与每个所述数据文件对应的数据对象，并对各个所述数据对象执行存入数据库的操作；

读取单元，用于读取所述数据库中的各个数据对象，并基于预设的各个接口分析属性，对读取到的各个数据对象进行分析处理，得到每个所述接口分析属性对应的流量分析信息。

7.根据权利要求6所述的装置，其特征在于，所述拉取单元，包括：

存放子单元，用于在解析服务器中创建文件存放目录；

建立连接子单元，用于使所述解析服务器与所述业务服务器集群中的每个业务服务器建立连接，并将成功与所述解析服务器建立连接的业务服务器确定为目标业务服务器；

拉取子单元，用于应用所述解析服务器从每个所述目标业务服务器的文件拉取目录中拉取数据文件；

保存子单元，用于将拉取到的各个数据文件保存至所述文件存放目录中。

8.根据权利要求7所述的装置，其特征在于，所述解析处理单元，包括：

第一分组子单元，用于从所述文件存放目录中读取数据文件，并将读取到的各个数据文件进行分组处理，得到多个文件分组，其中，每个所述文件分组包含至少一个数据文件；

分配子单元，用于对于每个所述文件分组，为所述文件分组分配解析线程，并使用所述解析线程对所述文件分组中的每个数据文件进行解析，得到所述文件分组中的每个数据文件的数据对象。

9.一种存储介质，其特征在于，所述存储介质包括存储的指令，其中，在所述指令运行时控制所述存储介质所在的设备执行如权利要求1～5任意一项所述的数据处理方法。

10.一种电子设备，其特征在于，包括存储器，以及一个或者一个以上的指令，其中一个或者一个以上指令存储于存储器中，且经配置以由一个或者一个以上处理器执行如权利要求1～5任意一项所述的数据处理方法。

Images