CN110083457A - 一种数据获取方法、装置以及数据分析方法、装置 - Google Patents

Abstract

本发明公开了一种数据获取方法、装置以及数据分析方法、装置，涉及计算机技术领域。该方法的一具体实施方式包括：获取各配置的接口调用信息，根据每一配置的接口调用信息生成一接口调用任务，每一接口调用任务用于调用一应用系统接口；当达到各接口调用任务的执行条件时，分别执行所述各接口调用任务，以通过调用各应用系统接口获取各应用系统数据。该实施方式能够实现以可配置的方式，动态添加接口调用和对返回结果的动态分析计算，减少新接口调用的代码开发和旧接口修改后的系统重新部署和重启，提高系统的可扩展性和可维护性。

Description

一种数据获取方法、装置以及数据分析方法、装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据获取方法、装置以及数据分析方法、装置。

背景技术

随着业务的增加和拓展，同一条业务线的业务系统越来越多，为了方便对业务的关键功能进行监控和分析，基本上每个业务系统都有相应的监控报表功能。这些监控报表分散在不同的业务系统中，有些监控指标在多个应用系统中都存在。这样对同一条业务线的业务指标(数据)查看非常不便，通常要登录多个业务系统去查询不同的指标，而且还可能存在同一个指标重复开发的问题。如果能把分散在各个业务系统的数据查询接口利用起来，这样既能快速地解决不同业务指标的数据收集和展示问题也能避免相同指标重复开发的问题。

对不同业务系统数据查询接口的调用都是通过企业内部的调度框架或者外部开源的统一调度框架来实现，以企业内部的调度框架为例，如果要添加一个新的数据接口的调用任务，需要在调度框架中先添加maven依赖，然后添加rpc(远程过程调用协议)客户端调用配置，添加数据接口调用任务类，在这个实现的类中对数据接口进行调用获取结果。现有技术方案，每当有新的数据接口接入或者对旧的接口进行替换时，都需要进行代码开发，需要频繁的对接口调用做代码变更然后上线。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

现有方案在获取数据时，接入新的数据获取接口非常麻烦，可扩展性差，并且获取到数据之后，现有方案无法对数据做动态解析和计算。

发明内容

有鉴于此，本发明实施例提供一种数据获取方法、装置以及数据分析方法、装置，能够实现以可配置的方式，动态添加接口调用和对返回结果的动态分析计算，减少新接口调用的代码开发和旧接口修改后的系统重新部署和重启，提高系统的可扩展性和可维护性。

为实现上述目的，根据本发明实施例的一个方面，提供了一种数据获取方法。

一种数据获取方法，包括：获取各配置的接口调用信息，根据每一配置的接口调用信息生成一接口调用任务，每一接口调用任务用于调用一应用系统接口；当达到各接口调用任务的执行条件时，分别执行所述各接口调用任务，以通过调用各应用系统接口获取各应用系统数据。

可选地，通过监听存储接口调用信息的服务器的数据变化，获取所述各配置的接口调用信息。

可选地，所述服务器为Zookeeper服务器。

可选地，所述数据变化包括添加数据和/或修改数据，根据每一配置的接口调用信息生成一接口调用任务的步骤，包括：当所述添加数据为添加新的接口调用信息，则根据所述新的接口调用信息生成相应的接口调用任务；当所述修改数据为修改已存的接口调用信息，则将所述已存的接口调用信息对应的当前接口调用任务更新为根据修改后的接口调用信息生成的新的接口调用任务。

可选地，当达到各接口调用任务的执行条件时，分别执行所述各接口调用任务，以通过调用各应用系统接口获取各应用系统数据的步骤，包括：循环遍历所述各接口调用任务，对于每一接口调用任务，如果该接口调用任务的状态为启动且达到该接口调用任务的预设执行时间，则：根据该接口调用任务对应的接口调用信息生成调用代理对象；通过所述调用代理对象，根据该接口调用任务对应的接口调用信息中配置的调用方法和方法参数，调用相应的应用系统接口，从而获取各应用系统数据。

可选地，获取各配置的接口调用信息的步骤之前，包括：通过用户交互页面接收用户配置的接口调用信息，并将所述用户配置的接口调用信息存储在服务器。

根据本发明实施例的另一方面，提供了一种对通过本发明数据获取方法获取的数据的分析方法。

一种对通过本发明数据获取方法获取的数据的分析方法，包括：按照各配置的分析计算规则，分别对获取到的各应用系统数据进行分析，以得到分析结果。

可选地，按照各配置的分析计算规则，分别对获取到的各应用系统数据进行分析，以得到分析结果的步骤，包括：根据各配置的数据过滤规则，分别对获取到的各应用系统数据进行数据过滤，以得到各应用系统的待分析数据集合；按照各配置的分析计算规则，分别对所述各应用系统的待分析数据集合中的数据进行分析，以得到分析结果。

可选地，通过监听存储数据过滤规则和分析计算规则的服务器的数据变化，得到所述各配置的数据过滤规则和所述各配置的分析计算规则。

可选地，所述配置的分析计算规则包括解析计算表达式，所述解析计算表达式包括所述待分析数据集合中的数据变量，按照各配置的分析计算规则，分别对所述各应用系统的待分析数据集合中的数据进行分析，以得到分析结果的步骤，包括：对于每一待分析数据集合中的数据，执行：根据所述解析计算表达式生成逆波兰表达式栈；根据该待分析数据集合中的数据，通过java反射机制获取对应所述逆波兰表达式栈中的所述数据变量的数值；按照所述解析计算表达式对所述数值进行解析计算，从而得到所述分析结果。

可选地，通过用户交互页面接收所述各配置的数据过滤规则和所述各配置的分析计算规则，并将所述各配置的数据过滤规则和所述各配置的分析计算规则存储在服务器。

根据本发明实施例的又一方面，提供了一种数据获取装置。

一种数据获取装置，包括：生成模块，用于获取各配置的接口调用信息，根据每一配置的接口调用信息生成一接口调用任务，每一接口调用任务用于调用一应用系统接口；执行模块，用于当达到各接口调用任务的执行条件时，分别执行所述各接口调用任务，以通过调用各应用系统接口获取各应用系统数据。

可选地，还包括第一监听模块，用于：通过监听存储接口调用信息的服务器的数据变化，获取所述各配置的接口调用信息。

可选地，所述服务器为Zookeeper服务器。

可选地，所述数据变化包括添加数据和/或修改数据，所述生成模块还用于：当所述添加数据为添加新的接口调用信息，则根据所述新的接口调用信息生成相应的接口调用任务；当所述修改数据为修改已存的接口调用信息，则将所述已存的接口调用信息对应的当前接口调用任务更新为根据修改后的接口调用信息生成的新的接口调用任务。

可选地，所述执行模块还用于：循环遍历所述各接口调用任务，对于每一接口调用任务，如果该接口调用任务的状态为启动且达到该接口调用任务的预设执行时间，则：根据该接口调用任务对应的接口调用信息生成调用代理对象；通过所述调用代理对象，根据该接口调用任务对应的接口调用信息中配置的调用方法和方法参数，调用相应的应用系统接口，从而获取各应用系统数据。

可选地，还包括第一交互模块，用于：通过用户交互页面接收用户配置的接口调用信息，并将所述用户配置的接口调用信息存储在服务器。

根据本发明实施例的又一方面，提供了一种对通过本发明数据获取装置获取的数据的分析装置。

一种对通过本发明数据获取装置获取的数据的分析装置，包括：分析模块，用于按照各配置的分析计算规则，分别对获取到的各应用系统数据进行分析，以得到分析结果。

可选地，所述分析模块还用于：根据各配置的数据过滤规则，分别对获取到的各应用系统数据进行数据过滤，以得到各应用系统的待分析数据集合；按照各配置的分析计算规则，分别对所述各应用系统的待分析数据集合中的数据进行分析，以得到分析结果。

可选地，所述装置还包括第二监听模块，用于：通过监听存储数据过滤规则和分析计算规则的服务器的数据变化，得到所述各配置的数据过滤规则和所述各配置的分析计算规则。

可选地，所述配置的分析计算规则包括解析计算表达式，所述解析计算表达式包括所述待分析数据集合中的数据变量，所述分析模块还用于：对于每一待分析数据集合中的数据，执行：根据所述解析计算表达式生成逆波兰表达式栈；根据该待分析数据集合中的数据，通过java反射机制获取对应所述逆波兰表达式栈中的所述数据变量的数值；按照所述解析计算表达式对所述数值进行解析计算，从而得到所述分析结果。

可选地，还包括第二交互模块，用于通过用户交互页面接收所述各配置的数据过滤规则和所述各配置的分析计算规则，并将所述各配置的数据过滤规则和所述各配置的分析计算规则存储在服务器。

根据本发明实施例的又一方面，提供了一种电子设备。

一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现本发明提供的数据获取方法和对通过本发明数据获取方法获取的数据的分析方法。

根据本发明实施例的又一方面，提供了一种计算机可读介质。

一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明提供的数据获取方法和对通过本发明数据获取方法获取的数据的分析方法。

上述发明中的一个实施例具有如下优点或有益效果：获取各配置的接口调用信息，根据每一配置的接口调用信息生成一接口调用任务，每一接口调用任务用于调用一应用系统接口；当达到各接口调用任务的执行条件时，分别执行各接口调用任务，以通过调用各应用系统接口获取各应用系统数据。按照各配置的分析计算规则，分别对获取到的各应用系统数据进行分析，以得到分析结果。能够实现以可配置的方式，动态添加接口调用和对返回结果的动态分析计算，使得用户在配置了对应的接口调用信息和分析计算规则后，后台系统可以自动调用数据接口获取数据，并根据配置的分析计算规则生成数据展示界面所需要的最终结果，从而减少新接口调用的代码开发和旧接口修改后的系统重新部署和重启，提高系统的可扩展性和可维护性，以及对返回结果的配置化解析和存储，保证系统的高可用性。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明实施例的数据获取方法的主要步骤示意图；

图2是根据本发明实施例的数据分析方法的优选步骤示意图；

图3是根据本发明实施例的数据获取和分析的优选流程示意图；

图4是根据本发明实施例的数据获取装置的主要模块示意图；

图5是根据本发明实施例的数据分析装置的优选模块示意图；

图6是根据本发明实施例的数据获取和分析的系统架构示意图；

图7是本发明实施例可以应用于其中的示例性系统架构图；

图8是适于用来实现本发明实施例的服务器的计算机系统的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1是根据本发明实施例的数据获取方法的主要步骤示意图。

如图1所示，本发明实施例的数据获取方法主要包括如下的步骤S101至步骤S102。

步骤S101：获取各配置的接口调用信息，根据每一配置的接口调用信息生成一接口调用任务。

每一接口调用任务用于调用一应用系统接口。应用系统接口可以是应用系统的数据rpc(远程过程调用协议)接口。

步骤S101之前，可通过用户交互页面接收用户配置的接口调用信息，并将该用户配置的接口调用信息存储在服务器和数据库表中。

该服务器具体可以为Zookeeper服务器。

用户可以在用户交互页面中的任务添加页面添加接口调用信息。接口调用信息可以包括调用的接口的信息、调用方法和方法参数、接口依赖maven(一个项目管理工具，可以用于jar包管理)信息等，接口依赖maven信息具体包括调用接口所依赖的数据包文件(即接口依赖jar包文件)信息。根据接口依赖maven信息可以从存储接口依赖jar包文件的文件系统或maven仓库中获取接口依赖jar包文件，并将接口依赖jar包文件中的类导入JVM(Java虚拟机)中。

该用户交互页面还可以接收用户输入的任务操作信息，任务操作信息可以包括对已生成的接口调用任务的状态配置的信息，例如修改当前接口调用任务的状态的指令，还可以包括用户对当前接口调用任务删除的指令等信息。根据修改当前接口调用任务的状态的指令可以对Zookeeper服务器中保存的当前接口调用任务的状态信息进行修改，根据对当前接口调用任务删除的指令可以对Zookeeper服务器中保存的当前接口调用任务执行删除操作。

可以通过监听上述服务器的数据变化，获取各配置的接口调用信息。该服务器的数据变化可以包括添加新的接口调用信息，和/或修改已存的接口调用信息。当用户通过用户交互页面输入了任务操作信息时，该数据变化还可以包括修改当前接口调用任务的状态，或删除当前接口调用任务。其中，添加新的接口调用信息属于服务器添加数据的情况，修改已存的接口调用信息和修改当前接口调用任务的状态属于服务器修改数据的情况，删除当前接口调用任务属于服务器删除数据的情况。

当监听到服务器的数据变化时，可以初步判断服务器的数据变化类型(添加数据、修改数据、或删除数据)，其中，若数据变化类型为添加数据，即服务器中添加了新的接口调用信息，则根据该新的接口调用信息生成相应的接口调用任务(可简称任务)。若数据变化类型为修改数据，则进一步判断是否为修改当前接口调用任务的状态，若否，表明数据变化为修改已存的接口调用信息，则从服务器获取修改后的数据内容(包括修改后的接口调用信息)，并将该已存的接口调用信息对应的当前接口调用任务更新为根据修改后的接口调用信息生成的新的接口调用任务；若是，则从服务器获取修改后的数据内容(包括修改后的当前接口调用任务的状态信息)，并判断该该修改后的状态信息为启动或停止，若为停止，则从节点任务调度容器获取该待停止的任务并将节点任务调度容器中该任务停止，若为启动，则从节点任务调度容器获取该待启动的任务并将该任务启动。若数据变化类型为删除数据，则从节点任务调度容器获取该待删除的任务，将该待删除的任务停止，然后将该任务从所在的节点任务调度容器中删除。通过该监听的机制，可以保证从服务器中获取到的接口调用信息为用户当前配置(包括修改/添加)的各接口调用信息(即最新接口调用信息)。

根据新的接口调用信息生成相应的接口调用任务的步骤，具体可以包括：从服务器(如Zookeeper节点)获取新的接口调用信息，根据该新的接口调用信息生成通用的任务调用类，并将该任务调用类的状态设置为启动，从而生成相应的接口调用任务。生成的接口调用任务可以存放到预设的节点任务调度容器中以等待执行。

将已存的接口调用信息对应的当前接口调用任务(即根据该已存的接口调用信息生成的接口调用任务，该任务当前状态通常为启动)更新为根据修改后的接口调用信息生成的新的接口调用任务的步骤，具体包括：从预设的节点任务调度容器中获取该当前接口调用任务，并将该当前接口调用任务的状态设置为停止，再从该节点任务调度容器将该当前接口调用任务删除，然后根据修改后的接口调用信息生成新的通用任务调用类，并将该生成的新的通用任务调用类的状态设置为启动，该生成的新的接口调用任务存放到预设的节点任务调度容器中，从而将预设的节点任务调度容器中的旧的接口调用任务更新为新的接口调用任务。

步骤S102：当达到各接口调用任务的执行条件时，分别执行各接口调用任务，以通过调用各应用系统接口获取各应用系统数据。

步骤S102具体可以包括：循环遍历各接口调用任务，对于每一接口调用任务，如果该接口调用任务的状态为启动且达到该接口调用任务的预设执行时间，则：根据该接口调用任务对应的接口调用信息生成调用代理对象；通过该调用代理对象，根据该接口调用任务对应的接口调用信息中配置的调用方法和方法参数，调用相应的应用系统接口，从而获取各应用系统数据。其中，生成的调用代理对象可被注册到spring(一个开源的轻量级的应用开发框架)容器中进行缓存。

调用代理对象可以为rpc(远程过程调用协议)调用代理对象。接口调用任务的状态即任务调用类的状态，通常在生成接口调用任务时将任务调用类的状态设置为启动，因此接口调用任务在生成之后立即执行，对于已经执行过的任务，根据该任务最近一次执行时间和执行周期判断该任务是否到再次执行的时间。当达到任务的执行时间，则交由线程池来执行任务。

执行接口调用任务的一个优选流程可以为：循环遍历各接口调用任务；判断各接口调用任务的状态，如果一接口调用任务的状态为启动，则将该任务放入线程池中执行；读取该接口调用任务对应的接口调用信息以初始化任务；判断spring容器中是否存在当前rpc调用代理对象，若存在，则根据配置的接口调用信息中的调用方法和方法参数调用相应的应用系统接口，以获取应用系统数据，若不存在，则根据对应的接口调用信息生成rpc调用代理对象，然后将生成的rpc调用代理对象注册到spring容器中，再则根据配置的接口调用信息中的调用方法和方法参数调用相应的应用系统接口，以获取应用系统数据；将获取到的应用系统数据保存在本地缓存。

本发明实施例的数据获取方法能够在不编写代码的情况下实现对rpc接口的动态调用，以可配置化的方式对rpc接口进行配置化调用，保证了系统的高可用性、可维护性和可扩展性。

图2是根据本发明实施例的数据分析方法的优选步骤示意图。

本发明实施例的数据分析方法用于对通过本发明实施例的数据获取方法获取的数据进行分析，以得到数据展示界面所需要的最终结果。本发明实施例的数据分析方法主要包括：按照各配置的分析计算规则，分别对获取到的各应用系统数据进行分析，以得到分析结果。

本发明实施例的数据分析方法的优选步骤包括步骤S201至步骤S202。

步骤S201：根据各配置的数据过滤规则，分别对获取到的各应用系统数据进行数据过滤，以得到各应用系统的待分析数据集合。

其中，在读取获取到的各应用系统数据后，读取各配置的数据过滤规则和数据过滤规则列表，根据各配置的数据过滤规则，可通过java反射机制过滤出符合预设条件的数据。数据过滤规则可以根据需求来设定，例如过滤获取到的数据中某个对象的属性值为指定值的数据，来得到待分析数据集合。

步骤S202：按照各配置的分析计算规则，分别对各应用系统的待分析数据集合中的数据进行分析，以得到分析结果。

通过用户交互页面接收各配置的数据过滤规则和各配置的分析计算规则，并将各配置的数据过滤规则和各配置的分析计算规则存储在服务器。并且在具体实施时，用户可以在用户交互页面上配置接口调用信息的同时配置各数据过滤规则和各分析计算规则，在执行各接口调用任务，从而通过调用各应用系统接口获取到各应用系统数据之后，自动读取获取到的各应用系统数据，根据用户通过用户交互页面配置的各数据过滤规则和各分析计算规则自动执行数据分析的流程。

各配置的数据过滤规则和各配置的分析计算规则具体可存储于Zookeeper服务器。

通过监听该Zookeeper服务器中数据变化，得到各配置的数据过滤规则和各配置的分析计算规则。即，当监听到Zookeeper服务器中数据变化时，则从Zookeeper服务器获取最新存入的数据过滤规则和分析计算规则。该数据变化可以包括添加新的数据过滤规则和分析计算规则，和/或，修改已存的数据过滤规则和分析计算规则，通过该监听的机制来获取各配置的数据过滤规则和各配置的分析计算规则，可以保证获取到的数据过滤规则和分析计算规则为用户当前配置的数据过滤规则和分析计算规则(即最新数据过滤规则和最新分析计算规则)

配置的分析计算规则可包括解析计算表达式，该解析计算表达式具体包括所述待分析数据集合中的数据变量。

步骤S202具体可以包括：对于每一待分析数据集合中的数据，执行：根据解析计算表达式生成逆波兰表达式栈；根据该待分析数据集合中的数据，通过java反射机制获取对应逆波兰表达式栈中的数据变量的数值；按照解析计算表达式对该数值进行解析计算，从而得到分析结果。

按照解析计算表达式对该数值进行解析计算，从而得到分析结果，具体包括：将该数值替换解析计算表达式中的变量，生成结果计算树，从而得到分析结果。

本发明实施例的数据分析方法可以在不编写代码的情况下对rpc接口的动态调用结果的动态解析，采用可配置化的方式对rpc接口调用进行配置化的结果解析，保证了系统的高可用性、可维护性和可扩展性。

本发明实施例的数据获取方法和数据分析方法在具体实现时，可以通过统一流程来自动化实现数据的获取和分析，即在用户交互页面可以提供统一的用户入口来供用户配置接口调用信息、数据过滤规则、分析计算规则等信息，在接收到用户配置的接口调用信息、数据过滤规则、分析计算规则等信息之后，先执行数据获取流程的后续步骤，再自动对获取到的数据执行数据分析流程的后续步骤。

图3是根据本发明实施例的数据获取和分析的优选流程示意图。

如图3所示，本发明实施例的数据获取和分析的优选流程包括如下的步骤S301至步骤S313。

步骤S301：接收用户配置的各任务信息。

配置的任务信息可以包括接口调用信息、数据过滤规则和分析计算规则，还可以包括用户输入对任务的操作信息(任务操作信息)，包括对已生成的接口调用任务的状态的操作(配置)信息，例如修改当前接口调用任务的状态的指令，对当前接口调用任务删除的指令等信息。

配置的任务信息可存储于Zookeeper服务器，Zookeeper服务器中还存有已经生成的接口调用任务的状态信息。根据修改当前接口调用任务的状态的指令可以对Zookeeper服务器中保存的当前接口调用任务的状态信息进行修改，根据对当前接口调用任务删除的指令可以对Zookeeper服务器中保存的当前接口调用任务执行删除操作。

步骤S302：监听Zookeeper服务器的数据变化。

其中，Zookeeper服务器的数据变化包括添加数据、修改数据、删除数据，添加数据包括添加新的接口调用信息、数据过滤规则和分析计算规则，修改数据包括修改已存的接口调用信息、数据过滤规则和分析计算规则以及修改当前接口调用任务的状态，删除数据包括删除当前接口调用任务。

步骤S303：判断Zookeeper服务器的数据变化类型，若为添加数据，则执行步骤S304；若为修改数据，则执行步骤S305；若为删除数据，则执行步骤S306。

步骤S304：获取配置的各任务信息，并根据配置的各任务信息中的各接口调用信息，分别生成相应的接口调用任务。

每一接口调用任务用于调用一应用系统接口。

该配置的各任务信息包括Zookeeper服务器中添加的各接口调用信息、数据过滤规则和分析计算规则。

执行完步骤S304之后，执行步骤S309。

步骤S305：判断是否修改当前接口调用任务的状态，若是，则执行步骤S307，否则执行步骤S308。

具体地，即判断Zookeeper服务器中保存的当前接口调用任务的状态是否发生修改，若是，则执行步骤S307，否则表示Zookeeper服务器中数据修改为修改已存的接口调用信息、数据过滤规则和分析计算规则，则执行步骤S308。

步骤S306：将要删除的任务从节点任务调度容器中删除。

步骤S307：修改节点任务调度容器中相应任务的状态。

具体地，获取Zookeeper服务器中该当前接口调用任务的修改后的状态信息，根据该修改后的状态信息将节点任务调度容器中该任务的状态修改为相应状态。

步骤S308：将该已存的接口调用信息对应的当前接口调用任务更新为根据修改后的接口调用信息生成的新的接口调用任务。

步骤S309：将步骤S304中生成的接口调用任务和步骤S308中生成的新的接口调用任务存储于节点任务调度容器中。

步骤S310：将节点任务调度容器中达到执行条件的接口调用任务放入线程池中执行，以通过调用各应用系统接口获取各应用系统数据。

步骤S311：将获取到的各应用系统数据放入缓存。

步骤S312：读取缓存中的各应用系统数据，根据配置的各任务信息中的数据过滤规则，分别对各应用系统数据进行数据过滤，以得到各应用系统的待分析数据集合。

步骤S313：按照各配置的各任务信息中的分析计算规则，分别对各待分析数据集合中的数据进行分析，以得到分析结果。

图4是根据本发明实施例的数据获取装置的主要模块示意图。

本发明实施例的数据获取装置400主要包括：生成模块401、执行模块402。

生成模块401用于获取各配置的接口调用信息，根据每一配置的接口调用信息生成一接口调用任务，每一接口调用任务用于调用一应用系统接口。

数据获取装置400还可以包括第一交互模块，用于：通过用户交互页面接收用户配置的接口调用信息，并将用户配置的接口调用信息存储在服务器。

数据获取装置400还可以包括第一监听模块，用于：通过监听该服务器的数据变化，获取各配置的接口调用信息。

该服务器具体可以为Zookeeper服务器。

生成模块401具体可以用于：当服务器的数据变化为添加新的接口调用信息，则根据新的接口调用信息生成相应的接口调用任务；当服务器的数据变化为修改已存的接口调用信息，则将已存的接口调用信息对应的当前接口调用任务更新为根据修改后的接口调用信息生成的新的接口调用任务。

执行模块402用于当达到各接口调用任务的执行条件时，分别执行各接口调用任务，以通过调用各应用系统接口获取各应用系统数据。

执行模块402具体可以用于：循环遍历各接口调用任务，对于每一接口调用任务，如果该接口调用任务的状态为启动且达到该接口调用任务的预设执行时间，则：根据该接口调用任务对应的接口调用信息生成调用代理对象；通过调用代理对象，根据该接口调用任务对应的接口调用信息中配置的调用方法和方法参数，调用相应的应用系统接口，从而获取各应用系统数据。

图5是根据本发明实施例的数据分析装置的优选模块示意图。

本发明实施例的数据分析装置500用于对通过本发明实施例的数据获取装置400获取的数据进行分析，以得到数据展示界面所需要的最终结果。本发明实施例的数据分析装置500主要包括分析模块(图中未示出)：用于按照各配置的分析计算规则，分别对获取到的各应用系统数据进行分析，以得到分析结果。

本发明实施例的数据分析装置500的优选模块中：分析模块(图中未画出)可以包括：过滤子模块501、分析子模块502。

过滤子模块501用于根据各配置的数据过滤规则，分别对获取到的各应用系统数据进行数据过滤，以得到各应用系统的待分析数据集合。

在读取获取到的各应用系统数据后，读取各配置的数据过滤规则和数据过滤规则列表，根据各配置的数据过滤规则，可通过java反射机制过滤出符合预设条件的数据。数据过滤规则可以根据需求来设定，例如过滤获取到的数据中某个对象的属性值为指定值的数据，来得到待分析数据集合。

分析子模块502用于按照各配置的分析计算规则，分别对各应用系统的待分析数据集合中的数据进行分析，以得到分析结果。

数据分析装置500还可以包括第二交互模块，用于通过用户交互页面接收各配置的数据过滤规则和各配置的分析计算规则，并将各配置的数据过滤规则和各配置的分析计算规则存储在服务器。

各配置的数据过滤规则和各配置的分析计算规则可以存储于Zookeeper服务器。

数据分析装置500还可以包括第二监听模块，用于：通过监听Zookeeper服务器中数据变化，得到各配置的数据过滤规则和各配置的分析计算规则。

配置的分析计算规则可包括解析计算表达式，解析计算表达式具体包括待分析数据集合中的数据变量。

分析子模块502具体用于：对于每一待分析数据集合中的数据，执行：根据解析计算表达式生成逆波兰表达式栈；根据该待分析数据集合中的数据，通过java反射机制获取对应逆波兰表达式栈中的数据变量的数值；按照解析计算表达式对数据变量的数值进行解析计算，从而得到分析结果。

另外，在本发明实施例中数据获取装置和数据分析装置的具体实施内容，在上面所述数据获取方法和数据分析方法中已经详细说明了，故在此重复内容不再说明。

本发明实施例的数据获取装置和数据分析装置在具体实施时，可以通过统一的系统架构来自动化实现数据的获取和分析，即在用户交互页面可以提供统一的用户入口来供用户配置接口调用信息、数据过滤规则、分析计算规则等信息，在接收到用户配置的接口调用信息、数据过滤规则、分析计算规则等信息之后，先执行数据获取装置的相应功能，再自动执行数据分析装置的相应功能。

图6是根据本发明实施例的数据获取和分析的系统架构示意图。

本发明实施例的数据获取和分析的系统架构主要包括：用户交互模块、应用系统、数据库、文件存储服务(即文件系统)、数据接口调度执行系统、rpc服务系统、Zookeeper服务器。

其中，用户交互模块可以实现上述的数据获取装置400中的第一交互模块和数据分析装置500中的第二交互模块的对应功能，用于通过用户交互页面接收用户配置的任务信息，任务信息具体包括接口调用信息、各数据过滤规则和各分析计算规则，并将配置的任务信息存储在数据库和Zookeeper服务器中。

应用系统负责提供各应用系统的数据rpc接口。文件存储服务例如NAS共享存储服务器，用于存储数据rpc接口的jar包文件。

数据接口调度执行系统执行数据获取装置400和数据分析装置500的相应功能(除由上述的用户交互模块实现的功能外)，具体包括：当用户通过用户交互模块接收到配置的任务信息之后，数据接口调度执行系统会根据配置的接口依赖maven信息(具体包括调用接口所依赖的数据包文件(即接口依赖jar包文件)信息)去文件存储服务(即文件系统)中查询是否已近存在接口依赖jar包，如果不存在，则去maven仓库中下载对应的jar包存在到文件系统中，将jar包的类导入到JVM中，任务信息存储于数据库表和Zookeeper中。数据接口调度执行系统启动时会根据节点信息从Zookeeper服务器中获取当前节点下的任务信息，根据任务信息生成接口调用任务，将接口调用任务交给统一调度任务进行任务调度执行，并且，数据接口调度执行系统的Zookeeper节点监听器在监听到Zookeeper服务器的数据变化时，会重新获取Zookeeper服务器中的任务信息，以根据配置的任务信息生成接口调用任务，并存放到节点任务调度容器中等待任务执行，当获取到各应用系统数据时，自动执行对获取到的各应用系统数据进行过滤，并根据配置的分析计算规则自动进行数据分析，得到分析结果，其中，Zookeeper节点监听器可以实现数据获取装置400中的第一监听模块和数据分析装置500中的第二监听模块的对应功能。

rpc服务系统为分布式服务系统，rpc调用代理对象与rpc服务系统进行通信来完成数据rpc接口的调用。

数据库和Zookeeper服务器用于保存用户配置的任务信息，以及保存各任务的状态等信息，数据库还用于保存获取到的应用系统数据以及对应用系统数据的分析结果。

图7示出了可以应用本发明实施例的数据获取方法和数据分析方法或数据获取装置和数据分析装置的示例性系统架构700。

如图7所示，系统架构700可以包括终端设备701、702、703，网络704和服务器705。网络704用以在终端设备701、702、703和服务器705之间提供通信链路的介质。网络704可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备701、702、703通过网络704与服务器705交互，以接收或发送消息等。终端设备701、702、703上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。

终端设备701、702、703可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器705可以是提供各种服务的服务器，例如对用户利用终端设备701、702、703所浏览的购物类网站提供支持的后台管理服务器。后台管理服务器可以对接收到的数据获取请求等数据进行分析等处理，并将处理结果(例如产品信息)反馈给终端设备。

需要说明的是，本发明实施例所提供的数据获取方法和数据分析方法一般由服务器705执行，相应地，数据获取装置和数据分析装置一般设置于服务器705中。

应该理解，图7中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

下面参考图8，其示出了适于用来实现本申请实施例的服务器的计算机系统800的结构示意图。图8示出的服务器仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图8所示，计算机系统800包括中央处理单元(CPU)801，其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。在RAM 803中，还存储有系统800操作所需的各种程序和数据。CPU 801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。

以下部件连接至I/O接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元(CPU)801执行时，执行本申请的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括生成模块401、执行模块402。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，生成模块401还可以被描述为“用于获取各配置的接口调用信息，根据每一配置的接口调用信息生成一接口调用任务的模块”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：获取各配置的接口调用信息，根据每一配置的接口调用信息生成一接口调用任务，每一接口调用任务用于调用一应用系统接口；当达到各接口调用任务的执行条件时，分别执行所述各接口调用任务，以通过调用各应用系统接口获取各应用系统数据。以及，按照各配置的分析计算规则，分别对获取到的各应用系统数据进行分析，以得到分析结果。

根据本发明实施例的技术方案，获取各配置的接口调用信息，根据每一配置的接口调用信息生成一接口调用任务，每一接口调用任务用于调用一应用系统接口；当达到各接口调用任务的执行条件时，分别执行各接口调用任务，以通过调用各应用系统接口获取各应用系统数据。按照各配置的分析计算规则，分别对获取到的各应用系统数据进行分析，以得到分析结果。能够实现以可配置的方式，动态添加接口调用和对返回结果的动态分析计算，使得用户在配置了对应的接口调用信息和分析计算规则后，后台系统可以自动调用数据接口获取数据，并根据配置的分析计算规则生成数据展示界面所需要的最终结果，从而减少新接口调用的代码开发和旧接口修改后的系统重新部署和重启，提高系统的可扩展性和可维护性，以及对返回结果的配置化解析和存储，保证系统的高可用性。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (24)

1.一种数据获取方法，其特征在于，包括：

获取各配置的接口调用信息，根据每一配置的接口调用信息生成一接口调用任务，每一接口调用任务用于调用一应用系统接口；

当达到各接口调用任务的执行条件时，分别执行所述各接口调用任务，以通过调用各应用系统接口获取各应用系统数据。

2.根据权利要求1所述的方法，其特征在于，通过监听存储接口调用信息的服务器的数据变化，获取所述各配置的接口调用信息。

3.根据权利要求2所述的方法，其特征在于，所述服务器为Zookeeper服务器。

4.根据权利要求2所述的方法，其特征在于，所述数据变化包括添加数据和/或修改数据，

根据每一配置的接口调用信息生成一接口调用任务的步骤，包括：

当所述添加数据为添加新的接口调用信息，则根据所述新的接口调用信息生成相应的接口调用任务；

当所述修改数据为修改已存的接口调用信息，则将所述已存的接口调用信息对应的当前接口调用任务更新为根据修改后的接口调用信息生成的新的接口调用任务。

5.根据权利要求1所述的方法，其特征在于，当达到各接口调用任务的执行条件时，分别执行所述各接口调用任务，以通过调用各应用系统接口获取各应用系统数据的步骤，包括：

循环遍历所述各接口调用任务，对于每一接口调用任务，如果该接口调用任务的状态为启动且达到该接口调用任务的预设执行时间，则：

根据该接口调用任务对应的接口调用信息生成调用代理对象；

通过所述调用代理对象，根据该接口调用任务对应的接口调用信息中配置的调用方法和方法参数，调用相应的应用系统接口，从而获取各应用系统数据。

6.根据权利要求1所述的方法，其特征在于，获取各配置的接口调用信息的步骤之前，包括：

通过用户交互页面接收用户配置的接口调用信息，并将所述用户配置的接口调用信息存储在服务器。

7.一种对通过权利要求1至6中任一方法获取的数据的分析方法，其特征在于，包括：

按照各配置的分析计算规则，分别对获取到的各应用系统数据进行分析，以得到分析结果。

8.根据权利要求7所述的方法，其特征在于，按照各配置的分析计算规则，分别对获取到的各应用系统数据进行分析，以得到分析结果的步骤，包括：

根据各配置的数据过滤规则，分别对获取到的各应用系统数据进行数据过滤，以得到各应用系统的待分析数据集合；

按照各配置的分析计算规则，分别对所述各应用系统的待分析数据集合中的数据进行分析，以得到分析结果。

9.根据权利要求8所述的方法，其特征在于，通过监听存储数据过滤规则和分析计算规则的服务器的数据变化，得到所述各配置的数据过滤规则和所述各配置的分析计算规则。

10.根据权利要求8所述的方法，其特征在于，所述配置的分析计算规则包括解析计算表达式，所述解析计算表达式包括所述待分析数据集合中的数据变量，

按照各配置的分析计算规则，分别对所述各应用系统的待分析数据集合中的数据进行分析，以得到分析结果的步骤，包括：

对于每一待分析数据集合中的数据，执行：

根据所述解析计算表达式生成逆波兰表达式栈；

根据该待分析数据集合中的数据，通过java反射机制获取对应所述逆波兰表达式栈中的所述数据变量的数值；

按照所述解析计算表达式对所述数值进行解析计算，从而得到所述分析结果。

11.根据权利要求8所述的方法，其特征在于，通过用户交互页面接收所述各配置的数据过滤规则和所述各配置的分析计算规则，并将所述各配置的数据过滤规则和所述各配置的分析计算规则存储在服务器。

12.一种数据获取装置，其特征在于，包括：

生成模块，用于获取各配置的接口调用信息，根据每一配置的接口调用信息生成一接口调用任务，每一接口调用任务用于调用一应用系统接口；

执行模块，用于当达到各接口调用任务的执行条件时，分别执行所述各接口调用任务，以通过调用各应用系统接口获取各应用系统数据。

13.根据权利要求12所述的装置，其特征在于，还包括第一监听模块，用于：

通过监听存储接口调用信息的服务器的数据变化，获取所述各配置的接口调用信息。

14.根据权利要求13所述的装置，其特征在于，所述服务器为Zookeeper服务器。

15.根据权利要求13所述的装置，其特征在于，所述数据变化包括添加数据和/或修改数据，

所述生成模块还用于：

当所述添加数据为添加新的接口调用信息，则根据所述新的接口调用信息生成相应的接口调用任务；

当所述修改数据为修改已存的接口调用信息，则将所述已存的接口调用信息对应的当前接口调用任务更新为根据修改后的接口调用信息生成的新的接口调用任务。

16.根据权利要求12所述的装置，其特征在于，所述执行模块还用于：

循环遍历所述各接口调用任务，对于每一接口调用任务，如果该接口调用任务的状态为启动且达到该接口调用任务的预设执行时间，则：

根据该接口调用任务对应的接口调用信息生成调用代理对象；

通过所述调用代理对象，根据该接口调用任务对应的接口调用信息中配置的调用方法和方法参数，调用相应的应用系统接口，从而获取各应用系统数据。

17.根据权利要求12所述的装置，其特征在于，还包括第一交互模块，用于：

通过用户交互页面接收用户配置的接口调用信息，并将所述用户配置的接口调用信息存储在服务器。

18.一种对通过权利要求12至17中任一装置获取的数据的分析装置，其特征在于，包括：

分析模块，用于按照各配置的分析计算规则，分别对获取到的各应用系统数据进行分析，以得到分析结果。

19.根据权利要求18所述的装置，其特征在于，所述分析模块还用于：

根据各配置的数据过滤规则，分别对获取到的各应用系统数据进行数据过滤，以得到各应用系统的待分析数据集合；

按照各配置的分析计算规则，分别对所述各应用系统的待分析数据集合中的数据进行分析，以得到分析结果。

20.根据权利要求19所述的装置，其特征在于，所述装置还包括第二监听模块，用于：

通过监听存储数据过滤规则和分析计算规则的服务器的数据变化，得到所述各配置的数据过滤规则和所述各配置的分析计算规则。

21.根据权利要求19所述的装置，其特征在于，所述配置的分析计算规则包括解析计算表达式，所述解析计算表达式包括所述待分析数据集合中的数据变量，

所述分析模块还用于：

对于每一待分析数据集合中的数据，执行：

根据所述解析计算表达式生成逆波兰表达式栈；

根据该待分析数据集合中的数据，通过java反射机制获取对应所述逆波兰表达式栈中的所述数据变量的数值；

按照所述解析计算表达式对所述数值进行解析计算，从而得到所述分析结果。

22.根据权利要求19所述的装置，其特征在于，还包括第二交互模块，用于通过用户交互页面接收所述各配置的数据过滤规则和所述各配置的分析计算规则，并将所述各配置的数据过滤规则和所述各配置的分析计算规则存储在服务器。

23.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-11中任一所述的方法。

24.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-11中任一所述的方法。