CN108446172A - 数据调取方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种数据调取方法、装置、计算机设备和存储介质。所述方法包括：接收当前终端发送的数据调取请求，数据调取请求携带有调取时间和当前终端的终端标识；根据调取时间将数据调取请求进行存储；接收空闲终端发送的任务执行请求，根据任务执行请求选取调取时间在前的数据调取请求；将数据调取请求发送至空闲终端，并接收空闲终端返回的与数据调取请求对应的调取数据；将调取数据发送至与终端标识对应的当前终端。采用本方法能够通过服务器对各终端的数据调取请求进行集中管理，充分利用各个终端的资源，合理分配调取任务，提高数据调取效率。

Description

数据调取方法、装置、计算机设备和存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种数据调取方法、装置、计算机设备和存储介质。

背景技术

随着现代科技的发展，在当前的大数据时代，人们现在每天都面对海量数据，因而对数据的加工与管理方法越来越变得十分必要，很多时候，我们需要处理分散在不同系统的不同格式的数据；所以需要先从不同的系统中将分散的数据调取出来。

传统数据调取方法中，通常采用在需要调取一个数据时，根据需求调取时间由单个终端执行调取的操作；但是如果需要调取的数据分散在不同系统中，且数据格式较为多样化时，在调取这些数据需要花费大量的调取时间，数据调取的效率较低。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高调取效率的数据调取方法、装置、计算机设备和存储介质。

一种数据调取方法，所述方法包括：

接收当前终端发送的数据调取请求，所述数据调取请求携带有调取时间和所述当前终端的终端标识；

根据所述调取时间将所述数据调取请求进行存储；

接收空闲终端发送的任务执行请求，根据所述任务执行请求选取调取时间在前的数据调取请求；

将选取的数据调取请求发送至所述空闲终端，并接收所述空闲终端返回的与所述选取的数据调取请求对应的调取数据；

将所述调取数据发送至与所述终端标识对应的当前终端。

在其中的一个实施例中，所述接收所述空闲终端返回的与所述选取的数据调取请求对应的调取数据之前，还包括：

接收所述空闲终端发送的与所述选取的数据调取请求对应的通信协议获取请求；

根据所述通信协议获取请求向所述空闲终端发送通信协议，所述通信协议用于供所述空闲终端与目标数据库进行通信。

在其中的一个实施例中，所述根据所述调取时间将所述数据调取请求进行存储，包括：

根据预设分割规则将所述数据调取请求进行分割，并将分割后的所述数据调取请求进行存储；

所述根据所述任务执行请求选取调取时间在前的数据调取请求，包括：

根据所述任务执行请求选取调取时间在前的所述分割后的数据调取请求。

在其中的一个实施例中，所述将所述选取的数据调取请求发送至所述空闲终端，并接收所述空闲终端返回的与所述选取的数据调取请求对应的调取数据，包括：

将所述选取的分割后的数据调取请求发送至所述空闲终端；

接收所述空闲终端返回的与所述选取的分割后的数据调取请求对应的调取数据；

将所接收的调取数据进行组合得到与分割前的所述数据调取请求对应的完整数据。

在其中的一个实施例中，所述方法还包括：

根据所述调取时间检测已存储的数据调取请求是否超时；

当存在超时的数据调取请求，检测所述超时的数据调取请求是否已发送至所述空闲终端；

当所述超时的数据调取请求已发送至所述空闲终端，向所述空闲终端发送停止执行所述数据调取请求的指令，并接收所述空闲终端返回的异常信息。

在其中的一个实施例中，所述检测所述超时的数据调取请求是否已发送至所述空闲终端之后，还包括：

当所述超时的数据调取请求未发送至所述空闲终端，向与所述数据调取请求对应的所述当前终端发送第一过期提醒。

在其中的一个实施例中，所述根据所述调取时间将所述数据调取请求进行存储之前，还包括：

根据所述调取时间检测所述数据调取请求是否过期；

若所述数据调取请求过期，则向所述终端标识对应的所述当前终端发送第二过期提醒。

一种数据调取装置，所述装置包括：

接收模块，用于接收当前终端发送的数据调取请求，所述数据调取请求携带有调取时间和所述当前终端的终端标识；

存储模块，用于根据所述调取时间将所述数据调取请求进行存储；

请求模块，用于接收空闲终端发送的任务执行请求，根据所述任务执行请求选取调取时间在前的数据调取请求；

数据获取模块，用于将选取的所述数据调取请求发送至所述空闲终端，并接收所述空闲终端返回的与选取的所述数据调取请求对应的调取数据；

数据返回模块，用于将所述调取数据发送至与所述终端标识对应的当前终端。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。

上述数据调取方法、装置、计算机设备和存储介质，将所有服务器下面的终端所接收的数据调取请求通过各自的调取时间，汇总到服务器存储，根据数据调取请求的调取时间集中进行管理，当某一终端处于空闲状态时，则向服务器发送一个任务执行请求，由服务器按照调取时间的缓急选取调取任务分配到处于空闲状态的终端进行数据调取的操作，再接收调取成功的数据，并将数据返回至接收数据调取请求的终端；通过服务器的集中管理，可以充分利用各个终端的资源，合理分配调取任务，在处理分散在不同系统中，且数据格式较为多样化时的数据调取请求时，也可以根据不同的调取需求分配不同的终端来执行，提高了数据调取的效率。

附图说明

图1为一个实施例中数据调取方法的应用场景图；

图2为一个实施例中数据调取方法的流程示意图；

图3为一个实施例中数据调取方法的时序图；

图4为一个实施例中数据调取装置的结构框图；

图5为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的数据调取方法，可以应用于如图1所示的应用环境中。其中，多个终端与服务器通过网络进行通信，一台服务器可以管理与其连接的多台终端，终端可以与数据调取请求对应的不同目标数据库通过网络通信。与同一服务器连接的所有终端都可以将需要执行的数据调取请求发送至服务器中，由服务器根据每个数据调取请求的调取时间来管理这些数据调取请求，其中，将产生数据调取请求的终端称为当前终端，当终端中存在空闲终端时，空闲终端可以向服务器请求服务器中管理的数据调取请求，服务器根据调取时间将数据调取请求分配到空闲终端，由空闲终端执行调取数据的任务，例如空闲终端获取数据调取请求中的目标数据库的地址，再向目标数据库请求与数据调取请求对应的调取数据，再将调取后的调取数据返回服务器，由服务器再返回至该数据调取请求对应的终端；其中，当前终端与空闲终端可以为同一个终端，也可以是不同的终端。通过同一服务器管理多个终端，并选择空闲终端执行服务器管理的所有终端的数据调取请求的方式，能够充分利用各个终端的资源，合理分配调取任务，提高数据调取效率。其中，终端可以但不限于是各种个人计算机、笔记本电脑、平板电脑等，服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现，目标数据库可以但不限于是调取数据存储的网站或者数据库等。

在一个实施例中，如图2所示，提供了一种数据调取方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：

S202，接收当前终端发送的数据调取请求，数据调取请求携带有调取时间和当前终端的终端标识。

其中，当前终端是需要执行数据调取请求的终端。数据调取请求是当前终端发送给服务器的消息数据，是服务器管理的终端在某一调取时间需要从目标数据库调取数据的请求任务；当前终端向服务器发送数据调取请求也可以通过邮件或者通知消息的方式。调取时间是此数据调取请求预设的执行时间，即空闲终端在到达调取时间时执行该数据调取请求。在通过服务器集中管理多台终端的数据调取请求时，每个数据调取请求需要注明调取时间，服务器在管理时可以将调取时间在前的先分配给空闲终端执行。如一个服务器中管理10台终端设备，标号从1至10，在一次数据调取请求中规定5号终端在每天的早上八点需要去某个目标数据库中调取前一天发生的交易数据，则5号终端为当前终端，每天的早上八点则为调取时间。

终端标识是服务器可以唯一地确定发送数据调取请求的当前终端的标识；该终端标识可以是当前终端的IP地址或者MAC地址(Media Access Control，介质访问控制地址，是一种用于识别局域网节点的标识，也被称为物理地址)，也可以是在同一个服务器下管理的终端的序号等信息，或者是序号与IP地址的结合等。

具体地，当服务器管理与其通过网络连接的多个终端中存在数据调取请求时，则将此数据调取请求的调取时间和此终端的终端标识与数据调取请求一起发送至服务器。

S204，根据调取时间将数据调取请求进行存储。

具体地，在步骤S202中，服务器接收到当前终端发送的数据调取请求之后，需要将所有的数据调取请求存储到服务器本地。服务器可以根据存储的数据调取请求建立任务池，根据调取时间将任务池中的数据调取请求进行顺序存储，通过安装于服务器的Redis(一种支持多线程管理的常用数据库)等程序的多线程同步管理调取时间不同的数据调取请求，建立数据调取请求的管理队列；如果服务器端接收到调取时间在前的新的数据调取请求，可以将新的数据调取请求插入已存储的管理队列。服务器可以通过定时执行器，将不同的周期频率、不同延时要求的数据调取请求进行统一管理。

S206，接收空闲终端发送的任务执行请求，根据任务执行请求选取调取时间在前的数据调取请求。

其中，空闲终端是与服务器通过网络连接的终端中在某一时间段处于空闲状态的终端；当某一终端检测到当前处于空闲状态时，即向服务器发送任务执行请求。其中终端可以检测自身的CPU(Central Processing Unit中央处理器)资源占用率或者计算速率等参数来确定终端是否处于空闲状态，例如当CPU的资源占用率少于预设值或计算速率高于预设值时，则判定终端当前处于空闲状态，从而终端可以向服务器发送任务执行请求。

具体地，当某一终端处于空闲状态时，向服务器发送任务执行请求，表示此终端在本段时间内可以处于数据调取请求，服务器接收到此任务执行请求时，可以从本地存储或者任务池中的数据调取请求中选取调取时间在先的或者调取时间与空闲终端的空闲时间重合的数据调取请求发送到此空闲终端，由此空闲终端可以执行服务器发送的数据调取请求。且空闲终端在接收服务器发送的数据调取请求后，服务器中对此数据调取请求标注为已分配，防止此数据调取请求被二次分配执行。

可选地，服务器根据任务执行请求选取调取时间在前的数据调取请求的步骤还可以包括：服务器根据发送任务执行请求的空闲终端所在的运行环境，选择与调取数据的对应的目标数据库位于同一局域网的空闲终端执行该数据调取请求。

S208，将选取的数据调取请求发送至空闲终端，并接收空闲终端返回的与选取的数据调取请求对应的调取数据。

其中，调取数据是数据调取请求被执行后得到的数据，是空闲终端在到达调取时间时执行数据调取请求，从数据调取请求对应的目标数据库调取回的数据。

具体地，服务器将步骤S206中选取的数据调取请求发送至申请任务执行请求的空闲终端，空闲终端在到达调取时间后从目标数据库请求调取数据，调取成功后，空闲终端再将调取回的调取数据发送给服务器，完成此次的数据调取任务；且服务器在接收到空闲终端返回的调取数据后，可以将该调取数据对应的数据调取请求标注任务完成，从而防止该数据调取请求再次被执行。

其中，空闲终端在获取数据调取请求后，从目标数据库获取调取数据的步骤可以包括：空闲终端在到达数据调取请求的调取时间后，向数据调取请求对应的目标数据库发送数据请求，并接收目标数据库根据数据请求返回的调取数据，空闲终端再将调取数据发送给服务器。

具体地，空闲终端接收服务器分配的数据调取请求后，对调取时间进行监控，当到达数据调取请求对应的调取时间后，则开始向目标数据库发送数据请求以开始数据调取操作，在数据调取过程中，由于调取数据在目标数据库的存储位置可能较为复杂，空闲终端可以根据“红黑树”遍历法(一种数据遍历方法)，在目标数据库中寻找对应的调取数据，最终获取调取数据。在接收到目标数据库返回的调取数据后，空闲终端可以根据与数据调取请求对应的要求对调取数据进行汇总、落表、整合，减少传输的数据量，提高数据运输效率。

可选地，为保证空闲终端与目标数据库对应的数据库或网站的数据交互安全，可以对二者之间的数据交互采用加密的方法，完成安全的数据交互过程。

S210，将调取数据发送至与终端标识对应的当前终端。

具体地，空闲终端将调取数据发送至服务器后，服务器根据此数据调取请求对应的终端标识，将调取数据发送至产生该数据调取请求的当前终端，当前终端完成此次的数据调取请求。

上述数据调取方法，将服务器所连接的当前终端发送的数据调取请求通过各自的调取时间汇总到服务器存储，根据数据调取请求的调取时间集中进行管理，当某一终端处于空闲状态时，则向服务器发送一个任务执行请求，由服务器按照调取时间的选取调取任务分配到处于空闲状态的终端进行数据调取的操作，再接收调取成功的调取数据，并将调取数据返回至接收数据调取请求的当前终端；通过服务器的集中管理，可以充分利用各个终端的资源，合理分配调取任务，在处理分散在不同系统中且数据格式较为多样化时的数据调取请求时，也可以根据不同的调取需求分配不同的终端来执行，提高了数据调取的效率。

其中的一个实施例中，上述数据调取方法中接收空闲终端返回的与选取的的数据调取请求对应的调取数据之前，还包括：接收空闲终端发送的与选取的数据调取请求对应的通信协议获取请求；根据通信协议获取请求向空闲终端发送通信协议，通信协议用于供空闲终端与目标数据库进行通信。

其中，通信协议获取请求是空闲终端与数据调取请求对应的目标数据库进行通信的协议获取请求；为保证数据交互的安全性，目标数据库可能需要访问设备先验证通信协议，通信协议验证成功后，才允许访问设备与其进行数据交互，如果在空闲终端对目标数据库进行数据调取操作时，目标数据库要求空闲终端先验证通信协议，则空闲终端需要从服务器获取通信协议，而空闲终端向服务器发送的用于获取通信协议的请求即为通信协议获取请求。

具体地，在通过服务器管理多台终端的数据调取请求时，服务器可以先将常用的通信协议存储在服务器的固定地址中，与服务器连接的空闲终端在执行数据调取请求时，如果需要某一通信协议与目标数据库进行通信，则此空闲终端可以向服务器发送通信协议获取请求，服务器接收到空闲终端发送的通信协议获取请求后，根据通信协议获取请求中的信息，从相应的存储地址中选择正确的通信协议发送给空闲终端，空闲终端接收到服务器发送的通信协议后，可以根据此通信协议与目标数据库进行通信，成功访问目标数据库，并进行数据调取的操作。

可选地，上述数据调取方法中，空闲终端从目标数据库中获取调取数据之后，还可以通过预设格式将调取数据进行数据处理，生成规范化数据。

例如，在空闲终端接收到目标数据库返回的调取数据之后，可以先对调取数据进行规范化处理，按照实际的数据处理需求将调取数据转换为对应的格式数据，如xml，JSON，map等格式数据；其中规范化处理的规则可以通过统一配置后，存储于服务器的固定地址，当空闲终端需要使用某一处理规则时，可以向服务器发起规则请求，从服务器的对应存储位置获取处理规则；空闲终端再根据此处理规则对调取数据进行规范化处理，生成规范化数据。或者，空闲终端可以将调取数据发送给服务器后，在服务器端进行数据处理并生成规范化数据的操作。通过对调取数据的处理，并对规范化数据进行传输，降低了数据传输的压力，提高了数据传输效率。

上述数据调取方法，通过服务器存储常见的通信协议，在对加密协议的目标数据库进行数据调取时，都可以根据实际情况，选择正确的通信协议，完成数据调取的操作，使得此数据调取方法能够适用于调取不同通信协议的目标数据库中的数据。

在其中的一个实施例中，上述数据调取方法中根据调取时间将数据调取请求进行存储，包括：根据预设分割规则将数据调取请求进行分割，并将分割后的数据调取请求进行存储。则上述根据任务执行请求选取调取时间在前的数据调取请求，包括：根据任务执行请求选取调取时间在前的分割后的数据调取请求。

具体地，服务器在管理终端发送的数据调取请求时，可以将一个数据调取请求分割成多个数据调取请求；分割规则是根据被调取数据的分布情况等生成的，如同一个数据调取请求可能需要获取不同目标数据库的调取数据时，可以根据目标数据库的不同将一个数据调取请求分割为若干个，分割后数据调取请求的调取时间相同，但可以分给不同的空闲终端执行。而分割后的数据调取请求在被执行成功后，由执行的空闲终端将调取数据发送给服务器，服务器再将空闲终端返回的调取数据发送至调取请求对应的当前终端，完成分割后的数据调取请求对应的数据调取操作；当前终端接收到服务器发送的分割后的数据调取请求对应的调取数据，可再对这些调取数据进行组合得到分割前的数据调取请求对应的调取数据，从而避免服务器分多次向当前终端返回调取数据。

其中，上述分割规则可以通过fork/join框架(Java7提供的一个用于并行执行任务的框架)执行。

上述实施例中，将同一个数据调取请求分割为多个调取时间相同的调取任务，分散到不同的空闲终端执行的数据调取方法，可以减少每个空闲终端的资源占用率，并根据不同的目标数据库选择合适的空闲终端执行同一个数据调取请求，提高了数据调取的效率。

在其中的一个实施例中，上述数据调取方法中将选取的数据调取请求发送至空闲终端，并接收空闲终端返回的与选取的数据调取请求对应的调取数据，包括：将选取的分割后的数据调取请求发送至空闲终端；接收空闲终端返回的与选取的分割后的数据调取请求对应的调取数据；将所接收的调取数据进行组合得到与分割前的数据调取请求对应的完整数据。

具体地，服务器将一个数据调取请求根据被调取数据的分布情况等分割规则分割为调取时间相同的数据调取请求，且将分割后的数据调取请求分配到不同的空闲终端执行后，可以再将空闲终端返回的调取数据按照上述的分割规则进行组合，得到与分割前的数据调取请求对应的完整的调取数据，再将此完整数据发送给数据调取请求原应该执行的当前终端；此时当前终端接收的完整数据即是与原数据调取请求相对应的调取数据。其中，上述实施例中的汇总规则可以通过fork/join框架执行。

上述实施例中，在针对上实施例中对数据调取请求进行分割的情况，提供了在服务器端将调取的数据根据分割的规则进行整合，再发送给当前终端的技术方案；终端接收到的数据是根据发送给服务器的数据调取请求调取回的数据，而无需对服务器返回的调取数据进行整合，更符合服务器对终端的数据调取请求进行集中管理，且分配执行的实际情况。

在其中的一个实施例中，上述数据调取方法还包括：根据调取时间检测已存储的数据调取请求是否超时；当存在超时的数据调取请求，检测超时的数据调取请求是否已发送至空闲终端；当超时的数据调取请求已发送至空闲终端，向空闲终端发送停止执行数据调取请求的指令，并接收空闲终端返回的异常信息。

异常信息是用于表示某一数据调取请求在分配给空闲终端后，超时未被执行的通知信息；在一个数据调取请求被分配给空闲终端执行后，若超时仍未返回调取数据，空闲终端在接收到服务器发送的停止指令后，需要返回一个用以表示此数据调取请求执行情况的异常信息，以表示本次调取数据失败，从而服务器可以根据该异常信息对本次数据调取请求进行标注等。

具体地，服务器在某一数据调取请求被空闲终端申请后，仍需要继续对其的执行状况进行监控，若在到达调取时间之后的预设时间内，空闲终端仍未返回调取数据，则认为此数据调取请求执行失败，服务器会发送一个停止执行数据调取请求的指令至此空闲终端，命令空闲终端不再执行此数据调取请求，而空闲终端接收到此停止指令后，需要将在执行此数据调取请求时的异常情况和失败原因等信息生成一个异常信息发送至服务器。服务器接收到异常信息后，可以了解到此数据调取请求是否真的执行失败以及失败的原因。

可选地，如果数据调取请求被执行失败后，服务器也可以再与原本需要执行此数据调取请求的当前终端确认是否需要重新执行此数据调取请求；如果此数据调取请求需要被重新执行，则服务器重新对此数据调取请求定义一个新的调取时间，再分配到对服务器发起任务执行请求的其他空闲终端执行。

上述实施中，通过服务器对存储的数据调取请求的超时管理，完善了根据调取时间管理数据调取请求的方案，终止超出预定时限仍未被执行完成的数据调取请求，防止被分配的数据调取请求被执行失败而无法反馈给服务器的情况。

在其中的一个实施例中，上述数据调取方法中检测超时的数据调取请求是否已发送至空闲终端之后，还可以包括：当超时的数据调取请求未发送至空闲终端，向与数据调取请求对应的当前终端发送第一过期提醒。

其中，第一过期提醒是某一数据调取请求分配给空闲终端前，超时未被执行的通知信息；除了上一个实施例中数据调取请求被分配给空闲终端后超时的情况，还存在数据调取请求被存储在服务器后，由于长时间无空闲终端领取而造成的过期情况，而此情况下对于应执行数据调取请求的当前终端，此数据调取请求也未被执行成功，服务器需要对当前终端发送一个表示此数据调取请求在超出调取时间未被执行成功的过期提醒，即为第一过期提醒。

具体地，服务器将接收到的数据调取请求保存之后，可能由于在调取时间之前都没有空闲终端来服务器领取此任务执行导致数据调取请求过期未被执行，服务器对保存的数据调取请求进行超时检查，若是由于此种情况而导致的数据调取请求超时，则服务器向超时的数据调取请求对应的当前终端发送第一过期提醒，告知当前终端此数据调取请求超时未被执行。

可选地，服务器在检测到某一数据调取请求已被存储，但是还未被空闲终端领取，则删除存储此数据调取请求；当前终端接收到服务器发送的第一过期提醒后，若是需要重新执行此数据调取请求，则修改此超时的数据调取请求的调取时间生成一个新的数据调取请求，重新发送给服务器，由服务器按照上述的数据调取方法分配到与其连接的空闲终端执行。

上述实施例中，通过服务器监控在保存数据调取请求后，由于无空闲终端领取任务而导致的任务过期的情况，与上个实施例一起描述了服务器对保存的数据调取请求的过期管理。

在其中的一个实施例中，上述数据调取方法中根据调取时间将数据调取请求进行存储之前，还可以包括：根据调取时间检测数据调取请求是否过期；若数据调取请求过期，则向终端标识对应的当前终端发送第二过期提醒。

其中，第二过期提醒是服务器用于通知当前终端其发送的数据调取请求在到达服务器后已经超出调取时间的提醒消息；由于数据调取请求的调取时间与当前终端发出的时间过近，或者通信网络较差的情况下，可能存在数据调取请求在到达数据库后，还未被存储，就已经超过了其调取时间的情况，此时，服务器需要将此情况下造成的数据调取请求被执行失败的消息通过第二过期提醒告知给终端标识对应的当前终端。

具体地，在上述实施例提到的服务器对数据调取请求的过期管理中，还存在一种情况，即数据调取请求从当前终端发送至服务器后的时间已经超出了此数据调取请求的调取时间，直接向对应的当前终端发送第二过期提醒，告知当前终端此数据调取请求已过期，不会被执行。

可选地，服务器在检测到上述情况时，不需对此过期的数据调取请求进行存储，即此过期的数据调取请求不会进入任务序列中；而当前终端接收到服务器发送的第二过期提醒后，若是需要重新执行此数据调取请求，则修改此超时的数据调取请求的调取时间成为一个新的数据调取请求，重新发送给服务器，由服务器按照上述的数据调取方法分配到与其连接的空闲终端执行。

上述实施例中，描述了在数据调取请求到达服务器还未被存储前就已经过期的情况，使得服务器对数据调取请求的超时管理方案更加完整。

在其中的一个实施例中，如图3所示，提供了一次空闲终端执行数据调取方法的时序图。该数据调取过程包括：当当前终端在某一未来调取时间需要对目标数据库进行数据调取操作时，当前终端将此数据调取请求发送至服务器，服务器接收到当前终端发送的数据调取请求后，存储此数据调取请求，并将此数据调取请求与其他终端发送的数据调取请求一起按照每个数据调取请求的调取时间进行集中管理；当与服务器连接的某一终端处于检测到自身处于空闲状态时，则将此终端认为是空闲终端，空闲终端向服务器发送任务执行请求，告知服务器此空闲终端在空闲时间内可以执行数据调取请求，服务器则根据调取时间选取管理的数据调取请求分配给空闲终端执行；空闲终端接收到服务器分配的数据调取请求后，检测此数据调取请求的调取时间，当到达调取时间后，则向目标数据库发送数据请求，开始执行数据调取的操作；若目标数据库的接入存在协议解析的需求，则正在执行数据调取的空闲终端向服务器发送协议获取请求，服务器针对此协议获取请求向空闲终端发送数据解析协议，帮助空闲终端对目标数据库接入成功，空闲终端则可以成功对目标数据库进行数据请求，并接收目标数据库返回的调取数据；空闲终端接收到调取数据后，需要将调取数据发送给服务器，完成此次空闲终端对目标数据库的数据调取操作；而服务器在将数据调取请求分配给空闲终端执行后，仍需要对此数据调取请求的执行状况进行监控，若空闲终端在到达调取时间后的预定时间内仍未返回调取数据，则服务器认为此数据调取请求执行失败，给执行的空闲终端发送一个停止指令，命令其不再执行此数据调取请求，并接收空闲终端根据此次执行的情况返回的异常信息，以了解此次的数据调取请求被执行失败的原因。

上述实施例中，描述了空闲终端完成一次数据调取的时序图，详细介绍了上述的数据调取方法中的空闲终端对目标数据库的数据调取的具体操作。

应该理解的是，虽然流程图2中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在其中的一个实施例中，如图4所示，提供了一种数据调取装置，包括：接收模块100、存储模块200、请求模块300、数据获取模块400和数据返回模块500；其中：

接收模块100，用于接收当前终端发送的数据调取请求，数据调取请求携带有调取时间和当前终端的终端标识。

存储模块200，用于根据调取时间将数据调取请求进行存储。

请求模块300，用于接收空闲终端发送的任务执行请求，根据任务执行请求选取调取时间在前的数据调取请求。

数据获取模块400，用于将选取的数据调取请求发送至空闲终端，并接收空闲终端返回的与选取的数据调取请求对应的调取数据。

数据返回模块500，用于将调取数据发送至与终端标识对应的当前终端。

在其中一个实施例中，上述数据调取装置还可以包括一个协议获取模块，用于接收空闲终端发送的与选取的数据调取请求对应的通信协议获取请求；根据通信协议获取请求向空闲终端发送通信协议，通信协议用于供空闲终端与目标数据库进行通信。

在其中的一个实施例中，存储模块200，还可以用于根据预设分割规则将数据调取请求进行分割，并将分割后的数据调取请求进行存储。

请求模块300，还可以用于根据任务执行请求选取调取时间在前的分割后的数据调取请求。

在其中的一个实施例中，数据获取模块400，还可以用于将选取的分割后的数据调取请求发送至空闲终端；接收空闲终端返回的与选取的分割后的数据调取请求对应的调取数据；将所接收的调取数据进行组合得到与分割前的数据调取请求对应的完整数据。

在其中一个实施例中，上述数据调取装置还可以包括一个任务超时模块，用于根据调取时间检测已存储的数据调取请求是否超时；当存在超时的数据调取请求，检测超时的数据调取请求是否已发送至空闲终端；当超时的数据调取请求已发送至空闲终端，向空闲终端发送停止执行数据调取请求的指令，并接收空闲终端返回的异常信息。

在其中一个实施例中，上述数据调取装置还可以包括一个任务过期模块，用于当超时的数据调取请求未发送至空闲终端，向与数据调取请求对应的当前终端发送第一过期提醒。

在其中一个实施例中，上述数据调取装置的存储模块还可以用于根据调取时间检测数据调取请求是否过期；若数据调取请求过期，则向终端标识对应的当前终端发送第二过期提醒。

关于数据调取装置的具体限定可以参见上文中对于数据调取方法的限定，在此不再赘述。上述数据调取装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据调取方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：接收当前终端发送的数据调取请求，数据调取请求携带有调取时间和当前终端的终端标识；根据调取时间将数据调取请求进行存储；接收空闲终端发送的任务执行请求，根据任务执行请求选取调取时间在前的数据调取请求；将选取的数据调取请求发送至空闲终端，并接收空闲终端返回的与选取的数据调取请求对应的调取数据；将调取数据发送至与终端标识对应的当前终端。

在其中一个实施例中，处理器执行计算机程序时实现的接收空闲终端返回的与选取的数据调取请求对应的调取数据之前，还可以包括：接收空闲终端发送的与选取的数据调取请求对应的通信协议获取请求；根据通信协议获取请求向空闲终端发送通信协议，通信协议用于供空闲终端与目标数据库进行通信。

在其中一个实施例中，处理器执行计算机程序时实现的根据调取时间将数据调取请求进行存储，可以包括：根据预设分割规则将数据调取请求进行分割，并将分割后的数据调取请求进行存储；处理器执行计算机程序时实现的根据任务执行请求选取调取时间在前的数据调取请求，还可以包括：根据任务执行请求选取调取时间在前的分割后的数据调取请求。

在其中一个实施例中，处理器执行计算机程序时实现的将选取的数据调取请求发送至空闲终端，并接收空闲终端返回的与选取的数据调取请求对应的调取数据，可以包括：将选取的分割后的数据调取请求发送至空闲终端；接收空闲终端返回的与选取的分割后的数据调取请求对应的调取数据；将所接收的调取数据进行组合得到与分割前的数据调取请求对应的完整数据。

在其中一个实施例中，处理器执行计算机程序时还可以实现以下步骤：根据调取时间检测已存储的数据调取请求是否超时；当存在超时的数据调取请求，检测超时的数据调取请求是否已发送至空闲终端；当超时的数据调取请求已发送至空闲终端，向空闲终端发送停止执行数据调取请求的指令，并接收空闲终端返回的异常信息。

在其中一个实施例中，处理器执行计算机程序时实现的检测超时的数据调取请求是否已发送至空闲终端之后，还可以包括：当超时的数据调取请求未发送至空闲终端，向与数据调取请求对应的当前终端发送第一过期提醒。

在其中一个实施例中，处理器执行计算机程序时实现的根据调取时间将数据调取请求进行存储之前，还可以包括：根据调取时间检测数据调取请求是否过期；若数据调取请求过期，则向终端标识对应的当前终端发送第二过期提醒

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：接收当前终端发送的数据调取请求，数据调取请求携带有调取时间和当前终端的终端标识；根据调取时间将数据调取请求进行存储；接收空闲终端发送的任务执行请求，根据任务执行请求选取调取时间在前的数据调取请求；将选取的数据调取请求发送至空闲终端，并接收空闲终端返回的与选取的数据调取请求对应的调取数据；将调取数据发送至与终端标识对应的当前终端。

在其中一个实施例中，计算机程序被处理器执行时实现的接收空闲终端返回的与选取的数据调取请求对应的调取数据之前，还可以包括：接收空闲终端发送的与选取的数据调取请求对应的通信协议获取请求；根据通信协议获取请求向空闲终端发送通信协议，通信协议用于供空闲终端与目标数据库进行通信。

在其中一个实施例中，计算机程序被处理器执行时实现的根据调取时间将数据调取请求进行存储，可以包括：根据预设分割规则将数据调取请求进行分割，并将分割后的数据调取请求进行存储；计算机程序被处理器执行时实现的根据任务执行请求选取调取时间在前的数据调取请求，可以包括：根据任务执行请求选取调取时间在前的分割后的数据调取请求。

在其中一个实施例中，计算机程序被处理器执行时实现的将选取的数据调取请求发送至空闲终端，并接收空闲终端返回的选取的与数据调取请求对应的调取数据，可以包括：将选取的分割后的数据调取请求发送至空闲终端；接收空闲终端返回的与选取的分割后的数据调取请求对应的调取数据；将所接收的调取数据进行组合得到与分割前的数据调取请求对应的完整数据。

其中一个实施例中，计算机程序被处理器执行时还可以实现以下步骤：根据调取时间检测已存储的数据调取请求是否超时；当存在超时的数据调取请求，检测超时的数据调取请求是否已发送至空闲终端；当超时的数据调取请求已发送至空闲终端，向空闲终端发送停止执行数据调取请求的指令，并接收空闲终端返回的异常信息。

在其中一个实施例中，计算机程序被处理器执行时实现的检测超时的数据调取请求是否已发送至空闲终端之后，还可以包括：当超时的数据调取请求未发送至空闲终端，向与数据调取请求对应的当前终端发送第一过期提醒。

在一个实施例中，计算机程序被处理器执行时实现的根据调取时间将数据调取请求进行存储之前，还可以包括：根据调取时间检测数据调取请求是否过期；若数据调取请求过期，则向终端标识对应的当前终端发送第二过期提醒。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种数据调取方法，所述方法包括：

接收当前终端发送的数据调取请求，所述数据调取请求携带有调取时间和所述当前终端的终端标识；

根据所述调取时间将所述数据调取请求进行存储；

接收空闲终端发送的任务执行请求，根据所述任务执行请求选取调取时间在前的数据调取请求；

将选取的数据调取请求发送至所述空闲终端，并接收所述空闲终端返回的与所述选取的数据调取请求对应的调取数据；

将所述调取数据发送至与所述终端标识对应的当前终端。

2.根据权利要求1所述的方法，其特征在于，所述接收所述空闲终端返回的与所述选取的数据调取请求对应的调取数据之前，还包括：

接收所述空闲终端发送的与所述选取的数据调取请求对应的通信协议获取请求；

根据所述通信协议获取请求向所述空闲终端发送通信协议，所述通信协议用于供所述空闲终端与目标数据库进行通信。

3.根据权利要求1所述的方法，其特征在于，所述根据所述调取时间将所述数据调取请求进行存储，包括：

根据预设分割规则将所述数据调取请求进行分割，并将分割后的所述数据调取请求进行存储；

所述根据所述任务执行请求选取调取时间在前的数据调取请求，包括：

根据所述任务执行请求选取调取时间在前的所述分割后的数据调取请求。

4.根据权利要求3所述的方法，其特征在于，所述将所述选取的数据调取请求发送至所述空闲终端，并接收所述空闲终端返回的与所述选取的数据调取请求对应的调取数据，包括：

将所述选取的分割后的数据调取请求发送至所述空闲终端；

接收所述空闲终端返回的与所述选取的分割后的数据调取请求对应的调取数据；

将所接收的调取数据进行组合得到与分割前的所述数据调取请求对应的完整数据。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据所述调取时间检测已存储的数据调取请求是否超时；

当存在超时的数据调取请求，检测所述超时的数据调取请求是否已发送至所述空闲终端；

当所述超时的数据调取请求已发送至所述空闲终端，向所述空闲终端发送停止执行所述数据调取请求的指令，并接收所述空闲终端返回的异常信息。

6.根据权利要求5所述的方法，其特征在于，所述检测所述超时的数据调取请求是否已发送至所述空闲终端之后，还包括：

当所述超时的数据调取请求未发送至所述空闲终端，向与所述数据调取请求对应的所述当前终端发送第一过期提醒。

7.根据权利要求1所述的方法，其特征在于，所述根据所述调取时间将所述数据调取请求进行存储之前，还包括：

根据所述调取时间检测所述数据调取请求是否过期；

若所述数据调取请求过期，则向所述终端标识对应的所述当前终端发送第二过期提醒。

8.一种数据调取装置，其特征在于，所述装置包括：

接收模块，用于接收当前终端发送的数据调取请求，所述数据调取请求携带有调取时间和所述当前终端的终端标识；

存储模块，用于根据所述调取时间将所述数据调取请求进行存储；

请求模块，用于接收空闲终端发送的任务执行请求，根据所述任务执行请求选取调取时间在前的数据调取请求；

数据获取模块，用于将选取的所述数据调取请求发送至所述空闲终端，并接收所述空闲终端返回的与选取的所述数据调取请求对应的调取数据；

数据返回模块，用于将所述调取数据发送至与所述终端标识对应的当前终端。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。