CN110852743A - 一种数据获取方法及装置 - Google Patents

Abstract

本申请提供了一种数据获取方法及装置，作用于数据获取系统，该数据获取系统包括交易数据调度工作台和数据处理服务器；交易数据调度工作台与数据处理服务器保持网络通讯连接；该方法包括：交易数据调度工作台向数据处理服务器发送多个交易数据调度指令，以使数据处理服务器根据每个交易数据调度指令中携带的交易时间标识和网络商家标识，分别从指定的网络商家所使用的交易数据服务器获取指定交易时间标识对应的目标交易数据；数据处理服务器依据目标交易数据生成交易数据查询表，并将获取到的目标交易数据和交易数据查询表反馈至交易数据调度工作台；交易数据调度工作台将反馈的目标交易数据存储在对应的交易数据查询表中的交易数据存储地址下。

Description

一种数据获取方法及装置

技术领域

本申请涉及数据处理领域，具体而言，涉及一种数据获取方法及装置。

背景技术

在互联网时代，为了更好地把控商品的销售和推广的方向，掌握商品销售和推广的资源利用状况，需要从大量的网络平台中获取数据以进行资源利用状况的分析。

而对于大量且杂乱的数据，在现有技术中对于数据的处理流程散乱不一，且无法并发多个数据获取任务，导致了数据获取效率低，数据的调用困难。在数据获取阶段所使用的数据处理服务器无法根据实际需求随用随开，关闭数据处理服务器的流程复杂，造成对于数据处理服务器的租用花费过大。通过现有技术的数据获取方法，没有办法掌握当前资源利用率，无法了解空闲资源有哪些，甚至部分资源脱离系统管理，造成大量可用资源的闲置和浪费。

发明内容

有鉴于此，本申请的目的在于提供一种数据获取方法及装置，用于解决现有技术中交易数据处理流程复杂的问题。优化了数据处理方式和数据处理流程，从而提高了数据查询的灵活度。

第一方面，本申请实施例提供了一种数据获取方法，作用于数据获取系统，该数据获取系统包括交易数据调度工作台和数据处理服务器；其中，数据处理服务器分别与每个交易数据服务器保持网络通讯连接；交易数据调度工作台与数据处理服务器保持网络通讯连接；该方法包括：

交易数据调度工作台向数据处理服务器发送多个交易数据调度指令，以使所述数据处理服务器根据每个交易数据调度指令中携带的交易时间标识和网络商家标识，分别从指定的网络商家所使用的交易数据服务器获取指定交易时间标识对应的目标交易数据；所述数据处理服务器依据所述目标交易数据生成交易数据查询表，并将获取到的所述目标交易数据和所述交易数据查询表反馈至交易数据调度工作台；所述交易数据查询表中记录有交易数据存储地址和对应的记录标识码；记录标识码是根据交易时间标识和网络商家标识确定的；

交易数据调度工作台将所述反馈的目标交易数据存储在对应的交易数据查询表中的交易数据存储地址下，以供根据记录标识码查询指定的交易数据。

根据第一方面，本申请实施例提供了第一方面的第一种可能的实施方案，其中，在交易数据调度工作台将所述反馈的目标交易数据存储在对应的交易数据查询表中的目标交易数据存储地址下，以供根据记录标识码查询指定的交易数据之后，还包括：

交易数据调度工作台接收用户端发送的交易数据读取指令；

交易数据调度工作台根据该交易数据读取指令中携带的记录标识码查找对应的目标交易数据查询表；

交易数据调度工作台根据所述目标交易数据查询表中记录的交易数据存储地址，提取交易数据调度指令对应的交易数据，并将所述交易数据调度指令对应的交易数据反馈至所述用户端。

根据第一方面，本申请实施例提供了第一方面的第二种可能的实施方案，其中，当交易数据调度指令是定时任务调度指令时，该方法包括：

交易数据调度工作台按照预设时间向数据处理服务器发送定时任务调度指令，以使所述数据处理服务器根据定时任务调度指令中携带的交易时间标识和网络商家标识，分别从指定的网络商家所使用的交易数据服务器获取指定交易时间标识对应的目标交易数据；其中，交易时间标识为当日日期。

根据第一方面，本申请实施例提供了第一方面的第三种可能的实施方案，其中，当交易数据调度指令是历史数据调度指令时，该方法包括：

交易数据调度工作台向数据处理服务器发送历史数据调度指令，以使所述数据处理服务器根据历史数据调度指令中携带的交易时间标识和网络商家标识，分别从指定的网络商家所使用的交易数据服务器获取指定交易时间标识对应的目标交易数据；其中，交易时间标识为目标历史日期。

根据第一方面，本申请实施例提供了第一方面的第四种可能的实施方案，其中，所述数据处理服务器依据所述目标交易数据生成交易数据查询表，包括：

当依据所述目标交易数据生成交易数据查询表时发生错误，则终止所述交易数据查询表的生成，并向交易数据调度工作台反馈错误信息；

交易数据调度工作台在接收到所述错误信息后，向数据处理服务器发送重置处理指令，以使数据处理服务器复制生成交易数据查询表发生错误的目标交易数据，并重新依据该复制得到的目标交易数据生成交易数据查询表。

第二方面，本申请实施例提供了一种数据获取装置，作用于数据获取系统，该数据获取系统包括交易数据调度工作台和数据处理服务器；其中，数据处理服务器分别与每个交易数据服务器保持网络通讯连接；交易数据调度工作台与数据处理服务器保持网络通讯连接；该装置包括：

调度模块，用于交易数据调度工作台向数据处理服务器发送多个交易数据调度指令，以使所述数据处理服务器根据每个交易数据调度指令中携带的交易时间标识和网络商家标识，分别从指定的网络商家所使用的交易数据服务器获取指定交易时间标识对应的目标交易数据；所述数据处理服务器依据所述目标交易数据生成交易数据查询表，并将获取到的所述目标交易数据和所述交易数据查询表反馈至交易数据调度工作台；所述交易数据查询表中记录有交易数据存储地址和对应的记录标识码；记录标识码是根据交易时间标识和网络商家标识确定的；

存储模块，用于交易数据调度工作台将所述反馈的目标交易数据存储在对应的交易数据查询表中的交易数据存储地址下，以供根据记录标识码查询指定的交易数据。

根据第二方面，本申请实施例提供了第二方面的第一种可能的实施方案，其中，在存储模块之后，还包括：

接收模块，用于交易数据调度工作台接收用户端发送的交易数据读取指令；

查询模块，用于交易数据调度工作台根据该交易数据读取指令中携带的记录标识码查找对应的目标交易数据查询表；

反馈模块，用于交易数据调度工作台根据所述目标交易数据查询表中记录的交易数据存储地址，提取交易数据调度指令对应的交易数据，并将所述交易数据调度指令对应的交易数据反馈至所述用户端。

根据第二方面，本申请实施例提供了第二方面的第二种可能的实施方案，其中，所述调度模块，包括：

告警单元，用于当依据所述目标交易数据生成交易数据查询表时发生错误，则终止所述交易数据查询表的生成，并向交易数据调度工作台反馈错误信息；

重置单元，用于交易数据调度工作台在接收到所述错误信息后，向数据处理服务器发送重置处理指令，以使数据处理服务器复制生成交易数据查询表发生错误的目标交易数据，并重新依据该复制得到的目标交易数据生成交易数据查询表。

第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面及其可能的实施方案中任一项所述的方法的步骤。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述一方面及其可能的实施方案中任一项所述的方法的步骤。

本申请实施例提出的一种数据获取方法及装置，通过控制交易数据调度工作台向数据处理服务器发送交易数据调度指令，以使数据处理服务器完成向网络商家所示用的交易数据服务器进行目标交易数据获取并根据获取到的目标交易数据生成交易数据查询表的操作，以供交易数据调度工作台将交易数据查询表和目标交易数据分别存储，使得在读取调用指定交易数据时，凭借交易数据查询表中的记录标识码快速调用存储在数据库中的交易数据。本申请实施例所提出的数据处理方法优化了数据处理方式和数据处理流程，从而提高了数据查询的灵活度。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种数据获取方法的流程示意图；

图2为本申请实施例提供的一种数据读取方法的流程示意图；

图3为本申请实施例提供的一种数据获取装置的结构示意图；

图4为本申请实施例提供的一种计算机设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供了一种数据获取方法，作用于数据获取系统，该数据获取系统包括交易数据调度工作台和数据处理服务器；其中，数据处理服务器分别与每个交易数据服务器保持网络通讯连接；交易数据调度工作台与数据处理服务器保持网络通讯连接；如图1所示，包括以下步骤：

步骤S101、交易数据调度工作台向数据处理服务器发送多个交易数据调度指令，以使上述数据处理服务器根据每个交易数据调度指令中携带的交易时间标识和网络商家标识，分别从指定的网络商家所使用的交易数据服务器获取指定交易时间标识对应的目标交易数据；上述数据处理服务器依据上述目标交易数据生成交易数据查询表，并将获取到的上述目标交易数据和上述交易数据查询表反馈至交易数据调度工作台；上述交易数据查询表中记录有交易数据存储地址和对应的记录标识码；记录标识码是根据交易时间标识和网络商家标识确定的；

步骤S102、交易数据调度工作台将上述反馈的目标交易数据存储在对应的交易数据查询表中的交易数据存储地址下，以供根据记录标识码查询指定的交易数据。

例如，考虑到交易数据调度工作台和数据处理服务器的功能以及两者的兼容程度，优选地，交易数据调度工作台采用Airflow，数据处理服务器采用Azure HDinsight，Airflow可以与Azure HDinsight良好兼容。

通过使用Airflow控制整个数据获取系统的运转，在进行交易数据获取的初始阶段，首先启动Azure HDinsight新建数据处理服务器，然后将交易数据调度指令发送至该数据处理服务器，控制该数据处理服务器中的fetchConfParser数据抓取模块进行交易数据调度指令的解析，该交易数据调度指令中携带了所要获取的交易数据的日期、网络平台、网络店铺ID、具体数据类别等信息，以及数据获取的批次标识码(也就是上述记录标识码)，该批次标识码是根据数据调度指令中的信息生成的。

fetchConfParser数据抓取模块将上述交易数据调度指令中携带的信息作为数据获取的配置信息，向网络商家所使用的用来存储交易数据的交易数据服务器获取目标交易数据；fetchConfParser数据抓取模块将上述交易数据调度指令中携带的信息填入交易数据查询表中，并为根据该交易数据调度指令获取的目标交易数据在数据获取系统存储交易数据所用的数据库(这里优选使用Hbase数据库)中配置存储空间，并将该存储空间的存储目录(也就是交易数据存储地址)也存储在上述交易数据查询表中，然后将上述交易数据查询表和对应的目标交易数据发送给Airflow。

再由Airflow将上述目标交易数据转换成适应于上述数据库并且符合数据使用方的业务标准数据格式后存储在上述存储空间中，并将上述交易数据查询表存储在数据库中为交易数据查询表创建的目录中。

Airflow在当前没有未完成获取的交易数据调度指令时，将关闭上述数据处理服务器。

数据使用方只需通过向Airflow提供批次标识码就可以控制Airflow从数据库中调取指定的交易数据，并且由于事先将交易数据都转换成了数据使用方的业务标准数据格式，数据使用方可直接将调取的交易数据用于大数据分析。

上述交易数据调度工作台、数据处理服务器以及数据库的使用都为优选方案，具体交易数据调度工作台、数据处理服务器以及数据库本申请不予限制。

由于大部分数据处理服务器是租用制，通过本申请实施例提供的数据获取方法，统一化数据处理流程以充分利用数据处理服务器的资源进行大量的数据获取任务的并发执行，以及数据处理服务器的灵活使用和关闭，可有效节约资源，提高资源利用率。

在一可选的实施例中，在上述步骤S102、交易数据调度工作台将上述反馈的目标交易数据存储在对应的交易数据查询表中的目标交易数据存储地址下，以供根据记录标识码查询指定的交易数据之后，如图2所示，还包括：

步骤S103、交易数据调度工作台接收用户端发送的交易数据读取指令；

步骤S104、交易数据调度工作台根据该交易数据读取指令中携带的记录标识码查找对应的目标交易数据查询表；

步骤S105、交易数据调度工作台根据上述目标交易数据查询表中记录的交易数据存储地址，提取交易数据调度指令对应的交易数据，并将上述交易数据调度指令对应的交易数据反馈至上述用户端。

具体地，数据使用方在用户端通过设定所需读取的网络店铺的ID和时间段，用户端根据数据使用方设定的所需读取的网络店铺的ID和时间段匹配相应的至少一个记录标识码，并根据匹配到的记录标识码生成交易数据读取指令发送给交易数据调度工作台。

交易数据调度工作台根据交易数据读取指令中的记录标识码调取数据库中对应的交易数据查询表，并根据交易数据查询表中记录的对应的交易数据存储地址从数据库中提取交易数据，将该交易数据反馈给用户端。

数据使用方根据反馈的交易数据进行大数据分析以掌握其产品的推广、销售等的资源利用状况。

在一可选的实施例中，当步骤S101中的交易数据调度指令是定时任务调度指令时，该方法包括：

步骤1011、交易数据调度工作台按照预设时间向数据处理服务器发送定时任务调度指令，以使上述数据处理服务器根据定时任务调度指令中携带的交易时间标识和网络商家标识，分别从指定的网络商家所使用的交易数据服务器获取指定交易时间标识对应的目标交易数据；其中，交易时间标识为当日日期。

交易数据调度工作台在生成交易数据调度指令时，会将任务类型标识附加在该交易数据调度指令中，数据处理服务器在接受到交易数据调度指令后会先识别该任务类型标识以进行相应的任务配置，然后启动相应的任务流程。

交易数据调度工作台可设置定时任务，每天固定时段进行当日的指定网络店铺或所有网络店铺的交易数据获取，由于定时任务只抓取当日的交易数据，所以数据处理服务器将交易时间标识自动配置为当日日期。在数据获取完成后，自动将数据发送给数据使用方的用户端。

在一可选的实施例中，当步骤S101中的交易数据调度指令是历史数据调度指令时，该方法包括：

步骤1012、交易数据调度工作台向数据处理服务器发送历史数据调度指令，以使上述数据处理服务器根据历史数据调度指令中携带的交易时间标识和网络商家标识，分别从指定的网络商家所使用的交易数据服务器获取指定交易时间标识对应的目标交易数据；其中，交易时间标识为目标历史日期。

数据使用方在需要回溯历史记录中某一天的获取的交易数据时，可通过用户端向交易数据调度工作台发送历史数据调度指令，以控制交易数据调度工作台将该指定日期的交易数据获取指令重新执行一次，并将得到的指定交易时间表示对应的目标交易数据反馈给用户端。

在一可选的实施例中，步骤S101中，数据处理服务器依据上述目标交易数据生成交易数据查询表，包括：

步骤1013、当依据上述目标交易数据生成交易数据查询表时发生错误，则终止上述交易数据查询表的生成，并向交易数据调度工作台反馈错误信息；

步骤1014、交易数据调度工作台在接收到上述错误信息后，向数据处理服务器发送重置处理指令，以使数据处理服务器复制生成交易数据查询表发生错误的目标交易数据，并重新依据该复制得到的目标交易数据生成交易数据查询表。

数据处理服务器在从网络商户所使用的交易数据服务器获取到目标交易数据后，进行交易数据查询表的生成时，存在进程发生错误，导致交易数据查询表不能正常生成，这时数据处理服务器会将错误信息反馈给交易数据调度工作台。

由于数据处理服务器获取到的目标交易数据是正确的，只是在交易数据查询表的生成阶段发生错误，交易数据调度工作台可以根据错误信息发送重置处理指令。

数据处理服务器在发生错误时，将发生错误的流程关闭，而目标交易数据还存储在数据处理服务器中，数据处理服务器在接收到重置处理指令时，将该目标交易数据进行复制，直接以复制得到的目标交易数据重新进行交易数据查询表的生成以及后续的流程。

本申请实施例还提供了一种数据获取装置，作用于数据获取系统，该数据获取系统包括交易数据调度工作台和数据处理服务器；其中，数据处理服务器分别与每个交易数据服务器保持网络通讯连接；交易数据调度工作台与数据处理服务器保持网络通讯连接；如图3所示，该装置包括：

调度模块30，用于交易数据调度工作台向数据处理服务器发送多个交易数据调度指令，以使上述数据处理服务器根据每个交易数据调度指令中携带的交易时间标识和网络商家标识，分别从指定的网络商家所使用的交易数据服务器获取指定交易时间标识对应的目标交易数据；上述数据处理服务器依据上述目标交易数据生成交易数据查询表，并将获取到的上述目标交易数据和上述交易数据查询表反馈至交易数据调度工作台；上述交易数据查询表中记录有交易数据存储地址和对应的记录标识码；记录标识码是根据交易时间标识和网络商家标识确定的；

存储模块31，用于交易数据调度工作台将上述反馈的目标交易数据存储在对应的交易数据查询表中的交易数据存储地址下，以供根据记录标识码查询指定的交易数据。

在一可选的实施例中，在存储模块31之后，还包括：

接收模块32，用于交易数据调度工作台接收用户端发送的交易数据读取指令；

查询模块33，用于交易数据调度工作台根据该交易数据读取指令中携带的记录标识码查找对应的目标交易数据查询表；

反馈模块34，用于交易数据调度工作台根据上述目标交易数据查询表中记录的交易数据存储地址，提取交易数据调度指令对应的交易数据，并将上述交易数据调度指令对应的交易数据反馈至上述用户端。

在一可选的实施例中，上述调度模块30，包括：

告警单元301，用于当依据上述目标交易数据生成交易数据查询表时发生错误，则终止上述交易数据查询表的生成，并向交易数据调度工作台反馈错误信息；

重置单元302，用于交易数据调度工作台在接收到上述错误信息后，向数据处理服务器发送重置处理指令，以使数据处理服务器复制生成交易数据查询表发生错误的目标交易数据，并重新依据该复制得到的目标交易数据生成交易数据查询表。

对应于图1中的一种数据获取方法，本申请实施例还提供了一种计算机设备400，如图4所示，该设备包括存储器401、处理器402及存储在该存储器401上并可在该处理器402上运行的计算机程序，其中，上述处理器402执行上述计算机程序时实现上述一种数据获取方法。

具体地，上述存储器401和处理器402能够为通用的存储器和处理器，这里不做具体限定，当处理器402运行存储器401存储的计算机程序时，能够执行上述一种数据获取方法，解决了现有技术中交易数据处理流程复杂的问题。

对应于图1中的一种数据获取方法，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述一种数据获取方法的步骤。

具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述一种数据获取方法，解决了现有技术中交易数据处理流程复杂的问题，本申请实施例提出的一种数据获取方法及装置，通过控制交易数据调度工作台向数据处理服务器发送交易数据调度指令，以使数据处理服务器完成向网络商家所示用的交易数据服务器进行目标交易数据获取并根据获取到的目标交易数据生成交易数据查询表的操作，以供交易数据调度工作台将交易数据查询表和目标交易数据分别存储，使得在读取调用指定交易数据时，凭借交易数据查询表中的记录标识码快速调用存储在数据库中的交易数据。本申请实施例所提出的数据处理方法优化了数据处理方式和数据处理流程，从而提高了数据查询的灵活度。

在本申请所提供的实施例中，应该理解到，所揭露方法和装置，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种数据获取方法，其特征在于，作用于数据获取系统，该数据获取系统包括交易数据调度工作台和数据处理服务器；其中，数据处理服务器分别与每个交易数据服务器保持网络通讯连接；交易数据调度工作台与数据处理服务器保持网络通讯连接；该方法包括：

交易数据调度工作台向数据处理服务器发送多个交易数据调度指令，以使所述数据处理服务器根据每个交易数据调度指令中携带的交易时间标识和网络商家标识，分别从指定的网络商家所使用的交易数据服务器获取指定交易时间标识对应的目标交易数据；所述数据处理服务器依据所述目标交易数据生成交易数据查询表，并将获取到的所述目标交易数据和所述交易数据查询表反馈至交易数据调度工作台；所述交易数据查询表中记录有交易数据存储地址和对应的记录标识码；记录标识码是根据交易时间标识和网络商家标识确定的；

交易数据调度工作台将所述反馈的目标交易数据存储在对应的交易数据查询表中的交易数据存储地址下，以供根据记录标识码查询指定的交易数据。

2.根据权利要求1所述的方法，其特征在于，在交易数据调度工作台将所述反馈的目标交易数据存储在对应的交易数据查询表中的目标交易数据存储地址下，以供根据记录标识码查询指定的交易数据之后，还包括：

交易数据调度工作台接收用户端发送的交易数据读取指令；

交易数据调度工作台根据该交易数据读取指令中携带的记录标识码查找对应的目标交易数据查询表；

交易数据调度工作台根据所述目标交易数据查询表中记录的交易数据存储地址，提取交易数据调度指令对应的交易数据，并将所述交易数据调度指令对应的交易数据反馈至所述用户端。

3.根据权利要求1所述的方法，其特征在于，当交易数据调度指令是定时任务调度指令时，该方法包括：

交易数据调度工作台按照预设时间向数据处理服务器发送定时任务调度指令，以使所述数据处理服务器根据定时任务调度指令中携带的交易时间标识和网络商家标识，分别从指定的网络商家所使用的交易数据服务器获取指定交易时间标识对应的目标交易数据；其中，交易时间标识为当日日期。

4.根据权利要求1所述的方法，其特征在于，当交易数据调度指令是历史数据调度指令时，该方法包括：

交易数据调度工作台向数据处理服务器发送历史数据调度指令，以使所述数据处理服务器根据历史数据调度指令中携带的交易时间标识和网络商家标识，分别从指定的网络商家所使用的交易数据服务器获取指定交易时间标识对应的目标交易数据；其中，交易时间标识为目标历史日期。

5.根据权利要求1所述的方法，其特征在于，所述数据处理服务器依据所述目标交易数据生成交易数据查询表，包括：

当依据所述目标交易数据生成交易数据查询表时发生错误，则终止所述交易数据查询表的生成，并向交易数据调度工作台反馈错误信息；

交易数据调度工作台在接收到所述错误信息后，向数据处理服务器发送重置处理指令，以使数据处理服务器复制生成交易数据查询表发生错误的目标交易数据，并重新依据该复制得到的目标交易数据生成交易数据查询表。

6.一种数据获取装置，其特征在于，作用于数据获取系统，该数据获取系统包括交易数据调度工作台和数据处理服务器；其中，数据处理服务器分别与每个交易数据服务器保持网络通讯连接；交易数据调度工作台与数据处理服务器保持网络通讯连接；该装置包括：

调度模块，用于交易数据调度工作台向数据处理服务器发送多个交易数据调度指令，以使所述数据处理服务器根据每个交易数据调度指令中携带的交易时间标识和网络商家标识，分别从指定的网络商家所使用的交易数据服务器获取指定交易时间标识对应的目标交易数据；所述数据处理服务器依据所述目标交易数据生成交易数据查询表，并将获取到的所述目标交易数据和所述交易数据查询表反馈至交易数据调度工作台；所述交易数据查询表中记录有交易数据存储地址和对应的记录标识码；记录标识码是根据交易时间标识和网络商家标识确定的；

存储模块，用于交易数据调度工作台将所述反馈的目标交易数据存储在对应的交易数据查询表中的交易数据存储地址下，以供根据记录标识码查询指定的交易数据。

7.根据权利要求6所述的装置，其特征在于，在存储模块之后，还包括：

接收模块，用于交易数据调度工作台接收用户端发送的交易数据读取指令；

查询模块，用于交易数据调度工作台根据该交易数据读取指令中携带的记录标识码查找对应的目标交易数据查询表；

反馈模块，用于交易数据调度工作台根据所述目标交易数据查询表中记录的交易数据存储地址，提取交易数据调度指令对应的交易数据，并将所述交易数据调度指令对应的交易数据反馈至所述用户端。

8.根据权利要求6所述的装置，其特征在于，所述调度模块，包括：

告警单元，用于当依据所述目标交易数据生成交易数据查询表时发生错误，则终止所述交易数据查询表的生成，并向交易数据调度工作台反馈错误信息；

重置单元，用于交易数据调度工作台在接收到所述错误信息后，向数据处理服务器发送重置处理指令，以使数据处理服务器复制生成交易数据查询表发生错误的目标交易数据，并重新依据该复制得到的目标交易数据生成交易数据查询表。

9.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1-5中任一项所述的方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上述权利要求1-5中任一项所述的方法的步骤。

Images