CN111600926A

CN111600926A - 一种数据处理方法、装置及电子设备

Info

Publication number: CN111600926A
Application number: CN202010250491.0A
Authority: CN
Inventors: 方毅
Original assignee: Beijing Chuangshiyun Technology Co ltd
Current assignee: Beijing Chuangshiyun Technology Co ltd
Priority date: 2020-04-01
Filing date: 2020-04-01
Publication date: 2020-08-28
Anticipated expiration: 2040-04-01
Also published as: CN111600926B

Abstract

本发明提供了一种数据处理方法、装置及电子设备，只需要域名、多个时间戳、以及数据类型就可以从Redis数据库中获取出该域名在各时间戳下所有供应商具有该数据类型的第二业务数据，提高了获取供应商中业务数据的速度；而且，由于Redis数据库提供的是缓存服务，任务服务器可以从Redis数据库中快速读写数据，提高了数据读写效率。

Description

一种数据处理方法、装置及电子设备

技术领域

本发明涉及计算机技术领域，具体而言，涉及一种数据处理方法、装置、电子设备及计算机可读存储介质。

背景技术

目前，服务在使用内容分发网络(Content Delivery Network，CDN) 提供的加速服务时，需要根据实时业务数据和历史数据来分析其运行情况，通过用量和账单及时了解其收费明细，更好地进行业务决策。

为了更好的对业务数据进行统计，在对接供应商的数据接口基础上，直接将获取到的业务数据直接入库。

但目前只能将单个供应商的业务数据进行入库操作，效率较低。

发明内容

为解决现有存在的技术问题，本发明实施例提供一种数据处理方法、装置、电子设备及计算机可读存储介质。

第一方面，本发明实施例提供了一种数据处理方法，包括：

任务服务器获取业务数据采集指令，所述业务数据采集指令，包括：任务字符串；

基于所述任务字符串，得到提供商标识、提供商的鉴权信息、域名、需要采集的业务数据的数据类型以及获取业务数据的多个时间戳；

利用所述鉴权信息、域名、需要采集的业务数据的数据类型以及多个时间戳生成第一业务数据获取请求，并将所述第一业务数据获取请求发送到所述提供商标识对应提供商的供应商接口，并接收所述供应商接口反馈的第一业务数据，其中，所述第一业务数据，用于表示多个时间戳指示时间下，所述提供商标识对应提供商在所述域名下的业务数据；

查询出所述域名对应的域名标识，并根据多个时间戳、所述域名标识和所述第一业务数据的数据类型生成第二业务数据获取请求；

将所述第二业务数据获取请求发送到远程字典服务Redis数据库中，并接收所述Redis数据库发送的所述域名在各时间戳下所有供应商的第二业务数据；其中，所述第二业务数据的数据类型与所述第一业务数据的数据类型相同。

第二方面，本发明实施例提供了一种数据处理装置，包括：

获取模块，用于获取业务数据采集指令，所述业务数据采集指令，包括：任务字符串；

第一处理模块，用于基于所述任务字符串，得到提供商标识、提供商的鉴权信息、域名、需要采集的业务数据的数据类型以及获取业务数据的多个时间戳；

第二处理模块，用于利用所述鉴权信息、域名、需要采集的业务数据的数据类型以及多个时间戳生成第一业务数据获取请求，并将所述第一业务数据获取请求发送到所述提供商标识对应提供商的供应商接口，并接收所述供应商接口反馈的第一业务数据，其中，所述第一业务数据，用于表示多个时间戳指示时间下，所述提供商标识对应提供商在所述域名下的业务数据；

第三处理模块，用于查询出所述域名对应的域名标识，并根据多个时间戳、所述域名标识和所述第一业务数据的数据类型生成第二业务数据获取请求；

采集模块，用于将所述第二业务数据获取请求发送到远程字典服务Redis数据库中，并接收所述Redis数据库发送的所述域名在各时间戳下所有供应商的第二业务数据；其中，所述第二业务数据的数据类型与所述第一业务数据的数据类型相同。

第三方面，本发明实施例提供了一种电子设备，包括总线、收发器、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述收发器、所述存储器和所述处理器通过所述总线相连，所述计算机程序被所述处理器执行时实现如上述第一方面所述的数据处理方法中的步骤。

第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的数据处理方法中的步骤。

本发明实施例提供的第一方面至第四方面提供的方案中，任务服务器通过获取到的任务字符串，得到提供商标识、提供商的鉴权信息、域名、需要采集的业务数据的数据类型以及获取业务数据的多个时间戳，然后利用所述鉴权信息、域名、需要采集的业务数据的数据类型以及多个时间戳生成第一业务数据获取请求，将第一业务数据获取请求发送到所述提供商标识对应提供商的供应商接口，并接收所述供应商接口反馈的第一业务数据，然后查询出所述提供商域名对应的域名标识，并根据多个时间戳、所述域名标识和所述第一业务数据的数据类型生成第二业务数据获取请求，然后将该第二业务数据获取请求发送到Redis数据库，以从所述Redis数据库中获取出所述域名在各时间戳下所有供应商的第二业务数据，与相关技术中只能将单个供应商的业务数据进行入库操作的方式相比，只需要域名、多个时间戳、以及数据类型就可以从Redis数据库中获取出该域名在各时间戳下所有供应商具有该数据类型的第二业务数据，提高了获取供应商中业务数据的速度；而且，由于Redis数据库提供的是缓存服务，任务服务器可以从Redis数据库中快速读写数据，提高了数据读写效率。

附图说明

为了更清楚地说明本发明实施例或背景技术中的技术方案，下面将对本发明实施例或背景技术中所需要使用的附图进行说明。

图1示出了本发明实施例1所提供的一种数据处理方法的流程图；

图2示出了本发明实施例1所提供的一种数据处理方法中，任务服务器、供应商接口、以及Redis数据库之间的交互示意图；

图3示出了本发明实施例2所提供的一种数据处理装置的结构示意图；

图4示出了本发明实施例3所提供的一种执行数据处理方法的电子设备的结构示意图。

具体实施方式

所属技术领域的技术人员应当知道，本发明实施例可以实现为数据处理方法、装置、电子设备及计算机可读存储介质。因此，本发明实施例可以具体实现为以下形式：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)、硬件和软件结合的形式。此外，在一些实施例中，本发明实施例还可以实现为在一个或多个计算机可读存储介质中的计算机程序产品的形式，该计算机可读存储介质中包含计算机程序代码。

上述计算机可读存储介质可以采用一个或多个计算机可读存储介质的任意组合。计算机可读存储介质包括：电、磁、光、电磁、红外或半导体的系统、装置或器件，或者以上任意的组合。计算机可读存储介质更具体的例子包括：便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、闪存(FlashMemory)、光纤、光盘只读存储器(CD-ROM)、光存储器件、磁存储器件或以上任意组合。在本发明实施例中，计算机可读存储介质可以是任意包含或存储程序的有形介质，该程序可以被指令执行系统、装置、器件使用或与其结合使用。

上述计算机可读存储介质包含的计算机程序代码可以用任意适当的介质传输，包括：无线、电线、光缆、射频(Radio Frequency， RF)或者以上任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明实施例操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，例如：Java、Smalltalk、C++，还包括常规的过程式程序设计语言，例如：C语言或类似的程序设计语言。计算机程序代码可以完全的在用户计算机上执行、部分的在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行以及完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括：局域网(LAN)或广域网(WAN)，可以连接到用户计算机，也可以连接到外部计算机。

下面将参照本发明实施例的数据处理方法、装置、电子设备及计算机可读存储介质的流程图和/或方框图描述本发明实施例。

应当理解，流程图和/或方框图的每个方框以及流程图和/或方框图中各方框的组合，都可以由计算机可读程序指令实现。这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而生产出一种机器，这些计算机可读程序指令通过计算机或其他可编程数据处理装置执行，产生了实现流程图和/或方框图中的方框规定的功能/操作的装置。

也可以将这些计算机可读程序指令存储在能使得计算机或其他可编程数据处理装置以特定方式工作的计算机可读存储介质中。这样，存储在计算机可读存储介质中的指令就产生出一个包括实现流程图和 /或方框图中的方框规定的功能/操作的指令装置产品。

也可以将计算机可读程序指令加载到计算机、其他可编程数据处理装置或其他设备上，使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机或其他可编程数据处理装置上执行的指令能够提供实现流程图和/或方框图中的方框规定的功能/操作的过程。

目前，服务在使用CDN提供的加速服务时，需要根据实时业务数据和历史数据来分析其运行情况，通过用量和账单及时了解其收费明细，更好地进行业务决策。

为了获取业务数据，这里，先对本发明实施例提出的数据处理方法，装置、电子设备及计算机可读存储介质的应用场景进行描述。

该应用场景，包括：任务生产者、调度服务器、至少两个任务服务器、至少两个Redis数据库以及数据库。

其中，调度服务器分别与任务生产者以及至少两个任务服务器连接。

所述至少两个任务服务器中的各任务服务器均能够分别与所述至少两个Redis数据库中的各Redis数据库进行交互。

各所述任务服务器还能够将业务数据同步到数据库中。

所述至少两个Redis数据库中的各Redis数据库，用于对供应商的业务数据进行存储。

在一个实施方式中，各Redis数据库采用主从机制运行，即所述至少两个Redis数据库的各Redis数据库可以先选举出一个Redis数据库作为主Redis数据库，而至少两个Redis数据库中除主Redis数据库之外的其他Redis数据库作为从Redis数据库。

主Redis数据库能够与任务服务器进行交互，而从Redis数据库则作为主Redis数据库的热备运行。

所述业务数据，包括但不限于：供应商提供的带宽、流量、以及请求数。

所述数据库，可以是Mysql数据库，用于对采集任务的数据以及业务数据进行存储。

为了让任务服务器能够执行业务数据采集任务，在以上给出的应用场景中：

任务生产者，用于将采集域名中业务数据相关的任务字符串存储在任务表中，其中，每个任务字符串对应的任务都有一个唯一的域名标识，是预先分配好的；任务表是按照不同的供应商分配的，也就是向每个供应商分配一个属于该供应商自己的任务表。

所述任务生产者，可以采用现有技术中任何能够存储任务表的计算设备。

所述任务表，缓存在所述任务生产者中。所述任务表，是用于存放任务信息的一个数据表。

所述任务字符串，包括：需要执行的业务数据采集任务的任务信息。

所述任务信息，包括但不限于：提供商标识、域名、需要采集的业务数据的数据类型以及业务数据采集时间区间。

调度服务器，根据各任务服务器上报的负载情况，对各任务服务器上报的负载情况进行分析，根据分析得到的结果确定执行业务数据采集任务的任务服务器，然后从任务生产者中的任务表获取需要执行的业务数据采集任务的任务字符串，并基于任务字符串生成业务数据采集指令，然后将生成的业务数据采集指令发送到任务服务器，使得任务服务器根据业务数据采集指令针进行业务数据采集。

基于此，本实施例提出一种数据处理方法，装置、电子设备及计算机可读存储介质，任务服务器只需要域名、多个时间戳、以及数据类型就可以从Redis数据库中获取出该域名在各时间戳下所有供应商具有该数据类型的第二业务数据，提高了获取供应商中业务数据的速度；而且，由于Redis数据库提供的是缓存服务，任务服务器可以从 Redis数据库中快速读写数据，提高了数据读写效率。

在本实施例提出的各实施例中，一个域名可以分配给多个供应商使用，这是由于一个域名可支持访问的服务区域有国内和海外，国内可支持访问的服务区域有各省市，每个省市的服务供应商不一定是一致的，可能存在域名a在地点1的访问服务由供应商1提供，域名a 在地点2的访问服务由供应商2提供，这样就导致了一个域名是由多个供应商的服务组成，即一个域名可以分配给多个供应商使用。

下面结合本发明实施例中的附图对本发明实施例进行描述。

实施例1

本实施例提出的数据处理方法的执行主体是上述的任务服务器。

参见图1所示的一种数据处理方法的流程图以及图2所示的任务服务器、供应商接口、以及Redis数据库之间的交互示意图，本实施例提出一种数据处理方法，包括以下具体步骤：

步骤100、获取业务数据采集指令，所述业务数据采集指令，包括：任务字符串。

在上述步骤100中，任务服务器获取到的业务数据采集指令，是调度服务器发送过来的。

所述业务数据采集指令，用于指示任务服务器对带宽、流量、以及请求数中的任一业务数据进行采集。

带宽、流量、以及请求数是不同的业务数据，即带宽、流量、以及请求数是具有不同数据类型的业务户数。

步骤102、基于所述任务字符串，得到提供商标识、提供商的鉴权信息、域名、需要采集的业务数据的数据类型以及获取业务数据的多个时间戳。

在上述步骤102中，为了得到提供商标识、提供商的鉴权信息、域名、以及获取业务数据的多个时间戳，上述步骤102可以执行以下步骤(1)至步骤(4)：

(1)对所述任务字符串进行处理，得到任务信息，所述任务信息，包括：提供商标识、域名、需要采集的业务数据的数据类型以及业务数据采集时间区间；

(2)利用所述提供商标识生成所述提供商标识对应提供商的鉴权信息的获取请求；

(3)向Redis数据库发送所述鉴权信息的获取请求，并接收所述 Redis数据库反馈的所述提供商标识对应提供商的鉴权信息；

(4)基于时间戳间隔时长对所述业务数据采集时间区间进行处理，得到获取业务数据的多个时间戳。

在上述步骤(1)中，任务服务器对任务字符串进行拆解反序列化处理，得到任务信息。

所述任务服务器对任务字符串进行拆解反序列化处理的过程是现有技术，这里不再赘述。

所述提供商标识，是用于唯一标识提供商的身份的字符。是任务生产者，预先给不同的提供商分配的。

所述业务数据采集时间区间，用于表示需要进行业务数据采集的时间起点、时间终点以及时间长度。

在上述步骤(3)中，Redis数据库接收到任务服务器发送的鉴权信息的获取请求时，可以利用鉴权信息的获取请求中携带的提供商标识，从存储的供应商标识与鉴权信息的对应关系中查询出与鉴权信息的获取请求中携带的提供商标识对应的鉴权信息，并将查询出的所述鉴权信息作为提供商标识对应提供商的鉴权信息反馈给所述任务服务器。

所述鉴权信息，可以是但不限于：密码或者密钥。

在上述步骤(4)中，所述时间戳间隔时长，是预先设置在任务服务器中的。在一个实施方式中，可以设置为5分钟至30分钟的任意时长。

在一个实施方式中，将业务数据采集时间区间设置为每天的上午 6时到上午8时，时间戳间隔时长设置为30分钟，那么得到的获取业务数据的多个时间戳是：上午6时、上午6点30分、上午7时、上午 7点30分、以及上午8时。

步骤104、利用所述鉴权信息、域名、需要采集的业务数据的数据类型以及多个时间戳生成第一业务数据获取请求，并将所述第一业务数据获取请求发送到所述提供商标识对应提供商的供应商接口，并接收所述供应商接口反馈的第一业务数据，其中，所述第一业务数据，用于表示多个时间戳指示时间下，所述提供商标识对应提供商在所述域名下的业务数据。

在上述步骤104中，所述供应商接口，是供应商提供的，用于使任务服务器获取供应商内部存储的业务数据的接口。

所述提供商标识对应提供商的供应商接口在接收到所述第一业务数据获取请求时，先基于所述第一业务数据获取请求中的鉴权信息对所述任务服务器的身份进行验证，如果所述任务服务器通过身份验证，则供应商接口根据域名和需要采集的业务数据的数据类型从供应商接口自身缓存的业务数据中，查询出第一业务数据，并将查询出的第一业务数据反馈给任务服务器。

其中，所述第一业务数据是具有第一业务数据获取请求中携带的数据类型的业务数据。

如果所述任务服务器未通过身份验证，则供应商接口向任务服务器发送身份验证失败信息，通知任务服务器身份验证失败。

供应商接口基于鉴权信息中的密码或者密钥，对任务服务器的身份进行验证的过程是现有技术，这里不再赘述。

步骤106、查询出所述域名对应的域名标识，并根据多个时间戳、所述域名标识和所述第一业务数据的数据类型生成第二业务数据获取请求。

在上述步骤106中，所述任务服务器中存储有域名与域名标识的对应关系。

所述域名标识，用于唯一表示域名身份的数字串，是任务服务器预先分配给不同的域名的。

所以，所述任务服务器可以利用域名对域名与域名标识的对应关系进行遍历，以从所述域名与域名标识的对应关系中查询出所述域名对应的域名标识。

步骤108、将所述第二业务数据获取请求发送到Redis数据库中，并接收所述Redis数据库发送的所述域名在各时间戳下所有供应商的第二业务数据；其中，所述第二业务数据的数据类型与所述第一业务数据的数据类型相同。

在上述步骤108中，为了将所述第二业务数据获取请求发送到 Redis数据库中，以从所述Redis数据库中获取出所述域名在各时间戳下所有供应商的第二业务数据。在生成第二业务数据获取请求后，所述任务服务器，还可以执行以下步骤(1)至步骤(3)：

(1)从所述任务服务器中部署的redis哨兵获取主Redis数据库的运行状态；

(2)当redis哨兵根据主Redis数据库的运行状态确定主Redis 数据库的运行状态正常时，将所述第二业务数据获取请求发送到主 Redis数据库中，以从所述主Redis数据库中获取出所述域名在各时间戳下所有供应商的第二业务数据；

(3)当根据主Redis数据库的运行状态确定主Redis数据库的运行状态异常时，将所述第二业务数据获取请求发送到当前处于热备状态的任一从Redis数据库中，以从所述从Redis数据库中获取出所述域名在各时间戳下所有供应商的第二业务数据。

在上述步骤(1)中，所述redis哨兵，是一个在任务服务器运行的进程，用于从多个Redis数据库中，获取可用的Redis数据库服务。

在上述步骤(2)中，redis哨兵能够在任务服务器与主Redis数据库交互之前，向Redis数据库发送是需要应答的PING指令，当接收到Redis数据库返回的应答信息时，确定主Redis数据库的运行状态正常；当未接收到Redis数据库返回的应答信息时，确定主Redis数据库的运行状态异常。

主Redis数据库接收到第二业务数据获取请求后，可以根据第二业务数据获取请求中携带的域名标识和数据类型，从主Redis数据库缓存的业务数据中查询出所述域名在多个时间戳中各时间戳下所有供应商的第二业务数据，并将查询出的第二业务数据反馈给任务服务器。

在上述步骤(3)中，从Redis数据库向任务服务器反馈第二业务数据的过程与上述步骤(2)中主Redis数据库向任务服务器反馈第二业务数据的过程类似，这里不再赘述。

通过以上步骤(1)至步骤(3)的内容可以看出，利用在所述任务服务器中部署的redis哨兵对Redis数据库的运行状态进行监控，并将第二业务数据获取请求发送到运行状态正常的Redis数据库中，无需获取Redis数据库的配置文件，就可以快速确定出运行状态正常的 Redis数据库进行业务数据读写操作，提高了业务数据的读写效率。

任务服务器在从所述Redis数据库中获取出所述域名在各时间戳下所有供应商的第二业务数据后，还包括以下步骤(1)至步骤(4)：

(1)根据所述域名标识和所述数据类型，生成用于存储所述域名标识对应的域名中所述数据类型的业务数据的业务数据列表；

(2)将所述第一业务数据和所述第二业务数据写入业务数据列表；

(3)将所述业务数据列表发送到所述Redis数据库中进行存储；

(4)将所述域名标识发送到所述Redis数据库中，使得所述Redis 数据库将接收到的所述域名标识存储到域名标识列表中。

在上述步骤(1)中，任务服务器可以利用所述域名标识和所述数据类型作为业务数据列表的名称生成业务数据列表。

根据所述域名标识和所述数据类型，生成用于存储所述域名标识对应的域名中所述数据类型的业务数据的业务数据列表的过程，可以采用现有技术中任何生成表的算法得到，这里不再赘述。

在上述步骤(4)中，所述域名标识列表，缓存在所述述Redis数据库中，用于对需要进行业务数据同步的域名的域名标识进行存储。

在将所述域名标识发送到所述Redis数据库中之后，所述任务服务器还可以继续执行以下步骤(11)至步骤(15)：

(11)当获取到数据同步指令时，向所述所述Redis数据库发送域名标识获取指令，并接收所述Redis数据库发送的域名标识列表；

(12)生成用于同步数据到数据库中的采集结果集；

(13)当所述域名标识列表具有未合并数据的域名标识时，从所述域名标识列表中获取域名标识，并基于所述域名标识，生成合并数据获取请求，并将所述合并数据获取请求发送到所述Redis数据库；使得所述Redis数据库根据合并数据获取请求中携带的域名标识，从所述存储所述域名标识对应的域名的业务数据列表中获取待同步的业务数据，并将获取到的待同步的业务数据返回给任务服务器；

(14)接收所述Redis数据库返回的待同步的业务数据，并将接收到的待同步的业务数据存储到所述采集结果集中，并将所述采集结果集发送到所述Redis数据库存储；

(15)当距离上次数据同步的时间长度达到数据同步周期长度时，向所述Redis数据库发送数据同步指令，使得所述Redis数据库将所述采集结果集同步到所述数据库中。

在上述步骤(11)中，所述数据同步指令，可以是任务服务器周期性生成的，也可以是工作人员向任务服务器发出的。

在上述步骤(12)中，所述采集结果集，用于对需要进行数据同步的业务数据进行存储。

在上述步骤(13)中，待同步的业务数据，就是所述Redis数据库中存储的域名标识对应域名的各种数据类型的业务数据。

通过以上步骤(11)至步骤(14)可以看出，业务数据的读写操作都是在Redis数据库中完成，比直接读写数据库中的业务数据快，提高了业务数据的读写效率。

综上所述，本实施例提出的数据处理方法，任务服务器通过获取到的任务字符串，得到提供商标识、提供商的鉴权信息、域名、需要采集的业务数据的数据类型以及获取业务数据的多个时间戳，然后利用所述鉴权信息、域名、需要采集的业务数据的数据类型以及多个时间戳生成第一业务数据获取请求，将第一业务数据获取请求发送到所述提供商标识对应提供商的供应商接口，并接收所述供应商接口反馈的第一业务数据，然后查询出所述提供商域名对应的域名标识，并根据多个时间戳、所述域名标识和所述第一业务数据的数据类型生成第二业务数据获取请求，然后将该第二业务数据获取请求发送到Redis数据库，以从所述Redis数据库中获取出所述域名在各时间戳下所有供应商的第二业务数据，与相关技术中只能将单个供应商的业务数据进行入库操作的方式相比，只需要域名、多个时间戳、以及数据类型就可以从Redis数据库中获取出该域名在各时间戳下所有供应商具有该数据类型的第二业务数据，提高了获取供应商中业务数据的速度；而且，由于Redis数据库提供的是缓存服务，任务服务器可以从Redis 数据库中快速读写数据，提高了数据读写效率。

实施例2

本实施例提出一种数据处理装置，用于执行上述实施例1提出的数据处理方法。

参见图3所示的一种数据处理装置的结构示意图，包括：

获取模块300，用于获取业务数据采集指令，所述业务数据采集指令，包括：任务字符串；

第一处理模块302，用于基于所述任务字符串，得到提供商标识、提供商的鉴权信息、域名、需要采集的业务数据的数据类型以及获取业务数据的多个时间戳；

第二处理模块304，用于利用所述鉴权信息、域名、需要采集的业务数据的数据类型以及多个时间戳生成第一业务数据获取请求，并将所述第一业务数据获取请求发送到所述提供商标识对应提供商的供应商接口，并接收所述供应商接口反馈的第一业务数据，其中，所述第一业务数据，用于表示多个时间戳指示时间下，所述提供商标识对应提供商在所述域名下的业务数据；

第三处理模块306，用于查询出所述域名对应的域名标识，并根据多个时间戳、所述域名标识和所述第一业务数据的数据类型生成第二业务数据获取请求；

采集模块308，用于将所述第二业务数据获取请求发送到远程字典服务Redis数据库中，并接收所述Redis数据库发送的所述域名在各时间戳下所有供应商的第二业务数据；其中，所述第二业务数据的数据类型与所述第一业务数据的数据类型相同。

第一处理模块，具体用于：

对所述任务字符串进行处理，得到任务信息，所述任务信息，包括：提供商标识、域名、以及业务数据采集时间区间；

利用所述提供商标识生成所述提供商标识对应提供商的鉴权信息的获取请求；

向Redis数据库发送所述鉴权信息的获取请求，并接收所述Redis 数据库反馈的所述提供商标识对应提供商的鉴权信息；

基于时间戳间隔时长对所述业务数据采集时间区间进行处理，得到获取业务数据的多个时间戳。

本实施例提出的数据处理装置，还包括：

生成模块，用于根据所述域名标识和所述数据类型，生成用于存储所述域名标识对应的域名中所述数据类型的业务数据的业务数据列表；

写入模块，用于对所述第一业务数据和所述第二业务数据进行组装处理，得到待合并的业务数据，并将组装后得到的待合并的业务数据写入业务数据列表；

存储模块，用于将所述业务数据列表发送到所述Redis数据库中进行存储；

发送模块，用于将所述域名标识发送到所述Redis数据库中，使得所述Redis数据库将接收到的所述域名标识存储到域名标识列表中。

本实施例提出的数据处理装置，还包括：

第四处理模块，用于当获取到数据同步指令时，向所述所述Redis 数据库发送域名标识获取指令，并接收所述Redis数据库发送的域名标识列表；

第五处理模块，用于生成用于同步数据到数据库中的采集结果集；

第六处理模块，当所述域名标识列表具有未合并数据的域名标识时，从所述域名标识列表中获取域名标识，并基于所述域名标识，生成合并数据获取请求，并将所述合并数据获取请求发送到所述Redis 数据库；使得所述Redis数据库根据合并数据获取请求中携带的域名标识，从所述存储所述域名标识对应的域名的业务数据列表中获取待同步的业务数据，并将获取到的待同步的业务数据返回给任务服务器；

接收模块，用于接收所述Redis数据库返回的待同步的业务数据，并将接收到的待同步的业务数据存储到所述采集结果集中，并将所述采集结果集发送到所述Redis数据库存储。

本实施例提出的数据处理装置，还包括：

同步模块，用于当距离上次数据同步的时间长度达到数据同步周期长度时，向所述Redis数据库发送数据同步指令，使得所述Redis数据库将所述采集结果集同步到所述数据库中。

综上所述，本实施例提出的数据处理装置，任务服务器通过获取到的任务字符串，得到提供商标识、提供商的鉴权信息、域名、需要采集的业务数据的数据类型以及获取业务数据的多个时间戳，然后利用所述鉴权信息、域名、需要采集的业务数据的数据类型以及多个时间戳生成第一业务数据获取请求，将第一业务数据获取请求发送到所述提供商标识对应提供商的供应商接口，并接收所述供应商接口反馈的第一业务数据，然后查询出所述提供商域名对应的域名标识，并根据多个时间戳、所述域名标识和所述第一业务数据的数据类型生成第二业务数据获取请求，然后将该第二业务数据获取请求发送到Redis数据库，以从所述Redis数据库中获取出所述域名在各时间戳下所有供应商的第二业务数据，与相关技术中只能将单个供应商的业务数据进行入库操作的方式相比，只需要域名、多个时间戳、以及数据类型就可以从Redis数据库中获取出该域名在各时间戳下所有供应商具有该数据类型的第二业务数据，提高了获取供应商中业务数据的速度；而且，由于Redis数据库提供的是缓存服务，任务服务器可以从Redis 数据库中快速读写数据，提高了数据读写效率。

应理解，在本发明实施例中，“与A相应的B”表示B与A相关联，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/ 或其他信息确定B。

实施例3

本发明实施例还提供了一种电子设备，包括总线、收发器、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，该收发器、该存储器和处理器分别通过总线相连，计算机程序被处理器执行时实现上述数据处理方法实施例1的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

具体的，参见图4所示，本发明实施例还提供了一种电子设备，该电子设备包括总线71、处理器72、收发器73、总线接口74、存储器75和用户接口76。

在本发明实施例中，该电子设备还包括：存储在存储器75上并可在处理器72上运行的计算机程序，计算机程序被处理器72执行时实现以下步骤：

获取业务数据采集指令，所述业务数据采集指令，包括：任务字符串；

可选地，计算机程序被处理器72执行时还可实现以下步骤：

所述基于所述任务字符串，得到提供商标识、提供商的鉴权信息、域名、以及获取业务数据的多个时间戳，包括以下步骤：

上述方法，还可以包括以下步骤：

根据所述域名标识和所述数据类型，生成用于存储所述域名标识对应的域名中所述数据类型的业务数据的业务数据列表；

将所述第一业务数据和所述第二业务数据写入业务数据列表；

将所述业务数据列表发送到所述Redis数据库中进行存储；

将所述域名标识发送到所述Redis数据库中，使得所述Redis数据库将接收到的所述域名标识存储到域名标识列表中。

上述方法，还可以包括以下步骤：

当获取到数据同步指令时，向所述所述Redis数据库发送域名标识获取指令，并接收所述Redis数据库发送的域名标识列表；

生成用于同步数据到数据库中的采集结果集；

当所述域名标识列表具有未合并数据的域名标识时，从所述域名标识列表中获取域名标识，并基于所述域名标识，生成合并数据获取请求，并将所述合并数据获取请求发送到所述Redis数据库；使得所述Redis数据库根据合并数据获取请求中携带的域名标识，从所述存储所述域名标识对应的域名的业务数据列表中获取待同步的业务数据，并将获取到的待同步的业务数据返回给任务服务器；

接收所述Redis数据库返回的待同步的业务数据，并将接收到的待同步的业务数据存储到所述采集结果集中，并将所述采集结果集发送到所述Redis数据库存储。

上述方法，还可以包括以下步骤：

当距离上次数据同步的时间长度达到数据同步周期长度时，向所述Redis数据库发送数据同步指令，使得所述Redis数据库将所述采集结果集同步到所述数据库中。

收发器73，用于在处理器72的控制下接收和发送数据。

在图4中，总线架构(用总线71来代表)，总线71可以包括任意数量互联的总线和桥，总线71将包括由处理器72代表的一个或多个处理器与存储器75代表的存储器的各种电路连接在一起。

总线71表示若干类型的总线结构中的任何一种总线结构中的一个或多个，包括存储器总线以及存储器控制器、外围总线、加速图形端口(Accelerate Graphical Port，AGP)、处理器或使用各种总线体系结构中的任意总线结构的局域总线。作为示例而非限制，这样的体系结构包括：工业标准体系结构(Industry Standard Architecture，ISA)总线、微通道体系结构(Micro Channel Architecture，MCA)总线、扩展ISA(EnhancedISA，EISA)总线、视频电子标准协会(Video Electronics Standards Association，VESA)、外围部件互连 (Peripheral Component Interconnect，PCI)总线。

处理器72可以是一种集成电路芯片，具有信号处理能力。在实现过程中，上述方法实施例的各步骤可以通过处理器中硬件的集成逻辑电路或软件形式的指令完成。上述的处理器包括：通用处理器、中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor， NP)、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)、复杂可编程逻辑器件(Complex Programmable LogicDevice，CPLD)、可编程逻辑阵列 (Programmable Logic Array，PLA)、微控制单元(Microcontroller Unit， MCU)或其他可编程逻辑器件、分立门、晶体管逻辑器件、分立硬件组件。可以实现或执行本发明实施例中公开的各方法、步骤及逻辑框图。例如，处理器可以是单核处理器或多核处理器，处理器可以集成于单颗芯片或位于多颗不同的芯片。

处理器72可以是微处理器或任何常规的处理器。结合本发明实施例所公开的方法步骤可以直接由硬件译码处理器执行完成，或者由译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存取存储器(Random Access Memory，RAM)、闪存(Flash Memory)、只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、寄存器等本领域公知的可读存储介质中。所述可读存储介质位于存储器中，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

总线71还可以将，例如外围设备、稳压器或功率管理电路等各种其他电路连接在一起，总线接口74在总线71和收发器73之间提供接口，这些都是本领域所公知的。因此，本发明实施例不再对其进行进一步描述。

收发器73可以是一个元件，也可以是多个元件，例如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。例如：收发器73从其他设备接收外部数据，收发器73用于将处理器72处理后的数据发送给其他设备。取决于计算机系统的性质，还可以提供用户接口76，例如：触摸屏、物理键盘、显示器、鼠标、扬声器、麦克风、轨迹球、操纵杆、触控笔。

应理解，在本发明实施例中，存储器75可进一步包括相对于处理器72远程设置的存储器，这些远程设置的存储器可以通过网络连接至服务器。上述网络的一个或多个部分可以是自组织网络(ad hoc network)、内联网(intranet)、外联网(extranet)、虚拟专用网(VPN)、局域网(LAN)、无线局域网(WLAN)、广域网(WAN)、无线广域网 (WWAN)、城域网(MAN)、互联网(Internet)、公共交换电话网(PSTN)、普通老式电话业务网(POTS)、蜂窝电话网、无线网络、无线保真(Wi- Fi)网络以及两个或更多个上述网络的组合。例如，蜂窝电话网和无线网络可以是全球移动通信(GSM)系统、码分多址(CDMA)系统、全球微波互联接入(WiMAX)系统、通用分组无线业务(GPRS)系统、宽带码分多址(WCDMA)系统、长期演进(LTE)系统、LTE频分双工(FDD)系统、LTE时分双工(TDD)系统、先进长期演进(LTE- A)系统、通用移动通信(UMTS)系统、增强移动宽带(Enhance Mobile Broadband，eMBB)系统、海量机器类通信(massive Machine Type of Communication，mMTC)系统、超可靠低时延通信(Ultra Reliable Low Latency Communications，uRLLC)系统等。

应理解，本发明实施例中的存储器75可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器包括：只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器 (Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存(Flash Memory)。

易失性存储器包括：随机存取存储器(Random Access Memory， RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如：静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本发明实施例描述的电子设备的存储器75包括但不限于上述和任意其他适合类型的存储器。

在本发明实施例中，存储器75存储了操作系统751和应用程序 752的如下元素：可执行模块、数据结构，或者其子集，或者其扩展集。

具体而言，操作系统751包含各种系统程序，例如：框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序752包含各种应用程序，例如：媒体播放器(Media Player)、浏览器(Browser)，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序752中。应用程序752包括：小程序、对象、组件、逻辑、数据结构以及其他执行特定任务或实现特定抽象数据类型的计算机系统可执行指令。

此外，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述XXXX方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

具体而言，计算机程序被处理器执行时可实现以下步骤：

可选地，计算机程序被处理器执行时还可实现以下步骤：

上述方法，还可以包括以下步骤：

将所述业务数据列表发送到所述Redis数据库中进行存储；

上述方法，还可以包括以下步骤：

生成用于同步数据到数据库中的采集结果集；

上述方法，还可以包括以下步骤：

计算机可读存储介质包括：永久性和非永久性、可移动和非可移动媒体，是可以保留和存储供指令执行设备所使用指令的有形设备。计算机可读存储介质包括：电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备以及上述任意合适的组合。计算机可读存储介质包括：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带存储、磁带磁盘存储或其他磁性存储设备、记忆棒、机械编码装置(例如在其上记录有指令的凹槽中的穿孔卡或凸起结构)或任何其他非传输介质、可用于存储可以被计算设备访问的信息。按照本发明实施例中的界定，计算机可读存储介质不包括暂时信号本身，例如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如穿过光纤电缆的光脉冲)或通过导线传输的电信号。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

本领域普通技术人员可以意识到，结合本发明实施例中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或二者的结合来实现，为了清楚说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机程序指令。所述计算机程序指令包括：汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、集成电路配置数据或以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言，例如：Smalltalk、C++以及过程式编程语言，例如：C语言或类似的编程语言。

在计算机上加载和执行所述计算机程序指令时，全部或部分的产生按照本发明实施例所述的流程或功能，所述计算机可以是通过计算机、专用计算机、计算机网络或其他可编辑装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如：所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如：同轴电缆、双绞线、光纤、数字用户线路(digital subscriber line，DSL))或无线 (例如：红外、无线、微波)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或包括一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如：软盘、磁盘、磁带)、光介质(例如：光盘)或半导体介质(例如：固态硬盘 (Solid State Drive，SSD))等。这些功能究竟以硬件还是软件来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明实施例的范围。

所属技术领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述本发明方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所披露的装置、电子设备和方法，可以通过其他的方式实现。例如，以上描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的、机械的或其他的形式连接。

所述作为分离部件说明的单元可以是或也可以不是物理上分开的，作为单元显示的部件可以是或也可以不是物理单元，既可以位于一个位置，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或全部单元来解决本发明实施例方案要解决的问题。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术作出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(包括：个人计算机、服务器、数据中心或其他网络设备)执行本发明各个实施例所述方法的全部或部分步骤。而上述存储介质包括如前述所列举的各种可以存储程序代码的介质。

综上所述，本实施例提出的电子设备和计算机可读存储介质，通过获取到的任务字符串，得到提供商标识、提供商的鉴权信息、域名、需要采集的业务数据的数据类型以及获取业务数据的多个时间戳，然后利用所述鉴权信息、域名、需要采集的业务数据的数据类型以及多个时间戳生成第一业务数据获取请求，将第一业务数据获取请求发送到所述提供商标识对应提供商的供应商接口，并接收所述供应商接口反馈的第一业务数据，然后查询出所述提供商域名对应的域名标识，并根据多个时间戳、所述域名标识和所述第一业务数据的数据类型生成第二业务数据获取请求，然后将该第二业务数据获取请求发送到Redis数据库，以从所述Redis数据库中获取出所述域名在各时间戳下所有供应商的第二业务数据，与相关技术中只能将单个供应商的业务数据进行入库操作的方式相比，只需要域名、多个时间戳、以及数据类型就可以从Redis数据库中获取出该域名在各时间戳下所有供应商具有该数据类型的第二业务数据，提高了获取供应商中业务数据的速度；而且，由于Redis数据库提供的是缓存服务，任务服务器可以从 Redis数据库中快速读写数据，提高了数据读写效率。

以上所述，仅为本发明实施例的具体实施方式，但本发明实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明实施例披露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明实施例的保护范围之内。因此，本发明实施例的保护范围应以权利要求的保护范围为准。

Claims

1.一种数据处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，任务服务器基于所述任务字符串，得到提供商标识、提供商的鉴权信息、域名、以及获取业务数据的多个时间戳，包括：

向Redis数据库发送所述鉴权信息的获取请求，并接收所述Redis数据库反馈的所述提供商标识对应提供商的鉴权信息；

3.根据权利要求1所述的方法，其特征在于，还包括：

将所述业务数据列表发送到所述Redis数据库中进行存储；

4.根据权利要求3所述的方法，其特征在于，还包括：

生成用于同步数据到数据库中的采集结果集；

5.根据权利要求4所述的方法，其特征在于，还包括：

6.一种数据处理装置，其特征在于，包括：

7.根据权利要求6所述的装置，其特征在于，第一处理模块，具体用于：

8.根据权利要求6所述的装置，其特征在于，还包括：

写入模块，用于将所述第一业务数据和所述第二业务数据写入业务数据列表；

9.根据权利要求8所述的装置，其特征在于，还包括：

第四处理模块，用于当获取到数据同步指令时，向所述所述Redis数据库发送域名标识获取指令，并接收所述Redis数据库发送的域名标识列表；

第六处理模块，当所述域名标识列表具有未合并数据的域名标识时，从所述域名标识列表中获取域名标识，并基于所述域名标识，生成合并数据获取请求，并将所述合并数据获取请求发送到所述Redis数据库；使得所述Redis数据库根据合并数据获取请求中携带的域名标识，从所述存储所述域名标识对应的域名的业务数据列表中获取待同步的业务数据，并将获取到的待同步的业务数据返回给任务服务器；

10.根据权利要求9所述的方法，其特征在于，还包括：

11.一种电子设备，包括总线、收发器、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述收发器、所述存储器和所述处理器通过所述总线相连，其特征在于，所述计算机程序被所述处理器执行时实现如权利要求1至5中任一项所述的数据处理方法中的步骤。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的数据处理方法中的步骤。