CN112667726A - 数据抽取方法、装置、电子设备、存储介质及程序产品 - Google Patents

Abstract

本公开实施例公开了一种数据抽取方法、装置、电子设备、存储介质及程序产品，所述方法包括：响应于接收到数据抽取方发送的数据抽取请求，获取所述数据抽取请求携带的目标数据服务器地址和目标数据对象标识信息；基于所述目标数据对象标识信息的数量确定目标数据对象请求数量；根据所述目标数据服务器地址获取所述目标数据服务器的可接受数据对象请求数量，当所述目标数据对象请求数量小于或等于所述可接受数据对象请求数量时，确认所述数据抽取请求。

Description

数据抽取方法、装置、电子设备、存储介质及程序产品

技术领域

本公开实施例涉及数据处理技术领域，具体涉及一种数据抽取方法、装置、电子设备、存储介质及程序产品。

背景技术

随着互联网技术以及大数据技术的发展，越来越多的数据会被请求和传输。现有技术中，当大数据平台从数据库中进行数据抽取时，很容易造成数据库负载过高甚至引发服务器瘫痪，尤其对于服务器存在多数据库实例而且数据库实例间的数据抽取是相互独立的情况，更是由于缺少数据抽取的调度机制而引发数据库负载过高。

发明内容

本公开实施例提供一种数据抽取方法、装置、电子设备、存储介质及程序产品。

第一方面，本公开实施例中提供了一种数据抽取方法。

具体的，所述数据抽取方法，包括：

响应于接收到数据抽取方发送的数据抽取请求，获取所述数据抽取请求携带的目标数据服务器地址和目标数据对象标识信息；

基于所述目标数据对象标识信息的数量确定目标数据对象请求数量；

根据所述目标数据服务器地址获取所述目标数据服务器的可接受数据对象请求数量，当所述目标数据对象请求数量小于或等于所述可接受数据对象请求数量时，确认所述数据抽取请求。

结合第一方面，本公开实施例在第一方面的第一种实现方式中，所述数据抽取请求还携带目标数据库实例标识信息和目标对象集合标识信息。

结合第一方面和第一方面的第一种实现方式，本公开实施例在第一方面的第二种实现方式中，还包括：

根据所述数据抽取请求生成目标数据服务器的数据抽取队列，其中，所述数据抽取队列包括：目标数据服务器地址、目标数据库实例标识信息、目标对象集合标识信息、目标数据对象标识信息、目标数据服务器接入状态和目标数据服务器可接受数据对象请求数量；

所述根据所述目标数据服务器地址获取所述目标数据服务器的可接受数据对象请求数量，被实施为：

根据所述目标数据服务器地址获取所述目标数据服务器的数据抽取队列，基于所述目标数据服务器的数据抽取队列确定所述目标数据服务器的可接受数据对象请求数量。

结合第一方面、第一方面的第一种实现方式和第一方面的第二种实现方式，本公开在第一方面的第三种实现方式中，所述根据所述数据抽取请求生成目标数据服务器的数据抽取队列，包括：

确定目标数据服务器可接受的最大数据对象接入数量和当前数据对象接入数量；

将最大数据对象接入数量减去当前数据对象接入数量，得到目标数据服务器可接受数据对象请求数量；

根据前一确认数据抽取请求及所述目标数据服务器可接受数据对象请求数量，生成目标数据服务器的数据抽取队列。

结合第一方面、第一方面的第一种实现方式、第一方面的第二种实现方式和第一方面的第三种实现方式，本公开在第一方面的第四种实现方式中，所述确认所述数据抽取请求之后，还包括：

更新所述目标数据服务器的数据抽取队列。

结合第一方面、第一方面的第一种实现方式、第一方面的第二种实现方式、第一方面的第三种实现方式和第一方面的第四种实现方式，本公开在第一方面的第五种实现方式中，还包括：

将所述数据抽取请求发送给所述目标数据服务器。

结合第一方面、第一方面的第一种实现方式、第一方面的第二种实现方式、第一方面的第三种实现方式、第一方面的第四种实现方式和第一方面的第五种实现方式，本公开在第一方面的第六种实现方式中，还包括：

当所述目标数据对象请求数量大于所述可接受数据对象请求数量时，拒绝所述数据抽取请求。

结合第一方面、第一方面的第一种实现方式、第一方面的第二种实现方式、第一方面的第三种实现方式、第一方面的第四种实现方式、第一方面的第五种实现方式和第一方面的第六种实现方式，本公开在第一方面的第七种实现方式中，还包括：

向所述数据抽取方发送等候通知消息。

第二方面，本公开实施例中提供了一种数据抽取装置。

具体的，所述数据抽取装置，包括：

获取模块，被配置为响应于接收到数据抽取方发送的数据抽取请求，获取所述数据抽取请求携带的目标数据服务器地址和目标数据对象标识信息；

确定模块，被配置为基于所述目标数据对象标识信息的数量确定目标数据对象请求数量；

确认模块，被配置为根据所述目标数据服务器地址获取所述目标数据服务器的可接受数据对象请求数量，当所述目标数据对象请求数量小于或等于所述可接受数据对象请求数量时，确认所述数据抽取请求。

结合第二方面，本公开实施例在第二方面的第一种实现方式中，所述数据抽取请求还携带目标数据库实例标识信息和目标对象集合标识信息。

结合第二方面和第二方面的第一种实现方式，本公开实施例在第二方面的第二种实现方式中，还包括：

生成模块，被配置为根据所述数据抽取请求生成目标数据服务器的数据抽取队列，其中，所述数据抽取队列包括：目标数据服务器地址、目标数据库实例标识信息、目标对象集合标识信息、目标数据对象标识信息、目标数据服务器接入状态和目标数据服务器可接受数据对象请求数量；

所述确认模块中根据所述目标数据服务器地址获取所述目标数据服务器的可接受数据对象请求数量的部分，被配置为：

根据所述目标数据服务器地址获取所述目标数据服务器的数据抽取队列，基于所述目标数据服务器的数据抽取队列确定所述目标数据服务器的可接受数据对象请求数量。

结合第二方面、第二方面的第一种实现方式和第二方面的第二种实现方式，本公开在第二方面的第三种实现方式中，所述根据所述数据抽取请求生成目标数据服务器的数据抽取队列的部分，被配置为：

确定目标数据服务器可接受的最大数据对象接入数量和当前数据对象接入数量；

将最大数据对象接入数量减去当前数据对象接入数量，得到目标数据服务器可接受数据对象请求数量；

根据前一确认数据抽取请求及所述目标数据服务器可接受数据对象请求数量，生成目标数据服务器的数据抽取队列。

结合第二方面、第二方面的第一种实现方式、第二方面的第二种实现方式和第二方面的第三种实现方式，本公开在第二方面的第四种实现方式中，还包括：

更新模块，被配置为更新所述目标数据服务器的数据抽取队列。

结合第二方面、第二方面的第一种实现方式、第二方面的第二种实现方式、第二方面的第三种实现方式和第二方面的第四种实现方式，本公开在第二方面的第五种实现方式中，还包括：

第一发送模块，被配置为将所述数据抽取请求发送给所述目标数据服务器。

结合第二方面、第二方面的第一种实现方式、第二方面的第二种实现方式、第二方面的第三种实现方式、第二方面的第四种实现方式和第二方面的第五种实现方式，本公开在第二方面的第六种实现方式中，还包括：

拒绝模块，被配置为当所述目标数据对象请求数量大于所述可接受数据对象请求数量时，拒绝所述数据抽取请求。

结合第二方面、第二方面的第一种实现方式、第二方面的第二种实现方式、第二方面的第三种实现方式、第二方面的第四种实现方式、第二方面的第五种实现方式和第二方面的第六种实现方式，本公开在第二方面的第七种实现方式中，还包括：

第二发送模块，被配置为向所述数据抽取方发送等候通知消息。

第三方面，本公开实施例提供了一种电子设备，包括存储器和处理器，所述存储器用于存储一条或多条支持数据抽取装置执行上述数据抽取方法的计算机指令，所述处理器被配置为用于执行所述存储器中存储的计算机指令。所述数据抽取装置还可以包括通信接口，用于数据抽取装置与其他设备或通信网络通信。

第四方面，本公开实施例提供了一种计算机可读存储介质，用于存储数据抽取装置所用的计算机指令，其包含用于执行上述数据抽取方法为数据抽取装置所涉及的计算机指令。

第五方面，本公开实施例提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述数据抽取方法的步骤。

本公开实施例提供的技术方案可包括以下有益效果：

上述技术方案根据目标数据服务器的当前接入状态对于数据抽取请求进行调度。该技术方案借助数据抽取的调度机制对于数据抽取请求进行控制，从而避免了由于数据抽取而导致的数据库负载过高甚至引发服务器瘫痪的情况，尤其对于服务器存在多数据库实例而且数据库实例间的数据抽取相互独立的情况。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开实施例。

附图说明

结合附图，通过以下非限制性实施方式的详细描述，本公开实施例的其它特征、目的和优点将变得更加明显。在附图中：

图1示出根据本公开一实施方式的数据抽取方法的流程图；

图2示出根据本公开一实施方式的数据抽取装置的结构框图；

图3是适于用来实现根据本公开一实施方式的数据抽取方法的计算机系统的结构示意图。

具体实施方式

下文中，将参考附图详细描述本公开实施例的示例性实施方式，以使本领域技术人员可容易地实现它们。此外，为了清楚起见，在附图中省略了与描述示例性实施方式无关的部分。

在本公开实施例中，应理解，诸如“包括”或“具有”等的术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在，并且不欲排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在或被添加的可能性。

另外还需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开实施例。

本公开实施例提供的技术方案根据目标数据服务器的当前接入状态对于数据抽取请求进行调度。该技术方案借助数据抽取的调度机制对于数据抽取请求进行控制，从而避免了由于数据抽取而导致的数据库负载过高甚至引发服务器瘫痪的情况，尤其对于服务器存在多数据库实例而且数据库实例间的数据抽取相互独立的情况。

图1示出根据本公开一实施方式的数据抽取方法的流程图，如图1所示，所述数据抽取方法包括以下步骤S101-S103：

在步骤S101中，响应于接收到数据抽取方发送的数据抽取请求，获取所述数据抽取请求携带的目标数据服务器地址和目标数据对象标识信息；

在步骤S102中，基于所述目标数据对象标识信息的数量确定目标数据对象请求数量；

在步骤S103中，根据所述目标数据服务器地址获取所述目标数据服务器的可接受数据对象请求数量，当所述目标数据对象请求数量小于或等于所述可接受数据对象请求数量时，确认所述数据抽取请求。

上文提及，随着互联网技术以及大数据技术的发展，越来越多的数据会被请求和传输。现有技术中，当大数据平台从数据库中进行数据抽取时，很容易造成数据库负载过高甚至引发服务器瘫痪，尤其对于服务器存在多数据库实例而且数据库实例间的数据抽取是相互独立的情况，更是由于缺少数据抽取的调度机制而引发数据库负载过高。

考虑到上述问题，在该实施方式中，提出一种数据抽取方法，该方法根据目标数据服务器的当前接入状态对于数据抽取请求进行调度。该技术方案借助数据抽取的调度机制对于数据抽取请求进行控制，从而避免了由于数据抽取而导致的数据库负载过高甚至引发服务器瘫痪的情况，尤其对于服务器存在多数据库实例而且数据库实例间的数据抽取相互独立的情况。

在本公开一实施方式中，所述数据抽取方法可适用于可执行数据抽取控制和调度的计算设备或服务器等等。

在本公开一实施方式中，所述数据抽取请求指的是由数据抽取方发出的、用于从数据库中进行数据抽取的请求。其中，所述数据抽取方可以为某一用户，也可以为某一数据平台，比如大数据平台。

在本公开一实施方式中，所述数据抽取请求携带有目标数据服务器地址和目标数据对象标识信息。其中，所述目标数据服务器指的是所述数据抽取请求对应的数据服务器，比如，若大数据平台想要获取数据服务器A的某些数据，则所述目标数据服务器就是所述数据服务器A；所述目标数据服务器地址比如可以为所述目标数据服务器的IP地址等等；所述目标数据对象指的是存储在所述目标服务器中的、数据抽取方想要获取的数据对象，比如数据表等等；所述目标数据对象标识信息指的是用于对于所述目标数据对象进行区别性标识的信息，比如可以为所述目标数据对象的ID等信息。

在本公开另一实施方式中，所述数据抽取请求还可携带有目标数据库实例标识信息和目标对象集合标识信息。其中，所述目标数据库实例指的是运行在所述目标数据服务器上的数据库实例；所述目标数据库实例标识信息指的是用于对于所述目标数据库实例进行区别性标识的信息，比如，所述目标数据库实例的名称、ID等等；所述目标对象集合(schema)指的是从属于所述目标数据库实例的表、视图、存储过程、索引等对象的集合；所述目标对象集合标识信息指的是用于对于所述目标对象集合进行区别性标识的信息，比如，所述目标对象集合的名称、ID等等。

基于上述数据抽取请求，就可对于所述数据抽取方想要抽取的数据对象进行精准定位，即明确所述数据抽取方想要哪个数据服务器中的哪个数据库实例下的哪个对象集合中的哪个数据对象。

在本公开一实施方式中，若所述数据抽取方想要两个或多个数据对象，则所述目标数据对象标识信息的数量即为两个或多个，这样就可以基于所述目标数据对象标识信息的数量来确定此次数据抽取请求所要请求的目标数据对象的数量。

在本公开一实施方式中，所述目标数据服务器的可接受数据对象请求数量指的是所述目标数据服务器当前可接受的数据对象请求数量，表征了所述目标数据服务器的当前数据吞吐能力。

在上述实施方式中，在接收到数据抽取方发送的数据抽取请求后，获取所述数据抽取请求携带的目标数据服务器地址和目标数据对象标识信息；然后基于所述目标数据对象标识信息的数量确定目标数据对象请求数量；根据所述目标数据服务器地址获取所述目标数据服务器的可接受数据对象请求数量，若所述目标数据对象请求数量小于或等于所述可接受数据对象请求数量，则说明所述目标数据服务器当前的数据吞吐能力可以接受对于所述数据抽取请求的应答，不会导致数据库负载过高的情况，因此可对于所述数据抽取请求进行确认，使得所述数据抽取方后续可根据所述数据抽取请求获取想要抽取的数据对象。

在本公开一实施方式中，所述方法还可包括以下步骤：

根据所述数据抽取请求生成目标数据服务器的数据抽取队列，其中，所述数据抽取队列包括：目标数据服务器地址、目标数据库实例标识信息、目标对象集合标识信息、目标数据对象标识信息、目标数据服务器接入状态和目标数据服务器可接受数据对象请求数量。

为了及时了解所述目标数据服务器的数据吞吐状态，使得所述目标数据服务器能够正常工作，避免出现数据库负载过高的情况，在该实施方式中，还根据所述数据抽取请求生成所述目标数据服务器的数据抽取队列，其中，所述数据抽取队列包括：目标数据服务器地址、目标数据库实例标识信息、目标对象集合标识信息、目标数据对象标识信息、目标数据服务器接入状态和目标数据服务器可接受数据对象请求数量。其中，所述目标数据服务器接入状态用于表征所述目标数据服务器的工作状态，所述目标数据服务器接入状态比如可以为可接入、满负荷不可接入等等。

在该实施方式中，所述步骤S103中根据所述目标数据服务器地址获取所述目标数据服务器的可接受数据对象请求数量的步骤，可被实施为：

根据所述目标数据服务器地址获取所述目标数据服务器的数据抽取队列，基于所述目标数据服务器的数据抽取队列确定所述目标数据服务器的可接受数据对象请求数量。

上文提及，为所述目标数据服务器生成有对应的数据抽取队列，因此，在该实施方式中，可首先根据所述目标数据服务器地址获取与所述目标数据服务器地址对应的所述目标数据服务器的数据抽取队列，然后再基于所述目标数据服务器的数据抽取队列确定所述目标数据服务器的可接受数据对象请求数量。

在本公开一实施方式中，所述根据所述数据抽取请求生成目标数据服务器的数据抽取队列的步骤，可包括以下步骤：

确定目标数据服务器可接受的最大数据对象接入数量和当前数据对象接入数量；

将最大数据对象接入数量减去当前数据对象接入数量，得到目标数据服务器可接受数据对象请求数量；

根据前一确认数据抽取请求及所述目标数据服务器可接受数据对象请求数量，生成目标数据服务器的数据抽取队列。

为了生成目标数据服务器的数据抽取队列，以明确所述目标数据服务器的当前工作状态，在该实施方式中，首先确定所述目标数据服务器可接受的最大数据对象接入数量和当前数据对象接入数量，其中，所述最大数据对象接入数量根据所述目标数据服务器的数据吞吐能力来确定，比如，若某一目标数据服务器可最多同时处理10个数据对象的传输，则其最大数据对象接入数量为10，若某一目标数据服务器可最多同时处理20个数据对象的传输，则其最大数据对象接入数量为20，等等；然后将最大数据对象接入数量减去当前数据对象接入数量，即可得到目标数据服务器可接受数据对象请求数量，比如，若某一目标数据服务器的最大数据对象接入数量为10，当前数据对象接入数量为8，则该目标数据服务器当前可接受数据对象请求数量为10-8＝2；最后根据前一确认数据抽取请求及所述目标数据服务器可接受数据对象请求数量，生成目标数据服务器的数据抽取队列，即将前一确认数据抽取请求所携带的信息与所述目标数据服务器可接受数据对象请求数量组合起来，得到所述目标数据服务器的数据抽取队列，其中，前一确认数据抽取请求指的是前一被确认的、被执行的数据抽取请求。

在本公开一实施方式中，所述确认所述数据抽取请求之后，还可包括以下步骤：

更新所述目标数据服务器的数据抽取队列。

为了对于所述目标数据服务器的当前工作状态进行及时更新，以对于后续的数据抽取请求进行精准地调度和控制，在该实施方式中，在对于所述数据抽取请求进行确认之后，还根据确认了的数据抽取请求对于所述目标数据服务器的数据抽取队列进行更新。

在本公开一实施方式中，所述方法还可包括以下步骤：

将所述数据抽取请求发送给所述目标数据服务器。

在该实施方式中，在对于某一数据抽取请求确认之后，即可认为所述数据抽取方被同意可根据所述数据抽取请求执行数据抽取操作，此时，可将所述数据抽取请求发送给所述目标数据服务器，以使所述目标数据服务器根据所述数据抽取请求将目标数据对象发送给所述数据抽取方。

在本公开一实施方式中，所述方法还可包括以下步骤：

当所述目标数据对象请求数量大于所述可接受数据对象请求数量时，拒绝所述数据抽取请求。

上文提及，当所述目标数据对象请求数量小于或等于所述可接受数据对象请求数量时，说明所述目标数据服务器当前的数据吞吐能力可以接受对于所述数据抽取请求的应答，不会导致数据库负载过高的情况，因此可对于所述数据抽取请求进行确认，使得所述数据抽取方后续可根据所述数据抽取请求获取想要抽取的数据对象。类似地，当所述目标数据对象请求数量大于所述可接受数据对象请求数量时，说明所述目标数据服务器当前的数据吞吐能力无法接受对于所述数据抽取请求的应答，若强行接受则有可能导致出现数据库负载过高甚至服务器瘫痪的情况，因此此时需拒绝所述数据抽取请求，并向所述数据抽取方发送等候通知消息，以使所述数据抽取方进入轮询等候状态，等待下一次对于所述数据抽取请求的检测和判断。即在本公开一实施方式中，所述方法还可包括以下步骤：

向所述数据抽取方发送等候通知消息。

下述为本公开装置实施例，可以用于执行本公开方法实施例。

图2示出根据本公开一实施方式的数据抽取装置的结构框图，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图2所示，所述数据抽取装置包括：

获取模块201，被配置为响应于接收到数据抽取方发送的数据抽取请求，获取所述数据抽取请求携带的目标数据服务器地址和目标数据对象标识信息；

确定模块202，被配置为基于所述目标数据对象标识信息的数量确定目标数据对象请求数量；

确认模块203，被配置为根据所述目标数据服务器地址获取所述目标数据服务器的可接受数据对象请求数量，当所述目标数据对象请求数量小于或等于所述可接受数据对象请求数量时，确认所述数据抽取请求。

上文提及，随着互联网技术以及大数据技术的发展，越来越多的数据会被请求和传输。现有技术中，当大数据平台从数据库中进行数据抽取时，很容易造成数据库负载过高甚至引发服务器瘫痪，尤其对于服务器存在多数据库实例而且数据库实例间的数据抽取是相互独立的情况，更是由于缺少数据抽取的调度机制而引发数据库负载过高。

考虑到上述问题，在该实施方式中，提出一种数据抽取装置，该装置根据目标数据服务器的当前接入状态对于数据抽取请求进行调度。该技术方案借助数据抽取的调度机制对于数据抽取请求进行控制，从而避免了由于数据抽取而导致的数据库负载过高甚至引发服务器瘫痪的情况，尤其对于服务器存在多数据库实例而且数据库实例间的数据抽取相互独立的情况。

在本公开一实施方式中，所述数据抽取装置可实现为可执行数据抽取控制和调度的计算设备或服务器等等。

在本公开一实施方式中，所述数据抽取请求指的是由数据抽取方发出的、用于从数据库中进行数据抽取的请求。其中，所述数据抽取方可以为某一用户，也可以为某一数据平台，比如大数据平台。

在本公开一实施方式中，所述数据抽取请求携带有目标数据服务器地址和目标数据对象标识信息。其中，所述目标数据服务器指的是所述数据抽取请求对应的数据服务器，比如，若大数据平台想要获取数据服务器A的某些数据，则所述目标数据服务器就是所述数据服务器A；所述目标数据服务器地址比如可以为所述目标数据服务器的IP地址等等；所述目标数据对象指的是存储在所述目标服务器中的、数据抽取方想要获取的数据对象，比如数据表等等；所述目标数据对象标识信息指的是用于对于所述目标数据对象进行区别性标识的信息，比如可以为所述目标数据对象的ID等信息。

在本公开另一实施方式中，所述数据抽取请求还可携带有目标数据库实例标识信息和目标对象集合标识信息。其中，所述目标数据库实例指的是运行在所述目标数据服务器上的数据库实例；所述目标数据库实例标识信息指的是用于对于所述目标数据库实例进行区别性标识的信息，比如，所述目标数据库实例的名称、ID等等；所述目标对象集合(schema)指的是从属于所述目标数据库实例的表、视图、存储过程、索引等对象的集合；所述目标对象集合标识信息指的是用于对于所述目标对象集合进行区别性标识的信息，比如，所述目标对象集合的名称、ID等等。

基于上述数据抽取请求，就可对于所述数据抽取方想要抽取的数据对象进行精准定位，即明确所述数据抽取方想要哪个数据服务器中的哪个数据库实例下的哪个对象集合中的哪个数据对象。

在本公开一实施方式中，若所述数据抽取方想要两个或多个数据对象，则所述目标数据对象标识信息的数量即为两个或多个，这样就可以基于所述目标数据对象标识信息的数量来确定此次数据抽取请求所要请求的目标数据对象的数量。

在本公开一实施方式中，所述目标数据服务器的可接受数据对象请求数量指的是所述目标数据服务器当前可接受的数据对象请求数量，表征了所述目标数据服务器的当前数据吞吐能力。

在上述实施方式中，在接收到数据抽取方发送的数据抽取请求后，获取所述数据抽取请求携带的目标数据服务器地址和目标数据对象标识信息；然后基于所述目标数据对象标识信息的数量确定目标数据对象请求数量；根据所述目标数据服务器地址获取所述目标数据服务器的可接受数据对象请求数量，若所述目标数据对象请求数量小于或等于所述可接受数据对象请求数量，则说明所述目标数据服务器当前的数据吞吐能力可以接受对于所述数据抽取请求的应答，不会导致数据库负载过高的情况，因此可对于所述数据抽取请求进行确认，使得所述数据抽取方后续可根据所述数据抽取请求获取想要抽取的数据对象。

在本公开一实施方式中，所述装置还可包括：

生成模块，被配置为根据所述数据抽取请求生成目标数据服务器的数据抽取队列，其中，所述数据抽取队列包括：目标数据服务器地址、目标数据库实例标识信息、目标对象集合标识信息、目标数据对象标识信息、目标数据服务器接入状态和目标数据服务器可接受数据对象请求数量。

为了及时了解所述目标数据服务器的数据吞吐状态，使得所述目标数据服务器能够正常工作，避免出现数据库负载过高的情况，在该实施方式中，还根据所述数据抽取请求生成所述目标数据服务器的数据抽取队列，其中，所述数据抽取队列包括：目标数据服务器地址、目标数据库实例标识信息、目标对象集合标识信息、目标数据对象标识信息、目标数据服务器接入状态和目标数据服务器可接受数据对象请求数量。其中，所述目标数据服务器接入状态用于表征所述目标数据服务器的工作状态，所述目标数据服务器接入状态比如可以为可接入、满负荷不可接入等等。

在该实施方式中，所述确认模块203中根据所述目标数据服务器地址获取所述目标数据服务器的可接受数据对象请求数量的部分，可被配置为：

根据所述目标数据服务器地址获取所述目标数据服务器的数据抽取队列，基于所述目标数据服务器的数据抽取队列确定所述目标数据服务器的可接受数据对象请求数量。

上文提及，为所述目标数据服务器生成有对应的数据抽取队列，因此，在该实施方式中，可首先根据所述目标数据服务器地址获取与所述目标数据服务器地址对应的所述目标数据服务器的数据抽取队列，然后再基于所述目标数据服务器的数据抽取队列确定所述目标数据服务器的可接受数据对象请求数量。

在本公开一实施方式中，所述根据所述数据抽取请求生成目标数据服务器的数据抽取队列的部分，可被配置为：

确定目标数据服务器可接受的最大数据对象接入数量和当前数据对象接入数量；

将最大数据对象接入数量减去当前数据对象接入数量，得到目标数据服务器可接受数据对象请求数量；

根据前一确认数据抽取请求及所述目标数据服务器可接受数据对象请求数量，生成目标数据服务器的数据抽取队列。

为了生成目标数据服务器的数据抽取队列，以明确所述目标数据服务器的当前工作状态，在该实施方式中，首先确定所述目标数据服务器可接受的最大数据对象接入数量和当前数据对象接入数量，其中，所述最大数据对象接入数量根据所述目标数据服务器的数据吞吐能力来确定，比如，若某一目标数据服务器可最多同时处理10个数据对象的传输，则其最大数据对象接入数量为10，若某一目标数据服务器可最多同时处理20个数据对象的传输，则其最大数据对象接入数量为20，等等；然后将最大数据对象接入数量减去当前数据对象接入数量，即可得到目标数据服务器可接受数据对象请求数量，比如，若某一目标数据服务器的最大数据对象接入数量为10，当前数据对象接入数量为8，则该目标数据服务器当前可接受数据对象请求数量为10-8＝2；最后根据前一确认数据抽取请求及所述目标数据服务器可接受数据对象请求数量，生成目标数据服务器的数据抽取队列，即将前一确认数据抽取请求所携带的信息与所述目标数据服务器可接受数据对象请求数量组合起来，得到所述目标数据服务器的数据抽取队列，其中，前一确认数据抽取请求指的是前一被确认的、被执行的数据抽取请求。

在本公开一实施方式中，所述装置还可包括：

更新模块，被配置为更新所述目标数据服务器的数据抽取队列。

为了对于所述目标数据服务器的当前工作状态进行及时更新，以对于后续的数据抽取请求进行精准地调度和控制，在该实施方式中，在对于所述数据抽取请求进行确认之后，还根据确认了的数据抽取请求对于所述目标数据服务器的数据抽取队列进行更新。

在本公开一实施方式中，所述装置还可包括：

第一发送模块，被配置为将所述数据抽取请求发送给所述目标数据服务器。

在该实施方式中，在对于某一数据抽取请求确认之后，即可认为所述数据抽取方被同意可根据所述数据抽取请求执行数据抽取操作，此时，可将所述数据抽取请求发送给所述目标数据服务器，以使所述目标数据服务器根据所述数据抽取请求将目标数据对象发送给所述数据抽取方。

在本公开一实施方式中，所述装置还可包括：

拒绝模块，被配置为当所述目标数据对象请求数量大于所述可接受数据对象请求数量时，拒绝所述数据抽取请求。

上文提及，当所述目标数据对象请求数量小于或等于所述可接受数据对象请求数量时，说明所述目标数据服务器当前的数据吞吐能力可以接受对于所述数据抽取请求的应答，不会导致数据库负载过高的情况，因此可对于所述数据抽取请求进行确认，使得所述数据抽取方后续可根据所述数据抽取请求获取想要抽取的数据对象。类似地，当所述目标数据对象请求数量大于所述可接受数据对象请求数量时，说明所述目标数据服务器当前的数据吞吐能力无法接受对于所述数据抽取请求的应答，若强行接受则有可能导致出现数据库负载过高甚至服务器瘫痪的情况，因此此时需拒绝所述数据抽取请求，并向所述数据抽取方发送等候通知消息，以使所述数据抽取方进入轮询等候状态，等待下一次对于所述数据抽取请求的检测和判断。即在本公开一实施方式中，所述装置还可包括：

第二发送模块，被配置为向所述数据抽取方发送等候通知消息。

本公开实施例还公开了一种电子设备，所述电子设备包括存储器和处理器；其中，

所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现上述任一方法步骤。

图3是适于用来实现根据本公开一实施方式的数据抽取方法的计算机系统的结构示意图。

如图3所示，计算机系统300包括处理单元301，其可以根据存储在只读存储器(ROM)302中的程序或者从存储部分308加载到随机访问存储器(RAM)303中的程序而执行上述实施方式中的各种处理。在RAM303中，还存储有计算机系统300操作所需的各种程序和数据。处理单元301、ROM302以及RAM303通过总线304彼此相连。输入/输出(I/O)接口305也连接至总线304。

以下部件连接至I/O接口305：包括键盘、鼠标等的输入部分306；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分307；包括硬盘等的存储部分308；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分309。通信部分309经由诸如因特网的网络执行通信处理。驱动器310也根据需要连接至I/O接口305。可拆卸介质311，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器310上，以便于从其上读出的计算机程序根据需要被安装入存储部分308。其中，所述处理单元301可实现为CPU、GPU、TPU、FPGA、NPU等处理单元。

特别地，根据本公开的实施方式，上文描述的方法可以被实现为计算机软件程序。例如，本公开的实施方式包括一种计算机程序产品，其包括有形地包含在及其可读介质上的计算机程序，所述计算机程序包含用于执行所述数据抽取方法的程序代码。在这样的实施方式中，该计算机程序可以通过通信部分309从网络上被下载和安装，和/或从可拆卸介质311被安装。

本公开实施例还公开了一种计算机程序产品，所述计算机程序产品包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述任一方法步骤。

附图中的流程图和框图，图示了按照本公开各种实施方式的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，路程图或框图中的每个方框可以代数据对象一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地数据对象示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施方式中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。

作为另一方面，本公开实施例还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施方式中所述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本公开实施例的方法。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开实施例中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种数据抽取方法，包括：

响应于接收到数据抽取方发送的数据抽取请求，获取所述数据抽取请求携带的目标数据服务器地址和目标数据对象标识信息；

基于所述目标数据对象标识信息的数量确定目标数据对象请求数量；

根据所述目标数据服务器地址获取所述目标数据服务器的可接受数据对象请求数量，当所述目标数据对象请求数量小于或等于所述可接受数据对象请求数量时，确认所述数据抽取请求。

2.根据权利要求1所述的方法，所述数据抽取请求还携带目标数据库实例标识信息和目标对象集合标识信息。

3.根据权利要求2所述的方法，还包括：

根据所述数据抽取请求生成目标数据服务器的数据抽取队列，其中，所述数据抽取队列包括：目标数据服务器地址、目标数据库实例标识信息、目标对象集合标识信息、目标数据对象标识信息、目标数据服务器接入状态和目标数据服务器可接受数据对象请求数量；

所述根据所述目标数据服务器地址获取所述目标数据服务器的可接受数据对象请求数量，被实施为：

根据所述目标数据服务器地址获取所述目标数据服务器的数据抽取队列，基于所述目标数据服务器的数据抽取队列确定所述目标数据服务器的可接受数据对象请求数量。

4.根据权利要求3所述的方法，所述根据所述数据抽取请求生成目标数据服务器的数据抽取队列，包括：

确定目标数据服务器可接受的最大数据对象接入数量和当前数据对象接入数量；

将最大数据对象接入数量减去当前数据对象接入数量，得到目标数据服务器可接受数据对象请求数量；

根据前一确认数据抽取请求及所述目标数据服务器可接受数据对象请求数量，生成目标数据服务器的数据抽取队列。

5.一种数据抽取装置，包括：

获取模块，被配置为响应于接收到数据抽取方发送的数据抽取请求，获取所述数据抽取请求携带的目标数据服务器地址和目标数据对象标识信息；

确定模块，被配置为基于所述目标数据对象标识信息的数量确定目标数据对象请求数量；

确认模块，被配置为根据所述目标数据服务器地址获取所述目标数据服务器的可接受数据对象请求数量，当所述目标数据对象请求数量小于或等于所述可接受数据对象请求数量时，确认所述数据抽取请求。

6.根据权利要求5所述的装置，所述数据抽取请求还携带目标数据库实例标识信息和目标对象集合标识信息。

7.根据权利要求6所述的装置，还包括：

生成模块，被配置为根据所述数据抽取请求生成目标数据服务器的数据抽取队列，其中，所述数据抽取队列包括：目标数据服务器地址、目标数据库实例标识信息、目标对象集合标识信息、目标数据对象标识信息、目标数据服务器接入状态和目标数据服务器可接受数据对象请求数量；

所述确认模块中根据所述目标数据服务器地址获取所述目标数据服务器的可接受数据对象请求数量的部分，被配置为：

根据所述目标数据服务器地址获取所述目标数据服务器的数据抽取队列，基于所述目标数据服务器的数据抽取队列确定所述目标数据服务器的可接受数据对象请求数量。

8.一种电子设备，包括存储器和处理器；其中，

所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现权利要求1-4任一项所述方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机指令，其中，该计算机指令被处理器执行时实现权利要求1-4任一项所述方法的步骤。

10.一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现权利要求1-4任一项所述方法的步骤。

Images