CN109766169B - 调度数据访问量的方法、控制组件、设备和计算机存储介质 - Google Patents

Abstract

一种调度数据访问量的方法、控制组件、设备和计算机存储介质，包括：控制组件依据数据表的预留总访问量，将所述数据表分为数据分区；所述控制组件将所述数据分区调度到多个执行组件，所述执行组件用于提供数据服务；在所述执行组件的实际访问量大于所述执行组件的接待能力时，所述控制组件根据所述执行组件的实际访问量，切分所述执行组件的数据分区；所述控制组件将切分后的数据分区重新调度到多个执行组件。采用本发明实施例后，能够按照实际使用资源量精确调度资源。

Description

调度数据访问量的方法、控制组件、设备和计算机存储介质

技术领域

本发明涉及计算机领域，尤其涉及一种调度数据访问量的方法、控制组件、调度数据访问量的设备和计算机存储介质。

背景技术

Not Only SQL(NoSQL)，泛指非关系型的数据库。随着互联网Web2.0网站的兴起，传统的关系数据库在应付web2.0网站，特别是超大规模和高并发的社交网络服务(SocialNetworking Service，SNS)类型的web2.0纯动态网站已经显得力不从心，暴露了很多难以克服的问题，而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战，尤其是大数据应用难题。

在NoSQL系统中，调度资源的方式主要采用预留资源方式。预留资源的方式会遇到预留不准确的问题，即不是预留过多资源就是预留过少资源，导致资源的浪费或者资源的不足。

综上，现有技术中存在以下技术问题：无法按照实际使用资源量精确调度资源。

发明内容

本发明实施例提供了一种调度数据访问量的方法，能够按照实际使用资源量精确调度资源。

本发明实施例还提供了一种控制组件，能够按照实际使用资源量精确调度资源。

本发明实施例还提供了一种调度数据访问量的设备，能够按照实际使用资源量精确调度资源。

本发明实施例还提供了一种计算机存储介质，能够按照实际使用资源量精确调度资源。

一种调度数据访问量的方法，包括：

控制组件依据数据表的预留总访问量，将所述数据表分为数据分区；

所述控制组件将所述数据分区调度到多个执行组件，所述执行组件用于提供数据服务；

在所述执行组件的实际访问量大于所述执行组件的接待能力时，所述控制组件根据所述执行组件的实际访问量，切分所述执行组件的数据分区；

所述控制组件将切分后的数据分区重新调度到多个所述执行组件。

所述控制组件依据数据表的预留总访问量，将所述数据表分为数据分区，包括：

所述控制组件依据所述执行组件的接待能力，切分所述预留总访问量，将所述数据表分为数据分区。

所述控制组件依据所述执行组件的接待能力，切分所述预留总访问量，将所述数据表分为数据分区，包括：

所述控制组件依据所述执行组件的接待能力，平均切分所述预留总访问量，将所述数据表分为数据分区。

所述控制组件根据所述执行组件的实际访问量，切分所述执行组件的数据分区，包括：

所述控制组件根据所述执行组件的实际访问量和所述执行组件的接待能力，切分所述执行组件的数据分区。

所述方法还包括：

所述控制组件周期性接收所述执行组件发送的所述执行组件的实际访问量。

所述控制组件位于网络节点中或位于云服务器中。

一种控制组件，所述控制组件包括：

第一切分模块，用于依据数据表的预留总访问量，将所述数据表分为数据分区；

第一调度模块，用于将所述数据分区调度到多个执行组件，所述执行组件用于提供数据服务；

第二切分模块，用于在所述执行组件的实际访问量大于所述执行组件的接待能力时，根据所述执行组件的实际访问量，切分所述执行组件的数据分区；

第二调度模块，用于将切分后的数据分区重新调度到多个所述执行组件。

所述第一切分模块，具体用于依据所述执行组件的接待能力，切分所述预留总访问量，将所述数据表分为数据分区。

所述第一切分模块，具体用于依据所述执行组件的接待能力，平均切分所述预留总访问量，将所述数据表分为数据分区。

所述第二切分模块，具体用于根据所述执行组件的实际访问量和所述执行组件的接待能力，切分所述执行组件的数据分区。

所述控制组件还包括：接口模块；

所述接口模块，用于周期性接收所述执行组件发送的所述执行组件的实际访问量。

所述控制组件位于一个网络节点中或位于云服务器中。

一种调度数据访问量的设备，存储器，用于存储程序；

处理器，用于运行所述存储器中存储的所述程序，以执行如上所述调度数据访问量的方法。

一种计算机存储介质，所述计算机存储介质上存储有计算机程序指令；所述计算机程序指令被处理器执行时实现如上所述调度数据访问量的方法。

从上述技术方案中可以看出，控制组件依据数据表的预留总访问量，将数据表分为数据分区；然后，将所述数据分区调度到多个执行组件。在所述执行组件的实际访问量大于所述执行组件的接待能力时，说明需要重新切分数据分区。所述控制组件根据所述执行组件的实际访问量，切分所述执行组件的数据分区；将切分后的数据分区重新调度到多个所述执行组件。由于可以依据预留总访问量和实际访问量进行两次切分，因此可以按照实际使用资源量精确调度资源。

附图说明

从下面结合附图对本发明的具体实施方式的描述中可以更好地理解本发明其中，相同或相似的附图标记表示相同或相似的特征。

图1是本发明实施例中调度数据访问量的方法流程示意图；

图2是本发明实施例中控制组件根据实际访问量的调度示意图；

图3是本发明实施例中控制组件的结构示意图；

图4是本发明另一个实施例中控制组件的结构示意图；

图5是本发明实施例的调度数据访问量的方法和控制组件的计算设备的示例性硬件架构的结构图。

具体实施方式

为使本发明的目的、技术方案和优点表达得更加清楚明白，下面结合附图及具体实施例对本发明再作进一步详细的说明。

在本发明实施例中，控制组件首先依据数据表的预留总访问量，将数据表分为数据分区，然后将数据分区调度到执行组件中。当执行组件的实际访问量大于执行组件的接待能力时，切分该数据分区，将切分后的数据分区重新调度到多个执行组件。由于可以依据预留总访问量和实际访问量进行两次切分，按照执行组件的接待能力和实际访问量，将切分后的数据分区调度到合适的执行组件，因此可以按照实际使用资源量精确调度资源。

参见图1，图1是本发明实施例中调度数据访问量的方法流程示意图，具体包括：

S101、控制组件依据数据表的预留总访问量，将数据表分为数据分区。

在NoSQL系统中一般有两种角色，一种负责调度，称之为控制组件(master)。控制组件可以位于网络节点中或位于云服务器中。控制组件可以位于1至3个网络节点，在一个示例中该网络节点可以是一台服务器或计算机设备。

另外一种负责提供对外的数据的读写等请求，称之为执行组件(worker)，执行组件的数量比较多，少则几十台，多则几百甚至几千台。在一个示例中，该网络节点可以是一台服务器或计算机设备。

控制组件可以将一个数据表切分成多个数据分区。其中，数据表包括预留总访问量，预留总访问量就是预先估计所有的访问量，访问量包括读操作次数和写操作次数。

在一个示例中，控制组件依据数据表的预留总访问量，将数据表分为多个数据分区。

S102、控制组件将数据分区调度到多个执行组件，执行组件用于提供数据服务。

控制组件可以将数据分区调度到多个执行组件中。在一个示例中，控制组件可以将一个数据分区调度到一个执行组件中。其中，执行组件是用于提供数据服务的。控制组件也可以将多个数据分区调度到同一个执行组件上。

将数据分区调度到执行组件上，通过执行组件对外提供服务。

S103、在执行组件的实际访问量大于执行组件的接待能力时，控制组件根据执行组件的实际访问量，切分执行组件的数据分区。

执行组件对外提供服务的过程中，执行组件的实际访问量大于执行组件的接待能力时，则说明该执行组件无法满足用户的访问。

那么，控制组件可以根据该执行组件的实际访问量，切分该执行组件的数据分区。

执行组件可以承载一个或多个数据分区，执行组件的实际访问量可以是多个数据分区的实际访问量之和。执行组件的接待能力是执行组件本身可以承载的访问量，执行组件的接待能力一般是固定不变。

S104、控制组件将切分后数据分区重新调度到多个执行组件。

执行组件无法满足用户的访问，那么控制组件可以将切分后数据分区重新调度到多个执行组件，由多个执行组件承载该数据分区的访问。

本发明实施例中，控制组件依据数据表的预留总访问量，将数据表分为数据分区，并将数据分区调度到多个执行组件。当执行组件的实际访问量大于执行组件的接待能力时，说明需要切分执行组件的数据分区，然后将切分后的数据分区重新调度到多个执行组件。由于可以依据预留总访问量和实际访问量进行两次切分，按照执行组件的接待能力和实际访问量调度，将切分后的数据分区到多个执行组件，因此可以按照实际使用资源量即实际访问量精确调度资源。

在本发明一个具体的实施例中，控制组件依据数据表的预留总访问量，将数据表分为数据分区。作为一个示例，每个执行组件本身具有接待能力，每个执行组件的接待能力可以是相同的，也可以是不相同的。控制组件可以依据执行组件的接待能力，切分数据表的预留总访问量，将数据表分为数据分区。也就是说，执行组件的接待能力越强，则分配至该执行组件的数据分区越大；执行组件的接待能力越弱，则分配至该执行组件的数据分区越小。

作为另一个示例，每个执行组件本身具有接待能力是相同的，那么控制组件可以平均切分数据表的预留总访问量，将数据表分为数据分区。

例如：预留总访问量是100条，每个执行组件的接待能力是相同的，执行组件的接待能力均是20条。控制组件可以结合预留总访问量是100条和执行组件的接待能力20条，平均切分包括预留总访问量的数据表，得到5个数据分区。

通过平均切分数据表，执行组件中的数据分区相同，因此多个执行组件之间负载均衡，保证数据的正常访问。

在本发明一个具体的实施例中，执行组件的实际访问量大于执行组件的接待能力，则说明负责该执行组件的负载过重，为了减轻该执行组件的负载，控制组件根据执行组件的实际访问量，切分执行组件的数据分区。

执行组件中若有多个数据分区，可以随机选择一个数据分区进行切分，也可以按照一定的条件选择数据分区进行切分。作为一个示例，可以选择实际访问量最大的数据分区进行切分。

作为一个示例，控制组件根据执行组件的实际访问量和执行组件的接待能力，切分执行组件的数据分区。

例如：执行组件中包括一个数据分区，执行组件的实际访问量是30条，执行组件的接待能力是20条，显然执行组件的实际访问量大于执行组件的接待能力。那么，将数据分区切分为两个分区，即分区1和分区2。其中，分区1的访问量是20条，分区2的访问量是10条。分区1对应的原有的执行组件，分区2对应新增的执行组件。

通过切分执行组件的数据分区，执行组件的实际访问量不大于接待能力，从而保证正常访问数据。

在本发明一个具体的实施例中，控制组件可以周期性接收执行组件发送的执行组件的实际访问量，这样控制组件及时获知执行组件的实际访问量，若执行组件的实际访问量大于执行组件的接待能力，则对执行组件中数据分区进行切分，进而保证正常访问数据。

下面就调度数据访问量的方法结合具体的应用进行详细的说明，参见图2，图2是本发明实施例中控制组件根据实际访问量的调度示意图。

控制组件与所有执行组件之间都有心跳，即控制组件周期性接收执行组件发送的执行组件的实际访问量。

当执行组件的执行组件的实际访问量有变化，能够通过心跳告知控制组件数据分区的实际访问量。

控制组件在接收到执行组件的实际访问量后，可以切分执行组件的数据分区，将切分后的数据分区重新调度到多个执行组件。

图2中，数据表首次切分为两个数据分区，分别为数据分区1和数据分区2。数据分区1在执行组件1上加载服务，数据分区2在执行组件2上加载服务。

控制组件通过心跳获知执行组件2的实际访问量大于执行组件2的接待能力。控制组件将数据分区2切分为数据分区2_1和数据分区2_2。

数据分区2_1调度到执行组件2上加载服务，数据分区2_2调度到执行组件3上加载服务。

经过控制组件的切分和调度之后，数据表的数据分区数目由2个增加到3个，并且记载数据表的执行组件也由2台增加到3台。提高了数据表的整体接待能力。

正是控制组件的这种根据实际访问量的变化，对数据分区进行切分，以及重新调度执行组件的方式，使得在用户实际访问量大于预留总访问量时，也能满足用户的访问。

下面以NoSQL产品为例，详细说明调度数据访问量的方法的具体应用。

对于NoSQL产品的访问量计费目前包括以下两种模式。

模式一：预留总访问量计费模式

用户在创建数据表时，会预估数据表的读写访问量即预留总访问量，然后在数据表上分别设置读预留总访问量和写预留总访问量。

如果用户的实际访问量不高于预留总访问量，那么按预留总访问量进行计费。

如果用户的实际访问量高于预留总访问量，那么高于的预留总访问量的部分读写访问量就会因为被系统拒绝而出错。

模式二：访问量按量计费模式

用户在创建数据表时不需要设置预留总访问量，只按用户的实际访问访问量进行计费。

对于模式一，需要用户在建立数据表时设置预留总访问量。首先，即使用户在建立数据表后没有访问该数据表，也会按照预留总访问量进行计费。其次，而当实际访问量大于预留总访问量，那么高于的预留总访问量的部分读写访问量就会因为被系统拒绝而出错。对用户而言，访问量不可能一直平稳，偶尔的访问量增长就会出错。

对于模式二，按照实际访问量计费，在没有访问量时，不会产生费用。但是由于成本原因，通常按实际访问量计费的价格会比预留总访问量计费高很多。

采用本发明实施例中调度数据访问量的方法，获取在一个计费周期内用户的实际访问访问量和预留总访问量，分以下两种情况进行计费。

在此假设实际访问量为Tr，预留总访问量为Tk，预留访问量单价为Vk，按量计费的访问量为Vr，产生的总费用为C。

第一阶段模式：

实际访问量不高于预留总访问量：那么此时的费用按预留总访问量计算。

C＝Tk*Vk (1)

也就是说，控制组件结合预留总访问量切分数据表得到数据分区，然后将数据分区分别调度到多个执行组件。实际访问量不高于预留总访问量，则说明无需再切分数据分区。

第二阶段模式：

实际访问量高于预留总访问量：此时超过预留总访问量的部分以按量计费，未超过的部分按照预留总访问量的价格来计算。

C＝Tk*Vk+(Tr-Tk)*Vr (2)

实际访问量高于预留总访问量，则说明执行组件的实际访问量大于该执行组件的接待能力，那么控制组件根据该执行组件的实际访问量，切分执行组件的数据分区，然后再重新调度到多个执行组件。

也就是说，首次切分得到数据分区所在的执行组件无法再满足实际访问量，则需要切分执行组件的数据分区，重新调度执行组件才能满足用户的访问。

通过上述预留总访问量和实际访问量相结合的计费方式，超过预留总访问量的部分访问量不会被系统禁止，而是直接以按实际访问量的方式来计费。因此可以按照实际使用资源量精确调度资源，提高了数据表的整体接待能力。这样既降低用户的成本，也不会在超过预留总访问量后访问出错，提高了产品的服务质量。同时，大大提高了产品的用户体验。

参见图3，图3是本发明实施例中控制组件的结构示意图，具体包括第一切分模块301、第一调度模块302、第二切分模块303和第二调度模块304。

第一切分模块301，用于依据数据表的预留总访问量，将数据表分为数据分区。

在NoSQL系统中一般有两种角色，一种负责调度，称之为控制组件(master)。控制组件可以位于网络节点中或位于云服务器中。控制组件可以位于1至3个网络节点，在一个示例中该网络节点可以是一台服务器或计算机设备。

另外一种负责提供对外的数据的读写等请求，称之为执行组件(worker)，执行组件的数量比较多，少则几十台，多则几百甚至几千台。在一个示例中该网络节点可以是一台服务器或计算机设备。

控制组件可以将一个数据表切分成多个数据分区。其中，数据表包括预留总访问量，预留总访问量就是预先估计所有的访问量，访问量包括读操作次数和写操作次数。

第一调度模块302，用于将数据分区调度到多个执行组件，执行组件用于提供数据服务。

第一调度模块302可以将数据分区调度到多个执行组件中。

在一个示例中，控制组件可以将一个数据分区调度到一个执行组件中。其中，执行组件是用于提供数据服务的。

将数据分区调度到执行组件上，通过执行组件对外提供服务。

第二切分模块303，用于在执行组件的实际访问量大于执行组件的接待能力时，根据该执行组件的实际访问量，切分数据分区。

执行组件对外提供服务的过程中，执行组件的实际访问量大于数据分区的接待能力时，则说明该数据分区对应的执行组件无法满足用户的访问。

第二调度模块304，用于将切分后的数据分区重新调度到多个执行组件。

数据分区对应的执行组件无法满足用户的访问，那么第二调度模块304可以将切分后的数据分区重新调度到多个执行组件。

本发明实施例中，第一切分模块301将数据表分为数据分区，第一调度模块302将数据分区调度到多个执行组件。当执行组件的实际访问量大于执行组件的接待能力时，说明需要切分执行组件的数据分区，第二调度模块304将切分后的数据分区重新调度到多个执行组件。由于可以依据预留总访问量和实际访问量进行两次切分，按照执行组件的接待能力和执行组件的实际访问量调度执行组件，因此可以按照实际使用资源量即实际访问量精确调度资源。

在本发明一个具体的实施例中，第一切分模块301，具体用于依据执行组件的接待能力，切分预留总访问量，将数据表分为数据分区。执行组件的接待能力越强，则分配至该执行组件的数据分区越大；执行组件的接待能力越弱，则分配至该执行组件的数据分区越小。在本发明一个具体的实施例中，第一切分模块301，具体用于依据执行组件的接待能力，平均切分预留总访问量，将数据表分为数据分区。多个执行组件之间负载均衡，保证数据的正常访问。

在本发明一个具体的实施例中，执行组件的实际访问量大于执行组件的接待能力，则说明执行组件的负载过重，为了减轻该执行组件的负载，控制组件根据执行组件的实际访问量，切分执行组件的数据分区。

第二切分模块103，具体用于根据执行组件的实际访问量和执行组件的接待能力，切分执行组件的数据分区。

通过切分执行组件的数据分区，执行组件的访问量不大于接待能力，从而保证能够正常访问数据。

在本发明一个具体的实施例中，参见图4是本发明另一个实施例中控制组件的结构示意图，在图3结构的基础上还增加接口模块305。

接口模块305，用于周期性接收执行组件发送的执行组件的实际访问量。

图5是本发明实施例的调度数据访问量的方法和控制组件的计算设备的示例性硬件架构的结构图。

如图5所示，计算设备500包括输入设备501、输入接口502、中央处理器503、存储器504、输出接口505、以及输出设备506。其中，输入接口502、中央处理器503、存储器504、以及输出接口505通过总线510相互连接，输入设备501和输出设备506分别通过输入接口502和输出接口505与总线510连接，进而与计算设备500的其他组件连接。

具体地，输入设备501接收来自外部的输入信息，并通过输入接口502将输入信息传送到中央处理器503；中央处理器503基于存储器504中存储的计算机可执行指令对输入信息进行处理以生成输出信息，将输出信息临时或者永久地存储在存储器504中，然后通过输出接口505将输出信息传送到输出设备506；输出设备506将输出信息输出到计算设备500的外部供用户使用。

也就是说，图5所示的计算设备也可以被实现为包括：存储有计算机可执行指令的存储器；以及处理器，该处理器在执行计算机可执行指令时可以实现结合图1至图4描述的调度数据访问量的方法和控制组件。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使对应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (14)

1.一种调度数据访问量的方法，其特征在于，包括：

控制组件依据数据表的预留总访问量，将所述数据表分为数据分区；

所述控制组件将所述数据分区调度到多个执行组件，所述执行组件用于提供数据服务；

在所述执行组件的实际访问量大于所述执行组件的处理能力时，所述控制组件根据所述执行组件的实际访问量，切分所述执行组件的数据分区；

所述控制组件将切分后的数据分区重新调度到多个所述执行组件；

其中，所述实际访问量未超过所述预留总访问量的部分按预留总访问量进行计费，所述实际访问量超过所述预留总访问量的部分以按量计费。

2.根据权利要求1所述调度数据访问量的方法，其特征在于，所述控制组件依据数据表的预留总访问量，将所述数据表分为数据分区，包括：

所述控制组件依据所述执行组件的接待能力，切分所述预留总访问量，将所述数据表分为数据分区。

3.根据权利要求2所述调度数据访问量的方法，其特征在于，所述控制组件依据所述执行组件的接待能力，切分所述预留总访问量，将所述数据表分为数据分区，包括：

所述控制组件依据所述执行组件的接待能力，平均切分所述预留总访问量，将所述数据表分为数据分区。

4.根据权利要求1所述调度数据访问量的方法，其特征在于，所述控制组件根据所述执行组件的实际访问量，切分所述执行组件的数据分区，包括：

所述控制组件根据所述执行组件的实际访问量和所述执行组件的接待能力，切分所述执行组件的数据分区。

5.根据权利要求1所述调度数据访问量的方法，其特征在于，所述方法还包括：

所述控制组件周期性接收所述执行组件发送的所述执行组件的实际访问量。

6.根据权利要求1所述调度数据访问量的方法，其特征在于，所述控制组件位于网络节点中或位于云服务器中。

7.一种控制组件，其特征在于，所述控制组件包括：

第一切分模块，用于依据数据表的预留总访问量，将所述数据表分为数据分区；

第一调度模块，用于将所述数据分区调度到多个执行组件，所述执行组件用于提供数据服务；

第二切分模块，用于在所述执行组件的实际访问量大于所述执行组件的接待能力时，根据所述执行组件的实际访问量，切分所述执行组件的数据分区；

第二调度模块，用于将切分后的数据分区重新调度到多个所述执行组件；

其中，所述实际访问量未超过所述预留总访问量的部分按预留总访问量进行计费，所述实际访问量超过所述预留总访问量的部分以按量计费。

8.根据权利要求7所述控制组件，其特征在于，所述第一切分模块，具体用于依据所述执行组件的接待能力，切分所述预留总访问量，将所述数据表分为数据分区。

9.根据权利要求8所述控制组件，其特征在于，所述第一切分模块，具体用于依据所述执行组件的接待能力，平均切分所述预留总访问量，将所述数据表分为数据分区。

10.根据权利要求7所述控制组件，其特征在于，所述第二切分模块，具体用于根据所述执行组件的实际访问量和所述执行组件的接待能力，切分所述执行组件的数据分区。

11.根据权利要求7所述控制组件，其特征在于，所述控制组件还包括：接口模块；

所述接口模块，用于周期性接收所述执行组件发送的所述执行组件的实际访问量。

12.根据权利要求7所述控制组件，其特征在于，所述控制组件位于一个网络节点中或位于云服务器中。

13.一种调度数据访问量的设备，其特征在于，

存储器，用于存储程序；

处理器，用于运行所述存储器中存储的所述程序，以执行如权利要求1-6任一权利要求所述调度数据访问量的方法。

14.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机程序指令；所述计算机程序指令被处理器执行时实现如权利要求1-6任意一项所述调度数据访问量的方法。

Images