CN112860425A - 负载调度方法、装置、电子设备及计算机可读存储介质 - Google Patents

Abstract

本发明实施例公开了一种负载调度方法、装置、电子设备及计算机可读存储介质，所述方法包括：获取负载评价数据，其中，所述负载评价数据包括表格存储集群数据分区访问评价数据和数据通道消费评价数据；确定所述负载评价数据是否满足预设条件；当所述负载评价数据满足预设条件时，对于表格存储集群数据分区和数据通道进行调度。该技术方案能够有效维持表格存储集群和数据通道的数据出入平衡，迅速应对数据的波动，避免出现数据输出不稳定、数据堵塞等现象，进而大大提高数据存储和访问的质量，同时能够大大降低人工成本投入，操作简单且能够有效实现数据的实时均衡的服务。

Description

负载调度方法、装置、电子设备及计算机可读存储介质

技术领域

本发明实施例涉及负载控制技术领域，具体涉及一种负载调度方法、装置、电子设备及计算机可读存储介质。

背景技术

随着数据技术的发展，云存储的应用越来越广泛。为了应对海量数据的存储和访问，表格存储(TableStore)应运而生，表格存储是一种分布式NoSQL数据库，以数据分片技术提供海量结构化数据的存储和实时访问。但在实际数据消费时，数据消费时间点与当前时间点的不匹配、业务数据量的突发变化都会使得消费数据出现失衡的状态，甚至会造成数据输出的不稳定、数据堵塞等现象，进而大大影响数据存储和访问的质量。现有技术中，通常是对于消费时间点进行监控，当发现存在数据消费异常情况后，再人工根据数据读写比例对于数据分区进行分裂处理，该处理方法人工成本投入高，操作复杂且无法满足数据实时服务的需要。

发明内容

本发明实施例提供一种负载调度方法、装置、电子设备及计算机可读存储介质。

第一方面，本发明实施例中提供了一种负载调度方法。

具体的，所述负载调度方法，包括：

获取负载评价数据，其中，所述负载评价数据包括表格存储集群数据分区访问评价数据和数据通道消费评价数据；

确定所述负载评价数据是否满足预设条件；

当所述负载评价数据满足预设条件时，对于表格存储集群数据分区和数据通道进行调度。

结合第一方面，本发明实施例在第一方面的第一种实现方式中，所述获取负载评价数据，包括：

向表格存储集群控制器发送数据分区访问评价数据获取请求，向数据通道控制器发送数据通道消费评价数据获取请求；

响应于所述请求被允许，通过所述表格存储集群服务器获取所述表格存储集群数据分区访问评价数据，通过数据通道控制器获取所述数据通道消费评价数据。

结合第一方面和第一方面的第一种实现方式，本发明实施例在第一方面的第二种实现方式中，所述表格存储集群数据分区访问评价数据包括以下数据中的一种或多种：数据分区访问数据量、数据分区访问延时数据、数据分区数据写入速率、数据分区数据读取速率；和/或，所述数据通道消费评价数据包括以下数据中的一种或多种：数据通道消费数量、数据通道消费时间数据。

结合第一方面、第一方面的第一种实现方式和第一方面的第二种实现方式，本公开在第一方面的第三种实现方式中，所述预设条件包括以下条件中的一种或多种：数据分区访问数据量超过第一数据量阈值、数据分区访问数据量低于第二数据量阈值、所述数据分区访问延时超过延时阈值、数据分区数据写入速率小于数据分区数据读取速率且所述数据分区数据写入速率与数据分区数据读取速率之间差值的绝对值大于第一速率阈值、数据分区数据写入速率大于数据分区数据读取速率且所述数据分区数据写入速率与数据分区数据读取速率之间差值的绝对值大于第二速率阈值、数据通道消费数量超过第一数量阈值、数据通道消费数量低于第二数量阈值、数据通道消费时间与当前时间之间差值的绝对值超过时间阈值。

结合第一方面的第一种实现方式、第一方面的第二种实现方式和第一方面的第三种实现方式，本公开在第一方面的第四种实现方式中，所述当所述负载评价数据满足预设条件时，对于表格存储集群数据分区和数据通道进行调度，被实施为：

当所述负载评价数据满足预设条件时，向表格存储集群控制器发送数据分区调度指令，使其根据所述数据分区调度指令对所述表格存储集群数据分区进行调度，并将数据分区调度信息同步给数据通道控制器，使所述数据通道控制器根据所述数据分区调度信息对所述数据通道进行调度。

结合第一方面、第一方面的第一种实现方式、第一方面的第二种实现方式、第一方面的第三种实现方式和第一方面的第四种实现方式，本公开在第一方面的第五种实现方式中，所述当所述负载评价数据满足预设条件时，对于表格存储集群数据分区和数据通道进行调度，还可被实施为：

当所述数据通道消费评价数据满足相应的预设条件时，向数据通道控制器发送数据通道调度指令，使其根据所述数据通道调度指令对所述数据通道进行调度。

结合第一方面、第一方面的第一种实现方式、第一方面的第二种实现方式、第一方面的第三种实现方式、第一方面的第四种实现方式和第一方面的第五种实现方式，本公开在第一方面的第六种实现方式中，所述对于表格存储集群数据分区的调度包括以下调度处理中的一种或多种：分裂、合并、移动；所述对于述数据通道的调度包括以下调度处理中的一种或多种：增加数据通道、减少数据通道、调整数据通道与表格存储集群数据分区之间的对应关系。

结合第一方面、第一方面的第一种实现方式、第一方面的第二种实现方式、第一方面的第三种实现方式、第一方面的第四种实现方式、第一方面的第五种实现方式和第一方面的第六种实现方式，本公开在第一方面的第七种实现方式中，还包括：

设置初始数据分区和相应的初始数据通道。

第二方面，本发明实施例中提供了一种负载调度装置。

具体的，所述负载调度装置，包括：

获取模块，被配置为获取负载评价数据，其中，所述负载评价数据包括表格存储集群数据分区访问评价数据和数据通道消费评价数据；

确定模块，被配置为确定所述负载评价数据是否满足预设条件；

调度模块，被配置为当所述负载评价数据满足预设条件时，对于表格存储集群数据分区和数据通道进行调度。

结合第二方面，本发明实施例在第二方面的第一种实现方式中，所述获取模块包括：

发送子模块，被配置为向表格存储集群控制器发送数据分区访问评价数据获取请求，向数据通道控制器发送数据通道消费评价数据获取请求；

获取子模块，被配置为响应于所述请求被允许，通过所述表格存储集群服务器获取所述表格存储集群数据分区访问评价数据，通过数据通道控制器获取所述数据通道消费评价数据。

结合第二方面和第二方面的第一种实现方式，本发明实施例在第二方面的第二种实现方式中，所述表格存储集群数据分区访问评价数据包括以下数据中的一种或多种：数据分区访问数据量、数据分区访问延时数据、数据分区数据写入速率、数据分区数据读取速率；和/或，所述数据通道消费评价数据包括以下数据中的一种或多种：数据通道消费数量、数据通道消费时间数据。

结合第二方面、第二方面的第一种实现方式和第二方面的第二种实现方式，本公开在第二方面的第三种实现方式中，所述预设条件包括以下条件中的一种或多种：数据分区访问数据量超过第一数据量阈值、数据分区访问数据量低于第二数据量阈值、所述数据分区访问延时超过延时阈值、数据分区数据写入速率小于数据分区数据读取速率且所述数据分区数据写入速率与数据分区数据读取速率之间差值的绝对值大于第一速率阈值、数据分区数据写入速率大于数据分区数据读取速率且所述数据分区数据写入速率与数据分区数据读取速率之间差值的绝对值大于第二速率阈值、数据通道消费数量超过第一数量阈值、数据通道消费数量低于第二数量阈值、数据通道消费时间与当前时间之间差值的绝对值超过时间阈值。

结合第二方面、第二方面的第一种实现方式、第二方面的第二种实现方式和第二方面的第三种实现方式，本公开在第二方面的第四种实现方式中，所述调度模块被配置为：

当所述负载评价数据满足预设条件时，向表格存储集群控制器发送数据分区调度指令，使其根据所述数据分区调度指令对所述表格存储集群数据分区进行调度，并将数据分区调度信息同步给数据通道控制器，使所述数据通道控制器根据所述数据分区调度信息对所述数据通道进行调度。

结合第二方面、第二方面的第一种实现方式、第二方面的第二种实现方式、第二方面的第三种实现方式和第二方面的第四种实现方式，本公开在第二方面的第五种实现方式中，所述调度模块还被配置为：

当所述数据通道消费评价数据满足相应的预设条件时，向数据通道控制器发送数据通道调度指令，使其根据所述数据通道调度指令对所述数据通道进行调度。

结合第二方面、第二方面的第一种实现方式、第二方面的第二种实现方式、第二方面的第三种实现方式、第二方面的第四种实现方式和第二方面的第五种实现方式，本公开在第二方面的第六种实现方式中，所述对于表格存储集群数据分区的调度包括以下调度处理中的一种或多种：分裂、合并、移动；所述对于述数据通道的调度包括以下调度处理中的一种或多种：增加数据通道、减少数据通道、调整数据通道与表格存储集群数据分区之间的对应关系。

结合第二方面、第二方面的第一种实现方式、第二方面的第二种实现方式、第二方面的第三种实现方式、第二方面的第四种实现方式、第二方面的第五种实现方式和第二方面的第六种实现方式，本公开在第二方面的第七种实现方式中，还包括：

设置模块，被配置为设置初始数据分区和相应的初始数据通道。

第三方面，本发明实施例提供了一种电子设备，包括存储器和处理器，所述存储器用于存储一条或多条支持负载调度装置执行上述第一方面中负载调度方法的计算机指令，所述处理器被配置为用于执行所述存储器中存储的计算机指令。所述负载调度装置还可以包括通信接口，用于负载调度装置与其他设备或通信网络通信。

第四方面，本发明实施例提供了一种计算机可读存储介质，用于存储负载调度装置所用的计算机指令，其包含用于执行上述第一方面中负载调度方法为负载调度装置所涉及的计算机指令。

本发明实施例提供的技术方案可包括以下有益效果：

上述技术方案通过实时获取表格存储集群数据分区访问评价数据和数据通道消费评价数据来对于表格存储集群数据分区和数据通道进行实时的调度。该技术方案能够有效维持表格存储集群和数据通道的数据出入平衡，迅速应对数据的波动，避免出现数据输出不稳定、数据堵塞等现象，进而大大提高数据存储和访问的质量，同时能够大大降低人工成本投入，操作简单且能够有效实现数据的实时均衡的服务。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明实施例。

附图说明

结合附图，通过以下非限制性实施方式的详细描述，本发明实施例的其它特征、目的和优点将变得更加明显。在附图中：

图1示出根据本发明一实施方式的负载调度方法的流程图；

图2示出根据图1所示实施方式的负载调度方法的步骤S101的流程图；

图3示出根据本发明另一实施方式的负载调度方法的流程图；

图4示出根据本发明一实施方式的负载调度装置的结构框图；

图5示出根据图4所示实施方式的获取模块401的结构框图；

图6示出根据本发明另一实施方式的负载调度装置的结构框图；

图7示出根据本发明一实施方式的负载调度架构图；

图8示出根据本发明一实施方式的电子设备的结构框图；

图9是适于用来实现根据本发明一实施方式的负载调度方法的计算机系统的结构示意图。

具体实施方式

下文中，将参考附图详细描述本发明实施例的示例性实施方式，以使本领域技术人员可容易地实现它们。此外，为了清楚起见，在附图中省略了与描述示例性实施方式无关的部分。

在本发明实施例中，应理解，诸如“包括”或“具有”等的术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在，并且不欲排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在或被添加的可能性。

另外还需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明实施例。

本发明实施例提供的技术方案通过实时获取表格存储集群数据分区访问评价数据和数据通道消费评价数据来对于表格存储集群数据分区和数据通道进行实时的调度。该技术方案能够有效维持表格存储集群和数据通道的数据出入平衡，迅速应对数据的波动，避免出现数据输出不稳定、数据堵塞等现象，进而大大提高数据存储和访问的质量，同时能够大大降低人工成本投入，操作简单且能够有效实现数据的实时均衡的服务。

图1示出根据本发明一实施方式的负载调度方法的流程图，如图1所示，所述负载调度方法包括以下步骤S101-S103：

在步骤S101中，获取负载评价数据，其中，所述负载评价数据包括表格存储集群数据分区访问评价数据和数据通道消费评价数据；

在步骤S102中，确定所述负载评价数据是否满足预设条件；

在步骤S103中，当所述负载评价数据满足预设条件时，对于表格存储集群数据分区和数据通道进行调度。

上文提及，随着数据技术的发展，云存储的应用越来越广泛。为了应对海量数据的存储和访问，表格存储应运而生，表格存储是一种分布式NoSQL数据库，以数据分片技术提供海量结构化数据的存储和实时访问。但在实际数据消费时，数据消费时间点与当前时间点的不匹配、业务数据量的突发变化都会使得消费数据出现失衡的状态，甚至会造成数据输出的不稳定、数据堵塞等现象，进而大大影响数据存储和访问的质量。现有技术中，通常是对于消费时间点进行监控，当发现存在数据消费异常情况后，再人工根据数据读写比例对于数据分区进行分裂处理，该处理方法人工成本投入高，操作复杂且无法满足数据实时服务的需要。

考虑到上述问题，在该实施方式中，提出一种负载调度方法，该方法通过实时获取表格存储集群数据分区访问评价数据和数据通道消费评价数据来对于表格存储集群数据分区和数据通道进行实时的调度。该技术方案能够有效维持表格存储集群和数据通道的数据出入平衡，迅速应对数据的波动，避免出现数据输出不稳定、数据堵塞等现象，进而大大提高数据存储和访问的质量，同时能够大大降低人工成本投入，操作简单且能够有效实现数据的实时均衡的服务。

在本发明一实施方式中，所述负载评价数据用于为是否需要进行负载的调度提供数据支持，其包括两部分数据：表格存储集群数据分区访问评价数据和数据通道消费评价数据。

其中，所述表格存储集群数据分区访问评价数据用于表征表格存储集群数据分区访问情况，以为是否需要进行数据分区的调度决策提供数据支持，其包括以下数据中的一种或多种：数据分区访问数据量、数据分区访问延时数据、数据分区数据写入速率、数据分区数据读取速率。所述数据分区访问数据量指的是对于每个数据分区实时统计得到的访问数据量；所述数据分区访问延时数据指的是数据分区访问请求从开始至完成所产生的延时时间；所述数据分区数据写入速率指的是对于每个数据分区每秒数据写入的数据量；所述数据分区数据读取速率指的是对于每个数据分区每秒数据读取的数据量。其中，所述表格存储集群由执行表格存储的多个服务器组成；所述数据分区(partition)指的是在表格存储中，对于数据进行存储的数据单元，不同的数据分区按照不同的数据范围对于相应数据进行存储，不同的数据分区根据实际应用的需要可以分布在同一服务器中，也可以分布在不同服务器中，以实现负载的均衡调控和存储规模的横向扩展，另外，每一数据分区对应设置有一个数据分区日志文件，所述数据分区日志文件与对应的数据分区放置在同一服务器中。

其中，所述数据通道消费评价数据用于表征数据通道的消费情况，以为是否需要进行数据通道的调度决策提供数据支持，所述数据通道消费评价数据包括以下数据中的一种或多种：数据通道消费数量、数据通道消费时间数据。所述数据通道消费数量指的是正在执行数据消费或者数据传输的数据通道数量；数据通道消费时间数据指的是数据通道消费时间点信息。其中，所述数据通道消费指的是数据通道执行数据消费的任务，数据消费指的是数据订阅服务、数据存储服务、数据读取服务、数据访问服务等数据服务。

其中，数据通道(Channel)是TableStore中数据消费和调度的最小单位，每个数据通道包含了用户数据表格一部分数据范围的全量数据或一个数据分区的增量数据，随着用户数据表格的数据分区的分裂，可产生新的数据通道来对应新分裂的数据子分区上增量数据的消费。

在本发明一实施方式中，所述预设条件用于判断是否需要进行负载的调度。其中，所述预设条件包括以下条件中的一种或多种：数据分区访问数据量超过数据量阈值、所述数据分区访问延时超过延时阈值、数据分区数据写入速率小于数据分区数据读取速率且所述数据分区数据写入速率与数据分区数据读取速率之间差值的绝对值大于第一速率阈值、数据分区数据写入速率大于数据分区数据读取速率且所述数据分区数据写入速率与数据分区数据读取速率之间差值的绝对值大于第二速率阈值、数据通道消费数量超过第一数量阈值、数据通道消费数量低于第二数量阈值、数据通道消费时间与当前时间之间差值的绝对值超过时间阈值等等。

在本发明一实施方式中，如图2所示，所述步骤S101，即获取负载评价数据的步骤，包括以下步骤S201-S202：

在步骤S201中，向表格存储集群控制器发送数据分区访问评价数据获取请求，向数据通道控制器发送数据通道消费评价数据获取请求；

在步骤S202中，响应于所述请求被允许，通过所述表格存储集群服务器获取所述表格存储集群数据分区访问评价数据，通过数据通道控制器获取所述数据通道消费评价数据。

为了实时、有效地获取负载评价数据，在该实施方式中，分别借助表格存储集群控制器和数据通道控制器来获取负载评价数据。具体地，首先向表格存储集群控制器发送数据分区访问评价数据获取请求，向数据通道控制器发送数据通道消费评价数据获取请求；然后响应于所述请求被允许，通过所述表格存储集群服务器获取所述表格存储集群数据分区访问评价数据，通过数据通道控制器获取所述数据通道消费评价数据。其中，所述表格存储集群服务器既可以是实时也可以是周期性地监控所述数据分区访问评价数据，类似地，所述数据通道控制器既可以是实时也可以是周期性地监控所述数据通道消费评价数据，所述数据通道控制器负责维护每个通道的消费状态机，因此可方便地获取所述数据通道消费评价数据。其中，监控周期可根据实际应用的需要、数据的特点灵活设置，本公开对于监控周期的具体取值不作特别限定。

在本发明一实施方式中，所述步骤S103，即当所述负载评价数据满足预设条件时，对于表格存储集群数据分区和数据通道进行调度的步骤，可被实施为：

当所述负载评价数据满足预设条件时，向表格存储集群控制器发送数据分区调度指令，使其根据所述数据分区调度指令对所述表格存储集群数据分区进行调度，并将数据分区调度信息同步给数据通道控制器，使所述数据通道控制器根据所述数据分区调度信息对所述数据通道进行调度。

当所述负载评价数据满足预设条件时，意味着目前的数据分区和/或数据通道设置与实际数据消费情况已经不相适应，需要对于表格存储集群数据分区和数据通道进行调度，在该实施方式中，借助表格存储集群控制器和数据通道控制器的配合来实现对于表格存储集群数据分区和数据通道的调度，具体地，在判断需要对于表格存储集群数据分区和数据通道进行调度时，首先向表格存储集群控制器发送数据分区调度指令，使其根据所述数据分区调度指令对所述表格存储集群数据分区进行调度，调度完成之后将数据分区调度信息同步给数据通道控制器，使得所述数据通道控制器根据所述数据分区调度信息对所述数据通道进行相应的调度。

在本发明一实施方式中，所述对于表格存储集群数据分区的调度包括以下调度处理中的一种或多种：分裂、合并、移动；所述对于述数据通道的调度包括以下调度处理中的一种或多种：增加数据通道、减少数据通道、调整数据通道与表格存储集群数据分区之间的对应关系。

比如，若确定所述数据分区访问数据量超过第一数据量阈值，说明当前的访问超出了数据分区可承载的访问负荷，需要对于数据分区进行分裂，产生新的数据分区以分担访问负荷，其中，每个数据分区存储连续一段主键范围的数据，当该数据分区分裂为两个数据子分区时，每个数据子分区各包含数据父分区数据范围内的一部分数据，分裂后数据会按照新的数据子分区的数据范围写入新的数据子分区，不再写入数据父分区；若确定所述数据分区访问数据量低于第二数据量阈值，说明当前数据分区可承载的访问负荷有较多富裕，可对数据分区进行合并，以节省数据存储资源。其中，所述第一数据量阈值大于等于所述第二数据量阈值，所述第一数据量阈值与所述第二数据量阈值的具体取值可根据实际应用的需要以及数据的特点进行设置，本公开对其不作具体限定。

比如，若所述数据分区访问延时超过延时阈值，说明数据分区访问性能下降，有可能由于所述数据分区所在的服务器负荷较重、出现故障或异常等现象导致的，此时可对所述数据分区进行移动，将数据分区移动至其他负荷较轻的服务器中。其中，所述延时阈值的具体取值可根据实际应用的需要以及数据的特点进行设置，本公开对其不作具体限定。

比如，若所述数据分区数据写入速率小于数据分区数据读取速率且所述数据分区数据写入速率与数据分区数据读取速率之间差值的绝对值大于第一速率阈值，说明所述数据分区数据存储量较少，无法应对数据的消费水平，此时可对数据分区进行合并，以整合数据资源，满足数据消费的需要；若所述数据分区数据写入速率大于数据分区数据读取速率且所述数据分区数据写入速率与数据分区数据读取速率之间差值的绝对值大于第二速率阈值，说明所述数据分区数据存在积压，与数据消费的速度不相适应，此时可对数据分区进行分裂，生成足够多的数据分区，以匹配数据消费的速度。

再比如，若数据通道消费时间与当前时间之间差值的绝对值超过时间阈值，说明目前数据的提供与数据业务的实时需求不相匹配，数据消费出现滞后，此时可对数据分区进行分裂，以匹配数据消费的速度，保证数据消费的实时性。

在对所述表格存储集群数据分区调度完成之后，将数据分区调度信息同步给数据通道控制器，使得所述数据通道控制器根据所述数据分区调度信息对所述数据通道进行相应的调度。比如，若表格存储集群控制器对数据分区进行了分裂调度，生成两个数据子分区，则与数据父分区对应的数据通道需要进行相应的调整，比如使之前服务数据父分区的数据通道转移为服务其中一个数据子分区，再增加一个数据通道服务另外一个数据子分区，使得每个数据子分区都对应有数据通道执行数据传输服务。比如，若表格存储集群控制器对数据分区进行了合并调度，由两个数据分区合并成了一个数据父分区，则之前与数据分区对应的数据通道可减少一个使其服务其他数据分区，另外一个数据通道转由服务合并得到的数据父分区。

在本发明另一实施方式中，所述步骤S103，即当所述负载评价数据满足预设条件时，对于表格存储集群数据分区和数据通道进行调度的步骤，还可被实施为：

当所述数据通道消费评价数据满足相应的预设条件时，向数据通道控制器发送数据通道调度指令，使其根据所述数据通道调度指令对所述数据通道进行调度。

当所述数据通道消费评价数据满足预设条件时，意味着目前的数据通道设置与实际数据消费情况已经不相适应，需要对于数据通道进行调度，在该实施方式中，借助数据通道控制器来实现对于数据通道的调度，具体地，当所述数据通道消费评价数据满足相应的预设条件时，向数据通道控制器发送数据通道调度指令，使其根据所述数据通道调度指令对所述数据通道进行调度。

比如，若所述数据通道消费数量超过第一数量阈值，说明目前提供的数据通道资源紧张，在未来的一段时间内可能会无法满足数据消费的需求，需要增加数据通道以应对更多的数据传输服务；若所述数据通道消费数量低于第二数量阈值，说明目前提供的数据通道资源富裕，此时可减少数据通道的数量以节省数据通道资源。

在本发明一实施方式中，所述调度，包括对于表格存储集群数据分区的调度和对于数据通道的调度可周期性进行，即，周期性地获取负载评价数据，周期性地对于表格存储集群数据分区和数据通道实施调度。其中，周期的长短可根据实际应用的需要、数据的特点灵活设置，本公开不作特别限定。

在本发明一实施方式中，所述方法还包括设置初始数据分区和相应的初始数据通道的步骤，即如图3所示，所述负载调度方法包括以下步骤S301-S304：

在步骤S301中，设置初始数据分区和相应的初始数据通道；

在步骤S302中，获取负载评价数据，其中，所述负载评价数据包括表格存储集群数据分区访问评价数据和数据通道消费评价数据；

在步骤S303中，确定所述负载评价数据是否满足预设条件；

在步骤S304中，当所述负载评价数据满足预设条件时，对于表格存储集群数据分区和数据通道进行调度。

为了保证数据消费的初始阶段，数据能够正常被写入和读取，避免出现新数据导入时启动同步过慢的问题，在该实施方式中，需要首先设置初始数据分区和初始数据通道，其中，所述初始数据通道与所述初始数据分区相对应，以对应提供服务。

下述为本发明装置实施例，可以用于执行本发明方法实施例。

图4示出根据本发明一实施方式的负载调度装置的结构框图，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图4所示，所述负载调度装置包括：

获取模块401，被配置为获取负载评价数据，其中，所述负载评价数据包括表格存储集群数据分区访问评价数据和数据通道消费评价数据；

确定模块402，被配置为确定所述负载评价数据是否满足预设条件；

调度模块403，被配置为当所述负载评价数据满足预设条件时，对于表格存储集群数据分区和数据通道进行调度。

上文提及，随着数据技术的发展，云存储的应用越来越广泛。为了应对海量数据的存储和访问，表格存储应运而生，表格存储是一种分布式NoSQL数据库，以数据分片技术提供海量结构化数据的存储和实时访问。但在实际数据消费时，数据消费时间点与当前时间点的不匹配、业务数据量的突发变化都会使得消费数据出现失衡的状态，甚至会造成数据输出的不稳定、数据堵塞等现象，进而大大影响数据存储和访问的质量。现有技术中，通常是对于消费时间点进行监控，当发现存在数据消费异常情况后，再人工根据数据读写比例对于数据分区进行分裂处理，该处理方法人工成本投入高，操作复杂且无法满足数据实时服务的需要。

考虑到上述问题，在该实施方式中，提出一种负载调度装置，该装置通过实时获取表格存储集群数据分区访问评价数据和数据通道消费评价数据来对于表格存储集群数据分区和数据通道进行实时的调度。该技术方案能够有效维持表格存储集群和数据通道的数据出入平衡，迅速应对数据的波动，避免出现数据输出不稳定、数据堵塞等现象，进而大大提高数据存储和访问的质量，同时能够大大降低人工成本投入，操作简单且能够有效实现数据的实时均衡的服务。

在本发明一实施方式中，所述负载评价数据用于为是否需要进行负载的调度提供数据支持，其包括两部分数据：表格存储集群数据分区访问评价数据和数据通道消费评价数据。

其中，所述表格存储集群数据分区访问评价数据用于表征表格存储集群数据分区访问情况，以为是否需要进行数据分区的调度决策提供数据支持，其包括以下数据中的一种或多种：数据分区访问数据量、数据分区访问延时数据、数据分区数据写入速率、数据分区数据读取速率。所述数据分区访问数据量指的是对于每个数据分区实时统计得到的访问数据量；所述数据分区访问延时数据指的是数据分区访问请求从开始至完成所产生的延时时间；所述数据分区数据写入速率指的是对于每个数据分区每秒数据写入的数据量；所述数据分区数据读取速率指的是对于每个数据分区每秒数据读取的数据量。其中，所述表格存储集群由执行表格存储的多个服务器组成；所述数据分区(partition)指的是在表格存储中，对于数据进行存储的数据单元，不同的数据分区按照不同的数据范围对于相应数据进行存储，不同的数据分区根据实际应用的需要可以分布在同一服务器中，也可以分布在不同服务器中，以实现负载的均衡调控和存储规模的横向扩展，另外，每一数据分区对应设置有一个数据分区日志文件，所述数据分区日志文件与对应的数据分区放置在同一服务器中。

其中，所述数据通道消费评价数据用于表征数据通道的消费情况，以为是否需要进行数据通道的调度决策提供数据支持，所述数据通道消费评价数据包括以下数据中的一种或多种：数据通道消费数量、数据通道消费时间数据。所述数据通道消费数量指的是正在执行数据消费或者数据传输的数据通道数量；数据通道消费时间数据指的是数据通道消费时间点信息。其中，所述数据通道消费指的是数据通道执行数据消费的任务，数据消费指的是数据订阅服务、数据存储服务、数据读取服务、数据访问服务等数据服务。

其中，数据通道(Channel)是TableStore中数据消费和调度的最小单位，每个数据通道包含了用户数据表格一部分数据范围的全量数据或一个数据分区的增量数据，随着用户数据表格的数据分区的分裂，可产生新的数据通道来对应新分裂的数据子分区上增量数据的消费。

在本发明一实施方式中，所述预设条件用于判断是否需要进行负载的调度。其中，所述预设条件包括以下条件中的一种或多种：数据分区访问数据量超过数据量阈值、所述数据分区访问延时超过延时阈值、数据分区数据写入速率小于数据分区数据读取速率且所述数据分区数据写入速率与数据分区数据读取速率之间差值的绝对值大于第一速率阈值、数据分区数据写入速率大于数据分区数据读取速率且所述数据分区数据写入速率与数据分区数据读取速率之间差值的绝对值大于第二速率阈值、数据通道消费数量超过第一数量阈值、数据通道消费数量低于第二数量阈值、数据通道消费时间与当前时间之间差值的绝对值超过时间阈值等等。

在本发明一实施方式中，如图5所示，所述获取模块401包括：

发送子模块501，被配置为向表格存储集群控制器发送数据分区访问评价数据获取请求，向数据通道控制器发送数据通道消费评价数据获取请求；

获取子模块502，被配置为响应于所述请求被允许，通过所述表格存储集群服务器获取所述表格存储集群数据分区访问评价数据，通过数据通道控制器获取所述数据通道消费评价数据。

为了实时、有效地获取负载评价数据，在该实施方式中，分别借助表格存储集群控制器和数据通道控制器来获取负载评价数据。具体地，发送子模块501向表格存储集群控制器发送数据分区访问评价数据获取请求，向数据通道控制器发送数据通道消费评价数据获取请求；获取子模块502响应于所述请求被允许，通过所述表格存储集群服务器获取所述表格存储集群数据分区访问评价数据，通过数据通道控制器获取所述数据通道消费评价数据。其中，所述表格存储集群服务器既可以是实时也可以是周期性地监控所述数据分区访问评价数据，类似地，所述数据通道控制器既可以是实时也可以是周期性地监控所述数据通道消费评价数据，所述数据通道控制器负责维护每个通道的消费状态机，因此可方便地获取所述数据通道消费评价数据。其中，监控周期可根据实际应用的需要、数据的特点灵活设置，本公开对于监控周期的具体取值不作特别限定。

在本发明一实施方式中，所述调度模块403可被配置为：

当所述负载评价数据满足预设条件时，向表格存储集群控制器发送数据分区调度指令，使其根据所述数据分区调度指令对所述表格存储集群数据分区进行调度，并将数据分区调度信息同步给数据通道控制器，使所述数据通道控制器根据所述数据分区调度信息对所述数据通道进行调度。

当所述负载评价数据满足预设条件时，意味着目前的数据分区和/或数据通道设置与实际数据消费情况已经不相适应，需要对于表格存储集群数据分区和数据通道进行调度，在该实施方式中，借助表格存储集群控制器和数据通道控制器的配合来实现对于表格存储集群数据分区和数据通道的调度，具体地，在判断需要对于表格存储集群数据分区和数据通道进行调度时，首先向表格存储集群控制器发送数据分区调度指令，使其根据所述数据分区调度指令对所述表格存储集群数据分区进行调度，调度完成之后将数据分区调度信息同步给数据通道控制器，使得所述数据通道控制器根据所述数据分区调度信息对所述数据通道进行相应的调度。

在本发明一实施方式中，所述对于表格存储集群数据分区的调度包括以下调度处理中的一种或多种：分裂、合并、移动；所述对于述数据通道的调度包括以下调度处理中的一种或多种：增加数据通道、减少数据通道、调整数据通道与表格存储集群数据分区之间的对应关系。

比如，若确定所述数据分区访问数据量超过第一数据量阈值，说明当前的访问超出了数据分区可承载的访问负荷，需要对于数据分区进行分裂，产生新的数据分区以分担访问负荷，其中，每个数据分区存储连续一段主键范围的数据，当该数据分区分裂为两个数据子分区时，每个数据子分区各包含数据父分区数据范围内的一部分数据，分裂后数据会按照新的数据子分区的数据范围写入新的数据子分区，不再写入数据父分区；若确定所述数据分区访问数据量低于第二数据量阈值，说明当前数据分区可承载的访问负荷有较多富裕，可对数据分区进行合并，以节省数据存储资源。其中，所述第一数据量阈值大于等于所述第二数据量阈值，所述第一数据量阈值与所述第二数据量阈值的具体取值可根据实际应用的需要以及数据的特点进行设置，本公开对其不作具体限定。

比如，若所述数据分区访问延时超过延时阈值，说明数据分区访问性能下降，有可能由于所述数据分区所在的服务器负荷较重、出现故障或异常等现象导致的，此时可对所述数据分区进行移动，将数据分区移动至其他负荷较轻的服务器中。其中，所述延时阈值的具体取值可根据实际应用的需要以及数据的特点进行设置，本公开对其不作具体限定。

比如，若所述数据分区数据写入速率小于数据分区数据读取速率且所述数据分区数据写入速率与数据分区数据读取速率之间差值的绝对值大于第一速率阈值，说明所述数据分区数据存储量较少，无法应对数据的消费水平，此时可对数据分区进行合并，以整合数据资源，满足数据消费的需要；若所述数据分区数据写入速率大于数据分区数据读取速率且所述数据分区数据写入速率与数据分区数据读取速率之间差值的绝对值大于第二速率阈值，说明所述数据分区数据存在积压，与数据消费的速度不相适应，此时可对数据分区进行分裂，生成足够多的数据分区，以匹配数据消费的速度。

再比如，若数据通道消费时间与当前时间之间差值的绝对值超过时间阈值，说明目前数据的提供与数据业务的实时需求不相匹配，数据消费出现滞后，此时可对数据分区进行分裂，以匹配数据消费的速度，保证数据消费的实时性。

在对所述表格存储集群数据分区调度完成之后，将数据分区调度信息同步给数据通道控制器，使得所述数据通道控制器根据所述数据分区调度信息对所述数据通道进行相应的调度。比如，若表格存储集群控制器对数据分区进行了分裂调度，生成两个数据子分区，则与数据父分区对应的数据通道需要进行相应的调整，比如使之前服务数据父分区的数据通道转移为服务其中一个数据子分区，再增加一个数据通道服务另外一个数据子分区，使得每个数据子分区都对应有数据通道执行数据传输服务。比如，若表格存储集群控制器对数据分区进行了合并调度，由两个数据分区合并成了一个数据父分区，则之前与数据分区对应的数据通道可减少一个使其服务其他数据分区，另外一个数据通道转由服务合并得到的数据父分区。

在本发明另一实施方式中，所述调度模块403还可被实施为：

当所述数据通道消费评价数据满足相应的预设条件时，向数据通道控制器发送数据通道调度指令，使其根据所述数据通道调度指令对所述数据通道进行调度。

当所述数据通道消费评价数据满足预设条件时，意味着目前的数据通道设置与实际数据消费情况已经不相适应，需要对于数据通道进行调度，在该实施方式中，借助数据通道控制器来实现对于数据通道的调度，具体地，当所述数据通道消费评价数据满足相应的预设条件时，向数据通道控制器发送数据通道调度指令，使其根据所述数据通道调度指令对所述数据通道进行调度。

比如，若所述数据通道消费数量超过第一数量阈值，说明目前提供的数据通道资源紧张，在未来的一段时间内可能会无法满足数据消费的需求，需要增加数据通道以应对更多的数据传输服务；若所述数据通道消费数量低于第二数量阈值，说明目前提供的数据通道资源富裕，此时可减少数据通道的数量以节省数据通道资源。

在本发明一实施方式中，所述调度，包括对于表格存储集群数据分区的调度和对于数据通道的调度可周期性进行，即，周期性地获取负载评价数据，周期性地对于表格存储集群数据分区和数据通道实施调度。其中，周期的长短可根据实际应用的需要、数据的特点灵活设置，本公开不作特别限定。

在本发明一实施方式中，所述装置还包括设置初始数据分区和相应的初始数据通道的部分，即如图6所示，所述负载调度装置包括：

设置模块601，被配置为设置初始数据分区和相应的初始数据通道；

获取模块602，被配置为获取负载评价数据，其中，所述负载评价数据包括表格存储集群数据分区访问评价数据和数据通道消费评价数据；

确定模块603，被配置为确定所述负载评价数据是否满足预设条件；

调度模块604，被配置为当所述负载评价数据满足预设条件时，对于表格存储集群数据分区和数据通道进行调度。

为了保证数据消费的初始阶段，数据能够正常被写入和读取，避免出现新数据导入时启动同步过慢的问题，在该实施方式中，设置模块601需要首先设置初始数据分区和初始数据通道，其中，所述初始数据通道与所述初始数据分区相对应，以对应提供服务。

图7示出根据本发明一实施方式的负载调度架构图，如图7所示，表格存储集群控制器和数据通道控制器分别将数据分区访问评价数据和数据通道消费评价数据发送给获取模块，获取模块将得到的负载评价数据发送给确定模块，确定模块将负载评价数据是否满足预设条件的判断消息发送给调度模块，由调度模块向表格存储集群控制器发送数据分区调度指令，使其根据所述数据分区调度指令对所述表格存储集群数据分区进行调度，并将数据分区调度信息同步给数据通道控制器，使所述数据通道控制器根据所述数据分区调度信息对所述数据通道进行调度。

本发明实施例还公开了一种电子设备，图8示出根据本发明一实施方式的电子设备的结构框图，如图8所示，所述电子设备800包括存储器801和处理器802；其中，

所述存储器801用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器802执行以实现上述任一方法步骤。

图9适于用来实现根据本发明实施方式的负载调度方法的计算机系统的结构示意图。

如图9所示，计算机系统900包括中央处理单元(CPU)901，其可以根据存储在只读存储器(ROM)902中的程序或者从存储部分908加载到随机访问存储器(RAM)903中的程序而执行上述实施方式中的各种处理。在RAM903中，还存储有系统900操作所需的各种程序和数据。CPU901、ROM902以及RAM903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。

以下部件连接至I/O接口905：包括键盘、鼠标等的输入部分2406；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分907；包括硬盘等的存储部分908；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入存储部分908。

特别地，根据本发明的实施方式，上文描述的方法可以被实现为计算机软件程序。例如，本发明的实施方式包括一种计算机程序产品，其包括有形地包含在及其可读介质上的计算机程序，所述计算机程序包含用于执行所述负载调度方法的程序代码。在这样的实施方式中，该计算机程序可以通过通信部分909从网络上被下载和安装，和/或从可拆卸介质911被安装。

附图中的流程图和框图，图示了按照本发明各种实施方式的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，路程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施方式中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。

作为另一方面，本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施方式中所述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本发明实施例的方法。

以上描述仅为本发明的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本发明实施例中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本发明实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (18)

1.一种负载调度方法，其特征在于，包括：

获取负载评价数据，其中，所述负载评价数据包括表格存储集群数据分区访问评价数据和数据通道消费评价数据；

确定所述负载评价数据是否满足预设条件；

当所述负载评价数据满足预设条件时，对于表格存储集群数据分区和数据通道进行调度。

2.根据权利要求1所述的方法，其特征在于，所述获取负载评价数据，包括：

向表格存储集群控制器发送数据分区访问评价数据获取请求，向数据通道控制器发送数据通道消费评价数据获取请求；

响应于所述请求被允许，通过所述表格存储集群服务器获取所述表格存储集群数据分区访问评价数据，通过数据通道控制器获取所述数据通道消费评价数据。

3.根据权利要求1或2所述的方法，其特征在于，所述表格存储集群数据分区访问评价数据包括以下数据中的一种或多种：数据分区访问数据量、数据分区访问延时数据、数据分区数据写入速率、数据分区数据读取速率；和/或，所述数据通道消费评价数据包括以下数据中的一种或多种：数据通道消费数量、数据通道消费时间数据。

4.根据权利要求1-3任一所述的方法，其特征在于，所述预设条件包括以下条件中的一种或多种：数据分区访问数据量超过第一数据量阈值、数据分区访问数据量低于第二数据量阈值、所述数据分区访问延时超过延时阈值、数据分区数据写入速率小于数据分区数据读取速率且所述数据分区数据写入速率与数据分区数据读取速率之间差值的绝对值大于第一速率阈值、数据分区数据写入速率大于数据分区数据读取速率且所述数据分区数据写入速率与数据分区数据读取速率之间差值的绝对值大于第二速率阈值、数据通道消费数量超过第一数量阈值、数据通道消费数量低于第二数量阈值、数据通道消费时间与当前时间之间差值的绝对值超过时间阈值。

5.根据权利要求4所述的方法，其特征在于，所述当所述负载评价数据满足预设条件时，对于表格存储集群数据分区和数据通道进行调度，被实施为：

当所述负载评价数据满足预设条件时，向表格存储集群控制器发送数据分区调度指令，使其根据所述数据分区调度指令对所述表格存储集群数据分区进行调度，并将数据分区调度信息同步给数据通道控制器，使所述数据通道控制器根据所述数据分区调度信息对所述数据通道进行调度。

6.根据权利要求5所述的方法，其特征在于，所述当所述负载评价数据满足预设条件时，对于表格存储集群数据分区和数据通道进行调度，还可被实施为：

当所述数据通道消费评价数据满足相应的预设条件时，向数据通道控制器发送数据通道调度指令，使其根据所述数据通道调度指令对所述数据通道进行调度。

7.根据权利要求1-6任一所述的方法，其特征在于，所述对于表格存储集群数据分区的调度包括以下调度处理中的一种或多种：分裂、合并、移动；所述对于述数据通道的调度包括以下调度处理中的一种或多种：增加数据通道、减少数据通道、调整数据通道与表格存储集群数据分区之间的对应关系。

8.根据权利要求1-7任一所述的方法，其特征在于，还包括：

设置初始数据分区和相应的初始数据通道。

9.一种负载调度装置，其特征在于，包括：

获取模块，被配置为获取负载评价数据，其中，所述负载评价数据包括表格存储集群数据分区访问评价数据和数据通道消费评价数据；

确定模块，被配置为确定所述负载评价数据是否满足预设条件；

调度模块，被配置为当所述负载评价数据满足预设条件时，对于表格存储集群数据分区和数据通道进行调度。

10.根据权利要求9所述的装置，其特征在于，所述获取模块包括：

发送子模块，被配置为向表格存储集群控制器发送数据分区访问评价数据获取请求，向数据通道控制器发送数据通道消费评价数据获取请求；

获取子模块，被配置为响应于所述请求被允许，通过所述表格存储集群服务器获取所述表格存储集群数据分区访问评价数据，通过数据通道控制器获取所述数据通道消费评价数据。

11.根据权利要求9或10所述的装置，其特征在于，所述表格存储集群数据分区访问评价数据包括以下数据中的一种或多种：数据分区访问数据量、数据分区访问延时数据、数据分区数据写入速率、数据分区数据读取速率；和/或，所述数据通道消费评价数据包括以下数据中的一种或多种：数据通道消费数量、数据通道消费时间数据。

12.根据权利要求9-11任一所述的装置，其特征在于，所述预设条件包括以下条件中的一种或多种：数据分区访问数据量超过第一数据量阈值、数据分区访问数据量低于第二数据量阈值、所述数据分区访问延时超过延时阈值、数据分区数据写入速率小于数据分区数据读取速率且所述数据分区数据写入速率与数据分区数据读取速率之间差值的绝对值大于第一速率阈值、数据分区数据写入速率大于数据分区数据读取速率且所述数据分区数据写入速率与数据分区数据读取速率之间差值的绝对值大于第二速率阈值、数据通道消费数量超过第一数量阈值、数据通道消费数量低于第二数量阈值、数据通道消费时间与当前时间之间差值的绝对值超过时间阈值。

13.根据权利要求12所述的装置，其特征在于，所述调度模块被配置为：

当所述负载评价数据满足预设条件时，向表格存储集群控制器发送数据分区调度指令，使其根据所述数据分区调度指令对所述表格存储集群数据分区进行调度，并将数据分区调度信息同步给数据通道控制器，使所述数据通道控制器根据所述数据分区调度信息对所述数据通道进行调度。

14.根据权利要求13所述的装置，其特征在于，所述调度模块还被配置为：

当所述数据通道消费评价数据满足相应的预设条件时，向数据通道控制器发送数据通道调度指令，使其根据所述数据通道调度指令对所述数据通道进行调度。

15.根据权利要求9-14任一所述的装置，其特征在于，所述对于表格存储集群数据分区的调度包括以下调度处理中的一种或多种：分裂、合并、移动；所述对于述数据通道的调度包括以下调度处理中的一种或多种：增加数据通道、减少数据通道、调整数据通道与表格存储集群数据分区之间的对应关系。

16.根据权利要求9-15任一所述的装置，其特征在于，还包括：

设置模块，被配置为设置初始数据分区和相应的初始数据通道。

17.一种电子设备，其特征在于，包括存储器和处理器；其中，

所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现权利要求1-8任一项所述的方法步骤。

18.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该计算机指令被处理器执行时实现权利要求1-8任一项所述的方法步骤。

Images