CN112328332B - 一种面向云计算环境的数据库配置优化方法 - Google Patents

Abstract

发明涉及一种面向云计算环境的数据库配置优化方法，所述方法包括：根据各类型数据访问操作的数量刻画数据库的负载特征，使用Markov链模型根据所述负载特征预测下个时刻数据访问操作的工作负载；根据历史训练数据构建在预设负载条件下数据库集群的性能模型，通过所述性能模型预测服务器集群在预设负载下的性能；将需要重新配置的服务器分组，根据所述服务器集群的吞吐量以及成本条件制定配置计划。达到了可以在可承受虚拟机租用成本的前提下，最大限度提高集群数据库的性能；同时，通过采用同构节点分组的方式确定集群数据库中需要重新配置的节点子集，将相同配置应用于相应的服务器分组，有效减少了搜索空间，提升了配置搜索效率。

Description

一种面向云计算环境的数据库配置优化方法

技术领域

本发明涉及一种面向云计算环境的数据库配置优化方法，属于软件技术领域。

背景技术

软件应用在云计算环境下进行部署，降低了服务提供商对运行基础架构的投资成本，并具有许多运营优势。NoSQL数据库是最典型的基础软件，突破了应用程序对传统数据库访问方式的限制。流行的NoSQL数据库，如Cassandra、Redis和MongoDB，广泛用于网络服务、大数据服务和社交媒体平台。由于成本约束的原因，面向云计算环境的NoSQL数据库性能调优具有挑战性。首先，NoSQL数据库有许多影响性能的配置参数，虚拟机配置和数据库应用配置的搜索空间巨大。云服务提供了许多虚拟机，其中的处理器类型、内核数量、内存大小、存储、网络带宽等都有所不同，且均会影响虚拟机租用成本。在云计算环境下，选择正确的虚拟机类型和大小对于实现最佳性能至关重要。其次，NoSQL层和虚拟机层配置之间具有依赖性，需要进行联合优化。过度配置资源会不必要地增加运营及运维成本，而过大规模的虚拟机并不总能提供更好的性能。第三，云应用实例的工作负载随着时间而变化且不可预测，需要重新配置。某个阶段工作负载的最佳数据库配置对于另一个阶段工作负载可能会变得非常差。在运行时更改NoSQL数据库的配置，使用持久存储有状态的数据库会对性能产生影响，重新配置服务器会导致停机。因此，对于快速变化的工作负载，频繁重新配置整个集群可能会严重降低性能，因此选择服务器配置的子集会最大限度降低对性能造成的不良影响，从而实现全局最佳性能。

现有方案中只关注NoSQL配置调整，不考虑云虚拟机配置，也不考虑虚拟机和NoSQL配置之间的依赖关系。将NoSQL配置空间和虚拟机配置空间相结合会导致搜索空间大小的大幅增加，并难以提供高效的配置调整。

发明内容

本发明的目的：在云计算环境下需要同时调整虚拟机和数据库配置参数的搜索空间巨大，并且负载变化动态变化会对优化数据库配置带来不确定性。本发明同时考虑了虚拟机和数据库的配置参数，并通过负载预测和性能模型预测负载变化动态调整配置参数。

本发明的原理：根据各类型数据访问操作的数量刻画数据库的负载特征，使用Markov链模型预测下个时刻数据访问操作的工作负载状况，根据历史训练数据构建在预设负载条件下数据库集群的性能模型，预测服务器集群在预设负载下的性能表现，将需要重新配置的服务器分组，制定配置计划以达到在可接受成本约束的条件下，最大化数据库集群的吞吐量。

本发明技术解决方案：一种面向云计算环境的数据库配置优化方法，其特点在于实现步骤如下：

根据各类型数据访问操作的数量刻画数据库的负载特征，使用Markov链模型根据所述负载特征预测下个时刻数据访问操作的工作负载；

根据历史训练数据构建在预设负载条件下数据库集群的性能模型，通过所述性能模型预测服务器集群在预设负载下的性能；

将需要重新配置的服务器分组，根据所述服务器集群的吞吐量以及成本条件制定配置计划。

可选的，所述根据各类型数据访问操作的数量刻画数据库的负载特征，使用Markov链模型根据所述负载特征预测下个时刻数据访问操作的负载状况，包括：

将给定时间t的工作负载表示为W(t)={a1,a2,…,ai,…,an}，其中，ai根据不同表示结构化查询语言SQL查询类型的数量，n表示查询类型数量；所述SQL查询类型包括，嵌套子查询的数量、选择谓词的总数、相等选择谓词的数量、非相等选择谓词的数量、连接谓词的总数、等价连接谓词的数量、非等价连接谓词的数量、排序列的数量和聚合列的数量等；

在已知W (t), ..., W(t-h)的情况下，使用Markov链模型预测W (t +1)工作负载，其中h为历史时间长度。

可选的，所述根据历史训练数据构建在预设负载条件下数据库集群的性能模型，通过所述性能模型预测服务器集群在预设负载下的性能，包括：

通过D-Optimal算法使用线性和二次参数模型，将各个配置参数映射到相应的资源，分析配置参数之间的依赖性；

使用决策树针对配置参数集预测单个数据库服务器的性能，输入为负载和配置，输出为吞吐量；

使用随机森林模型预测集群整体性能，其中，输入为每个服务器预测的性能、集群中键副本数量、读写操作成功的最小节点数量和数据放置信息，输出为不同决策树输出的平均值。

可选的，所述将需要重新配置的服务器分组，包括：

将需要重新配置的服务器分为一个或多个完全集合。

可选的，所述根据所述服务器集群的吞吐量以及成本条件制定配置计划，包括：

配置计划为：C*=c*(f(W,C)/Cost(C))；其中，函数f(W,C)是数据库集群的性能预测模型，输入是负载向量W和配置向量C，输出是数据库集群的吞吐量，f(W,C)大于目标操作数，Cost(C)小于租用虚拟机资源的投入成本。

可选的，所述根据所述服务器集群的吞吐量以及成本条件制定配置计划，还包括：

在确定配置计划C之后，根据基因算法确定最佳配置。

本发明与现有技术相比具有如下优点：

通过根据各类型数据访问操作的数量刻画数据库的负载特征，使用Markov链模型根据所述负载特征预测下个时刻数据访问操作的工作负载；根据历史训练数据构建在预设负载条件下数据库集群的性能模型，通过所述性能模型预测服务器集群在预设负载下的性能；将需要重新配置的服务器分组，根据所述服务器集群的吞吐量以及成本条件制定配置计划。也即基于负载预测和性能建模技术，通过结合优化数据库和云计算实例的配置，以在可承受虚拟机租用成本的前提下，最大限度提高集群数据库的性能；同时，通过采用同构节点分组的方式确定集群数据库中需要重新配置的节点子集，将相同配置应用于相应的服务器分组，有效减少了搜索空间，提升了配置搜索效率。

附图说明

图1为本申请一个实施例提供的面向云计算环境的数据库配置优化方法的方法流程图；

图2为本申请一个实施例提供的云计算环境下基于性能预测的数据库配置优化方法的执行流程。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖 直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。 在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。 此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间 未构成冲突就可以相互结合。

请参考图1，其示出了本申请一个实施例提供的面向云计算环境的数据库配置优化方法的方法流程图，如图1所示，所述方法包括：

步骤101，根据各类型数据访问操作的数量刻画数据库的负载特征，使用Markov链模型根据所述负载特征预测下个时刻数据访问操作的工作负载；

将给定时间t的工作负载表示为W(t)={a1,a2,…,ai,…,an}，其中，ai根据不同表示结构化查询语言SQL查询类型的数量，n表示查询类型数量；所述SQL查询类型包括，嵌套子查询的数量、选择谓词的总数、相等选择谓词的数量、非相等选择谓词的数量、连接谓词的总数、等价连接谓词的数量、非等价连接谓词的数量、排序列的数量和聚合列的数量等；

在已知W (t), ..., W(t-h)的情况下，使用Markov链模型预测W (t +1)工作负载，其中h为历史时间长度。

步骤102，根据历史训练数据构建在预设负载条件下数据库集群的性能模型，通过所述性能模型预测服务器集群在预设负载下的性能；

可选的，本步骤包括：

第一，通过D-Optimal算法使用线性和二次参数模型，将各个配置参数映射到相应的资源，分析配置参数之间的依赖性；

由于NoSQL数据库和云配置组合会产生巨大的搜索空间，通过穷举搜索优化是不切实际的。并且应用程序参数对性能的影响效果不同，因此本申请通过选择关键配置参数来减少搜索空间，以减少配置优化的搜索时间。此外，配置参数之间存在依赖关系，例如虚拟机类型和数据库文件缓存大小之间的依赖关系。因此本申请使用D-Optimal方法来优化离线数据收集过程，选择数据点来分析配置参数之间的依赖性，用以训练性能模型。由于在目标应用程序中的配置参数依赖关系通常是成对出现的，因此使用线性和二次参数模型，将每个参数映射到相应的资源，检查映射到相同资源的所有配置参数的总和是否在虚拟机的资源限制内。

第二，使用决策树针对配置参数集预测单个数据库服务器的性能，输入为负载和配置，输出为吞吐量；

在收集了确定的数据点后，使用决策树针对特定配置参数集(包括数据库和虚拟机)预测单个NoSQL服务器的性能。

第三，使用随机森林模型预测集群整体性能，其中，输入为每个服务器预测的性能、集群中键副本数量、读写操作成功的最小节点数量和数据放置信息，输出为不同决策树输出的平均值。

将不同决策树输出的平均值作为最终输出结果，预测集群整体性能。随机森林只有最大深度和森林大小两个超参数需要调整，因此易于理解且易于操作。本发明使用每个服务器的预测性能、RF（集群中键副本数量）、CL（读写操作成功的最小节点数量）和数据放置信息作为输入，随机森林模型作为模型，预测集群整体性能作为输出。

步骤103，将需要重新配置的服务器分组，根据所述服务器集群的吞吐量以及成本条件制定配置计划。

分组的步骤包括：将需要重新配置的服务器分为一个或多个完全集合。完全集合定义为节点的最小子集，其数据记录并集至少覆盖数据库中的所有记录，以确定需要重新配置的服务器子集。数据放置信息将集群划分为一个或多个完全集合，通过收集集群中每个服务器的数据放置信息可以识别完全集合。由于数据库中的数据令牌通常只在主节点之间分配，从节点拥有主节点数据的精确副本，识别完全集合更容易，因此只需为每个主节点选择一个从节点以形成完全集合。为了在重新配置期间维护数据可用性，每个数据记录在任何时间点必须至少有CL个副本可用。簇中完全集合数目是常数因子，不依赖于簇中节点数目。当集群大小增加时，分配给每个节点键的范围减小，因此形成完全集合的节点数量增加。由于本发明同时以一个或多个完全集合的形式重新配置实例，重新配置集群的总时间是常数因子，与集群大小无关。

不同虚拟机和数据库的配置会使搜索空间大小比相同配置大得多，因此每个完全集合中的节点在虚拟机和数据库的配置上相同。否则，完全集合性能等于集合中最慢节点的性能。配置的最小原子单位是完全集合，从而减少了搜索空间，同时使得不同的完全集合具有不同的配置。

在设置配置计划时，以在可接受成本约束的条件下，最大化数据库集群的吞吐量。配置计划C表示为配置向量(NoSQL和虚拟机)的时间序列：C=[{C1,C2,…,CM},{t1,t2,…,tM}]，其中，M是计划中的步骤数量，时间戳ti表示配置Ci所持续的时间。

配置计划为：C*=c*(f(W,C)/Cost(C))；其中，函数f(W,C)是数据库集群的性能预测模型，输入是负载向量W和配置向量C，输出是数据库集群的吞吐量，f(W,C)大于目标操作数，Cost(C)小于租用虚拟机资源的投入成本。

并且，在确定配置计划C之后，根据基因算法确定最佳配置，通过交叉和变异在探索和开发之间找到良好的平衡点。

为了便于理解，以下结合具体实施例和附图对本发明进行详细说明，如图2所示，本发明实施例方法流程：

（1）部署环境：在阿里云中部署本Redis数据存储集群，并且部署独立节点作为工作负载生成器。在运行时改变负载发生器线程的数量以模拟工作负载，跟踪请求率的变化。每次运行使用不同的训练数据子集，得到的结果是20次运行的平均值。

（2）执行应用程序：将数据分析作业提交给高性能计算集群，观察队列中作业的执行状态。由于作业模式中很大部分是重复出现的，因此可以预测很大时间跨度的工作负载。根据提交给集群的数据分析请求，模拟批处理数据分析作业的共享队列。每项工作都分为几个阶段，工作量随着每个阶段而变化。作业大小是从200到100K个操作的随机变量，并发级别为10个作业，负载持续时间为1个小时。

（3）性能预测：使用决策树预测单服务器的性能，使用随机森林预测数据库集群的性能。由6个节点组成的集群，其中RF=3，CL=1，使用历史监测数据实例进行训练以建立性能模型，根据性能模型预测数据库集群性能。集群划分为3个完全集合，使用阿里云的3个系列(C4、R4、M4)服务器实例，每个系列具有3个不同型号(large、xlarge、2xlarge)。收集了330个监测数据点，涵盖了将实例类型分配给三个完全集合的所有组合。

（4）数据库集群配置调整：使用集群模式下的Redis作为分布式缓存，如果在Redis的内存中找到key，则由Redis提供服务，否则，由较慢的基于磁盘的数据库提供服务。将高性能计算分析工作负载应用于3或6台Redis服务器集群，副本数量为2。调整Redis的maxmemory和maxmemory-policy参数，通过更改云配置以调整分配的内存大小可以影响数据库的性能。在性能模型构建阶段，产生数据分析工作负载。作业具有不同的大小、访问分布和读写比率。作业大小是随机变量符合均值为0.5M，方差为1.5M的正态分布；访问分布从Uniform, Latest, Zipfian等三个状态中随机选择；读写比是随机变量，符合均值为0，方差为1的正态分布。相应的，收集不同作业的75个作业的执行轨迹，时间持续了5个小时，得到120个监测数据点。通过20次运行获取性能预测模型，使用三种虚拟机类型的异构集群，通过采用本发明的方法调整配置参数，在成本约束的条件下，实现了单位时间内较高的吞吐量。

综上所述，通过根据各类型数据访问操作的数量刻画数据库的负载特征，使用Markov链模型根据所述负载特征预测下个时刻数据访问操作的工作负载；根据历史训练数据构建在预设负载条件下数据库集群的性能模型，通过所述性能模型预测服务器集群在预设负载下的性能；将需要重新配置的服务器分组，根据所述服务器集群的吞吐量以及成本条件制定配置计划。也即基于负载预测和性能建模技术，通过结合优化数据库和云计算实例的配置，以在可承受虚拟机租用成本的前提下，最大限度提高集群数据库的性能；同时，通过采用同构节点分组的方式确定集群数据库中需要重新配置的节点子集，将相同配置应用于相应的服务器分组，有效减少了搜索空间，提升了配置搜索效率。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (1)

1.一种面向云计算环境的数据库配置优化方法，其特征在于，所述方法包括：

根据各类型数据访问操作的数量刻画数据库的负载特征，使用Markov链模型根据所述负载特征预测下个时刻数据访问操作的工作负载；

根据历史训练数据构建在预设负载条件下数据库集群的性能模型，通过所述性能模型预测服务器集群在预设负载下的性能；

将需要重新配置的服务器分组，根据所述服务器集群的吞吐量以及成本条件制定配置计划；

所述根据各类型数据访问操作的数量刻画数据库的负载特征，使用Markov链模型根据所述负载特征预测下个时刻数据访问操作的负载状况，包括：

将给定时间t的工作负载表示为W(t)={a₁,a₂,…,a_i,…,a_n}，其中，a_i根据不同表示结构化查询语言SQL查询类型的数量，n表示查询类型数量；所述SQL查询类型包括，嵌套子查询的数量、选择谓词的总数、相等选择谓词的数量、非相等选择谓词的数量、连接谓词的总数、等价连接谓词的数量、非等价连接谓词的数量、排序列的数量和聚合列的数量；

在已知W (t), ..., W(t-h)的情况下，使用Markov链模型预测W (t +1)工作负载，其中h为历史时间长度；

所述根据历史训练数据构建在预设负载条件下数据库集群的性能模型，通过所述性能模型预测服务器集群在预设负载下的性能，包括：

通过D-Optimal算法使用线性和二次参数模型，将各个配置参数映射到相应的资源，分析配置参数之间的依赖性；

使用决策树针对配置参数集预测单个数据库服务器的性能，输入为负载和配置，输出为吞吐量；

使用随机森林模型预测集群整体性能，其中，输入为每个服务器预测的性能、集群中键副本数量、读写操作成功的最小节点数量和数据放置信息，输出为不同决策树输出的平均值；

所述将需要重新配置的服务器分组，包括：

将需要重新配置的服务器分为一个或多个完全集合；

所述根据所述服务器集群的吞吐量以及成本条件制定配置计划，包括：

配置计划为：C*=c*(f(W,C)/Cost(C))；其中，函数f(W,C)是数据库集群的性能预测模型，输入是负载向量W和配置向量C，输出是数据库集群的吞吐量，f(W,C)大于目标操作数，Cost(C)小于租用虚拟机资源的投入成本；

所述根据所述服务器集群的吞吐量以及成本条件制定配置计划，还包括：

在确定配置计划C之后，根据基因算法确定最佳配置。

Images