CN115904638B - 一种数据库事务智能管理方法及系统 - Google Patents

Abstract

本发明公开了一种数据库事务智能管理方法及系统，涉及数据库事务智能管理方法，通过提取事务特征向量；构建基于异步优势演员评论家模型的强化学习模型，该强化学习模型包括一个主节点网络Master和多个子节点网络Worker；将事务特征向量发送到各个事务调度器中，各个事务调度器根据与其对应的Worker提供的调度策略进行决策判断，生成包含事务分配到不同线程以及运行先后顺序的事务调度方案，并与内存数据库环境完成交互；基于状态、奖励数据训练Worker并生成新的网络梯度，反响传播给Master；Worker根据更新的网络梯度生成新的调度策略，进行事务调度。本发明能够有效提升数据库的处理效率。

Description

一种数据库事务智能管理方法及系统

技术领域

本发明涉及数据库事务智能管理方法，尤其是涉及一种基于内存数据库的事务智能调度方法及系统。

背景技术

随着CPU、内存等计算机硬件技术的发展，数据库技术的可用资源与应用场景变得更具多元化，相对应的数据库管理系统也日益复杂完善。目前基于智能算法的数据库事务智能调度方法应用前景广阔，对于提高数据库交互性能有着重要意义。

事务是数据库应用中完成单一逻辑功能的操作集合，是不可分割的逻辑工作单元，允许上层业务将多个操作作为一个整体执行。事务主要包括读取和写入多条数据记录，并且必须满足原子性、一致性、独立性和持久性等四种特性。通常情况下，事务调度方法位于数据库管理系统DBMS的存储管理器的事务管理模块中。总体上，存储管理器主要负责与文件管理器进行交互，将各种DML语句翻译为底层文件系统命令，负责数据库中数据的存储、检索与更新。更具体的，存储管理器中的事务管理模块主要负责在数据库上执行并行事务时，控制事务的操作顺序，避免前后存在有关联操作执行时发生错误，从而影响事务的一致性原则。

在内存数据库中，传统的事务调度架构一般是将新到来的事务随机分配到可用线程上，是一种实现各线程间均匀负载的简单形式，其分配事务的时间复杂度较低。而在新兴互联网背景下，数据库与用户间的交互量以及交互速度都在不断上升，这对数据库端事务的处理和执行效率、成功率等都提出了较高的要求。简单的随机事务分配方法不能有效地处理多线程事务中可能发生的冲突问题。当前的主要发展方向是有效利用CPU的多线程特性，在事务的单线程性能与多线程执行并发度上进行取舍，以最大化事务吞吐量。因此更贴合多线程内存数据库的事务智能调度方法受到了广泛的重视。

发明内容

针对现有技术的以上缺点和改进需求，本发明提出一种基于异步优势演员评论家算法A3C的数据库事务智能调度方法及系统，有效提升数据库的处理效率。

本发明采取的技术方案是：

一种数据库事务智能管理方法，包括以下步骤：

获取数据库新到的事务；

获取事务中各个词的词嵌入向量，对词嵌入向量提取语义信息，得到事务符号化表示信息；获取数据库的数据模式信息，并结合词包含的数据库表名称信息，得到具有模式信息的特征；将事务符号化表示信息与具有模式信息的特征进行合并，再经过拼接，得到事务特征向量；

构建基于异步优势演员评论家模型的强化学习模型，该强化学习模型包括一个主节点网络Master和多个子节点网络Worker，其中每个Worker对应一个单独的核心；

将事务特征向量发送到各个事务调度器中，各个事务调度器根据与其对应的Worker提供的调度策略进行决策判断，生成包含事务分配到不同线程以及运行先后顺序的事务调度方案，并与内存数据库环境完成交互；

内存数据库环境执行事务调度方案，返回状态、奖励数据等，并缓存到状态缓存池中，当达到一定的缓存数量时，缓存池推送这些数据到Worker中作为训练数据，并清空缓存；

Worker利用所述训练数据作为输入进行训练，生成新的网络梯度；

Master异步接收各个Worker反向传播的网络梯度，基于模型设定的初始超参数进行模型更新，得到新的网络结构，然后将更新后的网络梯度发送到各个Worker的对应网络中；

Worker根据更新的网络梯度生成新的调度策略，并发送给事务调度器进行事务调度。

优选地，利用双向长短期记忆网络Bi-LSTM处理词嵌入向量，提取语义信息。

优选地，Bi-LSTM处理词嵌入向量时，对词包含的语法关键字信息、逻辑符号信息进行组织，生成事务的语法树结构即事务符号化表示信息。

优选地，利用单向长短期记忆网络LSTM将事务符号化表示信息与具有模式信息的特征进行合并。

优选地，Master包含全局策略网络和全局价值网络，各个Worker包含策略网络和价值网络；在强化学习过程中，Master将当前的全局策略网络和价值网络的参数传送给各个Worker中对应的策略网络和价值网络中，仅当第一次执行时，随机初始化全局策略网络和价值网络的参数。

优选地，Worker在进行训练时，其策略网络根据内存数据库环境发来的当前状态选取动作，生成当前状态的奖励函数和新状态，并在新状态的基础上生成新动作；其价值网络以策略网络生成的动作、内存数据库环境反馈回的奖励值、新老状态作为输入，对新老状态下的对应动作分别进行打分，并利用所得评分以及老状态下执行动作获取的奖励值，计算价值网络的打分与实际奖励函数之间的差距，生成优势函数，使用该优势函数计算价值网络微分和策略网络微分，形成网络梯度。

优选地，所述奖励函数为某时刻下系统各个核心上事务的总吞吐量，所述奖励函数对于每个Worker上的新事务完成时设定奖励为1，否则奖励为-1。

一种数据库事务智能管理系统，包括：

事务特征提取模块，用于获取事务中各个词的词嵌入向量，对词嵌入向量提取语义信息，得到事务符号化表示信息；获取数据库的数据模式信息，并结合词包含的数据库表名称信息，得到具有模式信息的特征；将事务符号化表示信息与具有模式信息的特征进行合并，再经过拼接，得到事务特征向量；

事务智能调度模块，包括事务调度器和基于异步优势演员评论家模型的强化学习模型，该强化学习模块包括一个主节点网络Master和多个子节点网络Worker，每个Worker对应一个单独的核心；事务调度器根据与其对应的Worker提供的调度策略进行决策判断，生成包含事务分配到不同线程以及运行先后顺序的事务调度方案，并与内存数据库环境完成交互；接收内存数据库环境返回的状态、奖励数据并缓存到状态缓存池中，当达到一定的缓存数量时，缓存池推送这些数据到Worker中作为训练数据，并清空缓存；Worker利用所述训练数据作为输入进行训练，生成新的网络梯度；Master异步接收各个Worker反向传播的网络梯度，基于模型设定的初始超参数进行模型更新，得到新的网络结构，然后将更新后的网络梯度发送到各个Worker的对应网络中；Worker根据更新的网络梯度生成新的调度策略，并发送给事务调度器进行事务调度。

优选地，事务特征提取模块包括双向长短期记忆网络Bi-LSTM和单向长短期记忆网络LSTM；Bi-LSTM处理词嵌入向量，对词包含的语法关键字信息、逻辑符号信息进行组织，生成事务的语法树结构即事务符号化表示信息；LSTM将事务符号化表示信息与具有模式信息的特征进行合并。

与现有技术相比，本发明具有以下优点：

1)本发明基于积极并发控制(OCC)思路解决事务间的冲突问题，相较于消极并发控制(两阶段锁定)更适合具有多核心多线程的新型数据库硬件平台。另外，锁机制在面对高争用工作负载时，大量的存储空间将被锁定，并会造成大量计算资源的浪费，没有将多余的计算性能转化为更高效的事务管理方法。本发明通过使用智能学习方法，将不同的核心和线程加以利用，能够有效提高事务调度方法的泛用性、降低数据库的运行以及维护成本，相较于传统人工管理数据库的方法，人为管理和系统故障时产生的时间和资金成本更低。

2)本发明采用的强化学习方法能够有效模拟人为管理的过程，并利用执行结果指导管理策略，相较于监督学习或者无监督学习对原始数据的数量和质量要求较低，主要通过与环境交互的方式进行自我迭代完成策略的网络的更新过程，有效降低了数据库运行以及维护的成本。使用基于双向长短期记忆网络，能够适用于更广泛的SQL语句表达形式。使用单向长短期记忆网络。

3)本发明采用的异步优势演员评论家A3C算法在强化学习的基础上，增加了Master与Worker节点的分布式架构以适应并行计算架构，Master支持Worker网络梯度的异步更新，可以有效加快强化学习模型的训练速度。由此可见，本发明的有益效果主要体现在实现数据库事务的智能调度的前提下，能够高效利用多核心多线程数据库系统的计算性能，提高在应对高并发访问时处理事务的性能、能力和效能关系等。

附图说明

图1是本发明的一种数据库事务智能管理系统整体流程图；

图2是本发明的一种数据库事务智能管理系统的总体框架图；

图3是事务特征提取模块流程图。

图4是异步优势演员评论家模型A3C框架图；

具体实施方式

下面结合附图对本发明进行进一步详细说明，所举实施例只用于解释本发明，并非用于限定本发明的范围。

本发明实施例公开一种数据库事务智能管理方法及系统，引入强化学习模型中的异步优势演员评论家模型，进行数据库事务的智能调度，系一种面向多核心多线程模式的数据库智能事务调度系统架构，如图1所示，事务特征提取模块和事务智能调度模块，详细说明如下。

图2所示为本数据库事务智能管理系统的总体架构图，其流程的主要步骤包括：

首先通过事务特征提取模型将先到来的事务进行特征提取，完成输入事务信息向编码的转换。

然后将提取后的特征输入到事务智能调度模块的事务调度器中完成顺序调整，包括分配到不同线程以及运行先后顺序等等，得到调度后事务队列。根据生成的事务调度方案在数据库中执行，并且将事务调度器当前的参数存入数据库中。进行数据库日志的记录，包括事务执行的结果、时间信息、调度器参数等等。完成日志记录之后，使用对应的解析器将日志转化为适合学习模型处理的格式数据，经过学习后更新网络参数，并传入事务调度器中更新调度策略。

事务特征提取模块：

本实施例利用图3所示的事务特征提取模块完成事务的特征提取，形成特征向量。

本实施例主要针对数据库中使用SQL编写形成的事务进行调度处理。考虑智能事务调度框架中的事务特征提取步骤，本实施例提出了一种事务特征提取方法，由事务特征提取模块来完成。事务(Transactions)是一些数据库操作的集合，包括选取、查询、插入、删除等等，考虑更细致的特征提取方法能够为后续的事务智能调度方法带来更丰富的内容信息。本模块参考目前自然语言处理领域中的主流处理框架，希望从事务的词法、语法、数据库模式信息等中提取出对应的特征表示，主要步骤为：

第一步，将事务中的各个词进行解析，每个词形成对应的词嵌入向量。

第二步，事务中的各个词中包含SQL语法关键字、数据库表名称、比较逻辑符号等等，语义较为复杂，并且常常需要判断其中的前后文逻辑关系才能完成正确提取语义信息，本发明采用双向长短期记忆网络Bi-LSTM对已有的语法关键字信息、逻辑符号信息等进行组织，形成事务的语法树结构，即得到事务符号化表示信息。

第三步，考虑事务中的数据库表名称，需要根据数据库中的模式信息输入进行确切理解。利用第二步中数据库表名称信息作为基础，并且结合初始数据库中输入的数据模式信息(即模式嵌入向量)，形成与当前事务直接相关的库表名称集合以及结构信息(即具有模式信息的特征)，完成模式向量嵌入。

第四步，将已生成的具有模式信息的特征与事务符号化表示信息进行合并，使用第二步中事务所具备的语法树结构进行组织。本发明采用单向长短期记忆网络LSTM，利用语法树自上而下的顺序进行特称信息的进一步组合。

第五步，将第四步得到的所有信息拼接为单一的向量，完成特征提取，形成事务特征向量，记作表示核心第i个核心上的第j个线程上的特征表达。

事务智能调度模块：

本发明的创新之一主要是在图2的事务智能调度模块的学习模型中采用强化学习的异步演员评论家模型实现，形成对应的动作空间、奖励函数、状态空间等，组合成事务调度深度网络模型。该模型中分别设立主节点Master、多个子节点Worker来完成异步式的学习更新，实现更贴合多核心多线程应用场景的事务智能调度算法。每一个单独的核心形成一个强化学习子节点Worker，而核心上的各个线程对应之后事务调度中的一种可能调度方案。

如图4所示，基于异步优势演员评论家模型的主要步骤包括：

第一步，由主节点Master将当前的全局策略网络以及价值网络的参数传送给各个子节点Worker中对应的策略网络以及价值网络中。仅当第一次执行时，随机初始化全局策略网络以及价值网络的参数。

第二步，获取各子节点Worker中的初始状态，并将其输入至策略网络中。由于一般策略网络与价值网络的初步特征提取中存在相同步骤，常合并为同一个网络结构进行处理，在此统称为预处理网络。由策略网络(即演员)根据当前状态选取动作，生成初始状态的奖励函数、新状态等。另外，在新状态的基础上生成新动作，但不执行。

第三步，价值网络(即评论家)使用上述策略网络生成的动作、内存数据库环境反馈回的奖励值、新老状态等作为输入，并对新老状态下的对应动作分别进行打分。利用所得评分以及老状态下执行动作获取的奖励值，计算价值网络的打分与实际奖励函数之间的差距，形成优势函数。

第四步，使用优势函数计算价值网络微分以及策略网络微分，形成网络梯度。

第五步，各Worker节点将生成的网络梯度反馈给全局网络。

注意，异步优势演员评论家模型在同步版本的基础上取消了协调器，使得Master节点不再需要等待各个Worker节点提供的梯度信息。之后返回至第一步中，循环执行。

如下具体描述强化学习的奖励空间、状态空间、动作空间，算法公式细节等。

状态空间：在强化学习中，状态空间是算法的输入，是模型与环境交互结果的量化表达。具体来说，主要表示为当前调度队列中所有事务经处理后得到的特征向量以及所在的队列，一般将时刻t的状态表示为S_t，表示各个核心上各个线程中当前事务的存在顺序。当在时刻t出现了需要进行分配的新事务Tr_new，调度系统输出了调度动作A_t，与内存数据库进行交互，将该事务被提交或者终止的时刻记为t+1，相应的状态表示为S_t+1。更具体地，考虑使用强化学习模式时的具体表示形式，将当前可执行调度任务的总核心数表示为N^core，线程数表示为对于第i∈[1,N^core]个核心上的第/>个线程，该核心上的调度队列表示为数组/>其中的每一个调度队列q_j中的事务情况表示为和当前需要被调度的事务Tr_new。

奖励函数：设定在某一时刻t下的奖励函数R_t为该时刻下系统各个核心上事务的总吞吐量，是一个标量函数。更具体地，采用各个Worker上的事务队列执行完成度综合为统一指标。将每个子节点Worker上的一个新到来的事务Tr_new，根据事务的原子性，对于单独事务只存在事务完成与事务中止两种状态，因此定义每个子节点Worker上的新事务Tr_new完成时设定奖励r_t为1，否则奖励r_t为-1。由于单独的事务队列中存在多个已有事务，则利用其中总体提交事务数量作为当前队列的奖励值，由于设定每个Worker节点中使用单一自调度器，因此该队列的奖励值便作为当前队列的奖励值，表示为

动作空间：设定强化学习算法的动作空间为A，主要考虑调度队列中各个事务队列中的调度选择，即根据已有事务进行排序的方法形成动作空间。具体为，对于某核心i∈[1,N^core]中的新事务Tr_new，考虑对应的队列首先选择其中的一个线程q，即选出j∈[1,N^thread]，之后选取该事务在该线程中的位置，即选出k∈[1,m_j]。因此，某一时刻的动作可表示为A_t:/>

基于异步优势演员评论家的智能事务调度算法的细节主要包括：定义Master节点中策略网络与价值网络中的网络参数组分别表示为ψ和θ，更新网络参数时的学习步长表示η_ψ，η_θ。定义Worker节点中计算优势函数时的奖励折扣因子为γ，表示新状态在当前状态的转换比例。定义Worker节点中缓存池中存储状态条数为轨迹长度N。基于异步优势演员评论家的智能事务调度算法的主要流程如下：

虽然本发明已以实施例公开如上，然其并非用以限定本发明，本领域的普通技术人员对本发明的技术方案进行的适当修改或者等同替换，均应涵盖于本发明的保护范围内，本发明的保护范围以权利要求所限定者为准。

Claims (10)

1.一种数据库事务智能管理方法，其特征在于，包括以下步骤：

获取数据库新到的事务；

获取事务中各个词的词嵌入向量，对词嵌入向量提取语义信息，得到事务符号化表示信息；获取数据库的数据模式信息，并结合词包含的数据库表名称信息，得到具有模式信息的特征；将事务符号化表示信息与具有模式信息的特征进行合并，再经过拼接，得到事务特征向量；

构建基于异步优势演员评论家模型的强化学习模型，该强化学习模型包括一个主节点网络Master和多个子节点网络Worker，每个Worker对应一个单独的核心；

将事务特征向量发送到各个事务调度器中，各个事务调度器根据与其对应的Worker提供的调度策略进行决策判断，生成包含事务分配到不同线程以及运行先后顺序的事务调度方案，并与内存数据库环境完成交互；

内存数据库环境执行事务调度方案，返回状态、奖励数据并缓存到状态缓存池中，当达到一定的缓存数量时，缓存池推送这些数据到Worker中作为训练数据，并清空缓存；

Worker利用所述训练数据作为输入进行训练，生成新的网络梯度；

Master异步接收各个Worker反向传播的网络梯度，基于模型设定的初始超参数进行模型更新，得到新的网络结构，然后将更新后的网络梯度发送到各个Worker的对应网络中；

Worker根据更新的网络梯度生成新的调度策略，并发送给事务调度器进行事务调度。

2.如权利要求1所述的方法，其特征在于，利用双向长短期记忆网络Bi-LSTM处理词嵌入向量，提取语义信息。

3.如权利要求2所述的方法，其特征在于，Bi-LSTM处理词嵌入向量时，对词包含的语法关键字信息、逻辑符号信息进行组织，生成事务的语法树结构即事务符号化表示信息。

4.如权利要求1所述的方法，其特征在于，利用单向长短期记忆网络LSTM将事务符号化表示信息与具有模式信息的特征进行合并。

5.如权利要求1所述的方法，其特征在于，Master包含全局策略网络和全局价值网络，各个Worker包含策略网络和价值网络；在强化学习过程中，Master将当前的全局策略网络和价值网络的参数传送给各个Worker中对应的策略网络和价值网络中，仅当第一次执行时，随机初始化全局策略网络和价值网络的参数。

6.如权利要求1所述的方法，其特征在于，Worker在进行训练时，其策略网络根据内存数据库环境发来的当前状态选取动作，生成当前状态的奖励函数和新状态，并在新状态的基础上生成新动作；其价值网络以策略网络生成的动作、内存数据库环境反馈回的奖励值、新老状态作为输入，对新老状态下的对应动作分别进行打分，并利用所得评分以及老状态下执行动作获取的奖励值，计算价值网络的打分与实际奖励函数之间的差距，生成优势函数，使用该优势函数计算价值网络微分和策略网络微分，形成网络梯度。

7.如权利要求6所述的方法，其特征在于，所述奖励函数为某时刻下系统各个核心上事务的总吞吐量，所述奖励函数对于每个Worker上的新事务完成时设定奖励为1，否则奖励为-1。

8.一种数据库事务智能管理系统，其特征在于，包括：

事务特征提取模块，用于获取事务中各个词的词嵌入向量，对词嵌入向量提取语义信息，得到事务符号化表示信息；获取数据库的数据模式信息，并结合词包含的数据库表名称信息，得到具有模式信息的特征；将事务符号化表示信息与具有模式信息的特征进行合并，再经过拼接，得到事务特征向量；

事务智能调度模块，包括事务调度器和基于异步优势演员评论家模型的强化学习模型，该强化学习模型包括一个主节点网络Master和多个子节点网络Worker，每个Worker对应一个单独的核心；事务调度器根据与其对应的Worker提供的调度策略进行决策判断，生成包含事务分配到不同线程以及运行先后顺序的事务调度方案，并与内存数据库环境完成交互；接收内存数据库环境返回的状态、奖励数据并缓存到状态缓存池中，当达到一定的缓存数量时，缓存池推送这些数据到Worker中作为训练数据，并清空缓存；Worker利用所述训练数据作为输入进行训练，生成新的网络梯度；Master异步接收各个Worker反向传播的网络梯度，基于模型设定的初始超参数进行模型更新，得到新的网络结构，然后将更新后的网络梯度发送到各个Worker的对应网络中；Worker根据更新的网络梯度生成新的调度策略，并发送给事务调度器进行事务调度。

9.如权利要求8所述的系统，其特征在于，所述事务特征提取模块包括双向长短期记忆网络Bi-LSTM和单向长短期记忆网络LSTM；Bi-LSTM处理词嵌入向量，对词包含的语法关键字信息、逻辑符号信息进行组织，生成事务的语法树结构即事务符号化表示信息；LSTM将事务符号化表示信息与具有模式信息的特征进行合并。

10.如权利要求8所述的系统，其特征在于，Master包含全局策略网络和全局价值网络，各个Worker包含策略网络和价值网络；在强化学习过程中，Master将当前的全局策略网络和价值网络的参数传送给各个Worker中对应的策略网络和价值网络中，仅当第一次执行时，随机初始化全局策略网络和价值网络的参数。