CN113495896A - 事务处理系统的管理方法、装置、设备及介质 - Google Patents

Abstract

本申请提供了一种事务处理系统的管理方法，事务处理系统包括多个参与者节点，每个参与者节点存储有数据分区，每个参与者节点用于处理多个事务，其中，每个事务访问的数据分区组合包括至少一个数据分区。该方法包括：获取周期内访问各数据分区组合的事务的个数，根据周期内访问各数据分区组合的事务的个数，调整数据分区在多个参与者节点的存储。该方法可以减少参与事务的参与者节点的个数，从而减少协调者节点与参与者节点之间的交互次数，缩短事务提交的时延，提升事务提交性能。

Description

事务处理系统的管理方法、装置、设备及介质

本申请要求于2020年03月19日提交中国国家知识产权局、申请号为202010197554.0、申请名称为“一种事务处理系统”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。

技术领域

本申请涉及计算机技术领域，尤其涉及一种事务处理系统的管理方法、装置、设备以及计算机可读存储介质。

背景技术

事务是数据库管理系统执行过程中的一个逻辑单位，包括一个有限的数据库操作序列。分布式系统中，当一个事务跨越多个参与者执行时，各个参与者能够确定各自执行的事务的执行结果，但无法知道其他参与者的执行结果。为了保持事务的原子性(atomicity)、一致性(consistency)、隔离性(isolation)、持久性(durability)，需要引入协调者对执行事务的参与者进行管理。

二阶段提交是基于分布式系统的系统架构进行事务提交时而设计的一种方法。但是该方法中协调者与参与者之间需要进行多次交互，如此导致事务提交的时延较长，事务提交性能下降。

发明内容

本申请实施例提供了一种事务处理系统的管理方法，解决了相关技术中协调者与参与者之间需要进行多次交互，导致事务提交的时延较长，事务提交性能下降的问题。本申请实施例还提供了上述方法对应的装置、设备、计算机可读存储介质以及计算机程序产品。

第一方面，本申请提供了一种事务处理系统的管理方法。其中，事务处理系统包括多个参与者节点，每个参与者节点存储有数据分区，每个参与者节点用于处理多个事务，其中，每个事务访问的数据分区组合包括至少一个数据分区。事务处理系统还包括协调者节点。事务处理系统的管理方法可以由上述协调者节点执行。在一些实现方式中，事务处理系统还可以包括路由(router)节点，用于实现读写分离。基于此，事务处理系统的管理方法也可以由上述路由节点执行。在一些实现方式中，事务处理系统的管理方法还可以由事务处理系统以外的节点执行。本申请实施例将执行事务处理系统的管理方法的节点统称为管理节点。

具体地，管理节点获取周期内访问各数据分区组合的事务的个数，其中，各数据分区组合可以是该事务处理系统存储的全部数据分区的组合，也可以是事务处理系统存储的部分数据分区的组合。然后管理节点根据所述周期内访问各数据分区组合的事务的个数，调整所述数据分区在所述多个参与者节点的存储，以减少参与所述事务的参与者节点的个数。如此，可以减少协调者节点与参与者节点的交互次数，降低事务提交的时延，提升事务提交的性能。

在一些实现方式中，管理节点可以在所述周期内，采集访问各数据分区组合的事务的个数。如此，管理节点可以根据实时获得的事务的个数，调整所述数据分区在所述多个参与者节点的存储。由于实时采集的事务的个数比较准确，因而可以将较大几率一起访问的数据分区调整至一个参与者节点，具有较高调整精度。

在一些实现方式中，管理节点可以获取历史周期内访问各数据分区组合的事务的个数，根据所述历史周期内访问各数据分区组合的事务的个数，预测所述周期内访问各数据分区组合的事务的个数。如此，管理节点在调整数据分区在参与者节点的存储时，可以根据预测结果提前进行调整，从而实现在所述周期内即可缩短事务的提交时延，提升事务提交性能。

在一些实现方式中，管理节点可以根据所述历史周期内访问各数据分区组合的事务的个数，利用差分自回归移动平均模型、指数平滑模型、非参数时间序列模型、先知模型和基于深度学习的时间序列模型中的任意一种，预测所述周期内访问至少一个数据分区组合的事务的个数。

根据业务场景不同，管理节点可以采用不同的模型，预测所述周期内访问各数据分区组合的事务的个数。例如，针对销售额预测、交通流量预测、医院患者人数预测场景等业务场景，管理节点可以采用差分自回归移动平均(autoregressive integrated movingaverage model，ARIMA)模型进行预测。又例如，针对股票波动预测、工厂生产预测等业务场景，管理节点可以采用指数平滑模型预测所述周期内访问各数据分区组合的事务的个数。当然，针对销售额预测的业务场景，管理节点也可以采用指数平滑模型进行预测。

针对销售额预测，以及间歇式产品销售预测等业务场景，管理节点还可以根据历史周期内访问各数据分区组合的事务的个数，采用非参数时间序列(non parametric timeseries，NPTS)模型预测所述周期内访问各数据分区组合的事务的个数。需要说明的是，管理节点还可以采用NPTS相关变体模型预测所述周期内访问各数据分区组合的事务的个数。

针对气候预测、节假日流量预测、交易数据预测等业务场景，管理节点还可以采用先知(prophet)模型进行预测。针对气候预测、商店访问量预测、商品促销预测、销售额预测，管理节点还可以采用基于深度学习的时间序列模型(deep AR)进行预测。

在一些实现方式中，管理节点可以根据所述周期内访问各数据分区组合的事务的个数，确定目标数据分区组合，将所述目标数据分区组合中的数据分区由N个参与者节点迁移至M个参与者节点，所述N大于所述M。

其中，目标数据分区组合可以是所述周期内访问的数据分区组合中的一个或多个。具体地，当所述周期内访问数据分区组合的事务的个数达到预设数量时，管理节点可以将该数据分区组合确定为目标数据分区组合。在一些实现方式中，管理节点还可以确定所述周期内访问数据分区组合的事务的个数相对于访问各数据分区组合的事务的总数的占比，当该占比大于预设比例时，则将该数据分区组合确定为目标数据分区组合。

目标数据分区组合也可以是所述周期内访问的数据分区组合的子组合中的一个或多个。具体地，所述周期内访问子组合的事务的个数达到预设数量时，管理节点可以将该子组合确定为目标数据分区组合。在一些实现方式中，管理节点还可以确定周期内访问子组合的事务的个数相对于访问各数据分区组合的事务的总数的占比，当该占比大于预设比例时，将该数据分区组合确定为目标数据分区组合。

在一些实现方式中，考虑到节点如果出现过载，将导致性能下降的情况，管理节点可以根据所述周期内访问各数据分区组合的事务的个数以及所述参与者节点的负载，调整所述数据分区在所述多个参与者节点的存储。

具体地，管理节点可以获取各参与者节点的负载，然后将目标数据分区组合中的各数据分区由N个参与者节点迁移至M个负载较小的参与者节点。为了减少迁移操作产生的开销，管理节点可以将目标数据分区组合中的各数据分区由N个参与者节点迁移至这N个节点中的M个负载较小的参与者节点。

第二方面，本申请提供一种事务处理系统的管理装置。所述事务处理系统包括多个参与者节点，每个参与者节点存储有数据分区，每个参与者节点用于处理多个事务，其中，每个事务访问的数据分区组合包括至少一个数据分区；所述装置包括：

通信模块，用于获取周期内访问各数据分区组合的事务的个数；

管理模块，用于根据所述周期内访问各数据分区组合的事务的个数，调整所述数据分区在所述多个参与者节点的存储。

在一些实现方式中，所述装置还包括：

采集模块，用于在所述周期内，采集访问各数据分区组合的事务的个数。

在一些实现方式中，所述通信模块具体用于：

获取历史周期内访问各数据分区组合的事务的个数；

所述装置还包括：

预测模块，用于根据所述历史周期内访问各数据分区组合的事务的个数，预测所述周期内访问各数据分区组合的事务的个数。

在一些实现方式中，所述管理模块具体用于：

根据所述周期内访问各数据分区组合的事务的个数，确定目标数据分区组合；

将所述目标数据分区组合中的数据分区由N个参与者节点迁移至M个参与者节点，所述N大于所述M。

在一些实现方式中，所述管理模块具体用于：

根据所述周期内访问各数据分区组合的事务的个数以及所述参与者节点的负载，调整所述数据分区在所述多个参与者节点的存储。

第三方面，本申请提供一种设备，所述设备包括处理器和存储器。所述处理器、所述存储器进行相互的通信。所述处理器用于执行所述存储器中存储的指令，以使得设备执行如第一方面或第一方面的任一种实现方式中的事务处理系统的管理方法。

第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在设备上运行时，使得设备执行上述第一方面或第一方面的任一种实现方式所述的事务处理系统的管理方法。

第五方面，本申请提供了一种包含指令的计算机程序产品，当其在设备上运行时，使得设备执行上述第一方面或第一方面的任一种实现方式所述的事务处理系统的管理方法。

本申请在上述各方面提供的实现方式的基础上，还可以进行进一步组合以提供更多实现方式。

附图说明

为了更清楚地说明本申请实施例的技术方法，下面将对实施例中所需使用的附图作以简单地介绍。

图1为本申请实施例提供的一种分布式系统的系统架构图；

图2为本申请实施例提供的一种两阶段提交的流程图；

图3为本申请实施例提供的一种提交或回滚的示意图；

图4为本申请实施例提供的一种事务处理系统的管理方法的流程图；

图5为本申请实施例提供的一种对事务处理系统的数据分区进行管理的示意图；

图6为本申请实施例提供的一种对事务处理系统的数据分区进行管理的示意图；

图7为本申请实施例提供的一种对事务处理系统的数据分区进行管理的示意图；

图8为本申请实施例提供的一种迁移分区的示意图；

图9为本申请实施例提供的一种事务分区图的示意图；

图10为本申请实施例提供的一种事务处理系统的管理装置的结构示意图；

图11为本申请实施例提供的一种设备的结构示意图。

具体实施方式

本申请实施例中的术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。

首先对本申请实施例中所涉及到的一些概念进行介绍。

事务(transaction)是数据库管理系统执行过程中的一个逻辑单位，其包括有限的数据库操作序列。为保证数据的正确可靠，事务必须具备四个特性：原子性(atomicity)、一致性(consistency)、隔离性(isolation)、持久性(durability)。

其中，原子性是指一个事务中的所有操作，或者全部完成，或者全部不完成，不会结束在中间某个环节，事务在执行过程中发生错误，会被回滚到事务开始前的状态。一致性是指在事务开始之前和事务结束以后，数据库的完整性没有被破坏。隔离性是指数据库允许多个并发事务同时对数据进行读写和修改，隔离性可以防止多个事务并发执行时由于交叉执行而导致数据的不一致。持久性是指事务执行结束后，对数据的修改就是永久的，即便系统故障也不会丢失。

协调者(coordinator)在事务执行过程中承担协调角色。在分布式系统中，当一个事务跨越多个参与者(participant)执行时(即一个事务包括的事务请求由多个参与者执行)，也即该事务为分布式事务(distributed transaction)时，各个参与者能够确定各自执行事务请求的结果，但无法知道其他参与者执行事务请求的结果。为了保持上述的事务特性，因此引入协调者对执行事务请求的结果进行管理，并指示参与者是否要把执行事务请求的结果进行提交，例如用更新后的数据替换原始数据。

参与者在事务执行过程中承担执行者角色，用于接收协调者发送的事务请求，对事务请求中指定的数据进行指定操作。其中，一个事务中包括对一个或者多个数据的事务请求，事务请求为读请求或者写请求。

为了便于理解，下面以银行转账这一具体示例对事务、参与者、协调者进行说明。在该示例中，A地的银行账户X向B地的银行账户Y转账M元，则需要针对账户X执行减M操作(为了方便描述，可以称为操作1)，针对账户Y执行加M操作(为了方便描述，可以称为操作2)。由于A地的银行账户数据与B地的银行账户数据通常是存储在不同节点，这两个不同节点即为执行银行转账这一事务涉及的参与者。向这两个节点发送事务请求(该示例中为写请求)的节点为协调者。

由于事务的ACID特性，当操作1执行成功，而操作2执行不成功时，操作1对应的参与者可以回滚操作1，从而使得操作1和操作2都执行成功，或者都执行失败。即事务包括的一系列操作在任何情况下，都可以安全正确地执行。

示例性的，事务处理系统为分布式系统，该分布式系统包括一个或者多个业务节点、一个或者多个协调者节点和多个参与者节点。其中，业务节点是与业务相关的节点，协调者节点是指作为协调者的节点，参与者节点是指作为参与者的节点。这些节点可以是物理机，或者是部署于物理机上的虚拟机、容器等等。其中，物理机具体是具有数据处理能力的设备，例如可以是终端或者是服务器。图1中以分布式系统包括一个业务节点、一个协调者节点和多个参与者节点为例。协调者节点用于接收业务节点发送的事务请求，并将事务请求发送给一个或者多个参与者节点执行。

在一些实现方式中，协调者节点可以是独立的。即协调者节点不执行事务请求，仅协调执行事务的参与者节点。在另一些实现方式中，协调者节点也可以作为参与者节点。即协调者节点也可以执行事务请求。并且，一个节点可以在处理一个事务的过程中作为协调者节点，还可以在处理另一个事务的过程中作为参与者节点。也即一个节点可以既是协调者节点，又是参与者节点。

每个参与者节点存储有至少一个数据分区(partition)。每个参与者节点用于处理多个事务，其中，每个事务访问的数据分区组合包括至少一个数据分区。数据分区是指将数据表进行拆分所得的多个区块，这些区块从逻辑上形成完整的数据表，但底层是多个物理的区块。数据分区并不会导致新的数据表产生，而是将数据表中的数据分摊到不同的存储介质，如不同的硬盘、系统、服务器中。如此，可以提高数据检索效率，降低数据库的频繁输入输出(input output，IO)压力值。

根据对数据表的分割方式不同，数据分区可以分为水平分区和垂直分区。其中，水平分区是对数据表的行进行分割，所有在数据表中定义的列在每个数据分区均能够查找到，数据表的特性得以保持。例如，一个包括十年社保记录的数据表可以按年份划分为十个不同的数据分区，每个数据分区包括其中一年的社保记录。垂直分区是对数据表的列进行划分，从而减少单个数据表的宽度。例如，一个包括大文本(text)列和/或二进制大对象(binary large object，BLOB)列的数据表，这些text和BLOB列被访问的频率较低，因而可以将其划分到另一个数据分区，在保证数据相关性的同时还能提高访问速度。

在图1的示例中，参与者节点1至少包括数据分区P11、P12和P13，参与者节点2包括至少数据分区P21、P22和P23，参与者节点3至少包括数据分区P31、P32和P33。图1以数据分区为垂直分区进行示例说明。例如，数据表为某公司员工薪资记录表时，P11、P12、P13可以是工号、年份、发放月份，P21、P22和P23是基本工资、业绩奖金、五险一金扣款项。P31、P32和P33是应发工资、税金和实发工资。

在发放薪资时，财务人员通常需要更新上述薪资记录表。具体地，业务节点发送事务，协调者节点接收该事务，将该事务包括的一个或多个事务请求转发给每个事务请求中请求操作的数据分区所属的参与者节点，参与者节点执行事务请求，如参与者节点1执行写请求，以更新发放月份，参与者节点2执行写请求，以更新业绩奖金，参与者节点3执行写请求，以更新应发工资、税金和实发工资。

考虑到上述事务所操作的数据同时涉及多个节点，可以采用分布式事务的提交协议保障事务的ACID。分布式事务的一个比较典型的提交协议是两阶段提交(two phasecommit，2PC)协议。二阶段提交包括准备(prepare)阶段和提交(commit)阶段。具体的，如图2所示，以业务节点发送的事务包括的事务请求为写请求为例，prepare阶段包括：

a，协调者节点接收业务节点发送的事务之后，将该事务中包括的一个或者多个写请求转发给每个写请求中请求操作的数据分区所属的参与者节点。图2中以参与者节点1接收第一写请求，参与者节点2接收第二写请求，参与者节点n接收第n写请求为例。

b，各参与者节点接收到写请求之后，执行各自接收的写请求。参与者节点对原始数据执行写请求得到目标数据，但是不用目标数据替换原始数据，仅将目标数据暂时存储。

c，参与者节点向协调者节点发送操作结果，如果参与者节点在步骤b中可以成功根据写请求中请求操作的原始数据得到目标数据，则向协调者节点发送操作成功的操作结果，如果参与者节点在步骤b中不能成功根据写请求中请求操作的原始数据得到目标数据，则向协调者节点发送操作失败的操作结果。图2中以参与者节点1根据第一写请求的执行情况生成第一操作结果，参与者节点2根据第二写请求的执行情况生成第二操作结果，参与者节点Pn根据第n写请求的执行情况生成第n操作结果为例。

commit阶段包括：

d，协调者节点根据各参与者节点发送的操作结果，确定写请求的执行结果，并发送提交(commit)指令或者回滚(rollback)指令给各参与者节点。其中，在每个参与者节点的操作结果均为操作成功的情况下，协调者节点确定写请求的执行结果为执行成功，协调者节点向各个参与者节点发送commit指令。在各个参与者节点的操作结果中有至少一个为操作失败的情况下，协调者节点确定写请求的执行结果为执行失败，协调者节点向各个参与者节点发送rollback指令。图2中以写请求的执行结果为commit指令为例。

e，各参与者节点执行接收的commit指令或者rollback指令。当协调者节点发送的是commit指令时，各个参与者节点执行提交操作，用上述目标数据替换原始数据；当协调者节点发送的是rollback指令时，各个参与者节点执行回滚操作，将上述暂存的目标数据删除。如图3所示，对原始数据A执行写操作后得到的目标数据为B，在接收到commit指令或者rollback指令之前，将目标数据B暂时存储，若参与者节点根据commit指令执行提交操作，则用B替换A，若参与者节点根据rollback指令执行回滚操作，则删除暂存的目标数据B。

f，各参与者节点向协调者节点发送确认消息，确认消息指示提交操作完成或者回滚操作完成。图2中以参与者节点1生成第一确认信息，参与者节点2生成第二确认信息，参与者节点n生成第n确认信息为例。

协调者节点在接收到各参与者节点反馈的确认消息之后，向业务节点返回事务的执行结果。

上面介绍了两阶段提交中协调者与参与者之间的交互过程。基于上述交互过程可知，协调者节点与参与者节点交互次数较多，且交互次数与事务执行时参与者节点的个数相关，事务执行时参与者节点个数越多，交互次数越多，进而导致事务提交的时延较长，事务提交性能下降。

有鉴于此，本申请实施例提供了一种事务处理系统的管理方法。该方法可以由事务处理系统内的节点，例如协调者节点执行。当事务处理系统中还包括路由(router)节点时，该方法还可以由路由节点执行。在一些实现方式中，该方法还可以由事务处理系统以外的节点执行。为了便于描述，本申请实施例将执行事务处理系统的管理方法的节点统称为管理节点。在一些实现方式中，该方法还可以由至少一个管理节点形成的管理集群执行，如此可以提高可用性。

具体地，管理节点获取周期内访问各数据分区组合的事务的个数，，然后根据该周期内访问各数据分区组合的事务的个数，调整所述数据分区在所述多个参与者节点的存储，以减少参与所述事务的参与者节点的个数。如此，可以减少协调者节点与参与者节点的交互次数，降低事务提交的时延，提升事务提交的性能。

为了使得本申请的技术方案更加清楚、易于理解，下面将结合附图对本申请实施例提供的事务处理系统的管理方法进行介绍。

参见图4所示的事务处理系统的管理方法的流程图，该方法包括：

S402：管理节点获取周期内访问各数据分区组合的事务的个数。

具体地，业务节点发送的事务会通过协调者节点下发至相关的参与者节点执行，而参与者节点具有的数据分区的分布情况是已知的，因此，协调者节点可以确定出由该协调者节点下发的事务所访问的数据分区组合。该数据分区组合包括至少一个数据分区。

基于此，协调者节点可以在周期内，每下发一个事务，即对该事务访问的数据分区组合的访问次数执行加一操作，从而获得该周期内访问各数据分区组合的事务的个数。其中，各数据分区组合可以是事务处理系统内的全部数据分区形成的数据分区组合，也可以是部分数据分区形成的数据分区组合。

事务处理系统处理不同事务时的协调者节点可以是不同的。基于此，管理节点可以从各个协调者节点分别获取该周期内访问各数据分区组合的事务的个数，然后对从各个协调者节点获取的事务的个数按照数据分区组合分别进行汇总，从而获得该周期内访问各数据分区组合的事务的个数。

例如，管理节点从协调者节点1获取该周期内访问数据分区组合<P11，P21>的事务的个数为3，访问数据分区组合<P21，P31>的事务的个数为5，从协调者节点2获取访问该周期内数据分区组合<P11，P21>的事务的个数为7，访问数据分区组合<P11，P31>的事务的个数为4，则管理节点按照数据分区组合对事务的个数分别进行汇总，可以得到该周期内访问数据分区组合<P11，P21>的事务的个数为3+7＝10，访问数据分区组合<P21，P31>的事务的个数为5+0＝5，访问数据分区组合<P11，P31>的事务的个数为4+0＝4。

当事务处理系统针对数据分区创建有分区视图(partition view)时，管理节点可以通过视图管理器(view manager，ViewMgr)获取周期内访问各数据分区组合的事务的个数。

其中，分区视图是一种由查询语句组成的虚拟数据表。从事务处理系统内部的角度，分区视图由一张或多张数据表中的数据组成，从事务处理系统外部的角度，分区视图如同一张数据表。对数据表的一般操作如查询、插入、修改、删除操作均可作用于分区视图。分区视图隐藏了底层的数据表结构，简化了数据访问操作，提供了查看数据的另一种入口，由于不会授予用户访问底层数据表的权限，因而提高了安全性。视图管理器具体是对分区视图进行管理的工具。

在一些实现方式中，管理节点为事务处理系统中的节点。例如，如图5所示，管理节点可以为事务处理系统中的协调者节点。视图管理器可以部署于该协调者节点中。在图5所示的示例中，事务处理系统采用计算与存储分离的架构，在该架构下，业务节点与数据仅是逻辑上的持有关系，数据存储在共享的存储层中。存储层中包括多个数据分区，例如数据分区1至n，参与者节点1至x与数据分区1至n具有逻辑映射关系。每个参与者节点在接收到事务请求时，访问具有逻辑映射关系的数据分区执行事务请求。由于对数据表的一般操作均可作用于分区视图，因此，每个参与者节点可以通过对分区视图执行查询、插入、修改、删除等操作，以执行事务请求。协调者节点可以根据执行事务时请求操作的数据分区组合，记录访问数据分区组合的事务的个数。

视图管理器可以主动从各协调者节点获取周期内访问各数据分区组合的事务的个数，或者是接收各协调者节点上报的周期内访问至少一个数据分区组合的事务的个数。接着，视图管理器按照数据分区组合对从各协调者节点获取的数据进行汇总，从而得到周期内访问各数据分区组合的事务的个数。

在另一些实现方式中，事务处理系统还可以包括路由节点。针对事务请求中的读请求，路由节点直接将该读请求发送至对应的参与者节点，针对事务请求中的写请求，路由节点将该写请求发送至协调者节点，然后再由协调者节点发送至对应的参与者节点，从而实现读写分离。

如图6所示，管理节点可以是事务处理系统中的路由节点。视图管理器可以部署于该路由节点中。视图管理器从各个协调者节点获取周期内访问各数据分区组合的事务的个数，然后按照数据分区组合对事务的个数分别进行汇总。

在另一些实现方式中，管理节点还可以是事务处理系统外的节点。该管理节点可以是管理集群中的节点。如图7所示，视图管理器部署于事务处理系统外的管理节点中。视图管理器与事务处理系统中的协调者节点通信，从各协调者节点获取周期内访问各数据分区组合的事务的个数，然后按照数据分区组合对事务的个数分别进行汇总。

周期可以根据实际业务需求而设定。例如，周期可以设置为1分钟、1天、1周等等。视图管理器获取的访问数据分区组合的事务个数可以通过{<partitions_related>,txnCnt}进行表示。其中，<partitions_related>表示事务访问的数据分区组合，txnCnt表示访问数据分区组合的事务的个数。例如，{<Px,Py,…>,xx}表示该周期内共有xx个事务访问了<Px,Py,…>。

S404：管理节点根据周期内访问各数据分区组合的事务的个数调整所述数据分区在所述多个参与者节点的存储。

访问各数据分区组合的事务的个数可以反映数据分区组合中数据分区的亲和性。亲和性是一种衡量数据分区亲疏性的指标。亲和性越高，数据分区组合中的数据分区越可能同时被访问，亲和性越低，数据分区组合中的数据分区越不可能同时被访问。基于此，管理节点可以根据访问数据分区组合的事务的个数调整数据分区在参与者节点的存储，从而减少参与事务的参与者节点的数量。

具体地，管理节点根据所述周期内访问各数据分区组合的事务的个数，确定目标数据分区组合，然后将所述目标数据分区组合中的数据分区由N个参与者节点迁移至M个参与者节点，其中，N大于M。

目标数据分区组合可以是所述周期内访问的数据分区组合中的一个或多个。具体地，当所述周期内访问数据分区组合的事务的个数达到预设数量时，管理节点可以将该数据分区组合确定为目标数据分区组合。在一些实现方式中，管理节点还可以确定所述周期内访问数据分区组合的事务的个数相对于访问各数据分区组合的事务的总数的占比，当该占比大于预设比例时，则将该数据分区组合确定为目标数据分区组合。

目标数据分区组合也可以是所述周期内访问的数据分区组合的子组合中的一个或多个。具体地，所述周期内访问子组合的事务的个数达到预设数量时，管理节点可以将该子组合确定为目标数据分区组合。在一些实现方式中，管理节点还可以确定周期内访问子组合的事务的个数相对于访问各数据分区组合的事务的总数的占比，当该占比大于预设比例时，将该数据分区组合确定为目标数据分区组合。

为了便于理解，下面结合具体示例对确定目标数据分区组合的过程进行说明。例如访问数据分区组合<P1,P2,P5>的事务的个数达到10个，可以将<P1,P2,P5>确定为目标数据分区组合。又例如访问数据分区组合<P1,P2,P5>的事务的个数为6个，访问数据分区组合<P1,P2,P4>的事务的个数为4个，由此可见，访问子组合<P1,P2>的事务的个数为6＝4＝10个，可以将<P1,P2>确定为目标数据分区组合。

在一些实现方式中，管理节点可以将目标数据分区组合中的数据分区由N个参与者节点迁移至一个参与者节点，如此，能够较大幅度地减少参与事务的参与者节点的数量，从而减少协调者节点与参与者节点交互的次数，降低事务提交的延时，提升事务提交的性能。

当然，考虑到节点如果出现过载，将导致性能下降的情况，管理节点还可以根据所述周期内访问各数据分区组合的事务的个数和参与者节点的负载，结合负载均衡策略调整所述数据分区在参与者节点的存储。具体地，管理节点可以获取各参与者节点的负载，然后将目标数据分区组合中的各数据分区由N个参与者节点迁移至M个负载较小的参与者节点。为了减少迁移操作产生的开销，管理节点可以将目标数据分区组合中的各数据分区由N个参与者节点迁移至这N个节点中的M个负载较小的参与者节点。

为了便于理解，下面结合一具体示例进行说明。

如图8所示，当前数据分区的分布情况为，参与者节点1存储有数据分区P0、P3，参与者节点2存储有数据分区P1、P6，参与者节点3存储有数据分区P2、P4，参与者节点4存储有数据分区P5。管理节点根据访问各数据分区组合的事务的个数确定目标数据分区组合{P1，P2，P5}，然后考虑到参与者节点4的负载较小，管理节点将数据分区P1由参与者节点2迁移至参与者节点4，将数据分区P2由参与者节点3迁移至参与者节点4，如此，数据分区P1、P2、P5位于同一参与者节点，即参与者节点4。事务处理系统处理事务时，协调者节点仅与参与者节点4交互，减少了协调者节点与参与者节点的交互次数，降低事务提交的延时，提升事务提交的性能。

进一步地，当事务处理系统采用计算和存储分离的架构时，由于参与者节点和数据分区是逻辑映射关系，因此，管理节点可以修改该逻辑映射关系，从而实现数据分区在参与者节点之间的迁移。如此，降低了迁移成本。

在图4所示实施例中，管理节点可以在周期内，采集访问各数据分区组合的事务的个数，以便基于该实时采集的、访问各数据分区组合的事务的个数调整数据分区在参与者节点的存储，使得一起参与事务的数据分区能够在同一节点，减少事务执行时参与者节点的个数，从而减少2PC中的交互次数，提高事务提交效率。

考虑到一些业务访问的数据具有特定的规律，管理节点还可以利用该特定的规律预测周期内访问各数据分区组合的事务的个数。具体地，一些业务访问的数据具有季节性趋势，其中，季节性是指以固定时间段重复的模式，具体可以表现为在相同时间段呈现相同的变化方向和大致相同的变化幅度，趋势是指指标的基本走势。例如，一个网站在周末具有更高的访问量，如此，访问数据呈现以7天为一个周期的季节性趋势。又例如，一个公司的员工总是在上午8点至9点刷上班卡，在下午5点至6点刷下班卡，如此，刷卡时间呈现一天为一个周期的季节性趋势。

基于此，管理节点可以获取历史周期内访问各数据分区组合的事务的个数，然后根据历史周期内访问各数据分区组合的事务的个数，预测所述周期内访问各数据分区组合的事务的个数。例如，管理节点可以获取昨天的刷卡时间，基于昨天的刷卡时间预测今天的刷卡时间。如此，管理节点可以根据预测结果，提前进行数据分区迁移，从而减少事务执行时的参与者节点个数，提高事务的提交效率，提高吞吐量。

在一些实现方式中，管理节点可以利用至少一种模型预测所述周期内访问各数据分区组合的事务的个数。根据业务场景不同，管理节点可以采用不同的模型，预测所述周期内访问各数据分区组合的事务的个数。

例如，针对销售额预测、交通流量预测、医院患者人数预测场景等业务场景，管理节点可以根据历史周期内访问各数据分区组合的事务的个数，采用差分自回归移动平均(autoregressive integrated moving average model，ARIMA)模型预测所述周期内访问各数据分区组合的事务的个数。

又例如，针对股票波动预测、工厂生产预测等业务场景，管理节点可以根据历史周期内访问各数据分区组合的事务的个数，采用指数平滑模型预测所述周期内访问各数据分区组合的事务的个数。当然，针对销售额预测的业务场景，管理节点也可以采用指数平滑模型进行预测。在利用指数平滑模型进行预测时，管理节点可以根据历史周期内访问各数据分区组合的事务的个数绘制相应的曲线，然后利用一次指数平滑预测法或者二次指数平滑预测法等指数平滑模型预测所述周期内访问各数据分区组合的事务的个数。

针对销售额预测，以及间歇式产品销售预测等业务场景，管理节点还可以根据历史周期内访问各数据分区组合的事务的个数，采用非参数时间序列(non parametric timeseries，NPTS)模型预测所述周期内访问各数据分区组合的事务的个数。需要说明的是，管理节点还可以采用NPTS相关变体模型预测所述周期内访问各数据分区组合的事务的个数。

针对气候预测、节假日流量预测、交易数据预测等业务场景，管理节点还可以根据历史周期内访问各数据分区组合的事务的个数，采用先知(prophet)模型预测所述周期内访问各数据分区组合的事务的个数。

针对气候预测、商店访问量预测、商品促销预测、销售额预测，管理节点还可以根据历史周期内访问各数据分区组合的事务的个数，采用基于深度学习的时间序列模型(deep AR)预测所述周期内访问各数据分区组合的事务的个数。

在获得所述周期内访问各数据分区组合的事务的个数后，管理节点可以将各个分区作为事务分区图的一个顶点，当两个分区同时出现在partitions_related字段中时，则为其添加一条边，边的权重为txncnt，针对已存在的边则在已有权重基础上进行累加，从而生成事务分区图。图9示出了事务分区图的一个示例。

接着，管理节点遍历事务分区图，选出权重超过预设阈值(预设数量或预设比例)的边。例如，权重/事务的总数≥P，则该条边被选中，该条边上的两个结点(即两个partition)的亲和性满足要求，管理节点将该条边上的两个partition迁移至同一个结点上。

如上图所示的示例：假设预设阈值为50％，该统计周期内事务处理系统执行了20个事务，p1和p2共同参与了17个，p1和p5共同参与了13个，p2和p5共同参与了10个，则按照上述逻辑，p1，p2，p5三个partition应该迁移至同一节点。基于各参与者节点的负载等情况，管理节点可以决策将p1，p2，p5迁移至某一节点。

上文中结合图1至图9，详细描述了本申请所提供的事务处理系统的管理方法，下面将结合附图，描述根据本申请所提供的装置和设备。

参见图10所示的事务处理系统的管理装置的结构示意图，所述事务处理系统包括多个参与者节点，每个参与者节点存储有数据分区，每个参与者节点用于处理多个事务，其中，每个事务访问的数据分区组合包括至少一个数据分区；所述装置1000包括：

通信模块1002，用于获取周期内访问各数据分区组合的事务的个数；

管理模块1004，用于根据所述周期内访问各数据分区组合的事务的个数，调整所述数据分区在所述多个参与者节点的存储。

在一些实现方式中，所述装置1000还包括：

采集模块1006，用于在所述周期内，采集访问各数据分区组合的事务的个数。

在一些实现方式中，所述通信模块1002具体用于：

获取历史周期内访问各数据分区组合的事务的个数；

所述装置1000还包括：

预测模块1008，用于根据所述历史周期内访问各数据分区组合的事务的个数，预测所述周期内访问各数据分区组合的事务的个数。

在一些实现方式中，所述管理模块1004具体用于：

根据所述周期内访问各数据分区组合的事务的个数，确定目标数据分区组合；

将所述目标数据分区组合中的数据分区由N个参与者节点迁移至M个参与者节点，所述N大于所述M。

在一些实现方式中，所述管理模块1004具体用于：

根据所述周期内访问各数据分区组合的事务的个数以及所述参与者节点的负载，调整所述数据分区在所述多个参与者节点的存储。

根据本申请实施例事务处理系统的管理装置1000可对应于执行本申请实施例中描述的方法，并且事务处理系统的管理装置1000的各个模块的上述和其它操作和/或功能分别为了实现图4中的各个方法的相应流程，为了简洁，在此不再赘述。

上述事务处理系统的管理装置1000可以部署在协调者节点、路由节点或者事务处理系统以外的节点中。实现事务处理系统的管理装置1000的上述节点也称作管理节点。管理节点可以物理设备，也可以是物理设备上的虚拟机、容器等。

本申请实施例还提供了一种物理设备(下文简称为设备)。图11提供了一种设备的结构示意图，如图11所述，设备用于实现上述事务处理系统的管理装置1000的功能。设备1100包括总线1101、处理器1102、通信接口1103和存储器1104。处理器1102、存储器1104和通信接口1103之间通过总线1101通信。总线1101可以是外设部件互连标准(peripheralcomponent interconnect，PCI)总线或扩展工业标准结构(extended industry standardarchitecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图11中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口1103用于与外部通信，例如，获取周期内访问各数据分区组合的事务的个数。

其中，处理器1102可以为中央处理器(central processing unit，CPU)。存储器1104可以包括易失性存储器(volatile memory)，例如随机存取存储器(random accessmemory，RAM)。存储器1104还可以包括非易失性存储器(non-volatile memory)，例如只读存储器(read-only memory，ROM)，快闪存储器，HDD或SSD。

存储器1104中存储有可执行代码，处理器1102执行该可执行代码以执行前述事务处理系统的管理方法。

具体地，在实现图10所示实施例的情况下，且图10实施例中所描述的事务处理系统的管理装置1000的各模块为通过软件实现的情况下，执行图10中的管理模块1004、采集模块1006、预测模块1008功能所需的软件或程序代码存储在存储器1104中。通信模块1002功能可以通过通信接口1103实现。

处理器1102可以执行采集模块1006对应的程序代码，以在所述周期内采集访问各数据分区组合的事务的个数，通信接口1103获取所述周期内访问各数据分区组合的事务的个数，通过总线1101传输至处理器1102。处理器1102执行管理模块1004对应的程序代码，以根据所述周期内访问各数据分区组合的事务的个数，调整所述数据分区在所述多个参与者节点的存储。

在一些实现方式中，通信接口1103也可以获取历史周期内访问各数据分区组合的事务的个数，通过总线1101传输至处理器1102，处理器1102执行预测模块1008对应的程序代码，根据所述历史周期内访问各数据分区组合的事务的个数，预测所述周期内访问各数据分区组合的事务的个数。然后处理器1102执行管理模块1004对应的程序代码，以根据预测所得的所述周期内访问各数据分区组合的事务的个数，提前调整所述数据分区在所述多个参与者节点的存储。

本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质包括指令，当其在计算机上运行时，使得计算机执行上述应用于事务处理系统的管理装置1000的事务处理系统的管理方法。

本申请实施例还提供了一种计算机程序产品，所述计算机程序产品被计算机执行时，所述计算机执行前述事务处理系统的管理方法的任一方法。该计算机程序产品可以为一个软件安装包，在需要使用前述事务处理系统的管理方法的任一方法的情况下，可以下载该计算机程序产品并在计算机上执行该计算机程序产品。

另外需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本申请提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本申请而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘、U盘、移动硬盘、ROM、RAM、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，训练设备，或者网络设备等)执行本申请各个实施例所述的方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。

所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、训练设备或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、训练设备或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的训练设备、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(Solid State Disk，SSD))等。

Claims (12)

1.一种事务处理系统的管理方法，其特征在于，所述事务处理系统包括多个参与者节点，每个参与者节点存储有数据分区，每个参与者节点用于处理多个事务，其中，每个事务访问的数据分区组合包括至少一个数据分区；所述方法包括：

获取周期内访问各数据分区组合的事务的个数；

根据所述周期内访问各数据分区组合的事务的个数，调整所述数据分区在所述多个参与者节点的存储。

2.根据权利要求1所述的方法，其特征在于，所述获取周期内访问各数据分区组合的事务的个数，包括：

在所述周期内，采集访问各数据分区组合的事务的个数。

3.根据权利要求1所述的方法，其特征在于，所述获取周期内访问各数据分区组合的事务的个数，包括：

获取历史周期内访问各数据分区组合的事务的个数；

根据所述历史周期内访问各数据分区组合的事务的个数，预测所述周期内访问各数据分区组合的事务的个数。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述根据所述周期内访问各数据分区组合的事务的个数，调整所述数据分区在所述多个参与者节点的存储，包括：

根据所述周期内访问各数据分区组合的事务的个数，确定目标数据分区组合；

将所述目标数据分区组合中的数据分区由N个参与者节点迁移至M个参与者节点，所述N大于所述M。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述根据所述周期内访问各数据分区组合的事务的个数，调整所述数据分区在所述多个参与者节点的存储，包括：

根据所述周期内访问各数据分区组合的事务的个数以及所述参与者节点的负载，调整所述数据分区在所述多个参与者节点的存储。

6.一种事务处理系统的管理装置，其特征在于，所述事务处理系统包括多个参与者节点，每个参与者节点存储有数据分区，每个参与者节点用于处理多个事务，其中，每个事务访问的数据分区组合包括至少一个数据分区；所述装置包括：

通信模块，用于获取周期内访问各数据分区组合的事务的个数；

管理模块，用于根据所述周期内访问各数据分区组合的事务的个数，调整所述数据分区在所述多个参与者节点的存储。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

采集模块，用于在所述周期内，采集访问各数据分区组合的事务的个数。

8.根据权利要求6所述的装置，其特征在于，所述通信模块具体用于：

获取历史周期内访问各数据分区组合的事务的个数；

所述装置还包括：

预测模块，用于根据所述历史周期内访问各数据分区组合的事务的个数，预测所述周期内访问各数据分区组合的事务的个数。

9.根据权利要求6至8任一项所述的装置，其特征在于，所述管理模块具体用于：

根据所述周期内访问各数据分区组合的事务的个数，确定目标数据分区组合；

将所述目标数据分区组合中的数据分区由N个参与者节点迁移至M个参与者节点，所述N大于所述M。

10.根据权利要求6至9任一项所述的装置，其特征在于，所述管理模块具体用于：

根据所述周期内访问各数据分区组合的事务的个数以及所述参与者节点的负载，调整所述数据分区在所述多个参与者节点的存储。

11.一种设备，其特征在于，所述设备包括处理器和存储器；

所述处理器用于执行所述存储器中存储的指令，以使得所述设备执行如权利要求1至5中任一项所述的事务处理系统的管理方法。

12.一种计算机可读存储介质，其特征在于，包括指令，当其在设备上运行时，使得设备执行如权利要求1至5中任一项所述的事务处理系统的管理方法。

Images