CN105518664B - 管理数据库节点 - Google Patents

Abstract

一种用于管理数据库节点的方法包括确定数据段在故障节点上。所述数据段由查询计划的操作引用。所述方法包括基于分割环、所述数据段的好友节点、多个其余的操作节点、以及预定的选择参数来选择牺牲节点。所述方法包括：生成查询计划，使得所述牺牲节点执行从所述牺牲节点上的好友投影访问所述数据段的操作、以及访问所述牺牲节点的主投影的数据段的操作的双重职责。

Description

管理数据库节点

背景技术

在并发执行环境中，在大规模并行处理系统上处理数据库查询。在这样的环境中，多个数据库节点托管多个数据库的多个表，等等。投影是数据库表的所有数据的物理存储。投影包括分布于多个节点的多个段。段是数据的部分，通常由表中的列值规定。

通常，节点存储主投影和用于故障容错的好友投影的数据段。以此方式，如果节点出故障，可从集群中的另一个节点(作为备份的好友节点)获得停机节点上的数据段的复制。如此，当所有节点开机时，查询执行可使用所有可用资源。此外，当一个或多个节点停机时，一个或多个节点可承担双重职责：服务其自身的请求以及故障节点的请求。事实上，如果其存储器或其他资源耗尽，则由于节点正执行双重职责，好友节点会成为牺牲节点。在一个示例的环境中，期望的吞吐量下降大约N倍，其中N是同时进行的查询的总数。

附图说明

在下面的详细描述中且参照多个图描述一些示例，图中：

图1是根据示例的可用于管理数据库节点的示例数据库管理系统(DBMS)的框图；

图2是根据示例的示例分割环的框图；

图3是根据示例的示例分割环的框图；

图4是根据示例的用于管理数据库节点的示例方法的过程流程图；

图5是根据示例的可用于管理数据库节点的示例系统的框图；以及

图6是根据示例的示出存储适用于管理数据库节点的代码的示例有形的、非暂时性机器可读介质的框图。

具体实施方式

通常用结构化查询语言(例如，SQL)表达数据库查询。SQL是在关系型数据库管理系统(RDBMS)中管理数据的编程语言。SQL包括数据定义语言和数据操纵语言。SQL的范围包括数据插入、查询、更新和删除，模式创建和修改，以及数据访问控制。查询指定待访问的表、列，以及用于选择表中的行的谓词。

图1是根据示例的适用于管理数据库节点的DBMS 100的框图。DBMS 100包括控制组织及其终端用户对数据库102的创建、维护、以及使用的计算机程序。DBMS 100包括数据库102、优化器104、以及牺牲器105。查询针对典型的关系型DBMS的特定数据库102进行，数据库102包括被组织成表、行、和列的数据。

优化器104可为生成每个查询的查询计划(未示出)的软件。查询计划描述处理查询的数据的特定算法，以及数据所位于的位置。在执行查询之前，优化器104识别待查询的特定数据驻留在哪。

优化器104在执行前编译每个查询。这使得优化器104能够确定托管特定数据段的数据库节点是否停机。如本文所用的，术语“停机节点”指已出故障或在某种程度上不能操作的节点。数据段是数据库102中的数据的特定部分。如果托管数据段的节点停机，优化器104尝试用好友节点替代停机节点的引用。好友节点是也托管数据段的备份节点。好友节点具有与停机节点上的数据段相同的数据段。在每个节点及对应的好友节点上以同样的方式分割数据段。注意到，还可使用段组。段组包括多个数据段。

在一个示例中，分割投影，使得每个节点具有一个或多个本地段。以此方式，如果存在单个的停机节点，则牺牲器106选择多个牺牲节点，每个仅承担一点工作，而不是一个牺牲节点承担故障节点上的每个段的双重职责。例如，如果每个节点具有四个本地段，可选择四个牺牲节点，其中每个节点执行五个段的工作价值。

投影设计108识别数据库表中的每个数据段的主投影以及好友投影。在一个节点上托管主投影的数据段，且在另一个节点上托管属于好友投影的数据段的副本。在投影的上下文中，标记主和好友是相对于访问属于这些投影的段的查询计划的。例如，对于给定的表t，优化器可选择投影p1为一些查询的主，而选择投影p2为其他查询的主。对于给定的表t，优化器104可选择主投影p1为一些查询的主，且在托管属于p1的段的节点出故障的事件中，优化器104可选择好友投影p2。

图2是根据示例的示例分割环200的框图。使用投影设计202表示分割环200。投影设计202表示为每个节点204示出的数据。环200包括通过网络206通信的数据库节点204。根据投影设计202，每个节点204规定节点号、主投影以及好友投影。例如，分割环200图示出节点1托管数据段1的主投影以及数据段8的好友投影。

优化器104用好友节点上对应的好友投影替换故障节点204的主投影。在一个实施例中，如果好友节点开机，牺牲器106向分割环200中的下一个节点204传送双重任务责任。例如，如果节点5停机，则不能从主投影获得段5。如此，从节点6上的好友投影访问段5。通常，选择节点6为牺牲节点。但是，在示例中，通过使用段6的备份投影替代主投影，节点7能够成为牺牲。可环绕该环传送这样的“推卸责任”，直至到达停机节点。在上面的示例中，可选择除了节点5之外的任何节点作为牺牲节点。

如果存在许多并发会话，可在其余的开机节点中随机选择牺牲节点。如本文所用的，术语“开机节点”指可操作的节点。以此方式，由于针对停机节点中的每个独立选择了单个好友投影，可改善集群上期望的吞吐量。注意到，图2仅表示分割环的一个可能的配置，且各种其他的配置是可能的。

在示例中，以此方式为节点停机故障管理数据库节点，改善了期望的吞吐量，使得如果存在m个并发的执行线程，且停机节点的可能牺牲列表具有长度v，则每个节点平均具有m+ceiling(m/v)个段(ceiling：向上舍入)，而不是像传统方法那样具有2m个段。如果数据库节点204中的每个在每个段中分别包含相似的数据量，则性能大概改善2m/(m+m/v)倍。对于1个节点停机，v是N-1，其中N是集群中的总节点。如此，可实现2m/(m+(m/(N-1)))倍，对于N＝40且m＝60，是1.96。对于两个出故障的节点停机，两个列表中更短的长度是v＝((m-d)/d)/2，且因此，可实现2m/(m+(m/(((m-d)/d)/2)))＝1.84倍。一般来说，停机节点的特定模式对应于可能牺牲列表的集合，且相对于之前方法的期望的性能改善是2m/(m+ceiling(m/v))倍，其中v是最短的可能牺牲列表的长度。这是不考虑其他因素的影响的长期平均，例如，缓冲区缓存的退化性能、由于更好的存储器利用而产生的改善性能、以及较少的I/O冲突。

在示例中，牺牲器106识别所选择好友策略的好友路径的可能牺牲节点204的集合。节点204包括按照好友路径的分割环200顺序的任意开机节点序列，始于满足停机节点的最小成本好友节点。由于可选择此集合中的任意节点来执行双重职责，因此这是“可能牺牲节点”的集合。分割环200上相邻停机节点之间的子序列中的每个定义可能牺牲节点的序列。

存在随机选择双重职责节点的几个好处。更多的节点涉及到承担停机节点的额外工作。由于工作随机分布于所有开机节点，因此响应时间比相同节点承担所有查询的额外工作的之前方法更快。用户并发运行查询增加了吞吐量。

图3是示例分割环300的框图。在分割环300中，投影设计302表示每个数据段。投影设计302规定数据段号、主路径、以及好友路径。主路径规定托管段n的主投影的节点。类似地，好友路径规定了托管段n的好友投影的节点。根据分割环300，如果节点4停机，则数据段4的主投影不可用。因此，使用(托管段4的好友投影的)节点2。

在示例中，牺牲器106构造将主投影节点映射到段组号的映射(本文称作主段)。可能牺牲节点的序列始于主投影上停机节点的段，其为4。应用以下序列，继续到但不包括停机的或在伪代码1中出现的下一节点：

primaryNodeInactive.:while(！isNodeDown(curNode)&&

！primaryNodeInactive.find(curNode)){

potentialVictimNodesList.insert(curNode)；curNode＝

buddyNode[curSegment]；/*n2*/curSegment＝

primarySegment[curNode]；/*segment 1*/}

伪代码1

如果节点N开机，isNodeDown(N)函数返回真，否则返回假。如果curNode存在于primaryNodeInactive列表中，primaryNodeInactive.find(curNode)返回真。primaryNodeInactive列表包括不从主投影访问任何数据段的所有开机节点。因此，primaryNodeInactive列表可包括替代从好友投影访问数据段的开机节点。一旦获取potentialVictimNodesList，可选择基于随机数的牺牲节点。buddyNode()是索引表示数据段号的矢量。buddyNode(索引)表示托管段号(“索引”)的节点。

假设potentialVictimNodes的长度为M。在1和M之间的均匀分布的随机整数m被生成，且包括potentialVictimNodes的第一m个表项。此外，将位置1到(m-1)处的节点插入primaryNodeInactive中，用于指定主投影在那些节点上是不活跃的，如伪代码2中示出的。一旦获取primaryNodeInactive的列表，可将各节点标记为对于主投影“不在使用中”。

VictimNodeIndex＝(_randomValue％

potentialVictimNodes.size())；

priorNode＝buddyNode；

for(int i＝0；i<＝victimNodeIndex；i++)

{

currentNode＝_potentialVictimNodes[i]；

primaryNodeInactive.insert(priorNode)；

priorNode＝currentNode；

}

伪代码2

图4是根据示例的用于管理数据库节点的示例方法400的过程流程图。方法400始于框402，在框402处，优化器确定查询计划的操作所引用的数据段的主投影在停机节点上。如此，生成查询计划，使得操作从数据段的好友节点访问数据段。

在框404处，基于分割环、数据段的好友节点、其余的开机节点以及预定的选择参数来选择牺牲节点。如之前所述的，预定的选择参数可为轮询技术、随机选择、基于资源管理的，等等。

在框406处，生成查询计划使得牺牲节点执行双重职责。如果查询计划包括访问牺牲节点的主投影的数据段的操作，以及访问牺牲节点的好友节点的数据段的操作，则在框406处，牺牲节点执行双重职责。

图5是根据实施例的可用于管理数据库节点的示例系统500的框图。图5中示出的功能块和设备可包括包含电路的硬件元件、包含存储在有形的非暂时性机器可读介质上的计算机代码的软件元件、或硬件元件和软件元件的组合。此外，系统500的功能块和设备可以是可在示例中实现的功能块和设备的一个示例。系统500可包括任意数量的计算设备，例如，电话、个人数字助理(PDA)、计算机、服务器、便携式电脑、或其他计算设备。

示例系统500可包括具有通过总线513连接至显示器514、键盘516、以及输入设备518(例如，鼠标、触摸屏等)的一个或多个处理器512的数据库节点502。数据库节点502还可包括有形的计算机可读介质，用于存储操作软件和数据，例如硬盘或存储器522。硬盘可包括硬盘阵列、光驱、光驱阵列、闪存驱动、等等。存储器522可用于存储程序、数据、以及操作软件，且可包括例如BIOS(未示出)。

存储器522包括优化器528和牺牲器524。数据库节点502可通过总线513连接至网络接口卡(NIC)526。NIC 526可将数据库节点502连接至网络530。网络530可为局域网(LAN)、广域网(WAN)或其他网络配置。网络530可包括路由器、交换机、调制解调器、或用于互连的任意其他种类的接口设备。此外，网络530可包括互联网或企业网络。数据库节点502可通过网络530与一个或多个远程计算机504通信。通过网络530，几个客户端计算机504可连接至数据库节点502。除了DBMS的存储外，客户端计算机504可与数据库节点502类似地构造。在示例性实施例中，客户端计算机504可用于向数据库节点502提交查询，以供DBMS优化。

图6是示出存储适用于管理数据库节点的计算机实现的指令的示例有形的非暂时性机器可读介质600的框图。机器可读介质通常由参考数字600引用。机器可读介质600可与存储计算机实现的指令(例如，程序代码，等等)的任意典型的存储设备对应。此外，机器可读介质600可包括在图5中示出的储存器522中。当由处理器602读取和执行时，存储在机器可读介质600上的指令适用于使处理器602处理优化器528的指令606、608和610。优化器528确定查询计划的操作所引用的数据段的主投影在停机节点上。优化器528基于分割环、数据段的好友节点、其余开机节点以及预定的选择参数来选择牺牲节点。优化器528生成查询计划，使得牺牲节点执行双重职责。

Claims (19)

1.一种用于管理数据库节点的方法，所述方法包括：

确定段组在故障节点上，所述段组包括多个段；

基于分割环、托管所述段的属于好友投影的副本的好友节点、多个其余的操作节点、以及预定的选择参数，来选择多个牺牲节点；以及

生成查询计划，使得所述牺牲节点执行从所述牺牲节点上的好友投影访问所述段的操作、以及访问所述牺牲节点的主投影的数据段的操作的双重职责，

其中所述分割环包括通过网络通信的数据库节点，并且所述牺牲节点是存储器或其他资源耗尽情况下的好友节点。

2.根据权利要求1所述的方法，所述段包括在故障节点上托管的段组，且所述预定的选择参数包括所述牺牲节点的工作负载均衡。

3.根据权利要求2所述的方法，其中所述工作负载均衡包括在所述故障节点出故障时执行的工作、以及所述段组的在所述出故障时由所述故障节点执行的工作。

4.根据权利要求1所述的方法，所述数据库节点中的每个包括投影的至少一个段。

5.根据权利要求1所述的方法，所述数据库节点中的每个包括投影的至少一个段组。

6.根据权利要求1所述的方法，所述预定的选择参数为轮询选择。

7.根据权利要求1所述的方法，所述预定的选择参数为随机选择。

8.根据权利要求1所述的方法，所述预定的选择参数基于所述其余的操作节点的资源参数。

9.一种系统，包括：

多个数据库节点；且

数据库节点包括：

处理器，适于执行所存储的指令；以及

存储指令的存储器设备，所述存储器设备包括：

用于确定多个段组在多个故障节点上的计算机实现的指令，所述段组包括多个段；

用于基于分割环、托管所述段的属于好友投影的副本的好友节点、多个其余的操作节点、以及预定的选择参数来选择多个牺牲节点的计算机实现的指令；以及

用于生成查询计划使得所述牺牲节点执行从所述牺牲节点上的好友投影访问所述段的操作、以及访问所述牺牲节点的主投影的数据段的操作的双重职责的计算机实现的指令，

其中所述分割环包括通过网络通信的数据库节点，并且所述牺牲节点是存储器或其他资源耗尽情况下的好友节点。

10.根据权利要求9所述的系统，所述预定的选择参数包括所述牺牲节点的工作负载均衡。

11.根据权利要求10所述的系统，所述工作负载均衡包括在所述故障节点中的一个故障节点出故障时由所述牺牲节点执行的工作、以及所述段组的在所述一个故障节点出故障时由所述故障节点执行的工作。

12.根据权利要求9所述的系统，所述数据库节点中的每个包括投影的至少一个段。

13.根据权利要求9所述的系统，所述数据库节点中的每个包括投影的至少一个段组。

14.根据权利要求9所述的系统，所述预定的选择参数为轮询选择和随机选择中所选择的一个，或者基于所述其余的操作节点的资源参数。

15.一种有形的非暂时性机器可读介质，该介质存储能由处理器执行用于管理数据库节点的机器可读指令，所述有形的非暂时性机器可读介质包括：

由所述处理器执行时确定多个段组在多个故障节点上的机器可读指令，所述段组包括多个段；

由所述处理器执行时基于分割环、托管所述段的属于好友投影的副本的好友节点、多个其余的操作节点、以及预定的选择参数来选择多个牺牲节点的机器可读指令；以及

由所述处理器执行时生成查询计划，使得所述牺牲节点执行从所述牺牲节点上的好友投影访问所述段的操作、以及访问所述牺牲节点的主投影的数据段的操作的双重职责的机器可读指令，

其中所述分割环包括通过网络通信的数据库节点，并且所述牺牲节点是存储器或其他资源耗尽情况下的好友节点。

16.根据权利要求15所述的介质，所述预定的选择参数包括所述牺牲节点的工作负载均衡。

17.根据权利要求16所述的介质，所述工作负载均衡包括在所述故障节点中的一个故障节点出故障时由所述牺牲节点执行的工作、以及所述段组的在所述一个故障节点出故障时由所述故障节点执行的工作。

18.根据权利要求15所述的介质，所述数据库节点中的每个包括投影的至少一个段。

19.根据权利要求15所述的介质，所述数据库节点中的每个包括投影的至少一个段组。