CN102129442B - 一种分布式数据库系统和数据访问方法 - Google Patents

Abstract

本发明实施例提供了一种分布式数据库系统，包括存储节点；访问控制装置，用于接收访问请求，提取访问请求中包含的记录标识，在存储对照表中查找记录标识对应的存储节点，并更新记录标识所属数据记录的访问次数，以及根据记录标识从存储节点获取对应的数据记录并返回；转存装置用于根据存储对照表中记录的存储节点所对应的各数据记录所属数据记录的访问次数确定访问次数，在根据存储节点的访问次数通过预先设置的压力算法确定存储节点过负荷时，根据预先设置的转存策略将存储节点的多条数据记录中选择数据记录转存到尚未过负荷的其他存储节点中，并更新存储对照表。本发明还提供了一种数据访问方法。本发明实施例可满足实时数据访问操作的需要。

Description

一种分布式数据库系统和数据访问方法

技术领域

本发明涉及数据库技术，尤其涉及一种分布式数据库系统和数据访问方法。

背景技术

数据库是现代信息系统的基石，其广泛应用在各种计算系统中，用于简化数据的存储和访问。数据库通常使用特定的模型来描述和组织数据。目前常见的数据库是基于关系型数据模型构建的磁盘数据库，这种磁盘数据库可实现通过结构化查询语言统一对数据进行增加、删除、修改和查询操作。数据最终被保存到文件系统中。

当今电信运营商之间的竞争日渐加剧。为了能够在竞争中取得优势地位，电信运营商在服务的实时性方面做出了大量的努力，例如购置大量的数据库系统来提高数据的存储访问速度，以支持在线计费、实时营销等实时性应用的需要。然而，随着用户数量的不断增加，这种实时性应用所带来的实时数据访问操作越来越多，现有数据库越来越难以满足这种实时数据访问操作的需要。

发明内容

有鉴于此，实有必要提供一种分布式数据库系统，能够满足大量的实时数据访问操作的需要。

同时，提供一种数据访问方法，能够满足大量的实时数据访问操作的需要。

一种分布式数据库系统，包括：

多个存储节点，每一存储节点用于存储多条数据记录，每一数据记录由所述数据记录的记录标识唯一标识；

访问控制装置，存储有存储对照表，所述存储对照表中记录有记录标识与存储所述记录标识所属数据记录的存储节点之间的对应关系以及每一记录标识所属数据记录的访问次数；所述访问控制装置用于接收访问请求，提取所述访问请求中包含的记录标识，在所述存储对照表中查找所述记录标识对应的存储节点，并更新所述记录标识所属数据记录的访问次数，以及根据所述记录标识从所述存储节点获取对应的数据记录，并返回所述数据记录；

转存装置，用于根据所述存储对照表中记录的每一存储节点所对应的各记录标识所属数据记录的访问次数确定所述存储节点的访问次数，在根据所述存储节点的访问次数通过预先设置的压力算法确定所述存储节点过负荷时，根据预先设置的转存策略从所述存储节点所存储的多条数据记录中选择至少一条数据记录作为待转存数据记录，并从尚未过负荷的存储节点中选择至少一个存储节点作为目标存储节点，将所述待转存数据记录转存到所述目标存储节点中，并更新所述存储对照表，其中，所述压力算法为，持续统计每一存储节点在每一时间周期内的访问次数并计算访问增长速度，在所述访问增长速度超过预设速度阈值时判定所述存储节点过负荷；

所述转存策略为，对于过负荷的存储节点，将该存储节点中访问次数最高的数据记录确定为待转存数据记录，将尚未过负荷的存储节点中访问次数最低的存储节点确定为上述目标存储节点，或者，

所述转存策略为，对于过负荷的存储节点，按照访问次数由高到低的顺序对该存储节点中的数据记录进行排序，将排序在前的多条数据记录确定为待转存数据记录；按照访问次数由低到高的顺序对尚未过负荷的存储节点进行排序，将排序在前的多个存储节点确定为目标存储节点；将所述多条待转存数据记录按照访问次数由高到低的顺序对应存储到按照访问次数由低到高的顺序排序的所述多个目标存储节点中。

一种数据访问方法，应用于分布式数据库系统，所述分布式数据库系统包含多个存储节点，每一存储节点中存储有多条数据记录，每一数据记录由所述数据记录的记录标识唯一标识；所述方法包括：

接收访问请求，提取所述访问请求中包含的记录标识，在存储对照表中查找所述记录标识对应的存储节点，并更新所述记录标识所属数据记录的访问次数，以及根据所述记录标识从所述存储节点获取对应的数据记录，并返回所述数据记录，其中，所述存储对照表中记录有记录标识与存储所述记录标识所属数据记录的存储节点之间的对应关系以及每一记录标识所属数据记录的访问次数；

根据所述存储对照表中记录的每一存储节点所对应的各记录标识所属数据记录的访问次数确定所述存储节点的访问次数，在根据所述存储节点的访问次数通过预先设置的压力算法确定所述存储节点过负荷时，根据预先设置的转存策略从所述存储节点所存储的多条数据记录中选择至少一条数据记录作为待转存数据记录，并从尚未过负荷的存储节点中选择至少一个存储节点作为目标存储节点，将所述待转存数据记录转存到所述目标存储节点中，并更新所述存储对照表，其中，所述压力算法为，持续统计每一存储节点在每一时间周期内的访问次数并计算访问增长速度，在所述访问增长速度超过预设速度阈值时判定所述存储节点过负荷；

所述转存策略为，对于过负荷的存储节点，将该存储节点中访问次数最高的数据记录确定为待转存数据记录，将尚未过负荷的存储节点中访问次数最低的存储节点确定为上述目标存储节点，或者，

所述转存策略为，对于过负荷的存储节点，按照访问次数由高到低的顺序对该存储节点中的数据记录进行排序，将排序在前的多条数据记录确定为待转存数据记录；按照访问次数由低到高的顺序对尚未过负荷的存储节点进行排序，将排序在前的多个存储节点确定为目标存储节点；将所述多条待转存数据记录按照访问次数由高到低的顺序对应存储到按照访问次数由低到高的顺序排序的所述多个目标存储节点中。

本发明实施例依据预先设置的压力算法实时监测存储节点是否过负荷，并在监测到存储节点过负荷时，基于预先设置的转存策略将过负荷存储节点中的至少一部分数据转存到尚未过负荷的存储节点之中的至少一个之中，从而动态调整各存储节点的访问压力，提高整个分布式数据库系统的数据访问效率，满足实时数据访问操作的需要。

附图说明

图1是依据本发明一实施例的分布式数据库系统的逻辑结构框图

图2是依据本发明一实施例的数据访问方法的流程图。

具体实施方式

图1是依据本发明一实施例的分布式数据库系统100的逻辑结构框图。如图1所示，分布式数据库系统100包括多个存储节点102～106、访问控制装置108和转存装置110。

存储节点102～106之中的每一存储节点都存储有多条数据记录，每一数据记录由所述数据记录的记录标识唯一标识。

具体来说，每一存储节点都维护一张存储映射表，所述存储映射表中记录有每条数据记录的记录标识与该数据记录在存储节点中的存储位置之间的对应关系，其中记录标识可唯一标识该记录标识所属的数据记录。在具体实现过程中，当采用数据表来存储数据记录时，存储映射表可采用例如但不限于如下结构：

记录标识	存储位置
		110053	数据表1

表1

如表1所示实例可知，记录标识为110053的数据记录保存在存储节点中存储的数据表1中。

此外，为提高数据存取效率，可使用内存数据库来实现上述存储节点102～106中的至少一个。

应注意，本领域的技术人员应当明白，在具体实现过程中，存储节点的数量可根据需要进行设置，而并非局限于图1中所示的数量。

访问控制装置108中存储有存储对照表，所述存储对照表中记录有记录标识与存储所述记录标识所属数据记录的存储节点之间的对应关系以及每一记录标识所属数据记录的访问次数；访问控制装置108用于接收访问请求，提取所述访问请求中包含的记录标识，在所述存储对照表中查找所述记录标识对应的存储节点并更新所述记录标识所属数据记录的访问次数，以及根据所述记录标识从所述存储节点获取对应的数据记录，并返回所述数据记录；

具体来说，存储对照表可采用例如但不限于如下结构：

记录标识	节点标识	访问次数
			110053	Node1	807
110054	Node1	520
			155068	Node2	1003

表2

不难理解，由于仅仅记录访问次数而不生成完整的访问记录(例如记录数据记录的访问时间等信息)，本发明实施例记录访问次数的操作不会对分布式数据库系统的整体性能产生很大的负面影响。

转存装置110用于根据所述存储对照表中记录的每一存储节点所对应的各记录标识所属数据记录的访问次数确定所述存储节点的访问次数，在根据所述存储节点的访问次数通过预先设置的压力算法确定所述存储节点过负荷时，根据预先设置的转存策略从所述存储节点所存储的多条数据记录中选择至少一条数据记录作为待转存数据记录，并从尚未过负荷的存储节点中选择至少一个存储节点作为目标存储节点，将所述待转存数据记录转存到所述目标存储节点中，并更新所述存储对照表。

具体说来，转存装置110可通过将存储对照表中记录的每一存储节点所对应的各记录标识所属数据记录的访问次数加和，来获得所述存储节点的访问次数。

上述压力算法可以是，持续统计所述存储节点在每一时间周期内的访问次数并计算访问增长速度，在所述访问增长速度超过预设速度阈值时判定所述存储节点过负荷。在具体实现过程中，可采用例如但不限于下列公式来计算所述访问增长速度：

在具体实现过程中，上述周期时长可根据分布式数据库系统100的具体应用环境进行设置。不难理解，周期时长越短，算得的访问增长速度越准确。访问增长速度为正值，表明访问压力在增加，为负表明访问压力在减小。

此外，所述压力算法还可以是，统计所述存储节点在每一时间周期内的访问次数，并在所述访问次数超过预先设置的访问次数阈值时判定所述存储节点过负荷。

特别的，上述速度阈值和/或访问次数阈值还可根据具体时段来进行设置，针对不同的时段设置不同的速度阈值和/或访问次数阈值。具体来说，上述具体时段可根据统计获得的访问压力分布情况进行设定。例如，可将每一天分为5个时段，第一时段从凌晨2点至早晨8点，第二时段从早晨8点至中午11点，第三时段从中午11点至下午2点，第四时段从下午2点至下午6点，第五时段从下午6点至次日凌晨2点。在根据具体时段设置速度阈值和/或访问次数阈值的情况下，上述压力算法还可以是，统计所述存储节点在每一时间周期内的访问增长速度和/或访问次数，并在所述访问增长速度和/或访问次数超过当前时间周期所属时段所对应的速度阈值和/或访问次数阈值时判定所述存储节点过负荷。应注意，在具体实现过程中，上述时段可根据具体需要进行划分，而不受上述具体时段划分实例的限制。

上述转存策略可以是，对于过负荷的存储节点，将该存储节点中访问次数最高的记录标识所对应的数据记录确定为待转存数据记录，将尚未过负荷的存储节点中访问次数最低的存储节点确定为上述目标存储节点。如此一来，转存装置110便可将待转存数据记录转存到目标存储节点中，并更新所述存储对照表，从而动态调整各个存储节点的访问压力。

此外，上述转存策略还可以是，对于过负荷的存储节点，按照访问次数由高到低的顺序对该存储节点中的数据记录进行排序，将排序在前的多条(具体数量可根据需要预先设定)数据记录确定为待转存数据记录；按照访问次数由低到高的顺序对尚未过负荷的存储节点进行排序，将排序在前的多个(数量与待转存数据记录的数量相同)存储节点确定为目标存储节点。然后将多条待转存数据记录按照访问次数由高到低的顺序对应存储到按照访问次数由低到高的顺序排序的多个目标存储节点中，其中访问次数最高的待转存数据记录存储到访问次数最低的目标存储节点中。

在转存待转存数据记录时，转存装置110将待转存数据记录从当前存储节点剪切存储到目标存储节点。

应注意，本领域的技术人员应当明白，在将所述待转存数据记录转存到所述目标存储节点后，还需分别对过负荷存储节点和目标存储节点的存储映射表进行更新。

本发明实施例依据预先设置的压力算法实时监测存储节点是否过负荷，并在监测到存储节点过负荷时，基于预先设置的转存策略将过负荷存储节点中的至少一部分数据转存到尚未过负荷的存储节点之中的至少一个之中，从而动态调整各存储节点的访问压力，提高整个分布式数据库系统的数据访问效率，满足实时数据访问操作的需要。

图2是依据本发明一实施例的数据访问方法200的流程图。数据访问方法200应用于分布式数据库系统，所述分布式数据库系统包含多个存储节点，每一存储节点中存储有多条数据记录，每一数据记录由所述数据记录的记录标识唯一标识。如图2所示，步骤202，接收访问请求，提取所述访问请求中包含的记录标识，在存储对照表中查找所述记录标识对应的存储节点，并更新所述记录标识所属数据记录的访问次数，以及根据所述记录标识从所述存储节点获取对应的数据记录，并返回所述数据记录，其中，所述存储对照表中记录有记录标识与存储所述记录标识所属数据记录的存储节点之间的对应关系以及每一记录标识所属数据记录的访问次数；

具体来说，每一存储节点都维护一张存储映射表，所述存储映射表中记录有每条数据记录的记录标识与该数据记录在存储节点中的存储位置之间的对应关系，其中记录标识可唯一标识该记录标识所属的数据记录。在具体实现过程中，当采用数据表来存储数据记录时，存储映射表的结构已经在前文进行了详细的描述，因此此处不再赘述。

在具体实现过程中，为提高数据存取效率，可使用内存数据库来实现上述存储节点中的至少一个。

有关存储对照表的结构已经在前文进行了详细的描述，因此此处不再赘述。

不难理解，由于仅仅记录访问次数而不生成完整的访问记录(例如记录数据记录的访问时间等信息)，本发明实施例记录访问次数的操作不会对分布式数据库系统的整体性能产生很大的负面影响。

在步骤204，根据所述存储对照表中记录的每一存储节点所对应的各数据记录所属数据记录的访问次数确定所述存储节点的访问次数，在根据所述存储节点的访问次数通过预先设置的压力算法确定所述存储节点过负荷时，根据预先设置的转存策略从所述存储节点所存储的多条数据记录中选择至少一条数据记录作为待转存数据记录，并从尚未过负荷的存储节点中选择至少一个存储节点作为目标存储节点，将所述待转存数据记录转存到所述目标存储节点中，并更新所述存储对照表。具体说来，可通过将存储对照表中记录的每一存储节点所对应的各记录标识所属数据记录的访问次数加和，来获得所述存储节点的访问次数。

具体来说，所述压力算法可以是，持续统计每一存储节点在每一时间周期内的访问次数并计算访问增长速度，在所述访问增长速度超过预设速度阈值时判定所述存储节点过负荷。有关访问增长速度的具体计算公式已经在前文进行了详细的描述，因此此处不再赘述。

此外，所述压力算法还可以是，统计所述存储节点在每一时间周期内的访问次数，并在所述访问次数超过预先设置的访问次数阈值时判定所述存储节点过负荷。

特别的，上述速度阈值和/或访问次数阈值还可根据具体时段来进行设置，针对不同的时段设置不同的速度阈值和/或访问次数阈值。具体来说，上述具体时段可根据统计获得的访问压力分布情况进行设定。例如，可将每一天分为5个时段，第一时段从凌晨2点至早晨8点，第二时段从早晨8点至中午11点，第三时段从中午11点至下午2点，第四时段从下午2点至下午6点，第五时段从下午6点至次日凌晨2点。在根据具体时段设置速度阈值和/或访问次数阈值的情况下，上述压力算法还可以是，统计所述存储节点在每一时间周期内的访问增长速度和/或访问次数，并在所述访问增长速度和/或访问次数超过当前时间周期所属时段所对应的速度阈值和/或访问次数阈值时判定所述存储节点过负荷。应注意，在具体实现过程中，上述时段可根据具体需要进行划分，而不受上述具体时段划分实例的限制。

具体来说，所述转存策略为，对于过负荷的存储节点，将该存储节点中访问次数最高的数据记录确定为待转存数据记录，将尚未过负荷的存储节点中访问次数最低的存储节点确定为上述目标存储节点。

此外，上述转存策略还可以是，对于过负荷的存储节点，按照访问次数由高到低的顺序对该存储节点中的数据记录进行排序，将排序在前的多条(具体数量可根据需要预先设定)数据记录确定为待转存数据记录；按照访问次数由低到高的顺序对尚未过负荷的存储节点进行排序，将排序在前的多个(数量与待转存数据记录的数量相同)存储节点确定为目标存储节点。然后将多条待转存数据记录按照访问次数由高到低的顺序对应存储到按照访问次数由低到高的顺序排序的多个目标存储节点中，其中访问次数最高的待转存数据记录存储到访问次数最低的目标存储节点中。

在转存待转存数据记录时，将待转存数据记录从当前存储节点剪切存储到目标存储节点。

应注意，本领域的技术人员应当明白，在将所述待转存数据记录转存到所述目标存储节点后，还需分别对过负荷存储节点和目标存储节点的存储映射表进行更新。

本发明实施例依据预先设置的压力算法实时监测存储节点是否过负荷，并在监测到存储节点过负荷时，基于预先设置的转存策略将过负荷存储节点中的至少一部分数据转存到尚未过负荷的存储节点之中的至少一个之中，从而动态调整各存储节点的访问压力，提高整个分布式数据库系统的数据访问效率，满足实时数据访问操作的需要。

本领域普通技术人员可知，上述方法中的全部或部分步骤可以通过程序指令相关的硬件完成，该程序可以存储于一计算机可读存储介质中，该计算机可读存储介质如ROM、RAM和光盘等。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种分布式数据库系统，其特征在于，包括：

多个存储节点，每一存储节点用于存储多条数据记录，每一数据记录由所述数据记录的记录标识唯一标识；

访问控制装置，存储有存储对照表，所述存储对照表中记录有记录标识与存储所述记录标识所属数据记录的存储节点之间的对应关系以及每一记录标识所属数据记录的访问次数；所述访问控制装置用于接收访问请求，提取所述访问请求中包含的记录标识，在所述存储对照表中查找所述记录标识对应的存储节点，并更新所述记录标识所属数据记录的访问次数，以及根据所述记录标识从所述存储节点获取对应的数据记录，并返回所述数据记录；

转存装置，用于根据所述存储对照表中记录的每一存储节点所对应的各记录标识所属数据记录的访问次数确定所述存储节点的访问次数，在根据所述存储节点的访问次数通过预先设置的压力算法确定所述存储节点过负荷时，根据预先设置的转存策略从所述存储节点所存储的多条数据记录中选择至少一条数据记录作为待转存数据记录，并从尚未过负荷的存储节点中选择至少一个存储节点作为目标存储节点，将所述待转存数据记录转存到所述目标存储节点中，并更新所述存储对照表，其中，所述压力算法为，持续统计每一存储节点在每一时间周期内的访问次数并计算访问增长速度，在所述访问增长速度超过预设速度阈值时判定所述存储节点过负荷；

所述转存策略为，对于过负荷的存储节点，将该存储节点中访问次数最高的数据记录确定为待转存数据记录，将尚未过负荷的存储节点中访问次数最低的存储节点确定为上述目标存储节点，或者，

所述转存策略为，对于过负荷的存储节点，按照访问次数由高到低的顺序对该存储节点中的数据记录进行排序，将排序在前的多条数据记录确定为待转存数据记录；按照访问次数由低到高的顺序对尚未过负荷的存储节点进行排序，将排序在前的多个存储节点确定为目标存储节点；将所述多条待转存数据记录按照访问次数由高到低的顺序对应存储到按照访问次数由低到高的顺序排序的所述多个目标存储节点中。

2.如权利要求1所述的系统，其特征在于，所述多个存储节点中的至少一个存储节点为内存数据库。

3.一种数据访问方法，其特征在于，应用于分布式数据库系统，所述分布式数据库系统包含多个存储节点，每一存储节点中存储有多条数据记录，每一数据记录由所述数据记录的记录标识唯一标识；所述方法包括：

接收访问请求，提取所述访问请求中包含的记录标识，在存储对照表中查找所述记录标识对应的存储节点，并更新所述记录标识所属数据记录的访问次数，以及根据所述记录标识从所述存储节点获取对应的数据记录，并返回所述数据记录，其中，所述存储对照表中记录有记录标识与存储所述记录标识所属数据记录的存储节点之间的对应关系以及每一记录标识所属数据记录的访问次数；

根据所述存储对照表中记录的每一存储节点所对应的各记录标识所属数据记录的访问次数确定所述存储节点的访问次数，在根据所述存储节点的访问次数通过预先设置的压力算法确定所述存储节点过负荷时，根据预先设置的转存策略从所述存储节点所存储的多条数据记录中选择至少一条数据记录作为待转存数据记录，并从尚未过负荷的存储节点中选择至少一个存储节点作为目标存储节点，将所述待转存数据记录转存到所述目标存储节点中，并更新所述存储对照表，其中，所述压力算法为，持续统计每一存储节点在每一时间周期内的访问次数并计算访问增长速度，在所述访问增长速度超过预设速度阈值时判定所述存储节点过负荷；

所述转存策略为，对于过负荷的存储节点，将该存储节点中访问次数最高的数据记录确定为待转存数据记录，将尚未过负荷的存储节点中访问次数最低的存储节点确定为上述目标存储节点，或者，

所述转存策略为，对于过负荷的存储节点，按照访问次数由高到低的顺序对该存储节点中的数据记录进行排序，将排序在前的多条数据记录确定为待转存数据记录；按照访问次数由低到高的顺序对尚未过负荷的存储节点进行排序，将排序在前的多个存储节点确定为目标存储节点；将所述多条待转存数据记录按照访问次数由高到低的顺序对应存储到按照访问次数由低到高的顺序排序的所述多个目标存储节点中。

4.如权利要求3所述的方法，其特征在于，所述多个存储节点中的至少一个存储节点为内存数据库。

Images