CN103778135A - 一种实时数据的分布存储和分页查询方法 - Google Patents

Abstract

本发明涉及一种实时数据的分布存储和分页查询方法，采用至少一个以上数据节点对数据进行存储；查询方法步骤如下：1）客户端提交查询请求至业务节点；2）业务节点接收查询请求，判断查询请求中包含的请求显示的信息条数、页码；业务节点以当前查询页面的首个数据的对象id，结合当前查询页面显示的信息条数进行运算，得出所请求的数据的起始数据的对象id，并结合请求显示的信息条数，运算得出查询结果，并从数据节点输出符合显示的信息条数、页码的查询结果。在分页查询中，不仅可以保证快速有效查询到结果，而且还能避免在访问“下一页”时出现数据重复的现象，这大大的改善了用户的体验。

Description

一种实时数据的分布存储和分页查询方法

技术领域

本发明涉及一种数据存储与查询方法，更具体地说，涉及一种实时数据的分布存储和分页查询方法。

背景技术

在当今的社交网络中，用户会产生大量的实时数据，而往往这些实时数据需要进行分布式存储，此时能够快速分页查询这些实时数据就显得尤为重要。

目前，实现快速查询分布式数据的方法，大多以数据偏移量和获取个数进行分页查询，这种技术存在一点不足：在查看当前页数据时，如果数据库增加了新的实时数据，当你点击获取下一页数据时，就会发现前一页的数据会重复出现在下一页上，这样就会给用户造成了不好的体验。如图1所示，时间轴由上到下分别表示访问第一页、访问第二页的数据分布曲线，及其对比。

发明内容

本发明的目的在于克服现有技术的不足，提供一种解决在访问下一页数据时出现数据重复现象的问题的实时数据的分布存储和分页查询方法。

本发明的技术方案如下：

一种实时数据的分布存储和分页查询方法，采用至少一个以上数据节点对数据进行存储；查询方法步骤如下：

1）客户端提交查询请求至业务节点；

2）业务节点接收查询请求，判断查询请求中包含的请求显示的信息条数、页码；业务节点以当前查询页面的首个数据的对象id，结合当前查询页面显示的信息条数进行运算，得出所请求的数据的起始数据的对象id，并结合请求显示的信息条数，运算得出查询结果，并从数据节点输出符合显示的信息条数、页码的查询结果。

作为优选，所述的对象id按所属数据生成时间的先后呈递增序列。

作为优选，步骤1）具体为：

1.1）在客户端中设置记录标签参数，该标签的起始值为空，之后的值由业务节点重新计算再传回给客户端；

1.2）客户端在每次请求实时数据时，将页码标签、每页显示信息数标签、记录标签发送至业务节点；

步骤2）具体为：

2.1）业务节点接收客户端发过来的参数，判断请求数据的起始值是否为0或记录标签是否为空，如果满足其中任一项，直接按请求数据的起始值、每页显示信息数标签参数访问数据节点，进行分页查询；

2.2）从数据节点得到查询结果之后，业务节点开始计算记录标签的值，并和查询结果一起返回给客户端；

2.3）如果步骤2.1）的请求数据的起始值和记录标签均不为空，业务节点判断查询请求的页码与当前页码的大小关系；

2.4）计算请求的页码与当前页码差乘以每页显示信息条数得到下一页偏移值，如果查询请求的页码大于当前页码，则查询的首个数据的对象id为当前页首个数据的对象id减去下一页偏移值；如果查询请求的页码小于当前页码，则查询的首个数据的对象id为当前页首个数据的对象id加上下一页偏移值；

2.5）业务节点重新计算记录标签的值，与数据节点查询结果一起返回给客户端。

作为优选，步骤2.5）所述的计算记录标签的值，方法如下：

a、记录下查询结果最后一条记录的对象id；

b、将请求数据的起始值与查询结果个数进行相加得到下一页偏移值；

c、再将步骤a中的最后一条记录的对象id与步骤b中的偏移值拼接为记录标签的值。

作为优选，步骤2.4）具体为：

业务节点从记录标签中获取下一页偏移值和查询结果最后一条记录的对象id，如果请求数据的起始值大于等于下一页偏移值，则只在数据节点中查询对象id小于查询结果最后一条记录的对象id；

如果请求数据的起始值小于下一页偏移值，则只在数据节点中查询对象id大于查询结果最后一条记录的对象id。

作为优选，所述的对象id为全局唯一，对象id的生成规则为：时间戳+业务节点内流水号+业务节点编号。

作为优选，数据的存储规则为：对象id与数据节点个数取模，得到的结果为该数据对应存储的数据节点编号。

作为优选，所述的数据节点为在至少一个物理数据节点上创建的不少物理数据节点的虚拟数据节点。

作为优选，从数据节点获取数据的步骤如下：

i.获取所请求数据的对象id：当标志位id为空时，表示请求的是第一页的数据，则从各个数据节点中，按请求的数据的对象id的倒序取出请求的数据总量的对象id，然后将各个数据节点取出的所有对象id再倒序重新排列，再从前面取出请求的数据总量的对象id，该数量的对象id就是业务节点所请求数据的对象id；当标志位id不为空时，根据运算得出所请求的数据的起始数据的对象id，从各个数据节点中，按请求的数据的对象id顺序取出请求的数据总量的对象id，然后将各个数据节点取出的所有对象id再顺序重新排列，再从前面取出请求的数据总量的对象id，该数量的对象id就是业务节点所请求数据的对象id；

再根据获取的对象id在数据节点中查询数据，然后将结果集返回给业务节点。

本发明的有益效果如下：

本发明在“实时数据的分布存储和分页查询方法”技术方案中，实时数据的分布存储可以保证实时数据的快速有效存储，因对象id生成的算法与时间有关，所以不必对每个数据节点都进行遍历搜索，大大提高访问效率，这为数据查询做了很好的铺垫；在分页查询中，不仅可以保证快速有效查询到结果，而且还能避免在访问“下一页”时出现数据重复的现象，这大大的改善了用户的体验。

附图说明

图1是现有技术中客户端在两次访问时有可能产生的数据结构图；

图2是系统的逻辑结构示意图；

图3是数据分布存储方法步骤（3）的示意图；

图4是将数据映射到N个物理数据节点的M个虚拟数据节点的示意图；

图5是增加数据节点后数据的映射示意图；

图6是主从数据节点间进行数据备份和分散读取的示意图；

图7是查询数据步骤一、步骤二的示意图；

图8是查询数据步骤三、步骤四的示意图；

图9是查询数据步骤五的示意图；

图10是查询数据步骤七的示意图，图中，时间轴由上到下分别表示访问第二页、访问第三页的数据分布曲线，及其对比；

图11是查询数据步骤九的示意图，图中，时间轴由上到下分别表示访问第三页、访问第二页的数据分布曲线，及其对比；

图12是请求第一页的数据的获取示意图；

图13是请求非第一页的数据的获取示意图；

图14是获取用户请求数据的步骤B的示意图。

具体实施方式

以下结合附图及实施例对本发明进行进一步的详细说明。

本发明所述的方法涉及到的系统包括下述节点：数据节点、业务节点、接入节点以及客户端，系统的逻辑结构如图2所示。

各节点的功能和作用如下：

数据节点：具备数据存储功能，负责存储实时数据；

业务节点：与数据节点和接入节点相交互，负责业务逻辑的处理；

接入节点：负责协调负载均衡；

客户端：用户请求和展示数据。

查询方法步骤如下：

1）客户端提交查询请求至业务节点；

2）业务节点接收查询请求，判断查询请求中包含的请求显示的信息条数、页码；业务节点以当前查询页面的首个数据的对象id，结合当前查询页面显示的信息条数进行运算，得出所请求的数据的起始数据的对象id，并结合请求显示的信息条数，运算得出查询结果，并从数据节点输出符合显示的信息条数、页码的查询结果。

本发明所阐述的方法包括：

1、数据分布存储方法：

（1）采用多个数据节点进行存储。

因实时数据的数据量比较大，如果只用一个数据节点进行数据存储，则该数据节点的负载压力会非常的大，为了负载均衡目的，由N个（N>=1）数据节点来存储数据。

（2）对象id自定义生成，全局唯一，而且id大小体现时间先后。

对象id（64bit）的生成规则：时间戳（42bit）+业务节点内流水号（16bit）+业务节点编号（5bit）”，其中：时间戳表示当前毫秒数，所以对象id大小表示对象生成时间的近远；业务节点内的流水号在各业务节点内独立顺序生成，用于解决同一时间（毫秒）内产生多个对象时能够区分；业务节点编号防止不同业务节点内生成的id重复，而且能够区分对象来自哪个业务节点。

（3）通过对象id与数据节点个数n取模，来决定对象存储在哪个数据节点。

例如，对象id为2798784880146645024，有5个数据节点，2798784880146645024%5得到4，则将此对象存储在余为4的数据节点中；如下图3所示。

数据节点在实际实现中通常指的是数据库表。不同的数据库表可以存储在同一个物理节点中，也可以存储在不同的物理节点中。

为了便于通过增加数据节点来实现系统扩展，通常创建M（M>=N）个虚拟的数据节点，将id与M取模后的数据映射到N个实际的数据节点中，如图4所示。

在增加K个数据节点时，需将之前N个节点中的对象id重新与M取模后，再将数据映射到N+K个实际的数据节点中，如图5所示。

当数据节点的负载压力比较大时，可以通过主从复制的方式来实现数据备份和分散读取的目的，如图6所示。

2、业务节点分页查询方法：

（1）表1是在分页查询过程中涉及到的一些参数以及参数的类型和描述：

表1：查询请求涉及的参数及描述

步骤如下：

1.1）在客户端中设置记录标签参数，该标签的起始值为空，之后的值由业务节点重新计算再传回给客户端；

1.2）客户端在每次请求实时数据时，将页码标签、每页显示信息数标签、记录标签发送至业务节点；

2.1）业务节点接收客户端发过来的参数，判断请求数据的起始值是否为0或记录标签是否为空，如果满足其中任一项，直接按请求数据的起始值、每页显示信息数标签参数访问数据节点，进行分页查询；

2.2）从数据节点得到查询结果之后，业务节点开始计算记录标签的值，并和查询结果一起返回给客户端；

2.3）如果步骤2.1）的请求数据的起始值和记录标签均不为空，业务节点判断查询请求的页码与当前页码的大小关系；

2.4）计算请求的页码与当前页码差乘以每页显示信息条数得到下一页偏移值，如果查询请求的页码大于当前页码，则查询的首个数据的对象id为当前页首个数据的对象id减去下一页偏移值；如果查询请求的页码小于当前页码，则查询的首个数据的对象id为当前页首个数据的对象id加上下一页偏移值；

2.5）业务节点重新计算记录标签的值，与数据节点查询结果一起返回给客户端。

（2）业务节点的具体实现步骤（防止下一页出现重复数据）：

步骤一：在客户端中设置一参数（bookmarkSN）作为记录标签，该标签的起始值为空，之后的值由业务节点重新计算再传回给客户端。

步骤二：客户端模块在每次请求实时数据时都必须将pageNum、pageCount以及bookmarkSN这三个参数传至业务节点，如图7所示。

步骤三：业务节点接收客户端发过来的参数，判断offset是否为0或是判断bookmarkSN参数是否为空，如果满足其一则说明该客户端是第一次请求数据或是请求第一页数据，无需考虑数据重复出现的现象，可直接按offset、pageCount参数访问数据节点进行分页查询（排序方式一般为按对象id的倒序）。

步骤四：从数据节点得到查询结果之后，业务节点开始计算bookmarkSN参数值，并和查询结果一起返回给客户端，如图8所示。

步骤五：计算bookmarkSN的值，算法如下：

a、记录下查询结果最后一条记录的对象id（以下简称markId）；

b、将当前请求偏移值offset与查询结果个数（size）进行相加得到下一页偏移值offsetSN；

c、再将a中的markId与b中的offsetSN拼接起来，中间使用“#”隔开，这样得到的拼接结果即为bookmarkSN的值，如图9所示。

步骤六：如果步骤三的条件不满足，则说明客户端不是第一次发生请求或不是请求第一页数据，此时需要判断用户是从低页往高页跳转还是高页往低页跳转，例如用户现在是在浏览第4页数据，接下来用户有可能访问第5页，但也有可能访问第3页。

步骤七：从书签bookmarkSN中获取下一页偏移值offsetSN和markId，当前请求偏移值offset大于等于下一页偏移值offsetSN，则说明用户是往高页跳转；在数据节点中查询结果的SQL语句中必须加上“id小于markId”，这样即使在查询过程中产生了新的实时数据，也不会出现查询下一页时出现数据重复现象，因为按对象id的生产方式，越新的数据对应的id越大（按对象id的倒序排序）；此时将offset-offsetSN、pageCount以及markId作为参数去访问数据节点即可得到用户请求的数据，如图10所示。

步骤八：业务节点处重新计算书签bookmarkSN的值（此步骤可以参考步骤四），并且和数据节点查询结果一起返回给客户端。

步骤九：在步骤六中，当前请求偏移值offset小于下一页偏移值offsetSN，则说明客户端用户是往低页请求数据的；在数据节点中查询条件中必须加上“id大于markId”。此时有两点特别注意的地方是：a、查询条件不再是按对象id的倒序而是正序；b、其实偏移量的计算方式应为：offsetSN-offset-pageCount，此时将offsetSN-offset-pageCount、pageCount以及markId作为参数去访问数据节点即可得到用户的请求数据，如图11所示。

步骤十：重新计算书签bookmarkSN的值（此步骤可以参考步骤四），并且和数据节点查询结果一起返回给客户端。

3、从多个数据节点中获取用户请求数据

（1）表2是从多个数据节点中获取数据时设计到的一些参数。

表2：获取用户请求数据涉及的参数及描述

步骤如下：

i.获取所请求数据的对象id：当标志位id为空时，表示请求的是第一页的数据，则从各个数据节点中，按请求的数据的对象id的倒序取出请求的数据总量的对象id，然后将各个数据节点取出的所有对象id再倒序重新排列，再从前面取出请求的数据总量的对象id，该数量的对象id就是业务节点所请求数据的对象id；当标志位id不为空时，根据运算得出所请求的数据的起始数据的对象id，从各个数据节点中，按请求的数据的对象id顺序取出请求的数据总量的对象id，然后将各个数据节点取出的所有对象id再顺序重新排列，再从前面取出请求的数据总量的对象id，该数量的对象id就是业务节点所请求数据的对象id；

ii再根据获取的对象id在数据节点中查询数据，然后将结果集返回给业务节点。

（2）具体步骤如下：

A：先获取所请求数据的对象id

步骤一：当markId？为空时，说明请求的是第一页的数据，只需从N个数据节点中，分别按对象id的倒序取出前count个数据的对象id，然后将这N*count个对象id再按对象id的倒序重新排列，再取其前count个对象id，该count个对象id就是业务节点所请求数据的对象id，如图12所示；

步骤二：当markId？不为空时，从N个数据节点中，在对象id小于（大于）markId的前提下，分别按对象id的倒序（正序），从startIndex开始取出前count个数据的对象id，然后将这N*count个对象id再按对象id的倒序重新排列，再取其前count个对象id，该count个对象id就是业务节点所请求数据的对象id，如图13所示。

B：再根据获取的对象id去查询数据，并将结果集返回给业务节点，如图14所示。

本发明所述的markId表示的都是同一个意思，即每次查询结果中最后一条记录的对象id值，起到一个标识符的作用；表2所示的markId?与前述的markId唯一区别在于：前者是客户端的markId，后者是业务节点的markId；markId?是客户端传给业务节点的参数值，但该值不是由客户端自己生成的，而是由业务节点的markId值生成后返回给客户端的，所以在客户端第一次发请求时该值必然为空，只有在发送完第一次请求后，客户端传给业务节点的markId参数才会有值；业务节点中的mardId值，它的唯一作用就是记录下查询结果中最后一条记录的对象id值，然后返回给客户端。

上述实施例仅是用来说明本发明，而并非用作对本发明的限定。只要是依据本发明的技术实质，对上述实施例进行变化、变型等都将落在本发明的权利要求的范围内。

Claims (9)

1.一种实时数据的分布存储和分页查询方法，其特征在于，采用至少一个以上数据节点对数据进行存储；查询方法步骤如下：

1）客户端提交查询请求至业务节点；

2）业务节点接收查询请求，判断查询请求中包含的请求显示的信息条数、页码；业务节点以当前查询页面的首个数据的对象ID，结合当前查询页面显示的信息条数进行运算，得出所请求的数据的起始数据的对象ID，并结合请求显示的信息条数，运算得出查询结果，并从数据节点输出符合显示的信息条数、页码的查询结果。

2.根据权利要求1所述的实时数据的分布存储和分页查询方法，其特征在于，所述的对象ID按所属数据生成时间的先后呈递增序列。

3.根据权利要求2所述的实时数据的分布存储和分页查询方法，其特征在于，步骤1）具体为：

1.1）在客户端中设置记录标签参数，该标签的起始值为空，之后的值由业务节点重新计算再传回给客户端；

1.2）客户端在每次请求实时数据时，将页码标签、每页显示信息数标签、记录标签发送至业务节点；

步骤2）具体为：

2.1）业务节点接收客户端发过来的参数，判断请求数据的起始值是否为0或记录标签是否为空，如果满足其中任一项，直接按请求数据的起始值、每页显示信息数标签参数访问数据节点，进行分页查询；

2.2）从数据节点得到查询结果之后，业务节点开始计算记录标签的值，并和查询结果一起返回给客户端；

2.3）如果步骤2.1）的请求数据的起始值和记录标签均不为空，业务节点判断查询请求的页码与当前页码的大小关系；

2.4）计算请求的页码与当前页码差乘以每页显示信息条数得到下一页偏移值，如果查询请求的页码大于当前页码，则查询的首个数据的对象ID为当前页首个数据的对象ID减去下一页偏移值；如果查询请求的页码小于当前页码，则查询的首个数据的对象ID为当前页首个数据的对象ID加上下一页偏移值；

2.5）业务节点重新计算记录标签的值，与数据节点查询结果一起返回给客户端。

4.根据权利要求3所述的实时数据的分布存储和分页查询方法，其特征在于，步骤2.5）所述的计算记录标签的值，方法如下：

a、记录下查询结果最后一条记录的对象ID；

b、将请求数据的起始值与查询结果个数进行相加得到下一页偏移值；

c、再将步骤a中的最后一条记录的对象ID与步骤b中的偏移值拼接为记录标签的值。

5.根据权利要求3所述的实时数据的分布存储和分页查询方法，其特征在于，步骤2.4）具体为：

业务节点从记录标签中获取下一页偏移值和查询结果最后一条记录的对象ID，如果请求数据的起始值大于等于下一页偏移值，则只在数据节点中查询对象ID小于查询结果最后一条记录的对象ID；

如果请求数据的起始值小于下一页偏移值，则只在数据节点中查询对象ID大于查询结果最后一条记录的对象ID。

6.根据权利要求1所述的实时数据的分布存储和分页查询方法，其特征在于，所述的对象ID为全局唯一，对象ID的生成规则为：时间戳+业务节点内流水号+业务节点编号。

7.根据权利要求6所述的实时数据的分布存储和分页查询方法，其特征在于，数据的存储规则为：对象ID与数据节点个数取模，得到的结果为该数据对应存储的数据节点编号。

8.根据权利要求7所述的实时数据的分布存储和分页查询方法，其特征在于，所述的数据节点为在至少一个物理数据节点上创建的不少物理数据节点的虚拟数据节点。

9.根据权利要求1所述的实时数据的分布存储和分页查询方法，其特征在于，从数据节点获取数据的步骤如下：

i.获取所请求数据的对象ID：当标志位ID为空时，表示请求的是第一页的数据，则从各个数据节点中，按请求的数据的对象ID的倒序取出请求的数据总量的对象ID，然后将各个数据节点取出的所有对象ID再倒序重新排列，再从前面取出请求的数据总量的对象ID，该数量的对象ID就是业务节点所请求数据的对象ID；当标志位ID不为空时，根据运算得出所请求的数据的起始数据的对象ID，从各个数据节点中，按请求的数据的对象ID顺序取出请求的数据总量的对象ID，然后将各个数据节点取出的所有对象ID再顺序重新排列，再从前面取出请求的数据总量的对象ID，该数量的对象ID就是业务节点所请求数据的对象ID；

ii.再根据获取的对象ID在数据节点中查询数据，然后将结果集返回给业务节点。

Images