CN103778135A - 一种实时数据的分布存储和分页查询方法 - Google Patents
一种实时数据的分布存储和分页查询方法 Download PDFInfo
- Publication number
- CN103778135A CN103778135A CN201210400710.4A CN201210400710A CN103778135A CN 103778135 A CN103778135 A CN 103778135A CN 201210400710 A CN201210400710 A CN 201210400710A CN 103778135 A CN103778135 A CN 103778135A
- Authority
- CN
- China
- Prior art keywords
- data
- page
- request
- query
- back end
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000003860 storage Methods 0.000 title claims abstract description 7
- 238000009826 distribution Methods 0.000 title abstract description 5
- 238000010586 diagram Methods 0.000 description 14
- 238000013500 data storage Methods 0.000 description 5
- 241001269238 Data Species 0.000 description 3
- 238000013506 data mapping Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2471—Distributed queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种实时数据的分布存储和分页查询方法,采用至少一个以上数据节点对数据进行存储;查询方法步骤如下:1)客户端提交查询请求至业务节点;2)业务节点接收查询请求,判断查询请求中包含的请求显示的信息条数、页码;业务节点以当前查询页面的首个数据的对象id,结合当前查询页面显示的信息条数进行运算,得出所请求的数据的起始数据的对象id,并结合请求显示的信息条数,运算得出查询结果,并从数据节点输出符合显示的信息条数、页码的查询结果。在分页查询中,不仅可以保证快速有效查询到结果,而且还能避免在访问“下一页”时出现数据重复的现象,这大大的改善了用户的体验。
Description
技术领域
本发明涉及一种数据存储与查询方法,更具体地说,涉及一种实时数据的分布存储和分页查询方法。
背景技术
在当今的社交网络中,用户会产生大量的实时数据,而往往这些实时数据需要进行分布式存储,此时能够快速分页查询这些实时数据就显得尤为重要。
目前,实现快速查询分布式数据的方法,大多以数据偏移量和获取个数进行分页查询,这种技术存在一点不足:在查看当前页数据时,如果数据库增加了新的实时数据,当你点击获取下一页数据时,就会发现前一页的数据会重复出现在下一页上,这样就会给用户造成了不好的体验。如图1所示,时间轴由上到下分别表示访问第一页、访问第二页的数据分布曲线,及其对比。
发明内容
本发明的目的在于克服现有技术的不足,提供一种解决在访问下一页数据时出现数据重复现象的问题的实时数据的分布存储和分页查询方法。
本发明的技术方案如下:
一种实时数据的分布存储和分页查询方法,采用至少一个以上数据节点对数据进行存储;查询方法步骤如下:
1)客户端提交查询请求至业务节点;
2)业务节点接收查询请求,判断查询请求中包含的请求显示的信息条数、页码;业务节点以当前查询页面的首个数据的对象id,结合当前查询页面显示的信息条数进行运算,得出所请求的数据的起始数据的对象id,并结合请求显示的信息条数,运算得出查询结果,并从数据节点输出符合显示的信息条数、页码的查询结果。
作为优选,所述的对象id按所属数据生成时间的先后呈递增序列。
作为优选,步骤1)具体为:
1.1)在客户端中设置记录标签参数,该标签的起始值为空,之后的值由业务节点重新计算再传回给客户端;
1.2)客户端在每次请求实时数据时,将页码标签、每页显示信息数标签、记录标签发送至业务节点;
步骤2)具体为:
2.1)业务节点接收客户端发过来的参数,判断请求数据的起始值是否为0或记录标签是否为空,如果满足其中任一项,直接按请求数据的起始值、每页显示信息数标签参数访问数据节点,进行分页查询;
2.2)从数据节点得到查询结果之后,业务节点开始计算记录标签的值,并和查询结果一起返回给客户端;
2.3)如果步骤2.1)的请求数据的起始值和记录标签均不为空,业务节点判断查询请求的页码与当前页码的大小关系;
2.4)计算请求的页码与当前页码差乘以每页显示信息条数得到下一页偏移值,如果查询请求的页码大于当前页码,则查询的首个数据的对象id为当前页首个数据的对象id减去下一页偏移值;如果查询请求的页码小于当前页码,则查询的首个数据的对象id为当前页首个数据的对象id加上下一页偏移值;
2.5)业务节点重新计算记录标签的值,与数据节点查询结果一起返回给客户端。
作为优选,步骤2.5)所述的计算记录标签的值,方法如下:
a、记录下查询结果最后一条记录的对象id;
b、将请求数据的起始值与查询结果个数进行相加得到下一页偏移值;
c、再将步骤a中的最后一条记录的对象id与步骤b中的偏移值拼接为记录标签的值。
作为优选,步骤2.4)具体为:
业务节点从记录标签中获取下一页偏移值和查询结果最后一条记录的对象id,如果请求数据的起始值大于等于下一页偏移值,则只在数据节点中查询对象id小于查询结果最后一条记录的对象id;
如果请求数据的起始值小于下一页偏移值,则只在数据节点中查询对象id大于查询结果最后一条记录的对象id。
作为优选,所述的对象id为全局唯一,对象id的生成规则为:时间戳+业务节点内流水号+业务节点编号。
作为优选,数据的存储规则为:对象id与数据节点个数取模,得到的结果为该数据对应存储的数据节点编号。
作为优选,所述的数据节点为在至少一个物理数据节点上创建的不少物理数据节点的虚拟数据节点。
作为优选,从数据节点获取数据的步骤如下:
i.获取所请求数据的对象id:当标志位id为空时,表示请求的是第一页的数据,则从各个数据节点中,按请求的数据的对象id的倒序取出请求的数据总量的对象id,然后将各个数据节点取出的所有对象id再倒序重新排列,再从前面取出请求的数据总量的对象id,该数量的对象id就是业务节点所请求数据的对象id;当标志位id不为空时,根据运算得出所请求的数据的起始数据的对象id,从各个数据节点中,按请求的数据的对象id顺序取出请求的数据总量的对象id,然后将各个数据节点取出的所有对象id再顺序重新排列,再从前面取出请求的数据总量的对象id,该数量的对象id就是业务节点所请求数据的对象id;
再根据获取的对象id在数据节点中查询数据,然后将结果集返回给业务节点。
本发明的有益效果如下:
本发明在“实时数据的分布存储和分页查询方法”技术方案中,实时数据的分布存储可以保证实时数据的快速有效存储,因对象id生成的算法与时间有关,所以不必对每个数据节点都进行遍历搜索,大大提高访问效率,这为数据查询做了很好的铺垫;在分页查询中,不仅可以保证快速有效查询到结果,而且还能避免在访问“下一页”时出现数据重复的现象,这大大的改善了用户的体验。
附图说明
图1是现有技术中客户端在两次访问时有可能产生的数据结构图;
图2是系统的逻辑结构示意图;
图3是数据分布存储方法步骤(3)的示意图;
图4是将数据映射到N个物理数据节点的M个虚拟数据节点的示意图;
图5是增加数据节点后数据的映射示意图;
图6是主从数据节点间进行数据备份和分散读取的示意图;
图7是查询数据步骤一、步骤二的示意图;
图8是查询数据步骤三、步骤四的示意图;
图9是查询数据步骤五的示意图;
图10是查询数据步骤七的示意图,图中,时间轴由上到下分别表示访问第二页、访问第三页的数据分布曲线,及其对比;
图11是查询数据步骤九的示意图,图中,时间轴由上到下分别表示访问第三页、访问第二页的数据分布曲线,及其对比;
图12是请求第一页的数据的获取示意图;
图13是请求非第一页的数据的获取示意图;
图14是获取用户请求数据的步骤B的示意图。
具体实施方式
以下结合附图及实施例对本发明进行进一步的详细说明。
本发明所述的方法涉及到的系统包括下述节点:数据节点、业务节点、接入节点以及客户端,系统的逻辑结构如图2所示。
各节点的功能和作用如下:
数据节点:具备数据存储功能,负责存储实时数据;
业务节点:与数据节点和接入节点相交互,负责业务逻辑的处理;
接入节点:负责协调负载均衡;
客户端:用户请求和展示数据。
查询方法步骤如下:
1)客户端提交查询请求至业务节点;
2)业务节点接收查询请求,判断查询请求中包含的请求显示的信息条数、页码;业务节点以当前查询页面的首个数据的对象id,结合当前查询页面显示的信息条数进行运算,得出所请求的数据的起始数据的对象id,并结合请求显示的信息条数,运算得出查询结果,并从数据节点输出符合显示的信息条数、页码的查询结果。
本发明所阐述的方法包括:
1、数据分布存储方法:
(1)采用多个数据节点进行存储。
因实时数据的数据量比较大,如果只用一个数据节点进行数据存储,则该数据节点的负载压力会非常的大,为了负载均衡目的,由N个(N>=1)数据节点来存储数据。
(2)对象id自定义生成,全局唯一,而且id大小体现时间先后。
对象id(64bit)的生成规则:时间戳(42bit)+业务节点内流水号(16bit)+业务节点编号(5bit)”,其中:时间戳表示当前毫秒数,所以对象id大小表示对象生成时间的近远;业务节点内的流水号在各业务节点内独立顺序生成,用于解决同一时间(毫秒)内产生多个对象时能够区分;业务节点编号防止不同业务节点内生成的id重复,而且能够区分对象来自哪个业务节点。
(3)通过对象id与数据节点个数n取模,来决定对象存储在哪个数据节点。
例如,对象id为2798784880146645024,有5个数据节点,2798784880146645024%5得到4,则将此对象存储在余为4的数据节点中;如下图3所示。
数据节点在实际实现中通常指的是数据库表。不同的数据库表可以存储在同一个物理节点中,也可以存储在不同的物理节点中。
为了便于通过增加数据节点来实现系统扩展,通常创建M(M>=N)个虚拟的数据节点,将id与M取模后的数据映射到N个实际的数据节点中,如图4所示。
在增加K个数据节点时,需将之前N个节点中的对象id重新与M取模后,再将数据映射到N+K个实际的数据节点中,如图5所示。
当数据节点的负载压力比较大时,可以通过主从复制的方式来实现数据备份和分散读取的目的,如图6所示。
2、业务节点分页查询方法:
(1)表1是在分页查询过程中涉及到的一些参数以及参数的类型和描述:
表1:查询请求涉及的参数及描述
步骤如下:
1.1)在客户端中设置记录标签参数,该标签的起始值为空,之后的值由业务节点重新计算再传回给客户端;
1.2)客户端在每次请求实时数据时,将页码标签、每页显示信息数标签、记录标签发送至业务节点;
2.1)业务节点接收客户端发过来的参数,判断请求数据的起始值是否为0或记录标签是否为空,如果满足其中任一项,直接按请求数据的起始值、每页显示信息数标签参数访问数据节点,进行分页查询;
2.2)从数据节点得到查询结果之后,业务节点开始计算记录标签的值,并和查询结果一起返回给客户端;
2.3)如果步骤2.1)的请求数据的起始值和记录标签均不为空,业务节点判断查询请求的页码与当前页码的大小关系;
2.4)计算请求的页码与当前页码差乘以每页显示信息条数得到下一页偏移值,如果查询请求的页码大于当前页码,则查询的首个数据的对象id为当前页首个数据的对象id减去下一页偏移值;如果查询请求的页码小于当前页码,则查询的首个数据的对象id为当前页首个数据的对象id加上下一页偏移值;
2.5)业务节点重新计算记录标签的值,与数据节点查询结果一起返回给客户端。
(2)业务节点的具体实现步骤(防止下一页出现重复数据):
步骤一:在客户端中设置一参数(bookmarkSN)作为记录标签,该标签的起始值为空,之后的值由业务节点重新计算再传回给客户端。
步骤二:客户端模块在每次请求实时数据时都必须将pageNum、pageCount以及bookmarkSN这三个参数传至业务节点,如图7所示。
步骤三:业务节点接收客户端发过来的参数,判断offset是否为0或是判断bookmarkSN参数是否为空,如果满足其一则说明该客户端是第一次请求数据或是请求第一页数据,无需考虑数据重复出现的现象,可直接按offset、pageCount参数访问数据节点进行分页查询(排序方式一般为按对象id的倒序)。
步骤四:从数据节点得到查询结果之后,业务节点开始计算bookmarkSN参数值,并和查询结果一起返回给客户端,如图8所示。
步骤五:计算bookmarkSN的值,算法如下:
a、记录下查询结果最后一条记录的对象id(以下简称markId);
b、将当前请求偏移值offset与查询结果个数(size)进行相加得到下一页偏移值offsetSN;
c、再将a中的markId与b中的offsetSN拼接起来,中间使用“#”隔开,这样得到的拼接结果即为bookmarkSN的值,如图9所示。
步骤六:如果步骤三的条件不满足,则说明客户端不是第一次发生请求或不是请求第一页数据,此时需要判断用户是从低页往高页跳转还是高页往低页跳转,例如用户现在是在浏览第4页数据,接下来用户有可能访问第5页,但也有可能访问第3页。
步骤七:从书签bookmarkSN中获取下一页偏移值offsetSN和markId,当前请求偏移值offset大于等于下一页偏移值offsetSN,则说明用户是往高页跳转;在数据节点中查询结果的SQL语句中必须加上“id小于markId”,这样即使在查询过程中产生了新的实时数据,也不会出现查询下一页时出现数据重复现象,因为按对象id的生产方式,越新的数据对应的id越大(按对象id的倒序排序);此时将offset-offsetSN、pageCount以及markId作为参数去访问数据节点即可得到用户请求的数据,如图10所示。
步骤八:业务节点处重新计算书签bookmarkSN的值(此步骤可以参考步骤四),并且和数据节点查询结果一起返回给客户端。
步骤九:在步骤六中,当前请求偏移值offset小于下一页偏移值offsetSN,则说明客户端用户是往低页请求数据的;在数据节点中查询条件中必须加上“id大于markId”。此时有两点特别注意的地方是:a、查询条件不再是按对象id的倒序而是正序;b、其实偏移量的计算方式应为:offsetSN-offset-pageCount,此时将offsetSN-offset-pageCount、pageCount以及markId作为参数去访问数据节点即可得到用户的请求数据,如图11所示。
步骤十:重新计算书签bookmarkSN的值(此步骤可以参考步骤四),并且和数据节点查询结果一起返回给客户端。
3、从多个数据节点中获取用户请求数据
(1)表2是从多个数据节点中获取数据时设计到的一些参数。
表2:获取用户请求数据涉及的参数及描述
步骤如下:
i.获取所请求数据的对象id:当标志位id为空时,表示请求的是第一页的数据,则从各个数据节点中,按请求的数据的对象id的倒序取出请求的数据总量的对象id,然后将各个数据节点取出的所有对象id再倒序重新排列,再从前面取出请求的数据总量的对象id,该数量的对象id就是业务节点所请求数据的对象id;当标志位id不为空时,根据运算得出所请求的数据的起始数据的对象id,从各个数据节点中,按请求的数据的对象id顺序取出请求的数据总量的对象id,然后将各个数据节点取出的所有对象id再顺序重新排列,再从前面取出请求的数据总量的对象id,该数量的对象id就是业务节点所请求数据的对象id;
ii再根据获取的对象id在数据节点中查询数据,然后将结果集返回给业务节点。
(2)具体步骤如下:
A:先获取所请求数据的对象id
步骤一:当markId?为空时,说明请求的是第一页的数据,只需从N个数据节点中,分别按对象id的倒序取出前count个数据的对象id,然后将这N*count个对象id再按对象id的倒序重新排列,再取其前count个对象id,该count个对象id就是业务节点所请求数据的对象id,如图12所示;
步骤二:当markId?不为空时,从N个数据节点中,在对象id小于(大于)markId的前提下,分别按对象id的倒序(正序),从startIndex开始取出前count个数据的对象id,然后将这N*count个对象id再按对象id的倒序重新排列,再取其前count个对象id,该count个对象id就是业务节点所请求数据的对象id,如图13所示。
B:再根据获取的对象id去查询数据,并将结果集返回给业务节点,如图14所示。
本发明所述的markId表示的都是同一个意思,即每次查询结果中最后一条记录的对象id值,起到一个标识符的作用;表2所示的markId?与前述的markId唯一区别在于:前者是客户端的markId,后者是业务节点的markId;markId?是客户端传给业务节点的参数值,但该值不是由客户端自己生成的,而是由业务节点的markId值生成后返回给客户端的,所以在客户端第一次发请求时该值必然为空,只有在发送完第一次请求后,客户端传给业务节点的markId参数才会有值;业务节点中的mardId值,它的唯一作用就是记录下查询结果中最后一条记录的对象id值,然后返回给客户端。
上述实施例仅是用来说明本发明,而并非用作对本发明的限定。只要是依据本发明的技术实质,对上述实施例进行变化、变型等都将落在本发明的权利要求的范围内。
Claims (9)
1.一种实时数据的分布存储和分页查询方法,其特征在于,采用至少一个以上数据节点对数据进行存储;查询方法步骤如下:
1)客户端提交查询请求至业务节点;
2)业务节点接收查询请求,判断查询请求中包含的请求显示的信息条数、页码;业务节点以当前查询页面的首个数据的对象ID,结合当前查询页面显示的信息条数进行运算,得出所请求的数据的起始数据的对象ID,并结合请求显示的信息条数,运算得出查询结果,并从数据节点输出符合显示的信息条数、页码的查询结果。
2.根据权利要求1所述的实时数据的分布存储和分页查询方法,其特征在于,所述的对象ID按所属数据生成时间的先后呈递增序列。
3.根据权利要求2所述的实时数据的分布存储和分页查询方法,其特征在于,步骤1)具体为:
1.1)在客户端中设置记录标签参数,该标签的起始值为空,之后的值由业务节点重新计算再传回给客户端;
1.2)客户端在每次请求实时数据时,将页码标签、每页显示信息数标签、记录标签发送至业务节点;
步骤2)具体为:
2.1)业务节点接收客户端发过来的参数,判断请求数据的起始值是否为0或记录标签是否为空,如果满足其中任一项,直接按请求数据的起始值、每页显示信息数标签参数访问数据节点,进行分页查询;
2.2)从数据节点得到查询结果之后,业务节点开始计算记录标签的值,并和查询结果一起返回给客户端;
2.3)如果步骤2.1)的请求数据的起始值和记录标签均不为空,业务节点判断查询请求的页码与当前页码的大小关系;
2.4)计算请求的页码与当前页码差乘以每页显示信息条数得到下一页偏移值,如果查询请求的页码大于当前页码,则查询的首个数据的对象ID为当前页首个数据的对象ID减去下一页偏移值;如果查询请求的页码小于当前页码,则查询的首个数据的对象ID为当前页首个数据的对象ID加上下一页偏移值;
2.5)业务节点重新计算记录标签的值,与数据节点查询结果一起返回给客户端。
4.根据权利要求3所述的实时数据的分布存储和分页查询方法,其特征在于,步骤2.5)所述的计算记录标签的值,方法如下:
a、记录下查询结果最后一条记录的对象ID;
b、将请求数据的起始值与查询结果个数进行相加得到下一页偏移值;
c、再将步骤a中的最后一条记录的对象ID与步骤b中的偏移值拼接为记录标签的值。
5.根据权利要求3所述的实时数据的分布存储和分页查询方法,其特征在于,步骤2.4)具体为:
业务节点从记录标签中获取下一页偏移值和查询结果最后一条记录的对象ID,如果请求数据的起始值大于等于下一页偏移值,则只在数据节点中查询对象ID小于查询结果最后一条记录的对象ID;
如果请求数据的起始值小于下一页偏移值,则只在数据节点中查询对象ID大于查询结果最后一条记录的对象ID。
6.根据权利要求1所述的实时数据的分布存储和分页查询方法,其特征在于,所述的对象ID为全局唯一,对象ID的生成规则为:时间戳+业务节点内流水号+业务节点编号。
7.根据权利要求6所述的实时数据的分布存储和分页查询方法,其特征在于,数据的存储规则为:对象ID与数据节点个数取模,得到的结果为该数据对应存储的数据节点编号。
8.根据权利要求7所述的实时数据的分布存储和分页查询方法,其特征在于,所述的数据节点为在至少一个物理数据节点上创建的不少物理数据节点的虚拟数据节点。
9.根据权利要求1所述的实时数据的分布存储和分页查询方法,其特征在于,从数据节点获取数据的步骤如下:
i.获取所请求数据的对象ID:当标志位ID为空时,表示请求的是第一页的数据,则从各个数据节点中,按请求的数据的对象ID的倒序取出请求的数据总量的对象ID,然后将各个数据节点取出的所有对象ID再倒序重新排列,再从前面取出请求的数据总量的对象ID,该数量的对象ID就是业务节点所请求数据的对象ID;当标志位ID不为空时,根据运算得出所请求的数据的起始数据的对象ID,从各个数据节点中,按请求的数据的对象ID顺序取出请求的数据总量的对象ID,然后将各个数据节点取出的所有对象ID再顺序重新排列,再从前面取出请求的数据总量的对象ID,该数量的对象ID就是业务节点所请求数据的对象ID;
ii.再根据获取的对象ID在数据节点中查询数据,然后将结果集返回给业务节点。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210400710.4A CN103778135B (zh) | 2012-10-18 | 2012-10-18 | 一种实时数据的分布存储和分页查询方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210400710.4A CN103778135B (zh) | 2012-10-18 | 2012-10-18 | 一种实时数据的分布存储和分页查询方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103778135A true CN103778135A (zh) | 2014-05-07 |
CN103778135B CN103778135B (zh) | 2018-01-02 |
Family
ID=50570379
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210400710.4A Active CN103778135B (zh) | 2012-10-18 | 2012-10-18 | 一种实时数据的分布存储和分页查询方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103778135B (zh) |
Cited By (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103605750A (zh) * | 2013-11-22 | 2014-02-26 | 厦门雅迅网络股份有限公司 | 一种快速的分布式数据分页方法 |
CN103942196A (zh) * | 2013-01-17 | 2014-07-23 | 腾讯科技(深圳)有限公司 | 数据查询的方法、设备及系统 |
CN104123340A (zh) * | 2014-06-25 | 2014-10-29 | 世纪禾光科技发展(北京)有限公司 | 一种数据库分表分页查询方法及系统 |
CN105354256A (zh) * | 2015-10-22 | 2016-02-24 | 浪潮电子信息产业股份有限公司 | 一种数据分页查询的方法及装置 |
CN105468644A (zh) * | 2014-09-10 | 2016-04-06 | 阿里巴巴集团控股有限公司 | 一种用于在数据库中进行查询的方法与设备 |
CN105608208A (zh) * | 2015-12-28 | 2016-05-25 | 上海瀚之友信息技术服务有限公司 | 一种大数据并发存储系统及方法 |
CN105843956A (zh) * | 2016-04-14 | 2016-08-10 | 北京搜狐新媒体信息技术有限公司 | 一种分页查询方法及系统 |
CN106021357A (zh) * | 2016-05-09 | 2016-10-12 | 泰华智慧产业集团股份有限公司 | 基于分布式的大数据分页查询方法及系统 |
CN106055612A (zh) * | 2016-05-25 | 2016-10-26 | 青岛海信传媒网络技术有限公司 | 一种数据分页显示方法及终端设备 |
CN106326235A (zh) * | 2015-06-18 | 2017-01-11 | 天脉聚源(北京)科技有限公司 | 一种微信公众帐号信息记录的排序分页的方法和系统 |
CN106446080A (zh) * | 2016-09-09 | 2017-02-22 | 华为技术有限公司 | 数据查询的方法、查询服务设备、客户端设备和数据系统 |
CN106911788A (zh) * | 2017-03-08 | 2017-06-30 | 青岛海信电器股份有限公司 | 一种服务器向终端发送操作记录的方法及装置、终端 |
CN107133340A (zh) * | 2017-05-18 | 2017-09-05 | 杭州迪普科技股份有限公司 | 一种web页面多行文本框内的信息显示方法和装置 |
CN107196980A (zh) * | 2016-03-14 | 2017-09-22 | 阿里巴巴集团控股有限公司 | 页面展现流的控制方法、系统及其装置 |
CN107463623A (zh) * | 2017-07-06 | 2017-12-12 | 积成电子股份有限公司 | 一种变电站历史事项数据库的动态查询方法 |
CN108228750A (zh) * | 2017-12-21 | 2018-06-29 | 浪潮软件股份有限公司 | 一种分布式数据库及其对数据进行管理的方法 |
CN108848244A (zh) * | 2018-04-02 | 2018-11-20 | 阿里巴巴集团控股有限公司 | 一种分页显示的方法及装置 |
CN109344197A (zh) * | 2018-09-13 | 2019-02-15 | 广州帷策智能科技有限公司 | 基于大数据的分页下载方法和装置 |
CN109885729A (zh) * | 2019-02-20 | 2019-06-14 | 北京奇艺世纪科技有限公司 | 一种显示数据的方法、装置及系统 |
CN110297602A (zh) * | 2019-06-14 | 2019-10-01 | 北京奇艺世纪科技有限公司 | 一种实时数据的处理方法及装置 |
CN110928900A (zh) * | 2018-09-17 | 2020-03-27 | 马上消费金融股份有限公司 | 多表数据的查询方法、装置、终端以及计算机存储介质 |
CN111241436A (zh) * | 2019-12-31 | 2020-06-05 | 五八有限公司 | 一种数据请求处理方法、装置、终端设备及存储介质 |
CN112035524A (zh) * | 2020-09-02 | 2020-12-04 | 中国银行股份有限公司 | 列表数据查询方法、装置、计算机设备及可读存储介质 |
CN112612827A (zh) * | 2020-12-25 | 2021-04-06 | 平安国际智慧城市科技股份有限公司 | 数据库分页查询方法、装置、计算机设备及存储介质 |
CN113946725A (zh) * | 2021-12-20 | 2022-01-18 | 飞狐信息技术(天津)有限公司 | 分页查询方法及装置、存储介质及电子设备 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101030203A (zh) * | 2006-03-04 | 2007-09-05 | 李勇坚 | 数据分页显示的方法 |
US20070282869A1 (en) * | 2006-06-05 | 2007-12-06 | Microsoft Corporation | Automatically generating web forms from database schema |
-
2012
- 2012-10-18 CN CN201210400710.4A patent/CN103778135B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101030203A (zh) * | 2006-03-04 | 2007-09-05 | 李勇坚 | 数据分页显示的方法 |
US20070282869A1 (en) * | 2006-06-05 | 2007-12-06 | Microsoft Corporation | Automatically generating web forms from database schema |
Non-Patent Citations (1)
Title |
---|
TINYLIAN: "分页数据可能重复问题", 《德问 WWW.DEWEN.NET.CN/Q/3184/分页数据可能重复问题》 * |
Cited By (41)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103942196A (zh) * | 2013-01-17 | 2014-07-23 | 腾讯科技(深圳)有限公司 | 数据查询的方法、设备及系统 |
CN103942196B (zh) * | 2013-01-17 | 2019-09-13 | 腾讯科技(深圳)有限公司 | 数据查询的方法、设备及系统 |
CN103605750A (zh) * | 2013-11-22 | 2014-02-26 | 厦门雅迅网络股份有限公司 | 一种快速的分布式数据分页方法 |
CN103605750B (zh) * | 2013-11-22 | 2018-11-30 | 厦门雅迅网络股份有限公司 | 一种快速的分布式数据分页方法 |
CN104123340A (zh) * | 2014-06-25 | 2014-10-29 | 世纪禾光科技发展(北京)有限公司 | 一种数据库分表分页查询方法及系统 |
CN104123340B (zh) * | 2014-06-25 | 2018-04-20 | 世纪禾光科技发展(北京)有限公司 | 一种数据库分表分页查询方法及系统 |
CN105468644A (zh) * | 2014-09-10 | 2016-04-06 | 阿里巴巴集团控股有限公司 | 一种用于在数据库中进行查询的方法与设备 |
CN105468644B (zh) * | 2014-09-10 | 2018-11-23 | 菜鸟智能物流控股有限公司 | 一种用于在数据库中进行查询的方法与设备 |
CN106326235A (zh) * | 2015-06-18 | 2017-01-11 | 天脉聚源(北京)科技有限公司 | 一种微信公众帐号信息记录的排序分页的方法和系统 |
CN105354256A (zh) * | 2015-10-22 | 2016-02-24 | 浪潮电子信息产业股份有限公司 | 一种数据分页查询的方法及装置 |
CN105608208A (zh) * | 2015-12-28 | 2016-05-25 | 上海瀚之友信息技术服务有限公司 | 一种大数据并发存储系统及方法 |
CN105608208B (zh) * | 2015-12-28 | 2019-04-02 | 上海瀚之友信息技术服务有限公司 | 一种大数据并发存储系统及方法 |
CN107196980B (zh) * | 2016-03-14 | 2020-11-13 | 创新先进技术有限公司 | 页面展现流的控制方法、系统及其装置 |
CN107196980A (zh) * | 2016-03-14 | 2017-09-22 | 阿里巴巴集团控股有限公司 | 页面展现流的控制方法、系统及其装置 |
CN105843956A (zh) * | 2016-04-14 | 2016-08-10 | 北京搜狐新媒体信息技术有限公司 | 一种分页查询方法及系统 |
CN106021357A (zh) * | 2016-05-09 | 2016-10-12 | 泰华智慧产业集团股份有限公司 | 基于分布式的大数据分页查询方法及系统 |
CN106021357B (zh) * | 2016-05-09 | 2019-05-03 | 泰华智慧产业集团股份有限公司 | 基于分布式的大数据分页查询方法及系统 |
CN106055612A (zh) * | 2016-05-25 | 2016-10-26 | 青岛海信传媒网络技术有限公司 | 一种数据分页显示方法及终端设备 |
CN106446080A (zh) * | 2016-09-09 | 2017-02-22 | 华为技术有限公司 | 数据查询的方法、查询服务设备、客户端设备和数据系统 |
CN106911788B (zh) * | 2017-03-08 | 2020-06-23 | 海信视像科技股份有限公司 | 一种服务器向终端发送操作记录的方法及装置、终端 |
CN106911788A (zh) * | 2017-03-08 | 2017-06-30 | 青岛海信电器股份有限公司 | 一种服务器向终端发送操作记录的方法及装置、终端 |
CN107133340A (zh) * | 2017-05-18 | 2017-09-05 | 杭州迪普科技股份有限公司 | 一种web页面多行文本框内的信息显示方法和装置 |
CN107463623B (zh) * | 2017-07-06 | 2020-06-09 | 积成电子股份有限公司 | 一种变电站历史事项数据库的动态查询方法 |
CN107463623A (zh) * | 2017-07-06 | 2017-12-12 | 积成电子股份有限公司 | 一种变电站历史事项数据库的动态查询方法 |
CN108228750A (zh) * | 2017-12-21 | 2018-06-29 | 浪潮软件股份有限公司 | 一种分布式数据库及其对数据进行管理的方法 |
CN108848244A (zh) * | 2018-04-02 | 2018-11-20 | 阿里巴巴集团控股有限公司 | 一种分页显示的方法及装置 |
CN109344197B (zh) * | 2018-09-13 | 2021-01-26 | 广州帷策智能科技有限公司 | 基于大数据的分页下载方法和装置 |
CN109344197A (zh) * | 2018-09-13 | 2019-02-15 | 广州帷策智能科技有限公司 | 基于大数据的分页下载方法和装置 |
CN110928900A (zh) * | 2018-09-17 | 2020-03-27 | 马上消费金融股份有限公司 | 多表数据的查询方法、装置、终端以及计算机存储介质 |
CN110928900B (zh) * | 2018-09-17 | 2021-02-19 | 马上消费金融股份有限公司 | 多表数据的查询方法、装置、终端以及计算机存储介质 |
CN109885729A (zh) * | 2019-02-20 | 2019-06-14 | 北京奇艺世纪科技有限公司 | 一种显示数据的方法、装置及系统 |
CN109885729B (zh) * | 2019-02-20 | 2021-07-20 | 北京奇艺世纪科技有限公司 | 一种显示数据的方法、装置及系统 |
CN110297602A (zh) * | 2019-06-14 | 2019-10-01 | 北京奇艺世纪科技有限公司 | 一种实时数据的处理方法及装置 |
CN110297602B (zh) * | 2019-06-14 | 2023-03-07 | 北京奇艺世纪科技有限公司 | 一种实时数据的处理方法及装置 |
CN111241436A (zh) * | 2019-12-31 | 2020-06-05 | 五八有限公司 | 一种数据请求处理方法、装置、终端设备及存储介质 |
CN112035524A (zh) * | 2020-09-02 | 2020-12-04 | 中国银行股份有限公司 | 列表数据查询方法、装置、计算机设备及可读存储介质 |
CN112035524B (zh) * | 2020-09-02 | 2024-04-19 | 中国银行股份有限公司 | 列表数据查询方法、装置、计算机设备及可读存储介质 |
CN112612827A (zh) * | 2020-12-25 | 2021-04-06 | 平安国际智慧城市科技股份有限公司 | 数据库分页查询方法、装置、计算机设备及存储介质 |
CN112612827B (zh) * | 2020-12-25 | 2024-07-12 | 平安国际智慧城市科技股份有限公司 | 数据库分页查询方法、装置、计算机设备及存储介质 |
CN113946725A (zh) * | 2021-12-20 | 2022-01-18 | 飞狐信息技术(天津)有限公司 | 分页查询方法及装置、存储介质及电子设备 |
CN113946725B (zh) * | 2021-12-20 | 2022-03-01 | 飞狐信息技术(天津)有限公司 | 分页查询方法及装置、存储介质及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN103778135B (zh) | 2018-01-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103778135A (zh) | 一种实时数据的分布存储和分页查询方法 | |
CN108536761B (zh) | 报表数据查询方法及服务器 | |
CN108628608A (zh) | 一种数据可视化的方法及装置 | |
US8392473B2 (en) | Fast hierarchical enrichment | |
Whitby et al. | Geowave: Utilizing distributed key-value stores for multidimensional data | |
CN103440288A (zh) | 一种大数据存储方法及装置 | |
CN103177059A (zh) | 用于数据库计算引擎的分离处理路径 | |
CN107977396B (zh) | 一种KeyValue数据库的数据表的更新方法与表数据更新装置 | |
CN102663117A (zh) | 面向数据库与Hadoop混合平台的OLAP查询处理方法 | |
CN106611037A (zh) | 用于分布式图计算的方法与设备 | |
CN102508850A (zh) | 表单数据处理装置和表单数据处理方法 | |
CN103036921B (zh) | 一种用户行为分析系统和方法 | |
US9305034B2 (en) | Enhanced reporting system | |
CN103902548B (zh) | 一种访问数据库的系统和方法及注册、订票、网购系统 | |
CN106095964A (zh) | 一种对数据进行可视化归档与搜索的方法 | |
CN109388659B (zh) | 数据存储方法、装置和计算机可读存储介质 | |
CN112036931A (zh) | 一种实时标签计算方法、装置、计算机设备及存储介质 | |
CN110716955A (zh) | 一种快速响应数据查询请求的方法和系统 | |
CN112434062A (zh) | 准实时数据处理方法、装置、服务器及存储介质 | |
CN111026759B (zh) | 基于Hbase的报表生成方法及装置 | |
CN108595552A (zh) | 数据立方体发布方法、装置、电子设备和存储介质 | |
Camacho-Rodríguez et al. | Web data indexing in the cloud: efficiency and cost reductions | |
CN103020264B (zh) | 多子集实体数据的存储显示方法及装置 | |
CN115495452A (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
WO2019042276A1 (zh) | 一种关系图的打印方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP03 | Change of name, title or address | ||
CP03 | Change of name, title or address |
Address after: 303-e, Zone C, innovation building, software park, torch hi tech Zone, Xiamen City, Fujian Province Patentee after: Xiamen Yaxun Zhilian Technology Co.,Ltd. Country or region after: China Address before: No.46 guanri Road, phase II, software park, Xiamen City, Fujian Province, 361000 Patentee before: XIAMEN YAXON NETWORK Co.,Ltd. Country or region before: China |