CN107180043A - 分页实现方法和分页系统 - Google Patents

Abstract

本发明实施例提供的分页实现方法，包括：接收分页请求信息，所述分页请求数据中包括查询SQL和第二数据的校验信息；判断第一缓存中是否存储所述查询SQL；根据所述查询SQL检索所述第一缓存，获得第一分片索引；根据所述校验信息判断第二缓存中是否存储所述第二数据；从所述第二缓存中获得第一数据；以及根据所述第一数据获得所述第二数据；其中，所述第一分片索引包含至少一个分片索引，所述第一缓存存储所述查询SQL和所述第一分片索引的对应关系，所述第二缓存储所述第一数据，所述第一数据以一个分片索引标记。通过第一缓存和第二缓存的组合使用，规避数据库分页和内存分页的缺点，提高内存使用效率，满足高并发的分页请求。

Description

分页实现方法和分页系统

技术领域

本发明涉及计算机领域，具体地，涉及一种分页实现方法和分页系统。

背景技术

随着互联网的迅速发展，信息量越来越大，有些数据库存储表的数据已达到千万级以上，面对如此庞大的数据记录集，在有限的页面内不可能一页展示。那么需要有一种方法，提供快速准确的分页显示。

传统的分页技术包括两种：

一种是数据全部加载之后再分页。这种分页通常是利用前端分页控件进行分页，将后台的全部数据查询出来保存在相应的集合中，再将此数据集合传到前端分页控件中，这种方法实现起来比较简单。优点是速度快，缺点是当读取的数据量较大时，全部加载到内存里容易超过内存的最大限量，从而导致内存溢出，且初次加载的速度较慢；

另一种是利用数据库进行分页。这种分页利用DBMS(DatabaseManagement System，数据库管理系统)的SQL(Structured Query Language，结构化查询语言)语句来分页。当数据量很大，页数较多时，跳转到较大页码的页面的查询速度比较慢，不适合大规模的并发访问。

因此需要一种更加高效的分页技术，用于提高数据量比较大、高并发情况下的分页性能。

发明内容

有鉴于此，本发明提供一种分页实现方法和分页系统，以解决上述问题。

根据本发明的第一方面，提供一种分页实现方法，包括：接收分页请求信息，所述分页请求数据中包括查询SQL和第二数据的校验信息；判断第一缓存中是否存储所述查询SQL；根据所述查询SQL检索所述第一缓存，获得第一分片索引；根据所述校验信息判断第二缓存中是否存储所述第二数据；从所述第二缓存中获得第一数据；以及根据所述第一数据获得所述第二数据；

其中，所述第一分片索引包含至少一个分片索引，所述第一缓存存储所述查询SQL和所述第一分片索引的对应关系，所述第二缓存储所述第一数据，所述第一数据以一个分片索引标记。

优选地，所述第二数据的校验信息包括所述第二数据的分页页码和最大显示记录数，所述根据所述校验信息判断第二缓存中是否存储第二数据包括：通过所述分页页码和所述最大显示记录数计算所述第二数据对应的第二分片索引；以及判断所述第一分片索引是否包含所述第二分片索引，所述第二分片索引包含至少一个所述分片索引。

优选地，还包括：当所述查询SQL没有存储在所述第一缓存中或所述第二数据没有存储在所述第二缓存中时，通过所述查询SQL从数据库中获得第三数据；以及确定所述第三数据对应的分片索引。

优选地，还包括：将所述第三数据存储到所述第二缓存中；以及将所述查询SQL和所述第三数据对应的所述分片索引存储到所述第一缓存中。

优选地，所述数据库包括关系型数据库和非关系型数据库。

优选地，还包括：根据用户行为删除所述第二缓存中的第一数据和/或所述第一缓存中的查询SQL。

优选地，还包括：为所述第一缓存和第二缓存设定容量阈值；以及根据所述容量阈值删除所述第二缓存中的第一数据和/或所述第一缓存中的查询SQL。

优选地，每一所述查询SQL对应至少一个所述分片索引。

根据本发明的第二方面，提供接收模块，用于接收查询SQL和校验信息；校验模块，用于根据所述查询SQL和所述校验信息判断第一缓存中是否包含所述查询SQL，以及第二缓存是否包含第二数据；第一缓存模块，包括所述第一缓存，所述第一缓存用于存储所述查询SQL和分片索引的对应关系，所述第一缓存模块根据所述查询SQL从所述第一缓存中获得所述分片索引；第二缓存模块，包括第二缓存，所述第二缓存存储所述第一数据，所述第一数据以一个所述分片索引标记，所述第二缓存模块用于从第二缓存中读取第一数据，并根据所述页码和所述最大显示记录数从所述第一数据中读取第二数据。

优选地，还包括：数据库模块，用于从数据库中读取所述第三数据，并确定所述第三数据对应的分片索引。

优选地，所述第二缓存模块还用于将所述第三数据存储到所述第二缓存中，所述第一缓存模块还用于将所述第三数据和第三数据对应的分片索引存储到所述第一缓存中。

优选地，所述数据库包括关系型数据库和非关系型数据库。

优选地，还包括：第一删除模块，用于根据用户行为删除所述第二缓存中的第一数据和/或所述第一缓存中的查询SQL。

优选地，还包括：第二删除模块，用于为所述第一缓存和第二缓存设定容量阈值；以及根据所述容量阈值删除所述第二缓存中的第一数据和/或所述第一缓存中的查询SQL。

本发明实施例提供的分页实现方法，包括：接收分页请求信息，所述分页请求数据中包括查询SQL和第二数据的校验信息；判断第一缓存中是否存储所述查询SQL；根据所述查询SQL检索所述第一缓存，获得第一分片索引；根据所述校验信息判断第二缓存中是否存储所述第二数据；从所述第二缓存中获得第一数据；以及根据所述第一数据获得所述第二数据；其中，所述第一分片索引包含至少一个分片索引，所述第一缓存存储所述查询SQL和所述第一分片索引的对应关系，所述第二缓存储所述第一数据，所述第一数据以一个分片索引标记。通过第一缓存和第二缓存的组合使用，规避数据库分页和内存分页的缺点，提高内存使用效率，满足高并发的分页请求。

附图说明

通过参照以下附图对本发明实施例的描述，本发明的上述以及其它目的、特征和优点将更为清楚，在附图中：

图1是根据本发明实施例的分页实现方法的流程图；

图2是根据本发明另一实施例的分页实现方法的流程图；

图3是根据本发明实施例的分页系统的结构示意图；

图4是根据本发明实施例的第一缓存和第二缓存的示意图。

具体实施方式

以下基于实施例对本发明进行描述，但是本发明并不仅仅限于这些实施例。在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。为了避免混淆本发明的实质，公知的方法、过程、流程没有详细叙述。另外附图不一定是按比例绘制的。还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者步骤与另一个实体或步骤区分开来，而不一定要求或者暗示这些实体或步骤之间存在任何这种实际的关系或者顺序。

图1是根据本发明实施例的分页实现方法的流程图。图1所述的分页实现方法包括步骤101-106。

在步骤101中，接收查询SQL和第二数据的校验信息。这里第二数据为用户请求的数据集合。校验信息用于校验请求数据，可以是数据的区别特征，例如，数据的开始标签(开始索引)和结束标签(结束索引)，分页请求中的分页页码和显示的最大记录数，或其他校验信息(例如，数据的特征向量)。本步骤中的查询SQL对应着用户的查询行为。例如，用户在电商系统中检索“可乐”的产品，检索到的记录没办法在一个页面全部显示，固定每页显示100条记录，则100条记录为最大显示记录数。每次用户切换页码时提交的分页请求中都包括一个查询SQL、要求显示的页码和最大显示记录数。

在步骤102中，判断第一缓存中是否存储查询SQL。第一缓存内存储查询SQL和分片索引的对应关系。如果存储有查询SQL，执行步骤103。

在步骤103中，根据查询SQL检索第一缓存，获得第一分片索引。

在步骤104中，判断第二缓存中是否存储有第二数据。如果第二数据存储在第二缓存中，执行步骤105。

本步骤中的第一索引用于标识一个分片索引的组合，至少包含一个分片索引。

图4是根据本发明实施例的第一缓存和第二缓存的示意图。如图4所示，第一缓存包含的SQL1,{a11,a12}、SQL2,{a21,a22}分别表示查询SQL”SQL1”对应两个分片索引a11和a12，查询SQL”SQL2”对应两个分片索引a21和a22，a11、a12、a21和a22分别指向第二缓存的一个存储位置，且用于标记一个有序记录集。

在做数据分页的检索时，由于数据量较大，并不适合一次性加载到内存(背景技术中阐述过这种方式的缺点)，所以这里将数据分片后加载到缓存中。当分片大小能被分页的最大显示记录数整除时，这个转化很简单，因为每次跳转页码时请求的数据集都完全落在了某个分片数据中。可以根据页面显示的最大显示记录数设置分片大小。例如，分片大小设置为4800，因为这个值能够被10 15 20 25 30 40 50 60 80 100 200等很多常用分页大小整除，则每次请求的数据都会落在一个分片数据中。当然，当分片大小不能被分页的最大记录数整除时，这表示分页请求的数据会落在至少两个不同的分片上，通过相应的计算也能够计算出所在的分片。另外，下标指示分片数据的排列顺序，例如，上述a11的数据为第11个分片，如果分片大小设置为1000，则a11缓存中存储的记录为第10001条记录到第11000条记录。在实际应用中，应该根据实际需求确定分片大小，分片太大浪费内存，分片太小片数过多。

在上述步骤102至104中，先判断查询SQL是否在第一缓存中存储，如果存储，从第一缓存中获取查询SQL对应的多个分片索引，根据校验信息判断第二数据是否在某个数据分片中。具体地，例如，分片大小4800，最大显示记录数是100，页码是10，则请求的数据记录为第901-1000记录，位在第一个数据分片，其对应的分片索引应为a1。进一步判断通过查询SQL获得的分片索引是否包括a1，由此确定第二数据是否存储在第二缓存中。

在步骤105中，从第二缓存中获得第一数据。

在步骤106中，从第一数据中获得第二数据。

在前述步骤中通过判断确定第一缓存包含查询SQL，第二缓存包含第二数据，在步骤105-106中，根据分片索引获得第一数据，通过计算获得第二数据在第一数据中的起始位置，从起始位置开始，根据最大显示记录数获取数据集，作为第二数据返回到客户端。注意，如果请求数据落在两个分片数据上，则这里的第一数据指两个分片数据。

本实施例提供的分页实现方法，将分片数据的索引和查询SQL的对应关系保存在第一缓存中，将分片数据保存到第二缓存中，当高并发的分页请求时，不需要从数据库中读取数据，而是从第一缓存和第二缓存检索获得页面的数据，以此提高内存使用效率。

图2是根据本发明另一实施例的分页实现方法的流程图，包括步骤201-208。

在步骤201中，接收查询SQL和校验信息。与图1的步骤101相同，这里就不再赘述。

在步骤202中，判断第一缓存中是否存储查询SQL。如果第一缓存中包含查询SQL，则执行步骤203，否则执行步骤207。

在步骤203中，根据查询SQL检索第一缓存，获得分片索引。与图1的步骤103相同，这里就不再赘述。

在步骤204中，判断第二缓存中是否存储有第二数据。如果第二缓存包含第二数据，则执行步骤205，否则执行步骤207。

在步骤205中，从第二缓存中获得第一数据。与图1的步骤105相同，这里就不再赘述。

在步骤206中，从第一数据中获得第二数据。与图1的步骤106相同，这里就不再赘述。

在步骤207中，通过查询SQL查询数据库获得第一数据以及第一数据对应的分片索引。当第一缓存中不包含查询SQL或虽然包含查询SQL，但页面需要显示的分页数据没有包含在第二缓存中时，通过查询SQL查询数据库，获得包含第二数据的分片数据。其中，数据库可以是关系型数据库、非关系型数据或两者组合。

在步骤208中，将查询SQL和分片索引存储到第一缓存，将分片数据存储到第二缓存。在本步骤中，步骤207中获得的分片数据存储到第二缓存，将查询SQL和分片数据的分片索引存储到第一缓存中。

本实施例提供的分页实现方法，当需要显示的分页数据不包含在第二缓存中时，从数据库中获得对应的分片数据，并将对应的分片数据和分片索引存储到第一缓存和第二缓存，当下次分页请求即可以从缓存中获取分页数据。这种分页方式通过缓存和数据库结合的方式，既避免了将所有分页数据导入缓存导致内存开销过大的问题，也避免了数据库分页较慢的问题。

在一个优选的实施例中，分页实现方法还包括：根据用户行为删除分片数据和/或查询SQL。例如，前述“可乐”的检索，如果每次用户只查看前100条记录，则经过一段时间后可以删除不包括前100条记录的分片数据，以节省内存空间。再例如，一个“果汁”的检索只使用了一次，其后长期没有使用，则可以删除该查询SQL以及对应的分片数据。通过用户行为决定缓存的使用，提高内存的使用效率，提高用户的满意度。

在一个优选的实施例中，为了保证缓存的使用效率，为第一缓存和第二缓存的容量大小分别设定一个阈值，当第一缓存和第二缓存存储的数据超过阈值时，删除最早未使用的查询SQL和/或分片数据。

图3是根据本发明实施例的分页系统的结构示意图。分页系统30包括接收模块301、校验模块302、第一缓存模块303、第二缓存模块304、数据库模块305。

接收模块301用于接收查询SQL和校验信息。所述校验信息用于校验请求的目标数据。

校验模块302用于根据查询SQL和校验信息判断第一缓存中是否包含所述查询SQL，以及第二缓存是否包含第二数据。

第一缓存模块303包括第一缓存，第一缓存用于存储所述查询SQL和分片索引的对应关系，第一缓存模块用于根据查询SQL从所述第一缓存中获得分片索引。

第二缓存模块304包括第二缓存，第二缓存存储第一数据，第二缓存模块用于根据分片索引从第二缓存中读取第一数据，并根据页码和最大显示记录数从第一数据中读取第二数据。

数据库模块305用于从数据库中读取第三数据，并确定第三数据对应的分片索引。通过数据访问的DAO访问数据库读取数据。数据库可以是关系型数据库、非关系型数据或两者组合。

在一个优选的实施例中，第二缓存模块还用于将第三数据存储到第二缓存中，第一缓存模块还用于将所述第三数据和第三数据对应的分片索引存储到所述第一缓存中。

在一个优选的实施例中，上述分页系统还包括：第一删除模块，用于根据用户行为删除第二缓存中的第一数据和/或第一缓存中的查询SQL。第一删除模块定期轮询缓存使用状态，将超过一定期限未使用的数据删除，或在将数据存储到第一缓存和第二缓存时，将超期未使用的数据删除。

在一个优选的实施例中，上述分页系统还包括：第二删除模块，用于为第一缓存和第二缓存设定容量阈值，当第一缓存或第二缓存中存储的数据超过阈值时，从第一缓存或第二缓存中删除第一数据和/或第一缓存中的查询SQL以及对应的分片索引。

本发明实施例提供的分页系统，通过缓存和数据库的组合使用，规避了各自的缺点，可以很好提升系统的性能。尤其用户在相邻几页做切换时，效果将会非常明显，提升用户的体验效果。更进一步，基于用户行为的缓存调整方法，提高了内存使用的效率。

附图中的流程图、框图图示了本发明实施例的系统、方法、装置的可能的体系框架、功能和操作，流程图和框图上的方框可以代表一个模块、程序段或仅仅是一段代码，所述模块、程序段和代码都是用来实现规定逻辑功能的可执行指令。也应当注意，所述实现规定逻辑功能的可执行指令可以重新组合，从而生成新的模块和程序段。因此附图的方框以及方框顺序只是用来更好的图示实施例的过程和步骤，而不应以此作为对发明本身的限制。

本领域技术人员可以理解，根据本发明的系统的各个模块或单元可以通过硬件、固件或软件实现。软件例如包括采用JAVA、C/C++/C#、SQL等各种编程语言形成的编码程序。虽然在方法以及方法图例中给出本发明实施例的步骤以及步骤的顺序，但是所述步骤实现规定的逻辑功能的可执行指令可以重新组合，从而生成新的步骤。所述步骤的顺序也不应该仅仅局限于所述方法以及方法图例中的步骤顺序，可以根据功能的需要随时进行调整。例如将其中的某些步骤并行或按照相反顺序执行。

根据本发明的系统和方法可以部署在单个或多个服务器上。例如，可以将不同的模块分别部署在不同的服务器上，形成专用服务器。或者，可以在多个服务器上分布式部署相同的功能单元、模块或系统，以减轻负载压力。所述服务器包括但不限于在同一个局域网以及通过Internet连接的多个PC机、PC服务器、刀片机、超级计算机等。

以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (14)

1.一种分页实现方法，包括：

接收分页请求信息，所述分页请求数据中包括查询SQL和第二数据的校验信息；

判断第一缓存中是否存储所述查询SQL；

根据所述查询SQL检索所述第一缓存，获得第一分片索引；

根据所述校验信息判断第二缓存中是否存储所述第二数据；

从所述第二缓存中获得第一数据；以及

根据所述第一数据获得所述第二数据；

其中，所述第一分片索引包含至少一个分片索引，所述第一缓存存储所述查询SQL和所述第一分片索引的对应关系，所述第二缓存储所述第一数据，所述第一数据以一个分片索引标记。

2.根据权利要求1所述的分页方法，其中，所述第二数据的校验信息包括所述第二数据的分页页码和最大显示记录数，所述根据所述校验信息判断第二缓存中是否存储第二数据包括：

通过所述分页页码和所述最大显示记录数计算所述第二数据对应的第二分片索引；以及判断所述第一分片索引是否包含所述第二分片索引，所述第二分片索引包含至少一个所述分片索引。

3.根据权利要求1所述的分页实现方法，还包括：当所述查询SQL没有存储在所述第一缓存中或所述第二数据没有存储在所述第二缓存中时，通过所述查询SQL从数据库中获得第三数据；以及确定所述第三数据对应的分片索引。

4.根据权利要求3所述的分页实现方法，还包括：将所述第三数据存储到所述第二缓存中；以及将所述查询SQL和所述第三数据对应的所述分片索引存储到所述第一缓存中。

5.根据权利要求3所述的分页实现方法，其中，所述数据库包括关系型数据库和非关系型数据库。

6.根据权利要求1至5任一项所述的分页实现方法，还包括：根据用户行为删除所述第二缓存中的第一数据和/或所述第一缓存中的查询SQL。

7.根据权利要求1至5任一项所述的分页实现方法，还包括：为所述第一缓存和第二缓存设定容量阈值；以及根据所述容量阈值删除所述第二缓存中的第一数据和/或所述第一缓存中的查询SQL。

8.根据权利要求1所述的分页实现方法，其中，每一所述查询SQL对应至少一个所述分片索引。

9.一种分页系统，包括：

接收模块，用于接收查询SQL和校验信息；

校验模块，用于根据所述查询SQL和所述校验信息判断第一缓存中是否包含所述查询SQL，以及第二缓存是否包含第二数据；

第一缓存模块，包括所述第一缓存，所述第一缓存用于存储所述查询SQL和分片索引的对应关系，所述第一缓存模块根据所述查询SQL从所述第一缓存中获得所述分片索引；

第二缓存模块，包括第二缓存，所述第二缓存存储所述第一数据，所述第一数据以一个所述分片索引标记，所述第二缓存模块用于从第二缓存中读取第一数据，并根据所述页码和所述最大显示记录数从所述第一数据中读取第二数据。

10.根据权利要求9所述的分页系统，还包括：数据库模块，用于从数据库中读取所述第三数据，并确定所述第三数据对应的分片索引。

11.根据权利要求10所述的分页系统，其中，所述第二缓存模块还用于将所述第三数据存储到所述第二缓存中，所述第一缓存模块还用于将所述第三数据和第三数据对应的分片索引存储到所述第一缓存中。

12.根据权利要求10所述的分页系统，其中，所述数据库包括关系型数据库和非关系型数据库。

13.根据权利要求9至12任一项所述的分页系统，还包括：第一删除模块，用于根据用户行为删除所述第二缓存中的第一数据和/或所述第一缓存中的查询SQL。

14.根据权利要求9至12任一项所述的分页系统，还包括：第二删除模块，用于为所述第一缓存和第二缓存设定容量阈值；以及根据所述容量阈值删除所述第二缓存中的第一数据和/或所述第一缓存中的查询SQL。