CN104123340B - 一种数据库分表分页查询方法及系统 - Google Patents

一种数据库分表分页查询方法及系统 Download PDF

Info

Publication number
CN104123340B
CN104123340B CN201410287735.7A CN201410287735A CN104123340B CN 104123340 B CN104123340 B CN 104123340B CN 201410287735 A CN201410287735 A CN 201410287735A CN 104123340 B CN104123340 B CN 104123340B
Authority
CN
China
Prior art keywords
database
record
paging query
condition
tables
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410287735.7A
Other languages
English (en)
Other versions
CN104123340A (zh
Inventor
薛继东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Digital Trade Technology (Beijing) Co., Ltd.
Original Assignee
Century Light Technology Development (beijing) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Century Light Technology Development (beijing) Co Ltd filed Critical Century Light Technology Development (beijing) Co Ltd
Priority to CN201410287735.7A priority Critical patent/CN104123340B/zh
Publication of CN104123340A publication Critical patent/CN104123340A/zh
Application granted granted Critical
Publication of CN104123340B publication Critical patent/CN104123340B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种数据库分表分页查询方法及系统，应用层向数据访问层发起查询请求，由数据访问层计算得出符合查询条件的N张表并分别查询每张表中满足条件的记录数，之后，根据请求页和请求页的记录数，定位到请求页所在的表和该表中记录所处的位置，再根据表和记录所处的位置查询数据库获取相应的记录，最后返回结果至应用层，在数据访问层访问数据库之前与处理完结果后都访问缓存区域，读取或保存相应数据，通过分层分页查询，提高了数据库资源的有效利用，缓解了数据库系统的压力。

Description

一种数据库分表分页查询方法及系统
技术领域
本发明涉及一种数据库分表分页查询的方法及系统。
背景技术
随着信息技术和市场的发展，特别是二十世纪九十年代以后，数据管理不再仅仅是存储和管理数据，而转变成用户所需要的各种数据管理的方式，同时，数据库中的信息量越来越大，而人们时常需要根据自身需要检索查询数据库中的各种信息。当数据量过大时，查询时可能会导致各种各样的问题发生，如服务器资源被耗尽，因数据传输量过大而使处理超时等，最终都会导致查询无法完成，查询得到的结构往往很多，甚至是海量数据。如果统统一起显示，往往也让人无法找到其真正想要获知的信息。当数据库中一张表的数据量过大时，我们会把该表的数据按照某种规则，如按时间区间进行切分，存储到多个结构相同的表上，后续在对数据进行操作时，就不用再操作一张大表，而是把压力分摊到多个表上，以提高执行效率。在进行分页查询时，由于数据可能分布在多张表上，则完成对多张表的查询工作。
如专利申请号为201310486341.X的中国专利申请提出了一种数据库分页查询及数据库的构建方法和装置，接收分页查询请求，根据请求查询统计表，得到与被请求查询的页面相关的索引表，在相关的索引表中获得被请求查询的页面所包含的消息的消息主键，根据获得的被请求查询的页面所包含的消息的消息主键，在主信息表中获取相应的消息内容。再如申请号为201310753860.8的中国专利申请中提供了一种基于MVC的分页查询系统，包括数据库读取单元、服务层传接数据单元和MVC单元，所述的数据库读取单元读取信息后传输给服务层传接数据单元，服务层传接数据单元从MVC控制器中选择需要的方法并获取，然后经MVC处理将数据反馈到服务层传接数据单元，服务层传接数据单元将请求参数传输给数据库读取单元，进而反馈查询结果。
这种技术利用数据库本身的能力解决了分表分页查询的功能，但是，考虑到数据库是很重要的资源，如果每张表的数据量都很大，如图2所示，在利用数据库技术，联合查询四张表获取满足条件的总记录数以及分页按创建时间倒序查询出满足条件的第一页的记录将会长时间占用数据库连接，特别是对于一些需按时间倒序查询记录的事件，会极大耗费数据库资源，造成其它线程等待，严重影响数据库和程序性能，如果存在多个同样的操作，甚至可能造成数据库系统的崩溃。
发明内容
为了解决上述问题，本发明提供一种解决数据库分表分页查询的方法及系统，以解决分表分页查询时，严重耗费数据库资源的问题，以缓解数据库系统压力。
本发明第一个方面提供了一种数据库分表分页查询的方法，通过计算得出符合查询条件的N张表并对所述N张表进行查询以获得满足条件的记录，具体包括以下步骤：
S1、分别查询每张表中满足条件的记录数；
S2、根据请求页和请求页的记录数，定位到请求页所在的表和该表中记录所处的位置；
S3、根据表和记录所处的位置查询数据库获取相应的记录；
S4、对请求和请求结果进行缓存的建立及删除；
S5、返回请求结果。
优选的是，所述步骤S1-S3包括对表进行查询，之后由缓存区域经过步骤S4对数据进行存储。
在上述任一方案中优选的是，所述计算得出符合查询条件的表之前判断缓存池中是否有以查询条件为键的缓存对象，若存在此缓存对象，则直接将缓存池中的结果返回给请求方。
在上述任一方案中优选的是，所述N张表至少为一张表。
在上述任一方案中优选的是，在所述步骤S4中，以查询条件为键，将查询条件及查询结果放入缓存池中。
在上述任一方案中优选的是，在数据库存储的信息发生变化时，删除缓存池中相对应的缓存对象。
在上述任一方案中优选的是，所述删除相对应的缓存对象指删除在与查询条件相关的数据库发生变化时而导致不具备实时性的缓存对象。
在上述任一方案中优选的是，所述N张表从同一数据库中进行调用。
在上述任一方案中优选的是，所述N张表从不同数据库中进行调用。
本发明另一个方面提供了一种数据库分表分页查询系统，包括：
应用层，用于发起分表分页查询请求；
数据访问层，计算需要查询的N张表；
处理单元：用于查询每张表中满足条件的记录数；
定位单元：用于在数据库中定位记录；
缓存区域：用于接收查询条件及查询结果并对数据进行缓存。
优选的是，所述处理单元与定位单元位于数据访问层。
在上述任一方案中优选的是，所述数据访问层连接缓存区域。
在上述任一方案中优选的是，所述N张表至少为一张表。
在上述任一方案中优选的是，所述缓存区域用于保存数据访问层处理后得到的结果。
在上述任一方案中优选的是，在数据库存储的信息发生变化时，删除缓存区域中相对应的缓存对象。
在上述任一方案中优选的是，所述删除相对应的缓存对象指删除在与查询条件相关的数据库发生变化时而导致不具备实时性的缓存对象。
在上述任一方案中优选的是，所述N张表位于同一数据库。
在上述任一方案中优选的是，所述N张表位于不同数据库
附图说明
图1为按照本发明的数据库分表分页查询方法的一优选实施例的分表示意图。
图2为现有技术数据库分页处理示意图。
图3为按照本发明的数据库分表分页查询方法的图1所示实施例的一优选实施例的分表示意图。
图4为按照本发明的数据库分表分页查询方法的图1所示实施例的一优选实施例的分表流程图。
图5为按照本发明的数据库分表分页查询方法的图1所示实施例的一优选实施例的清除缓存对象示意图。
图6为按照本发明的数据库分表分页查询方法的图1所示实施例的一优选实施例的清除缓存对象流程图。
图7为按照本发明的数据库分表分页查询方法的图1所示实施例的一优选实施例的数据库分表分页处理系统结构图。
具体实施方式
为使本发明的上述目的、特征和优点更加明显易懂，下面结合附图和具体实施方式对本发明做进一步详细的说明。
本发明第一个方面提供了一种数据库分表分页查询的方法，通过计算得出符合查询条件的N张表并对所述N张表进行查询以获得满足条件的记录，如图4所示，具体包括以下步骤：
S1、分别查询每张表中满足条件的记录数；
S2、根据请求页和请求页的记录数，定位到请求页所在的表和该表中记录所处的位置；
S3、根据表和记录所处的位置查询数据库获取相应的记录；
S4、对请求和请求结果进行缓存的建立及删除；
S5、返回请求结果。
所述步骤S1-S3为对表进行查询的过程，之后由缓存区域经过步骤S4对数据进行存储。
所述计算得出符合查询条件的表之前判断缓存池中是否有以查询条件为键的缓存对象，若存在此缓存对象，则直接将缓存池中的结果返回给请求方，或者如图4所示，首先取出缓存对象，之后依据缓存对象中的表及记录的位置来查询数据库获得相应的记录。
在本实施例中，所述N张表至少为一张表，对于多张表，如步骤S1所示，分别查询每张表中满足条件的记录数，之后定位至每一张表的每一处记录点，从中获取记录。
为了与之前所述计算得出符合查询条件的表之前判断缓存池中是否有以查询条件为键的缓存对象相匹配，在所述步骤S4中，以查询条件为键，特别的，可将查询条件及查询结果一并放入缓存池中，在数据库存储的信息发生变化时，删除缓存池中相对应的缓存对象。即所述删除相对应的缓存对象指删除在与查询条件相关的数据库发生变化时而导致不具备实时性的缓存对象。
在本实施例中，所述N张表从同一数据库中进行调用或者从不同的数据库中进行调用。
本发明另一个方面提供了一种一种数据库分表分页查询系统，包括：
应用层，用于发起分表分页查询请求；
数据访问层，计算需要查询的N张表；
处理单元：用于查询每张表中满足条件的记录数；
定位单元：用于在数据库中定位记录；
缓存区域：用于接收查询条件及查询结果并对数据进行缓存。
在本实施例中，所述处理单元与定位单元位于数据访问层，而缓存区域与数据库并列存储数据，由数据访问层视情况读取数据库或缓存区域内的数据，所述情况为数据访问层调用读取缓存区域，判断缓存池中是否有以查询条件为键的缓存对象，若存在此缓存对象，则直接将缓存池中的结果返回给应用层。
在本实施例中，所述数据访问层连接缓存区域，所述N张表至少为一张表，同样为了使缓存区域有足够的缓存对象，使数据访问层不必每次都访问数据库，所述缓存区域同样用于保存数据访问层处理后得到的结果。在数据库存储的信息发生变化时，删除缓存区域中相对应的缓存对象，即所述删除相对应的缓存对象指删除在与查询条件相关的数据库发生变化时而导致不具备实时性的缓存对象。
在本实施例中，所述N张表位于同一数据库或者位于不同的数据库。
下面以具体的查询请求对本发明做进一步详细的说明。
对于要分页查询多张相同表的请求，本发明提出了一种新的数据库分表分页查询的方法，该方法在查询满足条件的纪录数时，对每个表分开处理，然后定位出请求页所在的表和位置，直接定位数据库记录；同时，还可以对查询条件进行缓存，方便下次以同样条件的查询请求使。
本实施例首先从分页来讲，如果只是为了分页，可以考虑这种分表，就是表的id是范围性的，且id是连续的，比如第一张表id是1到10万，第二张是10万到20万，再如本实施例的按照月份、年份、日、星期等进行分页，如果是其他的分表方式，建议用sphinx先建索引，然后查询分页。
本发明适用于很多领域大数据量分表分页查询的情况，例如论坛的帖子、博客微博的博文、订单系统的订单数据、交易系统的交易数据等。特别适合处理按照某种顺序进行分表的场景。
图1为在查询之前的分表示意图，这里我们以创建时间createTime按月份拆分为分表依据，分别存储每个createTime下的记录attribute。
如图3、图4所示，本发明提供一种数据库分表分页处理方法示意图和流程图，具体步骤如下：
A1. 应用层发起分页查询多张相同表的请求至数据访问层，所述的多张表可以在同一个数据库，也可以在多个数据库；
例如查询条件包括如下几个方面：
a.查询的表：T_ORDER_YYYYMM(当然也可以按其他时间单位分表，如年、周、日等，这里以月为例)，
b.订单时间范围：2014.1.15-2014.4.15，
c.请求页：第1000页，
d.每页的记录数：20条，
e.排序顺序：按订单时间最近的记录靠前。
f.金额范围：消费金额大于100元，
A2.数据访问层在获取到查询数据以后，计算出需要查询的表：T_ORDER_201401、T_ORDER_201402、T_ORDER_201403、T_ORDER_201404。
传统的，在计算出需要查询的表之后，如图2所示，利用数据库技术，联合查询四张表获取满足条件的总记录数，之后利用数据库技术，分页按创建时间倒序查询出满足条件的第一页的记录，最后将结果返回至应用层，然而这种技术在利用数据库技术时
A3. 判断缓存 区域中是否存在以a（T_ORDER_201401、T_ORDER_201402、T_ORDER_201403、T_ORDER_201404四张表）、b、c、d、e、f为键的缓存对象。
A4.若缓存区域中不存在以a、b、c、d、e、f为键的缓存对象，则走以下步骤A401-A404：（假如没有根据a、b、c、d、e、f条件查询过）
A401.分别查询出这4张表中订单时间在2014.1.15与2014.4.15之间，金额大于100元的记录数，假如分别为：1088、10021、11、19977；
A402.根据要查询的1000页，每页20条记录，倒序排列等条件，可以计算出要获取T_ORDER_201401、T_ORDER_201402、T_ORDER_201403、T_ORDER_201404这四张表中按订单时间倒序排列的第19981到20000之间的记录，由此可定位到需要获取T_ORDER_201403表中按订单时间倒序排列的第4-11条记录和T_ORDER_201402表中按订单时间倒序排列的第1-8条记录；（如果每张表的数据量都很大，大多数情况需要的记录会在一张表中，最坏情况是每张表中都有记录）
A403.以查询条件a（T_ORDER_201401、T_ORDER_201402、T_ORDER_201403、T_ORDER_201404四张表）、b、c、d、e、f为键，以4张表的记录数、定位到两张表及位置为值放入缓存中；
A404.查询数据库，获取T_ORDER_201403表中按订单时间倒序排列的第4-11条记录和T_ORDER_201402表中按订单时间倒序排列的第1-8条记录，到步骤A6；
A5.若缓存区域中存在以a、b、c、d、e、f为键的缓存对象，则走以下步骤A501-A502：（假如已经根据a、b、c、d、e、f条件查询过）
A501.从缓存中取出T_ORDER_201401、T_ORDER_201402、T_ORDER_201403、T_ORDER_201404四张表的记录数，要查询的两张表及位置；
A502.查询数据库，获取T_ORDER_201403表中按订单时间倒序排列的第4-11条记录和T_ORDER_201402表中按订单时间倒序排列的第1-8条记录，到步骤A6；
A6.将得到的这20条记录、4张表记录数之和31097返回给应用层。
本实施例还提供了清除缓存对象的方法，图5、图6分别是清除缓存对象示意图和流程图，具体如下：
B1．当对实施本方案的表进行增加或删除操作时，例如对T_ORDER_201403表增加了一条记录，触发一个事件，在本实施例中，实施本方案的表可以再某个地方进行配置。
B2.依据B1中的事件进行判断，缓存区域中是否已经缓存过与表T_ORDER_201403相关的对象，例如上述例子的缓存对象需要调用表T_ORDER_201403中的相关数据，故该缓存对象是关联该事件的。
4.若缓存对象与该事件关联，则将此缓存对象删除。
如图7所示，为数据库分表分页查询方法及系统整体结构图，应用层通过网络获取到客户的需求，将查询条件上传至数据访问层，数据访问层连接缓存区域与数据库，首先读取缓存区域，判断缓存区域中是否存在相同查询条件为键值的请求，如果有，则可以直接从缓存区域来读取数据结果或者从缓存区域读取数据库中的页及位置信息，之后从数据库获取详细记录，如果缓存区域中不存在该请求，则读取数据库中的表，已经步骤A2-A5来获取所述记录，同时将结果存储在缓存区域中，当以同样的条件再次进行查询时，可以直接从缓存中获取每张表满足条件的记录数、请求页记录所在的表和位置，据此获取相应的数据库记录。
通过本发明的分页查询方法，使得数据的查询不仅通过分页分表的形式完成，而且在计算过程中，也是分表分页进行统计，在得到所需结果后，从数据库进行读取，通过本发明的实施例，更能清楚、高效的完成对多张表的查询工作。
需要说明的是，按照本发明的数据库分表分页查询方法及系统包括上述实施例中的任何一项及其任意组合，但上面所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明范围进行限定，在不脱离本发明设计精神前提下，本领域普通工程技术人员对本发明的技术方案作出的各种变形和改进，均应落入本发明的权利要求书确定的保护范围内。

Claims (15)

1.一种数据库分表分页查询方法，通过计算得出符合查询条件的N张表并对所述N张表进行查询以获得满足条件的记录，其特征在于，包括以下步骤：
S1、分别查询每张表中满足条件的记录数；
S2、根据请求页和请求页的记录数，定位到请求页所在的表和该表中记录所处的位置；
S3、根据表和记录所处的位置查询数据库获取相应的记录；
S4、对请求和请求结果进行缓存的建立及删除；
S5、返回请求结果；
所述N为大于1的整数。
2.如权利要求1所述的数据库分表分页查询方法，其特征在于：所述步骤S1-S3为对表进行查询的过程，之后由缓存区域经过步骤S4对数据进行存储。
3.如权利要求1所述的数据库分表分页查询方法，其特征在于：在所述计算得出符合查询条件的N张表之前判断缓存池中是否有以查询条件为键的缓存对象，若存在此缓存对象，则直接将缓存池中的结果返回给请求方。
4.如权利要求1所述的数据库分表分页查询方法，其特征在于：在所述步骤S4中，以查询条件为键，将查询条件及查询结果放入缓存池中。
5.如权利要求4所述的数据库分表分页查询方法，其特征在于：在数据库存储的信息发生变化时，删除缓存池中相对应的缓存对象。
6.如权利要求5所述的数据库分表分页查询方法，其特征在于：删除的缓存对象为与查询条件相关的数据库发生变化时而不具备实时性的缓存对象。
7.如权利要求1所述的数据库分表分页查询方法，其特征在于：所述N张表从同一数据库中进行调用。
8.如权利要求1所述的数据库分表分页查询方法，其特征在于：所述N张表从不同数据库中进行调用。
9.一种数据库分表分页查询系统，包括：
应用层，用于发起分表分页查询请求；
数据访问层，计算需要查询的N张表，其特征在于还包括：
处理单元：用于查询每张表中满足条件的记录数；
定位单元：用于根据请求页和请求页的记录数，定位到请求页所在的表和该表中记录所处的位置，并根据表和记录所处的位置查询数据库获取相应的记录；
缓存区域：用于接收查询条件及查询结果并对数据进行缓存；
在数据库存储的信息发生变化时，删除缓存区域中相对应的缓存对象：
所述N为大于1的整数。
10.如权利要求9所述的数据库分表分页查询系统，其特征在于：所述处理单元与定位单元位于数据访问层。
11.如权利要求9所述的数据库分表分页查询系统，其特征在于：所述数据访问层连接缓存区域。
12.如权利要求9所述的数据库分表分页查询系统，其特征在于：所述缓存区域用于保存数据访问层处理后得到的结果。
13.如权利要求12所述的数据库分表分页查询系统，其特征在于：删除相对应的缓存对象指删除在与查询条件相关的数据库发生变化时而导致不具备实时性的缓存对象。
14.如权利要求9所述的数据库分表分页查询系统，其特征在于：所述N张表位于同一数据库。
15.如权利要求9所述的数据库分表分页查询系统，其特征在于：所述N张表位于不同数据库。
CN201410287735.7A 2014-06-25 2014-06-25 一种数据库分表分页查询方法及系统 Active CN104123340B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410287735.7A CN104123340B (zh) 2014-06-25 2014-06-25 一种数据库分表分页查询方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410287735.7A CN104123340B (zh) 2014-06-25 2014-06-25 一种数据库分表分页查询方法及系统

Publications (2)

Publication Number Publication Date
CN104123340A CN104123340A (zh) 2014-10-29
CN104123340B true CN104123340B (zh) 2018-04-20

Family

ID=51768751

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410287735.7A Active CN104123340B (zh) 2014-06-25 2014-06-25 一种数据库分表分页查询方法及系统

Country Status (1)

Country Link
CN (1) CN104123340B (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105468644B (zh) * 2014-09-10 2018-11-23 菜鸟智能物流控股有限公司 一种用于在数据库中进行查询的方法与设备
CN104298788B (zh) * 2014-11-13 2017-12-12 中国建设银行股份有限公司 一种分页查询方法和系统
CN105653537B (zh) * 2014-11-13 2020-04-17 阿里巴巴集团控股有限公司 一种数据库应用系统的分页查询方法和装置
CN104657446B (zh) * 2015-02-04 2018-10-30 深圳市汇朗科技有限公司 分表联合统计查询方法、装置和系统
CN104965873A (zh) * 2015-06-10 2015-10-07 努比亚技术有限公司 一种分页查询方法及装置
CN106326235A (zh) * 2015-06-18 2017-01-11 天脉聚源（北京）科技有限公司 一种微信公众帐号信息记录的排序分页的方法和系统
CN105426449A (zh) * 2015-11-09 2016-03-23 小米科技有限责任公司 海量数据查询方法和装置、服务器
CN107180043B (zh) * 2016-03-09 2019-08-30 北京京东尚科信息技术有限公司 分页实现方法和分页系统
CN107193822A (zh) * 2016-03-14 2017-09-22 阿里巴巴集团控股有限公司 用于分页查询的方法、装置及设备
CN106250477B (zh) * 2016-07-29 2020-04-03 厦门天锐科技股份有限公司 一种分表数据的分页方法
CN106446080B (zh) * 2016-09-09 2021-08-13 华为技术有限公司 数据查询的方法、查询服务设备、客户端设备和数据系统
CN108228663A (zh) * 2016-12-21 2018-06-29 杭州海康威视数字技术股份有限公司 一种分页检索方法及装置
CN107135086A (zh) * 2017-05-26 2017-09-05 努比亚技术有限公司 一种广播推送方法及设备、计算机可读存储介质
CN107391749B (zh) * 2017-08-15 2020-07-31 杭州安恒信息技术股份有限公司 一种查询分表数据实现瀑布流的方法
CN107894997B (zh) * 2017-10-19 2021-10-12 苏州工业大数据创新中心有限公司 工业时序数据的查询处理方法及系统
CN109688179B (zh) * 2017-10-19 2021-06-22 华为技术有限公司 通信方法和通信装置
CN107908785A (zh) * 2017-12-11 2018-04-13 广州圣亚科技有限公司 基于ssm框架的无实体类实现数据分页
CN108595487B (zh) * 2018-03-14 2022-04-29 武汉村助手科技有限公司 一种大数据高并发下访问数据的方法及系统
CN109241099B (zh) * 2018-08-22 2024-07-26 中国平安人寿保险股份有限公司 一种数据查询方法及终端设备
CN109446227A (zh) * 2018-10-17 2019-03-08 上海点融信息科技有限责任公司 用于处理缓存分页的方法、装置及计算机可读存储介质
CN109582682B (zh) * 2018-11-02 2024-04-09 中国平安人寿保险股份有限公司 数据处理方法、装置及存储介质、计算机设备
CN110569255A (zh) * 2019-08-16 2019-12-13 苏宁云计算有限公司 数据库分库分表的分页查询方法、装置和计算机设备
CN111309724A (zh) * 2019-12-31 2020-06-19 航天信息股份有限公司 一种用于对大数据进行处理的方法及系统
CN112308630B (zh) * 2020-11-16 2024-07-09 上海品见智能科技有限公司 一种基于大数据技术应用的资金交易圈识别方法
CN113254442A (zh) * 2021-05-21 2021-08-13 首约科技(北京)有限公司 一种用于出行行业的分库分表方法
CN113407574B (zh) * 2021-07-20 2024-04-26 广州博冠信息科技有限公司 多表分页查询方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6631366B1 (en) * 1998-10-20 2003-10-07 Sybase, Inc. Database system providing methodology for optimizing latching/copying costs in index scans on data-only locked tables
CN101149736A (zh) * 2006-09-21 2008-03-26 阿里巴巴公司 一种海量数据查询方法及系统
CN102880685A (zh) * 2012-09-13 2013-01-16 北京航空航天大学 一种时间密集大数据量的b/s分区间分页查询方法
CN103617232A (zh) * 2013-11-26 2014-03-05 北京京东尚科信息技术有限公司 一种针对HBase表的分页查询方法
CN103678408A (zh) * 2012-09-21 2014-03-26 阿里巴巴集团控股有限公司 一种查询数据的方法及装置
CN103778135A (zh) * 2012-10-18 2014-05-07 厦门雅迅网络股份有限公司 一种实时数据的分布存储和分页查询方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6631366B1 (en) * 1998-10-20 2003-10-07 Sybase, Inc. Database system providing methodology for optimizing latching/copying costs in index scans on data-only locked tables
CN101149736A (zh) * 2006-09-21 2008-03-26 阿里巴巴公司 一种海量数据查询方法及系统
CN102880685A (zh) * 2012-09-13 2013-01-16 北京航空航天大学 一种时间密集大数据量的b/s分区间分页查询方法
CN103678408A (zh) * 2012-09-21 2014-03-26 阿里巴巴集团控股有限公司 一种查询数据的方法及装置
CN103778135A (zh) * 2012-10-18 2014-05-07 厦门雅迅网络股份有限公司 一种实时数据的分布存储和分页查询方法
CN103617232A (zh) * 2013-11-26 2014-03-05 北京京东尚科信息技术有限公司 一种针对HBase表的分页查询方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"一种支持多条件过滤查询的分页组件设计与实现";祝衍军;《电脑知识与技术》;20140131;全文 *
"分布式结构化数据分页查询中的动态归并算法";段翰聪 等;《小型微型计算机系统》;20130731;全文 *
"基于SQL 数据库表查询方法的研究与设计";赵伟;《科技前沿》;20121231;全文 *

Also Published As

Publication number Publication date
CN104123340A (zh) 2014-10-29

Similar Documents

Publication Publication Date Title
CN104123340B (zh) 一种数据库分表分页查询方法及系统
TWI522942B (zh) 用戶收藏夾資料的處理方法與裝置、用戶收藏夾資料的搜尋方法與裝置、及用戶收藏夾系統
CN104050250B (zh) 一种分布式键-值查询方法和查询引擎系统
JP7322184B2 (ja) データベース変更ストリームのキャッシュ技術
CN107832401A (zh) 数据库数据访问方法、系统、装置及计算机可读存储介质
KR101475335B1 (ko) 데이터베이스 검색에 있어 조회 향상
CN102867070A (zh) 更新key-value分布式存储系统缓存的方法
US8214411B2 (en) Atomic deletion of database data categories
KR20140056167A (ko) 검색 효율이 증가된 예비-쇼핑 예약 시스템을 위한 방법 및 시스템
CN107302573A (zh) 一种信息推送方法、装置、电子设备及存储介质
CN101867607A (zh) 一种分布式数据存取方法、装置及系统
TWI663518B (zh) Search cache update method and device
CN100458784C (zh) 在数字图书馆中所采用的检索系统和检索方法
CN103955533B (zh) 一种基于缓冲队列的页面树形数据获取装置及方法
CN107103068A (zh) 业务缓存的更新方法及装置
CN105488366A (zh) 一种数据权限的控制方法和系统
JP5977441B2 (ja) 情報提供方法及び情報提供システム
CN109684282A (zh) 一种构建元数据缓存的方法及装置
CN108509437A (zh) 一种ElasticSearch查询加速方法
US11775480B2 (en) Method and system for deleting obsolete files from a file system
CN103902548B (zh) 一种访问数据库的系统和方法及注册、订票、网购系统
CN108563730A (zh) 一种冷热数据自动切换方法、装置、电子设备及存储介质
CN102968464A (zh) 一种基于索引的本地资源快速检索系统及其检索方法
US8930946B1 (en) Leasing prioritized tasks
CN110134698A (zh) 数据管理方法及相关产品

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20180730

Address after: 100080 1-701-1 seven, level 28, Cheng Fu Road, Haidian District, Beijing.

Patentee after: Digital Trade Technology (Beijing) Co., Ltd.

Address before: 100083 Beijing Haidian District Huayuan Road 3-2, 6 floor of Dimon building.

Patentee before: Century Light Technology Development (Beijing) Co., Ltd.

TR01 Transfer of patent right