CN104156358A - 一种用于数据库的表的批量读取方法、装置和系统 - Google Patents

Abstract

本发明公开了一种用于数据库的表的批量读取方法、装置和系统，所述方法包括如下步骤：接收对数据库的表的批量读取请求，其中，所述表包括多条数据记录，所述批量读取请求包括：待读取的总数据记录的条数、读取所述总数据记录所需的总读取次数、以及待读取的起始数据记录的主键值；根据所述批量读取请求，生成所述数据库的查询语句，其中，所生成的查询语句的数目等于总读取次数，并且在每条查询语句中利用待读取的总数据记录的各个主键值对总读取次数的取模运算来选择该条查询语句将读取的数据记录；利用所生成的查询语句，对所述数据库的所述表进行读取操作。通过本发明，可以减少对数据库系统中的海量数据进行读取所耗费的时间。

Description

一种用于数据库的表的批量读取方法、装置和系统

技术领域

本发明涉及计算机技术领域，尤其涉及一种用于数据库的表的批量读取方法、装置和系统。

背景技术

数据库（Database）是按照数据结构来组织、存储和管理数据的仓库，它产生于距今五十年前，随着信息技术和市场的发展，特别是二十世纪九十年代以后，对数据库的数据的管理方式不再仅仅是存储和管理数据，而是转变成符合多种多样的数据库应用的需要的综合数据管理方式。数据库有很多种类型，简单类型的数据库例如是存储有各种数据的表格，复杂类型的数据库例如是能够进行海量数据存储的大型数据库系统。当前，上述大型数据库系统的应用是数据库系统的开发、研究领域的热点。

在针对大型数据库系统开发软件应用时，经常需要把大型数据库中的海量数据读取到内存中。由于所述海量数据的数目过大，考虑到网络带宽和内存容量的限制，结果导致很难一次性把所有数据都读出来。通常，现有技术的解决方法是先对数据库的主键进行排序，随后根据所述主键对所需的海量数据进行批量读取，也就是说每次读取海量数据中的一部分，通过多次读取来逐步读取全部所需的数据。然而，这种现有技术的解决方法存在着数据读取所消耗的时间较长的问题。

发明内容

有鉴于此，本发明提供一种改进的用于数据库的表的批量读取方法、装置和系统，来解决以上背景技术部分提到的技术问题。

一种用于数据库的表的批量读取方法，所述方法包括如下步骤：

接收对数据库的表的批量读取请求，其中，所述表包括多条数据记录，所述批量读取请求包括：待读取的总数据记录的条数、读取所述总数据记录所需的总读取次数、以及待读取的起始数据记录的主键值；

根据所述批量读取请求，生成所述数据库的查询语句，其中，所生成的查询语句的数目等于总读取次数，并且在每条查询语句中利用待读取的总数据记录的各个主键值对总读取次数的取模运算来选择该条查询语句将读取的数据记录；

利用所生成的查询语句，对所述数据库的所述表进行读取操作。

对应地，本发明还提出了一种用于数据库的表的批量读取装置，所述装置包括：

接收模块，用于接收对数据库的表的批量读取请求，其中，所述表包括多条数据记录，所述批量读取请求包括：待读取的总数据记录的条数、读取所述总数据记录所需的总读取次数、以及待读取的起始数据记录的主键值；

查询语句生成模块，用于根据所述批量读取请求，生成所述数据库的查询语句，其中，所生成的查询语句的数目等于总读取次数，并且在每条查询语句中利用待读取的总数据记录的各个主键值对总读取次数的取模运算来选择该条查询语句将读取的数据记录；

读取模块，用于利用所生成的查询语句，对所述数据库的所述表进行读取操作。

对应地，本发明还提出了一种用于数据库的表的批量读取系统，包括服务器和通过网络与所述服务器相连接的客户端，所述服务器包括：

接收模块，用于从所述客户端接收对数据库的表的批量读取请求，其中，所述表包括多条数据记录，所述批量读取请求包括：待读取的总数据记录的条数、读取所述总数据记录所需的总读取次数、以及待读取的起始数据记录的主键值；

查询语句生成模块，用于根据所述批量读取请求，生成所述数据库的查询语句，其中，所生成的查询语句的数目等于总读取次数，并且在每条查询语句中利用待读取的总数据记录的各个主键值对总读取次数的取模运算来选择该条查询语句将读取的数据记录；

读取模块，用于利用所生成的查询语句，对所述数据库的所述表进行读取操作并将所读取的数据记录发送给所述客户端。

本发明提出的用于数据库的表的批量读取方法、装置和系统通过根据批量读取请求来生成用于数据库的特定查询语句，减少了对数据库系统中的海量数据进行读取所耗费的时间。

附图说明

图1是根据本发明第一实施例的用于数据库的表的批量读取方法的实现流程示意图；

图2是在采用现有的用于数据库的表的批量读取方法读取10万条数据记录的情况下每次读取操作所耗时间的分布示意图；

图3是在利用现有的用于数据库的表的批量读取方法读取872477条数据记录的情况下每次读取操作所耗时间的分布示意图；

图4是在利用本发明第一实施例的用于数据库的表的批量读取方法读取10万条数据记录的情况下每次读取操作所耗时间的分布示意图；

图5是在利用本发明第一实施例的用于数据库的表的批量读取方法读取872477条数据记录的情况下每次读取操作所耗时间的分布示意图；

图6是根据本发明第二实施例的用于数据库的表的批量读取装置的结构示意图。

图7是根据本发明第三实施例的用于数据库的表的批量读取系统的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。

在图1中示出了本发明的第一实施例。

图1为根据本发明第一实施例的用于数据库的表的批量读取方法的实现流程100，该实现流程100详述如下：

在步骤101中，接收对数据库的表的批量读取请求。

在第一实施例中，托管数据库的服务器可以直接从本地读取数据库工程师预先提供的批量读取请求语句或文档，或者可以通过有线网络或者无线网络远程地读取其它位置（例如客户端位置）的批量读取请求语句或文档。其中，所述数据库的表包括多条数据记录，每条所述记录包含一个或多个字段；而所述批量读取请求包括但不限于：待读取的总数据记录的条数、读取所述总数据记录所需的总读取次数、以及待读取的起始数据记录的主键值。其中，所述待读取的总数据记录的条数也就是本次批量读取请求将从数据库的所述表中读取的总的数据记录的条数；所述总读取次数也就是在读取上述条数的总的数据记录的情况下需要花费的读取次数；而所述待读取的起始数据记录的主键值也就是在所述数据库的表中自其开始读取操作的数据记录的主键值。

在本实施例中，上述无线网络包括但不限于基于3G技术、基于WiFi技术、基于蓝牙技术、基于WiMAX技术、基于Zigbee技术、基于UWB（ultra wideband）技术或者基于其它未来将开发的无线技术的无线网络。

在步骤102中，根据批量读取请求，生成数据库的查询语句。

在第一实施例中，托管数据库的服务器可以根据上述批量读取请求，生成将用于所述数据库的查询操作的多条查询语句，所生成的查询语句的数目等于上述批量读取请求中包括的总读取次数。

在本实施例中，对于所生成的每条查询语句而言，利用待读取的总数据记录的各个主键值对总读取次数的取模运算来选择该条查询语句将读取的数据记录。

以如下的员工信息表“person”为例，来对上文所述的查询语句的生成进行说明。

员工信息表-person

ID	姓名	地址
			1	张三	北京
2	李四	天津
			3	王五	重庆
4	赵六	广州
			5	钱七	上海
6	刘八	深圳

如以上的员工信息表“person”所示，该表一共包括六条记录，每条记录都具有ID、姓名和地址这三个字段，其中，ID字段是所述员工信息表“person”的主键。例如，托管数据库的服务器接收到了这样的批量读取请求：待读取的总数据记录的条数为4，读取总的这4条数据记录所需的总读取次数为2，而待读取的起始数据记录的主键值为2（即从所述员工信息表中的姓名字段的值为“李四”的那条记录开始进行数据记录的批量读取）。根据本实施例，所生成的查询语句的数目等于上述批量读取请求中包含的总读取次数（本例子中为2），也就是说，将生成2条查询语句；而待读取的总的这4条数据记录的各个主键值（即ID字段的值）依次为2、3、4、5，而这些主键值对总读取次数（本例子中为2）的取模运算的结果分别是0（在ID字段的值为2和4的情况下）和1（在ID字段的值为3和5的情况下）；由此，所生成的两条查询语句将会利用上述取模运算的结果来分别选择将读取的数据记录。

以上表为例，生成查询语句的流程可以为：

S1：设T=0；

S2：生成查询语句“select*from table_name where mod(ID,N)=T and ID≥x and ID＜x+m”，其中，“table_name”表示数据库的表的名称，如上述表的名称“person”；“ID”表示“table_name”表的主键的值，如上述表“person”的ID字段的值；“N”表示读取总的数据记录所需的总读取次数；“mod(ID,N)=T”表示待读取的数据记录的主键值“ID”对上述总读取次数“N”的取模运算；“x”表示待读取的起始数据记录的主键值；“m”表示待读取的总数据记录的条数；

S3：令T=T+1；

S4：判断T与N的大小，如果T小于N，则流程跳转到步骤S2；而如果T大于或等于N，则流程结束。

根据上述生成查询语句的流程，以员工信息表“person”为例，将生成两条查询语句，即：“select*from person where mod(ID,2)=0and ID≥2andID＜6”和“select*from person where mod(ID,2)=1and ID≥2and ID＜6”。

在步骤103中，利用所生成的查询语句，对数据库的表进行读取操作。

在第一实施例中，利用在步骤102中所生成数据库的查询语句，托管数据库的服务器可以对相应的数据库的表进行读取操作，获得所需的数据记录。

在本实施例的一个优选实施方式中，在步骤101中所述的待读取的总数据记录的条数等于数据库的表的总记录条数，在这种情况下，对所述数据库的表的批量读取操作实际上就是对所述表的全量读取操作。

在本实施例的一个优选实施方式中，在步骤101中所述的总读取次数根据以下因素中的一项或多项来确定：用于将批量读取后的总数据记录进行存储的内存大小，用于显示所述总数据记录的客户端与所述数据库所处的服务器之间的网络带宽，以及所述客户端的用于显示所述总数据记录的屏幕大小。更具体地，在待读取的总数据记录的条数一定的情况下，对于内存大小而言，在内存容量较大的情况下，所述内存可以存储较多的数据记录，则单次读取操作就能读取较多的数据记录，从而导致所需的总读取次数变得较小；对于网络带宽而言，如果用于显示所述总数据记录的客户端与所述数据库所处的服务器之间的网络带宽较小，则传送总数据记录所需的时间较长，则单次读取操作将会读取较少的数据记录以免造成传输延迟而引起客户端的等待，从而导致总读取次数变得较大；而对于屏幕大小而言，如果所述客户端的用于显示所述总数据记录的屏幕较大，则在所述屏幕上每次显示出的数据记录相对较多，则单次读取操作可以读取较多的数据记录，从而导致总读取次数变得较小。作为一种优选的方式，上述内存可以是用于所述客户端的内存、或者是用于所述服务器的内存、或者是所述客户端和所述服务器都共享的公共内存。

在本实施例的一个优选实施方式中，所述数据库是分布式数据库，所述服务器包括通过网络（例如通过广域网、城域网或者局域网）连接在一起的两台或多台数据库服务器。

图2-图5是针对现有的用于数据库的表的批量读取方法和本实施例的批量读取方法，对数据库进行模拟测试获得的耗时数据的对比示意图。以上述“person”表为例，假定“person”表一共具有M条数据记录，每次读取的数据记录的条数为N，并且现有的用于数据库的表的批量读取方法设定为采用如下流程：

S11：设T=0；

S12：select*from person where ID＞T*N and ID≤(T+1)N”，其中，“person”表示表的名称，“ID”表示“person”表的主键的值；

S3：令T=T+1；

S4：判断T与M/N的大小，如果T小于M/N，则流程跳转到步骤S2；而如果T大于或等于M/N，则流程结束。

图2是在利用上述现有的用于数据库的表的批量读取方法读取10万条数据记录的情况下每次读取操作所耗时间的分布示意图。从图2可知，在每次读1万条数据记录，一共读取10万条数据记录的情况下，10次读取操作一共耗时为约21.7秒。

图3是在利用上述现有的用于数据库的表的批量读取方法读取872477条数据记录的情况下每次读取操作所耗时间的分布示意图。从图2可知，在每次读1万条数据记录，一共读取872477条数据记录的情况下，88次读取操作一共耗时为约579秒。通过图2、图3可以看出，当数据量不大的情况下，现有的批量读取方法的各次读取操作耗时变化不大，但是当数据量达到80万条或者以上的时候，各次读取操作的耗时会随着累计读取的数据量的增加而明显增加。

图4是在利用本实施例的批量读取方法读取10万条数据记录的情况下每次读取操作所耗时间的分布示意图。从图4可知，在进行10次读取操作，共读取了10万条数据记录的情况下，一共耗时为约346毫秒。

图5是在利用本实施例的批量读取方法读取872477万条数据记录的情况下每次读取操作所耗时间的分布示意图。从图5可知，在进行100次读取操作，共读取了872477条数据记录的情况下，一共耗时为约23.5秒。

综上，通过图4、图5可以看出，不管是单次查询耗时，还是批量读取数据记录的总的耗时，本实施例的批量读取方法都远优于现有的批量读取方法。

图6示出了本发明的第二实施例。

图6为根据本发明第二实施例的用于数据库的表的批量读取装置的结构示意图。如图6所示，本实施例所述的用于数据库的表的批量读取装置600包括：接收模块601，查询语句生成模块602和读取模块603。在本实施例中，所述接收模块601用于接收对数据库的表的批量读取请求，其中，所述表包括多条数据记录，所述批量读取请求包括：待读取的总数据记录的条数、读取所述总数据记录所需的总读取次数、以及待读取的起始数据记录的主键值；所述查询语句生成模块602用于根据接收模块601接收的批量读取请求生成所述数据库的查询语句，其中，所生成的查询语句的数目等于总读取次数，并且在每条查询语句中利用待读取的总数据记录的各个主键值对总读取次数的取模运算来选择该条查询语句将读取的数据记录；所述读取模块603用于利用所述查询语句生成模块602所生成的查询语句，对所述数据库的所述表进行读取操作。

在本实施例中，接收模块601可以直接从本地读取数据库工程师预先提供的批量读取请求语句或文档，或者可以通过有线网络或者无线网络远程地读取其它位置（例如客户端位置）的批量读取请求语句或文档。

之后，查询语句生成模块602可以根据接收模块601接收的批量读取请求，生成将用于所述数据库的查询操作的多条查询语句，所生成的查询语句的数目等于上述批量读取请求中包括的总读取次数。在本实施例中，对于所生成的每条查询语句而言，利用待读取的总数据记录的各个主键值对总读取次数的取模运算来选择该条查询语句将读取的数据记录。

在第二实施例中，利用上述查询语句生成模块602所生成数据库的查询语句，读取模块603可以对相应的数据库的表进行读取操作，从而获得所需的数据记录。

图7示出了本发明的第三实施例。

图7为根据本发明第三实施例的用于数据库的表的批量读取系统的结构示意图。如图7所示，根据本实施例的用于数据库的表的批量读取系统700包括服务器701和客户端702，所述客户端702通过网络与所述服务器701相连接。其中，所述服务器701用于托管数据库，其包括：接收模块7011，用于从所述客户端702接收对数据库的表的批量读取请求，其中，所述表包括多条数据记录，所述批量读取请求包括：待读取的总数据记录的条数、读取所述总数据记录所需的总读取次数、以及待读取的起始数据记录的主键值；查询语句生成模块7012，用于根据接收模块7011接收的批量读取请求，生成所述数据库的查询语句，其中，所生成的查询语句的数目等于总读取次数，并且在每条查询语句中利用待读取的总数据记录的各个主键值对总读取次数的取模运算来选择该条查询语句将读取的数据记录；读取模块7013，用于利用查询语句生成模块7012生成的查询语句，对所述数据库的所述表进行读取操作并将所读取的数据记录发送给所述客户端702。

在第三实施例中的上述服务器701中的各个模块与根据本发明第二实施例的批量读取装置600的各个相应模块在功能上完全相同，在此不再赘述。

在本发明中所述的装置或客户端是指台式计算机、膝上型计算机、掌上电脑、个人数字助理(PDA)、手持式电子处理装置、结合PDA和手机功能的智能手机、导航装置、或能够显示数据信息（例如数据库的数据记录）并自动处理数据信息任何其他电子装置。上述装置或客户端可以进一步被配置成通过有线或无线网络连接到托管数据库的服务器。

本发明所述的技术方案能够根据批量读取请求来生成用于数据库的特定查询语句，明显减少了对数据库系统中的海量数据进行读取所耗费的时间。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (13)

1.一种用于数据库的表的批量读取方法，其特征在于，所述方法包括如下步骤：

接收对数据库的表的批量读取请求，其中，所述表包括多条数据记录，所述批量读取请求包括：待读取的总数据记录的条数、读取所述总数据记录所需的总读取次数、以及待读取的起始数据记录的主键值；

根据所述批量读取请求，生成所述数据库的查询语句，其中，所生成的查询语句的数目等于总读取次数，并且在每条查询语句中利用待读取的总数据记录的各个主键值对总读取次数的取模运算来选择该条查询语句将读取的数据记录；

利用所生成的查询语句，对所述数据库的所述表进行读取操作。

2.根据权利要求1所述的用于数据库的表的批量读取方法，其特征在于，所述待读取的总数据记录的条数等于所述数据库的所述表的总记录条数。

3.根据权利要求1所述的用于数据库的表的批量读取方法，其特征在于，所述总读取次数根据以下因素中的一项或多项来确定：用于将批量读取后的所述总数据记录进行存储的内存大小，用于显示所述总数据记录的客户端与所述数据库所处的服务器之间的网络带宽，以及所述客户端的用于显示所述总数据记录的屏幕大小。

4.根据权利要求3所述的用于数据库的表的批量读取方法，其特征在于，所述内存是用于所述客户端的内存、或者是用于所述服务器的内存、或者是所述客户端和所述服务器都共享的公共内存。

5.根据权利要求1-4之一所述的用于数据库的表的批量读取方法，其特征在于，所述数据库是分布式数据库。

6.根据权利要求5所述的用于数据库的表的批量读取方法，其特征在于，所述服务器包括通过网络连接在一起的两台或多台数据库服务器。

7.一种用于数据库的表的批量读取装置，其特征在于，所述装置包括：

接收模块，用于接收对数据库的表的批量读取请求，其中，所述表包括多条数据记录，所述批量读取请求包括：待读取的总数据记录的条数、读取所述总数据记录所需的总读取次数、以及待读取的起始数据记录的主键值；

查询语句生成模块，用于根据所述批量读取请求，生成所述数据库的查询语句，其中，所生成的查询语句的数目等于总读取次数，并且在每条查询语句中利用待读取的总数据记录的各个主键值对总读取次数的取模运算来选择该条查询语句将读取的数据记录；

读取模块，用于利用所生成的查询语句，对所述数据库的所述表进行读取操作。

8.根据权利要求7所述的用于数据库的表的批量读取装置，其特征在于，所述待读取的总数据记录的条数等于所述数据库的所述表的总记录条数。

9.根据权利要求7所述的用于数据库的表的批量读取装置，其特征在于，所述总读取次数根据以下因素中的一项或多项来确定：用于将批量读取后的所述总数据记录进行存储的内存大小，用于显示所述总数据记录的客户端与所述数据库所处的服务器之间的网络带宽，以及所述客户端的用于显示所述总数据记录的屏幕大小。

10.根据权利要求9所述的用于数据库的表的批量读取装置，其特征在于，所述内存是用于所述客户端的内存、或者是用于所述服务器的内存、或者是所述客户端和所述服务器都共享的公共内存。

11.根据权利要求7-10之一所述的用于数据库的表的批量读取装置，其特征在于，所述数据库是分布式数据库。

12.根据权利要求11所述的用于数据库的表的批量读取装置，其特征在于，所述服务器包括通过网络连接在一起的两台或多台数据库服务器。

13.一种用于数据库的表的批量读取系统，包括服务器和通过网络与所述服务器相连接的客户端，其特征在于，所述服务器包括：

接收模块，用于从所述客户端接收对数据库的表的批量读取请求，其中，所述表包括多条数据记录，所述批量读取请求包括：待读取的总数据记录的条数、读取所述总数据记录所需的总读取次数、以及待读取的起始数据记录的主键值；

查询语句生成模块，用于根据所述批量读取请求，生成所述数据库的查询语句，其中，所生成的查询语句的数目等于总读取次数，并且在每条查询语句中利用待读取的总数据记录的各个主键值对总读取次数的取模运算来选择该条查询语句将读取的数据记录；

读取模块，用于利用所生成的查询语句，对所述数据库的所述表进行读取操作并将所读取的数据记录发送给所述客户端。