CN101937474A - 海量数据查询方法及设备 - Google Patents

Abstract

本发明涉及数据查询技术，公开了一种海量数据查询方法及设备，所述方法包括：接收客户端发起的资源配置请求，所述资源配置请求中携带数据表连接的相关信息；和/或携带指定的关键数据表字段；从数据库中提取出所述数据表，生成文件系统数据；将所述文件系统数据加载到共享内存中；在收到用户对所述数据库的查询请求后，从所述共享内存中提取用户查询的数据。利用本发明，可以弱化客户端对数据库的依赖性，减少对生产系统资源的影响，并提高查询效率。

Description

海量数据查询方法及设备

技术领域

本发明涉及数据查询技术，具体涉及一种海量数据查询方法及设备。

背景技术

目前，移动计费系统涉及到话单处理的相关数据表数据相当庞大，对于开发人员、运维人员等做生产操作，尤其是日常的数据检索统计等，操作效率非常低，主要表现为以下几个方面：

1.数据的查询统计是日常生产的重要活动，而对大数据表尽管做了优化查询处理，正常的整个操作过程经常要花费几分钟甚至十几分钟，大大影响生产线人员的工作效率；

2.系统资源紧张，有时候对紧急问题的数据库查询抢占了部分资源，影响正常的生产线效率；

3.对一些历史的数据，由于数据库资源往往会做定期清理，导致一些问题回溯不到根源。

当然，海量数据库操作不只在计费系统，而是普遍存在于现代高速发展的信息产业当中。在现代信息化的管理中，如何提高海量数据操作效率已经是一个普遍的课题。

目前，对海量数据库的查询优化方案比较常见的有索引技术，索引是除表之外另一重要的、用户定义的存储在物理介质上的数据结构。当根据索引码的值搜索数据时，索引提供了对数据的快速访问，针对海量数据表建立适当的索引，对千万级的数据进行检索能有效提高速度。

通过索引技术虽然能在一定程度上提高对数据库访问的效率，但也有其缺点，主要如下：

第一、创建索引和维护索引要耗费时间，这种时间随着数据量的增加而增加。

第二、索引需要占物理空间，除了数据表占物理空间之外，每一个索引还要占一定的物理空间，如果要建立聚簇索引，则需要的空间会更大。

第三、当对表中的数据进行增加、删除和修改的时候，索引也要动态地维护，这样就降低了数据的维护速度。

另外，即使对于再适当的索引，还是建立在数据库的基础上，无法摆脱对数据库的依赖，而且对于千万数量级以上且多字段数据表的查询依然比较费时。

发明内容

本发明实施例针对上述现有技术存在的缺点，提供一种海量数据查询方法及设备，以弱化客户端对数据库的依赖性，并提高查询效率。

为此，本发明实施例提供如下技术方案：

一种海量数据查询方法，包括：

接收客户端发起的资源配置请求，所述资源配置请求中携带数据表连接的相关信息；和/或携带指定的关键数据表字段；

从数据库中提取出所述数据表，生成文件系统数据；

将所述文件系统数据加载到共享内存中；

在收到用户对所述数据库的查询请求后，从所述共享内存中提取用户查询的数据。

优选地，所述资源配置请求是客户端定时发起的。

优选地，所述方法还包括：

在将所述文件系统数据加载到共享内存中时，如果需要进行计算，则根据所述数据表字段的类型对数据表字段进行格式转换。

优选地，所述方法还包括：

对加载到共享内存中的文件系统数据进行归类，生成不同类别的文件系统数据。

优选地，所述方法还包括：分别建立对应所述不同类别的文件系统数据的一个或多个索引；

所述从所述共享内存中提取用户查询的数据包括：

根据所述索引从所述共享内存中提取用户查询的数据。

优选地，所述方法还包括：

将从所述共享内存中提取的用户查询的数据保存到文件中；和/或

将从所述共享内存中提取的用户查询的数据展现给用户。

一种海量数据查询设备，包括：

配置请求接收单元，用于接收客户端发起的资源配置请求，所述资源配置请求中携带数据表连接的相关信息；和/或携带指定的关键数据表字段；

提取单元，用于从数据库中提取出所述数据表，生成文件系统数据；

加载单元，用于将所述文件系统数据加载到共享内存中；

查询请求接收单元，用于接收用户对所述数据库的查询请求；

查询单元，用于在所述查询请求接收单元收到用户对所述数据库的查询请求后，从所述共享内存中提取用户查询的数据。

优选地，所述设备还包括：

格式转换单元，用于在所述加载单元将所述文件系统数据加载到共享内存并且需要进行计算时，根据所述数据表字段的类型对数据表字段进行格式转换。

优选地，所述设备还包括：

归类单元，用于对加载到共享内存中的文件系统数据进行归类，生成不同类别的文件系统数据。

优选地，所述设备还包括：

索引单元，用于分别建立对应所述不同类别的文件系统数据的一个或多个索引；

所述查询单元，具体用于根据所述索引从所述共享内存中提取用户查询的数据。

优选地，所述设备还包括：

存储单元，用于将从所述共享内存中提取的用户查询的数据保存到文件中；和/或

展现单元，用于将从所述共享内存中提取的用户查询的数据展现给用户。

本发明实施例海量数据查询方法及设备，将对数据库资源占用的时间聚集在一个空闲时段，将对数据库资源及操作系统的占用统一转移到对文件操作系统的资源占用，从而有效地弱化了客户端对数据库的依赖性，减轻了数据库的负荷，并提高了查询效率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1是本发明实施例海量数据查询方法的流程图；

图2是本发明实施例海量数据查询设备的一种结构示意图；

图3是本发明实施例海量数据查询设备的另一种结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和实施方式对本发明实施例作进一步的详细说明。

本发明实施例海量数据查询方法及设备，针对现有技术海量数据查询对数据库资源的消耗比较大，即使索引技术再先进，也无法摆脱对数据库资源的束缚的问题，利用一个查询代理服务器或者中间件，将对数据库资源的占用时段及方式进行转移，弱化客户端对数据库的依赖性，并提高查询效率。

如图1所示，是本发明实施例海量数据查询方法的流程图，包括以下基本步骤：

步骤101，接收客户端发起的资源配置请求，所述资源配置请求中携带连接数据表相关信息，和/或携带指定的关键数据表字段。

考虑到一般索引查询对数据库资源占用的时间比较散，特别在生产系统忙时占用数据库会给数据库造成较大的负载，甚至会影响到正常的生产系统，因此，在本发明实施例中，为了弱化对数据库资源的依赖性并减少对正常业务处理的影响，可以周期性地将对占用数据库资源的时间聚集在一个空闲时段，比如，在每天凌晨闲时的1:00至4:00时段。由客户端定时发起资源配置请求，资源配置请求中携带连接数据表相关信息、和/或需要查询或统计的关键数据表字段等信息。

在具体应用，客户端可以采用用户配置清单的方式，将需要从数据库中采集的数据表及相关信息通过所述资源配置请求发送给查询代理服务器。

比如，所述用户配置清单可以包括以下主要信息：

[db]：连接的数据库名；

[usr]：数据库用户名；

[pwd]：数据库用户名对应密码；

[table]：连接的数据表名；

[field]：指定加载的数据表字段，或用*表示加载所有数据表字段；

[sql]：指定预处理常用的SQL语句，系统根据这些SQL语句后台做预处理，并时刻保持最新的处理结果。

当然，本发明实施例并不限定所述用户配置清单的具体格式，而且也不限定其所包含的具体信息。

步骤102，从数据库中提取出所述数据表，生成文件系统数据。

根据需要，可以从数据库中提取出一个或多个数据表，每个数据表可以作为一个文本文件。所述文本文件中的数据作为文件系统数据存储。

步骤103，将所述文件系统数据加载到共享内存中。

在存储所述文件系统数据时，可以以数据表名为目录，以日期为文件名，每个周期增量的数据保存在相应的文件中。比如，以话单异常挂起月表为例，该表命名为dsu_cdr_yyyymm，在201003月建立目录dsu_cdr_201003，表更新周期为1天，目录下生成文件为20100301...20100331共31个文件，每天按增量数据增加一个。

需要说明的是，在将所述文件系统数据加载到共享内存中时，如果需要进行计算，可以根据所述数据表字段的类型对数据表字段进行格式转换，例如将字段从字符串格式转换为浮点格式。

另外，在将文件系统数据加载到共享内存之前，还可以对其进行归类，生成不同类别的文件系统数据。

所述共享内存的空间可以根据数据格式化后的类型占用空间来估算，比如可以按以下公式来计算：每条记录占用的内存*文件记录数数量级*文件数。

步骤104，在收到用户对所述数据库的查询请求后，从所述共享内存中提取用户查询的数据。

具体地，可以对共享内存中的数据进行筛选运算，得到用户查询的数据。具体的筛选方式可根据实际需要，采用一些常用的筛选运算，对此本发明实施例不做限定。

在将用户查询的数据从所述共享内存中提取出来后，可以将这些数据保存到文件中，或者将这些数据直接展现给用户，由用户选择是否对其进行保存。当然，还可以自动将这些数据保存到文件中并同时展现给用户。

在本发明实施例中，对于共享内存中存储的文件系统数据的查询，可以按照类似现有数据库查询的方式，预先分别建立对应不同类别的文件系统数据的一个或多个索引，在收到用户对所述数据库的查询请求后，根据所述索引从所述共享内存中提取用户查询的数据。

为了提高效率并有针对性，索引可以不对数据表中所有字段做穷举，而是针对用户配置的SQL语句指定的一些字段，这样既能在系统内部处理时提高效率，也能在用户发起查询请求时快速检索一些数据。

本发明实施例并不限于通过文件系统的方式对数据进行处理，还可采用其他方式直接在共享内存中提取用户查询的数据。

另外，在本发明实施例中，还可以针对一些常用的查询，比如用户用类似select sum(field)from table查询语句，这种对某个关键字段进行统计的情况，系统会将数据表从数据库中提取并存储到共享内存后，对一些常用关键字段从共享内存中筛选出来并做统计运算将结果其保存到文件中。这样，在收到用户对所述数据库的查询请求后，如果用户查询的是这类数据，则可直接将预先筛选出并保存到文件中的相应数据展现给用户。

需要说明的是，在具体应用时，可以由查询代理服务器或者类似中间件方式实施本发明实施例的方法，即该方法或设备在客户端与数据库之间起到一个桥梁作用，也就是说，将现有技术由客户端对数据库的查询转移为客户端与查询代理服务器、以及查询代理服务器与数据库之间的交互。所述查询代理服务器可以是一台独立的专用服务器，也可以同时提供其他服务，比如可以在其他服务器上开辟一块专用的存储区和专用共享内存区，以提供查询服务使用。当然，不论是采用哪种方式的查询代理服务器，都可以与所述数据库所在生产系统直接相连。所述查询代理服务器对于客户端而言，相当于数据服务器，可以部署到网络中，提供网内并发数据查询。

可见，本发明实施例海量数据查询方法，将对数据库资源占用的时间聚集在一个空闲时段，将对数据库资源及操作系统的占用统一转移到对文件操作系统的资源占用，从而有效地弱化了客户端对数据库的依赖性，减轻了数据库的负荷，并提高了查询效率。

进一步地，将对数据库的索引技术可以转化为到对文件的索引排序算法，可以提高查询效率，方便地实现对海量数据的访问。

由于对数据库的一个查询往往只能针对目前的数据表中的数据得到查询结果，如果数据库中的数据增加了则还需要再重新查询一遍，而且速度会随着数据增长而变慢。因此，在本发明实施例中，针对这种情况，还可以通过增量性预处理方式，进一步提高处理效率。具体地，可以在前面提到的用户配置清单中设置以下信息：[period]，更新数据周期，以天为单位。在数据库更新时，对统计查询的预处理也会做相应的更新。这样，可以使从数据库中预提取的数据表保持最新，大大提高查询效率。

相应地，本发明实施例还提供一种海量数据查询设备，如图2所示，是该设备的一种结构示意图。

在该实施例中，所述设备200包括：

配置请求接收单元201，用于接收客户端发起的资源配置请求，所述资源配置请求中携带数据表连接的相关信息；和/或携带指定的关键数据表字段；

提取单元202，用于在所述配置请求接收单元201接收到所述资源配置请求后，从数据库300中提取出所述数据表，生成文件系统数据；具体地，提取单元202可以对共享内存中的数据进行筛选运算，得到用户查询的数据。具体的筛选方式可根据实际需要，采用一些常用的筛选运算，对此本发明实施例不做限定；

加载单元203，用于将所述文件系统数据加载到共享内存204中；

查询请求接收单元205，用于接收用户对所述数据库的查询请求；

查询单元206，用于在所述查询请求接收单元205收到用户对所述数据库的查询请求后，从所述共享内存204中提取用户查询的数据。

本发明实施例海量数据查询设备，将对数据库资源占用的时间聚集在一个空闲时段，将对数据库资源及操作系统的占用统一转移到对文件操作系统的资源占用，从而有效地弱化了客户端对数据库的依赖性，减轻了数据库的负荷，并提高了查询效率。利用本发明实施例海量数据查询设备实现对数据库中数据查询的具体过程可参照前面本发明实施例海量数据查询方法中的描述，在此不再赘述。

需要说明的是，在将所述文件系统数据加载到共享内存中时，有可能需要进行计算，为此，在所述设备200中还可进一步包括：

格式转换单元(未图示)，用于在所述加载单元203将所述文件系统数据加载到共享内存204并且需要进行计算时，根据所述数据表字段的类型对数据表字段进行格式转换。

另外，所述设备200还可进一步包括：

归类单元(未图示)，用于对加载到共享内存204中的文件系统数据进行归类，生成不同类别的文件系统数据。

本发明实施例海量数据查询设备，将对数据库资源及操作系统的占用统一转移到对文件操作系统的资源占用。在具体实现时，可以有多种实现方式。

如图3所示，是本发明实施例海量数据查询设备的另一种结构示意图。

与图2所示实施例不同的是，在该实施例中，所述海量数据查询设备300还进一步包括：索引单元207，用于分别建立对应所述不同类别的文件系统数据的一个或多个索引。相应地，所述查询单元205，具体用于根据所述索引从所述共享内存204中提取用户查询的数据。

这样，将对数据库的索引技术可以转化为到对文件的索引排序，可以进一步提高查询效率，方便地实现对海量数据的访问。

当然，本发明实施例并不限定对加载到共享内存中的文件系统数据的查询实现方式，还可采用其他方式。例如对于一些小数据的简单查询可以通过读取文件系统数据直接进行运算得出结果，而不需要开辟一大片专用的共享内存空间。

需要说明的是，不论是图2还是图3所示实施例所示海量数据查询设备，所述海量数据查询设备还可进一步包括：

存储单元(未图示)，用于将从所述共享内存中提取的用户查询的数据保存到文件中；和/或

展现单元(未图示)，用于将从所述共享内存中提取的用户查询的数据展现给用户。

这样，可以进一步方便用户的应用，满足用户的不同应用需求。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上对本发明实施例进行了详细介绍，本文中应用了具体实施方式对本发明进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及设备；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (11)

1.一种海量数据查询方法，其特征在于，包括：

接收客户端发起的资源配置请求，所述资源配置请求中携带数据表连接的相关信息；和/或携带指定的关键数据表字段；

从数据库中提取出所述数据表，生成文件系统数据；

将所述文件系统数据加载到共享内存中；

在收到用户对所述数据库的查询请求后，从所述共享内存中提取用户查询的数据。

2.根据权利要求1所述的方法，其特征在于，所述资源配置请求是客户端定时发起的。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在将所述文件系统数据加载到共享内存中时，如果需要进行计算，则根据所述数据表字段的类型对数据表字段进行格式转换。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对加载到共享内存中的文件系统数据进行归类，生成不同类别的文件系统数据。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：分别建立对应所述不同类别的文件系统数据的一个或多个索引；

所述从所述共享内存中提取用户查询的数据包括：

根据所述索引从所述共享内存中提取用户查询的数据。

6.根据权利要求1至5任一项所述的方法，其特征在于，所述方法还包括：

将从所述共享内存中提取的用户查询的数据保存到文件中；和/或

将从所述共享内存中提取的用户查询的数据展现给用户。

7.一种海量数据查询设备，其特征在于，包括：

配置请求接收单元，用于接收客户端发起的资源配置请求，所述资源配置请求中携带数据表连接的相关信息；和/或携带指定的关键数据表字段；

提取单元，用于从数据库中提取出所述数据表，生成文件系统数据；

加载单元，用于将所述文件系统数据加载到共享内存中；

查询请求接收单元，用于接收用户对所述数据库的查询请求；

查询单元，用于在所述查询请求接收单元收到用户对所述数据库的查询请求后，从所述共享内存中提取用户查询的数据。

8.根据权利要求7所述的设备，其特征在于，所述设备还包括：

格式转换单元，用于在所述加载单元将所述文件系统数据加载到共享内存并且需要进行计算时，根据所述数据表字段的类型对数据表字段进行格式转换。

9.根据权利要求7所述的设备，其特征在于，所述设备还包括：

归类单元，用于对加载到共享内存中的文件系统数据进行归类，生成不同类别的文件系统数据。

10.根据权利要求9所述的设备，其特征在于，所述设备还包括：

索引单元，用于分别建立对应所述不同类别的文件系统数据的一个或多个索引；

所述查询单元，具体用于根据所述索引从所述共享内存中提取用户查询的数据。

11.根据权利要求7至10任一项所述的设备，其特征在于，所述设备还包括：

存储单元，用于将从所述共享内存中提取的用户查询的数据保存到文件中；和/或

展现单元，用于将从所述共享内存中提取的用户查询的数据展现给用户。

Images