CN103853727A - 提高大数据量查询性能的方法及系统 - Google Patents

Abstract

本发明公开了一种提高大数据量查询性能的方法及系统，属于大数据量查询技术领域，所述方法包括：A、将磁盘数据库中的数据以缓存ID-实体数据的键值对形式加载到分布式缓存中，同时将所述缓存ID以及实体数据中的关键信息存入内存数据库中的缓存ID表中；B、获取客户端发送的查询请求时，依据该查询请求查询缓存ID表，选出符合查询条件的缓存ID集合；C、依据所述缓存ID集合从相应的分布式缓存中获取实体数据并返回客户端。采用本发明能有效减小磁盘数据库的负载，提高大数据的查询性能。

Description

提高大数据量查询性能的方法及系统

技术领域

本发明涉及大数据量查询技术领域，具体而言，涉及一种提高大数据量查询性能的方法及系统。

背景技术

在信息时代的大背景下，人们接触到的信息越来越多，基于大数据的查询应用变得越来越广泛。大数据的查询效率直接影响到系统的响应时间和用户体验，因此，研究如何提高查询性能至关重要。

在大数据的查询中，一般的做法是将大数据以表的形式存入关系数据库（磁盘数据库，例如Oracle、Sql Server等）中，利用数据库支持的结构化查询语句（SQL语句）执行查询。这种方式下的数据是存储在磁盘文件上的，当请求比较频繁，单个查询比较复杂（关联多个表），且数据量较大时，很容易出现性能瓶颈。

为了提高大数据的查询性能，目前现有技术中具有如下两种解决方法：采用分布式缓存以及采用内存数据库。

分布式缓存，与单机缓存对应，是指将数据缓存于多个不同的主机上，用户可以无差别的存/取数据。分布式缓存不受单机内存的限制，通过增加缓存服务器以增大缓存的容量，扩展性好。

分布式缓存系统负责在内存中维护一个统一巨大的哈希表，可以用来存储各种格式的数据，包括图像、视频、文件以及关系数据库检索的结果等，存/取性能非常高，时间复杂度均为O(1)。通过缓存数据库查询结果，可以减少关系数据库的访问次数，提高系统的响应速度。在数据驱动的应用中，经常需要重复从关系数据库中取出相同的数据，这种重复极大地增加了关系数据库的负载，采用分布式缓存是一个很好的解决办法。

内存数据库，顾名思义就是将数据放在内存中直接进行操作的数据库。相对于磁盘，内存的数据读写速度要高出几个数量级，将数据保存在内存中相比从磁盘上访问能够极大地提高应用的性能。同时，内存数据库抛弃了磁盘数据管理的传统方式，基于全部数据都在内存中重新设计了体系结构，并且在数据缓存、快速算法、并行操作方面也进行了相应的改进，所以数据处理速度比磁盘数据库的数据处理速度要快很多。

但是，在实际应用当中，若单独使用分布式缓存，将大数据以键值对的形式存入缓存服务器中，将产生相同数目的缓存标识（缓存ID）。当查询数据时，需要根据过滤信息遍历所有的缓存ID，一方面，由于受到缓存系统key长度的限制，缓存ID中无法包括所有的过滤相关信息，另一方面，依次遍历大量的缓存ID效率也比较低。

另外，若单独使用内存数据库，将大量数据加载到内存中，显然会受到内存容量的限制。

发明内容

为了解决现有技术中的大数据量查询性能低下，或需要占用大量的内存资源的问题，本发明的目的在于提供一种提高大数据量查询性能的方法及系统。

为了达到本发明的目的，本发明采用以下技术方案实现：

一种提高大数据量查询性能的方法，包括：

A、将磁盘数据库中的数据以缓存ID-实体数据的键值对形式加载到分布式缓存中，同时将所述缓存ID以及实体数据中的关键信息存入内存数据库中的缓存ID表中；

B、获取客户端发送的查询请求时，依据该查询请求查询缓存ID表，选出符合查询条件的缓存ID集合；

C、依据所述缓存ID集合从相应的分布式缓存中获取实体数据并返回客户端。

优选地，在所述步骤A中，所述关键信息是指客户端发送的查询请求中与查询条件相关的字段信息，其中，所述查询条件包括过滤条件、排序条件、分页条件。

优选地，在所述步骤A中，在执行将所述缓存ID以及实体数据中的关键信息存入内存数据库中的缓存ID表中时，还执行：

将磁盘数据库中的用户权限与过滤条件也分别加载到内存数据库中的用户权限表与过滤条件表中。

优选地，在所述步骤B中，依据查询请求查询缓存ID表，选出符合查询条件的缓存ID集合的步骤为：

依据所述查询请求的查询条件构造SQL语句，对内存数据库中的用户权限表、过滤条件表以及缓存ID表进行关联查询；

利用内存数据库访问接口执行SQL语句，返回满足查询条件的缓存ID集合。

优选地，在执行所述步骤A之后，还包括：

A1、周期地调用磁盘数据库的存储进程获取磁盘数据库的更新数据，并将这些更新数据更新至分布式缓存以及内存数据库中。

优选地，在所述步骤A1中，所述更新包括数据的新增、修改以及删除，将这些更新数据更新至分布式缓存以及内存数据库中的方法为：

对于新增数据，将新增数据以缓存ID-实体数据的键值对形式存入分布式缓存中，同时将所述缓存ID以及实体数据的关键信息插入缓存ID表；

对于修改数据，调用分布式缓存客户端接口函数，将所述修改数据替换分布式缓存中的原有缓存数据，同时更新缓存ID表；

对于删除数据，调用分布式缓存客户端接口函数删除分布式缓存中的原有缓存数据，同时删除缓存ID表中的记录。

一种提高大数据量查询性能的系统，包括：

数据库服务器，用于维护磁盘数据库；

应用服务器，用于将磁盘数据库中的数据以缓存ID-实体数据的键值对形式加载到分布式缓存服务器中，同时将所述缓存ID以及实体数据中的关键信息存入内存数据库中的缓存ID表中；以及进一步用于在获取客户端发送查询请求时，依据该查询请求查询缓存ID表，选出符合查询条件的缓存ID集合，并依据所述缓存ID集合从相应的分布式缓存服务器中获取实体数据并返回客户端；

至少一个分布式缓存服务器，用于缓存应用服务器加载的实体数据；以及进一步用于当应用服务器依据缓存ID集合从分布式缓存服务器取数据时，发送相应的实体数据至应用服务器；

客户端，用于根据获取的数据查询指令向应用服务器发送查询请求，以及进一步用于从应用服务器获取其查询到的实体数据。

优选地，所述关键信息是指客户端发送的查询请求中与查询条件相关的字段信息，其中，所述查询条件包括过滤条件、排序条件、分页条件。

优选地，在应用服务器执行将所述缓存ID以及实体数据中的关键信息存入内存数据库中的缓存ID表中时，还执行：将磁盘数据库中的用户权限与过滤条件也分别加载到内存数据库中的用户权限表与过滤条件表中。

优选地，应用服务器依据查询请求查询缓存ID表，选出符合查询条件的缓存ID集合的方法为：

依据所述查询请求的查询条件构造SQL语句，对内存数据库中的用户权限表、过滤条件表以及缓存ID表进行关联查询；

利用内存数据库访问接口执行SQL语句，返回满足查询条件的缓存ID集合。

优选地，所述应用服务器还用于周期地调用磁盘数据库的存储进程获取磁盘数据库的更新数据，并将这些更新数据更新至分布式缓存以及内存数据库中。

优选地，所述更新包括数据的新增、修改以及删除，所述应用服务器将这些更新数据更新至分布式缓存以及内存数据库中的方法为：

对于新增数据，将新增数据以缓存ID-实体数据的键值对形式存入分布式缓存中，同时将所述缓存ID以及实体数据的关键信息插入缓存ID表；

对于修改数据，调用分布式缓存客户端接口函数，将所述修改数据替换分布式缓存中的原有缓存数据，同时更新缓存ID表；

对于删除数据，调用分布式缓存客户端接口函数删除分布式缓存中的原有缓存数据，同时删除缓存ID表中的记录。

通过上述本发明的技术方案可以看出，本发明具有以下有益效果：

1、在应用服务器的内存中缓存数据，不用每次在接收到客户端发送的查询请求时都访问磁盘数据库，有效地减小了磁盘数据库的负载。

2、将数据加载至分布式缓存和内存数据库以后, 查询的处理都是在内存中完成，相较于磁盘数据库进行I/O操作而言，提高了处理性能。

3、采用分布式缓存和内存数据库相结合的缓存方法，不仅可以利用内存数据库索引高效地完成缓存ID过滤，而且可以从分布式缓存高效地获取对应缓存ID的详细数据，提高了查询大数据量时的查询性能。

附图说明

图1为本发明实施例提供的一种提高大数据量查询性能的方法流程示意图；

图2为本发明实施例提供的一种提高大数据量查询性能的系统结构示意图；

图3为本发明实施例提供的一种提高大数据量查询性能的系统的具体工作流程示意图。

本发明目的的实现、功能特点及优异效果，下面将结合具体实施例以及附图做进一步的说明。

具体实施方式

下面结合附图和具体实施例对本发明所述技术方案作进一步的详细描述，以使本领域的技术人员可以更好的理解本发明并能予以实施，但所举实施例不作为对本发明的限定。

基于现有技术存在的问题，本发明的发明人考虑将分布式缓存以及内存数据库这两种技术相结合，在内存数据库中建立缓存ID表，存储缓存ID和少量关键数据（与过滤、排序以及分页这些查询条件相关的字段），并根据需要建立索引，将大量详细信息存于分布式缓存中。查询数据时，首先利用结构化查询（SQL）语句在内存数据库中过滤出所需的缓存ID集合，再根据缓存ID从分布式缓存中获取详细数据信息。这不仅解决了分布式缓存中过滤缓存ID的效率难题，而且避免了内存数据库中存入大量数据的问题。

如图1所示，本发明实施例提供的一种提高大数据量查询性能的方法，包括如下步骤：

S10、将磁盘数据库中的数据以缓存ID-实体数据的键值对形式加载到分布式缓存中，同时将所述缓存ID以及实体数据中的关键信息存入内存数据库中的缓存ID表中；在该步骤中，优选地，所述关键信息是指客户端发送的查询请求中与查询条件相关的字段信息，其中，所述查询条件包括过滤条件、排序条件、分页条件；

S20、获取客户端发送的查询请求时，依据该查询请求查询缓存ID表，选出符合查询条件的缓存ID集合；

S30、依据所述缓存ID集合从相应的分布式缓存中获取实体数据并返回客户端。

本实施例中，在所述步骤S10中，在执行将所述缓存ID以及实体数据中的关键信息存入内存数据库中的缓存ID表中时，还执行：

将磁盘数据库中的用户权限与过滤条件也分别加载到内存数据库中的用户权限表与过滤条件表中。

在具体实施时，在执行将所述缓存ID以及实体数据中的关键信息存入内存数据库中的缓存ID表中之前，还应当包括如下步骤：

创建缓存ID表，并针对缓存ID和与查询条件相关的字段信息建立索引。

本实施例中，在所述步骤S20中，依据查询请求查询缓存ID表，选出符合查询条件的缓存ID集合的步骤为：

S201、依据所述查询请求的查询条件构造SQL语句, 对内存数据库中的用户权限表、过滤条件表以及缓存ID表进行关联查询；

S202、利用内存数据访问接口执行SQL语句，返回满足查询条件的缓存ID集合。

优选地，在执行所述步骤S10之后，还包括：

S11、周期地调用磁盘数据库的存储进程获取磁盘数据库的更新数据，并将这些更新数据更新至分布式缓存以及内存数据库中。

具体地，在所述步骤S11中，所述更新包括数据的新增、修改以及删除，将这些更新数据更新至分布式缓存以及内存数据库中的方法为：

1）对于新增数据，将新增数据以缓存ID-实体数据的键值对形式存入分布式缓存中，同时将所述缓存ID以及实体数据的关键信息插入缓存ID表；

2）对于修改数据，调用分布式缓存客户端接口函数，将所述修改数据替换分布式缓存中的原有缓存数据，同时更新缓存ID表；

3）对于删除数据，调用分布式缓存客户端接口函数删除分布式缓存中的原有缓存数据，同时删除缓存ID表中的记录。

例如，与本发明实施例提出的提高大数据量查询性能的方法相对应的系统，其在实施过程中包括如下步骤：

步骤一，应用服务器启动加载。

应用服务器将磁盘数据库中的数据以键值对的形式加载到分布式缓存中，其中，键是唯一的缓存标识（缓存ID），值是对应的详细的实体数据， 同时将缓存ID和实体数据中的关键信息数据存入内存数据库的缓存ID表中。实体数据中的关键信息数据是指与查询请求中查询条件相关的字段信息。

在该步骤中，应用服务器在启动加载时，还将磁盘数据库中的用户权限和过滤条件也分别加载到内存数据库的用户权限表和过滤条件表中。

步骤二，应用服务器执行与磁盘数据库的数据同步。

应用服务器启动线程定时将磁盘数据库中的数据同步到分布式缓存中，同时更新缓存ID表，保证分布式缓存数据与磁盘数据库数据的一致性。

其中数据同步包括新增数据加载、修改数据更新和删除数据清除操作。

步骤三，利用内存数据库过滤缓存ID。

应用服务器在收到查询请求时，首先构造SQL语句，对用户权限表、过滤条件表和缓存ID表进行关联查询，选出符合查询条件的缓存ID集合。

步骤四，从分布式缓存中获取详细数据返回。

应用服务器根据第三步获取的缓存ID集合，从分布式缓存中取出对应的结果详细数据，并返回客户端。

如2所示，本发明实施例提供的一种提高大数据量查询性能的系统，包括：

数据库服务器200，用于维护磁盘数据库；

应用服务器100，用于将磁盘数据库中的数据以缓存ID-实体数据的键值对形式加载到分布式缓存服务器300中，同时将所述缓存ID以及实体数据中的关键信息存入内存数据库中的缓存ID表中；以及进一步用于在获取客户端400发送查询请求时，依据该查询请求查询缓存ID表，选出符合查询条件的缓存ID集合，并依据所述缓存ID集合从相应的分布式缓存服务器300中获取实体数据并返回客户端400；其中，所述关键信息是指客户端400发送的查询请求中与查询条件相关的字段信息，例如，所述查询条件包括过滤条件、排序条件、分页条件；

至少一个分布式缓存服务器300，用于缓存应用服务器100加载的实体数据；以及进一步用于当应用服务器100依据缓存ID集合从分布式缓存服务器300取数据时，发送相应的实体数据至应用服务器100；

客户端400，用于根据获取的数据查询指令向应用服务器100发送查询请求，以及进一步用于从应用服务器100获取其查询到的实体数据。

具体地，本实施例中，在应用服务器100执行将所述缓存ID以及实体数据中的关键信息存入内存数据库中的缓存ID表中时，还执行：将磁盘数据库中的用户权限与过滤条件也分别加载到内存数据库中的用户权限表与过滤条件表中。

本实施例中，应用服务器100依据查询请求查询缓存ID表，选出符合查询条件的缓存ID集合的方法为：

依据所述查询请求的查询条件构造SQL语句， 对内存数据库中的用户权限表、过滤条件表以及缓存ID表进行关联查询；

3）利用内存数据库访问接口执行SQL语句，返回满足查询条件的缓存ID集合。

本实施例中，所述应用服务器100还用于周期地调用磁盘数据库的存储进程获取磁盘数据库的更新数据，并将这些更新数据更新至分布式缓存以及内存数据库中，以保证分布式缓存服务器中的数据与磁盘数据库中的数据的一致性。

优选地，所述更新包括数据的新增、修改以及删除，所述应用服务器将这些更新数据更新至分布式缓存以及内存数据库中的方法为：

对于新增数据，将新增数据以缓存ID-实体数据的键值对形式存入分布式缓存中，同时将所述缓存ID以及实体数据的关键信息插入缓存ID表；

对于修改数据，调用分布式缓存客户端接口函数，将所述修改数据替换分布式缓存中的原有缓存数据，同时更新缓存ID表；

对于删除数据，调用分布式缓存客户端接口函数删除分布式缓存中的原有缓存数据，同时删除缓存ID表中的记录。

例如，参考图3，本发明实施例提供的提高大数据量查询性能的系统，其在具体实施时，包括如下具体实施步骤：

1）应用服务器启动时，首先执行分布式缓存服务器的初始化，建立与分布式缓存服务器的连接。

再通过调用磁盘数据库存储进程将磁盘数据库所有数据(可以分批或增量加载)以对象的形式加载到应用服务器的内存中，其中，每个对象对应一个唯一的缓存标识（即缓存ID）。

然后调用分布式缓存客户端接口函数，将数据以<缓存ID，数据对象>键值对的形式存入分布式缓存服务器中，此时数据对象需要实现序列化接口。

以及，初始化内存数据库，构造SQL语句，在内存中创建一个缓存ID表，其字段包括缓存ID（主关键字）以及用于过滤和排序的信息，如类型、级别或时间等，并调用内存数据库访问接口执行。

之后，构造SQL语句，将缓存ID和从磁盘数据库中获取的数据中对应的信息批量存入缓存ID表。为了提高查询效率，应用服务器启动加载时，将磁盘数据库中的用户权限和过滤条件信息也分别加载到内存数据库的相应表中，这些表为用户权限表和过滤条件表。

2）完成应用服务器的启动加载后，应用服务器开启数据同步线程，定时同步磁盘数据库与内存及缓存（其包括内存数据库和分布式缓存服务器）中的数据。

例如，具体实施时，可以每隔一段时间（如3秒）调用磁盘数据库的存储进程获取全部（或增量）改变的数据（包括新增、修改和删除）。

对于新增数据，新增数据以<键，值>对的形式存入分布式缓存中,同时将对应信息插入缓存ID表；

对于修改数据，调用分布式缓存客户端接口函数，替换原有缓存数据，同时更新缓存ID表；

对于删除数据，调用分布式缓存客户端接口函数，删除缓存，同时删除缓存ID表中的记录。

当磁盘数据库中的数据不会发生变化时，不需要进行数据同步，则可以省略该步骤。

经过以上两步，我们可以认为内存缓存中的数据与磁盘数据库中的数据是一致的。

3）当应用服务器收到查询请求时，首先根据查询条件构造SQL语句，对用户权限表、过滤条件表和缓存ID表进行关联查询，再利用内存数据库访问接口执行SQL语句，返回满足查询条件的缓存ID集合。

4）最后，应用服务器根据获得的缓存ID集合，调用分布式缓存客户端接口函数，从分布式缓存中批量获取对应缓存ID集合的结果详细数据集合，返回客户端，一次查询结束。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (12)

1.一种提高大数据量查询性能的方法，其特征在于，包括：

A、将磁盘数据库中的数据以缓存ID-实体数据的键值对形式加载到分布式缓存中，同时将所述缓存ID以及实体数据中的关键信息存入内存数据库中的缓存ID表中；

B、获取客户端发送的查询请求时，依据该查询请求查询缓存ID表，选出符合查询条件的缓存ID集合；

C、依据所述缓存ID集合从相应的分布式缓存中获取实体数据并返回客户端。

2.如权利要求1所述的提高大数据量查询性能的方法，其特征在于，在所述步骤A中，所述关键信息是指客户端发送的查询请求中与查询条件相关的字段信息，其中，所述查询条件包括过滤条件、排序条件、分页条件。

3.如权利要求1或2所述的提高大数据量查询性能的方法，其特征在于，在所述步骤A中，在执行将所述缓存ID以及实体数据中的关键信息存入内存数据库中的缓存ID表中时，还执行：

将磁盘数据库中的用户权限与过滤条件也分别加载到内存数据库中的用户权限表与过滤条件表中。

4.如权利要求3所述的提高大数据量查询性能的方法，其特征在于，在所述步骤B中，依据查询请求查询缓存ID表，选出符合查询条件的缓存ID集合的步骤为：

依据所述查询请求的查询条件构造SQL语句，对内存数据库中的用户权限表、过滤条件表以及缓存ID表进行关联查询；

利用内存数据库访问接口执行SQL语句，返回满足查询条件的缓存ID集合。

5.如权利要求1所述的提高大数据量查询性能的方法，其特征在于，在执行所述步骤A之后，还包括：

A1、周期地调用磁盘数据库的存储进程获取磁盘数据库的更新数据，并将这些更新数据更新至分布式缓存以及内存数据库中。

6.如权利要求5所述的提高大数据量查询性能的方法，其特征在于，所述更新包括数据的新增、修改以及删除，将这些更新数据更新至分布式缓存以及内存数据库中的方法为：

对于新增数据，将新增数据以缓存ID-实体数据的键值对形式存入分布式缓存中，同时将所述缓存ID以及实体数据的关键信息插入缓存ID表；

对于修改数据，调用分布式缓存客户端接口函数，将所述修改数据替换分布式缓存中的原有缓存数据，同时更新缓存ID表；

对于删除数据，调用分布式缓存客户端接口函数删除分布式缓存中的原有缓存数据，同时删除缓存ID表中的记录。

7.一种提高大数据量查询性能的系统，其特征在于，包括：

数据库服务器，用于维护磁盘数据库；

应用服务器，用于将磁盘数据库中的数据以缓存ID-实体数据的键值对形式加载到分布式缓存服务器中，同时将所述缓存ID以及实体数据中的关键信息存入内存数据库中的缓存ID表中；以及进一步用于在获取客户端发送查询请求时，依据该查询请求查询缓存ID表，选出符合查询条件的缓存ID集合，并依据所述缓存ID集合从相应的分布式缓存服务器中获取实体数据并返回客户端；

至少一个分布式缓存服务器，用于缓存应用服务器加载的实体数据；以及进一步用于当应用服务器依据缓存ID集合从分布式缓存服务器取数据时，发送相应的实体数据至应用服务器；

客户端，用于根据获取的数据查询指令向应用服务器发送查询请求，以及进一步用于从应用服务器获取其查询到的实体数据。

8.如权利要求7所述的提高大数据量查询性能的系统，其特征在于，所述关键信息是指客户端发送的查询请求中与查询条件相关的字段信息，其中，所述查询条件包括过滤条件、排序条件、分页条件。

9.如权利要求7或8所述的提高大数据量查询性能的系统，其特征在于，在应用服务器执行将所述缓存ID以及实体数据中的关键信息存入内存数据库中的缓存ID表中时，还执行：将磁盘数据库中的用户权限与过滤条件也分别加载到内存数据库中的用户权限表与过滤条件表中。

10.如权利要求9所述的提高大数据量查询性能的系统，其特征在于，应用服务器依据查询请求查询缓存ID表，选出符合查询条件的缓存ID集合的方法为：

依据所述查询请求的查询条件构造SQL语句，对内存数据库中的用户权限表、过滤条件表以及缓存ID表进行关联查询；

利用内存数据库访问接口执行SQL语句，返回满足查询条件的缓存ID集合。

11.如权利要求7所述的提高大数据量查询性能的系统，其特征在于，所述应用服务器还用于周期地调用磁盘数据库的存储进程获取磁盘数据库的更新数据，并将这些更新数据更新至分布式缓存以及内存数据库中。

12.如权利要求7所述的提高大数据量查询性能的系统，其特征在于，所述更新包括数据的新增、修改以及删除，所述应用服务器将这些更新数据更新至分布式缓存以及内存数据库中的方法为：

对于新增数据，将新增数据以缓存ID-实体数据的键值对形式存入分布式缓存中，同时将所述缓存ID以及实体数据的关键信息插入缓存ID表；

对于修改数据，调用分布式缓存客户端接口函数，将所述修改数据替换分布式缓存中的原有缓存数据，同时更新缓存ID表；

对于删除数据，调用分布式缓存客户端接口函数删除分布式缓存中的原有缓存数据，同时删除缓存ID表中的记录。

Images