CN102937980B - 一种集群数据库数据查询方法 - Google Patents

Abstract

本发明公开了一种集群数据库数据查询方法。该方法包括：在监听到对集群数据库的查询请求时，判断是否存在与所述查询请求的查询语句对应的临时表；若判断为不存在，生成与所述查询语句对应的临时表，所述与所述查询语句对应的临时表存储通过进行MongoDB运算而获取的与所述查询语句对应的查询结果；若判断为存在，通过查询与所述查询语句对应的临时表来获取查询结果。本发明可尽量避免在需求变动或者查询需要变动的情况下因要重新配置要预先将查询结果存储在缓存里的查询语句而耗费大量人力以及物力来手工改动的缺陷。

Description

一种集群数据库数据查询方法

技术领域

本发明涉及集群数据库领域，尤其涉及一种MongoDB集群MapReduce数据查询方法。

背景技术

数据库集群是将多台服务器联合起来组成集群来实现综合性能优于单个大型服务器的技术。

MongoDB是一个基于分布式文件存储的数据库。旨在为WEB应用提供可扩展的高性能数据存储解决方案。并且，MongoDB是一个介于关系数据库和非关系数据库之间的产品，在非关系数据库当中功能很丰富、非常类似关系数据库的数据库。他支持的数据结构非常松散，是类似json的bjson格式，因此可以存储比较复杂的数据类型。MongoDB支持的查询语言非常强大，其语法有点类似于面向对象的查询语言，几乎可以实现类似关系数据库单表查询的绝大部分功能，而且还支持对数据建立索引。因此，MongoDB作为分布式文件存储的数据库得到了广泛应用。

MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。他极大地方便了编程人员将自己的程序运行在分布式系统上。

在实际上，常用的业务场景中，经常需要进行group（分组）查询或者排序，并且也有可能需要不同维度以及查询条件来获取结果。然而，在MongoDB中，只能支持单机的group的查询，而不能支持集群（分片，shareding）的group查询，如需要该应用场景的查询，将需使用到MapReduce方式。

在利用MapReduce对MongoDB集群进行大数据量、即时查询时，需要进行对每个数据分片进行散射查询，并进行js运算，且该MapReduce有一个BSON格式与JavaScript(简称JS)格式的转译过程。因此，若对每个即便重复的查询请求均即时地对MongoDB进行查询，会导致效率大为降低，而满足不了要求快速响应的场景需求。

为解决上述技术问题，提出了一种对满足固定维度（维度指的是再条件查询时，不同条件的组合而产生的定向查询，称之为维度）或者固定条件的数据依照预设第二设定时间频率进行更新或存储（心跳更新或者存储）至缓存中、然后再对缓存的数据进行查询的技术。然而，这种技术在需求变动或者查询需要变动的情况下将要耗费大量人力以及物力来手工改动。

此外，这种技术由于无法较好地匹配所缓存内容与应用实际要查询的内容，往往会导致缓存资源及运算资源的浪费，以及/或者导致查询速度较慢。

发明内容

本发明所要解决的技术问题之一是提供一种集群数据库数据查询方法，以尽量避免在需求变动或者查询需要变动的情况下因要重新配置要预先将查询结果存储在缓存里的查询语句而耗费大量人力以及物力来手工改动的缺陷。

为了解决上述技术问题，本发明提供了一种集群数据库数据查询方法。该方法包括：

在监听到对集群数据库的查询请求时，判断是否存在与所述查询请求的查询语句对应的临时表；

若判断为不存在，生成与所述查询语句对应的临时表，所述与所述查询语句对应的临时表存储通过进行MongoDB运算而获取的与所述查询语句对应的查询结果；

若判断为存在，通过查询与所述查询语句对应的临时表来获取查询结果。

该方法还可进一步包括：若判断为不存在，在日志表中建立与所述查询语句对应的记录；以及所述判断是否存在与所述查询请求的查询语句对应的临时表的步骤进一步包括：通过判断所述日志表中是否存在与所述查询语句对应的记录来判断是否存在与所述查询语句对应的临时表，所述日志表中的各记录包括在表示查询语句与其对应的临时表名的映射关系的信息。

该方法还可进一步包括若判断为存在，则：根据日志表中与所述查询语句对应的记录判断与该查询语句对应的临时表的资源是否有效，所述日志表的各记录中包括用于表示查询语句对应的临时表是否有效的信息；若判断为有效，则通过查询与所述查询语句对应的临时表来获取查询结果；

若判断为无效，则进行与该MapReduce查询请求的查询语句对应的MapReduce运算以更新与所述查询语句对应的临时表的数据，并将所述日志表中与所述查询语句对应的记录更新为表示与所述查询语句对应的临时表有效。

该方法还可进一步包括若判断为无效，则：先从与该查询语句对应的临时表中获取查询结果并返回查询结果，再进行与该MapReduce查询请求的查询语句对应的MapReduce运算以更新与所述查询语句对应的临时表的数据，并将所述日志表中与所述查询语句对应的记录更新为表示与所述查询语句对应的临时表有效。

该方法还可进一步包括：以第二设定时间规则删除或更新临时表及所述日志表中的相应记录。

其中，所述以第二设定时间规则删除或更新临时表及所述日志表中的相应记录的步骤可包括以下至少之一：

删除或更新所述日志表中记录表明已无效的临时表及日志表中相应的记录；

根据临时表的查询次数随机删除预设数量的所述临时表及相应记录。

其中，所述日志表的各记录中用于表示查询语句对应的临时表是否有效的信息包括时限信息、以及所述以第二设定时间规则删除临时表及所述日志表中的相应记录的步骤包括以下至少之一：以第二设定时间规则删除超过时限的时长大于门限值临时表及所述日志表中的相应记录；以第二设定时间规则通过进行MapReduce运算更新超过时限的时长小于门限值的记录及相应临时表；以第二设定时间规则通过进行MapReduce运算更新时限信息表明有效时长超过预设阈值的临时表。

该方法还可进一步包括：根据业务需求来配置查询语句，生成与所述查询语句对应的临时表，所述与所述查询语句对应的临时表存储通过进行MongoDB运算而获取的与所述查询语句对应的查询结果；以第一设定时间规则通过进行MapReduce运算更新与所配置的查询语句对应的临时表。

此外，若判断为不存在，还可在日志表中建立与所述查询语句对应的记录；以及所述判断是否存在与所述查询请求的查询语句对应的临时表的步骤进一步包括：通过判断所述日志表中是否存在与所述查询语句对应的记录以及判断所述查询语句是否为已根据业务需求配置的查询语句来判断是否存在与所述查询语句对应的临时表，所述日志表中的各记录包括在表示查询语句与其对应的临时表名的映射关系的信息。

与现有技术相比，本发明的一个或多个实施例可以具有如下优点：

通过在不存在与所述查询请求的查询语句对应的临时表时，动态地生成与所述查询语句对应的用于存储通过进行MongoDB运算而获取的查询结果的临时表。

这样，即可以保证在该临时表的时限内再次进行该查询语句的查询时只需查询所生成的临时表即可，而无需执行MapReduce运算，又可尽量避免在需求变动或者查询需要变动的情况下因要重新配置要预先将查询结果存储在缓存里的查询语句而耗费大量人力以及物力来手工改动的缺陷。

本发明的其他优点、目标，和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书，权利要求书，以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中：

图1是根据本发明实施例的集群数据库数据查询方法的流程图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本发明提出了一种临时表缓存机制。在监听到要查询MongoDB集群时，先判断是否存在与该查询的查询语句对应的临时表。若判断为不存在，则进行MapReduce查询，生成与该查询的查询语句对应的临时表。该临时表存储通过进行MongoDB运算获取的与该查询语句对应的查询结果。查询语句可以为条件查询、分组查询、聚合查询等。优选地，还可按业务需求设置保持该临时表的时限。在超出该时限后，可删除该临时表。若判断为存在，则通过查询与该查询的查询语句对应的临时表来获取查询结果。

这样，若在该临时表的时限内再次进行该查询语句的查询，只需查询所生成的临时表即可，而无需执行MapReduce运算。而若在超出时限后再进行该查询，则将重新进行MapReduce运算查询以获得查询结果。优选地，可异步执行MapReduce，即首先是判断是否存在临时表，若不存在则进行MapReduce计算（即查询），并生成与该查询语句对应的临时表，最后从临时表获取并返回的查询结果。

在另一种临时表缓存机制中，可通过配置MapReduce资源表把设定的查询语句存入资源表，通过后台程序按照设定的时间根据资源表中的查询语句进行MapReduce查询，以把查询得的MapReduce结果生成与资源表中各查询语句对应的临时表。在监听到查询时，若查询语句包含于该资源表，则直接从与该查询语句对应的临时表获取数据。可根据业务需求来配置查询语句，生成与所述查询语句对应的临时表，所述与所述查询语句对应的临时表存储通过进行MongoDB运算而获取的与所述查询语句对应的查询结果，并以第一设定时间规则通过进行MapReduce运算更新与所配置的查询语句对应的临时表。第一设定时间规则可以为设定的频率、时间间隔、时间点等。

此外，优选地把上述两种临时表缓存机制相结合。

下面结合图1示出的来详细说明本发明各种实施例及优选方案。

优选地，首先根据业务需求等配置的各查询语句(亦称固定维度查询)及自各对应的时限和唯一标识存储在一个MapReduce资源表(日志表)中。该时限可以通过当前时间和所需该资源的失效时长来表示，也可以通过超时时刻来表示。

可通过将与这些配置的查询语句分别对应的各个有效时长超过预设阈值（即足够长的时期不超时以至于可认永不超时、或者超过预设时长有效），或在日志表中与这些查询语句分别对应的各个记录中增设表示该查询语句为需定时更新的信息，这样，对于这些配置的查询语句，可使用后台进程定时（或根据设定间隔）进行MapReduce查询以更新与这些预选配置的查询语句对应的临时表。

可将常用的查询语句配置在日志表中，通过后台进程来执行的操作来定时执行所配置的查询语句的查询，以定时更新与这些常用查询语句对应的临时表。这样，若查询请求的查询语句为所配置的查询语句之一，则可意味着一定存在与该查询请求对应的临时表，因此，可通过日志表获取输出的临时表名称，让该查询指向临时表即可，如果查询请求的查询语句不是所配置的查询语句之一，则意味着不存在与该查询请求的查询语句对应的临时表，这种情况下，可根据图1所示的实施例中的方法来获取查询结果。

优选地，考虑到日志表中根据业务需求所配置的查询语句均为常用查询语句，可因可对所配置的查询语句设定MapReduce查询运算的频率，让后台进程对这些所配置的查询语句进行较高频率的MapReduce查询从而以比其它临时表的更新频率较高的频率更新所配置的查询语句对应的临时表。

图1示出了当监听到查询请求时所要进行的操作的流程图。

步骤S110，在监听到要对所述MongoDB集群的查询请求时，判断是否存在与该查询语句对应的临时表。可通过判断日志表中是否存在与该查询请求的查询语句对应的记录来判断是否存在与该查询语句对应的临时表。若判断为存在，则进入步骤S130或步骤S140，从与该查询语句对应的临时表中进行查询以获得查询结果。若不存在，则进入步骤S120，通过执行MapReduce运算来获得查询结果。

步骤S120，进行与该MapReduce查询请求的查询语句对应的MapReduce运算，从MongoDB集群中获取查询结果，生成与该查询语句对应的临时表以存储查询结果。优选地，还可在日志表中建立与该查询请求的查询语句对应的记录，该记录可包括该查询语句及其临时表的表名等表示查询语句与其对应的临时表名的映射关系的信息、临时表的时限和唯一标识等信息。此外，可将查询语句特殊字符进行转义保存在记录中。这便于通过日志表中的记录来判断临时表是否存在或失效。临时表的名称可按设定的规则命名，例如将临时表名保存为与查询语句对应的一哈希字串等，这样，即便不判断日志表中是否存在与要进行的MapReduce查询请求的查询语句对应的记录也可以判断与该查询语句对应的临时表是否存在。

步骤S130中，根据日志表中与要进行的MapReduce查询的查询语句对应的记录判断与该查询语句对应的临时表的资源是否有效。更具体地，若日志表中与要进行的MapReduce查询的查询语句对应的记录中的时限、失效标识等用于标识临时表有效性的相关信息表示已经超期或失效，则表示与该查询语句对应的临时表的资源已经无效。若判断为有效，则进入步骤S140，反之，进入步骤S150。

步骤S140，根据MapReduce日志表中与该查询对应的记录或者根据设定的命名规则确定与该查询语句对应的临时表的表名，从与该查询语句对应的临时表获取查询结果。更具体地，根据设定的命名规则确定与该查询语句对应的临时表的表名的处理可具体为，通过查询语句进行哈希，产生sn码，利用该sn码作为与该查询语句对应的临时表名。根据MapReduce日志表中与该查询对应的记录确定与该查询语句对应的临时表的表名时，通过哈希来确定与该查询语句对应的记录，以记录中的临时表名即为与该查询语句对应的临时表名。

步骤S150，进行与该MapReduce查询请求的查询语句对应的MapReduce运算以更新与该查询语句对应的临时表的数据。优选地，还更新在日志表中建立与该查询请求的查询语句对应的记录中表示无效标识等表示与该查询语句对应的临时表资源是否有效的时限等信息，使之更新为表示与该查询语句对应的临时表资源有效。例如，可重置记录中的时限以使该时限表示从更新时刻起重新生效并维持预定的时长。

此外，在步骤S120或步骤S150中，可在进行与该MapReduce查询对应的MapReduce运算以从MongoDB集群中获取查询结果后，直接将查询结果返回给执行该查询的应用或用户，也可以在更新或建立与该查询语句对应的临时表后，再从与该查询语句对应的临时表中获取查询结果并返回应用或用户。

此外，在经过步骤S130判断为与该查询语句对应的临时表的资源已经失效后，还可在步骤S140之前先从与该查询语句对应的临时表中获取查询结果并返回查询结果。这样可提高时效性要求较低的资源的响应速度。

此外，可通过后台进程更新日志表，将超期的记录的效力标识更新为表示失效。

因此，根据上述各步骤可知，本实施例可以较好地将频繁访问的资源预先存储在临时表，从而提高查询响应速度。一定程度上可根据用户的实际访问情况自适应地调整需要预先建立临时表的查询语句，因此相比只采用人工预先配置的方式进行缓存的机制，本实施例更符合数据库的实际使用情景。

对于非固定维度查询（即不是根据业务需求等配置的查询语句），可以通过以下几种方式进行更新：

方式一、设定更新频率，后台进程以设定的频率进行MapReduce查询计算，以更新与日志表中所有有效和/或未超期的查询语句对应的临时表。一般而言，可设定较高的更新频率。

方式二：无需后台进程以设定的频率进行MapReduce查询计算，而是通过步骤S130和步骤S150来进行更新，这样，以用户不感知的方式去检查日志表并判断是否需要MapReduce运算。通过在查询唯一SN标识(下面有生成规则例示，也简称唯一标识)来日志表中与该唯一SN标识对应的失效时间以判断是否超期（超时）。超期则进行MapReduce运算以获得查询结果，不超时则将该查询指向临时表，通过查找临时表来获得查询结果。

此外，在另一种优选方式中，在步骤S140中还将与查询语句对应的时限进行重置，使得与该查询语句的时效期间与刚创建的记录相同。可按照第二设定时间规则删除或更新(清理)MapReduce日志表中的记录及对应的临时表。例如，以第二设定时间删除日志表中记录表明已无效的临时表及日志表中相应的记录。第二设定时间规则可以为设定的频率、时间间隔、时间点等。第一设定时间规则可与第一设定时间相同或不同。例如，可删除日志表中时限属性超期和/或效力标识等表示对应的临时表无效的记录及其对应的临时表，而不根据第二设定时间对这些超期或效力标识表示无效的记录及其对应的临时表进行更新。这样，可以自动回收时限内一次均未被查询语句对应的记录及其临时表，从而在保持经常被访问的查询语句对应的记录及临时表的同时，清理了不经常用的查询语句对应的记录及临时表所占用的资源。从而在节约系统资源的同时提高对查询的响应速度。再如，可以第二设定时间规则通过进行MapReduce运算更新时限信息表明有效时长超过预设阈值的临时表。

此外，也可根据临时表的查询次数按照随机删除预设数量记录及对应临时表、删除超过时限的时长大于门限值的记录及对应的临时表、通过进行MapReduce运算更新超过时限的时长小于门限值的记录及相应临时表等方式进行清理。在清理该日志中的记录时，相应地删除或者回收处理与所删除记录对应的临时表中的资源。

可通过后台进程定时或按预定间隔执行回收处理，以更新日志表并删除相应临时表数据。

可将MapReduce日志表的SN唯一索引设置为：

SN唯一索引=md5(coll_name集合、表名称)+md5(group分组条件)+md5(fields所需字段)+md5(query查询条件)

需要说明的是，本发明的临时表为一个统称，可以理解为视图等，是在繁杂的以及数据量大的应用中，为了快速查询，把部分数据复制转存起来，在使用完毕后可以删除掉的存储表，这种存储表一般叫临时表。

此外，也可以将固定维度查询的查询语句和非固定维度查询的查询语句分别存储于不同的存储空间中，例如存储于不同的表中。也可将查询语句及其唯一标识、时限等信息存储于除日志表以外的其它表中。

本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (9)

1.一种集群数据库数据查询方法，其特征在于，包括：

在监听到对集群数据库的查询请求时，判断是否存在与所述查询请求的查询语句对应的临时表；

若判断为不存在，生成与所述查询语句对应的临时表，所述与所述查询语句对应的临时表存储通过进行MongoDB运算而获取的与所述查询语句对应的查询结果，以及在日志表中建立与所述查询语句对应的记录；

若判断为存在，根据日志表中与所述查询语句对应的记录判断与该查询语句对应的临时表的资源是否有效，所述日志表的各记录中包括用于表示查询语句对应的临时表是否有效的信息，若判断为有效，则通过查询与所述查询语句对应的临时表来获取查询结果；若判断为无效，则删除或更新临时表及所述日志表中的相应记录；从而保持经常被访问的查询语句对应的记录以及临时表，回收在时限内从未被访问的查询语句对应的记录以及临时表。

2.根据权利要求1所述的方法，其特征在于，所述判断是否存在与所述查询请求的查询语句对应的临时表的步骤进一步包括：

通过判断所述日志表中是否存在与所述查询语句对应的记录来判断是否存在与所述查询语句对应的临时表，所述日志表中的各记录包括在表示查询语句与其对应的临时表名的映射关系的信息。

3.根据权利要求2所述的方法，其特征在于，所述更新临时表及所述日志表中的相应记录的步骤包括：

进行与MapReduce查询请求的查询语句对应的MapReduce运算以更新与所述查询语句对应的临时表的数据，并将所述日志表中与所述查询语句对应的记录更新为表示与所述查询语句对应的临时表有效。

4.根据权利要求3所述的方法，其特征在于，所述更新临时表及所述日志表中的相应记录的步骤进一步包括：

先从与该查询语句对应的临时表中获取查询结果并返回查询结果，再进行与该MapReduce查询请求的查询语句对应的MapReduce运算以更新与所述查询语句对应的临时表的数据，并将所述日志表中与所述查询语句对应的记录更新为表示与所述查询语句对应的临时表有效。

5.根据权利要求2至4中任一项所述的方法，其特征在于，所述删除或更新临时表及所述日志表中的相应记录的步骤为：

以第二设定时间规则删除或更新临时表及所述日志表中的相应记录。

6.根据权利要求5所述的方法，其特征在于，所述以第二设定时间规则删除或更新临时表及所述日志表中的相应记录的步骤包括以下至少之一：

删除或更新所述日志表中记录表明已无效的临时表及日志表中相应的记录；

根据临时表的查询次数随机删除预设数量的所述临时表及相应记录。

7.根据权利要求5所述的方法，其特征在于，所述日志表的各记录中用于表示查询语句对应的临时表是否有效的信息包括时限信息，以及所述以第二设定时间规则删除临时表及所述日志表中的相应记录的步骤包括以下至少之一：

以第二设定时间规则删除超过时限的时长大于门限值临时表及所述日志表中的相应记录；

以第二设定时间规则通过进行MapReduce运算更新超过时限的时长小于门限值的记录及相应临时表；

以第二设定时间规则通过进行MapReduce运算更新时限信息表明有效时长超过预设阈值的临时表。

8.根据权利要求1至4中任一项所述的方法，其特征在于，还包括：

根据业务需求来配置查询语句，生成与所述查询语句对应的临时表，所述与所述查询语句对应的临时表存储通过进行MongoDB运算而获取的与所述查询语句对应的查询结果；

以第一设定时间规则通过进行MapReduce运算更新与所配置的查询语句对应的临时表。

9.根据权利要求8所述的方法，其特征在于，

若判断为不存在，还在日志表中建立与所述查询语句对应的记录；以及

所述判断是否存在与所述查询请求的查询语句对应的临时表的步骤进一步包括：通过判断所述日志表中是否存在与所述查询语句对应的记录以及判断所述查询语句是否为已根据业务需求配置的查询语句来判断是否存在与所述查询语句对应的临时表，所述日志表中的各记录包括在表示查询语句与其对应的临时表名的映射关系的信息。