CN104731951A - 一种数据查询方法及装置 - Google Patents

一种数据查询方法及装置 Download PDF

Info

Publication number
CN104731951A
CN104731951A CN201510150114.9A CN201510150114A CN104731951A CN 104731951 A CN104731951 A CN 104731951A CN 201510150114 A CN201510150114 A CN 201510150114A CN 104731951 A CN104731951 A CN 104731951A
Authority
CN
China
Prior art keywords
inquiry request
data
data inquiry
level
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510150114.9A
Other languages
English (en)
Other versions
CN104731951B (zh
Inventor
周逸勋
曹思阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201510150114.9A priority Critical patent/CN104731951B/zh
Publication of CN104731951A publication Critical patent/CN104731951A/zh
Application granted granted Critical
Publication of CN104731951B publication Critical patent/CN104731951B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2453Query optimisation
    • G06F16/24532Query optimisation of parallel queries

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供了一种数据查询方法及装置。该方法包括:在接收到针对于分布式数据库的目标数据查询请求后,基于目标数据查询请求所对应的数据查询范围,确定至少一个目标分片数据库;生成针对于至少一个目标分片数据库的一级数据查询请求;判断目标数据查询请求是否符合预设拆分条件,如果是,生成各个一级数据查询请求所对应的二级数据查询请求;将各个一级数据查询请求所对应的二级数据查询请求发送给该一级数据查询请求所对应目标分片数据库所在的节点;在接收到各个二级数据查询请求所对应的查询结果后,汇总查询结果;将汇总后的查询结果作为目标数据查询请求的目标查询结果。通过本方案可以进一步提高查询分布式数据库的速率。

Description

一种数据查询方法及装置
技术领域
本发明涉及数据查询技术领域,特别是涉及一种数据查询方法及装置。
背景技术
随着系统数据的越来越大,分布式数据库应用而生。其中,分布式数据库是由一组数据组成的,这组数据分布在网络系统的不同节点上,网络中每个节点具有独立处理的能力,可以执行局部应用(指对本节点的数据进行存取、查询等的应用);同时,每个节点也能通过网络通讯支持全局应用(指存取两个或两个以上的节点的数据库应用)。其中,每一组数据通常被称为分片数据库,且不同的分片数据库存储有不同的数据内容;同时,分片数据库会包括至少两个所存储数据内容相同的子数据库,这样使得分片数据库所存储的内容存在副本,达到了提高数据安全性的目的。
现有技术中,当网络系统中的管理节点(该管理节点可以为存储有分片数据库的节点或不同于存储有分片数据库的节点的代理节点)接收到针对于某一分布式数据库的目标数据查询请求后,基于该数据查询请求所对应的数据查询范围,确定该目标数据查询请求所针对的至少一个目标分片数据库;生成针对于至少一个目标分片数据库的子数据查询请求,其中,子数据查询请求与分片式数据库具有唯一对应性,各个子数据查询请求所对应的总的数据查询范围等同于目标数据查询请求所针对的数据查询范围;将各个一级数据查询请求发送给相对应目标分片数据库所在的节点;相应的,接收到一级数据查询请求的节点基于所接收到的一级数据查询请求对相应的目标分片数据库进行查询处理,并将查询结果进行反馈处理;而该管理节点在接收到各个一级数据查询请求所对应的查询结果后,汇总所述查询结果,进而将汇总后的查询结果作为所述目标数据查询请求的目标查询结果。
尽管现有技术中的分布查询方式具有较高的查询速率,但是,随着查询速率要求的提高,如何进一步提高查询分布式数据库的速率是一个亟待解决的问题。
发明内容
本发明实施例的目的在于提供一种数据查询方法及装置,以进一步提高查询分布式数据库的速率。具体技术方案如下:
第一方面,本发明实施例提供了一种数据查询方法,包括:
在接收到针对于分布式数据库的目标数据查询请求后,基于所述目标数据查询请求所对应的数据查询范围,确定所述目标数据查询请求所针对的至少一个目标分片数据库;其中,所述分布式数据库的数据通过至少两个分片数据库进行存储,每一分片数据库包括至少两个子数据库;
生成针对于所述至少一个目标分片数据库的一级数据查询请求;其中,所述一级数据查询请求与目标分片数据库具有唯一对应性,各个一级数据查询请求所针对的总的数据查询范围与所述目标数据查询请求所针对的数据查询范围相同;
判断所述目标数据查询请求是否符合预设拆分条件,如果是,生成各个一级数据查询请求所对应的二级数据查询请求;其中,所述二级数据查询请求与相应目标分片数据库的子数据库具有唯一对应性,每个一级数据查询请求所对应的二级数据查询请求所针对的总的数据查询范围与该一级数据查询请求所对应的数据查询范围相同;
将各个一级数据查询请求所对应的二级数据查询请求发送给该一级数据查询请求所对应目标分片数据库所在的节点,以使得所述节点基于所接收到的二级数据查询请求对相应的子数据库进行查询处理,并将查询结果进行反馈处理;
在接收到各个二级数据查询请求所对应的查询结果后,汇总所述查询结果;
将汇总后的查询结果作为所述目标数据查询请求的目标查询结果。
优选的,所述判断所述目标数据查询请求是否符合预设拆分条件,包括:
判断所述目标数据查询请求是否携带预设查询命令,如果是,表明所述目标数据查询请求符合预设拆分条件。
优选的,所述预设查询命令,包括:
表明匹配或累加的查询命令。
优选的,所述生成各个一级数据查询请求所对应的二级数据查询请求,包括:
确定各个一级查询请求所对应的目标分片数据库的子数据库的数量;
将各个一级数据查询请求拆分为所对应子数据库的数量的二级数据查询请求。
优选的,所述生成各个一级数据查询请求所对应的二级数据查询请求,包括:
获得各个一级数据查询请求所对应的目标分片数据库的允许拆分数量;
将各个一级数据查询请求拆分为所对应允许拆分数量的二级数据查询请求。
优选的,本发明实施例所提供的数据查询方法,还包括:
当判断出所述目标数据查询请求不符合预设拆分条件时,将各个一级数据查询请求发送给相对应目标分片数据库所在的节点,以使得所述节点基于所接收到的一级数据查询请求对相应的目标分片数据库进行查询处理,并将查询结果进行反馈处理;
在接收到各个一级数据查询请求所对应的查询结果后,汇总所述查询结果;
将汇总后的查询结果作为所述目标数据查询请求的目标查询结果。
第二方面,本发明实施例提供了一种数据查询装置,包括:
目标分片数据库确定模块,用于在接收到针对于分布式数据库的目标数据查询请求后,基于所述目标数据查询请求所对应的数据查询范围,确定所述目标数据查询请求所针对的至少一个目标分片数据库;其中,所述分布式数据库的数据通过至少两个分片数据库进行存储,每一分片数据库包括至少两个子数据库;
一级数据查询请求生成模块,用于生成针对于所述至少一个目标分片数据库的一级数据查询请求;其中,所述一级数据查询请求与目标分片数据库具有唯一对应性,各个一级数据查询请求所针对的总的数据查询范围与所述目标数据查询请求所针对的数据查询范围相同;
判断处理模块,用于判断所述目标数据查询请求是否符合预设拆分条件,如果是,触发二级数据查询请求生成模块;
所述二级数据查询请求生成模块,用于生成各个一级数据查询请求所对应的二级数据查询请求;其中,所述二级数据查询请求与相应目标分片数据库的子数据库具有唯一对应性,每个一级数据查询请求所对应的二级数据查询请求所针对的总的数据查询范围与该一级数据查询请求所对应的数据查询范围相同;
二级数据查询请求发送模块,用于将各个一级数据查询请求所对应的二级数据查询请求发送给该一级数据查询请求所对应目标分片数据库所在的节点,以使得所述节点基于所接收到的二级数据查询请求对相应的子数据库进行查询处理,并将查询结果进行反馈处理;
第一查询结果汇总模块,用于在接收到各个二级数据查询请求所对应的查询结果后,汇总所述查询结果;
第一目标查询结果确定模块,用于将汇总后的查询结果作为所述目标数据查询请求的目标查询结果。
优选的,所述判断处理模块具体用于判断所述目标数据查询请求是否携带预设查询命令,如果是,触发二级数据查询请求生成模块。
优选的,所述预设查询命令,包括:
表明匹配或累加的查询命令。
优选的,所述二级数据查询请求生成模块,包括:
第一拆分数量确定单元,用于确定各个一级查询请求所对应的目标分片数据库的子数据库的数量;
第一请求拆分单元,用于将各个一级数据查询请求拆分为所对应子数据库的数量的二级数据查询请求。
优选的,所述二级数据查询请求生成模块,包括:
第二拆分数量确定单元,用于获得各个一级数据查询请求所对应的目标分片数据库的允许拆分数量;
第二请求拆分单元,用于将各个一级数据查询请求拆分为所对应允许拆分数量的二级数据查询请求。
优选的,所述判断处理模块还用于当判断出所述目标数据查询请求不符合预设拆分条件时,触发一级数据查询请求发送模块;
所述装置还包括:
一级数据查询请求发送模块,用于将各个一级数据查询请求发送给相对应目标分片数据库所在的节点,以使得所述节点基于所接收到的一级数据查询请求对相应的目标分片数据库进行查询处理,并将查询结果进行反馈处理;
第二查询结果汇总模块,用于在接收到各个一级数据查询请求所对应的查询结果后,汇总所述查询结果;
第二目标查询结果确定模块,用于将汇总后的查询结果作为所述目标数据查询请求的目标查询结果。
相对于现有技术,本发明实施例中,在查询分布式数据库时,在将目标数据查询请求拆分为针对于目标分片数据库的一级数据查询请求后,如果判断出目标数据查询请求符合预设拆分条件,则对一级数据查询请求进行再次拆分,以生成针对于目标分片数据库的子数据的二级数据查询请求,这样提高了并行查询线路的数量,因此,进一步提高了查询分布式数据库的速率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例所提供的一种数据查询方法的流程图;
图2为本发明实施例所提供的一种数据查询装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供了一种数据查询方法及装置,以进一步提高查询分布式数据库的速率。
下面首先对本发明实施例所提供的一种数据查询方法进行介绍。
需要说明的是,本发明实施例所针对的分布式数据库的数据通过至少两个分片数据库进行存储,每一分片数据库包括至少两个子数据库,其中,不同的分片数据库所存储的数据内容不同,同一分片数据库所包括的子数据库存储有相同的数据内容;并且,至少两个分片式数据库中的任意两个分片数据库可以位于相同或不同的节点中,而同一分片数据库中的至少两个子数据库位于同一节点上。所谓节点可以为网络系统的服务器,当然,在某些场景下,也可以为用户侧的终端,这都是合理的。
并且,本发明实施例所提供的数据查询方法的执行主体可以为数据查询装置,该数据查询装置可以位于能够接收针对于分布式数据库的数据查询请求的管理节点内,进一步的,该管理节点可以为存储有分片数据库的节点或不同于存储有分片数据库的节点的代理节点,这都是合理的。
如图1所示,一种数据查询方法,可以包括如下步骤:
S101,在接收到针对于分布式数据库的目标数据查询请求后,基于该目标数据查询请求所对应的数据查询范围,确定该目标数据查询请求所针对的至少一个目标分片数据库;
其中,由于目标数据查询请求对应有数据查询范围且不同的分片数据库存储不同的数据内容,因此,在接收到针对于分布式数据库的目标数据查询请求后,可以基于该目标数据查询请求所对应的数据查询范围,确定该目标数据查询请求所针对的至少一个目标分片数据库,进而执行对目标数据查询请求进行拆分为与目标分片数据库所对应的一级数据查询请求的处理。
S102,生成针对于至少一个目标分片数据库的一级数据查询请求;
在确定出该目标数据查询请求所针对的至少一个目标分片数据库后,可以对该目标数据查询请求执行拆分处理,来生成针对于至少一个目标分片数据库的一级数据查询请求,其中,该一级数据查询请求与目标分片数据库具有唯一对应性。
所谓拆分处理为:基于对该目标数据查询请求所对应的数据查询范围的拆分处理,属于逻辑上的拆分,因此,各个一级数据查询请求所针对的总的数据查询范围与该目标数据查询请求所针对的数据查询范围相同。
S103,判断该目标数据查询请求是否符合预设拆分条件;
本实施例中,在生成针对于至少一个目标分片数据库的一级数据查询请求后,可以执行判断该目标数据查询请求是否符合预设拆分条件的处理步骤,进而根据不同的判断结果执行不同的操作。
具体的,所述判断该目标数据查询请求是否符合预设拆分条件,可以包括:
判断该目标数据查询请求是否携带预设查询命令,如果是,表明该目标数据查询请求符合预设拆分条件。
进一步的,所述预设查询命令,可以包括:表明匹配或累加的查询命令。也就是,预设查询命令所针对的查询为对目标分片数据库的不同区域的遍历查询,且对该查询进行区域划分后查询效果不受到影响。本领域技术人员可以理解的是,表明匹配或累加的查询命令的具体形式可以参见现有技术。
需要强调的是,关于上述的预设拆分条件以及预设查询命令仅仅作为示例,并不应该构成对本发明实施例的限定。并且,本实施例中,S102先于S103执行,但是,实际应用中,S103与S102并不存在严格的执行顺序,举例而言:S102与S103也可以同时执行,S103也可以先于S102执行,这都是合适的。S104,当判断出该目标数据查询请求符合预设拆分条件时,生成各个一级数据查询请求所对应的二级数据查询请求;
在判断出该目标数据查询请求符合预设拆分条件时,表明对一级数据查询请求进行拆分处理可不影响最终的查询结果,因此,可以对各个一级数据查询请求进行再次拆分处理,以生成各个一级数据查询请求所对应的二级数据查询请求;其中,该二级数据查询请求与相应目标分片数据库的子数据库具有唯一对应性。
同样的,对一级数据查询请求的拆分处理为:基于对该一级数据查询请求所对应的数据查询范围的拆分处理,属于逻辑上的拆分,因此,每个一级数据查询请求所对应的二级数据查询请求所针对的总的数据查询范围与该一级数据查询请求所对应的数据查询范围相同。
具体的,在一种实现方式中,所述生成各个一级数据查询请求所对应的二级数据查询请求,可以包括:
确定各个一级查询请求所对应的目标分片数据库的子数据库的数量;
将各个一级数据查询请求拆分为所对应子数据库的数量的二级数据查询请求。
在另一种实现方式中,所述生成各个一级数据查询请求所对应的二级数据查询请求,可以包括:
获得各个一级数据查询请求所对应的目标分片数据库的允许拆分数量;
将各个一级数据查询请求拆分为所对应允许拆分数量的二级数据查询请求。
其中,允许拆分数量为预先设定的值,具体的值可以根据实际应用场景和需求进行设定。
可以理解的是,上述的生成各个一级数据查询请求所对应的二级数据查询请求的具体实现方式仅仅作为示例,并不应该构成对本发明实施例的限定。
S105,将各个一级数据查询请求所对应的二级数据查询请求发送给该一级数据查询请求所对应目标分片数据库所在的节点;
相应的,各个节点在接收到到二级数据查询请求后,可以基于所接收到的二级数据查询请求对相应的子数据库进行查询处理,并将查询结果进行反馈处理。
S106,在接收到各个二级数据查询请求所对应的查询结果后,汇总该查询结果;
S107,将汇总后的查询结果作为该目标数据查询请求的目标查询结果。
其中,在接收到各个二级查询请求所队员的查询结果后,汇总所述查询结果所采用的技术可以为现有技术,在此不做赘述。
当然,在确定出目标数据查询请求的目标查询结果后,可以向目标数据查询请求的发送者反馈该目标查询结果,其中,该发送者可以位于网络侧或用户侧,这都是合理的。
需要说明的是,当判断出该目标数据查询请求不符合预设拆分条件时,可以采用现有技术进行后续的查询处理,具体可以包括:
将各个一级数据查询请求发送给相对应目标分片数据库所在的节点,以使得该节点基于所接收到的一级数据查询请求对相应的目标分片数据库进行查询处理,并将查询结果进行反馈处理;
在接收到各个一级数据查询请求所对应的查询结果后,汇总该查询结果;
将汇总后的查询结果作为所述目标数据查询请求的目标查询结果。
相对于现有技术,本发明实施例中,在查询分布式数据库时,在将目标数据查询请求拆分为针对于目标分片数据库的一级数据查询请求后,如果判断出目标数据查询请求符合预设拆分条件,则对一级数据查询请求进行再次拆分,以生成针对于目标分片数据库的子数据库的二级数据查询请求,这样提高了并行查询线路的数量,因此,进一步提高了查询分布式数据库的速率。
相应于上述方法实施例,本发明实施例还提供了一种数据查询装置,如图2所示,该数据查询装置,可以包括:
目标分片数据库确定模块210,用于在接收到针对于分布式数据库的目标数据查询请求后,基于所述目标数据查询请求所对应的数据查询范围,确定所述目标数据查询请求所针对的至少一个目标分片数据库;其中,所述分布式数据库的数据通过至少两个分片数据库进行存储,每一分片数据库包括至少两个子数据库;
一级数据查询请求生成模块220,用于生成针对于所述至少一个目标分片数据库的一级数据查询请求;其中,所述一级数据查询请求与目标分片数据库具有唯一对应性,各个一级数据查询请求所针对的总的数据查询范围与所述目标数据查询请求所针对的数据查询范围相同;
判断处理模块230,用于判断所述目标数据查询请求是否符合预设拆分条件,如果是,触发二级数据查询请求生成模块240;
所述二级数据查询请求生成模块240,用于生成各个一级数据查询请求所对应的二级数据查询请求;其中,所述二级数据查询请求与相应目标分片数据库的子数据库具有唯一对应性,每个一级数据查询请求所对应的二级数据查询请求所针对的总的数据查询范围与该一级数据查询请求所对应的数据查询范围相同;
二级数据查询请求发送模块250,用于将各个一级数据查询请求所对应的二级数据查询请求发送给该一级数据查询请求所对应目标分片数据库所在的节点,以使得所述节点基于所接收到的二级数据查询请求对相应的子数据库进行查询处理,并将查询结果进行反馈处理;
第一查询结果汇总模块260,用于在接收到各个二级数据查询请求所对应的查询结果后,汇总所述查询结果;
第一目标查询结果确定模块270,用于将汇总后的查询结果作为所述目标数据查询请求的目标查询结果。
相对于现有技术,本发明实施例中,在查询分布式数据库时,在将目标数据查询请求拆分为针对于目标分片数据库的一级数据查询请求后,如果判断出目标数据查询请求符合预设拆分条件,则对一级数据查询请求进行再次拆分,以生成针对于目标分片数据库的子数据的二级数据查询请求,这样提高了并行查询线路的数量,因此,进一步提高了查询分布式数据库的速率。
具体的,所述判断处理模块230具体用于判断所述目标数据查询请求是否携带预设查询命令,如果是,触发二级数据查询请求生成模块。
具体的,所述预设查询命令,可以包括:
表明匹配或累加的查询命令。
具体的,所述二级数据查询请求生成模块240,可以包括:
第一拆分数量确定单元,用于确定各个一级查询请求所对应的目标分片数据库的子数据库的数量;
第一请求拆分单元,用于将各个一级数据查询请求拆分为所对应子数据库的数量的二级数据查询请求。
具体的,所述二级数据查询请求生成模块240,可以包括:
第二拆分数量确定单元,用于获得各个一级数据查询请求所对应的目标分片数据库的允许拆分数量;
第二请求拆分单元,用于将各个一级数据查询请求拆分为所对应允许拆分数量的二级数据查询请求。
具体的,所述判断处理模块230还用于当判断出所述目标数据查询请求不符合预设拆分条件时,触发一级数据查询请求发送模块;
所述装置还可以包括:
一级数据查询请求发送模块,用于将各个一级数据查询请求发送给相对应目标分片数据库所在的节点,以使得所述节点基于所接收到的一级数据查询请求对相应的目标分片数据库进行查询处理,并将查询结果进行反馈处理;
第二查询结果汇总模块,用于在接收到各个一级数据查询请求所对应的查询结果后,汇总所述查询结果;
第二目标查询结果确定模块,用于将汇总后的查询结果作为所述目标数据查询请求的目标查询结果。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (12)

1.一种数据查询方法,其特征在于,包括:
在接收到针对于分布式数据库的目标数据查询请求后,基于所述目标数据查询请求所对应的数据查询范围,确定所述目标数据查询请求所针对的至少一个目标分片数据库;其中,所述分布式数据库的数据通过至少两个分片数据库进行存储,每一分片数据库包括至少两个子数据库;
生成针对于所述至少一个目标分片数据库的一级数据查询请求;其中,所述一级数据查询请求与目标分片数据库具有唯一对应性,各个一级数据查询请求所针对的总的数据查询范围与所述目标数据查询请求所针对的数据查询范围相同;
判断所述目标数据查询请求是否符合预设拆分条件,如果是,生成各个一级数据查询请求所对应的二级数据查询请求;其中,所述二级数据查询请求与相应目标分片数据库的子数据库具有唯一对应性,每个一级数据查询请求所对应的二级数据查询请求所针对的总的数据查询范围与该一级数据查询请求所对应的数据查询范围相同;
将各个一级数据查询请求所对应的二级数据查询请求发送给该一级数据查询请求所对应目标分片数据库所在的节点,以使得所述节点基于所接收到的二级数据查询请求对相应的子数据库进行查询处理,并将查询结果进行反馈处理;
在接收到各个二级数据查询请求所对应的查询结果后,汇总所述查询结果;
将汇总后的查询结果作为所述目标数据查询请求的目标查询结果。
2.根据权利要求1所述的方法,其特征在于,所述判断所述目标数据查询请求是否符合预设拆分条件,包括:
判断所述目标数据查询请求是否携带预设查询命令,如果是,表明所述目标数据查询请求符合预设拆分条件。
3.根据权利要求2所述的方法,其特征在于,所述预设查询命令,包括:
表明匹配或累加的查询命令。
4.根据权利要求1所述的方法,其特征在于,所述生成各个一级数据查询请求所对应的二级数据查询请求,包括:
确定各个一级查询请求所对应的目标分片数据库的子数据库的数量;
将各个一级数据查询请求拆分为所对应子数据库的数量的二级数据查询请求。
5.根据权利要求1所述的方法,其特征在于,所述生成各个一级数据查询请求所对应的二级数据查询请求,包括:
获得各个一级数据查询请求所对应的目标分片数据库的允许拆分数量;
将各个一级数据查询请求拆分为所对应允许拆分数量的二级数据查询请求。
6.根据权利要求1-5任意一项所述的方法,其特征在于,还包括:
当判断出所述目标数据查询请求不符合预设拆分条件时,将各个一级数据查询请求发送给相对应目标分片数据库所在的节点,以使得所述节点基于所接收到的一级数据查询请求对相应的目标分片数据库进行查询处理,并将查询结果进行反馈处理;
在接收到各个一级数据查询请求所对应的查询结果后,汇总所述查询结果;
将汇总后的查询结果作为所述目标数据查询请求的目标查询结果。
7.一种数据查询装置,其特征在于,包括:
目标分片数据库确定模块,用于在接收到针对于分布式数据库的目标数据查询请求后,基于所述目标数据查询请求所对应的数据查询范围,确定所述目标数据查询请求所针对的至少一个目标分片数据库;其中,所述分布式数据库的数据通过至少两个分片数据库进行存储,每一分片数据库包括至少两个子数据库;
一级数据查询请求生成模块,用于生成针对于所述至少一个目标分片数据库的一级数据查询请求;其中,所述一级数据查询请求与目标分片数据库具有唯一对应性,各个一级数据查询请求所针对的总的数据查询范围与所述目标数据查询请求所针对的数据查询范围相同;
判断处理模块,用于判断所述目标数据查询请求是否符合预设拆分条件,如果是,触发二级数据查询请求生成模块;
所述二级数据查询请求生成模块,用于生成各个一级数据查询请求所对应的二级数据查询请求;其中,所述二级数据查询请求与相应目标分片数据库的子数据库具有唯一对应性,每个一级数据查询请求所对应的二级数据查询请求所针对的总的数据查询范围与该一级数据查询请求所对应的数据查询范围相同;
二级数据查询请求发送模块,用于将各个一级数据查询请求所对应的二级数据查询请求发送给该一级数据查询请求所对应目标分片数据库所在的节点,以使得所述节点基于所接收到的二级数据查询请求对相应的子数据库进行查询处理,并将查询结果进行反馈处理;
第一查询结果汇总模块,用于在接收到各个二级数据查询请求所对应的查询结果后,汇总所述查询结果;
第一目标查询结果确定模块,用于将汇总后的查询结果作为所述目标数据查询请求的目标查询结果。
8.根据权利要求7所述的装置,其特征在于,所述判断处理模块具体用于判断所述目标数据查询请求是否携带预设查询命令,如果是,触发二级数据查询请求生成模块。
9.根据权利要求8所述的装置,其特征在于,所述预设查询命令,包括:
表明匹配或累加的查询命令。
10.根据权利要求7所述的装置,其特征在于,所述二级数据查询请求生成模块,包括:
第一拆分数量确定单元,用于确定各个一级查询请求所对应的目标分片数据库的子数据库的数量;
第一请求拆分单元,用于将各个一级数据查询请求拆分为所对应子数据库的数量的二级数据查询请求。
11.根据权利要求7所述的装置,其特征在于,所述二级数据查询请求生成模块,包括:
第二拆分数量确定单元,用于获得各个一级数据查询请求所对应的目标分片数据库的允许拆分数量;
第二请求拆分单元,用于将各个一级数据查询请求拆分为所对应允许拆分数量的二级数据查询请求。
12.根据权利要求7-11任意一项所述的装置,其特征在于,所述判断处理模块还用于当判断出所述目标数据查询请求不符合预设拆分条件时,触发一级数据查询请求发送模块;
所述装置还包括:
一级数据查询请求发送模块,用于将各个一级数据查询请求发送给相对应目标分片数据库所在的节点,以使得所述节点基于所接收到的一级数据查询请求对相应的目标分片数据库进行查询处理,并将查询结果进行反馈处理;
第二查询结果汇总模块,用于在接收到各个一级数据查询请求所对应的查询结果后,汇总所述查询结果;
第二目标查询结果确定模块,用于将汇总后的查询结果作为所述目标数据查询请求的目标查询结果。
CN201510150114.9A 2015-03-31 2015-03-31 一种数据查询方法及装置 Active CN104731951B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510150114.9A CN104731951B (zh) 2015-03-31 2015-03-31 一种数据查询方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510150114.9A CN104731951B (zh) 2015-03-31 2015-03-31 一种数据查询方法及装置

Publications (2)

Publication Number Publication Date
CN104731951A true CN104731951A (zh) 2015-06-24
CN104731951B CN104731951B (zh) 2018-08-07

Family

ID=53455838

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510150114.9A Active CN104731951B (zh) 2015-03-31 2015-03-31 一种数据查询方法及装置

Country Status (1)

Country Link
CN (1) CN104731951B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105930407A (zh) * 2016-04-18 2016-09-07 北京思特奇信息技术股份有限公司 一种分布式数据库跨库关联查询方法及系统
CN106844405A (zh) * 2015-12-07 2017-06-13 杭州海康威视数字技术股份有限公司 数据查询方法和装置
CN108108434A (zh) * 2017-12-19 2018-06-01 福建中金在线信息科技有限公司 一种管理数据库的方法及装置
CN108287868A (zh) * 2017-12-19 2018-07-17 北京国电通网络技术有限公司 一种数据库查询、数据块划分方法和装置
CN110096489A (zh) * 2019-04-30 2019-08-06 阿里巴巴集团控股有限公司 一种数据查询方法、系统、装置及电子设备
CN110413642A (zh) * 2019-08-02 2019-11-05 北京快立方科技有限公司 一种应用无感知的分片数据库解析及优化方法
CN111241195A (zh) * 2020-01-02 2020-06-05 腾讯云计算(北京)有限责任公司 分布式系统的数据库处理方法、装置、设备及存储介质
CN111259060A (zh) * 2020-02-18 2020-06-09 北京百度网讯科技有限公司 数据查询的方法及装置
CN113032446A (zh) * 2019-12-24 2021-06-25 阿里巴巴集团控股有限公司 一种分布式查询系统的数据处理方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100088315A1 (en) * 2008-10-05 2010-04-08 Microsoft Corporation Efficient large-scale filtering and/or sorting for querying of column based data encoded structures
CN103440296A (zh) * 2013-08-19 2013-12-11 曙光信息产业股份有限公司 数据查询方法和装置
CN103942098A (zh) * 2014-04-29 2014-07-23 国家电网公司 一种任务处理系统和方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100088315A1 (en) * 2008-10-05 2010-04-08 Microsoft Corporation Efficient large-scale filtering and/or sorting for querying of column based data encoded structures
CN103440296A (zh) * 2013-08-19 2013-12-11 曙光信息产业股份有限公司 数据查询方法和装置
CN103942098A (zh) * 2014-04-29 2014-07-23 国家电网公司 一种任务处理系统和方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106844405A (zh) * 2015-12-07 2017-06-13 杭州海康威视数字技术股份有限公司 数据查询方法和装置
CN106844405B (zh) * 2015-12-07 2019-10-22 杭州海康威视数字技术股份有限公司 数据查询方法和装置
CN105930407B (zh) * 2016-04-18 2019-05-17 北京思特奇信息技术股份有限公司 一种分布式数据库跨库关联查询方法及系统
CN105930407A (zh) * 2016-04-18 2016-09-07 北京思特奇信息技术股份有限公司 一种分布式数据库跨库关联查询方法及系统
CN108287868A (zh) * 2017-12-19 2018-07-17 北京国电通网络技术有限公司 一种数据库查询、数据块划分方法和装置
CN108108434A (zh) * 2017-12-19 2018-06-01 福建中金在线信息科技有限公司 一种管理数据库的方法及装置
CN110096489A (zh) * 2019-04-30 2019-08-06 阿里巴巴集团控股有限公司 一种数据查询方法、系统、装置及电子设备
CN110413642A (zh) * 2019-08-02 2019-11-05 北京快立方科技有限公司 一种应用无感知的分片数据库解析及优化方法
CN113032446A (zh) * 2019-12-24 2021-06-25 阿里巴巴集团控股有限公司 一种分布式查询系统的数据处理方法和装置
WO2021129498A1 (zh) * 2019-12-24 2021-07-01 阿里巴巴集团控股有限公司 一种分布式查询系统的数据处理方法和装置
CN111241195A (zh) * 2020-01-02 2020-06-05 腾讯云计算(北京)有限责任公司 分布式系统的数据库处理方法、装置、设备及存储介质
CN111241195B (zh) * 2020-01-02 2023-03-21 腾讯云计算(北京)有限责任公司 分布式系统的数据库处理方法、装置、设备及存储介质
CN111259060A (zh) * 2020-02-18 2020-06-09 北京百度网讯科技有限公司 数据查询的方法及装置
CN111259060B (zh) * 2020-02-18 2023-08-15 北京百度网讯科技有限公司 数据查询的方法及装置

Also Published As

Publication number Publication date
CN104731951B (zh) 2018-08-07

Similar Documents

Publication Publication Date Title
CN104731951A (zh) 一种数据查询方法及装置
CN111382174B (zh) 多方数据联合查询方法、装置、服务器和存储介质
CN110737658A (zh) 数据分片存储方法、装置、终端及可读存储介质
CN111666578A (zh) 数据管理的方法、装置、电子设备及计算机可读存储介质
CN106815258B (zh) 一种数据存储方法和协调节点
CN104765749A (zh) 一种数据存储方法及装置
CN107689949B (zh) 数据库权限管理方法和系统
CN109831507B (zh) 物联网系统、负载均衡方法和存储介质
CN105302920A (zh) 一种云存储数据的优化管理方法和系统
CN105100050A (zh) 用户权限管理方法及系统
CN105550225A (zh) 索引构建方法、查询方法及装置
US9697243B2 (en) Method and apparatus for searching node by using tree index
CN104301233A (zh) 路由访问方法、路由访问系统及用户终端
CN107491463B (zh) 数据查询的优化方法和系统
CN108154024B (zh) 一种数据检索方法、装置及电子设备
CN105490843A (zh) 一种信息处理方法及系统
CN103440345A (zh) 一种基于关系型数据库的分布式数据库扩展方法及系统
CN108563697A (zh) 一种数据处理方法、装置和存储介质
CN109858285B (zh) 区块链数据的处理方法、装置、设备和介质
CN104956340A (zh) 可扩展数据重复删除
CN109451069B (zh) 基于分布式存储的网络数据文件库存储及查询方法
CN112217774A (zh) 一种权限控制系统及方法、服务器、存储介质
CN111339193B (zh) 类别的编码方法及装置
US20130031245A1 (en) Generating a configuration file based upon an application registry
US11593212B1 (en) Prevention and mitigation of corrupt database data

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant