CN104750690B - 一种查询处理方法、装置及系统 - Google Patents
一种查询处理方法、装置及系统 Download PDFInfo
- Publication number
- CN104750690B CN104750690B CN201310728889.0A CN201310728889A CN104750690B CN 104750690 B CN104750690 B CN 104750690B CN 201310728889 A CN201310728889 A CN 201310728889A CN 104750690 B CN104750690 B CN 104750690B
- Authority
- CN
- China
- Prior art keywords
- inquiry request
- query engine
- anticipation
- resource
- itself
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种查询处理方法、装置及系统,包括:查询路由器将待处理的查询请求发送给多个查询引擎;接收每个查询引擎发送的对该查询请求进行处理的预判响应时间,该预判响应时间为查询引擎根据自身对应的存储引擎中存储的数据表的属性信息,预判的通过扫描该数据表对该查询请求进行处理所需的时间;向预判响应时间最小的查询引擎发送对该查询请求的处理指令。采用本发明实施例提供的方案,相比现有技术,提高了对查询的处理效率。
Description
技术领域
本发明涉及数据库技术领域,尤其涉及一种查询处理方法、装置及系统。
背景技术
目前,数据库在提供查询时,一般通过单一的查询引擎入口处理用户的查询请求。数据库将资源划分为多个队列,每个队列被分配了一定比例的计算或存储资源。当数据库接收查询请求时,根据查询请求的查询类型,将该查询请求提交到该查询请求的查询类型对应的资源队列中,由查询引擎使用该资源队列的资源对该查询请求进行处理,例如,可以根据执行查询的时间将资源队列进行划分:执行时间短暂的交互类查询或者交易类操作被指定使用第一个资源队列中的资源执行查询;执行时间较长,资源占用较多的复杂批处理任务被指定使用第二个资源队列中的资源执行查询;剩余的其他任务被指定使用第三个资源队列中的资源执行查询。
上述现有的在数据库中对查询请求进行处理的方法,由于采用固定的查询规则对处理查询请求的资源进行资源调度,当某一类查询请求需要的资源较多时,可能由于对该类查询进行处理的资源队列的资源不足,无法对该查询请求进行高效处理,导致对该类查询的处理效率低。
发明内容
本发明实施例提供一种查询处理方法、装置及系统,用以解决现有技术中存在的在数据库中对查询进行处理的效率低的问题。
本发明实施例提供一种查询处理方法,包括:
查询路由器将待处理的查询请求发送给多个查询引擎;
接收每个所述查询引擎发送的对所述查询请求进行处理的预判响应时间,所述预判响应时间为查询引擎根据自身对应的存储引擎中存储的数据表的属性信息,预判的通过扫描所述数据表对所述查询请求进行处理所需的时间;
向预判响应时间最小的查询引擎发送对所述查询请求的处理指令。
采用本发明实施例提供的方法,由于采用数据库中多个查询引擎中执行查询请求的预判响应时间最小的查询引擎中的资源对查询请求进行处理,可以动态的为查询请求分配查询引擎,采用所分配的查询引擎中的资源对查询请求进行处理,不需要使用查询引擎中固定的资源队列中的资源对查询请求进行处理,提高了对查询的处理效率。
进一步的,将待处理的查询请求发送给多个查询引擎,具体为:
通过待处理的查询请求的查询类型与每个查询引擎可处理查询的类型进行比对,将所述查询请求发送给可处理该查询请求的多个查询引擎。
进一步的,将待处理的查询请求发送给多个查询引擎,具体为:
将根据预设查询请求优先策略确定的优先级最高的待处理查询请求发送给多个查询引擎。
进一步的,上述方法,还包括:
在向预判响应时间最小的查询引擎发送对所述查询请求的处理指令之后,记录所述查询请求与处理该查询请求的查询引擎的对应关系。
进一步的,上述方法,还包括:
在向预判响应时间最小的查询引擎发送对所述查询请求的处理指令之后,当接收到该查询引擎发送的表征该查询引擎处理所述查询请求的资源不足的消息时,按照预判响应时间从小到大的顺序,从所述多个查询引擎中除该查询引擎之外的查询引擎中,向预判响应时间最小的查询引擎发送对所述查询请求的处理指令。
本发明实施例提供一种查询处理方法,包括:
查询引擎接收查询路由器发送的查询请求;
根据自身对应的存储引擎中存储的数据表的属性信息,预判通过扫描所述数据表对所述查询请求进行处理所需的时间,作为自身对所述查询请求进行处理的预判响应时间;
将所述预判响应时间发送给所述查询路由器;
当接收到所述查询路由器发送的对所述查询请求的处理指令时,采用自身的资源对所述查询请求进行处理。
采用本发明实施例提供的方法,由于采用数据库中多个查询引擎中执行查询请求的预判响应时间最小的查询引擎中的资源对查询请求进行处理,可以动态的为查询请求分配查询引擎,采用所分配的查询引擎中的资源对查询请求进行处理,不需要使用查询引擎中固定的资源队列中的资源对查询请求进行处理,提高了对查询的处理效率。
进一步的,当接收到所述查询路由器发送的对所述查询请求的处理指令时,采用自身的资源对所述查询请求进行处理,具体包括:
当接收到所述查询路由器发送的对所述查询请求的处理指令时,根据与自身对应的存储引擎中存储的数据表的属性信息,确定通过扫描所述数据表对所述查询请求进行处理所需的资源;
当确定自身的空闲资源不小于对所述查询请求进行处理所需的资源时,采用自身的空闲资源对所述查询请求进行处理。
进一步的,采用自身的空闲资源对所述查询请求进行处理,具体包括:
在自身的多个资源队列中,根据预设资源队列选择策略选择一个资源队列对所述查询请求进行处理。
进一步的,上述方法,还包括:
当确定自身的空闲资源小于对所述查询请求进行处理所需的资源时,向所述查询路由器发送表征自身处理所述查询请求的资源不足的消息。
本发明实施例还提供了一种查询处理装置,包括:
查询请求发送单元,用于将待处理的查询请求发送给多个查询引擎;
接收单元,用于接收每个所述查询引擎发送的对所述查询请求进行处理的预判响应时间,所述预判响应时间为查询引擎根据自身对应的存储引擎中存储的数据表的属性信息,预判的通过扫描所述数据表对所述查询请求进行处理所需的时间;
第一处理指令发送单元,用于向预判响应时间最小的查询引擎发送对所述查询请求的处理指令。
采用本发明实施例提供的装置,由于采用数据库中多个查询引擎中执行查询请求的预判响应时间最小的查询引擎中的资源对查询请求进行处理,可以动态的为查询请求分配查询引擎,采用所分配的查询引擎中的资源对查询请求进行处理,不需要使用查询引擎中固定的资源队列中的资源对查询请求进行处理,提高了对查询的处理效率。
进一步的,所述查询请求发送单元,具体用于通过待处理的查询请求的查询类型与每个查询引擎可处理查询的类型进行比对,将所述查询请求发送给可处理该查询请求的多个查询引擎。
进一步的,所述查询请求发送单元,具体用于将根据预设查询请求优先策略确定的优先级最高的待处理查询请求发送给多个查询引擎。
进一步的,上述装置,还包括:
记录单元,用于在向预判响应时间最小的查询引擎发送对所述查询请求的处理指令之后,记录所述查询请求与处理该查询请求的查询引擎的对应关系。
进一步的,上述装置,还包括:
第二处理指令发送单元,用于当接收到该查询引擎发送的表征该查询引擎处理所述查询请求的资源不足的消息时,按照预判响应时间从小到大的顺序,从所述多个查询引擎中除该查询引擎之外的查询引擎中,向预判响应时间最小的查询引擎发送对所述查询请求的处理指令。
本发明实施例还提供了一种查询处理装置,包括:
接收单元,用于接收查询路由器发送的查询请求;
响应时间预判单元,用于根据自身对应的存储引擎中存储的数据表的属性信息,预判通过扫描所述数据表对所述查询请求进行处理所需的时间,作为自身对所述查询请求进行处理的预判响应时间;
第一发送单元,用于将所述预判响应时间发送给所述查询路由器;
处理单元,用于当接收到所述查询路由器发送的对所述查询请求的处理指令时,采用自身的资源对所述查询请求进行处理。
采用本发明实施例提供的装置,由于采用数据库中多个查询引擎中执行查询请求的预判响应时间最小的查询引擎中的资源对查询请求进行处理,可以动态的为查询请求分配查询引擎,采用所分配的查询引擎中的资源对查询请求进行处理,不需要使用查询引擎中固定的资源队列中的资源对查询请求进行处理,提高了对查询的处理效率。
进一步的,所述处理单元,具体用于当接收到所述查询路由器发送的对所述查询请求的处理指令时,根据与自身对应的存储引擎中存储的数据表的属性信息,确定通过扫描所述数据表对所述查询请求进行处理所需的资源;当确定自身的空闲资源不小于对所述查询请求进行处理所需的资源时,采用自身的空闲资源对所述查询请求进行处理。
进一步的,所述处理单元,具体用于在自身的多个资源队列中,根据预设资源队列选择策略选择一个资源队列对所述查询请求进行处理。
进一步的,上述装置,还包括:
第二发送单元,用于当确定自身的空闲资源小于对所述查询请求进行处理所需的资源时,向所述查询路由器发送表征自身处理所述查询请求的资源不足的消息。
本发明实施例还提供了一种查询处理系统,包括:查询路由器和多个查询引擎,其中:
所述查询路由器,用于将待处理的查询请求发送给多个查询引擎;接收每个所述查询引擎发送的对所述查询请求进行处理的预判响应时间,所述预判响应时间为查询引擎根据自身对应的存储引擎中存储的数据表的属性信息,预判的通过扫描所述数据表对所述查询请求进行处理所需的时间;向预判响应时间最小的查询引擎发送对所述查询请求的处理指令;
所述查询引擎,用于接收查询路由器发送的查询请求;根据自身对应的存储引擎中存储的数据表的属性信息,预判通过扫描所述数据表对所述查询请求进行处理所需的时间,作为自身对所述查询请求进行处理的预判响应时间;将所述预判响应时间发送给所述查询路由器;当接收到所述查询路由器发送的对所述查询请求的处理指令时,采用自身的资源对所述查询请求进行处理。
采用本发明实施例提供的系统,由于采用数据库中多个查询引擎中执行查询请求的预判响应时间最小的查询引擎中的资源对查询请求进行处理,可以动态的为查询请求分配查询引擎,采用所分配的查询引擎中的资源对查询请求进行处理,不需要使用查询引擎中固定的资源队列中的资源对查询请求进行处理,提高了对查询的处理效率。
本申请的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1为本发明实施例提供的查询处理方法的流程图之一;
图2为本发明实施例提供的查询处理方法的流程图之二;
图3为本发明实施例1提供的查询处理方法的流程图;
图4为本发明实施例2提供的查询处理方法的流程图;
图5为本发明实施例3提供的查询处理装置的结构示意图;
图6为本发明实施例4提供的查询处理装置的结构示意图;
图7为本发明实施例5提供的查询处理系统的结构示意图。
具体实施方式
为了给出提高在数据库中对查询的处理效率的实现方案,本发明实施例提供了一种查询处理方法、装置及系统,以下结合说明书附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。并且在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
本发明实施例提供一种查询处理方法,如图1所示,包括:
步骤101、查询路由器将待处理的查询请求发送给多个查询引擎。
步骤102、接收每个查询引擎发送的对该查询请求进行处理的预判响应时间,该预判响应时间为查询引擎根据自身对应的存储引擎中存储的数据表的属性信息,预判的通过扫描该数据表对该查询请求进行处理所需的时间。
步骤103、向预判响应时间最小的查询引擎发送对该查询请求的处理指令。
本发明实施例上述图1提供的方法中,在数据库中的每个查询引擎对应的存储引擎可以为多个,各个存储引擎的类型可以为分布式文件系统(HDFS,Hadoop DistributedFile System)存储引擎、分布式Key-Value Store存储引擎和关系型数据库存储引擎等,也可以为基于本地文件系统的数据库存储引擎,例如:关联数据库管理系统(MySQL)的InnoDB和MyISAM存储引擎等,还可以为基于HDFS的存储引擎,例如Hfile,RCFile,SequenceFile和TextFile等存储引擎。存储引擎中存储的数据可以以数据表为基本存储单位,一般在创建数据表的时候可以指定该数据表对应的存储引擎。在电信运营商的业务系统中,可以将同样的数据表存储在多种存储引擎上,以满足不同应用的需求。存储引擎中存储的数据表的属性信息可以存储在数据库的元数据中,例如:可以将数据表的行数和列数,数据分布信息等存储在元数据中。
本发明实施例中,系统管理员可在对数据库进行初始化时设置查询引擎可处理查询的类型,动态加载查询引擎支持的存储引擎,还可以配置查询引擎的资源队列,不同的查询引擎可配置相同的资源队列。
相应的,本发明实施例还提供了一种查询处理方法,如图2所示,包括:
步骤201、查询引擎接收查询路由器发送的查询请求。
步骤202、根据自身对应的存储引擎中存储的数据表的属性信息,预判通过扫描该数据表对该查询请求进行处理所需的时间,作为自身对该查询请求进行处理的预判响应时间。
步骤203、将该预判响应时间发送给该查询路由器。
步骤204、当接收到该查询路由器发送的对该查询请求的处理指令时,采用自身的资源对该查询请求进行处理。
下面以查询路由器向数据库中的多个查询引擎发送查询请求为例,用具体实施例对本发明提供的方法及装置和相应系统进行详细描述。
实施例1:
图3为本发明实施例1提供的一种查询处理方法的流程图,具体包括如下处理步骤:
步骤301、查询路由器将待处理的查询请求发送给多个查询引擎。
步骤302、每个查询引擎在接收该查询路由器发送的查询请求后,根据自身对应的存储引擎中存储的数据表的属性信息,预判通过扫描该数据表对该查询请求进行处理所需的时间,作为自身对该查询请求进行处理的预判响应时间。
步骤303、每个查询引擎将各自的预判响应时间发送给该查询路由器。
步骤304、当该查询路由器接收到每个查询引擎发送的对该查询请求进行处理的预判响应时间后,确定预判响应时间最小的查询引擎。
步骤305、该查询路由器向预判响应时间最小的查询引擎发送对该查询请求的处理指令。
步骤306、当该预判响应时间最小的查询引擎接收到该查询路由器发送的对该查询请求的处理指令时,采用自身的资源对该查询请求进行处理。
实施例2:
图4为本发明实施例2提供的一种一种查询处理方法的流程图,具体包括如下处理步骤:
步骤401、查询路由器根据预设查询请求优先策略,在待处理查询请求队列中确定优先级最高的待处理查询请求。
本步骤中,该查询请求队列中为用户输入的各种查询请求,可以为一个用户,也可以为多个用户,当查询路由器启动后,根据预设查询请求优先策略,在查询请求队列中选择优先级最高的待处理查询请求,该预设查询请求优先策略可以根据实际经验和需要进行灵活设置。
步骤402、该查询路由器通过待处理的查询请求的查询类型与每个查询引擎可处理查询的类型进行比对,将该查询请求发送给可处理该查询请求的多个查询引擎。
步骤403、每个查询引擎在接收该查询路由器发送的查询请求后,根据自身对应的存储引擎中存储的数据表的属性信息,预判通过扫描数据表对该查询请求进行处理所需的时间,作为自身对该查询请求进行处理的预判响应时间。
本步骤中,数据库的元数据记录了每个查询引擎对应的存储引擎中存储的数据表的行列信息等信息,每个查询引擎可以根据自身对应的存储引擎中存储的数据表的行列信息,预先估算出通过扫描数据表对该查询请求进行处理所需的时间,作为自身对该查询请求进行处理的预判响应时间,该预判响应时间相当于查询引擎对该查询请求进行处理的代价,代价越小,查询引擎对该查询请求进行处理使用的资源越小。
步骤404、每个查询引擎将各自的预判响应时间发送给该查询路由器。
步骤405、当该查询路由器接收到每个查询引擎发送的对该查询请求进行处理的预判响应时间后,确定预判响应时间最小的查询引擎。
本步骤中,当该查询路由器接收到每个查询引擎发送的对该查询请求进行处理的预判响应时间后,按照预判响应时间从小到大的顺序对多个查询引擎进行排序,确定预判响应时间最小的查询引擎。
步骤406、该查询路由器向预判响应时间最小的查询引擎发送对该查询请求的处理指令。
步骤407、当该预判响应时间最小的查询引擎接收到该查询路由器发送的对该查询请求的处理指令时,根据与自身对应的存储引擎中存储的数据表的属性信息,确定通过扫描所述数据表对该查询请求进行处理所需的资源。
步骤408、该查询引擎将确定的对所述查询请求进行处理所需的资源与自身的空闲资源进行比较,确定自身的空闲资源是否不小于对该查询请求进行处理所需的资源,如果是,进入步骤409,如果否,进入步骤412。
步骤409、当确定自身的空闲资源不小于对该查询请求进行处理所需的资源时,该查询引擎在自身的多个资源队列中,根据预设资源队列选择策略选择一个资源队列对该查询请求进行处理。
本步骤中,该查询引擎中可以有多个资源队列,资源队列可以按照系统内的资源进行划分,可以通过一定格式的配置文件进行配置,例如资源队列的格式可以为:CPU占用率,内存占用率和缓存占用率。预设资源队列选择策略可以为随机选择资源队列,也可以选择剩余CPU资源最多的资源队列,也可以选择剩余内存最多的资源队列。
进一步的,当该查询引擎在自身的多个资源队列中,根据预设资源队列选择策略选择一个资源队列对该查询请求进行处理时,如果当前选择的资源队列中的空闲资源不小于对该查询请求进行处理所需的资源时,采用当前选择的资源队列中的空闲资源对该查询请求进行处理,并向该查询路由器发送处理完成消息;如果当前选择的资源队列中的空闲资源小于对该查询请求进行处理所需的资源时,该查询引擎在自身的多个资源队列中除已选择的资源队列之外的查询引擎中,根据预设资源队列选择策略选择一个资源队列对该查询请求进行处理,重复此过程直到该查询引擎的最后一个资源队列,当该查询引擎中所有的资源队列都不能对该查询请求进行处理时,该查询引擎不能对该查询请求进行处理。
步骤410、该查询引擎向该查询路由器发送处理完成消息。
本步骤中,该查询引擎向该查询路由器发送处理完成消息时,可以将处理结果同时发送给该查询路由器,也可以将查询结果分批次分别发送给该查询路由器。
步骤411、当该查询路由器接收到该处理完成消息时,记录该查询请求与处理该查询请求的查询引擎的对应关系。
本步骤中,可以将该查询请求与处理该查询请求的查询引擎的对应关系作为查询路由器计划。
进一步的,当查询队列中优先级最高的待处理查询请求在查询路由器计划中有记录时,可以采用查找到的与该查询请求对应的查询引擎对该查询请求进行处理。
步骤412、当确定自身的空闲资源小于对该查询请求进行处理所需的资源时,该查询引擎向该查询路由器发送表征自身处理该查询请求的资源不足的消息。
步骤413、当该查询路由器接收到该查询引擎发送的表征该查询引擎处理所述查询请求的资源不足的消息时,按照预判响应时间从小到大的顺序,从该多个查询引擎中除该查询引擎之外的查询引擎中,向预判响应时间最小的查询引擎发送对该查询请求的处理指令,并返回步骤407。
进一步的,当每一个查询引擎都不能对该查询请求进行处理时,该查询路由器向用户返回表示查询请求失败的消息。
通过本发明上述实施例1和2提供的方法,由于采用数据库中多个查询引擎中执行查询请求的预判响应时间最小的查询引擎中的资源对查询请求进行处理,可以动态的为查询请求分配查询引擎,采用所分配的查询引擎中的资源对查询请求进行处理,不需要使用查询引擎中固定的资源队列中的资源对查询请求进行处理,提高了对查询的处理效率。
实施例3:
基于同一发明构思,根据本发明上述实施例提供的查询处理方法,相应地,本发明实施例3还提供了一种查询处理装置,其结构示意图如图5所示,具体包括:
查询请求发送单元501,用于将待处理的查询请求发送给多个查询引擎;
接收单元502,用于接收每个所述查询引擎发送的对所述查询请求进行处理的预判响应时间,所述预判响应时间为查询引擎根据自身对应的存储引擎中存储的数据表的属性信息,预判的通过扫描所述数据表对所述查询请求进行处理所需的时间;
第一处理指令发送单元503,用于向预判响应时间最小的查询引擎发送对所述查询请求的处理指令。
进一步的,查询请求发送单元501,具体用于通过待处理的查询请求的查询类型与每个查询引擎可处理查询的类型进行比对,将所述查询请求发送给可处理该查询请求的多个查询引擎。
进一步的,查询请求发送单元501,具体用于将根据预设查询请求优先策略确定的优先级最高的待处理查询请求发送给多个查询引擎。
进一步的,上述装置,还包括:
记录单元504,用于在向预判响应时间最小的查询引擎发送对所述查询请求的处理指令之后,记录所述查询请求与处理该查询请求的查询引擎的对应关系。
进一步的,上述装置,还包括:
第二处理指令发送单元505,用于当接收到该查询引擎发送的表征该查询引擎处理所述查询请求的资源不足的消息时,按照预判响应时间从小到大的顺序,从所述多个查询引擎中除该查询引擎之外的查询引擎中,向预判响应时间最小的查询引擎发送对所述查询请求的处理指令。
上述各单元的功能可对应于图1、图3和图4所示流程中的相应处理步骤,在此不再赘述。
实施例4:
基于同一发明构思,根据本发明上述实施例提供的查询处理方法,相应地,本发明实施例4还提供了一种查询处理装置,其结构示意图如图6所示,具体包括:
接收单元601,用于接收查询路由器发送的查询请求;
响应时间预判单元602,用于根据自身对应的存储引擎中存储的数据表的属性信息,预判通过扫描所述数据表对所述查询请求进行处理所需的时间,作为自身对所述查询请求进行处理的预判响应时间;
第一发送单元603,用于将所述预判响应时间发送给所述查询路由器;
处理单元604,用于当接收到所述查询路由器发送的对所述查询请求的处理指令时,采用自身的资源对所述查询请求进行处理。
进一步的,处理单元604,具体用于当接收到所述查询路由器发送的对所述查询请求的处理指令时,根据与自身对应的存储引擎中存储的数据表的属性信息,确定通过扫描所述数据表对所述查询请求进行处理所需的资源;当确定自身的空闲资源不小于对所述查询请求进行处理所需的资源时,采用自身的空闲资源对所述查询请求进行处理。
进一步的,处理单元604,具体用于在自身的多个资源队列中,根据预设资源队列选择策略选择一个资源队列对所述查询请求进行处理。
进一步的,上述装置,还包括:
第二发送单元605,用于当确定自身的空闲资源小于对所述查询请求进行处理所需的资源时,向所述查询路由器发送表征自身处理所述查询请求的资源不足的消息。
上述各单元的功能可对应于图2、图3和图4所示流程中的相应处理步骤,在此不再赘述。
实施例5:
基于同一发明构思,根据本发明上述实施例提供的查询处理方法,相应地,本发明实施例5还提供了一种查询处理系统,其结构示意图如图7所示,包括:查询路由器701和多个查询引擎702,其中:
所述查询路由器701,用于将待处理的查询请求发送给多个查询引擎;接收每个所述查询引擎发送的对所述查询请求进行处理的预判响应时间,所述预判响应时间为查询引擎根据自身对应的存储引擎中存储的数据表的属性信息,预判的通过扫描所述数据表对所述查询请求进行处理所需的时间;向预判响应时间最小的查询引擎发送对所述查询请求的处理指令;
所述查询引擎702,用于接收查询路由器发送的查询请求;根据自身对应的存储引擎中存储的数据表的属性信息,预判通过扫描所述数据表对所述查询请求进行处理所需的时间,作为自身对所述查询请求进行处理的预判响应时间;将所述预判响应时间发送给所述查询路由器;当接收到所述查询路由器发送的对所述查询请求的处理指令时,采用自身的资源对所述查询请求进行处理。
综上所述,本发明实施例提供的方案,包括:查询路由器将待处理的查询请求发送给多个查询引擎;接收每个查询引擎发送的对该查询请求进行处理的预判响应时间,该预判响应时间为查询引擎根据自身对应的存储引擎中存储的数据表的属性信息,预判的通过扫描所述数据表对所述查询请求进行处理所需的时间;向预判响应时间最小的查询引擎发送对该查询请求的处理指令。采用本发明实施例提供的方案,相比现有技术,提高了对查询的处理效率。
本申请的实施例所提供的查询处理装置和系统可通过计算机程序实现。本领域技术人员应该能够理解,上述的模块划分方式仅是众多模块划分方式中的一种,如果划分为其他模块或不划分模块,只要查询处理装置和系统具有上述功能,都应该在本申请的保护范围之内。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (19)
1.一种查询处理方法,其特征在于,包括:
查询路由器将待处理的查询请求发送给多个查询引擎;
接收每个所述查询引擎发送的对所述查询请求进行处理的预判响应时间,所述预判响应时间为查询引擎根据自身对应的存储引擎中存储的数据表的属性信息,预判的通过扫描所述数据表对所述查询请求进行处理所需的时间,其中,每一查询引擎对应至少一种类型的存储引擎;
向预判响应时间最小的查询引擎发送对所述查询请求的处理指令。
2.如权利要求1所述的方法,其特征在于,将待处理的查询请求发送给多个查询引擎,具体为:
通过待处理的查询请求的查询类型与每个查询引擎可处理查询的类型进行比对,将所述查询请求发送给可处理该查询请求的多个查询引擎。
3.如权利要求1所述的方法,其特征在于,将待处理的查询请求发送给多个查询引擎,具体为:
将根据预设查询请求优先策略确定的优先级最高的待处理查询请求发送给多个查询引擎。
4.如权利要求1所述的方法,其特征在于,在向预判响应时间最小的查询引擎发送对所述查询请求的处理指令之后,还包括:
记录所述查询请求与处理该查询请求的查询引擎的对应关系。
5.如权利要求1所述的方法,其特征在于,在向预判响应时间最小的查询引擎发送对所述查询请求的处理指令之后,还包括:
当接收到该查询引擎发送的表征该查询引擎处理所述查询请求的资源不足的消息时,按照预判响应时间从小到大的顺序,从所述多个查询引擎中除该查询引擎之外的查询引擎中,向预判响应时间最小的查询引擎发送对所述查询请求的处理指令。
6.一种查询处理方法,其特征在于,包括:
查询引擎接收查询路由器发送的查询请求;
根据自身对应的存储引擎中存储的数据表的属性信息,预判通过扫描所述数据表对所述查询请求进行处理所需的时间,作为自身对所述查询请求进行处理的预判响应时间,其中,所述查询引擎对应至少一种类型的存储引擎;
将所述预判响应时间发送给所述查询路由器;
当接收到所述查询路由器发送的对所述查询请求的处理指令时,采用自身的资源对所述查询请求进行处理。
7.如权利要求6所述的方法,其特征在于,当接收到所述查询路由器发送的对所述查询请求的处理指令时,采用自身的资源对所述查询请求进行处理,具体包括:
当接收到所述查询路由器发送的对所述查询请求的处理指令时,根据与自身对应的存储引擎中存储的数据表的属性信息,确定通过扫描所述数据表对所述查询请求进行处理所需的资源;
当确定自身的空闲资源不小于对所述查询请求进行处理所需的资源时,采用自身的空闲资源对所述查询请求进行处理。
8.如权利要求6所述的方法,其特征在于,采用自身的空闲资源对所述查询请求进行处理,具体包括:
在自身的多个资源队列中,根据预设资源队列选择策略选择一个资源队列对所述查询请求进行处理。
9.如权利要求7所述的方法,其特征在于,还包括:
当确定自身的空闲资源小于对所述查询请求进行处理所需的资源时,向所述查询路由器发送表征自身处理所述查询请求的资源不足的消息。
10.一种查询处理装置,其特征在于,包括:
查询请求发送单元,用于将待处理的查询请求发送给多个查询引擎;
接收单元,用于接收每个所述查询引擎发送的对所述查询请求进行处理的预判响应时间,所述预判响应时间为查询引擎根据自身对应的存储引擎中存储的数据表的属性信息,预判的通过扫描所述数据表对所述查询请求进行处理所需的时间,其中,每一查询引擎对应至少一种类型的存储引擎;
第一处理指令发送单元,用于向预判响应时间最小的查询引擎发送对所述查询请求的处理指令。
11.如权利要求10所述的装置,其特征在于,所述查询请求发送单元,具体用于通过待处理的查询请求的查询类型与每个查询引擎可处理查询的类型进行比对,将所述查询请求发送给可处理该查询请求的多个查询引擎。
12.如权利要求10所述的装置,其特征在于,所述查询请求发送单元,具体用于将根据预设查询请求优先策略确定的优先级最高的待处理查询请求发送给多个查询引擎。
13.如权利要求10所述的装置,其特征在于,还包括:
记录单元,用于在向预判响应时间最小的查询引擎发送对所述查询请求的处理指令之后,记录所述查询请求与处理该查询请求的查询引擎的对应关系。
14.如权利要求10所述的装置,其特征在于,还包括:
第二处理指令发送单元,用于当接收到该查询引擎发送的表征该查询引擎处理所述查询请求的资源不足的消息时,按照预判响应时间从小到大的顺序,从所述多个查询引擎中除该查询引擎之外的查询引擎中,向预判响应时间最小的查询引擎发送对所述查询请求的处理指令。
15.一种查询处理装置,其特征在于,设置在查询引擎中,所述装置包括:
接收单元,用于接收查询路由器发送的查询请求;
响应时间预判单元,用于根据自身对应的存储引擎中存储的数据表的属性信息,预判通过扫描所述数据表对所述查询请求进行处理所需的时间,作为自身对所述查询请求进行处理的预判响应时间,其中,所述查询引擎对应至少一种类型的存储引擎;
第一发送单元,用于将所述预判响应时间发送给所述查询路由器;
处理单元,用于当接收到所述查询路由器发送的对所述查询请求的处理指令时,采用自身的资源对所述查询请求进行处理。
16.如权利要求15所述的装置,其特征在于,所述处理单元,具体用于当接收到所述查询路由器发送的对所述查询请求的处理指令时,根据与自身对应的存储引擎中存储的数据表的属性信息,确定通过扫描所述数据表对所述查询请求进行处理所需的资源;当确定自身的空闲资源不小于对所述查询请求进行处理所需的资源时,采用自身的空闲资源对所述查询请求进行处理。
17.如权利要求15所述的装置,其特征在于,所述处理单元,具体用于在自身的多个资源队列中,根据预设资源队列选择策略选择一个资源队列对所述查询请求进行处理。
18.如权利要求15所述的装置,其特征在于,还包括:
第二发送单元,用于当确定自身的空闲资源小于对所述查询请求进行处理所需的资源时,向所述查询路由器发送表征自身处理所述查询请求的资源不足的消息。
19.一种查询处理系统,其特征在于,包括:查询路由器和多个查询引擎,其中:
所述查询路由器,用于将待处理的查询请求发送给多个查询引擎;接收每个所述查询引擎发送的对所述查询请求进行处理的预判响应时间,所述预判响应时间为查询引擎根据自身对应的存储引擎中存储的数据表的属性信息,预判的通过扫描所述数据表对所述查询请求进行处理所需的时间,其中,每一查询引擎对应至少一种类型的存储引擎;向预判响应时间最小的查询引擎发送对所述查询请求的处理指令;
所述查询引擎,用于接收查询路由器发送的查询请求;根据自身对应的存储引擎中存储的数据表的属性信息,预判通过扫描所述数据表对所述查询请求进行处理所需的时间,作为自身对所述查询请求进行处理的预判响应时间;将所述预判响应时间发送给所述查询路由器;当接收到所述查询路由器发送的对所述查询请求的处理指令时,采用自身的资源对所述查询请求进行处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310728889.0A CN104750690B (zh) | 2013-12-25 | 2013-12-25 | 一种查询处理方法、装置及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310728889.0A CN104750690B (zh) | 2013-12-25 | 2013-12-25 | 一种查询处理方法、装置及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104750690A CN104750690A (zh) | 2015-07-01 |
CN104750690B true CN104750690B (zh) | 2018-03-23 |
Family
ID=53590400
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310728889.0A Active CN104750690B (zh) | 2013-12-25 | 2013-12-25 | 一种查询处理方法、装置及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104750690B (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105335472B (zh) * | 2015-09-30 | 2019-03-26 | 北京京东尚科信息技术有限公司 | 一种更新数据查询引擎配置列表的方法及装置 |
CN106339480A (zh) * | 2016-08-31 | 2017-01-18 | 天津南大通用数据技术股份有限公司 | 数据分组聚合数据分布的选择方法及装置 |
CN106383864B (zh) * | 2016-09-02 | 2019-08-27 | 北京百度网讯科技有限公司 | 一种时序数据库的查询请求处理方法和装置 |
CN106534281B (zh) * | 2016-10-25 | 2019-09-24 | Oppo广东移动通信有限公司 | 一种数据请求的响应方法、装置及系统 |
CN107918676B (zh) * | 2017-12-15 | 2022-01-18 | 联想(北京)有限公司 | 结构化查询的资源优化方法及数据库查询系统 |
CN108182226A (zh) * | 2017-12-26 | 2018-06-19 | 福建中金在线信息科技有限公司 | 一种数据查询的方法以及相关设备 |
CN108549683B (zh) * | 2018-04-03 | 2022-04-22 | 联想(北京)有限公司 | 数据查询方法以及系统 |
CN109977259A (zh) * | 2019-03-28 | 2019-07-05 | 北京奇艺世纪科技有限公司 | 一种数据查询方法、装置及电子设备 |
CN113568931A (zh) * | 2020-04-29 | 2021-10-29 | 盛趣信息技术(上海)有限公司 | 一种数据访问请求的路由解析系统及方法 |
CN111723112B (zh) * | 2020-06-11 | 2023-07-07 | 咪咕文化科技有限公司 | 数据任务执行方法、装置、电子设备及存储介质 |
CN111796937B (zh) * | 2020-06-29 | 2023-05-26 | 深圳赛安特技术服务有限公司 | 基于内存的资源分配方法、计算机设备及存储介质 |
CN112000688A (zh) * | 2020-08-14 | 2020-11-27 | 杭州数云信息技术有限公司 | 一种基于通用查询语言的查询方法及查询系统 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050192937A1 (en) * | 2004-02-26 | 2005-09-01 | International Business Machines Corporation | Dynamic query optimization |
FR2873830B1 (fr) * | 2004-07-30 | 2008-02-22 | Commissariat Energie Atomique | Procede d'ordonnancement de traitement de taches et dispositif pour mettre en oeuvre le procede |
US10459912B2 (en) * | 2008-12-11 | 2019-10-29 | Teradata Us, Inc. | Optimizing processing of group-by queries featuring maximum or minimum equality conditions in a parallel processing system |
US8892544B2 (en) * | 2009-04-01 | 2014-11-18 | Sybase, Inc. | Testing efficiency and stability of a database query engine |
CN102375853A (zh) * | 2010-08-24 | 2012-03-14 | 中国移动通信集团公司 | 分布式数据库系统、在其中建立索引的方法和查询方法 |
-
2013
- 2013-12-25 CN CN201310728889.0A patent/CN104750690B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN104750690A (zh) | 2015-07-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104750690B (zh) | 一种查询处理方法、装置及系统 | |
US10402424B1 (en) | Dynamic tree determination for data processing | |
CN110096344B (zh) | 任务管理方法、系统、服务器集群和计算机可读介质 | |
CN112732466B (zh) | 一种服务调用方法、装置和系统 | |
US10114682B2 (en) | Method and system for operating a data center by reducing an amount of data to be processed | |
CN104391918B (zh) | 基于对等部署的分布式数据库查询优先级管理的实现方法 | |
US20190196875A1 (en) | Method, system and computer program product for processing computing task | |
CN108733681A (zh) | 信息处理方法及装置 | |
US20200285508A1 (en) | Method and Apparatus for Assigning Computing Task | |
CN105516086B (zh) | 业务处理方法及装置 | |
WO2015027932A1 (en) | Multi-dimensional decomposition computing method and system | |
US20150269234A1 (en) | User Defined Functions Including Requests for Analytics by External Analytic Engines | |
CN107402926A (zh) | 一种查询方法以及查询设备 | |
CN103678619B (zh) | 数据库索引处理方法和装置 | |
KR102413144B1 (ko) | 트랜잭션 처리 방법, 서버 및 트랜잭션 처리 시스템 | |
CN1783121A (zh) | 用于执行设计自动化的方法和系统 | |
CN105893156B (zh) | 存储计算系统中的请求处理方法及存储计算系统 | |
CN110737814A (zh) | 一种网站数据的爬取方法、装置、电子设备及存储介质 | |
CN103634374A (zh) | 一种并发访问请求的处理方法及装置 | |
CN109743348A (zh) | 一种数据传输请求响应方法、系统、装置和存储介质 | |
Liu et al. | KubFBS: A fine‐grained and balance‐aware scheduling system for deep learning tasks based on kubernetes | |
CN109783201A (zh) | 数据交换方法及其系统 | |
CN113568931A (zh) | 一种数据访问请求的路由解析系统及方法 | |
CN107402812A (zh) | 集群资源调度方法、装置、设备及存储介质 | |
CN110378680A (zh) | 一种数据处理方法、装置、存储介质和服务器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |