CN116521703A - 查询引擎中数据源的调整方法及相关设备 - Google Patents
查询引擎中数据源的调整方法及相关设备 Download PDFInfo
- Publication number
- CN116521703A CN116521703A CN202210082252.8A CN202210082252A CN116521703A CN 116521703 A CN116521703 A CN 116521703A CN 202210082252 A CN202210082252 A CN 202210082252A CN 116521703 A CN116521703 A CN 116521703A
- Authority
- CN
- China
- Prior art keywords
- data source
- query engine
- configuration information
- editing
- request
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000004891 communication Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 abstract description 9
- 239000003054 catalyst Substances 0.000 description 24
- 230000003068 static effect Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2433—Query languages
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及一种查询引擎中数据源的调整方法及相关设备,应用于数据处理技术领域,其中,方法包括:从预先配置的功能接口中,获取对目标数据源的编辑请求,编辑请求中携带有编辑信息,目标数据源包括查询引擎中的数据源和/或新的数据源;根据编辑信息更新查询引擎的各执行节点中加载的第一数据源配置信息,第一数据源配置信息中包括目标数据源的配置信息。以解决现有技术中,服务器对配置文件进行添加或修改,需要重启查询引擎服务才可以生效,由于需要重启查询引擎服务,使得上层应用在访问时受限,造成了服务的不可用的问题。
Description
技术领域
本申请涉及数据处理技术领域,尤其涉及一种查询引擎中数据源的调整方法及相关设备。
背景技术
Presto是一款OLAP(联机分析处理On-Line Analytical Processing)查询引擎,可针对不同数据源执行SQL(结构化查询语言,Structured Query Language)进行交互式查询。查询数据的前提是:根据配置规则把相应数据源作为Presto的catalog(数据源)添加到Presto服务中并生效。
相关技术中,查询引擎加载数据源的技术方案属于冷加载,若需要添加新的数据源或删除不再使用的数据源时,往往需要用户登录到服务器对配置文件进行添加或修改,如果进行了删除、更新、添加,则需要重启查询引擎服务才可以生效。
由于需要重启查询引擎服务,使得上层应用在访问时受限,造成了服务的不可用。
发明内容
本申请提供了一种查询引擎中数据源的调整方法及相关设备,用以解决现有技术中,服务器对配置文件进行添加或修改,需要重启查询引擎服务才可以生效,由于需要重启查询引擎服务,使得上层应用在访问时受限,造成了服务的不可用的问题。
第一方面,本申请实施例提供了一种查询引擎中数据源的调整方法,包括:
从预先配置的功能接口中,获取对目标数据源的编辑请求,所述编辑请求中携带有编辑信息,所述目标数据源包括查询引擎中的数据源和/或新的数据源;
根据所述编辑信息更新查询引擎的各执行节点中加载的第一数据源配置信息,所述第一数据源配置信息中包括所述目标数据源的配置信息。
可选的,所述从预先配置的功能接口,获取对目标数据源的编辑请求之后,还包括:
根据所述编辑信息更新所述查询引擎的预设存储路径下存储的第二数据源配置信息,所述第二数据源配置信息中包括所述目标数据源的配置信息。
可选的,所述从预先配置的功能接口,获取对目标数据源的编辑请求之前,还包括:
在确定查询引擎启动后,将所述查询引擎预设存储路径中的所述第二数据源配置信息,加载至所述查询引擎各执行节点中。
可选的,所述预设存储路径指向所述查询引擎的数据库,所述第二数据源配置信息存储在所述数据库的配置信息表中,或所述预设存储路径指向所述查询引擎的各执行节点,所述第二数据源配置信息存储在各所述执行节点的配置文件中。
可选的,预先配置所述功能接口的过程,包括:
获取数据源的资源接口类,所述数据源的资源接口类中包括对数据源配置信息的编辑逻辑;
将所述数据源的资源接口类添加到所述查询引擎中。
可选的,所述编辑请求包括增加请求、删除请求、修改请求和查询请求中的至少一个。
可选的,所述从预先配置的功能接口,获取对目标数据源的编辑请求之前,还包括:
获取所述目标对象对所述功能接口的访问请求,所述访问请求中携带所述目标对象的身份标识;
根据所述身份标识确定所述目标对象具有编辑权限。
第二方面,本申请实施例提供了一种查询引擎中数据源的调整装置,包括:
获取模块,用于从预先配置的功能接口中,获取对目标数据源的编辑请求,所述编辑请求中携带有编辑信息,所述目标数据源包括查询引擎中的数据源和/或新的数据源;
更新模块,用于根据所述编辑信息更新查询引擎的各执行节点中加载的第一数据源配置信息,所述第一数据源配置信息中包括所述目标数据源的配置信息。
第三方面,本申请实施例提供了一种电子设备,包括:处理器、通信接口、存储器和通信总线,其中,处理器、通信接口和存储器通过通信总线完成相互间的通信;
所述存储器,用于存储计算机程序;
所述处理器,用于执行所述存储器中所存储的程序,实现方面所述的查询引擎中数据源的调整方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时实现方面所述的查询引擎中数据源的调整方法。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点:本申请实施例提供的该方法,通过从预先配置的功能接口中,获取对目标数据源的编辑请求,编辑请求中携带有编辑信息,目标数据源包括查询引擎中的数据源和/或新的数据源;根据编辑信息更新查询引擎的各执行节点中加载的第一数据源配置信息,第一数据源配置信息中包括目标数据源的配置信息。如此,在需要对目标数据源进行编辑时,目标对象可以通过预先配置的功能接口下发编辑请求,在通过预先配置的功能接口获取到目标对象对目标数据源的编辑请求后,能够根据编辑请求中携带的编辑信息,更新查询引擎各执行节点中加载的第一数据源配置信息,无需重启查询引擎,也能够实现对执行节点中目标数据源的配置信息的更新,避免了出现服务不可用的情况。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请一实施例提供的查询引擎中数据源的调整方法的应用场景图;
图2为本申请一实施例提供的查询引擎中数据源的调整方法的流程图;
图3为本申请另一实施例提供的查询引擎中数据源的调整方法的流程图;
图4为现有技术中提供的查询引擎中数据源的调整方法的流程图;
图5为本申请一实施例提供的查询引擎中数据源的调整装置的结构图;
图6为本申请一实施例提供的电子设备的结构图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
在对本发明实施例进行进一步详细说明之前,对本发明实施例中涉及的名词和术语进行说明,本发明实施例中涉及的名词和术语适用于如下的解释。
Presto:Presto是一款Facebook开源的MPP架构的OLAP查询引擎,可针对不同数据源执行大容量数据集的一款分布式SQL执行引擎。适用于交互式分析查询,数据量支持GB到PB字节。presto自身提供了对集群的监控,可以根据监控信息完成调度。Presto具有丰富的插件接口,完美对接外部存储系统,或者添加自定义的函数。
Presto数据模型:采取下述三层结构表示:1.catalog:对应某一类数据源,例如hive的数据,或mysql的数据;2.schema:对应mysql中的数据库;3.table:对应mysql中的表。
Coordinator节点:Presto中的Coordinator节点(也称为调节节点)负责解析SQL语句,生成并优化物理执行计划,管理Presto中的Worker节点(也称为执行节点)。它是Presto运行的“大脑”。它也是客户端提交SQL语句的节点。每个运行的Presto集群包含1个Coordinator节点和1个或多个Worker节点。
Worker节点:Worker节点负责执行任务(tasks),按照该任务处理数据。
Presto集群:Presto是一个运行在多台服务器上的分布式系统。完整安装包括一个Coordinator节点和多个Worker节点。由客户端提交查询,从Presto命令行界面(英文全称Command-line Interface,缩写CLI)提交到Coordinator节点。Coordinator节点进行解析,分析并执行查询计划,然后分发处理队列到Worker节点。
热加载:热加载可以使得修改部分信息后,无须重启服务器,就可以加载更改的信息。
根据本申请一实施例提供了一种查询引擎中数据源的调整方法。可选地,在本申请实施例中,上述查询引擎中数据源的调整方法可以应用于如图1所示的由终端101和服务器102所构成的硬件环境中。如图1所示,服务器102通过网络与终端101进行连接,可用于为终端或终端上安装的客户端提供服务(如应用服务等),可在服务器上或独立于服务器设置数据库,用于为服务器102提供数据存储服务,上述网络包括但不限于:广域网、城域网或局域网,终端101并不限定于PC、手机、平板电脑等。
本申请实施例的查询引擎中数据源的调整方法可以由服务器102来执行,也可以由终端101来执行,还可以是由服务器102和终端101共同执行。其中,终端101执行本申请实施例的查询引擎中数据源的调整方法,也可以是由安装在其上的客户端来执行。
以服务器执行本申请实施例的查询引擎中数据源的调整方法为例,查询引擎(Presto)由一个Coordinator(调度)节点和多个Worker(执行)节点组成,调度节点和执行节点可以部署在一台或多台服务器上。在客户端提交相关请求后,从Presto命令行(CLI)提交到Coordinator节点,通过Coordinator节点进行解析,分析并生成执行计划,分发处理队列至Worker节点,由Worker节点执行上述执行计划。
图2是根据本申请实施例的一种可选的查询引擎中数据源的调整方法的流程示意图,如图2所示,该方法的流程可以包括以下步骤:
步骤201、从预先配置的功能接口中,获取对目标数据源的编辑请求,编辑请求中携带有编辑信息,目标数据源包括查询引擎中的数据源和/或新的数据源。
一些实施例中,目标对象在需要对目标数据源进行相应的编辑时,可以在预先配置的功能接口处进行相应的设置(如选择编辑方式和编辑内容),在设置完成后,服务器便可以从该预先配置的功能接口获取到该目标对象对目标数据源的编辑请求。
其中,目标对象的编辑请求,可以是对一个数据源也可以是对多个数据源的编辑请求。相应的,编辑请求可以有多种,可以但不限于为对目标数据源的增加请求、删除请求、修改请求和查询请求中的至少一个。
编辑请求中携带有编辑信息,从而使服务器能够根据编辑信息进行相应的编辑。例如,编辑信息包括添加一个新的catalog、删除不再使用的catalog、修改某个正在使用的catalog的配置信息和/或查看Presto中正在使用的catalog的配置信息等。
可以理解的是,上述的目标对象可以是该Presto的上层应用,也可以是该Presto的管理人员。
一个可选实施例中,从预先配置的功能接口,获取对目标数据源的编辑请求之前,还包括:
在确定查询引擎启动后,将查询引擎预设存储路径中的第二数据源配置信息,加载至查询引擎各执行节点中。
一些实施例中,在Presto启动后,Coordinator节点和Worker节点启动,各节点会根据Presto预设存储路径中的第二数据源配置信息,对第二catalog配置信息进行加载使之生效,从而在各执行节点均加载有第二catalog配置信息。
可选的,预设存储路径可以根据实际情况进行设置,例如预设存储路径指向查询引擎的数据库,或,预设存储路径指向查询引擎的各执行节点。
一些实施例中,预设存储路径可以指向Presto中的各执行节点,在每个执行节点中均设置有配置文件目录,对于每个catalog均在该配置文案目录下创建了相应的catalog配置文件,配置文件中写入mysql连接地址、端口号、用户名和密码等catalog的配置信息,各执行节点中的配置文件相同。在某一个执行节点的catalog配置文件发生变化后,需要由管理人员手动对其他执行节点进行修改或由该执行节点同步至其他执行节点。
另一些实施例中,预设存储路径也可以指向在Presto中增设的数据库,在数据库中创建配置信息表,各catalog的配置信息均统计在该配置信息表中。在各执行节点加载catalog配置信息时,均从该配置信息表中加载,保证了各节点加载的catalog配置信息的统一性,并且,在某一节点的catalog的配置信息发生变化后,无需进行同步或手动同步的操作,提高了更新catalog配置信息的效率。
其中,配置信息表的具体内容可以参照下表1。
字段名 | 字段说明 | 字段类型 |
id | 主键key | bigint |
catalog_name | catalog名称(唯一) | string |
connector_name | 连接名称 | string |
properties | 连接配置信息 | json |
create_time | 创建时间 | datetime |
update_time | 更新时间 | datetime |
表1
可以理解的是,表1中字段名、字段说明和字段类型以及其单元格下对应的内容,仅作为一种示例,并不表示本申请中的配置信息表仅限于上表1。
在一个可选实施例中,上述的预先配置的功能接口的过程具体可以包括:
获取数据源的资源接口类,数据源的资源接口类中包括对数据源配置信息的编辑逻辑;将数据源的资源接口类添加到查询引擎中。
一些实施例中,数据源的资源接口(CatalogResourceApi)类中封装了对数据源配置信息的编辑逻辑,通过将CatalogResourceApi类添加到Presto中,从而使Presto具有对外的API(Application Programming Interface,应用程序接口),通过该API目标对象可以通过接口访问的方式,对catalog配置信息进行编辑(增加、删除、修改和查询等)。
在一个可选实施例中,为避免对Presto中catalog配置信息的随意编辑,本申请中对目标对象设置编辑权限。
具体的,从预先配置的功能接口,获取对目标数据源的编辑请求之前,还包括:
获取目标对象对功能接口的访问请求,访问请求中携带目标对象的身份标识;根据身份标识确定目标对象具有编辑权限。
一些实施例中,在目标对象需要对Presto中catalog配置信息进行删除、修改、增加和查询时,可以通过Presto对外提供的API进行访问,Presto服务器在获取到访问请求后,会对访问请求中携带的目标对象的身份标识进行核验,将该身份标识与Presto存储的身份标识集合进行比较,若该身份标识存在该身份标识集合中,确定该目标对象具有编辑权限;若该身份标识不存在该身份标识集合中,确定该目标对象没有编辑权限,不执行后续步骤。
步骤202、根据编辑信息更新查询引擎的各执行节点中加载的第一数据源配置信息,第一数据源配置信息中包括目标数据源的配置信息。
一些实施例中,在获取到编辑请求后,由于编辑请求中携带有编辑信息,因此,将编辑信息更新至Presto的各执行节点中加载的第一数据源配置信息后,便可以无需重启查询引擎,也能够实现对执行节点中目标数据源的配置信息的更新,避免了出现服务不可用的情况。
在一个可选实施例中,在获取到编辑请求后,也可以根据编辑信息更新查询引擎的预设存储路径下存储的第二数据源配置信息。
通过对Presto的预设存储路径下存储的第二catalog配置信息的更新,可以在Presto服务重启时,按照编辑后的配置信息进行加载,可以避免目标对象对编辑信息的重复请求,减少了目标对象的操作。
可以理解的是,第一catalog配置信息和第二catalog配置信息的更新可以是同时更新,也可以按照先后顺序,例如先更新第一catalog配置信息或者先更新第二catalog配置信息。
可以理解的是,在Presto的各执行节点和目标地址均更新完catalog配置信息后,第一catalog配置信息与第二catalog配置信息相同。
在一个具体实施例中,启动前,将catalog配置信息存储到Presto各节点的配置文件中,服务启动时,加载catalog配置信息的方式为:服务启动时,集群各节点从配置文件中加载catalog配置信息。在Presto服务中添加CatalogResourceApi类,对外提供API,上层应用或者集群管理员可以通过接口访问的方式,对catalog配置信息进行增删改查。对catalog配置信息进行增删改时,更新数据库中的配置信息表的数据、同时统一更新集群各节点内存中加载的catalog配置信息,实现实时动态热加载。
本实施例中,能够解决重启服务才能加载catalog生效的问题,采用本申请的查询引擎中数据源的调整方法,优化服务启动时加载catalog配置信息的方式;增加功能接口,方便对catalog配置信息进行增删改查;优化catalog加载逻辑,实现动态热加载。
在另一个具体实施例中,参见图3,在Presto的管理界面或终端上,用户触发Presto服务后,Presto服务开始启动,Presto的执行节点中包括多个功能模块(即图3中的Presto服务器、服务器主模块、静态Catalog存储以及连接管理器),通过Presto中的Presto服务器与服务器主模块通信,Presto服务器向服务器主模块发送开始信号,以使服务器主模块初始化静态Catalog存储,并加载配置类以及加载预先配置的功能接口(如,CatalogResourceApi)类,Presto服务器向静态Catalog存储发送加载信号,以使静态Catalog存储加载Catalog信息,静态Catalog存储从数据库的配置信息表中加载Catalog配置信息,并向连接管理器发送创建Catalog的信号,由连接管理器创建Catalog。进一步的,目标对象在登录后通过对外接口API,对Catalog进行增删改设置,通过CatalogResourceApi更新数据库中的Catalog配置信息,以及更新连接管理器中的Catalog配置信息。
如此,在Presto服务启动前,将catalog配置信息存储到数据库的配置信息表中,方便操作。服务启动时加载catalog配置信息的方式为:服务启动时,集群各节点从数据库的配置信息表中加载catalog配置信息。在Presto服务中添加CatalogResourceApi类,对外提供API,上层应用或者集群管理员可以通过接口访问的方式,对catalog配置信息进行增删改查。对catalog配置信息进行增删改时,更新数据库中的配置信息表的数据、同时统一更新集群各节点内存中加载的catalog配置信息,实现实时动态热加载。
本实施例中,相较于现有技术中,在Presto的管理界面或终端上,用户触发Presto服务后,Presto服务开始启动,Presto的执行节点中包括多个功能模块(即图4中的Presto服务器、服务器主模块、静态Catalog存储以及连接管理器),通过Presto中的Presto服务器与服务器主模块通信,Presto服务器向服务器主模块发送开始信号,以使服务器主模块初始化静态Catalog存储,并加载配置类,Presto服务器向静态Catalog存储发送加载信号,以使静态Catalog存储从Catalog目录下的配置文件中加载Catalog信息,并向连接管理器发送创建Catalog的信号,由连接管理器创建Catalog。进一步的,现有技术中,在对Catalog配置信息进行增删改查时,目标对象需要修改配置文件中的Catalog配置信息,由于只修改了配置文件中的配置信息,而连接管理器中的配置信息未被修改,需要重新启动Presto,重新加载连接管理器中的配置信息,才能实现对配置信息的增删改查。
因此,相较于现有技术,本申请能够解决catalog配置文件增删改查不方便、以及重启服务才能加载catalog生效的问题,采用本申请的查询引擎中数据源的调整方法,优化catalog配置信息的存储方式,方便操作;优化服务启动时加载catalog配置信息的方式;增加功能接口,方便对catalog配置信息进行增删改查;优化catalog加载逻辑,实现动态热加载。
本申请的查询引擎中数据源的调整方法,通过优化catalog配置信息的存储方式,将catalog的配置信息统一存储到数据库的表中以后,操作配置信息更加简单便捷,采用关系型数据库中的配置信息表,能够更加方便的进行增删改查等操作。通过优化服务启动时加载catalog配置信息的方式,统一从同一张表中加载配置信息的方式,保证了配置信息的统一、提高了准确性、使加载变得更加高效。通过增加功能接口,方便对catalog配置信息进行增删改查,Presto服务中添加CatalogResourceApi类,对外提供API,上层应用或者集群管理员可以通过接口访问的方式,对catalog配置信息进行增删改查,简化了日常操作catalog的流程,统一的接口,统一的标准,流程变得更加简单高效。通过优化catalog加载逻辑,实现动态热加载,不需要重启Presto服务,就可以让catalog配置生效,这给Presto集群维护带来了质的变化,提高了服务可用性,给上层应用带来更好的使用体验。
基于同一构思,本申请实施例中提供了一种查询引擎中数据源的调整装置,该装置的具体实施可参见方法实施例部分的描述,重复之处不再赘述,如图5所示,该装置主要包括:
获取模块501,用于从预先配置的功能接口中,获取对目标数据源的编辑请求,编辑请求中携带有编辑信息,目标数据源包括查询引擎中的数据源和/或新的数据源;
更新模块502,用于根据编辑信息更新查询引擎的各执行节点中加载的第一数据源配置信息,第一数据源配置信息中包括目标数据源的配置信息。
基于同一构思,本申请实施例中还提供了一种电子设备,如图6所示,该电子设备主要包括:处理器601、存储器602和通信总线603,其中,处理器601和存储器602通过通信总线603完成相互间的通信。其中,存储器602中存储有可被处理器601执行的程序,处理器601执行存储器602中存储的程序,实现如下步骤:
从预先配置的功能接口中,获取对目标数据源的编辑请求,编辑请求中携带有编辑信息,目标数据源包括查询引擎中的数据源和/或新的数据源;
根据编辑信息更新查询引擎的各执行节点中加载的第一数据源配置信息,第一数据源配置信息中包括目标数据源的配置信息。
上述电子设备中提到的通信总线603可以时外设部件互连标准(PeripheralComponent Interconnect,简称PCI)总线或扩展工业标准结构(Extended IndustryStandard Architecture,简称EISA)总线等。该通信总线603可以分为地址总线、数据总线、控制总线等。为便于表示,图6中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
存储器602可以包括随机存取存储器(Random Access Memory,简称RAM),也可以包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。可选地,存储器还可以是至少一个位于远离前述处理器601的存储装置。
上述的处理器601可以是通用处理器,包括中央处理器(Central ProcessingUnit,简称CPU)、网络处理器(Network Processor,简称NP)等,还可以是数字信号处理器(Digital Signal Processing,简称DSP)、专用集成电路(Application SpecificIntegrated Circuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,当该计算机程序在计算机上运行时,使得计算机执行上述实施例中所描述的查询引擎中数据源的调整方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机指令时,全部或部分地产生按照本申请实施例所述的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,计算机指令从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、微波等)方式向另外一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如软盘、硬盘、磁带等)、光介质(例如DVD)或者半导体介质(例如固态硬盘)等。
需要说明的是,在本文中,诸如“”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式,使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种查询引擎中数据源的调整方法,其特征在于,包括:
从预先配置的功能接口中,获取对目标数据源的编辑请求,所述编辑请求中携带有编辑信息,所述目标数据源包括查询引擎中的数据源和/或新的数据源;
根据所述编辑信息更新查询引擎的各执行节点中加载的第一数据源配置信息,所述第一数据源配置信息中包括所述目标数据源的配置信息。
2.根据权利要求1所述的查询引擎中数据源的调整方法,其特征在于,所述从预先配置的功能接口,获取对目标数据源的编辑请求之后,还包括:
根据所述编辑信息更新所述查询引擎的预设存储路径下存储的第二数据源配置信息,所述第二数据源配置信息中包括所述目标数据源的配置信息。
3.根据权利要求2所述的查询引擎中数据源的调整方法,其特征在于,所述从预先配置的功能接口,获取对目标数据源的编辑请求之前,还包括:
在确定查询引擎启动后,将所述查询引擎预设存储路径中的所述第二数据源配置信息,加载至所述查询引擎各执行节点中。
4.根据权利要求2或3所述的查询引擎中数据源的调整方法,其特征在于,所述预设存储路径指向所述查询引擎的数据库,所述第二数据源配置信息存储在所述数据库的配置信息表中,或所述预设存储路径指向所述查询引擎的各执行节点,所述第二数据源配置信息存储在各所述执行节点的配置文件中。
5.根据权利要求1所述的查询引擎中数据源的调整方法,其特征在于,预先配置所述功能接口的过程,包括:
获取数据源的资源接口类,所述数据源的资源接口类中包括对数据源配置信息的编辑逻辑;
将所述数据源的资源接口类添加到所述查询引擎中。
6.根据权利要求1所述的查询引擎中数据源的调整方法,其特征在于,所述编辑请求包括增加请求、删除请求、修改请求和查询请求中的至少一个。
7.根据权利要求1所述的查询引擎中数据源的调整方法,其特征在于,所述从预先配置的功能接口,获取对目标数据源的编辑请求之前,还包括:
获取目标对象对所述功能接口的访问请求,所述访问请求中携带所述目标对象的身份标识;
根据所述身份标识确定所述目标对象具有编辑权限。
8.一种查询引擎中数据源的调整装置,其特征在于,包括:
获取模块,用于从预先配置的功能接口中,获取对目标数据源的编辑请求,所述编辑请求中携带有编辑信息,所述目标数据源为查询引擎中任一数据源或新的数据源;
更新模块,用于根据所述编辑信息更新查询引擎的各执行节点中加载的第一数据源配置信息,所述第一数据源配置信息中包括所述目标数据源的配置信息。
9.一种电子设备,其特征在于,包括:处理器、通信接口、存储器和通信总线,其中,处理器、通信接口和存储器通过通信总线完成相互间的通信;
所述存储器,用于存储计算机程序;
所述处理器,用于执行所述存储器中所存储的程序,实现权利要求1-7任一项所述的查询引擎中数据源的调整方法。
10.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-7任一项所述的查询引擎中数据源的调整方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210082252.8A CN116521703A (zh) | 2022-01-24 | 2022-01-24 | 查询引擎中数据源的调整方法及相关设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210082252.8A CN116521703A (zh) | 2022-01-24 | 2022-01-24 | 查询引擎中数据源的调整方法及相关设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116521703A true CN116521703A (zh) | 2023-08-01 |
Family
ID=87398113
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210082252.8A Pending CN116521703A (zh) | 2022-01-24 | 2022-01-24 | 查询引擎中数据源的调整方法及相关设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116521703A (zh) |
-
2022
- 2022-01-24 CN CN202210082252.8A patent/CN116521703A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9189521B2 (en) | Statistics management for database querying | |
US10609140B2 (en) | Dynamic resource management systems and methods | |
US10831776B2 (en) | On-demand file synchronization | |
US8185546B2 (en) | Enhanced control to users to populate a cache in a database system | |
CN111309785B (zh) | 基于Spring框架的数据库访问方法、装置、计算机设备和介质 | |
US10534695B2 (en) | Systems and methods for initializing test environments | |
US11228646B2 (en) | Systems and methods for generating, deploying, and managing data infrastructure stacks | |
US9830385B2 (en) | Methods and apparatus for partitioning data | |
US9355270B2 (en) | Security configuration systems and methods for portal users in a multi-tenant database environment | |
EP2772879A1 (en) | Correlating data from multiple business processes to a business process scenario | |
US20160179840A1 (en) | Cloud bursting a database | |
CN113094387A (zh) | 一种数据查询方法、装置、电子设备及机器可读存储介质 | |
CN113535754A (zh) | 一种数据访问方法、装置及系统 | |
US20190058632A1 (en) | System and method for supporting a situational configuration in an application server environment | |
CN111782652A (zh) | 数据调用方法、装置、计算机设备和存储介质 | |
US9665732B2 (en) | Secure Download from internet marketplace | |
US8131884B1 (en) | Reusing system configuration information and metadata for related operations | |
US8694559B2 (en) | Using database content for multiple business data systems connected to one database | |
CN116521703A (zh) | 查询引擎中数据源的调整方法及相关设备 | |
US10831731B2 (en) | Method for storing and accessing data into an indexed key/value pair for offline access | |
US20220171772A1 (en) | Structured query language interface for tabular abstraction of structured and unstructured data | |
US20150172131A1 (en) | Method and system for verifying quality of server | |
CN113609168B (zh) | 数据导出方法、装置、终端以及可读存储介质 | |
US11632375B2 (en) | Autonomous data source discovery | |
CN114153438A (zh) | 一种api自动生成系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |