CN116361120A - 一种数据库异构资源管理与调度方法、装置、设备及介质 - Google Patents
一种数据库异构资源管理与调度方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN116361120A CN116361120A CN202310630614.7A CN202310630614A CN116361120A CN 116361120 A CN116361120 A CN 116361120A CN 202310630614 A CN202310630614 A CN 202310630614A CN 116361120 A CN116361120 A CN 116361120A
- Authority
- CN
- China
- Prior art keywords
- data
- operator
- database
- intensive task
- computation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000012544 monitoring process Methods 0.000 claims abstract description 59
- 230000011218 segmentation Effects 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 15
- 238000005457 optimization Methods 0.000 claims description 13
- 238000000354 decomposition reaction Methods 0.000 claims description 7
- 238000007726 management method Methods 0.000 description 25
- 230000008569 process Effects 0.000 description 13
- 230000005540 biological transmission Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 230000001133 acceleration Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000013144 data compression Methods 0.000 description 3
- 238000013523 data management Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种数据库异构资源管理与调度方法、装置、设备及介质，涉及分布式数据库领域，包括：接收当前分布式数据库网络中各数据库节点上报的通过对自身异构资源进行实时监测得到的监测信息；对监测信息进行解析，以基于解析结果执行算子部署操作；对接收到的任一数据库节点发送的计算密集型任务请求进行分析，根据分析得到的若干个目标算子对当前所述分布式数据库网络中的已部署算子进行匹配；基于匹配结果对计算密集型任务请求中的待运算数据进行切分以及分发操作，以便接收到切分后数据的各数据库节点在执行算子运算操作后，通过预设AI云服务器返回运算后数据。本申请能够有效实现异构资源的综合管理和细粒度调用，提高资源利用效率。
Description
技术领域
本发明涉及分布式数据库领域，特别涉及一种数据库异构资源管理与调度方法、装置、设备及介质。
背景技术
分布式数据库为了实现分布式数据管理，将数据在多个数据中心的多台服务器节点上进行数据分布，并在各种事务处理过程中，在各节点之间进行数据的异地调度和落盘存储。分布式数据库集群的每个节点都可视为完整数据库完成用户访问、数据存储，并可视为一个整体综合整个集群的算力完成一些计算密集型任务。与此同时，数据库搭载的CPU(Central Processing Unit，中央处理器)处理计算密集型任务时会对进程、内存造成重大负担，影响服务器其他进程的任务调度与处理速度，因此使用FPGA（Field ProgrammableGate Array，现场可编程门阵列）、GPU（graphics processing unit，微处理器）作为协处理器分担数据库计算密集型任务成为新兴技术方向。然而，分布式数据库的各个数据库节点因所在地理位置，经济发展等因素，对于资源的算力的需求存在差异，当前现有技术虽已可实现分布式数据库主机资源和存储的负载均衡，但对数据库节点的异构资源没有整体化的量化和管理，使得数据库性能较差。
发明内容
有鉴于此，本发明的目的在于提供一种数据库异构资源管理与调度方法、装置、设备及介质，能够有效实现分布式数据库中个数据库节点的异构资源的综合管理和细粒度调用，提高资源利用效率以及数据库性能。其具体方案如下：
第一方面，本申请提供了一种数据库异构资源管理与调度方法，应用于当前分布式数据库网络的云端应用层中的预设AI云服务器，包括：
接收当前所述分布式数据库网络中各数据库节点上报的通过对自身的异构资源进行实时监测得到的监测信息；
对所述监测信息进行解析得到包含各所述数据库节点的异构资源需求等级以及算子常用等级的解析结果，以基于所述解析结果执行相应的算子部署操作；
当接收到任一所述数据库节点发送的计算密集型任务请求时，对所述计算密集型任务请求进行分析，并根据分析后得到的若干个目标算子对当前所述分布式数据库网络中的已部署算子进行匹配；
基于得到的匹配结果对所述计算密集型任务请求中的待运算数据进行数据切分以及数据分发操作，以便接收到相应的切分后数据的各所述数据库节点在执行相应的算子运算操作后，通过所述预设AI云服务器返回相应的运算后数据。
可选的，所述基于得到的匹配结果对所述计算密集型任务请求中的待运算数据进行数据切分以及数据分发操作，包括：
若匹配结果中表明所述若干个目标算子中存在属于所述已部署算子的第一算子，则通过当前所述分布式数据库网络中的任务管理层基于所述匹配结果对所述计算密集型任务请求中与所述第一算子对应的第一待运算数据进行相应的数据切分以及数据分发操作。
可选的，所述通过当前所述分布式数据库网络中的任务管理层基于所述匹配结果对所述计算密集型任务请求中与所述第一算子对应的第一待运算数据进行相应的数据切分以及数据分发操作，包括：
通过所述任务管理层基于所述匹配结果确定当前所述分布式数据库网络中已部署所述第一算子的目标数据库节点；
基于各所述目标数据库节点中预先部署的算子类型对所述计算密集型任务请求中与所述第一算子对应的第一待运算数据进行切分，并将得到的切分数据分发至相应的所述目标数据库节点上。
可选的，所述基于得到的匹配结果对所述计算密集型任务请求中的待运算数据进行数据切分以及数据分发操作，包括：
若匹配结果中表明所述若干个目标算子中存在不属于所述已部署算子的第二算子，则将所述第二算子部署于发送所述计算密集型任务请求的所述数据库节点上或当前所述分布式数据库网络中基于所述解析结果确定异构资源空闲的其他所述数据库节点上，并对所述计算密集型任务请求中与所述第二算子对应的第二待运算数据进行相应的数据切分以及数据分发操作。
可选的，所述对所述计算密集型任务请求进行分析，包括：
通过基于当前所述分布式数据库网络中的指令解析层对所述计算密集型任务请求分别执行相应的指令解析、指令分解以及算子优化操作来分析所述计算密集型任务请求。
可选的，所述通过基于当前所述分布式数据库网络中的指令解析层对所述计算密集型任务请求分别执行相应的指令解析、指令分解以及算子优化操作来分析所述计算密集型任务请求，包括：
通过解析所述计算密集型任务请求对所述计算密集型任务请求进行翻译，得到相应的请求代码段；
基于所述请求代码段进行分解，得到若干个目标算子；
利用预设优化算法对各所述目标算子进行优化，得到优化后的各所述目标算子，以便基于优化后的各所述目标算子对当前所述分布式数据库网络中的已部署算子进行匹配。
可选的，所述接收当前所述分布式数据库网络中各数据库节点上报的通过对自身的异构资源进行实时监测得到的监测信息，包括：
接收当前所述分布式数据库网络中各数据库节点上报的通过对自身异构资源的部署算子记录和资源使用情况进行实时监测得到的监测信息。
第二方面，本申请提供了一种数据库异构资源管理与调度装置，应用于当前分布式数据库网络的云端应用层中的预设AI云服务器，包括：
监测信息接收模块，用于接收当前所述分布式数据库网络中各数据库节点上报的通过对自身的异构资源进行实时监测得到的监测信息；
算子部署执行模块，用于对所述监测信息进行解析得到包含各所述数据库节点的异构资源需求等级以及算子常用等级的解析结果，以基于所述解析结果执行相应的算子部署操作；
算子匹配模块，用于当接收到任一所述数据库节点发送的计算密集型任务请求时，对所述计算密集型任务请求进行分析，并根据分析后得到的若干个目标算子对当前所述分布式数据库网络中的已部署算子进行匹配；
数据分发模块，用于基于得到的匹配结果对所述计算密集型任务请求中的待运算数据进行数据切分以及数据分发操作，以便接收到相应的切分后数据的各所述数据库节点在执行相应的算子运算操作后，通过所述预设AI云服务器返回相应的运算后数据。
第三方面，本申请提供了一种电子设备，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现前述的数据库异构资源管理与调度方法的步骤。
第四方面，本申请提供了一种计算机可读存储介质，用于保存计算机程序，所述计算机程序被处理器执行时实现前述的数据库异构资源管理与调度方法的步骤。
可见，本申请中，通过当前分布式数据库网络的云端应用层中的预设AI云服务器首先接收当前所述分布式数据库网络中各数据库节点上报的通过对自身的异构资源进行实时监测得到的监测信息。然后对所述监测信息进行解析得到包含各所述数据库节点的异构资源需求等级以及算子常用等级的解析结果，以基于所述解析结果执行相应的算子部署操作。然后当接收到任一所述数据库节点发送的计算密集型任务请求时，对所述计算密集型任务请求进行分析，并根据分析后得到的若干个目标算子对当前所述分布式数据库网络中的已部署算子进行匹配。然后基于得到的匹配结果对所述计算密集型任务请求中的待运算数据进行数据切分以及数据分发操作，以便接收到相应的切分后数据的各所述数据库节点在执行相应的算子运算操作后，通过所述预设AI云服务器返回相应的运算后数据。本申请通过当前分布式数据库网络的云端应用层中的预设AI云服务器对各数据库节点的异构资源进行实时监测，并基于检测结果执行相应的算子部署操作，并在接收到任一所述数据库节点发送的计算密集型任务请求时进行相应的调度，这样一来，能够有效实现分布式数据库中个数据库节点的异构资源的综合管理和细粒度调用，提高资源利用效率以及数据库性能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请提供的一种数据库异构资源管理与调度方法流程图；
图2为本申请提供的一种分布式数据库异构资源调度流程示意图；
图3为本申请提供的一种分布式数据库整体架构示意图；
图4为本申请提供的一种具体的数据库异构资源管理与调度方法流程图；
图5为本申请提供的一种数据库异构资源管理与调度装置结构示意图；
图6为本申请提供的一种电子设备结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
分布式数据库为了实现分布式数据管理，将数据在多个数据中心的多台服务器节点上进行数据分布，并在各种事务处理过程中，在各节点之间进行数据的异地调度和落盘存储。然而，分布式数据库的各个数据库节点因所在地理位置，经济发展等因素，对于资源的算力的需求存在差异，当前现有技术虽已可实现分布式数据库主机资源和存储的负载均衡，但对数据库节点的异构资源没有整体化的量化和管理，使得数据库性能较差。为此，本申请提供了一种数据库异构资源管理与调度方案，能够有效实现分布式数据库中个数据库节点的异构资源的综合管理和细粒度调用，提高数据库性能。
参见图1所示，本发明实施例公开了一种数据库异构资源管理与调度方法，应用于当前分布式数据库网络的云端应用层中的预设AI云服务器，包括：
步骤S11、接收当前所述分布式数据库网络中各数据库节点上报的通过对自身的异构资源进行实时监测得到的监测信息。
具体的，参见图2所示，本实施例中，接收到的监测信息为当前所述分布式数据库网络中各数据库节点中的数据加速卡通过对自身异构资源的部署算子记录和资源使用情况进行实时监测得到相应的信息，所述监测信息的上报路径具体为从所述数据加速卡到自身节点的CPU（也即图2中的步骤①），再由所述CPU到所述预设AI云服务器（也即图2中的步骤②）。
本实施例中，需要理解的是，结合图3所示，当前分布式数据库网络主要由云端应用层，任务管理层，分布集群层，指令解析层和运算加速层组成。其中，所述云端应用层中包括所述预设AI云服务器，所述指令解析层由指令解析、指令分解和算子优化三部分组成，所述任务管理层由任务调度、数据分片、数据加密、数据压缩和数据传输五部分组成，所述运算加速层由数据加载、运算加速和状态监测三部分组成，所述分布集群层包括当前所述分布式数据库网络中的所有数据库节点，均为CPU+X（包括但不限于FPGA、GPU、DPU）架构。进一步的，所述DPU（Data Processing Unit）是一种数据处理器，所述CPU负责数据库的整体任务调度、低密集型计算任务、逻辑管理进程等控制性任务，计算密集型的任务则交由协处理器X完成，以充分利用所述CPU和所述X的优点，提高数据库性能。
需要理解的是，所述任务管理层通过所述任务调度对算子运行、数据加密、压缩与传输等进程进行综合性调度管理，保证指令执行和数据处理过程的有序进行；通过所述数据切片将待运算的数据根据各节点预部署的算子类型进行切片；通过所述数据加密、所述数据压缩以及所述数据传输对参与算子运算的数据进行可选的数据处理与数据传输，所述数据传输保证数据在CPU和数据加速卡之间的数据传输，而所述数据加密与所述数据压缩为可选功能，用户可根据需求对数据的传输过程进行压缩和加密，以保证数据的安全性和进一步的传输速度。
步骤S12、对所述监测信息进行解析得到包含各所述数据库节点的异构资源需求等级以及算子常用等级的解析结果，以基于所述解析结果执行相应的算子部署操作。
本实施例中，通过AI神经网络分析与各所述数据库节点对应的异构资源需求等级信息以及算子常用等级信息，得到相应的解析结果（也即图2中的步骤③）。然后根据所述解析结果，在需求等级较低的所述数据库节点上提前部署高热度的运算算子（也即图2中的步骤④），这样一来，通过在空闲节点的数据加速卡上预先部署高热度运算算子，并将相关数据提前加载到该节点上，使得在接到运算指令后即可开始运算，极大节省了分布式数据库的通信开销和加速卡的重构开销。
步骤S13、当接收到任一所述数据库节点发送的计算密集型任务请求时，对所述计算密集型任务请求进行分析，并根据分析后得到的若干个目标算子对当前所述分布式数据库网络中的已部署算子进行匹配。
具体的，本申请中，当接收到任一所述数据库节点发送的计算密集型任务请求时（也即图2中的步骤⑤），需要对请求进行分析。因此所述对所述计算密集型任务请求进行分析，具体可以包括：通过基于当前所述分布式数据库网络中的指令解析层对所述计算密集型任务请求分别执行相应的指令解析、指令分解以及算子优化操作来分析所述计算密集型任务请求（也即图2中的步骤⑥）。也即，通过执行所述指令解析操作将所述计算密集型任务请求翻译为CPU可理解的底层代码，得到相应的请求代码段，然后通过执行所述指令分解操作分解所述请求代码段得到相应的若干个目标算子，所述若干个算子可以协同完成所述计算密集型任务请求的任务功能，然后通过预设优化算法对各所述目标算子进行优化，以最大化的提高算子间的运行效率和加速效率。需要理解的是，所述预设优化算法包括但不限于非相干并行化算法。
步骤S14、基于得到的匹配结果对所述计算密集型任务请求中的待运算数据进行数据切分以及数据分发操作，以便接收到相应的切分后数据的各所述数据库节点在执行相应的算子运算操作后，通过所述预设AI云服务器返回相应的运算后数据。
具体的，本实施例中，所述基于得到的匹配结果对所述计算密集型任务请求中的待运算数据进行数据切分以及数据分发操作，具体可以包括：若匹配结果中表明所述若干个目标算子中存在属于所述已部署算子的第一算子，则通过当前所述分布式数据库网络中的任务管理层基于所述匹配结果对所述计算密集型任务请求中与所述第一算子对应的第一待运算数据进行相应的数据切分以及数据分发操作（也即图2中的步骤⑦）。进一步的，所述通过当前所述分布式数据库网络中的任务管理层基于所述匹配结果对所述计算密集型任务请求中与所述第一算子对应的第一待运算数据进行相应的数据切分以及数据分发操作，具体可以包括：通过所述任务管理层基于所述匹配结果确定当前所述分布式数据库网络中已部署所述第一算子的目标数据库节点；基于各所述目标数据库节点中预先部署的算子类型对所述计算密集型任务请求中与所述第一算子对应的第一待运算数据进行切分，并将得到的切分数据分发至相应的所述目标数据库节点上。
进一步需要理解的是，所述基于得到的匹配结果对所述计算密集型任务请求中的待运算数据进行数据切分以及数据分发操作，具体可以包括：若匹配结果中表明所述若干个目标算子中存在不属于所述已部署算子的第二算子，则将所述第二算子部署于发送所述计算密集型任务请求的所述数据库节点上或当前所述分布式数据库网络中基于所述解析结果确定异构资源空闲的其他所述数据库节点上，并对所述计算密集型任务请求中与所述第二算子对应的第二待运算数据进行相应的数据切分以及数据分发操作。
本实施例中，结合图2所示，对于接收相应的切分后数据的各所述数据库节点，需要将所述切分后数据从自身的主机内存发送到所述数据加速卡上，以便所述数据加速卡开始执行相应的算子运算操作（也即图2中的步骤⑧）。各所述数据库节点在完成所述算子运算操作后，将得到的相应的运算后数据从所述数据加速卡上读到所述主机内存中，以将所述运算后数据上传至所述预设AI云服务器中（也即图2中的步骤⑨），然后所述预设AI云服务器将所有的所述运算后数据返回至发送所述计算密集型任务请求的所述数据库节点（也即图2中的步骤⑩）。
由此可见，本申请实施例中，通过当前分布式数据库网络的云端应用层中的预设AI云服务器首先接收当前所述分布式数据库网络中各数据库节点上报的通过对自身的异构资源进行实时监测得到的监测信息。然后对所述监测信息进行解析得到包含各所述数据库节点的异构资源需求等级以及算子常用等级的解析结果，以基于所述解析结果执行相应的算子部署操作。然后当接收到任一所述数据库节点发送的计算密集型任务请求时，对所述计算密集型任务请求进行分析，并根据分析后得到的若干个目标算子对当前所述分布式数据库网络中的已部署算子进行匹配。然后基于得到的匹配结果对所述计算密集型任务请求中的待运算数据进行数据切分以及数据分发操作，以便接收到相应的切分后数据的各所述数据库节点在执行相应的算子运算操作后，通过所述预设AI云服务器返回相应的运算后数据。本申请通过当前分布式数据库网络的云端应用层中的预设AI云服务器对各数据库节点的异构资源进行实时监测，并基于检测结果执行相应的算子部署操作，并在接收到任一所述数据库节点发送的计算密集型任务请求时进行相应的调度，这样一来，能够有效实现分布式数据库中个数据库节点的异构资源的综合管理和细粒度调用，提高资源利用效率以及数据库性能。
参见图4所示，本发明实施例公开了一种数据库异构资源管理与调度方法，应用于当前分布式数据库网络的云端应用层中的预设AI云服务器，包括：
步骤S21、接收当前所述分布式数据库网络中各数据库节点上报的通过对自身的异构资源进行实时监测得到的监测信息。
步骤S22、对所述监测信息进行解析得到包含各所述数据库节点的异构资源需求等级以及算子常用等级的解析结果，以基于所述解析结果执行相应的算子部署操作。
步骤S23、当接收到任一所述数据库节点发送的计算密集型任务请求时，通过基于当前所述分布式数据库网络中的指令解析层解析所述计算密集型任务请求对所述计算密集型任务请求进行翻译，得到相应的请求代码段。
步骤S24、基于所述请求代码段进行分解，得到若干个目标算子。
步骤S25、利用预设优化算法对各所述目标算子进行优化，得到优化后的各所述目标算子，以便基于优化后的各所述目标算子对当前所述分布式数据库网络中的已部署算子进行匹配。
步骤S26、基于得到的匹配结果对所述计算密集型任务请求中的待运算数据进行数据切分以及数据分发操作，以便接收到相应的切分后数据的各所述数据库节点在执行相应的算子运算操作后，通过所述预设AI云服务器返回相应的运算后数据。
其中，关于上述步骤S21至步骤S26的具体过程可以参考前述实施例公开的相应内容，在此不再进行赘述。
由此可见，本申请实施例中，通过当前分布式数据库网络的云端应用层中的预设AI云服务器首先接收当前所述分布式数据库网络中各数据库节点上报的通过对自身的异构资源进行实时监测得到的监测信息。然后对所述监测信息进行解析得到包含各所述数据库节点的异构资源需求等级以及算子常用等级的解析结果，以基于所述解析结果执行相应的算子部署操作。然后当接收到任一所述数据库节点发送的计算密集型任务请求时，当通过基于当前所述分布式数据库网络中的指令解析层解析所述计算密集型任务请求对所述计算密集型任务请求进行翻译，得到相应的请求代码段。并基于所述请求代码段进行分解，得到若干个目标算子。然后利用预设优化算法对各所述目标算子进行优化，得到优化后的各所述目标算子，以便基于优化后的各所述目标算子对当前所述分布式数据库网络中的已部署算子进行匹配。然后基于得到的匹配结果对所述计算密集型任务请求中的待运算数据进行数据切分以及数据分发操作，以便接收到相应的切分后数据的各所述数据库节点在执行相应的算子运算操作后，通过所述预设AI云服务器返回相应的运算后数据。本申请通过当前分布式数据库网络的云端应用层中的预设AI云服务器对各数据库节点的异构资源进行实时监测，并基于检测结果执行相应的算子部署操作，并在接收到任一所述数据库节点发送的计算密集型任务请求时进行相应的调度，这样一来，能够有效实现分布式数据库中个数据库节点的异构资源的综合管理和细粒度调用，提高资源利用效率以及数据库性能。
参见图5所示，本申请实施例还相应公开了一种数据库异构资源管理与调度装置，应用于当前分布式数据库网络的云端应用层中的预设AI云服务器，包括：
监测信息接收模块11，用于接收当前所述分布式数据库网络中各数据库节点上报的通过对自身的异构资源进行实时监测得到的监测信息；
算子部署执行模块12，用于对所述监测信息进行解析得到包含各所述数据库节点的异构资源需求等级以及算子常用等级的解析结果，以基于所述解析结果执行相应的算子部署操作；
算子匹配模块13，用于当接收到任一所述数据库节点发送的计算密集型任务请求时，对所述计算密集型任务请求进行分析，并根据分析后得到的若干个目标算子对当前所述分布式数据库网络中的已部署算子进行匹配；
数据分发模块14，用于基于得到的匹配结果对所述计算密集型任务请求中的待运算数据进行数据切分以及数据分发操作，以便接收到相应的切分后数据的各所述数据库节点在执行相应的算子运算操作后，通过所述预设AI云服务器返回相应的运算后数据。
其中，关于上述各个模块更加具体的工作过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
由此可见，本申请中，通过当前分布式数据库网络的云端应用层中的预设AI云服务器首先接收当前所述分布式数据库网络中各数据库节点上报的通过对自身的异构资源进行实时监测得到的监测信息。然后对所述监测信息进行解析得到包含各所述数据库节点的异构资源需求等级以及算子常用等级的解析结果，以基于所述解析结果执行相应的算子部署操作。然后当接收到任一所述数据库节点发送的计算密集型任务请求时，对所述计算密集型任务请求进行分析，并根据分析后得到的若干个目标算子对当前所述分布式数据库网络中的已部署算子进行匹配。然后基于得到的匹配结果对所述计算密集型任务请求中的待运算数据进行数据切分以及数据分发操作，以便接收到相应的切分后数据的各所述数据库节点在执行相应的算子运算操作后，通过所述预设AI云服务器返回相应的运算后数据。本申请通过当前分布式数据库网络的云端应用层中的预设AI云服务器对各数据库节点的异构资源进行实时监测，并基于检测结果执行相应的算子部署操作，并在接收到任一所述数据库节点发送的计算密集型任务请求时进行相应的调度，这样一来，能够有效实现分布式数据库中个数据库节点的异构资源的综合管理和细粒度调用，提高资源利用效率以及数据库性能。
在一些具体实施例中，所述数据分发模块14，具体可以包括：
第一数据分发子模块，用于若匹配结果中表明所述若干个目标算子中存在属于所述已部署算子的第一算子，则通过当前所述分布式数据库网络中的任务管理层基于所述匹配结果对所述计算密集型任务请求中与所述第一算子对应的第一待运算数据进行相应的数据切分以及数据分发操作。
在一些具体实施例中，所述第一数据分发子模块，具体可以包括：
目标阶段确定单元，用于通过所述任务管理层基于所述匹配结果确定当前所述分布式数据库网络中已部署所述第一算子的目标数据库节点；
数据分发单元，用于基于各所述目标数据库节点中预先部署的算子类型对所述计算密集型任务请求中与所述第一算子对应的第一待运算数据进行切分，并将得到的切分数据分发至相应的所述目标数据库节点上。
在一些具体实施例中，所述数据分发模块14，具体可以包括：
第二数据分发子模块，用于若匹配结果中表明所述若干个目标算子中存在不属于所述已部署算子的第二算子，则将所述第二算子部署于发送所述计算密集型任务请求的所述数据库节点上或当前所述分布式数据库网络中基于所述解析结果确定异构资源空闲的其他所述数据库节点上，并对所述计算密集型任务请求中与所述第二算子对应的第二待运算数据进行相应的数据切分以及数据分发操作。
在一些具体实施例中，所述算子匹配模块13，具体可以包括：
请求分析子模块，用于通过基于当前所述分布式数据库网络中的指令解析层对所述计算密集型任务请求分别执行相应的指令解析、指令分解以及算子优化操作来分析所述计算密集型任务请求。
在一些具体实施例中，所述请求分析子模块，具体可以包括：
代码段确定单元，用于通过解析所述计算密集型任务请求对所述计算密集型任务请求进行翻译，得到相应的请求代码段；
目标算子确定单元，用于基于所述请求代码段进行分解，得到若干个目标算子；
算子优化单元，用于利用预设优化算法对各所述目标算子进行优化，得到优化后的各所述目标算子，以便基于优化后的各所述目标算子对当前所述分布式数据库网络中的已部署算子进行匹配。
在一些具体实施例中，所述监测信息接收模块，具体可以包括：
信息接收单元，用于接收当前所述分布式数据库网络中各数据库节点上报的通过对自身异构资源的部署算子记录和资源使用情况进行实时监测得到的监测信息。
进一步的，本申请实施例还公开了一种电子设备，图6是根据一示例性实施例示出的电子设备20结构图，图中的内容不能认为是对本申请的使用范围的任何限制。
图6为本申请实施例提供的一种电子设备20的结构示意图。该电子设备 20，具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的数据库异构资源管理与调度方法中的相关步骤。另外，本实施例中的电子设备20具体可以为电子计算机。
本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源可以包括操作系统221、计算机程序222等，存储方式可以是短暂存储或者永久存储。
其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222，其可以是Windows Server、Netware、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的数据库异构资源管理与调度方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。
进一步的，本申请还公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的数据库异构资源管理与调度方法。关于该方法的具体步骤可以参考前述实施例中公开的相应内容，在此不再进行赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本申请所提供的技术方案进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种数据库异构资源管理与调度方法，其特征在于，应用于当前分布式数据库网络的云端应用层中的预设AI云服务器，包括：
接收当前所述分布式数据库网络中各数据库节点上报的通过对自身的异构资源进行实时监测得到的监测信息；
对所述监测信息进行解析得到包含各所述数据库节点的异构资源需求等级以及算子常用等级的解析结果，以基于所述解析结果执行相应的算子部署操作；
当接收到任一所述数据库节点发送的计算密集型任务请求时，对所述计算密集型任务请求进行分析，并根据分析后得到的若干个目标算子对当前所述分布式数据库网络中的已部署算子进行匹配；
基于得到的匹配结果对所述计算密集型任务请求中的待运算数据进行数据切分以及数据分发操作，以便接收到相应的切分后数据的各所述数据库节点在执行相应的算子运算操作后，通过所述预设AI云服务器返回相应的运算后数据。
2.根据权利要求1所述的数据库异构资源管理与调度方法，其特征在于，所述基于得到的匹配结果对所述计算密集型任务请求中的待运算数据进行数据切分以及数据分发操作，包括：
若匹配结果中表明所述若干个目标算子中存在属于所述已部署算子的第一算子，则通过当前所述分布式数据库网络中的任务管理层基于所述匹配结果对所述计算密集型任务请求中与所述第一算子对应的第一待运算数据进行相应的数据切分以及数据分发操作。
3.根据权利要求2所述的数据库异构资源管理与调度方法，其特征在于，所述通过当前所述分布式数据库网络中的任务管理层基于所述匹配结果对所述计算密集型任务请求中与所述第一算子对应的第一待运算数据进行相应的数据切分以及数据分发操作，包括：
通过所述任务管理层基于所述匹配结果确定当前所述分布式数据库网络中已部署所述第一算子的目标数据库节点；
基于各所述目标数据库节点中预先部署的算子类型对所述计算密集型任务请求中与所述第一算子对应的第一待运算数据进行切分，并将得到的切分数据分发至相应的所述目标数据库节点上。
4.根据权利要求1所述的数据库异构资源管理与调度方法，其特征在于，所述基于得到的匹配结果对所述计算密集型任务请求中的待运算数据进行数据切分以及数据分发操作，包括：
若匹配结果中表明所述若干个目标算子中存在不属于所述已部署算子的第二算子，则将所述第二算子部署于发送所述计算密集型任务请求的所述数据库节点上或当前所述分布式数据库网络中基于所述解析结果确定异构资源空闲的其他所述数据库节点上，并对所述计算密集型任务请求中与所述第二算子对应的第二待运算数据进行相应的数据切分以及数据分发操作。
5.根据权利要求1所述的数据库异构资源管理与调度方法，其特征在于，所述对所述计算密集型任务请求进行分析，包括：
通过基于当前所述分布式数据库网络中的指令解析层对所述计算密集型任务请求分别执行相应的指令解析、指令分解以及算子优化操作来分析所述计算密集型任务请求。
6.根据权利要求5所述的数据库异构资源管理与调度方法，其特征在于，所述通过基于当前所述分布式数据库网络中的指令解析层对所述计算密集型任务请求分别执行相应的指令解析、指令分解以及算子优化操作来分析所述计算密集型任务请求，包括：
通过解析所述计算密集型任务请求对所述计算密集型任务请求进行翻译，得到相应的请求代码段；
基于所述请求代码段进行分解，得到若干个目标算子；
利用预设优化算法对各所述目标算子进行优化，得到优化后的各所述目标算子，以便基于优化后的各所述目标算子对当前所述分布式数据库网络中的已部署算子进行匹配。
7.根据权利要求1至6任一项所述的数据库异构资源管理与调度方法，其特征在于，所述接收当前所述分布式数据库网络中各数据库节点上报的通过对自身的异构资源进行实时监测得到的监测信息，包括：
接收当前所述分布式数据库网络中各数据库节点上报的通过对自身异构资源的部署算子记录和资源使用情况进行实时监测得到的监测信息。
8.一种数据库异构资源管理与调度装置，其特征在于，应用于当前分布式数据库网络的云端应用层中的预设AI云服务器，包括：
监测信息接收模块，用于接收当前所述分布式数据库网络中各数据库节点上报的通过对自身的异构资源进行实时监测得到的监测信息；
算子部署执行模块，用于对所述监测信息进行解析得到包含各所述数据库节点的异构资源需求等级以及算子常用等级的解析结果，以基于所述解析结果执行相应的算子部署操作；
算子匹配模块，用于当接收到任一所述数据库节点发送的计算密集型任务请求时，对所述计算密集型任务请求进行分析，并根据分析后得到的若干个目标算子对当前所述分布式数据库网络中的已部署算子进行匹配；
数据分发模块，用于基于得到的匹配结果对所述计算密集型任务请求中的待运算数据进行数据切分以及数据分发操作，以便接收到相应的切分后数据的各所述数据库节点在执行相应的算子运算操作后，通过所述预设AI云服务器返回相应的运算后数据。
9.一种电子设备，其特征在于，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序以实现如权利要求1至7任一项所述的数据库异构资源管理与调度方法。
10.一种计算机可读存储介质，其特征在于，用于保存计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的数据库异构资源管理与调度方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310630614.7A CN116361120B (zh) | 2023-05-31 | 2023-05-31 | 一种数据库异构资源管理与调度方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310630614.7A CN116361120B (zh) | 2023-05-31 | 2023-05-31 | 一种数据库异构资源管理与调度方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116361120A true CN116361120A (zh) | 2023-06-30 |
| CN116361120B CN116361120B (zh) | 2023-08-15 |
Family
ID=86923371
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310630614.7A Active CN116361120B (zh) | 2023-05-31 | 2023-05-31 | 一种数据库异构资源管理与调度方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116361120B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190065251A1 (en) * | 2017-08-31 | 2019-02-28 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and apparatus for processing a heterogeneous cluster-oriented task |
| CN111752678A (zh) * | 2020-06-16 | 2020-10-09 | 杭州电子科技大学 | 面向边缘计算中分布式协同学习的低功耗容器放置方法 |
| CN112163017A (zh) * | 2020-09-27 | 2021-01-01 | 广州汇智通信技术有限公司 | 一种知识挖掘系统及方法 |
| CN112199385A (zh) * | 2020-09-30 | 2021-01-08 | 北京百度网讯科技有限公司 | 用于人工智能ai的处理方法、装置、电子设备和存储介质 |
| CN112822235A (zh) * | 2020-12-29 | 2021-05-18 | 乐陵欧曼电子科技有限公司 | 一种异构云计算系统的数据共享系统及方法 |
| CN113609068A (zh) * | 2021-08-10 | 2021-11-05 | 中国人民解放军61646部队 | 一种基于混合异构处理器的云服务架构 |
| CN114064258A (zh) * | 2020-08-03 | 2022-02-18 | 北京超星未来科技有限公司 | 一种面向异构计算资源的非实时资源调度方法及装置 |
| CN114327926A (zh) * | 2021-11-12 | 2022-04-12 | 中国科学院计算技术研究所 | 一种异构边缘智能微服务器及其搭建方法 |
| CN114915629A (zh) * | 2021-02-10 | 2022-08-16 | 中国移动通信有限公司研究院 | 信息处理方法、装置、系统、电子设备及存储介质 |
| CN116192849A (zh) * | 2023-02-21 | 2023-05-30 | 山东浪潮科学研究院有限公司 | 一种异构加速板卡计算方法、装置、设备及介质 |
-
2023
- 2023-05-31 CN CN202310630614.7A patent/CN116361120B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190065251A1 (en) * | 2017-08-31 | 2019-02-28 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and apparatus for processing a heterogeneous cluster-oriented task |
| CN111752678A (zh) * | 2020-06-16 | 2020-10-09 | 杭州电子科技大学 | 面向边缘计算中分布式协同学习的低功耗容器放置方法 |
| CN114064258A (zh) * | 2020-08-03 | 2022-02-18 | 北京超星未来科技有限公司 | 一种面向异构计算资源的非实时资源调度方法及装置 |
| CN112163017A (zh) * | 2020-09-27 | 2021-01-01 | 广州汇智通信技术有限公司 | 一种知识挖掘系统及方法 |
| CN112199385A (zh) * | 2020-09-30 | 2021-01-08 | 北京百度网讯科技有限公司 | 用于人工智能ai的处理方法、装置、电子设备和存储介质 |
| CN112822235A (zh) * | 2020-12-29 | 2021-05-18 | 乐陵欧曼电子科技有限公司 | 一种异构云计算系统的数据共享系统及方法 |
| CN114915629A (zh) * | 2021-02-10 | 2022-08-16 | 中国移动通信有限公司研究院 | 信息处理方法、装置、系统、电子设备及存储介质 |
| WO2022171082A1 (zh) * | 2021-02-10 | 2022-08-18 | 中国移动通信有限公司研究院 | 信息处理方法、装置、系统、电子设备及存储介质 |
| CN113609068A (zh) * | 2021-08-10 | 2021-11-05 | 中国人民解放军61646部队 | 一种基于混合异构处理器的云服务架构 |
| CN114327926A (zh) * | 2021-11-12 | 2022-04-12 | 中国科学院计算技术研究所 | 一种异构边缘智能微服务器及其搭建方法 |
| CN116192849A (zh) * | 2023-02-21 | 2023-05-30 | 山东浪潮科学研究院有限公司 | 一种异构加速板卡计算方法、装置、设备及介质 |
Non-Patent Citations (5)
| Title |
|---|
| TONG WANG: "A real-time Novel Distributed Cooperative Processing Strategy for Isomerism Networks in Internet of Things", CHINESECSCW \'17: PROCEEDINGS OF THE 12TH CHINESE CONFERENCE ON COMPUTER SUPPORTED COOPERATIVE WORK AND SOCIAL COMPUTING * |
| 张乾坤;李果;张福铮;: "基于OpenStack云平台的计算资源动态调度", 电子设计工程, no. 05 * |
| 张强;刘红军;李娜;史雅文;: "山东省地一体化"调控云"体系架构及关键技术研究", 山东电力技术, no. 05 * |
| 王静莲;龚斌;刘弘;李少辉;: "支持绿色异构计算的能效感知调度模型与算法", 软件学报, no. 09 * |
| 蔡尊煌;: "大数据环境下任务调度和资源部署算法研究", 重庆科技学院学报(自然科学版), no. 01 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116361120B (zh) | 2023-08-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10114682B2 (en) | Method and system for operating a data center by reducing an amount of data to be processed | |
| CN110430068B (zh) | 一种特征工程编排方法及装置 | |
| CN111026553B (zh) | 离线混部作业的资源调度方法及服务器系统 | |
| KR101656360B1 (ko) | 자동 분산병렬 처리 하둡 시스템을 지원하는 클라우드 시스템 | |
| CN1946037A (zh) | 管理网格计算环境的方法和系统 | |
| CN109614227B (zh) | 任务资源调配方法、装置、电子设备及计算机可读介质 | |
| CN111338791A (zh) | 集群队列资源的调度方法、装置、设备及存储介质 | |
| CN113037877B (zh) | 云边端架构下时空数据及资源调度的优化方法 | |
| KR20190081306A (ko) | 빅데이터 분석 소프트웨어에 대한 자원 할당 방법, 상기 방법을 이용하는 가상화 자원 할당 장치 | |
| CN115408152A (zh) | 一种自适应资源匹配获取方法及系统 | |
| CN115373835A (zh) | Flink集群的任务资源调整方法、装置及电子设备 | |
| CN114138501B (zh) | 用于现场安全监控的边缘智能服务的处理方法和装置 | |
| CN115756822A (zh) | 高性能计算应用性能调优的方法及系统 | |
| Cunha et al. | Context-aware execution migration tool for data science Jupyter Notebooks on hybrid clouds | |
| CN116257427A (zh) | 联邦学习任务的异构测试方法、系统、设备及存储介质 | |
| CN116361120B (zh) | 一种数据库异构资源管理与调度方法、装置、设备及介质 | |
| Giannakopoulos et al. | Smilax: statistical machine learning autoscaler agent for Apache Flink | |
| CN110928659B (zh) | 一种具有自适应功能的数值水池系统远程多平台接入方法 | |
| Bashar et al. | Modeling and evaluation of pre-copy live vm migration using probabilistic model checking | |
| CN116192849A (zh) | 一种异构加速板卡计算方法、装置、设备及介质 | |
| CN115981871A (zh) | 一种gpu资源调度方法、装置、设备及存储介质 | |
| CN115237566A (zh) | 批量任务执行方法、装置、设备、介质及产品 | |
| CN115033377A (zh) | 基于集群服务器的服务资源预测方法、装置和电子设备 | |
| CN113259878A (zh) | 话单结算方法、系统、电子设备及计算机可读存储介质 | |
| CN114003364B (zh) | 数据采集调度方法、服务器、移动设备及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |