CN114968555A - 实时数据同步平台的底层资源调度方法、装置及电子设备 - Google Patents

实时数据同步平台的底层资源调度方法、装置及电子设备 Download PDF

Info

Publication number
CN114968555A
CN114968555A CN202210435749.3A CN202210435749A CN114968555A CN 114968555 A CN114968555 A CN 114968555A CN 202210435749 A CN202210435749 A CN 202210435749A CN 114968555 A CN114968555 A CN 114968555A
Authority
CN
China
Prior art keywords
resource
task
synchronization
real
time data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210435749.3A
Other languages
English (en)
Inventor
陈璋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xinao Xinzhi Technology Co ltd
Original Assignee
Xinao Xinzhi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xinao Xinzhi Technology Co ltd filed Critical Xinao Xinzhi Technology Co ltd
Priority to CN202210435749.3A priority Critical patent/CN114968555A/zh
Publication of CN114968555A publication Critical patent/CN114968555A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5022—Mechanisms to release resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Multi Processors (AREA)

Abstract

本申请涉及实时数据调度技术领域，特别涉及一种实时数据同步平台的底层资源调度方法、装置及电子设备，其中，方法包括：识别多个同步任务的实际动态；根据每个同步任务的实际动态预估每个同步任务的目标需求资源；以及根据每个同步任务的目标需求资源匹配每个同步任务的最佳分配资源，并基于最佳分配资源得到实时数据同步平台的资源调度策略。由此，解决了每个同步任务中分配到的计算资源不合理从而造成资源的浪费和同步任务失败等问题，根据不同的同步任务动态预测申请底层资源，避免资源浪费，提高资源利用率，并减少人工运维和操作的工作量，从而保障实时数据同步平台高稳定性运行。

Description

实时数据同步平台的底层资源调度方法、装置及电子设备
技术领域
本申请涉及实时数据调度技术领域，特别涉及一种实时数据同步平台的底层资源调度方法、装置及电子设备。
背景技术
作为一个实时的数据同步平台，对于任务的管理以及资源的调度是不可避免的。随着同步任务越来越多，平台对于资源的需求就会越来越大，这时资源使用的优化就尤为重要。
相关技术中，大多数计算框架都是事先申请计算资源，而且将计算资源平均分配给每个同步任务。
然而，由于不同的同步任务所需的计算资源往往都不尽相同，如果资源申请过多会造成资源的浪费，资源申请过少更是会造成同步任务失败，更严重的还会影响其他同步任务还有平台的稳定性，亟需改善。
发明内容
本申请提供一种实时数据同步平台的底层资源调度方法、装置及电子设备，以解决每个同步任务中分配到的计算资源不合理从而造成资源的浪费和同步任务失败等问题。
本申请第一方面实施例提供一种实时数据同步平台的底层资源调度方法，包括以下步骤：
识别多个同步任务的实际动态；
根据每个同步任务的实际动态预估所述每个同步任务的目标需求资源；以及
根据所述每个同步任务的目标需求资源匹配所述每个同步任务的最佳分配资源，并基于所述最佳分配资源得到实时数据同步平台的资源调度策略。
根据本申请的一个实施例，所述根据每个同步任务的实际动态预估所述每个同步任务的目标需求资源，包括：
获取所述每个同步任务的所需内存和实际CPU(Central Processing Unit，中央处理器)资源；
基于所述所需内存和实际CPU资源计算所述每个同步任务的数据源的初始数据量，并预期进入所述数据源的吞吐量；
基于所述数据量的记录结果评估所述目标需求资源。
根据本申请的一个实施例，所述根据每个同步任务的实际动态预估所述每个同步任务的目标需求资源，还包括：
检测所述每个同步任务的任务类型；
在检测到所述任务类型为多表关联同步类型时，基于对应的关联表的UDF(User-Defined Functions，用户定义的hive函数)函数的复杂度和多表产生的计算节点个数和/或平行度修正所述目标需求资源。
根据本申请的一个实施例，所述实时数据同步平台的底层资源调度方法，还包括：
将所述每个同步任务分配对应的任务容器；
根据本申请的一个实施例，在执行所述资源调度策略时，包括：
检测到任一同步任务启动时，根据所述资源调度策略中的最佳分配资源生成资源申请指令；
根据所述资源申请指令向工作集群申请或释放对应资源。
根据本申请实施例的实时数据同步平台的底层资源调度方法，识别多个同步任务的实际动态并根据每个同步任务的实际动态预估其目标需求资源进而匹配每个同步任务的最佳分配资源从而得到实时数据同步平台的资源调度策略。由此，解决了每个同步任务中分配到的计算资源不合理从而造成资源的浪费和同步任务失败等问题，根据不同的同步任务动态预测申请底层资源，避免资源浪费，提高资源利用率，并减少人工运维和操作的工作量，从而保障实时数据同步平台高稳定性运行。
本申请第二方面实施例提供一种实时数据同步平台的底层资源调度装置，包括：
识别模块，用于识别多个同步任务的实际动态；
预估模块，用于根据每个同步任务的实际动态预估所述每个同步任务的目标需求资源；以及
调度模块，用于根据所述每个同步任务的目标需求资源匹配所述每个同步任务的最佳分配资源，并基于所述最佳分配资源得到实时数据同步平台的资源调度策略。
根据本申请的一个实施例，所述预估模块，具体用于：
获取所述每个同步任务的所需内存和实际CPU资源；
基于所述所需内存和实际CPU资源计算所述每个同步任务的数据源的初始数据量，并预期进入所述数据源的吞吐量；
基于所述数据量的记录结果评估所述目标需求资源。
根据本申请的一个实施例，所述预估模块，还用于：
检测所述每个同步任务的任务类型；
在检测到所述任务类型为多表关联同步类型时，基于对应的关联表的UDF函数的复杂度和多表产生的计算节点个数和/或平行度修正所述目标需求资源。
根据本申请的一个实施例，所述实时数据同步平台的底层资源调度装置，还包括：
将所述每个同步任务分配对应的任务容器；
根据本申请的一个实施例，在执行所述资源调度策略时，所述调度模块，还用于：
检测到任一同步任务启动时，根据所述资源调度策略中的最佳分配资源生成资源申请指令；
根据所述资源申请指令向工作集群申请或释放对应资源。
根据本申请实施例的实时数据同步平台的底层资源调度装置，识别多个同步任务的实际动态并根据每个同步任务的实际动态预估其目标需求资源进而匹配每个同步任务的最佳分配资源从而得到实时数据同步平台的资源调度策略。由此，解决了每个同步任务中分配到的计算资源不合理从而造成资源的浪费和同步任务失败等问题，根据不同的同步任务动态预测申请底层资源，避免资源浪费，提高资源利用率，并减少人工运维和操作的工作量，从而保障实时数据同步平台高稳定性运行。
本申请第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的实时数据同步平台的底层资源调度方法。
本申请第四方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现上述的实时数据同步平台的底层资源调度方法。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本申请实施例提供的一种实时数据同步平台的底层资源调度方法的流程图；
图2为根据本申请实施例提供的实时数据同步平台的底层资源调度装置的示例图；
图3为根据本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的实时数据同步平台的底层资源调度方法、装置及电子设备。针对上述背景技术中心提到的每个同步任务中分配到的计算资源不合理从而造成资源的浪费和同步任务失败的问题，本申请提供了一种实时数据同步平台的底层资源调度方法，在该方法中，识别多个同步任务的实际动态并根据每个同步任务的实际动态预估其目标需求资源进而匹配每个同步任务的最佳分配资源从而得到实时数据同步平台的资源调度策略。由此，解决了每个同步任务中分配到的计算资源不合理从而造成资源的浪费和同步任务失败等问题，根据不同的同步任务动态预测申请底层资源，避免资源浪费，提高资源利用率，并减少人工运维和操作的工作量，从而保障实时数据同步平台高稳定性运行。
具体而言，图1为本申请实施例所提供的一种实时数据同步平台的底层资源调度方法的流程示意图。
如图1所示，该实时数据同步平台的底层资源调度方法包括以下步骤：
在步骤S101中，识别多个同步任务的实际动态。
具体地，在一个实时的数据平台中，不同的同步任务往往需要的计算资源不尽相同，为避免申请计算资源不合理从而造成计算资源的浪费和同步任务的失败，本申请实施例可以识别多个同步任务的实际动态。
在步骤S102中，根据每个同步任务的实际动态预估每个同步任务的目标需求资源。
进一步地，在一些实施例中，根据每个同步任务的实际动态预估每个同步任务的目标需求资源，包括：获取每个同步任务的所需内存和实际CPU资源；基于所需内存和实际CPU资源计算每个同步任务的数据源的初始数据量，并预期进入数据源的吞吐量；基于数据量的记录结果评估目标需求资源。
具体地，根据每个同步任务的实际动态并且通过同步任务的各个维度的参数合理的预估出目标需求资源。其中，同步任务的目标需求资源主要包括内存和实际的CPU资源，而磁盘、存储及网卡等资源一般都不会是瓶颈。本申请实施例可以通过相关算法来预估实际同步任务所需的内存和CPU资源的大小，并计算出同步任务的数据源的初始数据量、预期进入数据源的吞吐量(每秒记录数)，以及每条记录数的大小等，并将多个维度的变量结合起来，最终评估出同步任务所需的目标需求资源。
进一步地，在一些实施例中，根据每个同步任务的实际动态预估每个同步任务的目标需求资源，还包括：检测每个同步任务的任务类型；在检测到任务类型为多表关联同步类型时，基于对应的关联表的UDF函数的复杂度和多表产生的计算节点个数和/或平行度修正目标需求资源。
具体地，同步任务主要分为单表同步和多表关联同步两种同步类型，若同步任务类型为多表关联同步，则最为关键的则是同步任务的SQL(Structured Query Language，结构化查询语言)的复杂度，算法将结合关联表SQL和UDF函数的复杂度和多表产生的计算节点个数、平行度等因素进行评估同步任务的目标需求资源。
在步骤S103中，根据每个同步任务的目标需求资源匹配每个同步任务的最佳分配资源，并基于最佳分配资源得到实时数据同步平台的资源调度策略。
进一步地，在一些实施例中，在执行资源调度策略时，包括：检测到任一同步任务启动时，根据资源调度策略中的最佳分配资源生成资源申请指令；根据资源申请指令向工作集群申请或释放对应资源。
具体地，实时数据同步平台是基于分布式计算框架的开发，保证了服务的实时性和稳定性，同时，实时数据同步平台对同步任务的目标需求资源评估完成后分别匹配每个同步任务的最佳分配资源，从而得到实时数据同步平台的资源调度策略。同时，将服务进行容器化，也就是说将每个同步任务分配对应的任务容器，并用Kubernetes(即K8S)为应用提供部署、管理等能力。其中，K8S是用8代替字符“ubernete”而成的缩写，是一个开源的、用于管理云平台中多个主机上的容器化的应用，可以使部署容器化的应用简单且高效。
进一步地，在对同步任务的目标需求资源评估完成后，实时数据同步平台通过分布式计算框架的Kubernetes原生模式，在任一同步任务启动时，根据资源调度策略中的最佳分配资源实时动态申请生成资源申请指令。其中，在实时数据同步平台的客户端内置一个K8SClient(客户端)，如果同步任务对资源有需求，则会直接和Kubernetes进行通信并按照同步任务的需求向K8S Client集群申请或释放对应资源，从而使每个同步任务都会独占一个容器，加强了各个同步任务之间的计算资源的隔离性，优化了资源分配，提高了资源利用率。
综上，根据不同的同步任务申请不同的计算资源并且能够通过任务各个维度的参数合理地预估出计算资源，还有任务与任务之间的计算资源相互隔离互不影响。
根据本申请实施例的实时数据同步平台的底层资源调度方法，识别多个同步任务的实际动态并根据每个同步任务的实际动态预估其目标需求资源进而匹配每个同步任务的最佳分配资源从而得到实时数据同步平台的资源调度策略。由此，解决了每个同步任务中分配到的计算资源不合理从而造成资源的浪费和同步任务失败等问题，根据不同的同步任务动态预测申请底层资源，避免资源浪费，提高资源利用率，并减少人工运维和操作的工作量，从而保障实时数据同步平台高稳定性运行。
其次参照附图描述根据本申请实施例提出的实时数据同步平台的底层资源调度装置。
图2是本申请实施例的实时数据同步平台的底层资源调度装置的方框示意图。
如图2所示，该实时数据同步平台的底层资源调度装置10包括：识别模块100、预估模块200、调度模块300。
其中，识别模块100用于识别多个同步任务的实际动态；
预估模块200用于根据每个同步任务的实际动态预估每个同步任务的目标需求资源；
调度模块300用于根据每个同步任务的目标需求资源匹配每个同步任务的最佳分配资源，并基于最佳分配资源得到实时数据同步平台的资源调度策略。
进一步地，在一些实施例中，预估模块200，具体用于：
获取每个同步任务的所需内存和实际CPU资源；
基于所需内存和实际CPU资源计算每个同步任务的数据源的初始数据量，并预期进入数据源的吞吐量；
基于数据量的记录结果评估目标需求资源。
进一步地，在一些实施例中，预估模块200，还用于：
检测每个同步任务的任务类型；
在检测到任务类型为多表关联同步类型时，基于对应的关联表的UDF函数的复杂度和多表产生的计算节点个数和/或平行度修正目标需求资源。
进一步地，在一些实施例中，实时数据同步平台的底层资源调度装置10，还包括：
将每个同步任务分配对应的任务容器；
进一步地，在一些实施例中，在执行资源调度策略时，调度模块300，还用于：
检测到任一同步任务启动时，根据资源调度策略中的最佳分配资源生成资源申请指令；
根据资源申请指令向工作集群申请或释放对应资源。
根据本申请实施例的实时数据同步平台的底层资源调度装置，识别多个同步任务的实际动态并根据每个同步任务的实际动态预估其目标需求资源进而匹配每个同步任务的最佳分配资源从而得到实时数据同步平台的资源调度策略。由此，解决了每个同步任务中分配到的计算资源不合理从而造成资源的浪费和同步任务失败等问题，根据不同的同步任务动态预测申请底层资源，避免资源浪费，提高资源利用率，并减少人工运维和操作的工作量，从而保障实时数据同步平台高稳定性运行。
图3为本申请实施例提供的电子设备的结构示意图。该电子设备可以包括：
存储器301、处理器302及存储在存储器301上并可在处理器302上运行的计算机程序。
处理器302执行程序时实现上述实施例中提供的实时数据同步平台的底层资源调度方法。
进一步地，电子设备还包括：
通信接口303，用于存储器301和处理器302之间的通信。
存储器301，用于存放可在处理器302上运行的计算机程序。
存储器301可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。
如果存储器301、处理器302和通信接口303独立实现，则通信接口303、存储器301和处理器302可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(Industry Standard Architecture，简称为ISA)总线、外部设备互连(PeripheralComponent，简称为PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture，简称为EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器301、处理器302及通信接口303，集成在一块芯片上实现，则存储器301、处理器302及通信接口303可以通过内部接口完成相互间的通信。
处理器302可能是一个中央处理器(Central Processing Unit，简称为CPU)，或者是特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上的实时数据同步平台的底层资源调度方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或N个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种实时数据同步平台的底层资源调度方法，其特征在于，包括以下步骤：
识别多个同步任务的实际动态；
根据每个同步任务的实际动态预估所述每个同步任务的目标需求资源；以及
根据所述每个同步任务的目标需求资源匹配所述每个同步任务的最佳分配资源，并基于所述最佳分配资源得到实时数据同步平台的资源调度策略。
2.根据权利要求1所述的方法，其特征在于，所述根据每个同步任务的实际动态预估所述每个同步任务的目标需求资源，包括：
获取所述每个同步任务的所需内存和实际CPU资源；
基于所述所需内存和实际CPU资源计算所述每个同步任务的数据源的初始数据量，并预期进入所述数据源的吞吐量；
基于所述数据量的记录结果评估所述目标需求资源。
3.根据权利要求2所述的方法，其特征在于，所述根据每个同步任务的实际动态预估所述每个同步任务的目标需求资源，还包括：
检测所述每个同步任务的任务类型；
在检测到所述任务类型为多表关联同步类型时，基于对应的关联表的UDF函数的复杂度和多表产生的计算节点个数和/或平行度修正所述目标需求资源。
4.根据权利要求1所述的方法，其特征在于，还包括：
将所述每个同步任务分配对应的任务容器；
5.根据权利要求1-4任一项所述的方法，其特征在于，在执行所述资源调度策略时，包括：
检测到任一同步任务启动时，根据所述资源调度策略中的最佳分配资源生成资源申请指令；
根据所述资源申请指令向工作集群申请或释放对应资源。
6.一种实时数据同步平台的底层资源调度装置，其特征在于，包括：
识别模块，用于识别多个同步任务的实际动态；
预估模块，用于根据每个同步任务的实际动态预估所述每个同步任务的目标需求资源；以及
调度模块，用于根据所述每个同步任务的目标需求资源匹配所述每个同步任务的最佳分配资源，并基于所述最佳分配资源得到实时数据同步平台的资源调度策略。
7.根据权利要求6所述的装置，其特征在于，所述预估模块，具体用于：
获取所述每个同步任务的所需内存和实际CPU资源；
基于所述所需内存和实际CPU资源计算所述每个同步任务的数据源的初始数据量，并预期进入所述数据源的吞吐量；
基于所述数据量的记录结果评估所述目标需求资源。
8.根据权利要求7所述的装置，其特征在于，所述预估模块，还用于：
检测所述每个同步任务的任务类型；
在检测到所述任务类型为多表关联同步类型时，基于对应的关联表的UDF函数的复杂度和多表产生的计算节点个数和/或平行度修正所述目标需求资源。
9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-5任一项所述的实时数据同步平台的底层资源调度方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-5任一项所述的实时数据同步平台的底层资源调度方法。
CN202210435749.3A 2022-04-24 2022-04-24 实时数据同步平台的底层资源调度方法、装置及电子设备 Pending CN114968555A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210435749.3A CN114968555A (zh) 2022-04-24 2022-04-24 实时数据同步平台的底层资源调度方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210435749.3A CN114968555A (zh) 2022-04-24 2022-04-24 实时数据同步平台的底层资源调度方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN114968555A true CN114968555A (zh) 2022-08-30

Family

ID=82978728

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210435749.3A Pending CN114968555A (zh) 2022-04-24 2022-04-24 实时数据同步平台的底层资源调度方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN114968555A (zh)

Similar Documents

Publication Publication Date Title
CN109684065B (zh) 一种资源调度方法、装置及系统
CN104854563B (zh) 资源使用的自动分析
WO2020181813A1 (zh) 一种基于数据处理的任务调度方法及相关设备
US9501318B2 (en) Scheduling and execution of tasks based on resource availability
WO2016078008A1 (zh) 调度数据流任务的方法和装置
US8875153B2 (en) Routing workloads based on relative queue lengths of dispatchers
EP3668009A1 (en) Life cycle management method and device for network service
CN111625331B (zh) 任务调度方法、装置、平台、服务器及存储介质
US7979864B2 (en) Apparatus for setting used license of executing job into unused license state and allocating the set unused license to a to be executed job based on priority
CN110389903B (zh) 测试环境部署方法和装置、电子设备和可读存储介质
US7681196B2 (en) Providing optimal number of threads to applications performing multi-tasking using threads
US10732841B2 (en) Tracking ownership of memory in a data processing system through use of a memory monitor
CN111190691A (zh) 适用于虚拟机的自动迁移方法、系统、装置及存储介质
CN112162852A (zh) 一种多架构cpu节点的管理方法、装置及相关组件
CN107977275B (zh) 基于消息队列的任务处理方法及相关设备
WO2024082584A1 (zh) 资源分配方法、容器管理组件和资源分配系统
CN112860387A (zh) 分布式任务调度方法、装置、计算机设备及存储介质
CN111598768B (zh) 图像优化处理方法、装置、计算机设备及存储介质
CN113535398A (zh) 资源分配调整方法、装置、电子设备和可读存储介质
EP4006725A1 (en) Virtual machine migration processing and strategy generation method, apparatus and device, and storage medium
CN111831408A (zh) 异步任务处理方法、装置、电子设备及介质
CN116881003A (zh) 资源分配方法、装置、服务设备及存储介质
CN114968555A (zh) 实时数据同步平台的底层资源调度方法、装置及电子设备
CN115564635A (zh) 一种gpu资源调度方法、装置、电子设备及存储介质
CN115421920A (zh) 金融产品的任务管理方法及装置、电子设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination