CN113434591A - 数据处理方法以及装置 - Google Patents
数据处理方法以及装置 Download PDFInfo
- Publication number
- CN113434591A CN113434591A CN202110992338.XA CN202110992338A CN113434591A CN 113434591 A CN113434591 A CN 113434591A CN 202110992338 A CN202110992338 A CN 202110992338A CN 113434591 A CN113434591 A CN 113434591A
- Authority
- CN
- China
- Prior art keywords
- processed
- resource
- task request
- application program
- task
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 claims abstract description 31
- 230000008569 process Effects 0.000 claims abstract description 19
- 238000004590 computer program Methods 0.000 claims description 12
- 238000010586 diagram Methods 0.000 description 11
- 230000004044 response Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 6
- 238000002955 isolation Methods 0.000 description 4
- 238000010223 real-time analysis Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/26—Visual data mining; Browsing structured data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Multi Processors (AREA)
Abstract
本说明书实施例提供数据处理方法以及装置，其中所述数据处理方法应用于分布式系统的控制节点，包括：接收待处理任务请求；获取所述待处理任务请求对应的应用程序控制器；根据所述应用程序控制器向资源管理器发送针对所述待处理任务请求的资源获取请求；通过所述资源管理器确定所述待处理任务请求对应的目标资源，并将所述目标资源的目标资源信息发送至所述应用程序控制器；将所述待处理任务请求通过所述应用程序控制器发送至所述目标资源信息对应的目标执行节点，以使所述目标执行节点处理所述待处理任务请求。轻量级的应用程序控制器在控制节点中运行，避免了启动耗时的问题，同样可以有效提高任务处理效率。
Description
技术领域
本说明书实施例涉及计算机技术领域，特别涉及数据处理方法。
背景技术
实时分析数据仓库可以针对千亿级数据进行即时的多维分析透视，实现挖掘数据价值，实时分析数据仓库采用 MPP架构（Massively Parallel Processing，大规模并行处理架构），任务请求被均分到分布式集群的各个节点中，每个节点真实的运行情况并不一定与预期的一致，会出现各节点之间负载不均衡的问题，并且该问题随着分布式集群规模的增大而更加明显，从而进一步导致集群中资源利用率不高，任务处理的响应延迟增加等问题。
发明内容
有鉴于此，本说明书施例提供了数据处理方法。本说明书一个或者多个实施例同时涉及数据处理装置，数据处理系统，一种计算设备，一种计算机可读存储介质以及一种计算机程序，以解决现有技术中存在的技术缺陷。
根据本说明书实施例的第一方面，提供了一种数据处理方法，应用于分布式系统的控制节点，包括：
接收待处理任务请求；
获取所述待处理任务请求对应的应用程序控制器；
根据所述应用程序控制器向资源管理器发送针对所述待处理任务请求的资源获取请求；
通过所述资源管理器确定所述待处理任务请求对应的目标资源，并将所述目标资源的目标资源信息发送至所述应用程序控制器；
将所述待处理任务请求通过所述应用程序控制器发送至所述目标资源信息对应的目标执行节点，以使所述目标执行节点处理所述待处理任务请求。
可选的，获取所述待处理任务请求对应的应用程序控制器，包括：
在应用程序控制管理器中获取与所述待处理任务请求对应的应用程序控制器。
可选的，在应用程序控制管理器中获取与所述待处理任务请求对应的应用程序控制器，包括：
判断所述应用程序控制管理器中是否缓存有所述待处理任务请求对应的应用程序控制器；
若是，则获取所述应用程序控制器；
若否，则创建所述应用程序控制器。
可选的，通过所述资源管理器确定所述待处理任务请求对应的目标资源，包括：
通过所述资源管理器确定所述分布式系统中各个执行节点的可用资源信息；
确定所述待处理任务请求对应的资源需求信息；
根据所述资源需求信息在各个执行节点的可用资源信息中确定目标资源。
可选的，通过所述资源管理器确定所述分布式系统中各个执行节点的可用资源信息，包括：
通过所述资源管理器接收所述分布式系统中各个执行节点发送的节点可用资源信息。
可选的，所述待处理任务请求包括用户标识；
确定所述待处理任务请求对应的资源需求信息，包括：
根据所述用户标识确定所述待处理任务请求对应的目标资源队列；
根据所述目标资源队列确定所述待处理任务请求对应的资源需求信息。
可选的，将所述待处理任务请求通过所述应用程序控制器发送至所述目标资源信息对应的目标执行节点，包括：
通过所述应用程序控制器确定所述目标资源信息对应的目标执行节点；
将所述待处理任务请求发送至所述目标执行节点。
可选的，所述方法还包括：
在接收到任务处理完成通知的情况下，通过所述应用程序控制器向所述资源管理器发送资源释放请求；
通过所述资源管理器释放所述目标资源。
可选的，在通过所述应用程序控制器向所述资源管理器发送资源释放请求之后，所述方法还包括：
通过应用程序控制管理器销毁或缓存所述应用程序控制器。
可选的，通过应用程序控制管理器销毁或缓存所述应用程序控制器，包括：
判断所述应用程序控制管理器中的缓存应用程序控制器的缓存容量值是否大于阈值；
若是，则销毁所述应用程序控制器；
若否，则缓存所述应用程序控制器。
根据本说明书实施例的第二方面，提供了一种数据处理方法，应用于分布式系统的执行节点，包括：
接收所述分布式系统的控制节点发送的待处理任务请求；
锁定所述待处理任务请求对应的目标资源；
启动并执行所述待处理任务请求对应的待处理子任务；
在所述待处理子任务执行完成的情况下，发送任务处理完成通知至所述分布式系统的控制节点。
根据本说明书实施例的第三方面，提供了一种数据处理装置，应用于分布式系统的控制节点，包括：
接收模块，被配置为接收待处理任务请求；
获取模块，被配置为获取所述待处理任务请求对应的应用程序控制器；
资源获取模块，被配置为根据所述应用程序控制器向资源管理器发送针对所述待处理任务请求的资源获取请求；
确定模块，被配置为通过所述资源管理器确定所述待处理任务请求对应的目标资源，并将所述目标资源的目标资源信息发送至所述应用程序控制器；
请求发送模块，被配置为将所述待处理任务请求通过所述应用程序控制器发送至所述目标资源信息对应的目标执行节点，以使所述目标执行节点处理所述待处理任务请求。
根据本说明书实施例的第四方面，提供了一种数据处理装置，应用于分布式系统的执行节点，包括：
接收模块，被配置为接收所述分布式系统的控制节点发送的待处理任务请求；
锁定模块，被配置为锁定所述待处理任务请求对应的目标资源；
执行模块，被配置为启动并执行所述待处理任务请求对应的待处理子任务；
发送模块，被配置为在所述待处理子任务执行完成的情况下，发送任务处理完成通知至所述分布式系统的控制节点。
根据本说明书实施例的第五方面，提供了一种数据处理系统，应用于分布式系统，所述分布式系统包括控制节点和执行节点，其中，
所述控制节点，被配置为接收待处理任务请求，获取所述待处理任务请求对应的应用程序控制器，根据所述应用程序控制器向资源管理器发送针对所述待处理任务请求的资源获取请求，通过所述资源管理器确定所述待处理任务请求对应的目标资源，并将所述目标资源的目标资源信息发送至所述应用程序控制器，将所述待处理任务请求通过所述应用程序控制器发送至所述目标资源信息对应的执行节点；
所述执行节点，被配置为接收待处理任务请求，锁定所述待处理任务请求对应的目标资源，启动并执行所述待处理任务请求对应的待处理子任务，在所述待处理子任务执行完成的情况下，发送任务处理完成通知至所述控制节点。
根据本说明书实施例的第六方面，提供了一种计算设备，包括：
存储器和处理器；
所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现任意一项所述数据处理方法的步骤。
根据本说明书实施例的第七方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现任意一项所述数据处理方法的步骤。
根据本说明书实施例的第八方面，提供了一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述数据处理方法的步骤。
本说明书一个实施例实现了通过应用程序控制器与资源管理器直接通信，在资源管理器完成资源调动之后，及时获取已经调度完成的目标资源，降低了资源获取的响应延迟，提高了任务处理效率。同时轻量级的应用程序控制器在控制节点中运行，避免了启动耗时的问题，同样可以有效提高任务处理效率。
附图说明
图1是本说明书一个实施例提供的分布式系统的架构示意图；
图2是本说明书一个实施例提供的一种应用于分布式系统的控制节点的数据处理方法的流程图；
图3是本说明书一个实施例提供的一种应用于分布式系统的执行节点的数据处理方法的流程图；
图4是本说明书一个实施例提供的分布式系统中各模块间数据交互的架构示意图；
图5是本说明书一个实施例提供的一种应用于分布式系统的控制节点的数据处理装置的结构示意图；
图6是本说明书一个实施例提供的一种应用于分布式系统的执行节点的数据处理装置的结构示意图；
图7是本说明书一个实施例提供的一种计算设备的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本说明书内涵的情况下做类似推广，因此本说明书不受下面公开的具体实施的限制。
在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
首先，对本说明书一个或多个实施例涉及的名词术语进行解释。
MMP：Massively Parallel Processing，大规模并行处理架构，一种并行计算的框架。
多租户：多租户技术又称为多重租赁技术，简称SaaS，是一种软件架构技术，是实现如何在多用户环境下（此处的多用户一般是面向企业用户）共用相同的系统或程序组件，并可确保个用户间数据的隔离性。
failover：失效转移，是一种备份操作模式，当主要组件异常时，其功能转移到备份组件。
在本说明书中，提供了数据处理方法，本说明书同时涉及数据处理装置，数据处理系统，一种计算设备，一种计算机可读存储介质以及一种计算机程序，在下面的实施例中逐一进行详细说明。
图1示出了本说明书一个实施例提供的分布式系统的架构示意图，所述分布式系统包括控制节点和子节点，其中，
所述控制节点，被配置为接收待处理任务请求，获取所述待处理任务请求对应的应用程序控制器，根据所述应用程序控制器向资源管理器发送针对所述待处理任务请求的资源获取请求，通过所述资源管理器确定所述待处理任务请求对应的目标资源，并将所述目标资源的目标资源信息发送至所述应用程序控制器，将所述待处理任务请求通过所述应用程序控制器发送至所述目标资源信息对应的执行节点；
所述执行节点，被配置为接收待处理任务请求，锁定所述待处理任务请求对应的目标资源，启动并执行所述待处理任务请求对应的待处理子任务，在所述待处理子任务执行完成的情况下，发送任务处理完成通知至所述控制节点。
如图1所示，MMP架构（分布式系统）包括控制节点和执行节点，在控制节点中运行有应用程序控制管理器（APPMaster Manager）和资源管理器（Resource Manager）。应用程序控制管理器（APPMaster Manager）管理应用程序控制器（APPMaster）。应用程序控制管理器（APPMaster Manager）接收上层项目发送的待处理任务请求（Query），并为每个待处理任务请求（Query）分配一个对应的应用程序控制器（APPMaster），应用程序控制器（APPMaster）负责向资源管理器（Resource Manager）进行资源的申请和释放。资源管理器（Resource Manager）负责分布式集群中资源的管理。
执行节点中运行有节点控制器（Node Manager），用于向资源管理器（ResourceManager）汇报当前执行节点的资源容量。当待处理任务请求（Query）被分配到当前执行节点后，将待处理任务请求（Query）划分为多个子任务（task），并执行子任务。
图2示出了根据本说明书一个实施例提供的一种数据处理方法的流程图，所述方法应用于分布式系统的控制节点，具体包括以下步骤。
步骤202：接收待处理任务请求。
采用分布式架构的实时分析数据仓库可以针对千亿级数据进行即时的多维分析透视，当用户通过实时分析数据仓库可以处理用户的各种任务处理请求，待处理任务请求即为用户提出的基于上层任务的任务处理请求，由分布式架构的控制节点接收该待处理任务请求。
在本说明书提供的一具体实施方式中，以待处理任务请求为Query为例进行解释说明，在分布式系统的控制节点中，接收待处理任务请求Query。
步骤204：获取所述待处理任务请求对应的应用程序控制器。
其中，应用程序控制器运行与控制节点中，用于根据待处理任务请求向资源管理器申请相应的资源。
在实际应用中，一个应用程序控制器通常处理一个待处理任务请求，当控制节点中接收多个待处理任务请求时，会有对应数量的应用程序控制器处理对应的待处理任务请求。在本说明书的一个或多个实施例中，提供了一种轻量级、非进程级的应用程序控制器，无需申请容器（Container）资源，在应用程序控制管理器中启动即可，由于应用程序控制器是非进程级的，因此可以快速的响应启动，节省响应时间。
具体的，获取所述待处理任务请求对应的应用程序控制器，包括：
在应用程序控制管理器中获取与所述待处理任务请求对应的应用程序控制器。
应用程序控制管理器（App Master Manager）运行于控制节点中，用于管理应用程序控制器，当控制节点接收到待处理任务请求后，在运行于控制节点的应用程序控制管理器中获取与待处理任务请求对应的应用程序控制器，便于后续向资源管理器申请待处理任务请求的资源。
可选的，在应用程序控制管理器中获取与所述待处理任务请求对应的应用程序控制器，包括：
判断所述应用程序控制管理器中是否缓存有所述待处理任务请求对应的应用程序控制器；
若是，则获取所述应用程序控制器；
若否，则创建所述应用程序控制器。
在实际应用中，应用程序控制管理器中会预先缓存有待使用的应用程序控制器，当有待处理任务请求抵达时，首先在应用程序控制管理器中判断是否预先缓存有可以供待处理任务请求使用的应用程序控制器，若有，则可以直接将该应用程序控制器分配给待处理任务请求使用，若没有，则创建一个新的应用程序控制器，供待处理任务请求使用。
在本说明书提供的一具体实施方式中，沿用上例，在获取到Query后，判断运行于控制节点的应用程序控制管理器中是否缓存有可用的应用程序控制器，经过判断确定应用程序控制器1未被占用，将应用程序控制器1作为Query的应用程序控制器，由应用程序控制器1负责Query的资源申请和释放。
步骤206：根据所述应用程序控制器向资源管理器发送针对所述待处理任务请求的资源获取请求。
资源管理器（Resource Manager）运行于控制节点中，通过资源管理器可以获取分布式系统的每个执行节点中的资源总量和可用资源情况，并通过资源调度算法进行资源的分配，实现分布式系统中的负载均衡，提升资源利用率。
在控制节点中，在为待处理任务请求分配了对应的应用程序控制器后，通过该应用程序控制器向资源管理器发送针对该待处理任务请求的资源获取请求，用于向资源管理器请求处理该待处理任务的相应资源，在实际应用中，本说明书一个或多个实施例中提到的资源包括但不限于执行节点的内存、CPU、显存、存储空间等等。
在本说明书提供的一具体实施方式中，沿用上例，通过应用程序控制器1向资源管理器发送针对Query的资源获取请求，用于获取处理Query的响应资源。
步骤208：通过所述资源管理器确定所述待处理任务请求对应的目标资源，并将所述目标资源的目标资源信息发送至所述应用程序控制器。
资源管理器在接收到针对待处理任务请求的资源获取请求后，会根据预设的资源调度算法，在分布式系统的执行节点中找到符合待处理任务请求的目标资源，具体的调度算法包括但不限于FIFO、FAIR等等。
目标资源即为资源管理器为待处理任务请求分配的，用于执行该待处理任务的资源。目标资源信息包括但不限于目标资源所在的执行节点的节点标识、目标资源的具体信息等等，在本说明书中，对此不做限定。
例如，待处理任务请求需要2G内存和5G的存储空间，资源管理器中可以获知每个执行节点中的资源使用情况，通过FIFO算法确定执行节点2中有符合待处理任务请求所需的资源，即在执行节点2中锁定2G内存和5G的存储空间作为待处理任务请求的目标资源，并将目标资源的执行节点标识“执行节点2”、执行节点2中锁定的内存信息和存储空间信息发送至应用程序控制器。
在实际应用中，资源管理器负责进行分布式系统中资源的调度，因此，通过所述资源管理器确定所述待处理任务请求对应的目标资源，包括S2082至S2086：
S2082、通过所述资源管理器确定所述分布式系统中各个执行节点的可用资源信息。
由于资源管理器负责分布式系统中各个执行节点中的资源调度，因此，资源管理器需要确定各个执行节点中的可用资源信息，可用资源信息具体是指在当前执行节点中，有哪些资源是可以使用的，例如，执行节点A中的内存总量为32G，已经使用的内存为18G，则可用的内存为14G，14G的内存即为可用资源信息。
具体的，通过所述资源管理器确定所述分布式系统中各个执行节点的可用资源信息，包括：
通过所述资源管理器接收所述分布式系统中各个执行节点发送的节点可用资源信息。
在实际应用中，每个执行节点中部署有节点控制器，节点控制器可以检测当前控制节点中的可用资源信息，并主动将可用资源信息上报至资源管理器，资源管理器接收各个执行节点中节点控制器发送的节点可用信息。
S2084、确定所述待处理任务请求对应的资源需求信息。
待处理任务请求中携带有资源需求信息，通过分析待处理任务请求即可确定待处理任务请求对应的资源需求信息，该资源需求信息具体是指执行待处理任务请求所需要的资源信息。
在实际应用中，在分布式集群下，上游项目需要对不同用户之间进行资源隔离，为不同用户配置相应的资源使用量，降低不同用户使用同一个分布式集群时互相的影响，例如有些用户的集中使用时间是在白天，有些用户的集中使用时间是在晚上，可以根据用户的实际使用情况，为其分配资源，提高资源利用率，提升用户体验。
具体的，所述待处理任务请求包括用户标识；
确定所述待处理任务请求对应的资源需求信息，包括：
根据所述用户标识确定所述待处理任务请求对应的目标资源队列；
根据所述目标资源队列确定所述待处理任务请求对应的资源需求信息。
在待处理任务请求中携带有用户标识，根据用户标识可以确定对应的用户信息，在资源管理器中会有多个资源队列，每个资源队列对应特定的用户群体，当用户发送待处理任务请求时，只能向有权限的资源队列中提交任务请求，即根据用户标识在资源管理器中确定对应的目标资源队列，再通过该目标资源队列，来确定待处理任务请求对应的资源需求信息。
S2086、根据所述资源需求信息在各个执行节点的可用资源信息中确定目标资源。
在获取各个执行节点的可用资源信息后，再根据资源需求信息在各个执行节点中确定目标资源，具体的，可以通过预设的资源调度算法来在各个执行节点中确定目标资源。
在确定目标资源后，即可将目标资源对应的目标资源信息发送至应用程序控制器。以便应用程序控制器进行后续的处理操作。
在本说明书提供的一具体实施方式中，沿用上例，资源管理器根据分布式集群中每个执行节点的可用资源信息和Query的资源需求信息确定了Query的目标资源，并将目标资源的目标资源信息发送至应用程序控制器。
步骤210：将所述待处理任务请求通过所述应用程序控制器发送至所述目标资源信息对应的目标执行节点，以使所述目标执行节点处理所述待处理任务请求。
应用程序控制器在接收到目标资源信息后，即可确定用于执行待处理任务请求的目标执行节点，目标执行节点具体是指用于执行待处理任务请求的执行节点。
具体的，将所述待处理任务请求通过所述应用程序控制器发送至所述目标资源信息对应的目标执行节点，包括：
通过所述应用程序控制器确定所述目标资源信息对应的目标执行节点；
将所述待处理任务请求发送至所述目标执行节点。
在实际应用中，目标资源信息中会携带目标资源所在的节点标识，通过该节点标识即可确定用于执行待处理任务请求的目标执行节点，再将待处理任务请求发送至该目标执行节点，以使目标执行节点执行该待处理任务请求。
在本说明书提供的一具体实施方式中，沿用上例，应用程序控制器根据目标资源信息确定目标执行节点，再将Query发送至目标执行节点，以便目标执行节点执行该Query。
当目标执行节点在处理完该待处理任务请求后，会向控制节点发送任务处理完成通知，告知控制节点该待处理任务请求已经完成，基于此，在本说明书提供的另一具体实施方式中，所述方法还包括：
在接收到任务处理完成通知的情况下，通过所述应用程序控制器向所述资源管理器发送资源释放请求；
通过所述资源管理器释放所述目标资源。
在接收到目标执行节点发送的任务处理完成通知的情况下，由应用程序控制器向资源管理器发送资源释放请求，再由资源管理器根据资源释放请求释放所述目标资源，由于在执行节点处理待处理任务请求期间，目标资源是由待处理任务请求独占的，其他待处理任务请求无法使用该目标资源，因此在该待处理任务请求处理完成后，需要将目标资源进行释放，便于处理后续的其他任务。
在本说明书提供的又一具体实施方式中，在通过所述应用程序控制器向所述资源管理器发送资源释放请求之后，所述方法还包括：
通过应用程序控制管理器销毁或缓存所述应用程序控制器。
具体的，通过应用程序控制管理器销毁或缓存所述应用程序控制器，包括：
判断所述应用程序控制管理器中的缓存应用程序控制器的缓存容量值是否大于阈值；
若是，则销毁所述应用程序控制器；
若否，则缓存所述应用程序控制器。
应用程序控制器在执行完待处理任务请求之后，会由应用程序控制管理器来决定该应用程序控制器应如何处理，在实际应用中，应用程序控制管理器相当于应用程序控制器的资源池，资源池是有容量大小的，因此，需要判断资源池中已经缓存的应用程序控制器的缓存容量值是否超过了资源池的容量大小，当资源池中缓存应用程序控制器的缓存容量值达到资源池的容量上限时，无法再缓存该应用程序控制器，则将销毁该应用程序控制器，当资源池中缓存应用程序控制器的缓存容量值未达到资源池的容量上限时，则可以将该应用程序控制器进行缓存，便于下次直接调用。
本说明书一实施例提供的数据处理方法，应用于分布式系统的控制节点，包括接收待处理任务请求；获取所述待处理任务请求对应的应用程序控制器；根据所述应用程序控制器向资源管理器发送针对所述待处理任务请求的资源获取请求；通过所述资源管理器确定所述待处理任务请求对应的目标资源，并将所述目标资源的目标资源信息发送至所述应用程序控制器；将所述待处理任务请求通过所述应用程序控制器发送至所述目标资源信息对应的目标执行节点，以使所述目标执行节点处理所述待处理任务请求。本说明书一个实施例实现了通过应用程序控制器与资源管理器直接通信，在资源管理器完成资源调动之后，及时获取已经调度完成的目标资源，降低了资源获取的响应延迟，提高了任务处理效率。轻量级的应用程序控制器在控制节点中运行，避免了启动耗时的问题，同样可以有效提高任务处理效率。
其次，资源管理器通过主动分析各个执行节点的资源调度分配情况，返回目标资源给应用程序控制器的方式，降低资源获取的响应延迟，提高任务处理效率，并在资源管理器中设置有资源队列，每个资源队列对应特定的用户群，用户群只能向有权限的资源队列提交任务，实现了多用户之间的资源隔离，降低了不同用户使用同一个集群时互相的影响，提高了资源利用率，提升了用户体验。
图3示出了根据本说明书一个实施例提供的一种数据处理方法的流程图，所述方法应用于分布式系统的执行节点，具体包括以下步骤。
步骤302：接收所述分布式系统的控制节点发送的待处理任务请求。
执行节点用于具体处理上游任务的各种任务，控制节点将待处理任务请求发送至对应的执行节点后，在执行节点中接收该待处理任务请求。
步骤304：锁定所述待处理任务请求对应的目标资源。
在前述步骤中，控制节点终端资源管理器已经预先确定了执行节点中用于处理该待处理任务请求的资源，例如内存、CPU、带宽、存储空间、显存等等，因此，需要在当前执行节点中锁定该目标资源，在本说明书提供的一个或多个具体实施方式中，锁定目标资源，通过独占的方式，可以高效完成待处理任务请求，避免因其他任务带来的处理效率低的问题，提高了处理效率，提升了用户使用体验。
步骤306：启动并执行所述待处理任务请求对应的待处理子任务。
通常情况下，在执行节点中会根据预先的规则将待处理任务请求划分为多个待处理子任务（task），执行task需要使用资源，如上述步骤中的内存、CPU、带宽、存储空间、显存等等，在执行节点中，调度运行每个task。
步骤308：在所述待处理子任务执行完成的情况下，发送任务处理完成通知至所述分布式系统的控制节点。
在每个task执行完成后，确定待处理任务请求已经执行完成，因此，向分布式系统的控制节点发送相应的任务处理完成通知，通知控制节点中的应用程序控制器将资源返还给资源管理器，同时销毁或缓存应用程序控制器。
本说明书一实施例提供的数据处理方法，应用于分布式系统的执行节点，包括：接收所述分布式系统的控制节点发送的待处理任务请求；锁定所述待处理任务请求对应的目标资源；启动并执行所述待处理任务请求对应的待处理子任务；在所述待处理子任务执行完成的情况下，发送任务处理完成通知至所述分布式系统的控制节点。通过本方法，无需在执行节点启动进程级别的Container，节省了处理时间，提高了处理效率。
图4示出了本说明书一实施例提供的分布式系统中各模块间数据交互的架构示意图，如图4所示，下面对图4中各个模块做进一步解释说明。
APP Master Manager：应用程序控制管理器，用于管理APP Master，运行于控制节点。
APP Master：应用程序控制器，用于向Resource Manager进行资源的申请和释放，运行于控制节点。
Resource Manager：资源管理器（RM），负责整个分布式集群的资源的管理，运行于控制节点。
Node Manager：节点管理器，负责向Resource Manager汇报节点资源容量，运行于执行节点。
RMClient：具体的协议层接口实现，与Resource Manager通过RPC通信进行交互。
DynamicRMClientProvider：在高可用模式下，动态的获取当前activd的ResourceManager服务的地址。
ClientRMService：提供具体的服务端协议层接口的实现，提供RPC服务。
EmbeddedElectorService：高可用下，提供通过zookeeper选主的服务，实现Resource Manager的高可用。
NodeLivelinessMonitor：NodeManager的健康检查。
AppMasterLivelinessMonitor：AppMaster的健康检查。
ResourceScheduler：具体的调度算法，包括FIFO、FAIR等等。
RmStateStore：持久化部分AppMaster、Node信息。
RMNode、RMApp：Node、AppMaster在Resource Manager端的抽象。
RMAppMaster：Resource Manager管理AppMaster。
RM Active Service：用于支持RM的高可用模式。
Scheduler：资源调度器，用于进行资源的具体分配。
Scheduler Dispatcher：调度器的具体任务的分发器。
RmFailover：RM维护failover切换的状态。
Application Master Service：RM端进行RPC请求处理的模块。
Resource Tracker Service：RM端对Node Manager的节点资源进行管理的服务。
Admin Service：管理服务，用于进行一些管理员操作。
Event Handler：时间处理句柄。
Node Manager只负责汇报节点资源，不参与failover，Resource Manager服务进行failover， APP Master是资源的持有使用者，只通过APP Master来恢复集群在触发failover前的资源使用情况。APPMaster像新的Resource Manager进行自身的注册，完成注册后，向Resource Manager同步该APP Master当前持有的资源，并且将未申请下来的资源请求继续发送给新的Resource Manager，确保该APP Master的资源请求能够被满足Resource Manager在一段时间内，不进行资源调度。确保能够尽可能的恢复原先集群的资源使用情况，这段安全时间结束后，继续响应资源请求，对资源请求进行调度。
与上述应用于分布式系统的控制节点的数据处理方法实施例相对应，本说明书还提供了应用于分布式系统的控制节点的数据处理装置实施例，图5示出了本说明书一个实施例提供的一种数据处理装置的结构示意图，所述装置应用于分布式系统的控制节点。如图5所示，该装置包括：
接收模块502，被配置为接收待处理任务请求；
获取模块504，被配置为获取所述待处理任务请求对应的应用程序控制器；
资源获取模块506，被配置为根据所述应用程序控制器向资源管理器发送针对所述待处理任务请求的资源获取请求；
确定模块508，被配置为通过所述资源管理器确定所述待处理任务请求对应的目标资源，并将所述目标资源的目标资源信息发送至所述应用程序控制器；
请求发送模块510，被配置为将所述待处理任务请求通过所述应用程序控制器发送至所述目标资源信息对应的目标执行节点，以使所述目标执行节点处理所述待处理任务请求。
可选的，所述获取模块504，进一步被配置为：
在应用程序控制管理器中获取与所述待处理任务请求对应的应用程序控制器。
可选的，所述获取模块504，进一步被配置为：
判断所述应用程序控制管理器中是否缓存有所述待处理任务请求对应的应用程序控制器；
若是，则获取所述应用程序控制器；
若否，则创建所述应用程序控制器。
可选的，所述确定模块508，进一步被配置为：
通过所述资源管理器确定所述分布式系统中各个执行节点的可用资源信息；
确定所述待处理任务请求对应的资源需求信息；
根据所述资源需求信息在各个执行节点的可用资源信息中确定目标资源。
可选的，所述确定模块508，进一步被配置为：
通过所述资源管理器接收所述分布式系统中各个执行节点发送的节点可用资源信息。
可选的，所述待处理任务请求包括用户标识；
所述确定模块508，进一步被配置为：
根据所述用户标识确定所述待处理任务请求对应的目标资源队列；
根据所述目标资源队列确定所述待处理任务请求对应的资源需求信息。
可选的，所述请求发送模块510，进一步被配置为：
通过所述应用程序控制器确定所述目标资源信息对应的目标执行节点；
将所述待处理任务请求发送至所述目标执行节点。
可选的，所述装置还包括资源释放模块；
所述资源释放模块，被配置为：
在接收到任务处理完成通知的情况下，通过所述应用程序控制器向所述资源管理器发送资源释放请求；
通过所述资源管理器释放所述目标资源。
可选的，所述装置还包括：
应用程序控制器处理模块，被配置为通过应用程序控制管理器销毁或缓存所述应用程序控制器。
可选的，应用程序控制器处理模块，进一步被配置为：
判断所述应用程序控制管理器中的缓存应用程序控制器的缓存容量值是否大于阈值；
若是，则销毁所述应用程序控制器；
若否，则缓存所述应用程序控制器。
本说明书一实施例提供的数据处理装置，应用于分布式系统的控制节点，包括接收待处理任务请求；获取所述待处理任务请求对应的应用程序控制器；根据所述应用程序控制器向资源管理器发送针对所述待处理任务请求的资源获取请求；通过所述资源管理器确定所述待处理任务请求对应的目标资源，并将所述目标资源的目标资源信息发送至所述应用程序控制器；将所述待处理任务请求通过所述应用程序控制器发送至所述目标资源信息对应的目标执行节点，以使所述目标执行节点处理所述待处理任务请求。本说明书一个实施例实现了通过应用程序控制器与资源管理器直接通信，在资源管理器完成资源调动之后，及时获取已经调度完成的目标资源，降低了资源获取的响应延迟，提高了任务处理效率。轻量级的应用程序控制器在控制节点中运行，避免了启动耗时的问题，同样可以有效提高任务处理效率。
其次，资源管理器通过主动分析各个执行节点的资源调度分配情况，返回目标资源给应用程序控制器的方式，降低资源获取的响应延迟，提高任务处理效率，并在资源管理器中设置有资源队列，每个资源队列对应特定的用户群，用户群只能向有权限的资源队列提交任务，实现了多用户之间的资源隔离，降低了不同用户使用同一个集群时互相的影响，提高了资源利用率，提升了用户体验。
上述为本实施例的一种应用于分布式系统的控制节点的数据处理装置的示意性方案。需要说明的是，该应用于分布式系统的控制节点的数据处理装置的技术方案与上述的应用于分布式系统的控制节点的数据处理方法的技术方案属于同一构思，应用于分布式系统的控制节点的数据处理装置的技术方案未详细描述的细节内容，均可以参见上述应用于分布式系统的控制节点的数据处理方法的技术方案的描述。
与上述应用于分布式系统的执行节点的数据处理方法实施例相对应，本说明书还提供了应用于分布式系统的执行节点的数据处理装置实施例，图6示出了本说明书一个实施例提供的一种数据处理装置的结构示意图，所述装置应用于分布式系统的执行节点。如图6所示，该装置包括：
接收模块602，被配置为接收所述分布式系统的控制节点发送的待处理任务请求；
锁定模块604，被配置为锁定所述待处理任务请求对应的目标资源；
执行模块606，被配置为启动并执行所述待处理任务请求对应的待处理子任务；
发送模块608，被配置为在所述待处理子任务执行完成的情况下，发送任务处理完成通知至所述分布式系统的控制节点。
本说明书一实施例提供的数据处理装置，应用于分布式系统的执行节点，包括：接收所述分布式系统的控制节点发送的待处理任务请求；锁定所述待处理任务请求对应的目标资源；启动并执行所述待处理任务请求对应的待处理子任务；在所述待处理子任务执行完成的情况下，发送任务处理完成通知至所述分布式系统的控制节点。通过本装置，无需在执行节点启动进程级别的Container，节省了处理时间，提高了处理效率。
上述为本实施例的一种应用于分布式系统的执行节点的数据处理装置的示意性方案。需要说明的是，该应用于分布式系统的执行节点的数据处理装置的技术方案与上述的应用于分布式系统的执行节点的数据处理方法的技术方案属于同一构思，应用于分布式系统的执行节点的数据处理装置的技术方案未详细描述的细节内容，均可以参见上述数据处理方法的技术方案的描述。
图7示出了根据本说明书一个实施例提供的一种计算设备700的结构框图。该计算设备700的部件包括但不限于存储器710和处理器720。处理器720与存储器710通过总线730相连接，数据库750用于保存数据。
计算设备700还包括接入设备740，接入设备740使得计算设备700能够经由一个或多个网络760通信。这些网络的示例包括公用交换电话网（PSTN）、局域网（LAN）、广域网（WAN）、个域网（PAN）或诸如因特网的通信网络的组合。接入设备740可以包括有线或无线的任何类型的网络接口（例如，网络接口卡（NIC））中的一个或多个，诸如IEEE802.11无线局域网（WLAN）无线接口、全球微波互联接入（Wi-MAX）接口、以太网接口、通用串行总线（USB）接口、蜂窝网络接口、蓝牙接口、近场通信（NFC）接口，等等。
在本说明书的一个实施例中，计算设备700的上述部件以及图7中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图7所示的计算设备结构框图仅仅是出于示例的目的，而不是对本说明书范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。
计算设备700可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备（例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等）、移动电话（例如，智能手机）、可佩戴的计算设备（例如，智能手表、智能眼镜等）或其他类型的移动设备，或者诸如台式计算机或PC的静止计算设备。计算设备700还可以是移动式或静止式的服务器。
其中，处理器720用于执行如下计算机可执行指令，该计算机可执行指令被处理器执行时实现上述数据处理方法的步骤。
上述为本实施例的一种计算设备的示意性方案。需要说明的是，该计算设备的技术方案与上述的数据处理方法的技术方案属于同一构思，计算设备的技术方案未详细描述的细节内容，均可以参见上述数据处理方法的技术方案的描述。
本说明书一实施例还提供一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现上述数据处理方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的数据处理方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述数据处理方法的技术方案的描述。
本说明书一实施例还提供一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述数据处理方法的步骤。
上述为本实施例的一种计算机程序的示意性方案。需要说明的是，该计算机程序的技术方案与上述的数据处理方法的技术方案属于同一构思，计算机程序的技术方案未详细描述的细节内容，均可以参见上述数据处理方法的技术方案的描述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本说明书实施例并不受所描述的动作顺序的限制，因为依据本说明书实施例，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本说明书实施例所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书实施例的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本说明书实施例的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。
Claims (14)
1.一种数据处理方法，应用于分布式系统的控制节点，包括：
接收待处理任务请求；
获取所述待处理任务请求对应的应用程序控制器；
根据所述应用程序控制器向资源管理器发送针对所述待处理任务请求的资源获取请求；
通过所述资源管理器确定所述待处理任务请求对应的目标资源，并将所述目标资源的目标资源信息发送至所述应用程序控制器；
将所述待处理任务请求通过所述应用程序控制器发送至所述目标资源信息对应的目标执行节点，以使所述目标执行节点处理所述待处理任务请求。
2.如权利要求1所述的数据处理方法，获取所述待处理任务请求对应的应用程序控制器，包括：
在应用程序控制管理器中获取与所述待处理任务请求对应的应用程序控制器。
3.如权利要求2所述的数据处理方法，在应用程序控制管理器中获取与所述待处理任务请求对应的应用程序控制器，包括：
判断所述应用程序控制管理器中是否缓存有所述待处理任务请求对应的应用程序控制器；
若是，则获取所述应用程序控制器；
若否，则创建所述应用程序控制器。
4.如权利要求1所述的数据处理方法，通过所述资源管理器确定所述待处理任务请求对应的目标资源，包括：
通过所述资源管理器确定所述分布式系统中各个执行节点的可用资源信息；
确定所述待处理任务请求对应的资源需求信息；
根据所述资源需求信息在各个执行节点的可用资源信息中确定目标资源。
5.如权利要求4所述的数据处理方法，所述待处理任务请求包括用户标识；
确定所述待处理任务请求对应的资源需求信息，包括：
根据所述用户标识确定所述待处理任务请求对应的目标资源队列；
根据所述目标资源队列确定所述待处理任务请求对应的资源需求信息。
6.如权利要求1所述的数据处理方法，所述方法还包括：
在接收到任务处理完成通知的情况下，通过所述应用程序控制器向所述资源管理器发送资源释放请求；
通过所述资源管理器释放所述目标资源。
7.如权利要求6所述的数据处理方法，在通过所述应用程序控制器向所述资源管理器发送资源释放请求之后，所述方法还包括：
通过应用程序控制管理器销毁或缓存所述应用程序控制器。
8.一种数据处理方法，应用于分布式系统的执行节点，包括：
接收所述分布式系统的控制节点发送的待处理任务请求；
锁定所述待处理任务请求对应的目标资源；
启动并执行所述待处理任务请求对应的待处理子任务；
在所述待处理子任务执行完成的情况下，发送任务处理完成通知至所述分布式系统的控制节点。
9.一种数据处理装置，应用于分布式系统的控制节点，包括：
接收模块，被配置为接收待处理任务请求；
获取模块，被配置为获取所述待处理任务请求对应的应用程序控制器；
资源获取模块，被配置为根据所述应用程序控制器向资源管理器发送针对所述待处理任务请求的资源获取请求；
确定模块，被配置为通过所述资源管理器确定所述待处理任务请求对应的目标资源，并将所述目标资源的目标资源信息发送至所述应用程序控制器；
请求发送模块，被配置为将所述待处理任务请求通过所述应用程序控制器发送至所述目标资源信息对应的目标执行节点，以使所述目标执行节点处理所述待处理任务请求。
10.一种数据处理装置，应用于分布式系统的执行节点，包括：
接收模块，被配置为接收所述分布式系统的控制节点发送的待处理任务请求；
锁定模块，被配置为锁定所述待处理任务请求对应的目标资源；
执行模块，被配置为启动并执行所述待处理任务请求对应的待处理子任务；
发送模块，被配置为在所述待处理子任务执行完成的情况下，发送任务处理完成通知至所述分布式系统的控制节点。
11.一种数据处理系统，应用于分布式系统，所述分布式系统包括控制节点和执行节点，其中，
所述控制节点，被配置为接收待处理任务请求，获取所述待处理任务请求对应的应用程序控制器，根据所述应用程序控制器向资源管理器发送针对所述待处理任务请求的资源获取请求，通过所述资源管理器确定所述待处理任务请求对应的目标资源，并将所述目标资源的目标资源信息发送至所述应用程序控制器，将所述待处理任务请求通过所述应用程序控制器发送至所述目标资源信息对应的执行节点；
所述执行节点，被配置为接收待处理任务请求，锁定所述待处理任务请求对应的目标资源，启动并执行所述待处理任务请求对应的待处理子任务，在所述待处理子任务执行完成的情况下，发送任务处理完成通知至所述控制节点。
12.一种计算设备，包括：
存储器和处理器；
所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1-7或8任意一项所述方法的步骤。
13.一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1-7或8任意一项所述方法的步骤。
14.一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-7或8任意一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110992338.XA CN113434591B (zh) | 2021-08-27 | 2021-08-27 | 数据处理方法以及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110992338.XA CN113434591B (zh) | 2021-08-27 | 2021-08-27 | 数据处理方法以及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113434591A true CN113434591A (zh) | 2021-09-24 |
| CN113434591B CN113434591B (zh) | 2022-02-11 |
Family
ID=77798195
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110992338.XA Active CN113434591B (zh) | 2021-08-27 | 2021-08-27 | 数据处理方法以及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113434591B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114138500A (zh) * | 2022-01-29 | 2022-03-04 | 阿里云计算有限公司 | 资源调度系统及方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103944769A (zh) * | 2014-05-05 | 2014-07-23 | 江苏物联网研究发展中心 | 基于rpc协议的集群资源统一管理系统 |
| CN109558446A (zh) * | 2018-12-13 | 2019-04-02 | 杭州数梦工场科技有限公司 | 作业请求方法、装置、电子设备及存储介质 |
| CN110597634A (zh) * | 2019-09-12 | 2019-12-20 | 腾讯科技（深圳）有限公司 | 一种数据处理方法、装置及计算机可读存储介质 |
-
2021
- 2021-08-27 CN CN202110992338.XA patent/CN113434591B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103944769A (zh) * | 2014-05-05 | 2014-07-23 | 江苏物联网研究发展中心 | 基于rpc协议的集群资源统一管理系统 |
| CN109558446A (zh) * | 2018-12-13 | 2019-04-02 | 杭州数梦工场科技有限公司 | 作业请求方法、装置、电子设备及存储介质 |
| CN110597634A (zh) * | 2019-09-12 | 2019-12-20 | 腾讯科技（深圳）有限公司 | 一种数据处理方法、装置及计算机可读存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114138500A (zh) * | 2022-01-29 | 2022-03-04 | 阿里云计算有限公司 | 资源调度系统及方法 |
| CN114138500B (zh) * | 2022-01-29 | 2022-07-08 | 阿里云计算有限公司 | 资源调度系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113434591B (zh) | 2022-02-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107087019B (zh) | 一种基于端云协同计算架构的任务调度方法及装置 | |
| CN108737270B (zh) | 一种服务器集群的资源管理方法和装置 | |
| US10938736B2 (en) | Dynamic allocation of edge computing resources in edge computing centers | |
| CN110383764B (zh) | 无服务器系统中使用历史数据处理事件的系统和方法 | |
| Cao et al. | Agent-based grid load balancing using performance-driven task scheduling | |
| CN115328663B (zh) | 基于PaaS平台进行资源调度的方法、装置、设备和存储介质 | |
| CN109564528B (zh) | 分布式计算中计算资源分配的系统和方法 | |
| CN102591921A (zh) | 个人数据中心内的调度和管理 | |
| WO2019036084A1 (en) | SYSTEMS AND METHODS FOR PROVIDING A GUARANTEED LOT | |
| Ivanisenko et al. | Survey of major load balancing algorithms in distributed system | |
| Dhurandher et al. | A cluster-based load balancing algorithm in cloud computing | |
| CN107430526B (zh) | 用于调度数据处理的方法和节点 | |
| CN112783607A (zh) | 容器集群中任务部署方法及装置 | |
| CN113434591B (zh) | 数据处理方法以及装置 | |
| CN112104679B (zh) | 处理超文本传输协议请求的方法、装置、设备和介质 | |
| WO2022257247A1 (zh) | 数据处理方法、装置及计算机可读存储介质 | |
| CN114816709A (zh) | 任务调度方法、装置、服务器及可读存储介质 | |
| Subalakshmi et al. | Enhanced hybrid approach for load balancing algorithms in cloud computing | |
| CN113608845A (zh) | 数据处理方法及装置 | |
| CN115562846A (zh) | 一种资源调度的方法、装置及计算节点 | |
| CN111835809B (zh) | 工单消息分配方法、装置、服务器及存储介质 | |
| CN109189581B (zh) | 一种作业调度方法和装置 | |
| CN111435319A (zh) | 一种集群的管理方法及装置 | |
| CN113965563B (zh) | 基于模型的业务处理方法及装置、服务器 | |
| CN114489978A (zh) | 资源调度方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40059932 Country of ref document: HK |
|
| TR01 | Transfer of patent right |
Effective date of registration: 20240430 Address after: Room 1-2-A06, Yungu Park, No. 1008 Dengcai Street, Sandun Town, Xihu District, Hangzhou City, Zhejiang Province, 310030 Patentee after: Aliyun Computing Co.,Ltd. Country or region after: China Address before: No.12 Zhuantang science and technology economic block, Xihu District, Hangzhou City, Zhejiang Province Patentee before: Aliyun Computing Co.,Ltd. Country or region before: China Patentee before: Alibaba (China) Co.,Ltd. |
|
| TR01 | Transfer of patent right |