CN109271243B - 一种集群任务管理系统 - Google Patents
一种集群任务管理系统 Download PDFInfo
- Publication number
- CN109271243B CN109271243B CN201811013864.1A CN201811013864A CN109271243B CN 109271243 B CN109271243 B CN 109271243B CN 201811013864 A CN201811013864 A CN 201811013864A CN 109271243 B CN109271243 B CN 109271243B
- Authority
- CN
- China
- Prior art keywords
- task
- information
- node
- instruction
- task processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 claims abstract description 140
- 238000000034 method Methods 0.000 claims description 17
- 238000012544 monitoring process Methods 0.000 claims description 17
- 238000012216 screening Methods 0.000 claims description 5
- 238000007726 management method Methods 0.000 description 43
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000013024 troubleshooting Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5083—Techniques for rebalancing the load in a distributed system
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种集群任务管理系统，包括：任务调度中心接收用户的操作请求，根据操作请求生成对应的任务指令，将任务指令下发至分布式缓存中间件，接收分布式缓存中间件返回的任务处理信息；分布式缓存中间件接收任务指令，将任务指令发送至任务处理模块，接收任务处理模块返回的任务处理信息，并将任务处理信息发送至任务调度中心；设置于各节点的任务处理模块接收任务指令，根据任务指令进行对应的任务处理，生成任务处理信息，并将任务处理信息发送至分布式缓存中间件。该系统将集群管理的任务由集中化转为分散化，通过任务调度中心、分布式缓存中间件以及设置于各节点的任务处理模块的配合，实现集群管理的去中心化，均衡集群负载。
Description
技术领域
本发明涉及集群技术领域，特别涉及一种集群任务管理系统。
背景技术
集群是一组相互独立的、通过高速网络互联的计算机，它们构成了一个组，并以单一系统的模式加以管理。通过集群技术，可以在付出较低成本的情况下获得在性能、可靠性、灵活性方面的相对较高的收益，集群应用十分广泛。
集群中任务调度为其中的核心技术。集群的主要目的是以一个整体的形式对外提供业务，因为集群的管理而造成的额外负担不能影响集群的正常的业务。
现有的集群级的管理中，通常是选定单一主节点，由主节点进行任务的下发及处理。此种模式下，在业务负载均衡的情况下，主节点比其它节点多了一种负载，即管理负载，在管理负载过高的情况下，会造成主节点相比其它节点负载压力过大，集群负载不均衡的情况，负载不均衡的情况容易导致主节点处理迟缓，且容易崩溃，一旦主节点崩溃，将导致整个集群系统的管理将陷入瘫痪。
因此，如何分散集群中主节点的管理负载压力，均衡集群负载，是本领域技术人员需要解决的技术问题。
发明内容
本发明的目的是提供一种集群任务管理系统，该系统将集群管理的任务由集中化转为分散化，通过任务调度中心、分布式缓存中间件以及设置于各节点的任务处理模块的配合，实现集群管理的去中心化，均衡集群负载。
为解决上述技术问题，本发明提供一种集群任务管理系统，包括：
任务调度中心，用于接收用户的操作请求，根据所述操作请求生成对应的任务指令，将所述任务指令下发至分布式缓存中间件，接收所述分布式缓存中间件返回的任务处理信息；
所述分布式缓存中间件，用于接收所述任务指令，将所述任务指令发送至任务处理模块，接收所述任务处理模块返回的任务处理信息，并将所述任务处理信息发送至所述任务调度中心；
设置于各节点的任务处理模块，用于接收所述任务指令，根据所述任务指令进行对应的任务处理，生成任务处理信息，并将所述任务处理信息发送至所述分布式缓存中间件。
优选地，所述任务处理模块包括：
任务接收子模块，用于接收任务指令；
任务执行子模块，用于根据所述任务指令进行相应的任务处理，生成执行结果；
结果处理子模块，用于对所述执行结果进行输出处理，生成任务处理信息；其中，所述输出处理包括添加节点标识信息。
优选地，所述分布式缓存中间件具体用于：将接收到的各节点的任务指令发送至所有任务处理模块；
则所述任务接收子模块具体用于：根据所属的节点对接收到的各节点的任务指令进行监测，判断所述各节点的任务指令中是否包含本节点的任务指令；如果有，筛选得到本节点的任务指令并发送至任务执行子模块。
优选地，所述分布式缓存中间件具体用于：将接收到的各节点的任务指令进行节点识别，将各节点的任务指令分别发送至对应节点；
则所述任务接收子模块具体用于：将接收到的任务指令发送至任务执行子模块。
优选地于，所述任务处理模块还包括：任务监测子模块；
所述任务监测子模块用于：对当前任务处理情况进行监测，生成负载信息，并将所述负载信息发送至分布式缓存中间件；
则分布式缓存中间件用于：对各任务处理模块发送的负载信息进行统计，生成各任务处理模块的负载情况信息并存储；
则任务调用中心用于：获取分布式缓存中间件统计的所述负载情况信息，并根据所述负载情况信息以及所述操作请求生成任务指令。
优选地，所述任务监测子模块还用于：对当前任务处理时间进行统计，若当前任务处理时间超过处理时间阈值时，向所述分布式缓存中间件发送超时信息。
优选地，所述分布式缓存中间件采用分布式缓存方法对节点信息进行存储；
其中，所述节点信息包括：任务指令、负载情况信息、任务处理信息中至少一种。
优选地，所述分布式缓存中间件具体用于：
接收所述任务处理模块返回的任务处理信息并存储，判断当前存储的任务处理信息是否达到发送阈值，如果是，将当前存储的任务处理信息发送至所述任务调度中心。
优选地，所述任务处理模块还用于：根据信息的查看紧急程度对产生的任务处理信息进行紧急程度标记；
则所述分布式缓存中间件还用于：
对接收到的任务处理信息根据紧急程度标识进行筛选；
当所述任务处理信息中存在紧急信息时，将所述紧急信息实时发送至所述任务调度中心。
优选地，所述分布式缓存中间件还用于：
对接收到的任务处理信息根据节点进行归类整理，将各节点产生的任务处理信息依次发送至所述任务调度中心。
本发明所提供的集群任务管理系统，主要包括任务调度中心、分布式缓存中间件以及设置于各节点的任务处理模块。其中，任务调度中心主要用于接收用户的操作请求，根据操作请求生成对应的任务指令，将任务指令下发至分布式缓存中间件，接收分布式缓存中间件返回的任务处理信息；分布式缓存中间件主要用于接收任务指令，将任务指令发送至任务处理模块，接收任务处理模块返回的任务处理信息，并将任务处理信息发送至任务调度中心；设置于各节点的任务处理模块主要用于接收任务指令，根据任务指令进行对应的任务处理，生成任务处理信息，并将任务处理信息发送至分布式缓存中间件。
本发明提供的集群任务管理系统通过将集群管理的任务由集中化转为分散化，通过任务调度中心、分布式缓存中间件以及设置于各节点的任务处理模块的配合，将传统的任务调度中心简化，将与节点的信息交互转移至中间件，通过中间件分配任务到各个节点去执行，省去一些不必要的步骤使得本发明中的任务调度中心为轻量级的任务调用中心，各个节点只收集其因管理任务而产生的负载，实现集群管理的去中心化，避免了因管理业务造成的集群负载不均的情况，并且任务调度中心的轻量型实现使得集群的管理访问可以较为简单地实现去中心化，任何节点都可以提供管理业务，实现管理的高可用性。
本发明提供的集群任务管理系统还公开了任务监测子模块对节点的任务处理情况进行监测，任务调用中心根据各节点的负载情况进行任务指令的生成这一技术特征，可以实现根据集群管理负载实现任务的动态分配，根据负载情况动态分散管理职能，可以优化任务分配机制，实现各节点任务的均衡分配。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的集群任务管理系统的结构框图；
图2为本发明实施例提供的集群任务管理系统的结构示意图。
具体实施方式
本发明的核心是提供一种集群任务管理系统，该系统将集群管理的任务由集中化转为分散化，通过任务调度中心、分布式缓存中间件以及设置于各节点的任务处理模块的配合，实现集群管理的去中心化，均衡集群负载。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
传统的任务调度中心一般对整个集群进行管理，包括接收用户的操作，下发任务，等待任务执行完毕，处理任务执行结果，返回执行信息等，作为任务调用中心的主节点负载压力很大，导致主节点容易崩溃，一旦主节点的工作出现异常，整个集群系统管理将陷入瘫痪。
请参考图1，图1为本实施例提供的集群任务管理系统的结构框图；该系统部署于集群环境中，主要包括：任务调度中心100、分布式缓存中间件200以及设置于各节点的任务处理模块300。
任务调度中心100主要用于接收用户的操作请求，根据操作请求生成对应的任务指令，将任务指令下发至分布式缓存中间件，接收分布式缓存中间件返回的任务处理信息。
本发明中任务调度中心主要负责用户的交互操作，获取由与用户交互得到的信息，进行任务调度，将任务加上节点标识，记录在分布式缓存中间件当中。将传统的任务调度中心简化，省去一些不必要的功能，实现任务调度中心的轻量级。
分布式缓存中间件200主要用于接收任务指令，将任务指令发送至任务处理模块，接收任务处理模块返回的任务处理信息，并将任务处理信息发送至任务调度中心。分布式缓存中间件可以只提供记录信息的作用，以减少负载。此时分布式缓存中间件可以主要记录两种信息：1)任务及节点信息；2)任务执行结果。分布式缓存中间件可以采用分布式缓存方法对节点信息进行存储，采用分布式缓存技术实现去中心化，实现各节点间的快速访问。
分布式缓存中间件中存储有集群中节点返回的任务处理信息，需要将其发送至任务调度中心进行存储、输出等，收集到的各节点任务处理信息可以定期发送，也可以实时发送，在此不做限定，优选地，为避免数据发送信道的经常占用，紧急信息无法及时传输等情况，优选地，若当前收集的数据量达到一定范围时，将存储的数据进行一次发送。具体地，分布式缓存中间件接收任务处理模块返回的任务处理信息并存储，判断当前存储的任务处理信息是否达到发送阈值，如果是，将当前存储的任务处理信息发送至任务调度中心。
设置于各节点的任务处理模块300主要用于接收任务指令，根据任务指令进行对应的任务处理，生成任务处理信息，并将任务处理信息发送至分布式缓存中间件。
本发明中任务调度中心对各节点的任务分配由设置于各节点的任务处理模块进行监督执行，为对任务处理过程进行规范化管理优化，优选地，任务处理模块可以进一步包括：
任务接收子模块，用于接收任务指令；
任务执行子模块，用于根据任务指令进行相应的任务处理，生成执行结果。任务执行子模块对任务的执行过程可以参照现有的任务执行过程，在此不再赘述。
结果处理子模块，用于对执行结果进行输出处理，生成任务处理信息；其中，输出处理包括添加节点标识信息。
其中，各节点中任务接收子模块中接收的任务指令可以为对所有节点下发的指令，即所有节点收到的任务指令相同，分布式缓存中间件直接将任务调度中心生成的任务指令下发至各节点；也可以由分布式缓存中间件将任务调度中心生成的任务指令进行识别，任务指令中包含节点标志，根据节点标志将各节点对应的任务发送至各节点对应的任务处理模块。
其中，优选地，任务的分发过程具体可以为：分布式缓存中间件将接收到的各节点的任务指令发送至所有任务处理模块；则任务接收子模块根据所属的节点对接收到的各节点的任务指令进行监测，判断各节点的任务指令中是否包含本节点的任务指令；如果有，筛选得到本节点的任务指令并发送至任务执行子模块。
将任务指令的识别工作转移至各节点，可以降低分布式缓存中间件的负载，有利于实现各节点间的均衡负载。具体地，任务接收模块可以采用循环监测模式，监测分布式缓存中的下发任务，如果需要本节点执行，就调用任务执行模块执行任务。
如果集群任务较多，节点数量也较多，但每次集群任务需要调用的节点数量较少，为尽量减少各节点针对任务识别的资源占用，优选地，也可以由分布式缓存中间件将接收到的各节点的任务指令进行节点识别，将各节点的任务指令分别发送至对应节点；则任务接收子模块具体用于：将接收到的任务指令发送至任务执行子模块。
为实现对各节点任务执行情况的监测，了解任务的执行情况以及节点资源的占用情况以及各节点的负载情况等，包括各节点是否正有任务在执行，执行产生的结果、统计占用CPU及内存等负载信息等，优选地，任务处理模块可以还包括：任务监测子模块，用于对当前任务处理情况进行监测，生成负载信息，并将负载信息发送至分布式缓存中间件；则分布式缓存中间件可以用于：对各任务处理模块发送的负载信息进行统计，生成各任务处理模块的负载情况信息并存储；则任务调用中心可以获取分布式缓存中间件统计的负载情况信息，并根据负载情况信息以及操作请求生成任务指令。
此时任务处理模块主要包括：任务接收子模块、任务执行子模块、任务处理子模块以及任务监测子模块，则集群任务管理系统的结构示意图如图2所示。
通过任务监测子模块对节点负载情况进行统计，并将信息连同节点标识记录在分布式缓存中间件中，以供任务调度中心的调取，根据各节点的管理负载情况动态分配管理职能，使优化任务分配机制，集群的管理业务能够实现负载均衡。
若通过任务监测子模块对各节点负载进行实时监测，则任务调度中心的具体工作过程可以参照下面的步骤：
步骤一：提供接口供用户进行交互操作，接收用户的操作请求；
步骤二：从分布式缓存中间件中获取管理负载信息；
步骤三：通过计算获取管理负载最低的节点；
步骤四：将任务进行分类，如果是集群级任务，将任务加上步骤三所得的节点标记记录在分布式中间件缓存中，如果是节点级任务，将任务加上各个节点标记记录在分布式缓存；
步骤五：获取分布式缓存中的返回信息，并返回给用户。
此时分布式缓存中间件主要记录三种信息：1)任务及节点信息；2)任务执行结果；3)各节点间管理负载信息。
另外，为避免任务调度中心接收到的任务处理信息为杂乱无章的信息，包括不同时间不同节点不同紧急程度的信息，在需要进行查找或输出时还需额外对其进行归类整理，数据量大时整理过程需要占用大量资源，优选地，可以通过分布式缓存中间件对接收到的任务处理信息根据节点进行归类整理，将各节点产生的任务处理信息依次发送至任务调度中心。由于分布式缓存中间件接收到的信息一般为各节点发送的实时信息，将这些信息按节点进行区分后，将各节点发送的处理信息依次存储至各节点对应的存储空间，可以自动实现信息按节点以及时间顺序的自动规整，方便任务调度中心的查看与输出。
另外，节点在任务处理过程中可能会出现任务处理异常情况，比如陷入死循环，或者宕机等，为避免异常情况对节点资源的长时间占用，实现节点资源的合理配置，优选地，可以通过任务监测子模块对当前任务处理时间进行统计，若当前任务处理时间超过处理时间阈值时，向分布式缓存中间件发送超时信息，用以提示相关技术人员及时进行检修故障排查等。
由于节点在进行任务执行过程中可能会出现某些需要紧急处理的情况，例如某节点数据突然被删除、或者多个节点突然同时宕机等，这些信息会体现在输出的任务处理情况中，为对这些情况进行即时处理，避免不可逆转的后果对整个集群工作的影响，优选地，可以通过任务处理模块根据信息的查看紧急程度对产生的任务处理信息进行紧急程度标记，则分布式缓存中间件对接收到的任务处理信息根据紧急程度标识进行筛选；当任务处理信息中存在紧急信息时，将紧急信息实时发送至任务调度中心。
本发明提供的集群任务管理系统通过将集群管理的任务由集中化转为分散化，通过任务调度中心、分布式缓存中间件以及设置于各节点的任务处理模块的配合，将传统的任务调度中心简化，将与节点的信息交互转移至中间件，通过中间件分配任务到各个节点去执行，省去一些不必要的步骤使得本发明中的任务调度中心为轻量级的任务调用中心，各个节点只收集其因管理任务而产生的负载，实现集群管理的去中心化，避免了因管理业务造成的集群负载不均的情况，并且任务调度中心的轻量型实现使得集群的管理访问可以较为简单地实现去中心化，任何节点都可以提供管理业务，实现管理的高可用性。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的模块，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的集群任务管理系统进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
Claims (8)
1.一种集群任务管理系统，其特征在于，包括：
任务调度中心，用于接收用户的操作请求，根据所述操作请求生成对应的任务指令，将所述任务指令下发至分布式缓存中间件，接收所述分布式缓存中间件返回的任务处理信息；
所述分布式缓存中间件，用于接收所述任务指令，将所述任务指令发送至任务处理模块，接收所述任务处理模块返回的任务处理信息，并将所述任务处理信息发送至所述任务调度中心；
设置于各节点的任务处理模块，用于接收所述任务指令，根据所述任务指令进行对应的任务处理，生成任务处理信息，并将所述任务处理信息发送至所述分布式缓存中间件；
其中，所述任务处理模块包括：
任务接收子模块，用于接收任务指令；
任务执行子模块，用于根据所述任务指令进行相应的任务处理，生成执行结果；
结果处理子模块，用于对所述执行结果进行输出处理，生成任务处理信息；其中，所述输出处理包括添加节点标识信息；
任务监测子模块，用于对当前任务处理情况进行监测，生成负载信息，并将所述负载信息发送至分布式缓存中间件；
相应地，所述分布式缓存中间件用于：对各任务处理模块发送的负载信息进行统计，生成各任务处理模块的负载情况信息并存储；
所述任务调度中心用于：获取所述分布式缓存中间件统计的所述负载情况信息，并根据所述负载情况信息以及所述操作请求生成任务指令。
2.如权利要求1所述的集群任务管理系统，其特征在于，所述分布式缓存中间件具体用于：将接收到的各节点的任务指令发送至所有任务处理模块；
则所述任务接收子模块具体用于：根据所属的节点对接收到的各节点的任务指令进行监测，判断所述各节点的任务指令中是否包含本节点的任务指令；如果有，筛选得到本节点的任务指令并发送至任务执行子模块。
3.如权利要求1所述的集群任务管理系统，其特征在于，所述分布式缓存中间件具体用于：将接收到的各节点的任务指令进行节点识别，将各节点的任务指令分别发送至对应节点；
则所述任务接收子模块具体用于：将接收到的任务指令发送至任务执行子模块。
4.如权利要求1所述的集群任务管理系统，其特征在于，所述任务监测子模块还用于：对当前任务处理时间进行统计，若当前任务处理时间超过处理时间阈值时，向所述分布式缓存中间件发送超时信息。
5.如权利要求1所述的集群任务管理系统，其特征在于，所述分布式缓存中间件采用分布式缓存方法对节点信息进行存储；
其中，所述节点信息包括：任务指令、负载情况信息、任务处理信息中至少一种。
6.如权利要求1所述的集群任务管理系统，其特征在于，所述分布式缓存中间件具体用于：
接收所述任务处理模块返回的任务处理信息并存储，判断当前存储的任务处理信息是否达到发送阈值，如果是，将当前存储的任务处理信息发送至所述任务调度中心。
7.如权利要求1所述的集群任务管理系统，其特征在于，所述任务处理模块还用于：根据信息的查看紧急程度对产生的任务处理信息进行紧急程度标记；
则所述分布式缓存中间件还用于：
对接收到的任务处理信息根据紧急程度标识进行筛选；
当所述任务处理信息中存在紧急信息时，将所述紧急信息实时发送至所述任务调度中心。
8.如权利要求1所述的集群任务管理系统，其特征在于，所述分布式缓存中间件还用于：
对接收到的任务处理信息根据节点进行归类整理，将各节点产生的任务处理信息依次发送至所述任务调度中心。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811013864.1A CN109271243B (zh) | 2018-08-31 | 2018-08-31 | 一种集群任务管理系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811013864.1A CN109271243B (zh) | 2018-08-31 | 2018-08-31 | 一种集群任务管理系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109271243A CN109271243A (zh) | 2019-01-25 |
| CN109271243B true CN109271243B (zh) | 2021-09-17 |
Family
ID=65154977
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811013864.1A Active CN109271243B (zh) | 2018-08-31 | 2018-08-31 | 一种集群任务管理系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109271243B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110661844A (zh) * | 2019-08-16 | 2020-01-07 | 北京旷视科技有限公司 | 自动发布调度系统、方法和存储介质 |
| CN110750349B (zh) * | 2019-10-26 | 2022-07-29 | 武汉中海庭数据技术有限公司 | 一种分布式任务调度方法及系统 |
| CN111400027A (zh) * | 2019-11-15 | 2020-07-10 | 杭州海康威视系统技术有限公司 | 一种分布式任务处理方法、装置及系统 |
| CN112492579B (zh) * | 2020-12-16 | 2022-05-27 | 杭州东方通信软件技术有限公司 | 码号业务开通方法及编排平台 |
| US11762708B2 (en) | 2021-06-21 | 2023-09-19 | International Business Machines Corporation | Decentralized resource scheduling |
| CN115904738B (zh) * | 2023-01-05 | 2023-06-06 | 摩尔线程智能科技(北京)有限责任公司 | 数据处理装置集群的管理系统和控制方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103942098A (zh) * | 2014-04-29 | 2014-07-23 | 国家电网公司 | 一种任务处理系统和方法 |
| CN105824810A (zh) * | 2015-01-04 | 2016-08-03 | 中国移动通信集团河北有限公司 | 一种Hadoop集群系统及数据处理方法 |
| CN106897947A (zh) * | 2017-01-04 | 2017-06-27 | 上海易谷网络科技有限公司 | 一种基于云平台的多租户服务快速部署方法 |
| CN107025139A (zh) * | 2017-03-21 | 2017-08-08 | 北京天云融创软件技术有限公司 | 一种基于云计算的高性能计算调度框架 |
| CN107920104A (zh) * | 2016-10-11 | 2018-04-17 | 天脉聚源（北京）科技有限公司 | 一种集群服务器缓存负载均衡的方法和系统 |
| CN107995026A (zh) * | 2017-11-16 | 2018-05-04 | 中国银行股份有限公司 | 基于中间件的管控方法、管理节点、受管节点及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9342376B2 (en) * | 2012-06-27 | 2016-05-17 | Intel Corporation | Method, system, and device for dynamic energy efficient job scheduling in a cloud computing environment |
-
2018
- 2018-08-31 CN CN201811013864.1A patent/CN109271243B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103942098A (zh) * | 2014-04-29 | 2014-07-23 | 国家电网公司 | 一种任务处理系统和方法 |
| CN105824810A (zh) * | 2015-01-04 | 2016-08-03 | 中国移动通信集团河北有限公司 | 一种Hadoop集群系统及数据处理方法 |
| CN107920104A (zh) * | 2016-10-11 | 2018-04-17 | 天脉聚源（北京）科技有限公司 | 一种集群服务器缓存负载均衡的方法和系统 |
| CN106897947A (zh) * | 2017-01-04 | 2017-06-27 | 上海易谷网络科技有限公司 | 一种基于云平台的多租户服务快速部署方法 |
| CN107025139A (zh) * | 2017-03-21 | 2017-08-08 | 北京天云融创软件技术有限公司 | 一种基于云计算的高性能计算调度框架 |
| CN107995026A (zh) * | 2017-11-16 | 2018-05-04 | 中国银行股份有限公司 | 基于中间件的管控方法、管理节点、受管节点及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109271243A (zh) | 2019-01-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109271243B (zh) | 一种集群任务管理系统 | |
| CN109714192B (zh) | 一种监控云平台的监控方法及系统 | |
| CA2753019C (en) | Monitoring of distributed applications | |
| CN108776934B (zh) | 分布式数据计算方法、装置、计算机设备及可读存储介质 | |
| US8949847B2 (en) | Apparatus and method for managing resources in cluster computing environment | |
| CA2503987C (en) | System and method for performance management in a multi-tier computing environment | |
| US10318333B2 (en) | Optimizing allocation of virtual machines in cloud computing environment | |
| US11838384B2 (en) | Intelligent scheduling apparatus and method | |
| WO1998058501A1 (en) | A telecommunications performance management system | |
| CN103905533A (zh) | 基于云存储的分布式告警监控方法和系统 | |
| CN110266544B (zh) | 一种云平台微服务化服务失败的原因定位的装置及方法 | |
| US9886337B2 (en) | Quorum based distributed anomaly detection and repair using distributed computing by stateless processes | |
| CN113590437B (zh) | 一种告警信息处理方法、装置、设备和介质 | |
| CN111984505B (zh) | 一种运维数据采集装置及采集方法 | |
| CN107819632A (zh) | 一种基于性能监控系统和Docker Swarm的动态负载均衡集群系统 | |
| CN111258760A (zh) | 一种平台管理方法、系统、装置及存储介质 | |
| CN113672500A (zh) | 深度学习算法的测试方法、装置、电子装置和存储介质 | |
| CN107046581A (zh) | 一种服务运行状态的监测方法、装置及服务器 | |
| CN106899659B (zh) | 分布式系统及其管理方法和管理装置 | |
| CN117370053A (zh) | 一种面向信息系统业务运行全景监测方法及系统 | |
| CN112307046A (zh) | 数据采集方法和装置、计算机可读存储介质、电子设备 | |
| CN204425400U (zh) | 应用服务器系统 | |
| EP2828761A1 (en) | A method and system for distributed computing of jobs | |
| CN111381921B (zh) | 一种基于Ambari的前后端分离系统和方法 | |
| CN114490237A (zh) | 基于多数据来源的运维监测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |