CN110858848B - 一种集群系统的任务资源的纠正方法及装置 - Google Patents
一种集群系统的任务资源的纠正方法及装置 Download PDFInfo
- Publication number
- CN110858848B CN110858848B CN201810967097.1A CN201810967097A CN110858848B CN 110858848 B CN110858848 B CN 110858848B CN 201810967097 A CN201810967097 A CN 201810967097A CN 110858848 B CN110858848 B CN 110858848B
- Authority
- CN
- China
- Prior art keywords
- task
- resource
- standard
- preset
- resources
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/51—Discovery or management thereof, e.g. service location protocol [SLP] or web services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请实施例提供了一种集群系统的任务资源的纠正方法及装置，应用于集群系统中的计算节点，该方法包括：将待处理任务的任务属性作为待匹配的任务属性，并在预设的任务资源表格中查找与该待匹配的任务属性相匹配的任务属性，任务资源表格中的任务属性对应有标准任务资源；将相匹配的任务属性对应的标准任务资源与预设任务资源进行比较；如果相匹配的任务属性对应的标准任务资源与预设任务资源不相等，将相匹配的任务属性对应的标准任务资源上传至集群系统中的管理节点，以使管理节点将预设任务资源更新为相匹配的任务属性对应的标准任务资源。这样避免了人为设定的任务资源存在一定误差的情况，进而提高计算节点的资源的利用率。
Description
技术领域
本发明涉及计算机技术领域，特别是涉及一种集群系统的任务资源的纠正方法及装置。
背景技术
随着计算服务规模的扩大，为其提供支持的系统逐步发展为服务器集群的模式。例如，一种提供集群分析服务的集群系统，该集群系统是一组相互独立的、通过高速网络互连的计算机。集群系统中的各个计算机可以称为各个节点，可以包括一个管理节点和若干计算节点。管理节点用于调度各个任务，计算节点用于向管理节点申请任务，分析并处理管理节点所分配的任务，以及定时上报所处理的任务的运行状态。
当管理节点调度各个任务时，可以为每个任务指定其在计算节点中所使用的资源。其中，每个任务在计算节点中所使用的资源是由工作人员根据经验设定的，并存储在管理节点内。由于人为设定的资源存在一定的误差，例如，设定的资源会存在过高或者过低的情况，降低了计算节点的资源的利用率。因此，当计算节点获取到任务后，需要一种纠正方法能够纠正所分配的用于处理该任务的资源。
发明内容
本申请实施例的目的在于提供一种集群系统的任务资源的纠正方法及装置，以纠正任务在计算节点中所使用的资源，提高计算节点的资源的利用率。具体技术方案如下：
第一方面，本申请实施例提供了一种集群系统的任务资源的纠正方法，应用于所述集群系统中的计算节点，所述方法包括：
获取待处理任务的预设任务资源和任务属性，将所述任务属性作为待匹配的任务属性；
将所述待匹配的任务属性与预设的任务资源表格中的任务属性进行匹配，所述任务资源表格中包括多种任务属性，以及所述多种任务属性分别对应的标准任务资源，所述标准任务资源为通过历史测试或计算得到的，处理不同任务属性的任务时，所需要的资源；
如果所述任务资源表格中存在与所述待匹配的任务属性相匹配的任务属性，将所述相匹配的任务属性对应的标准任务资源与所述预设任务资源进行比较；
如果所述相匹配的任务属性对应的标准任务资源与所述预设任务资源不相等，将所述相匹配的任务属性对应的标准任务资源上传至所述集群系统中的管理节点，以使所述管理节点将所述预设任务资源更新为所述相匹配的任务属性对应的标准任务资源。
可选的，所述如果所述相匹配的任务属性对应的标准任务资源与所述预设任务资源不相等，将所述相匹配的任务属性对应的标准任务资源上传至所述集群系统中的管理节点，包括：
如果所述相匹配的任务属性对应的标准任务资源大于所述预设任务资源，将所述相匹配的任务属性对应的标准任务资源上传至所述集群系统中的管理节点。
可选的，还包括：
如果所述相匹配的任务属性对应的标准任务资源大于所述预设任务资源，将所述待处理任务的任务状态设置为错误状态，以及将所述错误状态的类型设置为资源不匹配类型；
如果所述相匹配的任务属性对应的标准任务资源等于或小于所述预设任务资源，将所述待处理任务的任务状态设置为正常状态。
可选的，在设置所述待处理任务的任务状态后，所述方法还包括：
将所述待处理任务的任务状态上传至所述管理节点，以使所述管理节点判断出所述任务状态为错误状态，且该错误状态的类型为资源不匹配类型时，将所述预设任务资源更新为所述相匹配的任务属性对应的标准任务资源。
可选的，所述获取待处理任务的预设任务资源和任务属性的步骤，包括：
接收管理节点发送的任务描述信息；
通过解析所述任务描述信息，获取所述任务描述信息中的预设任务资源和任务标识；
获取所述任务标识表示的待处理任务；
通过解码所述待处理任务，获取所述待处理任务的任务属性。
第二方面，本申请实施例提供了一种集群系统的任务资源的纠正方法，应用于所述集群系统中的管理节点，所述方法包括：
所述集群系统中的计算节点发送任务描述信息，所述任务描述信息中包含预设任务资源和任务标识，用于由所述计算节点确定所述任务标识表示的待处理任务的标准任务资源；
接收所述计算节点当确定所述标准任务资源与所述预设任务资源不相等时，上传的所述待处理任务的标准任务资源；
将所述预设任务资源更新为接收的所述标准任务资源。
可选的，所述接收所述计算节点当确定所述标准任务资源与所述预设任务资源不相等时，上传的所述待处理任务的标准任务资源，包括：
接收所述计算节点当确定所述标准任务资源大于所述预设任务资源时，上传的所述待处理任务的标准任务资源。
可选的，还包括：
接收所述计算节点上传的所述待处理任务的任务状态，当所述标准任务资源大于所述预设任务资源时，所述任务状态为错误状态，当所述标准任务资源等于或小于所述预设任务资源时，所述任务状态为正常状态；
如果所述任务状态为错误状态，且所述错误状态的类型为资源不匹配类型，将所述预设任务资源更新为所述标准任务资源。
第三方面，本申请实施例提供了一种集群系统的任务资源的纠正装置，应用于所述集群系统中的计算节点，所述装置包括：
获取模块，用于获取待处理任务的预设任务资源和任务属性，将所述任务属性作为待匹配的任务属性；
匹配模块，用于将所述待匹配的任务属性与预设的任务资源表格中的任务属性进行匹配，所述任务资源表格中包括多种任务属性，以及所述多种任务属性分别对应的标准任务资源，所述标准任务资源为通过历史测试或计算得到的，处理不同任务属性的任务时，所需要的资源；
比较模块，用于如果所述任务资源表格中存在与所述待匹配的任务属性相匹配的任务属性，将所述相匹配的任务属性对应的标准任务资源与所述预设任务资源进行比较；
第一上传模块，用于如果所述相匹配的任务属性对应的标准任务资源与所述预设任务资源不相等，将所述相匹配的任务属性对应的标准任务资源上传至所述集群系统中的管理节点，以使所述管理节点将所述预设任务资源更新为所述相匹配的任务属性对应的标准任务资源。
可选的，所述第一上传模块，具体用于：
如果所述相匹配的任务属性对应的标准任务资源大于所述预设任务资源，将所述相匹配的任务属性对应的标准任务资源上传至所述集群系统中的管理节点。
可选的，还包括：
第一设置模块，用于如果所述相匹配的任务属性对应的标准任务资源大于所述预设任务资源，将所述待处理任务的任务状态设置为错误状态，以及将所述错误状态的类型设置为资源不匹配类型；
第二设置模块，用于如果所述相匹配的任务属性对应的标准任务资源等于或小于所述预设任务资源，将所述待处理任务的任务状态设置为正常状态。
可选的，还包括：
第二上传模块，用于将所述待处理任务的任务状态上传至所述管理节点，以使所述管理节点判断出所述任务状态为错误状态，且该错误状态的类型为资源不匹配类型时，将所述预设任务资源更新为所述相匹配的任务属性对应的标准任务资源。
可选的，所述获取模块，包括：
接收子模块，用于接收管理节点发送的任务描述信息；
第一获取子模块，用于通过解析所述任务描述信息，获取所述任务描述信息中的预设任务资源和任务标识；
第二获取子模块，用于获取所述任务标识表示的待处理任务；
第三获取子模块，用于通过解码所述待处理任务，获取所述待处理任务的任务属性。
第四方面，本申请实施例提供了一种集群系统的任务资源的纠正装置，应用于所述集群系统中的管理节点，所述装置包括：
发送模块，用于向所述集群系统中的计算节点发送任务描述信息，所述任务描述信息中包含预设任务资源和任务标识，用于由所述计算节点确定所述任务标识表示的待处理任务的标准任务资源；
第一接收模块，用于接收所述计算节点当确定所述标准任务资源与所述预设任务资源不相等时，上传的所述待处理任务的标准任务资源；
第一更新模块，用于将所述预设任务资源更新为接收的所述标准任务资源。
可选的，所述第一接收模块，具体用于：
接收所述计算节点当确定所述标准任务资源大于所述预设任务资源时，上传的所述待处理任务的标准任务资源。
可选的，还包括：
第二接收模块，用于接收所述计算节点上传的所述待处理任务的任务状态，当所述标准任务资源大于所述预设任务资源时，所述任务状态为错误状态，当所述标准任务资源等于或小于所述预设任务资源时，所述任务状态为正常状态；
第二更新模块，用于如果所述任务状态为错误状态，且所述错误状态的类型为资源不匹配类型，将所述预设任务资源更新为所述标准任务资源。
第五方面，本申请实施例还提供了一种集群系统中的计算节点，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序，实现上述任一应用于计算节点的集群系统的任务资源的纠正方法的步骤。
第六方面，本发明实施还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一应用于计算节点的集群系统的任务资源的纠正方法的步骤。
第七方面，本申请实施例还提供了一种集群系统中的管理节点，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序，实现上述任一应用于管理节点的集群系统的任务资源的纠正方法的步骤。
第八方面，本发明实施还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一应用于管理节点的集群系统的任务资源的纠正方法的步骤。
第九方面，本发明实施还提供了一种集群系统，所述集群系统包括：计算节点和管理节点；
所述计算节点用于实现上述任一应用于计算节点的集群系统的任务资源的纠正方法；
所述管理节点用于实现上述任一应用于管理节点的集群系统的任务资源的纠正方法。
本申请实施例提供的一种集群系统的任务资源的纠正方法及装置，可以基于待处理任务的任务属性信息，在预先设置的任务资源表格中，查找该待处理任务在计算节点中所使用的标准任务资源，并将该标准任务资源与预设任务资源比较，如果两者不相等，则将该标准任务资源上传至管理节点，以使管理节点将预设任务资源更新为该标准任务资源，避免了人为设定的任务资源存在一定误差的情况，进而提高计算节点的资源的利用率。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种集群系统的任务资源的纠正方法的流程图；
图2为本申请实施例提供的一种集群系统的任务资源的纠正方法的另一流程图；
图3为本申请实施例提供的一种集群系统的任务资源的纠正方法的另一流程图；
图4为本申请实施例提供的一种集群系统的任务资源的纠正方法的另一流程图；
图5为本申请实施例提供的一种集群系统的任务资源的纠正方法的另一流程图；
图6为本申请实施例提供的一种集群系统的任务资源的纠正装置的结构示意图；
图7为本申请实施例提供的一种集群系统的任务资源的纠正装置的另一结构示意图；
图8为本申请实施例提供的一种集群系统中的计算节点的结构示意图；
图9为本申请实施例提供的一种集群系统中的管理节点的结构示意图。
具体实施方式
为了提高计算节点的资源的利用率，本申请实施例提供了一种集群系统的任务资源的纠正方法及装置。
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本申请实施例中，集群系统是一组相互独立的、通过高速网络互连的计算机，该集群系统的中各个计算机可以称为各个节点，可以包括一个管理节点和若干计算节点。其中，管理节点用于调度各个任务，计算节点用于向管理节点申请任务，分析并处理管理节点所分配的任务，以及定时上报所处理的任务的运行状态。
如图1所示，本申请实施例提供了一种集群系统的任务资源的纠正方法，应用于集群系统中的计算节点，该方法包括：
S101，获取待处理任务的预设任务资源和任务属性，将该任务属性作为待匹配的任务属性。
具体的，在本申请实施例中，计算节点可以采用以下方法获取待处理任务的预设任务资源和任务属性：
在本申请实施例中，计算节点可以向管理节点发送任务申请请求，以使管理节点响应该任务申请请求后，向计算节点发送待处理任务的任务描述信息。由于管理节点可以将任务描述信息封装到报文中发送给计算节点，且该任务描述信息中包含预设任务资源和任务标识。即当计算节点接收到管理节点发送的任务描述信息后，可以通过解析该任务描述信息，获取任务描述信息中的预设任务资源和任务标识。然后计算节点可以获取上述任务标识表示的待处理任务，并通过解码待处理任务，获取该待处理任务的任务属性。
其中，预设任务资源是由工作人员根据经验设定的，并存储在管理节点内，以使管理节点调度待处理任务时，将该预设任务资源设定为用于处理该待处理任务所使用的资源。待处理任务的任务属性是指待处理任务所具有的参数信息，能够反应出该待处理任务的特征，例如，任务属性可以是该待处理任务的类型、需要处理的数据量、当待处理任务为视频图像有关的任务时，任务属性还可以是待处理的视频图像的分辨率等等。
在本申请实施例中，可以将该待处理任务的任务属性作为待匹配的任务属性。
S102，将待匹配的任务属性与预设的任务资源表格中的任务属性进行匹配。
其中，任务资源表格中包括多种任务属性，以及多种任务属性分别对应的标准任务资源，标准任务资源为通过历史测试或计算得到的，处理不同任务属性的任务时，所需要的资源。
任务属性可以反应出待处理任务的特征，所以，当完成不同任务属性的待处理任务时，所需要使用的任务资源也不相同。例如，任务属性可以是待处理的视频图像所具有的不同的分辨率，当分辨率高时，则相应的需要更多的任务资源，如较多的内存等来完成待处理任务；当分辨率较低时，则相应的只需要较少的任务资源，就可以完成待处理任务。
在本发明实施例中，可以预先采用具有不同任务属性的样本任务或实际任务进行测试或者计算，从而确定出完成具有不同任务属性的任务时，实际所需要用到的任务资源，该任务资源可以作为标准任务资源。
针对每一种任务属性都预先进行相应的测试或计算，就能够得到每一种任务属性对应的标准任务资源，从而形成任务资源表格。在该任务资源表格中，可以记录有每一种任务属性所对应的标准任务资源。
在本申请实施例中，计算节点可以将该待匹配的任务属性依次与任务资源表格中的任务属性进行匹配，判断任务资源表格中是否存在与该待匹配的任务属性相匹配的任务属性。例如，任务资源表格中的任务属性可以为任务的分辨率，且不同的分辨率对应有标准任务资源，即获取的待匹配的任务属性可以为待匹配的分辨率，则可以将待匹配的分辨率与任务资源表格中的分辨率进行匹配。
在本申请实施例中，预设的任务资源表格可以存储在管理节点的内存中，当计算节点启动后，可以直接从管理节点中下载任务资源表格，并存储在计算节点的内存中。如果管理节点内存储的任务资源表格更新，则更新后的任务资源表格的版本号会发生改变。由于管理节点可以定时将预设的任务资源表格的版本号发送至计算节点，计算节点可以将接收到的任务资源表格的版本号与自身内存中存储的任务资源表格的版本号进行对比，如果不一致，则表明管理节点内存储的任务资源表格为更新后的任务资源表格，则计算节点可以直接从管理节点内下载更新后的任务资源表格，并将更新前的任务资源表格删除。
S103，如果任务资源表格中存在与待匹配的任务属性相匹配的任务属性，将相匹配的任务属性对应的标准任务资源与预设任务资源进行比较。
在本申请实施例中，由于任务资源表格中的任务属性对应有标准任务资源，则计算节点可以比较该相匹配的任务属性对应的标准任务资源与预设任务资源，以判断该预设任务资源是否为待处理任务的标准任务资源。
S104，如果相匹配的任务属性对应的标准任务资源与预设任务资源不相等，将相匹配的任务属性对应的标准任务资源上传至集群系统中的管理节点，以使管理节点将预设任务资源更新为相匹配的任务属性对应的标准任务资源。
标准任务资源与预设任务资源不相等，可以是标准任务资源大于或者小于预设任务资源。
当标准任务资源大于预设任务资源时，则表示所分配的预设任务资源少于任务资源表格中相匹配的任务属性对应的标准任务资源。即该待处理任务采用预设任务资源进行处理时，可能会由于资源不足而导致无法正常运行等各类问题。例如，预设任务资源可以为分配内存50M，而标准任务资源为分配内存60M。显然，标准任务资源大于预设任务资源，所分配的预设任务资源不足以执行待处理任务。
当标准任务资源小于预设任务资源时，则表示所分配的预设任务资源多于任务资源表格中相匹配的任务属性对应的标准任务资源。该待处理任务可以正常执行，但是在一定程度上造成了资源的浪费。例如，预设任务资源可以为分配内存50M，而标准任务资源为分配内存40M。显然，标准任务资源小于预设任务资源，所分配的预设任务资源足够执行待处理任务，但造成了内存的浪费。
所以在本申请实施例中，如果相匹配的任务属性对应的标准任务资源与预设任务资源不相等，计算节点将相匹配的任务属性对应的标准任务资源上传至集群系统中的管理节点，以使管理节点将预设任务资源更新为相匹配的任务属性对应的标准任务资源。也即是，管理节点下次调度该待处理任务时，可以将该相匹配的任务属性对应的标准任务资源发送给计算节点，作为该待处理任务在计算节点中运行时所使用的资源，以确保该待处理任务可以在计算节点中正常运行，并且保证了资源的有效使用。同时，计算节点可以接收到由管理节点发送的任务删除请求，并通过响应接收到的任务删除请求，将待处理任务进行删除。
本申请实施例提供的一种集群系统的任务资源的纠正方法，可以基于待处理任务的任务属性信息，在预先设置的任务资源表格中，查找该待处理任务在计算节点中所使用的标准任务资源，并将该标准任务资源与预设任务资源比较，
如果两者不相等，则将该标准任务资源上传至管理节点，以使管理节点将预设任务资源更新为该标准任务资源，避免了人为设定的任务资源存在一定误差的情况，进而提高计算节点的资源的利用率。
结合上述的实施例，在实际应用中，在部分情况下计算节点只要能够正常的执行待处理任务即可，所以可选的，在本发明实施例提供的集群系统的任务资源的纠正方法中，S104，如果相匹配的任务属性对应的标准任务资源与预设任务资源不相等，将相匹配的任务属性对应的标准任务资源上传至集群系统中的管理节点，可以包括：
如果相匹配的任务属性对应的标准任务资源大于预设任务资源，将相匹配的任务属性对应的标准任务资源上传至所述集群系统中的管理节点。
如果相匹配的任务属性对应的标准任务资源大于预设任务资源，则表示所分配的预设任务资源不足以执行待处理任务。只要在该情况下，才需要将相匹配的任务属性对应的标准任务资源上传至所述集群系统中的管理节点。以使管理节点将预设任务资源更新为相匹配的任务属性对应的标准任务资源。在后续对待处理任务分配预设任务资源时，能够使得该预设任务资源能够使得计算节点正常执行。
而在相匹配的任务属性对应的标准任务资源小于或等于预设任务资源时，不再向管理节点上传标准任务资源，从而减少了管理节点的工作量。并且计算节点能够及时的对待处理任务进行处理，不再需要进行对预设任务资源进行修正，提高了效率。
如图2所示，本申请实施例提供了一种集群系统的任务资源的纠正方法，应用于集群系统中的计算节点，该方法包括：
S201，获取待处理任务的预设任务资源和任务属性，将该任务属性作为待匹配的任务属性。
S202，将待匹配的任务属性与预设的任务资源表格中的任务属性进行匹配。
S203，如果任务资源表格中存在与待匹配的任务属性相匹配的任务属性，将相匹配的任务属性对应的标准任务资源与预设任务资源进行比较。如果相匹配的任务属性对应的标准任务资源大于预设任务资源，则执行步骤S204；如果相匹配的任务属性对应的标准任务资源等于或小于预设任务资源，则执行步骤S206。
S204，将相匹配的任务属性对应的标准任务资源上传至集群系统中的管理节点。
S205，将待处理任务的任务状态设置为错误状态，以及将错误状态的类型设置为资源不匹配类型。
在本申请实施例中，当相匹配的任务属性对应的标准任务资源大于预设任务资源时，则表明待处理任务在计算节点中正常运行时实际所需要使用的资源，大于预设任务资源，即计算节点可以将待处理任务的任务状态设置为错误状态，且将错误状态的类型设置为资源不匹配类型。
S206，将待处理任务的任务状态设置为正常状态。
S207，将待处理任务的任务状态上传至管理节点，以使管理节点判断出任务状态为错误状态，且该错误状态的类型为资源不匹配类型时，将预设任务资源更新为相匹配的任务属性对应的标准任务资源。
在本申请实施例中，管理节点将预设任务资源更新为相匹配的任务属性对应的标准任务资源，也即是，管理节点下次调度该待处理任务时，可以将该标准任务资源发送给计算节点，作为该待处理任务在计算节点中运行时所使用的资源，以确保该待处理任务可以在计算节点中正常运行。同时，计算节点可以接收到由管理节点发送的任务删除请求，并通过响应接收到的任务删除请求，将待处理任务进行删除。
上述步骤S201-S204与图1所示实施例中步骤S101-S104基本相同，在此不进行赘述。
本申请实施例提供的一种集群系统的任务资源的纠正方法，可以基于待处理任务的任务属性信息，在预先设置的任务资源表格中，查找该待处理任务在计算节点中所使用的标准任务资源，并将该标准任务资源与预设任务资源比较，如果该标准任务资源大于预设任务资源，则将该标准任务资源上传至管理节点，以使管理节点将预设任务资源更新为该标准任务资源，避免了人为设定的任务资源存在一定误差的情况，进而提高计算节点的资源的利用率。
如图3所示，本申请实施例提供了一种集群系统的任务资源的纠正方法，应用于集群系统中的管理节点，该方法包括：
S301，向集群系统中的计算节点发送任务描述信息，任务描述信息中包含预设任务资源和任务标识，用于由计算节点确定任务标识表示的待处理任务的标准任务资源。
其中，待处理任务的标准任务资源为处理该待处理任务实际所使用的资源。预设任务资源是由工作人员根据经验设定的，并存储在管理节点内，以使管理节点调度待处理任务时，将该预设任务资源设定为用于处理该待处理任务所使用的资源。
在本申请实施例中，计算节点可以通过解码由任务标识表示的待处理任务，获取待处理任务的任务属性，并将该任务属性作为待匹配的任务属性，与预设的任务资源表格中的任务属性进行匹配。由于任务资源表格中的任务属性对应有标准任务资源，则如果任务资源表格中存在与待匹配的任务属性相匹配的任务属性，则该相匹配的任务属性对应的标准任务资源确定为待处理任务的标准任务资源。
例如，任务资源表格中的任务属性可以为任务的分辨率，且不同的分辨率对应有标准任务资源，即获取的待匹配的任务属性可以为待匹配的分辨率，则可以将待匹配的分辨率与任务资源表格中的分辨率进行匹配，如果预设任务资源表格中存在与待匹配的分辨率相匹配的分辨率，则将该相匹配的分辨率对应的标准任务资源确定为待处理任务的标准任务资源。
S302，接收计算节点当确定标准任务资源与预设任务资源不相等时，上传的待处理任务的标准任务资源。
在本申请实施例中，当计算节点判断出标准任务资源与预设任务资源不相等时，可以将该待处理任务的标准任务资源上传至管理节点中。若标准任务资源与预设任务资源相等时，则待处理任务可以在计算节点中正常运行。
S303，将预设任务资源更新为接收的标准任务资源。
在本申请实施例中，管理节点将预设任务资源更新为接收的标准任务资源，也即是，管理节点下次调度该待处理任务时，可以将该标准任务资源发送给计算节点，作为该待处理任务在计算节点中运行时所使用的资源，以确保该待处理任务可以在计算节点中正常运行。同时，管理节点将预设任务资源更新为接收的标准任务资源后，可以向计算节点发送任务删除请求，以使计算节点响应接收到的任务删除请求后，将待处理任务进行删除。
本申请实施例提供的一种集群系统的任务资源的纠正方法，管理节点可以通过向计算节点发送预设任务资源和任务标识，以使计算节点确定该任务标识表示的待处理任务的标准任务资源，并接收计算节点当确定标准任务资源与预设任务资源不相等时，上传的待处理任务的标准任务资源。将预设任务资源更新为接收到的标准任务资源。避免了人为设定的任务资源存在一定误差的情况，进而提高计算节点的资源的利用率。
同样在实际应用中，在部分情况下计算节点只要能够正常的执行待处理任务即可，所以可选的，S302，接收计算节点当确定标准任务资源与预设任务资源不相等时，上传的待处理任务的标准任务资源，可以包括：
接收计算节点当确定标准任务资源大于预设任务资源时，上传的待处理任务的标准任务资源。
计算节点只有在当确定标准任务资源大于预设任务资源时，由于待处理任务无法正常执行，所以需要上传的待处理任务的标准任务资源。如果标准任务资源小于或等于预设任务资源，则计算节点能够正常执行该待处理任务，所以可以不再向管理节点上传待处理任务的标准任务资源，从而减少了管理节点的工作量。
如图4所示，本申请实施例提供了一种集群系统的任务资源的纠正方法，应用于集群系统中的管理节点，该方法包括：
S401，向集群系统中的计算节点发送任务描述信息，任务描述信息中包含预设任务资源和任务标识，用于由计算节点确定任务标识表示的待处理任务的标准任务资源。
S402，接收计算节点当确定标准任务资源大于预设任务资源时，上传的待处理任务的标准任务资源。
S403，接收计算节点上传的待处理任务的任务状态，当标准任务资源大于预设任务资源时，任务状态为错误状态，当标准任务资源等于或小于预设任务资源时，任务状态为正常状态。
在本申请实施例中，如果待处理任务的标准任务资源大于预设任务资源，则表明待处理任务在计算节点中正常运行时实际所使用的资源大于预设任务资源，即计算节点可以将待处理任务的任务状态设置为错误状态，且将错误状态的类型设置为资源不匹配类型。如果待处理任务的标准任务资源等于或小于预设任务资源，则表明预设任务资源足够支持该待处理任务在计算节点中正常运行，即计算节点可以将该待处理任务的任务状态设置为正常状态。
S404，如果任务状态为错误状态，且错误状态的类型为资源不匹配类型，将预设任务资源更新为标准任务资源。
在本申请实施例中，管理节点可以判断接收到的任务状态是否为错误状态，如果任务状态为错误状态，且错误状态的类型为资源不匹配类型，则管理节点可以将预设任务资源更新为标准任务资源。也即是，管理节点下次调度该待处理任务时，可以将该标准任务资源发送给计算节点，作为该待处理任务在计算节点中运行时所使用的资源，以确保该待处理任务可以在计算节点中正常运行。同时，管理节点将预设任务资源更新为接收的标准任务资源后，可以向计算节点发送任务删除请求，以使计算节点响应接收到的任务删除请求后，将待处理任务进行删除。
上述步骤S401、S402与图3所示实施例中步骤S301、S302基本相同，在此不进行赘述。
本申请实施例提供的一种集群系统的任务资源的纠正方法，管理节点可以通过向计算节点发送预设任务资源和任务标识，以使计算节点确定该任务标识表示的待处理任务的标准任务资源，并接收计算节点当确定标准任务资源大于预设任务资源时，上传的待处理任务的标准任务资源。将预设任务资源更新为接收到的标准任务资源。避免了人为设定的任务资源存在一定误差的情况，进而提高计算节点的资源的利用率。
如图5所示，本申请实施例提供了一种集群系统的任务资源的纠正方法，该方法包括：
S501，管理节点向集群系统中的计算节点发送任务描述信息，任务描述信息中包含预设任务资源和任务标识，用于由计算节点确定任务标识表示的待处理任务的标准任务资源。
S502，计算节点获取任务描述信息中的预设任务资源和任务标识表示的待处理任务的任务属性，将该任务属性作为待匹配的任务属性。
S503，计算节点将待匹配的任务属性与预设的任务资源表格中的任务属性进行匹配。
S504，如果任务资源表格中存在与待匹配的任务属性相匹配的任务属性，计算节点将相匹配的任务属性对应的标准任务资源与预设任务资源进行比较。如果相匹配的任务属性对应的标准任务资源与预设任务资源不相等，则执行步骤S505；如果相匹配的任务属性对应的标准任务资源与预设任务资源相等，则执行步骤S507。
S505，计算节点将相匹配的任务属性对应的标准任务资源上传至集群系统中的管理节点。
S506，计算节点将待处理任务的任务状态设置为错误状态，以及将错误状态的类型设置为资源不匹配类型。
S507，计算节点将待处理任务的任务状态设置为正常状态。
S508，计算节点将待处理任务的任务状态上传至管理节点。
S509，当管理节点确定计算节点上传的待处理任务的任务状态为错误状态，且错误状态的类型为资源不匹配类型，则管理节点将预设任务资源更新为相匹配的任务属性对应的标准任务资源。
上述步骤S502-S508与图2所示实施例中步骤S201-S207基本相同，上述步骤S501、S509与图4所示实施例中步骤S401、S404基本相同，在此不进行赘述。
本申请实施例提供的一种集群系统的任务资源的纠正方法，可以基于待处理任务的任务属性信息，在预先设置的任务资源表格中，查找该待处理任务在计算节点中所使用的标准任务资源，并将该标准任务资源与预设任务资源比较，如果两者不相等，则将该标准任务资源上传至管理节点，以使管理节点将预设任务资源更新为该标准任务资源，避免了人为设定的任务资源存在一定误差的情况，进而提高计算节点的资源的利用率。
如图6所示，本申请实施例提供了一种集群系统的任务资源的纠正装置，应用于集群系统中的计算节点，该装置包括：
获取模块610，用于获取待处理任务的预设任务资源和任务属性，将任务属性作为待匹配的任务属性。
匹配模块620，用于将待匹配的任务属性与预设的任务资源表格中的任务属性进行匹配，任务资源表格中包括多种任务属性，以及多种任务属性分别对应的标准任务资源，标准任务资源为通过历史测试或计算得到的，处理不同任务属性的任务时，所需要的资源。
比较模块630，用于如果任务资源表格中存在与待匹配的任务属性相匹配的任务属性，将相匹配的任务属性对应的标准任务资源与预设任务资源进行比较。
第一上传模块640，用于如果相匹配的任务属性对应的标准任务资源与预设任务资源不相等，将相匹配的任务属性对应的标准任务资源上传至集群系统中的管理节点，以使管理节点将预设任务资源更新为相匹配的任务属性对应的标准任务资源。
本申请实施例提供的一种集群系统的任务资源的纠正装置，可以基于待处理任务的任务属性信息，在预先设置的任务资源表格中，查找该待处理任务在计算节点中所使用的标准任务资源，并将该标准任务资源与预设任务资源比较，如果两者不相等，则将该标准任务资源上传至管理节点，以使管理节点将预设任务资源更新为该标准任务资源，避免了人为设定的任务资源存在一定误差的情况，进而提高计算节点的资源的利用率。
作为本申请实施例的一种实施方式，所述第一上传模块，具体用于：
如果所述相匹配的任务属性对应的标准任务资源大于所述预设任务资源，将所述相匹配的任务属性对应的标准任务资源上传至所述集群系统中的管理节点。
作为本申请实施例的一种实施方式，该装置还包括：
第一设置模块，用于如果相匹配的任务属性对应的标准任务资源大于预设任务资源，将待处理任务的任务状态设置为错误状态，以及将错误状态的类型设置为资源不匹配类型。
第二设置模块，用于如果相匹配的任务属性对应的标准任务资源等于或小于预设任务资源，将待处理任务的任务状态设置为正常状态。
作为本申请实施例的一种实施方式，该装置还包括：
第二上传模块，用于将待处理任务的任务状态上传至管理节点，以使管理节点判断出任务状态为错误状态，且该错误状态的类型为资源不匹配类型时，将预设任务资源更新为相匹配的任务属性对应的标准任务资源。
作为本申请实施例的一种实施方式，上述获取模块610，包括：
接收子模块，用于接收管理节点发送的任务描述信息。
第一获取子模块，用于通过解析任务描述信息，获取任务描述信息中的预设任务资源和任务标识。
第二获取子模块，用于获取任务标识表示的待处理任务。
第三获取子模块，用于通过解码待处理任务，获取待处理任务的任务属性。
本申请实施例提供的一种集群系统的任务资源的纠正装置，可以基于待处理任务的任务属性信息，在预先设置的任务资源表格中，查找该待处理任务在计算节点中所使用的标准任务资源，并将该标准任务资源与预设任务资源比较，若标准任务资源大于预设任务资源，则将该标准任务资源上传至管理节点，以使管理节点将预设任务资源更新为该标准任务资源，避免了人为设定的任务资源存在一定误差的情况，进而提高计算节点的资源的利用率。
如图7所示，本申请实施例提供了一种集群系统的任务资源的纠正装置，应用于集群系统中的管理节点，该装置包括：
发送模块710，用于向集群系统中的计算节点发送任务描述信息，任务描述信息中包含预设任务资源和任务标识，用于由计算节点确定任务标识表示的待处理任务的标准任务资源。
第一接收模块720，用于接收计算节点当确定标准任务资源与预设任务资源不相等时，上传的待处理任务的标准任务资源。
第一更新模块730，用于将预设任务资源更新为接收的标准任务资源。
本申请实施例提供的一种集群系统的任务资源的纠正装置，管理节点可以通过向计算节点发送预设任务资源和任务标识，以使计算节点确定该任务标识表示的待处理任务的标准任务资源，并接收计算节点当确定标准任务资源与预设任务资源不相等时，上传的待处理任务的标准任务资源。将预设任务资源更新为接收到的标准任务资源。避免了人为设定的任务资源存在一定误差的情况，进而提高计算节点的资源的利用率。
作为本申请实施例的一种实施方式，所述第一接收模块，具体用于：
接收所述计算节点当确定所述标准任务资源大于所述预设任务资源时，上传的所述待处理任务的标准任务资源。
作为本申请实施例的一种实施方式，还包括：
第二接收模块，用于接收计算节点上传的待处理任务的任务状态，当标准任务资源大于预设任务资源时，任务状态为错误状态，当标准任务资源等于或小于预设任务资源时，任务状态为正常状态。
第二更新模块，用于如果任务状态为错误状态，且错误状态的类型为资源不匹配类型，将预设任务资源更新为标准任务资源。
本申请实施例提供的一种集群系统的任务资源的纠正装置，管理节点可以通过向计算节点发送预设任务资源和任务标识，以使计算节点确定该任务标识表示的待处理任务的标准任务资源，并接收计算节点当确定标准任务资源与预设任务资源不相等时，上传的待处理任务的标准任务资源。将预设任务资源更新为接收到的标准任务资源。避免了人为设定的任务资源存在一定误差的情况，进而提高计算节点的资源的利用率。
本申请实施例还提供了一种集群系统中的计算节点，如图8所示，包括处理器810、通信接口820、存储器830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。
存储器830，用于存放计算机程序。
处理器810，用于执行存储器830上所存放的程序时，实现如下步骤：
计算节点获取待处理任务的预设任务资源和任务属性，将任务属性作为待匹配的任务属性。
计算节点将待匹配的任务属性与预设的任务资源表格中的任务属性进行匹配，任务资源表格中的任务属性对应有标准任务资源，标准任务资源为处理任务实际所使用的资源。
如果任务资源表格中存在与待匹配的任务属性相匹配的任务属性，计算节点将相匹配的任务属性对应的标准任务资源与预设任务资源进行比较。
如果相匹配的任务属性对应的标准任务资源与预设任务资源不相等，计算节点将相匹配的任务属性对应的标准任务资源上传至集群系统中的管理节点，以使管理节点将预设任务资源更新为相匹配的任务属性对应的标准任务资源。
本申请实施例可以基于待处理任务的任务属性信息，在预先设置的任务资源表格中，查找该待处理任务在计算节点中所使用的标准任务资源，并将该标准任务资源与预设任务资源比较，如果两者不相等，则将该标准任务资源上传至管理节点，以使管理节点将预设任务资源更新为该标准任务资源，避免了人为设定的任务资源存在一定误差的情况，进而提高计算节点的资源的利用率。
上述集群系统中的计算节点提到的通信总线可以是外设部件互连标准(Peripheral Component Interconnect，PCI)总线或扩展工业标准结构(ExtendedIndustry Standard Architecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述计算节点与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
相应的，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行时实现上述任一应用于计算节点的集群系统的任务资源的纠正方法的步骤。
相应的，本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一应用于计算节点的集群系统的任务资源的纠正方法的步骤。
本申请实施例还提供了一种集群系统中的管理节点，如图9所示，包括处理器910、通信接口920、存储器930和通信总线940，其中，处理器910，通信接口920，存储器930通过通信总线940完成相互间的通信。
存储器930，用于存放计算机程序。
处理器910，用于执行存储器930上所存放的程序时，实现如下步骤：
管理节点向集群系统中的计算节点发送任务描述信息，任务描述信息中包含预设任务资源和任务标识，用于由计算节点确定任务标识表示的待处理任务的标准任务资源。
接收计算节点当确定标准任务资源与预设任务资源不相等时，上传的待处理任务的标准任务资源。
将预设任务资源更新为接收的标准任务资源。
本申请实施例中的管理节点可以通过向计算节点发送预设任务资源和任务标识，以使计算节点确定该任务标识表示的待处理任务的标准任务资源，并接收计算节点当确定标准任务资源与预设任务资源不相等时，上传的待处理任务的标准任务资源。将预设任务资源更新为接收到的标准任务资源。避免了人为设定的任务资源存在一定误差的情况，进而提高计算节点的资源的利用率。
在本发明实施例中还提供了一种集群系统，该集群系统包括：计算节点和管理节点。其中，计算节点用于实现上述任一应用于计算节点的集群系统的任务资源的纠正方法。管理节点用于实现上述任一应用于管理节点的集群系统的任务资源的纠正方法。
该集群系统中，计算节点可以为多个，多个计算节点与管理节点之间可以通过网络，如局域网或互联网等实现连接，从而实现相互之间数据信息的传输。
其中计算节点可以基于待处理任务的任务属性信息，在预先设置的任务资源表格中，查找该待处理任务在计算节点中所使用的标准任务资源，并将该标准任务资源与预设任务资源比较，如果两者不相等，则将该标准任务资源上传至管理节点，以使管理节点将预设任务资源更新为该标准任务资源，避免了人为设定的任务资源存在一定误差的情况，进而提高计算节点的资源的利用率。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行时实现上述任一应用于管理节点的集群系统的任务资源的纠正方法的步骤。
本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一应用于管理节点的集群系统的任务资源的纠正方法的步骤。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置/计算节点/管理节点/存储介质/计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (17)
1.一种集群系统的任务资源的纠正方法，应用于所述集群系统中的计算节点，其特征在于，所述方法包括：
获取待处理任务的预设任务资源和任务属性，将所述任务属性作为待匹配的任务属性；
将所述待匹配的任务属性与预设的任务资源表格中的任务属性进行匹配，所述任务资源表格中包括多种任务属性，以及所述多种任务属性分别对应的标准任务资源，所述标准任务资源为通过历史测试或计算得到的，处理不同任务属性的任务时，所需要的资源；
如果所述任务资源表格中存在与所述待匹配的任务属性相匹配的任务属性，将所述相匹配的任务属性对应的标准任务资源与所述预设任务资源进行比较；
如果所述相匹配的任务属性对应的标准任务资源与所述预设任务资源不相等，将所述相匹配的任务属性对应的标准任务资源上传至所述集群系统中的管理节点，以使所述管理节点将所述预设任务资源更新为所述相匹配的任务属性对应的标准任务资源。
2.根据权利要求1所述的方法，其特征在于，所述如果所述相匹配的任务属性对应的标准任务资源与所述预设任务资源不相等，将所述相匹配的任务属性对应的标准任务资源上传至所述集群系统中的管理节点，包括：
如果所述相匹配的任务属性对应的标准任务资源大于所述预设任务资源，将所述相匹配的任务属性对应的标准任务资源上传至所述集群系统中的管理节点。
3.根据权利要求2所述的方法，其特征在于，还包括：
如果所述相匹配的任务属性对应的标准任务资源大于所述预设任务资源，将所述待处理任务的任务状态设置为错误状态，以及将所述错误状态的类型设置为资源不匹配类型；
如果所述相匹配的任务属性对应的标准任务资源等于或小于所述预设任务资源，将所述待处理任务的任务状态设置为正常状态。
4.根据权利要求3所述的方法，其特征在于，在设置所述待处理任务的任务状态后，还包括：
将所述待处理任务的任务状态上传至所述管理节点，以使所述管理节点判断出所述任务状态为错误状态，且该错误状态的类型为资源不匹配类型时，将所述预设任务资源更新为所述相匹配的任务属性对应的标准任务资源。
5.根据权利要求1所述的方法，其特征在于，所述获取待处理任务的预设任务资源和任务属性的步骤，包括：
接收管理节点发送的任务描述信息；
通过解析所述任务描述信息，获取所述任务描述信息中的预设任务资源和任务标识；
获取所述任务标识表示的待处理任务；
通过解码所述待处理任务，获取所述待处理任务的任务属性。
6.一种集群系统的任务资源的纠正方法，应用于所述集群系统中的管理节点，其特征在于，所述方法包括：
向所述集群系统中的计算节点发送任务描述信息，所述任务描述信息中包含预设任务资源和任务标识，用于由所述计算节点确定所述任务标识表示的待处理任务的标准任务资源，所述标准任务资源为通过历史测试或计算得到的，处理不同任务属性的任务时，所需要的资源；
接收所述计算节点当确定所述标准任务资源与所述预设任务资源不相等时，上传的所述待处理任务的标准任务资源；
将所述预设任务资源更新为接收的所述标准任务资源。
7.根据权利要求6所述的方法，其特征在于，所述接收所述计算节点当确定所述标准任务资源与所述预设任务资源不相等时，上传的所述待处理任务的标准任务资源，包括：
接收所述计算节点当确定所述标准任务资源大于所述预设任务资源时，上传的所述待处理任务的标准任务资源。
8.根据权利要求7所述的方法，其特征在于，还包括：
接收所述计算节点上传的所述待处理任务的任务状态，当所述标准任务资源大于所述预设任务资源时，所述任务状态为错误状态，当所述标准任务资源等于或小于所述预设任务资源时，所述任务状态为正常状态；
如果所述任务状态为错误状态，且所述错误状态的类型为资源不匹配类型，将所述预设任务资源更新为所述标准任务资源。
9.一种集群系统的任务资源的纠正装置，应用于所述集群系统中的计算节点，其特征在于，所述装置包括：
获取模块，用于获取待处理任务的预设任务资源和任务属性，将所述任务属性作为待匹配的任务属性；
匹配模块，用于将所述待匹配的任务属性与预设的任务资源表格中的任务属性进行匹配，所述任务资源表格中包括多种任务属性，以及所述多种任务属性分别对应的标准任务资源，所述标准任务资源为通过历史测试或计算得到的，处理不同任务属性的任务时，所需要的资源；
比较模块，用于如果所述任务资源表格中存在与所述待匹配的任务属性相匹配的任务属性，将所述相匹配的任务属性对应的标准任务资源与所述预设任务资源进行比较；
第一上传模块，用于如果所述相匹配的任务属性对应的标准任务资源与所述预设任务资源不相等，将所述相匹配的任务属性对应的标准任务资源上传至所述集群系统中的管理节点，以使所述管理节点将所述预设任务资源更新为所述相匹配的任务属性对应的标准任务资源。
10.根据权利要求9所述的装置，其特征在于，所述第一上传模块，具体用于：
如果所述相匹配的任务属性对应的标准任务资源大于所述预设任务资源，将所述相匹配的任务属性对应的标准任务资源上传至所述集群系统中的管理节点。
11.根据权利要求10所述的装置，其特征在于，还包括：
第一设置模块，用于如果所述相匹配的任务属性对应的标准任务资源大于所述预设任务资源，将所述待处理任务的任务状态设置为错误状态，以及将所述错误状态的类型设置为资源不匹配类型；
第二设置模块，用于如果所述相匹配的任务属性对应的标准任务资源等于或小于所述预设任务资源，将所述待处理任务的任务状态设置为正常状态。
12.根据权利要求11所述的装置，其特征在于，还包括：
第二上传模块，用于将所述待处理任务的任务状态上传至所述管理节点，以使所述管理节点判断出所述任务状态为错误状态，且该错误状态的类型为资源不匹配类型时，将所述预设任务资源更新为所述相匹配的任务属性对应的标准任务资源。
13.根据权利要求9所述的装置，其特征在于，所述获取模块，包括：
接收子模块，用于接收管理节点发送的任务描述信息；
第一获取子模块，用于通过解析所述任务描述信息，获取所述任务描述信息中的预设任务资源和任务标识；
第二获取子模块，用于获取所述任务标识表示的待处理任务；
第三获取子模块，用于通过解码所述待处理任务，获取所述待处理任务的任务属性。
14.一种集群系统的任务资源的纠正装置，应用于所述集群系统中的管理节点，其特征在于，所述装置包括：
发送模块，用于向所述集群系统中的计算节点发送任务描述信息，所述任务描述信息中包含预设任务资源和任务标识，用于由所述计算节点确定所述任务标识表示的待处理任务的标准任务资源，所述标准任务资源为通过历史测试或计算得到的，处理不同任务属性的任务时，所需要的资源；
第一接收模块，用于接收所述计算节点当确定所述标准任务资源与所述预设任务资源不相等时，上传的所述待处理任务的标准任务资源；
第一更新模块，用于将所述预设任务资源更新为接收的所述标准任务资源。
15.根据权利要求14所述的装置，其特征在于，所述第一接收模块，具体用于：
接收所述计算节点当确定所述标准任务资源大于所述预设任务资源时，上传的所述待处理任务的标准任务资源。
16.根据权利要求15所述的装置，其特征在于，还包括：
第二接收模块，用于接收所述计算节点上传的所述待处理任务的任务状态，当所述标准任务资源大于所述预设任务资源时，所述任务状态为错误状态，当所述标准任务资源等于或小于所述预设任务资源时，所述任务状态为正常状态；
第二更新模块，用于如果所述任务状态为错误状态，且所述错误状态的类型为资源不匹配类型，将所述预设任务资源更新为所述标准任务资源。
17.一种集群系统，其特征在于，所述集群系统包括：计算节点和管理节点；
所述计算节点用于实现权利要求1至5中任一项所述的方法步骤；
所述管理节点用于实现权利要求6至8中任一项所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810967097.1A CN110858848B (zh) | 2018-08-23 | 2018-08-23 | 一种集群系统的任务资源的纠正方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810967097.1A CN110858848B (zh) | 2018-08-23 | 2018-08-23 | 一种集群系统的任务资源的纠正方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110858848A CN110858848A (zh) | 2020-03-03 |
| CN110858848B true CN110858848B (zh) | 2022-07-05 |
Family
ID=69635174
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810967097.1A Active CN110858848B (zh) | 2018-08-23 | 2018-08-23 | 一种集群系统的任务资源的纠正方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110858848B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103699440A (zh) * | 2012-09-27 | 2014-04-02 | 北京搜狐新媒体信息技术有限公司 | 一种云计算平台系统为任务分配资源的方法和装置 |
| CN108173905A (zh) * | 2017-12-07 | 2018-06-15 | 北京奇艺世纪科技有限公司 | 一种资源配置方法、装置及电子设备 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106855825B (zh) * | 2015-12-08 | 2020-10-23 | 中国移动通信集团公司 | 一种任务处理方法及其装置 |
| CN108021430B (zh) * | 2016-10-31 | 2021-11-05 | 杭州海康威视数字技术股份有限公司 | 一种分布式任务处理方法及装置 |
| CN108121599A (zh) * | 2016-11-30 | 2018-06-05 | 杭州海康威视数字技术股份有限公司 | 一种资源管理方法、装置及系统 |
| US10552218B2 (en) * | 2017-01-06 | 2020-02-04 | Microsoft Technology Licensing, Llc | Dynamic context of tasks |
| CN107291538B (zh) * | 2017-06-14 | 2020-08-21 | 中国人民解放军信息工程大学 | 面向任务的拟态云构建方法及基于拟态云的任务调度方法、装置、系统 |
| CN107992604B (zh) * | 2017-12-14 | 2020-08-28 | 北京搜狗科技发展有限公司 | 一种任务条目的分发方法及相关装置 |
-
2018
- 2018-08-23 CN CN201810967097.1A patent/CN110858848B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103699440A (zh) * | 2012-09-27 | 2014-04-02 | 北京搜狐新媒体信息技术有限公司 | 一种云计算平台系统为任务分配资源的方法和装置 |
| CN108173905A (zh) * | 2017-12-07 | 2018-06-15 | 北京奇艺世纪科技有限公司 | 一种资源配置方法、装置及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110858848A (zh) | 2020-03-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108153670B (zh) | 一种接口测试方法、装置及电子设备 | |
| CN108255620B (zh) | 一种业务逻辑处理方法、装置、业务服务器及系统 | |
| CN107748790B (zh) | 一种线上服务系统、数据加载方法、装置及设备 | |
| CN108416449B (zh) | 一种运维方法和装置 | |
| CN109298924B (zh) | 定时任务的管理方法、计算机可读存储介质和终端设备 | |
| CN108366012B (zh) | 一种社交关系建立方法、装置及电子设备 | |
| CN112905323B (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| CN112115200B (zh) | 数据同步方法、装置、电子设备及可读存储介质 | |
| CN108255735B (zh) | 关联环境测试方法、电子装置及计算机可读存储介质 | |
| CN115495227A (zh) | 资源配置的方法、装置、存储介质和计算系统 | |
| CN111782502A (zh) | 一种自动化测试的方法及装置 | |
| CN108108126B (zh) | 一种数据处理方法、装置及设备 | |
| CN112437148B (zh) | 业务请求的处理方法、装置、业务服务器及系统 | |
| CN112653736A (zh) | 一种并行回源方法、装置及电子设备 | |
| CN110502486B (zh) | 日志处理方法、装置、电子设备和计算机可读存储介质 | |
| CN110955460A (zh) | 一种服务进程启动方法、装置、电子设备和存储介质 | |
| CN110858848B (zh) | 一种集群系统的任务资源的纠正方法及装置 | |
| CN108810130B (zh) | 一种分配请求规划的方法和装置 | |
| CN114090268B (zh) | 容器管理方法及容器管理系统 | |
| CN116303320A (zh) | 基于日志文件的实时任务管理方法、装置、设备及介质 | |
| CN111400327B (zh) | 一种数据同步方法、装置、电子设备及存储介质 | |
| CN111399754B (zh) | 存储空间的释放方法、装置及分布式系统 | |
| CN104346101A (zh) | 存储空间动态分配系统及方法 | |
| CN108804195B (zh) | 一种页面显示方法、装置、服务器及客户端 | |
| CN111291127A (zh) | 一种数据同步方法、装置、服务器及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |