CN113312166B - 资源处理方法以及装置 - Google Patents

资源处理方法以及装置 Download PDF

Info

Publication number
CN113312166B
CN113312166B CN202110860681.9A CN202110860681A CN113312166B CN 113312166 B CN113312166 B CN 113312166B CN 202110860681 A CN202110860681 A CN 202110860681A CN 113312166 B CN113312166 B CN 113312166B
Authority
CN
China
Prior art keywords
resource
task
clustering result
value
historical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110860681.9A
Other languages
English (en)
Other versions
CN113312166A (zh
Inventor
司书强
刘岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Cloud Computing Ltd
Original Assignee
Alibaba Cloud Computing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Cloud Computing Ltd filed Critical Alibaba Cloud Computing Ltd
Priority to CN202110860681.9A priority Critical patent/CN113312166B/zh
Publication of CN113312166A publication Critical patent/CN113312166A/zh
Application granted granted Critical
Publication of CN113312166B publication Critical patent/CN113312166B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5011—Pool
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5021—Priority

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本说明书实施例提供资源处理方法以及装置，其中所述资源处理方法包括：获取历史任务的任务处理信息，根据所述任务处理信息对所述历史任务进行聚类，生成与各预设任务类别分别对应的聚类结果，根据所述聚类结果包含的历史任务对应的数据处理量值以及资源消耗值，确定目标聚类结果对应的待消耗资源值，所述目标聚类结果为所述聚类结果之一，根据所述待消耗资源值对资源池中的资源进行组别划分，生成与所述目标聚类结果对应的资源组，并建立所述目标聚类结果对应的预设任务类别与所述资源组间的关联关系。

Description

资源处理方法以及装置
技术领域
本说明书实施例涉及计算机技术领域，特别涉及一种资源处理方法。本说明书一个或者多个实施例同时涉及一种资源处理装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序。
背景技术
在互联网领域，各个领域的企业/机构都在追求数字化转型，主要是通过购买大数据平台类产品或者使用开源的大数据平台，以支撑海量数据的分析处理任务。
由于企业/机构的数据量级较大，不同任务的资源需求也可能存在较大差异，例如，大任务计算耗时可以达到小时、天级别，小任务可能只需要几分钟，而大数据平台的整体计算资源是有限的，目前的资源调度模块无法自动合理分配资源，当大数据平台上的任务比较多时，如果大任务在执行过程中独占资源，那么小任务就必须要等待。因此，小任务的响应时间难以得到保证，另一方面资源的利用效率也不高，进而会产生整体任务运行时间过长甚至无法完成的问题，从而严重影响数据结果的生成、影响企业/机构日常的经营分析，要花费大量人力去调整、优化。
发明内容
有鉴于此，本说明书实施例提供了一种资源处理方法。本说明书一个或者多个实施例同时涉及一种资源处理装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序，以解决现有技术中存在的技术缺陷。
根据本说明书实施例的第一方面，提供了一种资源处理方法，包括：
获取历史任务的任务处理信息，根据所述任务处理信息对所述历史任务进行聚类，生成与各预设任务类别分别对应的聚类结果；
根据所述聚类结果包含的历史任务对应的数据处理量值以及资源消耗值，确定目标聚类结果对应的待消耗资源值，所述目标聚类结果为所述聚类结果之一；
根据所述待消耗资源值对资源池中的资源进行组别划分，生成与所述目标聚类结果对应的资源组，并建立所述目标聚类结果对应的预设任务类别与所述资源组间的关联关系。
可选地，所述根据所述聚类结果包含的历史任务对应的数据处理量值以及资源消耗值，确定目标聚类结果对应的待消耗资源值，包括：
根据所述聚类结果包含的历史任务分别对应的数据处理量值以及资源消耗值，确定所述聚类结果中各历史任务对应的数据处理量均值以及第一资源消耗均值；
根据所述数据处理量均值和所述第一资源消耗均值确定目标聚类结果对应的待消耗资源值。
可选地，所述根据所述聚类结果包含的历史任务分别对应的数据处理量值以及资源消耗值，确定所述聚类结果中各历史任务对应的数据处理量均值以及第一资源消耗均值，包括：
确定每个聚类结果包含的历史任务的数量，以及每个历史任务分别对应的数据处理量值以及资源消耗值；
根据所述历史任务的数量以及所述数据处理量值，计算每个聚类结果中各历史任务对应的数据处理量均值；
根据所述历史任务的数量以及所述资源消耗值，计算每个聚类结果中各历史任务对应的第一资源消耗均值。
可选地，所述根据所述数据处理量均值和所述第一资源消耗均值确定目标聚类结果对应的待消耗资源值，包括：
根据所述数据处理量均值和所述第一资源消耗均值，计算每个聚类结果中处理单位比特数据所需的第二资源消耗均值；
根据所述第二资源消耗均值以及聚类结果的数量，计算各聚类结果中，处理单位比特数据所需的第三资源消耗均值；
根据所述第三资源消耗均值、所述数据处理量均值以及目标聚类结果中包含的历史任务的数量，确定所述目标聚类结果对应的待消耗资源值。
可选地，所述根据所述第三资源消耗均值、所述数据处理量均值以及目标聚类结果中包含的历史任务的数量，确定目标聚类结果对应的待消耗资源值，包括：
将所述第三资源消耗均值、所述数据处理量均值以及目标聚类结果中包含的历史任务的数量进行乘积运算，并将运算结果作为所述目标聚类结果对应的待消耗资源值。
可选地，所述根据所述聚类结果包含的历史任务对应的数据处理量值以及资源消耗值，确定目标聚类结果对应的待消耗资源值，包括：
根据每个聚类结果包含的历史任务对应的数据处理量值和/或资源消耗值，确定所述每个聚类结果对应的优先级；
根据所述优先级确定目标聚类结果对应的待消耗资源值。
可选地，所述根据所述任务处理信息对所述历史任务进行聚类，包括：
对所述任务处理信息进行特征向量转化，生成对应的初始特征向量；
对所述初始特征向量进行归一化处理，生成每个历史任务对应的目标特征向量；
基于所述目标特征向量对所述历史任务进行聚类。
可选地，所述资源处理方法，还包括：
接收任务处理请求；
根据所述任务处理请求中携带的待处理任务的任务信息，对所述待处理任务进行聚类，获得所述待处理任务所属的聚类结果；
确定所述待处理任务所属聚类结果对应的预设任务类别，并调用所述预设任务类别关联的资源组中的资源处理所述待处理任务。
可选地，所述确定所述待处理任务所属聚类结果对应的预设任务类别之后，还包括：
判断所述预设任务类别关联的资源组中是否存在空闲资源；
若否，则根据各聚类结果中，处理单位比特数据所需的第三资源消耗均值、每个聚类结果中各历史任务对应的数据处理量均值以及所述待处理任务所属聚类结果中包含的任务数量，确定所述待处理任务所属聚类结果对应的待消耗资源值的更新结果；
根据所述更新结果对资源池中的资源进行组别划分，生成与所述待处理任务所属聚类结果对应的目标资源组，并建立所述待处理任务所属聚类结果对应的预设任务类别与所述目标资源组间的关联关系。
可选地，所述获取历史任务的任务处理信息，包括：
从一个或至少两个大数据平台获取历史任务的任务处理信息。
根据本说明书实施例的第二方面，提供了一种资源处理装置，包括：
获取模块，被配置为获取历史任务的任务处理信息，根据所述任务处理信息对所述历史任务进行聚类，生成与各预设任务类别分别对应的聚类结果；
确定模块，被配置为根据所述聚类结果包含的历史任务对应的数据处理量值以及资源消耗值，确定目标聚类结果对应的待消耗资源值，所述目标聚类结果为所述聚类结果之一；
划分模块，被配置为根据所述待消耗资源值对资源池中的资源进行组别划分，生成与所述目标聚类结果对应的资源组，并建立所述目标聚类结果对应的预设任务类别与所述资源组间的关联关系。
根据本说明书实施例的第三方面，提供了一种计算设备，包括：
存储器和处理器；
所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令实现所述资源处理方法的步骤。
根据本说明书实施例的第四方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现所述资源处理方法的步骤。
根据本说明书实施例的第五方面，提供了一种计算机程序，当所述计算机程序在计算机中执行时实现所述资源处理方法的步骤。
本说明书一个实施例通过获取历史任务的任务处理信息，根据所述任务处理信息对所述历史任务进行聚类，生成与各预设任务类别分别对应的聚类结果，根据所述聚类结果包含的历史任务对应的数据处理量值以及资源消耗值，确定目标聚类结果对应的待消耗资源值，所述目标聚类结果为所述聚类结果之一，根据所述待消耗资源值对资源池中的资源进行组别划分，生成与所述目标聚类结果对应的资源组，并建立所述目标聚类结果对应的预设任务类别与所述资源组间的关联关系。
本申请实施例通过对历史任务进行聚类，以根据聚类结果中各历史任务对应的数据处理量值和资源消耗值，以及各聚类结果中包含的历史任务的数量，确定各聚类结果对应的待消耗资源值，并根据所述待消耗资源值对资源池中的资源进行分组，以将不同类别的任务绑定到对应的资源组，使用该资源组的资源处理该任务类别的任务，即针对聚合出的每个类别所包含的任务，针对性设置专属资源组，并进行绑定，从而有利于减少执行不同数据处理任务过程中，进行资源调度所产生的相互影响，有利于提高资源配置的合理性，进而有利于提高任务处理效率。
附图说明
图1是本说明书一个实施例提供的一种资源处理方法的处理流程图；
图2是本说明书一个实施例提供的一种资源处理过程的示意图；
图3是本说明书一个实施例提供的一种资源处理方法的处理过程流程图；
图4是本说明书一个实施例提供的一种资源处理装置的示意图；
图5是本说明书一个实施例提供的一种计算设备的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本说明书内涵的情况下做类似推广，因此本说明书不受下面公开的具体实施的限制。
在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
首先，对本说明书一个或多个实施例涉及的名词术语进行解释。
k-Means：k均值聚类算法（k-means clustering algorithm）是一种基于特征均值迭代求解的聚类分析算法。
大数据平台：采用分布式存储和计算技术，提供大数据的访问和处理，提供异构工业数据的一体化管理能力，支持大数据应用安全高效运行的软硬件集合。一般包含数据集成、数据任务开发、任务调度、任务运维、元数据管理等模块。
元数据：元数据主要是描述数据属性（property）的信息，用来支持如指示存储位置、历史数据、资源查找、文件纪录等功能。在大数据平台中，元数据可以帮助大数据管理员和大数据开发人员非常方便地找到他们所关心的数据；元数据是描述大数据平台内数据的结构、数据建立方法、数据任务的调度管理方式的数据，可将其按用途的不同分为两类：技术元数据（Technical Metadata）和项目元数据（Business Metadata），本发明主要使用技术元数据来获取任务调度相关管理数据。
聚类分析：指将物理或抽象对象的集合分组为由类似的对象组成的多个类的分析过程。
资源池：在本提案中，专指预设好的、一定数量的软硬件资源集合。
机器学习平台：算法平台产品，主要功能是实现了建模的常用流组件，降低了建模的门槛。
在本说明书中，提供了一种资源处理方法，本说明书同时涉及一种资源处理装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序，在下面的实施例中逐一进行详细说明。
图1示出了根据本说明书一个实施例提供的一种资源处理方法的处理流程图，包括步骤102至步骤106。
步骤102，获取历史任务的任务处理信息，根据所述任务处理信息对所述历史任务进行聚类，生成与各预设任务类别分别对应的聚类结果。
具体的，本说明书实施例所述的历史任务可以是大数据平台的历史数据处理任务；所述任务处理信息，即执行历史数据处理任务所产生的信息，包括但不限于包含每个任务的启动时间、数据处理量级、任务运行时长、实际消耗资源等数据，这些都属于历史任务的元数据，存储于大数据平台的元数据仓库，因此，在实际应用中，可从一个、两个或多个大数据平台的元数据仓库中获取任务调度相关元数据管理信息，即任务处理信息。
在应用大数据平台时，当大数据任务超过一定量级，并且在资源池的资源有限的情况下，由于资源调度无法自动合理分配资源，进而导致整体任务运行时间过长甚至无法完成。
因此，本说明书实施例通过定期对历史任务进行聚类，以根据聚类结果中各历史任务对应的数据处理量值和资源消耗值，以及各聚类结果中包含的历史任务的数量，确定各聚类结果对应的待消耗资源值，并为各聚类结果对应的任务类别针对性设置专属资源组，并进行绑定，从而提高资源配置的合理性。
具体实施时，根据所述任务处理信息对所述历史任务进行聚类，具体可通过以下方式实现：
对所述任务处理信息进行特征向量转化，生成对应的初始特征向量；
对所述初始特征向量进行归一化处理，生成每个历史任务对应的目标特征向量；
基于所述目标特征向量对所述历史任务进行聚类。
具体的，在对任务处理信息进行特征向量转化之前，可先对所述任务处理信息进行修正处理，以提高聚类结果的准确度。例如，任务运行时长的正常范围为0至24小时，若任务处理信息中记载的任务运行时长大于24小时，不在正常范围内，则将其调整为24小时；若任务处理信息中记载的任务运行时长小于0，不在正常范围内，则将其统一调整为0。
对任务处理信息中的异常信息进行修正后，可对任务处理信息做分段处理，并对分段后的信息进一步做特征标准化，形成特征向量。
实际应用中，由于所述任务处理信息中包括多种信息，例如任务的启动时间、数据处理量级、任务运行时长、实际消耗资源等5种信息，则对所述任务处理信息进行特征向量转化，即将这5种信息对应的具体数值转化为向量的形式，具体的向量维度可根据实际需求确定，例如，可以是
Figure 908755DEST_PATH_IMAGE001
维，也可以是
Figure 377782DEST_PATH_IMAGE002
维，在此不做限制。
另外，对初始特征向量进行归一化处理，具体可将任务处理信息对应的初始特征向量进行分段处理，即将初始特征向量中的启动时间、数据处理量级、任务运行时长以及实际消耗资源等数据对应的特征向量进行拆分，得到这5种信息单独对应的初始特征向量，并可通过公式（1）对其进行归一化处理。
Figure 141339DEST_PATH_IMAGE003
其中，
Figure 912986DEST_PATH_IMAGE004
为任一历史任务中包含的任意一种信息的初始特征向量；
Figure 129203DEST_PATH_IMAGE005
为多个历史任务信息中包含的
Figure 277288DEST_PATH_IMAGE004
这一信息的初始特征向量的最小值；
Figure 629772DEST_PATH_IMAGE006
为多个历史任务信息中包含的
Figure 713266DEST_PATH_IMAGE007
这一信息的初始特征向量的最大值；
Figure 416779DEST_PATH_IMAGE008
为对
Figure 837396DEST_PATH_IMAGE009
进行归一化后生成的目标特征向量。
以5个历史任务为例，这5个历史任务分别为历史任务1、历史任务2、历史任务3、历史任务4、历史任务5，对这个5个历史任务的初始特征向量进行分段处理，得到的5个启动时间的初始特征向量分别为初始特征向量1、初始特征向量2、初始特征向量3、初始特征向量4、初始特征向量5，其中，5个启动时间的初始特征向量中，最大值为初始特征向量2，最小值为初始特征向量5，因此，对历史任务1中启动时间的初始特征向量1进行规划处理，得到的结果为：
Figure 575545DEST_PATH_IMAGE010
历史任务中其他信息的初始特征向量的归一化过程与启动时间的初始特征向量的归一化过程类似，在此不再赘述。
本说明书实施例选择最大最小归一化的优点是能确保所有的数据都在理想的区间内。
获取各历史任务的目标特征向量后，可基于所述目标特征向量对所述历史任务进行聚类。实际应用中，可使用k均值（k-Means）聚类算法进行聚类，并且k参数可根据实际需求确定，在此不做限制。本说明书实施例可将k的值设为3，即将历史任务聚为3类，生成3个聚类簇，每个聚类簇对应一种任务类别，并且可按照每个聚类簇中包含的任务所需消耗资源值的大小确定其对应的任务类别，例如，所述任务类别可以是大、中、小。
对历史任务进行聚类得到不同的聚类结果后，可根据不同聚类结果中包含的历史任务的数量、历史任务对应的数据处理量值以及资源消耗值，计算不同聚类结果所需的待消耗资源值，以根据所述待消耗资源值为不同聚类结果对应的任务类别针对性设置专属资源组。
步骤104，根据所述聚类结果包含的历史任务对应的数据处理量值以及资源消耗值，确定目标聚类结果对应的待消耗资源值，所述目标聚类结果为所述聚类结果之一。
具体的，所述数据处理量值，即每个历史任务的数据量级，例如1T、1M、1Bite等；所述资源消耗值，即处理所述历史任务所消耗的资源值，包括CPU和内存。
对历史任务进行聚类得到不同的聚类结果后，可根据不同聚类结果中包含的历史任务的数量、历史任务对应的数据处理量值以及资源消耗值，计算不同聚类结果所需的待消耗资源值，以根据所述待消耗资源值为不同聚类结果对应的任务类别针对性设置专属资源组。
具体实施时，根据所述聚类结果包含的历史任务对应的数据处理量值以及资源消耗值，确定目标聚类结果对应的待消耗资源值，包括：
根据所述聚类结果包含的历史任务分别对应的数据处理量值以及资源消耗值，确定所述聚类结果中各历史任务对应的数据处理量均值以及第一资源消耗均值；
根据所述数据处理量均值和所述第一资源消耗均值确定目标聚类结果对应的待消耗资源值。
进一步的，根据所述聚类结果包含的历史任务分别对应的数据处理量值以及资源消耗值，确定所述聚类结果中各历史任务对应的数据处理量均值以及第一资源消耗均值，包括：
确定每个聚类结果包含的历史任务的数量，以及每个历史任务分别对应的数据处理量值以及资源消耗值；
根据所述历史任务的数量以及所述数据处理量值，计算每个聚类结果中各历史任务对应的数据处理量均值；
根据所述历史任务的数量以及所述资源消耗值，计算每个聚类结果中各历史任务对应的第一资源消耗均值。
具体的，可通过公式（2）计算任意聚类结果中各历史任务对应的数据处理量均值。
Figure 954574DEST_PATH_IMAGE011
其中，
Figure 879805DEST_PATH_IMAGE012
为任意聚类结果中各历史任务对应的数据处理量均值；k为聚类结果的数量；n为第k个聚类结果中包含的历史任务的数量，且n为正整数，
Figure 494326DEST_PATH_IMAGE013
为任意聚类结果中第n个历史任务对应的数据处理量。
可通过公式（3）计算任意聚类结果中各历史任务对应的第一资源消耗均值。
Figure 555823DEST_PATH_IMAGE014
其中，
Figure 105753DEST_PATH_IMAGE015
为第k个聚类结果中各历史任务对应的第一资源消耗均值；n为第k个聚类结果中包含的历史任务的数量，且n为正整数，
Figure 518279DEST_PATH_IMAGE016
为任意聚类结果中第n个历史任务对应的资源消耗值。
计算获得各聚类结果中各历史任务对应的第一资源消耗均值和数据处理量均值后，根据所述数据处理量均值和所述第一资源消耗均值确定目标聚类结果对应的待消耗资源值，具体可通过以下方式实现：
根据所述数据处理量均值和所述第一资源消耗均值，计算每个聚类结果中处理单位比特数据所需的第二资源消耗均值；
根据所述第二资源消耗均值以及聚类结果的数量，计算各聚类结果中，处理单位比特数据所需的第三资源消耗均值；
根据所述第三资源消耗均值、所述数据处理量均值以及目标聚类结果中包含的历史任务的数量，确定所述目标聚类结果对应的待消耗资源值。
其中，根据所述第三资源消耗均值、所述数据处理量均值以及目标聚类结果中包含的历史任务的数量，确定目标聚类结果对应的待消耗资源值，包括：
将所述第三资源消耗均值、所述数据处理量均值以及目标聚类结果中包含的历史任务的数量进行乘积运算，并将运算结果作为所述目标聚类结果对应的待消耗资源值。
具体的，可通过公式（4）计算各聚类结果中处理单位比特数据所需的第二消耗资源值。
Figure 811857DEST_PATH_IMAGE017
其中，
Figure 993440DEST_PATH_IMAGE018
为第k个聚类结果中处理单位比特数据所需的第二消耗资源值。
可通过公式（5）计算每个聚类结果中处理单位比特数据所需的第二资源消耗均值。
Figure 448692DEST_PATH_IMAGE019
其中，
Figure 489461DEST_PATH_IMAGE020
为每个聚类结果中处理单位比特数据所需的第二资源消耗均值。
可通过公式（6）计算每个聚类结果对应的待消耗资源值。
Figure 55571DEST_PATH_IMAGE021
仍以k=3为例，聚类生成三个聚类结果，分别为聚类结果1、聚类结果2和聚类结果3，三个聚类结果分别对应的数据处理量均值即为
Figure 622819DEST_PATH_IMAGE022
、
Figure 248972DEST_PATH_IMAGE023
、
Figure 636091DEST_PATH_IMAGE024
；三个聚类结果分别对应的
Figure 271472DEST_PATH_IMAGE025
、
Figure 162067DEST_PATH_IMAGE026
、
Figure 349335DEST_PATH_IMAGE027
。利用公式（4）计算得到三个聚类结果分别对应的第二资源消耗均值即为
Figure 958171DEST_PATH_IMAGE028
、
Figure 397243DEST_PATH_IMAGE029
、
Figure 673503DEST_PATH_IMAGE030
，则利用公式（5）即可计算得到各聚类结果中处理单位比特数据所需的第二资源消耗均值
Figure 641459DEST_PATH_IMAGE031
；即每处理1比特数据即需消耗
Figure 3170DEST_PATH_IMAGE032
的资源值。
若已知聚类结果1中包含10个历史任务，每个历史任务的数据处理量均值为2兆，每处理1比特数据需消耗
Figure 855720DEST_PATH_IMAGE033
的资源值，则利用公式（6）即可计算获得，聚类结果1所需的待消耗资源值即为
Figure 720908DEST_PATH_IMAGE034
（兆）。
对历史任务进行聚类得到不同的聚类结果后，可根据不同聚类结果中包含的历史任务的数量、历史任务对应的数据处理量值以及资源消耗值，计算不同聚类结果所需的待消耗资源值，以根据所述待消耗资源值为不同聚类结果对应的任务类别针对性设置专属资源组。
另外，根据所述聚类结果包含的历史任务对应的数据处理量值以及资源消耗值，确定目标聚类结果对应的待消耗资源值，还可通过以下方式实现：
根据每个聚类结果包含的历史任务对应的数据处理量值和/或资源消耗值，确定所述每个聚类结果对应的优先级；
根据所述优先级确定目标聚类结果对应的待消耗资源值。
具体的，除通过前述方式计算各聚类结果对应的待消耗资源值之外，本说明书实施例还可通过为各聚类结果设置优先级的方式，确定不同聚类结果对应的待消耗资源值。
其中，可根据每个聚类结果包含的历史任务对应的数据处理量值和/或资源消耗值，确定每个聚类结果对应的优先级，即可计算每个聚类结果中，各历史任务对应的数据处理量值之和，并根据不同聚类结果对应的数据处理量之和确定不同聚类结果对应的优先级，其中优先级与数据处理量之和成正比。
或者，可计算每个聚类结果中，各历史任务对应的资源消耗值之和，并根据不同聚类结果对应的资源消耗值之和确定不同聚类结果对应的优先级，其中优先级与资源消耗值之和成正比。
或者，可计算每个聚类结果中，各历史任务对应的数据处理量值之和以及资源消耗值之和，并根据不同聚类结果对应的数据处理量值之和以及资源消耗值之和综合确定不同聚类结果对应的优先级，其中，可为所述数据处理量值之和及所述资源消耗值之和设置权重，并基于所述权重对所述数据处理量值之和及资源消耗值之和进行加权求和，以根据求和结果确定不同聚类结果对应的优先级；其中，优先级与求和结果成正比。
对历史任务进行聚类得到不同的聚类结果后，可根据不同聚类结果中包含的历史任务对应的数据处理量值之和以及资源消耗值之和，确定不同聚类结果对应的优先级，以根据优先级确定不同聚类结果所需的待消耗资源值，从而根据所述待消耗资源值为不同聚类结果对应的任务类别针对性设置专属资源组。
步骤106，根据所述待消耗资源值对资源池中的资源进行组别划分，生成与所述目标聚类结果对应的资源组，并建立所述目标聚类结果对应的预设任务类别与所述资源组间的关联关系。
具体的，确定各聚类结果对应的待消耗资源值后，可根据所述待消耗资源值对资源池中的资源进行划分，得到多个资源组，然后可建立聚类结果对应的预设任务类别与资源组的关联关系，从而实现针对聚合出的每个类别所包含的任务，针对性设置专属资源组，并进行绑定，从而有利于减少执行不同数据处理任务过程中，进行资源调度所产生的相互影响，有利于提高资源配置的合理性，进而有利于提高任务处理效率。
对于新的待处理任务，则可重新确定其所述任务类别，并调用其所述任务类别关联的资源组中的资源进行任务处理，具体可通过以下方式实现：
接收任务处理请求；
根据所述任务处理请求中携带的待处理任务的任务信息，对所述待处理任务进行聚类，获得所述待处理任务所属的聚类结果；
确定所述待处理任务所属聚类结果对应的预设任务类别，并调用所述预设任务类别关联的资源组中的资源处理所述待处理任务。
具体的，在前述对历史任务进行聚类，并对各聚类结果对应的任务类别设置专属的资源组的基础上，在接收到针对新的待处理任务的任务处理请求的情况下，可根据所述任务处理请求中携带的任务信息对所述待处理任务进行聚类，其中，所述任务信息即可以包括数据处理量值。对所述待处理任务进行聚类，同样可先对所述任务信息进行特征向量转化，并基于转化生成的特征向量对待处理任务进行聚类。
对所述待处理任务进行聚类的目的在于，确定待处理任务所属的聚类簇，确定该聚类簇对应的任务类别，并调用该任务类别关联的资源组中的资源处理所述待处理任务，以减少执行不同数据处理任务过程中，进行资源调度所产生的相互影响，有利于提高资源配置的合理性，进而有利于提高任务处理效率。
另外，确定所述待处理任务所属聚类结果对应的预设任务类别之后，还包括：
判断所述预设任务类别关联的资源组中是否存在空闲资源；
若否，则根据各聚类结果中，处理单位比特数据所需的第三资源消耗均值、每个聚类结果中各历史任务对应的数据处理量均值以及所述待处理任务所属聚类结果中包含的任务数量，确定所述待处理任务所属聚类结果对应的待消耗资源值的更新结果；
根据所述更新结果对资源池中的资源进行组别划分，生成与所述待处理任务所属聚类结果对应的目标资源组，并建立所述待处理任务所属聚类结果对应的预设任务类别与所述目标资源组间的关联关系。
具体的，在确定待处理任务所属的聚类簇后，需确定该聚类簇对应的任务类别，并确定该任务类别对应的资源组中是否存在空闲资源，若不存在，则需重新对资源池中的资源进行组别划分，以提高资源划分结果的合理性。
实际应用中，可根据各聚类结果中，处理单位比特数据所需的第三资源消耗均值、每个聚类结果中各历史任务对应的数据处理量均值以及所述待处理任务所属聚类结果中包含的任务数量，确定所述待处理任务所属聚类结果对应的待消耗资源值的更新结果；具体即将第三资源消耗均值、数据处理量均值以及所述待处理任务所属聚类结果中包含的任务数量三者的乘积结果作为所述待处理任务所属聚类结果对应的待消耗资源值的更新结果。
其中，所述第三资源消耗均值、数据处理量均值的计算过程可根据前述实施例所述的方式实现，在此不再赘述。
确定所述待处理任务所属聚类结果对应的待消耗资源值的更新结果后，可根据所述更新结果重新对资源池中的资源进行组别划分，生成与所述待处理任务所属聚类结果对应的目标资源组，并建立所述待处理任务所属聚类结果对应的预设任务类别与所述目标资源组间的关联关系。
本说明书实施例提供的一种资源处理过程的示意图如图2所示，所述资源处理方法通过大数据平台和算法平台配合实现，其中，所述大数据平台是在大数据基础上出现的融合了结构化和非结构化数据的数据基础平台，通过将目标对象（企业或机构）的数据（包括结构化和非结构化数据）抽取出来放到一起，成为一个大的数据集，再根据需求，单独提取其中的小数据集并提供给相关的数据应用（如算法平台）；而所述算法平台则可以包含数据预处理、特征工程、常规机器学习算法、深度学习框架、模型的评估以及预测这一整套机器学习相关服务，例如，所述算法平台可以是企业内部研发的机器学习平台。
本说明书实施例中，首先可在大数据平台的元数据仓库获取历史任务的任务处理信息，并由算法平台对所述任务处理信息进行任务特征计算，并基于计算结果对历史任务进行聚类，得到预设数量的聚类簇，然后计算每个聚类簇中各历史任务对应的数据处理量均值及资源消耗均值，再根据数据处理量均值及资源消耗均值计算每个聚类簇（聚类簇对应的任务类别）的待消耗资源，以根据所述待消耗资源为各聚类簇设置专属的资源组（即对资源池中的资源进行组别划分，生成不同的资源组），然后将聚类簇对应的任务类别绑定到对应资源组即可。
在有新的待处理任务时，可对所述待处理任务的任务信息进行任务特征计算，并基于计算结果对待处理结果进行聚类，获得待处理任务对应的聚类结果后，可直接确定待处理任务所属聚类结果对应的任务类别，并调用所述任务类别对应的资源组中的资源进行任务处理；或者，可重新计算待处理任务所属聚类结果对应的待消耗资源，并根据计算结果重新对资源池中的资源进行组别划分，生成与所述待处理任务所属聚类结果对应的目标资源组，并建立所述待处理任务所属聚类结果对应的预设任务类别与所述目标资源组间的关联关系。
本说明书一个实施例通过获取历史任务的任务处理信息，根据所述任务处理信息对所述历史任务进行聚类，生成与各预设任务类别分别对应的聚类结果，根据所述聚类结果包含的历史任务对应的数据处理量值以及资源消耗值，确定目标聚类结果对应的待消耗资源值，所述目标聚类结果为所述聚类结果之一，根据所述待消耗资源值对资源池中的资源进行组别划分，生成与所述目标聚类结果对应的资源组，并建立所述目标聚类结果对应的预设任务类别与所述资源组间的关联关系。
本申请实施例通过对历史任务进行聚类，以根据聚类结果中各历史任务对应的数据处理量值和资源消耗值，以及各聚类结果中包含的历史任务的数量，确定各聚类结果对应的待消耗资源值，并根据所述待消耗资源值对资源池中的资源进行分组，以将不同类别的任务绑定到对应的资源组，使用该资源组的资源处理该任务类别的任务，即针对聚合出的每个类别所包含的任务，针对性设置专属资源组，并进行绑定，从而有利于减少执行不同数据处理任务过程中，进行资源调度所产生的相互影响，有利于提高资源配置的合理性，进而有利于提高任务处理效率。
下述结合附图3，以本说明书提供的资源处理方法在数据处理领域的应用为例，对所述资源处理方法进行进一步说明。其中，图3示出了本说明书一个实施例提供的一种资源处理方法的处理过程流程图，具体步骤包括步骤302至步骤324。
步骤302，获取历史任务的任务处理信息，对所述任务处理信息进行特征向量转化，生成对应的初始特征向量。
步骤304，对所述初始特征向量进行归一化处理，生成每个历史任务对应的目标特征向量。
步骤306，基于所述目标特征向量对所述历史任务进行聚类，生成与各预设任务类别分别对应的聚类结果。
步骤308，确定每个聚类结果包含的历史任务的数量，以及每个历史任务分别对应的数据处理量值以及资源消耗值。
步骤310，根据所述历史任务的数量以及所述数据处理量值，计算每个聚类结果中各历史任务对应的数据处理量均值。
步骤312，根据所述历史任务的数量以及所述资源消耗值，计算每个聚类结果中各历史任务对应的第一资源消耗均值。
步骤314，根据所述数据处理量均值和所述第一资源消耗均值，计算每个聚类结果中处理单位比特数据所需的第二资源消耗均值。
步骤316，根据所述第二资源消耗均值以及聚类结果的数量，计算各聚类结果中，处理单位比特数据所需的第三资源消耗均值。
步骤318，将所述第三资源消耗均值、所述数据处理量均值以及目标聚类结果中包含的历史任务的数量进行乘积运算，并将运算结果作为所述目标聚类结果对应的待消耗资源值。
步骤320，根据所述待消耗资源值对资源池中的资源进行组别划分，生成与所述目标聚类结果对应的资源组，并建立所述目标聚类结果对应的预设任务类别与所述资源组间的关联关系。
步骤322，接收任务处理请求，根据所述任务处理请求中携带的待处理任务的任务信息，对所述待处理任务进行聚类，获得所述待处理任务所属的聚类结果。
步骤324，确定所述待处理任务所属聚类结果对应的预设任务类别，并调用所述预设任务类别关联的资源组中的资源处理所述待处理任务。
本申请实施例通过对历史任务进行聚类，以根据聚类结果中各历史任务对应的数据处理量值和资源消耗值，以及各聚类结果中包含的历史任务的数量，确定各聚类结果对应的待消耗资源值，并根据所述待消耗资源值对资源池中的资源进行分组，以将不同类别的任务绑定到对应的资源组，使用该资源组的资源处理该任务类别的任务，即针对聚合出的每个类别所包含的任务，针对性设置专属资源组，并进行绑定，从而有利于减少执行不同数据处理任务过程中，进行资源调度所产生的相互影响，有利于提高资源配置的合理性，进而有利于提高任务处理效率。
与上述方法实施例相对应，本说明书还提供了资源处理装置实施例，图4示出了本说明书一个实施例提供的一种资源处理装置的示意图。如图4所示，该装置包括：
获取模块402，被配置为获取历史任务的任务处理信息，根据所述任务处理信息对所述历史任务进行聚类，生成与各预设任务类别分别对应的聚类结果；
确定模块404，被配置为根据所述聚类结果包含的历史任务对应的数据处理量值以及资源消耗值，确定目标聚类结果对应的待消耗资源值，所述目标聚类结果为所述聚类结果之一；
划分模块406，被配置为根据所述待消耗资源值对资源池中的资源进行组别划分，生成与所述目标聚类结果对应的资源组，并建立所述目标聚类结果对应的预设任务类别与所述资源组间的关联关系。
可选地，所述确定模块404，进一步被配置为：
根据所述聚类结果包含的历史任务分别对应的数据处理量值以及资源消耗值，确定所述聚类结果中各历史任务对应的数据处理量均值以及第一资源消耗均值；
根据所述数据处理量均值和所述第一资源消耗均值确定目标聚类结果对应的待消耗资源值。
可选地，所述确定模块404，进一步被配置为：
确定每个聚类结果包含的历史任务的数量，以及每个历史任务分别对应的数据处理量值以及资源消耗值；
根据所述历史任务的数量以及所述数据处理量值，计算每个聚类结果中各历史任务对应的数据处理量均值；
根据所述历史任务的数量以及所述资源消耗值，计算每个聚类结果中各历史任务对应的第一资源消耗均值。
可选地，所述确定模块404，进一步被配置为：
根据所述数据处理量均值和所述第一资源消耗均值，计算每个聚类结果中处理单位比特数据所需的第二资源消耗均值；
根据所述第二资源消耗均值以及聚类结果的数量，计算各聚类结果中，处理单位比特数据所需的第三资源消耗均值；
根据所述第三资源消耗均值、所述数据处理量均值以及目标聚类结果中包含的历史任务的数量，确定所述目标聚类结果对应的待消耗资源值。
可选地，所述确定模块404，进一步被配置为：
将所述第三资源消耗均值、所述数据处理量均值以及目标聚类结果中包含的历史任务的数量进行乘积运算，并将运算结果作为所述目标聚类结果对应的待消耗资源值。
可选地，所述确定模块404，进一步被配置为：
根据每个聚类结果包含的历史任务对应的数据处理量值以及资源消耗值，确定所述每个聚类结果对应的优先级；
根据所述优先级确定目标聚类结果对应的待消耗资源值。
可选地，所述获取模块402，进一步被配置为：
对所述任务处理信息进行特征向量转化，生成对应的初始特征向量；
对所述初始特征向量进行归一化处理，生成每个历史任务对应的目标特征向量；
基于所述目标特征向量对所述历史任务进行聚类。
可选地，所述资源处理装置，还包括：
接收模块，被配置为接收任务处理请求；
聚类模块，被配置为根据所述任务处理请求中携带的待处理任务的任务信息，对所述待处理任务进行聚类，获得所述待处理任务所属的聚类结果；
调用模块，被配置为确定所述待处理任务所属聚类结果对应的预设任务类别，并调用所述预设任务类别关联的资源组中的资源处理所述待处理任务。
可选地，所述资源处理装置，还包括：
判断模块，被配置为判断所述预设任务类别关联的资源组中是否存在空闲资源；
若所述判断模块的运行结果为否，则运行更新结果确定模块；
所述更新结果确定模块，被配置为根据各聚类结果中，处理单位比特数据所需的第三资源消耗均值、每个聚类结果中各历史任务对应的数据处理量均值以及所述待处理任务所属聚类结果中包含的任务数量，确定所述待处理任务所属聚类结果对应的待消耗资源值的更新结果；
建立模块，被配置为根据所述更新结果对资源池中的资源进行组别划分，生成与所述待处理任务所属聚类结果对应的目标资源组，并建立所述待处理任务所属聚类结果对应的预设任务类别与所述目标资源组间的关联关系。
可选地，获取模块402，进一步被配置为：
从一个或至少两个大数据平台获取历史任务的任务处理信息。
上述为本实施例的一种资源处理装置的示意性方案。需要说明的是，该资源处理装置的技术方案与上述的资源处理方法的技术方案属于同一构思，资源处理装置的技术方案未详细描述的细节内容，均可以参见上述资源处理方法的技术方案的描述。
图5示出了根据本说明书一个实施例提供的一种计算设备500的结构框图。该计算设备500的部件包括但不限于存储器510和处理器520。处理器520与存储器510通过总线530相连接，数据库550用于保存数据、大数据平台570可用于保存目标对象的结构化和非结构化数据，算法平台580可用于对大数据平台570中的数据进行处理。
计算设备500还包括接入设备540，接入设备540使得计算设备500能够经由一个或多个网络560通信。这些网络的示例包括公用交换电话网（PSTN）、局域网（LAN）、广域网（WAN）、个域网（PAN）或诸如因特网的通信网络的组合。接入设备540可以包括有线或无线的任何类型的网络接口（例如，网络接口卡（NIC））中的一个或多个，诸如IEEE802.11无线局域网（WLAN）无线接口、全球微波互联接入（Wi-MAX）接口、以太网接口、通用串行总线（USB）接口、蜂窝网络接口、蓝牙接口、近场通信（NFC）接口，等等。
在本说明书的一个实施例中，计算设备500的上述部件以及图5中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图5所示的计算设备结构框图仅仅是出于示例的目的，而不是对本说明书范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。
计算设备500可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备（例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等）、移动电话（例如，智能手机）、可佩戴的计算设备（例如，智能手表、智能眼镜等）或其他类型的移动设备，或者诸如台式计算机或PC的静止计算设备。计算设备500还可以是移动式或静止式的服务器。
其中，所述存储器510用于存储计算机可执行指令，处理器520用于执行如下计算机可执行指令：
获取历史任务的任务处理信息，根据所述任务处理信息对所述历史任务进行聚类，生成与各预设任务类别分别对应的聚类结果；
根据所述聚类结果包含的历史任务对应的数据处理量值以及资源消耗值，确定目标聚类结果对应的待消耗资源值，所述目标聚类结果为所述聚类结果之一；
根据所述待消耗资源值对资源池中的资源进行组别划分，生成与所述目标聚类结果对应的资源组，并建立所述目标聚类结果对应的预设任务类别与所述资源组间的关联关系。
实际应用中，大数据平台570和算法平台580经由网络560与计算设备500进行通信，而大数据平台570的元数据仓库中存储有目标对象的历史任务的任务处理信息（以结构化或非结构化的形式存储），因此，算法平台580在需要通过历史任务信息进行资源处理时，首先可通过计算设备500从大数据平台570中获取前述历史任务的任务处理信息，并由算法平台580对所述任务处理信息进行任务特征计算，然后基于计算结果对历史任务进行聚类，得到预设数量的聚类簇，然后计算每个聚类簇中各历史任务对应的数据处理量均值及资源消耗均值，再根据数据处理量均值及资源消耗均值计算每个聚类簇（聚类簇对应的任务类别）的待消耗资源，然后由大数据平台570通过调用计算设备500的方式根据所述待消耗资源为各聚类簇设置专属的资源组（即对资源池中的资源进行组别划分，生成不同的资源组），再将聚类簇对应的任务类别绑定到对应资源组即可。
上述为本实施例的一种计算设备的示意性方案。需要说明的是，该计算设备的技术方案与上述的资源处理方法的技术方案属于同一构思，计算设备的技术方案未详细描述的细节内容，均可以参见上述资源处理方法的技术方案的描述。
本说明书一实施例还提供一种计算机可读存储介质，其存储有计算机指令，该指令被处理器执行时以用于实现所述资源处理方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的资源处理方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述资源处理方法的技术方案的描述。
本说明书一实施例还提供一种计算机程序，当所述计算机程序在计算机中执行时实现所述资源处理方法的步骤。
上述为本实施例的一种计算机程序的示意性方案。需要说明的是，该计算机程序的技术方案与上述的资源处理方法的技术方案属于同一构思，计算机程序的技术方案未详细描述的细节内容，均可以参见上述资源处理方法的技术方案的描述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本说明书实施例并不受所描述的动作顺序的限制，因为依据本说明书实施例，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本说明书实施例所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书实施例的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本说明书实施例的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。

Claims (11)

1.一种资源处理方法，包括：
从一个或至少两个大数据平台获取历史任务的任务处理信息，根据所述任务处理信息对所述历史任务进行聚类，生成与各预设任务类别分别对应的聚类结果；
根据所述聚类结果包含的历史任务对应的数据处理量值以及资源消耗值，确定目标聚类结果对应的待消耗资源值，所述目标聚类结果为所述聚类结果之一；
根据所述待消耗资源值对资源池中的资源进行组别划分，生成与所述目标聚类结果对应的资源组，并建立所述目标聚类结果对应的预设任务类别与所述资源组间的关联关系，其中，所述资源组用于处理所属聚类结果对应的任务类别为所述预设任务类别的待处理任务。
2.根据权利要求1所述的资源处理方法，所述根据所述聚类结果包含的历史任务对应的数据处理量值以及资源消耗值，确定目标聚类结果对应的待消耗资源值，包括：
根据所述聚类结果包含的历史任务分别对应的数据处理量值以及资源消耗值，确定所述聚类结果中各历史任务对应的数据处理量均值以及第一资源消耗均值；
根据所述数据处理量均值和所述第一资源消耗均值确定目标聚类结果对应的待消耗资源值。
3.根据权利要求2所述的资源处理方法，所述根据所述聚类结果包含的历史任务分别对应的数据处理量值以及资源消耗值，确定所述聚类结果中各历史任务对应的数据处理量均值以及第一资源消耗均值，包括：
确定每个聚类结果包含的历史任务的数量，以及每个历史任务分别对应的数据处理量值以及资源消耗值；
根据所述历史任务的数量以及所述数据处理量值，计算每个聚类结果中各历史任务对应的数据处理量均值；
根据所述历史任务的数量以及所述资源消耗值，计算每个聚类结果中各历史任务对应的第一资源消耗均值。
4.根据权利要求3所述的资源处理方法，所述根据所述数据处理量均值和所述第一资源消耗均值确定目标聚类结果对应的待消耗资源值，包括：
根据所述数据处理量均值和所述第一资源消耗均值，计算每个聚类结果中处理单位比特数据所需的第二资源消耗均值；
根据所述第二资源消耗均值以及聚类结果的数量，计算各聚类结果中，处理单位比特数据所需的第三资源消耗均值；
根据所述第三资源消耗均值、所述数据处理量均值以及目标聚类结果中包含的历史任务的数量，确定所述目标聚类结果对应的待消耗资源值。
5.根据权利要求4所述的资源处理方法，所述根据所述第三资源消耗均值、所述数据处理量均值以及目标聚类结果中包含的历史任务的数量，确定目标聚类结果对应的待消耗资源值，包括：
将所述第三资源消耗均值、所述数据处理量均值以及目标聚类结果中包含的历史任务的数量进行乘积运算，并将运算结果作为所述目标聚类结果对应的待消耗资源值。
6.根据权利要求1所述的资源处理方法，所述根据所述聚类结果包含的历史任务对应的数据处理量值以及资源消耗值，确定目标聚类结果对应的待消耗资源值，包括：
根据每个聚类结果包含的历史任务对应的数据处理量值和/或资源消耗值，确定所述每个聚类结果对应的优先级；
根据所述优先级确定目标聚类结果对应的待消耗资源值。
7.根据权利要求1或2所述的资源处理方法，所述根据所述任务处理信息对所述历史任务进行聚类，包括：
对所述任务处理信息进行特征向量转化，生成对应的初始特征向量；
对所述初始特征向量进行归一化处理，生成每个历史任务对应的目标特征向量；
基于所述目标特征向量对所述历史任务进行聚类。
8.根据权利要求1所述的资源处理方法，还包括：
接收任务处理请求；
根据所述任务处理请求中携带的待处理任务的任务信息，对所述待处理任务进行聚类，获得所述待处理任务所属的聚类结果；
确定所述待处理任务所属聚类结果对应的预设任务类别，并调用所述预设任务类别关联的资源组中的资源处理所述待处理任务。
9.根据权利要求8所述的资源处理方法，所述确定所述待处理任务所属聚类结果对应的预设任务类别之后，还包括：
判断所述预设任务类别关联的资源组中是否存在空闲资源；
若否，则根据各聚类结果中，处理单位比特数据所需的第三资源消耗均值、每个聚类结果中各历史任务对应的数据处理量均值以及所述待处理任务所属聚类结果中包含的任务数量，确定所述待处理任务所属聚类结果对应的待消耗资源值的更新结果；
根据所述更新结果对资源池中的资源进行组别划分，生成与所述待处理任务所属聚类结果对应的目标资源组，并建立所述待处理任务所属聚类结果对应的预设任务类别与所述目标资源组间的关联关系。
10.一种计算设备，包括：
存储器和处理器；
所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令时实现权利要求1至9任意一项所述资源处理方法的步骤。
11.一种计算机可读存储介质，其存储有计算机指令，该指令被处理器执行时实现权利要求1至9任意一项所述资源处理方法的步骤。
CN202110860681.9A 2021-07-29 2021-07-29 资源处理方法以及装置 Active CN113312166B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110860681.9A CN113312166B (zh) 2021-07-29 2021-07-29 资源处理方法以及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110860681.9A CN113312166B (zh) 2021-07-29 2021-07-29 资源处理方法以及装置

Publications (2)

Publication Number Publication Date
CN113312166A CN113312166A (zh) 2021-08-27
CN113312166B true CN113312166B (zh) 2022-02-01

Family

ID=77381884

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110860681.9A Active CN113312166B (zh) 2021-07-29 2021-07-29 资源处理方法以及装置

Country Status (1)

Country Link
CN (1) CN113312166B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116401465B (zh) * 2023-06-06 2023-10-20 支付宝(杭州)信息技术有限公司 资源分组分配方法、调整值确定方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190171495A1 (en) * 2017-12-05 2019-06-06 Mesosphere, Inc. Multistep automated scaling for cluster containers
CN110704186A (zh) * 2019-09-25 2020-01-17 国家计算机网络与信息安全管理中心 基于混合分布架构的计算资源分配方法、装置和存储介质
CN112148471A (zh) * 2019-06-29 2020-12-29 华为技术服务有限公司 分布式计算系统中资源调度的方法和装置
CN112348460A (zh) * 2020-10-22 2021-02-09 北京奇保信安科技有限公司 协作任务的资源额度调整方法、装置及电子设备
CN112579304A (zh) * 2020-12-30 2021-03-30 成都佳华物链云科技有限公司 基于分布式平台的资源调度方法、装置、设备及介质
CN112667376A (zh) * 2020-12-23 2021-04-16 数字广东网络建设有限公司 任务调度处理方法、装置、计算机设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106790332B (zh) * 2015-11-24 2020-01-17 中国移动通信集团公司 一种资源调度方法、系统及主节点
CN106897132A (zh) * 2017-02-27 2017-06-27 郑州云海信息技术有限公司 一种服务器任务调度的方法以及装置
CN109976901B (zh) * 2017-12-28 2021-04-16 航天信息股份有限公司 一种资源调度方法、装置、服务器及可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190171495A1 (en) * 2017-12-05 2019-06-06 Mesosphere, Inc. Multistep automated scaling for cluster containers
CN112148471A (zh) * 2019-06-29 2020-12-29 华为技术服务有限公司 分布式计算系统中资源调度的方法和装置
CN110704186A (zh) * 2019-09-25 2020-01-17 国家计算机网络与信息安全管理中心 基于混合分布架构的计算资源分配方法、装置和存储介质
CN112348460A (zh) * 2020-10-22 2021-02-09 北京奇保信安科技有限公司 协作任务的资源额度调整方法、装置及电子设备
CN112667376A (zh) * 2020-12-23 2021-04-16 数字广东网络建设有限公司 任务调度处理方法、装置、计算机设备及存储介质
CN112579304A (zh) * 2020-12-30 2021-03-30 成都佳华物链云科技有限公司 基于分布式平台的资源调度方法、装置、设备及介质

Also Published As

Publication number Publication date
CN113312166A (zh) 2021-08-27

Similar Documents

Publication Publication Date Title
US11244232B2 (en) Feature relationship recommendation method, apparatus, computing device, and storage medium
CN107861796B (zh) 一种支持云数据中心能耗优化的虚拟机调度方法
Wamba et al. Cloud workload prediction and generation models
CN112200375B (zh) 预测模型生成方法、预测模型生成装置和计算机可读介质
CN110008017B (zh) 一种分布式处理系统及方法、一种计算设备及存储介质
CN113312166B (zh) 资源处理方法以及装置
CN111949324A (zh) 一种分布式序列号生成方法和装置
CN113240226A (zh) 一种卫星地面站间的资源分配方法及装置
CN111950851A (zh) 一种工单处理方法及装置
CN110555749B (zh) 基于神经网络的信用行为预测方法以及装置
CN116909751B (zh) 一种云计算系统中的资源分配方法
CN107153677B (zh) 一种查找价值用户的数据处理方法和系统
Ying et al. FrauDetector+ An Incremental Graph-Mining Approach for Efficient Fraudulent Phone Call Detection
CN116560968A (zh) 一种基于机器学习的仿真计算时间预测方法、系统及设备
CN111291123A (zh) 任务节点管理方法以及装置
Weerapurage et al. Parallel vertex cover: A case study in dynamic load balancing
CN115269543A (zh) 数据采样方法
CN113297188B (zh) 数据处理方法以及装置
CN113849550A (zh) 数据处理方法及装置
CN110046975B (zh) 一种记账方法及装置、计算设备和计算机存储介质
CN113296870B (zh) 预测Kubernetes集群配置的方法以及装置
CN111275261A (zh) 资源流动预测方法以及装置
CN116450657B (zh) 数据分片调度方法、装置、设备及存储介质
CN111401383A (zh) 基于图像检测的目标框预估方法、系统、设备及介质
CN110633971A (zh) 资损估计方法以及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40059794

Country of ref document: HK