CN106203757A - 计算资源管理方法和装置 - Google Patents

计算资源管理方法和装置 Download PDF

Info

Publication number
CN106203757A
CN106203757A CN201510226967.6A CN201510226967A CN106203757A CN 106203757 A CN106203757 A CN 106203757A CN 201510226967 A CN201510226967 A CN 201510226967A CN 106203757 A CN106203757 A CN 106203757A
Authority
CN
China
Prior art keywords
numerical value
health
task
node
divided
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510226967.6A
Other languages
English (en)
Inventor
李静
李炉阳
王丰金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201510226967.6A priority Critical patent/CN106203757A/zh
Priority to PCT/CN2016/079157 priority patent/WO2016177258A1/zh
Publication of CN106203757A publication Critical patent/CN106203757A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00Digital computers in general; Data processing equipment in general
    • G06F15/16Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请提出一种计算资源管理方法和装置,该计算资源管理方法包括确定待管理的信息包括的计算资源相关信息,所述计算资源相关信息包括:任务,和/或,节点;获取所述计算资源相关信息的健康分;将所述计算资源相关信息的健康度作为预先建立的健康度模型的参数,计算所述待管理的信息的健康分;根据所述待管理的信息的健康分,对所述待管理的信息进行计算资源管理。该方法能够实现的长期优化机制,不需要人为确认,以及不仅可以优化大任务还可以优化其他任务。

Description

计算资源管理方法和装置
技术领域
本申请涉及数据处理技术领域,尤其涉及一种计算资源管理方法和装置。
背景技术
随着大数据时代的到来,各企业都会遇到一个问题:计算规模以井喷模式快速增长,而计算资源的成本压力也会随之快速增长。并且随着计算量和业务复杂度越来越高,计算资源管理的难度也越来越大。
现有技术中,一般是整个集群遇到计算资源瓶颈了,然后新加机器又有困难的时候,才会发起一次清理,一般的清理都是先找到计算资源消耗较大的N个大任务,然后从大任务着手,看看能不能进行逻辑优化以节省计算资源或者对无用的计算任务直接清理掉。危机过去以后,就又任其照原样发展了。
但是,这种方式存在如下问题:不可能形成长期有效的优化机制;每次要花费大量的人力物力去确认;清理不可能彻底,计算资源消耗较大的N个大任务只能解决短期的危机,还有大量存在其他不合理情况的任务无法得到有效的治理。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此,本申请的一个目的在于提出一种计算资源管理方法,该方法可以实现的长期优化机制,不需要人为确认,以及不仅可以优化大任务还可以优化其他任务。
本申请的另一个目的在于提出一种计算资源管理装置。
为达到上述目的,本申请第一方面实施例提出的计算资源管理方法,包括:确定待管理的信息包括的计算资源相关信息,所述计算资源相关信息包括:任务,和/或,节点;获取所述计算资源相关信息的健康分;将所述计算资源相关信息的健康度作为预先建立的健康度模型的参数,计算所述待管理的信息的健康分;根据所述待管理的信息的健康分,对所述待管理的信息进行计算资源管理。
本申请第一方面实施例提出的计算资源管理方法,通过采用健康度模型对待管理的信息进行计算资源管理,可以在需要管理大规模计算资源时,有一个统一的标准,从而可以形成长期有效的机制,不需要确认,并且可以不仅优化大任务,还可以优化其他任务,因此可以实现可行且有效的计算资源管理,可以应用到大规模数据管理场景下。
为达到上述目的,本申请第二方面实施例提出的计算资源管理装置,包括:确定模块,用于确定待管理的信息包括的计算资源相关信息,所述计算资源相关信息包括:任务,和/或,节点;获取模块,用于获取所述计算资源相关信息的健康分;计算模块,用于将所述计算资源相关信息的健康度作为预先建立的健康度模型的参数,计算所述待管理的信息的健康分;管理模块,用于根据所述待管理的信息的健康分,对所述待管理的信息进行计算资源管理。
本申请第二方面实施例提出的计算资源管理装置,通过采用健康度模型对待管理的信息进行计算资源管理,可以在需要管理大规模计算资源时,有一个统一的标准,从而可以形成长期有效的机制,不需要确认,并且可以不仅优化大任务,还可以优化其他任务,因此可以实现可行且有效的计算资源管理,可以应用到大规模数据管理场景下。
本申请附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1是本申请一实施例提出的计算资源管理方法的流程示意图;
图2是本申请另一实施例提出的计算资源管理装置的结构示意图。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的模块或具有相同或类似功能的模块。下面通过参考附图描述的实施例是示例性的,仅用于解释本申请,而不能理解为对本申请的限制。相反,本申请的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
图1是本申请一实施例提出的计算资源管理方法的流程示意图,该方法包括:
S11:确定待管理的信息包括的计算资源相关信息,所述计算资源相关信息包括:任务,和/或,节点。
其中,待管理的信息包括但不限于:数据开发者,应用程序,业务单元(Business Unit,BU)。
每个待管理的信息可以包括:一个或多个任务;或者,一个或多个节点;或者,一个或多个任务,以及,一个或多个节点。其中,多个是指至少两个。
S12:获取所述计算资源相关信息的健康分。
其中,本实施例中,健康分包括:对应任务的任务级健康分,以及,对应节点的节点级健康分。任务级可以称为开放数据处理服务(Open Data Processing Service,ODPS)任务级,节点级可以称为天网节点级,天网是一种调度系统。
本实施例以扣分制为例,当出现一个扣分项时,从默认的数值开始扣除扣分项对应的数值,最少扣为0。本实施例中以默认值是100为例。
一个实施例中,当所述计算资源相关信息是任务时,根据如下扣分项中的至少一项获取每种任务的健康分:
倾斜度数值,缺责任人数值,简单加工数值,暴力扫描数值,重复计算数值,产出为空数值,映射(map)参数设置不合理数值。
具体的,(1)倾斜度数值a1的计算公式是:
a1=odps_task倾斜度=100-sum(fuxi_task倾斜度)∈[0,∞);
其中,每个任务(odps_task)包括至少一个fuxi_task,sum()表示求和运算,
fuxi_task倾斜度=max(runtime)/avg(runtime)-3;
其中,每个fuxi_task包括至少一个fuxi_instance,runtime是每个fuxi_instance的运行时间,max()是最大值运算,avg()是均值运算。
由于fuxi_instance同时满足如下的两个条件才算数据倾斜:
max(runtime)>5min
max(runtime)>3*avg(runtime)
因此,如果一个fuxi_task的instance数小于等于3时,不构成数据倾斜。倾斜度的最大值和instance数有关。
(2)缺责任人数值a2的计算公式是:
a2=0或者1∈{0,1},其中,当任务有责任人(owner)时,a2=0,无责任人时,a1=0。
通常来讲,当任务有责任人时,就会有biz_id。但是,本实施例中有责任人不限于有biz_id的情况,还包括有责任人无biz_id的情况。
(3)简单加工数值a3的计算公式是:
a3=0或者1∈{0,1},其中,当是简单加工时,a3=1,否则a3=0。
其中,当同时满足如下三点表明是简单加工:
结果表落地,也就是任务对应的操作是写操作,写操作例如:insert overwrite,creat;
纯select,也就是任务对应的操作没有join,没有函数之类复杂的sql;
where里只有分区字段,其中,where是任务对应的sql中的一个参数。
(4)暴力扫描数值a4的计算公式是:
a4=扫描的天数-31∈[0,∞);
其中,计算暴力扫描数值的任务同时满足如下条件:
扫描某个表大于一个月的分区;
avg(天分区大小)>500M,或者,sum(分区大小)>100G;
月任务不计暴力扫描。
其中,一个月采用30天,在计算a4时,二级及以上分区先汇总到天分区。
(5)重复计算数值a5的计算公式是:
a5=column相似度*分区记录数相似度*输入表的相似度∈[0,1);
其中,column相似度是两个字符串的余弦相似性,两个字符串是分别由两个输入表的列组成的,两个输入表是当前比较的两个任务分别对应的取数据的表;
分区记录数相似度是7-61天的分区记录数在大于1000时,这些记录数的协方差;
输入表的相似度是两个输入表的余弦相似度,两个输入表是当前比较的两个任务分别对应的取数据的表。
(6)产出为空数值a6的计算公式是:
a6=0或者1∈{0,1},其中,当任务产出的表或分区的记录数为0,则a6=1,否则a6=0。
需要说明的是,当一个任务为多路输出时,所有表或分区为空才算空,因此,上述的任务产出的表或分区的记录数是指任务产出的表或分区的所有记录数。
(7)映射参数设置不合理数值a7的计算公式是:
a7=100-平均运行时长∈[0,100];
其中,平均运行时长是指一个fuxi_task包括的所有fuxi_instance的运行时间(runtime)的平均值,该fuxi_task需要同时满足如下条件:
仅对无依赖的第一层fuxi_task统计(应该都是map task);
仅统计fuxi_instance数大于100的fuxi_task(这里的100也可以是小于100的值)。
因此,按照上述计算公式,如果平均运行时长小于100s,就认为map参数设置不合理,属于split size设小了。
需要说明的是,上述的运行时长是实际时间,而不是master时间。另外,如果一个odps_task有多个同时满足上述条件的fuxi_task,则取分数最低的作为这里的a7。
以对应任务的上述各项均包括为例,单个任务的健康分C的计算公式是:
C=greatest(0,(100-least(a1,20)-30*a2-10*a3-least(a4/15,15)-10*a5-10*a6-a7))^4/1000000;
其中,greatest为取最大值运算,least是取最小值运算。
另一个实施例中,当所述计算资源相关信息是任务时,根据如下扣分项中的至少一项获取每种任务的健康分:
节点破基线数值,依赖合理性数值,责任人合理性数值,任务出错天数数值,产出表没有被读数值,同源导入数值,产出为空数值,导入持续一致数值。
具体的,(1)节点破基线数值b1的计算公式是:
b1=最近10天破基线的天数∈[0,10]。
需要说明的是,只与本节点对应基线的时间做比较,不做上下游依赖的推导。比如:基线时间5点的B任务依赖了基线时间8点的A任务,如果A任务在7点完成,则A任务不算破基线,但由于B的产出时间必然晚于7点,所以B任务算破基线。另外,不计小时任务。
(2)依赖合理性数值b2的计算公式是:
b2=0或者1∈{0,1},其中,当依赖不合理时取值为1,否则为0。
其中,同时满足如下条件属于依赖不合理:
上游表由天网产出,下游表通过血缘解析有依赖,但是没配置,且读到的分区为0。
(3)责任人(owner)合理性数值b3的计算公式是:
b3=0,1,2或者3∈{0,1,2,3},其中,
和表owner一致,任务owner且未离职:0
和表owner不完全一致,任务owner未离职:1
和表owner一致,任务owner但已离职:2
和表owner不完全一致,任务owner且已离职:3
(4)任务出错天数数值b4的计算公式是:
b4=近10天的任务出错天数,具体取值:
天任务=近10天出错天数*1;
周任务=近10天出错天数*3;
月任务=近10天出错天数*5。
需要说明的是,有出错记录就算(修复了也要算、生产冒烟也算)。一天内出错多次,只取一次。小时任务一天内只算一次。
(5)产出表没有被读数值b5的计算公式是:
b5=0或者1∈{0,1},其中,最近一个月产出表没有被读取记录则为1,否则为0。
需要说明的是,只考虑该任务自身,不考虑其下游。新上线的任务给10天的豁免期,即节点创建时间需要是当前时间10天前的才统计。
(6)同源导入数值b6的计算公式是:
b6=0或者1∈{0,1},其中,如果该节点与其他节点的导入源相同,则取值1,否则为0。
需要说明的是,仅针对datax节点。
(7)产出为空数值b7的计算公式是:
b7=0或者1∈{0,1},其中,如果该节点导入的数据量为0,则取值1,否则为0。
需要说明的是,仅针对datax节点。
(8)导入持续一致数值b8的计算公式是:
b8=0或者1∈{0,1},其中,如果持续7天导入的记录数一致且大于1000行(具体行数也可以设置),则取值1,否则为0。
需要说明的是,仅针对datax节点。
以上述对应节点的各项均包括为例,单个节点的健康分的计算公式是:
D=greatest(0,(100-least(b1*(p+1)*10,100)-30*b2-10*b3-10*b4-50*b5-50*b6-50*b7-50*b8))^4/1000000;
其中,greatest为取最大值运算,least是取最小值运算;
p是预设的天网优先级∈[0,8]。
S13:将所述计算资源相关信息的健康度作为预先建立的健康度模型的参数,计算所述待管理的信息的健康分。
具体的,所述将所述计算资源相关信息的健康度作为预先建立的健康度模型的参数,计算所述待管理的信息的健康分,包括:
采用如下计算公式,计算所述待管理的信息的健康分E:
E=y/(x+y)*((∑(C*n)/∑n)^4/1000000)+x/(x+y)*((∑(D*m)/∑m)^4/1000000);
其中,n是任务级别的权重,具体可以用如下公式计算得到:log(任务运行时间*plan_cpu_cost+1),plan_cpu_cost由底层数据库抓取;
m是节点级别的权重,具体可以用如下公式计算得到:节点的优先级+1,其中,节点的优先级可以由用户预设;
x是有节点的任务数,y是无节点的任务数,其中,通常来讲,有节点的任务是指生产任务,无节点的任务是指开发任务。由于有些人开发任务比较多比如分析师等,有些人生产任务比较多比如专业的数据开发工程师等,为避免失衡所以把两者进行加权平均。
S14:根据所述待管理的信息的健康分,对所述待管理的信息进行计算资源管理。
其中,可以根据预设的策略,对待管理的信息进行计算资源管理。例如,可以预先设置一个阈值,当某个待管理的信息的健康分小于该阈值时,确定该待管理的信息是需要优化的信息,对应需要优化的信息可以展示其包括的任务和节点的每个扣分项,从而有针对性的进行优化。或者,当待管理的信息是数据开发者时,如果一个数据开发者的健康分大于阈值,则可以奖励该数据开发者,反之,当一个数据开发者的健康分小于阈值时,对该数据开发者进行惩罚,从而可以调动数据开发者的优化积极性。
本实施例应用的集群包括但不限于:Hadoop集群,odps集群。
本实施例中,通过采用健康度模型对待管理的信息进行计算资源管理,可以在需要管理大规模计算资源时,有一个统一的标准,从而可以形成长期有效的机制,不需要人为确认,并且可以不仅优化大任务,还可以优化其他任务,因此可以实现可行且有效的计算资源管理,可以应用到大规模数据管理场景下。本实施例通过选择上述各种具体的任务级别和节点级别的扣分项,可以非常适用于大规模的计算资源管理。
图2是本申请另一实施例提出的计算资源管理装置的结构示意图,该装置20包括:确定模块21,获取模块22,计算模块23和管理模块24。
确定模块21,用于确定待管理的信息包括的计算资源相关信息,所述计算资源相关信息包括:任务,和/或,节点;
其中,待管理的信息包括但不限于:数据开发者,应用程序,业务单元(Business Unit,BU)。
每个待管理的信息可以包括:一个或多个任务;或者,一个或多个节点;或者,一个或多个任务,以及,一个或多个节点。其中,多个是指至少两个。
获取模块22,用于获取所述计算资源相关信息的健康分;
其中,本实施例中,健康分包括:对应任务的任务级健康分,以及,对应节点的节点级健康分。任务级可以称为开放数据处理服务(Open Data Processing Service,ODPS)任务级,节点级可以称为天网节点级,天网是一种调度系统。
本实施例以扣分制为例,当出现一个扣分项时,从默认的数值开始扣除扣分项对应的数值,最少扣为0。本实施例中以默认值是100为例。
一个实施例中,所述获取模块22具体用于:
当所述计算资源相关信息是任务时,根据如下扣分项中的至少一项获取每种任务的健康分:
倾斜度数值,缺责任人数值,简单加工数值,暴力扫描数值,重复计算数值,产出为空数值,映射参数设置不合理数值。
相应的,如果单个任务与上述各扣分项均相关,所述获取模块22具体用于采用如下计算公式计算单个任务的健康分:
C=greatest(0,(100-least(a1,20)-30*a2-10*a3-least(a4/15,15)-10*a5-10*a6-a7))^4/1000000;
其中,greatest为取最大值运算,least是取最小值运算;
C是单个任务的健康分,a1是倾斜度数值,a2是缺责任人数值,a3是简单加工数值,a4是暴力扫描数值,a5是重复计算数值,a6是产出为空数值,a7是映射参数设置不合理数值。
其中,上述各数值的计算公式可以参见方法实施例中的相关描述,在此不再赘述。
另一个实施例中,所述获取模块22具体用于:
当所述计算资源相关信息是节点时,根据如下扣分项中的至少一项获取每种节点的健康分:
节点破基线数值,依赖合理性数值,责任人合理性数值,任务出错天数数值,产出表没有被读数值,同源导入数值,产出为空数值,导入持续一致数值。
相应的,如果单个任务与上述各扣分项均相关,所述获取模块22具体用于采用如下计算公式计算单个节点的健康分:
D=greatest(0,(100-least(b1*(p+1)*10,100)-30*b2-10*b3-10*b4-50*b5-50*b6-50*b7-50*b8))^4/1000000;
其中,greatest为取最大值运算,least是取最小值运算;
D是单个节点的健康分,b1是节点破基线数值,b2是依赖合理性数值,b3是责任人合理性数值,b4是任务出错天数数值,b5是产出表没有被读数值,b6是同源导入数值,b7是产出为空数值,b8是导入持续一致数值。
其中,上述各数值的计算公式可以参见方法实施例中的相关描述,在此不再赘述。
计算模块23,用于将所述计算资源相关信息的健康度作为预先建立的健康度模型的参数,计算所述待管理的信息的健康分;
具体的,所述计算模块23具体用于:
采用如下计算公式,计算所述待管理的信息的健康分:
E=y/(x+y)*((∑(C*n)/∑n)^4/1000000)+x/(x+y)*((∑(D*m)/∑m)^4/1000000);
其中,E是待管理的信息的健康分;
n是任务级别的权重,具体可以用如下公式计算得到:log(任务运行时间*plan_cpu_cost+1),plan_cpu_cost由底层数据库抓取;
m是节点级别的权重,具体可以用如下公式计算得到:节点的优先级+1,其中,节点的优先级可以由用户预设;
x是有节点的任务数,y是无节点的任务数。
管理模块24,用于根据所述待管理的信息的健康分,对所述待管理的信息进行计算资源管理。
其中,可以根据预设的策略,对待管理的信息进行计算资源管理。例如,可以预先设置一个阈值,当某个待管理的信息的健康分小于该阈值时,确定该待管理的信息是需要优化的信息,对应需要优化的信息可以展示其包括的任务和节点的每个扣分项,从而有针对性的进行优化。或者,当待管理的信息是数据开发者时,如果一个数据开发者的健康分大于阈值,则可以奖励该数据开发者,反之,当一个数据开发者的健康分小于阈值时,对该数据开发者进行惩罚,从而可以调动数据开发者的优化积极性。
本实施例应用的集群包括但不限于:Hadoop集群,odps集群。
本实施例中,通过采用健康度模型对待管理的信息进行计算资源管理,可以在需要管理大规模计算资源时,有一个统一的标准,从而可以形成长期有效的机制,不需要人为确认,并且可以不仅优化大任务,还可以优化其他任务,因此可以实现可行且有效的计算资源管理,可以应用到大规模数据管理场景下。本实施例通过选择上述各种具体的任务级别和节点级别的扣分项,可以非常适用于大规模的计算资源管理。
需要说明的是,在本申请的描述中,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。此外,在本申请的描述中,除非另有说明,“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
应当理解,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本申请各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本申请的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (12)

1.一种计算资源管理方法,其特征在于,包括:
确定待管理的信息包括的计算资源相关信息,所述计算资源相关信息包括:任务,和/或,节点;
获取所述计算资源相关信息的健康分;
将所述计算资源相关信息的健康度作为预先建立的健康度模型的参数,计算所述待管理的信息的健康分;
根据所述待管理的信息的健康分,对所述待管理的信息进行计算资源管理。
2.根据权利要求1所述的方法,其特征在于,所述获取所述计算资源相关信息的健康分,包括:
当所述计算资源相关信息是任务时,根据如下扣分项中的至少一项获取每种任务的健康分:
倾斜度数值,缺责任人数值,简单加工数值,暴力扫描数值,重复计算数值,产出为空数值,映射参数设置不合理数值。
3.根据权利要求1所述的方法,其特征在于,所述获取所述计算资源相关信息的健康分,包括:
当所述计算资源相关信息是节点时,根据如下扣分项中的至少一项获取每种节点的健康分:
节点破基线数值,依赖合理性数值,责任人合理性数值,任务出错天数数值,产出表没有被读数值,同源导入数值,产出为空数值,导入持续一致数值。
4.根据权利要求2所述的方法,其特征在于,如果单个任务与上述各扣分项均相关,所述获取所述计算资源相关信息的健康分,包括:
单个任务的健康分的计算公式是:
C=greatest(0,(100-least(a1,20)
-30*a2-10*a3-least(a4/15,15)-10*a5-10*a6-a7))^4/1000000;
其中,greatest为取最大值运算,least是取最小值运算;
C是单个任务的健康分,a1是倾斜度数值,a2是缺责任人数值,a3是简单加工数值,a4是暴力扫描数值,a5是重复计算数值,a6是产出为空数值,a7是映射参数设置不合理数值。
5.根据权利要求3所述的方法,其特征在于,如果单个节点与上述各扣分项均相关,所述获取所述计算资源相关信息的健康分,包括:
单个节点的健康分的计算公式是:
D=greatest(0,(100-least(b1*(p+1)*10,100)-30*b2
-10*b3-10*b4-50*b5-50*b6-50*b7-50*b8))^4/1000000;
其中,greatest为取最大值运算,least是取最小值运算;
D是单个节点的健康分,b1是节点破基线数值,b2是依赖合理性数值,b3是责任人合理性数值,b4是任务出错天数数值,b5是产出表没有被读数值,b6是同源导入数值,b7是产出为空数值,b8是导入持续一致数值。
6.根据权利要求1-5任一项所述的方法,其特征在于,所述将所述计算资源相关信息的健康度作为预先建立的健康度模型的参数,计算所述待管理的信息的健康分,包括:
采用如下计算公式,计算所述待管理的信息的健康分:
E=y/(x+y)*((∑(C*n)/∑n)^4/1000000)+x/(x+y)*((∑(D*m)/∑m)^4/1000000);
其中,E是待管理的信息的健康分;
n是任务级别的权重,具体可以用如下公式计算得到:log(任务运行时间*plan_cpu_cost+1),plan_cpu_cost由底层数据库抓取;
m是节点级别的权重,具体可以用如下公式计算得到:节点的优先级+1,其中,节点的优先级可以由用户预设;
x是有节点的任务数,y是无节点的任务数。
7.一种计算资源管理装置,其特征在于,包括:
确定模块,用于确定待管理的信息包括的计算资源相关信息,所述计算资源相关信息包括:任务,和/或,节点;
获取模块,用于获取所述计算资源相关信息的健康分;
计算模块,用于将所述计算资源相关信息的健康度作为预先建立的健康度模型的参数,计算所述待管理的信息的健康分;
管理模块,用于根据所述待管理的信息的健康分,对所述待管理的信息进行计算资源管理。
8.根据权利要求7所述的装置,其特征在于,所述获取模块具体用于:
当所述计算资源相关信息是任务时,根据如下扣分项中的至少一项获取每种任务的健康分:
倾斜度数值,缺责任人数值,简单加工数值,暴力扫描数值,重复计算数值,产出为空数值,映射参数设置不合理数值。
9.根据权利要求7所述的装置,其特征在于,所述获取模块具体用于:
当所述计算资源相关信息是节点时,根据如下扣分项中的至少一项获取每种节点的健康分:
节点破基线数值,依赖合理性数值,责任人合理性数值,任务出错天数数值,产出表没有被读数值,同源导入数值,产出为空数值,导入持续一致数值。
10.根据权利要求8所述的装置,其特征在于,如果单个任务与上述各扣分项均相关,所述获取模块具体用于采用如下计算公式计算单个任务的健康分:
C=greatest(0,(100-least(a1,20)-30*a2
-10*a3-least(a4/15,15)-10*a5-10*a6-a7))^4/1000000;
其中,greatest为取最大值运算,least是取最小值运算;
C是单个任务的健康分,a1是倾斜度数值,a2是缺责任人数值,a3是简单加工数值,a4是暴力扫描数值,a5是重复计算数值,a6是产出为空数值,a7是映射参数设置不合理数值。
11.根据权利要求9所述的装置,其特征在于,如果单个任务与上述各扣分项均相关,所述获取模块具体用于采用如下计算公式计算单个节点的健康分:
D=greatest(0,(100-least(b1*(p+1)*10,100)-30*b2
-10*b3-10*b4-50*b5-50*b6-50*b7-50*b8))^4/1000000;
其中,greatest为取最大值运算,least是取最小值运算;
D是单个节点的健康分,b1是节点破基线数值,b2是依赖合理性数值,b3是责任人合理性数值,b4是任务出错天数数值,b5是产出表没有被读数值,b6是同源导入数值,b7是产出为空数值,b8是导入持续一致数值。
12.根据权利要求7-11任一项所述的装置,其特征在于,所述计算模块具体用于:
采用如下计算公式,计算所述待管理的信息的健康分:
E=y/(x+y)*((∑(C*n)/∑n)^4/1000000)+x/(x+y)*((∑(D*m)/∑m)^4/1000000);
其中,E是待管理的信息的健康分;
n是任务级别的权重,具体可以用如下公式计算得到:log(任务运行时间*plan_cpu_cost+1),plan_cpu_cost由底层数据库抓取;
m是节点级别的权重,具体可以用如下公式计算得到:节点的优先级+1,其中,节点的优先级可以由用户预设;
x是有节点的任务数,y是无节点的任务数。
CN201510226967.6A 2015-05-06 2015-05-06 计算资源管理方法和装置 Pending CN106203757A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201510226967.6A CN106203757A (zh) 2015-05-06 2015-05-06 计算资源管理方法和装置
PCT/CN2016/079157 WO2016177258A1 (zh) 2015-05-06 2016-04-13 计算资源管理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510226967.6A CN106203757A (zh) 2015-05-06 2015-05-06 计算资源管理方法和装置

Publications (1)

Publication Number Publication Date
CN106203757A true CN106203757A (zh) 2016-12-07

Family

ID=57217439

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510226967.6A Pending CN106203757A (zh) 2015-05-06 2015-05-06 计算资源管理方法和装置

Country Status (2)

Country Link
CN (1) CN106203757A (zh)
WO (1) WO2016177258A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113778727A (zh) * 2020-06-19 2021-12-10 北京沃东天骏信息技术有限公司 数据处理方法及装置、电子设备和计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120271678A1 (en) * 2009-09-25 2012-10-25 International Business Machines Corporation Chargeback reduction planning for information technology management
CN103440167A (zh) * 2013-09-04 2013-12-11 福州大学 Hadoop多作业环境下自学习反馈的任务调度方法
CN104391749A (zh) * 2014-11-26 2015-03-04 北京奇艺世纪科技有限公司 一种资源分配方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101604264B (zh) * 2009-07-08 2012-07-25 深圳先进技术研究院 超级计算机的任务调度方法及系统
US9207988B2 (en) * 2012-06-29 2015-12-08 Intel Corporation Method, system, and device for managing server hardware resources in a cloud scheduling environment
US20140025414A1 (en) * 2012-07-20 2014-01-23 Bret Dwayne Worden Health assessment method and system for assets
US9185006B2 (en) * 2012-12-17 2015-11-10 Microsoft Technology Licensing, Llc Exchange of server health and client information through headers for request management
US10574550B2 (en) * 2013-03-15 2020-02-25 Time Warner Cable Enterprises Llc Methods and apparatus for scoring the condition of nodes in a communication network and taking action based on node health scores

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120271678A1 (en) * 2009-09-25 2012-10-25 International Business Machines Corporation Chargeback reduction planning for information technology management
CN103440167A (zh) * 2013-09-04 2013-12-11 福州大学 Hadoop多作业环境下自学习反馈的任务调度方法
CN104391749A (zh) * 2014-11-26 2015-03-04 北京奇艺世纪科技有限公司 一种资源分配方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113778727A (zh) * 2020-06-19 2021-12-10 北京沃东天骏信息技术有限公司 数据处理方法及装置、电子设备和计算机可读存储介质

Also Published As

Publication number Publication date
WO2016177258A1 (zh) 2016-11-10

Similar Documents

Publication Publication Date Title
US11175953B2 (en) Determining an allocation of computing resources for a job
Parsia et al. The OWL reasoner evaluation (ORE) 2015 competition report
US10776397B2 (en) Data interest estimation for n-dimensional cube computations
CN104216662B (zh) 用于跨远程复制关系的卷布置的方法和系统
AU2019210603A1 (en) Processing data for use in a cognitive insights platform
CN109918205A (zh) 一种边缘设备调度方法、系统、装置及计算机存储介质
CN112801718B (zh) 用户行为预测方法、装置、设备及介质
CN108694201A (zh) 一种实体对齐方法和装置
US10537801B2 (en) System and method for decision making in strategic environments
US20210110248A1 (en) Identifying and optimizing skill scarcity machine learning algorithms
CN109710406A (zh) 数据分配及其模型训练方法、装置、及计算集群
WO2021151305A1 (zh) 基于缺失数据的样本分析方法、装置、电子设备及介质
CN108681505A (zh) 一种基于决策树的测试用例排序方法和装置
CN115599840A (zh) 一种复杂业务数据治理方法和系统
CN106575296B (zh) 用于托管的分析的动态n维立方体
CN107885781A (zh) 一种版本管理方法及系统
CN106203757A (zh) 计算资源管理方法和装置
CN112818028A (zh) 数据指标筛选方法、装置、计算机设备及存储介质
Wiktorski Data-intensive systems: Principles and fundamentals using Hadoop and spark
JP2010072876A (ja) ルール作成プログラム、ルール作成方法及びルール作成装置
CN114968336A (zh) 应用灰度发布方法、装置、计算机设备及存储介质
US11222133B1 (en) User programmatic interface for supporting data access control in a database system
CN113553513B (zh) 基于人工智能的课程推荐方法、装置、电子设备及介质
CN115130906A (zh) 基于人工智能的业务方案选择方法及相关设备
CN113190463B (zh) 一种代码测试方法,节点及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20161207

RJ01 Rejection of invention patent application after publication