CN112346863A - 一种计算资源动态调整数据处理方法及系统 - Google Patents

一种计算资源动态调整数据处理方法及系统 Download PDF

Info

Publication number
CN112346863A
CN112346863A CN202011168820.3A CN202011168820A CN112346863A CN 112346863 A CN112346863 A CN 112346863A CN 202011168820 A CN202011168820 A CN 202011168820A CN 112346863 A CN112346863 A CN 112346863A
Authority
CN
China
Prior art keywords
task
mapping
calculation
resources
efficiency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011168820.3A
Other languages
English (en)
Inventor
吴晓军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei Jilian Human Resources Service Group Co ltd
Original Assignee
Hebei Jilian Human Resources Service Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei Jilian Human Resources Service Group Co ltd filed Critical Hebei Jilian Human Resources Service Group Co ltd
Priority to CN202011168820.3A priority Critical patent/CN112346863A/zh
Publication of CN112346863A publication Critical patent/CN112346863A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5022—Mechanisms to release resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5044—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering hardware capabilities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/105—Human resources

Abstract

本发明提供了一种计算资源动态调整数据处理方法及系统，通过提交计算任务及所需资源配置的计算请求，根据计算请求进行任务建模，根据任务监控状态进行任务装载，资源计算感知并实时调整任务装载，监控任务执行。本发明能够自动感知任务和资源利用效率，实现资源动态调整，提高数据处理速度和效率，能够应用于海量人力资源大数据处理，提高人力资源企业人才画像、离职率计算、社保缴费计算等计算任务快速高效处理。

Description

一种计算资源动态调整数据处理方法及系统
技术领域
本发明涉及大数据的技术领域，特别涉及一种计算资源动态调整数据处理方法及系统。
背景技术
现代社会已经进入一个数据爆炸的时代，海量数据集的处理与分析被称为“大数据”，大数据是继云计算之后在信息科技领域出现的一个新的研究焦点。无处不在的传感器、微处理器以及互联网，形成了庞大的数据来源，现有的数据库产品以及数据库的商业模式满足不了基于大数据的运算规模，同时，互联网下企业用户数据在不断增长，致使全球数据量得到迅速增长。例如企业数据库中储存的海量人力资源大数据，在当人力资源企业进行企业人才画像、离职率计算、社保缴费计算等计算任务，基于海量数据的计算为企业数据管理带来挑战。
不断增长的趋势要求处理系统在数据存储和计算性能上有很好的扩展能力，现有技术中，目前的企业级大数据计算无法做到基于工作量自动感知和动态调整，并发计算处理效率较低。
发明内容
基于上述问题，本发明提供了一种计算资源动态调整数据处理方法及系统，能够自动感知任务和资源利用效率，实现资源动态调整，提高数据处理速度和效率。本发明能够应用于海量人力资源大数据处理，提高人力资源企业人才画像、离职率计算、社保缴费计算等计算任务快速高效处理。
为实现上述目的，本发明提供了一种计算资源动态调整数据处理方法：
所述方法包括：
步骤101，接收所述客户端提交的计算请求；
步骤102，根据所述计算请求中所需资源配置信息为任务分配初始状态信息，建立任务集合，将任务集合、初始状态信息发送至任务装载器；
步骤103，接收所述任务建模器提交的数据，将已建模的计算任务添加至所述任务集合，遍历任务集合与计算体集合，通过饱和判断算法判断每个任务对应的计算体资源是否饱和，若饱和则进一步通过任务代理生成算法在当前计算体创建新的任务代理，感知矩阵G递增；
步骤104，感知资源利用效率，检查计算任务执行状态，对执行完成的任务及时释放资源并将最终计算结果保存至大数据库，重启执行超时任务，监测任务代理工作状态，对执行完成的任务代理及时释放资源，重新启动假死的任务代理。
进一步地，所述任务装载器包含映射任务装载器与归集任务装载器，创建感知矩阵用于记录映射任务装载数与归集任务装载数，所述映射任务装载器采用启发式平衡算法平衡映射任务阶段计算量，所述任务装载器遍历任务代理，获取效率最高、最低的任务代理以及所述感知矩阵最大、最小的计算体，获得，减少效率最高、感知矩阵数量最多的感知矩阵数量，增加效率最低、感知矩阵数量最少的感知矩阵数量。
进一步地，所述根据所述计算请求中所需资源配置信息为任务分配初始状态信息具体包括：分配所需要的映射任务、进行中的映射任务、等待的映射任务，其中所述进行中的映射任务与等待的映射任务之和等于所需要的映射任务；分配所需要的归集任务、进行中的映射任务、等待的映射任务，其中所述进行中的归集任务与等待的归集任务之和等于所需要的归集任务。
进一步地，所述饱和判断算法具体为，计算获取饱和度值，若饱和度值小于1则为不饱和，否则为饱和，所述饱和度为进行中的映射任务与所需要的归集任务比值减去一的绝对值；所述任务代理生成算法具体为，若计算体的总CPU资源与计算体已用CPU资源之差大于CPU标准分配单位则CPU标准分配单位保持不变，否则修改为计算体的总CPU资源与计算体已用CPU资源之差；计算体的总GPU资源与计算体已用GPU资源之差大于GPU标准分配单位则GPU标准分配单位保持不变，否则修改为计算体的总GPU资源与计算体已用GPU资源之差；计算体的总内存资源与计算体已用内存资源之差大于内存标准分配单位则内存标准分配单位保持不变，否则修改为计算体的总内存资源与计算体已用内存资源之差。
进一步地，所述感知资源利用效率具体为，第i任务在任务映射阶段的运行中的任务代理数量为
Figure BDA0002746640860000031
第i任务在任务映射阶段的等待执行的任务代理数量为
Figure BDA0002746640860000032
在任务归集阶段的运行中的任务代理数量为
Figure BDA0002746640860000033
在任务归集阶段的运行中等待执行的任务代理数量为
Figure BDA0002746640860000034
第i任务对于感知矩阵G的效率为E，
Figure BDA0002746640860000035
其中
Figure BDA0002746640860000036
为第i任务在映射阶段对于感知矩阵G的效率，
Figure BDA0002746640860000037
为第i任务在映射阶段对于感知矩阵G的效率，
当
Figure BDA0002746640860000038
时，
Figure BDA0002746640860000039
计算公式如下：
Figure BDA00027466408600000310
当
Figure BDA00027466408600000311
时，
Figure BDA00027466408600000312
计算公式如下：
Figure BDA00027466408600000313
Figure BDA00027466408600000314
的计算公式如下：
Figure BDA00027466408600000315
另外，本发明还提供了一种计算资源动态调整数据处理系统：
所述系统包括：客户端以及云计算数据处理平台；
所述客户端用于输入计算请求；
所述云计算数据处理平台包括计算体、任务建模器、任务装载器、监控调度器以及效率感知器；所述计算体模块包括至少一计算体，所述计算体包括资源；所述任务建模器接收所述客户端提交的计算请求，根据所述计算请求中所需资源配置信息为任务分配初始状态信息，建立任务集合，将任务集合、初始状态信息发送至任务装载器；所述任务装载器接收所述任务建模器提交的数据，将已建模的计算任务添加至所述任务集合，遍历任务集合与计算体集合，通过饱和判断算法判断每个任务对应的计算体资源是否饱和，若饱和则进一步通过任务代理生成算法在当前计算体创建新的任务代理，感知矩阵G递增；所述效率感知器用于感知资源利用效率；所述监控调度器检查计算任务执行状态，对执行完成的任务及时释放资源并将最终计算结果保存至大数据库，重启执行超时任务，监测任务代理工作状态，对执行完成的任务代理及时释放资源，重新启动假死的任务代理。
进一步地，所述任务装载器包含映射任务装载器与归集任务装载器，创建感知矩阵用于记录映射任务装载数与归集任务装载数，所述映射任务装载器采用启发式平衡算法平衡映射任务阶段计算量，所述任务装载器遍历任务代理，获取效率最高、最低的任务代理以及所述感知矩阵最大、最小的计算体，获得，减少效率最高、感知矩阵数量最多的感知矩阵数量，增加效率最低、感知矩阵数量最少的感知矩阵数量。
进一步地，所述根据所述计算请求中所需资源配置信息为任务分配初始状态信息具体包括：分配所需要的映射任务、进行中的映射任务、等待的映射任务，其中所述进行中的映射任务与等待的映射任务之和等于所需要的映射任务；分配所需要的归集任务、进行中的映射任务、等待的映射任务，其中所述进行中的归集任务与等待的归集任务之和等于所需要的归集任务。
进一步地，所述饱和判断算法具体为，计算获取饱和度值，若饱和度值小于1则为不饱和，否则为饱和，所述饱和度为进行中的映射任务与所需要的归集任务比值减去一的绝对值；所述任务代理生成算法具体为，若计算体的总CPU资源与计算体已用CPU资源之差大于CPU标准分配单位则CPU标准分配单位保持不变，否则修改为计算体的总CPU资源与计算体已用CPU资源之差；计算体的总GPU资源与计算体已用GPU资源之差大于GPU标准分配单位则GPU标准分配单位保持不变，否则修改为计算体的总GPU资源与计算体已用GPU资源之差；计算体的总内存资源与计算体已用内存资源之差大于内存标准分配单位则内存标准分配单位保持不变，否则修改为计算体的总内存资源与计算体已用内存资源之差。
进一步地，所述效率感知器用于感知资源利用效率具体为，第i任务在任务映射阶段的运行中的任务代理数量为
Figure BDA0002746640860000051
第i任务在任务映射阶段的等待执行的任务代理数量为
Figure BDA0002746640860000052
在任务归集阶段的运行中的任务代理数量为
Figure BDA0002746640860000053
在任务归集阶段的运行中等待执行的任务代理数量为
Figure BDA0002746640860000054
第i任务对于感知矩阵G的效率为E，
Figure BDA0002746640860000055
其中
Figure BDA0002746640860000056
为第i任务在映射阶段对于感知矩阵G的效率，
Figure BDA0002746640860000057
为第i任务在映射阶段对于感知矩阵G的效率，
当
Figure BDA0002746640860000058
时，
Figure BDA0002746640860000059
计算公式如下：
Figure BDA00027466408600000510
当
Figure BDA00027466408600000511
时，
Figure BDA00027466408600000512
计算公式如下：
Figure BDA00027466408600000513
Figure BDA00027466408600000514
的计算公式如下：
Figure BDA00027466408600000515
本发明提供了一种计算资源动态调整数据处理方法及系统，通过提交计算任务及所需资源配置的计算请求，根据计算请求进行任务建模，根据任务监控状态进行任务装载，资源计算感知并实时调整任务装载，监控任务执行。本发明能够自动感知任务和资源利用效率，实现资源动态调整，提高数据处理速度和效率，能够应用于海量人力资源大数据处理，提高人力资源企业人才画像、离职率计算、社保缴费计算等计算任务快速高效处理。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的计算资源动态调整数据处理系统结构框图；
图2为本发明的计算资源动态调整数据处理方法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了解决了现有技术企业级大数据计算无法做到基于工作量自动感知和动态调整，并发计算处理效率较低的技术问题，本发明提出了一种计算资源动态调整数据处理方法，用于处理企业人力资源管理大数据计算任务：
所述方法包括：
步骤101，接收所述客户端提交的计算请求；
所述客户端包括笔记本、电脑、pad等用户计算输入设备，用于输入用户计算请求，计算请求包括基于人力资源大数据的人才画像计算任务与计算所需资源配置信息。
步骤102，根据所述计算请求中所需资源配置信息为任务分配初始状态信息，建立任务集合，将任务集合、初始状态信息发送至任务装载器；
云计算数据处理平台包括计算体、任务建模器、任务装载器、监控调度器以及效率感知器。所述计算体模块包括不少于一个计算体，每个计算体内含CPU、内存、GPU、固态硬盘等资源，假设有m个计算体，每个计算体用J表示，计算体集合JS＝{J1,J2,...Jm}。
任务建模器模块接收客户端提交的计算请求信息，根据计算请求中所需资源配置信息为任务分配初始状态信息，包括所需要的映射任务
Figure BDA0002746640860000071
进行中的映射任务
Figure BDA0002746640860000072
等待的映射任务
Figure BDA0002746640860000073
其中
Figure BDA0002746640860000074
包括所需要的归集任务
Figure BDA0002746640860000075
进行中的映射任务
Figure BDA0002746640860000076
等待的映射任务
Figure BDA0002746640860000077
其中
Figure BDA0002746640860000078
任务建模器模块将任务RW与任务的初始状态信息发送到任务装载器模块模块。
步骤103，接收所述任务建模器提交的数据，将已建模的计算任务添加至所述任务集合，遍历任务集合与计算体集合，通过饱和判断算法判断每个任务对应的计算体资源是否饱和，若饱和则进一步通过任务代理生成算法在当前计算体创建新的任务代理，感知矩阵G递增；
任务装载器模块接收任务建模器模块提交的计算请求，将已建模的计算任务Ri加入任务集合RW＝{R1,R2,....Rn}。任务装载器包含映射任务装载器Y与归集任务装载器R。创建感知矩阵G用于记录映射任务装载数与归集任务装载数，G＝GY+GR。映射任务装载器Y采用启发式平衡算法平衡映射任务阶段计算量，任务装载器定期遍历任务代理DL＝{D1,D2,D3...Dw},通过Max{E1(G),E2(G).....Ei(G)}方法找到效率E最大的任务代理RW(X)，通过Max{GY (x,1)，GY (x,2)......GY (x,i)}找到感知矩阵最大的计算体JS(z)，减少效率最大、感知矩阵数量最多的感知矩阵数量，通过Min{E1(G),E2(G).....Ei(G)}方法寻找效率E最低的任务代理RW(k)，通过Min{GY (x,1)，GY (x,2)......GY (x,i)}找到感知矩阵最小的计算体JS(a)，增加效率最小、感知矩阵数量最小的感知矩阵数量。计算方法如下：
Figure BDA0002746640860000079
Figure BDA0002746640860000081
任务装载器定期遍历任务集合RW＝{R1,R2,....Rn}与计算体集合JS＝{J1,J2,...Jm},通过judgesaturated(i，j)方法(饱和判断算法)判断每个任务对应的计算体资源是否饱和，若饱和则进一步的通过Createnewagent(i，j，DL)方法(任务代理生成算法)在该计算体创建一新的任务代理，并通过GR (i,j)＝GR (i,j)+1使感知矩阵G递增。计算方法如下：
Figure BDA0002746640860000082
Judgesaturated(i，j)方法用来判断任务i对应的j计算体是否饱和，任务i在归集R阶段的运行中的任务代理数量为
Figure BDA0002746640860000091
在任务归集R阶段所需要的任务数量为
Figure BDA0002746640860000092
采用公式
Figure BDA0002746640860000093
计算资源利用效率。计算结果
Figure BDA0002746640860000094
时候代表不饱和，返回0.计算方法如下：
Figure BDA0002746640860000095
Createnewagent(i，j，R)方法用于新建一个任务代理，
Figure BDA0002746640860000096
表示任务i、计算体j已用CPU资源，
Figure BDA0002746640860000097
表示计算体j已用CPU资源，
Figure BDA0002746640860000098
表示计算体j的总CPU资源，
Figure BDA0002746640860000099
表示任务i、计算体j已用GPU资源，
Figure BDA00027466408600000910
表示计算体j已用GPU资源，
Figure BDA00027466408600000911
表示计算体j的总GPU资源，
Figure BDA00027466408600000912
表示任务i、计算体j已用内存资源，
Figure BDA00027466408600000913
表示计算体j已用内存资源，
Figure BDA00027466408600000914
表示计算体j的总内存资源，θ(1)为CPU标准分配单位，θ(2)为Gpu标准分配单位，θ(3)为内存标准分配单位。
Figure BDA00027466408600000915
Figure BDA0002746640860000101
步骤104，感知资源利用效率，检查计算任务执行状态，对执行完成的任务及时释放资源并将最终计算结果保存至大数据库，重启执行超时任务，监测任务代理工作状态，对执行完成的任务代理及时释放资源，重新启动假死的任务代理。
效率感知器模块用于感知资源利用效率E，某任务i在任务映射Y阶段的运行中的任务代理数量为
Figure BDA0002746640860000111
某任务i在任务映射Y阶段的等待执行的任务代理数量为
Figure BDA0002746640860000112
在任务归集R阶段的运行中的任务代理数量为
Figure BDA0002746640860000113
在任务归集R阶段的运行中等待执行的任务代理数量为
Figure BDA0002746640860000114
假设任务i对于感知矩阵G的效率为
E,
Figure BDA0002746640860000115
其中
Figure BDA0002746640860000116
为任务i在映射阶段对于感知矩阵G的效率，
Figure BDA0002746640860000117
为任务i在映射阶段对于感知矩阵G的效率，当
Figure BDA0002746640860000118
时，
Figure BDA0002746640860000119
计算公式如下：
Figure BDA00027466408600001110
当
Figure BDA00027466408600001111
时，
Figure BDA00027466408600001112
计算公式如下：
Figure BDA00027466408600001113
Figure BDA00027466408600001114
的计算公式如下：
Figure BDA00027466408600001115
其中，监控调度器模块负责检查各计算任务执行状态，对执行完成的任务及时释放资源并将最终计算结果保存到大数据库中，重启执行超时任务，监测各任务代理工作状态，对执行完成的任务代理及时释放资源，重新启动假死的任务代理，监控调度器模块负责子任务的监控运行，监测子任务计算执行情况，对执行完成的任务及时释放资源，重启执行超时的子任务。
另外，本发明还提供了一种计算资源动态调整数据处理系统，用于处理企业人力资源管理大数据计算任务：
所述系统包括：客户端以及云计算数据处理平台；
所述客户端用于输入计算请求；
所述客户端包括笔记本、电脑、pad等用户计算输入设备，用于输入用户计算请求，计算请求包括基于人力资源大数据的人才画像计算任务与计算所需资源配置信息。
所述云计算数据处理平台包括计算体、任务建模器、任务装载器、监控调度器以及效率感知器；
所述计算体模块包括不少于一个计算体，每个计算体内含CPU、内存、GPU、固态硬盘等资源，假设有m个计算体，每个计算体用J表示，计算体集合JS＝{J1,J2,...Jm}。
所述任务建模器接收所述客户端提交的计算请求，根据所述计算请求中所需资源配置信息为任务分配初始状态信息，建立任务集合，将任务集合、初始状态信息发送至任务装载器；所述任务装载器接收所述任务建模器提交的数据，将已建模的计算任务添加至所述任务集合，遍历任务集合与计算体集合，通过饱和判断算法判断每个任务对应的计算体资源是否饱和，若饱和则进一步通过任务代理生成算法在当前计算体创建新的任务代理，感知矩阵G递增；所述效率感知器用于感知资源利用效率；所述监控调度器检查计算任务执行状态，对执行完成的任务及时释放资源并将最终计算结果保存至大数据库，重启执行超时任务，监测任务代理工作状态，对执行完成的任务代理及时释放资源，重新启动假死的任务代理。
其中，所述任务建模器模块接收客户端提交的计算请求信息，根据计算请求中所需资源配置信息为任务分配初始状态信息，包括所需要的映射任务
Figure BDA0002746640860000121
进行中的映射任务
Figure BDA0002746640860000122
等待的映射任务
Figure BDA0002746640860000123
其中
Figure BDA0002746640860000124
包括所需要的归集任务
Figure BDA0002746640860000125
进行中的映射任务
Figure BDA0002746640860000126
等待的映射任务
Figure BDA0002746640860000127
其中
Figure BDA0002746640860000128
任务建模器模块将任务RW与任务的初始状态信息发送到任务装载器模块。
其中，任务装载器模块接收任务建模器模块提交的计算请求，将已建模的计算任务Ri加入任务集合RW＝{R1,R2,....Rn}。任务装载器包含映射任务装载器Y与归集任务装载器R。创建感知矩阵G用于记录映射任务装载数与归集任务装载数，G＝GY+GR。映射任务装载器Y采用启发式平衡算法平衡映射任务阶段计算量，任务装载器定期遍历任务代理DL＝{D1,D2,D3...Dw},通过Max{E1(G),E2(G).....Ei(G)}方法找到效率E最大的任务代理RW(X)，通过Max{GY (x,1)，GY (x,2)......GY (x,i)}找到感知矩阵最大的计算体JS(z)，减少效率最大、感知矩阵数量最多的感知矩阵数量，通过Min{E1(G),E2(G).....Ei(G)}方法寻找效率E最低的任务代理RW(k)，通过Min{GY (x,1)，GY (x,2)......GY (x,i)}找到感知矩阵最小的计算体JS(a)，增加效率最小、感知矩阵数量最小的感知矩阵数量。计算方法如下：
Figure BDA0002746640860000131
任务装载器定期遍历任务集合RW＝{R1,R2,....Rn}与计算体集合JS＝{J1,J2,...Jm},通过judgesaturated(i，j)方法(饱和判断算法)判断每个任务对应的计算体资源是否饱和，若饱和则进一步的通过Createnewagent(i，j，DL)方法(任务代理生成算法)在该计算体创建一新的任务代理，并通过GR (i,j)＝GR (i,j)+1使感知矩阵G递增。计算方法如下：
Figure BDA0002746640860000141
Judgesaturated(i，j)方法用来判断任务i对应的j计算体是否饱和，任务i在归集R阶段的运行中的任务代理数量为
Figure BDA0002746640860000142
在任务归集R阶段所需要的任务数量为
Figure BDA0002746640860000143
采用公式
Figure BDA0002746640860000144
计算资源利用效率。计算结果
Figure BDA0002746640860000145
时候代表不饱和，返回0.计算方法如下：
Figure BDA0002746640860000146
Createnewagent(i，j，R)方法用于新建一个任务代理，
Figure BDA0002746640860000151
表示任务i、计算体j已用CPU资源，
Figure BDA0002746640860000152
表示计算体j已用CPU资源，
Figure BDA0002746640860000153
表示计算体j的总CPU资源，
Figure BDA0002746640860000154
表示任务i、计算体j已用GPU资源，
Figure BDA0002746640860000155
表示计算体j已用GPU资源，
Figure BDA0002746640860000156
表示计算体j的总GPU资源，
Figure BDA0002746640860000157
表示任务i、计算体j已用内存资源，
Figure BDA0002746640860000158
表示计算体j已用内存资源，
Figure BDA0002746640860000159
表示计算体j的总内存资源，θ(1)为CPU标准分配单位，θ(2)为Gpu标准分配单位，θ(3)为内存标准分配单位。
Figure BDA00027466408600001510
Figure BDA0002746640860000161
其中，效率感知器模块用于感知资源利用效率E，某任务i在任务映射Y阶段的运行中的任务代理数量为
Figure BDA0002746640860000162
某任务i在任务映射Y阶段的等待执行的任务代理数量为
Figure BDA0002746640860000163
在任务归集R阶段的运行中的任务代理数量为
Figure BDA0002746640860000164
在任务归集R阶段的运行中等待执行的任务代理数量为
Figure BDA0002746640860000165
假设任务i对于感知矩阵G的效率为E,
Figure BDA0002746640860000166
其中
Figure BDA0002746640860000167
为任务i在映射阶段对于感知矩阵G的效率，
Figure BDA0002746640860000168
为任务i在映射阶段对于感知矩阵G的效率，当
Figure BDA0002746640860000169
时，
Figure BDA00027466408600001610
计算公式如下：
Figure BDA00027466408600001611
当
Figure BDA00027466408600001612
时，
Figure BDA00027466408600001613
计算公式如下：
Figure BDA00027466408600001614
Figure BDA0002746640860000171
的计算公式如下：
Figure BDA0002746640860000172
其中，监控调度器模块负责检查各计算任务执行状态，对执行完成的任务及时释放资源并将最终计算结果保存到大数据库中，重启执行超时任务，监测各任务代理工作状态，对执行完成的任务代理及时释放资源，重新启动假死的任务代理，监控调度器模块负责子任务的监控运行，监测子任务计算执行情况，对执行完成的任务及时释放资源，重启执行超时的子任务。
本发明提供了一种计算资源动态调整数据处理方法及系统，通过提交计算任务及所需资源配置的计算请求，根据计算请求进行任务建模，根据任务监控状态进行任务装载，资源计算感知并实时调整任务装载，监控任务执行。本发明能够自动感知任务和资源利用效率，实现资源动态调整，提高数据处理速度和效率，能够应用于海量人力资源大数据处理，提高人力资源企业人才画像、离职率计算、社保缴费计算等计算任务快速高效处理。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种计算资源动态调整数据处理方法，其特征在于，所述方法包括：
步骤101，接收所述客户端提交的计算请求；
步骤102，根据所述计算请求中所需资源配置信息为任务分配初始状态信息，建立任务集合，将任务集合、初始状态信息发送至任务装载器；
步骤103，接收所述任务建模器提交的数据，将已建模的计算任务添加至所述任务集合，遍历任务集合与计算体集合，通过饱和判断算法判断每个任务对应的计算体资源是否饱和，若饱和则进一步通过任务代理生成算法在当前计算体创建新的任务代理，感知矩阵G递增；
步骤104，感知资源利用效率，检查计算任务执行状态，对执行完成的任务及时释放资源并将最终计算结果保存至大数据库，重启执行超时任务，监测任务代理工作状态，对执行完成的任务代理及时释放资源，重新启动假死的任务代理。
2.根据权利要求1所述的方法，其特征在于，所述任务装载器包含映射任务装载器与归集任务装载器，创建感知矩阵用于记录映射任务装载数与归集任务装载数，所述映射任务装载器采用启发式平衡算法平衡映射任务阶段计算量，所述任务装载器遍历任务代理，获取效率最高、最低的任务代理以及所述感知矩阵最大、最小的计算体，获得，减少效率最高、感知矩阵数量最多的感知矩阵数量，增加效率最低、感知矩阵数量最少的感知矩阵数量。
3.根据权利要求1所述的方法，其特征在于，所述根据所述计算请求中所需资源配置信息为任务分配初始状态信息具体包括：分配所需要的映射任务、进行中的映射任务、等待的映射任务，其中所述进行中的映射任务与等待的映射任务之和等于所需要的映射任务；分配所需要的归集任务、进行中的映射任务、等待的映射任务，其中所述进行中的归集任务与等待的归集任务之和等于所需要的归集任务。
4.根据权利要求1所述的方法，其特征在于，所述饱和判断算法具体为，计算获取饱和度值，若饱和度值小于1则为不饱和，否则为饱和，所述饱和度为进行中的映射任务与所需要的归集任务比值减去一的绝对值；所述任务代理生成算法具体为，若计算体的总CPU资源与计算体已用CPU资源之差大于CPU标准分配单位则CPU标准分配单位保持不变，否则修改为计算体的总CPU资源与计算体已用CPU资源之差；计算体的总GPU资源与计算体已用GPU资源之差大于GPU标准分配单位则GPU标准分配单位保持不变，否则修改为计算体的总GPU资源与计算体已用GPU资源之差；计算体的总内存资源与计算体已用内存资源之差大于内存标准分配单位则内存标准分配单位保持不变，否则修改为计算体的总内存资源与计算体已用内存资源之差。
5.根据权利要求1所述的方法，其特征在于，所述感知资源利用效率具体为，第i任务在任务映射阶段的运行中的任务代理数量为
Figure FDA0002746640850000021
第i任务在任务映射阶段的等待执行的任务代理数量为
Figure FDA0002746640850000022
在任务归集阶段的运行中的任务代理数量为
Figure FDA0002746640850000023
在任务归集阶段的运行中等待执行的任务代理数量为
Figure FDA0002746640850000024
第i任务对于感知矩阵G的效率为E，
Figure FDA0002746640850000025
其中
Figure FDA0002746640850000026
为第i任务在映射阶段对于感知矩阵G的效率，
Figure FDA0002746640850000027
为第i任务在映射阶段对于感知矩阵G的效率，
当
Figure FDA0002746640850000028
时，
Figure FDA0002746640850000029
计算公式如下：
Figure FDA00027466408500000210
当
Figure FDA00027466408500000211
时，
Figure FDA00027466408500000212
计算公式如下：
Figure FDA00027466408500000213
Figure FDA00027466408500000214
的计算公式如下：
Figure FDA0002746640850000031
6.一种计算资源动态调整数据处理系统，其特征在于，所述系统包括：客户端以及云计算数据处理平台；
所述客户端用于输入计算请求；
所述云计算数据处理平台包括计算体、任务建模器、任务装载器、监控调度器以及效率感知器；
所述计算体模块包括至少一计算体，所述计算体包括资源；所述任务建模器接收所述客户端提交的计算请求，根据所述计算请求中所需资源配置信息为任务分配初始状态信息，建立任务集合，将任务集合、初始状态信息发送至任务装载器；所述任务装载器接收所述任务建模器提交的数据，将已建模的计算任务添加至所述任务集合，遍历任务集合与计算体集合，通过饱和判断算法判断每个任务对应的计算体资源是否饱和，若饱和则进一步通过任务代理生成算法在当前计算体创建新的任务代理，感知矩阵G递增；所述效率感知器用于感知资源利用效率；所述监控调度器检查计算任务执行状态，对执行完成的任务及时释放资源并将最终计算结果保存至大数据库，重启执行超时任务，监测任务代理工作状态，对执行完成的任务代理及时释放资源，重新启动假死的任务代理。
7.根据权利要求6所述的系统，其特征在于，所述任务装载器包含映射任务装载器与归集任务装载器，创建感知矩阵用于记录映射任务装载数与归集任务装载数，所述映射任务装载器采用启发式平衡算法平衡映射任务阶段计算量，所述任务装载器遍历任务代理，获取效率最高、最低的任务代理以及所述感知矩阵最大、最小的计算体，获得，减少效率最高、感知矩阵数量最多的感知矩阵数量，增加效率最低、感知矩阵数量最少的感知矩阵数量。
8.根据权利要求6所述的系统，其特征在于，所述根据所述计算请求中所需资源配置信息为任务分配初始状态信息具体包括：分配所需要的映射任务、进行中的映射任务、等待的映射任务，其中所述进行中的映射任务与等待的映射任务之和等于所需要的映射任务；分配所需要的归集任务、进行中的映射任务、等待的映射任务，其中所述进行中的归集任务与等待的归集任务之和等于所需要的归集任务。
9.根据权利要求6所述的系统，其特征在于，所述饱和判断算法具体为，计算获取饱和度值，若饱和度值小于1则为不饱和，否则为饱和，所述饱和度为进行中的映射任务与所需要的归集任务比值减去一的绝对值；所述任务代理生成算法具体为，若计算体的总CPU资源与计算体已用CPU资源之差大于CPU标准分配单位则CPU标准分配单位保持不变，否则修改为计算体的总CPU资源与计算体已用CPU资源之差；计算体的总GPU资源与计算体已用GPU资源之差大于GPU标准分配单位则GPU标准分配单位保持不变，否则修改为计算体的总GPU资源与计算体已用GPU资源之差；计算体的总内存资源与计算体已用内存资源之差大于内存标准分配单位则内存标准分配单位保持不变，否则修改为计算体的总内存资源与计算体已用内存资源之差。
10.根据权利要求6所述的系统，其特征在于，所述效率感知器用于感知资源利用效率具体为，第i任务在任务映射阶段的运行中的任务代理数量为
Figure FDA0002746640850000041
第i任务在任务映射阶段的等待执行的任务代理数量为
Figure FDA0002746640850000042
在任务归集阶段的运行中的任务代理数量为
Figure FDA0002746640850000043
在任务归集阶段的运行中等待执行的任务代理数量为
Figure FDA0002746640850000044
第i任务对于感知矩阵G的效率为E，
Figure FDA0002746640850000045
其中
Figure FDA0002746640850000046
为第i任务在映射阶段对于感知矩阵G的效率，
Figure FDA0002746640850000047
为第i任务在映射阶段对于感知矩阵G的效率，
当
Figure FDA0002746640850000048
时，
Figure FDA0002746640850000049
计算公式如下：
Figure FDA00027466408500000410
当
Figure FDA00027466408500000411
时，
Figure FDA00027466408500000412
计算公式如下：
Figure FDA0002746640850000051
Figure FDA0002746640850000052
的计算公式如下：
Figure FDA0002746640850000053
CN202011168820.3A 2020-10-28 2020-10-28 一种计算资源动态调整数据处理方法及系统 Pending CN112346863A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011168820.3A CN112346863A (zh) 2020-10-28 2020-10-28 一种计算资源动态调整数据处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011168820.3A CN112346863A (zh) 2020-10-28 2020-10-28 一种计算资源动态调整数据处理方法及系统

Publications (1)

Publication Number Publication Date
CN112346863A true CN112346863A (zh) 2021-02-09

Family

ID=74358829

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011168820.3A Pending CN112346863A (zh) 2020-10-28 2020-10-28 一种计算资源动态调整数据处理方法及系统

Country Status (1)

Country Link
CN (1) CN112346863A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115979350A (zh) * 2023-03-20 2023-04-18 北京航天华腾科技有限公司 一种海洋监测设备数据采集系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050096877A1 (en) * 2003-10-30 2005-05-05 Fujitsu Limited System and method for determination of load monitoring condition and load monitoring program
WO2014210443A1 (en) * 2013-06-28 2014-12-31 Pepperdata, Inc. Systems, methods, and devices for dynamic resource monitoring and allocation in a cluster system
CN105049485A (zh) * 2015-06-09 2015-11-11 中国石油大学(华东) 一种面向实时视频处理的负载感知云计算系统
US20170083381A1 (en) * 2015-09-21 2017-03-23 Alibaba Group Holding Limited System and method for processing task resources
CN107992359A (zh) * 2017-11-27 2018-05-04 江苏海平面数据科技有限公司 一种云环境下代价感知的任务调度算法
CN108494978A (zh) * 2018-03-13 2018-09-04 平安科技（深圳）有限公司 坐席任务管理方法、装置、计算机设备及存储介质
CN109451052A (zh) * 2018-12-18 2019-03-08 天津城建大学 一种基于模糊逻辑的sdn负载均衡方法
CN109522100A (zh) * 2017-09-19 2019-03-26 阿里巴巴集团控股有限公司 实时计算任务调整方法和装置
CN110377427A (zh) * 2019-07-19 2019-10-25 河北冀联人力资源服务集团有限公司 任务监控方法、装置及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050096877A1 (en) * 2003-10-30 2005-05-05 Fujitsu Limited System and method for determination of load monitoring condition and load monitoring program
WO2014210443A1 (en) * 2013-06-28 2014-12-31 Pepperdata, Inc. Systems, methods, and devices for dynamic resource monitoring and allocation in a cluster system
CN105049485A (zh) * 2015-06-09 2015-11-11 中国石油大学(华东) 一种面向实时视频处理的负载感知云计算系统
US20170083381A1 (en) * 2015-09-21 2017-03-23 Alibaba Group Holding Limited System and method for processing task resources
CN109522100A (zh) * 2017-09-19 2019-03-26 阿里巴巴集团控股有限公司 实时计算任务调整方法和装置
CN107992359A (zh) * 2017-11-27 2018-05-04 江苏海平面数据科技有限公司 一种云环境下代价感知的任务调度算法
CN108494978A (zh) * 2018-03-13 2018-09-04 平安科技（深圳）有限公司 坐席任务管理方法、装置、计算机设备及存储介质
CN109451052A (zh) * 2018-12-18 2019-03-08 天津城建大学 一种基于模糊逻辑的sdn负载均衡方法
CN110377427A (zh) * 2019-07-19 2019-10-25 河北冀联人力资源服务集团有限公司 任务监控方法、装置及系统

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
FRANK E. RITTER; URMILA KUKREJA;ROBERT ST. AMANT: "Including a Model of Visual Processing With a Cognitive Architecture to Model a Simple Teleoperation Task", JOURNAL OF COGNITIVE ENGINEERING AND DECISION MAKING, vol. 1, no. 2, 31 December 2007 (2007-12-31) *
TUĞRUL ÇAVDAR;MUHAMMET TALHA KAKIZ: "Threshold-based negotiation framework for grid resource allocation", COMMUNICATIONS, IET, vol. 11, no. 14, 31 December 2017 (2017-12-31) *
张效斌;蒋多元;时玉龙;: "调度技术在云计算中的应用", 电脑知识与技术, no. 34, 5 December 2014 (2014-12-05) *
李济汉;李素粉;张云勇;房秉毅;: "云计算环境下虚拟机资源均衡调度方法研究", 电信科学, no. 04, 20 April 2013 (2013-04-20) *
贾炅昊;陈宁江;李湘;黄汝维;: "基于可用能力建模的云虚拟机动态调整策略", 广西大学学报(自然科学版), no. 03, 25 June 2016 (2016-06-25) *
韩海雯: "MapReduce计算任务调度的资源配置优化研究", 万方中国学位论文数据库, 31 December 2014 (2014-12-31) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115979350A (zh) * 2023-03-20 2023-04-18 北京航天华腾科技有限公司 一种海洋监测设备数据采集系统

Similar Documents

Publication Publication Date Title
Abdelaziz et al. A machine learning model for improving healthcare services on cloud computing environment
CN102770826B (zh) 虚拟机功耗测量和管理
US8910153B2 (en) Managing virtualized accelerators using admission control, load balancing and scheduling
US7634678B2 (en) Application software initiated speedup
US20150100972A1 (en) Acceleration prediction in hybrid systems
CN105045367A (zh) 基于游戏负载预测的android系统设备功耗优化方法
Ding et al. Adaptive virtual machine consolidation framework based on performance-to-power ratio in cloud data centers
Mekala et al. A DRL-based service offloading approach using DAG for edge computational orchestration
CN112181620B (zh) 云环境下虚拟机服务能力感知的大数据工作流调度方法
WO2018086467A1 (zh) 一种云环境下应用集群资源分配的方法、装置和系统
Zhang et al. An energy and SLA-aware resource management strategy in cloud data centers
Jiang et al. An energy-aware virtual machine migration strategy based on three-way decisions
CN105630575A (zh) 针对kvm虚拟化服务器的性能评估方法
CN112346863A (zh) 一种计算资源动态调整数据处理方法及系统
CN106844175B (zh) 一种基于机器学习的云平台容量规划方法
CN111310105B (zh) 一种确定用工方案的方法及装置
CN117135131A (zh) 一种面向云边协同场景的任务资源需求感知方法
CN115952054A (zh) 一种仿真任务资源管理方法、装置、设备及介质
CN111898865B (zh) 一种智慧校园数据动态管理方法
EP3826233B1 (en) Enhanced selection of cloud architecture profiles
CN112114967B (zh) 一种基于服务优先级的gpu资源预留方法
Prathap et al. Hybrid optimization for virtual machine migration of utilizing healthcare text in the cloud
CN114741161A (zh) 一种基于混合集群的hpc作业集群感知方法
CN111984392A (zh) 任务调度方法、装置、电子设备及存储介质
Ou et al. Container Power Consumption Prediction Based on GBRT-PL for Edge Servers in Smart City

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination