CN112346863B - 一种计算资源动态调整数据处理方法及系统 - Google Patents
一种计算资源动态调整数据处理方法及系统 Download PDFInfo
- Publication number
- CN112346863B CN112346863B CN202011168820.3A CN202011168820A CN112346863B CN 112346863 B CN112346863 B CN 112346863B CN 202011168820 A CN202011168820 A CN 202011168820A CN 112346863 B CN112346863 B CN 112346863B
- Authority
- CN
- China
- Prior art keywords
- task
- calculator
- resources
- mapping
- tasks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 35
- 238000000034 method Methods 0.000 title claims description 28
- 238000004364 calculation method Methods 0.000 claims description 85
- 238000013507 mapping Methods 0.000 claims description 82
- 239000011159 matrix material Substances 0.000 claims description 48
- 230000008447 perception Effects 0.000 claims description 34
- 238000004220 aggregation Methods 0.000 claims description 24
- 230000002776 aggregation Effects 0.000 claims description 24
- 229920006395 saturated elastomer Polymers 0.000 claims description 19
- 238000012544 monitoring process Methods 0.000 claims description 16
- 238000012367 process mapping Methods 0.000 claims description 12
- 238000003672 processing method Methods 0.000 abstract description 4
- 230000006978 adaptation Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
- G06F9/5022—Mechanisms to release resources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/5044—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering hardware capabilities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/105—Human resources
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- General Engineering & Computer Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Data Mining & Analysis (AREA)
- Economics (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供了一种计算资源动态调整数据处理方法及系统，通过提交计算任务及所需资源配置的计算请求，根据计算请求进行任务建模，根据任务监控状态进行任务装载，资源计算感知并实时调整任务装载，监控任务执行。本发明能够自动感知任务和资源利用效率，实现资源动态调整，提高数据处理速度和效率，能够应用于海量人力资源大数据处理，提高人力资源企业人才画像、离职率计算、社保缴费计算等计算任务快速高效处理。
Description
技术领域
本发明涉及大数据的技术领域，特别涉及一种计算资源动态调整数据处理方法及系统。
背景技术
现代社会已经进入一个数据爆炸的时代，海量数据集的处理与分析被称为“大数据”，大数据是继云计算之后在信息科技领域出现的一个新的研究焦点。无处不在的传感器、微处理器以及互联网，形成了庞大的数据来源，现有的数据库产品以及数据库的商业模式满足不了基于大数据的运算规模，同时，互联网下企业用户数据在不断增长，致使全球数据量得到迅速增长。例如企业数据库中储存的海量人力资源大数据，在当人力资源企业进行企业人才画像、离职率计算、社保缴费计算等计算任务，基于海量数据的计算为企业数据管理带来挑战。
不断增长的趋势要求处理系统在数据存储和计算性能上有很好的扩展能力，现有技术中，目前的企业级大数据计算无法做到基于工作量自动感知和动态调整，并发计算处理效率较低。
发明内容
基于上述问题，本发明提供了一种计算资源动态调整数据处理方法及系统，能够自动感知任务和资源利用效率，实现资源动态调整，提高数据处理速度和效率。本发明能够应用于海量人力资源大数据处理，提高人力资源企业人才画像、离职率计算、社保缴费计算等计算任务快速高效处理。
为实现上述目的，本发明提供了一种计算资源动态调整数据处理方法：
所述方法包括：
步骤101，接收所述客户端提交的计算请求；
步骤102，根据所述计算请求中所需资源配置信息为任务分配初始状态信息，建立任务集合，将任务集合、初始状态信息发送至任务装载器；
步骤103，接收所述任务建模器提交的数据，将已建模的计算任务添加至所述任务集合，遍历任务集合与计算体集合，通过饱和判断算法判断每个任务对应的计算体资源是否饱和，若饱和则进一步通过任务代理生成算法在当前计算体创建新的任务代理，感知矩阵G递增；
步骤104，感知资源利用效率，检查计算任务执行状态，对执行完成的任务及时释放资源并将最终计算结果保存至大数据库，重启执行超时任务，监测任务代理工作状态，对执行完成的任务代理及时释放资源，重新启动假死的任务代理。
进一步地，所述任务装载器包含映射任务装载器与归集任务装载器，创建感知矩阵用于记录映射任务装载数与归集任务装载数，所述映射任务装载器采用启发式平衡算法平衡映射任务阶段计算量，所述任务装载器遍历任务代理，获取效率最高、最低的任务代理以及所述感知矩阵最大、最小的计算体，获得，减少效率最高、感知矩阵数量最多的感知矩阵数量，增加效率最低、感知矩阵数量最少的感知矩阵数量。
进一步地，所述根据所述计算请求中所需资源配置信息为任务分配初始状态信息具体包括：分配所需要的映射任务、进行中的映射任务、等待的映射任务，其中所述进行中的映射任务与等待的映射任务之和等于所需要的映射任务；分配所需要的归集任务、进行中的映射任务、等待的映射任务，其中所述进行中的归集任务与等待的归集任务之和等于所需要的归集任务。
进一步地，所述饱和判断算法具体为，计算获取饱和度值，若饱和度值小于1则为不饱和，否则为饱和，所述饱和度为进行中的映射任务与所需要的归集任务比值减去一的绝对值；所述任务代理生成算法具体为，若计算体的总CPU资源与计算体已用CPU资源之差大于CPU标准分配单位则CPU标准分配单位保持不变，否则修改为计算体的总CPU资源与计算体已用CPU资源之差；计算体的总GPU资源与计算体已用GPU资源之差大于GPU标准分配单位则GPU标准分配单位保持不变，否则修改为计算体的总GPU资源与计算体已用GPU资源之差；计算体的总内存资源与计算体已用内存资源之差大于内存标准分配单位则内存标准分配单位保持不变，否则修改为计算体的总内存资源与计算体已用内存资源之差。
进一步地，所述感知资源利用效率具体为，第i任务在任务映射阶段的运行中的任务代理数量为第i任务在任务映射阶段的等待执行的任务代理数量为在任务归集阶段的运行中的任务代理数量为/>在任务归集阶段的运行中等待执行的任务代理数量为/>第i任务对于感知矩阵G的效率为E，/>其中/>为第i任务在映射阶段对于感知矩阵G的效率，为第i任务在映射阶段对于感知矩阵G的效率，
当时，/>计算公式如下：
当时，/>计算公式如下：
的计算公式如下：
另外，本发明还提供了一种计算资源动态调整数据处理系统：
所述系统包括：客户端以及云计算数据处理平台；
所述客户端用于输入计算请求；
所述云计算数据处理平台包括计算体、任务建模器、任务装载器、监控调度器以及效率感知器；所述计算体模块包括至少一计算体，所述计算体包括资源；所述任务建模器接收所述客户端提交的计算请求，根据所述计算请求中所需资源配置信息为任务分配初始状态信息，建立任务集合，将任务集合、初始状态信息发送至任务装载器；所述任务装载器接收所述任务建模器提交的数据，将已建模的计算任务添加至所述任务集合，遍历任务集合与计算体集合，通过饱和判断算法判断每个任务对应的计算体资源是否饱和，若饱和则进一步通过任务代理生成算法在当前计算体创建新的任务代理，感知矩阵G递增；所述效率感知器用于感知资源利用效率；所述监控调度器检查计算任务执行状态，对执行完成的任务及时释放资源并将最终计算结果保存至大数据库，重启执行超时任务，监测任务代理工作状态，对执行完成的任务代理及时释放资源，重新启动假死的任务代理。
进一步地，所述任务装载器包含映射任务装载器与归集任务装载器，创建感知矩阵用于记录映射任务装载数与归集任务装载数，所述映射任务装载器采用启发式平衡算法平衡映射任务阶段计算量，所述任务装载器遍历任务代理，获取效率最高、最低的任务代理以及所述感知矩阵最大、最小的计算体，获得，减少效率最高、感知矩阵数量最多的感知矩阵数量，增加效率最低、感知矩阵数量最少的感知矩阵数量。
进一步地，所述根据所述计算请求中所需资源配置信息为任务分配初始状态信息具体包括：分配所需要的映射任务、进行中的映射任务、等待的映射任务，其中所述进行中的映射任务与等待的映射任务之和等于所需要的映射任务；分配所需要的归集任务、进行中的映射任务、等待的映射任务，其中所述进行中的归集任务与等待的归集任务之和等于所需要的归集任务。
进一步地，所述饱和判断算法具体为，计算获取饱和度值，若饱和度值小于1则为不饱和，否则为饱和，所述饱和度为进行中的映射任务与所需要的归集任务比值减去一的绝对值；所述任务代理生成算法具体为，若计算体的总CPU资源与计算体已用CPU资源之差大于CPU标准分配单位则CPU标准分配单位保持不变，否则修改为计算体的总CPU资源与计算体已用CPU资源之差；计算体的总GPU资源与计算体已用GPU资源之差大于GPU标准分配单位则GPU标准分配单位保持不变，否则修改为计算体的总GPU资源与计算体已用GPU资源之差；计算体的总内存资源与计算体已用内存资源之差大于内存标准分配单位则内存标准分配单位保持不变，否则修改为计算体的总内存资源与计算体已用内存资源之差。
进一步地，所述效率感知器用于感知资源利用效率具体为，第i任务在任务映射阶段的运行中的任务代理数量为第i任务在任务映射阶段的等待执行的任务代理数量为/>在任务归集阶段的运行中的任务代理数量为/>在任务归集阶段的运行中等待执行的任务代理数量为/>第i任务对于感知矩阵G的效率为E，/>其中/>为第i任务在映射阶段对于感知矩阵G的效率，/>为第i任务在映射阶段对于感知矩阵G的效率，
当时，/>计算公式如下：
当时，/>计算公式如下：
的计算公式如下：
本发明提供了一种计算资源动态调整数据处理方法及系统，通过提交计算任务及所需资源配置的计算请求，根据计算请求进行任务建模，根据任务监控状态进行任务装载，资源计算感知并实时调整任务装载，监控任务执行。本发明能够自动感知任务和资源利用效率，实现资源动态调整，提高数据处理速度和效率，能够应用于海量人力资源大数据处理，提高人力资源企业人才画像、离职率计算、社保缴费计算等计算任务快速高效处理。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的计算资源动态调整数据处理系统结构框图；
图2为本发明的计算资源动态调整数据处理方法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了解决了现有技术企业级大数据计算无法做到基于工作量自动感知和动态调整，并发计算处理效率较低的技术问题，本发明提出了一种计算资源动态调整数据处理方法，用于处理企业人力资源管理大数据计算任务：
所述方法包括：
步骤101，接收所述客户端提交的计算请求；
所述客户端包括笔记本、电脑、pad等用户计算输入设备，用于输入用户计算请求，计算请求包括基于人力资源大数据的人才画像计算任务与计算所需资源配置信息。
步骤102，根据所述计算请求中所需资源配置信息为任务分配初始状态信息，建立任务集合，将任务集合、初始状态信息发送至任务装载器；
云计算数据处理平台包括计算体、任务建模器、任务装载器、监控调度器以及效率感知器。所述计算体模块包括不少于一个计算体，每个计算体内含CPU、内存、GPU、固态硬盘等资源，假设有m个计算体，每个计算体用J表示，计算体集合JS＝{J1,J2,...Jm}。
任务建模器模块接收客户端提交的计算请求信息，根据计算请求中所需资源配置信息为任务分配初始状态信息，包括所需要的映射任务进行中的映射任务/>等待的映射任务/>其中/>包括所需要的归集任务/>进行中的映射任务等待的映射任务/>其中/>任务建模器模块将任务RW与任务的初始状态信息发送到任务装载器模块模块。
步骤103，接收所述任务建模器提交的数据，将已建模的计算任务添加至所述任务集合，遍历任务集合与计算体集合，通过饱和判断算法判断每个任务对应的计算体资源是否饱和，若饱和则进一步通过任务代理生成算法在当前计算体创建新的任务代理，感知矩阵G递增；
任务装载器模块接收任务建模器模块提交的计算请求，将已建模的计算任务Ri加入任务集合RW＝{R1,R2,....Rn}。任务装载器包含映射任务装载器Y与归集任务装载器R。创建感知矩阵G用于记录映射任务装载数与归集任务装载数，G＝GY+GR。映射任务装载器Y采用启发式平衡算法平衡映射任务阶段计算量，任务装载器定期遍历任务代理DL＝{D1,D2,D3...Dw},通过Max{E1(G),E2(G).....Ei(G)}方法找到效率E最大的任务代理RW(X)，通过Max{GY (x,1)，GY (x,2)......GY (x,i)}找到感知矩阵最大的计算体JS(z)，减少效率最大、感知矩阵数量最多的感知矩阵数量，通过Min{E1(G),E2(G).....Ei(G)}方法寻找效率E最低的任务代理RW(k)，通过Min{GY (x,1)，GY (x,2)......GY (x,i)}找到感知矩阵最小的计算体JS(a)，增加效率最小、感知矩阵数量最小的感知矩阵数量。计算方法如下：
任务装载器定期遍历任务集合RW＝{R1,R2,....Rn}与计算体集合JS＝{J1,J2,...Jm},通过judgesaturated(i，j)方法(饱和判断算法)判断每个任务对应的计算体资源是否饱和，若饱和则进一步的通过Createnewagent(i，j，DL)方法(任务代理生成算法)在该计算体创建一新的任务代理，并通过GR (i,j)＝GR (i,j)+1使感知矩阵G递增。计算方法如下：
Judgesaturated(i，j)方法用来判断任务i对应的j计算体是否饱和，任务i在归集R阶段的运行中的任务代理数量为在任务归集R阶段所需要的任务数量为采用公式/>计算资源利用效率。计算结果/>时候代表不饱和，返回0.计算方法如下：
Createnewagent(i，j，R)方法用于新建一个任务代理，表示任务i、计算体j已用CPU资源，/>表示计算体j已用CPU资源，/>表示计算体j的总CPU资源，表示任务i、计算体j已用GPU资源，/>表示计算体j已用GPU资源，/>表示计算体j的总GPU资源，/>表示任务i、计算体j已用内存资源，/>表示计算体j已用内存资源，/>表示计算体j的总内存资源，θ(1)为CPU标准分配单位，θ(2)为Gpu标准分配单位，θ(3)为内存标准分配单位。
步骤104，感知资源利用效率，检查计算任务执行状态，对执行完成的任务及时释放资源并将最终计算结果保存至大数据库，重启执行超时任务，监测任务代理工作状态，对执行完成的任务代理及时释放资源，重新启动假死的任务代理。
效率感知器模块用于感知资源利用效率E，某任务i在任务映射Y阶段的运行中的任务代理数量为某任务i在任务映射Y阶段的等待执行的任务代理数量为在任务归集R阶段的运行中的任务代理数量为/>在任务归集R阶段的运行中等待执行的任务代理数量为/>假设任务i对于感知矩阵G的效率为
E,其中/>为任务i在映射阶段对于感知矩阵G的效率，/>为任务i在映射阶段对于感知矩阵G的效率，当/>时，/>计算公式如下：
当时，/>计算公式如下：
的计算公式如下：
其中，监控调度器模块负责检查各计算任务执行状态，对执行完成的任务及时释放资源并将最终计算结果保存到大数据库中，重启执行超时任务，监测各任务代理工作状态，对执行完成的任务代理及时释放资源，重新启动假死的任务代理，监控调度器模块负责子任务的监控运行，监测子任务计算执行情况，对执行完成的任务及时释放资源，重启执行超时的子任务。
另外，本发明还提供了一种计算资源动态调整数据处理系统，用于处理企业人力资源管理大数据计算任务：
所述系统包括：客户端以及云计算数据处理平台；
所述客户端用于输入计算请求；
所述客户端包括笔记本、电脑、pad等用户计算输入设备，用于输入用户计算请求，计算请求包括基于人力资源大数据的人才画像计算任务与计算所需资源配置信息。
所述云计算数据处理平台包括计算体、任务建模器、任务装载器、监控调度器以及效率感知器；
所述计算体模块包括不少于一个计算体，每个计算体内含CPU、内存、GPU、固态硬盘等资源，假设有m个计算体，每个计算体用J表示，计算体集合JS＝{J1,J2,...Jm}。
所述任务建模器接收所述客户端提交的计算请求，根据所述计算请求中所需资源配置信息为任务分配初始状态信息，建立任务集合，将任务集合、初始状态信息发送至任务装载器；所述任务装载器接收所述任务建模器提交的数据，将已建模的计算任务添加至所述任务集合，遍历任务集合与计算体集合，通过饱和判断算法判断每个任务对应的计算体资源是否饱和，若饱和则进一步通过任务代理生成算法在当前计算体创建新的任务代理，感知矩阵G递增；所述效率感知器用于感知资源利用效率；所述监控调度器检查计算任务执行状态，对执行完成的任务及时释放资源并将最终计算结果保存至大数据库，重启执行超时任务，监测任务代理工作状态，对执行完成的任务代理及时释放资源，重新启动假死的任务代理。
其中，所述任务建模器模块接收客户端提交的计算请求信息，根据计算请求中所需资源配置信息为任务分配初始状态信息，包括所需要的映射任务进行中的映射任务/>等待的映射任务/>其中/>包括所需要的归集任务/>进行中的映射任务/>等待的映射任务/>其中/>任务建模器模块将任务RW与任务的初始状态信息发送到任务装载器模块。
其中，任务装载器模块接收任务建模器模块提交的计算请求，将已建模的计算任务Ri加入任务集合RW＝{R1,R2,....Rn}。任务装载器包含映射任务装载器Y与归集任务装载器R。创建感知矩阵G用于记录映射任务装载数与归集任务装载数，G＝GY+GR。映射任务装载器Y采用启发式平衡算法平衡映射任务阶段计算量，任务装载器定期遍历任务代理DL＝{D1,D2,D3...Dw},通过Max{E1(G),E2(G).....Ei(G)}方法找到效率E最大的任务代理RW(X)，通过Max{GY (x,1)，GY (x,2)......GY (x,i)}找到感知矩阵最大的计算体JS(z)，减少效率最大、感知矩阵数量最多的感知矩阵数量，通过Min{E1(G),E2(G).....Ei(G)}方法寻找效率E最低的任务代理RW(k)，通过Min{GY (x,1)，GY (x,2)......GY (x,i)}找到感知矩阵最小的计算体JS(a)，增加效率最小、感知矩阵数量最小的感知矩阵数量。计算方法如下：
任务装载器定期遍历任务集合RW＝{R1,R2,....Rn}与计算体集合JS＝{J1,J2,...Jm},通过judgesaturated(i，j)方法(饱和判断算法)判断每个任务对应的计算体资源是否饱和，若饱和则进一步的通过Createnewagent(i，j，DL)方法(任务代理生成算法)在该计算体创建一新的任务代理，并通过GR (i,j)＝GR (i,j)+1使感知矩阵G递增。计算方法如下：
Judgesaturated(i，j)方法用来判断任务i对应的j计算体是否饱和，任务i在归集R阶段的运行中的任务代理数量为在任务归集R阶段所需要的任务数量为采用公式/>计算资源利用效率。计算结果/>时候代表不饱和，返回0.计算方法如下：
Createnewagent(i，j，R)方法用于新建一个任务代理，表示任务i、计算体j已用CPU资源，/>表示计算体j已用CPU资源，/>表示计算体j的总CPU资源，表示任务i、计算体j已用GPU资源，/>表示计算体j已用GPU资源，/>表示计算体j的总GPU资源，/>表示任务i、计算体j已用内存资源，/>表示计算体j已用内存资源，/>表示计算体j的总内存资源，θ(1)为CPU标准分配单位，θ(2)为Gpu标准分配单位，θ(3)为内存标准分配单位。
/>
其中，效率感知器模块用于感知资源利用效率E，某任务i在任务映射Y阶段的运行中的任务代理数量为某任务i在任务映射Y阶段的等待执行的任务代理数量为/>在任务归集R阶段的运行中的任务代理数量为/>在任务归集R阶段的运行中等待执行的任务代理数量为/>假设任务i对于感知矩阵G的效率为E,/>其中/>为任务i在映射阶段对于感知矩阵G的效率，为任务i在映射阶段对于感知矩阵G的效率，当/>时，/>计算公式如下：
当时，/>计算公式如下：
的计算公式如下：
其中，监控调度器模块负责检查各计算任务执行状态，对执行完成的任务及时释放资源并将最终计算结果保存到大数据库中，重启执行超时任务，监测各任务代理工作状态，对执行完成的任务代理及时释放资源，重新启动假死的任务代理，监控调度器模块负责子任务的监控运行，监测子任务计算执行情况，对执行完成的任务及时释放资源，重启执行超时的子任务。
本发明提供了一种计算资源动态调整数据处理方法及系统，通过提交计算任务及所需资源配置的计算请求，根据计算请求进行任务建模，根据任务监控状态进行任务装载，资源计算感知并实时调整任务装载，监控任务执行。本发明能够自动感知任务和资源利用效率，实现资源动态调整，提高数据处理速度和效率，能够应用于海量人力资源大数据处理，提高人力资源企业人才画像、离职率计算、社保缴费计算等计算任务快速高效处理。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
Claims (6)
1.一种计算资源动态调整数据处理方法，其特征在于，所述方法包括：
步骤101，接收客户端提交的计算请求；
步骤102，根据所述计算请求中所需资源配置信息为任务分配初始状态信息，建立任务集合，将任务集合、初始状态信息发送至任务装载器；
步骤103，接收任务建模器提交的数据，将已建模的计算任务添加至所述任务集合，遍历任务集合与计算体集合，通过饱和判断算法判断每个任务对应的计算体资源是否饱和，若饱和则进一步通过任务代理生成算法在当前计算体创建新的任务代理，感知矩阵G递增；
其中，所述饱和判断算法具体为，计算获取饱和度值，若饱和度值小于1则为不饱和，否则为饱和，所述饱和度为进行中的映射任务与所需要的归集任务比值减去一的绝对值；所述任务代理生成算法具体为，若计算体的总CPU资源与计算体已用CPU资源之差大于CPU标准分配单位则CPU标准分配单位保持不变，否则修改为计算体的总CPU资源与计算体已用CPU资源之差；计算体的总GPU资源与计算体已用GPU资源之差大于GPU标准分配单位则GPU标准分配单位保持不变，否则修改为计算体的总GPU资源与计算体已用GPU资源之差；计算体的总内存资源与计算体已用内存资源之差大于内存标准分配单位则内存标准分配单位保持不变，否则修改为计算体的总内存资源与计算体已用内存资源之差；
步骤104，感知资源利用效率，检查计算任务执行状态，对执行完成的任务及时释放资源并将最终计算结果保存至大数据库，重启执行超时任务，监测任务代理工作状态，对执行完成的任务代理及时释放资源，重新启动假死的任务代理；所述感知资源利用效率具体为，第i任务在任务映射阶段的运行中的任务代理数量为第i任务在任务映射阶段的等待执行的任务代理数量为/>在任务归集阶段的运行中的任务代理数量为/>在任务归集阶段的运行中等待执行的任务代理数量为/>第i任务对于感知矩阵G的效率为E，/>其中/>为第i任务在映射阶段对于感知矩阵G的效率，/>为第i任务在归集阶段对于感知矩阵G的效率，
当时，/>计算公式如下：
当时，/>计算公式如下：
的计算公式如下：
2.根据权利要求1所述的方法，其特征在于，所述任务装载器包含映射任务装载器与归集任务装载器，创建感知矩阵用于记录映射任务装载数与归集任务装载数，所述映射任务装载器采用启发式平衡算法平衡映射任务阶段计算量，所述任务装载器遍历任务代理，获取效率最高、最低的任务代理以及所述感知矩阵最大、最小的计算体，减少效率最高、感知矩阵数量最多的感知矩阵数量，增加效率最低、感知矩阵数量最少的感知矩阵数量。
3.根据权利要求1所述的方法，其特征在于，所述根据所述计算请求中所需资源配置信息为任务分配初始状态信息具体包括：分配所需要的映射任务、进行中的映射任务、等待的映射任务，其中所述进行中的映射任务与等待的映射任务之和等于所需要的映射任务；分配所需要的归集任务、进行中的映射任务、等待的映射任务，其中所述进行中的归集任务与等待的归集任务之和等于所需要的归集任务。
4.一种计算资源动态调整数据处理系统，其特征在于，所述系统包括：客户端以及云计算数据处理平台；
所述客户端用于输入计算请求；
所述云计算数据处理平台包括计算体、任务建模器、任务装载器、监控调度器以及效率感知器；
所述计算体模块包括至少一计算体，所述计算体包括资源；所述任务建模器接收所述客户端提交的计算请求，根据所述计算请求中所需资源配置信息为任务分配初始状态信息，建立任务集合，将任务集合、初始状态信息发送至任务装载器；所述任务装载器接收所述任务建模器提交的数据，将已建模的计算任务添加至所述任务集合，遍历任务集合与计算体集合，通过饱和判断算法判断每个任务对应的计算体资源是否饱和，若饱和则进一步通过任务代理生成算法在当前计算体创建新的任务代理，感知矩阵G递增；所述效率感知器用于感知资源利用效率；所述监控调度器检查计算任务执行状态，对执行完成的任务及时释放资源并将最终计算结果保存至大数据库，重启执行超时任务，监测任务代理工作状态，对执行完成的任务代理及时释放资源，重新启动假死的任务代理；
其中，所述饱和判断算法具体为，计算获取饱和度值，若饱和度值小于1则为不饱和，否则为饱和，所述饱和度为进行中的映射任务与所需要的归集任务比值减去一的绝对值；所述任务代理生成算法具体为，若计算体的总CPU资源与计算体已用CPU资源之差大于CPU标准分配单位则CPU标准分配单位保持不变，否则修改为计算体的总CPU资源与计算体已用CPU资源之差；计算体的总GPU资源与计算体已用GPU资源之差大于GPU标准分配单位则GPU标准分配单位保持不变，否则修改为计算体的总GPU资源与计算体已用GPU资源之差；计算体的总内存资源与计算体已用内存资源之差大于内存标准分配单位则内存标准分配单位保持不变，否则修改为计算体的总内存资源与计算体已用内存资源之差；
所述感知资源利用效率具体为，第i任务在任务映射阶段的运行中的任务代理数量为第i任务在任务映射阶段的等待执行的任务代理数量为/>在任务归集阶段的运行中的任务代理数量为/>在任务归集阶段的运行中等待执行的任务代理数量为/>第i任务对于感知矩阵G的效率为E，其中/>为第i任务在映射阶段对于感知矩阵G的效率，为第i任务在归集阶段对于感知矩阵G的效率，
当时，/>计算公式如下：
当时，/>计算公式如下：
的计算公式如下：
5.根据权利要求4所述的系统，其特征在于，所述任务装载器包含映射任务装载器与归集任务装载器，创建感知矩阵用于记录映射任务装载数与归集任务装载数，所述映射任务装载器采用启发式平衡算法平衡映射任务阶段计算量，所述任务装载器遍历任务代理，获取效率最高、最低的任务代理以及所述感知矩阵最大、最小的计算体，减少效率最高、感知矩阵数量最多的感知矩阵数量，增加效率最低、感知矩阵数量最少的感知矩阵数量。
6.根据权利要求4所述的系统，其特征在于，所述根据所述计算请求中所需资源配置信息为任务分配初始状态信息具体包括：分配所需要的映射任务、进行中的映射任务、等待的映射任务，其中所述进行中的映射任务与等待的映射任务之和等于所需要的映射任务；分配所需要的归集任务、进行中的映射任务、等待的映射任务，其中所述进行中的归集任务与等待的归集任务之和等于所需要的归集任务。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011168820.3A CN112346863B (zh) | 2020-10-28 | 2020-10-28 | 一种计算资源动态调整数据处理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011168820.3A CN112346863B (zh) | 2020-10-28 | 2020-10-28 | 一种计算资源动态调整数据处理方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112346863A CN112346863A (zh) | 2021-02-09 |
| CN112346863B true CN112346863B (zh) | 2024-06-07 |
Family
ID=74358829
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011168820.3A Active CN112346863B (zh) | 2020-10-28 | 2020-10-28 | 一种计算资源动态调整数据处理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112346863B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115979350A (zh) * | 2023-03-20 | 2023-04-18 | 北京航天华腾科技有限公司 | 一种海洋监测设备数据采集系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014210443A1 (en) * | 2013-06-28 | 2014-12-31 | Pepperdata, Inc. | Systems, methods, and devices for dynamic resource monitoring and allocation in a cluster system |
| CN105049485A (zh) * | 2015-06-09 | 2015-11-11 | 中国石油大学(华东) | 一种面向实时视频处理的负载感知云计算系统 |
| CN107992359A (zh) * | 2017-11-27 | 2018-05-04 | 江苏海平面数据科技有限公司 | 一种云环境下代价感知的任务调度算法 |
| CN108494978A (zh) * | 2018-03-13 | 2018-09-04 | 平安科技（深圳）有限公司 | 坐席任务管理方法、装置、计算机设备及存储介质 |
| CN109451052A (zh) * | 2018-12-18 | 2019-03-08 | 天津城建大学 | 一种基于模糊逻辑的sdn负载均衡方法 |
| CN109522100A (zh) * | 2017-09-19 | 2019-03-26 | 阿里巴巴集团控股有限公司 | 实时计算任务调整方法和装置 |
| CN110377427A (zh) * | 2019-07-19 | 2019-10-25 | 河北冀联人力资源服务集团有限公司 | 任务监控方法、装置及系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005135130A (ja) * | 2003-10-30 | 2005-05-26 | Fujitsu Ltd | 負荷監視条件決定プログラム，負荷監視条件決定システム，負荷監視条件決定方法および負荷監視プログラム |
| CN106548262B (zh) * | 2015-09-21 | 2020-11-06 | 阿里巴巴集团控股有限公司 | 用于处理任务的资源的调度方法、装置和系统 |
-
2020
- 2020-10-28 CN CN202011168820.3A patent/CN112346863B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014210443A1 (en) * | 2013-06-28 | 2014-12-31 | Pepperdata, Inc. | Systems, methods, and devices for dynamic resource monitoring and allocation in a cluster system |
| CN105049485A (zh) * | 2015-06-09 | 2015-11-11 | 中国石油大学(华东) | 一种面向实时视频处理的负载感知云计算系统 |
| CN109522100A (zh) * | 2017-09-19 | 2019-03-26 | 阿里巴巴集团控股有限公司 | 实时计算任务调整方法和装置 |
| CN107992359A (zh) * | 2017-11-27 | 2018-05-04 | 江苏海平面数据科技有限公司 | 一种云环境下代价感知的任务调度算法 |
| CN108494978A (zh) * | 2018-03-13 | 2018-09-04 | 平安科技（深圳）有限公司 | 坐席任务管理方法、装置、计算机设备及存储介质 |
| CN109451052A (zh) * | 2018-12-18 | 2019-03-08 | 天津城建大学 | 一种基于模糊逻辑的sdn负载均衡方法 |
| CN110377427A (zh) * | 2019-07-19 | 2019-10-25 | 河北冀联人力资源服务集团有限公司 | 任务监控方法、装置及系统 |
Non-Patent Citations (6)
| Title |
|---|
| Including a Model of Visual Processing With a Cognitive Architecture to Model a Simple Teleoperation Task;Frank E. Ritter; Urmila Kukreja;Robert St. Amant;Journal of Cognitive Engineering and Decision Making;20071231;第1卷(第2期);全文 * |
| MapReduce计算任务调度的资源配置优化研究;韩海雯;万方中国学位论文数据库;20141231;全文 * |
| Threshold-based negotiation framework for grid resource allocation;Tuğrul Çavdar;Muhammet Talha Kakız;Communications, IET;20171231;第11卷(第14期);全文 * |
| 云计算环境下虚拟机资源均衡调度方法研究;李济汉;李素粉;张云勇;房秉毅;;电信科学;20130420(第04期);全文 * |
| 基于可用能力建模的云虚拟机动态调整策略;贾炅昊;陈宁江;李湘;黄汝维;;广西大学学报(自然科学版);20160625(第03期);全文 * |
| 调度技术在云计算中的应用;张效斌;蒋多元;时玉龙;;电脑知识与技术;20141205(第34期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112346863A (zh) | 2021-02-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102770826B (zh) | 虚拟机功耗测量和管理 | |
| WO2021159638A1 (zh) | 集群队列资源的调度方法、装置、设备及存储介质 | |
| US8402140B2 (en) | Methods and apparatus for coordinated energy management in virtualized data centers | |
| US7634678B2 (en) | Application software initiated speedup | |
| US20170097850A1 (en) | Finding resource bottlenecks with low-frequency sampled data | |
| US20100318827A1 (en) | Energy use profiling for workload transfer | |
| US20210248469A1 (en) | Method and apparatus for scheduling deep learning reasoning engines, device, and medium | |
| CN113342477B (zh) | 一种容器组部署方法、装置、设备及存储介质 | |
| US11050677B2 (en) | Enhanced selection of cloud architecture profiles | |
| Shaheen et al. | Towards energy saving in computational clouds: taxonomy, review, and open challenges | |
| CN105630575A (zh) | 针对kvm虚拟化服务器的性能评估方法 | |
| CN112346863B (zh) | 一种计算资源动态调整数据处理方法及系统 | |
| Alrajeh et al. | Using virtual machine live migration in trace-driven energy-aware simulation of high-throughput computing systems | |
| CN106844175B (zh) | 一种基于机器学习的云平台容量规划方法 | |
| CN117251044A (zh) | 一种基于arima技术的云服务器动态能耗管理方法和系统 | |
| Kiselev et al. | The energy efficiency evaluating method determining energy consumption of the parallel program according to its profile | |
| EP3826233B1 (en) | Enhanced selection of cloud architecture profiles | |
| CN111898865B (zh) | 一种智慧校园数据动态管理方法 | |
| US11397457B2 (en) | Dynamic power capping of computing systems and subsystems contained therein | |
| CN112114967A (zh) | 一种基于服务优先级的gpu资源预留方法 | |
| US9389919B2 (en) | Managing workload distribution among computer systems based on intersection of throughput and latency models | |
| CN116450367B (zh) | 数据处理方法、装置、设备及存储介质 | |
| CN117234711B (zh) | Flink系统资源动态分配方法、系统、设备及介质 | |
| Huang et al. | Reducing Cloud Expenditures and Carbon Emissions via Virtual Machine Migration and Downsizing | |
| CN115686803A (zh) | 一种调度策略动态加载的计算任务管理系统、方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |