CN111930469B - 一种基于云计算的高校大数据竞赛管理系统及方法 - Google Patents
一种基于云计算的高校大数据竞赛管理系统及方法 Download PDFInfo
- Publication number
- CN111930469B CN111930469B CN202010700937.5A CN202010700937A CN111930469B CN 111930469 B CN111930469 B CN 111930469B CN 202010700937 A CN202010700937 A CN 202010700937A CN 111930469 B CN111930469 B CN 111930469B
- Authority
- CN
- China
- Prior art keywords
- resource
- competition
- big data
- physical
- resources
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 33
- 238000005457 optimization Methods 0.000 claims abstract description 26
- 238000012544 monitoring process Methods 0.000 claims abstract description 25
- 239000002245 particle Substances 0.000 claims abstract description 19
- 238000002922 simulated annealing Methods 0.000 claims abstract description 14
- 238000011084 recovery Methods 0.000 claims abstract description 8
- 230000006378 damage Effects 0.000 claims abstract description 4
- 239000000725 suspension Substances 0.000 claims abstract description 4
- 238000002474 experimental method Methods 0.000 claims description 17
- 238000012163 sequencing technique Methods 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000013508 migration Methods 0.000 claims description 4
- 230000005012 migration Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000004088 simulation Methods 0.000 abstract description 4
- 239000002699 waste material Substances 0.000 abstract description 3
- 238000007726 management method Methods 0.000 description 36
- 238000012549 training Methods 0.000 description 8
- 238000011161 development Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000013468 resource allocation Methods 0.000 description 5
- 238000007405 data analysis Methods 0.000 description 4
- 238000012258 culturing Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 235000017166 Bambusa arundinacea Nutrition 0.000 description 1
- 235000017491 Bambusa tulda Nutrition 0.000 description 1
- 241001330002 Bambuseae Species 0.000 description 1
- 235000015334 Phyllostachys viridis Nutrition 0.000 description 1
- 239000011425 bamboo Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5066—Algorithms for mapping a plurality of inter-dependent sub-tasks onto a plurality of physical CPUs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5083—Techniques for rebalancing the load in a distributed system
- G06F9/5088—Techniques for rebalancing the load in a distributed system involving task migration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
- G06F2009/4557—Distribution of virtual machine instances; Migration and load balancing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Engineering & Computer Science (AREA)
- Strategic Management (AREA)
- General Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- Health & Medical Sciences (AREA)
- Educational Technology (AREA)
- Educational Administration (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开一种基于云计算的高校大数据竞赛管理系统及方法，所述系统包括：身份管理模块：用于对大数据竞赛平台的用户进行账号管理、权限分配；竞赛管理模块：用于赛项时间管理、实验操作管理；集群管理模块：用于提供竞赛所需的各类实验集群的创建、销毁、挂起、恢复、一键回收；资源调度模块：用于基于学生选取的各类实验集群，采用模拟退火算法与粒子群优化算法相结合的方式对物理资源进行虚拟化和调度，为大数据竞赛平台提供云端实验资源；资源监听模块：用于按固定时间间隔监听资源调度模块下资源占用情况并将监听结果反馈至资源调度模块。本发明可提供多组真实的大数据模拟竞赛环境，同时减少资源浪费。
Description
技术领域
本发明涉及资源分配领域，尤其涉及一种基于云计算的高校大数据竞赛管理系统及方法。
背景技术
随着互联网和信息产业的快速发展，大数据应用市场不断扩大，大数据作为国家战略，在推动我国经济转型升级过程中发挥着关键作用。大数据是我国重点发展的战略新兴产业中新一代信息技术产业的细分行业之一,预计到2020年，大数据产业规模将超过5000亿元。
为适应我国大数据产业发展对相关人才的迫切需求，进一步引导高校大数据分析应用人才培养体系的构建，各种大数据技术应用、开发创新、能力提升等竞赛如雨后春笋般应运而生。主要目的通过竞赛培养学生搭建大数据系统和优化大数据系统配置的能力；增强学生使用工具处理大数据问题的能力；培养学生使用数据库存储和查询大数据的能力；锻炼学生组织管理和团队协调能力。同时通过竞赛让更多的学校开设大数据课程，形成高校为国家培养大数据人才的氛围，建立完整的大数据专业体系；引导学校开设合理的大数据课程以及相应课程的知识节点，特别是加强对学生实际动手能力的培养。
为了适应高校大数据产业发展需求，部分高校进行了相应的竞赛培训，竞赛环境成了高校制约比赛成绩的关键因素。传统的训练方式一种是使用虚拟机，在普通电脑上完成训练；稍微有点条件的使用服务器，但是这样无法满足多个团队同时训练，当多个团队同时在线时，竞赛资源分配成为亟待解决的问题。
发明内容
有鉴于此，本发明提出了一种基于云计算的高校大数据竞赛管理系统及方法，用于解决高校大数据竞赛训练环境下资源浪费、负载不均衡等问题，
本发明第一方面，提出一种基于云计算的高校大数据竞赛管理系统，所述系统包括：
身份管理模块：用于对大数据竞赛平台的用户进行账号管理、权限分配；
竞赛管理模块：用于赛项时间管理、实验操作管理；
集群管理模块：用于提供竞赛所需的各类实验集群的创建、销毁、挂起、恢复、一键回收；
资源调度模块：用于基于学生选取的各类实验集群，采用模拟退火算法与粒子群优化算法相结合的方式对物理资源进行虚拟化和调度，为大数据竞赛平台提供云端实验资源；
资源监听模块：用于按固定时间间隔监听资源调度模块下每个学生的实验进度和资源占用情况、每个物理服务器及每个虚拟机的资源占用情况，绘制相应的资源占用曲线，并将监听结果反馈至资源调度模块。
优选的，所述物理资源包括云计算中心的物理服务器提供的cpu、内存、磁盘、网络资源。
优选的，所述集群管理模块中，所述实验集群包括：Hadoop实验集群、HBase实验集群、Hive实验集群、Spark实验集群。
优选的，竞赛管理模块中，所述竞赛时间管理具体为：
获取赛项时间及参与每项竞赛的学生数量，根据竞赛类型确定每个学生所需虚拟机数量和对应的物理资源，预测同一赛项时间内所有学生所需虚拟机总数，预先建立基于赛项时间的虚拟资源需求表，获取云计算中心的物理资源总量，判断同一时段内不同赛项所需的虚拟资源总量是否超过第一设定阈值，若是，进行赛项时间调整，将同一时段内不同赛项所需的虚拟资源总量控制在所述设定阈值范围内。
优选的，所述资源调度模块具体包括：
初步分配单元：设数据中心可用的物理服务器数量为P，某一赛项时间内所有学生所需虚拟机总数为N，采用进行模拟退火算法虚拟机初步分配，以数据中心的负载不均衡度最小为优化目标将N个虚拟机分配给M个物理服务器，M≤P，根据初步分配结果进行资源调度；
动态调整单元：根据资源监听模块的监听结果，对每个虚拟机按照资源占用率从小到大排序，对每个物理服务器按照资源占用率从小到大排序，检查资源占用率最小的物理服务器上是否有资源占用率最小的虚拟机，若是，在一个子任务处理完成之后将上述资源占用率最小的物理服务器上的虚拟机迁移至其它物理服务器并关闭当前物理服务器；
若否，判断资源占用率小于第二设定阈值的物理服务器的资源占用综合是否小于其它服务器的空闲资源总和乘以预设百分比，若是，在一个子任务处理完成之后，采用粒子群优化算法对资源占用率小于第二设定阈值的物理服务器上的虚拟机进行重新分配，所述粒子群优化算法的目标为已激活的物理服务器数量最小且数据中心资源的综合利用率最高。
优选的，所述动态调整单元中，所述虚拟机迁移或采用粒子群优化算法对资源占用率小于第二设定阈值的物理服务器上的虚拟机进行重新分配之前还包括：按固定时间间隔计算每个物理服务器的资源占用曲线斜率，统计当前时间点之前的多个时间间隔内斜率变化范围，若所述斜率变化范围在设定变化范围之内才进行虚拟机迁移或虚拟机重新分配，否则不做任何处理。
优选的，所述初步分配单元中，所述模拟退火算法的目标函数为：
其中M表示已激活的物理服务器数，L表示资源类型数，ui,l表示物理服务器i上第l类资源利用率，ui表示物理服务器i上资源平均利用率。
优选的，所述系统还包括：
竞赛测评模块：用于根据实验完成情况、实验过程记录、实验时间、学生实验过程中资源占用动态曲线对学生进行竞赛分数测评。
本发明第二方面，提供一种基于云计算的高校大数据竞赛管理方法，所述方法包括：
对大数据竞赛平台的用户进行身份认证和权限分配；
获取赛项时间及参与每项竞赛的学生数量，根据竞赛类型确定每个学生所需虚拟机数量和对应的物理资源，预测同一赛项时间内所有学生所需虚拟机总数，预先建立基于赛项时间的虚拟资源需求表，获取云计算中心的物理资源总量，判断同一时段内不同赛项所需的虚拟资源总量是否超过第一设定阈值，若是，进行赛项时间调整，将同一时段内不同赛项所需的虚拟资源总量控制在所述设定阈值范围内；
设数据中心可用的物理服务器数量为P，某一赛项时间内所有学生所需虚拟机总数为N，采用进行模拟退火算法虚拟机初步分配，以数据中心的负载不均衡度最小为优化目标将N个虚拟机分配给M个物理服务器，M≤P，根据初步分配结果进行资源调度；
根据资源监听模块的监听结果，对每个虚拟机按照资源占用率从小到大排序，对每个物理服务器按照资源占用率从小到大排序，检查资源占用率最小的物理服务器上是否有资源占用率最小的虚拟机，若是，将上述资源占用率最小的物理服务器上的虚拟机迁移至其它物理服务器并关闭当前物理服务器；
若否，判断资源占用率小于第二设定阈值的物理服务器的资源占用综合是否小于其它服务器的空闲资源总和乘以预设百分比，若是，采用粒子群优化算法对资源占用率小于第二设定阈值的物理服务器上的虚拟机进行重新分配，所述粒子群优化算法的目标为已激活的物理服务器数量最小且数据中心资源的综合利用率最高。
本发明的相对于现有技术具有以下有益效果：
1)构建了基于云计算的高校大数据竞赛平台，可以提供多组真实的大数据模拟竞赛环境，多个团队同时进行相关大数据竞赛训练、互不干扰，提供各类大数据集群仿真环境、弹性扩展训练所需设备，更好的为高校大数据教学竞赛服务。
2)采用模拟退火算法进行虚拟机初步分配，在保证实验所需物理资源的基础上进行负载均衡化，在初步资源分配的基础上通过粒子群优化算法对空闲资源进行动态资源分配优化，减少资源浪费，节省开销。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于云计算的高校大数据竞赛平台的层级示意图；
图2为本发明实施例提供的基于云计算的高校大数据竞赛管理系统结构示意图。
具体实施方式
下面将结合本发明实施方式，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
请参阅图1，本发明实施例提供的通过云计算技术构建高校大数据竞赛平台的层级示意图，包括基础软硬件及虚拟化层、云管控平台、大数据竞赛平台；所述基础软硬件及虚拟化层用于将基础硬件资源转化为能被上层系统调度与使用的虚拟资源池，基础硬件由若干物理服务器、若干网络交换机和辅助设备构成，物理服务器上部署云管平台和大数据竞赛平台，提供计算、网络、存储等功能；网络交换机用于云管平台虚拟机通信以及业务通信，分配大数据竞赛所需资源；辅助设备包含VPN、UPS等，VPN设备提供远程访问竞赛平台功能，UPS提供不断电功能。对物理资源(cpu、内存、磁盘、网络)进行虚拟化和调度，为大数据竞赛平台提供云端实验资源；所述竞赛平台为学生一键生成竞赛环境并提供竞赛资源，通过开放海量数据和分布式计算资源，培养学生大数据集群部署能力、数据处理能力、数据采集能力与数据分析挖掘能力。
请参阅图2，本发明提出一种基于云计算的高校大数据竞赛管理系统结构示意图，所述系统包括身份管理模块100、竞赛管理模块200、集群管理模块300、资源调度模块400、资源监听模块500、竞赛测评模块600；所述身份管理模块100、竞赛管理模块200、集群管理模块300、资源监听模块500、竞赛测评模块600部署在大数据竞赛平台，所述资源调度模块400部署在云管控平台。
身份管理模块100：用于对大数据竞赛平台的用户进行账号管理、权限分配；
竞赛管理模块200：用于赛项时间管理、实验操作管理；
所述竞赛时间管理具体为：获取赛项时间及参与每项竞赛的学生数量，根据竞赛类型确定每个学生所需虚拟机数量和对应的物理资源，预测同一赛项时间内所有学生所需虚拟机总数，预先建立基于赛项时间的虚拟资源需求表，获取云计算中心的物理资源总量，判断同一时段内不同赛项所需的虚拟资源总量是否超过第一设定阈值，若是，进行赛项时间调整，将同一时段内不同赛项所需的虚拟资源总量控制在所述设定阈值范围内。通过竞赛时间管理，可将同一时段所需虚拟资源总量控制在云计算中心的可承受范围之内，错峰竞赛，为各类竞赛提供可靠的竞赛环境。
集群管理模块300：用于提供竞赛所需的各类实验集群的创建、销毁、挂起、恢复、一键回收；所述实验集群包括：Hadoop实验集群、HBase实验集群、Hive实验集群、Spark实验集群。本发明提供了多样化的集群实验仿真环境，方便培养学生大数据集群部署能力。本发明的系统还与各数据库连接，为学生提供海量数据，方便学生培养数据处理能力、数据采集能力与数据分析挖掘能力。
资源调度模块400：用于基于学生选取的各类实验集群，采用模拟退火算法与粒子群优化算法相结合的方式对物理资源进行虚拟化和调度，为大数据竞赛平台提供云端实验资源；所述物理资源包括云计算中心的物理服务器提供的cpu、内存、磁盘、网络资源。所述资源调度模块具体包括：
初步分配单元：设数据中心可用的物理服务器数量为P，预测某一赛项时间内所有学生所需虚拟机总数为N，采用进行模拟退火算法虚拟机初步分配，以数据中心的负载不均衡度最小为优化目标将N个虚拟机分配给M个物理服务器，M≤P，最大程度满足每个学生需求，根据初步分配结果进行资源调度；所述模拟退火算法的目标函数为：
其中M表示已激活的物理服务器数，L表示资源类型数，本发明实时资源类型包括cpu、内存、磁盘、网络带宽四种，ui,l表示物理服务器i上第l类资源利用率，ui表示物理服务器i上资源平均利用率，
动态调整单元：根据资源监听模块的监听结果，对每个虚拟机按照资源占用率从小到大排序，对每个物理服务器按照资源占用率从小到大排序；按固定时间间隔计算每个物理服务器的资源占用曲线斜率，统计当前时间点之前的多个时间间隔内斜率变化范围，若所述斜率变化范围在设定变化范围之内，则说明其资源使用较为稳定，对空闲资源进行物理资源动态调整。
检查资源占用率最小的物理服务器上是否有资源占用率最小的虚拟机，若是，在一个子任务处理完成之后将上述资源占用率最小的物理服务器上的虚拟机迁移至其它物理服务器并关闭当前物理服务器；
若否，判断资源占用率小于第二设定阈值的物理服务器的资源占用综合是否小于其它服务器的空闲资源总和乘以预设百分比，若是，在一个子任务处理完成之后，采用粒子群优化算法对资源占用率小于第二设定阈值的物理服务器上的虚拟机进行重新分配，所述粒子群优化算法的目标为已激活的物理服务器数量M最小且数据中心资源的综合利用率最高。
资源监听模块500：用于按固定时间间隔监听资源调度模块下每个学生的实验进度和资源占用情况、每个物理服务器及每个虚拟机的资源占用情况，绘制相应的资源占用曲线，将各类曲线图形化输出，并将监听结果反馈至资源调度模块。
竞赛测评模块600：用于根据实验完成情况、实验过程记录、实验时间、学生实验过程中资源占用动态曲线对学生进行竞赛分数测评。
与所述系统是实力相对应，本发明还提出一种基于云计算的高校大数据竞赛管理方法，所述方法包括：
对大数据竞赛平台的用户进行身份认证和权限分配；
获取赛项时间及参与每项竞赛的学生数量，根据竞赛类型确定每个学生所需虚拟机数量和对应的物理资源，预测同一赛项时间内所有学生所需虚拟机总数，预先建立基于赛项时间的虚拟资源需求表，获取云计算中心的物理资源总量，判断同一时段内不同赛项所需的虚拟资源总量是否超过第一设定阈值，若是，进行赛项时间调整，将同一时段内不同赛项所需的虚拟资源总量控制在所述设定阈值范围内；
设数据中心可用的物理服务器数量为P，某一赛项时间内所有学生所需虚拟机总数为N，采用进行模拟退火算法虚拟机初步分配，以数据中心的负载不均衡度最小为优化目标将N个虚拟机分配给M个物理服务器，M≤P，根据初步分配结果进行资源调度；
根据资源监听模块的监听结果，对每个虚拟机按照资源占用率从小到大排序，对每个物理服务器按照资源占用率从小到大排序，检查资源占用率最小的物理服务器上是否有资源占用率最小的虚拟机，若是，将上述资源占用率最小的物理服务器上的虚拟机迁移至其它物理服务器并关闭当前物理服务器；
若否，判断资源占用率小于第二设定阈值的物理服务器的资源占用综合是否小于其它服务器的空闲资源总和乘以预设百分比，若是，采用粒子群优化算法对资源占用率小于第二设定阈值的物理服务器上的虚拟机进行重新分配，所述粒子群优化算法的目标为已激活的物理服务器数量M最小且数据中心资源的综合利用率最大。
本发明构建了基于云计算的高校大数据竞赛平台，在此基础上部署了大数据竞赛管理系统，优化了资源分配，满足多个团队同时训练，通过竞赛的方式培养学生搭建大数据系统和优化大数据系统配置的能力及数据分析的能力。
以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于云计算的高校大数据竞赛管理系统，其特征在于，所述系统包括：
身份管理模块：用于对大数据竞赛平台的用户进行账号管理、权限分配；
竞赛管理模块：用于赛项时间管理、实验操作管理；
集群管理模块：用于提供竞赛所需的各类实验集群的创建、销毁、挂起、恢复、一键回收；
资源调度模块：用于基于学生选取的各类实验集群，采用模拟退火算法与粒子群优化算法相结合的方式对物理资源进行虚拟化和调度，为大数据竞赛平台提供云端实验资源；所述资源调度模块具体包括：
初步分配单元：设数据中心可用的物理服务器数量为P，某一赛项时间内所有学生所需虚拟机总数为N，采用进行模拟退火算法虚拟机初步分配，以数据中心的负载不均衡度最小为优化目标将N个虚拟机分配给M个物理服务器，M≤P，根据初步分配结果进行资源调度；
动态调整单元：根据资源监听模块的监听结果，对每个虚拟机按照资源占用率从小到大排序，对每个物理服务器按照资源占用率从小到大排序，检查资源占用率最小的物理服务器上是否有资源占用率最小的虚拟机，若是，在一个子任务处理完成之后将上述资源占用率最小的物理服务器上的虚拟机迁移至其它物理服务器并关闭当前物理服务器；
若否，判断资源占用率小于第二设定阈值的物理服务器的资源占用综合是否小于其它服务器的空闲资源总和乘以预设百分比，若是，在一个子任务处理完成之后，采用粒子群优化算法对资源占用率小于第二设定阈值的物理服务器上的虚拟机进行重新分配，所述粒子群优化算法的目标为已激活的物理服务器数量最小且数据中心资源的综合利用率最高；
资源监听模块：用于按固定时间间隔监听资源调度模块下每个学生的实验进度和资源占用情况、每个物理服务器及每个虚拟机的资源占用情况，绘制相应的资源占用曲线，并将监听结果反馈至资源调度模块。
2.根据权利要求1所述基于云计算的高校大数据竞赛管理系统，其特征在于，所述物理资源包括云计算中心的物理服务器提供的cpu、内存、磁盘、网络资源。
3.根据权利要求1所述基于云计算的高校大数据竞赛管理系统，其特征在于，所述集群管理模块中，所述实验集群包括：Hadoop实验集群、HBase实验集群、Hive实验集群、Spark实验集群。
4.根据权利要求1所述基于云计算的高校大数据竞赛管理系统，其特征在于，竞赛管理模块中，所述竞赛时间管理具体为：
获取赛项时间及参与每项竞赛的学生数量，根据竞赛类型确定每个学生所需虚拟机数量和对应的物理资源，预测同一赛项时间内所有学生所需虚拟机总数，预先建立基于赛项时间的虚拟资源需求表，获取云计算中心的物理资源总量，判断同一时段内不同赛项所需的虚拟资源总量是否超过第一设定阈值，若是，进行赛项时间调整，将同一时段内不同赛项所需的虚拟资源总量控制在所述设定阈值范围内。
5.根据权利要求1所述基于云计算的高校大数据竞赛管理系统，其特征在于，所述动态调整单元中，所述虚拟机迁移或采用粒子群优化算法对资源占用率小于第二设定阈值的物理服务器上的虚拟机进行重新分配之前还包括：按固定时间间隔计算每个物理服务器的资源占用曲线斜率，统计当前时间点之前的多个时间间隔内斜率变化范围，若所述斜率变化范围在设定变化范围之内才进行虚拟机迁移或虚拟机重新分配，否则不做任何处理。
6.根据权利要求1所述基于云计算的高校大数据竞赛管理系统，其特征在于，所述初步分配单元中，所述模拟退火算法的目标函数为：
其中M表示已激活的物理服务器数，L表示资源类型数，ui,l表示物理服务器i上第l类资源利用率，ui表示物理服务器i上资源平均利用率。
7.根据权利要求1所述基于云计算的高校大数据竞赛管理系统，其特征在于，所述系统还包括：
竞赛测评模块：用于根据实验完成情况、实验过程记录、实验时间、资源占用动态曲线对学生进行竞赛分数测评。
8.基于权利要求1～7任一项所述系统的一种基于云计算的高校大数据竞赛管理方法，其特征在于，所述方法包括：
对大数据竞赛平台的用户进行身份认证和权限分配；
获取赛项时间及参与每项竞赛的学生数量，根据竞赛类型确定每个学生所需虚拟机数量和对应的物理资源，预测同一赛项时间内所有学生所需虚拟机总数，预先建立基于赛项时间的虚拟资源需求表，获取云计算中心的物理资源总量，判断同一时段内不同赛项所需的虚拟资源总量是否超过第一设定阈值，若是，进行赛项时间调整，将同一时段内不同赛项所需的虚拟资源总量控制在所述设定阈值范围内；
设数据中心可用的物理服务器数量为P，某一赛项时间内所有学生所需虚拟机总数为N，采用进行模拟退火算法虚拟机初步分配，以数据中心的负载不均衡度最小为优化目标将N个虚拟机分配给M个物理服务器，M≤P，根据初步分配结果进行资源调度；
根据资源监听模块的监听结果，对每个虚拟机按照资源占用率从小到大排序，对每个物理服务器按照资源占用率从小到大排序，检查资源占用率最小的物理服务器上是否有资源占用率最小的虚拟机，若是，将上述资源占用率最小的物理服务器上的虚拟机迁移至其它物理服务器并关闭当前物理服务器；
若否，判断资源占用率小于第二设定阈值的物理服务器的资源占用综合是否小于其它服务器的空闲资源总和乘以预设百分比，若是，采用粒子群优化算法对资源占用率小于第二设定阈值的物理服务器上的虚拟机进行重新分配，所述粒子群优化算法的目标为已激活的物理服务器数量最小且数据中心资源的综合利用率最高。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010700937.5A CN111930469B (zh) | 2020-07-20 | 2020-07-20 | 一种基于云计算的高校大数据竞赛管理系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010700937.5A CN111930469B (zh) | 2020-07-20 | 2020-07-20 | 一种基于云计算的高校大数据竞赛管理系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111930469A CN111930469A (zh) | 2020-11-13 |
| CN111930469B true CN111930469B (zh) | 2024-04-09 |
Family
ID=73312995
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010700937.5A Active CN111930469B (zh) | 2020-07-20 | 2020-07-20 | 一种基于云计算的高校大数据竞赛管理系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111930469B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113721565A (zh) * | 2021-07-31 | 2021-11-30 | 盐城蜂群智能技术有限公司 | 一种可调式工业互联网控制设备 |
| CN114282758B (zh) * | 2021-11-19 | 2022-11-08 | 珠海读书郎软件科技有限公司 | 一种录播课程学习竞赛的方法、装置及电子设备 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103220364A (zh) * | 2013-04-27 | 2013-07-24 | 清华大学 | 一种基于云的系统管理训练平台架构 |
| CN104657215A (zh) * | 2013-11-19 | 2015-05-27 | 南京鼎盟科技有限公司 | 云计算中虚拟化节能系统 |
| WO2015139374A1 (zh) * | 2014-03-18 | 2015-09-24 | 成都盛思睿信息技术有限公司 | 一种云计算平台下的虚拟机分布式任务调度方法 |
| CN106095591A (zh) * | 2016-07-24 | 2016-11-09 | 成都育芽科技有限公司 | 一种基于云计算的虚拟机两级优化调度管理平台 |
| CN106254547A (zh) * | 2016-09-29 | 2016-12-21 | 北京理工大学 | 一种网络安全技术竞赛动态flag管理方法 |
| CN106506657A (zh) * | 2016-11-21 | 2017-03-15 | 黑龙江省科学院自动化研究所 | 一种基于多目标的云计算虚拟机分配调整方法 |
| CN106789312A (zh) * | 2016-12-30 | 2017-05-31 | 南京理工大学 | 一种基于云计算的安全资源优化分配方法 |
| CN106970841A (zh) * | 2017-03-09 | 2017-07-21 | 北京西普阳光教育科技股份有限公司 | 一种基于云计算的资源限制及动态调整方法 |
| CN107748693A (zh) * | 2017-11-30 | 2018-03-02 | 成都启力慧源科技有限公司 | 云计算环境下的群组虚拟机调度策略 |
| CN109637278A (zh) * | 2019-01-03 | 2019-04-16 | 青岛萨纳斯智能科技股份有限公司 | 大数据教学实验实训平台 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10761895B2 (en) * | 2013-09-26 | 2020-09-01 | Vmware, Inc. | Selective allocation of physical computing resources amongst virtual machines based on user attribute values contained in user profiles |
| CN107885762B (zh) * | 2017-09-19 | 2021-06-11 | 北京百度网讯科技有限公司 | 智能大数据系统、提供智能大数据服务的方法和设备 |
| US11163271B2 (en) * | 2018-08-28 | 2021-11-02 | Johnson Controls Technology Company | Cloud based building energy optimization system with a dynamically trained load prediction model |
-
2020
- 2020-07-20 CN CN202010700937.5A patent/CN111930469B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103220364A (zh) * | 2013-04-27 | 2013-07-24 | 清华大学 | 一种基于云的系统管理训练平台架构 |
| CN104657215A (zh) * | 2013-11-19 | 2015-05-27 | 南京鼎盟科技有限公司 | 云计算中虚拟化节能系统 |
| WO2015139374A1 (zh) * | 2014-03-18 | 2015-09-24 | 成都盛思睿信息技术有限公司 | 一种云计算平台下的虚拟机分布式任务调度方法 |
| CN106095591A (zh) * | 2016-07-24 | 2016-11-09 | 成都育芽科技有限公司 | 一种基于云计算的虚拟机两级优化调度管理平台 |
| CN106254547A (zh) * | 2016-09-29 | 2016-12-21 | 北京理工大学 | 一种网络安全技术竞赛动态flag管理方法 |
| CN106506657A (zh) * | 2016-11-21 | 2017-03-15 | 黑龙江省科学院自动化研究所 | 一种基于多目标的云计算虚拟机分配调整方法 |
| CN106789312A (zh) * | 2016-12-30 | 2017-05-31 | 南京理工大学 | 一种基于云计算的安全资源优化分配方法 |
| CN106970841A (zh) * | 2017-03-09 | 2017-07-21 | 北京西普阳光教育科技股份有限公司 | 一种基于云计算的资源限制及动态调整方法 |
| CN107748693A (zh) * | 2017-11-30 | 2018-03-02 | 成都启力慧源科技有限公司 | 云计算环境下的群组虚拟机调度策略 |
| CN109637278A (zh) * | 2019-01-03 | 2019-04-16 | 青岛萨纳斯智能科技股份有限公司 | 大数据教学实验实训平台 |
Non-Patent Citations (5)
| Title |
|---|
| 《基于云件服务的新一代大数据工程实训平台》;王伟 等;《计算机教育》;162-166 * |
| 《基于云的信息安全攻防实践及竞赛平台开发》;马李翠 等;《实验技术与管理》;138-142 * |
| 《基于改进粒子群算法的云计算资源调度模型的研究》;赵宏伟;《沈阳大学学报(自然科学版)》;507-511 * |
| 《职业院校大数据应用技术实训平台的建设》;李自臣 等;《黑龙江科学》;7-8+11 * |
| 信息安全攻防实训平台的设计与部署;侯海燕;赵鼎;白光安;;科技视界(第19期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111930469A (zh) | 2020-11-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111930469B (zh) | 一种基于云计算的高校大数据竞赛管理系统及方法 | |
| Robbins et al. | Does the Erlang C model fit in real call centers? | |
| CN110502323B (zh) | 一种云计算任务实时调度方法 | |
| Li | The use of artificial intelligence combined with cloud computing in the design of education information management platform | |
| Akhmetshin et al. | Analysis of peculiarities of using digital technologies in the university professional training content | |
| CN103118131A (zh) | 一种基于云平台的浸入式教育系统及方法 | |
| CN114090263A (zh) | 一种网络安全竞赛平台、竞赛实施方法和竞赛实施系统 | |
| CN114466023A (zh) | 面向大规模边缘计算系统的计算服务动态定价方法及系统 | |
| CN111597023B (zh) | 一种基于学习状态的集群智能调度方法及装置 | |
| CN116402391B (zh) | 基于大数据的综合能力评价方法及系统 | |
| CN116962419A (zh) | 服务器分配策略的生成方法及装置、电子设备及存储介质 | |
| Tang | Load balancing optimization in cloud computing based on task scheduling | |
| Kwok et al. | Scalability analysis of the hierarchical architecture for distributed virtual environments | |
| CN116957870B (zh) | 临床技能考核管理系统控制方法、装置、设备及介质 | |
| CN112988380B (zh) | 一种基于Kubernetes的集群负载调节方法及存储介质 | |
| Squillante | Special issue on the workshop on mathematical performance modeling and analysis (MAMA 2021) | |
| Xie et al. | A Method of Ideological and Political Teaching Resource Accuracy Scheduling and Control Based on MVC Framework | |
| Krasnova et al. | Digital twin as a driver of digitalization of organizations' activities and creation of digital models | |
| CN116506244B (zh) | 一种自适应房间人数的聊天室配置方法 | |
| Han et al. | Stochastic Matrix Modelling and Scheduling Algorithm of Distributed Intelligent Computing System | |
| Begum et al. | Investigational study of 7 effective schemes of load balancing in cloud computing | |
| Xiaopeng et al. | Exploration of University Informatization Construction Based on Mathematical Modeling Thought | |
| Ning | Design of the Physical Education Teaching System by Using Edge Calculation and the Fuzzy Clustering Algorithm | |
| Yu et al. | Multigroup Multirole Assignment | |
| Karadimce | ADJUSTING THE MASSIVELY OPEN ONLINE COURSES IN CLOUD COMPUTING ENVIRONMENT 9 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Country or region after: China Address after: Room 01, 2 / F, building A14, phase 1.1, Wuhan National Geospatial Information Industrialization Base (New Area), no.6, Beidou Road, Donghu New Technology Development Zone, Wuhan City, Hubei Province, 430000 Applicant after: Wuhan Meihe Yisi Digital Technology Co.,Ltd. Address before: Room 01, 2 / F, building A14, phase 1.1, Wuhan National Geospatial Information Industrialization Base (New Area), no.6, Beidou Road, Donghu New Technology Development Zone, Wuhan City, Hubei Province, 430000 Applicant before: HUBEI MEIHE YISI EDUCATION TECHNOLOGY Co.,Ltd. Country or region before: China |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |