CN111930469A - 一种基于云计算的高校大数据竞赛管理系统及方法 - Google Patents

一种基于云计算的高校大数据竞赛管理系统及方法 Download PDF

Info

Publication number
CN111930469A
CN111930469A CN202010700937.5A CN202010700937A CN111930469A CN 111930469 A CN111930469 A CN 111930469A CN 202010700937 A CN202010700937 A CN 202010700937A CN 111930469 A CN111930469 A CN 111930469A
Authority
CN
China
Prior art keywords
competition
resource
big data
resources
physical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010700937.5A
Other languages
English (en)
Other versions
CN111930469B (zh
Inventor
海克洪
杨俊�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei Meihe Yisi Education Technology Co ltd
Original Assignee
Hubei Meihe Yisi Education Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei Meihe Yisi Education Technology Co ltd filed Critical Hubei Meihe Yisi Education Technology Co ltd
Priority to CN202010700937.5A priority Critical patent/CN111930469B/zh
Publication of CN111930469A publication Critical patent/CN111930469A/zh
Application granted granted Critical
Publication of CN111930469B publication Critical patent/CN111930469B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5066—Algorithms for mapping a plurality of inter-dependent sub-tasks onto a plurality of physical CPUs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • G06F9/5088—Techniques for rebalancing the load in a distributed system involving task migration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/4557—Distribution of virtual machine instances; Migration and load balancing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Biomedical Technology (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Economics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开一种基于云计算的高校大数据竞赛管理系统及方法，所述系统包括：身份管理模块：用于对大数据竞赛平台的用户进行账号管理、权限分配；竞赛管理模块：用于赛项时间管理、实验操作管理；集群管理模块：用于提供竞赛所需的各类实验集群的创建、销毁、挂起、恢复、一键回收；资源调度模块：用于基于学生选取的各类实验集群，采用模拟退火算法与粒子群优化算法相结合的方式对物理资源进行虚拟化和调度，为大数据竞赛平台提供云端实验资源；资源监听模块：用于按固定时间间隔监听资源调度模块下资源占用情况并将监听结果反馈至资源调度模块。本发明可提供多组真实的大数据模拟竞赛环境，同时减少资源浪费。

Description

一种基于云计算的高校大数据竞赛管理系统及方法
技术领域
本发明涉及资源分配领域，尤其涉及一种基于云计算的高校大数据竞赛管理系统及方法。
背景技术
随着互联网和信息产业的快速发展，大数据应用市场不断扩大，大数据作为国家战略，在推动我国经济转型升级过程中发挥着关键作用。大数据是我国重点发展的战略新兴产业中新一代信息技术产业的细分行业之一,预计到2020年，大数据产业规模将超过5000亿元。
为适应我国大数据产业发展对相关人才的迫切需求，进一步引导高校大数据分析应用人才培养体系的构建，各种大数据技术应用、开发创新、能力提升等竞赛如雨后春笋般应运而生。主要目的通过竞赛培养学生搭建大数据系统和优化大数据系统配置的能力；增强学生使用工具处理大数据问题的能力；培养学生使用数据库存储和查询大数据的能力；锻炼学生组织管理和团队协调能力。同时通过竞赛让更多的学校开设大数据课程，形成高校为国家培养大数据人才的氛围，建立完整的大数据专业体系；引导学校开设合理的大数据课程以及相应课程的知识节点，特别是加强对学生实际动手能力的培养。
为了适应高校大数据产业发展需求，部分高校进行了相应的竞赛培训，竞赛环境成了高校制约比赛成绩的关键因素。传统的训练方式一种是使用虚拟机，在普通电脑上完成训练；稍微有点条件的使用服务器，但是这样无法满足多个团队同时训练，当多个团队同时在线时，竞赛资源分配成为亟待解决的问题。
发明内容
有鉴于此，本发明提出了一种基于云计算的高校大数据竞赛管理系统及方法，用于解决高校大数据竞赛训练环境下资源浪费、负载不均衡等问题，
本发明第一方面，提出一种基于云计算的高校大数据竞赛管理系统，所述系统包括：
身份管理模块：用于对大数据竞赛平台的用户进行账号管理、权限分配；
竞赛管理模块：用于赛项时间管理、实验操作管理；
集群管理模块：用于提供竞赛所需的各类实验集群的创建、销毁、挂起、恢复、一键回收；
资源调度模块：用于基于学生选取的各类实验集群，采用模拟退火算法与粒子群优化算法相结合的方式对物理资源进行虚拟化和调度，为大数据竞赛平台提供云端实验资源；
资源监听模块：用于按固定时间间隔监听资源调度模块下每个学生的实验进度和资源占用情况、每个物理服务器及每个虚拟机的资源占用情况，绘制相应的资源占用曲线，并将监听结果反馈至资源调度模块。
优选的，所述物理资源包括云计算中心的物理服务器提供的cpu、内存、磁盘、网络资源。
优选的，所述集群管理模块中，所述实验集群包括：Hadoop实验集群、HBase实验集群、Hive实验集群、Spark实验集群。
优选的，竞赛管理模块中，所述竞赛时间管理具体为：
获取赛项时间及参与每项竞赛的学生数量，根据竞赛类型确定每个学生所需虚拟机数量和对应的物理资源，预测同一赛项时间内所有学生所需虚拟机总数，预先建立基于赛项时间的虚拟资源需求表，获取云计算中心的物理资源总量，判断同一时段内不同赛项所需的虚拟资源总量是否超过第一设定阈值，若是，进行赛项时间调整，将同一时段内不同赛项所需的虚拟资源总量控制在所述设定阈值范围内。
优选的，所述资源调度模块具体包括：
初步分配单元：设数据中心可用的物理服务器数量为P，某一赛项时间内所有学生所需虚拟机总数为N，采用进行模拟退火算法虚拟机初步分配，以数据中心的负载不均衡度最小为优化目标将N个虚拟机分配给M个物理服务器，M≤P，根据初步分配结果进行资源调度；
动态调整单元：根据资源监听模块的监听结果，对每个虚拟机按照资源占用率从小到大排序，对每个物理服务器按照资源占用率从小到大排序，检查资源占用率最小的物理服务器上是否有资源占用率最小的虚拟机，若是，在一个子任务处理完成之后将上述资源占用率最小的物理服务器上的虚拟机迁移至其它物理服务器并关闭当前物理服务器；
若否，判断资源占用率小于第二设定阈值的物理服务器的资源占用综合是否小于其它服务器的空闲资源总和乘以预设百分比，若是，在一个子任务处理完成之后，采用粒子群优化算法对资源占用率小于第二设定阈值的物理服务器上的虚拟机进行重新分配，所述粒子群优化算法的目标为已激活的物理服务器数量最小且数据中心资源的综合利用率最高。
优选的，所述动态调整单元中，所述虚拟机迁移或采用粒子群优化算法对资源占用率小于第二设定阈值的物理服务器上的虚拟机进行重新分配之前还包括：按固定时间间隔计算每个物理服务器的资源占用曲线斜率，统计当前时间点之前的多个时间间隔内斜率变化范围，若所述斜率变化范围在设定变化范围之内才进行虚拟机迁移或虚拟机重新分配，否则不做任何处理。
优选的，所述初步分配单元中，所述模拟退火算法的目标函数为：
Figure BDA0002593020750000031
其中M表示已激活的物理服务器数，L表示资源类型数，ui,l表示物理服务器i上第l类资源利用率，ui表示物理服务器i上资源平均利用率。
优选的，所述系统还包括：
竞赛测评模块：用于根据实验完成情况、实验过程记录、实验时间、学生实验过程中资源占用动态曲线对学生进行竞赛分数测评。
本发明第二方面，提供一种基于云计算的高校大数据竞赛管理方法，所述方法包括：
对大数据竞赛平台的用户进行身份认证和权限分配；
获取赛项时间及参与每项竞赛的学生数量，根据竞赛类型确定每个学生所需虚拟机数量和对应的物理资源，预测同一赛项时间内所有学生所需虚拟机总数，预先建立基于赛项时间的虚拟资源需求表，获取云计算中心的物理资源总量，判断同一时段内不同赛项所需的虚拟资源总量是否超过第一设定阈值，若是，进行赛项时间调整，将同一时段内不同赛项所需的虚拟资源总量控制在所述设定阈值范围内；
设数据中心可用的物理服务器数量为P，某一赛项时间内所有学生所需虚拟机总数为N，采用进行模拟退火算法虚拟机初步分配，以数据中心的负载不均衡度最小为优化目标将N个虚拟机分配给M个物理服务器，M≤P，根据初步分配结果进行资源调度；
根据资源监听模块的监听结果，对每个虚拟机按照资源占用率从小到大排序，对每个物理服务器按照资源占用率从小到大排序，检查资源占用率最小的物理服务器上是否有资源占用率最小的虚拟机，若是，将上述资源占用率最小的物理服务器上的虚拟机迁移至其它物理服务器并关闭当前物理服务器；
若否，判断资源占用率小于第二设定阈值的物理服务器的资源占用综合是否小于其它服务器的空闲资源总和乘以预设百分比，若是，采用粒子群优化算法对资源占用率小于第二设定阈值的物理服务器上的虚拟机进行重新分配，所述粒子群优化算法的目标为已激活的物理服务器数量最小且数据中心资源的综合利用率最高。
本发明的相对于现有技术具有以下有益效果：
1)构建了基于云计算的高校大数据竞赛平台，可以提供多组真实的大数据模拟竞赛环境，多个团队同时进行相关大数据竞赛训练、互不干扰，提供各类大数据集群仿真环境、弹性扩展训练所需设备，更好的为高校大数据教学竞赛服务。
2)采用模拟退火算法进行虚拟机初步分配，在保证实验所需物理资源的基础上进行负载均衡化，在初步资源分配的基础上通过粒子群优化算法对空闲资源进行动态资源分配优化，减少资源浪费，节省开销。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于云计算的高校大数据竞赛平台的层级示意图；
图2为本发明实施例提供的基于云计算的高校大数据竞赛管理系统结构示意图。
具体实施方式
下面将结合本发明实施方式，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
请参阅图1，本发明实施例提供的通过云计算技术构建高校大数据竞赛平台的层级示意图，包括基础软硬件及虚拟化层、云管控平台、大数据竞赛平台；所述基础软硬件及虚拟化层用于将基础硬件资源转化为能被上层系统调度与使用的虚拟资源池，基础硬件由若干物理服务器、若干网络交换机和辅助设备构成，物理服务器上部署云管平台和大数据竞赛平台，提供计算、网络、存储等功能；网络交换机用于云管平台虚拟机通信以及业务通信，分配大数据竞赛所需资源；辅助设备包含VPN、UPS等，VPN设备提供远程访问竞赛平台功能，UPS提供不断电功能。对物理资源(cpu、内存、磁盘、网络)进行虚拟化和调度，为大数据竞赛平台提供云端实验资源；所述竞赛平台为学生一键生成竞赛环境并提供竞赛资源，通过开放海量数据和分布式计算资源，培养学生大数据集群部署能力、数据处理能力、数据采集能力与数据分析挖掘能力。
请参阅图2，本发明提出一种基于云计算的高校大数据竞赛管理系统结构示意图，所述系统包括身份管理模块100、竞赛管理模块200、集群管理模块300、资源调度模块400、资源监听模块500、竞赛测评模块600；所述身份管理模块100、竞赛管理模块200、集群管理模块300、资源监听模块500、竞赛测评模块600部署在大数据竞赛平台，所述资源调度模块400部署在云管控平台。
身份管理模块100：用于对大数据竞赛平台的用户进行账号管理、权限分配；
竞赛管理模块200：用于赛项时间管理、实验操作管理；
所述竞赛时间管理具体为：获取赛项时间及参与每项竞赛的学生数量，根据竞赛类型确定每个学生所需虚拟机数量和对应的物理资源，预测同一赛项时间内所有学生所需虚拟机总数，预先建立基于赛项时间的虚拟资源需求表，获取云计算中心的物理资源总量，判断同一时段内不同赛项所需的虚拟资源总量是否超过第一设定阈值，若是，进行赛项时间调整，将同一时段内不同赛项所需的虚拟资源总量控制在所述设定阈值范围内。通过竞赛时间管理，可将同一时段所需虚拟资源总量控制在云计算中心的可承受范围之内，错峰竞赛，为各类竞赛提供可靠的竞赛环境。
集群管理模块300：用于提供竞赛所需的各类实验集群的创建、销毁、挂起、恢复、一键回收；所述实验集群包括：Hadoop实验集群、HBase实验集群、Hive实验集群、Spark实验集群。本发明提供了多样化的集群实验仿真环境，方便培养学生大数据集群部署能力。本发明的系统还与各数据库连接，为学生提供海量数据，方便学生培养数据处理能力、数据采集能力与数据分析挖掘能力。
资源调度模块400：用于基于学生选取的各类实验集群，采用模拟退火算法与粒子群优化算法相结合的方式对物理资源进行虚拟化和调度，为大数据竞赛平台提供云端实验资源；所述物理资源包括云计算中心的物理服务器提供的cpu、内存、磁盘、网络资源。所述资源调度模块具体包括：
初步分配单元：设数据中心可用的物理服务器数量为P，预测某一赛项时间内所有学生所需虚拟机总数为N，采用进行模拟退火算法虚拟机初步分配，以数据中心的负载不均衡度最小为优化目标将N个虚拟机分配给M个物理服务器，M≤P，最大程度满足每个学生需求，根据初步分配结果进行资源调度；所述模拟退火算法的目标函数为：
Figure BDA0002593020750000071
其中M表示已激活的物理服务器数，L表示资源类型数，本发明实时资源类型包括cpu、内存、磁盘、网络带宽四种，ui,l表示物理服务器i上第l类资源利用率，ui表示物理服务器i上资源平均利用率，
Figure BDA0002593020750000072
动态调整单元：根据资源监听模块的监听结果，对每个虚拟机按照资源占用率从小到大排序，对每个物理服务器按照资源占用率从小到大排序；按固定时间间隔计算每个物理服务器的资源占用曲线斜率，统计当前时间点之前的多个时间间隔内斜率变化范围，若所述斜率变化范围在设定变化范围之内，则说明其资源使用较为稳定，对空闲资源进行物理资源动态调整。
检查资源占用率最小的物理服务器上是否有资源占用率最小的虚拟机，若是，在一个子任务处理完成之后将上述资源占用率最小的物理服务器上的虚拟机迁移至其它物理服务器并关闭当前物理服务器；
若否，判断资源占用率小于第二设定阈值的物理服务器的资源占用综合是否小于其它服务器的空闲资源总和乘以预设百分比，若是，在一个子任务处理完成之后，采用粒子群优化算法对资源占用率小于第二设定阈值的物理服务器上的虚拟机进行重新分配，所述粒子群优化算法的目标为已激活的物理服务器数量M最小且数据中心资源的综合利用率
Figure BDA0002593020750000073
最高。
资源监听模块500：用于按固定时间间隔监听资源调度模块下每个学生的实验进度和资源占用情况、每个物理服务器及每个虚拟机的资源占用情况，绘制相应的资源占用曲线，将各类曲线图形化输出，并将监听结果反馈至资源调度模块。
竞赛测评模块600：用于根据实验完成情况、实验过程记录、实验时间、学生实验过程中资源占用动态曲线对学生进行竞赛分数测评。
与所述系统是实力相对应，本发明还提出一种基于云计算的高校大数据竞赛管理方法，所述方法包括：
对大数据竞赛平台的用户进行身份认证和权限分配；
获取赛项时间及参与每项竞赛的学生数量，根据竞赛类型确定每个学生所需虚拟机数量和对应的物理资源，预测同一赛项时间内所有学生所需虚拟机总数，预先建立基于赛项时间的虚拟资源需求表，获取云计算中心的物理资源总量，判断同一时段内不同赛项所需的虚拟资源总量是否超过第一设定阈值，若是，进行赛项时间调整，将同一时段内不同赛项所需的虚拟资源总量控制在所述设定阈值范围内；
设数据中心可用的物理服务器数量为P，某一赛项时间内所有学生所需虚拟机总数为N，采用进行模拟退火算法虚拟机初步分配，以数据中心的负载不均衡度最小为优化目标将N个虚拟机分配给M个物理服务器，M≤P，根据初步分配结果进行资源调度；
根据资源监听模块的监听结果，对每个虚拟机按照资源占用率从小到大排序，对每个物理服务器按照资源占用率从小到大排序，检查资源占用率最小的物理服务器上是否有资源占用率最小的虚拟机，若是，将上述资源占用率最小的物理服务器上的虚拟机迁移至其它物理服务器并关闭当前物理服务器；
若否，判断资源占用率小于第二设定阈值的物理服务器的资源占用综合是否小于其它服务器的空闲资源总和乘以预设百分比，若是，采用粒子群优化算法对资源占用率小于第二设定阈值的物理服务器上的虚拟机进行重新分配，所述粒子群优化算法的目标为已激活的物理服务器数量M最小且数据中心资源的综合利用率
Figure BDA0002593020750000081
最大。
本发明构建了基于云计算的高校大数据竞赛平台，在此基础上部署了大数据竞赛管理系统，优化了资源分配，满足多个团队同时训练，通过竞赛的方式培养学生搭建大数据系统和优化大数据系统配置的能力及数据分析的能力。
以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于云计算的高校大数据竞赛管理系统，其特征在于，所述系统包括：
身份管理模块：用于对大数据竞赛平台的用户进行账号管理、权限分配；
竞赛管理模块：用于赛项时间管理、实验操作管理；
集群管理模块：用于提供竞赛所需的各类实验集群的创建、销毁、挂起、恢复、一键回收；
资源调度模块：用于基于学生选取的各类实验集群，采用模拟退火算法与粒子群优化算法相结合的方式对物理资源进行虚拟化和调度，为大数据竞赛平台提供云端实验资源；
资源监听模块：用于按固定时间间隔监听资源调度模块下每个学生的实验进度和资源占用情况、每个物理服务器及每个虚拟机的资源占用情况，绘制相应的资源占用曲线，并将监听结果反馈至资源调度模块。
2.根据权利要求1所述基于云计算的高校大数据竞赛管理系统，其特征在于，所述物理资源包括云计算中心的物理服务器提供的cpu、内存、磁盘、网络资源。
3.根据权利要求1所述基于云计算的高校大数据竞赛平台，其特征在于，所述集群管理模块中，所述实验集群包括：Hadoop实验集群、HBase实验集群、Hive实验集群、Spark实验集群。
4.根据权利要求1所述基于云计算的高校大数据竞赛管理系统，其特征在于，竞赛管理模块中，所述竞赛时间管理具体为：
获取赛项时间及参与每项竞赛的学生数量，根据竞赛类型确定每个学生所需虚拟机数量和对应的物理资源，预测同一赛项时间内所有学生所需虚拟机总数，预先建立基于赛项时间的虚拟资源需求表，获取云计算中心的物理资源总量，判断同一时段内不同赛项所需的虚拟资源总量是否超过第一设定阈值，若是，进行赛项时间调整，将同一时段内不同赛项所需的虚拟资源总量控制在所述设定阈值范围内。
5.根据权利要求1所述基于云计算的高校大数据竞赛管理系统，其特征在于，所述资源调度模块具体包括：
初步分配单元：设数据中心可用的物理服务器数量为P，某一赛项时间内所有学生所需虚拟机总数为N，采用进行模拟退火算法虚拟机初步分配，以数据中心的负载不均衡度最小为优化目标将N个虚拟机分配给M个物理服务器，M≤P，根据初步分配结果进行资源调度；
动态调整单元：根据资源监听模块的监听结果，对每个虚拟机按照资源占用率从小到大排序，对每个物理服务器按照资源占用率从小到大排序，检查资源占用率最小的物理服务器上是否有资源占用率最小的虚拟机，若是，在一个子任务处理完成之后将上述资源占用率最小的物理服务器上的虚拟机迁移至其它物理服务器并关闭当前物理服务器；
若否，判断资源占用率小于第二设定阈值的物理服务器的资源占用综合是否小于其它服务器的空闲资源总和乘以预设百分比，若是，在一个子任务处理完成之后，采用粒子群优化算法对资源占用率小于第二设定阈值的物理服务器上的虚拟机进行重新分配，所述粒子群优化算法的目标为已激活的物理服务器数量最小且数据中心资源的综合利用率最高。
6.根据权利要求5所述基于云计算的高校大数据竞赛管理系统，其特征在于，所述动态调整单元中，所述虚拟机迁移或采用粒子群优化算法对资源占用率小于第二设定阈值的物理服务器上的虚拟机进行重新分配之前还包括：按固定时间间隔计算每个物理服务器的资源占用曲线斜率，统计当前时间点之前的多个时间间隔内斜率变化范围，若所述斜率变化范围在设定变化范围之内才进行虚拟机迁移或虚拟机重新分配，否则不做任何处理。
7.根据权利要求5所述基于云计算的高校大数据竞赛管理系统，其特征在于，所述初步分配单元中，所述模拟退火算法的目标函数为：
Figure FDA0002593020740000021
其中M表示已激活的物理服务器数，L表示资源类型数，ui,l表示物理服务器i上第l类资源利用率，ui表示物理服务器i上资源平均利用率。
8.根据权利要求1所述基于云计算的高校大数据竞赛管理系统，其特征在于，所述系统还包括：
竞赛测评模块：用于根据实验完成情况、实验过程记录、实验时间、资源占用动态曲线对学生进行竞赛分数测评。
9.一种基于云计算的高校大数据竞赛管理方法，其特征在于，所述方法包括：
对大数据竞赛平台的用户进行身份认证和权限分配；
获取赛项时间及参与每项竞赛的学生数量，根据竞赛类型确定每个学生所需虚拟机数量和对应的物理资源，预测同一赛项时间内所有学生所需虚拟机总数，预先建立基于赛项时间的虚拟资源需求表，获取云计算中心的物理资源总量，判断同一时段内不同赛项所需的虚拟资源总量是否超过第一设定阈值，若是，进行赛项时间调整，将同一时段内不同赛项所需的虚拟资源总量控制在所述设定阈值范围内；
设数据中心可用的物理服务器数量为P，某一赛项时间内所有学生所需虚拟机总数为N，采用进行模拟退火算法虚拟机初步分配，以数据中心的负载不均衡度最小为优化目标将N个虚拟机分配给M个物理服务器，M≤P，根据初步分配结果进行资源调度；
根据资源监听模块的监听结果，对每个虚拟机按照资源占用率从小到大排序，对每个物理服务器按照资源占用率从小到大排序，检查资源占用率最小的物理服务器上是否有资源占用率最小的虚拟机，若是，将上述资源占用率最小的物理服务器上的虚拟机迁移至其它物理服务器并关闭当前物理服务器；
若否，判断资源占用率小于第二设定阈值的物理服务器的资源占用综合是否小于其它服务器的空闲资源总和乘以预设百分比，若是，采用粒子群优化算法对资源占用率小于第二设定阈值的物理服务器上的虚拟机进行重新分配，所述粒子群优化算法的目标为已激活的物理服务器数量最小且数据中心资源的综合利用率最高。
CN202010700937.5A 2020-07-20 2020-07-20 一种基于云计算的高校大数据竞赛管理系统及方法 Active CN111930469B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010700937.5A CN111930469B (zh) 2020-07-20 2020-07-20 一种基于云计算的高校大数据竞赛管理系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010700937.5A CN111930469B (zh) 2020-07-20 2020-07-20 一种基于云计算的高校大数据竞赛管理系统及方法

Publications (2)

Publication Number Publication Date
CN111930469A true CN111930469A (zh) 2020-11-13
CN111930469B CN111930469B (zh) 2024-04-09

Family

ID=73312995

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010700937.5A Active CN111930469B (zh) 2020-07-20 2020-07-20 一种基于云计算的高校大数据竞赛管理系统及方法

Country Status (1)

Country Link
CN (1) CN111930469B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113721565A (zh) * 2021-07-31 2021-11-30 盐城蜂群智能技术有限公司 一种可调式工业互联网控制设备
CN114282758A (zh) * 2021-11-19 2022-04-05 珠海读书郎软件科技有限公司 一种录播课程学习竞赛的方法、装置及电子设备

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103220364A (zh) * 2013-04-27 2013-07-24 清华大学 一种基于云的系统管理训练平台架构
US20150089496A1 (en) * 2013-09-26 2015-03-26 Vmware, Inc. Selective allocation of physical computing resources amongst virtual machines
CN104657215A (zh) * 2013-11-19 2015-05-27 南京鼎盟科技有限公司 云计算中虚拟化节能系统
WO2015139374A1 (zh) * 2014-03-18 2015-09-24 成都盛思睿信息技术有限公司 一种云计算平台下的虚拟机分布式任务调度方法
CN106095591A (zh) * 2016-07-24 2016-11-09 成都育芽科技有限公司 一种基于云计算的虚拟机两级优化调度管理平台
CN106254547A (zh) * 2016-09-29 2016-12-21 北京理工大学 一种网络安全技术竞赛动态flag管理方法
CN106506657A (zh) * 2016-11-21 2017-03-15 黑龙江省科学院自动化研究所 一种基于多目标的云计算虚拟机分配调整方法
CN106789312A (zh) * 2016-12-30 2017-05-31 南京理工大学 一种基于云计算的安全资源优化分配方法
CN106970841A (zh) * 2017-03-09 2017-07-21 北京西普阳光教育科技股份有限公司 一种基于云计算的资源限制及动态调整方法
CN107748693A (zh) * 2017-11-30 2018-03-02 成都启力慧源科技有限公司 云计算环境下的群组虚拟机调度策略
US20190087383A1 (en) * 2017-09-19 2019-03-21 Beijing Baidu Netcom Science And Technology Co., Ltd. Intelligent big data system, and method and apparatus for providing intelligent big data service
CN109637278A (zh) * 2019-01-03 2019-04-16 青岛萨纳斯智能科技股份有限公司 大数据教学实验实训平台
US20200073342A1 (en) * 2018-08-28 2020-03-05 Johnson Controls Technology Company Cloud based building energy optimization system with a dynamically trained load prediction model

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103220364A (zh) * 2013-04-27 2013-07-24 清华大学 一种基于云的系统管理训练平台架构
US20150089496A1 (en) * 2013-09-26 2015-03-26 Vmware, Inc. Selective allocation of physical computing resources amongst virtual machines
CN104657215A (zh) * 2013-11-19 2015-05-27 南京鼎盟科技有限公司 云计算中虚拟化节能系统
WO2015139374A1 (zh) * 2014-03-18 2015-09-24 成都盛思睿信息技术有限公司 一种云计算平台下的虚拟机分布式任务调度方法
CN106095591A (zh) * 2016-07-24 2016-11-09 成都育芽科技有限公司 一种基于云计算的虚拟机两级优化调度管理平台
CN106254547A (zh) * 2016-09-29 2016-12-21 北京理工大学 一种网络安全技术竞赛动态flag管理方法
CN106506657A (zh) * 2016-11-21 2017-03-15 黑龙江省科学院自动化研究所 一种基于多目标的云计算虚拟机分配调整方法
CN106789312A (zh) * 2016-12-30 2017-05-31 南京理工大学 一种基于云计算的安全资源优化分配方法
CN106970841A (zh) * 2017-03-09 2017-07-21 北京西普阳光教育科技股份有限公司 一种基于云计算的资源限制及动态调整方法
US20190087383A1 (en) * 2017-09-19 2019-03-21 Beijing Baidu Netcom Science And Technology Co., Ltd. Intelligent big data system, and method and apparatus for providing intelligent big data service
CN107748693A (zh) * 2017-11-30 2018-03-02 成都启力慧源科技有限公司 云计算环境下的群组虚拟机调度策略
US20200073342A1 (en) * 2018-08-28 2020-03-05 Johnson Controls Technology Company Cloud based building energy optimization system with a dynamically trained load prediction model
CN109637278A (zh) * 2019-01-03 2019-04-16 青岛萨纳斯智能科技股份有限公司 大数据教学实验实训平台

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
侯海燕;赵鼎;白光安;: "信息安全攻防实训平台的设计与部署", 科技视界, no. 19 *
李自臣 等: "《职业院校大数据应用技术实训平台的建设》", 《黑龙江科学》, pages 7 - 8 *
王伟 等: "《基于云件服务的新一代大数据工程实训平台》", 《计算机教育》, pages 162 - 166 *
赵宏伟: "《基于改进粒子群算法的云计算资源调度模型的研究》", 《沈阳大学学报(自然科学版)》, pages 507 - 511 *
马李翠 等: "《基于云的信息安全攻防实践及竞赛平台开发》", 《实验技术与管理》, pages 138 - 142 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113721565A (zh) * 2021-07-31 2021-11-30 盐城蜂群智能技术有限公司 一种可调式工业互联网控制设备
CN114282758A (zh) * 2021-11-19 2022-04-05 珠海读书郎软件科技有限公司 一种录播课程学习竞赛的方法、装置及电子设备

Also Published As

Publication number Publication date
CN111930469B (zh) 2024-04-09

Similar Documents

Publication Publication Date Title
Wu Cloud computing task scheduling policy based on improved particle swarm optimization
CN111930469B (zh) 一种基于云计算的高校大数据竞赛管理系统及方法
CN104112049B (zh) 基于P2P构架的MapReduce任务跨数据中心调度系统及方法
US20150364056A1 (en) Virtual class-based global citizenship incubating system and method
Li The use of artificial intelligence combined with cloud computing in the design of education information management platform
Lin et al. A K-means clustering with optimized initial center based on Hadoop platform
CN108898912A (zh) 基于云技术的电网调度员培训仿真方法及系统
CN103118131A (zh) 一种基于云平台的浸入式教育系统及方法
CN113837908A (zh) 一种基于课程的网络培训系统与方法
Akhmetshin et al. Analysis of peculiarities of using digital technologies in the university professional training content
CN114090263A (zh) 一种网络安全竞赛平台、竞赛实施方法和竞赛实施系统
CN111597023B (zh) 一种基于学习状态的集群智能调度方法及装置
Ali et al. A biogeography-based optimization algorithm for energy efficient virtual machine placement
CN116962419A (zh) 服务器分配策略的生成方法及装置、电子设备及存储介质
CN108769233B (zh) 一种基于桌面云的资源优化分配方法
Tang Load balancing optimization in cloud computing based on task scheduling
Jia et al. An Application Study of Stochastic Service Systems Based on Operations Search
CN106357676A (zh) 一种云服务资源开销优化方法
Tu et al. Building a learning games network in cloud learning platform based on immigrant education
CN112988380B (zh) 一种基于Kubernetes的集群负载调节方法及存储介质
CN116048821B (zh) 高利用率的ai服务器及其资源分配方法
Squillante Special issue on the workshop on mathematical performance modeling and analysis (MAMA 2021)
Xie et al. A Method of Ideological and Political Teaching Resource Accuracy Scheduling and Control Based on MVC Framework
Han et al. Stochastic Matrix Modelling and Scheduling Algorithm of Distributed Intelligent Computing System
Kun et al. Research on cloud computing load balancing based on virtual machine migration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Country or region after: China

Address after: Room 01, 2 / F, building A14, phase 1.1, Wuhan National Geospatial Information Industrialization Base (New Area), no.6, Beidou Road, Donghu New Technology Development Zone, Wuhan City, Hubei Province, 430000

Applicant after: Wuhan Meihe Yisi Digital Technology Co.,Ltd.

Address before: Room 01, 2 / F, building A14, phase 1.1, Wuhan National Geospatial Information Industrialization Base (New Area), no.6, Beidou Road, Donghu New Technology Development Zone, Wuhan City, Hubei Province, 430000

Applicant before: HUBEI MEIHE YISI EDUCATION TECHNOLOGY Co.,Ltd.

Country or region before: China

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant