CN108958947A - 一种大数据一体机及其使用方法 - Google Patents
一种大数据一体机及其使用方法 Download PDFInfo
- Publication number
- CN108958947A CN108958947A CN201811083903.5A CN201811083903A CN108958947A CN 108958947 A CN108958947 A CN 108958947A CN 201811083903 A CN201811083903 A CN 201811083903A CN 108958947 A CN108958947 A CN 108958947A
- Authority
- CN
- China
- Prior art keywords
- virtual machine
- processing unit
- data
- big data
- data processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 120
- 238000002474 experimental method Methods 0.000 claims abstract description 106
- 238000003860 storage Methods 0.000 claims abstract description 26
- 230000007613 environmental effect Effects 0.000 claims description 6
- 238000010801 machine learning Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 4
- 239000011800 void material Substances 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 abstract description 7
- 238000013475 authorization Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 4
- 230000001052 transient effect Effects 0.000 description 3
- 101100498818 Arabidopsis thaliana DDR4 gene Proteins 0.000 description 2
- 241001269238 Data Species 0.000 description 2
- 101100458658 Homo sapiens MUC13 gene Proteins 0.000 description 2
- 102100023124 Mucin-13 Human genes 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
- G09B19/0053—Computers, e.g. programming
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
- G06F2009/45587—Isolation or security of virtual machine instances
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Educational Technology (AREA)
- Educational Administration (AREA)
- Computer Hardware Design (AREA)
- Electrically Operated Instructional Devices (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明实施例提供一种大数据一体机及其使用方法，其中大数据一体机包括数据处理单元和存储单元，数据处理单元与存储单元连接；存储单元内存储有数据集和大数据实验模板，数据处理单元通过虚拟机将数据集提供给学习终端，数据处理单元通过虚拟机内的Docker容器将大数据实验模板提供给学习终端。本发明实施例提供的大数据一体机及其使用方法，通过设计虚拟机+Docker容器的结构，基于大数据一体机实现了虚拟机管理与Docker容器管理的高度统一，为大数据教学和培训提供了友好、便捷、真实可操作的实践环境，减轻了大数据教学的工作量，降低了教学成本，提高了教学灵活性。
Description
技术领域
本发明实施例涉及计算机教学技术领域，尤其涉及一种大数据一体机及其使用方法。
背景技术
进入21世纪以来，信息技术特别是互联网悄然变革了人们的生活方式、工作方式和思维方式。IT产业未来发展的阵营中，电子商务、电子政务、社交网络等一系列导向型应用背后，是海量大数据基础支撑。数据库相关的专业技术人才需求存在庞大的缺口。
目前，大数据的教学和培训活动非常普遍，课程内容丰富多样。数据科学与大数据技术是一门技术操作性很强的课程，不仅要学员掌握理论知识，更要学员能精通操作技术。但多数授课过程中，缺乏方便、快捷、友好的大数据教学实验和体验环境，不能很好培养学员动手能力。
针对大数据教学，当前普遍采用三种方式：一是借助于高校信息中心共享资源池，安排专业人员提前安装部署实验所需环境，但是高校使用资源需要的申请手续复杂，时间漫长，并且共享平台资源紧张，此外每次使用需要部署课程所需的实验环境，工作量较大。二是构建集群模式的多种设备实验环境平台，安排专人负责维护管理，而采购多种设备搭建专门的大数据实验平台，成本高，使用效率低，维护管理成本高。三是租用第三方云服务平台部署的实验环境，但是实验环境比较固定，不能定制化个性所需的体验和实验环境，且对于大规模多次教学课程租用成本高。
发明内容
本发明实施例提供一种大数据一体机及其使用方法，用以解决现有的大数据教学工作量大、成本高且实验环境固定的问题。
一方面，本发明实施例提供一种大数据一体机，包括数据处理单元和存储单元，数据处理单元与存储单元连接；
存储单元内存储有数据集和大数据实验模板，数据处理单元通过虚拟机将数据集提供给学习终端，数据处理单元通过虚拟机内的Docker容器将大数据实验模板提供给学习终端。
另一方面，本发明实施例提供一种大数据一体机使用方法，包括：
启动数据处理单元中的虚拟机和Docker容器；
基于虚拟机获取数据集，基于Docker容器获取大数据实验模板；
基于数据集与大数据实验模板进行大数据实验。
再一方面，本发明实施例提供一种大数据一体机使用装置，包括：
启动单元，用于启动数据处理单元中的虚拟机和Docker容器；
获取单元，用于基于虚拟机获取数据集，基于Docker容器获取大数据实验模板；
实验单元，用于基于数据集与大数据实验模板进行大数据实验。
又一方面，本发明实施例提供一种电子设备，包括处理器、通信接口、存储器和总线，其中，处理器，通信接口，存储器通过总线完成相互间的通信，处理器可以调用存储器中的逻辑指令，以执行如前所述的大数据一体机使用方法。
再又一方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如前所述的大数据一体机使用方法。
本发明实施例提供的一种大数据一体机及其使用方法，通过设计虚拟机+Docker容器的结构，基于大数据一体机实现了虚拟机管理与Docker容器管理的高度统一，为大数据教学和培训提供了友好、便捷、真实可操作的实践环境，减轻了大数据教学的工作量，降低了教学成本，提高了教学灵活性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的大数据一体机的结构示意图；
图2为本发明实施例提供的大数据一体机使用方法的流程示意图；
图3为本发明又一实施例提供的大数据一体机使用方法的流程示意图；
图4为本发明实施例提供的大数据一体机使用装置的结构示意图；
图5为本发明实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例提供的大数据一体机的结构示意图，如图1所示，一种大数据一体机，包括数据处理单元和存储单元，数据处理单元与存储单元连接；存储单元内存储有数据集和大数据实验模板，数据处理单元通过虚拟机将数据集提供给学习终端，数据处理单元通过虚拟机内的Docker容器将大数据实验模板提供给学习终端。
具体地，大数据一体机包括数据处理单元和存储单元，存储单元用于为数据集和大数据实验模板提供存储空间，数据处理单元用于对存储单元内存储的数据集和大数据实验模板进行资源管理和调度。此处，数据集可以是各个领域的数据，用于为大数据实验提供数据基础。大数据实验模板可以是各种大数据实验的模板，为执行大数据实验提供参考和教程，以便于进行大数据实验的教学。
数据处理单元内部署有虚拟机，虚拟机中挂载数据集，同时虚拟机内安装有Docker容器，Docker容器内置有大数据实验模板。学习终端与大数据一体机连接，通过访问大数据一体机的数据处理单元下的虚拟机中的Docker容器，得到学习终端所需的数据集和大数据实验模板，并通过发送指令指示大数据一体机进行运算，执行基于上述数据集和大数据实验模板的大数据实验，实现大数据实验的教学和练习。
需要说明的是，为了实现IP隔离，便于多个用户(即多个学习终端)能够同时共享同一台大数据一体机，每一学习终端对应大数据一体机数据处理单元中的一个虚拟机，各个虚拟机之间不相互影响。
本发明实施例提供的大数据一体机，通过设置虚拟机+Docker容器的结构，基于大数据一体机实现了虚拟机管理与Docker容器管理的高度统一，为大数据教学和培训提供了友好、便捷、真实可操作的实践环境，减轻了大数据教学的工作量，降低了教学成本，提高了教学灵活性。
基于上述实施例，数据集包括传感数据、文本数据、图像数据和地理信息数据中的至少一种，数据集的领域包括经济建设、交通服务、医疗健康和环境保护中的至少一种。具体地，大数据一体机可提供多种国内外公开的数据集，数据集的类型和领域本发明实施例不作具体限定。数据集可以随时进行拓展更新，以优化大数据实验结果。
基于上述任一实施例，大数据实验模板包括Hadoop生态环境实验模板、开发环境实验模板、大数据教学实验模板、机器学习实验模板中的至少一种。
具体地，Hadoop是一个开发和运行处理大规模数据的软件平台，是Apache的一个用Java语言实现开源软件框架，实现在大量计算机组成的集群中对海量数据进行分布式计算。Hadoop生态环境实验模板包括Hadoop集群构建与管理实验模板、HDFS分布式文件系统实验模板、MapReduce计算框架实验模板和Spark环境编译与部署实验模板中的至少一种。
开发环境实验模板可以是基于某一程序语言设计的开发环境实验模板，例如Java语言实验模板、Python语言实验模板等。
大数据教学实验模板是指能够提供大数据教学培训课程的实验模板，例如HBase数据库实验模板、Hive数据仓实验模板、Pig数据库实验模板和MangoDB数据库实验模板等。
机器学习实验模板是指用于提供机器学习教学练习课程的实验模板，例如逻辑回归实验模板、支持向量机实验模板、贝叶斯实验模板和深度学习实验模板。
基于上述任一实施例，数据处理单元包括计算单元和随机存储器。作为优选，计算单元为两个Xeon E5-2600v4系列处理器，随机存储器为DDR4 2133 16G RECC。
基于上述任一实施例，还包括有线网口和/或无线网卡。此处，有限网口和无线网卡均可用于与学习终端连接。作为优选，有线网口为两个，均为10/100/1000BASE-TX RJ45端口，无线网卡为300M双频无线PCI-E网卡。
为了更好地理解与应用本发明提出的一种大数据一体机，本发明进行以下示例，且本发明不仅局限于以下示例。
大数据一体机是独立的软硬件一体化设备，包括数据处理单元、存储单元、有线网口和无线网卡。其中，数据处理单元包括两个Xeon E5-2600v4系列处理器和一个DDR4 213316G RECC内存。存储单元包含两个3.5英寸串行硬件驱动器接口4TB磁盘，有线网口为两个，均为10/100/1000BASE-TX RJ45端口，无线网卡为300M双频无线PCI-E网卡。上述各部件均装设在机箱内，且通过额定500W的电源为大数据一体机供电。
存储单元内存储有数据集和大数据实验模板，其中，数据集为多种国内外公开的免责领域数据集，包含传感数据、文本数据、图像数据、地理信息数据等多种类型，覆盖经济建设、交通服务、医疗健康、环境保护等多种领域，作为大数据实验的数据基础。大数据实验模板包括完整的Hadoop生态环境(HDFS+MapReduce+Spark)的实验模板，Java、Python等通用开发环境的实验模板，规范的大数据培训课程内容(Hbase，Hive，Pig，MangoDB)的实验模板，机器学习(逻辑回归、支持向量机、贝叶斯)的实验模板，以及深度学习环境(TensorFlow)实验模板。此外，大数据实验模板还结合数据集提供不同的机器学习方法与大数据分析方法在各个领域的实施例。
数据处理单元内部署有虚拟机，虚拟机中挂载数据集，同时虚拟机内安装有Docker容器，Docker容器内置有大数据实验模板。学习终端与大数据一体机连接，通过访问大数据一体机的数据处理单元下的虚拟机中的Docker容器，得到学习终端所需的数据集和大数据实验模板，并通过发送指令指示大数据一体机进行运算，执行基于上述数据集和大数据实验模板的大数据实验，实现大数据实验的教学和练习。
本示例提供的大数据一体机，通过设置虚拟机+Docker容器的结构，基于大数据一体机实现了虚拟机管理与Docker容器管理的高度统一，为大数据教学和培训提供了友好、便捷、真实可操作的实践环境，减轻了大数据教学的工作量，降低了教学成本，提高了教学灵活性。
基于上述任一实施例，图2为本发明实施例提供的大数据一体机使用方法的流程示意图，如图2所示，一种大数据一体机使用方法，包括：
201，启动数据处理单元中的虚拟机和Docker容器。
具体地，大数据一体机包括数据处理单元和存储单元，存储单元用于为数据集和大数据实验模板提供存储空间，数据处理单元用于对存储单元内存储的数据集和大数据实验模板进行资源管理和调度。此处，数据处理单元内部署有虚拟机，虚拟机中挂载数据集，同时虚拟机内安装有Docker容器，Docker容器内置有大数据实验模板。为了获取数据集和大数据实验模板，首先启动数据处理单元中的虚拟机，以及虚拟机内布置的Docker容器。
202，基于虚拟机获取数据集，基于Docker容器获取大数据实验模板。
203，基于数据集与大数据实验模板进行大数据实验。
需要说明的是，为了实现IP隔离，便于多个用户能够同时共享同一台大数据一体机，每一学习终端对应大数据一体机数据处理单元中的一个虚拟机，各个虚拟机之间不相互影响，即学习终端在使用大数据一体机时，主要操作控制的是该学习终端对应的虚拟机。
本发明实施例提供的方法，基于虚拟机+Docker容器的结构获取数据集和大数据实验模板，并进行大数据实验，实现了友好、便捷、真实、可操作性强的大数据实验，降低了教学成本，提高了教学灵活性。
基于上述任一实施例，201，启动数据处理单元中的虚拟机和Docker容器，具体包括：
2011，若判断获知数据处理单元的设备指纹信息与虚拟机预存的许可文件中的虚拟机设备指纹信息一致，则启动虚拟机。
2012，虚拟机启动后，若判断获知数据处理单元的设备指纹信息与虚拟机中部署的Docker容器预存的许可文件中的容器设备指纹信息一致，则启动Docker容器。
具体地，在步骤201执行虚拟机和Docker容器的启动过程中，加入了数据保护机制，防止大数据一体机在未经授权的情况下运行大数据实验。启动虚拟机是启动安装在虚拟机中的Docker容器的必须步骤。步骤2011中，在启动虚拟机之前，需要比较数据处理单元的设备指纹信息，与在该数据处理单元部署的虚拟机中在初次授权时存储在虚拟机中的许可文件中的虚拟机设备指纹信息是否一致。此处，数据处理单元的设备指纹信息是指用于唯一标识出数据处理单元的设备特征或者独特的设备标识。虚拟机设备指纹信息则是虚拟机预存的许可文件中授权的数据处理单元的设备指纹信息。此处，设备指纹信息优选为MAC地址。如果数据处理单元的设备指纹信息和虚拟机设备指纹信息一致，则说明虚拟机预存的许可文件中授权的数据处理单元即为当前的数据处理单元，在当前数据处理单元上运行大数据实验是经过授权的，因此启动虚拟机，进行下一步认证。
步骤2012中，在启动部署有Docker容器的虚拟机之后，启动该Docker容器是运行大数据实验的必须步骤。在完成虚拟机的启动之后，启动该Docker容器之前，需要比较数据处理单元的设备指纹信息，与在该数据处理单元部署的虚拟机的Docker容器中安装该软件时存储在Docker容器中的软件许可文件中的容器设备指纹信息是否一致。此处，容器设备指纹信息则是Docker容器预存的许可文件中授权的数据处理单元的设备指纹信息。如果数据处理单元的设备指纹信息和容器设备指纹信息一致，则说明Docker容器预存的许可文件中授权的数据处理单元即为当前的数据处理单元，在当前数据处理单元上运行大数据实验是经过授权的，因此启动Docker容器。
本发明实施例提供的方法，分别在虚拟机和Docker容器启动前对设备指纹信息进行认证，确保大数据实验是在授权的大数据一体机上合法运行，实现了有效的版权保护，且无需任何额外的硬件，成本低廉。
基于上述任一实施例，201，启动数据处理单元中的虚拟机和Docker容器，之前还包括：
获取数据处理单元的设备指纹信息；在数据处理单元中的虚拟机上安装Docker容器，并将数据处理单元的设备指纹信息写入虚拟机的许可文件与Docker容器的许可文件中。
具体地，在对安装在数据处理单元中部署的虚拟机中的Docker容器进行授权时，需要将授权的数据处理单元的设备指纹信息写入虚拟机的许可文件，以使得在执行数据保护机制时，能够从虚拟机的许可文件中提取虚拟机设备指纹信息，即虚拟机的许可文件中存储的授权数据处理单元的设备指纹信息，并与当前数据处理单元的设备指纹信息进行对比，判断当前数据处理单元是否为授权数据处理单元。此外，还需要将授权的数据处理单元的设备指纹信息写入Docker容器的许可文件，以使得在执行数据保护机制时，能够从Docker容器的许可文件中提取容器设备指纹信息，即Docker容器的许可文件中存储的授权数据处理单元的设备指纹信息，并与当前数据处理单元的设备指纹信息进行对比，判断当前数据处理单元是否为授权数据处理单元。
基于上述任一实施例，若判断获知数据处理单元的设备指纹信息与虚拟机预存的许可文件中的虚拟机设备指纹信息一致，则启动虚拟机，具体包括：
1)对数据处理单元的设备指纹信息进行加密，得到加密设备指纹信息。
具体地，首先获取数据处理单元的设备指纹信息。为了便于后续与虚拟机设备指纹信息进行比较，在进行设备指纹信息认证前，需要对当前数据处理单元的设备指纹信息进行加密。本发明实施例不对加密算法作具体限定，加密算法可以是md5算法。
2)从虚拟机预存的许可文件中提取虚拟机设备指纹信息，并对虚拟机设备指纹信息进行加密，得到加密虚拟机设备指纹信息。此处，加密虚拟机设备指纹信息是在虚拟机预存的许可文件中加密后的授权数据处理单元的设备指纹信息。对虚拟机设备指纹信息进行加密时应用的加密算法，与对数据处理单元的设备指纹信息进行加密时应用的加密算法一致。
3)若加密设备指纹信息与加密虚拟机设备指纹信息一致，则启动虚拟机；否则，进入挂起状态，发出认证失败信息。
具体地，将两种经过同种加密算法进行加密后的设备指纹信息(其中，加密设备指纹信息为当前数据处理单元加密后的设备指纹信息，加密虚拟机设备指纹信息为虚拟机预存的许可文件中加密后的授权数据处理单元的设备指纹信息)进行比较，如果一致则说明虚拟机预存的许可文件中授权的数据处理单元即为当前的数据处理单元，在当前数据处理单元上运行大数据实验是经过授权的，因此启动虚拟机，进行下一步认证；如果不一致，则说明虚拟机预存的许可文件中授权的数据处理单元不是当前的数据处理单元，在当前数据处理单元上运行大数据实验是非法的，进入挂起状态指将当前操作系统挂起，停止启动虚拟器，同时发出认证失败信息，提示操作人员当前数据处理单元未授权。
基于上述任一实施例，虚拟机启动后，若判断获知数据处理单元的设备指纹信息与虚拟机中部署的Docker容器预存的许可文件中的容器设备指纹信息一致，则启动Docker容器，运行Docker容器内的软件，具体包括：
1)虚拟机启动后，从虚拟机中部署的Docker容器预存的许可文件中提取容器设备指纹信息，并对容器设备指纹信息进行加密，得到加密容器设备指纹信息。此处，加密容器设备指纹信息是在Docker容器预存的许可文件中加密后的授权数据处理单元的设备指纹信息。
2)若加密设备指纹信息与加密容器设备指纹信息一致，则启动Docker容器；否则，停止启动Docker容器，发出认证失败信息。
具体地，将两种经过同种加密算法进行加密后的设备指纹信息(其中，加密设备指纹信息为当前数据处理单元加密后的设备指纹信息，加密容器设备指纹信息为Docker预存的许可文件中加密后的授权数据处理单元的设备指纹信息)进行比较，如果一致则说明Docker容器预存的许可文件中授权的数据处理单元即为当前的数据处理单元，在当前数据处理单元上运行大数据实验是经过授权的，因此启动Docker容器；如果不一致，则说明Docker容器预存的许可文件中授权的数据处理单元不是当前的数据处理单元，在当前数据处理单元上运行大数据实验是非法的，停止启动Docker容器，同时发出认证失败信息，提示操作人员当前数据处理单元未授权。
需要说明的是，如果对虚拟机的许可文件中虚拟机设备指纹信息进行加密应用的加密算法与对Docker容器的许可文件中容器设备指纹信息进行加密应用的加密算法是同一加密算法。
为了更好地理解与应用本发明提出的一种大数据一体机的使用方法，本发明进行以下示例，且本发明不仅局限于以下示例。
图3为本发明又一实施例提供的大数据一体机使用方法的流程示意图，如图3所示，使用方法如下：
STEP 1启动Linux操作系统。
STEP 2环境初始化，此处的初始化包括对DHCP服务、存储设备、虚拟机(KVM)支撑应用等的初始化。
STEP 3获取数据处理单元的设备指纹信息(此处为MAC地址)，并通过md5算法对设备指纹信息加密，得到加密设备指纹信息。
STEP 4虚拟机认证：利用STEP 3获取的加密设备指纹信息与解析得到的虚拟机本地存储的许可文件中经过md5算法加密的加密虚拟机设备指纹信息对比，如果一致则认为通过虚拟机认证，通过进入STEP 5，如果不一致则认为虚拟机认证失败，进入STEP 11。
STEP 5启动Daemon(主控程序)，根据许可文件信息启动许可守护进程。此处Daemon用于对大数据一体机的虚拟机资源和Docker容器资源进行管理和调度，包括虚拟机之间的IP隔离、虚拟机镜像、Docker容器复制传输及大数据实验模板与数据集的更新等。
STEP 6检查大数据相关应用的运行环境，启动虚拟机(KVM)。
STEP 7加载镜像，根据配置信息加载各个容器的镜像，从数据处理单元获取分配的IP；
STEP 8Docker容器认证：利用STEP 3获取的加密设备指纹信息与解析得到的Docker容器存储的许可文件中经过md5算法加密的加密容器设备指纹信息对比，如果一致则认为通过Docker容器认证，通过进入STEP 9，如果不一致则认为Docker容器认证失败，进入STEP 12。
STEP 9启动应用服务：启动执行大数据实验的应用，包括HDFS、Hadoop、MapReduce等。
STEP 10实验集群建立，完成实验集群的建立过程，并执行简单验证。
STEP 11系统挂起，锁定系统，弹出设备认证失败的提示信息。
STEP 12停止启动容器，停止容器的启动操所，并提示启动该类型容器失败。
基于上述任一方法实施例，图4为本发明实施例提供的大数据一体机使用装置的结构示意图，如图4所示，一种大数据一体机使用装置，包括启动单元401、获取单元402和实验单元403：
其中，启动单元401，用于启动数据处理单元中的虚拟机和Docker容器；
获取单元402，用于基于虚拟机获取数据集，基于Docker容器获取大数据实验模板；
实验单元403，用于基于数据集与大数据实验模板进行大数据实验。
本发明实施例提供的装置，基于虚拟机+Docker容器的结构获取数据集和大数据实验模板，并进行大数据实验，实现了友好、便捷、真实、可操作性强的大数据实验，降低了教学成本，提高了教学灵活性。
基于上述任一实施例，启动单元401包括虚拟机认证子单元和容器认证子单元：
其中，虚拟机认证子单元用于若判断获知数据处理单元的设备指纹信息与虚拟机预存的许可文件中的虚拟机设备指纹信息一致，则启动虚拟机；
容器认证子单元用于虚拟机启动后，若判断获知数据处理单元的设备指纹信息与虚拟机中部署的Docker容器预存的许可文件中的容器设备指纹信息一致，则启动Docker容器。
基于上述任一实施例，还包括授权单元，用于获取数据处理单元的设备指纹信息；在数据处理单元中的虚拟机上安装Docker容器，并将数据处理单元的设备指纹信息写入虚拟机的许可文件与Docker容器的许可文件中。
基于上述任一实施例，虚拟机认证子单元具体用于：
对数据处理单元的设备指纹信息进行加密，得到加密设备指纹信息；
从虚拟机预存的许可文件中提取虚拟机设备指纹信息，并对虚拟机设备指纹信息进行加密，得到加密虚拟机设备指纹信息；
若加密设备指纹信息与加密虚拟机设备指纹信息一致，则启动虚拟机；否则，进入挂起状态，发出认证失败信息。
基于上述任一实施例，容器认证子单元具体用于：
虚拟机启动后，从虚拟机中部署的Docker容器预存的许可文件中提取容器设备指纹信息，并对容器设备指纹信息进行加密，得到加密容器设备指纹信息；
若加密设备指纹信息与加密容器设备指纹信息一致，则启动Docker容器；否则，停止启动Docker容器，发出认证失败信息。
图5为本发明实施例提供的电子设备的结构示意图，如图5所示，电子设备包括：处理器(processor)501、通信接口(Communications Interface)502、存储器(memory)503和总线504，其中，处理器501，通信接口502，存储器503通过总线504完成相互间的通信。处理器501可以调用存储器503中的逻辑指令，以执行如下方法，例如包括：启动数据处理单元中的虚拟机和Docker容器；基于虚拟机获取数据集，基于Docker容器获取大数据实验模板；基于数据集与大数据实验模板进行大数据实验。
本发明实施例公开一种计算机程序产品，计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：启动数据处理单元中的虚拟机和Docker容器；基于虚拟机获取数据集，基于Docker容器获取大数据实验模板；基于数据集与大数据实验模板进行大数据实验。
本实施例提供一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，计算机指令使计算机执行上述各方法实施例所提供的方法，例如包括：启动数据处理单元中的虚拟机和Docker容器；基于虚拟机获取数据集，基于Docker容器获取大数据实验模板；基于数据集与大数据实验模板进行大数据实验。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的通信设备等实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分的方法。
最后应说明的是：以上各实施例仅用以说明本发明的实施例的技术方案，而非对其限制；尽管参照前述各实施例对本发明的实施例进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明的实施例各实施例技术方案的范围。
Claims (10)
1.一种大数据一体机，其特征在于，包括数据处理单元和存储单元，所述数据处理单元与所述存储单元连接；
所述存储单元内存储有数据集和大数据实验模板，所述数据处理单元通过虚拟机将所述数据集提供给学习终端，所述数据处理单元通过所述虚拟机内的Docker容器将所述大数据实验模板提供给所述学习终端。
2.根据权利要求1所述的大数据一体机，其特征在于，所述数据集包括传感数据、文本数据、图像数据和地理信息数据中的至少一种，所述数据集的领域包括经济建设、交通服务、医疗健康和环境保护中的至少一种。
3.根据权利要求1所述的大数据一体机，其特征在于，所述大数据实验模板包括Hadoop生态环境实验模板、开发环境实验模板、大数据教学实验模板、机器学习实验模板中的至少一种。
4.根据权利要求1所述的大数据一体机，其特征在于，所述数据处理单元包括计算单元和随机存储器。
5.根据权利要求1所述的大数据一体机，其特征在于，还包括有线网口和/或无线网卡。
6.基于权利要求1至5中任一权利要求所述的大数据一体机的使用方法，包括：
启动所述数据处理单元中的所述虚拟机和所述Docker容器；
基于所述虚拟机获取所述数据集，基于所述Docker容器获取所述大数据实验模板；
基于所述数据集与所述大数据实验模板进行大数据实验。
7.根据权利要求6所述的方法，其特征在于，所述启动所述数据处理单元中的所述虚拟机和所述Docker容器，具体包括：
若判断获知所述数据处理单元的设备指纹信息与所述虚拟机预存的许可文件中的虚拟机设备指纹信息一致，则启动所述虚拟机；
所述虚拟机启动后，若判断获知所述数据处理单元的设备指纹信息与所述虚拟机中部署的所述Docker容器预存的许可文件中的容器设备指纹信息一致，则启动所述Docker容器。
8.根据权利要求7所述的方法，其特征在于，所述启动所述数据处理单元中的所述虚拟机和所述Docker容器，之前还包括：
获取所述数据处理单元的设备指纹信息；
在所述数据处理单元中的所述虚拟机上安装所述Docker容器，并将所述数据处理单元的设备指纹信息写入所述虚拟机的许可文件与所述Docker容器的许可文件中。
9.根据权利要求7所述的方法，其特征在于，所述若判断获知数据处理单元的设备指纹信息与所述虚拟机预存的许可文件中的虚拟机设备指纹信息一致，则启动所述虚拟机，具体包括：
对所述数据处理单元的设备指纹信息进行加密，得到加密设备指纹信息；
从所述虚拟机预存的许可文件中提取虚拟机设备指纹信息，并对所述虚拟机设备指纹信息进行加密，得到加密虚拟机设备指纹信息；
若所述加密设备指纹信息与所述加密虚拟机设备指纹信息一致，则启动所述虚拟机；否则，进入挂起状态，发出认证失败信息。
10.根据权利要求9所述的方法，其特征在于，所述虚拟机启动后，若判断获知所述数据处理单元的设备指纹信息与所述虚拟机中部署的Docker容器预存的许可文件中的容器设备指纹信息一致，则启动所述Docker容器，运行所述Docker容器内的软件，具体包括：
所述虚拟机启动后，从所述虚拟机中部署的Docker容器预存的许可文件中提取容器设备指纹信息，并对所述容器设备指纹信息进行加密，得到加密容器设备指纹信息；
若所述加密设备指纹信息与所述加密容器设备指纹信息一致，则启动所述Docker容器；否则，停止启动所述Docker容器，发出认证失败信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811083903.5A CN108958947B (zh) | 2018-09-17 | 2018-09-17 | 一种大数据一体机及其使用方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811083903.5A CN108958947B (zh) | 2018-09-17 | 2018-09-17 | 一种大数据一体机及其使用方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108958947A true CN108958947A (zh) | 2018-12-07 |
| CN108958947B CN108958947B (zh) | 2024-09-27 |
Family
ID=64470965
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811083903.5A Active CN108958947B (zh) | 2018-09-17 | 2018-09-17 | 一种大数据一体机及其使用方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108958947B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111260969A (zh) * | 2020-03-06 | 2020-06-09 | 华南农业大学 | 数据挖掘课程教学实践系统和基于系统的教学实践方法 |
| CN113051036A (zh) * | 2021-03-31 | 2021-06-29 | 京东方科技集团股份有限公司 | 基于Docker容器的应用程序许可方法、装置、设备和介质 |
| CN113470483A (zh) * | 2021-06-01 | 2021-10-01 | 长江大学 | 基于Docker和Asterisk的软交换实验平台和实验方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101188493A (zh) * | 2007-11-14 | 2008-05-28 | 吉林中软吉大信息技术有限公司 | 网络信息安全教学实验装置 |
| US20090328225A1 (en) * | 2007-05-16 | 2009-12-31 | Vmware, Inc. | System and Methods for Enforcing Software License Compliance with Virtual Machines |
| CN105138765A (zh) * | 2015-08-21 | 2015-12-09 | 中国科学院自动化研究所 | 基于Docker的人工交通系统大规模计算实验方法 |
| CN106803218A (zh) * | 2017-03-17 | 2017-06-06 | 西安优盛信息技术有限公司 | 一种基于虚拟化和云计算的大数据教学系统 |
| CN107679371A (zh) * | 2017-09-25 | 2018-02-09 | 用友网络科技股份有限公司 | 软件许可控制方法、装置、计算机设备和可读存储介质 |
| CN107783818A (zh) * | 2017-10-13 | 2018-03-09 | 北京百度网讯科技有限公司 | 深度学习任务处理方法、装置、设备及存储介质 |
| US20180088973A1 (en) * | 2016-09-25 | 2018-03-29 | Dinesh Subhraveti | Methods and systems for interconversions among virtual machines, containers and container specifications |
| CN108304414A (zh) * | 2017-01-13 | 2018-07-20 | 江苏云创融合信息科技有限公司 | 大数据教学管理架构系统 |
-
2018
- 2018-09-17 CN CN201811083903.5A patent/CN108958947B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090328225A1 (en) * | 2007-05-16 | 2009-12-31 | Vmware, Inc. | System and Methods for Enforcing Software License Compliance with Virtual Machines |
| CN101188493A (zh) * | 2007-11-14 | 2008-05-28 | 吉林中软吉大信息技术有限公司 | 网络信息安全教学实验装置 |
| CN105138765A (zh) * | 2015-08-21 | 2015-12-09 | 中国科学院自动化研究所 | 基于Docker的人工交通系统大规模计算实验方法 |
| US20180088973A1 (en) * | 2016-09-25 | 2018-03-29 | Dinesh Subhraveti | Methods and systems for interconversions among virtual machines, containers and container specifications |
| CN108304414A (zh) * | 2017-01-13 | 2018-07-20 | 江苏云创融合信息科技有限公司 | 大数据教学管理架构系统 |
| CN106803218A (zh) * | 2017-03-17 | 2017-06-06 | 西安优盛信息技术有限公司 | 一种基于虚拟化和云计算的大数据教学系统 |
| CN107679371A (zh) * | 2017-09-25 | 2018-02-09 | 用友网络科技股份有限公司 | 软件许可控制方法、装置、计算机设备和可读存储介质 |
| CN107783818A (zh) * | 2017-10-13 | 2018-03-09 | 北京百度网讯科技有限公司 | 深度学习任务处理方法、装置、设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 李艳红: "Docker技术在网络教学中的应用", 《大众科技》, vol. 120, no. 4, 30 April 2018 (2018-04-30), pages 1 - 2 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111260969A (zh) * | 2020-03-06 | 2020-06-09 | 华南农业大学 | 数据挖掘课程教学实践系统和基于系统的教学实践方法 |
| CN111260969B (zh) * | 2020-03-06 | 2021-12-14 | 华南农业大学 | 数据挖掘课程教学实践系统和基于系统的教学实践方法 |
| CN113051036A (zh) * | 2021-03-31 | 2021-06-29 | 京东方科技集团股份有限公司 | 基于Docker容器的应用程序许可方法、装置、设备和介质 |
| CN113470483A (zh) * | 2021-06-01 | 2021-10-01 | 长江大学 | 基于Docker和Asterisk的软交换实验平台和实验方法 |
| CN113470483B (zh) * | 2021-06-01 | 2023-02-17 | 长江大学 | 基于Docker和Asterisk的软交换实验平台和实验方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108958947B (zh) | 2024-09-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104520869B (zh) | 可信执行环境虚拟机克隆 | |
| CN103703443B (zh) | 针对计算应用程序功能的强大权限管理 | |
| Champine et al. | Project athena as a distributed computer system | |
| CN103220364A (zh) | 一种基于云的系统管理训练平台架构 | |
| CN108958947A (zh) | 一种大数据一体机及其使用方法 | |
| CN103020121B (zh) | 插入来自多个储存库的媒体内容 | |
| CN105359491A (zh) | 云环境中的用户认证 | |
| US20210297417A1 (en) | Secure remote troubleshooting of private cloud | |
| Dinita et al. | A cloud-based virtual computing laboratory for teaching computer networks | |
| CN103714274A (zh) | 用于增强自助服务安全应用的系统和方法 | |
| US20160306514A1 (en) | Remotely restricting client devices | |
| Ali et al. | Development of CAPTCHA system based on puzzle | |
| CN106022713A (zh) | 一种基于云平台的快速创建培训平台的方法 | |
| CN106453228A (zh) | 一种用于智能机器人的用户登录方法以及系统 | |
| Burd et al. | Virtual Computing Laboratories: A Case Study with Comparisons to Physical Computing Laboratories. | |
| CN103885725A (zh) | 一种基于云计算环境的虚拟机访问控制系统及其控制方法 | |
| Trecakov et al. | Doing more with less: Growth, improvements, and management of NMSU’s computing capabilities | |
| Elmaghrabi et al. | Enhancement of Moodle learning management system regarding quizzes security and stability problems | |
| CN106161501A (zh) | 虚拟桌面的数据共享方法和装置 | |
| Hu et al. | Tele-Lab “IT-Security” on CD: portable, reliable and safe IT security training | |
| Tao et al. | Virtual open-source labs for web security education | |
| Wang et al. | Decentralized m-learning platform with trusted execution environment | |
| Llano et al. | POEMA: A personal cloud for inclusive education | |
| Corno et al. | Perception of security issues in the development of Cloud-IoT systems by a novice programmer | |
| Liu et al. | A cloud-based experiment platform for computer-based education |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: Building 3, Beike industry, No. 7, Fengxian Middle Road, Yongfeng Industrial base, Haidian District, Beijing 100094 Applicant after: Beijing Computing Center Co.,Ltd. Address before: Building 3, Beike industry, No. 7, Fengxian Middle Road, Yongfeng Industrial base, Haidian District, Beijing 100094 Applicant before: BEIJING COMPUTING CENTER |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |