CN112328374A - 一种基于虚拟化实操环境的综合测评系统与方法 - Google Patents
一种基于虚拟化实操环境的综合测评系统与方法 Download PDFInfo
- Publication number
- CN112328374A CN112328374A CN202011397097.6A CN202011397097A CN112328374A CN 112328374 A CN112328374 A CN 112328374A CN 202011397097 A CN202011397097 A CN 202011397097A CN 112328374 A CN112328374 A CN 112328374A
- Authority
- CN
- China
- Prior art keywords
- environment
- configuration
- examination
- detection
- evaluation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 80
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000001514 detection method Methods 0.000 claims abstract description 77
- 238000012360 testing method Methods 0.000 claims abstract description 35
- 238000005516 engineering process Methods 0.000 claims abstract description 30
- 238000007726 management method Methods 0.000 claims abstract description 18
- 238000010276 construction Methods 0.000 claims abstract description 15
- 238000012544 monitoring process Methods 0.000 claims abstract description 5
- 238000012217 deletion Methods 0.000 claims abstract description 4
- 230000037430 deletion Effects 0.000 claims abstract description 4
- 230000006855 networking Effects 0.000 claims abstract description 4
- 238000013468 resource allocation Methods 0.000 claims abstract description 4
- 238000012795 verification Methods 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 12
- 238000011161 development Methods 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 6
- 238000013515 script Methods 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000002474 experimental method Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 12
- 238000007667 floating Methods 0.000 description 6
- 238000004088 simulation Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000001960 triggered effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
- G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
- G06F2009/45595—Network integration; Enabling network access in virtual machine instances
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- General Health & Medical Sciences (AREA)
- General Business, Economics & Management (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供一种基于虚拟化实操环境的综合测评系统与方法，系统包括：环境构建子系统，用于构建实操环境；考题管理子系统，用于进行考试必要的考务操作，检查考题环境构建的资源需求；自动测评子系统，用于进行多维度的自动化测评，根据系统自动监测、用户触发检测、考试结束触发条件，进行考题结果检测评定；测评方法利用计算虚拟化、存储虚拟化、网络虚拟化技术，通过环境构建子系统进行动态组网和资源分配，构建实操测评环境；管理员通过考题管理子系统进行考题的配置、查看、删除等操作；被测人员通过的自动测评子系统，按题目要求进行作答；自动测评子系统，根据预设的触发条件，自动进行实操题结果检测，评定答题正确性。
Description
技术领域
本发明属于互联网从业人员技术测评技术领域，特别涉及一种基于虚拟化实操环境的综合测评系统与方法。
背景技术
互联网技术涉及面比较广，包含了网络技术、计算机技术、软件技术等。现有测评系统中通常采用真实操作环境或虚拟操作环境对测评者的实操水平进行测试。
真实操作环境包括：1）实际的硬件设备，如网络设备、服务器等，需要由测评者使用硬件设备搭建所需的网络，或者由考官将硬件环境搭建好后，由测评者去查找并解决其中存在的问题，实操测试的结果由考官人工检查后给出相应的评分；2）软件的真实环境，如OFFICE操作，编程开发等实操题，通常是在电脑上安装相应的操作软件，由测评者上机使用相关软件进行操作，操作的结果可以采用人工检查或结果上传等方式进行评分。
虚拟操作环境包括：1）利用仿真技术构建测试环境，通过开发专用的仿真软件，来实现编程环境、网络操作环境等，例如CN201410196478的发明申请公开了一种实操题测评软件仿真系统，利用面向对象仿真、flash、网络仿真等技术分别模拟了平台实验、系统配置、编程开发等环境；2）利用主机虚拟化技术构建模拟的硬件设备，例如CN201711107326的发明申请公开了一种基于虚拟化技术的计算机通用考试系统及其方法，利用VHD文件模拟主机环境构建测试环境；3）利用网络虚拟化技术构建网络测试环境，例如CN201610251834的发明申请公开了一种基于虚拟化技术的网络安全在线实操考试系统及方法，利用网络虚拟化技术实现了虚拟网络，以进行网络安全测试；
采用真实操作环境的问题在于：1）测评受环境限制，不能随时随地进行测评，必须事先准备相应的实际操作环境；2）成本高，实际的操作环境的软件和硬件都需要相应的成本，实际操作的评分也需要由考官进行评分，也需要人力的成本；3）操作复杂，需要在所有测评点准备相应的实际操作环境；4）效率低，实际的操作环境数量有限，一个真实实操环境同一时间通常只能允许一位测评者使用；5）测评结果可靠度低，依据实操结果的评分只根据最后的实操结果进行评分，没有考虑实操的过程和步骤，评分不够准确。
采用虚拟操作环境可以部分解决上述问题，例如CN201410196478的发明提出的仿真环境构建方法，需要进行软件订制，仿真程度无法达到真实的操作环境；CN201711107326的发明通过拷贝VHD文件替代真实主机操作环境，只能解决真实实操环境中的成本高问题；CN201610251834的发明利用虚拟主机、虚拟网络实现网络安全测试环境，但是在测试内容和结果检测方面也存在差距，不能涵盖SDN、云计算、传统网络、软件开发等多种需求，测评方法单一。
针对不同的技术要求，需要构建不同的应用场景，不仅支持需要网络配置类的模拟实操场景、编程语言和算法的测试环境，还要囊括SDN、云计算、大数据、传统网络、Linux服务和系统管理等诸多应用实验。现有的在线测评系统尚未能提供一个高效、自动测评的测评环境，无法同时支持在线编程、SDN、云计算、云存储、大数据、微服务等多种技术的测评。
为了更好地检验和评估互联网从业人员对技术的掌握程度，本发明提出了一种高效、自动的综合测评系统和方法。
发明内容
本发明的目的在于，提供一种基于虚拟化实操环境的综合测评系统与方法，能够方便、快捷、自动化的实操环境构造方法，覆盖了SDN、云计算、传统网络、软件开发等多种需求，能同时满足输入配置类、软件开发类、安全对抗类等测试需求。
本发明的技术方案是一种基于虚拟化实操环境的综合测评系统，包括：环境构建子系统，用于通过云计算平台、容器编排引擎、应用容器引擎等技术构建实操环境，利用OpenStack虚拟化技术构造网络和主机操作环境，利用Kubernetes、Docker等技术构造工作空间；考题管理子系统，用于进行考题配置、考题查看、考题删除等操作，检查考题环境构建的资源需求；自动测评子系统，用于进行多维度的自动化测评，根据系统自动监测、用户触发检测、考试结束触发等触发条件，自动进行考题的结果检测评定。
所述的考题管理子系统中，所述的考题配置包括题干配置、环境模板配置、检测条目配置等功能。
所述的自动测评子系统中，所述的结果检测评定包括输入配置获取比较、网站内容抓取分析、执行结果测试验证、网络编排验证等功能。
所述的考题配置，其特征还在于，所述的环境模板配置包括两方面内容：
实验模板配置，是指基于预置的设备资源、网络资源，以可视化的方式构建自定义网络拓扑结构，设备资源支持镜像配置、规格配置、预置网卡IP配置，自定义网络支持网段配置、网关配置、DHCP服务配置，镜像支持预置镜像、上传自定义镜像；
工作空间模板配置，是指配置docker镜像、规格，配置应用服务访问端口、端口映射。
所述的检测条目配置，是指配置考题的检测类型、检测顺序、检测设备、检测时间点、得分标准、检测内容，每个考题可配置多条检测条目。
所述的输入配置获取比较，是通过统一的控制访问通道，以虚拟机代理或ssh协议，获取输入虚拟机的配置，并根据与考题预期结果进行对比。
所述的结果检测评定中，所述的网站内容抓取分析，是以Kubernetes控制代理设置规则，暴露开发环境的进程服务，通过脚本抓取网站的HTML页面元素，自动化分析业务功能及流程是否符合预期。
所述的结果检测评定中，所述的执行结果测试验证，是检测程序运行结果、文件存在性等，并判断是否符合预期。
所述的结果检测评定中，所述的网络编排验证，通过动态打通与被测环境的访问接口，远程控制相应虚拟设备执行指定指令进行验证。
一种基于虚拟化实操环境的综合测评方法，利用计算虚拟化、存储虚拟化、网络虚拟化等技术，通过所述的环境构建子系统进行动态组网和资源分配，构建实操测评环境；管理员通过所述的考题管理子系统进行考题的配置、查看、删除等管理操作；被测人员通过所述的自动测评子系统，按题目要求进行作答；所述的自动测评子系统，根据预设的触发条件，自动进行实操题结果检测，评定答题正确性。
基于虚拟化实操环境的综合测评方法包括完成录制实操题的方法，其特征在于，管理员通过登录界面进行登录，输入帐号密码后，进行验证；验证通过后，进入录入考题界面，该界面接收输入的考题题干和设置环境模板；进入制定考题答案界面，该界面设置检测条目，包括检测类型、检测顺序、检测设备、检测时间点、检测内容；设定成功后，自动评分和指导规则界面根据该检测配置自动生成评分标准和指导规则，显示给管理员，管理员可以通过修改评分标准界面和修改指导规则界面对评分标准和指导规则进行修改；最后该系统将考题、答案、评分标准、指导规则保存为一道实操题。
基于虚拟化实操环境的综合测评方法包括完成实操题考试的方法，其特征在于，被测人员通过登录界面进行登录，输入帐号密码后，进行验证；验证通过后，进入考试，通过选择实操题界面选择考题，环境构建子系统根据考题要求生成考题环境，被测人员通过查看考题界面阅读题干要求，构造好的考题环境会显示在测评系统实操界面上；被测人员根据考题要求，在实操界面中进行命令配置、编程实践、网站开发、安全对抗等操作；根据考题的触发条件，自动进行考题的结果检测评定，并显示最终的成绩。
有益效果
本发明基于虚拟化实操环境的综合测评系统与方法的优越性在于，提供了一种方便、快捷、自动化的实操环境构造方法，覆盖了SDN、云计算、传统网络、软件开发等多种需求；提供了一种多维度的自动测评方法，涵盖实验过程中自动检测、用户触发检测、实验结束后自动检测等多个环节，实操检测条件丰富多样，能同时满足输入配置类、软件开发类、安全对抗类等测试需求。
附图说明
图1为本发明一种基于虚拟化实操环境的综合测评系统的结构示意图；
图2为本发明的一种SDN实验网络拓扑结构示意图；
图3为本发明的一种传统网络实验网络拓扑结构示意图；
图4为本发明的一种云计算实验网络拓扑结构示意图。
具体实施方式
为了更清楚地描述本发明，下面结合附图对本发明的具体实施方式做进一步说明。
如图1所示，本发明一种基于虚拟化实操环境的综合测评系统的结构包括三个子系统，分别为环境构建子系统、考题管理子系统、自动测评子系统。
为了便于描述，在具体实施方式的后续部分，将本发明的一种基于虚拟化实操环境的综合测评系统简写为所述的测评系统。
对所述的测评系统，分述如下：
环境构建子系统，用于通过云计算平台、容器编排引擎、应用容器引擎等技术构建实操环境，利用OpenStack虚拟化技术构造网络和主机的实验操作环境，利用Kubernetes、Docker等技术构造WebIDE工作空间。
基于OpenStack网络虚拟化技术构造网络资源，网络资源包括控制平面网络、数据平面网络、管理平面网络、二层链路、自定义网络、浮动IP；基于OpenStack计算虚拟化技术构造设备资源，设备资源包括控制器、二层交换机、主机、路由器、云主机。二层链路用于连接两个设备，并提供隔离的二层域；浮动IP为所有设备提供外网访问设备的功能。
实验类型包括SDN、传统网络、云计算。SDN实验由设备资源控制器、二层交换机、主机，及网络资源控制平面网络、数据平面网络、二层链路、浮动IP组成；传统网络实验由设备资源路由器、二层交换机、主机，及网络资源管理平面网络、二层链路、浮动IP组成；云计算实验由设备资源云主机，及网络资源自定义网络、浮动IP组成。
例如，实操环境设置控制平面网络网段为30.0.1.0/24，包含一个DHCP服务、一个路由服务，为SDN实验中控制器和交换机控制口提供地址分配和访问外网的功能；数据平面网络网段定义为30.0.2.0/24，包含一个DHCP服务、一个路由服务，为SDN实验中主机提供地址分配和访问外网的功能；管理平面网络网段为30.0.0.0/24，包含一个DHCP服务、一个路由服务，为传统网络实验中所有设备资源管理口提供地址分配和访问外网的功能；
如图2所示，为典型的SDN实验网络拓扑结构；如图3所示，为典型的传统网络实验网络拓扑结构；如图4所示，为典型的云计算实验网络拓扑结构。
基于Kubernetes的容器技术构造WebIDE工作空间。工作空间支持多种语言在线编程，包括Python、Java、PHP、C++、node.js等。工作空间访问控制支持应用服务访问和节点端口映射两种方式。应用服务访问方式为程序创建一个供外部访问的链接，应用部署成功后，将服务端口信息填写到端口栏，即可创建链接；节点端口映射方式为工作空间创建一个与网络实验环境中设备通信（4~7层）的途径，每个工作空间最多创建3个。
考题管理子系统，用于进行考题配置、考题查看和考题删除等操作，检查考题环境构建的资源需求。
考题配置包括题干配置、环境模板配置、检测条目配置等功能。
题干配置主要包括实验环境、实验要求说明。
环境模板配置包括实验模板配置、WebIDE工作空间模板配置。实验模板配置，是指基于预置的设备资源、网络资源，以可视化的方式构建自定义网络拓扑结构，设备资源支持镜像配置、规格配置、预置网卡IP配置，自定义网络支持网段配置、网关配置，镜像支持预置镜像、上传自定义镜像；WebIDE工作空间模板配置，是指配置Docker镜像、规格，配置应用服务访问端口、端口映射。
检测条目配置，是指配置考题的检测类型、检测顺序、检测设备、检测时间点、检测内容、得分标准，每个考题可配置多条检测条目。
典型地，检测时间点包括实操过程中自动检测、用户触发检测、考试结束后自动检测。
典型地，检测类型包括但不限于以下5种：
(1)命令配置：对下发命令或配置相关操作的题目，通过检查配置后产生的结果进行测试。如被测人员配置Linux网卡IP，所述的测评系统利用ifconfig查看输出IP。
(2)资源存在性：被测用户对指定文件、进程、端口进行操作，所述的测评系统到指定用户的虚拟机执行题目要求的资源检查命令，查看指定文件、进程、端口的状态。
(3)编程实践：针对小段程序如算法之类，被测人员在题目指定路径存放编写完成的代码，所述的测评系统测评时执行代码文件，验证输出结果的正确性，并记录执行效率。
(4)网站开发：被测用户在各自的在线编程环境按照题目的要求开发指定的业务功能，然后部署发布网站，所述的测评系统通过自动化测试脚本验证功能的完整性。
(5)安全对抗：被测用户通过对指定环境的破解操作得到相应的flag，所述的测评系统与题目答案进行对比。
自动测评子系统，用于进行多维度的自动化测评，根据系统自动监测、用户触发检测、考试结束触发等触发条件，自动进行考题的结果检测评定。
系统自动监测是在实操过程中通过截取用户输入信息，触发检测；用户触发检测是通过用户点击考题上的检测按钮，触发检测；考试结束触发是指考试结束后，自动触发检测。
结果检测评定包括但不限于输入配置获取比较、网站内容抓取分析、执行结果测试验证、网络编排验证等功能。其中输入配置获取比较，是通过统一的控制访问通道，以虚拟机代理或ssh协议，获取输入虚拟机的配置，并根据与考题预期结果进行对比；网站内容抓取分析，是以Kubernetes控制代理设置规则，暴露开发环境的进程服务，通过脚本抓取网站的HTML页面元素，自动化分析业务功能及流程是否符合预期；执行结果测试验证，是检测程序运行结果、文件存在性等，并判断是否符合预期；网络编排验证，通过动态打通与被测环境的访问接口，远程控制相应虚拟设备执行指定指令进行验证。
典型地，针对命令配置和资源存在性类型的检测条目，检测引擎根据配置的检测设备、检测命令调用远程代理服务器agent，远程代理服务器采用设备的浮动IP，基于ssh的方式在设备上执行检测命令。针对编程实践类的检测条目，检测引擎先开放容器的ssh端口，然后调用远程代理服务器agent，远程代理服务器采用容器的映射IP和端口，基于ssh的方式在设备上执行代码文件，验证输出结果的正确性。针对网站开发类的检测条目，检测引擎先获取网站开放地址，调用远程代理服务器agent，远程代理服务器，通过自动化测试脚本验证网站功能的正确性。
本发明一种基于虚拟化实操环境的综合技术测评方法，通过所述的测评系统，可以实现对多种不同领域技术的测评。管理员通过所述的考题管理子系统进行考题的配置、查看、删除等管理操作；所述的环境构建子系统利用计算虚拟化、存储虚拟化、网络虚拟化等技术，进行动态组网和资源分配，构建实操测评环境；被测人员通过所述的自动测评子系统，按题目要求进行作答；所述的自动测评子系统，根据预设的触发条件，自动进行实操题结果检测，评定答题正确性。
创建实操题的过程：管理员通过登录界面进行登录，输入帐号密码后，进行验证；验证通过后，进入录入考题界面,该界面接收输入的考题题干和设置环境模板；进入制定考题答案界面，该界面设置检测条目，包括检测类型、检测顺序、检测设备、检测时间点、检测内容；设定成功后，自动评分和指导规则界面根据该检测配置自动生成评分标准和指导规则，显示给管理员，管理员可以通过修改评分标准界面和修改指导规则界面对评分标准和指导规则进行修改；最后该系统将考题、答案、评分标准、指导规则保存为一道实操题。
完成实操题考试的过程：被测人员通过登录界面进行登录，输入帐号密码后，进行验证；验证通过后，进入考试，通过选择实操题界面选择考题，环境构建子系统根据考题要求生成考题环境，被测人员通过查看考题界面阅读题干要求，构造好的考题环境会显示在测评系统实操界面上；被测人员根据考题要求，在实操界面中进行命令配置、编程实践、网站开发、安全对抗等操作；根据考题的触发条件，自动进行考题的结果检测评定，并显示最终的成绩。
以上所述仅为本发明的优选实施例，本发明的保护范围不限于此，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均包含在本发明的保护范围之内。
Claims (8)
1.一种基于虚拟化实操环境的综合测评系统，其特征在于，所述评测系统包括：环境构建子系统，用于通过云计算平台、容器编排引擎、应用容器引擎技术构建实操环境；考题管理子系统，用于进行考试必要的考务操作，检查考题环境构建的资源需求；自动测评子系统，用于进行多维度的自动化测评，根据系统自动监测、用户触发检测、考试结束触发触发条件，自动进行考题的结果检测评定。
2.根据权利要求1所述的一种基于虚拟化实操环境的综合测评系统，其特征在于，所述环境构建子系统利用OpenStack虚拟化技术构造网络和主机操作环境，利用Kubernetes、Docker技术构造工作空间。
3.根据权利要求2所述的一种基于虚拟化实操环境的综合测评系统，其特征在于，所述的考题配置包括题干配置、环境模板配置、检测条目配置；
所述的结果检测评定包括输入配置获取比较单元、网站内容抓取分析单元、执行结果测试验证单元、网络编排验证单元。
4.根据权利要求3所述的一种基于虚拟化实操环境的综合测评系统，其特征在于，所述的环境模板配置包括两方面内容：
实验模板配置，是指基于预置的设备资源、网络资源，以可视化的方式构建自定义网络拓扑结构，设备资源支持镜像配置、规格配置、预置网卡IP配置，自定义网络支持网段配置、网关配置、DHCP服务配置，镜像支持预置镜像、上传自定义镜像；
工作空间模板配置，是指配置docker镜像、规格，配置应用服务访问端口、端口映射。
5.根据权利要求3所述的一种基于虚拟化实操环境的综合测评系统，其特征在于，所述的检测条目配置，包括配置考题的检测类型、检测顺序、检测设备、检测时间点、得分标准、检测内容，每个考题配置多条检测条目。
6.根据权利要求3所述的一种基于虚拟化实操环境的综合测评系统，其特征在于，所述的输入配置获取比较单元，通过统一的控制访问通道，以虚拟机代理或ssh协议，获取输入虚拟机的配置，并根据与考题预期结果进行对比；
所述的网站内容抓取分析单元，是以Kubernetes控制代理设置规则，暴露开发环境的进程服务，通过脚本抓取网站的HTML页面元素，自动化分析业务功能及流程是否符合预期；
所述的执行结果测试验证单元，用于检测程序运行结果、文件存在性，并判断是否符合预期；
所述的网络编排验证单元，通过动态打通与被测环境的访问接口，远程控制相应虚拟设备执行指定指令进行验证。
7.一种基于虚拟化实操环境的综合测评方法，其特征在于，所述测评方法利用计算虚拟化、存储虚拟化、网络虚拟化技术，通过所述的环境构建子系统进行动态组网和资源分配，构建实操测评环境；管理员通过所述的考题管理子系统进行考题的配置、查看、删除管理操作；被测人员通过所述的自动测评子系统，按题目要求进行作答；所述的自动测评子系统，根据预设的触发条件，自动进行实操题结果检测，评定答题正确性。
8.根据权利要求7所述的一种基于虚拟化实操环境的综合测评方法，其特征在于，所述测评方法包括以下步骤：管理员通过登录界面进行登录，输入帐号密码后，进行验证；验证通过后，进入录入考题界面，该界面接收输入的考题题干和设置环境模板；进入制定考题答案界面，该界面设置检测条目，包括检测类型、检测顺序、检测设备、检测时间点、检测内容；设定成功后，自动评分和指导规则界面根据该检测配置自动生成评分标准和指导规则，显示给管理员，管理员可以通过修改评分标准界面和修改指导规则界面对评分标准和指导规则进行修改；最后该系统将考题、答案、评分标准、指导规则保存为一道实操题；
被测人员通过登录界面进行登录，输入帐号密码后，进行验证；验证通过后，进入考试，通过选择实操题界面选择考题，环境构建子系统根据考题要求生成考题环境，被测人员通过查看考题界面阅读题干要求，构造好的考题环境会显示在测评系统实操界面上；被测人员根据考题要求，在实操界面中进行命令配置、编程实践、网站开发、安全对抗等操作；根据考题的触发条件，自动进行考题的结果检测评定，并显示最终的成绩。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911394919 | 2019-12-30 | ||
| CN2019113949192 | 2019-12-30 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112328374A true CN112328374A (zh) | 2021-02-05 |
| CN112328374B CN112328374B (zh) | 2024-04-30 |
Family
ID=74301457
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011397097.6A Active CN112328374B (zh) | 2019-12-30 | 2020-12-03 | 一种基于虚拟化实操环境的综合测评系统与方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112328374B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113660556A (zh) * | 2021-07-10 | 2021-11-16 | 北京邮电大学 | 光网络的资源分配方法以及装置、设备、存储介质 |
| CN114553874A (zh) * | 2022-02-28 | 2022-05-27 | 北京理工大学 | 一种混合仿真云平台及自动化部署方法 |
| TWI811893B (zh) * | 2021-12-15 | 2023-08-11 | 中華電信股份有限公司 | 雲工作負載安全防護系統及其方法 |
| CN117931178A (zh) * | 2024-03-15 | 2024-04-26 | 暗物智能科技(广州)有限公司 | 一种应用于岗评场景的低代码算法调度方法及系统 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103220364A (zh) * | 2013-04-27 | 2013-07-24 | 清华大学 | 一种基于云的系统管理训练平台架构 |
| CN104008000A (zh) * | 2014-05-09 | 2014-08-27 | 启秀科技（北京）有限公司 | 实操题测评软件仿真系统 |
| CN104144172A (zh) * | 2013-05-06 | 2014-11-12 | 上海宏第网络科技有限公司 | 一种基于桌面虚拟化技术的云平台系统和方法 |
| CN104378252A (zh) * | 2014-08-26 | 2015-02-25 | 国家电网公司 | 一种云测试服务平台 |
| CN105869089A (zh) * | 2016-04-21 | 2016-08-17 | 国家计算机网络与信息安全管理中心 | 一种基于虚拟化技术的网络安全在线实操考试系统及方法 |
| CN106873975A (zh) * | 2016-12-30 | 2017-06-20 | 武汉默联股份有限公司 | 基于Docker的devops持续交付与自动化系统及方法 |
| CN107179938A (zh) * | 2017-05-12 | 2017-09-19 | 北京理工大学 | 一种信息安全技术竞赛攻防环境自动部署方法 |
| CN108268213A (zh) * | 2017-11-10 | 2018-07-10 | 上海杉达学院 | 基于虚拟化技术的计算机通用考试系统及其方法 |
| CN108768771A (zh) * | 2018-05-28 | 2018-11-06 | 国网福建省电力有限公司 | 基于仿真数据网设备的网络设备配置自动评分方法 |
| CN109065111A (zh) * | 2018-08-06 | 2018-12-21 | 郑州云海信息技术有限公司 | 一种基于docker的云平台健康检查系统及方法 |
| CN109191976A (zh) * | 2018-09-27 | 2019-01-11 | 深圳供电局有限公司 | 一种基于容器的运维实操训练系统 |
| CN109360131A (zh) * | 2018-11-08 | 2019-02-19 | 苏州友教习亦教育科技有限公司 | 云计算教学系统 |
| US20190146810A1 (en) * | 2017-11-13 | 2019-05-16 | International Business Machines Corporation | Automated deployment and performance evaluation of a virtualized-computing environment |
| CN109828901A (zh) * | 2018-12-15 | 2019-05-31 | 深圳壹账通智能科技有限公司 | 搭建压测环境的方法及装置、Linux服务器、及可读存储介质 |
-
2020
- 2020-12-03 CN CN202011397097.6A patent/CN112328374B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103220364A (zh) * | 2013-04-27 | 2013-07-24 | 清华大学 | 一种基于云的系统管理训练平台架构 |
| CN104144172A (zh) * | 2013-05-06 | 2014-11-12 | 上海宏第网络科技有限公司 | 一种基于桌面虚拟化技术的云平台系统和方法 |
| CN104008000A (zh) * | 2014-05-09 | 2014-08-27 | 启秀科技（北京）有限公司 | 实操题测评软件仿真系统 |
| CN104378252A (zh) * | 2014-08-26 | 2015-02-25 | 国家电网公司 | 一种云测试服务平台 |
| CN105869089A (zh) * | 2016-04-21 | 2016-08-17 | 国家计算机网络与信息安全管理中心 | 一种基于虚拟化技术的网络安全在线实操考试系统及方法 |
| CN106873975A (zh) * | 2016-12-30 | 2017-06-20 | 武汉默联股份有限公司 | 基于Docker的devops持续交付与自动化系统及方法 |
| CN107179938A (zh) * | 2017-05-12 | 2017-09-19 | 北京理工大学 | 一种信息安全技术竞赛攻防环境自动部署方法 |
| CN108268213A (zh) * | 2017-11-10 | 2018-07-10 | 上海杉达学院 | 基于虚拟化技术的计算机通用考试系统及其方法 |
| US20190146810A1 (en) * | 2017-11-13 | 2019-05-16 | International Business Machines Corporation | Automated deployment and performance evaluation of a virtualized-computing environment |
| CN108768771A (zh) * | 2018-05-28 | 2018-11-06 | 国网福建省电力有限公司 | 基于仿真数据网设备的网络设备配置自动评分方法 |
| CN109065111A (zh) * | 2018-08-06 | 2018-12-21 | 郑州云海信息技术有限公司 | 一种基于docker的云平台健康检查系统及方法 |
| CN109191976A (zh) * | 2018-09-27 | 2019-01-11 | 深圳供电局有限公司 | 一种基于容器的运维实操训练系统 |
| CN109360131A (zh) * | 2018-11-08 | 2019-02-19 | 苏州友教习亦教育科技有限公司 | 云计算教学系统 |
| CN109828901A (zh) * | 2018-12-15 | 2019-05-31 | 深圳壹账通智能科技有限公司 | 搭建压测环境的方法及装置、Linux服务器、及可读存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| 姜高聪;: "虚拟环境下等级保护测评研究", 信息网络安全, no. 1, 31 December 2016 (2016-12-31), pages 160 - 163 * |
| 姜高聪;: "虚拟环境下等级保护测评研究", 信息网络安全, no. 1, pages 160 - 163 * |
| 魏亮: "面向云网融合的资源调度算法及实验平台研究", 信息科技辑, pages 139 - 3 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113660556A (zh) * | 2021-07-10 | 2021-11-16 | 北京邮电大学 | 光网络的资源分配方法以及装置、设备、存储介质 |
| CN113660556B (zh) * | 2021-07-10 | 2022-04-22 | 北京邮电大学 | 光网络的资源分配方法以及装置、设备、存储介质 |
| TWI811893B (zh) * | 2021-12-15 | 2023-08-11 | 中華電信股份有限公司 | 雲工作負載安全防護系統及其方法 |
| CN114553874A (zh) * | 2022-02-28 | 2022-05-27 | 北京理工大学 | 一种混合仿真云平台及自动化部署方法 |
| CN114553874B (zh) * | 2022-02-28 | 2023-04-18 | 北京理工大学 | 一种混合仿真云平台及自动化部署方法 |
| CN117931178A (zh) * | 2024-03-15 | 2024-04-26 | 暗物智能科技(广州)有限公司 | 一种应用于岗评场景的低代码算法调度方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112328374B (zh) | 2024-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112328374B (zh) | 一种基于虚拟化实操环境的综合测评系统与方法 | |
| Pham et al. | Cyris: A cyber range instantiation system for facilitating security training | |
| US10872539B1 (en) | Real-time monitoring of network-based training exercises | |
| US11169906B2 (en) | Extraction of problem diagnostic knowledge from test cases | |
| US11755919B2 (en) | Analytics for an automated application testing platform | |
| US11416377B2 (en) | Automated application testing system | |
| Schauer et al. | REMLABNET-open remote laboratory management system for e-experiments | |
| Gustafsson et al. | Cyber range automation overview with a case study of CRATE | |
| CN112153010A (zh) | 一种网络安全靶场系统及其运行方法 | |
| CN106209515B (zh) | 接入网设备自动化测试系统 | |
| US11405302B1 (en) | Methods, systems, and computer readable media for network testing using configurable test infrastructure | |
| Maicus et al. | Autograding distributed algorithms in networked containers | |
| CN113496638B (zh) | 网络安全训练系统及方法 | |
| TWI626538B (zh) | 基礎架構規則產生技術 | |
| CN107844486A (zh) | 一种用于客户端的分析网页问题的方法和系统 | |
| Di Martino et al. | A cloud-based platform enabling automation in resiliency and performance testing of SDN | |
| WO2004038593A1 (ja) | セキュリティホール診断システム | |
| KR101953638B1 (ko) | 군 사이버 모의침투 훈련을 위한 통합대시보드 장치 및 방법 | |
| CN109618148A (zh) | 基于机顶盒大屏自动化测试方法 | |
| Tsochev | Research on web applications for remote laboratory exercises on computer networks | |
| CN117331758B (zh) | 靶标虚拟机镜像的校验方法、装置、电子设备及存储介质 | |
| Corvin | A Feasibility Study on the Application of the ScriptGenE Framework as an Anomaly Detection System in Industrial Control Systems | |
| Iguchi et al. | Development of hands-on IP network practice system with automatic scoring function | |
| Gazdík et al. | CENTRALLY MANAGED VIRTUAL SYSTEM FOR SECURITY EDUCATION | |
| Nguyen et al. | An agent-based mechanism for testing sfc |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |