CN110515602B - 一种在线交互式编程开放实验系统 - Google Patents

Abstract

本发明公开了一种在线交互式编程开放实验系统，包括孵化器模块、公共服务模块和用户管理模块；所述孵化器模块运行于K8S集群，通过restful API接口接收用户请求命令，实现容器启停与用户存储的控制管理；所述公共服务模块包括审计服务模块、短消息服务模块、项目服务模块和租户服务模块，用于为用户提供整个平台共享的服务项目；所述用户管理模块为用户、用户管理员以及系统管理员分配不同操作权限。本发明相比于现有技术能够在环境定制、租户管理、共享存储、负载能力、跨云部署与跨集群部署以及在线交互式编程平台的通用性方面达成良好的效果。

Description

一种在线交互式编程开放实验系统

技术领域

本发明涉及交互式编程领域，尤其涉及一种在线交互式编程开放实验系统。

背景技术

现有的JupyterHub是基于Jupyter的多人在线交互式编程平台，它可以为每个用户管理私人存储，以及启动、管理Jupyter实例容器。JupyterHub的问题在于它无法实现共享存储；也没有资源管理、审计系统，仅能负担两百个左右的Jupyter实例；难以跨云、跨集群部署；另外，JupyterHub中所有用户必须共用同一个Docker镜像，无法按用户、应用灵活切换镜像。BinderHub是一个封装了JupyterHub的在线交互式开发平台，它解决了JupyterHub所有用户仅能共用一个Docker镜像的问题，每次启动实例均可以根据需要建立新的Docker镜像。BinderHub的问题是它除了解决镜像定制问题，其他JupyterHub的问题它都存在。由于BinderHub每次启动容器都需要重新建立镜像，它的启动速度是非常慢的；同时，BinderHub需要使用者精通Docker镜像和相关编程环境的搭建，要求远超普通程序员的搭建配置能力，无法用于实际的生产、工作中。

MOOC是现有公开课平台的基础技术。它可以实现学生在线、远程上课，同时跟踪学生学习进度，同时老师可以在线制作、发布课程。MOOC的问题在于学生主要是单向接受学习，无法实际动手进行在线实验、完成作业、提交报告等。

另外，很多在线编程、量化交易平台实现了在线交互式编程技术（如Kaggle、Quantopian等）。这些平台的问题在于对内容的组织过于零散，一般仅以问题、算法为内容组织单位；需要用户自行安装配置所需的环境；允许使用的编程语言也非常受限；最后，这些平台一般针对某种编程任务，不是通用编程平台（如Kaggle偏重机器学习、人工智能算法，Quantopian等量化平台仅着眼于量化算法的研究和开发）。

以上所有技术均不支持租户，即无法为某个组织单独部署一个在线交互式开发平台，同时统一管理所有租户的资源和权限。

发明内容

本发明的目的在于，针对上述问题，提出一种在线交互式编程开放实验系统。

一种在线交互式编程开放实验系统，包括孵化器模块、公共服务模块和用户管理模块；所述孵化器模块运行于K8S集群，通过restful API接口接收用户请求命令，实现容器启停与用户存储的控制管理；所述公共服务模块包括审计服务模块、短消息服务模块、项目服务模块和租户服务模块，用于为用户提供整个平台共享的服务项目；所述用户管理模块为用户、用户管理员以及系统管理员分配不同操作权限。

进一步的，一种在线交互式编程开放实验系统，所述孵化器模块通过存储卷服务模块与Pod管理模块管理用户存储资源；所述存储卷服务模块为新建用户创建用户的存储卷；所述Pod管理模块用户为用户分配动态Pod。所述孵化器模块还包括容器启动模块和容器回收模块管理，控制管理用户容器的启停；所述容器启动模块接收用户启动命令，请求集成的JupyterHub完成容器创建；所述容器回收模块在满足触发条件时，自动进行容器的停止和资源回收，所述触发条件为用户登出或用户停止工作时间超过预设第一阈值。

进一步的，一种在线交互式编程开放实验系统，所述用户管理模块包括系统管理模块与租户管理模块，分别为系统管理员与租户管理员提供各自的管理界面；所述系统管理模块提供全系统的审计信息，同时管理租户并为租户分配资源；所述租户管理模块提供租户内部的审计信息，同时管理教师学生账号以及资源配额。

进一步的，一种在线交互式编程开放实验系统，还包括用户界面模块，提供用户访问的web界面，所述web界面采用前后端分离技术，在用户界面只存储静态资源，通过后端服务器返回数据进行渲染处理。

进一步的，一种在线交互式编程开放实验系统，还包括服务代理模块，提供后端服务集群的网络入口，包括租户集群管理模块和资源服务管理模块；所述租户集群管理模块根据用户的前端web界面的域名请求，将请求发送至对应的租户集群；所述资源服务管理模块根据用户请求命令，返回web界面的静态资源。

进一步的，一种在线交互式编程开放实验系统，所述审计服务模块对全平台资源、容器、用户等进行实时和批量审计，并将结果存储在数据库备查，同时提供审计接口供孵化器模块和用户管理模块调用，所述短消息服务模块向孵化器模块提供信息接口，通过短消息服务商向用户发送通知信息，所述项目服务模块保存管理平台所有项目信息和镜像地址，为用户提供项目管理和镜像拉取，所述租户服务模块为租户提供信息存储服务，包括租户信息存储模块、资源配额模板存储模块和资源列表存储模块。

本发明的有益效果：

（1）在线交互式编程平台的通用性问题：

本发明描述的在线交互式编程开放实验平台支持多种语言及其对应的编程框架、开发库，可以用于任意编程任务的研究、教学和开发。

（2）环境定制问题：

现有的技术要么对环境定制作出很大限制，要么要求使用者具备高超的环境配置能力。本技术发明提出贡献者的角色，由贡献者完成环境定制，贡献者可以按照任务需求灵活配置Docker镜像；而对绝大多数普通用户而言，可以直接使用配置好的镜像，环境配置需求几乎为0。

（3）租户管理问题：

本发明创造性的提出了在线交互式编程平台的租户管理，可以为组织或个人单独部署租户，并提供统一、分级的资源和权限管理界面。

（4）共享存储问题：

现有技术多数没有实现共享存储，少数实现了粗粒度的共享存储，即在全平台范围内的共享。本发明创造性的提出了具有边界、分角色控制的精细化共享存储。

（5）负载能力问题：

本发明描述的在线交互式编程平台中每个集群均可以支持上千人同时在线编程，可以扩展集群硬件配置以支持更多人同时在线编程。

（6）跨云、跨集群部署问题：

本平台技术可以跨云、跨集群部署，解决不同云服务商，公、私有云之间的统一化部署问题。

附图说明

图1是本发明的结构原理示意图。

图2是教师作为系统的租户管理员的工作流程示意图。

图3是学生作为系统的租户工作流程示意图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图说明本发明的具体实施方式。

如图1所示，本实施例中，一种在线交互式编程开放实验系统，包括如下功能：

用户界面：提供用户访问的Web界面，利用前后端分离技术，用户界面只包含页面、JS脚本、CSS样式表等静态资源，无需后端服务器动态渲染。当用户请求界面时，浏览器加载界面资源并渲染，初始化JS脚本。用户在界面上的操作，会由JS脚本转化为Ajax请求，从服务器返回的数据由JS控制浏览器进行渲染展示。

服务代理：为后端服务集群提供统一网络入口。代理根据前端Web界面发送的请求域名，将请求转发到域名对应的的租户集群上；同时，代理还负责用户界面的资源服务，即用户请求页面的时候，由代理进行响应，返回静态资源。

孵化器：孵化器是本平台的核心模块，负责每个租户/用户的容器启停管理，也负责用户存储等资源管理。孵化器运行在K8S集群上，集成了MongoDB、Minio、Jupyterhub等技术，并包含自研的存储卷、动态Pod、容器启动、回收模块。孵化器对用户界面提供RestfulAPI接口。当新建用户的时候，孵化器会调用存储卷服务创建用户的存储卷；当用户启动容器的时候，孵化器通过容器启动模块，请求集成的JupyterHub完成容器创建；当用户登出或长时间停止工作时，容器回收模块自动进行容器的停止和资源回收。

公共服务：公共服务模块提供整个平台共享的服务。审计服务模块对全平台资源、容器、用户等进行实时和批量审计，将结果保存在数据库备查，同时提供审计接口供孵化器和管理界面调用。短消息服务对孵化器暴露短消息接口，可以调用短消息服务商的接口向用户发送通知消息。项目服务保存平台所有的项目和镜像地址，负责项目的管理和镜像拉取。租户服务保存租户的信息、资源配额模板、购买的资源列表等，提供对外接口。

管理界面：管理界面为系统、租户管理员提供各自的管理界面。系统管理员可以查看全系统的审计信息，管理租户并为租户分配资源，提出贡献者的角色，由贡献者完成环境定制，贡献者可以按照任务需求灵活配置Docker镜像，通过系统管理员对资源、权限等进行有效管理，可以在租户之间灵活调配资源，从而达到最大的整体资源利用率、降低资源成本；而对绝大多数普通用户而言，可以直接使用配置好的镜像，环境配置需求几乎为0。租户管理员可以查看租户内部的审计信息，管理教师学生账号、资源配额等，在线交互式编程平台的租户管理，可以为组织或个人单独部署租户，并提供统一、分级的资源和权限管理界面。普通用户通过使用环境镜像，节约大量环境配置的时间精力成本。

在线交互式编程开放实验平台支持多种语言及其对应的编程框架、开发库，可以用于任意编程任务的研究、教学和开发。如图2所示，教师作为系统的租户管理员工作流程包括：创建课题与课程管理两个步骤。所述创建课题包括填写课题描述性信息、选择并测试实验模板、设置课题时间及标签、课题保存与发布和修改课题描述性信息；所述课程管理包括启动试验、编辑修改课程、项目申报以及查看学生进度及报告。如图3所示，学生作为系统的租户工作流程包括：登录系统、信息修改、进入并启动课题实验、完成课题项目和提交实验报告。

在功能方面，在线交互式编程开放实验平台中，普通用户可以直接使用配置好的Docker镜像环境，如果镜像环境尚有不足，可以直接在编程环境中安装所需增添的程序库。平台允许部署多个租户，并提供统一、分级的资源和权限管理界面，提供精细化的共享存储，可以根据用户角色获取不同的共享存储访问权限，共享边界清晰，同时本平台可以跨多个云服务商部署集群，也支持公、私、混合云部署模式。

在性能方面，在线交互式编程开放实验平台中，每个集群可以支持上千人同时在线编程，满足研究、教学和开发的需求；通过在集群中添加硬件扩展集群性能，也可以增加集群扩展平台整体性能。

在成本方面，在线交互式编程开放实验平台部署于混合云、混合集群，可以根据云服务商、集群硬件价格灵活调整方案，以最低的成本提供所需的计算、存储、带宽等资源。对于用户来说：系统管理员可以对资源、权限等进行有效管理，可以在租户之间灵活调配资源，从而达到最大的整体资源利用率、降低资源成本；租户管理员可以灵活分配普通用户的计算、存储等配额，在租户内部更精细的提高资源利用率、优化成本；普通用户通过使用环境镜像，节约大量环境配置的时间精力成本。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (8)

1.一种在线交互式编程开放实验系统，其特征在于，包括孵化器模块、公共服务模块和用户管理模块；所述孵化器模块运行于K8S集群，通过restful API接口接收用户请求命令，实现容器启停与用户存储的控制管理，孵化器模块通过存储卷服务模块与Pod管理模块管理用户存储资源；所述存储卷服务模块为新建用户创建用户的存储卷；所述Pod管理模块用户为用户分配动态Pod，孵化器模块还包括容器启动模块和容器回收模块管理，控制管理用户容器的启停；所述容器启动模块接收用户启动命令，请求集成的JupyterHub完成容器创建；所述容器回收模块在满足触发条件时，自动进行容器的停止和资源回收，所述触发条件为用户登出或用户停止工作时间超过预设第一阈值；所述公共服务模块包括审计服务模块、短消息服务模块、项目服务模块和租户服务模块，用于为用户提供整个平台共享的服务项目；所述用户管理模块为用户、用户管理员以及系统管理员分配不同操作权限。

2.根据权利要求1所述的一种在线交互式编程开放实验系统，其特征在于，所述用户管理模块包括系统管理模块与租户管理模块，分别为系统管理员与租户管理员提供各自的管理界面；所述系统管理模块提供全系统的审计信息，同时管理租户并为租户分配资源；所述租户管理模块提供租户内部的审计信息，同时管理教师学生账号以及资源配额。

3.根据权利要求1所述的一种在线交互式编程开放实验系统，其特征在于，还包括用户界面模块，提供用户访问的web界面，所述web界面采用前后端分离技术，在用户界面只存储静态资源，通过后端服务器返回数据进行渲染处理。

4.根据权利要求1所述的一种在线交互式编程开放实验系统，其特征在于，还包括服务代理模块，提供后端服务集群的网络入口，包括租户集群管理模块和资源服务管理模块；所述租户集群管理模块根据用户的前端web界面的域名请求，将请求发送至对应的租户集群；所述资源服务管理模块根据用户请求命令，返回web界面的静态资源。

5.根据权利要求1所述的一种在线交互式编程开放实验系统，其特征在于，所述审计服务模块对全平台资源、容器、用户等进行实时和批量审计，并将结果存储在数据库备查，同时提供审计接口供孵化器模块和用户管理模块调用。

6.根据权利要求1所述的一种在线交互式编程开放实验系统，其特征在于，所述短消息服务模块向孵化器模块提供信息接口，通过短消息服务商向用户发送通知信息。

7.根据权利要求1所述的一种在线交互式编程开放实验系统，其特征在于，所述项目服务模块保存管理平台所有项目信息和镜像地址，为用户提供项目管理和镜像拉取。

8.根据权利要求1所述的一种在线交互式编程开放实验系统，其特征在于，所述租户服务模块为租户提供信息存储服务，包括租户信息存储模块、资源配额模板存储模块和资源列表存储模块。