CN113238928B - 一种音视频大数据任务的端云协同评测系统 - Google Patents

Abstract

本发明公开了一种音视频大数据任务的端云协同评测系统，包括存储模块，通信模块，管理模块，运行模块，评测模块，以及云端计算资源模块。管理模块通过通信模块将存储模块中的文件程序传输到云端计算资源模块，通过运行模块和评测模块完成音视频任务的运行评测，管理模块通过集群管理服务，通过资源的监控调度，能够提高云端计算资源的利用效率，同时通过建立容器的方式，各个运行程序环境之间互不冲突。

Description

一种音视频大数据任务的端云协同评测系统

技术领域

本发明涉及的人工智能领域，具体地说是涉及一种音视频大数据任务的端云协同评测系统

背景技术

数据就是可以被我们进行定量分析的信息和记录,这个世界上最多的就是信息，人们每时每刻见到的接触到的都是信息，生活中绝大多数的信息都流失了，只有很少的一部分记录了下来，成为了数据，但即使记录的知识很少的一部分，日积月累也就形成了大数据。

我们现在处于大数据时代，数据的总量爆炸性增长，大数据作为人工智能的发展的重要因素，基于大数据技术的发展，人工智能技术得到了诸多突破。其中，机器学习、深度学习的发展也推动着大数据技术快速发展。但是机器学习、深度学习的程序运行以及效果评测在一定程度上依托于算力，尤其是针对音视频的任务往往离不开显卡服务器，不同的任务有不同的运行环境以及不同评测方式。

发明内容

针对机器学习、深度学习中的音视频任务有着不同的运行环境以及评测方式，本发明提出一种音视频大数据任务的端云协同评测系统，具体包括存储模块，通信模块，云端计算资源模块，运行模块，评测模块以及管理模块。

一种音视频大数据任务的端云协同评测系统，包括以下存储模块，通信模块，云端计算资源模块，运行模块，评测模块以及管理模块：

存储模块：存储模块主要用于存储音视频大数据任务的评测样本、评测程序、对应评测程序的配置文件，用户上传的运行程序以及对应的配置文件，程序运行的结果以及样本与运行结果的评测结果，存储模块通过管理模块与通信模块实现计算机集群之间的任务文件交换与存储。

通信模块：通信模块通过不同通信协议完成各个模块之间数据信息的交换。

云端计算资源模块：包括云端计算机集群，通过管理模块合理调度资源满足运行模块、评测模块的任务需求。

运行模块：通过管理模块生成容器，并通过配置文件，在对应容器安装相应的运行环境，运行程序，管理模块调度资源得到程序的运行结果，通过通信模块保存到存储模块中。

评测模块：通过管理模块生成容器，并通过评测配置文件在对应文件安装环境，调用评测程序，将存储模块中的样本，以及保存到存储模块中的运行程序的结果传送到云端计算资源模块中进行评测，生成评测结果，保存到存储模块中。

管理模块：通过集群管理服务将存储模块以及云端计算资源连接起来，并通过传输模块传输存储模块中的文件和程序，通过资源监控与调度，满足运行模块与评测模块的需求，最终完成音视频任务。

本发明的有益效果如下：

本发明提出一种音视频大数据任务的端云协同评测系统，包括存储模块，通信模块，管理模块，运行模块，评测模块，以及云端计算资源模块。管理模块通过通信模块将存储模块中的文件程序传输到云端计算资源模块，通过运行模块和评测模块完成音视频任务的运行评测，管理模块通过集群管理服务，通过资源的监控调度，能够提高云端计算资源的利用效率，同时通过建立容器的方式，各个运行程序环境之间互不冲突。

附图说明

图1是本发明的系统框架图。

具体实施方式

下面根据附图详细说明本发明，本发明的目的和效果将变得更加明显。其具体模块的实施步骤如下：

存储模块：如图1所示，存储模块建立在本地主机上，其中，存储服务通过Gitlab服务提供，通过Gitlab搭建一个项目仓库，用于保存音视频大数据任务的评测样本、评测程序、对应评测程序的配置文件，用户上传的运行程序以及对应的配置文件，程序运行的结果以及样本与运行结果的评测结果。

通信模块：用户上传程序以及配置文件通过git协议传到存储模块种，计算资源运行程序以及评测程序，通过节点与节点以及节点与主机之间的ssh协议通信来完成。

云端计算资源模块：包括云端计算机集群，包括N台GPU服务器提供计算资源，同时这些服务器可以同过集群服务云端访问。

运行模块：管理模块生成容器，运行模块远程通过通信模块调用Gitlab中伴随程序上传的配置文件(shell脚本)，在对应容器运行脚本安装相应的运行环境，环境安装完成后运行程序，管理模块调度资源得到程序的运行结果，通过通信模块保存到存储模块中。

评测模块：管理模块生成容器，评测模块同样调用评测配置文件在对应文件安装环境，调用评测程序，将存储模块中的样本，以及保存到存储模块中的运行程序的结果传送到云端计算资源模块中进行评测，生成评测结果，通过通信模块保存到存储模块中。

管理模块：通过容器集群管理系统来实现管理功能，采用Kubernetes服务，Kubernetes是容器集群管理系统，是一个开源的平台，可以实现容器集群的自动化部署、自动扩缩容、维护等功能。通过Kubernetes将主机与云端计算资源模块的云端计算资源集群连接，这里将主机作为Master，其中云端计算资源模块中的每台服务可以作为节点(Node)。该服务在Master以及Node上分别有一些组件，用于容器资源监控以及调度。其中Master包括API Service，ETCD，Scheduler以及Controller Manager，其中ETCD，Scheduler以及Controller Manager资源/调用操作通过API Service提供接口进行。ETCD是Kubernetes默认存储系统，将集群中的运行结果以及评测结果先保存，在备份到Gitlab中，Scheduler监听集群中的容器分配情况，将容器分配到尚未使用的节点中，Controller Manager用来管理各个线程。节点组件kubelet是节点代理，监视已经分配给节点的容器运行，kube-proxy监听API Server中服务和已分配容器节点的变化，并通过IP表配置服务的负载均衡，最后是Pod，Pod是云端计算资源集群上运行的一个进程，每个Pod中可以对应一个或多个容器。

一种音视频大数据任务的端云协同评测系统的使用方法：

步骤一：在本地主机搭建存储模块，通过Gitlab服务搭建项目仓库，预先存储音视频大数据任务的评测样本、对应评测样本的评测程序、以及调用评测程序的配置文件。用户通过通信模块的git协议上传程序以及配置文件到Gitlab中，为运行模块以及评测模块的运行做准备。

步骤二：完成管理模块的搭建，并通过管理模块管理运行模块，评测模块以及云端计算资源

管理模块通过容器集群管理系统来实现管理功能，采用Kubernetes服务。Kubernetes是一个开源的平台，可以实现容器集群的自动化部署、自动扩缩容、维护等功能。通过Kubernetes将主机与云端计算资源模块连接，这里将主机作为Master，其中云端计算资源模块中的每台服务作为节点Node。

Kubernetes服务通过一系列组件完成容器资源监控以及调度，实现运行模块与评测模块功能。Kubernetes服务在Master以及Node上各有一些组件，其中Master包括APIService，ETCD，Scheduler以及ControllerManager，其中ETCD，Scheduler以及ControllerManager资源/调用操作通过API Service提供接口进行。ETCD是Kubernetes默认存储系统，将集群中的运行结果以及评测结果先保存，再通过通信模块备份到Gitlab中，Scheduler监听集群中的容器分配情况，将容器分配到尚未使用的节点中，Controller Manager用来管理各个线程；节点组件kubelet是节点代理，监视已经分配给节点的容器运行，kube-proxy监听API Server中服务和已分配容器节点的变化，并通过IP表配置服务的负载均衡，最后是Pod，Pod是云端计算资源集群上运行的一个进程，每个Pod中可以对应一个或多个容器。

步骤三：运行模块以及评测模块运行，运行模块和评测模块是运行在云端计算资源模块上的脚本文件，当用户上传文件到Gitlab项目仓库中结束，主机通过通信模块的ssh协议发送信号到运行模块并通过管理模块生成多个Pod进程，每个Pod对应一个任务的多个容器，运行模块通过管理模块将配置文件以及运行程序通过ssh协议调用到对应任务Pod中的容器，解析配置文件，完成环境的安装，运行程序并通过管理模块完成容器资源监控以及调度生成最终的结果，当结果生成时发送信号给评测模块，通过管理模块将对应样本以及评测程序通过ssh协议传输到对应评测任务的Pod中，运行评测程序，产生结果，传输到Gitlab项目仓库中，用户能够通过git协议查看保存在Gitlab中的结果。

Claims (2)

1.一种音视频大数据任务的端云协同评测系统，其特征在于，包括以下存储模块，通信模块，云端计算资源模块，运行模块，评测模块以及管理模块：

存储模块：存储模块主要用于存储音视频大数据任务的评测样本、评测程序、对应评测程序的配置文件，用户上传的运行程序以及对应的配置文件，程序运行的结果以及样本与运行结果的评测结果，存储模块通过管理模块与通信模块实现计算机集群之间的任务文件交换与存储；

通信模块：通信模块通过不同通信协议完成各个模块之间数据信息的交换；

云端计算资源模块：包括云端计算机集群，通过管理模块合理调度资源满足运行模块、评测模块的任务需求；

运行模块：通过管理模块生成容器，并通过配置文件，在对应容器安装相应的运行环境，运行程序，管理模块调度资源得到程序的运行结果，通过通信模块保存到存储模块中；

评测模块：通过管理模块生成容器，并通过评测配置文件在对应文件安装环境，调用评测程序，将存储模块中的样本，以及保存到存储模块中的运行程序的结果传送到云端计算资源模块中进行评测，生成评测结果，保存到存储模块中；

管理模块：通过集群管理服务将存储模块以及云端计算资源连接起来，并通过传输模块传输存储模块中的文件和程序，通过资源监控与调度，满足运行模块与评测模块的需求，最终完成音视频任务；

所述的存储模块建立在本地主机上，其中，存储服务通过Gitlab服务提供，通过Gitlab搭建一个项目仓库，用于保存音视频大数据任务的评测样本、评测程序、对应评测程序的配置文件，用户上传的运行程序以及对应的配置文件，程序运行的结果以及样本与运行结果的评测结果；

所述的通信模块：用户上传程序以及配置文件通过git协议传到存储模块种，计算资源运行程序以及评测程序，通过节点与节点以及节点与主机之间的ssh协议通信来完成；

所述的管理模块通过容器集群管理系统来实现管理功能，采用Kubernetes服务，通过Kubernetes将主机与云端计算资源模块的云端计算资源集群连接，将主机作为Master，其中云端计算资源模块中的每台服务可以作为节点Node；该服务在Master以及Node上分别有一些组件，用于容器资源监控以及调度；其中Master包括API Service，ETCD，Scheduler以及ControllerManager，其中ETCD，Scheduler以及Controller Manager资源/调用操作通过API Service提供接口进行；ETCD是Kubernetes默认存储系统，将集群中的运行结果以及评测结果先保存，在备份到Gitlab中，Scheduler监听集群中的容器分配情况，将容器分配到尚未使用的节点中，ControllerManager用来管理各个线程；节点组件kubelet是节点代理，监视已经分配给节点的容器运行，kube-proxy监听API Server中服务和已分配容器节点的变化，并通过IP表配置服务的负载均衡，最后是Pod，Pod是云端计算资源集群上运行的一个进程，每个Pod中可以对应一个或多个容器。

2.根据权利要求1所述的一种音视频大数据任务的端云协同评测系统的使用方法，其特征在于，步骤如下：

步骤一：在本地主机搭建存储模块，通过Gitlab服务搭建项目仓库，预先存储音视频大数据任务的评测样本、对应评测样本的评测程序、以及调用评测程序的配置文件；用户通过通信模块的git协议上传程序以及配置文件到Gitlab中；

步骤二：完成管理模块的搭建，并通过管理模块管理运行模块，评测模块以及云端计算资源

管理模块通过容器集群管理系统来实现管理功能，采用Kubernetes服务；通过Kubernetes将主机与云端计算资源模块连接，将主机作为Master，其中云端计算资源模块中的每台服务作为节点Node；

Kubernetes服务通过一系列组件完成容器资源监控以及调度，实现运行模块与评测模块功能；Kubernetes服务在Master以及Node上各有一些组件，其中Master包括APIService，ETCD，Scheduler以及Controller Manager，其中ETCD，Scheduler以及ControllerManager资源/调用操作通过API Service提供接口进行；ETCD是Kubernetes默认存储系统，将集群中的运行结果以及评测结果先保存，再通过通信模块备份到Gitlab中，Scheduler监听集群中的容器分配情况，将容器分配到尚未使用的节点中，ControllerManager用来管理各个线程；节点组件kubelet是节点代理，监视已经分配给节点的容器运行，kube-proxy监听API Server中服务和已分配容器节点的变化，并通过IP表配置服务的负载均衡，最后是Pod，Pod是云端计算资源集群上运行的一个进程，每个Pod中可以对应一个或多个容器；

步骤三：运行模块以及评测模块运行，运行模块和评测模块是运行在云端计算资源模块上的脚本文件，当用户上传文件到Gitlab项目仓库中结束，主机通过通信模块的ssh协议发送信号到运行模块并通过管理模块生成多个Pod进程，每个Pod对应一个任务的多个容器，运行模块通过管理模块将配置文件以及运行程序通过ssh协议调用到对应任务Pod中的容器，解析配置文件，完成环境的安装，运行程序并通过管理模块完成容器资源监控以及调度生成最终的结果，当结果生成时发送信号给评测模块，通过管理模块将对应样本以及评测程序通过ssh协议传输到对应评测任务的Pod中，运行评测程序，产生结果，传输到Gitlab项目仓库中，用户能够通过git协议查看保存在Gitlab中的结果。

Images