CN111221507A

CN111221507A - 一种算法应用管理平台

Info

Publication number: CN111221507A
Application number: CN201811428112.1A
Authority: CN
Inventors: 陈刚
Original assignee: Sinocbd Inc
Current assignee: Sinocbd Inc
Priority date: 2018-11-27
Filing date: 2018-11-27
Publication date: 2020-06-02

Abstract

本发明公开了一种算法应用管理平台，其集成了若干算法的算法实现层、算法支持层和算法存储层；所述的算法支持层与算法实现层之间通过标准接口进行交互，所述的算法支持层用于对算法进行组合形成新业务所需的算法；所述的算法存储层用于各类挂载于算法应用管理平台的算法进行服务器端的存储。用户可以使用该平台提供的成熟算法应用，节省成本，提高效率，满足企业对平台的不同需求，丰富平台对算法的支持，提高处理速度。

Description

一种算法应用管理平台

技术领域

本发明涉及算法开发集成与软件应用管理领域，特别涉及一种算法应用管理平台。

背景技术

数据库技术是现代计算机信息系统和计算机应用系统的基础和核心，是信息系统的重要组成部分。在进行数据库应用系统开发时，通常需要将数据库数据导出以用于本系统备份或与其它系统进行数据共享和交换。

数据湖或hub的概念最初是由大数据厂商提出的，表面上看，数据都是承载在基于可向外扩展的HDFS(Hadoop分布式文件系统)廉价存储硬件之上的。但数据量越大，越需要各种不同种类的存储。最终，所有的企业数据都可以被认为是大数据，但并不是所有的企业数据都是适合存放在廉价的HDFS集群之上的。数据湖的一部分价值是把不同种类的数据汇聚到一起，另一部分价值是不需要预定义的模型就能进行数据分析。现在的大数据架构是可扩展的，并且可以为用户提供越来越多的实时分析。数据湖架构面向多数据源的信息存储，包括物联网在内。大数据分析或归档可通过访问数据湖处理或交付数据子集给请求用户。

基于上述数据需要开发多样的算法，现有的算法应用管理平台复杂且不友好，开发成本高，效率低下。

发明内容

本发明的目的是提供一种算法应用管理平台，用户可以使用该平台提供的成熟算法应用，节省成本，提高效率，满足企业对平台的不同需求，丰富平台对算法的支持，提高处理速度。

为了实现以上目的，本发明是通过以下技术方案实现的：

一种算法应用管理平台，其特点是，其集成了若干算法的算法实现层、算法支持层和算法存储层；

所述的算法支持层与算法实现层之间通过标准接口进行交互，所述的算法支持层用于对算法进行组合形成新业务所需的算法；

所述的算法存储层用于各类挂载于算法应用管理平台的算法进行服务器端的存储。

所述的算法实现层用于原始算法设计，通过满足所述算法应用管理平台定义的接口完成算法的设计及实现。

所述的算法实现层和算法支持层之间采用的标准接口为Python定义的接口类型，用户通过实现该接口所定义的抽象方法完成算法从本地的实现到算法应用管理平台的挂载。

所述的算法支持层包括：

算法挂载模块，用于通过提供标准接口将若干算法挂载在算法应用管理平台，所述算法挂载模块支持用于用户上传算法，在算法上传页面填写基本信息，挂载成功的算法将存储到配置中心，以供用户构建其算法；

算法运行模块，其由用户控制，请求服务器端运行算法；

算法维护模块，用于用户对已挂载的算法进行逻辑调整、删除不必要代码操作，实现对算法的维护；

算法评测模块，用于对多个组合的算法在运行结果、运行时间多方面进行评测；

算法组合模块，用于用户对在算法应用管理平台已挂载的多个算法进行组合；

算法详情展示模块，用于展示算法所采用的数据结构和所编写的函数。

所述的算法应用管理平台支持算法应用开发时的算法训练，包括数据源来源设置与参数设置。

所述的算法组合模块支持算法的系列流程的组合，组合多种现成的或者再开发的算法应用和过程，成为一个复杂算法，并包装为一个算法应用。

所述的算法运行模块是基于微服务理念的算法部署实施的方法，即：把算法编译成一个微服务，微服务具备独立的运行进程，每个微服务可以独立部署，所述的微服务使用Docker容器部署，每个Docker容器中可以运行多个微服务，Docker容器以集群的方式部署，使用Docker Swarm对所述Docker容器进行管理。

所述的算法存储层使用Git存储机制，对算法进行版本控制。

所述的算法应用管理平台集成了深度学习框架和分布式计算框架。

所述的算法应用管理平台根据用户身份决定其在登录后的具体显示界面、拥有的操作权限以及进行中的进程，并自动载入上一次登录退出时的操作管理流程。

所述的操作权限为用户可以发布分享自己拥有的算法，与多个算法应用管理平台的其他用户共用，也可以查看所有分享给自己的算法；进一步，可以查询其他用户公开或共享给自己的算法。

支持对数据湖服务器的访问，所述数据湖服务器是包含关系型数据库、文档型数据库、分布式文件系统和图数据库这四类数据库的数据存储和管理服务平台，该平台采用分布式运算和存储架构，集成了具有数据存储和运算功能的各类计算机单机、服务器和计算机集群/服务器集群，并提供包括数据管理、算法开发在内的各类功能组件。

本发明与现有技术相比，具有以下优点：

1、用户可以使用该平台提供的成熟算法应用，节省成本，提高效率，满足企业对平台的不同需求，丰富平台对算法的支持，提高处理速度。

2、算法运行简单，便于用户开发算法，将软件与算法融合在一个平台上，节省成本，提升效率。

3、利用已有的应用组合为一个复杂的算法流程，提升开发效率，简化执行过程。

4、解决了用户身份管理的复杂性问题，使得用户操作友好简便。

附图说明

图1为本发明一种算法应用管理平台的结构示意图。

图2为算法支持层的结构示意图。

具体实施方式

以下结合附图，通过详细说明一个较佳的具体实施例，对本发明做进一步阐述。

如图1所示，一种算法应用管理平台100，包括通用的算法应用，其集成了若干算法的算法实现层101、算法支持层102和算法存储层103；所述的算法支持层102与算法实现层101之间通过标准接口进行交互，所述的算法支持层102用于对算法进行组合形成新业务所需的算法；所述的算法存储层103用于各类挂载于算法应用管理平台的算法进行服务器端的存储。

所述的算法实现层用于原始算法设计，通过满足所述算法应用管理平台定义的接口完成算法的设计及实现。所述的算法实现层和算法支持层之间采用的标准接口为Python定义的接口类型，用户通过实现该接口所定义的抽象方法完成算法从本地的实现到算法应用管理平台的挂载。

如图2所示，所述的算法支持层200包括：算法挂载模块201，用于通过提供标准接口将若干算法挂载在算法应用管理平台；算法运行模块202，其由用户控制，请求服务器端运行算法；算法维护模块203，用于用户对已挂载的算法进行逻辑调整、删除不必要代码操作，实现对算法的维护；算法评测模块204，用于对多个组合的算法在运行结果、运行时间多方面进行评测；算法组合模块205，用于用户对在算法应用管理平台已挂载的多个算法进行组合；算法详情展示模块206，用于展示算法所采用的数据结构和所编写的函数。

所述的算法挂载模块为：算法应用管理平台支持用户上传算法，用户在算法上传页面填写基本信息，挂载成功的算法将存储到配置中心，以供用户构建自己的算法；进一步，算法应用管理平台也支持用户基于软件开发管理平台自行开发新的算法应用，支持算法应用开发时的算法训练，包括数据源来源设置与参数设置。

上述的算法维护模块用于支持算法的在线编辑。

所述的算法组合模块支持算法的系列流程的组合，组合多种现成的或者再开发的算法应用和过程，成为一个复杂算法，并包装为一个算法应用，使得算法应用管理平台支持工作区方式开发应用。

所述的算法运行模块基于微服务理念的算法部署实施的方法，把算法编译成一个微服务，微服务具备独立的运行进程，每个微服务可以独立部署，所述的微服务使用Docker容器部署，每个Docker容器中可以运行多个微服务，Docker容器以集群的方式部署，使用Docker Swarm对所述的Docker容器进行管理，算法以容器方式运行，可直接拷贝或者覆盖，不依赖于硬件的升级和部署运行方式，当算法更新时，更新应用文件以及配置。配置记录在数据库中。

所述的算法存储层使用Git存储机制，对算法进行版本控制。

所述的算法应用管理平台集成了深度学习框架和分布式计算框架，大量的应用都可以基于这两个框架上进行开发。算法应用管理平台集成了这两种框架，使得基于此框架开发的应用能够直接在其上运行。常见的分布式计算框架包括：Storm，Hadoop和Spark等，常见的深度学习框架包括TensorFlow，Caffe、Keras等。

所述的算法应用管理平台根据用户身份决定其在登录后的具体显示界面、拥有的操作权限以及进行中的进程，并自动载入之前的操作管理流程，进一步，平台提供一种用户注册流程，确保未来实施过程可靠。

上述的算法应用管理平台还支持对数据湖服务器的访问，所述数据湖服务器是包含关系型数据库、文档型数据库、分布式文件系统和图数据库这四类数据库的数据存储和管理服务平台，该平台采用分布式运算和存储架构，集成了具有数据存储和运算功能的各类计算机单机、服务器和计算机集群/服务器集群，并提供包括数据管理、算法开发在内的各类功能组件。

基于上述的算法应用管理平台，本发明还提供算法应用管理方法，该方法包括以下步骤：

步骤1，算法设计用户登录算法应用管理平台，浏览已挂载在平台的算法列表，每个算法有包括ID、名称、版本号、代码、数据源、计算结果、参数、框架、状态等属性字段，状态包括未部署、正在运行、运行结束。用户可以进入每个算法浏览算法的所有信息。

步骤2，用户可以上传已实现的算法到算法应用管理平台，并设置算法的相关参数，包括运行环境的选择、计算结果的存储路径等。算法应用管理平台支持Spark和Tensorflow框架。

步骤3，算法上传至算法应用管理平台后存储在数据湖服务器的分布式文件系统中，通过GIT进行版本控制。

步骤4，用户可以在应用管理平台维护已挂载的算法，平台提供了算法的在线编辑器。

步骤5，用户可以通过应用管理平台提供的算法组合模块，对已经挂载在平台的多个算法进行组成，形成一个新的算法。算法组合包括两种模式，一种是非即时组合，一种是即时组合。非即时组合是指一种算法使用其他算法运算后存储在平台上的运行结果，即时组合是多种算法组合后以一种新的算法重新运行。

步骤6，用户可以对算法或组合后的算法进行部署和运行，算法应用管理平台将待运行的算法编译成一个微服务，微服务使用Docker容器部署，Docker容器以集群的方式部署，算法以容器方式运行，docker容器启动后执行完算法脚本后自动退出，进程结束。

步骤7，算法运算结束后，计算结果将被存储在数据湖服务器的分布式文件系统中，算法运行在GIT版本控制下进行。

步骤8，用户可以对多个算法在运行结果，运行时间多方面进行评测，算法测评通过GIT进行版本控制。

步骤9，用户可以向多个数据湖服务器节点用户分享挂载在平台上的算法，访问权限包括浏览、拷贝。本地节点用户通过账号登录算法应用管理平台浏览或拷贝分享给自己的算法，外地节点通过token访问分享给自己的算法。

综上所述，本发明一种算法应用管理平台，用户可以使用该平台提供的成熟算法应用，节省成本，提高效率，满足企业对平台的不同需求，丰富平台对算法的支持，提高处理速度。

尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。

Claims

1.一种算法应用管理平台，其特征在于，其集成了若干算法的算法实现层、算法支持层和算法存储层；

2.如权利要求1所述的算法应用管理平台，其特征在于，所述的算法实现层用于原始算法设计，通过满足所述算法应用管理平台定义的接口完成算法的设计及实现。

3.如权利要求2所述的算法应用管理平台，其特征在于，所述的算法实现层和算法支持层之间采用的标准接口为Python定义的接口类型，用户通过实现该接口所定义的抽象方法完成算法从本地的实现到算法应用管理平台的挂载。

4.如权利要求1所述的算法应用管理平台，其特征在于，所述的算法支持层包括：

算法挂载模块，用于通过提供标准接口将若干算法挂载在算法应用管理平台，所述算法挂载模块支持用户上传算法，在算法上传页面填写基本信息，挂载成功的算法将存储到配置中心，以供用户构建其算法；

算法运行模块，其由用户控制，请求服务器端运行算法；

5.如权利要求4所述的算法应用管理平台，其特征在于，所述的算法应用管理平台支持算法应用开发时的算法训练，包括数据源来源设置与参数设置。

6.如权利要求4所述的算法应用管理平台，其特征在于，所述的算法组合模块支持算法的系列流程的组合，组合多种现成的或者再开发的算法应用和过程，成为一个复杂算法，并包装为一个算法应用。

7.如权利要求4所述的算法应用管理平台，其特征在于，所述的算法运行模块是基于微服务理念的算法部署实施的方法，即：把算法编译成一个微服务，微服务具备独立的运行进程，每个微服务可以独立部署，所述的微服务使用Docker容器部署，每个Docker容器中可以运行多个微服务，Docker容器以集群的方式部署，使用Docker Swarm对所述Docker容器进行管理。

8.如权利要求1所述的算法应用管理平台，其特征在于，所述的算法存储层使用Git存储机制，对算法进行版本控制；

9.如权利要求1所述的算法应用管理平台，其特征在于，所述的算法应用管理平台根据用户身份决定其在登录后的具体显示界面、拥有的操作权限以及进行中的进程，并自动载入上一次登录退出时的操作管理流程；

10.如权利要求1所述的算法应用管理平台，其特征在于，支持对数据湖服务器的访问，所述数据湖服务器是包含关系型数据库、文档型数据库、分布式文件系统和图数据库这四类数据库的数据存储和管理服务平台，该平台采用分布式运算和存储架构，集成了具有数据存储和运算功能的各类计算机单机、服务器和计算机集群/服务器集群，并提供包括数据管理、算法开发在内的各类功能组件。