CN111047190A - 一种基于交互式学习技术的多元化业务建模框架系统 - Google Patents

Abstract

本发明公开了一种基于交互式学习技术的多元化业务建模框架系统，包括：训练平台和推理平台，其用于业务用户进行业务操作，用户的请求会由训练平台和推理平台统一下发给Batch服务进行最后的封装，然后通过YARN‑DTF提交给下层的Yarn，由下层的Yarn再申请物理资源运行任务；大数据管理平台，其用于管理员用户进行集群的统一管理；开发平台，其开放的接口用于开发者进行二次开发，构建自己的应用，而不必关注下层的实现细节。本发明实现机器学习、深度学习、模型训练等功能；融合企业数据治理需求，开展细到字段级别的数据权限管控及统一元数据管理，实现数据血缘跟踪与溯源、可视化数据清洗整合等功能，通过机器学习技术辅助数据仓库标准化建设。

Description

一种基于交互式学习技术的多元化业务建模框架系统

技术领域

本发明涉及多元化业务建模框架系统技术领域，具体为一种基于交互式学习技术的多元化业务建模框架系统。

背景技术

随着南网公司“一主两翼、国际拓展”产业发展新布局的不断推进，跨专业的业务数据分析应用、各专业数据的共享和融合成为业务改革提升的迫切需求，研究交互式机器学习引擎，向公司用户提供基于交互式学习技术的统一建模框架，降低建模编程技术门槛，使公司业务部门轻松地获得模型训练能力，助力公司大数据的价值发现，为此我们提出一种基于交互式学习技术的多元化业务建模框架系统。

发明内容

本发明的目的是为了解决现有技术中存在的缺点，而提出的一种基于交互式学习技术的多元化业务建模框架系统。

为实现上述目的，本发明提供如下技术方案：

一种基于交互式学习技术的多元化业务建模框架系统，包括：

训练平台和推理平台，其用于业务用户进行业务操作，用户的请求会由训练平台和推理平台统一下发给Batch服务进行最后的封装，然后通过YARN-DTF提交给下层的Yarn，由下层的Yarn再申请物理资源运行任务；

大数据管理平台，其用于管理员用户进行集群的统一管理；

开发平台，其开放的接口用于开发者进行二次开发，构建自己的应用，而不必关注下层的实现细节。

优选的，所述Miner的工作流可视化建模，通常是指从预制的工作流算子，通过拖拽式工作流算子的方式构建模型生成工作流，这种方式可以方便的查看数据分析结果和模型构建结果，并且可以直观的展示模型构建流程，适合对算法和接口无深入了解的数据分析业务人员；

工作流可视化建模的典型特点和核心诉求是：

工作流建模流程可管理性——方便查看历史工作流建模过程，导入导出工作流；

工作流可拖拉拽界面——提供简单易用的可拖拉拽图形界面，建模门槛低，无需任何编程需求；

数据可视化——方便的可视化数据预览界面，方便查看数据分布，基本的数据统计能力；

特征提取功能——具备数据特征提取功能，且提取操作简单，快捷，多角度提取，算法多样；

丰富的算子算法库——提供丰富的机器学习建模算法，种类齐全，包括分类、聚类、回归等算法；

模型评估功能——对模型训练结果方便的进行模型应用和模型性能评估，并且具备评估效果可视化；

模型构建结果可管理性——对训练结果可保存性，保存结果通用性，方便后续的模型应用。

优选的，所述Miner的交互式笔记本建模通常是指在在线web编辑器上，应用某类机器学习语言进行模型开发，交互式笔记本能够灵活编写代码，交互性强，适用于具备编程能力，了解数据分析、算法以及具备某类语言的数据科学家；

交互式笔记本建模的典型特点和核心诉求是：

打开方便——交互式笔记本不用安装专门的客户端，可以随时随地方便访问；

运行方便，交互性能优越——交互式笔记本运行方便，结果即时呈现，交互性优越；

代码调测方便——代码有问题可以反复修改，运行；

支持多种语言——可以支持应用多种典型的机器学习语言进行模型训练代码编写，这样方便掌握不同语言的数据科学家使用；

支持多数据源访问——同时支持访问多种类型数据库Elk，Hive，还支持访问HDFS；

支持并行计算，高效率——支持调用spark ml lib进行并行机器学习训练；

运行结果呈现即时性高，可视化效果好。

优选的，还包括有大规模训练平台，其通常是指神经网络存数深，数据规模大，训练时间长的深度学习训练。大规模训练缩短用户训练时间，集成分布式调度系统，自动完成用户任务发布，模型训练；

大规模训练平台的大规模训练场景的典型特点和核心诉求是：

数据预处理；多训练框架集成；布式任务调度；训练超参数调优；训练模型导出；训练模型在线推理。

优选的，还包括有预置算法训练平台，其深度学习平台预置了用户常用的训练算法，用户上传代码数据实现模型的二次训练，模型训练实时查看，训练模型实时导出，模型训练完毕平台和在线预测；

预置算法训练平台的交互查询的典型特点和核心诉求是：

预置模型可视；预置模型快速训练；模型超参数调优；训练过程可视化；模型实时导出；模型在线发布。

优选的，还包括有在线推理平台，其通常是指将推理发布web服务，并提供接口供应用调用；在线推理对处理时间要求高，且对系统可靠性要求高，且业务并发量有高低起伏；通常使用在线作业实现；

线推理平台的在线推理场景的典型特点和核心诉求是：

处理时间要求高，要求推理服务响应不超过毫秒级；

系统可靠性要求高，要求提供7*24小时在线服务，提供多实例负载均衡和异常服务的监控告警功能；

处理并发量起伏大，需要根据不同的并发业务量，弹性增减推理服务实例数，确保推理服务容器响应时间满足要求；

统一接口需求，支持一个算法的多实例统一接口访问；

支持不同厂商的不用版本的推理镜像、模型运行在开发平台推理平台；

支持推理镜像模型分离；

支持标准模型一键式发布成在线推理服务，无需用户手工制作镜像；

支持指定节点调度作业，满足推理服务对特殊资源的需求；

支持异构资源——支持CPU、内存和GPU异构资源调度。

优选的，还包括有批量推理平台，其通常是指对批量离线数据进行分析和处理，形成结构化数据，共下一步业务使用的场景；批量推理对于时间要求比在线推理略低，对于可靠性的要求，也比在线推理要低，批量推理失败可以对作业或者任务进行重试，批量推理最终成功后，并不影响结果。但是所处理的数据量大，占用计算存储资源较多。通常批量推理通过队列作业或者非队列作业启动；

批量推理平台的批量推理场景的典型特点和核心诉求是：

处理数据量大，单批次处理需要可达万张级图片，G级视频；

资源隔离：多个批量推理运行时，需要不同的资源，应进行资源隔离，避免抢占资源；

优先级需求：大量批量推理运行时，由于系统资源不足，需要排队等待，需支持高优先级作业优先调度运行；

推理失败重试：批量推理中途失败后，需要支持自动重试，确保能输出最终结果；

支持异构资源——支持CPU、内存和GPU异构资源调度；

支持指定节点调度作业，满足推理服务的资源亲和需求；

支持不同厂商的不用版本的推理镜像、模型运行在开发平台推理平台；

支持推理镜像模型分离。

优选的，所述大数据管理平台通过为数据支撑平台的每一个部分提供细粒度的可视化以及管理控制，为Hadoop的企业级部署设定了标准，提高了服务质量并且减少了管理成本；

Manager作为运维系统，为开发平台提供高可靠、安全、容错、易用的集群管理能力，可帮助客户解决在开局、日常维护、故障处理、业务开发场景下的相关问题；

Manager支持大规模集群的安装部署、监控、告警、用户管理、权限管理、审计、服务管理、健康检查、问题定位、升级和补丁等，提供如下功能：

一键式安装；单点登录；统一用户管理；维护操作审计；故障定位；统一监控告警；备份恢复；健康检查；

Manager由主备OMS节点和多个NodeAgent组成，在接入层，Manager提供3种接口类型跟外部系统对接时，包括Rest API、Snmp、Syslog；

在业务逻辑层和业务执行层，各组件通过插件方式或配置文件方式，即可通过NodeAgent向Controller上报各组件的告警、监控等信息到Manager框架，并通过web界面呈现出来。

与现有技术相比，本发明的有益效果是：本发明实现机器学习、深度学习、模型训练等功能；融合企业数据治理需求，开展细到字段级别的数据权限管控及统一元数据管理，实现数据血缘跟踪与溯源、可视化数据清洗整合等功能，通过机器学习技术辅助数据仓库标准化建设。

附图说明

图1为本发明一种基于交互式学习技术的多元化业务建模框架系统示意图；

图2为本发明工作流可视化建模的整体架构示意图；

图3为本发明交互式笔记本建模的整体架构示意图；

图4为本发明大规模训练平台的整体架构示意图；

图5为本发明预置算法快速训练平台的整体技术架构示意图；

图6为本发明在线推理方案的整体技术架构示意图；

图7为本发明批量推理方案的整体技术架构示意图；

图8为本发明大数据管理平台的逻辑架构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-8，本发明提供一种技术方案：一种基于交互式学习技术的多元化业务建模框架系统，包括：

训练平台和推理平台，其用于业务用户进行业务操作，用户的请求会由训练平台和推理平台统一下发给Batch服务进行最后的封装，然后通过YARN-DTF提交给下层的Yarn，由下层的Yarn再申请物理资源运行任务；

大数据管理平台，其用于管理员用户进行集群的统一管理；

开发平台，其开放的接口用于开发者进行二次开发，构建自己的应用，而不必关注下层的实现细节。

具体的，所述Miner的工作流可视化建模，通常是指从预制的工作流算子，通过拖拽式工作流算子的方式构建模型生成工作流，这种方式可以方便的查看数据分析结果和模型构建结果，并且可以直观的展示模型构建流程，适合对算法和接口无深入了解的数据分析业务人员；

工作流可视化建模的典型特点和核心诉求是：

工作流建模流程可管理性——方便查看历史工作流建模过程，导入导出工作流；

工作流可拖拉拽界面——提供简单易用的可拖拉拽图形界面，建模门槛低，无需任何编程需求；

数据可视化——方便的可视化数据预览界面，方便查看数据分布，基本的数据统计能力；

特征提取功能——具备数据特征提取功能，且提取操作简单，快捷，多角度提取，算法多样；

丰富的算子算法库——提供丰富的机器学习建模算法，种类齐全，包括分类、聚类、回归等算法；

模型评估功能——对模型训练结果方便的进行模型应用和模型性能评估，并且具备评估效果可视化；

模型构建结果可管理性——对训练结果可保存性，保存结果通用性，方便后续的模型应用。

各模块说明及相关组件在方案中的作用如下：

项目管理：项目管理主要用于管理工作流项目文件，其中包括新建工作流，删除工作流，修改工作流名字，导入工作流功能，通过工作流项目管理，用户可以方便的管理自己的工作流。

数据探索：提供Web化的自由探索界面，用户可以方便的查看数据，并将探索结果通过可视化的图形展示出来，大大提高数据分析师的探索效率。

特征工程：提供了大量提取特征的算子接口，满足绝大部分特征工程的需要，尤其适合高维稀疏大数据的特征处理。

建模分析：建模分析模块集成常用分类、聚类、回归算法接口，可以支持个性化推荐、异常检测、客户分群等典型场景的模型构建应用。

并行化算法库：并行化算法库主要为工作流算子提供可选择算法库，算法库提供了可操作算子达到108，机器学习算法库达到70+。

模型管理：主要用于管理构建后的模型，通过模型管理，用户可以方便的保存模型、查看模型和发布模型，模型的保存支持保存为PMML通用的模型文件，模型可以发布成Jar包，方便java应用程序调用。

具体的，所述Miner的交互式笔记本建模通常是指在在线web编辑器上，应用某类机器学习语言进行模型开发，交互式笔记本能够灵活编写代码，交互性强，适用于具备编程能力，了解数据分析、算法以及具备某类语言的数据科学家；

交互式笔记本建模的典型特点和核心诉求是：

打开方便——交互式笔记本不用安装专门的客户端，可以随时随地方便访问；

运行方便，交互性能优越——交互式笔记本运行方便，结果即时呈现，交互性优越；

代码调测方便——代码有问题可以反复修改，运行；

支持多种语言——可以支持应用多种典型的机器学习语言进行模型训练代码编写，这样方便掌握不同语言的数据科学家使用；

支持多数据源访问——同时支持访问多种类型数据库Elk，Hive，还支持访问HDFS；

支持并行计算，高效率——支持调用spark ml lib进行并行机器学习训练；

运行结果呈现即时性高，可视化效果好。

各模块说明及相关组件在方案中的作用如下：

Notebook web交互界面：在交互式界面上，用户可以进行机器学习训练过程代码编写，在该平台上，可以编写数据读取及预处理、特征提取、特征建模、模型评估等机器学习各阶段代码。

语言解析器：后端预制python2、python3、R三种notebook语言解析器

Notebook kernel引擎：kernel引擎中管理者kernel pool,该kernel pool维护两种类型的kernel:

Pyspark：用于python语言对接spark，其中支持python2和Python3对接spark调用spark ml lib进行并行机器学习训练。

sparkR：用于R语言对接spark调用spark ml lib进行并行计算。

数据可视化：数据运行结果即时呈现，即时性、可视化性能优越。

具体的，还包括有大规模训练平台，其通常是指神经网络存数深，数据规模大，训练时间长的深度学习训练。大规模训练缩短用户训练时间，集成分布式调度系统，自动完成用户任务发布，模型训练；

大规模训练平台的大规模训练场景的典型特点和核心诉求是：

数据预处理；多训练框架集成；布式任务调度；训练超参数调优；训练模型导出；训练模型在线推理。

各模块说明及相关组件在方案中的作用如下：

前端交互页面：可视化操作页面，提供用户创建训练任务向导和任务资源的实时展示，模型开发-模型训练-模型发布，打通AI业务全流程。

数据管理：用户上传和下载数据集，作为用户训练的数据选择，与训练作业的无缝对接。

模型开发：创建开发环境，进行代码的开发与调测，支持使用Jupyter Notebook进行交互式的模型开发环境：为建模专家量身打造。

模型训练：创建训练作业进行模型训练，训练后的模型可创建可视化作业，帮用户理解、调试、优化深度学习代码和执行过程。训练参数可以保存在训练参数管理中，下次训练直接使用，支持主流的深度学习框架。

模型管理：将用户训练成熟的代码保存，进行管理。

模型发布管理：使用已训练好的模型创建推理作业，部署推理服务，用户可以基于推理服务进行简单的推理测试。

资源池管理：资源用户隔离，实现资源最大化利用。

资源规格：作业资源的精细化控制，支持全局规格和资源池规格。

具体的，还包括有预置算法训练平台，其深度学习平台预置了用户常用的训练算法，用户上传代码数据实现模型的二次训练，模型训练实时查看，训练模型实时导出，模型训练完毕平台和在线预测；

预置算法训练平台的交互查询的典型特点和核心诉求是：

预置模型可视；预置模型快速训练；模型超参数调优；训练过程可视化；模型实时导出；模型在线发布。

各模块说明及相关组件在方案中的作用如下：

数据处理：用户数据管理，数据预标注，与训练作业的无缝对接。

模型训练：预置算法快速训练，降低AI训练门槛，助力企业快速训练模型上线业务。

模型发布：使用已训练好的模型创建推理作业，部署推理服务，用户可以基于推理服务进行简单的推理测试。

具体的，还包括有在线推理平台，其通常是指将推理发布web服务，并提供接口供应用调用；在线推理对处理时间要求高，且对系统可靠性要求高，且业务并发量有高低起伏；通常使用在线作业实现；

线推理平台的在线推理场景的典型特点和核心诉求是：

处理时间要求高，要求推理服务响应不超过毫秒级；

系统可靠性要求高，要求提供7*24小时在线服务，提供多实例负载均衡和异常服务的监控告警功能；

处理并发量起伏大，需要根据不同的并发业务量，弹性增减推理服务实例数，确保推理服务容器响应时间满足要求；

统一接口需求，支持一个算法的多实例统一接口访问；

支持不同厂商的不用版本的推理镜像、模型运行在开发平台推理平台；

支持推理镜像模型分离；

支持标准模型一键式发布成在线推理服务，无需用户手工制作镜像；

支持指定节点调度作业，满足推理服务对特殊资源的需求；

支持异构资源——支持CPU、内存和GPU异构资源调度。

各模块说明及相关组件在方案中的作用如下：

统一服务接口：用于代理在线推理服务多实例和负载均衡，为一个算法的推理服务提供统一的服务接口。

在线推理平台：用于实现高性能高可靠的在线推理服务管理。

算法仓：提供多厂商多版本的镜像模型管理功能；提供TensorFlowServing预置框架，用于一键式将TensorFlow训练模型发布成在线推理服务，无需用户手工制作Docker镜像。

Batch：作业任务调度管理引擎，支持基于Docker容器的作业和任务调度和生命周期管理。支持先进先出、优先级等高级调度策略。支持指定节点的亲和调度，满足作业任务运行的特殊资源需求。

Yarn：资源调度引擎，为各种批处理引擎提供资源调度能力，支持CPU、内存和GPU等多种异构资源的统一调度。

业务应用：实时调用在线推理服务提供的接口，并根据接口返回结果完成业务应用，一般由ISV开发。

具体的，还包括有批量推理平台，其通常是指对批量离线数据进行分析和处理，形成结构化数据，共下一步业务使用的场景；批量推理对于时间要求比在线推理略低，对于可靠性的要求，也比在线推理要低，批量推理失败可以对作业或者任务进行重试，批量推理最终成功后，并不影响结果。但是所处理的数据量大，占用计算存储资源较多。通常批量推理通过队列作业或者非队列作业启动；

批量推理平台的批量推理场景的典型特点和核心诉求是：

处理数据量大，单批次处理需要可达万张级图片，G级视频；

资源隔离：多个批量推理运行时，需要不同的资源，应进行资源隔离，避免抢占资源；

优先级需求：大量批量推理运行时，由于系统资源不足，需要排队等待，需支持高优先级作业优先调度运行；

推理失败重试：批量推理中途失败后，需要支持自动重试，确保能输出最终结果；

支持异构资源——支持CPU、内存和GPU异构资源调度；

支持指定节点调度作业，满足推理服务的资源亲和需求；

支持不同厂商的不用版本的推理镜像、模型运行在开发平台推理平台；

支持推理镜像模型分离。

各模块说明及相关组件在方案中的作用如下：

数据源：主要包含原始的业务数据和推理结果数据存储载体，一般包括数据库、本地存储和共享存储等。

批量推理平台：用于实现高性能高并发的批量推理服务管理。

算法仓：提供多厂商多版本的镜像模型管理功能。镜像和模型分离，独立管理，创建作业动态加载模型，支持各种业务场景的批量推理。

Batch：作业任务调度管理引擎，支持基于Docker容器的作业和任务调度和生命周期管理。支持先进先出、优先级等高级调度策略。支持指定节点的亲和调度，满足作业任务运行的特殊资源需求。

Yarn：资源调度引擎，为各种批处理引擎提供资源调度能力，支持CPU、内存和GPU等多种异构资源的统一调度。

业务应用：使用批量推理结果完成的具体业务应用，一般由ISV开发。

具体的，所述大数据管理平台通过为数据支撑平台的每一个部分提供细粒度的可视化以及管理控制，为Hadoop的企业级部署设定了标准，提高了服务质量并且减少了管理成本；

Manager作为运维系统，为开发平台提供高可靠、安全、容错、易用的集群管理能力，可帮助客户解决在开局、日常维护、故障处理、业务开发场景下的相关问题；

Manager支持大规模集群的安装部署、监控、告警、用户管理、权限管理、审计、服务管理、健康检查、问题定位、升级和补丁等，提供如下功能：

一键式安装；单点登录；统一用户管理；维护操作审计；故障定位；统一监控告警；备份恢复；健康检查；

Manager由主备OMS节点和多个NodeAgent组成，在接入层，Manager提供3种接口类型跟外部系统对接时，包括Rest API、Snmp、Syslog；

在业务逻辑层和业务执行层，各组件通过插件方式或配置文件方式，即可通过NodeAgent向Controller上报各组件的告警、监控等信息到Manager框架，并通过web界面呈现出来。

分布式集群的管理运维

分布式集群的管理运维，要同时解决系统的统一接入，以及接入点的高可用问题。华为大数据管理平台基于分层解耦的多层架构，解决了海量节点的管控问题，并且通过采用双机软件和高可用数据库，确保集群配置等信息在软件、硬件失败条件下不影响管理员对集群的有效管理。

基于行业标准的北向能力

基于灵活的架构设计，支持多种类型的北向能力，并且有能力快速支持未来出现的北向接口需求，确保开发平台平台有机融入企业管理系统。

Manager提供3种北向接口类型跟外部系统对接，包括Rest API、Snmp、Syslog。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.一种基于交互式学习技术的多元化业务建模框架系统，其特征在于，包括：

训练平台和推理平台，其用于业务用户进行业务操作，用户的请求会由训练平台和推理平台统一下发给Batch服务进行最后的封装，然后通过YARN-DTF提交给下层的Yarn，由下层的Yarn再申请物理资源运行任务；

大数据管理平台，其用于管理员用户进行集群的统一管理；

开发平台，其开放的接口用于开发者进行二次开发，构建自己的应用，而不必关注下层的实现细节。

2.根据权利要求1所述的一种基于交互式学习技术的多元化业务建模框架系统，其特征在于：所述Miner的工作流可视化建模，通常是指从预制的工作流算子，通过拖拽式工作流算子的方式构建模型生成工作流，这种方式可以方便的查看数据分析结果和模型构建结果，并且可以直观的展示模型构建流程，适合对算法和接口无深入了解的数据分析业务人员；

工作流可视化建模的典型特点和核心诉求是：

工作流建模流程可管理性——方便查看历史工作流建模过程，导入导出工作流；

工作流可拖拉拽界面——提供简单易用的可拖拉拽图形界面，建模门槛低，无需任何编程需求；

数据可视化——方便的可视化数据预览界面，方便查看数据分布，基本的数据统计能力；

特征提取功能——具备数据特征提取功能，且提取操作简单，快捷，多角度提取，算法多样；

丰富的算子算法库——提供丰富的机器学习建模算法，种类齐全，包括分类、聚类、回归等算法；

模型评估功能——对模型训练结果方便的进行模型应用和模型性能评估，并且具备评估效果可视化；

模型构建结果可管理性——对训练结果可保存性，保存结果通用性，方便后续的模型应用。

3.根据权利要求1所述的一种基于交互式学习技术的多元化业务建模框架系统，其特征在于：所述Miner的交互式笔记本建模通常是指在在线web编辑器上，应用某类机器学习语言进行模型开发，交互式笔记本能够灵活编写代码，交互性强，适用于具备编程能力，了解数据分析、算法以及具备某类语言的数据科学家；

交互式笔记本建模的典型特点和核心诉求是：

打开方便——交互式笔记本不用安装专门的客户端，可以随时随地方便访问；

运行方便，交互性能优越——交互式笔记本运行方便，结果即时呈现，交互性优越；

代码调测方便——代码有问题可以反复修改，运行；

支持多种语言——可以支持应用多种典型的机器学习语言进行模型训练代码编写，这样方便掌握不同语言的数据科学家使用；

支持多数据源访问——同时支持访问多种类型数据库Elk，Hive，还支持访问HDFS；

支持并行计算，高效率——支持调用spark ml lib进行并行机器学习训练；

运行结果呈现即时性高，可视化效果好。

4.根据权利要求1所述的一种基于交互式学习技术的多元化业务建模框架系统，其特征在于：还包括有大规模训练平台，其通常是指神经网络存数深，数据规模大，训练时间长的深度学习训练。大规模训练缩短用户训练时间，集成分布式调度系统，自动完成用户任务发布，模型训练；

大规模训练平台的大规模训练场景的典型特点和核心诉求是：

数据预处理；多训练框架集成；布式任务调度；训练超参数调优；训练模型导出；训练模型在线推理。

5.根据权利要求1所述的一种基于交互式学习技术的多元化业务建模框架系统，其特征在于：还包括有预置算法训练平台，其深度学习平台预置了用户常用的训练算法，用户上传代码数据实现模型的二次训练，模型训练实时查看，训练模型实时导出，模型训练完毕平台和在线预测；

预置算法训练平台的交互查询的典型特点和核心诉求是：

预置模型可视；预置模型快速训练；模型超参数调优；训练过程可视化；模型实时导出；模型在线发布。

6.根据权利要求1所述的一种基于交互式学习技术的多元化业务建模框架系统，其特征在于：还包括有在线推理平台，其通常是指将推理发布web服务，并提供接口供应用调用；在线推理对处理时间要求高，且对系统可靠性要求高，且业务并发量有高低起伏；通常使用在线作业实现；

线推理平台的在线推理场景的典型特点和核心诉求是：

处理时间要求高，要求推理服务响应不超过毫秒级；

系统可靠性要求高，要求提供7*24小时在线服务，提供多实例负载均衡和异常服务的监控告警功能；

处理并发量起伏大，需要根据不同的并发业务量，弹性增减推理服务实例数，确保推理服务容器响应时间满足要求；

统一接口需求，支持一个算法的多实例统一接口访问；

支持不同厂商的不用版本的推理镜像、模型运行在开发平台推理平台；

支持推理镜像模型分离；

支持标准模型一键式发布成在线推理服务，无需用户手工制作镜像；

支持指定节点调度作业，满足推理服务对特殊资源的需求；

支持异构资源——支持CPU、内存和GPU异构资源调度。

7.根据权利要求1所述的一种基于交互式学习技术的多元化业务建模框架系统，其特征在于：还包括有批量推理平台，其通常是指对批量离线数据进行分析和处理，形成结构化数据，共下一步业务使用的场景；批量推理对于时间要求比在线推理略低，对于可靠性的要求，也比在线推理要低，批量推理失败可以对作业或者任务进行重试，批量推理最终成功后，并不影响结果。但是所处理的数据量大，占用计算存储资源较多。通常批量推理通过队列作业或者非队列作业启动；

批量推理平台的批量推理场景的典型特点和核心诉求是：

处理数据量大，单批次处理需要可达万张级图片，G级视频；

资源隔离：多个批量推理运行时，需要不同的资源，应进行资源隔离，避免抢占资源；

优先级需求：大量批量推理运行时，由于系统资源不足，需要排队等待，需支持高优先级作业优先调度运行；

推理失败重试：批量推理中途失败后，需要支持自动重试，确保能输出最终结果；

支持异构资源——支持CPU、内存和GPU异构资源调度；

支持指定节点调度作业，满足推理服务的资源亲和需求；

支持不同厂商的不用版本的推理镜像、模型运行在开发平台推理平台；

支持推理镜像模型分离。

8.根据权利要求1所述的一种基于交互式学习技术的多元化业务建模框架系统，其特征在于：所述大数据管理平台通过为数据支撑平台的每一个部分提供细粒度的可视化以及管理控制，为Hadoop的企业级部署设定了标准，提高了服务质量并且减少了管理成本；

Manager作为运维系统，为开发平台提供高可靠、安全、容错、易用的集群管理能力，可帮助客户解决在开局、日常维护、故障处理、业务开发场景下的相关问题；

Manager支持大规模集群的安装部署、监控、告警、用户管理、权限管理、审计、服务管理、健康检查、问题定位、升级和补丁等，提供如下功能：

一键式安装；单点登录；统一用户管理；维护操作审计；故障定位；统一监控告警；备份恢复；健康检查；

Manager由主备OMS节点和多个NodeAgent组成，在接入层，Manager提供3种接口类型跟外部系统对接时，包括Rest API、Snmp、Syslog；

在业务逻辑层和业务执行层，各组件通过插件方式或配置文件方式，即可通过NodeAgent向Controller上报各组件的告警、监控等信息到Manager框架，并通过web界面呈现出来。

Images