CN112507623A - 一种算法中台构建方法及系统 - Google Patents
一种算法中台构建方法及系统 Download PDFInfo
- Publication number
- CN112507623A CN112507623A CN202011484188.3A CN202011484188A CN112507623A CN 112507623 A CN112507623 A CN 112507623A CN 202011484188 A CN202011484188 A CN 202011484188A CN 112507623 A CN112507623 A CN 112507623A
- Authority
- CN
- China
- Prior art keywords
- model
- data set
- experimental
- algorithm
- constructing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 81
- 238000010276 construction Methods 0.000 title claims description 19
- 238000000034 method Methods 0.000 claims abstract description 40
- 238000011161 development Methods 0.000 claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 17
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 238000004590 computer program Methods 0.000 claims description 11
- 238000010801 machine learning Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 11
- 238000002372 labelling Methods 0.000 claims description 10
- 238000003860 storage Methods 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 238000004806 packaging method and process Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 230000007935 neutral effect Effects 0.000 claims 1
- 238000007726 management method Methods 0.000 description 28
- 238000002474 experimental method Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 238000012544 monitoring process Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012217 deletion Methods 0.000 description 3
- 230000037430 deletion Effects 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种算法中台构建方法及系统，包括：获取需求数据集，对所述需求数据集进行管理，得到实验数据集；将所述实验数据集作为基础数据，进行模型训练和模型开发，生成实验模型；对所述实验模型进行预设管理操作，生成并导出业务模型。本发明通过构建大规模智能服务的算法平台，从数据集管理、数据预处理、模型部署及导出，满足了从开发者到大型企业的不同智能服务需求。
Description
技术领域
本发明涉及Web应用技术领域，尤其涉及一种算法中台构建方法及系统。
背景技术
目前，关于算法中台构建方法的研究还未形成完整的体系，相关的技术有数据中台的构建，数据中台本身还是围绕着数据服务来进行的，而非围绕智能服务来运行的。
现有的大多和模型的构建相关，例如通过把数据集输入到预设机器学习平台构造基础模型，再将基础模型通过优化算法进行参数优化，获得目标推荐模型。再生成模型的过程中，该方法不够灵活，虽然降低了程序编写的复杂度，但还是不能精准的完成用户所需。没有涉及对于生成模型后的管理。对于后期模型部署、更新、调优等操作，难免要重新开始生命周期，获得目标模型。
对于模型的构建，整个研发过程复杂性很高，业务需求的不同，每一次算法工程师，都要依次经历数据获取、处理、建模、模型训练、部署、等一系列操作。所以在针对于这个问题，研究重点在于其生命周期的科学管理。通过对研发过程中，每一个环节进行编排顺序，抽象出自动化操作和可复用流程，从而做到解决用户所需，缩短开发时间。
上述构建方法一般都是仅描述模型的生成，或者面向某领域的快速生成模型的方法，因此需要提出针对算法中台的系统构建方法。
发明内容
本发明提供一种算法中台构建方法及系统，用以解决现有技术中没有对算法中台进行构建的缺陷。
第一方面，本发明提供一种算法中台构建方法，包括：
获取需求数据集，对所述需求数据集进行管理，得到实验数据集；
将所述实验数据集作为基础数据，进行模型训练和模型开发，生成实验模型；
对所述实验模型进行预设管理操作，生成并导出业务模型。
进一步地，所述对所述实验模型进行预设管理操作，生成并导出业务模型，之后还包括：
待所述业务模型部署完成，通过在线服务对所述业务模型进行管理。
进一步地，所述获取需求数据集，对所述需求数据集进行管理，得到实验数据集，具体包括：
由数据中台的接口获取所述需求数据集，或直接获取用户上传的所述需求数据集；
通过可视化操作对所述需求数据集进行标注、分析和样本采集，获取所述需求数据集的参数信息；
基于所述参数信息从所述需求数据集中提取得到所述实验数据集。
进一步地，所述将所述实验数据集作为基础数据，进行模型训练和模型开发，生成实验模型，具体包括：
对所述实验数据进行预处理，得到预处理数据集；
选择预设机器学习算法，对所述预处理数据集进行算法节点关联，得到模型流程图；
运行所述模型流程图，由前端将算法节点标识和参数信息以预设交换数据格式进行封装，为每个算法节点添加唯一标识id，以所述唯一标识id进行排序，构建模型基础结构；
以POST请求将所述模型基础结构发送至算法端，由所述算法端执行运行脚本，并通过调用算法库生成所述实验模型。
进一步地，所述对所述实验数据进行预处理包括采样过滤、数据合并、类型转换、标准化和归一化。
进一步地，所述对所述实验模型进行预设管理操作，生成并导出业务模型，具体包括：
部署所述实验模型，由所述实验模型的参数自动生成脚本文件，执行所述脚本文件生成容器文件；
创建容器文件对应的容器环境，在所述容器环境内执行预设运行命令，生成运行的容器实例；
导出所述容器实例，获得所述业务模型。
进一步地，所述待所述业务模型部署完成，通过在线服务对所述业务模型进行管理，具体包括：
待所述业务模型在容器中完成部署后，启动所述在线服务；
通过调取API进行参数传递，对所述业务模型进行预设操作，获得模型运行结果。
第二方面，本发明还提供一种算法中台构建系统，包括：
获取模块，用于获取需求数据集，对所述需求数据集进行管理，得到实验数据集；
第一处理模块，用于将所述实验数据集作为基础数据，进行模型训练和模型开发，生成实验模型；
第二处理模块，用于对所述实验模型进行预设管理操作，生成并导出业务模型。
第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述算法中台构建方法的步骤。
第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述算法中台构建方法的步骤。
本发明提供的算法中台构建方法及系统，通过构建算法中台，实现了全生命周期管理平台和服务配置体系，基于数据平台服务，通过对智能服务的共享复用，以标准化和自动化实现了对前台业务提供个性智能服务的迅速构建支持。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的算法中台构建方法的流程示意图；
图2是本发明提供的算法中台模块功能示意图；
图3是本发明提供的算法中台架构组成示意图；
图4是本发明提供的数据集标注平台示意图；
图5是本发明提供的机器学习平台示意图；
图6是本发明提供的算法中台构建系统的结构示意图；
图7是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明提供的算法中台构建方法的流程示意图，如图1所示，包括：
S1，获取需求数据集，对所述需求数据集进行管理，得到实验数据集；
S2，将所述实验数据集作为基础数据，进行模型训练和模型开发，生成实验模型；
S3，对所述实验模型进行预设管理操作，生成并导出业务模型。
具体地，本发明提出的算法构建中台方法，搭建算法中台web应用，包括：数据集管理、模型开发和训练以及模型部署和监控三个部分，如图2所示。
其中，数据集管理模块可通过调用数据中台或用户前台上传数据集，来获取数据，进一步数据分析、预处理样本采集、标注等操作；模型开发和训练模块通过在创建好实验后位于前端界面的托拽操作，绘制为流程图，从特征工程、模型开发和训练、到算法评估，可手动或自动配置参数，随时测试模型运行情况，完成以业务为中心，标准化、自动化、便捷化的建模操作；模型管理模块主要负责与生成模型的管理操作如：部署上线、模型导出、修改模型等操作。方便管理自己的算法模型，以达到复用、组合创新、规模化构建智能服务的目的。
此处，本发明算法中台Web应用由三部分构成，如图3所示：
算法中台前端基于Vue搭建而成，可视化的界面操作，结合标注平台，机器学习平台方便与用户建模全程自动化、便捷化、可视化；后端使用Python语言，Django框架搭建，用于处理前端请求，映射关系型数据库Mysql做相关数据处理。调用算法端完成模型开发等工作；算法端使用Python语言、Shell脚本，第三方算法库，实现模型开发、部署、管理、监控等功能，结合Docker容器编排技术，使得每个模型拥有独立的物理资源。
本发明通过构建算法中台，实现了全生命周期管理平台和服务配置体系，基于数据平台服务，通过对智能服务的共享复用，以标准化和自动化实现了对前台业务提供个性智能服务的迅速构建支持。
基于上述实施例，该方法中步骤S1具体包括：
由数据中台的接口获取所述需求数据集，或直接获取用户上传的所述需求数据集；
通过可视化操作对所述需求数据集进行标注、分析和样本采集，获取所述需求数据集的参数信息；
基于所述参数信息从所述需求数据集中提取得到所述实验数据集。
具体地，由于数据中台对于企业来说起着中至关重要的作用，为了利用数据来产生价值，这个时候就需要算法中台，本方法中的数据输入，可以调用数据中台的接口来获取数据，也可以用户自己上传数据集。为机器学习做准备，所以提供了数据集标注的功能(标注平台)，如图4所示。用户通过对数据的可视化，进行数据集标注，为模型开发做准备。该模块还带有删除、数据集导出等基本管理操作。
在数据集管理页面，可进入标注平台，展示数据集的参数信息，展示数据集列名列表，配置唯一标识符id、配置要可视化数据的列名、配置标注修改列名、输入、输出，通过对标注数据集的每条信息，进行可视化，人工标注数据集(用户在页面通过点击、正例、反例来标识每条数据是否正常)，可以将异常数据，添加到异常分类当中。如果数据集为时序数据，可以通过提取时序数据的特征值，结合机器学习特征提取和异常检测实现智能标注，利用CBOW和Skip-Gram对时序数据得值语义进行建模，捕获时序特征。提高标注工作的效率。通过提取时序数据得特征，如平均值、标准差、中位数等，形成直方图及展示，当前待标注时序数据折线图展示，来辅助人工决策标注，标注完成后，便可以进入机器学习平台使用标注过后的数据集作为基础数据，训练模型，也可以将标注完得数据导出数据集，下载到本地。
本发明通过完成配置数据集准备标注和完成数据集标注工作，能适应不同的智能服务需求。
基于上述任一实施例，该方法中步骤S2具体包括：
对所述实验数据进行预处理，得到预处理数据集；
选择预设机器学习算法，对所述预处理数据集进行算法节点关联，得到模型流程图；
运行所述模型流程图，由前端将算法节点标识和参数信息以预设交换数据格式进行封装，为每个算法节点添加唯一标识id，以所述唯一标识id进行排序，构建模型基础结构；
以POST请求将所述模型基础结构发送至算法端，由所述算法端执行运行脚本，并通过调用算法库生成所述实验模型。
其中，所述对所述实验数据进行预处理包括采样过滤、数据合并、类型转换、标准化和归一化。
具体地，通过对实验的创建、删除和运行等操作来实现模型创建等管理操作，点击某个实验进入机器学习平台，如图5所示，便可以对实验进行生成操作，采用可拖拽式算法节点，形成流程图，来调用算法端，实现模型生成。
可以理解的是，用户在实验管理页面，进行创建实验，一个实验对应一个模型，可以选择模板页面，直接使用提供的算法模型模板，点击进入机器学习平台，便可以进行模型的开发操作，数据预处理例如：采样过滤、数据合并、类型转换、标准化、归一化等，选择算法例如：KNN、逻辑回归、随机森林等；通过托拽到右边的画布中进行连线的方式，将每个算法节点进行关联，形成流程图；可以自动调节每个算法节点的参数信息，也可以根据业务需求，来手动配置算法节点中的参数信息；形成流程图后，可点击运行，前端以将算法节点标识、参数信息、以Json的形式进行封装，为每个算法节点添加唯一标识id，构建Json格式的算法节点信息，和配置信息，通过算法节点得id排序，来表示模型搭建结构；再以POST的请求发送给算法端，接收到请求后执行运行脚本，将算法的标识，以及参数信息，带入脚本中，通过脚本的执行调用算法库，来进行模型生成；参数中获取的用户名和实验名，创建上下文件夹，将生成的实验，都放在对应的文件下面，方便管理。如果失败，则返回具体出错步骤得错误信息，运行成功则将生成新的模型，便可以通过模型列表页面，管理自己生成的模型。本模块中设计到模板列表，是提前为用户准备好的实验模型，可供用户直接使用。
本发明通过创建实验准备模型，进行模型开发和训练，实现了流水线式的算法中台构建，具有智能学习的功能，让企业可以将自己的业务不断积累下沉为多个算法模型，以达到复用、组合创新和规模化构建智能服务的目的。
基于上述任一实施例，该方法中步骤S3具体包括：
部署所述实验模型，由所述实验模型的参数自动生成脚本文件，执行所述脚本文件生成容器文件；
创建容器文件对应的容器环境，在所述容器环境内执行预设运行命令，生成运行的容器实例；
导出所述容器实例，获得业务模型。
具体地，对实验模型进行查询、修改、删除、导入、导出、部署管理、监控、统计分析等操作。模型部署时根据模型参数自动生成脚本文件，并执行，生成dockerfile，为要部署的模型自动搭建好对应环境，并执行docker container run.命令，生成一个正在运行的容器实例。容器环境创建好以后，脚本文件会通过“用户名-实验名-模型名称”，找到模型的位置，拷贝到容器里，为了调用模型，需要基本的调用API接口，还需要额外包装一个通信网络层，使用Grpc实现外部或者其他得容器发送请求数据给模型数据，模型容器接收到数据之后，计算，返回给发送端结果。模型导出功能，用户可以将生成后的模型进行导出。
本发明通过对生成的实验模型进行部署管理并导出，能灵活适应各种开发场景和需求。
基于上述任一实施例，该方法步骤S3之后还包括：
待所述业务模型部署完成，通过在线服务对所述业务模型进行管理。
其中，所述待所述业务模型部署完成，通过在线服务对所述业务模型进行管理，具体包括：
待所述业务模型在容器中完成部署后，启动所述在线服务；
通过调取API进行参数传递，对所述业务模型进行预设操作，获得模型运行结果。
具体地，当模型基于Docker部署成功后，便可以在在线服务中管理部署好的模型，如启动、停止、监控、在线调试、服务监控、日志查看、服务降级、扩缩容等操作。
在线服务启动后，可以通过调取API传递参数，获得运行结果。用户停止服务，调用API接口，关闭Docker容器。在默认情况下，Docker没有对容器进行硬件资源的限制，当容器负载过高时会占用宿主机资源，可实时监控内存、cpu，如果内核监控到当前的宿主机超过、限制的资源使用，那么就会主动返回内存异常的报错，并且会Kill杀掉当前容器进程。向管理员发送资源上限的邮件通知，管理员可以采用：扩缩容、服务降级操作，来解决当前问题。在Web模型在线服务的页面中，用户可以修改扩大服务配置，如cpu、内存。也可以关闭一些服务，如模型部署、服务日志、服务监控、在线调试等功能。日志查看模块，用户可以根据时间的检索，来查看日志。事件查看模块，记录平时模型的每一次调用，修改参数、配置等操作。通过Docker容器+Kubernetes容器编排工具完成对模型得集群管理搭建，实现集群的负载均衡。
本发明通过在中大规模智能服务中采用可视化的管理操作，如启动、停止、监控、分配资源、在线调试等功能，实现了方便的管理模型群功能。
下面对本发明提供的算法中台构建系统进行描述，下文描述的算法中台构建系统与上文描述的算法中台构建方法可相互对应参照。
图6是本发明提供的算法中台构建系统的结构示意图，如图6所示，包括：获取模块61、第一处理模块62和第二处理模块63；其中：
获取模块61用于获取需求数据集，对所述需求数据集进行管理，得到实验数据集；第一处理模块62用于将所述实验数据集作为基础数据，进行模型训练和模型开发，生成实验模型；第二处理模块63用于对所述实验模型进行预设管理操作，生成并导出业务模型。
本发明通过构建算法中台，实现了全生命周期管理平台和服务配置体系，基于数据平台服务，通过对智能服务的共享复用，以标准化和自动化实现了对前台业务提供个性智能服务的迅速构建支持。
图7示例了一种电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(CommunicationsInterface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行算法中台构建方法，该方法包括：获取需求数据集，对所述需求数据集进行管理，得到实验数据集；将所述实验数据集作为基础数据，进行模型训练和模型开发，生成实验模型；对所述实验模型进行预设管理操作，生成并导出业务模型。
此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的算法中台构建方法，该方法包括：获取需求数据集，对所述需求数据集进行管理，得到实验数据集；将所述实验数据集作为基础数据，进行模型训练和模型开发，生成实验模型；对所述实验模型进行预设管理操作，生成并导出业务模型。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的算法中台构建方法，该方法包括：获取需求数据集，对所述需求数据集进行管理，得到实验数据集；将所述实验数据集作为基础数据，进行模型训练和模型开发，生成实验模型；对所述实验模型进行预设管理操作，生成并导出业务模型。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种算法中台构建方法，其特征在于，包括：
获取需求数据集，对所述需求数据集进行管理，得到实验数据集；
将所述实验数据集作为基础数据，进行模型训练和模型开发，生成实验模型；
对所述实验模型进行预设管理操作，生成并导出业务模型。
2.根据权利要求1所述的算法中台构建方法，其特征在于，所述对所述实验模型进行预设管理操作，生成并导出业务模型，之后还包括：
待所述业务模型部署完成，通过在线服务对所述业务模型进行管理。
3.根据权利要求1或2所述的算法中台构建方法，其特征在于，所述获取需求数据集，对所述需求数据集进行管理，得到实验数据集，具体包括：
由数据中台的接口获取所述需求数据集，或直接获取用户上传的所述需求数据集；
通过可视化操作对所述需求数据集进行标注、分析和样本采集，获取所述需求数据集的参数信息；
基于所述参数信息从所述需求数据集中提取得到所述实验数据集。
4.根据权利要求1所述的算法中台构建方法，其特征在于，所述将所述实验数据集作为基础数据，进行模型训练和模型开发，生成实验模型，具体包括：
对所述实验数据进行预处理，得到预处理数据集；
选择预设机器学习算法，对所述预处理数据集进行算法节点关联，得到模型流程图；
运行所述模型流程图，由前端将算法节点标识和参数信息以预设交换数据格式进行封装，为每个算法节点添加唯一标识id，以所述唯一标识id进行排序，构建模型基础结构；
以POST请求将所述模型基础结构发送至算法端，由所述算法端执行运行脚本，并通过调用算法库生成所述实验模型。
5.根据权利要求4所述的算法中台构建方法，其特征在于，所述对所述实验数据进行预处理包括采样过滤、数据合并、类型转换、标准化和归一化。
6.根据权利要求1所述的算法中台构建方法，其特征在于，所述对所述实验模型进行预设管理操作，生成并导出业务模型，具体包括：
部署所述实验模型，由所述实验模型的参数自动生成脚本文件，执行所述脚本文件生成容器文件；
创建容器文件对应的容器环境，在所述容器环境内执行预设运行命令，生成运行的容器实例；
导出所述容器实例，获得所述业务模型。
7.根据权利要求1所述的算法中台构建方法，其特征在于，所述待所述业务模型部署完成，通过在线服务对所述业务模型进行管理，具体包括：
待所述业务模型在容器中完成部署后，启动所述在线服务；
通过调取API进行参数传递，对所述业务模型进行预设操作，获得模型运行结果。
8.一种算法中台构建系统，其特征在于，包括：
获取模块，用于获取需求数据集，对所述需求数据集进行管理，得到实验数据集；
第一处理模块，用于将所述实验数据集作为基础数据，进行模型训练和模型开发，生成实验模型；
第二处理模块，用于对所述实验模型进行预设管理操作，生成并导出业务模型。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述算法中台构建方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述算法中台构建方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011484188.3A CN112507623B (zh) | 2020-12-15 | 2020-12-15 | 一种算法中台构建方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011484188.3A CN112507623B (zh) | 2020-12-15 | 2020-12-15 | 一种算法中台构建方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112507623A true CN112507623A (zh) | 2021-03-16 |
| CN112507623B CN112507623B (zh) | 2024-10-11 |
Family
ID=74972540
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011484188.3A Active CN112507623B (zh) | 2020-12-15 | 2020-12-15 | 一种算法中台构建方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112507623B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113393216A (zh) * | 2021-07-01 | 2021-09-14 | 上海牵翼网络科技有限公司 | 一种实验室数字化平台 |
| CN113435126A (zh) * | 2021-07-07 | 2021-09-24 | 魏天骐 | 知识分享处理方法、智能机器人设备、知识分享系统、任务学习系统 |
| CN113792435A (zh) * | 2021-09-16 | 2021-12-14 | 珠海格力电器股份有限公司 | 数据模型建立方法和装置、服务器 |
| CN115733754A (zh) * | 2022-10-11 | 2023-03-03 | 中国电子科技集团公司第二十八研究所 | 基于云原生中台技术的资源管理系统及其弹性构建方法 |
| WO2023082871A1 (zh) * | 2021-11-15 | 2023-05-19 | 中兴通讯股份有限公司 | 流业务建模方法、装置、平台、电子设备和存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015095411A1 (en) * | 2013-12-17 | 2015-06-25 | Atigeo Llc | Automated experimentation platform |
| CN107451663A (zh) * | 2017-07-06 | 2017-12-08 | 阿里巴巴集团控股有限公司 | 算法组件化、基于算法组件建模方法、装置以及电子设备 |
| CN110825362A (zh) * | 2019-11-04 | 2020-02-21 | 广东道一信息技术股份有限公司 | 低代码应用软件开发系统及方法 |
| CN111047190A (zh) * | 2019-12-12 | 2020-04-21 | 广西电网有限责任公司 | 一种基于交互式学习技术的多元化业务建模框架系统 |
| CN111158745A (zh) * | 2019-12-30 | 2020-05-15 | 山东浪潮商用系统有限公司 | 一种基于Docker的数据处理平台 |
| US20200302100A1 (en) * | 2019-03-22 | 2020-09-24 | Optimal Plus Ltd. | Augmented reliability models for design and manufacturing |
-
2020
- 2020-12-15 CN CN202011484188.3A patent/CN112507623B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015095411A1 (en) * | 2013-12-17 | 2015-06-25 | Atigeo Llc | Automated experimentation platform |
| CN107451663A (zh) * | 2017-07-06 | 2017-12-08 | 阿里巴巴集团控股有限公司 | 算法组件化、基于算法组件建模方法、装置以及电子设备 |
| US20200302100A1 (en) * | 2019-03-22 | 2020-09-24 | Optimal Plus Ltd. | Augmented reliability models for design and manufacturing |
| CN110825362A (zh) * | 2019-11-04 | 2020-02-21 | 广东道一信息技术股份有限公司 | 低代码应用软件开发系统及方法 |
| CN111047190A (zh) * | 2019-12-12 | 2020-04-21 | 广西电网有限责任公司 | 一种基于交互式学习技术的多元化业务建模框架系统 |
| CN111158745A (zh) * | 2019-12-30 | 2020-05-15 | 山东浪潮商用系统有限公司 | 一种基于Docker的数据处理平台 |
Non-Patent Citations (1)
| Title |
|---|
| 赵增涛;罗勇;梁成辉;: "电力企业中台云化构建及大数据分析研究", 水电与抽水蓄能, no. 03, 30 June 2020 (2020-06-30) * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113393216A (zh) * | 2021-07-01 | 2021-09-14 | 上海牵翼网络科技有限公司 | 一种实验室数字化平台 |
| CN113435126A (zh) * | 2021-07-07 | 2021-09-24 | 魏天骐 | 知识分享处理方法、智能机器人设备、知识分享系统、任务学习系统 |
| CN113435126B (zh) * | 2021-07-07 | 2024-02-02 | 魏天骐 | 知识分享处理方法、智能机器人设备、知识分享系统、任务学习系统 |
| CN113792435A (zh) * | 2021-09-16 | 2021-12-14 | 珠海格力电器股份有限公司 | 数据模型建立方法和装置、服务器 |
| WO2023082871A1 (zh) * | 2021-11-15 | 2023-05-19 | 中兴通讯股份有限公司 | 流业务建模方法、装置、平台、电子设备和存储介质 |
| CN115733754A (zh) * | 2022-10-11 | 2023-03-03 | 中国电子科技集团公司第二十八研究所 | 基于云原生中台技术的资源管理系统及其弹性构建方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112507623B (zh) | 2024-10-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3798846B1 (en) | Operation and maintenance system and method | |
| CN112507623A (zh) | 一种算法中台构建方法及系统 | |
| Symeonidis et al. | Mlops-definitions, tools and challenges | |
| US20230195845A1 (en) | Fast annotation of samples for machine learning model development | |
| CN107943463B (zh) | 交互式自动化大数据分析应用开发系统 | |
| CN108521339B (zh) | 一种基于集群日志的反馈式节点故障处理方法及系统 | |
| CN107957940B (zh) | 一种测试日志处理方法、系统及终端 | |
| CN111026409A (zh) | 一种自动监控方法、装置、终端设备及计算机存储介质 | |
| US11263072B2 (en) | Recovery of application from error | |
| CN107015901B (zh) | 一种日志分析方法及装置 | |
| CN109165170A (zh) | 一种自动化请求测试的方法及系统 | |
| CN111813661A (zh) | 一种全局业务数据驱动自动测试方法、装置、设备和介质 | |
| US12056520B2 (en) | Graph-based diagnostics and recovery for cloud system | |
| CN112822440B (zh) | 生物样本制备监控方法、应用服务器、系统及存储介质 | |
| CN110249312A (zh) | 数据集成作业转换 | |
| CN113516244A (zh) | 一种智能运维方法、装置、电子设备及存储介质 | |
| CN116361147A (zh) | 测试用例根因定位方法及其装置、设备、介质、产品 | |
| Niranjan | Jenkins pipelines: A novel approach to machine learning operations (mlops) | |
| CN117421231A (zh) | 一种软件自动化测试方法、系统和装置 | |
| CN111506305A (zh) | 工具包生成方法、装置、计算机设备及可读存储介质 | |
| CN111277427A (zh) | 一种数据中心网络设备的巡检方法及系统 | |
| CN112182413B (zh) | 一种基于教学大数据的智能推荐方法及服务器 | |
| CN114359670A (zh) | 非结构化数据标注方法、装置、计算机设备及存储介质 | |
| CN114003599A (zh) | 海量医疗图像的处理系统、系统训练方法及图像标注方法 | |
| CN113238901A (zh) | 多设备的自动化测试方法及装置、存储介质、计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |