CN115794078A - 无代码ai模型开发系统和方法 - Google Patents

Abstract

本发明公开了无代码AI模型开发系统和方法，方法包括从数据库中抽取数据，并对稀疏的时序数据按要求进行转换；设置AI建模web前端，用于通过拖拉拽方式，在指定画布上设置数据输入、数据输出和添加AI算法，获取AI模型配置信息；设置AI建模web后端，接收AI建模web前端的触发信号，响应于所述触发信号，根据AI模型配置信息，构建AI建模服务；对AI建模服务获取的AI模型进行训练，最终获得满足要求的AI模型。本发明通过可视化方法训练AI模型，提升了AI应用开发的便捷性和灵活性，通过选择数据和AI算法并利用训练模型进行训练，获得AI模型方式，无需再编写代码，降低了AI应用开发的门槛。

Description

无代码AI模型开发系统和方法

技术领域

本发明属于人工智能技术领域，具体涉及无代码AI模型开发系统、方法。

背景技术

发电厂运行、检修和管理过程中会产生大量数据，对这些数据挖掘价值并赋能智能应用，支撑电力设备故障诊断、优化运行等智能化应用，打造数据全流程的融合应用成为当前电力企业数字化转型中迫切的需求。当前，电力AI智能应用往往依托软件编码人员进行工业智能模型的开发，并经信息专业人员提交到模型运行环境下，模型计算的结果支持各种智能化应用。这种需要编码人员参与的AI模型开发方式的门槛较高，需要开发者有较好的编程能力，而懂业务的电厂专工、科研院所业务专家未必具有编码能力。随着工程模型的复杂度增高，编码工程师和算法工程师之间的沟通成本越来越大。上述这些是影响电力智能化应用孵化效率的重要影响因素。

发明内容

本发明要解决的问题是弥补现有技术的缺陷，提供一种B/S方式可视化的AI模型开发系统，采用无代码的方式降低智能模型开发门槛，满足没有编码经验的专业技术人员能够参与AI模型的开发。

为实现上述技术目的，本发明采用了以下技术方案。

第一方面，本发明提供了无代码AI模型开发系统，包括：数据抽取模块和可视化建模服务模块；

所述数据抽取模块，用于从数据库中抽取数据，并对稀疏的时序数据按要求进行转换；

所述可视化建模服务模块，包括AI建模web前端和AI建模web后端；

所述AI建模web前端，用于通过拖拉拽方式，在指定画布上设置数据输入、数据输出和添加AI算法，获取AI模型配置信息；所述AI建模web后端，包括AI模型训练服务模块，所述模型训练模块用于接收AI建模web前端的触发信号，响应于所述触发信号，根据获取AI模型配置信息，构建AI建模服务；对AI建模服务获取的AI模型进行训练，最终获得满足要求的AI模型。

进一步地，所述系统还包括模型共享模块，用于基于获得的AI模型，将所述AI模型转换成PMML格式文件，并通过PMML生成接口将所述AI模型的PMML格式文件导出。

进一步地，所述模型共享模块，具体用于基于sklearn、pandas的PMML生成接口，并经统一封装成restful接口服务的方式，提供PMML文件的解析、打包、管理和下载服务。

进一步地，所述可视化建模服务模块采用基于vue3和vite3的前端框架及其组件。

进一步地，所述数据抽取模块，还用于对稀疏的时序数据进行数据转换，获得满足要求的数据结构。

进一步地，数据抽取模块为基于DataX开发，实现了对iotdb时序数据库的连接。

进一步地，所述AI模型训练服务模块，还用于将模型中相关算法参数、前后关系等元数据信息保存在postgresql关系数据库中。

第二方面，本发明提供了无代码AI模型开发方法，包括：

从数据库中抽取数据，并对稀疏的时序数据按要求进行转换；

设置AI建模web前端，用于通过拖拉拽方式，在指定画布上设置数据输入、数据输出和添加AI算法，获取AI模型配置信息；

设置AI建模web后端，接收AI建模web前端的触发信号，响应于所述触发信号，根据AI模型配置信息，构建AI建模服务；对AI建模服务获取的AI模型进行训练，最终获得满足要求的AI模型。

进一步地，所述方法还包括基于获得的AI模型，将所述AI模型转换成PMML格式文件，并通过PMML生成接口将所述AI模型的PMML格式文件导出。

进一步地，将PMML格式文件导出的方法包括：基于sklearn、pandas的PMML生成接口，并经统一封装成restful接口服务的方式，提供PMML文件的解析、打包、管理和下载服务。

本发明所取得有益技术效果：

本发明通过可视化方法训练AI模型，提升了AI应用开发的便捷性和灵活性，通过选择数据和AI算法并利用训练模型进行训练，获得AI模型方式，无需再编写代码，降低了AI应用开发的门槛。

本发明还支持AI模型在不同AI计算平台之间的共享问题，支持PMML的模型导出功能，实现了AI模型共享。

附图说明

图1是实施例提供的AI模型开发系统结构示意图；

图2是实施例提供的AI建模流程示意图；

图3是实施例中AI模型开发技术栈图；

图4是实施例中AI建模画布示意图；

图5是实施例中AI建模数据流示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

实施例一

如图1所示，AI模型开发系统包括：数据抽取模块和可视化建模服务模块；

所述数据抽取模块，用于从数据库中抽取数据，并对稀疏的时序数据按要求进行转换；

所述可视化建模服务模块，包括AI建模web前端和AI建模web后端；

所述AI建模web前端，用于通过拖拉拽方式，在指定画布上设置数据输入、数据输出和添加AI算法，获取AI模型配置信息；所述AI建模web后端，包括AI模型训练模块，所述模型训练模块用于接收AI建模web前端的触发信号，响应于所述触发信号，根据AI模型配置信息，构建AI建模服务；对AI建模服务获取的AI模型进行训练，最终获得满足要求的AI模型。

可视化建模服务模块采用前后端分离架构，主要组成部分包括AI建模web前端、AI建模web后端两部分。

AI建模web前端分为设定格式数据的获取、建模画布、算法参数配置、算法列表四个区域。

web后端分为微服务基础组件、获取AI模型配置信息获取服务、建模流程服务、算法管理服务等部分。

web前端采用vue3+vite3框架开发用户界面，内置支持托拉拽方式的画布模块，定制工作流程组件获得AI模型配置信息。画布组件包括框图、连接线。

Web后端利用Spring Boot框架构建AI建模服务，将postgresql数据库作为配置数据库，保存建模流程过程配置信息的元数据。

AI模型训练服务模块基于python3开发，并集成pandas、sklearn、tensorflow等计算框架，主要包括：网关服务模块、模型训练服务模块、PMML操作模块、IO模块、任务调度模块、结果可视化模块等。

网关服务模块基于Spring Cloud Gateway的Filter开发。

AI模型训练服务模块，将postgresql数据库作为配置信息库，保存训练过程配置信息的元数据。

任务调度模块，集成XXL-JOB任务调度工具，实现训练任务的提交和管理。

IO模块，包括数据库操作、http请求响应、PMML文件导入、PMML文件下载等功能包。

本发明中AI建模、训练及共享服务，形成了一站式AI开发功能，实现了从模型建立、模型训练、模型导出的AI开发全过程的管理，能够满足电力一线、科研院所、专业公司等没有编码能力的专业技术开发者，促进AI生态的发展。

具体实施例提供的AI模型开发系统的技术栈如图3所示，总体依托web发布相关技术，融合python人工智能算法基础组件，主要使用的技术围绕AI建模和训练两大功能模块展开。

数据抽取模块基于DataX开发，并在DataX基础上，实现了对iotdb时序数据库的连接模块，并在数据抽取过程支持针对稀疏的时序数据转换功能。

AI建模web后端采用基于java jvm的Spring Boot框架、权限服务、网关组件、基础数据服务；

AI建模web前端采用基于vue3和vite3的前端框架及其组件；

可视化建模整体发布流程是基于Docker容器化组件。

AI模型训练服务模块，包括sklearn、pandas、tensorflow等基础算法组件，以及python3服务组件、任务调度服务组件、模型管理等模块。

实施例二

以上实施例，在本实施例中，所述系统还包括模型共享；所述模型共享基于sklearn、pandas的PMML生成接口，并经该系统统一封装成restful接口服务的方式，提供PMML文件的解析、打包、管理、下载服务。sklearn采用sklearn2pmml库函数。PMML格式文件本质上是一种xml格式文件，按照智能模型共享要求设置相关xml的节点信息。

PMML版本为4.4，系统支持的AI模型包括：关联规则、基线模型、聚类、回归、K最邻近法（KNN）、神经网络、支持向量机(SVM)、贝叶斯、序列、时间序列、决策树、规则集。

实施例三

本实施例提供了一种可视化的无代码方式的AI模型开发方法。开发流程如图2所示，分以下几个步骤。

第一步，数据抽取模块将样本数据从外部数据源全量抽取到可视化建模服务模块上。数据源支持关系数据库、时序数据库。在数据抽取的过程支持简单的数据转换，包括字段变更(转换)、时序数据修匀（补齐）、时序数据修匀（删减）等数据转换函数。数据经抽取到了hdfs上，保存成csv格式的样本数据文件。

第二步，可视化建模服务模块的web前端，通过托拉拽方式的可视化建模。在web前端上，将数据输入、数据输出、算法添加到画布上；根据业务特性建立AI业务模型，并将模型中相关算法参数、前后关系等元数据信息保存在postgresql关系数据库中。

第三步，模型训练。web页面上的按钮触发可视化建模服务模块的web后端服务，web后端服务驱动基于python的模型训练模块的训练，支持单步调试方式，中间过程数据可视化，优化模型参数和流程。在训练过程中，样本数据经矩阵转置、归一化等数据处理后，再训练建模，并结果数据输出到HDFS上的csv格式结果样本数据。

第四步，训练好的模型进行模型发布和共享，系统提供逻辑转换模块，将训练好的模型转换成PMML格式文件，支持模型导出。

具体实施例中，数据抽取模块采用一种关系型、时序型数据的全量抽取工具和方法。本发明集成了关系数据库、时序数据库两种数据源及其数据抽取、转换工具。数据抽取模块是基于开源项目DataX的二次开发，主要组成内容包括数据抽取、数据转换、数据转存。数据抽取方法是针对表数据采用全量数据抽取，数据抽取到HDFS（Hadoop DistributedFile System）分布式文件系统，存储介质为csv格式文件，作为样本数据。本发明在DataX基础上增加iotdb数据源接口，并集成针对时序数据的自定义转换函数，将稀疏的时序数据按等间隔逻辑修均匀，修匀的规则为按时间顺序的前值填补，即用该测点前一个时刻值填补该时刻空缺值，修匀后的数据以csv格式转存到hdfs上，作为样本数据。

具体实施例中，可视化建模服务模块采用基于web前端技术的可视化建模工具和方法，如图4所示，实现了托拉拽的形式进行可视化模型绘制。绘制方法为鼠标点击页面左侧待选AI算法后，拖动至绘图区域(画布)后松开鼠标，即实现了AI算法的添加。AI算法以矩形框并内嵌算法名称，算法之间的数据交互以连接曲线标识。算法矩形图标可以删除，数据交互的曲线的两个端点，可以修改上下级算法框。建模画布如示意图3所示。所有配置信息元数据保存在postgresql数据库中。数据库中配置信息元数据主要的表包括：基础算法信息库、AI模型信息库。基础算法信息库保存系统已经集成的基础AI算法信息，主要属性包括算法名称(varchar)、算法参数(text/json)、时间(datetime)、算法类型(int8)。AI模型信息库保存已建算法模型，主要属性包括模型名称(varchar)、数据源参数(text)、模型参数(text/json)、时间(datetime)。

具体实施例中， AI模型训练服务模块主要包括模型训练管理及相关接口、sklearn的机器学习框架、tensorflow的深度学习框架。AI模型训练管理主要包括HDFS样本数据读取、模型信息读取、任务调度、消息传输等功能组件。sklearn机器学习和tensorflow深度学习框架经pip3安装部署在服务器节点中，为AI模型训练管理模块中的任务调度模块调度相关算法提供环境支持。

数据抽取模块对数据流转格式的方法如图5所示。数据源中原始数据格式为关系数据二维表、时序数据数组格式。其中，时序数据为从时序数据库SDK接口中读取的二维时序数组，包括测点值(value)和测点时间(data time)两个维度数组。原始数据经DataX数据抽取后保存在HDFS上后为csv的文本格式的样本数据格式,样本数据第一行为属性行，逗号分割，第二行起为数据，每行内部逗号分割。样本数据经特征工程、模型训练后成结果数据，为csv格式文本，结果数据第一行为属性行，如果有多组结果，用逗号分割，第二行起为结果数据，每行内部逗号分割。结果数据保存在HDFS中的样本库中。需要导出结果时，用DataX导出到外部关系数据库中。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

以上结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (10)

1.无代码AI模型开发系统，其特征在于，包括：数据抽取模块和可视化建模服务模块；

所述数据抽取模块，用于从数据库中抽取数据，并对稀疏的时序数据按要求进行转换；

所述可视化建模服务模块，包括AI建模web前端和AI建模web后端；

所述AI建模web前端，用于通过拖拉拽方式，在指定画布上设置数据输入、数据输出和添加AI算法，获取AI模型配置信息；所述AI建模web后端，包括AI模型训练服务模块，所述模型训练模块用于接收AI建模web前端的触发信号，响应于所述触发信号，根据获取AI模型配置信息，构建AI建模服务；对AI建模服务获取的AI模型进行训练，最终获得满足要求的AI模型。

2.根据权利要求1所述的无代码AI模型开发系统，其特征在于，所述系统还包括模型共享模块，用于基于获得的AI模型，将所述AI模型转换成PMML格式文件，并通过PMML生成接口将所述AI模型的PMML格式文件导出。

3.根据权利要求1所述的无代码AI模型开发系统，其特征在于，所述模型共享模块，具体用于基于sklearn、pandas的PMML生成接口，并经统一封装成restful接口服务的方式，提供PMML文件的解析、打包、管理和下载服务。

4.根据权利要求1所述的无代码AI模型开发系统，其特征在于，所述可视化建模服务模块采用基于vue3和vite3的前端框架及其组件。

5.根据权利要求1所述的无代码AI模型开发系统，其特征在于，所述数据抽取模块，还用于对稀疏的时序数据进行数据转换，获得满足要求的数据结构。

6.根据权利要求1所述的无代码AI模型开发系统，其特征在于， 数据抽取模块为基于DataX开发，实现了对iotdb时序数据库的连接。

7.根据权利要求1所述的无代码AI模型开发系统，其特征在于，

所述AI模型训练服务模块，还用于将模型中相关算法参数、前后关系等元数据信息保存在postgresql关系数据库中。

8.无代码AI模型开发方法，其特征在于，包括：

从数据库中抽取数据，并对稀疏的时序数据按要求进行转换；

设置AI建模web前端，用于通过拖拉拽方式，在指定画布上设置数据输入、数据输出和添加AI算法，获取AI模型配置信息；

设置AI建模web后端，接收AI建模web前端的触发信号，响应于所述触发信号，根据AI模型配置信息，构建AI建模服务；对AI建模服务获取的AI模型进行训练，最终获得满足要求的AI模型。

9.根据权利要求8所述的无代码AI模型开发方法，其特征在于，所述方法还包括基于获得的AI模型，将所述AI模型转换成PMML格式文件，并通过PMML生成接口将所述AI模型的PMML格式文件导出。

10.根据权利要求8所述的无代码AI模型开发方法，其特征在于，将PMML格式文件导出的方法包括：基于sklearn、pandas的PMML生成接口，并经统一封装成restful接口服务的方式，提供PMML文件的解析、打包、管理和下载服务。

Images