CN110276456B

CN110276456B - 一种机器学习模型辅助构建方法、系统、设备及介质

Info

Publication number: CN110276456B
Application number: CN201910537692.6A
Authority: CN
Inventors: 刘士军; 杨震; 潘丽; 徐奎; 杨承磊; 郭威; 刘帆; 郭芳芳; 魏蕊蕊
Original assignee: Shandong University
Current assignee: Shandong University
Priority date: 2019-06-20
Filing date: 2019-06-20
Publication date: 2021-08-20
Anticipated expiration: 2039-06-20
Also published as: CN110276456A

Abstract

本公开公开了一种机器学习模型辅助构建方法、系统、设备及介质，接收用户输入的机器学习领域关键词、待分类机器学习数据集和已知分类标签；将机器学习领域关键词与关键词数据库中的关键词进行逐一匹配；如果匹配成功，就表示存在领域匹配的机器学习模型，进入模型优化步骤；如果匹配失败，则表示不存在领域匹配的机器学习模型，进入推荐步骤；模型优化步骤：将领域匹配的机器学习模型对应的待调整参数名称、每个待调整参数的参数范围和每次调整的增减步长范围通过web交互页面反馈给用户；基于用户输入对领域匹配的机器学习模型的参数进行优化，输出参数后化后的机器学习模型；推荐步骤：将其他领域若干个预设推荐的机器学习模型反馈给用户。

Description

一种机器学习模型辅助构建方法、系统、设备及介质

技术领域

本公开涉及机器学习模型辅助构建技术领域，特别是涉及一种机器学习模型辅助构建方法、系统、设备及介质。

背景技术

本部分的陈述仅仅是提到了与本公开相关的背景技术，并不必然构成现有技术。

在实现本公开的过程中，发明人发现现有技术中存在以下技术问题：

近年来，随着计算科学、信息技术以及计算机等的高速发展和迅速应用，相关行业使用的应用系统急速扩展，随之而来产生的数据呈现几何指数增长。这种大数据无法使用传统和常用的软件技术和工具在特定时间内完成获取、管理和处理的数据集合。

其中，机器学习技术普遍被用于数据记录中挖掘出有益的价值，然而，一大难题在于缺少有效易用的机器学习工具，很多现有的机器学习平台都仅面向精通机器学习技术的使用者，因此，即便是精通机器学习技术的使用者也难以有效地操作目前的机器学习工具。实际上，要想培养出精通机器学习的技术专家，需要花费大量的时间和精力，这使得人工智能技术的应用存在较高的人才门槛。另一方面，数据模型的预测效果与模型的选择、可用的数据和特征的提取等都有关系，例如，在确定特征提取方式的过程中，往往不仅需要掌握机器学习的技术知识，还需要对实际预测问题有深入的理解，而预测问题往往结合着不同行业的不同实践经验，导致很难仅依靠技术专家来达到满意的机器学习效果。因此，如何提出相应的措施改进机器学习过程中工具的便利操作性，解决传统手动调参静态组合参数过程繁琐、耗时费力为问题,以帮助不同用户更好地执行机器学习流程是亟需解决的技术问题。

发明内容

为了解决现有技术的不足，本公开提供了一种机器学习模型辅助构建方法、系统、设备及介质；

第一方面，本公开提供了一种机器学习模型辅助构建方法；

一种机器学习模型辅助构建方法，包括：

接收步骤：接收用户输入的机器学习领域关键词、待分类机器学习数据集和已知分类标签；

关键词匹配步骤：将机器学习领域关键词与关键词数据库中的关键词进行逐一匹配；

如果匹配成功，就表示存在领域匹配的机器学习模型，进入模型优化步骤；

如果匹配失败，则表示不存在领域匹配的机器学习模型，进入推荐步骤；

模型优化步骤：将领域匹配的机器学习模型对应的待调整参数名称、每个待调整参数的参数范围和每次调整的增减步长范围通过web交互页面反馈给用户；接收用户输入的重新设置后的待调整参数和增减步长；基于用户输入的重新设置后的待调整参数和增减步长，对领域匹配的机器学习模型的参数进行优化，输出参数后化后的机器学习模型；

推荐步骤：将其他领域若干个预设推荐的机器学习模型通过web交互页面反馈给用户。

第二方面，本公开还提供了一种机器学习模型辅助构建系统；

一种机器学习模型辅助构建系统，包括：

接收模块，其被配置为：接收用户输入的机器学习领域关键词、待分类机器学习数据集和已知分类标签；

领域关键词匹配模块，其被配置为：将机器学习领域关键词与关键词数据库中的关键词进行逐一匹配；

如果匹配成功，就表示存在领域匹配的机器学习模型，进入机器学习模型优化模块；

如果匹配失败，则表示不存在领域匹配的机器学习模型，进入推荐模块；

机器学习模型优化模块，其被配置为：将领域匹配的机器学习模型对应的待调整参数名称、每个待调整参数的参数范围和每次调整的增减步长范围通过web交互页面反馈给用户；接收用户输入的重新设置后的待调整参数和增减步长；基于用户输入的重新设置后的待调整参数和增减步长，对领域匹配的机器学习模型的参数进行优化，输出参数后化后的机器学习模型；

推荐模块，其被配置为：将其他领域若干个预设推荐的机器学习模型通过web交互页面反馈给用户。

第三方面，本公开还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述方法的步骤。

第四方面，本公开还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述方法的步骤。

与现有技术相比，本公开的有益效果是：

解决了传统手动调参静态组合参数过程繁琐、耗时费力为问题。方法利用流程图的形式让用户通过简便的拖拉拽的操作设置机器学习模型的基本结构；根据业务自动推断参数和进行参数的组合；并对搜集的测试数据进行分析，根据测试结果和分析目标来动态优化参数设置，采用软件代理自动实现参数的调整；从而快捷便利地实现分析模型的动态优化；达到“模型产生数据，数据优化模型”的效果。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1为第一个实施例的方法流程图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例一，本实施例提供了一种机器学习模型辅助构建方法；

如图1所示，一种机器学习模型辅助构建方法，包括：

S1：接收用户输入的机器学习领域关键词、待分类机器学习数据集和已知分类标签；

S2：将机器学习领域关键词与关键词数据库中的关键词进行逐一匹配；

如果匹配成功，就表示存在领域匹配的机器学习模型，进入步骤S3；

如果匹配失败，则表示不存在领域匹配的机器学习模型，进入步骤S4；

S3：将领域匹配的机器学习模型对应的待调整参数名称、每个待调整参数的参数范围和每次调整的增减步长范围通过web交互页面反馈给用户；接收用户输入的重新设置后的待调整参数和增减步长；基于用户输入的重新设置后的待调整参数和增减步长，对领域匹配的机器学习模型的参数进行优化，输出参数后化后的机器学习模型；

S4：将其他领域若干个预设推荐的机器学习模型通过web交互页面反馈给用户。

作为一个或多个实施例，如果用户对选择的机器学习模型进行优化，则返回步骤S1。

作为一个或多个实施例，所述机器学习领域关键词，包括以下领域的一种或多种：文本领域、图像领域、语音领域或视频领域。

作为一个或多个实施例，所述基于用户输入的重新设置后的待调整参数和增减步长，对领域匹配的机器学习模型的参数进行优化，输出参数后化后的机器学习模型；具体步骤包括：

待分类的机器学习数据集和已知分类标签均输入到重新设置后的领域匹配的机器学习模型中进行训练，输出每次训练后的分类准确率和计算速度；反复训练，直至得到分类准确率最高的机器学习模型和计算速度最快的机器学习模型，将分类准确率最高的机器学习模型和计算速度最快的机器学习模型通过web交互页面反馈给用户；根据用户最终选择指令，将对应的机器学习模型发送给客户端；结束。

作为一个或多个实施例，将其他领域若干个预设推荐的机器学习模型通过web交互页面反馈给用户步骤之后，还包括：

根据用户输入的选择指令，从若干个预设推荐的机器学习模型中选择若干个机器学习模型；

将机器学习数据集输入到被选择的每个机器学习模型中进行训练，输出被选择的每个机器学习模型的分类准确率和计算速度；将分类准确率最高的机器学习模型通过web交互页面反馈给用户；将计算速度最快的机器学习模型通过web交互页面反馈给用户；根据用户最终选择指令，将对应的机器学习模型发送给客户端；结束。

作为一个或多个实施例，步骤S4还包括：web交互页面接收用户对web交互页面算法组件的选择指令，根据对web交互页面算法组件的选择指令自主创建的机器学习模型。

应理解的，所述web交互页面算法组件，包括以下组件的一种或多种：数据预处理组件、特征提取组件、分类算法组件、聚类算法组件、回归算法组件、推荐算法组件。

作为一个或多个实施例，web交互页面接收用户对web交互页面算法组件的选择指令，根据对web交互页面算法组件的选择指令自主创建的机器学习模型，具体步骤包括：

根据用户选择指令，将所选择的算法组件按照机器学习模型设定的算法执行顺序建立排序，保存到机器学习模型信息表中；所述机器学习模型信息表，包括：模型项目名称、模型项目编码、所选择的算法组件及算法组件的属性信息；

根据预设的算法组件节点信息表读取算法组件节点信息；所述算法组件节点信息，包括：算法组件节点的位置信息、算法组件节点的父节点信息和算法组件子节点信息；

将机器学习模型信息表中的各个算法组件视为机器学习模型的节点，父节点为选定节点的上一节点，并行节点为选定节点具有共同父节点的节点；

如果用户所选择的算法组件彼此之间存在父节点与子节点之间的关系，则将两个算法组件进行连接；

如果用户所选择的算法组件之间不存在父节点与子节点之间的关系，则从预设的算法组件节点信息表已有的算法组件中为当前算法组件的查找父节点；同时从预设的算法组件节点信息表已有的算法组件中为当前算法组件的查找子节点；将查找到的父节点或子节点通过web交互页面推荐给用户，并接收用户对查找到的父节点或子节点的选择指令；

直至所有的算法组件被依次连接，最终得到自主创建的机器学习模型。

两个进行连接的所述机器学习模型所需的算法组件按照所述模型项目设定顺序依次为父组件和子组件，不按照设定算法执行顺序连接，则无法建立连接，比如执行Kmean算法组件后不可连接读取数据的算法组件。

算法组件的属性信息，例如：随机森林算法属性为树个数，树深度、训练列、目标列等参数。

实施例二，本实施例提供了一种机器学习模型辅助构建系统；

一种机器学习模型辅助构建系统，包括：

实施例三，本实施例还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成方法中的各个操作，为了简洁，在此不再赘述。

所述电子设备可以是移动终端以及非移动终端，非移动终端包括台式计算机，移动终端包括智能手机(Smart Phone，如Android手机、IOS手机等)、智能眼镜、智能手表、智能手环、平板电脑、笔记本电脑、个人数字助理等可以进行无线通信的移动互联网设备。

应理解，在本公开中，该处理器可以是中央处理单元CPU，该处理器还算可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

该存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。

在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本公开所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其他的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能的划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外一点，所显示或讨论的相互之间的耦合或者直接耦合或者通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims

1.一种机器学习模型辅助构建方法，其特征是，包括：

如果匹配成功，就表示存在领域匹配的机器学习模型，进入模型优化步骤，

推荐步骤：将其他领域若干个预设推荐的机器学习模型通过web交互页面反馈给用户，包括：web交互页面接收用户对web交互页面算法组件的选择指令，根据对web交互页面算法组件的选择指令自主创建的机器学习模型；

根据业务自动推断参数和进行参数的组合；并对搜集的测试数据进行分析，根据测试结果和分析目标来动态优化参数设置，采用软件代理自动实现参数的调整。

2.如权利要求1所述的方法，其特征是，如果用户对选择的机器学习模型进行优化，则返回接收步骤。

3.如权利要求1所述的方法，其特征是，所述基于用户输入的重新设置后的待调整参数和增减步长，对领域匹配的机器学习模型的参数进行优化，输出参数后化后的机器学习模型；具体步骤包括：

4.如权利要求1所述的方法，其特征是，将其他领域若干个预设推荐的机器学习模型通过web交互页面反馈给用户步骤之后，还包括：

5.如权利要求1所述的方法，其特征是，所述web交互页面算法组件，包括以下组件的一种或多种：数据预处理组件、特征提取组件、分类算法组件、聚类算法组件、回归算法组件、推荐算法组件。

6.如权利要求1所述的方法，其特征是，web交互页面接收用户对web交互页面算法组件的选择指令，根据对web交互页面算法组件的选择指令自主创建的机器学习模型，具体步骤包括：

7.一种机器学习模型辅助构建系统，其特征是，包括：

推荐模块，其被配置为：将其他领域若干个预设推荐的机器学习模型通过web交互页面反馈给用户，包括：web交互页面接收用户对web交互页面算法组件的选择指令，根据对web交互页面算法组件的选择指令自主创建的机器学习模型；

8.一种电子设备，其特征是，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-6任一项方法所述的步骤。

9.一种计算机可读存储介质，其特征是，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-6任一项方法所述的步骤。