CN112183768A - 一种基于语义网的机器学习流程智能组装方法(面向深度学习) - Google Patents

Abstract

本发明提出一种基于语义网的机器学习流程智能组装方法(面向深度学习)，包括以下步骤；步骤S1：从不同框架所支持的预处理方法中任选几种作为图像数据的预处理方法，以自动或手动的方式；步骤S2：从不同框架所支持的模型结构中选取网络结构，以自动或手动的方式；步骤S3：从不同框架所支持的优化器中选取训练过程中将要使用的优化器，以自动或手动的方式；步骤S4：建立语义模型描述上述三个步骤所选取的不同框架各算法模块的功能，进行组装，构建机器学习模型训练流程，进行模型训练与结果评估；流程的智能组装与训练评估流程可重复进行，保留效果最好的模型作为最终模型；本发明能够有效地针对机器学习中深度学习的流程进行智能组装与自动探索。

Description

一种基于语义网的机器学习流程智能组装方法(面向深度学 习)

技术领域

本发明涉及机器学习与深度学习技术领域，尤其是一种基于语义网的机器学习流程智能组装方法(面向深度学习)。

背景技术

机器学习基础设施是大数据在各行业广泛应用和高效整合的核心前提。然而，机器学习算法框架的异构性、机器学习流程组装的多样性、软硬件资源管理的复杂性等，都给机器学习基础设施构建带来了极大挑战。

发明内容

本发明提出一种基于语义网的机器学习流程智能组装方法(面向深度学习)，能够有效地针对机器学习中深度学习的流程进行智能组装与自动探索。

本发明采用以下技术方案。

一种基于语义网的机器学习流程智能组装方法(面向深度学习)，可面向深度学习来生成机器学习模型，包括以下步骤；

步骤S1：从不同机器学习算法框架所支持的预处理方法中任选几种作为图像数据的预处理方法，可采取自动或手动的方式；

步骤S2：从不同机器学习算法框架所支持的模型结构中选取网络结构，可采取自动或手动的方式；

步骤S3：从不同机器学习算法框架所支持的优化器中选取训练过程中将要使用的优化器，可采取自动或手动的方式；

步骤S4：基于语义网建立统一的语义模型，系统性描述上述三个步骤所选取的不同机器学习算法框架各算法模块的功能，面向神经网络学习流程进行组装，构建机器学习模型训练流程，进行模型的训练与结果的评估；所述流程的智能组装与训练评估流程可重复进行，并保留效果最好的模型作为最终模型。

所述步骤S1包括以下步骤；

步骤S11：从包括但不局限于Pytorch、Tensorflow的深度学习框架所支持的预处理方法中采用代码自动生成或者手动选取的方式选取若干项作为图像数据的预处理方法；

步骤S12：通过整合封装不同框架的方法，来制定不同框架间通用的数据流格式，用于支持跨框架的数据处理流程；在数据处理流程的执行引擎运行期间，数据流在框架内的流动采用专有的格式，在框架间的流动采用规定的通用格式；

进一步地，步骤S1中，所述预处理包括但不限于：随机水平偏移、随机垂偏移、边缘填充、随机位置剪裁、中心剪裁、随机大小剪裁、改变大小、随机水平翻转、随机垂直翻转、亮度抖动、对比度抖动、色相抖动、饱和度抖动、随机旋转、灰度化、随机灰度化、归一化、随机擦除。

所述步骤S2包括以下步骤；

步骤S21：从包括但不局限于Pytorch、Tensorflow的深度学习框架所支持的模型结构中采用代码自动生成或者手动选取的方式选取网络结构；

步骤S22：通过对不同框架模型的封装，将模型的输入输出统一为指定的通用格式；在神经网络训练流程运行期间，数据流在模型与预处理之间、模型与优化器之间的流动采用通用格式，在模型内的流动采用专有格式；

进一步地，步骤S2中，所述网络结构包括但不限于：Alexnet、VGG11、VGG 13、VGG 16、VGG 19、ResNet18、ResNet34、ResNet50、ResNet101、ResNet152、SqueezeNet、DenseNet、InceptionV3、MobilenetV2、Xception、Efficientnetb0、Efficientnetb1、Efficientnetb2、Efficientnetb3、Efficientnetb4、Efficientnetb5、Efficientnetb6、Efficientnetb7、EfficientnetL2。

所述步骤S3包括以下步骤；

步骤S31： 从包括但不局限于Pytorch、Tensorflow的深度学习框架所支持的优化器中采用代码自动生成或者手动选取的方式选取训练过程中将要使用的优化器；

步骤S32：通过对选定优化器的封装，将不同框架优化器的输入输出统一为相同的格式；在优化器与模型间以及优化器的输出采用通用的数据流格式，优化器内部采用特定框架所支持的数据流格式；

进一步地，步骤S3中，所述优化器包括但不限于：SGD、Adam、AdaDelta、AdaGrad、Adamax、RMSProp、AdamW、RProp、NAdam。

所述步骤S4包括以下步骤；

步骤S41：对步骤S1的预处理方法、S2的网络结构、S3的优化器进行拼装，以配置文件形式进行导出；

步骤S42：从已保存的配置文件中读取并构建数据的处理训练流程，基于Python语言搭建具备智能化集成化特征的机器学习流程组装工具，并以机器学习流程组装工具的执行引擎进行数据的处理与模型的训练；制定不同框架间通用的数据流格式，支持跨框架的数据处理流程；在执行引擎运行期间，数据流在框架内的流动采用专有的格式，在框架间的流动采用规定的通用格式；此外，采用统一的监控机制来对整个数据流的流动执行过程进行全面的记录。

步骤S43：对训练完成的模型进行性能评估，对表现达到预期效果的模型的权重及配置文件进行保存；同时，进行下一次流程智能组装与模型训练评估，以自动设计具有针对性的模块拼装方法。

与现有技术相比，本发明的方案是构建基于语义网络的机器学习流程智能组装方法(面向深度学习)，有以下有益效果：

1、本发明能够有效地对机器学习中深度学习的流程进行智能组装与自动探索，极大方便了后续工作的展开。

2、本发明通过建立统一的机器学习编程模型，可以做到不受限于特定的框架，实现跨框架的机器学习算法模块的组装，便于集成各个框架算法模块的优点。

3、针对深度学习算法模块多，组装组合多的特点，本发明在提供手工定制组装的同时，还支持自动组装的方式。组装的流程以统一的配置文件格式进行存储。便于机器学习流程的快速组装与实现。

4、针对手动构建机器学习算法流程低效繁琐的特点，本发明通过对流程的智能组装与自动探索，能够自动探索出性能较优的算法流程。

附图说明

下面结合附图和具体实施方式对本发明进一步详细的说明：

附图1是本发明的原理示意图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

如图所示，一种基于语义网的机器学习流程智能组装方法(面向深度学习)，可面向深度学习来生成机器学习模型，包括以下步骤；

步骤S1：从不同机器学习算法框架所支持的预处理方法中任选几种作为图像数据的预处理方法，可采取自动或手动的方式；

步骤S2：从不同机器学习算法框架所支持的模型结构中选取网络结构，可采取自动或手动的方式；

步骤S3：从不同机器学习算法框架所支持的优化器中选取训练过程中将要使用的优化器，可采取自动或手动的方式；

步骤S4：基于语义网建立统一的语义模型，系统性描述上述三个步骤所选取的不同机器学习算法框架各算法模块的功能，面向神经网络学习流程进行组装，构建机器学习模型训练流程，进行模型的训练与结果的评估；所述流程的智能组装与训练评估流程可重复进行，并保留效果最好的模型作为最终模型。

所述步骤S1包括以下步骤；

步骤S11：从包括但不局限于Pytorch、Tensorflow的深度学习框架所支持的预处理方法中采用代码自动生成或者手动选取的方式选取若干项作为图像数据的预处理方法；

步骤S12：通过整合封装不同框架的方法，来制定不同框架间通用的数据流格式，用于支持跨框架的数据处理流程；在数据处理流程的执行引擎运行期间，数据流在框架内的流动采用专有的格式，在框架间的流动采用规定的通用格式；

进一步地，步骤S1中，所述预处理包括但不限于：随机水平偏移、随机垂偏移、边缘填充、随机位置剪裁、中心剪裁、随机大小剪裁、改变大小、随机水平翻转、随机垂直翻转、亮度抖动、对比度抖动、色相抖动、饱和度抖动、随机旋转、灰度化、随机灰度化、归一化、随机擦除。

所述步骤S2包括以下步骤；

步骤S21：从包括但不局限于Pytorch、Tensorflow的深度学习框架所支持的模型结构中采用代码自动生成或者手动选取的方式选取网络结构；

步骤S22：通过对不同框架模型的封装，将模型的输入输出统一为指定的通用格式；在神经网络训练流程运行期间，数据流在模型与预处理之间、模型与优化器之间的流动采用通用格式，在模型内的流动采用专有格式；

进一步地，步骤S2中，所述网络结构包括但不限于：Alexnet、VGG11、VGG 13、VGG 16、VGG 19、ResNet18、ResNet34、ResNet50、ResNet101、ResNet152、SqueezeNet、DenseNet、InceptionV3、MobilenetV2、Xception、Efficientnetb0、Efficientnetb1、Efficientnetb2、Efficientnetb3、Efficientnetb4、Efficientnetb5、Efficientnetb6、Efficientnetb7、EfficientnetL2。

所述步骤S3包括以下步骤；

步骤S31： 从包括但不局限于Pytorch、Tensorflow的深度学习框架所支持的优化器中采用代码自动生成或者手动选取的方式选取训练过程中将要使用的优化器；

步骤S32：通过对选定优化器的封装，将不同框架优化器的输入输出统一为相同的格式；在优化器与模型间以及优化器的输出采用通用的数据流格式，优化器内部采用特定框架所支持的数据流格式；

进一步地，步骤S3中，所述优化器包括但不限于：SGD、Adam、AdaDelta、AdaGrad、Adamax、RMSProp、AdamW、RProp、NAdam。

所述步骤S4包括以下步骤；

步骤S41：对步骤S1的预处理方法、S2的网络结构、S3的优化器进行拼装，以配置文件形式进行导出；

步骤S42：从已保存的配置文件中读取并构建数据的处理训练流程，基于Python语言搭建具备智能化集成化特征的机器学习流程组装工具，并以机器学习流程组装工具的执行引擎进行数据的处理与模型的训练；制定不同框架间通用的数据流格式，支持跨框架的数据处理流程；在执行引擎运行期间，数据流在框架内的流动采用专有的格式，在框架间的流动采用规定的通用格式；此外，采用统一的监控机制来对整个数据流的流动执行过程进行全面的记录。

步骤S43：对训练完成的模型进行性能评估，对表现达到预期效果的模型的权重及配置文件进行保存；同时，进行下一次流程智能组装与模型训练评估，以自动设计具有针对性的模块拼装方法。

特别的，本实施例针对深度学习算法模块多，组装组合多的特点，本发明在提供手工定制组装的同时，还支持自动组装的方式。

本例中，组装的流程以统一的配置文件格式进行存储。便于机器学习流程的快速组装与实现。

本例中，针对单个框架算法模块单一的特点，本发明通过建立统一的机器学习编程模型，可以做到不受限于特定的框架，实现跨框架的机器学习算法模块的组装，便于集成各个框架算法模块的优点。针对手动构建机器学习算法流程低效繁琐的特点，本发明通过对流程的智能组装与自动探索，能够自动探索出性能较优的算法流程，极大方便了后续工作的展开。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (5)

1.一种基于语义网的机器学习流程智能组装方法(面向深度学习)，可面向深度学习来生成机器学习模型，其特征在于：包括以下步骤；

步骤S1：从不同机器学习算法框架所支持的预处理方法中任选几种作为图像数据的预处理方法，可采取自动或手动的方式；

步骤S2：从不同机器学习算法框架所支持的模型结构中选取网络结构，可采取自动或手动的方式；

步骤S3：从不同机器学习算法框架所支持的优化器中选取训练过程中将要使用的优化器，可采取自动或手动的方式；

步骤S4：基于语义网建立统一的语义模型，系统性描述上述三个步骤所选取的不同机器学习算法框架各算法模块的功能，面向神经网络学习流程进行组装，构建机器学习模型训练流程，进行模型的训练与结果的评估；所述流程的智能组装与训练评估流程可重复进行，并保留效果最好的模型作为最终模型。

2.根据权利要求1所述的一种基于语义网的机器学习流程智能组装方法(面向深度学习)，其特征在于：所述步骤S1包括以下步骤；

步骤S11：从包括但不局限于Pytorch、Tensorflow的深度学习框架所支持的预处理方法中采用代码自动生成或者手动选取的方式选取若干项作为图像数据的预处理方法；

步骤S12：通过整合封装不同框架的方法，来制定不同框架间通用的数据流格式，用于支持跨框架的数据处理流程；在数据处理流程的执行引擎运行期间，数据流在框架内的流动采用专有的格式，在框架间的流动采用规定的通用格式；

进一步地，步骤S1中，所述预处理包括但不限于：随机水平偏移、随机垂偏移、边缘填充、随机位置剪裁、中心剪裁、随机大小剪裁、改变大小、随机水平翻转、随机垂直翻转、亮度抖动、对比度抖动、色相抖动、饱和度抖动、随机旋转、灰度化、随机灰度化、归一化、随机擦除。

3.根据权利要求1所述的一种基于语义网的机器学习流程智能组装方法(面向深度学习)，其特征在于：所述步骤S2包括以下步骤；

步骤S21：从包括但不局限于Pytorch、Tensorflow的深度学习框架所支持的模型结构中采用代码自动生成或者手动选取的方式选取网络结构；

步骤S22：通过对不同框架模型的封装，将模型的输入输出统一为指定的通用格式；在神经网络训练流程运行期间，数据流在模型与预处理之间、模型与优化器之间的流动采用通用格式，在模型内的流动采用专有格式；

进一步地，步骤S2中，所述网络结构包括但不限于：Alexnet、VGG11、VGG 13、VGG 16、VGG 19、ResNet18、ResNet34、ResNet50、ResNet101、ResNet152、SqueezeNet、DenseNet、InceptionV3、MobilenetV2、Xception、Efficientnetb0、Efficientnetb1、Efficientnetb2、Efficientnetb3、Efficientnetb4、Efficientnetb5、Efficientnetb6、Efficientnetb7、EfficientnetL2。

4.根据权利要求1所述的一种基于语义网的机器学习流程智能组装方法(面向深度学习)，其特征在于：所述步骤S3包括以下步骤；

步骤S31： 从包括但不局限于Pytorch、Tensorflow的深度学习框架所支持的优化器中采用代码自动生成或者手动选取的方式选取训练过程中将要使用的优化器；

步骤S32：通过对选定优化器的封装，将不同框架优化器的输入输出统一为相同的格式；在优化器与模型间以及优化器的输出采用通用的数据流格式，优化器内部采用特定框架所支持的数据流格式；

进一步地，步骤S3中，所述优化器包括但不限于：SGD、Adam、AdaDelta、AdaGrad、Adamax、RMSProp、AdamW、RProp、NAdam。

5.根据权利要求1所述的一种基于语义网的机器学习流程智能组装方法(面向深度学习)，其特征在于：所述步骤S4包括以下步骤；

步骤S41：对步骤S1的预处理方法、S2的网络结构、S3的优化器进行拼装，以配置文件形式进行导出；

步骤S42：从已保存的配置文件中读取并构建数据的处理训练流程，基于Python语言搭建具备智能化集成化特征的机器学习流程组装工具，并以机器学习流程组装工具的执行引擎进行数据的处理与模型的训练；制定不同框架间通用的数据流格式，支持跨框架的数据处理流程；在执行引擎运行期间，数据流在框架内的流动采用专有的格式，在框架间的流动采用规定的通用格式；此外，采用统一的监控机制来对整个数据流的流动执行过程进行全面的记录；

步骤S43：对训练完成的模型进行性能评估，对表现达到预期效果的模型的权重及配置文件进行保存；同时，进行下一次流程智能组装与模型训练评估，以自动设计具有针对性的模块拼装方法。

Images