CN112162734B - 一种面向深度学习的模型生成方法 - Google Patents
一种面向深度学习的模型生成方法 Download PDFInfo
- Publication number
- CN112162734B CN112162734B CN202011148399.XA CN202011148399A CN112162734B CN 112162734 B CN112162734 B CN 112162734B CN 202011148399 A CN202011148399 A CN 202011148399A CN 112162734 B CN112162734 B CN 112162734B
- Authority
- CN
- China
- Prior art keywords
- deep learning
- model
- network
- training
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/20—Software design
- G06F8/22—Procedural
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提出集成化的机器学习算法库与统一编程框架(面向深度学习)，为一种面向深度学习的模型生成方法，包括以下步骤；步骤S1：指定数据集，顺序组合不同深度学习框架下的数据预处理方法，形成数据预处理模块；步骤S2：选择网络优化器，并配置其参数，形成网络优化器模块；步骤S3：选择一种主体网络结构，所选网络结构可基于不同深度学习框架实现，并配置其训练参数，形成网络结构模块；步骤S4：拼接模型各部分模块，开始模型训练，在训练过程中不断保存最优模型，在结束后得到最终模型准确率；本发明能够克服传统深度学习系统的指定单一框架编程方式的缺点，方便深度学习的应用。
Description
技术领域
本发明涉及计算机技术领域，尤其是一种面向深度学习的模型生成方法。
背景技术
随着深度神经网络的飞速发展，深度学习实际应用已愈发成熟，并且已经在我们的日常生活中应用的越来越频繁。同时深度学习智能应用已然我们的现代化日常生活密切相关，包括人脸识别系统、车辆信息识别等等。近年来，伴随着深度学习的发展，同时衍生了诸如TensorFlow、PyTorch、Keras等等许多深度学习框架，然而深度学习框架的多样性、不同框架底层实现的异构性以及基于某一框架编写的深度学习项目落地对软件版本和硬件环境的严格限制要求，根据深度学习实际应用开发过程中的实际需求导致了设计维护单一框架算法实现的局限性。没有一套统一的编程模型适应各种具体场景，不利于深度学习的大规模应用。
发明内容
本发明提出一种面向深度学习的模型生成方法，能够克服传统深度学习系统的指定单一框架编程方式的缺点，方便深度学习的应用。
本发明采用以下技术方案。
一种面向深度学习的模型生成方法，包括集成深度学习算法库的统一编程框架，包括以下步骤；
步骤S1：指定数据集，顺序组合不同深度学习框架下的数据预处理方法，形成数据预处理模块；
步骤S2：选择网络优化器，并配置其参数，形成网络优化器模块；
步骤S3：选择一种主体网络结构，所选网络结构可基于不同深度学习框架实现，并配置其训练参数，形成网络结构模块；
步骤S4：拼接模型各部分模块，开始模型训练，在训练过程中不断保存最优模型，在结束后得到最终模型准确率。
所述步骤S1包括以下步骤；
步骤S11：指定深度学习任务的数据集；
步骤S12：选择一种基于深度学习框架实现下的数据预处理方式的数据预处理模块进行数据预处理，该深度学习框架包括但不限于TensorFlow、Pytorch；可选数据预处理方式包括但不限于随机水平偏移、随机垂直偏移、边缘填充、随机位置剪裁等；
步骤S13：输入步骤S12指定的数据预处理方式参数，输入完毕后可继续步骤S12进行循环选择或进入步骤S14；
步骤S14：顺序组合上述步骤指定的基于不同深度学习框架实现下的数据预处理方式，利用数据转换适配器在不同深度学习框架算法间无缝传递，实现跨框架平台的模型构建。
所述步骤S2包括以下步骤；
步骤S21：选择基于网络的网络优化器模块，其包括但不限于SGD、Adam、Adadelta、Adagrad；以损失函数反映模型的当前表现，在利用损失函数训练网络时，以上述优化器模块提供基于最小化损失函数的训练策略，在本步骤中，选择基于TensorFlow或PyTorch实现的网络优化器模块用于模型内部参数优化；
步骤S22：配置上述步骤选择的网络优化器的参数。
所述步骤S3包括以下步骤；
步骤S31：选择一种深度学习框架实现下的网络结构作为输入网络，网络结构模块可选用的网络结构包括但不限于TensorFlow或Pytorch框架实现下的Vgg系列、ResNet系列、SqueezeNet系列、Inception系列、DensNet系列、EfficentNet系列；
步骤S32：配置相关训练参数，所述训练参数包括随机数种子、批处理大小、最大迭代次数、验证间隔标志，模型保存路径。
所述步骤S4包括以下步骤；
步骤S41：拼接上述步骤指定的数据预处理模块、优化器模块、网络结构模块，并保存本次训练的配置文件；向配置文件写入数据预处理模块中所选的预处理方式的顺序组成、各个预处理方式指定的深度学习框架实现、网络优化器模块所选的优化器名称及指定的深度学习框架实现、网络结构模块所选的网络结构名称及指定的深度学习框架实现，同时写入各个模块的具体组成的参数和步骤S32中指定的整体训练参数；
步骤S42：完成模块拼接，开始模型训练流程，根据指定训练参数进行迭代训练；
步骤S43：在训练过程中监控训练流程，期间根据验证间隔标志，按预设迭代次数阈值间隔进行模型验证，并不断保存最优模型于模型保存路径下；
步骤S44：系统监控训练流程，当迭代次数达到步骤S32预设的最大迭代次数阈值时，训练流程结束，返回当前指定数据集在上述步骤自定义下的模型网络的最优准确率。
与现有技术相比，本发明构建了一种一种面向深度学习的模型生成方法，有以下有益效果：
1、本发明集成现有多种深度学习框架于一体，无需考虑框架之间的异构性问题。
2、本发明融合多个框架的数据预处理实现方式于一体，构建自主搭建的数据预处理模块，在搭建过程中可自由选择不同深度学习框架。
3、针对不同框架的不同网络结构和优化器实现各不相同，本发明集成了各个框架的大部分算法内容，编程过程中可自主选择。
本发明构建的集成化算法库和统一编程框架无需考虑整体训练流程如何运作，只需选择各个子模块内容，选择完毕后，系统将自动拼接并且监控训练流程，大大方便了用户进行深度学习开发。
附图说明
下面结合附图和具体实施方式对本发明进一步详细的说明：
附图1是本发明的原理示意图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图所示，一种面向深度学习的模型生成方法，包括集成深度学习算法库的统一编程框架，包括以下步骤；
步骤S1：指定数据集，顺序组合不同深度学习框架下的数据预处理方法，形成数据预处理模块；
步骤S2：选择网络优化器，并配置其参数，形成网络优化器模块；
步骤S3：选择一种主体网络结构，所选网络结构可基于不同深度学习框架实现，并配置其训练参数，形成网络结构模块；
步骤S4：拼接模型各部分模块，开始模型训练，在训练过程中不断保存最优模型，在结束后得到最终模型准确率。
所述步骤S1包括以下步骤；
步骤S11：指定深度学习任务的数据集；
步骤S12：选择一种基于深度学习框架实现下的数据预处理方式的数据预处理模块进行数据预处理，该深度学习框架包括但不限于TensorFlow、Pytorch；可选数据预处理方式包括但不限于随机水平偏移、随机垂直偏移、边缘填充、随机位置剪裁等；
步骤S13：输入步骤S12指定的数据预处理方式参数，输入完毕后可继续步骤S12进行循环选择或进入步骤S14；
步骤S14：顺序组合上述步骤指定的基于不同深度学习框架实现下的数据预处理方式，利用数据转换适配器在不同深度学习框架算法间无缝传递，实现跨框架平台的模型构建。
所述步骤S2包括以下步骤；
步骤S21：选择基于网络的网络优化器模块，其包括但不限于SGD、Adam、Adadelta、Adagrad；以损失函数反映模型的当前表现，在利用损失函数训练网络时，以上述优化器模块提供基于最小化损失函数的训练策略，在本步骤中，选择基于TensorFlow或PyTorch实现的网络优化器模块用于模型内部参数优化；
步骤S22：配置上述步骤选择的网络优化器的参数。
所述步骤S3包括以下步骤；
步骤S31：选择一种深度学习框架实现下的网络结构作为输入网络，网络结构模块可选用的网络结构包括但不限于TensorFlow或Pytorch框架实现下的Vgg系列、ResNet系列、SqueezeNet系列、Inception系列、DensNet系列、EfficentNet系列；
步骤S32：配置相关训练参数，所述训练参数包括随机数种子、批处理大小、最大迭代次数、验证间隔标志，模型保存路径。
所述步骤S4包括以下步骤；
步骤S41：拼接上述步骤指定的数据预处理模块、优化器模块、网络结构模块，并保存本次训练的配置文件；向配置文件写入数据预处理模块中所选的预处理方式的顺序组成、各个预处理方式指定的深度学习框架实现、网络优化器模块所选的优化器名称及指定的深度学习框架实现、网络结构模块所选的网络结构名称及指定的深度学习框架实现，同时写入各个模块的具体组成的参数和步骤S32中指定的整体训练参数；
步骤S42：完成模块拼接，开始模型训练流程，根据指定训练参数进行迭代训练；
步骤S43：在训练过程中监控训练流程，期间根据验证间隔标志，按预设迭代次数阈值间隔进行模型验证，并不断保存最优模型于模型保存路径下；
步骤S44：系统监控训练流程，当迭代次数达到步骤S32预设的最大迭代次数阈值时，训练流程结束，返回当前指定数据集在上述步骤自定义下的模型网络的最优准确率。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。
Claims (4)
1.一种面向深度学习的模型生成方法，其特征在于：包括以下步骤；
步骤S1：指定数据集，顺序组合不同深度学习框架下的数据预处理方法，形成数据预处理模块；
步骤S2：选择网络优化器，并配置其参数，形成网络优化器模块；
步骤S3：选择一种主体网络结构，所选网络结构基于不同深度学习框架实现，并配置其训练参数，形成网络结构模块；
步骤S4：拼接模型各部分模块，开始模型训练，在训练过程中不断保存最优模型，在结束后得到最终模型准确率；
所述步骤S1包括以下步骤；
步骤S11：指定深度学习任务的数据集；
步骤S12：选择一种基于深度学习框架实现下的数据预处理方式进行数据预处理，该深度学习框架包括TensorFlow或Pytorch；可选数据预处理方式包括随机水平偏移、随机垂直偏移、边缘填充或随机位置剪裁；
步骤S13：输入步骤S12指定的数据预处理方式参数，输入完毕后继续步骤S12进行循环选择或进入步骤S14；
步骤S14：顺序组合S12、S13步骤指定的基于不同深度学习框架实现下的数据预处理方式，利用数据转换适配器在不同深度学习框架算法间无缝传递，实现跨框架平台的模型构建。
2.根据权利要求1所述的一种面向深度学习的模型生成方法，其特征在于：所述步骤S2包括以下步骤；
步骤S21：选择基于网络的网络优化器，可选的网络优化器包括SGD、Adam、Adadelta或Adagrad；以损失函数反映模型的当前表现，在利用损失函数训练网络时，以网络优化器提供基于最小化损失函数的训练策略，在本步骤中，选择基于TensorFlow或PyTorch实现的网络优化器模块用于模型内部参数优化；
步骤S22：配置上述步骤选择的网络优化器的参数。
3.根据权利要求2所述的一种面向深度学习的模型生成方法，其特征在于：所述步骤S3包括以下步骤；
步骤S31：选择一种深度学习框架实现下的网络结构作为输入网络，网络结构模块可选用的网络结构包括TensorFlow或Pytorch框架实现下的Vgg系列、ResNet系列、SqueezeNet系列、Inception系列、DensNet系列或EfficentNet系列；
步骤S32：配置相关训练参数，所述训练参数包括随机数种子、批处理大小、最大迭代次数、验证间隔标志、模型保存路径。
4.根据权利要求3所述的一种面向深度学习的模型生成方法，其特征在于：所述步骤S4包括以下步骤；
步骤S41：拼接S1、S2、S3步骤指定的数据预处理模块、网络优化器模块、网络结构模块，并保存本次训练的配置文件；向配置文件写入数据预处理模块中所选的预处理方式的顺序组成、各个预处理方式指定的深度学习框架实现、网络优化器模块所选的优化器名称及指定的深度学习框架实现、网络结构模块所选的网络结构名称及指定的深度学习框架实现，同时写入各个模块的具体组成的参数和步骤S32中指定的整体训练参数；
步骤S42：完成模块拼接，开始模型训练流程，根据指定训练参数进行迭代训练；
步骤S43：在训练过程中监控训练流程，期间根据验证间隔标志，按预设迭代次数阈值间隔进行模型验证，并不断保存最优模型于模型保存路径下；
步骤S44：系统监控训练流程，当迭代次数达到步骤S32预设的最大迭代次数阈值时，训练流程结束，返回当前指定数据集在上述步骤自定义下的模型网络的最优准确率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011148399.XA CN112162734B (zh) | 2020-10-23 | 2020-10-23 | 一种面向深度学习的模型生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011148399.XA CN112162734B (zh) | 2020-10-23 | 2020-10-23 | 一种面向深度学习的模型生成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112162734A CN112162734A (zh) | 2021-01-01 |
| CN112162734B true CN112162734B (zh) | 2022-03-08 |
Family
ID=73866134
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011148399.XA Active CN112162734B (zh) | 2020-10-23 | 2020-10-23 | 一种面向深度学习的模型生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112162734B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112883654B (zh) * | 2021-03-24 | 2023-01-31 | 国家超级计算天津中心 | 一种基于数据驱动的模型训练系统 |
| CN114756211B (zh) * | 2022-05-13 | 2022-12-16 | 北京百度网讯科技有限公司 | 模型训练方法、装置、电子设备和存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109828751A (zh) * | 2019-02-15 | 2019-05-31 | 福州大学 | 集成化的机器学习算法库与统一编程框架 |
| CN109871809A (zh) * | 2019-02-22 | 2019-06-11 | 福州大学 | 一种基于语义网的机器学习流程智能组装方法 |
| CN111221507A (zh) * | 2018-11-27 | 2020-06-02 | 中云开源数据技术（上海）有限公司 | 一种算法应用管理平台 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10073763B1 (en) * | 2017-12-27 | 2018-09-11 | Accenture Global Solutions Limited | Touchless testing platform |
| US20190199602A1 (en) * | 2019-03-01 | 2019-06-27 | Intel Corporation | Method and apparatus for closed-loop optimization flow in a network functions virtualization environment |
| CN109992783B (zh) * | 2019-04-03 | 2020-10-30 | 同济大学 | 中文词向量建模方法 |
-
2020
- 2020-10-23 CN CN202011148399.XA patent/CN112162734B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111221507A (zh) * | 2018-11-27 | 2020-06-02 | 中云开源数据技术（上海）有限公司 | 一种算法应用管理平台 |
| CN109828751A (zh) * | 2019-02-15 | 2019-05-31 | 福州大学 | 集成化的机器学习算法库与统一编程框架 |
| CN109871809A (zh) * | 2019-02-22 | 2019-06-11 | 福州大学 | 一种基于语义网的机器学习流程智能组装方法 |
Non-Patent Citations (1)
| Title |
|---|
| 支持多源大数据的机器学习云平台;范子琨;《中国优秀硕士学位论文全文数据库》;20190228;第12-18页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112162734A (zh) | 2021-01-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Gao et al. | Spotlight: Optimizing device placement for training deep neural networks | |
| CN112162734B (zh) | 一种面向深度学习的模型生成方法 | |
| CN109514553A (zh) | 一种机器人移动控制的方法、系统及设备 | |
| CN109766996A (zh) | 卷积神经网络的优化方法、装置、存储介质和系统 | |
| CN111444677A (zh) | 基于大数据的阅读模型优化方法、装置、设备及介质 | |
| CN104462329B (zh) | 一种适用于多样性环境的业务流程挖掘方法 | |
| CN109681165B (zh) | 用于油田采油中的注水策略优化方法及装置 | |
| CN113885845B (zh) | 深度学习编译器的计算图的生成方法、系统、设备及介质 | |
| CN114550040A (zh) | 一种基于混合注意力机制的端到端单目标跟踪方法及装置 | |
| CN114239237A (zh) | 一种支持数字孪生的配电网仿真场景生成系统与方法 | |
| CN110458287A (zh) | 神经网络优化器的参数更新方法、装置、终端及存储介质 | |
| CN112949089A (zh) | 一种基于离散卷积残差网络的含水层结构反演识别方法 | |
| CN110399534A (zh) | 终端性能报表生成方法、装置、设备和存储介质 | |
| CN115982407B (zh) | 一种基于多智能体强化学习的视频摘要生成方法 | |
| CN116580184A (zh) | 一种基于YOLOv7的轻量化模型 | |
| CN109726801A (zh) | 卷积神经网络的优化方法、装置、存储介质和系统 | |
| CN116070720A (zh) | 基于分布式集群的数据处理方法、系统、设备及存储介质 | |
| CN113298492B (zh) | 一种基于流程引擎的高响应流程智能处理方法及系统 | |
| CN112000389B (zh) | 一种配置推荐方法、系统、装置及计算机存储介质 | |
| CN114911930A (zh) | 一种全局与局部互补的双向注意的视频问答方法与系统 | |
| CN113468156A (zh) | 基于特征融合增强的数据集缺失值填补方法 | |
| CN113503885A (zh) | 一种基于采样优化ddpg算法的机器人路径导航方法及系统 | |
| CN112463643A (zh) | 一种软件质量预测方法 | |
| CN109754082A (zh) | 卷积神经网络的优化方法、装置、存储介质和系统 | |
| CN118171749A (zh) | 基于调度算法的机器学习方法、系统及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |