CN111582493B - 一种深度学习模型训练的管理系统 - Google Patents

一种深度学习模型训练的管理系统 Download PDF

Info

Publication number
CN111582493B
CN111582493B CN202010294328.4A CN202010294328A CN111582493B CN 111582493 B CN111582493 B CN 111582493B CN 202010294328 A CN202010294328 A CN 202010294328A CN 111582493 B CN111582493 B CN 111582493B
Authority
CN
China
Prior art keywords
module
data
training
model
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010294328.4A
Other languages
English (en)
Other versions
CN111582493A (zh
Inventor
昂娟
黄莺
刘元
汤慧娟
蒋惜诺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maanshan Teachers College
Original Assignee
Maanshan Teachers College
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maanshan Teachers College filed Critical Maanshan Teachers College
Priority to CN202010294328.4A priority Critical patent/CN111582493B/zh
Publication of CN111582493A publication Critical patent/CN111582493A/zh
Application granted granted Critical
Publication of CN111582493B publication Critical patent/CN111582493B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Abstract

本发明涉及模型训练技术领域，且本发明公开了一种深度学习模型训练的管理系统，包括数据获取模块、数据集整合模块、数据预处理模块、网络设计模块、算法优化模块和框架构建模块、训练模块和结果分析模块，所述数据集整合模块包括统计模块、样本均衡模块和切分模块。该深度学习模型训练的管理系统，通过使用多个模块对获取的数据进行多层处理，将原数据进行各类优化，确保降低模型建立的困难程度，使模型建立除却开发人员外的其他人员都可简易操作，利用数据预处理模块和数据集整合模块，将获取的数据进行精确度较高的处理，便于代码的转化，以及后续模型的建立。

Description

一种深度学习模型训练的管理系统
技术领域
本发明涉及模型训练技术领域，具体为一种深度学习模型训练的管理系统。
背景技术
深度学习是机器学习领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标——人工智能。深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。深度学习在搜索技术，数据挖掘，机器学习，机器翻译，自然语言处理，多媒体学习，语音，推荐和个性化技术，以及其他相关领域都取得了很多成果。深度学习使机器模仿视听和思考等人类的活动。
现有的深度学习模型的训练，大都是极为复杂的，只适用于开发人员使用，在其他人员进行使用时需要花费较多的时间熟悉深度学习模型的代码，并搭建环境，不便于使用，上手十分困难。
发明内容
（一）解决的技术问题
针对现有技术的不足，本发明提供了一种深度学习模型训练的管理系统，解决了现有的深度学习模型的训练，大都是极为复杂的，只适用于开发人员使用，在其他人员进行使用时需要花费较多的时间熟悉深度学习模型的代码，并搭建环境，不便于使用，上手十分困难的问题。
（二）技术方案
为实现上述目的，本发明提供如下技术方案：一种深度学习模型训练的管理系统，包括数据获取模块、数据集整合模块、数据预处理模块、网络设计模块、算法优化模块和框架构建模块、训练模块和结果分析模块，所述数据集整合模块包括统计模块、样本均衡模块和切分模块。
优选的，所述框架构建模块包括组件管理模块和参数调整模块。
优选的，所述组件管理器系统的设置是为了可以快速地对训练模型做一些单独的修改，根据训练模型进行回归分析，生成替换组件。
优选的，所述参数调整模块主要分析各参数影响的曲线形状，通过相关的曲线形状，了解PID参数整定的方法，仔细分清各个参数的作用和扰动情况下的相应曲线，可以快速准确地判断一个自动调节系统中，设置合适的参数，确保模型的建立。
优选的，所述结果分析模块主要对分析出的结果呈图形化或曲线化的分析图像。
本发明要解决的另一技术问题是提供一种深度学习模型训练的管理系统的操作方法，包括以下步骤：
S1：首先由数据获取模块对数据进行获取和标注，并对数据标注前的标签体系设定要合理，用于标注的数据集需要无偏、全面、尽可能均衡。
S2：数据获取后，由数据集整合模块对获取的数据进行处理，先通过统计模块将各个标签的数据放于不同的文件夹中，并统计各个标签的数目。
S3：然后由样本均衡模块控制最大类或最小类数据的均衡，使最后一列为均衡的目标值。
S4：再通过切分模块对数据进行再次处理，训练中要保证样本均衡，学习到弱势类的特征，测试过程要反应真实的数据集分布。
S5：数据经过数据集整合模块处理完成后，由数据预处理模块对整合完蔡数据进行预处理工作，使网络设计模块、算法优化模块可以更快的获取数据信息。
S6：网络设计模块和和算法优化模块获取数据后，网络设计模块利用基础网络的选择和Loss的设计，算法优化模块利用Adam对数据进行优化处理。
S7：数据处理完成后，由框架构建模块对数据进行处理，框架构建模块是根据数据获取模块获取的数据和网络层建立训练模型。
S8：训练模型搭建完成后，由训练模块进行工作，训练模块根据框架构建模块所搭建的训练模型进行训练。
S9：训练完成后，由结果分析模块对训练的结果进行分析，并生成分析结果。
优选的，所述数据预处理模块包括数据的随机裁剪、随机变换框、添加光照饱和度、修改压缩系数、各种缩放方案、多尺度中的一种或多种。
（三）有益效果
与现有技术相比，本发明提供了一种深度学习模型训练的管理系统，具备以下有益效果：
该深度学习模型训练的管理系统，通过使用多个模块对获取的数据进行多层处理，将原数据进行各类优化，确保降低模型建立的困难程度，使模型建立除却开发人员外的其他人员都可简易操作，利用数据预处理模块和数据集整合模块，将获取的数据进行精确度较高的处理，便于代码的转化，以及后续模型的建立，解决了现有的深度学习模型的训练，大都是极为复杂的，只适用于开发人员使用，在其他人员进行使用时需要花费较多的时间熟悉深度学习模型的代码，并搭建环境，不便于使用，上手十分困难的问题。
具体实施方式
下面将结合本发明的实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例：
一种深度学习模型训练的管理系统，包括数据获取模块、数据集整合模块、数据预处理模块、网络设计模块、算法优化模块和框架构建模块、训练模块和结果分析模块，数据集整合模块包括统计模块、样本均衡模块和切分模块。
具体的，框架构建模块包括组件管理模块和参数调整模块。
具体的，组件管理器系统的设置是为了可以快速地对训练模型做一些单独的修改，根据训练模型进行回归分析，生成替换组件。
具体的，参数调整模块主要分析各参数影响的曲线形状，通过相关的曲线形状，了解PID参数整定的方法，仔细分清各个参数的作用和扰动情况下的相应曲线，可以快速准确地判断一个自动调节系统中，设置合适的参数，确保模型的建立。
具体的，结果分析模块主要对分析出的结果呈图形化或曲线化的分析图像。
一种深度学习模型训练的管理系统的操作方法，包括以下步骤：
S1：首先由数据获取模块对数据进行获取和标注，并对数据标注前的标签体系设定要合理，用于标注的数据集需要无偏、全面、尽可能均衡。
S2：数据获取后，由数据集整合模块对获取的数据进行处理，先通过统计模块将各个标签的数据放于不同的文件夹中，并统计各个标签的数目。
S3：然后由样本均衡模块控制最大类或最小类数据的均衡，使最后一列为均衡的目标值。
S4：再通过切分模块对数据进行再次处理，训练中要保证样本均衡，学习到弱势类的特征，测试过程要反应真实的数据集分布。
S5：数据经过数据集整合模块处理完成后，由数据预处理模块对整合完蔡数据进行预处理工作，使网络设计模块、算法优化模块可以更快的获取数据信息，有利于网络接受的训练样本的多样性。
S6：网络设计模块和和算法优化模块获取数据后，网络设计模块利用基础网络的选择和Loss的设计，算法优化模块利用Adam对数据进行优化处理。
S7：数据处理完成后，由框架构建模块对数据进行处理，框架构建模块是根据数据获取模块获取的数据和网络层建立训练模型，Adam可替换为SGD+Momentum。
S8：训练模型搭建完成后，由训练模块进行工作，训练模块根据框架构建模块所搭建的训练模型进行训练。
S9：训练完成后，由结果分析模块对训练的结果进行分析，并生成分析结果。
具体的，数据预处理模块包括数据的随机裁剪、随机变换框、添加光照饱和度、修改压缩系数、各种缩放方案、多尺度中的一种或多种。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (4)

1.一种深度学习模型训练的管理系统，其特征在于，包括数据获取模块、数据集整合模块、数据预处理模块、网络设计模块、算法优化模块和框架构建模块、训练模块和结果分析模块，所述数据集整合模块包括统计模块、样本均衡模块和切分模块；
包括以下步骤：
S1：首先由数据获取模块对数据进行获取和标注，并对数据标注前的标签体系设定要合理，用于标注的数据集需要无偏、全面、尽可能均衡；
S2：数据获取后，由数据集整合模块对获取的数据进行处理，先通过统计模块将各个标签的数据放于不同的文件夹中，并统计各个标签的数目；
S3：然后由样本均衡模块控制最大类或最小类数据的均衡，使最后一列为均衡的目标值；
S4：再通过切分模块对数据进行再次处理，训练中要保证样本均衡，学习到弱势类的特征，测试过程要反应真实的数据集分布；
S5：数据经过数据集整合模块处理完成后，由数据预处理模块对整合完蔡数据进行预处理工作，使网络设计模块、算法优化模块可以更快的获取数据信息；
S6：网络设计模块和和算法优化模块获取数据后，网络设计模块利用基础网络的选择和Loss的设计，算法优化模块利用Adam对数据进行优化处理；
S7：数据处理完成后，由框架构建模块对数据进行处理，框架构建模块是根据数据获取模块获取的数据和网络层建立训练模型；
S8：训练模型搭建完成后，由训练模块进行工作，训练模块根据框架构建模块所搭建的训练模型进行训练；
S9：训练完成后，由结果分析模块对训练的结果进行分析，并生成分析结果；
所述结果分析模块主要对分析出的结果呈图形化或曲线化的分析图像；所述数据预处理模块包括数据的随机裁剪、随机变换框、添加光照饱和度、修改压缩系数、各种缩放方案、多尺度中的一种或多种；它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音数据。
2.根据权利要求1所述的一种深度学习模型训练的管理系统，其特征在于，所述框架构建模块包括组件管理模块和参数调整模块。
3.根据权利要求2所述的一种深度学习模型训练的管理系统，其特征在于，所述组件管理器系统的设置是为了可以快速地对训练模型做一些单独的修改，根据训练模型进行回归分析，生成替换组件。
4.根据权利要求2所述的一种深度学习模型训练的管理系统，其特征在于，所述参数调整模块主要分析各参数影响的曲线形状，通过相关的曲线形状，了解PID参数整定的方法，仔细分清各个参数的作用和扰动情况下的相应曲线，可以快速准确地判断一个自动调节系统中，设置合适的参数，确保模型的建立。
CN202010294328.4A 2020-04-15 2020-04-15 一种深度学习模型训练的管理系统 Active CN111582493B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010294328.4A CN111582493B (zh) 2020-04-15 2020-04-15 一种深度学习模型训练的管理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010294328.4A CN111582493B (zh) 2020-04-15 2020-04-15 一种深度学习模型训练的管理系统

Publications (2)

Publication Number Publication Date
CN111582493A CN111582493A (zh) 2020-08-25
CN111582493B true CN111582493B (zh) 2023-07-28

Family

ID=72124271

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010294328.4A Active CN111582493B (zh) 2020-04-15 2020-04-15 一种深度学习模型训练的管理系统

Country Status (1)

Country Link
CN (1) CN111582493B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112926736B (zh) * 2021-02-26 2023-12-08 国网智能电网研究院有限公司 一种深度学习技术工具链系统
CN113285595A (zh) * 2021-06-09 2021-08-20 珠海市一微半导体有限公司 基于机器学习的数字电源的pid参数整定系统及控制方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016192612A1 (zh) * 2015-06-02 2016-12-08 陈宽 基于深度学习对医疗数据进行分析的方法及其智能分析仪
CN106843832A (zh) * 2016-12-19 2017-06-13 曙光信息产业(北京)有限公司 深度学习的管理系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9818136B1 (en) * 2003-02-05 2017-11-14 Steven M. Hoffberg System and method for determining contingent relevance

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016192612A1 (zh) * 2015-06-02 2016-12-08 陈宽 基于深度学习对医疗数据进行分析的方法及其智能分析仪
CN106843832A (zh) * 2016-12-19 2017-06-13 曙光信息产业(北京)有限公司 深度学习的管理系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
戴激光 ; 杜阳 ; 金光 ; 陶德志 ; .一种多尺度卷积神经网络道路提取方法.遥感信息.2020,(01),全文. *

Also Published As

Publication number Publication date
CN111582493A (zh) 2020-08-25

Similar Documents

Publication Publication Date Title
CN109065027B (zh) 语音区分模型训练方法、装置、计算机设备及存储介质
CN111582493B (zh) 一种深度学习模型训练的管理系统
CN107871496B (zh) 语音识别方法和装置
CN111563422B (zh) 基于双模态情绪识别网络的服务评价获取方法及其装置
CN112084927B (zh) 一种融合多种视觉信息的唇语识别方法
CN110807585A (zh) 一种学员课堂学习状态在线评估方法及系统
CN110085216A (zh) 一种婴儿哭声检测方法及装置
CN111933185A (zh) 基于知识蒸馏的肺音分类方法、系统、终端及存储介质
CN107293290A (zh) 建立语音声学模型的方法和装置
CN110991515B (zh) 一种融合视觉上下文的图像描述方法
CN111311460A (zh) 面向儿童的开发型教学系统
CN115205930A (zh) 一种基于决策融合的多模态情感分类方法
CN112052686B (zh) 一种用户交互式教育的语音学习资源推送方法
CN104978569A (zh) 一种基于稀疏表示的增量人脸识别方法
CN105654059A (zh) 互联网络视频图像低俗成人内容的检出方法
Wand et al. Fusion Architectures for Word-Based Audiovisual Speech Recognition.
CN115687910A (zh) 一种数据处理方法、装置、计算机设备以及可读存储介质
CN110263878A (zh) 一种基于集成学习的脉冲星候选体识别方法
CN116030385B (zh) 一种心肺复苏ai评价系统
CN114329040B (zh) 音频数据处理方法、装置、存储介质、设备及程序产品
CN116797416A (zh) 题目批改方法、装置、电子设备和存储介质
CN114581981A (zh) 基于人工智能技术的学生情绪在线分析系统
Rotaru et al. RoDia: A New Dataset for Romanian Dialect Identification from Speech
Miao et al. Similarity Measurement and Classification of English Characters Based on Language Features
He Development and Implementation of an Embedded Systems-Based Artificial Intelligence-Driven Music Teaching System for Vocational Colleges

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant