CN112508193A

CN112508193A - 一种深度学习平台

Info

Publication number: CN112508193A
Application number: CN202110140489.2A
Authority: CN
Inventors: 熊蕾; 彭吉琼
Original assignee: Jiangxi University of Technology
Current assignee: Jiangxi University of Technology
Priority date: 2021-02-02
Filing date: 2021-02-02
Publication date: 2021-03-16
Anticipated expiration: 2041-02-02
Also published as: CN112508193B

Abstract

本发明适用于计算机技术领域，提供了一种深度学习平台，包括：数据输入模块，用于输入数据集，并获取所述数据集的特征信息，所述特征信息至少包括数据类型和期望结果属性；模型调用模块，用于根据所述特征信息，调用对应的标准模型框架，并接受用户对标准模型框架的参数修改，对所述数据集进行无监督学习，得到深度学习模型；修正模块，用于从所述数据集中筛选出具有不同显著特征的若干数据，以若干所述数据组成修正样本集，以所述修正样本集对深度学习模型进行精度验证；以及发布模块，用于当所述深度学习模型的精度达到设定阈值时，发布和保存所述深度学习模型，本发明的有益效果是：能大大提升深度学习的速度和效率。

Description

一种深度学习平台

技术领域

本发明涉及计算机技术领域，尤其涉及一种深度学习平台。

背景技术

深度学习是一类模式分析方法的统称，就具体研究内容而言，主要涉及三类方法：基于卷积运算的神经网络系统，即卷积神经网络(Convolutional Neural Networks，CNN)；基于多层神经元的自编码神经网络，包括自编码(Auto Encoder)以及近年来受到广泛关注的稀疏编码(Sparse Coding)两类；以多层自编码神经网络的方式进行预训练，进而结合鉴别信息进一步优化神经网络权值的深度置信网络(Deep Belief Network，DBN)。以深度学习为理论技术的任务包括图像分类、物体检测、实体识别、光学字符识别(OpticalCharacter Recognition，OCR)等。

一般来说，深度学习具有无监督学习和有监督学习两种，有监督学习虽然精度高，但是数据处理量大，无监督学习的由于缺乏足够的先验知识，其精度相对较低。

因此，本申请在保证精度的前提下，为了提升深度学习的效率，提出了一种深度学习平台。

发明内容

本发明实施例的目的在于提供一种深度学习平台，旨在解决背景技术中确定的现有技术存在的技术问题。

本发明实施例是这样实现的，一种深度学习平台，包括：

数据输入模块，用于输入数据集，并获取所述数据集的特征信息，所述特征信息至少包括数据类型和期望结果属性；

模型调用模块，用于根据所述特征信息，调用对应的标准模型框架，并接受用户对标准模型框架的参数修改，对所述数据集进行无监督学习，得到深度学习模型；

修正模块，用于从所述数据集中筛选出具有不同显著特征的若干数据，以若干所述数据组成修正样本集，以所述修正样本集对深度学习模型进行精度验证；以及

发布模块，用于当所述深度学习模型的精度达到设定阈值时，发布和保存所述深度学习模型，并将所述深度学习模型与数据集的特征信息进行关联。

作为本发明进一步的方案：所述数据输入模块包括：

数据处理单元，用于对数据进行归一化处理，并对数据进行特征提取；

排序单元，用于对处于显著性阈值内的数据按特征显著性进行特征值排序，使得处于显著性阈值内的数据形成多个数据段落；以及

分析单元，用于分析处于显著性阈值内的数据的类型和获取用户输入的期望结果属性。

作为本发明再进一步的方案：所述排序单元包括：

降序排列子单元，用于对处于显著性阈值内的数据按特征显著性进行特征值降序排列；以及

范围确定子单元，用于根据用户指令生成多个特征值范围，使得所述数据形成多个数据段落。

作为本发明再进一步的方案：所述模型调用模块包括：

检索单元，用于根据所述特征信息在模型库中检索，并将检索结果按照相关度降序排列，选择相关度最大的模型作为标准模型框架；

修改单元，用于接收用户的修改指令，对所述标准模型框架进行参数修改；以及

模型训练单元，用于对输入的数据集进行无监督学习，得到深度学习模型。

作为本发明再进一步的方案：所述修正模块包括：

筛选单元，用于从多个数据段落中分别筛选出具有不同显著特征的若干个数据，得到修正样本集；以及

验证单元，用于根据修正样本集对深度学习模型进行精度验证，当所述深度学习模型的精度未达到设定的阈值时，向用户反馈验证结果以使用户优化网络层的初始权重和偏置。

作为本发明再进一步的方案：所述发布模块包括：

发布单元，用于当所述深度学习模型的精度达到设定阈值时，发布所述深度学习模型；以及

保存单元，用于将发布的深度学习模型与数据集的特征信息进行关联后保存在模型库中。

作为本发明再进一步的方案：还包括资源调度模块，所述资源调度模块用于为深度学习模型的训练创建虚拟机，并为所述虚拟机分配资源。

作为本发明再进一步的方案：还包括身份验证模块和日志记录模块，所述身份验证模块用于对用户进行身份验证，并在身份验证完成后向用户开放设定权限的功能，所述日志记录模块用于记录用户的操作记录。

与现有技术相比，本发明的有益效果是：通过利用标准模型框架和无监督学习的方式，能大大提升深度学习的速度和效率，特别的，修正样本集中的数据取自于不同特征显著性的各个数据段落，验证结果较为精确，当深度学习模型的精度达到设定阈值时，发布和保存所述深度学习模型，并将深度学习模型与数据集的特征信息进行关联，之后根据这些特征信息，可以直接检索到该深度学习模型，方便后续的使用。

附图说明

图1为一种深度学习平台的结构示意图。

图2为一种深度学习平台的工作流程图。

图3为一种深度学习平台中数据输入模块的结构示意图。

图4为一种深度学习平台中排序单元的结构示意图。

图5为一种深度学习平台中模型调用模块的结构示意图。

图6为一种深度学习平台中修正模块的结构示意图。

图7为一种深度学习平台中发布模块的结构示意图。

图8为又一实施例中一种深度学习平台的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

以下结合具体实施例对本发明的具体实现进行详细描述。

如图1～2所示，为本发明一个实施例提供的一种深度学习平台的结构图，包括数据输入模块100、模型调用模块200、修正模块300和发布模块400，所述数据输入模块100用于输入数据集，并获取所述数据集的特征信息，所述特征信息至少包括数据类型和期望结果属性；所述模型调用模块200用于根据所述特征信息，调用对应的标准模型框架，并接受用户对标准模型框架的参数修改，对所述数据集进行无监督学习，得到深度学习模型；所述修正模块300用于从所述数据集中筛选出具有不同显著特征的若干数据，以若干所述数据组成修正样本集，以所述修正样本集对深度学习模型进行精度验证；所述发布模块400用于当所述深度学习模型的精度达到设定阈值时，发布和保存所述深度学习模型，并将所述深度学习模型与数据集的特征信息进行关联。

本发明实施例在实际应用时，首先输入数据集，并获取所述数据集的特征信息，所述特征信息至少包括数据类型和期望结果属性，由于在实际应用时，深度学习可以应用在各个方面，例如数据的分类识别、图像处理等，而数据的种类不同时，在进行深度学习时所执行的处理方式或者学习方式也不同，因此此处需要识别数据的类型，以便于后续的处理学习过程，同理，期望结果属性的目的在于表征用户所期望的结果，或者用户所期望进行的操作，例如在进行数据的分类识别时，其期望结果属性即为分类识别，据此，后续可以直接调用用于对数据进行分类识别的标准模型框架，总得来说，数据集的特征信息的设置目的就是便于选择相关性强的标准模型框架。

然后根据所述特征信息，调用对应的标准模型框架，并接受用户对标准模型框架的参数修改，对所述数据集进行无监督学习，得到深度学习模型，此处，标准模型框架包括多个神经网络层以及神经网络层的参数，如节点数目、激活函数、初始权重和偏置等，此处无监督学习实际上是以逐层贪婪训练方式进行无监督的前向训练，即从底到上逐层训练每层神经网络，通过标准模型框架和无监督学习的方式，能大大提升深度学习的速度和效率。

再从所述数据集中筛选出具有不同显著特征的若干数据，以若干所述数据组成修正样本集，以所述修正样本集对深度学习模型进行精度验证。由于无监督的前向训练鲁棒性较差，因此，本实施例以不同显著特征的修正样本集对深度学习模型进行精度验证，当所述深度学习模型的精度未达到设定的阈值时，向用户反馈验证结果以使用户优化网络层的初始权重和偏置，即对深度学习模型再次进行训练，当所述深度学习模型的精度达到设定阈值时，发布和保存所述深度学习模型，并将所述深度学习模型与数据集的特征信息进行关联，之后根据这些特征信息，可以直接检索到该深度学习模型，方便后续的使用。

本实施例通过利用标准模型框架和无监督学习的方式，能大大提升深度学习的速度和效率，并且以不同显著特征的修正样本集对深度学习模型进行精度验证，以保证深度学习模型的精度，当所述深度学习模型的精度达到设定阈值时，发布和保存所述深度学习模型，并将所述深度学习模型与数据集的特征信息进行关联，之后根据这些特征信息，可以直接检索到该深度学习模型，方便后续的使用。

如图3所示，作为本发明一个优选的实施例，所述数据输入模块100包括数据处理单元101、排序单元102和分析单元103，所述数据处理单元101用于对数据进行归一化处理，并对数据进行特征提取；所述排序单元102用于对处于显著性阈值内的数据按特征显著性进行特征值排序，使得处于显著性阈值内的数据形成多个数据段落；所述分析单元103用于分析处于显著性阈值内的数据的类型和获取用户输入的期望结果属性。

本实施例中，对数据进行归一化处理，并对数据进行特征提取，将有量纲的表达式，经过变换，化为无量纲的表达式，然后再通过主元分析进行特征提取，达到数据降维的目的，便于后续的分析处理，对于处于预设的显著性阈值之外的数据，可以进行丢弃，对于显著性阈值内的数据按特征显著性进行特征值排序，使得处于显著性阈值内的数据形成多个数据段落，此处，形成多个数据段落的目的在于后续的验证。所述分析单元103可以通过对数据格式的识别或者分析，来确定数据的类型，例如其可以识别数据格式为图片格式，那么很明显的，数据的类型就是图片。

如图4所示，作为本发明另一个优选的实施例，所述排序单元102包括降序排列子单元1021和范围确定子单元1022，所述降序排列子单元1021用于对处于显著性阈值内的数据按特征显著性进行特征值降序排列；所述范围确定子单元1022用于根据用户指令生成多个特征值范围，使得所述数据形成多个数据段落。

本发明实施例中，降序排列子单元1021可以对处于显著性阈值内的数据按特征显著性进行特征值降序排列，特征值范围可根据用户需求以实际的数据体量进行预设，只要能够将数据分为多个范围以得到多个数据段落即可，本实施例在此不进行具体的限定。

如图5所示，作为本发明另一个优选的实施例，所述模型调用模块200包括检索单元201、修改单元202和模型训练单元203，所述检索单元201用于根据所述特征信息在模型库中检索，并将检索结果按照相关度降序排列，选择相关度最大的模型作为标准模型框架；所述修改单元202用于接收用户的修改指令，对所述标准模型框架进行参数修改；所述模型训练单元203用于对输入的数据集进行无监督学习，得到深度学习模型。

本发明实施例在实际应用时，首先检索单元201用于根据所述特征信息在模型库中检索，并将检索结果按照相关度降序排列，选择相关度最大的模型作为标准模型框架，本实施例中的模型库是用来存储已有的经过验证后的深度学习模型或者标准模型框架，标准模型框架可以根据对深度学习模型的处理后得到，在实际应用时，不需要用户再重新建立模型，可提升深度学习的效率，然后对接收用户的修改指令，对所述标准模型框架进行参数修改，此处的参数可以指如节点数目、激活函数、初始权重和偏置等，然后再以逐层贪婪训练方式进行无监督的前向训练，即从底到上逐层训练每层神经网络，最终得到深度学习模型。

如图6所示，作为本发明另一个优选的实施例，所述修正模块300包括筛选单元301和验证单元302，所述筛选单元301用于从多个数据段落中分别筛选出具有不同显著特征的若干个数据，得到修正样本集；所述验证单元302用于根据修正样本集对深度学习模型进行精度验证，当所述深度学习模型的精度未达到设定的阈值时，向用户反馈验证结果以使用户优化网络层的初始权重和偏置。

本发明实施例在实际应用时，修正样本集的获得是依靠从多个数据段落中分别筛选出具有不同显著特征的若干个数据组成所得的，由于各个数据段中数据的特征显著性是不同的，此处，修正样本集基本上可以代表所有数据的特征显著性，在实际应用时，修正样本集可以通过人工方式进行处理，用处理结果对深度学习模型进行验证，当所述深度学习模型的精度未达到设定的阈值时，向用户反馈验证结果以使用户优化网络层的初始权重和偏置。此处，本实施例虽然公开了采用人工方式对修正样本集进行处理分析，某种程度上相当于是有监督训练，并且由于其修正样本集中的数据取自于不同特征显著性的各个数据段落，因此其验证结果是明显优于有监督训练的。

如图7所示，作为本发明另一个优选的实施例，所述发布模块400包括发布单元401和保存单元402，所述发布单元401用于当所述深度学习模型的精度达到设定阈值时，发布所述深度学习模型；所述保存单元402用于将发布的深度学习模型与数据集的特征信息进行关联后保存在模型库中。

本发明实施例中，当深度学习模型的精度达到设定阈值时，意味着当前深度学习模型对数据的处理效果已经达到所需，当然，该阈值可以由用户根据需求进行设定，当所述深度学习模型的精度达到设定阈值后，保存单元402对深度学习模型与数据集的特征信息进行关联后保存在模型库中，后续处理特征信息相关性较强的数据后，可以直接检索到该深度学习模型进行使用。

如图8所示，作为本发明另一个优选的实施例，还包括资源调度模块500，所述资源调度模块500用于为深度学习模型的训练创建虚拟机，并为所述虚拟机分配资源。

本发明实施例中，在虚拟机内进行深度学习模型的训练，此处，资源调度模块500可以根据需求为虚拟机分配CPU、GPU和FPGA等计算资源，在实际应用时，也可以在云服务器或者云平台内进行深度学习模型的训练，本实施例在此不进行具体的限定。

如图8所示，作为本发明另一个优选的实施例，还包括身份验证模块600和日志记录模块700，所述身份验证模块600用于对用户进行身份验证，并在身份验证完成后向用户开放设定权限的功能，所述日志记录模块700用于记录用户的操作记录。

本发明实施例中，身份验证模块600可以对用户进行身份验证，具体验证方式可以为账号密码的方式，也可以为指纹等方式，本实施例在此不进行具体的限定，根据用户的身份验证结果，可以为用于开放对应权限的功能，日志记录模块700可以记录用户的操作记录，日志子系统优选基于ELK技术实现，用于日志的存储与检索。

本发明上述实施例提供了一种深度学习平台，通过利用标准模型框架和无监督学习的方式，能大大提升深度学习的速度和效率，特别的，修正样本集中的数据取自于不同特征显著性的各个数据段落，验证结果较为精确，当深度学习模型的精度达到设定阈值时，发布和保存所述深度学习模型，并将深度学习模型与数据集的特征信息进行关联，之后根据这些特征信息，可以直接检索到该深度学习模型，方便后续的使用。

本领域技术人员在考虑说明书及实施例处的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims

1.一种深度学习平台，其特征在于，包括：

2.根据权利要求1所述的一种深度学习平台，其特征在于，所述数据输入模块包括：

3.根据权利要求2所述的一种深度学习平台，其特征在于，所述排序单元包括：

4.根据权利要求1所述的一种深度学习平台，其特征在于，所述模型调用模块包括：

5.根据权利要求2所述的一种深度学习平台，其特征在于，所述修正模块包括：

6.根据权利要求1所述的一种深度学习平台，其特征在于，所述发布模块包括：

7.根据权利要求1所述的一种深度学习平台，其特征在于，还包括资源调度模块，所述资源调度模块用于为深度学习模型的训练创建虚拟机，并为所述虚拟机分配资源。

8.根据权利要求1所述的一种深度学习平台，其特征在于，还包括身份验证模块和日志记录模块，所述身份验证模块用于对用户进行身份验证，并在身份验证完成后向用户开放设定权限的功能，所述日志记录模块用于记录用户的操作记录。