CN109635918A - 基于云平台和预设模型的神经网络自动训练方法和装置 - Google Patents
基于云平台和预设模型的神经网络自动训练方法和装置 Download PDFInfo
- Publication number
- CN109635918A CN109635918A CN201811278833.9A CN201811278833A CN109635918A CN 109635918 A CN109635918 A CN 109635918A CN 201811278833 A CN201811278833 A CN 201811278833A CN 109635918 A CN109635918 A CN 109635918A
- Authority
- CN
- China
- Prior art keywords
- neural network
- model
- sample data
- data
- algorithm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 65
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 63
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 73
- 238000003062 neural network model Methods 0.000 claims abstract description 41
- 210000005036 nerve Anatomy 0.000 claims description 17
- 238000013527 convolutional neural network Methods 0.000 claims description 15
- 230000000306 recurrent effect Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 8
- 230000001537 neural effect Effects 0.000 claims description 8
- 230000009467 reduction Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 5
- 230000001052 transient effect Effects 0.000 claims description 4
- 238000013501 data transformation Methods 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 3
- 238000011946 reduction process Methods 0.000 claims description 3
- 238000012897 Levenberg–Marquardt algorithm Methods 0.000 claims description 2
- 238000010801 machine learning Methods 0.000 abstract description 32
- 230000010485 coping Effects 0.000 abstract description 4
- 238000004891 communication Methods 0.000 description 7
- 238000013473 artificial intelligence Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 210000004218 nerve net Anatomy 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 229910002056 binary alloy Inorganic materials 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012252 genetic analysis Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000005201 scrubbing Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明实施例提供的基于云平台和预设模型的神经网络自动训练方法和装置，通过在云计算平台下以云的形式存在的大量计算机组成的各种机器学习云，是云计算平台默认自带了各种神经网络训练算法，通过根据用户输入的样本数据数据类型选择神经网络训练算法，并基于预设的用户需解决问题与神经网络模型的对应关系，调用相应的神经网络模型，以对所述样本数据进行自动训练，解决了机器学习建模不便的问题，提供了一种结合云计算技和机器学习技术处理现实问题提供了方便快捷的方法。从而使用户无需为繁琐的细节而烦恼，能够更加专注于自己的业务，有利于创新和降低成本。
Description
技术领域
本发明实施例涉及人工智能技术领域，更具体地，涉及基于云平台和预设模型的神经网络自动训练方法和装置。
背景技术
机器学习是人工智能的一个分支。人工智能的研究是从以“推理”为重点到以“知识”为重点，再到以“学习”为重点，一条自然、清晰的脉络。显然，机器学习是实现人工智能的一个途径，即以机器学习为手段解决人工智能中的问题。机器学习在近30多年已发展为一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。机器学习算法是一类从数据中自动分析获得规律，并利用规律对未知数据进行预测的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。
深度学习是机器学习中一种基于对数据进行表征学习的方法，深度学习的好处是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，模仿人脑的机制来解释数据，例如图像，声音和文本等。
但是现有技术中都是拘泥于其使用者自身的需求所设计的，例如某电商平台的用户喜好分析，电力系统数据分析平台，医学上的基因分析等等。这些方案所构建的系统都是只能针对特定目来设计的，如果分析需求有变化，难免需要对其进行修改，需要耗费极大的人力进行不断修改。由于机器学习技术纷繁负责，开发工具与框架甚广，许多算法难度较大，涉及数学与计算机科学，要求具有较高素质的专业人员进行开发设计。
发明内容
本发明实施例提供一种克服上述问题或者至少部分地解决上述问题的一种基于云平台和预设模型的神经网络自动训练方法和装置。
第一方面，本发明实施例提供了一种基于云平台和预设模型的神经网络自动训练方法，包括：
获取用户输入的样本数据及辅助信息，基于所述样本数据的数据类型从预设算法中选择一种神经网络训练算法；
基于所述辅助信息确定用户需解决问题，并基于预设的用户需解决问题与神经网络模型的对应关系，调用相应的神经网络模型；
基于所述样本数据和所述神经网络训练算法，对所述神经网络模型进行自动训练，得到目标神经网络模型。
第二方面，本发明实施例提供了一种基于云平台和预设模型的神经网络自动训练装置，包括：
算法选择云平台，用于获取用户输入的样本数据及辅助信息，基于所述样本数据的数据类型从预设算法中选择一种神经网络训练算法；
模型选择云平台，基于所述辅助信息确定用户需解决问题，并基于预设的用户需解决问题与神经网络模型的对应关系，调用相应的神经网络模型；
模型训练云平台，用于基于所述样本数据和所述神经网络训练算法，对所述神经网络模型进行自动训练，得到目标神经网络模型。
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所提供的方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所提供的方法的步骤。
本发明实施例提出了一种基于云平台和预设模型的神经网络自动训练方法和装置，通过在云计算平台下以云的形式存在的大量计算机组成的各种机器学习云，是云计算平台默认自带了各种神经网络训练算法，通过根据用户输入的样本数据数据类型选择神经网络训练算法，并基于预设的用户需解决问题与神经网络模型的对应关系，调用相应的神经网络模型，以对所述样本数据进行自动训练，解决了机器学习建模不便的问题，提供了一种结合云计算技和机器学习技术处理现实问题提供了方便快捷的方法。从而使用户无需为繁琐的细节而烦恼，能够更加专注于自己的业务，有利于创新和降低成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为根据本发明实施例的基于云平台和预设模型的神经网络自动训练方法示意图；
图2为根据本发明实施例的基于云平台和预设模型的神经网络自动训练装置示意图；
图3为根据本发明实施例的电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
现有技术中关于神经网络训练的技术方案都是拘泥于其使用者自身的需求所设计的，例如某电商平台的用户喜好分析，电力系统数据分析平台，医学上的基因分析等等。从应用层面来说，这些方案所构建的系统都是只能针对特定目来设计的，如果数据类型有变化，或者分析需求有变化，难免需要对其进行修改，需要耗费极大的人力进行不断修改。从系统层面来说，这种针对特定目的的分析系统，程序接口不统一，不同系统之间无法相互通信。而且由于高度定制化，导致缺乏泛用性，可移植性与复用能力，是资源的一种浪费。从开发层面来说，由于机器学习技术纷繁负责，开发工具与框架甚广，许多算法难度较大，涉及数学与计算机科学，要求具有较高素质的专业人员进行开发设计。
由于现有技术中都是拘泥于其使用者自身的需求所设计的，技术纷繁负责，开发工具与框架甚广，许多算法难度较大，涉及数学与计算机科学，要求具有较高素质的专业人员进行开发设计，对于普通用户使用难度大，因此本发明各实施例针对在普通用户使用神经网络训练给出解决方案，具体为结合云计算技术和机器学习技术处理现实问题提供了方便快捷的方法，从而使用户无需为繁琐的细节而烦恼，能够更加专注于自己的业务，有利于创新和降低成本。以下将通过多个实施例进行展开说明和介绍。
图1为本发明实施例提供的一种基于云平台和预设模型的神经网络自动训练方法，包括：
S1、获取用户输入的样本数据及辅助信息，基于所述样本数据的数据类型从预设算法中选择一种神经网络训练算法；
S2、基于所述辅助信息确定用户需解决问题，并基于预设的用户需解决问题与神经网络模型的对应关系，调用相应的神经网络模型；
S3、基于所述样本数据和所述神经网络训练算法，对所述神经网络模型进行自动训练，得到目标神经网络模型。
在本实施例中，需要先为样本数据的数据类型预设的神经网络训练算法，每种数据类型对应有一个神经网络训练算法，在接收到某一数据类型的样本数据时，首先需要判断样本数据的数据类型，再根据数据类型选择神经网络训练算法，并基于预设的用户需解决问题与神经网络模型的对应关系，调用相应的神经网络模型，以对上述样本数据进行自动训练，解决了机器学习建模不便的问题，从而使用户无需为繁琐的细节而烦恼，能够更加专注于自己的业务，有利于创新和降低成本。最终，可得到一个或多个神经网络算法对应的神经网络模型，若存在多个神经网络模型，则可再进行验证，选取最优的神经网络模型。
在本实施例中，辅助信息是用户在上传样本数据时添加的，表明了用户需要解决的问题，及期望等。
在本实施例中，样本数据中还设有标注信息，以方便进行训练。
在本实施例中，每种数据类型预设有多个可选的神经网络算法，在识别用户输入的样本数据的数据类型后，从预设神经网络算法中选择一个或多个即可，选择算法的数目可以设定。
在本实施例中，上述方法步骤都是通过云计算完成的，通过在云计算平台下以云的形式存在的大量计算机组成的各种机器学习云，是云计算平台默认自带了各种机器学习算法，另一方面，可以由计算机群组成的初始建模云、搜索空间概估云、方法发现云、EM(Expectation Maximization Algorithm，最大期望算法)算法支撑云、评估函数云、计算云、机器学习算法扩充云，从而体现出云的优势，由大量的计算资源计算出普通用户难以或需要长时间计算出的机器学习使用的合适的参数，同时又包括与用户进行交互的Web交互界面，机器学习输入输出模块及云管理模块，用以支撑云计算平台的运行。使机器学习的使用摆脱了环境的束缚，充分发挥了云计算平台高效的计算能力和透明性，最大程度的降低了机器学习的使用门槛，使得用户无需从众多机器学习方法中通过反复实验寻找合适的机器学习方法，解决了在实际应用机器学习时，建模选择的难以预测性、参数调整的人工经验性、普通用户学习困难等缺点。
在上述实施例的基础上，上述样本数据的数据类型包括文本、文档、图像、声音、时间序列。
在本实施例中，为了满足用户的不同需求，支持不同数据类型样本数据的训练，共支持五种数据类型的样本数据，具体为文本、文档、图像、声音和时间序列，其中文本输入为词向量，需要进行高斯修正变换，文档的输入为词频概率或TF-IDF(term frequency–inverse document frequency，信息检索数据挖掘的常用加权技术)，可转为二进制输入模型，图像输入为二进制或N/A，为N/A时需要进行高斯修正变换，声音、时间序列都为N/A，需要进行高斯修正变换。
在上述各实施例的基础上，基于所述样本数据的数据类型从预设算法中选择一种神经网络训练算法，具体包括：
若所述样本数据的数据类型为文本，则选择拟牛顿算法；
若所述样本数据的数据类型为文档，则选择牛顿算法；
若所述样本数据的数据类型为图像，则选择Levenberg-Marquardt算法；
若所述样本数据的数据类型为声音，则共轭梯度算法；
若所述样本数据的数据类型为时间序列，则选择梯度下降算法。
在上述各实施例的基础上，并基于所述用户需解决问题选择一种神经网络模型，具体包括：
若上述样本数据的数据类型为文本，则选择递归神经张量网络(RecursiveNeural Tensor Network，RNTN)、深度信念网络(Deep Belief Network，DBN)、堆叠式降噪自动编码器和/或深度自动编码器；其中，若用户需解决问题为情感分析则选择递归神经张量网络RNTN模型，若用户需解决问题为命名实体识别则选择深度信念网络DBN模型，若用户需解决问题为词性标注则选择堆叠式降噪自动编码器，若用户需解决问题为语义角色标记则选择深度自动编码器；
若上述样本数据的数据类型为文档，则选择深度自动编码器、深度信念网络和/或堆叠式降噪自动编码器；具体的，上述深度自动编码器包括一个DBN或堆叠式降噪自动编码器(Stacked Denoising Autoencoders，SDA)；在本实施例中，若用户需解决问题为主题建模则选择深度自动编码器，若用户需解决问题为文档分类则选择深度信念网络模型或堆叠式降噪自动编码器，择一即可；
若上述样本数据的数据类型为图像，则选择深度信念网络、卷积神经网络(Convolutional Neural Network，CNN)、递归神经张量网络RNTN和/或深度自动编码器；在本实施例中，若用户需解决问题为图像识别则选择深度信念网络模型，若用户需解决问题为多对象识别则选择卷积神经网络CNN模型或递归神经张量网络RNTN模型，若用户需解决问题为图像搜索则选择深度自动编码器；
若上述样本数据的数据类型为声音，则选择卷积神经网络CNN、深度信念网络DBN和/或循环神经网络(Recurrent Neural Network，RNN)；语音识别则随机选取一个，选择深度信念网络DBN模型或循环神经网络RNN模型。
若上述样本数据的数据类型为时间序列，则选择卷积神经网络CNN、深度信念网络DBN和/或循环神经网络RNN。时间序列则随机选取一个，随机选择卷积神经网络CNN模型、深度信念网络DBN模型或循环神经网络RNN模型。
具体的，深度信念网络本质上是一种具有生成能力的图形表示网络，即它生成当前示例的所有可能值，由诸如波尔兹曼机(Restricted Boltzmann Machine，RBM)堆叠而成，每个子网络的不可见层是下一层的可见层，隐藏层或不可见的层并不是相互连接，而是有条件互相独立的，其在文字检测、文本建模分类、图像、语音、时间序列分析等方面有非常重要的应用。
在上述各实施例的基础上，对所述神经网络模型进行自动训练前，还包括：
基于所述神经网络模型的输入格式，对所述样本数据进行格式转换，使样本数据的格式与所述神经网络模型的输入格式统一，并依次进行缺失值处理、噪声数据处理、数据清理、数据集成、数据变换和数据归约处理。
在上述各实施例的基础上，获取用户输入的样本数据和标注信息后，还包括：
将上述样本数据和标注信息进行加密并存储至云端。
在本实施例中，若用户需要对其训练样本进行保密，则可在输入样本数据及标注信息时，选择对样本数据、标注信息进行保密操作，则云端将样本数据和标注信息加密后，再存储至云端。
在上述各实施例的基础上，基于所述神经网络算法对所述样本数据进行自动训练，得到目标神经网络模型后，还包括：
从所述样本数据中随机抽取部分数据作为测试集，将所述测试集分别输入到所述目标神经网络模型中，对所述目标神经网络模型进行验证。
在本实施例中，由于在训练、测试过程中，需要将样本数据转换为与神经网络模型的输入数据相同的数据类型，因为本实施例中，将每个数据类型下的各神经网络模型的输入格式统一，在接收样本数据后，将样本数据的格式统一化、数据化后，在依次进行缺失值处理、噪声数据处理、数据清理、数据集成、数据变换和数据归约处理。
本实施例还提供了一种基于云平台和预设模型的神经网络自动训练装置，基于上述各实施例的方法，如图2所示，包括算法选择云平台30、模型选择云平台40和模型训练云平台50，其中：
算法选择云平台30获取用户输入的样本数据及辅助信息，基于所述样本数据的数据类型从预设算法中选择一种神经网络训练算法；
模型选择云平台40所述辅助信息确定用户需解决问题，并基于预设的用户需解决问题与神经网络模型的对应关系，调用相应的神经网络模型；
模型训练云平台50基于所述样本数据和所述神经网络训练算法，对所述神经网络模型进行自动训练，得到目标神经网络模型。
图3为本发明实施例提供的电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储在存储器830上并可在处理器810上运行的计算机程序，以执行上述各实施例提供的基于云平台和预设模型的神经网络自动训练方法，例如包括：
S1、获取用户输入的样本数据及辅助信息，基于所述样本数据的数据类型从预设算法中选择一种神经网络训练算法；
S2、基于所述辅助信息确定用户需解决问题，并基于预设的用户需解决问题与神经网络模型的对应关系，调用相应的神经网络模型；
S3、基于所述样本数据和所述神经网络训练算法，对所述神经网络模型进行自动训练，得到目标神经网络模型。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的基于云平台和预设模型的神经网络自动训练方法，例如包括：
S1、获取用户输入的样本数据及辅助信息，基于所述样本数据的数据类型从预设算法中选择一种神经网络训练算法；
S2、基于所述辅助信息确定用户需解决问题，并基于预设的用户需解决问题与神经网络模型的对应关系，调用相应的神经网络模型；
S3、基于所述样本数据和所述神经网络训练算法，对所述神经网络模型进行自动训练，得到目标神经网络模型。
本发明实施例还提供本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行如上述的基于云平台和预设模型的神经网络自动训练方法，例如包括：
S1、获取用户输入的样本数据及辅助信息，基于所述样本数据的数据类型从预设算法中选择一种神经网络训练算法；
S2、基于所述辅助信息确定用户需解决问题，并基于预设的用户需解决问题与神经网络模型的对应关系，调用相应的神经网络模型；
S3、基于所述样本数据和所述神经网络训练算法，对所述神经网络模型进行自动训练，得到目标神经网络模型。
综上所述，本发明实施例提供的一种基于云平台和预设模型的神经网络自动训练方法和装置，通过在云计算平台下以云的形式存在的大量计算机组成的各种机器学习云，是云计算平台默认自带了各种神经网络训练算法，通过根据用户输入的样本数据数据类型选择神经网络训练算法，并基于预设的用户需解决问题与神经网络模型的对应关系，调用相应的神经网络模型，以对所述样本数据进行自动训练，解决了机器学习建模不便的问题，提供了一种结合云计算技和机器学习技术处理现实问题提供了方便快捷的方法。从而使用户无需为繁琐的细节而烦恼，能够更加专注于自己的业务，有利于创新和降低成本。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于云平台和预设模型的神经网络自动训练方法，其特征在于，包括：
获取用户输入的样本数据及辅助信息，基于所述样本数据的数据类型从预设算法中选择一种神经网络训练算法；
基于所述辅助信息确定用户需解决问题，并基于预设的用户需解决问题与神经网络模型的对应关系，调用相应的神经网络模型；
基于所述样本数据和所述神经网络训练算法，对所述神经网络模型进行自动训练，得到目标神经网络模型。
2.根据权利要求1所述的基于云平台和预设模型的神经网络自动训练方法，其特征在于，所述样本数据的数据类型包括文本、文档、图像、声音、时间序列。
3.根据权利要求2所述的基于云平台和预设模型的神经网络自动训练方法，其特征在于，基于所述样本数据的数据类型从预设算法中选择一种神经网络训练算法，具体包括：
若所述样本数据的数据类型为文本，则选择拟牛顿算法；
若所述样本数据的数据类型为文档，则选择牛顿算法；
若所述样本数据的数据类型为图像，则选择Levenberg-Marquardt算法；
若所述样本数据的数据类型为声音，则共轭梯度算法；
若所述样本数据的数据类型为时间序列，则选择梯度下降算法。
4.根据权利要求2所述的基于云平台和预设模型的神经网络自动训练方法，其特征在于，并基于所述用户需解决问题选择一种神经网络模型，具体包括：
当所述样本数据的数据类型为文本时，若用户需解决问题为情感分析则选择递归神经张量网络RNTN模型，若用户需解决问题为命名实体识别则选择深度信念网络DBN模型，若用户需解决问题为词性标注则选择堆叠式降噪自动编码器，若用户需解决问题为语义角色标记则选择深度自动编码器；
当所述样本数据的数据类型为文档时，若用户需解决问题为主题建模则选择深度自动编码器，若用户需解决问题为文档分类则选择深度信念网络模型或堆叠式降噪自动编码器；
当所述样本数据的数据类型为图像时，若用户需解决问题为图像识别则选择深度信念网络模型，若用户需解决问题为多对象识别则选择卷积神经网络CNN模型或递归神经张量网络RNTN模型，若用户需解决问题为图像搜索则选择深度自动编码器；
当所述样本数据的数据类型为声音时，则随机选择深度信念网络DBN模型或循环神经网络RNN模型；
当所述样本数据的数据类型为时间序列时，则随机选择卷积神经网络CNN模型、深度信念网络DBN模型或循环神经网络RNN模型。
5.根据权利要求1所述的基于云平台和预设模型的神经网络自动训练方法，其特征在于，对所述神经网络模型进行自动训练前，还包括：
基于所述神经网络模型的输入格式，对所述样本数据进行格式转换，使样本数据的格式与所述神经网络模型的输入格式统一，并依次进行缺失值处理、噪声数据处理、数据清理、数据集成、数据变换和数据归约处理。
6.根据权利要求1所述的基于云平台和预设模型的神经网络自动训练方法，其特征在于，获取用户输入的样本数据和标注信息后，还包括：
将所述样本数据和标注信息进行加密并存储至云端。
7.根据权利要求1所述的基于云平台和预设模型的神经网络自动训练方法，其特征在于，基于所述神经网络算法对所述样本数据进行自动训练，得到目标神经网络模型后，还包括：
从所述样本数据中随机抽取部分数据作为测试集，将所述测试集分别输入到所述目标神经网络模型中，对所述目标神经网络模型进行验证。
8.一种基于云平台和预设模型的神经网络自动训练装置，其特征在于，包括：
算法选择云平台，用于获取用户输入的样本数据及辅助信息，基于所述样本数据的数据类型从预设算法中选择一种神经网络训练算法；
模型选择云平台，基于所述辅助信息确定用户需解决问题，并基于预设的用户需解决问题与神经网络模型的对应关系，调用相应的神经网络模型；
模型训练云平台，用于基于所述样本数据和所述神经网络训练算法，对所述神经网络模型进行自动训练，得到目标神经网络模型。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述的方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811278833.9A CN109635918A (zh) | 2018-10-30 | 2018-10-30 | 基于云平台和预设模型的神经网络自动训练方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811278833.9A CN109635918A (zh) | 2018-10-30 | 2018-10-30 | 基于云平台和预设模型的神经网络自动训练方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109635918A true CN109635918A (zh) | 2019-04-16 |
Family
ID=66066886
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811278833.9A Pending CN109635918A (zh) | 2018-10-30 | 2018-10-30 | 基于云平台和预设模型的神经网络自动训练方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109635918A (zh) |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110197016A (zh) * | 2019-05-15 | 2019-09-03 | 南京星火技术有限公司 | 等效模型建立方法、装置、计算机可读介质以及使用方法 |
| CN110674861A (zh) * | 2019-09-19 | 2020-01-10 | 国网山东省电力公司电力科学研究院 | 一种输变电巡检图像智能分析方法及装置 |
| CN110705714A (zh) * | 2019-09-27 | 2020-01-17 | 上海联影医疗科技有限公司 | 深度学习模型检测方法、深度学习平台以及计算机设备 |
| CN110781173A (zh) * | 2019-10-12 | 2020-02-11 | 杭州城市大数据运营有限公司 | 一种数据识别方法、装置、计算机设备及存储介质 |
| CN111162933A (zh) * | 2019-12-13 | 2020-05-15 | 上海谱翱数据科技有限公司 | 一种具有预测功能的云计算系统及其实现方法 |
| CN111461337A (zh) * | 2020-03-05 | 2020-07-28 | 深圳追一科技有限公司 | 数据处理方法、装置、终端设备及存储介质 |
| CN111523165A (zh) * | 2020-04-16 | 2020-08-11 | 刘小刚 | 一种基于深度学习的建筑辅助设计方法及系统 |
| CN111882059A (zh) * | 2020-07-17 | 2020-11-03 | 北京市商汤科技开发有限公司 | 数据处理方法及装置、电子设备和存储介质 |
| CN112085563A (zh) * | 2020-09-04 | 2020-12-15 | 浪潮云信息技术股份公司 | 一种基于cnn的云硬盘资源管理方法 |
| CN112101567A (zh) * | 2020-09-15 | 2020-12-18 | 厦门渊亭信息科技有限公司 | 基于人工智能的自动化建模方法及装置 |
| CN112712097A (zh) * | 2019-10-25 | 2021-04-27 | 杭州海康威视数字技术股份有限公司 | 一种基于开放平台的图像识别方法、装置及用户端 |
| CN113448988A (zh) * | 2021-07-08 | 2021-09-28 | 京东科技控股股份有限公司 | 算法模型的训练方法、装置、电子设备及存储介质 |
| WO2021227293A1 (zh) * | 2020-05-09 | 2021-11-18 | 烽火通信科技股份有限公司 | 一种通用的人工智能模型训练方法及系统 |
| CN113673706A (zh) * | 2020-05-15 | 2021-11-19 | 富泰华工业（深圳）有限公司 | 机器学习模型训练方法、装置及电子设备 |
| CN114611720A (zh) * | 2022-03-14 | 2022-06-10 | 北京字节跳动网络技术有限公司 | 联邦学习模型训练方法、电子设备及存储介质 |
| CN114757307A (zh) * | 2022-06-14 | 2022-07-15 | 中国电力科学研究院有限公司 | 一种人工智能自动训练方法、系统、装置及存储介质 |
| CN114761183A (zh) * | 2019-12-03 | 2022-07-15 | 西门子股份公司 | 用于为机器人系统开发神经技能的计算机化工程工具和方法 |
| CN114927164A (zh) * | 2022-07-18 | 2022-08-19 | 深圳市爱云信息科技有限公司 | 基于aiot平台的样本兼容检测方法、装置、设备与存储介质 |
| CN114938337A (zh) * | 2022-04-12 | 2022-08-23 | 华为技术有限公司 | 一种模型训练方法、装置及电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101782976A (zh) * | 2010-01-15 | 2010-07-21 | 南京邮电大学 | 一种云计算环境下机器学习自动选择方法 |
| WO2015030606A2 (en) * | 2013-08-26 | 2015-03-05 | Auckland University Of Technology | Improved method and system for predicting outcomes based on spatio / spectro-temporal data |
| CN108447487A (zh) * | 2018-03-27 | 2018-08-24 | 中国科学院长春光学精密机械与物理研究所 | 基于文本输入与输出训练模拟人脑思维的方法及系统 |
| CN108446388A (zh) * | 2018-03-22 | 2018-08-24 | 平安科技（深圳）有限公司 | 文本数据质检方法、装置、设备及计算机可读存储介质 |
-
2018
- 2018-10-30 CN CN201811278833.9A patent/CN109635918A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101782976A (zh) * | 2010-01-15 | 2010-07-21 | 南京邮电大学 | 一种云计算环境下机器学习自动选择方法 |
| WO2015030606A2 (en) * | 2013-08-26 | 2015-03-05 | Auckland University Of Technology | Improved method and system for predicting outcomes based on spatio / spectro-temporal data |
| CN108446388A (zh) * | 2018-03-22 | 2018-08-24 | 平安科技（深圳）有限公司 | 文本数据质检方法、装置、设备及计算机可读存储介质 |
| CN108447487A (zh) * | 2018-03-27 | 2018-08-24 | 中国科学院长春光学精密机械与物理研究所 | 基于文本输入与输出训练模拟人脑思维的方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 倔强不倒翁: "《训练神经网络的五大算法》", 《HTTPS://BLOG.CSDN.NET/X_R_SU/ARTICLE/DETAILS/53044635》 * |
Cited By (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110197016A (zh) * | 2019-05-15 | 2019-09-03 | 南京星火技术有限公司 | 等效模型建立方法、装置、计算机可读介质以及使用方法 |
| CN110674861B (zh) * | 2019-09-19 | 2022-03-18 | 国网智能科技股份有限公司 | 一种输变电巡检图像智能分析方法及装置 |
| CN110674861A (zh) * | 2019-09-19 | 2020-01-10 | 国网山东省电力公司电力科学研究院 | 一种输变电巡检图像智能分析方法及装置 |
| CN110705714A (zh) * | 2019-09-27 | 2020-01-17 | 上海联影医疗科技有限公司 | 深度学习模型检测方法、深度学习平台以及计算机设备 |
| CN110705714B (zh) * | 2019-09-27 | 2022-07-22 | 上海联影医疗科技股份有限公司 | 深度学习模型检测方法、深度学习平台以及计算机设备 |
| CN110781173A (zh) * | 2019-10-12 | 2020-02-11 | 杭州城市大数据运营有限公司 | 一种数据识别方法、装置、计算机设备及存储介质 |
| CN112712097B (zh) * | 2019-10-25 | 2024-01-05 | 杭州海康威视数字技术股份有限公司 | 一种基于开放平台的图像识别方法、装置及用户端 |
| CN112712097A (zh) * | 2019-10-25 | 2021-04-27 | 杭州海康威视数字技术股份有限公司 | 一种基于开放平台的图像识别方法、装置及用户端 |
| CN114761183A (zh) * | 2019-12-03 | 2022-07-15 | 西门子股份公司 | 用于为机器人系统开发神经技能的计算机化工程工具和方法 |
| CN111162933B (zh) * | 2019-12-13 | 2024-03-19 | 上海谱翱数据科技有限公司 | 一种具有预测功能的云计算系统及其实现方法 |
| CN111162933A (zh) * | 2019-12-13 | 2020-05-15 | 上海谱翱数据科技有限公司 | 一种具有预测功能的云计算系统及其实现方法 |
| CN111461337A (zh) * | 2020-03-05 | 2020-07-28 | 深圳追一科技有限公司 | 数据处理方法、装置、终端设备及存储介质 |
| CN111461337B (zh) * | 2020-03-05 | 2023-08-18 | 深圳追一科技有限公司 | 数据处理方法、装置、终端设备及存储介质 |
| CN111523165A (zh) * | 2020-04-16 | 2020-08-11 | 刘小刚 | 一种基于深度学习的建筑辅助设计方法及系统 |
| WO2021227293A1 (zh) * | 2020-05-09 | 2021-11-18 | 烽火通信科技股份有限公司 | 一种通用的人工智能模型训练方法及系统 |
| CN113673706A (zh) * | 2020-05-15 | 2021-11-19 | 富泰华工业（深圳）有限公司 | 机器学习模型训练方法、装置及电子设备 |
| US12026592B2 (en) | 2020-05-15 | 2024-07-02 | Hon Hai Precision Industry Co., Ltd. | Machine learning model training method and machine learning model training device |
| CN111882059A (zh) * | 2020-07-17 | 2020-11-03 | 北京市商汤科技开发有限公司 | 数据处理方法及装置、电子设备和存储介质 |
| CN112085563A (zh) * | 2020-09-04 | 2020-12-15 | 浪潮云信息技术股份公司 | 一种基于cnn的云硬盘资源管理方法 |
| CN112101567A (zh) * | 2020-09-15 | 2020-12-18 | 厦门渊亭信息科技有限公司 | 基于人工智能的自动化建模方法及装置 |
| CN113448988A (zh) * | 2021-07-08 | 2021-09-28 | 京东科技控股股份有限公司 | 算法模型的训练方法、装置、电子设备及存储介质 |
| CN113448988B (zh) * | 2021-07-08 | 2024-05-17 | 京东科技控股股份有限公司 | 算法模型的训练方法、装置、电子设备及存储介质 |
| CN114611720B (zh) * | 2022-03-14 | 2023-08-08 | 抖音视界有限公司 | 联邦学习模型训练方法、电子设备及存储介质 |
| CN114611720A (zh) * | 2022-03-14 | 2022-06-10 | 北京字节跳动网络技术有限公司 | 联邦学习模型训练方法、电子设备及存储介质 |
| WO2023174036A1 (zh) * | 2022-03-14 | 2023-09-21 | 北京字节跳动网络技术有限公司 | 联邦学习模型训练方法、电子设备及存储介质 |
| CN114938337A (zh) * | 2022-04-12 | 2022-08-23 | 华为技术有限公司 | 一种模型训练方法、装置及电子设备 |
| CN114757307A (zh) * | 2022-06-14 | 2022-07-15 | 中国电力科学研究院有限公司 | 一种人工智能自动训练方法、系统、装置及存储介质 |
| CN114927164A (zh) * | 2022-07-18 | 2022-08-19 | 深圳市爱云信息科技有限公司 | 基于aiot平台的样本兼容检测方法、装置、设备与存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109635918A (zh) | 基于云平台和预设模型的神经网络自动训练方法和装置 | |
| CN109376844A (zh) | 基于云平台和模型推荐的神经网络自动训练方法和装置 | |
| KR102071582B1 (ko) | 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 문장이 속하는 클래스(class)를 분류하는 방법 및 장치 | |
| CN108334605B (zh) | 文本分类方法、装置、计算机设备及存储介质 | |
| CN109783817B (zh) | 一种基于深度强化学习的文本语义相似计算模型 | |
| CN108780519B (zh) | 卷积神经网络的结构学习 | |
| CN107870964B (zh) | 一种应用于答案融合系统的语句排序方法及系统 | |
| CN107861938B (zh) | 一种poi文案生成方法及装置，电子设备 | |
| CN109478204A (zh) | 非结构化文本的机器理解 | |
| CN108229478A (zh) | 图像语义分割及训练方法和装置、电子设备、存储介质和程序 | |
| CN109271493A (zh) | 一种语言文本处理方法、装置和存储介质 | |
| CN112418292B (zh) | 一种图像质量评价的方法、装置、计算机设备及存储介质 | |
| US11423307B2 (en) | Taxonomy construction via graph-based cross-domain knowledge transfer | |
| CN113762052A (zh) | 视频封面提取方法、装置、设备及计算机可读存储介质 | |
| Concolato et al. | Data science: A new paradigm in the age of big-data science and analytics | |
| CN107948730A (zh) | 基于图片生成视频的方法、装置、设备及存储介质 | |
| CN112417267A (zh) | 一种用户行为分析方法、装置、计算机设备及存储介质 | |
| CN111241843B (zh) | 基于复合神经网络的语义关系推断系统和方法 | |
| CN117058276B (zh) | 图像生成方法、装置、设备及存储介质 | |
| KR101494795B1 (ko) | 문서를 매트릭스로 표현하는 방법 | |
| CN111160733A (zh) | 一种基于有偏样本的风险控制方法、装置及电子设备 | |
| KR102117908B1 (ko) | 기계학습 모델링을 위한 신규 학습 콘텐츠 분석 방법, 장치 및 컴퓨터 프로그램 | |
| CN110717539A (zh) | 基于人工智能的降维模型训练方法、检索方法及装置 | |
| KR102549937B1 (ko) | Sns 텍스트 기반의 사용자의 인테리어 스타일 분석 모델 제공 장치 및 방법 | |
| CN112749364B (zh) | 基于人工智能的网页生成方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190416 |