CN112308225A - 训练神经网络的方法、装置及计算机可读存储介质 - Google Patents
训练神经网络的方法、装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN112308225A CN112308225A CN201911126471.6A CN201911126471A CN112308225A CN 112308225 A CN112308225 A CN 112308225A CN 201911126471 A CN201911126471 A CN 201911126471A CN 112308225 A CN112308225 A CN 112308225A
- Authority
- CN
- China
- Prior art keywords
- corpus data
- corpus
- classification
- training
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 188
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 109
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000003860 storage Methods 0.000 title claims abstract description 13
- 238000002372 labelling Methods 0.000 claims abstract description 71
- 238000012360 testing method Methods 0.000 claims abstract description 40
- 239000013598 vector Substances 0.000 claims description 38
- 238000009826 distribution Methods 0.000 claims description 16
- 238000012217 deletion Methods 0.000 claims description 3
- 230000037430 deletion Effects 0.000 claims description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 14
- 230000001186 cumulative effect Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 230000000737 periodic effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
Abstract
本公开提供了一种训练神经网络的方法、装置及计算机可读存储介质，涉及人工智能技术领域。其中的训练神经网络的方法包括：在当前训练周期内，从语料数据库提取语料数据并进行标注，得到各语料数据的分类标签；利用标注后的各语料数据对第一分类神经网络进行训练，并测试第一分类神经网络预测语料数据的分类标签的准确率；判断当前训练周期及多个历史训练周期内，准确率的方差是否小于第一阈值；在方差小于第一阈值的情况下，停止对第一分类神经网络的训练；在方差不小于第一阈值的情况下，进行下一训练周期。本公开能够有效确定训练神经网络所需语料数据的数量，从而减轻了语料数据的标注工作，提高了神经网络的训练效率。
Description
技术领域
本公开涉及人工智能技术领域，特别涉及一种训练神经网络的方法、装置及计算机可读存储介质。
背景技术
聊天机器人能够通过分类神经网络来识别用户输入语料的意图，从而针对不同意图的语料进行策略性的应答。
构造、改进、优化该分类神经网络需要注有分类标签的语料数据。通常来讲，从线上导出的聊天日志进行逐行人工标注，可以获取这些注有分类标签的语料数据。根据分类标注规则、分类个数以及语料数据的数量，能够大概估计所需标注的语料数据的数量，从而按照消息标识或者会话标识进行依次标注。
发明内容
本公开解决的一个技术问题是，如何确定训练神经网络所需语料数据的数量。
根据本公开实施例的一个方面，提供了一种训练神经网络的方法，包括：在当前训练周期内，从语料数据库提取语料数据并进行标注，得到各语料数据的分类标签；利用标注后的各语料数据对第一分类神经网络进行训练，并测试第一分类神经网络预测语料数据的分类标签的准确率；判断当前训练周期及多个历史训练周期内，准确率的方差是否小于第一阈值；在方差小于第一阈值的情况下，停止对第一分类神经网络的训练；在方差不小于第一阈值的情况下，进行下一训练周期。
在一些实施例中，在当前训练周期内，从语料数据库提取语料数据并进行标注，得到各语料数据的分类标签包括：对语料数据库中的所有语料数据进行聚类，并从各个聚类中按预设比例提取语料数据；对提取的语料数据进行标注，并统计标注结果中各分类标签的占比；若当前训练周期占比的累计分布曲线与上一周期占比的累计分布曲线之间的最大垂直差大于第二阈值，则提示用户对当前训练周期提取的语料数据进行重新标注。
在一些实施例中，对语料数据库中的所有语料数据进行聚类包括：将语料数据库中的各语料数据转化词向量；采用K均值算法对各词向量进行聚类，得到各词向量的一级分类；采用层次聚类算法对一级分类相同的各词向量进行聚类，得到各词向量的二级分类；将各词向量的二级分类结果作为语料数据库中所有语料数据的聚类结果。
在一些实施例中，对提取的语料数据进行标注包括：按照聚类结果，依次对各个聚类中的语料数据进行标注。
在一些实施例中，在当前训练周期内，从语料数据库提取语料数据并进行标注，得到各语料数据的分类标签包括：将从语料数据库提取语料数据并进行标注，得到各语料数据的初始分类标签；将具有初始分类标签的各语料数据划分为测试数据集和训练数据集；采用训练数据集对第二分类神经网络进行训练，并采用测试数据集测试第二分类神经网络预测语料数据的分类标签的准确率；若第二分类神经网络预测语料数据的分类标签的准确率小于第三阈值，则提示用户对当前训练周期提取的语料数据进行重新标注。
在一些实施例中，从语料数据库提取语料数据之后，进行标注之前，方法还包括：采用上一训练周期训练的第一分类神经网络，对各语料数据进行预测，得到各语料数据的预测分类标签；将各语料数据及相应的预测分类标签发送至用户，以提供标注建议。
在一些实施例中，该方法还包括：删除语料数据库中相同的语料数据。
根据本公开实施例的另一个方面，提供了一种训练神经网络的装置，包括：网络训练模块，被配置为：在当前训练周期内，从语料数据库提取语料数据并进行标注，得到各语料数据的分类标签；利用标注后的各语料数据对第一分类神经网络进行训练，并测试第一分类神经网络预测语料数据的分类标签的准确率；方差判断模块，被配置为：判断当前训练周期及多个历史训练周期内，准确率的方差是否小于第一阈值；网络训练模块还被配置为：在方差小于第一阈值的情况下，停止对第一分类神经网络的训练；在方差不小于第一阈值的情况下，进行下一训练周期。
在一些实施例中，网络训练模块被配置为：对语料数据库中的所有语料数据进行聚类，并从各个聚类中按预设比例提取语料数据；对提取的语料数据进行标注，并统计标注结果中各分类标签的占比；若当前训练周期占比的累计分布曲线与上一周期占比的累计分布曲线之间的最大垂直差大于第二阈值，则提示用户对当前训练周期提取的语料数据进行重新标注。
在一些实施例中，网络训练模块被配置为：将语料数据库中的各语料数据转化词向量；采用K均值算法对各词向量进行聚类，得到各词向量的一级分类；采用层次聚类算法对一级分类相同的各词向量进行聚类，得到各词向量的二级分类；将各词向量的二级分类结果作为语料数据库中所有语料数据的聚类结果。
在一些实施例中，网络训练模块被配置为：按照聚类结果，依次对各个聚类中的语料数据进行标注。
在一些实施例中，网络训练模块被配置为：将从语料数据库提取语料数据并进行标注，得到各语料数据的初始分类标签；将具有初始分类标签的各语料数据划分为测试数据集和训练数据集；采用训练数据集对第二分类神经网络进行训练，并采用测试数据集测试第二分类神经网络预测语料数据的分类标签的准确率；若第二分类神经网络预测语料数据的分类标签的准确率小于第三阈值，则提示用户对当前训练周期提取的语料数据进行重新标注。
在一些实施例中，网络训练模块还被配置为：从语料数据库提取语料数据之后，进行标注之前，采用上一训练周期训练的第一分类神经网络，对各语料数据进行预测，得到各语料数据的预测分类标签；将各语料数据及相应的预测分类标签发送至用户，以提供标注建议。
在一些实施例中，该装置还包括数据删除模块，被配置为：删除语料数据库中相同的语料数据。
根据本公开实施例的又一个方面，提供了一种训练神经网络的装置，包括：存储器；以及耦接至存储器的处理器，处理器被配置为基于存储在存储器中的指令，执行前述的训练神经网络的方法。
根据本公开实施例的再一个方面，提供了一种计算机可读存储介质，其中，计算机可读存储介质存储有计算机指令，指令被处理器执行时实现前述的训练神经网络的方法。
本公开能够有效确定训练神经网络所需语料数据的数量，从而减轻了语料数据的标注工作，提高了神经网络的训练效率。
通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1示出了本公开一些实施例的训练神经网络的方法的流程示意图。
图2示出了本公开一些实施例的从语料数据库提取语料数据并进行标注的流程示意图。
图3示出了本公开另一些实施例的从语料数据库提取语料数据并进行标注的流程示意图。
图4示出了本公开一些实施例的训练神经网络的装置的结构示意图。
图5示出了本公开另一些实施例的训练神经网络的装置的结构示意图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本公开保护的范围。
发明人研究发现，由于相关技术中采用估计的方式确定需要标注的语料数据的数量，因而无法准确评判需要标注的语料数据的数量。如果过少地估计需要标注的语料数据的数量，会导致训练得到的分类神经网络的性能较差；如果过多地估计需要标注的语料数据的数量，会加重语料数据的标注工作，导致神经网络的训练效率较低。
基于上述问题，本公开提供了一种训练神经网络的方法。首先结合图1描述本公开训练神经网络的方法的一些实施例。
图1示出了本公开一些实施例的训练神经网络的方法的流程示意图。如图1所示，本实施例包括步骤S101～步骤S104。
在步骤S101中，在当前训练周期内，从语料数据库提取语料数据并进行标注，得到各语料数据的分类标签。
例如，在每个训练周期内，从语料数据库提取K条语料数据供用户进行标注。分类标签和语料数据的标识可以初始化为字典的形式，并在后续过程中不断追加。对于语料数据库，还可以删除语料数据库中相同的语料数据，以避免对语料数据的重复标注工作，提升标注效率。
在步骤S102中，利用标注后的各语料数据对第一分类神经网络进行训练。
例如，在当前训练周期内，将标注后的K条语料数据输入第一分类神经网络进行训练，使得训练后的第一分类神经网络能够对输入的语料数据进行处理，预测出相应的分类标签。本领域技术人员应理解，由于训练过程是周期性的，该第一分类神经网络可以是由上一训练周期训练后得到的。在历史训练周期中，用于对第一分类神经网络的所有标注后的语料数据组成训练数据集。也就是说，当前训练周期内，将标注后的K条语料数据加入训练数据集对第一分类神经网络进行训练。
在步骤S103中，测试第一分类神经网络预测语料数据的分类标签的准确率。
测试时，可以将测试数据集中的各测试数据输入第一分类神经网络，由第一分类神经网络预测测试数据集中各测试数据的分类标签。本领域技术人员应理解，测试数据集中的各测试数据也由用户提前标注了分类标签，因此可以将各测试数据由用户提前标注的分类标签作为基准，利用第一分类神经网络预测出的各测试数据的分类标签计算第一分类神经网络预测语料数据的分类标签的准确率。
在准备测试数据集及训练数据集时，可以优先将标注后的语料数据放入测试数据集。当测试数据集中的语料数据到达一定数量(例如1万条)后，每次将K(例如2千)条标注后的语料数据放入训练数据集。
在步骤S104中，判断当前训练周期及多个历史训练周期内，上述准确率的方差是否小于第一阈值。
例如，当前训练周期及4各历史训练周期(共5个训练周期)内，上述准确率的数据量为5。那么，可以计算这5个准确率数据之间的方差。方差较小意味着上述准确率已经趋于稳定(继续训练甚至有可能导致上述准确率下降)，可以停止训练；方差较小意味着上述准确率还不稳定，需要继续训练。
在方差小于第一阈值的情况下，停止对第一分类神经网络的训练。在方差不小于第一阈值的情况下，返回步骤S101进行下一训练周期。
本实施例中，通过在周期性迭代训练过程中判断分类神经网络预测语料数据的分类标签的准确率是否稳定，能够较为准确的判断用于训练该分类神经网络的语料数据的数量是否足够，从而针对语料数据的特性有依据地确定训练分类神经网络所需语料数据的数量，减轻了语料数据的标注工作，提高了神经网络的训练效率。
考虑到传统的标注过程中，用户在标注过程中需要重新理解语料数据，导致标注效率较低。在一些实施例中，在步骤S101中，从语料数据库提取语料数据之后，进行标注之前，可以采用上一训练周期训练的第一分类神经网络对各语料数据进行预测，得到各语料数据的预测分类标签。然后，将各语料数据及相应的预测分类标签发送至用户(标注人员)，以提供标注建议。利用已标注语料数据提供待标注语料数据的预测分类标签，能够有效提高待标注语料数据的标注速度和标注准确度，从而提升标注效率。
此外，本公开还可以通过线上标注平台对语料数据进行统一管理，实现语料数据的数量验证、排序、标注结果管控等功能。将语料数据的各类信息上传线上标注平台后，标注人员可以从线上标注平台将待标注的语料数据的各类信息下载至本地，因此标注平台既可以支持单人单独标注，也可以支持多人同时标注。
发明人进一步研究发现，相关技术对语料数据进行标注的过程中缺乏校验功能，无法及时提醒用户标注的分类标签是否准确。下面结合图2和图3描述从语料数据库提取语料数据并进行标注的一些实施例，以解决该问题。
(提示用户重新标注的第一种方式)
图2示出了本公开一些实施例的从语料数据库提取语料数据并进行标注的流程示意图。如图2所示，本实施例包括步骤S2011～步骤S2014。
在步骤S2011中，对语料数据库中的所有语料数据进行聚类，并从各个聚类中按预设比例提取语料数据。
例如，语料数据的分类标签共有N类，则可以将语料数据库中的所有语料数据聚为N类，并按照5％的比例从N个聚类中分别提取一定的语料数据。同时，记录每条语料数据的标识和对应的聚类标识。
在步骤S2012中，对提取的语料数据进行标注，并统计标注结果中各分类标签的占比。
例如，标注结果中N个分类标签的占比分别为4％、7％、16％……9％。
在一些实施例中，可以按照聚类结果，依次对各个聚类中的语料数据进行标注。
例如，可以按照聚类标识的顺序，依次对各个聚类中的语料数据进行标注。由于相同聚类的语料数据聚集在一起供用户进行标注，这些相同聚类的语料数据内容较为相近，分类标签也较为相近。因此，聚类后将相近的语料数据汇集起来一起标注，避免相似的语料数据分散出现，能够使用户更加容易判断语料数据的分类标签，方便用户进行标注工作，进一步提升了标注效率。
在步骤S2013中，判断当前训练周期占比的累计分布曲线与上一周期占比的累计分布曲线之间的最大垂直差是否大于第二阈值。
通过假设检验(例如Kolomogorov-Smirnov test)，可以判断当前训练周期与历史训练周期的标注结果中各分类标签的分布情况是否相近。由于各个训练周期标注的语料数据都是按照预设比例从各个聚类中随机提取的，理论上各个训练周期标注的语料数据，其标注结果中各分类标签的分布情况应当较为相近。如过最大垂直差较大，则表明各分类标签的分布情况相差较大，需要重新标注；如果最大垂直差较小，则表明各分类标签的分布情况较为接近，可以不需要重新标注
在该最大垂直差大于第二阈值的情况下，执行步骤S2014。在步骤S2014中，提示用户对当前训练周期提取的语料数据进行重新标注。在该最大垂直差不大于第二阈值的情况下，结束当前训练周期内对语料数据进行标注的过程。
重新标注当前训练周期提取的语料数据时，首先获取已标注语料数据的标识，删除并重写这些已标注语料数据的分类标签，以形成新的训练文件。
本实施例能够检验用户对语料数据进行标注的准确性，并在用户对语料数据进行标注失准的情况下提示用户对当前训练周期提取的语料数据进行重新标注，甚至可以提示用户对分类标签进行重新定义，从而提高了对语料数据进行标注的准确度，进而提高了分类神经网络的训练效率。
在一些实施例中，步骤S2011具体包括步骤S20111～步骤S20114。
在步骤S20111中，将语料数据库中的各语料数据转化词向量。
例如，可以通过WordtoVec将语料数据转化词向量。
在步骤S20112中，采用K均值算法对各词向量进行聚类，得到各词向量的一级分类。
例如，可以先采用K均值算法将各词向量聚为3类(一级分类)。
在步骤S20113中，采用层次聚类算法对一级分类相同的各词向量进行聚类，得到各词向量的二级分类。
例如，步骤S20112得到的3个聚类中，每个聚类进一步聚为N/3个类别，最终总共得到N个分类(二级分类)。
在步骤S20114中，将各词向量的二级分类结果作为语料数据库中所有语料数据的聚类结果。
先采用K均值算法进行粗分类，并进一步在粗分类的基础上采用层次聚类算法进行细分类，能够有效减小聚类算法的计算量，从而提高了聚类效率。
(提示用户重新标注的第二种方式)
图3示出了本公开另一些实施例的从语料数据库提取语料数据并进行标注的流程示意图。如图3所示，本实施例包括步骤S3011～步骤S3014。
在步骤S3011中，将从语料数据库提取语料数据并进行标注，得到各语料数据的初始分类标签。
在步骤S3012中，将具有初始分类标签的各语料数据划分为测试数据集和训练数据集。
例如，可以将具有初始分类标签的各语料数据平均分成五份。每次取一份做测试集，其余四份做训练集。
在步骤S3013中，采用训练数据集对第二分类神经网络进行训练，并采用测试数据集测试第二分类神经网络预测语料数据的分类标签的准确率。
本领域技术人员应理解，此处的准确率也可以使用召回率、F1值指标进行评估。
在步骤S3014中，判断第二分类神经网络预测语料数据的分类标签的准确率是否小于第三阈值。
如果该准确率较小，标明第二分类神经网络的训练效果较差，因此训练和测试第二分类神经网络的语料数据的分类标签的标注结果准确性较差，需要重新标注；如果该准确率较大，表明第二分类神经网络的训练效果较好，因此训练和测试第二分类神经网络的语料数据的分类标签的标注结果准确性较好，不需要重新标注
若该准确率小于第三阈值，则执行步骤S3015。在步骤S3015中，提示用户对当前训练周期提取的语料数据进行重新标注。在该准确率不小于第三阈值的情况下，结束当前训练周期内对语料数据进行标注的过程。
本实施例能够检验用户对语料数据进行标注的准确性，并在用户对语料数据进行标注失准的情况下提示用户对当前训练周期提取的语料数据进行重新标注，甚至可以提示用户对分类标签进行重新定义，从而提高了对语料数据进行标注的准确度，进而提高了分类神经网络的训练效率。
下面结合图4描述本公开训练神经网络的装置的一些实施例。
图4示出了本公开一些实施例的训练神经网络的装置的结构示意图。如图4所示，本实施例中的训练神经网络的装置40包括：网络训练模块401，被配置为：在当前训练周期内，从语料数据库提取语料数据并进行标注，得到各语料数据的分类标签；利用标注后的各语料数据对第一分类神经网络进行训练，并测试第一分类神经网络预测语料数据的分类标签的准确率；方差判断模块402，被配置为：判断当前训练周期及多个历史训练周期内，准确率的方差是否小于第一阈值；网络训练模块401还被配置为：在方差小于第一阈值的情况下，停止对第一分类神经网络的训练；在方差不小于第一阈值的情况下，进行下一训练周期。
本实施例通过在周期性迭代训练过程中判断分类神经网络预测语料数据的分类标签的准确率是否稳定，能够较为准确的判断用于训练该分类神经网络的语料数据的数量是否足够，从而针对语料数据的特性有依据地确定训练分类神经网络所需语料数据的数量，减轻了语料数据的标注工作，提高了神经网络的训练效率。
在一些实施例中，网络训练模块401被配置为：对语料数据库中的所有语料数据进行聚类，并从各个聚类中按预设比例提取语料数据；对提取的语料数据进行标注，并统计标注结果中各分类标签的占比；若当前训练周期占比的累计分布曲线与上一周期占比的累计分布曲线之间的最大垂直差大于第二阈值，则提示用户对当前训练周期提取的语料数据进行重新标注。
本实施例能够检验用户对语料数据进行标注的准确性，并在用户对语料数据进行标注失准的情况下提示用户对当前训练周期提取的语料数据进行重新标注，甚至可以提示用户对分类标签进行重新定义，从而提高了对语料数据进行标注的准确度，进而提高了分类神经网络的训练效率。
在一些实施例中，网络训练模块401被配置为：将语料数据库中的各语料数据转化词向量；采用K均值算法对各词向量进行聚类，得到各词向量的一级分类；采用层次聚类算法对一级分类相同的各词向量进行聚类，得到各词向量的二级分类；将各词向量的二级分类结果作为语料数据库中所有语料数据的聚类结果。
在一些实施例中，网络训练模块401被配置为：按照聚类结果，依次对各个聚类中的语料数据进行标注。
在一些实施例中，网络训练模块401被配置为：将从语料数据库提取语料数据并进行标注，得到各语料数据的初始分类标签；将具有初始分类标签的各语料数据划分为测试数据集和训练数据集；采用训练数据集对第二分类神经网络进行训练，并采用测试数据集测试第二分类神经网络预测语料数据的分类标签的准确率；若第二分类神经网络预测语料数据的分类标签的准确率小于第三阈值，则提示用户对当前训练周期提取的语料数据进行重新标注。
本实施例能够检验用户对语料数据进行标注的准确性，并在用户对语料数据进行标注失准的情况下提示用户对当前训练周期提取的语料数据进行重新标注，甚至可以提示用户对分类标签进行重新定义，从而提高了对语料数据进行标注的准确度，进而提高了分类神经网络的训练效率。
在一些实施例中，网络训练模块401还被配置为：从语料数据库提取语料数据之后，进行标注之前，采用上一训练周期训练的第一分类神经网络，对各语料数据进行预测，得到各语料数据的预测分类标签；将各语料数据及相应的预测分类标签发送至用户，以提供标注建议。
在一些实施例中，该装置40还包括数据删除模块400，被配置为：删除语料数据库中相同的语料数据。
下面结合图5描述本公开训练神经网络的装置的另一些实施例。
图5示出了本公开另一些实施例的训练神经网络的装置的结构示意图。如图5所示，该实施例的训练神经网络的装置50包括：存储器510以及耦接至该存储器510的处理器520，处理器520被配置为基于存储在存储器510中的指令，执行前述任意一些实施例中的训练神经网络的方法。
其中，存储器510例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)以及其他程序等。
训练神经网络的装置50还可以包括输入输出接口530、网络接口540、存储接口550等。这些接口530、540、550以及存储器510和处理器520之间例如可以通过总线560连接。其中，输入输出接口530为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口540为各种联网设备提供连接接口。存储接口550为SD卡、U盘等外置存储设备提供连接接口。
本公开还包括一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现前述任意一些实施例中的训练神经网络的方法。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本公开的较佳实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
Claims (16)
1.一种训练神经网络的方法，包括：
在当前训练周期内，从语料数据库提取语料数据并进行标注，得到各语料数据的分类标签；利用标注后的各语料数据对第一分类神经网络进行训练，并测试第一分类神经网络预测语料数据的分类标签的准确率；
判断当前训练周期及多个历史训练周期内，所述准确率的方差是否小于第一阈值；
在所述方差小于第一阈值的情况下，停止对第一分类神经网络的训练；在所述方差不小于第一阈值的情况下，进行下一训练周期。
2.如权利要求1所述的方法，其中，所述在当前训练周期内，从语料数据库提取语料数据并进行标注，得到各语料数据的分类标签包括：
对语料数据库中的所有语料数据进行聚类，并从各个聚类中按预设比例提取语料数据；
对提取的语料数据进行标注，并统计标注结果中各分类标签的占比；
若当前训练周期所述占比的累计分布曲线与上一周期所述占比的累计分布曲线之间的最大垂直差大于第二阈值，则提示用户对当前训练周期提取的语料数据进行重新标注。
3.如权利要求2所述的方法，其中，所述对语料数据库中的所有语料数据进行聚类包括：
将语料数据库中的各语料数据转化词向量；
采用K均值算法对各词向量进行聚类，得到各词向量的一级分类；
采用层次聚类算法对一级分类相同的各词向量进行聚类，得到各词向量的二级分类；
将各词向量的二级分类结果作为语料数据库中所有语料数据的聚类结果。
4.如权利要求2所述的方法，其中，所述对提取的语料数据进行标注包括：
按照聚类结果，依次对各个聚类中的语料数据进行标注。
5.如权利要求1所述的方法，其中，所述在当前训练周期内，从语料数据库提取语料数据并进行标注，得到各语料数据的分类标签包括：
将从语料数据库提取语料数据并进行标注，得到各语料数据的初始分类标签；
将具有初始分类标签的各语料数据划分为测试数据集和训练数据集；
采用训练数据集对第二分类神经网络进行训练，并采用测试数据集测试第二分类神经网络预测语料数据的分类标签的准确率；
若第二分类神经网络预测语料数据的分类标签的准确率小于第三阈值，则提示用户对当前训练周期提取的语料数据进行重新标注。
6.如权利要求1所述的方法，其中，从语料数据库提取语料数据之后，进行标注之前，所述方法还包括：
采用上一训练周期训练的第一分类神经网络，对各语料数据进行预测，得到各语料数据的预测分类标签；
将各语料数据及相应的预测分类标签发送至用户，以提供标注建议。
7.如权利要求1所述的方法，还包括：
删除语料数据库中相同的语料数据。
8.一种训练神经网络的装置，包括：
网络训练模块，被配置为：在当前训练周期内，从语料数据库提取语料数据并进行标注，得到各语料数据的分类标签；利用标注后的各语料数据对第一分类神经网络进行训练，并测试第一分类神经网络预测语料数据的分类标签的准确率；
方差判断模块，被配置为：判断当前训练周期及多个历史训练周期内，所述准确率的方差是否小于第一阈值；
所述网络训练模块还被配置为：在所述方差小于第一阈值的情况下，停止对第一分类神经网络的训练；在所述方差不小于第一阈值的情况下，进行下一训练周期。
9.如权利要求8所述的装置，其中，所述网络训练模块被配置为：
对语料数据库中的所有语料数据进行聚类，并从各个聚类中按预设比例提取语料数据；
对提取的语料数据进行标注，并统计标注结果中各分类标签的占比；
若当前训练周期所述占比的累计分布曲线与上一周期所述占比的累计分布曲线之间的最大垂直差大于第二阈值，则提示用户对当前训练周期提取的语料数据进行重新标注。
10.如权利要求9所述的装置，其中，所述网络训练模块被配置为：
将语料数据库中的各语料数据转化词向量；
采用K均值算法对各词向量进行聚类，得到各词向量的一级分类；
采用层次聚类算法对一级分类相同的各词向量进行聚类，得到各词向量的二级分类；
将各词向量的二级分类结果作为语料数据库中所有语料数据的聚类结果。
11.如权利要求9所述的装置，其中，所述网络训练模块被配置为：
按照聚类结果，依次对各个聚类中的语料数据进行标注。
12.如权利要求8所述的装置，其中，所述网络训练模块被配置为：
将从语料数据库提取语料数据并进行标注，得到各语料数据的初始分类标签；
将具有初始分类标签的各语料数据划分为测试数据集和训练数据集；
采用训练数据集对第二分类神经网络进行训练，并采用测试数据集测试第二分类神经网络预测语料数据的分类标签的准确率；
若第二分类神经网络预测语料数据的分类标签的准确率小于第三阈值，则提示用户对当前训练周期提取的语料数据进行重新标注。
13.如权利要求8所述的装置，其中，所述网络训练模块还被配置为：
从语料数据库提取语料数据之后，进行标注之前，采用上一训练周期训练的第一分类神经网络，对各语料数据进行预测，得到各语料数据的预测分类标签；将各语料数据及相应的预测分类标签发送至用户，以提供标注建议。
14.如权利要求8所述的装置，还包括数据删除模块，被配置为：删除语料数据库中相同的语料数据。
15.一种训练神经网络的装置，包括：
存储器；以及
耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如权利要求1至7中任一项所述的训练神经网络的方法。
16.一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机指令，所述指令被处理器执行时实现如权利要求1至7中任一项所述的训练神经网络的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911126471.6A CN112308225B (zh) | 2019-11-18 | 2019-11-18 | 训练神经网络的方法、装置及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911126471.6A CN112308225B (zh) | 2019-11-18 | 2019-11-18 | 训练神经网络的方法、装置及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112308225A true CN112308225A (zh) | 2021-02-02 |
| CN112308225B CN112308225B (zh) | 2024-04-09 |
Family
ID=74336286
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911126471.6A Active CN112308225B (zh) | 2019-11-18 | 2019-11-18 | 训练神经网络的方法、装置及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112308225B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6119112A (en) * | 1997-11-19 | 2000-09-12 | International Business Machines Corporation | Optimum cessation of training in neural networks |
| CN102968410A (zh) * | 2012-12-04 | 2013-03-13 | 江南大学 | 一种基于rbf神经网络算法与语义特征选取的文本分类方法 |
| US20180158463A1 (en) * | 2016-12-07 | 2018-06-07 | Interactive Intelligence Group, Inc. | System and method for neural network based speaker classification |
| CN110019770A (zh) * | 2017-07-24 | 2019-07-16 | 华为技术有限公司 | 训练分类模型的方法与装置 |
| JP2019125078A (ja) * | 2018-01-15 | 2019-07-25 | ヤフー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
-
2019
- 2019-11-18 CN CN201911126471.6A patent/CN112308225B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6119112A (en) * | 1997-11-19 | 2000-09-12 | International Business Machines Corporation | Optimum cessation of training in neural networks |
| CN102968410A (zh) * | 2012-12-04 | 2013-03-13 | 江南大学 | 一种基于rbf神经网络算法与语义特征选取的文本分类方法 |
| US20180158463A1 (en) * | 2016-12-07 | 2018-06-07 | Interactive Intelligence Group, Inc. | System and method for neural network based speaker classification |
| CN110019770A (zh) * | 2017-07-24 | 2019-07-16 | 华为技术有限公司 | 训练分类模型的方法与装置 |
| JP2019125078A (ja) * | 2018-01-15 | 2019-07-25 | ヤフー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
Non-Patent Citations (2)
| Title |
|---|
| 王俊杰;: "优化BP神经网络在手写体数字识别中的性能研究", 电子设计工程, no. 06 * |
| 苏燕飞: "基于卷积神经网络和SIFT的多源遥感图像配准研究", 中国优秀硕士学位论文全文数据库 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112308225B (zh) | 2024-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10671933B2 (en) | Method and apparatus for evaluating predictive model | |
| US11568300B2 (en) | Apparatus and method for managing machine learning with plurality of learning algorithms and plurality of training dataset sizes | |
| CN110348580B (zh) | 构建gbdt模型的方法、装置及预测方法、装置 | |
| CN107040397B (zh) | 一种业务参数获取方法及装置 | |
| WO2021174811A1 (zh) | 车流量时间序列的预测方法及预测装置 | |
| CN110196908A (zh) | 数据分类方法、装置、计算机装置及存储介质 | |
| US20210125124A1 (en) | Utilizing a machine learning model to manage a project release | |
| CN110971659A (zh) | 推荐消息的推送方法、装置及存储介质 | |
| CN110806954A (zh) | 评估云主机资源的方法、装置、设备及存储介质 | |
| WO2021185206A1 (zh) | 集群任务的资源分配方法及装置、计算机装置及存储介质 | |
| CN111160959B (zh) | 一种用户点击转化预估方法及装置 | |
| KR20110122789A (ko) | 구절 시퀀스들의 재사용을 통한 문서 전개를 추론함에 의한 문서 유사도 측정 | |
| CN113435998B (zh) | 贷款逾期预测方法、装置、电子设备及存储介质 | |
| CN114240101A (zh) | 一种风险识别模型的验证方法、装置以及设备 | |
| CN112784905A (zh) | 数据样本扩充的方法、装置和电子设备 | |
| CN114490786B (zh) | 数据排序方法及装置 | |
| CN111309994A (zh) | 用户匹配方法、装置、电子设备及可读存储介质 | |
| CN111159241A (zh) | 一种点击转化预估方法及装置 | |
| CN113761193A (zh) | 日志分类方法、装置、计算机设备和存储介质 | |
| CN112887371A (zh) | 边缘计算方法、装置、计算机设备及存储介质 | |
| CN109165327B (zh) | 人机对话方法、装置及计算机可读存储介质 | |
| CN112308225A (zh) | 训练神经网络的方法、装置及计算机可读存储介质 | |
| KR102413588B1 (ko) | 학습 데이터에 따른 객체 인식 모델 추천 방법, 시스템 및 컴퓨터 프로그램 | |
| CN113139368B (zh) | 一种文本编辑方法及系统 | |
| CN114218487A (zh) | 一种视频推荐方法、系统、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |