CN112734008A - 分类网络构建方法以及基于分类网络的分类方法 - Google Patents
分类网络构建方法以及基于分类网络的分类方法 Download PDFInfo
- Publication number
- CN112734008A CN112734008A CN202011638803.1A CN202011638803A CN112734008A CN 112734008 A CN112734008 A CN 112734008A CN 202011638803 A CN202011638803 A CN 202011638803A CN 112734008 A CN112734008 A CN 112734008A
- Authority
- CN
- China
- Prior art keywords
- initial
- hidden layer
- training
- preset
- gradient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000010276 construction Methods 0.000 title claims abstract description 30
- 238000012549 training Methods 0.000 claims abstract description 359
- 238000004590 computer program Methods 0.000 claims description 34
- 238000012545 processing Methods 0.000 claims description 22
- 230000001902 propagating effect Effects 0.000 claims 1
- 239000010410 layer Substances 0.000 description 334
- 238000013145 classification model Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 239000002356 single layer Substances 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 210000004205 output neuron Anatomy 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及模型构建技术领域，提供了一种分类网络构建方法以及基于分类网络的分类方法。所述方法包括：获取携带分类标签的训练样本以及包括速度导向的初始隐藏层的初始全连接网络；将训练样本输入初始全连接网络，得到初始模型梯度；当初始模型梯度大于预设梯度阈值时，在初始全连接网络中接入速度导向的预设隐藏层，以初始模型梯度为标签，通过训练数据对预设隐藏层进行迭代训练，得到目标模型梯度；当目标模型梯度大于预设梯度阈值时，将目标模型梯度作为新的初始模型梯度；返回在初始全连接网络中接入速度导向的预设隐藏层的步骤，直到目标模型梯度小于或者等于预设梯度阈值，得到已训练的分类网络。采用本方法能够高效数据处理。
Description
技术领域
本申请涉及计算机技术领域，特别是涉及一种分类网络构建方法以及基于分类网络的分类方法。
背景技术
随着计算机技术的发展，出现了深度神经网络，深度神经网络是机器学习领域的一种重要技术。
传统技术中，常通过深度神经网络来解决各类处理任务，如分类任务等，它在各类处理任务上的表现远超传统机器学习方法，为了获得精度更高的处理结果，常需要构建模型层数多、复杂程度高的深度神经网络。
然而，随着模型层数的增多和复杂度增高，深度神经网络的运行速度会减慢，存在数据处理效率低的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高深度神经网络的数据处理效率的分类网络构建方法以及基于分类网络的分类方法、装置、计算机设备和存储介质。
一种分类网络构建方法，所述方法包括：
获取携带分类标签的训练样本以及初始全连接网络，初始全连接网络包括速度导向的初始隐藏层；
将训练样本输入初始全连接网络，通过训练样本对初始隐藏层进行迭代训练，得到与初始隐藏层对应的初始模型梯度；
当初始模型梯度大于预设梯度阈值时，在初始全连接网络中接入速度导向的预设隐藏层，以初始模型梯度为标签，通过训练数据对预设隐藏层进行迭代训练，得到与预设隐藏层对应的目标模型梯度；
当目标模型梯度大于预设梯度阈值时，将目标模型梯度作为新的初始模型梯度；
返回在初始全连接网络中接入速度导向的预设隐藏层的步骤，直到目标模型梯度小于或者等于预设梯度阈值，得到已训练的分类网络。
在一个实施例中，获取携带分类标签的训练样本以及初始全连接网络包括：
获取携带分类标签的训练样本；
根据训练样本的待训练特征数确定初始全连接网络的输入节点，并根据分类标签确定初始全连接网络的输出节点；
根据输入节点、输出节点以及预设速度导向的初始隐藏层，得到初始全连接网络。
在一个实施例中，将训练样本输入初始全连接网络，通过训练样本对初始隐藏层进行迭代训练，得到与初始隐藏层对应的初始模型梯度包括：
将训练样本输入初始全连接网络，通过训练样本对初始隐藏层进行预设迭代次数的迭代训练，得到与训练样本对应的初始隐藏层输出结果；
比对初始隐藏层输出结果和训练样本携带的分类标签，得到与初始隐藏层对应的初始模型梯度。
在一个实施例中，将训练样本输入初始全连接网络，通过训练样本对初始隐藏层进行预设迭代次数的迭代训练，得到与训练样本对应的初始隐藏层输出结果包括：
将训练样本输入初始全连接网络，通过训练样本对初始隐藏层进行训练，得到与训练样本对应的训练结果；
比对训练结果和训练样本携带的分类标签，得到与训练结果对应的训练梯度；
根据训练梯度反向传播更新初始隐藏层的隐藏层参数，并更新当前训练次数；
返回通过训练样本对初始隐藏层进行训练的步骤，直到当前训练次数达到预设迭代次数，得到与训练样本对应的初始隐藏层输出结果。
在一个实施例中，在初始全连接网络中接入速度导向的预设隐藏层，以初始模型梯度为标签，通过训练数据对预设隐藏层进行迭代训练，得到与预设隐藏层对应的目标模型梯度包括：
在初始全连接网络中接入速度导向的预设隐藏层，以初始模型梯度为标签，通过训练数据对预设隐藏层进行迭代训练，得到与预设隐藏层对应的目标隐藏层输出结果；
比对目标隐藏层输出结果和初始模型梯度，得到与预设隐藏层对应的目标模型梯度。
在一个实施例中，直到目标模型梯度小于或者等于预设梯度阈值，得到已训练的分类网络包括：
直到目标模型梯度小于或者等于预设梯度阈值，根据初始隐藏层和已接入的预设隐藏层，得到已训练的分类网络。
一种基于分类网络的分类方法，所述方法包括：
获取待处理特征数据；
将待处理特征数据并行输入已训练的分类网络中各隐藏层节点，得到各隐藏层节点输出的节点预测结果，已训练的分类网络根据上述分类网络构建方法构建；
归集节点预测结果，得到与待处理特征数据对应的分类结果。
一种分类网络构建装置，所述装置包括：
样本获取模块，用于获取携带分类标签的训练样本以及初始全连接网络，初始全连接网络包括速度导向的初始隐藏层；
第一训练模块，用于将训练样本输入初始全连接网络，通过训练样本对初始隐藏层进行迭代训练，得到与初始隐藏层对应的初始模型梯度；
第二训练模块，用于当初始模型梯度大于预设梯度阈值时，在初始全连接网络中接入速度导向的预设隐藏层，以初始模型梯度为标签，通过训练数据对预设隐藏层进行迭代训练，得到与预设隐藏层对应的目标模型梯度；
更新模块，用于当目标模型梯度大于预设梯度阈值时，将目标模型梯度作为新的初始模型梯度；
处理模块，用于返回在初始全连接网络中接入速度导向的预设隐藏层的步骤，直到目标模型梯度小于或者等于预设梯度阈值，得到已训练的分类网络。
一种基于分类网络的分类装置，所述装置包括：
特征数据获取模块，用于获取待处理特征数据；
预测模块，用于将待处理特征数据并行输入已训练的分类网络中各隐藏层节点，得到各隐藏层节点输出的节点预测结果，已训练的分类网络根据上述分类网络构建方法构建；
归集模块，用于归集节点预测结果，得到与待处理特征数据对应的分类结果。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取携带分类标签的训练样本以及初始全连接网络，初始全连接网络包括速度导向的初始隐藏层；
将训练样本输入初始全连接网络，通过训练样本对初始隐藏层进行迭代训练，得到与初始隐藏层对应的初始模型梯度；
当初始模型梯度大于预设梯度阈值时，在初始全连接网络中接入速度导向的预设隐藏层，以初始模型梯度为标签，通过训练数据对预设隐藏层进行迭代训练，得到与预设隐藏层对应的目标模型梯度；
当目标模型梯度大于预设梯度阈值时，将目标模型梯度作为新的初始模型梯度；
返回在初始全连接网络中接入速度导向的预设隐藏层的步骤，直到目标模型梯度小于或者等于预设梯度阈值，得到已训练的分类网络。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取待处理特征数据；
将待处理特征数据并行输入已训练的分类网络中各隐藏层节点，得到各隐藏层节点输出的节点预测结果，已训练的分类网络根据上述分类网络构建方法构建；
归集节点预测结果，得到与待处理特征数据对应的分类结果。
一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取携带分类标签的训练样本以及初始全连接网络，初始全连接网络包括速度导向的初始隐藏层；
将训练样本输入初始全连接网络，通过训练样本对初始隐藏层进行迭代训练，得到与初始隐藏层对应的初始模型梯度；
当初始模型梯度大于预设梯度阈值时，在初始全连接网络中接入速度导向的预设隐藏层，以初始模型梯度为标签，通过训练数据对预设隐藏层进行迭代训练，得到与预设隐藏层对应的目标模型梯度；
当目标模型梯度大于预设梯度阈值时，将目标模型梯度作为新的初始模型梯度；
返回在初始全连接网络中接入速度导向的预设隐藏层的步骤，直到目标模型梯度小于或者等于预设梯度阈值，得到已训练的分类网络。
一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取待处理特征数据；
将待处理特征数据并行输入已训练的分类网络中各隐藏层节点，得到各隐藏层节点输出的节点预测结果，已训练的分类网络根据上述分类网络构建方法构建；
归集节点预测结果，得到与待处理特征数据对应的分类结果。
上述分类网络构建方法、装置、计算机设备和存储介质，通过将训练样本输入初始全连接网络，利用训练样本对初始全连接网络的初始隐藏层进行迭代训练，得到对应的初始模型梯度后，在初始模型梯度大于预设梯度阈值时，继续在初始全连接网络中接入新的预设隐藏层，以初始模型梯度为标签，通过训练数据对预设隐藏层继续进行迭代训练，得到对应的目标模型梯度，在目标模型梯度大于预设梯度阈值时，通过在初始全连接网络中接入新的预设隐藏层的方式不断训练，直到目标模型梯度小于或者等于预设梯度阈值为止，得到已训练的分类网络，能够通过迭代训练利用速度导向的初始隐藏层和预设隐藏层实现对可高效运行的分类网络的构建，从而可以利用该可高效运行的分类网络实现高效数据处理。
上述基于分类网络的分类方法、装置、计算机设备和存储介质，通过将待处理特征数据并行输入已训练的分类网络中各隐藏层节点，利用已训练的分类网络中多个速度导向的隐藏层对待处理特征数据进行并行处理，得到各隐藏层节点输出的节点预测结果，归集节点预测结果，得到与待处理特征数据对应的分类结果，能够实现对待处理特征数据的高效处理。
附图说明
图1为一个实施例中分类网络构建方法的流程示意图；
图2为一个实施例中分类网络构建方法的示意图；
图3为一个实施例中基于分类网络的分类方法的流程示意图；
图4为另一个实施例中基于分类网络的分类方法的流程示意图；
图5为一个实施例中分类网络构建装置的结构框图；
图6为一个实施例中基于分类网络的分类装置的结构框图；
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种分类网络构建方法，本实施例以该方法应用于服务器进行举例说明，可以理解的是，该方法也可以应用于终端，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：
步骤102，获取携带分类标签的训练样本以及初始全连接网络，初始全连接网络包括速度导向的初始隐藏层。
其中，分类标签用于表征各训练样本的类别。训练样本是指由与分类标签对应的特征数据组成的样本。比如，训练样本具体可以为与分类标签对应的特征向量。初始全连接网络是指包括输入层、速度导向的初始隐藏层以及输出层的网络，其中的速度导向的初始隐藏层是指结构比较简单，可实现快速处理的隐藏层，比如，速度导向的初始隐藏层具体可以是指单层隐藏层，初始隐藏层的隐藏层节点数量和激活函数可按照需要自行设置。举例说明，当初始隐藏层的隐藏层节点数量为3，且激活函数为relu函数时，与初始全连接网络对应的函数为y＝w2*(relu(w1*x+b))+b。
具体的，服务器会先获取携带分类标签的训练样本，再根据携带分类标签的训练样本以及预设的速度导向的初始隐藏层，构建初始全连接网络。其中，携带分类标签的训练样本可以预先存储于预设数据库中，服务器直接从数据库中获取即可，构建初始全连接网络时，需要根据分类标签确定对应的输出节点数，并根据训练样本的特征数量确定对应的输入节点数。
步骤104，将训练样本输入初始全连接网络，通过训练样本对初始隐藏层进行迭代训练，得到与初始隐藏层对应的初始模型梯度。
其中，迭代训练是指根据预设迭代次数不断通过梯度下降法进行反向传播更新初始隐藏层的隐藏层参数以实现训练，这里的预设迭代次数可按照需要自行设置。初始模型梯度是指完成迭代训练后，根据初始隐藏层对训练样本进行预测后所得到的输出神经元的梯度，可根据初始隐藏层所输出的预测结果和训练样本携带的分类标签计算得到。
具体的，服务器会将训练样本输入初始全连接网络，根据预设迭代次数通过训练样本对初始隐藏层进行训练，在训练完成后，利用已训练的初始隐藏层对训练样本进行预测，得到与初始隐藏层对应的初始隐藏层输出结果，比对初始隐藏层输出结果和训练样本携带的分类标签，得到与初始隐藏层对应的初始模型梯度。
步骤106，当初始模型梯度大于预设梯度阈值时，在初始全连接网络中接入速度导向的预设隐藏层，以初始模型梯度为标签，通过训练数据对预设隐藏层进行迭代训练，得到与预设隐藏层对应的目标模型梯度。
其中，预设梯度阈值是指预先设置的梯度阈值，用于评估分类模型的梯度是否满足要求，可按照需要自行设置。速度导向的预设隐藏层是指结构比较简单，可实现快速处理的隐藏层，比如，预设隐藏层具体可以是指单层隐藏层，预设隐藏层的隐藏层节点数量和激活函数可按照需要自行设置。进一步的，预设隐藏层的结构可与初始隐藏层相同。以初始模型梯度为标签是指以初始模型梯度为监督学习的标签。目标模型梯度是指完成迭代训练后，根据预设隐藏层对训练样本进行预测后所得到的输出神经元的梯度，可根据预设隐藏层所输出的预测结果和初始模型梯度计算得到。
具体的，在得到初始模型梯度之后，服务器会比对初始模型梯度和预设梯度阈值，确定初始模型梯度是否已符合要求，当初始模型梯度小于或者等于预设梯度阈值时，表示仅通过包括初始隐藏层的初始全连接网络可实现对分类模型的拟合，服务器会直接根据该初始全连接网络得到已训练的分类模型，当初始模型梯度大于预设梯度阈值时，表示仅通过包括初始隐藏层的初始全连接网络无法实现对分类模型的拟合，服务器会在初始全连接网络中接入速度导向的预设隐藏层，以初始模型梯度为监督学习的标签，通过训练数据对预设隐藏层进行迭代训练，得到已训练的预设隐藏层，再通过已训练的预设隐藏层对训练样本进行预测，得到与预设隐藏层对应的目标隐藏层输出结果，通过比对目标隐藏层输出结果和初始模型梯度，得到与预设隐藏层对应的目标模型梯度。
步骤108，当目标模型梯度大于预设梯度阈值时，将目标模型梯度作为新的初始模型梯度。
具体的，当目标模型梯度大于预设梯度阈值时，表示仅通过添加一个新的预设隐藏层仍然无法实现对分类模型的拟合，服务器会将目标模型梯度作为新的初始模型梯度，以便继续进行分类模型拟合。
步骤110，返回在初始全连接网络中接入速度导向的预设隐藏层的步骤，直到目标模型梯度小于或者等于预设梯度阈值，得到已训练的分类网络。
具体的，为了继续进行分类模型拟合，服务器会返回在初始全连接网络中接入速度导向的预设隐藏层的步骤，再次在初始全连接网络中接入速度导向的预设隐藏层，以上一步得到的新的初始模型梯度为标签，通过训练数据对新的预设隐藏层进行迭代训练，得到与新的预设隐藏层对应的新的目标模型梯度，再判断新的目标模型梯度是否小于或者等于预设梯度阈值，以评估分类模型是否拟合好，若新的目标模型梯度仍然大于预设梯度阈值，服务器会继续在将新的目标模型梯度作为新的初始模型梯度，返回在初始全连接网络中接入速度导向的预设隐藏层的步骤，直到目标模型梯度小于或者等于预设梯度阈值，即分类模型已拟合好时，得到已训练的分类网络。
上述分类网络构建方法，通过将训练样本输入初始全连接网络，利用训练样本对初始全连接网络的初始隐藏层进行迭代训练，得到对应的初始模型梯度后，在初始模型梯度大于预设梯度阈值时，继续在初始全连接网络中接入新的预设隐藏层，以初始模型梯度为标签，通过训练数据对预设隐藏层继续进行迭代训练，得到对应的目标模型梯度，在目标模型梯度大于预设梯度阈值时，通过在初始全连接网络中接入新的预设隐藏层的方式不断训练，直到目标模型梯度小于或者等于预设梯度阈值为止，得到已训练的分类网络，能够通过迭代训练利用速度导向的初始隐藏层和预设隐藏层实现对可高效运行的分类网络的构建，从而可以利用该可高效运行的分类网络实现高效数据处理。
在一个实施例中，获取携带分类标签的训练样本以及初始全连接网络包括：
获取携带分类标签的训练样本；
根据训练样本的待训练特征数确定初始全连接网络的输入节点，并根据分类标签确定初始全连接网络的输出节点；
根据输入节点、输出节点以及预设速度导向的初始隐藏层，得到初始全连接网络。
具体的，在直接获取到携带分类标签的训练样本后，服务器会先根据训练样本的待训练特征数确定初始全连接网络的输入节点数量，输入节点数量与待训练特征数相同，并根据分类标签确定初始全连接网络的输出节点，输出节点的数量与分类标签的类别数相同，再根据输入节点、输出节点以及预设速度导向的初始隐藏层，得到初始全连接网络。
本实施例中，通过获取携带分类标签的训练样本，再得到训练样本后，根据训练样本的待训练特征数确定初始全连接网络的输入节点，并根据分类标签确定初始全连接网络的输出节点，根据输入节点、输出节点以及预设速度导向的初始隐藏层，得到初始全连接网络，能够实现对训练样本以及初始全连接网络的获取。
在一个实施例中，将训练样本输入初始全连接网络，通过训练样本对初始隐藏层进行迭代训练，得到与初始隐藏层对应的初始模型梯度包括：
将训练样本输入初始全连接网络，通过训练样本对初始隐藏层进行预设迭代次数的迭代训练，得到与训练样本对应的初始隐藏层输出结果；
比对初始隐藏层输出结果和训练样本携带的分类标签，得到与初始隐藏层对应的初始模型梯度。
具体的，服务器将训练样本输入初始全连接网络，可通过训练样本对初始隐藏层进行预设迭代次数的迭代训练，当迭代训练完成时，可得到已训练的初始隐藏层，通过已训练的初始隐藏层对训练样本进行预测，可以得到与训练样本对应的初始隐藏层输出结果，比对初始隐藏层输出结果和训练样本携带的分类标签，可以得到与初始隐藏层对应的初始模型梯度。其中，初始隐藏层输出结果具体可以是指训练样本归属于与分类标签对应的各类别的类别概率，通过计算初始隐藏层输出结果中与训练样本携带的分类标签对应的类别概率与分类标签的差值，就可以得到与初始隐藏层对应的初始模型梯度。
本实施例中，通过将训练样本输入初始全连接网络，通过训练样本对初始隐藏层进行预设迭代次数的迭代训练，得到与训练样本对应的初始隐藏层输出结果，比对初始隐藏层输出结果和训练样本携带的分类标签，得到与初始隐藏层对应的初始模型梯度，能够实现对初始模型梯度的获取。
在一个实施例中，将训练样本输入初始全连接网络，通过训练样本对初始隐藏层进行预设迭代次数的迭代训练，得到与训练样本对应的初始隐藏层输出结果包括：
将训练样本输入初始全连接网络，通过训练样本对初始隐藏层进行训练，得到与训练样本对应的训练结果；
比对训练结果和训练样本携带的分类标签，得到与训练结果对应的训练梯度；
根据训练梯度反向传播更新初始隐藏层的隐藏层参数，并更新当前训练次数；
返回通过训练样本对初始隐藏层进行训练的步骤，直到当前训练次数达到预设迭代次数，得到与训练样本对应的初始隐藏层输出结果。
其中，当前训练次数是指当前对初始隐藏层进行迭代训练的次数。
具体的，服务器在将训练样本输入初始全连接网络后，初始全连接网络中的初始隐藏层可通过对训练样本进行预测，输出对应的训练结果，通过比对训练结果和训练样本携带的分类标签，可以得到与训练结果对应的训练梯度，利用训练梯度进行反向传播可更新初始隐藏层的隐藏层参数，实现对初始隐藏层的训练，同时，服务器会更新当前训练次数，比对当前训练次数和预设迭代次数，当当前训练次数小于预设迭代次数时，表示还需要对初始隐藏层继续进行迭代训练，服务器会返回通过训练样本对初始隐藏层进行训练的步骤，再次进行训练，并得到新的当前训练次数，当当前训练次数达到预设迭代次数，表示已达到迭代训练需求，服务器不需要继续对初始隐藏层进行迭代训练，可得到已训练的初始隐藏层，服务器进一步通过将训练样本输入已训练的初始隐藏层，就可以得到与训练样本对应的初始隐藏层输出结果。
本实施例中，通过记录当前训练次数，比对当前训练次数和预设迭代次数，能够实现对初始隐藏层的迭代训练，从而可以通过已训练的初始隐藏层，得到与训练样本对应的初始隐藏层输出结果。
在一个实施例中，在初始全连接网络中接入速度导向的预设隐藏层，以初始模型梯度为标签，通过训练数据对预设隐藏层进行迭代训练，得到与预设隐藏层对应的目标模型梯度包括：
在初始全连接网络中接入速度导向的预设隐藏层，以初始模型梯度为标签，通过训练数据对预设隐藏层进行迭代训练，得到与预设隐藏层对应的目标隐藏层输出结果；
比对目标隐藏层输出结果和初始模型梯度，得到与预设隐藏层对应的目标模型梯度。
具体的，当初始模型梯度大于预设梯度阈值时，表示仅通过包括初始隐藏层的初始全连接网络无法实现对分类模型的拟合，服务器会在初始全连接网络中接入速度导向的预设隐藏层，以初始模型梯度为监督学习的标签，通过训练数据对预设隐藏层进行预设迭代次数的迭代训练，得到已训练的预设隐藏层，再通过已训练的预设隐藏层对训练样本进行预测，得到与预设隐藏层对应的目标隐藏层输出结果，通过比对目标隐藏层输出结果和初始模型梯度，得到与预设隐藏层对应的目标模型梯度。其中，通过训练数据对预设隐藏层进行预设迭代次数的迭代训练，得到已训练的预设隐藏层的方式可以与通过训练样本对初始隐藏层进行迭代训练，得到已训练的初始隐藏层相同。
本实施例中，通过在初始全连接网络中接入速度导向的预设隐藏层，以初始模型梯度为标签，通过训练数据对预设隐藏层进行迭代训练，得到与预设隐藏层对应的目标隐藏层输出结果，比对目标隐藏层输出结果和初始模型梯度，得到与预设隐藏层对应的目标模型梯度，能够利用新接入的预设隐藏层进一步实现对分类模型的拟合。
在一个实施例中，直到目标模型梯度小于或者等于预设梯度阈值，得到已训练的分类网络包括：
直到目标模型梯度小于或者等于预设梯度阈值，根据初始隐藏层和已接入的预设隐藏层，得到已训练的分类网络。
具体的，当目标模型梯度小于或者等于预设梯度阈值时，表示此时分类模型已经拟合好了，服务器可根据初始隐藏层和所有已接入的预设隐藏层，得到已训练的分类网络。举例说明，已训练的分类网络的架构可以如图2所示，其中的X为输入节点，Y为输出节点，A为初始隐藏层、B、C以及D为已接入的预设隐藏层，初始隐藏层和预设隐藏层均为三个隐藏层节点组成的单层隐藏层。
在一个实施例中，为了进行并行化加速，在构建分类网络时，也可以预先定义N组隐藏层，实现并行训练。以图2为例进行说明，服务器可以预先定义四组隐藏层(包括ABCD)，将训练样本进行分批，在第一批样本拟合A组的隐藏层后，立刻用A组得到的与第一批样本对应的梯度作为标签来更新B组隐藏层参数，即达到同一时间内，A组训练第K批样本，B组训练第K-1批样本，C组训练第K-2批样本，D组训练第K-3批样本的效果，若干迭代次数后，若某组隐藏层的梯度小于或者等于预设梯度阈值，则截取该组以及该组之前的隐藏层组构建分类模型，否则继续训练额外的四组隐藏层。
本实施例中，通过根据初始隐藏层和已接入的预设隐藏层，得到已训练的分类网络，能够实现对分类网络的构建。
在一个实施例中，如图3所示，提供了一种基于分类网络的分类方法，本实施例以该方法应用于服务器进行举例说明，可以理解的是，该方法也可以应用于终端，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：
步骤302，获取待处理特征数据。
步骤304，将待处理特征数据并行输入已训练的分类网络中各隐藏层节点，得到各隐藏层节点输出的节点预测结果，已训练的分类网络根据上述分类网络构建方法构建。
步骤306，归集节点预测结果，得到与待处理特征数据对应的分类结果。
其中，待处理特征数据是指待预测类别的特征数据，该待处理特征数据的特征类型与训练样本的特征类型相同。隐藏层节点是指已训练的分类网络中各隐藏层上的节点。
具体的，在需要进行分类预测时，服务器会获取待处理特征数据，将待处理特征数据并行输入已训练的分类网络中各隐藏层中隐藏层节点，得到各隐藏层节点输出的节点预测结果，归集节点预测结果，得到与待处理特征数据对应的分类结果，这里的归集节点预测结果具体可以是指将各节点预测结果相叠加。比如，节点预测结果具体可以是待处理特征数据归属于各预设类别的概率，通过将各节点预测结果中相同类别的概率相加，就可以得到总的待处理特征数据归属于各预设类别的概率，通过对总的待处理特征数据归属于各预设类别的概率进行排序，就可以确定待处理特征数据的类别，即得到与待处理特征数据对应的分类结果。进一步的，这里采用了map-reduce架构，以使待处理特征数据并行在已训练的分类网络中各隐藏层节点上运行，然后通过reduce将各隐藏层节点输出的节点预测结果汇总。
上述基于分类网络的分类方法，通过将待处理特征数据并行输入已训练的分类网络中各隐藏层节点，利用已训练的分类网络中多个速度导向的隐藏层对待处理特征数据进行并行处理，得到各隐藏层节点输出的节点预测结果，归集节点预测结果，得到与待处理特征数据对应的分类结果，能够实现对待处理特征数据的高效处理。
在一个实施例中，如图4所示，通过一个流程示意图来说明本申请的分类网络构建方法以及基于分类网络的分类方法，具体包括以下步骤：
步骤402，获取携带分类标签的训练样本以及初始全连接网络，初始全连接网络包括速度导向的初始隐藏层；
步骤404，将训练样本输入初始全连接网络，通过训练样本对初始隐藏层进行迭代训练，得到与初始隐藏层对应的初始模型梯度；
步骤406，当初始模型梯度大于预设梯度阈值时，在初始全连接网络中接入速度导向的预设隐藏层，以初始模型梯度为标签，通过训练数据对预设隐藏层进行迭代训练，得到与预设隐藏层对应的目标模型梯度；
步骤408，当目标模型梯度大于预设梯度阈值时，将目标模型梯度作为新的初始模型梯度；
步骤410，返回在初始全连接网络中接入速度导向的预设隐藏层的步骤，直到目标模型梯度小于或者等于预设梯度阈值，得到已训练的分类网络；
步骤412，获取待处理特征数据；
步骤414，将待处理特征数据并行输入已训练的分类网络中各隐藏层节点，得到各隐藏层节点输出的节点预测结果；
步骤416，归集节点预测结果，得到与待处理特征数据对应的分类结果。
本申请还提供一种应用场景，该应用场景应用上述的基于分类网络的分类方法。具体地，该基于分类网络的分类方法在该应用场景的应用如下：
当需要对合作公司是否可能存在违约行为进行预测时，可以利用上述基于分类网络的分类方法，分类结果包括违约和不违约两种，服务器会获取与合作公司对应的待处理特征数据，将待处理特征数据并行输出已训练的分类网络中各隐藏层节点，得到各隐藏层节点输出的节点预测结果，归集节点预测结果，得到与待处理特征数据对应的分类结果，这里需要说明的是，与合作公司对应的待处理特征数据包括从利润表、成本表、现金流量表等中提取的特征数据以及公司股票信息等特征数据，待处理特征数量的数量多，若采用传统的分类方法，基于如此多的特征数据，需要构建模型层数多、复杂程度高的分类模型进行处理，会存在数据处理效率低的问题，而采用本申请中所构建的分类网络进行分类，能够利用分类网络中多个速度导向的隐藏层对特征数据进行并行处理，实现高效处理。
应该理解的是，虽然上述实施例涉及的各流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述实施例涉及的各流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图5所示，提供了一种分类网络构建装置，包括：样本获取模块502、第一训练模块504、第二训练模块506、更新模块508和处理模块510，其中：
样本获取模块502，用于获取携带分类标签的训练样本以及初始全连接网络，初始全连接网络包括速度导向的初始隐藏层；
第一训练模块504，用于将训练样本输入初始全连接网络，通过训练样本对初始隐藏层进行迭代训练，得到与初始隐藏层对应的初始模型梯度；
第二训练模块506，用于当初始模型梯度大于预设梯度阈值时，在初始全连接网络中接入速度导向的预设隐藏层，以初始模型梯度为标签，通过训练数据对预设隐藏层进行迭代训练，得到与预设隐藏层对应的目标模型梯度；
更新模块508，用于当目标模型梯度大于预设梯度阈值时，将目标模型梯度作为新的初始模型梯度；
处理模块510，用于返回在初始全连接网络中接入速度导向的预设隐藏层的步骤，直到目标模型梯度小于或者等于预设梯度阈值，得到已训练的分类网络。
上述分类网络构建装置，通过将训练样本输入初始全连接网络，利用训练样本对初始全连接网络的初始隐藏层进行迭代训练，得到对应的初始模型梯度后，在初始模型梯度大于预设梯度阈值时，继续在初始全连接网络中接入新的预设隐藏层，以初始模型梯度为标签，通过训练数据对预设隐藏层继续进行迭代训练，得到对应的目标模型梯度，在目标模型梯度大于预设梯度阈值时，通过在初始全连接网络中接入新的预设隐藏层的方式不断训练，直到目标模型梯度小于或者等于预设梯度阈值为止，得到已训练的分类网络，能够通过迭代训练利用速度导向的初始隐藏层和预设隐藏层实现对可高效运行的分类网络的构建，从而可以利用该可高效运行的分类网络实现高效数据处理。
在一个实施例中，样本获取模块还用于获取携带分类标签的训练样本，根据训练样本的待训练特征数确定初始全连接网络的输入节点，并根据分类标签确定初始全连接网络的输出节点，根据输入节点、输出节点以及预设速度导向的初始隐藏层，得到初始全连接网络。
在一个实施例中，第一训练模块还用于将训练样本输入初始全连接网络，通过训练样本对初始隐藏层进行预设迭代次数的迭代训练，得到与训练样本对应的初始隐藏层输出结果，比对初始隐藏层输出结果和训练样本携带的分类标签，得到与初始隐藏层对应的初始模型梯度。
在一个实施例中，第一训练模块还用于将训练样本输入初始全连接网络，通过训练样本对初始隐藏层进行训练，得到与训练样本对应的训练结果，比对训练结果和训练样本携带的分类标签，得到与训练结果对应的训练梯度，根据训练梯度反向传播更新初始隐藏层的隐藏层参数，并更新当前训练次数，返回通过训练样本对初始隐藏层进行训练的步骤，直到当前训练次数达到预设迭代次数，得到与训练样本对应的初始隐藏层输出结果。
在一个实施例中，第二训练模块还用于在初始全连接网络中接入速度导向的预设隐藏层，以初始模型梯度为标签，通过训练数据对预设隐藏层进行迭代训练，得到与预设隐藏层对应的目标隐藏层输出结果，比对目标隐藏层输出结果和初始模型梯度，得到与预设隐藏层对应的目标模型梯度。
在一个实施例中，处理模块还用于直到目标模型梯度小于或者等于预设梯度阈值，根据初始隐藏层和已接入的预设隐藏层，得到已训练的分类网络。
在一个实施例中，如图6所示，提供了一种基于分类网络的分类装置，包括：特征数据获取模块602、预测模块604和归集模块606，其中：
特征数据获取模块602，用于获取待处理特征数据；
预测模块604，用于将待处理特征数据并行输入已训练的分类网络中各隐藏层节点，得到各隐藏层节点输出的节点预测结果，已训练的分类网络根据上述分类网络构建方法构建；
归集模块606，用于归集节点预测结果，得到与待处理特征数据对应的分类结果。
上述基于分类网络的分类装置，通过将待处理特征数据并行输入已训练的分类网络中各隐藏层节点，利用已训练的分类网络中多个速度导向的隐藏层对待处理特征数据进行并行处理，得到各隐藏层节点输出的节点预测结果，归集节点预测结果，得到与待处理特征数据对应的分类结果，能够实现对待处理特征数据的高效处理。
关于分类网络构建装置以及基于分类网络的分类装置的具体限定可以参见上文中对于分类网络构建方法以及基于分类网络的分类方法的限定，在此不再赘述。上述分类网络构建装置以及基于分类网络的分类装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储携带分类标签的训练样本等。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种分类网络构建方法以及基于分类网络的分类方法。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取携带分类标签的训练样本以及初始全连接网络，初始全连接网络包括速度导向的初始隐藏层；
将训练样本输入初始全连接网络，通过训练样本对初始隐藏层进行迭代训练，得到与初始隐藏层对应的初始模型梯度；
当初始模型梯度大于预设梯度阈值时，在初始全连接网络中接入速度导向的预设隐藏层，以初始模型梯度为标签，通过训练数据对预设隐藏层进行迭代训练，得到与预设隐藏层对应的目标模型梯度；
当目标模型梯度大于预设梯度阈值时，将目标模型梯度作为新的初始模型梯度；
返回在初始全连接网络中接入速度导向的预设隐藏层的步骤，直到目标模型梯度小于或者等于预设梯度阈值，得到已训练的分类网络。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取携带分类标签的训练样本；根据训练样本的待训练特征数确定初始全连接网络的输入节点，并根据分类标签确定初始全连接网络的输出节点；根据输入节点、输出节点以及预设速度导向的初始隐藏层，得到初始全连接网络。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将训练样本输入初始全连接网络，通过训练样本对初始隐藏层进行预设迭代次数的迭代训练，得到与训练样本对应的初始隐藏层输出结果；比对初始隐藏层输出结果和训练样本携带的分类标签，得到与初始隐藏层对应的初始模型梯度。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将训练样本输入初始全连接网络，通过训练样本对初始隐藏层进行训练，得到与训练样本对应的训练结果；比对训练结果和训练样本携带的分类标签，得到与训练结果对应的训练梯度；根据训练梯度反向传播更新初始隐藏层的隐藏层参数，并更新当前训练次数；返回通过训练样本对初始隐藏层进行训练的步骤，直到当前训练次数达到预设迭代次数，得到与训练样本对应的初始隐藏层输出结果。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：在初始全连接网络中接入速度导向的预设隐藏层，以初始模型梯度为标签，通过训练数据对预设隐藏层进行迭代训练，得到与预设隐藏层对应的目标隐藏层输出结果；比对目标隐藏层输出结果和初始模型梯度，得到与预设隐藏层对应的目标模型梯度。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：直到目标模型梯度小于或者等于预设梯度阈值，根据初始隐藏层和已接入的预设隐藏层，得到已训练的分类网络。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取待处理特征数据；
将待处理特征数据并行输入已训练的分类网络中各隐藏层节点，得到各隐藏层节点输出的节点预测结果，已训练的分类网络根据上述分类网络构建方法构建；
归集节点预测结果，得到与待处理特征数据对应的分类结果。
在一个实施例中，提供了一种计算机存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取携带分类标签的训练样本以及初始全连接网络，初始全连接网络包括速度导向的初始隐藏层；
将训练样本输入初始全连接网络，通过训练样本对初始隐藏层进行迭代训练，得到与初始隐藏层对应的初始模型梯度；
当初始模型梯度大于预设梯度阈值时，在初始全连接网络中接入速度导向的预设隐藏层，以初始模型梯度为标签，通过训练数据对预设隐藏层进行迭代训练，得到与预设隐藏层对应的目标模型梯度；
当目标模型梯度大于预设梯度阈值时，将目标模型梯度作为新的初始模型梯度；
返回在初始全连接网络中接入速度导向的预设隐藏层的步骤，直到目标模型梯度小于或者等于预设梯度阈值，得到已训练的分类网络。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取携带分类标签的训练样本；根据训练样本的待训练特征数确定初始全连接网络的输入节点，并根据分类标签确定初始全连接网络的输出节点；根据输入节点、输出节点以及预设速度导向的初始隐藏层，得到初始全连接网络。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将训练样本输入初始全连接网络，通过训练样本对初始隐藏层进行预设迭代次数的迭代训练，得到与训练样本对应的初始隐藏层输出结果；比对初始隐藏层输出结果和训练样本携带的分类标签，得到与初始隐藏层对应的初始模型梯度。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将训练样本输入初始全连接网络，通过训练样本对初始隐藏层进行训练，得到与训练样本对应的训练结果；比对训练结果和训练样本携带的分类标签，得到与训练结果对应的训练梯度；根据训练梯度反向传播更新初始隐藏层的隐藏层参数，并更新当前训练次数；返回通过训练样本对初始隐藏层进行训练的步骤，直到当前训练次数达到预设迭代次数，得到与训练样本对应的初始隐藏层输出结果。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：在初始全连接网络中接入速度导向的预设隐藏层，以初始模型梯度为标签，通过训练数据对预设隐藏层进行迭代训练，得到与预设隐藏层对应的目标隐藏层输出结果；比对目标隐藏层输出结果和初始模型梯度，得到与预设隐藏层对应的目标模型梯度。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：直到目标模型梯度小于或者等于预设梯度阈值，根据初始隐藏层和已接入的预设隐藏层，得到已训练的分类网络。
在一个实施例中，提供了一种计算机存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取待处理特征数据；
将待处理特征数据并行输入已训练的分类网络中各隐藏层节点，得到各隐藏层节点输出的节点预测结果，已训练的分类网络根据上述分类网络构建方法构建；
归集节点预测结果，得到与待处理特征数据对应的分类结果。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种分类网络构建方法，所述方法包括：
获取携带分类标签的训练样本以及初始全连接网络，所述初始全连接网络包括速度导向的初始隐藏层；
将所述训练样本输入所述初始全连接网络，通过所述训练样本对所述初始隐藏层进行迭代训练，得到与所述初始隐藏层对应的初始模型梯度；
当所述初始模型梯度大于预设梯度阈值时，在所述初始全连接网络中接入速度导向的预设隐藏层，以所述初始模型梯度为标签，通过所述训练数据对所述预设隐藏层进行迭代训练，得到与所述预设隐藏层对应的目标模型梯度；
当所述目标模型梯度大于所述预设梯度阈值时，将所述目标模型梯度作为新的初始模型梯度；
返回所述在所述初始全连接网络中接入速度导向的预设隐藏层的步骤，直到所述目标模型梯度小于或者等于所述预设梯度阈值，得到已训练的分类网络。
2.根据权利要求1所述的方法，其特征在于，所述获取携带分类标签的训练样本以及初始全连接网络包括：
获取携带分类标签的训练样本；
根据所述训练样本的待训练特征数确定初始全连接网络的输入节点，并根据所述分类标签确定初始全连接网络的输出节点；
根据所述输入节点、所述输出节点以及预设速度导向的初始隐藏层，得到初始全连接网络。
3.根据权利要求1所述的方法，其特征在于，所述将所述训练样本输入所述初始全连接网络，通过所述训练样本对所述初始隐藏层进行迭代训练，得到与所述初始隐藏层对应的初始模型梯度包括：
将所述训练样本输入所述初始全连接网络，通过所述训练样本对所述初始隐藏层进行预设迭代次数的迭代训练，得到与所述训练样本对应的初始隐藏层输出结果；
比对所述初始隐藏层输出结果和所述训练样本携带的分类标签，得到与所述初始隐藏层对应的初始模型梯度。
4.根据权利要求3所述的方法，其特征在于，所述将所述训练样本输入所述初始全连接网络，通过所述训练样本对所述初始隐藏层进行预设迭代次数的迭代训练，得到与所述训练样本对应的初始隐藏层输出结果包括：
将所述训练样本输入所述初始全连接网络，通过所述训练样本对所述初始隐藏层进行训练，得到与所述训练样本对应的训练结果；
比对所述训练结果和所述训练样本携带的分类标签，得到与所述训练结果对应的训练梯度；
根据所述训练梯度反向传播更新所述初始隐藏层的隐藏层参数，并更新当前训练次数；
返回所述通过所述训练样本对所述初始隐藏层进行训练的步骤，直到所述当前训练次数达到预设迭代次数，得到与所述训练样本对应的初始隐藏层输出结果。
5.根据权利要求1所述的方法，其特征在于，所述在所述初始全连接网络中接入速度导向的预设隐藏层，以所述初始模型梯度为标签，通过所述训练数据对所述预设隐藏层进行迭代训练，得到与所述预设隐藏层对应的目标模型梯度包括：
在所述初始全连接网络中接入速度导向的预设隐藏层，以所述初始模型梯度为标签，通过所述训练数据对所述预设隐藏层进行迭代训练，得到与所述预设隐藏层对应的目标隐藏层输出结果；
比对所述目标隐藏层输出结果和所述初始模型梯度，得到与所述预设隐藏层对应的目标模型梯度。
6.根据权利要求1所述的方法，其特征在于，所述直到所述目标模型梯度小于或者等于所述预设梯度阈值，得到已训练的分类网络包括：
直到所述目标模型梯度小于或者等于所述预设梯度阈值，根据所述初始隐藏层和已接入的预设隐藏层，得到已训练的分类网络。
7.一种基于分类网络的分类方法，所述方法包括：
获取待处理特征数据；
将所述待处理特征数据并行输入已训练的分类网络中各隐藏层节点，得到各隐藏层节点输出的节点预测结果，所述已训练的分类网络根据如上述权利要求1-6任一项所述方法构建；
归集所述节点预测结果，得到与所述待处理特征数据对应的分类结果。
8.一种分类网络构建装置，其特征在于，所述装置包括：
样本获取模块，用于获取携带分类标签的训练样本以及初始全连接网络，所述初始全连接网络包括速度导向的初始隐藏层；
第一训练模块，用于将所述训练样本输入所述初始全连接网络，通过所述训练样本对所述初始隐藏层进行迭代训练，得到与所述初始隐藏层对应的初始模型梯度；
第二训练模块，用于当所述初始模型梯度大于预设梯度阈值时，在所述初始全连接网络中接入速度导向的预设隐藏层，以所述初始模型梯度为标签，通过所述训练数据对所述预设隐藏层进行迭代训练，得到与所述预设隐藏层对应的目标模型梯度；
更新模块，用于当所述目标模型梯度大于所述预设梯度阈值时，将所述目标模型梯度作为新的初始模型梯度；
处理模块，用于返回所述在所述初始全连接网络中接入速度导向的预设隐藏层的步骤，直到所述目标模型梯度小于或者等于所述预设梯度阈值，得到已训练的分类网络。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011638803.1A CN112734008A (zh) | 2020-12-31 | 2020-12-31 | 分类网络构建方法以及基于分类网络的分类方法 |
| PCT/CN2021/091031 WO2022142026A1 (zh) | 2020-12-31 | 2021-04-29 | 分类网络构建方法以及基于分类网络的分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011638803.1A CN112734008A (zh) | 2020-12-31 | 2020-12-31 | 分类网络构建方法以及基于分类网络的分类方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112734008A true CN112734008A (zh) | 2021-04-30 |
Family
ID=75608872
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011638803.1A Pending CN112734008A (zh) | 2020-12-31 | 2020-12-31 | 分类网络构建方法以及基于分类网络的分类方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN112734008A (zh) |
| WO (1) | WO2022142026A1 (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115346084B (zh) * | 2022-08-15 | 2024-07-12 | 腾讯科技（深圳）有限公司 | 样本处理方法、装置、电子设备、存储介质及程序产品 |
| CN117786417B (zh) * | 2024-02-28 | 2024-05-10 | 之江实验室 | 一种模型训练方法、瞬变源的识别方法、装置及电子设备 |
| CN118277066B (zh) * | 2024-05-30 | 2024-09-17 | 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） | 实时任务的任务流量预测方法、装置、设备、介质和产品 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103914711A (zh) * | 2014-03-26 | 2014-07-09 | 中国科学院计算技术研究所 | 一种改进的极速学习模型及其模式分类方法 |
| CN109063706A (zh) * | 2018-06-04 | 2018-12-21 | 平安科技（深圳）有限公司 | 文字模型训练方法、文字识别方法、装置、设备及介质 |
| CN111242222A (zh) * | 2020-01-14 | 2020-06-05 | 北京迈格威科技有限公司 | 分类模型的训练方法、图像处理方法及装置 |
| CN111797581A (zh) * | 2019-04-08 | 2020-10-20 | 三星电子株式会社 | 用于生成晶体管的模型的系统和方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109255160B (zh) * | 2018-08-17 | 2020-10-16 | 东南大学 | 基于神经网络的单元延时预测方法和单元延时灵敏度计算方法 |
| CN110765704B (zh) * | 2019-11-28 | 2024-02-06 | 北京工业大学 | 一种应用于微波器件的新型深层神经网络自动建模方法 |
| CN111191835B (zh) * | 2019-12-27 | 2023-06-23 | 国网辽宁省电力有限公司阜新供电公司 | 基于c-gan迁移学习的ies不完备数据负荷预测方法及系统 |
-
2020
- 2020-12-31 CN CN202011638803.1A patent/CN112734008A/zh active Pending
-
2021
- 2021-04-29 WO PCT/CN2021/091031 patent/WO2022142026A1/zh active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103914711A (zh) * | 2014-03-26 | 2014-07-09 | 中国科学院计算技术研究所 | 一种改进的极速学习模型及其模式分类方法 |
| CN109063706A (zh) * | 2018-06-04 | 2018-12-21 | 平安科技（深圳）有限公司 | 文字模型训练方法、文字识别方法、装置、设备及介质 |
| WO2019232873A1 (zh) * | 2018-06-04 | 2019-12-12 | 平安科技（深圳）有限公司 | 文字模型训练方法、文字识别方法、装置、设备及介质 |
| CN111797581A (zh) * | 2019-04-08 | 2020-10-20 | 三星电子株式会社 | 用于生成晶体管的模型的系统和方法 |
| CN111242222A (zh) * | 2020-01-14 | 2020-06-05 | 北京迈格威科技有限公司 | 分类模型的训练方法、图像处理方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022142026A1 (zh) | 2022-07-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110929047B (zh) | 关注邻居实体的知识图谱推理方法和装置 | |
| CN111258767B (zh) | 复杂系统仿真应用的云计算资源智能分配方法与装置 | |
| CN112734008A (zh) | 分类网络构建方法以及基于分类网络的分类方法 | |
| CN111126668B (zh) | 基于图卷积网络的Spark作业时间预测方法和装置 | |
| Tran et al. | A multivariate fuzzy time series resource forecast model for clouds using LSTM and data correlation analysis | |
| CN113703741B (zh) | 神经网络编译器配置方法、装置、计算机设备和存储介质 | |
| CN112910710B (zh) | 网络流量时空预测方法、装置、计算机设备和存储介质 | |
| CN110990135B (zh) | 基于深度迁移学习的Spark作业时间预测方法和装置 | |
| CN109065175A (zh) | 医疗特征筛选方法、装置、计算机设备和存储介质 | |
| CN117215728B (zh) | 一种基于代理模型的仿真模拟方法、装置及电子设备 | |
| Knudde et al. | Active learning for feasible region discovery | |
| Ngo et al. | Adaptive anomaly detection for internet of things in hierarchical edge computing: A contextual-bandit approach | |
| CN110413994B (zh) | 热点话题生成方法、装置、计算机设备和存储介质 | |
| US11721413B2 (en) | Method and system for performing molecular design using machine learning algorithms | |
| Nandal et al. | Healthcare based financial decision making system using artificial intelligence | |
| CN111079175B (zh) | 数据处理方法、装置、计算机可读存储介质和计算机设备 | |
| CN115917562A (zh) | 深度学习模型的推理方法、装置、计算机设备和存储介质 | |
| Kazemitabar et al. | A graph-theoretic approach toward autonomous skill acquisition in reinforcement learning | |
| Tamura et al. | Recurrent type ANFIS using local search technique for time series prediction | |
| Ni et al. | Models and algorithm for the orienteering problem in a fuzzy environment | |
| Fang et al. | An active-learning probabilistic neural network for feasibility classification of constrained engineering optimization problems | |
| CN114330121A (zh) | 一种工业时序数据长期快速预测方法及装置 | |
| CN113869033A (zh) | 融入迭代式句对关系预测的图神经网络句子排序方法 | |
| CN110796234B (zh) | 一种用于预测计算机状态的方法和装置 | |
| Siva et al. | Automatic Software Bug Prediction Using Adaptive Artificial Jelly Optimization With Long Short-Term Memory |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210430 |