CN113505827A - 一种机器学习分类方法 - Google Patents
一种机器学习分类方法 Download PDFInfo
- Publication number
- CN113505827A CN113505827A CN202110772886.1A CN202110772886A CN113505827A CN 113505827 A CN113505827 A CN 113505827A CN 202110772886 A CN202110772886 A CN 202110772886A CN 113505827 A CN113505827 A CN 113505827A
- Authority
- CN
- China
- Prior art keywords
- sample
- vector
- residual
- input
- machine learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010801 machine learning Methods 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 title claims abstract description 41
- 239000013598 vector Substances 0.000 claims abstract description 132
- 238000012545 processing Methods 0.000 claims abstract description 47
- 238000012549 training Methods 0.000 claims abstract description 23
- 230000006870 function Effects 0.000 claims description 17
- 238000002790 cross-validation Methods 0.000 claims description 5
- 239000000126 substance Substances 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 description 10
- 238000012360 testing method Methods 0.000 description 9
- 238000000137 annealing Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012797 qualification Methods 0.000 description 2
- 238000007418 data mining Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种机器学习分类方法，所述机器学习分类方法包括：S1：设定需要分类的样本总数和残差精度；S2：输入训练样本，得到样本输入向量；S3：将所述样本输入向量进行分路处理，得到分路处理结果；S4：对所述分路处理结果进行加权求和处理，得到样本输出向量；S5：根据所述样本输出向量和预设期望向量，得到样本的残差向量；S6：根据所述样本的残差向量，得到所述样本残差向量的平均残差；S7：根据所述平均残差，得到方均根残差；S8：对比所述方均根残差与所述残差精度，若所述方均根残差小于所述残差精度，输出分类结果；否则，进入步骤S9；S9：根据所述残差精度，更新权重向量，并返回步骤S4。本发明所提供的机器学习分类方法，能够解决现有的机器学习分类方法无法解决多元化问题的问题。
Description
技术领域
本发明涉及机器学习技术领域，具体涉及一种机器学习分类方法。
背景技术
分类，即将给定的相当数量的数据集，按照某种特定的学习方法，找到某个可以完成对该数据集已知类别分类的函数或模型，判断输入该模型的数据所属的类别，将数据划分到已知的类别中去。分类问题是机器学习的基础问题，是数据分析领域的核心问题之一。
随着计算机科学的发展与社会实际问题与需求的增多，分类问题大量涌现在各行各业的现实场景中，实际应用于工业、设施农业、金融、IT、医疗卫生等行业中。在大数据盛行的时代，以分类问题为核心的数据挖掘、数据分析给予了市场更大的发展空间。
分类问题一般使用如神经网络、朴素贝叶斯算法、决策树等方法。神经网络是解决分类问题的重要机器学习算法，BP神经网络在解决分类问题上应用最为广泛，具有很强的自主学习能力，对复杂度和维度高数据的分类适应性好。朴素贝叶斯算法是一种概率分类工具，该算法数学原理简单，鲁棒性强，由于操作方便、便于开发而被广泛使用。而决策树算法是一种常见的归纳学习算法，可以用于解决分类问题，逻辑清晰便于理解，精度很高，由于决策树所展现的分类决策过程非常直观，很多成熟的工具都可以对决策树进行可视化。
分类应用场景的复杂化促使新型分类问题的出现，也使得分类问题的解决方案变得多元化，因此以机器学习方法为基础解决分类问题的方法也得到了快速发展。然而，解决分类问题的机器学习方法依然存在一定的问题。近年来，针对分类问题的研究主要在对现有机器学习模型的应用和改进上，极少有新的机器学习算法被提出。
发明内容
本发明的目的在于提供一种机器学习分类方法，以解决现有的机器学习分类方法无法解决多元化问题的问题。
本发明解决上述技术问题的技术方案如下：
本发明提供一种机器学习分类方法，所述机器学习分类方法包括：
S1：设定需要分类的样本总数和残差精度；
S2：输入训练样本总数，得到样本输入向量；
S3：将所述样本输入向量进行分路处理，得到分路处理结果；
S4：对所述分路处理结果进行加权求和处理，得到样本输出向量；
S5：根据所述样本输出向量和预设期望向量，得到样本的残差向量；
S6：根据所述样本的残差向量，得到所述样本残差向量的平均残差；
S7：根据所述平均残差，得到方均根残差；
S8：对比所述方均根残差与所述残差精度，若所述方均根残差小于所述残差精度，输出分类结果；否则，进入步骤S9；
S9：根据所述残差精度，更新权重向量，并返回步骤S4。
可选择地，所述步骤S2中，所述样本输入向量为：
I＝{x1,x2,x3,…,xn}
其中，I表示样本输入向量，x1,x2,x3,…,xn表示第1至第n个输入样本。
可选择地，所述步骤S3中，所述样本输出向量为：
其中，O表示样本输出向量，o1,o2,o3,…on表示第1至第n个输出样本，且
n为结点数，i为角标，x为输入样本，w为权重向量，且
可选择地，所述步骤S4中，所述样本的残差为：
根据所述样本输出向量和所述预设期望向量，利用损失函数计算出的拟合差。
可选择地，所述损失函数为：
其中，T表示预设期望向量，且T＝{t1,t2,t3,…,tn}，t1,t2,t3,…,tn表示第1至第n个样本的期望值，O表示样本输出向量，且
n为输入层的结点数，i为角标且i＝1～n，x为输入样本，w为权重参数，且
可选择地，所述残差的表达式为：
其中，e表示样本的残差，t为样本期望，i为角标且i＝1～n，x为输入样本，w为权重参数，且
所述步骤S5中，所述平均残差为：
其中，
表示平均残差，n为结点数，i为角标，e表示样本的残差；
所述步骤S6中，所述方均根残差为：
其中，ER为方均根残差，P为样本总数，
表示平均残差，n为结点数，i为角标。
可选择地，所述步骤S9包括以下分步骤：
S91：设置所述残差与所述方根均残差的初始值；
S92：初始化所述输入向量、所述期望向量、分路向量和权重向量；
S93：对样本计数器的数值和次数计数器的数值置1处理；
S94：将样本计数器的数值输入至输入层中，得到对应数值的输入向量，根据所述对应数值的输入向量，计算多路残差；
S95：对所述多路残差进行残差竞争处理，得到竞争结果；
S96：根据所述竞争结果将多路中的每一路选择相应的处理方案进行处理，得到不同的处理结果，其中，所述处理方案包括迭代处理、重构处理和去除处理；
S97：根据迭代处理的结果，更新权重向量和样本计数器的数值；
S98：比较更新后的样本计数器的数值与样本总数，若更新后的样本计数器的数值小于样本总数，则计算多路中对应分路的方根均残差并进入S99，否则，样本计数器的数值和次数计数器的数值自增并返回步骤S94；
S99：比较所述多路中对应分路的方根均残差与所述残差精度，若所述多路中对应分路的方根均残差小于所述残差精度，输出该分路的方均根残差，否则，返回步骤S93。
可选择地，所述步骤S72中，所述输入向量为：
I＝{x1,x2,x3,…,xn}
其中，I表示样本输入向量，x1,x2,x3,…,xn表示第1至第n个输入样本；
所述期望向量为：
T＝{t1,t2,t3,…,tn}
其中，T表示期望向量，t1,t2,t3,…,tn表示表示第1至第n个样本期望；
所述分路向量为：
其中，S表示分路向量，s表示分路节点数且s＝nr(r∈N*)，n为输入层的节点数，I表示样本输入向量，x1,x2,x3,…,xn表示第1至第n个输入样本；
所述权重向量为：
其中，W表示权重向量，w为权重参数，且
n为输入层的结点数。
可选择地，所述步骤S76之后，所述步骤S7还包括：将多路中的重构处理后的分路返回步骤S72。
可选择地，在所述步骤S1和步骤S2之间，所述机器学习分类方法还包括：应用十折交叉验证法拆分训练样本，所述训练样本包括所述输入样本。
本发明具有以下有益效果：
本发明所提供的机器学习算法，采用并行计算和残差竞争的技术手段，为网络构建了新的网络拓扑模型、提出了反向传播理论、制定了并行残差竞争规则。利用多条运算路线并行残差竞争的方法，在网络进化中每次选取最优运算路线，解决了应用机器学习解决分类问题存在的不确定性。通过建立反向传播残差竞争分类网络模型，进行肿瘤分类应用实验，验证了反向传播残差竞争分类网络可以实现分类效果。作为一种可行的机器学习理论方法，反向传播残差竞争分类网络力图优化传统机器学习解决分类问题的现存缺陷，为机器学习在分类问题的应用提供了新的方案。
附图说明
图1为本发明实施例所提供的机器学习算法的流程图；
图2为图1中步骤S7的分步骤流程图；
图3为本发明实施例所提供的机器学习算法的分类网络拓扑结构图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
一、首先对本发明涉及的一些定义进行说明：
(1)十折交叉验证方法：将训练样本拆分为输入样本和测试样本、进行网络验证的数学方法。将全部的训练样本按照每十个字段为一组划分，在每一组中的其中一个字段作为测试样本，其余字段作为训练样本；然后在下一轮遍历时更换为下一个字段作为测试样本，直到十个字段中的所有字段均作为测试样本出现过。
(2)训练样本维度：样本中固有的特征数量，在一组样本中有多少特征数量，即有多大的训练样本维度。
(3)训练样本：从每个数据集由2个及以上的训练样本维度构成的m(m>1)维矩阵。
(4)输入样本：是训练样本的部分、从训练样本以十折交叉验证方法挑选的、用于训练网络、进入网络输入层的样本数据。
(5)输入向量：由输入样本的组成的向量。
(6)输出向量：经过网络学习的输出结果组成的向量。
(7)期望：对某样指标提前预定的标准，在本论文中是网络训练的目标函数，是网络在输入一定的情况下所输出的实际值，在训练样中给出，作为训练网络的教师信号。
(8)期望向量：由期望组成的向量。
(9)损失函数：计算残差的函数。
(10)残差：由输出向量和期望向量之间、在损失函数的作用下计算出的拟合差。
(11)残差向量：由残差组成的向量。
(12)置空：将竞争时残差最大的运算路线去除，即将该路线置为空状态。使该运算路线的所有参数全部设定为Null，该路线在下次迭代时将无法被运算，也不参与运算，即该运算路线被去除。
(13)测试样本：是网络训练完毕后、用于测试网络效果的样本数据，包括测试样本输入、测试样本期望。同样地，测试样本可以构成向量。
(14)权重：指某一指标在该体系中的相对重要程度，在本论文中指网络最重要的指标参数，是量化网络输入对网络输出影响程度的参数，描述网络前向对后向的重要性。
(15)梯度：表示某一函数在该点处的方向导数沿着该方向取得最大值，本论文中是通过梯度下降方法计算出的误差对于权重的偏导数，表示权重的更新方向。
(16)退火函数：根据模拟固体退火原理设计的一种概率算法，在本论文为防止网络陷入局部最优解而设置的概率函数，随着计算次数的增加，函数值将逐步单调递减趋于稳定。这里选取其中一种：
作为学习率的计算。
(17)平均残差：指实际观察值与拟合值之间差的平均值，本论文中是每条运算路线所计算得残差的平均值。
(18)方均根残差：取计算完成后的平均残差并计算其方均根值。
(19)残差精度：衡量最终求得方均根残差是否符合预期要求的指标。
二、对本发明涉及的一些符号进行说明
三、参考图3所示，对分类网络的组成进行说明：
输入层，输入层是输入样本转化成输入向量进入网络，存放输入向量的部分；
分路层，分路层是将输入向量分成多个相同运算路线的部分；
输出层，输出层是存放输出向量的部分；
期望层，期望层是存放期望向量的部分；
竞争层，竞争层是进行残差竞争的部分；
分路层到输出层的权重，实际指的是输入层到输出的权重，被分路层分成了多条运算路线，每条运算路线的权重由于初始化的随机性将不同。
实施例
本发明解决上述技术问题的技术方案如下：
本发明提供一种机器学习分类方法，参考图1所示，所述机器学习分类方法包括：
S1：设定需要分类的样本总数和残差精度；
S2：输入训练样本总数，得到样本输入向量；
S3：将所述样本输入向量进行分路处理，得到分路处理结果；
S4：对所述分路处理结果进行加权求和处理，得到样本输出向量；
S5：根据所述样本输出向量和预设期望向量，得到样本的残差向量；
S6：根据所述样本的残差向量，得到所述样本残差向量的平均残差；
在计算每个运算路线的残差后，竞争平均残差。均差最小
的运算路线在本次竞争中获胜，获得下一步迭代的资格；均差最大
的运算路线在本次竞争中淘汰，被去除出网络并置空；其余
的运算路线则为竞争失败，需要对其进行重构，以此尝试减小该路线的残差。无论各个运算路线自身的竞争成功与否，网络都会整体迭代，并且进行下一次竞争，每次获取最小平均残差，以此重复迭代。
S7：根据所述平均残差，得到方均根残差；
S8：对比所述方均根残差与所述残差精度，若所述方均根残差小于所述残差精度，输出分类结果；否则，进入步骤S9；
S9：根据所述残差精度，更新权重向量，并返回步骤S4。
本发明具有以下有益效果：
本发明所提供的机器学习分类方法，采用并行计算和残差竞争的技术手段，为网络构建了新的网络拓扑模型、提出了反向传播理论、制定了并行残差竞争规则。利用多条运算路线并行残差竞争的方法，在网络进化中每次选取最优运算路线，解决了应用机器学习解决分类问题存在的不确定性。通过建立反向传播残差竞争分类网络模型，进行肿瘤分类应用实验，验证了反向传播残差竞争分类网络可以实现分类效果。作为一种可行的机器学习理论方法，反向传播残差竞争分类网络力图优化传统机器学习解决分类问题的现存缺陷，为机器学习在分类问题的应用提供了新的方案。
可选择地，所述步骤S2中，所述样本输入向量为：
I＝{x1,x2,x3,…,xn}
其中，I表示样本输入向量，x1,x2,x3,…,xn表示第1至第n个输入样本。
可选择地，所述步骤S3中，所述样本输出向量为：
其中，O表示样本输出向量，o1,o2,o3,…on表示第1至第n个输出样本，且
n为结点数，i为角标，x为输入样本，w为权重向量，且
可选择地，所述步骤S4中，所述样本的残差向量为：
根据所述样本输出向量和所述预设期望向量，利用损失函数计算出的拟合差。
可选择地，所述损失函数为：
其中，T表示预设期望向量，且T＝{t1,t2,t3,…,tn}，t1,t2,t3,…,tn表示第1至第n个样本的期望值，O表示样本输出向量，且
n为输入层的结点数，i为角标且i＝1～n，x为输入样本，w为权重参数，且
可选择地，所述残差的表达式为：
其中，e表示样本的残差，t为样本期望，i为角标且i＝1～n，x为输入样本，w为权重参数，且
由此，残差向量的分配为：
所述步骤S5中，所述平均残差为：
其中，
表示平均残差，n为结点数，i为角标，e表示样本的残差；
所述步骤S6中，所述方均根残差为：
其中，ER为方均根残差，P为样本总数，
表示平均残差，n为结点数，i为角标。
可选择地，参考图2所示，所述步骤S9包括以下分步骤：
S91：设置所述残差与所述方根均残差的初始值；
S92：初始化所述输入向量、所述期望向量、分路向量和权重向量；
S93：对样本计数器的数值和次数计数器的数值置1处理；
S94：将样本计数器的数值输入至输入层中，得到对应数值的输入向量，根据所述对应数值的输入向量，计算多路残差；
S95：对所述多路残差进行残差竞争处理，得到竞争结果；
S96：根据所述竞争结果将多路中的每一路选择相应的处理方案进行处理，得到不同的处理结果，其中，所述处理方案包括迭代处理、重构处理和去除处理；
S97：根据迭代处理的结果，更新权重向量和样本计数器的数值；
如果某分路的运算路线在本次竞争中被判定为竞争获胜，则该路线获得下一步迭代资格。根据上述参数迭代规则更新权重；如果某运算路线在竞争中被判定为竞争失败，或在竞争中曾被判定竞争成功但后竞争失败，则按照参数初始化规则重新初始化该分路；如果某运算路线被判定为淘汰，则将此运算路线置空(Dl)，不再对这条运算路线进行迭代。也就是如下式。
其中，
表示均差最大，均差最大时该条线路被淘汰，对应去除处理，
表示均差最小，均差最小时该条线路为可迭代处理线路，
表示其他，这时对该线路进行重构处理。
同时，由于每次迭代总是有至少一条运算路线被淘汰，总的运算路线的数量将减少，直到得到最优的运算路线。迭代计算如下式。
S＝nr-1
残差竞争失败的运算路线在该次竞争中输出了较大残差，要在重构时减小下一次迭代时输出的残差，对每一种出现的情况可以得到多个竞争失败的取值范围，以此更新参数的初始化限制，在此基础上重构参数，就能获得初始化范围更小更精确、预期输出残差更小的权重。权重的重构如式(18)。
当遍历全部训练样本后，计算方均根残差ER，如式：
ER与残差精度ε比较，当ER<ε时迭代完成，否则重置样本计数器p，继续迭代。
S98：比较更新后的样本计数器的数值与样本总数，若更新后的样本计数器的数值小于样本总数，则计算多路中对应分路的方根均残差并进入S99，否则，样本计数器的数值和次数计数器的数值自增并返回步骤S94；
S99：比较所述多路中对应分路的方根均残差与所述残差精度，若所述多路中对应分路的方根均残差小于所述残差精度，输出该分路的方均根残差，否则，返回步骤S93。
可选择地，所述步骤S72中，所述输入向量为：
I＝{x1,x2,x3,…,xn}
其中，I表示样本输入向量，x1,x2,x3,…,xn表示第1至第n个输入样本；
所述期望向量为：
T＝{t1,t2,t3,…,tn}
其中，T表示期望向量，t1,t2,t3,…,tn表示表示第1至第n个样本期望；
所述分路向量为：
其中，S表示分路向量，s表示分路节点数且s＝nr(r∈N*)，n为输入层的节点数，I表示样本输入向量，x1,x2,x3,…,xn表示第1至第n个输入样本；
所述权重向量为：
其中，W表示权重向量，w为权重参数，且
n为输入层的结点数。
除此之外，通过梯度下降方法，求残差对权重的偏导数求得梯度大小和梯度方向，以此更新权重，如下所示：
使用退火函数作为学习率更新权重，选取的退火函数会根据训练样本计数器p的大小而变化，权重更新的计算为：
可选择地，所述步骤S76之后，所述步骤S7还包括：将多路中的重构处理后的分路返回步骤S72。
可选择地，在所述步骤S1和步骤S2之间，所述机器学习分类方法还包括：应用十折交叉验证法拆分所述样本总数。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种机器学习分类方法，其特征在于，所述机器学习分类方法包括：
S1：设定需要分类的样本总数和残差精度；
S2：输入训练样本，得到样本输入向量；
S3：将所述样本输入向量进行分路处理，得到分路处理结果；
S4：对所述分路处理结果进行加权求和处理，得到样本输出向量；
S5：根据所述样本输出向量和预设期望向量，得到样本的残差向量；
S6：根据所述样本的残差向量，得到所述样本残差向量的平均残差；
S7：根据所述平均残差，得到方均根残差；
S8：对比所述方均根残差与所述残差精度，若所述方均根残差小于所述残差精度，输出分类结果；否则，进入步骤S9；
S9：根据所述残差精度，更新权重向量，并返回步骤S4。
2.根据权利要求1所述的机器学习分类方法，其特征在于，所述步骤S2中，所述样本输入向量为：
I＝{x1,x2,x3,…,xn}
其中，I表示样本输入向量，x1,x2,x3,…,xn表示第1至第n个输入样本。
3.根据权利要求1所述的机器学习分类方法，其特征在于，所述步骤S3中，所述样本输出向量为：
其中，O表示样本输出向量，o1,o2,o3,…on表示第1至第n个输出样本，且
n为结点数，i为角标，x为输入样本，w为权重向量，且
4.根据权利要求1所述的机器学习分类方法，其特征在于，所述步骤S4中，所述样本的残差为：
根据所述样本输出向量和所述预设期望向量，利用损失函数计算出的拟合差。
5.根据权利要求4所述的机器学习分类方法，其特征在于，所述损失函数为：
其中，T表示预设期望向量，且T＝{t1,t2,t3,…,tn}，t1,t2,t3,…,tn表示第1至第n个样本的期望值，O表示样本输出向量，且
n为输入层的结点数，i为角标且i＝1～n，x为输入样本，w为权重参数，且
6.根据权利要求5所述的机器学习分类方法，其特征在于，所述残差的表达式为：
其中，e表示样本的残差，t为样本期望，i为角标且i＝1～n，x为输入样本，w为权重参数，且
所述步骤S5中，所述平均残差为：
其中，
表示平均残差，n为结点数，i为角标，e表示样本的残差；
所述步骤S6中，所述方均根残差为：
其中，ER为方均根残差，P为样本总数，
表示平均残差，n为结点数，i为角标。
7.根据权利要求1所述的机器学习分类方法，其特征在于，所述步骤S9包括以下分步骤：
S91：设置所述残差与所述方根均残差的初始值；
S92：初始化所述输入向量、所述期望向量、分路向量和权重向量；
S93：对样本计数器的数值和次数计数器的数值置1处理；
S94：将样本计数器的数值输入至输入层中，得到对应数值的输入向量，根据所述对应数值的输入向量，计算多路残差；
S95：对所述多路残差进行残差竞争处理，得到竞争结果；
S96：根据所述竞争结果将多路中的每一路选择相应的处理方案进行处理，得到不同的处理结果，其中，所述处理方案包括迭代处理、重构处理和去除处理；
S97：根据迭代处理的结果，更新权重向量和样本计数器的数值；
S98：比较更新后的样本计数器的数值与样本总数，若更新后的样本计数器的数值小于样本总数，则计算多路中对应分路的方根均残差并进入S99，否则，样本计数器的数值和次数计数器的数值自增并返回步骤S94；
S99：比较所述多路中对应分路的方根均残差与所述残差精度，若所述多路中对应分路的方根均残差小于所述残差精度，输出该分路的方均根残差，否则，返回步骤S93。
8.根据权利要求7所述的机器学习分类方法，其特征在于，所述步骤S72中，所述输入向量为：
I＝{x1,x2,x3,…,xn}
其中，I表示样本输入向量，x1,x2,x3,…,xn表示第1至第n个输入样本；
所述期望向量为：
T＝{t1,t2,t3,…,tn}
其中，T表示期望向量，t1,t2,t3,…,tn表示表示第1至第n个样本期望；
所述分路向量为：
其中，S表示分路向量，s表示分路节点数且s＝nr(r∈N*)，n为输入层的节点数，I表示样本输入向量，x1,x2,x3,…,xn表示第1至第n个输入样本；
所述权重向量为：
其中，W表示权重向量，w为权重参数，且
n为输入层的结点数。
9.根据权利要求7所述的机器学习分类方法，其特征在于，所述步骤S76之后，所述步骤S7还包括：
将多路中的重构处理后的分路返回步骤S72。
10.根据权利要求1-9中任意一项所述的机器学习分类方法，其特征在于，在所述步骤S1和步骤S2之间，所述机器学习分类方法还包括：
应用十折交叉验证法拆分训练样本，所述训练样本包括所述输入样本。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110772886.1A CN113505827B (zh) | 2021-07-08 | 2021-07-08 | 一种机器学习分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110772886.1A CN113505827B (zh) | 2021-07-08 | 2021-07-08 | 一种机器学习分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113505827A true CN113505827A (zh) | 2021-10-15 |
| CN113505827B CN113505827B (zh) | 2024-01-12 |
Family
ID=78011728
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110772886.1A Active CN113505827B (zh) | 2021-07-08 | 2021-07-08 | 一种机器学习分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113505827B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103886320A (zh) * | 2014-01-10 | 2014-06-25 | 北京环境特性研究所 | 基于并行支持向量机加权的标号自动识别方法 |
| CN105426842A (zh) * | 2015-11-19 | 2016-03-23 | 浙江大学 | 基于支持向量机的表面肌电信号多类手部动作识别方法 |
| WO2018077285A1 (zh) * | 2016-10-31 | 2018-05-03 | 腾讯科技（深圳）有限公司 | 机器学习模型训练方法、装置、服务器及存储介质 |
| US20180293722A1 (en) * | 2017-04-10 | 2018-10-11 | Dpix, Llc | Manufacturing Quality Improvement Through Statistical Root Cause Analysis Using Convolution Neural Networks |
| WO2019100844A1 (zh) * | 2017-11-22 | 2019-05-31 | 阿里巴巴集团控股有限公司 | 一种机器学习模型的训练方法、装置以及电子设备 |
| US20190311298A1 (en) * | 2018-04-09 | 2019-10-10 | Here Global B.V. | Asynchronous parameter aggregation for machine learning |
| CN110826624A (zh) * | 2019-11-05 | 2020-02-21 | 电子科技大学 | 一种基于深度强化学习的时间序列分类方法 |
| CN111598187A (zh) * | 2019-08-27 | 2020-08-28 | 华南理工大学 | 一种基于核宽度学习系统的渐进式集成分类方法 |
| CN111709442A (zh) * | 2020-05-07 | 2020-09-25 | 北京工业大学 | 一种面向图像分类任务的多层字典学习方法 |
| CN112884051A (zh) * | 2021-02-26 | 2021-06-01 | 哈尔滨工业大学 | 数据驱动的轻量级无人机多部件在线复杂故障诊断方法 |
-
2021
- 2021-07-08 CN CN202110772886.1A patent/CN113505827B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103886320A (zh) * | 2014-01-10 | 2014-06-25 | 北京环境特性研究所 | 基于并行支持向量机加权的标号自动识别方法 |
| CN105426842A (zh) * | 2015-11-19 | 2016-03-23 | 浙江大学 | 基于支持向量机的表面肌电信号多类手部动作识别方法 |
| WO2018077285A1 (zh) * | 2016-10-31 | 2018-05-03 | 腾讯科技（深圳）有限公司 | 机器学习模型训练方法、装置、服务器及存储介质 |
| US20180293722A1 (en) * | 2017-04-10 | 2018-10-11 | Dpix, Llc | Manufacturing Quality Improvement Through Statistical Root Cause Analysis Using Convolution Neural Networks |
| WO2019100844A1 (zh) * | 2017-11-22 | 2019-05-31 | 阿里巴巴集团控股有限公司 | 一种机器学习模型的训练方法、装置以及电子设备 |
| US20190311298A1 (en) * | 2018-04-09 | 2019-10-10 | Here Global B.V. | Asynchronous parameter aggregation for machine learning |
| CN111598187A (zh) * | 2019-08-27 | 2020-08-28 | 华南理工大学 | 一种基于核宽度学习系统的渐进式集成分类方法 |
| CN110826624A (zh) * | 2019-11-05 | 2020-02-21 | 电子科技大学 | 一种基于深度强化学习的时间序列分类方法 |
| CN111709442A (zh) * | 2020-05-07 | 2020-09-25 | 北京工业大学 | 一种面向图像分类任务的多层字典学习方法 |
| CN112884051A (zh) * | 2021-02-26 | 2021-06-01 | 哈尔滨工业大学 | 数据驱动的轻量级无人机多部件在线复杂故障诊断方法 |
Non-Patent Citations (3)
| Title |
|---|
| 徐兵;刘潇;汪子扬;刘飞虎;梁军;: "采用梯度提升决策树的车辆换道融合决策模型", 浙江大学学报(工学版), no. 06 * |
| 曹冬寅;王琼;张兴敢;: "基于稀疏重构残差和随机森林的集成分类算法", 南京大学学报(自然科学), no. 06 * |
| 苏慧婧;群诺;贾宏云;: "基于GaussianNB模型的藏文文本分类研究与实现", 青海师范大学学报(自然科学版), no. 04 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113505827B (zh) | 2024-01-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020008919A1 (ja) | 機械学習装置及び方法 | |
| CN105046277B (zh) | 特征显著性在图像质量评价中的鲁棒机理研究方法 | |
| CN111832101B (zh) | 一种水泥强度预测模型的构建方法及水泥强度预测方法 | |
| CN109886388A (zh) | 一种基于变分自编码器的训练样本数据扩充方法和装置 | |
| CN107729999A (zh) | 考虑矩阵相关性的深度神经网络压缩方法 | |
| CN105975573A (zh) | 一种基于knn的文本分类方法 | |
| CN108304679A (zh) | 一种自适应可靠性分析方法 | |
| CN112926265A (zh) | 基于遗传算法优化神经网络的大气多孔探针测量校准方法 | |
| CN108491925A (zh) | 基于隐变量模型的深度学习特征泛化方法 | |
| CN114627338B (zh) | 一种船舶类别分类模型训练方法、系统及计算机存储介质 | |
| CN110163743A (zh) | 一种基于超参数优化的信用评分方法 | |
| CN112884059A (zh) | 一种融合先验知识的小样本雷达工作模式分类方法 | |
| CN105787046A (zh) | 一种基于单边动态下采样的不平衡数据分类系统 | |
| CN109214444B (zh) | 基于孪生神经网络和gmm的游戏防沉迷判定系统及方法 | |
| CN108509727B (zh) | 数据建模中的模型选择处理方法及装置 | |
| CN108154186B (zh) | 一种模式识别方法和装置 | |
| CN113239199B (zh) | 一种基于多方数据集的信用分类方法 | |
| CN107590538B (zh) | 一种基于在线序列学习机的危险源识别方法 | |
| CN114004153A (zh) | 一种基于多源数据融合的侵彻深度预测方法 | |
| CN113505827A (zh) | 一种机器学习分类方法 | |
| CN109492746A (zh) | 基于ga-pso杂交算法的深度信念网络参数优化方法 | |
| CN112132259B (zh) | 神经网络模型输入参量降维方法及计算机可读存储介质 | |
| CN112837739B (zh) | 基于自编码器与蒙特卡洛树的层次化特征系统发育模型 | |
| CN111026661B (zh) | 一种软件易用性全面测试方法及系统 | |
| CN114819107A (zh) | 基于深度学习的混合数据同化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |