CN103914711A - 一种改进的极速学习模型及其模式分类方法 - Google Patents
一种改进的极速学习模型及其模式分类方法 Download PDFInfo
- Publication number
- CN103914711A CN103914711A CN201410116579.8A CN201410116579A CN103914711A CN 103914711 A CN103914711 A CN 103914711A CN 201410116579 A CN201410116579 A CN 201410116579A CN 103914711 A CN103914711 A CN 103914711A
- Authority
- CN
- China
- Prior art keywords
- model
- matrix
- output
- hidden layer
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
一种改进的极速学习模型及其模式分类方法。本发明属于模式识别、机器学习领域，公开了一种高效的神经网络快速学习方法，受限极速学习机。它包括：(1)受限参数空间的概念：采用基于样本先验信息的侧抑制机制，具体体现在生成从输入层到隐含层连接权的生成上；(2)受限参数概念中的超球面受限条件：从输入层到隐含层连接权的选取受限在超球面上；(3)输出权学习：在受限参数空间内选取隐含层权值后，采用基于最小二乘的极速学习机模型，进行学习训练，最终得到模型的输出权值。以上方法，能够极大地提高模型的分类和识别效果，以及训练速度。
Description
技术领域
本发明涉及图像、语音和各种信号的模式分类，尤其是一种改进的极速学习模型及其模式分类方法。
背景技术
在基于快速、极速学习的模式分类方面，极速学习机（Extreme LearningMachine，ELM）能够快速地进行模式分类。该算法具有学习速度快、在学习过程中对参数不需要太多的人工干预、很强的泛化能力等优点。并且，该算法具有比传统的模式分类算法，如支持向量机（Support Vector Machine，SVM）、BP神经网络、RBF神经网络等更好的泛化性能。由于极速学习机具有非常好的分类和预测性能，以及学习训练速度，极速学习机在工程中获得了广泛大量的运用。但是，隐含层参数的随机选取，使得极速学习机需要使用很多隐节点才能达到理想的性能。很多的隐节点意味着需要更长的测试时间。测试时间在工程应用中，相当于用户响应的等待时间、系统的处理时间。所以，解决极速学习机隐节点使用不高效的问题，对于工程应用至关重要。
所谓“隐节点”是指神经网络中的隐含层的神经元节点。一般，将神经网络，或者模式识别、机器学习模型分为输入层（输入数据，或者输入特征）、输出层（输出类别，或者预测值）和隐含层。隐含层中的变量统称为隐节点。由于处理任务的复杂性，所以，在实际系统中，需要使用隐含层增加模型的处理能力，使其能够完成复杂问题的模式分类任务。但是，很多的隐含层变量意味着，测试时需要更长的时间来做模式的分类。认为，具有同样的分类能力，使用较少隐节点的系统具有更加高效的隐节点利用方式。受限于系统处理时间，或者用户等待响应时间，实际系统中，需要更加高效的隐节点选取方式。
极速学习机是一个具有单隐含层的前馈神经网络。其中，隐含层的权值使用随机数生成选取。输出层权值使用最小二乘快速计算。由于极速学习机是一种前馈神经网络，并且随机选取的隐含层权值不需要迭代调节，输出层权值的计算使用最小二乘的方式来解决，所以极速学习机的速度非常快。另外，理论和工程实践表明，极速学习机具有比支持向量机、最小二乘支持向量机、BP神经网络和RBF神经网络更好的分类和预测性能。
针对该隐含层节点使用不高效的问题，目前主要有三类方法解决。第一类，使用在线增量的方法，动态地加入具有高效的隐节点。首先随机生成很多候选隐节点，然后按照输出层的目标函数，来决定哪些候选隐节点应该加入到隐含层中。第二类，使用修剪的方法。首先使用传统的极速学习机算法生成一个很大的网络，然后使用一些度量方法，比如统计准则、多响应稀疏回归，将这些隐节点排序。最后，删除低相关性的隐节点，构成一个更加紧致的网络结构。第三类，使用基于梯度的方法。使用梯度信息，不断调节隐含节点的参数。但是，上面这些方法都不是直接解决隐节点使用效率不高效问题的方法而且非常耗时。
发明专利“一种快速的神经网络学习方法（专利号201110319217.5）”公开如下内容：(1)修正代价函数：权衡经验风险和结构风险，并通过参数调节两种风险的比例，最终取得两种风险的最佳折中；(2)修正模型训练：为了降低离群点对模型的干扰，获得一个抗干扰模型，采用对不同样本进行误差加权的方式；(3)输出权计算：首先利用无权模型训练输出权的初始值；采用极速学习机技术得到单隐藏层神经网络模型的各个连接权值以及隐藏层阈值；最终得到加权模型的输出权值；
发明专利“模式识别器、模式识别方法以及用于模式识别的程序，（专利号201080061441.2）”公开了如下内容：损失计算装置，针对每个类别计算特征向量的损失，特征向量对属于该类别的数据的特征加以指示。损失差计算装置，基于针对每个类别而计算的损失，来计算类别之间损失差的总和。识别字典创建装置，基于损失计算装置针对类别而计算的损失总和以及类别之间损失差的总和，来创建识别字典。识别字典创建装置基于输入特征向量来校正识别字典，以使损失计算装置针对类别而计算的损失总和与损失差计算装置计算的类别之间损失差的总和之和最小化，并且模式分类装置使用校正后的识别字典来对数据的模式进行分类；
发明专利“结合支持向量机以及近邻法的模式分类方法，（专利号200710098867.5）”公开了一种结合支持向量机以及近邻法的模式分类方法。
上述专利主要从模式识别模型的理论，如核函数、结构风险、字典学习等方面进行模式分类，还未见将判别性信息加入到模式分类算法中，并进行快速，甚至极速的模式分类。
发明内容
为了解决上述极速学习和模式分类模型泛化能力弱的问题，本发明的目的在于提出一种改进的极速学习模型和基于改进模型的模式分类方法，从而实现对任意图像、语音和各种信号进行高效的模式分类的目的。
具体地讲，本发明公开了一种改进的极速学习模型，该模型分为输入层、隐含层和输出层，输入层为输入到模型的处理后的样本数据，在学习训练过程，每条样本数据会带有相应的所属类别标签，在测试过程，该模型能够输出预测所属类别标签；在隐含层，模型需要生成受限的权向量，用于隐含层的特征映射；在隐含层中，该模型会依据先前设置的激活函数，以及生成的受限的权向量，对样本做相应的变换；在学习训练过程，模型会计算出输出层的权值；在测试过程，模型会按照训练阶段得出的权值，返回预测类别标签。
本发明还公开了一种改进的极速学习模型的模式分类方法，包括学习训练过程和测试过程两个过程，其中学习训练过程包括：
S1数据采集步骤，采集过程中，对数据进行统一化，得到类别向量并存储在样本矩阵中；
S2预处理步骤，对数据样本进行预处理，提取特征，以及对样本矩阵进行归一化操作。
S3训练步骤，具体包括：
步骤S31，模型的初始化，用来初始化模型的参数；
步骤S32，对类别向量扩展为类别矩阵；
步骤S33，选取p个受限的权向量；
步骤S34，利用生成的受限的权向量，计算隐含层输出矩阵H；
步骤S35，获得模型参数受限的权矩阵和输出连接权值β，输出类别矩阵T=Hβ。
测试过程包括：
S4数据采集步骤和S5预处理步骤，与学习训练过程相同，得到归一化测试数据矩阵；
S6测试步骤，具体包括：
步骤S61，计算隐含层输出矩阵；
步骤S62，利用学习训练过程的输出连接权值，得到预测输出类别矩阵；
步骤S63，由预测输出类别矩阵得到预测输出类别向量；
S7预测步骤，根据预测输出类别向量，得到预测输出类别。
上述步骤S3具体包括：
步骤1，从训练样本库中随机抽取两个样本向量Xi1和Xi2，并生成两个[-1，1]之间的随机数wi1和wi2；随机数wi1，wi2可以按照均匀分布，或者高斯分布来生成。
步骤2，生成一个随机权向量Wi=wi1*Xi1+wi2*Xi2,将其归一化为Wi=Wi/‖Wi‖，‖Wi‖为Wi的范数，作为从输入层到隐含层第i个神经元之间的连接权；
步骤3，循环步骤1和步骤2；
步骤4，生成p个输入层到隐含层所有神经元的连接权，构成受限的权矩阵W1=[W1,W2,…,Wp]’。
上述步骤S34中，该隐含层输出矩阵H=[Φ(W1，x1),Φ(W1,x2),…,Φ(W1,xn)]’，其中Φ(W1,xi)=1/exp(W1xi)，xi为样本矩阵的一行向量，n为正整数。
上述步骤4包括通过隐含层作用后矩阵的广义逆和输出类别相乘，获得输出层的权值。
本发明提出改进的极速学习模型，即采用与训练样本有关的参数作为极速学习模型输入层到隐含层的连接权，即将样本分布的先验加入到改进的模型中。首先，从训练样本库中随机抽取两个样本向量Xi1和Xi2，并生成两个[-1，1]之间的随机数wi1和wi2；然后，生成一个随机权向量Wi=wi1*Xi1+wi2*Xi2,将其归一化后作为从输入层到隐含层第i个神经元之间的连接权；按照此种方式生成输入层到隐含层所有其它神经元的连接权。此方法可以达到提高极速学习模型泛化性能的技术效果。
本发明采用改进的极速学习模型用于模式分类。在建立的改进极速学习模型上，输入样本模式并在输出层得到模式分类结果。此方法可以达到提高模式分类正确率的技术效果。
原来的极速学习机模型的输入层到隐含层的连接权是随机选取的，与训练样本无关。本发明提出采用与样本有关的参数生成输入层到隐含层的连接权，并提出在这一改进的极速学习模型上进行模式分类。该方法能够提高极速学习机的学习泛化能力和模式分类能力。
附图说明
图1为受限极速学习机神经网络模型的示意图；
图2为对数据进行识别和分类任务的训练和测试流程图；
图3为统一化后的图像数据；
图4为受限极速学习机模块中的训练和测试流程图。
具体实施方式
图1为受限极速学习机神经网络模型的示意图；
因为受限极速学习机神经网络隐含层的权值是从归一化后的样本向量的组合中选取的，所以该神经网络称为受限的极速学习机。由于该神经网络中的隐含层权值是按照样本向量组合分布，从超球面上选取的，所以称隐含层权值为受限权向量。
该模型分为三层，输入层、隐含层和输出层。输入层为输入到模型的处理后的样本数据。在训练阶段，每条样本数据会带有相应的所属类别标签；在测试阶段，该模型能够输出预测所属类别标签。然后，在隐含层，模型需要生成受限的权向量，用于隐含层的特征映射。在隐含层中，该模型会依据先前设置的激活函数，以及生成的受限的权向量，对样本做相应的变换。在训练阶段，模型会计算出输出层的权值；在测试阶段，模型会按照训练阶段得出的权值，返回预测类别标签。
图2为具体分别对数据（如图像数据、语音信号取样数据、光纤传感器信号取样数据）进行识别和分类任务的训练和测试流程图。
下面以彩色图像分类任务为例，介绍本发明的建立模型及利用该模型该流程，自动地给出任意一幅被测试图像中的物体的类别。假设任务中图像物体的类别分别为飞机、汽车、鸟类、猫类、鹿类、犬类、蛙类、马类、船类、货车，共10类。
本发明主要包括两部分：训练学习过程和测试过程。
1、训练学习过程：如图2中的训练阶段所示
步骤S1，数据采集。采集大量关于这10类物体的图像。采集过程中，对图像的大小进行统一化。图像统一化之后的大小为32×32。使用的主要方法为数字图像处理的通用技巧，如裁剪、上采样、下采样和灰度化。图3所示为统一化后的图像数据，图左侧为图像所属类别，右侧每行为对应的图像。
经过数据采集步骤后，所有的图像数据存储在一个矩阵中，称为样本矩阵。其中，矩阵的每一行代表一幅图像（首先将彩色图像灰度化，然后将二维的图像像素值矩阵，按照行序优先，或者列序优先的原则，组成一维的大向量，如下列所示）。
二维的像素值矩阵，此处假设使用列序优先原则，图像大小为32×32：
128 256 0 5 2…
127 254 3 6 1…
110 200 5 9 3…
...
按照行序优先原则，组成的大小为1024的一维向量为：
128 256 0 5 2…127 254 3 6 1…110 200 5 9 3……
在训练阶段，对应每幅图像的类别标签保存在一个向量中，分别用数字1,2,3，…,10表示相应的类别，称该向量为类别向量。
步骤S2，预处理。对信号数据样本进行预处理。对每幅图像（矩阵的每一行）提取特征，比如图像灰度像素（即直接将上述灰度化后图像的像素值作为特征输入。在这个例子中，灰度像素特征就是就是上述样本矩阵）特征，也可以使用像素特征。
预处理阶段还需对样本矩阵进行归一化操作。样本归一化的方式很多，分为两类：一类为对每个样本进行归一化；另一类对所有样本的每个维度进行归一化。具体的归一化操作有很多种，常见的有零均值单位方差化（减去均值后，除以方差）、硬归一化为[-1,1]或者[0,1]（减去最小值后，除以最大值和最小值的差）。处理后，矩阵的每一行仍然为一幅图像对应的数据。
上述步骤完毕后，进入本发明的受限极速学习机训练模块S3。具体训练过程如图4中受限极速学习机训练模块。
下面是具体操作步骤。
步骤S31，模型的初始化，用来初始化模型的参数。
初始化过程具体包括模型中需要选取的受限权向量个数p（受限权向量为该网络中隐含层向量。由于使用样本构造隐含层向量，并且归一化到了超球面上，所以叫受限权向量。该处的p是用户选定的数目。），使用的激活函数Φ（激活函数为神经网络中的概念，是为了提高分类正确率而设置的变换函数。初始化的目的在于可以让用户指定这些模型参数。激活函数可以为任意非常数、分段连续函数，常见的激活函数为sigmoid函数、双曲正切函数、RBF函数、RELU函数、阈值函数等。假设这里使用sigmoid函数）。
步骤S32，对类别向量进行适当的处理，将其扩展为类别矩阵。
具体做法如下例所示：
假设共有60000个图像样本，该60000幅图像对应的类别向量为：[1,10,5,8,7,6,2,3,8,9,4,1,3,6,4，…]（类别向量中的每个数值对应相应图像的类别标签，分别用数字1,2,3，…,10表示相应的类别），该15个数字只是用来作为举例进行说明情况，真实的样本库可能含有几十万张，甚至几百万张图像。比如手写字体识别库MNIST，以及说明书中的图片的来源库CIFAR，样本数都在6-7万，其他的库甚至百万。下面事实例中的数据，比如受限权矩阵W'和输出层权值Beta，都是真实程序跑出来的。由于数据规模比较大，仅仅使用一些数值来对本发明进行解释。
按照该规则将类别向量扩展为类别矩阵：类别矩阵中每行对于类别向量中的类别值；在每行中，对于第i类，将该行的第i个元素置1，其余置-1（由于后面建模计算需要，需要这样设置）。
扩展后的类别矩阵为：
1 -1 -1 -1 -1 -1-1 -1 -1 -1
-1 -1 -1 -1 -1 -1-1 -1 -1 1
-1 -1 -1 -1 1 -1-1 -1 -1 -1
-1 -1 -1 -1 -1-1 -1 1 -1 -1
-1 -1-1 -1 -1 -1 1 -1 -1 -1
-1 -1 -1 -1 -1 1 -1 -1 -1 -1
-1 1 -1 -1 -1 -1 -1 -1 -1 -1
-1 -1 1 -1 -1 -1 -1 -1 -1 -1
-1 -1 -1 -1 -1 -1 -1 1 -1 -1
-1 -1 -1 -1 -1 -1 -1 -1 1 -1
-1 -1 -1 1 -1 -1 -1-1 -1 -1
1 -1 -1 -1 -1 -1 -1 -1 -1 -1
-1 -1 1 -1 -1 -1 -1 -1 -1 -1
-1 -1 -1 -1 -1 1 -1 -1 -1 -1
-1 -1 -1 1 -1 -1 -1 -1 -1 -1
...
步骤S33，选取p个受限的权向量。
下面先介绍一下如何生成一个受限的权向量。
从训练样本矩阵中随机抽取两个样本向量Xi1和Xi2。然后对这两个向量生成[-1，1]之间的两个相应的随机数wi1，wi2。其中随机选取可以按照均匀分布，或者高斯分布来生成。由上面的随机数和随机两条样本，生成一个受限的随机权向量Wi=wi1*Xi1+wi2*Xi2。然后将其归一化为Wi=Wi/‖Wi‖（其中，‖Wi‖为Wi的范数）。该Wi为一个受限的权向量。
循环上述生成一个受限权向量的步骤，生成p个受限的权向量，构成受限的权矩阵W1=[W1,W2,…,Wp]’。
上述60000个图像样本，生成的权矩阵为如下所示：
假设这里p=100，随机数系统可以自动生成，生成的归一化后受限权矩阵为100×1024维的矩阵。其中的一部分如下所示：
...
…0.0050 0.0013 0 0…
…-0.0014 -0.0027 -0.0036 -0.0054…
…-0.0032 -0.0027 -0.0014 0.0017…
...
步骤S34，利用生成的受限的权向量，计算隐含层输出矩阵H=[Φ(W1,x1),Φ(W1,x2),…,Φ(W1,xn)]’，其中Φ(W1,xi)=1/exp(W1xi)，xi为样本矩阵的一行向量。
步骤S35，计算输出层权值。记输出连接权值即为β=[w1,w2,…,Wp]’，类别矩阵为T。输出层权值β的计算为使得‖Hβ–T‖尽可能小。这里通过隐含层作用后矩阵的广义逆和输出类别相乘，获得输出层的权值，即β=H＋T。+为广义逆运算。
至此训练阶段结束。可以获得模型参数受限的权矩阵W1和输出连接权值β。
β为一p×10的矩阵，这里为100×10的矩阵，如下所示：
-2.29 0.59 -1.08…
-4.79 -5.40 -10.25…
-0.95 -2.20 -1.75…
-5.29 -7.40 -9.94…
...
2、测试过程：如图2中的测试阶段所示
步骤S4和S5：测试阶段的图像数据的采集获取，和数据的预处理是相同的。为了避免重复，不再赘述。
步骤S6：将测试数据矩阵（同样是每行为一幅图像对应的数据）传入测试模块，见图4中受限极速学习机测试模块。
下面是具体操作步骤。
步骤S61：测试阶段同样需要利用训练阶段生成的受限权矩阵W1，计算隐含层输出矩阵H=[Φ(W1,x1),Φ(W1,x2),…,Φ(W1,xn)]’，其中Φ(W1,x)=1/exp(W1x)，xi为测试样本矩阵的一行向量。
步骤S62：然后利用训练阶段得到的输出连接权值β，得到预测输出类别矩阵。具体计算如下：输出类别矩阵T=Hβ。
步骤S63：再由输出类别矩阵得到输出类别向量，该过程和训练阶段由类别向量得到类别矩阵刚好相反。
例如，假设共输入3幅测试图像（每次进入测试模块中的测试数据的数目可以由用户和实际数据流的产生速度控制），经过数据统一化、灰度化、提取特征后，得到测试数据（3×1024维的矩阵，记为[x1，x2，x3]’，其中x1，x2,x3为相应的三条样本行向量），经过受限极速学习机测试模块（首先对测试数据矩阵，计算隐含层输出矩阵H=[Φ(W1,x1),Φ(W1,x2)），Φ(W1,x3)）]’，该矩阵大小为3×100维），得到的预测类别矩阵（通过计算：Hβ）为：
0.1 0.2 0.5 -0.1 0.2 -0.5 0.8 1.1 0.9 -0.7
0.3 -0.3 0.7 -0.9 0.1 -0.3 -0.7 -1.9 0.9 -0.6
0.3 0.5 0.1 -0.5 0.3 -0.9 1.9 1.1 0.9 -0.1
由上面预测矩阵转换为预测类别向量的具体转换规则为：类别向量为类别矩阵每行对应最大值的索引下标。上面的预测矩阵对应的类别向量为[8,9,7]。(此处的操作与前面的无关，模式识别的目的就是，能够对于系统未知的样本，进行自动分类)
步骤S7：最后，根据预测类别向量，得到预测输出类别。
在上述例子中，预测类别向量为[8,9,7]，分别表示第8类、第9类、第7类，即：马类、船类、蛙类。
对于其他信号的分类，如语音信号和光纤信号的分类。同样需要先对其进行下采样，然后对数据规整、提特征（语音信号提取过零率特征；也可以对语音信号进行下采样得到相应的特征）、归一化后，得到样本数据矩阵。之后的处理步骤和上面的例子完全相同。
Claims (7)
1.一种改进的极速学习模型，其特征在于，该模型分为输入层、隐含层和输出层，输入层为输入到模型的处理后的样本数据，在学习训练过程，每条样本数据会带有相应的所属类别标签，在测试过程，该模型能够输出预测所属类别标签；在隐含层，模型需要生成受限的权向量，用于隐含层的特征映射；在隐含层中，该模型会依据先前设置的激活函数，以及生成的受限的权向量，对样本做相应的变换；在学习训练过程，模型会计算出输出层的权值；在测试过程，模型会按照训练阶段得出的权值，返回预测类别标签。
2.一种改进的极速学习模型的模式分类方法，其特征在于，该方法包括学习训练过程和测试过程两个过程，其中学习训练过程包括：
S1数据采集步骤，对数据进行统一化，得到类别向量并存储在样本矩阵中；
S2预处理步骤，对数据样本进行预处理，对数据提取特征，以及对样本矩阵进行归一化操作；
S3训练步骤，具体包括：
步骤S31，模型的初始化，用来初始化模型的参数；
步骤S32，对类别向量扩展为类别矩阵；
步骤S33，选取p个受限的权向量；
步骤S34，利用生成的受限的权向量，计算隐含层输出矩阵H；
步骤S35，获得模型参数受限的权矩阵和输出连接权值β，输出类别矩阵T=Hβ；
测试过程包括：
S4数据采集步骤和S5预处理步骤，与学习训练过程相同，得到归一化测试数据矩阵；
S6测试步骤，具体包括：
步骤S61，计算隐含层输出矩阵；
步骤S62，利用学习训练过程的输出连接权值，得到预测输出类别矩阵；
步骤S63，由预测输出类别矩阵得到预测输出类别向量；
S7预测步骤，根据预测输出类别向量，得到预测输出类别。
3.如权利要求2所述改进的极速学习模型的模式分类方法，其特征在于，步骤S3具体包括：
步骤1，从训练样本库中随机抽取两个样本向量Xi1和Xi2，并生成两个[-1，1]之间的随机数wi1和wi2；
步骤2，生成一个随机权向量Wi=wi1*Xi1+wi2*Xi2,将其归一化为Wi=Wi/‖Wi‖，‖Wi‖为Wi的范数，作为从输入层到隐含层第i个神经元之间的连接权；
步骤3，循环步骤1和步骤2；
步骤4，生成p个输入层到隐含层所有神经元的连接权，构成受限的权矩阵W1=[W1,W2,…,Wp]’。
4.如权利要求2或3所述的改进的极速学习模型的模式分类方法，其特征在于，步骤S34中，该隐含层输出矩阵H=[Φ(W1,x1),Φ(W1,x2),…,Φ(W1,xn)]’，其中Φ(W1,xi)=1/exp(W1xi)，xi为样本矩阵的一行向量，n为正整数。
5.如权利要求3所述的改进的极速学习模型的模式分类方法，其特征在于，步骤4包括通过隐含层作用后矩阵的广义逆和输出类别相乘，获得输出层的权值。
6.如权利要求2所述的改进的极速学习模型的模式分类方法，其特征在于，随机数wi1，wi2可以按照均匀分布，或者高斯分布来生成。
7.如权利要求2所述的改进的极速学习模型的模式分类方法，其特征在于，该数据包括图像信号数据、语音信号数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410116579.8A CN103914711B (zh) | 2014-03-26 | 2014-03-26 | 一种改进的极速学习装置及其模式分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410116579.8A CN103914711B (zh) | 2014-03-26 | 2014-03-26 | 一种改进的极速学习装置及其模式分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103914711A true CN103914711A (zh) | 2014-07-09 |
| CN103914711B CN103914711B (zh) | 2017-07-14 |
Family
ID=51040378
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410116579.8A Active CN103914711B (zh) | 2014-03-26 | 2014-03-26 | 一种改进的极速学习装置及其模式分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103914711B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104102919A (zh) * | 2014-07-14 | 2014-10-15 | 同济大学 | 一种有效防止卷积神经网络过拟合的图像分类方法 |
| CN104820974A (zh) * | 2015-05-14 | 2015-08-05 | 浙江科技学院 | 基于elm的图像去噪方法 |
| CN105335763A (zh) * | 2015-12-07 | 2016-02-17 | 东华大学 | 一种基于改进型极速学习机的织物疵点分类方法 |
| WO2016138838A1 (zh) * | 2015-03-02 | 2016-09-09 | 华为技术有限公司 | 基于投影极速学习机的唇语识别方法和装置 |
| CN107563398A (zh) * | 2016-06-30 | 2018-01-09 | 中国矿业大学 | 一种基于多层极速学习机的风景图片多标记方法及系统 |
| CN107730504A (zh) * | 2017-10-17 | 2018-02-23 | 太原理工大学 | 基于改进bp神经网络的图像分割方法 |
| CN108319686A (zh) * | 2018-02-01 | 2018-07-24 | 北京大学深圳研究生院 | 基于受限文本空间的对抗性跨媒体检索方法 |
| CN109268692A (zh) * | 2018-08-22 | 2019-01-25 | 西安航空职业技术学院 | 一种供热管网井式补偿器泄漏监测系统及监测方法 |
| CN112734008A (zh) * | 2020-12-31 | 2021-04-30 | 平安科技（深圳）有限公司 | 分类网络构建方法以及基于分类网络的分类方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103065191A (zh) * | 2011-10-19 | 2013-04-24 | 西安邮电学院 | 一种快速的神经网络学习方法 |
| US20130163313A1 (en) * | 2010-06-18 | 2013-06-27 | Ecole Centrale De Lille | Magnetoelectric memory |
| CN103413050A (zh) * | 2013-08-20 | 2013-11-27 | 北京工业大学 | 基于极速学习机的运动想象脑电信号投票策略分类方法 |
-
2014
- 2014-03-26 CN CN201410116579.8A patent/CN103914711B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130163313A1 (en) * | 2010-06-18 | 2013-06-27 | Ecole Centrale De Lille | Magnetoelectric memory |
| CN103065191A (zh) * | 2011-10-19 | 2013-04-24 | 西安邮电学院 | 一种快速的神经网络学习方法 |
| CN103413050A (zh) * | 2013-08-20 | 2013-11-27 | 北京工业大学 | 基于极速学习机的运动想象脑电信号投票策略分类方法 |
Non-Patent Citations (2)
| Title |
|---|
| GUANG-BIN HUANG等: "Optimization method based extreme learning machine for classification", 《NEUROCOMPUTING》 * |
| 王权 等: "基于l1-正则化的ELM回归集成学习", 《计算机研究与发展》 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104102919A (zh) * | 2014-07-14 | 2014-10-15 | 同济大学 | 一种有效防止卷积神经网络过拟合的图像分类方法 |
| CN104102919B (zh) * | 2014-07-14 | 2017-05-24 | 同济大学 | 一种有效防止卷积神经网络过拟合的图像分类方法 |
| WO2016138838A1 (zh) * | 2015-03-02 | 2016-09-09 | 华为技术有限公司 | 基于投影极速学习机的唇语识别方法和装置 |
| CN104820974A (zh) * | 2015-05-14 | 2015-08-05 | 浙江科技学院 | 基于elm的图像去噪方法 |
| CN105335763A (zh) * | 2015-12-07 | 2016-02-17 | 东华大学 | 一种基于改进型极速学习机的织物疵点分类方法 |
| CN107563398A (zh) * | 2016-06-30 | 2018-01-09 | 中国矿业大学 | 一种基于多层极速学习机的风景图片多标记方法及系统 |
| CN107730504A (zh) * | 2017-10-17 | 2018-02-23 | 太原理工大学 | 基于改进bp神经网络的图像分割方法 |
| CN108319686A (zh) * | 2018-02-01 | 2018-07-24 | 北京大学深圳研究生院 | 基于受限文本空间的对抗性跨媒体检索方法 |
| CN108319686B (zh) * | 2018-02-01 | 2021-07-30 | 北京大学深圳研究生院 | 基于受限文本空间的对抗性跨媒体检索方法 |
| CN109268692A (zh) * | 2018-08-22 | 2019-01-25 | 西安航空职业技术学院 | 一种供热管网井式补偿器泄漏监测系统及监测方法 |
| CN112734008A (zh) * | 2020-12-31 | 2021-04-30 | 平安科技（深圳）有限公司 | 分类网络构建方法以及基于分类网络的分类方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103914711B (zh) | 2017-07-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103914711A (zh) | 一种改进的极速学习模型及其模式分类方法 | |
| Dutoit et al. | Pruning and regularization in reservoir computing | |
| Kim et al. | SplitNet: Learning to semantically split deep networks for parameter reduction and model parallelization | |
| Lukoševičius et al. | Reservoir computing trends | |
| RU2406105C2 (ru) | Способ обработки информации в нейронных сетях | |
| CN111695457B (zh) | 一种基于弱监督机制的人体姿态估计方法 | |
| He | Deep learning in image classification: A survey report | |
| US11100369B2 (en) | Training method for tag identification network, tag identification apparatus/method and device | |
| CN109272332B (zh) | 一种基于递归神经网络的客户流失预测方法 | |
| CN113128478B (zh) | 模型训练方法、行人分析方法、装置、设备及存储介质 | |
| CN111612125A (zh) | 一种面向在线学习的新型htm时间池方法及其系统 | |
| Gao et al. | Knowledge concentration: Learning 100k object classifiers in a single CNN | |
| CN116796810A (zh) | 一种基于知识蒸馏的深度神经网络模型压缩方法及装置 | |
| Reinhart et al. | A constrained regularization approach for input-driven recurrent neural networks | |
| CN113553918B (zh) | 一种基于脉冲主动学习的机打发票字符识别方法 | |
| Khandelwal et al. | Forecasting seasonal time series with functional link artificial neural network | |
| CN114006411A (zh) | 一种基于lstm-cnn联合模型的风电功率预测方法和系统 | |
| Xie et al. | Meta module generation for fast few-shot incremental learning | |
| Khosrowshahi | Innovation in artificial neural network learning: Learn-On-Demand methodology | |
| KR102515608B1 (ko) | 태양광 발전량 예측 방법 및 시스템 | |
| Hamrick et al. | Imagination-based decision making with physical models in deep neural networks | |
| Rahman et al. | Implementation of artificial neural network on regression analysis | |
| CN114004353A (zh) | 减少光器件数量的光神经网络芯片构建方法及系统 | |
| CN112667591A (zh) | 一种基于海量日志的数据中心任务干扰预测方法 | |
| Pathak et al. | ReducedSqNet: A shallow architecture for CIFAR-10 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |