CN108319980A - 一种基于gru的递归神经网络多标签学习方法 - Google Patents
一种基于gru的递归神经网络多标签学习方法 Download PDFInfo
- Publication number
- CN108319980A CN108319980A CN201810112481.3A CN201810112481A CN108319980A CN 108319980 A CN108319980 A CN 108319980A CN 201810112481 A CN201810112481 A CN 201810112481A CN 108319980 A CN108319980 A CN 108319980A
- Authority
- CN
- China
- Prior art keywords
- neural network
- sample
- tag
- gradient
- rnn
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 49
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000000306 recurrent effect Effects 0.000 title claims abstract description 21
- 238000011478 gradient descent method Methods 0.000 claims abstract description 26
- 230000006870 function Effects 0.000 claims abstract description 16
- 230000009897 systematic effect Effects 0.000 claims abstract description 5
- 239000011159 matrix material Substances 0.000 claims description 19
- 238000012549 training Methods 0.000 claims description 11
- 210000002569 neuron Anatomy 0.000 claims description 4
- 230000008034 disappearance Effects 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000002035 prolonged effect Effects 0.000 description 2
- 108010074506 Transfer Factor Proteins 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 210000004218 nerve net Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种基于GRU的递归神经网络多标签学习方法,所述方法包括以下步骤:步骤S1:初始化系统参数θ=(W,U,B);步骤S2:输入样例计算各时刻RNN输出隐状态hT,其中,样例yi是样例xi的多标签向量,步骤S3:计算上下文向量hT以及输出层输出zi;步骤S4:计算预测输出计算损失Li,确定目标函数J;步骤S5:根据梯度下降法和BPTT算法求解θ=(W,U,B)的梯度;步骤S6:确定学习率η,更新各权值梯度W=W‑η·δW;步骤S7:判断神经网络是否达到稳定,如果是执行步骤S8;如果否,返回步骤S2,迭代更新模型参数;步骤S8:输出优化模型。本发明能充分利RNN获取样例的有效特征表示,提高多标签分类的准确率,并且反向传播时不容易出现梯度消失问题。
Description
技术领域
本发明涉及递归神经网络多标签学习领域,尤其涉及一种基于GRU的递归神经网络多标签学习方法。
背景技术
在机器学习领域,多标签分类在分类问题中有着重要的地位。传统的标签分类问题是从标签集合中学习样例的单个标签,这样的问题被称为二分类问题(或者文本和网络数据过滤问题)。多标签分类问题中每个样例有一组相关的标签。在解决多标签分类问题上,近年来出现了很多方法,方法基本上分为两种,一种是将问题转化为传统的单标签分类。这种方法通过多个二元分类器分别学习标签集合中的每个标签。二是调整现有的算法来适应多标签的分类。
对于序列数据的建模,基于神经网络(Neural Network)的模型已经在广播演讲识别、语言模型以及录像分类问题上取得了优异的成绩。这些模型大部分属于两类神经网络,前馈神经网络(Feedforward Neural Network)和递归神经网络(Recurrent NeuralNetwork)。递归结构的神经网络能循序渐进的表示时刻信息。递归神经网络(RecurrentNeural Network,RNN)的递归特性表现在它的某一时刻隐藏层状态依赖于前一时刻的输出状态。这种循环使模型能够存储任意时间长度的复杂信息,隐藏层状态可看作是模型的记忆单元,其结构以及展开如图1所示。
传统RNN递归隐藏层网络模块的形式比较单一,如图2所示。理论上,RNN可以学习无限长的序列信息。但是,实践证明,时间间隔越大RNN的这种学习能力就会越弱。并且这种循环结构很难训练,因为它很容易出现梯度消失和梯度爆炸。Mikolov通过梯度裁剪方法防止梯度爆炸,这种方法简单可行。这就允许这些模型可以在大的数据集上使用梯度下降法和BPTT(Back-propagation Through Time)算法训练。由于在沿时间反向传播时,它们的梯度可能呈指数衰减,因此递归神经网络依旧有梯度消失的问题。这使RNN只能处理短距离信息而忽略长时间的关联信息。
为了解决梯度消失问题,许多结构已经被提出来。其中包括长短时记忆单元(LSTM)递归神经网络。它在手写体识别以及音素分类问题上表现出色。LSTM拥有一个精密设计的结构,这种结构包含许多门。这些门控制着流向隐状态的信息的数量。这使得神经网络能记住长时间的信息。但是LSTM网络结构较复杂,这将会耗费更多的训练时间,而且容易在反向传播过程中出现梯度消失。为了解决这一问题,一种具有更简单结构的GRU结构被提出,这种结构相比LSTM更容易实现,训练也更简单。它的结构如图3所示。
现有的神经网络多标签分类不能够有效的学习样例的基本特征,实现结构复杂,并且反向传播时容易出现梯度消失问题。基于此,本发明提供一种基于GRU的递归神经网络多标签学习方法,该方法能充分利RNN获取样例的有效特征表示,提高多标签分类的准确率。GRU结构能有效地进行长时间记忆,它相比于LSTM结构更简单,并且反向传播时不容易出现梯度消失问题。
发明内容
针对现有技术的缺陷,本发明提供一种基于GRU的递归神经网络多标签学习方法,通过递归神经网络有效学习序列数据的特征,得到样例特征的表示,根据得到的表示学习样例的多标签向量。RNN的GRU结构相比LSTM更容易实现,训练也更简单,能够长时间记忆之前时刻的特征,使得得到的特征表示更精确。
为实现上述目的,本发明提供一种基于GRU的递归神经网络多标签学习方法,所述方法包括以下步骤:
步骤S1:初始化系统参数θ=(W,U,B),其中,W表示神经网络层与层之间连接的权值矩阵;U表示数据在输入神经网络时的权值矩阵;B表示神经网络层与层之间的偏置矩阵;
步骤S2:输入样例计算各时刻RNN输出隐状态ht,其中,样例yi是样例xi的多标签向量,
步骤S3:计算上下文向量hT以及输出层输出zi;
步骤S4:计算预测输出计算损失Li,确定目标函数J;
步骤S5:根据梯度下降法和BPTT算法求解θ=(W,U,B)的梯度;
步骤S6:确定学习率η,更新各权值梯度W=W-η·δW,其中,δW表示在神经网络反向传播时,通过梯度下降法得到的权值矩阵的偏导数;
步骤S7:判断神经网络是否达到稳定,如果是执行步骤S8;如果否,返回步骤S2,迭代更新模型参数;
步骤S8:输出优化模型。
其中,所述步骤S2进一步包括:把样例xi做标准化处理,使其值处于[0,1],然后将中的作为RNN在t时刻的输入值输入到隐藏层,得到隐状态ht。
其中,所述步骤S3进一步包括:将中的每个分量作为RNN在T个时刻的T个输入值输入到隐藏层,得到一个上下文向量hT,其中, 上述公式中,符号表示矩阵之间的点乘运算。
其中,所述步骤S4进一步包括:利用上下文向量hT计算样例xi的多标签向量其中,第i个样例标签对的联合概率为:
Li为:确定的目标函数J为:
其中表示假设输出层的第j个神经元的输出为 softmax层输出为真实输出为 的值为0或1,λ表示尺度系数。
其中,所述步骤S6进一步包括,通过以下方法确定学习率:η=Ae-λn,其中n为网络训练过程中的迭代次数,1≤A≤50,0.0001≤λ≤0.001;或者,η(k)=e-λ(k-1),其中,0.0001≤λ≤0.001,k为迭代次数。
其中,所述步骤S8进一步包括:当确定的目标函数J最小化时,输出最优模型。
本发明提供的基于GRU的递归神经网络多标签学习方法,该方法能充分利RNN获取样例的有效特征表示,提高多标签分类的准确率。GRU结构能有效地进行长时间记忆,它相比于LSTM结构更简单,并且反向传播时不容易出现梯度消失问题。
通过参照以下附图及对本发明的具体实施方式的详细描述,本发明的特征及优点将会变得清楚。
附图说明
图1是现有技术中展开的递归神经网络示意图;
图2是现有技术中标准RNN中的递归模块示意图;
图3是现有技术中门递归单元GRU的结构示意图;
图4是本发明中基于GRU的RNN多标签分类器示意图;
图5是本发明基于GRU的递归神经网络多标签学习方法模型参数更新流程示意图。
具体实施方式
为了使本发明的技术方案更加清楚、明了,下面将结合附图作进一步详述,应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
图4是本发明中基于GRU的RNN多标签分类器示意图,通过该多标签分类器可以获得上下文向量hT,进而通过softmax层输出然后再利用多向量标签yi构建第i个样例标签对的损失函数Li,具体实现过程如下:
假设样例标签对包含N个训练样例,其中样例yi是样例xi的多标签向量,我们把样例xi做标准化处理,使其值处于[0,1]。首先将xi零均值化,再利用方差标准化,如下式:
其中μ和σ分别表示X={x1,…,xN}的均值和标准差,ε为尺度系数。
我们将作为RNN的T个时刻的输入,最后输出一个上下文向量hT,其包含了T时刻之前的所有信息。隐藏层部分采用GRU结构,它的各个门的传播公式如下:
其中,符号表示矩阵之间的点乘运算。
最后利用上下文向量hT预测样例xi的多标签向量第i个样例标签对的联合概率为
其中表示假设输出层的第j个神经元的输出为 softmax层输出为真实输出为那么,第i个样例标签对的损失函数定义为log似然代价函数的形式,其表达式如下
其中的值为0或1。模型的目标函数定义为
上式中等式右边第一项为样例标签对的总损失,第二项为正则化项,其中θ为模型参数,包括权值矩阵w、u、v和偏置向量B,λ表示尺度系数。
图5是本发明基于GRU的递归神经网络多标签学习方法模型参数更新流程示意图,本方法中,通过梯度下降法和BPTT算法,根据目标函数求解模型参数,具体步骤如下:
步骤S1:初始化系统参数θ=(W,U,B),其中,W表示神经网络层与层之间连接的权值矩阵;U表示数据在输入神经网络时的权值矩阵;B表示神经网络层与层之间的偏置矩阵;
本步骤中,本步骤中,θ=(W,U,B)的含义是权值矩阵θ中的参数包括W、U、B、初始化系统参数θ=(W,U,B)就是指输入W、U、B的初始值,W、U、B的初始值可以根据实际情况事先进行设定。
步骤S2:输入样例计算各时刻RNN输出隐状态ht,其中,样例yi是样例xi的多标签向量,
本步骤中,把样例xi做标准化处理,使其值处于[0,1],然后将中的作为RNN在t时刻的输入值输入到隐藏层,得到隐状态ht。
步骤S3:计算上下文向量hT以及输出层输出zi;
本步骤中,将中的每个分量作为RNN在T个时刻的T个输入值输入到隐藏层,得到一个上下文向量hT,其中, 上述公式中,符号表示矩阵之间的点乘运算。
步骤S4:计算预测输出计算损失Li,确定目标函数J;
本步骤中,利用上下文向量hT计算样例xi的多标签向量其中,第i个样例标签对的联合概率为:
Li为:确定的目标函数J为:
其中表示假设输出层的第j个神经元的输出为 softmax层输出为真实输出为 的值为0或1,λ表示尺度系数。
步骤S5:根据梯度下降法和BPTT算法求解θ=(W,U,B)的梯度;
本步骤中,在求解机器学习算法的模型参数,即无约束优化问题时,梯度下降(Gradient Descent)是最常采用的方法之一。在机器学习算法中,在最小化损失函数时,可以通过梯度下降法来一步步的迭代求解,得到最小化的损失函数。梯度下降法的算法可以有代数法和矩阵法(也称向量法)两种表示,代数法更加容易理解,矩阵法更加的简洁。梯度下降法包括批量梯度下降法(Batch Gradient Descent)、随机梯度下降法(StochasticGradient Descent)和小批量梯度下降法(Mini-batch Gradient Descent),批量梯度下降法,是梯度下降法最常用的形式,具体做法也就是在更新参数时使用所有的样本来进行更新,常用的线性回归梯度下降算法就是批量梯度下降法。对于训练速度来说,随机梯度下降法由于每次仅仅采用一个样本来迭代,训练速度很快,但随机梯度下降法由于仅仅用一个样本决定梯度方向,导致解很有可能不是最优。对于收敛速度来说,由于随机梯度下降法一次迭代一个样本,导致迭代方向变化很大,不能很快的收敛到局部最优解。随机梯度下降法的更新公式为:小批量梯度下降法是批量梯度下降法和随机梯度下降法的折衷,本发明可以使用上述所描述的梯度下降法来求解θ=(W,U,B)的梯度。
BPTT算法是神经网络中常用的一种随时间反向传播的算法,一种示例性地算法如下所示:
1:for t from T downto 1do
2:dot←g′(ot)·dL(zt;yt)/dzt
3:dbo←dbo+dot
4
5
6dzt←e′(zt)·dht
7:
8:dbh←dbh+dzt
9:
10:
11:end for
12:Return dθ=[dWhv,dWhh,dWoh,dbh,dbo,dh0].
有了步骤S1-S4中得到的数据之后,就可以根据上面描述的梯度下降法和BPTT算法求解θ=(W,U,B)的梯度。
步骤S6:确定学习率η,更新各权值梯度W=W-η·δw,其中,δw表示在神经网络反向传播时,通过梯度下降法得到的权值矩阵的偏导数;
本步骤中,学习率η一般人为确定,根据神经网络学习效果来调整,一般根据神经网络学习误差调整,随着误差逐渐减小,学习率随之减小,比如下次的学习率可以是上次的十分之一。
具体地,学习率也可以通过以下公式确定:η=Ae-λn,其中n为网络训练过程中的迭代次数,1≤A≤50,0.0001≤λ≤0.001;
或者,η(k)=e-λ(k-1),其中,0.0001≤λ≤0.001,k为迭代次数。
步骤S7:判断神经网络是否达到稳定,如果是执行步骤S8;如果否,返回步骤S2,迭代更新模型参数;
本步骤中,神经网络达到稳定一般根据神经网络的输出和真实的标签之间的总体误差确定,随着训练epoch数增加(epoch表示使用一次完整的训练数据集),当误差曲线最后趋于平稳,并且误差值小于给定的阈值则认为神经网络学习是有效的。
步骤S8:输出优化模型。
本步骤中,当确定的目标函数J最小化时,输出最优模型。
本发明提供的基于GRU的递归神经网络多标签学习方法,该方法能充分利RNN获取样例的有效特征表示,提高多标签分类的准确率。GRU结构能有效地进行长时间记忆,它相比于LSTM结构更简单,并且反向传播时不容易出现梯度消失问题。
以上所述仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是在本发明的构思下,利用本发明说明书及附图内容所作的等效结构变换,或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。
Claims (6)
1.一种基于GRU的递归神经网络多标签学习方法,其特征在于,所述方法包括以下步骤:
步骤S1:初始化系统参数θ=(W,U,B),其中,W表示神经网络层与层之间连接的权值矩阵;U表示数据在输入神经网络时的权值矩阵;B表示神经网络层与层之间的偏置矩阵;
步骤S2:输入样例计算各时刻RNN输出隐状态ht,其中,样例yi是样例xi的多标签向量,
步骤S3:计算上下文向量hT以及输出层输出zi;
步骤S4:计算预测输出计算损失Li,确定目标函数J
步骤S5:根据梯度下降法和BPTT算法求解θ=(W,U,B)的梯度;
步骤S6:确定学习率η,更新各权值梯度W=W-η·δW,其中,δW表示在神经网络反向传播时,通过梯度下降法得到的权值矩阵的偏导数;
步骤S7:判断神经网络是否达到稳定,如果是执行步骤S8;如果否,返回步骤S2,迭代更新模型参数;
步骤S8:输出优化模型。
2.根据权利要求1所述的方法,其特征在于,所述步骤S2进一步包括:把样例xi做标准化处理,使其值处于[0,1],然后将中的作为RNN在t时刻的输入值输入到隐藏层,得到隐状态ht。
3.根据权利要求2所述的方法,其特征在于,所述步骤S3进一步包括:将中的每个分量作为RNN在T个时刻的T个输入值输入到隐藏层,得到一个上下文向量hT,其中, 上述公式中,符号表示矩阵之间的点乘运算。
4.根据权利要求1所述的方法,其特征在于,所述步骤S4进一步包括:利用上下文向量hT计算样例xi的多标签向量其中,第i个样例标签对的联合概率为:
Li为:
确定的目标函数J为:
其中表示假设输出层的第j个神经元的输出为j=1,…,C,softmax层输出为真实输出为k=1,…,C,的值为0或1,λ表示尺度系数。
5.根据权利要求1所述的方法,其特征在于,所述步骤S6进一步包括,通过以下方法确定学习率:η=Ae-λn,其中n为网络训练过程中的迭代次数,1≤A≤50,0.0001≤λ≤0.001;或者,η(k)=e-λ(k-1),其中,0.0001≤λ≤0.001,k为迭代次数。
6.根据权利要求1所述的方法,其特征在于,所述步骤S8进一步包括:当确定的目标函数J最小化时,输出最优模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810112481.3A CN108319980A (zh) | 2018-02-05 | 2018-02-05 | 一种基于gru的递归神经网络多标签学习方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810112481.3A CN108319980A (zh) | 2018-02-05 | 2018-02-05 | 一种基于gru的递归神经网络多标签学习方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108319980A true CN108319980A (zh) | 2018-07-24 |
Family
ID=62902308
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810112481.3A Pending CN108319980A (zh) | 2018-02-05 | 2018-02-05 | 一种基于gru的递归神经网络多标签学习方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108319980A (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109272332A (zh) * | 2018-08-02 | 2019-01-25 | 华南理工大学 | 一种基于递归神经网络的客户流失预测方法 |
CN109886335A (zh) * | 2019-02-21 | 2019-06-14 | 厦门美图之家科技有限公司 | 分类模型训练方法及装置 |
CN110045362A (zh) * | 2019-03-01 | 2019-07-23 | 合肥工业大学 | 基于rnn的雷达目标航迹识别方法和装置 |
CN110070085A (zh) * | 2019-04-30 | 2019-07-30 | 北京百度网讯科技有限公司 | 车牌识别方法和装置 |
CN110210515A (zh) * | 2019-04-25 | 2019-09-06 | 浙江大学 | 一种图像数据多标签分类方法 |
CN110334382A (zh) * | 2019-05-09 | 2019-10-15 | 电子科技大学 | 一种基于循环神经网络的汽车车窗起雾状况预测方法 |
CN110413993A (zh) * | 2019-06-26 | 2019-11-05 | 重庆兆光科技股份有限公司 | 一种基于稀疏权值神经网络的语义分类方法、系统和介质 |
CN110866631A (zh) * | 2019-10-09 | 2020-03-06 | 重庆大学 | 基于集成的门递归单元神经网络gru来预测大气污染情况的方法 |
CN111126563A (zh) * | 2019-11-25 | 2020-05-08 | 中国科学院计算技术研究所 | 基于孪生网络的时空数据的目标识别方法及系统 |
CN111950602A (zh) * | 2020-07-21 | 2020-11-17 | 江苏大学 | 一种基于随机梯度下降和多示例多标签学习的图像标引方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106126507A (zh) * | 2016-06-22 | 2016-11-16 | 哈尔滨工业大学深圳研究生院 | 一种基于字符编码的深度神经翻译方法及系统 |
CN106502985A (zh) * | 2016-10-20 | 2017-03-15 | 清华大学 | 一种用于生成标题的神经网络建模方法及装置 |
CN106599933A (zh) * | 2016-12-26 | 2017-04-26 | 哈尔滨工业大学 | 一种基于联合深度学习模型的文本情感分类方法 |
US20170169326A1 (en) * | 2015-12-11 | 2017-06-15 | Baidu Usa Llc | Systems and methods for a multi-core optimized recurrent neural network |
CN106875511A (zh) * | 2017-03-03 | 2017-06-20 | 深圳市唯特视科技有限公司 | 一种基于自编码正则化网络学习驾驶风格的方法 |
-
2018
- 2018-02-05 CN CN201810112481.3A patent/CN108319980A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170169326A1 (en) * | 2015-12-11 | 2017-06-15 | Baidu Usa Llc | Systems and methods for a multi-core optimized recurrent neural network |
CN106126507A (zh) * | 2016-06-22 | 2016-11-16 | 哈尔滨工业大学深圳研究生院 | 一种基于字符编码的深度神经翻译方法及系统 |
CN106502985A (zh) * | 2016-10-20 | 2017-03-15 | 清华大学 | 一种用于生成标题的神经网络建模方法及装置 |
CN106599933A (zh) * | 2016-12-26 | 2017-04-26 | 哈尔滨工业大学 | 一种基于联合深度学习模型的文本情感分类方法 |
CN106875511A (zh) * | 2017-03-03 | 2017-06-20 | 深圳市唯特视科技有限公司 | 一种基于自编码正则化网络学习驾驶风格的方法 |
Non-Patent Citations (1)
Title |
---|
R. DEY 等: "Gate-variants of Gated Recurrent Unit (GRU) neural networks", 2017 IEEE 60TH INTERNATIONAL MIDWEST SYMPOSIUM ON CIRCUITS AND SYSTEMS (MWSCAS), 9 August 2017 (2017-08-09), pages 1597 - 1600, XP033158343, DOI: 10.1109/MWSCAS.2017.8053243 * |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109272332B (zh) * | 2018-08-02 | 2021-06-08 | 华南理工大学 | 一种基于递归神经网络的客户流失预测方法 |
CN109272332A (zh) * | 2018-08-02 | 2019-01-25 | 华南理工大学 | 一种基于递归神经网络的客户流失预测方法 |
CN109886335A (zh) * | 2019-02-21 | 2019-06-14 | 厦门美图之家科技有限公司 | 分类模型训练方法及装置 |
CN109886335B (zh) * | 2019-02-21 | 2021-11-26 | 厦门美图之家科技有限公司 | 分类模型训练方法及装置 |
CN110045362A (zh) * | 2019-03-01 | 2019-07-23 | 合肥工业大学 | 基于rnn的雷达目标航迹识别方法和装置 |
CN110045362B (zh) * | 2019-03-01 | 2022-02-22 | 合肥工业大学 | 基于rnn的雷达目标航迹识别方法和装置 |
CN110210515A (zh) * | 2019-04-25 | 2019-09-06 | 浙江大学 | 一种图像数据多标签分类方法 |
CN110210515B (zh) * | 2019-04-25 | 2021-04-20 | 浙江大学 | 一种图像数据多标签分类方法 |
CN110070085B (zh) * | 2019-04-30 | 2021-11-02 | 北京百度网讯科技有限公司 | 车牌识别方法和装置 |
CN110070085A (zh) * | 2019-04-30 | 2019-07-30 | 北京百度网讯科技有限公司 | 车牌识别方法和装置 |
CN110334382B (zh) * | 2019-05-09 | 2020-11-17 | 电子科技大学 | 一种基于循环神经网络的汽车车窗起雾状况预测方法 |
CN110334382A (zh) * | 2019-05-09 | 2019-10-15 | 电子科技大学 | 一种基于循环神经网络的汽车车窗起雾状况预测方法 |
CN110413993A (zh) * | 2019-06-26 | 2019-11-05 | 重庆兆光科技股份有限公司 | 一种基于稀疏权值神经网络的语义分类方法、系统和介质 |
CN110866631A (zh) * | 2019-10-09 | 2020-03-06 | 重庆大学 | 基于集成的门递归单元神经网络gru来预测大气污染情况的方法 |
CN111126563A (zh) * | 2019-11-25 | 2020-05-08 | 中国科学院计算技术研究所 | 基于孪生网络的时空数据的目标识别方法及系统 |
CN111126563B (zh) * | 2019-11-25 | 2023-09-29 | 中国科学院计算技术研究所 | 基于孪生网络的时空数据的目标识别方法及系统 |
CN111950602A (zh) * | 2020-07-21 | 2020-11-17 | 江苏大学 | 一种基于随机梯度下降和多示例多标签学习的图像标引方法 |
CN111950602B (zh) * | 2020-07-21 | 2024-05-14 | 江苏大学 | 一种基于随机梯度下降和多示例多标签学习的图像标引方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108319980A (zh) | 一种基于gru的递归神经网络多标签学习方法 | |
CN107145483B (zh) | 一种基于嵌入式表示的自适应中文分词方法 | |
Rong | word2vec parameter learning explained | |
EP3629246A1 (en) | Systems and methods for neural architecture search | |
Zhang et al. | A generalized recurrent neural architecture for text classification with multi-task learning | |
CN110347837A (zh) | 一种心血管疾病非计划再住院风险预测方法 | |
CN110580496A (zh) | 一种基于熵最小化的深度迁移学习系统及方法 | |
CN112884551B (zh) | 一种基于近邻用户和评论信息的商品推荐方法 | |
CN111125358A (zh) | 一种基于超图的文本分类方法 | |
CN108197701A (zh) | 一种基于rnn的多任务学习方法 | |
CN111815033A (zh) | 一种基于rcnn和气象时序特征的海上风电功率预测方法 | |
CN110580287A (zh) | 基于迁移学习和on-lstm的情感分类方法 | |
CN113220876B (zh) | 一种用于英文文本的多标签分类方法及系统 | |
CN111460157B (zh) | 用于多领域文本分类的循环卷积多任务学习方法 | |
Mukherjee et al. | Utilization of oversampling for multiclass sentiment analysis on amazon review dataset | |
CN112256876A (zh) | 基于多记忆注意力网络的方面级情感分类模型 | |
US20240232519A1 (en) | Automated notebook completion using sequence-to-sequence transformer | |
Yang et al. | Recurrent neural network-based language models with variation in net topology, language, and granularity | |
CN107528824A (zh) | 一种基于二维度稀疏化的深度信念网络入侵检测方法 | |
CN112766603A (zh) | 一种交通流量预测方法、系统、计算机设备及存储介质 | |
CN115269860A (zh) | 一种飞机维修领域的知识图谱构建方法 | |
CN110413781B (zh) | 一种基于LD和ANN-SoftMax Regressor的中医药短文本多分类方法 | |
CN113779249B (zh) | 跨领域文本情感分类方法、装置、存储介质以及电子设备 | |
Kumar et al. | A conceptual introduction of machine learning algorithms | |
Moholkar et al. | Lioness adapted GWO-based deep belief network enabled with multiple features for a novel question answering system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |