CN110490299B - 基于状态变化微分的灵敏长短期记忆方法 - Google Patents
基于状态变化微分的灵敏长短期记忆方法 Download PDFInfo
- Publication number
- CN110490299B CN110490299B CN201910676680.1A CN201910676680A CN110490299B CN 110490299 B CN110490299 B CN 110490299B CN 201910676680 A CN201910676680 A CN 201910676680A CN 110490299 B CN110490299 B CN 110490299B
- Authority
- CN
- China
- Prior art keywords
- state
- information
- output
- gate
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Character Discrimination (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于状态变化微分的灵敏长短期记忆方法,为了提高传统的LSTM神经网络对短时间信息的反应能力,增加了增加了信息敏感能力的长短期记忆网络的一个神经单元,能够很好的增加其对于短时间信息的反应能力,提高其应用的实时性,进而能够进行更完善的实时分析,进一步分析微动作等内容,提高了应用价值。
Description
技术领域
本发明涉及长短期记忆网络领域,尤其涉及一种基于状态变化微分的灵敏长短期记忆方法。
背景技术
人工智能是21世纪三大重要学科之一,是国家科学、经济、民生的重要支撑。其中,长短期记忆网络(LSTM)是基于记忆的识别的重要算法,已经在很多方面包括有语义、动作、文本等多方面得到了识别,具有很好的价值。
现有的长短期记忆网络,依然存在着一个主要的问题,就是它采用长短期记忆的方式,提高了在整个视频的长时间序列中的信息的分析能力,但是彻底没有对于短时间信息的反应能力,这使得现有的长短期记忆网络只能用于事后分析,无法做到很好的实时性,以及对微动作等内容的识别。
如果能够对长短期记忆网络的结构调整,增加其对于短时间信息的反应能力,提高其应用的实时性,那么就可以很好的实时分析,更加能够分析微动作等内容,进一步提高其应用价值。
发明内容
本发明所要解决的技术问题是针对背景技术中所涉及到的缺陷,提供一种基于状态变化微分的灵敏长短期记忆方法。
本发明为解决上述技术问题采用以下技术方案:
基于状态变化微分的灵敏长短期记忆方法,包含以下具体步骤:
步骤1),建立LSTM神经网络的神经单元,其包含三个结构:输入门it,遗忘门ft和输出门ot,每个步长t与其对应的输入序列为X={x1,x2,…,xt};
步骤2),通过遗忘门决定从神经单元状态中需要丢弃的信息:
令上一时刻的输出值为ht-1、当前时刻的输入值xt,将ht-1和xt输入到Sigmoid函数中,得到0和1之间的输出到单元状态的值,0表示全部遗忘,1表示保留全部信息,该值与单元状态相乘之后来确定舍弃信息;遗忘门的输出值ft的计算公式为:
ft=σ(wf*[ht-1,xt]+bf)
其中,wf、bf分别为遗忘门Sigmoid函数中的权重矩阵、偏置向量,σ为Sigmoid激活函数;
步骤3),通过输入门决定向神经单元状态中的保存信息:
将ht-1和xt输入到Sigmoid函数,得到输出值it;将ht-1和xt输入到tanh函数,得到输出值kt;it、kt的计算公式为:
it=σ(wi*[ht-1,xt]+bi)
kt=tanh(wk*[ht-1,xt]+bk)
其中,wi、wk分别为输入门Sigmoid函数、tanh函数中的权重矩阵,bi、bk分别为输入门Sigmoid函数、tanh函数中偏置向量;
步骤4),为了增加对于短时间信息的反应能力,对单元状态增加新输入即上一时刻的状态输出与上上一时刻的状态输出的差,将和预设的系数k相乘之后加入到单元状态中,这能够增加网络对短时信息的反应能力,增加实时性;
由此,得到下一时刻的单元状态为:
Ct=ft*Ct-1+it*kt+pt
pt=k*(Ct-1-Ct-2)
步骤5),通过输出门决定从神经单元状态中的输出信息:
将ht-1和xt输入到Sigmoid函数,得到输出值Ot,然后,对单元状态Ct用tanh函数处理处理后乘以输出值Ot,得到传递给下一时刻的输出值ht;Ot、ht的计算公式为:
Ot=σ(wO*[ht-1,xt]+bO)
ht=Ot*tanh(Ct)
其中,wO、bO分别为输出门Sigmoid函数中的权重矩阵、偏置向量;
步骤6),采用LSTM算法中的学习算法进行学习,完成灵敏长短期记忆。
本发明采用以上技术方案与现有技术相比,具有以下技术效果:
与原有的经典LSTM方法相比,本发明增加了增加了信息敏感能力的长短期记忆网络的一个神经单元,能够很好的增加其对于短时间信息的反应能力,提高其应用的实时性,进而能够进行更完善的实时分析,进一步分析微动作等内容,提高了应用价值。
附图说明
图1是发明实施例的结构说明图。
具体实施方式
下面结合附图对本发明的技术方案做进一步的详细说明:
本发明的原理是:LSTM神经网络的核心是加入了记忆模块,对当前信息学习并提取数据中间相关联的信息和规律,以此进行信息传递。LSTM神经网络的一个神经单元包含三个结构:输入门it,遗忘门ft和输出门ot,每个步长t与其对应的输入序列为X={x1,x2,…,xt}。为了提高其对短时间信息的反应能力,本发明增加了一个类似状态微分效果的输入微分序列
本发明是增加了信息敏感能力的长短期记忆网络的一个神经单元。上一节点的状态信息从输入端ct-1输入,每当数据进入神经单元时,会通过相应的操作来决定哪些信息需要保留。该网络的关键就是单元状态,即图中单元最上方的水平线,它将信息从上一个单元传递到下一个单元。
本发明有两条随时间传递的状态链,分别是状态h和单元状态c,ht-1是上一时刻传入当前时刻的值,xt为当前时刻输入值,ct-1是上一时刻记忆单元状态值,ct是当前时刻记忆单元状态值。
本发明公开了一种基于状态变化微分的灵敏长短期记忆方法,包含以下具体步骤:
步骤1),建立LSTM神经网络的神经单元,其包含三个结构:输入门it,遗忘门ft和输出门ot,每个步长t与其对应的输入序列为X={x1,x2,…,xt};
步骤2),通过遗忘门决定从神经单元状态中需要丢弃的信息:
令上一时刻的输出值为ht-1、当前时刻的输入值xt,将ht-1和xt输入到Sigmoid函数中,得到0和1之间的输出到单元状态的值,0表示全部遗忘,1表示保留全部信息,该值与单元状态相乘之后来确定舍弃信息;遗忘门的输出值ft的计算公式为:
ft=σ(wf*[ht-1,xt]+bf)
其中,wf、bf分别为遗忘门Sigmoid函数中的权重矩阵、偏置向量,σ为Sigmoid激活函数;
步骤3),通过输入门决定向神经单元状态中的保存信息:
将ht-1和xt输入到Sigmoid函数,得到输出值it;将ht-1和xt输入到tanh函数,得到输出值kt;it、kt的计算公式为:
it=σ(wi*[ht-1,xt]+bi)
kt=tanh(wk*[ht-1,xt]+bk)
其中,wi、wk分别为输入门Sigmoid函数、tanh函数中的权重矩阵,bi、bk分别为输入门Sigmoid函数、tanh函数中偏置向量;
步骤4),为了增加对于短时间信息的反应能力,对单元状态增加新输入即上一时刻的状态输出与上上一时刻的状态输出的差,将和预设的系数k相乘之后加入到单元状态中,这能够增加网络对短时信息的反应能力,增加实时性;
由此,得到下一时刻的单元状态为:
Ct=ft*Ct-1+it*kt+pt
pt=k*(Ct-1-Ct-2)
步骤5),通过输出门决定从神经单元状态中的输出信息:
将ht-1和xt输入到Sigmoid函数,得到输出值Ot,然后,对单元状态Ct用tanh函数处理处理后乘以输出值Ot,得到传递给下一时刻的输出值ht;Ot、ht的计算公式为:
Ot=σ(wO*[ht-1,xt]+bO)
ht=Ot*tanh(Ct)
其中,wO、bO分别为输出门Sigmoid函数中的权重矩阵、偏置向量;
步骤6),采用LSTM算法中的学习算法进行学习,完成灵敏长短期记忆。
下面以把本发明应用在识别一段举起手臂的视频的识别上,来进行解释本发明的具体实施例。
如图1所示的是增加了信息敏感能力的长短期记忆网络的一个单元j和p。上一节点的状态信息从输入端ct-1输入,每当数据进入神经单元时,会通过相应的操作来决定哪些信息需要保留。该网络的关键就是单元状态,即图中单元最上方的水平线,它将信息从上一个单元传递到下一个单元。
本实施例中,所谓的状态信息ct-1就是整个神经网络的各个神经单元的在t-1时刻的状态,主要为它们的权重矩阵和偏置向量,具体来讲,就是对举起手臂的视频第t-1帧图片,识别出举起手臂这个动作时刻的整个神经网络的权重矩阵和偏置向量。
本发明有两条随时间传递的状态链,分别是状态h和单元状态c,ht-1是上一时刻传入当前时刻的值,xt为当前时刻输入值,ct-1是上一时刻记忆单元状态值,ct是当前时刻记忆单元状态值。
本实施例中,所谓ht-1代表的是,对举起手臂的视频第t-1帧图片,识别出举起手臂这个动作结果的本身。xt就是举起手臂的视频第t帧的图片。
与原有的经典LSTM方法相比,本发明增加了增加了信息敏感能力的长短期记忆网络的一个神经单元,能够很好的增加其对于短时间信息的反应能力,提高其应用的实时性,进而能够进行更完善的实时分析,进一步分析微动作等内容,提高了其应用价值。
本技术领域技术人员可以理解的是,除非另外定义,这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样定义,不会用理想化或过于正式的含义来解释。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (1)
1.基于状态变化微分的灵敏长短期记忆方法,其特征在于,包括以下步骤:
步骤1),建立LSTM神经网络的神经单元,其包含三个结构:输入门it、遗忘门ft和输出门ot,每个步长t与其对应的输入序列为X={x1,x2,...,xt};LSTM神经网络用于识别视频中举起手臂的动作,对应的输入序列为视频的第1至t帧图片;
步骤2),通过遗忘门决定从神经单元状态中需要丢弃的信息:
令上一时刻的输出值为ht-1、当前时刻的输入值xt,将ht-1和xt输入到Sigmoid函数中,得到0和1之间的输出到单元状态的值,0表示全部遗忘,1表示保留全部信息,该值与单元状态相乘之后来确定舍弃信息;遗忘门的输出值ft的计算公式为:
ft=σ(wf*[ht-1,xt]+bf)
其中,wf、bf分别为遗忘门Sigmoid函数中的权重矩阵、偏置向量,σ为Sigmoid激活函数;
步骤3),通过输入门决定向神经单元状态中的保存信息:
将ht-1和xt输入到Sigmoid函数,得到输出值it;将ht-1和xt输入到tanh函数,得到输出值kt;it、kt的计算公式为:
it=σ(wi*[ht-1,xt]+bi)
kt=tanh(wk*[ht-1,xt]+bk)
其中,wi、wk分别为输入门Sigmoid函数、tanh函数中的权重矩阵,bi、bk分别为输入门Sigmoid函数、tanh函数中偏置向量;
步骤4),为了增加对于短时间信息的反应能力,对单元状态增加新输入即上一时刻的状态输出与上上一时刻的状态输出的差,将和预设的系数k相乘之后加入到单元状态中,这能够增加网络对短时信息的反应能力,增加实时性;
由此,得到下一时刻的单元状态为:
Ct=ft*Ct-1+it*kt+pt
pt=k*(Ct-1-Ct-2)
步骤5),通过输出门决定从神经单元状态中的输出信息:
将ht-1和xt输入到Sigmoid函数,得到输出值Ot,然后,对单元状态Ct用tanh函数处理处理后乘以输出值Ot,得到传递给下一时刻的输出值ht;Ot、ht的计算公式为:
Ot=σ(wO*[ht-1,xt]+bO)
ht=Ot*tanh(Ct)
其中,wO、bO分别为输出门Sigmoid函数中的权重矩阵、偏置向量;
步骤6),采用LSTM算法中的学习算法进行学习,完成灵敏长短期记忆。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910676680.1A CN110490299B (zh) | 2019-07-25 | 2019-07-25 | 基于状态变化微分的灵敏长短期记忆方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910676680.1A CN110490299B (zh) | 2019-07-25 | 2019-07-25 | 基于状态变化微分的灵敏长短期记忆方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110490299A CN110490299A (zh) | 2019-11-22 |
CN110490299B true CN110490299B (zh) | 2022-07-29 |
Family
ID=68548358
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910676680.1A Active CN110490299B (zh) | 2019-07-25 | 2019-07-25 | 基于状态变化微分的灵敏长短期记忆方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110490299B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105513591A (zh) * | 2015-12-21 | 2016-04-20 | 百度在线网络技术(北京)有限公司 | 用lstm循环神经网络模型进行语音识别的方法和装置 |
CN106897670A (zh) * | 2017-01-19 | 2017-06-27 | 南京邮电大学 | 一种基于计算机视觉的快递暴力分拣识别方法 |
CN107045649A (zh) * | 2014-07-21 | 2017-08-15 | 徐志强 | 具有短期记忆和长期记忆的模拟神经网络 |
CN108510065A (zh) * | 2018-03-30 | 2018-09-07 | 中国科学院计算技术研究所 | 应用于长短时记忆神经网络的计算装置和计算方法 |
CN108520530A (zh) * | 2018-04-12 | 2018-09-11 | 厦门大学 | 基于长短时记忆网络的目标跟踪方法 |
CN109583571A (zh) * | 2018-12-05 | 2019-04-05 | 南京工业大学 | 一种基于lstm网络的移动机器人软地面通过性预测方法 |
CN109829495A (zh) * | 2019-01-29 | 2019-05-31 | 南京信息工程大学 | 基于lstm和dcgan的时序性图像预测方法 |
CN109886241A (zh) * | 2019-03-05 | 2019-06-14 | 天津工业大学 | 基于长短期记忆网络的驾驶员疲劳检测 |
CN110045356A (zh) * | 2019-03-14 | 2019-07-23 | 哈尔滨工程大学 | 一种双向长短时记忆神经网络水面目标识别方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170351911A1 (en) * | 2014-02-04 | 2017-12-07 | Pointgrab Ltd. | System and method for control of a device based on user identification |
US10810482B2 (en) * | 2016-08-30 | 2020-10-20 | Samsung Electronics Co., Ltd | System and method for residual long short term memories (LSTM) network |
-
2019
- 2019-07-25 CN CN201910676680.1A patent/CN110490299B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107045649A (zh) * | 2014-07-21 | 2017-08-15 | 徐志强 | 具有短期记忆和长期记忆的模拟神经网络 |
CN105513591A (zh) * | 2015-12-21 | 2016-04-20 | 百度在线网络技术(北京)有限公司 | 用lstm循环神经网络模型进行语音识别的方法和装置 |
CN106897670A (zh) * | 2017-01-19 | 2017-06-27 | 南京邮电大学 | 一种基于计算机视觉的快递暴力分拣识别方法 |
CN108510065A (zh) * | 2018-03-30 | 2018-09-07 | 中国科学院计算技术研究所 | 应用于长短时记忆神经网络的计算装置和计算方法 |
CN108520530A (zh) * | 2018-04-12 | 2018-09-11 | 厦门大学 | 基于长短时记忆网络的目标跟踪方法 |
CN109583571A (zh) * | 2018-12-05 | 2019-04-05 | 南京工业大学 | 一种基于lstm网络的移动机器人软地面通过性预测方法 |
CN109829495A (zh) * | 2019-01-29 | 2019-05-31 | 南京信息工程大学 | 基于lstm和dcgan的时序性图像预测方法 |
CN109886241A (zh) * | 2019-03-05 | 2019-06-14 | 天津工业大学 | 基于长短期记忆网络的驾驶员疲劳检测 |
CN110045356A (zh) * | 2019-03-14 | 2019-07-23 | 哈尔滨工程大学 | 一种双向长短时记忆神经网络水面目标识别方法 |
Non-Patent Citations (2)
Title |
---|
A Review of Recurrent Neural Networks: LSTM Cells and Network Architectures;Yong Yu et al.;《Neural Computation》;20190701;第31卷(第7期);第1235-1270页 * |
Differential Recurrent Neural Networks for Action Recognition;V. Veeriah et al.;《2015 IEEE International Conference on Computer Vision (ICCV)》;20160208;第4041-4049页 * |
Also Published As
Publication number | Publication date |
---|---|
CN110490299A (zh) | 2019-11-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110084281B (zh) | 图像生成方法、神经网络的压缩方法及相关装置、设备 | |
CN109284506B (zh) | 一种基于注意力卷积神经网络的用户评论情感分析系统及方法 | |
CN109389091B (zh) | 基于神经网络和注意力机制结合的文字识别系统及方法 | |
CN108510194B (zh) | 风控模型训练方法、风险识别方法、装置、设备及介质 | |
CN113905391B (zh) | 集成学习网络流量预测方法、系统、设备、终端、介质 | |
Schäfer et al. | Recurrent neural networks are universal approximators | |
US20230215166A1 (en) | Few-shot urban remote sensing image information extraction method based on meta learning and attention | |
CN109902293A (zh) | 一种基于局部与全局互注意力机制的文本分类方法 | |
CN118297105A (zh) | 人工神经网络 | |
WO2020244174A1 (zh) | 人脸识别方法、装置、设备及计算机可读存储介质 | |
CN107491729B (zh) | 基于余弦相似度激活的卷积神经网络的手写数字识别方法 | |
CN112464816A (zh) | 基于二次迁移学习的地方手语识别方法、装置 | |
CN112036276A (zh) | 一种人工智能视频问答方法 | |
CN116524419A (zh) | 基于时空解耦与自注意力差分lstm的视频预测方法、系统 | |
Liu et al. | Iterative deep neighborhood: a deep learning model which involves both input data points and their neighbors | |
CN114582448A (zh) | 基于预训练语言模型的疫情病例信息抽取框架构建方法 | |
CN110490299B (zh) | 基于状态变化微分的灵敏长短期记忆方法 | |
CN110472726B (zh) | 基于输出变化微分的灵敏长短期记忆方法 | |
CN110390386B (zh) | 基于输入变化微分的灵敏长短期记忆方法 | |
CN113239678A (zh) | 一种面向答案选择的多角度注意力特征匹配方法及系统 | |
Zhang et al. | Blind source separation based on quantum slime mould algorithm in impulse noise | |
CN116384373A (zh) | 一种基于知识蒸馏框架的方面级情感分析方法 | |
Xu et al. | Isolated Word Sign Language Recognition Based on Improved SKResNet‐TCN Network | |
CN115878804A (zh) | 基于ab-cnn模型的电商评论多分类情感分析方法 | |
Tomar | A critical evaluation of activation functions for autoencoder neural networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |