CN111382840B - 一种面向自然语言处理的基于循环学习单元的htm设计方法 - Google Patents
一种面向自然语言处理的基于循环学习单元的htm设计方法 Download PDFInfo
- Publication number
- CN111382840B CN111382840B CN202010115996.6A CN202010115996A CN111382840B CN 111382840 B CN111382840 B CN 111382840B CN 202010115996 A CN202010115996 A CN 202010115996A CN 111382840 B CN111382840 B CN 111382840B
- Authority
- CN
- China
- Prior art keywords
- htm
- learning unit
- natural language
- time
- cyclic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 125000004122 cyclic group Chemical group 0.000 title claims abstract description 77
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000013461 design Methods 0.000 title claims abstract description 25
- 238000003058 natural language processing Methods 0.000 title claims abstract description 23
- 210000002569 neuron Anatomy 0.000 claims abstract description 25
- 230000006870 function Effects 0.000 claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 18
- 230000001788 irregular Effects 0.000 claims abstract description 16
- 238000004364 calculation method Methods 0.000 claims description 23
- 230000004913 activation Effects 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000004458 analytical method Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 230000000946 synaptic effect Effects 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 210000000478 neocortex Anatomy 0.000 description 2
- 210000000225 synapse Anatomy 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003920 cognitive function Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- BULVZWIRKLYCBC-UHFFFAOYSA-N phorate Chemical compound CCOP(=S)(OCC)SCSCC BULVZWIRKLYCBC-UHFFFAOYSA-N 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种面向自然语言处理的基于循环学习单元的HTM设计方法，针对自然语言处理应用，在使用HTM分析自然语言时，提出使用面向自然语言处理的基于循环学习单元的HTM设计方法，利用具有循环学习能力的循环学习单元代替现有的HTM神经元，将HTM时间池和循环学习单元对序列数据的学习能力相互结合，实现对蕴含无规律时间跨度大关联的自然语言的更好的学习；通过循环学习单元的训练方法，使得循环学习单元能学习自然语言语料中包含的特性，实现HTM对蕴含无规律时间跨度大关联的自然语言更强的学习能力。本发明提高了HTM对蕴含无规律时间跨度大关联的自然语言的学习功能，从而保证了在处理蕴含无规律时间跨度大关联的自然语言时HTM的有效性和实用性。
Description
技术领域
本发明涉及人工智能深度学习领域,尤其涉及一种面向自然语言处理的基于循环学习单元的HTM设计方法。
背景技术
自然语言所组成的序列包含了大量跨度较大的联系，其规律性很差，使得分析和预测的难度很大。
近年来，深度学习算法在图像处理、语音处理、自然语言处理等多个领域得到广泛的应用并产生巨大的影响，这在很大程度上归功于各种新型神经网络模型以及高效的模型训练方法。随着生物神经科学的进步，越来越多的新型神经网络正在被研究。HTM(Hierarchical Temporal Memory)是一种模仿人脑中处理高级认知功能的新皮质部分运作原理的新型人工神经网络，其将接受到的各种模式与记忆中的模式进行匹配，并对下一刻将会接收到的信息作出预测与反应，如此循环往复，从而体现时效性(Temporal)。
当前训练HTM的方法还比较简单，通常使用Hebbian规则修改前后两次激活神经元之间的连接值，以此训练HTM；这种方法在处理蕴含无规律时间跨度大关联的自然语言时难以获得理想的结果；因此需要针对自然语言中蕴含无规律时间跨度大关联的特点，提出新的HTM设计方法，提高HTM对自然语言的学习能力。
发明内容
本发明的目的在于提供一种面向自然语言处理的基于循环学习单元的HTM设计方法，以解决现有HTM对蕴含无规律时间跨度大关联的自然语言学习能力较差的问题。
一种面向自然语言处理的基于循环学习单元的HTM设计方法，包括以下步骤：
步骤1，针对自然语言处理应用，将自然语言语料转变为具有时序特性的数据流，作为基于HTM分析方法的输入；
步骤2，使用面向自然语言处理的基于循环学习单元的HTM设计方法，利用具有循环学习能力的循环学习单元代替现有的HTM神经元，将HTM时间池和循环学习单元学习序列数据的能力相互结合，加强HTM对蕴含无规律时间跨度大关联的自然语言的学习功能；
步骤3，通过循环学习单元的训练方法，使得循环学习单元能学习自然语言语料中包含的特性，实现HTM对蕴含时序跨度大规律的自然语言数据更强的学习能力；
步骤4，完成对自然语言语料的分析，输出在某种条件下对自然语言的处理结果。
进一步，所述步骤2中，使用面向自然语言处理的基于循环学习单元的HTM设计方法主要包括以下步骤：
步骤2.1，找出HTM时间池中t时刻处于激活状态的循环学习单元；
步骤2.2，使用这些循环学习单元与HTM时间池中t-1时刻激活态循环学习单元之间的树突连接值、以及循环学习单元中上一时刻的隐藏层作为当前循环学习单元的输入；
步骤2.3，计算循环学习单元在t时刻的隐藏层计算方法如下：
表示t时刻HTM中第j个微柱中第i个HTM神经元对应的循环学习单元中隐藏层神经元的激活值；/>表示由HTM中第j个微柱中第i个HTM神经元上的突触连通数值组成的向量；Whx和Whh分别表示循环学习单元中输入层和隐藏层、隐藏层和隐藏层之间的权值矩阵，bh是隐藏层的偏置矩阵，f是使用双曲正切函数tanh构造的非线性激活函数；
步骤2.4，计算循环学习单元在t时刻的输出计算方法如下：
σ表示循环学习单元输出层的激活函数，Wyh表示循环学习单元中隐藏层和输出层之间的权重矩阵；
步骤2.5，计算循环学习单元在t时刻的预测值计算方法如下：
步骤2.6，找出HTM在t时刻对t+1时刻的预测循环学习单元计算方法如下：
表示在t时刻是HTM神经元处于激活态，1代表激活，0代表未激活；μ是设定的超参数。
进一步，所述步骤3中，循环学习单元的训练方法主要包括以下步骤：
步骤3.1，找出HTM时间池中t-1时刻处于预测状态的循环学习单元和t时刻处于激活状态的循环学习单元；
步骤3.2，使用HTM时间池中t时刻这些循环学习单元是否被激活来计算循环学习单元的误差E，计算方法如下：
步骤3.3，调整循环学习单元中的权重和偏置参数，计算方法如下：
其中,θ为[Whx,Whh,Wyh,bh-,θnew]表示θ经过训练后最小误差处理后的新值,λ是学习率,表示对函数的某个变量求偏导数。
本发明的有益效果：
1、本发明与现有HTM分析自然语言的方法不同，使用一种面向自然语言处理的基于循环学习单元的HTM设计方法，改进现有HTM，实现对蕴含无规律时间跨度大关联的自然语言的更好的学习。
2、本发明与现有HTM在基本的构成方面存在不同，利用对具有较长时序关联的长序列数据或时序跨度较大的复杂事件等较强学习能力的循环学习单元，替换HTM中现有的神经元，构建了能工作于HTM中的循环学习单元，改变现有HTM仅依靠调整HTM神经元中突触值学习的方式；与现有HTM在基本的构成方面存在不同。
3、利用循环学习单元在多个时间步上对序列的学习和反馈能力，改变现有HTM仅使用相邻两个时间步信息进行学习的机制，提高HTM对长序列的学习能力。
4、给出了HTM中循环学习单元的学习过程，利用HTM的输入和对预测出循环学习单元是否被激活的反馈训练循环学习单元，增强HTM对蕴含无规律时间跨度大关联的自然语言的学习和检查能力。
附图说明
图1面向自然语言处理的基于循环学习单元新型HTM的结构图；
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。
一种面向自然语言处理的基于循环学习单元的HTM设计方法，包括以下步骤：
步骤1，针对自然语言处理应用，将自然语言语料转变为具有时序特性的数据流，作为基于HTM分析方法的输入；
步骤2，使用面向自然语言处理的基于循环学习单元的HTM设计方法，利用具有循环学习能力的循环学习单元代替现有的HTM神经元，将HTM时间池和循环学习单元学习序列数据的能力相互结合，加强HTM对蕴含无规律时间跨度大关联的自然语言的学习功能；
步骤3，通过循环学习单元的训练方法，使得循环学习单元能学习自然语言语料中包含的特性，实现HTM对蕴含时序跨度大规律的自然语言数据更强的学习能力；
步骤4，完成对自然语言语料的分析，输出在某种条件下对自然语言的处理结果。
上述步骤1中主要包括以下步骤：
步骤1.1，收集公开的自然语言训练语料，或者收集某个特定领域的大量自然语言编写的文章作为自然语言语料；
步骤1.2，将收集的自然语言语料，进行字和词的拆分，构成具有前后顺序关系的一组由字或词构成的序列，使其包含字或词之间的时序特性；
步骤1.3，将这组由字或词构成的序列，作为一种面向自然语言处理的基于循环学习单元的HTM设计方法的输入，有其进行学习和分析。
上述步骤2中主要包括以下步骤：
步骤2.1，找出HTM时间池中t时刻处于激活状态的循环学习单元；
步骤2.2，使用这些循环学习单元与HTM时间池中t-1时刻激活态循环学习单元之间的树突连接值、以及循环学习单元中上一时刻的隐藏层作为当前循环学习单元的输入；
步骤2.3，计算循环学习单元在t时刻的隐藏层计算方法如下：
表示t时刻HTM中第j个微柱中第i个HTM神经元对应的循环学习单元中隐藏层神经元的激活值；/>表示由HTM中第j个微柱中第i个HTM神经元上的突触连通数值组成的向量；Whx和Whh分别表示循环学习单元中输入层和隐藏层、隐藏层和隐藏层之间的权值矩阵，bh是隐藏层的偏置矩阵，f是使用双曲正切函数tanh构造的非线性激活函数；
步骤2.4，计算循环学习单元在t时刻的输出计算方法如下：
σ表示循环学习单元输出层的激活函数，Wyh表示循环学习单元中隐藏层和输出层之间的权重矩阵；
步骤2.5，计算循环学习单元在t时刻的预测值计算方法如下：
步骤2.6，找出HTM在t时刻对t+1时刻的预测循环学习单元计算方法如下：
表示在t时刻是HTM神经元处于激活态，1代表激活，0代表未激活；μ是设定的超参数。
上述步骤3中主要包括以下步骤：
步骤3.1，找出HTM时间池中t-1时刻处于预测状态的循环学习单元和t时刻处于激活状态的循环学习单元；
步骤3.2，使用HTM时间池中t时刻这些循环学习单元是否被激活来计算循环学习单元的误差E，计算方法如下：
步骤3.3，调整循环学习单元中的权重和偏置参数，计算方法如下：
其中,θ为[Whx,Whh,Wyh,bh],θnew表示θ经过训练后最小误差处理后的新值,是学习率,表示对函数的某个变量求偏导数。
实施例1：
如图1所示，面向自然语言处理的基于循环学习单元的HTM设计方法的模型结构图，该方法总体思路是利用具有循环学习能力的循环学习单元代替现有HTM神经元，利用循环学习单元在多个时间步上对序列的学习和反馈能力，实现HTM对序列数据更强的学习能力。图1中右侧所示即为循环学习单元，其中包括输入单元(xij)、输出单元(yij)、隐藏单元(hij)。由图1可知，有一条单向流动的信息流是从输入单元到达隐藏单元的。与此同时，另一条单向流动的信息流从隐藏单元到达输出单元。即HTM中循环学习单元突触的连通值作为循环学习单元每一时刻的输入，循环学习单元隐藏层的输入还包含上一时刻隐藏层的状态，从而计算和/>最终训练并得到模型。
实施例2：
以一个HTM中循环学习单元的完整计算过程为例，它由多个时序关联的不同计算部分组成。首先，在输入时刻t，对于处于激活态的循环学习单元以及t-1时刻与之相连接的处于激活态的循环学习单元之间突触连通数值，其组成的向量为即为各个时刻HTM微柱上处于不同位置的循环学习单元的输入。
根据提出的HTM设计方法中，首先需要确定出各个时刻处于激活态循环学习单元。现假设j＝{1,2,3,..,m}表示的是HTM中的微柱编号，i＝{1,2,3,..,n}表示的是微柱中的循环学习单元编号。例如，使用c1,2表示第2微柱中第1个循环学习单元，HTM神经元微柱有10个，经过HTM空间池计算过程后得到激活微柱3个，其中位于微柱2上的第1个循环学习单元(c1,2)处于激活状态。另外确定出与之相连的激活循环学习单元有c2,2和c3,1，在实时接收到当前t时刻的他们之前的连通值组成的向量(0.4,0.6,0.3)和t-1时刻此循环学习单元的隐藏层输出结果带入公式中依次计算并最终得到此t刻输出为0.5。然后根据该循环学习单元输出预测值是否达到实验中设定的阈值(0.6)作为判断出t+1时刻预测循环学习单元。
具体而言，按照图1所示的基于循环学习单元的HTM结构图，根据输入编码和上一时刻隐藏层的输出/>计算循环学习单元的当前隐藏层输入/>输出/>和最终预测循环学习单元的训练过程在于最小化损失函数E,可采用随机梯度下降法更新参数。
计算方法分别如下所示：
其中，表示t时刻HTM中第j个微柱中第i个HTM神经元对应的循环学习单元中隐藏层神经元的激活值。Whx和Whh分别表示循环学习单元中输入层和隐藏层、隐藏层和隐藏层之间的权值矩阵，bh是隐藏层的偏置矩阵，f是使用双曲正切函数tanh构造的非线性激活函数。/>表示循环学习单元在t时刻的输出，/>表示循环学习单元在t时刻的预测值。/>表示在t时刻是HTM神经元处于激活态，1代表激活，0代表未激活；μ是设定的超参数。
最后，循环学习单元的训练过程在于最小化损失函数E，然后基于损失函数的梯度在循环学习单元中进行反向传播更新网络各层权值参数，正向输出和反向传播在训练数据上迭代进行，每个循环学习单元会采用随机梯度下降(SGD)修正参数，直到所有参数收敛或达到某些预设的终止条件为止。根据HTM时间池中t时刻这些循环学习单元是否被激活的信息，使用下面公式计算循环学习单元的误差值E。计算方法如下公式：
从而由下面公式调整循环学习单元中的权重和偏置参数。
其中,θ为[Whx,Whh,Wyh,bh]是需要优化的参数,λ是循环学习单元的学习率，表示求偏导数。
综上，本发明的一种面向自然语言处理的基于循环学习单元的HTM设计方法，针对自然语言处理应用，在使用HTM分析自然语言时，提出使用面向自然语言处理的基于循环学习单元的HTM设计方法，利用具有循环学习能力的循环学习单元代替现有的HTM神经元，将HTM时间池和循环学习单元对序列数据的学习能力相互结合，实现对蕴含无规律时间跨度大关联的自然语言的更好的学习；通过循环学习单元的训练方法，使得循环学习单元能学习自然语言语料中包含的特性，实现HTM对蕴含无规律时间跨度大关联的自然语言更强的学习能力。本发明将对生物大脑新皮质功能的模拟和传统循环神经网络机制相结合，提高了HTM对蕴含无规律时间跨度大关联的自然语言的学习功能，从而保证了在处理蕴含无规律时间跨度大关联的自然语言时HTM的有效性和实用性。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。
Claims (1)
1.一种面向自然语言处理的基于循环学习单元的HTM设计方法，其特征在于，包括以下步骤：
步骤1，针对自然语言处理应用，将自然语言语料转变为具有时序特性的数据流，作为基于HTM分析方法的输入；
步骤1中主要包括以下步骤：
步骤1.1，收集公开的自然语言训练语料，或者收集某个特定领域的大量自然语言编写的文章作为自然语言语料；
步骤1.2，将收集的自然语言语料，进行字和词的拆分，构成具有前后顺序关系的一组由字或词构成的序列，使其包含字或词之间的时序特性；
步骤1.3，将这组由字或词构成的序列，作为一种面向自然语言处理的基于循环学习单元的HTM设计方法的输入，有其进行学习和分析；
步骤2，使用面向自然语言处理的基于循环学习单元的HTM设计方法，利用具有循环学习能力的循环学习单元代替现有的HTM神经元，将HTM时间池和循环学习单元学习序列数据的能力相互结合，加强HTM对蕴含无规律时间跨度大关联的自然语言的学习功能；
步骤3，通过循环学习单元的训练方法，使得循环学习单元能学习自然语言语料中包含的特性，实现HTM对蕴含时序跨度大规律的自然语言数据更强的学习能力；
步骤4，完成对自然语言语料的分析，输出对自然语言的处理结果；
所述步骤2中主要包括以下步骤：
步骤2.1，找出HTM时间池中t时刻处于激活状态的循环学习单元；
步骤2.2，使用这些循环学习单元与HTM时间池中t-1时刻激活态循环学习单元之间的树突连接值、以及循环学习单元中上一时刻的隐藏层作为当前循环学习单元的输入；
步骤2.3，计算循环学习单元在t时刻的隐藏层计算方法如下：
表示t时刻HTM中第j个微柱中第i个HTM神经元对应的循环学习单元中隐藏层神经元的激活值；/>表示由HTM中第j个微柱中第i个HTM神经元上的突触连通数值组成的向量；Whx和Whh分别表示循环学习单元中输入层和隐藏层、隐藏层和隐藏层之间的权值矩阵，bh是隐藏层的偏置矩阵，f是使用双曲正切函数tanh构造的非线性激活函数；
步骤2.4，计算循环学习单元在t时刻的输出计算方法如下：
σ表示循环学习单元输出层的激活函数，Wyh表示循环学习单元中隐藏层和输出层之间的权重矩阵；
步骤2.5，计算循环学习单元在t时刻的预测值计算方法如下：
步骤2.6，找出HTM在t时刻对t+1时刻的预测循环学习单元计算方法如下：
表示在t时刻是HTM神经元处于激活态，1代表激活，0代表未激活；μ是设定的超参数；
所述步骤3中主要包括以下步骤：
步骤3.1，找出HTM时间池中t-1时刻处于预测状态的循环学习单元和t时刻处于激活状态的循环学习单元；
步骤3.2，使用HTM时间池中t时刻这些循环学习单元是否被激活来计算循环学习单元的误差E，计算方法如下：
步骤3.3，调整循环学习单元中的权重和偏置参数，计算方法如下：
其中,θ为[Whx,Whh,Wyh,bh],θnew表示θ经过训练后最小误差处理后的新值,λ是学习率,表示对函数的某个变量求偏导数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010115996.6A CN111382840B (zh) | 2020-02-25 | 2020-02-25 | 一种面向自然语言处理的基于循环学习单元的htm设计方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010115996.6A CN111382840B (zh) | 2020-02-25 | 2020-02-25 | 一种面向自然语言处理的基于循环学习单元的htm设计方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111382840A CN111382840A (zh) | 2020-07-07 |
| CN111382840B true CN111382840B (zh) | 2023-09-29 |
Family
ID=71222632
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010115996.6A Active CN111382840B (zh) | 2020-02-25 | 2020-02-25 | 一种面向自然语言处理的基于循环学习单元的htm设计方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111382840B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112269729A (zh) * | 2020-11-04 | 2021-01-26 | 江苏瑞祥科技集团有限公司 | 面向网络购物平台大规模服务器集群的负载智能分析方法 |
| CN112561063B (zh) * | 2020-12-21 | 2024-03-22 | 江苏大学 | 一种基于微柱激活程度的htm时间池训练方法 |
| CN114387028B (zh) * | 2022-01-13 | 2024-02-23 | 瑞祥全球购超市有限公司 | 一种面向网络购物平台的商品需求量的智能分析方法 |
-
2020
- 2020-02-25 CN CN202010115996.6A patent/CN111382840B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN111382840A (zh) | 2020-07-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111401547B (zh) | 一种面向乘客流分析的基于循环学习单元的htm设计方法 | |
| CN111382840B (zh) | 一种面向自然语言处理的基于循环学习单元的htm设计方法 | |
| Alaloul et al. | Data processing using artificial neural networks | |
| Yamazaki et al. | The cerebellum as a liquid state machine | |
| Robinson et al. | The utility driven dynamic error propagation network | |
| Noriega | Multilayer perceptron tutorial | |
| CN110909926A (zh) | 基于tcn-lstm的太阳能光伏发电预测方法 | |
| CN109829541A (zh) | 基于学习自动机的深度神经网络增量式训练方法及系统 | |
| JP2017525038A (ja) | ニューラルネットワークにおける畳込み演算の分解 | |
| CN110223785A (zh) | 一种基于深度学习的传染病传播网络重构方法 | |
| Pellegrini et al. | Low-activity supervised convolutional spiking neural networks applied to speech commands recognition | |
| Geng et al. | A new deep belief network based on RBM with glial chains | |
| CN112070277A (zh) | 基于超图神经网络的药物-标靶相互作用预测方法 | |
| CN110197251A (zh) | 基于深度学习网络的预测方法、装置、设备及存储介质 | |
| CN105701540A (zh) | 一种自生成神经网络构建方法 | |
| CN112269729A (zh) | 面向网络购物平台大规模服务器集群的负载智能分析方法 | |
| CN108596078A (zh) | 一种基于深度神经网络的海洋噪声信号识别方法 | |
| Wan | Deep learning: Neural network, optimizing method and libraries review | |
| Humaidi et al. | Spiking versus traditional neural networks for character recognition on FPGA platform | |
| Ji et al. | Accuracy versus simplification in an approximate logic neural model | |
| Ding et al. | College English online teaching model based on deep learning | |
| Harikrishnan et al. | Handwritten digit recognition with feed-forward multi-layer perceptron and convolutional neural network architectures | |
| Lobacheva et al. | Structured sparsification of gated recurrent neural networks | |
| CN110853707A (zh) | 一种基于深度学习的基因调控网络重构方法 | |
| Furuya et al. | Semi-supervised learning combining backpropagation and STDP: STDP enhances learning by backpropagation with a small amount of labeled data in a spiking neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20200707 Assignee: Zhenjiang Xixijie Intelligent Engineering Co.,Ltd. Assignor: JIANGSU University Contract record no.: X2023320000261 Denomination of invention: A Design Method for HTM Based on Recurrent Learning Units for Natural Language Processing Granted publication date: 20230929 License type: Common License Record date: 20231223 |