CN111382840A - 一种面向自然语言处理的基于循环学习单元的htm设计方法 - Google Patents

一种面向自然语言处理的基于循环学习单元的htm设计方法 Download PDF

Info

Publication number
CN111382840A
CN111382840A CN202010115996.6A CN202010115996A CN111382840A CN 111382840 A CN111382840 A CN 111382840A CN 202010115996 A CN202010115996 A CN 202010115996A CN 111382840 A CN111382840 A CN 111382840A
Authority
CN
China
Prior art keywords
htm
learning unit
cyclic
natural language
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010115996.6A
Other languages
English (en)
Other versions
CN111382840B (zh
Inventor
蔡涛
刘天泉
牛德姣
周时颉
薛安荣
何志刚
盘朝奉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University
Original Assignee
Jiangsu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University filed Critical Jiangsu University
Priority to CN202010115996.6A priority Critical patent/CN111382840B/zh
Publication of CN111382840A publication Critical patent/CN111382840A/zh
Application granted granted Critical
Publication of CN111382840B publication Critical patent/CN111382840B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种面向自然语言处理的基于循环学习单元的HTM设计方法，针对自然语言处理应用，在使用HTM分析自然语言时，提出使用面向自然语言处理的基于循环学习单元的HTM设计方法，利用具有循环学习能力的循环学习单元代替现有的HTM神经元，将HTM时间池和循环学习单元对序列数据的学习能力相互结合，实现对蕴含无规律时间跨度大关联的自然语言的更好的学习；通过循环学习单元的训练方法，使得循环学习单元能学习自然语言语料中包含的特性，实现HTM对蕴含无规律时间跨度大关联的自然语言更强的学习能力。本发明提高了HTM对蕴含无规律时间跨度大关联的自然语言的学习功能，从而保证了在处理蕴含无规律时间跨度大关联的自然语言时HTM的有效性和实用性。

Description

一种面向自然语言处理的基于循环学习单元的HTM设计方法
技术领域
本发明涉及人工智能深度学习领域,尤其涉及一种面向自然语言处理的基于循环学习单元的HTM设计方法。
背景技术
自然语言所组成的序列包含了大量跨度较大的联系，其规律性很差，使得分析和预测的难度很大。
近年来，深度学习算法在图像处理、语音处理、自然语言处理等多个领域得到广泛的应用并产生巨大的影响，这在很大程度上归功于各种新型神经网络模型以及高效的模型训练方法。随着生物神经科学的进步，越来越多的新型神经网络正在被研究。HTM(Hierarchical Temporal Memory)是一种模仿人脑中处理高级认知功能的新皮质部分运作原理的新型人工神经网络，其将接受到的各种模式与记忆中的模式进行匹配，并对下一刻将会接收到的信息作出预测与反应，如此循环往复，从而体现时效性(Temporal)。
当前训练HTM的方法还比较简单，通常使用Hebbian规则修改前后两次激活神经元之间的连接值，以此训练HTM；这种方法在处理蕴含无规律时间跨度大关联的自然语言时难以获得理想的结果；因此需要针对自然语言中蕴含无规律时间跨度大关联的特点，提出新的HTM设计方法，提高HTM对自然语言的学习能力。
发明内容
本发明的目的在于提供一种面向自然语言处理的基于循环学习单元的HTM设计方法，以解决现有HTM对蕴含无规律时间跨度大关联的自然语言学习能力较差的问题。
一种面向自然语言处理的基于循环学习单元的HTM设计方法，包括以下步骤：
步骤1，针对自然语言处理应用，将自然语言语料转变为具有时序特性的数据流，作为基于HTM分析方法的输入；
步骤2，使用面向自然语言处理的基于循环学习单元的HTM设计方法，利用具有循环学习能力的循环学习单元代替现有的HTM神经元，将HTM时间池和循环学习单元学习序列数据的能力相互结合，加强HTM对蕴含无规律时间跨度大关联的自然语言的学习功能；
步骤3，通过循环学习单元的训练方法，使得循环学习单元能学习自然语言语料中包含的特性，实现HTM对蕴含时序跨度大规律的自然语言数据更强的学习能力；
步骤4，完成对自然语言语料的分析，输出在某种条件下对自然语言的处理结果。
进一步，所述步骤2中，使用面向自然语言处理的基于循环学习单元的HTM设计方法主要包括以下步骤：
步骤2.1，找出HTM时间池中t时刻处于激活状态的循环学习单元；
步骤2.2，使用这些循环学习单元与HTM时间池中t-1时刻激活态循环学习单元之间的树突连接值、以及循环学习单元中上一时刻的隐藏层
Figure BDA0002391502430000021
作为当前循环学习单元的输入；
步骤2.3，计算循环学习单元在t时刻的隐藏层
Figure BDA0002391502430000022
计算方法如下：
Figure BDA0002391502430000023
Figure BDA0002391502430000024
表示t时刻HTM中第j个微柱中第i个HTM神经元对应的循环学习单元中隐藏层神经元的激活值；
Figure BDA0002391502430000025
表示由HTM中第j个微柱中第i个HTM神经元上的突触连通数值组成的向量；Whx和Whh分别表示循环学习单元中输入层和隐藏层、隐藏层和隐藏层之间的权值矩阵，bh是隐藏层的偏置矩阵，f是使用双曲正切函数tanh构造的非线性激活函数；
步骤2.4，计算循环学习单元在t时刻的输出
Figure BDA0002391502430000026
计算方法如下：
Figure BDA0002391502430000027
σ表示循环学习单元输出层的激活函数，Wyh表示循环学习单元中隐藏层和输出层之间的权重矩阵；
步骤2.5，计算循环学习单元在t时刻的预测值
Figure BDA0002391502430000028
计算方法如下：
Figure BDA0002391502430000029
步骤2.6，找出HTM在t时刻对t+1时刻的预测循环学习单元
Figure BDA00023915024300000210
计算方法如下：
Figure BDA00023915024300000211
Figure BDA00023915024300000212
表示在t时刻是HTM神经元处于激活态，1代表激活，0代表未激活；μ是设定的超参数。
进一步，所述步骤3中，循环学习单元的训练方法主要包括以下步骤：
步骤3.1，找出HTM时间池中t-1时刻处于预测状态的循环学习单元和t时刻处于激活状态的循环学习单元；
步骤3.2，使用HTM时间池中t时刻这些循环学习单元是否被激活来计算循环学习单元的误差E，计算方法如下：
Figure BDA0002391502430000031
步骤3.3，调整循环学习单元中的权重和偏置参数，计算方法如下：
Figure BDA0002391502430000032
其中,θ为[Whx,Whh,Wyh,bh],θnew表示θ经过训练后最小误差处理后的新值,λ是学习率,
Figure BDA0002391502430000033
表示对函数的某个变量求偏导数。
本发明的有益效果：
1、本发明与现有HTM分析自然语言的方法不同，使用一种面向自然语言处理的基于循环学习单元的HTM设计方法，改进现有HTM，实现对蕴含无规律时间跨度大关联的自然语言的更好的学习。
2、本发明与现有HTM在基本的构成方面存在不同，利用对具有较长时序关联的长序列数据或时序跨度较大的复杂事件等较强学习能力的循环学习单元，替换HTM中现有的神经元，构建了能工作于HTM中的循环学习单元，改变现有HTM仅依靠调整HTM神经元中突触值学习的方式；与现有HTM在基本的构成方面存在不同。
3、利用循环学习单元在多个时间步上对序列的学习和反馈能力，改变现有HTM仅使用相邻两个时间步信息进行学习的机制，提高HTM对长序列的学习能力。
4、给出了HTM中循环学习单元的学习过程，利用HTM的输入和对预测出循环学习单元是否被激活的反馈训练循环学习单元，增强HTM对蕴含无规律时间跨度大关联的自然语言的学习和检查能力。
附图说明
图1面向自然语言处理的基于循环学习单元新型HTM的结构图；
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。
一种面向自然语言处理的基于循环学习单元的HTM设计方法，包括以下步骤：
步骤1，针对自然语言处理应用，将自然语言语料转变为具有时序特性的数据流，作为基于HTM分析方法的输入；
步骤2，使用面向自然语言处理的基于循环学习单元的HTM设计方法，利用具有循环学习能力的循环学习单元代替现有的HTM神经元，将HTM时间池和循环学习单元学习序列数据的能力相互结合，加强HTM对蕴含无规律时间跨度大关联的自然语言的学习功能；
步骤3，通过循环学习单元的训练方法，使得循环学习单元能学习自然语言语料中包含的特性，实现HTM对蕴含时序跨度大规律的自然语言数据更强的学习能力；
步骤4，完成对自然语言语料的分析，输出在某种条件下对自然语言的处理结果。
上述步骤1中主要包括以下步骤：
步骤1.1，收集公开的自然语言训练语料，或者收集某个特定领域的大量自然语言编写的文章作为自然语言语料；
步骤1.2，将收集的自然语言语料，进行字和词的拆分，构成具有前后顺序关系的一组由字或词构成的序列，使其包含字或词之间的时序特性；
步骤1.3，将这组由字或词构成的序列，作为一种面向自然语言处理的基于循环学习单元的HTM设计方法的输入，有其进行学习和分析。
上述步骤2中主要包括以下步骤：
步骤2.1，找出HTM时间池中t时刻处于激活状态的循环学习单元；
步骤2.2，使用这些循环学习单元与HTM时间池中t-1时刻激活态循环学习单元之间的树突连接值、以及循环学习单元中上一时刻的隐藏层
Figure BDA0002391502430000041
作为当前循环学习单元的输入；
步骤2.3，计算循环学习单元在t时刻的隐藏层
Figure BDA0002391502430000042
计算方法如下：
Figure BDA0002391502430000043
Figure BDA0002391502430000044
表示t时刻HTM中第j个微柱中第i个HTM神经元对应的循环学习单元中隐藏层神经元的激活值；
Figure BDA0002391502430000045
表示由HTM中第j个微柱中第i个HTM神经元上的突触连通数值组成的向量；Whx和Whh分别表示循环学习单元中输入层和隐藏层、隐藏层和隐藏层之间的权值矩阵，bh是隐藏层的偏置矩阵，f是使用双曲正切函数tanh构造的非线性激活函数；
步骤2.4，计算循环学习单元在t时刻的输出
Figure BDA0002391502430000046
计算方法如下：
Figure BDA0002391502430000047
σ表示循环学习单元输出层的激活函数，Wyh表示循环学习单元中隐藏层和输出层之间的权重矩阵；
步骤2.5，计算循环学习单元在t时刻的预测值
Figure BDA0002391502430000051
计算方法如下：
Figure BDA0002391502430000052
步骤2.6，找出HTM在t时刻对t+1时刻的预测循环学习单元
Figure BDA0002391502430000053
计算方法如下：
Figure BDA0002391502430000054
Figure BDA0002391502430000055
表示在t时刻是HTM神经元处于激活态，1代表激活，0代表未激活；μ是设定的超参数。
上述步骤3中主要包括以下步骤：
步骤3.1，找出HTM时间池中t-1时刻处于预测状态的循环学习单元和t时刻处于激活状态的循环学习单元；
步骤3.2，使用HTM时间池中t时刻这些循环学习单元是否被激活来计算循环学习单元的误差E，计算方法如下：
Figure BDA0002391502430000056
步骤3.3，调整循环学习单元中的权重和偏置参数，计算方法如下：
Figure BDA0002391502430000057
其中,θ为[Whx,Whh,Wyh,bh],θnew表示θ经过训练后最小误差处理后的新值,是学习率,
Figure BDA0002391502430000058
表示对函数的某个变量求偏导数。
实施例1：
如图1所示，面向自然语言处理的基于循环学习单元的HTM设计方法的模型结构图，该方法总体思路是利用具有循环学习能力的循环学习单元代替现有HTM神经元，利用循环学习单元在多个时间步上对序列的学习和反馈能力，实现HTM对序列数据更强的学习能力。图1中右侧所示即为循环学习单元，其中包括输入单元(xij)、输出单元(yij)、隐藏单元(hij)。由图1可知，有一条单向流动的信息流是从输入单元到达隐藏单元的。与此同时，另一条单向流动的信息流从隐藏单元到达输出单元。即HTM中循环学习单元突触的连通值作为循环学习单元每一时刻的输入，循环学习单元隐藏层的输入还包含上一时刻隐藏层的状态，从而计算
Figure BDA0002391502430000061
和
Figure BDA0002391502430000062
最终训练并得到模型。
实施例2：
以一个HTM中循环学习单元的完整计算过程为例，它由多个时序关联的不同计算部分组成。首先，在输入时刻t，对于处于激活态的循环学习单元以及t-1时刻与之相连接的处于激活态的循环学习单元之间突触连通数值，其组成的向量为
Figure BDA0002391502430000063
即为各个时刻HTM微柱上处于不同位置的循环学习单元的输入。
根据提出的HTM设计方法中，首先需要确定出各个时刻处于激活态循环学习单元。现假设j＝*1,2,3,..,m}表示的是HTM中的微柱编号，i＝*1,2,3,..,n}表示的是微柱中的循环学习单元编号。例如，使用c1,2表示第2微柱中第1个循环学习单元，HTM神经元微柱有10个，经过HTM空间池计算过程后得到激活微柱3个，其中位于微柱2上的第1个循环学习单元(c1,2)处于激活状态。另外确定出与之相连的激活循环学习单元有c2,2和c3,1，在实时接收到当前t时刻的他们之前的连通值组成的向量(0.4,0.6,0.3)和t-1时刻此循环学习单元的隐藏层输出结果带入公式中依次计算并最终得到此t刻输出为0.5。然后根据该循环学习单元输出预测值是否达到实验中设定的阈值(0.6)作为判断出t+1时刻预测循环学习单元。
具体而言，按照图1所示的基于循环学习单元的HTM结构图，根据输入编码
Figure BDA0002391502430000064
和上一时刻隐藏层的输出
Figure BDA0002391502430000065
计算循环学习单元的当前隐藏层输入
Figure BDA0002391502430000066
输出
Figure BDA0002391502430000067
和最终预测
Figure BDA0002391502430000068
循环学习单元的训练过程在于最小化损失函数E,可采用随机梯度下降法更新参数。
计算方法分别如下所示：
Figure BDA0002391502430000069
Figure BDA00023915024300000610
Figure BDA00023915024300000611
Figure BDA00023915024300000612
其中，
Figure BDA00023915024300000613
表示t时刻HTM中第j个微柱中第i个HTM神经元对应的循环学习单元中隐藏层神经元的激活值。Whx和Whh分别表示循环学习单元中输入层和隐藏层、隐藏层和隐藏层之间的权值矩阵，bh是隐藏层的偏置矩阵，f是使用双曲正切函数tanh构造的非线性激活函数。
Figure BDA00023915024300000614
表示循环学习单元在t时刻的输出，
Figure BDA00023915024300000615
表示循环学习单元在t时刻的预测值。
Figure BDA00023915024300000616
表示在t时刻是HTM神经元处于激活态，1代表激活，0代表未激活；μ是设定的超参数。
最后，循环学习单元的训练过程在于最小化损失函数E，然后基于损失函数的梯度在循环学习单元中进行反向传播更新网络各层权值参数，正向输出和反向传播在训练数据上迭代进行，每个循环学习单元会采用随机梯度下降(SGD)修正参数，直到所有参数收敛或达到某些预设的终止条件为止。根据HTM时间池中t时刻这些循环学习单元是否被激活的信息，使用下面公式计算循环学习单元的误差值E。计算方法如下公式：
Figure BDA0002391502430000071
从而由下面公式调整循环学习单元中的权重和偏置参数。
Figure BDA0002391502430000072
其中,θ为[Whx,Whh,Wyh,bh]是需要优化的参数,λ是循环学习单元的学习率，
Figure BDA0002391502430000073
表示求偏导数。
综上，本发明的一种面向自然语言处理的基于循环学习单元的HTM设计方法，针对自然语言处理应用，在使用HTM分析自然语言时，提出使用面向自然语言处理的基于循环学习单元的HTM设计方法，利用具有循环学习能力的循环学习单元代替现有的HTM神经元，将HTM时间池和循环学习单元对序列数据的学习能力相互结合，实现对蕴含无规律时间跨度大关联的自然语言的更好的学习；通过循环学习单元的训练方法，使得循环学习单元能学习自然语言语料中包含的特性，实现HTM对蕴含无规律时间跨度大关联的自然语言更强的学习能力。本发明将对生物大脑新皮质功能的模拟和传统循环神经网络机制相结合，提高了HTM对蕴含无规律时间跨度大关联的自然语言的学习功能，从而保证了在处理蕴含无规律时间跨度大关联的自然语言时HTM的有效性和实用性。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。

Claims (3)

1.一种面向自然语言处理的基于循环学习单元的HTM设计方法，其特征在于，包括以下步骤：
步骤1，针对自然语言处理应用，将自然语言语料转变为具有时序特性的数据流，作为基于HTM分析方法的输入；
步骤2，使用面向自然语言处理的基于循环学习单元的HTM设计方法，利用具有循环学习能力的循环学习单元代替现有的HTM神经元，将HTM时间池和循环学习单元学习序列数据的能力相互结合，加强HTM对蕴含无规律时间跨度大关联的自然语言的学习功能；
步骤3，通过循环学习单元的训练方法，使得循环学习单元能学习自然语言语料中包含的特性，实现HTM对蕴含时序跨度大规律的自然语言数据更强的学习能力；
步骤4，完成对自然语言语料的分析，输出在某种条件下对自然语言的处理结果。
2.根据权利要求1所述面向自然语言处理的基于循环学习单元的HTM设计方法，其特征在于，所述步骤2中主要包括以下步骤：
步骤2.1，找出HTM时间池中t时刻处于激活状态的循环学习单元；
步骤2.2，使用这些循环学习单元与HTM时间池中t-1时刻激活态循环学习单元之间的树突连接值、以及循环学习单元中上一时刻的隐藏层
Figure FDA0002391502420000011
作为当前循环学习单元的输入；
步骤2.3，计算循环学习单元在t时刻的隐藏层
Figure FDA0002391502420000012
计算方法如下：
Figure FDA0002391502420000013
Figure FDA0002391502420000014
表示t时刻HTM中第j个微柱中第i个HTM神经元对应的循环学习单元中隐藏层神经元的激活值；
Figure FDA0002391502420000015
表示由HTM中第j个微柱中第i个HTM神经元上的突触连通数值组成的向量；Whx和Whh分别表示循环学习单元中输入层和隐藏层、隐藏层和隐藏层之间的权值矩阵，bh是隐藏层的偏置矩阵，f是使用双曲正切函数tanh构造的非线性激活函数；
步骤2.4，计算循环学习单元在t时刻的输出
Figure FDA0002391502420000016
计算方法如下：
Figure FDA0002391502420000017
σ表示循环学习单元输出层的激活函数，Wyh表示循环学习单元中隐藏层和输出层之间的权重矩阵；
步骤2.5，计算循环学习单元在t时刻的预测值
Figure FDA0002391502420000021
计算方法如下：
Figure FDA0002391502420000022
步骤2.6，找出HTM在t时刻对t+1时刻的预测循环学习单元
Figure FDA0002391502420000023
计算方法如下：
Figure FDA0002391502420000024
Figure FDA0002391502420000025
表示在t时刻是HTM神经元处于激活态，1代表激活，0代表未激活；μ是设定的超参数。
3.根据权利要求1所述面向自然语言处理的基于循环学习单元的HTM设计方法，其特征在于，所述步骤3中主要包括以下步骤：
步骤3.1，找出HTM时间池中t-1时刻处于预测状态的循环学习单元和t时刻处于激活状态的循环学习单元；
步骤3.2，使用HTM时间池中t时刻这些循环学习单元是否被激活来计算循环学习单元的误差E，计算方法如下：
Figure FDA0002391502420000026
步骤3.3，调整循环学习单元中的权重和偏置参数，计算方法如下：
Figure FDA0002391502420000027
其中,θ为[Whx,Whh,Wyh,bh],θnew表示θ经过训练后最小误差处理后的新值,λ是学习率,
Figure FDA0002391502420000028
表示对函数的某个变量求偏导数。
CN202010115996.6A 2020-02-25 2020-02-25 一种面向自然语言处理的基于循环学习单元的htm设计方法 Active CN111382840B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010115996.6A CN111382840B (zh) 2020-02-25 2020-02-25 一种面向自然语言处理的基于循环学习单元的htm设计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010115996.6A CN111382840B (zh) 2020-02-25 2020-02-25 一种面向自然语言处理的基于循环学习单元的htm设计方法

Publications (2)

Publication Number Publication Date
CN111382840A true CN111382840A (zh) 2020-07-07
CN111382840B CN111382840B (zh) 2023-09-29

Family

ID=71222632

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010115996.6A Active CN111382840B (zh) 2020-02-25 2020-02-25 一种面向自然语言处理的基于循环学习单元的htm设计方法

Country Status (1)

Country Link
CN (1) CN111382840B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112269729A (zh) * 2020-11-04 2021-01-26 江苏瑞祥科技集团有限公司 面向网络购物平台大规模服务器集群的负载智能分析方法
CN112561063A (zh) * 2020-12-21 2021-03-26 江苏大学 一种基于微柱激活程度的htm时间池训练方法
CN114387028A (zh) * 2022-01-13 2022-04-22 瑞祥全球购超市有限公司 一种面向网络购物平台的商品需求量的智能分析方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112269729A (zh) * 2020-11-04 2021-01-26 江苏瑞祥科技集团有限公司 面向网络购物平台大规模服务器集群的负载智能分析方法
CN112561063A (zh) * 2020-12-21 2021-03-26 江苏大学 一种基于微柱激活程度的htm时间池训练方法
CN112561063B (zh) * 2020-12-21 2024-03-22 江苏大学 一种基于微柱激活程度的htm时间池训练方法
CN114387028A (zh) * 2022-01-13 2022-04-22 瑞祥全球购超市有限公司 一种面向网络购物平台的商品需求量的智能分析方法
CN114387028B (zh) * 2022-01-13 2024-02-23 瑞祥全球购超市有限公司 一种面向网络购物平台的商品需求量的智能分析方法

Also Published As

Publication number Publication date
CN111382840B (zh) 2023-09-29

Similar Documents

Publication Publication Date Title
Ghosh et al. Steer: Simple temporal regularization for neural ode
Alaloul et al. Data processing using artificial neural networks
Suliman et al. A review on back-propagation neural networks in the application of remote sensing image classification
Zhang et al. A hybrid particle swarm optimization–back-propagation algorithm for feedforward neural network training
CN111401547B (zh) 一种面向乘客流分析的基于循环学习单元的htm设计方法
CN111382840A (zh) 一种面向自然语言处理的基于循环学习单元的htm设计方法
CN112269729A (zh) 面向网络购物平台大规模服务器集群的负载智能分析方法
Ahmadi et al. Learning fuzzy cognitive maps using imperialist competitive algorithm
CN110197251A (zh) 基于深度学习网络的预测方法、装置、设备及存储介质
Ettaouil et al. Neural architectures optimization and Genetic algorithms
Fan et al. Neighborhood centroid opposite-based learning Harris Hawks optimization for training neural networks
Ji et al. Accuracy versus simplification in an approximate logic neural model
Yang et al. A novel parallel merge neural network with streams of spiking neural network and artificial neural network
CN109886405A (zh) 一种抑制噪声的基于人工神经网络结构优化方法
Bi et al. Avoiding the local minima problem in backpropagation algorithm with modified error function
Kothari et al. On lateral connections in feed-forward neural networks
Li et al. Efficient structure slimming for spiking neural networks
Assaad et al. Predicting chaotic time series by boosted recurrent neural networks
Nayak et al. GA based polynomial neural network for data classification
Babri et al. Deep feedforward networks: application to pattern recognition
Okada Interval-valued differential evolution for evolving neural networks with interval weights and biases
Sarangi et al. Hybrid supervised learning in MLP using real-coded GA and back-propagation
Zairi DeepLearning for Computer Vision Problems: Litterature Review
Hornik et al. Neural network models
Xu et al. AutoMPQ: Automatic Mixed-Precision Neural Network Search via Few-Shot Quantization Adapter

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20200707

Assignee: Zhenjiang Xixijie Intelligent Engineering Co.,Ltd.

Assignor: JIANGSU University

Contract record no.: X2023320000261

Denomination of invention: A Design Method for HTM Based on Recurrent Learning Units for Natural Language Processing

Granted publication date: 20230929

License type: Common License

Record date: 20231223

EE01 Entry into force of recordation of patent licensing contract