CN109657036B - 基于类脑语义层次时序记忆推理模型的问答方法、系统 - Google Patents
基于类脑语义层次时序记忆推理模型的问答方法、系统 Download PDFInfo
- Publication number
- CN109657036B CN109657036B CN201811471835.XA CN201811471835A CN109657036B CN 109657036 B CN109657036 B CN 109657036B CN 201811471835 A CN201811471835 A CN 201811471835A CN 109657036 B CN109657036 B CN 109657036B
- Authority
- CN
- China
- Prior art keywords
- word
- matrix
- state
- text
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 239000013598 vector Substances 0.000 claims abstract description 92
- 239000011159 matrix material Substances 0.000 claims abstract description 73
- 238000011176 pooling Methods 0.000 claims abstract description 21
- 230000014509 gene expression Effects 0.000 claims abstract description 14
- 210000004027 cell Anatomy 0.000 claims description 93
- 230000006870 function Effects 0.000 claims description 38
- 238000012549 training Methods 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 16
- 230000010365 information processing Effects 0.000 claims description 12
- 230000001054 cortical effect Effects 0.000 claims description 8
- 230000002688 persistence Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000002123 temporal effect Effects 0.000 claims description 6
- 230000007774 longterm Effects 0.000 claims description 5
- 210000000225 synapse Anatomy 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 230000005281 excited state Effects 0.000 claims description 4
- 239000000126 substance Substances 0.000 claims description 4
- 238000012512 characterization method Methods 0.000 claims description 3
- 238000010304 firing Methods 0.000 claims description 3
- 230000005764 inhibitory process Effects 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- 238000004088 simulation Methods 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 230000002401 inhibitory effect Effects 0.000 claims description 2
- 230000001149 cognitive effect Effects 0.000 abstract description 2
- 238000004422 calculation algorithm Methods 0.000 description 12
- 241000282414 Homo sapiens Species 0.000 description 10
- 238000012545 processing Methods 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 7
- 238000003909 pattern recognition Methods 0.000 description 6
- 210000003710 cerebral cortex Anatomy 0.000 description 5
- 230000000946 synaptic effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 230000002999 depolarising effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241000256844 Apis mellifera Species 0.000 description 1
- 241000241413 Propolis Species 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000001787 dendrite Anatomy 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000028161 membrane depolarization Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 229940069949 propolis Drugs 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Machine Translation (AREA)
Abstract
本发明属于认知神经科学领域，具体涉及一种基于类脑语义层次时序记忆推理模型的问答方法、系统，旨在解决文本生成、自动问答等自然语言理解任务的小样本学习问题。本发明方法包括：获取问题文本和回答文本并输入；对文本时序池化得到词向量矩阵；将词向量矩阵中每个词向量空间和时间池化，得到词向量对应的每一位为0或1的二值词表示集；将文本和词集进行类脑学习，得到优化后的模型；将问题文本单独输入，基于模型中的细胞预测状态进行词的规约，得到回答文本并输出。本发明结合语义层次时序记忆模型，基于小样本数据，知识推理的学习方式进行模型的构建，对样本的数量要求低，没有大量参数需要调节，增加了模型的可拓展性。
Description
技术领域
本发明属于认知神经科学领域，具体涉及一种基于类脑语义层次时序记忆推理模型的问答方法、系统。
背景技术
传统神经网络虽能较好地解决包括图像、语音或文本等模式识别问题，但其往往需要大量数据的多轮迭代训练，这与人类学习知识的过程不相符合。人类在学习识别图像、记忆文字时往往不需要大量地不断重复地训练，且人类的学习是一个在线学习的过程，当面对新知识时，人类会基于之前已经习得的知识进行相应的推理与类比，从而更快地学习新知识，而反观传统的神经网络算法，虽然在一些模式识别任务中取得了很好的效果，但当面对新的数据时，需要重新训练网络模型，这与人类习得知识的过程相悖。
语义层次时序记忆模型是由Jeff Hawkins在2004年基于人类大脑皮层的微观结构及处理信息的机制提出的一个类脑智能算法框架。语义层次时序记忆模型已经成功地运用在了物体识别、异常检测、语音语种识别等模式识别任务中，不同于现有的神经网络模型，语义层次时序记忆模型蕴含更为丰富的生物学背景，因而构造了不同于传统方式的记忆存储机制，其采用细胞间的连接值的改变进而使皮层细胞处于去极化的预测态，并结合序列中下一时刻的输入信息进行相应的融合，进而得出序列中下一时刻的输出状态。这种“记忆-预测”机制在训练过程中加入了信息的反馈，对其他模式识别任务有一定的启发性。
总的来说，传统神经网络在面对新的数据时，需要重新训练网络模型，与人类学习知识过程相悖，而语义层次时序记忆模型在自然语言理解任务上的应用较少，仅有基于人工数据集的实验呈现，无法解决自然场景下的文本生成、自动问答等传统自然语言理解任务。
发明内容
为了解决现有技术中的上述问题，即从类人类的模式识别算法出发解决文本生成、自动问答等自然语言理解任务的小样本学习问题，本发明提供了一种基于类脑语义层次时序记忆推理模型的问答方法，包括：
步骤S1，获取问题文本；
步骤S2，采用基于类脑语义层次时序记忆的推理模型对所述问题文本进行信息处理，得到所述问题文本对应的预测态细胞状态；
步骤S3，基于所述预测态细胞状态，进行词的规约，得到回答文本并输出；所述词的规约为将预测态细胞的状态转化为对下一个词的操作；
其中，步骤S2中“基于类脑语义层次时序记忆的推理模型”，其获取步骤为：
步骤S21，基于GloVe算法对训练文本词集时序池化，得到词向量矩阵；
步骤S22，对所述词向量矩阵中每个词向量空间和时间池化，得到词向量对应的每一位为0或1的二值词表示集；
步骤S23，对所述训练文本词集、以及该词集中每个词对应的二值词表示集进行类脑学习，得到细胞状态值集，将细胞状态值集作为基于类脑语义层次时序记忆的推理模型。
在一些优选的实施例中，步骤S21中“基于GloVe算法对训练文本词集时序池化”，其步骤为：
步骤S211，通过构建的词-窗口词矩阵，给所述训练文本词集中每一个词赋予一个初始词向量；所述词-窗口词矩阵中第i行第j列的值为词vi与词vj在所述训练文本词集中的共现次数xij的对数；
步骤S212，通过构建的目标函数，对词-窗口词矩阵进行分解，得到词向量集，并基于该词向量集构建所述词向量矩阵。
在一些优选的实施例中，步骤S212中所述目标函数为第一目标函数或第二目标函数；
所述第一目标函数为：
其中，xij为词vi与词vj在所述训练文本词集中的共现次数，Pi为词vi作为目标词时的词向量，Qj代表词vj作为上下文时的词向量，b(1)、b(2)为针对文本内容训练集中各词的偏移向量，T为矩阵转置，V为所有的训练集语料；
所述第二目标函数为：
其中f(xij)为加权函数：
其中，xijmax为所有词向量所有维度的最大值；α为超参数，代表衰减强度。
在一些优选的实施例中，步骤S22中“对词向量矩阵中每个词向量空间和时间池化”，其方法为：
步骤S221，对词向量矩阵中每个词向量，提取与二值词表示每个位的相关因子，该相关因子包括位重要性因子和位区分度因子；
步骤S222，基于步骤S221所提取的相关因子计算词向量矩阵中每个词向量的位得分，取每个词向量所有维度中得分最高的k个位，记为二值向量空间中的1，其他的位为0，得到词向量矩阵对应的每一位为0或1的二值词表示集。
在一些优选的实施例中，步骤S221中所述相关因子中重要性因子BIwb和位区分度因子BDwb分别为：
其中BIwb和BDwb为SSDR空间中第w个词的第b位的重要性因子和位区分度因子，SSDR值为基于GloVe所提出的词表示定义为稀疏语义分布式表示，w＝1,2,...,|W|，b＝1,2,...,|B|，|W|是原始词向量输入的总维数，|B|是SSDR空间的维数，WGloVe为基于语义词嵌入的矩阵。
在一些优选的实施例中，所述稀疏语义分布式表示中第w个词的第b位的SSDR值为：
SSDRwb＝Ⅱmax-k subset(BitScorewb)
BitScorewb＝BIwb·BDwb
其中，BitScorewb和SSDRwb为SSDR空间中第w个词的第b位的位得分和SSDR值，w＝1,2,...,|W|，b＝1,2,...,|B|，|W|是原始词向量输入的总维数，|B|是SSDR空间的维数，Ⅱmax-k subset(·)为示性函数，k为超参数。
在一些优选的实施例中，步骤S23中“进行类脑学习”，其方法为：
将问题文本及其每个词对应的二值词表示集用皮层细胞状态表示，采用预测态矩阵计算细胞状态值，构建预测细胞状态值集；
所述皮层细胞状态，其表示函数
为：
其中，
为t时刻第i个模式稀疏分布式表征形式的激活态细胞柱的集合，
为预测状态矩阵，qc为q行第c列，t为当前时刻；
对当前细胞状态而言，下一时刻的输入激活细胞柱中的细胞，并当前对下一时刻的预测态为激活，则细胞保持激活状态；下一时刻的输入激活细胞柱中的细胞，并当前对下一时刻的预测态为不激活，则该细胞柱中的所有细胞均变为激活状态；
所述预测态矩阵，其表示函数
为：
其中，
表示存在，
为在一个连接部分中激活的连接突触的数量超过设定激活阈值，At为当前时刻下网络的状态。
对预测态矩阵πt而言,考虑与当前激活细胞相连接部分的数目，即对一个远端突触部分，如果输入对其进行了足够的刺激，它会激活并随后进入去极化的状态，而不是马上产生一个脉冲。
在一些优选的实施例中，步骤S23进行类脑学习的过程中“采用预测态矩阵计算细胞状态值”，还包括强化连接计算和对长期抑制影响的模仿：
如果细胞去极化并后续发放了，则强化对应的使之去极化的树突连接值，如果预测态状态下激活的细胞柱实际中并未激活，则会在该细胞柱中选择一个相关连接部分值最大的连接，并强化该连接。被强化了的树突连接部分值会同时以很小的值p-降低所有的突触的持续性，并会以稍大的值p+增加激活了的突触连接。
所述强化连接计算，其函数
为：
其中，
为矩阵，该矩阵用来定义第i个细胞柱中第j个细胞的第d个连接部分的持久性；
为
关于时间的导数；At-1为前一时刻的网络状态；
所述对长期抑制影响的模仿，其方法为对网络状态的持久性矩阵中不发放的神经元添加一个小的衰减：
其中，p--为衰减参数。
在一些优选的实施例中，步骤S3中“进行词的规约”，其方法为：
扫描每个细胞柱的细胞，当细胞柱中的细胞处于兴奋状态，定义预测pSSDR的对应位为1，否则为0；
基于当前的pSSDR在SSDR空间中解码出最相似的词，然后基于该词的SSDR值作为时序池化的下一个输入；t+1时刻的pSSDR为：
其中，11×t为1行t列的全1向量，
为预测态矩阵。
本发明的另一方面，提出了一种基于类脑语义层次时序记忆推理模型的问答系统，包括：输入模块、信息处理模块、规约模块、输出模块；
所述输入模块，配置为获取问题文本并输入问答系统；
所述信息处理模块，包括时序池化模块、空间时间池化模块、类脑学习模块；所述时序池化模块，配置为对输入文本词集基于GloVe算法时序池化，得到词向量矩阵；所述空间时间池化模块，配置为对词向量矩阵中每个词向量空间和时间池化，得到词向量对应的每一位为0或1的二值词表示集；所述类脑学习模块，配置为对文本和其每个词对应的二值词表示集进行类脑学习，得到基于类脑语义层次时序记忆的推理模型；
所述规约模块，配置为将预测态细胞的状态转化为对下一个词的操作，得到回答文本；
所述输出模块，配置为将回答文本输出。
本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于类脑语义层次时序记忆推理模型的问答方法。
本发明的第四方面，提出了一种处理装置，包括处理器、存储装置；所述处理器，适于执行各条程序；所述存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于类脑语义层次时序记忆推理模型的问答方法。
本发明的有益效果：
(1)本发明结合HTM模型(Hierarchical Temporal Memory，语义层次时序记忆模型)的类脑机理，并结合文本信息的特性，对HTM模型进行修改，构建新型的类脑智能算法SHTM。保留了HTM模型的优势，即HTM是一种在线学习的方式，在面对新的一批数据时，无需将模型重新训练，该模型在自然语言理解中的应用能更好地模仿人类处理信息、学习知识的过程。有别于传统人工神经网络注重大量数据及模型的不断调优，更加注重模型的原理性，从人脑皮层的信息处理机制角度构建模型，使得模式识别模型有据可循，并可随着相关研究对大脑皮层的不断推进，依据生物学原理不断优化模型，使之进一步实现仿人、类脑地处理自然语言理解，或启发式地处理其他模式识别任务。
(2)本发明重点关注知识推理，重心在于基于小样本数据，知识推理的学习方式进行模型的构建，对训练样本的数量要求低，且没有数量巨大的参数需要调节，增加了模型的可拓展性。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明一种实施例的基于类脑语义层次时序记忆推理模型的问答方法流程示意图；
图2是本发明一种实施例的基于类脑语义层次时序记忆推理模型的问答方法中问题文本及回答文本示例图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
传统神经网络，与人类学习知识过程相悖，需要大量的数据并不断对模型优化，而HTM模型(Hierarchical Temporal Memory，语义层次时序记忆模型)在自然语言理解任务上的应用较少，仅有基于人工数据集的实验呈现，无法解决自然场景下的文本生成、自动问答等传统自然语言理解任务。本发明主要关注类人学习的知识推理过程，通过研究关于人脑皮质处理信息时的宏观及微观机制，结合依据生物学背景的大脑皮层机理的层次时序模型，应用于自然语言理解知识推理任务中，从类人类的模式识别算法出发，解决文本生成、自动问答等自然语言理解任务的小样本学习问题。
本发明的一种基于类脑语义层次时序记忆推理模型的问答方法，包括：
步骤S1，获取问题文本；
步骤S2，采用基于类脑语义层次时序记忆的推理模型对所述问题文本进行信息处理，得到所述问题文本对应的预测态细胞状态；
步骤S3，基于所述预测态细胞状态，进行词的规约，得到回答文本并输出；所述词的规约为将预测态细胞的状态转化为对下一个词的操作；
其中，步骤S2中“基于类脑语义层次时序记忆的推理模型”，其获取步骤为：
步骤S21，基于GloVe算法对训练文本词集时序池化，得到词向量矩阵；
步骤S22，对所述词向量矩阵中每个词向量空间和时间池化，得到词向量对应的每一位为0或1的二值词表示集；
步骤S23，对所述训练文本词集、以及该词集中每个词对应的二值词表示集进行类脑学习，得到细胞状态值集，将细胞状态值集作为基于类脑语义层次时序记忆的推理模型。
为了更清晰地对本发明基于类脑语义层次时序记忆推理模型的问答方法进行说明，下面结合图1和图2对本方发明方法一种实施例中各步骤进行展开详述。下面实施例结合问题文本处理进行说明，但并不限定本发明方法适用对象，对其他音频、视频、图像、文档等转化而成的文本也同样适用。
本发明一种实施例的基于类脑语义层次时序记忆推理模型的问答方法，各步骤详细描述如下：
步骤S1，获取问题文本。
本发明实施例中，推理模型尚未对问题文本有过学习，仅仅依据问题文本无法得到正确的回答文本，将问题文本和回答文本同时输入，由模型来学习。
步骤S2，采用基于类脑语义层次时序记忆的推理模型对所述问题文本进行信息处理，得到所述问题文本对应的预测态细胞状态。
首先，基于GloVe算法，构建“词-窗口词”矩阵，原始的词表示来自Pennington基于Wikipedia 2014与Gigaword 5两个语料库，通过构建的词-窗口词矩阵，给所述训练文本词集中每一个词赋予一个初始词向量。
通过构建的第一目标函数或第二目标函数，对词-窗口词矩阵进行分解，得到词向量集，并基于该词向量集构建所述词向量矩阵。
第一目标函数，如式(1)所示：
矩阵第i行第j列的值为词vi与词vj在语料库中的共现次数xij的对数，Pi为词vi作为目标词时的词向量，Qj代表词vj作为上下文时的词向量，b(1)、b(2)为针对文本内容训练集中各词的偏移向量，T为矩阵转置，V为所有的训练集语料。
本实施例中，构建第二目标函数，对低频率的共现词进行衰减，减少低频噪声带来的误差，第二目标函数的定义如式(2)所示：
其中f(xij)为加权函数，其具体定义如式(3)：
其中，xijmax为所有词向量所有维度的最大值；α为超参数，代表衰减强度。
对词向量矩阵中每个词，提取与二值词表示每个位的相关因子，该相关因子包括位重要性因子BI和位区分度因子BD，其函数如式(4)和式(5)所示：
其中BIwb和BDwb为SSDR空间中第w个词的第b位的重要性因子和位区分度因子，SSDR值为基于GloVe所提出的词表示定义为稀疏语义分布式表示，w＝1,2,...,|W|，b＝1,2,...,|B|，|W|是原始词向量输入的总维数，|B|是SSDR空间的维数，WGloVe为基于语义词嵌入的矩阵。
基于上述过程所提取的相关因子计算词向量矩阵中每个词向量的位得分，记为BitScore，值记为SSDR。将每个词所有维度中得分最高的k个位，记为二值向量空间中的1，其他的位为0，得到词向量矩阵对应的二值词表示集。计算方式如式(6)和式(7)所示：
SSDRwb＝Ⅱmax-k subset(BitScorewb) 式(6)
BitScorewb＝BIwb·BDwb 式(7)
其中，BitScorewb和SSDRwb为SSDR空间中第w个词的第b位的位得分和SSDR值，w＝1,2,...,|W|，b＝1,2,...,|B|，|W|是原始词向量输入的总维数，|B|是SSDR空间的维数，Ⅱmax-k subset(·)为示性函数，k为超参数。
通过计算，得到词向量对应的每一位为0或1的二值词表示集。
最后，对训练文本词集、以及该词集中每个词对应的二值词表示集进行类脑学习，得到细胞状态值集，将细胞状态值集作为基于类脑语义层次时序记忆的推理模型。
皮层细胞状态表示
如式(8)所示：
其中，
为作为t时刻第i个模式稀疏分布式表征形式的激活态细胞柱的集合，
为预测状态矩阵，qc为第q行第c列，t表示当前时刻；
对当前细胞状态而言，下一时刻的输入激活细胞柱中的细胞，并当前对下一时刻的预测态为激活，则细胞保持激活状态；下一时刻的输入激活细胞柱中的细胞，并当前对下一时刻的预测态为不激活，则该细胞柱中的所有细胞均变为激活状态。
预测态矩阵
如式(9)所示：
其中，
表示存在，
为在一个连接部分中激活的连接突触的数量超过设定激活阈值，At为当前时刻下网络的状态。
对预测态矩阵πt而言,考虑与当前激活细胞相连接部分的数目，即对一个远端突触部分，如果输入对其进行了足够的刺激，它会激活并随后进入去极化的状态，而不是马上产生一个脉冲。
如果细胞去极化并后续发放了，则强化对应的使之去极化的树突连接值，如果预测态状态下激活的细胞柱实际中并未激活，则会在该细胞柱中选择一个相关连接部分值最大的连接，并强化该连接。被强化了的树突连接部分值会同时以很小的值p-降低所有的突触的持续性，并会以稍大的值p+增加激活了的突触连接，如式(10)所示：
其中，
为矩阵，来定义第i个细胞柱中第j个细胞的第d个连接部分的持久性；
为
关于时间的导数；At-1为前一时刻的网络状态。
为了模仿长期抑制的影响，对网络状态的持久性矩阵中的不发放的神经元添加一个小的衰减，如式(11)所示：
其中，p--为衰减参数。
步骤S3，基于所述预测态细胞状态，进行词的规约，得到回答文本并输出，词的规约为将预测态细胞的状态转化为对下一个词的操作。
扫描每个细胞柱的细胞，当细胞柱中的细胞处于兴奋状态，预测pSSDR的对应位为1，否则为0。
基于当前的pSSDR，在SSDR空间中解码出最相似的词，然后基于该词的SSDR值作为时序池化的下一个输入。
t+1时刻的pSSDR如式(12)所示：
其中，11×t为1行t列的全1向量，
为预测态矩阵。
如图1所示，学习阶段，将训练集中的输入文本样本、输出文本样本原始的词表示基于GloVe将词转化为含有语义信息的二元表示，取每个词所有维度中得分最高的k个(Max-k Bitscore)，记为二值向量空间中的1，否则为0，得到SSDR。将SSDR分解为简单序列1、2、3、4、5、6，输入模型时序池化阶段(Temporal Memory)，进行一次学习(One-shotlearning)；测试阶段，仅提供简单序列1、2作为输入文本(given words)，模型学习细胞的状态及远端突树突的连接强度，得到给定简单序列1、2时的细胞预测状态，并通过归约操作得到当前的输出序列3，并将4的SSDR值作为接下来的输入，不断生成后续序列4、5……作为预测文本(predicted words)。
如图2所示，该示例为英语问答的输入文本、输出文本内容示例，模型已经对Question(问题文本)以及Answer(预测回答文本)简单学习一遍；Question“what is honeybee propolis？”，Answer“Propolis as hive sealing”；测试阶段，仅输入Question文本，SHTM模型(基于类脑语义层次时序记忆的推理模型)和LSTM模型(Long-Short TermMemory，长短期记忆模型)分别给出了不同的回答文本。SHTM模型给出回答文本“propolisas hive sealing”，LSTM模型给出回答文本“what sealing propolis hive”；通过与学习的Answer文本的对比，明显看到SHTM模型对自然语言的理解更优，能更好地模仿人类处理信息、学习知识的过程。
本发明第二实施例的一种基于类脑语义层次时序记忆推理模型的问答系统，包括：输入模块、信息处理模块、规约模块、输出模块；
所述输入模块，配置为获取问题文本并输入问答系统；
所述信息处理模块，包括时序池化模块、空间时间池化模块、类脑学习模块；所述时序池化模块，配置为对输入文本词集基于GloVe算法时序池化，得到词向量矩阵；所述空间时间池化模块，配置为对词向量矩阵中每个词空间和时间池化，得到词向量对应的每一位为0或1的二值词表示集；所述类脑学习模块，配置为对文本和其每个词对应的二值词表示集进行类脑学习，得到基于类脑语义层次时序记忆的推理模型；
所述规约模块，配置为将预测态细胞的状态转化为对下一个词的操作，得到回答文本；
所述输出模块，配置为将回答文本输出。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的基于类脑语义层次时序记忆推理模型的问答系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于类脑语义层次时序记忆推理模型的问答方法。
本发明的第五实施例的一种处理装置，包括处理器、存储装置；所述处理器，适于执行各条程序；所述存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于类脑语义层次时序记忆推理模型的问答方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (6)
1.一种基于类脑语义层次时序记忆推理模型的问答方法，其特征在于，包括：
步骤S1，获取问题文本；
步骤S2，采用基于类脑语义层次时序记忆的推理模型对所述问题文本进行信息处理，得到所述问题文本对应的预测态细胞状态；
步骤S3，基于所述预测态细胞状态，进行词的规约，得到回答文本并输出；所述词的规约为将预测态细胞的状态转化为对下一个词的操作；
步骤S2中基于类脑语义层次时序记忆的推理模型，其获取步骤为：
步骤S21，通过构建的词-窗口词矩阵赋予训练文本词集中每一个词初始词向量，并构建目标函数对所述词-窗口词矩阵进行分解，得到词向量集，基于所述词向量集构建词向量矩阵；所述词-窗口词矩阵中第i行第j列的值为词vi与词vj在所述训练文本词集中的共现次数xij的对数；
所述目标函数为第一目标函数或第二目标函数；
所述第一目标函数为：
其中，xij为词vi与词vj在所述训练文本词集中的共现次数，Pi为词vi作为目标词时的词向量，Qj代表词vj作为上下文时的词向量，b(1)、b(2)为针对文本内容训练集中各词的偏移向量；T为矩阵转置，V为所有的训练集语料；
所述第二目标函数为：
其中，f(xij)为加权函数：
其中，xijmax为所有词向量所有维度的最大值；α为超参数，代表衰减强度；
步骤S22，对于所述词向量矩阵中每个词向量对应的二值词表示，提取所述二值词表示每个位的相关因子，并基于所述因子计算词向量矩阵中每个词向量的位得分，取每个词向量所有维度中得分最高的k个位，记为二值向量空间中的1，其他的位为0，获取词向量矩阵对应的二值词表示集；
所述相关因子包括位重要性因子BIwb和位区分度因子BDwb：
其中，BIwb和BDwb为SSDR空间中第w个词的第b位的重要性因子和位区分度因子，SSDR值为基于GloVe所提出的词表示定义为稀疏语义分布式表示，w＝1,2,...,|W|，b＝1,2,...,|B|，|W|是原始词向量输入的总维数，|B|是SSDR空间的维数，WGloVe为基于语义词嵌入的矩阵；
步骤S23，将问题文本及其每个词对应的二值词表示集用皮层细胞状态表示，并通过预测态矩阵计算细胞状态值，得到细胞状态值集，将细胞状态值集作为基于类脑语义层次时序记忆的推理模型；
所述皮层细胞状态，其表示函数
为：
其中，
为t时刻第i个模式稀疏分布式表征形式的激活态细胞柱的集合，
为预测状态矩阵，qc为第q行第c列，t为当前时刻；
所述预测态矩阵，其表示函数
为：
其中，
表示存在，
为在一个连接部分中激活的连接突触的数量超过设定激活阈值，At为当前时刻下的网络状态；
步骤S3中进行词的规约，其方法为：
扫描每个细胞柱的细胞，当细胞柱中的细胞处于兴奋状态，预测pSSDR的对应位为1，否则为0；
基于当前的pSSDR，在SSDR空间中解码出最相似的词，然后基于该词的SSDR作为时序池化的下一个输入；t+1时刻的pSSDR为：
其中，11×t为1行t列的全1向量，
为预测态矩阵。
2.根据权利要求1所述的一种基于类脑语义层次时序记忆推理模型的问答方法，其特征在于，所述稀疏语义分布式表示中第w个词的第b位的SSDR值为：
SSDRwb＝Ⅱmax-k subset(BitScorewb)
BitScorewb＝BIwb·BDwb
其中，BitScorewb和SSDRwb为SSDR空间中第w个词的第b位的位得分和SSDR值，w＝1,2,...,|W|，b＝1,2,...,|B|，|W|是原始词向量输入的总维数，|B|是SSDR的维数，Ⅱmax-k subset(·)为示性函数，k为超参数。
3.根据权利要求1所述的一种基于类脑语义层次时序记忆推理模型的问答方法，其特征在于，步骤S23进行类脑学习的过程中“采用预测态矩阵计算细胞状态值”，还包括强化连接计算和对长期抑制影响的模仿：
所述强化连接计算，其函数
为：
其中，
为矩阵，来定义第i个细胞柱中第j个细胞的第d个连接部分的持久性；
为
关于时间的导数；At-1为前一时刻的网络状态；
所述对长期抑制影响的模仿，其方法为对网络状态的持久性矩阵中的不发放的神经元添加一个小的衰减：
其中，p--为衰减参数。
4.一种基于类脑语义层次时序记忆推理模型的问答系统，其特征在于，包括：输入模块、信息处理模块、规约模块、输出模块；
所述输入模块，配置为获取问题文本并输入问答系统；
所述信息处理模块，配置为采用基于类脑语义层次时序记忆的推理模型对所述问题文本进行信息处理，得到所述问题文本对应的预测态细胞状态；
所述规约模块，配置为通过词的规约将所述预测态细胞状态转化为对下一个词的操作，得到回答文本；
所述输出模块，配置为将回答文本输出；
所述基于类脑语义层次时序记忆的推理模型，其获取步骤为：
步骤S21，通过构建的词-窗口词矩阵赋予训练文本词集中每一个词初始词向量，并构建目标函数对所述词-窗口词矩阵进行分解，得到词向量集，基于所述词向量集构建词向量矩阵；所述词-窗口词矩阵中第i行第j列的值为词vi与词vj在所述训练文本词集中的共现次数xij的对数；
所述目标函数为第一目标函数或第二目标函数；
所述第一目标函数为：
其中，xij为词vi与词vj在所述训练文本词集中的共现次数，Pi为词vi作为目标词时的词向量，Qj代表词vj作为上下文时的词向量，b(1)、b(2)为针对文本内容训练集中各词的偏移向量；T为矩阵转置，V为所有的训练集语料；
所述第二目标函数为：
其中，f(xij)为加权函数：
其中，xijmax为所有词向量所有维度的最大值；α为超参数，代表衰减强度；
步骤S22，对于所述词向量矩阵中每个词向量对应的二值词表示，提取所述二值词表示每个位的相关因子，并基于所述因子计算词向量矩阵中每个词向量的位得分，取每个词向量所有维度中得分最高的k个位，记为二值向量空间中的1，其他的位为0，获取词向量矩阵对应的二值词表示集；
所述相关因子包括位重要性因子BIwb和位区分度因子BDwb：
其中，BIwb和BDwb为SSDR空间中第w个词的第b位的重要性因子和位区分度因子，SSDR值为基于GloVe所提出的词表示定义为稀疏语义分布式表示，w＝1,2,...,|W|，b＝1,2,...,|B|，|W|是原始词向量输入的总维数，|B|是SSDR空间的维数，WGloVe为基于语义词嵌入的矩阵；
步骤S23，将问题文本及其每个词对应的二值词表示集用皮层细胞状态表示，并通过预测态矩阵计算细胞状态值，得到细胞状态值集，将细胞状态值集作为基于类脑语义层次时序记忆的推理模型；
所述皮层细胞状态，其表示函数
为：
其中，
为t时刻第i个模式稀疏分布式表征形式的激活态细胞柱的集合，
为预测状态矩阵，qc为第q行第c列，t为当前时刻；
所述预测态矩阵，其表示函数
为：
其中，
表示存在，
为在一个连接部分中激活的连接突触的数量超过设定激活阈值，At为当前时刻下的网络状态；
所述词的规约，其方法为：
扫描每个细胞柱的细胞，当细胞柱中的细胞处于兴奋状态，预测pSSDR的对应位为1，否则为0；
基于当前的pSSDR，在SSDR空间中解码出最相似的词，然后基于该词的SSDR作为时序池化的下一个输入；t+1时刻的pSSDR为：
其中，11×t为1行t列的全1向量，
为预测态矩阵。
5.一种存储装置，其中存储有多条程序，其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-3任一项所述的基于类脑语义层次时序记忆推理模型的问答方法。
6.一种处理装置，包括
处理器，适于执行各条程序；以及
存储装置，适于存储多条程序；
其特征在于，所述程序适于由处理器加载并执行以实现：
权利要求1-3任一项所述的基于类脑语义层次时序记忆推理模型的问答方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2018113412169 | 2018-11-12 | ||
| CN201811341216 | 2018-11-12 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109657036A CN109657036A (zh) | 2019-04-19 |
| CN109657036B true CN109657036B (zh) | 2021-02-02 |
Family
ID=66112762
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811471835.XA Active CN109657036B (zh) | 2018-11-12 | 2018-12-04 | 基于类脑语义层次时序记忆推理模型的问答方法、系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109657036B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111612125B (zh) * | 2020-04-13 | 2023-06-13 | 江苏大学 | 一种面向在线学习的新型htm时间池方法及其系统 |
| CN112085173A (zh) * | 2020-09-18 | 2020-12-15 | 中国科学院自动化研究所 | 基于脉冲神经网络的知识表征方法、系统、装置 |
| CN111831813B (zh) * | 2020-09-21 | 2021-02-05 | 北京百度网讯科技有限公司 | 对话生成方法、装置、电子设备及介质 |
| CN112561063B (zh) * | 2020-12-21 | 2024-03-22 | 江苏大学 | 一种基于微柱激活程度的htm时间池训练方法 |
| CN114822698B (zh) * | 2022-06-21 | 2022-09-13 | 华中农业大学 | 一种基于知识推理的生物学大样本数据集分析方法及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107423398A (zh) * | 2017-07-26 | 2017-12-01 | 腾讯科技（上海）有限公司 | 交互方法、装置、存储介质和计算机设备 |
| CN108717856A (zh) * | 2018-06-16 | 2018-10-30 | 台州学院 | 一种基于多尺度深度卷积循环神经网络的语音情感识别方法 |
-
2018
- 2018-12-04 CN CN201811471835.XA patent/CN109657036B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107423398A (zh) * | 2017-07-26 | 2017-12-01 | 腾讯科技（上海）有限公司 | 交互方法、装置、存储介质和计算机设备 |
| CN108717856A (zh) * | 2018-06-16 | 2018-10-30 | 台州学院 | 一种基于多尺度深度卷积循环神经网络的语音情感识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| Yuwei Wang, Yi Zeng, Bo Xu.SHTM: A Neocortex-inspired Algorithm for One-shot Text Generation.《2016 IEEE International Conference on Systems, Man, and Cybernetics•SMC 2016》.2016,全文. * |
| 俞俊等.视觉问答技术研究.《计算机研究与发展》.2018,全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109657036A (zh) | 2019-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109657036B (zh) | 基于类脑语义层次时序记忆推理模型的问答方法、系统 | |
| Miconi et al. | Differentiable plasticity: training plastic neural networks with backpropagation | |
| Nolfi et al. | Learning and evolution in neural networks | |
| LeCun et al. | Deep learning | |
| Srivastava | Improving neural networks with dropout | |
| EP2472441B1 (en) | Neural networks with learning and expression capability | |
| CN110188358A (zh) | 自然语言处理模型的训练方法及装置 | |
| CN112699960A (zh) | 基于深度学习的半监督分类方法、设备及存储介质 | |
| KR102361616B1 (ko) | 문맥 정보를 고려한 개체명 인식 방법 및 장치 | |
| Kalle Kossio et al. | Drifting assemblies for persistent memory: Neuron transitions and unsupervised compensation | |
| CN113656563B (zh) | 一种神经网络搜索方法及相关设备 | |
| CN108491515B (zh) | 一种用于校园心理咨询的句对匹配度预测方法 | |
| CN110826437A (zh) | 基于生物神经网络的智能机器人控制方法、系统、装置 | |
| Milin et al. | Keeping it simple: Implementation and performance of the proto-principle of adaptation and learning in the language sciences | |
| CN109740012B (zh) | 基于深度神经网络对图像语义进行理解和问答的方法 | |
| Vinny et al. | Review on the artificial brain technology: Bluebrain | |
| Scherr et al. | One-shot learning with spiking neural networks | |
| Zheng et al. | Temporal dendritic heterogeneity incorporated with spiking neural networks for learning multi-timescale dynamics | |
| Chhetri et al. | Towards improving prediction accuracy and user-level explainability using deep learning and knowledge graphs: A study on cassava disease | |
| Bahmer et al. | Modern artificial neural networks: Is evolution cleverer? | |
| Castro-Garcia et al. | Emergent multilingual language acquisition using developmental networks | |
| Zhang et al. | Minicolumn-based episodic memory model with spiking neurons, dendrites and delays | |
| CN113496282B (zh) | 一种模型训练方法及装置 | |
| CN116108836B (zh) | 文本情感识别方法、装置、计算机设备及可读存储介质 | |
| Mangos et al. | Advances in machine learning applications for scenario intelligence: Deep learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |