CN110442721B - 神经网络语言模型、训练方法、装置及存储介质 - Google Patents
神经网络语言模型、训练方法、装置及存储介质 Download PDFInfo
- Publication number
- CN110442721B CN110442721B CN201910745810.2A CN201910745810A CN110442721B CN 110442721 B CN110442721 B CN 110442721B CN 201910745810 A CN201910745810 A CN 201910745810A CN 110442721 B CN110442721 B CN 110442721B
- Authority
- CN
- China
- Prior art keywords
- hidden layer
- text
- cluster
- hidden
- expression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 88
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 74
- 238000000034 method Methods 0.000 title claims abstract description 64
- 230000014509 gene expression Effects 0.000 claims abstract description 145
- 230000006870 function Effects 0.000 claims abstract description 47
- 239000013598 vector Substances 0.000 claims abstract description 42
- 230000015654 memory Effects 0.000 claims description 26
- 230000004913 activation Effects 0.000 claims description 15
- 238000010606 normalization Methods 0.000 claims description 14
- 238000013507 mapping Methods 0.000 claims description 11
- 230000004927 fusion Effects 0.000 claims description 8
- 238000012163 sequencing technique Methods 0.000 claims description 2
- 238000013473 artificial intelligence Methods 0.000 abstract description 5
- 238000003058 natural language processing Methods 0.000 abstract description 5
- 238000003062 neural network model Methods 0.000 abstract description 2
- 238000004364 calculation method Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 12
- 230000003044 adaptive effect Effects 0.000 description 11
- 238000000354 decomposition reaction Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 230000009466 transformation Effects 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000013519 translation Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000013604 expression vector Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000013515 script Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000002904 solvent Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Machine Translation (AREA)
Abstract
本发明实施例公开了一种神经网络语言模型的训练方法、神经网络语言模型、装置及存储介质，应用于人工智能中的自然语言处理；神经网络模型的输出层包括多个全连接网络模型、以及多个归一化指数函数模型，方法包括：通过多个对应不同隐主题的全连接网络模型，将训练数据的特征向量所对应的第一隐层表达进行分解，得到第一隐层表达分别在不同隐主题下对应的第二隐层表达；分别确定每个第二隐层表达所对应的聚类类别；以第二隐层表达作为输入，以训练数据对应的目标数据作为输出，训练聚类类别对应的归一化指数函数模型根据输入数据的第二隐层表达预测相应的目标数据的性能。
Description
分案说明
本申请基于申请号为201811435778.X、申请日为2018年11月28日、发明名称为神经网络语言模型、文本预测方法、装置及存储介质的中国专利申请提出，在该中国专利申请记载的范围内提出分案，该中国专利申请的全部内容在此引入本申请作为参考。
技术领域
本发明涉及人工智能领域的自然语言处理技术，尤其涉及一种神经网络语言模型的训练方法、神经网络语言模型、装置及存储介质。
背景技术
人工智能(AI，Artificial Intelligence)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法和技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。其中，人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
随着自然语言处理技术的发展，基于循环神经网络(RNN，Recurrent NeuralNetwork)架构的语言模型被越来越多的应用于处理多分类问题，然而当所要处理的类别巨大(如100K甚至1B)时，相关技术中的语言模型的训练效率低下，甚至由于计算资源受限导致无法进行训练。
发明内容
本发明实施例提供一种神经网络语言模型的训练方法、神经网络语言模型、装置及存储介质，能够提升语言模型的表征能力，提高语言模型的训练效率。
本发明实施例的技术方案是这样实现的：
本发明实施例提供一种神经网络语言模型的训练方法，所述神经网络模型的输出层包括多个全连接网络模型、以及多个归一化指数函数模型，所述方法包括：
通过多个对应不同隐主题的全连接网络模型，将训练数据的特征向量所对应的第一隐层表达进行分解，得到所述第一隐层表达分别在不同隐主题下对应的第二隐层表达；
分别确定每个所述第二隐层表达所对应的聚类类别；其中，所述聚类类别包括头聚类及尾聚类，所述头聚类中数据分类的输出概率不同于所述尾聚类中数据分类的输出概率；
以所述第二隐层表达作为输入，以所述训练数据对应的目标数据作为输出，训练所述聚类类别对应的归一化指数函数模型根据输入数据的第二隐层表达预测相应的目标数据的性能。
上述方案中，所述神经网络语言模型还包括输入层及隐藏层，所述方法还包括：
通过所述神经网络语言模型的输入层将所述训练数据映射为相应的特征向量；
通过所述神经网络语言模型的隐藏层，调用激活函数得到所述训练数据的特征向量所对应的第一隐层表达。
上述方案中，所述方法还包括：
输入文本至所述神经网络语言模型的输入层，以将所述文本映射为相应的特征向量；
通过所述神经网络语言模型的隐藏层，调用激活函数得到对应所述特征向量的第一隐层表达；
通过所述神经网络语言模型的输出层，将所述第一隐层表达进行分解，得到所述第一隐层表达分别在不同隐主题下对应的第二隐层表达；
分别确定每个所述第二隐层表达所对应的聚类类别，并调用所述聚类类别对应的归一化指数函数得到所述第二隐层表达对应的概率分布；其中，所述聚类类别包括头聚类及尾聚类，所述头聚类中文本分类的输出概率不同于所述尾聚类中文本分类的输出概率；
融合各所述第二隐层表达对应的概率分布，并基于融合后得到的概率分布输出所述文本所对应的目标文本。
本发明实施例还提供一种基于神经网络语言模型，所述神经网络语言模型的输出层包括多个对应不同隐主题的全连接网络模型、以及多个归一化指数函数模型；
所述全连接网络模型，用于将训练数据的特征向量所对应的第一隐层表达进行分解，得到所述第一隐层表达在相应隐主题下的第二隐层表达；
所述归一化指数函数模型，用于确定所述第二隐层表达所对应的聚类类别；其中，所述聚类类别包括头聚类及尾聚类，所述头聚类中数据分类的输出概率不同于所述尾聚类中数据分类的输出概率；
以及，用于根据输入数据的第二隐层表达预测所述聚类类别对应的目标数据。
上述方案中，所述神经网络语言模型还包括输入层及隐藏层；
输入层，用于将输入的所述训练数据映射为相应的特征向量，并输入所述特征向量至隐藏层；
所述隐藏层，用于基于输入的所述特征向量，调用激活函数，输出对应所述特征向量的第一隐层表达至所述输出层。
上述方案中，所述输入层，还用于将输入的文本映射为相应的特征向量，并输入所述特征向量至隐藏层；
所述隐藏层，还用于基于输入的所述特征向量，调用激活函数，输出对应所述特征向量的第一隐层表达至输出层；
所述输出层，还用于将所述第一隐层表达进行分解，得到所述第一隐层表达分别在不同隐主题下对应的第二隐层表达；
以及，分别确定每个所述第二隐层表达所对应的聚类类别，并调用所述聚类类别对应的归一化指数函数得到所述第二隐层表达对应的概率分布；
以及，融合各所述第二隐层表达对应的概率分布，并基于融合后得到的概率分布输出所述文本所对应的目标文本。
本发明实施例还提供一种神经网络语言模型的训练装置，所述装置包括：
存储器，用于存储可执行程序；
处理器，用于执行所述存储器中存储的可执行程序时，实现上述的神经网络语言模型的训练方法。
本发明实施例提供一种存储介质，存储有可执行程序，所述可执行程序被处理器执行时，实现上述的神经网络语言模型的训练方法。
应用本发明上述实施例具有以下有益效果：
1)、神经网络语言模型的输出层将训练数据的第一隐层表达进行分解，得到第一隐层表达分别在不同隐主题下对应的第二隐层表达；扩充了模型的实际表达维度，提升了模型整体的表征能力；
2)、聚类类别与归一化指数函数相对应，不同的聚类类别对应不同的归一化指数函数；由于头聚类中数据分类的输出概率不同于尾聚类中数据分类的输出概率，使得神经网络语言模型在训练过程中，对应不同聚类类别的归一化指数函数的训练机会不对等，数据分类的输出概率高的聚类类别所对应的归一化指数函数的参数，在训练过程中显然被更新的频率高，当数据分类的数目巨大时，避免了模型训练过程中频繁的更新输出概率低的聚类类别所对应的归一化指数函数的参数，提高了模型训练效率的同时也节约了硬件资源。
附图说明
图1为本发明实施例提供的神经网络语言模型的架构示意图；
图2为本发明实施例提供的神经网络语言模型的架构示意图；
图3为本发明实施例提供的softmax层的功能示意图；
图4为本发明实施例提供的神经网络语言模型的架构示意图；
图5为本发明实施例提供的神经网络语言模型的架构示意图；
图6为本发明实施例提供的基于神经网络语言模型的文本预测方法流程示意图；
图7为本发明实施例提供的基于神经网络语言模型的文本预测装置结构示意图。
具体实施方式
以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所提供的实施例仅仅用以解释本发明，并不用于限定本发明。另外，以下所提供的实施例是用于实施本发明的部分实施例，而非提供实施本发明的全部实施例，在不冲突的情况下，本发明实施例记载的技术方案可以任意组合的方式实施。
需要说明的是，在本发明实施例中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的方法或者装置不仅包括所明确记载的要素，而且还包括没有明确列出的其他要素，或者是还包括为实施方法或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的方法或者装置中还存在另外的相关要素(例如方法中的步骤或者装置中的单元，例如的单元可以是部分电路、部分处理器、部分程序或软件等等)。
本发明实施例提供的神经网络语言模型用于通过输入的n-1个单词，来预测第n个单词的概率分布，也即在得知前面的若干个单词的时候，通过神经网络语言模型预测下一个位置上出现的某个单词的概率。
作为神经网络语言模型的一个实施例，图1为本发明实施例提供的神经网络语言模型的架构示意图，参见图1，神经网络语言模型包括输入层、隐藏层及输出层；
输入层：通过一个映射矩阵C(矩阵的规模为|V|*m，其中|V|是词表大小，V＝{w1，w2，…w|V|}，m是词向量的维度)，将前n-1个离散的单词映射成n-1个m维向量，也就是通过查表的方式将单词变成词向量，然后将这n-1个m维向量首尾相接形成一个m(n-1)的向量，该向量就是神经网络的输入向量x。
隐藏层：隐藏层的节点个数为h，为了将输入层输出的m(n-1)向量x转化为隐藏层(维度为h)的输入，在输入层和隐藏层之间需要一个参数矩阵H(H的规模为h*m(n-1))，同时需要一个偏置d，该变化可以表示为f(x)＝Hx+d，这是一个线性变换，隐藏层的输出需要将经过线性变换的向量再做一次非线性变换，在一实施例中选择的激活函数1为tanh/th(双曲正切)，相应的隐藏层的输出就是tanh(Hx+d)。
输出层：从隐藏层到输出层的传递同样需要一个线性变换和一个非线性变换，首先通过线性变换将隐藏层的输出向量的维数转化为和输出层的节点数一致，为了将输出表示成概率分布的形式(每个维度上的值之和为1)，需要对输出层的输入(也就是隐藏层的输出)进行一个非线性变换，在一实施例中，采用的激活函数2为softmax(归一化指数函数)输出概率分布p。
在一实施例中，神经网络语言模型的隐藏层的数量为两层，分别作为特征层存在，图2为本发明实施例提供的神经网络语言模型的架构示意图，参见图2，softmax层作为输出层存在，数据经输入层及两个特征层的处理，最后通过softmax层得到类别分别为y＝0、y＝1、y＝2的概率值。
继续参见图3，图3为本发明实施例提供的softmax层的功能示意图，其中，1、2、3代表三个输入，三个输入通过softmax后得到一个数组[0.88，0.12，0]，分别表征对应类别的输出概率。
作为神经网络语言模型的一个实施例，图4为本发明实施例提供的神经网络语言模型的架构示意图，参见图4，神经网络语言模型包括输入层、隐藏层及输出层；其中，隐藏层采用循环神经网络(RNN，Recurrent Neural Network)实现，在图4中具体为长短期记忆网络(LSTM，Long Short-Term Memory)；输出层对应的激活函数模型为混合Softmax模型(MoS，Mixture of Softmax)。
采用基于混合Softmax模型的神经网络语言模型，在神经网络语言模型的输出到Softmax层之前，对隐藏层输出的隐层表达(hidden,向量或者矩阵)，也即隐藏层输出的隐状态，进行分解成N个隐层表达(hiddens，与源hidden具有相同的维度和数据类型)，然后根据新的N个隐层表达分别进行权重分配(权重和为1)，并且对分解得到的每个新隐层表达进行独立的Softmax计算后输出分类概率分布，最后对所有输出分类概率分布按照计算获得的权重分配进行加权求和，得到最终的分类概率分布，之后进行目标损失计算。参见图4，其中，wt表示单词序列w中的第t个单词，
表示对LSTM层的输出隐层表达h(t)进行表达分解成多个隐层表达，然后对每个隐层表达通过Si进行Softmax操作后得到对应的多分类概率分布表达γi(i＝1…N)，zi(i＝1…N)表示各隐层表达对应的权重值，然后按照zi(i＝1…N)对所有隐层的概率分布进行加权求和后作为最终的概率分布，从而预测下一个词
应用上述基于混合Softmax模型的神经网络语言模型，通过分解隐层表达后计算多个Softmax的方式来扩充Softmax的实际表达维度，最终达到提升模型整体的表征能力的目的；通过隐表达分解再做信息融合的方式，保证了信息在模型处理过程中基本保持完整性。然而，Softmax需要在每次计算时对所有的分类都进行一次指数运算，因此，当词表规模巨大时，会大量消耗计算资源，这样要求具有性能强大的计算器(如神经网络中大部分操作均为矩阵运算，因此可能需要配置价格昂贵的图形处理器(GPU，Graphics ProcessingUnit))，同时在计算过程中需要保存大量的中间数值，占用存储环境，这样要求大存储的闪存(如较大存储的内存)或者硬盘交换区域，使得模型训练的成本较大，训练所需的硬件环境受限。由于Softmax需要在每次计算时对所有的分类都进行一次指数运算，而在一些训练样例或者训练样例batch中绝大部分的分类(在一实施例中，每个单词可看做一个分类)很少被涉及，因此，这样的计算实际上不仅浪费了计算资源，也大大增加了训练时间，使得训练速度大大降低，从而严重影响了语言模型的训练效率。
为了解决多分类(类别数巨大的分类)任务中由于类别数目巨大而致使传统Softmax方法占用内存较大引起内存泄漏(OOM，Out Of Memory)，从而最终导致在当前硬件存储受限情况下训练无法进行的问题，可以采用自适应Softmax模型(Adaptive Softmax)，首先按照类别(在一实施例中，每个单词可看做一个类别，不同的单词为不同的类别)在训练数据中出现的频次将类别逆序排列(即按照频次由高到低排列)，然后依次遍历类别并累计频次，按照预设统计策略对类别进行聚类，并保证聚类总频次的巨大差异性，分配给每个聚类类别一个类标识(ID，IDdentifier)，在模型训练中为每个聚类设计一个独立的Softmax模型；当训练数据的目标输出属于某聚类时，则训练更新对应聚类所属softmax模型的参数，在训练数据集上进行训练多轮，直到训练收敛。
在Adaptive Softmax模型中，由于第一聚类的总词频出现的概率最大，意味着在训练中被更新的频率最高，因此被称为Head类(即头聚类)，而后续的聚类中类别在数据中出现频率较低，被称为Tail类(即尾聚类)。在实际应用中，头聚类的规模在10K以下，这样可以保证在高频率被访问的情况下占用较少硬件资源，且较高的计算速度，避免了在训练中频繁更新大量的非高频类别所在Softmax模型参数，因此，在节约了硬件资源的同时保证了训练效率。为确保所有类别所在的聚类的Softmax模型均被更新，Adaptive Softmax在第一个聚类中末尾加入所有Tail类的IDs，当训练样例中的类别未出现在Head聚类中，则可以依据Tail类的ID找到其所属的Tail类，再训练Tail类对应的Softmax模型。
应用Adaptive Softmax模型通过将分类目标按照某种策略进行聚类后，保证计算过程中部分分类被调用，从而避免了计算资源空计算导致的资源耗尽，其自适应性体现在不同的训练样本根据自身情况仅调用部分分类进行计算。
在一实施例中，将自适应Softmax方法替代混合Softmax模型中的传统Softmax方法，也即，将自适应Softmax引入MoS，形成混合自适应Softmax模型(MoAS，Mixture ofAdaptive Softmax)，结合MoS和自适应Softmax各自的优势，在保证任何多分类模型可以正常训练同时提升模型性能。
作为神经网络语言模型的一个实施例，图5为本发明实施例提供的神经网络语言模型的架构示意图，参见图5，本发明实施例提供的神经网络语言模型包括：输入层、隐藏层及输出层；其中，
输入层，用于将输入的文本映射为相应的特征向量，并输入隐藏层；
所述隐藏层，用于基于输入的所述特征向量，调用激活函数，输出对应所述特征向量的第一隐层表达至输出层；
所述输出层，用于将所述第一隐层表达进行分解，得到所述第一隐层表达分别在不同隐主题下对应的第二隐层表达；
以及，分别确定每个所述第二隐层表达所对应的聚类类别，并调用所述聚类类别对应的归一化指数函数得到所述第二隐层表达对应的概率分布；其中，所述聚类类别包括头聚类及尾聚类，所述头聚类中文本分类的输出概率不同于所述尾聚类中文本分类的输出概率；
以及，融合各所述第二隐层表达对应的概率分布，并基于融合后得到的概率分布输出所述文本所对应的目标文本。
在一实施例中，输入的文本为词语，词语输入至语言模型的输入层后被映射为相应的输入向量，然后经隐藏层处理得到隐层表达h(t)，即第一隐层表达。
参见图5，本发明实施例的神经网络语言模型中的输出层采用的是MoAS，也即将混合Softmax模型中的传统Softmax方法替换成自适应Softmax方法，具体如图4中的Si(i＝1…N)替换成图5中的AdapSi(i＝1…N)。
在一实施例中，输出层采用多组参数构建N个独立的全连接网络
将隐层表达h(t)应用于不同隐主题对应的全连接网络模型，得到h(t)对应到多个隐主题下的隐层表达h(t)i(i＝1…N)，即第二隐层表达；具体地，
在一实施例中，所述输出层，还用于确定每个所述第二隐层表达在相应的所述隐主题下的权重zi，具体地，
其中，zi表示分解得到的第i个第二隐层表达在相应的隐主题下的权重。这里对隐主题进行说明，在实际应用中，某个句式或者文档往往都会归属于某个主题下，如果在某个技术主题的文档中突然发现了某个关于体育的句子，肯定会觉得很奇怪，这也就是所谓的破坏了主题一致性。
在一实施例中，所述输出层，还用于依据文本分类出现在训练数据中的频次，对多个文本分类进行聚类，得到一个所述头聚类及至少一个所述尾聚类。
具体地，所述输出层按照频次由高到低的顺序对多个文本分类进行排序，得到文本分类序列；遍历文本分类序列，并对文本分类的频次进行累加；当文本分类的累计频次满足预设条件时，停止所述遍历，并将文本分类序列中遍历过的所有文本分类所形成的集合作为头聚类；在实际应用中，文本分类的累计频次满足预设条件可以为：文本分类的累计频次所占总频次的百分比达到预设百分比阈值，如80％；
输出层继续遍历所述文本分类序列中剩余未遍历的文本分类序列，并对文本分类的频次进行累加；当文本分类的累计频次满足预设条件时，停止所述遍历，并将文本分类序列中本次遍历过的所有文本分类所形成的集合作为尾聚类；采用前述获得尾聚类的方式进行一个或多个尾聚类的获取，若当前尾聚类的数量未达到预设数量(具体可以依据实际需要进行设定)，输出层重复执行以下操作直至尾聚类的数量为预设数量：
继续遍历所述文本分类序列中剩余未遍历的文本分类序列，并对文本分类的频次进行累加；当文本分类的累计频次满足预设条件时，停止所述遍历，并将文本分类序列中本次遍历过的所有文本分类所形成的集合作为尾聚类。
在实际应用中，通常情况下的聚类类别包括头聚类及尾聚类，特殊情况亦可仅包括头聚类。
在一实施例中，所述输出层，还用于为每个尾聚类分配类ID；相应的，头聚类中还包括上述预设数量的尾聚类的类ID。
在实际实施时，设定聚类类别数为M(Head分类1个，Tail分类M-1个)，对训练数据中的所有分类进行频次统计，并且按照降序进行排列得到顺序分类序列V；然后由频次从高到低的数序遍历分类并且对频次进行累加统计，当遍历到当前分类wp(在实际实施时可以为词表V中的第p个词)时，分类累计频次达到总频次的80％，停止遍历，将从顺序分类序列开始位置w0到当前位置wp的所有分类作为头聚类(Head类)，同时，将所有尾聚类(Tail类)的IDs(即
)加入头聚类，得到：
重置顺序分类V＝{wp+1,…,w|V|}，按照头聚类的获取方式依次获得Tail1,…,TailM-1。
基于上述对聚类的说明，接下来对输出层MoAS模型的训练进行说明。
在一实施例中，输出层还用于确定训练数据的第二隐层表达所对应的聚类类别，然后以所述训练数据的第二隐层表达作为输入，以所述训练数据对应的目标数据作为输出，训练所述聚类类别对应的归一化指数函数根据训练数据的第二隐层表达预测相应的目标数据的性能。在实际实施时，对词表进行目标聚类后，每个聚类分别对应各自的Softmax模型，当确定输入的训练数据所属的聚类后，仅更新对应聚类的Softmax模型参数即可。
这里，在实际实施时，输出层对第二隐层表达应用头聚类对应的归一化指数函数(Softmax)，得到所述第二隐层表达对应的概率分布；确定所述第二隐层表达对应的概率分布的最大值所对应的文本(词语)；依据所确定的所述文本确定所述第二隐层表达所对应的聚类。
具体地，继续参见图5，在实际实施时，对于训练数据，首先将其映射到其对应的聚类，例如，对训练数据batch B＝{x(t)1,…,x(t)s}，根据其目标分类
其中，s为batch size，将数据分别映射到其对应的聚类，假设B通过LSTM计算后得到的隐层表达为H＝{h(t)1,…,h(t)s}，那么映射结果为：
然后，计算经隐层表达分解后得到的各个隐层表达所对应的Softmax在对应数据项的loss；对于(Bk,Hk,Yk),其中，k对应分解得到的第k层的隐层表达，假设Bk对应的loss计算如公式(3)所示：
Loss(Bk,Hk,Yk)＝CE(Softmax(Hk,θk),Yk) (3)
其中，CE(·)表示交叉熵计算，θk为对应第k层隐层表达的Softmax模型参数。
整个训练数据batch的loss计算,如公式(4)所示：
仍以训练数据为batch B＝{x(t)1,…,x(t)s}为例对本发明实施例语言模型的输出层MoAS模型的训练进行说明。
batch B＝{x(t)1,…,x(t)s}经过语言模型的输入层被映射为相应的特征向量，经隐藏层输出隐层表达H＝{h(t)1,…,h(t)s}，然后经过输出层的隐层表达分解，将H＝{h(t)1,…,h(t)s}分解为
其中，
为训练样本x(t)i的第j个分解隐层表达向量，N为分解隐层的数目；同时通过公式(2)计算对应到各隐主题的权重Z＝{Z(t)1,…,Z(t)s}，其中
为标量。
映射训练数据batch在各聚类下对应的数据项，并按照主题数对各mask获得的数据batch数据项进行重置，具体地：
将数据分别映射到其对应的聚类，得到映射结果为：
然后，对每个子数据batch块(Bk,Hk,Yk,Zk)，按公式(5)进行操作获得新batch数据块(block)：
其中，[…]表示级联操作，
和
分别表示聚类k下的第i个训练样例的第j个分解隐层表达以及其对应的权重，
表示聚类k下的第i个训练样例的目标分类。
然后，依据公式(6)计算各Softmax在对应的重置batch数据项上的类别概率分布：
pk(Hk，θk)＝softmax(Hk,θk) (6)
然后，依据公式(7)，基于权重Zk，进行加权求和，得到各batch数据项的类别概率分布后的loss：
Loss(Bk,Hk,Yk,Zk)＝GE(Zk·pk(Hk，θk)，Yk) (7)
最后，依据公式(8)计算整个batch的loss：
模型训练采用前馈神经网络(BP，Back Propagation)方式，在实际应用中，对本发明实施例提供的神经网络语言模型的训练，可采用一机多卡或多机多卡进行训练；这里，多卡是指具有多个用于模型参数计算的GPU/现场可编程门阵列(FPGA，Field ProgrammableGate Array)/专用集成电路(ASIC，Application Specific Integrated Circuit)的设备，而多机则指的是具有多卡的设备的集群。
在一实施例中，还可将Class-based Softmax引入MoS，由于Class-based Softmax与自适应Softmax的设计也是为了解决由于分类数量巨大导致的训练问题，因此，可将其与本发明实施例中的自适应Softmax做替换。
在一实施例中，还可将噪音对比估计(NCE，Noise Contrastive Estimation)引入MoS，NCE采用负采样方法，通过正负样例Loss对比的方法来训练模型，有助于提升模型训练的速度。
接下来对本发明实施例提供的神经网络语言模型的应用场景进行说明。
在自然语言处理以及语音领域中的很多场景下，语言模型都扮演着重要的角色，如在机器翻译中通过语言模型来优化翻译结果，在语音识别中通过语言模型与声学模型结果一起进行解码从而提高识别效果。举个音字转换的例子来说，输入拼音串为nixianzaiganshenme，对应的输出可以有多种形式，如你现在干什么、你西安再赶什么、等等，那么到底哪个才是正确的转换结果呢，利用神经网络语言模型，我们知道前者的概率大于后者，因此转换成前者在多数情况下比较合理。再举一个机器翻译的例子，给定一个汉语句子为李明正在家里看电视，可以翻译为Li Ming is watching TV at home、Li Ming athome is watching TV、等等，同样根据语言模型，我们知道前者的概率大于后者，所以翻译成前者比较合理。
而基于RNN框架的语言建模实际上是典型的具有巨大类别的多分类问题，词表的数量即类别个数，而自然语言中词表的规模往往达到100K甚至1B的量级，这就意味着极有可能出现由于计算资源受限导致的模型无法训练的问题，而应用本发明实施例提供的神经网络语言模型可以完美适用于具有大词表的语言建模问题。
图6为本发明实施例提供的基于神经网络语言模型的文本预测方法流程示意图，参见图6，本发明实施例还提供的基于神经网络语言模型的文本预测方法，包括：
步骤101：输入文本至所述神经网络语言模型的输入层，以将所述文本映射为相应的特征向量。
这里，在实际应用中，输入文本可以为词语序列，该词语序列通过输入层的映射矩阵C，将离散的单词映射成相应的m维向量，作为隐藏层的输入。
步骤102：通过所述神经网络语言模型的隐藏层，调用激活函数得到对应所述特征向量的第一隐层表达。
在一实施例中，隐藏层所调用的激活函数为tanh函数，输入向量经隐藏层后输出对应输入向量的第一隐层表达(hidden,向量或者矩阵)。
步骤103：通过所述神经网络语言模型的输出层，将所述第一隐层表达进行分解，得到所述第一隐层表达分别在不同隐主题下对应的第二隐层表达。
这里，在实际实施时，输出层采用多组参数构建N个独立的全连接网络
将隐层表达h(t)应用于不同隐主题对应的全连接网络模型，得到h(t)对应到多个隐主题下的隐层表达h(t)i(i＝1…N)，即第二隐层表达，第二隐层表达的维度和数据类型与第一隐层表达的相同。
在一实施例中，当输出层进行隐层表达分解后，还要进一步确定每个第二隐层表达在相应的所述隐主题下的权重，具体可依据公式(2)来实现。
步骤104：分别确定每个所述第二隐层表达所对应的聚类类别，并调用所述聚类类别对应的归一化指数函数得到所述第二隐层表达对应的概率分布；其中，所述聚类类别包括头聚类及尾聚类，所述头聚类中文本分类的输出概率不同于所述尾聚类中文本分类的输出概率。
这里，在实际实施时，输出层依据文本分类出现在训练数据中的频次，对多个文本分类进行聚类，得到至少一个所述头聚类及至少一个所述尾聚类。每个聚类对应各自的归一化指数函数(Softmax)，具体地：
按照所述频次由高到低的顺序对所述多个文本分类进行排序，得到文本分类序列；遍历所述文本分类序列，并对文本分类的频次进行累加；当文本分类的累计频次满足预设条件时，停止所述遍历，并将所述文本分类序列中遍历过的所有文本分类所形成的集合作为所述头聚类；
遍历所述文本分类序列中剩余未遍历的文本分类序列，并对文本分类的频次进行累加；当文本分类的累计频次满足预设条件时，停止所述遍历，并将所述文本分类序列中本次遍历过的所有文本分类所形成的集合作为尾聚类；重复执行前述遍历、频次累加及预设条件判断的操作，直至所获取的所述尾聚类的数量为Q个，所述Q为预设的正整数。
在一实施例中，所述方法还包括：为所述尾聚类分配类ID；相应的，所述头聚类中还可包括所述Q个尾聚类的类ID。
在一实施例中，可通过如下方式分别确定每个所述第二隐层表达所对应的聚类类别：
对所述第二隐层表达应用所述头聚类对应的归一化指数函数，得到所述第二隐层表达对应的概率分布；确定所述第二隐层表达对应的概率分布的最大值所对应的文本；依据所确定的所述文本确定所述第二隐层表达所对应的聚类类别。
步骤105：融合各所述第二隐层表达对应的概率分布，并基于融合后得到的概率分布输出所述文本所对应的目标文本。
在一实施例中，可通过如下方式融合各所述第二隐层表达对应的概率分布：
确定每个所述第二隐层表达在相应的所述隐主题下的权重；以及，基于每个所述第二隐层表达在相应的所述隐主题下的权重，对各所述第二隐层表达对应的概率分布进行加权求和，得到融合后的概率分布。
图7为本发明实施例提供的基于神经网络语言模型的文本预测装置结构示意图，参见图7，本发明实施例提供的基于神经网络语言模型的文本预测装置包括：至少一个处理器210、存储器240、至少一个网络接口220和用户接口230。装置中的各个组件通过总线系统250耦合在一起。可理解，总线系统250用于实现这些组件之间的连接通信。总线系统250除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图7中将各种总线都标为总线系统250。
用户接口230可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。
存储器240可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、闪存(Flash Memory)等。易失性存储器可以是随机存取存储器(RAM，Random Access Memory)，其用作外部高速缓存。
处理器210可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
存储器240能够存储可执行指令2401以支持消息处理装置的操作，这些可执行指令的示例包括：用于在消息处理装置上操作的程序、插件和脚本等各种形式的软件模块，程序例如可以包括操作系统和应用程序，其中，操作系统包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。
在一实施例中，存储器，用于存储可执行程序；
处理器，用于执行所述存储器中存储的可执行程序时，实现：
输入文本至所述神经网络语言模型的输入层，以将所述文本映射为相应的特征向量；
通过所述神经网络语言模型的隐藏层，调用激活函数得到对应所述特征向量的第一隐层表达；
通过所述神经网络语言模型的输出层，将所述第一隐层表达进行分解，得到所述第一隐层表达分别在不同隐主题下对应的第二隐层表达；
分别确定每个所述第二隐层表达所对应的聚类类别，并调用所述聚类类别对应的归一化指数函数得到所述第二隐层表达对应的概率分布；其中，所述聚类类别包括头聚类及尾聚类，所述头聚类中文本分类的输出概率不同于所述尾聚类中文本分类的输出概率；
融合各所述第二隐层表达对应的概率分布，并基于融合后得到的概率分布输出所述文本所对应的目标文本。
在一实施例中，所述处理器，还用于依据文本分类出现在训练数据中的频次，对多个文本分类进行聚类，得到至少一个所述头聚类及至少一个所述尾聚类。
在一实施例中，所述处理器，还用于按照所述频次由高到低的顺序对所述多个文本分类进行排序，得到文本分类序列；
遍历所述文本分类序列，并对文本分类的频次进行累加；
当文本分类的累计频次满足预设条件时，停止所述遍历，并将所述文本分类序列中遍历过的所有文本分类所形成的集合作为所述头聚类。
在一实施例中，所述处理器，还用于重复执行下述操作直至获得预定数量的尾聚类：
遍历所述文本分类序列中剩余未遍历的文本分类序列，并对文本分类的频次进行累加；
当文本分类的累计频次满足预设条件时，停止所述遍历，并将所述文本分类序列中本次遍历过的所有文本分类所形成的集合作为尾聚类。
在一实施例中，所述处理器，还用于为每个所述尾聚类分配类ID；
相应的，所述头聚类中还包括所述预定数量的尾聚类的类ID。
在一实施例中，所述处理器，还用于对所述第二隐层表达应用所述头聚类对应的归一化指数函数，得到所述第二隐层表达对应的概率分布；
确定所述第二隐层表达对应的概率分布的最大值所对应的文本；
依据所确定的所述文本确定所述第二隐层表达所对应的聚类类别。
在一实施例中，所述处理器，还用于确定训练数据的第二隐层表达所对应的聚类类别；
以所述训练数据的第二隐层表达作为输入，以所述训练数据对应的目标数据作为输出，训练所述聚类类别对应的归一化指数函数根据训练数据的第二隐层表达预测相应的目标数据的性能。
在一实施例中，所述处理器，还用于确定每个所述第二隐层表达在相应的所述隐主题下的权重；
以及，基于每个所述第二隐层表达在相应的所述隐主题下的权重，对各所述第二隐层表达对应的概率分布进行加权求和，得到融合后的概率分布。
在一实施例中，所述处理器，还用于将所述第一隐层表达应用于不同隐主题对应的全连接网络模型，并调用激活函数输出所述第一隐层表达分别在不同隐主题下对应的第二隐层表达。
本发明实施例还提供了一种存储介质，存储有可执行程序，所述可执行程序被处理器执行时，实现本发明实施例所述的基于神经网络语言模型的文本预测方法。
这里需要指出的是：以上涉及神经网络语言模型的文本预测装置的描述，与上述方法描述是类似的，同方法的有益效果描述，不做赘述。对于本发明所述神经网络语言模型的文本预测装置实施例中未披露的技术细节，请参照本发明方法实施例的描述。
实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、随机存取存储器(RAM，Random Access Memory)、只读存储器(ROM，Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、RAM、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (14)
1.一种神经网络语言模型的训练方法，其特征在于，所述神经网络语言模型包括输入层、隐藏层以及输出层，所述方法包括：
获取样本文本作为训练数据；
通过所述输入层将所述训练数据映射为相应的特征向量；
通过所述隐藏层，调用激活函数得到所述训练数据的特征向量所对应的第一隐层表达；
通过所述输出层的多个对应不同隐主题的全连接网络模型，对所述第一隐层表达进行分解，得到所述第一隐层表达分别在不同隐主题下对应的第二隐层表达；
通过所述输出层的多个归一化指数函数模型，分别确定每个所述第二隐层表达所对应的聚类类别；其中，所述聚类类别包括头聚类及尾聚类，所述头聚类中数据分类的输出概率不同于所述尾聚类中数据分类的输出概率；
通过所述聚类类别对应的归一化指数函数模型，根据所述聚类类别所指示的所述第二隐层表达进行文本预测，得到所述样本文本对应的目标文本，将所述目标文本作为所述训练数据的目标数据；
当确定所述训练数据的目标数据所属的聚类后，更新所述聚类所属的归一化指数函数模型的参数。
2.如权利要求1所述的方法，其特征在于，所述根据所述聚类类别所指示的所述第二隐层表达进行文本预测，得到所述样本文本对应的目标文本，包括：
调用所述聚类类别对应的归一化指数函数，得到所述第二隐层表达对应的概率分布；
融合各所述第二隐层表达对应的概率分布，并基于融合后得到的概率分布输出所述样本文本所对应的目标文本。
3.如权利要求2所述的方法，其特征在于，所述方法还包括：
依据文本分类出现在训练数据中的频次，对多个文本分类进行聚类，得到至少一个所述头聚类及至少一个所述尾聚类。
4.如权利要求3所述的方法，其特征在于，所述依据文本分类出现在训练数据中的频次，对多个文本分类进行聚类，包括：
按照所述频次由高到低的顺序对所述多个文本分类进行排序，得到文本分类序列；
遍历所述文本分类序列，并对文本分类的频次进行累加；
当文本分类的累计频次满足预设条件时，停止所述遍历，并将所述文本分类序列中遍历过的所有文本分类所形成的集合作为所述头聚类。
5.如权利要求4所述的方法，其特征在于，所述方法还包括：
重复执行下述操作直至获得预定数量的尾聚类：
遍历所述文本分类序列中剩余未遍历的文本分类序列，并对文本分类的频次进行累加；
当文本分类的累计频次满足预设条件时，停止所述遍历，并将所述文本分类序列中本次遍历过的所有文本分类所形成的集合作为尾聚类。
6.如权利要求5所述的方法，其特征在于，所述方法还包括：
分别为每个所述尾聚类分配类标识ID；
相应的，所述头聚类中还包括所述预定数量的尾聚类的类ID。
7.如权利要求1所述的方法，其特征在于，所述分别确定每个所述第二隐层表达所对应的聚类类别，包括：
对所述第二隐层表达应用所述头聚类对应的归一化指数函数，得到所述第二隐层表达对应的概率分布；
确定所述第二隐层表达对应的概率分布的最大值所对应的文本；
依据所确定的所述文本确定所述第二隐层表达所对应的聚类类别。
8.如权利要求2所述的方法，其特征在于，所述融合各所述第二隐层表达对应的概率分布，包括：
确定每个所述第二隐层表达在相应的所述隐主题下的权重；
基于每个所述第二隐层表达在相应的所述隐主题下的权重，对各所述第二隐层表达对应的概率分布进行加权求和，得到融合后的概率分布。
9.如权利要求1所述的方法，其特征在于，所述对所述第一隐层表达进行分解，得到所述第一隐层表达分别在不同隐主题下对应的第二隐层表达，包括：
将所述第一隐层表达应用于不同隐主题对应的全连接网络模型，并调用激活函数输出所述第一隐层表达分别在不同隐主题下对应的第二隐层表达。
10.一种基于神经网络语言模型的文本预测方法，其特征在于，所述神经网络语言模型包括输入层、隐藏层以及输出层，所述方法包括：
获取待预测的文本；
通过所述输入层，将所述文本映射为相应的特征向量；
通过所述隐藏层，调用激活函数得到所述文本的特征向量所对应的第一隐层表达；
通过所述输出层的多个对应不同隐主题的全连接网络模型，对所述第一隐层表达进行分解，得到所述第一隐层表达在相应隐主题下的第二隐层表达；
通过所述输出层的多个归一化指数函数模型，分别确定每个所述第二隐层表达所对应的聚类类别；其中，所述聚类类别包括头聚类及尾聚类，所述头聚类中数据分类的输出概率不同于所述尾聚类中数据分类的输出概率；
通过所述聚类类别对应的归一化指数函数模型，根据所述聚类类别所指示的所述第二隐层表达进行文本预测，得到所述文本对应的目标预测文本。
11.如权利要求10所述的方法，其特征在于，所述根据所述聚类类别所指示的所述第二隐层表达进行文本预测，得到所述文本对应的目标预测文本，包括：
调用所述聚类类别对应的归一化指数函数得到所述第二隐层表达对应的概率分布；
融合各所述第二隐层表达对应的概率分布，并基于融合后得到的概率分布输出所述文本所对应的目标预测文本。
12.一种神经网络语言模型的训练装置，其特征在于，包括：
存储器，用于存储可执行程序；
处理器，用于执行所述存储器中存储的可执行程序时，实现如权利要求1至9任一项所述的方法。
13.一种基于神经网络语言模型的文本预测装置，其特征在于，包括：
存储器，用于存储可执行程序；
处理器，用于执行所述存储器中存储的可执行程序时，实现如权利要求10至11任一项所述的方法。
14.一种存储介质，存储有可执行程序，其特征在于，所述可执行程序被处理器执行时，实现如权利要求1至11任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910745810.2A CN110442721B (zh) | 2018-11-28 | 2018-11-28 | 神经网络语言模型、训练方法、装置及存储介质 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811435778.XA CN110147444B (zh) | 2018-11-28 | 2018-11-28 | 基于神经网络语言模型的文本预测方法、装置及存储介质 |
| CN201910745810.2A CN110442721B (zh) | 2018-11-28 | 2018-11-28 | 神经网络语言模型、训练方法、装置及存储介质 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811435778.XA Division CN110147444B (zh) | 2018-11-28 | 2018-11-28 | 基于神经网络语言模型的文本预测方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110442721A CN110442721A (zh) | 2019-11-12 |
| CN110442721B true CN110442721B (zh) | 2023-01-06 |
Family
ID=67589307
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910745810.2A Active CN110442721B (zh) | 2018-11-28 | 2018-11-28 | 神经网络语言模型、训练方法、装置及存储介质 |
| CN201811435778.XA Active CN110147444B (zh) | 2018-11-28 | 2018-11-28 | 基于神经网络语言模型的文本预测方法、装置及存储介质 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811435778.XA Active CN110147444B (zh) | 2018-11-28 | 2018-11-28 | 基于神经网络语言模型的文本预测方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (2) | CN110442721B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110880040A (zh) * | 2019-11-08 | 2020-03-13 | 支付宝(杭州)信息技术有限公司 | 自动生成累积特征的方法及系统 |
| CN113159080A (zh) * | 2020-01-22 | 2021-07-23 | 株式会社东芝 | 信息处理装置、信息处理方法以及存储介质 |
| CN111667069B (zh) * | 2020-06-10 | 2023-08-04 | 中国工商银行股份有限公司 | 预训练模型压缩方法、装置和电子设备 |
| CN111898145B (zh) * | 2020-07-22 | 2022-11-25 | 苏州浪潮智能科技有限公司 | 一种神经网络模型训练方法、装置、设备及介质 |
| CN113243018A (zh) * | 2020-08-01 | 2021-08-10 | 商汤国际私人有限公司 | 目标对象的识别方法和装置 |
| CN115243270B (zh) * | 2021-04-07 | 2023-09-22 | 中国移动通信集团设计院有限公司 | 5g网络规划方法、装置、计算设备和存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101546389A (zh) * | 2008-03-26 | 2009-09-30 | 中国科学院半导体研究所 | 一种主方向神经网络系统 |
| CN103823845A (zh) * | 2014-01-28 | 2014-05-28 | 浙江大学 | 一种基于深度学习的遥感影像自动标注方法 |
| CN104572504A (zh) * | 2015-02-02 | 2015-04-29 | 浪潮(北京)电子信息产业有限公司 | 一种实现数据预读的方法及装置 |
| CN105760507A (zh) * | 2016-02-23 | 2016-07-13 | 复旦大学 | 基于深度学习的跨模态主题相关性建模方法 |
| CN107609055A (zh) * | 2017-08-25 | 2018-01-19 | 西安电子科技大学 | 基于深层主题模型的文本图像多模态检索方法 |
| CN108563639A (zh) * | 2018-04-17 | 2018-09-21 | 内蒙古工业大学 | 一种基于循环神经网络的蒙古语语言模型 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9235799B2 (en) * | 2011-11-26 | 2016-01-12 | Microsoft Technology Licensing, Llc | Discriminative pretraining of deep neural networks |
| US20140156575A1 (en) * | 2012-11-30 | 2014-06-05 | Nuance Communications, Inc. | Method and Apparatus of Processing Data Using Deep Belief Networks Employing Low-Rank Matrix Factorization |
| CN107578106B (zh) * | 2017-09-18 | 2020-03-24 | 中国科学技术大学 | 一种融合单词语义知识的神经网络自然语言推理方法 |
| CN108197109B (zh) * | 2017-12-29 | 2021-04-23 | 北京百分点科技集团股份有限公司 | 一种基于自然语言处理的多语言分析方法和装置 |
| CN108595632B (zh) * | 2018-04-24 | 2022-05-24 | 福州大学 | 一种融合摘要与主体特征的混合神经网络文本分类方法 |
-
2018
- 2018-11-28 CN CN201910745810.2A patent/CN110442721B/zh active Active
- 2018-11-28 CN CN201811435778.XA patent/CN110147444B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101546389A (zh) * | 2008-03-26 | 2009-09-30 | 中国科学院半导体研究所 | 一种主方向神经网络系统 |
| CN103823845A (zh) * | 2014-01-28 | 2014-05-28 | 浙江大学 | 一种基于深度学习的遥感影像自动标注方法 |
| CN104572504A (zh) * | 2015-02-02 | 2015-04-29 | 浪潮(北京)电子信息产业有限公司 | 一种实现数据预读的方法及装置 |
| CN105760507A (zh) * | 2016-02-23 | 2016-07-13 | 复旦大学 | 基于深度学习的跨模态主题相关性建模方法 |
| CN107609055A (zh) * | 2017-08-25 | 2018-01-19 | 西安电子科技大学 | 基于深层主题模型的文本图像多模态检索方法 |
| CN108563639A (zh) * | 2018-04-17 | 2018-09-21 | 内蒙古工业大学 | 一种基于循环神经网络的蒙古语语言模型 |
Non-Patent Citations (3)
| Title |
|---|
| Evolving neural network with extreme learning for system modeling;Raul Rosa 等;《2014 IEEE Conference on Evolving and Adaptive Intelligent Systems (EAIS)》;20140731;1-7 * |
| 基于协同进化的RBFNN学习研究;田津;《中国博士学位论文全文数据库》;20090815(第(2009)08期);I140-13 * |
| 结构自适应的半监督自组织过程神经网络;王兵 等;《控制与决策》;20141224;第30卷(第03期);507-512 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110147444A (zh) | 2019-08-20 |
| CN110442721A (zh) | 2019-11-12 |
| CN110147444B (zh) | 2022-11-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110442721B (zh) | 神经网络语言模型、训练方法、装置及存储介质 | |
| CN110956018B (zh) | 文本处理模型的训练方法、文本处理方法、装置及存储介质 | |
| CN109919175B (zh) | 一种结合属性信息的实体多分类方法 | |
| CN116861995A (zh) | 多模态预训练模型的训练及多模态数据处理方法和装置 | |
| CN110489545A (zh) | 文本分类方法及装置、存储介质、计算机设备 | |
| CN111858898A (zh) | 基于人工智能的文本处理方法、装置及电子设备 | |
| CN111160000B (zh) | 作文自动评分方法、装置终端设备及存储介质 | |
| CN112101042A (zh) | 文本情绪识别方法、装置、终端设备和存储介质 | |
| CN117150026B (zh) | 文本内容多标签分类方法与装置 | |
| CN111241820A (zh) | 不良用语识别方法、装置、电子装置及存储介质 | |
| CN114444476B (zh) | 信息处理方法、装置和计算机可读存储介质 | |
| CN116341564A (zh) | 基于语义理解的问题推理方法和装置 | |
| CN115795038A (zh) | 基于国产化深度学习框架的意图识别方法和装置 | |
| CN112989843B (zh) | 意图识别方法、装置、计算设备及存储介质 | |
| CN116306612A (zh) | 一种词句生成方法及相关设备 | |
| CN111783688B (zh) | 一种基于卷积神经网络的遥感图像场景分类方法 | |
| CN110929516A (zh) | 文本的情感分析方法、装置、电子设备及可读存储介质 | |
| CN116756605A (zh) | 一种基于ernie_cn-gru语步自动识别方法、系统、设备及介质 | |
| CN116957006A (zh) | 预测模型的训练方法、装置、设备、介质及程序产品 | |
| CN112463964B (zh) | 文本分类及模型训练方法、装置、设备及存储介质 | |
| CN114282058A (zh) | 模型训练与视频主题预测的方法、装置及设备 | |
| CN115496175A (zh) | 新建边缘节点接入评估方法、装置、终端设备及产品 | |
| CN112434143A (zh) | 基于gru单元隐藏状态约束的对话方法、存储介质及系统 | |
| CN111667028A (zh) | 一种可靠负样本确定方法和相关装置 | |
| CN114818644B (zh) | 文本模板生成方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |