CN103810999B - 基于分布式神经网络的语言模型训练方法及其系统 - Google Patents
基于分布式神经网络的语言模型训练方法及其系统 Download PDFInfo
- Publication number
- CN103810999B CN103810999B CN201410067916.9A CN201410067916A CN103810999B CN 103810999 B CN103810999 B CN 103810999B CN 201410067916 A CN201410067916 A CN 201410067916A CN 103810999 B CN103810999 B CN 103810999B
- Authority
- CN
- China
- Prior art keywords
- neural network
- language model
- training
- small
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 89
- 238000012549 training Methods 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 title claims abstract description 15
- 239000013598 vector Substances 0.000 claims abstract description 11
- 238000013507 mapping Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000013519 translation Methods 0.000 abstract description 5
- 230000001537 neural effect Effects 0.000 abstract description 2
- 230000007935 neutral effect Effects 0.000 abstract 6
- 238000010606 normalization Methods 0.000 description 8
- 238000003062 neural network model Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
Landscapes
- Machine Translation (AREA)
Abstract
本发明是有关于一种基于分布式神经网络的语言模型训练方法及其系统,该方法包括:将大词表拆分为多个小词表;将每个小词表对应一个神经网络语言模型,每个神经网络语言模型的输入维数相同且独立进行第一次训练;将各神经网络语言模型的输出向量合并并进行第二次训练;得到归一化的神经网络语言模型。该系统包括:输入模块、第一次训练模块、第二次训练模块和输出模块。本发明通过多个神经网络训练学习不同词表,充分利用神经网络的学习能力,大大降低对大词表学习训练的时间,同时将大词表的输出进行归一化,实现多个神经网络的归一和共享,使得NNLM尽可能学习更多的信息,从而提高大规模语音识别和机器翻译等相关应用任务中的准确率。
Description
技术领域
本发明涉及一种语言模型,特别是涉及一种基于分布式神经网络的语言模型训练方法及其系统。
背景技术
语言模型在自然语言处理中有着非常重要的作用,特别是在大规模语音识别和机器翻译中。当前主流的语言模型为基于概率的统计语言模型,特别是基于n-gram的统计模型。随着神经网络的兴起,越来越多的人利用神经网络生成统计语言模型。
统计语言模型被广泛应用于各种自然语言处理问题,如语言识别、分词、机器翻译、词性标注等。简单的说,统计语言模型就是用来计算一个句子的概率的模型,即
p(w1,w2,…,wk)
已知一个句子(词语序列)s=w1,w2,…,wk,他们的概率可以表示为:
p(s)=p(w1,w2,…,wk)=p(w1)p(w2|w1)…p(wk|w1,w2,…,wk-1)
举个简单的例子,输入拼音串为nixianzaiganshenme,对应的输出可以有多种形式,如“你现在干什么”、“你西安再赶什么”,等等。那么到底哪个才是正确的转换结果呢?利用语言模型,我们知道前者的概率大于后者,因此转换成前者在多数情况下比较合理。
目前使用比较多的统计语言模型是n-gram语言模型,就是将上式中条件概率部分p(wk|w1,w2,…,wk-1)简化为p(wk|w1,w2,…,wn-1)。实际应用中n一般取为n=3或n=4,即三元和四元的n-gram语言模型。
基于神经网络的语言模型最早由Bengio等人在2001年发表在NIPS上的文章《A Neural Probabilistic Language Model》中提出。请参阅图1所示,wj-n+1,wj-n+2,…,wj-1就是当前词wj的前n-1个词。现在需要根据这已知的n-1个词预测词wj的概率,即计算:
P(wj=i|hj)
首先,从输入层到映射层(projectionlayer)由一个|V|×m维的映射矩阵C(W)完成,其中|V|表示词表的大小(语料中的总词数),m表示映射空间的维度。
网络的第一层(映射层)是将C(wj-n+1),C(wj-n+2),…,C(wj-1)这n-1个向量首尾相接拼起来,形成一个(n-1)*m维的向量,记为Cl。网络的第二层(隐藏层)由映射层经过线性变换d+Hx附加一个激活函数tanh()得到,其中d是一个偏置量,tanh()定义如下:。
dj=tanh(Σlmjlcl+bj)。
网络的第三层(输出层)一共有|V|个节点,每个节点yi表示下一个词为i的概率。该层由隐藏层输出经过线性变换后附加softmax激活函数进行归一化得到,计算公式为:
oi=Σjυijdj+ki
Pi=exp(oi)/(Σr(exp(or)))
相比于当前主流的n-gram语言模型,基于神经网络的语言模型(NNLM)对模型参数的共享更直接有效(共享映射矩阵),因而对低频词具有天然的光滑性,因此在建模能力上具有显著优势。另一方面,NNLM也具有明显的弱点,,包括:
1)训练效率低,耗时长,特别是当词表增大到超过10w时,训练时间难以接受;
2)解码时间较长,不能满足实际要求;
3)单个神经网络结构学习大词表能力差,一旦需要学习的信息增多,单个神经网络结构就无法满足。
为了解决上述问题,可以考虑利用分布式神经网络进行大词表语言模型学习。但是,基于现有技术,在进行多个神经网络学习时,各个神经网络需要独立学习不同词汇,极易导致最后产生的语言模型的概率尺度不统一,即未归一化。
因此,如何能同时解决大词表神经网络语言模型学习和多个神经网络之间的归一化问题,在大规模语音识别和机器翻译中显得尤为重要。
发明内容
本发明要解决的技术问题是提供一种基于分布式神经网络的语言模型训练方法及其系统,使其能够同时解决大词表神经网络语言模型学习和多个神经网络之间归一化的问题,从而克服现有的神经网络语言模型学习方法的不足。
为解决上述技术问题,本发明提出一种基于分布式神经网络的语言模型训练方法,包括以下步骤:将大词表拆分为多个小词表;将每个小词表对应一个小神经网络语言模型,每个小神经网络语言模型的输入维数相同且独立进行第一次训练;将各小神经网络语言模型的输出向量合并并进行第二次训练;得到归一化的神经网络语言模型。
作为本发明的一种改进,第二次训练神经网络的输出概率计算公式为:
其中,
softmax(x)=exp(xi)/(Σr(exp(xr))),
P1(o)T,P2(o)T,…,Pm(o)T为每个小神经网络语言模型的输出,
x为第二次训练神经网络的输入,M是映射层到隐藏层的系数矩阵,b为隐藏层节点的偏移量,V为隐藏层到输出层的系数矩阵,d为输出层节点的偏移量。
所述的第一次训练神经网络的输出概率概率计算公式为:
其中,wj即为该小神经网络语言模型对应词表中的第j个词,是归一化函数当w在第m小词表时,相应的较大。
此外,本发明还提供了一种应用上述方法的基于分布式神经网络的语言模型训练系统,包括:输入模块,用于将大词表拆分为多个小词表;第一次训练模块,包括多个独立的小神经网络语言模型模块,每个小神经网络语言模型模块对应输入模块的一个小词表进行独立训练;第二次训练模块,用于将第一次训练模块中各小神经网络语言模型模块的输出向量合并,并进行第二次训练;输出模块,用于输出第二次训练模块得到归一化的神经网络语言模型。
作为进一步改进,所述的第一次训练模块中的各小神经网络语言模型模块包括接收输入量的映射层、进行概率计算的隐藏层和输出层。
采用这样的设计后,本发明至少具有以下优点和有益效果:
1、通过多个神经网络训练学习不同词表,充分利用神经网络的学习能力,大大降低对大词表学习训练的时间,这样可以解决利用NNLM训练学习大词表的时间问题和未充分利用神经网络的问题;
2、可以将大词表的输出进行归一化,实现多个神经网络的归一和共享,使得NNLM尽可能学习更多的信息,从而提高大规模语音识别和机器翻译的准确率。
附图说明
上述仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,以下结合附图与具体实施方式对本发明作进一步的详细说明。
图1是现有的神经网络语言模型的示意图。
图2是本发明基于分布式神经网络的语言模型的示意图。
图3是本发明基于分布式神经网络的语言模型的归一模型示意图。
图4是本发明基于分布式神经网络的语言模型的训练方法流程示意图。
具体实施方式
请参阅图2所示,为了解决大词表的神经网络模型训练和训练时间过长的问题,我们提出了基于分布式神经网络的语言模型。即将大词表拆分成多个小词表,每个小词表对应一个小神经网络,并且每个小神经网络的输入维数是相同的。
例如,配合参阅图1所示,目前现有10w的词表,即神经网络的输出层是10w维,P(wj|h)中w是从1-10w。本发明分布式神经网络的语言模型就是将输出层拆分成10个,即利用10个小神经网模型来训练不同的词表,p1(wj|h)中w从1-1w,p2(wj|h)中w从1w-2w,依次类推,最后进行网络的合并。
进一步具体来说,从图2可以看到,对于分布式神经网络语言模型,首先要对应不同的词表进行训练学习。如现有N的词表,将N平均分成m个小词表。利用图1所示的结构进行训练(注意输入层是一样的),分别得到m个小神经网络语言模型:P1,P2,P3….Pm,如图2所示将m个小神经网络语言模型进行合并,形成一个大的神经网络P。因此,概率计算公式:
其中,是归一化函数:当w在第m小词表时,相应的将变大。这与神经网络的结构是对应的,因为第m个词表独立学习w的能力是最强的,因此权重比较大。
这个神经网络即包含了不同词表的更多的信息,同时还可以支持大词表的语言模型的使用。通过利用多个小神经网络训练学习不同词表的语言模型,对大词表中所有词进行学习训练,充分利用神经网络的学习能力,大大降低对大词表学习训练的时间,这样可以解决利用NNLM训练学习大词表的时间问题和未充分利用神经网络的问题。
上述虽然解决了大词表的训练问题,但是由于不同小神经网络训练相互独立,所以在最后合并神经网络模型时,需要解决各个小神经网络最后输出概率不归一的问题。因此,为了解决此问题,本发明提出了二次学习归一和合并的分布式神经网络语言模型的算法,在神经网络后增加一个隐藏层和输出层,将多个小神经网络模型进行归一合并,训练生成
请继续参阅图3所示,在得到的训练好的m个小神经网络语言模型(Multi Net)后加一层隐藏层和输出层。首先m个模型(Multi Net)同时产生m个输出层,将m个输出向量合并成一个大的向量F(F=(P1(o)T,P2(o)T,…,Pm(o)T)T),作为第二次训练模型的隐藏层的输入向量。由此,我们可以可得到wi的概率公式:
第二次训练的概率计算公式为:
其中,
softmax(x)=exp(xi)/(sum(exp(xr))),
P1(o)T,P2(o)T,…,Pm(o)T为每个小神经网络语言模型的输出,
x为输入的词向量,M是映射层到隐藏层的系数矩阵,b为隐藏层节点的偏移量,V为隐藏层到输出层的系数矩阵,d为输出层节点的偏移量。
经过二次训练,神经网络会不断优化函数从中也可以看出,当被训练的充分光滑后,可以使得多个网络最后完整归为一个大的网络,充分利用了多个神经网络的优势,并且不存在归一化问题。
由于二次训练学习的目标是合并和归一化分布式的神经网络语言模型,所以在更新的过程中,不需要对各个小神经网络进行更新,只需不断训练函数因而大大减少了计算量。
请配合参阅图4所示,本发明对于分布式神经网络语言模型的训练流程为:首先需要利用图2的多个小神经网络训练并行生成多个小神经网络N1,N2…Nm,分别对应不同的词表;第一步训练完成后,接下来需要进行二次训练归一和合并多个小神经网络。图3给出了对应神经网络模型的构造,利用第一次训练的多个神经网络进行二次训练,得到合并和归一后的神经网络。
以上所述,仅是本发明的较佳实施例而已,并非对本发明作任何形式上的限制,本领域技术人员利用上述揭示的技术内容做出些许简单修改、等同变化或修饰,均落在本发明的保护范围内。
Claims (4)
1.一种基于分布式神经网络的语言模型训练方法,其特征在于包括以下步骤:
将大词表拆分为多个小词表;
将每个小词表对应一个小神经网络语言模型,每个小神经网络语言模型的输入维数相同且独立进行第一次训练;
将各小神经网络语言模型的输出向量合并并进行第二次训练;
得到归一化的神经网络语言模型;
所述的第二次训练神经网络的输出概率计算公式为:
其中,
softmax(x)=exp(xi)/Σr(exp(xr))),
P1(o)T,P2(o)T,…,Pm(o)T为每个小神经网络语言模型的输出,
x为第二次训练神经网络的输入,M是映射层到隐藏层的系数矩阵,b为隐藏层节点的偏移量,V为隐藏层到输出层的系数矩阵,d为输出层节点的偏移量。
2.根据权利要求1所述的基于分布式神经网络的语言模型训练方法,其特征在于所述的第一次训练神经网络的输出概率计算公式为:
其中,wj即为该小神经网络语言模型对应词表中的第j个词,hj为wj前N个词,是归一化函数当w在第m小词表时,相应的较大。
3.一种应用权利要求1或2所述方法的基于分布式神经网络的语言模型训练系统,其特征在于包括:
输入模块,用于将大词表拆分为多个小词表;
第一次训练模块,包括多个独立的小神经网络语言模型模块,每个小神经网络语言模型模块对应输入模块的一个小词表进行独立训练;
第二次训练模块,用于将第一次训练模块中各小神经网络语言模型模块的输出向量合并,并进行第二次训练;
输出模块,用于输出第二次训练模块得到归一化的神经网络语言模型。
4.根据权利要求3所述的基于分布式神经网络的语言模型训练系统,其特征在于所述的第一次训练模块中的各小神经网络语言模型模块包括接收输入量的映射层、进行概率计算的隐藏层和输出层。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410067916.9A CN103810999B (zh) | 2014-02-27 | 2014-02-27 | 基于分布式神经网络的语言模型训练方法及其系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410067916.9A CN103810999B (zh) | 2014-02-27 | 2014-02-27 | 基于分布式神经网络的语言模型训练方法及其系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103810999A CN103810999A (zh) | 2014-05-21 |
CN103810999B true CN103810999B (zh) | 2016-10-19 |
Family
ID=50707678
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410067916.9A Expired - Fee Related CN103810999B (zh) | 2014-02-27 | 2014-02-27 | 基于分布式神经网络的语言模型训练方法及其系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103810999B (zh) |
Families Citing this family (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105279552B (zh) * | 2014-06-18 | 2018-06-22 | 清华大学 | 一种基于字的神经网络的训练方法和装置 |
EP3192016B1 (en) * | 2014-09-12 | 2019-05-08 | Microsoft Technology Licensing, LLC | Computing system for training neural networks |
US9520128B2 (en) * | 2014-09-23 | 2016-12-13 | Intel Corporation | Frame skipping with extrapolation and outputs on demand neural network for automatic speech recognition |
CN105447053A (zh) * | 2014-09-26 | 2016-03-30 | 北大方正集团有限公司 | 计算领域知识点的相关知识点的方法及系统 |
CN104391963A (zh) * | 2014-12-01 | 2015-03-04 | 北京中科创益科技有限公司 | 一种自然语言文本关键词关联网络构建方法 |
CN104375989A (zh) * | 2014-12-01 | 2015-02-25 | 国家电网公司 | 自然语言文本关键词关联网络构建系统 |
KR102167719B1 (ko) * | 2014-12-08 | 2020-10-19 | 삼성전자주식회사 | 언어 모델 학습 방법 및 장치, 음성 인식 방법 및 장치 |
KR102305584B1 (ko) * | 2015-01-19 | 2021-09-27 | 삼성전자주식회사 | 언어 모델 학습 방법 및 장치, 언어 인식 방법 및 장치 |
EP3251059B1 (en) * | 2015-01-28 | 2018-12-05 | Google LLC | Batch normalization layers |
CN106297774B (zh) * | 2015-05-29 | 2019-07-09 | 中国科学院声学研究所 | 一种神经网络声学模型的分布式并行训练方法及系统 |
GB201511887D0 (en) * | 2015-07-07 | 2015-08-19 | Touchtype Ltd | Improved artificial neural network for language modelling and prediction |
CN105095185A (zh) * | 2015-07-21 | 2015-11-25 | 北京旷视科技有限公司 | 一种作者分析方法和作者分析系统 |
CN105183720B (zh) * | 2015-08-05 | 2019-07-09 | 百度在线网络技术(北京)有限公司 | 基于rnn模型的机器翻译方法和装置 |
CN106486115A (zh) * | 2015-08-28 | 2017-03-08 | 株式会社东芝 | 改进神经网络语言模型的方法和装置及语音识别方法和装置 |
CN106611599A (zh) * | 2015-10-21 | 2017-05-03 | 展讯通信(上海)有限公司 | 基于人工神经网络的语音识别方法、装置及电子设备 |
CN105654945B (zh) * | 2015-10-29 | 2020-03-06 | 乐融致新电子科技(天津)有限公司 | 一种语言模型的训练方法及装置、设备 |
CN105354277B (zh) * | 2015-10-30 | 2020-11-06 | 中国船舶重工集团公司第七0九研究所 | 一种基于递归神经网络的推荐方法及系统 |
CN105868181B (zh) * | 2016-04-21 | 2018-08-21 | 南京大学 | 基于新型神经网络的自然语言并列结构的自动识别方法 |
CN107785016A (zh) * | 2016-08-31 | 2018-03-09 | 株式会社东芝 | 训练神经网络辅助模型的方法和装置及语音识别方法和装置 |
CN107391575B (zh) * | 2017-06-20 | 2020-08-04 | 浙江理工大学 | 一种基于词向量模型的隐式特征识别方法 |
US20190050714A1 (en) * | 2017-08-09 | 2019-02-14 | Ants Technology (Hk) Limited | Modular distributed artificial neural networks |
CN108417210B (zh) * | 2018-01-10 | 2020-06-26 | 苏州思必驰信息科技有限公司 | 一种词嵌入语言模型训练方法、词语识别方法及系统 |
CN108549703B (zh) * | 2018-04-17 | 2022-03-25 | 内蒙古工业大学 | 一种基于循环神经网络的蒙古语语言模型的训练方法 |
CN110874402B (zh) * | 2018-08-29 | 2024-05-14 | 北京三星通信技术研究有限公司 | 基于个性化信息的回复生成方法、设备和计算机可读介质 |
WO2020062250A1 (zh) * | 2018-09-30 | 2020-04-02 | 华为技术有限公司 | 训练人工神经网络的方法和装置 |
CN109614492B (zh) * | 2018-12-29 | 2024-06-18 | 平安科技(深圳)有限公司 | 基于人工智能的文本数据增强方法、装置、设备及存储介质 |
CN110111797A (zh) * | 2019-04-04 | 2019-08-09 | 湖北工业大学 | 基于高斯超矢量和深度神经网络的说话人识别方法 |
CN110263352B (zh) * | 2019-06-18 | 2023-04-07 | 澳门大学 | 用于训练深层神经机器翻译模型的方法及装置 |
CN110600018B (zh) * | 2019-09-05 | 2022-04-26 | 腾讯科技(深圳)有限公司 | 语音识别方法及装置、神经网络训练方法及装置 |
CN110717851B (zh) * | 2019-10-18 | 2023-10-27 | 京东方科技集团股份有限公司 | 图像处理方法及装置、神经网络的训练方法、存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5299284A (en) * | 1990-04-09 | 1994-03-29 | Arizona Board Of Regents, Acting On Behalf Of Arizona State University | Pattern classification using linear programming |
CN1677388A (zh) * | 2004-03-30 | 2005-10-05 | 微软公司 | 用于逻辑形式的统计语言模型 |
JP2008040684A (ja) * | 2006-08-03 | 2008-02-21 | Matsushita Electric Works Ltd | 信号識別装置の学習方法 |
CN103400577A (zh) * | 2013-08-01 | 2013-11-20 | 百度在线网络技术(北京)有限公司 | 多语种语音识别的声学模型建立方法和装置 |
-
2014
- 2014-02-27 CN CN201410067916.9A patent/CN103810999B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5299284A (en) * | 1990-04-09 | 1994-03-29 | Arizona Board Of Regents, Acting On Behalf Of Arizona State University | Pattern classification using linear programming |
CN1677388A (zh) * | 2004-03-30 | 2005-10-05 | 微软公司 | 用于逻辑形式的统计语言模型 |
JP2008040684A (ja) * | 2006-08-03 | 2008-02-21 | Matsushita Electric Works Ltd | 信号識別装置の学習方法 |
CN103400577A (zh) * | 2013-08-01 | 2013-11-20 | 百度在线网络技术(北京)有限公司 | 多语种语音识别的声学模型建立方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN103810999A (zh) | 2014-05-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103810999B (zh) | 基于分布式神经网络的语言模型训练方法及其系统 | |
CN107273355B (zh) | 一种基于字词联合训练的中文词向量生成方法 | |
JP7109302B2 (ja) | 文章生成モデルのアップデート方法及び文章生成装置 | |
CN109284406B (zh) | 基于差异循环神经网络的意图识别方法 | |
CN108229582A (zh) | 一种面向医学领域的多任务命名实体识别对抗训练方法 | |
CN108363695B (zh) | 一种基于双向依赖语法树表征的用户评论属性抽取方法 | |
CN110046248B (zh) | 用于文本分析的模型训练方法、文本分类方法和装置 | |
US20120253792A1 (en) | Sentiment Classification Based on Supervised Latent N-Gram Analysis | |
Yu et al. | Sequential labeling using deep-structured conditional random fields | |
WO2019083812A1 (en) | GENERATION OF DOUBLE-SEQUENCE INFERENCES USING A NEURONAL NETWORK MODEL | |
CN106649514A (zh) | 用于受人启发的简单问答(hisqa)的系统和方法 | |
CN111414749B (zh) | 基于深度神经网络的社交文本依存句法分析系统 | |
CN110263325A (zh) | 中文分词系统 | |
CN112015868A (zh) | 基于知识图谱补全的问答方法 | |
Tseng et al. | A generative model for joint natural language understanding and generation | |
CN106970981B (zh) | 一种基于转移矩阵构建关系抽取模型的方法 | |
CN111930915B (zh) | 会话信息处理方法、装置、计算机可读存储介质及设备 | |
WO2014073206A1 (ja) | 情報処理装置、及び、情報処理方法 | |
CN113434683A (zh) | 文本分类方法、装置、介质及电子设备 | |
CN113157919A (zh) | 语句文本方面级情感分类方法及系统 | |
CN114925205B (zh) | 基于对比学习的gcn-gru文本分类方法 | |
CN109086463A (zh) | 一种基于区域卷积神经网络的问答社区标签推荐方法 | |
CN114117048A (zh) | 一种文本分类的方法、装置、计算机设备及存储介质 | |
CN108846125A (zh) | 对话生成方法、装置、终端和计算机可读存储介质 | |
CN115329075A (zh) | 基于分布式机器学习的文本分类方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20161019 |
|
CF01 | Termination of patent right due to non-payment of annual fee |