CN104834747B - 基于卷积神经网络的短文本分类方法 - Google Patents
基于卷积神经网络的短文本分类方法 Download PDFInfo
- Publication number
- CN104834747B CN104834747B CN201510271672.0A CN201510271672A CN104834747B CN 104834747 B CN104834747 B CN 104834747B CN 201510271672 A CN201510271672 A CN 201510271672A CN 104834747 B CN104834747 B CN 104834747B
- Authority
- CN
- China
- Prior art keywords
- mrow
- mtr
- mtd
- short text
- semantic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 47
- 239000011159 matrix material Substances 0.000 claims abstract description 51
- 102000008297 Nuclear Matrix-Associated Proteins Human genes 0.000 claims abstract description 31
- 108010035916 Nuclear Matrix-Associated Proteins Proteins 0.000 claims abstract description 31
- 210000000299 nuclear matrix Anatomy 0.000 claims abstract description 31
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 claims abstract description 22
- 238000013507 mapping Methods 0.000 claims abstract description 18
- 238000005070 sampling Methods 0.000 claims abstract description 5
- 230000009466 transformation Effects 0.000 claims abstract description 4
- 210000004027 cell Anatomy 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims description 2
- 230000032258 transport Effects 0.000 claims 1
- 238000000605 extraction Methods 0.000 abstract description 8
- 238000012549 training Methods 0.000 description 25
- 238000012360 testing method Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 7
- 238000013480 data collection Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 239000000463 material Substances 0.000 description 5
- 238000003058 natural language processing Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000000306 recurrent effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000007935 neutral effect Effects 0.000 description 3
- 206010068052 Mosaicism Diseases 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 210000003765 sex chromosome Anatomy 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 235000006693 Cassia laevigata Nutrition 0.000 description 1
- 241000522641 Senna Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 239000000686 essence Substances 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 229940124513 senna glycoside Drugs 0.000 description 1
- IPQVTOJGNYVQEO-KGFNBKMBSA-N sennoside A Chemical group O[C@@H]1[C@@H](O)[C@H](O)[C@@H](CO)O[C@H]1OC1=CC=CC2=C1C(=O)C1=C(O)C=C(C(O)=O)C=C1[C@@H]2[C@H]1C2=CC(C(O)=O)=CC(O)=C2C(=O)C2=C(O[C@H]3[C@@H]([C@@H](O)[C@H](O)[C@@H](CO)O3)O)C=CC=C21 IPQVTOJGNYVQEO-KGFNBKMBSA-N 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明是一种基于卷积神经网络的短文本分类方法，该卷积神经网络共分五层：第一层，获取短文本中的多尺度候选语义单元；第二层，计算每一个候选语义单元与向量空间中所有词表示向量的欧式距离并找出最近邻的词表示，选择所有满足欧式距离预设阈值的最近邻词表示构建语义扩展矩阵；第三层，用多个不同宽度、不同权值的核矩阵分别对短文本的映射矩阵和语义扩展矩阵进行二维卷积运算提取局部卷积特征并生成多层局部卷积特征矩阵；第四层，对多层局部卷积特征矩阵进行下采样并得到多层全局特征矩阵，将所述全局特征矩阵进行非线性正切变换并转换为定长的语义特征向量；第五层，将语义特征向量赋予分类器，对短文本的类别进行预测。
Description
技术领域
本发明涉及文本挖掘和深度学习技术领域，是一种基于卷积神经网络的短文本分类方法，可应用于短文本语义向量化表示，并进行海量短文本分类、聚类任务，以及情感分析等，并最终应用于用户意图理解，智能信息检索，推荐系统和社交网络等子领域。
背景技术
短文本分析是自然语言处理领域的一项基础任务，能够有效帮助用户从海量的短文本资源中发掘有用的信息。特别是随着移动互联网的成熟，大量的短文本信息丰富而繁杂，比如用户个人信息、地理位置、微信息、产品评论、新闻标题等，而特定用户所关注的有用信息也被海量的资源所湮没。因此一种高效的短文本分类方法可以改善系统对短文本内容的理解，让系统更加智能的管理和使用这些海量的数据资源，对于构建智能网络和智能系统有重要作用。
短文本自动分类是文本挖掘领域中一个重要的子问题。与其紧密相关的技术领域包括：知识问答、意图理解以及信息检索等。目前，短文本分类任务的一个显著特征是总体数据量巨大，数据类型多元化，呈无结构化存储。由于短文本受其长度的限制，所包含的词语共现和上下文信息不足，因此基于统计量的传统的文本表示方法和分类模型面临数据稀疏性和语义敏感性问题。同时由于同义词和多义词的影响，语义表达上的歧义性问题在短文本相关任务中更容易遇到。因此，准确的进行短文本的语义特征表示并实现自动分类，仍然是一项极具挑战性而且亟待解决的技术。
对短文本进行语义特征向量表示，基本要求是能够尽量保留原始文本的语义信息，同时尽量解决数据稀疏性和语义敏感性问题。近年来，关于短文本的语义特征向量化表示方法的研究，总体上可以分为两种，其一是基于统计量的方法，包括词袋模型(Bag ofWords，BOW)，该算法使用词频-逆文档频率(TF-IDF)作为权重系数，以及各种主题模型，如潜在狄利克雷分配(Latent Dirichlet Allocation，LDA)、潜在语义索引(LatentSemantic Indexing，LSI)和概率潜在语义分析(probabilistic Latent SemanticAnalysis，pLSA)等；其二是基于神经网络语言模型，可以获得每个词语的向量化表示，简称为词表示或者词嵌入(Word embedding)，并将短文本在特征空间中映射为定长的语义特征向量。后者和前者相比较，优点主要包括在对短文本进行语义特征表示时考虑了词语的语义信息和词语在上下文中的依赖关系，所得特征向量的维数可控，能有效解决由于短文本自身特性所造成的稀疏性和语义敏感性问题。
为了弥补短文本上下文信息不足的问题，有研究者提出基于主题模型挖掘潜在的语义信息，对短文本内容进行信息扩展。其中主题模型的训练需要借助大规模的外部辅助语料，而该外部辅助语料要求和待扩展短文本数据集具有语义一致性。但是，所述利用主题模型的潜语义信息提取是基于统计模型的方法，仍然依赖短文本上下文的词语共现信息，不能做到语义层次上的特征表达。因此，一种专门用于短文本主题建模的算法被提出，命名为二元词包主题模型(Biterm Topic Model，BTM)，该算法不再直接对短文本句子进行建模，而是以二元词包为建模目标。所述BTM模型较传统主题模型，能在一定程度上解决短文本的数据稀疏性问题，但是没有得到词语层次上有效的语义向量表示，短文本的歧义性问题没有得到解决。再就是基于搜索引擎对短文本内容进行扩展，首先提取所述短文本中出现的核心词语作为搜索关键词(Query)，然后提交至搜索引擎进行检索，将返回的结果作为所述短文本的扩展信息。但是该方法在处理海量短文本时，其时间复杂度很大。
众所周知，深度学习(Deep Learning)算法在语音识别和图像处理领域取得了令人瞩目的成果，因此自然语言处理(Natural Language Processing，NLP)领域相关研究者也将深度学习用于语言模型的训练。所述深度学习相关方法通过组合低层文本信息，形成更加抽象的高层表示，同时获得词语的语义向量表示(分布式特征表示)。较传统BOW模型和主题模型，所述基于深度学习的方法能够更好的捕捉词、短语以及句子级别的语义信息，如递归神经网络(Recursive Neural Network)，卷积神经网络(ConvolutionalNeuralNetwork)，循环神经网络(Recurrent Neural Network)以及长-短时记忆模型(Long-shortTime Memory，LSTM)等已被应用于自然语言处理相关任务并取得了良好的效果。基于深度语言模型对短文本语义特征进行向量化表示，比较经典的方法是基于词的向量表示进行语义合成，主流的方法包括依赖语法树的递归神经网络(Matrix-vectorRecurrentNeuralNetwork，MV-RNN)，该算法首先通过对短文本进行句法解析，得到语义树结构，每一个叶子节点表示短文本中出现的一个词或者短语，然后使用矩阵-向量运算对词向量进行有序结合；段向量(Paragraph Vector，PV)方法将每一个段落赋予一个和词语类似的标号，并与词语做同等训练，即在词向量训练过程中同时完成段落的语义向量化表示。所述算法PV在对所有文档进行训练过程中，每一个段落的标号保持不变，并共享所有词的语义向量表示，即相当于在预测的每一个词在上下文出现的概率时，都利用了整个段落的语义。研究结果表明，所述算法PV也适用于对短文本句子进行语义特征向量化建模；动态卷积神经网络(Dynamic ConvolutionalNeural Network，DCNN)，是基于卷积神经网络改进的用于句子向量化建模的算法，主要体现在卷积操作结束之后，采用动态多值池化(k-max pooling)算法对多层局部特征矩阵进行下采样。
综上所述，对短文本语义特征进行向量化表示，目前流行的技术主要存在以下四个问题：
一、由于短文本上下文信息不足，以及关键词出现在不同的上下文环境中表达不同的语义，即短文本在进行语义特征向量表示时存在数据稀疏性和语义敏感性问题。
二、基于主题模型的短文本信息扩展技术，能在一定程度上缓解数据稀疏性的影响，但是主题模型的训练依赖大规模的外部辅助语料，而所述外部辅助语料要求与待扩展短文本数据集保持语义一致性，使得所述外部辅助语料的搜集过程耗时耗力。
三、利用搜索引擎对短文本内容进行扩展的方法，时间复杂度较大，难以适应海量数据或者在线数据的处理。
四、基于深度学习的短文本建模方法，仅仅利用有限的上下文进行语义合成，由于所述短文本包含的词共现信息有限，因此并不能有效的解决语义敏感性问题。
以上所述在短文本语义特征向量化表示过程中存在的这些问题，都在一定程度上导致无法准确的获取短文本的特征表示，并进而影响分类任务的性能。本发明提出一种基于卷积神经网络的短文本分类方法，实验证明所提方法能大幅改善短文本分类任务的性能。
发明内容
针对上述四个主要问题，本发明提出了一种基于卷积神经网络的短文本分类方法，使用预训练的词表示向量对短文本进行语义扩展，然后利用卷积神经网络提取定长的语义特征向量，用于训练分类器，对所述短文本的类别进行预测。所述发明方法解决了在短文本语义特征向量化表示中，词袋模型存在的数据稀疏性和语义敏感性问题。同时，较传统基于深度语言模型的方法，本发明通过对短文本进行语义扩展，使其语义特征向量化表示得到进一步增强，并最终使其分类任务的性能得以改善。
本发明所提出的一种基于卷积神经网络的短文本分类方法包括以下步骤：
步骤1：在卷积神经网络的第一层，获取输入短文本中每一个词的向量化表示并组成映射矩阵；利用所述映射矩阵和权值为1的核矩阵进行一维卷积运算，检测出所述短文本中潜在的多尺度候选语义单元；
步骤2：在卷积神经网络的第二层，计算所述候选语义单元与向量空间中所有词表示向量的欧式距离，并找出每个候选语义单元最近邻词表示；选出所有满足欧式距离预设阈值条件的最近邻词表示，构建语义扩展矩阵，作为所述短文本的扩展信息；
步骤3：在卷积神经网络的第三层，使用多个不同宽度、包含不同权值的核矩阵分别对所述短文本的映射矩阵和语义扩展矩阵进行二维卷积运算，提取局部卷积特征，并生成多层局部卷积特征矩阵；
步骤4：在卷积神经网络的第四层，使用k-max pooling算法对多层局部卷积特征矩阵进行下采样，得到所述短文本的全局特征矩阵；将全局特征矩阵进行非线性正切变换，并将变换后的特征矩阵转换为语义特征向量；
步骤5：在卷积神经网络的输出层，将短文本的语义特征向量赋予分类器，对短文本的类别进行预测。
本发明的有益效果：本发明提出的基于卷积神经网络的短文本分类方法，利用预训练的词表示集合初始化卷积神经网络的词表，引入了外部大量的有用信息，并最终用于短文本的语义信息扩展，有效解决了短文本上下文信息不足的问题。本发明不依赖于复杂的句法分析树，通过卷积神经网络提取多层局部卷积特征矩阵，有效挖掘所述短文本中的语义信息和词语之间的关联信息，改善了短文本的语义敏感性问题，并提高了短文本的分类性能。本发明主要针对短文本的特性，提出一种面向短文本的语义特征向量表示方法，并应用于短文本分类任务。但是，对于知识问答、用户意图理解、智能检索等其他相关领域亦具有借鉴意义。本发明方法较传统语言模型，不依赖于句法分析树，执行效率高，充分利用短文本有限的上下文语义信息；较基于词袋模型的短文本特征表示方法，有效缓解了数据稀疏性问题和语义敏感性问题，充分利用词语之间的语序信息；基于预训练好的词表示向量对短文本进行扩展，引入有效的外部信息，改善短文本的分类性能。
附图说明
图1a是本发明提出的基于卷积神经网络的短文本分类的流程图。
图1b是本发明提出的基于词的语义向量表示，对短文本进行语义扩展的流程图。
图2是本发明方法在测试数据集上的语义扩展数量-精度对比曲线图。
图3是本发明方法在测试数据集上的欧式距离-精度对比曲线图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
本发明提出了一种基于卷积神经网络的短文本分类方法，具体为基于预训练的词表示向量对短文本进行语义扩展，有效解决了短文本上下文信息不足的问题。然后，通过卷积神经网络对所述扩展后的短文本提取定长的语义特征向量，充分挖掘短文本中词语之间的语义信息。本发明的基本特征主要有以下六个方面：一是使用预训练的词的语义向量表示初始化卷积神经网络的词表，引入大量外部有用的知识；二是，在模型训练过程中，不再更新所述卷积神经网络的词表，使模型收敛速度更快；三是不依赖于复杂的句法分析树，使得模型整体架构得以简化，同时避免为后续特征的提取引入新的噪声；四是提出一种面向短文本的多尺度语义单元检测方法；五是提出并应用了一种针对短文本的语义扩展矩阵的构建方法，在语义向量空间中，通过计算每一个语义单元的最近邻词表示，并选择满足预设欧式距离阈值条件的最近邻词表示构建语义扩展矩阵；六是提出一种基于所述短文本的映射矩阵和语义扩展矩阵，提取定长语义特征向量的方法。实验证明，与其它方法相比，本发明所提方法，能够提取有效的语义信息，进一步提高短文本分类的准确度。
请参阅图1a基于卷积神经网络的短文本分类方法，首先示出输入短文本，再经过构建的映射矩阵、语义扩展矩阵，二维卷积运算，k值最大池化算法(k-max pooling)，获得分类器的流程示意图，该方法具体实施例包括以下步骤：
步骤1，使用预训练的词表示向量集合对卷积神经网络的词表LT进行初始化，有效引入对短文本分类有用的外部信息；
步骤2，在卷积神经网络的第一层，通过查询词表LT的方法，获得输入短文本中出现在词表LT中的所有词的语义向量表示，并组成映射矩阵；利用映射矩阵和权值为1的核矩阵进行一维卷积运算，检测出所述短文本中潜在的多尺度候选语义单元；对于所述短文本中的个别词没有出现在所述词表LT中的情况，本实施案例采用直接丢弃的方法(由于词表LT能覆盖绝大部分的常用词，因此可将不包含的词作停用词处理)。利用所述查询到的词的语义向量，依序排列，构建映射矩阵PM，具体计算公式为：
PM＝LT·index(Sen) (1)
其中，Sen＝{w1，w2，...，wN}是包含N个词的短文本，index()是所述短文本中的词语在所述词表LT中的索引函数。
表1是本发明所提方法中使用的参数定义及说明。
利用短文本对应的映射矩阵PM，对所述短文本中的候选语义单元进行检测。多尺度候选语义单元Si的一维卷积运算的具体计算公式为：
其中，Ewin是采用的核矩阵，所有核矩阵Ewin中的所有权值为1，Si是短文本中存在的第i个候选的语义单元，1≤i≤l-m+1，l-m+1为候选语义单元的数量，l是短文本的长度，m是所述核矩阵的宽度，候选语义单元Si的计算公式为：
其中，PMwin，i是核矩阵Ewin在短文本的映射矩阵PM上第i次滑动时所覆盖的子矩阵，是所述子矩阵PMwin，i的第j列，j＝1，2...，|PMwin，i|。由于卷积核矩阵Ewin的尺度可以调整，因此随着m值的变化，可以检测到多尺度候选语义单元。
表1 参数定义
步骤3，利用所述候选语义单元Si和词表LT，为所述短文本构建语义扩展矩阵EM，作为对所述短文本的信息补充，请参阅图1b是本发明提出的基于词的语义向量表示，对短文本进行语义扩展的具体操作为：
在卷积神经网络的第二层，计算每一个候选语义单元Si与向量空间中所有词的语义向量表示或称词表示向量的欧式距离，并找出每个候选语义单元的最近邻词表示，选出所有满足欧式距离预设阈值条件的最近邻词表示，构建语义扩展矩阵，作为所述短文本的扩展信息；所述候选语义单元与其最近邻词表示向量之间的欧式距离小于所述预设阈值，候选语义单元为有效语义单元，则将有效语义单元的最近邻词表示用于构建语义扩展矩阵；所述候选语义单元与其最近邻词表示向量之间的欧式距离不小于所述预设阈值，候选语义单元为无效语义单元，其最近邻词表示向量不包含对短文本分类有用的信息，则丢弃所述无效语义单元的最近邻词表示。当假设所述候选语义单元与其最近邻词表示的欧式距离为ρmin。依据实验，设置欧式距离预设阈值ρ*，并依据如下条件识别有效的语义单元，
然后选择所有满足条件(4)的语义单元的最近邻词表示，依序排列，构建所述短文本的语义扩展矩阵EM。
步骤4，在卷积神经网络的第三层，利用在训练阶段得到的多个不同宽度、包含不同权值核矩阵(核矩阵的数目为本发明方法的超参数之一)，分别对所述短文本的映射矩阵PM和语义扩展矩阵EM做二维卷积运算，提取多层局部卷积特征，并生成多层局部卷积特征矩阵C；
其中，如图1a，卷积层核矩阵ki，输出层连接权值以及多类逻辑斯特回归分类器都是在所述卷积神经网络的训练阶段获得，而具体的训练过程又包括以下步骤：
A，本发明所采用的卷积神经网络，在输出层通过多类逻辑斯特回归分类器对所述短文本的类别预测一个概率分布p(zj|xi，θ)具体计算公式为：
其中，xi是所述输入短文本，zj是第j个类别，θ是所述卷积神经网络中需要估计的超参数的集合，Z是训练样本预定义的类别集合，φj(xi，θ)是所述网络结构对样本xi在类别zj上的评分，即通过多类逻辑斯特回归分类器将所述评分映射为关于所有预定义类别的概率分布向量，该概率向量的维度与所述预定义的类别集合大小一致。
B.在对所述卷积神经网络结构进行训练时，本发明采用的训练目标函数是最小化目标概率分布和实际概率分布的交叉熵，训练目标函数J(θ)的定义式为：
其中，t是训练样本数目，α是正则化因子，是样本xi的正确类别。
C.基于所述训练目标函数，通过梯度下降算法计算批量样本的误差，并使用反馈传播(Back Propagation，BP)的方式更新所述网络结构的超参数的集合θ，具体的更新公式为：
其中，λ是学习率。
通过所述训练过程，得到所述卷积神经网络的卷积层核矩阵(视为局部特征提取器)后，提取多层局部卷积特征矩阵C的计算公式为，
其中，ki∈R2×n是第i个核矩阵，n是核矩阵的宽度，d是词表示向量的维数。是核矩阵ki在映射矩阵PM或者语义扩展矩阵EM上覆盖的子矩阵。ci是核矩阵ki与子矩阵对应的卷积结果，卷积结果具体计算公式为：
其中，为核矩阵ki第j次滑动计算得到的卷积结果。为了提取更鲁棒的信息，对于所述映射矩阵PM和语义扩展矩阵EM分别使用不同的卷积核矩阵，T为矩阵转置运算。
步骤5，在卷积神经网络的第四层，使用k值最大池化算法(k-max pooling)对所述多层局部卷积特征矩阵C进行下采样，得到所述短文本的全局特征矩阵，其中采样数目k是动态确定的。
将所述全局特征矩阵进行非线性正切变换，并将变换后的特征矩阵转化为语义特征向量，并依序连接，即得到所述短文本的语义特征向量化表示。所述语义特征向量为输入短文本的向量化语义特征表示。
步骤6，在卷积神经网络的输出层，将短文本的向量化语义特征表示赋予多类逻辑斯特回归分类器，并对所述短文本的类别进行预测。
实施例采用的环境参数和模型参数
所述实施例，所采用的硬件环境为但不限于此：Win7、32位操作系统，Intel i3处理器，CPU主频2.40GHz，内存4G。在所述卷积神经网络中，卷积层采用的核矩阵的数目为6，宽度为5，最大池化操作时k＝3，模型训练时学习率λ＝0.01。
实验说明及结果
为了全面准确的评估本发明所提方法的性能，基于谷歌检索片段数据集(Searchsnippets)和问句类型数据集(TREC)分别进行测试。其中，Search snippets是取自Google网页的搜索片段数据集，共包含8类，其短文本平均长度18.07个词语，数据集共包含训练样本10060条短文本，以及2280条测试短文本。TREC是包含5类的问句类型数据集，比如关于地点，数字，时间，人物和事件等，其中训练样本5452条，测试样本500条。
请参阅图2示出本发明方法在测试数据集上的语义扩展数量-精度对比曲线图的对比结果，本发明方法对短文本进行语义特征向量化提取后，采用多类逻辑斯特回归分类器(softmax)，在Search snippets数据集上取得85.7％的准确率，在TREC数据集上取得96.6％的准确率，同以往方法相比分别降低错识率17.34％和32％。在对短文本进行语义扩展时，改变核矩阵的数目，分别使用三种不同的词的语义向量表示初始化所述卷积神经网络的词表，在所述两个数据集上进行测试。
请参阅图3示出本发明方法在测试数据集上的欧式距离-精度对比曲线图，对候选语义单元进行检测时，改变约束条件中预设的欧式距离阈值，在Search snippets数据集上进行测试，如图3所示分别使用三种不同的词表示向量对所述卷积神经网络的词表LT进行初始化，其中词表示一是SENNA(基于神经网络的语义提取词向量)，词表示二是GloVe(全局词向量)，词表示三是WordVec(谷歌词向量)。
综上所述，本发明提出的一种基于卷积神经网络的短文本分类方法，能充分挖掘短文本中潜在的语义信息，并结合预训练的词的语义向量表示对所述短文本进行语义扩展，有效缓解短文本在进行语义向量表示时遇到的数据稀疏性和语义敏感性问题。基于真实数据集的实验测试，证明了本发明较以往方法，能够大幅增强短文本的特征表达能力，并能够进一步提高短文本分类任务的性能。
以上所述的具体实施例，对本发明的技术方案和测试效果进行了详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于卷积神经网络的短文本分类方法，其特征在于包括以下步骤：
步骤1：在卷积神经网络的第一层，获取输入短文本中每一个词的向量化表示并组成映射矩阵；利用所述映射矩阵和权值为1的核矩阵进行一维卷积运算，检测出所述短文本中潜在的多尺度候选语义单元；
步骤2：在卷积神经网络的第二层，计算所述多尺度候选语义单元与向量空间中所有词表示向量的欧式距离，并找出每个多尺度候选语义单元最近邻词表示；选出所有满足欧式距离预设阈值条件的最近邻词表示，构建语义扩展矩阵，作为所述短文本的扩展信息；
步骤3：在卷积神经网络的第三层，使用多个不同宽度、包含不同权值的核矩阵分别对所述短文本的映射矩阵和语义扩展矩阵进行二维卷积运算，提取局部卷积特征，并生成多层局部卷积特征矩阵；
步骤4：在卷积神经网络的第四层，使用k-max pooling算法对多层局部卷积特征矩阵进行下采样，得到所述短文本的全局特征矩阵；将全局特征矩阵进行非线性正切变换，并将变换后的特征矩阵转换为语义特征向量；
步骤5：在卷积神经网络的输出层，将短文本的语义特征向量赋予分类器，对短文本的类别进行预测。
2.根据权利要求1所述的方法，其特征在于，在卷积神经网络的第一层，通过查表方式获取输入短文本中每一个词的向量化表示。
3.根据权利要求1所述的方法，其特征在于，检测多尺度候选语义单元Si的一维卷积运算如下表示：
<mrow>
<mo>&lsqb;</mo>
<msub>
<mi>S</mi>
<mn>1</mn>
</msub>
<mo>,</mo>
<msub>
<mi>S</mi>
<mn>2</mn>
</msub>
<mo>,</mo>
<mn>...</mn>
<mo>,</mo>
<msub>
<mi>S</mi>
<mrow>
<mi>l</mi>
<mo>-</mo>
<mi>m</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>&rsqb;</mo>
<mo>=</mo>
<mi>P</mi>
<mi>M</mi>
<mo>&CircleTimes;</mo>
<msub>
<mi>E</mi>
<mrow>
<mi>w</mi>
<mi>i</mi>
<mi>n</mi>
</mrow>
</msub>
</mrow>
其中，PM是短文本对应的映射矩阵，Ewin是核矩阵，所述核矩阵中所有权值为1；Si是短文本中存在的第i个可能的语义单元，l-m+1为多尺度候选语义单元的数量，l是短文本的长度，m是核矩阵的尺度，多尺度候选语义单元Si的具体计算如下表示：
<mrow>
<msub>
<mi>S</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mrow>
<mo>|</mo>
<mrow>
<msub>
<mi>PM</mi>
<mrow>
<mi>w</mi>
<mi>i</mi>
<mi>n</mi>
</mrow>
</msub>
<mo>,</mo>
<mi>i</mi>
</mrow>
<mo>|</mo>
</mrow>
</munderover>
<msubsup>
<mi>PM</mi>
<mrow>
<mi>w</mi>
<mi>i</mi>
<mi>n</mi>
<mo>,</mo>
<mi>i</mi>
</mrow>
<mi>j</mi>
</msubsup>
</mrow>
其中，PMwin，i是核矩阵Ewin在短文本的映射矩阵PM上第i次滑动时所覆盖的子矩阵，是子矩阵PMwin，i的第j列，j＝1，2...，|PMwin，i|。
4.根据权利要求1所述的方法，其特征在于，所述多尺度候选语义单元与其最近邻词表示向量之间的欧式距离小于所述预设阈值，多尺度候选语义单元为有效语义单元，则将有效语义单元的最近邻词表示用于构建语义扩展矩阵；所述多尺度候选语义单元与其最近邻词表示向量之间的欧式距离不小于所述预设阈值，多尺度候选语义单元为无效语义单元，其最近邻词表示向量不包含对短文本分类有用的信息，则丢弃所述无效语义单元的最近邻词表示。
5.根据权利要求1所述的方法，其特征在于，所述多层局部卷积特征矩阵C的计算如下表示：
<mrow>
<mi>C</mi>
<mo>=</mo>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<msub>
<mi>c</mi>
<mn>1</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>c</mi>
<mn>2</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>c</mi>
<mrow>
<mi>d</mi>
<mo>/</mo>
<mn>2</mn>
</mrow>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<msub>
<mi>k</mi>
<mn>1</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>k</mi>
<mn>2</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>k</mi>
<mrow>
<mi>d</mi>
<mo>/</mo>
<mn>2</mn>
</mrow>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>&CircleTimes;</mo>
<msup>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<msubsup>
<mi>X</mi>
<mn>1</mn>
<mrow>
<mi>w</mi>
<mi>i</mi>
<mi>n</mi>
</mrow>
</msubsup>
</mtd>
</mtr>
<mtr>
<mtd>
<msubsup>
<mi>X</mi>
<mn>2</mn>
<mrow>
<mi>w</mi>
<mi>i</mi>
<mi>n</mi>
</mrow>
</msubsup>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<msubsup>
<mi>X</mi>
<mrow>
<mi>d</mi>
<mo>/</mo>
<mn>2</mn>
</mrow>
<mrow>
<mi>w</mi>
<mi>i</mi>
<mi>n</mi>
</mrow>
</msubsup>
</mtd>
</mtr>
</mtable>
</mfenced>
<mi>T</mi>
</msup>
</mrow>
其中，ki∈R2×n是第i个核矩阵，n是核矩阵的宽度，d是词表示向量的维数；是第i个核矩阵ki在映射矩阵或者语义扩展矩阵上覆盖的子矩阵；ci是核矩阵ki与子矩阵对应的卷积结果，卷积结果计算如下表示：
<mrow>
<msubsup>
<mi>c</mi>
<mi>i</mi>
<mi>j</mi>
</msubsup>
<mo>=</mo>
<msub>
<mi>k</mi>
<mi>i</mi>
</msub>
<mo>&CenterDot;</mo>
<msup>
<mrow>
<mo>(</mo>
<msubsup>
<mi>X</mi>
<mi>i</mi>
<mrow>
<mi>w</mi>
<mi>i</mi>
<mi>n</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
</msubsup>
<mo>)</mo>
</mrow>
<mi>T</mi>
</msup>
</mrow>
其中，为核矩阵ki在子矩阵上第j次滑动计算得到的卷积结果，T为矩阵转置运算。
6.根据权利要求1所述的方法，其特征在于，所述语义特征向量为输入短文本的向量化语义特征表示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510271672.0A CN104834747B (zh) | 2015-05-25 | 2015-05-25 | 基于卷积神经网络的短文本分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510271672.0A CN104834747B (zh) | 2015-05-25 | 2015-05-25 | 基于卷积神经网络的短文本分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104834747A CN104834747A (zh) | 2015-08-12 |
| CN104834747B true CN104834747B (zh) | 2018-04-27 |
Family
ID=53812633
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510271672.0A Active CN104834747B (zh) | 2015-05-25 | 2015-05-25 | 基于卷积神经网络的短文本分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104834747B (zh) |
Families Citing this family (99)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106897254B (zh) * | 2015-12-18 | 2020-01-21 | 清华大学 | 一种网络表示学习方法 |
| CN105631466B (zh) * | 2015-12-21 | 2019-05-07 | 中国科学院深圳先进技术研究院 | 图像分类的方法及装置 |
| CN105678293A (zh) * | 2015-12-30 | 2016-06-15 | 成都数联铭品科技有限公司 | 一种基于cnn-rnn的复杂图像字序列识别方法 |
| US9792534B2 (en) * | 2016-01-13 | 2017-10-17 | Adobe Systems Incorporated | Semantic natural language vector space |
| CN105808526B (zh) | 2016-03-30 | 2019-07-30 | 北京京东尚科信息技术有限公司 | 商品短文本核心词提取方法和装置 |
| CN107305574A (zh) * | 2016-04-25 | 2017-10-31 | 百度在线网络技术（北京）有限公司 | 对象搜索方法及装置 |
| CN105956532B (zh) * | 2016-04-25 | 2019-05-21 | 大连理工大学 | 一种基于多尺度卷积神经网络的交通场景分类方法 |
| CN105975497A (zh) * | 2016-04-27 | 2016-09-28 | 清华大学 | 微博话题自动推荐方法及装置 |
| CN105930503A (zh) * | 2016-05-09 | 2016-09-07 | 清华大学 | 基于组合特征向量和深度学习的情感分类方法及装置 |
| CN105975594A (zh) * | 2016-05-09 | 2016-09-28 | 清华大学 | 基于组合特征向量和SVMperf的情感分类方法及装置 |
| CN106126492B (zh) * | 2016-06-07 | 2019-02-05 | 北京高地信息技术有限公司 | 基于双向lstm神经网络的语句识别方法及装置 |
| CN106126596B (zh) * | 2016-06-20 | 2019-08-23 | 中国科学院自动化研究所 | 一种基于层次化记忆网络的问答方法 |
| CN106202044A (zh) * | 2016-07-07 | 2016-12-07 | 武汉理工大学 | 一种基于深度神经网络的实体关系抽取方法 |
| CN107734131B (zh) * | 2016-08-11 | 2021-02-12 | 中兴通讯股份有限公司 | 一种短信息分类方法及装置 |
| CN106339718A (zh) * | 2016-08-18 | 2017-01-18 | 苏州大学 | 一种基于神经网络的分类方法及装置 |
| CN106372058B (zh) * | 2016-08-29 | 2019-10-15 | 中译语通科技股份有限公司 | 一种基于深度学习的短文本情感要素抽取方法及装置 |
| CN106445919A (zh) * | 2016-09-28 | 2017-02-22 | 上海智臻智能网络科技股份有限公司 | 一种情感分类方法及装置 |
| CN106445920A (zh) * | 2016-09-29 | 2017-02-22 | 北京理工大学 | 利用句义结构特征的句子相似度计算方法 |
| JP6929539B2 (ja) * | 2016-10-07 | 2021-09-01 | 国立研究開発法人情報通信研究機構 | ノン・ファクトイド型質問応答システム及び方法並びにそのためのコンピュータプログラム |
| US10083171B1 (en) * | 2017-08-03 | 2018-09-25 | Gyrfalcon Technology Inc. | Natural language processing using a CNN based integrated circuit |
| CN106506327B (zh) * | 2016-10-11 | 2021-02-19 | 东软集团股份有限公司 | 一种垃圾邮件识别方法及装置 |
| CN106547885B (zh) * | 2016-10-27 | 2020-04-10 | 桂林电子科技大学 | 一种文本分类系统及方法 |
| CN108021544B (zh) * | 2016-10-31 | 2021-07-06 | 富士通株式会社 | 对实体词的语义关系进行分类的方法、装置和电子设备 |
| CN106570162B (zh) * | 2016-11-04 | 2020-07-28 | 北京百度网讯科技有限公司 | 基于人工智能的谣言识别方法及装置 |
| CN106776545B (zh) * | 2016-11-29 | 2019-12-24 | 西安交通大学 | 一种通过深度卷积神经网络进行短文本间相似度计算的方法 |
| CN106778882B (zh) * | 2016-12-23 | 2019-11-05 | 杭州云象网络技术有限公司 | 一种基于前馈神经网络的智能合约自动分类方法 |
| CN107918782B (zh) * | 2016-12-29 | 2020-01-21 | 中国科学院计算技术研究所 | 一种生成描述图像内容的自然语言的方法与系统 |
| CN106649853A (zh) * | 2016-12-30 | 2017-05-10 | 儒安科技有限公司 | 一种基于深度学习的短文本聚类方法 |
| CN106844342B (zh) * | 2017-01-12 | 2019-10-08 | 北京航空航天大学 | 基于增量学习的词向量生成方法和装置 |
| CN106844765B (zh) * | 2017-02-22 | 2019-12-20 | 中国科学院自动化研究所 | 基于卷积神经网络的显著信息检测方法及装置 |
| CN107038336A (zh) * | 2017-03-21 | 2017-08-11 | 科大讯飞股份有限公司 | 一种电子病历自动生成方法及装置 |
| TWI753034B (zh) * | 2017-03-31 | 2022-01-21 | 香港商阿里巴巴集團服務有限公司 | 特徵向量的產生、搜索方法、裝置及電子設備 |
| CN106959946B (zh) * | 2017-04-07 | 2020-05-05 | 闽江学院 | 一种基于深度学习的文本语义特征生成优化方法 |
| CN107066446B (zh) * | 2017-04-13 | 2020-04-10 | 广东工业大学 | 一种嵌入逻辑规则的循环神经网络文本情感分析方法 |
| CN107169035B (zh) * | 2017-04-19 | 2019-10-18 | 华南理工大学 | 一种混合长短期记忆网络和卷积神经网络的文本分类方法 |
| CN107273348B (zh) * | 2017-05-02 | 2020-12-18 | 深圳大学 | 一种文本的话题和情感联合检测方法及装置 |
| CN107145573A (zh) * | 2017-05-05 | 2017-09-08 | 上海携程国际旅行社有限公司 | 人工智能客服机器人的问题解答方法及系统 |
| CN107045553A (zh) * | 2017-05-05 | 2017-08-15 | 上海携程国际旅行社有限公司 | 人工智能客服机器人的问题分类方法及系统 |
| CN107193801B (zh) * | 2017-05-21 | 2020-07-03 | 北京工业大学 | 一种基于深度信念网络的短文本特征优化及情感分析方法 |
| CN107133202A (zh) * | 2017-06-01 | 2017-09-05 | 北京百度网讯科技有限公司 | 基于人工智能的文本校验方法和装置 |
| CN107301225B (zh) * | 2017-06-20 | 2021-01-26 | 挖财网络技术有限公司 | 短文本分类方法及装置 |
| CN107562784A (zh) * | 2017-07-25 | 2018-01-09 | 同济大学 | 基于ResLCNN模型的短文本分类方法 |
| CN107368592B (zh) * | 2017-07-26 | 2020-09-25 | 成都科来网络技术有限公司 | 一种用于网络安全报告的文本特征模型建模方法及装置 |
| CN110019775A (zh) * | 2017-09-04 | 2019-07-16 | 南方电网传媒有限公司 | 一种网络短文本分类的优化系统及方法 |
| CN107368613B (zh) * | 2017-09-05 | 2020-02-28 | 中国科学院自动化研究所 | 短文本情感分析方法及装置 |
| CN110532571B (zh) * | 2017-09-12 | 2022-11-18 | 腾讯科技（深圳）有限公司 | 文本处理方法及相关装置 |
| CN107609113A (zh) * | 2017-09-13 | 2018-01-19 | 北京科技大学 | 一种文本自动分类方法 |
| CN107562729B (zh) * | 2017-09-14 | 2020-12-08 | 云南大学 | 基于神经网络和主题强化的党建文本表示方法 |
| CN107562925B (zh) * | 2017-09-14 | 2020-10-13 | 阿里巴巴（中国）有限公司 | 用于推荐文章的方法、设备和电子设备 |
| CN107773982B (zh) * | 2017-10-20 | 2021-08-13 | 科大讯飞股份有限公司 | 游戏语音交互方法及装置 |
| CN109117184A (zh) * | 2017-10-30 | 2019-01-01 | 上海寒武纪信息科技有限公司 | 人工智能处理器及使用处理器执行平面旋转指令的方法 |
| CN107967318A (zh) * | 2017-11-23 | 2018-04-27 | 北京师范大学 | 一种采用lstm神经网络的中文短文本主观题自动评分方法和系统 |
| CN107992596B (zh) * | 2017-12-12 | 2021-05-18 | 百度在线网络技术（北京）有限公司 | 一种文本聚类方法、装置、服务器和存储介质 |
| CN108120900B (zh) * | 2017-12-22 | 2020-02-11 | 北京映翰通网络技术股份有限公司 | 一种配电网故障定位方法及系统 |
| CN108280206B (zh) * | 2018-01-30 | 2020-05-26 | 尹忠博 | 一种基于语义增强的短文本分类方法 |
| CN110119505A (zh) | 2018-02-05 | 2019-08-13 | 阿里巴巴集团控股有限公司 | 词向量生成方法、装置以及设备 |
| CN108363774B (zh) * | 2018-02-09 | 2020-10-27 | 西北大学 | 一种基于多层卷积神经网络的药物关系分类方法 |
| CN108460022A (zh) * | 2018-03-20 | 2018-08-28 | 福州大学 | 一种文本Valence-Arousal情感强度预测方法及系统 |
| CN108829719B (zh) * | 2018-05-07 | 2022-03-01 | 中国科学院合肥物质科学研究院 | 一种非事实类问答答案选择方法及系统 |
| CN108920447B (zh) * | 2018-05-07 | 2022-08-05 | 国家计算机网络与信息安全管理中心 | 一种面向特定领域的中文事件抽取方法 |
| CN108763219A (zh) * | 2018-06-06 | 2018-11-06 | 安徽继远软件有限公司 | 基于cnn-rsc组合优化算法的语音情感分析方法 |
| CN109165380B (zh) * | 2018-07-26 | 2022-07-01 | 咪咕数字传媒有限公司 | 一种神经网络模型训练方法及装置、文本标签确定方法及装置 |
| CN109271526A (zh) * | 2018-08-14 | 2019-01-25 | 阿里巴巴集团控股有限公司 | 文本检测方法、装置、电子设备及计算机可读存储介质 |
| CN109299322A (zh) * | 2018-08-28 | 2019-02-01 | 南京葡萄诚信息科技有限公司 | 一种将短文本分类应用于视频中的状态判断方法 |
| CN109447813A (zh) * | 2018-09-05 | 2019-03-08 | 平安科技（深圳）有限公司 | 产品推荐方法、装置、计算机设备和存储介质 |
| CN109299462B (zh) * | 2018-09-20 | 2022-11-29 | 武汉理工大学 | 基于多维卷积特征的短文本相似度计算方法 |
| CN109256118B (zh) * | 2018-10-22 | 2021-06-25 | 江苏师范大学 | 基于生成式听觉模型的端到端汉语方言识别系统和方法 |
| CN109493931B (zh) * | 2018-10-25 | 2024-06-04 | 平安科技（深圳）有限公司 | 一种病历文件的编码方法、服务器及计算机可读存储介质 |
| CN111199155B (zh) * | 2018-10-30 | 2023-09-15 | 飞狐信息技术（天津）有限公司 | 一种文本分类方法及装置 |
| CN109299272B (zh) * | 2018-10-31 | 2021-07-30 | 北京国信云服科技有限公司 | 一种用于神经网络输入的大信息量文本表示方法 |
| CN111199157B (zh) * | 2018-11-19 | 2023-04-18 | 阿里巴巴集团控股有限公司 | 一种文本数据处理方法及其装置 |
| JP6992733B2 (ja) * | 2018-11-22 | 2022-01-13 | セイコーエプソン株式会社 | 情報処理装置、および情報処理方法 |
| CN109710760A (zh) * | 2018-12-20 | 2019-05-03 | 泰康保险集团股份有限公司 | 短文本的聚类方法、装置、介质及电子设备 |
| CN109446332B (zh) * | 2018-12-25 | 2023-08-25 | 银江技术股份有限公司 | 一种基于特征迁移和自适应学习的人民调解案例分类系统及方法 |
| CN109726287A (zh) * | 2018-12-25 | 2019-05-07 | 银江股份有限公司 | 一种基于迁移学习和深度学习的人民调解案例分类系统及方法 |
| CN109739986A (zh) * | 2018-12-28 | 2019-05-10 | 合肥工业大学 | 一种基于深度集成学习的投诉短文本分类方法 |
| CN109920430A (zh) * | 2019-01-10 | 2019-06-21 | 上海言通网络科技有限公司 | 语音识别语义处理系统及其方法 |
| CN109935242A (zh) * | 2019-01-10 | 2019-06-25 | 上海言通网络科技有限公司 | 可打断式语音处理系统和方法 |
| CN109766873B (zh) * | 2019-02-01 | 2021-04-06 | 中国人民解放军陆军工程大学 | 一种混合可变形卷积的行人再识别方法 |
| CN109960755B (zh) * | 2019-02-20 | 2021-03-05 | 浙江工业大学 | 一种基于动态迭代快速梯度的用户隐私保护方法 |
| CN109903099B (zh) * | 2019-03-12 | 2021-03-23 | 合肥工业大学 | 用于评分预测的模型构建方法和系统 |
| CN110163716B (zh) * | 2019-04-12 | 2022-03-11 | 淮阴工学院 | 一种基于卷积神经网络的红酒推荐方法 |
| CN110083676B (zh) * | 2019-04-22 | 2021-12-03 | 东北大学 | 一种基于短文本的领域动态跟踪方法 |
| CN110297887B (zh) * | 2019-06-26 | 2021-07-27 | 山东大学 | 基于云平台的服务机器人个性化对话系统及方法 |
| US11580415B2 (en) * | 2019-07-09 | 2023-02-14 | Baidu Usa Llc | Hierarchical multi-task term embedding learning for synonym prediction |
| CN110490547A (zh) * | 2019-08-13 | 2019-11-22 | 北京航空航天大学 | 办公系统智能化技术 |
| CN110675297B (zh) * | 2019-10-09 | 2022-02-01 | 济源职业技术学院 | 计算机数字化教学资源的调取系统及方法 |
| CN112712796A (zh) * | 2019-10-25 | 2021-04-27 | 北大方正集团有限公司 | 语音识别方法及装置 |
| CN114207605A (zh) * | 2019-10-31 | 2022-03-18 | 深圳市欢太科技有限公司 | 一种文本分类方法、装置、电子设备及存储介质 |
| CN110956044A (zh) * | 2019-12-02 | 2020-04-03 | 北明软件有限公司 | 一种基于注意力机制的司法场景用文案输入识别分类方法 |
| CN111160042B (zh) * | 2019-12-31 | 2023-04-28 | 重庆觉晓科技有限公司 | 一种文本语义解析方法和装置 |
| EP3848848A1 (en) | 2020-01-13 | 2021-07-14 | Tata Consultancy Services Limited | Methods and systems for automatic extraction of self-reported activities of an individual |
| CN111680225B (zh) * | 2020-04-26 | 2023-08-18 | 国家计算机网络与信息安全管理中心 | 基于机器学习的微信金融消息分析方法及系统 |
| CN111737468B (zh) * | 2020-06-23 | 2023-07-25 | 中国平安人寿保险股份有限公司 | 短语聚类方法、装置、设备及存储介质 |
| CN112084416A (zh) * | 2020-09-21 | 2020-12-15 | 哈尔滨理工大学 | 基于CNN和LSTM的Web服务推荐方法 |
| CN112364260A (zh) * | 2020-11-25 | 2021-02-12 | 北京京航计算通讯研究所 | 一种社交网络用户意图处理方法 |
| CN112446326B (zh) * | 2020-11-26 | 2022-04-01 | 中国核动力研究设计院 | 基于深度复卷积网络的屏蔽泵故障模式识别方法及系统 |
| CN113987188B (zh) * | 2021-11-10 | 2022-07-08 | 重庆邮电大学 | 一种短文本分类方法、装置及电子设备 |
| CN113868413B (zh) * | 2021-12-03 | 2022-03-18 | 北京大学 | 法律咨询报告生成方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102955856A (zh) * | 2012-11-09 | 2013-03-06 | 北京航空航天大学 | 一种基于特征扩展的中文短文本分类方法 |
| CN103279479A (zh) * | 2013-04-19 | 2013-09-04 | 中国科学院计算技术研究所 | 一种面向微博客平台文本流的突发话题检测方法及系统 |
| CN103441924A (zh) * | 2013-09-03 | 2013-12-11 | 盈世信息科技(北京)有限公司 | 一种基于短文本的垃圾邮件过滤方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100538749C (zh) * | 2005-12-29 | 2009-09-09 | 兆日科技（深圳）有限公司 | 提取与使用随机分布纤维图像特征的防伪方法 |
-
2015
- 2015-05-25 CN CN201510271672.0A patent/CN104834747B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102955856A (zh) * | 2012-11-09 | 2013-03-06 | 北京航空航天大学 | 一种基于特征扩展的中文短文本分类方法 |
| CN103279479A (zh) * | 2013-04-19 | 2013-09-04 | 中国科学院计算技术研究所 | 一种面向微博客平台文本流的突发话题检测方法及系统 |
| CN103441924A (zh) * | 2013-09-03 | 2013-12-11 | 盈世信息科技(北京)有限公司 | 一种基于短文本的垃圾邮件过滤方法及装置 |
Non-Patent Citations (5)
| Title |
|---|
| A Convolutional Neural Network for Modelling Sentences;Nal Kalchbrenner etal;《Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics》;20140625;第655-665页 * |
| A Robust Framework for Short Text Categorization based on Topic Model and Integrated Classifier;Peng Wang etal;《2014 International Joint Conference on Neural Networks》;20140711;第3534-3539页 * |
| 包含小数点的手写数字串切分与识别;刘聪;《中国优秀硕士学位论文全文数据库信息科技辑》;20140815;第I138-1249页 * |
| 基于CUDA 技术的卷积神经网络识别算法;张佳康 等;《计算机工程》;20100831;第36卷(第15期);第179-181页 * |
| 基于卷积神经网络的模式分类器;李葆青;《大连大学学报》;20030430;第24卷(第2期);第19-23页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104834747A (zh) | 2015-08-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104834747B (zh) | 基于卷积神经网络的短文本分类方法 | |
| US11631007B2 (en) | Method and device for text-enhanced knowledge graph joint representation learning | |
| CN108984745B (zh) | 一种融合多知识图谱的神经网络文本分类方法 | |
| CN109960800B (zh) | 基于主动学习的弱监督文本分类方法及装置 | |
| CN111159395B (zh) | 基于图神经网络的谣言立场检测方法、装置和电子设备 | |
| CN104391942B (zh) | 基于语义图谱的短文本特征扩展方法 | |
| CN109558487A (zh) | 基于层次性多注意力网络的文档分类方法 | |
| CN108984526A (zh) | 一种基于深度学习的文档主题向量抽取方法 | |
| CN110032632A (zh) | 基于文本相似度的智能客服问答方法、装置及存储介质 | |
| CN109753660B (zh) | 一种基于lstm的中标网页命名实体抽取方法 | |
| CN108681557B (zh) | 基于自扩充表示和相似双向约束的短文本主题发现方法及系统 | |
| CN109241283A (zh) | 一种基于多角度胶囊网络的文本分类方法 | |
| CN108288067A (zh) | 图像文本匹配模型的训练方法、双向搜索方法及相关装置 | |
| CN104598611B (zh) | 对搜索条目进行排序的方法及系统 | |
| CN106855853A (zh) | 基于深度神经网络的实体关系抽取系统 | |
| CN110046260A (zh) | 一种基于知识图谱的暗网话题发现方法和系统 | |
| CN113392209B (zh) | 一种基于人工智能的文本聚类方法、相关设备及存储介质 | |
| CN106796600A (zh) | 相关项目的计算机实现的标识 | |
| CN106649272A (zh) | 一种基于混合模型的命名实体识别方法 | |
| CN113505200B (zh) | 一种结合文档关键信息的句子级中文事件检测的方法 | |
| CN112069312B (zh) | 一种基于实体识别的文本分类方法及电子装置 | |
| CN114647741A (zh) | 工艺自动决策和推理方法、装置、计算机设备及存储介质 | |
| CN110851593B (zh) | 一种基于位置与语义的复值词向量构建方法 | |
| CN111222330B (zh) | 一种中文事件的检测方法和系统 | |
| CN109325125B (zh) | 一种基于cnn优化的社交网络谣言检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| EXSB | Decision made by sipo to initiate substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |