CN108573068A - 一种基于深度学习的文本表示与分类方法 - Google Patents

Abstract

本发明涉及一种基于深度学习的文本表示与分类方法，属于自然语言领域。涉及利用深度信念网络DBN、深度波尔茨曼机DBM和卷积神经网络CNN三类深度学习模型，解决文本表示与分类中传统的基于词袋模型BOW文本表示的分类方法存在的高维度、高稀疏和难以处理标签数目不确定、包含大量专业词汇的专业摘要文本问题。本发明充分利用DBM模型自动捕获文本特征对输入文档进行降维、DBN模型抽取高层文档、CNN模型权重共享及局部连接的优势；本发明设计了一个针对文本表示和文本分类的高效模型，具有较高的F测度值、良好ROC曲线和实时性强的优点。

Description

一种基于深度学习的文本表示与分类方法

技术领域

本发明属于自然语言领域，涉及一种基于深度学习的文本表示和文本分类方法。

背景技术

信息检索(Information Retrieval)是对信息进行表示、存储、组织和存取，是用户进行信息查询和获取的主要方式，是查找信息的方法和手段。在信息检索中，文本是信息的主要载体，各种形式的信息均通过文本标注来表示，从而文本信息在信息检索中占据重要地位。

在“互联网+”的时代，信息数据急剧增长，信息的表现方式也多种多样。其中，文本相比于图像和声音，网络资源占用少，易于上传和下载。越来越多的网络用户在网络新闻媒体、社区平台抒发自己的情感、观点和评论。同时，越来越多的网络用户通过在网络上了解生物医学，科技领域这些与自己生活息息相关的话题和最新成果。网络用户在新闻网站、生物医学网站、科技领域、社交平台和门户网站上的活跃度日益剧增，加速了文本数据的规模效应，我们已经从“信息匮乏”时代步入“信息过载”时代。人们在“信息过载”时代面临的问题已经不再是如何获取信息，已经转变为如何准确的获取用户所需的信息。传统手段是通过人工对海量原始文档进行标注和自动分类，存在花费时间长、分类结果不够理想的缺点，因此传统的方式已经无法适应在“互联网+”时代对爆炸式增长的数字信息的管理和检索需求。从而，如何快速准确有效的把文本信息反馈给用户，使用户能够检索出自己所需的信息已经成为业界关注和研究的焦点。

文本分类(Text Classification)能够有效的处理和解决信息杂乱的问题，有助于用户有效检索出自己所需要的信息。文本分类在信息的高效管理和利用方面有着非常重要的意义，因此也是处理文本信息的核心手段。在文本分类中，文本表示(TextRepresentation)又是文本分类的基石，因为文本需要转换为计算机算法能够处理的形式，所以文本表示的准确度直接影响着自然语言处理(NLP)的结果表现。

在当前的文本表示和分类任务中，传统的基于BOW模型文本表示的分类方法存在以下三个问题：

(1)高维度问题。

(2)难以处理标签数目不确定、包含大量专业词汇的专业摘要文本。

(3)高稀疏问题。

发明内容

有鉴于此，本发明的目的在于提供一种基于深度学习的文本表示和文本分类方法，能同时解决传统的基于BOW模型文本表示的分类方法存在的高维度、高稀疏、难以处理标签数目不确定及包含大量专业词汇的专业摘要文本这三个主要问题。

为达到上述目的，本发明提供如下技术方案：

一种基于深度学习的文本表示与分类方法，包括以下步骤：

S1：初始化，生成一个内容为空的离线系统数据库，数据库包括命名实体数据集、文档词集合数据集、基于深度学习的多层网络参数三个子数据库；

S2：将采集到的数据进行去重、清洗作为纯净数据集，将纯净数据集进行词性标注并进行命名实体识别得到命名实体数据集，然后存入命名实体数据集子数据库中；将纯净数据集去停用词和词干化处理得到文档词集合数据集并存入文档词集合数据集子数据库中；

S3：将文档词数据集作为word2vec词向量模型的输入，得到词向量，并在得到的词向量中引用加权系数来表示该单词在当前文本中的重要程度，最终得到训练好的词向量模型；

S4：将步骤S3中得到词向量模型作为CNN模型的输入得到文档的局部特征；

S5：将步骤S2中得到的命名实体作为全局信息的补充特征向量，与步骤S4中的文档局部特征同时作为DBM模型的输入，通过DBM模型融合命名实体特征和局部特征并对融合后的特征集进行降维；

S6：将步骤S5中降维的特征作为DBN模型的输入，通过DBN模型抽取得到高层文档特征表示，然后对高层文档特征表示进行加标签处理最终得到一个层次分类的结果，根据该层次分类后的结果能有效提高检索所需信息的准确率。

进一步，在步骤S3中，在word2vec得到的词向量中嵌入加权系数来表示这个单词在当前文档中的重要程度，用于避免将出现频率多的单词误认为是重要程度高的单词或将频率低的单词误认为是重要程度低的单词，并且能更准确的判断一个单词在文档中的重要程度。

进一步，在步骤S4中，利用卷积神经网络深度学习模型权重共享和局部连接的特点来提取文本局部特征；同时将步骤S2中提取的原文本的命名实体作为全局信息补充特征；再通过DBM模型融合局部特征和全局信息补充特征。

进一步，在步骤S5中，利用DBM深度学习模型自动捕获文本特征的特点，对融合后的局部特征和全局信息补充特征进行初次降维；然后再基于DBN深度学习模型继续抽取高层文档的特征表示，进行进一步降维。

进一步，在步骤S4和S5中，CNN作为一种权值共享的深度学习模型，再配合该模型局部连接减少参数变量的特点，用于特征提取；DBM模型能够融合文本局部特征和文本全局特征信息，在基于CNN模型并结合DBM模型的基础上建立基于卷积神经网络的波尔茨曼机BM-CNN模型，用于提高对专业文本的处理。

进一步，所述BM-CNN模型中采用两层DBM模型，将BM-CNN模型中的CNN模型的滑动窗口的高度设置为50，每次以50步长下移滑动窗口位置，用于避免改变word2vec得到的词向量中每个单词所代表的意思。

进一步，在所述BM-CNN模型的基础上结合DBN模型建立深度卷积信念波尔茨曼机深度学习模型DCBBM，并用word2vec获取词向量并引入加权系数作为DCBBM模型的输入。

本发明的有益效果在于：本发明充分利用了CNN、DBN、DBM模型各自的优点以及在基于word2vec的词向量中引入权重系数，最终提出深度卷积信念波尔茨曼机深度学习模型(DCBBM)，克服了传统的基于BOW模型文本表示的分类方法存在的高维度、高稀疏、难以处理标签数目不确定、包含大量专业词汇的专业摘要文本这三类问题。采用上诉方案具有分类正确率高，实时性好，检测率高的优势。

附图说明

为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：

图1为本发明流程图；

图2为本发明所述BM-CNN模型结构图；

图3为本发明所述DCBBM模型结构图。

具体实施方式

下面将结合附图，对本发明的优选实施例进行详细的描述。

参照图1所示的方法流程图，基于深度学习的文本表示与分类方法，包括以下步骤：

101、初始化，生成一个内容为空的离线系统数据库，数据库包括带命名实体数据集、文档词集合数据集、基于深度学习的多层网络参数三个子数据库

102、通过网络爬虫爬取新闻媒体、生物医学、科学领域的数据案例共2400篇，随机选取1800篇为训练集，600篇作为测试集。同时对训练集和测试集做以下处理：将采集到的数据进行去重、清洗作为纯净数据集，将纯净数据集进行词性标注进行命名实体识别得到命名实体数据集并存入命名实体数据集子数据库中；将纯净数据集去停用词和词干化处理得到文档词集合数据集并存入文档词集合数据集子数据库中，跳转至步骤103；

103、将101中得到的文档词集合送入word2vec模型进行训练并引入加权系数得到词向量，将该词向量作为CNN模型的输入以提取文档局部特征，并将该文档局部特征与作为全局信息补充特征向量的命名实体同时作为DBM模型的输入，通过DBM模型融合命名实体特征和文档局部特征并进行降维，跳转至步骤104；

104、将103中得到的特征向量作为DBN模型的输入，通过DBN模型对该特征向量进行进一步降维处理并抽取高层文档特征表示，在得到高层文档特征表示后进行标签处理最终得到层次分类结果，跳转至步骤105。

105、将步骤104得到的分类效果和传统的基于BOW文本表示的分类方法进行对比。在本优选实施例中，选取文本分类和文本检索作为评价提出的基于深度学习的文本表示与分类方法的指标。当训练集中的分类最高正确高于98％，测试集中的分类正确率高于92％，检索正确率高于92％，则说明该方法的分类效果及检索性能优于传统的基于BOW文本表示的分类方法。

在步骤103中融合文本局部特征向量和命名实体全局特征向量中，包括：

A在CNN卷积神经网络中，权重的调整采用梯度下降法使权值朝着梯度下降最快的方向调整以加快网络收敛速度。用ReLu函数替代sigmoid函数作为卷积神经网络的激活函数，以防止过拟合现象及使训练后的网络完全具备适度的稀疏性。

B选用两层DBM网络来保证提取文本特征的同时减少训练时间和降低训练的复杂度。

步骤105中验证算法有效性中，包括：

A文本分类是指：在本优选实施例中，训练集和测试集中，每一遍文档只属于一个主题。本优选实施例采取的评价标准是如果测试集中选取的文章被预测的主题是正确的，则说明当前的文章分类正确；若与真实的主题不一致，则预测错误。

B文本检索是指：给定一篇查询的文档，判断检索出的文档和该查询文档的相似度通过检测查询的文档标签判断模型的检索性能。当检索到的文档的标签和查询的文档属于同一个主题时，则判断当前检索正确，反之则错误。通过使用最高层的特征向量来计算文档之间的距离来判断文档之间的相似度。

图2为本发明所述BM-CNN模型结构图；图3为本发明所述DCBBM模型结构图。本发明适用于针对基于信息检索中对信息的查找和分类，使用本发明所公开的文本表示和文本分类方法，由于CNN、DBM、DBN有机结合在一起，可达到误报率低、误检率低、准确率高、分类效果好，实时性好的效果，能够使用户快速检索出自己所期望的信息。

传统的基于BOW文本表示的分类方法只包含单词词频信息，忽略了单词之间的连接性，并且其自身的表示比较稀疏，即存在稀疏问题。本发明能有效解决该问题。

本发明能够有效解决传统的基于BOW文本表示的分本分类方法中，难以有效处理标签量不固定、专业词汇多的专业摘要文本这一类问题。

本发明能够有效解决传统的基于BOW文本表示的文本分类方法中，存在高维度的缺点。

BM-CNN模型中采用两层DBM模型，实验表明，DBM模型超过两层，会生过拟合现象并且训练的复杂度和训练时间会大大增加，因此确定了BM-CNN模型中DBM模型的层数；由于选取词向量的维度为50，因此将BM-CNN模型中的CNN模型的滑动窗口的高度设置为50，这样每次以50步长下移滑动窗口位置，这样可以避免改变word2vec得到的词向量中每个单词所代表的意思。

在基于BM-CNN模型的基础上结合DBN模型建立深度卷积信念波尔茨曼机深度学习模型(DCBBM)，并用word2vec获取词向量并引入加权系数作为DCBBM模型的输入，来同时解决传统基于BOW文本表示的分类方法中面临的三个主要问题。

在传统的方法中，存在高维度、高稀疏、难以处理标签数目不确定、包含大量专业词汇的专业摘要文本这三个问题；改进的基于深度学习的文本表示与分类方法有效解决了这三类问题，同时分类正确率和检索正确率高于92％，均高于传统方法的86.4％。

最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其做出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims (7)

1.一种基于深度学习的文本表示与分类方法，其特征在于：该方法包括以下步骤：

S1：初始化，生成一个内容为空的离线系统数据库，数据库包括命名实体数据集、文档词集合数据集、基于深度学习的多层网络参数三个子数据库；

S2：将采集到的数据进行去重、清洗作为纯净数据集，将纯净数据集进行词性标注并进行命名实体识别得到命名实体数据集，然后存入命名实体数据集子数据库中；将纯净数据集去停用词和词干化处理得到文档词集合数据集并存入文档词集合数据集子数据库中；

S3：将文档词数据集作为word2vec词向量模型的输入，得到词向量，并在得到的词向量中引用加权系数来表示该单词在当前文本中的重要程度，最终得到训练好的词向量模型；

S4：将步骤S3中得到词向量模型作为CNN模型的输入得到文档的局部特征；

S5：将步骤S2中得到的命名实体作为全局信息的补充特征向量，与步骤S4中的文档局部特征同时作为DBM模型的输入，通过DBM模型融合命名实体特征和局部特征并对融合后的特征集进行降维；

S6：将步骤S5中降维的特征作为DBN模型的输入，通过DBN模型抽取得到高层文档特征表示，然后对高层文档特征表示进行加标签处理最终得到一个层次分类的结果，根据该层次分类后的结果能有效提高检索所需信息的准确率。

2.根据权利要求1所述的一种基于深度学习的文本表示与分类方法，其特征在于：在步骤S3中，在word2vec得到的词向量中嵌入加权系数来表示这个单词在当前文档中的重要程度，用于避免将出现频率多的单词误认为是重要程度高的单词或将频率低的单词误认为是重要程度低的单词，并且能更准确的判断一个单词在文档中的重要程度。

3.根据权利要求1所述的一种基于深度学习的文本表示与分类方法，其特征在于：在步骤S4中，利用卷积神经网络深度学习模型权重共享和局部连接的特点来提取文本局部特征；同时将步骤S2中提取的原文本的命名实体作为全局信息补充特征；再通过DBM模型融合局部特征和全局信息补充特征。

4.根据权利要求1所述的一种基于深度学习的文本表示与分类方法，其特征在于：在步骤S5中，利用DBM深度学习模型自动捕获文本特征的特点，对融合后的局部特征和全局信息补充特征进行初次降维；然后再基于DBN深度学习模型继续抽取高层文档的特征表示，进行进一步降维。

5.根据权利要求1所述的一种基于深度学习的文本表示与分类方法，其特征在于：在步骤S4和S5中，CNN作为一种权值共享的深度学习模型，再配合该模型局部连接减少参数变量的特点，用于特征提取；DBM模型能够融合文本局部特征和文本全局特征信息，在基于CNN模型并结合DBM模型的基础上建立基于卷积神经网络的波尔茨曼机BM-CNN模型，用于提高对专业文本的处理。

6.根据权利要求5所述的一种基于深度学习的文本表示与分类方法，其特征在于：所述BM-CNN模型中采用两层DBM模型，将BM-CNN模型中的CNN模型的滑动窗口的高度设置为50，每次以50步长下移滑动窗口位置，用于避免改变word2vec得到的词向量中每个单词所代表的意思。

7.根据权利要求5所述的一种基于深度学习的文本表示与分类方法，其特征在于：在所述BM-CNN模型的基础上结合DBN模型建立深度卷积信念波尔茨曼机深度学习模型DCBBM，并用word2vec获取词向量并引入加权系数作为DCBBM模型的输入。