CN110059187B - 一种集成浅层语义预判模态的深度学习文本分类方法 - Google Patents
一种集成浅层语义预判模态的深度学习文本分类方法 Download PDFInfo
- Publication number
- CN110059187B CN110059187B CN201910284597.XA CN201910284597A CN110059187B CN 110059187 B CN110059187 B CN 110059187B CN 201910284597 A CN201910284597 A CN 201910284597A CN 110059187 B CN110059187 B CN 110059187B
- Authority
- CN
- China
- Prior art keywords
- mode
- dictionary
- shallow semantic
- cnn
- semantic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
- G06F16/353—Clustering; Classification into predefined classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种集成浅层语义预判模态的深度学习文本分类方法,方法包括:首先对文本语料实施常规的CNN深度学习训练,包括词嵌入、卷积、池化和模式输出;其次利用领域词汇字典作为浅层语义词汇,基于浅层语义词汇,计算浅层语义预判模式;接下来将浅层语义预判模态和深度学习决策模态进行双模态融合,作为SDG‑CNN模型最终的决策模式,进而以该决策模式构建损失函数和实施参数优化。本发明解决了传统深度学习模型在模型优化过程中缺乏背景知识和语义信息,信息模态单一的缺陷,提升了深度学习文本分类模型的性能。
Description
技术领域
本发明涉及深度学习与文本分类领域,特别是涉及一种集成浅层语义预判模态的深度学习文本分类方法。
背景技术
文本分类指对大量的非结构化文本语料按照给定的分类体系进行类别归属预测的过程。随着深度学习技术的突破,以卷积神经网络为代表的深度学习模型在文本分类上取得不错的效果。但总体而言,在准确性和可靠性上还远未能达到实用水平,这是由深度学习的先验知识缺失所造成的。因为大数据驱动的深度学习模型只会发现数据集中统计意义上的结论,难以有效利用先验知识。将先验知识融入到深度学习模型是一种解决深度学习瓶颈的思路。浅层语义是一种有效的常识知识提取和表达方式,因此研究集成浅层语义预判模态的深度学习文本分类方法具有重要的理论价值和研究意义。
发明内容
本发明提供了一种集成浅层语义预判模态的深度学习文本分类方法SDG-CNN(Semantic Decision Guide Convolutional Neural Network),其克服传统深度学习模型在模型优化过程中缺乏背景知识和语义信息,信息模态单一的缺陷。
本发明解决其技术问题所采用的技术方案是:
一种集成浅层语义预判模态的深度学习文本分类方法,包括以下步骤:
S1:输入文本语料,采用结巴分词工具对语料进行分词。
S2:计算浅层语义预判模式SDG,如下:
S21:从以下八个方面来挖掘行业词汇从而构建浅层语义词典:(1)开源词典Dopen;(2) 否定副词词典Dnot;(3)程度副词词典Dadv;(4)网络词典Dnet;(5)符号词典Demoticon;(6)语气词词典Dmood;(7)领域词典Dprofession;(8)其他包括手工构建的词典Dother;
S22:利用训练语料计算出每个浅层语义词汇属于每个类别的概率,形成浅层语义词汇概率表;
S23:基于步骤S21中得到的浅层语义词典,提取每条语料中的浅层语义词汇;
S24:基于步骤S22得到的浅层语义词汇概率表和步骤S23得到的每条语料中的浅层语义词汇,利用求和归一化的方式计算出这条语料的预判概率,即形成浅层语义预判模式(SDG);
S3:集成浅层语义预判模态的CNN分类模型构建,如下:
S31:准备有监督文本学习样本集D=[文本语料X、文本类别Y],其中每一个样本由一条文本语料x及其真实标签y所形成;
S32:初始化CNN网络;
S33:选取学习样本集D的任一样本(x,y),将其语料x送入CNN进行前向传播计算,得到其模式输出ρCNN;
S34:基于步骤S2提出的浅层语义预判模式计算方法,计算出语料x对应的浅层语义预判模式输出ρSDG;
S35:将ρCNN和ρSDG进行相加并归一化作为形成决策模式,进而输出针对语料x的预测类别 y′;
S36:根据语料x的真实标签y和预测类别 y′的差距来指导CNN模型的参数优化;
S37:基于步骤S36中已经训练好的CNN网络,将一条被测语料x送入CNN进行前向传播计算,得到其预测类别y′。
由上述对本发明的描述可知,与现有技术相比,本发明具有如下有益效果:
本发明提出的浅层语义预判模态能利用先验知识计算每条文本语料属于每个类别的概率分布情况,从而实现对深度学习模式训练的纠偏,进而达到将先验知识融入深度学习指导模型训练的目的,使模型构建更贴近人类的思考方式。
附图说明
图1为本发明的集成浅层语义预判模态的深度学习文本分类方法的示意图;
图2为本发明的集成浅层语义预判模态的深度学习文本分类方法示意图;
图3为MR数据集SDG-CNN模型precision指标对比效果图;
图4为MR数据集SDG-CNN模型accuracy指标对比效果图;
图5为MR数据集SDG-CNN模型F1-score指标对比效果图;
图6为SST-1数据集SDG-CNN模型precision指标对比效果图;
图7为SST-1数据集SDG-CNN模型accuracy指标对比效果图;
图8为SST-1数据集SDG-CNN模型F1-score指标对比效果图;
图9为SST-2数据集SDG-CNN模型precision指标对比效果图;
图10为SST-2数据集SDG-CNN模型accuracy指标对比效果图;
图11为SST-2数据集SDG-CNN模型F1-score指标对比效果图。
具体实施方式
下面结合具体实施例,进一步阐述本发明。应理解,这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解,在阅读了本发明讲授的内容之后,本领域技术人员可以对本发明作各种改动或修改,这些等价形式同样落于本申请所附权利要求书所限定的范围。
参见图1和图2所示,本发明的一种集成浅层语义预判模态的深度学习文本分类方法,包括以下步骤:(1)浅层语义预判模式计算;(2)集成浅层语义预判模态的CNN模型构建。
以情感分类为例,选择3个情感数据集进行实验,以期用语料的多样性验证本发明SDG-CNN的有效性。数据集的相关统计信息如表1所示。
表1三个数据集相关统计信息
其中,MR:电影评论数据,每一句代表一个电影评论,包括“积极”和“消极”2个类别;SST-1:斯坦福情绪树库,提供划分好的train/dev/test,包含very positive,positive,neutral, negative,very negative共5个类别;SST-2:与SST-1相同,但去掉了“neural”类别,并归并为二分类数据集,即包含positive和negative共2个类别。
本发明具体步骤如下:
步骤一:浅层语义预判模式计算
在文本语料构建阶段,本发明采用包含互联网50000条“积极”和“消极”二分类的IMDB 影评数据集和本文实验的3个情感数据集共82,130条语料作为文本训练语料。
在浅层语义词典生成阶段,经调研发现可以从8个不同的方面构建情感分析领域的词汇资源,即意味着情感分类的浅层语义词汇可以来源于8个不同的方面:
1)开源词典:国外的有SentiWordNet和Inquirei,国内有知网HowNet词典和同义词词林、大连理工大学和台湾大学等高校提供的情感词汇库;
2)否定副词词典:否定副词是用于否定后面词语的副词,常见否定词如“不”、“没有”、“没”、“无”、“非”等;
3)程度副词词典:如知网提供的程度副词分为6个等级,分别为极其、很、较、稍、欠、超;
4)网络词典:网络新词即多在网络上流行的非正式语言,多由谐音、错别字改成,也有象形字词,在情感分析领域应用越来越广泛。如“新手”不叫新手叫“菜鸟”,“这样子”不叫这样子叫“酱紫”。百度引擎和搜狐引擎集合了现在广为流行的网络用语,有较好的网络新词覆盖率;
5)符号词典:随着表情符号的流行,人们越来越趋向于用表情符号表达自己的观点,加入符号表情分析可大大提高情感分析效率;
6)语气词词典:语气词在中文表达中经常流露出情感倾向,如“哎呀”,“啊”,“哇塞”等。百度百科提供了76个语气词的词典,还可继续进行扩展;
7)领域词典:情感分类相关的词典,主要指的是情感类别体系,如知网的HowNet情感词典分为正面情感词,正面评价词,负面情感词,负面评价词;
8)其他:对于前面七个方面未涉及的词典,可以通过自己构建的方式获得适合某个特定任务的词汇资源。
根据以上领域词汇的获取方法,本发明收集了二分类情感词典Dopen(15907个单词或短语)和1-6个等级的程度副词词典Dadv(共170个单词或短语),还包括手工整理的310个常用于否定后面词语的转折词Dother。以这3种来源方式的词典为基础,构建大小为3900条的浅层语义词汇词典。
表2情感领域浅层语义词典
在浅层语义预判模式生成阶段,利用文本语料计算出浅层语义词典中每个浅层语义词汇属于每个类别的概率,形成浅层语义词汇概率表。针对一条目标语料,提取出该条语料中的浅层语义词汇,利用求和归一化的方式计算出这条语料的预判概率,即形成浅层语义预判模式(SDG)。
步骤二:集成浅层语义预判模态的CNN模型构建
首先将文本语料进行分词和词向量表达,其中词向量分别出训练50维和300维的词向量。词嵌入向量的生成方法是Google开源的词向量训练工具,同时也采用Google用十多亿个新闻单词用word2vec预训练的300维新闻语料词向量googlenews-vecctors-negative300.bin 进行对比实验。这意味着词嵌入向量有50维和300维两种情况。其中,50维是本文自己训练的,而300维大部分采用Google预训练的300维词向量,对于语料中出现过而google预训练300维新闻词向量中没有出现的词或短语,则采用自建语料库预训练的300维词向量代替。因word2vec模型参数对词向量表示效果和分类模型性能起着决定性作用,故需合理设置 word2vec每个参数值表3所示。
表3 word2vec模型参数
本发明采用卷积神经网络CNN为基础模型来构建情感分类研究模型,模型参数和架构如表3所示。在将文本语料输入CNN模型时,需要将其转化成一个矩阵样本,比如转化为一个90*50的矩阵数据,其表示该文本语料包含90个词语,每个词语的向量维度是50维。而由于原始数据中不同文本语料长度不同,如果选择最短的文本作为统一长度可能会将重要信息截取掉,选择最长的文本长度会使得其它短的文本添加过多无用消息(填充0)并且增加模型训练难度。其中关于文本长度的选择,本发明取每个数据集的平均长度,分别是20,18,19。并进一步对文本的填充方式和截取方式进行深入研究,以填充方式和截取方式的组合来展示算法有效性的验证。其中,pre指对文本进行头部截取或头部填充,post指对文本进行尾部截取或尾部填充;pre_post指对长文本进行头部截取,对短文本进行尾部填充。
表3 CNN模型参数
对于词嵌入向量各个元素的值,本发明采用了固定权重和动态权重的两种方式,前者标记为static,指在训练过程中词向量的值不进行更新变化,即无权重方式,后者标记为dynamic,指词向量权重参与优化过程,在模型训练时会进行动态更新。
接下来初始化CNN网络,然后选取学习样本集D的任一样本(x,y),将其语料x送入CNN进行前向传播计算,得到其模式输出ρCNN,接着根据上一步骤提出的浅层语义预判模式计算方法,计算出语料x对应的浅层语义预判模式输出ρSDG,然后将将ρCNN和ρSDG进行相加并归一化作为形成决策模式,进而输出针对语料x的预测类别 y′。接着根据语料x的真实标签y 和预测类别 y′的差距来指导CNN模型的参数优化。
下面采用precision、accuracy和F1-score3个指标来评价SDG-CNN文本分类模型的性能。图3至图11是SDG-CNN算法在MR数据集、SST-1数据集、SST-2数据集共3个数据集的对比实验结果图。
本发明以浅层语义词汇为基础,通过计算浅层语义词汇概率来构建浅层语义预判模式,最后通过与神经网络进行双模态融合学习的方式指导模型训练。
上述仅为本发明的具体实施方式,但本发明的设计构思并不局限于此,凡利用此构思对本发明进行非实质性的改动,均应属于侵犯本发明保护范围的行为。
Claims (1)
1.一种集成浅层语义预判模态的深度学习文本分类方法,其特征在于,包括以下步骤:
S1:输入文本语料,采用结巴分词工具对语料进行分词;
S2:计算浅层语义预判模式SDG,如下:
S21:从以下八个方面来挖掘行业词汇从而构建浅层语义词典:(1)开源词典Dopen;(2)否定副词词典Dnot;(3)程度副词词典Dadv;(4)网络词典Dnet;(5)符号词典Demoticon;(6)语气词词典Dmood;(7)领域词典Dprofession;(8)其他包括手工构建的词典Dother;
S22:利用训练语料计算出每个浅层语义词汇属于每个类别的概率,形成浅层语义词汇概率表;
S23:基于步骤S21中得到的浅层语义词典,提取每条语料中的浅层语义词汇;
S24:基于步骤S22得到的浅层语义词汇概率表和步骤S23得到的每条语料中的浅层语义词汇,利用求和归一化的方式计算出这条语料的预判概率,即形成浅层语义预判模式SDG;
S3:集成浅层语义预判模态的CNN分类模型构建,如下:
S31:准备有监督文本学习样本集D=[文本语料X、文本类别Y],其中每一个样本由一条文本语料x及其真实标签y所形成;
S32:初始化CNN网络;
S33:选取学习样本集D的任一样本(x,y),将其文本语料x送入CNN进行前向传播计算,得到其模式输出ρCNN;
S34:基于步骤S2提出的浅层语义预判模式计算方法,计算出文本语料x对应的浅层语义预判模式输出ρSDG;
S35:将ρCNN和ρSDG进行相加并归一化形成决策模式,进而输出针对文本语料x的预测类别y′;
S36:根据文本语料x的真实标签y和预测类别y′的差距来对CNN模型进行参数优化;
S37:基于步骤S36中已经训练好的CNN网络,将一条被测文本语料x送入CNN进行前向传播计算,得到其预测类别y′。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910284597.XA CN110059187B (zh) | 2019-04-10 | 2019-04-10 | 一种集成浅层语义预判模态的深度学习文本分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910284597.XA CN110059187B (zh) | 2019-04-10 | 2019-04-10 | 一种集成浅层语义预判模态的深度学习文本分类方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110059187A CN110059187A (zh) | 2019-07-26 |
CN110059187B true CN110059187B (zh) | 2022-06-07 |
Family
ID=67318655
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910284597.XA Active CN110059187B (zh) | 2019-04-10 | 2019-04-10 | 一种集成浅层语义预判模态的深度学习文本分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110059187B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111046177A (zh) * | 2019-11-26 | 2020-04-21 | 方正璞华软件(武汉)股份有限公司 | 一种仲裁案件自动预判方法及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105824922A (zh) * | 2016-03-16 | 2016-08-03 | 重庆邮电大学 | 一种融合深层特征和浅层特征的情感分类方法 |
CN106294330A (zh) * | 2015-05-11 | 2017-01-04 | 清华大学 | 一种科技文本挑选方法及装置 |
KR101799681B1 (ko) * | 2016-06-15 | 2017-11-20 | 울산대학교 산학협력단 | 어휘 의미망 및 단어 임베딩을 이용한 동형이의어 분별 장치 및 방법 |
CN108804512A (zh) * | 2018-04-20 | 2018-11-13 | 平安科技(深圳)有限公司 | 文本分类模型的生成装置、方法及计算机可读存储介质 |
CN109165387A (zh) * | 2018-09-20 | 2019-01-08 | 南京信息工程大学 | 一种基于gru神经网络的中文评论情感分析法 |
-
2019
- 2019-04-10 CN CN201910284597.XA patent/CN110059187B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106294330A (zh) * | 2015-05-11 | 2017-01-04 | 清华大学 | 一种科技文本挑选方法及装置 |
CN105824922A (zh) * | 2016-03-16 | 2016-08-03 | 重庆邮电大学 | 一种融合深层特征和浅层特征的情感分类方法 |
KR101799681B1 (ko) * | 2016-06-15 | 2017-11-20 | 울산대학교 산학협력단 | 어휘 의미망 및 단어 임베딩을 이용한 동형이의어 분별 장치 및 방법 |
CN108804512A (zh) * | 2018-04-20 | 2018-11-13 | 平安科技(深圳)有限公司 | 文本分类模型的生成装置、方法及计算机可读存储介质 |
CN109165387A (zh) * | 2018-09-20 | 2019-01-08 | 南京信息工程大学 | 一种基于gru神经网络的中文评论情感分析法 |
Non-Patent Citations (2)
Title |
---|
A study of the effectiveness of machine learning methods for classification of clinical interview fragments into a large number of categories;Mehedi Hasan等;《Journal of Biomedical Informatics》;20160831;第62卷;全文 * |
基于主题的文本挖掘及可视化系统研究与实现_;郭英杰;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20190215(第02期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN110059187A (zh) | 2019-07-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112001185B (zh) | 一种结合中文句法和图卷积神经网络的情感分类方法 | |
CN108108351B (zh) | 一种基于深度学习组合模型的文本情感分类方法 | |
CN107291693B (zh) | 一种改进词向量模型的语义计算方法 | |
CN110245229B (zh) | 一种基于数据增强的深度学习主题情感分类方法 | |
CN109858028B (zh) | 一种基于概率模型的短文本相似度计算方法 | |
CN111241294B (zh) | 基于依赖解析和关键词的图卷积网络的关系抽取方法 | |
CN106202010B (zh) | 基于深度神经网络构建法律文本语法树的方法和装置 | |
CN110717334A (zh) | 基于bert模型和双通道注意力的文本情感分析方法 | |
CN112001187A (zh) | 一种基于中文句法和图卷积神经网络的情感分类系统 | |
CN112001186A (zh) | 一种利用图卷积神经网络和中文句法的情感分类方法 | |
Rashid et al. | Emotion detection of contextual text using deep learning | |
CN107273352B (zh) | 一种基于Zolu函数的词嵌入学习模型及训练方法 | |
CN107870901A (zh) | 从翻译源原文生成相似文的方法、程序、装置以及系统 | |
CN112989033B (zh) | 基于情绪类别描述的微博情绪分类方法 | |
CN110032741B (zh) | 一种基于语义扩展和最大边缘相关的伪文本生成方法 | |
CN110750648A (zh) | 一种基于深度学习和特征融合的文本情感分类方法 | |
CN109858034A (zh) | 一种基于注意力模型和情感词典的文本情感分类方法 | |
CN110069632B (zh) | 一种集成浅层语义表示向量的深度学习文本分类方法 | |
CN111353040A (zh) | 基于gru的属性级别情感分析方法 | |
CN111339772B (zh) | 俄语文本情感分析方法、电子设备和存储介质 | |
CN115759119A (zh) | 一种金融文本情感分析方法、系统、介质和设备 | |
Tapsai et al. | Thai Natural Language Processing: Word Segmentation, Semantic Analysis, and Application | |
CN110059187B (zh) | 一种集成浅层语义预判模态的深度学习文本分类方法 | |
CN111581365B (zh) | 一种谓词抽取方法 | |
Xia et al. | Study of text emotion analysis based on deep learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |