CN112395417A - 基于深度学习的网络舆情演化仿真方法及系统 - Google Patents
基于深度学习的网络舆情演化仿真方法及系统 Download PDFInfo
- Publication number
- CN112395417A CN112395417A CN202011292823.8A CN202011292823A CN112395417A CN 112395417 A CN112395417 A CN 112395417A CN 202011292823 A CN202011292823 A CN 202011292823A CN 112395417 A CN112395417 A CN 112395417A
- Authority
- CN
- China
- Prior art keywords
- model
- emotion
- training
- corpus
- inputting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004088 simulation Methods 0.000 title claims abstract description 54
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000013135 deep learning Methods 0.000 title claims abstract description 22
- 230000008451 emotion Effects 0.000 claims abstract description 123
- 238000012549 training Methods 0.000 claims abstract description 83
- 239000013598 vector Substances 0.000 claims description 92
- 238000005457 optimization Methods 0.000 claims description 35
- 238000013528 artificial neural network Methods 0.000 claims description 25
- 239000002356 single layer Substances 0.000 claims description 22
- 230000002996 emotional effect Effects 0.000 claims description 21
- 239000010410 layer Substances 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 7
- 230000007246 mechanism Effects 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims description 2
- 238000004458 analytical method Methods 0.000 abstract description 10
- 238000003058 natural language processing Methods 0.000 abstract description 7
- 230000004927 fusion Effects 0.000 abstract description 3
- 239000011159 matrix material Substances 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 230000002457 bidirectional effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 244000097202 Rathbunia alamosensis Species 0.000 description 1
- 235000009776 Rathbunia alamosensis Nutrition 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000009849 deactivation Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000003292 glue Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000013106 supervised machine learning method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/01—Social networking
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Business, Economics & Management (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及基于深度学习的网络舆情演化仿真方法及系统，涉及自然语言处理中的文本情感分析技术领域。对BERT模型的预训练任务进行改进，并在此基础上叠加深度预训练任务，还借助于与LDA主题模型深度融合以实现主题视角下细粒度的舆情仿真分析。将待分类语料集TC输入情感分类微调模型中，得到情感分类结果，再将待分类语料集TC输入至BERT模型，进行向量化处理，并将向量化处理后的待分类语料集TC输入LDA主题模型中进行迭代计算，得到文档分布，然后融合情感分类结果和文档分布，得到情感倾向分布，并按照时间顺序对情感倾向分布进行划分，得到情感时序仿真结果，从而得到更加细粒度和精准的文本主题聚类和舆情演化仿真结果。
Description
技术领域
本发明涉及自然语言处理中的文本情感分析技术领域，特别是涉及一种基于深度学习的重大突发事件网络舆情演化仿真方法及系统。
背景技术
传统的舆情情感演化仿真常用方法为情感词典法和有监督的机器学习方法。近年来，深度学习逐渐取代了传统的情感仿真，长短期记忆神经网络(Long Short-TermMemory，LSTM)是深度学习领域中被广泛运用的特殊递归神经网络，通过内嵌遗忘门和输入门机制，一定程度上缓解了一般循环神经网络 (Recurrent Neural Network，RNN)无法解决的长距离依赖问题。然而，对于特别长期的依赖，LSTM依然无能为力。因此，Vaswani等人构建了Transformer 模型，通过自注意力机制仿真建模取代传统的Word2Vec词向量嵌入，有效解决了自然语言处理(Natural Language Processing，NLP)中棘手的长期依赖问题。随后，Devlin等人在Transformer模型的结构基础上构建了BERT预训练模型，一举打破GLUEbenchmark 11项NLP测试任务的最高纪录。
尽管BERT在多项NLP任务中表现卓越，但由于BERT在预训练阶段缺乏大规模情感语料的输入，使其在执行情感分析任务时存在一定瓶颈。此外，基于BERT的情感仿真难以对隐藏在海量文本背后的语义进行主题细粒度挖掘。
发明内容
本发明的目的是提供一种基于深度学习的网络舆情演化仿真方法及系统，对BERT模型的预训练任务进行改进，并在此基础上叠加深度预训练任务，还借助于与LDA主题模型深度融合以实现主题视角下细粒度的舆情仿真分析，从而实现更精准的舆情情感分类。
为实现上述目的，本发明提供了如下方案：
一种基于深度学习的网络舆情演化仿真方法，所述仿真方法包括如下步骤：
将训练语料集TB输入至BERT模型；
利用LDA主题模型对所述BERT模型中输入词所映射得到的词向量进行优化，得到优化后的词向量；
将所述优化后的词向量输入至所述BERT模型的Transformer编码器中，对所述BERT模型的预训练任务进行情感优化；
在情感优化后的BERT模型的softmax层中构建单层神经网络，作为情感分类器，得到优化后的BERT模型；所述单层神经网络连接所述Transformer 编码器输出的文本起始符所对应的输出向量；
利用所述优化后的BERT模型的结构，输入训练语料集TW进行深度预训练，得到深度预训练模型；并将所述深度预训练模型迁移到所述优化后的 BERT模型softmax层中的微调模型中，得到情感分类微调模型；
将待分类语料集TC输入所述情感分类微调模型中，得到情感分类结果；
将所述待分类语料集TC输入至BERT模型，进行向量化处理，并将向量化处理后的待分类语料集TC输入LDA主题模型中进行迭代计算，得到文档分布；
融合所述情感分类结果和所述文档分布，得到情感倾向分布；
按照时间顺序对所述情感倾向分布进行划分，得到情感时序仿真结果。
本发明还用于提供一种基于深度学习的网络舆情演化仿真系统，所述仿真系统包括：
输入模块，用于将训练语料集TB输入至BERT模型；
词向量优化模块，用于利用LDA主题模型对所述BERT模型中输入词所映射得到的词向量进行优化，得到优化后的词向量；
情感优化模块，用于将所述优化后的词向量输入至所述BERT模型的 Transformer编码器中，对所述BERT模型的预训练任务进行情感优化；
优化BERT模型获取模块，用于在情感优化后的BERT模型的softmax层中构建单层神经网络，作为情感分类器，得到优化后的BERT模型；所述单层神经网络连接所述Transformer编码器输出的文本起始符所对应的输出向量；
情感分类微调模型获取模块，用于利用所述优化后的BERT模型的结构，输入训练语料集TW进行深度预训练，得到深度预训练模型；并将所述深度预训练模型迁移到所述优化后的BERT模型softmax层中的微调模型中，得到情感分类微调模型；
情感分类结果获取模块，用于将待分类语料集TC输入所述情感分类微调模型中，得到情感分类结果；
文档分布获取模块，用于将所述待分类语料集TC输入至BERT模型，进行向量化处理，并将向量化处理后的待分类语料集TC输入LDA主题模型中进行迭代计算，得到文档分布；
情感倾向分布获取模块，用于融合所述情感分类结果和所述文档分布，得到情感倾向分布；
情感时序仿真结果获取模块，用于按照时间顺序对所述情感倾向分布进行划分，得到情感时序仿真结果。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明提供的一种基于深度学习的网络舆情演化仿真方法及系统，将训练语料集TB输入至BERT模型，并利用LDA主题模型对BERT模型中输入词所映射得到的词向量进行优化，得到优化后的词向量，既能够充分结合上下文语义信息弥补LDA词袋模型的不足，训练出更优的主题向量，又能将优化后的主题向量与BERT模型的词向量深度融合，实现主题视角下细粒度的舆情仿真分析。将优化后的词向量输入至BERT模型的Transformer编码器中，对BERT 模型的预训练任务进行情感优化，使模型能够学习更多的情感信息。在情感优化后的BERT模型的softmax层中构建单层神经网络，作为情感分类器，得到优化后的BERT模型。利用优化后的BERT模型的结构，输入训练语料集TW 进行深度预训练，得到深度预训练模型，并将深度预训练模型迁移到优化后的 BERT模型softmax层中的微调模型中，得到情感分类微调模型，以在改进 BERT模型预训练任务的基础上叠加深度预训练任务，实现更精准的舆情情感分类。
将待分类语料集TC输入情感分类微调模型中，得到情感分类结果，再将待分类语料集TC输入至BERT模型，进行向量化处理，并将向量化处理后的待分类语料集TC输入LDA主题模型中进行迭代计算，得到文档分布，然后融合情感分类结果和文档分布，得到情感倾向分布，并按照时间顺序对情感倾向分布进行划分，得到情感时序仿真结果，从而得到更加细粒度和精准的文本主题聚类和舆情演化仿真结果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1所提供的仿真方法的方法流程图。
图2为本发明实施例1所提供的改进后的BERT模型的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于深度学习的网络舆情演化仿真方法及系统，对BERT模型的预训练任务进行改进，并在此基础上叠加深度预训练任务，还借助于与LDA主题模型深度融合以实现主题视角下细粒度的舆情仿真分析，从而实现更精准的舆情情感分类。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例1：
本实施例用于提供一种基于深度学习的网络舆情演化仿真方法，如图1 所示，所述仿真方法包括如下步骤：
步骤101：将训练语料集TB输入至BERT模型；
其中，在将训练语料集TB输入至BERT模型之前，所述仿真方法还包括对训练语料集TB进行分词、去停用词的数据预处理。还可统计训练语料集 TB中各个词的词频信息，提取高频词并添加特殊字符组成复杂语料词典，每个词对应一个唯一索引。
步骤102：利用LDA主题模型对所述BERT模型中输入词所映射得到的词向量进行优化，得到优化后的词向量；
BERT(Bidirectional Encoder Representations from Transformers)是Google于2018年发布的基于双向Transformer结构的语言预训练模型，通过遮蔽语言模型(MaskedLanguage Model，MLM)和句子预测(Next Sentence Prediction，NSP) 任务来增强模型的语义表示能力，并依靠Transformer强大的特征提取能力和 Fine-tunning迁移学习能力使之在多项NLP任务中脱颖而出。为了提高大规模复杂文本在情感分类任务中的精准度和细粒度，本实施例保留了BERT基础模型，同时，将LDA主题模型的主题优化结果分别嵌入到BERT模型的预训练和微调阶段，使BERT模型在执行情感分类任务时能够同时学习句法、语义和主题等文本特征。改进后的BERT模型的结构如图2所示。其中，设定ω、δ、ρ分别为BERT模型获取文本的词义向量(Word Embedding)、文本向量 (Segment Embedding)和位置向量(Position Embedding)，Trm表示Transformer 编码器，对于文本中插入的特殊字符，本实施例进行了如表1的解析。
表1文本分析中的特殊字符映射关系
如图2所示，将分词后的文档输入模型后，每个词被映射成三个向量和表示wij(ω+δ+ρ)，将其统称为词向量。在改进过程中，为了使BERT模型能够实现主题视角下细粒度的舆情仿真分析，将词向量wij(ω+δ+ρ)与LDA主题模型的主题表示相结合，但LDA(LatentDirichlet Allocation)是常用的文档主题抽取优化模型，通过将文本集中每一篇文档主题以概率分布的形式给出，再根据主题分布进行主题聚类或文本分类优化。随后利用GibbsSampling算法进行参数估计，迭代抽样直到收敛，得到“主题-词”分布矩阵和“文本-主题”分布。在原始模型的计算过程中，主题向量μ由每个主题的高频词与文档的余弦距离计算得到，主题词受限于LDA词袋模型的传统结构，无法有效结合文本的语义和上下文信息，且分词技术的好坏对μ的计算结果影响较大。为了得到更优的主题向量，本实施例将BERT模型中的词向量与LDA模型的主题表示相融合，通过迭代计算词权重得到优化后的主题向量u'，以期为大规模复杂文本的情感仿真提供更为精准的主题语义信息。
具体的，所述利用LDA主题模型对所述BERT模型中输入词所映射得到的词向量进行优化，得到优化后的词向量具体包括：将训练语料集TB输入至 BERT模型，进行向量化处理，所述训练语料集TB中的每个词均被映射成一个包含词义向量、文本向量和位置向量的词向量；将向量化处理后的训练语料集TB输入至LDA主题模型，得到优化后的主题向量，将所述优化后的主题向量嵌入所述BERT模型，对所述BERT模型中输入词所映射得到的词向量进行优化，得到优化后的词向量；所述优化后的词向量包括词义向量、文本向量、位置向量和主题向量。进而得到融合更优主题向量的词向量 wij(ω+δ+ρ+u')，再将其传入双向Transformer编码器中。
步骤103：将所述优化后的词向量输入至所述BERT模型的Transformer 编码器中，对所述BERT模型的预训练任务进行情感优化；
舆情情感演化仿真模型的构建，旨在精准模拟大规模网络舆情的情感演化过程，掌握群体的情感演化特征与规律，辅助政府部门快速形成有效的舆情应对机制。由于BERT在预训练阶段缺少情感语料的训练，导致其执行情感分类任务时表现欠佳。因此，本实施例为BERT模型制定了新的预训练任务，引入了改进的预训练语料集TB，训练语料集TB包括中文维基百科语料以及新浪微博和百度贴吧的情感语料，即在原有中文维基百科语料的基础上，加入新浪微博和百度贴吧情感语料，以期模型能够学习更多的情感信息，能够更好的执行情感分类任务。
另外，为了使模型学习更多信息，Transformer编码器将多头机制 (Multi-HeadAttention)和前馈层(Feed Forward)通过残差网络结构连接，由多头机制对输入的向量进行多次线性变换得到不同的线性值，再对注意力权重进行计算。其计算过程如式(1)和式(2)所示：
MultiHead(Q,K,V)＝Concat(head1，head2，...，headh)WO (1)
式中，Q、K、V为输入词向量矩阵，将Q、K、V通过参数矩阵映射后计算Attention，重复h次后对计算结果进行拼接，headf＝{headf|f∈{1，2，...，h}} 表示第f个超参数头，WO为权重矩阵，
表示第f个超参数头对应的WQ、WK、WV权重矩阵。
由此，Transformer编码器学习并存储了文档di的语义关系和语法结构信息，由于文档di经过BERT模型改进后融合了更优主题向量，因此，将改进后的文档d′i通过特殊字符[CLS]与softmax的输出层连接以适配多任务下的迁移学习。由此，融合了主题优化信息的特征向量与BERT词向量相结合，可望提高模型在大规模复杂文本情感演化仿真的精确度和细粒度。
步骤104:在情感优化后的BERT模型的softmax层中构建单层神经网络，作为情感分类器，得到优化后的BERT模型；所述单层神经网络连接所述 Transformer编码器输出的文本起始符[CLS]所对应的输出向量；
所述情感分类器用于执行情感分类(Sentiment Classification，SC)任务，同时情感优化后的BERT模型仍然保留了MLM和NSP任务。所述BERT模型的softmax层中还包括一个连接在Transformer编码器输出的文本起始符所对应的输出向量的单层神经网络，以执行NSP任务。所述BERT模型的softmax 层中还包括一个连接在Transformer编码器输出的遮盖字所对应的输出向量的单层神经网络，以执行MLM任务。
步骤105：利用所述优化后的BERT模型的结构，输入训练语料集TW进行深度预训练，得到深度预训练模型；并将所述深度预训练模型迁移到所述优化后的BERT模型softmax层中的微调模型中，得到情感分类微调模型；
本实施例在改进预训练任务的基础上，增加深度预训练任务，以实现更精准的舆情情感分类。引入公开的新浪微博标注集和少量特定事件的情感标注集 TW作为BERT深度预训练语料。
具体的，所述利用所述优化后的BERT模型的结构，输入训练语料集TW 进行深度预训练，得到深度预训练模型具体包括：
设置初始学习率LR、批量大小、dropout率和Epoch训练次数；
将所述MLM任务、所述NSP任务和所述SC任务的损失和作为深度预训练的损失函数；
损失函数为：
Loss＝λ1LossMLM+λ2LossNSP+λ3LossSC (3)
式3中，λ1、λ2、λ3分别为MLM任务、NSP任务和SC任务对应的权重分配。
输入训练语料集TW进行深度预训练，在训练过程中，采用Adam优化算法确定最佳学习率LR，使用AUC作为检验模型训练效果的指标，并采用F1 分数确定正、负情感分类的最佳阈值，以在训练过程中避免过拟合现象，得到深度预训练模型。
步骤106：将待分类语料集TC输入所述情感分类微调模型中，得到情感分类结果；
其中，TC为特定事件的情感分类任务语料集。输入待分类语料集TC并计算每个文档TCi的情感值E(TCi)，根据情感分类阈值将情感值转化为相应的情感极性E'(TCi)，得到粗粒度情感分类结果RTC； RTC＝(MnEpos(TCi)，MnEneg(TCi)，E'pos(TCi)，E'neg(TCi))；其中，MnEpos(TCi)) 为正向情感均值，MnEneg(TCi)为负向情感均值，E'pos(TCi)为正向情感文本数，E'neg(TCi)为负向情感文本数。
然后，将RTC按照时间顺序整合到时间序列文本集TC_time，TC_time＝{(TC1，time1)，(TC2，time2)，...，(TCM，timeq)}；其中，time含q个时间片，得到粗粒度的“文本_时间”情感时序演化结果time_RTC； time_RTC＝{time_RTC1，time_RTC2，...，time_RTCq}。
步骤107：将所述待分类语料集TC输入至BERT模型，进行向量化处理，并将向量化处理后的待分类语料集TC输入LDA主题模型中进行迭代计算，得到文档分布；
将待分类语料集TC输入至BERT模型，进行向量化处理，所述待分类语料集TC中的每个词均被映射成一个包含词义向量、文本向量和位置向量的词向量；将向量化处理后的待分类语料集TC输入至LDA主题模型，得到l个最优主题数下“主题-词”对应的文档分布TTC， TTC＝{(TC1，l1)，(TC2，l2)，...，(TCM，ll)}。
步骤108：融合所述情感分类结果和所述文档分布，得到情感倾向分布；
将文档分布TTC与粗粒度情感分类结果RTC相结合，得到“主题-词”的情感倾向分布TTC'。
步骤109：按照时间顺序对所述情感倾向分布进行划分，得到情感时序仿真结果。
将情感倾向分布TTC'整合到时间序列文本集TC_time中，得到细粒度的“文本-主题”情感时序仿真结果time_TTC'； time_TTC'＝{time_TTC'1，time_TTC'2，...，time_TTC'q}。
本实施例提供的网络舆情情感仿真方法融合LDA主题模型和BERT模型，既能够充分结合上下文语义信息、弥补LDA词袋模型的不足，训练出更优的主题向量，又能将优化后的主题向量与BERT词向量深度融合，得到更加细粒度和精准的文本主题聚类和舆情演化仿真结果。
实施例2：
本实施例用于提供一种基于深度学习的网络舆情演化仿真系统，采用如实施例1所述的仿真方法进行工作，所述仿真系统包括：
输入模块，用于将训练语料集TB输入至BERT模型；
词向量优化模块，用于利用LDA主题模型对所述BERT模型中输入词所映射得到的词向量进行优化，得到优化后的词向量；
情感优化模块，用于将所述优化后的词向量输入至所述BERT模型的Transformer编码器中，对所述BERT模型的预训练任务进行情感优化；
优化BERT模型获取模块，用于在情感优化后的BERT模型的softmax层中构建单层神经网络，作为情感分类器，得到优化后的BERT模型；所述单层神经网络连接所述Transformer编码器输出的文本起始符所对应的输出向量；
情感分类微调模型获取模块，用于利用所述优化后的BERT模型的结构，输入训练语料集TW进行深度预训练，得到深度预训练模型；并将所述深度预训练模型迁移到所述优化后的BERT模型softmax层中的微调模型中，得到情感分类微调模型；
情感分类结果获取模块，用于将待分类语料集TC输入所述情感分类微调模型中，得到情感分类结果；
文档分布获取模块，用于将所述待分类语料集TC输入至BERT模型，进行向量化处理，并将向量化处理后的待分类语料集TC输入LDA主题模型中进行迭代计算，得到文档分布；
情感倾向分布获取模块，用于融合所述情感分类结果和所述文档分布，得到情感倾向分布；
情感时序仿真结果获取模块，用于按照时间顺序对所述情感倾向分布进行划分，得到情感时序仿真结果。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种基于深度学习的网络舆情演化仿真方法，其特征在于，所述仿真方法包括如下步骤：
将训练语料集TB输入至BERT模型；
利用LDA主题模型对所述BERT模型中输入词所映射得到的词向量进行优化，得到优化后的词向量；
将所述优化后的词向量输入至所述BERT模型的Transformer编码器中，对所述BERT模型的预训练任务进行情感优化；
在情感优化后的BERT模型的softmax层中构建单层神经网络，作为情感分类器，得到优化后的BERT模型；所述单层神经网络连接所述Transformer编码器输出的文本起始符所对应的输出向量；
利用所述优化后的BERT模型的结构，输入训练语料集TW进行深度预训练，得到深度预训练模型；并将所述深度预训练模型迁移到所述优化后的BERT模型softmax层中的微调模型中，得到情感分类微调模型；
将待分类语料集TC输入所述情感分类微调模型中，得到情感分类结果；
将所述待分类语料集TC输入至BERT模型，进行向量化处理，并将向量化处理后的待分类语料集TC输入LDA主题模型中进行迭代计算，得到文档分布；
融合所述情感分类结果和所述文档分布，得到情感倾向分布；
按照时间顺序对所述情感倾向分布进行划分，得到情感时序仿真结果。
2.如权利要求1所述的一种基于深度学习的网络舆情演化仿真方法，其特征在于，所述训练语料集TB包括中文维基百科语料以及新浪微博和百度贴吧的情感语料。
3.如权利要求1所述的一种基于深度学习的网络舆情演化仿真方法，其特征在于，在将训练语料集TB输入至BERT模型之前，所述仿真方法还包括对训练语料集TB进行分词、去停用词的数据预处理。
4.如权利要求1所述的一种基于深度学习的网络舆情演化仿真方法，其特征在于，所述利用LDA主题模型对所述BERT模型中输入词所映射得到的词向量进行优化，得到优化后的词向量具体包括：
将训练语料集TB输入至BERT模型，进行向量化处理，所述训练语料集TB中的每个词均被映射成一个包含词义向量、文本向量和位置向量的词向量；
将向量化处理后的训练语料集TB输入至LDA主题模型，得到优化后的主题向量，将所述优化后的主题向量嵌入所述BERT模型，对所述BERT模型中输入词所映射得到的词向量进行优化，得到优化后的词向量；所述优化后的词向量包括词义向量、文本向量、位置向量和主题向量。
5.如权利要求1所述的一种基于深度学习的网络舆情演化仿真方法，其特征在于，所述情感分类器用于执行SC任务。
6.如权利要求5所述的一种基于深度学习的网络舆情演化仿真方法，其特征在于，所述BERT模型的softmax层中还包括一个连接在Transformer编码器输出的文本起始符所对应的输出向量的单层神经网络，以执行NSP任务。
7.如权利要求6所述的一种基于深度学习的网络舆情演化仿真方法，其特征在于，所述BERT模型的softmax层中还包括一个连接在Transformer编码器输出的遮盖字所对应的输出向量的单层神经网络，以执行MLM任务。
8.如权利要求7所述的一种基于深度学习的网络舆情演化仿真方法，其特征在于，所述利用所述优化后的BERT模型的结构，输入训练语料集TW进行深度预训练，得到深度预训练模型具体包括：
设置初始学习率、批量大小、dropout率和Epoch训练次数；
将所述MLM任务、所述NSP任务和所述SC任务的损失和作为深度预训练的损失函数；
输入训练语料集TW进行深度预训练，在训练过程中，采用Adam优化算法确定最佳学习率，使用AUC作为检验模型训练效果的指标，并采用F1分数确定正、负情感分类的最佳阈值，得到深度预训练模型。
9.如权利要求1所述的一种基于深度学习的网络舆情演化仿真方法，其特征在于，所述Transformer编码器将多头机制和前馈层通过残差网络结构连接。
10.一种基于深度学习的网络舆情演化仿真系统，其特征在于，所述仿真系统包括：
输入模块，用于将训练语料集TB输入至BERT模型；
词向量优化模块，用于利用LDA主题模型对所述BERT模型中输入词所映射得到的词向量进行优化，得到优化后的词向量；
情感优化模块，用于将所述优化后的词向量输入至所述BERT模型的Transformer编码器中，对所述BERT模型的预训练任务进行情感优化；
优化BERT模型获取模块，用于在情感优化后的BERT模型的softmax层中构建单层神经网络，作为情感分类器，得到优化后的BERT模型；所述单层神经网络连接所述Transformer编码器输出的文本起始符所对应的输出向量；
情感分类微调模型获取模块，用于利用所述优化后的BERT模型的结构，输入训练语料集TW进行深度预训练，得到深度预训练模型；并将所述深度预训练模型迁移到所述优化后的BERT模型softmax层中的微调模型中，得到情感分类微调模型；
情感分类结果获取模块，用于将待分类语料集TC输入所述情感分类微调模型中，得到情感分类结果；
文档分布获取模块，用于将所述待分类语料集TC输入至BERT模型，进行向量化处理，并将向量化处理后的待分类语料集TC输入LDA主题模型中进行迭代计算，得到文档分布；
情感倾向分布获取模块，用于融合所述情感分类结果和所述文档分布，得到情感倾向分布；
情感时序仿真结果获取模块，用于按照时间顺序对所述情感倾向分布进行划分，得到情感时序仿真结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011292823.8A CN112395417A (zh) | 2020-11-18 | 2020-11-18 | 基于深度学习的网络舆情演化仿真方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011292823.8A CN112395417A (zh) | 2020-11-18 | 2020-11-18 | 基于深度学习的网络舆情演化仿真方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112395417A true CN112395417A (zh) | 2021-02-23 |
Family
ID=74606495
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011292823.8A Pending CN112395417A (zh) | 2020-11-18 | 2020-11-18 | 基于深度学习的网络舆情演化仿真方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112395417A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113297352A (zh) * | 2021-06-07 | 2021-08-24 | 苏州大学 | 基于多任务网络的属性级情感分类方法及装置 |
| CN114443845A (zh) * | 2022-01-20 | 2022-05-06 | 序跋网络科技(上海)有限公司 | 一种基于bert的多特征细粒度中文短文本情感分类方法 |
| CN114663246A (zh) * | 2022-05-24 | 2022-06-24 | 中国电子科技集团公司第三十研究所 | 传播仿真中信息制品的表征建模方法及多智能体仿真方法 |
| WO2022221184A1 (en) * | 2021-04-12 | 2022-10-20 | Nec Laboratories America, Inc. | Opinion summarization tool |
| CN115545041A (zh) * | 2022-11-25 | 2022-12-30 | 神州医疗科技股份有限公司 | 一种增强医疗语句语义向量表示的模型构造方法及系统 |
| CN116738298A (zh) * | 2023-08-16 | 2023-09-12 | 杭州同花顺数据开发有限公司 | 一种文本分类方法、系统和存储介质 |
| CN117390131A (zh) * | 2023-07-04 | 2024-01-12 | 无锡学院 | 一种用于多领域的文本情感分类方法 |
| CN118394944A (zh) * | 2024-06-28 | 2024-07-26 | 山东师范大学 | 基于深度学习的主题建模与情感分析方法及系统 |
-
2020
- 2020-11-18 CN CN202011292823.8A patent/CN112395417A/zh active Pending
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022221184A1 (en) * | 2021-04-12 | 2022-10-20 | Nec Laboratories America, Inc. | Opinion summarization tool |
| CN113297352A (zh) * | 2021-06-07 | 2021-08-24 | 苏州大学 | 基于多任务网络的属性级情感分类方法及装置 |
| CN113297352B (zh) * | 2021-06-07 | 2024-01-16 | 苏州大学 | 基于多任务网络的属性级情感分类方法及装置 |
| CN114443845A (zh) * | 2022-01-20 | 2022-05-06 | 序跋网络科技(上海)有限公司 | 一种基于bert的多特征细粒度中文短文本情感分类方法 |
| CN114663246A (zh) * | 2022-05-24 | 2022-06-24 | 中国电子科技集团公司第三十研究所 | 传播仿真中信息制品的表征建模方法及多智能体仿真方法 |
| CN115545041A (zh) * | 2022-11-25 | 2022-12-30 | 神州医疗科技股份有限公司 | 一种增强医疗语句语义向量表示的模型构造方法及系统 |
| CN117390131A (zh) * | 2023-07-04 | 2024-01-12 | 无锡学院 | 一种用于多领域的文本情感分类方法 |
| CN116738298A (zh) * | 2023-08-16 | 2023-09-12 | 杭州同花顺数据开发有限公司 | 一种文本分类方法、系统和存储介质 |
| CN116738298B (zh) * | 2023-08-16 | 2023-11-24 | 杭州同花顺数据开发有限公司 | 一种文本分类方法、系统和存储介质 |
| CN118394944A (zh) * | 2024-06-28 | 2024-07-26 | 山东师范大学 | 基于深度学习的主题建模与情感分析方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112395417A (zh) | 基于深度学习的网络舆情演化仿真方法及系统 | |
| CN107992597B (zh) | 一种面向电网故障案例的文本结构化方法 | |
| CN108733653B (zh) | 一种基于融合词性和语义信息的Skip-gram模型的情感分析方法 | |
| CN110569508A (zh) | 融合词性和自注意力机制的情感倾向性分类方法及系统 | |
| CN109325231B (zh) | 一种多任务模型生成词向量的方法 | |
| CN109214006B (zh) | 图像增强的层次化语义表示的自然语言推理方法 | |
| CN113515632B (zh) | 基于图路径知识萃取的文本分类方法 | |
| CN113673254B (zh) | 基于相似度保持的知识蒸馏的立场检测方法 | |
| CN110580287A (zh) | 基于迁移学习和on-lstm的情感分类方法 | |
| CN115392259B (zh) | 一种基于对抗训练融合bert的微博文本情感分析方法及系统 | |
| CN111339260A (zh) | 一种基于bert和qa思想的细粒度情感分析方法 | |
| CN115204143B (zh) | 一种基于prompt的文本相似度计算方法及系统 | |
| US20230289528A1 (en) | Method for constructing sentiment classification model based on metaphor identification | |
| CN115630156A (zh) | 一种融合Prompt和SRU的蒙古语情感分析方法与系统 | |
| CN113886562A (zh) | 一种ai简历筛选方法、系统、设备和存储介质 | |
| CN114722835A (zh) | 基于lda和bert融合改进模型的文本情感识别方法 | |
| CN115048511A (zh) | 一种基于Bert的护照版面分析方法 | |
| CN114564563A (zh) | 一种基于关系分解的端到端实体关系联合抽取方法及系统 | |
| CN114491024A (zh) | 一种基于小样本的特定领域多标签文本分类方法 | |
| CN112528653A (zh) | 短文本实体识别方法和系统 | |
| CN115129807A (zh) | 基于自注意的社交媒体主题评论的细粒度分类方法及系统 | |
| CN114548117A (zh) | 一种基于bert语义增强的因果关系抽取方法 | |
| CN114492458A (zh) | 一种基于多头注意力和词共现的方面级情感分析方法 | |
| CN113486143A (zh) | 一种基于多层级文本表示及模型融合的用户画像生成方法 | |
| Purba et al. | Document level emotion detection from bangla text using machine learning techniques |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |