CN115344694A - 一种基于Bert和BiLSTM的短文本情感分析方法、装置及存储介质 - Google Patents

一种基于Bert和BiLSTM的短文本情感分析方法、装置及存储介质 Download PDF

Info

Publication number
CN115344694A
CN115344694A CN202210842529.2A CN202210842529A CN115344694A CN 115344694 A CN115344694 A CN 115344694A CN 202210842529 A CN202210842529 A CN 202210842529A CN 115344694 A CN115344694 A CN 115344694A
Authority
CN
China
Prior art keywords
bilstm
short text
bert
text data
word vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210842529.2A
Other languages
English (en)
Inventor
李慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bank of China Financial Technology Co Ltd
Original Assignee
Bank of China Financial Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bank of China Financial Technology Co Ltd filed Critical Bank of China Financial Technology Co Ltd
Priority to CN202210842529.2A priority Critical patent/CN115344694A/zh
Publication of CN115344694A publication Critical patent/CN115344694A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/353—Clustering; Classification into predefined classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3346—Query execution using probabilistic model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3347—Query execution using vector based model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Machine Translation (AREA)

Abstract

本发明涉及一种基于Bert和BiLSTM的短文本情感分析方法、装置及存储介质，其中方法包括以下步骤：获取短文本数据集；对短文本数据集进行预处理；将经过预处理的短文本数据集输入Bert模块，提取得到词向量；将词向量输入BiLSTM双向记忆神经网络进行特征提取，得到词向量特征；将词向量特征输入基于Softmax函数的情感分类模块，输出文本数据情感倾向性的判断结果。与现有技术相比，本发明具有识别精度高等优点。

Description

一种基于Bert和BiLSTM的短文本情感分析方法、装置及存储 介质
技术领域
本发明涉及语义分析领域，尤其是涉及一种基于Bert和BiLSTM的短文本情感分析方法、装置及存储介质。
背景技术
文本情感分析指的是对带有情感色彩的主观性文本进行分析、处理、归纳和推理的过程。针对现在网络平台上的各种评论信息、点评信息等，挖掘出信息的价值对商家、民众、社会都有很大的意义。
目前，对于短文本情感分析，目前采用最多的三种方法分别是基于情感词典的方法、基于机器学习的方法、基于深度学习的方法。基于情感词典的方法虽然简单但是却极度依赖情感词典的构建，无法非常好的适应当今网络新颖词汇的出现；采用机器学习方法的效果易受到特征提取、特征构建的影响，适应性不高；而针对深度学习的方法，由于短文本内容存在随意性，文本中缺少上下文信息从而造成语义缺失，导致现有模型对于词向量的获取效果不好，使得最终识别结果不佳。
发明内容
本发明的目的就是为了提供一种基于Bert和BiLSTM的短文本情感分析方法、装置及存储介质，提高情感语义识别效果。
本发明的目的可以通过以下技术方案来实现：
一种基于Bert和BiLSTM的短文本情感分析方法，包括以下步骤：
获取短文本数据集；
对短文本数据集进行预处理；
将经过预处理的短文本数据集输入Bert模块，提取得到词向量；
将词向量输入BiLSTM双向记忆神经网络进行特征提取，得到词向量特征；
将词向量特征输入基于Softmax函数的情感分类模块，输出文本数据情感倾向性的判断结果。
所述预处理包括切词处理、清洗处理。
所述Bert模块包括输入层、编码层和输出层，其中，输入层包括词向量、段向量和位置向量，编码层由双向Transformer结构构成。
所述位置向量采用基于深度学习的绝对位置形式表达。
所述BiLSTM双向记忆神经网络共2层，分别为前向LSTM层和后向LSTM层。
所述BiLSTM双向记忆神经网络每层均采用256个神经元。
所述BiLSTM双向记忆神经网络的输出由前向LSTM和后向LSTM的隐向量进行拼接得到。
所述方法还包括：基于文献查询对识别结果进行辅助判断。
一种基于Bert和BiLSTM的短文本情感分析装置，包括存储器、处理器，以及存储于所述存储器中的程序，所述处理器执行所述程序时实现如上述所述的方法。
一种存储介质，其上存储有程序，所述程序被执行时实现如上述所述的方法。
与现有技术相比，本发明具有以下有益效果：
本发明将Bert预训练模型与双向记忆长短期神经模型相结合，大大提高了在短文本情感分析中的识别精度，改善了由于短文本自身存在信息表达简练、缺少上下文的信息，还有内容的随意化等特点，从而造成词向量表达效果不好，模型训练效果不佳的问题，让短文本信息内容得到充分的提取。
附图说明
图1为本发明的方法流程图；
图2为本发明的模型结构示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
一种基于Bert和BiLSTM的短文本情感分析方法，如图1所示，包括以下步骤：
(1)获取短文本数据集；
利用爬虫技术或者已有的数据集获取短文本数据集。
(2)对短文本数据集进行预处理；
所述预处理包括切词处理、清洗处理，其中，切词处理仅针对中文文本，对外文文本不进行切词处理。
(3)将经过预处理的短文本数据集输入Bert模块，提取得到词向量；
所述Bert模块包括输入层、编码层和输出层。
输入层包括词向量、段向量和位置向量，其中，位置向量是用来标识词向量的位置信息的，因为对于Bert所包含的的编码层的Transformer结构来说，它是无法编码输入的序列的顺序性的，位置向量在输入层中的作用就是让Bert理解这种情况，位置向量的不同表示方法对应着出现的向量表示也会出现不同的效果。
本发明采用Bert进行词向量的获取，对于Bert模型，针对短文本数据的特点，对于Bert模型中，它的输入层中的位置向量通常是采用正余弦函数的形式所得到的，采用余弦函数通常是根据经验所得，且对于具体的任务并没有做任何的区分，本发明根据任务是情感分类的特点采用可学习的绝对位置形式来对位置向量进行表达，从而让词向量的表达效果更佳。
编码层由双向Transformer结构构成。
(4)将词向量输入BiLSTM双向记忆神经网络进行特征提取，得到词向量特征；
所述BiLSTM双向记忆神经网络共2层，分别为前向LSTM和后向LSTM，每层均采用256个神经元，并且正反向的Dropout值均取0.1；BiLSTM双向记忆神经网络的输出由前向LSTM和后向LSTM的隐向量进行拼接得到。
从前后俩个方向进行训练然后将最终结果连接到同一层输出，既保证了当前词的信息与该词的上文紧密相连，同时也保证了该词的信息与下文紧密相连，捕捉到更好的双向语义依赖，让模型的训练效果更佳。
(5)将词向量特征输入基于Softmax函数的情感分类模块，输出文本数据情感倾向性的判断结果。
文本数据情感倾向性的判断结果包括积极情感、消极情感。
(6)基于文献查询对识别结果进行辅助判断。
上述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依据本发明的构思在现有技术的基础上通过逻辑分析、推理、或者有限的实验可以得到的技术方案，皆应在权利要求书所确定的保护范围内。

Claims (10)

1.一种基于Bert和BiLSTM的短文本情感分析方法，其特征在于，包括以下步骤：
获取短文本数据集；
对短文本数据集进行预处理；
将经过预处理的短文本数据集输入Bert模块，提取得到词向量；
将词向量输入BiLSTM双向记忆神经网络进行特征提取，得到词向量特征；
将词向量特征输入基于Softmax函数的情感分类模块，输出文本数据情感倾向性的判断结果。
2.根据权利要求1所述的一种基于Bert和BiLSTM的短文本情感分析方法，其特征在于，所述预处理包括切词处理、清洗处理。
3.根据权利要求1所述的一种基于Bert和BiLSTM的短文本情感分析方法，其特征在于，所述Bert模块包括输入层、编码层和输出层，其中，输入层包括词向量、段向量和位置向量，编码层由双向Transformer结构构成。
4.根据权利要求3所述的一种基于Bert和BiLSTM的短文本情感分析方法，其特征在于，所述位置向量采用基于深度学习的绝对位置形式表达。
5.根据权利要求1所述的一种基于Bert和BiLSTM的短文本情感分析方法，其特征在于，所述BiLSTM双向记忆神经网络共2层，分别为前向LSTM层和后向LSTM层。
6.根据权利要求5所述的一种基于Bert和BiLSTM的短文本情感分析方法，其特征在于，所述BiLSTM双向记忆神经网络每层均采用256个神经元。
7.根据权利要求5所述的一种基于Bert和BiLSTM的短文本情感分析方法，其特征在于，所述BiLSTM双向记忆神经网络的输出由前向LSTM和后向LSTM的隐向量进行拼接得到。
8.根据权利要求1所述的一种基于Bert和BiLSTM的短文本情感分析方法，其特征在于，所述方法还包括：基于文献查询对识别结果进行辅助判断。
9.一种基于Bert和BiLSTM的短文本情感分析装置，包括存储器、处理器，以及存储于所述存储器中的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-8中任一所述的方法。
10.一种存储介质，其上存储有程序，其特征在于，所述程序被执行时实现如权利要求1-8中任一所述的方法。
CN202210842529.2A 2022-07-18 2022-07-18 一种基于Bert和BiLSTM的短文本情感分析方法、装置及存储介质 Pending CN115344694A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210842529.2A CN115344694A (zh) 2022-07-18 2022-07-18 一种基于Bert和BiLSTM的短文本情感分析方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210842529.2A CN115344694A (zh) 2022-07-18 2022-07-18 一种基于Bert和BiLSTM的短文本情感分析方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN115344694A true CN115344694A (zh) 2022-11-15

Family

ID=83949825

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210842529.2A Pending CN115344694A (zh) 2022-07-18 2022-07-18 一种基于Bert和BiLSTM的短文本情感分析方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN115344694A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116108215A (zh) * 2023-02-21 2023-05-12 湖北工业大学 基于深度融合的跨模态大数据检索方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116108215A (zh) * 2023-02-21 2023-05-12 湖北工业大学 基于深度融合的跨模态大数据检索方法及系统

Similar Documents

Publication Publication Date Title
CN110427461B (zh) 智能问答信息处理方法、电子设备及计算机可读存储介质
CN107133213B (zh) 一种基于算法的文本摘要自动提取方法与系统
WO2019085779A1 (zh) 机器处理及文本纠错方法和装置、计算设备以及存储介质
CN111339305B (zh) 文本分类方法、装置、电子设备及存储介质
CN108664996A (zh) 一种基于深度学习的古文字识别方法及系统
CN110210016B (zh) 基于风格引导的双线性神经网络虚假新闻检测方法及系统
CN110647612A (zh) 一种基于双视觉注意力网络的视觉对话生成方法
CN109684626A (zh) 语义识别方法、模型、存储介质和装置
CN113268586A (zh) 文本摘要生成方法、装置、设备及存储介质
CN111462752B (zh) 基于注意力机制、特征嵌入及bi-lstm的客户意图识别方法
CN112800184B (zh) 基于Target-Aspect-Opinion联合抽取的短文本评论情感分析方法
CN112052319B (zh) 一种基于多特征融合的智能客服方法及系统
CN115759119B (zh) 一种金融文本情感分析方法、系统、介质和设备
CN112287106A (zh) 一种基于双通道混合神经网络的在线评论情感分类方法
CN115408488A (zh) 用于小说场景文本的分割方法及系统
CN112347339A (zh) 一种搜索结果处理方法及装置
CN111858878A (zh) 从自然语言文本中自动提取答案的方法、系统及存储介质
CN115344694A (zh) 一种基于Bert和BiLSTM的短文本情感分析方法、装置及存储介质
CN114861082A (zh) 一种基于多维度语义表示的攻击性评论检测方法
CN117236338B (zh) 一种稠密实体文本的命名实体识别模型及其训练方法
CN113704473A (zh) 基于长文本特征提取优化的媒体假新闻检测方法及系统
CN111523325A (zh) 一种基于笔画的中文命名实体识别方法
CN110287396A (zh) 文本匹配方法及装置
CN115048929A (zh) 敏感文本监测方法及装置
CN113326695B (zh) 一种基于迁移学习的情感极性分析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination