CN114548099B - 基于多任务框架的方面词和方面类别联合抽取和检测方法 - Google Patents
基于多任务框架的方面词和方面类别联合抽取和检测方法 Download PDFInfo
- Publication number
- CN114548099B CN114548099B CN202210179889.9A CN202210179889A CN114548099B CN 114548099 B CN114548099 B CN 114548099B CN 202210179889 A CN202210179889 A CN 202210179889A CN 114548099 B CN114548099 B CN 114548099B
- Authority
- CN
- China
- Prior art keywords
- text
- ate
- representation
- acd
- task
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 239000013598 vector Substances 0.000 claims abstract description 53
- 238000002372 labelling Methods 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 41
- 238000000605 extraction Methods 0.000 claims description 13
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 6
- 230000002457 bidirectional effect Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 230000001419 dependent effect Effects 0.000 claims description 3
- 230000008451 emotion Effects 0.000 description 4
- 241001441723 Takifugu Species 0.000 description 3
- 238000003058 natural language processing Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 235000013305 food Nutrition 0.000 description 2
- 235000019580 granularity Nutrition 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 235000015927 pasta Nutrition 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/12—Use of codes for handling textual entities
- G06F40/126—Character encoding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于多任务框架的方面词和方面类别联合抽取和检测方法,包括如下步骤:步骤1、得到文本嵌入表示;步骤2、生成文本特征表示;步骤3、生成ATE文本特征表示;步骤4、得到ATE共享向量;步骤5、生成最终的ATE文本表示;步骤6、利用条件随机场对ATE最终文本表示进行序列标注;步骤7、生成ACD文本特征表示;步骤8、得到ACD共享向量;步骤9、生成最终的ACD文本表示;步骤10、通过多标签分类器对ACD最终文本表示进行标签预测。这种方法提升了模型在任务中的性能,提高了模型的捕捉能力。
Description
技术领域
本发明涉及自然语言处理技术领域,具体是一种基于多任务框架的方面词和方面类别联合抽取和检测方法。
背景技术
基于方面的情感分析(Aspect-based Sentiment Analysis,简称ABSA)的基本任务是分析出评论中用户针对特定对象所表达的情感的极性。ABSA任务中又可以细分出多个子任务。从目标识别角度,针对方面词和观点词,存在抽取问题;针对方面类别,存在分类问题。从情感分析角度,对方面词和方面类别存在情感分类问题。以这句评论为例:“Waitersare very friendly and the pasta is simply average.”,该评论中提到了两个方面词:“waiter”和“pasta”,而对这两个方面表达的情感极性分别为“积极的”和“消极的”,同时这两个方面词所属的类别分别为“service”和“food”。
近期的许多研究者都采用多任务框架来将ABSA任务的子任务结合在一起,以此来提升模型在ABSA任务中的性能。目前大多数现有工作都只是将方面词抽取任务(AspectTerm Extraction,简称ATE)和观点词抽取任务(Opinion target extraction,简称OTE)相结合,进行联合抽取,这种方法有助于模型更快更精确地抽取出具体的方面词。但是这些方法忽略了方面类别检测任务(Aspect Category Detection,简称ACD)对ABSA任务的贡献。我们认为ATE任务和ACD任务都是分类任务,二者具有很强的相似性,可以结合在一起。其次方面词和方面类别之间存在语义对齐信息,可以对文本进行不同粒度的特征建模,从而提高模型抽取性能。
在考虑文本内在的语法和句法信息方面,大部分现有工作只考虑了句子的语法依赖信息,而文本中还存在词共现信息。词共现信息可以从语料库中提取出词语的搭配信息,并辐射到文本中,从而帮助模型更精确的抽取出方面词。此外,词共现信息还有助于模型在ATE任务中检测出含多个单词的方面词的边界。例如在评论“Waiters are friendly andthe fugu sashimi is out of the world.”中,“fugu”和“sashimi”这两个在语料库中共现了5次,代表着一个特定食物的名称。如果没有词共现信息的帮助,模型可能会将“fugu”或者“sashimi”当作两个方面词,从而做出错误的预测。
发明内容
本发明的目的是针对现有技术的不足,而提供一种基于多任务框架的方面词和方面类别联合抽取和检测方法。这种方法提升了模型在任务中的性能,提高了模型的捕捉能力。
实现本发明目的的技术方案是:
一种基于多任务框架的方面词和方面类别联合抽取和检测方法,包括如下步骤:
步骤1、采用预训练的BERT模型对文本进行编码,得到文本嵌入表示;
步骤2、利用双向长短时记忆网络对文本嵌入表示进行正反两个方向的时序建模,提取文本中的序列信息,生成文本特征表示,分别用于后续的ATE和ACD两个任务;
针对ATE任务:
步骤3、利用多层图卷积神经网络将词共现矩阵和依赖树矩阵与步骤2得到的文本特征表示融合,生成ATE文本特征表示;
步骤4、将ATE文本特征表示输入到ATE共享向量生成器中,得到ATE共享向量,用于将ATE任务信息传递到ACD任务中;
步骤5、利用多头注意力机制将ACD任务的信息整合进ATE文本特征表示中,生成最终的ATE文本表示;
步骤6、利用条件随机场对ATE最终文本表示进行序列标注;
针对ACD任务:
步骤7、利用门控机制将ATE任务中的信息整合进ACD文本表示中,生成ACD文本特征表示;
步骤8、将ACD文本特征表示输入到ACD共享向量生成器中,得到ACD共享向量,用于将ACD任务信息传递到ATE任务中;
步骤9、利用多头注意力机制将ATE任务的信息整合进ACD文本特征表示中,生成最终的ACD文本表示;
步骤10、通过多标签分类器对ACD最终文本表示进行标签预测。
步骤1中所述的预训练的BERT模型把文本序列作为输入,并将序列中的每个单词都映射为一个词向量,最终得到文本嵌入表示。
步骤2中所述的双向长短时记忆网络以文本嵌入表示作为输入,先对文本嵌入表示进行正向的时序建模,提取正向序列的上下文信息,生成正向序列向量,随后对文本嵌入表示进行反向的时序建模,抽取反向序列的上下文信息,生成反向序列向量,最后将两个向量拼接得到文本特征表示,用于后续的ATE和ACD任务。
步骤3中所使用的依赖树矩阵是通过Stanford NLP解析器得到,词共现矩阵是通过对网络上公开数据集内的数据进行统计,并构建矩阵得到。
步骤3中所述的利用多层图卷积神经网络将词共现矩阵和依赖树矩阵整合生成ATE文本表示的具体步骤如下:
步骤3.1、利用图卷积神经网络将ATE文本表示与文本的句法依赖矩阵进行卷积,生成融合了句法依赖信息的ATE文本表示;
步骤3.2、利用图卷积神经网络将融合了句法依赖信息的ATE文本表示与文本的词共现矩阵进行卷积,生成融合了词共现信息的ATE文本特征表示。
步骤3中所述的多层图卷积神经网络包含多个层,除第一层是将步骤2得到的ATE文本表示作为输入外,每一层图卷积神经网络都将上一层的输出作为该层输入。
步骤4中所述的ATE共享向量生成器和步骤8中所述的ACD共享向量生成器分别对输入的ATE文本特征表示或ACD文本特征表示进行最大池化操作,以此得到ATE共享向量和ACD共享向量。
步骤5中所述的多头注意力机制将ACD共享向量作为查询矩阵,将ATE文本特征表示作为键矩阵和值矩阵,获得最终的ATE文本表示。
步骤7中所述的门控机制先是利用sigmoid函数计算ATE共享向量对于ACD文本表示中每个单词向量的贡献度,然后通过加权求和的方式将ACD共享向量和ACD文本表示整合在一起,得到ACD文本特征表示。
步骤9中所述的多头注意力机制将ATE共享向量作为查询矩阵,将ACD文本特征表示作为键矩阵和值矩阵,获得最终的ACD文本表示。
与现有技术相比,本技术方案的有益效果是:
1.本技术方案提出通过多任务学习的方式同时进行方面词抽取和方面类别检测两个任务,并让两个任务相互影响,相互增强,从而提升模型在两个任务中的性能;
2.本技术方案在引入文本的语法依赖树的基础上,还引入了词共现信息,从而帮助模型更准确的检测出包含多个单词的方面词的边界,提升了模型在ATE任务中的性能;
3.本技术方案设计了以共享向量的方式让ATE任务和ACD任务进行交互,对文本进行不同粒度的特征建模。同时设计以多头注意力的方式让文本特征表示从共享向量中学习不同任务提取出的特征信息,提高模型对文本中重要特征的捕捉能力。
这种方法提升了模型在任务中的性能,提高了模型的捕捉能力。
附图说明
图1为实施例的流程示意图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步的详细描述,但不是对本发明的限定。
实施例:
参照图1,一种基于多任务框架的方面词和方面类别联合抽取和检测方法,包括如下步骤:
步骤1、采用预训练的BERT模型对文本进行编码,得到文本嵌入表示,即文本序列S={w1,w2,...,wn}作为预训练的BERT模型的输入,BERT模型会将目标单词投射到词向量空间中,同时整合周围上下文词的信息,从而生成文本嵌入表示e={e1,e2,...,en},其中n为句子长度,ei∈Remb_dim,emb_dim表示词嵌入的维度;
本例为了使BERT模型能够更好地训练和微调,在文本序列的头部加上分类标识符“[CLS]”,在尾部加上分隔标识符“[SEP]”,如:“[CLS]+text+[SEP]”;
步骤2、利用双向长短时记忆网络对文本嵌入表示进行正反两个方向的时序建模,提取文本中的序列信息,生成文本特征表示,分别用于后续的ATE和ACD两个任务;
本例双向长短时记忆网络(Bi-LSTM)以文本嵌入表示作为输入,双向长短时记忆网络包含正向和反向的长短时记忆网络(LSTM),长短时记忆网络的具体公式如下:
ft=σ(Wf·[ht-1,et]+bf)
it=σ(Wi·[ht-1,et]+bi)
ot=σ(Wo·[ht-1,et]+bo)
ht=ot*tanh(Ct)
其中,ft、it和ot分别是LSTM中t时刻遗忘门、记忆门和输出门的输出,σ是sigmoid激活函数,Wf、Wi和Wo分别是遗忘门、记忆门和输出门的可学习的参数矩阵,bf、bi和bo分别是遗忘门、记忆门和输出门的偏置,和Ct是t时刻的临时细胞状态和t时刻的细胞状态,ht是t时刻LSTM输出的隐藏状态;
正向LSTM先对文本嵌入表示进行正向的时序建模,即从w1到wn的顺序,提取正向序列的上下文信息,生成正向序列向量,具体公式如下:
其中和/>分别表示t-1和t时刻正向LSTM的输出,
随后反向LSTM对文本嵌入表示进行反向的时序建模,抽取反向序列的上下文信息,生成反向序列向量,具体公式如下:
其中和/>分别表示t-1和t时刻反向LSTM的输出,
最后将两个向量拼接得到文本表示ht,用于后续的ATE和ACD任务,具体公式如下:
最终得到文本表示H={h1,h2,...,hn};
针对ATE任务:
步骤3、利用多层图卷积神经网络将词共现矩阵和依赖树矩阵与步骤2得到的文本特征表示融合,生成ATE文本特征表示,具体步骤如下:
步骤3.1、利用图卷积神经网络将ATE文本表示H作为多层图卷积神经网络(GCN)的第0层输入,与文本的句法依赖矩阵D进行卷积,生成融合了句法依赖信息的ATE文本表示,具体公式如下:
其中,依赖树矩阵是通过Stanford NLP解析器得到,是第/层得到的ATE文本表示中的第i个单词,/>是第/-1层GCN的输出中的第j个单词,Dij表示句法依赖矩阵中第i和第j个单词之间的依赖信息,di表示句法依赖矩阵中第i个单词的度,权重矩阵WD和偏置bD都是可学习的参数;
步骤3.2、利用图卷积神经网络将融合了句法依赖信息的ATE文本表示与文本的词共现矩阵A进行卷积,生成融合了词共现信息的ATE文本特征表示的具体公式如下:
其中,词共现矩阵是通过对网络上公开数据集内的数据进行统计,并构建矩阵得到,Aij表示词共现矩阵中第i和第j个单词之间的共现信息;
步骤4、将ATE文本特征表示输入到ATE共享向量生成器中,并对ATE文本特征表示进行最大池化操作,具体公式如下:
得到ATE共享向量,用于将ATE任务信息传递到ACD任务中;
步骤5、利用多头注意力机制将ACD任务的信息整合进ATE文本特征表示中,多头注意力机制将ACD共享向量作为查询矩阵,将ATE文本特征表示HATE作为键矩阵和值矩阵,获得最终的ATE文本表示/>具体公式如下:
其中,MHA表示多头注意力机制;
步骤6、利用条件随机场对ATE最终文本表示进行序列标注,即将最终的ATE文本表示作为观察序列,Y={y1,y2,...yn}是对应于观察序列的标记序列,其中yi∈L={B,I,O},L是标签集,通过CRF构建观察序列和标记序列之间的条件概率模型P(Y|VATE),具体公式如下:
其中,tj(yi+1,yi,VATE,i)是定义在观测序列的两个相邻标记位置上的转移特征函数,sk(yi,VATE,i)是定义在观测序列的标记位置上的状态特征函数,Z是规范化因子,λj和μk是可学习的参数;
对于训练集通过最大化条件似然估计来训练CRF模型,具体公式如下:
在通过训练得到参数λj和μk后,根据P(Y|VATE)和VATE求出条件概率最大的序列,具体公式如下:
y*=argmaxPy∈L(y|vATE,λ,μ),
就是预测出的文本对应的标签序列;
针对ACD任务:
步骤7、利用门控机制将ATE任务中的信息整合进ACD文本表示中,生成ACD文本特征表示;
本例门控机制先是利用sigmoid函数计算ATE共享向量对于ACD文本表示H中每个单词向量的贡献度ai,具体公式如下:
其中,hi是文本表示中的第i个单词,和/>是权重矩阵,bS是偏置,
然后通过加权求和的方式将ACD共享向量和ACD文本表示整合在一起,得到ACD文本特征表示具体公式如下:
其中,代表按位乘法;
步骤8、将ACD文本特征表示输入到ACD共享向量生成器中,并对ACD文本特征表示进行最大池化操作,得到ACD共享向量,具体公式如下:
用于将ACD任务信息传递到ATE任务中;
步骤9、利用多头注意力机制将ATE任务的信息整合进ACD文本特征表示中,其中多头注意力机制将ATE共享向量作为查询矩阵,将ACD文本特征表示HACD作为键矩阵和值矩阵,生成最终的ACD文本表示/>具体公式如下:
其中,MHA表示多头注意力机制;
步骤10、通过多标签分类器对ACD最终文本表示进行标签预测,多标签分类器中包含一个全连接层和一个softmax函数,先利用全连接层将最终的ACD文本表示VACD映射到数据集的方面类别空间中,然后通过softmax函数计算出文本所包含的方面类别,具体公式如下:
yc=softmax(WcVACD+bc),
其中,是文本对应的方面类别概率,/>代表文本包含第i个方面类别的概率,m是数据集中所含方面类别的个数,Wc,bc分别为权重矩阵和偏置。
步骤3中所述的多层图卷积神经网络包含多个层,除第一层是将步骤2得到的ATE文本表示作为输入外,每一层图卷积神经网络都将上一层的输出作为该层输入。
Claims (10)
1.一种基于多任务框架的方面词和方面类别联合抽取和检测方法,其特征在于,包括如下步骤:
步骤1、采用预训练的BERT模型对文本进行编码,得到文本嵌入表示;
步骤2、利用双向长短时记忆网络对文本嵌入表示进行正反两个方向的时序建模,提取文本中的序列信息,生成文本特征表示,分别用于后续的ATE和ACD两个任务;
针对ATE任务:
步骤3、利用多层图卷积神经网络将词共现矩阵和依赖树矩阵与步骤2得到的文本特征表示融合,生成ATE文本特征表示;
步骤4、将ATE文本特征表示输入到ATE共享向量生成器中,得到ATE共享向量,用于将ATE任务信息传递到ACD任务中;
步骤5、利用多头注意力机制将ACD任务的信息整合进ATE文本特征表示中,生成最终的ATE文本表示;
步骤6、利用条件随机场对ATE最终文本表示进行序列标注;
针对ACD任务:
步骤7、利用门控机制将ATE任务中的信息整合进ACD文本表示中,生成ACD文本特征表示;
步骤8、将ACD文本特征表示输入到ACD共享向量生成器中,得到ACD共享向量,用于将ACD任务信息传递到ATE任务中;
步骤9、利用多头注意力机制将ATE任务的信息整合进ACD文本特征表示中,生成最终的ACD文本表示;
步骤10、通过多标签分类器对ACD最终文本表示进行标签预测。
2.根据权利要求1所述的基于多任务框架的方面词和方面类别联合抽取和检测方法,其特征在于,步骤1中所述的预训练的BERT模型把文本序列作为输入,并将序列中的每个单词都映射为一个词向量,最终得到文本嵌入表示。
3.根据权利要求1所述的基于多任务框架的方面词和方面类别联合抽取和检测方法,其特征在于,步骤2中所述的双向长短时记忆网络以文本嵌入表示作为输入,先对文本嵌入表示进行正向的时序建模,提取正向序列的上下文信息,生成正向序列向量,随后对文本嵌入表示进行反向的时序建模,抽取反向序列的上下文信息,生成反向序列向量,最后将两个向量拼接得到文本特征表示,用于后续的ATE和ACD任务。
4.据权利要求1所述的基于多任务框架的方面词和方面类别联合抽取和检测方法,其特征在于,步骤3中所述的依赖树矩阵是通过Stanford NLP解析器得到,词共现矩阵是通过对网络上公开数据集内的数据进行统计,并构建矩阵得到。
5.根据权利要求1所述的基于多任务框架的方面词和方面类别联合抽取和检测方法,其特征在于,步骤3中所述的利用多层图卷积神经网络将词共现矩阵和依赖树矩阵整合生成ATE文本表示的具体步骤如下:
步骤3.1、利用图卷积神经网络将ATE文本表示与文本的句法依赖矩阵进行卷积,生成融合了句法依赖信息的ATE文本表示;
步骤3.2、利用图卷积神经网络将融合了句法依赖信息的ATE文本表示与文本的词共现矩阵进行卷积,生成融合了词共现信息的ATE文本特征表示。
6.根据权利要求1所述的基于多任务框架的方面词和方面类别联合抽取和检测方法,其特征在于,步骤3中所述的多层图卷积神经网络包含多个层,除第一层是将步骤2得到的ATE文本表示作为输入外,每一层图卷积神经网络都将上一层的输出作为该层输入。
7.根据权利要求1所述的基于多任务框架的方面词和方面类别联合抽取和检测方法,其特征在于,步骤4中所述的ATE共享向量生成器和步骤8中所述的ACD共享向量生成器分别对输入的ATE文本特征表示或ACD文本特征表示进行最大池化操作,以此得到ATE共享向量和ACD共享向量。
8.根据权利要求1所述的基于多任务框架的方面词和方面类别联合抽取和检测方法,其特征在于,步骤5中所述的多头注意力机制将ACD共享向量作为查询矩阵,将ATE文本特征表示作为键矩阵和值矩阵,获得最终的ATE文本表示。
9.根据权利要求1所述的基于多任务框架的方面词和方面类别联合抽取和检测方法,其特征在于,步骤7中所述的门控机制先是利用sigmoid函数计算ATE共享向量对于ACD文本表示中每个单词向量的贡献度,然后通过加权求和的方式将ACD共享向量和ACD文本表示整合在一起,得到ACD文本特征表示。
10.根据权利要求1所述的基于多任务框架的方面词和方面类别联合抽取和检测方法,其特征在于,步骤9中所述的多头注意力机制将ATE共享向量作为查询矩阵,将ACD文本特征表示作为键矩阵和值矩阵,获得最终的ACD文本表示。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210179889.9A CN114548099B (zh) | 2022-02-25 | 2022-02-25 | 基于多任务框架的方面词和方面类别联合抽取和检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210179889.9A CN114548099B (zh) | 2022-02-25 | 2022-02-25 | 基于多任务框架的方面词和方面类别联合抽取和检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114548099A CN114548099A (zh) | 2022-05-27 |
CN114548099B true CN114548099B (zh) | 2024-03-26 |
Family
ID=81680079
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210179889.9A Active CN114548099B (zh) | 2022-02-25 | 2022-02-25 | 基于多任务框架的方面词和方面类别联合抽取和检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114548099B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115329775B (zh) * | 2022-10-14 | 2023-03-24 | 成都晓多科技有限公司 | 一种语句中方面类别及情感极性联合识别的方法及系统 |
CN116304061B (zh) * | 2023-05-17 | 2023-07-21 | 中南大学 | 基于层次文本图结构学习的文本分类方法、装置及介质 |
CN116562305B (zh) * | 2023-07-10 | 2023-09-12 | 江西财经大学 | 方面情感四元组预测方法与系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020211275A1 (zh) * | 2019-04-18 | 2020-10-22 | 五邑大学 | 基于预训练模型与微调技术的医疗文本关系抽取方法 |
WO2021135477A1 (zh) * | 2020-07-31 | 2021-07-08 | 平安科技(深圳)有限公司 | 基于概率图模型的文本属性抽取方法、装置、计算机设备及存储介质 |
CN113221567A (zh) * | 2021-05-10 | 2021-08-06 | 北京航天情报与信息研究所 | 司法领域命名实体及关系联合抽取方法 |
CN113705238A (zh) * | 2021-06-17 | 2021-11-26 | 梧州学院 | 基于bert和方面特征定位模型的方面级情感分析方法及模型 |
-
2022
- 2022-02-25 CN CN202210179889.9A patent/CN114548099B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020211275A1 (zh) * | 2019-04-18 | 2020-10-22 | 五邑大学 | 基于预训练模型与微调技术的医疗文本关系抽取方法 |
WO2021135477A1 (zh) * | 2020-07-31 | 2021-07-08 | 平安科技(深圳)有限公司 | 基于概率图模型的文本属性抽取方法、装置、计算机设备及存储介质 |
CN113221567A (zh) * | 2021-05-10 | 2021-08-06 | 北京航天情报与信息研究所 | 司法领域命名实体及关系联合抽取方法 |
CN113705238A (zh) * | 2021-06-17 | 2021-11-26 | 梧州学院 | 基于bert和方面特征定位模型的方面级情感分析方法及模型 |
Non-Patent Citations (1)
Title |
---|
基于深层语境词表示与自注意力的生物医学事件抽取;魏优;刘茂福;胡慧君;;计算机工程与科学;20200915(09);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN114548099A (zh) | 2022-05-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111291185B (zh) | 信息抽取方法、装置、电子设备及存储介质 | |
CN110134757B (zh) | 一种基于多头注意力机制的事件论元角色抽取方法 | |
CN108984724B (zh) | 利用高维表示提高特定属性情感分类准确率方法 | |
CN112115238B (zh) | 一种基于bert和知识库的问答方法和系统 | |
CN114548099B (zh) | 基于多任务框架的方面词和方面类别联合抽取和检测方法 | |
Yao et al. | Bi-directional LSTM recurrent neural network for Chinese word segmentation | |
CN109753566A (zh) | 基于卷积神经网络的跨领域情感分析的模型训练方法 | |
CN110569508A (zh) | 融合词性和自注意力机制的情感倾向性分类方法及系统 | |
CN109214006B (zh) | 图像增强的层次化语义表示的自然语言推理方法 | |
CN114298158A (zh) | 一种基于图文线性组合的多模态预训练方法 | |
CN112183064B (zh) | 基于多任务联合学习的文本情绪原因识别系统 | |
CN113255320A (zh) | 基于句法树和图注意力机制的实体关系抽取方法及装置 | |
CN110263325A (zh) | 中文分词系统 | |
CN115034224A (zh) | 一种融合多种文本语义结构图表示的新闻事件检测方法和系统 | |
CN113515632B (zh) | 基于图路径知识萃取的文本分类方法 | |
CN117151220B (zh) | 一种基于实体链接与关系抽取的行业知识库系统及方法 | |
CN111651974A (zh) | 一种隐式篇章关系分析方法和系统 | |
CN115146057B (zh) | 基于交互注意力的供应链生态区图文融合情感识别方法 | |
CN113157859A (zh) | 一种基于上位概念信息的事件检测方法 | |
CN114492441A (zh) | 基于机器阅读理解的BiLSTM-BiDAF命名实体识别方法 | |
CN114911945A (zh) | 基于知识图谱的多价值链数据管理辅助决策模型构建方法 | |
CN115238691A (zh) | 基于知识融合的嵌入的多意图识别与槽位填充模型 | |
CN114417851A (zh) | 一种基于关键词加权信息的情感分析方法 | |
CN114328934A (zh) | 一种基于注意力机制的多标签文本分类方法及系统 | |
CN114357167B (zh) | 基于Bi-LSTM-GCN的多标签文本分类方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |