CN110969014B - 一种基于同步神经网络的意见二元组抽取方法 - Google Patents
一种基于同步神经网络的意见二元组抽取方法 Download PDFInfo
- Publication number
- CN110969014B CN110969014B CN201911124188.XA CN201911124188A CN110969014B CN 110969014 B CN110969014 B CN 110969014B CN 201911124188 A CN201911124188 A CN 201911124188A CN 110969014 B CN110969014 B CN 110969014B
- Authority
- CN
- China
- Prior art keywords
- opinion
- layer
- words
- matrix
- evaluation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 46
- 230000001360 synchronised effect Effects 0.000 title claims abstract description 27
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 13
- 238000011156 evaluation Methods 0.000 claims abstract description 72
- 239000011159 matrix material Substances 0.000 claims abstract description 53
- 238000000034 method Methods 0.000 claims abstract description 28
- 238000001514 detection method Methods 0.000 claims abstract description 16
- 238000012986 modification Methods 0.000 claims abstract description 11
- 230000004048 modification Effects 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims abstract description 8
- 239000013598 vector Substances 0.000 claims description 23
- 230000007246 mechanism Effects 0.000 claims description 5
- 230000003993 interaction Effects 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims 1
- 238000004458 analytical method Methods 0.000 abstract description 4
- 238000013461 design Methods 0.000 abstract description 3
- 238000012546 transfer Methods 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 5
- 230000008451 emotion Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Machine Translation (AREA)
Abstract
一种基于同步神经网络的意见二元组抽取方法。在细粒度情感分析领域,意见二元组抽取是一个重要任务,该任务旨在挖掘意见句中包含的评价对象、评价词、以及两者间的修饰关系。给定意见句,本发明方法首先基于预训练语言模型BERT构建编码层,学习词的上下文语义。随后,交替构建多个识别层与同步层,以实现评价对象、评价词、以及两者间关系的同步抽取。具体地,识别层包含意见实体抽取与关系检测两个模块,同步层设计了两个同步矩阵(即,边界同步矩阵与关系同步矩阵)来记录识别层学习到的高层语义信息,并传递给下一个识别层,以实现意见实体抽取与关系检测的相互促进。最后,本方法利用一个推理层,基于识别层的结果获取最终的意见二元组。
Description
技术领域
本发明属于计算机应用技术,数据挖掘,细粒度情感分析技术领域。
背景技术
随着信息技术的发展,互联网中积累了大量的用户评论数据。对这些评论数据进行语义分析和意见挖掘对各行业的发展具有重要意义,由此细粒度情感分析的相关研究逐渐受到广泛关注。其中,意见二元组抽取(即评价对象-评价词二元组抽取)是一个重要的任务。
为解决该任务,早期的方法主要采用流水线的方式。例如,Hu等人[1]首先识别意见句中包含的评价对象,再基于关联关系抽取评价对象相邻的形容词作为对应的评价词。Zhuang等人[2]首先抽取意见句中包含的评价对象与评价词,再使用依赖关系模板挖掘其关系。基于流水线的方法虽然可以较为简单的进行二元组的抽取,但是这类方法通常会忽略意见实体抽取与关系检测之间的依赖关系,并且会面临错误传导的问题。
为了进一步考虑意见实体抽取和关系检测之间的依赖关系,一些研究工作提出了联合学习的方法。例如,Klinger等人[3,4]分析了评价对象和评价词之间的相互依赖关系,提出了一种基于因子图的联合推理模型来抽取评价对象、评价词和它们之间的关系。Yang等人[5]利用了整数线性规划的方式同时识别评价对象、评价词、意见持有人以及他们之间的关系。但是这些方法通常是基于浅层的机器学习模型,而且需要依赖于手工设计的特征或模板,这在一定程度上限制了二元组抽取的性能。
近年来,深度学习的方法被广泛用于意见实体抽取任务,并且取得了很好的研究成果。Liu等人[6]设计了一种结合多种预训练词向量的循环神经网络方法来抽取评价对象。Xu等人[7]设计了一种卷积神经网络,并考虑领域性词向量来抽取评价对象。Wang等人[8,9]和Li等人[10]关注于评价对象和评价词的联合抽取,并使用深度学习方法取得了很好的性能。具体地,Wang等人[9]和Li等人[10]均采用了注意力机制来捕捉评价对象和评价词之间的潜在关系。Hu等人[11]将预训练的语言模型BERT[12]作为主干结构来抽取评价对象和其对应的情感极性。虽然深度学习技术在意见实体抽取任务中取得了很好的研究成果,但是意见二元组抽取任务依旧是一个未得到充分研究的问题,仍需要进行更多探索性的研究。
综上,现有的意见二元组抽取技术主要可以分为两类:基于流水线的方式和基于联合学习的方式。这两类方法虽然在意见二元组任务上取得了一定的研究成果,但是仍存在问题。其中,由于分步学习的影响,基于流水线的方法通常存在错误传导的问题。而现有的基于联合学习的技术虽然可以避免错误传导,并进一步考虑意见实体抽取和关系检测之间的依赖关系,但是相关工作通常是基于因子图、整数线性规划等浅层的机器学习模型,而且需要依赖于手工设计的特征或模板,这在一定程度上限制了二元组抽取的性能。
参考文献:
[1]Hu,M.,and Liu,B.2004.Mining and summarizing customer reviews.InSIGKDD2004,168–177.
[2]Zhuang,L.;Jing,F.;and Zhu,X.2006.Movie review mining andsummarization.In CIKM 2006,43–50.
[3]Klinger,R.,and Cimiano,P.2013a.Bi-directional interdependencies ofsubjective expressions and targets and their value for ajoint model.InACL2013,848–854.
[4]Klinger,R.,and Cimiano,P.2013b.Joint and pipeline probabilisticmodels for fine-grained sentiment analysis:Extracting aspects,subjectivephrases and their relations.In ICDM 2013,937–944.
[5]Yang,B.,and Cardie,C.2013.Joint inference for finegrained opinionextraction.In ACL 2013,1640–1649.
[6]Liu,P.;Joty,S.R.;and Meng,H.M.2015.Fine-grained opinion miningwith recurrent neural networks and word embeddings.In EMNLP 2015,1433–1443.
[7]Xu,H.;Liu,B.;Shu,L.;and Yu,P.S.2018.Double embeddings and cnn-based sequence labeling for aspect extraction.InACL 2018,592–598.
[8]Wang,W.;Pan,S.J.;Dahlmeier,D.;and Xiao,X.2016.Recursive neuralconditional random fields for aspect-based sentiment analysis.In EMNLP 2016,616–626.
[9]Wang,W.;Pan,S.J.;Dahlmeier,D.;and Xiao,X.2017.Coupled multi-layerattentions for co-extraction ofaspect and opinion terms.In AAAI 2017,3316–3322.
[10]Li,X.;Bing,L.;Li,P.;Lam,W.;and Yang,Z.2018.Aspect term extractionwith history attention and selective transformation.In IJCAI 2018,4194–4200.
[11]Hu,M.;Peng,Y.;Huang,Z.;Li,D.;and Lv,Y.2019.Opendomain targetedsentiment analysis via span-based extraction and classification.In ACL 2019,537–546.
[12]Devlin,J.;Chang,M.;Lee,K.;and Toutanova,K.2019.BERT:pre-trainingof deep bidirectional transformers for language understanding.In NAACL 2019,4171–4186.
发明内容
本发明的目的是解决现有意见二元组抽取技术中面临的错误传导、需要设计手工特征等问题,并提供一种基于同步神经网络的意见二元组抽取方法。
本发明提出的基于同步神经网络的意见二元组抽取方法基于深度学习技术实现意见二元组的抽取,利用神经网络技术自动学习词的语义特征,进而无需构建手工设计的特征。此外,本发明构建了多个交替的识别层与同步层,联合抽取意见句中的评价对象、评价词、以及它们之间的关联关系,在避免错误传导的同时,进一步实现了意见要素抽取模块与关系检测模块之间的信息交互,使得两个模块相互促进。
本发明的技术方案
一种基于同步神经网络的意见二元组抽取方法,主要由编码层、多个交替的识别层与同步层、以及推理层组成。具体地,编码层接收原始意见句为输入,使用预训练的语言模型BERT学习意见句中每个词的上下文语义表示。随后,识别层接收词的上下文语义表示作为输入,并进行意见实体的抽取与关系检测。为实现评价词、评价对象、以及其关系的同步抽取,识别层主要由一个基于全连接层的意见实体抽取模块和一个基于注意力机制的关系检测模块组成。进一步地,本方法在识别层之上构建一个同步层,并将识别层与同步层交替执行多次,以实现意见实体抽取和关系检测相互促进。在同步层中,本方法设计了两个同步矩阵(即,边界同步矩阵和关系同步矩阵)来记录高层识别信息并将信息传递至后续的识别层中。最后,本方法使用一个推理层来获取最终识别的意见二元组。
本发明方法的具体步骤如下:
步骤1)编码层:基于预训练的语言模型构建词的上下文语义表示。
步骤1.1)对评价文本进行分词处理,得到评价文本对应的词序列。
步骤1.2)对每个词,构建词向量、段落向量、以及位置向量,并将三种向量进行加和得到词的初始向量表示,并将此表示作为步骤1.3)中预训练语言模型的输入向量。
步骤1.3)使用BERT作为预训练语言模型,输入步骤1.2)得到的词的初始向量表示,将BERT最后一层的输出作为词的上下文语义表示。
步骤2)识别层:基于步骤1)构建的词的上下文语义表示,同步抽取意见实体的边界、意见实体的类别与评价方面以及评价词之间的修饰关系。
步骤2.1)意见实体抽取。将意见实体抽取问题形式化为序列标注任务。综合考虑词的上下文语义和与其具有关联关系的词的语义,计算词与标签之间的匹配程度。
步骤2.2)关系检测。考虑到意见句中评价对象与评价词之间的关系可能存在一对多、多对一、嵌套、交叠等复杂的情况,采用注意力机制对关系进行检测。在综合考虑词的上下文语义和其所属的意见实体的语义的基础上,计算词与词之间的关联关系,进而得到词之间的关联矩阵。
步骤3)同步层:基于步骤2)中意见实体抽取和关系检测的结果,设计边界同步矩阵与关系同步矩阵记录高层交互信息,为后续的识别层提供信息指导。两个矩阵均被初始化为全零矩阵,并且在每个同步层中通过以下方法进行更新。
步骤3.1)边界同步矩阵的构建。边界同步矩阵记录了任意两个词属于同一个意见实体的概率,该矩阵由步骤2.1)得到的词与标签之间的匹配程度转化得到。具体地,首先使用softmax和argmax变换计算词对应的预测标签。随后,基于预测的标签序列,可以计算实体的边界矩阵。最后,基于实体边界矩阵计算表示实体边界置信度的边界同步矩阵。
步骤3.2)关系同步矩阵的构建。由于步骤2.2)中得到的关联矩阵中可能存在一定的噪音,因此过滤其中的噪音,进而得到关系同步矩阵。
步骤4)交替执行步骤2)与步骤3),以使得意见实体抽取与关系检测可以相互促进。
步骤5)推理层:将最后一个识别层的结果转化为最终的意见二元组。
步骤5.1)基于步骤2.1)得到的词与标签之间的匹配程度,利用条件随机场(CRF)计算词序列对应的标签序列。
步骤5.2)基于步骤5.1)得到的标签序列,抽取意见句中包含的意见实体。结合步骤2.2)中得到的关联矩阵,判断评价对象和评价词之间是否存在修饰关系,进而得到最终预测的意见二元组。
本发明的优点和有益效果:
本发明基于在线的评论数据实现意见二元组抽取,综合挖掘意见句中词的语义关系与关联关系,提出的方法既同步抽取了评价对象、评价词、以及两者间的修饰关系,又进一步实现了意见实体抽取和关系检测之间的相互促进。由此,本发明不仅提升了二元组抽取的性能,而且为更高效地实现后续情感分类、意见总结等任务打下坚实的基础。
附图说明
图1是本发明的整体系统结构示意图。
图2是本发明同步神经网络的示意图。
具体实施方式
实施例1:
下面结合附图对本发明提供的基于同步神经网络的意见二元组抽取方法进行详细说明。
本发明主要采用深度学习技术以及自然语言处理相关的理论方法对在线评价文本进行细粒度的意见二元组抽取,为了保证系统的正常运行,在具体实施中,要求所使用的计算机平台配备不低于8G的内存,CPU核心数不低于4个且主频不低2.6GHz、GPU环境、Linux操作系统,并安装Python 3.6及以上版本、pytorch0.4及以上版本等必备软件环境。
如图1所示,本发明提供的基于同步神经网络的意见二元组抽取方法,包括按顺序执行的下列步骤:
步骤1)编码层:基于预训练的语言模型构建词的上下文语义表示。
步骤1.1)如图2所示,给定意见句S,本步骤对评价文本进行分词处理,得到评价文本对应的词序列X={x1,x2,...,xn}。
例如,给定评价文本“这里的食物十分美味。”,经过分词,可以得到词序列X={″这里″,″的″,″食物″,″十分″,″美味″,″。″}。
例如,对于评价文本中的第三个词“食物”,其预训练语言模型的输入向量可表示为e3=[0.33.-0.18,...,0.42,0.21]。
步骤1.3)如图2所示,使用BERT作为预训练语言模型,输入步骤1.2)得到的输入向量E={e1,e2,...,en},将BERT最后一层的输出作为词的上下文语义表示
H={h1,h2,...,hn}。
例如,对于评价文本中的第三个词“食物”,其上下文语义表示为h3=[0.06,0.31,...,0.00,-0.12]。
步骤2)识别层:基于步骤1)构建的词的上下文语义表示,同步抽取意见实体的边界、意见实体的类别和评价方面以及评价词之间的修饰关系。如图2所示,本步骤将得到词的标签分布矩阵Ci,以及词之间的关系矩阵Gi,其中i表示第i个识别层。
在计算隐藏表示的过程中,需要考虑评价对象和评价词之间的修饰关系。例如,若两个短语间存在修饰关系,则其中一个为评价对象,另一个为评价词。为了利用这种修饰关系,在同步层设计了关系同步矩阵R,具体的构建方式参见以下步骤3.2)。基于关系同步矩阵与步骤1.3)得到的词的上下文语义表示,可以通过下述公式计算隐藏表示
步骤2.2)关系检测。考虑到意见句中评价对象与评价词之间的关系可能存在一对多、多对一、嵌套、交叠等复杂的情况,采用注意力机制对关系进行检测。具体地,在第i个识别层中,可以通过下述公式计算第t个词与第j个词之间的关联程度
在检测词与词之间的关联关系的过程中,仅考虑词本身的含义是不够的,还需考虑其所属意见实体的语义。由此,设计了边界同步矩阵B,具体的构建方式参见步骤3.1)。基于边界同步矩阵与步骤1.3)得到的词的上下文语义表示,可以通过下述公式计算隐藏表示
步骤3)同步层:基于步骤2)中意见实体抽取和关系检测的结果,设计边界同步矩阵与关系同步矩阵记录高层交互信息,为后续的识别层提供信息指导。两个矩阵在本方法中均被初始化为全零矩阵,并且在每个同步层中通过以下方法进行更新。如图2所示,本步骤将得到边界同步矩阵Ti以及关系同步矩阵Ri,其中其中i表示第i个同步层。
步骤3.1)边界同步矩阵的构建。边界同步矩阵记录了任意两个词属于同一个意见实体的概率,该矩阵由步骤2.1)得到的词与标签之间的匹配程度转化得到。具体地,首先使用softmax变换计算词对应的标签分布随后使用如下公式得到词对应的预测标签
其中,v为标签空间。
Ti并非标准结果,因此需要计算表示实体边界置信度的边界同步矩阵B,具体的计算方式如下:
例如,对于给定的评价文本,在第一个同步层中,其对应的实体的边界矩阵可表示为
通过计算,其对应的边界同步矩阵可表示为
其中β为关联度阈值。具体地,β设置为0.25。
例如,对于给定的评价文本,在第一个同步层中,其对应的关系同步矩阵可表示为
步骤4)交替执行步骤2)与步骤3),以使得意见实体抽取与关系检测可以相互促进。
步骤5)推理层:将最后一个识别层的结果转化为最终的意见二元组。
YC表示所有可能的标签序列。
例如,对于给定的评价文本,其对应的标签序列可表示为Y=[O,O,BA,BP,IP,O]。
当δ高于给定的阈值时,评价对象与评价词之间存在修饰关系。具体地,本发明将阈值设为0.5,并由此得到如图2所示的最终预测的意见二元组P。
例如,对于给定的评价文本,其对应的意见二元组为“{食物,十分美味}”。
Claims (2)
1.一种基于同步神经网络的意见二元组抽取方法,主要由编码层、多个交替的识别层与同步层、以及推理层组成;具体步骤如下:
步骤1)编码层:基于预训练的语言模型构建词的上下文语义表示;
步骤2)识别层:基于步骤1)构建的词的上下文语义表示,同步抽取意见实体的边界、意见实体的类别与评价方面以及评价词之间的修饰关系;
识别层的具体操作方法如下:
步骤2.1)意见实体抽取;将意见实体抽取问题形式化为序列标注任务;综合考虑词的上下文语义和与其具有关联关系的词的语义,计算词与标签之间的匹配程度;
步骤2.2)关系检测;采用注意力机制对关系进行检测;具体地,在综合考虑词的上下文语义和其所属的意见实体的语义的基础上,计算词与词之间的关联关系,进而得到词之间的关联矩阵;
步骤3)同步层:基于步骤2)中意见实体抽取和关系检测的结果,设计边界同步矩阵与关系同步矩阵记录高层交互信息,为后续的识别层提供信息指导;两个矩阵均被初始化为全零矩阵,并且在每个同步层中不断进行更新;
同步层的具体操作方法如下:
步骤3.1)边界同步矩阵的构建;边界同步矩阵记录了任意两个词属于同一个意见实体的概率,该矩阵由步骤2.1)得到的词与标签之间的匹配程度转化得到;具体地,首先使用softmax和argmax变换计算词对应的预测标签;随后,基于预测的标签序列,计算实体的边界矩阵;最后,基于实体边界矩阵计算表示实体边界置信度的边界同步矩阵;
步骤3.2)关系同步矩阵的构建;过滤步骤2.2)中得到的关联矩阵中的噪音,得到关系同步矩阵;
步骤4)交替执行步骤2)与步骤3),以使得意见实体抽取与关系检测能够相互促进;
步骤5)推理层:将最后一个识别层的结果转化为最终的意见二元组;
推理层的具体操作方法如下:
步骤5.1)基于步骤2.1)得到的词与标签之间的匹配程度,利用条件随机场CRF计算词序列对应的标签序列;
步骤5.2)基于步骤5.1)得到的标签序列,抽取意见句中包含的意见实体;结合步骤2.2)中得到的关联矩阵,判断评价对象和评价词之间是否存在修饰关系,进而得到最终预测的意见二元组。
2.根据权利要求1所述的基于同步神经网络的意见二元组抽取方法,其特征在于,步骤1)编码层的具体操作方法如下:
步骤1.1)对评价文本进行分词处理,得到评价文本对应的词序列;
步骤1.2)对每个词,构建词向量、段落向量、以及位置向量,并将三种向量进行加和得到词的初始向量表示,并将此表示作为步骤1.3)中预训练语言模型的输入向量;
步骤1.3)使用BERT作为预训练语言模型,输入步骤1.2)得到的词的初始向量表示,将BERT最后一层的输出作为词的上下文语义表示。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911124188.XA CN110969014B (zh) | 2019-11-18 | 2019-11-18 | 一种基于同步神经网络的意见二元组抽取方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911124188.XA CN110969014B (zh) | 2019-11-18 | 2019-11-18 | 一种基于同步神经网络的意见二元组抽取方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110969014A CN110969014A (zh) | 2020-04-07 |
CN110969014B true CN110969014B (zh) | 2023-04-07 |
Family
ID=70030786
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911124188.XA Active CN110969014B (zh) | 2019-11-18 | 2019-11-18 | 一种基于同步神经网络的意见二元组抽取方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110969014B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111563384B (zh) * | 2020-04-22 | 2022-10-25 | 华南理工大学 | 面向电商产品的评价对象识别方法、装置及存储介质 |
CN111581350A (zh) * | 2020-04-30 | 2020-08-25 | 识因智能科技(北京)有限公司 | 一种基于预训练语言模型的多任务学习阅读理解方法 |
CN111667158B (zh) * | 2020-05-26 | 2022-06-10 | 南开大学 | 一种基于多图神经网络联合学习的工作技能预测方法 |
CN112287119B (zh) * | 2020-06-23 | 2022-10-18 | 北京理工大学 | 一种在线资源相关信息抽取的知识图谱生成方法 |
CN111968700A (zh) * | 2020-07-07 | 2020-11-20 | 南京农业大学 | 一种基于bert的水稻表型组学知识图谱关系提取方法及系统 |
CN111966832A (zh) * | 2020-08-21 | 2020-11-20 | 网易(杭州)网络有限公司 | 评价对象的提取方法、装置和电子设备 |
CN112818701B (zh) * | 2021-02-01 | 2023-07-04 | 上海明略人工智能(集团)有限公司 | 用于确定对话实体识别模型的方法、装置及设备 |
CN112966527B (zh) * | 2021-04-21 | 2022-12-30 | 吉林大学 | 一种基于自然语言推理的关系抽取模型的生成方法 |
WO2023119496A1 (ja) * | 2021-12-22 | 2023-06-29 | 日本電気株式会社 | 抽出装置 |
JPWO2023119497A1 (zh) * | 2021-12-22 | 2023-06-29 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107578092A (zh) * | 2017-09-01 | 2018-01-12 | 广州智慧城市发展研究院 | 一种基于情绪和意见挖掘的情感复合分析方法及系统 |
CN108536754A (zh) * | 2018-03-14 | 2018-09-14 | 四川大学 | 基于blstm和注意力机制的电子病历实体关系抽取方法 |
CN109582948A (zh) * | 2017-09-29 | 2019-04-05 | 北京国双科技有限公司 | 评价观点抽取的方法及装置 |
CN109948165A (zh) * | 2019-04-24 | 2019-06-28 | 吉林大学 | 基于混合注意力网络的细粒度情感极性预测方法 |
CN110457480A (zh) * | 2019-08-16 | 2019-11-15 | 国网天津市电力公司 | 基于交互式注意力机制的细粒度情感分类模型的构建方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130218914A1 (en) * | 2012-02-20 | 2013-08-22 | Xerox Corporation | System and method for providing recommendations based on information extracted from reviewers' comments |
US20180053107A1 (en) * | 2016-08-19 | 2018-02-22 | Sap Se | Aspect-based sentiment analysis |
-
2019
- 2019-11-18 CN CN201911124188.XA patent/CN110969014B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107578092A (zh) * | 2017-09-01 | 2018-01-12 | 广州智慧城市发展研究院 | 一种基于情绪和意见挖掘的情感复合分析方法及系统 |
CN109582948A (zh) * | 2017-09-29 | 2019-04-05 | 北京国双科技有限公司 | 评价观点抽取的方法及装置 |
CN108536754A (zh) * | 2018-03-14 | 2018-09-14 | 四川大学 | 基于blstm和注意力机制的电子病历实体关系抽取方法 |
CN109948165A (zh) * | 2019-04-24 | 2019-06-28 | 吉林大学 | 基于混合注意力网络的细粒度情感极性预测方法 |
CN110457480A (zh) * | 2019-08-16 | 2019-11-15 | 国网天津市电力公司 | 基于交互式注意力机制的细粒度情感分类模型的构建方法 |
Non-Patent Citations (4)
Title |
---|
CHENGXIANG LIU等.COMPARATIVE OP INION SENTENCES I DENTIFICATION AND ELEMENTS EXTRACTION.《Proceedings of the 2013 International Conference on Machine Learning and Cybernetics, Tianjin, 14-17 July, 2013》.2013,第1886-1891页. * |
Zigang Tang等.Simultaneous determination of five phthalate esters and bisphenol A in milk by packed-nanofiber solid-phase extraction coupled with gas chromatography and mass spectrometry.《RESERACH ARTICLE》.2019,第851-861页. * |
睢国钦 ; 那日萨 ; 彭振 ; .基于深度学习和CRFs的产品评论观点抽取方法.情报杂志.2019,(05),第181-189页. * |
郝志峰 ; 黄浩 ; 蔡瑞初 ; 温雯 ; .基于多特征融合与双向RNN的细粒度意见分析.计算机工程.2018,(07),第205-210、217页. * |
Also Published As
Publication number | Publication date |
---|---|
CN110969014A (zh) | 2020-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110969014B (zh) | 一种基于同步神经网络的意见二元组抽取方法 | |
Li et al. | A survey on deep learning for named entity recognition | |
US11182562B2 (en) | Deep embedding for natural language content based on semantic dependencies | |
CN112214995B (zh) | 用于同义词预测的分层多任务术语嵌入学习 | |
Li et al. | A survey on text classification: From shallow to deep learning | |
Zhang et al. | A deep neural network-based method for deep information extraction using transfer learning strategies to support automated compliance checking | |
Wang et al. | Nested named entity recognition: a survey | |
JP7316721B2 (ja) | 対象領域およびクライアント固有のアプリケーション・プログラム・インタフェース推奨の促進 | |
Fang et al. | Self-attention networks for code search | |
Viji et al. | A hybrid approach of Weighted Fine-Tuned BERT extraction with deep Siamese Bi–LSTM model for semantic text similarity identification | |
Zhang et al. | An emotional classification method of Chinese short comment text based on ELECTRA | |
JP7303195B2 (ja) | 対象領域およびクライアント固有のアプリケーション・プログラム・インタフェース推奨の促進 | |
Liang et al. | A multi-level neural network for implicit causality detection in web texts | |
Ahmed et al. | A fine-grained deep learning model using embedded-CNN with BiLSTM for exploiting product sentiments | |
Zhang et al. | Hierarchical representation and deep learning–based method for automatically transforming textual building codes into semantic computable requirements | |
Bhatia et al. | Clustering glossary terms extracted from large-sized software requirements using FastText | |
Zhang et al. | A machine-learning approach for semantically-enriched building-code sentence generation for automatic semantic analysis | |
Zhang et al. | Natural language generation and deep learning for intelligent building codes | |
Wang et al. | Models and techniques for domain relation extraction: a survey | |
Deng et al. | Hierarchical network with label embedding for contextual emotion recognition | |
Zheng et al. | A text classification-based approach for evaluating and enhancing the machine interpretability of building codes | |
Zhang et al. | A new approach of integrating industry prior knowledge for HAZOP interaction | |
Zarandi et al. | A survey of aspect-based sentiment analysis classification with a focus on graph neural network methods | |
Varma et al. | Few-Shot Learning with Fine-Tuned Language Model for Suicidal Text Detection | |
Sileo et al. | Composition of sentence embeddings: Lessons from statistical relational learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |