CN115878800A - 一种融合共现图和依赖关系图的双图神经网络及其构建方法 - Google Patents
一种融合共现图和依赖关系图的双图神经网络及其构建方法 Download PDFInfo
- Publication number
- CN115878800A CN115878800A CN202211597153.XA CN202211597153A CN115878800A CN 115878800 A CN115878800 A CN 115878800A CN 202211597153 A CN202211597153 A CN 202211597153A CN 115878800 A CN115878800 A CN 115878800A
- Authority
- CN
- China
- Prior art keywords
- graph
- text
- occurrence
- dependency
- representation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 39
- 238000010276 construction Methods 0.000 title abstract description 10
- 239000013598 vector Substances 0.000 claims abstract description 13
- 230000015654 memory Effects 0.000 claims abstract description 11
- 238000000034 method Methods 0.000 claims description 29
- 239000011159 matrix material Substances 0.000 claims description 18
- 230000009977 dual effect Effects 0.000 claims description 16
- 230000007246 mechanism Effects 0.000 claims description 8
- 238000010586 diagram Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 230000002457 bidirectional effect Effects 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000004140 cleaning Methods 0.000 claims description 3
- 150000001875 compounds Chemical class 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000014509 gene expression Effects 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 125000004122 cyclic group Chemical group 0.000 claims 1
- 238000013145 classification model Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000003058 natural language processing Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000000547 structure data Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000002904 solvent Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提出一种融合共现图和依赖关系图的双图神经网络及其构建方法,本发明为解决构建大型语料库图浪费内存和不易泛化到新样本的问题,提出DGNN‑B模型,以捕捉词共现图和依赖关系图特征,优化文本分类性能。基于文本构建共现图和依赖关系图,提取局部词共现信息和词间依赖信息。同时,利用双向长短时记忆网络LSTM将glove词向量表示和词性信息集成。然后,使用GCN和GGNN分别捕捉依赖关系图和共现图的特征;最后,融合双图表示,提高文本分类的性能。
Description
技术领域
本发明涉及文本分类模型技术领域,尤其涉及一种融合共现图和依赖关系图的双图神经网络及其构建方法。
背景技术
文本分类是自然语言处理的一项经典任务,使用预先定义的标签对文本进行标记。它被广泛应用于情感分析、推荐系统、新闻分类等。例如,自动判别一则新闻的类别,是体育类、政治类,还是经济类等。信息化时代,文本数量爆炸式增加。同时,由于其非结构化的特点,很难从中提取有价值的特征,因此降低了文本分类模型的泛化性能。
目前文本分类方法包括传统方法、深度学习方法。传统方法提取手工制作的特征,首先要对文本进行预处理操作,然后使用词袋模型、word2vec等方式表示文本,但会造成维度灾难,忽略文本语义,存在数据稀疏等问题。基于深度学习的模型被广泛提出,如CNN[1]、RNN[2]、LSTM[3]等。然而上述模型在文本分类时,只关注顺序性和局部性特征,忽略了文本的全局词共现信息。2018年Google基于transformer[4]构建了Bert[5]模型,解决了序列到序列的问题。采用掩码语言模型和下句预测的方法,提高了模型的泛化性能,极大地改进了自然语言处理的无监督预训练技术。
图神经网络技术是指使用神经网络来学习图结构数据,提取图结构数据的特征和信息,继而进行下游的分类、聚类、预测等任务。Bruna[6]等人提出将CNN应用到图上,通过巧妙的转化卷积算子,提出了图卷积网络(Graph Convolutional Netwok,GCN)[7],随之衍生出许多变体。GNN的主流算法包括图卷积神经网络、图注意力网络、门控图神经网络等。基于文本分类的图神经网络方法不断涌现,为文本分类提供新思路。文本之间的语序就包含图结构,如句法和语义解析树。
2019年,姚亮[8]构建语料级的词—词—文本图,并运行图卷积神经网络,捕捉文本单词间的关系。由于是直推式学习,不能轻易推广到新样本。当添加新样本时,需要从头重新构图和训练,浪费内存和时间。为了将GNN应用于短文本分类,2019年HGAT[9]在构建语料级的大图时,引入了主题、实体信息,缓解了短文本稀疏的问题。为了解决直推和内存耗费的问题,Lianzhe Huang和Yufeng Zhang提出为文本单独构建图。Lianzhe Huang[10]首先为文本构建文本层次图,创建边共享矩阵捕捉全局信息,同时引入消息传递机制。
但是未考虑不同的文本中词交互是不同的。2020年,Yufeng Zhang[11]使用滑动窗口在每个文档中构建独立的图,采用图门控机制(GGNN)[12]来聚合图上的邻居信息,在测试中可以对新文本进行归纳。2020年XienLiu[13]提出张量图卷积网络进行文本分类,构建一个文本图张量来描述语义、句法和序列上下文信息,图内传播和图间传播相结合,但仍然是直推式学习。其他研究人员探索将Bert或BiLSTM模型与GNN相结合,使两者相互补充,获取更全面的信息。2021年TW-TGNN[14]通过引入全局滑动窗口和局部滑动窗口来获取全局信息和局部信息。GFN[15]将预先计算的共现统计信息和预先训练的嵌入转换为结构信息来构建不同的文本级别的图,设计多头融合模块整合文本图结果。可以归纳学习文本信息,轻易泛化到新文本。
图神经网络方法在文本分类中取得了良好的效果,但仍存在一些不足。(1)语料图的构建是直推推理学习,从头训练新样本,浪费时间、内存。(2)部分学者提出构建文本级图来解决上述问题,但忽略构图质量,从而影响分类性能。(3)使用预先训练好的glove作为词向量的初始化特征,无法关注文本本身的特性。同时,图神经网络获取文本特征时,忽略文本顺序。
发明内容
本发明的目的在于提出一种具有较好泛化性能,有效提高分类精度的融合共现图和依赖关系图的双图神经网络及其构建方法。
为达到上述目的,本发明提出一种融合共现图和依赖关系图的双图神经网络,双图神经网络将文本转换为图结构,将文本分类任务转换为图分类任务;为单个文本构建共现图和依赖关系图;使用双向长短时记忆网络捕捉序列特征,对glove初始化词向量获得的千层特征进行补偿。
本发明还提出一种融合共现图和依赖关系图的双图神经网络的构建方法,包括以下步骤:
S1:准备文本数据集;
S2:对文本进行预处理,划分出训练集和测试集;
S3:构建双图
S3.1:共现文本图的构建:使用滑动窗口在文本上获得单词间的共现关系,依据共现关系构建一个无向共现文本图;
S3.2:依赖关系图的构建:使用StanfordNLP来提取单词之间的依赖关系和词性信息,依据依赖关系构建一个无向依赖关系图;
S4:图特征提取
S4.2:利用图卷积神经网络捕捉依赖关系图的特征:使用BiLSTM模块提取文本的语义特征,得到的单词嵌入表示作为文本图的嵌入矩阵,运行图卷积神经网络提取依赖关系图的特征;捕捉依赖关系图的嵌入表示记作d2是依赖关系图嵌入表示的维度;
S5:融合分类,将预测标签和真实标签对比,计算损失。
进一步的,在步骤S2中,对文本的预处理包括将大写转化为小写、清洗非文本内容、去除停止词和低频词、glove初始化词嵌入;然后对数据集进行shuffle操作,按照7:3的比例划分数据集为训练集和测试集。
进一步的,在步骤S3中,构建文本图时,有效地利用单词间的关系;使用T={w1,...,wi...wn}标记一个文本,该文本拥有n个单词,其中文本中的第i个单词记作wi;将文本输入到嵌入层,使用glove初始化单词为d维向量;对于T,为其构建相应的文本图,图中的节点由单词构成,边由单词间的关系构成,文本图记作Vt、Et是对应的节点集和边集;将nG设置为2,表明为单个文本构建两种图:共现图和依赖关系图;文本图的特征矩阵,记作/>第i个节点的向量表示为xi∈Rd,nt是该文本图中的节点数量,nt=|Vt|;文本图的邻接矩阵记作/>
进一步的,在步骤S3.1中,依据单词之间局部共现的语言特征来构建共现文本图,记作G1=(V1,E1);使用固定大小的窗口在文本上从左向右滑动,在同一窗口的单词在图中是连接的。
进一步的,在步骤S3.2中,依据单词间的依赖关系构建依赖关系图;首先,对于语料库中的文本,使用Stanford NLP对文本进行解析,获取单词间的依赖关系;提取到的依赖是有向的,为了方便计算,将边视作无向;文本的依赖关系记作:DP={rij|i≠j;i,j<n2},文本中单词wi和wj之间的依赖关系记作rij;根据依赖关系构建依赖关系图,记作G2=(V2,E2),其中E2表示为:E2={eij|rij∈DP},由此构建的依赖图包含丰富的语义和句法特征。
进一步的,在步骤S4.1中,在构建的共现文本图上,运行GGNN网络提取节点特征,使用门控循环单元的思路;
图上进行消息传递时,节点接收邻居节点的信息,然后将其与之前的时间点表示合并,以更新节点自身的隐藏表示;模型在t时刻的传播过程如下:
Nt=A1Ht-1WN+bN
Ut=σ(WUNt+MUHt-1)
Rt=σ(WR Nt+MR Ht-1)
式中,是共现图的邻接矩阵,聚合邻居信息记作n;U和R分别是更新门和重置门;Rt决定利用哪些旧信息;(1-Ut)选择遗忘不重要的信息,Ut选择记住哪些新产生的信息;⊙是对应元素相乘的操作符;/>是新产生的信息,Ht是t时刻最终的节点嵌入表示;捕捉共现图的嵌入表示记作/>dt是共现文本图嵌入表示的维度。
进一步的,在步骤S4.2中,对依赖关系图的构建,通过BiLSTM获取节点特征作为初始嵌入表示,然后在GCN网络进一步提取特征;为捕捉单词间的顺序性特征,依赖图通过BiLSTM提取更深层次的文本特征;
进一步的,在步骤S5中,计算损失步骤如下:
依赖关系图、共现图节点表示首先被聚合生成图级表示HG-dp,HG-co,然后将两者表示融合起来,得到Htotal作为文本的最终表示;最后使用Htotal去预测文本的标签;
首先,聚合邻居节点信息,得到双图的全图表示HG-dp,HG-co。通过GGNN获得共现文本图的嵌入表示Hco,GCN获得依赖关系图的嵌入表示Hdp,以共现文本图为例,求得全图表示HG-co公式如下:
f1v=σ(o(Hv co))
Hv=f1v⊙f2v
式中,o和p是多层感知机,f1v采用软注意力机制,依据节点的嵌入表示Hv co决定哪个节点相对重要;f1v是单词v的注意力权重,f2v充当非线性变换;得到单词的权重表示Hv;应用最大和全局池化获得文本的图表示HG-co;同理求得依赖关系图的图表示HG-dp;
然后,采用concat方式,融合两个文本表示,最终文本表示如下:
Htotal=HG-co||HG-dp
最后,根据文本表示Htotal,使用softmax分类器预测文本的标签,使用交叉熵函数作为损失函数,计算所有文本的预测标签和真实标签之间的损失:
与现有技术相比,本发明的优势之处在于:本发明的双图神经网络将文本转换为图结构,将文本分类任务转换为图分类任务。为单个文本构建共现图和依赖关系图,解决难以泛化到新样本以及不能充分利用词间依赖信息的问题。使用双向长短时记忆网络捕捉序列特征,对glove[16]初始化词向量获得的千层特征进行补偿。本发明的方法在文本分类上优于经典模型,具有较好的泛化性能较高的分类精度。
附图说明
图1为本发明实施例中融合共现图和依赖关系图的双图神经网络的构建方法流程图;
图2为本发明实施例中双图神经网络架构图;
图3为本发明实施例中共现文本图构建图;
图4为本发明实施例中依赖句法分析图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将对本发明的技术方案作进一步地说明。
本发明提出一种融合BiLSTM的双图神经网络(Dual Graph neural networkswith BiLSTM,DGNN-B)用于文本分类。将文本转换为图结构,将文本分类任务转换为图分类任务。为单个文本构建共现图和依赖关系图,解决难以泛化到新样本以及不能充分利用词间依赖信息的问题。使用双向长短时记忆网络捕捉序列特征,对glove初始化词向量获得的千层特征进行补偿。该方法在文本分类上优于经典模型,具有较好的泛化性能较高的分类精度。。
如图1所示,本发明的双图神经网络的构建方法如下:
S1:准备文本数据集;
S2:对文本进行预处理;对文本的预处理包括将大写转化为小写、清洗非文本内容(如表情、html)、去除停止词和低频词、glove初始化词嵌入;然后对数据集进行shuffle操作,按照7:3的比例划分数据集为训练集和测试集。
为解决构建大型语料库图浪费内存和不易泛化到新样本的问题,提出DGNN-B模型,以捕捉词共现图和依赖关系图特征,优化文本分类性能。该体系结构如图2所示。基于文本构建共现图和依赖关系图,提取局部词共现信息和词间依赖信息。同时,利用双向长短时间记忆网络将glove词向量表示和词性信息集成。然后,使用GCN和GGNN分别捕捉依赖关系图和共现图的特征;最后,融合双图表示,提高文本分类的性能,具体步骤如S3-S5所述。
S3:构建双图
构建文本图时,有效地利用单词间的关系;使用T={w1,...,wi...wn}标记一个文本,该文本拥有n个单词,其中文本中的第i个单词记作wi;将文本输入到嵌入层,使用glove初始化单词为d维向量;对于T,为其构建相应的文本图,图中的节点由单词构成,边由单词间的关系构成,文本图记作Vt、Et是对应的节点集和边集;将nG设置为2,表明为单个文本构建两种图:共现图和依赖关系图;文本图的特征矩阵,记作/>第i个节点的向量表示为xi∈Rd,nt是该文本图中的节点数量,nt=|Vt|;文本图的邻接矩阵记作
S3.1:共现文本图的构建:依据单词之间局部共现的语言特征来构建共现文本图,记作G1=(V1,E1);使用固定大小的窗口在文本上从左向右滑动,在同一窗口的单词在图中是连接的;如图3所示。
局部滑动窗口可以有效地捕捉词间的局部共现特征。在共现文本图构建完成后,运行GGNN进行词特征信息传播和集合。
S3.2:依赖关系图的构建:基于共现图可以捕获局部共现特征,但缺失了语义信息。依赖分析[17][18]可以捕获单词间的语法依赖关系,帮助理解文本。为了解决如上问题,如图4所示,对文本进行依赖分析依据单词间的依赖关系构建依赖关系图;首先,对于语料库中的文本,使用StanfordNLP对文本进行解析,获取单词间的依赖关系;提取到的依赖是有向的,为了方便计算,将边视作无向;文本的依赖关系记作:DP={rij|i≠j;i,j<n2},文本中单词wi和wj之间的依赖关系记作rij;根据依赖关系构建依赖关系图,记作G2=(V2,E2),其中E2表示为:E2={eij|rij∈DP},由此构建的依赖图包含丰富的语义和句法特征。
构建文本级图可以减少节点和边的数量,在遇到新样本时,无需从零训练,是一种归纳学习。与单一文本图相比,构建两种不同类型的图,通过将依赖关系和共现信息融合,可以捕获多信息,有利于从两个方面提取特征,在图的传播中相互补充。
S4:图特征提取
S4.1:利用门控图神经网络捕捉共现文本图的特征:在构建的共现文本图上,运行GGNN网络提取节点特征,使用门控循环单元的思路;
图上进行消息传递时,节点接收邻居节点的信息,然后将其与之前的时间点表示合并,以更新节点自身的隐藏表示;模型在t时刻的传播过程如下:
Nt=A1Ht-1WN+bN
Ut=σ(WUNt+MUHt-1)
Rt=σ(WRNt+MRHt-1)
式中,是共现图的邻接矩阵,聚合邻居信息记作n;U和R分别是更新门和重置门;Rt决定利用哪些旧信息;(1-Ut)选择遗忘不重要的信息,Ut选择记住哪些新产生的信息;⊙是对应元素相乘的操作符;/>是新产生的信息,Ht是t时刻最终的节点嵌入表示;捕捉共现图的嵌入表示记作/>dt是共现文本图嵌入表示的维度。
S4.2:利用图卷积神经网络捕捉依赖关系图的特征:对于构建的依赖图,通过BiLSTM获取节点特征作为初始嵌入表示,然后在GCN网络进一步提取特征。为捕捉单词间的顺序性特征,依赖图通过BiLSTM提取更深层次的文本特征,不同于共现图只使用浅层特征glove。一方面,文本数据是非欧几里德结构。BiLSTM可以记录文本的位置信息,从而捕获文本的序列化特征。另一方面,BiLSTM的双向机制使得每个单词都能获得更多的语义信息,通过充分考虑上下文信息。
S5:融合分类,将预测标签和真实标签对比,计算损失:
依赖关系图、共现图节点表示首先被聚合生成图级表示HG-dp,HG-co,然后将两者表示融合起来,得到Htotal作为文本的最终表示;最后使用Htotal去预测文本的标签;
首先,聚合邻居节点信息,得到双图的全图表示HG-dp,HG-co。通过GGNN获得共现文本图的嵌入表示Hco,GCN获得依赖关系图的嵌入表示Hdp,以共现文本图为例,求得全图表示HG-co公式如下:
f1v=σ(o(Hv co))
Hv=f1v⊙f2v
式中,o和p是多层感知机,f1v采用软注意力机制,依据节点的嵌入表示Hv co决定哪个节点相对重要;f1v是单词v的注意力权重,f2v充当非线性变换;得到单词的权重表示Hv;应用最大和全局池化获得文本的图表示HG-co;同理求得依赖关系图的图表示HG-dp;
然后,采用concat方式,融合两个文本表示,最终文本表示如下:
Htotal=HG-co||HG-dp
最后,根据文本表示Htotal,使用softmax分类器预测文本的标签,使用交叉熵函数作为损失函数,计算所有文本的预测标签和真实标签之间的损失:
本申请参考文献:
[1]Kim Y.Convolutional Neural Networks for Sentence Classification[C]//Proc ofthe 19th Conference on Empirical Methods inNatural LanguageProcessing.2014:1746-1751.
[2]MIKOLOVT,KARAFIATM,BURGETL,etal.Recurrent neural network basedlanguage model[C]//Proc ofthe 11th Annual conference of the InternationalSpeech Communication Association .2010:1045-1048.
[3]Hochreiter S,Schmidhuber J.Long short-term memory[J].NeuralComputation,1997,9(8):1735-1780.
[4]Vaswani A,Shazeer N,Parmar N,el al.Attention is all you need[C]//Proc of the 31st International Conference on Neural Information ProcessingSystem.Red Hook,NY:Curran Associates Inc,2017:6000-6010.
[5]Devlin J,Chang M W,Lee K,et al.Bert:Pre-training of deepbidirectional transformers for language understanding[C]//Proc of AnnualConference of the North American Chapter of Association for ComputationalLinguistics:Human Languange Technologies.Stroudsburg,PA:Association forComputational Lingustics,2019:4171-4186.
[6]Bruna J,Zaremba W,Szlam A,et al.Spectral networks and locallyconnected networks on graphs[EB/OL].(2014-05-21).https://arxiv.org/ans/1312.6203.
[7]Kipf T N,Welling M.Semi-supervised classification with graphconvolutional networks[C]//Proc of International Conference on LearningRepresentations.2017:36-50.
[8]Yao L,Mao C,Luo Y.Graph convolutional networks for textclassification[C]//Proc of the 33rd AAAI conference on ArtificialIntelligence.Palo Alto,CA:AAAI Press,2019:7370-7377.
[9]Hu,Linmei,Tianchi Yang,Chuan Shi,Houye Ji and Xiaoli Li.“Heterogeneous Graph Attention Networks for Semi-supervised Short TextClassification.”EMNLP(2019).
[10]Huang L,Ma D,Li S,et al.Text level graph neural network for textclassification[C]//Proc of the 2019 Conference on Empirical Methods inNatural Language Processing and the 9th International Joint Conference onNatural Language Processing.2019:3442-3448.
[11]Zhang Y,Yu X,Cui Z,et al.Every document owns its structure:Inductive text classification via graph neural networks[C]//Proc of the 58thAnnual Meeting of the Association for Computational Linguistics.Stroudsburg,PA:Association for Computational Lingustics,2020:334-339.
[12]Li Y,Tarlow D,Brockschmidt M,et al.Gated graph sequence neuralnetworks[C]//Proc of the 4th International Conference on LearningRepresentations.2015.
[13]Liu X,You X,Zhang X,et al.Tensor graph convolutional networks fortext classification[C]//Proc of the 34th AAAI conference on artificialintelligence.Palo Alto,CA:AAAI Press,2020,34(05):8409-8416.
[14]Wu X,Luo Z,Du Z,et al.TW-TGNN:Two Windows Graph-Based Model forText Classification[C]//2021International Joint Conference on NeuralNetworks.Piscataway,NJ:IEEE,2021:1-8.
[15]Dai Y,ShouL,Gong M,et al.Graph fusion network for textclassification[J].Knowledge-Based Systems,2022,236:107659.
[16]Pennington J,Socher R,Manning C D.Glove:Global vectors for wordrepresentation[C]//Proc ofthe 19th Conference on Empirical Methods in NaturalLanguage Processing.2014:1532-1543.
[17]范国凤,刘璟,姚绍文,等.基于语义依存分析的图网络文本分类模型[J].计算机应用研究,2020,37(12):3594-3598.(Fan Guofeng,Liu Jing,Yao Shaowen,etal.Text classification model with graph network based on semantic dependencyparsing[J].Application Research of Computers,2020,37(12):3594-3598.)
[18]邵党国,张潮,黄初升,等.结合ONLSTM-GCN和注意力机制的中文评论分类模型[J].小型微型计算机系统,2021,42(7):1377-1381.(Shao Dangguo,Zhang Chao,HuangChusheng.Chinese Comment Classification Model Combining ONLSTM-GCN andAttention Mechanism[J].Journal of chinese Computer Systems,2021,42(7):1377-1381.)
上述仅为本发明的优选实施例而已,并不对本发明起到任何限制作用。任何所属技术领域的技术人员,在不脱离本发明的技术方案的范围内,对本发明揭露的技术方案和技术内容做任何形式的等同替换或修改等变动,均属未脱离本发明的技术方案的内容,仍属于本发明的保护范围之内。
Claims (9)
1.一种融合共现图和依赖关系图的双图神经网络,其特征在于,所述双图神经网络将文本转换为图结构,将文本分类任务转换为图分类任务;为单个文本构建共现图和依赖关系图;使用双向长短时记忆网络捕捉序列特征,对glove初始化词向量获得的千层特征进行补偿。
2.一种融合共现图和依赖关系图的双图神经网络的构建方法,构建如权利要求1所述的双图神经网络,其特征在于,包括以下步骤:
S1:准备文本数据集;
S2:对文本进行预处理,划分出训练集和测试集;
S3:构建双图
S3.1:共现文本图的构建:使用滑动窗口在文本上获得单词间的共现关系,依据共现关系构建一个无向共现文本图;
S3.2:依赖关系图的构建:使用Stanford NLP来提取单词之间的依赖关系和词性信息,依据依赖关系构建一个无向依赖关系图;
S4:图特征提取
S4.2:利用图卷积神经网络捕捉所述依赖关系图的特征:使用BiLSTM模块提取文本的语义特征,得到的单词嵌入表示作为文本图的嵌入矩阵,运行所述图卷积神经网络提取所述依赖关系图的特征;捕捉所述依赖关系图的嵌入表示记作d2是依赖关系图嵌入表示的维度;
S5:融合分类,将预测标签和真实标签对比,计算损失。
3.根据权利要求2所述的融合共现图和依赖关系图的双图神经网络的构建方法,其特征在于,在步骤S2中,对文本的所述预处理包括将大写转化为小写、清洗非文本内容、去除停止词和低频词、glove初始化词嵌入;然后对数据集进行shuffle操作,按照7:3的比例划分数据集为训练集和测试集。
5.根据权利要求4所述的融合共现图和依赖关系图的双图神经网络的构建方法,其特征在于,在步骤S3.1中,依据单词之间局部共现的语言特征来构建共现文本图,记作G1=(V1,E1);使用固定大小的窗口在文本上从左向右滑动,在同一窗口的单词在图中是连接的。
6.根据权利要求5所述的融合共现图和依赖关系图的双图神经网络的构建方法,其特征在于,在步骤S3.2中,依据单词间的依赖关系构建依赖关系图;首先,对于语料库中的文本,使用Stanford NLP对文本进行解析,获取单词间的依赖关系;提取到的依赖是有向的,为了方便计算,将边视作无向;文本的依赖关系记作:DP={rij|i≠j;i,j<n2},文本中单词wi和wj之间的依赖关系记作rij;根据依赖关系构建依赖关系图,记作G2=(V2,E2),其中E2表示为:E2={eij|rij∈DP},由此构建的依赖图包含丰富的语义和句法特征。
7.根据权利要求2所述的融合共现图和依赖关系图的双图神经网络的构建方法,其特征在于,在步骤S4.1中,在构建的所述共现文本图上,运行GGNN网络提取节点特征,使用门控循环单元的思路;
图上进行消息传递时,节点接收邻居节点的信息,然后将其与之前的时间点表示合并,以更新节点自身的隐藏表示;模型在t时刻的传播过程如下:
Nt=A1Ht-1WN+bN
Ut=σ(WU Nt+MUHt-1)
Rt=σ(WR Nt+MR Ht-1)
9.根据权利要求2所述的融合共现图和依赖关系图的双图神经网络的构建方法,其特征在于,在步骤S5中,计算损失步骤如下:
依赖关系图、共现图节点表示首先被聚合生成图级表示HG-dp,HG-co,然后将两者表示融合起来,得到Htotal作为文本的最终表示;最后使用Htotal去预测文本的标签;
首先,聚合邻居节点信息,得到双图的全图表示HG-dp,HG-co。通过GGNN获得共现文本图的嵌入表示Hco,GCN获得依赖关系图的嵌入表示Hdp,以共现文本图为例,求得全图表示HG-co公式如下:
f1v=σ(o(Hv co))
Hv=f1v⊙f2v
式中,o和p是多层感知机,f1v采用软注意力机制,依据节点的嵌入表示Hv co决定哪个节点相对重要;f1v是单词v的注意力权重,f2v充当非线性变换;得到单词的权重表示Hv;应用最大和全局池化获得文本的图表示HG-co;同理求得依赖关系图的图表示HG-dp;
然后,采用concat方式,融合两个文本表示,最终文本表示如下:
Htotal=HG-co||HG-dp
最后,根据文本表示Htotal,使用softmax分类器预测文本的标签,使用交叉熵函数作为损失函数,计算所有文本的预测标签和真实标签之间的损失:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211597153.XA CN115878800A (zh) | 2022-12-12 | 2022-12-12 | 一种融合共现图和依赖关系图的双图神经网络及其构建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211597153.XA CN115878800A (zh) | 2022-12-12 | 2022-12-12 | 一种融合共现图和依赖关系图的双图神经网络及其构建方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115878800A true CN115878800A (zh) | 2023-03-31 |
Family
ID=85767247
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211597153.XA Pending CN115878800A (zh) | 2022-12-12 | 2022-12-12 | 一种融合共现图和依赖关系图的双图神经网络及其构建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115878800A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116304061A (zh) * | 2023-05-17 | 2023-06-23 | 中南大学 | 基于层次文本图结构学习的文本分类方法、装置及介质 |
-
2022
- 2022-12-12 CN CN202211597153.XA patent/CN115878800A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116304061A (zh) * | 2023-05-17 | 2023-06-23 | 中南大学 | 基于层次文本图结构学习的文本分类方法、装置及介质 |
CN116304061B (zh) * | 2023-05-17 | 2023-07-21 | 中南大学 | 基于层次文本图结构学习的文本分类方法、装置及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230153526A1 (en) | Method and apparatus for information extraction, electronic device, and storage medium | |
CN106484674B (zh) | 一种基于深度学习的中文电子病历概念抽取方法 | |
CN109325112B (zh) | 一种基于emoji的跨语言情感分析方法和装置 | |
CN109858041B (zh) | 一种半监督学习结合自定义词典的命名实体识别方法 | |
CN108984526A (zh) | 一种基于深度学习的文档主题向量抽取方法 | |
CN108595708A (zh) | 一种基于知识图谱的异常信息文本分类方法 | |
CN110765775A (zh) | 一种融合语义和标签差异的命名实体识别领域自适应的方法 | |
Xiao et al. | Using convolution control block for Chinese sentiment analysis | |
CN110263325A (zh) | 中文分词系统 | |
Mehmood et al. | A precisely xtreme-multi channel hybrid approach for roman urdu sentiment analysis | |
CN113051927B (zh) | 基于多模态图卷积神经网络的社交网络突发事件检测方法 | |
CN111967267B (zh) | 一种基于XLNet的新闻文本地域提取的方法及系统 | |
CN113343690B (zh) | 一种文本可读性自动评估方法及装置 | |
CN113255366B (zh) | 一种基于异构图神经网络的方面级文本情感分析方法 | |
Han et al. | Augmented sentiment representation by learning context information | |
Jia | Sentiment classification of microblog: A framework based on BERT and CNN with attention mechanism | |
CN113806547A (zh) | 一种基于图模型的深度学习多标签文本分类方法 | |
CN111340006B (zh) | 一种手语识别方法及系统 | |
CN116796744A (zh) | 一种基于深度学习的实体关系抽取方法及系统 | |
CN117113982A (zh) | 一种基于嵌入模型的大数据主题分析方法 | |
Shahade et al. | Multi-lingual opinion mining for social media discourses: An approach using deep learning based hybrid fine-tuned smith algorithm with adam optimizer | |
CN115878800A (zh) | 一种融合共现图和依赖关系图的双图神经网络及其构建方法 | |
CN114444515A (zh) | 一种基于实体语义融合的关系抽取方法 | |
CN113901228A (zh) | 融合领域知识图谱的跨境民族文本分类方法及装置 | |
CN111563374B (zh) | 一种基于司法裁判文书的人员社交关系抽取方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |