CN112765352A - 基于具有自注意力机制的图卷积神经网络文本分类方法 - Google Patents

基于具有自注意力机制的图卷积神经网络文本分类方法 Download PDF

Info

Publication number
CN112765352A
CN112765352A CN202110082121.5A CN202110082121A CN112765352A CN 112765352 A CN112765352 A CN 112765352A CN 202110082121 A CN202110082121 A CN 202110082121A CN 112765352 A CN112765352 A CN 112765352A
Authority
CN
China
Prior art keywords
graph
self
text
word
attention mechanism
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110082121.5A
Other languages
English (en)
Inventor
项林英
王国庆
陈飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeastern University Qinhuangdao Branch
Original Assignee
Northeastern University Qinhuangdao Branch
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeastern University Qinhuangdao Branch filed Critical Northeastern University Qinhuangdao Branch
Priority to CN202110082121.5A priority Critical patent/CN112765352A/zh
Publication of CN112765352A publication Critical patent/CN112765352A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/126—Character encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明提供一种基于具有自注意力机制的图卷积神经网络文本分类方法，涉及人工智能和信息技术技术领域。该方法首先获取多个待分类的文本存储到语料库中，同时对待分类的文本进行分词处理获得文本分词序列，并进行预处理；然后使用自注意力机制得到文本分词序列的自注意力机制矩阵；再对所有文本构建图网络结构；对图网络结构进行预处理，计算图的Laplacian矩阵并进行归一化；在图的Laplacian矩阵基础上构建和训练图卷积神经网络模型；最后通过Softmax分类器，得到文本分类结果。该分类方法能够较好地捕捉文本间的语义信息相关性，从而更好地表达出文本信息中的隐含关系，实现对文本的精准分类。

Description

基于具有自注意力机制的图卷积神经网络文本分类方法
技术领域
本发明涉及人工智能和信息技术技术领域，尤其涉及一种基于具有自注意力机制的图卷积神经网络文本分类方法。
背景技术
随着深度学习技术的迅速发展，数据规模呈现出爆炸性增长趋势，越来越多的研究人员将深度学习和神经网络方法应用到图网络结构领域，推动了深度学习研究领域的快速发展。图神经网络是一类基于深度学习的处理图网络结构的方法，且具有较好的性能和可解释性。在短短的几年内，鉴于神经网络在图像、文本领域的广泛应用，一部分研究学者尝试将神经网络方法与图网络结构结合起来，图神经网络研究逐渐成为深度学习领域的热潮。图数据具有很强的局部耦合性，节点之间存在一定的关系，因此图的表示需要包含图的结构信息和特征属性。
文本分类的核心就是从文本中提取分类数据的特征，然后选择合适的分类算法和模型对特征进行建模，从而实现文本分类。文本分类的基础任务是将文档数据转换成计算机能够识别的表达方式，合理有效的文本表示是保证文本分类质量的重要前提。目前文本表示的主要方法分为三大类：第一类是基于传统文本分类技术，由特征提取和分类器分类组成。第二类是基于深度学习方法，通过深度学习方法学习文本中的特征。第三类是基于图结构的表示方法，主要是将文档表示为图网络结构，对文本数据的分析转换为对图数据的分析。尽管这些方法都有各自的优点，但难以保证得到整体分类效果的最优模型。
发明内容
本发明要解决的技术问题是针对上述现有技术的不足，提供一种基于具有自注意力机制的图卷积神经网络文本分类方法，将数据库中的文本表示为图网络结构，利用自注意力机制获取分词序列的自注意力机制矩阵，并进行融合降维处理，将自注意力机制矩阵作为图卷积神经网络模型的输入，再经过Softmax分类器输出每个文本的类别。
为解决上述技术问题，本发明所采取的技术方案是：基于具有自注意力机制的图卷积神经网络文本分类方法，包括以下步骤：
步骤1：获取待分类的文本分词序列，并进行预处理；
获取多个待分类的文本存储到语料库中，同时对待分类的文本进行分词处理获得文本分词序列；在文本分词序列中，对无效词或者停止词进行过滤处理；
步骤2：获取过滤处理后的文本分词序列的嵌入矩阵，使用自注意力机制得到文本分词序列的自注意力机制矩阵；
对步骤1中得到的预处理后的文本分词序列进行编码，建立文本词向量，将文本词向量输入到自注意力机制中，得到自注意力机制词向量，并计算各自注意力机制词向量的权重；
根据自注意力机制的查询Query与地址Key，计算各自注意力机制词向量与其邻居自注意力机制词向量之间的相似度，相似度计算函数为Simi(Query,Key)＝Queryi·Keyi，其中，Queryi，Keyi分别为第i个自注意力机制词向量的查询和地址；然后使用Softmax函数对各自注意力机制词向量进行归一化处理得到各自注意力机制词向量的概率分布，
Figure BDA0002909449160000021
其中，αi为各自注意力机制词向量的概率分布密度，Lx＝||Source||表示文本分词序列的长度，Source表示文本分词序列；对各自注意力机制词向量的Value值进行加权求和，求和通过以下公式来计算：
Figure BDA0002909449160000022
其中，SAT(Query,Source)表示对自注意力机制词向量的Value值加权求和的结果值；
对加权求和后的自注意力机制词向量，采用随机初始化的词嵌入模型映射获得文本分词序列的嵌入矩阵，并对词嵌入矩阵的各行向量根据对应词的位置进行编码，然后将编码后的嵌入矩阵通过自注意力机制生成文本分词序列的自注意力机制矩阵A＝{a1,a2,...,am}T，其中，向量ai为第i个词的自注意力机制词向量，其包含有词本身和词与词序列中其它词的关联信息；最后，对文本分词序列的自注意力机制矩阵进行降维和融合处理；
步骤3：对语料库中所有文本构建图网络结构；针对一个文本，构建一个具有n个节点、e条边的图网络结构，文本中的词作为图的节点，与一个节点最相似的若干词作为该词的邻居节点，并计算两个词向量的余弦相似度；
构建图G，文本词构建图中的节点n，并在两个节点之间建立一条边，节点共现次数表示为节点边的权重W，若两个节点之间没有数据关联，则不构建边；在图G中，与节点n相连的节点在图G中所有节点的占比为Pe(n,G)，通过公式来计算
Figure BDA0002909449160000023
其中，P(n,G)表示在图G中与节点n相连接的节点的个数，NG表示图G中节点总数；
步骤4：对图网络结构进行预处理，计算图的Laplacian矩阵并进行归一化；
对图网络结构进行傅里叶变换，将其从节点域变换到频谱域，在频谱域计算图的Laplacian矩阵；图G中，目标节点的邻接矩阵表示文本分词序列的自注意力机制矩阵，建立文本分词序列与图网络结构之间的联系，目标节点j的邻接矩阵A＝(Ajj′)∈RN×N是一个对称阵，N表示几何空间的维数；如果图中节点j与节点j′之间有边相连，则Ajj′＝Aj′j＝1(j≠j′)；否则Ajj′＝Aj′j＝0(j≠j)；dj表示节点j的度，记为
Figure BDA0002909449160000031
D表示目标节点j的度矩阵，记为D＝diag(dj)；则图Laplacian矩阵L＝D-A，L＝(Ljj′)∈RN×N，图Laplacian矩阵归一化定义为
Figure BDA0002909449160000032
In是单位矩阵；
步骤5：构建和训练图卷积神经网络模型；
步骤5.1：在图的Laplacian矩阵L基础上，计算图傅里叶变换，实现图卷积滤波；
步骤5.2：构建图卷积层，得到简化后的图卷积；
基于谱方法的图卷积定义为gθ*x＝UgθUTx，其中，x∈RN为频域上图信号，gθ＝diag(θ)为由θ∈RN参数化的滤波器，θ∈RN是傅里叶系数的矢量，U表示自注意力机制特征向量矩阵；卷积过程需要K个参数，采用Kth阶的切比雪夫多项式展开式逼近频谱滤波器gθ；
根据对信号x与频谱滤波器gθ的定义，进一步将图卷积定义为
Figure BDA0002909449160000033
其中，TK表示切比雪夫多项式，θ0,θ1,...,θK表示可学习参数；
Figure BDA0002909449160000034
λmax是Laplacian矩阵L的最大特征值，K是多项式阶数，*表示卷积符；
将Laplacian矩阵最大特征值λmax近似为2，从而得到图卷积为
Figure BDA0002909449160000035
其中，θ0′和θ1′是两个自由参数；设定θ＝θ0′＝-θ1′；于是，得到下面的表达式：
Figure BDA0002909449160000036
其中，
Figure BDA0002909449160000037
的取值范围是[0,2]，
Figure BDA0002909449160000038
且
Figure BDA0002909449160000039
Figure BDA00029094491600000310
进一步得到简化后的图卷积公式：
Figure BDA00029094491600000311
步骤5.3：构建图的池化层和全连接层；
对图网络结构完成图卷积操作后，得到新的特征图，构造特征图对应的平衡二叉树，并在池化层对平衡二叉树进行池化处理后，将池化结果输入到全连接层；
步骤6：通过Softmax分类器，得到文本分类结果；
将图卷积神经网络模型全连接层的输出作为Softmax分类器的输入，对Softmax分类器输出的所有值计算Softmax函数值，并选取最大值作为文本的类别。
采用上述技术方案所产生的有益效果在于：本发明提供的基于具有自注意力机制的图卷积神经网络文本分类方法，(1)采用自注意机制获取文本的全局语义信息，自注意力机制可以灵活地捕捉全局和局部的关联信息，捕获有关文本结构的复合特征，并且可以减少模型的训练时间；(2)将通过自注意力机制获取的全局语义信息作为图卷积神经网络模型的输入，图卷积神经网络可以实现参数共享，避免模型过拟合，提高了图卷积神经网络模型的分类性能；(3)使用图网络结构的方式表示文本信息，通过词的相似度构建结构图，较好地捕捉文本间的语义信息相关性，从而更好地表达出文本信息中的隐含关系。
附图说明
图1为本发明实施例提供的基于具有自注意力机制的图卷积神经网络文本分类方法的流程示意图；
图2为本发明实施例提供的基于具有自注意力机制的图卷积神经网络文本分类方法的原理示意图；
图3为本发明实施例提供的自注意力机制示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
本实施例中，基于具有自注意力机制的图卷积神经网络文本分类方法，如图1和2所示，包括以下步骤：
步骤1：获取待分类的文本分词序列，并进行预处理；
本实施例采用的原始数据集来自AG’s news新闻分类文本，其中包含了14652篇新闻，选择体育、科技、文化、娱乐和财经五大类别的新闻，并将其中80％作为训练文本，20％作为测试文本。获取得到数据集{si,yi}，s表示当前输入样本，y表示输入样本的标签，并将所述数据集分为训练集和测试集。
获取多个待分类的文本存储到语料库中，同时对待分类的文本进行分词处理获得文本分词序列，在中文文本中，词与词之间是连写的，不像英文中，单词与单词自然分离；在文本分词序列中，对无效词或者停止词进行过滤处理；
步骤2：获取训练集中过滤处理后的文本分词序列的嵌入矩阵，使用如图3所示的自注意力机制得到文本分词序列的自注意力机制矩阵；
对步骤1中得到的预处理后的文本分词序列进行编码，建立文本词向量，将文本词向量输入到自注意力机制中，得到自注意力机制词向量，并计算各自注意力机制词向量的权重；
根据自注意力机制的查询Query与地址Key，计算各自注意力机制词向量与其邻居自注意力机制词向量之间的相似度，相似度计算函数为Simi(Query,Key)＝Queryi·Keyi，其中，Queryi，Keyi分别为第i个自注意力机制词向量的查询和地址；然后使用Softmax函数对各自注意力机制词向量进行归一化处理后得到各自注意力机制词向量的概率分布
Figure BDA0002909449160000051
其中，αi为各自注意力机制词向量的概率分布密度，Lx＝||Source||表示文本分词序列的长度，Source表示文本分词序列；对各自注意力机制词向量的Value值进行加权求和，求和通过以下公式来计算：
Figure BDA0002909449160000052
其中，SAT(Query,Source)表示对自注意力机制词向量的Value值加权求和的结果值；
对加权求和后的自注意力机制词向量，采用随机初始化的词嵌入模型映射获得文本分词序列的嵌入矩阵，并对词嵌入矩阵的各行向量根据对应词的位置进行编码，然后将编码后的嵌入矩阵通过自注意力机制生成文本分词序列的自注意力机制矩阵A＝{a1,a2,...,am}T，其中，向量ai为第i个词的自注意力机制词向量，其包含有词本身和词与词序列中其它词的关联信息；最后，对文本分词序列的自注意力机制矩阵进行降维和融合处理；
步骤3：对语料库中所有文本构建图网络结构；构建一个具有n个节点、e条边的图网络结构，文本中的词作为图的节点，与一个节点最相似的若干词作为该词的邻居节点，并计算两个词向量的余弦相似度；
构建图G，文本词构建图中的节点n，并在两个节点之间建立一条边，节点共现次数表示为节点边的权重W，若两个节点之间没有数据关联，则不构建边；在图G中，与节点n相连的节点在图G中所有节点的占比为Pe(n,G)，通过公式来计算
Figure BDA0002909449160000053
其中，P(n,G)表示在图G中与节点n相连接的节点的个数，NG表示图G中节点总数；
步骤4：对图网络结构进行预处理，计算图的Laplacian矩阵并进行归一化；
对图网络结构进行傅里叶变换，将其从节点域变换到频谱域，在频谱域计算图的Laplacian矩阵；图G中，目标节点的邻接矩阵表示文本分词序列的自注意力机制矩阵，建立文本分词序列与图网络结构之间的联系，目标节点j的邻接矩阵A＝(Ajj′)∈RN×N是一个对称阵，N表示几何空间的维数；如果图中节点j与节点j′之间有边相连，则Ajj′＝Aj′j＝1(j≠j′)；否则Ajj′＝Aj′j＝0(j≠j)；dj表示节点j的度，记为
Figure BDA0002909449160000061
D表示目标节点j的度矩阵，记为D＝diag(dj)；则图Laplacian矩阵L＝D-A，L＝(Ljj′)∈RN×N，图Laplacian矩阵归一化定义为
Figure BDA0002909449160000062
In是单位矩阵；
步骤5：构建和训练图卷积神经网络模型；
步骤5.1：在图的Laplacian矩阵L基础上，计算图傅里叶变换，实现图卷积滤波；
为了实现后续的图卷积滤波操作，需要计算图的傅里叶变换；图Laplacian矩阵L是一个实对称半正定矩阵，它有一个正交特征向量集
Figure BDA0002909449160000063
称为图傅立叶模型，在图的傅里叶变换中
Figure BDA0002909449160000064
看作是图的频率；
步骤5.2：构建图卷积层，得到简化后的图卷积；
基于谱方法的图卷积定义为gθ*x＝UgθUTx，其中，x∈RN为频域上图信号，gθ＝diag(θ)为由θ∈RN参数化的滤波器，θ∈RN是傅里叶系数的矢量，U表示自注意力机制特征向量矩阵；卷积过程需要K个参数，采用高达Kth阶的切比雪夫多项式展开式逼近频谱滤波器gθ；
根据对信号x与频谱滤波器gθ的定义，进一步将图卷积定义为
Figure BDA0002909449160000065
其中，TK表示切比雪夫多项式，θ0,θ1,...,θK表示可学习参数；
Figure BDA0002909449160000066
λmax是Laplacian矩阵L的最大特征值，K是多项式阶数，*表示卷积符；切比雪夫多项式定义为TK(X)＝2XTK-1(X)-TK-2(X)，满足T0(X)＝1，T1(X)＝X；
使用K层局部卷积来定义图卷积神经网络，从而消除计算Laplacian特征向量的需要，将Laplacian矩阵最大特征值λmax近似为2，从而得到图卷积为
Figure BDA0002909449160000067
其中，θ0′和θ1′是两个自由参数；设定θ＝θ0′＝-θ1′；于是，得到下面的表达式：
Figure BDA0002909449160000068
其中，
Figure BDA0002909449160000069
的取值范围是[0,2]，
Figure BDA00029094491600000610
且
Figure BDA00029094491600000611
Figure BDA0002909449160000071
进一步得到简化后的图卷积公式：
Figure BDA0002909449160000072
步骤5.3：构建图的池化层和全连接层；
对图网络结构完成图卷积操作后，得到新的特征图，构造特征图对应的平衡二叉树，并在池化层对平衡二叉树进行池化处理后，将池化结果输入到全连接层；
步骤6：通过Softmax分类器，得到文本分类结果；
将图卷积神经网络模型全连接层的输出作为Softmax分类器的输入，对Softmax分类器输出的所有值计算Softmax函数值，并选取最大值作为文本的类别。
本实施例最后还通过预测集中文本对图卷积神经网络模型进行分类预测与验证。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

Claims (6)

1.一种基于具有自注意力机制的图卷积神经网络文本分类方法，其特征在于：包括以下步骤：
步骤1：获取多个待分类的文本存储到语料库中，同时对待分类的文本进行分词处理获得文本分词序列；并对文本分词序列的无效词或者停止词进行过滤处理；
步骤2：获取过滤处理后的文本分词序列的嵌入矩阵，使用自注意力机制得到文本分词序列的自注意力机制矩阵；
步骤3：对语料库中所有文本构建图网络结构；针对一个文本，构建一个具有n个节点、e条边的图网络结构，文本中的词作为图的节点，与一个节点最相似的若干词作为该词的邻居节点，并计算两个词向量的余弦相似度；
步骤4：对图网络结构进行预处理，计算图的Laplacian矩阵并进行归一化；步骤5：构建和训练图卷积神经网络模型；
步骤5.1：在图的Laplacian矩阵基础上，计算图傅里叶变换，实现图卷积滤波；
步骤5.2：构建图卷积层，并得到简化后的图卷积；步骤5.3：构建图的池化层和全连接层；步骤6：通过Softmax分类器，得到文本分类结果；
将图卷积神经网络模型全连接层的输出作为Softmax分类器的输入，对Softmax分类器输出的所有值计算Softmax函数值，并选取最大值作为文本的类别。
2.根据权利要求1所述的基于具有自注意力机制的图卷积神经网络文本分类方法，其特征在于：所述步骤2的具体方法为：
对步骤1中得到的预处理后的文本分词序列进行编码，建立文本词向量，将文本词向量输入到自注意力机制中，得到自注意力机制词向量，并计算各自注意力机制词向量的权重；
根据自注意力机制的查询Query与地址Key，计算各自注意力机制词向量与其邻居自注意力机制词向量之间的相似度，相似度计算函数为Simi(Query,Key)＝Queryi·Keyi，其中，Queryi，Keyi分别为第i个自注意力机制词向量的查询和地址；然后使用Softmax函数对各自注意力机制词向量进行归一化处理得到各自注意力机制词向量的概率分布，
Figure FDA0002909449150000011
其中，αi为各自注意力机制词向量的概率分布密度，Lx＝||Source||表示文本分词序列的长度，Source表示文本分词序列；对各自注意力机制词向量的Value值进行加权求和，求和通过以下公式来计算：
Figure FDA0002909449150000012
其中，SAT(Query,Source)表示对自注意力机制词向量的Value值加权求和的结果值；
对加权求和后的自注意力机制词向量，采用随机初始化的词嵌入模型映射获得文本分词序列的嵌入矩阵，并对词嵌入矩阵的各行向量根据对应词的位置进行编码，然后将编码后的嵌入矩阵通过自注意力机制生成文本分词序列的自注意力机制矩阵A＝{a1,a2,...,am}T，其中，向量ai为第i个词的自注意力机制词向量，其包含有词本身和词与词序列中其它词的关联信息；最后，对文本分词序列的自注意力机制矩阵进行降维和融合处理。
3.根据权利要求2所述的基于具有自注意力机制的图卷积神经网络文本分类方法，其特征在于：所述步骤3的具体方法为：
构建图G，文本词构建图中的节点n，并在两个节点之间建立一条边，节点共现次数表示为节点边的权重W，若两个节点之间没有数据关联，则不构建边；在图G中，与节点n相连的节点在图G中所有节点的占比为Pe(n,G)，通过公式来计算
Figure FDA0002909449150000021
其中，P(n,G)表示在图G中与节点n相连接的节点的个数，NG表示图G中节点总数。
4.根据权利要求3所述的基于具有自注意力机制的图卷积神经网络文本分类方法，其特征在于：所述步骤4的具体方法为：
对图网络结构进行傅里叶变换，将其从节点域变换到频谱域，在频谱域计算图的Laplacian矩阵；图G中，目标节点的邻接矩阵表示文本分词序列的自注意力机制矩阵，建立文本分词序列与图网络结构之间的联系，目标节点j的邻接矩阵A＝(Ajj′)∈RN×N是一个对称阵，N表示几何空间的维数；如果图中节点j与节点j′之间有边相连，则Ajj′＝Aj′j＝1(j≠j′)；否则Ajj′＝Aj′j＝0(j≠j)；dj表示节点j的度，记为
Figure FDA0002909449150000022
D表示目标节点j的度矩阵，记为D＝diag(dj)；则图Laplacian矩阵L＝D-A，L＝(Ljj′)∈RN×N，图Laplacian矩阵归一化定义为
Figure FDA0002909449150000023
In是单位矩阵。
5.根据权利要求4所述的基于具有自注意力机制的图卷积神经网络文本分类方法，其特征在于：所述步骤5.2的具体方法为：
基于谱方法的图卷积定义为gθ*x＝UgθUTx，其中，x∈RN为频域上图信号，gθ＝diag(θ)为由θ∈RN参数化的滤波器，θ∈RN是傅里叶系数的矢量，U表示自注意力机制特征向量矩阵；卷积过程需要K个参数，采用Kth阶的切比雪夫多项式展开式逼近频谱滤波器gθ；
根据对信号x与频谱滤波器gθ的定义，进一步将图卷积定义为
Figure FDA0002909449150000031
其中，TK表示切比雪夫多项式，θ0,θ1,...,θK表示可学习参数；
Figure FDA0002909449150000032
λmax是Laplacian矩阵L的最大特征值，K是多项式阶数，*表示卷积符；
将Laplacian矩阵最大特征值λmax近似为2，从而得到图卷积为
Figure FDA0002909449150000033
其中，θ′0和θ′1是两个自由参数；设定θ＝θ′0＝-θ′1；于是，得到下面的表达式：
Figure FDA0002909449150000034
其中，
Figure FDA0002909449150000035
的取值范围是[0,2]，
Figure FDA0002909449150000036
且
Figure FDA0002909449150000037
Figure FDA0002909449150000038
进一步得到简化后的图卷积公式：
Figure FDA0002909449150000039
6.根据权利要求5所述的基于具有自注意力机制的图卷积神经网络文本分类方法，其特征在于：所述步骤5.3的具体方法为：
对图网络结构完成图卷积操作后，得到新的特征图，构造特征图对应的平衡二叉树，并在池化层对平衡二叉树进行池化处理后，将池化结果输入到全连接层。
CN202110082121.5A 2021-01-21 2021-01-21 基于具有自注意力机制的图卷积神经网络文本分类方法 Pending CN112765352A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110082121.5A CN112765352A (zh) 2021-01-21 2021-01-21 基于具有自注意力机制的图卷积神经网络文本分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110082121.5A CN112765352A (zh) 2021-01-21 2021-01-21 基于具有自注意力机制的图卷积神经网络文本分类方法

Publications (1)

Publication Number Publication Date
CN112765352A true CN112765352A (zh) 2021-05-07

Family

ID=75702310

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110082121.5A Pending CN112765352A (zh) 2021-01-21 2021-01-21 基于具有自注意力机制的图卷积神经网络文本分类方法

Country Status (1)

Country Link
CN (1) CN112765352A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113254648A (zh) * 2021-06-22 2021-08-13 暨南大学 一种基于多层次图池化的文本情感分析方法
CN113435478A (zh) * 2021-06-03 2021-09-24 华东师范大学 一种利用图卷积神经网络进行服装样板图分类的方法和系统
CN113468867A (zh) * 2021-06-04 2021-10-01 淮阴工学院 一种基于Attention机制的参考文献引用合法性预测方法
CN113535912A (zh) * 2021-05-18 2021-10-22 北京邮电大学 基于图卷积网络和注意力机制的文本关联方法及相关设备
CN113642674A (zh) * 2021-09-03 2021-11-12 贵州电网有限责任公司 一种基于图卷积神经网络的多轮对话分类方法
CN113836928A (zh) * 2021-09-28 2021-12-24 平安科技（深圳）有限公司 文本实体生成方法、装置、设备及存储介质
CN114036298A (zh) * 2021-11-17 2022-02-11 西安理工大学 一种基于图卷积神经网络与词向量的节点分类方法
CN114281986A (zh) * 2021-11-15 2022-04-05 国网吉林省电力有限公司 一种基于自注意力网络的企业文件密点标注方法
CN114283888A (zh) * 2021-12-22 2022-04-05 山东大学 基于分层自注意力机制的差异表达基因预测系统
CN115225731A (zh) * 2022-07-29 2022-10-21 中国人民解放军陆军工程大学 一种基于混合神经网络的在线协议识别方法
CN115690607A (zh) * 2023-01-04 2023-02-03 西湖大学 基于红外遥感和深度学习的降雨反演方法及装置
CN117171343A (zh) * 2023-08-10 2023-12-05 大连交通大学 一种文本分类方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110717047A (zh) * 2019-10-22 2020-01-21 湖南科技大学 一种基于图卷积神经网络的Web服务分类方法
CN110929029A (zh) * 2019-11-04 2020-03-27 中国科学院信息工程研究所 一种基于图卷积神经网络的文本分类方法及系统
CN111259666A (zh) * 2020-01-15 2020-06-09 上海勃池信息技术有限公司 一种结合多头自注意力机制的cnn文本分类方法
CN111274405A (zh) * 2020-02-26 2020-06-12 北京工业大学 一种基于gcn的文本分类方法
CN112000788A (zh) * 2020-08-19 2020-11-27 腾讯云计算(长沙)有限责任公司 一种数据处理方法、装置以及计算机可读存储介质
CN112231562A (zh) * 2020-10-15 2021-01-15 北京工商大学 一种网络谣言识别方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110717047A (zh) * 2019-10-22 2020-01-21 湖南科技大学 一种基于图卷积神经网络的Web服务分类方法
CN110929029A (zh) * 2019-11-04 2020-03-27 中国科学院信息工程研究所 一种基于图卷积神经网络的文本分类方法及系统
CN111259666A (zh) * 2020-01-15 2020-06-09 上海勃池信息技术有限公司 一种结合多头自注意力机制的cnn文本分类方法
CN111274405A (zh) * 2020-02-26 2020-06-12 北京工业大学 一种基于gcn的文本分类方法
CN112000788A (zh) * 2020-08-19 2020-11-27 腾讯云计算(长沙)有限责任公司 一种数据处理方法、装置以及计算机可读存储介质
CN112231562A (zh) * 2020-10-15 2021-01-15 北京工商大学 一种网络谣言识别方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
唐子惠: "《医学人工智能导论》", 31 December 2020 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113535912A (zh) * 2021-05-18 2021-10-22 北京邮电大学 基于图卷积网络和注意力机制的文本关联方法及相关设备
CN113535912B (zh) * 2021-05-18 2023-12-26 北京邮电大学 基于图卷积网络和注意力机制的文本关联方法及相关设备
CN113435478B (zh) * 2021-06-03 2022-07-08 华东师范大学 一种利用图卷积神经网络进行服装样板图分类的方法和系统
CN113435478A (zh) * 2021-06-03 2021-09-24 华东师范大学 一种利用图卷积神经网络进行服装样板图分类的方法和系统
CN113468867A (zh) * 2021-06-04 2021-10-01 淮阴工学院 一种基于Attention机制的参考文献引用合法性预测方法
CN113254648A (zh) * 2021-06-22 2021-08-13 暨南大学 一种基于多层次图池化的文本情感分析方法
CN113642674A (zh) * 2021-09-03 2021-11-12 贵州电网有限责任公司 一种基于图卷积神经网络的多轮对话分类方法
CN113836928A (zh) * 2021-09-28 2021-12-24 平安科技（深圳）有限公司 文本实体生成方法、装置、设备及存储介质
CN113836928B (zh) * 2021-09-28 2024-02-27 平安科技（深圳）有限公司 文本实体生成方法、装置、设备及存储介质
CN114281986A (zh) * 2021-11-15 2022-04-05 国网吉林省电力有限公司 一种基于自注意力网络的企业文件密点标注方法
CN114281986B (zh) * 2021-11-15 2024-03-26 国网吉林省电力有限公司 一种基于自注意力网络的企业文件密点标注方法
CN114036298A (zh) * 2021-11-17 2022-02-11 西安理工大学 一种基于图卷积神经网络与词向量的节点分类方法
CN114036298B (zh) * 2021-11-17 2024-02-02 西安理工大学 一种基于图卷积神经网络与词向量的节点分类方法
CN114283888A (zh) * 2021-12-22 2022-04-05 山东大学 基于分层自注意力机制的差异表达基因预测系统
CN115225731B (zh) * 2022-07-29 2024-03-05 中国人民解放军陆军工程大学 一种基于混合神经网络的在线协议识别方法
CN115225731A (zh) * 2022-07-29 2022-10-21 中国人民解放军陆军工程大学 一种基于混合神经网络的在线协议识别方法
CN115690607A (zh) * 2023-01-04 2023-02-03 西湖大学 基于红外遥感和深度学习的降雨反演方法及装置
CN117171343A (zh) * 2023-08-10 2023-12-05 大连交通大学 一种文本分类方法
CN117171343B (zh) * 2023-08-10 2024-03-19 大连交通大学 一种文本分类方法

Similar Documents

Publication Publication Date Title
CN112765352A (zh) 基于具有自注意力机制的图卷积神经网络文本分类方法
CN109189925B (zh) 基于点互信息的词向量模型和基于cnn的文本分类方法
CN110298037B (zh) 基于增强注意力机制的卷积神经网络匹配的文本识别方法
CN108121975B (zh) 一种联合原始数据和生成数据的人脸识别方法
CN110929029A (zh) 一种基于图卷积神经网络的文本分类方法及系统
CN109308485B (zh) 一种基于字典域适应的迁移稀疏编码图像分类方法
CN107578007A (zh) 一种基于多特征融合的深度学习人脸识别方法
CN113326731A (zh) 一种基于动量网络指导的跨域行人重识别算法
CN112733866A (zh) 一种提高可控图像文本描述正确性的网络构建方法
CN112464004A (zh) 一种多视角深度生成图像聚类方法
CN113204952B (zh) 一种基于聚类预分析的多意图与语义槽联合识别方法
Laaksonen Subspace classifiers in recognition of handwritten digits
Araújo et al. Self-organizing subspace clustering for high-dimensional and multi-view data
CN112163114B (zh) 一种基于特征融合的图像检索方法
CN113222072A (zh) 基于K-means聚类和GAN的肺部X光图像分类方法
Ejbali et al. A dyadic multi-resolution deep convolutional neural wavelet network for image classification
Alalyan et al. Model-based hierarchical clustering for categorical data
CN115392357A (zh) 分类模型训练、标注数据样本抽检方法、介质及电子设备
Shamsabadi et al. A new algorithm for training sparse autoencoders
Xu et al. A novel image feature extraction algorithm based on the fusion AutoEncoder and CNN
CN108388918B (zh) 具有结构保持特性的数据特征选择方法
CN110852304B (zh) 基于深度学习方法的高光谱数据处理方法
CN110288002B (zh) 一种基于稀疏正交神经网络的图像分类方法
Kushwaha et al. Textual data dimensionality reduction-a deep learning approach
CN114036947B (zh) 一种半监督学习的小样本文本分类方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210507