CN116311280B - 基于图注意力网络的电子公文主题标引方法及系统 - Google Patents

基于图注意力网络的电子公文主题标引方法及系统 Download PDF

Info

Publication number
CN116311280B
CN116311280B CN202310552949.1A CN202310552949A CN116311280B CN 116311280 B CN116311280 B CN 116311280B CN 202310552949 A CN202310552949 A CN 202310552949A CN 116311280 B CN116311280 B CN 116311280B
Authority
CN
China
Prior art keywords
embedding
node
characteristic
common
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310552949.1A
Other languages
English (en)
Other versions
CN116311280A (zh
Inventor
杨军
沈博
杨菲
徐勇勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 15 Research Institute
Original Assignee
CETC 15 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 15 Research Institute filed Critical CETC 15 Research Institute
Priority to CN202310552949.1A priority Critical patent/CN116311280B/zh
Publication of CN116311280A publication Critical patent/CN116311280A/zh
Application granted granted Critical
Publication of CN116311280B publication Critical patent/CN116311280B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/18—Extraction of features or characteristics of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/1918—Fusion techniques, i.e. combining data from various sources, e.g. sensor fusion
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种基于图注意力网络的电子公文主题标引方法及系统，属于自然语言处理技术领域，该方法包括：构建包括多个文本的语料库；获取各个文本分别对应的最终文本特征图；构建由所述最终文本特征图的图节点和边集合组成的第一多尺度节点图，根据第一多尺度节点图获取第二多尺度节点图，以及通过所述第二多尺度节点图构建层级拓扑图；获取节点特征嵌入、拓扑特征嵌入以及共同嵌入；获取最终嵌入；通过所述最终嵌入预测语料库中相应文本的主题标签。本申请提供的方法及系统，通过从空间域的不同角度捕获文档的局部和全局关系表示，从而，可从文本中高效提取准确的特征信息；并可提高文本分类与标引的准确性。

Description

基于图注意力网络的电子公文主题标引方法及系统
技术领域
本发明涉及自然语言处理技术领域，尤其涉及一种基于图注意力网络的电子公文主题标引方法及系统。
背景技术
近年来，随着办公自动化的普及和电子政务的发展，各类电子文件的爆发式增长，现代社会已经从信息时代逐步进入到大数据时代。电子公文作为文本数据类型的一种，是政府机关、企事业单位等形成、具有法律效力和规范体式的数字形式的文件。对历年来累积的电子公文按照主题内容进行分类、建立专题数据库是实现电子公文主动利用的一种高效组织方式。但是人工标注公文主题的方式存在劳动量大、速度慢、标引不一致等弊端，无法满足多角度、全方位深度标引的要求，因此，通过公文主题多标签分类及标引技术，实现对网络公文信息资源的有效组织和高效利用是目前政务信息化服务重点解决的问题之一。
得益于人工智能技术的进步和发展，基于深度学习的公文主题多标签分类及标引技术取得了一系列的成果。BP-MLL算法首次将反向传播神经网络模型应用到文本多标签分类标引任务，通过配对排序损失函数优化标签的特征。基于BP-MLL算法，后续工作将原有的排序损失函数替换为常用的交叉熵误差函数，使用全连接神经网络解决文本多标签分类和标引问题。上述算法虽然用神经网络的方法处理多标签分类的任务，但是仍然没有考虑到类别标签之间的相关关系。为解决上述问题，已有工作结合卷积神经网络、循环神经网络捕获标签和标签之间的依赖关系，在捕获语义特征的同时，考虑了标签之间的高阶相关性，基于序列到序列框架、图卷积网络、注意力机制，序列生成、标签消息传递等模型被相继提出，利用更加丰富的语义表示关系实现更加准确的文本分类与标引结果。
基于深度学习的文本多标签分类与标引相较于传统的机器学习方法，能更加有效、全面的提取文本语义特征。但是对于文本多标签分类与标引技术，还存在以下问题：从文本中提取的特征信息不够高效和准确；文本分类与标引的准确性较低。
发明内容
本发明意在提供一种基于图注意力网络的电子公文主题标引方法及系统，以解决现有技术中存在的不足，本发明要解决的技术问题通过以下技术方案来实现。
本发明提供的基于图注意力网络的电子公文主题标引方法，包括：
步骤S1：获取待标引的电子公文，采用Bi-LSTM模型提取电子公文中的主体内容，通过提取的主体内容构建包括多个文本的语料库I，其中， I={Ip|p=1,2,⋯N}，其中Ip表示语料库中的第p个文本，N为语料库中的文本总数；
步骤S2：通过ResNet网络对所述语料库I中各个文本的特征进行提取，获取具有多尺度特征的初始文本特征图，通过设置多个不同的下采样因子，对初始文本特征图进行下采样操作，获取各个文本分别对应的最终文本特征图；
步骤S3：构建由所述最终文本特征图的图节点和边集合组成的第一多尺度节点图，根据所述最终文本特征图中每两个特征之间的成对关系得到与所述第一多尺度节点图相关联的邻接矩阵，获取由所述邻接矩阵与和所述最终文本特征图的每个通道中的节点特征级联表示组成的第二多尺度节点图，并通过所述邻接矩阵获取第二多尺度节点图中图节点特征的集合对应的相邻矩阵，以及通过所述第二多尺度节点图构建层级拓扑图；
步骤S4：通过多层图卷积网络分别对与所述第一多尺度节点图相关联的邻接矩阵和与所述层级拓扑图相关联的邻接矩阵进行非线性变换，获取节点特征嵌入和拓扑特征嵌入，并通过共同权重矩阵获取共同权重对应的节点特征嵌入和共同权重对应的拓扑特征嵌入，以及通过共同权重对应的节点特征嵌入和共同权重对应的拓扑特征嵌入得到节点特征和拓扑特征的共同嵌入；
步骤S5：采用注意力机制为共同权重对应的节点特征嵌入、共同权重对应的拓扑特征嵌入以及共同嵌入分配相应的最优权重，并根据最优权重进行嵌入融合，获取最终嵌入；
步骤S6：通过所述最终嵌入预测语料库中相应文本的主题标签，将预测的对象标签作为语料库中相应文本的主题标引结果。
在上述的方案中，步骤S2包括：
采用ResNet网络的多个统一特征层对所述语料库I中各个文本的特征进行提取，获取具有多尺度特征的初始文本特征图，其中，k为ResNet网络第k个统一特征层， nk表示第 k个统一特征层尺度的分区数，各个统一特征层集合记为；
设置多个不同的下采样因子，采用ResNet网络的卷积层对初始文本特征图进行下采样操作，获取各个文本分别对应的最终文本特征图，其中，/>表示相应文本在第k个统一特征层尺度中的第 i个特征表示，d表示文本的特征向量的维度，nk表示第 k个统一特征层尺度的分区数。
在上述的方案中，所述第一多尺度节点图表示为G(V,E)，其中，为所述最终文本特征图的所有图节点的集合， V(h)表示所述最终文本特征图第h个通道的图节点， m为所述最终文本特征图的总通道数，/>表示所述最终文本特征图中第 h个通道的第i个图节点与第j个图节点构成的边的集合。
在上述的方案中，所述第二多尺度节点图表示为G(A,X)，其中，A为与所述第一多尺度节点图相关联的邻接矩阵，，为所述最终文本特征图中每两个特征之间的成对关系， ϕ(x)=wx和φ(x)=w'x表示采用两种对称变换将原始特征映射到潜在特征空间， w和w'为相应的权重， X为所述最终文本特征图的每个通道中的节点特征级联表示ϕ(x)=wx，，其中，m为所述最终文本特征图的总通道数。
在上述的方案中，步骤S4包括：
通过多层图卷积网络对与所述第一多尺度节点图相关联的邻接矩阵进行非线性变换，并对每层图卷积网络的非线性变换进行连接，获取节点特征嵌入；
通过多层图卷积网络对与所述层级拓扑图相关联的邻接矩阵进行非线性变换，并对每层图卷积网络的非线性变换进行连接，获取拓扑特征嵌入；
对与所述第一多尺度节点图相关联的邻接矩阵和与所述层级拓扑图相关联的邻接矩阵采用共同权重矩阵，重复以上步骤获取共同权重对应的节点特征嵌入和共同权重对应的拓扑特征嵌入；
对共同权重对应的节点特征嵌入和共同权重对应的拓扑特征嵌入进行求均值运算，得到节点特征和拓扑特征的共同嵌入。
在上述的方案中，步骤S5包括：
采用注意力机制自适应学习共同权重对应的节点特征嵌入的注意力系数、共同权重对应的拓扑特征嵌入的注意力系数以及共同嵌入的注意力系数；
通过softmax函数分别对共同权重对应的节点特征嵌入的注意力系数、共同权重对应的拓扑特征嵌入的注意力系数以及共同嵌入的注意力系数进行归一化，获取共同权重对应的节点特征嵌入的最优权重、共同权重对应的拓扑特征嵌入的最优权重和共同嵌入的最优权重；
通过共同权重对应的节点特征嵌入的最优权重、共同权重对应的拓扑特征嵌入的最优权重和共同嵌入的最优权重对所述节点特征嵌入、所述拓扑特征嵌入以及所述共同嵌入进行加权求和，获取最终嵌入。
在上述的方案中，步骤S6包括：
为所述最终嵌入分配相应的权重矩阵以及系数矩阵，计算所述最终嵌入对应的分类预测结果；
计算分类预测结果对应的交叉熵损失；
分别计算共同权重对应的节点特征嵌入的损失、共同权重对应的拓扑特征嵌入的损失以及共同嵌入的损失，对计算结果进行求和，并对求和结果与所述交叉熵损失进行再次求和，获取总损失；
通过对同一文本对应的不同最终嵌入计算获取的总损失进行降序排序，将排序第一的总损失对应的分类预测结果作为语料库中相应文本的主题标签；
将所述对象标签作为语料库中相应文本的主题标引结果。
本发明提供的基于图注意力网络的电子公文主题标引系统，采用如上所述的基于图注意力网络的电子公文主题标引方法进行电子公文主题标引,包括：
语料库构建单元，用于获取待标引的电子公文，采用Bi-LSTM模型提取电子公文中的主体内容，通过提取的主体内容构建包括多个文本的语料库I，其中，I={Ip|p=1,2,⋯N}，其中Ip表示语料库中的第p个文本，N为语料库中的文本总数；
文本特征图获取单元，用于通过ResNet网络对所述语料库I中各个文本的特征进行提取，获取具有多尺度特征的初始文本特征图，通过设置多个不同的下采样因子，对初始文本特征图进行下采样操作，获取各个文本分别对应的最终文本特征图；
属性特征图构建单元，用于构建由所述最终文本特征图的图节点和边集合组成的第一多尺度节点图，根据所述最终文本特征图中每两个特征之间的成对关系得到与所述第一多尺度节点图相关联的邻接矩阵，获取由所述邻接矩阵与和所述最终文本特征图的每个通道中的节点特征级联表示组成的第二多尺度节点图，并通过所述邻接矩阵获取第二多尺度节点图中图节点特征的集合对应的相邻矩阵，以及通过所述第二多尺度节点图构建层级拓扑图；
第一嵌入获取单元，用于通过多层图卷积网络分别对与所述第一多尺度节点图相关联的邻接矩阵和与所述层级拓扑图相关联的邻接矩阵进行非线性变换，获取节点特征嵌入和拓扑特征嵌入，并通过共同权重矩阵获取共同权重对应的节点特征嵌入和共同权重对应的拓扑特征嵌入，以及通过共同权重对应的节点特征嵌入和共同权重对应的拓扑特征嵌入得到节点特征和拓扑特征的共同嵌入；
第二嵌入获取单元，用于采用注意力机制为共同权重对应的节点特征嵌入、共同权重对应的拓扑特征嵌入以及共同嵌入分配相应的最优权重，并根据最优权重进行嵌入融合，获取最终嵌入；
标引结果获取单元，用于通过所述最终嵌入预测语料库中相应文本的主题标签，将预测的对象标签作为语料库中相应文本的主题标引结果。
本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述的基于图注意力网络的电子公文主题标引方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求上任一项所述的基于图注意力网络的电子公文主题标引方法的步骤。
本发明实施例包括以下优点：
本发明实施例提供的基于图注意力网络的电子公文主题标引方法及系统，通过所述语料库 I中各个文本的特征获取具有多尺度特文本特征图，并构建第一多尺度节点图、第二多尺度节点图以及层级拓扑图，从空间域的不同角度捕获文档的局部和全局关系表示，从而，可从文本中高效提取准确的特征信息；采用注意力机制获取最终嵌入，并采用相应损失函数对最终嵌入进行相关运算，获取语料库中相应文本的主题标引结果，从而提高了文本分类与标引的准确性。
附图说明
图1是本发明的一种基于图注意力网络的电子公文主题标引方法的步骤图。
图2是本发明的一种基于图注意力网络的电子公文主题标引方法的流程图。
图3是本发明的获取节点特征嵌入、拓扑特征嵌入和共同嵌入的步骤图。
图4是本发明的获取最终嵌入的步骤图。
图5是本发明的预测语料库中相应文本的主题标签的步骤图。
图6是本发明的一种基于图注意力网络的电子公文主题标引系统的组成示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
如图1和图2所示，本发明提供一种基于图注意力网络的电子公文主题标引方法，包括：
步骤S1：获取待标引的电子公文，采用Bi-LSTM模型提取电子公文中的主体内容，通过提取的主体内容构建包括多个文本的语料库I，其中， I={Ip|p=1,2,⋯N}，其中Ip表示语料库中的第p个文本，N为语料库中的文本总数。
步骤S2：通过ResNet网络对所述语料库I中各个文本的特征进行提取，获取具有多尺度特征的初始文本特征图，通过设置多个不同的下采样因子，对初始文本特征图进行下采样操作，获取各个文本分别对应的最终文本特征图。
具体地，步骤S2包括：
采用ResNet网络的多个统一特征层对所述语料库I中各个文本的特征进行提取，获取具有多尺度特征的初始文本特征，其中，k为ResNet网络第k个统一特征层，nk表示第 k个统一特征层尺度的分区数，各个统一特征层集合记为；
设置多个不同的下采样因子，采用ResNet网络的卷积层对初始文本特征图进行下采样操作，获取各个文本分别对应的最终文本特征图，其中，表示相应文本在第 k个统一特征层尺度中的第 i个特征表示， d表示文本的特征向量的维度，nk表示第 k个统一特征层尺度的分区数。
步骤S3：构建由所述最终文本特征图的图节点和边集合组成的第一多尺度节点图，根据所述最终文本特征图中每两个特征之间的成对关系得到与所述第一多尺度节点图相关联的邻接矩阵，获取由所述邻接矩阵与和所述最终文本特征图的每个通道中的节点特征级联表示组成的第二多尺度节点图，并通过所述邻接矩阵获取第二多尺度节点图中图节点特征的集合对应的相邻矩阵，以及通过所述第二多尺度节点图构建层级拓扑图。
具体地，所述第一多尺度节点图表示为G(V,E)，其中，为所述最终文本特征图的所有图节点的集合， V(h)表示所述最终文本特征图第 h个通道的图节点，m为所述最终文本特征图的总通道数，/>表示所述最终文本特征图中第h个通道的第i个图节点与第j个图节点构成的边的集合。
具体地，所述第二多尺度节点图表示为G(A,X)，其中，A为与所述第一多尺度节点图相关联的邻接矩阵，，/>为所述最终文本特征图中每两个特征
之间的成对关系，ϕ(x)=wx和φ(x)=w'x表示采用两种对称变换将原始特征映射到潜在特征空间， w和w'为相应的权重， X为所述最终文本特征图的每个通道中的节点特征级联表示，，其中，m为所述最终文本特征图的总通道数。
在本实施例中，m为3， w和w'通过反向传播学习图卷积网络获取。
在本实施例中，将第二多尺度节点图G(A,X)上的频谱滤波定义为：在傅里叶域对X的滤波，即/>，其中， U由归一化图拉普拉斯矩阵的特征向量组成，Λ表示包含L的特征值的对角矩阵，D是度矩阵/>，/>表示单位矩阵；进一步地，为降低/>特征向量分解的计算量，对其进行化简得到/>，其中，表示切比雪夫多项式，/>表示缩放拉普拉斯矩阵， rmax是 L的最大特征值；只考虑一阶邻域的情况，对上式进一步化简，得/>，/>、/>表示两个自由参数。为减少参数数量以解决过拟合问题，上式可转换为/>。
进一步地，为提高图学习的鲁棒性，本发明采用重新归一化技术近似图拉普拉斯算子，得到第二多尺度节点图G(A,X)中图节点特征的集合对应的相邻矩阵/>，其中/>表示自循环邻接矩阵，/>是邻接的对角度矩阵。
本实施例中，由于在拓扑空间中，构建层级拓扑图类似于多尺度节点图，令层级拓扑图为Gt=(At, Xt)，满足条件At=A、Xt=X。
步骤S4：通过多层图卷积网络分别对与所述第一多尺度节点图相关联的邻接矩阵和与所述层级拓扑图相关联的邻接矩阵进行非线性变换，获取节点特征嵌入和拓扑特征嵌入，并通过共同权重矩阵获取共同权重对应的节点特征嵌入和共同权重对应的拓扑特征嵌入，以及通过共同权重对应的节点特征嵌入和共同权重对应的拓扑特征嵌入得到节点特征和拓扑特征的共同嵌入。
如图3所示，步骤S4包括：
步骤S41：通过多层图卷积网络对与所述第一多尺度节点图相关联的邻接矩阵进行非线性变换，并对每层图卷积网络的非线性变换进行连接，获取节点特征嵌入；
步骤S42：通过多层图卷积网络对与所述层级拓扑图相关联的邻接矩阵进行非线性变换，并对每层图卷积网络的非线性变换进行连接，获取拓扑特征嵌入；
步骤S43：对与所述第一多尺度节点图相关联的邻接矩阵和与所述层级拓扑图相关联的邻接矩阵采用共同权重矩阵，重复以上步骤获取共同权重对应的节点特征嵌入和共同权重对应的拓扑特征嵌入；
步骤S44：对共同权重对应的节点特征嵌入和共同权重对应的拓扑特征嵌入进行求均值运算，得到节点特征和拓扑特征的共同嵌入。
在本实施例中，先采用多层图卷积网络对与所述第一多尺度节点图相关联的邻接矩阵进行非线性变换进行非线性变换，变换过程为：
表多层图卷积网络的第I
层所有部分的隐藏特征集合，d1表示 多层图卷积网络的第I层的节点特征的维度，表示初始部分特征，/>表示每个图卷积层中要学习的参数矩阵，在每一层进行图卷积运算后，每层图卷积网络的非线性变换进行连接，/>保证多层图卷积网络中变换的有效性核鲁棒性，并得到节点特征嵌入Zf。
在本实施例中，由于在拓扑空间中，构建层级拓扑图类似于多尺度节点图，通过多层图卷积网络对与所述层级拓扑图相关联的邻接矩阵进行非线性变换：，并得到拓扑特征嵌入/>。
在本实施例中，采用从层级拓扑图/>中获得拓扑特征嵌入/>和相应的权重矩阵/>；为便于共同嵌入过程描述，分别用/>、/>代替拓扑特征嵌入/>和相应对的权重矩阵/>，并将共同权重矩阵/>引入到节点特征嵌入获取过程中，其实现过程表示为/> ，/>，表示输出 多层图卷积网络的第 I层的节点特征嵌入；最后，基于上述过程，共同权重矩阵从节点特征和拓扑空间中过滤出节点特征嵌入ZSf和拓扑特征嵌入ZSt，并得到共同嵌入/>。
步骤S5：采用注意力机制为共同权重对应的节点特征嵌入、共同权重对应的拓扑特征嵌入以及共同嵌入分配相应的最优权重，并根据最优权重进行嵌入融合，获取最终嵌入。
如图4所示，步骤S5包括：
步骤S51：采用注意力机制自适应学习共同权重对应的节点特征嵌入的注意力系数、共同权重对应的拓扑特征嵌入的注意力系数以及共同嵌入的注意力系数；
步骤S52：通过softmax函数分别对共同权重对应的节点特征嵌入的注意力系数、共同权重对应的拓扑特征嵌入的注意力系数以及共同嵌入的注意力系数进行归一化，获取共同权重对应的节点特征嵌入的最优权重、共同权重对应的拓扑特征嵌入的最优权重和共同嵌入的最优权重；
步骤S53：通过共同权重对应的节点特征嵌入的最优权重、共同权重对应的拓扑特征嵌入的最优权重和共同嵌入的最优权重对所述节点特征嵌入、所述拓扑特征嵌入以及所述共同嵌入进行加权求和，获取最终嵌入。
在本实施例中，步骤S51可表示为：
，其中，/>表示共同权重对应的节点特征嵌入的注意力系数， ZSf表示节点特征序列、/>表示偏差向量，/>表示变换矩阵，/>表示共同权重对应的节点特征嵌入注意力向量，/>表示共同权重对应的节点特征嵌入；同理，可获取共同权重对应的拓扑特征嵌入的注意力系数/>以及共同嵌入的注意力系数/>。
在本实施例中，步骤S52可表示为：
，/>以及/>，其中，ηSf为共同权重对应的节点特征嵌入的最优权重， ηSt为共同权重对应的拓扑特征嵌入的最优权重，ηS为共同嵌入的最优权重。
在本实施例中，步骤S53可表示为：。
在本实施例中，由于不同节点特征嵌入对应的关联关系不同，同时相互连接的节点对各自都有不同的影响，当节点汇聚的信息较多时应根据其主要性设置较高的权重，为文档的进一步分类提供准确的监督信息，因此，本发明通过引入注意力机制，通过分配不同的嵌入的最优权重实现不同节点的重要性预分配，同时最优权重也能反映多尺度节点图学习过程中语义信息的丰富度，便于进一步提升文本分类的精度。
步骤S6：通过所述最终嵌入预测语料库中相应文本的主题标签，将预测的对象标签作为语料库中相应文本的主题标引结果。
如图5所示，步骤S6包括：
步骤S61：为所述最终嵌入分配相应的权重矩阵以及系数矩阵，计算所述最终嵌入对应的分类预测结果；
步骤S62：计算分类预测结果对应的交叉熵损失；
步骤S63：分别计算共同权重对应的节点特征嵌入的损失、共同权重对应的拓扑特征嵌入的损失以及共同嵌入的损失，对计算结果进行求和，并对求和结果与所述交叉熵损失进行再次求和，获取总损失；
步骤S64：通过对同一文本对应的不同最终嵌入计算获取的总损失进行降序排序，将排序第一的总损失对应的分类预测结果作为语料库中相应文本的主题标签；
步骤S65：将所述对象标签作为语料库中相应文本的主题标引结果。
在本实施例中，步骤S61表示为：
计算所述最终嵌入对应的分类预测结果，其中，
，/>表示某一文本对应的第 q个图节点 Vq属于类别C的概率,Wc为最终嵌入对应的权重矩阵， bc最终嵌入对应的系数矩阵。
在本实施例中，步骤S62表示为。
在本实施例中，步骤S63表示为：采用三元组损失函数 ，其中 P、 K分别表示主题标签的数量和每个类别主题标签的采样特征，得到共同权重对应的节点特征嵌入的损失/>、共同权重对应的拓扑特征嵌入的损失/>以及共同嵌入的损失/>；
获取总损失，其中λ为超参数。
如图6所示，本发明提供一种基于图注意力网络的电子公文主题标引系统，采用如上所述的基于图注意力网络的电子公文主题标引方法进行电子公文主题标引,包括：
语料库构建单元，用于获取待标引的电子公文，采用Bi-LSTM模型提取电子公文中的主体内容，通过提取的主体内容构建包括多个文本的语料库P，其中， I={Ip|p=1,2,⋯N}，其中Ip表示语料库中的第 p个文本，N为语料库中的文本总数；
文本特征图获取单元，用于通过ResNet网络对所述语料库I中各个文本的特征进行提取，获取具有多尺度特征的初始文本特征图，通过设置多个不同的下采样因子，对初始文本特征图进行下采样操作，获取各个文本分别对应的最终文本特征图；
属性特征图构建单元，用于构建由所述最终文本特征图的图节点和边集合组成的第一多尺度节点图，根据所述最终文本特征图中每两个特征之间的成对关系得到与所述第一多尺度节点图相关联的邻接矩阵，获取由所述邻接矩阵与和所述最终文本特征图的每个通道中的节点特征级联表示组成的第二多尺度节点图，并通过所述邻接矩阵获取第二多尺度节点图中图节点特征的集合对应的相邻矩阵，以及通过所述第二多尺度节点图构建层级拓扑图；
第一嵌入获取单元，用于通过多层图卷积网络分别对与所述第一多尺度节点图相关联的邻接矩阵和与所述层级拓扑图相关联的邻接矩阵进行非线性变换，获取节点特征嵌入和拓扑特征嵌入，并通过共同权重矩阵获取共同权重对应的节点特征嵌入和共同权重对应的拓扑特征嵌入，以及通过共同权重对应的节点特征嵌入和共同权重对应的拓扑特征嵌入得到节点特征和拓扑特征的共同嵌入；
第二嵌入获取单元，用于采用注意力机制为共同权重对应的节点特征嵌入、共同权重对应的拓扑特征嵌入以及共同嵌入分配相应的最优权重，并根据最优权重进行嵌入融合，获取最终嵌入；
标引结果获取单元，用于通过所述最终嵌入预测语料库中相应文本的主题标签，将预测的对象标签作为语料库中相应文本的主题标引结果。
进一步地，本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述的基于图注意力网络的电子公文主题标引方法的步骤。
进一步地，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的基于图注意力网络的电子公文主题标引方法的步骤。
应该指出，上述详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语均具有与本申请所属技术领域的普通技术人员的通常理解所相同的含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式。此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，以便这里描述的本申请的实施方式能够以除了在这里图示或描述的那些以外的顺序实施。
此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了便于描述，在这里可以使用空间相对术语，如“在……之上”、“在……上方”、“在……上表面”、“上面的”等，用来描述如在图中所示的一个器件或特征与其他器件或特征的空间位置关系。应当理解的是，空间相对术语旨在包含除了器件在图中所描述的方位之外的在使用或操作中的不同方位。例如，如果附图中的器件被倒置，则描述为“在其他器件或构造上方”或“在其他器件或构造之上”的器件之后将被定位为“在其他器件或构造下方”或“在其他器件或构造之下”。因而，示例性术语“在……上方”可以包括“在……上方”和“在……下方”两种方位。该器件也可以其他不同方式定位，如旋转90度或处于其他方位，并且对这里所使用的空间相对描述作出相应解释。
在上面详细的说明中，参考了附图，附图形成本文的一部分。在附图中，类似的符号典型地确定类似的部件，除非上下文以其他方式指明。在详细的说明书、附图及权利要求书中所描述的图示说明的实施方案不意味是限制性的。在不脱离本文所呈现的主题的精神或范围下，其他实施方案可以被使用，并且可以作其他改变。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于图注意力网络的电子公文主题标引方法，其特征在于，所述方法包括：
步骤S1：获取待标引的电子公文，采用Bi-LSTM模型提取电子公文中的主体内容，通过提取的主体内容构建包括多个文本的语料库I，其中，I={Ip|p=1,2,⋯N}，其中Ip表示语料库中的第p个文本，N为语料库中的文本总数；
步骤S2：通过ResNet网络对所述语料库I中各个文本的特征进行提取，获取具有多尺度特征的初始文本特征图，通过设置多个不同的下采样因子，对初始文本特征图进行下采样操作，获取各个文本分别对应的最终文本特征图；
步骤S3：构建由所述最终文本特征图的图节点和边集合组成的第一多尺度节点图，根据所述最终文本特征图中每两个特征之间的成对关系得到与所述第一多尺度节点图相关联的邻接矩阵，获取由所述邻接矩阵与和所述最终文本特征图的每个通道中的节点特征级联表示组成的第二多尺度节点图，并通过所述邻接矩阵获取第二多尺度节点图中图节点特征的集合对应的相邻矩阵，以及通过所述第二多尺度节点图构建层级拓扑图；
步骤S4：通过多层图卷积网络分别对与所述第一多尺度节点图相关联的邻接矩阵和与所述层级拓扑图相关联的邻接矩阵进行非线性变换，获取节点特征嵌入和拓扑特征嵌入，并通过共同权重矩阵获取共同权重对应的节点特征嵌入和共同权重对应的拓扑特征嵌入，以及通过共同权重对应的节点特征嵌入和共同权重对应的拓扑特征嵌入得到节点特征和拓扑特征的共同嵌入；
步骤S5：采用注意力机制为共同权重对应的节点特征嵌入、共同权重对应的拓扑特征嵌入以及共同嵌入分配相应的最优权重，并根据最优权重进行嵌入融合，获取最终嵌入；
步骤S6：通过所述最终嵌入预测语料库中相应文本的主题标签，将预测的对象标签作为语料库中相应文本的主题标引结果。
2.根据权利要求1所述的基于图注意力网络的电子公文主题标引方法，其特征在于，步骤S2包括：采用ResNet网络的多个统一特征层对所述语料库I中各个文本的特征进行提取，获取具有多尺度特征的初始文本特征图 ，其中，k为ResNet网络第k个统一特征层，nk表示第k个统一特征层尺度的分区数，各个统一特征层集合记为；
设置多个不同的下采样因子，采用ResNet网络的卷积层对初始文本特征图进行下采样操作，获取各个文本分别对应的最终文本特征图，其中，表示相应文本在第k个统一特征层尺度中的第i个特征表示，d表示文本的特征向量的维度，nk表示第k个统一特征层尺度的分区数。
3.根据权利要求1所述的基于图注意力网络的电子公文主题标引方法，其特征在于，所述第一多尺度节点图表示为G(V,E)，其中，为所述最终文本特征图的所有图节点的集合，V(h)表示所述最终文本特征图第h个通道的图节点，m为所述最终文本特征图的总通道数，/>表示所述最终文本特征图中第h个通道的第i个图节点与第j个图节点构成的边的集合。
4.根据权利要求3所述的基于图注意力网络的电子公文主题标引方法，其特征在于，所述第二多尺度节点图表示为G(A,X)，其中，A为与所述第一多尺度节点图相关联的邻接矩阵，，
为所述最终文本特征图中每两个特征之间的成对关系，ϕ(x)=wx和φ(x)=w'表示采用两种对称变换将原始特征映射到潜在特征空间，w和w'为相应的权重，X为所述最终文本特征图的每个通道中的节点特征级联表示，，其中，m为所述最终文本特征图的总通道数。
5.根据权利要求1所述的基于图注意力网络的电子公文主题标引方法，其特征在于，步骤S4包括：
通过多层图卷积网络对与所述第一多尺度节点图相关联的邻接矩阵进行非线性变换，并对每层图卷积网络的非线性变换进行连接，获取节点特征嵌入；
通过多层图卷积网络对与所述层级拓扑图相关联的邻接矩阵进行非线性变换，并对每层图卷积网络的非线性变换进行连接，获取拓扑特征嵌入；
对与所述第一多尺度节点图相关联的邻接矩阵和与所述层级拓扑图相关联的邻接矩阵采用共同权重矩阵，重复以上步骤获取共同权重对应的节点特征嵌入和共同权重对应的拓扑特征嵌入；
对共同权重对应的节点特征嵌入和共同权重对应的拓扑特征嵌入进行求均值运算，得到节点特征和拓扑特征的共同嵌入。
6.根据权利要求1所述的基于图注意力网络的电子公文主题标引方法，其特征在于，步骤S5包括：
采用注意力机制自适应学习共同权重对应的节点特征嵌入的注意力系数、共同权重对应的拓扑特征嵌入的注意力系数以及共同嵌入的注意力系数；
通过softmax函数分别对共同权重对应的节点特征嵌入的注意力系数、共同权重对应的拓扑特征嵌入的注意力系数以及共同嵌入的注意力系数进行归一化，获取共同权重对应的节点特征嵌入的最优权重、共同权重对应的拓扑特征嵌入的最优权重和共同嵌入的最优权重；
通过共同权重对应的节点特征嵌入的最优权重、共同权重对应的拓扑特征嵌入的最优权重和共同嵌入的最优权重对所述节点特征嵌入、所述拓扑特征嵌入以及所述共同嵌入进行加权求和，获取最终嵌入。
7.根据权利要求1所述的基于图注意力网络的电子公文主题标引方法，其特征在于，步骤S6包括：
为所述最终嵌入分配相应的权重矩阵以及系数矩阵，计算所述最终嵌入对应的分类预测结果；
计算分类预测结果对应的交叉熵损失；
分别计算共同权重对应的节点特征嵌入的损失、共同权重对应的拓扑特征嵌入的损失以及共同嵌入的损失，对计算结果进行求和，并对求和结果与所述交叉熵损失进行再次求和，获取总损失；
通过对同一文本对应的不同最终嵌入计算获取的总损失进行降序排序，将排序第一的总损失对应的分类预测结果作为语料库中相应文本的主题标签；
将所述对象标签作为语料库中相应文本的主题标引结果。
8.一种基于图注意力网络的电子公文主题标引系统，采用如权利要求1-7任一项所述的基于图注意力网络的电子公文主题标引方法进行电子公文主题标引,其特征在于，所述系统包括：
语料库构建单元，用于获取待标引的电子公文，采用Bi-LSTM模型提取电子公文中的主体内容，通过提取的主体内容构建包括多个文本的语料库I，其中，I={Ip|p=1,2,⋯N}，其中Ip表示语料库中的第p个文本，N为语料库中的文本总数；
文本特征图获取单元，用于通过ResNet网络对所述语料库I中各个文本的特征进行提取，获取具有多尺度特征的初始文本特征图，通过设置多个不同的下采样因子，对初始文本特征图进行下采样操作，获取各个文本分别对应的最终文本特征图；
属性特征图构建单元，用于构建由所述最终文本特征图的图节点和边集合组成的第一多尺度节点图，根据所述最终文本特征图中每两个特征之间的成对关系得到与所述第一多尺度节点图相关联的邻接矩阵，获取由所述邻接矩阵与和所述最终文本特征图的每个通道中的节点特征级联表示组成的第二多尺度节点图，并通过所述邻接矩阵获取第二多尺度节点图中图节点特征的集合对应的相邻矩阵，以及通过所述第二多尺度节点图构建层级拓扑图；
第一嵌入获取单元，用于通过多层图卷积网络分别对与所述第一多尺度节点图相关联的邻接矩阵和与所述层级拓扑图相关联的邻接矩阵进行非线性变换，获取节点特征嵌入和拓扑特征嵌入，并通过共同权重矩阵获取共同权重对应的节点特征嵌入和共同权重对应的拓扑特征嵌入，以及通过共同权重对应的节点特征嵌入和共同权重对应的拓扑特征嵌入得到节点特征和拓扑特征的共同嵌入；
第二嵌入获取单元，用于采用注意力机制为共同权重对应的节点特征嵌入、共同权重对应的拓扑特征嵌入以及共同嵌入分配相应的最优权重，并根据最优权重进行嵌入融合，获取最终嵌入；
标引结果获取单元，用于通过所述最终嵌入预测语料库中相应文本的主题标签，将预测的对象标签作为语料库中相应文本的主题标引结果。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7任一项所述的基于图注意力网络的电子公文主题标引方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的基于图注意力网络的电子公文主题标引方法的步骤。
CN202310552949.1A 2023-05-17 2023-05-17 基于图注意力网络的电子公文主题标引方法及系统 Active CN116311280B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310552949.1A CN116311280B (zh) 2023-05-17 2023-05-17 基于图注意力网络的电子公文主题标引方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310552949.1A CN116311280B (zh) 2023-05-17 2023-05-17 基于图注意力网络的电子公文主题标引方法及系统

Publications (2)

Publication Number Publication Date
CN116311280A CN116311280A (zh) 2023-06-23
CN116311280B true CN116311280B (zh) 2023-07-18

Family

ID=86794484

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310552949.1A Active CN116311280B (zh) 2023-05-17 2023-05-17 基于图注意力网络的电子公文主题标引方法及系统

Country Status (1)

Country Link
CN (1) CN116311280B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112487143A (zh) * 2020-11-30 2021-03-12 重庆邮电大学 一种基于舆情大数据分析的多标签文本分类方法
CN112699234A (zh) * 2020-12-08 2021-04-23 上海深杳智能科技有限公司 一种通用文档识别方法、系统、终端及存储介质
CN115827865A (zh) * 2022-12-06 2023-03-21 厦门市美亚柏科信息股份有限公司 一种融合多特征图注意力机制的不良文本分类方法及系统
CN115879473A (zh) * 2022-12-26 2023-03-31 淮阴工学院 基于改进图注意力网络的中文医疗命名实体识别方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112926372B (zh) * 2020-08-22 2023-03-10 清华大学 基于序列变形的场景文字检测方法及系统
CN113254648B (zh) * 2021-06-22 2021-10-22 暨南大学 一种基于多层次图池化的文本情感分析方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112487143A (zh) * 2020-11-30 2021-03-12 重庆邮电大学 一种基于舆情大数据分析的多标签文本分类方法
CN112699234A (zh) * 2020-12-08 2021-04-23 上海深杳智能科技有限公司 一种通用文档识别方法、系统、终端及存储介质
CN115827865A (zh) * 2022-12-06 2023-03-21 厦门市美亚柏科信息股份有限公司 一种融合多特征图注意力机制的不良文本分类方法及系统
CN115879473A (zh) * 2022-12-26 2023-03-31 淮阴工学院 基于改进图注意力网络的中文医疗命名实体识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Modified Prototypical Networks for Few-Shot Text Classification Based on Class-Covariance Metric and Attention;Jun Yang等;《2021 6th IEEE international conference on advanced robotics and mechatronics(ICARM)》);全文 *
Multi-label text classification using attention-based graph neural network;Ankit Pal等;《https://arxiv.org/abs/2003.11644》;全文 *
基于图注意力网络的因果关系抽取;许晶航等;《计算机研究与发展》(01);全文 *

Also Published As

Publication number Publication date
CN116311280A (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
CN110059181B (zh) 面向大规模分类体系的短文本标签方法、系统、装置
WO2023087558A1 (zh) 基于嵌入平滑图神经网络的小样本遥感图像场景分类方法
Corchado et al. Ibr retrieval method based on topology preserving mappings
CN110516095B (zh) 基于语义迁移的弱监督深度哈希社交图像检索方法和系统
CN109993100B (zh) 基于深层特征聚类的人脸表情识别的实现方法
CN113361664B (zh) 一种基于量子卷积神经网络的图像识别系统及方法
CN112784918B (zh) 基于无监督图表示学习的节点识别方法、系统、装置
CN110993037A (zh) 一种基于多视图分类模型的蛋白质活性预测装置
CN107205016A (zh) 物联网设备的检索方法
CN111475622A (zh) 一种文本分类方法、装置、终端及存储介质
CN111581368A (zh) 一种基于卷积神经网络的面向智能专家推荐的用户画像方法
Yahia et al. A new approach for evaluation of data mining techniques
CN112465226B (zh) 一种基于特征交互和图神经网络的用户行为预测方法
CN111582506A (zh) 基于全局和局部标记关系的偏多标记学习方法
CN109558882B (zh) 基于鲁棒局部低秩稀疏cnn特征的图像分类方法及装置
CN112069825B (zh) 面向警情笔录数据的实体关系联合抽取方法
CN116311280B (zh) 基于图注意力网络的电子公文主题标引方法及系统
CN115801152A (zh) 基于层次化transformer模型的WiFi动作识别方法
Xu et al. Deep convolutional neural networks for feature extraction of images generated from complex networks topologies
CN111768214A (zh) 产品属性的预测方法、系统、设备和存储介质
CN114373224A (zh) 基于自监督学习的模糊3d骨架动作识别方法及装置
Yang et al. Geographical feature classification from text using (active) convolutional neural networks
Prakash et al. Flower Detection Using Advanced Deep Learning Techniques
Tsukada et al. Evolving deep neural networks for x-ray based detection of dangerous objects
Yuan Multidimensional Sensor Data Fusion Processing System Based on Big Data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant