CN116311280A - 基于图注意力网络的电子公文主题标引方法及系统 - Google Patents

基于图注意力网络的电子公文主题标引方法及系统 Download PDF

Info

Publication number
CN116311280A
CN116311280A CN202310552949.1A CN202310552949A CN116311280A CN 116311280 A CN116311280 A CN 116311280A CN 202310552949 A CN202310552949 A CN 202310552949A CN 116311280 A CN116311280 A CN 116311280A
Authority
CN
China
Prior art keywords
embedding
node
characteristic
common
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310552949.1A
Other languages
English (en)
Other versions
CN116311280B (zh
Inventor
杨军
沈博
杨菲
徐勇勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 15 Research Institute
Original Assignee
CETC 15 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 15 Research Institute filed Critical CETC 15 Research Institute
Priority to CN202310552949.1A priority Critical patent/CN116311280B/zh
Publication of CN116311280A publication Critical patent/CN116311280A/zh
Application granted granted Critical
Publication of CN116311280B publication Critical patent/CN116311280B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/18—Extraction of features or characteristics of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/1918—Fusion techniques, i.e. combining data from various sources, e.g. sensor fusion
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种基于图注意力网络的电子公文主题标引方法及系统，属于自然语言处理技术领域，该方法包括：构建包括多个文本的语料库；获取各个文本分别对应的最终文本特征图；构建由所述最终文本特征图的图节点和边集合组成的第一多尺度节点图，根据第一多尺度节点图获取第二多尺度节点图，以及通过所述第二多尺度节点图构建层级拓扑图；获取节点特征嵌入、拓扑特征嵌入以及共同嵌入；获取最终嵌入；通过所述最终嵌入预测语料库中相应文本的主题标签。本申请提供的方法及系统，通过从空间域的不同角度捕获文档的局部和全局关系表示，从而，可从文本中高效提取准确的特征信息；并可提高文本分类与标引的准确性。

Description

基于图注意力网络的电子公文主题标引方法及系统
技术领域
本发明涉及自然语言处理技术领域，尤其涉及一种基于图注意力网络的电子公文主题标引方法及系统。
背景技术
近年来，随着办公自动化的普及和电子政务的发展，各类电子文件的爆发式增长，现代社会已经从信息时代逐步进入到大数据时代。电子公文作为文本数据类型的一种，是政府机关、企事业单位等形成、具有法律效力和规范体式的数字形式的文件。对历年来累积的电子公文按照主题内容进行分类、建立专题数据库是实现电子公文主动利用的一种高效组织方式。但是人工标注公文主题的方式存在劳动量大、速度慢、标引不一致等弊端，无法满足多角度、全方位深度标引的要求，因此，通过公文主题多标签分类及标引技术，实现对网络公文信息资源的有效组织和高效利用是目前政务信息化服务重点解决的问题之一。
得益于人工智能技术的进步和发展，基于深度学习的公文主题多标签分类及标引技术取得了一系列的成果。BP-MLL算法首次将反向传播神经网络模型应用到文本多标签分类标引任务，通过配对排序损失函数优化标签的特征。基于BP-MLL算法，后续工作将原有的排序损失函数替换为常用的交叉熵误差函数，使用全连接神经网络解决文本多标签分类和标引问题。上述算法虽然用神经网络的方法处理多标签分类的任务，但是仍然没有考虑到类别标签之间的相关关系。为解决上述问题，已有工作结合卷积神经网络、循环神经网络捕获标签和标签之间的依赖关系，在捕获语义特征的同时，考虑了标签之间的高阶相关性，基于序列到序列框架、图卷积网络、注意力机制，序列生成、标签消息传递等模型被相继提出，利用更加丰富的语义表示关系实现更加准确的文本分类与标引结果。
基于深度学习的文本多标签分类与标引相较于传统的机器学习方法，能更加有效、全面的提取文本语义特征。但是对于文本多标签分类与标引技术，还存在以下问题：从文本中提取的特征信息不够高效和准确；文本分类与标引的准确性较低。
发明内容
本发明意在提供一种基于图注意力网络的电子公文主题标引方法及系统，以解决现有技术中存在的不足，本发明要解决的技术问题通过以下技术方案来实现。
本发明提供的基于图注意力网络的电子公文主题标引方法，包括：
步骤S1：获取待标引的电子公文，采用Bi-LSTM模型提取电子公文中的主体内容，通过提取的主体内容构建包括多个文本的语料库I，其中， I={Ip|p=1,2,⋯N}，其中Ip表示语料库中的第p个文本，N为语料库中的文本总数；
步骤S2：通过ResNet网络对所述语料库I中各个文本的特征进行提取，获取具有多尺度特征的初始文本特征图，通过设置多个不同的下采样因子，对初始文本特征图进行下采样操作，获取各个文本分别对应的最终文本特征图；
步骤S3：构建由所述最终文本特征图的图节点和边集合组成的第一多尺度节点图，根据所述最终文本特征图中每两个特征之间的成对关系得到与所述第一多尺度节点图相关联的邻接矩阵，获取由所述邻接矩阵与和所述最终文本特征图的每个通道中的节点特征级联表示组成的第二多尺度节点图，并通过所述邻接矩阵获取第二多尺度节点图中图节点特征的集合对应的相邻矩阵，以及通过所述第二多尺度节点图构建层级拓扑图；
步骤S4：通过多层图卷积网络分别对与所述第一多尺度节点图相关联的邻接矩阵和与所述层级拓扑图相关联的邻接矩阵进行非线性变换，获取节点特征嵌入和拓扑特征嵌入，并通过共同权重矩阵获取共同权重对应的节点特征嵌入和共同权重对应的拓扑特征嵌入，以及通过共同权重对应的节点特征嵌入和共同权重对应的拓扑特征嵌入得到节点特征和拓扑特征的共同嵌入；
步骤S5：采用注意力机制为共同权重对应的节点特征嵌入、共同权重对应的拓扑特征嵌入以及共同嵌入分配相应的最优权重，并根据最优权重进行嵌入融合，获取最终嵌入；
步骤S6：通过所述最终嵌入预测语料库中相应文本的主题标签，将预测的对象标签作为语料库中相应文本的主题标引结果。
在上述的方案中，步骤S2包括：
采用ResNet网络的多个统一特征层对所述语料库I中各个文本的特征进行提取，获取具有多尺度特征的初始文本特征图
Figure SMS_1
，其中，k为ResNet网络第k个统一特征层， nk表示第 k个统一特征层尺度的分区数，各个统一特征层集合记为
Figure SMS_2
；
设置多个不同的下采样因子，采用ResNet网络的卷积层对初始文本特征图进行下采样操作，获取各个文本分别对应的最终文本特征图
Figure SMS_3
，其中，
Figure SMS_4
表示相应文本在第k个统一特征层尺度中的第 i个特征表示，d表示文本的特征向量的维度，nk表示第 k个统一特征层尺度的分区数。
在上述的方案中，所述第一多尺度节点图表示为G(V,E)，其中，
Figure SMS_5
为所述最终文本特征图的所有图节点的集合， V(h)表示所述最终文本特征图第h个通道的图节点， m为所述最终文本特征图的总通道数，/>
Figure SMS_6
表示所述最终文本特征图中第 h个通道的第i个图节点与第j个图节点构成的边的集合。
在上述的方案中，所述第二多尺度节点图表示为G(A,X)，其中，A为与所述第一多尺度节点图相关联的邻接矩阵，
Figure SMS_7
，/>
Figure SMS_8
为所述最终文本特征图中每两个特征之间的成对关系， ϕ(x)=wx和φ(x)=w'x表示采用两种对称变换将原始特征映射到潜在特征空间， w和w'为相应的权重， X为所述最终文本特征图的每个通道中的节点特征级联表示ϕ(x)=wx，/>
Figure SMS_9
，其中，m为所述最终文本特征图的总通道数。
在上述的方案中，步骤S4包括：
通过多层图卷积网络对与所述第一多尺度节点图相关联的邻接矩阵进行非线性变换，并对每层图卷积网络的非线性变换进行连接，获取节点特征嵌入；
通过多层图卷积网络对与所述层级拓扑图相关联的邻接矩阵进行非线性变换，并对每层图卷积网络的非线性变换进行连接，获取拓扑特征嵌入；
对与所述第一多尺度节点图相关联的邻接矩阵和与所述层级拓扑图相关联的邻接矩阵采用共同权重矩阵，重复以上步骤获取共同权重对应的节点特征嵌入和共同权重对应的拓扑特征嵌入；
对共同权重对应的节点特征嵌入和共同权重对应的拓扑特征嵌入进行求均值运算，得到节点特征和拓扑特征的共同嵌入。
在上述的方案中，步骤S5包括：
采用注意力机制自适应学习共同权重对应的节点特征嵌入的注意力系数、共同权重对应的拓扑特征嵌入的注意力系数以及共同嵌入的注意力系数；
通过softmax函数分别对共同权重对应的节点特征嵌入的注意力系数、共同权重对应的拓扑特征嵌入的注意力系数以及共同嵌入的注意力系数进行归一化，获取共同权重对应的节点特征嵌入的最优权重、共同权重对应的拓扑特征嵌入的最优权重和共同嵌入的最优权重；
通过共同权重对应的节点特征嵌入的最优权重、共同权重对应的拓扑特征嵌入的最优权重和共同嵌入的最优权重对所述节点特征嵌入、所述拓扑特征嵌入以及所述共同嵌入进行加权求和，获取最终嵌入。
在上述的方案中，步骤S6包括：
为所述最终嵌入分配相应的权重矩阵以及系数矩阵，计算所述最终嵌入对应的分类预测结果；
计算分类预测结果对应的交叉熵损失；
分别计算共同权重对应的节点特征嵌入的损失、共同权重对应的拓扑特征嵌入的损失以及共同嵌入的损失，对计算结果进行求和，并对求和结果与所述交叉熵损失进行再次求和，获取总损失；
通过对同一文本对应的不同最终嵌入计算获取的总损失进行降序排序，将排序第一的总损失对应的分类预测结果作为语料库中相应文本的主题标签；
将所述对象标签作为语料库中相应文本的主题标引结果。
本发明提供的基于图注意力网络的电子公文主题标引系统，采用如上所述的基于图注意力网络的电子公文主题标引方法进行电子公文主题标引,包括：
语料库构建单元，用于获取待标引的电子公文，采用Bi-LSTM模型提取电子公文中的主体内容，通过提取的主体内容构建包括多个文本的语料库I，其中，I={Ip|p=1,2,⋯N}，其中Ip表示语料库中的第p个文本，N为语料库中的文本总数；
文本特征图获取单元，用于通过ResNet网络对所述语料库I中各个文本的特征进行提取，获取具有多尺度特征的初始文本特征图，通过设置多个不同的下采样因子，对初始文本特征图进行下采样操作，获取各个文本分别对应的最终文本特征图；
属性特征图构建单元，用于构建由所述最终文本特征图的图节点和边集合组成的第一多尺度节点图，根据所述最终文本特征图中每两个特征之间的成对关系得到与所述第一多尺度节点图相关联的邻接矩阵，获取由所述邻接矩阵与和所述最终文本特征图的每个通道中的节点特征级联表示组成的第二多尺度节点图，并通过所述邻接矩阵获取第二多尺度节点图中图节点特征的集合对应的相邻矩阵，以及通过所述第二多尺度节点图构建层级拓扑图；
第一嵌入获取单元，用于通过多层图卷积网络分别对与所述第一多尺度节点图相关联的邻接矩阵和与所述层级拓扑图相关联的邻接矩阵进行非线性变换，获取节点特征嵌入和拓扑特征嵌入，并通过共同权重矩阵获取共同权重对应的节点特征嵌入和共同权重对应的拓扑特征嵌入，以及通过共同权重对应的节点特征嵌入和共同权重对应的拓扑特征嵌入得到节点特征和拓扑特征的共同嵌入；
第二嵌入获取单元，用于采用注意力机制为共同权重对应的节点特征嵌入、共同权重对应的拓扑特征嵌入以及共同嵌入分配相应的最优权重，并根据最优权重进行嵌入融合，获取最终嵌入；
标引结果获取单元，用于通过所述最终嵌入预测语料库中相应文本的主题标签，将预测的对象标签作为语料库中相应文本的主题标引结果。
本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述的基于图注意力网络的电子公文主题标引方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求上任一项所述的基于图注意力网络的电子公文主题标引方法的步骤。
本发明实施例包括以下优点：
本发明实施例提供的基于图注意力网络的电子公文主题标引方法及系统，通过所述语料库 I中各个文本的特征获取具有多尺度特文本特征图，并构建第一多尺度节点图、第二多尺度节点图以及层级拓扑图，从空间域的不同角度捕获文档的局部和全局关系表示，从而，可从文本中高效提取准确的特征信息；采用注意力机制获取最终嵌入，并采用相应损失函数对最终嵌入进行相关运算，获取语料库中相应文本的主题标引结果，从而提高了文本分类与标引的准确性。
附图说明
图1是本发明的一种基于图注意力网络的电子公文主题标引方法的步骤图。
图2是本发明的一种基于图注意力网络的电子公文主题标引方法的流程图。
图3是本发明的获取节点特征嵌入、拓扑特征嵌入和共同嵌入的步骤图。
图4是本发明的获取最终嵌入的步骤图。
图5是本发明的预测语料库中相应文本的主题标签的步骤图。
图6是本发明的一种基于图注意力网络的电子公文主题标引系统的组成示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
如图1和图2所示，本发明提供一种基于图注意力网络的电子公文主题标引方法，包括：
步骤S1：获取待标引的电子公文，采用Bi-LSTM模型提取电子公文中的主体内容，通过提取的主体内容构建包括多个文本的语料库I，其中， I={Ip|p=1,2,⋯N}，其中Ip表示语料库中的第p个文本，N为语料库中的文本总数。
步骤S2：通过ResNet网络对所述语料库I中各个文本的特征进行提取，获取具有多尺度特征的初始文本特征图，通过设置多个不同的下采样因子，对初始文本特征图进行下采样操作，获取各个文本分别对应的最终文本特征图。
具体地，步骤S2包括：
采用ResNet网络的多个统一特征层对所述语料库I中各个文本的特征进行提取，获取具有多尺度特征的初始文本特征
Figure SMS_10
，其中，k为ResNet网络第k个统一特征层，nk表示第 k个统一特征层尺度的分区数，各个统一特征层集合记为
Figure SMS_11
；
设置多个不同的下采样因子，采用ResNet网络的卷积层对初始文本特征图进行下采样操作，获取各个文本分别对应的最终文本特征图
Figure SMS_12
，其中，/>
Figure SMS_13
表示相应文本在第 k个统一特征层尺度中的第 i个特征表示， d表示文本的特征向量的维度，nk表示第 k个统一特征层尺度的分区数。
步骤S3：构建由所述最终文本特征图的图节点和边集合组成的第一多尺度节点图，根据所述最终文本特征图中每两个特征之间的成对关系得到与所述第一多尺度节点图相关联的邻接矩阵，获取由所述邻接矩阵与和所述最终文本特征图的每个通道中的节点特征级联表示组成的第二多尺度节点图，并通过所述邻接矩阵获取第二多尺度节点图中图节点特征的集合对应的相邻矩阵，以及通过所述第二多尺度节点图构建层级拓扑图。
具体地，所述第一多尺度节点图表示为G(V,E)，其中，
Figure SMS_14
为所述最终文本特征图的所有图节点的集合， V(h)表示所述最终文本特征图第 h个通道的图节点，m为所述最终文本特征图的总通道数，/>
Figure SMS_15
表示所述最终文本特征图中第h个通道的第i个图节点与第j个图节点构成的边的集合。
具体地，所述第二多尺度节点图表示为G(A,X)，其中，A为与所述第一多尺度节点图相关联的邻接矩阵，
Figure SMS_16
，/>
Figure SMS_17
为所述最终文本特征图中每两个特征
之间的成对关系，ϕ(x)=wx和φ(x)=w'x表示采用两种对称变换将原始特征映射到潜在特征空间， w和w'为相应的权重， X为所述最终文本特征图的每个通道中的节点特征级联表示，
Figure SMS_18
，其中，m为所述最终文本特征图的总通道数。
在本实施例中，m为3， w和w'通过反向传播学习图卷积网络获取。
在本实施例中，将第二多尺度节点图G(A,X)上的频谱滤波定义为：
Figure SMS_25
在傅里叶域对X的滤波，即/>
Figure SMS_26
，其中， U由归一化图拉普拉斯矩阵
Figure SMS_27
的特征向量组成，Λ表示包含L的特征值的对角矩阵，D是度矩阵/>
Figure SMS_28
，/>
Figure SMS_29
表示单位矩阵；进一步地，为降低/>
Figure SMS_30
特征向量分解的计算量，对其进行化简得到/>
Figure SMS_31
，其中，
Figure SMS_19
表示切比雪夫多项式，/>
Figure SMS_20
表示缩放拉普拉斯矩阵， rmax是 L的最大特征值；只考虑一阶邻域的情况，对上式进一步化简，得
Figure SMS_21
，/>
Figure SMS_22
、/>
Figure SMS_23
表示两个自由参数。为减少参数数量以解决过拟合问题，上式可转换为/>
Figure SMS_24
。
进一步地，为提高图学习的鲁棒性，本发明采用重新归一化技术近似图拉普拉斯算子
Figure SMS_32
，得到第二多尺度节点图G(A,X)中图节点特征的集合对应的相邻矩阵/>
Figure SMS_33
，其中/>
Figure SMS_34
表示自循环邻接矩阵，/>
Figure SMS_35
是邻接的对角度矩阵。
本实施例中，由于在拓扑空间中，构建层级拓扑图类似于多尺度节点图，令层级拓扑图为Gt=(At, Xt)，满足条件At=A、Xt=X。
步骤S4：通过多层图卷积网络分别对与所述第一多尺度节点图相关联的邻接矩阵和与所述层级拓扑图相关联的邻接矩阵进行非线性变换，获取节点特征嵌入和拓扑特征嵌入，并通过共同权重矩阵获取共同权重对应的节点特征嵌入和共同权重对应的拓扑特征嵌入，以及通过共同权重对应的节点特征嵌入和共同权重对应的拓扑特征嵌入得到节点特征和拓扑特征的共同嵌入。
如图3所示，步骤S4包括：
步骤S41：通过多层图卷积网络对与所述第一多尺度节点图相关联的邻接矩阵进行非线性变换，并对每层图卷积网络的非线性变换进行连接，获取节点特征嵌入；
步骤S42：通过多层图卷积网络对与所述层级拓扑图相关联的邻接矩阵进行非线性变换，并对每层图卷积网络的非线性变换进行连接，获取拓扑特征嵌入；
步骤S43：对与所述第一多尺度节点图相关联的邻接矩阵和与所述层级拓扑图相关联的邻接矩阵采用共同权重矩阵，重复以上步骤获取共同权重对应的节点特征嵌入和共同权重对应的拓扑特征嵌入；
步骤S44：对共同权重对应的节点特征嵌入和共同权重对应的拓扑特征嵌入进行求均值运算，得到节点特征和拓扑特征的共同嵌入。
在本实施例中，先采用多层图卷积网络对与所述第一多尺度节点图相关联的邻接矩阵进行非线性变换进行非线性变换，变换过程为：
Figure SMS_36
表多层图卷积网络的第I
层所有部分的隐藏特征集合，d1表示 多层图卷积网络的第I层的节点特征的维度，
Figure SMS_37
表示初始部分特征，/>
Figure SMS_38
表示每个图卷积层中要学习的参数矩阵，在每一层进行图卷积运算后，每层图卷积网络的非线性变换进行连接，/>
Figure SMS_39
保证多层图卷积网络中变换的有效性核鲁棒性，并得到节点特征嵌入Zf。
在本实施例中，由于在拓扑空间中，构建层级拓扑图类似于多尺度节点图，通过多层图卷积网络对与所述层级拓扑图相关联的邻接矩阵进行非线性变换：
Figure SMS_40
，并得到拓扑特征嵌入/>
Figure SMS_41
。
在本实施例中，采用
Figure SMS_49
从层级拓扑图
Figure SMS_50
中获得拓扑特征嵌入/>
Figure SMS_51
和相应的权重矩阵/>
Figure SMS_52
；为便于共同嵌入过程描述，分别用/>
Figure SMS_53
、/>
Figure SMS_54
代替拓扑特征嵌入/>
Figure SMS_55
和相应对的权重矩阵/>
Figure SMS_42
，并将共同权重矩阵/>
Figure SMS_43
引入到节点特征嵌入获取过程中，其实现过程表示为/>
Figure SMS_44
Figure SMS_45
，/>
Figure SMS_46
，/>
Figure SMS_47
表示输出 多层图卷积网络的第 I层的节点特征嵌入；最后，基于上述过程，共同权重矩阵从节点特征和拓扑空间中过滤出节点特征嵌入ZSf和拓扑特征嵌入ZSt，并得到共同嵌入
Figure SMS_48
。
步骤S5：采用注意力机制为共同权重对应的节点特征嵌入、共同权重对应的拓扑特征嵌入以及共同嵌入分配相应的最优权重，并根据最优权重进行嵌入融合，获取最终嵌入。
如图4所示，步骤S5包括：
步骤S51：采用注意力机制自适应学习共同权重对应的节点特征嵌入的注意力系数、共同权重对应的拓扑特征嵌入的注意力系数以及共同嵌入的注意力系数；
步骤S52：通过softmax函数分别对共同权重对应的节点特征嵌入的注意力系数、共同权重对应的拓扑特征嵌入的注意力系数以及共同嵌入的注意力系数进行归一化，获取共同权重对应的节点特征嵌入的最优权重、共同权重对应的拓扑特征嵌入的最优权重和共同嵌入的最优权重；
步骤S53：通过共同权重对应的节点特征嵌入的最优权重、共同权重对应的拓扑特征嵌入的最优权重和共同嵌入的最优权重对所述节点特征嵌入、所述拓扑特征嵌入以及所述共同嵌入进行加权求和，获取最终嵌入。
在本实施例中，步骤S51可表示为：
Figure SMS_57
，其中，/>
Figure SMS_58
表示共同权重对应的节点特征嵌入的注意力系数， ZSf表示节点特征序列、/>
Figure SMS_59
表示偏差向量，/>
Figure SMS_60
表示变换矩阵，/>
Figure SMS_61
表示共同权重对应的节点特征嵌入注意力向量，/>
Figure SMS_62
表示共同权重对应的节点特征嵌入；同理，可获取共同权重对应的拓扑特征嵌入的注意力系数/>
Figure SMS_63
以及共同嵌入的注意力系数/>
Figure SMS_56
。
在本实施例中，步骤S52可表示为：
Figure SMS_64
，/>
Figure SMS_65
以及/>
Figure SMS_66
，其中，ηSf为共同权重对应的节点特征嵌入的最优权重， ηSt为共同权重对应的拓扑特征嵌入的最优权重，ηS为共同嵌入的最优权重。
在本实施例中，步骤S53可表示为：
Figure SMS_67
。
在本实施例中，由于不同节点特征嵌入对应的关联关系不同，同时相互连接的节点对各自都有不同的影响，当节点汇聚的信息较多时应根据其主要性设置较高的权重，为文档的进一步分类提供准确的监督信息，因此，本发明通过引入注意力机制，通过分配不同的嵌入的最优权重实现不同节点的重要性预分配，同时最优权重也能反映多尺度节点图学习过程中语义信息的丰富度，便于进一步提升文本分类的精度。
步骤S6：通过所述最终嵌入预测语料库中相应文本的主题标签，将预测的对象标签作为语料库中相应文本的主题标引结果。
如图5所示，步骤S6包括：
步骤S61：为所述最终嵌入分配相应的权重矩阵以及系数矩阵，计算所述最终嵌入对应的分类预测结果；
步骤S62：计算分类预测结果对应的交叉熵损失；
步骤S63：分别计算共同权重对应的节点特征嵌入的损失、共同权重对应的拓扑特征嵌入的损失以及共同嵌入的损失，对计算结果进行求和，并对求和结果与所述交叉熵损失进行再次求和，获取总损失；
步骤S64：通过对同一文本对应的不同最终嵌入计算获取的总损失进行降序排序，将排序第一的总损失对应的分类预测结果作为语料库中相应文本的主题标签；
步骤S65：将所述对象标签作为语料库中相应文本的主题标引结果。
在本实施例中，步骤S61表示为：
计算所述最终嵌入对应的分类预测结果
Figure SMS_68
，其中，
Figure SMS_69
，/>
Figure SMS_70
表示某一文本对应的第 q个图节点 Vq属于类别C的概率, Wc为最终嵌入对应的权重矩阵， bc最终嵌入对应的系数矩阵。
在本实施例中，步骤S62表示为
Figure SMS_71
。
在本实施例中，步骤S63表示为：采用三元组损失函数
Figure SMS_72
Figure SMS_73
，其中 P、 K分别表示主题标签的数量和每个类别主题标签的采样特征，得到共同权重对应的节点特征嵌入的损失/>
Figure SMS_74
、共同权重对应的拓扑特征嵌入的损失/>
Figure SMS_75
以及共同嵌入的损失/>
Figure SMS_76
；
获取总损失
Figure SMS_77
，其中λ为超参数。
如图6所示，本发明提供一种基于图注意力网络的电子公文主题标引系统，采用如上所述的基于图注意力网络的电子公文主题标引方法进行电子公文主题标引,包括：
语料库构建单元，用于获取待标引的电子公文，采用Bi-LSTM模型提取电子公文中的主体内容，通过提取的主体内容构建包括多个文本的语料库P，其中， I={Ip|p=1,2,⋯N}，其中Ip表示语料库中的第 p个文本，N为语料库中的文本总数；
文本特征图获取单元，用于通过ResNet网络对所述语料库I中各个文本的特征进行提取，获取具有多尺度特征的初始文本特征图，通过设置多个不同的下采样因子，对初始文本特征图进行下采样操作，获取各个文本分别对应的最终文本特征图；
属性特征图构建单元，用于构建由所述最终文本特征图的图节点和边集合组成的第一多尺度节点图，根据所述最终文本特征图中每两个特征之间的成对关系得到与所述第一多尺度节点图相关联的邻接矩阵，获取由所述邻接矩阵与和所述最终文本特征图的每个通道中的节点特征级联表示组成的第二多尺度节点图，并通过所述邻接矩阵获取第二多尺度节点图中图节点特征的集合对应的相邻矩阵，以及通过所述第二多尺度节点图构建层级拓扑图；
第一嵌入获取单元，用于通过多层图卷积网络分别对与所述第一多尺度节点图相关联的邻接矩阵和与所述层级拓扑图相关联的邻接矩阵进行非线性变换，获取节点特征嵌入和拓扑特征嵌入，并通过共同权重矩阵获取共同权重对应的节点特征嵌入和共同权重对应的拓扑特征嵌入，以及通过共同权重对应的节点特征嵌入和共同权重对应的拓扑特征嵌入得到节点特征和拓扑特征的共同嵌入；
第二嵌入获取单元，用于采用注意力机制为共同权重对应的节点特征嵌入、共同权重对应的拓扑特征嵌入以及共同嵌入分配相应的最优权重，并根据最优权重进行嵌入融合，获取最终嵌入；
标引结果获取单元，用于通过所述最终嵌入预测语料库中相应文本的主题标签，将预测的对象标签作为语料库中相应文本的主题标引结果。
进一步地，本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述的基于图注意力网络的电子公文主题标引方法的步骤。
进一步地，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的基于图注意力网络的电子公文主题标引方法的步骤。
应该指出，上述详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语均具有与本申请所属技术领域的普通技术人员的通常理解所相同的含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式。此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，以便这里描述的本申请的实施方式能够以除了在这里图示或描述的那些以外的顺序实施。
此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了便于描述，在这里可以使用空间相对术语，如“在……之上”、“在……上方”、“在……上表面”、“上面的”等，用来描述如在图中所示的一个器件或特征与其他器件或特征的空间位置关系。应当理解的是，空间相对术语旨在包含除了器件在图中所描述的方位之外的在使用或操作中的不同方位。例如，如果附图中的器件被倒置，则描述为“在其他器件或构造上方”或“在其他器件或构造之上”的器件之后将被定位为“在其他器件或构造下方”或“在其他器件或构造之下”。因而，示例性术语“在……上方”可以包括“在……上方”和“在……下方”两种方位。该器件也可以其他不同方式定位，如旋转90度或处于其他方位，并且对这里所使用的空间相对描述作出相应解释。
在上面详细的说明中，参考了附图，附图形成本文的一部分。在附图中，类似的符号典型地确定类似的部件，除非上下文以其他方式指明。在详细的说明书、附图及权利要求书中所描述的图示说明的实施方案不意味是限制性的。在不脱离本文所呈现的主题的精神或范围下，其他实施方案可以被使用，并且可以作其他改变。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于图注意力网络的电子公文主题标引方法，其特征在于，所述方法包括：
步骤S1：获取待标引的电子公文，采用Bi-LSTM模型提取电子公文中的主体内容，通过提取的主体内容构建包括多个文本的语料库I，其中，I={Ip|p=1,2,⋯N}，其中Ip表示语料库中的第p个文本，N为语料库中的文本总数；
步骤S2：通过ResNet网络对所述语料库I中各个文本的特征进行提取，获取具有多尺度特征的初始文本特征图，通过设置多个不同的下采样因子，对初始文本特征图进行下采样操作，获取各个文本分别对应的最终文本特征图；
步骤S3：构建由所述最终文本特征图的图节点和边集合组成的第一多尺度节点图，根据所述最终文本特征图中每两个特征之间的成对关系得到与所述第一多尺度节点图相关联的邻接矩阵，获取由所述邻接矩阵与和所述最终文本特征图的每个通道中的节点特征级联表示组成的第二多尺度节点图，并通过所述邻接矩阵获取第二多尺度节点图中图节点特征的集合对应的相邻矩阵，以及通过所述第二多尺度节点图构建层级拓扑图；
步骤S4：通过多层图卷积网络分别对与所述第一多尺度节点图相关联的邻接矩阵和与所述层级拓扑图相关联的邻接矩阵进行非线性变换，获取节点特征嵌入和拓扑特征嵌入，并通过共同权重矩阵获取共同权重对应的节点特征嵌入和共同权重对应的拓扑特征嵌入，以及通过共同权重对应的节点特征嵌入和共同权重对应的拓扑特征嵌入得到节点特征和拓扑特征的共同嵌入；
步骤S5：采用注意力机制为共同权重对应的节点特征嵌入、共同权重对应的拓扑特征嵌入以及共同嵌入分配相应的最优权重，并根据最优权重进行嵌入融合，获取最终嵌入；
步骤S6：通过所述最终嵌入预测语料库中相应文本的主题标签，将预测的对象标签作为语料库中相应文本的主题标引结果。
2.根据权利要求1所述的基于图注意力网络的电子公文主题标引方法，其特征在于，步骤S2包括：采用ResNet网络的多个统一特征层对所述语料库I中各个文本的特征进行提取，获取具有多尺度特征的初始文本特征图
Figure QLYQS_1
，其中，k为ResNet网络第k个统一特征层，nk表示第k个统一特征层尺度的分区数，各个统一特征层集合记为/>
Figure QLYQS_2
；
设置多个不同的下采样因子，采用ResNet网络的卷积层对初始文本特征图进行下采样操作，获取各个文本分别对应的最终文本特征图
Figure QLYQS_3
，其中，
Figure QLYQS_4
表示相应文本在第k个统一特征层尺度中的第i个特征表示，d表示文本的特征向量的维度，nk表示第k个统一特征层尺度的分区数。
3.根据权利要求1所述的基于图注意力网络的电子公文主题标引方法，其特征在于，所述第一多尺度节点图表示为G(V,E)，其中，
Figure QLYQS_5
为所述最终文本特征图的所有图节点的集合，V(h)表示所述最终文本特征图第h个通道的图节点，m为所述最终文本特征图的总通道数，/>
Figure QLYQS_6
表示所述最终文本特征图中第h个通道的第i个图节点与第j个图节点构成的边的集合。
4.根据权利要求3所述的基于图注意力网络的电子公文主题标引方法，其特征在于，所述第二多尺度节点图表示为G(A,X)，其中，A为与所述第一多尺度节点图相关联的邻接矩阵，
Figure QLYQS_7
，
Figure QLYQS_8
为所述最终文本特征图中每两个特征之间的成对关系，ϕ(x)=wx和φ(x)=w'表示采用两种对称变换将原始特征映射到潜在特征空间，w和w'为相应的权重，X为所述最终文本特征图的每个通道中的节点特征级联表示，
Figure QLYQS_9
，其中，m为所述最终文本特征图的总通道数。
5.根据权利要求1所述的基于图注意力网络的电子公文主题标引方法，其特征在于，步骤S4包括：
通过多层图卷积网络对与所述第一多尺度节点图相关联的邻接矩阵进行非线性变换，并对每层图卷积网络的非线性变换进行连接，获取节点特征嵌入；
通过多层图卷积网络对与所述层级拓扑图相关联的邻接矩阵进行非线性变换，并对每层图卷积网络的非线性变换进行连接，获取拓扑特征嵌入；
对与所述第一多尺度节点图相关联的邻接矩阵和与所述层级拓扑图相关联的邻接矩阵采用共同权重矩阵，重复以上步骤获取共同权重对应的节点特征嵌入和共同权重对应的拓扑特征嵌入；
对共同权重对应的节点特征嵌入和共同权重对应的拓扑特征嵌入进行求均值运算，得到节点特征和拓扑特征的共同嵌入。
6.根据权利要求1所述的基于图注意力网络的电子公文主题标引方法，其特征在于，步骤S5包括：
采用注意力机制自适应学习共同权重对应的节点特征嵌入的注意力系数、共同权重对应的拓扑特征嵌入的注意力系数以及共同嵌入的注意力系数；
通过softmax函数分别对共同权重对应的节点特征嵌入的注意力系数、共同权重对应的拓扑特征嵌入的注意力系数以及共同嵌入的注意力系数进行归一化，获取共同权重对应的节点特征嵌入的最优权重、共同权重对应的拓扑特征嵌入的最优权重和共同嵌入的最优权重；
通过共同权重对应的节点特征嵌入的最优权重、共同权重对应的拓扑特征嵌入的最优权重和共同嵌入的最优权重对所述节点特征嵌入、所述拓扑特征嵌入以及所述共同嵌入进行加权求和，获取最终嵌入。
7.根据权利要求1所述的基于图注意力网络的电子公文主题标引方法，其特征在于，步骤S6包括：
为所述最终嵌入分配相应的权重矩阵以及系数矩阵，计算所述最终嵌入对应的分类预测结果；
计算分类预测结果对应的交叉熵损失；
分别计算共同权重对应的节点特征嵌入的损失、共同权重对应的拓扑特征嵌入的损失以及共同嵌入的损失，对计算结果进行求和，并对求和结果与所述交叉熵损失进行再次求和，获取总损失；
通过对同一文本对应的不同最终嵌入计算获取的总损失进行降序排序，将排序第一的总损失对应的分类预测结果作为语料库中相应文本的主题标签；
将所述对象标签作为语料库中相应文本的主题标引结果。
8.一种基于图注意力网络的电子公文主题标引系统，采用如权利要求1-7任一项所述的基于图注意力网络的电子公文主题标引方法进行电子公文主题标引,其特征在于，所述系统包括：
语料库构建单元，用于获取待标引的电子公文，采用Bi-LSTM模型提取电子公文中的主体内容，通过提取的主体内容构建包括多个文本的语料库I，其中，I={Ip|p=1,2,⋯N}，其中Ip表示语料库中的第p个文本，N为语料库中的文本总数；
文本特征图获取单元，用于通过ResNet网络对所述语料库I中各个文本的特征进行提取，获取具有多尺度特征的初始文本特征图，通过设置多个不同的下采样因子，对初始文本特征图进行下采样操作，获取各个文本分别对应的最终文本特征图；
属性特征图构建单元，用于构建由所述最终文本特征图的图节点和边集合组成的第一多尺度节点图，根据所述最终文本特征图中每两个特征之间的成对关系得到与所述第一多尺度节点图相关联的邻接矩阵，获取由所述邻接矩阵与和所述最终文本特征图的每个通道中的节点特征级联表示组成的第二多尺度节点图，并通过所述邻接矩阵获取第二多尺度节点图中图节点特征的集合对应的相邻矩阵，以及通过所述第二多尺度节点图构建层级拓扑图；
第一嵌入获取单元，用于通过多层图卷积网络分别对与所述第一多尺度节点图相关联的邻接矩阵和与所述层级拓扑图相关联的邻接矩阵进行非线性变换，获取节点特征嵌入和拓扑特征嵌入，并通过共同权重矩阵获取共同权重对应的节点特征嵌入和共同权重对应的拓扑特征嵌入，以及通过共同权重对应的节点特征嵌入和共同权重对应的拓扑特征嵌入得到节点特征和拓扑特征的共同嵌入；
第二嵌入获取单元，用于采用注意力机制为共同权重对应的节点特征嵌入、共同权重对应的拓扑特征嵌入以及共同嵌入分配相应的最优权重，并根据最优权重进行嵌入融合，获取最终嵌入；
标引结果获取单元，用于通过所述最终嵌入预测语料库中相应文本的主题标签，将预测的对象标签作为语料库中相应文本的主题标引结果。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7任一项所述的基于图注意力网络的电子公文主题标引方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的基于图注意力网络的电子公文主题标引方法的步骤。
CN202310552949.1A 2023-05-17 2023-05-17 基于图注意力网络的电子公文主题标引方法及系统 Active CN116311280B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310552949.1A CN116311280B (zh) 2023-05-17 2023-05-17 基于图注意力网络的电子公文主题标引方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310552949.1A CN116311280B (zh) 2023-05-17 2023-05-17 基于图注意力网络的电子公文主题标引方法及系统

Publications (2)

Publication Number Publication Date
CN116311280A true CN116311280A (zh) 2023-06-23
CN116311280B CN116311280B (zh) 2023-07-18

Family

ID=86794484

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310552949.1A Active CN116311280B (zh) 2023-05-17 2023-05-17 基于图注意力网络的电子公文主题标引方法及系统

Country Status (1)

Country Link
CN (1) CN116311280B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112487143A (zh) * 2020-11-30 2021-03-12 重庆邮电大学 一种基于舆情大数据分析的多标签文本分类方法
CN112699234A (zh) * 2020-12-08 2021-04-23 上海深杳智能科技有限公司 一种通用文档识别方法、系统、终端及存储介质
US20220058420A1 (en) * 2020-08-22 2022-02-24 Tsinghua University Scene text detection method and system based on sequential deformation
US20220405480A1 (en) * 2021-06-22 2022-12-22 Jinan University Text sentiment analysis method based on multi-level graph pooling
CN115827865A (zh) * 2022-12-06 2023-03-21 厦门市美亚柏科信息股份有限公司 一种融合多特征图注意力机制的不良文本分类方法及系统
CN115879473A (zh) * 2022-12-26 2023-03-31 淮阴工学院 基于改进图注意力网络的中文医疗命名实体识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220058420A1 (en) * 2020-08-22 2022-02-24 Tsinghua University Scene text detection method and system based on sequential deformation
CN112487143A (zh) * 2020-11-30 2021-03-12 重庆邮电大学 一种基于舆情大数据分析的多标签文本分类方法
CN112699234A (zh) * 2020-12-08 2021-04-23 上海深杳智能科技有限公司 一种通用文档识别方法、系统、终端及存储介质
US20220405480A1 (en) * 2021-06-22 2022-12-22 Jinan University Text sentiment analysis method based on multi-level graph pooling
CN115827865A (zh) * 2022-12-06 2023-03-21 厦门市美亚柏科信息股份有限公司 一种融合多特征图注意力机制的不良文本分类方法及系统
CN115879473A (zh) * 2022-12-26 2023-03-31 淮阴工学院 基于改进图注意力网络的中文医疗命名实体识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ANKIT PAL等: "Multi-label text classification using attention-based graph neural network", 《HTTPS://ARXIV.ORG/ABS/2003.11644》 *
JUN YANG等: "Modified Prototypical Networks for Few-Shot Text Classification Based on Class-Covariance Metric and Attention", 《2021 6TH IEEE INTERNATIONAL CONFERENCE ON ADVANCED ROBOTICS AND MECHATRONICS(ICARM)》) *
许晶航等: "基于图注意力网络的因果关系抽取", 《计算机研究与发展》, no. 01 *

Also Published As

Publication number Publication date
CN116311280B (zh) 2023-07-18

Similar Documents

Publication Publication Date Title
CN110059181B (zh) 面向大规模分类体系的短文本标签方法、系统、装置
Corchado et al. Ibr retrieval method based on topology preserving mappings
CN112966074B (zh) 一种情感分析方法、装置、电子设备以及存储介质
CN113361664B (zh) 一种基于量子卷积神经网络的图像识别系统及方法
CN110516095B (zh) 基于语义迁移的弱监督深度哈希社交图像检索方法和系统
CN109993100B (zh) 基于深层特征聚类的人脸表情识别的实现方法
CN110993037A (zh) 一种基于多视图分类模型的蛋白质活性预测装置
CN111475622A (zh) 一种文本分类方法、装置、终端及存储介质
CN111581368A (zh) 一种基于卷积神经网络的面向智能专家推荐的用户画像方法
CN111582506A (zh) 基于全局和局部标记关系的偏多标记学习方法
Hong et al. Variational gridded graph convolution network for node classification
CN116311280B (zh) 基于图注意力网络的电子公文主题标引方法及系统
Pirhooshyaran et al. Multivariate, multistep forecasting, reconstruction and feature selection of ocean waves via recurrent and sequence-to-sequence networks
CN115801152A (zh) 基于层次化transformer模型的WiFi动作识别方法
Xu et al. Deep convolutional neural networks for feature extraction of images generated from complex networks topologies
CN111768214A (zh) 产品属性的预测方法、系统、设备和存储介质
CN114373224A (zh) 基于自监督学习的模糊3d骨架动作识别方法及装置
Yang et al. Geographical feature classification from text using (active) convolutional neural networks
CN109241070B (zh) 一种基于大数据的气象数据不一致性的时间维度统一方法
Prakash et al. Flower Detection Using Advanced Deep Learning Techniques
Tsukada et al. Evolving deep neural networks for x-ray based detection of dangerous objects
Snow et al. Unsupervised document clustering with cluster topic identification
Hung Development of a Document Classification Method By Using Geodesic Distance To Calculate Similarity of Documents
CN105095275B (zh) 文档聚类的方法及装置
El Mhouti et al. A Machine Learning-Based Approach for Meteorological Big Data Analysis to Improve Weather Forecast

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant