CN116758557A - 一种基于浅层图神经网络的联机手写笔画分类方法 - Google Patents

一种基于浅层图神经网络的联机手写笔画分类方法 Download PDF

Info

Publication number
CN116758557A
CN116758557A CN202310738640.1A CN202310738640A CN116758557A CN 116758557 A CN116758557 A CN 116758557A CN 202310738640 A CN202310738640 A CN 202310738640A CN 116758557 A CN116758557 A CN 116758557A
Authority
CN
China
Prior art keywords
stroke
edge
node
features
graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310738640.1A
Other languages
English (en)
Other versions
CN116758557B (zh
Inventor
王大寒
王炎蓉
朱顺痣
张燕明
殷飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen University of Technology
Original Assignee
Xiamen University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University of Technology filed Critical Xiamen University of Technology
Priority to CN202310738640.1A priority Critical patent/CN116758557B/zh
Publication of CN116758557A publication Critical patent/CN116758557A/zh
Application granted granted Critical
Publication of CN116758557B publication Critical patent/CN116758557B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/18—Extraction of features or characteristics of the image
    • G06V30/1801—Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes or intersections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/1918—Fusion techniques, i.e. combining data from various sources, e.g. sensor fusion
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Character Discrimination (AREA)

Abstract

本发明提出一种基于浅层图神经网络的联机手写笔画分类方法，包括以下步骤：步骤S1、对联机手写文档的每一个笔画提取若干特征；提取笔画对的若干特征；步骤S2、得到文档笔画的初始图结构；步骤S3、将初始图结构送入边缘分支进行边缘特征学习；步骤S4、将分类结果作为图的邻接矩阵，从而更新图结构；步骤S5、从更新后的图结构的节点特征中提取连通子图特征与全局特征；步骤S6、在更新后的图结构基础上，得到最终的节点特征。对最终的节点特征进行分类，得到版面分析结果。

Description

一种基于浅层图神经网络的联机手写笔画分类方法
技术领域
本发明涉及计算机自然语言处理技术领域，特别是一种基于浅层图神经网络的联机手写笔画分类方法。
背景技术
随着手写设备的广泛应用，电子手写文档越来越普遍。电子手写文档的数字化有利于其保存和检索。电子手写文档由一系列笔画组成，包含坐标、时间、笔压等信息。笔划分类旨在将笔划分类为文本类/非文本类或多个类，包括文本、图形、表格、列表、公式等。布局分析的任务对在线手写文档数字化系统的性能至关重要。由于写作风格的多样性和文档结构的复杂性，笔划分类具有挑战性，近年来已进入提高性能的瓶颈。传统的笔画分类方法主要使用递归神经网络及其变体、条件随机场与马尔可夫场等概率图模型。近年来，随着图神经网络的发展，笔画分类任务有了新的思路。其主要方法是将笔画作为节点、笔画对之间的关系作为边缘、联机手写文档作为图结构，送入图神经网络；笔画分类任务转化为节点分类任务。图注意力网络被应用于笔画分类任务，其优点在于能够自主学习笔画之间的关系，根据笔画之间的不同权重进行节点信息融合。考虑到边缘信息对节点分类也起到辅助作用，网络框架由节点更新层与边缘更新层交替叠加的方式组成。由于边缘信息表征两个节点之间的关系，因此也有方法利用边缘信息参与节点注意力分数的计算。尽管已有的图神经网络在笔画分类任务已初具成效，但随着图神经网络的层数加深，节点所包含的信息呈指数级增长，节点信息被过度压缩，容易造成信息丢失。如何高质量、更有效地解决这一问题需要更多的研究工作。
发明内容
有鉴于此，本发明的目的在于提供一种基于浅层图神经网络的联机手写笔画分类方法，能够显著提高联机手写笔画的分类精度，在经典联机手写文档数据集中达到当前最高精度。联机手写笔画分类是版面分析任务的基础，为后续的文字识别、表格识别等具体模块识别任务提供帮助，对联机手写文档数字化系统的性能至关重要，具有较高的应用价值。
为实现上述目的，本发明采用如下技术方案：一种基于浅层图神经网络的联机手写笔画分类方法，用于联机手写文档的版面分析任务，包括以下步骤；
步骤S1、对联机手写文档的每一个笔画提取若干特征；将联机手写文档的每一个笔画两两作为笔画对，提取笔画对的若干特征；
步骤S2、将文档视为图、笔画视为节点、笔画对视为边，通过设定笔画对之间的连接规则，得到文档笔画的初始图结构；
步骤S3、将初始图结构送入边缘分支进行边缘特征学习；
步骤S4、对最后一层边缘特征进行分类，将分类结果作为图的邻接矩阵，从而更新图结构；
步骤S5、从更新后的图结构的节点特征中提取连通子图特征与全局特征；
步骤S6、在更新后的图结构基础上，融合节点的初始特征、连通子图特征、全局特征以及更新后的边缘特征，得到最终的节点特征；对最终的节点特征进行分类，得到版面分析结果。
在一较佳的实施例中：在步骤S1中，笔画特征采用手工设计的特征，共计30个，包括笔画的采样点数量、持续时长与长度之比、两个端点连线的距离与长度之比、采样点与第一点和最后一点之间连线的标准偏差、第一个点和最后一个点之间连接的斜率、长度与采样点数量之比、两个端点连线的距离与采样点数量之比、最小外接矩形的旋转角度、最小外接矩形的宽度、最小外接矩形的高度、最小外接矩形的对角线长度、边界框的宽度、边界框的高度、边界框的对角线长度、边界框对角线角度、长度与边界框对角线之比、最小外接半径、采样点与最小外切圆中心之间的距离方差、采样点与质心之间的距离方差、边界框面积、最小外接矩形面积、最小外切圆面积、凸包面积与边界框面积之比、凸包面积与最小外切圆面积之比、凸包面积与最小外接矩形面积之比、x轴上的笔划投影与第一个点和最后一个点之间的线的比率、由采样点组成的最大角度、由采样点组成的最小角度、采样点组成的平均角度、最小外切圆中心与质心之间的距离；笔画对特征采用手工设计的特征，包括两个笔画之间的时间距离、空间距离、长度比；笔画i特征，即节点i特征记为hi；笔画i和笔画j组成的笔画对特征，即边缘特征记为fij。
在一较佳的实施例中：在步骤S2中，笔画对的连接与否取决于其时间上下文与空间上下文关系；具体而言包括四条规则，满足其中一条即可；如果两个笔画的时间距离小于时间阈值，则两个笔画相连；如果两个笔画的空间距离小于空间阈值，则两个笔画相连；目标笔画与其时间距离上最近的kt个笔画相连；目标笔画与其空间距离上最近的ks个笔画相连；与此同时，每个笔画具有自连边，即与笔画自身相连。
在一较佳的实施例中：在步骤S3中，边缘特征的学习包括三层，依次为边缘特征更新层、节点特征更新层、边缘特征更新层；其中第一层与第三层边缘特征更新层采用相同的处理方式；具体而言，边缘特征更新考虑边缘所连接的两个节点的关系以及边缘特征本身，公式如下：
其中，表示拼接操作，Wh是可学习参数；节点特征更新采用基于带有NE结构的注意力机制；NE结构是一个由节点j和边缘eij组成的复合结构，它具有节点和边缘双重特征，既可以用于计算注意力分数，也可以用于最终节点特征的更新；节点特征更新计算公式如下：
其中，Wr、Wh、Wh、b、v是可学习参数，K是多头注意力的注意力头数量，σ是LeakyReLU激活函数。
在一较佳的实施例中：在步骤S4中，对最后一层边缘更新后得到的边缘特征进行二分类，其中1表示边缘存在，即两个节点之间连接成边；0表示边缘不存在，即两个节点之间没有连接边；分类结果作为新的图邻接矩阵，即得到新的图结构。
在一较佳的实施例中：在步骤S5中，基于更新后的图结构，利用带有NE结构的注意力机制对节点进行融合，获得节点在连通子图的特征，计算方式参见公式(2)；同时，对该注意力分数进行放缩后在全局进行节点特征融合，从而获得节点的全局特征；计算公式如下：
其中，a是放缩系数。
在一较佳的实施例中：在步骤S6中，基于更新后的图结构，将节点的原始特征、连通子图特征与全局特征利用公式四融合为具有多尺度信息节点特征，而后利用该特征与边缘特征利用公式二计算得到最终的节点特征；对最终的节点特征进行多分类处理，分类结果即为版面分析结果；
与现有技术相比，本发明具有以下有益效果：
(1)指出了当前图神经网络方法在联机文档笔画分类任务上由于节点压缩导致的信息确实问题。
(2)提出了先调整图结构再进行节点分类的策略，利用合理的图结构来扩展感受野，而非网络层的叠加。
(3)提出了基于NE结构的图注意力方法，用于节点特征的更新。其中，NE结构是由一条边与边缘对应的一个节点组成的复合结构。
附图说明
图1是本发明优选实施例的流程框图；
图2是本发明优选实施例的整体框架图；
图3是本发明优选实施例的联机文档笔画分类结果可视化示意图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式；如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
一种基于浅层图神经网络的联机手写笔画分类方法，参考图1至2，用于联机手写文档的版面分析任务，包括以下步骤；
步骤S1、对联机手写文档的每一个笔画提取若干特征；将联机手写文档的每一个笔画两两作为笔画对，提取笔画对的若干特征；
步骤S2、将文档视为图、笔画视为节点、笔画对视为边，通过设定笔画对之间的连接规则，得到文档笔画的初始图结构；
步骤S3、将初始图结构送入边缘分支进行边缘特征学习；
步骤S4、对最后一层边缘特征进行分类，将分类结果作为图的邻接矩阵，从而更新图结构；
步骤S5、从更新后的图结构的节点特征中提取连通子图特征与全局特征；
步骤S6、在更新后的图结构基础上，融合节点的初始特征、连通子图特征、全局特征以及更新后的边缘特征，得到最终的节点特征；对最终的节点特征进行分类，得到版面分析结果。
在步骤S1中，笔画特征采用手工设计的特征，共计30个，包括笔画的采样点数量、持续时长与长度之比、两个端点连线的距离与长度之比、采样点与第一点和最后一点之间连线的标准偏差、第一个点和最后一个点之间连接的斜率、长度与采样点数量之比、两个端点连线的距离与采样点数量之比、最小外接矩形的旋转角度、最小外接矩形的宽度、最小外接矩形的高度、最小外接矩形的对角线长度、边界框的宽度、边界框的高度、边界框的对角线长度、边界框对角线角度、长度与边界框对角线之比、最小外接半径、采样点与最小外切圆中心之间的距离方差、采样点与质心之间的距离方差、边界框面积、最小外接矩形面积、最小外切圆面积、凸包面积与边界框面积之比、凸包面积与最小外切圆面积之比、凸包面积与最小外接矩形面积之比、x轴上的笔划投影与第一个点和最后一个点之间的线的比率、由采样点组成的最大角度、由采样点组成的最小角度、采样点组成的平均角度、最小外切圆中心与质心之间的距离。笔画对特征采用手工设计的特征，包括两个笔画之间的时间距离、空间距离、长度比等。笔画i特征，即节点i特征记为hi；笔画i和笔画j组成的笔画对特征，即边缘特征记为fij。
在步骤S2中，笔画对的连接与否取决于其时间上下文与空间上下文关系。具体而言包括四条规则，满足其中一条即可：如果两个笔画的时间距离小于时间阈值，则两个笔画相连；如果两个笔画的空间距离小于空间阈值，则两个笔画相连；目标笔画与其时间距离上最近的kt个笔画相连；目标笔画与其空间距离上最近的ks个笔画相连。与此同时，每个笔画具有自连边，即与笔画自身相连。
在步骤S3中，边缘特征的学习包括三层，依次为边缘特征更新层、节点特征更新层、边缘特征更新层；其中第一层与第三层边缘特征更新层采用相同的处理方式。具体而言，边缘特征更新考虑了边缘所连接的两个节点的关系以及边缘特征本身，公式如下：
其中，表示拼接操作，Wh是可学习参数。节点特征更新采用基于带有NE结构的注意力机制。NE结构是一个由节点j和边缘eij组成的复合结构，它具有节点和边缘双重特征，既可以用于计算注意力分数，也可以用于最终节点特征的更新。节点特征更新计算公式如下：
其中，Wr、Wh、Wh、b、v是可学习参数，K是多头注意力的注意力头数量，σ是LeakyReLU激活函数。
在步骤S4中，对最后一层边缘更新后得到的边缘特征进行二分类，其中1表示边缘存在，即两个节点之间连接成边；0表示边缘不存在，即两个节点之间没有连接边。该分类结果作为新的图邻接矩阵，即得到新的图结构。
在步骤S5中，基于更新后的图结构，利用带有NE结构的注意力机制对节点进行融合，获得节点在连通子图的特征，计算方式参见公式二。同时，对该注意力分数进行放缩后在全局进行节点特征融合，从而获得节点的全局特征。计算公式如下：
其中，a是放缩系数。
在步骤S6中，基于更新后的图结构，将节点的原始特征、连通子图特征与全局特征利用公式四融合为具有多尺度信息节点特征，而后利用该特征与边缘特征利用公式二计算得到最终的节点特征。对最终的节点特征进行多分类处理，分类结果即为版面分析结果。
本发明提出了一种基于浅层图神经网络的联机手写笔画分类方法。针对深层图神经网络存在的节点信息压缩导致特征缺失的问题，通过先调整图结构再进行节点分类的策略，利用更合理的图结构获取远距离节点感受野从而减少图神经网络的层数，缓解节点信息压缩问题。本发明能够显著提高联机手写笔画的分类精度，在经典联机手写文档数据集中达到当前最高精度。联机手写笔画分类是版面分析任务的基础，为后续的文字识别、表格识别等具体模块识别任务提供帮助，对联机手写文档数字化系统的性能至关重要，具有较高的应用价值。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。

Claims (7)

1.一种基于浅层图神经网络的联机手写笔画分类方法，用于联机手写文档的版面分析任务，其特征在于：包括以下步骤；
步骤S1、对联机手写文档的每一个笔画提取若干特征；将联机手写文档的每一个笔画两两作为笔画对，提取笔画对的若干特征；
步骤S2、将文档视为图、笔画视为节点、笔画对视为边，通过设定笔画对之间的连接规则，得到文档笔画的初始图结构；
步骤S3、将初始图结构送入边缘分支进行边缘特征学习；
步骤S4、对最后一层边缘特征进行分类，将分类结果作为图的邻接矩阵，从而更新图结构；
步骤S5、从更新后的图结构的节点特征中提取连通子图特征与全局特征；
步骤S6、在更新后的图结构基础上，融合节点的初始特征、连通子图特征、全局特征以及更新后的边缘特征，得到最终的节点特征；对最终的节点特征进行分类，得到版面分析结果。
2.根据权利要求1所述的一种基于浅层图神经网络的联机手写笔画分类方法，其特征在于：在步骤S1中，笔画特征采用手工设计的特征，共计30个，包括笔画的采样点数量、持续时长与长度之比、两个端点连线的距离与长度之比、采样点与第一点和最后一点之间连线的标准偏差、第一个点和最后一个点之间连接的斜率、长度与采样点数量之比、两个端点连线的距离与采样点数量之比、最小外接矩形的旋转角度、最小外接矩形的宽度、最小外接矩形的高度、最小外接矩形的对角线长度、边界框的宽度、边界框的高度、边界框的对角线长度、边界框对角线角度、长度与边界框对角线之比、最小外接半径、采样点与最小外切圆中心之间的距离方差、采样点与质心之间的距离方差、边界框面积、最小外接矩形面积、最小外切圆面积、凸包面积与边界框面积之比、凸包面积与最小外切圆面积之比、凸包面积与最小外接矩形面积之比、x轴上的笔划投影与第一个点和最后一个点之间的线的比率、由采样点组成的最大角度、由采样点组成的最小角度、采样点组成的平均角度、最小外切圆中心与质心之间的距离；笔画对特征采用手工设计的特征，包括两个笔画之间的时间距离、空间距离、长度比；笔画i特征，即节点i特征记为hi；笔画i和笔画j组成的笔画对特征，即边缘特征记为fij。
3.根据权利要求1所述的一种基于浅层图神经网络的联机手写笔画分类方法，其特征在于：在步骤S2中，笔画对的连接与否取决于其时间上下文与空间上下文关系；具体而言包括四条规则，满足其中一条即可；如果两个笔画的时间距离小于时间阈值，则两个笔画相连；如果两个笔画的空间距离小于空间阈值，则两个笔画相连；目标笔画与其时间距离上最近的kt个笔画相连；目标笔画与其空间距离上最近的ks个笔画相连；与此同时，每个笔画具有自连边，即与笔画自身相连。
4.根据权利要求1所述的一种基于浅层图神经网络的联机手写笔画分类方法，其特征在于：在步骤S3中，边缘特征的学习包括三层，依次为边缘特征更新层、节点特征更新层、边缘特征更新层；其中第一层与第三层边缘特征更新层采用相同的处理方式；具体而言，边缘特征更新考虑边缘所连接的两个节点的关系以及边缘特征本身，公式如下：
tij＝σ(Wffij)，
其中，表示拼接操作，Wh是可学习参数；节点特征更新采用基于带有NE结构的注意力机制；NE结构是一个由节点j和边缘eij组成的复合结构，它具有节点和边缘双重特征，既可以用于计算注意力分数，也可以用于最终节点特征的更新；节点特征更新计算公式如下：
sij＝σ(vTNEij)，
其中，Wr、Wh、Wh、b、v是可学习参数，K是多头注意力的注意力头数量，σ是LeakyReLU激活函数。
5.根据权利要求1所述的一种基于浅层图神经网络的联机手写笔画分类方法，其特征在于：在步骤S4中，对最后一层边缘更新后得到的边缘特征进行二分类，其中1表示边缘存在，即两个节点之间连接成边；0表示边缘不存在，即两个节点之间没有连接边；分类结果作为新的图邻接矩阵，即得到新的图结构。
6.根据权利要求1所述的一种基于浅层图神经网络的联机手写笔画分类方法，其特征在于：在步骤S5中，基于更新后的图结构，利用带有NE结构的注意力机制对节点进行融合，获得节点在连通子图的特征，计算方式参见公式(2)；同时，对该注意力分数进行放缩后在全局进行节点特征融合，从而获得节点的全局特征；计算公式如下：
其中，a是放缩系数。
7.根据权利要求1所述的一种基于浅层图神经网络的联机手写笔画分类方法，其特征在于：在步骤S6中，基于更新后的图结构，将节点的原始特征、连通子图特征与全局特征利用公式四融合为具有多尺度信息节点特征，而后利用该特征与边缘特征利用公式二计算得到最终的节点特征；对最终的节点特征进行多分类处理，分类结果即为版面分析结果；
CN202310738640.1A 2023-06-21 2023-06-21 一种基于浅层图神经网络的联机手写笔画分类方法 Active CN116758557B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310738640.1A CN116758557B (zh) 2023-06-21 2023-06-21 一种基于浅层图神经网络的联机手写笔画分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310738640.1A CN116758557B (zh) 2023-06-21 2023-06-21 一种基于浅层图神经网络的联机手写笔画分类方法

Publications (2)

Publication Number Publication Date
CN116758557A true CN116758557A (zh) 2023-09-15
CN116758557B CN116758557B (zh) 2024-04-05

Family

ID=87952918

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310738640.1A Active CN116758557B (zh) 2023-06-21 2023-06-21 一种基于浅层图神经网络的联机手写笔画分类方法

Country Status (1)

Country Link
CN (1) CN116758557B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101799937A (zh) * 2010-03-23 2010-08-11 南京大学 一种采用草图创建三维模型的方法
CN112132050A (zh) * 2020-09-24 2020-12-25 北京计算机技术及应用研究所 联机手写汉字识别算法及可视化关键笔画评估方法
CN115114887A (zh) * 2022-07-27 2022-09-27 泓宇星私人有限责任公司 一种联机手写文本行识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101799937A (zh) * 2010-03-23 2010-08-11 南京大学 一种采用草图创建三维模型的方法
CN112132050A (zh) * 2020-09-24 2020-12-25 北京计算机技术及应用研究所 联机手写汉字识别算法及可视化关键笔画评估方法
CN115114887A (zh) * 2022-07-27 2022-09-27 泓宇星私人有限责任公司 一种联机手写文本行识别方法

Also Published As

Publication number Publication date
CN116758557B (zh) 2024-04-05

Similar Documents

Publication Publication Date Title
CN106384094B (zh) 一种基于书写风格建模的中文字库自动生成方法
CN111027563A (zh) 一种文本检测方法、装置及识别系统
CN107729865A (zh) 一种手写体数学公式离线识别方法及系统
CN112016601B (zh) 基于知识图谱增强小样本视觉分类的网络模型构建方法
CN109918506A (zh) 一种文本分类方法及装置
US11803971B2 (en) Generating improved panoptic segmented digital images based on panoptic segmentation neural networks that utilize exemplar unknown object classes
CN113051914A (zh) 一种基于多特征动态画像的企业隐藏标签抽取方法及装置
CN110942110A (zh) 一种三维模型的特征提取方法和装置
CN103617609A (zh) 基于图论的k-means非线性流形聚类与代表点选取方法
CN114187595A (zh) 基于视觉特征和语义特征融合的文档布局识别方法及系统
CN113901214B (zh) 表格信息的提取方法、装置、电子设备及存储介质
CN111797685B (zh) 表格结构的识别方法及装置
Zhou et al. A robust approach to text line grouping in online handwritten Japanese documents
CN116758557B (zh) 一种基于浅层图神经网络的联机手写笔画分类方法
Qin et al. Progressive deep feature learning for manga character recognition via unlabeled training data
WO2023206964A1 (zh) 一种行人重识别方法、系统、设备及计算机可读存储介质
CN111571567A (zh) 机器人转译技能训练方法、装置及电子设备和存储介质
Zeng et al. STAR: Zero-shot Chinese character recognition with stroke-and radical-level decompositions
CN111144469A (zh) 基于多维关联时序分类神经网络的端到端多序列文本识别方法
Sethy et al. Symmetric axis based off-line Odia handwritten character and numeral recognition
CN115359486A (zh) 一种文档图像中自定义信息的确定方法及系统
CN107657060B (zh) 一种基于半结构化文本分类的特征优化方法
CN112395834A (zh) 基于图片输入的脑图生成方法、装置、设备及存储介质
Mosannafat et al. Farsi text detection and localization in videos and images
CN112329389A (zh) 一种基于语义分割与禁忌搜索的汉字笔画自动提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant