CN113033538A - 一种公式识别方法及装置 - Google Patents

一种公式识别方法及装置 Download PDF

Info

Publication number
CN113033538A
CN113033538A CN202110322524.2A CN202110322524A CN113033538A CN 113033538 A CN113033538 A CN 113033538A CN 202110322524 A CN202110322524 A CN 202110322524A CN 113033538 A CN113033538 A CN 113033538A
Authority
CN
China
Prior art keywords
image
formula
identified
processing
global
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110322524.2A
Other languages
English (en)
Other versions
CN113033538B (zh
Inventor
王杰
王英俊
秦波
辛晓哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sogou Technology Development Co Ltd
Original Assignee
Beijing Sogou Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sogou Technology Development Co Ltd filed Critical Beijing Sogou Technology Development Co Ltd
Priority to CN202110322524.2A priority Critical patent/CN113033538B/zh
Publication of CN113033538A publication Critical patent/CN113033538A/zh
Priority to PCT/CN2021/103569 priority patent/WO2022198828A1/zh
Priority to US18/300,031 priority patent/US20230252778A1/en
Application granted granted Critical
Publication of CN113033538B publication Critical patent/CN113033538B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/30—Character recognition based on the type of data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种公式识别方法，在一个示例中，该方法可以由第一设备执行。第一设备可以获取包括公式的待识别图像，而后，对所述待识别图像进行处理，得到全局图像特征和局部图像特征。进一步地，可以对所述全局图像特征和所述局部图像特征进行处理，得到所述待识别图像中包括的公式。由此可见，在本申请实施例中，识别待识别图像中的公式时，结合了待识别图像的局部图像特征，因此，即使所述待识别图像中公式所包括的字符比较小，利用本申请实施例的方案，也能准确的识别出待识别图像中的公式。因此，利用本方案，能够准确的识别出待识别图像中的公式。

Description

一种公式识别方法及装置
技术领域
本申请涉及数据处理领域，特别是涉及一种公式识别方法及装置。
背景技术
在一些场景中，需要识别图像中的公式。目前所使用的识别公式的方法，并不能够准确的识别出图像中的公式，因此，急需一种方案，能够解决该问题。
发明内容
本申请所要解决的技术问题是如何准确的识别出图像中的公式，提供一种公式识别方法及装置。
第一方面，本申请实施例提供了一种公式识别方法，所述方法包括：
获取包括公式的待识别图像；
对所述待识别图像进行处理，得到全局图像特征和局部图像特征；
对所述全局图像特征和所述局部图像特征进行处理，得到所述待识别图像中包括的公式。
可选的，所述对所述待识别图像进行处理，得到全局图像特征和局部图像特征包括：
利用卷积神经网络的M个卷积层和N个池化层对所述待识别图像进行处理，得到所述全局图像特征；M和N均为大于或者等于1的整数；
所述M个卷积层和所述N个池化层中的部分池化层对所述待识别图像进行处理，得到所述局部图像特征。
可选的，所述卷积神经网络为：DenseNet。
可选的，所述对所述全局图像特征和所述局部图像特征进行处理，得到所述待识别图像中包括的公式通过解码器实现，所述解码器包括：第一门循环单元GRU层和第二GRU层，其中：
在第一解码时刻：
所述第一GRU层的输入包括：所述全局图像特征、所述局部图像特征、以及所述第一GRU层在第二解码时刻得到的隐藏向量，所述第二解码时刻为所述第一解码时刻的上一解码时刻，所述第一GRU层在第二解码时刻得到的隐藏向量，能够指示所述第一解码时刻所述全局图像特征和所述局部图像特征中未被解码的内容；所述第二GRU层的输入包括：所述全局图像特征和所述局部图像特征以及所述第一GRU层在所述第一解码时刻输出的隐藏向量；
所述解码器的输出为所述第二GRU层在最后一个解码时刻得到的解码结果。
可选的，在第一解码时刻，所述第二GRU层的输入还包括：
所述第二GRU层在所述第二解码时刻得到的隐藏向量，其中，所述第二GRU层在所述第二解码时刻得到的隐藏向量，能够指示在所述第一解码时刻所述全局图像特征和所述局部图像特征中未被解码的内容。
可选的，所述解码器为Transformer模型中的解码器。
可选的，所述获取包括公式的待识别图像，包括：
获取包括公式的原始图像，去除所述原始图像中的冗余信息和/或噪声干扰，得到所述待识别图像。
可选的，所述方法还包括：
获取包括公式的训练图像；
利用所述训练图像和所述训练图像的标注信息，训练得到公式识别模型，其中，所述训练图像的标注信息，用于指示所述训练图像中包括的公式，所述公式识别模型，用于识别所述待识别图像中的公式。
第二方面，本申请实施例提供了一种公式识别装置，所述装置包括：
第一获取单元，用于获取包括公式的待识别图像；
第一处理单元，用于对所述待识别图像进行处理，得到全局图像特征和局部图像特征；
第二处理单元，用于对所述全局图像特征和所述局部图像特征进行处理，得到所述待识别图像中包括的公式。
可选的，所述第一处理单元，用于：
利用卷积神经网络的M个卷积层和N个池化层对所述待识别图像进行处理，得到所述全局图像特征；M和N均为大于或者等于1的整数；
所述M个卷积层和所述N个池化层中的部分池化层对所述待识别图像进行处理，得到所述局部图像特征。
可选的，所述卷积神经网络为：DenseNet。
可选的，所述第二处理单元通过解码器实现，所述解码器包括：第一门循环单元GRU层和第二GRU层，其中：
在第一解码时刻：
所述第一GRU层的输入包括：所述全局图像特征、所述局部图像特征、以及所述第一GRU层在第二解码时刻得到的隐藏向量，所述第二解码时刻为所述第一解码时刻的上一解码时刻，所述第一GRU层在第二解码时刻得到的隐藏向量，能够指示所述第一解码时刻所述全局图像特征和所述局部图像特征中未被解码的内容；所述第二GRU层的输入包括：所述全局图像特征和所述局部图像特征以及所述第一GRU层在所述第一解码时刻输出的隐藏向量；
所述解码器的输出为所述第二GRU层在最后一个解码时刻得到的解码结果。
可选的，在第一解码时刻，所述第二GRU层的输入还包括：
所述第二GRU层在所述第二解码时刻得到的隐藏向量，其中，所述第二GRU层在所述第二解码时刻得到的隐藏向量，能够指示在所述第一解码时刻所述全局图像特征和所述局部图像特征中未被解码的内容。
可选的，所述解码器为Transformer模型中的解码器。
可选的，所述第一获取单元，用于：
获取包括公式的原始图像，去除所述原始图像中的冗余信息和/或噪声干扰，得到所述待识别图像。
可选的，所述装置还包括：
第二获取单元，用于获取包括公式的训练图像；
训练单元，用于利用所述训练图像和所述训练图像的标注信息，训练得到公式识别模型，其中，所述训练图像的标注信息，用于指示所述训练图像中包括的公式，所述公式识别模型，用于识别所述待识别图像中的公式。
第三方面，本申请实施例提供了一种公式识别装置，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：
获取包括公式的待识别图像；
对所述待识别图像进行处理，得到全局图像特征和局部图像特征；
对所述全局图像特征和所述局部图像特征进行处理，得到所述待识别图像中包括的公式。
可选的，所述对所述待识别图像进行处理，得到全局图像特征和局部图像特征包括：
利用卷积神经网络的M个卷积层和N个池化层对所述待识别图像进行处理，得到所述全局图像特征；M和N均为大于或者等于1的整数；
所述M个卷积层和所述N个池化层中的部分池化层对所述待识别图像进行处理，得到所述局部图像特征。
可选的，所述卷积神经网络为：DenseNet。
可选的，所述对所述全局图像特征和所述局部图像特征进行处理，得到所述待识别图像中包括的公式通过解码器实现，所述解码器包括：第一门循环单元GRU层和第二GRU层，其中：
在第一解码时刻：
所述第一GRU层的输入包括：所述全局图像特征、所述局部图像特征、以及所述第一GRU层在第二解码时刻得到的隐藏向量，所述第二解码时刻为所述第一解码时刻的上一解码时刻，所述第一GRU层在第二解码时刻得到的隐藏向量，能够指示所述第一解码时刻所述全局图像特征和所述局部图像特征中未被解码的内容；所述第二GRU层的输入包括：所述全局图像特征和所述局部图像特征以及所述第一GRU层在所述第一解码时刻输出的隐藏向量；
所述解码器的输出为所述第二GRU层在最后一个解码时刻得到的解码结果。
可选的，在第一解码时刻，所述第二GRU层的输入还包括：
所述第二GRU层在所述第二解码时刻得到的隐藏向量，其中，所述第二GRU层在所述第二解码时刻得到的隐藏向量，能够指示在所述第一解码时刻所述全局图像特征和所述局部图像特征中未被解码的内容。
可选的，所述解码器为Transformer模型中的解码器。
可选的，所述获取包括公式的待识别图像，包括：
获取包括公式的原始图像，去除所述原始图像中的冗余信息和/或噪声干扰，得到所述待识别图像。
可选的，所述操作还包括：
获取包括公式的训练图像；
利用所述训练图像和所述训练图像的标注信息，训练得到公式识别模型，其中，所述训练图像的标注信息，用于指示所述训练图像中包括的公式，所述公式识别模型，用于识别所述待识别图像中的公式。
第四方面，本申请实施例提供了一种计算机可读介质，其上存储有指令，当由一个或多个处理器执行时，使得装置执行以上第一方面任意一项所述的方法。
与现有技术相比，本申请实施例具有以下优点：
本申请实施例提供了一种公式识别方法，在一个示例中，该方法可以由第一设备执行。第一设备可以获取包括公式的待识别图像，而后，对所述待识别图像进行处理，得到全局图像特征和局部图像特征。进一步地，可以对所述全局图像特征和所述局部图像特征进行处理，得到所述待识别图像中包括的公式。由此可见，在本申请实施例中，识别待识别图像中的公式时，结合了待识别图像的局部图像特征，因此，即使所述待识别图像中公式所包括的字符比较小，利用本申请实施例的方案，也能准确的识别出待识别图像中的公式。因此，利用本方案，能够准确的识别出待识别图像中的公式。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种公式识别方法的流程示意图；
图2为本申请实施例提供的一种卷积神经网络的示意图；
图3为本申请实施例提供的一种解码器的示意图；
图4为本申请实施例提供的一种公式识别装置的结构示意图；
图5为本申请实施例提供的客户端的结构示意图；
图6为本申请实施例提供的服务器的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的发明人经过研究发现，目前，可以利用卷积神经网络识别图像中的公式。但是，卷积神经网络中的池化层在对图像进行处理时，会降低图像的分辨率。因此，若图像中的字符的分辨率本身就比较低，例如用户手写的公式中部分字符比较小，则经过池化层的处理之后，无法很好地提取该字符的特征，从而导致识别结果不准确。
为了解决上述问题，本申请实施例提供了一种公式识别方法，即使待识别图像中公式所包括的字符的分辨率较低，也能够准确的识别出待识别图像中的公式。
下面结合附图，详细说明本申请的各种非限制性实施方式。
示例性方法
参见图1，该图为本申请实施例提供的一种公式识别方法的流程示意图。
图1所示的方法，例如可以由第一设备执行，此处提及的第一设备包括但不限于终端设备和服务器。此处提及的终端设备，例如可以是台式计算机，又如可以是智能手机等移动终端。
在本实施例中，所述方法例如可以包括以下步骤：S101-S103。
S101：获取包括公式的待识别图像。
此处提及的待识别图像，可以是图像拍摄设备拍摄的图像。此处提及的待识别图像中包括的公式，可以是手写体，也可以是印刷体，此处不做限定。
在一个示例中，考虑到图像拍摄设备拍摄的图像中，可能会包括例如拍摄背景等冗余信息和/或噪声干扰，而图像中的冗余信息以及噪声干扰会影响公式识别的准确性。因此，在一些实施例中，S101在具体实现时，例如可以首先获取包括公式的原始图像，而后，去除所述原始图像中的冗余信息和/或噪声干扰，从而得到所述待识别图像。此处提及的原始图像，例如可以是图像拍摄设备拍摄、且未经过图像处理的图像。其中，上述去除所述原始图像中的冗余信息和/或噪声干扰的过程，可以认为是对所述原始图像进行预处理。
本申请实施例不具体限定对所述原始图像进行预处理的具体方式。在一些实施例中，对所述原始图像进行预处理，例如可以是对所述原始图像执行均衡化、裁剪、颜色处理、旋转、亮度调整以及对比度调整等其中一项或者多项操作。可以理解的是，对原始图像进行预处理，能够尽可能去除原始图像中的冗余信息和/或噪声干扰，从而使得所述原始图像中的公式能够更容易的被识别。
S102：对所述待识别图像进行处理，得到全局图像特征和局部图像特征。
在本申请实施例中，获取所述待识别图像之后，可以利用图像处理技术对所述待识别图像进行处理，得到所述全局图像特征和局部图像特征。
在一个示例中，可以利用卷积神经网络对所述待识别图像进行处理，在本申请实施例中，所述卷积神经网络对所述待识别图像进行处理得到的图像特征，包括多尺度的图像特征，既包括全局(英文：global)图像特征，也包括局部(英文：local)图像特征。其中，全局图像特征可以体现为全局特征向量，局部图像特征可以体现为局部特征向量。正是因为所述卷积神经网络能够获得局部图像特征，因此，即使待识别图像中公式所包括的字符的比较小，利用所述卷积神经网络，也能够比较好的保留所述字符所在的图像区域的图像特征。相应的，在识别所述待识别图像中的公式时，，能够结合所述全局图像特征和局部图像特征，从而准确的识别出待识别图像中的公式。
在一个示例中，所述卷积神经网络包括M个卷积层和N个池化层，其中，M和N均为大于或者等于1的整数。其中，所述M个卷积层和所述N个池化层用于对所述待识别图像进行处理，得到所述全局图像特征，所述M个卷积层和所述N个池化层中的部分池化层用于对所述待识别图像进行处理，得到所述局部图像特征。可以理解的是，由于池化层对待识别图像进行处理时，会降低特征的分辨率，因此，利用M个卷积层和N个池化层中的部分池化层进行处理，能够保留更高的特征分辨率，从而得到局部图像特征。
在一个示例中，所述M和N可以相同。即，所述卷积神经网络包括M个卷积层和M个池化层。并且，在M大于或者等于2时，利用M个卷积层和(M-1)个池化层对待识别图像进行处理，从而得到局部图像特征。例如，当M等于5时，利用5个卷积层和5个池化层对待识别图像进行处理，得到全局图像特征，利用5个卷积层和4个池化层对待识别图像进行处理，得到局部图像特征。
在一个示例中，一个卷积层和一个池化层可以构成一个卷积池化层。为方便理解，可结合图2进行理解。图2为本申请实施例提供的一种卷积神经网络的示意图。如图2所示，卷积神经网络包括卷积池化层201、202、203、204和205。其中，卷积池化层201的输入为待识别图像，卷积池化层201的输出为卷积池化层202的输入，卷积池化层202的输出为卷积池化层203的输入，卷积池化层203的输出为卷积池化层204的输入，卷积池化层204的输出，为卷积池化层205中的输入，该卷积池化层205中的卷积层2051输出局部图像特征，该卷积池化层205输出全局图像特征。
本申请实施例不具体限定所述卷积神经网络，在一个示例中，考虑到DenseNet加强了特征提取并促进了梯度传播，因此，所述卷积神经网络例如可以是DenseNet。
S103：对所述全局图像特征和所述局部图像特征进行处理，得到所述待识别图像中所包括的公式。
在本申请实施例中，获取所述全局图像特征和所述局部图像特征之后，可以利用图像处理技术对所述全局图像特征和所述局部图像特征进行处理，得到所述待识别图像中所包括的公式。
在一个示例中，可以利用解码器对所述全局图像特征和所述局部图像特征进行处理，得到所述待识别图像中所包括的公式。
本申请实施例中对所述解码器不做限定。在一个示例中，所述解码器可以为Transformer模型中的解码器。关于Transformer模型中的解码器，此处不做详细描述。
在又一个示例中，所述解码器可以包括：第一门循环单元(Gate Recurrent Unit，GRU)层和第二GRU层。
其中：所述卷积神经网络输出的全局图像特征和局部图像特征同时作为所述第一GRU层和所述第二GRU层的输入，另外，所述第一GRU层对所述全局图像特征和所述局部图像特征进行处理得到的隐藏向量，也作为所述第二GRU层的输入。
在本申请实施例中，所述第一GRU层可以引入覆盖注意力(英文：coverageattention)机制，这样一来，所述第一GRU层得到的隐藏向量，除了能够携带特征信息之外，还可以用于指示所述全局图像特征和所述局部图像特征中未被解码的内容。
需要说明的是，解码器的解码过程，可以看成是一个迭代过程。假设第二解码时刻为第一解码时刻的前一个解码时刻，则：
在第一解码时刻，第一GRU层的输入，除了包括前述全局图像特征和所述局部图像特征之外，还可以包括所述第一GRU层在第二解码时刻输出的隐藏向量。可以理解的是，所述第一GRU层在第二解码时刻输出的隐藏向量，能够用于指示第一解码时刻所述全局图像特征和所述局部图像特征中未被解码的内容。因此，第一GRU层在第一解码时刻进行解码时，能够根据所述第一GRU层在第二解码时刻输出的隐藏向量，重点关注所述全局图像特征和所述局部图像特征中未被解码的内容，并且，避免对所述全局图像特征和所述局部图像特征中已经被解码的内容进行重复解码，提升解码效率。
类似的，在第一解码时刻，第二GRU层的输入，除了包括前述全局图像特征、所述局部图像特征以及第一GRU层在第一解码时刻输出的隐藏向量之外，还可以包括所述第二GRU层在第二解码时刻输出的隐藏向量。
在本申请实施例的一种实现方式中，所述第二GRU层也可以引入覆盖注意力机制，这样一来，所述第二GRU层在第二解码时刻得到的隐藏向量，除了能够携带特征信息之外，还可以用于指示第一解码时刻所述全局图像特征和所述局部图像特征中未被解码的内容。这样一来，在第一解码时刻，第二GRU层即可根据所述第二GRU层在第二解码时刻得到的隐藏向量，确定在所述第一解码时刻所述全局图像特征和所述局部图像特征中未被解码的内容，从而使得第二GRU层在进行解码时，能够重点关注所述全局图像特征和所述局部图像特征中未被解码的内容，避免对所述全局图像特征和所述局部图像特征中已经被解码的内容进行重复解码，进一步提升解码效率。
可以理解的是，在最后一个解码时刻，所述第二GRU层能够输出所述公式识别模型的识别结果。
关于前述解码器，可以参考图3进行理解，图3为本申请实施例提供的一种解码器的示意图。如图3所示，所述解码器包括GRU层301和GRU层302，关于GRU层301的输入和输出，所述GRU层302的输入和输出，可以参考上文的描述部分，此处不再重复描述。
在本申请实施例的一种实现方式中，执行S103之后，可以得到latex格式的公式文本。
在一个示例中，前述卷积神经网络和解码器，可以构成一个公式识别模型，其中，该公式识别模型包括编码器(encoder)和解码器(decoder)。该编码器体现为前述卷积神经网络。
因此，在一个示例中，S102-S103在具体实现时，可以将所述待识别图像输入公式识别模型，得到所述待识别图像中包括的公式，其中：所述公式识别模型包括编码器和解码器，所述编码器用于对所述待识别图像进行处理，得到全局图像特征和局部图像特征，所述解码器用于对所述全局图像特征和所述局部图像特征进行处理，得到所述待识别图像中包括的公式。
本申请实施例中的公式识别模型包括编码器和解码器。其中，编码器的输入为所述公式识别模型的输入，解码器的输出为所述公式识别模型的输出。具体地：
编码器的输入为所述待识别图像，编码器可以对所述待识别图像进行处理，得到所述待识别图像的图像特征。编码器的输出作为解码器的输入，解码器对编码器输出的图像特征进行处理，得到待识别图像中的公式。
关于所述编码器和解码器，可以参考前文的描述部分，此处不再重复描述。
需要说明的是，前述公式识别模型，可以是预先训练得到的。接下来，对训练所述公式识别模型的具体实现进行说明。
在本申请实施例中，可以获取包括公式的训练图像，并对所述训练图像中的公式进行标注，即：为所述训练图像添加标注信息，该标注信息用于指示所述训练图像中所包括的公式。在对所述训练图像进行标注时，可以标注出该公式中包括的各种类型的字符，例如，标注出该公式中的运算符和运算数。此处提及的训练图像的标注信息，例如可以是latex格式的字符串。
对训练图像进行标注之后，可以根据所述训练图像和所述训练图像的标注信息，进行模型训练，从而得到所述公式识别模型。另外，在训练所述公式识别模型时，还可以将训练样本划分成训练集和验证集，基于训练集中包括的训练样本进行训练，基于验证集中的训练样本验证训练得到的模型识别公式的准确性，在所述准确性高于一定的阈值例如95％时，停止训练。
在一些实施例中，考虑到训练样本的数量，能够对模型训练的效果产生一定的影响。一般情况下，训练样本越多，训练得到的公式识别模型的识别准确率越高。因此，在一个示例中，对于一个训练图像而言，可以对该训练图像进行相应的处理，从而得到更多的训练样本。例如：可以对第一训练图像执行旋转、加噪声、亮度调整、对比度调整、公式中的字体颜色调整、图像背景调整、扭曲等其中一项或者多项操作，从而得到多个训练样本。可以理解的是，对第一训练图像进行数据增强的预处理，可以增加样本图像的多样性以及鲁棒性，从而对多种背景的图像以及带有很多干扰信息的图像，训练得到的公式识别模型也能更容易的识别出其中所包括的公式。
示例性设备
基于以上实施例提供的方法，本申请实施例还提供了一种装置，以下结合附图介绍该装置。
参见图4，该图为本申请实施例提供的一种公式识别装置的结构示意图。所述装置400例如可以具体包括：第一获取单元401、第一处理单元402和第二处理单元403。
第一获取单元401，用于获取包括公式的待识别图像；
第一处理单元402，用于对所述待识别图像进行处理，得到全局图像特征和局部图像特征；
第二处理单元403，用于对所述全局图像特征和所述局部图像特征进行处理，得到所述待识别图像中包括的公式。
可选的，所述第一处理单元402，用于：
利用卷积神经网络的M个卷积层和N个池化层对所述待识别图像进行处理，得到所述全局图像特征；M和N均为大于或者等于1的整数；
所述M个卷积层和所述N个池化层中的部分池化层对所述待识别图像进行处理，得到所述局部图像特征。
可选的，所述卷积神经网络为：DenseNet。
可选的，所述第二处理单元403通过解码器实现，所述解码器包括：第一门循环单元GRU层和第二GRU层，其中：
在第一解码时刻：
所述第一GRU层的输入包括：所述全局图像特征、所述局部图像特征、以及所述第一GRU层在第二解码时刻得到的隐藏向量，所述第二解码时刻为所述第一解码时刻的上一解码时刻，所述第一GRU层在第二解码时刻得到的隐藏向量，能够指示所述第一解码时刻所述全局图像特征和所述局部图像特征中未被解码的内容；所述第二GRU层的输入包括：所述全局图像特征和所述局部图像特征以及所述第一GRU层在所述第一解码时刻输出的隐藏向量；
所述解码器的输出为所述第二GRU层在最后一个解码时刻得到的解码结果。
可选的，在第一解码时刻，所述第二GRU层的输入还包括：
所述第二GRU层在所述第二解码时刻得到的隐藏向量，其中，所述第二GRU层在所述第二解码时刻得到的隐藏向量，能够指示在所述第一解码时刻所述全局图像特征和所述局部图像特征中未被解码的内容。
可选的，所述解码器为Transformer模型中的解码器。
可选的，所述第一获取单元401，用于：
获取包括公式的原始图像，去除所述原始图像中的冗余信息和/或噪声干扰，得到所述待识别图像。
可选的，所述装置还包括：
第二获取单元，用于获取包括公式的训练图像；
训练单元，用于利用所述训练图像和所述训练图像的标注信息，训练得到公式识别模型，其中，所述训练图像的标注信息，用于指示所述训练图像中包括的公式，所述公式识别模型，用于识别所述待识别图像中的公式。
由于所述装置400是与以上方法实施例提供的方法对应的装置，所述装置400的各个单元的具体实现，均与以上方法实施例为同一构思，因此，关于所述装置400的各个单元的具体实现，可以参考以上方法实施例的描述部分，此处不再赘述。
本申请实施例提供的方法，可以由客户端执行也可以由服务器执行，以下对执行上述方法的客户端和服务器分别进行说明。
图5示出了一种客户端500的框图。例如，客户端500可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图5，客户端500可以包括以下一个或多个组件：处理组件502，存储器504，电源组件506，多媒体组件508，音频组件510，输入/输出(I/O)的接口512，传感器组件514，以及通信组件516。
处理组件502通常控制客户端500的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理元件502可以包括一个或多个处理器520来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件502可以包括一个或多个模块，便于处理组件502和其他组件之间的交互。例如，处理部件502可以包括多媒体模块，以方便多媒体组件508和处理组件502之间的交互。
存储器504被配置为存储各种类型的数据以支持在客户端500的操作。这些数据的示例包括用于在客户端500上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器504可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件506为客户端500的各种组件提供电力。电源组件506可以包括电源管理系统，一个或多个电源，及其他与为客户端500生成、管理和分配电力相关联的组件。
多媒体组件508包括在所述客户端500和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件508包括一个前置摄像头和/或后置摄像头。当客户端500处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件510被配置为输出和/或输入音频信号。例如，音频组件510包括一个麦克风(MIC)，当客户端500处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器504或经由通信组件516发送。在一些实施例中，音频组件510还包括一个扬声器，用于输出音频信号。
I/O接口为处理组件502和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件514包括一个或多个传感器，用于为客户端500提供各个方面的状态评估。例如，传感器组件514可以检测到设备500的打开/关闭状态，组件的相对定位，例如所述组件为客户端500的显示器和小键盘，传感器组件514还可以检测客户端500或客户端500一个组件的位置改变，用户与客户端500接触的存在或不存在，客户端500方位或加速/减速和客户端500的温度变化。传感器组件514可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件514还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件514还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件516被配置为便于客户端500和其他设备之间有线或无线方式的通信。客户端500可以接入基于通信标准的无线网络，如WiFi，2G或5G，或它们的组合。在一个示例性实施例中，通信部件516经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信部件516还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在一个示例性实施例中，客户端500可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行下述方法：
获取包括公式的待识别图像；
对所述待识别图像进行处理，得到全局图像特征和局部图像特征；
对所述全局图像特征和所述局部图像特征进行处理，得到所述待识别图像中包括的公式。
可选的，所述对所述待识别图像进行处理，得到全局图像特征和局部图像特征包括：
利用卷积神经网络的M个卷积层和N个池化层对所述待识别图像进行处理，得到所述全局图像特征；M和N均为大于或者等于1的整数；
所述M个卷积层和所述N个池化层中的部分池化层对所述待识别图像进行处理，得到所述局部图像特征。
可选的，所述卷积神经网络为：DenseNet。
可选的，所述对所述全局图像特征和所述局部图像特征进行处理，得到所述待识别图像中包括的公式通过解码器实现，所述解码器包括：第一门循环单元GRU层和第二GRU层，其中：
在第一解码时刻：
所述第一GRU层的输入包括：所述全局图像特征、所述局部图像特征、以及所述第一GRU层在第二解码时刻得到的隐藏向量，所述第二解码时刻为所述第一解码时刻的上一解码时刻，所述第一GRU层在第二解码时刻得到的隐藏向量，能够指示所述第一解码时刻所述全局图像特征和所述局部图像特征中未被解码的内容；所述第二GRU层的输入包括：所述全局图像特征和所述局部图像特征以及所述第一GRU层在所述第一解码时刻输出的隐藏向量；
所述解码器的输出为所述第二GRU层在最后一个解码时刻得到的解码结果。
可选的，在第一解码时刻，所述第二GRU层的输入还包括：
所述第二GRU层在所述第二解码时刻得到的隐藏向量，其中，所述第二GRU层在所述第二解码时刻得到的隐藏向量，能够指示在所述第一解码时刻所述全局图像特征和所述局部图像特征中未被解码的内容。
可选的，所述解码器为Transformer模型中的解码器。
可选的，所述获取包括公式的待识别图像，包括：
获取包括公式的原始图像，去除所述原始图像中的冗余信息和/或噪声干扰，得到所述待识别图像。
可选的，所述方法还包括：
获取包括公式的训练图像；
利用所述训练图像和所述训练图像的标注信息，训练得到公式识别模型，其中，所述训练图像的标注信息，用于指示所述训练图像中包括的公式，所述公式识别模型，用于识别所述待识别图像中的公式。
图6是本申请实施例中服务器的结构示意图。该服务器600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processing units，CPU)622(例如，一个或一个以上处理器)和存储器632，一个或一个以上存储应用程序642或数据644的存储介质630(例如一个或一个以上海量存储设备)。其中，存储器632和存储介质630可以是短暂存储或持久存储。存储在存储介质630的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器622可以设置为与存储介质630通信，在服务器600上执行存储介质630中的一系列指令操作。
更进一步地，在一个示例中，中央处理器422可以执行下述方法：
获取包括公式的待识别图像；
对所述待识别图像进行处理，得到全局图像特征和局部图像特征；
对所述全局图像特征和所述局部图像特征进行处理，得到所述待识别图像中包括的公式。
可选的，所述对所述待识别图像进行处理，得到全局图像特征和局部图像特征包括：
利用卷积神经网络的M个卷积层和N个池化层对所述待识别图像进行处理，得到所述全局图像特征；M和N均为大于或者等于1的整数；
所述M个卷积层和所述N个池化层中的部分池化层对所述待识别图像进行处理，得到所述局部图像特征。
可选的，所述卷积神经网络为：DenseNet。
可选的，所述对所述全局图像特征和所述局部图像特征进行处理，得到所述待识别图像中包括的公式通过解码器实现，所述解码器包括：第一门循环单元GRU层和第二GRU层，其中：
在第一解码时刻：
所述第一GRU层的输入包括：所述全局图像特征、所述局部图像特征、以及所述第一GRU层在第二解码时刻得到的隐藏向量，所述第二解码时刻为所述第一解码时刻的上一解码时刻，所述第一GRU层在第二解码时刻得到的隐藏向量，能够指示所述第一解码时刻所述全局图像特征和所述局部图像特征中未被解码的内容；所述第二GRU层的输入包括：所述全局图像特征和所述局部图像特征以及所述第一GRU层在所述第一解码时刻输出的隐藏向量；
所述解码器的输出为所述第二GRU层在最后一个解码时刻得到的解码结果。
可选的，在第一解码时刻，所述第二GRU层的输入还包括：
所述第二GRU层在所述第二解码时刻得到的隐藏向量，其中，所述第二GRU层在所述第二解码时刻得到的隐藏向量，能够指示在所述第一解码时刻所述全局图像特征和所述局部图像特征中未被解码的内容。
可选的，所述解码器为Transformer模型中的解码器。
可选的，所述获取包括公式的待识别图像，包括：
获取包括公式的原始图像，去除所述原始图像中的冗余信息和/或噪声干扰，得到所述待识别图像。
可选的，所述方法还包括：
获取包括公式的训练图像；
利用所述训练图像和所述训练图像的标注信息，训练得到公式识别模型，其中，所述训练图像的标注信息，用于指示所述训练图像中包括的公式，所述公式识别模型，用于识别所述待识别图像中的公式。
服务器600还可以包括一个或一个以上电源626，一个或一个以上有线或无线网络接口650，一个或一个以上输入输出接口656，一个或一个以上键盘656，和/或，一个或一个以上操作系统641，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。
本申请实施例还提供了一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行一种公式识别方法，所述方法包括：
获取包括公式的待识别图像；
对所述待识别图像进行处理，得到全局图像特征和局部图像特征；
对所述全局图像特征和所述局部图像特征进行处理，得到所述待识别图像中包括的公式。
可选的，所述对所述待识别图像进行处理，得到全局图像特征和局部图像特征包括：
利用卷积神经网络的M个卷积层和N个池化层对所述待识别图像进行处理，得到所述全局图像特征；M和N均为大于或者等于1的整数；
所述M个卷积层和所述N个池化层中的部分池化层对所述待识别图像进行处理，得到所述局部图像特征。
可选的，所述卷积神经网络为：DenseNet。
可选的，所述对所述全局图像特征和所述局部图像特征进行处理，得到所述待识别图像中包括的公式通过解码器实现，所述解码器包括：第一门循环单元GRU层和第二GRU层，其中：
在第一解码时刻：
所述第一GRU层的输入包括：所述全局图像特征、所述局部图像特征、以及所述第一GRU层在第二解码时刻得到的隐藏向量，所述第二解码时刻为所述第一解码时刻的上一解码时刻，所述第一GRU层在第二解码时刻得到的隐藏向量，能够指示所述第一解码时刻所述全局图像特征和所述局部图像特征中未被解码的内容；所述第二GRU层的输入包括：所述全局图像特征和所述局部图像特征以及所述第一GRU层在所述第一解码时刻输出的隐藏向量；
所述解码器的输出为所述第二GRU层在最后一个解码时刻得到的解码结果。
可选的，在第一解码时刻，所述第二GRU层的输入还包括：
所述第二GRU层在所述第二解码时刻得到的隐藏向量，其中，所述第二GRU层在所述第二解码时刻得到的隐藏向量，能够指示在所述第一解码时刻所述全局图像特征和所述局部图像特征中未被解码的内容。
可选的，所述解码器为Transformer模型中的解码器。
可选的，所述获取包括公式的待识别图像，包括：
获取包括公式的原始图像，去除所述原始图像中的冗余信息和/或噪声干扰，得到所述待识别图像。
可选的，所述方法还包括：
获取包括公式的训练图像；
利用所述训练图像和所述训练图像的标注信息，训练得到公式识别模型，其中，所述训练图像的标注信息，用于指示所述训练图像中包括的公式，所述公式识别模型，用于识别所述待识别图像中的公式。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制
以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种公式识别方法，其特征在于，所述方法包括：
获取包括公式的待识别图像；
对所述待识别图像进行处理，得到全局图像特征和局部图像特征；
对所述全局图像特征和所述局部图像特征进行处理，得到所述待识别图像中包括的公式。
2.根据权利要求1所述的方法，其特征在于，所述对所述待识别图像进行处理，得到全局图像特征和局部图像特征包括：
利用卷积神经网络的M个卷积层和N个池化层对所述待识别图像进行处理，得到所述全局图像特征；M和N均为大于或者等于1的整数；
所述M个卷积层和所述N个池化层中的部分池化层对所述待识别图像进行处理，得到所述局部图像特征。
3.根据权利要求2所述的方法，其特征在于，所述卷积神经网络为：DenseNet。
4.根据权利要求1所述的方法，其特征在于，所述对所述全局图像特征和所述局部图像特征进行处理，得到所述待识别图像中包括的公式通过解码器实现，所述解码器包括：第一门循环单元GRU层和第二GRU层，其中：
在第一解码时刻：
所述第一GRU层的输入包括：所述全局图像特征、所述局部图像特征、以及所述第一GRU层在第二解码时刻得到的隐藏向量，所述第二解码时刻为所述第一解码时刻的上一解码时刻，所述第一GRU层在第二解码时刻得到的隐藏向量，能够指示所述第一解码时刻所述全局图像特征和所述局部图像特征中未被解码的内容；所述第二GRU层的输入包括：所述全局图像特征和所述局部图像特征以及所述第一GRU层在所述第一解码时刻输出的隐藏向量；
所述解码器的输出为所述第二GRU层在最后一个解码时刻得到的解码结果。
5.根据权利要求4所述的方法，其特征在于，在第一解码时刻，所述第二GRU层的输入还包括：
所述第二GRU层在所述第二解码时刻得到的隐藏向量，其中，所述第二GRU层在所述第二解码时刻得到的隐藏向量，能够指示在所述第一解码时刻所述全局图像特征和所述局部图像特征中未被解码的内容。
6.根据权利要求4所述的方法，其特征在于，所述解码器为Transformer模型中的解码器。
7.根据权利要求1所述的方法，其特征在于，所述获取包括公式的待识别图像，包括：
获取包括公式的原始图像，去除所述原始图像中的冗余信息和/或噪声干扰，得到所述待识别图像。
8.一种公式识别装置，其特征在于，所述装置包括：
第一获取单元，用于获取包括公式的待识别图像；
第一处理单元，用于对所述待识别图像进行处理，得到全局图像特征和局部图像特征；
第二处理单元，用于对所述全局图像特征和所述局部图像特征进行处理，得到所述待识别图像中包括的公式。
9.一种公式识别装置，其特征在于，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：
获取包括公式的待识别图像；
对所述待识别图像进行处理，得到全局图像特征和局部图像特征；
对所述全局图像特征和所述局部图像特征进行处理，得到所述待识别图像中包括的公式。
10.一种计算机可读介质，其上存储有指令，当由一个或多个处理器执行时，使得装置执行权利要求1至7任意一项所述的方法。
CN202110322524.2A 2021-03-25 2021-03-25 一种公式识别方法及装置 Active CN113033538B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110322524.2A CN113033538B (zh) 2021-03-25 2021-03-25 一种公式识别方法及装置
PCT/CN2021/103569 WO2022198828A1 (zh) 2021-03-25 2021-06-30 一种公式识别方法及装置
US18/300,031 US20230252778A1 (en) 2021-03-25 2023-04-13 Formula recognition method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110322524.2A CN113033538B (zh) 2021-03-25 2021-03-25 一种公式识别方法及装置

Publications (2)

Publication Number Publication Date
CN113033538A true CN113033538A (zh) 2021-06-25
CN113033538B CN113033538B (zh) 2024-05-10

Family

ID=76473969

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110322524.2A Active CN113033538B (zh) 2021-03-25 2021-03-25 一种公式识别方法及装置

Country Status (3)

Country Link
US (1) US20230252778A1 (zh)
CN (1) CN113033538B (zh)
WO (1) WO2022198828A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113743315A (zh) * 2021-09-07 2021-12-03 电子科技大学 一种基于结构增强的手写体初等数学公式识别方法
WO2022198828A1 (zh) * 2021-03-25 2022-09-29 北京搜狗科技发展有限公司 一种公式识别方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108334892A (zh) * 2017-12-26 2018-07-27 新智数字科技有限公司 一种基于卷积神经网络的车型识别方法、装置及设备
US20190130257A1 (en) * 2017-10-27 2019-05-02 Sentient Technologies (Barbados) Limited Beyond Shared Hierarchies: Deep Multitask Learning Through Soft Layer Ordering
CN110084239A (zh) * 2019-04-10 2019-08-02 中国科学技术大学 降低离线手写数学公式识别时网络训练过拟合的方法
US20200082271A1 (en) * 2017-11-30 2020-03-12 Tencent Technology (Shenzhen) Company Limited Summary generation method, summary generation model training method, and computer device
CN111161724A (zh) * 2019-12-16 2020-05-15 爱驰汽车有限公司 中文视听结合语音识别方法、系统、设备及介质
US20200250513A1 (en) * 2019-02-04 2020-08-06 Bank Of America Corporation Neural network image recognition with watermark protection
CN111860235A (zh) * 2020-07-06 2020-10-30 中国科学院空天信息创新研究院 高低层特征融合的注意力遥感图像描述的生成方法及系统
US20210089912A1 (en) * 2019-03-06 2021-03-25 Applied Brain Research Inc. Legendre memory units in recurrent neural networks

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106548145A (zh) * 2016-10-31 2017-03-29 北京小米移动软件有限公司 图像识别方法及装置
US11003892B2 (en) * 2018-11-09 2021-05-11 Sap Se Landmark-free face attribute prediction
CN111046751B (zh) * 2019-11-22 2024-02-13 华中师范大学 公式识别方法和装置
CN111368773A (zh) * 2020-03-12 2020-07-03 广东小天才科技有限公司 数学公式识别方法及装置、终端设备和可读存储介质
CN113033538B (zh) * 2021-03-25 2024-05-10 北京搜狗科技发展有限公司 一种公式识别方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190130257A1 (en) * 2017-10-27 2019-05-02 Sentient Technologies (Barbados) Limited Beyond Shared Hierarchies: Deep Multitask Learning Through Soft Layer Ordering
US20200082271A1 (en) * 2017-11-30 2020-03-12 Tencent Technology (Shenzhen) Company Limited Summary generation method, summary generation model training method, and computer device
CN108334892A (zh) * 2017-12-26 2018-07-27 新智数字科技有限公司 一种基于卷积神经网络的车型识别方法、装置及设备
US20200250513A1 (en) * 2019-02-04 2020-08-06 Bank Of America Corporation Neural network image recognition with watermark protection
US20210089912A1 (en) * 2019-03-06 2021-03-25 Applied Brain Research Inc. Legendre memory units in recurrent neural networks
CN110084239A (zh) * 2019-04-10 2019-08-02 中国科学技术大学 降低离线手写数学公式识别时网络训练过拟合的方法
CN111161724A (zh) * 2019-12-16 2020-05-15 爱驰汽车有限公司 中文视听结合语音识别方法、系统、设备及介质
CN111860235A (zh) * 2020-07-06 2020-10-30 中国科学院空天信息创新研究院 高低层特征融合的注意力遥感图像描述的生成方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JIANSHU ZHANG 等: "Multi-Scale Attention with Dense Encoder for Handwritten Mathematical Expression Recognition", ARXIV, pages 1 - 6 *
JIANSHU ZHANG 等: "Watch, attend and parse: An end-to-end neural network based approach to handwritten mathematical expression recognition", ELSEVIER, pages 196 - 206 *
李高平;杨军;陈毅红;: "改进转动惯量特征的快速分形图像编码算法", 计算机工程与应用, no. 24, 11 October 2013 (2013-10-11), pages 148 - 152 *
赵小虎;尹良飞;赵成龙;: "基于全局-局部特征和自适应注意力机制的图像语义描述算法", 浙江大学学报(工学版), no. 01, 8 January 2020 (2020-01-08), pages 131 - 139 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022198828A1 (zh) * 2021-03-25 2022-09-29 北京搜狗科技发展有限公司 一种公式识别方法及装置
CN113743315A (zh) * 2021-09-07 2021-12-03 电子科技大学 一种基于结构增强的手写体初等数学公式识别方法
CN113743315B (zh) * 2021-09-07 2023-07-14 电子科技大学 一种基于结构增强的手写体初等数学公式识别方法

Also Published As

Publication number Publication date
WO2022198828A1 (zh) 2022-09-29
CN113033538B (zh) 2024-05-10
US20230252778A1 (en) 2023-08-10

Similar Documents

Publication Publication Date Title
WO2020199730A1 (zh) 文本识别方法及装置、电子设备和存储介质
CN110287874B (zh) 目标追踪方法及装置、电子设备和存储介质
CN107527059B (zh) 文字识别方法、装置及终端
CN113766313B (zh) 视频数据处理方法及装置、电子设备和存储介质
CN111553864B (zh) 图像修复方法及装置、电子设备和存储介质
US20210224592A1 (en) Method and device for training image recognition model, and storage medium
CN109615006B (zh) 文字识别方法及装置、电子设备和存储介质
CN110781813B (zh) 图像识别方法及装置、电子设备和存储介质
US9959487B2 (en) Method and device for adding font
CN112465843A (zh) 图像分割方法及装置、电子设备和存储介质
US20230252778A1 (en) Formula recognition method and apparatus
CN110619325B (zh) 一种文本识别方法及装置
CN112200040A (zh) 遮挡图像检测方法、装置及介质
CN111754414A (zh) 一种图像处理方法、装置和用于图像处理的装置
CN113920293A (zh) 信息识别方法、装置、电子设备及存储介质
CN111860552A (zh) 基于核自编码器的模型训练方法、装置及存储介质
CN113506325B (zh) 图像处理方法及装置、电子设备和存储介质
CN113506324B (zh) 图像处理方法及装置、电子设备和存储介质
CN112990208B (zh) 一种文本识别方法及装置
CN113807540A (zh) 一种数据处理方法及装置
CN114154395A (zh) 一种模型处理方法、装置和用于模型处理的装置
CN112381223A (zh) 神经网络训练与图像处理方法及装置
CN109388328B (zh) 一种输入方法、装置和介质
CN107526683B (zh) 应用程序功能冗余度的检测方法、装置及存储介质
CN110119652B (zh) 视频的镜头分割方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant