CN115019319A

CN115019319A - 一种基于动态特征提取的结构化图片内容识别方法

Info

Publication number: CN115019319A
Application number: CN202210415242.1A
Authority: CN
Inventors: 付英男; 高明
Original assignee: East China Normal University
Current assignee: East China Normal University
Priority date: 2022-04-20
Filing date: 2022-04-20
Publication date: 2022-09-06

Abstract

本发明公开了一种基于动态特征选择的结构化图片内容识别方法，其特点是采用动态特征选择机制，从大尺寸特征图中选择部分有用的特征向量以去除特征图中的冗余特征，对其进行动态偏移，并将相对位置编码和位置环境信息引入到空间关系编码器中，提取更复杂的字符空间关系，具体包括：1）细粒度视觉特征提取；2）动态特征选择；3）空间关系提取；4）文本解码；5）模型训练等步骤。本发明与现有技术相比具有方法简便，准确率高，不但减小了空间关系编码器的计算开销，还增强了模型的泛化能力，进一步提升了结构化图像内容识别的准确，应用前景良好。

Description

一种基于动态特征提取的结构化图片内容识别方法

技术领域

本发明涉及计算机图片文本识别技术领域，尤其是一种基于动态特征提取的结构化图片内容识别方法。

背景技术

结构化图片内容识别是指将数学公式、化学公式、乐谱等结构化图片的内容转换成文本序列，以便于对其进行编辑、检索等操作。在个性化推荐、音乐检索、自动解题等人工智能场景中具有广泛的应用。结构化图片内容识别相比于传统的文本识别更具挑战，因为它不仅需要从图片中确定所有的字符，还需要判断图片中所有字符之间的空间关系。

最近，基于深度学习的编码器-解码器模型被大量用于解决结构化图片内容识别问题。这些方法大体包括三个模块：抽取输入图片语义特征的视觉编码器(卷积神经网络)、提取字符之间空间关系的空间关系编码器和用来预测输出序列的文本解码器(循环神经网络)。与非深度学习方法相比，编码器-解码器模型在结构化图片内容识别问题中的准确率取得了一定提升，但依然具有如下问题：

1)结构化图片内容识别需要细粒度的视觉特征，通常情况下，绝大多数模型会使用一个带有小感受野的卷积神经网络对输入图片进行编码。然而，这会产生一个大尺寸的特征图，为空间关系编码器带来了巨大的计算开销。尤其是对于带有复杂操作的空间关系编码器来说，计算量往往是不能承受的。针对这一问题，现有方法中有两种解决方案。一种方法是简化位置特征的提取。在Deng等人提出的模型中，通过只考虑同一行内的字符空间关系来降低空间关系编码器的计算开销。然而这种方法忽略了跨行之间的字符空间关系，降低了识别准确率。另一种方法是在保留细粒度特征的同时，尽可能减小视觉编码器特征图的尺寸。Fu等人使用了基于连通域的字符切割算法提取输入图片的字符级特征，与其他方法相比，降低了视觉编码器的特征数量。但对于背景复杂的结构化图片(如乐谱)，连通域分割算法不能正常工作，识别性能显著降低。

2)结构化图片有着非常丰富的空间位置信息，对于图片中的字符，除了在整张图片中的绝对位置之外，还存在着字符与字符之间的相对位置。对于结构化图片内容识别而言，相对位置信息比绝对位置信息更容易推断出字符的空间语义。在现有的结构化图片内容识别方法中，空间关系编码器只使用了绝对位置信息，几乎没有考虑字符之间的相对位置。此外，和一维文本序列不同，二维空间中字符的排列不是紧密相连的，对于一个字符而言，周围是否存在其他字符的位置环境信息也没有被考虑。

发明内容

本发明的目的是针对现有技术的不足而设计的一种基于动态特征提取的结构化图片内容识别方法，采用动态特征选择机制，从大尺寸特征图中选择部分有用的特征向量以减少特征数目，去掉特征图中的冗余特征，然后对其进行动态偏移以增强模型的泛化能力，将相对位置编码和位置环境信息引入到空间关系编码器中，提取到了更复杂的字符空间关系，进一步提升了结构化图像内容识别的准确率，在没有明显增加计算开销的基础上，大大提高了模型对结构化图片中复杂空间关系的获取能力，方法简便，准确率高，具有良好且广泛的应用前景。

本发明的目的是这样实现的：一种基于动态特征提取的结构化图片内容识别方法，其特点是采用动态特征选择机制，从大尺寸特征图中选择部分有用的特征向量以去除特征图中的冗余特征，对其进行动态偏移，并将相对位置编码和位置环境信息引入到空间关系编码器中，提取更复杂的字符空间关系，结构化图片内容的识别具体包括如下步骤：

1)细粒度视觉特征提取：使用小感受野的卷积神经网络提取输入结构化图像的细粒度视觉特征，计算特征图中特征向量的绝对位置编码，将绝对位置编码与细粒度视觉特征进行融合。

2)动态特征选择：使用神经网络判断细粒度视觉特征中每一个特征向量代表的字符类型。定义可用于进行特征选择的损失函数，设定选择特征的比例参数，确定特征图中有效特征的坐标。定义动态偏移分布，将被选择的坐标根据分布进行动态偏移，得到最终的特征向量。

3)空间关系提取：在被选择的特征中，计算每一对特征向量在完整特征图中的相对位置编码。计算每一个特征向量在完整特征图中的位置环境信息。使用融合了相对位置编码和位置环境信息的空间关系提取器提取特征向量之间的空间关系。

4)文本解码：使用用于文本生成的解码模型，解码得到结构化图像内容的文本序列。

5)模型训练：先使用优化器对动态特征选择步骤中的损失函数进行训练，更新相关的部分模型参数。再定义模型的总损失函数，使用优化器对模型的全部参数进行更新，得到结构化图片内容的文本序列。

所述细粒度视觉特征提取步骤中，使用了一个感受野很小的卷积神经网络以便提取到图像中全部的字符细节；在生成的大特征图中，计算每个特征向量的二维坐标，使用嵌入矩阵计算其绝对位置编码，将绝对位置编码与细粒度视觉特征进行融合。

所述动态特征选择步骤中，使用全连接神经网络判断细粒度视觉特征中的每个特征向量在词表中的类别，定义一个特征选择损失函数，设定特征选择的比例参数，确定大特征图中被选中特征的坐标；定义一个动态偏移分布，以每一个坐标为中心按照动态偏移分布进行采样，得到偏移后的坐标，最终确定被选择的特征向量。

所述空间关系提取步骤中，使用嵌入矩阵计算每一对被选择的特征向量的行相对位置编码和列相对位置编码；使用卷积神经网络计算每一个特征向量在一定区域内的位置环境信息，将相对位置编码和位置环境信息引入transformer模型，提取被选择的特征向量之间的空间关系。

所述文本解码步骤中，使用transformer模型，将空间关系提取步骤的结果作为输入，进一步解码得到最终的文本预测结果。

所述模型训练步骤中，使用Adam优化器先对动态特征选择步骤中的特征选择损失函数进行训练，更新相应的部分模型参数，完成训练后，定义模型的总损失函数，使用Adam优化器更新模型的全部参数至总损失函数收敛。

本发明与现有技术相比具有方法简便，准确率高，在计算开销不大的情况下，提高了模型对结构化图片中复杂空间关系的获取能力，提取到了更复杂的字符空间关系，本发明在保留了结构化图片细粒度视觉特征的基础上，使用动态特征选择机制，去掉了特征图中的冗余特征，大幅度减少了空间关系编码器中的计算开销，动态偏移机制提高了模型的泛化能力。在此基础上，把字符特征之间的相对位置信息和字符的位置环境信息引入到空间关系编码器中，进一步提升了结构化图像内容识别的准确，具有良好且广泛的应用前景。

附图说明

图1为为实施例1的结构化图片内容识别流程图。

具体实施方式

本发明在细粒度视觉特征的基础上，使用动态特征选择机制，先从大尺寸特征图中选择部分有用的特征向量以减少特征数目，然后对其进行动态偏移以增强模型的泛化能力。将相对位置编码和位置环境信息引入到空间关系编码器中，在没有明显增加计算开销的基础上，提高了模型对结构化图片中复杂空间关系的获取能力。

结合以下具体实施例和附图，对本发明作进一步的详细说明，实施本发明的过程、条件、实验方法等，除以下专门提及的内容外，均为本领域的普遍知识和公知常识，本发明没有特别限定内容。

实施例1

参阅图1，本发明按下述步骤进行结构化图片内容的识别：

1)细粒度视觉特征提取：将结构化图片输入小感受野的卷积神经网络，提取结构化图像的细粒度视觉特征，计算特征图中的绝对位置编码，并将其和细粒度视觉特征进行融合，其具体步骤如下：

步骤1：使用带小感受野的卷积神经网络，对输入图像进行编码，得到下述(a)式表示的特征图V：

V＝{v^(i,j)|i＝1,...,H；j＝1...,W} (a)；

其中：H和W分别是特征图的高度和宽度。

步骤2：使用两个嵌入矩阵，将每个特征向量v^(i,j)的行、列坐标i和j分别编码为两个d/2维的位置向量，对其拼接后得到d维绝对位置编码向量p^(i,j)。

步骤3：把v^(i,j)和p^(i,j)进行相加，得到下述(b)式表示的细粒度特征集合E：

E＝{e^(i,j)|i＝1,...,H；j＝1,...,W} (b)；

其中，e^(i,j)＝v^(i,j)+p^(i,j)。

2)动态特征选择：使用全连接神经网络预测特征图中每一个特征向量在词典中的字符类型(包括background类型)，定义特征选择损失函数，设定特征选择的比例参数；根据全连接网络的预测结果找出非background类型的特征向量，保留其坐标；定义动态偏移分布，将坐标按照偏移分布采样，用偏移后的坐标从细粒度特征集合中选择特征向量，其具体步骤如下：

步骤4：用全连接神经网络，对e^(i,j)进行字符预测(包括background类型)，得到字符预测的概率分布a^(i,j)。

步骤5：按字符类别将所有特征向量预测的概率分布由下述(c)式做累加并归一化：

其中，k表示第k个字符。

步骤6：将每张图片标签中出现的字符按字符类别统计出现的次数，并由下述(d)式将其进行归一化：

其中，k表示第k个字符。

步骤7：由下述(e)式计算特征选择loss：

其中：α是被选择特征占全体特征的比例；∈表示background的类型；C是词典中所有字符的个数。

步骤8：选择被预测为非background类型的特征向量，并由下述(f)式记录它们的坐标值集合A_loc,A_loc：

A_loc,A_loc＝{(h₁,w₁),(h₂,w₂),...,(h_m,w_m)} (f)。

步骤9：定义坐标(i,j)为中心点的概率分布p(i,j)，按照p(i,j)进行采样，并由下述(g)～(h)式得到(i,j)坐标的偏移坐标：

步骤10：按照步骤9得到的偏移坐标，将步骤3得到的集合E中的向量取出，得到由下述(i)式表示的被选择特征集合A：

3)空间关系提取：计算被选择特征集合中的每一对特征向量的相对位置编码，计算每一个特征向量的位置环境信息，使用融合了相对位置编码和位置环境信息的空间关系提取器提取特征向量之间的空间关系，其具体步骤为：

步骤11：计算集合A中每一对特征向量坐标的行、列相对位置，并使用两个嵌入矩阵对行、列相对位置进行编码。

步骤12：定义一个和原始特征图大小一致的mask矩阵，将集合A中向量坐标的位置记为1，其他位置记为0。

步骤13：使用卷积神经网络对mask矩阵进行编码，输出和mask矩阵大小相等的位置环境信息特征图，并按照A中特征向量的坐标在特征图中选择出对应的向量，得到下述(j)式表示的位置环境信息集合S：

S＝{s₁,s₂,...,s_m} (j)；

其中，s_i是a_i对应的位置环境信息。

步骤14：由下述(k)式定义融合了相对位置编码和位置环境信息的注意力机制：

步骤15：使用transformer模型，并用步骤14定义的注意力机制替换transformer中的原始注意力机制，为步骤10中的A集合编码，输出得到下述(l)式表示的集合U：

U＝{u₁,u₂,...,u_m} (l)。

4)文本解码：使用用于文本生成的解码模型，解码得到结构化图像内容的文本序列，其具体步骤为：

步骤16：使用transformer模型作为解码器，对步骤15输出的特征向量按时间步进行解码，生成结构化图像内容的文本序列。

5)模型训练：先对动态特征选择步骤中的损失函数进行训练至损失函数收敛，然后再定义模型的总损失函数，训练整体模型到总损失函数收敛，其具体步骤为：

步骤17：使用Adam优化器训练步骤7中的损失函数L_sace，更新相应的模型参数，到损失函数L_sace收敛。

步骤18：定义模型的总损失函数为L＝L_sace+L_out。L_sace为步骤7中的损失函数，L_out是使用步骤16的输出结果定义的交叉熵损失函数。

步骤19：使用Adam优化器训练步骤18中的总损失函数L，更新全部模型参数，到损失函数L收敛，得到结构化图片内容的文本序列。

本发明与现有的结构化图片内容识别方法相比具有如下贡献：

1)本发明采用了动态特征选择机制，在卷积神经网络生成的细粒度视觉特征中选择有效的特征进行解码，这在几乎不损失图片细节的情况下减少了视觉特征的数量。此外，动态偏移机制增加了模型的泛化能力。

2)在动态特征选择机制的作用下，只有部分特征输入到了空间关系编码器中，减少了空间关系编码器的计算开销。在此基础上，本发明将字符之间的相对位置特征和位置环境信息引入到了空间关系编码器中，使模型能够捕获结构化图片中字符之间的复杂空间关系。

3)本发明在数学公式数据集、数学方程式数据集和乐谱数据集上进行了大量实验，实验表明，本发明只使用原始特征图中40％～60％的特征向量就可以在三个数据集上取到最好的实验性能。在所有数据集上的识别准确率与现有结构化图片内容识别模型相比具有明显优势。

以上只是对本发明作进一步的说明，并非用以限制本专利，凡为本发明等效实施，均应包含于本专利的权利要求范围之内。

Claims

1. 一种基于动态特征选择的结构化图片内容识别方法，其特征在于采用动态特征选择机制，从大尺寸特征图中选择部分有用的特征向量以去除特征图中的冗余特征，对其进行动态偏移，并将相对位置编码和位置环境信息引入到空间关系编码器中，提取更复杂的字符空间关系，结构化图片内容的识别具体包括如下步骤：

（一）、细粒度视觉特征提取

使用小感受野的卷积神经网络提取输入结构化图像的细粒度视觉特征，计算特征图中特征向量的绝对位置编码，将绝对位置编码与细粒度视觉特征进行融合；

（二）、动态特征选择

使用全连接神经网络判断细粒度视觉特征中每一个特征向量代表的字符类型，定义可用于进行特征选择的损失函数，设定选择特征的比例参数，确定特征图中有效特征的坐标；定义动态偏移分布，将被选择的坐标根据分布进行动态偏移，得到最终的特征向量；

（三）、空间关系提取

在被选择的特征中，计算每一对特征向量在完整特征图中的相对位置编码，计算每一个特征向量在完整特征图中的位置环境信息，使用融合了相对位置编码和位置环境信息的空间关系提取器提取特征向量之间的空间关系；

（四）、文本解码

使用用于文本生成的解码模型，解码得到结构化图像内容的文本序列；

（五）、模型训练

使用优化器对动态特征选择步骤中的损失函数进行训练，更新相关的部分参数，然后定义总损失函数，并使用优化器对全部参数进行更新，得到结构化图片内容的文本序列。

2.根据权利要求1所述的基于动态特征选择的结构化图片内容识别方法，其特征在于所述细粒度视觉特征提取步骤中，小感受野的卷积神经网络提取到图像中全部的字符细节，在生成的大特征图中，计算每个特征向量的二维坐标，使用嵌入矩阵计算其绝对位置编码，将其与细粒度视觉特征进行融合。

3.根据权利要求1所述的基于动态特征选择的结构化图片内容识别方法，其特征在所述动态特征选择步骤中，使用全连接神经网络判断细粒度视觉特征中的每个特征向量在词表中的类别，定义一个特征选择损失函数，设定特征选择的比例参数，确定大特征图中被选中特征的坐标；定义一个动态偏移分布，以每一个坐标为中心按照动态偏移分布进行采样，得到偏移后的坐标，最终确定被选择的特征向量。

4.根据权利要求1所述的基于动态特征选择的结构化图片内容识别方法，其特征在于所述空间关系提取步骤中，使用嵌入矩阵计算每一对被选择的特征向量的行相对位置编码和列相对位置编码，使用卷积神经网络计算每一个特征向量在一定区域内的位置环境信息，并将相对位置编码和位置环境信息引入transformer模型，提取被选择的特征向量之间的空间关系。

5.根据权利要求1所述的基于动态特征选择的结构化图片内容识别方法，其特征在于所述文本解码步骤中，使用transformer模型，将空间关系提取步骤的结果作为输入，进一步解码得到最终的文本预测结果。

6.根据权利要求1所述的基于动态特征选择的结构化图片内容识别方法，其特征在于所述模型训练步骤中，使用Adam优化器先对动态特征选择步骤中的特征选择损失函数进行训练，更新相应的部分模型参数，完成训练后，定义模型的总损失函数，使用Adam优化器更新模型的全部参数至总损失函数收敛。