CN111950453B - 一种基于选择性注意力机制的任意形状文本识别方法 - Google Patents
一种基于选择性注意力机制的任意形状文本识别方法 Download PDFInfo
- Publication number
- CN111950453B CN111950453B CN202010807024.3A CN202010807024A CN111950453B CN 111950453 B CN111950453 B CN 111950453B CN 202010807024 A CN202010807024 A CN 202010807024A CN 111950453 B CN111950453 B CN 111950453B
- Authority
- CN
- China
- Prior art keywords
- text
- attention mechanism
- feature
- image
- feature map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000007246 mechanism Effects 0.000 title claims abstract description 43
- 230000010332 selective attention Effects 0.000 title claims abstract description 25
- 230000003935 attention Effects 0.000 claims abstract description 42
- 230000004927 fusion Effects 0.000 claims abstract description 24
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 23
- 238000013528 artificial neural network Methods 0.000 claims abstract description 16
- 238000010586 diagram Methods 0.000 claims abstract description 15
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 230000002457 bidirectional effect Effects 0.000 claims abstract description 3
- 238000012549 training Methods 0.000 claims description 25
- 239000013598 vector Substances 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 230000001788 irregular Effects 0.000 claims description 5
- 230000015654 memory Effects 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 2
- 238000013518 transcription Methods 0.000 abstract description 8
- 230000035897 transcription Effects 0.000 abstract description 8
- 238000000605 extraction Methods 0.000 description 10
- 238000013135 deep learning Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000009901 attention process Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Abstract
本发明公开了一种基于选择性注意力机制的任意形状文本识别方法，属于计算机视觉领域。该方法包括：输入原始文本图像，对原始文本图像进行预处理，得到原始文本图像的样本集；通过融入通道Attention模块的Backbone CNN对预处理后的原始图像的特征进行编码并输出基本特征编码特征图；针对基本特征编码特征图分别进行文本图像特征编码和文本区域Mask特征编码，并进行双向特征加权融合；通过选择性注意力机制解码融合特征图；输出识别的文本信息。本发明技术方案创新性地提出选择性注意力机制，将文本图像特征的提取和序列化转录的任务集成在一个神经网络之中，大大提升了任意形状文字识别的精度。
Description
技术领域
本发明涉及计算机视觉领域，尤其是一种基于深度学习和选择性注意力机制的任意形状文本识别方法。
背景技术
当前，文字识别方法可以划分为两类，一类是基于传统技术的方法，另一类则是基于深度学习的方法。传统的方法通常采用一种自底向上的处理策略，首先识别出单个字符信息，然后将多个字符组合成文本行。近些年，深度学习技术有了快速的发展，并成功地应用到文字识别任务。这一类方法一般在一个统一的框架中完成图像特征提取和序列化转录的工作，通常依赖于端到端可训练的深度神经网络和大规模的样本集。相比于传统的方法，深度学习方法能够取得更好的识别性能。
主流深度学习文字识别算法通常基于Encoder-Decoder的架构，并结合CTC(Connectionist Temporal Classification)或者注意力(Attention)机制完成序列化转录的工作。由于受限于单一方向的特征切片形式，基于CTC的方法通常无法很好的识别多方向或者任意形状的文字。Attention机制很早就被应用到深度学习领域，如计算机视觉中基于递归注意力机制的增强学习，以及Seq2Seq模型中用于解决背景或上下文对齐的问题。本质上，Attention机制允许模型自动的软搜索与预测目标最相关的特征部分，以此作为解码器当前时刻输入的一部分，从而大幅度提升预测精度。这样的模型天然具备学习视觉特征和词向量之间对齐关系的能力，这也正是OCR任务中序列化转录需要完成的任务。由于Attention机制对于特征切片的方向没有限制，原则上能够识别任意形状的文字。
尽管Attention的方法很大程度上提升了文字识别精度，甚至对于比较难的任意形状文字也有不错的识别性能，但是不得不承认，特定类型的文字识别仍然具有很大的挑战性,如文档图片中的经常出现的印章文字，以及自然场景中任意形状的场景文字等。这一方面由于图片本身的原因造成，如图像分辨率低、模糊、或不均匀光照等，另一方面则来自于文字本身的多样性，如不同的大小、字体、颜色、方向、变换视角以及复杂背景等。如下图是一些典型的具有挑战性的文字样本。另外，尽管Attention机制有强大的对齐输入特征和目标对象的能力，但是由于模型训练时缺乏显示的制约条件，即类似于一种弱监督的学习方式，通常会面临Attention Drift(注意力漂移)的问题，即预测目标与相关联的注意力区域之间出现偏差的现象。
发明内容
本发明涉及一种基于深度学习和选择性注意力机制的任意形状文本识别方法。通过有选择性的二维空间软注意力机制，以自动软搜索的方式获取目标字符相关的特征信息，完成视觉特征与目标字符词向量之间的对齐，较好地解决了Attention模型中普遍存在的注意力漂移(Attention Drift)问题，从而在具有挑战性的任意形状文字识别任务上取得不错的效果。
根据本发明的第一方面，提供一种基于选择性注意力机制的任意形状文本识别方法，所述方法包括：
步骤1：输入原始文本图像，对原始文本图像进行预处理，得到原始文本图像的样本集；
步骤2：通过融入通道注意力机制(Attention)模块的残差骨干卷积神经网络(Backbone CNN)对预处理后的原始图像的基本特征进行编码并输出编码特征图，得到基本图像特征图；
步骤3：针对基本图像特征图分别进行文本图像特征编码和文本区域掩膜(Mask)特征编码，并进行双向特征加权融合，得到融合特征图；
步骤4：通过选择性注意力机制和长短期记忆(LSTM)解码模块，解码融合特征图；
步骤5：输出识别的文本信息。
进一步的，步骤1中，所述对原始图像进行预处理包括但不限于：对原始图像进行长宽比不变的尺寸归一化、边界补0以及数据增强。
进一步的，所述步骤2具体包括：
步骤21：加载残差Backbone CNN预训练模型；
步骤22：将通道Attention模块嵌入到残差Backbone CNN预训练模型的每一个卷积块(Block)中；
步骤23：调整方形的卷积核为特殊的不规则形状；
步骤24：通过样本集对嵌入通道Attention模块的残差Backbone CNN预训练模型进行训练、验证和测试，并根据测试精度表现调整整体网络的深度和宽度，以达到最高的精度；
步骤25：输出基本图像特征图。
进一步的，步骤21中，所述残差Backbone CNN预训练模型为已在大规模的分类图片样本集上训练获得的残差Backbone CNN预训练模型。
进一步的，步骤23中，调整方形的卷积核为特殊的不规则形状包括：将N*N的卷积核调整为N*M的卷积核，其中，N和M为正整数。
进一步的，步骤24中，整体网络的的深度指网络的层数，如34，50，152等，宽度指每一个卷积层的卷积核数量，即对应特征图的通道数量，如256，512，1024等。
进一步的，所述步骤3具体包括：
步骤31：将基本图像特征图分别输入文本图像全卷积神经网络和文本区域Mask全卷积神经网络进行特征编码；
步骤32：分别输出文本图像编码特征图和文本区域Mask编码特征图；
步骤33：将同一融合节点的所有权重值通过归一化指数(softmax)函数进行归一化，转换到0-1之间的值，对文本图像编码特征图和文本区域Mask编码特征图进行加权求和，得到融合特征图。
进一步的，所述文本图像全卷积神经网络在序列损失(Sequence Loss)的监督下进行文本图像特征学习；
文本区域Mask全卷积神经网络在掩膜标签(Mask Label)的监督下，通过掩膜损失(Mask Loss)监督学习文本区域Mask的表示，基于Sequence Loss计算的参数梯度会间接地传播到Mask分支，进行监督学习。
进一步的，所述步骤4具体包括：
步骤41：计算上一时刻LSTM网络隐藏层状态与融合特征图不同位置的特征向量之间的相关度；
步骤42：完成相关度之间的对齐，得到归一化的二维注意力机制权重(AttentionWeights)；
步骤43：利用二维Attention Weights对融合特征图进行加权求和，得到最终的背景向量(Context vector)；
步骤44：背景向量(Context vector)与上一时刻的隐藏层状态以及上一时刻预测字符的词向量一起，经过空间变换后作为LSTM解码器的输入，以完成对当前时刻目标字符的预测。
根据本发明的第二方面，提供一种基于选择性注意力机制的任意形状文本识别系统，所述系统包括：处理器和用于存储可执行指令的存储器；其中，所述处理器被配置为执行所述可执行指令，以执行如以上任一方面所述的一种基于选择性注意力机制的任意形状文本识别方法。
根据本发明的第三方面，提供一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时实现如以上任一方面所述的一种基于选择性注意力机制的任意形状文本识别方法。
本发明的有益效果：
1、多目标监督学习文本特征和区域Mask特征，实现更强大的特征编码器；
2、自动学习特征通道加权权重，完成特征融合，得到更具表示能力的文本图像特征图；
3、选择性二维空间注意力机制，可以有效利用空间背景特征，避免了常见的Attention Drift问题；
4、可以适用于水平、多方向以及任意形状的文字识别；
5、将图像特征提取和序列化转录的工作集成到一个深度网络中，高效地解决了文字识别的任务。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1示出现有技术中常见的任意形状文本。
图2示出根据本发明实施例的算法整体流程图。
图3示出根据本发明实施例的包含了监督学习Loss的算法结构图。
图4示出根据本发明实施例的通道Attention结构示意图。
图5示出根据本发明实施例的双向特征加权融合结构图。
图6示出根据本发明实施例的Attention Decoder结构图。
图7示出根据本发明实施例的2-D Selective Attention结构图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本公开的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。
此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
多个，包括两个或者两个以上。
和/或，应当理解，对于本公开中使用的术语“和/或”，其仅仅是一种描述关联对象的关联关系，表示可以存在三种关系。例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。
本发明涉及一种精确的任意形状文字识别方法。针对任意形状场景文字识别这一难题，本发明技术方案创新性地提出选择性注意力机制，将文本图像特征的提取和序列化转录的任务集成在一个神经网络之中，大大提升了任意形状文字识别的精度。
实施例
如图2-3所示，根据本发明的任意形状文字识别方法具体包括：
第一步：图像预处理
该步骤对输入的图像进行一系列预处理操作，其中最重要的是对图像做长宽比不变的尺寸归一化以及边界补0，使得图像的尺寸能够支持神经网络要求的卷积和下采样等操作，并最大化的保留全局和局部特征信息。
训练时，图像预处理阶段还需要完成必要的数据增强，如图像仿射变换(rotation,shear,scale,等)、颜色扭曲等，使得训练样本的分布更接近于潜在的真实样本生成分布，以缓解可能的数据稀缺性问题，从而提升学习模型的鲁棒性和不变性。预测阶段，则只做图像尺寸的归一化处理。
第二步：Backbone CNN特征编码器
该步骤通过深度卷积神经网络对图像的基本特征进行编码。深度神经网络具有强大的拟合能力，本质上得益于其可以在不同的函数空间中搜索合适的函数形式以及最佳的与之匹配的权重参数，以针对训练目标，在训练集上拟合出最佳的参数化模型，并很好地泛化到测试集上。
本发明针对文本图像的特殊性，在常用的基于残差连接的Backbone CNN的基础上融入通道Attention结构，并针对任意形状文本图片的特点，调整网络的深度、宽度和卷积核的样式，从而更好地提取文本图像中的基础特征，为后续更高级、抽象的特征提取和融合做准备。
1.网络结构、深度与宽度
图4为通道Attention模块的结构图，该结构会嵌入到残差Backbone CNN的每一个Block中。其中Xi、Xo为输入输出特征图，C为该特征图的通道数量，R是一个可调节的超级参数，典型值为16。
为了更好的发挥Backbone CNN在任意形状文字图片样本上的特征提取能力，实际训练中根据测试集上的精度表现来调整整体网络的深度和宽度，以达到最高的精度。这里的深度指网络的层数，如34，50，152等，宽度则指每一个卷积层的卷积核数量，即对应特征图的通道数量，如256，512，1024等。
2.卷积核样式
文本属于特殊的对象，其具有独特的几何特征，如整体尺寸较小且宽长比比较大。基于此，我们调整方形的卷积核(如3x3,5x5)为特殊的不规则形状，如1x3,3x1,1x5,5x1等，以此来提升卷积核学习文本对象特征的能力，从而提升整体Backbone CNN的特征表示能力。
利用Backbone CNN提取图像特征的步骤：
1.第一步加载Backbone CNN预训练模型
该步骤按照迁移学习的思路，加载公开的残差Backbone CNN预训练模型。这些预训练模型通常在大规模的分类图片样本集上训练获得，具有比较强的图像特征提取能力。通过这一步，使我们的Backbone网络具备基本的特征学习能力。
2.在文本图片训练集上对Backbone CNN网络做第二阶段训练
在任意形状文本图片样本集上训练该Backbone网络，以优化学习针对文本图片特征而特殊设计的网络权重部分，即包括上一部分提到的新增的网络结构以及优化后的网络深度和宽度中涉及的参数部分。
第三步：文本图像和文本区域Mask特征提取与融合
该步骤可分为文本特征提取和特征融合两个小步。
第一小步以Backbone CNN网络输出为输入，通过两个特殊设计的全卷积神经网络(FCN)分支，完成文本图像特征和文本区域Mask特征的编码。两个分支并行执行，但是在不同的目标下进行监督训练，侧重于学习提取不同模式的特征信息。Mask分支在Mask Label的监督下，通过Mask Loss监督学习文本区域Mask的表示。文本特征提取分支则在最终Sequence Loss的监督下进行特征学习。另外基于Sequence Loss计算的参数梯度也会间接地传播到Mask分支，进行监督学习。
第二小步对第一小步两个特征提取分支的输出特征图进行融合。该步骤通过创新设计的双向特征加权融合的方式对各个通道的特征信息进行结合，以获取具有更强大表示能力的特征图。其中各个特征图通道的权重参数亦作为整体网络权重的的一部分进行自动优化学习。该步骤特征融合的结果将作为Attention解码器的输入。本质上，这种融合方式也可以理解为一种特征通道Attention机制。具体结构如图5所示。其中，P2-P5为不同尺寸的特征图，ω是通过网络优化学习到的权重值，不同融合节点的输入特征具有不同的权重值。同一融合节点的所有权重值首先通过Softmax函数进行归一化，即转换到0-1之间的值，然后再对所有特征图进行加权求和，以得到融合后的特征图。
第四步：Attention解码器序列化转录。
该步骤以融合后的特征图为输入，借助于Attention机制和LSTM解码模块，完成序列化转录的工作。其中，Attention解码器采用选择性二维空间Attention机制，充分地利用空间上下文特征信息，以选择性地高效学习与目标字符相关的视觉特征，即contextvector(背景上下文向量)。该向量与上一时刻的隐藏层状态以及上一时刻预测字符的词向量一起，经过必要的空间变换后作为LSTM解码器的输入，以完成对当前时刻目标字符的预测。
该Attention机制最大的特点在于直接基于二维Feature Map进行自动地选择性地特征学习。本质上讲，Attention过程包含三个步骤，第一步称为相关度度量，即计算上一时刻LSTM隐藏层状态与特征图不同位置的特征向量之间的相关度；第二步完成相关度之间的对齐，即得到归一化的二维Attention Weights；第三步利用该Weights对特征图进行加权求和，得到最终的背景向量Context vector。由此可见，该Attention机制是通过学习二维Weights直接基于特征图获取最终的特征向量表示，从而有效地避免了通常的二维到一维特征变换带来的空间相关特征损失。
如图6是基于Attention和LSTM的解码器整体结构图，图7是2-D SelectiveAttention的内部结构图。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。
Claims (9)
1.一种基于选择性注意力机制的任意形状文本识别方法，其特征在于，所述方法包括：
步骤1：输入原始文本图像，对原始文本图像进行预处理，得到原始文本图像的样本集；
步骤2：通过融入通道注意力机制模块的残差骨干卷积神经网络对预处理后的原始图像的特征进行编码并输出编码特征图，得到基本图像特征图；
步骤3：针对基本图像特征图分别进行文本图像特征编码和文本区域掩膜特征编码，并进行双向特征加权融合，得到融合特征图；
步骤4：通过选择性注意力机制和长短期记忆网络解码模块，解码融合特征图；
步骤5：输出识别的文本信息，
其中，所述步骤4具体包括：
步骤41：计算上一时刻长短期记忆网络隐藏层状态与融合特征图不同位置的特征向量之间的相关度；
步骤42：完成相关度之间的对齐，得到归一化的二维注意力机制权重；
步骤43：利用二维注意力机制权重对融合特征图进行加权求和，得到最终的背景向量；
步骤44：背景向量与上一时刻的隐藏层状态以及上一时刻预测字符的词向量一起，经过空间变换后作为长短期记忆网络解码器的输入，以完成对当前时刻目标字符的预测。
2.根据权利要求1所述的基于选择性注意力机制的任意形状文本识别方法，其特征在于，所述步骤2具体包括：
步骤21：加载残差骨干卷积神经网络预训练模型；
步骤22：将通道注意力机制模块嵌入到残差骨干卷积神经网络预训练模型的每一个卷积块中；
步骤23：调整方形的卷积核为特殊的不规则形状；
步骤24：通过样本集对嵌入通道注意力机制模块的残差骨干卷积神经网络预训练模型进行训练、验证和测试，并根据测试精度表现调整整体网络的深度和宽度，以达到最高的精度；
步骤25：输出基本图像特征图。
3.根据权利要求2所述的基于选择性注意力机制的任意形状文本识别方法，其特征在于，步骤21中，所述残差骨干卷积神经网络预训练模型为已在大规模的分类图片样本集上训练获得的残差骨干卷积神经网络预训练模型。
4.根据权利要求2所述的基于选择性注意力机制的任意形状文本识别方法，其特征在于，步骤23中，调整方形的卷积核为特殊的不规则形状包括：将N*N的卷积核调整为N*M的卷积核，其中，N和M为正整数。
5.根据权利要求2所述的基于选择性注意力机制的任意形状文本识别方法，其特征在于，步骤24中，整体网络的的深度指网络的层数，宽度指每一个卷积层的卷积核数量。
6.根据权利要求1所述的基于选择性注意力机制的任意形状文本识别方法，其特征在于，所述步骤3具体包括：
步骤31：将基础特征编码特征图分别输入文本图像全卷积神经网络和文本区域掩膜全卷积神经网络进行特征编码；
步骤32：分别输出文本图像编码特征图和文本区域掩膜编码特征图；
步骤33：将同一融合节点的所有权重值通过归一化指数函数进行归一化，转换到0-1之间的值，对文本图像编码特征图和文本区域掩膜编码特征图进行加权求和，得到融合特征图。
7.根据权利要求6所述的基于选择性注意力机制的任意形状文本识别方法，其特征在于，所述文本图像全卷积神经网络在序列损失的监督下进行文本图像特征学习；
文本区域掩膜全卷积神经网络在掩膜标签的监督下，通过掩膜损失监督学习文本区域掩膜的表示，基于序列损失计算的参数梯度会间接地传播到掩膜分支，进行监督学习。
8.一种端到端的图章识别系统，所述系统包括：处理器和用于存储可执行指令的存储器；其中，所述处理器被配置为执行所述可执行指令，以执行如权利要求1至7中任一项所述的一种基于选择性注意力机制的任意形状文本识别方法。
9.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的一种基于选择性注意力机制的任意形状文本识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010807024.3A CN111950453B (zh) | 2020-08-12 | 2020-08-12 | 一种基于选择性注意力机制的任意形状文本识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010807024.3A CN111950453B (zh) | 2020-08-12 | 2020-08-12 | 一种基于选择性注意力机制的任意形状文本识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111950453A CN111950453A (zh) | 2020-11-17 |
| CN111950453B true CN111950453B (zh) | 2024-02-13 |
Family
ID=73332312
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010807024.3A Active CN111950453B (zh) | 2020-08-12 | 2020-08-12 | 一种基于选择性注意力机制的任意形状文本识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111950453B (zh) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112418207B (zh) * | 2020-11-23 | 2024-03-19 | 南京审计大学 | 一种基于自注意力蒸馏的弱监督文字检测方法 |
| CN112541409B (zh) * | 2020-11-30 | 2021-09-14 | 北京建筑大学 | 一种融入注意力的残差网络表情识别方法 |
| CN112381057A (zh) * | 2020-12-03 | 2021-02-19 | 上海芯翌智能科技有限公司 | 手写文字识别方法及装置、存储介质、终端 |
| CN112541501B (zh) * | 2020-12-18 | 2021-09-07 | 北京中科研究院 | 一种基于视觉语言建模网络的场景文字识别方法 |
| CN112580738B (zh) * | 2020-12-25 | 2021-07-23 | 特赞（上海）信息科技有限公司 | 基于改进的AttentionOCR文本识别方法及装置 |
| CN112669204A (zh) * | 2021-01-04 | 2021-04-16 | 北京金山云网络技术有限公司 | 图像处理方法、图像处理模型的训练方法和装置 |
| CN112733768B (zh) * | 2021-01-15 | 2022-09-09 | 中国科学技术大学 | 基于双向特征语言模型的自然场景文本识别方法及装置 |
| CN112801103B (zh) * | 2021-01-19 | 2024-02-27 | 网易（杭州）网络有限公司 | 文本方向识别及文本方向识别模型训练方法、装置 |
| CN112801289A (zh) * | 2021-02-05 | 2021-05-14 | 华南理工大学 | 基于注意力机制的自适应分组卷积神经网络结构设计方法 |
| CN113435240A (zh) * | 2021-04-13 | 2021-09-24 | 北京易道博识科技有限公司 | 一种端到端的表格检测和结构识别方法及系统 |
| CN113221879A (zh) * | 2021-04-30 | 2021-08-06 | 北京爱咔咔信息技术有限公司 | 文本识别及模型训练方法、装置、设备及存储介质 |
| CN113361547A (zh) * | 2021-06-30 | 2021-09-07 | 深圳证券信息有限公司 | 一种签章识别方法、装置、设备及可读存储介质 |
| CN113628127B (zh) * | 2021-07-09 | 2023-11-17 | 中国科学院自动化研究所 | 文字图像高光去除、文字识别方法及装置 |
| CN116311275B (zh) * | 2023-02-16 | 2023-09-19 | 中南民族大学 | 一种基于seq2seq语言模型的文字识别方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109376658A (zh) * | 2018-10-26 | 2019-02-22 | 信雅达系统工程股份有限公司 | 一种基于深度学习的ocr方法 |
| CN109492638A (zh) * | 2018-11-07 | 2019-03-19 | 北京旷视科技有限公司 | 文本检测方法、装置及电子设备 |
| CN109543667A (zh) * | 2018-11-14 | 2019-03-29 | 北京工业大学 | 一种基于注意力机制的文本识别方法 |
| CN110414499A (zh) * | 2019-07-26 | 2019-11-05 | 第四范式（北京）技术有限公司 | 文本位置定位方法和系统以及模型训练方法和系统 |
| CN110765733A (zh) * | 2019-10-24 | 2020-02-07 | 科大讯飞股份有限公司 | 一种文本规整方法、装置、设备及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11074495B2 (en) * | 2013-02-28 | 2021-07-27 | Z Advanced Computing, Inc. (Zac) | System and method for extremely efficient image and pattern recognition and artificial intelligence platform |
-
2020
- 2020-08-12 CN CN202010807024.3A patent/CN111950453B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109376658A (zh) * | 2018-10-26 | 2019-02-22 | 信雅达系统工程股份有限公司 | 一种基于深度学习的ocr方法 |
| CN109492638A (zh) * | 2018-11-07 | 2019-03-19 | 北京旷视科技有限公司 | 文本检测方法、装置及电子设备 |
| CN109543667A (zh) * | 2018-11-14 | 2019-03-29 | 北京工业大学 | 一种基于注意力机制的文本识别方法 |
| CN110414499A (zh) * | 2019-07-26 | 2019-11-05 | 第四范式（北京）技术有限公司 | 文本位置定位方法和系统以及模型训练方法和系统 |
| CN110765733A (zh) * | 2019-10-24 | 2020-02-07 | 科大讯飞股份有限公司 | 一种文本规整方法、装置、设备及存储介质 |
Non-Patent Citations (4)
| Title |
|---|
| Instance Segmentation of Newspaper Elements Using Mask R-CNN;Abdullah Almutairi 等;《 2019 18th IEEE International Conference On Machine Learning And Applications (ICMLA)》;1371-1375 * |
| Recursive Recurrent Nets with Attention Modeling for OCR in the Wild;Chen-Yu Lee 等;《arXiv》;1-10 * |
| 基于深度学习的文本检测与识别;薛昊;《中国优秀硕士学位论文全文数据库 信息科技辑》(第6期);I138-857 * |
| 融入自注意力机制的社交媒体命名实体识别;李明扬 等;《清华大学学报（自然科学版）》;1-7 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111950453A (zh) | 2020-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111950453B (zh) | 一种基于选择性注意力机制的任意形状文本识别方法 | |
| CN110443143B (zh) | 多分支卷积神经网络融合的遥感图像场景分类方法 | |
| US11908244B2 (en) | Human posture detection utilizing posture reference maps | |
| WO2019100723A1 (zh) | 训练多标签分类模型的方法和装置 | |
| CN111783705B (zh) | 一种基于注意力机制的文字识别方法及系统 | |
| WO2019100724A1 (zh) | 训练多标签分类模型的方法和装置 | |
| CN110059586B (zh) | 一种基于空洞残差注意力结构的虹膜定位分割系统 | |
| CN110717851A (zh) | 图像处理方法及装置、神经网络的训练方法、存储介质 | |
| CN108280455B (zh) | 人体关键点检测方法和装置、电子设备、程序和介质 | |
| CN112329760B (zh) | 基于空间变换网络端到端印刷体蒙古文识别翻译的方法 | |
| CN112150493A (zh) | 一种基于语义指导的自然场景下屏幕区域检测方法 | |
| CN116645592B (zh) | 一种基于图像处理的裂缝检测方法和存储介质 | |
| CN113570508A (zh) | 图像修复方法及装置、存储介质、终端 | |
| CN113822951A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN114463759A (zh) | 一种基于无锚框算法的轻量化文字检测方法及装置 | |
| CN114037640A (zh) | 图像生成方法及装置 | |
| Li et al. | Gated auxiliary edge detection task for road extraction with weight-balanced loss | |
| CN113205103A (zh) | 一种轻量级的文身检测方法 | |
| CN116863194A (zh) | 一种足溃疡图像分类方法、系统、设备及介质 | |
| CN110135435B (zh) | 一种基于广度学习系统的显著性检测方法及装置 | |
| Fan et al. | A novel sonar target detection and classification algorithm | |
| CN117037258B (zh) | 面部图像的检测方法、装置、存储介质及电子设备 | |
| Huo et al. | Fast Small Object Detection Algorithm Based on Feature Enhancement and Reconstruction | |
| CN114821558A (zh) | 基于文本特征对齐的多方向文本检测方法 | |
| Yang et al. | A deep learning approach for automated segmentation of magnetic bright points in the solar photosphere |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 100083 office A-501, 5th floor, building 2, yard 1, Nongda South Road, Haidian District, Beijing Applicant after: BEIJING YIDAO BOSHI TECHNOLOGY Co.,Ltd. Address before: 100083 office a-701-1, a-701-2, a-701-3, a-701-4, a-701-5, 7th floor, building 2, No.1 courtyard, Nongda South Road, Haidian District, Beijing Applicant before: BEIJING YIDAO BOSHI TECHNOLOGY Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |