CN113065417A - 基于生成对抗式风格迁移的场景文本识别方法 - Google Patents
基于生成对抗式风格迁移的场景文本识别方法 Download PDFInfo
- Publication number
- CN113065417A CN113065417A CN202110284156.7A CN202110284156A CN113065417A CN 113065417 A CN113065417 A CN 113065417A CN 202110284156 A CN202110284156 A CN 202110284156A CN 113065417 A CN113065417 A CN 113065417A
- Authority
- CN
- China
- Prior art keywords
- scene text
- network
- training
- text recognition
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000013508 migration Methods 0.000 title claims abstract description 44
- 230000005012 migration Effects 0.000 title claims abstract description 44
- 238000012549 training Methods 0.000 claims abstract description 115
- 230000001360 synchronised effect Effects 0.000 claims abstract description 23
- 238000012795 verification Methods 0.000 claims abstract description 7
- 230000007246 mechanism Effects 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 8
- 230000003042 antagnostic effect Effects 0.000 claims description 5
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 238000003786 synthesis reaction Methods 0.000 claims description 4
- 230000009977 dual effect Effects 0.000 claims description 3
- 238000010438 heat treatment Methods 0.000 claims description 3
- 238000002790 cross-validation Methods 0.000 claims description 2
- 238000013528 artificial neural network Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 5
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 125000004122 cyclic group Chemical group 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000005312 nonlinear dynamic Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
- G06V30/413—Classification of content, e.g. text, photographs or tables
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Character Discrimination (AREA)
Abstract
本发明属于场景文本识别领域，涉及一种基于生成对抗式风格迁移的场景文本识别方法，由处理器执行程序指令实现以下步骤：在预热训练阶段，使用第一场景文本图片数据集对一场景文本识别网络实施监督学习训练；在同步训练阶段，在场景文本识别网络输入端设置一个协训网络，并使用第二场景文本图片数据集对协训网络和协训网络和场景文本识别网络组成的整体网络进行基于生成对抗的同步训练；协训网络包括一个为场景文本识别网络提供场景文本图片的生成器；根据在同步训练后场景文本识别网络在验证集上的准确率，选择其模型参数，并在此模型参数下，使用场景文本识别网络识别场景文本图片的文本信息。本发明方法能够有效处理真实数据较少条件下的场景识别问题。
Description
技术领域
本发明属于场景文本识别领域，具体涉及一种采用生成对抗式合成方法进行文本图像识别的方法。
背景技术
场景文本识别是计算机视觉领域的一个重要挑战，它的任务是在自然图像中自动检测和识别文本。在文本检测和识别技术的帮助下，可以解码出视觉影像中的重要语义信息。由于场景文本识别存在巨大的应用价值，近年来在工业界和学术界引起很多人的研究和探索。现有的场景文本识别方法使用的训练数据都是合成的数据。合成数据具有数据量大、标注准确、可扩展性好的优点，但由于与真实数据存在一定差异，从而影响了使用合成数据训练的性能。
发明内容
本发明目的在于提供一种基于生成对抗式风格迁移的场景文本识别，该方法能够有效处理真实数据较少的场景识别问题。
本发明考虑实现图片数据增广的一个方法可以是使用风格迁移的方法，能够将数据从一个风格迁移到另一种风格，在本发明的技术问题中具体是从合成数据迁移到真实数据的风格。然而，单纯的数据增广仍不能直接解决场景文本识别网络的训练问题。本发明主要用于真实数据较少的场景文本识别，提出一种基于生成对抗式风格迁移的场景文本识别方法，由处理器执行程序指令实现以下步骤：
在预热训练阶段，使用第一场景文本图片数据集对一场景文本识别网络实施监督学习训练；
在同步训练阶段，在所述场景文本识别网络输入端设置一个协训网络，并使用第二场景文本图片数据集对所述协训网络和所述协训网络和场景文本识别网络组成的整体网络进行基于生成对抗的同步训练；所述协训网络包括一个为所述场景文本识别网络提供场景文本图片的生成器；
根据在同步训练后所述场景文本识别网络在验证集上的准确率，选择其模型参数，并在此模型参数下，使用所述场景文本识别网络识别场景文本图片的文本信息。
一个方面的优选技术方案在于，所述场景文本识别网络由特征提取器、编码器、解码器以及二维注意力机制模块组成，所述编码器按照一个方向所述二维注意力机制模块分列提供所述特征提取器提取的特图；所述解码器根据二维注意力机制模块输出的注意力张量对所述编码器从所述特征图获得的整体特征向量解码，以便获得向所述特征提取器输入的场景文本图片中包含的文本信息。
另一个方面的优选技术方案在于，所述协训网络为生成对抗式的风格迁移网络；所述风格迁移网络包含根据合成风格图片生成真实风格图片的生成器G，以及，根据真实风格图片生成合成风格图片的生成器F；在所述同步训练阶段，生成器G向所述场景文本识别网络提供输入图片数据。
另一个方面的优选技术方案在于，在所述预热训练阶段；使用交叉验证的监督学习方式训练所述场景文本识别网络；所述第一场景文本图片数据集包含由合成风格图片组成的训练集；预热训练的损失函数为文本识别的损失。在一些选用难以收敛的场景文本识别网络的实施例中，在所述预热训练阶段，当梯度下降小于0.1后结束学习。
另一个方面的优选技术方案在于，在所述同步训练阶段：使用生成对抗的方式对所述场景文本识别网络和所述风格迁移网络迭代训练；所述第二场景文本图片数据集包括由真实风格图片组成的训练集；同步训练中，所述生成器G的损失包含所述场景文本识别网络提供的文本识别的损失Lrecognition。
该方面进一步的优选在于，在所述同步训练阶段，总的损失函数L(G，F，Dx，Dy)为：
L(G，F，Dx，Dy)＝LGAN(G，DY，X，Y)+LGAN(F，Dx，Y，X)+αLcyc(G，F)+βLrecognition (8)
其中，LGAN(G，DY，X，Y)为生成器G的对抗损失，LGAN(F,Dx,Y,X)为生成器F的对抗损失，Lcyc(G,F)为对偶网络的循环损失，α、β为预配置的损失系数。
该方面进一步的优选在于，损失系数α取正值，损失系数β取负值，并且，损失系数α的绝对值大于损失系数β的绝对值。
该方面进一步的优选在于，损失系数α的绝对值大于等于损失系数β的绝对值的100倍。
本发明提供技术方案中，整个系统采用基于生成对抗式神经网络对合成文本图片进行风格迁移，并根据场景文本识别网络的训练反馈来提升合成文本真实性，从而最终提升场景文本识别网络的性能。本发明提供技术方案的其他有益效果，可以从具体实施方式中结合附图的实施例中体现。
附图说明
图1为本发明一个实施例中实现基于生成对抗式风格迁移的场景文本识别方法的同步训练阶段神经网络模型结构示意图；
图2为本发明一个实施例中场景文本识别网络的结构示意图；
图3为本发明一个实施例中场景文本识别网络中二维注意力机制模块的原理示意图；
图4为本发明一个实施例中基于生成对抗式风格迁移的场景文本识别方法的实施流程图。
具体实施方式
首先需要说明的是，本文中，除非特别说明，否则对于涉及神经网络模型、深度学习网络模型、图卷积网络模型、文本识别网络模型等计算机技术术语中的“模型”一词，指由计算机在满足一整套对应的神经网络算法的约束条件下所实现的非线性动态映射系统，其约束条件包括，这些计算机程序指令序列在由处理器读取并用于通过不同的配置参数以及限定的指定输入数据，可以用于实现对于计算机数据的处理，以实现指定的技术作用。本领域技术人员习惯于通过一些形象的可视化结构描述一类神经网络模型内部的配置有具体算法指令各个功能单元(数字神经元)之间逻辑上的输入输出关系，这些描述结构的图示虽然被称为神经网络，但本领域技术人员可以清楚明确理解到其实际要说明的数学算法的指令实现，如场景文本识别网络是实现文本识别网络这一神经网络算法的计算机系统。在以下揭示本发明构思的具体实施方式中，一些具体的实现功能代码由于本领域技术人员在了解具体构思后可以借由本领域常识予以具体实施，因而在这些实施方式中不再赘述。
本发明所述的cycleGAN是一种应用于风格迁移领域的生成对抗式网络(GAN)，其无需成对的训练数据，可以自动将某一类图片通过风格迁移转换成另外一类图片。与现有技术相比，本发明主要构思在于结合cycleGAN和场景文本识别网络，通过生成对抗的训练方法，作为协训网络同步训练，提升场景文本识别网络的性能。一些识别效果较好的场景文本识别网络本身鲁棒性较差，难以直接与cycleGAN类风格迁移网络同时训练并获得收敛的模型参数，本发明还使用了一种限定的训练方式，满足cycleGAN类生成对抗式风格迁移网络的生成器的输出和场景文本识别网络的输入一致的前提下，将场景文本识别网络的训练残差同时送给cycleGAN的生成器，与其生成器的鉴别器共同参与判别，而不需要做其他参数、结构上的调整。
本发明的基于生成对抗式风格迁移的场景文本识别方法，通过处理器运行程序指令实现，这些程序指令包括实现本文所述各个神经网络模块的算法指令以及调用指令，其中，参考图1揭示的一个神经网络结构，本发明多个实施例中所涉及的神经网络模块主要包括以下两个部分的使用结构描述的数据处理过程，，第一部分的过程是基于cycleGAN类生成对抗式结构的风格迁移网络，其用于将合成数据风格迁移转化生成的真实数据，第二部分的过程是对风格迁移后获得图片进行识别的过程，通过编解码的结构以及基于注意力机制的文本识别网络对场景文本的识别。在第一部分中，我们通过风格迁移网络迭代优化图片生成器，其中的一个生成器将会将图片从合成风格的迁移到真实风格的，鉴别器将会促使生成器生成更加真实的文本。在第二部分中，场景文本识别网络对生成器输出的图片进行识别，并根据识别的结果对生成器进行反馈，迫使生成器逐步生成更加复杂的文本图片，以便在对抗训练中，场景文本识别网络所得到的训练数据从简单样本逐步过度到困难样本的识别，渐进式的训练增强了场景文本识别网络的鲁棒性。
参考图1至3的，本实施例是一种基于生成对抗式风格迁移的场景文本识别方法，在应用阶段由一文本识别网络读取场景文本图片，并输出场景文本图片的文本信息。在训练阶段，首先对该文本识别网络进行预热训练，然后使用风格迁移网络与文本识别网络同步训练，最终获得文本识别网络具有鲁棒性的模型参数。以下首先说明本实施例中使用神经网络的结构和原理。
示范的，参考图2，本实施例中，场景文本识别网络由特征提取器、编码器(Encoder)、解码器(Decoder)以及二维注意力机制模块组成。其中，特征提取器选择ResNet34结构的残差网络，其对输入图片固定尺寸的(48×192×3，其中通道D方向的3个维度为图片在RGB空间的3通道展开)的张量进行特征提取，并获得输入图片的特征图(Feature map)V，特征图V的尺寸为6×48×512，随后将提取到的特征图V输入到基于二维注意力机制的编解码结构进行识别。容易理解的，本实施例中，由于特征提取器采用有水平和垂直方向上的矩形的最大池化，相对于原始输入图片，其特征图尺寸在高度上实现了8倍收缩，在宽度上实现了4倍收缩，以便在文本延展方向上保留更多信息，便于场景文本图片中“i”，“I”等细长文本的LSTM编解码识别，以及对生成器G的在真实风格中细长文本的风格迁移。在应用阶段，输入图片为经规范化处理的待识别场景文本图片；在预热训练阶段，输入图片为预处理好的样本集；在同步训练阶段，输入图片是风格迁移网络指定生成器生成的文本图片。特征图V用于表示整个文本图片的整体特征和作为二维注意力网络的注意力提取内容，在场景文本识别网络分两路分别用于编码器的文本特征编码获得输入图片的携带文本编码信息的整体特征hw(Holistic feature)以及为二维注意力机制模块与解码器协作解码的注意力提取依据。
示范的，本实施例中编码器由两层层叠的LSTM模型组成，每层的隐藏层大小为512。在每个时间步长，LSTM编码器都会接收特征图V的沿水平宽度W的一列张量，然后沿垂直轴进行最大池化，即图片高度的方向，本实施例假设场景文字延展方向是水平方向。在与特征图V的宽相同的W步之后，LSTM第二层的最终隐藏状态hw被视为输入图像的固定尺寸表示的体现输入图片的整体特征，并提供给解码器。
具体的，解码器是另一个LSTM模型，同样具有2层LSTM叠加的结构，每层隐藏状态层的大小为512。编码器和解码器不共享参数。最初，整体特征hw在时间步骤0被馈送到解码器LSTM。然后在步骤1将“START”令牌输入到LSTM；从步骤2，上一步的输出被馈送到LSTM直到“END”令牌已收到。所有LSTM输入均由一个one-hot向量表示，然后进行线性变换ψ()。在训练期间，解码器LSTM的输入被替换为真实的字符序列。通过以下转换计算输出：
yt＝φ(h′t,gt)＝softmax(Wo[h′t；gt]) (1)
其中,h′t是当前第t步的隐藏层状态，gt为二维注意力机制模块的输出，在每一个时间步t都会计算得到一个gt。Wo是线性变换矩阵，能够将解码器的输出特征嵌入到字符序列的输出空间中。示范的，本实施例字符序列选用94个分类，这94类分别对应于10位数字，52位大小写区分的英文字母，31个标点符号(包括代表“START”令牌的符号)，和一个“END”符号。容易理解的，一些实施例中，如果涉及中文字符，可以增加分类从94到更多的输出空间，如增加7000个汉字的更大的one-hot编码尺寸作为解码器的输入。
示范的，参考图2、3，本实施例中使用的二维注意力机制模块。为了考虑相邻区域的信息，这里使用了一种鲁棒的2D注意力机制(2D Attention)，公式如下所示：
其中，vij表示在特征图V中位置(i，j)处的局部特征，Nij是位置(i,j)附近的八个相邻点，即在(i,j)处周围3×3范围内的另外8个点的局部特征，h′t是解码器LSTM在时间步骤t的隐藏信息，用于作为指导解码的信息；Wv，Wh，
和W*是与各自下标有关的需要被更新训练的线性变换矩阵；αij是在位置(i,j)的注意力权重；gt是送给t步迭代的局部特征的加权和，作为其注意力机制中的glimpse，此处局部特征是指，虽然对于i、j取值遍及全宽W和全高H，但是由于权重的α的存在，可以认为求和后各元素携带了局部特征信息。
在训练时，解码器的输入为真实标签经过词嵌入(embedding)之后得到的词向量，embedding操作能将一个词映射到词向量空间中，即得到一个向量，并将向量作为输入，一些实施例中，采用one-hot编码的方式初始化词在词向量空间的部分；在测试时，由于并不知道真实标签信息，之前解码器的输出作为该时刻的输出经过embedding之后作为该时刻的输入。只有在训练阶段包含了反向传播。
示范的，参考图1，本实施例中，风格迁移网络采用cycleGAN结构，其包括两个不同的生成器G和F和两个不同的Dx和Dy。
关于生成器：在本发明的方法中，存在两个不同的生成器G和F，它们的模型结构相同，彼此之间共享模型参数。它们的作用分别是将图片迁移成真实风格的和将图片从真实风格的迁移成合成风格的。本实施例中，各生成器由三个组件构成，分别是编码器、转换器和解码器。编码器由三层卷积层组成，通过编码器卷积层从输入图像中提取特征，通过编码器之后，输入图像由输入I，I∈R48×192×3变成f1，f1∈R12×48×256。转换器由6个残差块组成，由编码器输出图像的不同通道组合了图像的不同特征，根据这些特征来将图像的特征向量即编码从源域f1转换到目标域f2。经过转换器处理，其接收的f1作为输入，输出与f1形状相同的f2。解码过程与编码方式完全相反，从包含特征信息的张量f2中还原出低级特征，由解码器的反卷积层deconvolution来完成的。最终生成器输出与输入图像大小相同的图像O，O∈R48×192×3。
关于鉴别器：在本发明的方法中，同样存在两个不同的鉴别器Dx和Dy，它们的模型结构相同，彼此之间也共享模型参数。本实施例中使用的鉴别器是马尔科夫鉴别器，它对于风格迁移中的超高分辨率、图片清晰化有一定的高分辨率、高细节的保持。马尔科夫鉴别器完全由卷积层组成，它接受一个生成器的输出O作为输入，最后输出一个矩阵S，S∈R4×22×1，最后取输出矩阵的矩阵作为判断True/False的输出。示范的，对于鉴别对产生真实风格图片的生成器G的输出矩阵进行鉴别时，将其输出矩阵S转化为0至1的浮点类型，取其均值作为判断生成图片是否真实的依据，均值越接近1代表越真实，越接近0代表越不真实。
关于训练方法。本实施例在预热训练阶段，仅对场景文本识别网络进行训练，训练中的损失函数Lrecognition被配置为：
其中，y为场景文本识别网络的输出张量，gt为监督学习对应的标签，ygt为输出y在该标签维的值，yi为输出i维的值，显然，i遍历y各维。
在风格迁移网络和场景文本识别网络共同训练的同步训练阶段，风格迁移网络的Loss部分除了对抗损失和cycleGAN中提出的cycle-loss，对于将文本图片从合成风格转变为真实风格的生成器G，还额外添加了文本识别的loss。
对于生成器G，其对抗损失包括两部分：
对偶网络的循环损失分为前向循环损失和后项循环损失，分别为：
L(G，F，Dx，Dy)＝LGAN(G，DY，X，Y)+LGAN(F，Dx，Y，X)+αLcyc(G，F)+βLrecognition (8)
优选的，本实施例中，超参数α＝10，β＝-0.1。
下面是本发明的一个具体实施案例：
示范的，参考图4，本实施例还提供了一个基于生成对抗式风格迁移的场景文本识别的方法，具体过程根据如下步骤100至400。
步骤100，数据准备。本步骤首先对训练期间使用的全部样本的数据集进行选择和配置，包括正样本图片、负样本图片、真实风格图片和合成风格图片，以及相应的训练集、验证集和测试集。示范的，本实施例中，场景文本识别训练常用的两个数据集分别是SynthText和Syn90k，它们都是合成数据集。本实施例把这两个数据集作为合成风格图片的数据集。IIIT5K-Words、ICDAR2013、ICDAR2015三个英文场景文本识别任务的常规数据集作为真实风格图片的数据集，各个真实风格图片的数据集的训练集部分分别包含2000、848、4468张文本图片。在预热阶段，主要使用合成风格图片的数据集进行正负样本交叉训练和测试。
步骤200，场景文本图片预处理。本步骤实际实现一个可复用的图片预处理模块，以便在全部训练阶段使用同一尺寸的样本数据，以及，在应用阶段，将需要识别的场景文本图片也处理为同样尺寸。示范的，本实施例中，为了使得输入模型的图片大小为48×192，配置一个图片预处理模块把图片尺寸使用双线性插值的方法将尺寸统一调整到48×192。本实施例的图片预处理模块，还包括一个在训练中可切换的数据增强单元，其在对场景文本识别网络进行预热训练时对样本进行数据增强，其使用的数据增强方式包括随机裁剪、改变图像的亮度、对比度、饱和度和色调；其在对风格迁移网络和场景文本识别网络进行对抗的同步训练时被切除，不使用任何数据增强方式对样本进行数据增强。
步骤300，模型训练。本步骤对已经构建好的场景文本识别网络进行训练，因为训练中需要使用风格迁徙网络进行协同训练，因此，在本步骤前也已完成风格迁徙网络的构建。本步骤具体的包括以下步骤301至304。
步骤301，初始化神经网络参数。本实施例中，同时对风格迁移网络和场景文本识别网络的参数进行初始化，两个神经网络的所有参数使用随机的初始化方式。
步骤302，场景文本识别网络预热训练。本步骤主要对场景文本识别网络使用第一场景文本图片数据集实施监督学习训练，即预热训练阶段。优选的，本实施例的第一场景文本图片数据集从步骤100中的合成风格图片的数据集选择。容易理解的，合成风格图片的样本已经包含了文本区的标注，甚至具体的文本边界还可以优选合成时的文本区域掩码(mask)，获得更精确的文本区域标注。对于真实采集的真实风格图片，在附有标注的情况下也可以作为预热阶段的训练数据，但考虑场景文本识别网络鲁棒性较差，可以在训练后期使用。
本发明为了在风格迁移网络和文本识别网络进行共同训练时，文本识别网络能够根据风格迁移网络生成的真实风格图片产生准确的反馈信息，先对文本识别网络进行预热训练。示范的，本实施例中预热训练阶段，训练数据为SynthText和Syn90k，损失函数为Lregonition，优化器选用ADADELTA来计算梯度并进行反向传播。训练的batch size设置为128，一个epoch需要113000个迭代，总共训练3个epoch。本步骤只对文本识别网络进行训练以获得初步的模型参数，是含有标注样本的监督学习。优选的，在一些其他实施例中，训练结束判断为梯度下降小于0.1后停止训练。容易理解，本步骤目的在于使得场景文本识别网络有基本的场景文字识别能力。
步骤303，风格迁移网络和文本识别网络共同训练。步骤302结束后，在本步骤对风格迁移网络和文本识别网络进行共同训练，即实现同步训练阶段的任务。共同训练时，使用第二场景文本图片数据集对风格迁移网络和文本识别网络整体进行对抗训练。容易理解的，从左到右是从合成风格迁移到真实风格，可以缩小训练时训练集和测试集的分布差异。同步训练时，batch size为10，一个epoch需要1446400个迭代，只训练一个epoch。共同训练使用的优化器为Adam，根据数据量和batch size，训练过程配置为，对于一个epoch前面50％的迭代，参照所选用的协训网络本身的训练规律，保持相同的学习率在0.0002，然后在接下来的迭代中线性衰减趋近于0。
步骤304，根据文本识别网络在验证集上的准确率，选择最优模型。本实施例中，让文本识别网络在一个验证集上进行测试并记录准确率，挑选准确率最高的模型参数保存用于后续的模型应用和识别。验证集可以根据具体任务进行选择，示范的，本实施例中该验证集由IIIT5K-Words、ICDAR2013、ICDAR2015三个数据集的测试集组成，在步骤303中，风格迁移的对抗训练中使用的其对应的训练集。
步骤400，模型应用。在通过上面的训练过程后可以得到多个场景文本识别网络，选取其中最优的模型用于应用。此时图片数据处理在这里不需要数据增强，只需要使用预处理模块把图像调整到48×192大小，并且归一化即可作为场景文本识别网络模型的输入。应用时，整个的场景文本识别网络模型的参数都固定不动，只要输入图像数据并向前传播即可。将场景文本图片输入到特征提取器提取特征，再自动传入解码网络自动解码，经过整个模型可以直接得到识别结果。当需要测试大量场景文本图片时候，需要将所有图整合为一个lmdb格式文件，方便一次性读取所有图片。
上述实施步骤仅为示范的，各步骤实施时间依赖于其前置条件而非步骤体现的时间顺序，如对作为协训网络的风格迁移网络，其参数的初始化可以是在预热训练阶段结束以后的，并非必须在步骤301中实施。
容易理解的，本实施例通过结合生成对抗式网络cycleGAN进行风格迁移和文本识别的任务，有效地提升了文本识别的准确率。通过对文本图片从合成风格迁移到真实风格，并在场景文本识别网络上进行训练，有效地降低了训练数据和测试数据之间的分布差异，从而提升了场景文本识别网络的准确率。我们将文本识别的loss作为衡量生成器生成图片好坏的信号之一，促使生成器生成更复杂的文本图片，从而增强了场景文本识别网络的鲁棒性。本方法不仅可以对水平的标准场景文本进行识别，整个系统具有更强的实用性，能解决的包含弯曲，倾斜，水平等多种情况下场景文本的识别问题。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接囗，装置或单元的间接耦合或通信连接，如对外部神经网络单元的调用，可以是本地的，远程的或混合的资源配置形式。
所述作为分离说明的单元可以是或者也可以不是物理上分开的，作为单元出现的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理设备中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个处理设备中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM,Read-0nlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上对本发明所提供的一种基基于精细字符分割的场景文本识别方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种基于生成对抗式风格迁移的场景文本识别方法，由处理器执行程序指令实现以下步骤：
在预热训练阶段，使用第一场景文本图片数据集对一场景文本识别网络实施监督学习训练；
在同步训练阶段，在所述场景文本识别网络输入端设置一个协训网络，并使用第二场景文本图片数据集对所述协训网络和所述协训网络和场景文本识别网络组成的整体网络进行基于生成对抗的同步训练；所述协训网络包括一个为所述场景文本识别网络提供场景文本图片的生成器；
根据在同步训练后所述场景文本识别网络在验证集上的准确率，选择其模型参数，并在此模型参数下，使用所述场景文本识别网络识别场景文本图片的文本信息。
2.根据权利要求1所述的场景文本识别方法，其特征在于：所述场景文本识别网络由特征提取器、编码器、解码器以及二维注意力机制模块组成，所述编码器按照一个方向所述二维注意力机制模块分列提供所述特征提取器提取的特图；所述解码器根据二维注意力机制模块输出的注意力张量对所述编码器从所述特征图获得的整体特征向量解码，以便获得向所述特征提取器输入的场景文本图片中包含的文本信息。
3.根据权利要求1或2所述的场景文本识别方法，其特征在于：所述协训网络为生成对抗式的风格迁移网络；所述风格迁移网络包含根据合成风格图片生成真实风格图片的生成器G，以及，根据真实风格图片生成合成风格图片的生成器F；在所述同步训练阶段，生成器G向所述场景文本识别网络提供输入图片数据。
4.根据权利要求1所述的场景文本识别方法，其特征在于，在所述预热训练阶段；使用交叉验证的监督学习方式训练所述场景文本识别网络；所述第一场景文本图片数据集包含由合成风格图片组成的训练集；预热训练的损失函数为文本识别的损失。
5.根据权利要求4所述的场景文本识别方法，其特征在于：所述文本识别的损失Lrecognition为：
其中，y为场景文本识别网络的输出张量，gt为监督学习对应的标签，ygt为输出Y在该标签维的值，yi为输出的第i维的值。
6.根据权利要求4所述的场景文本识别方法，其特征在于：在所述预热训练阶段，当梯度下降小于0.1后结束学习。
7.根据权利要求1所述的场景文本识别方法，其特征在于，在所述同步训练阶段：使用生成对抗的方式对所述场景文本识别网络和所述风格迁移网络迭代训练；所述第二场景文本图片数据集包括由真实风格图片组成的训练集；同步训练中，所述生成器G的损失包含所述场景文本识别网络提供的文本识别的损失Lrecognition。
8.根据权利要求7所述的场景文本识别方法，其特征在于：在所述同步训练阶段，总的损失函数L(G,F,Dx,Dy)为：
L(G,F,Dx,Dy)＝LGAN(G,DY,X,Y)+LGAN(F,Dx,Y,X)+αLcyc(G,F)+βLrecognition (8)
其中，LGAN(G,DY,X,Y)为生成器G的对抗损失，LGAN(F,Dx,Y,X)为生成器F的对抗损失，Lcyc(G,F)为对偶网络的循环损失，α、β为预配置的损失系数。
9.根据权利要求8所述场景文本识别方法，其特征在于：损失系数α取正值，损失系数β取负值，并且，损失系数α的绝对值大于损失系数β的绝对值。
10.根据权利要求9所述的场景文本识别方法，其特征在于：损失系数α的绝对值大于等于损失系数β的绝对值的100倍。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110284156.7A CN113065417A (zh) | 2021-03-17 | 2021-03-17 | 基于生成对抗式风格迁移的场景文本识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110284156.7A CN113065417A (zh) | 2021-03-17 | 2021-03-17 | 基于生成对抗式风格迁移的场景文本识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113065417A true CN113065417A (zh) | 2021-07-02 |
Family
ID=76560810
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110284156.7A Pending CN113065417A (zh) | 2021-03-17 | 2021-03-17 | 基于生成对抗式风格迁移的场景文本识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113065417A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114067233A (zh) * | 2021-09-26 | 2022-02-18 | 四川大学 | 一种跨模态匹配方法及系统 |
| CN116402067B (zh) * | 2023-04-06 | 2024-01-30 | 哈尔滨工业大学 | 面向多语种文字风格保持的跨语言自监督生成方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110378334A (zh) * | 2019-06-14 | 2019-10-25 | 华南理工大学 | 一种基于二维特征注意力机制的自然场景文本识别方法 |
| CN111126386A (zh) * | 2019-12-20 | 2020-05-08 | 复旦大学 | 场景文本识别中基于对抗学习的序列领域适应方法 |
| CN111310766A (zh) * | 2020-03-13 | 2020-06-19 | 西北工业大学 | 基于编解码和二维注意力机制的车牌识别方法 |
| CN111652233A (zh) * | 2020-06-03 | 2020-09-11 | 哈尔滨工业大学（威海） | 一种针对复杂背景的文本验证码自动识别方法 |
| CN112418310A (zh) * | 2020-11-20 | 2021-02-26 | 第四范式（北京）技术有限公司 | 文本风格迁移模型训练方法和系统及图像生成方法和系统 |
-
2021
- 2021-03-17 CN CN202110284156.7A patent/CN113065417A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110378334A (zh) * | 2019-06-14 | 2019-10-25 | 华南理工大学 | 一种基于二维特征注意力机制的自然场景文本识别方法 |
| CN111126386A (zh) * | 2019-12-20 | 2020-05-08 | 复旦大学 | 场景文本识别中基于对抗学习的序列领域适应方法 |
| CN111310766A (zh) * | 2020-03-13 | 2020-06-19 | 西北工业大学 | 基于编解码和二维注意力机制的车牌识别方法 |
| CN111652233A (zh) * | 2020-06-03 | 2020-09-11 | 哈尔滨工业大学（威海） | 一种针对复杂背景的文本验证码自动识别方法 |
| CN112418310A (zh) * | 2020-11-20 | 2021-02-26 | 第四范式（北京）技术有限公司 | 文本风格迁移模型训练方法和系统及图像生成方法和系统 |
Non-Patent Citations (1)
| Title |
|---|
| LINJIANG ZHANG ET.AL.: "A Robust Attentional Framework for License Plate Recognition in the Wild", 《IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114067233A (zh) * | 2021-09-26 | 2022-02-18 | 四川大学 | 一种跨模态匹配方法及系统 |
| CN114067233B (zh) * | 2021-09-26 | 2023-05-23 | 四川大学 | 一种跨模态匹配方法及系统 |
| CN116402067B (zh) * | 2023-04-06 | 2024-01-30 | 哈尔滨工业大学 | 面向多语种文字风格保持的跨语言自监督生成方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yu et al. | Super-resolving very low-resolution face images with supplementary attributes | |
| CN111243066B (zh) | 一种基于自监督学习与生成对抗机制的人脸表情迁移方法 | |
| CN112598053B (zh) | 基于半监督学习的主动显著性目标检测方法 | |
| CN112163401B (zh) | 基于压缩与激励的gan网络的汉字字体生成方法 | |
| CN113065550B (zh) | 基于自注意力机制的文本识别方法 | |
| CN113159023A (zh) | 基于显式监督注意力机制的场景文本识别方法 | |
| CN113221879A (zh) | 文本识别及模型训练方法、装置、设备及存储介质 | |
| CN113538608B (zh) | 基于生成对抗网络的可控人物图像生成方法 | |
| CN111932458B (zh) | 一种基于区域间注意力机制的图像信息提取与生成方法 | |
| CN113065417A (zh) | 基于生成对抗式风格迁移的场景文本识别方法 | |
| CN116543388B (zh) | 一种基于语义引导信息的条件式图像生成方法及相关装置 | |
| CN116434033A (zh) | 面向rgb-d图像稠密预测任务的跨模态对比学习方法及系统 | |
| CN114581918A (zh) | 一种文本识别模型训练方法及装置 | |
| CN116091885A (zh) | 一种基于rau-gan的肺结节数据增强方法 | |
| Ye et al. | Invertible grayscale via dual features ensemble | |
| CN117272237B (zh) | 基于多模态融合的专利附图多语言图解生成方法及系统 | |
| Wang et al. | Super-resolving face image by facial parsing information | |
| CN113065561A (zh) | 基于精细字符分割的场景文本识别方法 | |
| CN117934803A (zh) | 一种基于多模态特征对齐的视觉定位方法 | |
| Katzir et al. | Cross-domain cascaded deep translation | |
| CN117058392A (zh) | 一种基于卷积局部增强的多尺度Transformer图像语义分割方法 | |
| CN116977714A (zh) | 图像分类方法、装置、设备、存储介质和程序产品 | |
| Pernuš et al. | ChildNet: Structural Kinship Face Synthesis Model With Appearance Control Mechanisms | |
| Chen et al. | RGB-D Salient Object Detection via Joint Learning and Multi-feature Fusion | |
| Zeng et al. | Cascaded face super‐resolution with shape and identity priors |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210702 |
|
| RJ01 | Rejection of invention patent application after publication |