CN113657399B - 文字识别模型的训练方法、文字识别方法及装置 - Google Patents

文字识别模型的训练方法、文字识别方法及装置 Download PDF

Info

Publication number
CN113657399B
CN113657399B CN202110951785.0A CN202110951785A CN113657399B CN 113657399 B CN113657399 B CN 113657399B CN 202110951785 A CN202110951785 A CN 202110951785A CN 113657399 B CN113657399 B CN 113657399B
Authority
CN
China
Prior art keywords
character
feature
network
features
semantic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110951785.0A
Other languages
English (en)
Other versions
CN113657399A (zh
Inventor
吕鹏原
李景泉
章成全
姚锟
刘经拓
韩钧宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202110951785.0A priority Critical patent/CN113657399B/zh
Publication of CN113657399A publication Critical patent/CN113657399A/zh
Priority to PCT/CN2022/093018 priority patent/WO2023020045A1/zh
Priority to JP2023509826A priority patent/JP2023541119A/ja
Application granted granted Critical
Publication of CN113657399B publication Critical patent/CN113657399B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Character Discrimination (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种文字识别模型的训练方法，涉及人工智能领域，尤其涉及计算机视觉和深度学习技术领域，可应用于智慧城市和智慧金融等场景。该方法包括：将第一样本图像输入视觉特征提取子模型，得到第一视觉特征和第一预测文字，该第一样本图像包括文字和指示第一实际文字的标签；基于第一预测文字，采用语义特征提取子模型得到第一语义特征；基于第一视觉特征和第一语义特征，采用序列子模型得到第二预测文字；以及基于第一预测文字、第二预测文字和第一实际文字，对文字识别模型进行训练。本公开还提供一种文字识别模型的训练装置、文字识别方法及装置、电子设备及存储介质。

Description

文字识别模型的训练方法、文字识别方法及装置
技术领域
本公开涉及人工智能技术领域，尤其涉及计算机视觉和深度学习技术领域，可应用于智慧城市和智慧金融等场景。具体涉及一种文字识别模型的训练方法、文字识别方法、装置、电子设备及存储介质。
背景技术
用于文字识别的模型可以根据图像的视觉特征来识别文本内容。语义模型可以根据图像中文本的语义特征对文本内容进行调整。
发明内容
基于此，本公开提供了一种文字识别模型的训练方法、文字识别方法、装置、电子设备、存储介质和程序产品。
根据本公开的一个方面，提供了一种文字识别模型的训练方法，上述文字识别模型包括视觉特征提取子模型、语义特征提取子模型和序列子模型；上述方法包括：将第一样本图像输入上述视觉特征提取子模型，得到第一视觉特征和第一预测文字，其中，上述第一样本图像包括文字和指示第一实际文字的标签；基于上述第一预测文字，采用上述语义特征提取子模型得到第一语义特征；基于上述第一视觉特征和上述第一语义特征，采用上述序列子模型得到第二预测文字；以及基于上述第一预测文字、上述第二预测文字和上述第一实际文字，对上述文字识别模型进行训练。
根据本公开的另一个方面，提供了一种文字识别方法，包括：将待识别图像输入文字识别模型，上述待识别文字包括文字；以及获取上述待识别图像中的文字，其中，上述文字识别模型是采用本公开提供的文字识别模型的训练方法训练得到的。
根据本公开的另一方面，提供了一种文字识别模型的训练装置，其中，上述文字识别模型包括视觉特征提取子模型、语义特征提取子模型和序列子模型；上述装置包括：第一信息获得模块，用于第一样本图像输入上述视觉特征提取子模型，得到上述第一视觉特征和第一预测文字，其中，上述第一样本图像包括文字和指示第一实际文字的标签；第一语义特征获得模块，用于基于上述第一预测文字，采用上述语义特征提取子模型得到第一语义特征；第一文字获得模块，用于基于上述第一视觉特征和上述第一语义特征，采用上述序列子模型得到第二预测文字；以及模型训练模块，用于基于上述第一预测文字、上述第二预测文字和上述第一实际文字，对上述文字识别模型进行训练。
根据本公开的另一方面，提供了一种文字识别装置，包括：图像输入模块，用于将待识别图像输入文字识别模型，上述待识别图像包括文字；以及文字获取模块，用于获取上述待识别图像中的文字，其中，上述文字识别模型是采用本公开提供的文字识别模型的训练装置训练得到的。
根据本公开的另一个方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开提供的文字识别模型的训练方法和/或文字识别方法。
根据本公开的另一个方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开提供的文字识别模型的训练方法和/或文字识别方法。
根据本公开的另一个方面，提供了一种计算机程序产品，包括计算机程序，上述计算机程序在被处理器执行时实现本公开提供的文字识别模型的训练方法和/或文字识别方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开一个实施例的文字识别模型的训练方法的流程图；
图2是根据本公开另一个实施例的文字识别模型的训练方法的流程图；
图3是根据本公开另一个实施例的文字识别模型的训练方法的流程图；
图4是根据本公开另一个实施例的文字识别模型的训练方法的流程图；
图5A是根据本公开一个实施例的文字识别模型的示意图；
图5B是根据本公开另一个实施例的文字识别模型的示意图；
图6是根据本公开一个实施例的文字识别方法的流程图；
图7是根据本公开一个实施例的文字识别模型的训练装置的框图；
图8是根据本公开一个实施例的文字识别装置的框图；以及
图9是用来实施本公开实施例的文字识别模型的训练方法和/或文字识别方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
用于文字识别的模型包括CRNN(Convolutional Recurrent Neural Network，卷积循环神经网络)模型或ASTER(An Attentional Scene Text Recognizer with FlexibleRectification，具有灵活校正功能的注意场景文本识别器)。CRNN模型或ASTER可以仅使用视觉特征来识别文本内容，可以识别出正常的文本图像中的文字，但对于有缺陷(比如不完整)的图像，识别效果较差。
用于语义特征提取的模型包括SEED(Semantics Enhanced Encoder-DecoderFramework for Scene Text Recognition，应用于场景文本识别的语义增强的编码解码框架)，以及SRN(Spatial Regulation Network，空间规整网络)模型。
SEED模型可以使用语义特征对视觉特征进行监督，以使视觉特征具备语义信息。但SEED模型并未将语义特征与视觉特征进行融合，且该模型对语义特征的表达能力不够。
SRN模型可以使用语义特征增强文字识别模型，可以有效提高文字识别模型的性能。但SRN模型仅可以使用局部的语义特征(比如单个的字符)，无法使用全局的语义特征。
图1是根据本公开实施例的文字识别模型的训练方法的流程图。
如图1所示，该文字识别模型的训练方法100包括操作S110～操作S140。该文字识别模型包括视觉特征提取子模型、语义特征提取子模型和序列子模型。
在操作S110，将第一样本图像输入上述视觉特征提取子模型，得到第一视觉特征和第一预测文字，其中，上述第一样本图像包括文字和指示第一实际文字的标签。
例如，第一样本图像可以是正常的车牌的图像，其包括未变形的文字。又例如，第一样本图像可以是弯曲的车牌的图像，其包括变形的文字。
例如，第一视觉特征可以包括可能的字符或者可能的字符组合。
例如，视觉特征提取子模型可以为前文描述的CRNN模型或ASTER模型等，本公开对此不做限定。
在操作S120，基于上述第一预测文字，采用上述语义特征提取子模型得到第一语义特征。
例如，第一语义特征可以包括各个可能的字符之间的关系。在一个示例中，各个可能的字符之间的关系可以是其中一个字符与其前一个字符的关系，以及其中一个字符与其后一个字符的关系。
例如，语义特征提取子模型可以为RNN(Recurrent Neural Network，循环神经网络)模型等序列模型，例如LSTM(Long Short Term Memory，长短期记忆网络)模型等。又例如，语义特征提取子模型也可以为Transformer模型，本公开对此不做限定。
在操作S130，基于上述第一视觉特征和上述第一语义特征，采用上述序列子模型得到第二预测文字。
例如，可以基于可能的字符、组合后的可能的字符以及各个可能的字符之间的关系，获得第二预测文字。
应该理解，第一语义特征还可以包括其他信息，第一视觉特征也可以包括其他信息，基于可能的字符、组合后的可能的字符以及图像中各个可能的字符之间的关系获得第二预测文字仅是一种获取第二预测文字的方式。在其他的示例中，还可以根据第一视觉特征和第一语义特征中的其他信息获得第二预测文字。
例如，序列子模型可以为前述的LSTM模型等，本公开对此不做限定。
在操作S140，基于上述第一预测文字、上述第二预测文字和上述第一实际文字，对上述文字识别模型进行训练。
例如，根据第一预测文字和第一实际文字可以获取一个损失值，根据第二预测文字和第一预测文字可以获取另一个损失值，根据两个损失值调整视觉特征提取子模型、语义特征提取子模型和序列子模型中至少一个子模型的参数，以完成一次对该文字识别模型的训练。两个损失函数可以为相同的函数，也可以为不同的函数。
通过本公开实施例，采用序列子模型融合视觉特征和语义特征，可以无需要求基于视觉特征预测得到的预测文本和基于语义特征得到的另一预测文本具有相同的长度。
图2是根据本公开实施例的另一文字识别模型的训练方法的流程图。
如图2所示，该文字识别模型的训练方法210可以将包括文字的第一样本图像输入上述视觉特征提取子模型，得到第一视觉特征和第一预测文字。该视觉特征提取子模型包括第一特征提取网络和第一输出网络。该文字识别模型的训练方法可以包括操作S211～操作S216，具体地，该操作S211～操作S216为前述操作S110的一种具体实施方式。
该文字识别模型的训练方法210可以将上述第一样本图像输入上述第一特征提取网络，得到上述第一视觉特征。该第一特征提取网络包括编码子网络、序列编码子网络、解码子网络。
在操作S211，将上述第一样本图像输入上述编码子网络，得到局部图像特征。
在本公开实施例中，编码子网络可以是卷积神经网络。
例如，编码子网络可以是任意结构的卷积神经网络，比如VGG、ResNet、DenseNet及MobileNet等网络。编码子网络也可以采用一些改善网络效果的算子，比如Deformconv、SE、Dilationconv及Inception等算子。
例如，第一样本图像可以为H×W的图片，编码子网络可以根据该H×W的图片输出h×w的局部图像特征。
在操作S212，将上述局部图像特征转换为一维特征序列后输入上述序列编码子网络，得到非局部图像特征。
在本公开实施例中，序列编码子网络可以基于注意力机制进行构建。
例如，序列编码子网络可以基于自注意力机制进行构建。在一个示例中，编码子网络输出的h×w的局部图像特征先被转换为长度为k的序列，其中，k＝h*w。序列编码子网络根据该长度为k的序列，输出非局部图像特征。序列编码子网络可以将局部图像特征与图像的全局进行关联，生成更高层的特征，即非局部图像特征。通过在该视觉特征提取子模型中设置序列编码网络，可以提高视觉特征对上下文信息的表达能力，并因此提高得到的第一预测文字的精度。
接下来，该文字识别模型的训练方法210可以基于上述非局部图像特征，采用上述解码子网络得到上述第一视觉特征。该视觉特征提取子模型还包括第二位置编码网络。
在操作S213，将预定位置向量输入上述第二位置编码网络，得到第二位置编码特征。
例如，预定位置向量可以是一个表示位置0至位置24的矩阵。可以理解的是，该预定位置向量的长度可以根据实际需求进行设定，本公开对此不做限定。
接下来，该文字识别模型的训练方法可以基于上述第二位置编码特征和上述非局部图像特征，采用上述解码子网络得到上述第一视觉特征。该视觉特征提取子模型还包括第一转换网络。
在操作S214，将上述第二位置编码特征输入上述第一转换网络，得到添加了位置标识信息的目标位置特征。
例如，第一转换网络包括至少一层全连接层，第二位置编码特征经全连接层处理，转换为目标位置特征。可以结合位置标识信息，从每个位置可以学习得到的一个独立的向量。第一样本图像中文字的长度可以不超过位置编码的范围。
在操作S215，以上述目标位置特征作为查询向量，以上述非局部图像特征作为键向量和值向量，采用上述解码子网络得到上述第一视觉特征。
在本公开实施例中，解码子网络可以基于注意力机制进行构建。
例如，解码子网络可以基于并行注意力机制(Multi-Head Attention)进行构建，进而解码子网络的输入可以包括键向量、值向量以及查询向量。可以提高提取的非局部图像特征的精度。
在本公开实施例中，上述第一视觉特征包括文字视觉特征和解码上述位置标识信息得到的第一全局特征。
例如，解码子网络可以利用位置标识信息从非局部特征中找出可能的字符特征，并将可能的字符特征组合起来，得到文字视觉特征。解码子网络可以从位置标识信息中解码出包含字符全局信息的第一全局特征。在一个示例中，解码子网络可以根据位置0对应的向量，解码出第一全局特征。
在操作S216，基于上述第一视觉特征，采用上述第一输出网络得到上述第一预测文字。
在本公开实施例中，第一输出网络可以基于文字视觉特征得到第一预测文字。
例如，第一输出网络可以包括至少一层全连接层和Softmax层。第一输出网络的全连接层和Softmax层可以根据文字视觉特征，输出第一预测文字。
在一些实施例中，还包括通过以下方式对上述视觉特征提取子模型进行预训练：将第二样本图像输入上述视觉特征提取子模型，得到第二视觉特征和第三预测文字。其中，上述第二样本图像包括文字和指示第二实际文字的标签；以及基于上述第三预测文字和上述第二实际文字，对上述视觉特征提取子模型进行训练。通过对视觉特征提取子模型进行预训练，可以提高文字识别模型的训练效率。
第二样本图像可以与第一样本图像选自同一训练数据集，或者不同训练数据集。例如，第二样本图像所属的训练数据集可以基于多个领域的图像构建，第一样本图像所属的训练数据集可以基于多个领域中某个目标领域的图像构建。
图3是根据本公开另一个实施例的文字识别模型的训练方法的流程图。
如图3所示，该文字识别模型的训练方法320可以基于上述第一预测文字，采用上述语义特征提取子模型得到第一语义特征。该语义特征提取子模型可以包括文字编码网络以及第二输出网络。该文字识别模型的训练方法320可以包括操作S321～操作S325。具体地，该操作S321～操作S325为前述操作S120的一种具体实施方式。
在操作S321，将上述第一预测文字输入上述文字编码网络中，获得上述第一预测文字的文字特征。
在本公开实施例中，文字编码网络可以对第一预测文字进行One-Hot编码(独热编码)，得到文字特征。
例如，文字编码网络对第一预测文字进行One-Hot编码，得到一个字符长度C乘以N的矩阵，该矩阵的每一行对应一个字符，该矩阵的每一行可以为一个1×N的向量。在一个示例中，第一样本图像上可以是变形的文字图像，比如变形的“Hello”的文字图像，第一预测文字可以是“Hallo”。文字特征可以是一个5行N列的矩阵，每行对应第一预测文字“Hallo”的一个字符。
该语义特征提取子模型还包括第二特征提取网络以及第三位置编码网络。接下来，该文字识别模型的训练方法320可以基于上述文字特征，采用上述第二特征提取网络得到上述第一语义特征。
在操作S322，将预定位置向量输入上述第三位置编码网络，得到第三位置编码特征。
例如，预定位置向量可以是一个表示位置0至位置24的矩阵。
接下来，该文字识别模型的训练方法320可以基于上述第三位置编码特征和上述文字特征，采用上述第二特征提取网络得到上述第一语义特征。该语义特征提取子模型还包括第二转换网络。
在操作S323，将上述文字特征和上述第三位置编码特征输入上述第二转换网络，得到添加了字符标识信息的文字特征，作为目标文字特征。
在本公开实施例中，将上述文字特征和上述第三位置编码特征相加，在相加得到的特征的初始位置添加上述字符标识信息，得到文字特征矩阵(C+1)×(N+1)，其中，上述文字特征和上述第三位置编码特征的尺寸均为C×N。
例如，第三位置编码特征是一个C行N列的矩阵。文字特征为矩阵a，
Figure BDA0003218372420000091
文字特征a也是一个C行N列的矩阵。之后文字特征a与第三编码位置特征进行相加，在相加得到的特征的初始位置添加字符标识信息，得到目标文字特征a′，
Figure BDA0003218372420000092
在一个示例中，C＝24。
在本公开实施例中，在上述文字特征的初始位置添加上述字符标识信息，并将添加了上述字符标识信息的文字特征与上述第三位置编码特征相加，得到文字特征矩阵(C+1)×(N+1)，其中，上述文字特征的尺寸为C×N，上述第三位置编码特征的尺寸为(C+1)×(N+1)。
例如，文字特征为矩阵a，
Figure BDA0003218372420000093
可以先对文字特征a添加字符标识信息，得到添加字符标识信息的文字特征a″，
Figure BDA0003218372420000094
将添加字符标识信息的文字特征a″与第三编码位置特征进行相加，得到目标文字特征a″′，
Figure BDA0003218372420000101
其中，第三位置编码特征是一个(C+1)行(N+1)列的矩阵。
在一个示例中，C＝24。
在操作324，将上述目标文字特征输入上述第二特征提取网络，得到上述第一语义特征。
在本公开实施例中，上述第一语义特征中包括文字语义特征和解码上述字符标识信息得到的第二全局特征。
例如，可以基于注意力机制构建各个字符之间的联系，得到文字语义特征。
例如，可以解码上述目标文字特征a′或a″′中的字符标识信息获取第二全局特征。可以实现对第一预测文字中较大跨度的文字之间上下文信息的提取，提高得到的语义特征的精度。
在操作325，将上述第一语义特征输入上述第二输出网络，得到针对上述第一预测文字的纠错文字。
在本公开实施例中，第二输出网络可以基于文字语义特征得到第一预测文字的纠错文字。
例如，第二输出网络可以包括至少一层全连接层和Softmax层。第一输出网络的全连接层和Softmax层可以根据文字语义特征，输出第一预测文字的纠错文字。
在一些实施例中，通过以下方式对上述语义特征提取子模型进行预训练：将样本文字输入上述语义特征提取子模型，得到上述样本文字的第二语义特征；上述样本文字具有指示实际纠错文字的标签；将上述第二语义特征和上述样本文字的位置编码特征拼接后输入预定解码网络，得到上述样本文字的预测纠错文字；以及基于上述实际纠错文字和上述预测纠错文字，对上述语义特征提取子模型进行训练。
例如，语义特征提取子模型可以基于Transformer模型构建，预定解码网络也可以基于Transformer模型构建。完成训练后，将与语义特征提取子模型对应的Transformer模型的参数作为文字识别模型中相应子模型的初始参数。对语义特征提取子模型进行预训练，可以提高文字识别模型的训练效率。
图4是根据本公开一个实施例的文字识别模型的训练方法的流程图。
如图4所示，该文字识别模型的训练方法430可以基于上述第一视觉特征和上述第一语义特征，采用上述序列子模型得到第二预测文字。该文字识别模型的训练方法430可以包括操作S431～操作S434。该序列子模型可以包括第一位置编码网络及序列网络。具体地，该操作S431～操作S434为前述操作S130的一种具体实施方式。
在操作S431，将预定位置向量输入上述第一位置编码网络，得到第一位置编码特征。
例如，预定位置向量可以是一个表示位置0至位置24的矩阵。添加位置编码特征，可以提高获得的第二预测文字的精度。
接下来，该文字识别模型的训练方法430可以基于上述第一视觉特征、上述第一语义特征和上述第一位置编码特征，获得上述序列网络的输入特征。该序列子模型还可以包括拼接网络及融合网络。
在本公开实施例中，获取上述序列网络的输入特征所需的特征可以包括：第一视觉特征中的第一全局特征，第一语义特征中的第二全局特征及第一位置编码特征。
在操作S432，采用上述拼接网络拼接上述第一全局特征和上述第二全局特征，得到拼接后特征。
例如，第一全局特征为1×M的向量，第二全局特征也为1×N的向量。拼接后特征可以为1×(M+N)的向量。在一个示例中，M＝N。
应该理解，拼接网络拼接第一全局特征和第二全局特征，仅是本公开中一种拼接方式。拼接网络还可以采用别的拼接方式将第一视觉特征和第一语义特征拼接。
在操作S433，采用上述融合网络将上述拼接后特征与上述第一位置编码特征相加，得到上述序列网络的输入特征。
例如，将拼接后特征转换为一个C行(M+N)列的矩阵，该矩阵中有一行与上述1×(M+N)的向量相同，其余行可以填充固定值(比如0)。将由该拼接后特征转换的矩阵与第一位置编码特征相加，得到输入特征。
在操作S434，将上述输入特征输入上述序列网络，获得上述第二预测文字。
例如，从输入特征中提取出各个字符的特征，采用自注意力机制解码，针对各个字符提取出的特征经过至少一层全连接层和Softmax层处理，得到第二预测文字。
通过本公开实施例，避免了视觉模型预测结果和语义纠错结果直接对应位置加权求和，从而为减少错误提供了可能。
在一些实施例中，获取上述序列网络的输入特征所需的特征可以包括：第一视觉特征、第一语义特征及第一位置编码特征。其中，第一视觉特征包括文字视觉特征和第一全局特征，第一语义特征包括文字语义特征和第二全局特征。
例如，上述拼接网络可以将文字视觉特征和第一全局特征中至少一个与文字语义特征和第二全局特征中至少一个拼接，得到的拼接后特征。上述融合网络可以将拼接后特征与第一位置编码特征融合，得到序列网络的输入特征。
在一些实施例中，基于上述第一预测文字、上述第二预测文字和上述第一实际文字，对上述文字识别模型进行训练包括：基于上述第一预测文字、上述第二预测文字、上述针对上述第一预测文字的纠错文字和上述第一实际文字，对上述文字识别模型进行训练。可以进一步提高模型精度。
进一步，在一些实施例中，基于上述第一预测文字、上述第二预测文字、上述针对上述第一预测文字的纠错文字和上述第一实际文字，对上述文字识别模型进行训练包括：基于上述第一预测文字与上述第一实际文字，得到第一损失值。基于上述第二预测文字与上述第一实际文字，得到第二损失值。基于上述针对上述第一预测文字的纠错文字与上述第一实际文字，得到第三损失值。基于上述第一损失值、上述第二损失值和上述第三损失值，对上述文字识别模型进行训练。
例如，上述第一损失函数、第二损失函数及第三损失函数均可以采用均方误差(Mean Square Error，MSE)。又例如，上述第一损失函数、第二损失函数及第三损失函数均可以采用均方误差的开平方。
例如，可以基于上述第一损失值e1、上述第二损失值e2和上述第三损失值e3，根据以下公式计算出总损失值E。
E＝w1*e1+w2*e2+w3*e3 (一)
公式一中，w1为第一损失值e1的权重，w2为第二损失值e2的权重，w3为第三损失值e3的权重。在一个示例中，w1＝w2＝0.2，w3＝0.6。
图5A是根据本公开一个实施例的文字识别模型的示意图。
如图5A所示，该文字识别模型包括视觉提取子模型510、语义特征提取子模型520及序列子模型530。
视觉提取子模型510可以根据第一样本图像(Sample Image1)，输出第一视觉特征和第一预测文字。语义特征提取子模型520可以根据第一预测文字，输出第一语义特征。序列子模型530可以根据第一视觉特征和第一语义特征，输出第二预测文字。
其中第一样本图像包括文字和指示第一实际文字的标签。可以根据第一预测文字与第一实际文字的差异，确定一个损失；根据第二预测文字与第一实际文字的差异，确定另一损失。根据确定的两个损失中的至少一个，调整视觉提取子模型510、语义特征提取子模型520及序列子模型530中至少一个子模型的参数，以完成本次训练。可以以第一样本图像或其他样本图像为输入，进行多次训练，直至上述两个损失中至少一个达到预设值。或者，以第一样本图像或其他样本图像为输入，进行训练，直至完成预定次数的训练。其中，第一样本图像可以包括多个样本图像。
图5B是根据本公开另一个实施例的文字识别模型的示意图。
如图5B所示，该文字识别模型包括视觉提取子模型510、语义特征提取子模型520及序列子模型530。
视觉提取子模型510可以包括第一特征提取网络511、第一输出网络512、第二位置编码网络513以及第一转换网络514。
第一特征提取网络包括编码子网络5111、序列编码子网络5112以及解码子网络5113。编码子网络5111可以根据第一样本图像(Sample Image1)，输出局部图像特征I_feat1。序列编码子网络5112可以根据由局部图像特征I_feat1转换的一维特征序列，输出非局部图像特征I_feat2。
第二位置编码网络513可以根据预定位置向量，输出第二位置编码特征。第一转换网络514可以根据第二位置编码特征，输出添加了位置标识信息的目标位置特征。
解码子网络5113可以根据上述目标位置特征和非局部图像特征I_feat2，输出第一视觉特征，其中第一视觉特征包括文字视觉特征C_feat1和第一全局特征G_feat1。第一输出网络512可以根据文字视觉特征C_feat1，输出第一预测文字。
语义特征提取子模型520可以包括文字编码网络521、第二特征提取网络522、第三位置编码网络523、第二转换网络524以及第二输出网络525。
文字编码网络521可以根据第一预测文字，输出文字特征。第三位置编码网络523可以根据预定位置向量，输出第三位置编码特征。第二转换网络524可以根据第三位置编码特征和文字特征，输出目标文字特征。第二特征提取网络522可以根据目标位置特征，输出第一语义特征。其中，第一语义特征包括文字语义特征C_feat2和第二全局特征G_feat2。第二输出网络可以根据文字语义特征C_feat2输出针对第一预测文字的纠错文字。
序列子模型530包括第一位置编码网络531、序列网络532、拼接网络533以及融合网络534。
第一位置编码网络531可以根据预定位置向量，输出第一位置编码特征。拼接网络533可以根据第一全局特征G_feat1和第二全局特征G_feat2，输出拼接后特征。融合网络534可以根据拼接后特征和第一位置编码特征，输出序列网络532的输入特征。序列网络532可以根据该输入特征，输出第二预测文字。
其中第一样本图像包括文字和指示第一实际文字的标签。可以根据第一预测文字与第一实际文字，确定第一损失值；可以根据第二预测文字与第一实际文字，确定第二损失值；基于针对第一预测文字的纠错文字与第一实际文字，确定第三损失值。可以根据确定的三个损失值中的至少一个，调整视觉提取子模型510、语义特征提取子模型520及序列子模型530中至少一个子模型或子模型中至少一网络的参数，以完成本次训练。可以以第一样本图像或其他样本图像为输入，进行多次训练，直至上述三个损失值中至少一个小于预设值。或者，以第一样本图像或其他样本图像为输入，进行训练，直至完成预定次数的训练。
图6是根据本公开一个实施例的文字识别方法的流程图。
如图6所示，该文字识别方法600可以包括操作S610～操作S620。
在操作S610，将待识别图像输入文字识别模型，上述待识别图像包括文字。
例如，待识别图像可以是正常的车牌的图像，其包括未变形的文字。又例如，待识别图像可以是弯曲的车牌的图像，其包括变形的文字。
在操作S620，获取上述待识别图像的文字。
根据本公开的实施例，前述操作S610可以是将待识别图像输入前文描述的文字识别模型的训练方法训练得到的文字识别模型中，文字识别模型经由与前文描述的操作S110～操作S130类似的方法得到预测文字，将该预测文字作为待识别图像中的文字。
图7是根据本公开一个实施例的文字识别模型的训练装置的框图。
如图7所示，上述文字识别模型的训练装置700包括第一信息获得模块710、第一语义特征获得模块720、第一文字获得模块730以及模型训练模块740。上述文字识别模型包括视觉特征提取子模型、语义特征提取子模型和序列子模型。
第一信息获得模块710，用于将第一样本图像输入上述视觉特征提取子模型，得到第一视觉特征和第一预测文字，其中，上述第一样本图像包括文字和指示第一实际文字的标签。在一实施例中，第一信息获得模块710可以用于执行前文描述的操作S110，在此不再赘述。
第一语义特征获得模块720，用于基于上述第一预测文字，采用上述语义特征提取子模型得到第一语义特征。在一实施例中，第一语义特征获得模块720可以用于执行前文描述的操作S120，在此不再赘述。
第一文字获得模块730，用于基于上述第一视觉特征和上述第一语义特征，采用上述序列子模型得到第二预测文字。在一实施例中，第一文字获得模块730可以用于执行前文描述的操作S130，在此不再赘述。
模型训练模块740，用于基于上述第一预测文字、上述第二预测文字和上述第一实际文字，对上述文字识别模型进行训练。在一实施例中，模型训练模块740可以用于执行前文描述的操作S140，在此不再赘述。
在一些实施例中，上述序列子模型包括第一位置编码网络和序列网络；上述第一文字获得模块包括：第一位置编码获得子模块，用于将预定位置向量输入上述第一位置编码网络，得到第一位置编码特征；输入特征获得子模块，用于基于上述第一视觉特征、上述第一语义特征和上述第一位置编码特征，获得上述序列网络的输入特征；以及第一文字获得子模块，用于将上述输入特征输入上述序列网络，获得上述第二预测文字。
在一些实施例中，上述视觉特征提取子模型包括第一特征提取网络和第一输出网络；上述第一信息获得模块包括：第一视觉特征获得子模块，用于将上述第一样本图像输入上述第一特征提取网络，得到上述第一视觉特征；以及第二文字获得子模块，用于基于上述第一视觉特征，采用上述第一输出网络得到上述第一预测文字；上述语义特征提取子模型包括文字编码网络和第二特征提取网络；第一语义特征获得模块包括：文字特征获得子模块，用于将上述第一预测文字输入上述文字编码网络中，获得上述第一预测文字的文字特征；以及第一语义特征获得子模块，用于基于上述文字特征，采用上述第二特征提取网络得到上述第一语义特征。
在一些实施例中，上述第一特征提取网络包括编码子网络、序列编码子网络、解码子网络；上述第一视觉特征获得子模块包括：局部图像特征获取单元，用于将上述第一样本图像输入上述编码子网络，得到局部图像特征；非局部图像特征获取单元，用于将上述局部图像特征转换为一维特征序列后输入上述序列编码子网络，得到非局部图像特征；以及第一视觉特征获取单元，用于基于上述非局部图像特征，采用上述解码子网络得到上述第一视觉特征。
在一些实施例中：上述视觉特征提取子模型还包括第二位置编码网络；上述第一视觉特征获取单元包括：第二位置编码获得子单元，用于将预定位置向量输入上述第二位置编码网络，得到第二位置编码特征；以及第一视觉特征获得子单元，用于基于上述第二位置编码特征和上述非局部图像特征，采用上述解码子网络得到上述第一视觉特征；并且/或者上述语义特征提取子模型还包括第三位置编码网络；上述第一语义特征获得子模块包括：第三位置编码获得单元，用于将预定位置向量输入上述第三位置编码网络，得到第三位置编码特征；以及第一语义特征获得单元，用于基于上述第三位置编码特征和上述文字特征，采用上述特征提取网络得到上述第一语义特征。
在一些实施例中，上述视觉特征提取子模型还包括第一转换网络；第一视觉特征获得子单元包括：目标位置特征获得子单元，用于将上述第二位置编码特征输入上述第一转换网络，得到添加了位置标识信息的目标位置特征；以及解码子单元，用于以上述目标位置特征作为查询向量，以上述非局部图像特征作为键向量和值向量，采用上述解码子网络得到上述第一视觉特征；上述语义特征提取子模型还包括第二转换网络；第一语义特征获得单元包括：目标文字特征获得子单元，用于将上述文字特征和上述第三位置编码特征输入上述第二转换网络，得到添加了字符标识信息的文字特征，作为目标文字特征；以及第一语义特征获得子单元，用于将上述目标文字特征输入上述特征提取网络，得到上述第一语义特征。
在一些实施例中，上述第一视觉特征包括文字视觉特征和解码上述位置标识信息得到的第一全局特征；上述第一预测文字是通过将上述文字视觉特征输入上述第一输出网络得到的。上述第一语义特征中包括文字语义特征和解码上述字符标识信息得到的第二全局特征。上述输入特征获得子模块包括输入特征获得单元，用于基于上述第一全局特征、上述第二全局特征和上述第一位置编码特征，获得上述序列网络的输入特征。
在一些实施例中，上述序列子模型还包括拼接网络和融合网络；上述输入特征获得单元包括：拼接子单元，用于采用上述拼接网络拼接上述第一全局特征和上述第二全局特征，得到拼接后特征；以及融合子单元，用于采用上述融合网络将上述拼接后特征与上述第一位置编码特征相加，得到上述序列网络的输入特征。
在一些实施例中，上述语义特征提取子模型还包括第二输出网络；上述装置还包括：纠错文字获得模块，用于将上述第一语义特征输入上述第二输出网络，得到针对上述第一预测文字的纠错文字；其中，模型训练模块包括：第一模型训练子模块，用于基于上述第一预测文字、上述第二预测文字、上述针对上述第一预测文字的纠错文字和上述第一实际文字，对上述文字识别模型进行训练。
在一些实施例中，上述第一模型训练子模块包括：第一损失获得单元，用于基于上述第一预测文字与上述第一实际文字，得到第一损失值；第二损失获得单元，用于基于上述第二预测文字与上述第一实际文字，得到第二损失值；第三损失获得单元，用于基于上述针对上述第一预测文字的纠错文字与上述第一实际文字，得到第三损失值；以及模型训练单元，用于基于上述第一损失值、上述第二损失值和上述第三损失值，对上述文字识别模型进行训练。
在一些实施例中，还包括第一预训练模块，用于通过以下子模块对上述视觉特征提取子模型进行预训练：信息获得子模块，用于将第二样本图像输入上述视觉特征提取子模型，得到第二视觉特征和第三预测文字，其中，上述第二样本图像包括文字和指示第二实际文字的标签；以及第二模型训练子模块，用于基于上述第三预测文字和上述第二实际文字，对上述视觉特征提取子模型进行训练。
在一些实施例中，还包括第二预训练模块，用于通过以下子模块对上述语义特征提取子模型进行预训练：第二语义特征获得子模块，用于将样本文字输入上述语义特征提取子模型，得到上述样本文字的第二语义特征；上述样本文字具有指示实际纠错文字的标签；纠错文字获得子模块，用于将上述第二语义特征和上述样本文字的位置编码特征拼接后输入预定解码网络，得到上述样本文字的预测纠错文字；以及第三模型训练子模块，用于基于上述实际纠错文字和上述预测纠错文字，对上述语义特征提取子模型进行训练。
图8是根据本公开一个实施例的文字识别装置的框图。
如图8所示，该文字识别装置800包括图像输入模块810以及文字获取模块820。
图像输入模块810，用于将待识别图像输入文字识别模型，上述待识别图像包括文字。在一实施例中，图像输入模块810可以用于执行前文描述的操作S610，在此不再赘述。
文字获取模块820，用于获取上述待识别图像中的文字。在一实施例中，文字获取模块820可以用于执行前文描述的操作S620，在此不再赘述。
其中，上述文字识别模型是采用本公开提供的文字识别模型的训练装置训练得到的。
需要说明的是，本公开的技术方案中，所涉及的用户个人信息的获取、收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图9示出了可以用来实施本公开实施例的文字识别模型的训练方法和/或文字识别方法的示例电子设备900的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图9所示，设备900包括计算单元901，其可以根据存储在只读存储器(ROM)902中的计算机程序或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序，来执行各种适当的动作和处理。在RAM 903中，还可存储设备900操作所需的各种程序和数据。计算单元901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
设备900中的多个部件连接至I/O接口905，包括：输入单元906，例如键盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储单元908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理，例如文字识别模型的训练方法和/或文字识别方法。例如，在一些实施例中，文字识别模型的训练方法和/或文字识别方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到RAM 903并由计算单元901执行时，可以执行上文描述的文字识别模型的训练方法和/或文字识别方法的一个或多个步骤。备选地，在其他实施例中，计算单元901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行文字识别模型的训练方法和/或文字识别方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。其中，服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务(″Virtual Private Server″，或简称″VPS″)中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (26)

1.一种文字识别模型的训练方法，其中，所述文字识别模型包括视觉特征提取子模型、语义特征提取子模型和序列子模型；所述方法包括：
将第一样本图像输入所述视觉特征提取子模型，得到第一视觉特征和第一预测文字，其中，所述第一样本图像包括文字和指示第一实际文字的标签；
基于所述第一预测文字，采用所述语义特征提取子模型得到第一语义特征；
基于所述第一视觉特征和所述第一语义特征，采用所述序列子模型得到第二预测文字；以及
基于所述第一预测文字、所述第二预测文字和所述第一实际文字，对所述文字识别模型进行训练，
其中，所述序列子模型包括第一位置编码网络、拼接网络、融合网络和序列网络；采用所述序列子模型得到第二预测文字包括：
将预定位置向量输入所述第一位置编码网络，得到第一位置编码特征；
采用所述拼接网络拼接所述第一视觉特征和所述第一语义特征，得到拼接后特征；
采用所述融合网络将所述拼接后特征与所述第一位置编码特征融合，得到所述序列网络的输入特征；以及
将所述输入特征输入所述序列网络，获得所述第二预测文字。
2.根据权利要求1所述的方法，其中：
所述视觉特征提取子模型包括第一特征提取网络和第一输出网络；得到第一视觉特征和第一预测文字包括：
将所述第一样本图像输入所述第一特征提取网络，得到所述第一视觉特征；以及
基于所述第一视觉特征，采用所述第一输出网络得到所述第一预测文字；
所述语义特征提取子模型包括文字编码网络和第二特征提取网络；采用所述语义特征提取子模型得到第一语义特征包括：
将所述第一预测文字输入所述文字编码网络中，获得所述第一预测文字的文字特征；以及
基于所述文字特征，采用所述第二特征提取网络得到所述第一语义特征。
3.根据权利要求2所述的方法，其中，所述第一特征提取网络包括编码子网络、序列编码子网络、解码子网络；所述将所述第一样本图像输入所述第一特征提取网络，得到所述第一视觉特征包括：
将所述第一样本图像输入所述编码子网络，得到局部图像特征；
将所述局部图像特征转换为一维特征序列后输入所述序列编码子网络，得到非局部图像特征；以及
基于所述非局部图像特征，采用所述解码子网络得到所述第一视觉特征。
4.根据权利要求3所述的方法，其中：
所述视觉特征提取子模型还包括第二位置编码网络；所述基于所述非局部图像特征，采用所述解码子网络得到所述第一视觉特征包括：
将预定位置向量输入所述第二位置编码网络，得到第二位置编码特征；以及
基于所述第二位置编码特征和所述非局部图像特征，采用所述解码子网络得到所述第一视觉特征；并且/或者
所述语义特征提取子模型还包括第三位置编码网络；基于所述文字特征，采用所述第二特征提取网络得到所述第一语义特征包括：
将预定位置向量输入所述第三位置编码网络，得到第三位置编码特征；以及
基于所述第三位置编码特征和所述文字特征，采用所述第二特征提取网络得到所述第一语义特征。
5.根据权利要求4所述的方法，其中：
所述视觉特征提取子模型还包括第一转换网络；采用所述解码子网络得到所述第一视觉特征包括：
将所述第二位置编码特征输入所述第一转换网络，得到添加了位置标识信息的目标位置特征；以及
以所述目标位置特征作为查询向量，以所述非局部图像特征作为键向量和值向量，采用所述解码子网络得到所述第一视觉特征；
所述语义特征提取子模型还包括第二转换网络；采用所述第二特征提取网络得到所述第一语义特征包括：
将所述文字特征和所述第三位置编码特征输入所述第二转换网络，得到添加了字符标识信息的文字特征，作为目标文字特征；以及
将所述目标文字特征输入所述第二特征提取网络，得到所述第一语义特征。
6.根据权利要求5所述的方法，其中：
所述第一视觉特征包括文字视觉特征和解码所述位置标识信息得到的第一全局特征；所述第一预测文字是通过将所述文字视觉特征输入所述第一输出网络得到的；
所述第一语义特征中包括文字语义特征和解码所述字符标识信息得到的第二全局特征；以及
所述采用所述拼接网络拼接所述第一视觉特征和所述第一语义特征，得到拼接后特征包括：采用所述拼接网络拼接所述第一全局特征和所述第二全局特征，得到拼接后特征。
7.根据权利要求6所述的方法，其中，所述采用所述融合网络将所述拼接后特征与所述第一位置编码特征融合，得到所述序列网络的输入特征包括：
采用所述融合网络将所述拼接后特征与所述第一位置编码特征相加，得到所述序列网络的输入特征。
8.根据权利要求2所述的方法，其中，所述语义特征提取子模型还包括第二输出网络；所述方法还包括：
将所述第一语义特征输入所述第二输出网络，得到针对所述第一预测文字的纠错文字；
其中，基于所述第一预测文字、所述第二预测文字和所述第一实际文字，对所述文字识别模型进行训练包括：基于所述第一预测文字、所述第二预测文字、所述针对所述第一预测文字的纠错文字和所述第一实际文字，对所述文字识别模型进行训练。
9.根据权利要求8所述的方法，其中，基于所述第一预测文字、所述第二预测文字、所述针对所述第一预测文字的纠错文字和所述第一实际文字，对所述文字识别模型进行训练包括：
基于所述第一预测文字与所述第一实际文字，得到第一损失值；
基于所述第二预测文字与所述第一实际文字，得到第二损失值；
基于所述针对所述第一预测文字的纠错文字与所述第一实际文字，得到第三损失值；以及
基于所述第一损失值、所述第二损失值和所述第三损失值，对所述文字识别模型进行训练。
10.根据权利要求1所述的方法，还包括通过以下方式对所述视觉特征提取子模型进行预训练：
将第二样本图像输入所述视觉特征提取子模型，得到第二视觉特征和第三预测文字，其中，所述第二样本图像包括文字和指示第二实际文字的标签；以及
基于所述第三预测文字和所述第二实际文字，对所述视觉特征提取子模型进行训练。
11.根据权利要求1所述的方法，还包括通过以下方式对所述语义特征提取子模型进行预训练：
将样本文字输入所述语义特征提取子模型，得到所述样本文字的第二语义特征；所述样本文字具有指示实际纠错文字的标签；
将所述第二语义特征和所述样本文字的位置编码特征拼接后输入预定解码网络，得到所述样本文字的预测纠错文字；以及
基于所述实际纠错文字和所述预测纠错文字，对所述语义特征提取子模型进行训练。
12.一种文字识别方法，包括：
将待识别图像输入文字识别模型，所述待识别图像包括文字；以及
获取所述待识别图像中的文字，其中，所述文字识别模型是采用权利要求1～11中任一项所述的方法训练得到的。
13.一种文字识别模型的训练装置，其中，所述文字识别模型包括视觉特征提取子模型、语义特征提取子模型和序列子模型；所述装置包括：
第一信息获得模块，用于将第一样本图像输入所述视觉特征提取子模型，得到第一视觉特征和第一预测文字，其中，所述第一样本图像包括文字和指示第一实际文字的标签；
第一语义特征获得模块，用于基于所述第一预测文字，采用所述语义特征提取子模型得到第一语义特征；
第一文字获得模块，用于基于所述第一视觉特征和所述第一语义特征，采用所述序列子模型得到第二预测文字；以及
模型训练模块，用于基于所述第一预测文字、所述第二预测文字和所述第一实际文字，对所述文字识别模型进行训练，
其中，所述序列子模型包括第一位置编码网络、拼接网络、融合网络和序列网络；所述第一文字获得模块包括：
第一位置编码获得子模块，用于将预定位置向量输入所述第一位置编码网络，得到第一位置编码特征；
拼接子模块，用于采用所述拼接网络拼接所述第一视觉特征和所述第一语义特征，得到拼接后特征；
融合子模块，用于采用所述融合网络将所述拼接后特征与所述第一位置编码特征融合，得到所述序列网络的输入特征；以及
第一文字获得子模块，用于将所述输入特征输入所述序列网络，获得所述第二预测文字。
14.根据权利要求13所述的装置，其中：
所述视觉特征提取子模型包括第一特征提取网络和第一输出网络；所述第一信息获得模块包括：
第一视觉特征获得子模块，用于将所述第一样本图像输入所述第一特征提取网络，得到所述第一视觉特征；以及
第二文字获得子模块，用于基于所述第一视觉特征，采用所述第一输出网络得到所述第一预测文字；
所述语义特征提取子模型包括文字编码网络和第二特征提取网络；第一语义特征获得模块包括：
文字特征获得子模块，用于将所述第一预测文字输入所述文字编码网络中，获得所述第一预测文字的文字特征；以及
第一语义特征获得子模块，用于基于所述文字特征，采用所述第二特征提取网络得到所述第一语义特征。
15.根据权利要求14所述的装置，其中，所述第一特征提取网络包括编码子网络、序列编码子网络、解码子网络；所述第一视觉特征获得子模块包括：
局部图像特征获取单元，用于将所述第一样本图像输入所述编码子网络，得到局部图像特征；
非局部图像特征获取单元，用于将所述局部图像特征转换为一维特征序列后输入所述序列编码子网络，得到非局部图像特征；以及
第一视觉特征获取单元，用于基于所述非局部图像特征，采用所述解码子网络得到所述第一视觉特征。
16.根据权利要求15所述的装置，其中：
所述视觉特征提取子模型还包括第二位置编码网络；所述第一视觉特征获取单元包括：
第二位置编码获得子单元，用于将预定位置向量输入所述第二位置编码网络，得到第二位置编码特征；以及
第一视觉特征获得子单元，用于基于所述第二位置编码特征和所述非局部图像特征，采用所述解码子网络得到所述第一视觉特征；并且/或者
所述语义特征提取子模型还包括第三位置编码网络；所述第一语义特征获得子模块包括：
第三位置编码获得单元，用于将预定位置向量输入所述第三位置编码网络，得到第三位置编码特征；以及
第一语义特征获得单元，用于基于所述第三位置编码特征和所述文字特征，采用所述特征提取网络得到所述第一语义特征。
17.根据权利要求16所述的装置，其中：
所述视觉特征提取子模型还包括第一转换网络；所述第一视觉特征获得子单元包括：
目标位置特征获得子单元，用于将所述第二位置编码特征输入所述第一转换网络，得到添加了位置标识信息的目标位置特征；以及
解码子单元，用于以所述目标位置特征作为查询向量，以所述非局部图像特征作为键向量和值向量，采用所述解码子网络得到所述第一视觉特征；
所述语义特征提取子模型还包括第二转换网络；所述第一语义特征获得单元包括：
目标文字特征获得子单元，用于将所述文字特征和所述第三位置编码特征输入所述第二转换网络，得到添加了字符标识信息的文字特征，作为目标文字特征；以及
第一语义特征获得子单元，用于将所述目标文字特征输入所述特征提取网络，得到所述第一语义特征。
18.根据权利要求17所述的装置，其中：
所述第一视觉特征包括文字视觉特征和解码所述位置标识信息得到的第一全局特征；所述第一预测文字是通过将所述文字视觉特征输入所述第一输出网络得到的；
所述第一语义特征中包括文字语义特征和解码所述字符标识信息得到的第二全局特征；
所述拼接子模块用于：采用所述拼接网络拼接所述第一全局特征和所述第二全局特征，得到拼接后特征。
19.根据权利要求18所述的装置，其中，所述融合子模块用于：
采用所述融合网络将所述拼接后特征与所述第一位置编码特征相加，得到所述序列网络的输入特征。
20.根据权利要求14所述的装置，其中，所述语义特征提取子模型还包括第二输出网络；所述装置还包括：
纠错文字获得模块，用于将所述第一语义特征输入所述第二输出网络，得到针对所述第一预测文字的纠错文字；
其中，所述模型训练模块包括：第一模型训练子模块，用于基于所述第一预测文字、所述第二预测文字、所述针对所述第一预测文字的纠错文字和所述第一实际文字，对所述文字识别模型进行训练。
21.根据权利要求20所述的装置，其中，所述第一模型训练子模块包括：
第一损失获得单元，用于基于所述第一预测文字与所述第一实际文字，得到第一损失值；
第二损失获得单元，用于基于所述第二预测文字与所述第一实际文字，得到第二损失值；
第三损失获得单元，用于基于所述针对所述第一预测文字的纠错文字与所述第一实际文字，得到第三损失值；以及
模型训练单元，用于基于所述第一损失值、所述第二损失值和所述第三损失值，对所述文字识别模型进行训练。
22.根据权利要求13所述的装置，还包括第一预训练模块，用于通过以下子模块对所述视觉特征提取子模型进行预训练：
信息获得子模块，用于将第二样本图像输入所述视觉特征提取子模型，得到第二视觉特征和第三预测文字，其中，所述第二样本图像包括文字和指示第二实际文字的标签；以及
第二模型训练子模块，用于基于所述第三预测文字和所述第二实际文字，对所述视觉特征提取子模型进行训练。
23.根据权利要求13所述的装置，还包括第二预训练模块，用于通过以下子模块对所述语义特征提取子模型进行预训练：
第二语义特征获得子模块，用于将样本文字输入所述语义特征提取子模型，得到所述样本文字的第二语义特征；所述样本文字具有指示实际纠错文字的标签；
纠错文字获得子模块，用于将所述第二语义特征和所述样本文字的位置编码特征拼接后输入预定解码网络，得到所述样本文字的预测纠错文字；以及
第三模型训练子模块，用于基于所述实际纠错文字和所述预测纠错文字，对所述语义特征提取子模型进行训练。
24.一种文字识别装置，包括：
图像输入模块，用于将待识别图像输入文字识别模型，所述待识别图像包括文字；以及
文字获取模块，用于获取所述待识别图像中的文字，
其中，所述文字识别模型是采用权利要求13～23任一项所述的装置训练得到的。
25.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1～12中任一项所述的方法。
26.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1～12中任一项所述的方法。
CN202110951785.0A 2021-08-18 2021-08-18 文字识别模型的训练方法、文字识别方法及装置 Active CN113657399B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110951785.0A CN113657399B (zh) 2021-08-18 2021-08-18 文字识别模型的训练方法、文字识别方法及装置
PCT/CN2022/093018 WO2023020045A1 (zh) 2021-08-18 2022-05-16 文字识别模型的训练方法、文字识别方法及装置
JP2023509826A JP2023541119A (ja) 2021-08-18 2022-05-16 文字認識モデルのトレーニング方法、文字認識方法、装置、電子機器、記憶媒体およびコンピュータプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110951785.0A CN113657399B (zh) 2021-08-18 2021-08-18 文字识别模型的训练方法、文字识别方法及装置

Publications (2)

Publication Number Publication Date
CN113657399A CN113657399A (zh) 2021-11-16
CN113657399B true CN113657399B (zh) 2022-09-27

Family

ID=78481136

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110951785.0A Active CN113657399B (zh) 2021-08-18 2021-08-18 文字识别模型的训练方法、文字识别方法及装置

Country Status (3)

Country Link
JP (1) JP2023541119A (zh)
CN (1) CN113657399B (zh)
WO (1) WO2023020045A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113657399B (zh) * 2021-08-18 2022-09-27 北京百度网讯科技有限公司 文字识别模型的训练方法、文字识别方法及装置
CN114202648B (zh) * 2021-12-08 2024-04-16 北京百度网讯科技有限公司 文本图像矫正方法、训练方法、装置、电子设备以及介质
CN114283411B (zh) * 2021-12-20 2022-11-15 北京百度网讯科技有限公司 文本识别方法、文本识别模型的训练方法及装置
CN114372477B (zh) * 2022-03-21 2022-06-10 北京百度网讯科技有限公司 文本识别模型的训练方法、文本识别方法及装置
CN115035538B (zh) * 2022-03-22 2023-04-07 北京百度网讯科技有限公司 文本识别模型的训练方法、文本识别方法及装置
CN114581906B (zh) * 2022-05-06 2022-08-05 山东大学 自然场景图像的文本识别方法及系统
CN115565177B (zh) * 2022-08-16 2023-06-20 北京百度网讯科技有限公司 文字识别模型训练、文字识别方法、装置、设备及介质
CN116012650B (zh) * 2023-01-03 2024-04-23 北京百度网讯科技有限公司 文字识别模型训练及其识别方法、装置、设备和介质
CN116311271B (zh) * 2023-03-22 2023-12-26 北京百度网讯科技有限公司 文本图像的处理方法及装置
CN116343233B (zh) * 2023-04-04 2024-02-06 北京百度网讯科技有限公司 文本识别方法和文本识别模型的训练方法、装置
CN116630465B (zh) * 2023-07-24 2023-10-24 海信集团控股股份有限公司 一种模型训练、图像生成方法及设备
CN116977436B (zh) * 2023-09-21 2023-12-05 小语智能信息科技(云南)有限公司 基于缅甸语字符簇特征的缅甸语文本图像识别方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10699112B1 (en) * 2018-09-28 2020-06-30 Automation Anywhere, Inc. Identification of key segments in document images
CN111709406A (zh) * 2020-08-18 2020-09-25 成都数联铭品科技有限公司 文本行识别方法及装置、可读存储介质、电子设备
CN112257426A (zh) * 2020-10-14 2021-01-22 北京一览群智数据科技有限责任公司 一种文字识别方法、系统、训练方法、存储介质及设备
CN112633290A (zh) * 2021-03-04 2021-04-09 北京世纪好未来教育科技有限公司 文本识别方法、电子设备及计算机可读介质
CN112712079A (zh) * 2021-01-07 2021-04-27 北京三快在线科技有限公司 基于渐进式编码的文字识别方法、装置、电子设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112288018B (zh) * 2020-10-30 2023-06-30 北京市商汤科技开发有限公司 文字识别网络的训练方法、文字识别方法和装置
CN112766051A (zh) * 2020-12-29 2021-05-07 有米科技股份有限公司 基于Attention的图像文字识别方法及装置
CN113657399B (zh) * 2021-08-18 2022-09-27 北京百度网讯科技有限公司 文字识别模型的训练方法、文字识别方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10699112B1 (en) * 2018-09-28 2020-06-30 Automation Anywhere, Inc. Identification of key segments in document images
CN111709406A (zh) * 2020-08-18 2020-09-25 成都数联铭品科技有限公司 文本行识别方法及装置、可读存储介质、电子设备
CN112257426A (zh) * 2020-10-14 2021-01-22 北京一览群智数据科技有限责任公司 一种文字识别方法、系统、训练方法、存储介质及设备
CN112712079A (zh) * 2021-01-07 2021-04-27 北京三快在线科技有限公司 基于渐进式编码的文字识别方法、装置、电子设备
CN112633290A (zh) * 2021-03-04 2021-04-09 北京世纪好未来教育科技有限公司 文本识别方法、电子设备及计算机可读介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"VSR: A Unified Framework for Document Layout Analysis combining Vision, Semantics and Relations";Peng Zhang et al.;《arXiv》;20210531;第1-16页 *

Also Published As

Publication number Publication date
JP2023541119A (ja) 2023-09-28
CN113657399A (zh) 2021-11-16
WO2023020045A1 (zh) 2023-02-23

Similar Documents

Publication Publication Date Title
CN113657399B (zh) 文字识别模型的训练方法、文字识别方法及装置
US20220383078A1 (en) Data processing method and related device
JP2022177220A (ja) テキスト認識モデルの訓練方法、テキスト認識方法及び装置
JP2023541532A (ja) テキスト検出モデルのトレーニング方法及び装置、テキスト検出方法及び装置、電子機器、記憶媒体並びにコンピュータプログラム
CN113313022B (zh) 文字识别模型的训练方法和识别图像中文字的方法
CN113792854A (zh) 一种模型训练及字库建立方法、装置、设备及存储介质
CN114445831A (zh) 一种图文预训练方法、装置、设备以及存储介质
JP7384943B2 (ja) 文字生成モデルのトレーニング方法、文字生成方法、装置、機器及び媒体
CN112926306A (zh) 文本纠错方法、装置、设备以及存储介质
CN116152833B (zh) 基于图像的表格还原模型的训练方法及表格还原方法
CN113392253B (zh) 视觉问答模型训练及视觉问答方法、装置、设备及介质
CN113656613A (zh) 训练图文检索模型的方法、多模态图像检索方法及装置
JP2023547010A (ja) 知識の蒸留に基づくモデルトレーニング方法、装置、電子機器
CN113743101A (zh) 文本纠错方法、装置、电子设备和计算机存储介质
CN115565177A (zh) 文字识别模型训练、文字识别方法、装置、设备及介质
CN114861637A (zh) 拼写纠错模型生成方法和装置、拼写纠错方法和装置
CN112560846B (zh) 纠错语料的生成方法、装置及电子设备
CN113360683A (zh) 训练跨模态检索模型的方法以及跨模态检索方法和装置
US20230317058A1 (en) Spoken language processing method and apparatus, and storage medium
CN115565186A (zh) 文字识别模型的训练方法、装置、电子设备和存储介质
CN115631502A (zh) 文字识别方法、装置、模型训练方法、电子设备及介质
CN115880502A (zh) 检测模型的训练方法、目标检测方法、装置、设备和介质
CN113129869B (zh) 语音识别模型的训练与语音识别的方法、装置
CN113947195A (zh) 模型确定方法、装置、电子设备和存储器
CN114896993B (zh) 翻译模型的生成方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant