CN115471840B - 生成、模型的训练、识别方法、装置、电子设备及介质 - Google Patents

Abstract

本发明提供了一种生成、模型的训练、识别方法、装置、电子设备及介质，涉及人工智能技术领域，尤其涉及深度学习、图像处理、计算机视觉技术领域，可应用于光学字符识别等场景。具体实现方案为：对第一文本图像中的字符串进行字符处理操作，得到第一中间字符串，其中，第一中间字符串的宽度与预定有效字符宽度之间的关系满足第一预定条件，预定有效字符宽度是根据第一文本图像的尺寸与预定系数确定的；在确定第一中间字符串的宽度与第一文本图像的尺寸之间不满足第二预定条件的情况下，对第一中间字符串进行占位符处理操作，得到用于作为样本数据的目标字符串，其中，目标字符串的宽度与第一文本图像的尺寸之间的关系满足第二预定条件。

Description

生成、模型的训练、识别方法、装置、电子设备及介质

技术领域

本发明涉及人工智能技术领域，尤其涉及深度学习、图像处理、计算机视觉技术领域，可应用于光学字符识别等场景。具体地，涉及一种生成、模型的训练、识别方法、装置、电子设备及介质。

背景技术

随着计算机技术的发展，人工智能技术也得以发展。人工智能技术可以包括计算机视觉技术、语音识别技术、自然语言处理技术、机器学习、深度学习、大数据处理技术及知识图谱技术等。

人工智能技术在各种领域得到了广泛应用。例如，可以利用人工智能技术生成用于训练深度学习模型的样本数据。

发明内容

本发明提供了一种生成、模型的训练、识别方法、装置、电子设备及介质。

根据本发明的一方面，提供了一种样本数据生成方法，包括：对第一文本图像中的字符串进行字符处理操作，得到第一中间字符串，其中，上述第一中间字符串的宽度与预定有效字符宽度之间的关系满足第一预定条件，上述预定有效字符宽度是根据上述第一文本图像的尺寸与预定系数确定的，上述预定系数是大于0且小于或等于1的数值；以及，在确定上述第一中间字符串的宽度与上述第一文本图像的尺寸之间不满足第二预定条件的情况下，对上述第一中间字符串进行占位符处理操作，得到用于作为样本数据的目标字符串，其中，上述目标字符串的宽度与上述第一文本图像的尺寸之间的关系满足上述第二预定条件。

根据本发明的另一方面，提供了一种文本语义表征模型的训练方法，包括：利用上述样本数据生成方法，生成目标字符串；以及，利用上述目标字符串训练第一深度学习模型，得到上述文本语义表征模型。

根据本发明的另一方面，提供了一种文本语义表征信息生成方法，包括：获取第一目标文本图像的第一文本识别信息；以及，将上述第一文本识别信息输入文本语义表征模型，得到文本语义表征信息；其中，上述文本语义表征模型是利用上述文本语义表征模型的训练方法训练得到的。

根据本发明的另一方面，提供了一种文本识别模型的训练方法，包括：将样本文本图像输入第二深度学习模型，得到样本文本识别信息；将上述样本文本识别信息输入文本语义表征模型，得到样本文本语义表征信息；对上述样本文本语义表征信息进行解码，得到样本文本语义信息；以及，利用上述样本文本语义信息训练上述第二深度学习模型和上述文本语义表征模型，得到上述文本识别模型；其中，上述文本语义表征模型是利用上述文本识别模型的训练方法训练得到的。

根据本发明的另一方面，提供了一种文本识别方法，包括：获取第二目标文本图像；以及，将上述第二目标文本图像输入文本识别模型，得到第二文本识别信息；其中，上述文本识别模型是利用上述文本识别模型的训练方法训练得到的。

根据本发明的另一方面，提供了一种样本数据生成装置，包括：第一获得模块，用于对第一文本图像中的字符串进行字符处理操作，得到第一中间字符串，其中，上述第一中间字符串的宽度与预定有效字符宽度之间的关系满足第一预定条件，上述预定有效字符宽度是根据上述第一文本图像的尺寸与预定系数确定的，上述预定系数是大于0且小于或等于1的数值；以及，第二获得模块，用于在确定上述第一中间字符串的宽度与上述第一文本图像的尺寸之间不满足第二预定条件的情况下，对上述第一中间字符串进行占位符处理操作，得到用于作为样本数据的目标字符串，其中，上述目标字符串的宽度与上述第一文本图像的尺寸之间的关系满足上述第二预定条件。

根据本发明的另一方面，提供了一种文本语义表征模型的训练装置，包括：生成模块，用于利用上述样本数据生成装置，生成目标字符串；以及，第四获得模块，用于利用上述目标字符串训练第一深度学习模型，得到上述文本语义表征模型。

根据本发明的另一方面，提供了一种文本语义表征信息生成装置，包括：第一获取模块，用于获取第一目标文本图像的第一文本识别信息；以及，第五获得模块，用于将上述第一文本识别信息输入文本语义表征模型，得到文本语义表征信息；其中，上述文本语义表征模型是利用上述文本语义表征模型的训练装置训练得到的。

根据本发明的另一方面，提供了一种文本识别模型的训练装置，包括：第六获得模块，用于将样本文本图像输入第二深度学习模型，得到样本文本识别信息；第七获得模块，用于将上述样本文本识别信息输入文本语义表征模型，得到样本文本语义表征信息；第八获得模块，用于对上述样本文本语义表征信息进行解码，得到样本文本语义信息；以及，第九获得模块，用于利用上述样本文本语义信息训练上述第二深度学习模型和上述文本语义表征模型，得到上述文本识别模型；其中，上述文本语义表征模型是利用上述文本语义表征模型的训练装置训练得到的。

根据本发明的另一方面，提供了一种文本识别装置，包括：第二获取模块，用于获取第二目标文本图像；以及，第十获得模块，用于将上述第二目标文本图像输入文本识别模型，得到第二文本识别信息；其中，上述文本识别模型是利用上述文本识别模型的训练装置训练得到的。

根据本发明的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与上述至少一个处理器通信连接的存储器；其中，上述存储器存储有可被上述至少一个处理器执行的指令，上述指令被上述至少一个处理器执行，以使上述至少一个处理器能够执行如本发明所述的方法。

根据本发明的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，上述计算机指令用于使上述计算机执行如本发明所述的方法。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本发明的限定。其中：

图1示意性示出了根据本发明实施例的可以应用样本数据生成、模型的训练、文本语义表征信息生成、文本识别方法及装置的示例性系统架构；

图2示意性示出了根据本发明实施例的样本数据生成方法的流程图；

图3示意性示出了根据本发明实施例的对第一文本图像中的字符串进行字符处理操作，得到第一中间字符串的流程图；

图4示意性示出了根据本发明实施例的对第一中间字符串进行占位符处理操作，得到用于作为样本数据的目标字符串的流程图；

图5A示意性示出了根据本发明实施例的样本数据生成方法的示例示意图；

图5B示意性示出了根据本发明另一实施例的样本数据生成方法的示例示意图；

图5C示意性示出了根据本发明另一实施例的样本数据生成方法的示例示意图；

图5D示意性示出了根据本发明另一实施例的样本数据生成方法的示例示意图；

图6示意性示出了根据本发明实施例的样本数据生成方法的原理示意图；

图7示意性示出了根据本发明实施例的文本语义表征模型的训练方法的流程图；

图8示意性示出了根据本发明实施例的文本语义表征信息生成方法的流程图；

图9示意性示出了根据本发明实施例的文本识别模型的训练方法的流程图；

图10示意性示出了根据本发明实施例的文本识别方法的流程图；

图11示意性示出了根据本发明实施例的样本数据生成装置的框图；

图12示意性示出了根据本发明实施例的文本语义表征模型的训练装置的框图；

图13示意性示出了根据本发明实施例的文本语义表征信息生成装置的框图；

图14示意性示出了根据本发明实施例的文本识别模型的训练装置的框图；

图15示意性示出了根据本发明实施例的文本识别装置的框图；以及

图16示意性示出了根据本发明实施例的适于实现样本数据生成、模型的训练、文本语义表征信息生成和文本识别方法的电子设备的框图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

由于自然场景中的图像会存在外界干扰，因而容易影响文本识别的准确性。例如，外界干扰可以包括光线和噪声等至少之一。此外，由于人工拍摄的原因，会存在拍摄不完整和遮挡等至少之一的情况，影响文本识别的准确性。

针对外界干扰，可以通过增加相应的训练数据来提高模型对干扰的鲁棒性，但是数据生成、数据标注和模型训练等操作均需要耗费较高的时间成本和人力成本，并且模型的学习能力容易受到模型结构的限制，难以学习到所有场景。针对拍摄不完整和遮挡等，可以利用纠正模型对文本识别结果进行纠正来矫正文本识别效果，但是，由于矫正效果依赖于纠正模型，因此，应用的难度较大。

为此，可以通过在文本识别过程中增加语义信息的方式来解决，即利用语义信息来辅助文本识别的方式来解决。为了提高语义信息的辅助识别效果，可以基于样本数据生成策略来生成与第一文本图像对应的目标字符串。目标字符串可以用于提供语义信息来辅助文本识别，因此，能够有效弥补文本图像的图像质量缺陷影对文本识别的准确性带来的不利影响，从而提高文本识别的准确性。图像质量欠佳可以是受外界干扰、拍摄不完整或遮挡导致的。并且，由于是与第一文本图像对应的目标字符串，因此，能够保证目标字符串的多样性。

为此，本发明实施例提出了一种样本数据生成方案。例如，对第一文本图像中的字符串进行字符处理操作，得到第一中间字符串。第一中间字符串的宽度与预定有效字符宽度之间的关系满足第一预定条件。预定有效字符宽度是根据第一文本图像的尺寸与预定系数确定的。预定系数是大于0且小于或等于1的数值。在确定第一中间字符串的宽度与第一文本图像的尺寸之间不满足第二预定条件的情况下，对第一中间字符串进行占位符处理操作，得到用于作为样本数据的目标字符串。目标字符串的宽度与第一文本图像的尺寸之间的关系满足第二预定条件。

根据本发明的实施例，由于预定有效字符宽度是根据第一文本图像的宽度与预定系数确定的，通过对第一文本图像中的字符串进行字符处理操作，能够得到宽度与预定有效字符宽度之间的关系满足第一预定条件的第一中间字符串。在此基础上，在确定第一中间字符串的宽度与第一文本图像的宽度之间不满足第二预定条件的情况下，通过对第一中间字符串进行占位符处理操作，能够得到宽度与第一文本图像的尺寸之间的关系满足第二预定条件的目标字符串，由此实现了根据第一文本图像来生成用于作为样本数据的目标字符串，增加了样本数据的多样性。此外，由于目标字符串可以用于提供语义信息来辅助文本识别，因此，能够提高文本识别的准确性。例如，针对图像质量欠佳的文本图像，如果直接对该文本图像进行文本识别，则由于文本图像自身图像质量欠佳，因此，将降低文本识别的准确性。而由于目标字符串可以用于提供语义信息，语义信息可以用于辅助文本识别，因此，能够有效弥补文本图像的图像质量缺陷影对文本识别的准确性带来的不利影响，从而提高文本识别的准确性。图像质量欠佳可以是受外界干扰、拍摄不完整或遮挡导致的。

本发明的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

在本发明的技术方案中，在获取或采集用户个人信息之前，均获取了用户的授权或同意。

图1示意性示出了根据本发明实施例的可以应用样本数据生成、模型的训练、文本语义表征信息生成、文本识别方法及装置的示例性系统架构。

需要注意的是，图1所示仅为可以应用本发明实施例的系统架构的示例，以帮助本领域技术人员理解本发明的技术内容，但并不意味着本发明实施例不可以用于其他设备、系统、环境或场景。例如，在另一实施例中，可以应用样本数据生成、模型的训练、文本语义表征信息生成、文本识别方法及装置的示例性系统架构可以包括终端设备，但终端设备可以无需与服务器进行交互，即可实现本发明实施例提供的样本数据生成、模型的训练、文本语义表征信息生成、文本识别方法及装置。

如图1所示，根据该实施例的系统架构100可以包括第一终端设备101、第二终端设备102、第三终端设备103、网络104和服务器105。网络104用以在第一终端设备101、第二终端设备102、第三终端设备103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型。例如，有线和无线通信链路等中的至少之一。终端设备可以包括第一终端设备101、第二终端设备102和第三终端设备103中的至少之一。

用户可以使用第一终端设备101、第二终端设备102和第三终端设备103中的至少之一通过网络104与服务器105交互，以接收或发送消息等。第一终端设备101、第二终端设备102和第三终端设备103中的至少之一可以安装有各种通讯客户端应用。例如，知识阅读类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端和社交平台软件等中的至少之一。

第一终端设备101、第二终端设备102、第三终端设备103可以是具有显示屏并且支持网页浏览的各种电子设备。例如，电子设备可以包括智能手机、平板电脑、膝上型便携计算机和台式计算机等中的至少之一。

服务器105可以是提供各种服务的服务器。例如，服务器105可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务（Virtual Private Server，虚拟专用服务器）中，存在的管理难度大，业务扩展性弱的缺陷。

需要说明的是，本发明实施例所提供的样本数据生成方法、文本语义表征信息生成方法和文本识别方法一般可以由第一终端设备101、第二终端设备102和第三终端设备103中的之一执行。相应地，本发明实施例所提供的样本数据生成装置、文本语义表征信息生成装置和文本识别装置也可以设置于第一终端设备101、第二终端设备102和第三终端设备103中的之一。

备选地，本发明实施例所提供的样本数据生成方法、文本语义表征信息生成方法和文本识别方法一般也可以由服务器105执行。相应地，本发明实施例所提供的样本数据生成装置、文本语义表征信息生成装置和文本识别装置一般可以设置于服务器105中。本发明实施例所提供的样本数据生成方法、文本语义表征信息生成方法和文本识别方法也可以由不同于服务器105且能够与第一终端设备101、第二终端设备102、第三终端设备103和服务器105中的至少之一通信的服务器或服务器集群执行。相应地，本发明实施例所提供的样本数据生成装置、文本语义表征信息生成装置和文本识别装置也可以设置于不同于服务器105且能够与第一终端设备101、第二终端设备102、第三终端设备103和服务器105中的至少之一通信的服务器或服务器集群中。

需要说明的是，本发明实施例所提供的文本语义表征模型的训练方法、文本识别模型的训练方法一般可以由服务器105执行。相应地，本发明实施例所提供的文本语义表征模型的训练装置、文本识别模型的训练装置一般可以设置于服务器105中。本发明实施例所提供的文本语义表征模型的训练方法、文本识别模型的训练方法也可以由不同于服务器105且能够与第一终端设备101、第二终端设备102、第三终端设备103和服务器105中的至少之一通信的服务器或服务器集群执行。相应地，本发明实施例所提供的文本语义表征模型的训练装置、文本识别模型的训练装置也可以设置于不同于服务器105且能够与第一终端设备101、第二终端设备102、第三终端设备103和服务器105中的至少之一通信的服务器或服务器集群中。

备选地，本发明实施例所提供的文本语义表征模型的训练方法、文本识别模型的训练方法一般也可以由第一终端设备101、第二终端设备102和第三终端设备103中的之一执行。相应地，本发明实施例所提供的文本语义表征模型的训练装置、文本识别模型的训练装置也可以设置于第一终端设备101、第二终端设备102和第三终端设备103中的之一。

应该理解，图1中的第一终端设备、第二终端设备、第三终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的第一终端设备、第二终端设备、第三终端设备、网络和服务器。

应注意，以下方法中各个操作的序号仅作为该操作的表示以便描述，而不应被看作表示该各个操作的执行顺序。除非明确指出，否则该方法不需要完全按照所示顺序来执行。

图2示意性示出了根据本发明实施例的样本数据生成方法的流程图。

如图2所示，该方法200包括操作S210~S220。

在操作S210，对第一文本图像中的字符串进行字符处理操作，得到第一中间字符串。

在操作S220，在确定第一中间字符串的宽度与第一文本图像的尺寸之间不满足第二预定条件的情况下，对第一中间字符串进行占位符处理操作，得到用于作为样本数据的目标字符串。

根据本发明的实施例，第一中间字符串的宽度可以与预定有效字符宽度之间的关系满足第一预定条件。预定有效字符宽度可以是根据第一文本图像的尺寸与预定系数确定的。预定系数可以是大于0且小于或等于1的数值。目标字符串的宽度可以与第一文本图像的尺寸之间的关系满足第二预定条件。

根据本发明的实施例，可以响应于检测到样本数据生成指令，从数据源中获取第一文本图像。数据源可以包括以下至少之一：本地数据库、云数据库和网络资源。可以调用数据接口，利用数据接口从数据源中获取第一文本图像。第一文本图像可以是以下至少之一：模拟第一文本图像和真实第一文本图像。真实第一文本图像可以是公开数据集中的第一文本图像。模拟第一文本图像可以是基于以下方式之一生成的：基于预定图像参数生成的和基于生成对抗网络模型处理预定随机噪声数据生成的。

根据本发明的实施例，第一文本图像可以是指包括字符串的图像。第一文本图像的图像格式可以根据实际业务需求进行设置，在此不作限定。例如，第一文本图像的图像格式可以包括JPG（Joint Photographic Experts Group，联合图像专家组）、TIFF（Tag ImageFile Format，标签图像文件格式）、PNG（Portable Network Graphics，便携式网络图形）、PDF（Portable Document Format，可携带文档格式）和GIF（Graphics InterchangeFormat，图形交换格式）等。

根据本发明的实施例，第一文本图像可以包括以下至少之一：文档文本图像和场景文本图像。文档文本图像可以指布局工整、光线受控和背景较为单一的文本图像。场景文本图像可以指背景较为复杂、文字形式多样和光线不受控的文本图像。文字形式可以包括以下至少之一：文字的颜色、大小、字体、方向和布局不规律等。布局不规律可以包括弯曲、倾斜、褶皱、变形和残缺不全等中的至少之一。

根据本发明的实施例，在获取到第一文本图像之后，可以基于光学字符识别（Optical Character Recognition，OCR）技术对第一文本图像进行字符识别处理，得到第一文本图像中的字符串。光学字符识别技术可以指利用电子设备采集图像中的文本内容，然后通过文本识别方法将采集得到的文本内容转换为计算机语言的过程。备选地，可以确定的第一文本图像的尺寸。第一文本图像的尺寸可以包括图像宽度。图像宽度可以以像素或厘米为单位。

根据本发明的实施例，可以根据样本文本图像中的样本有效字符，确定样本有效字符宽度。可以根据样本文本图像的尺寸和样本有效字符宽度，确定预定系数。预定系数的数值可以根据实际业务需求进行设置，在此不作限定。例如，预定系数可以大于第一预设阈值且小于或等于第二预设阈值，在此情况下，可以将第一预设阈值设置为0，将第二预设阈值设置为1。备选地，也可以将第一预设阈值设置为0.05，将第二预设阈值设置为1。

根据本发明的实施例，可以根据预定系数和第一文本图像的尺寸，确定预定有效字符宽度。预定有效字符宽度的确定方式可以根据实际业务需求进行设置，在此不作限定。例如，可以将预定系数与第一文本图像的尺寸进行相乘处理，得到预定有效字符宽度。备选地，可以将预定系数与第一文本图像的尺寸进行相加处理，得到预定有效字符宽度。

根据本发明的实施例，第一预定条件可以是指用于作为确定第一中间字符串的宽度与预定有效字符宽度之间的关系的依据。第一预定条件可以根据实际业务需求进行设置，在此不作限定。例如，第一预定条件可以为预定有效字符宽度等于预定系数与第一文本图像的尺寸之间的乘积。

根据本发明的实施例，在获得第一文本图像中的字符串之后，可以对第一文本图像中的字符串进行字符处理操作，得到第一中间字符串。字符处理操作可以包括以下至少之一：占位符插入操作、字符重复操作和利用样本数据生成策略进行字符处理操作。第一中间字符串可以用于表征经字符处理操作之后的字符串。

根据本发明的实施例，第一中间字符串可以包括有效字符部分和补充字符部分。有效字符部分可以包括以下至少之一：有效字符和第一补充占位符。补充字符部分可以包括第二补充占位符。第一补充占位符和第二补充占位符可以根据实际业务需求进行设置，在此不作限定。例如，第一补充占位符和第二补充占位符可以相同或不同。

根据本发明的实施例，第二预定条件可以是指用于作为确定第一中间字符串的宽度与第一文本图像的尺寸之间的关系的依据。第二预定条件可以根据实际业务需求进行设置，在此不作限定。例如，第二预定条件可以为第一中间字符串的宽度等于第一文本图像的尺寸。

根据本发明的实施例，在获得第一中间字符串之后，可以确定第一中间字符串的宽度与第一文本图像的尺寸之间的关系。在确定第一中间字符串的宽度与第一文本图像的尺寸之间满足第二预定条件的情况下，可以将第一中间字符串确定为目标字符串。在确定第一中间字符串的宽度与第一文本图像的尺寸之间不满足第二预定条件的情况下，可以对第一中间字符串进行占位符处理操作，以得到目标字符串。占位符处理操作可以至少包括占位符补充操作。在此情况下，可以根据第一中间字符串的宽度与第一文本图像的尺寸之间的差值，确定占位符补充操作所需要补充的占位符数量。

根据本发明的实施例，由于预定有效字符宽度是根据第一文本图像的宽度与预定系数确定的，通过对第一文本图像中的字符串进行字符处理操作，能够得到宽度与预定有效字符宽度之间的关系满足第一预定条件的第一中间字符串。在此基础上，在确定第一中间字符串的宽度与第一文本图像的宽度之间不满足第二预定条件的情况下，通过对第一中间字符串进行占位符处理操作，能够得到宽度与第一文本图像的尺寸之间的关系满足第二预定条件的目标字符串，由此实现了根据第一文本图像来生成用于作为样本数据的目标字符串，增加了样本数据的多样性。此外，由于目标字符串可以用于提供语义信息来辅助文本识别，因此，能够提高文本识别的准确性。例如，针对图像质量欠佳的文本图像，如果直接对该文本图像进行文本识别，则由于文本图像自身图像质量欠佳，因此，将降低文本识别的准确性。而由于目标字符串可以用于提供语义信息，语义信息可以用于辅助文本识别，因此，能够有效弥补文本图像的图像质量缺陷影对文本识别的准确性带来的不利影响，从而提高文本识别的准确性。图像质量欠佳可以是受外界干扰、拍摄不完整或遮挡导致的。

以上仅是示例性实施例，但不限于此，还可以包括本领域已知的其他样本数据生成方法，只要能够生成样本数据即可。

根据本发明的实施例，操作S210~S220可以由电子设备执行。电子设备可以包括服务器或终端设备。服务器可以是图1中的服务器105。终端设备可以是图1中的第一终端设备101、第二终端设备102或第三终端设备103。

下面参考图3、图4、图5A、图5B、图5C、图5D和图6，结合具体实施例对根据本发明实施例所述的样本数据生成方法做进一步说明。

根据本发明的实施例，上述样本数据生成方法还可以包括如下操作。

对第一文本图像中的原始字符串进行数据增强操作，得到字符串。

根据本发明的实施例，数据增强操作可以包括以下至少之一：掩码操作和替换操作。

根据本发明的实施例，可以基于光学字符识别技术对第一文本图像进行字符识别处理，得到第一文本图像中的原始字符串。在得到原始字符串之后，可以对原始字符串进行数据增强操作，得到用于进行样本数据生成的字符串。

根据本发明的实施例，数据增强操作可以根据实际业务需求进行设置，在此不作限定。例如，数据增强操作可以包括以下至少之一：掩码操作和替换操作。在数据增强操作同时包括掩码操作和替换操作的情况下，两者的执行顺序可以根据实际业务需求进行设置，在此不作限定。例如，可以先对原始字符串进行掩码操作，再对经掩码操作后的字符串进行替换操作。备选地，可以同时对原始字符串进行掩码操作和替换操作。

根据本发明的实施例，掩码操作可以指对原始字符串中的一个或多个字符随机进行掩码处理，以得到经掩码处理后的字符串。例如，第一文本图像中的原始字符串为“AB CD”，在此情况下，可以对原始字符串中的字符“B”进行掩码处理，得到字符串“A[M] C D”。

根据本发明的实施例，替换操作可以指对原始字符串中的一个或多个字符随机进行替换处理，以得到经替换处理的字符串。例如，第一文本图像中的原始字符串为“AB CD”，在此情况下，可以对原始字符串中的字符“D”进行替换处理，得到字符串“AB C E”。

根据本发明的实施例，通过对第一文本图像中的原始字符串随机进行掩码操作和替换操作以得到字符串，能够提高后续模型的鲁棒性和模型提取表征语义信息的能力。

根据本发明的实施例，上述样本数据生成还可以包括如下操作。

根据第二文本图像进行文本识别得到的文本识别信息，确定有效文本识别信息与补充文本识别信息之间的位置关系。根据有效文本识别信息与补充文本识别信息之间的位置关系，构建样本数据生成策略。

根据本发明的实施例，有效文本识别信息可以包括有效字符。补充文本识别信息可以包括第二预定补充占位符且不包括有效字符。

根据本发明的实施例，可以响应于检测到样本数据生成策略构建指令，从数据源中获取第二文本图像。第二文本图像可以是指包括字符串的图像。可以使用深度学习模型对第二文本图像进行文本识别处理，得到文本识别信息。文本识别信息可以包括有效文本识别信息和补充文本识别信息。有效文本识别信息可以包括以下至少之一：有效字符和第一预定补充占位符。补充文本识别信息可以包括第二预定补充占位符。第一预定补充占位符和第二预定补充占位符可以根据实际业务需求进行设置，在此不作限定。例如，第一预定补充占位符和第二预定补充占位符可以相同或不同。

根据本发明的实施例，深度学习模型可以包括能够实现对不定长的字符序列进行文本识别的深度学习模型和能够实现文本语义理解的深度学习模型。深度学习模型的模型结构可以根据实际业务需求进行配置，在此不作限定。

根据本发明的实施例，可以根据有效文本识别信息和补充文本识别信息，确定两者之间的位置关系。位置关系可以用于表征有效文本识别信息和补充文本识别信息之间的位置。位置关系可以包括以下至少之一：顺序关系和交叉关系。顺序关系可以用于表征有效文本识别信息位于补充文本识别信息之前。备选地，顺序关系可以用于表征有效文本识别信息位于补充文本识别信息之后。交叉关系可以用于表征有效文本识别信息位于补充文本识别信息之间。备选地，交叉关系可以用于表征补充文本识别信息位于有效文本识别信息之间。

根据本发明的实施例，在确定有效文本识别信息与补充文本识别信息之间的位置关系之后，可以根据该位置关系，构建样本数据生成策略。样本数据生成策略可以指用于生成样本数据的策略。样本数据生成策略可以包括对文本图像中的字符串进行字符处理操作所需要满足的条件。样本数据生成策略的具体内容可以根据实际业务需求进行设置，在此不作限定。例如，样本数据生成策略可以包括以下至少之一：用于限定第一中间字符串的宽度与预定有效字符宽度之间的关系的第一预定条件、用于限定第一中间字符串的宽度与第一文本图像的尺寸之间的关系的第二预定条件。

根据本发明的实施例，由于样本数据生成策略是根据第二文本图像的有效文本识别信息与补充文本识别信息之间的位置关系构建得到的，因此，在后续调用样本数据生成策略进行样本数据生成的情况下，能够自动生成符合预定条件的样本数据，提高了样本数据生成的效率和准确性。

根据本发明的实施例，根据第二文本图像进行文本识别得到的文本识别信息，确定有效文本识别信息与补充文本识别信息之间的位置关系可以包括如下操作。

对第二文本图像进行文本识别，得到第二文本图像的文本识别信息。对文本识别信息进行有效字符去重操作，得到中间文本识别信息。对中间文本识别信息进行分析，得到有效文本识别信息的位置信息和补充文本识别信息的位置信息。根据有效文本识别信息的位置信息和补充文本识别信息的位置信息，确定有效文本识别信息与补充文本识别信息之间的位置关系。

根据本发明的实施例，可以使用深度学习模型对第二文本图像进行文本识别处理，得到文本识别信息。文本识别信息可以包括有效文本识别信息和补充文本识别信息。有效文本识别信息可以包括有效字符。在有效字符中存在相邻两个字符是相同字符的情况下，可以对该相邻两个字符进行去重操作，得到中间文本识别信息。去重操作可以包括以下至少之一：在相邻两个字符之间插入占位符和在相邻两个字符之间插入与该字符不同的其它字符。

例如，有效文本识别信息可以为“AB CC D”，可以在“CC”之间插入占位符“[B]”，在此情况下，可以得到中间文本识别信息“AB C[B]C D”。备选地，有效文本识别信息可以为“AB EE F”，可以在“EE”之间插入与“E”不同的其它字符“G”，在此情况下，可以得到中间文本识别信息“AB EGE F”。

根据本发明的实施例，在获得中间文本识别信息之后，可以对中间文本识别信息进行分析，得到有效文本识别信息的位置信息和补充文本识别信息的位置信息。有效文本识别信息的位置信息可以用于表征有效文本识别信息在中间文本识别信息中的位置。补充文本识别信息的位置信息可以用于表征补充文本识别信息在中间文本识别信息中的位置。位置信息的具体形式可以根据实际业务需求进行设置，在此不作限定。例如，位置信息可以通过坐标形式表示。

根据本发明的实施例，有效文本识别信息与补充文本识别信息之间的位置关系可以根据有效文本识别信息的位置信息和补充文本识别信息的位置信息来确定。例如，有效文本识别信息的位置信息为（0，1）至（0，3），补充文本识别信息的位置信息为（0，5）至（0，7），在此情况下，可以确定有效文本识别信息位于补充文本识别信息之前。备选地，有效文本识别信息的位置信息为（0，1）至（0，5），补充文本识别信息的位置信息为（0，3）至（0，4），在此情况下，可以确定补充文本识别信息位于有效文本识别信息之间。

根据本发明的实施例，由于文本识别信息是通过对第二文本图像进行文本识别得到的，中间文本识别信息是通过对文本识别信息进行有效字符去重操作得到的，因此，提高了文本识别的准确性。在此情况下，由于有效文本识别信息的位置信息和补充文本识别信息的位置信息是通过对中间文本识别信息进行分析得到的，有效文本识别信息与补充文本识别信息之间的位置关系是根据有效文本识别信息的位置信息和补充文本识别信息的位置信息确定的，因此，提高了位置关系确定的准确性，提高了后续样本数据生成的质量。

根据本发明的实施例，上述样本数据生成方法还可以包括如下操作。

根据有效文本识别信息的位置信息，确定有效文本识别信息的宽度。根据有效文本识别信息的宽度和第二文本图像的尺寸，确定预定系数。

根据本发明的实施例，在获取第二文本图像之后，可以确定的第二文本图像的尺寸。第二文本图像的尺寸可以包括图像宽度。图像宽度可以以像素或厘米为单位。在获得有效文本识别信息的位置信息之后，还可以根据有效文本识别信息的位置信息，确定有效文本识别信息的宽度。在确定有效文本识别信息的宽度和第二文本图像的尺寸之后，可以根据有效文本识别信息的宽度和第二文本图像的尺寸，确定预定系数。预定系数可以用于在样本数据生成方法中确定预定有效字符宽度。

根据本发明的实施例，确定预定系数的具体方式可以根据实际业务需求进行设置，在此不作限定。例如，可以通过计算有效文本识别信息的宽度和第二文本图像的尺寸之间的商来确定预定系数。备选地，可以通过计算有效文本识别信息的宽度和第二文本图像的尺寸之间的差来确定预定系数。

例如，第二文本图像的尺寸可以为2.5。有效文本识别信息的位置信息为（0，1）至（0，3），可以确定有效文本识别信息的宽度为2。在此情况下，可以通过计算有效文本识别信息的宽度和第二文本图像的尺寸之间的商，确定预定系数为0.8。

根据本发明的实施例，由于有效文本识别信息的宽度是根据有效文本识别信息的位置信息确定的，而预定系数是根据有效文本识别信息的宽度和第二文本图像的尺寸确定的，因此，能够提高后续根据第一文本图像的尺寸与预定系数确定的预定有效字符宽度的准确性，由此，提高了生成的样本数据的质量。

图3示意性示出了根据本发明实施例的对第一文本图像中的字符串进行字符处理操作，得到第一中间字符串的流程图。

如图3所示，该方法300是对图2中的操作S210的进一步限定，该方法300可以包括操作S311~S312。

在操作S311，对第一文本图像中的字符串进行占位符插入操作，得到第二中间字符串。

在操作S312，对第二中间字符串进行重复操作，得到第一中间字符串。

根据本发明的实施例，可以在第一文本图像中的字符串的任意位置插入占位符，以得到第二中间字符串。第二中间字符串可以用于表征已插入占位符的字符串。

根据本发明的实施例，在获得第二中间字符串之后，可以对第二中间字符串中的任意字符进行重复操作，以得到第一中间字符串。第一中间字符串可以用于表征已插入占位符且已进行字符重复的字符串。

例如，第一文本图像中的字符串可以为“MN O P”，在此情况下，可以对该字符串随机进行占位符插入操作，得到第二中间字符串“M[B]N O[B] P[B]”。可以对第二中间字符串“M[B]N O[B] P[B]”随机进行重复操作，得到第一中间字符串“MM[B]N OO[B] P[B][B]”。

根据本发明的实施例，操作S311~S312可以由电子设备执行。电子设备可以包括服务器或终端设备。服务器可以是图1中的服务器105。终端设备可以是图1中的第一终端设备101、第二终端设备102或第三终端设备103。

根据本发明的实施例，由于第一中间字符串是通过对第二中间字符串进行重复操作得到的，而第二中间字符串是通过对第一文本图像中的字符串进行占位符插入操作得到的，因此，在对第一文本图像中的字符串进行占位符插入操作和重复操作得到第一中间字符串的基础上，再进行后续目标字符串的生成，能够增加样本数据的多样性。

根据本发明的实施例，操作S311可以包括如下操作。

在确定第一文本图像中的字符串中存在相邻两个字符是相同字符的情况下，在目标位置插入第一预定补充占位符以及在字符串的其他任意位置插入第一预定补充占位符，得到第二中间字符串。

根据本发明的实施例，目标位置可以用于表征相邻两个字符之间的位置，其他任意位置可以用于表征字符串中除目标位置以外的任意位置。

根据本发明的实施例，在对第一文本图像中的字符串进行占位符插入操作之前，可以预先确定第一文本图像中的字符串是否存在相邻两个字符是相同字符。在确定第一文本图像中的字符串中存在相邻两个字符是相同字符的情况下，可以在目标位置插入第一预定补充占位符，以得到候选第二中间字符串。例如，第一文本图像中的字符串为“X YY Z”，可以确定存在相邻两个字符“YY”是相同字符，在此情况下，可以在“YY”之间插入第一预定补充占位符[B]，得到候选第二中间字符串“X Y[B]Y Z”。

根据本发明的实施例，在得到候选第二中间字符串之后，还可以在字符串的除目标位置以外的任意位置插入第一预定补充占位符[B]，以得到第二中间字符串。例如，候选第二中间字符串“X Y[B]Y Z”，在此情况下，可以得到第二中间字符串“X[B] Y[B]Y[B] Z[B]”。

根据本发明的实施例，在目标位置或其他任意位置插入第一预定补充占位符的顺序可以根据实际业务需求进行设置，在此不作限定。例如，可以先在目标位置插入第一预定补充占位符得到候选第二中间字符串，再在候选第二中间字符串中的其他任意位置插入第一预定补充占位符，得到第二中间字符串。备选地，可以同时在目标位置或其他任意位置插入第一预定补充占位符。

根据本发明的实施例，通过预先确定第一文本图像中的字符串是否存在相邻两个字符是相同字符，并在确定第一文本图像中的字符串中存在相邻两个字符是相同字符的情况下，进行目标位置处的占位符插入操作，由此避免了在后续文本识别过程中存在的相邻两个字符是相同字符的误识别情况，提高了文本识别的准确性。此外，通过进行除目标位置以外的任意位置处的占位符插入操作，能够得到不同的第二中间字符串，由此增加了后续生成目标字符串的数量，因而提高了样本数据的多样性和第一文本图像的利用率。

根据本发明的实施例，操作S311还可以包括如下操作。

在确定字符串中不存在相邻两个字符是相同字符的情况下，随机在第一文本图像中的字符串中插入第一预定补充占位符，得到第二中间字符串。

根据本发明的实施例，在对第一文本图像中的字符串进行占位符插入操作之前，可以预先确定第一文本图像中的字符串是否存在相邻两个字符是相同字符。

例如，第一文本图像中的字符串为“X Y Z”，可以确定第一文本图像中的字符串中不存在相邻两个字符是相同字符。在此情况下，可以随机在第一文本图像中的字符串中插入第一预定补充占位符[B]。随机插入第一预定补充占位符[B]的位置可以根据实际业务需求进行设置，在此不作限定。例如，可以在字符“X”之后插入第一预定补充占位符[B]，在此情况下，可以得到第二中间字符串“X[B] Y Z”。备选地，也可以在字符“X”和字符“Y”之后均插入第一预定补充占位符[B]，由此可以得到第二中间字符串“X[B] Y[B] Z”。

根据本发明的实施例，通过预先确定第一文本图像中的字符串是否存在相邻两个字符是相同字符，并在确定第一文本图像中的字符串中不存在相邻两个字符是相同字符的情况下，在除目标位置以外的任意位置处进行占位符插入操作，能够得到彼此之间互不相同的第二中间字符串，由此增加了后续生成目标字符串的数量，因而提高了样本数据的多样性和第一文本图像的利用率。

根据本发明的实施例，操作S312可以包括如下操作。

随机对第二中间字符串进行重复操作，得到第一中间字符串。

根据本发明的实施例，在得到第二中间字符串之后，可以对第二中间字符串中随机进行重复操作。随机进行重复操作的具体对象可以根据实际业务需求进行设置，在此不作限定。例如，可以对第二中间字符串中的任意字符进行重复操作。备选地，也可以对第二中间字符串中的第一预定补充占位符进行重复操作。

例如，第二中间字符串为“X[B] Y[B] Z”，可以对字符“X”进行重复操作。在此情况下，可以得到第一中间字符串“XX[B] Y[B] Z”。备选地，可以对字符“X”和字符“Y”之后的第一预定补充占位符[B]均进行重复操作，由此可以得到第一中间字符串“XX[B] [B] Y[B][B] Z”。

根据本发明的实施例，可以根据预定有效字符宽度，对第一文本图像中的字符串进行第一预定占位符补充操作和重复操作，即经第一预定占位符补充操作和重复操作后得到的第一中间字符串的宽度需要小于或等于预定有效字符宽度。

根据本发明的实施例，利用占位符插入操作，得到第二中间字符串。然后，对第二中间字符串进行针对任意字符的重复操作，能够得到彼此之间互不相同的第一中间字符串，并能够使得每一第一中间字符串的宽度与预定有效字符宽度之间的关系满足第一预定条件，由此增加了后续生成目标字符串的数量，提高了样本数据的多样性。

图4示意性示出了根据本发明实施例的对第一中间字符串进行占位符处理操作，得到用于作为样本数据的目标字符串的流程图。

如图4所示，该方法400是对图2中的操作S220的进一步限定，该方法400可以包括操作S421。

在操作S421，在第一中间字符串之后进行占位符补充操作，得到用于作为样本数据的目标字符串。

根据本发明的实施例，在获得第一中间字符串之后，可以确定第一中间字符串的宽度。根据第一中间字符串的宽度和预定有效字符宽度之间的差值，确定待补充占位符宽度。在确定待补充占位符宽度之后，可以根据待补充占位符宽度和补充占位符，对第一中间字符串进行占位符补充操作，以确定目标字符串。

根据本发明的实施例，占位符补充操作可以包括以下至少之一：在第一中间字符串之前添加补充占位符和在第一中间字符串之后添加补充占位符。

根据本发明的实施例，占位符插入操作、重复操作和占位符处理操作是按照串行顺序进行的。即，在对第一文本图像中的字符串进行占位符插入操作得到第二中间字符串之后，再对第二中间字符串进行重复操作，得到第一中间字符串。在得到第一中间字符串之后，再对第一中间字符串进行占位符补充操作，得到目标字符串。

根据本发明的实施例，由于目标字符串是通过对经字符处理操作后的第一中间字符串进行占位符补充操作得到的，因而能够使得目标字符串的宽度与第一文本图像的尺寸之间的关系满足第二预定条件，由此能够完成反向解码信息的构建，提高了后续模型训练的效率。

根据本发明的实施例，操作S421可以由电子设备执行。电子设备可以包括服务器或终端设备。服务器可以是图1中的服务器105。终端设备可以是图1中的第一终端设备101、第二终端设备102或第三终端设备103。

根据本发明的实施例，操作S421可以包括如下操作。

在第一中间字符串之后添加第二预定补充占位符，得到用于作为样本数据的目标字符串。

根据本发明的实施例，在获得第一中间字符串之后，可以确定第一中间字符串的宽度。根据第一中间字符串的宽度和预定有效字符宽度之间的差值，确定待补充占位符宽度。可以根据待补充占位符宽度，利用第二预定占位符构建补充字符串。在得到补充字符串之后，可以在第一中间字符串之后添加补充字符串，以进行占位符补充操作，得到目标字符串。

例如，第一中间字符串为“XX[B] Y[B][B] Z”，可以确定第一中间字符串的宽度为7。在预定有效字符宽度为10的情况下，可以根据预定有效字符宽度和第一中间字符串的宽度之间的差值，即10和7之间的差值，确定待补充占位符宽度为3。可以根据待补充占位符宽度3，利用第二预定占位符构建得到补充字符串为“[B][B][B]”。在得到补充字符串“[B][B][B]”之后，可以在第一中间字符串“XX[B] Y[B][B] Z”之后添加补充字符串“[B][B][B]”，以进行占位符补充操作，得到目标字符串“XX[B] Y[B][B] Z[B][B][B]”。

根据本发明的实施例，通过对不同的第一中间字符串之后添加第二预定补充占位符，以得到目标字符串，有利于后续利用彼此不同的目标字符串对模型进行训练优化，从而可以提高后续表征模型的泛化能力，由此，可以提高表征模型和后续应用模型的训练精度。

根据本发明的实施例，操作S210可以包括如下操作。

调用样本数据生成策略。利用样本数据生成策略，对第一文本图像中的字符串进行字符处理操作，得到第一中间字符串。

根据本发明的实施例，样本数据生成策略可以是根据第二文本图像的文本识别信息构建的。

根据本发明的实施例，可以利用深度学习模型对第二文本图像进行文本识别处理，得到文本识别信息。文本识别信息可以包括有效文本识别信息和补充文本识别信息。可以确定有效文本识别信息和补充文本识别信息之间的位置关系。可以根据该位置关系，构建样本数据生成策略。样本数据生成策略可以指用于生成样本数据的策略。样本数据生成策略可以包括对文本图像中的字符串进行字符处理操作所需要满足的条件。

根据本发明的实施例，在需要对第一文本图像中的字符串进行字符处理操作的情况下，可以调用样本数据生成策略。利用样本数据生成策略，对第一文本图像中的字符串进行字符处理操作，以使得到的第一中间字符串的宽度与预定有效字符宽度之间的关系满足第一预定条件和/或使第一中间字符串的宽度与第一文本图像的尺寸之间的关系满足第二预定条件。

根据本发明的实施例，操作S220可以包括如下操作。

调用样本数据生成策略。利用样本数据生成策略，在确定第一中间字符串的宽度与第一文本图像的尺寸之间不满足第二预定条件的情况下，对第一中间字符串进行占位符处理操作，得到用于作为样本数据的目标字符串。

根据本发明的实施例，通过调用用于生成样本数据的样本数据生成策略，对第一文本图像中的字符串进行字符处理操作，能够提高样本数据的多样性。

图5A示意性示出了根据本发明实施例的样本数据生成方法的示例示意图。

如图5A所示，以第一文本图像的尺寸为25，第一文本图像中的字符串501为“a toybear”为例。

在确定第一文本图像中的字符串501中不存在相邻两个字符是相同字符的情况下，可以随机在第一文本图像中的字符串501中插入第一预定补充占位符[B]，得到第二中间字符串502为“a[B] t[B]oy b[B]e[B][B]a[B][B]r”。

在获得第二中间字符串502之后，可以随机对第二中间字符串502进行重复操作，得到第一中间字符串503为“a[B] t[B]oyy bb[B]e[B][B]a[B][B][B]r”。

在获得第一中间字符串503之后，可以确定第一中间字符串503的宽度为20，在此情况下，可以根据第一文本图像的尺寸和第一中间字符串503的宽度，确定待补充占位符宽度为5。由此，可以对第一中间字符串503进行占位符补充操作，得到目标字符串504为“a[B]t[B]oyy bb[B]e[B][B]a[B][B][B]r[B][B][B][B][B]”。

图5B示意性示出了根据本发明另一实施例的样本数据生成方法的示例示意图。

如图5B所示，以第一文本图像的尺寸为25，第一文本图像中的原始字符串505为“atoy bear”为例。

在确定第一文本图像中的原始字符串505中不存在相邻两个字符是相同字符的情况下，可以随机对第一文本图像中的原始字符串505进行数据增强操作。例如，可以对原始字符串505随机进行掩码操作，得到候选字符串506_1为“a t[M]y bear”。在此基础上，可以对候选字符串506_1随机进行替换操作，得到字符串506_2为“a t[M]y beor”。

在获得字符串506_2之后，可以随机在第一文本图像中的字符串506_2中插入第一预定补充占位符[B]，得到第二中间字符串507为“a[B] t[B][M]y b[B]e[B][B]o[B][B]r”。

在获得第二中间字符串507之后，可以随机对第二中间字符串507进行重复操作，得到第一中间字符串508为“a[B] t[B][M]yy bb[B][B]e [B]o[B][B][B]r”。

在获得第一中间字符串508之后，可以确定第一中间字符串508的宽度为21，在此情况下，可以根据第一文本图像的尺寸和第一中间字符串508的宽度，确定待补充占位符宽度为4。由此，可以对第一中间字符串508进行占位符补充操作，得到目标字符串509为“a[B]t[B][M]yy bb[B][B]e[B][B]o[B][B][B]r[B][B][B][B]”。

图5C示意性示出了根据本发明另一实施例的样本数据生成方法的示例示意图。

如图5C所示，以第一文本图像的尺寸为20，第一文本图像中的字符串510为“a toybee”为例。

在确定第一文本图像中的字符串510中存在相邻两个字符是相同字符的情况下，可以针对相同字符在目标位置插入第一预定补充占位符[B]，得到候选第二中间字符串511_1为“a toy be[B]e”。在此基础上，可以针对处目标位置外的任意位置随机在候选第二中间字符串511_1中插入第一预定补充占位符[B]，得到第二中间字符串511_2为“a[B] t[B]oy b[B]e[B]e”。

在获得第二中间字符串511_2之后，可以随机对第二中间字符串511_2进行重复操作，得到第一中间字符串512为“a[B] t[B]oyy bb[B]e[B][B]e”。

在获得第一中间字符串512之后，可以确定第一中间字符串512的宽度为16，在此情况下，可以根据第一文本图像的尺寸和第一中间字符串512的宽度，确定待补充占位符宽度为4。由此，可以对第一中间字符串512进行占位符补充操作，得到目标字符串513为“a[B]t[B]oyy bb[B]e[B][B]e[B][B][B][B]”。

图5D示意性示出了根据本发明另一实施例的样本数据生成方法的示例示意图。

如图5D所示，以第一文本图像的尺寸为20，第一文本图像中的原始字符串514为“atoy bee”为例。

在确定第一文本图像中的原始字符串514中存在相邻两个字符是相同字符的情况下，可以随机对第一文本图像中的原始字符串514进行数据增强操作。例如，可以对原始字符串514随机进行掩码操作，得到候选字符串515_1为“a t[M]y bee”。在此基础上，可以对候选字符串515_1随机进行替换操作，得到字符串515_2为“a t[M]x bee”。

可以针对相同字符在目标位置插入第一预定补充占位符[B]，得到候选第二中间字符串516_1为“a t[M]x be[B]e”。在此基础上，可以针对处目标位置外的任意位置随机在候选第二中间字符串516_1中插入第一预定补充占位符[B]，得到第二中间字符串516_2为“a[B] t[B][M]x b[B]e[B]e”。

在获得第二中间字符串516_2之后，可以随机对第二中间字符串516_2进行重复操作，得到第一中间字符串517为“a[B] t[B][M]xx bb[B][B]e[B]e”。

在获得第一中间字符串517之后，可以确定第一中间字符串517的宽度为16，在此情况下，可以根据第一文本图像的尺寸和第一中间字符串517的宽度，确定待补充占位符宽度为4。由此，可以对第一中间字符串517进行占位符补充操作，得到目标字符串518为“a[B]t[B][M]xx bb[B]e[B][B]e[B][B][B][B]”。

图6示意性示出了根据本发明实施例的样本数据生成方法的原理示意图。

如图6所示，可以对第二文本图像601进行文本识别，得到第二文本图像601的文本识别信息602。在得到文本识别信息602之后，对文本识别信息602进行有效字符去重操作，得到中间文本识别信息603。

在获得中间文本识别信息603之后，可以对中间文本识别信息进行分析，得到有效文本识别信息的位置信息604和补充文本识别信息的位置信息605。可以根据有效文本识别信息的位置信息604，确定有效文本识别信息的宽度606。可以根据有效文本识别信息的宽度606和第二文本图像601的尺寸，确定预定系数607。预定系数607可以用于确定预定有效字符宽度。

可以根据有效文本识别信息的位置信息604和补充文本识别信息的位置信息605，确定有效文本识别信息与所述文本识别信息之间的位置关系608。在确定位置关系608之后，可以根据位置关系608，构建样本数据生成策略609。

可以响应于接收到样本数据生成指令，获取第一文本图像610。在获取到第一文本图像610之后，可以对第一文本图像中的原始字符串610_1进行数据增强操作，得到字符串611。

在获得字符串611之后，可以对第一文本图像610中的字符串611进行占位符插入操作，得到第二中间字符串612。在此基础上，可以对第二中间字符串612进行重复操作，得到第一中间字符串613。

在获得第一中间字符串613之后，可以在确定第一中间字符串613的宽度与第一文本图像610的尺寸之间不满足第二预定条件的情况下，对第一中间字符串613进行占位符处理操作，得到用于作为样本数据的目标字符串614。

图7示意性示出了根据本发明实施例的文本语义表征模型的训练方法的流程图。

如图7所示，该方法700包括操作S710~S720。

在操作S710，生成目标字符串。

在操作S720，利用目标字符串训练第一深度学习模型，得到文本语义表征模型。

根据本发明的实施例，目标字符串可以是利用根据本发明实施例所述的样本数据生成方法生成的。

根据本发明的实施例，可以响应于检测到文本语义表征模型的训练指令，从数据源中获取第一文本图像。对第一文本图像中的字符串进行字符处理操作，得到第一中间字符串。在确定第一中间字符串的宽度与第一文本图像的尺寸之间不满足第二预定条件的情况下，对第一中间字符串进行占位符处理操作，得到目标字符串。

根据本发明的实施例，在得到目标字符串之后，可以基于第一深度学习模型处理目标字符串，得到预测文本语义表征结果。第一深度学习模型可以包括能够实现文本语义理解的深度学习模型。第一深度学习模型的模型结构可以根据实际业务需求进行配置，在此不作限定。例如，第一深度学习模型可以包括至少一个模型结构。模型结构可以包括至少一个模型子结构和各个模型子结构彼此之间的连接关系。

根据本发明的实施例，第一深度学习模型可以包括以下至少之一：基于卷积神经网络（Convolutional Neural Networks，CNN）的第一深度学习模型、基于循环神经网络（Recurrent Neural Network，RNN）的第一深度学习模型和基于转换器（Transformer）的第一深度学习模型。

根据本发明的实施例，可以基于第一损失函数，利用真实文本语义表征结果和预测文本语义表征结果，得到第一输出值。根据第一输出值调整第一深度学习模型的模型参数，直至满足预定条件。例如，可以根据反向传播算法或随机梯度下降算法，调整第一深度学习模型的模型参数，直至满足预定条件。将在满足预定条件的情况下得到的第一深度学习模型确定为文本语义表征模型。

根据本发明的实施例，第一深度学习模型的训练方式可以根据实际业务需求进行配置，在此不作限定。例如，训练方式可以包括以下至少之一：无监督训练、有监督训练和半监督训练。

根据本发明的实施例，操作S710~S720可以由电子设备执行。电子设备可以包括服务器或终端设备。服务器可以是图1中的服务器105。终端设备可以是图1中的第一终端设备101、第二终端设备102或第三终端设备103。

根据本发明的实施例，由于通过样本数据生成方法能够得到更为多样的目标字符串，因而通过利用生成的目标字符串进行文本语义表征模型的训练优化，能够降低文本语义表征模型的迭代次数，提高了文本语义表征模型的训练速度，并且提高了得到的文本语义表征模型的通用性和可移植性。

以上仅是示例性实施例，但不限于此，还可以包括本领域已知的其他文本语义表征模型的训练方法，只要能够训练文本语义表征模型即可。

图8示意性示出了根据本发明实施例的文本语义表征信息生成方法的流程图。

如图8所示，该方法800包括操作S810~S820。

在操作S810，获取第一目标文本图像的第一文本识别信息。

在操作S820，将第一文本识别信息输入文本语义表征模型，得到文本语义表征信息。

根据本发明的实施例，文本语义表征模型可以是利用根据本发明实施例所述的文本语义表征模型的训练方法训练得到的。

根据本发明的实施例，可以响应于检测到文本语义表征信息生成指令，从数据源中获取第一目标文本图像。第一目标文本图像可以是指包括第一目标字符串的图像。可以根据第一目标文本图像，获取第一目标文本图像的第一文本识别信息。在获取到第一目标文本图像的第一文本识别信息之后，可以基于利用文本语义表征模型的训练方法训练得到的文本语义表征模型对第一文本识别信息进行处理，得到文本语义表征信息。

例如，可以基于深度学习模型对第一目标文本图像进行处理，得到第一目标文本图像的第一文本识别信息。深度学习模型可以包括以下至少之一：基于深度网络的语义模型（Deep Structured Semantic Models，DSSM）、深度相关性匹配模型（Deep RelevanceMatching Model，DRMM）和双向编码器表示（Bidirectional Encoder Representationfrom Transformers，BERT）等。

备选地，可以基于OCR技术对第一目标文本图像进行文本框识别，得到第一目标文本图像中的至少一个文本区域。可以对至少一个文本区域中的每个文本区域分别进行文字识别，得到与每个文本区域各自对应的字段内容。可以根据与每个文本区域各自对应的字段内容，确定文本语义表征信息。

根据本发明的实施例，操作S810~S820可以由电子设备执行。电子设备可以包括服务器或终端设备。服务器可以是图1中的服务器105。终端设备可以是图1中的第一终端设备101、第二终端设备102或第三终端设备103。

根据本发明的实施例，由于文本语义表征信息是通过基于文本语义表征模型对第一文本识别信息进行处理得到的，因而增强了文本语义表征信息在文字识别过程中的语义信息，提高了第一文本识别信息的利用率，有利于提高后续文本识别的准确性。

以上仅是示例性实施例，但不限于此，还可以包括本领域已知的其他文本语义表征信息生成方法，只要能够生成文本语义表征信息即可。

图9示意性示出了根据本发明实施例的文本识别模型的训练方法的流程图。

如图9所示，该方法900包括操作S910~S940。

在操作S910，将样本文本图像输入第二深度学习模型，得到样本文本识别信息。

在操作S920，将样本文本识别信息输入文本语义表征模型，得到样本文本语义表征信息。

在操作S930，对样本文本语义表征信息进行解码，得到样本文本语义信息。

在操作S940，利用样本文本语义信息训练第二深度学习模型和文本语义表征模型，得到文本识别模型。

根据本发明的实施例，文本语义表征模型可以是利用根据本发明实施例所述的文本语义表征模型的训练方法训练得到的。

根据本发明的实施例，可以响应于检测到文本识别模型的训练指令，从数据源中获取样本文本图像。可以基于第二深度学习模型处理样本文本图像，得到样本文本识别信息。第二深度学习模型可以包括能够实现文本识别的深度学习模型。第二深度学习模型的模型结构可以根据实际业务需求进行配置，在此不作限定。例如，第二深度学习模型可以包括至少一个模型结构。模型结构可以包括至少一个模型子结构和各个模型子结构彼此之间的连接关系。

根据本发明的实施例，第二深度学习模型可以包括以下之一：基于CRNN（Convolutional Recurrent Neural Network，卷积循环神经网络）的第二深度学习模型和基于编码器-解码器的第二深度学习模型。CRNN可以包括卷积层、循环层和转录层编码器-解码器可以包括以下之一：对称编码器-解码器和非对称编码器-解码器。

根据本发明的实施例，基于CRNN的第二深度学习模型可以包括以下至少之一：基于CTC（即Connectionist Temporal Classification）的CRNN模型、基于Attention（即注意力）的CRNN模型和基于ACE（即Aggregation Cross Entropy）的CRNN模型。基于编码器-解码器的第二深度学习模型可以包括基于Seq-To-Seq（即Sequence-To-Sequence）的第二深度学习模型。

根据本发明的实施例，在获得得到样本文本识别信息之后，可以从数据源中获取用上述文本语义表征模型的训练方法训练得到的文本语义表征模型。可以基于文本语义表征模型处理样本文本识别信息，得到样本文本语义表征信息。

根据本发明的实施例，在获得样本文本语义表征信息之后，可以对样本文本语义表征信息进行解码，得到样本文本语义信息。对样本文本语义表征信息进行解码的方式可以包括以下至少之一：基于CTC的CRNN模型、基于Attention的CRNN模型、基于ACE的CRNN模型和基于Seq-To-Seq的模型对样本文本语义表征信息进行解码。

根据本发明的实施例，以基于CTC的CRNN模型对样本文本语义表征信息进行解码为例，样本文本语义表征信息中的每个解码位置分别对应有CTC损失函数值，CTC损失函数值可以表征该解码位置是否存在文本字符串。可以基于CTC的CRNN模型对样本文本语义表征信息中的每个解码位置分别进行CTC解码处理处理，得到与每个解码处理位置分别对应的CTC损失函数值，以得到样本文本语义信息。

根据本发明的实施例，在获得样本文本语义信息之后，可以基于第二损失函数，利用真实样本文本语义信息和样本文本语义信息，得到第二输出值。根据第二输出值调整第二深度学习模型的模型参数，直至满足预定条件。例如，可以根据反向传播算法或随机梯度下降算法，调整第二深度学习模型的模型参数，直至满足预定条件。将在满足预定条件的情况下得到的第二深度学习模型确定为经训练的第二深度学习模型。

根据本发明的实施例，在保持经训练的第二深度学习模型的模型参数不变的情况下，可以将第二深度学习模型输出的样本文本语义信息输入至第二深度学习模型。可以基于第三损失函数，利用真实样本文本语义信息和经文本语义表征模型输出的样本文本语义信息，得到第三输出值。根据第三输出值调整文本语义表征模型的模型参数，直至满足预定条件。例如，可以根据反向传播算法或随机梯度下降算法，调整文本语义表征模型的模型参数，直至满足预定条件。将在满足预定条件的情况下得到的第二深度学习模型和文本语义表征模型确定为文本识别模型。

根据本发明的实施例，第二深度学习模型和文本语义表征模型的训练方式可以根据实际业务需求进行配置，在此不作限定。例如，训练方式可以包括以下至少之一：无监督训练、有监督训练和半监督训练。

根据本发明的实施例，操作S910~S940可以由电子设备执行。电子设备可以包括服务器或终端设备。服务器可以是图1中的服务器105。终端设备可以是图1中的第一终端设备101、第二终端设备102或第三终端设备103。

根据本发明的实施例，由于文本语义表征模型具备提取语义信息的能力，在此基础上，通过将第二深度学习模型和文本语义表征模型组合训练，增强了文字识别过程中的语义信息，由此，能够提高文本识别模型的准确性和可靠性，同时提高了后续文字识别的准确性。

以上仅是示例性实施例，但不限于此，还可以包括本领域已知的其他文本识别模型的训练方法，只要能够训练文本识别模型即可。

图10示意性示出了根据本发明实施例的文本识别方法的流程图。

如图10所示，该方法1000包括操作S1010~S1020。

在操作S1010，获取第二目标文本图像。

在操作S1020，将第二目标文本图像输入文本识别模型，得到第二文本识别信息。

根据本发明的实施例，文本识别模型可以是利用根据本发明实施例所述的文本识别模型的训练方法训练得到的。

根据本发明的实施例，可以响应于检测到文本识别指令，从数据源中获取第二目标文本图像。第二目标文本图像可以是指包括第二目标字符串的图像。在获取到第二目标文本图像之后，可以基于利用文本识别模型的训练方法训练得到的文本识别模型对第二目标文本图像进行处理，得到第二文本识别信息。

根据本发明的实施例，操作S1010~S1020可以由电子设备执行。电子设备可以包括服务器或终端设备。服务器可以是图1中的服务器105。终端设备可以是图1中的第一终端设备101、第二终端设备102或第三终端设备103。

根据本发明的实施例，由于文本识别模型是利用样本文本语义信息训练第二深度学习模型和文本语义表征模型训练得到的，因而文本识别模型具备文本识别的能力。在此基础上，通过基于文本识别模型对第二目标文本图像进行处理，提高了第二文本识别信息的准确性。

以上仅是示例性实施例，但不限于此，还可以包括本领域已知的其他文本识别方法，只要能够识别文本即可。

图11示意性示出了根据本发明实施例的样本数据生成装置的框图。

如图11所示，样本数据生成装置1100可以包括第一获得模块1110和第二获得模块1120。

第一获得模块1110，用于对第一文本图像中的字符串进行字符处理操作，得到第一中间字符串。第一中间字符串的宽度与预定有效字符宽度之间的关系满足第一预定条件。预定有效字符宽度是根据第一文本图像的尺寸与预定系数确定的。预定系数是大于0且小于或等于1的数值。

第二获得模块1120，用于在确定第一中间字符串的宽度与第一文本图像的尺寸之间不满足第二预定条件的情况下，对第一中间字符串进行占位符处理操作，得到用于作为样本数据的目标字符串。目标字符串的宽度与第一文本图像的尺寸之间的关系满足第二预定条件。

根据本发明的实施例，第一获得模块1110可以包括第一获得子模块和第二获得子模块。

第一获得子模块，用于对第一文本图像中的字符串进行占位符插入操作，得到第二中间字符串。

第二获得子模块，用于对第二中间字符串进行重复操作，得到第一中间字符串。

根据本发明的实施例，第一获得子模块可以包括第一获得单元。

第一获得单元，用于在确定第一文本图像中的字符串中存在相邻两个字符是相同字符的情况下，在目标位置插入第一预定补充占位符以及在字符串的其他任意位置插入第一预定补充占位符，得到第二中间字符串。

根据本发明的实施例，目标位置是相邻两个字符之间的位置，其他任意位置是字符串中除目标位置以外的任意位置。

根据本发明的实施例，第一获得子模块还可以包括第二获得单元。

第二获得单元，用于在确定字符串中不存在相邻两个字符是相同字符的情况下，随机在第一文本图像中的字符串中插入第一预定补充占位符，得到第二中间字符串。

根据本发明的实施例，第二获得子模块可以包括第三获得单元。

第三获得单元，用于随机对第二中间字符串进行重复操作，得到第一中间字符串。

根据本发明的实施例，第二获得模块1120可以包括第三获得子模块。

第三获得子模块，用于在第一中间字符串之后进行占位符补充操作，得到用于作为样本数据的目标字符串。

根据本发明的实施例，第三获得子模块可以包括第四获得单元。

第四获得单元，用于在第一中间字符串之后添加第二预定补充占位符，得到用于作为样本数据的目标字符串。

根据本发明的实施例，第一获得模块1110可以包括调用子模块和处理子模块。

调用子模块，用于调用样本数据生成策略。样本数据生成策略是根据第二文本图像的文本识别信息构建的。

处理子模块，用于利用样本数据生成策略，对第一文本图像中的字符串进行字符处理操作，得到第一中间字符串。

根据本发明的实施例，第一获得模块1110还可以包括第一确定子模块和构建子模块。

第一确定子模块，用于根据第二文本图像进行文本识别得到的文本识别信息，确定有效文本识别信息与补充文本识别信息之间的位置关系。效文本识别信息包括有效字符。补充文本识别信息包括第二预定补充占位符且不包括有效字符。

构建子模块，用于根据有效文本识别信息与补充文本识别信息之间的位置关系，构建样本数据生成策略。

根据本发明的实施例，第一确定子模块可以包括第五获得单元、第六获得单元、第七获得单元和第一确定单元。

第五获得单元，用于对第二文本图像进行文本识别，得到第二文本图像的文本识别信息。

第六获得单元，用于对文本识别信息进行有效字符去重操作，得到中间文本识别信息。

第七获得单元，用于对中间文本识别信息进行分析，得到有效文本识别信息的位置信息和补充文本识别信息的位置信息。

第一确定单元，用于根据有效文本识别信息的位置信息和补充文本识别信息的位置信息，确定有效文本识别信息与补充文本识别信息之间的位置关系。

根据本发明的实施例，第一确定子模块还可以包括第二确定单元和第三确定单元。

第二确定单元，用于根据有效文本识别信息的位置信息，确定有效文本识别信息的宽度。

第三确定单元，用于根据有效文本识别信息的宽度和第二文本图像的尺寸，确定预定系数。

根据本发明的实施例，样本数据生成装置1100还可以包括第三获得模块。

第三获得模块，用于对第一文本图像中的原始字符串进行数据增强操作，得到字符串。数据增强操作包括以下至少之一：掩码操作和替换操作。

图12示意性示出了根据本发明实施例的文本语义表征模型的训练装置的框图。

如图12所示，文本语义表征模型的训练装置1200可以包括生成模块1210和第四获得模块1220。

生成模块1210，用于生成目标字符串。

第四获得模块1220，用于利用目标字符串训练第一深度学习模型，得到文本语义表征模型。

根据本发明的实施例，目标字符串可以是利用根据本发明实施例所述的样本数据生成装置生成的。

图13示意性示出了根据本发明实施例的文本语义表征信息生成装置的框图。

如图13所示，文本语义表征信息生成装置1300可以包括第一获取模块1310和第五获得模块1320。

第一获取模块1310，用于获取第一目标文本图像的第一文本识别信息。

第五获得模块1320，用于将第一文本识别信息输入文本语义表征模型，得到文本语义表征信息。

根据本发明的实施例，文本语义表征模型可以是利用根据本发明实施例所述的文本语义表征模型的训练装置训练得到的。

图14示意性示出了根据本发明实施例的文本识别模型的训练装置的框图。

如图14所示，文本识别模型的训练装置1400可以包括第六获得模块1410、第七获得模块1420、第八获得模块1430和第九获得模块1440。

第六获得模块1410，用于将样本文本图像输入第二深度学习模型，得到样本文本识别信息。

第七获得模块1420，用于将样本文本识别信息输入文本语义表征模型，得到样本文本语义表征信息。

第八获得模块1430，用于对样本文本语义表征信息进行解码，得到样本文本语义信息。

第九获得模块1440，用于利用样本文本语义信息训练第二深度学习模型和文本语义表征模型，得到文本识别模型。

根据本发明的实施例，文本语义表征模型可以是利用根据本发明实施例所述的文本语义表征模型的训练装置训练得到的。

图15示意性示出了根据本发明实施例的文本识别装置的框图。

如图15所示，文本识别装置1500可以包括第二获取模块1510和第十获得模块1520。

第二获取模块1510，用于获取第二目标文本图像。

第十获得模块1520，用于将第二目标文本图像输入文本识别模型，得到第二文本识别信息。

根据本发明的实施例，文本识别模型可以是利用根据本发明实施例所述的文本识别模型的训练装置训练得到的。

根据本发明的实施例，本发明还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

根据本发明的实施例，一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如本发明所述的方法。

根据本发明的实施例，一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行如本发明所述的方法。

根据本发明的实施例，一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如本发明所述的方法。

图16示意性示出了根据本发明实施例的适于实现样本数据生成、模型的训练、文本语义表征信息生成和文本识别方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图16所示，电子设备1600包括计算单元1601，其可以根据存储在只读存储器（ROM）1602中的计算机程序或者从存储单元1608加载到随机访问存储器（RAM）1603中的计算机程序，来执行各种适当的动作和处理。在RAM 1603中，还可存储设备1600操作所需的各种程序和数据。计算单元1601、ROM 1602以及RAM 1603通过总线1604彼此相连。输入/输出（I/O）接口1605也连接至总线1604。

电子设备1600中的多个部件连接至I/O接口1605，包括：输入单元1606，例如键盘、鼠标等；输出单元1607，例如各种类型的显示器、扬声器等；存储单元1608，例如磁盘、光盘等；以及通信单元1609，例如网卡、调制解调器、无线通信收发机等。通信单元1609允许电子设备1600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元1601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1601的一些示例包括但不限于中央处理单元（CPU）、图形处理单元（GPU）、各种专用的人工智能（AI）计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器（DSP）、以及任何适当的处理器、控制器、微控制器等。计算单元1601执行上文所描述的各个方法和处理，例如，样本数据生成、模型的训练、文本语义表征信息生成和文本识别方法。例如，在一些实施例中，样本数据生成、模型的训练、文本语义表征信息生成和文本识别方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1602和/或通信单元1609而被载入和/或安装到电子设备1600上。当计算机程序加载到RAM 1603并由计算单元1601执行时，可以执行上文描述的样本数据生成、模型的训练、文本语义表征信息生成和文本识别方法的一个或多个步骤。备选地，在其他实施例中，计算单元1601可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行样本数据生成、模型的训练、文本语义表征信息生成和文本识别方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、芯片上系统的系统（SOC）、复杂可编程逻辑设备（CPLD）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以是分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (30)

1.一种样本数据生成方法，包括：

对第一文本图像中的字符串进行字符处理操作，得到第一中间字符串，其中，所述第一中间字符串的宽度与预定有效字符宽度之间的关系满足第一预定条件，所述预定有效字符宽度是根据所述第一文本图像的尺寸与预定系数确定的，所述预定系数是大于0且小于或等于1的数值，所述第一预定条件为所述预定有效字符宽度等于所述预定系数与所述第一文本图像的尺寸之间的乘积；以及

在确定所述第一中间字符串的宽度与所述第一文本图像的尺寸之间不满足第二预定条件的情况下，对所述第一中间字符串进行占位符处理操作，得到用于作为样本数据的目标字符串，其中，所述目标字符串的宽度与所述第一文本图像的尺寸之间的关系满足所述第二预定条件，所述第二预定条件为所述第一中间字符串的宽度等于所述第一文本图像的尺寸；

其中，所述对第一文本图像中的字符串进行字符处理操作，得到第一中间字符串，包括：

在所述第一文本图像中的字符串的任意位置插入占位符，得到第二中间字符串；以及

对所述第二中间字符串中的任意字符或第一预定占位补充符进行重复操作，得到所述第一中间字符串。

2.根据权利要求1所述的方法，其中，所述在所述第一文本图像中的字符串的任意位置插入占位符，得到第二中间字符串，包括：

在确定所述第一文本图像中的字符串中存在相邻两个字符是相同字符的情况下，在目标位置插入第一预定补充占位符以及在所述字符串的其他任意位置插入所述第一预定补充占位符，得到所述第二中间字符串；

其中，所述目标位置是所述相邻两个字符之间的位置，所述其他任意位置是所述字符串中除所述目标位置以外的任意位置。

3.根据权利要求2所述的方法，还包括：

在确定所述字符串中不存在相邻两个字符是相同字符的情况下，随机在所述第一文本图像中的字符串中插入所述第一预定补充占位符，得到所述第二中间字符串。

4.根据权利要求1~3中任一项所述的方法，其中，所述对所述第一中间字符串进行占位符处理操作，得到用于作为样本数据的目标字符串，包括：

在所述第一中间字符串之后进行占位符补充操作，得到用于作为所述样本数据的目标字符串。

5.根据权利要求4所述的方法，其中，所述在所述第一中间字符串之后进行占位符补充操作，得到所述目标字符串，包括：

在所述第一中间字符串之后添加第二预定补充占位符，得到用于作为所述样本数据的目标字符串。

6. 根据权利要求1~3中任一项所述的方法，其中，所述对第一文本图像中的字符串进行字符处理操作，得到第一中间字符串包括：

调用样本数据生成策略，其中，所述样本数据生成策略是根据第二文本图像的文本识别信息构建的；以及

利用所述样本数据生成策略，对所述第一文本图像中的字符串进行字符处理操作，得到所述第一中间字符串。

7. 根据权利要求6所述的方法，还包括：

根据所述第二文本图像进行文本识别得到的文本识别信息，确定有效文本识别信息与补充文本识别信息之间的位置关系，其中，所述有效文本识别信息包括有效字符，所述补充文本识别信息包括第二预定补充占位符且不包括所述有效字符；以及

根据所述有效文本识别信息与所述补充文本识别信息之间的位置关系，构建所述样本数据生成策略。

8.根据权利要求7所述的方法，其中，所述根据所述第二文本图像进行文本识别得到的文本识别信息，确定有效文本识别信息与补充文本识别信息之间的位置关系，包括：

对所述第二文本图像进行文本识别，得到所述第二文本图像的文本识别信息；

对所述文本识别信息进行有效字符去重操作，得到中间文本识别信息；

对所述中间文本识别信息进行分析，得到所述有效文本识别信息的位置信息和所述补充文本识别信息的位置信息；以及

根据所述有效文本识别信息的位置信息和所述补充文本识别信息的位置信息，确定所述有效文本识别信息与所述补充文本识别信息之间的位置关系。

9. 根据权利要求7或8所述的方法，还包括：

根据所述有效文本识别信息的位置信息，确定所述有效文本识别信息的宽度；以及

根据所述有效文本识别信息的宽度和所述第二文本图像的尺寸，确定所述预定系数。

10.根据权利要求1~3中任一项所述的方法，还包括：

对所述第一文本图像中的原始字符串进行数据增强操作，得到所述字符串，其中，所述数据增强操作包括以下至少之一：掩码操作和替换操作。

11. 一种文本语义表征模型的训练方法，包括：

利用根据权利要求1~10中任一项所述的方法，生成目标字符串；以及

利用所述目标字符串训练第一深度学习模型，得到所述文本语义表征模型。

12. 一种文本语义表征信息生成方法，包括：

获取第一目标文本图像的第一文本识别信息；以及

将所述第一文本识别信息输入文本语义表征模型，得到文本语义表征信息；

其中，所述文本语义表征模型是利用根据权利要求11所述的方法训练得到的。

13.一种文本识别模型的训练方法，包括：

将样本文本图像输入第二深度学习模型，得到样本文本识别信息；

将所述样本文本识别信息输入文本语义表征模型，得到样本文本语义表征信息；

对所述样本文本语义表征信息进行解码，得到样本文本语义信息；以及

利用所述样本文本语义信息训练所述第二深度学习模型和所述文本语义表征模型，得到所述文本识别模型；

其中，所述文本语义表征模型是利用根据权利要求11所述的方法训练得到的。

14. 一种文本识别方法，包括：

获取第二目标文本图像；以及

将所述第二目标文本图像输入文本识别模型，得到第二文本识别信息；

其中，所述文本识别模型是利用根据权利要求13所述的方法训练得到的。

15. 一种样本数据生成装置，包括：

第一获得模块，用于对第一文本图像中的字符串进行字符处理操作，得到第一中间字符串，其中，所述第一中间字符串的宽度与预定有效字符宽度之间的关系满足第一预定条件，所述预定有效字符宽度是根据所述第一文本图像的尺寸与预定系数确定的，所述预定系数是大于0且小于或等于1的数值，所述第一预定条件为所述预定有效字符宽度等于所述预定系数与所述第一文本图像的尺寸之间的乘积；以及

第二获得模块，用于在确定所述第一中间字符串的宽度与所述第一文本图像的尺寸之间不满足第二预定条件的情况下，对所述第一中间字符串进行占位符处理操作，得到用于作为样本数据的目标字符串，其中，所述目标字符串的宽度与所述第一文本图像的尺寸之间的关系满足所述第二预定条件，所述第二预定条件为所述第一中间字符串的宽度等于所述第一文本图像的尺寸；

其中，所述第一获得模块，包括：

第一获得子模块，用于在所述第一文本图像中的字符串的任意位置插入占位符，得到第二中间字符串；以及

第二获得子模块，用于对所述第二中间字符串中的任意字符或第一预定占位补充符进行重复操作，得到所述第一中间字符串。

16.根据权利要求15所述的装置，其中，所述第一获得子模块，包括：

第一获得单元，用于在确定所述第一文本图像中的字符串中存在相邻两个字符是相同字符的情况下，在目标位置插入第一预定补充占位符以及在所述字符串的其他任意位置插入所述第一预定补充占位符，得到所述第二中间字符串；

其中，所述目标位置是所述相邻两个字符之间的位置，所述其他任意位置是所述字符串中除所述目标位置以外的任意位置。

17.根据权利要求16所述的装置，还包括：

第二获得单元，用于在确定所述字符串中不存在相邻两个字符是相同字符的情况下，随机在所述第一文本图像中的字符串中插入所述第一预定补充占位符，得到所述第二中间字符串。

18.根据权利要求15~17中任一项所述的装置，其中，所述第二获得模块，包括：

第三获得子模块，用于在所述第一中间字符串之后进行占位符补充操作，得到用于作为所述样本数据的目标字符串。

19.根据权利要求18所述的装置，其中，所述第三获得子模块，包括：

第四获得单元，用于在所述第一中间字符串之后添加第二预定补充占位符，得到用于作为所述样本数据的目标字符串。

20. 根据权利要求15~17中任一项所述的装置，其中，所述第一获得模块，包括：

调用子模块，用于调用样本数据生成策略，其中，所述样本数据生成策略是根据第二文本图像的文本识别信息构建的；以及

处理子模块，用于利用所述样本数据生成策略，对所述第一文本图像中的字符串进行字符处理操作，得到所述第一中间字符串。

21. 根据权利要求20所述的装置，还包括：

第一确定子模块，用于根据所述第二文本图像进行文本识别得到的文本识别信息，确定有效文本识别信息与补充文本识别信息之间的位置关系，其中，所述有效文本识别信息包括有效字符，所述补充文本识别信息包括第二预定补充占位符且不包括所述有效字符；以及

构建子模块，用于根据所述有效文本识别信息与所述补充文本识别信息之间的位置关系，构建所述样本数据生成策略。

22.根据权利要求21所述的装置，其中，所述第一确定子模块，包括：

第五获得单元，用于对所述第二文本图像进行文本识别，得到所述第二文本图像的文本识别信息；

第六获得单元，用于对所述文本识别信息进行有效字符去重操作，得到中间文本识别信息；

第七获得单元，用于对所述中间文本识别信息进行分析，得到所述有效文本识别信息的位置信息和所述补充文本识别信息的位置信息；以及

第一确定单元，用于根据所述有效文本识别信息的位置信息和所述补充文本识别信息的位置信息，确定所述有效文本识别信息与所述补充文本识别信息之间的位置关系。

23. 根据权利要求21或22所述的装置，还包括：

第二确定单元，用于根据所述有效文本识别信息的位置信息，确定所述有效文本识别信息的宽度；以及

第三确定单元，用于根据所述有效文本识别信息的宽度和所述第二文本图像的尺寸，确定所述预定系数。

24.根据权利要求15~17中任一项所述的装置，还包括：

第三获得模块，用于对所述第一文本图像中的原始字符串进行数据增强操作，得到所述字符串，其中，所述数据增强操作包括以下至少之一：掩码操作和替换操作。

25. 一种文本语义表征模型的训练装置，包括：

生成模块，用于利用根据权利要求15~24中任一项所述的装置，生成目标字符串；以及

第四获得模块，用于利用所述目标字符串训练第一深度学习模型，得到所述文本语义表征模型。

26. 一种文本语义表征信息生成装置，包括：

第一获取模块，用于获取第一目标文本图像的第一文本识别信息；以及

第五获得模块，用于将所述第一文本识别信息输入文本语义表征模型，得到文本语义表征信息；

其中，所述文本语义表征模型是利用根据权利要求25所述的装置训练得到的。

27.一种文本识别模型的训练装置，包括：

第六获得模块，用于将样本文本图像输入第二深度学习模型，得到样本文本识别信息；

第七获得模块，用于将所述样本文本识别信息输入文本语义表征模型，得到样本文本语义表征信息；

第八获得模块，用于对所述样本文本语义表征信息进行解码，得到样本文本语义信息；以及

第九获得模块，用于利用所述样本文本语义信息训练所述第二深度学习模型和所述文本语义表征模型，得到所述文本识别模型；

其中，所述文本语义表征模型是利用根据权利要求25所述的装置训练得到的。

28. 一种文本识别装置，包括：

第二获取模块，用于获取第二目标文本图像；以及

第十获得模块，用于将所述第二目标文本图像输入文本识别模型，得到第二文本识别信息；

其中，所述文本识别模型是利用根据权利要求27所述的装置训练得到的。

29. 一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行根据权利要求1~14中任一项所述的方法。

30.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1~14中任一项所述的方法。

Images