CN114419641B - 文本分离模型的训练方法、装置、电子设备和存储介质 - Google Patents

Abstract

本申请涉及计算机技术领域，尤其涉及一种文本分离模型的训练方法、装置、电子设备和存储介质，用以提高套打文本识别准确率。其中，方法包括：由于本申请通过获取训练样本集，根据训练样本集中的训练样本，对待训练文本分离模型执行循环迭代训练，获得训练完毕的文本分离模型；在一次循环迭代训练中执行以下操作：从训练样本集中选取训练样本输入待训练文本分离模型，获得样本文本图像中文本实例的预测位置信息，和样本文本图像中像素点的预测文本实例类别；基于各预测文本实例类别和文本实例类别标签的差异，以及各预测位置信息和位置信息标签的差异，对文本分离模型进行参数调整，能够结合像素点与文本实例之间的联系，提高套打文本识别准确率。

Description

文本分离模型的训练方法、装置、电子设备和存储介质

技术领域

本申请涉及计算机技术领域，尤其涉及一种文本分离模型的训练方法、装置、电子设备和存储介质。

背景技术

随着计算机技术的发展，常常会遇到需要对图像进行文本识别的情况。文本识别任务要求通过一定的图像处理来识别图像中的文本内容。其中，存在一种识别难度较大的文本图像，该文本图像的前景图像和背景图像重叠，如图1所示，称为套打文本图像，套打文本图像识别可应用于许多领域，例如，速算批改、票据识别等。

相关技术中，主要通过深度学习模型对需要识别的套打文本图像进行特征提取，再对提取到的特征进行像素级的分类，以获取图片中的文字。

但是，上述方法由于针对的是每个像素点的类别进行训练，每个像素点训练的相对独立，没有结合像素点与文本实例之间的联系，如图2所示，在各文本实例区分不明显时，容易将属于其他文本实例的部分归属于另一文本实例，识别正确率较低。因此，如何提高套打文本识别的准确率是目前亟待解决的问题。

发明内容

本申请实施例提供一种文本分离模型的训练方法、装置、电子设备和存储介质，用以提高套打文本识别的准确率。

本申请实施例提供的一种文本分离模型的训练方法，包括：

获取训练样本集，每份训练样本包括：相应的样本文本图像，所述样本文本图像中各像素点各自的文本实例类别标签，所述样本文本图像中各文本实例各自的位置信息标签；

根据所述训练样本集中的训练样本，对待训练的文本分离模型执行循环迭代训练，获得训练完毕的文本分离模型，以基于所述文本分离模型对待识别文本图像进行文本识别；在一次循环迭代训练中执行以下操作：

从所述训练样本集中选取训练样本并输入待训练的文本分离模型，获得相应的样本文本图像中各文本实例各自的预测位置信息，和所述样本文本图像中各像素点各自的预测文本实例类别；

基于各预测文本实例类别和相应的文本实例类别标签之间的差异，以及各预测位置信息和相应的位置信息标签之间的差异，对所述文本分离模型进行参数调整。

本申请实施例提供的一种文本分离模型的训练装置，包括：

获取单元，用于获取训练样本集，每份训练样本包括：相应的样本文本图像，所述样本文本图像中各像素点各自的文本实例类别标签，所述样本文本图像中各文本实例各自的位置信息标签；

训练单元，用于根据所述训练样本集中的训练样本，对待训练的文本分离模型执行循环迭代训练，获得训练完毕的文本分离模型，以基于所述文本分离模型对待识别文本图像进行文本识别；在一次循环迭代训练中执行以下操作：

从所述训练样本集中选取训练样本并输入待训练的文本分离模型，获得相应的样本文本图像中各文本实例各自的预测位置信息，和所述样本文本图像中各像素点各自的预测文本实例类别；

基于各预测文本实例类别和相应的文本实例类别标签之间的差异，以及各预测位置信息和相应的位置信息标签之间的差异，对所述文本分离模型进行参数调整。

可选的，所述文本分离模型包括下采样网络和位置预测网络；所述训练单元具体用于：

将选取的训练样本中的样本文本图像输入所述文本分离模型；

基于所述下采样网络，对所述样本文本图像进行下采样特征提取，获得所述样本文本图像对应的至少一个下采样特征图；

基于所述至少一个下采样特征图中的目标下采样特征图，以及所述位置预测网络，对所述样本文本图像中的文本实例进行边界预测，获得所述样本文本图像中包含的文本实例的预测位置信息，所述目标下采样特征图为所述下采样网络中最后一个下采样网络层输出的下采样特征图。

可选的，所述训练单元具体用于：

将所述目标下采样特征图输入所述位置预测网络；

基于所述位置预测网络以及所述目标下采样特征图中各像素单元，提取所述样本文本图像中包含的各文本实例各自的文本边界信息，其中，每个像素单元是通过下采样的方式，对所述样本文本图像中多个像素点进行融合得到的；

基于所述各文本实例各自的文本边界信息的置信度，确定所述文本图像中包含的各文本实例各自的预测位置信息。

可选的，所述文本边界信息的置信度为：基于所述文本边界信息确定的第一文本框，与基于相应的位置信息标签确定的第二文本框之间的交并比。

可选的，所述文本分离模型还包括上采样网络；所述训练单元具体用于：

基于所述至少一个下采样特征图，分别经由所述上采样网络进行上采样特征提取，获得所述样本文本图像的像素特征信息；其中，所述上采样网络中第一个上采样网络层的输入为：所述目标下采样特征图；所述上采样网络中剩余的各上采样网络层的输入为：上一个上采样网络层输出的上采样特征图和对应层级的下采样网络层输出的下采样特征图。

可选的，所述训练单元具体用于：

基于所述各预测文本实例类别和相应的文本实例类别标签之间的差异，构建文本实例类别损失函数；

基于所述各预测位置信息和相应的位置信息标签之间的差异，构建文本实例位置损失函数；

基于所述文本实例类别损失函数，以及所述文本实例位置损失函数，对所述文本分离模型进行参数调整。

可选的，所述预测位置信息包括：各文本实例各自的预测文本框的预测中心位置坐标和预测文本框尺寸；所述位置信息标签包括：各文本实例各自的真实文本框的真实中心位置坐标、真实文本框尺寸；所述训练单元具体用于：

分别基于各文本实例对应的预测中心位置坐标和真实中心位置坐标之间的方差、预测文本框尺寸和真实文本框尺寸之间的方差，构建文本实例位置损失函数。

本申请实施例提供的一种电子设备，包括处理器和存储器，其中，所述存储器存储有计算机程序，当所述计算机程序被所述处理器执行时，使得所述处理器执行上述任意一种文本分离模型的训练方法的步骤。

本申请实施例提供一种计算机可读存储介质，其包括计算机程序，当所述程序代码在电子设备上运行时，所述计算机程序用于使所述电子设备执行上述任意一种文本分离模型的训练方法的步骤。

本申请实施例提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序存储在计算机可读存储介质中；当电子设备的处理器从计算机可读存储介质读取所述计算机程序时，所述处理器执行所述计算机程序，使得所述电子设备执行上述任意一种文本分离模型的训练方法的步骤。

本申请有益效果如下：

本申请实施例提供了一种文本分离模型的训练方法、装置、电子设备和存储介质。由于本申请通过获取训练样本集，并根据训练样本集中的训练样本，对待训练的文本分离模型执行循环迭代训练，获得训练完毕的文本分离模型，以基于文本分离模型对待识别文本图像进行文本识别；在循环迭代训练过程中，基于各预测文本实例类别和相应的文本实例类别标签之间的差异，以及各预测位置信息和相应的位置信息标签之间的差异，对文本分离模型进行参数调整，能够对待识别文本图像进行像素级多分类以及对各文本实例进行位置信息预测，加强模型对文本实例特征的学习，降低模型分割类别错误率，提高套打文本分离的准确率，从而提高套打文本识别准确率。

本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例中的一种套打文本图像的示意图；

图2本申请实施例中的另一种套打文本图像的示意图；

图3为本申请实施例中的一种应用场景的一个可选的示意图；

图4为本申请实施例中的一种文本分离模型的训练方法的实施流程图；

图5为本申请实施例中的一种文本实例的文本框的示意图；

图6为本申请实施例中的一种预测位置信息的获取方法流程图；

图7为本申请实施例中的一种文本分离模型的结果示意图；

图8A为本申请实施例中的一种套打文本分离效果示意图；

图8B为本申请实施例中的另一种套打文本分离效果示意图；

图8C为本申请实施例中的一种套打文本分离优化效果示意图；

图9为本申请实施例中的一种文本识别方法的流程示意图；

图10为本申请实施例中的一种文本分离模型的训练方法的逻辑示意图；

图11为本申请实施例中的一种文本分离模型的训练装置的组成结构示意图；

图12为应用本申请实施例的一种电子设备的一个硬件组成结构示意图；

图13为应用本申请实施例的另一种电子设备的一个硬件组成结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请技术方案的一部分实施例，而不是全部的实施例。基于本申请文件中记载的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请技术方案保护的范围。

下面对本申请实施例中涉及的部分概念进行介绍。

光学字符识别（Optical Character Recognition，OCR）：是指电子设备（例如扫描仪或数码相机）检查纸上打印的字符，通过检测暗、亮的模式确定其形状，然后用字符识别方法将形状翻译成计算机文字的过程；即，针对印刷体字符，采用光学的方式将纸质文档中的文字转换成为黑白点阵的图像文件，并通过识别软件将图像中的文字转换成文本格式，供文字处理软件进一步编辑加工的技术。

套打文本图像：指图像中存在相互重叠的前景文本和背景文本，对套打文本图像进行文本识别，需要先对套打文本对应的文本实例进行分离，再对分离后的各文本实例进行识别，套打文本分离的准确性会对文本识别的准确性造成影响。

图像分割网络：是用于图像中属于同一类别或同一个体的东西划分为同一部分，并将各个子部分区分开来，在本申请实施例中，通过图像分割网络对待识别文本图像进行文本分离，获得每个像素点对应的文本实例类别。

本申请实施例涉及人工智能（Artificial Intelligence，AI）、自然语言处理（Nature Language processing，NLP）和机器学习技术（Machine Learning，ML），基于人工智能中的计算机视觉技术和机器学习而设计。

人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。

人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术主要包括计算机视觉技术、自然语言处理技术、以及机器学习/深度学习、自动驾驶、智慧交通等几大方向。随着人工智能技术研究和进步，人工智能在多个领域展开研究和应用，例如常见的智能家居、智能客服、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、机器人、智能医疗等，相信随着技术的发展，人工智能将在更多的领域得到应用，并发挥越来越重要的价值。

计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习等技术。本申请实施例中的文本分离模型就是采用机器学习或深度学习技术训练得到的。基于本申请实施例中的文本分离模型的训练方法，可以提高套打文本的识别准确率。

下面对本申请实施例的设计思想进行简要介绍：

随着计算机技术的发展，常常会遇到需要对图像进行文本识别的情况。文本识别任务要求通过一定的图像处理来识别图像中的文本内容。其中，存在一种识别难度较大的文本，该文本的前景图像和背景图像重叠，称为套打文本，套打文本识别可应用于许多领域，例如，速算批改、票据识别等。

相关技术中，主要通过深度学习模型对需要识别的套打文本图像进行特征提取，再对提取到的特征进行像素级的分类，以获取图片中的文字。但是，该方法由于针对的是每个像素点的类别进行训练，每个像素点训练的相对独立，没有结合像素点与文本实例之间的联系，在各文本实例区分不明显时，容易将属于其他文本实例的部分归属于另一文本实例，识别正确率较低。因此，如何提高套打文本识别的准确率是目前亟待解决的问题。

有鉴于此，本申请实施例提供了一种文本分离模型的训练方法、装置、电子设备和存储介质，通过获取训练样本集，并根据训练样本集中的训练样本，对待训练的文本分离模型执行循环迭代训练，获得训练完毕的文本分离模型，以基于文本分离模型对待识别文本图像进行文本识别。在循环迭代训练过程中，基于各预测文本实例类别和相应的文本实例类别标签之间的差异，以及各预测位置信息和相应的位置信息标签之间的差异，对文本分离模型进行参数调整，能够对待识别文本图像进行像素级多分类以及对各文本实例进行位置信息预测，加强模型对文本实例特征的学习，降低模型分割类别错误率，提高套打文本分离的准确率，从而提高套打文本识别准确率。

以下结合说明书附图对本申请的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本申请，并不用于限定本申请，并且在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

如图3所示，其为本申请实施例的应用场景示意图。该应用场景图中包括两个终端设备310和一个服务器320。

在本申请实施例中，终端设备310包括但不限于手机、平板电脑、笔记本电脑、台式电脑、电子书阅读器、智能语音交互设备、智能家电、车载终端等设备；终端设备上可以安装有文本分离相关的客户端，该客户端可以是软件（例如浏览器、图片转文本软件等），也可以是网页、小程序等，服务器320则是与软件或是网页、小程序等相对应的后台服务器，或者是专门用于进行文本分离的服务器，本申请不做具体限定。服务器320可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络（Content Delivery Network，CDN）、以及大数据和人工智能平台等基础云计算服务的云服务器。

需要说明的是，本申请实施例中的文本分离模型的训练方法可以由电子设备执行，该电子设备可以为服务器320或者终端设备310，即，该方法可以由服务器320或者终端设备310单独执行，也可以由服务器320和终端设备310共同执行。比如由服务器320单独执行和终端设备310共同执行时，服务器320获取训练样本集，根据训练样本集中的训练样本，对待训练的文本分离模型执行循环迭代训练，获得训练完毕的文本分离模型，将训练完毕的文本分离模型发送至终端设备310，以使终端设备310基于文本分离模型对待识别文本图像进行文本识别。

在一种可选的实施方式中，终端设备310与服务器320之间可以通过通信网络进行通信。

在一种可选的实施方式中，通信网络是有线网络或无线网络。

需要说明的是，图3所示只是举例说明，实际上终端设备和服务器的数量不受限制，在本申请实施例中不做具体限定。

本申请实施例中，当服务器的数量为多个时，多个服务器可组成为一区块链，而服务器为区块链上的节点；如本申请实施例所公开的文本分离模型的训练方法，其中所涉及的训练样本集可保存于区块链上。

此外，本申请实施例可应用于各种场景，不仅包括文本分离场景，还包括但不限于云技术、人工智能、智慧交通、辅助驾驶等场景。例如，本申请实施例应用于人工智能场景时，基于本申请中的文本分离模型的训练方法训练完毕的文本分离模型，能够对速算作业中的套打文本进行分离并识别，以实现速算批改。

下面结合上述描述的应用场景，参考附图来描述本申请示例性实施方式提供的文本分离模型的训练方法，需要注意的是，上述应用场景仅是为了便于理解本申请的精神和原理而示出，本申请的实施方式在此方面不受任何限制。

参阅图4所示，为本申请实施例提供的一种文本分离模型的训练方法的实施流程图，以服务器为执行主体为例，该方法的具体实施流程包括如下步骤S41-S42：

S41：服务器获取训练样本集；

其中，每份训练样本包括：相应的样本文本图像，样本文本图像中各像素点各自的文本实例类别标签，样本文本图像中各文本实例各自的位置信息标签。例如，训练样本1包括对应的样本文本图像1，样本文本图像1中包含的文本实例为文本实例1和文本实例2，各像素点各自的文本实例类别标签表示像素点属于文本实例1或属于文本实例2，或同时属于文本实例1和文本实例2，文本实例的位置信息标签包括文本实例对应的文本框的中心位置坐标、文本框宽度和高度，文本实例对应的文本框即文本实例的外接矩，如图5所示。

S42：服务器根据训练样本集中的训练样本，对待训练的文本分离模型执行循环迭代训练，获得训练完毕的文本分离模型；

其中，基于训练完毕的文本分离模型能够对待识别文本图像进行文本识别，在一次循环迭代训练中执行以下操作：

S421：服务器从训练样本集中选取训练样本并输入待训练的文本分离模型，获得相应的样本文本图像中各文本实例各自的预测位置信息，和样本文本图像中各像素点各自的预测文本实例类别；

其中，待训练的文本分离模型对训练样本对应的样本文本图像进行文本分离，获得样本文本图像中各像素点各自对应的文本实例类别，以及各文本实例各自的位置信息。例如，待训练的文本分离模型对样本文本图像2进行文本分离获得：像素点1对应文本实例1，像素点2对应文本实例1和文本实例2，像素点3对应文本实例2，文本实例1的位置信息为[x1，y1，w1，h1]，文本实例2的位置信息为[x2，y2，w2，h2]。

S422：服务器基于各预测文本实例类别和相应的文本实例类别标签之间的差异，以及各预测位置信息和相应的位置信息标签之间的差异，对文本分离模型进行参数调整。

其中，基于各像素点对应的预测文本实例类别和文本实例类别标签之间的差异，以及各文本实例对应的预测位置信息和位置信息标签之间的差异，对文本分离模型进行参数调整。

在本申请实施例中，通过获取训练样本集，并根据训练样本集中的训练样本，对待训练的文本分离模型执行循环迭代训练，获得训练完毕的文本分离模型，以基于文本分离模型对待识别文本图像进行文本识别；在循环迭代训练过程中，基于各预测文本实例类别和相应的文本实例类别标签之间的差异，以及各预测位置信息和相应的位置信息标签之间的差异，对文本分离模型进行参数调整，能够对待识别文本图像进行像素级多分类以及对各文本实例进行位置信息预测，加强模型对文本实例特征的学习，降低模型分割类别错误率，提高套打文本分离的准确率，从而提高套打文本识别准确率。

在训练数据上，由于文本分离任务属于分割任务，训练数据需要像素级标注，通过实际标注获取难度大，成本高。本申请提出了对应的套打文本训练数据构造方法。在一种可选的实施方式中，通过以下方式构造训练样本集：

首先利用预先准备好的文本内容信息作为输入，使用python的pygame工具包将其渲染为多个文本实例图片，然后获取文字掩码区域，把x条文本掩码以一定重叠图贴到一个h*w尺寸的背景画布上，即可得到对应的套打文本图像。套打文本图像对应的真实值（groudtruth）为：（1）文本掩码对应的外接矩；（2）x条文本掩码对应的像素级标签矩阵h*w*x。

其中，如图5所示，文本掩码对应的外接矩即为文本实例对应的文本框，用于表示文本实例的位置信息标签；像素级标签矩阵即各像素点的文本实例类别标签，x维度中每个维度为该文本掩码对应的像素级标签：有文本的像素点标签为1，没有文本的像素点标签为0。例如，套打文本图像中有3个套打文本实例，像素点1位置存在文本实例1和文本实例2，不存在文本实例3，则像素1对应的标签矩阵为[1，1，0]。

在一种可选的实施方式中，文本分离模型包括下采样网络和位置预测网络；参阅图6，其为本申请实施例中的一种预测位置信息的获取方法流程图，通过以下步骤S61-S63，获得各文本实例各自的预测位置信息：

S61：服务器将选取的训练样本中的样本文本图像输入文本分离模型；

S62：服务器基于下采样网络，对样本文本图像进行下采样特征提取，获得样本文本图像对应的至少一个下采样特征图；

S63：服务器基于至少一个下采样特征图中的目标下采样特征图，以及位置预测网络，对样本文本图像中的文本实例进行边界预测，获得样本文本图像中包含的文本实例的预测位置信息。

其中，目标下采样特征图为下采样网络中最后一个下采样网络层输出的下采样特征图。

具体地，将样本文本图像输入文本分离模型后，下采样网络包含的各个下采样网络层对样本文本图像进行逐层特征提取，每个下采样网络层均可输出下采样特征图，位置预测网络基于最后一个下采样网络层输出的下采样特征图对样本文本图像中的文本实例进行边界预测，获得各文本实例的预测位置信息。

参阅图7，其为本申请实施例中的一种文本分离模型的结构示意图，基于Unet分割网络设计，在此基础上增加位置预测网络。

具体地，Unet分割网络通过先逐层下采样获取图像各个层次的特征信息，再逐层上采样并融合前述获得的各层特征信息达到分割原图的目的。其中，图7所示的Unet分割网络中下采样网络由4个网络层组成，每个网络层的构成为：3*3的卷积层后接批正规化（BatchNorm）层，接线性整流激活函数（relu），然后再接3*3的卷积层，加BatchNorm层，加relu激活函数，最后是2*2的池化（pool）层。特征图仅在pool层被下采样，经过每个网络层，特征图的长度、宽度各降为原来的1/2。上采样网络同样由4个网络层组成，每个网络层的构成为：3*3的卷积层后接BatchNorm层，接relu激活函数，然后再接3*3的卷积层，加BatchNorm层，加relu激活函数，最后是2*2的上采样层。即经过每个上采样网络层，特征图的长度、宽度各升为原来的2倍。上采样网络层的输入不止是上一上采样网络层的输出，还会融合下采样网络中对应尺寸相同的网络层的输出（例如，第2层的下采样网络层输出的特征图大小和第2层上采样网络层输入的特征图大小相同），以此达到融合低层特征的目的。

位置预测网络位于下采样网络输出处，其输入为下采样网络输出特征图，输出为文本实例对应文本框的预测位置信息。

需要说明的是，本申请实施例中的文本分离模型可以基于Unet分割网络进行构建，也可以使用各种分割网络，在此不做具体限定。

在本申请实施例中，文本分离模型所需硬件环境依据模型训练环节和应用环节分为两部分，在模型训练阶段，需要计算机搭载图像处理器（Graphics Processing Unit，GPU）芯片，以使模型更快更好的收敛到一个较好的效果；在应用阶段，部署在移动端或者桌面端都无特殊的硬件要求。

在一种可选的实施方式中，通过以下方式实施步骤S63：

首先，将目标下采样特征图输入位置预测网络；然后，基于位置预测网络以及目标下采样特征图中的各像素单元，提取样本文本图像中包含的各文本实例各自的文本边界信息；最后，基于各文本实例各自的文本边界信息的置信度，确定各文本实例各自的预测位置信息。

其中，每个像素单元是通过下采样的方式，对样本文本图像中多个像素点进行融合得到的，例如，对样本文本图像下采样16倍，则一个像素单元对应原图像中16*16的像素。如图7所示，目标下采样特征图即为特征图1，例如，特征图1尺寸为32*32*512，经过一层卷积变换维度到特征图2尺寸为32*32*5。

具体地，在下采样网络输出的目标下采样特征图上预测文本实例的文本框的坐标及置信度[x，y，w，h，conf]，x、y分别表示文本框的中心位置横、纵坐标，w，h分别表示文本框的宽度、高度，conf表示各像素单元预测的文本框的置信度。每个像素单元预测1个文本框，例如，样本文本图像包括文本实例1和文本实例2，样本文本图像的目标下采样特征图包括4个像素单元，针对文本实例1，每个像素单元预测一个文本实例1的文本边界信息，可以获得4个文本实例1的文本边界信息，然后根据4个文本边界信息的置信度，确定选取哪个文本边界信息作为文本实例1的预测位置信息。文本实例2的预测位置信息的获取过程同文本实例1，在此不做赘述。

在一种可选的实施方式中，文本边界信息的置信度为：基于文本边界信息确定的第一文本框，与基于相应的位置信息标签确定的第二文本框之间的交并比。

具体地，第一文本框为各像素单元预测的各文本实例的位置信息，基于位置信息标签包含的各文本实例的真实位置信息，可以确定各文本边界信息与真实位置信息之间的交并比，即文本边界信息的置信度，可以取置信度最高的文本边界信息作为文本实例的预测位置信息。例如，文本边界信息1的置信度为0.2，文本边界信息2置信度为0.7，文本边界信息1的置信度为0.3，则选取文本边界信息2作为文本实例1的预测位置信息输出。

在本申请实施例中，基于各文本边界信息的置信度确定文本实例的预测位置信息，提高文本分离模型对文本框预测的准确度。

在一种可选的实施方式中，文本分离模型还包括上采样网络；通过下列方式获得各像素点各自的预测文本实例类别：

基于至少一个下采样特征图，分别经由上采样网络进行上采样特征提取，获得样本文本图像的像素特征信息。

其中，上采样网络中第一个上采样网络层的输入为：目标下采样特征图；上采样网络中剩余的各上采样网络层的输入为：上一个上采样网络层输出的上采样特征图和对应层级的下采样网络层输出的下采样特征图。如图7所示，层5的输入为目标下采样特征图，层6的输入为层3输出的下采样特征图和层5输出的上采样特征图，层7的输入为层2输出的下采样特征图和层6输出的上采样特征图，层8的输入为层1输出的下采样特征图和层7输出的上采样特征图。

在本申请实施例中，通过文本分离模型的上采样网络进行特征提取，并融合下采样网络输出的各下采样特征图，能够获得文本图像更丰富的特征信息。

在一种可选的实施方式中，基于如下方式实施步骤S422：

首先，基于各预测文本实例类别和相应的文本实例类别标签之间的差异，构建文本实例类别损失函数；然后，基于各预测位置信息和相应的位置信息标签之间的差异，构建文本实例位置损失函数；最后，基于文本实例类别损失函数，以及文本实例位置损失函数，对文本分离模型进行参数调整。

具体地，如图7所示，模型的训练损失由多标签分类损失（即文本实例类别损失函数）和文本框回归损失（文本实例位置损失函数）共同组成。

原有的Unet中使用的损失函数为交叉熵损函数（CrossEntropyLoss），该损失函数可用于多类别分类，输出的维度为（batch，C），batch（批）表示样本数量，C表示类别数量，每个类别之间是互斥的，相互关联。对于每个样本的C个概率值，通过softmax函数进行归一化处理，每个batch的C个概率值之和为1，则样本的类别为概率值最大的类别。该交叉熵损失函数不适用于一个像素对应多个标签的需求，因此本申请使用二分类交叉熵损失函数（BCEWithLogitsLoss）。

在本申请实施例中，多标签分类损失采用二分类交叉熵损失函数。BCE损失可用于多标签二分类，输出的维度是（batch，C），batch表示样本数量，C表示类别数量，对于每个样本文本图像的C个概率值，通过sigmoid（S型函数）映射到[0，1]区间内，因此，每个样本文本图像的C个概率值之间没有关系，相互独立，其和不一定为1。其中，每个C值代表属于一类标签的概率，可以定义概率阈值，如果该类别的预测概率超过该概率阈值则归为该类别。例如，像素点2的预测结果为[0.8，0.9，0.0]，若概率阈值为0.5，则像素点2属于文本实例1和文本实例2，不属于文本实例3。

获得每个像素对应的多标签分类结果后，把该像素赋值给对应实例即可得到恢复效果，如图8A所示。从上到下依次为原图，分割预测图，分离后的文本实例1，分离后的文本实例2。其中，分割预测图中白色代表套打区域。

在本申请实施例中，通过构建文本实例类别损失函数和文本实例位置损失函数，对文本分离模型进行参数调整，能够获得较好的文本分离效果，提高套打文本分离准确率。

如上方法已经可以支持基本的套打文本分离了，但是由于分割网络监督的是每个像素点的类别，每个像素点训练的相对独立，没有显示的实例信息监督，导致在实例区分不明显时出现错分的情况。在复杂场景，各文本实例区分不是很明显的时候，容易出现同一实例被错分为多个类别的情况。例如图2所示的文本图像，仅通过多标签分类获得的分割预测图如图8B所示，“×”属于文本实例“of 8×5 is__”，但是被划分为文本实例“5×8”。因此，本申请加入文本框回归分支来显示监督实例对象优化该问题。

在一种可选的实施方式中，预测位置信息包括：各文本实例各自的预测文本框的预测中心位置坐标和预测文本框尺寸；位置信息标签包括：各文本实例各自的真实文本框的真实中心位置坐标、真实文本框尺寸；基于如下方式构建文本实例位置损失函数

分别基于各文本实例对应的预测中心位置坐标和真实中心位置坐标之间的方差、预测文本框尺寸和真实文本框尺寸之间的方差，构建文本实例位置损失函数。

其中，预测中心位置坐标包括预测中心位置的横、纵坐标，预测文本框尺寸包括预测文本框的宽度、高度，真实中心位置坐标包括真实中心位置的横、纵坐标，真实文本框尺寸包括真实文本框的宽度、高度，基于各个预测目标与真实值之间的方差的和的平均值可以获得文本实例位置损失函数，可以基于以下公式计算文本实例位置损失函数：

其中，MSE表示文本实例位置损失函数，Batch表示像素单元数量，M表示预测文本 框数量，

表示第b个像素单元的第m个预测文本框的预测值，

表示第b个像素单元 的第m个预测文本框的真实值。

如图8C所示，为加入文本框回归分支后的分割预测图，可见同一实例错分问题明显改善。

参阅图9，其为本申请实施例中的一种文本识别方法的流程示意图，用以说明基于本申请中的文本分离模型的训练方法训练完毕的文本分离模型，应用于文本识别的具体实施方式，包括以下步骤：

S91：输入待识别文本图像；

S92：检测套打文本区域；

S93：套打文本分离；

S94：对分离后的各文本实例进行文本识别；

S95：输出识别的文本结果。

其中，步骤S92检测套打区域模块可以使用对象识别和定位算法（You Only LookOnce，YOLO）等检测方法检测出套打文本区域。具体实施中可以定义套打文本标签为1，正常文本标签为2，则检测类别标签为1的文本框即为目标文本框，走后续套打文本分离流程；步骤S93套打文本分离模块可以基于本申请中训练完毕的文本分离模型进行套打文本分离；步骤S94识别模块可以使用卷积循环神经网络（Convolutional Recurrent NeuralNetwork，CRNN）等识别方法识别分离后的各文本实例并返回识别结果。

其中，步骤S93具体包括以下内容：

（1）通过多标签分类支持每个像素可以对应多个标签。

（2）使用文本框回归分支降低同一实例分为多个类别的错误率。

在本申请实施例中，公开了一种基于深度学习的文本分离方法，输入套打文本块，精确输出分离恢复后的所有完整套打文本实例。该方法可用于各类复杂OCR场景，包括速算批改，票据识别等，作为检测识别的中间模块使用。具体步骤如下：（1）检测出套打文本区域；（2）对套打文本进行分离恢复；（3）识别恢复后的文本实例。该方法可以大幅提升套打文本的识别效果。

在套打文本场景，如票据等，多个文本实例重叠在一起，现有文本识别方法只能识别出其中一条文本，无法都识别出，且由于套打区域的噪声干扰，识别正确率也会受到较大的影响。而本申请通过多标签的方法可以把同一像素映射为多个类别，则可以把该像素恢复到其对应的多个套打对象中，同时使用文本框回归分支加强网络对实例特征的学习降低分割类别错误率，从而得到完整分离的各文本实例。文本分离模型识别分离后的文本实例效果可以得到较大的提升，且可以识别套打文本中的每个文本实例。

参阅图10，其为本申请实施例中的一种文本分离模型的训练方法的逻辑示意图，下面以一次循环迭代训练为例介绍本申请中的文本分离模型的训练方法：

首先输入样本文本图像，文本分离模型对样本文本图像进行多标签分类和文本框回归，其中，多标签分类输出每个像素点对应的多个类别，例如，像素点1：[1，0]表示像素点1处有文本实例1，没有文本实例2，相应的，在模型训练过程中，每个样本文本图像包括对应的像素级分类标签（即文本实例类别标签），基于各像素级分类标签和对应的像素点的多标签分类结果构建多标签分类损失；文本框回归输出样本文本图像中的文本实例对应的文本框位置信息，例如，文本框1：[0，1，5，2]，表示文本实例1的文本框的中心位置横坐标为0、中心位置纵坐标为1，文本框宽度为5，文本框高度为2，基于文本框标签（即位置信息标签）和对应的位置信息构建文本框回归损失。最后基于多标签分类损失和文本框回归损失对模型进行参数调整。按照上述方法进行多次循环迭代训练后，能够获得训练完毕的文本分离模型。

在本申请实施例中，基于多标签分类损失能够简单高效的解决套打文本场景存在的文本分离困难的问题，并且可以方便的应用与各种分割网络上，在此基础上提出的文本框回归分支可以有效解决同一实例错分现象，提高套打文本分离的效果。

基于相同的发明构思，本申请实施例还提供一种文本分离模型的训练装置。如图11所示，其为文本分离模型的训练装置1100的结构示意图，可以包括：

获取单元1101，用于获取训练样本集，每份训练样本包括：相应的样本文本图像，样本文本图像中各像素点各自的文本实例类别标签，样本文本图像中各文本实例各自的位置信息标签；

训练单元1102，用于根据训练样本集中的训练样本，对待训练的文本分离模型执行循环迭代训练，获得训练完毕的文本分离模型，以基于文本分离模型对待识别文本图像进行文本识别；在一次循环迭代训练中执行以下操作：

从训练样本集中选取训练样本并输入待训练的文本分离模型，获得相应的样本文本图像中各文本实例各自的预测位置信息，和样本文本图像中各像素点各自的预测文本实例类别；

基于各预测文本实例类别和相应的文本实例类别标签之间的差异，以及各预测位置信息和相应的位置信息标签之间的差异，对文本分离模型进行参数调整。

可选的，文本分离模型包括下采样网络和位置预测网络；训练单元1102具体用于：

将选取的训练样本中的样本文本图像输入文本分离模型；

基于下采样网络，对样本文本图像进行下采样特征提取，获得样本文本图像对应的至少一个下采样特征图；

基于至少一个下采样特征图中的目标下采样特征图，以及位置预测网络，对样本文本图像中的文本实例进行边界预测，获得样本文本图像中包含的文本实例的预测位置信息，目标下采样特征图为下采样网络中最后一个下采样网络层输出的下采样特征图。

可选的，训练单元1102具体用于：

将目标下采样特征图输入位置预测网络；

基于位置预测网络以及目标下采样特征图中各像素单元，提取样本文本图像中包含的各文本实例各自的文本边界信息，其中，每个像素单元是通过下采样的方式，对样本文本图像中多个像素点进行融合得到的；

基于各文本实例各自的文本边界信息的置信度，确定文本图像中包含的各文本实例各自的预测位置信息。

可选的，文本边界信息的置信度为：基于文本边界信息确定的第一文本框，与基于相应的位置信息标签确定的第二文本框之间的交并比。

可选的，文本分离模型还包括上采样网络；训练单元1102具体用于：

基于至少一个下采样特征图，分别经由上采样网络进行上采样特征提取，获得样本文本图像的像素特征信息；其中，上采样网络中第一个上采样网络层的输入为：目标下采样特征图；上采样网络中剩余的各上采样网络层的输入为：上一个上采样网络层输出的上采样特征图和对应层级的下采样网络层输出的下采样特征图。

可选的，训练单元1102具体用于：

基于各预测文本实例类别和相应的文本实例类别标签之间的差异，构建文本实例类别损失函数；

基于各预测位置信息和相应的位置信息标签之间的差异，构建文本实例位置损失函数；

基于文本实例类别损失函数，以及文本实例位置损失函数，对文本分离模型进行参数调整。

可选的，预测位置信息包括：各文本实例各自的预测文本框的预测中心位置坐标和预测文本框尺寸；位置信息标签包括：各文本实例各自的真实文本框的真实中心位置坐标、真实文本框尺寸；训练单元1102具体用于：

分别基于各文本实例对应的预测中心位置坐标和真实中心位置坐标之间的方差、预测文本框尺寸和真实文本框尺寸之间的方差，构建文本实例位置损失函数。

在本申请实施例中，通过获取训练样本集，并根据训练样本集中的训练样本，对待训练的文本分离模型执行循环迭代训练，获得训练完毕的文本分离模型，以基于文本分离模型对待识别文本图像进行文本分离；在循环迭代训练过程中，基于各预测文本实例类别和相应的文本实例类别标签之间的差异，以及各预测位置信息和相应的位置信息标签之间的差异，对文本分离模型进行参数调整，能够对待识别文本图像进行像素级多分类以及对各文本实例进行位置信息预测，加强模型对文本实例特征的学习，降低模型分割类别错误率，提高套打文本分离的准确率，从而提高套打文本识别准确率。

为了描述的方便，以上各部分按照功能划分为各模块（或单元）分别描述。当然，在实施本申请时可以把各模块（或单元）的功能在同一个或多个软件或硬件中实现。

所属技术领域的技术人员能够理解，本申请的各个方面可以实现为系统、方法或程序产品。因此，本申请的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式（包括固件、微代码等），或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

与上述方法实施例基于同一发明构思，本申请实施例中还提供了一种电子设备。在一种实施例中，该电子设备可以是服务器，如图3所示的服务器320。在该实施例中，电子设备的结构可以如图12所示，包括存储器1201，通讯模块1203以及一个或多个处理器1202。

存储器1201，用于存储处理器1202执行的计算机程序。存储器1201可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统，以及运行即时通讯功能所需的程序等；存储数据区可存储各种即时通讯信息和操作指令集等。

存储器1201可以是易失性存储器（volatile memory），例如随机存取存储器（random-access memory，RAM）；存储器1201也可以是非易失性存储器（non-volatilememory），例如只读存储器，快闪存储器（flash memory），硬盘（hard disk drive，HDD）或固态硬盘（solid-state drive，SSD）；或者存储器1201是能够用于携带或存储具有指令或数据结构形式的期望的计算机程序并能够由计算机存取的任何其他介质，但不限于此。存储器1201可以是上述存储器的组合。

处理器1202，可以包括一个或多个中央处理单元（central processing unit，CPU）或者为数字处理单元等等。处理器1202，用于调用存储器1201中存储的计算机程序时实现上述文本分离模型的训练方法。

通讯模块1203用于与终端设备和其他服务器进行通信。

本申请实施例中不限定上述存储器1201、通讯模块1203和处理器1202之间的具体连接介质。本申请实施例在图12中以存储器1201和处理器1202之间通过总线1204连接，总线1204在图12中以粗线描述，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。总线1204可以分为地址总线、数据总线、控制总线等。为便于描述，图12中仅用一条粗线描述，但并不描述仅有一根总线或一种类型的总线。

存储器1201中存储有计算机存储介质，计算机存储介质中存储有计算机可执行指令，计算机可执行指令用于实现本申请实施例的文本分离模型的训练方法。处理器1202用于执行上述的文本分离模型的训练方法，如图4所示。

在另一种实施例中，电子设备也可以是其他电子设备，如图3所示的终端设备310。在该实施例中，电子设备的结构可以如图13所示，包括：通信组件1310、存储器1320、显示单元1330、摄像头1340、传感器1350、音频电路1360、蓝牙模块1370、处理器1380等部件。

通信组件1310用于与服务器进行通信。在一些实施例中，可以包括电路无线保真（Wireless Fidelity，WiFi）模块，WiFi模块属于短距离无线传输技术，电子设备通过WiFi模块可以帮助用户收发信息。

存储器1320可用于存储软件程序及数据。处理器1380通过运行存储在存储器1320的软件程序或数据，从而执行终端设备310的各种功能以及数据处理。存储器1320可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。存储器1320存储有使得终端设备310能运行的操作系统。本申请中存储器1320可以存储操作系统及各种应用程序，还可以存储执行本申请实施例文本分离模型的训练方法的代码。

显示单元1330还可用于显示由用户输入的信息或提供给用户的信息以及终端设备310的各种菜单的图形用户界面（graphical user interface，GUI）。具体地，显示单元1330可以包括设置在终端设备310正面的显示屏1332。其中，显示屏1332可以采用液晶显示器、发光二极管等形式来配置。显示单元1330可以用于显示本申请实施例中的文本分离用户界面等。

显示单元1330还可用于接收输入的数字或字符信息，产生与终端设备310的用户设置以及功能控制有关的信号输入，具体地，显示单元1330可以包括设置在终端设备310正面的触摸屏1331，可收集用户在其上或附近的触摸操作，例如点击按钮，拖动滚动框等。

其中，触摸屏1331可以覆盖在显示屏1332之上，也可以将触摸屏1331与显示屏1332集成而实现终端设备310的输入和输出功能，集成后可以简称触摸显示屏。本申请中显示单元1330可以显示应用程序以及对应的操作步骤。

摄像头1340可用于捕获静态图像，用户可以将摄像头1340拍摄的图像通过应用发布评论。摄像头1340可以是一个，也可以是多个。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件（charge coupled device，CCD）或互补金属氧化物半导体（complementary metal-oxide-semiconductor，CMOS）光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给处理器1380转换成数字图像信号。

终端设备还可以包括至少一种传感器1350，比如加速度传感器1351、距离传感器1352、指纹传感器1353、温度传感器1354。终端设备还可配置有陀螺仪、气压计、湿度计、温度计、红外线传感器、光传感器、运动传感器等其他传感器。

音频电路1360、扬声器1361、传声器1362可提供用户与终端设备310之间的音频接口。音频电路1360可将接收到的音频数据转换后的电信号，传输到扬声器1361，由扬声器1361转换为声音信号输出。终端设备310还可配置音量按钮，用于调节声音信号的音量。另一方面，传声器1362将收集的声音信号转换为电信号，由音频电路1360接收后转换为音频数据，再将音频数据输出至通信组件1310以发送给比如另一终端设备310，或者将音频数据输出至存储器1320以便进一步处理。

蓝牙模块1370用于通过蓝牙协议来与其他具有蓝牙模块的蓝牙设备进行信息交互。例如，终端设备可以通过蓝牙模块1370与同样具备蓝牙模块的可穿戴电子设备（例如智能手表）建立蓝牙连接，从而进行数据交互。

处理器1380是终端设备的控制中心，利用各种接口和线路连接整个终端的各个部分，通过运行或执行存储在存储器1320内的软件程序，以及调用存储在存储器1320内的数据，执行终端设备的各种功能和处理数据。在一些实施例中，处理器1380可包括一个或多个处理单元；处理器1380还可以集成应用处理器和基带处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，基带处理器主要处理无线通信。可以理解的是，上述基带处理器也可以不集成到处理器1380中。本申请中处理器1380可以运行操作系统、应用程序、用户界面显示及触控响应，以及本申请实施例的文本分离模型的训练方法。另外，处理器1380与显示单元1330耦接。

在一些可能的实施方式中，本申请提供的文本分离模型的训练方法的各个方面还可以实现为一种程序产品的形式，其包括计算机程序，当程序产品在电子设备上运行时，计算机程序用于使电子设备执行本说明书上述描述的根据本申请各种示例性实施方式的文本分离模型的训练方法中的步骤，例如，电子设备可以执行如图4中所示的步骤。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。

本申请的实施方式的程序产品可以采用便携式紧凑盘只读存储器（CD-ROM）并包括计算机程序，并可以在计算装置上运行。然而，本申请的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被命令执行系统、装置或者器件使用或者与其结合使用。

可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由命令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的计算机程序，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。计算机程序可以完全地在用户计算装置上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算装置上部分在远程计算装置上执行、或者完全在远程计算装置或服务器上执行。在涉及远程计算装置的情形中，远程计算装置可以通过任意种类的网络包括局域网（LAN）或广域网（WAN）连接到用户计算装置，或者，可以连接到外部计算装置（例如利用因特网服务提供商来通过因特网连接）。

应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。

此外，尽管在附图中以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用计算机程序的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序命令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序命令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的命令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序命令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的命令产生包括命令装置的制造品，该命令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序命令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的命令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (9)

1.一种文本分离模型的训练方法，其特征在于，该方法包括：

获取训练样本集，每份训练样本包括：相应的样本文本图像，所述样本文本图像中各像素点各自的文本实例类别标签，所述样本文本图像中各文本实例各自的位置信息标签；

根据所述训练样本集中的训练样本，对待训练的文本分离模型执行循环迭代训练，获得训练完毕的文本分离模型，以基于所述文本分离模型对待识别文本图像进行文本识别；在一次循环迭代训练中执行以下操作：

从所述训练样本集中选取训练样本并输入待训练的文本分离模型，获得相应的样本文本图像中各文本实例各自的预测位置信息，和所述样本文本图像中各像素点各自的预测文本实例类别；

基于各预测文本实例类别和相应的文本实例类别标签之间的差异，以及各预测位置信息和相应的位置信息标签之间的差异，对所述文本分离模型进行参数调整；其中，通过以下方式获得所述样本文本图像中各文本实例各自的预测位置信息：

对所述样本文本图像进行下采样特征提取，获得目标下采样特征图；

基于所述文本分离模型的位置预测网络，以及所述目标下采样特征图中各像素单元，提取所述样本文本图像中包含的各文本实例各自的文本边界信息，其中，每个像素单元是通过下采样的方式，对所述样本文本图像中多个像素点进行融合得到的；

基于所述各文本实例各自的文本边界信息的置信度，确定所述样本文本图像中各文本实例各自的预测位置信息。

2.如权利要求1所述的方法，其特征在于，所述文本分离模型包括下采样网络；

所述对所述样本文本图像进行下采样特征提取，获得目标下采样特征图，包括：

将所述样本文本图像输入所述下采样网络；

基于所述下采样网络，对所述样本文本图像进行下采样特征提取，获得所述样本文本图像对应的至少一个下采样特征图，将所述下采样网络中最后一个下采样网络层输出的下采样特征图，作为所述目标下采样特征图。

3.如权利要求1所述的方法，其特征在于，所述文本边界信息的置信度为：基于所述文本边界信息确定的第一文本框，与基于相应的位置信息标签确定的第二文本框之间的交并比。

4.如权利要求2所述的方法，其特征在于，所述文本分离模型还包括上采样网络；

通过下列方式获得所述样本文本图像中各像素点各自的预测文本实例类别：

基于所述至少一个下采样特征图，分别经由所述上采样网络进行上采样特征提取，获得所述样本文本图像的像素特征信息；其中，所述上采样网络中第一个上采样网络层的输入为：所述目标下采样特征图；所述上采样网络中剩余的各上采样网络层的输入为：上一个上采样网络层输出的上采样特征图和对应层级的下采样网络层输出的下采样特征图。

5.如权利要求1~4任一项所述的方法，其特征在于，所述基于各预测文本实例类别和相应的文本实例类别标签之间的差异，以及各预测位置信息和相应的位置信息标签之间的差异，对所述文本分离模型进行参数调整，包括：

基于所述各预测文本实例类别和相应的文本实例类别标签之间的差异，构建文本实例类别损失函数；

基于所述各预测位置信息和相应的位置信息标签之间的差异，构建文本实例位置损失函数；

基于所述文本实例类别损失函数，以及所述文本实例位置损失函数，对所述文本分离模型进行参数调整。

6.如权利要求5所述的方法，其特征在于，所述预测位置信息包括：各文本实例各自的预测文本框的预测中心位置坐标和预测文本框尺寸；所述位置信息标签包括：各文本实例各自的真实文本框的真实中心位置坐标、真实文本框尺寸；

所述基于各文本实例各自的预测位置信息和各文本实例各自的位置信息标签之间的差异，构建文本实例位置损失函数，包括：

分别基于各文本实例对应的预测中心位置坐标和真实中心位置坐标之间的方差、预测文本框尺寸和真实文本框尺寸之间的方差，构建文本实例位置损失函数。

7.一种文本分离模型的训练装置，其特征在于，包括：

获取单元，用于获取训练样本集，每份训练样本包括：相应的样本文本图像，所述样本文本图像中各像素点各自的文本实例类别标签，所述样本文本图像中各文本实例各自的位置信息标签；

训练单元，用于根据所述训练样本集中的训练样本，对待训练的文本分离模型执行循环迭代训练，获得训练完毕的文本分离模型，以基于所述文本分离模型对待识别文本图像进行文本识别；在一次循环迭代训练中执行以下操作：

从所述训练样本集中选取训练样本并输入待训练的文本分离模型，获得相应的样本文本图像中各文本实例各自的预测位置信息，和所述样本文本图像中各像素点各自的预测文本实例类别；

基于各预测文本实例类别和相应的文本实例类别标签之间的差异，以及各预测位置信息和相应的位置信息标签之间的差异，对所述文本分离模型进行参数调整；其中，通过以下方式获得所述样本文本图像中各文本实例各自的预测位置信息：

对所述样本文本图像进行下采样特征提取，获得目标下采样特征图；

基于所述文本分离模型的位置预测网络，以及所述目标下采样特征图中各像素单元，提取所述样本文本图像中包含的各文本实例各自的文本边界信息，其中，每个像素单元是通过下采样的方式，对所述样本文本图像中多个像素点进行融合得到的；

基于所述各文本实例各自的文本边界信息的置信度，确定所述样本文本图像中各文本实例各自的预测位置信息。

8.一种电子设备，其特征在于，其包括处理器和存储器，其中，所述存储器存储有计算机程序，当所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1~6中任一所述方法的步骤。

9.一种计算机可读存储介质，其特征在于，其包括计算机程序，当所述计算机程序在电子设备上运行时，所述计算机程序用于使所述电子设备执行权利要求1~6中任一所述方法的步骤。

Images