CN113011428A - 一种模型训练的方法以及装置 - Google Patents

Abstract

本说明书公开了一种模型训练的方法以及装置，获取各待标注图像，针对每个待标注图像，将该待标注图像输入到待训练的文字行识别模型中，得到文字行识别结果，以及将该待标注图像输入到预设的单字识别模型中，得到单字识别结果。而后，根据单字识别结果，对文字行识别结果进行校正，得到校正后文字行识别结果。最后，根据校正后文字行识别结果，对该待标注图像进行标注，得到标注后图像，通过标注后图像，对待训练的文字行识别模型进行模型训练。本方法将单字识别结果和文字行识别结果进行结合，可以有效的提高数据标注的准确性，从而使得文字行识别模型的准确率提高。

Description

一种模型训练的方法以及装置

技术领域

本说明书涉及计算机技术领域，尤其涉及一种模型训练的方法以及装置。

背景技术

随着电子技术和网络技术的不断发展，文字识别算法得到了巨大进展。目前，训练一个高精度的文字识别模型需要大量精细的人工标注数据作为监督，而准备一个满足需求的标注数据集对于时间成本和人力成本的耗费十分巨大。

在现有技术中，将无标注的数据输入到两个不同的文字识别模型中，输出两个识别结果，通过一个判别器将其中一个识别结果作为数据标注，再使用标注后的数据对文字识别模型进行训练，而判别器无法准确的选择出正确的识别结果，所以，当这两个文字识别模型输出的识别结果存在错误的情况下，将导致数据的标注出现错误，从而使得文字识别模型的准确率降低。

因此，如何提高对数据标注的准确性，从而使得文字识别模型的准确率提高，则是一个亟待解决的问题。

发明内容

本说明书提供一种模型训练的方法、装置、存储介质及电子设备，以部分的解决现有技术存在的上述问题。

本说明书采用下述技术方案：

本说明书提供了一种模型训练的方法，包括：

获取各待标注图像；

针对每个待标注图像，将该待标注图像输入到待训练的文字行识别模型中，得到文字行识别结果，以及将该待标注图像输入到预设的单字识别模型中，得到单字识别结果；

根据所述单字识别结果，对所述文字行识别结果进行校正，得到校正后文字行识别结果；

根据所述校正后文字行识别结果，对该待标注图像进行标注，得到标注后图像；

通过所述标注后图像，对所述待训练的文字行识别模型进行模型训练。

可选地，将该待标注图像输入到待训练的文字行识别模型中，得到文字行识别结果，具体包括：

将该待标注图像输入到待训练的文字行识别模型中，得到所述文字行识别模型识别出的该待标注图像中所包含的文字行信息，以及所述文字行信息在该待标注图像中的文字行位置；

将所述文字行位置以及所述文字行信息，作为所述文字行识别结果；

将该待标注图像输入到预设的单字识别模型中，得到单字识别结果，具体包括：

将该待标注图像输入到所述单字识别模型中，得到所述单字识别模型识别出的该待标注图像中所包含的各单字信息，以及每个单字信息在该待标注图像中的单字位置；

将所述各单字信息以及每个单字信息在该待标注图像中的单字位置，作为所述单字识别结果。

可选地，根据所述单字识别结果，对所述文字行识别结果进行校正之前，所述方法还包括：

针对所述单字识别结果中的每个单字信息，根据确定出的该单字信息在该待标注图像中的单字位置以及所述文字行位置，确定该单字信息与所述文字行信息在该待标注图像中的区域重合度；

若确定所述区域重合度不小于设定重合度，确定该单字信息归属于所述文字行信息；

根据归属于所述文字行信息的单字信息，确定所述文字行信息对应的字符串；

根据所述单字识别结果，对所述文字行识别结果进行校正，具体包括：

根据所述字符串，对所述文字行识别结果进行校正。

可选地，根据所述字符串，对所述文字行识别结果进行校正，具体包括：

若确定所述字符串与所述文字行信息之间满足预设条件，根据所述字符串，对所述文字行识别结果进行校正；

所述方法还包括：

若确定所述字符串与所述文字行信息之间不满足所述预设条件，不对该待标注图像进行标注。

可选地，确定所述字符串与所述文字行信息之间满足预设条件，具体包括：

确定所述文字行信息所包含的单字的单字数，作为第一字数；

针对所述文字行信息中包含的每个单字，若确定该单字与所述字符串中相同位置的单字相同，确定该单字为第一目标单字；

确定所述文字行信息中包含的第一目标单字的单字数，作为第二字数；

若确定所述第二字数与所述第一字数之间的比值不小于设定比值，确定所述字符串与所述文字行信息之间满足预设条件。

可选地，根据归属于所述文字行信息的单字信息，确定所述文字行信息对应的字符串，具体包括：

根据归属于所述文字行信息的单字信息在该待标注图像中的单字位置，确定归属于所述文字行信息的单字信息在该待标注图像中的文字斜率；

根据所述文字斜率，对归属于所述文字行信息的单字信息进行排序，得到所述字符串。

可选地，所述文字行识别结果还包括：所述文字行信息中包含的每个单字所对应的第一准确率，所述单字识别结果还包括：识别出的每个单字信息所对应的第二准确率；

根据所述单字识别结果，对所述文字行识别结果进行校正，得到校正后文字行识别结果，具体包括：

针对所述单字识别结果中包含的每个单字信息，从所述文字行信息中确定出与该单字信息在该待标注图像中的单字位置相符的单字，作为第二目标单字；

若确定该单字信息对应的第二准确率高于所述第二目标单字对应的第一准确率，通过该单字信息对所述第二目标单字进行替换。

可选地，根据所述校正后文字行识别结果，对该待标注图像进行标注，得到标注后图像，具体包括：

若确定所述文字行识别结果中包含有至少两个文字行信息，根据所述至少两个文字行信息在该待标注图像中的文字行位置，确定在该待标注图像中位置相邻的文字行信息对；

若按照预设的文字排列顺序，确定所述文字行信息对中前一文字行信息的最后一个单字在该待标注图像中的单字位置，与所述文字行信息对中后一文字行信息的头一个单字在该待标注图像中的单字位置之间的距离不超过设定距离，将校正后的所述前一文字行信息与校正后的所述后一文字行信息进行拼接，得到拼接后文字行信息；

根据所述拼接后文字行信息，对该待标注图像进行标注，得到标注后图像。

本说明书提供了一种模型训练的装置，包括：

获取模块，用于获取各待标注图像；

识别模块，用于针对每个待标注图像，将该待标注图像输入到待训练的文字行识别模型中，得到文字行识别结果，以及将该待标注图像输入到预设的单字识别模型中，得到单字识别结果；

校正模块，用于根据所述单字识别结果，对所述文字行识别结果进行校正，得到校正后文字行识别结果；

标注模块，用于根据所述校正后文字行识别结果，对该待标注图像进行标注，得到标注后图像；

训练模块，用于通过所述标注后图像，对所述待训练的文字行识别模型进行模型训练。

本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述模型训练的方法。

本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述模型训练的方法。

本说明书采用的上述至少一个技术方案能够达到以下有益效果：

在本说明书提供的模型训练的方法中，获取各待标注图像，针对每个待标注图像，将该待标注图像输入到待训练的文字行识别模型中，得到文字行识别结果，以及将该待标注图像输入到预设的单字识别模型中，得到单字识别结果。而后，根据所述单字识别结果，对所述文字行识别结果进行校正，得到校正后文字行识别结果。最后，根据所述校正后文字行识别结果，对该待标注图像进行标注，得到标注后图像，通过所述标注后图像，对所述待训练的文字行识别模型进行模型训练。

从上述方法中可以看出，本方法可以根据预设的单字识别模型得出的较为准确的单字识别结果对文字行识别结果进行校正，得到校正后文字行识别结果，根据校正后文字行识别结果，对该待标注图像进行标注，相比于现有技术中，通过判别器对两个文字识别模型的识别结果进行选择的方式来对数据进行标注的方式来说，本方法通过将单字识别结果和文字行识别结果进行结合，可以有效地实现对文字行识别结果的校正，保证了数据标注的准确性，从而使得文字行识别模型的准确率提高。

附图说明

此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附图中：

图1为本说明书实施例提供的模型训练的方法的流程示意图；

图2为本说明书实施例提供的区域重合度计算的方法的示意图；

图3A、3B为本说明书实施例提供的文字行拼接的方法的示意图；

图4为本说明书实施例提供的模型训练装置的结构示意图；

图5为本说明书实施例提供的电子设备的结构示意图。

具体实施方式

为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。

以下结合附图，详细说明本说明书各实施例提供的技术方案。

图1为本说明书实施例提供的模型训练的方法的流程示意图，具体包括以下步骤：

S100：获取各待标注图像。

在本说明书实施例中，服务器可以获取各待标注图像。待标注图像可以是指没有标注信息，且包含有文字信息的图像，其中，该待标注图像可以是通过互联网获取图像，再对获取到的图像进行筛选，得到包含有文字信息的图像，作为待标注图像，该待标注图像也可以是从预设的图像数据库中获取的，抑或是通过诸如相机、摄像机等图像采集器人工采集并上传到服务器中用于专门进行模型训练的图像。

需要说明的是，对模型进行训练的执行主体可以是服务器，也可以是诸如台式电脑等电子设备，为了便于描述，下面仅以服务器为执行主体，对本说明书提供的模型训练的方法进行说明。

S102：针对每个待标注图像，将该待标注图像输入到待训练的文字行识别模型中，得到文字行识别结果，以及将该待标注图像输入到预设的单字识别模型中，得到单字识别结果。

在本说明书实施例中，服务器可以针对每个待标注图像，将该待标注图像输入到待训练的文字行识别模型中，得到文字行识别结果，这里提到的文字行识别结果可以包括：文字行识别模型识别出的该待标注图像中所包含的文字行信息，以及文字行信息在该待标注图像中的文字行位置。同样的，将该待标注图像输入到预设的单字识别模型中，得到单字识别结果，这里提到的单字识别结果可以包括：单字识别模型识别出的该待标注图像中所包含的各单字信息，以及每个单字信息在该待标注图像中的单字位置。

需要说明的是，文字行识别模型中可以包含有两个子模型：文字行信息模型以及文字行位置模型，文字行信息模型用于识别出的该待标注图像中所包含的文字行信息，文字行位置模型用于识别文字行信息在该待标注图像中的文字行位置。同样的，单字识别模型中可以包含有两个子模型：单字信息模型以及单字位置模型，单字信息模型用于识别出的该待标注图像中所包含的各单字信息，单字位置模型用于识别单字信息在该待标注图像中的单字位置。

其中，由于文字行位置模型、单字信息模型以及单字位置模型较为简单，因此，可以通过少量的数据进行有监督训练，训练得到准确的文字行位置模型、单字信息模型以及单字位置模型。而文字行信息模型较为复杂，通过少量的数据进行有监督训练，并不能得到较为准确的文字行信息模型，因此，通过少量的数据进行有监督训练后，得到初步训练后的文字行信息模型，再通过本说明书提供的模型训练的方法进行训练。有监督训练可以用现有公开数据集进行训练，例如，ReCTS数据集(中英文街景招牌文字检测与识别数据集)。

S104：根据所述单字识别结果，对所述文字行识别结果进行校正，得到校正后文字行识别结果。

在本说明书实施例中，服务器可以根据预先训练的单字识别模型得到的准确度的单字识别结果，对待训练的文字行识别模型得到的文字行识别结果进行校正，得到校正后文字行识别结果，使得待标注图像对应的标注更加准确。

服务器在根据单字识别结果，对文字行识别结果进行校正之前，服务器需要先确定出单字识别结果对应的文字行识别结果，即，确定单字识别结果中包含的单字信息到底对应于文字行识别结果中的哪部分单字信息，以避免标注结果出现错误。服务器可以针对单字识别结果中的每个单字信息，根据确定出的该单字信息在该待标注图像中的单字位置以及文字行位置，确定该单字信息与文字行信息在该待标注图像中的区域重合度。

具体的，该单字信息在该待标注图像中的单字位置可以是指该单字在待标注图像中所覆盖的区域(具体可以通过单字在待标注图像中所对应的文字框来表示单字所覆盖的区域)的四个顶点的坐标位置，该待标注图像中的文字行位置可以是指该文字行在待标注图像中所覆盖的区域(具体可以通过识别出的文字行在待标注图像中所对应的行文字框来表示文字行所覆盖的区域)的四个顶点的坐标位置，可以根据该单字所在区域的四个顶点的坐标位置以及该文字行所在区域的四个顶点的坐标位置，得到该单字所在区域以及文字行所覆盖的区域，并计算出该单字所覆盖的区域以及文字行所覆盖的区域之间的重合部分，占该单字所覆盖区域的百分比数值，得到该单字所在区域以及文字行所在区域的区域重合度。若确定区域重合度不小于设定重合度，确定该单字信息归属于文字行信息，得到归属于文字行信息的各单字信息，并将归属于文字行信息的各单字信息进行排序，确定文字行信息对应的字符串。如图2所示。

图2为本说明书实施例提供的区域重合度计算的方法的示意图。

在图2中，单字识别结果包括：X、X、烤、鱼、联、系、电、话，文字行识别结果包括：XX烤鱼、联系电话，设定重合度可以是人为设定的，这里假定设定重合度为75％。服务器可以根据单字信息“烤”的单字位置，得到单字信息“烤”所覆盖的区域(图2中单字信息“烤”对应的黑色文字框)。同样的，服务器可以根据文字行信息“XX烤鱼”的文字行位置，得到文字行信息“XX烤鱼”所覆盖的区域(图2中文字行信息“XX烤鱼”对应的黑色行文字框)。从图2中可以明显看出，单字信息“烤”对应的黑色文字框在文字行信息“XX烤鱼”对应的黑色行文字内，也就是说，单字信息(烤)所覆盖的区域以及文字行“XX烤鱼”所覆盖的区域之间的区域重合度为100％，高于设定重合度(75％)，因此，单字信息“烤”归属于文字行信息“XX烤鱼”。以此类推，可以依次确定出单字信息：X、X、烤、鱼、联、系、电、话是否归属于文字行信息“XX烤鱼”。然后，服务器将归属于文字行信息“XX烤鱼”的单字信息进行排序，确定文字行信息对应的字符串。

若某个单字信息不归属于任何文字行信息，或某个文字行信息中不包含单字识别结果中所包含的任何单字信息，则该单字信息或者文字行信息将被舍弃，不进行后续处理。例如，若是识别出的单字识别结果中所包含的单字信息与识别出的文字行识别结果中所包含的文字行信息差别较大，则说明待标注图像的图像质量可能较差(如图像清晰度较差，亮度较低等)，为了保证模型的训练效果，则可以不对该待标注图像进行标注。

服务器可以根据归属于文字行信息的单字信息在该待标注图像中的单字位置，确定归属于文字行信息的单字信息在该待标注图像中的文字斜率。例如，服务器可以根据在该待标注图像中各单字信息所在区域的中心坐标拟合一条直线。再根据该直线的斜率确定归属于文字行信息的单字信息在该待标注图像中的文字斜率。最后，服务器可以根据文字斜率，确定文字行信息是竖直文字行信息或水平文字行信息。若是竖直文字行信息，则根据归属于文字行信息的单字信息的纵坐标数值对单字信息进行排序，得到字符串。若是水平文字行信息，则根据归属于文字行信息的单字信息的横坐标数值对单字信息进行排序，得到字符串。

在本说明书实施例中，由于字符串中的单字信息是由预先训练的单字识别模型得到的，也就是说，字符串中的单字信息相比于文字行识别结果来说更为准确。因此，服务器可以根据字符串，对文字行识别结果进行校正。若确定字符串与文字行信息之间满足预设条件，服务器可以根据字符串，对文字行识别结果进行校正，若确定字符串与文字行信息之间不满足预设条件，不对该待标注图像进行标注。

需要说明的是，这里提到的预设条件可以包含有两种，第一个条件可以是指文字行信息所包含的单字的单字数与字符串中所包含的单字的的单字数是否相同，若文字行信息所包含的单字的单字数与字符串中所包含的单字的单字数相同，服务器可以根据字符串，对文字行识别结果进行校正，若文字行信息所包含的单字的单字数与字符串中所包含的单字的的单字数不相同，不对该待标注图像进行标注。

第二种条件可以是指文字行信息以及字符串两者所包含的相同单字信息的字数是否满足条件。具体的，服务器可以是指确定文字行信息所包含的单字的单字数，作为第一字数，针对文字行信息中包含的每个单字，若确定该单字与字符串中相同位置的单字相同，确定该单字为第一目标单字，确定文字行信息中包含的第一目标单字的单字数，作为第二字数，若确定第二字数与第一字数之间的比值不小于设定比值，确定字符串与文字行信息之间满足预设条件。也就是说，确定文字行信息与字符串中相同位置的单字是否相同，得到相同单字的字数，将相同单字的字数与文字行信息中的单字的单字数进行计算，若确定该比值不小于设定比值，确定字符串与文字行信息之间满足预设条件。

需要说明的是，若是服务器确定出字符串与文字行信息之间满足上述任意一种形式的条件，则可以确定字符串与文字行信息之间满足预设条件，当然，服务器可以在确定出字符串与文字行信息之间同时满足上述两种形式的条件时，确定字符串与文字行信息之间满足预设条件。

在本说明书实施例中，服务器可以根据字符串，对文字行识别结果进行校正，得到校正后文字行识别结果。具体的，服务器可以确定出字符串与文字行信息是否相同，若字符串与文字行信息相同，将文字行信息替换为字符串。服务器还可以确定出字符串中的单字信息与文字行信息中相同位置的单字信息是否相同，若字符串中的单字信息与文字行信息中相同位置的单字信息不同，将文字行信息中与字符串在相同位置上不同的单字信息替换为字符串中相同位置的单字信息。

进一步地，文字行识别结果还包括：文字行信息中包含的每个单字所对应的第一准确率，单字识别结果还包括：识别出的每个单字信息所对应的第二准确率。服务器可以针对单字识别结果中包含的每个单字信息，从文字行信息中确定出与该单字信息在该待标注图像中的单字位置相符的单字，作为第二目标单字，若确定该单字信息对应的第二准确率高于第二目标单字对应的第一准确率，通过该单字信息对第二目标单字进行替换。

也就是说，服务器可以将每个单字信息对应的第二准确率与文字行信息在相同位置的单字对应的第一准确率进行对比，若该单字信息对应的第二准确率高于文字行信息在相同位置的单字对应的第一准确率，将文字行信息在相同位置的单字替换为该单字信息。

在实际应用中，服务器若确定出字符串中的单字信息与文字行信息相同，则确定该文字行信息是准确的，将文字行信息中的所有单字对应的第一准确率改为100％。若字符串中的单字信息与文字行信息不同，则将文字行信息与字符串信息中相同的单字对应的第一准确率改为100％，再确定出文字行信息与字符串信息中不相同的单字，并将文字行信息在不相同位置的单字以及单字对应的第一准确率，替换为该单字信息以及该单字信息对应的第二准确率，通过预设的单字识别模型得出的较为准确的单字识别结果对文字行识别结果进行校正，得到准确的校正后文字行识别结果，从而使得文字行识别模型得到更好的训练效果。

S106：根据所述校正后文字行识别结果，对该待标注图像进行标注，得到标注后图像。

在本说明书实施例中，服务器可以根据校正后文字行识别结果，对该待标注图像进行标注，得到标注后图像。而需要指出的是，在实际应用中，服务器可能从一张待标注图像中识别出多个文字行信息，由于文字行识别模型在识别过程中可能会出现断裂的情况，也就是将一个较长的文字行信息识别为两个较短的文字行信息，因此，服务器需要对同一个待标注图像中的多个文字行信息进行拼接。

若确定文字行识别结果中包含有至少两个文字行信息，根据至少两个文字行信息在该待标注图像中的文字行位置，确定在该待标注图像中位置相邻的文字行信息对，首先，根据文字行信息的文字斜率，将文字行信息分为竖直文字行信息以及水平文字行信息，再将位置相邻的竖直文字行信息组成竖直文字行信息对，位置相邻的水平文字行信息组成水平文字行信息对。其次，若确定同一竖直(水平)文字行信息对中的文字行信息处在同一竖直(水平)线上，并且，按照预设的文字排列顺序，确定文字行信息对中前一文字行信息的最后一个单字在该待标注图像中的单字位置，与文字行信息对中后一文字行信息的头一个单字在该待标注图像中的单字位置之间的距离不超过设定距离，将校正后的前一文字行信息与校正后的后一文字行信息进行拼接，得到拼接后文字行信息，最后，根据拼接后文字行信息，对该待标注图像进行标注，得到标注后图像。如图3A、3B所示。

图3A、3B为本说明书实施例提供的文字行拼接的方法的示意图。

在图3A中，服务器确定出该待标注图像中的文字行识别结果中包含有三个文字行信息，首先，根据三个文字行信息的文字斜率，确定三个文字行信息为水平文字行信息，并进一步地确定出文字行信息“黄焖鸡”、“米饭”处在同一水平线上。再按照预设的文字排列顺序，确定文字行信息“黄焖鸡”中的最后一个单字“鸡”的单字位置，与文字行信息“米饭”中的第一个单字“米”的单字位置，若单字“鸡”与单字“米”之间的距离不超过设定距离，将文字行信息“黄焖鸡”与文字行信息“米饭”进行拼接，得到拼接后文字行信息“黄焖鸡米饭”，如图3B所示。

上述设定距离是人为设定的，若文字行信息为水平文字行信息，则根据文字行信息中的单字高度，确定设定距离，若文字行信息为竖直文字行信息，则根据文字行信息中的单字宽度，确定设定距离。

S108：通过所述标注后图像，对所述待训练的文字行识别模型进行模型训练。

在本说明书实施例中，服务器可以通过标注后图像，对待训练的文字行识别模型进行模型训练。其中，待训练的文字行识别模型中可以包含有两个子模型：文字行信息模型以及文字行位置模型，文字行位置模型主要用于识别文字行信息在该待标注图像中的文字行位置，通过少量的数据进行有监督训练，就可以训练得到准确的文字行位置模型，所以，最终可以通过标注后图像，对较为复杂的文字行信息模型进行进一步地模型训练，这样不仅能够有效地降低模型训练所消耗的人力成本，也可以保证在实际应用阶段，文字行信息模型能够准确的对图像中的文字行信息进行识别。

从上述过程中可以看出，本方法可以根据预设的单字识别模型得出的较为准确的单字识别结果对文字行识别结果进行校正，得到校正后文字行识别结果，对该待标注图像进行标注，相比于现有技术中，通过判别器对两个文字识别模型的识别结果进行选择的方式来对数据进行标注的方式来说，本方法通过将单字识别结果和文字行识别结果进行结合，可以有效地实现对文字行识别结果的校正，保证了数据标注的准确性，从而使得文字行识别模型的准确率提高

以上为本说明书的一个或多个实施例提供的模型的训练方法，基于同样的思路，本说明书还提供了相应的模型训练的装置，如图4所示。

图4为本说明书实施例提供的模型训练装置的结构示意图，具体包括：

获取模块400，用于获取各待标注图像；

识别模块402，用于针对每个待标注图像，将该待标注图像输入到待训练的文字行识别模型中，得到文字行识别结果，以及将该待标注图像输入到预设的单字识别模型中，得到单字识别结果；

校正模块404，用于根据所述单字识别结果，对所述文字行识别结果进行校正，得到校正后文字行识别结果；

标注模块406，用于根据所述校正后文字行识别结果，对该待标注图像进行标注，得到标注后图像；

训练模块408，用于通过所述标注后图像，对所述待训练的文字行识别模型进行模型训练。

可选地，所述识别模块402具体用于，将该待标注图像输入到待训练的文字行识别模型中，得到所述文字行识别模型识别出的该待标注图像中所包含的文字行信息，以及所述文字行信息在该待标注图像中的文字行位置，将所述文字行位置以及所述文字行信息，作为所述文字行识别结果，将该待标注图像输入到所述单字识别模型中，得到所述单字识别模型识别出的该待标注图像中所包含的各单字信息，以及每个单字信息在该待标注图像中的单字位置，将所述各单字信息以及每个单字信息在该待标注图像中的单字位置，作为所述单字识别结果。

可选地，所述识别模块402具体用于，针对所述单字识别结果中的每个单字信息，根据确定出的该单字信息在该待标注图像中的单字位置以及所述文字行位置，确定该单字信息与所述文字行信息在该待标注图像中的区域重合度，若确定所述区域重合度不小于设定重合度，确定该单字信息归属于所述文字行信息，根据归属于所述文字行信息的单字信息，确定所述文字行信息对应的字符串，根据所述字符串，对所述文字行识别结果进行校正。

可选地，所述校正模块404具体用于，若确定所述字符串与所述文字行信息之间满足预设条件，根据所述字符串，对所述文字行识别结果进行校正，若确定所述字符串与所述文字行信息之间不满足所述预设条件，不对该待标注图像进行标注。

可选地，所述校正模块404具体用于，确定所述文字行信息所包含的单字的单字数，作为第一字数，针对所述文字行信息中包含的每个单字，若确定该单字与所述字符串中相同位置的单字相同，确定该单字为第一目标单字，确定所述文字行信息中包含的第一目标单字的单字数，作为第二字数，若确定所述第二字数与所述第一字数之间的比值不小于设定比值，确定所述字符串与所述文字行信息之间满足预设条件。

可选地，所述识别模块402具体用于，根据归属于所述文字行信息的单字信息在该待标注图像中的单字位置，确定归属于所述文字行信息的单字信息在该待标注图像中的文字斜率，根据所述文字斜率，对归属于所述文字行信息的单字信息进行排序，得到所述字符串。

可选地，所述识别模块402具体用于，所述文字行识别结果还包括：所述文字行信息中包含的每个单字所对应的第一准确率，所述单字识别结果还包括：识别出的每个单字信息所对应的第二准确率，针对所述单字识别结果中包含的每个单字信息，从所述文字行信息中确定出与该单字信息在该待标注图像中的单字位置相符的单字，作为第二目标单字，若确定该单字信息对应的第二准确率高于所述第二目标单字对应的第一准确率，通过该单字信息对所述第二目标单字进行替换。

可选地，所述标注模块406具体用于，若确定所述文字行识别结果中包含有至少两个文字行信息，根据所述至少两个文字行信息在该待标注图像中的文字行位置，确定在该待标注图像中位置相邻的文字行信息对，若按照预设的文字排列顺序，确定所述文字行信息对中前一文字行信息的最后一个单字在该待标注图像中的单字位置，与所述文字行信息对中后一文字行信息的头一个单字在该待标注图像中的单字位置之间的距离不超过设定距离，将校正后的所述前一文字行信息与校正后的所述后一文字行信息进行拼接，得到拼接后文字行信息，根据所述拼接后文字行信息，对该待标注图像进行标注，得到标注后图像。

本说明书还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述图1提供的模型训练的方法。

本说明书还提供了图5所示的电子设备的结构示意图。如图5所述，在硬件层面，该模型训练的方法的设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述图1所述的模型训练的方法。当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (11)

1.一种模型训练的方法，其特征在于，包括：

获取各待标注图像；

针对每个待标注图像，将该待标注图像输入到待训练的文字行识别模型中，得到文字行识别结果，以及将该待标注图像输入到预设的单字识别模型中，得到单字识别结果；

根据所述单字识别结果，对所述文字行识别结果进行校正，得到校正后文字行识别结果；

根据所述校正后文字行识别结果，对该待标注图像进行标注，得到标注后图像；

通过所述标注后图像，对所述待训练的文字行识别模型进行模型训练。

2.如权利要求1所述的方法，其特征在于，将该待标注图像输入到待训练的文字行识别模型中，得到文字行识别结果，具体包括：

将该待标注图像输入到待训练的文字行识别模型中，得到所述文字行识别模型识别出的该待标注图像中所包含的文字行信息，以及所述文字行信息在该待标注图像中的文字行位置；

将所述文字行位置以及所述文字行信息，作为所述文字行识别结果；

将该待标注图像输入到预设的单字识别模型中，得到单字识别结果，具体包括：

将该待标注图像输入到所述单字识别模型中，得到所述单字识别模型识别出的该待标注图像中所包含的各单字信息，以及每个单字信息在该待标注图像中的单字位置；

将所述各单字信息以及每个单字信息在该待标注图像中的单字位置，作为所述单字识别结果。

3.如权利要求2所述的方法，其特征在于，根据所述单字识别结果，对所述文字行识别结果进行校正之前，所述方法还包括：

针对所述单字识别结果中的每个单字信息，根据确定出的该单字信息在该待标注图像中的单字位置以及所述文字行位置，确定该单字信息与所述文字行信息在该待标注图像中的区域重合度；

若确定所述区域重合度不小于设定重合度，确定该单字信息归属于所述文字行信息；

根据归属于所述文字行信息的单字信息，确定所述文字行信息对应的字符串；

根据所述单字识别结果，对所述文字行识别结果进行校正，具体包括：

根据所述字符串，对所述文字行识别结果进行校正。

4.如权利要求3所述的方法，其特征在于，根据所述字符串，对所述文字行识别结果进行校正，具体包括：

若确定所述字符串与所述文字行信息之间满足预设条件，根据所述字符串，对所述文字行识别结果进行校正；

所述方法还包括：

若确定所述字符串与所述文字行信息之间不满足所述预设条件，不对该待标注图像进行标注。

5.如权利要求4所述的方法，其特征在于，确定所述字符串与所述文字行信息之间满足预设条件，具体包括：

确定所述文字行信息所包含的单字的单字数，作为第一字数；

针对所述文字行信息中包含的每个单字，若确定该单字与所述字符串中相同位置的单字相同，确定该单字为第一目标单字；

确定所述文字行信息中包含的第一目标单字的单字数，作为第二字数；

若确定所述第二字数与所述第一字数之间的比值不小于设定比值，确定所述字符串与所述文字行信息之间满足预设条件。

6.如权利要求3所述的方法，其特征在于，根据归属于所述文字行信息的单字信息，确定所述文字行信息对应的字符串，具体包括：

根据归属于所述文字行信息的单字信息在该待标注图像中的单字位置，确定归属于所述文字行信息的单字信息在该待标注图像中的文字斜率；

根据所述文字斜率，对归属于所述文字行信息的单字信息进行排序，得到所述字符串。

7.如权利要求2～6任一项所述的方法，其特征在于，所述文字行识别结果还包括：所述文字行信息中包含的每个单字所对应的第一准确率，所述单字识别结果还包括：识别出的每个单字信息所对应的第二准确率；

根据所述单字识别结果，对所述文字行识别结果进行校正，得到校正后文字行识别结果，具体包括：

针对所述单字识别结果中包含的每个单字信息，从所述文字行信息中确定出与该单字信息在该待标注图像中的单字位置相符的单字，作为第二目标单字；

若确定该单字信息对应的第二准确率高于所述第二目标单字对应的第一准确率，通过该单字信息对所述第二目标单字进行替换。

8.如权利要求5所述的方法，其特征在于，根据所述校正后文字行识别结果，对该待标注图像进行标注，得到标注后图像，具体包括：

若确定所述文字行识别结果中包含有至少两个文字行信息，根据所述至少两个文字行信息在该待标注图像中的文字行位置，确定在该待标注图像中位置相邻的文字行信息对；

若按照预设的文字排列顺序，确定所述文字行信息对中前一文字行信息的最后一个单字在该待标注图像中的单字位置，与所述文字行信息对中后一文字行信息的头一个单字在该待标注图像中的单字位置之间的距离不超过设定距离，将校正后的所述前一文字行信息与校正后的所述后一文字行信息进行拼接，得到拼接后文字行信息；

根据所述拼接后文字行信息，对该待标注图像进行标注，得到标注后图像。

9.一种模型训练的装置，其特征在于，包括：

获取模块，用于获取各待标注图像；

识别模块，用于针对每个待标注图像，将该待标注图像输入到待训练的文字行识别模型中，得到文字行识别结果，以及将该待标注图像输入到预设的单字识别模型中，得到单字识别结果；

校正模块，用于根据所述单字识别结果，对所述文字行识别结果进行校正，得到校正后文字行识别结果；

标注模块，用于根据所述校正后文字行识别结果，对该待标注图像进行标注，得到标注后图像；

训练模块，用于通过所述标注后图像，对所述待训练的文字行识别模型进行模型训练。

10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1～8任一项所述的方法。

11.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1～8任一项所述的方法。

Images