CN109522900A - 自然场景文字识别方法及装置 - Google Patents

Abstract

本申请公开了一种自然场景文字识别方法及装置。该方法包括：将获取的自然场景图输入实例分割网络得到掩码图和像素图；根据所述掩码图确定空间变换网络的控制参数；通过设置所述控制参数的空间变换网络将所述像素图变换成纠形图；以及，采用文字识别网络识别出所述纠形图中的文字序列。该装置包括：输入单元、确定单元、变换单元及识别单元。本申请解决了由于自然场景图中文字以外的信息会干扰变换效果造成的文字序列识别准确率低的技术问题。

Description

自然场景文字识别方法及装置

技术领域

本申请涉及图像识别技术领域，具体而言，涉及一种自然场景文字识别方法及装置。

背景技术

在当前的科技发展潮流下，借助图像识别文字的技术较为常见。主要可以分为光学文字识别、自然场景中的文字识别等。

光学文字识别(OCR)主要面向高清的文档图像，此类技术假设输入图像背景干净、字体简单且文字排布整齐。在符合此前提要求的情况下，训练好的网络模型能够达到很高的识别准确率，并且训练过程较快。

自然场景中的文字识别(STR)主要面向包含文字的自然场景图像，此类技术假设图像背景复杂、字体多样、存在文字区域变形等情况。为了从此类图像中识别文字，当前流行使用基于深度学习网络的技术方法。为了保证所训练网络模型的健壮性，训练数据集中需要大量在各种拍摄角度下采集的变形文字图像，这就间接地导致图像标注工作量很大、并且网络模型训练周期很长。

目前的自然场景文字识别方法中，通常涉及文字检测和文字识别两个模块。其中，文字检测模块负责在原始图像中找到文字区域，文字识别模块负责从文字区域中识别出文字序列。在某些文字识别方法中，还在文字检测和文字识别两个模块中间加入空间变换的模块，该模块负责将检测出的文字区域进行变换，图像被变换后才可以送入识别模块。如果文字区域经过变换后其文字变形程度变小，识别模块中可以更容易得到准确的文字序列识别结果。如果图像变换模块达成预期变换效果，训练集中需要的变形文字图像数量以及对应标注工作量将可以变少，文字识别模块的训练周期也可以变短。

在包含图像变换模块的自然场景文字识别方法中，往往先要在原始文字区域特征图上计算出变换模块的控制参数，然后根据控制参数在文字区域特征图上采样计算出新文字区域特征图。由于原始文字区域特征图中还包含文字块背景信息、以及文字笔画分解等丰富信息，这类信息能一定程度上干扰图像变换模块找到合适的控制参数，从而难以输出变形程度较低的文字区域特征图，进而导致不理想的文字序列识别结果。

针对相关技术中自然场景图中文字以外的信息会干扰变换效果造成的文字序列识别准确率低的问题，目前尚未提出有效的解决方案。

发明内容

本申请的主要目的在于提供一种自然场景文字识别方法及装置，以解决自然场景图中文字以外的信息会干扰变换效果造成的文字序列识别准确率低的问题。

为了实现上述目的，根据本申请的一个方面，提供了一种自然场景文字识别方法。

根据本申请的自然场景文字识别方法包括：将获取的自然场景图输入实例分割网络得到掩码图和像素图；根据所述掩码图确定空间变换网络的控制参数；通过设置所述控制参数的空间变换网络将所述像素图变换成纠形图；以及，采用文字识别网络识别出所述纠形图中的文字序列。

进一步的，将获取的自然场景图输入实例分割网络得到掩码图和像素图包括：获取自然场景图；实例分割网络检测得到读入的所述自然场景图的文本行实例的位置，并输出掩码图；根据所述文本行实例的位置计算出矩形边界框；裁减出所述矩形边界框作为所述像素图。

进一步的，根据所述掩码图确定空间变换网络的控制参数包括：空间变换网络接收所述掩码图，并预测出文本行实例的关键点列表；根据关键点列表计算所述空间变换网络的控制参数。

进一步的，将获取的自然场景图像输入实例分割网络得到掩码图和像素图之后还包括：判断是否处于网络模型的训练阶段；如果是，则所述实例分割网络接收实例分割标注；将所述实例分割标注结合所述掩码图计算出分割误差；通过所述分割误差在梯度反向传播过程中优化所述网络模型。

进一步的，通过设置所述控制参数的空间变换网络将所述像素图变换成纠形图之后还包括：判断是否处于网络模型的训练阶段；如果是，所述空间变换网络接收实例关键点标注；将所述实例关键点标注结合预测的关键点列表计算出关键点误差；通过所述关键点误差在梯度反向传播过程中优化所述网络模型。

进一步的，采用文字识别网络识别出所述纠形图中的文字序列之后还包括：判断是否处于网络模型的训练阶段；如果是，所述文字识别网络接收文字序列标注；将所述文字序列标注结合所述文字序列计算出文字序列误差；通过所述文字序列误差在梯度反向传播过程中优化所述网络模型。

为了实现上述目的，根据本申请的另一方面，提供了一种自然场景文字识别装置。

根据本申请的自然场景文字识别装置包括：输入单元，用于将获取的自然场景图输入实例分割网络得到掩码图和像素图；确定单元，用于根据所述掩码图确定空间变换网络的控制参数；变换单元，用于通过设置所述控制参数的空间变换网络将所述像素图变换成纠形图；以及，识别单元，用于采用文字识别网络识别出所述纠形图中的文字序列。

进一步的，还包括：第一模型判断单元，用于判断是否处于网络模型的训练阶段，如果是，则进入第一误差计算单元；所述第一误差计算单元，用于所述实例分割网络接收实例分割标注；将所述实例分割标注结合所述掩码图计算出分割误差；第一模型优化单元，用于通过所述分割误差的梯度反向传播优化所述网络模型。

进一步的，还包括：第二模型判断单元，用于判断是否处于网络模型的训练阶段，如果是，则进入第二误差计算单元；第二误差计算单元，用于所述空间变换网络接收实例关键点标注；将所述实例关键点标注结合预测的关键点列表计算出关键点误差；第二模型优化单元，用于通过所述关键点误差的梯度反向传播优化所述网络模型。

进一步的，还包括：第三模型判断单元，用于判断是否处于网络模型的训练阶段，如果是，则进入第三误差计算单元；第三误差计算单元，用于所述文字识别网络接收文字序列标注；将所述文字序列标注结合所述文字序列计算出文字序列误差；第三模型优化单元，用于通过所述文字序列误差的梯度反向传播优化所述网络模型。

在本申请实施例中，采用结合实例分割网络、空间变换网络和文字识别网络的方式，通过将获取的自然场景图输入实例分割网络得到掩码图和像素图，然后通过掩码图确定空间变换网络的控制参数，再通过设置该控制参数的空间变换网络将所述像素图变换成纠形图，最后采用文字识别网络识别出纠形图中的文字序列，达到了自然场景图中文字以外的信息不会干扰变换效果的目的，从而实现了提高文字序列识别准确率的技术效果，进而解决了由于自然场景图中文字以外的信息会干扰变换效果造成的文字序列识别准确率低的技术问题。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的自然场景文字识别方法示意图；

图2是根据本申请实施例的自然场景文字识别装置示意图；

图3是根据本申请一优选实施例的自然场景文字识别方法流程示意图；

图4是根据本申请另一优选实施例的自然场景文字识别方法流程示意图；

图5(A)-图5(E)是根据本申请实施例的自然场景图变换示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本发明及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。

并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本发明中的具体含义。

此外，术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

根据本发明实施例，提供了一种自然场景文字识别方法，如图1所示，该方法包括如下的步骤S100至步骤S106：

步骤S100、将获取的自然场景图输入实例分割网络得到掩码图和像素图；

具体的，将获取的自然场景图输入实例分割网络得到掩码图和像素图包括：

获取自然场景图；

实例分割网络检测得到读入的所述自然场景图的文本行实例的位置，并输出掩码图；

根据所述文本行实例的位置计算出矩形边界框；

裁减出所述矩形边界框作为所述像素图。

基于深度学习的视觉分析领域，存在多种实例分割方案。例如，深度学习网络模型PixelLink、PSENet等都可以检测出图像中的文本行实例、并输出每个实例的掩码图。本方法不限定使用的具体方案，可根据目标应用场景里文本行实例的尺寸特点来选择匹配效果最好的实例分割方案。

掩码图的尺寸，可以是文本实例原图相同大小，也可以比文本实例原图缩小数倍。如果输出掩码图的尺寸较大、分辨率较高，则后面空间变换网络的转换效果越好、但是执行速度会略慢。建议根据目标应用场景里文本行实例的尺寸特点来选择效果最好的掩码图尺寸。

本实施例中的文本行实例，在英文识别场景中通常对应一个单词，在中文识别场景中通常对应一段不包含空格的连续字符，实际应用场景中，一张自然场景图中往往包含多个文本行实例。

以如图5(A)为例，其为自然场景图中的一张图。因此，如该图所示，可以检测出该图中包含了5个文本行实例的位置，其中有水平的、倾斜的、和弯曲的；从而可以输出5个掩码图。

以如图5(D)为例，其为5个掩码图中的一个，该掩码图中，文本行实例前景位置各像素均被赋值为1，背景位置各像素均被赋值为0。

以如图5(B)和5(C)为例，其为按照文本行实例的矩形边界框，裁剪得到的图5(D)的掩码图对应的如图5(B)所示的像素图；优选的，为了避免花哨的背景图案干扰后面空间变换任务，可以进一步将像素图中文本行实例背景区域像素设置为如图5(C)所示的纯色像素图。

图5(A)中的其他文本行实例可通过实例分割网络实现掩码图和像素图的获取；进而可以按照分割的文本行实例分别进行后续的控制参数确定、空间转换；如此，可以保证空间变换的效果。

优选的，将获取的自然场景图像输入实例分割网络得到掩码图和像素图之后还包括：

判断是否处于网络模型的训练阶段；

如果是，则所述实例分割网络接收实例分割标注；

将所述实例分割标注结合所述掩码图计算出分割误差；

通过所述分割误差在梯度反向传播过程中优化所述网络模型；

如果当前输入的自然场景图像的不带有实例分割标注，则可以跳过；

如果当前处于网络模型预测阶段，也可以跳过。

特别的，本实施例中支持弱监督学习，不要求自然场景图中全部图像都带有实例分割标注。分割误差可以帮助优化网络模型参数。

步骤S102、根据所述掩码图确定空间变换网络的控制参数；

具体的，根据所述掩码图确定空间变换网络的控制参数包括：

空间变换网络接收所述掩码图，并预测出文本行实例的关键点列表；

根据关键点列表计算所述空间变换网络的控制参数。

本实施例中，不限定使用哪种类型关键点集合，可根据目标应用场景里文本行实例的尺寸特点来选择关键点数量、及其在转换后图像中的位置。

本实施例中，允许利用公开自然场景图文数据集以及合成图文数据集中的关键点标注，从而可以加速控制参数学习过程，并使得空间变换网络的文本行实例纠形效果更好。

确定空间变换网络的控制参数，从而为空间变换网络排除变换过程中，自然场景图中文字以外的信息的干扰提供保障。

步骤S104、通过设置所述控制参数的空间变换网络将所述像素图变换成纠形图；

以如图5(D)所示的纯色像素图为例，通过设置控制参数后的空间变换网络的变化，得到如图5(E)所示的纠形图；该纠形图的纠正效果较好，可以提高文字识别网络识别文字序列的准确率。

优选的，通过设置所述控制参数的空间变换网络将所述像素图变换成纠形图之后还包括：

判断是否处于网络模型的训练阶段；

如果是，所述空间变换网络接收实例关键点标注；

将所述实例关键点标注结合预测的关键点列表计算出关键点误差；

通过所述关键点误差在梯度反向传播过程中优化所述网络模型；

如果当前输入的自然场景图像中文本行实例不带有关键点标注，则可以跳过；

如果当前处于网络模型预测阶段，也可以跳过。

特别地，本实施例中支持弱监督学习方法，不要求自然场景图中全部文本行实例都带有关键点标注。关键点误差可以帮助优化网络模型参数。

步骤S106、采用文字识别网络识别出所述纠形图中的文字序列。

基于深度学习的视觉分析领域，存在多种文字识别网络实施框架。例如，深度学习网络框架CNN+DLSTM+CTC、Encoder+Attention+Decoder等都可以检测出图像中的文本行序列。本实施例中，不限定使用的具体方案，可根据目标应用场景里文本行尺寸特点以及字符集规模来选择效果最好的文字识别网络。

优选的，采用文字识别网络识别出所述纠形图中的文字序列之后还包括：

判断是否处于网络模型的训练阶段；

如果是，所述文字识别网络接收文字序列标注；

将所述文字序列标注结合所述文字序列计算出文字序列误差；

通过所述文字序列误差在梯度反向传播过程中优化所述网络模型；

如果当前处于网络模型预测阶段，则可以跳过。

文字序列误差可以帮助优化网络模型参数。

从以上的描述中，可以看出，本发明实现了如下技术效果：

在本申请实施例中，采用结合实例分割网络、空间变换网络和文字识别网络的方式，通过将获取的自然场景图输入实例分割网络得到掩码图和像素图，然后通过掩码图确定空间变换网络的控制参数，再通过设置该控制参数的空间变换网络将所述像素图变换成纠形图，最后采用文字识别网络识别出纠形图中的文字序列，达到了自然场景图中文字以外的信息不会干扰变换效果的目的，从而实现了提高文字序列识别准确率的技术效果，进而解决了由于自然场景图中文字以外的信息会干扰变换效果造成的文字序列识别准确率低的技术问题。

在一些实施例中，如图3所示，提供一种系统，包括实例分割网络、空间变换网络、文字识别网络；

所述实例分割网络，负责在输入的自然场景图片中检测出每个文本行实例，并为每个文本行实例输出一个掩码图和一个像素图。

所述空间变换网络负责执行图像空间变换操作，将变形的文本行实例图像变换成非形变的文本行实例图像。空间变换过程中使用的控制参数，则根据对应文本行实例的像素级掩码图来动态生成。

所述文字识别网络负责从文本行实例纠形图中得到文字序列识别结果。

在网络模型训练阶段，本实施例中采用多目标训练(即多种预测误差联合训练)策略。可以接收多种形式的标注数据，从而更有效地计算各个功能模块的局部预测误差。其中，实例分割网络可以接收实例分割标注数据，并根据标注数据和分割预测结果计算出实例分割loss；空间变换网络可以接收文本行实例关键点标注数据，并根据标注数据和关键点预测结果计算出关键点loss；文字识别网络可以接收文字序列标注数据，并根据标注数据和文字序列识别结果计算出文字序列loss。在网络模型训练阶段的梯度反向传播过程中，上述三种预测误差都可以帮助优化网络模型参数。

在一些实施例中，如图4所示，提供一种方法，包括：

步骤S11中，实例分割网络读入自然场景图像，检测出图像中的各个文本行实例的位置，并输出每个实例的掩码图。

步骤S12中，实例分割网络根据步骤S11中产生的文本行实例位置计算出文本行实例对应的矩形边界框，进而裁减出文本行实例所在的矩形区域作为该文本行实例的像素图。

步骤S13中，如果当前处于网络模型训练阶段，实例分割网络将根据输入的实例分割标注、以及步骤S11中产生的文本行实例掩码图，来计算出本训练批次内各文本行实例的分割误差(loss)。

步骤S14中，空间变换网络接收步骤S11中输出的文本行实例掩码图，预测出文本行实例的关键点列表，进而根据关键点列表计算输出空间变换过程中使用的控制参数。

步骤S15中，空间变换网络用步骤S14中新生成的控制参数执行空间变换操作，将步骤S12中得到的文本行实例像素图变换成非形变的文本行实例纠形图。

步骤S16中，如果当前处于网络模型训练阶段，空间变换网络可以接收文本行实例关键点标注，并结合标注数据和步骤S14中预测出的关键点列表计算出关键点loss。

步骤S17中，文字识别网络从步骤S15产生的文本行实例纠形图中识别出字符序列。

步骤S18中，如果当前处于网络模型训练阶段，文字识别网络可以接收文字序列标注，并结合标注数据和步骤S17中预测出的字符序列，来计算出文字序列loss。

步骤S19中，如果当前处于网络模型训练阶段，步骤S13、S16、S18中产生的三种预测误差，将在梯度反向传播过程中帮助改进网络模型参数。

模型训练阶段依次执行全部步骤，可以更有效地提升网络模型的训练效果。模型预测阶段仅顺序执行步骤S11，S12，S14，S15，S17，可以变换出规范化的矩形文本行图像并提升最终文字识别结果的准确率。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

根据本发明实施例，还提供了一种用于实施上述自然场景文字识别方法的装置，如图2所示，该装置包括：输入单元10，用于将获取的自然场景图输入实例分割网络得到掩码图和像素图；确定单元20，用于根据所述掩码图确定空间变换网络的控制参数；变换单元30，用于通过设置所述控制参数的空间变换网络将所述像素图变换成纠形图；以及，识别单元40，用于采用文字识别网络识别出所述纠形图中的文字序列。

从以上的描述中，可以看出，本发明实现了如下技术效果：

在本申请实施例中，采用结合实例分割网络、空间变换网络和文字识别网络的方式，通过将获取的自然场景图输入实例分割网络得到掩码图和像素图，然后通过掩码图确定空间变换网络的控制参数，再通过设置该控制参数的空间变换网络将所述像素图变换成纠形图，最后采用文字识别网络识别出纠形图中的文字序列，达到了自然场景图中文字以外的信息不会干扰变换效果的目的，从而实现了提高文字序列识别准确率的技术效果，进而解决了由于自然场景图中文字以外的信息会干扰变换效果造成的文字序列识别准确率低的技术问题。

作为本实施例中优选的，还包括：第一模型判断单元，用于判断是否处于网络模型的训练阶段，如果是，则进入第一误差计算单元；所述第一误差计算单元，用于所述实例分割网络接收实例分割标注；将所述实例分割标注结合所述掩码图计算出分割误差；第一模型优化单元，用于通过所述分割误差的梯度反向传播优化所述网络模型。作为本实施例中优选的，还包括：第二模型判断单元，用于判断是否处于网络模型的训练阶段，如果是，则进入第二误差计算单元；第二误差计算单元，用于所述空间变换网络接收实例关键点标注；将所述实例关键点标注结合预测的关键点列表计算出关键点误差；第二模型优化单元，用于通过所述关键点误差的梯度反向传播优化所述网络模型。作为本实施例中优选的，还包括：第三模型判断单元，用于判断是否处于网络模型的训练阶段，如果是，则进入第三误差计算单元；第三误差计算单元，用于所述文字识别网络接收文字序列标注；将所述文字序列标注结合所述文字序列计算出文字序列误差；第三模型优化单元，用于通过所述文字序列误差的梯度反向传播优化所述网络模型。

本发明采用多目标训练(即多种预测误差联合训练)策略。本方法实施装置可以接收多种形式的标注数据，从而更有效地计算各个功能模块的局部预测误差。在网络模型训练阶段的梯度反向传播过程中，上述三种预测误差一种或多种都可以帮助优化网络模型参数。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种自然场景文字识别方法，其特征在于，包括：

将获取的自然场景图输入实例分割网络得到掩码图和像素图；

根据所述掩码图确定空间变换网络的控制参数；

通过设置所述控制参数的空间变换网络将所述像素图变换成纠形图；以及，

采用文字识别网络识别出所述纠形图中的文字序列。

2.根据权利要求1所述的自然场景文字识别方法，其特征在于，将获取的自然场景图输入实例分割网络得到掩码图和像素图包括：

获取自然场景图；

实例分割网络检测得到读入的所述自然场景图的文本行实例的位置，并输出掩码图；

根据所述文本行实例的位置计算出矩形边界框；

裁减出所述矩形边界框作为所述像素图。

3.根据权利要求1所述的自然场景文字识别方法，其特征在于，根据所述掩码图确定空间变换网络的控制参数包括：

空间变换网络接收所述掩码图，并预测出文本行实例的关键点列表；

根据关键点列表计算所述空间变换网络的控制参数。

4.根据权利要求1所述的自然场景文字识别方法，其特征在于，将获取的自然场景图像输入实例分割网络得到掩码图和像素图之后还包括：

判断是否处于网络模型的训练阶段；

如果是，则所述实例分割网络接收实例分割标注；

将所述实例分割标注结合所述掩码图计算出分割误差；

通过所述分割误差在梯度反向传播过程中优化所述网络模型。

5.根据权利要求1所述的自然场景文字识别方法，其特征在于，通过设置所述控制参数的空间变换网络将所述像素图变换成纠形图之后还包括：

判断是否处于网络模型的训练阶段；

如果是，所述空间变换网络接收实例关键点标注；

将所述实例关键点标注结合预测的关键点列表计算出关键点误差；

通过所述关键点误差在梯度反向传播过程中优化所述网络模型。

6.根据权利要求1所述的自然场景文字识别方法，其特征在于，采用文字识别网络识别出所述纠形图中的文字序列之后还包括：

判断是否处于网络模型的训练阶段；

如果是，所述文字识别网络接收文字序列标注；

将所述文字序列标注结合所述文字序列计算出文字序列误差；

通过所述文字序列误差在梯度反向传播过程中优化所述网络模型。

7.一种自然场景文字识别装置，其特征在于，包括：

输入单元，用于将获取的自然场景图输入实例分割网络得到掩码图和像素图；

确定单元，用于根据所述掩码图确定空间变换网络的控制参数；

变换单元，用于通过设置所述控制参数的空间变换网络将所述像素图变换成纠形图；以及，

识别单元，用于采用文字识别网络识别出所述纠形图中的文字序列。

8.根据权利要求7所述的自然场景文字识别装置，其特征在于，还包括：

第一模型判断单元，用于

判断是否处于网络模型的训练阶段，

如果是，则进入第一误差计算单元；

所述第一误差计算单元，用于

所述实例分割网络接收实例分割标注；

将所述实例分割标注结合所述掩码图计算出分割误差；

第一模型优化单元，用于

通过所述分割误差的梯度反向传播优化所述网络模型。

9.根据权利要求8所述的自然场景文字识别装置，其特征在于，还包括：

第二模型判断单元，用于

判断是否处于网络模型的训练阶段，

如果是，则进入第二误差计算单元；

第二误差计算单元，用于

所述空间变换网络接收实例关键点标注；

将所述实例关键点标注结合预测的关键点列表计算出关键点误差；

第二模型优化单元，用于

通过所述关键点误差的梯度反向传播优化所述网络模型。

10.根据权利要求9所述的自然场景文字识别装置，其特征在于，还包括：

第三模型判断单元，用于

判断是否处于网络模型的训练阶段，

如果是，则进入第三误差计算单元；

第三误差计算单元，用于

所述文字识别网络接收文字序列标注；

将所述文字序列标注结合所述文字序列计算出文字序列误差；

第三模型优化单元，用于

通过所述文字序列误差的梯度反向传播优化所述网络模型。