CN114170604A - 基于物联网的文字识别方法及系统 - Google Patents

Abstract

本发明公开一种基于物联网的文字识别方法及系统，方法包括：对待识别图像进行特征提取，使得到图像特征；基于图像特征对待识别图像进行区域划分，使得到目标文字区域，目标文字区域中包含至少一个清晰区域和/或至少一个模糊区域；对至少一个模糊区域内的目标文字进行扩充，使得到至少一个模糊区域内的至少一个目标文字行；将某一目标文字行与预设数据库中的多个文字行的数据集进行比对，并判断某一目标文字行的重合度是否大于预设阈值；若某一目标文字行的重合度大于预设阈值，则基于预设的文字识别网络模型对某一目标文字行进行文字识别。解决了同一行的文字常常有缺失现象，影响识别效果的问题。

Description

基于物联网的文字识别方法及系统

技术领域

本发明属于物联网技术领域，尤其涉及一种基于物联网的文字识别方法及系统。

背景技术

随着互联网技术的蓬勃发展，越来越多的图片在网络中展示、传输或者应用，也应用到了教育、传媒、医学等多个领域，它们的作用越来越不能够被替代。同时，海量的文字在图片中出现，但读者只能够阅读但不能更加方便的进行编辑，如何非常有效地将目标文字从图像中识别出来变成了一项非常有意义的工作。传统的文字识别方法能够较好地将文字识别出来，完成较为精准的识别。

然而，传统的方法存在着非常明显的局限性。获取的图像往往容易沾染污渍，使得在检测过程中，同一行的文字常常有缺失现象，极大的影响了识别的效果。

发明内容

本发明提供一种基于物联网的文字识别方法及系统，用于解决在检测过程中，同一行的文字常常有缺失现象，极大的影响了识别的技术问题。

根据本发明实施例的一种基于物联网的文字识别方法，包括：基于物联网平台获取设备终端传输的待识别图像，并对所述待识别图像进行特征提取，使得到图像特征，所述待识别图像中包括待识别的目标文字；基于所述图像特征对所述待识别图像进行区域划分，使得到目标文字区域，所述目标文字区域中包含至少一个清晰区域和/或至少一个模糊区域；响应于获取的所述至少一个模糊区域，基于预设的文字识别网络模型以及与所述至少一个模糊区域相邻某一清晰区域的目标文字相关联的语义预测结果，对所述至少一个模糊区域内的目标文字进行扩充，使得到所述至少一个模糊区域内的至少一个目标文字行；将某一目标文字行与预设数据库中的多个文字行的数据集进行比对，并判断所述某一目标文字行的重合度是否大于预设阈值，所述预设数据库中包含历史文字行的数据集；若所述某一目标文字行的重合度大于预设阈值，则基于预设的文字识别网络模型对所述某一目标文字行进行文字识别，使输出所述至少一个模糊区域内的目标文字的语义预测结果。

另外，根据本发明上述实施例的一种基于物联网的文字识别方法，还可以具有如下附加的技术特征：

进一步地，在响应于获取的所述至少一个清晰区域，基于预设的文字识别网络模型对所述至少一个清晰区域中的所述目标文字进行识别并输出所述目标文字的语义预测结果之前，所述方法还包括：基于所述图像特征，分别得到所述文字识别网络模型输出的所述目标文字的字符预测结果；根据所述目标文字的字符预测结果和对应的字符标签值得到字符损失；基于所述字符损失，调整所述文字识别网络模型的模型参数。

进一步地，在基于所述图像特征对所述待识别图像进行区域划分，使得到目标文字区域之后，所述方法还包括：响应于获取的所述至少一个清晰区域，基于预设的文字识别网络模型对所述至少一个清晰区域中的所述目标文字进行识别并输出与所述至少一个清晰区域内的目标文字相关联的语义预测结果。

进一步地，在基于物联网平台获取设备终端传输的待识别图像，并对所述待识别图像进行特征提取之前，所述方法还包括：按照预设方式对所述待识别图像进行处理，获取处理后的待识别图像，所述预设方式至少包括随机噪点添加、负片处理、高斯模糊以及文字扭曲。

进一步地，在将某一目标文字行与预设数据库中的多个文字行的数据集进行比对，并判断所述某一目标文字行的重合度是否大于预设阈值之后，所述方法还包括：若所述某一目标文字行的重合度不大于预设阈值，则判断另一目标文字行的重合度是否大于预设阈值，直至完成所述目标文字行的判断。

根据本发明实施例的一种基于物联网的文字识别系统，包括：提取模块，配置为基于物联网平台获取设备终端传输的待识别图像，并对所述待识别图像进行特征提取，使得到图像特征，所述待识别图像中包括待识别的目标文字；划分模块，配置为基于所述图像特征对所述待识别图像进行区域划分，使得到目标文字区域，所述目标文字区域中包含至少一个清晰区域和/或至少一个模糊区域；扩充模块，配置为响应于获取的所述至少一个模糊区域，基于预设的文字识别网络模型以及与所述至少一个模糊区域相邻某一清晰区域的目标文字相关联的语义预测结果，对所述至少一个模糊区域内的目标文字进行扩充，使得到所述至少一个模糊区域内的至少一个目标文字行；判断模块，配置为将某一目标文字行与预设数据库中的多个文字行的数据集进行比对，并判断所述某一目标文字行的重合度是否大于预设阈值，所述预设数据库中包含历史文字行的数据集；输出模块，配置为若所述某一目标文字行的重合度大于预设阈值，则基于预设的文字识别网络模型对所述某一目标文字行进行文字识别，使输出所述至少一个模糊区域内的目标文字的语义预测结果。

本发明还提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例的基于物联网的文字识别方法的步骤。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行本发明任一实施例的基于物联网的文字识别方法的步骤。

本申请的基于物联网的文字识别方法及系统，通过物联网平台获取设备终端传输的待识别图像，基于图像特征对待识别图像进行区域划分，当待识别图像中存在模糊区域时，采用基于预设的文字识别网络模型以及与模糊区域相邻清晰区域的目标文字相关联的语义预测结果，模糊区域内的目标文字进行扩充，使得到模糊区域内的目标文字行，从而实现了对模糊区域内的目标文字进行补充的目的，并根据历史文字行的数据集判断补充的目标文字的重合度，从而选择重合度最高的目标文字，解决了同一行的文字常常有缺失现象，影响识别效果的问题。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例提供的一种基于物联网的文字识别方法的流程图；

图2为本发明一实施例提供的一种基于物联网的文字识别系统的结构框图；

图3是本发明一实施例提供的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，其示出了本申请的一种基于物联网的文字识别方法的流程图。

如图1所示，基于物联网的文字识别方法具体包括以下步骤：

步骤S101，基于物联网平台获取设备终端传输的待识别图像，并对所述待识别图像进行特征提取，使得到图像特征，所述待识别图像中包括待识别的目标文字。

需要说明的是，在基于物联网平台获取设备终端传输的待识别图像之后，按照预设方式对所述待识别图像进行处理，获取处理后的待识别图像，所述预设方式至少包括随机噪点添加、负片处理、高斯模糊以及文字扭曲。从而提高待识别图像的清晰度，便于后续识别工作。

步骤S102，基于所述图像特征对所述待识别图像进行区域划分，使得到目标文字区域，所述目标文字区域中包含至少一个清晰区域和/或至少一个模糊区域。

在本实施例中，在对所述待识别图像进行区域划分之前，基于所述图像特征，分别得到所述文字识别网络模型输出的所述目标文字的字符预测结果；根据所述目标文字的字符预测结果和对应的字符标签值得到字符损失；基于所述字符损失，调整所述文字识别网络模型的模型参数。这样，能够提高后续识别的准确度。

需要说明的是，获取至少一个清晰区域后，基于预设的文字识别网络模型对所述至少一个清晰区域中的所述目标文字进行识别并输出与所述至少一个清晰区域内的目标文字相关联的语义预测结果。

步骤S103，响应于获取的所述至少一个模糊区域，基于预设的文字识别网络模型以及与所述至少一个模糊区域相邻某一清晰区域的目标文字相关联的语义预测结果，对所述至少一个模糊区域内的目标文字进行扩充，使得到所述至少一个模糊区域内的至少一个目标文字行。

步骤S104，将某一目标文字行与预设数据库中的多个文字行的数据集进行比对，并判断所述某一目标文字行的重合度是否大于预设阈值，所述预设数据库中包含历史文字行的数据集。

在本实施例中，若所述某一目标文字行的重合度不大于预设阈值，则判断另一目标文字行的重合度是否大于预设阈值，直至完成所述目标文字行的判断。

步骤S105，若所述某一目标文字行的重合度大于预设阈值，则基于预设的文字识别网络模型对所述某一目标文字行进行文字识别，使输出所述至少一个模糊区域内的目标文字的语义预测结果。

综上，本申请的方法，通过物联网平台获取设备终端传输的待识别图像，基于图像特征对待识别图像进行区域划分，当待识别图像中存在模糊区域时，采用基于预设的文字识别网络模型以及与模糊区域相邻清晰区域的目标文字相关联的语义预测结果，模糊区域内的目标文字进行扩充，使得到模糊区域内的目标文字行，从而实现了对模糊区域内的目标文字进行补充的目的，并根据历史文字行的数据集判断补充的目标文字的重合度，从而选择重合度最高的目标文字，解决了同一行的文字常常有缺失现象，影响识别效果的问题。

请参阅图2，其示出了本申请的一种基于物联网的文字识别系统的结构框图。

如图2所示，文字识别系统200，提取模块210、划分模块220、扩充模块230、判断模块240以及输出模块250。

其中，提取模块210，配置为基于物联网平台获取设备终端传输的待识别图像，并对所述待识别图像进行特征提取，使得到图像特征，所述待识别图像中包括待识别的目标文字；划分模块220，配置为基于所述图像特征对所述待识别图像进行区域划分，使得到目标文字区域，所述目标文字区域中包含至少一个清晰区域和/或至少一个模糊区域；扩充模块230，配置为响应于获取的所述至少一个模糊区域，基于预设的文字识别网络模型以及与所述至少一个模糊区域相邻某一清晰区域的目标文字相关联的语义预测结果，对所述至少一个模糊区域内的目标文字进行扩充，使得到所述至少一个模糊区域内的至少一个目标文字行；判断模块240，配置为将某一目标文字行与预设数据库中的多个文字行的数据集进行比对，并判断所述某一目标文字行的重合度是否大于预设阈值，所述预设数据库中包含历史文字行的数据集；输出模块250，配置为若所述某一目标文字行的重合度大于预设阈值，则基于预设的文字识别网络模型对所述某一目标文字行进行文字识别，使输出所述至少一个模糊区域内的目标文字的语义预测结果。

应当理解，图2中记载的诸模块与参考图1中描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作和特征以及相应的技术效果同样适用于图2中的诸模块，在此不再赘述。

在另一些实施例中，本发明实施例还提供了一种非易失性计算机存储介质，计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的基于物联网的文字识别方法；

作为一种实施方式，本发明的非易失性计算机存储介质存储有计算机可执行指令，计算机可执行指令设置为：

基于物联网平台获取设备终端传输的待识别图像，并对所述待识别图像进行特征提取，使得到图像特征，所述待识别图像中包括待识别的目标文字；

基于所述图像特征对所述待识别图像进行区域划分，使得到目标文字区域，所述目标文字区域中包含至少一个清晰区域和/或至少一个模糊区域；

响应于获取的所述至少一个模糊区域，基于预设的文字识别网络模型以及与所述至少一个模糊区域相邻某一清晰区域的目标文字相关联的语义预测结果，对所述至少一个模糊区域内的目标文字进行扩充，使得到所述至少一个模糊区域内的至少一个目标文字行；

将某一目标文字行与预设数据库中的多个文字行的数据集进行比对，并判断所述某一目标文字行的重合度是否大于预设阈值，所述预设数据库中包含历史文字行的数据集；

若所述某一目标文字行的重合度大于预设阈值，则基于预设的文字识别网络模型对所述某一目标文字行进行文字识别，使输出所述至少一个模糊区域内的目标文字的语义预测结果。

非易失性计算机可读存储介质可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据基于远程上电的基于物联网的文字识别系统的使用所创建的数据等。此外，非易失性计算机可读存储介质可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，非易失性计算机可读存储介质可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至基于远程上电的基于物联网的文字识别系统。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

本发明实施例还提供一种计算机程序产品，计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被计算机执行时，使计算机执行上述任一项基于物联网的文字识别方法。

图3是本发明实施例提供的车辆的结构示意图，如图3所示，该设备包括：一个或多个处理器310以及存储器320，图3中以一个处理器310为例。基于物联网的文字识别方法的设备还可以包括：输入装置330和输出装置330。处理器310、存储器320、输入装置330和输出装置330可以通过总线或者其他方式连接，图3中以通过总线连接为例。存储器320为上述的非易失性计算机可读存储介质。处理器310通过运行存储在存储器320中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例基于物联网的文字识别方法。输入装置330可接收输入的数字或字符信息，以及产生与基于远程上电的基于物联网的文字识别系统的用户设置以及功能控制有关的键信号输入。输出装置330可包括显示屏等显示设备。

上述产品可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的方法。

作为一种实施方式，上述车辆应用于基于物联网的文字识别系统中，用于客户端，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够：

基于物联网平台获取设备终端传输的待识别图像，并对所述待识别图像进行特征提取，使得到图像特征，所述待识别图像中包括待识别的目标文字；

基于所述图像特征对所述待识别图像进行区域划分，使得到目标文字区域，所述目标文字区域中包含至少一个清晰区域和/或至少一个模糊区域；

响应于获取的所述至少一个模糊区域，基于预设的文字识别网络模型以及与所述至少一个模糊区域相邻某一清晰区域的目标文字相关联的语义预测结果，对所述至少一个模糊区域内的目标文字进行扩充，使得到所述至少一个模糊区域内的至少一个目标文字行；

将某一目标文字行与预设数据库中的多个文字行的数据集进行比对，并判断所述某一目标文字行的重合度是否大于预设阈值，所述预设数据库中包含历史文字行的数据集；

若所述某一目标文字行的重合度大于预设阈值，则基于预设的文字识别网络模型对所述某一目标文字行进行文字识别，使输出所述至少一个模糊区域内的目标文字的语义预测结果。

本领域技术人员可以理解，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。

计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或它们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种基于物联网的文字识别方法，其特征在于，包括：

基于物联网平台获取设备终端传输的待识别图像，并对所述待识别图像进行特征提取，使得到图像特征，所述待识别图像中包括待识别的目标文字；

基于所述图像特征对所述待识别图像进行区域划分，使得到目标文字区域，所述目标文字区域中包含至少一个清晰区域和/或至少一个模糊区域；

响应于获取的所述至少一个模糊区域，基于预设的文字识别网络模型以及与所述至少一个模糊区域相邻某一清晰区域的目标文字相关联的语义预测结果，对所述至少一个模糊区域内的目标文字进行扩充，使得到所述至少一个模糊区域内的至少一个目标文字行；

将某一目标文字行与预设数据库中的多个文字行的数据集进行比对，并判断所述某一目标文字行的重合度是否大于预设阈值，所述预设数据库中包含历史文字行的数据集；

若所述某一目标文字行的重合度大于预设阈值，则基于预设的文字识别网络模型对所述某一目标文字行进行文字识别，使输出所述至少一个模糊区域内的目标文字的语义预测结果。

2.根据权利要求1所述的一种基于物联网的文字识别方法，其特征在于，在基于所述图像特征对所述待识别图像进行区域划分，使得到目标文字区域之后，所述方法还包括：

响应于获取的所述至少一个清晰区域，基于预设的文字识别网络模型对所述至少一个清晰区域中的所述目标文字进行识别并输出与所述至少一个清晰区域内的目标文字相关联的语义预测结果。

3.根据权利要求2所述的一种基于物联网的文字识别方法，其特征在于，在响应于获取的所述至少一个清晰区域，基于预设的文字识别网络模型对所述至少一个清晰区域中的所述目标文字进行识别并输出与所述至少一个清晰区域内的目标文字相关联的语义预测结果之前，所述方法还包括：

基于所述图像特征，分别得到所述文字识别网络模型输出的所述目标文字的字符预测结果；

根据所述目标文字的字符预测结果和对应的字符标签值得到字符损失；

基于所述字符损失，调整所述文字识别网络模型的模型参数。

4.根据权利要求1所述的一种基于物联网的文字识别方法，其特征在于，在基于物联网平台获取设备终端传输的待识别图像，并对所述待识别图像进行特征提取之前，所述方法还包括：

按照预设方式对所述待识别图像进行处理，获取处理后的待识别图像，所述预设方式至少包括随机噪点添加、负片处理、高斯模糊以及文字扭曲。

5.根据权利要求1所述的一种基于物联网的文字识别方法，其特征在于，在将某一目标文字行与预设数据库中的多个文字行的数据集进行比对，并判断所述某一目标文字行的重合度是否大于预设阈值之后，所述方法还包括：

若所述某一目标文字行的重合度不大于预设阈值，则判断另一目标文字行的重合度是否大于预设阈值，直至完成所述目标文字行的判断。

6.一种基于物联网的文字识别系统，其特征在于，包括：

提取模块，配置为基于物联网平台获取设备终端传输的待识别图像，并对所述待识别图像进行特征提取，使得到图像特征，所述待识别图像中包括待识别的目标文字；

划分模块，配置为基于所述图像特征对所述待识别图像进行区域划分，使得到目标文字区域，所述目标文字区域中包含至少一个清晰区域和/或至少一个模糊区域；

扩充模块，配置为响应于获取的所述至少一个模糊区域，基于预设的文字识别网络模型以及与所述至少一个模糊区域相邻某一清晰区域的目标文字相关联的语义预测结果，对所述至少一个模糊区域内的目标文字进行扩充，使得到所述至少一个模糊区域内的至少一个目标文字行；

判断模块，配置为将某一目标文字行与预设数据库中的多个文字行的数据集进行比对，并判断所述某一目标文字行的重合度是否大于预设阈值，所述预设数据库中包含历史文字行的数据集；

输出模块，配置为若所述某一目标文字行的重合度大于预设阈值，则基于预设的文字识别网络模型对所述某一目标文字行进行文字识别，使输出所述至少一个模糊区域内的目标文字的语义预测结果。

7.一种电子设备，其特征在于，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至5任一项所述的方法。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1至5任一项所述的方法。

Images