CN114898374A - 一种图像的语义识别方法、装置、设备和存储介质 - Google Patents

Abstract

本发明公开了一种图像的语义识别方法、装置、设备和存储介质。包括：根据样本字符识别结果进行训练获取信息抽取训练模型；对待测图像进行光学字符识别获取待测字符识别结果；根据待测字符识别结果进行分割处理获取待测语料，将待测语料输入信息抽取训练模型获取待测图像的语义识别结果。通过较少的样本字符识别结果进行训练所获取的信息抽取训练模型，来对待测字符识别结果进行信息抽取，从而在无需大量标注数据的情况下，就可以实现对具有多样式文本分布的图像进行有效的语义识别。

Description

一种图像的语义识别方法、装置、设备和存储介质

技术领域

本发明涉及自然语言处理技术领域，尤其涉及一种图像的语义识别方法、装置、设备和存储介质。

背景技术

光学字符识别(Optical Character Recognition，OCR)是将图像上的文字进行检测并识别的技术，其输出待有坐标点的文本，在实际应用中可以根据通过OCR所识别的无序文本中找到有用的信息。

通过实体抽取技术可以从文本中抽取有用的信息，但是会涉及到海量标注文本，一般的纯文本场景具有公开的标注语料或可快速积累语料，然而OCR识别出来的文本通常是特殊应用场景，找不到开源可训练语料且很难标注；同时，OCR识别出来后的文本通常不再具备可读性，如人为可判别图像上某一部分为一段语义信息，但是OCR之后基本都会按行打乱数据，不再具备正常的语言顺序。

目前普通的具有一定写作规范的图像，如证件照通常是基于模版进行OCR识别,OCR识别出来的结果通过简单的后处理就具有结构化信息；稍微复杂的图像采用BERT+CRF进行信息抽取以及规则后处理实现。但是无法在少样本前提下进行有效抽取，且忽略了文本分布的多样性，从而丢失很多文本信息。

发明内容

本发明提供了一种图像的语义识别方法、装置、设备和存储介质，以对图像进行有效的语义识别。

根据本发明的一方面，提供了一种图像的语义识别方法，包括：根据样本字符识别结果进行训练获取信息抽取训练模型；

对待测图像进行光学字符识别获取待测字符识别结果；

根据所述待测字符识别结果进行分割处理获取待测语料，将所述待测语料输入所述信息抽取训练模型获取所述待测图像的语义识别结果。

根据本发明的另一方面，提供了一种图像的语义识别装置，包括：模型训练模块，用于根据样本字符识别结果进行训练获取信息抽取训练模型；

待测字符识别结果获取模块，用于对待测图像进行光学字符识别获取待测字符识别结果；

语义识别模块，用于根据所述待测字符识别结果进行分割处理获取待测语料，将所述待测语料输入所述信息抽取训练模型获取所述待测图像的语义识别结果。

根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的方法。

根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的方法。

本发明实施例的技术方案，通过较少的样本字符识别结果进行训练所获取的信息抽取训练模型，来对待测字符识别结果进行信息抽取，从而在无需大量标注数据的情况下，就可以实现对具有多样式文本分布的图像进行有效的语义识别。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例一提供的一种图像的语义识别方法的流程图；

图2是根据本发明实施例一提供的样本图像的示例；

图3是根据本发明实施例二提供的一种图像的语义识别方法的流程图；

图4是根据本发明实施例三提供的一种图像的语义识别装置的结构示意图；

图5是实现本发明实施例四提供的电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一

图1为本发明实施例一提供了一种图像的语义识别方法的流程图，本实施例可适用于对图像进行信息抽取以进行语义识别的情况，该方法可以由图像的语义识别装置来执行，该装置可以采用硬件和/或软件的形式实现。如图1所示，该方法包括：

步骤S101，根据样本字符识别结果进行训练获取信息抽取训练模型。

可选的，根据样本字符识别文本进行训练获取信息抽取训练模型之前，还包括：获取样本图像，其中，样本图像中包含字符；对样本图像进行光学字符识别获取包含文本信息和文本位置的样本字符识别结果，其中，文本位置包含文本信息在样本图像的起始点位置、高度和宽度。

具体的说，如图2所示为本实施方式中的样本图像的示例，通过对样本图像进行OCR识别，可以获取包含文本信息和文本位置的样本字符识别结果。例如，对图2进行OCR识别所获取的样本字符识别结果如下所示：

{"text":"现任X公司基金副","x":4,"y":4,"width":341,"height":40},

{"text":"具有超过13年投","x":631,"y":12,"width":347,"height":46},

{"text":"总经理级高级管理","x":3,"y":68,"width":343,"height":42},

{"text":"资及研究经验,其","x":631,"y":82,"width":346,"height":44},

{"text":"人员、X公司混合,","x":2,"y":133,"width":354,"height":42},

{"text":"中投资经验10年","x":633,"y":142,"width":309,"height":45},

{"text":"资产投资部总经理","x":5,"y":199,"width":337,"height":40}。

可选的，根据样本字符识别结果进行训练获取信息抽取训练模型，包括：对样本字符识别结果按照指定特征进行聚类获取初始簇团，其中，每个初始簇团中包含至少一个完整语义；对初始簇团进行去噪处理获取样本簇团，并根据样本簇团进行训练获取信息抽取训练模型。

具体的说，本实施方式中会对上述所获取的样本字符识别结果按照指定特征进行聚类获取初始簇团，在进行聚类时具体可以采用基于密度的聚类算法(Density-BasedSpatial Clustering of Applications with Noise，DBSCAN)，指定特征可以是文本位置。并且通过聚类算法可以将特征空间中足够密度的点划分为多个初始簇团，而在每个初始簇团中包含至少一个完整语义，从而通过聚类可以将样本图像中具有完整语义的段落进行分割，以将可能构成段落块的文本放到一起。通过对上述所获取的样本字符识别结果进行聚类可以获取到如下两个初始簇团：

第一个初始簇团：[{"text":"现任X公司基金副","x":4,"y":4,"width":341,"height":40},{"text":"总经理级高级管理","x":3,"y":68,"width":343,"height":42},{"text":"人员、X公司混合,","x":2,"y":133,"width":354,"height":42},{"text":"资产投资部总经理","x":5,"y":199,"width":337,"height":40}]；

第二个初始簇团：[{"text":"具有超过13年投","x":631,"y":12,"width":347,"height":46},{"text":"资及研究经验,其","x":631,"y":82,"width":346,"height":44},{"text":"中投资经验10年","x":633,"y":142,"width":309,"height":45}]。

需要说明的是，在获取到初始簇团之后，还会对初始簇团进行去噪处理，具体是将每个簇团中根据文本位置将样本识别结果中的行间距和水平间距明显不符合要求的文本行进行删除，由于上述所获取的两个初始簇团中并未包含不符合要求的文本行，因此可以将上述所获取的初始簇团作为样本簇团，并采用上述所获取的样本簇团进行训练获取信息抽取模型。

可选的，根据样本簇团进行训练获取信息抽取训练模型，包括：确定实体抽取模板，并根据实体抽取模板和样本簇团构建训练语料，其中，每个训练语料中包含实体抽取模板的置信度；根据训练语料对初始信息模型进行训练，获取信息抽取训练模型。

具体的说，本实施方式中会确定实体抽取模板，例如,实提抽取模板为：“xxx是一个person实体”、“xxx是一个fund_company实体”以及“xxx不是一个实体”。并根据实体抽取模板和上述所获取的样本簇团构建训练语料。

在一个具体实现中，以根据第一个样本簇团构建训练语料的方式进行具体说明，第一个样本簇团所包含的完整段落文本为“现任X公司基金副总经理该管理人员”，通过模板对该完整段落文本进行标注构建训练语料，并且每个训练语料中包含实体抽取模板的置信度，所构建的训练语料具体如下所示：

现任易方达基金副总经理级高级管理人员；副总经理是position实体，score＝0.8

现任易方达基金副总经理级高级管理人员；副总经理是fund_company实体，score＝0.01

现任易方达基金副总经理级高级管理人员；副总经理不是一个实体，score＝0.1。

具体的说，本实施方式中的初始信息模型可以是自回归模型Chinese-BART，将上述所获取的训练语料输入到Chinese-BART中，以输入数据置信度为目标值，输出语言概率为预测值，计算目标值和预测值之间的损失loss,最小化loss，当loss值达到训练的最小值时确定训练完成，并获取信息抽取训练模型。

步骤S102，对待测图像进行光学字符识别获取待测字符识别结果。

可选的，对待测图像进行光学字符识别获取待测字符识别结果，包括：对待测图像进行光学字符识别获取文本信息和文本位置的待测字符识别结果，其中，文本位置包含文本信息在待测图像的起始点位置、高度和宽度。

具体的说，在通过样本进行训练获取到信息抽取训练模型之后，当获取到待测图像之后，会对待测图像进行光学字符识别获取待测字符识别结果，其中，关于待测图像进行光学字符识别的方式与样本图像进行识别的方式大致相同，本实施方式中不再进行赘述。例如，经过对待测图像进行光学字符识别，所获取的待测字符识别结果为：

{"text":"现任Y公司技术人","x":3,"y":3,"width":342,"height":35},

{"text":"具有2年工作","x":531,"y":10,"width":315,"height":36},

{"text":"员不是管理人员","x":3,"y":46,"width":243,"height":32},

{"text":"及培训经验","x":6,"y":210,"width":320,"height":39}。

步骤S103，根据待测字符识别结果进行分割处理获取待测语料，将待测语料输入信息抽取训练模型获取待测图像的语义识别结果。

可选的，根据待测字符识别结果进行分割处理获取待测语料，将待测语料输入信息抽取训练模型获取待测图像的语义识别结果包括：对待测字符识别结果进行聚类处理获取待测簇团；根据实体抽取模板和待测簇团构建待测语料，其中，每个待测语料对应至少两个实体抽取模板；将待测语料输入信息抽取训练模型，获取待测语料所对应的每个实体抽取模板的语言概率；获取概率最高的实体抽取模板，并将实体抽取模板对应的实体作为待测图像的语义识别结果。

具体的说，本实施方式中对上述待测字符识别结果进行聚类处理获取待测簇团，具体如下所示：

第一个待测簇团：[{"text":"现任Y公司技术人","x":3,"y":3,"width":342,"height":35},{"text":"员不是管理人员","x":3,"y":46,"width":243,"height":32}

第二个待测簇团：[{"text":"具有2年工作","x":531,"y":10,"width":315,"height":36},{"text":"及培训经验","x":6,"y":210,"width":320,"height":39}]。

具体的说，根据上述第一个待测簇团以及实体抽取模板所构建的待测语料具体如下所示：

现任Y公司技术人员不是管理人员；技术人员是position实体

现任Y公司技术人员不是管理人员；技术人员是fund_company实体

现任Y公司技术人员不是管理人员；技术人员不是一个实体

具体的说，在待测语料中并不包含实体抽取模板的置信度，将上述待测语料输入预先训练的信息抽取训练模型，则可以获取待测语料所对应的每个实体抽取模板的语言概率，例如，针对第一个实体抽取模板“技术人员是position实体”所对应的语言概率为0.8，针对第二个实体抽取模板“技术人员是fund_company实体”所对应的语言概率为0.7，针对第三个实体抽取模板“技术人员不是一个实体”所对应的语言概率为0.3。由于第一个实体抽取模板的语言概率最高，因此将第一个实体抽取模板对应的实体“技术人员”作为待测图像的语义识别结果。当然，本实施方式中仅是对第一个待测簇团所构建的待测语料进行信息抽取的方式进行说明，针对第二个待测簇团多构建的待测语料进行信息抽取的方式，与上述方式大致相同，本实施方式中不再进行赘述。

本申请实施例，通过较少的样本字符识别结果进行训练所获取的信息抽取训练模型，来对待测字符识别结果进行信息抽取，从而在无需大量标注数据的情况下，就可以实现对具有多样式文本分布的图像进行有效的语义识别。

实施例二

图3为本发明实施例二提供的一种图像的语义识别方法的流程图，本实施例以上述实施例为基础，在获取到待测图像的语义识别结果之后还包括。如图3所示，该方法包括：

步骤S201，根据样本字符识别结果进行训练获取信息抽取训练模型。

可选的，根据样本字符识别文本进行训练获取信息抽取训练模型之前，还包括：获取样本图像，其中，样本图像中包含字符；对样本图像进行光学字符识别获取包含文本信息和文本位置的样本字符识别结果，其中，文本位置包含文本信息在样本图像的起始点位置、高度和宽度。

步骤S202，对待测图像进行光学字符识别获取待测字符识别结果。

可选的，对待测图像进行光学字符识别获取待测字符识别结果，包括：对待测图像进行光学字符识别获取文本信息和文本位置的待测字符识别结果，其中，文本位置包含文本信息在待测图像的起始点位置、高度和宽度。

步骤S203，根据待测字符识别结果进行分割处理获取待测语料，将待测语料输入信息抽取训练模型获取待测图像的语义识别结果。

可选的，根据待测字符识别结果进行分割处理获取待测语料，将待测语料输入信息抽取训练模型获取待测图像的语义识别结果包括：对待测字符识别结果进行聚类处理获取待测簇团；根据实体抽取模板和待测簇团构建待测语料，其中，每个待测语料对应至少两个实体抽取模板；将待测语料输入信息抽取训练模型，获取待测语料所对应的每个实体抽取模板的语言概率；获取概率最高的实体抽取模板，并将实体抽取模板对应的实体作为待测图像的语义识别结果。

步骤S204，对语义识别结果进行检测，当确定检测结果不符合要求时进行报警提示。

具体的说，本实施方式中在通过信息抽取获取到待测图像的语义识别结果之后，还会对语义识别结果进行检测，并确定检测结果是否符合要求。例如，当获取到各个实体抽取模板的语言概率出现乱码，这种情况下所获取的语义识别结果也是错误的，此时则会发出报警提示语义识别出现故障。造成上述故障的语言可能是通信网络中断，或者是模型算法出现故障，通过发出报警提示可以提示用户及时对网络或配置软件进行检修，以进一步提高语义识别的效率。当然，本实施方式中仅是举例说明，而并不对造成故障的具体原因进行限定。

本申请实施例，通过较少的样本字符识别结果进行训练所获取的信息抽取训练模型，来对待测字符识别结果进行信息抽取，从而在无需大量标注数据的情况下，就可以实现对具有多样式文本分布的图像进行有效的语义识别。当语义识别结果有误时，通过发出报警提示可以提示用户对语义识别过程及时进行检修，从而进一步提高语义识别的效率。

实施例三

图4为本发明实施例三提供的一种图像的语义识别装置的结构示意图。如图4所示，该装置包括：

模型训练模块310，用于根据样本字符识别结果进行训练获取信息抽取训练模型；

待测字符识别结果获取模块320，用于对待测图像进行光学字符识别获取待测字符识别结果；

语义识别模块330，用于根据待测字符识别结果进行分割处理获取待测语料，将待测语料输入信息抽取训练模型获取待测图像的语义识别结果。

可选的，装置还包括样本字符识别结果获取模块，用于获取样本图像，其中，样本图像中包含字符；

对样本图像进行光学字符识别获取包含文本信息和文本位置的样本字符识别结果，其中，文本位置包含文本信息在样本图像的起始点位置、高度和宽度。

可选的，模型训练模块包括：初始簇团获取单元，用于对样本字符识别结果按照指定特征进行聚类获取初始簇团，其中，每个初始簇团中包含至少一个完整语义；

模型训练单元，用于对初始簇团进行去噪处理获取样本簇团，并根据样本簇团进行训练获取信息抽取训练模型。

可选的，模型训练单元，还用于确定实体抽取模板，并根据实体抽取模板和样本簇团构建训练语料，其中，每个训练语料中包含实体抽取模板的置信度；

根据训练语料对初始信息模型进行训练，获取信息抽取训练模型。

可选的，待测字符识别结果获取模块，用于对待测图像进行光学字符识别获取文本信息和文本位置的待测字符识别结果，其中，文本位置包含文本信息在待测图像的起始点位置、高度和宽度。

可选的，语义识别模块，用于对待测字符识别结果进行聚类处理获取待测簇团；

根据实体抽取模板和待测簇团构建待测语料，其中，每个待测语料对应至少两个实体抽取模板；

将待测语料输入信息抽取训练模型，获取待测语料所对应的每个实体抽取模板的语言概率；

获取概率最高的实体抽取模板，并将实体抽取模板对应的实体作为待测图像的语义识别结果。

可选的，装置还包括报警模块，用于对语义识别结果进行检测；当确定检测结果不符合要求时进行报警提示。

本发明实施例所提供的图像的语义识别装置可执行本发明任意实施例所提供的图像的语义识别方法，具备执行方法相应的功能模块和有益效果。

实施例四

图5示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图5所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。

电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如图像的语义识别方法。

在一些实施例中，图像的语义识别方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的图像的语义识别方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像的语义识别方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种图像的语义识别方法，其特征在于，包括：

根据样本字符识别结果进行训练获取信息抽取训练模型；

对待测图像进行光学字符识别获取待测字符识别结果；

根据所述待测字符识别结果进行分割处理获取待测语料，将所述待测语料输入所述信息抽取训练模型获取所述待测图像的语义识别结果。

2.根据权利要求1所述的方法，其特征在于，所述根据样本字符识别文本进行训练获取信息抽取训练模型之前，还包括：

获取样本图像，其中，所述样本图像中包含字符；

对所述样本图像进行光学字符识别获取包含文本信息和文本位置的所述样本字符识别结果，其中，所述文本位置包含所述文本信息在所述样本图像的起始点位置、高度和宽度。

3.根据权利要求1所述的方法，其特征在于，所述根据样本字符识别结果进行训练获取信息抽取训练模型，包括：

对所述样本字符识别结果按照指定特征进行聚类获取初始簇团，其中，每个初始簇团中包含至少一个完整语义；

对所述初始簇团进行去噪处理获取样本簇团，并根据所述样本簇团进行训练获取信息抽取训练模型。

4.根据权利要求3所述的方法，其特征在于，所述根据所述样本簇团进行训练获取信息抽取训练模型，包括：

确定实体抽取模板，并根据所述实体抽取模板和所述样本簇团构建训练语料，其中，每个所述训练语料中包含实体抽取模板的置信度；

根据所述训练语料对初始信息模型进行训练，获取所述信息抽取训练模型。

5.根据权利要求1所述的方法，其特征在于，所述对待测图像进行光学字符识别获取待测字符识别结果，包括：

对所述待测图像进行光学字符识别获取文本信息和文本位置的所述待测字符识别结果，其中，所述文本位置包含所述文本信息在所述待测图像的起始点位置、高度和宽度。

6.根据权利要求4所述的方法，其特征在于，所述根据所述待测字符识别结果进行分割处理获取待测语料，将所述待测语料输入所述信息抽取训练模型获取所述待测图像的语义识别结果，包括：

对所述待测字符识别结果进行聚类处理获取待测簇团；

根据所述实体抽取模板和所述待测簇团构建待测语料，其中，每个待测语料对应至少两个实体抽取模板；

将所述待测语料输入所述信息抽取训练模型，获取待测语料所对应的每个实体抽取模板的语言概率；

获取概率最高的实体抽取模板，并将所述实体抽取模板对应的实体作为所述待测图像的语义识别结果。

7.根据权利要求1所述的方法，其特征在于，所述将所述待测语料输入所述信息抽取训练模型获取所述待测图像的语义识别结果之后，还包括：

对所述语义识别结果进行检测；

当确定检测结果不符合要求时进行报警提示。

8.一种图像的语义识别装置，其特征在于，包括：

模型训练模块，用于根据样本字符识别结果进行训练获取信息抽取训练模型；

待测字符识别结果获取模块，用于对待测图像进行光学字符识别获取待测字符识别结果；

语义识别模块，用于根据所述待测字符识别结果进行分割处理获取待测语料，将所述待测语料输入所述信息抽取训练模型获取所述待测图像的语义识别结果。

9.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的方法。

Images