CN115862025A - 产品说明书要素提取方法、装置、设备、介质和程序产品 - Google Patents

Abstract

本公开提供了一种产品说明书要素提取方法，可以应用于人工智能技术领域。该方法包括：获取产品说明书图像；基于目标检测模型以及文字识别模型对所述产品说明书图像进行文字识别；将文字识别结果利用信息抽取模型进行一次抽取，获取产品要素信息；利用模糊提取规则对所述文字识别结果进行二次抽取，获取补充要素信息；以及基于所述产品要素信息和所述补充要素信息获取说明书提取要素，其中，所述说明书提取要素包括实体要素字段和实体要素信息，所述实体要素信息与实体要素字段相对应。本公开还提供了一种产品说明书要素提取装置、设备、存储介质和程序产品。

Description

产品说明书要素提取方法、装置、设备、介质和程序产品

技术领域

本公开涉及人工智能技术领域或金融领域，具体地，涉及一种产品说明书要素提取方法、装置、设备、介质和程序产品。

背景技术

在金融领域，产品说明书的要素归纳提取是一个具有普遍需求的业务场景。目前，产品说明书的方案多数以人工录入为主，过程繁琐，人工成本高，时间成本大，准确率较低。如何快速智能且准确地实现产品说明书的要素提取是一个亟待解决的问题。

发明内容

鉴于现有技术中存在的上述问题，本公开的实施例提供了一种提高产品说明书要素识别智能化和准确率，减少人力成本的产品说明书要素提取方法、装置、设备、介质和程序产品。并且，本公开的实施例进一步还提供了一种产品说明书要素处理方法、装置、设备、介质和程序产品。

根据本公开的第一个方面，提供了一种产品说明书要素提取方法，包括：获取产品说明书图像；基于目标检测模型以及文字识别模型对所述产品说明书图像进行文字识别；将文字识别结果利用信息抽取模型进行一次抽取，获取产品要素信息；利用模糊提取规则对所述文字识别结果进行二次抽取，获取补充要素信息；以及基于所述产品要素信息和所述补充要素信息获取说明书提取要素，其中，所述说明书提取要素包括实体要素字段和实体要素信息，所述实体要素信息与实体要素字段相对应。

根据本公开的实施例，所述基于目标检测模型以及文字识别模型对所述产品说明书图像进行文字识别包括：基于目标检测模型获取所述产品说明书图像中的行文字位置信息；基于所述行文字位置信息进行产品说明书图像裁剪，获取产品说明书块图像；以及将所述产品说明书块图像输入所述文字识别模型，获取产品说明书文字信息。

根据本公开的实施例，其中，将文字识别结果利用信息抽取模型进行一次抽取，获取产品要素信息包括：将所述文字识别结果输入预训练得到的信息抽取模型；以及利用所述预训练得到的信息抽取模型对所述文字识别结果进行信息抽取，输出所述产品要素信息，其中，所述预训练得到的信息抽取模型基于小于预设数量的产品说明书样本结合通用抽取框架训练得到。

根据本公开的实施例，其中，预训练得到信息抽取模型的方法包括：获取产品说明书样本；对所述产品说明书样本进行要素信息标注；以及将进行要素信息标注后的产品说明书样本输入所述通用抽取框架进行训练，直至达到预设的截止条件时，获取所述信息抽取模型，其中，所述通用抽取框架包括知识增强型预训练模型。

根据本公开的实施例，其中，利用模糊提取规则对所述文字识别结果进行二次抽取，获取补充要素信息包括：将所述产品要素信息与预设的要素字典进行匹配，判断是否存在未识别的实体要素；以及基于正则匹配规则对所述未识别的实体要素进行二次识别，获取所述补充要素信息。

根据本公开的实施例，其中，所述将所述产品要素信息与预设的要素字典进行匹配，判断是否存在未识别的实体要素包括：获取产品要素信息抽取字典，所述产品要素信息抽取字典包括通过一次抽取获得的实体要素信息；将所述通过一次抽取获得的实体要素信息存储于所述预设的要素字典，其中，所述预设的要素字典包括实体要素字段，在存储后，所述实体要素信息与实体要素字段存在映射关系；以及当预设的要素字典中存在实体要素字段缺乏存在映射关系的实体要素信息时，判断所述实体要素字段为未识别实体要素。

根据本公开的实施例，所述基于正则匹配规则对所述未识别的实体要素进行二次识别，获取所述补充要素信息包括：获取未识别实体要素的关键词列表，其中，所述关键词列表包括未识别实体要素关联关键词，所述未识别实体要素关联关键词包括未识别实体要素以及所述未识别实体要素的近义词和/或同义词；将所述未识别实体要素关联关键词按照出现频率从高到底进行排序；以及利用正则表达式按照频率排序结果定位所述未识别实体要素关联关键词，获取与所述未识别实体要素关联关键词存在映射关系的实体要素信息作为所述补充要素信息。

根据本公开的实施例，所述利用正则表达式按照频率排序结果定位所述未识别实体要素关联关键词包括：利用正则表达式定位频率排序第一位的所述未识别实体要素关联关键词。

根据本公开的实施例，其中，在获取与所述未识别实体要素关联关键词存在映射关系的实体要素信息后，所述方法还包括：利用辅助规则对所述与所述未识别实体要素关联关键词存在映射关系的实体要素信息进行校验，获取所述补充要素信息，包括：基于预设的要素形式规范判断所述与所述未识别实体要素关联关键词存在映射关系的实体要素信息是否符合预设的要素表现形式；以及当所述与所述未识别实体要素关联关键词存在映射关系的实体要素信息符合预设的要素表现形式时，判断所述实体要素信息为补充要素信息。

本公开的第二方面提供了一种产品说明书要素处理方法，包括：对所述产品说明书要素进行提取；将提取获得的说明书提取要素进行接口报文封装；以及当所述接口被调用时，将所述说明书提取要素以及要素提取关联信息反馈至前端页面，其中，基于本公开的第一方面的产品说明书要素提取方法对所述产品说明书要素进行提取。

本公开的第三方面提供了一种产品说明书要素提取装置，包括：获取模块，配置为获取产品说明书图像；识别模块，配置为基于目标检测模型以及文字识别模型对所述产品说明书图像进行文字识别；第一抽取模块，配置为将文字识别结果利用信息抽取模型进行一次抽取，获取产品要素信息；第二抽取模块，配置为利用模糊提取规则对所述文字识别结果进行二次抽取，获取补充要素信息；以及要素提取模块，配置为基于所述产品要素信息和所述补充要素信息获取说明书提取要素，其中，所述说明书提取要素包括实体要素字段和实体要素信息，所述实体要素信息与实体要素字段相对应。

根据本公开的实施例，识别模块包括定位子模块、裁剪子模块和提取子模块。定位子模块被配置为基于目标检测模型获取所述产品说明书图像中的行文字位置信息。裁剪子模块被配置为基于所述行文字位置信息进行产品说明书图像裁剪，获取产品说明书块图像。提取子模块被配置为将所述产品说明书块图像输入所述文字识别模型，获取产品说明书文字信息。

根据本公开的实施例，第一抽取模块包括输入子模块和第一获取子模块。其中，输入子模块被配置为将所述文字识别结果输入预训练得到的信息抽取模型。其中，所述预训练得到的信息抽取模型基于小于预设数量的产品说明书样本结合通用抽取框架训练得到。第一获取子模块被配置为利用所述预训练得到的信息抽取模型对所述文字识别结果进行信息抽取，输出所述产品要素信息。

根据本公开的实施例，第二抽取模块包括比对子模块和第二获取子模块。其中，比对子模块被配置为将所述产品要素信息与预设的要素字典进行匹配，判断是否存在未识别的实体要素。第一获取子模块被配置为基于正则匹配规则对所述未识别的实体要素进行二次识别，获取所述补充要素信息。

根据本公开的实施例，比对子模块包括第一获取单元，存储单元和判断单元。其中，第一获取单元被配置为获取产品要素信息抽取字典，所述产品要素信息抽取字典包括通过一次抽取获得的实体要素信息。存储单元被配置为将所述通过一次抽取获得的实体要素信息存储于所述预设的要素字典，其中，所述预设的要素字典包括实体要素字段，在存储后，所述实体要素信息与实体要素字段存在映射关系。判断单元被配置为当预设的要素字典中存在实体要素字段缺乏存在映射关系的实体要素信息时，判断所述实体要素字段为未识别实体要素。

根据本公开的实施例，第一获取子模块包括第二获取单元，排序单元和第三获取单元。其中，第二获取单元被配置为获取未识别实体要素的关键词列表，其中，所述关键词列表包括未识别实体要素关联关键词，所述未识别实体要素关联关键词包括未识别实体要素以及所述未识别实体要素的近义词和/或同义词。排序单元被配置为将所述未识别实体要素关联关键词按照出现频率从高到底进行排序。第三获取单元被配置为利用正则表达式按照频率排序结果定位所述未识别实体要素关联关键词，获取与所述未识别实体要素关联关键词存在映射关系的实体要素信息。其中，可以以所获取的与所述未识别实体要素关联关键词存在映射关系的实体要素信息作为所述补充要素信息。

根据本公开的实施例，第一获取子模块还可以包括校验单元。其中，校验单元被配置为利用辅助规则对所述与所述未识别实体要素关联关键词存在映射关系的实体要素信息进行校验，获取所述补充要素信息。包括：基于预设的要素形式规范判断所述与所述未识别实体要素关联关键词存在映射关系的实体要素信息是否符合预设的要素表现形式；以及当所述与所述未识别实体要素关联关键词存在映射关系的实体要素信息符合预设的要素表现形式时，判断所述实体要素信息为补充要素信息。

本公开的第三方面提供了一种信息抽取模型训练装置，包括样本收集模块，标注模块以及训练模块。其中，样本收集模块被配置为获取产品说明书样本。标注模块被配置为对所述产品说明书样本进行要素信息标注。训练模块被配置为将进行要素信息标注后的产品说明书样本输入所述通用抽取框架进行训练，直至达到预设的截止条件时，获取所述信息抽取模型。其中，所述通用抽取框架包括知识增强型预训练模型。

本公开的第四方面提供了一种产品说明书要素处理装置，其特征在于，包括：获取模块，配置为获取产品说明书图像；识别模块，配置为基于目标检测模型以及文字识别模型对所述产品说明书图像进行文字识别；第一抽取模块，配置为将文字识别结果利用信息抽取模型进行一次抽取，获取产品要素信息；第二抽取模块，配置为利用模糊提取规则对所述文字识别结果进行二次抽取，获取补充要素信息；以及要素提取模块，配置为基于所述产品要素信息和所述补充要素信息获取说明书提取要素，其中，所述说明书提取要素包括实体要素字段和实体要素信息，所述实体要素信息与实体要素字段相对应；结果封装模块，配置为将说明书提取要素进行接口报文封装；以及反馈模块，配置为当所述接口被调用时，将所述说明书提取要素反馈至前端页面。

本公开的第五方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得一个或多个处理器执行上述产品说明书要素提取方法。

本公开的第六方面还提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行上述产品说明书要素提取方法。

本公开的第七方面还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述产品说明书要素提取方法。

本公开的实施例提供的方法，基于目标检测模型以及文字识别模型对所述产品说明书图像进行文字识别，并利用信息抽取模型和模糊提取规则进行两次要素信息提取，能够准确，快捷，智能，简便地实现产品说明书实体信息的抽取，大大降低了业务人员人力成本以及使用门槛。

附图说明

通过以下参照附图对本公开实施例的描述，本公开的上述内容以及其他目的、特征和优点将更为清楚，在附图中：

图1示意性示出了根据本公开实施例的产品说明书要素提取方法、装置、设备、介质和程序产品的应用场景图；

图2示意性示出了根据本公开实施例的产品说明书要素提取方法的流程图。

图3示意性示出了根据本公开一些实施例的利用目标检测模型和文字识别模型对所述产品说明书图像进行文字识别的方法的流程图。

图4示意性示出了根据本公开一个示例的利用目标检测模型和文字识别模型对所述产品说明书图像进行文字识别的方法的流程图。

图5示意性示出了根据本公开实施例的将文字识别结果利用信息抽取模型进行一次抽取，获取产品要素信息的方法的流程图。

图6示意性示出了根据本公开实施例的预训练得到信息抽取模型的方法的流程图。

图7的示意性示出了根据本公开的实施例的要素实体标注的示意图。

图8的示意性示出了根据本公开的实施例的模型返回结果的示意图。

图9示意性示出了本公开的示例的飞桨通用信息抽取模型的训练及预测架构。

图10示意性示出了根据本公开的示例的对利用飞桨通用信息抽取模型提取产品说明书的产品要素信息的方法的流程图。

图11示意性示出了根据本公开实施例的利用模糊提取规则对所述文字识别结果进行二次抽取，获取补充要素信息的方法的流程图。

图12示意性示出了根据本公开实施例的将产品要素信息与预设的要素字典进行匹配，判断是否存在未识别的实体要素的方法的流程图。

图13示意性示出了根据本公开实施例的基于正则匹配规则对所述未识别的实体要素进行二次识别，获取所述补充要素信息的方法的流程图。

图14示意性示出了根据本公开另一些实施例的利用辅助规则对所述与所述未识别实体要素关联关键词存在映射关系的实体要素信息进行校验，获取所述补充要素信息的方法的流程图。

图15示意性示出了根据本公开实施例的产品说明书要素处理方法的流程图。

图16示意性示出了根据本公开的一个具体的示例的执行产品说明书要素提取的方法的流程图。

图17示意性示出了根据本公开实施例的产品说明书要素提取装置的结构框图。

图18示意性示出了根据本公开实施例的识别模块的结构框图。

图19示意性示出了根据本公开实施例的第一抽取模块的结构框图。

图20示意性示出了根据本公开实施例的第二抽取模块的结构框图。

图21示意性示出了根据本公开实施例的比对子模块的结构框图。

图22示意性示出了根据本公开实施例的第一获取子模块的结构框图。

图23示意性示出了根据本公开另一些实施例的第一获取子模块的结构框图。

图24示意性示出了根据本公开实施例的信息抽取模型训练装置的结构框图。

图25示意性示出了根据本公开实施例的产品说明书要素处理装置的结构框图。

图26示意性示出了根据本公开实施例的适于实现产品说明书要素提取方法和/或产品说明书要素处理方法的电子设备的方框图。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。

在金融领域，产品说明书的要素归纳提取是一个具有普遍需求的业务场景。目前，产品说明书的方案多数以人工录入为主。具体来说，产品说明书的要素提取主要依靠业务人员手动识别提取，包括阅读产品说明书的内容，找出所要提取的要素位置，手动填写相关信息并录入相关表格上传业务系统。一方面，手动提取要素整个流程繁琐，提高人力成本；另一方面，人工识别要素的准确性较低，在大量数据要素提取的时候，会增加业务人员工作量，降低工作效率，准确率较低数据量时有所下降。如何快速智能且准确地实现产品说明书的要素提取是一个亟待解决的问题。

针对现有技术中存在的上述问题，本公开的实施例提供了一种产品说明书要素提取方法，包括：获取产品说明书图像；基于目标检测模型以及文字识别模型对所述产品说明书图像进行文字识别；将文字识别结果利用信息抽取模型进行一次抽取，获取产品要素信息；利用模糊提取规则对所述文字识别结果进行二次抽取，获取补充要素信息；以及基于所述产品要素信息和所述补充要素信息获取说明书提取要素，其中，所述说明书提取要素包括实体要素字段和实体要素信息，所述实体要素信息与实体要素字段相对应。

本公开的实施例提供的方法，基于目标检测模型以及文字识别模型对所述产品说明书图像进行文字识别，并利用信息抽取模型和模糊提取规则进行两次要素信息提取，可以完成产品说明书要素的自动化检测识别和提取，且在占用较小系统资源，具备较高运行速度的同时具有较高的要素抽取准确率，降低了业务人员人力成本以及使用门槛。

需要说明的是，本公开实施例提供的产品说明书要素提取方法、装置、设备、介质和程序产品可用于人工智能技术在信息抽取相关方面，也可用于除人工智能技术之外的多种领域，如金融领域等。本公开实施例提供的产品说明书要素提取的方法、装置、设备、介质和程序产品的应用领域不做限定。

以下将结合附图及其说明文字围绕实现本公开的至少一个目的的上述操作进行阐述。

图1示意性示出了根据本公开实施例的产品说明书要素提取方法、装置、设备、介质和程序产品的应用场景图。

如图1所示，根据该实施例的应用场景100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。例如，用户可以使用终端设备101、102、103通过网络104向服务器105发送产品说明书。终端设备101、102、103上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。例如，服务器105可以将提取的说明书提取要素通过网络104发送给终端设备101、102、103。

需要说明的是，本公开实施例所提供的产品说明书要素提取方法一般可以由服务器105执行。相应地，本公开实施例所提供的产品说明书要素提取装置一般可以设置于服务器105中。本公开实施例所提供的产品说明书要素提取方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的产品说明书要素提取装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

以下将基于图1描述的场景，通过图2～图16对公开实施例的产品说明书要素提取方法进行详细描述。

图2示意性示出了根据本公开实施例的产品说明书要素提取方法的流程图。

如图2所示，该实施例的产品说明书要素提取方法包括操作S210～操作S250，该产品说明书要素提取方法可以由处理器执行，也可以由包括处理器的任何电子设备执行。

在操作S210，获取产品说明书图像。

根据本公开的实施例，除图片以外，产品说明书的样本格式主要包括word，pdf文档格式。在应用本公开的实施例的方法进行产品说明书要素提取时，需将word或pdf文档格式的文件转化为图片格式。其中，对于word格式的产品说明书，可以首先对word文件进行处理，将word文档内容存在的标注、审阅、字体加粗等全部清除并保存。在操作S210之前，可以先将word文件和PDF格式文件进行转图片处理，转化的图片分辨率大小可以基于专家经验结合目标检测模型，文字识别模型以及信息抽取模型的要求设置，例如可以为700×900(像素)以上。进一步的，可以根据业务需求，基于专家经验明确所要进行要素提取的产品说明书的要素名称和对应的关键词。以银行业务为例，在表1中示例性地示出产品说明书的要素名称和对应的示例要素信息。

表1

在操作S220，基于目标检测模型以及文字识别模型对所述产品说明书图像进行文字识别。

根据本公开的实施例，在获得图片格式的产品说明书后，可以基于目标检测模型以及文字识别模型对产品说明书的图像进行文字识别，以进一步处理获得要素关联信息。其中，目标检测模型用于对产品说明书中的图像中的目标文字信息进行定位。文字识别模型用于识别定位后的目标文字信息。应理解，目标检测模型和文字识别模型均可以预先训练获得。

在操作S230，将文字识别结果利用信息抽取模型进行一次抽取，获取产品要素信息。

在操作S240，利用模糊提取规则对所述文字识别结果进行二次抽取，获取补充要素信息。

在操作S250，基于所述产品要素信息和所述补充要素信息获取说明书提取要素。

根据本公开的实施例，利用二重抽取的方法实现高准确度的产品说明书要素的自动化提取。其中，首先，基于信息抽取模型对产品要素信息进行抽取。为进一步提高识别的准确率和全面性，考虑产品要素呈现形式的多样性，利用模糊提取规则对文字识别结果进行二次抽取。其中，模糊提取规则作为一次抽取的补充形式，能够用于识别与实体要素名称关联的近义词和/或同义词，以及与这些近义词，同义词对应的要素实体信息。进一步，将产品要素信息和补充要素信息汇总可以获取说明书提取要素。说明书提取要素包括实体要素字段和实体要素信息，其中，实体要素字段可以基于业务需求和/或专家经验预设确定。应理解，实体要素信息与实体要素字段相对应。例如，实体要素字段可以为表1中的要素名称，相应的，实体要素信息可以为表1中与要素名称对应示例的要素信息。

图3示意性示出了根据本公开一些实施例的利用目标检测模型和文字识别模型对所述产品说明书图像进行文字识别的方法的流程图。

如图3所示，该一些实施例的产品说明书要素提取方法包括操作S3 10～操作S330。

在操作S310，基于目标检测模型获取所述产品说明书图像中的行文字位置信息。

在操作S320，基于所述行文字位置信息进行产品说明书图像裁剪，获取产品说明书块图像。在本公开的实施例中，目标检测模型可以可以定位产品说明书中每一行文字的位置，以将其定位后，利用图像裁剪的方式转化成包含行文字的图像块。

在操作S330，将所述产品说明书块图像输入所述文字识别模型，获取产品说明书文字信息。本公开的实施例所用的文字识别模型基于图像识别技术进行产品说明书的文字识别。

在一些具体的实施例中，目标检测模型可以为Yolo系列模型。优选的，可以为Yolov3模型，以平衡检测准确度和运算效率。

在一些具体的实施例中，文字识别模型包括卷积循环神经网络模型。其可以基于图像序列识别将文本识别转化为时序依赖的序列学习问题。卷积循环神经网络模型一次包含卷积层，循环层和转录层。其中，卷积层使用深度CNN神经网络，对输入图像提取特征，得到特征图。循环层使用双向RNN(BLSTM)网络对特征序列进行预测，对序列中的每个特征向量进行学习，并输出预测标签(真实值)分布。转录层使用CTC损失，把从循环层获取的一系列标签分布转换成最终的的标签序列，具有识别速度快、性能好的特点。

图4示意性示出了根据本公开一个示例的利用目标检测模型和文字识别模型对所述产品说明书图像进行文字识别的方法的流程图。

如图4所示，在该示例中，以训练好的Yolov3和CRNN模型对产品说明书的图像进行文字识别。模型输出为将图片里面的每行文字以文字字符的形式输出，便于后续的语义要素抽取。其中，Yolov3为目标检测模型，其可以定位检测目标的位置；CRNN模型是文字识别深度学习模型，可以识别任意长度的文本序列。

在模型预训练阶段，可以首先准备各种产品说明书的图片样本，并利用缩放，翻转等数据处理操作扩大样本集。在图片上以行为单位，标框标注文字坐标位置，记录标框位置，并标注标签为1，用于训练Yolov3模型。模型训练参数可以设置如下：训练迭代一轮64个样本，初始学习率0.001，权值衰减0.0005，迭代次数2000次。然后，根据标框标注文字的坐标，通过样本数据裁剪的方式，生成行文字图片，作为CRNN模型训练的样本。其中，CRNN模型训练参数如下：训练批量一次32个，样本划分比例0.75，迭代次数1000，学习率0.0001。在训练得到目标检测模型和文字识别模型之后，可以将待预测的产品说明书图像输入目标检测模型，得到预测的文字位置坐标，经数据裁剪后进一步输入文字识别模型进行文字识别处理，最后输出文字字符。

图5示意性示出了根据本公开实施例的将文字识别结果利用信息抽取模型进行一次抽取，获取产品要素信息的方法的流程图。

如图5所示，该实施例的获取产品要素信息的方法包括操作S510～操作S520。

在操作S510，将所述文字识别结果输入预训练得到的信息抽取模型。

在操作S520，利用所述预训练得到的信息抽取模型对所述文字识别结果进行信息抽取，输出所述产品要素信息。

在本公开的实施例中，预训练得到的信息抽取模型基于小于预设数量的产品说明书样本结合通用抽取框架训练得到。其中通用抽取框架可以基于现有训练集进行训练。进一步的，为得到适用于本公开产品说明书信息抽取的模型，可以基于小样本对通用抽取框架进行训练以微调模型参数。例如，可以预设样本数量阈值，并在实际训练中使用小于预设数量的产品说明书样本进行微调。优选的，预设的小样本数量可以为30，50，80等。

图6示意性示出了根据本公开实施例的预训练得到信息抽取模型的方法的流程图。

如图6所示，该实施例的获取产品要素信息的方法包括操作S610～操作S630。

在操作S610，获取产品说明书样本。

在操作S620，对所述产品说明书样本进行要素信息标注。

在操作S630，将进行要素信息标注后的产品说明书样本输入所述通用抽取框架进行训练，直至达到预设的截止条件时，获取所述信息抽取模型。

在本公开的实施例中，所述通用抽取框架包括知识增强型预训练模型。优选的，通用抽取框架可以为融合大规模知识的预训练模型。典型的通用抽取框架可以包括ERINIE系列模型，例如ERINIE3.0预训练模型。

具体的，在训练本公开的实施例的信息抽取模型时，首先对利用目标检测结合文字识别出来的整个产品说明书的内容进行要素实体标注。例如，同一个要素在产品说明书中通常是一个确定值，但会存在于整个文档中不同的地方同时以不同的文本语句描述呈现。例如文本描述：投资类型为固定收益类或者文本描述：产品的收益类型为固定收益类。此两者中的实体要素名称为费率类型，内容为固定收益类，但以不同方式呈现。故为让模型找到要提取的实体信息，对其样本标注，如图7所示。在图7的示意性示出的根据本公开的实施例的要素实体标注的示意图中，各颜色标注为提取的实体要素信息，下滑线下方对应的为实体要素名称。

在对少量样本进行全文标注后，放入模型中进行训练迭代训练。直至达到预设的截止条件时，获取所述信息抽取模型。其中，预设的截止条件可以为预设的训练迭代次数，或是预设的模型训练精度。在模型训练完成后即可实现对于产品说明书要素信息的抽取。输入待预测文本(文本可以是一句话，也可以是产品说明书的全文文本)，例如：“XX基金产品于XX年XX月XX日成立，在XX年XX月XX日年到期，此产品的投资类型是一般为固定投资类型，其中管理费率费率：XX％、销售服务费费率：XXX％、无外包费，同时此基金的托管人为XX银行。”模型将对输入的待预测文本进行提取，只要文中涉及到要提取的要素，模型都将会提取出来。模型返回结果如图8所示。在图8的示意性示出的根据本公开的实施例的模型返回结果的示意图中，text为要素内容，start\end为起始位置，probability为置信度。

在本公开的一个具体的示例中，在产品说明书样本量较小，且识别速度要求较高的场景下，信息抽取模型可以使用飞桨通用信息抽取模型(paddle UIE)。典型的，在金融产品说明书的场景中，从项目开始时，业务总共累计样本数量通常较小，且要素别名较多。具体的，业务总共累计样本可以不超过150个，其中不同银行不同产品说明书要素名称也是不同，传统实体抽取算法在较少的样本数量、较多别名要素提取中很难做到很好的效果。在此情况下，可以采用通用信息抽取模型，由于其是基于大规模的通用训练样本中做完了预训练的过程，在本公开示例的场景下，进一步提供少量的场景样本，就能将学习到的“通用知识”泛化为“专有知识”，以在金融产品说明书的少量样本中得到不俗的效果。进一步的，传统实体抽取模型的模型结构复杂且程序文件繁多，占据内存较大，且一般情况下必须需要的一定GPU资源支持才能支持线上工作，在GPU资源紧张的情况下，采用轻量级且支持CPU、GPU资源的飞桨通用信息抽取模型可以有效解决资源不足的问题。GPU资源的多少以及模型的复杂程度一定程度上决定了运行的时间，当产品说明书为金融产品说明书时，需要在30秒内对5-10页或更多的文档页进行要素提取处理，一定程度上要求模型的有较快的处理速度，此时，飞桨通用信息抽取模型可以在在节省运算时间的情况下具有较高的精确度。此外，飞桨通用信息抽取模型还具有开发成本低、数据标注简单；迭代成本低、速度快等优势。应用于开发周期较短，模型迭代速度要求较高的场景时具有较为显著的优势。

以下结合图9-图10示例性说明利用飞桨通用信息抽取模型的训练和抽取的方法的示意图。

图9示意性示出了本公开的示例的飞桨通用信息抽取模型的训练及预测架构。

如图9所示，使用飞桨通用信息抽取模型对目标检测模型Yolov3以及文字识别模型CRNN输出的结果进行产品要素信息的抽取。飞桨通用信息抽取模型是通用信息抽取任务框架，支持实体、关系、事件、情感等抽取任务，具有低资源、高性能的特点。对于通用信息抽取模型，增加产品说明书文字样本进行模型训练微调，利用前期确定的实体要素名称，对文字识别后的输出的产品说明书文字进行提取要素标注，以此样式样本输入通用信息抽取模型进行训练。在本公开的示例中，优选的训练参数如下：学习率0.00001，一次语句长度最大512，一次训练8个样本，迭代次数10次。

结合前文描述，图10示意性示出了根据本公开的示例的对利用飞桨通用信息抽取模型提取产品说明书的产品要素信息的方法的流程图。在图10中，可以首先结合产品说明书样本对模型进行训练。在训练时，需对样本标注，各颜色标注为提取的实体要素信息，下滑线下方对应的为实体要素名称。在训练获得抽取模型后，将待识别文本输入抽取模型中。最终输出所提取的说明书要素提取信息并对外展示。

在本公开的实施例中，还可利用模糊提取规则对文字识别结果进行二次抽取，获取补充要素信息。其中，模糊提取规则可以包括：定位实体要素字段和实体要素字段关联的近义词，基于正则匹配规则匹配与所述实体要素字段或所述实体要素字段关联的近义词对应的实体信息。根据本公开的实施例，考虑产品说明书识别的准确率损失，以及产品要素的呈现形式的多样化，对未抽取到的要素以模糊提取规则进行第二次的提取，以便提高自动化识别的准确率。其中，可以对实体要素字段可能关联的近义词，同义词建立数据库表，并填充针对每一项实体要素名称可以构建的提取要素规则。由此在二次识别过程中，可以基于正则匹配规则匹配与实体要素名称或实体要素名称关联的近义词、同义词对应的实体信息。

在一些具体的实施例中，产品说明书可以包括金融产品说明书。

在一些具体的实施例中，实体要素名称包括费率类型，费率值，计提基础，产品成立日，产品到期日，托管人或投资类型中的至少一种。在一些具体的实施例中，以银行领域托管产品说明书为例，表2示意性示出了模糊提取规则。

表2

图11示意性示出了根据本公开实施例的利用模糊提取规则对所述文字识别结果进行二次抽取，获取补充要素信息的方法的流程图。

如图11所示，该实施例的利用模糊提取规则对所述文字识别结果进行二次抽取，获取补充要素信息的方法包括操作S1110～操作S1120。

在操作S1110，将所述产品要素信息与预设的要素字典进行匹配，判断是否存在未识别的实体要素。

图12示意性示出了根据本公开实施例的将产品要素信息与预设的要素字典进行匹配，判断是否存在未识别的实体要素的方法的流程图。

如图12所示，该实施例的将产品要素信息与预设的要素字典进行匹配，判断是否存在未识别的实体要素的方法包括操作S1210～操作S1230。

在操作S1210，获取产品要素信息抽取字典，所述产品要素信息抽取字典包括通过一次抽取获得的实体要素信息。

在操作S1220，将所述通过一次抽取获得的实体要素信息存储于所述预设的要素字典，其中，所述预设的要素字典包括实体要素字段，在存储后，所述实体要素信息与实体要素字段存在映射关系。

在操作S1230，当预设的要素字典中存在实体要素字段缺乏存在映射关系的实体要素信息时，判断所述实体要素字段为未识别实体要素。

根据本公开的实施例，在输出说明书提取要素时，可以以字典字符的形式输出。每一次利用信息抽取模型抽取说明书要素时，模型会返回抽取信息字典。其中，可以提取每个抽取要素对应的最高分内容，将其放入预设的要素字典中。预设的要素字典包含了预定义的所需要提取的所有要素，如果存在部分要素没有被信息抽取模型抽取到，则预设的要素字典中该要素字段的返回值以空值显示。在进行二次抽取时，可以先对预设的要素字典进行判断。如果里面某个要素字段为空值，则判断其为未识别的实体要素。

在获取未识别的实体要素后，返回操作S1120。

在操作S1120，基于正则匹配规则对所述未识别的实体要素进行二次识别，获取所述补充要素信息。

图13示意性示出了根据本公开实施例的基于正则匹配规则对所述未识别的实体要素进行二次识别，获取所述补充要素信息的方法的流程图。

如图13所示，该实施例的基于正则匹配规则对所述未识别的实体要素进行二次识别，获取所述补充要素信息的方法包括操作S1310～操作S1330。

在操作S1310，获取未识别实体要素的关键词列表，其中，所述关键词列表包括未识别实体要素关联关键词，所述未识别实体要素关联关键词包括未识别实体要素以及所述未识别实体要素的近义词和/或同义词。

在操作S1320，将所述未识别实体要素关联关键词按照出现频率从高到底进行排序。

在操作S1330，利用正则表达式按照频率排序结果定位所述未识别实体要素关联关键词，获取与所述未识别实体要素关联关键词存在映射关系的实体要素信息。

根据本公开的实施例，未识别实体要素的关键词列表可以预先设置。例如，对于要素字段“成立日期”，其关键词列表可以包含“成立日期”、“成立日”、“起止日”、“起息日”等。为节约计算资源，可以在进行正则匹配前，将未识别实体要素关联关键词按照出现频率从高到底进行排序。其中，可以人工识别实体要素关联关键词的出现频率。当待识别说明书样本数量较多时，也可以选取少量样本通过计算机统计关键词出现频率以实现排序。在利用正则表达式定位未识别实体要素关联关键词时，可以先定位频率排序靠前的关键词，当无法定位到频率排序靠前的关键词时，再定位频率排序靠后的关键词。其中，可以以与未识别实体要素关联关键词存在映射关系的实体要素信息作为补充要素信息。

在一些优选的实施例中，利用正则表达式按照频率排序结果定位所述未识别实体要素关联关键词包括：利用正则表达式定位频率排序第一位的所述未识别实体要素关联关键词。而对于频率排序靠后的关键词，可以不再识别，由此可以进一步减少数据冗余，提升数据处理效率。

根据本公开的另一些实施例，还可以利用辅助规则提升二次识别提取的容错性。其可以在获取与所述未识别实体要素关联关键词存在映射关系的实体要素信息后执行。具体的，可以利用辅助规则对所述与所述未识别实体要素关联关键词存在映射关系的实体要素信息进行校验，获取所述补充要素信息。

图14示意性示出了根据本公开另一些实施例的利用辅助规则对所述与所述未识别实体要素关联关键词存在映射关系的实体要素信息进行校验，获取所述补充要素信息的方法的流程图。

如图14所示，该另一些实施例的利用辅助规则对所述与所述未识别实体要素关联关键词存在映射关系的实体要素信息进行校验，获取所述补充要素信息的方法包括操作S1410～操作S1420。

在操作S1410，基于预设的要素形式规范判断所述与所述未识别实体要素关联关键词存在映射关系的实体要素信息是否符合预设的要素表现形式。

在操作S1420，当所述与所述未识别实体要素关联关键词存在映射关系的实体要素信息符合预设的要素表现形式时，判断所述实体要素信息为补充要素信息。

其中，预设的要素形式规范可以基于专家经验预先设定。例如，对于日期类型的说明书要素，其应为数字形式。进一步的，要素关联关键词“成立日期”的实体要素信息与要素关联关键词“到期日期”的实体要素信息存在时间差，因此，上述两种要素的实体要素信息在提取后可能存在一定的数字间的关联关系和数字间隔。再如，要素关联关键词“托管人”的实体要素信息一般应为银行或公司，则所提取的信息中应包含“银行”或“公司”等字样。通过判断与未识别实体要素关联关键词存在映射关系的实体要素信息是否符合预设的要素表现形式可以进一步对所提取的实体要素信息进行验证。可以对识别到的不符合预设的要素表现形式的要素信息进行排查，以提升识别准确率。

在本公开的实施例中，还可以对产品说明书要素进行处理，具体的，可以对说明书提取要素进行封装与前端展示。

图15示意性示出了根据本公开实施例的产品说明书要素处理方法的流程图。

如图15所示，该实施例的产品说明书要素处理方法包括操作S1510～操作S1530。

在操作S1510，对所述产品说明书要素进行提取。

在操作S1520，将提取获得的说明书提取要素进行接口报文封装。

在操作S1530，当所述接口被调用时，将所述说明书提取要素以及要素提取关联信息反馈至前端页面。

根据本公开的实施例，可以基于前文的产品说明书要素提取方法对所述产品说明书要素进行提取。例如，可以基于图2～图14的产品说明书要素提取方法对所述产品说明书要素进行提取。前端访问输出结果时，可以自动将含有信息的要素录入系统，为节约资源，空值可以设置为不录入显示结果。具体而言，在获取显示结果后，可以对结果进行接口报文封装，以便系统应用以http的形式调用接口后能得到相关信息。其中，相关信息可以包括是否成功调用以及调用信息展示。其中，调用信息展示可以包括各要素信息展示以及调用时间等。相关信息可以以字典的形式存在。

以下结合图16详细描述根据本公开的一个具体的示例的执行产品说明书要素提取的方法的流程图。

如图16所示，该示例的执行产品说明书要素提取的方法的流程图包括步骤S1～S6。

S1.产品说明书样本准备：从对需要进行提取的产品说明书进行预处理，doc格式进行纯文本处理，同时和PDF转化成图片，并确定待提取的实体要素名称。

S2.文字检测识别模型训练：根据模型需要的样本格式准备样本，对目标检测模型和文字识别模型进行训练，并进行参数调优。

S3.信息抽取模型训练：对飞桨通用信息抽取模型进行训练，并进行参数调优。

S4.模型组合：将目标检测模型和文字识别模型与飞桨通用信息抽取模型进行组合，形成接口。

S5.规则制定：对产品要素制定代码以构建模糊提取规则，作为模型接口后的补充要素信息的补充提取。

S6.产品说明书要素提取：将S1准备的样本输入接口以及规则组合的代码，进行产品说明书要素自动化提取，并在前端自动输出提取结果，录入系统。

基于上述产品说明书要素提取方法，本公开还提供了一种产品说明书要素提取装置。以下将结合图17对该装置进行详细描述。

图17示意性示出了根据本公开实施例的产品说明书要素提取装置的结构框图。

如图17所示，该实施例的产品说明书要素提取装置1000包括获取模块1010、识别模块1020、第一抽取模块1030、第二抽取模块1040和要素提取模块1050。

其中，获取模块1010被配置为获取产品说明书图像。

识别模块1 020被配置为基于目标检测模型以及文字识别模型对所述产品说明书图像进行文字识别。

第一抽取模块1030被配置为将文字识别结果利用信息抽取模型进行一次抽取，获取产品要素信息。

第二抽取模块1040被配置为利用模糊提取规则对所述文字识别结果进行二次抽取，获取补充要素信息。

要素提取模块1050被配置为基于所述产品要素信息和所述补充要素信息获取说明书提取要素。其中，所述说明书提取要素包括实体要素字段和实体要素信息，所述实体要素信息与所述实体要素字段相对应。

图18示意性示出了根据本公开实施例的识别模块的结构框图。

如图18所示，该实施例的识别模块1020包括定位子模块10201、裁剪子模块10202和提取子模块10203。

定位子模块10201被配置为基于目标检测模型获取所述产品说明书图像中的行文字位置信息。

裁剪子模块10202被配置为基于所述行文字位置信息进行产品说明书图像裁剪，获取产品说明书块图像。

提取子模块10203被配置为将所述产品说明书块图像输入所述文字识别模型，获取产品说明书文字信息。

根据本公开的实施例，第一抽取模块还可以包括输入子模块和第一获取子模块。

图19示意性示出了根据本公开实施例的第一抽取模块的结构框图。

如图19所示，该实施例的第一抽取模块1030包括输入子模块10301和第一获取子模块10302。

其中，输入子模块10301被配置为将所述文字识别结果输入预训练得到的信息抽取模型。其中，所述预训练得到的信息抽取模型基于小于预设数量的产品说明书样本结合通用抽取框架训练得到。

第一获取子模块10302被配置为利用所述预训练得到的信息抽取模型对所述文字识别结果进行信息抽取，输出所述产品要素信息。

根据本公开的实施例，第二抽取模块还可以包括比对子模块和第二获取子模块。

图20示意性示出了根据本公开实施例的第二抽取模块的结构框图。

如图20所示，该实施例的第二抽取模块1040包括比对子模块10401和第二获取子模块10402。

其中，比对子模块10401被配置为将所述产品要素信息与预设的要素字典进行匹配，判断是否存在未识别的实体要素。

第一获取子模块10402被配置为基于正则匹配规则对所述未识别的实体要素进行二次识别，获取所述补充要素信息。

根据本公开的实施例，比对子模块还可以包括第一获取单元，存储单元和判断单元。

图21示意性示出了根据本公开实施例的比对子模块的结构框图。

如图21所示，该实施例的比对子模块10401包括第一获取单元104011，存储单元104012和判断单元104013。

其中，第一获取单元104011被配置为获取产品要素信息抽取字典，所述产品要素信息抽取字典包括通过一次抽取获得的实体要素信息。

存储单元104012被配置为将所述通过一次抽取获得的实体要素信息存储于所述预设的要素字典，其中，所述预设的要素字典包括实体要素字段，在存储后，所述实体要素信息与实体要素字段存在映射关系。

判断单元104013被配置为当预设的要素字典中存在实体要素字段缺乏存在映射关系的实体要素信息时，判断所述实体要素字段为未识别实体要素。

根据本公开的实施例，第一获取子模块还可以包括第二获取单元，排序单元和第三获取单元。

图22示意性示出了根据本公开实施例的第一获取子模块的结构框图。

如图22所示，该实施例的第一获取子模块10402包括第二获取单元104021，排序单元104022和第三获取单元104023。

其中，第二获取单元104021被配置为获取未识别实体要素的关键词列表，其中，所述关键词列表包括未识别实体要素关联关键词，所述未识别实体要素关联关键词包括未识别实体要素以及所述未识别实体要素的近义词和/或同义词。

排序单元104022被配置为将所述未识别实体要素关联关键词按照出现频率从高到底进行排序。

第三获取单元104023被配置为利用正则表达式按照频率排序结果定位所述未识别实体要素关联关键词，获取与所述未识别实体要素关联关键词存在映射关系的实体要素信息。

在本公开的实施例中，可以以所获取的与所述未识别实体要素关联关键词存在映射关系的实体要素信息作为所述补充要素信息。

根据本公开的另一些实施例，第一获取子模块除可以包括第二获取单元，排序单元和第三获取单元外，还可以包括校验单元。

图23示意性示出了根据本公开另一些实施例的第一获取子模块的结构框图。

如图23所示，该实施例的第一获取子模块10402除包括第二获取单元104021，排序单元104022和第三获取单元104023外，还可以包括校验单元1 04024。

其中，第二获取单元104021，排序单元104022和第三获取单元104023的功能可以与图23中的结构相同，在此不再赘述。

校验单元104024被配置为利用辅助规则对所述与所述未识别实体要素关联关键词存在映射关系的实体要素信息进行校验，获取所述补充要素信息。包括：基于预设的要素形式规范判断所述与所述未识别实体要素关联关键词存在映射关系的实体要素信息是否符合预设的要素表现形式；以及当所述与所述未识别实体要素关联关键词存在映射关系的实体要素信息符合预设的要素表现形式时，判断所述实体要素信息为补充要素信息。

本公开还提供了一种信息抽取模型训练装置。以下将结合图24对该装置进行详细描述。

图24示意性示出了根据本公开实施例的信息抽取模型训练装置的结构框图。

如图24所示，该实施例的信息抽取模型训练装置1100包括样本收集模块1101，标注模块1102以及训练模块1103。

其中，样本收集模块1101被配置为获取产品说明书样本。

标注模块1102被配置为对所述产品说明书样本进行要素信息标注。

训练模块1103被配置为将进行要素信息标注后的产品说明书样本输入所述通用抽取框架进行训练，直至达到预设的截止条件时，获取所述信息抽取模型。其中，所述通用抽取框架包括知识增强型预训练模型。

本公开还提供了一种产品说明书要素处理装置。以下将结合图25对该装置进行详细描述。

图25示意性示出了根据本公开实施例的产品说明书要素处理装置的结构框图。

如图25所示，该实施例的产品说明书要素处理装置1200可以覆盖图17～图24的产品说明书要素提取装置1000的功能，以对所述产品说明书要素进行提取。即产品说明书要素处理装置可以1200可以包括获取模块1010、识别模块1020、第一抽取模块1030、第二抽取模块1040和要素提取模块1050，其具体功能在此不再赘述。在本公开的实施例中，产品说明书要素处理装置1200可以进一步包括结果封装模块1060和反馈模块1070。

其中，结果封装模块1060被配置为将提取获得的说明书提取要素进行接口报文封装。

反馈模块1070被配置为当所述接口被调用时，将所述说明书提取要素以及要素提取关联信息反馈至前端页面。

根据本公开的实施例，在产品说明书要素提取装置中，获取模块1010、识别模块1020、第一抽取模块1030、第二抽取模块1040，要素提取模块1050，定位子模块10201、裁剪子模块10202，提取子模块10203，输入子模块10301，第一获取子模块10302，比对子模块10401，第二获取子模块10402，第一获取单元104011，存储单元104012，判断单元104013，第二获取单元104021，排序单元104022，第三获取单元104023，校验单元104024，样本收集模块1101，标注模块1102和训练模块1103中的任意多个模块可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。类似的，在产品说明书要素处理装置中，获取模块1010、识别模块1020、第一抽取模块1030、第二抽取模块1040，要素提取模块1050，定位子模块10201、裁剪子模块10202，提取子模块10203，输入子模块10301，第一获取子模块10302，比对子模块10401，第二获取子模块10402，第一获取单元104011，存储单元104012，判断单元104013，第二获取单元104021，排序单元104022，第三获取单元104023，校验单元104024，样本收集模块1101，标注模块1102，训练模块1103，结果封装模块1060以及反馈模块1070中的任意多个模块可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，在产品说明书要素提取装置中，获取模块1010、识别模块1020、第一抽取模块1030、第二抽取模块1040，要素提取模块1050，定位子模块10201、裁剪子模块10202，提取子模块10203，输入子模块10301，第一获取子模块10302，比对子模块10401，第二获取子模块10402，第一获取单元104011，存储单元104012，判断单元104013，第二获取单元104021，排序单元104022，第三获取单元104023，校验单元104024，样本收集模块1101，标注模块1102和训练模块1103中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。类似的，在产品说明书要素处理装置中，获取模块1010、识别模块1020、第一抽取模块1030、第二抽取模块1040，要素提取模块1050，定位子模块10201、裁剪子模块10202，提取子模块10203，输入子模块10301，第一获取子模块10302，比对子模块10401，第二获取子模块10402，第一获取单元104011，存储单元104012，判断单元104013，第二获取单元104021，排序单元104022，第三获取单元104023，校验单元104024，样本收集模块1101，标注模块1102，训练模块1103，结果封装模块1060以及反馈模块1070中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，在产品说明书要素提取装置中，获取模块1010、识别模块1020、第一抽取模块1030、第二抽取模块1040，要素提取模块1050，定位子模块10201、裁剪子模块10202，提取子模块10203，输入子模块10301，第一获取子模块10302，比对子模块10401，第二获取子模块10402，第一获取单元104011，存储单元104012，判断单元104013，第二获取单元104021，排序单元104022，第三获取单元104023，校验单元104024，样本收集模块1101，标注模块1102和训练模块1103中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。类似的，在产品说明书要素处理装置中，获取模块1010、识别模块1020、第一抽取模块1030、第二抽取模块1040，要素提取模块1050，定位子模块10201、裁剪子模块10202，提取子模块10203，输入子模块10301，第一获取子模块10302，比对子模块10401，第二获取子模块10402，第一获取单元104011，存储单元104012，判断单元104013，第二获取单元104021，排序单元104022，第三获取单元104023，校验单元104024，样本收集模块1101，标注模块1102，训练模块1103，结果封装模块1060以及反馈模块1070中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

图26示意性示出了根据本公开实施例的适于实现产品说明书要素提取方法和/或产品说明书要素处理方法的电子设备的方框图。

如图26所示，根据本公开实施例的电子设备900包括处理器901，其可以根据存储在只读存储器(ROM)902中的程序或者从存储部分908加载到随机访问存储器(RAM)903中的程序而执行各种适当的动作和处理。处理器901例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))等等。处理器901还可以包括用于缓存用途的板载存储器。处理器901可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

在RAM 903中，存储有电子设备900操作所需的各种程序和数据。处理器901、ROM902以及RAM 903通过总线904彼此相连。处理器901通过执行ROM 902和/或RAM 903中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除ROM 902和RAM 903以外的一个或多个存储器中。处理器901也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。

根据本公开的实施例，电子设备900还可以包括输入/输出(I/O)接口905，输入/输出(I/O)接口905也连接至总线904。电子设备900还可以包括连接至I/O接口905的以下部件中的一项或多项：包括键盘、鼠标等的输入部分906；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分907；包括硬盘等的存储部分908；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入存储部分908。

本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。

根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的ROM902和/或RAM 903和/或ROM 902和RAM 903以外的一个或多个存储器。

本公开的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。当计算机程序产品在计算机系统中运行时，该程序代码用于使计算机系统实现本公开实施例所提供的方法。

在该计算机程序被处理器901执行时执行本公开实施例的系统/装置中限定的上述功能。根据本公开的实施例，上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。

在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并通过通信部分909被下载和安装，和/或从可拆卸介质911被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

在这样的实施例中，该计算机程序可以通过通信部分909从网络上被下载和安装，和/或从可拆卸介质911被安装。在该计算机程序被处理器901执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。

根据本公开的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java，C++，python，“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。

以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。

Claims (15)

1.一种产品说明书要素提取方法，其特征在于，包括：

获取产品说明书图像；

基于目标检测模型以及文字识别模型对所述产品说明书图像进行文字识别；

将文字识别结果利用信息抽取模型进行一次抽取，获取产品要素信息；

利用模糊提取规则对所述文字识别结果进行二次抽取，获取补充要素信息；以及

基于所述产品要素信息和所述补充要素信息获取说明书提取要素，

其中，所述说明书提取要素包括实体要素字段和实体要素信息，所述实体要素信息与实体要素字段相对应。

2.根据权利要求1所述的方法，其中，所述基于目标检测模型以及文字识别模型对所述产品说明书图像进行文字识别包括：

基于目标检测模型获取所述产品说明书图像中的行文字位置信息；

基于所述行文字位置信息进行产品说明书图像裁剪，获取产品说明书块图像；以及

将所述产品说明书块图像输入所述文字识别模型，获取产品说明书文字信息。

3.根据权利要求1所述的方法，其中，将文字识别结果利用信息抽取模型进行一次抽取，获取产品要素信息包括：

将所述文字识别结果输入预训练得到的信息抽取模型；以及

利用所述预训练得到的信息抽取模型对所述文字识别结果进行信息抽取，输出所述产品要素信息，

其中，所述预训练得到的信息抽取模型基于小于预设数量的产品说明书样本结合通用抽取框架训练得到。

4.根据权利要求3所述的方法，其中，预训练得到信息抽取模型的方法包括：

获取产品说明书样本；

对所述产品说明书样本进行要素信息标注；以及

将进行要素信息标注后的产品说明书样本输入所述通用抽取框架进行训练，直至达到预设的截止条件时，获取所述信息抽取模型，

其中，所述通用抽取框架包括知识增强型预训练模型。

5.根据权利要求1所述的方法，其中，利用模糊提取规则对所述文字识别结果进行二次抽取，获取补充要素信息包括：

将所述产品要素信息与预设的要素字典进行匹配，判断是否存在未识别的实体要素；以及

基于正则匹配规则对所述未识别的实体要素进行二次识别，获取所述补充要素信息。

6.根据权利要求5所述的方法，其中，所述将所述产品要素信息与预设的要素字典进行匹配，判断是否存在未识别的实体要素包括：

获取产品要素信息抽取字典，所述产品要素信息抽取字典包括通过一次抽取获得的实体要素信息；

将所述通过一次抽取获得的实体要素信息存储于所述预设的要素字典，其中，所述预设的要素字典包括实体要素字段，在存储后，所述实体要素信息与实体要素字段存在映射关系；以及

当预设的要素字典中存在实体要素字段缺乏存在映射关系的实体要素信息时，判断所述实体要素字段为未识别实体要素。

7.根据权利要求5所述的方法，其中，所述基于正则匹配规则对所述未识别的实体要素进行二次识别，获取所述补充要素信息包括：

获取未识别实体要素的关键词列表，其中，所述关键词列表包括未识别实体要素关联关键词，所述未识别实体要素关联关键词包括未识别实体要素以及所述未识别实体要素的近义词和/或同义词；

将所述未识别实体要素关联关键词按照出现频率从高到底进行排序；以及

利用正则表达式按照频率排序结果定位所述未识别实体要素关联关键词，获取与所述未识别实体要素关联关键词存在映射关系的实体要素信息作为所述补充要素信息。

8.根据权利要求7所述的方法，其中，所述利用正则表达式按照频率排序结果定位所述未识别实体要素关联关键词包括：

利用正则表达式定位频率排序第一位的所述未识别实体要素关联关键词。

9.根据权利要求7所述的方法，其中，在获取与所述未识别实体要素关联关键词存在映射关系的实体要素信息后，所述方法还包括：

利用辅助规则对所述与所述未识别实体要素关联关键词存在映射关系的实体要素信息进行校验，获取所述补充要素信息，包括：

基于预设的要素形式规范判断所述与所述未识别实体要素关联关键词存在映射关系的实体要素信息是否符合预设的要素表现形式；以及

当所述与所述未识别实体要素关联关键词存在映射关系的实体要素信息符合预设的要素表现形式时，判断所述实体要素信息为补充要素信息。

10.一种产品说明书要素处理方法，其特征在于，包括：

对所述产品说明书要素进行提取；

将提取获得的说明书提取要素进行接口报文封装；以及

当所述接口被调用时，将所述说明书提取要素以及要素提取关联信息反馈至前端页面，

其中，基于权利要求1～9中任一项所述的产品说明书要素提取方法对所述产品说明书要素进行提取。

11.一种产品说明书要素提取装置，包括：

获取模块，配置为获取产品说明书图像；

识别模块，配置为基于目标检测模型以及文字识别模型对所述产品说明书图像进行文字识别；

第一抽取模块，配置为将文字识别结果利用信息抽取模型进行一次抽取，获取产品要素信息；

第二抽取模块，配置为利用模糊提取规则对所述文字识别结果进行二次抽取，获取补充要素信息；以及

要素提取模块，配置为基于所述产品要素信息和所述补充要素信息获取说明书提取要素，

其中，所述说明书提取要素包括实体要素字段和实体要素信息，所述实体要素信息与实体要素字段相对应。

12.一种产品说明书要素处理装置，其特征在于，包括：

获取模块，配置为获取产品说明书图像；

识别模块，配置为基于目标检测模型以及文字识别模型对所述产品说明书图像进行文字识别；

第一抽取模块，配置为将文字识别结果利用信息抽取模型进行一次抽取，获取产品要素信息；

第二抽取模块，配置为利用模糊提取规则对所述文字识别结果进行二次抽取，获取补充要素信息；以及

要素提取模块，配置为基于所述产品要素信息和所述补充要素信息获取说明书提取要素，其中，所述说明书提取要素包括实体要素字段和实体要素信息，所述实体要素信息与实体要素字段相对应；

结果封装模块，配置为将说明书提取要素进行接口报文封装；以及

反馈模块，配置为当所述接口被调用时，将所述说明书提取要素反馈至前端页面。

13.一种电子设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行根据权利要求1～10中任一项所述的方法。

14.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行根据权利要求1～10中任一项所述的方法。

15.一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现根据权利要求1～10中任一项所述的方法。

Images