CN113360699A - 模型训练方法和装置、图像问答方法和装置 - Google Patents

Abstract

本公开提供了一种模型训练方法和装置，涉及计算机视觉、自然语言处理、深度学习等技术领域。具体实现方案为：获取已训练完成的问答模型，问答模型用于根据输入的问题和文本，输出文本中与问题对应的答案；获取已训练完成的图文转换模型，图文转换模型用于根据输入的图像文档，输出与图像文档对应的文本和文本特征信息；将图文转换模型输出端接入问答识别模型的输入端，并且将文本特征信息拼接入问答识别模型的嵌入层，得到图像问答网络；对图像问答网络进行训练，得到训练完成的图像问答模型，图像问答模型用于根据输入的问题和图像文档，输出图像文档中与问题对应的答案。该实施方式提高了模型训练的准确性。

Description

模型训练方法和装置、图像问答方法和装置

技术领域

本公开涉及计算机技术领域，具体涉及计算机视觉、自然语言处理、深度学习等技术领域，尤其涉及一种模型训练方法和装置、图像问答方法和装置、电子设备、计算机可读介质以及计算机程序产品。

背景技术

在各个行业中，普遍存在以自然语言和表格记录的文本，比如资产证明，入院记录，发票等。这一类数据存在格式自定义程度高，抽取信息需要考虑页面布局等特点。

传统的自然语言处理方法针对纯文本数据，无法直接识别图片，并且对于表格的上下左右位置关系无法利用，会导致很多抽取错误，因此，无法直接使用传统的自然语言处理方法抽取自然语言和表格记录的文本中的目标信息。

发明内容

提供了一种模型训练方法和装置、图像问答方法和装置、电子设备、计算机可读介质以及计算机程序产品。

根据第一方面，提供了一种模型训练方法，该方法包括：获取已训练完成的问答模型，问答模型用于根据输入的问题和文本，输出文本中与问题对应的答案；获取已训练完成的图文转换模型，图文转换模型用于根据输入的图像文档，输出与图像文档对应的文本和文本特征信息；将图文转换模型输出端接入问答识别模型的输入端，并且将文本特征信息拼接入问答识别模型的嵌入层，得到图像问答网络；对图像问答网络进行训练，得到训练完成的图像问答模型，图像问答模型用于根据输入的问题和图像文档，输出图像文档中与问题对应的答案。

根据第二方面，提供了一种图像问答方法，该方法包括：获取图像文档和输入问题；将图像文档和输入问题同时输入采用如第一方面任一实现方式描述的方法生成的图像问答模型，得到与输入问题对应的答案，答案为图像文档中的文本。

根据第三方面，提供了一种模型训练装置，该装置包括：问答获取单元，被配置成获取已训练完成的问答模型，问答模型用于根据输入的问题和文本，输出文本中与问题对应的答案；图文获取单元，被配置成获取已训练完成的图文转换模型，图文转换模型用于根据输入的图像文档，输出与图像文档对应的文本和文本特征信息；得到单元，被配置成将图文转换模型输出端接入问答识别模型的输入端，并且将文本特征信息拼接入问答识别模型的嵌入层，得到图像问答网络；训练单元，被配置成对图像问答网络进行训练，得到训练完成的图像问答模型，图像问答模型用于根据输入的问题和图像文档，输出图像文档中与问题对应的答案。

根据第四方面，又提供了一种图像问答装置，该装置包括：获取单元，被配置成获取图像文档和输入问题；得到单元，被配置成将图像文档和输入问题同时输入采用如第一方面任一实现方式描述的方法生成的图像问答模型，得到与输入问题对应的答案，答案为图像文档中的文本。

根据第五方面，提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器，其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面或第二方面任一实现方式描述的方法。

根据第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第一方面或第二方面任一实现方式描述的方法。

根据第七方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如第一方面或第二方面任一实现方式描述的方法。

本公开的实施例提供的模型训练方法和装置，首先，获取已训练完成的问答模型，问答模型用于根据输入的问题和文本，输出文本中与问题对应的答案；其次，获取已训练完成的图文转换模型，图文转换模型用于根据输入的图像文档，输出与图像文档对应的文本和文本特征信息；再次，将图文转换模型输出端接入问答识别模型的输入端，并且将文本特征信息拼接入问答识别模型的嵌入层，得到图像问答网络；最后，对图像问答网络进行训练，得到训练完成的图像问答模型，图像问答模型用于根据输入的问题和图像文档，输出图像文档中与问题对应的答案。由此，结合已训练完成的问答模型和图文转换模型，生成的图像问答网络，具有问答模型和图文转换模型的特点，可以实现在图像中获取问题的文本答案，使图像问答模型可以更好的回答问题，提高了模型的识别效果。

本公开的实施例提供的图像问答方法和装置，获取图像文档和输入问题；将图像文档和输入问题同时输入采用本实施例的模型训练方法生成的图像问答模型，得到输入问题对应的答案，答案为图像文档中的文本。由此，图像问答模型可以针对图像文档中文本所处的段落，给出合适的输入问题的答案，该图像问答模型可以适用于各类行业中形式多变的文字表格抽取，解决了很多行业数字化的瓶颈。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开模型训练方法的一个实施例的流程图；

图2是本公开实施例中模型组成结构示意图；

图3是根据本公开图像问答方法的一个实施例的流程图；

图4是根据本公开模型训练装置的一个实施例的结构示意图；

图5是根据本公开图像问答装置的一个实施例的结构示意图；

图6是用来实现本公开实施例的模型训练方法或图像问答方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1示出了根据本公开模型训练方法的一个实施例的流程100，上述模型训练方法包括以下步骤：

步骤101，获取已训练完成的问答模型。

其中，问答模型用于根据输入的问题和文本，输出文本中与问题对应的答案。

本实施例中，模型训练方法运行于其上的执行主体可以通过多种途径获取问答模型，例如，直接从终端获取，或者通过与服务器通信，由服务器发送得到。

本实施例中，问答模型的问答方法是自然语言处理中的经典方法，输入的信息包括两个：文本和问题，问答模型的输出是文本中问题对应的答案。需要说明的是，本实施例中提到的问题可以是对应文本的单纯的问句，例如，xx公司的xx年收益？本实施例中的问题还可以由文本中总结出来的总结句，例如，总结整个文本的主题思想。

本实施例中，问答模型是一种自然语言处理模型，在自然语言处理模型中具有嵌入层(Embedding)，嵌入层是自然语言处理模型的一部分，在模型学习的过程对其也进行调整、学习，训练神经网络的过程中，嵌入层中每个嵌入的向量都会得到更新。在多维空间中词与词之间有相似性，通过嵌入层可以可视化的了解词语之间的关系，进一步地不仅仅是词语，任何能通过嵌入层转换成向量的内容均可以这样做。

步骤102，获取已训练完成的图文转换模型。

其中，图文转换模型用于根据输入的图像文档，输出与图像文档对应的文本和文本特征信息。

本实施例中，图文转换模型是成熟的图像文本转换模型，例如OCR(OpticalCharacter Recognition，光学字符识别)模型。图像文档对应的文本是图像文档中的文字、词语、短语、短句、数字等文本表示。图像文档对应的文本特征信息是由图文转换模型自采集的与图像文档对应的文本相关的特征向量，具体地，文本特征信息可以包括：在图像文档中各个文本周围的符号(比如表格的分割线，剪头等)，任意两个或多个文本之间的语义关系，位置关系等。

本实施例中，图文转换模型的输入为图像文档，输出图像文档的图像特征，该图像特征包含文本，文本特征信息。可选地，图文转换模型的输入为图像文档，输出图像文档文本、文本特征信息、文本位置信息，文本位置信息可以是图像文档中各个文本在图像文档中所处的坐标值。

步骤103，将图文转换模型输出端接入问答识别模型的输入端，并且将文本特征信息拼接入问答识别模型的嵌入层，得到图像问答网络。

本实施例中，如图2所示，问答模型的输入为问题和文本，将图文转换模型输出的图像文档对应文本直接提供给问答模型，可以为问答模型提供文本；进一步地，将图文转换模型输出的与图像文档对应的文本特征信息拼接入问答模型的嵌入层，可以使问答模型和图文转换模型形成一个整体网络并在后续一起训练时同时更新文本特征信息，达到两者训练时信息融合效果。

需要说明的是，图像问答网络的输入与输出与组合后的问答模型和图文转换模型一致，问答模型的输入为问题，图文转换模型的输入为图像文档，则图像问答网络的输入为问题与图像文档。问答模型的输出为问题的答案，由于图文转换模型将输出接入问答模型，则图像问答网络的输出为图像文档中的文本，该图像文档中的文本也就是与问题对应的答案。

步骤104，对图像问答网络进行训练，得到训练完成的图像问答模型。

其中，图像问答模型用于根据输入的问题和图像文档，输出图像文档中与问题对应的答案。

本实施例中，图像问答网络训练的时候，图文转换模型和问答模型一起训练，图文转换模型输出的文本是有标注的，可以指导问答模型训练。图文转换模型输入给问答模型的文本特征信息会收到问答模型的BP(Back Propagation，误差反向后传)信息，通过一起调整图像问答网络的参数，可以为问答模型编码进更多有价值的图像特征，从而利于图像问答网络得到准确的结果。

本实施例中，图像问答网络中的问答模型用于根据问题和图片特征，提取图像文档中与问题对应的答案文本。图像问答网络中的图文转换模型用于从图像文档中提取图像特征，图像特征包括图像中的文本和文本的位置等信息。

本实施例中，使用图像文档和问题作为输入，采用问答的方式抽取图像文档中的开放信息，解决了在不同格式的图像文档中抽取目标需要考虑布局信息和自定义程度高的问题。

本公开的实施例提供的模型训练方法，首先，获取已训练完成的问答模型，问答模型用于根据输入的问题和文本，输出文本中与问题对应的答案；其次，获取已训练完成的图文转换模型，图文转换模型用于根据输入的图像文档，输出与图像文档对应的文本和文本特征信息；再次，将图文转换模型输出端接入问答识别模型的输入端，并且将文本特征信息拼接入问答识别模型的嵌入层，得到图像问答网络；最后，对图像问答网络进行训练，得到训练完成的图像问答模型，图像问答模型用于根据输入的问题和图像文档，输出图像文档中与问题对应的答案。由此，结合已训练完成的问答模型和图文转换模型，生成的图像问答网络，具有问答模型和图文转换模型的特点，可以实现在图像中获取问题的文本答案，使图像问答模型可以更好的回答问题，提高了模型的识别效果。

在本实施例的一些可选实现方式中，上述对图像问答网络进行训练，得到训练完成的图像问答模型的方法包括以下步骤：获取初始样本集，初始样本集包括至少一个初始样本，初始样本包括：问题文本、答案文本、图像。针对各个问题文本和该问题文本对应的图像，为该图像标注答案文本以及该图像中与该答案文本对应的文本，构建包括至少一个训练样本的训练样本集。根据训练样本集和目标损失函数，通过调整图像问答网络的参数，生成训练完成的图像问答模型。

本可选实现方式中，训练样本集包括至少一个训练样本，训练样本包括相互对应的图像、问题、答案。

本实施例中，图像问答模型用于从图像文档中得到与问题对应的答案文本。上述执行主体在获取包含问题、答案、图像文档的标注信息的训练样本之后，采用训练样本训练图像问答网络，经过对图像问答网络的多次训练、评估和算法调参后，获得已训练的图像问答模型。

具体地，图像问答模型训练过程可以如下：

1)收集至少一个包括问题文本、答案文本、图像的初始样本，得到初始样本集。

2)对初始样本集中图像、答案文本进行标注，构建训练样本集，训练样本集包括至少一个训练样本。

3)利用构建的训练样本对图像问答网络进行训练。在训练过程中，可以根据图像问答网络对训练样本的答案结果与训练样本的答案文本标注信息之间的差异确定图像问答网络的误差，利用误差反向传播的方式迭代调整图像问答网络的参数，使其误差逐步缩小。在图像问答网络的误差收敛至一定的范围内或迭代的次数达到预设的次数阈值时可以停止调整参数，得到训练完成的图像问答模型。

本可选实现方式中，在对图像问答网络进行训练时，问答模型和图文转换模型同时进行训练。针对问答模型和图文转换模型一条标注好的训练样本可以包括：问题、答案、图像、图像中的文本。可选地，一条标注好的训练样本还可以包括：问题、答案、图像、图像中的文本和图像中文本的位置。其中，问题和图像是模型的输入，答案和图像中的文本和图像中文本的位置是图像问答模型的输出，输出就是模型的监督信号(学习目标)。

本可选实现方式中，通过对初始样本集中图像进行问题文本和答案文本的标注，而构建的训练样本集可以为训练图像问答网络提供了可靠的样本，保证了图像问答网络训练的可靠性。

在本实施例的一些可选实现方式中，上述目标损失函数采用以下步骤得到：获取问答模型的问答损失函数；获取图文转换模型的图文损失函数；基于问答损失函数和图文损失函数，得到图像问答网络的目标损失函数。

本可选实现方式中，问答损失函数是问答模型在训练过程中采用的损失函数，图文损失函数是图文转换模型在训练中采用的损失函数，目标损失函数为图像问答网络在训练过程中需要采用的损失函数。上述基于问答损失函数和图文损失函数，得到图像问答网络的目标损失函数包括：将问答损失函数与图文损失函数相加得到图像问答网络的目标损失函数。

可选地，上述基于问答损失函数和图文损失函数，得到图像问答网络的目标损失函数还可以包括：将问答损失函数乘以预设的问答权重值得到第一损失函数；将图文损失函数乘以预设的图文权重值得到第二损失函数，将第一损失函数与第二损失函数相加得到图像问答网络的目标损失函数。

本可选实现方式中，问答权重值和图文权重值可以为预设值，问答权重值和图文权重值还可以是基于图像问答模型训练时侧重点不同而赋的不同值。

本可选实现方式中，通过分别获取问答模型的问答损失函数、图文转换模型的图文损失函数，得到图像问答网络的目标损失函数，从而保证图像问答网络的目标损失函数得到的可靠性。

由于训练数据标注比较繁琐，初始样本集中的大部分初始样本可以采用自动构造的方式进行采集，在本实施例的一些可选实现方式中，上述获取初始样本集包括：获取初始问答数据集；基于问答数据集，生成问答键值对集；基于问答键值对集，生成包括图像的初始样本集。

本可选实现方式中，初始问答数据集包括至少一个问答数据，该问答数据包括：问题文本和答案文本。问答键值对集包括至少一个问答键值对，至少一个问答键值对为文本信息。初始样本集包括：至少一个初始样本，初始样本包括：问题文本、答案文本、图像。其中，本实施例中，图像可以是具有问题文本的图像，或者具有答案文本的图像，或者包括问题文本和答案文本的图像。

例如，原文是：A司2019营收21亿，2020营收20亿；问题为：A司2019的营收？A司2020的营收？A司营收21亿的年份？A司营收20亿的年份？转换成以问答键值对对应的表格，如表1所示。

表1

年份	营收
		2019	21亿元
2020	20亿元

将上述表格，采用排版系统(例如拉泰赫)或者web框架进行图片生成，得到包括问题文本和答案文本的图像。

本可选实现方式中，至少一个问答键值对为文本信息，通过将包括至少一个问答键值对的文本信息转换为包括图像的初始样本集，可以自动化地获取初始样本集，为扩充训练样本集提供了可靠的路径。

实际应用中，对于很多采用文字+表格的行业，其文字加表格的格式多变。比如存款证明，各个银行的模板并不一致，而且经常更改。在本实施例的一些可选实现方式中，图像文档包括：不同形式的表格文档；图像问答模型用于根据输入的问题和表格文档，输出位于表格文档的表格内或表格外与问题对应的答案。

本可选实现方式中，不同形式的表格文档是指可以是指具有明显表格或具有特定格式的文档(例如，两列排布、多横列排布或者多竖列排布)，其中具有特定格式的文档是不具有明显表格，但是图像中的文本可以按照表格形式排布，即隐形表格。

本可选实现方式中，针对具有明显表格的图像文档，图像问答模型输出的答案可以是该明显表格内的文本，或者明显表格外的文本，即表格内或表格外与问题对应的答案。

针对不具有明显表格的图像文档，图像问答模型输出的答案可以是图像文档中任意区域的文本，即隐形表格内或隐形表格外与问题对应的答案。

本可选实现方式中，在图像文档为不同形式的表格文档时，针对不同问题可以从不同形式的表格文档的图像中得到与问题对应的文本形式的答案。本可选实现方式提供的方案适用于文字+表格的图片文档，适合各种行业的信息抽取场景中形式多变的文字表格抽取，解决了很多行业数字化的瓶颈。

为了更好地对问题的答案进行位置定位，在本实施例的一些可选实现方式中，图文转换模型还可以用于输出图像文档对应的文本的位置信息，在得到图像问答网络之前，模型训练方法还包括：将位置信息拼接入嵌入层。

本可选实现方式中，位置信息用于表征图像文档中各个文本在图像文档中的位置，该位置信息不限于图像文档中各个文本的坐标，长度、宽度等信息。

本可选实现方式中，首先获取已训练完成的问答模型，问答模型用于根据输入的问题和文本，输出文本中与问题对应的答案。然后，获取已训练完成的图文转换模型，图文转换模型用于根据输入的图像文档，输出与图像文档对应的文本、文本特征信息、文本的位置信息；将图文转换模型输出端接入问答识别模型的输入端，并将文本特征信息、文本的位置信息拼接入问答识别模型的嵌入层，得到图像问答网络；对图像问答网络进行训练，得到训练完成的图像问答模型，图像问答模型用于根据输入的问题和图像文档，输出图像文档中与问题对应的答案、答案的位置。

本可选实现方式中，输入给问答模型的文本位置信息会收到问答模型额BP信息，通过一起调整图像问答网络的参数，可以为问答模型编码进更多有关位置的图像特征，从而进一步有利于图像问答网络得到更准确的结果。

本可选实现方式中，在图文转换模型具有输出文本的位置信息的功能时，将图文转换模型输出的位置信息拼接入问答识别模型的嵌入层，从而使得到图像问答网络或者图像问答模型可以输出答案的位置，由此为定位问题的答案提供了可靠的依据。

可选地，针对还可以输出图像文档对应的文本的位置信息的图文转换模型，上述对图像问答网络进行训练，得到训练完成的图像问答模型包括：获取初始样本集，初始样本集包括至少一个初始样本，初始样本包括：问题文本、答案文本、图像中的文本和文本的位置；针对各个问题文本和该问题文本对应的图像，为该图像标注答案文本以及该图像中与该答案文本对应的文本、文本的位置，构建包括至少一个训练样本的训练样本集；根据训练样本集和目标损失函数，通过调整图像问答网络的参数，生成训练完成的图像问答模型。

可选地，目标损失函数等于问答损失函数、图文损失函数以及图文转换模型的位置损失函数之和。本实施例中，位置损失函数是图文转换模型在对文本的位置进行识别时采用损失函数，位置损失函数用于衡量图文转换模型对文本位置进行预测时衡量损失和错误程度的函数。

可选地，目的损失函数等于问答损失函数、图文损失函数以及图文转换模型的位置损失函数三者的加权求和，且分别对应问答损失函数、图文损失函数以及图文转换模型的位置损失函数的权重值可以根据需求进行自主设置，比如，问答损失函数的权重值大于图文损失函数的权重值，图文损失函数的权重值大于图文转换模型的位置损失函数的权重值，通过三者加权求和可以侧重不同的训练方向，保证模型训练需求。

综上，本实施例提供的模型训练方法，实现了端到端系统，图像问答网络中的各模块训练目标一致，没有误差累计；在图像问答网络的训练过程中，可迁移性强，不需要大量标注数据，很多场景甚至可以直接坐到零标注应用。不消耗大量人力，不需要为每一份新图像文档定制抽取模板。

图3示出了根据图像问答方法的一个实施例的流程图300，上述模型训练方法包括以下步骤：

步骤301，获取图像文档和输入问题。

本实施例中，图像文档可以是包括多种不同形式文本的图像，例如存款证明、银行表格等图像。图像文档对应的文本是图像文档中的文字、词语、短语、短句、数字等文本表示。

本实施例中，输入问题可以不同的问题，也可以不同的总结句，例如，输入问题是搜索引擎在公开数据集中搜索得到的搜索数据。需要说明的是，通过图像文档中的文本可以回答输入问题的答案，但是并不是所有的输入问题都与图像文档有关，有时输入问题在图像文档中无法得到答案。

步骤302，将图像文档和输入问题同时输入图像问答模型，得到与输入问题对应的答案。

其中，答案为图像文档中的文本。

本实施例中，图像问答模型经过训练，可以根据输入问题和图像文档，给出图像文档中的答案。该答案可以来自图像文档中的段落中的文本，也可以来自图像文档的表格中的文本。具体地，采用由步骤101-104训练生成的图像问答模型，输入图像文档和输入问题，得到图像文档中与输入问题对应的答案。

在本实施例中，图像问答模型可以是采用如上述图1实施例所描述的方法而生成的。具体生成过程可以参见图1实施例的相关描述，在此不再赘述。

需要说明的是，本实施例的图像问答方法可以用于测试上述各实施例所生成的图像问答模型。进而根据转换结果可以不断地优化图像问答模型。该方法也可以是上述各实施例所生成的图像问答模型的实际应用方法。采用上述各实施例所生成的图像问答模型，对图像文档进行问题解答，有助于提高答案得到的准确度。

本公开的实施例提供的图像问答方法，获取图像文档和输入问题；将图像文档和输入问题同时输入采用模型训练方法生成的图像问答模型，得到输入问题对应的答案，答案为图像文档中的文本。由此，图像问答模型可以针对图像文档中文本所处的段落，给出合适的输入问题的答案，该图像问答模型可以适用于各类行业中形式多变的文字表格抽取，解决了很多行业数字化的瓶颈。

进一步参考图4，作为对上述各图所示方法的实现，本公开提供了模型训练装置的一个实施例，该装置实施例与图1所示的方法实施例相对应，该装置具体可应用于各种电子设备中。

如图4所示，本实施例提供的模型训练装置400包括：问答获取单元401，图文获取单元402，得到单元403，训练单元404。其中，上述问答获取单元401，可以被配置成获取已训练完成的问答模型，问答模型用于根据输入的问题和文本，输出文本中与问题对应的答案。上述图文获取单元402，可以被配置成获取已训练完成的图文转换模型，图文转换模型用于根据输入的图像文档，输出与图像文档对应的文本和文本特征信息。上述得到单元403，可以被配置成将图文转换模型输出端接入问答识别模型的输入端，并且将文本特征信息拼接入问答识别模型的嵌入层，得到图像问答网络。上述训练单元404，可以被配置成对图像问答网络进行训练，得到训练完成的图像问答模型，图像问答模型用于根据输入的问题和图像文档，输出图像文档中与问题对应的答案。

在本实施例中，模型训练装置400中：问答获取单元401，图文获取单元402，得到单元403，训练单元404的具体处理及其所带来的技术效果可分别参考图1对应实施例中的步骤101、步骤102、步骤103、步骤104的相关说明，在此不再赘述。

在本实施例的一些可选的实现方式中，上述图文转换模型还用于输出图像文档对应的文本的位置信息，装置400还包括：拼接单元(图中未示出)。上述拼接单元，可以被配置成将位置信息拼接入嵌入层。

在本实施例的一些可选的实现方式中，上述训练单元404包括：样本获取模块(图中未示出)，标注模块(图中未示出)，调整模块(图中未示出)。其中，上述样本获取模块，被配置成获取初始样本集，初始样本集包括至少一个初始样本，初始样本包括：问题文本、答案文本、图像。上述标注模块，被配置成针对各个问题文本和该问题文本对应的图像，为该图像标注答案文本以及该图像中与该答案文本对应的文本，构建包括至少一个训练样本的训练样本集。上述调整模块，可以被配置成根据训练样本集和目标损失函数，通过调整图像问答网络的参数，生成训练完成的图像问答模型。

在本实施例的一些可选的实现方式中，上述目标损失函数采用以下单元得到：问答获取模块(图中未示出)，图文获取模块(图中未示出)，得到模块(图中未示出)。其中，上述问答获取模块，可以被配置成获取问答模型的问答损失函数。上述图文获取模块，可以被配置成获取图文转换模型的图文损失函数。上述得到模块，可以被配置成基于问答损失函数和图文损失函数，得到图像问答网络的目标损失函数。

在本实施例的一些可选的实现方式中，上述样本获取模块包括：获取子模块(图中未示出)，键值生成子模块(图中未示出)，样本生成子模块(图中未示出)。其中，上述获取子模块，可以被配置成获取初始问答数据集。上述键值生成子模块，可以被配置成基于问答数据集，生成问答键值对集。上述样本生成子模块，可以被配置成基于问答键值对集，生成包括图像的初始样本集。

在本实施例的一些可选实现方式中，图像文档包括：不同形式的表格文档；图像问答模型用于根据输入的问题和表格文档，输出位于表格文档的表格内或表格外与问题对应的答案。

本公开的实施例提供的模型训练装置，首先，问答获取单元401获取已训练完成的问答模型，问答模型用于根据输入的问题和文本，输出文本中与问题对应的答案；其次，图文获取单元402获取已训练完成的图文转换模型，图文转换模型用于根据输入的图像文档，输出与图像文档对应的文本和文本特征信息；再次，得到单元403将图文转换模型输出端接入问答识别模型的输入端，并且将文本特征信息拼接入问答识别模型的嵌入层，得到图像问答网络；最后，训练单元404对图像问答网络进行训练，得到训练完成的图像问答模型，图像问答模型用于根据输入的问题和图像文档，输出图像文档中与问题对应的答案。由此，结合已训练完成的问答模型和图文转换模型，生成的图像问答网络，具有问答模型和图文转换模型的特点，可以实现在图像中获取问题的文本答案，使图像问答模型可以更好的回答问题，提高了模型的识别效果。

进一步参考图5，作为对上述各图所示方法的实现，本公开提供了图像问答装置的一个实施例，该装置实施例与图3所示的方法实施例相对应，该装置具体可应用于各种电子设备中。

如图5所示，本实施例提供的图像问答装置500包括：获取单元501，得到单元502。其中，上述获取单元501，可以被配置成获取图像文档和输入问题。上述得到单元502，可以被配置成将图像文档和输入问题同时输入采用如上述模型训练方法生成的图像问答模型，得到与输入问题对应的答案，答案为图像文档中的文本。

在本实施例中，图像问答装置500中：获取单元501，得到单元502的具体处理及其所带来的技术效果可分别参考图3对应实施例中的步骤301、步骤302的相关说明，在此不再赘述。

本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图6所示，设备600包括计算单元601，其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序，来执行各种适当的动作和处理。在RAM603中，还可存储设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如模型训练方法或图像问答方法。例如，在一些实施例中，模型训练方法或图像问答方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由计算单元601执行时，可以执行上文描述的模型训练方法或图像问答方法的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行模型训练方法或图像问答方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程模型训练装置、图像问答装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (17)

1.一种模型训练方法，所述方法包括：

获取已训练完成的问答模型，所述问答模型用于根据输入的问题和文本，输出所述文本中与所述问题对应的答案；

获取已训练完成的图文转换模型，所述图文转换模型用于根据输入的图像文档，输出与所述图像文档对应的文本和文本特征信息；

将所述图文转换模型输出端接入所述问答识别模型的输入端，并且将所述文本特征信息拼接入所述问答识别模型的嵌入层，得到图像问答网络；

对所述图像问答网络进行训练，得到训练完成的图像问答模型，所述图像问答模型用于根据输入的问题和图像文档，输出所述图像文档中与所述问题对应的答案。

2.根据权利要求1所述的方法，其中，所述图文转换模型还用于输出所述图像文档对应的文本的位置信息，在得到图像问答网络之前，所述方法还包括：

将所述位置信息拼接入所述嵌入层。

3.根据权利要求1所述的方法，其中，所述对所述图像问答网络进行训练，得到训练完成的图像问答模型包括：

获取初始样本集，所述初始样本集包括至少一个初始样本，所述初始样本包括：问题文本、答案文本、图像；

针对各个问题文本和该问题文本对应的图像，为该图像标注答案文本以及该图像中与该答案文本对应的文本，构建包括至少一个训练样本的训练样本集；

根据所述训练样本集和目标损失函数，通过调整所述图像问答网络的参数，生成训练完成的图像问答模型。

4.根据权利要求3所述方法，其中，所述目标损失函数采用以下步骤得到：

获取所述问答模型的问答损失函数；

获取所述图文转换模型的图文损失函数；

基于所述问答损失函数和图文损失函数，得到所述图像问答网络的目标损失函数。

5.根据权利要求3所述的方法，其中，所述获取初始样本集包括：

获取初始问答数据集；

基于所述问答数据集，生成问答键值对集；

基于所述问答键值对集，生成包括图像的初始样本集。

6.根据权利要求1-5之一所述的方法，其中，所述图像文档包括：不同形式的表格文档；

所述图像问答模型用于根据输入的问题和所述表格文档，输出位于所述表格文档的表格内或表格外与所述问题对应的答案。

7.一种图像问答方法，所述方法包括：

获取图像文档和输入问题；

将所述图像文档和所述输入问题同时输入采用如权利要求1-6中任一项所述的方法生成的图像问答模型，得到与所述输入问题对应的答案，所述答案为所述图像文档中的文本。

8.一种模型训练装置，所述装置包括：

问答获取单元，被配置成获取已训练完成的问答模型，所述问答模型用于根据输入的问题和文本，输出所述文本中与所述问题对应的答案；

图文获取单元，被配置成获取已训练完成的图文转换模型，所述图文转换模型用于根据输入的图像文档，输出与所述图像文档对应的文本和文本特征信息；

得到单元，被配置成将所述图文转换模型输出端接入所述问答识别模型的输入端，并且将所述文本特征信息拼接入所述问答识别模型的嵌入层，得到图像问答网络；

训练单元，被配置成对所述图像问答网络进行训练，得到训练完成的图像问答模型，所述图像问答模型用于根据输入的问题和图像文档，输出所述图像文档中与所述问题对应的答案。

9.根据权利要求8所述的装置，其中，所述图文转换模型还用于输出所述图像文档对应的文本的位置信息，所述装置还包括：

拼接单元，被配置成将所述位置信息拼接入所述嵌入层。

10.根据权利要求8所述的装置，其中，所述训练单元包括：

样本获取模块，被配置成获取初始样本集，所述初始样本集包括至少一个初始样本，所述初始样本包括：问题文本、答案文本、图像；

标注模块，被配置成针对各个问题文本和该问题文本对应的图像，为该图像标注答案文本以及该图像中与该答案文本对应的文本，构建包括至少一个训练样本的训练样本集；

调整模块，被配置成根据所述训练样本集和目标损失函数，通过调整所述图像问答网络的参数，生成训练完成的图像问答模型。

11.根据权利要求10所述的装置，其中，所述目标损失函数采用以下单元得到：

问答获取模块，被配置成获取所述问答模型的问答损失函数；

图文获取模块，被配置成获取所述图文转换模型的图文损失函数；

得到模块，被配置成基于所述问答损失函数和图文损失函数，得到所述图像问答网络的目标损失函数。

12.根据权利要求10所述的装置，其中，所述样本获取模块包括：

获取子模块，被配置成获取初始问答数据集；

键值生成子模块，被配置成基于所述问答数据集，生成问答键值对集；

样本生成子模块，被配置成基于所述问答键值对集，生成包括图像的初始样本集。

13.根据权利要求8-11之一所述的装置，其中，所述图像文档包括：不同形式的表格文档；

所述图像问答模型用于根据输入的问题和所述表格文档，输出位于所述表格文档的表格内或表格外与所述问题对应的答案。

14.一种图像问答装置，所述装置包括：

获取单元，被配置成获取图像文档和输入问题；

得到单元，被配置成将所述图像文档和所述输入问题同时输入采用如权利要求1-6中任一项所述的方法生成的图像问答模型，得到与所述输入问题对应的答案，所述答案为所述图像文档中的文本。

15.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。

16.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-7中任一项所述的方法。

17.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现权利要求1-7中任一项所述的方法。

Images