CN114461771A - 问答方法、装置、电子设备和可读存储介质 - Google Patents

Abstract

本公开提供了一种问答方法、装置、电子设备和可读存储介质，涉及自然语言处理、深度学习、云服务等人工智能技术领域。其中，问答方法包括：获取待查询问题，得到所述待查询问题的第一问题向量与第二问题向量；根据所述第一问题向量，从多个候选向量中确定至少一个第一目标向量；根据与所述至少一个第一目标向量对应的图片，得到与所述至少一个第一目标向量对应的第一图片向量；根据所述第二问题向量与至少一个第一图片向量，从所述至少一个第一目标向量中确定至少一个第二目标向量；根据与所述至少一个第二目标向量对应的候选内容，得到所述待查询问题的答案。本公开能够丰富所获取的答案中包含的内容，提升在获取答案时的准确性。

Description

问答方法、装置、电子设备和可读存储介质

技术领域

本公开涉及数据处理技术领域，具体涉及自然语言处理、深度学习、云服务等人工智能技术领域。提供了一种问答方法、装置、电子设备和可读存储介质。

背景技术

随着人工智能技术的快速发展，问答技术受到越来越多的关注，问答系统可以根据用户提出的问题寻找相应的答案。相关技术通常采用将用户输入的问题与候选答案进行文本匹配的方式，来确定目标答案，导致问答系统所提供的答案的准确性较低，且答案中所包含的内容较为单一。

发明内容

根据本公开的第一方面，提供了一种问答方法，包括：获取待查询问题，得到所述待查询问题的第一问题向量与第二问题向量；根据所述第一问题向量，从多个候选向量中确定至少一个第一目标向量，所述候选向量与包含文字与图片的一个候选内容相对应；根据与所述至少一个第一目标向量对应的图片，得到与所述至少一个第一目标向量对应的第一图片向量；根据所述第二问题向量与至少一个第一图片向量，从所述至少一个第一目标向量中确定至少一个第二目标向量；根据与所述至少一个第二目标向量对应的候选内容，得到所述待查询问题的答案。

根据本公开的第三方面，提供了一种问答装置，包括：获取单元，用于获取待查询问题，得到所述待查询问题的第一问题向量与第二问题向量；第一确定单元，用于根据所述第一问题向量，从多个候选向量中确定至少一个第一目标向量，所述候选向量与包含文字与图片的一个候选内容相对应；处理单元，用于根据与所述至少一个第一目标向量对应的图片，得到与所述至少一个第一目标向量对应的第一图片向量；第二确定单元，用于根据所述第二问题向量与至少一个第一图片向量，从所述至少一个第一目标向量中确定至少一个第二目标向量；反馈单元，用于根据与所述至少一个第二目标向量对应的候选内容，得到所述待查询问题的答案。

根据本公开的第三方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的方法。

根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行如上所述的方法。

根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如上所述的方法。

由以上技术方案可以看出，本公开能够有效地利用包含图片的资源来实现问答，通过使用与图片对应的向量来得到待查询问题的答案，丰富了所获取的答案中包含的内容，提升了在获取答案时的准确性。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开第一实施例的示意图；

图2是根据本公开第二实施例的示意图；

图3是根据本公开第三实施例的示意图；

图4是根据本公开第四实施例的示意图；

图5是用来实现本公开实施例的问答方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和机构的描述。

图1是根据本公开第一实施例的示意图。如图1所示，本实施例的问答方法，具体包括如下步骤：

S101、获取待查询问题，得到所述待查询问题的第一问题向量与第二问题向量；

S102、根据所述第一问题向量，从多个候选向量中确定至少一个第一目标向量，所述候选向量与包含文字与图片的一个候选内容相对应；

S103、根据与所述至少一个第一目标向量对应的图片，得到与所述至少一个第一目标向量对应的第一图片向量；

S104、根据所述第二问题向量与至少一个第一图片向量，从所述至少一个第一目标向量中确定至少一个第二目标向量；

S105、根据与所述至少一个第二目标向量对应的候选内容，得到所述待查询问题的答案。

本实施例的问答方法，在获取待查询问题之后，首先根据待查询问题的第一问题向量确定至少一个第一目标向量，再根据与至少一个第一目标向量对应的候选内容中的图片得到至少一个第一图片向量，然后根据待查询问题的第二问题向量与至少一个第一图片向量，确定至少一个第二目标向量，最后根据与至少一个第二目标向量对应的候选内容，得到待查询问题的答案，从而完成问答，本实施例能够有效地利用包含图片的资源来实现问答，通过使用与图片对应的向量来得到待查询问题的答案，丰富了所获取的答案中包含的内容，提升了在获取答案时的准确性。

本实施例在执行S101获取待查询问题时，可以直接将输入端输入的文本格式的问题作为待查询问题，也可以在将输入端输入的语音格式的问题进行文本转换之后，将转换结果作为待查询问题。

本实施例执行S101获取待查询问题之后，执行得到待查询问题的第一问题向量与第二问题向量的步骤。

其中，本实施例执行S101得到的第一问题向量，为用于表示待查询问题的答案所对应的语义的向量；本实施例执行S101得到的第二问题向量，为用于表示待查询问题的自身所对应的语义的向量。

本实施例在执行S101得到待查询问题的第一问题向量时，可以采用的可选实现方式为：将所获取的待查询问题输入问题文本模型，将问题文本模型的输出结果作为第一问题向量。

具体地，本实施例执行S101所使用的问题文本模型可以采用以下方式训练得到：获取第一训练数据，第一训练数据中包含多个样本问题与多个样本问题的答案标注向量，本实施例中的答案标注向量为样本问题的答案所对应的语义的向量；将多个样本问题输入神经网络模型，得到神经网络模型针对每个样本问题输出的答案预测向量；使用每个样本问题的答案标注向量与答案预测向量计算损失函数值；根据计算得到的损失函数值调整神经网络模型的参数，直至神经网络模型收敛，得到问题文本模型。

本实施例在执行S101得到待查询问题的第二问题向量时，可以采用的可选实现方式为：将所获取的待查询问题输入语义表示模型，将语义表示模型的输出结果作为第二问题向量。

具体地，本实施执行S101所使用的语义表示模型可以采用以下方式训练得到：获取第二训练数据，第二训练数据中包含多个样本文本与多个样本文本的语义标注向量，本实施例中的语义标注向量为样本文本的自身所对应的语义的向量：将多个样本文本输入神经网络模型，得到神经网络模型针对每个样本文本输出的语义预测向量；使用每个样本文本的语义标注向量与语义预测向量计算损失函数值；根据计算得到的损失函数值调整神经网络模型的参数，直至神经网络模型收敛，得到语义表示模型。

本实施例在执行S101得到待查询问题的第一问题向量与第二问题向量之后，执行S102根据所得到的第一问题向量，从多个候选向量中确定至少一个第一目标向量。

本实施例执行S102使用的每个候选向量，分别与包含文字与图片的一个候选内容相对应，本实施例中的候选内容即为待查询问题的候选答案。

具体地，本实施例在执行S102根据所得到的第一问题向量，从多个候选向量中确定至少一个第一目标向量时，可以采用的可选实现方式为：获取多个候选向量，本实施例获取的每个候选向量包含第二图片向量与第一文字向量，并且每个候选向量分别与包含文字与图片的一个候选内容相对应；分别计算第一问题向量与多个候选向量之间的第一相似度；将第一相似度满足第一预设条件的候选向量，作为至少一个第一目标向量，例如在将第一相似度按照从大到小的顺序进行排列之后，将排在前N位的候选向量作为第一目标向量，N为大于等于1的正整数。

由于本实施例中的第一问题向量为用于表示待查询问题的答案所对应的语义的向量，因此本实施例通过计算相应向量之间的第一相似度，从多个候选向量中选取出可以表示待查询问题的候选答案的语义的向量作为第一目标向量，能够提升所确定的第一目标向量的准确性。

本实施例在执行S102时，可以通过实时分析候选资源的方式，来获取多个候选向量；本实施例在执行S102时，还可以从数据库中，获取该数据库中存储的、预先对候选资源进行分析所获取的多个候选向量。

可以理解的是，本实施例在实时分析候选资源来获取多个候选向量的过程，与预先对候选资源进行分析来获取多个候选向量的过程相同；区别仅在于，若本实施例预先获取了多个候选向量，还需要将所获取的多个候选向量存储到数据库中，以便后续进行查询。

本实施例在执行S102从多个候选向量中确定至少一个第一目标向量之后，执行S103根据与至少一个第一目标向量对应的图片，得到与至少一个第一目标向量对应的第一图片向量；其中，本实施例所得到的第一图片向量的数量与第一目标向量的数量相同。

具体地，本实施例在执行S103根据与至少一个第一目标向量对应的图片，得到与至少一个第一目标向量对应的第一图片向量时，可以采用的可选实现方式为：分别将与至少一个第一目标向量对应的图片输入特征提取模型；将特征提取模型针对每张图片的输出结果，作为与至少一个第一目标向量对应的第一图片向量。

其中，本实施例执行S103使用的特征提取模型可以采用以下方式训练得到：获取第三训练数据，第三训练数据中包含多张样本图片与多张样本图片的特征标注向量；将多张样本图片输入神经网络模型，得到神经网络模型针对每张样本图片输出的特征预测向量；使用每张样本图片的特征标注向量与特征预测向量计算损失函数值；根据计算得到的损失函数值调整神经网络模型的参数，直至神经网络模型收敛，得到特征提取模型。

也就是说，本实施例对与第一目标向量对应的图片进行特征提取，将提取得到的特征向量作为第一图片向量，使得第一图片向量与第二图片向量对应于同一张图片，建立第一图片向量与第一目标向量之间的对应关系。

可以理解的是，本实施例在执行S103时，还可以直接从数据库中获取与至少一个第一目标向量对应的第一图片向量，即与第一目标向量对应的第一图片向量也可以是预先分析得到的。

本实施例在执行S103得到与至少一个第一目标向量对应的第一图片向量之后，执行S104根据第二问题向量与至少一个第一图片向量，从至少一个第一目标向量中确定至少一个第二目标向量。

具体地，本实施例在执行S104根据第二问题向量与至少一个第一图片向量，从至少一个第一目标向量中确定至少一个第二目标向量时，可以采用的可选实现方式为：分别计算第二问题向量与至少一个第一图片向量之间的第二相似度；将第二相似度满足第二预设要求的第一目标向量，作为至少一个第二目标向量，例如在将第二相似度按照从大到小的顺序进行排列之后，将排在前M位的第一目标向量作为第二目标向量，M为大于等于1的正整数。

也就是说，由于第一图片向量与第一目标向量之间存在对应关系，因此本实施例通过计算第二问题向量与第一图片向量之间的相似度，即可从至少一个第一目标向量中选取至少一个第二目标向量，能够提升所确定的至少一个第二目标向量的准确性。

本实施例在执行S104从至少一个第一目标向量中确定至少一个第二目标向量之后，执行S105根据与至少一个第二目标向量对应的候选内容，得到待查询问题的答案。

由于第一目标向量与候选内容之间存在对应关系，且第二目标向量是通过与第一目标向量对应的第一图片向量所确定的，因此本实施例中的第二目标向量实际上是第一目标向量中的一部分，通过第一目标向量与候选内容之间的对应关系，即可得到与第二目标向量对应的候选内容。

本实施例在执行S105根据与至少一个第二目标向量对应的候选内容，得到待查询问题的答案时，可以从与至少一个第二目标向量对应的候选内容中随机选取一个候选内容，进而将随机选取的候选内容作为待查询问题的答案；也可以将与至少一个第二目标向量对应的全部候选内容作为待查询问题的答案。

通过本实施例所提供的上述方法，能够获取包含文字与图片的候选内容作为待查询问题的答案，使得所获取的答案中包含更为丰富的内容，提升了所获取的答案中的准确性。

图2是根据本公开第二实施例的示意图。如图2所示，本实施例在执行S103“获取多个候选向量”时，可以包括如下步骤：

S201、获取至少一个候选资源，得到所述至少一个候选资源中的图片以及位于图片周围的文字；

S202、根据所述图片中包含的文字，得到对应图片的第二图片向量；

S203、根据所述位于图片周围的文字，得到对应文字的第一文字向量；

S204、将由一个第二图片向量与一个第一文字向量组成的向量，作为一个候选向量。

也就是说，本实施例通过对包含图片与文字的候选资源进行分析，根据候选资源中的图片所包含的文字以及位于图片周围的文字，分别得到第二图片向量与第一文字向量，进而由第二图片向量与第一文字向量来获取候选向量，本实施例能够确保所得到的文字与候选资源中的图片更加对应使得所获取的候选向量会包含更为丰富的信息，提升在获取候选向量时的准确性。

其中，本实施例在执行S201获取至少一个候选资源时，可以将包含图片与文字的网页资源作为候选资源，也可以将包含图片与文字的文档资源，例如txt、word、excel、pdf等不同格式的电子文档，作为候选资源。

本实施例在执行S202根据图片中包含的文字，得到对应图片的第二图片向量时，可以首先识别得到图片中的文本，然后将所得到的文本输入语义表示模型，将语义表示模型的输出结果作为第二图片向量；本实施例执行S202所得到的第二图片向量，为用于表示图片中所包含的文字的语义的向量。

本实施例在执行S203根据位于图片周围的文字，得到对应文字的第一文字向量时，可以直接将位于图片周围的文字输入语义表示模型，将语义表示模型的输出结果作为第一文字向量；本实施例执行S203所得到的第一文字向量，可以为用于表示位于图片周围的文字的语义的向量。

另外，本实施例在执行S203根据位于图片周围的文字，得到对应文字的第一文字向量时，还可以首先按照段落的级别，将位于图片周围的文字划分为至少一个段落，然后将对应每个段落的文字输入语义表示模型，将语义表示模型针对每个段落的文字所输出的输出结果，作为该段落文字的第一文字向量。

本实施例在执行S204将由一个第二图片向量与一个第一文字向量组成的向量，作为一个候选向量时，可以按照随机选取的方式，将随机选取的一个第二图片向量与一个第一文字向量组成一个候选向量。

为了提升所获取的候选向量的准确性，本实施例在执行S204将由一个第二图片向量与一个第一文字向量组成的向量，作为一个候选向量时，也可以将位于同一个候选资源的第二图片向量与第一文字向量组成候选向量；还可以针对每个图片，将该图片的第二图片向量与位于该图片周围的文字的第一文字向量组成候选向量。

本实施例在执行S204获取候选向量之后，还可以获取与组成该候选向量的第二图片向量对应的图片、以及与组成该候选向量的第一文字向量对应的文字，将所获取的图片与文字作为与该候选向量对应的候选内容。

可以理解的是，本实施例以及上述实施例中用于获取文本的语义的模型，除了语义表示模型之外，还可以直接使用例如ERNIE等预训练模型。

图3是根据本公开第三实施例的示意图。如图3所示，本实施例在执行S104“将第二相似度满足第二预设要求的第一目标向量，作为至少一个第二目标向量”时，可以包括如下步骤：

S301、获取所述第一问题向量与所述至少一个第一目标向量之间的第一相似度；

S302、根据所述第一相似度与所述第二相似度，得到所述至少一个目标向量的第三相似度；

S303、将所述第三相似度满足第三预设要求的第一目标向量，作为所述至少一个第二目标向量。

也就是说，本实施例在从第一目标向量中选取第二目标向量时，除了使用由第二问题向量与第一图片向量计算得到的第二相似度之外，还会使用第一问题向量与第一目标向量之间的第一相似度，使得所获取的对应第一目标向量的第三相似度更加准确，提升在确定第二目标向量时的准确性。

本实施例在执行S302根据第一相似度与第二相似度，得到至少一个目标向量的第三相似度时，可以采用的可选实现方式为：获取第一权重值与第二权重值，第一权重值对应第一相似度，第二权重值对应第二相似度，第一权重值与第二权重值可以预先设置；获取第一权重值与第一相似度的第一乘积、以及第二权重值与第二相似度的第二乘积；将第一乘积与第二乘积的相加结果，作为第三相似度。

本实施例在执行S303将第三相似度满足第三预设要求的第一目标向量，作为至少一个第二目标向量时，可以在将第三相似度按照从大到小的顺序进行排列之后，将排在前K位的第一目标向量作为至少一个第二目标向量，其中K为大于等于1的正整数。

图4是根据本公开第四实施例的示意图。如图4所示，本实施例的问答装置400，包括：

获取单元401、用于获取待查询问题，得到所述待查询问题的第一问题向量与第二问题向量；

第一确定单元402、用于根据所述第一问题向量，从多个候选向量中确定至少一个第一目标向量，所述候选向量与包含文字与图片的一个候选内容相对应；

处理单元403、用于根据与所述至少一个第一目标向量对应的图片，得到与所述至少一个第一目标向量对应的第一图片向量；

第二确定单元404、用于根据所述第二问题向量与至少一个第一图片向量，从所述至少一个第一目标向量中确定至少一个第二目标向量；

反馈单元405、用于根据与所述至少一个第二目标向量对应的候选内容，得到所述待查询问题的答案。

获取单元401在获取待查询问题时，可以直接将输入端输入的文本格式的问题作为待查询问题，也可以在将输入端输入的语音格式的问题进行文本转换之后，将转换结果作为待查询问题。

获取单元401获取待查询问题之后，执行得到待查询问题的第一问题向量与第二问题向量的步骤。

其中，获取单元401得到的第一问题向量，为用于表示待查询问题的答案所对应的语义的向量；获取单元401得到的第二问题向量，为用于表示待查询问题的自身所对应的语义的向量。

获取单元401在得到待查询问题的第一问题向量时，可以采用的可选实现方式为：将所获取的待查询问题输入问题文本模型，将问题文本模型的输出结果作为第一问题向量。

获取单元401在得到待查询问题的第二问题向量时，可以采用的可选实现方式为：将所获取的待查询问题输入语义表示模型，将语义表示模型的输出结果作为第二问题向量。

本实施例在由获取单元401得到待查询问题的第一问题向量与第二问题向量之后，由第一确定单元402根据所得到的第一问题向量，从多个候选向量中确定至少一个第一目标向量。

第一确定单元402使用的每个候选向量，分别与包含文字与图片的一个候选内容相对应，候选内容即为待查询问题的候选答案。

具体地，第一确定单元402在根据所得到的第一问题向量，从多个候选向量中确定至少一个第一目标向量时，可以采用的可选实现方式为：获取多个候选向量；分别计算第一问题向量与多个候选向量之间的第一相似度；将第一相似度满足第一预设条件的候选向量，作为至少一个第一目标向量。

第一确定单元402在获取多个候选向量时，可以采用的可选实现方式为：获取至少一个候选资源，得到至少一个候选资源中的图片以及位于图片周围的文字；根据图片中包含的文字，得到对应图片的第二图片向量；根据位于图片周围的文字，得到对应文字的第一文字向量；将由一个第二图片向量与一个第一文字向量组成的向量，作为一个候选向量。

也就是说，第一确定单元402通过对包含图片与文字的候选资源进行分析，根据候选资源中的图片所包含的文字以及位于图片周围的文字，分别得到第二图片向量与第一文字向量，进而由第二图片向量与第一文字向量来获取候选向量，本实施例能够确保所得到的文字与候选资源中的图片更加对应使得所获取的候选向量会包含更为丰富的信息，提升在获取候选向量时的准确性。

第一确定单元402在获取至少一个候选资源时，可以将包含图片与文字的网页资源作为候选资源，也可以将包含图片与文字的文档资源，例如txt、word、excel、pdf等不同格式的电子文档，作为候选资源。

第一确定单元402在根据图片中包含的文字，得到对应图片的第二图片向量时，可以首先识别得到图片中的文本，然后将所得到的文本输入语义表示模型，将语义表示模型的输出结果作为第二图片向量；第一确定单元402所得到的第二图片向量，为用于表示图片中所包含的文字的语义的向量。

第一确定单元402在根据位于图片周围的文字，得到对应文字的第一文字向量时，可以直接将位于图片周围的文字输入语义表示模型，将语义表示模型的输出结果作为第一文字向量；第一确定单元402所得到的第一文字向量，可以为用于表示位于图片周围的文字的语义的向量。

另外，第一确定单元402在根据位于图片周围的文字，得到对应文字的第一文字向量时，还可以首先按照段落的级别，将位于图片周围的文字划分为至少一个段落，然后将对应每个段落的文字输入语义表示模型，将语义表示模型针对每个段落的文字所输出的输出结果，作为该段落文字的第一文字向量。

第一确定单元402在将由一个第二图片向量与一个第一文字向量组成的向量，作为一个候选向量时，可以按照随机选取的方式，将随机选取的一个第二图片向量与一个第一文字向量组成一个候选向量。

为了提升所获取的候选向量的准确性，第一确定单元402在将由一个第二图片向量与一个第一文字向量组成的向量，作为一个候选向量时，也可以将位于同一个候选资源的第二图片向量与第一文字向量组成候选向量；还可以针对每个图片，将该图片的第二图片向量与位于该图片周围的文字的第一文字向量组成候选向量。

第一确定单元402在获取候选向量之后，还可以获取与组成该候选向量的第二图片向量对应的图片、以及与组成该候选向量的第一文字向量对应的文字，将所获取的图片与文字作为与该候选向量对应的候选内容。

由于第一问题向量为用于表示待查询问题的答案所对应的语义的向量，因此第一确定单元402通过计算相应向量之间的第一相似度，从多个候选向量中选取出可以表示待查询问题的候选答案的语义的向量作为第一目标向量，能够提升所确定的第一目标向量的准确性。

第一确定单元402可以通过实时分析候选资源的方式，来获取多个候选向量；第一确定单元402还可以从数据库中，获取该数据库中存储的、预先对候选资源进行分析所获取的多个候选向量。

本实施例在由第一确定单元402从多个候选向量中确定至少一个第一目标向量之后，由处理单元403根据与至少一个第一目标向量对应的图片，得到与至少一个第一目标向量对应的第一图片向量；其中，处理单元403所得到的第一图片向量的数量与第一目标向量的数量相同。

具体地，处理单元403在根据与至少一个第一目标向量对应的图片，得到与至少一个第一目标向量对应的第一图片向量时，可以采用的可选实现方式为：分别将与至少一个第一目标向量对应的图片输入特征提取模型；将特征提取模型针对每张图片的输出结果，作为与至少一个第一目标向量对应的第一图片向量。

也就是说，处理单元403对与第一目标向量对应的图片进行特征提取，将提取得到的特征向量作为第一图片向量，使得第一图片向量与第二图片向量对应于同一张图片，建立第一图片向量与第一目标向量之间的对应关系。

可以理解的是，处理单元403还可以直接从数据库中获取与至少一个第一目标向量对应的第一图片向量，即与第一目标向量对应的第一图片向量也可以是预先分析得到的。

本实施例在由处理单元403得到与至少一个第一目标向量对应的第一图片向量之后，由第二确定单元404根据第二问题向量与至少一个第一图片向量，从至少一个第一目标向量中确定至少一个第二目标向量。

具体地，第二确定单元404在根据第二问题向量与至少一个第一图片向量，从至少一个第一目标向量中确定至少一个第二目标向量时，可以采用的可选实现方式为：分别计算第二问题向量与至少一个第一图片向量之间的第二相似度；将第二相似度满足第二预设要求的第一目标向量，作为至少一个第二目标向量。

也就是说，由于第一图片向量与第一目标向量之间存在对应关系，因此第二确定单元404通过计算第二问题向量与第一图片向量之间的相似度，即可从至少一个第一目标向量中选取至少一个第二目标向量，能够提升所确定的至少一个第二目标向量的准确性。

第二确定单元404在将第二相似度满足第二预设要求的第一目标向量，作为至少一个第二目标向量时，可以采用以下方式：获取第一问题向量与所述至少一个第一目标向量之间的第一相似度；根据第一相似度与第二相似度，得到至少一个目标向量的第三相似度；将第三相似度满足第三预设要求的第一目标向量，作为至少一个第二目标向量。

也就是说，第二确定单元404在从第一目标向量中选取第二目标向量时，除了使用由第二问题向量与第一图片向量计算得到的第二相似度之外，还会使用第一问题向量与第一目标向量之间的第一相似度，使得所获取的对应第一目标向量的第三相似度更加准确，提升在确定第二目标向量时的准确性。

第二确定单元404在根据第一相似度与第二相似度，得到至少一个目标向量的第三相似度时，可以采用的可选实现方式为：获取第一权重值与第二权重值；获取第一权重值与第一相似度的第一乘积、以及第二权重值与第二相似度的第二乘积；将第一乘积与第二乘积的相加结果，作为第三相似度。

第二确定单元404在将第三相似度满足第三预设要求的第一目标向量，作为至少一个第二目标向量时，可以在将第三相似度按照从大到小的顺序进行排列之后，将排在前K位的第一目标向量作为至少一个第二目标向量，其中K为大于等于1的正整数。

本实施例在由第二确定单元404从至少一个第一目标向量中确定至少一个第二目标向量之后，由反馈单元405根据与至少一个第二目标向量对应的候选内容，得到待查询问题的答案。

由于第一目标向量与候选内容之间存在对应关系，且第二目标向量是通过与第一目标向量对应的第一图片向量所确定的，因此第二目标向量实际上是第一目标向量中的一部分，反馈单元405通过第一目标向量与候选内容之间的对应关系，即可得到与第二目标向量对应的候选内容。

反馈单元405在根据与至少一个第二目标向量对应的候选内容，得到待查询问题的答案时，可以从与至少一个第二目标向量对应的候选内容中随机选取一个候选内容，进而将随机选取的候选内容作为待查询问题的答案；也可以将与至少一个第二目标向量对应的全部候选内容作为待查询问题的答案。

本实施例的问答装置400还可以包含训练单元406，用于采用不同的方式训练得到问题文本模型、语义表示模型与特征提取模型。

具体地，训练单元406可以采用以下方式训练得到问题文本模型：获取第一训练数据，第一训练数据中包含多个样本问题与多个样本问题的答案标注向量；将多个样本问题输入神经网络模型，得到神经网络模型针对每个样本问题输出的答案预测向量；使用每个样本问题的答案标注向量与答案预测向量计算损失函数值；根据计算得到的损失函数值调整神经网络模型的参数，直至神经网络模型收敛，得到问题文本模型。

具体地，训练单元406可以采用以下方式训练得到语义表示模型：获取第二训练数据，第二训练数据中包含多个样本文本与多个样本文本的语义标注向量：将多个样本文本输入神经网络模型，得到神经网络模型针对每个样本文本输出的语义预测向量；使用每个样本文本的语义标注向量与语义预测向量计算损失函数值；根据计算得到的损失函数值调整神经网络模型的参数，直至神经网络模型收敛，得到语义表示模型。

具体地，训练单元406可以采用以下方式训练得到特征提取模型：获取第三训练数据，第三训练数据中包含多张样本图片与多张样本图片的特征标注向量；将多张样本图片输入神经网络模型，得到神经网络模型针对每张样本图片输出的特征预测向量；使用每张样本图片的特征标注向量与特征预测向量计算损失函数值；根据计算得到的损失函数值调整神经网络模型的参数，直至神经网络模型收敛，得到特征提取模型。

本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

如图5所示，是根据本公开实施例的问答方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图5所示，设备500包括计算单元501，其可以根据存储在只读存储器(ROM)502中的计算机程序或者从存储单元508加载到随机访问存储器(RAM)503中的计算机程序，来执行各种适当的动作和处理。在RAM503中，还可存储设备500操作所需的各种程序和数据。计算单元501、ROM502以及RAM503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

设备500中的多个部件连接至I/O接口505，包括：输入单元506，例如键盘、鼠标等；输出单元507，例如各种类型的展示器、扬声器等；存储单元508，例如磁盘、光盘等；以及通信单元509，例如网卡、调制解调器、无线通信收发机等。通信单元509允许设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元501可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元501的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元501执行上文所描述的各个方法和处理，例如问答方法。例如，在一些实施例中，问答方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元508。

在一些实施例中，计算机程序的部分或者全部可以经由ROM502和/或通信单元509而被载入和/或安装到设备500上。当计算机程序加载到RAM 503并由计算单元501执行时，可以执行上文描述的问答方法的一个或多个步骤。备选地，在其他实施例中，计算单元501可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行问答方法。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程问答装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户展示信息的展示装置(例如，CRT(阴极射线管)或者LCD(液晶展示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务(“Virtual Private Server”，或简称“VPS”)中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (19)

1.一种问答方法，包括：

获取待查询问题，得到所述待查询问题的第一问题向量与第二问题向量；

根据所述第一问题向量，从多个候选向量中确定至少一个第一目标向量，所述候选向量与包含文字与图片的一个候选内容相对应；

根据与所述至少一个第一目标向量对应的图片，得到与所述至少一个第一目标向量对应的第一图片向量；

根据所述第二问题向量与至少一个第一图片向量，从所述至少一个第一目标向量中确定至少一个第二目标向量；

根据与所述至少一个第二目标向量对应的候选内容，得到所述待查询问题的答案。

2.根据权利要求1所述的方法，其中，所述得到所述待查询问题的第一问题向量包括：

将所述待查询问题输入问题文本模型，将所述问题文本模型的输出结果作为所述第一问题向量，所述第一问题向量为用于表示所述待查询问题的答案所对应的语义的向量。

3.根据权利要求2所述的方法，其中，所述问题文本模型是采用以下训练方式训练得到：

获取第一训练数据，所述第一训练数据中包含多个样本问题与多个样本问题的答案标注向量；

将所述多个样本问题输入神经网络模型，得到所述神经网络模型针对每个样本问题输出的答案预测向量；

使用每个样本问题的答案标注向量与答案预测向量计算损失函数值；

根据所述损失函数值调整所述神经网络模型的参数，直至所述神经网络模型收敛，得到所述问题文本模型。

4.根据权利要求1-3中任一项所述的方法，其中，所述根据所述第一问题向量，从多个候选向量中确定至少一个第一目标向量包括：

获取多个候选向量；

分别计算所述第一问题向量与所述多个候选向量之间的第一相似度；

将所述第一相似度满足第一预设条件的候选向量，作为所述至少一个第一目标向量。

5.根据权利要求4所述的方法，其中，所述获取多个候选向量包括：

获取至少一个候选资源，得到所述至少一个候选资源中的图片以及位于图片周围的文字；

根据所述图片中包含的文字，得到对应图片的第二图片向量；

根据所述位于图片周围的文字，得到对应文字的第一文字向量；

将由一个第二图片向量与一个第一文字向量组成的向量，作为一个候选向量。

6.根据权利要求1-5中任一项所述的方法，其中，所述根据所述第二问题向量与至少一个第一图片向量，从所述至少一个第一目标向量中确定至少一个第二目标向量包括：

分别计算所述第二问题向量与至少一个第一图片向量之间的第二相似度；

将所述第二相似度满足第二预设要求的第一目标向量，作为所述至少一个第二目标向量。

7.根据权利要求6所述的方法，其中，所述将所述第二相似度满足第二预设要求的第一目标向量，作为所述至少一个第二目标向量包括：

获取所述第一问题向量与所述至少一个第一目标向量之间的第一相似度；

根据所述第一相似度与所述第二相似度，得到所述至少一个目标向量的第三相似度；

将所述第三相似度满足第三预设要求的第一目标向量，作为所述至少一个第二目标向量。

8.根据权利要求7所述的方法，其中，所述根据所述第一相似度与所述第二相似度，得到所述至少一个目标向量的第三相似度包括：

获取第一权重值与第二权重值；

获取所述第一权重值与所述第一相似度的第一乘积、以及所述第二权重值与所述第二相似度的第二乘积；

将所述第一乘积与所述第二乘积的相加结果，作为所述第三相似度。

9.一种问答装置，包括：

获取单元，用于获取待查询问题，得到所述待查询问题的第一问题向量与第二问题向量；

第一确定单元，用于根据所述第一问题向量，从多个候选向量中确定至少一个第一目标向量，所述候选向量与包含文字与图片的一个候选内容相对应；

处理单元，用于根据与所述至少一个第一目标向量对应的图片，得到与所述至少一个第一目标向量对应的第一图片向量；

第二确定单元，用于根据所述第二问题向量与至少一个第一图片向量，从所述至少一个第一目标向量中确定至少一个第二目标向量；

反馈单元，用于根据与所述至少一个第二目标向量对应的候选内容，得到所述待查询问题的答案。

10.根据权利要求9所述的装置，其中，所述获取单元在得到所述待查询问题的第一问题向量时，具体执行：

将所述待查询问题输入问题文本模型，将所述问题文本模型的输出结果作为所述第一问题向量，所述第一问题向量为用于表示所述待查询问题的答案所对应的语义的向量。

11.根据权利要求10所述的装置，还包括训练单元，用于采用以下训练方式训练得到所述问题文本模型：

获取第一训练数据，所述第一训练数据中包含多个样本问题与多个样本问题的答案标注向量；

将所述多个样本问题输入神经网络模型，得到所述神经网络模型针对每个样本问题输出的答案预测向量；

使用每个样本问题的答案标注向量与答案预测向量计算损失函数值；

根据所述损失函数值调整所述神经网络模型的参数，直至所述神经网络模型收敛，得到所述问题文本模型。

12.根据权利要求9-11中任一项所述的装置，其中，所述第一确定单元在根据所述第一问题向量，从多个候选向量中确定至少一个第一目标向量时，具体执行：

获取多个候选向量；

分别计算所述第一问题向量与所述多个候选向量之间的第一相似度；

将所述第一相似度满足第一预设条件的候选向量，作为所述至少一个第一目标向量。

13.根据权利要求12所述的装置，其中，所述第一确定单元在获取多个候选向量时，具体执行：

获取至少一个候选资源，得到所述至少一个候选资源中的图片以及位于图片周围的文字；

根据所述图片中包含的文字，得到对应图片的第二图片向量；

根据所述位于图片周围的文字，得到对应文字的第一文字向量；

将由一个第二图片向量与一个第一文字向量组成的向量，作为一个候选向量。

14.根据权利要求9-13中任一项所述的装置，其中，所述第二确定单元在根据所述第二问题向量与至少一个第一图片向量，从所述至少一个第一目标向量中确定至少一个第二目标向量时，具体执行：

分别计算所述第二问题向量与至少一个第一图片向量之间的第二相似度；

将所述第二相似度满足第二预设要求的第一目标向量，作为所述至少一个第二目标向量。

15.根据权利要求14所述的装置，其中，所述第二确定单元在将所述第二相似度满足第二预设要求的第一目标向量，作为所述至少一个第二目标向量时，具体执行：

获取所述第一问题向量与所述至少一个第一目标向量之间的第一相似度；

根据所述第一相似度与所述第二相似度，得到所述至少一个目标向量的第三相似度；

将所述第三相似度满足第三预设要求的第一目标向量，作为所述至少一个第二目标向量。

16.根据权利要求15所述的装置，其中，所述第二确定单元在根据所述第一相似度与所述第二相似度，得到所述至少一个目标向量的第三相似度时，具体执行：

获取第一权重值与第二权重值；

获取所述第一权重值与所述第一相似度的第一乘积、以及所述第二权重值与所述第二相似度的第二乘积；

将所述第一乘积与所述第二乘积的相加结果，作为所述第三相似度。

17.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。

18.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1-8中任一项所述的方法。

19.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-8中任一项所述的方法。

Images