CN117909451B - 问答结果溯源方法、装置、设备、介质及程序产品 - Google Patents

Abstract

本发明提供一种问答结果溯源方法、装置、设备、介质及程序产品，涉及智能问答技术领域，所述方法包括：获取与问答结果对应的问答语句相关的N个段落文档；N为大于等于1的正整数；将N个段落文档和问答结果输入到词袋模型中，得到问答结果对应的溯源文档。本发明极大地提升了问答结果溯源的准确率。

Description

问答结果溯源方法、装置、设备、介质及程序产品

技术领域

本发明涉及智能问答技术领域，尤其涉及一种问答结果溯源方法、装置、设备、介质及程序产品。

背景技术

大模型在做智能问答时，生成的问答结果不知道来自于何处原文，使得问答结果往往不够完整并且来源未知。

为了对问答结果进行溯源，通常采用字符串匹配的方法进行溯源，但是溯源错误率较高。

发明内容

本发明提供一种问答结果溯源方法、装置、设备、介质及程序产品，用以解决现有技术中问答结果溯源的错误率较高的缺陷，实现提升问答结果溯源的准确率。

本发明提供一种问答结果溯源方法，包括：

获取与问答结果对应的问答语句相关的N个段落文档；所述N为大于等于1的正整数；

将所述N个段落文档和所述问答结果输入到词袋模型中，得到所述问答结果对应的溯源文档。

在一些实施例中，所述将所述N个段落文档和所述问答结果输入到词袋模型中，得到所述问答结果对应的溯源文档，包括：

分别对所述N个段落文档和所述问答结果输入到所述词袋模型的分词模块中进行分词，得到每个段落文档对应的分词序列，以及所述问答结果对应的分词序列；

将每个段落文档对应的分词序列与所述问答结果对应的分词序列，输入到所述词袋模型的计算模块中进行相似度计算，得到每个段落文档对应的相似度值；

将最大相似度值对应的段落文档作为所述问答结果对应的溯源文档。

在一些实施例中，所述获取与问答结果对应的问答语句相关的N个段落文档，包括：

确定所述问答语句中的关键词；

将所述关键词输入到ES检索库中，获取所述N个段落文档。

在一些实施例中，在所述获取所述N个段落文档之后，还包括：

将所述N个段落文档和所述问答语句进行拼接后输入到大模型中，得到所述问答结果。

在一些实施例中，在所述将所述关键词输入到ES检索库中，获取所述N个段落文档之前，还包括：

将业务语料进行段落级别的切割，得到段落级别的文档；

将所述段落级别的文档进行分词处理，得到分词数据；

建立所述分词数据与所述段落级别的文档的反向索引，得到构建好的所述ES检索库。

在一些实施例中，所述相似度计算的表达式如下：

式中，表示段落文档对应的分词序列与所述问答结果对应的分词序列之间的相似度，表示所述问答结果对应的分词序列，表示段落文档对应的分词序列。

本发明还提供一种问答结果溯源装置，包括：

获取模块，用于获取与问答结果对应的问答语句相关的N个段落文档；所述N为大于等于1的正整数；

溯源模块，用于将所述N个段落文档和所述问答结果输入到词袋模型中，得到所述问答结果对应的溯源文档。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述问答结果溯源方法。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述问答结果溯源方法。

本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述问答结果溯源方法。

本发明提供的问答结果溯源方法、装置、设备、介质及程序产品，通过将与问答语句相关的段落文档和问答结果输入到词袋模型中，使用词袋模型对问答结果进行溯源，极大地提升了问答结果溯源的准确率。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的问答结果溯源方法的流程示意图；

图2是本发明提供的问答结果溯源装置的结构示意图；

图3是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。需要说明的是，在不冲突的情况下，本发明的实施方式及实施方式中的特征可以相互组合。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明提供的问答结果溯源方法的流程示意图，如图1所示，本发明提供一种问答结果溯源方法，包括以下步骤：

步骤110，获取与问答结果对应的问答语句相关的N个段落文档；N为大于等于1的正整数。

步骤120，将N个段落文档和问答结果输入到词袋模型中，得到问答结果对应的溯源文档。

具体地，问答语句是用户所提的需要回答的语句，问答结果是大模型基于问答语句给出的回答。一个问答语句对应一个问答结果。

对问答结果进行溯源，即确定大模型生成回答的参考依据是什么，而这些参考依据大概率是与问答语句相关的段落文档。因此，首先获取与问答结果对应的问答语句相关的N个段落文档，N为大于等于1的正整数，例如，N=3。

然后，将N个段落文档和问答结果输入到词袋模型中，词袋模型逐个计算每个段落文档与问答结果的相似度，输出最高相似度值对应的段落文档，该段落文档即为问答结果对应的溯源文档，从而实现了对问答结果的溯源。

本发明提供的问答结果溯源方法，通过将与问答语句相关的段落文档和问答结果输入到词袋模型中，使用词袋模型对问答结果进行溯源，极大地提升了问答结果溯源的准确率。

在一些实施例中，将N个段落文档和问答结果输入到词袋模型中，得到问答结果对应的溯源文档，包括：

分别将N个段落文档和问答结果输入到词袋模型的分词模块中进行分词，得到每个段落文档对应的分词序列，以及问答结果对应的分词序列；

将每个段落文档对应的分词序列与问答结果对应的分词序列，输入到词袋模型的计算模块中进行相似度计算，得到每个段落文档对应的相似度值；

将最大相似度值对应的段落文档作为问答结果对应的溯源文档。

具体地，词袋模型包括分词模块和计算模块，分词模块用于进行分词处理，计算模块用于进行相似度计算。

将N个段落文档和问答结果输入到词袋模型的分词模块中，分别对N个段落文档和问答结果进行分词处理，得到每个段落文档对应的分词序列以及问答结果对应的分词序列。

例如，N=3，3个段落文档分别为、和，问答结果为，在词袋模型的分词模块中分别对这3个段落文档和问答结果进行分词处理，得到问答结果对应的分词序列为，对应的分词序列为、对应的分词序列为，对应的分词序列为。

每次将N个段落文档中的任一段落文档对应的分词序列和问答结果对应的分词序列输入到词袋模型的计算模块中，对任一段落文档对应的分词序列和问答结果对应的分词序列进行相似度计算，得到任一段落文档对应相似度值。

计算N次，得到所有段落文档对应的相似度值即N个相似度值，从N个相似度值中确定最大的相似度值，将最大相似度值对应的段落文档作为问答结果对应的溯源文档。

本发明提供的问答结果溯源方法，通过先分别对N个段落文档和问答结果进行分词处理，再计算每个段落文档对应的分词序列与问答结果对应的分词序列之间的相似度，然后将最大相似度值对应的段落文档作为问答结果对应的溯源文档，从而进一步提升了问答结果溯源的准确率。

在一些实施例中，相似度计算的表达式如下：

式中，表示段落文档对应的分词序列与问答结果对应的分词序列之间的相似度，表示问答结果对应的分词序列，表示段落文档对应的分词序列。

具体地，相似度计算是先计算段落文档对应的分词序列与问答结果对应的分词序列之间的交集分词个数，再将交集分词个数占问答结果对应的分词序列的比例，作为段落文档对应的分词序列与问答结果对应的分词序列之间的相似度。

在一些实施例中，获取与问答结果对应的问答语句相关的N个段落文档，包括：

确定问答语句中的关键词；

将关键词输入到ES检索库中，获取N个段落文档。

具体地，问答语句中的关键词可以是问答语句中的名词和动词等，或者基于正则表达式确定问答语句中的关键词。

在得到问答语句中的关键词之后，将关键词输入到弹性搜索（Elastic Search，ES）检索库中，ES检索库中存储着很多段落级别的文档，根据关键词在ES检索库中进行精确匹配、模糊匹配、布尔查询等，获取ES检索库反馈的多个段落文档。

由于ES检索库是优先反馈匹配度高的段落文档，因此从ES检索库反馈的多个段落文档中选取前N个段落文档。

本发明提供的问答结果溯源方法，通过先确定问答语句中的关键词，再将关键词输入到ES检索库中，有利于提升获取的N个段落文档的速度和准确度。

在一些实施例中，在将关键词输入到ES检索库中，获取N个段落文档之前，还包括：

将业务语料进行段落级别的切割，得到段落级别的文档；

将段落级别的文档进行分词处理，得到分词数据；

建立分词数据与段落级别的文档的反向索引，得到构建好的ES检索库。

具体地，业务语料可以是从各种信息库或知识库中获取的语料信息，由于业务语料包含的信息较多，因此将业务语料进行段落级别的切割，得到段落级别的文档。

将段落级别的文档输入到ES检索库中，使用空格分词器（Whitespace Tokenizer）进行分词处理，得到分词数据。

例如，段落级别的文档序列，包括m个段落级别的文档，在进行分词处理后，段落级别的文档序列为，可知，每个段落级别的文档对应n个分词数据。

建立分词数据与段落级别的文档的反向索引，即一个分词数据对应多个段落级别的文档，得到构建好的ES检索库分词数据与段落级别的文档之间的对应关系表达式如下所示：

式中，表示第i个段落级别的文档对应的第j个分词数据，表示标识为的段落级别的文档。

本发明提供的问答结果溯源方法，通过将业务语料进行段落级别的切割，得到段落级别的文档，将段落级别的文档进行分词处理，得到分词数据，建立分词数据与段落级别的文档的反向索引，得到构建好的ES检索库，有利于提升ES检索库的检索速度。

在一些实施例中，在获取N个段落文档之后，还包括：

将N个段落文档和问答语句进行拼接后输入到大模型中，得到问答结果。

具体地，假设N=3，3个段落文档分别为、和，用户输入的问答语句为，为第k个字或词语，将这3个段落文档与问答语句拼接起来输入到大模型中，则大模型的输入为：

将N个段落文档和问答语句进行拼接后输入到大模型中，得到中间隐状态为，其中L为序列长度，为第L个位置的张量，经过多层感知器(Multilayer Perceptron，MLP)后映射为词汇表上的概率分布，其中为整个词表的大小，为处于第个位置处的概率张量，经过softmax层输出概率最大的词作为下一个字进行输出。依靠大模型的推理能力对N个段落文档进行有选择的利用和理解，得到问答结果。

本发明提供的问答结果溯源方法，通过将与问答语句相关的N个段落文档和问答语句进行拼接后输入到大模型中，有利于提升问答结果的准确度。

下面以具体的实施例进一步说明本发明提供的问答结果溯源方法。

（1）例如，问答语句query为“A的妻子是谁”，将问答语句中的“A”和“妻子”输入到ES检索库中，得到3个段落文档，分别是为“2015年1月17日，A与B在英国举行婚礼”，为“A，1979年1月18日出生于C省D市，毕业于E中学”，为“2004年底，A与F相恋。2005年，两人公开承认恋情。2006年5月，两人分手”。

（2）大模型选取通义千问14B大模型，通义千问14B大模型的超参数如表1所示。

表1 通义千问14B大模型的超参数表

将、和与问答语句拼接起来，输入通义千问14B大模型，得到的问答结果answer为“A与B在英国举行婚礼，成为A的妻子”。

（3）将问答结果和、和输入词袋模型中，先进行分词处理，问答结果answer对应的分词序列为[‘A’‘与’‘B’‘在’‘英国’‘举行’‘婚礼’‘，’‘成为’‘A’‘的’‘妻子’]。

对应的分词序列为[‘2015’‘年’‘1’‘月’‘17’、‘日’‘，’‘A’‘与’‘B’‘在’‘英国’‘举行’‘婚礼’]。

对应的分词序列为[‘A’‘，’‘1979’‘年’‘1’‘月’‘18’‘日’‘出生’‘生于’‘C’‘C省’‘D’‘D市’‘，’‘毕业’‘于’‘E’‘中学’]。

对应的分词序列为[‘2004’‘年底’‘，’‘A’‘与’‘F’‘相恋’‘。’‘2005’‘年’‘，’‘两人’‘公开’‘承认’‘恋情’‘。’‘2006’‘年’‘5’‘月’‘，’‘两人’‘分手’]。

分别计算得到对应的相似度值为7/12，对应的相似度值为1/12，对应的相似度值为2/12。因此，问答结果对应的溯源文档为。

下面对本发明提供的问答结果溯源装置进行描述，下文描述的问答结果溯源装置与上文描述的问答结果溯源方法可相互对应参照。

图2是本发明提供的问答结果溯源装置的结构示意图，如图2所示，本发明提供一种问答结果溯源装置，包括：

获取模块210，用于获取与问答结果对应的问答语句相关的N个段落文档；所述N为大于等于1的正整数；

溯源模块220，用于将所述N个段落文档和所述问答结果输入到词袋模型中，得到所述问答结果对应的溯源文档。

在一些实施例中，所述溯源模块220具体用于：

分别对所述N个段落文档和所述问答结果输入到所述词袋模型的分词模块中进行分词，得到每个段落文档对应的分词序列，以及所述问答结果对应的分词序列；

将每个段落文档对应的分词序列与所述问答结果对应的分词序列，输入到所述词袋模型的计算模块中进行相似度计算，得到每个段落文档对应的相似度值；

将最大相似度值对应的段落文档作为所述问答结果对应的溯源文档。

在一些实施例中，所述获取模块210具体用于：

确定所述问答语句中的关键词；

将所述关键词输入到ES检索库中，获取所述N个段落文档。

在一些实施例中，所述装置还包括：

拼接输入模块，用于将所述N个段落文档和所述问答语句进行拼接后输入到大模型中，得到所述问答结果。

在一些实施例中，所述装置还包括：

切割模块，用于将业务语料进行段落级别的切割，得到段落级别的文档；

分词模块，用于将所述段落级别的文档进行分词处理，得到分词数据；

建立模块，用于建立所述分词数据与所述段落级别的文档的反向索引，得到构建好的所述ES检索库。

在一些实施例中，所述相似度计算的表达式如下：

式中，表示段落文档对应的分词序列与所述问答结果对应的分词序列之间的相似度，表示所述问答结果对应的分词序列，表示段落文档对应的分词序列。

在此需要说明的是，本发明提供的上述问答结果溯源装置，能够实现上述方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。

图3是本发明提供的电子设备的结构示意图，如图3所示，该电子设备可以包括：处理器(processor)310、通信接口(Communications Interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行问答结果溯源方法，该方法包括：获取与问答结果对应的问答语句相关的N个段落文档；所述N为大于等于1的正整数；将所述N个段落文档和所述问答结果输入到词袋模型中，得到所述问答结果对应的溯源文档。

此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的问答结果溯源方法，该方法包括：获取与问答结果对应的问答语句相关的N个段落文档；所述N为大于等于1的正整数；将所述N个段落文档和所述问答结果输入到词袋模型中，得到所述问答结果对应的溯源文档。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的问答结果溯源方法，该方法包括：获取与问答结果对应的问答语句相关的N个段落文档；所述N为大于等于1的正整数；将所述N个段落文档和所述问答结果输入到词袋模型中，得到所述问答结果对应的溯源文档。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是旨在于限制本发明。

进一步需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

本发明中“至少一个”是指一个或者多个，“多个”是指两个或多于两个。本发明的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不是用于描述特定的顺序或先后次序。

在本发明实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种问答结果溯源方法，其特征在于，包括：

获取与问答结果对应的问答语句相关的N个段落文档；所述N为大于等于1的正整数；

将所述N个段落文档和所述问答结果输入到词袋模型中，得到所述问答结果对应的溯源文档；

所述获取与问答结果对应的问答语句相关的N个段落文档，包括：

确定所述问答语句中的关键词；

将所述关键词输入到ES检索库中，获取所述N个段落文档；

在所述获取所述N个段落文档之后，还包括：

将所述N个段落文档和所述问答语句进行拼接后输入到大模型中，得到所述问答结果；

所述将所述N个段落文档和所述问答结果输入到词袋模型中，得到所述问答结果对应的溯源文档，包括：

分别对所述N个段落文档和所述问答结果输入到所述词袋模型的分词模块中进行分词，得到每个段落文档对应的分词序列，以及所述问答结果对应的分词序列；

将每个段落文档对应的分词序列与所述问答结果对应的分词序列，输入到所述词袋模型的计算模块中进行相似度计算，得到每个段落文档对应的相似度值；

将最大相似度值对应的段落文档作为所述问答结果对应的溯源文档。

2.根据权利要求1所述的问答结果溯源方法，其特征在于，在所述将所述关键词输入到ES检索库中，获取所述N个段落文档之前，还包括：

将业务语料进行段落级别的切割，得到段落级别的文档；

将所述段落级别的文档进行分词处理，得到分词数据；

建立所述分词数据与所述段落级别的文档的反向索引，得到构建好的所述ES检索库。

3.根据权利要求1所述的问答结果溯源方法，其特征在于，所述相似度计算的表达式如下：

；

式中，表示段落文档对应的分词序列与所述问答结果对应的分词序列之间的相似度，表示所述问答结果对应的分词序列，表示段落文档对应的分词序列。

4.一种问答结果溯源装置，其特征在于，包括：

获取模块，用于获取与问答结果对应的问答语句相关的N个段落文档；所述N为大于等于1的正整数；

溯源模块，用于将所述N个段落文档和所述问答结果输入到词袋模型中，得到所述问答结果对应的溯源文档；

所述获取与问答结果对应的问答语句相关的N个段落文档，包括：

确定所述问答语句中的关键词；

将所述关键词输入到ES检索库中，获取所述N个段落文档；

在所述获取所述N个段落文档之后，还包括：

将所述N个段落文档和所述问答语句进行拼接后输入到大模型中，得到所述问答结果；

所述将所述N个段落文档和所述问答结果输入到词袋模型中，得到所述问答结果对应的溯源文档，包括：

分别对所述N个段落文档和所述问答结果输入到所述词袋模型的分词模块中进行分词，得到每个段落文档对应的分词序列，以及所述问答结果对应的分词序列；

将每个段落文档对应的分词序列与所述问答结果对应的分词序列，输入到所述词袋模型的计算模块中进行相似度计算，得到每个段落文档对应的相似度值。

5.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至3任一项所述问答结果溯源方法。

6.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述问答结果溯源方法。

7.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述问答结果溯源方法。