CN113157867A - 一种问答方法、装置、电子设备及存储介质 - Google Patents
一种问答方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113157867A CN113157867A CN202110472112.7A CN202110472112A CN113157867A CN 113157867 A CN113157867 A CN 113157867A CN 202110472112 A CN202110472112 A CN 202110472112A CN 113157867 A CN113157867 A CN 113157867A
- Authority
- CN
- China
- Prior art keywords
- question
- knowledge base
- text
- query
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000004044 response Effects 0.000 claims abstract description 11
- 239000013598 vector Substances 0.000 claims description 71
- 238000012549 training Methods 0.000 claims description 27
- 238000013145 classification model Methods 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 11
- 230000014509 gene expression Effects 0.000 description 7
- 238000004140 cleaning Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 230000003416 augmentation Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241000157593 Milvus Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供了一种问答方法、装置、电子设备及存储介质，该方法包括：获取来自用户的查询问题；在预设问答知识库中不存在与所述查询问题相一致的目标参考问题时，计算所述查询问题在多个不同维度下与所述预设问答知识库中每一个参考问题文本相似度，根据所述文本相似度计算所述查询问题与所述预设问答知识库中每一个参考问题的整体相似度；从所述预设问答知识库中包括的参考问题中，选取对应的整体相似度大于预设阈值的多个候选问题；输出所述预设问答知识库中，与目标候选问题对应的应答结果。本申请从不同维度综合考虑参考问题与查询问题的整体相似度，更加准确、高效的匹配到参考问题。
Description
技术领域
本申请涉及智能问答技术领域，具体而言，涉及一种问答方法、装置、电子设备及存储介质。
背景技术
随着人工智能的发展和普及，智能机器人在各个行业的应用也越来越多，对于各个领域的智能机器人来说，常见问题解答(Frequently Asked Question，FAQ)是不可或缺的。FAQ知识库为预先构建的包含大量问答对(即“问句-答案”对)的知识库。当接收到用户查询问题时，需要在上述FAQ知识库中获得最佳问答对，并将该问答对的答案返回给用户。
但是，现存的FAQ问答方法，大多是基于用户查询问题的关键字在FAQ知识库查询。由于关键字在不同语句中的语义不同，从而导致基于关键字的检索，会检索到多种与用户查询问题无关的内容。现存的FAQ问答方法存在在检索、查询的效率低和精度低的问题。
发明内容
有鉴于此，本申请的目的在于提供一种问答方法、装置、电子设备及存储介质，从多个不同维度计算查询问题与参考问题的整体相似度，提高了查询效率和准确度。
第一方面，本申请实施例提供了一种问答方法，所述方法包括：
获取来自用户的查询问题；
在预设问答知识库中不存在与所述查询问题相一致的目标参考问题时，计算所述查询问题在多个不同维度下与所述预设问答知识库中每一个参考问题文本相似度，根据所述文本相似度计算所述查询问题与所述预设问答知识库中每一个参考问题的整体相似度；
从所述预设问答知识库中包括的参考问题中，选取对应的整体相似度大于预设阈值的多个候选问题；
输出所述预设问答知识库中，与目标候选问题对应的应答结果。
在本发明较佳的技术方案中，上述与所述查询问题相一致的目标参考问题，包括：
所述目标参考问题的文本与所述查询问题的文本相同；所述文本相同包括文字相同和文字排列顺序相同。
在本发明较佳的技术方案中，上述计算所述查询问题在多个不同维度下与所述预设问答知识库中每一个参考问题文本相似度，包括：
生成查询问题对应的目标文本；
根据目标文本和第一模型，计算查询问题与所述预设问答知识库中每一个参考问题的第一文本相似度；
根据目标文本和第二模型，计算查询问题与所述预设问答知识库中每一个参考问题的第二文本相似度；
根据目标文本和第三模型，计算查询问题与所述预设问答知识库中每一个参考问题的第三文本相似度；
根据所述第一文本相似度、第二文本相似度以及第三文本相似度，计算所述预设问答知识库中每一个参考问题的整体相似度。
在本发明较佳的技术方案中，上述根据目标文本和第一模型，计算查询问题与所述预设问答知识库中每一个参考问题的第一文本相似度，包括：
根据目标文本，搜索引擎从所述预设问答知识库中召回与目标文本相关的参考问题；
将目标文本和每一个召回参考问题分别输入预训练语言模型，输出查询问题与所述预设问答知识库中每一个参考问题的第一文本相似度。
在本发明较佳的技术方案中，上述根据目标文本和第二模型，计算查询问题与所述预设问答知识库中每一个参考问题的第二文本相似度，包括：
将目标文本输入改进文本分类模型，计算得到目标文本的第一语义特征向量；
将预设问答知识库中的每一个参考问题分别输入改进文本分类模型，计算得到每个参考问题的语义特征向量，并取每个问题簇中每个参考问题的语义特征向量的均值为第二语义特征向量；所述问题簇包括参考问题对应的标准问题、与该标准问题对应的扩展问题；
根据第一语义特征向量与第二语义特征向量，计算查询问题与所述预设问答知识库中每一个参考问题的第二文本相似度。
在本发明较佳的技术方案中，上述根据目标文本和第三模型，计算查询问题与所述预设问答知识库中每一个参考问题的第三文本相似度，包括：
将目标文本输入孪生网络模型，计算目标文本的第一语义特征向量；
将所述预设问答知识库中每一个参考问题依次输入孪生网络模型中，计算所述预设问答知识库中每一个候选问题的第三语义特征向量；
根据目标文本的第一语义特征向量和所述预设问答知识库中每一个候选问题的第三语义特征向量，计算查询问题与所述预设问答知识库中每一个参考问题的第三文本相似度。
在本发明较佳的技术方案中，通过如下方式确定目标候选问题，包括：
根据所述候选问题的整体相似度和该查询问题的公私有属性，计算知识权值；
从所述候选问题中，选取对应的知识权值大于预设阈值的候选问题为目标候选问题。
第二方面，本申请实施例提供了一种问答装置，所述装置包括：
获取模块，用于获取来自用户的查询问题；
计算模块，用于在预设问答知识库中不存在与所述查询问题相一致的目标参考问题时，计算所述查询问题在多个不同维度下与所述预设问答知识库中每一个参考问题文本相似度，根据所述文本相似度计算所述查询问题与所述预设问答知识库中每一个参考问题的整体相似度；
选取模块，用于从所述预设问答知识库中包括的参考问题中，选取对应的整体相似度大于预设阈值的多个候选问题；
输出模块，用于输出所述预设问答知识库中，与目标候选问题对应的应答结果。
第三方面，本申请实施例提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的问答方法的步骤。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述的问答方法的步骤。
本申请的实施例提供的技术方案可以包括以下有益效果：
本申请获取来自用户的查询问题；在预设问答知识库中不存在与所述查询问题相一致的目标参考问题时，计算所述查询问题在多个不同维度下与所述预设问答知识库中每一个参考问题文本相似度，根据所述文本相似度计算所述查询问题与所述预设问答知识库中每一个参考问题的整体相似度；从所述预设问答知识库中包括的参考问题中，选取对应的整体相似度大于预设阈值的多个候选问题；输出所述预设问答知识库中，与目标候选问题对应的应答结果。本申请从不同维度综合考虑参考问题与查询问题的整体相似度，更加准确、高效的匹配到参考问题。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例所提供的一种问答方法的流程示意图；
图2示出了本申请实施例所提供的一种问答装置示意图；
图3为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
随着人工智能的发展和普及，智能机器人在各个行业的应用也越来越多，对于各个领域的智能机器人来说，常见问题解答(Frequently Asked Question，FAQ)是不可或缺的。FAQ知识库为预先构建的包含大量问答对(即“问句-答案”对)的知识库。当接收到用户查询问题时，需要在上述FAQ知识库中获得最佳问答对，并将该问答对的答案返回给用户。
尤其是在保险销售行业，使用智能终端实现智能问答系统，能提高工作效率。但是目前的问答方法，仅仅基于用户查询问题的关键字进行匹配问题，给予用户的反馈答案不够准确，用户体验差。
基于此，本申请实施例提供了一种问答方法、装置、电子设备及存储介质，下面通过实施例进行描述。
图1示出了本申请实施例所提供的一种问答方法的流程示意图，其中，该方法包括步骤S101-S104；具体的：
步骤S101、获取来自用户的查询问题；
步骤S102、在预设问答知识库中不存在与查询问题相一致的目标参考问题时，计算查询问题在多个不同维度下与预设问答知识库中每一个参考问题文本相似度，根据文本相似度计算查询问题与预设问答知识库中每一个参考问题的整体相似度；
步骤S103、从预设问答知识库中包括的参考问题中，选取对应的整体相似度大于预设阈值的多个候选问题；
步骤S104、输出预设问答知识库中，与目标候选问题对应的应答结果。
本申请从多个维度计算用户查询问题与预设问答知识库问题之间的整体相似度，可以实现较高的查询效率和准确度。
下面对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。为了方便说明，下文以保险领域销售机器人为例进行描述。
在实行本方法之前，需要先构建预设问答知识库，构建方法如下：
第一步，数据收集。
为了使得机器人具有FAQ(常见问题解答)能力，需要预先收集问答知识用于销售机器人的训练。问答知识中的每组问答对包括一个标准问和该标准问的若干相似扩展问以及该组问题的答案。用户在向机器输入时，最理想的情况是使用标准问，则机器人马上能够理解用户的意思。然而，用户往往并非使用的是标准问，而是标准问的一些变形的形式。例如，若对于购买保险标准问形式是“我想买保险”，那么用户可能使用的命令是“我想要买保险”“我打算买保险”，机器人也需要能够识别用户表达的是同一个意思。知识库里需要有标准问的扩展问，该扩展问与标准问表达形式有略微差异，但是表达相同的含义。
本申请收集以下多种数据：
1、长期收集保险领域销售语料数据，一方面常用话术直接作为问答对，另一方面用于增强模型对领域内文本的理解能力。
2、对于具体的待销售保险产品，业务人员总结标准问及扩展问，用于精准匹配和模型训练。
3、对于具体的销售场景，持续收集满足相似度要求的用户文本用于模型迭代训练。
第二步，数据预处理。
1、重复文本：重复包含标准问之间、标准问和其他的标准问的扩展问之间、扩展问和扩展问之间三种情况，对以上重复情况进行去重、合并等操作。
2、文本清洗：去除换行、空格等无效字符。对常见标点归一。对于数字、百分号、加减乘除等有中文读法的内容进行读法转换。
3、产品别名替换：将文本中的产品别名还原为产品标准名。
第三步，样本增广及生成。
收集到的数据经过预处理之后，进行一些增广的工作来扩充丰富样本，供预训练语言模型、第一分类模型、第三模型使用。对于每个具体的训练，将第一步中(1)和(2)所提到的标准问及扩展问作为样本。其中，同组内将其视为相似的正样本标记为1，不同组内根据视为不相似的负样本标记为0，正负样本的生成规则如下：
假设，同一组内的标准问和扩展问为集合X，其中X1为标准问，X2、X3...Xn为X1所对应的扩展问。
1、正样本生成规则；
同一组内的文本两两组合以获得正样本。
2、负样本生成规则；
2.1、取不同组的标准问作为负样本
举例：A1的负样本在[B1,C1,...,X1]随机选取一个样本M1。
2.2、取不同组样本集合中的任意样本作为负样本；
举例：A1的负样本在[B,C,......,X]随机选取一个集合E，从集合E中随机选取一个样本E4。
正负样本构造比例为γ∈[0.5,1]可调节，本申请训练集和验证集与测试集使用的标准问不一致，但生成正负样本的规则一致。同时，为了保证样本的均衡性该γ值取1。
预设问答知识库构建完成之后，本申请通过以下方法进行：
步骤S101、获取来自用户的查询问题。
用户的查询问题，通过用户与业务员的交互页面获取用户的查询问题。该查询问题可来自于纯文本输入，也可来自于用户语音输入，当用户使用语音输入时，系统利用ASR技术将输入语音转换为文本形式。
接收到查询问题对应的文本之后，对查询问题对应的文本进行清洗工作，包括文本格式清洗、文本标点清洗、文本数字清洗、产品别名替换等。
步骤S102、在预设问答知识库中不存在与查询问题相一致的目标参考问题时，计算查询问题在多个不同维度下与预设问答知识库中每一个参考问题文本相似度，根据文本相似度计算查询问题与预设问答知识库中每一个参考问题的整体相似度。
接收到用户的查询问题之后，用查询问题与预设问答知识库中的问题进行匹配。在匹配时，预设问答知识库中的参考问题与查询问题存在两种匹配结果：
第一种匹配结果：查询问题与预设问答知识库中的目标参考问题相一致；
第二种匹配结果：查询问题与预设问答知识库中的目标参考问题不一致。
这里的与查询问题相一致的目标参考问题，包括：
目标参考问题的文本与查询问题的文本相同；文本相同包括文字相同和文字排列顺序相同。
当查询问题与预设问答知识库中的目标参考问题相一致时，也就说查询问题与预设问答问题目标参考问题的文本与查询问题的文本相同。例如：预设问答问题目标参考问题为“我想买保险”，用户的查询问题为“我想买保险”。这时，认为查询问题与预设问答知识库中的目标参考问题精确匹配，查询问题与预设问答知识库中的目标参考问题的相似度为1。当查询问题与预设问答知识库中的目标参考问题的相似度为1时，直接输出与查询问题相似度为1的目标参考问题对应的应答结果。
当查询问题与预设问答知识库中的目标参考问题不一致时，本申请计算查询问题在多个不同维度下与预设问答知识库中每一个参考问题文本相似度，根据文本相似度计算查询问题与预设问答知识库中每一个参考问题的整体相似度，根据整体相似度选出与查询问题含义最为接近的参考问题。例如：预设问答问题目标参考问题为“我想买保险”，用户的查询问题为“我打算买保险”“我想要买保险”。
当查询问题与预设问答知识库中的目标参考问题不一致时，在预设问答知识库中不存在与查询问题相一致的目标参考问题时，计算查询问题在多个不同维度下与预设问答知识库中每一个参考问题文本相似度，根据文本相似度计算查询问题与预设问答知识库中每一个参考问题的整体相似度，相较于现有技术根据关键字在预设问答知识库与查询问题匹配参考问题，准确率更高、效率更高。
计算查询问题在多个不同维度下与预设问答知识库中每一个参考问题文本相似度，根据文本相似度计算查询问题与预设问答知识库中每一个参考问题的整体相似度，包括：
生成查询问题对应的目标文本；
根据目标文本和第一模型，计算查询问题与预设问答知识库中每一个参考问题的第一文本相似度；
根据目标文本和第二模型，计算查询问题与预设问答知识库中每一个参考问题的第二文本相似度；
根据目标文本和第三模型，计算查询问题与预设问答知识库中每一个参考问题的第三文本相似度；
根据第一文本相似度、第二文本相似度以及第三文本相似度，计算预设问答知识库中每一个参考问题的整体相似度。
本申请中根据第一文本相似度W1、第二文本相似度W2以及第三文本相似度W3，计算所述预设问答知识库中每一个参考问题的整体相似度时，可灵活调整三个相似度的权重，其中，W1+W2+W3＝1，Wi,i∈1,2,3in[0，1]。
根据目标文本和第一模型，计算查询问题与预设问答知识库中每一个参考问题的第一文本相似度，包括：
根据目标文本，搜索引擎从预设问答知识库中召回与目标文本相关的参考问题；
将目标文本和每一个召回参考问题分别输入预训练语言模型，输出查询问题与预设问答知识库中每一个参考问题的第一文本相似度。
第一模型结合了搜索引擎和预训练语言模型。
搜索引擎利用Elastic Search进行召回。Elastic Search是基于Apache Lucene的一个开源搜索引擎，是一个分布式且具有高扩展性的全文检索的搜索引擎，而且还提供了近乎实时的索引、分析、搜索功能。召回策略主要满足的是能够从海量的数据中召回一部分相关的候选集。召回率＝匹配到的文档数量/所有文档的数量，所以匹配到的文档数量越多，召回率就越高。我们真正查询想要的文档相似度越高，返回结果中排在越前面，准确度就越高。因此本申请选择召回准确率相对较高的ES搜索引擎。
ES搜索引擎主要利用BM25评价相似度的非监督模型，无需训练，主要通过对比两个句子内词的相似情况。主要原理为对A语句进行分词获得N个字或词，计算N个字或词与另一个B句子之间相关性，再求加权和，获取与A相似的候选文本集合M＝{a,b......n}。基于预训练语言模型，对输入文本和搜索引擎召回候选文本分别通过具有语义信息的预训练语言模型计算出文本的表征信息，根据表征信息和距离计算公式获得召回的候选文本与查询文本的第一相似度。该预训练语言模型使用学术界业界公认的优秀预训练语言模型Bert或Ernie。
基于预训练语言模型，将目标文本与召回的候选结果进行两两组合作为模型的输入。使用预训练语言模型(如Bert)的表征信息，分别得到输入的信息提取层结果即矩阵，对该矩阵进行按列求平均或其他方式分别得到该输入的向量表示，根据向量计算公式(如余弦相似度)得到两个输入文本的第一文本相似度。
具体的，搜索引擎根据用户查询问题的目标文本S,搜索引擎选择召回准确率相对较高的ES。利用搜索引擎返回与目标文本相似的候选结果。利用搜索引擎返回与S相似的Top N参考问题。基于预训练语言模型，将目标文本S与召回的Top N参考问题进行两两组合作为模型的输入。使用预训练语言模型(如Bert)的表征信息，分别得到输入的信息提取层结果即矩阵，对该矩阵进行按列求平均或其他方式分别得到该输入的向量表示，根据向量计算公式(如余弦相似度)得到两个输入文本的第一相似度结果值。根据第一相似度结果值，对这Top N参考问题进行重排序。然后根据相似度阈值θ1对排序后的结果进行筛选，得到候选问题集合一。
根据目标文本和第二模型，计算查询问题与预设问答知识库中每一个参考问题的第二文本相似度，包括：
将目标文本输入改进文本分类模型，计算得到目标文本的第一语义特征向量；
将预设问答知识库中的每一个参考问题分别输入改进文本分类模型，计算得到每个参考问题的语义特征向量，并取每个问题簇中每个参考问题的语义特征向量的均值为第二语义特征向量；问题簇包括参考问题对应的标准问题、与该标准问题对应的扩展问题；
根据第一语义特征向量与第二语义特征向量，计算查询问题与所述预设问答知识库中每一个参考问题的第二文本相似度。
第二模型结合了改进文本分类模型和簇内中心向量。
改进文本分类模型为基于预训练语言模型对文本分类模型进行微调，在顶部添加简单的softmax分类器，损失使用交叉熵损失函数。
改进文本分类模型具体训练时：根据构建预设问答知识库时样本增广及生成中的正负样本的生成规则自动生成的标注数据，该标注数据区分训练集、验证集、测试集，其三者数据条数比例为[0.7,0.2,0.1]。
根据预设问答知识库中的问题簇，根据改进文本分类模型生成每个问题簇中每个问题的语义特征向量。对于生成的每个问题簇中每个问题的语义特征向量取均值E，E即为簇内中心向量，代表每个问题簇的语义空间。用户的查询问题对应目标文本S。
改进文本分类模型生成查询问题对应文本S的语义特征向量。
根据向量计算公式计算文本S语义特征向量与每个问题簇E之间的相似度值。根据相似度阈值θ2，对文本S语义特征向量与每个问题簇E之间的相似度值进行筛选，相似度大于阈值θ2的问题簇。
在相似度大于阈值θ2的问题簇中，检验参考问题与查询文本S是否相似，相似的标记为1，不相似的标记为0。
根据标记为1的文本，找到该标记文本的问题簇，将S归为该簇，若S属于多个簇，计算多个簇的相似度，若该相似度在一定阈值内将多个簇进行归并。根据标记为0的文本，将S与该标记文本的问题簇进行自动生成标注数据，将其生成为负样本。
具体的，改进文本分类模型生成目标文本S的S语义特征向量，根据向量计算公式计算S语义特征向量与每个问题簇E之间的相似度值，文本S语义特征向量与每个问题簇E之间的相似度值即为文本S与问题簇E中每个参考问题的第二文本相似度。根据相似度阈值θ2，对第二相似度值进行筛选，并得到候选问题集合二。
根据目标文本和第三模型，计算查询问题与预设问答知识库中每一个参考问题的第三文本相似度，包括：
将目标文本输入孪生网络模型，计算目标文本的第一语义特征向量；
将预设问答知识库中每一个参考问题依次输入孪生网络模型中，计算预设问答知识库中每一个候选问题的第三语义特征向量；
根据目标文本的第一语义特征向量和预设问答知识库中每一个候选问题的第三语义特征向量，计算查询问题与预设问答知识库中每一个参考问题的第三文本相似度。
第三模型结合了孪生网络模型和语义检索：用于评价相似度的监督模型。使用构建预设问答知识库时第三步的数据对预训练模型进行继续训练，以更好学习场景。对问答知识库所含有的问题通过预训练孪生网络模型获取对应的向量表示，利用语义检索方法对所有问题向量表示建立语义检索库。
网络结构为孪生形式，具体结构如下：
(1)Embedding+句子信息提取层：使用预训练继续训练后的预训练模型，12层包含self-attention的block结构中的前三层(如果计算资源充足，也可灵活选用其它层，或层的组合结果)，两边权值共享，参与调参。
(2)加法拼接层：两个句子表达的结果+两个句子表达之差的绝对值；
(3)全连接层：2个全连接提取交互信息
最终映射到分类问题上：
(4)分类softmax，损失使用交叉熵损失函数。
第三模型训练时：根据构建预设问答知识库时第二步样本增广及生成中的正负样本的生成规则自动生成的标注数据，该标注数据区分训练集、验证集、测试集，其三者数据条数比例为[0.7,0.2,0.1]。
根据预设问答知识库中每一个参考问题，孪生网络模型生成其对应的语义特征向量，基于生成的语义特征向量建立语义检索库。
可选地，本申请使用开源的Milvus(向量相似度搜索引擎)，采用近似最近邻检索(Approximate Nearest Neighbor，英文简称为ANN)来实现向量检索，可以提高向量检索速度，提高效率；同时，通过利用近似最近邻检索，可以进一步提高向量检索速度，进一步提高效率，同时还可以保证检索结果的质量。
用户的查询问题对应目标文本S，孪生网络模型生成文本S的S语义特征向量。
根据相似度阈值θ3，在语义检索库中检索出与S语义特征向量大于θ3的语义特征向量，得到大于θ3的语义特征向量对应的参考问题。
检验大于θ3的语义特征向量对应的参考问题与查询文本S是否相似，相似的标记为1，不相似的标记为0。
标记为1的文本，找到该标记文本的问题簇，将S归为该簇，若S属于多个簇，计算多个簇的相似度。若该相似度在一定阈值内将多个簇进行归并。标记为0的文本，将S与该标记文本的问题簇进行自动生成标注数据，将其生成为负样本。
具体的，第三模型根据相似度阈值θ3，在语义检索库中检索出与S语义特征向量相似的Top N语义特征向量，得到候选问题集合三。
步骤S103、从预设问答知识库中包括的参考问题中，选取对应的整体相似度大于预设阈值的多个候选问题。
根据上述方法计算得到的整体相似度，相似度越高的表示参考问题与查询问题语义越接近，也就是说参考问题与查询问题是同一含义问题的可能性越高。设定预设阈值，当整体相似度小于一定阈值时，可以认为参考问题与查询问题表达含义没有关系，进而排除没有关系的参考问题；当整体相似度大于一定阈值时，可以认为参考问题与查询问题表达含义存在一定关系。
具体的，候选问题集合一、候选问题集合二、候选问题集合三组成总的候选问题集合。
步骤S104、输出预设问答知识库中，与目标候选问题对应的应答结果。
从整体相似度大于阈值的候选问题中，选择目标候选问题。为了进一步提高目标候选问题的准确度，本申请根据公私有属性，进一步限定整体相似度大于阈值的候选问题。
每个业务员的销售机器人包含私有知识、机构公共知识、其他销售机器人共享知识、公共知识。其中私有知识指业务员自己整理的专属自己的话术知识；机构公共知识指某个部门整理的属于该部门的公共知识；公共知识指来源于网络公开或保险基础知识。私有知识、机构公共知识、共享知识、公共知识的权值根据经验值的取值范围为0到1。
例如，销售机器人A含有私有知识A、机构知识A_A、销售机器人B共享知识A_B和公共知识A_A_A。其中知识权值设置如下：WA＝1,WA_A＝0.98,WA_B＝0.95,WA_A_A＝0.7。
从整体相似度大于阈值的候选问题中，根据候选问题的整体相似度和该查询问题的公私有属性，计算知识权值；
从候选问题中，选取对应的知识权值大于预设阈值的候选问题为目标候选问题。
具体的，从总的候选问题集合中，根据候选问题的整体相似度和该查询问题的公私有属性，计算知识权值，最终获得计算结果并根据结果值进行重排序。对重排序的结果返回Top N供业务人员进行点选，最终返回被点选问题所对应的答案给用户。
图2示出了本申请实施例所提供的一种问答装置的结构示意图，所述装置包括：
获取模块，用于获取来自用户的查询问题；
计算模块，用于在预设问答知识库中不存在与所述查询问题相一致的目标参考问题时，计算所述查询问题在多个不同维度下与所述预设问答知识库中每一个参考问题文本相似度，根据所述文本相似度计算所述查询问题与所述预设问答知识库中每一个参考问题的整体相似度；
选取模块，用于从所述预设问答知识库中包括的参考问题中，选取对应的整体相似度大于预设阈值的多个候选问题；
输出模块，用于输出所述预设问答知识库中，与目标候选问题对应的应答结果。
计算模块，用于计算查询问题在多个不同维度下与预设问答知识库中每一个参考问题文本相似度，包括：
生成查询问题对应的目标文本；
根据目标文本和第一模型，计算查询问题与预设问答知识库中每一个参考问题的第一文本相似度；
根据目标文本和第二模型，计算查询问题与预设问答知识库中每一个参考问题的第二文本相似度；
根据目标文本和第三模型，计算查询问题与预设问答知识库中每一个参考问题的第三文本相似度；
根据第一文本相似度、第二文本相似度以及第三文本相似度，计算预设问答知识库中每一个参考问题的整体相似度。
计算模块，用于根据目标文本和第一模型，计算查询问题与预设问答知识库中每一个参考问题的第一文本相似度，包括：
根据目标文本，搜索引擎从预设问答知识库中召回与目标文本相关的参考问题；
将目标文本和每一个召回参考问题分别输入预训练语言模型，输出查询问题与预设问答知识库中每一个参考问题的第一文本相似度。
计算模块，用于根据目标文本和第二模型，计算查询问题与预设问答知识库中每一个参考问题的第二文本相似度，包括：
将目标文本输入改进文本分类模型，计算得到目标文本的第一语义特征向量；
将预设问答知识库中的每一个参考问题分别输入改进文本分类模型，计算得到每个参考问题的语义特征向量，并取每个问题簇中每个参考问题的语义特征向量的均值为第二语义特征向量；问题簇包括参考问题对应的标准问题、与该标准问题对应的扩展问题；
根据第一语义特征向量与第二语义特征向量，计算查询问题与预设问答知识库中每一个参考问题的第二文本相似度。
计算模块，用于根据目标文本和第三模型，计算查询问题与预设问答知识库中每一个参考问题的第三文本相似度，包括：
将目标文本输入孪生网络模型，计算目标文本的第一语义特征向量；
将预设问答知识库中每一个参考问题依次输入孪生网络模型中，计算预设问答知识库中每一个候选问题的第三语义特征向量；
根据目标文本的第一语义特征向量和预设问答知识库中每一个候选问题的第三语义特征向量，计算查询问题与预设问答知识库中每一个参考问题的第三文本相似度。
输出模块，用于输出预设问答知识库中，与目标候选问题对应的应答结果时，包括：
根据候选问题的整体相似度和该查询问题的公私有属性，计算知识权值；
从候选问题中，选取对应的知识权值大于预设阈值的候选问题为目标候选问题。
如图3所示，本申请实施例提供了一种电子设备，用于执行本申请中的问答方法，该设备包括存储器、处理器及存储在该存储器上并可在该处理器上运行的计算机程序，其中，上述处理器执行上述计算机程序时实现上述的问答方法的步骤。
具体地，上述存储器和处理器可以为通用的存储器和处理器，这里不做具体限定，当处理器运行存储器存储的计算机程序时，能够执行上述的问答方法。
对应于本申请中的问答方法，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述的问答方法的步骤。
具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述的问答方法。
在本申请所提供的实施例中，应该理解到，所揭露系统和方法，可以通过其它的方式实现。以上所描述的系统实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种问答方法，其特征在于，所述方法包括：
获取来自用户的查询问题；
在预设问答知识库中不存在与所述查询问题相一致的目标参考问题时，计算所述查询问题在多个不同维度下与所述预设问答知识库中每一个参考问题文本相似度，根据所述文本相似度计算所述查询问题与所述预设问答知识库中每一个参考问题的整体相似度；
从所述预设问答知识库中包括的参考问题中，选取对应的整体相似度大于预设阈值的多个候选问题；
输出所述预设问答知识库中，与目标候选问题对应的应答结果。
2.根据权利要求1所述的方法，其特征在于，所述与所述查询问题相一致的目标参考问题，包括：
所述目标参考问题的文本与所述查询问题的文本相同；所述文本相同包括文字相同和文字排列顺序相同。
3.根据权利要求1所述的方法，其特征在于，所述计算所述查询问题在多个不同维度下与所述预设问答知识库中每一个参考问题文本相似度，包括：
生成查询问题对应的目标文本；
根据目标文本和第一模型，计算查询问题与所述预设问答知识库中每一个参考问题的第一文本相似度；
根据目标文本和第二模型，计算查询问题与所述预设问答知识库中每一个参考问题的第二文本相似度；
根据目标文本和第三模型，计算查询问题与所述预设问答知识库中每一个参考问题的第三文本相似度；
根据所述第一文本相似度、第二文本相似度以及第三文本相似度，计算所述预设问答知识库中每一个参考问题的整体相似度。
4.根据权利要求3所述的方法，其特征在于，所述根据目标文本和第一模型，计算查询问题与所述预设问答知识库中每一个参考问题的第一文本相似度，包括：
根据目标文本，搜索引擎从所述预设问答知识库中召回与目标文本相关的参考问题；
将目标文本和每一个召回参考问题分别输入预训练语言模型，输出查询问题与所述预设问答知识库中每一个参考问题的第一文本相似度。
5.根据权利要求3所述的方法，其特征在于，所述根据目标文本和第二模型，计算查询问题与所述预设问答知识库中每一个参考问题的第二文本相似度，包括：
将目标文本输入改进文本分类模型，计算得到目标文本的第一语义特征向量；
将预设问答知识库中的每一个参考问题分别输入改进文本分类模型，计算得到每个参考问题的语义特征向量，并取每个问题簇中每个参考问题的语义特征向量的均值为第二语义特征向量；所述问题簇包括参考问题对应的标准问题、与该标准问题对应的扩展问题；
根据第一语义特征向量与第二语义特征向量，计算查询问题与所述预设问答知识库中每一个参考问题的第二文本相似度。
6.根据权利要求3所述的方法，其特征在于，所述根据目标文本和第三模型，计算查询问题与所述预设问答知识库中每一个参考问题的第三文本相似度，包括：
将目标文本输入孪生网络模型，计算目标文本的第一语义特征向量；
将所述预设问答知识库中每一个参考问题依次输入孪生网络模型中，计算所述预设问答知识库中每一个候选问题的第三语义特征向量；
根据目标文本的第一语义特征向量和所述预设问答知识库中每一个候选问题的第三语义特征向量，计算查询问题与所述预设问答知识库中每一个参考问题的第三文本相似度。
7.根据权利要求1所述的方法，其特征在于，通过如下方式确定目标候选问题，包括：
根据所述候选问题的整体相似度和该查询问题的公私有属性，计算知识权值；
从所述候选问题中，选取对应的知识权值大于预设阈值的候选问题为目标候选问题。
8.一种问答装置，其特征在于，所述装置包括：
获取模块，用于获取来自用户的查询问题；
计算模块，用于在预设问答知识库中不存在与所述查询问题相一致的目标参考问题时，计算所述查询问题在多个不同维度下与所述预设问答知识库中每一个参考问题文本相似度，根据所述文本相似度计算所述查询问题与所述预设问答知识库中每一个参考问题的整体相似度；
选取模块，用于从所述预设问答知识库中包括的参考问题中，选取对应的整体相似度大于预设阈值的多个候选问题；
输出模块，用于输出所述预设问答知识库中，与目标候选问题对应的应答结果。
9.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至7任一所述的问答方法的步骤。
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至7任一所述的问答方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110472112.7A CN113157867A (zh) | 2021-04-29 | 2021-04-29 | 一种问答方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110472112.7A CN113157867A (zh) | 2021-04-29 | 2021-04-29 | 一种问答方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113157867A true CN113157867A (zh) | 2021-07-23 |
Family
ID=76872191
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110472112.7A Pending CN113157867A (zh) | 2021-04-29 | 2021-04-29 | 一种问答方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113157867A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113722459A (zh) * | 2021-08-31 | 2021-11-30 | 平安国际智慧城市科技股份有限公司 | 基于自然语言处理模型的问答搜索方法及相关装置 |
| CN114757208A (zh) * | 2022-06-10 | 2022-07-15 | 荣耀终端有限公司 | 一种问答匹配方法及装置 |
| CN114861674A (zh) * | 2022-05-19 | 2022-08-05 | 山东新一代信息产业技术研究院有限公司 | 一种文本语义匹配方法及设备 |
| CN117556024A (zh) * | 2024-01-10 | 2024-02-13 | 腾讯科技（深圳）有限公司 | 知识问答方法以及相关设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2833271A1 (en) * | 2012-05-14 | 2015-02-04 | Huawei Technologies Co., Ltd | Multimedia question and answer system and method |
| CN106776532A (zh) * | 2015-11-25 | 2017-05-31 | 中国移动通信集团公司 | 一种知识问答方法及装置 |
| WO2019052261A1 (zh) * | 2017-09-18 | 2019-03-21 | 京东方科技集团股份有限公司 | 用于问答服务的方法、问答服务系统以及存储介质 |
| CN112667794A (zh) * | 2020-12-31 | 2021-04-16 | 民生科技有限责任公司 | 一种基于孪生网络bert模型的智能问答匹配方法及系统 |
-
2021
- 2021-04-29 CN CN202110472112.7A patent/CN113157867A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2833271A1 (en) * | 2012-05-14 | 2015-02-04 | Huawei Technologies Co., Ltd | Multimedia question and answer system and method |
| CN106776532A (zh) * | 2015-11-25 | 2017-05-31 | 中国移动通信集团公司 | 一种知识问答方法及装置 |
| WO2019052261A1 (zh) * | 2017-09-18 | 2019-03-21 | 京东方科技集团股份有限公司 | 用于问答服务的方法、问答服务系统以及存储介质 |
| CN112667794A (zh) * | 2020-12-31 | 2021-04-16 | 民生科技有限责任公司 | 一种基于孪生网络bert模型的智能问答匹配方法及系统 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113722459A (zh) * | 2021-08-31 | 2021-11-30 | 平安国际智慧城市科技股份有限公司 | 基于自然语言处理模型的问答搜索方法及相关装置 |
| CN114861674A (zh) * | 2022-05-19 | 2022-08-05 | 山东新一代信息产业技术研究院有限公司 | 一种文本语义匹配方法及设备 |
| CN114757208A (zh) * | 2022-06-10 | 2022-07-15 | 荣耀终端有限公司 | 一种问答匹配方法及装置 |
| CN114757208B (zh) * | 2022-06-10 | 2022-10-21 | 荣耀终端有限公司 | 一种问答匹配方法及装置 |
| CN117556024A (zh) * | 2024-01-10 | 2024-02-13 | 腾讯科技（深圳）有限公司 | 知识问答方法以及相关设备 |
| CN117556024B (zh) * | 2024-01-10 | 2024-04-30 | 腾讯科技（深圳）有限公司 | 知识问答方法以及相关设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109947909B (zh) | 智能客服应答方法、设备、存储介质及装置 | |
| CN106649818B (zh) | 应用搜索意图的识别方法、装置、应用搜索方法和服务器 | |
| CN112667794A (zh) | 一种基于孪生网络bert模型的智能问答匹配方法及系统 | |
| Kaushik et al. | A comprehensive study of text mining approach | |
| US20130198192A1 (en) | Author disambiguation | |
| CN113157867A (zh) | 一种问答方法、装置、电子设备及存储介质 | |
| CN104471568A (zh) | 对自然语言问题的基于学习的处理 | |
| CN114238573B (zh) | 基于文本对抗样例的信息推送方法及装置 | |
| CN110134777B (zh) | 问题去重方法、装置、电子设备和计算机可读存储介质 | |
| Huang et al. | Expert as a service: Software expert recommendation via knowledge domain embeddings in stack overflow | |
| CN110321421B (zh) | 用于网站知识社区系统的专家推荐方法及计算机存储介质 | |
| CN111078837A (zh) | 智能问答信息处理方法、电子设备及计算机可读存储介质 | |
| CN113342958B (zh) | 问答匹配方法、文本匹配模型的训练方法和相关设备 | |
| WO2020123689A1 (en) | Suggesting text in an electronic document | |
| CN113505204A (zh) | 召回模型训练方法、搜索召回方法、装置和计算机设备 | |
| CN111274822A (zh) | 语义匹配方法、装置、设备及存储介质 | |
| US20220058464A1 (en) | Information processing apparatus and non-transitory computer readable medium | |
| CN116992007B (zh) | 基于问题意图理解的限定问答系统 | |
| JP2020512651A (ja) | 検索方法、装置及び非一時的コンピュータ読取可能記憶媒体 | |
| CN112182145A (zh) | 文本相似度确定方法、装置、设备和存储介质 | |
| CN113111159A (zh) | 问答记录生成方法、装置、电子设备及存储介质 | |
| CN113821527A (zh) | 哈希码的生成方法、装置、计算机设备及存储介质 | |
| Mgarbi et al. | Towards a new job offers recommendation system based on the candidate resume | |
| Bitto et al. | Sentiment analysis from Bangladeshi food delivery startup based on user reviews using machine learning and deep learning | |
| CN115860283B (zh) | 基于知识工作者画像的贡献度预测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210723 |