CN113094485A - 知识库优化方法及系统 - Google Patents

Abstract

本发明实施例提供一种知识库优化方法。该方法包括：基于知识库查询用户提问命中的包含潜在上下文关联信息的话题树；在话题树的多个知识点中选取至少一个知识点对应的启发式问题向用户反馈，引导用户选择；将用户的下一轮提问确定为针对于用户的启发式标注；至少基于启发式标注优化知识库。本发明实施例还提供一种知识库优化系统。本发明实施例的启发式对话的知识库优化方法，可以发掘用户会话过程中的潜在信息，既能高效完成知识库优化，又充分挖掘用户问题中的关联，用较低人力投入，实现更准确、快速的知识库优化。而对于日益增长的客户服务复合需求和更为复杂的服务场景，更准确的更优质的优化，可以更快速的提升智能化服务水平。

Description

知识库优化方法及系统

技术领域

本发明涉及自然语言理解领域，尤其涉及一种知识库优化方法及系统。

背景技术

知识库是智能客服产品提供问答服务的核心。提升智能客服知识库问答准确率，可以提升智能客服整体服务水平，提高客户满意度。知识库技术是属于自然语言理解(NLP)范畴的一项技术，知识库问答效果与应用场景、话题范围、训练数据等因素有关。未经训练优化的问法，知识库大多会返回盲区回答或相似推荐，频繁触发盲区回答，或频繁推荐而无直接回答，对客户体验不好，这些问题需要进行知识库优化，机器人才可能用更好的回答来服务用户。

传统的知识库优化，是收集真实用户产生的语料数据，针对单条数据，结合人工标注或自动聚类，给出每条数据的处理方案，然后将待训练语料加入规则或模型训练，使用新的规则或模型应用上线，提高问答效果，知识库优化所使用的数据一般都是一问一答的映射关系，信息较少，进行一段时间的知识库优化会产生提升效果，但效果往往有限，且不能对用户会话需求产生有效把控和引导。

在实现本发明过程中，发明人发现相关技术中至少存在如下问题：

现有的优化更偏向于单条用户语料，对用户会话过程的关注度较少。一般的知识库问答，更偏向模式化和规则化的处理，针对用户的一个问题做一个标注，而用户的这个问题和下个问题并没有关联的方式和方法，没有利用到上下文中潜在的关联信息。

即使有用户会话过程的记录和优化，一般的系统中，用户往往是看到系统推荐算法给出的问题后，进行的二次提问，在此基础上的优化，其本质还是对算法下的数据的更深度的拟合，并没有真正了解用户会话的需求。

发明内容

为了至少解决现有的知识库优化没有利用到用户的提问和下一个提问是否有关联，优化可用信息较少，提升效果有限的问题。

第一方面，本发明实施例提供一种知识库优化方法，包括：

基于知识库查询用户提问命中的包含潜在上下文关联信息的话题树；

在所述话题树的多个知识点中选取至少一个知识点对应的启发式问题向用户反馈，引导用户选择；

将所述用户的下一轮提问确定为针对于所述用户的启发式标注；

至少基于所述启发式标注优化所述知识库。

第二方面，本发明实施例提供一种知识库优化系统，包括：

话题树确定程序模块，用于基于知识库查询用户提问命中的包含潜在上下文关联信息的话题树；

启发式反馈程序模块，用于在所述话题树的多个知识点中选取至少一个知识点对应的启发式问题向用户反馈，引导用户选择；

标注确定程序模块，用于将所述用户的下一轮提问确定为针对于所述用户的启发式标注；

优化程序模块，用于至少基于所述启发式标注优化所述知识库。

第三方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例的知识库优化方法的步骤。

第四方面，本发明实施例提供一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现本发明任一实施例的知识库优化方法的步骤。

本发明实施例的有益效果在于：启发式对话的知识库优化方法，可以发掘用户会话过程中的潜在信息，既能高效完成知识库优化，又充分挖掘用户问题中的关联，用较低人力投入，实现更准确、快速的知识库优化。而对于日益增长的客户服务复合需求和更为复杂的服务场景，更准确的更优质的优化，可以更快速的提升智能化服务水平。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例提供的一种知识库优化方法的流程图；

图2是本发明一实施例提供的一种知识库优化方法的启发式对话流程图；

图3是本发明一实施例提供的一种知识库优化方法的架构图；

图4是本发明一实施例提供的一种知识库优化方法的配置启发式对话推荐反问策略界面图；

图5是本发明一实施例提供的一种知识库优化方法的发散推荐策略界面图；

图6是本发明一实施例提供的一种知识库优化方法的深度优先推荐策略界面图；

图7是本发明一实施例提供的一种知识库优化方法的纵向推荐策略界面图；

图8是本发明一实施例提供的一种知识库优化方法的半发散推荐策略界面图；

图9是本发明一实施例提供的一种知识库优化方法的智能客服界面图；

图10是本发明一实施例提供的一种知识库优化方法的知识库优化页界面图；

图11是本发明一实施例提供的一种知识库优化方法的导入待学习问题界面图；

图12是本发明一实施例提供的一种知识库优化方法的有匹配问题优化界面图；

图13是本发明一实施例提供的一种知识库优化方法的无匹配问题优化界面图；

图14是本发明一实施例提供的一种知识库优化方法的发布上线界面图；

图15是本发明一实施例提供的一种知识库优化方法的交互截面图；

图16是本发明一实施例提供的一种知识库优化系统的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示为本发明一实施例提供的一种知识库优化方法的流程图，包括如下步骤：

S11：基于知识库查询用户提问命中的包含潜在上下文关联信息的话题树；

S12：在所述话题树的多个知识点中选取至少一个知识点对应的启发式问题向用户反馈，引导用户选择；

S13：将所述用户的下一轮提问确定为针对于所述用户的启发式标注；

S14：至少基于所述启发式标注优化所述知识库。

在本实施方式中，需要预先完成基础知识库的搭建并上线，其中包括知识库算法、数据和启发式对话配置。与启发式对话配置相关的内容包括：配置启发式对话推荐反问策略、配置知识库话题树结构等。

对于步骤S11，用户提问后，系统会根据问题在知识库中的打分结果和话题树配置情况，给用户推荐相似度问题，或给用户启发式的推荐问题或反问问题。如图2所示，其虚线框内是区别于传统知识库优化的部分。当用户提问的问题具有回答时，查询是否有对应包含潜在上下文关联信息的话题树。

例如，用户提问“社保卡什么时候能下来”。这句话命中问答对“社会保障卡申领的期限是多久”查询与“社会保障卡”潜在上下文联系的话题树。如果有该话题树，则进行查询。例如，在话题树中，隐含着“批量制发卡”、“零星制卡”、“领取地点”、“办理流程”等隐含着上下文关联信息的话题。由于社保卡有不同制卡周期，对于用户采用不同方式办理的卡需要向用户再次询问；同样的，用户知道了时间后，在下一轮对话中，也有可能询问社保卡下发后到哪取；在社保卡办理之前，用户也会有了解“如何办理社保卡”流程查询的意图，或者用户采取的批量制发卡时间较慢，希望了解零星制卡等话题。

对于步骤S12，由于不同的智能客服训练的方式不同，在回答问题时所表现的效果也不一样。有的较为“聪明的”智能客服会对用户的问题，展开全面的回答，有的“笨笨的”智能客服则必须用户完全命中对应的问答对，才会回答对应的内容。

例如，用户提问“社保卡什么时候能下来”，“聪明的”智能客服会回答“社会保障卡申领办理时限：批量制发卡周期不超过30个工作日，零星制卡压缩至5个工作日以内”。此时，考虑到用户可能还会追问“社保卡”相关的问题，会从话题树中选取至少一个向用户反馈。(由于该智能客服比较智能，用较为简短的语句将隐含的一些话题共同进行反馈，此时可能会选取“领取地点”对应的启发式问题向用户反馈)，引导用户选择“社会保障卡的领取地点”。

又例如，“笨笨的”智能客服可能与用户的对话比较繁琐，例如：

用户：社保卡什么时候能下来？

智能客服：您办理的是哪种类型的制卡？

用户：有哪种类型的制卡？

智能客服：有批量制发卡和零星制卡。

用户：不太清楚，好像是批量吧？

智能客服：批量制发卡周期不超过30个工作日。

对于这种较为“笨笨”的智能客服，使用本方法的知识库后，可以做到：

用户：社保卡什么时候能下来？

智能客服：您办理的是哪种类型的制卡？

同时从话题树中选取至少一个向用户反馈，在对话的页面中，可以通过文字链接的方式，从话题树中选择“批量制发卡”、“零星制卡”、“零星制卡如何办理”相关的启发式问题向用户反馈。

例如，此时页面中有“批量制发卡”、“零星制卡”的文字链接；

用户选择“批量制发卡”后，智能客服：批量制发卡周期不超过30个工作日。此时反馈“社会保障卡的领取地点”、“零星制卡如何办理”的文字链接。

在对话过程中，如果智能客服反馈的内容命中了用户的意图，用户不用再次输入，直接在界面中点击即可，如果没有命中，用户还是会进行单独的提问。

本方法的启发式知识库优化都可以使用到各种不同类型的“智能客服”，为“聪明的”智能客服锦上添花，对于“笨笨的”智能客服与用户的交互效率和体验，会有一定的提升。

作为一种实施方式，在本实施例中，所述话题树的选取的策略包括：发散推荐、深度优先推荐、纵向推荐、半发散推荐。

在本实施方式中，发散推荐是指命中某一话题知识点后，会从命中话题本身、父话题、兄弟话题、子话题中选取知识点进行推荐反问；深度优先推荐是指命中某一话题知识点后，首先推荐反问话题反问本身知识点，然后向子话题推荐反问；纵向推荐是指命中某一话题知识点，会从命中话题本身、子话题中选取知识点进行推荐反问；半发散推荐是指命中某一话题知识点，会从命中话题本身、子话题、兄弟话题中选取知识点进行推荐反问。用户提问后，系统会根据问题在知识库中的打分结果和话题树配置情况，给用户推荐相似度问题，或给用户启发式的推荐问题或反问问题。

对于步骤S13，也就是说，用户下一轮的提问可能是“点击智能客服的反馈内容”，也可能是“用户重新输入的问题”，将用户下一轮的提问确定为针对于该名用户自身的启发式标注。

考虑到不同的用户意图可能不同，每个人也有自己独有的说话方式，为了让智能客服的启发式对话适用于每一个人，因此用户下一轮的提问确定为针对于用户自身的启发式标注。

对于步骤S14，至少基于启发式标注来优化知识库。

作为一种实施方式，所述启发式标注包括：启发式正向标注、启发式负向标注；

所述方法还包括：当所述用户的下一轮提问与向用户反馈的所述启发式问题无关时，将所述下一轮提问确定为启发式负向标注；

至少基于所述启发式负向标注优化所述知识库，以将所述用户的下一轮提问对应的话题与所述话题树关联。

当所述用户的下一轮提问与向用户反馈的所述启发式问题相关时，将所述下一轮提问确定为启发式正向标注；

至少基于所述启发式正向标注优化所述知识库，以提高所述下一轮提问对应的话题的选取优先级。

在本实施方式中，例如，智能客服：批量制发卡周期不超过30个工作日。此时启发式反馈“社会保障卡的领取地点”、“零星制卡如何办理”的文字链接。

如果用户下一轮的提问是选择了“社会保障卡的领取地点”的文字链接，此时，用户的下一轮提问与所述启发式问题相关，则将“社会保障卡的领取地点”这一话题确定为启发式正向标注，至少基于所述启发式正向标注优化所述知识库，训练后，提高下一轮提问对应的话题的选取优先级。

如果用户下一轮的提问是全新的内容，和启发式问题无关，则将所述下一轮提问确定为启发式负向标注；至少基于所述启发式负向标注优化所述知识库，将所述用户的下一轮提问对应的话题与所述话题树关联。这样在用户下一次进行类似的提问时，会将用户提问的全新内容的话题与“社保卡”话题树相关联。

通过该实施方式可以看出，启发式对话的知识库优化方法，可以发掘用户会话过程中的潜在信息，既能高效完成知识库优化，又充分挖掘用户问题中的关联，用较低人力投入，实现更准确、快速的知识库优化。而对于日益增长的客户服务复合需求和更为复杂的服务场景，更准确的更优质的优化，可以更快速的提升智能化服务水平。

作为一种实施方式，在本实施例中，在所述基于知识库查询用户提问命中的包含潜在上下文关联信息的话题树之前，所述方法还包括：

判断是否有回复所述用户提问的回答，当没有所述回答或具有所述回答、没有与所述回答对应的话题树时，基于相似度确定推荐问题向用户反馈，引导用户选择；

将所述用户的下一轮提问确定为针对于所有用户的相似度标注；

至少基于所述相似度标注优化所述知识库。

所述方法还包括：基于所述启发式标注以及相似度标注优化所述知识库。

在本实施方式中，如果用户提出的问题没有相应的回答，或者没有与回答对应的话题树时，此时，会基于相似度确定推荐问题向用户反馈，引导用户选择。由于仅仅使用了相似度推荐，并不带有针对性，将用户下一轮的提问确定为所有用户的相似度标注；由于没有回答或者没有话题树的区域相对较少，单个用户可能接触的比较少。需要大量用户的数据，通过大量数据进行优化。将这种类型的下一轮提问确定为所有用户的相似度标注。至少基于相似度标注优化知识库。

进一步的，如果不同的用户在多轮对话中不断确定的启发式标注以及相似度标注从多个维度优化知识库，从而进一步提升知识库的优化效果。

作为一种实施方式，在本实施例中，所述启发式标注以及相似度标注可修改；

所述方法还包括：接收知识库开发者对所述启发式标注和/或所述相似度标注的个性化修改，基于修改后的启发式标注和/或相似度标注优化所述知识库。

在本实施方式中，用户与智能客服对话交互，会产生对话记录，对话记录中会自动记录用户对于推荐的选择路径，其中主要是对启发式对话的推荐问题的选择路径。

产生日志记录后，开发标注人员进行数据标注，并将数据提供给算法进行优化，例如，虽然用户下一轮还是输入了新的话题，但确实这个话题与话题树联系不密切，并且用户也仅仅这样操作过一次，考虑到可能是用户的误操作，或是其他原因，开发标注人员可以个性化针对修改，通过修改后的启发式标注和/或相似度标注优化所述知识库，如图3所示。这样进一步的提升了知识库的准确性。

由于本方法开发标注人员(管理员)可以进行标注，同样的，也可以对话题树进行配置，具有对应的管理平台。

如图4所示，管理员可以配置启发式对话的推荐反问策略。

如图5、6、7、8所示，管理员可以配置启发式对话的话题树策略。

如图9所示，用户在开放问答服务的渠道提问，产生会话记录。

如图10所示，进入产品中心，点击“知识库优化”，进入知识库优化界面。

(1)点击“导入待学习问题”按钮，弹出导入待学习问题弹窗，可以选择线上语料或线下语料导入，用户提问属于线上语料。以线上语料为例；

(2)选择时间段和类型，可选知识点匹配阈值和导入上限，然后点击“保存”导入待学习问题。具体界面如图11所示。

如图12所示，有匹配问题优化的界面。

(1)标注人员查看有匹配问题，根据问题人工分析结果，对问题进行标注，产品提供快速标注的便捷操作。

(2)可以点击“合并到该知识问答”，一键将问题添加到对应知识点的相似问法中。

(3)可以点击加号按钮，弹出知识编辑弹窗，将问题添加到对应知识点的相似问法，并可以根据实际情况对问答进行编辑调整。

(4)可以点击加号右侧的方框按钮，弹出选择技能话题弹窗，将问题添加到指定技能指定话题下的指定知识点的相似问法，并可以根据实际情况对问答进行编辑调整。

(5)可以点击删除按钮，删除该条问题。

如图13所示，无匹配问题优化的界面。

(1)标注人员查看无匹配问题，根据问题聚类和人工分析结果，对问题进行标注，产品提供快速标注的便捷操作。

(2)可以点击“用户问题”表头行的加号按钮，一键将聚类出的相似用户问题，添加到同一知识点的相似问法中。

(3)可以点击“用户问题”表头行的加号右侧的方框按钮，弹出选择技能话题弹窗，一键将聚类出的相似问题，添加到同一知识点的相似问法中，并可以根据实际情况对问答进行编辑调整。

(4)可以点击“用户问题”表头行的删除按钮，删除该类用户问题。

(5)可以点击具体用户问题行的加号按钮，弹出知识编辑弹窗，将问题添加到对应知识点的相似问法，并可以根据实际情况对问答进行编辑调整。

(6)可以点击具体用户问题行的加号右侧的方框按钮，弹出选择技能话题弹窗，将问题添加到指定技能指定话题下的指定知识点的相似问法，并可以根据实际情况对问答进行编辑调整。

(7)可以点击具体用户问题行的删除按钮，删除该条问题.

算法知识库优化界面如图14所示，上述操作完成后，在产品对应的技能中，分别点击“发布”，算法自动根据标注数据和用户提问路径进行知识库优化；查看“发布日志”，等待一段时间后，技能发布成功。

当用于再次提问时，效果优化如图15所示，产品对应的全部技能分别发布成功后，用户再次在开放问答服务的渠道提问，同样的问题经过优化后，可以将用户之前选择过的选项在更靠前的位置推荐出来，或直接回答出用户的问题。

如图16所示为本发明一实施例提供的一种知识库优化系统示意图，该系统可执行上述任意实施例所述的知识库优化方法，并配置在终端中。

本实施例提供的一种知识库优化系统10包括：话题树确定程序模块11，启发式反馈程序模块12，标注确定程序模块13和优化程序模块14。

其中，话题树确定程序模块11用于基于知识库查询用户提问命中的包含潜在上下文关联信息的话题树；启发式反馈程序模块12用于在所述话题树的多个知识点中选取至少一个知识点对应的启发式问题向用户反馈，引导用户选择；标注确定程序模块13用于将所述用户的下一轮提问确定为针对于所述用户的启发式标注；优化程序模块14用于至少基于所述启发式标注优化所述知识库。

本发明实施例还提供了一种非易失性计算机存储介质，计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的知识库优化方法；

作为一种实施方式，本发明的非易失性计算机存储介质存储有计算机可执行指令，计算机可执行指令设置为：

基于知识库查询用户提问命中的包含潜在上下文关联信息的话题树；

在所述话题树的多个知识点中选取至少一个知识点对应的启发式问题向用户反馈，引导用户选择；

将所述用户的下一轮提问确定为针对于所述用户的启发式标注；

至少基于所述启发式标注优化所述知识库。

作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的方法对应的程序指令/模块。一个或者多个程序指令存储在非易失性计算机可读存储介质中，当被处理器执行时，执行上述任意方法实施例中的知识库优化方法。

非易失性计算机可读存储介质可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据装置的使用所创建的数据等。此外，非易失性计算机可读存储介质可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，非易失性计算机可读存储介质可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

本发明实施例还提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例的知识库优化方法的步骤。

本申请实施例的电子设备以多种形式存在，包括但不限于：

(1)移动通信设备:这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机、多媒体手机、功能性手机，以及低端手机等。

(2)超移动个人计算机设备:这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等，例如平板电脑。

(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。

(4)其他具有数据处理功能的电子装置。

在本文中，术语“包括”、“包含”，不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种知识库优化方法，包括：

基于知识库查询用户提问命中的包含潜在上下文关联信息的话题树；

在所述话题树的多个知识点中选取至少一个知识点对应的启发式问题向用户反馈，引导用户选择；

将所述用户的下一轮提问确定为针对于所述用户的启发式标注；

至少基于所述启发式标注优化所述知识库。

2.根据权利要求1所述的方法，其中，所述启发式标注包括：启发式正向标注、启发式负向标注；

所述方法还包括：当所述用户的下一轮提问与向用户反馈的所述启发式问题无关时，将所述下一轮提问确定为启发式负向标注；

至少基于所述启发式负向标注优化所述知识库，以将所述用户的下一轮提问对应的话题与所述话题树关联。

3.根据权利要求2所述的方法，其中，所述方法还包括：

当所述用户的下一轮提问与向用户反馈的所述启发式问题相关时，将所述下一轮提问确定为启发式正向标注；

至少基于所述启发式正向标注优化所述知识库，以提高所述下一轮提问对应的话题的选取优先级。

4.根据权利要求1所述的方法，其中，在所述基于知识库查询用户提问命中的包含潜在上下文关联信息的话题树之前，所述方法还包括：

判断是否有回复所述用户提问的回答，当没有所述回答或具有所述回答、没有与所述回答对应的话题树时，基于相似度确定推荐问题向用户反馈，引导用户选择；

将所述用户的下一轮提问确定为针对于所有用户的相似度标注；

至少基于所述相似度标注优化所述知识库。

5.根据权利要求4所述的方法，其中，所述方法还包括：基于所述启发式标注以及相似度标注优化所述知识库。

6.根据权利要求5所述的方法，其中，所述启发式标注以及相似度标注可修改；

所述方法还包括：接收知识库开发者对所述启发式标注和/或所述相似度标注的个性化修改，基于修改后的启发式标注和/或相似度标注优化所述知识库。

7.根据权利要求1所述的方法，其中，所述话题树的选取的策略包括：发散推荐、深度优先推荐、纵向推荐、半发散推荐。

8.一种知识库优化系统，包括：

话题树确定程序模块，用于基于知识库查询用户提问命中的包含潜在上下文关联信息的话题树；

启发式反馈程序模块，用于在所述话题树的多个知识点中选取至少一个知识点对应的启发式问题向用户反馈，引导用户选择；

标注确定程序模块，用于将所述用户的下一轮提问确定为针对于所述用户的启发式标注；

优化程序模块，用于至少基于所述启发式标注优化所述知识库。

9.一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述方法的步骤。

10.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-7中任一项所述方法的步骤。

Images