CN110046235A - 一种知识库评估方法、装置及设备 - Google Patents

Abstract

本申请公开了一种知识库评估方法、装置及设备。该方法包括：首先，从多个维度设置能够表征知识点质量的特征信息；然后，提取需要评估的知识库的特征信息，并将其作为预设评估规则的输入，得到该评估规则输出的知识库的健康状态。从而，能够帮助用户有效地运营管理知识库，保证知识库长期健康的发展。

Description

一种知识库评估方法、装置及设备

技术领域

本申请涉及计算机技术领域，尤其涉及一种知识库评估方法、装置及设备。

背景技术

知识库是指知识点的集合，用于存储并提供用户检索的问题对应的知识点。

由于企业的业务通常处于持续发展的状态，其用户咨询也会随着业务发展而发生变化，若知识库没有及时更新维护，则会影响知识库的健康状态，进而出现无法回复用户提问的情况。

因此，需要提供一种可靠的知识库评估方案。

发明内容

本说明书实施例提供一种知识库评估方法，用于帮助用户运营管理知识库，确保知识库保持健康的发展状态。

本说明书实施例还提供一种知识库评估方法，包括：

确定目标知识库中的知识点的特征信息，所述特征信息用于表征知识点的质量；

基于所述特征信息，评估所述目标知识库的健康状态。

本说明书实施例还提供一种知识库评估装置，包括：

确定模块，用于确定目标知识库中的知识点的特征信息，所述特征信息用于表征知识点的质量；

评估模块，用于基于所述特征信息，评估所述目标知识库的健康状态。

本说明书实施例还提供一种电子设备，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如上述的方法的步骤。

本说明书实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的方法的步骤。

本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：

通过获取目标知识库的预设维度的特征信息，以表征目标知识库中的知识点的质量，进而基于特征信息评估出目标知识库的健康状态。与现有技术相比，能够有效帮助用户运营管理知识库，确保知识库保持健康的发展状态。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本说明书提供的一种应用场景的示意图；

图2为本说明书一实施例提供的一种知识库评估方法的流程示意图；

图3为本说明书一实施例提供的多维度评估规则的示意图；

图4为本说明书一实施例提供的一种知识库评估装置的结构示意图；

图5为本说明书一实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

结合背景技术部分的陈述，由于中小型企业等商家缺乏对知识库的日常管理，导致知识库更新滞后，影响知识库的问答服务能力。基于此，本发明提供一种知识库评估方法，通过获取目标知识库的预设维度的特征信息，以表征目标知识库中的知识点的质量，并基于特征信息评估出目标知识库的健康状态，进而帮助用户运营管理知识库，有效确保知识库的健康状态。

其中，知识点由标题和正文组成，用于描述业务功能或规则，一般情况下，标题对应于问题，正文对应于问题答案；此处用户是指可提供业务咨询的企业、厂家等商家，为与商家的用户做区别，下文将商家记为第一用户，商家的用户记为第二用户。

下面参见图1对本发明的应用场景进行示例性说明。

第一种应用场景包括：第一用户设备101、知识库102、第二用户设备103以及服务器104，其中：

第二用户设备103，是指商家的用户所有的终端设备，用于采集第二用户需查询的问题，并向第一用户设备101发起问答请求；

第一用户设备101，是指企业、厂家等商家所有的终端设备，用于响应问答请求向服务器104发起知识点查询请求；

服务器104，是指可为商家提供数据查询服务的云端服务器，用于响应知识点查询请求查询第一用户的知识库102和/或服务器104权限内的所有知识库102，以获取与第二用户需查询的问题相匹配的知识点，并将知识点通过第一用户设备101提供给第二用户。

第二种应用场景包括：第一用户设备101、知识库102以及第二用户设备103，其中：

第二用户设备103，是指商家的用户所有的终端设备，用于采集第二用户需查询的问题，并向第一用户设备101发起问答请求；

第一用户设备101，是指企业、厂家等商家所有的终端设备，用于响应问答请求，查询知识库102，以获取与第二用户需查询的问题相匹配的知识点，并将知识点反馈给第二用户。

其中，第二用户设备101可以是PC，也可以是移动终端或者叫移动通信终端是指可以在移动中使用的计算机设备，广义的讲包括手机、笔记本、平板电脑、POS机甚至包括车载电脑，但大部分情况下是指手机或者具有多种应用功能的智能手机以及平板电脑；知识库102可以为第一用户搭建的数据库，也可以为从云端服务器申请的数据库，若是后者，则知识库102可以为云端服务器的一部分。

以下结合附图，详细说明本申请各实施例提供的技术方案。

图2为本说明书一实施例提供的一种知识库评估方法的流程示意图，该方法可由图1中的服务器104或第一用户设备101执行，参见图2，该方法具体可以包括如下步骤：

步骤202、确定目标知识库中的知识点的特征信息，所述特征信息用于表征知识点的质量；

其中，特征信息是指预设1个或多个维度下的预设指标对应的特征，此处的维度及其指标可以是基于专家经验预先设定的可表征知识点质量的，例如：文本维度下的标题长度特征，使用维度下的点击率特征。

步骤204、基于所述特征信息，评估所述目标知识库的健康状态；

其中，健康状态可以是健康状态或非健康状态的形式，也可以是具体评分的形式。

对于步骤202和步骤204，参见图3，其一种实现方式可以为：

步骤302、确定知识点的文本特征、使用特征和知识覆盖特征中的至少一种特征信息；

其中，文本特征是指文本维度下的特征信息，用于描述知识点标题/正文的文本信息；使用特征为使用维度下的特征信息，用于描述知识点的历史使用情况；知识覆盖特征为知识覆盖维度下的特征信息，用于描述知识点的覆盖情况。

对于文本特征，步骤302的一种实现方式可以为：

获取目标知识点的文本信息；基于所述文本信息，确定所述目标知识点的文本相关指标；基于所述文本相关指标，确定所述目标知识点的文本特征；其中，所述目标知识点为所述目标知识库中的任一知识点。

其中，文本相关指标至少包括：标题长度、标题内容的敏感度、正文内容的敏感度、知识点标题与扩展标题之间的语义相似度中的至少一种；扩展标题是指对知识点标题的扩展，用于覆盖更多的用户问题，例如：知识点标题‘如何还款’的扩展标题可以是‘还款规则’。

不难理解的是，过长或过短的知识点标题/扩展标题都不利于问答匹配，因此，可通过信息抽取的方式，得到目标知识点的标题长度的实际取值；标题内容和正文内容中可能包含具体的时间日期、金额、电话等信息，可能泄露用户隐私，因此，可通过信息抽取的方式，检测标题内容和正文内容中存在的敏感信息并计算其敏感度；知识点标题与扩展标题之间若语义相差太多，则可能匹配出错误的知识点，因此，可计算知识点标题与扩展标题之间的语义相似度的取值；进而，可使用上述标题长度的取值、敏感度、语义相似度等量化数据来表征知识点的文本特征。

对于使用特征，步骤302的一种实现方式可以为：

获取目标知识点的历史使用数据；基于所述历史使用数据，确定所述目标知识点的使用相关指标；基于所述使用相关指标，确定所述目标知识点的使用特征；其中，所述目标知识点为所述目标知识库中的任一知识点。

其中，历史使用数据可以为历史统计的目标知识库中的各个知识点的使用数据，例如：知识点的输出次数、好评次数、差评次数等等；使用相关指标包括：输出率、点击率、用户好评度和转人工率中的至少一种；输出率可由预设时间段内的输出次数表示；点击率可由输出次数和点击次数表示；用户好评度是指对输出的知识点的评价，可由好评次数和差评次数表示；转人工率可由知识点输出后，用户选人工客服的次数表示。

不难理解的是，知识点长期未输出，则很可能存在问题，因此，可通过历史使用数据确定其输出次数；知识点的输出次数和点击次数不成比例，则很可能存在标题难以理解、正文较长等问题，因此，可通过历史使用数据确定其点击次数；知识点的差评次数过多，则可能存在没有匹配到用户所需知识点或知识点内容无法解决用户问题的问题，因此，可通过历史使用数据确定其差评次数和好评次数；知识点被输出后，用户经常选择人工客服，则很可能存在问题，因此，可通过历史使用数据确定其被转人工客服的次数；进而，可使用上述知识点输出次数、点击次数、差评次数和好评次数、转人工客服的次数等量化数据来表征知识点的使用特征。

对于知识覆盖特征，步骤302的一种实现方式可以为：

获取所述目标知识库对应的历史问题查询结果；基于所述历史问题查询结果，确定所述目标知识库的问题覆盖情况；基于所述问题覆盖情况，确定所述目标知识库的知识覆盖特征。

其中，历史问题查询结果为历史统计的第二用户的各个问题的查询结果，包括：是否查找到知识点，查找到的知识点的数量等。

不难理解的是，若一个问题在知识库中找不到相匹配的知识点或者相匹配的知识点很少，则说明知识库不够丰富，因此，可通过历史问题查询结果，确定知识库的知识点覆盖率(问题覆盖情况)，并可使用知识点覆盖率来表征知识覆盖特征。

可见，步骤302的本实现方式通过从文本维度、使用维度、知识覆盖维度维度来配置特征信息，以尽可能的全面表征知识点的质量，提高评估效率；另外，对于其他维度的相关指标，以及文本维度、使用维度、知识覆盖维度下的其他相关指标，也可灵活配置于本方案中，此处不再赘述。

步骤304、确定所述特征信息对应的指标值；具体地，

若特征信息为模型/算法可识别的数据，例如：标题长度、输出率等等，则将特征信息作为模型/算法对应参数的指标值；

若特征信息为模型/算法无法识别的数据，则对特征信息进行预处理，以将其转换为模型/算法可识别的数据，例如：将知识点包含的敏感信息量化为具体的数值。

步骤306、基于所述指标值及其权重比例因子，确定所述目标知识库的健康分。

不难理解的是，不同维度下的不同特征对于知识点质量的表征力度不同，因此，为提高评估精度，可为不同特征配置不同的权重比例因子，例如：为文本维度的特征信息配置较小的权重比例因子，为使用维度的特征信息配置较大的权重比例因子；基于此，将各个特征信息对应的指标值和权重比例因子输入至预构建的模型/算法，得到模型/算法输出的健康分，以便第一用户可直观确定知识库的健康状态。

进一步地，为处理知识库中新出现的问题或过期的知识点，以提高知识库的问答能力，本实施例还提供了优化目标知识库的方案，该方案可以包括：知识点新增步骤和知识点修正步骤；其中，知识点新增步骤包括：

步骤S1、确定所述目标知识库的未覆盖问题；

其中，未覆盖问题为在目标知识库中未查询到相匹配知识点的第二用户的问题，可通过目标知识库的历史问题查询结果获得。

步骤S2、确定所述未覆盖问题对应的候选知识点并推荐给所述目标知识库的使用者(一般是指第一用户)，以供优化所述目标知识库。其一种实现方式可以为：

获取人工问答数据库中的目标答案，所述目标答案为所述未覆盖问题的答案；将所述未覆盖问题、所述目标答案分别作为知识点的标题、内容，生成所述未覆盖问题对应的候选知识点。

其中，人工问答数据库用于存储第二用户与人工客服之间的问答信息，问答信息包括：第二用户的问题和人工客服的答案。

基于此，可将未覆盖问题与人工问答数据库中的第二用户的问题进行匹配，以查找到与未覆盖问题相匹配的问题及其答案，并将相匹配的问题及其答案分别作为知识点的标题、内容，从而实现通过人工问答数据库高效高质地优化目标知识库的目的。

进一步地，为提高第一用户运营知识库的积极性，本实施例采用‘少量多次’的策略，具体如下：

对所述未覆盖的问题进行聚类处理，得到最高频问题；查询所述人工问答数据库，得到所述最高频问题对应的评分最高的答案，并将所述评分最高的答案作为所述最高频问题对应的目标答案；将最高频问题及其目标答案推荐给第一用户。

即，每次的优化推荐均聚类出最高频的一个或多个的少量问题，并查找出各个高频问题的目标答案，以构建出候选知识点，供第一用户进行优化。

知识点修正步骤包括：

步骤S1、确定所述目标知识库的低质知识点，所述低质知识点为评分低于预设阈值的知识点；

其中，知识点的评分可取决于知识点的使用特征，例如：输出率越高、则评分越高，输出率越低，则评分越低。

基于此，步骤S1具体可示例为：采集知识点的多个使用相关指标，并将其作为预见模型/算法的输入，得到该知识点的评分。

步骤S2、将所述低质知识点推送给所述目标知识库的使用者，以提醒所述使用者优化所述目标知识库。

其中，低质知识点至少包括：过时知识点和错误答案的知识点；前者是指以丧失时效性的知识点，例如：已下线的产品相关的知识点；后者是指正文内容有误的知识点，例如：知识点标题和正文不相匹配、正文内容与标准答案不符。

基于此，步骤S2具体可以示例为：若所述低质知识点为过时知识点，则将所述过时知识点推送给所述使用者，以提示删除所述过时知识点；若所述低质知识点为错误答案的知识点，则生成正确答案，并将正确答案推送给所述使用者，以提示修正所述错误答案的知识点。

其中，正确答案可从人工问答数据库中查询得到。

进一步地，为提高第一用户的运维积极性和运维便利性，本实施例还包括：

步骤S1、确定所述目标知识库的健康排名情况并展示给所述目标知识库的使用者(一般是指第一用户)，以供第一用户清楚查看到目标知识库的相对健康状态，从而达到鼓励第一用户进行优化操作的目的。

步骤S2、第一用户允许优化后，确定所述目标知识库存在的异常，并生成所述异常对应的解决方案，以供用户进行一键优化。

其中，目标知识库存在的异常至少包括：未删除过时知识点、存在未覆盖的知识点等等；异常对应的解决方案包括：一键删除过时知识点、一键添加未覆盖知识点等等。

可见，本实施例通过获取目标知识库的预设维度的特征信息，以表征目标知识库中的知识点的质量，进而基于特征信息评估出目标知识库的健康状态。与现有技术相比，能够有效帮助用户运营管理知识库，确保知识库保持健康的发展状态。

另外，对于上述方法实施方式，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施方式并不受所描述的动作顺序的限制，因为依据本发明实施方式，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施方式均属于优选实施方式，所涉及的动作并不一定是本发明实施方式所必须的。

图4为本说明书一实施例提供的一种知识库评估装置的结构示意图，参见图4，该装置具体可以包括：确定模块401和评估模块402；其中，

确定模块401，用于确定目标知识库中的知识点的特征信息，所述特征信息用于表征知识点的质量；

评估模块402，用于基于所述特征信息，评估所述目标知识库的健康状态。

可选的，所述特征信息包括：文本特征；

其中，所述确定模块401，具体用于：

获取目标知识点的文本信息；基于所述文本信息，确定所述目标知识点的文本相关指标；基于所述文本相关指标，确定所述目标知识点的文本特征；

其中，所述目标知识点为所述目标知识库中的任一知识点。

可选的，所述文本相关指标包括：标题长度、标题内容的敏感度、正文内容的敏感度、知识点标题与扩展标题之间的语义相似度中的至少一种。

可选的，所述特征信息包括：使用特征；

其中，所述确定模块401，具体用于：

获取目标知识点的历史使用数据；基于所述历史使用数据，确定所述目标知识点的使用相关指标；基于所述使用相关指标，确定所述目标知识点的使用特征。

可选的，所述使用相关指标包括：输出率、点击率、用户好评度、转人工率中的至少一种。

可选的，所述特征信息包括：知识覆盖特征；

其中，所述确定模块401，具体用于：

获取所述目标知识库对应的历史问题查询结果；基于所述历史问题查询结果，确定所述目标知识库的问题覆盖情况；基于所述问题覆盖情况，确定所述目标知识库的知识覆盖特征。

可选的，所述评估模块，具体用于：

确定所述特征信息对应的指标值；基于所述指标值以及所述指标值对应的权重比例因子，评估所述目标知识库的健康分。

可选的，装置还包括：

知识库优化模块，用于确定所述目标知识库的未覆盖问题；确定所述未覆盖问题对应的候选知识点并推荐给所述目标知识库的使用者，以供优化所述目标知识库。

可选的，知识库优化模块，具体用于：

获取人工问答数据库中的目标答案，所述目标答案为所述未覆盖问题的答案；将所述未覆盖问题、所述目标答案分别作为知识点的标题、内容，生成所述未覆盖问题对应的候选知识点。

可选的，知识库优化模块，具体用于：

对所述未覆盖的问题进行聚类处理，得到最高频问题；查询所述人工问答数据库，得到所述最高频问题对应的评分最高的答案，并将所述评分最高的答案作为所述最高频问题对应的目标答案。

可选的，装置还包括：

知识库修正模块，用于确定所述目标知识库的低质知识点，所述低质知识点为评分低于预设阈值的知识点；将所述低质知识点推送给所述目标知识库的使用者，以提醒所述使用者优化所述目标知识库。

可选的，知识库修正模块，具体用于：

若所述低质知识点为过时知识点，则将所述过时知识点推送给所述使用者，以提示删除所述过时知识点；或者，若所述低质知识点为错误答案的知识点，则生成正确答案，并将正确答案推送给所述使用者，以提示修正所述错误答案的知识点。

可见，本实施例通过获取目标知识库的预设维度的特征信息，以表征目标知识库中的知识点的质量，进而基于特征信息评估出目标知识库的健康状态。与现有技术相比，能够有效帮助用户运营管理知识库，确保知识库保持健康的发展状态。另外，对于上述装置实施方式而言，由于其与方法实施方式基本相似，所以描述的比较简单，相关之处参见方法实施方式的部分说明即可。而且，应当注意的是，在本发明的装置的各个部件中，根据其要实现的功能而对其中的部件进行了逻辑划分，但是，本发明不受限于此，可以根据需要对各个部件进行重新划分或者组合。

图5为本说明书一实施例提供的一种电子设备的结构示意图，参见图5，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成知识库评估装置。当然，除了软件实现方式之外，本申请并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

网络接口、处理器和存储器可以通过总线系统相互连接。总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

存储器用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据。存储器可能包含高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器。

处理器，用于执行所述存储器存放的程序，并具体执行：

确定目标知识库中的知识点的特征信息，所述特征信息用于表征知识点的质量；

基于所述特征信息，评估所述目标知识库的健康状态。

上述如本申请图4所示实施例揭示的知识库评估装置或管理者(Master)节点执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(CentralProcessing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

知识库评估装置还可执行图2-3的方法，并实现管理者节点执行的方法。

基于相同的发明创造，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行图2-3对应的实施例提供的知识库评估方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (15)

1.一种知识库评估方法，其特征在于，包括：

确定目标知识库中的知识点的特征信息，所述特征信息用于表征知识点的质量；

基于所述特征信息，评估所述目标知识库的健康状态。

2.根据权利要求1所述的方法，其特征在于，所述特征信息包括：文本特征；

其中，所述确定目标知识库中的知识点的特征信息，包括：

获取目标知识点的文本信息；

基于所述文本信息，确定所述目标知识点的文本相关指标；

基于所述文本相关指标，确定所述目标知识点的文本特征。

3.根据权利要求2所述的方法，其特征在于，所述文本相关指标包括：标题长度、标题内容的敏感度、正文内容的敏感度、知识点标题与扩展标题之间的语义相似度中的至少一种。

4.根据权利要求1所述的方法，其特征在于，所述特征信息包括：使用特征；

其中，所述确定目标知识库中的知识点的特征信息，包括：

获取目标知识点的历史使用数据；

基于所述历史使用数据，确定所述目标知识点的使用相关指标；

基于所述使用相关指标，确定所述目标知识点的使用特征。

5.根据权利要求4所述的方法，其特征在于，所述使用相关指标包括：输出率、点击率、用户好评度、转人工率中的至少一种。

6.根据权利要求1所述的方法，其特征在于，所述特征信息包括：知识覆盖特征；

其中，所述确定目标知识库中的知识点的特征信息，包括：

获取所述目标知识库对应的历史问题查询结果；

基于所述历史问题查询结果，确定所述目标知识库的问题覆盖情况；

基于所述问题覆盖情况，确定所述目标知识库的知识覆盖特征。

7.根据权利要求1所述的方法，其特征在于，所述基于所述特征信息，评估所述目标知识库的健康状态，包括：

确定所述特征信息对应的指标值；

基于所述指标值以及所述指标值对应的权重比例因子，评估所述目标知识库的健康分。

8.根据权利要求1所述的方法，其特征在于，还包括：

确定所述目标知识库的未覆盖问题；

确定所述未覆盖问题对应的候选知识点并推荐给所述目标知识库的使用者，以供优化所述目标知识库。

9.根据权利要求8所述的方法，其特征在于，所述确定所述未覆盖问题对应的候选知识点，包括：

获取人工问答数据库中的目标答案，所述目标答案为所述未覆盖问题的答案；

将所述未覆盖问题、所述目标答案分别作为知识点的标题、内容，生成所述未覆盖问题对应的候选知识点。

10.根据权利要求9所述的方法，其特征在于，还包括：

对所述未覆盖的问题进行聚类处理，得到最高频问题；

其中，所述获取人工问答数据库中的目标答案，包括：

查询所述人工问答数据库，得到所述最高频问题对应的评分最高的答案，并将所述评分最高的答案作为所述最高频问题对应的目标答案。

11.根据权利要求1所述的方法，其特征在于，还包括：

确定所述目标知识库的低质知识点，所述低质知识点为评分低于预设阈值的知识点；

将所述低质知识点推送给所述目标知识库的使用者，以提醒所述使用者优化所述目标知识库。

12.根据权利要求11所述的方法，其特征在于，所述将所述低质知识点推送给使用者，包括：

若所述低质知识点为过时知识点，则将所述过时知识点推送给所述使用者以提示删除所述过时知识点；或者，

若所述低质知识点为错误答案的知识点，则生成正确答案，并将正确答案推送给所述使用者，以提示修正所述错误答案的知识点。

13.一种知识库评估装置，其特征在于，包括：

确定模块，用于确定目标知识库中的知识点的特征信息，所述特征信息用于表征知识点的质量；

评估模块，用于基于所述特征信息，评估所述目标知识库的健康状态。

14.一种电子设备，其特征在于，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如权利要求1至12中任一项所述的方法的步骤。

15.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至12中任一项所述的方法的步骤。