CN110209589B

CN110209589B - 知识库系统测试方法、装置、设备和介质

Info

Publication number: CN110209589B
Application number: CN201910485429.7A
Authority: CN
Inventors: 宋静; 晋小玲
Original assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Current assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Priority date: 2019-06-05
Filing date: 2019-06-05
Publication date: 2022-11-18
Anticipated expiration: 2039-06-05
Also published as: CN110209589A

Abstract

本发明实施例公开了一种知识库系统测试方法、装置、设备和介质，涉及知识库技术领域。该方法包括：对知识库系统中知识处理环节的测试输入数据进行处理，得到所述知识处理环节的测试处理数据；根据所述知识处理环节的测试处理数据，确定所述知识库系统的质量；其中所述知识处理环节包括如下至少两种：知识解析环节、知识融合环节、知识存储环节、知识应用环节和知识库管理环节。本发明实施例提供了一种知识库系统测试方法、装置、设备和介质，实现了对知识库系统质量的全面测试。

Description

知识库系统测试方法、装置、设备和介质

技术领域

本发明实施例涉及知识库技术领域，尤其涉及一种知识库系统测试方法、装置、设备和介质。

背景技术

基于知识图谱技术构建的知识库系统，能够把多源异构数据转化为知识，提供知识图谱全生命周期解决方案，打造行业智能大脑，助力企业智能化转型。

目前业界还没有知识库系统全面的质量评估系统，对于知识库的质量评价普遍采用的是对知识库部分环节或模块的质量分析，主要有以下两类：

(1)内容的质量分析，此处主要关注知识图谱构建的内容质量，是否能够将原始数据中的知识内容构建成知识图谱中的知识数据，知识的有效转化率。

(2)使用体验的质量分析，此处主要关注用户对知识库系统的使用情况，功能的满足率，用户的满意度。

知识库系统涉及到知识解析、知识融合、知识存储、知识应用和知识库管理等多个维度，上述两种方案的关注点不同，所带来的问题和不足也有所不同：

方案(1)适用于知识构建算法和模型的质量分析，没有覆盖应用、系统、存储等的质量情况。

方案(2)适用于知识应用的质量分析，没有覆盖知识构建、系统、存储等的质量情况。

现有的评估方案维度覆盖严重不足，同时也没有系统的实现方法，无法给出知识库系统的整体质量情况。

发明内容

本发明实施例提供一种知识库系统测试方法、装置、设备和介质，以实现对知识库系统质量的全面测试。

第一方面，本发明实施例提供了一种知识库系统测试方法，该方法包括：

对知识库系统中知识处理环节的测试输入数据进行处理，得到所述知识处理环节的测试处理数据；

根据所述知识处理环节的测试处理数据，确定所述知识库系统的质量；

其中所述知识处理环节包括如下至少两种：知识解析环节、知识融合环节、知识存储环节、知识应用环节和知识库管理环节。

第二方面，本发明实施例还提供了一种知识库系统测试装置，该装置包括：

数据获取模块，用于对知识库系统中知识处理环节的测试输入数据进行处理，得到所述知识处理环节的测试处理数据；

质量确定模块，用于根据所述知识处理环节的测试处理数据，确定所述知识库系统的质量；

第三方面，本发明实施例还提供了一种电子设备，所述设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例中任一项所述的知识库系统测试方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中任一项所述的知识库系统测试方法。

本发明实施例通过根据所述知识处理环节的测试处理数据，确定所述知识库系统的质量；其中所述知识处理环节包括如下至少两种：知识解析环节、知识融合环节、知识存储环节、知识应用环节和知识库管理环节。从而实现从至少两个知识处理环节的角度对知识库系统质量的全面测试。

附图说明

图1为本发明实施例一提供的一种知识库系统测试方法的流程图；

图2是本发明实施例一提供的一种知识库系统的结构示意图；

图3是本发明实施例二提供的一种知识库系统测试方法的流程图；

图4是本发明是实施例三提供的一种知识库系统测试方法的流程图；

图5是本发明实施例四提供的一种知识库系统的测试系统框图；

图6是本发明实施例四提供的一种数据生成的流程图；

图7是本发明实施例四提供的一种数据采集的流程图；

图8是本发明实施例四提供的一种指标分析的流程图；

图9是本发明实施例五提供的一种知识库系统测试装置的结构示意图；

图10为本发明实施例六提供的一种设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

发明人在实现本发明的过程中发现：

在各行各业中，随着业务的发展、交流的密切，信息数据量迅速增长。例如银行、航空、保险的客户服务中心就是一个典型的信息密集型部门，担负着把相关产品和服务信息通过电子渠道与客户进行沟通交流。传统知识库产品面临着知识维护成本高、有效价值信息获取难、搜索不够智能、问答不能理解语义等难点。基于知识图谱技术构建的知识库系统，能够把多源异构数据转化为知识，提供知识图谱全生命周期解决方案，打造行业智能大脑，助力企业智能化转型。作为近几年的热点技术，目前业界已经涌现出众多知识库系统的产品和解决方案，然而如何衡量这类知识库系统的质量却没有相对统一的原则和标准，知识库系统的质量评价成为难点。

实施例一

图1为本发明实施例一提供的一种知识库系统测试方法的流程图。本实施例可适用于对知识库系统进行全面测试的情况。该方法可以由一种知识库系统测试装置来执行，该装置可以由软件和/或硬件的方式实现。参见图1，本实施例提供的知识库系统测试方法包括：

S110、对知识库系统中知识处理环节的测试输入数据进行处理，得到所述知识处理环节的测试处理数据。

其中，所述知识处理环节包括如下至少两种：知识解析环节、知识融合环节、知识存储环节、知识应用环节和知识库管理环节。

知识库系统是待测试的知识库系统。

对知识库系统的描述如下：

基于知识图谱的知识库系统是为了解决行业传统知识库难点而作的创新产品。知识的维护、更新以及智能搜索和语义化问答都是知识图谱的优势。知识库系统将知识图谱的这些能力和行业结合，实现人工智能赋能。

具体地，知识库系统利用知识图谱的数据抽取、融合算法，将行业用户的知识文档具象化，提取出其中的知识点并组成知识图谱。它的形态可以是较为完备的结构化图数据，也可以是以短文本摘要为主的知识文本句子和段落，或者是人工补充编辑的问答对。并在知识图谱数据层之上构建一套问答搜索系统、机器人客服系统等，通过问题的语义化理解或者结构化理解等方式将客户问题与这些形态的知识图谱建立关系，从而实现自动问答或者精准搜索辅助问答决策，进而提升行业知识问答的效率、数据的利用率、答案的准确率和召回率。

参见图2，知识库系统按照知识的处理流程一般分为：知识解析、知识融合、知识存储和知识应用。同时作为完整的知识生产和应用的系统还需要具备知识库管理的相关功能。

其中，1)知识解析：对于知识库系统而言，知识解析主要是在特定场景下，使用已经标注的样本数据，对抽取模型进行重建，最终通过重建后的模型对系统输入数据进行知识抽取。

2)知识融合：是将不同数据源获取的知识进行融合，构建数据之间的关联。该部分包括知识建边，实体消歧，属性归一等，这部分核心技术为属性和实体的消歧归一，可能还会涉及的是本体的构建和融合。

3)知识存储：知识库的核心是知识图谱数据，知识数据的存储并不依赖特定的底层结构，根据数据和应用的需求采用不同的底层存储。

4)知识应用：基于知识图谱知识库系统目前已经在智能搜索问答、智能客服机器人，辅助决策的推荐分析系统领域有相应的应用案例。

具体地，对知识库系统中知识处理环节的测试输入数据进行处理，得到所述知识处理环节的测试处理数据，包括：

将测试输入数据输入知识库系统的各知识处理环节，执行各知识处理环节的处理；

采集执行处理的各知识处理环节的测试处理数据。

其中，测试处理数据包括：测试输出数据、测试过程数据和测试环境数据中的至少一个。

S120、根据所述知识处理环节的测试处理数据，确定所述知识库系统的质量。

具体地，根据所述知识处理环节的测试处理数据，确定所述知识库系统的质量，包括：

将测试处理数据反馈给用户，由用户根据测试处理数据确定所述知识库系统的质量。

因为所述知识处理环节包括如下至少两种：知识解析环节、知识融合环节、知识存储环节、知识应用环节和知识库管理环节。所以S120可以实现根据至少两个知识处理环节的测试处理数据，确定所述知识库系统的质量。

本发明实施例的技术方案，通过根据所述知识处理环节的测试处理数据，确定所述知识库系统的质量；其中所述知识处理环节包括如下至少两种：知识解析环节、知识融合环节、知识存储环节、知识应用环节和知识库管理环节。从而实现从至少两个知识处理环节的角度对知识库系统的全面测试。

进一步地，所述对知识库系统中知识处理环节的测试输入数据进行处理之前，所述方法还包括：

生成所述知识库系统中各模型的训练样本数据，以及所述知识库系统的各知识处理环节的测试输入数据；

搭建所述知识库系统；

利用所述训练样本数据对搭建的所述知识库系统中的各模型进行训练。

其中，所述各模型包括知识解析模型和知识融合模型。

实施例二

图3是本发明实施例二提供的一种知识库系统测试方法的流程图。本实施例是在上述实施例的基础上提出的一种可选方案。参见图3，本实施例提供的知识库系统测试方法包括：

S210、对知识库系统中知识处理环节的测试输入数据进行处理，得到所述知识处理环节的测试处理数据。

S220、根据所述知识处理环节的测试处理数据，确定所述知识处理环节的参考维度信息。

其中，所述参考维度信息的信息维度包括：用户维度、系统维度、工程维度、模型维度和数据维度中的至少一个。

参见表1每个维度与各知识处理环节的相关性不同，具体如下：

表1

具体地，用户维度信息包括：服务性能指标数据、服务收益指标数据和服务效果指标数据中的至少一种。

系统维度信息包括：系统时效性指标数据、系统安全指标数据和系统运维成本指标数据中的至少一种。

工程维度信息包括：空间复杂度指标数据、时间复杂度指标数据和可扩展性指标数据中的至少一种。

模型维度信息包括：模型效果指标数据、收敛速度指标数据、数据量级指标数据和分布式指标数据中的至少一种。

数据维度信息包括：合规性指标数据、重复性指标数据、完整性指标数据和时效性指标数据中的至少一种。

换而言之，所述参考维度信息包括：

服务性能指标数据、服务收益指标数据、服务效果指标数据、系统时效性指标数据、系统安全指标数据、系统运维成本指标数据、空间复杂度指标数据、时间复杂度指标数据、可扩展性指标数据、模型效果指标数据、收敛速度指标数据、数据量级指标数据、分布式指标数据、合规性指标数据、重复性指标数据、完整性指标数据和时效性指标数据中的至少一个。

进一步地，所述服务性能指标数据包括：访问时效性指标数据和/或知识时效性指标数据；

所述服务收益指标数据包括：服务收益指标数据；

所述服务效果指标数据包括：结果准确率指标数据、易用性指标数据、用户反馈的闭环时长指标数据和用户反馈的闭环率指标数据中的至少一个；

所述系统时效性指标数据包括：整体时效性指标数据、阶段时效性指标数据、监控覆盖率指标数据、权限机制完备度指标数据、容灾能力指标数据、系统部署和升级成本指标数据、新格式数据接入成本指标数据和本体构建成本指标数据中的至少一个；

所述空间复杂度指标数据包括：资源占用率指标数据、空间膨胀率指标数据和单条实体量级指标数据中的至少一个；

所述时间复杂度指标数据包括：时间效率指标数据、吞吐量指标数据和并发支持性能指标数据中的至少一个；

所述可扩展性指标数据包括：存储可扩展指标数据和/或查询可扩展指标数据；

所述模型效果指标数据包括：知识抽取模型初始效果指标数据、知识融合模型初始效果指标数据、知识抽取模型重建效果指标数据和知识融合模型重建效果指标数据中的至少一个；

所述收敛速度指标数据包括：知识抽取模型收敛速度指标数据和/或知识融合模型收敛速度指标数据；

所述数据量级指标数据包括：知识抽取模型支持数据量级指标数据和/或知识融合模型支持数据量级指标数据；

所述分布式指标数据包括：知识解析模型是否支持分布式运行指标数据和/或知识融合模型是否支持分布式运行指标数据；

所述合规性指标数据包括：鉴权数据合规性指标数据和/或知识数据合规性指标数据；

所述准确性指标数据包括：知识数据准确性指标数据；

所述重复性指标数据包括：知识数据重复性指标数据；

所述完整性指标数据包括：知识数据完整性指标数据；

所述时效性指标数据包括：知识数据时效性指标数据。

具体地，参见表2用户维度包括的指标数据如下：

表2

参见表3系统维度包括的指标数据如下：

表3

参见表4工程维度包括的指标数据如下：

表4

参见表5模型维度包括的指标数据如下：

表5

参见表6数据维度包括的指标数据如下：

表6

S230、根据所述知识处理环节的参考维度信息，确定所述知识库系统的质量。

本发明实施例的技术方案，通过根据至少两个知识处理环节的测试处理信息，从至少一个维度确定对所述知识库系统的质量。从而实现对所述知识库系统质量的全面测试。

实施例三

图4是本发明是实施例三提供的一种知识库系统测试方法的流程图。本实施例是在上述实施例的基础上提出的一种可选方案。参见图4，本实施例提供的知识库系统测试方法包括：

S310、对知识库系统中知识处理环节的测试输入数据进行处理，得到所述知识处理环节的测试处理数据。

S320、对所述知识处理环节的测试处理数据进行量化。

具体地，所述对所述知识处理环节的测试处理数据进行量化，包括：

对所述知识处理环节的测试处理数据进行规范化，生成规范化数据，其中所述规范化包括数据格式标准化、归一处理和指标结果映射转化中的至少一个。

若生成的规范化数据为可对比的量化数据，则将生成的规范化数据作为量化结果，供根据所述量化结果的比对结果确定所述知识库系统的质量。

若生成的规范化数据为非量化数据，则对所述规范化数据进行线性计算，生成线性结果，其中所述线性计算为基于线性模型的计算。

若生成的线性结果为可对比的量化数据，则将生成的线性结果作为量化结果，供根据所述量化结果的比对结果确定所述知识库系统的质量。

若所述线性结果为非量化数据，则对线性结果进行非线性计算，生成非线性结果，并将所述非线性结果作为量化结果，其中所述非线性计算为基于非线性模型的计算。

典型地，线性模型为SVM(support vector machine，支持向量机)模型。

非线性模型为神经网络模型。

S330、根据量化结果确定所述知识库系统的质量。

具体地，根据量化结果确定所述知识库系统的质量，包括：

比对量化结果和设定阈值，根据比对结果确定所述知识库系统的质量。

本发明实施例的技术方案，通过对所述知识处理环节的测试处理数据进行量化，根据量化结果不仅可以实现知识库系统的自动测试，还可以满足同类知识库系统间的比对需求。

实施例四

图5是本发明实施例四提供的一种知识库系统的测试系统框图。本实施例是在上述实施例的基础上提出的一种可选方案。参见图5，本实施例提供的知识库系统的测试系统主要包括数据生成、知识库部署、数据采集和指标分析4部分。

其中，数据生成部分：该部分生成知识库系统的输入数据，输入数据分为2类：一类是知识库系统中各模型训练需要的样本标注数据，另一类是知识库系统中各知识处理环节运行的测试输入数据，该部分包括图数据和非图数据两部分。样本标注数据采用人工和自动化相结合的半自动化方式生产。

知识库系统中各知识处理环节运行的测试输入数据采用数据模拟(mock)技术实现。具体实现流程参见图6，其中数据类型0表示标注数据，数据类型非0表示服务模拟数据。

环境准备部分需要部署知识库系统，知识库系统涉及的组成模块众多，此处采用测试服务化方式，将环境准备改造成服务模式，实现一键式环境搭建。

数据采集部分是获取用于各项指标结果计算的输入数据(也即测试处理数据)，采集数据有三类，一类是知识库系统的运行日志信息，另一类是知识库执行指标计算用例(case)中各个服务模块的结果信息，此外还有系统使用过程中部署服务器的环境数据信息。具体实现流程参见图7。

指标分析部分是将数据采集的结果通过模型分析，给出指标系统中相应指标项的结果得分。

此处设计的分析模型包括采集数据规范化、线性模型计算和非线性模型计算三层。其中采集数据规范化完成采集数据的规范化处理，包括数据格式标准化、归一处理、指标结果映射转化(非数值类型的采集数据转化成数值类型)；线性模型计算使用线性回归模型(Y＝WX+B)，该模型实现依赖多个数据采集项的多维指标的计算。例如时效性相关指标、覆盖率相关指标。非线性模型使用打分模型(模糊综合评价方法)和满意度模型(SEM模型)。计算综合打分类指标和满意度分析类指标的得分。具体指标分析部分的流程参见图8。

该测试系统的具体实现方法包括：

生成所述待测试知识库系统中各模型的训练样本数据，以及所述待测试知识库系统的测试数据。

搭建所述待测试知识库系统。

利用所述训练样本数据对搭建的所述待测试知识库系统中的各模型进行训练。

将测试输入数据输入待测试知识库系统的各知识处理环节，运行所述待测试知识库系统的各知识处理环节。

从所述待测试知识库系统的运行日志信息、所述待测试知识库系统中各模块的计算结果信息和所述待测试知识库系统在运行过程中部署服务器的环境信息中，采集所述待测试知识库系统的测试处理数据。

对采集的测试处理数据进行规范化，生成规范化数据。

若生成的规范化数据为不可比对的非量化数据，则对所述规范化数据进行线性计算，生成线性结果。

若线性结果为不可比对的非量化数据，则对线性结果进行非线性计算，生成非线性结果，将所述非线性结果作为量化结果。

基于用户维度、系统维度、工程维度、模型维度和数据维度中的至少一个维度，根据所述量化结果确定所述待测试知识库系统的质量。

本实施例设计了一套完备的指标体系：包括用户维度、系统维度、工程维度、模型维度和数据维度五个维度，兼顾用户和产品的不同角度，覆盖了知识库系统从数据源头到应用维护的全生命周期，能够全面、真实的反应知识库系统的质量情况。

此外，设计了该指标体系的实现方法，包括数据生成、环境准备、数据采集和指标分析，这套系统能够生成测试指标的输入数据，获取测试指标结果数据，创新性的引入多种模型组合分析将指标体系结果量化，进而发现系统待完善之处，不断推进知识库产品的迭代优化。并且基于量化结果，该测试结果适用于跟同类知识库产品进行横向对比，可作为基于知识图谱的知识库产品业界领先性评估的实施系统方案。

需要说明的是，经过本实施例的技术教导，本领域技术人员有动机将上述实施例中描述的任一种实施方式进行方案的组合，以实现对知识库系统质量的全面测试。

实施例五

图9是本发明实施例五提供的一种知识库系统测试装置的结构示意图。参见图9，本实施例提供的知识库系统测试装置包括：数据获取模块10和质量确定模块20。

其中，数据获取模块10，用于对知识库系统中知识处理环节的测试输入数据进行处理，得到所述知识处理环节的测试处理数据；

质量确定模块20，用于根据所述知识处理环节的测试处理数据，确定所述知识库系统的质量；

进一步地，所述质量确定模块，包括：信息确定单元和质量确定单元。

其中，信息确定单元，用于根据所述知识处理环节的测试处理数据，确定所述知识处理环节的参考维度信息；

质量确定单元，根据所述知识处理环节的参考维度信息，确定所述知识库系统的质量。

进一步地，所述参考维度信息的信息维度包括：用户维度、系统维度、工程维度、模型维度和数据维度中的至少一个。

进一步地，所述参考维度信息包括：服务性能指标数据、服务收益指标数据、服务效果指标数据、系统时效性指标数据、系统安全指标数据、系统运维成本指标数据、空间复杂度指标数据、时间复杂度指标数据、可扩展性指标数据、模型效果指标数据、收敛速度指标数据、数据量级指标数据、分布式指标数据、合规性指标数据、重复性指标数据、完整性指标数据和时效性指标数据中的至少一个。

进一步地，所述质量确定模块，包括：数据量化单元和质量确定单元。

其中，数据量化单元，用于对所述知识处理环节的测试处理数据进行量化；

质量确定单元，用于根据量化结果确定所述知识库系统的质量。

进一步地，所述数据量化单元具体用于：

对所述知识处理环节的测试处理数据进行规范化，生成规范化数据，其中所述规范化包括数据格式标准化、归一处理和指标结果映射转化中的至少一种；

若生成的规范化数据为非量化数据，则对所述规范化数据进行线性计算，生成线性结果，其中所述线性计算为基于线性模型的计算；

进一步地，所述装置还包括：数据生成模块、系统搭建模块和模型训练模块。

其中，数据生成模块，用于所述对知识库系统中知识处理环节的测试输入数据进行处理之前，生成所述知识库系统中各模型的训练样本数据，以及所述知识库系统的各知识处理环节的测试输入数据；

系统搭建模块，用于搭建所述知识库系统；

模型训练模块，用于利用所述训练样本数据对搭建的所述知识库系统中的各模型进行训练。

进一步地，所述测试处理数据包括测试输出数据、测试过程数据和测试环境数据中的至少一个。

本发明实施例所提供的知识库系统测试装置可执行本发明任意实施例所提供的知识库系统测试方法，具备执行方法相应的功能模块和有益效果。

实施例六

图10为本发明实施例六提供的一种设备的结构示意图。图10示出了适于用来实现本发明实施方式的示例性设备12的框图。图10显示的设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图10所示，设备12以通用计算设备的形式表现。设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图10未显示，通常称为“硬盘驱动器”)。尽管图10中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。

设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该设备12交互的设备通信，和/或与使得该设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与设备12的其它模块通信。应当明白，尽管图中未示出，可以结合设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的知识库系统测试方法。

实施例七

本发明实施例D还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中任一项所述的知识库系统测试方法，该方法包括：

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims

1.一种知识库系统测试方法，其特征在于，包括：

根据所述知识处理环节的测试处理数据，确定所述知识处理环节的参考维度信息；其中，所述参考维度信息的信息维度包括：用户维度、系统维度、工程维度、模型维度和数据维度中的至少一个；

根据所述知识处理环节的参考维度信息，确定所述知识库系统的质量；

2.根据权利要求1所述的方法，其特征在于，所述参考维度信息包括：

3.根据权利要求1所述的方法，其特征在于，所述对知识库系统中知识处理环节的测试输入数据进行处理之前，所述方法还包括：

搭建所述知识库系统；

4.根据权利要求1所述的方法，其特征在于，所述测试处理数据包括测试输出数据、测试过程数据和测试环境数据中的至少一个。

5.一种知识库系统测试方法，其特征在于，包括：

对所述知识处理环节的测试处理数据进行规范化，生成规范化数据；

若生成的规范化数据为非量化数据，则对所述规范化数据进行线性计算，生成线性结果；

若所述线性结果为非量化数据，则对所述线性结果进行非线性计算，生成非线性结果，并将所述非线性结果作为量化结果；

根据所述量化结果确定所述知识库系统的质量；

6.根据权利要求5所述的方法，其特征在于，所述对知识库系统中知识处理环节的测试输入数据进行处理之前，所述方法还包括：

搭建所述知识库系统；

7.根据权利要求5所述的方法，其特征在于，所述测试处理数据包括测试输出数据、测试过程数据和测试环境数据中的至少一个。

8.一种知识库系统测试装置，其特征在于，包括：

其中所述知识处理环节包括如下至少两种：知识解析环节、知识融合环节、知识存储环节、知识应用环节和知识库管理环节；

所述质量确定模块，包括：

信息确定单元，用于根据所述知识处理环节的测试处理数据，确定所述知识处理环节的参考维度信息；其中，所述参考维度信息的信息维度包括：用户维度、系统维度、工程维度、模型维度和数据维度中的至少一个；

9.根据权利要求8所述的装置，其特征在于，所述参考维度信息包括：服务性能指标数据、服务收益指标数据、服务效果指标数据、系统时效性指标数据、系统安全指标数据、系统运维成本指标数据、空间复杂度指标数据、时间复杂度指标数据、可扩展性指标数据、模型效果指标数据、收敛速度指标数据、数据量级指标数据、分布式指标数据、合规性指标数据、重复性指标数据、完整性指标数据和时效性指标数据中的至少一个。

10.一种知识库系统测试装置，其特征在于，包括：

所述质量确定模块，包括：

数据量化单元，用于对所述知识处理环节的测试处理数据进行量化；

质量确定单元，用于根据量化结果确定所述知识库系统的质量；

所述数据量化单元，具体用于：

根据所述量化结果确定所述知识库系统的质量。

11.一种电子设备，其特征在于，所述设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-4或5-7中任一项所述的知识库系统测试方法。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4或5-7中任一项所述的知识库系统测试方法。