CN105335488A - 一种知识库构建方法 - Google Patents

Abstract

本发明提供了一种知识库构建方法，其包括如下步骤：A、接收原始信息的输入，类型包含标准数据和经验数据；B、将原始信息引入基于字符串匹配和基于统计的分词程序进行预处理；C、根据信息的类型，基于分词引擎提取的特征词，分别采用倒排表的方法构建特征项到文档的索引表，采用最小割集方法建立约简的规则树，并将倒排表和规则树进行存储；D、在对知识的访问时，对存储的倒排表和规则树进行知识匹配，返回使用者规程信息和相关的经验信息。本发明的方法建立用于智能检索的知识库，便于工作人员有效利用历史经验和相关规程及时处理现场问题，极大提高工作效率。

Description

一种知识库构建方法

技术领域

本发明属于计算机技术与电力专业交叉的研究领域，具体涉及一种针对电力系统的知识库构建方法。

背景技术

在监控软件系统，特别是电力软件监控系统中，现场工作人员运行维护着集成度、复杂度越来越高的设备及系统，当其出现故障时，除非经验特别丰富的运维人员，故障的定位、分析、排除等过程变得异常复杂与漫长，进而造成运维成本的提高，系统工作效率的下降。因此为工作人员提供一种高效、即席的智能知识库系统，以提高对类似场景的处理效率变得尤为关键。当前的知识库系统、专家系统得到了广泛的研究和发展，但是在应用中也存在着一定问题：

1)在知识表达层面，传统的基于规则的方式可视作经过萃取的知识，而直接提取知识不仅花费大量时间，而且容易受到专家本身的不精确性影响。而将成功案例记录在专家系统中，但这种原生案例一般容量较大，且存在信息冗余。

2)在规则的推导方面，需要专家提出规则，而许多情况下没有真正的专家存在；前项限制条件较多，且规则库过于复杂，很多情况下难以从知识库中寻找与当前问题条件最匹配的一个案例。

3)在检索效率方面，在某些情况下选取超大空间的列举属性或者数字属性，此时该属性值的选取，需要大量样本以及复杂的运算，会导致系统搜索时间过长不能满足知识库系统的对效率方面的要求。

发明内容

针对现有技术在知识表达、规则推导、检索效率等方面存在的问题，本发明的目的是通过设计基于统计的知识库分词引擎、基于倒排表的知识库构建及统一的知识库服务访问等关键模块，提供一种准确、高效、可扩展和应用性良好的知识库构建方法。

为了实现上述目的，本发明提供了一种知识库构建方法，其特征在于，包括如下步骤：

A、接收原始信息的输入，类型包含标准数据和经验数据；

B、将原始信息引入基于字符串匹配和基于统计的分词程序进行预处理；

C、根据信息的类型，基于分词引擎提取的特征词，分别采用倒排表的方法构建特征项到文档的索引表，采用最小割集方法建立约简的规则树，并将倒排表和规则树进行存储；

D、在对知识的访问时，对存储的倒排表和规则树进行知识匹配，返回使用者规程信息和相关的经验信息。

本发明中，分词引擎承担构建知识库之前的预处理工作，及应用阶段检索关键字的解析工作。本发明的分词引擎结合自动分词的结合基于字符串匹配的分词方法和基于统计的分词方法，发挥匹配分词切分速度快、效率高的特点，又利用了无词典分词结合上下文识别生词、自动消除歧义的优点。

本发明中，根据知识的类型和特点不同，分为标准知识和经验知识。标准知识的载体是静态知识如相关规程、导则、制度等，具有规范化、电子化、分类化的特点，相对比较系统和固化。经验知识则是历史记录信息和运维人员任务执行信息的汇总，是对日常工作和典型故障状况的发生、处理的过程进行综合分析和知识提炼，具有可扩展性方面的特点和要求。标准知识库的内容解析是根据文档类型生成不同的解析器，以提取文档的文字内容作为分词引擎的输入。正向索引过程分析文档过程包括提取正文信息和把正文信息切分为索引词两个阶段。标准知识库构建的核心环节是将相关文档进行资料集成、建立索引以备将来查询检索高层应用。其包括文档的内容解析，利用前面所述的分词引擎进行索引提取、正向索引的排序和反向索引表的构建等步骤。

知识库中的经验知识库部分，存储的更多是典型场景的故障处理流程与经验数据，传统的数据的表示最终采取的措施作为顶事件，在此之前需要找出系统内部可能发生的部件失效、环境变化、人为失误等因素与系统失效的特征。因此，此种类型的知识库数据结构的利用方式是需要“逐步推导”：先从叶子节点进行匹配，然后根据故障特征进行逐步推导，直到推导到顶事件为止。本发明将传统的推导方法进行扩展，以提高推导效率和实现模糊匹配。通过最小割集可以建立各种征兆(底事件)与结论(顶事件)的直接联系。经验知识库中的规则都是最小割集为征兆(条件)到结论的形式，将推理过程进行约简和压缩。针对传统规则树需要多次推导匹配苛刻的问题，通过最小割集可以建立各种征兆(底事件)与结论(顶事件)的直接联系。建立征兆(条件)到结论的“一步”推导的方式。

本发明中，知识库的服务包含知识查询、知识获取、知识发现、知识维护及知识使用功能，实现了知识数据的全过程管理。

知识库的输入源包括两方面：

1)知识库的维护：知识库构建的初始过程，来自规范、标准以及历史经验等知识源进行汇总、提炼和入库；并对知识库内的知识点进行增加、删除、修改等操作；

2)知识发现：通过接口自动获取外部的运行维护数据，并对知识获取过程中的资源进行提炼和挖掘，形成有效的知识点，并存储到知识库。

知识库的输出主要为用户提供知识检索接口，知识库系统通过接口采集到用户检索关键词，并调用分词引擎进行分词和特征提取，并交由知识查询模块进行知识推理和规则匹配，分别在经验知识库和标准知识库中进行不同的匹配和检索：在检索标准知识库时，推理机将关键字相关的规范、标准章节上下文按照匹配度阈值进行结果筛选、提取和汇总；在检索经验知识库时，对故障处理知识正向规则和反向规则进行检索，对规则进行抽取。最终将两类结果，按照匹配度的排名为使用者进行推送。也就是说，在内部智能化对用户检索的关键字进行匹配，将与关键字相关的规范、标准章节上下文，已经历史经验数据，按照匹配度的排名进行推送。

本发明的方法不但将静态信息如电网相关规程、导则、制度等固化、系统化的信息入库，同时将日常工作和典型故障相关的处理经验数据，建立用于智能检索的知识库，以便于工作人员能有效利用历史经验和相关规程及时处理现场问题，极大提高工作效率。

根据本发明另一具体实施方式，步骤A具体包括如下步骤：

A1、采用流的方式读入文档中的每一个句子S；

A2、对于S采用正向减字最大匹配算法，生成正向匹配输出列表SList1；

A3、对于S采用反向减字最大匹配算法，生成反向匹配输出列表SList2；

A4、将SList1与翻转后的SList2进行比较；

A5、如果两者不同，则计算SList1和SList2的出现概率，计算完毕后，将概率较大的SList，存入OutPutList中；否则，将SList的结果存入最终的结果OutputList中；

A6、输出分词的结果：OutputList。

根据本发明另一具体实施方式，步骤A2包括如下步骤：

A2a、将S从左向右以MaxLen为界选出候选字串cs1；

A2b、如果cs1为空，则说明句子S已经处理完毕，跳转到步骤A3；

A2c、如果cs1在词典中，将cs1放入到正向匹配输出列表SList1中，并跳转到步骤A2a处理下一个长为MaxLen的候选字段；

A2d、将cs1最右边一个字去掉，如果不为单字，跳转到上一步；否则cs1放入到正向匹配输出列表SList1中。

根据本发明另一具体实施方式，步骤A3包括如下步骤：

A3a、将S从右向左以MaxLen为界选出候选字串cs2；

A3b、如果cs2为空，则说明句子S已经处理完毕，跳转到A4；

A3c、如果cs2在词典中，将cs2放入到反向匹配输出列表SList2中，并跳转到步骤A3a处理下一个长为MaxLen的候选字段；

A3d、将cs2最左边一个字去掉，如果不为单字，跳转到上一步；否则cs2放入到反向匹配输出列表SList2中。

根据本发明另一具体实施方式，知识库包括标准知识库和经验知识库；步骤C中包括构建标准知识库和构建经验知识库。

根据本发明另一具体实施方式，步骤C中，构建标准知识库具体包括如下步骤：

CA1、接受中文文本经过分词引擎的对文档内容切分的词汇单元，进行特征选择；

CA2、形成文档号到特征项的对应关系表，即正排表；

CA3、进行反排表构建。

根据本发明另一具体实施方式，步骤C中，构建经验知识库具体包括如下步骤：

CB1、生成顶事件集，将原结论集减去征兆集后剩下的部分定为最小顶事件集；

CB2、获得顶事件的关联事件集和关联规则集，建立规则树；

CB3、对规则树进行局部化简；

CB4、计算各规则树的最小割集；

CB5、生成经验知识库的正向规则和反向规则。

根据本发明另一具体实施方式，步骤CB3中局部化简方法为：先生成其结构函数，再应用布尔代数中的有关规则对事件进行逻辑运算，加以吸收，并得出与之等价的规则树。

根据本发明另一具体实施方式，步骤CB3中局部化简方法为：从规则树的最底层开始逐级检查，消除冗余结构。

根据本发明另一具体实施方式，步骤CB4中求最小割集的算法为行列法、结构法、或者布尔代数化简法。

采用本发明的方法，通过分词引擎结合自动分词的结合基于字符串匹配的分词方法和基于统计的分词方法，发挥匹配分词切分速度快、效率高的特点，又利用了无词典分词结合上下文识别生词、自动消除歧义的优点，提高了使用者期望知识的命中率。建立的知识库由标准知识库和经验知识库构成，一方面考虑了现有标准、规范的系统化、可实用化，一方面又对日常巡维工作和典型故障状况的发生、处理的过程进行综合分析和知识提炼和随时入库，形成经验知识库，具有很强的可扩展性和实用性，大大提高了使用者执行运维任务的效率和故障处理质量，提高变电站巡维的精益化水平。

附图说明

图1为实施例1中，变电站巡维任务指导的知识库应用场景；

图2为实施例1中，变电站巡维任务指导的知识库的构建步骤；

图3a为实施例1中，标准知识库构建的倒排表构建过程；

图3b为实施例1中，正排表的结构示意图；

图3c为实施例1中，倒排表的结构示意图；

图4为实施例1中，分词引擎算法的流程图。

具体实施方式

实施例1

本实施例为变电站巡维任务指导的知识库的构建方法。图1所示为本实施例所构建的变电站巡维任务指导的知识库的应用场景。

图2所示，是本实施例的变电站巡维任务指导的知识库的构建方法，其包括如下步骤：

A、接收原始信息的输入，类型包含标准数据和经验数据；

B、将原始信息引入基于字符串匹配和基于统计的分词程序进行预处理；

C、根据信息的类型，基于分词引擎提取的特征词，分别采用倒排表的方法构建特征项到文档的索引表，采用最小割集方法建立约简的规则树，并将倒排表和规则树进行存储；

D、在对知识的访问时，对存储的倒排表和规则树进行知识匹配，返回使用者规程信息和相关的经验信息。

对于步骤A，因为分词引擎是文档分析的前提，中文文本经过分词引擎的处理将整句切割成小的词汇单元，即特征项，因此将原始信息引入基于字符串匹配和基于统计的分词程序进行首先进行预处理。原始数据通过对应的解析器，得到其文档内容，其对于分词引擎处理为待切分的字符串，同时分词引擎需要预先配置中文词典，分词引擎的输出为切分后的字符串及出现频率。处理的流程如图4所示：

A1、采用流的方式读入文档中的每一个句子S；

A2、对于S采用正向减字最大匹配算法

A2a、将S从左向右以MaxLen为界选出候选字串cs1；

A2b、如果cs1为空，则说明句子S已经处理完毕，跳转到A3；

A2c、如果cs1在词典中，将cs1放入到正向匹配输出列表SList1中，并跳转到步骤A2a处理下一个长为MaxLen的候选字段；

A2d、将cs1最右边一个字去掉，如果不为单字，跳转到上一步；否则cs1放入到正向匹配输出列表SList1中；

A3、对于S采用反向减字最大匹配算法

A3a、将S从右向左以MaxLen为界选出候选字串cs2；

A3b、如果cs2为空，则说明句子S已经处理完毕，跳转到A4；

A3c、如果cs2在词典中，将cs2放入到正向匹配输出列表SList2中，并跳转到步骤A3a处理下一个长为MaxLen的候选字段；

A3d、将cs1最右边一个字去掉，如果不为单字，跳转到上一步；否则cs1放入到正向匹配输出列表SList1中

A4、将SList1与翻转后的SList2进行比较

A5、如果两者不同，则计算SList1和SList2的出现概率，其概率模型为二元模型(BigramModel)：

P(SList)＝P(w1,w2,…,wn)＝P(w1)*P(w2|w1)*P(w3|w2)…P(wn|Wn-1)

其中w1，w2…wn分别为SList中从左到右的各个字串。

计算完毕后，将概率较大的SList，存入OutPutList中；

否则，将SList的结果存入最终的结果OutputList中。

A6、输出分词的结果：OutputList。

步骤C中，对构成知识库主体部分：标准知识库和经验知识库分别进行了构建。具体如下文所述。

CA、知识库中标准知识部分的构建

标准知识库构建是将变电站巡维相关文档进行资料集成、建立索引以备将来查询检索高层应用。其包括特征提取、正向索引的排序和反向索引表的构建等步骤，如图3a所示。

CA1、接受中文文本经过分词引擎的对文档内容切分的词汇单元，进行特征选择。根据巡维任务指导的特点，选定专业相关的关键词为特征项，去掉具有频度较高而不相关的分词。

CA2、形成文档号到特征项的对应关系表，即正排表。正排表的结构如图3b所示。正排表中每条记录为：

<文档编号，特征项编号，特征项在文档中的位置，特征项载体信息>

其中特征项载体信息包括索引词在文档中的大纲级别、段落号、特征项字体、大小等信息。

CA3、进行反排表构建。正排表生成以后，将每条记录的特征项字段提到记录的最前端，作为反排表的索引：将其按字母序进行排序，将相同的特征项进行合并，而将记录中其他的信息以链表的形式，进行关联，倒排表的结构如图3c所示。倒排表的每一条记录的形式如下：

<特征项编号，<文档编号，特征项在文档中的位置，特征项载体信息>…<文档编号，特征项在文档中的位置，特征项载体信息>>

CB、知识库中经验知识部分的构建

经验知识处理的是巡维过程中产生的故障原因、故障现象、故障处理流程等的经验数据，比较适合采用规则树的方式构建，同时，为了提高推导效率和实现模糊匹配，设计一种基于割集的约简规则树生成方法，具体步骤如下：

CB1、生成顶事件集。

将原结论集减去征兆集后剩下的部分定为最小顶事件集。顶事件应当包括一些常见故障、一些对被诊断系统运行影响较大的故障结论。

CB2、获得顶事件的关联事件集和关联规则集，建立规则树。

根据历史经验规则，获得顶事件相关的所有相关联的事件和规则,并将其挂在顶事件节点下。递归的，获得下级节点的关联事件集和规则集，并逐级挂接，直到没有关联的事件和规则为止。

CB3、对规则树进行局部化简。

规则树化简的目的是为了消除冗余，去掉多余的逻辑事件，使底事件和顶事件之间的逻辑关系更简洁。化简的方法可以先生成其结构函数，再应用布尔代数中的有关规则对事件进行逻辑运算，加以吸收，并得出与之等价的规则树。也可以从规则树的最底层开始逐级检查，消除冗余结构。

CB4、计算各规则树的最小割集。

求最小割集的算法比较成熟，可以选用行列法、结构法、布尔代数化简法中的一种，最终得到形式为

Q：{Pn,Pm,..Po}…{Pr,Ps,..Pt}

其中Q为顶层事件，形如{Pn,Pm,..Po}为割集之一。

CB5、生成经验知识库的正向规则和反向规则。

根据最小割集生成索引规则，可以生成正向规则和反向规则。正向规则描述的是从征兆事件或特征事件可以推导结果的规则，适合从特征找任务处理办法。

Rule_j＝{P_i∧P_i+1∧...P_i+m→Q}

i到i+m为m个先兆特征的序号，Q为结果事件。

而反向规则则描述顶层事件所关联的原因，典型的场景是从故障分析可能的原因。

Rule_j＝{Q→list(P_i∧P_i+1∧...P_i+m)}

此规则为顶层事件Q作为索引，后面关联的为割集的集合。

经验知识库中的规则是由征兆到结论或从结论反推原因的一步算法，没有中间推理过程，因而可以加速整个知识库系统的推理。而且可以根据用户输入的检索条件在规则的索引集合中进行模糊匹配，检索出最有可能的规则。

以上是对本发明做的示例性描述，凡在不脱离本发明核心的情况下做出的简单变形或修改均落入本发明的保护范围。

Claims (10)

1.一种知识库构建方法，其特征在于，包括如下步骤：

A、接收原始信息的输入，类型包含标准数据和经验数据；

B、将原始信息引入基于字符串匹配和基于统计的分词程序进行预处理；

C、根据信息的类型，基于分词引擎提取的特征词，分别采用倒排表的方法构建特征项到文档的索引表，采用最小割集方法建立约简的规则树，并将倒排表和规则树进行存储；

D、在对知识的访问时，对存储的倒排表和规则树进行知识匹配，返回使用者规程信息和相关的经验信息。

2.如权利要求1所述的知识库构建方法，其特征在于，步骤A具体包括如下步骤：

A1、采用流的方式读入文档中的每一个句子S；

A2、对于S采用正向减字最大匹配算法，生成正向匹配输出列表SList1；

A3、对于S采用反向减字最大匹配算法，生成反向匹配输出列表SList2；

A4、将SList1与翻转后的SList2进行比较；

A5、如果两者不同，则计算SList1和SList2的出现概率，计算完毕后，将概率较大的SList，存入OutPutList中；否则，将SList的结果存入最终的结果OutputList中；

A6、输出分词的结果：OutputList。

3.如权利要求2所述的知识库构建方法，其特征在于，步骤A2包括如下步骤：

A2a、将S从左向右以MaxLen为界选出候选字串cs1；

A2b、如果cs1为空，则说明句子S已经处理完毕，跳转到步骤A3；

A2c、如果cs1在词典中，将cs1放入到正向匹配输出列表SList1中，并跳转到步骤A2a处理下一个长为MaxLen的候选字段；

A2d、将cs1最右边一个字去掉，如果不为单字，跳转到上一步；否则cs1放入到正向匹配输出列表SList1中。

4.如权利要求2所述的知识库构建方法，其特征在于，步骤A3包括如下步骤：

A3a、将S从右向左以MaxLen为界选出候选字串cs2；

A3b、如果cs2为空，则说明句子S已经处理完毕，跳转到A4；

A3c、如果cs2在词典中，将cs2放入到反向匹配输出列表SList2中，并跳转到步骤A3a处理下一个长为MaxLen的候选字段；

A3d、将cs2最左边一个字去掉，如果不为单字，跳转到上一步；否则cs2放入到反向匹配输出列表SList2中。

5.如权利要求1所述的知识库构建方法，其特征在于，所述知识库包括标准知识库和经验知识库；步骤C中包括构建标准知识库和构建经验知识库。

6.如权利要求5所述的知识库构建方法，其特征在于，步骤C中，构建标准知识库具体包括如下步骤：

CA1、接受中文文本经过分词引擎的对文档内容切分的词汇单元，进行特征选择；

CA2、形成文档号到特征项的对应关系表，即正排表；

CA3、进行反排表构建。

7.如权利要求5所述的知识库构建方法，其特征在于，步骤C中，构建经验知识库具体包括如下步骤：

CB1、生成顶事件集，将原结论集减去征兆集后剩下的部分定为最小顶事件集；

CB2、获得顶事件的关联事件集和关联规则集，建立规则树；

CB3、对规则树进行局部化简；

CB4、计算各规则树的最小割集；

CB5、生成经验知识库的正向规则和反向规则。

8.如权利要求7所述的知识库构建方法，其特征在于，步骤CB3中局部化简方法为：先生成其结构函数，再应用布尔代数中的有关规则对事件进行逻辑运算，加以吸收，并得出与之等价的规则树。

9.如权利要求7所述的知识库构建方法，其特征在于，步骤CB3中局部化简方法为：从规则树的最底层开始逐级检查，消除冗余结构。

10.如权利要求7所述的知识库构建方法，其特征在于，步骤CB4中求最小割集的算法为行列法、结构法、或者布尔代数化简法。