CN104866574A - 一种基于knn算法的断路器缺陷等级划分方法 - Google Patents

Abstract

本发明涉及一种基于KNN算法的断路器缺陷等级划分方法。现有的等级划分方法为通过运维人员经验判断，费时费力且正确率受人为影响较大。本发明首先建立“断路器缺陷文本词库”，然后针对断路器缺陷文本属于短文本的特点，提出了文本预处理方法，将其转化为可直接计算的向量。接着采用KNN算法，寻找与待分类缺陷文本最相近的几条文本，并加权计算出待分类缺陷文本所属的缺陷等级。本发明对断路器缺陷文本的分类计算效率高，方便应用。

Description

一种基于KNN算法的断路器缺陷等级划分方法

技术领域

本发明属于电力系统技术领域，具体是涉及一种基于KNN算法的断路器缺陷等级划分方法。

背景技术

断路器的历史缺陷文本是断路器历史缺陷情况的载体，可被用于断路器的状态评价中以完善断路器的状态评价模型，是断路器可靠性的一大表征。断路器的历史缺陷文本中包含设备型式、电压等级、厂家、出厂时间、名称、所在变电所等基本设备信息，还包含缺陷发现时间、缺陷描述文本、缺陷等级等缺陷内容。其中缺陷等级是断路器历史缺陷文本评判的核心。缺陷等级通常采用运维人员现场运行经验判断，不仅费时费力，而且存在相同缺陷被不同运维人员判断为不同等级的情况。因此需要对其进行科学分类。由于缺陷文本通常采用中文自然语言记录，采用机器分析具有难度，目前鲜见缺陷文本被处理的相关研究。

发明内容

本发明的目的在于针对现有技术的不足，提供一种基于KNN算法的断路器缺陷等级划分方法。

本发明方法包括以下步骤：

步骤1：建立“断路器缺陷文本词库”，这是根据电力专业知识由发明人人工建立。

步骤2：分词，依据步骤1建立的词库，将缺陷文本中的中文字符串合理地切分成词语序列，这是中文文本信息处理必备且最为基础的环节。

步骤3：词频统计，是对文本中所有词进行出现频次的统计并据此排序。完整的词频统计结果包括了文本中出现的所有词，可用这些词构成文本向量的向量空间。每个词对应向量空间中一维。

步骤4：去除停用词，去除无法表征文本的词，执行中考虑先建立停用词表，再将词频统计结果和停用词表中的词进行对照，删去词频统计结果中的停用词。

步骤5：文本向量化，是把经过上述处理的文本转化为数字向量的表示结果。每一条文本对应一个特征向量，特征向量的每一维对应词频统计结果中的每一个词。具体方法为根据文本向量的向量空间，再根据分词结果，将每条文本中的词与向量空间每一维对应的词作对照，如果相同，则在该文本对应的特征向量中，将该词对应的维记为1，否则为0。

步骤6：量化缺陷文本的缺陷程度，紧急为3，重要为2，一般为1。本步骤由专家组根据专业知识完成。

步骤7：针对每一个缺陷文本，重复步骤2～6，建立缺陷文本库。

步骤8：计算待归类文本与缺陷文本库中每个文本的文本相近程度。对待归类缺陷文本执行步骤2～5，完成文本向量化，然后采用式(1)计算待测文本与缺陷文本库中每一个文本的相似度：

$S_{\mathrm{ij}}=\frac{\underset{l=1}{\overset{M}{\mathrm{\Σ}}}{W}_{\mathrm{il}}\×W_{\mathrm{jl}}}{\sqrt{\underset{l=1}{\overset{M}{\mathrm{\Σ}}}{W_{\mathrm{il}}}^2}\sqrt{\underset{l=1}{\overset{M}{\mathrm{\Σ}}}{W_{\mathrm{jl}}}^2}}---\left(1\right)$

式中，S_ij为待归类文本i与文本库中文本j之间的相似度，M为向量的维数，W_il为文本i的特征向量的第l维的值，W_jl为文本j的特征向量的第l维的值。

步骤9：按照文本相似度，在文本库中选出与待归类文本最相似的k条文本，其中k值可设置。

步骤10：利用式(2)计算待归类缺陷文本i描述的缺陷严重程度y_i：

$y_i=\frac{\underset{l=1}{\overset{k}{\mathrm{\Σ}}}{S}_{\mathrm{il}}{y}_l}{\underset{l=1}{\overset{k}{\mathrm{\Σ}}}{S}_{\mathrm{il}}}---\left(2\right)$

其中，y_l为第l条缺陷文本描述的缺陷严重程度。

步骤11：根据计算结果将该缺陷的严重程度归类，如计算结果为y_i∈(1,1.5]，则归为一般类，计算结果为y_i∈(1.5,2.5)，则归为严重类，计算结果为y_i∈[2.5,3)，则归为紧急类。

本发明首先建立“断路器缺陷文本词库”。然后对具体缺陷文本进行分析处理，将文本转化为可直接运算的向量，这一过程被称为文本预处理。针对缺陷文本为短文本的特点，文本预处理过程包括分词、词频统计、去停用词、文本向量化，最终形成向量。此外还要对已分类缺陷文本的缺陷等级进行量化。文本预处理后采用KNN算法对待归类缺陷文本进行分类。通过将待归类的缺陷文本与已归类的缺陷文本进行相似度计算，选出其中与待归类缺陷文本最相近的k条文本，加权计算待归类缺陷文本的缺陷等级，从而完成待归类缺陷文本缺陷程度的分类。经过算例验证可知，该方法具有较高的分类正确率。

具体实施方式

本发明首先建立“断路器缺陷文本词库”，并对中文缺陷文本进行预处理，将其转化为向量形式；然后采用KNN算法，通过将未分类的缺陷文本与已分类好的缺陷文本进行对比，评判文本相似度，根据最相近的几条文本的等级，加权评判出待分类的缺陷文本的等级。

本实施例的具体步骤：

步骤1：建立“断路器缺陷文本词库”，这是根据电力专业知识由发明人人工建立。

步骤2：分词，依据步骤1建立的词库，将缺陷文本中的字符串合理地切分成词语序列，这是中文文本信息处理必备且最为基础的环节。

步骤3：词频统计，是对文本中所有词进行出现频次的统计并据此排序。完整的词频统计结果包括了文本中出现的所有词，可用这些词构成文本向量的向量空间。每个词对应向量空间中一维。

步骤4：去除停用词，去除无法表征文本的词，执行中考虑先建立停用词表，再将词频统计结果和停用词表中的词进行对照，删去词频统计结果中的停用词。

步骤5：文本向量化，是把经过上述处理的文本转化为数字向量的表示结果。每一条文本对应一个特征向量，特征向量的每一维对应词频统计结果中的每一个词。具体方法为根据文本向量的向量空间，再根据分词结果，将每条文本中的词与向量空间每一维对应的词作对照，如果相同，则在该文本对应的特征向量中，将该词对应的维记为1，否则为0。

步骤6：量化缺陷文本的缺陷程度，紧急为3，重要为2，一般为1。

步骤7：针对每一个缺陷文本，重复步骤2～6，建立缺陷文本库。

步骤8：计算待归类文本与缺陷文本库中每个文本的文本相近程度。对待归类缺陷文本执行步骤2～5，完成文本向量化，然后采用式(1)计算待测文本与缺陷文本库中每一个文本的相似度：

$S_{\mathrm{ij}}=\frac{\underset{l=1}{\overset{M}{\mathrm{\Σ}}}{W}_{\mathrm{il}}\×W_{\mathrm{jl}}}{\sqrt{\underset{l=1}{\overset{M}{\mathrm{\Σ}}}{W_{\mathrm{il}}}^2}\sqrt{\underset{l=1}{\overset{M}{\mathrm{\Σ}}}{W_{\mathrm{jl}}}^2}}---\left(1\right)$

式中，S_ij为待归类文本i与文本库中文本j之间的相似度，M为向量的维数，W_il为文本i的特征向量的第l维的值，W_jl为文本j的特征向量的第l维的值。

步骤9：按照文本相似度，在文本库中选出与待归类文本最相似的k条文本，其中k值可设置。

步骤10：利用式(2)计算待归类缺陷文本i描述的缺陷严重程度y_i：

$y_i=\frac{\underset{l=1}{\overset{k}{\mathrm{\Σ}}}{S}_{\mathrm{il}}{y}_l}{\underset{l=1}{\overset{k}{\mathrm{\Σ}}}{S}_{\mathrm{il}}}---\left(2\right)$

其中，y_l为第l条缺陷文本描述的缺陷严重程度。

步骤11：根据计算结果将该缺陷的严重程度归类，如计算结果为y_i∈(1,1.5]，则归为一般类，计算结果为y_i∈(1.5,2.5)，则归为严重类，计算结果为y_i∈[2.5,3)，则归为紧急类。

Claims (2)

1.一种基于KNN算法的断路器缺陷检测方法，其特征在于该方法包括以下步骤：

步骤1：建立断路器缺陷文本词库；

步骤2：分词；

依据步骤1建立的词库，将缺陷文本中的中文字符串切分成词语序列；

步骤3：词频统计；

对文本中所有词进行出现频次的统计并据此排序；完整的词频统计结果包括了文本中出现的所有词，可用这些词构成文本向量的向量空间；每个词对应向量空间中一维；

步骤4：去除停用词，即去除无法表征文本的词，

建立停用词表，再将词频统计结果和停用词表中的词进行对照，删去词频统计结果中的停用词；

步骤5：文本向量化，即把经过上述处理的文本转化为数字向量的表示结果；每一条文本对应一个特征向量，特征向量的每一维对应词频统计结果中的每一个词；

具体是根据文本向量的向量空间，再根据分词结果，将每条文本中的词与向量空间每一维对应的词作对照，如果相同，则在该文本对应的特征向量中，将该词对应的维记为1，否则为0；

步骤6：量化缺陷文本的缺陷程度，紧急为3，重要为2，一般为1；

步骤7：针对每一个缺陷文本，重复步骤2～6，建立缺陷文本库；

步骤8：计算待归类文本与缺陷文本库中每个文本的文本相近程度；对待归类缺陷文本执行步骤2～5，完成文本向量化，然后采用式(1)计算待测文本与缺陷文本库中每一个文本的相似度S_ij：

$S_{\mathrm{ij}}=\frac{\underset{l=1}{\overset{M}{\mathrm{\Σ}}}{W}_{\mathrm{il}}\×W_{\mathrm{jl}}}{\sqrt{\underset{l=1}{\overset{M}{\mathrm{\Σ}}}{W_{\mathrm{il}}}^2}\sqrt{\underset{l=1}{\overset{M}{\mathrm{\Σ}}}{W_{\mathrm{jl}}}^2}}---\left(1\right)$

式中，S_ij为待归类文本i与文本库中文本j之间的相似度，M为向量的维数，W_il为文本i的特征向量的第l维的值，W_jl为文本j的特征向量的第l维的值；

步骤9：按照文本相似度，在文本库中选出与待归类文本最相似的k条文本；

步骤10：利用式(2)计算待归类缺陷文本i描述的缺陷严重程度y_i：

$y_i=\frac{\underset{l=1}{\overset{k}{\mathrm{\Σ}}}{S}_{\mathrm{il}}{y}_l}{\underset{l=1}{\overset{k}{\mathrm{\Σ}}}{S}_{\mathrm{il}}}---\left(2\right)$

其中，y_l为第l条缺陷文本描述的缺陷严重程度。

2.根据权利要求1所述的一种基于KNN算法的断路器缺陷检测方法，其特征在于：根据步骤10计算结果将该缺陷的严重程度归类，计算结果为y_i∈(1,1.5]，则归为一般类，计算结果为y_i∈(1.5,2.5)，则归为严重类，计算结果为y_i∈[2.5,3)，则归为紧急类。