CN110533102A - 基于模糊推理的单类分类方法以及分类器 - Google Patents

Abstract

本发明提供了一种基于模糊推理的单类分类方法以及分类器，将特征向量模糊化以及生成模糊规则集并进行校正具体方法为：当目标规则集生成后，若出现同样判定条件但是判定结果不同则需要进行规则校正。单类分类器，能够准确的识别出异常样本。首先进行数据处理，随后将数据进行模糊化，再建立模糊规则集，并进行了规则的校正。当规则集建立完成后，就可以使用测试样本来对其进行测试，当测试集的样本经过同样映射的数据处理之后生成的规则与已有规则不同，则认为其是异常样本，然后将其归入未知类别中。本发明扩大了单类分类方面数据集样本数量同时运用更加优化的算法，能够达到较好的分类效果，另外提高了训练速度。

Description

基于模糊推理的单类分类方法以及分类器

技术领域

本发明涉及单类分类器设计及实现，特别是使用模糊数学理论中的模糊推理来实现单类分类器，可以用于模式识别领域。

例如，木材树种识别目前的主流检测方法是无损检测法，本发明针对木材样本可见光/近红外光谱数据使用模糊推理分类器进行单类分类。本发明还对于UCI的鸢尾花卉数据集(Iris)和汽车数据集(Car)进行单类分类；同时还针对UCI的成年人收入数据集(Adult)和红酒数据集(Wine)进行了单类分类。

背景技术

单类分类所面对的数据复杂多变，有极大的可能性存在高维数据，并且单类分类面对的数据集样本数量可能较少。针对高维数据一般情况下需要采用多种降维算法对其进行降维，针对较小样本集这一点需要采用一种在较小样本集能够取得非常优秀分类结果的算法。

目前通用的单类分类技术存在着不足，第一个不足是在训练集方面，目前的一部分主流单类分类器需要较大规模的训练集才能取得较好的分类效果，比如神经网络(BP神经网络和卷积神经网络等)、朴素贝叶斯、随机森林等算法，这些算法在小训练集上取得的识别效果较差。第二个不足是在训练速度方面，在训练集样本较多的情况下许多单类分类器都需要较长的训练时间，比如神经网络、支持向量机、相关向量机等算法。

发明内容

针对上述技术问题，本发明提出了一种基于模糊推理的单类分类方法，模糊推理分类器能够在一个较小的训练集上得到较好的训练效果，并且还具有较高的训练速度和识别速度。本发明使用各类常用的单类分类算法对不同数据集进行单类分类实验，并对识别率、识别速度及算法的时间复杂度进行分析，最终发现模糊推理分类器性能较好。模糊推理分类器的训练流程可以分为四步，包括数据处理、特征向量的模糊化、模糊规则的生成及模糊规则的校正，最终生成一个模糊规则集。

一种基于模糊推理的单类分类方法，包括：

步骤一、数据处理并形成目标规则集；所述数据处理并形成目标规则集包括：判断数据维度、将特征向量模糊化以及生成模糊规则集并进行校正；

步骤二、将测试集的样本通过同样映射的数据处理生成测试样本规则集；

步骤三、将测试样本规则集中的样本与目标规则集进行比较分类，如不同，则认为是异常样本；

步骤四、处理识别错误的样本；

所述判断数据维度具体方法为：判断数据为低维数据还是高维数据，若是低维数据则使用特征选择、特征提取或者使用数据归一化进行数据处理；若是高维数据则需要对数据进行降维处理后再进行数据处理；

所述将特征向量模糊化具体方法为：将数据处理后的数据转换成为语言的形式，每个特征向量包括若干个特征数值，根据特征数值设计隶属度函数；

所述将特征向量模糊化以及生成模糊规则集并进行校正具体方法为：当目标规则集生成后，若出现同样判定条件但是判定结果不同则需要进行规则校正。

进一步地，所高维数据则需要对数据进行降维处理，所述降维处理方法包括主成分分析、小波变换、随机邻域嵌入以及T分布随机邻域嵌入特征提取方法。

进一步地，所述根据特征数值设计隶属度函数的数值包括低维数据的最大值、最小值、平均值和中位数。

进一步地，所述设计隶属度函数，包括采用了三角型函数、梯型函数、三角-梯型函数、高斯函数及神经网络设计的隶属度函数，并根据不同的训练集来选择不同的隶属度函数。

进一步地，所述生成模糊规则集，包括：首先计算目标规则集中每一个维度的隶属度函数，并选择模糊规则关联词；

进一步地，所述关联词满足T范式算子的要求，分别采用了最小算子和乘法算子，采用S范式算子来选择目标规则，经过训练样本数量次数的迭代完成模糊规则集的生成。

进一步地，所述将特征向量模糊化以及生成模糊规则集并进行校正包括：计算每一条规则的初始置信系数，扫描所有样本生成的规则，每当不同的样本生成同样的规则的时，增加其置信系数，当异常样本中也存在相同规则时，降低其置信系数，生成所有规则的置信系数，并判定置信系数是否小于设定的阈值，若是则判定的样本需深度验证。

本发明还提供了一种基于模糊推理的单类分类器，其特征在于，包括：数据处理模块、测试样本规则集生成模块、比较分类模块以及识别模块；

所述数据处理模块，用于数据处理并形成目标规则集；所述数据处理并形成目标规则集包括：判断数据维度、将特征向量模糊化以及生成模糊规则集并进行校正；

所述测试样本规则集生成模块，用于将测试集的样本通过同样映射的数据处理生成测试样本规则集；

所述比较分类模块用于将测试样本规则集中的样本与目标规则集进行比较分类，如不同，则认为是异常样本；

所述识别模块用于处理识别错误的样本；

所述判断数据维度具体方法为：判断数据为低维数据还是高维数据，若是低维数据则使用特征选择、特征提取或者使用数据归一化进行数据处理；若是高维数据则需要对数据进行降维处理后再进行数据处理；

所述将特征向量模糊化具体方法为：将数据处理后的数据转换成为语言的形式，每个特征向量包括若干个特征数值，根据特征数值设计隶属度函数；

所述将特征向量模糊化以及生成模糊规则集并进行校正具体方法为：当目标规则集生成后，若出现同样判定条件但是判定结果不同则需要进行规则校正。

综上所述，本发明提供一种基于模糊推理的单类分类器，它能够准确的识别出异常样本。它首先进行数据处理，随后将数据进行模糊化，再建立模糊规则集，并进行了规则的校正。当规则集建立完成后，就可以使用测试样本来对其进行测试，当测试集的样本经过同样映射的数据处理之后生成的规则与已有规则不同，则认为其是异常样本，然后将其归入未知类别中。

本发明的有益效果是：有效降低高维数据的维度同时运用更加优化的算法，模糊推理分类算法在小样本集和训练速度方面有较大的优势，能够达到较好的分类效果，另外提高了训练速度。对于不同的数据集，不同降维算法的降维效果也是不同的，采用多种降维算法分别对数据集进行处理能够有效的删除冗余特征并避免丢失重要信息，降维后的数据结合模糊推理分类器能取得较好的分类效果，模糊推理分类器的训练时间仅与模糊规则集的数量相关，优秀的模糊规则集能够使分类器的分类效果得到提高并且训练时间大幅降低。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的一种基于模糊推理的单类分类器系统流程结构图。

图2-1为木材样本可见光/近红外光谱采集设备示意图。

图2-2为木材样本可见光/近红外光谱采集设备框架图。

图3为木材样本可见光/近红外光谱数据的处理结果(PCA/T-SNE)示意图。

图4为木材样本可见光/近红外光谱数据使用主成分分析算法降维后的第一主成分的隶属度函数示意图。

具体实施方式

本发明给出了一种基于模糊推理的单类分类方法实施例，为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明中技术方案作进一步详细的说明：

一种基于模糊推理的单类分类方法，包括：

步骤一S101、数据处理并形成目标规则集；所述数据处理并形成目标规则集包括：判断数据维度、将特征向量模糊化以及生成模糊规则集并进行校正；

步骤二S102、将测试集的样本通过同样映射的数据处理生成测试样本规则集；

步骤三S103、将测试样本规则集中的样本与目标规则集进行比较分类，如不同，则认为是异常样本；

步骤四S104、处理识别错误的样本；

所述判断数据维度具体方法为：判断数据为低维数据还是高维数据，若是低维数据则使用特征选择、特征提取或者使用数据归一化进行数据处理；若是高维数据则需要对数据进行降维处理后再进行数据处理；举例假设低维数据包括生物信息学中血液中代谢物成分、Iris数据集、Car数据集、Adult数据集、Wine数据集等，高维数据包括木材树种的可见光/近红外波段的光谱数据、木材树种的高光谱影像数据、RNA数据、DNA数据等。

所述将特征向量模糊化具体方法为：将数据处理后的数据转换成为语言的形式，每个特征向量包括若干个特征数值，根据特征数值设计隶属度函数；其中，将数据处理后的数据转换成为语言的形式，可以使用一个三元向量来表示。将特征向量用相应的语言系统模糊化是生成规则的前提，例如木材树种可见光/近红外波段的光谱数据使用PCA进行降维后的第一主成分的数据如表1所示，可以看到每一个树种的第一维度(即第一主成分)的最大值、最小值、平均值和中位数，根据这些数值可以设计隶属度函数。

表1木材树种可见光/近红外波段的光谱数据使用PCA进行降维后的第一维度数据

所述将特征向量模糊化以及生成模糊规则集并进行校正具体方法为：当目标规则集生成后，若出现同样判定条件但是判定结果不同则需要进行规则校正。其中模糊规则的生成以后，完成特征向量的模糊化之后需要定义形如“IF……AND……，THEN……”的模糊规则，以三维特征向量为例，输入向量为(X₁,X₂,X₃),输出的类别是Y，则可以得到模糊规则：IFX₁ is A_i AND X₂ is B_j AND X₃ is C_k,THEN Y is Out，当输入向量的X₁被划归到A_i，X₂被划归到B_j，X₃被划归到C_k，当同时满足这三个条件的术后，输出的类别是Out类(Out在本文中是对应的树种)。即在实验中需要计算每一个维度对于区间的隶属度值(A_i的隶属度值)，(B_j的隶属度值)，(C_k的隶属度值)等，其中I、J、K为对应维度的划分区间数量，i＝1,2,...,I,j＝1,2,...,J,k＝1,2,...,K。AND在此公式中对应的是乘法规则，满足T范式算子的所有要求。T(x,y)＝x×y，将此公式应用到本分类算法中需要计算特征向量在不同维度的不同区间下的隶属度乘积其中n为乘积序号，n＝1,2,...,I×J×K，β_n为不同维度不同区间下隶属度的乘积值。一个特征向量生成的规则往往不会只有一个，也就意味着要选择其中一个作为生成的规则，其他的抛弃掉，使用S范式算子选择最佳规则，本文使用最大乘积值作为规则生成的依据，它满足S范式算子的所有要求应用到本实验中则是计算最大的β_n值，其中S(x,y)＝max(x,y)，β_out＝max{β₁,β₂,...,β_I×J×K}，得到β_out值对应的i，j，k等值，就可以生成一条规则。

有关模糊规则的校正，当规则集生成完毕后，这时可能会出现同样的条件但是判定结果不一样的情况，这个时候就需要进行规则校正。本文使用的规则校正方法是基于第三步得到的β_n的最大值、平均值来计算规则的基础置信系数，训练集生成的规则若有重复规则，则在基础的置信系数上再加上一个增长系数，若少量异常样本中也存在此规则的时候，大幅度降低其置信系数，最后将得到一个不再变化的置信系数。

优选地，所高维数据则需要对数据进行降维处理，所述降维处理方法包括主成分分析、小波变换、随机邻域嵌入以及T分布随机邻域嵌入特征提取方法。

具体地，低维数据(Iris、Car、Adult和Wine等数据集)，使用数据归一化、特征选择或者特征提取方法进行数据处理。

高维数据(木材树种的可见光/近红外光谱数据、木材树种的高光谱影像数据)则是先进行数据的采集，随后进行数据的处理。木材树种的可见光/近红外光谱的采集是使用美国海洋公司的Ocean Optics USB2000-VIS-NIR微型光纤光谱仪采集的，实验装置由计算机、光谱仪、卤钨灯、光纤、支架等组成，待测样本放在光谱仪的支架上，待测面朝下，光纤探头距待测物体表面约5mm，圆形视场角的直径为6.35mm，可见光/近红外光谱采集设备如图2-1所示。可见光/近红外光谱的采集采用漫反射方式，谱区采集范围为350-1100nm，光谱波长分辨率约为0.3nm。采集光谱前，需进行光谱白板校正和暗校正。光谱仪器配套软件SpectraSuite中参数设置为积分时间为1s，重复扫描900次取平均，平滑度为5。采集样本时在每个样本的横切面上随机选取4个点进行光谱采集并求取其平均值，每测完5个样本后需进行一次标准白板校正，采集到的数据使用特征选择或特征提取方法进行降维处理，其降维数据如图3所示。木材树种的高光谱影像数据则是委托光谱采集公司进行采集，同样使用特征选择或特征提取方法进行降维处理。

优选地，所述根据特征数值设计隶属度函数的数值包括低维数据的最大值、最小值、平均值和中位数。

优选地，所述设计隶属度函数，包括采用了三角型函数、梯型函数、三角-梯型函数、高斯函数及神经网络设计的隶属度函数，并根据不同的训练集来选择不同的隶属度函数。

优选地，所述生成模糊规则集，包括：首先计算目标规则集中每一个维度的隶属度函数，并选择模糊规则关联词；

优选地，所述关联词满足T范式算子的要求，分别采用了最小算子和乘法算子，采用S范式算子来选择目标规则，经过训练样本数量次数的迭代完成模糊规则集的生成。

优选地，所述将特征向量模糊化以及生成模糊规则集并进行校正包括：计算每一条规则的初始置信系数，扫描所有样本生成的规则，每当不同的样本生成同样的规则的时，增加其置信系数，当异常样本中也存在相同规则时，降低其置信系数，生成所有规则的置信系数，并判定置信系数是否小于设定的阈值，若是则判定的样本需深度验证。

本发明还提供了一种基于模糊推理的单类分类器，包括：数据处理模块、测试样本规则集生成模块、比较分类模块以及识别模块；

所述数据处理模块，用于数据处理并形成目标规则集；所述数据处理并形成目标规则集包括：判断数据维度、将特征向量模糊化以及生成模糊规则集并进行校正；

所述测试样本规则集生成模块，用于将测试集的样本通过同样映射的数据处理生成测试样本规则集；

所述比较分类模块用于将测试样本规则集中的样本与目标规则集进行比较分类，如不同，则认为是异常样本；

所述识别模块用于处理识别错误的样本；例如，采用模糊推理分类器进行已知树种和未知树种两类别分类时，有可能产生“错分”(也就是“误识”)。这里有两种情况，第一种情况是非目标类样本误识为目标类样本，此时需要调整模糊规则集的内容来去除此样本。另一种情况是目标类样本误识为非目标类样本，该样本在通过二次深度鉴别后，调整规则将此样本重新归类的目标类样本中。因此，模糊推理分类器的这两种误识将得到有效的控制，从而确保整个单类分类器的识别精度。

所述判断数据维度具体方法为：判断数据为低维数据还是高维数据，若是低维数据则使用特征选择、特征提取或者使用数据归一化进行数据处理；若是高维数据则需要对数据进行降维处理后再进行数据处理；

所述将特征向量模糊化具体方法为：将数据处理后的数据转换成为语言的形式，每个特征向量包括若干个特征数值，根据特征数值设计隶属度函数；

所述将特征向量模糊化以及生成模糊规则集并进行校正具体方法为：当目标规则集生成后，若出现同样判定条件但是判定结果不同则需要进行规则校正。

在模糊推理分类器(OC-FR)构造模糊规则的过程中，将输入的特征向量通过模糊化生成一系列隶属度函数，然后根据这些隶属度函数来计算每个样本生成的规则，最优的规则是数据结合置信系数CC得到的，隶属度函数的准确性直接影响单类分类器的分类结果，因此在建立规则集之前必须求取最优的隶属度函数，可见光/近红外光谱数据使用主成分分析算法降维后的第一主成分的隶属度函数如图4所示，然后使用模糊推理分类器对预测样本进行分类，通过预测样本在此隶属度函数下生成规则与规则集进行对比，符合规则的就是目标类样本，不符合规则的就是非目标类样本。

综上所述，本发明提供一种基于模糊推理的单类分类器，它能够准确的识别出异常样本。它首先进行数据处理，随后将数据进行模糊化，再建立模糊规则集，并进行了规则的校正。当规则集建立完成后，就可以使用测试样本来对其进行测试，当测试集的样本经过同样映射的数据处理之后生成的规则与已有规则不同，则认为其是异常样本，然后将其归入未知类别中。

Claims (8)

1.一种基于模糊推理的单类分类方法，其特征在于，包括：

步骤一、数据处理并形成目标规则集；所述数据处理并形成目标规则集包括：判断数据维度、将特征向量模糊化以及生成模糊规则集并进行校正；

步骤二、将测试集的样本通过同样映射的数据处理生成测试样本规则集；

步骤三、将测试样本规则集中的样本与目标规则集进行比较分类，如不同，则认为是异常样本；

步骤四、处理识别错误的样本；

所述判断数据维度具体方法为：判断数据为低维数据还是高维数据，若是低维数据则使用特征选择、特征提取或者使用数据归一化进行数据处理；若是高维数据则需要对数据进行降维处理后再进行数据处理；

所述将特征向量模糊化具体方法为：将数据处理后的数据转换成为语言的形式，每个特征向量包括若干个特征数值，根据特征数值设计隶属度函数；

所述将特征向量模糊化以及生成模糊规则集并进行校正具体方法为：当目标规则集生成后，若出现同样判定条件但是判定结果不同则需要进行规则校正。

2.如权利要求1所述的一种基于模糊推理的单类分类方法，其特征在于，所高维数据则需要对数据进行降维处理，所述降维处理方法包括主成分分析、小波变换、随机邻域嵌入以及T分布随机邻域嵌入特征提取方法。

3.如权利要求1所述的一种基于模糊推理的单类分类方法，其特征在于，所述根据特征数值设计隶属度函数的数值包括低维数据的最大值、最小值、平均值和中位数。

4.如权利要求1所述的一种基于模糊推理的单类分类方法，其特征在于，所述设计隶属度函数，包括采用了三角型函数、梯型函数、三角-梯型函数、高斯函数及神经网络设计的隶属度函数，并根据不同的训练集来选择不同的隶属度函数。

5.如权利要求1所述的一种基于模糊推理的单类分类方法，其特征在于，所述生成模糊规则集,包括：首先计算目标规则集中每一个维度的隶属度函数，并选择模糊规则关联词。

6.如权利要求5所述的一种基于模糊推理的单类分类方法，其特征在于，所述关联词满足T范式算子的要求，分别采用了最小算子和乘法算子，采用S范式算子来选择目标规则，经过训练样本数量次数的迭代完成模糊规则集的生成。

7.如权利要求1所述的一种基于模糊推理的单类分类方法，其特征在于，所述将特征向量模糊化以及生成模糊规则集并进行校正包括：计算每一条规则的初始置信系数，扫描所有样本生成的规则，每当不同的样本生成同样的规则的时，增加其置信系数，当异常样本中也存在相同规则时，降低其置信系数，生成所有规则的置信系数，并判定置信系数是否小于设定的阈值，若是则判定的样本需深度验证。

8.一种基于模糊推理的单类分类器，其特征在于，包括：数据处理模块、样本规则集生成模块、比较分类模块以及识别模块；

所述数据处理模块，用于数据处理并形成目标规则集；所述数据处理并形成目标规则集包括：判断数据维度、将特征向量模糊化以及生成模糊规则集并进行校正；

所述样本规则集生成模块，用于将测试集的样本通过同样映射的数据处理生成测试样本规则集；

所述比较分类模块用于将测试样本规则集中的样本与目标规则集进行比较分类，如不同，则认为是异常样本；

所述识别模块用于处理识别错误的样本；

所述判断数据维度具体方法为：判断数据为低维数据还是高维数据，若是低维数据则使用特征选择、特征提取或者使用数据归一化进行数据处理；若是高维数据则需要对数据进行降维处理后再进行数据处理；

所述将特征向量模糊化具体方法为：将数据处理后的数据转换成为语言的形式，每个特征向量包括若干个特征数值，根据特征数值设计隶属度函数；

所述将特征向量模糊化以及生成模糊规则集并进行校正具体方法为：当目标规则集生成后，若出现同样判定条件但是判定结果不同则需要进行规则校正。