CN110929761A - 智能系统安全体系态势感知构架中采集样本的平衡方法 - Google Patents

Abstract

本发明公开了一种智能系统安全体系态势感知构架中采集样本的平衡方法。该方法包括以下步骤：智能系统安全体系态势感知构架进行数据采集得到不平衡样本，利用径向基核函数对不平衡样本中的正类样本进行训练，得到最优的边界参数；在正类样本中进行边界选择，剔除正类样本中的噪声数据；使用谱聚类对无噪声数据进行聚类，得到适用于smote算法的k个聚类样本；利用smote算法进行样本生成，完成采集样本的平衡。本发明解决了采集样本中的正负比例失衡问题，提高了机器学习中常用模型在不平衡样本下的预测准确率。

Description

智能系统安全体系态势感知构架中采集样本的平衡方法

技术领域

本发明涉及安全数据挖掘中样本平衡技术领域，特别是一种智能系统安全体系态势感知构架中采集样本的平衡方法。

背景技术

传统的智能系统安全体系态势感知构架采集的数据当中，采集的正常数据与异常数据的比例通常是不均衡的。而在分类问题中，通常需要数据样本为平衡样本，即正负样本的比例为1:1。在极不平衡样本的条件下，传统的线性模型在智能系统安全体系态势感知问题方面预测准确度较低，预测结果会偏向样本类多的一方。在分类领域出现的大多数成熟的分类算法对于不平衡样本都是比较敏感的，因此对于如何进行样本的平衡是所有不平衡样本分类问题均应解决的首要问题。

现有的对于不平衡样本问题，通常的解决方法是在数据层面上或者算法层面上来进行的。算法层面处理方法是增加小样本错误分类的惩罚代价，并将此代价直接体现在目标函数里，属于代价敏感的方法，这种方法可以通过优化目标函数调整模型在小样本上的注意力。数据层面处理方法多借助数据采样法使整体训练集样本趋于平衡，即各类样本数基本一致。随着样本平衡问题的提出以及众多学者在数据层样本处理研究的不断深入，为了更好地对样本进行均衡处理，大多数研究均采用欠采样(undersampling)方法和欠采样进行样本均衡。但普通欠采样会丢失大量信息，过采样因为存在噪声点而使得生成的数据脱离了实际生活，将噪声进行了放大。

发明内容

本发明的目的在于提供一种能够解决不平衡样本分类问题中的正负比例失衡问题，提高机器学习中常用模型在不平衡样本下的智能系统安全体系态势感知构架中采集样本的平衡方法。

实现本发明目的的技术解决方案为：一种智能系统安全体系态势感知构架中采集样本的平衡方法，包括以下步骤：

步骤1，智能系统安全体系态势感知构架进行数据采集得到不平衡样本，利用径向基核函数对不平衡样本中的正类样本进行训练，得到最优的边界参数；

步骤2，在正类样本中进行边界选择，剔除正类样本中的噪声数据；

步骤3，使用谱聚类对无噪声数据进行聚类，得到适用于smote算法的k个聚类样本；

步骤4，利用smote算法进行样本生成，完成采集样本的平衡。

进一步地，步骤1所述的利用径向基核函数对不平衡样本中的正类样本进行训练，得到最优的边界参数，具体如下：

步骤1.1、分解出不平衡样本中的正类样本Dmin；

步骤1.2、利用径向基核函数进行正类样本训练，并利用机器学习模型进行样本精确度分析，得到最优的样本边界参数，其中径向基核函数为：

其中，σ为径向基核函数的超参数，也是训练边界的参数，定义参数的范围为0～1，利用步长为0.1对σ进行网格搜索；r＝||x₁-x₂||，其中x₁为空间任意一点，x₂为选取的一个中心点，r为求得的欧氏距离；通过进行正类样本模型预测，得到最优的样本边界参数；

正类样本通过径向基核函数映射到特征空间H：k(x,y)＝(Φ(x)·Φ(y))，其中x、y为特征空间下的两个数据样本，Φ为将低维映射到高维的核映射，k(x,y)为在高维下两个样本x,y的内积。

进一步地，步骤2所述的在正类样本中进行边界选择，剔除正类样本中的噪声数据，具体如下：

步骤2.1、利用边界参数进行原始正类样本的训练，找出异常样本；

步骤2.2、将正类样本的异常样本剔除，得到无噪声的正类样本数据。

进一步地，步骤3所述的使用谱聚类对无噪声数据进行聚类，得到适用于smote算法的k个聚类样本，具体如下：

步骤3.1、对无噪声数据的正类样本和负类样本进行求解，得到样本的生成比例；所述负类样本的数量为m，正类样本的数量为n，利用公式m＝(1+x)n得到样本的生成比例为x；

步骤3.2、对无噪声数据进行聚类，得到适用于smote算法的k个聚类样本。

进一步地，步骤4所述的利用smote算法进行样本生成，完成采集样本的平衡，具体如下：

步骤4.1、计算聚类簇；

计算度矩阵D、相似度矩阵W，并计算拉普拉斯矩阵L＝D-W，计算L的特征值，将特征值从小到大排序，取前k个特征值，并计算前k个特征值的特征向量u₁,u₂,...,u_k；

将上面的k个列向量组成矩阵U＝{u₁,u₂,...,u_k},U∈R^n*k；令y_i∈R^k是U的第i行的向量，其中i＝1,2,...,n，使用k-means算法将新样本点Y＝{y₁,y₂,...,y_n}聚类成簇C₁,C₂,...,C_k，输出簇A_1,,A₂,...,A_k，其中A_i＝{j|y_j∈C_i}；最终求得聚类簇A_1,,A₂,...,A_k；

步骤4.2、利用SMOTE算法进行样本的生成：

利用KNN算法，选择步骤3中的每个簇的样本点，离样本中一样本点最近的K个同类样本点，从最近的K个同类样本点中，随机挑选M个样本点，M的选择依赖于最终所希望的平衡率，对于每一个随机选中的样本点，构造新的样本点，最终生成D个样本；

步骤4.3、结合原来的负类样本，形成平衡的数据样本。

本发明与现有技术相比，其显著优点在于：(1)采用径向基来进行噪声点的训练，得到决策的边界，在小维度和高维度下均具有较好的表现；(2)应用场合多样，可以广泛用于交通、银行、警务等方面的数据不平衡问题，提高了目前在不平衡样本下模型的精度，适用性更强，过采样时考虑了噪声点，生成数据更加贴合实际。

附图说明

图1为本发明智能系统安全体系态势感知构架中采集样本的平衡方法的流程示意图。

图2为本发明中样本选取的平面边界图。

图3为本发明中样本生成的示意图。

具体实施方式

结合图1～3，本发明智能系统安全体系态势感知构架中采集样本的平衡方法，包括以下步骤：

步骤1，智能系统安全体系态势感知构架进行数据采集得到不平衡样本，利用径向基核函数对不平衡样本中的正类样本进行训练，得到最优的边界参数；

步骤2，在正类样本中进行边界选择，剔除正类样本中的噪声数据；噪声边界如下图2所示，通过进行径向基核函数，得到决策边界。

步骤3，使用谱聚类对无噪声数据进行聚类，得到适用于smote算法的k个聚类样本；

步骤4，利用smote算法进行样本生成，完成采集样本的平衡。图3展示了生成样本过程中中心点与聚簇点之间的关系，由两点连线得到生成的数据，x_i为样本中心，

为聚簇范围内的临近点。

进一步地，步骤1所述的利用径向基核函数对不平衡样本中的正类样本进行训练，得到最优的边界参数，具体如下：

步骤1.1、分解出不平衡样本中的正类样本Dmin；

步骤1.2、利用径向基核函数进行正类样本训练，并利用机器学习模型进行样本精确度分析，得到最优的样本边界参数，其中径向基核函数为：

其中，σ为径向基核函数的超参数，也是训练边界的参数，定义参数的范围为0～1，利用步长为0.1对σ进行网格搜索；r＝||x₁-x₂||，其中x₁为空间任意一点，x₂为选取的一个中心点，r为求得的欧氏距离；通过进行正类样本模型预测，得到最优的样本边界参数；

正类样本通过径向基核函数映射到特征空间H：k(x,y)＝(Φ(x)·Φ(y))，其中x、y为特征空间下的两个数据样本，Φ为将低维映射到高维的核映射，k(x,y)为在高维下两个样本x,y的内积。

进一步地，步骤2所述的在正类样本中进行边界选择，剔除正类样本中的噪声数据，具体如下：

步骤2.1、利用边界参数进行原始正类样本的训练，找出异常样本；

步骤2.2、将正类样本的异常样本剔除，得到无噪声的正类样本数据。

进一步地，步骤3所述的使用谱聚类对无噪声数据进行聚类，得到适用于smote算法的k个聚类样本，具体如下：

步骤3.1、对无噪声数据的正类样本和负类样本进行求解，得到样本的生成比例；所述负类样本的数量为m，正类样本的数量为n，利用公式m＝(1+x)n得到样本的生成比例为x；

步骤3.2、对无噪声数据进行聚类，得到适用于smote算法的k个聚类样本。

进一步地，步骤4所述的利用smote算法进行样本生成，完成采集样本的平衡，具体如下：

步骤4.1、计算聚类簇；

计算度矩阵D、相似度矩阵W，并计算拉普拉斯矩阵L＝D-W，计算L的特征值，将特征值从小到大排序，取前k个特征值，并计算前k个特征值的特征向量u₁,u₂,...,u_k；

将上面的k个列向量组成矩阵U＝{u₁,u₂,...,u_k},U∈R^n*k；令y_i∈R^k是U的第i行的向量，其中i＝1,2,...,n，使用k-means算法将新样本点Y＝{y₁,y₂,...,y_n}聚类成簇C₁,C₂,...,C_k，输出簇A_1,,A₂,...,A_k，其中A_i＝{j|y_j∈C_i}；最终求得聚类簇A_1,,A₂,...,A_k；

步骤4.2、利用SMOTE算法进行样本的生成：

利用KNN算法，选择步骤3中的每个簇的样本点，离样本中一样本点最近的K个同类样本点，从最近的K个同类样本点中，随机挑选M个样本点，M的选择依赖于最终所希望的平衡率，对于每一个随机选中的样本点，构造新的样本点，最终生成D个样本；

步骤4.3、结合原来的负类样本，形成平衡的数据样本。

下面结合附图和具体实施方式对本发明作进一步详细说明。

实施例

本发明智能系统安全体系态势感知构架中采集样本的平衡方法，包括以下步骤：

步骤1，智能系统安全体系态势感知构架进行数据采集得到不平衡样本，利用径向基核函数对不平衡样本中的正类样本进行训练，得到最优的边界参数，具体如下：

步骤1.1、分解出不平衡样本中的正类样本Dmin；

步骤1.2、利用径向基核函数进行正类样本训练，并利用机器学习模型进行样本精确度分析，得到最优的样本边界参数，其中径向基核函数为：

其中，σ为径向基核函数的超参数，也是训练边界的参数，定义参数的范围为0～1，利用步长为0.1对σ进行网格搜索；r＝||x₁-x₂||，其中x₁为空间任意一点，x₂为选取的一个中心点，r为求得的欧氏距离。通过进行正类样本模型预测，得到最优的样本边界参数；

正类样本通过径向基核函数映射到特征空间H：k(x,y)＝(Φ(x)·Φ(y))，其中x、y为特征空间下的两个数据样本，Φ为将低维映射到高维的核映射，k(x,y)为在高维下两个样本x,y的内积。

步骤2，在正类样本中进行边界选择，剔除正类样本中的噪声数据，具体如下：

步骤2.1、利用边界参数进行原始正类样本的训练，找出异常样本；

步骤2.2、将正类样本的异常样本剔除，得到无噪声的正类样本数据。

步骤3，使用谱聚类对无噪声数据进行聚类，得到适用于smote算法的k个聚类样本，具体如下：

步骤3.1、对无噪声数据的正类样本和负类样本进行求解，得到样本的生成比例；所述负类样本的数量为m，正类样本的数量为n，利用公式m＝(1+x)n得到样本的生成比例为x；

步骤3.2、对无噪声数据进行聚类，得到适用于smote算法的k个聚类样本。

步骤4，利用smote算法进行样本生成，完成采集样本的平衡，具体如下：

步骤4.1、计算聚类簇；

计算度矩阵D、相似度矩阵W，并计算拉普拉斯矩阵L＝D-W，计算L的特征值，将特征值从小到大排序，取前k个特征值，并计算前k个特征值的特征向量u₁,u₂,...,u_k；

将上面的k个列向量组成矩阵U＝{u₁,u₂,...,u_k},U∈R^n*k；令y_i∈R^k是U的第i行的向量，其中i＝1,2,...,n，使用k-means算法将新样本点Y＝{y₁,y₂,...,y_n}聚类成簇C₁,C₂,...,C_k，输出簇A_1,,A₂,...,A_k，其中A_i＝{j|y_j∈C_i}；最终求得聚类簇A_1,,A₂,...,A_k；

步骤4.2、利用SMOTE算法进行样本的生成：

利用KNN算法，选择步骤3中的每个簇的样本点，离样本中一样本点最近的K个同类样本点，从最近的K个同类样本点中，随机挑选M个样本点，M的选择依赖于最终所希望的平衡率，对于每一个随机选中的样本点，构造新的样本点，最终生成D个样本；

步骤4.3、结合原来的负类样本，形成平衡的数据样本。

本发明智能系统安全体系态势感知构架中采集样本的平衡方法，例如在火箭故障诊断方面，由于故障并不经常发生，因此在收集的数据仅仅包含少量的故障数据，普通的过采样忽视了噪声点在故障样本中的影响，进行普通过采样时，会将噪声点也进行了放大，使得生成样本脱离了实际的情况，因此采用本方法可以很好地屏蔽掉噪声带来的影响，使得机器学习模型更加符合现实要求，更加合理。

Claims (5)

1.一种智能系统安全体系态势感知构架中采集样本的平衡方法，其特征在于，包括以下步骤：

步骤1，智能系统安全体系态势感知构架进行数据采集得到不平衡样本，利用径向基核函数对不平衡样本中的正类样本进行训练，得到最优的边界参数；

步骤2，在正类样本中进行边界选择，剔除正类样本中的噪声数据；

步骤3，使用谱聚类对无噪声数据进行聚类，得到适用于smote算法的k个聚类样本；

步骤4，利用smote算法进行样本生成，完成采集样本的平衡。

2.根据权利要求1所述的智能系统安全体系态势感知构架中采集样本的平衡方法，其特征在于，步骤1所述的利用径向基核函数对不平衡样本中的正类样本进行训练，得到最优的边界参数，具体如下：

步骤1.1、分解出不平衡样本中的正类样本Dmin；

步骤1.2、利用径向基核函数进行正类样本训练，并利用机器学习模型进行样本精确度分析，得到最优的样本边界参数，其中径向基核函数为：

其中，σ为径向基核函数的超参数，也是训练边界的参数，定义参数的范围为0～1，利用步长为0.1对σ进行网格搜索；r＝||x₁-x₂||，其中x₁为空间任意一点，x₂为选取的一个中心点，r为求得的欧氏距离；进行正类样本模型预测，得到最优的样本边界参数；

正类样本通过径向基核函数映射到特征空间H：k(x,y)＝(Φ(x)·Φ(y))，其中x、y为特征空间下的两个数据样本，Φ为将低维映射到高维的核映射，k(x,y)为在高维下两个样本x,y的内积。

3.根据权利要求1所述的智能系统安全体系态势感知构架中采集样本的平衡方法，其特征在于，步骤2所述的在正类样本中进行边界选择，剔除正类样本中的噪声数据，具体如下：

步骤2.1、利用边界参数进行原始正类样本的训练，找出异常样本；

步骤2.2、将正类样本的异常样本剔除，得到无噪声的正类样本数据。

4.根据权利要求1所述的智能系统安全体系态势感知构架中采集样本的平衡方法，其特征在于，步骤3所述的使用谱聚类对无噪声数据进行聚类，得到适用于smote算法的k个聚类样本，具体如下：

步骤3.1、对无噪声数据的正类样本和负类样本进行求解，得到样本的生成比例；所述负类样本的数量为m，正类样本的数量为n，利用公式m＝(1+x)n得到样本的生成比例为x；

步骤3.2、对无噪声数据进行聚类，得到适用于smote算法的k个聚类样本。

5.根据权利要求1所述的智能系统安全体系态势感知构架中采集样本的平衡方法，其特征在于，步骤4所述的利用smote算法进行样本生成，完成采集样本的平衡，具体如下：

步骤4.1、计算聚类簇；

计算度矩阵D，相似度矩阵W，并计算拉普拉斯矩阵L＝D-W，计算L的特征值，将特征值从小到大排序，取前k个特征值，并计算前k个特征值的特征向量u₁,u₂,...,u_k；

将上面的k个列向量组成矩阵U＝{u₁,u₂,...,u_k},U∈R^n*k；令y_i∈R^k是U的第i行的向量，其中i＝1,2,...,n，使用k-means算法将新样本点Y＝{y₁,y₂,...,y_n}聚类成簇C₁,C₂,...,C_k，输出簇A_1,,A₂,...,A_k，其中A_i＝{j|y_j∈C_i}；最终求得聚类簇A_1,,A₂,...,A_k；

步骤4.2、利用SMOTE算法进行样本的生成：

利用KNN算法，选择步骤3中的每个簇的样本点，离样本中一样本点最近的K个同类样本点，从最近的K个同类样本点中，随机挑选M个样本点，M的选择依赖于最终所希望的平衡率，对于每一个随机选中的样本点，构造新的样本点，最终生成D个样本；

步骤4.3、结合原来的负类样本，形成平衡的数据样本。

Images