CN102339389B - 一种基于密度的参数优化单分类支持向量机故障检测方法 - Google Patents

Abstract

本发明涉及一种基于密度的参数优化单分类支持向量机故障检测方法，其包括以下步骤：1)设置一包括数据采集设备、置信水平设置模块和监控计算机的故障检测设备；2)通过数据采集设备采集生产过程中产生的正常数据，输入监控计算机，归一化预处理得到总样本集Q；3)设定置信水平值α；4)将总样本集Q和置信水平值α输入到优化故障检测器生成模块中，寻优得到优化故障检测器的模型；5)优化故障检测器应用模块存储优化故障检测器的模型；6)工业生产过程中，通过数据采集设备将采集到的数据输入监控计算机，归一化处理后，输入优化故障检测器应用模块，通过优化故障检测器应用模块中存储的优化故障检测器，实时输出故障检测结果。本发明可广泛用于工业生产线运行状态的故障检测中。

Description

一种基于密度的参数优化单分类支持向量机故障检测方法

技术领域

本发明涉及一种基于数据驱动的生产过程故障检测方法，特别是关于一种基于密度的参数优化单分类支持向量机(One-class Support Vector Machine，OCSVM)故障检测方法。

背景技术

工业生产的自动化过程需要对工业生产过程的设备运行状态通过各种传感器进行实时的检测，并根据检测到的数据分析生产过程是否处于异常运行状态，通常将这种利用传感器检测数据分析生产过程异常的方法称为基于数据驱动的生产过程故障检测方法。当检测数据之间具有较强的线性关系，且满足高斯分布时，可以采用PCA(Principal Component Analysis，主成分分析)辅助以SPE(SquaredPrediction Error，平方预测误差)和霍特林T²统计量进行生产过程的故障检测。这方面已经有大量的文献报道和发明专利，并且已经开始应用到生产过程当中，并取得了一定的实际应用效果。

但是很多生产过程的检测数据之间具有较强的非线性特性，而且数据分布特点也不满足高斯分布。在这种情况下，基于PCA的故障检测方法就不能满足实际应用的要求。对此，一些用于解决非线性的数据驱动故障检测方法被逐渐提出，例如ICA(Independent Component Analysis，独立成分分析)、K-近邻(K-nearestneighbour，K-NN)等方法。其中OCSVM(One-class Support Vector Machine，单分类支持向量机)的故障检测方法是一种最新发展起来且行之有效的故障检测方法。与其他非线性方法相比，OCSVM方法的最大特点是通过构造分类面将正常数据集包围起来，并判断新检测到的数据是否位于该分类面外，若新数据位于分类面外，则说明该数据是异常数据，生产过程处于异常运行状态，由此达到故障检测的目的。而分类面的构成只和数据集中支持向量的部分有关，又支持向量的个数通常远远小于数据集的个数，因此该方法可以大大降低数据处理的复杂度。

在基于OCSVM的故障检测方法具体应用过程中，有两个对故障检测性能起到至关重要的参数需要确定。其中一个参数是控制参数，记为v——在引入允许分类面外的数据点被判为正常数据的松弛变量后，需要对松弛变量带来的错误进行惩罚，控制参数v用于控制对错分样本惩罚的程度：v越小，对错分样本的惩罚程度越高；反之，v越大，对错分样本的惩罚程度越低。另外一个参数是高斯核函数的宽度参数，该参数反映了高斯核函数的图形形状：该参数值越小，高斯核函数的图形越窄，衰减越快；反之，该参数值越大，高斯核函数的图形越宽，衰减越慢。高斯核函数在使用中有多种形式，应用较为普遍的形式是K(x_i，x_j)＝exp(-||x_i-x_j||²/σ²)，该形式中的参数σ即为宽度参数，以下均以符号σ表示宽度参数。

当数据的维数(即传感器的个数)较低时，技术人员可以通过图形观测判断参数选择是否合适。但是，当数据的维数增加时，技术人员无法绘制高维图形以判断参数选择是否合适，这种情形在实际生产过程中普遍存在，因为实际应用中传感器的数量通常都很大。为此，有学者引入ROC曲线(Receiver OperatingCharacteristics curve，接受者操作特征曲线)，并以AUC值(Area under an ROCcurve，ROC曲线下的面积值)作为判断参数选择是否合适的指标。ROC曲线是以FPR(False Positive Rate，异常样本被判为正常的比率)作为横坐标、以TPR(True Positive Rate，正常样本被判为正常的比率)作为纵坐标绘制出的二维图形。一个固定的分类器产生一个(FPR，TPR)数据对，对应ROC空间上的一个点。AUC性能指标综合考虑了TPR和FPR这两项数据，从而能够合理地评价分类器的运行效果。AUC值越大，保证了分类结果能够同时获得较大的TPR值和较小的FPR值。而AUC的计算过程并不随着数据维数的增加而有太大的变化。

但是，使用AUC作为评价指标时，需要一定数量的异常样本才能绘制出具有实际使用价值的ROC曲线和相应的AUC值。而工业生产过程中采集到的绝大部分数据是正常样本，因此很难得到足够数量的异常样本，或者得到的异常样本并不能反映全部的异常情况。所以，如何只根据正常样本或者根据含有极少量异常样本的数据集进行故障检测是上述数据处理过程中遇到的关键问题。

发明内容

针对上述问题，本发明的目的是提供一种基于密度的参数优化单分类支持向量机故障检测方法，该方法只需要正常样本集，应用范围广，寻优过程简单，故障检测性能好，得到的分类面能够很好地反映样本集的结构特性、推广能力强。

为实现上述目的，本发明采取以下技术方案：一种基于密度的参数优化单分类支持向量机故障检测方法，其包括以下步骤：1)设置一包括数据采集设备、置信水平设置模块和监控计算机的故障检测设备；所述监控计算机内预设置有一数据预处理模块、一优化故障检测器生成模块和一优化故障检测器应用模块；2)数据采集设备采集工业生产线中各监测传感器产生的正常数据，并传输给监控计算机的数据预处理模块，数据预处理模块进行归一化预处理后得到总样本集Q＝{x₁，x₂，...，x_N}；其中，N表示数据采集设备对各个监测传感器进行N次数据采集；x_i＝(x_i，1，x_i，2，...，x_i，m)T∈R^m，表示对m个监测传感器进行第i次数据采集，并经过归一化处理后得到的样本，m表示监测传感器的个数，R^m表示m维列向量；i＝1，2，...，N；x_i，j表示在样本x_i中，对第j个传感器在第i次数据采集并经过归一化处理后得到的单个样本数据值，j＝1，2，...，m；3)在置信水平设置模块中，对生产过程中采集到的正常数据的真实程度进行评估，设定置信水平值α；4)将上述步骤2)中的总样本集Q和步骤3)中设定的置信水平值α输入到优化故障检测器生成模块中，寻优得到优化故障检测器的模型：

$f\left(x\right)=\mathrm{sgn}(\underset{i=1}{\overset{N_T}{\mathrm{\Σ}}}{\mathrm{\α}}_i^{*}K(x,{\tilde{x}}_i)-\mathrm{\ρ}-C\_\mathrm{Limits})$

其中，当f(x)＝1时，表示待测样本x为正常样本，f(x)＝-1时，表示待测样本x为异常样本；sgn(·)是符号函数且满足 $\mathrm{sgn}\left(x\right)=\left\{\begin{array}{cc}1& x\&GreaterEqual;0\\ -1& x<0\end{array}\right.;$ N_T表示训练集的样本总数；表示训练集样本；

表示拉格朗日乘子的最优解；

表示高斯核函数；ρ表示分类面的偏移量；C_Limits表示控制限；5)优化故障检测器应用模块存储步骤4)得到的优化故障检测器的模型；6)工业生产过程中，实时通过数据采集设备采集各监测传感器输出的数据，并通过监控计算机中的数据预处理模块归一化处理后，输入优化故障检测器应用模块中，通过优化故障检测器应用模块中存储的优化故障检测器，实时输出故障检测结果。

所述步骤4)中，寻优得到优化故障检测器模型的关键是通过优化过程得到控制参数v和宽度参数σ的最优值，最终得到优化故障检测器模型，其步骤如下：①在所述优化故障检测器生成模块中预置以下子模块：样本密度估计模块、虚拟异常样本生成模块、训练集生成模块、测试集生成模块、OCSVM(One-class SupportVector Machine，单分类支持向量机)训练模块、ROC(Receiver OperatingCharacteristics curve，接受者操作特征曲线)性能计算模块、控制参数设置模块、宽度参数优化模块、终止条件判定模块、初始分类器生成模块、控制限生成模块以及优化分类器合成模块；②将步骤2)中，数据预处理模块归一化预处理后得到的总样本集Q输入样本密度估计模块，通过样本密度估计模块得到各个样本的估计样本密度值，并输入给虚拟异常样本生成模块，虚拟异常样本生成模块根据各个样本的估计样本密度值生成虚拟异常样本集

同时得到正常样本集

其中，β为指定的密度限值，即选取前

个估计样本密度值最小的样本点作为异常样本点；

表示取整运算；③训练集生成模块从虚拟异常样本生成模块中得到正常样本集

并从正常样本集中随机选取部分正常样本构成训练集

N_T表示训练集的样本总数；④测试集生成模块从虚拟异常样本生成模块中得到正常样本集

和虚拟异常样本集

并将正常样本集和虚拟异常样本集组合得到测试集T：

其中，y_i为样本类别标签，y_i＝-1表示虚拟异常样本，y_i＝1表示正常样本，且

⑤将步骤③中训练集生成模块得到的训练集

以及控制参数设置模块中设置的控制参数v、当前宽度参数优化模块中设置的宽度参数σ输入到OCSVM训练模块中，OCSVM训练模块通过求解如下的优化问题：

$\underset{\mathrm{\&alpha;}}{\min }\frac{1}{2}\underset{i=1}{\overset{N_T}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{N_T}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_i{\mathrm{\&alpha;}}_{j}K({\tilde{x}}_i,{\tilde{x}}_j)$

$s.t.0\&le;{\mathrm{\&alpha;}}_i\&le;\frac{1}{v{N}_T},i=1,...,N_T---\left(1\right)$

$\underset{i=1}{\overset{N_T}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_i=1$

得到寻优向量

的最优解，记为

从而得到分类面，分类面表达式为：

$\underset{i=1}{\overset{N_T}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_i^{*}K(x,{\tilde{x}}_i)-\mathrm{\&rho;}=0---\left(2\right)$

其中：式(1)中的为拉格朗日乘子，且为优化问题的寻优向量；

为训练集样本；

为高斯核函数，N_T为训练集的样本总数；式(2)中x为变量；满足

的样本

称为支持向量；ρ由式(3)给出，其中，

对应的

满足

$\mathrm{\&rho;}=\underset{i=1}{\overset{N_T}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_i^{*}K({\tilde{x}}_k,{\tilde{x}}_i)---\left(3\right)$

⑥将步骤⑤得到的分类面和步骤④测试集生成模块得到的测试集T输入ROC性能计算模块，计算AUC(Area under an ROC curve，ROC曲线下的面积值)值，记为A；⑦将上述步骤⑥得到的最终AUC值A输入到终止条件判定模块中，比较当前AUC值A和当前终止条件判定模块中的AUC最优值A^*，根据智能优化算法选择二者中的较大值存储为A^*，相应的宽度参数值记为σ^*；其中，初始状态下，终止条件判定模块中的AUC最优值A^*为0，相应的宽度参数σ^*也为0；终止条件判定模块判断当前状态是否满足终止条件判定模块中预置的对宽度参数σ寻优的终止条件：如果当前状态不满足终止条件，则进入宽度参数优化模块，根据智能优化算法更新宽度参数σ的值，并返回步骤⑤继续迭代；如果当前状态满足终止条件，则输出AUC最优值A^*对应的宽度参数值σ^*；⑧将步骤⑦优化后得到的宽度参数σ^*输入初始分类器生成模块，形成初始的故障检测器，其表达式如下：

$f_{\mathrm{first}}\left(x\right)=\mathrm{sgn}(\underset{i=1}{\overset{N_T}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_i^{*}K(x,{\tilde{x}}_i)-\mathrm{\&rho;})---\left(4\right)$

其中，

为式(1)所示优化问题在宽度参数取σ^*时得到的最优解；

与N_T的含义与步骤⑤所述相同，x为待检测的样本数据，sgn(·)是符号函数且满足 $\mathrm{sgn}\left(x\right)=\left\{\begin{array}{cc}1& x\&GreaterEqual;0\\ -1& x<0\end{array}\right.;$ ρ由上式(3)给出；f_first(x)＝1表示样本x为正常样本，f_first(x)＝-1表示样本x为异常样本；⑨将步骤3)中设定的置信水平值α、总样本集Q＝{x₁，x₂，...，x_N}以及步骤⑧得到的初始故障检测器输入控制限生成模块，根据置信水平值α和各个样本到初始分类面的近似距离确定控制限的大小，记为C_Limits；⑩将步骤⑧得到的初始故障检测器和步骤⑨得到的控制限C_Limits输入优化分类器合成模块，得到最终的优化故障检测器，其表达式如下：

$f\left(x\right)=\mathrm{sgn}(\underset{i=1}{\overset{N_T}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_i^{*}K(x,{\tilde{x}}_i)-\mathrm{\&rho;}-C\_\mathrm{Limits})$

其中，各符号的含义和计算方式与上述步骤相同；当f(x)＝1时，表示待测样本x为正常样本，f(x)＝-1表示待测样本x为异常样本。

所述步骤②中，通过样本密度估计模块得到各个样本的估计样本密度值，虚拟异常样本生成模块根据各个样本的估计样本密度值生成虚拟异常样本集和正常样本集的步骤如下：(a)估计各个样本点处的密度ρ_i(i＝1，...，N)的表达式为；

其中，ρ_i(i＝1，...，N)表示第i个样本点的密度估计值；

表示第i个样本点和与其距离最近的K个最近邻样本点间距离的平均值；

表示所有样本点上述距离值的平均值；ε_d表示指定的充分小的正数，优选范围为10^-7～10^-4，以防分母出现为零的情况；(b)将各个样本点处的密度按从小到大排序，排序后记为ρ′₁≤ρ′₂≤…≤ρ′_N，排序后的密度对应的样本数据记为{x₁′，x₂′，...，x_N′}，即样本x′_i处的密度值为ρ′_i；(c)指定密度限值β，密度限值β可以根据经验公式β＝min(0.015*m，0.1)进行选择，其中，m为样本的维数，即监测传感器的个数；并选取前

个密度最小的样本点作为异常样本点，其中，

表示取整运算，从而得到虚拟异常样本集

和正常样本集

所述步骤⑤中，控制参数设置模块中的控制参数v表示错分样本数占总样本数比例的上界；支持向量数占总样本数比例的下界，控制参数v的优选范围为0.01～0.1；宽度参数优化模块中宽度参数σ的寻优范围和初始值为：选择样本之间距离的平均值的1/10作为下界，选择样本之间距离的最大值作为上界，上下界的平均值作为初始值。

所述步骤⑥中，ROC性能计算模块计算AUC值的具体步骤如下：(a)计算测试集T中的每个样本点到步骤⑤得到的分类面的近似距离，第j个测试样本x′_j到分类面的近似距离d′_j为

$d_j^{\&prime;}=\underset{i=1}{\overset{N_T}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_i^{*}K(x_j^{\&prime;},{\tilde{x}}_i)-\mathrm{\&rho;}---\left(7\right)$

其中，j＝1，...，N，

以及N_T的含义与步骤⑤所述相同，ρ由上式(3)给出；按照近似距离大小递减排序，测试集T排序后重新记为：

$\{({\stackrel{\&OverBar;}{x}}_1,{\stackrel{\&OverBar;}{y}}_1),({\stackrel{\&OverBar;}{x}}_2,{\stackrel{\&OverBar;}{y}}_2),...,({\stackrel{\&OverBar;}{x}}_N,{\stackrel{\&OverBar;}{y}}_N)\}$

其中，

对应的近似距离记为

且

(b)初始化：记测试集中正常样本的数目为N_p，虚拟异常样本的数目为N_n；正常样本被判为正常的数目TP＝TP_pre＝0，异常样本被判为正常的数目FP＝FP_pre＝0；AUC面积值A＝0，样本点到分类面的近似距离值d_pre＝-∞，迭代步数i＝1；(c)如果排序后的第i个测试样本

对应的近似距离

满足：

则：令A＝A+|FP-FP_pre|*(TP+TP_pre)/2，

FP_pre＝FP，TP_pre＝TP，进入步骤(d)；如果

直接进入步骤(d)；(d)如果第i个测试样本

的类别标签

则TP＝TP+1；否则FP＝FP+1；(e)i＝i+1，并判断i≤N是否满足：若满足该条件，则转步骤(c)继续迭代；若条件不满足，则终止循环，进入下面的步骤(f)；(f)A＝A+|N_n-FP_pre |*(N_p+TP_pre)/2；(g)由于ROC曲线是以异常样本被判为正常的比率FPR作为横坐标、以正常样本被判为正常的比率TPR作为纵坐标绘制出的二维图形，因此，步骤(f)中得到的AUC面积值A的最终结果为A＝A/(N_p×N_n)，输出最终的AUC面积值A，结束。

所述步骤⑦中，终止条件判定模块中，预置总的优化迭代次数的上限值作为宽度参数σ寻优的终止条件。

所述步骤⑨中，控制限生成模块根据置信水平值α和各个样本到初始分类面的近似距离，确定控制限C_Limits的步骤如下：(a)在{1，2，...，N}中随机选取一个整数，并记录该整数对应的总样本集Q＝{x₁，x₂，...，x_N}中的样本；重复上述选取，直至选取出N个样本，组成一个新的集合，作为一组自助样本，记为

中的样本数与总样本集Q＝{x₁，x₂，...，x_N}中的样本数相同，都为N个；(b)将上述步骤(a)重复q次，生成q组与总样本集Q＝{x₁，x₂，...，x_N}含量相同的自助样本；(c)对每一个自助样本进行以下操作：计算该自助样本中各样本点到初始分类面的近似距离，表达式为：

${\hat{d}}_j=\underset{i=1}{\overset{N_T}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_i^{*}K({\hat{x}}_j,{\tilde{x}}_i)-\mathrm{\&rho;}---\left(8\right)$

其中，

以及N_T的含义与步骤⑧所述相同，为自助样本中的第j个样本，ρ由式(3)确定；按照近似距离从小到大排序，根据指定的置信水平值α选取第

个距离值作为该自助样本的控制限；第k个自助样本的控制限记为C_Limits_k，k＝1，2，...，q；(d)取q个控制限的平均值作为最终控制限C_Limits的值，即：

$C\_\mathrm{Limits}=\frac{1}{q}\underset{k=1}{\overset{q}{\mathrm{\&Sigma;}}}C\_\mathrm{Limit}{s}_k---\left(9\right)$

本发明由于采取以上技术方案，其具有以下优点：1、本发明利用样本的密度信息构造出虚拟异常样本以用于后续的分类器优化过程当中，从而不需要系统本身提供足够数量的异常样本，因此，能够应用于只基于正常样本数据集的故障检测问题，应用范围广。2、本发明通过样本密度信息和密度限构造虚拟异常样本，使得分类面的形状能够反映正常样本在空间中的分布特点，从而使优化分类面能够更加适当地包围样本数据，松紧程度适中。3、本发明以AUC值作为评价指标，使故障检测器在保证得到较高TPR的同时，降低了FPR的值，从而提高了分类面的推广能力。4、本发明采用单参数寻优，寻优过程简单。5、本发明通过控制限调整分类面的位置，使得分类面处于人为可控的状态，从而可以根据实际需要在线折中调节第一类错误率(正常样本被判为异常的概率)和第二类错误率(异常样本被判为正常的概率)的大小，同时，控制限还降低了数据采集误差等噪声对分类面的影响。本方法构思巧妙，精确实用，可广泛应用于工业生产线运行状态的故障检测中。

附图说明

图1是本发明结构示意图

图2是本发明模块结构示意图

图3是本发明优化故障检测器生成模块的子模块结构示意图

图4是本发明在二维圆环形数据集下得到的二维样本点及分类面显示图，图4a是宽度参数σ初始值取1.4067得到的结果，图4b是经过本发明优化后得到的结果

图5是本发明在二维圆环形数据集下得到的ROC曲线，图5a是宽度参数σ初始值取1.4067得到的结果，图5b是经过本发明优化后得到的结果

具体实施方式

下面结合附图和实施例对本发明进行详细的描述。

本发明方法包括以下步骤：

1)如图1所示，设置一包括数据采集设备A、置信水平设置模块B和带显示屏的监控计算机C的故障检测设备；数据采集设备A的输入端连接工业生产线中的各个监测传感器，输出端电连接至监控计算机C，置信水平设置模块B的输出端连接监控计算机C。如图2所示，监控计算机C内预设置有一数据预处理模块1、一优化故障检测器生成模块2和一优化故障检测器应用模块3。如图3所示，优化故障检测器生成模块2又包括以下子模块：样本密度估计模块21、虚拟异常样本生成模块22、训练集生成模块23、测试集生成模块24、OCSVM训练模块25、ROC性能计算模块26、控制参数设置模块27、宽度参数优化模块28、终止条件判定模块29、初始分类器生成模块210、控制限生成模块211以及优化分类器合成模块212。

2)如图1～3所示，通过数据采集设备A采集生产过程中产生的正常数据，并将正常数据传输到监控计算机C中，通过数据预处理模块1对上述正常数据进行归一化预处理，从而得到总样本集Q。

在监测工业生产过程中，数据采集设备A连接的监测传感器的数量为m个，对上述m个监测传感器进行N次数据采集，则N次采集后，通过数据预处理模块1对上述数据进行归一化处理得到的样本数据集合即为总样本集Q：

Q＝{x₁，x₂，...，x_N}

其中，对m个监测传感器进行第i次数据采集，并经过归一化处理后得到的样本为xX＝(x_i，1，x_i，2，...，x_i，m)T∈R^m，R^m表示m维列向量；i＝1，2，...，N；在样本x_i中，对第j个监测传感器在第i次数据采集并经过归一化处理后得到的单个样本数据值为x_i，j，j＝1，2，...，m。

3)在置信水平设置模块B中，对生产过程中采集到的正常数据的真实程度进行评估，设定置信水平值α。置信水平值α的含义为：由于测量噪声等因素的影响，使得得到的正常数据的可信赖程度降低，若通过经验认为得到的正常数据中有(1-α)％的正常数据是可信赖的，则确信该(1-α)％的正常数据是正常的。

4)将上述步骤2)中的总样本集Q和步骤3)中设定的置信水平值α输入到优化故障检测器生成模块2中，寻优得到优化故障检测器的模型。

5)优化故障检测器应用模块3存储步骤4)得到的优化故障检测器的模型。

6)工业生产过程中，通过各监测传感器检测到的数据经过数据采集设备A采集和监控计算机C中的数据预处理模块1归一化处理后，输入优化故障检测器应用模块3中，通过优化故障检测器应用模块3中存储的优化故障检测器，实时输出故障检测结果。

上述步骤4)中，寻优得到优化故障检测器模型的关键是通过优化过程得到控制参数v和宽度参数σ的最优值，最终得到优化故障检测器模型，其步骤如下：

①将步骤2)中，数据预处理模块1归一化预处理后得到的总样本集Q输入样本密度估计模块21，通过样本密度估计模块21得到各个样本的估计样本密度值后，输入给虚拟异常样本生成模块22，虚拟异常样本生成模块22根据各个样本的估计样本密度值生成虚拟异常样本集，同时得到正常样本集，具体步骤如下：

(a)估计各个样本点处的密度ρ_i(i＝1，...，N)；目前应用较为广泛的样本点密度估计方法有以下两种：K-近邻密度估计法和Parzen窗密度估计法；本实施步骤中采用K-近邻密度估计法，该方法的密度公式为：

其中，ρ_i(i＝1，...，N)表示第i个样本点的密度估计值；

表示第i个样本点和与其距离最近的K个最近邻样本点间距离的平均值；

表示所有样本点上述距离值

的平均值；ε_d表示指定的充分小的正数，优选范围为10^-7～10^-4，以防分母出现为零的情况；

(b)将各个样本点处的密度按从小到大排序，排序后记为ρ′₁≤ρ′₂≤…≤ρ′_N，排序后的密度对应的样本数据记为{x₁′，x₂′，...，x_N′}，即样本x_i′处的密度值为ρ′_i；

(c)指定密度限值β，密度限值β可以根据经验公式β＝min(0.015*m，0.1)进行选择，其中，m为样本的维数，即传感器的个数；并选取前

个估计样本密度值最小的样本点作为虚拟异常样本点，其中，

表示取整运算，从而得到虚拟异常样本集和正常样本集

②训练集生成模块23从虚拟异常样本生成模块22中得到正常样本集

并从正常样本集中随机选取部分正常样本构成训练集

N_T表示训练集的样本总数。

③测试集生成模块24从虚拟异常样本生成模块22中得到正常样本集

和虚拟异常样本集

并将正常样本集和虚拟异常样本集组合得到测试集T：

其中，y_i为样本类别标签，y_i＝-1表示虚拟异常样本，y_i＝1表示正常样本，且

④将步骤②中训练集生成模块23得到的训练集

控制参数设置模块27中设置的控制参数v，以及当前宽度参数优化模块28中设置的宽度参数σ输入到OCSVM训练模块25中，得到一个分类面，具体步骤如下。

控制参数设置模块27中控制参数v的物理意义：错分样本数(正常样本被判为异常样本或异常样本被判为正常样本)占总样本数比例的上界；支持向量数占总样本数比例的下界。控制参数v的优选范围为0.01～0.1。

宽度参数优化模块28中宽度参数σ的寻优范围和初始值：现有不少文献针对宽度参数σ的选择进行了分析，得到了一些有用的结果；实际选择宽度参数σ的上下界和初始值时，可以参考已有的结论并综合考虑计算复杂度进行选择。如可以选择样本之间距离的平均值的1/10作为下界，选择样本之间距离的最大值作为上界，上下界的平均值作为初始值；或采用后面具体仿真例中使用的选择方法等。

OCSVM训练模块25通过求解如下的优化问题：

$\underset{\mathrm{\&alpha;}}{\min }\frac{1}{2}\underset{i=1}{\overset{N_T}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{N_T}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_i{\mathrm{\&alpha;}}_{j}K({\tilde{x}}_i,{\tilde{x}}_j)$

$s.t.0\&le;{\mathrm{\&alpha;}}_i\&le;\frac{1}{v{N}_T},i=1,...,N_T---\left(2\right)$

$\underset{i=1}{\overset{N_T}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_i=1$

得到寻优向量

的最优解，记为

从而得到分类面，分类面表达式为：

$\underset{i=1}{\overset{N_T}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_i^{*}K(x,{\tilde{x}}_i)-\mathrm{\&rho;}=0---\left(3\right)$

其中：式(2)中的

为拉格朗日乘子，且为优化问题(式(2))的寻优向量；

为训练集样本；为高斯核函数，N_T为训练集的样本总数；式(3)中x为变量；满足

的样本

称为支持向量，显然，只有当

时，式(3)中的对应项

才有计算的必要；ρ表示分类面的偏移量，由式(4)给出，其中

对应的满足

条件：

$\mathrm{\&rho;}=\underset{i=1}{\overset{N_T}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_i^{*}K({\tilde{x}}_k,{\tilde{x}}_i)---\left(4\right)$

⑤将上述步骤④得到的分类面和步骤③测试集生成模块24得到的测试集T输入ROC性能计算模块26，计算AUC值，记为A。

计算AUC值的具体步骤如下：

(a)根据式(5)计算测试集T中的每个样本点到步骤④得到的分类面的近似距离，第j个测试样本x_j′到分类面的近似距离d_j′为

$d_j^{\&prime;}=\underset{i=1}{\overset{N_T}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_i^{*}K(x_j^{\&prime;},{\tilde{x}}_i)-\mathrm{\&rho;}---\left(5\right)$

其中，j＝1，...，N，

以及N_T的含义与步骤④所述相同，ρ由上式(4)给出；按照近似距离大小递减排序，测试集T排序后重新记为：

$\{({\stackrel{\&OverBar;}{x}}_1,{\stackrel{\&OverBar;}{y}}_1),({\stackrel{\&OverBar;}{x}}_2,{\stackrel{\&OverBar;}{y}}_2),...,({\stackrel{\&OverBar;}{x}}_N,{\stackrel{\&OverBar;}{y}}_N)\}$

其中，对应的近似距离记为

且

(b)初始化：记测试集中正常样本的数目为N_p，虚拟异常样本的数目为N_n；正常样本被判为正常的数目TP＝TP_pre＝0，异常样本被判为正常的数目FP＝FP_pre＝0，其中ROC曲线的横坐标FPR＝FP/N_n，纵坐标TPR＝TP/N_p；AUC面积值A＝0，当前循环的前一步存储的近似距离值d_pre＝-∞，迭代步数i＝1；

(c)如果排序后的第i个测试样本对应的近似距离满足：则：令A＝A+|FP-FP_pre|*(TP+TP_pre)/2，

FP_pre＝FP，TP_pre＝TP，进入步骤(d)；如果直接进入步骤(d)；

(d)如果第i个测试样本

的类别标签

则TP＝TP+1；否则FP＝FP+1；

(e)i＝i+1，并判断i≤N是否满足：若满足该条件，则转步骤(c)继续迭代；若条件不满足，则终止循环，进入下面的步骤(f)；

(f)令A＝A+|N_n-FP_pre |*(N_p+TP_pre)/2；

(g)由于ROC曲线是以FPR(False Positive Rate，异常样本被判为正常的比率)作为横坐标、以TPR(True Positive Rate，正常样本被判为正常的比率)作为纵坐标绘制出的二维图形，因此，步骤(f)中得到的AUC面积值A的最终结果为A＝A/(N_p×N_n)，输出最终的AUC面积值A，结束。

⑥将上述步骤⑤得到的最终AUC面积值A输入到终止条件判定模块29中，比较当前AUC面积值A和当前终止条件判定模块29中的AUC最优值A^*，根据智能优化算法选择二者中的较大值存储为A^*，相应的宽度参数值记为σ^*；其中，初始状态下，终止条件判定模块29中的AUC最优值A^*为0，相应的宽度参数σ^*也为0；终止条件判定模块29判断当前状态是否满足终止条件判定模块29中预置的对宽度参数σ寻优的终止条件：

如果当前状态不满足终止条件，则进入宽度参数优化模块28，根据智能优化算法更新宽度参数σ的值，并返回步骤④继续迭代；

如果当前状态满足终止条件，则输出AUC最优值A^*对应的宽度参数值σ^*。

终止条件判定模块29中预置的终止条件不唯一，因此，采用不同的智能优化算法进行宽度参数σ寻优，该终止条件就可能不同，例如：可以设置总的优化迭代次数的上限值作为宽度参数σ寻优的终止条件；或采用仿真例中模拟退火算法中使用的终止条件——系统温度是否降至终止温度等。

⑦将步骤⑥优化后得到的宽度参数σ^*输入初始分类器生成模块210，形成初始的故障检测器，并进入后续步骤；此初始故障检测器的检测模型如下式所示：

$f_{\mathrm{first}}\left(x\right)=\mathrm{sgn}(\underset{i=1}{\overset{N_T}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_i^{*}K(x-{\tilde{x}}_i)-\mathrm{\&rho;})---\left(6\right)$

其中，

是上述式(2)所示优化问题在宽度参数取σ^*时得到的最优解；

与N_T的含义与步骤④所述相同，x为待检测的样本数据，sgn(·)是符号函数且满足 $\mathrm{sgn}\left(x\right)=\left\{\begin{array}{cc}1& x\&GreaterEqual;0\\ -1& x<0\end{array}\right.;$ ρ由上式(4)给出；f_first(x)＝1表示样本x为正常样本，f_first(x)＝-1表示样本x为异常样本。

⑧将步骤3)中设定的置信水平值α、总样本集Q＝{x₁，x₂，...，x_N}以及步骤⑦得到的初始故障检测器输入控制限生成模块211，根据置信水平值α和各个样本到初始分类面的近似距离确定控制限的大小，记为C_Limits，控制限的具体计算步骤如下：

(a)在{1，2，...，N}中随机选取一个整数，并记录该整数对应的总样本集Q＝{x₁，x₂，...，x_N}中的样本；重复上述选取(包括多次选取同一整数的情况)，直至选取出N个样本，组成一个新的集合，这个新集合便是一组自助样本，记为

中的样本数与总样本集Q＝{x₁，x₂，...，x_N}中的样本数相同，都为N个，但是

中的样本有可能会出现重复。

(b)将步骤(a)重复q次，生成q组与总样本集Q＝{x₁，x₂，...，x_N}含量相同的自助样本；

(c)对每一个自助样本进行以下操作：计算该自助样本中各样本点到初始分类面的近似距离，计算公式如下式(7)所示：

${\hat{d}}_j=\underset{i=1}{\overset{N_T}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_i^{*}K({\hat{x}}_j,{\tilde{x}}_i)-\mathrm{\&rho;}---\left(7\right)$

其中，

以及N_T的含义与步骤⑦所述相同，

为自助样本中的第j个样本，ρ由式(4)确定；按照近似距离从小到大排序，根据指定的置信水平值α选取第个距离值作为该自助样本的控制限；第k个自助样本的控制限记为C_Limits_k，k＝1，2，...，q；

(d)取q个控制限的平均值作为最终控制限C_Limits的值，即：

$C\_\mathrm{Limits}=\frac{1}{q}\underset{k=1}{\overset{q}{\mathrm{\&Sigma;}}}C\_\mathrm{Limit}{s}_k---\left(8\right)$

⑨将步骤⑦得到的初始故障检测器和步骤⑧得到的控制限C_Limits输入优化分类器合成模块212，得到最终的优化故障检测器，其检测模型函数表达式如下：

$f\left(x\right)=\mathrm{sgn}(\underset{i=1}{\overset{N_T}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_i^{*}K(x,{\tilde{x}}_i)-\mathrm{\&rho;}-C\_\mathrm{Limits})---\left(9\right)$

其中，各符号的含义和计算方式与上述步骤相同；当f(x)＝1时，表示待测样本x为正常样本，f(x)＝-1表示待测样本x为异常样本。

下面列举一具体的仿真例进行说明：

本仿真例采用二维圆环形数据集进行仿真实验，该数据集共有600个正常样本数据，即N＝600，m＝2(即有两个传感器)。其仿真步骤及参数设定情况如下：

(1)对数据集进行归一化处理，得到样本集Q＝{x₁，x₂，...，x_N}。

(2)指定置信水平α的值为0.03。

(3)根据式(1)计算各个样本点处的密度ρi(i＝1，...，N)，其中ε_d取为10^-6。密度限β取为β＝min(0.015*m，0.1)＝0.03，得到含有582个样本点的正常样本集

和含有18个样本点的虚拟异常样本集

随机选取正常样本集中的2/3部分构成训练集

因此训练集共含有388个样本，即N_T＝388。综合正常样本集和虚拟异常样本集并添加类别标签得到测试集，其含有600个样本。

(4)根据参数的物理概念选择控制参数v为0.05。记训练集中任意两两不同样本点之间的欧式距离组成的集合为

则宽度参数σ的上限可取为σ_max＝d_max(其中，d_max是集合{d_ij}中的最大值)，下限可取为σ_min＝mean(d_ij)/10(其中，mean(d_ij)是集合{d_ij}所有元素的平均值)，初始值取为

(其中，

)。

(5)本仿真例中使用的智能优化算法为模拟退火算法，使用模拟退火算法对参数σ进行寻优的过程如下：

①初始化：初始温度T₀＝0.005，终止温度T_f＝0.0001，降温函数的温差系数ΔT＝0.0005，ε_AUC＝0.001为很小的正数，Δσ＝(σ_max-σ_min)/20，并计算初始σ值下0CSVM训练结果的AUC值和支持向量的数目n_SV；

②设置内循环次数n为，初始化p＝1；

③在单次内循环中：在σ的邻域[σ-Δ^*σ，σ+Δ^*σ](其中Δ^*σ＝min(Δσ，σ-σ_min，σ_max-σ))内随机产生一个新的σ_new；在新参数下进行0CSVM训练，生成新的分类面，并求取新的AUC值AUC_new和相应的支持向量数目n_SV，new；若下述三种情况中的任意一种满足：(a)AUC_new-AUC＞ε_AUC；(b)AUC_new-AUC＜-ε_AUC且

大于(0，1)区间上产生的随机数；(c)|AUC_new-AUC|≤ε_AUC且n_SV，new＜n_SV；则更新σ＝σ_new、AUC＝AUC_new、n_SV＝n_SV，new；

④p＝p+1；如果p≤n，则转步骤③继续迭代；否则，结束内循环，转步骤⑤；

⑤降温函数T₀＝T₀-ΔT，比较此时的T₀和T_f的大小：如果T₀≥T_f，则返回步骤②继续迭代；否则，结束整个模拟退火算法，输出最终得到的参数σ的值，记为最优值σ^*。

(6)根据最优参数对(v，σ^*)训练样本，得到初始分类器。选择q＝30，再根据置信水平α＝0.03、测试集和初始分类器计算得到控制限C_Limits。再将初始分类器和控制限合成，便可得到优化故障检测器，其检测模型表达式如式(8)所示。

仿真得到的结果如图4和图5所示。其中，图4显示的是在二维圆环形数据集下得到的二维样本点及分类面显示图，图4a为σ取初始值得到的结果，图4b为经过本发明优化后得到的结果。从图4中可以看出，图4a中分类面内部有很大的空隙，分类面并没有很好地包围样本点；而图4b中的分类面则将样本点包围地恰到好处，松紧程度适中。图5显示的是对应上述两种情况的ROC曲线，其中，图5a为σ取初始值得到的ROC曲线，其AUC值为0.6816；图5b为经过本发明优化后得到的ROC曲线，其AUC值为0.9918。可见，经过本发明的优化处理后，故障检测器对应的AUC值有了很大的提升，大大提高了故障检测器的检测性能。

上述各实施例仅用于说明本发明，其中各部件的结构、连接方式等都是可以有所变化的，凡是在本发明技术方案的基础上进行的等同变换和改进，均不应排除在本发明的保护范围之外。

Claims (1)

1.一种基于密度的参数优化单分类支持向量机故障检测方法，其包括以下步骤： 

1)设置一包括数据采集设备、置信水平设置模块和监控计算机的故障检测设备；所述监控计算机内预设置有一数据预处理模块、一优化故障检测器生成模块和一优化故障检测器应用模块； 

2)数据采集设备采集工业生产线中各监测传感器产生的正常数据，并传输给监控计算机的数据预处理模块，数据预处理模块进行归一化预处理后得到总样本集Q＝{x₁，x₂，...，x_N}； 

其中，N表示数据采集设备对各个监测传感器进行N次数据采集；x_i＝(x_i，1，x_i，2，...，x_i，m)^T∈R^m，表示对m个监测传感器进行第i次数据采集，并经过归一化处理后得到的样本，m表示监测传感器的个数，R^m表示m维列向量；i＝1，2，...，N；x_i，j表示在样本x_i中，对第j个传感器在第i次数据采集并经过归一化处理后得到的单个样本数据值，j＝1，2，…，m； 

3)在置信水平设置模块中，对生产过程中采集到的正常数据的真实程度进行评估，设定置信水平值α； 

4)将上述步骤2)中的总样本集Q和步骤3)中设定的置信水平值α输入到优化故障检测器生成模块中，寻优得到优化故障检测器的模型： 

其中，当f(x)＝1时，表示待测样本x为正常样本，f(x)＝-1时，表示待测样本x为异常样本；sgn(·)是符号函数且满足

N_T表示训练集的样本总数；

表示训练集样本；

表示拉格朗日乘子的最优解；

表示高斯核函数；ρ表示分类面的偏移量；C_Limits表示控制限； 

5)优化故障检测器应用模块存储步骤4)得到的优化故障检测器的模型； 

6)工业生产过程中，实时通过数据采集设备采集各监测传感器输出的数据，并通过监控计算机中的数据预处理模块归一化处理后，输入优化故障检测器应用模块中，通过优化故障检测器应用模块中存储的优化故障检测器，实时输出故障检测结果； 

所述步骤4)中，寻优得到优化故障检测器模型的关键是通过优化过程得到控制参数v和宽度参数σ的最优值，最终得到优化故障检测器模型，其步骤如下： 

①在所述优化故障检测器生成模块中预置以下子模块：样本密度估计模块、虚拟异常样本生成模块、训练集生成模块、测试集生成模块、OCSVM训练模块、ROC性能计算模块、控制参数设置模块、宽度参数优化模块、终止条件判定模块、初始分类器生成模块、控制限生成模块以及优化分类器合成模块，其中的OCSVM是单分类支持向量机One-class Support Vector Machine，ROC是接受者操作特征曲线Receiver Operating Characteristics curve； 

②将步骤2)中，数据预处理模块归一化预处理后得到的总样本集Q输入样本密度估计模块，通过样本密度估计模块得到各个样本的估计样本密度值，并输入给虚拟异常样本生成模块，虚拟异常样本生成模块根据各个样本的估计样本密度值生成虚拟异常样本集

同时得到正常样本集 其中，β为指定的密度限值，即选取前

个估计样本密度值最小的样本点作为异常样本点；

表示取整运算； 

③训练集生成模块从虚拟异常样本生成模块中得到正常样本集 

并从正常样本集中随机选取部分正常样本构成训练集 N_T表示训练集的样本总数； 

④测试集生成模块从虚拟异常样本生成模块中得到正常样本集 

和虚拟异常样本集

并将正常样本集和虚拟异常样本集组合得到测试集T： 

其中，y_i为样本类别标签，y_i＝-1表示虚拟异常样本，y_i＝1表示正常样本，且 

⑤将步骤③中训练集生成模块得到的训练集

以及控制参数设 置模块中设置的控制参数v、当前宽度参数优化模块中设置的宽度参数σ输入到OCSVM训练模块中，OCSVM训练模块通过求解如下的优化问题： 

得到寻优向量的最优解，记为从而得到分类面，分类面表达式为： 

其中：式(1)中的

为拉格朗日乘子，且为优化问题的寻优向量； 

为训练集样本，其中i，j＝1，2，...，N_T；

为高斯核函数，N_T为训练集的样本总数；式(2)中x为待检测的样本数据；满足的样本

称为支持向量；ρ由式(3)给出，其中，对应的

满足

⑥将步骤⑤得到的分类面和步骤④测试集生成模块得到的测试集T输入ROC性能计算模块，计算AUC值，记为A，其中AUC是ROC曲线下的面积值Area underan ROC curve； 

⑦将上述步骤⑥得到的最终AUC值A输入到终止条件判定模块中，比较当前AUC值A和当前终止条件判定模块中的AUC最优值A^*，根据智能优化算法选择二者中的较大值存储为A^*，相应的宽度参数值记为σ^*；其中，初始状态下，终止条件判定模块中的AUC最优值A^*为0，相应的宽度参数σ^*也为0；终止条件判定模块判断当前状态是否满足终止条件判定模块中预置的对宽度参数σ寻优的终止条件： 

如果当前状态不满足终止条件，则进入宽度参数优化模块，根据智能优化算 法更新宽度参数σ的值，并返回步骤⑤继续迭代； 

如果当前状态满足终止条件，则输出AUC最优值A^*对应的宽度参数值σ^*； 

⑧将步骤⑦优化后得到的宽度参数σ^*输入初始分类器生成模块，形成初始的故障检测器，其表达式如下： 

其中，

为式(1)所示优化问题在宽度参数取σ^*时得到的最优解；

与N_T的含义与步骤⑤所述相同，x为待检测的样本数据，sgn(·)是符号函数且满足

ρ由上式(3)给出；f_frirst(x)＝1表示样本x为正常样本，f_first(x)＝-1表示样本x为异常样本； 

⑨将步骤3)中设定的置信水平值α、总样本集Q＝{x₁，x₂，...，x_N}以及步骤⑧得到的初始故障检测器输入控制限生成模块，根据置信水平值α和各个样本到初始分类面的近似距离确定控制限的大小，记为C_Limits； 

⑩将步骤⑧得到的初始故障检测器和步骤⑨得到的控制限C_Limits输入优化分类器合成模块，得到最终的优化故障检测器，其表达式如下： 

其中，各符号的含义和计算方式与上述步骤相同；当f(x)＝1时，表示待测样本x为正常样本，f(x)＝-1表示待测样本x为异常样本； 

所述步骤②中，通过样本密度估计模块得到各个样本的估计样本密度值，虚拟异常样本生成模块根据各个样本的估计样本密度值生成虚拟异常样本集和正常样本集的步骤如下： 

(a)估计各个样本点处的密度ρ_i的表达式为； 

其中，ρ_i表示第i个样本点的密度估计值，i＝1，...，N；

表示第i个样本点和与其距离最近的K个最近邻样本点间距离的平均值；

表示所有样本点上述距离值

的平均值；ε_d表示指定的充分小的正数，范围为10^-7～ 10^-4，以防分母出现为零的情况； 

(b)将各个样本点处的密度按从小到大排序，排序后记为ρ′₁≤ρ′₂≤...≤ρ′_N，排序后的密度对应的样本数据记为{x′₁，x′₂，...，x′_N}，即样本x′_i处的密度值为ρ′_i； 

(c)指定密度限值β，密度限值β根据经验公式β＝min(0.015*m，0.1)进行选择，其中，m为样本的维数，即监测传感器的个数；并选取前

个密度最小的样本点作为异常样本点，其中，

表示取整运算，从而得到虚拟异常样本集 

和正常样本集

所述步骤⑤中，控制参数设置模块中的控制参数v不仅表示错分样本数占总样本数比例的上界，还表示支持向量数占总样本数比例的下界，控制参数v的范围为0.01～0.1；宽度参数优化模块中宽度参数σ的寻优范围和初始值为：选择样本之间距离的平均值的1/10作为下界，选择样本之间距离的最大值作为上界，上下界的平均值作为初始值； 

所述步骤⑥中，ROC性能计算模块计算AUC值的具体步骤如下： 

(a)计算测试集T中的每个样本点到步骤⑤得到的分类面的近似距离，第j个测试样本x′_j到分类面的近似距离d′_j为 

其中，j＝1，...，N，

以及N_T的含义与步骤⑤所述相同，ρ由上式(3)给出；按照近似距离大小递减排序，测试集T排序后重新记为： 

其中，

对应的近似距离记为

且

(b)初始化：记测试集中正常样本的数目为N_p，虚拟异常样本的数目为N_n；正常样本被判为正常的数目TP＝TP_pre＝0，异常样本被判为正常的数目FP＝FP_pre＝0；AUC面积值A＝0，样本点到分类面的近似距离值d_pre＝-∞，迭代步数i＝1； 

(c)如果排序后的第i个测试样本对应的近似距离

满足：

则： 

令A＝A+|FP-FP_pre|*(TP+TP_pre)/2，

FP_pre＝FP，TP_pre＝TP，进入步骤(d)；如果

直接进入步骤(d)； 

(d)如果第i个测试样本

的类别标签

则TP＝TP+1；否则FP＝FP+1； 

(e)i＝i+1，并判断i≤N是否满足：若满足该条件，则转步骤(c)继续迭代；若条件不满足，则终止循环，进入下面的步骤(f)； 

(f)A＝A+|N_n-FP_pre |*(N_p+TP_pre)/2； 

(g)由于ROC曲线是以异常样本被判为正常的比率FPR作为横坐标、以正常样本被判为正常的比率TPR作为纵坐标，绘制出的二维图形，因此，步骤(f)中得到的AUC面积值A的最终结果为A＝A/(N_p×N_n)，输出最终的AUC面积值A，结束； 

所述步骤⑦中，终止条件判定模块中，预置总的优化迭代次数的上限值作为宽度参数σ寻优的终止条件； 

所述步骤⑨中，控制限生成模块根据置信水平值α和各个样本到初始分类面的近似距离，确定控制限C_Limits的步骤如下： 

(a)在{1，2，...，N}中随机选取一个整数，并记录该整数对应的总样本集Q＝{x₁，x₂，...，x_N}中的样本；重复上述选取，直至选取出N个样本，组成一个新的集合，作为一组自助样本，记为

中的样本数与总样本集Q＝{x₁，x₂，...，x_N}中的样本数相同，都为N个； 

(b)将上述步骤(a)重复q次，生成q组与总样本集Q＝{x₁，x₂，...，x_N}含量相同的自助样本； 

(c)对每一组自助样本进行以下操作：计算该自助样本中各样本点到初始分类面的近似距离，表达式为： 

其中，

以及N_T的含义与步骤⑧所述相同，

为自助样本中的第j个样本，ρ由式(3)确定；按照近似距离从小到大排序，根据指定的置信水平值α选取第 

个距离值作为该自助样本的控制限；第k个自助样本的控制限记为C_Limits_k，k＝1，2，...，q； 

(d)取q个控制限的平均值作为最终控制限C_Limits的值，即： 

。

Images