CN101609502A - 基于序列简化支持向量的人脸检测方法 - Google Patents

Abstract

本发明公开了一种基于序列简化支持向量的人脸检测方法，主要解决现有人脸检测方法鉴别速率低和求解约减向量集速率低的问题。该方法通过用约减向量集来代替支持向量集策略提高鉴别速率，采用序列简化方法求解约减向量集，它包括对待训练图像训练和对待测试图像鉴别两部分，其中：对待训练图像训练是将原始训练图像进行行拉伸的预处理、利用行拉伸后的训练样本训练支持向量机和求解约减向量集；对待测试图像鉴别是对待测试图像进行行拉伸的预处理、用约减向量集鉴别行拉伸后的测试样本和鉴别结果输出。本发明可对图像进行实时检测，具有计算复杂度和存储空间低的优点，用于机器学习和模式识别范畴内的人脸检测以及其他大规模数据的检测系统。

Description

基于序列简化支持向量的人脸检测方法

技术领域

本发明属于图像处理技术领域，特别是涉及人脸的检测，可用于公共安全，信息安全，金融安全的监督和防护。

背景技术

生物特征识别技术是利用人自身具备的永久生物特征，如指纹、人脸、虹膜、掌纹等进行人身份的鉴别技术。而用指纹、掌型、虹膜等识别技术都需要被识别者配合，不能在被识别者不知情的情况下完成，但人的面部识别则可以用摄像头较远距离捕捉图像，在当事人不知不觉的情况下完成身份确认识别工作，在实际中有非常重大的意义。由此可见，人脸识别技术是用于人身份鉴别的一种非常重要和实用的方法。人脸检测实际上是一个两类的人脸鉴别问题，即在一幅图像中只有“人脸”和“非人脸”之分。其基本思想是基于知识或统计的方法对人脸鉴别，从而得到可能存在的人脸区域。

支持向量机首先是由Vapnik及其合作者在1995年首先提出来的，是近年来机器学习研究的一项重大成果。支持向量机可以应用于，如目标体检测、人脸检测、和数字体识别等多个领域。1997年，Osuna将支持向量机应用于人脸检测。但是，支持向量机训练得到的支持向量有很多都是冗余的，因此Burges提出一种简化的向量准则来鉴别未知测试样本，用约减向量集来代替原有支持向量集，可有效的提高鉴别速率。为加快Burges方法求解约减向量集的速率，

于2003提出一种只针对高斯核函数的固定点迭代方法，并将此方法应用于人脸检测。

Osuna提出的基于支持向量机的人脸检测方法，在鉴别的过程中用到的是支持向量集，使得鉴别速率很慢。Burges提出的简化支持向量方法，在求解约减向量集的过程中使用的是梯度下降算法或者共轭梯度下降算法，导致该过程需要大量时间。

提出的固定点迭代方法求解约减集，只能用于高斯核函数，使得该方法的应用领域受到限制。

发明内容

本发明的目的在于克服上述技术的不足，提出一种基于序列简化支持向量的人脸检测方法，以应用于任何核函数，而且在保证精度的前提下，提高求解约减向量集的速率和检测速率。

为实现上述目的，本发明包括如下步骤：

(1)对原始训练图像进行行拉伸的预处理，将行拉伸后的图像数据作为训练样本x_i∈Rⁿ，i＝1，...，l，其中n为训练样本维数，l为训练样本总个数，并且对每一个训练样本进行标识，使+1类表示人脸样本，-1类表示非人脸样本，得到训练样本集x_i∈Rⁿ，y_i∈{+1，-1}，i＝1，...l，将该训练样本集输入到计算机中进行步骤(2)；

(2)用训练样本集在计算机中训练支持向量机，得到最优的偏置b∈R、支持向量系数α_i∈R和支持向量s_i∈Rⁿ，i＝1，...Nx，其中Nx为支持向量个数；

(3)利用序列优化约减向量方法对支持向量系数α_i∈R，和支持向量s_i∈Rⁿ，i＝1，...，Nx进行约减，具体步骤如下：

3a)设定求解约减向量的有约束目标函数：

$F_C=\frac{1}{2}\left|\right|\underset{i=1}{\overset{l}{\mathrm{\Σ}}}({\mathrm{\β}}_i-{\mathrm{\β}}_i^{*})\mathrm{\φ}\left(x_i\right)-\underset{i=1}{\overset{\mathrm{Nx}}{\mathrm{\Σ}}}{\mathrm{\α}}_i\mathrm{\φ}\left(s_i\right)\left|\right|+C\underset{i=1}{\overset{l}{\mathrm{\Σ}}}({\mathrm{\β}}_i+{\mathrm{\β}}_i^{*})---\left(1A\right)$

st.β_i≥0， ${\mathrm{\β}}_i^{*}\≥0,$ i＝1，...，l

式中，β_i-β_i ^*，i＝1，...，l表示第i个训练样本x_i对应的系数，φ为将训练样本从n维实空间映射到高维特征空间F的映射函数，C为惩罚因子，通过调节C的大小，控制约减向量的个数；

3b)求取约束目标函数的Lagrange对偶函数；

3c)由约束目标函数和Lagrange对偶函数得到最优解满足的Karush-Kuhn-Tucker(KKT)条件；

3d)以KKT条件作为求解约减向量的终止条件判断，判断当前所有样本是否满足KKT条件，若有违反KKT条件的样本，继续步骤(3e)，否则跳至步骤(3f)；

3e)设定当前工作集中有且仅有一个元素，并且选用违反KKT条件最大者作为该元素，计算该元素的最优解；

3f)设定一个正常数θ，通过调节该常数控制约减向量的个数Nz，计算每一个训练样本所对应的系数β_i-β_i ^*，i＝1，...，l，在这l个系数中找到大于该常数θ的项为β_j-β_j ^*，j＝1，...，Nz，则这些项所对应训练样本被称为约减向量z_j，j＝1，...，Nz，这些约减向量对应的系数定义为 ${\mathrm{\γ}}_j={\mathrm{\β}}_j-{\mathrm{\β}}_j^{*},$ j＝1，...，Nz，得到约减向量集{z_j，γ_j}，j＝1，...，Nz，其中Nz为约减向量个数；

(4)对测试图像进行行拉伸的预处理，将行拉伸后的图像数据作为测试样本x∈Rⁿ，其中n为测试样本维数，并且对这个测试样本x进行标识，当该输入测试图像为人脸时，y＝+1，否则y＝-1，得到测试样本集x∈Rⁿ，y∈{+1，-1}，将该测试样本输入到计算机中进行步骤(5)；

(5)用步骤(3)中得到的约减向量集{z_j，γ_j}，j＝1，...，Nz对测试样本x进行鉴别，计算函数值 $f\left(x\right)=\underset{j=1}{\overset{\mathrm{Nz}}{\mathrm{\Σ}}}{\mathrm{\γ}}_{j}k(x,z_j)+b,$ 其中b为支持向量机训练得到的偏置，k为人工设定的核函数；如果函数值f(x)＞0，则测试样本x是+1类样本，该测试图像为人脸；否则x是-1类样本，该测试图像为非人脸样本；如果得到的分类结果+1类或者-1类与步骤(4)中的标识y相同，则说明鉴别结果正确；否则鉴别结果错误。

本发明与其他技术相比具有以下优点：

1、本发明考虑到支持向量机鉴别过程中的支持向量存在冗余，将基于支持向量机求解出的约减向量集替代原有支持向量集，用于鉴别测试样本，提高了鉴别速率。

2、本发明在原有基于支持向量机求解约减向量的思想上，巧妙地提出一种有约束目标函数，并且可以通过调整参数C来控制约减向量的个数。

3、本发明将原有训练支持向量机的序列最小优化方法引进到求解已提出的约束目标函数上，并且用KKT条件作为终止条件判断。

4、本发明在求解约减向量集的过程中，当前工作集中元素个数固定，从而需要调节参数相对较少，降低了复杂度。

附图说明

图1是本发明人脸检测方法的流程框图。

具体实施方式

参照图1，本发明包括训练过程和鉴别过程两部分，其中训练过程包括训练样本集获取、支持向量机训练和约减向量求解；鉴别过程包括测试样本集获取和鉴别结果输出。具体实现如下：

步骤1：将原始图像进行预处理。

输入一套20×20的MIT图像，其中包括人脸图像和非人脸图像片段，将每一副图像行拉伸为一个1×400的向量，得到样本集：{(x_i，y_i)|x_i∈R⁴⁰⁰，y_i∈{+1，-1}，i＝1，…，7087}，其中，输入样本个数为7087，样本维数为400，第i个样本的标识为y_i，使+1类表示人脸样本，-1类表示非人脸；将样本随机排序，采用10倍交叉验证方法进行训练和鉴别，用于训练的样本个数为6378，得到10组训练样本集{(x_i，y_i)|x_i∈R⁴⁰⁰，y_i∈{+1，-1}，i＝1，…，6378}，用于鉴别的样本个数为709，得到10组测试样本{x_i∈R⁴⁰⁰，i＝1，…，709}和10组测试样本集{(x_i，y_i)|x_i∈R⁴⁰⁰，y_i∈{+1，-1}，i＝1，…，709}。

步骤2：支持向量机训练。

将1组训练样本集{(x_i，y_i)|x_i∈R⁴⁰⁰，y_i∈{+1，-1}，i＝1，…，7087}输入到支持向量机进行训练，得到最优的偏置b∈R、支持向量系数α_i∈R和支持向量s_i∈R⁴⁰⁰，i＝1，...Nx，得到支持向量集{s_i，α_i}，i＝1，...，Nx，其中Nx为支持向量个数。

步骤3：根据训练支持向量机得到的支持向量集{s_i，α_i}，i＝1，...，Nx，求解约减向量集{z_j，γ_j}，j＝1，...，Nz。

(3a)设定求解约减向量的有约束目标函数；

$F_a=\frac{1}{2}\left|\right|\underset{i=1}{\overset{6378}{\mathrm{\Σ}}}({\mathrm{\β}}_i-{\mathrm{\β}}_i^{*})\mathrm{\φ}\left(x_i\right)-\underset{i=1}{\overset{\mathrm{Nx}}{\mathrm{\Σ}}}{\mathrm{\α}}_i\mathrm{\φ}\left(s_i\right)\left|\right|+C\underset{i=1}{\overset{6378}{\mathrm{\Σ}}}({\mathrm{\β}}_i+{\mathrm{\β}}_i^{*})---\left(a\right)$

st.β_i≥0， ${\mathrm{\β}}_i^{*}\≥0,$ i＝1，...，6378

式中，β_i-β_i ^*，i＝1，...，6378表示第i个训练样本x_i对应的系数，φ为将训练样本从n维实空间映射到高维特征空间F的映射函数，C为惩罚因子，通过调节C的大小，控制约减向量的个数；

(3b)用矩阵表示约束目标函数(a)；

$F_b=\frac{1}{2}{\mathrm{\μ}}^T{H}_b\mathrm{\μ}+c^T\mathrm{\μ}+\frac{1}{2}{\mathrm{\α}}^T\mathrm{H\α}---\left(b\right)$

st.μ_i≥0，i＝1，...2×6378

式中， $\mathrm{\μ}=\left[\begin{array}{c}{\mathrm{\β}}_i\\ {\mathrm{\β}}_i^{*}\end{array}\right],$ i＝1，...，l，

$H_b=\left[\begin{array}{cc}{H}_x& -H_x\\ -H_x& H_x\end{array}\right],$

$c=\left[\begin{array}{c}-{\mathrm{\α}}^T{H}_{\mathrm{xs}}+C\\ {\mathrm{\α}}^T{H}_{\mathrm{xs}}+C\end{array}\right],$

H＝k(s_i，s_j)，i，j＝1，...，Nx，

H_x＝k(x_i，x_j)，i，j＝1，...，l，

H_xs＝k(x_i，s_j)，i＝1，...，l，j＝1，...，Nx，k为人工设定的核函数，符号T表示转置。

(3c)求约束目标函数矩阵形式(b)的Lagrange对偶函数；

$F_c=\frac{1}{2}{\mathrm{\μ}}^T{H}_b\mathrm{\μ}+c^T\mathrm{\μ}+\frac{1}{2}{\mathrm{\α}}^T\mathrm{H\α}-{\mathrm{\ω}}^T\mathrm{\μ}---\left(c\right)$

st.μ_i≥0，ω_i≥0，i＝1，...，2×6378

式中ω为Lagrange乘子；

(3d)由约束目标函数矩阵形式(b)和其Lagrange对偶函数(c)中的目标函数得到最优解满足的Karush-Kuhn-Tucker(KKT)条件；

d-ω＝0

ω_i≥0                                            (d)

μ_i≥0

μ_iω_i＝0，i＝1，...，6378

式中d＝H_bμ+c，为约束目标函数矩阵形式(b)的梯度，d＝ω；

将式(d)分解为两个条件：如果μ_i＝0，则要求d_i≥0；如果μ_i＞0，则要求μ_i＝0；

(3e)以KKT条件作为求解约减向量的终止条件判断，判断当前所有样本是否满足KKT条件，若有违反KKT条件的样本，继续步骤(3f)，否则跳至步骤(3g)；

(3f)设定当前工作集中有且仅有一个元素，选用违反KKT条件最大者作为该元素，是将所求变量μ中的元素分为工作集和非工作集，在违反KKT条件(d)的元素中，找到这些元素中梯度的绝对值最大者作为当前工作集中需要更新的元素，然后按照约束目标函数(a)的矩阵表示式(b)计算该元素的最优解。

(3g)设定一个正常数θ，通过调节该常数控制约减向量的个数Nz，计算每一个训练样本所对应的系数β_i-β_i ^*，i＝1，...，6378，在这6378个系数中找到大于该常数θ的项为β_j-β_j ^*，j＝1，...，Nz，则这些项所对应训练样本被称为约减向量z_j，j＝1，...，Nz，这些约减向量对应的系数定义为 ${\mathrm{\γ}}_j={\mathrm{\β}}_j-{\mathrm{\β}}_j^{*},$ j＝1，...，Nz，得到约减向量集{z_j，γ_j}，j＝1，...，Nz，其中Nz为约减向量个数。

步骤4：鉴别结果输出。

将1组测试样本集{(x_i，y_i)|x_i∈R⁴⁰⁰，y_i∈{+1，-1}，i＝1，…，709}输入到计算机中进行鉴别，是用步骤3中得到的约减向量集{z_j，γ_j}，j＝1，...，Nz对该测试样本{x_i∈R⁴⁰⁰，i＝1，…，709}进行鉴别，计算函数值 $f\left(x_i\right)=\underset{j=1}{\overset{\mathrm{Nz}}{\mathrm{\Σ}}}{\mathrm{\γ}}_{j}k(x_i,z_j)+b,$ i＝1，…，709，其中b为支持向量机训练得到的偏置，k为人工设定的核函数；如果函数值f(x_i)＞0，则测试样本x_i是+1类样本，该测试图像为人脸；否则x_i是-1类样本，该测试图像为非人脸样本；如果得到的分类结果+1类或者-1类与该组测试样本集{(x_i，y_i)|x_i∈R⁴⁰⁰，y_i∈{+1，-1}，i＝1，…，709}中与该测试样本x_i所对应的标识y相同，则说明鉴别结果正确；否则鉴别结果错误。

步骤5：计算正确鉴别率。

用符号m表示步骤5中鉴别正确的测试样本个数总和，符号δ表示正确鉴别率，统计步骤5中鉴别正确的测试样本个数，则δ为：δ＝m/709。

上述整个基于序列简化支持向量的人脸检测方法中的各个过程均通过计算机程序实现其功能，完成对人脸图像的检测。

本发明的效果通过以下仿真进一步说明：

1、仿真条件与内容

对MIT数据集按照上述具体实施过程获取训练-鉴别样本集的方式进行仿真，总样本个数为7087，采用十倍交叉验证方法，生成10组的训练-鉴别样本集，分别计算出基于序列简化支持向量的人脸检测方法和基于支持向量机的人脸检测方法的平均鉴别率。两种方法的仿真是在相同的实验环境下进行的，都采用径向机核函数。

2、仿真结果

仿真1：重复上述训练-鉴别过程10次，记录下每次仿真得到的结果，并计算其平均结果，如表1所示。

表1.对MIT数据集采用径向机核函数的10倍交叉验证平均结果显示

参数C	约减向量个数(个)	正确鉴别率(％)	鉴别时间(秒)
				0.7	211	96.9	6.1
0.8	176	96.8	5.09
				0.9	151	96.5	4.27
1	135	96.4	3.78
				1.1	119	96.3	3.44
1.2	106	96.1	3.03
				1.3	94	95.8	2.73
1.4	83	95.6	2.42
				1.5	74	95.5	2.12
1.6	63	95.2	1.74
				1.7	56	95	1.64
1.8	52	94.8	1.46
				1.9	49	94.5	1.31
2	44	94	1.2
				2.1	42	93.6	1.14
2.2	40	93.3	1.08
				2.3	39	92.6	1.05
2.4	36	91.8	1
				2.5	34	91.1	0.9
2.6	31	90	0.8
				2.7	29	88.7	0.79

从表1可见，本发明基于序列简化支持向量的人脸检测方法随着参数C的增大，求解约减向量过程输出的约减向量个数减小，鉴别结果输出过程输出的正确鉴别率降低和鉴别时间快速下降。

仿真2：为了使本发明与同等条件下其他方法具有优越性，在此仿真中，引入了一种基于支持向量机的人脸检测方法，该方法与本发明的不同之处在于：该方法使用支持向量机训练得到的支持向量进行鉴别测试样本。在下述的仿真结果中，基于支持向量机的人脸检测方法与基于序列简化支持向量的人脸检测方法的仿真条件完全一致。

在重复上述训练和分类过程10次中，记录下每次基于支持向量机的人脸检测方法仿真得到的结果，并计算其平均结果。仿真得到支持向量机训练得到的支持向量个数为824，鉴别结果输出过程得到的正确鉴别率为97.9％和鉴别时间为8.13s。

从仿真1和仿真2的结果可以看出，本发明基于序列简化支持向量的人脸检测方法有明显优点。首先，它的约减向量个数远远小于支持向量的个数；其次，它的鉴别速率得到大幅度提高；最后，它的正确鉴别率并没有低于预想效果。总之，经过仿真证明，本发明的基于序列简化支持向量的人脸检测方法具有显而易见的优点。

Claims (5)

1、基于序列简化支持向量的人脸检测方法，包括如下步骤：

(1)对原始训练图像进行行拉伸的预处理，将行拉伸后的图像数据作为训练样本x_i∈Rⁿ，i＝1，...，l，其中n为训练样本维数，l为训练样本总个数，并且对每一个训练样本进行标识，使+1类表示人脸样本，-1类表示非人脸样本，得到训练样本集x_i∈Rⁿ，y_i∈{+1，-1}，i＝1，...l，将该训练样本集输入到计算机中进行步骤(2)；

(2)用训练样本集在计算机中训练支持向量机，得到最优的偏置b∈R、支持向量系数α_i∈R和支持向量s_i∈Rⁿ，i＝1，...，Nx，其中Nx为支持向量个数；

(3)利用序列优化约减向量方法对支持向量系数α_i∈R，和支持向量s_i∈Rⁿ，i＝1，...，Nx进行约减，具体步骤如下：

3a)设定求解约减向量的有约束目标函数：

$F_C=\frac{1}{2}\left|\right|\underset{i=1}{\overset{l}{\mathrm{\Σ}}}({\mathrm{\β}}_i-{\mathrm{\β}}_i^{*})\mathrm{\φ}\left(x_i\right)-\underset{i=1}{\overset{\mathrm{Nx}}{\mathrm{\Σ}}}{\mathrm{\α}}_i\mathrm{\φ}\left(s_i\right)\left|\right|+C\underset{i=1}{\overset{l}{\mathrm{\Σ}}}({\mathrm{\β}}_i+{\mathrm{\β}}_i^{*})---\left(1A\right)$

st.β_i≥0， ${\mathrm{\β}}_i^{*}\≥0,$ i＝1，...，l

式中， ${\mathrm{\β}}_i-{\mathrm{\β}}_i^{*},i=1,...,l$ 表示第i个训练样本x_i对应的系数，φ为将训练样本从n维实空间映射到高维特征空间F的映射函数，C为惩罚因子，通过调节C的大小，控制约减向量的个数；

3b)求取约束目标函数的Lagrange对偶函数；

3c)由约束目标函数和Lagrange对偶函数得到最优解满足的Karush-Kuhn-Tucker(KKT)条件；

3d)以KKT条件作为求解约减向量的终止条件判断，判断当前所有样本是否满足KKT条件，若有违反KKT条件的样本，继续步骤(3e)，否则跳至步骤(3f)；

3e)设定当前工作集中有且仅有一个元素，并且选用违反KKT条件最大者作为该元素，计算该元素的最优解；

3f)设定一个正常数θ，通过调节该常数控制约减向量的个数Nz，计算每一个训练样本所对应的系数 ${\mathrm{\β}}_i-{\mathrm{\β}}_i^{*},i=1,...,l,$ 在这l个系数中找到大于该常数θ的项为 ${\mathrm{\β}}_j-{\mathrm{\β}}_j^{*},j=1,...,\mathrm{Nz},$ 则这些项所对应训练样本被称为约减向量z_j，j＝1，...，Nz，这些约减向量对应的系数定义为 ${\mathrm{\γ}}_j={\mathrm{\β}}_j-{\mathrm{\β}}_j^{*},j=1,...,\mathrm{Nz},$ 得到约减向量集{z_j，γ_j}，j＝1，...，Nz，其中Nz为约减向量个数；

(4)对测试图像进行行拉伸的预处理，将行拉伸后的图像数据作为测试样本x∈Rⁿ，其中n为测试样本维数，并且对这个测试样本x进行标识，当该输入测试图像为人脸时，y＝+1，否则y＝-1，得到测试样本集x∈Rⁿ，y∈{+1，-1}，将该测试样本输入到计算机中进行步骤(5)；

(5)用步骤(3)中得到的约减向量集{z_j，γ_j}，j＝1，...，Nz对测试样本x进行鉴别，计算函数值 $f\left(x\right)=\underset{j=1}{\overset{\mathrm{Nz}}{\mathrm{\Σ}}}{\mathrm{\γ}}_{j}k(x,z_j)+b,$ 其中b为支持向量机训练得到的偏置，k为人工设定的核函数；如果函数值f(x)＞0，则测试样本x是+1类样本，该测试图像为人脸；否则x是-1类样本，该测试图像为非人脸样本；如果得到的分类结果+1类或者-1类与步骤(4)中的标识y相同，则说明鉴别结果正确；否则鉴别结果错误。

2、根据权利要求1所述的人脸检测方法，其中步骤(3a)中的约束目标函数(1A)，用矩阵表示如下：

$F_M=\frac{1}{2}{\mathrm{\μ}}^T{H}_b\mathrm{\μ}+c^T\mathrm{\μ}+\frac{1}{2}{\mathrm{\α}}^T\mathrm{H\α}---\left(2A\right)$

st.μ_i≥0，i＝1，...，2l

式中， $\mathrm{\μ}=\left[\begin{array}{c}{\mathrm{\β}}_i\\ {\mathrm{\β}}_i^{*}\end{array}\right],i=1,...,l,$

$H_b=\left[\begin{array}{cc}{H}_x& {-H}_x\\ -H_x& H_x\end{array}\right],$

$c=\left[\begin{array}{c}-{\mathrm{\α}}^T{H}_{\mathrm{xs}}+C\\ {\mathrm{\α}}^T{H}_{\mathrm{xs}}+C\end{array}\right],$

H＝k(s_i，s_j)，i，j＝1，...，Nx，

H_x＝k(x_i，x_j)，i，j＝1，...，l，

H_xs＝k(x_i，s_j)，i＝1，...，l，j＝1，...，Nx，k为人工设定的核函数，符号T表示转置。

3、根据权利要求1所述的人脸检测方法，其中步骤(3b)中的Lagrange对偶函数，用矩阵表示如下：

$F_M=\frac{1}{2}{\mathrm{\μ}}^T{H}_b\mathrm{\μ}+c^T\mathrm{\μ}+\frac{1}{2}{\mathrm{\α}}^T\mathrm{H\α}-{\mathrm{\ω}}^T\mathrm{\μ}---\left(3A\right)$

st.μ_i≥0，ω_i≥0，i＝1，...，2l

式中ω为Lagrange乘子。

4、根据权利要求1所述的人脸检测方法，其中步骤(3c)中的KKT条件为：

d-ω＝0

ω_i≥0    (4A)

μ_i≥0

μ_iω_i＝0，i＝1，...，l

式中d＝H_bμ+c，为目标函数(2A)的梯度，d＝ω；

将式(4A)分解为两个条件：如果μ_i＝0，则要求d_i≥0；如果μ_i＞0，则要求μ_i＝0。

5、根据权利要求1所述的人脸检测方法，其中步骤(3e)所述的选用违反KKT条件最大者作为该元素，是将所求变量μ中的元素分为工作集和非工作集，并且设定当前工作集中元素个数为一个，在违反步骤(3c)所述的KKT条件的元素中，找到这些元素中梯度的绝对值最大者作为当前工作集中需要更新的元素，然后按照权利要求2中约束目标函数(1A)的矩阵表示式(2A)计算该元素的最优解。

Images