CN102914270A - 基于支持向量机回归的晶体直径测量方法 - Google Patents

Abstract

本发明公开了一种基于支持向量机回归的晶体直径测量方法，首先采用CCD照相机采集单晶硅生长过程中的孔径图像，对该孔径图像进行预处理得到用于估计的采样点；然后，针对椭圆的标准模型推导出来一个用于支持向量机回归的模型，利用ε-SVR模型解出模型中的权值w及偏移量b，从而确定出椭圆拟合的参数。本发明的方法，能准确的估计晶体生长中的直径变化，使生长中的晶体直径得到很好的控制，又能在很少样本点的情况下进行很好的直径拟合，在解决高维数据时发挥了很大的优势，这是其他方法所不能达到的。

Description

基于支持向量机回归的晶体直径测量方法

技术领域

本发明属于测量技术领域，涉及一种基于支持向量机回归的晶体直径测量方法。

背景技术

在单晶硅生长的直径控制系统中，晶体直径的检测是保证单晶硅能够等径生长的关键步骤，拉单晶的过程始终保持在高温负压的环境中，直径检测必须隔着观察窗在拉晶炉体外部非接触式实现，拉晶过程中固态晶体与液态溶液的交接处会形成一个明亮的光环，亮度很高，称之为光圈，它其实是固液交接面处的弯月面对坩埚壁亮光的反射，当结晶加速造成的晶体直径变大时，光圈直径变大，此时可以通过增大拉速以及提高温度避免。反之，当结晶变慢晶体直径变小时光圈变小，则可以通过减小拉速和降温阻止晶体直径变小。在结晶的过程中，光圈直径的变化与生长中晶体的直径是一致的，因此光圈的直径可用作控制变量来调节拉速和控温以便最终生成的晶体接近完美的圆柱形。所以，当前光圈孔径的直径测量在单晶硅生长控制系统中起着至关重要的作用，因此，检测孔径的变化趋势也等价于检测到了晶体直径的变化趋势，这样晶体的直径估计问题就可以转化为椭圆拟合的问题。

对于晶体直径控制的先进、可靠的方法是非常重要的，它关系到能否及早发现问题，以降低不必要的损失。拟合问题可以描述为：给定一系列平面上的点，寻找拟合这些点的最佳椭圆。椭圆拟合算法通常可以分为2类：基于聚类的技术（如运算量较大的霍夫变换以及最小二乘方法，其中最小二乘方法通过最小化误差获得椭圆参数。最小二乘方法又可以分为两类：第一类为基于数据点和估计椭圆之间正交距离的几何方法，其通过迭代过程解决非线性优化问题获得椭圆参数；第二类为代数方法，其由于线性计算简单而使用较广。代数方法的最新进展为直接最小二乘方法，其主要贡献为施加了新的限制保证其结果为一椭圆并保持计算有效性。最近，Barwick提出一种基于平行弦2次多项式的非间接几何方法，但该方法必须首先获得平行弦进而才可以执行，一旦无法获取平行弦，该方法就失效。

因此，上述的检测方法都存在一定的局限性和不可靠性，并且有的方法样本点采集要求高、计算复杂，精确性达不到技术上的要求。

发明内容

本发明的目的是提供一种基于支持向量机回归的晶体直径测量方法，解决了现有技术中的检测方法都存在一定的局限性和不可靠性，并且有的方法样本点采集要求高、计算复杂，精确性达不到技术上的要求问题。

本发明所采用的技术方案是，一种基于支持向量机回归的晶体直径测量方法，首先采用CCD照相机采集单晶硅生长过程中的孔径图像，对该孔径图像进行预处理得到用于估计的采样点；然后，针对椭圆的标准模型推导出来一个用于支持向量机回归的ε-SVR模型，利用ε-SVR模型解出模型中的权值w及偏移量b，从而确定出椭圆拟合的参数。

本发明的有益效果是，能准确的估计晶体生长中的直径变化，使生长中的晶体直径得到很好的控制，又能在很少样本点的情况下进行很好的直径拟合，在解决高维数据时发挥了很大的优势，这是其他方法所不能达到的。

附图说明

图1是本发明方法用于孔径图像提取的CCD照相机安装位置图；

图2是本发明方法利用CCD照相机获得的孔径图像示意图；

图3是本发明方法采用ε-SVR方法得到的内外椭圆拟合结果图；

图4是本发明方法采用ε-SVR方法得到的实际拟合效果图。

具体实施方式

支持向量机回归(Support Vector machines for Regression，简称SVR)。支持向量机(Support Vector Machine)是根据统计学理论中的最小化原则提出来的，由有限数据得到判别函数，对独立的测试样本能够得到较小的误差。

本发明基于支持向量机回归的晶体直径测量方法是，首先采用CCD照相机采集单晶硅生长过程中的孔径图像，对该孔径图像进行预处理得到用于估计的采样点；然后，针对椭圆的标准模型推导出来一个用于支持向量机回归的模型，利用ε-SVR模型解出模型中的权值w及偏移量b，从而确定出椭圆拟合的参数。在整个的拟合参数的估计过程中，关于ε-SVR椭圆估计模型的构建很重要，为了避免过拟合情况下出现无意义解，本发明方法通过对估计模型进行巧妙的转化，在此过程中，关于模型中惩罚因子C和不敏感损失系数ε的选取很重要，C值选取过小，训练误差变大，系统的泛化能力变差，C值选取过大，也会导致系统的泛化能力变差；不敏感系数ε值选取的过小，回归估计精度高，但支持向量数增多，ε值选取的过大，回归估计精度降低，但支持向量数减小。

本发明方法中利用的SVR的椭圆拟合方式，其目的是构造一个回归估计函数，首先，需要推导出一个用于拟合的支持向量回归模型，从而可以定义椭圆的未知参数，该方法最终可以转化为一个凸二规划问题，从理论上说，得到了全局的最优解，此最优解能够准确的估计晶体生长的直径；而且该方法具有稀疏性，用于未知参数的求解只决定于少数的那些称之为“支持向量”的样本，从而减少了训练的计算量，加快了速度，具有良好的推广能力。

如图1所示，在单晶硅生长的直径控制系统中，孔径直径不可能在单晶炉中的高温环境中进行检测，但可以从单晶炉视窗外通过CCD照相机拍摄的图像中检测，由于CCD照相机的基座和固液交界面孔径都是水平的，且照相机不在孔径的正上方，因此图像中孔径是一个顺时针旋转角度为0的虚拟椭圆而并非是圆，在笛卡尔坐标下，椭圆中心为(h,k)，顺时针旋转角度为θ，长短轴为(a,b)，该椭圆方程描述见式（1）：

$\frac{{((x-h)\cos \mathrm{\θ}+(y-k)\sin \mathrm{\θ})}^2}{a^2}+\frac{{(-(x-h)\sin \mathrm{\θ}+(y-k)\cos \mathrm{\θ})}^2}{b^2}=1,---\left(1\right)$

因此，该虚拟椭圆（在本发明以下描述中简称内椭圆或外椭圆）的模型简化为如下函数形式：

$\frac{{(x-h)}^2}{a^2}+\frac{{(y-k)}^2}{b^2}=1,---\left(2\right)$

式(2)再转化成如下形式：

$\frac{{(x-h)}^2}{a^2}+\frac{{(y-k)}^2}{b^2}=1$

$\⇒\frac{1}{a^2}(x^2-2\mathrm{xh})+\frac{1}{b^2}(y^2-2\mathrm{yk})=1-\frac{h^2}{a^2}-\frac{k^2}{b^2}---\left(3\right)$

$\⇒\left(2x\right)h+(-y^2)\frac{a^2}{b^2}+\left(2y\right)\frac{a^{2}k}{b^2}+(a^2-h^2-\frac{a^2}{b^2}{k}^2)=x^2---\left(4\right)$

$\⇒\left(2x\right)w_1+(-y^2)w_2+\left(2y\right)w_3+b=y---\left(5\right)$

$\⇒\left[\begin{array}{ccc}2x& -y^2& 2y\end{array}\right]\left[\begin{array}{c}{w}_1\\ w_2\\ w_3\end{array}\right]+b=y---\left(6\right)$

$\⇒w^{T}x+b=y,---\left(7\right)$

其中， $b=a^2-h^2-\frac{a^2}{b^2}{k}^2,$ y＝x²，

因为式(3)是一个恒等式，即所有的点都适合这个等式，用这样的模型进行椭圆拟合则会出现过拟合现象，所以需要对式(3)进行变形推导出式(4)；

由式(7)看出x和y是已知的，只要求出w和b，椭圆的参数就能够从下式(8)中得到：

$\left\{\begin{array}{c}a=\sqrt{b+w_1^2+\frac{w_3^2}{w_2}}\\ b=\sqrt{\frac{b+w_1^2+\frac{w_3^2}{w_2}}{w_2}}\\ h=w_1\\ k=\frac{w_3}{w_2}\end{array}\right.,---\left(8\right)$

上述的式(3)-式(7)阐述的是一个函数逼近问题，式(7)就是本发明方法构造出来的支持向量机回归模型，把它看做是一个函数逼近问题采用ε-SVR(即不敏感损失函数的支持向量机回归)方式进行求解，

支持向量机回归的目的是能够找到能够准确预测样本分布的平面，它所描述的问题为，假设给定训练样本{(x_i,y_i),i＝1,2,…n}，其中的x_i为训练样本，y_i为所对应的回归值，令f(x)＝w·x+b，w∈R^d,b∈R，

如果对每个样本x_i而言，f(x_i)和y_i的差值都很小，就说明该f(x_i)能够准确的从x中预测y，此时的w就是要找的平面，SVR的数学表达式为：

$\min \mathrm{imize}\frac{1}{2}{\left|\right|w\left|\right|}^2,$

subject to‖y_i-(w·x-b)‖≤ε，(9)

其中ε≥0，用来表示SVR的预测值与实际值的最大差距，在ε合理的情况下，从式(9)中能够求出解，这种情况是可行的；

然而在大多数应用中，由于一些误差等各种因素，通常使求出的解不可行，因此通常增加一些松弛变量，以容许某些样本点落在e带之外，因此优化问题改写成以下形式：

$\min \mathrm{imize}\frac{1}{2}{\left|\right|w\left|\right|}^2+C\underset{i=1}{\overset{l}{\mathrm{\Σ}}}({\mathrm{\ξ}}_i+{\mathrm{\ξ}}_i^{*})$

$\mathrm{subject\; to}\left\{\begin{array}{c}{y}_i-w\·x_i-b\≤\mathrm{\ϵ}+{\mathrm{\ξ}}_i\\ w\·x+b-y_i\≤\mathrm{\ϵ}+{\mathrm{\ξ}}_i^{*}\\ {\mathrm{\ξ}}_i,{\mathrm{\ξ}}_i^{*}\≥0\end{array}\right.,---\left(10\right)$

在式(10)中，每个样本都有与其对应的松弛变量ξ和ξ^*，用来决定该样本是否落在了ε的范围之外，而C是惩罚因子，用于调整模型以避免过拟合或欠拟合现象的发生，利用拉格朗日乘子法来解决这个约束优化问题，因此，构造如下的拉格朗日函数：

$L=\frac{1}{2}{\left|\right|w\left|\right|}^2+C\underset{i=1}{\overset{l}{\mathrm{\Σ}}}({\mathrm{\ξ}}_i+{\mathrm{\ξ}}_i^{*})-\underset{i=1}{\overset{l}{\mathrm{\Σ}}}({\mathrm{\γ}}_i{\mathrm{\ξ}}_i+{\mathrm{\γ}}_i^{*}{\mathrm{\ξ}}_i^{*})-\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{\mathrm{\α}}_i(\mathrm{\ϵ}+{\mathrm{\ξ}}_i-y_i+w\·x_i+b),---\left(11\right)$

$-\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{\mathrm{\α}}_i^{*}(\mathrm{\ϵ}+{\mathrm{\ξ}}_i^{*}-y_i+w\·x_i+b)$

利用最优化理论，将L分别对w、b、ξ_i、求偏微分，并令得到的等式分别为0，得到下式：

$\left\{\begin{array}{c}w=\underset{i=1}{\overset{l}{\mathrm{\Σ}}}({\mathrm{\α}}_i-{\mathrm{\α}}_i^{*})x_i\\ \underset{i=1}{\overset{l}{\mathrm{\Σ}}}({\mathrm{\α}}_i-{\mathrm{\α}}_i^{*})=0\\ C-{\mathrm{\α}}_i-{\mathrm{\γ}}_i=0\\ C-{\mathrm{\α}}_i^{*}-{\mathrm{\γ}}_i^{*}=0\end{array}\right.,---\left(12\right)$

将式(12)带入到式(11)得到下面的对偶优化问题：

$\left\{\begin{array}{c}\mathrm{Max}[-\frac{1}{2}\underset{i=1}{\overset{l}{\mathrm{\Σ}}}\underset{i=1}{\overset{l}{\mathrm{\Σ}}}({\mathrm{\α}}_i-{\mathrm{\α}}_i^{*})({\mathrm{\α}}_j-{\mathrm{\α}}_j^{*})x_i\·x_j-\mathrm{\ϵ}\underset{i=1}{\overset{l}{\mathrm{\Σ}}}({\mathrm{\α}}_i-{\mathrm{\α}}_i^{*})+\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{y}_i({\mathrm{\α}}_i-{\mathrm{\α}}_i^{*})]\\ s.t.\underset{i=1}{\overset{l}{\mathrm{\Σ}}}({\mathrm{\α}}_i-{\mathrm{\α}}_i^{*})=0\\ 0\≤{\mathrm{\α}}_i\≤C\\ 0\≤{\mathrm{\α}}_i^{*}\≤C\end{array}\right.---\left(13\right)$

支持向量(SV)就是使得

的部分参数，通过学习训练得到的最优解为 $w=\underset{i=1}{\overset{l}{\mathrm{\Σ}}}({\mathrm{\α}}_i-{\mathrm{\α}}_i^{*})x_i,$ 回归估计函数为 $f\left(x\right)=\underset{x_i\∈\mathrm{SV}}{\mathrm{\Σ}}({\mathrm{\α}}_i^{*}-{\mathrm{\α}}_i)x_i\·x+b,$ 为避免个别支持向量带来的偏差，在本发明方法中，针对每个支持向量求出对应的偏移量，然后对这些偏移量进行累加，最后再取均值作为偏移量b的最优解，b由下式（14）解出：

$b=\frac{1}{N_{\mathrm{SV}}}\left[\underset{0<{\mathrm{\&alpha;}}_i^{*}<C}{\mathrm{\&Sigma;}}\right[y_i-\underset{x_i\&Element;\mathrm{SV}}{\mathrm{\&Sigma;}}({\mathrm{\&alpha;}}_j^{*}-{\mathrm{\&alpha;}}_j)x_j\&CenterDot;x_i-\mathrm{\&epsiv;}]+\underset{0<{\mathrm{\&alpha;}}_i<C}{\mathrm{\&Sigma;}}[y_i-\underset{x_i\&Element;\mathrm{SV}}{\mathrm{\&Sigma;}}({\mathrm{\&alpha;}}_j^{*}-{\mathrm{\&alpha;}}_j)x_j\&CenterDot;x_i+\mathrm{\&epsiv;}\left]\right],---\left(14\right)$

其中N_SV为标准的支持向量数，通过学习训练得到回归估计函数为：f(x_i)＝w^Tx_i+b，这样用ε-SVR模型解出了w和b，也就能够通过式(8)解出椭圆的参数，从而得到单晶硅生长的直径控制参数数据。

实施例

步骤1：用CCD照相机采集晶体生长的孔径图像，如图2所示，并用图像分割和边缘提取方法对图像进行预处理，用逐行扫描法对孔径的内外圆样本点进行采样，得到用于训练的样本数据；

步骤2：针对这些采样点用推导出来的SVR的对偶优化模型(式(13))进行训练；并用二阶锥规划(Second Order Cone Programming，SOCP)优化工具求取最优解。SeDuMi是Strum开发的用于处理对称锥优化问题的MATLAB工具箱，能够用来求解二阶锥和线性约束下的凸优化问题，在SeDuMi中，标准的优化问题形式定义为：

$\underset{z}{\max }{p}^{T}z---\left(15\right)$

$\mathrm{Subject\; to}{r}_j-q_j^{T}z\&Element;{\mathrm{SOC}}^{g_j\&times;l}$ j=1,2,…J

其中的p和r_j是任意的向量，q_j是任意的矩阵，z中包含有期望优化的变量，J是二阶锥约束的个数，g_j维的约束定义为：

${\mathrm{SOC}}^{g_j\&times;l}=\left\{\right|\left|\mathrm{\&epsiv;}\right||\&le;\widetilde{\mathrm{\&epsiv;}}\}---\left(16\right)$

在这里是g_j维向量

中的第一个元素，ε是g_j-1维的向量，包含了

中的其他元素，根据式(13)并引入变量η：

$\min \mathrm{imize}\frac{1}{2}\mathrm{\&eta;}-(y-\mathrm{\&epsiv;}){\mathrm{\&alpha;}}^{*}-(-y-\mathrm{\&epsiv;})\mathrm{\&alpha;}$

subject to(α^*-α)^T1=0；    (17)

${\left|\right|K^T({\mathrm{\&alpha;}}^{*}-\mathrm{\&alpha;})\left|\right|}_2^2<\mathrm{\&eta;}$

0＜α_i,α^*＜C,i＝1,…l;

其中的K＝X^T，X是l×m维的样本矩阵，定义：

r₂＝[0  0]^T，

$r_{2+i}={\left[\begin{array}{cc}\frac{C}{2}& -\frac{C}{2}\end{array}\right]}^T,$ i＝1,2,…,l，

$r_{2+l+i}={\left[\begin{array}{cc}\frac{C}{2}& -\frac{C}{2}\end{array}\right]}^T,$ i＝1,2,…,l，

将式(17)转换成如式(15)的标准的SOCP形式，利用SOCP优化工具包得到很好的解决，

如果解出来SVR的最优解为w＝(α^*-α)^TX，

然后通过式(14)计算出偏移量b，在w和b都计算出来的情况下，椭圆参数则通过式(8)计算出来，椭圆拟合的参数参照表1所示，

表1用ε-SVR方法得到的椭圆参数估计结果

椭圆参数	外椭圆拟合结果	内椭圆拟合结果
			a	446.2320	436.9895
b	465.9139	455.5629
			h	461.0870	440.8918
k	559.8100	563.0313

外椭圆和内椭圆拟合结果见图3，拟合效果见图4（灰色虚线显示了拟合效果）所示。

Claims (4)

1.一种基于支持向量机回归的晶体直径测量方法，其特征在于：首先采用CCD照相机采集单晶硅生长过程中的孔径图像，对该孔径图像进行预处理得到用于估计的采样点；然后，针对椭圆的标准模型推导出来一个用于支持向量机回归的ε-SVR模型，利用ε-SVR模型解出模型中的权值w及偏移量b，从而确定出椭圆拟合的参数。

2.根据权利要求1所述的基于支持向量机回归的晶体直径测量方法，其特征在于：所述的预处理采用图像分割和边缘提取方法，用逐行扫描法对孔径的内外圆样本点进行采样，得到用于训练的样本数据。

3.根据权利要求1或2所述的基于支持向量机回归的晶体直径测量方法，其特征在于，所述的ε-SVR模型的构建过程的具体步骤是：

CCD照相机采集单晶硅生长过程中的孔径图像，孔径是一个顺时针旋转角度为0的虚拟椭圆而并非是圆，在笛卡尔坐标下，椭圆中心为(h,k)，顺时针旋转角度为θ，长短轴为(a,b)，该椭圆方程描述见式（1）：

$\frac{{((x-h)\cos \mathrm{\&theta;}+(y-k)\sin \mathrm{\&theta;})}^2}{a^2}+\frac{{(-(x-h)\sin \mathrm{\&theta;}+(y-k)\cos \mathrm{\&theta;})}^2}{b^2}=1,---\left(1\right)$

因此，该虚拟椭圆的模型简化为如下函数形式：

$\frac{{(x-h)}^2}{a^2}+\frac{{(y-k)}^2}{b^2}=1,---\left(2\right)$

式(2)再转化成如下形式：

$\frac{{(x-h)}^2}{a^2}+\frac{{(y-k)}^2}{b^2}=1$

$\&DoubleRightArrow;\frac{1}{a^2}(x^2-2\mathrm{xh})+\frac{1}{b^2}(y^2-2\mathrm{yk})=1-\frac{h^2}{a^2}-\frac{k^2}{b^2}---\left(3\right)$

$\&DoubleRightArrow;\left(2x\right)h+(-y^2)\frac{a^2}{b^2}+\left(2y\right)\frac{a^{2}k}{b^2}+(a^2-h^2-\frac{a^2}{b^2}{k}^2)=x^2---\left(4\right)$

$\&DoubleRightArrow;\left(2x\right)w_1+(-y^2)w_2+\left(2y\right)w_3+b=y---\left(5\right)$

$\&DoubleRightArrow;\left[\begin{array}{ccc}2x& -y^2& 2y\end{array}\right]\left[\begin{array}{c}{w}_1\\ w_2\\ w_3\end{array}\right]+b=y---\left(6\right)$

$\&DoubleRightArrow;w^{T}x+b=y,---\left(7\right)$

其中， $b=a^2-h^2-\frac{a^2}{b^2}{k}^2,$ y＝x²， $w^T=\left[\begin{array}{ccc}h& \frac{a^2}{b^2}& \frac{a^{2}k}{b^2}\end{array}\right],$ x＝[2x -y² 2y]^T，

由式(7)看出x和y是已知的，只要求出w和b，椭圆的参数就能够从下式(8)中得到：

$\left\{\begin{array}{c}a=\sqrt{b+w_1^2+\frac{w_3^2}{w_2}}\\ b=\sqrt{\frac{b+w_1^2+\frac{w_3^2}{w_2}}{w_2}}\\ h=w_1\\ k=\frac{w_3}{w_2}\end{array}\right.,---\left(8\right)$

式(7)就是本发明方法构造出来的支持向量机回归模型，把它看做是一个函数逼近问题采用ε-SVR方式进行求解，

假设给定训练样本{(x_i,y_i),i＝1,2,…n}，其中的x_i为训练样本，y_i为所对应的回归值，令f(x)＝w·x+b，w∈R^d,b∈R，

如果对每个样本x_i而言，f(x_i)和y_i的差值都很小，就说明该f(x_i)能够准确的从x中预测y，此时的w就是要找的平面，SVR的数学表达式为：

$\min \mathrm{imize}\frac{1}{2}{\left|\right|w\left|\right|}^2,$

subject to‖y_i-(w·x-b)‖≤ε，(9)

其中ε≥0，用来表示SVR的预测值与实际值的最大差距，在ε合理的情况下，从式(9)中能够求出解，这种情况是可行的；然而在大多数应用中，由于一些误差等各种因素，通常使求出的解不可行，因此通常增加一些松弛变量，以容许某些样本点落在e带之外，因此优化问题改写成以下形式：

$\min \mathrm{imize}\frac{1}{2}{\left|\right|w\left|\right|}^2+C\underset{i=1}{\overset{l}{\mathrm{\&Sigma;}}}({\mathrm{\&xi;}}_i+{\mathrm{\&xi;}}_i^{*})$

$\mathrm{subject\; to}\left\{\begin{array}{c}{y}_i-w\&CenterDot;x_i-b\&le;\mathrm{\&epsiv;}+{\mathrm{\&xi;}}_i\\ w\&CenterDot;x+b-y_i\&le;\mathrm{\&epsiv;}+{\mathrm{\&xi;}}_i^{*}\\ {\mathrm{\&xi;}}_i,{\mathrm{\&xi;}}_i^{*}\&GreaterEqual;0\end{array}\right.,---\left(10\right)$

在式(10)中，每个样本都有与其对应的松弛变量ξ和ξ^*，用来决定该样本是否落在了ε的范围之外，而C是惩罚因子，用于调整模型以避免过拟合或欠拟合现象的发生，利用拉格朗日乘子法来解决这个约束优化问题，因此，构造如下的拉格朗日函数：

$L=\frac{1}{2}{\left|\right|w\left|\right|}^2+C\underset{i=1}{\overset{l}{\mathrm{\&Sigma;}}}({\mathrm{\&xi;}}_i+{\mathrm{\&xi;}}_i^{*})-\underset{i=1}{\overset{l}{\mathrm{\&Sigma;}}}({\mathrm{\&gamma;}}_i{\mathrm{\&xi;}}_i+{\mathrm{\&gamma;}}_i^{*}{\mathrm{\&xi;}}_i^{*})-\underset{i=1}{\overset{l}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_i(\mathrm{\&epsiv;}+{\mathrm{\&xi;}}_i-y_i+w\&CenterDot;x_i+b),---\left(11\right)$

$-\underset{i=1}{\overset{l}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_i^{*}(\mathrm{\&epsiv;}+{\mathrm{\&xi;}}_i^{*}-y_i+w\&CenterDot;x_i+b)$

利用最优化理论，将L分别对w、b、ξ_i、

求偏微分，并令得到的等式分别为0，得到下式：

$\left\{\begin{array}{c}w=\underset{i=1}{\overset{l}{\mathrm{\&Sigma;}}}({\mathrm{\&alpha;}}_i-{\mathrm{\&alpha;}}_i^{*})x_i\\ \underset{i=1}{\overset{l}{\mathrm{\&Sigma;}}}({\mathrm{\&alpha;}}_i-{\mathrm{\&alpha;}}_i^{*})=0\\ C-{\mathrm{\&alpha;}}_i-{\mathrm{\&gamma;}}_i=0\\ C-{\mathrm{\&alpha;}}_i^{*}-{\mathrm{\&gamma;}}_i^{*}=0\end{array}\right.,---\left(12\right)$

将式(12)带入到式(11)得到下面的对偶优化问题：

$\left\{\begin{array}{c}\mathrm{Max}[-\frac{1}{2}\underset{i=1}{\overset{l}{\mathrm{\&Sigma;}}}\underset{i=1}{\overset{l}{\mathrm{\&Sigma;}}}({\mathrm{\&alpha;}}_i-{\mathrm{\&alpha;}}_i^{*})({\mathrm{\&alpha;}}_j-{\mathrm{\&alpha;}}_j^{*})x_i\&CenterDot;x_j-\mathrm{\&epsiv;}\underset{i=1}{\overset{l}{\mathrm{\&Sigma;}}}({\mathrm{\&alpha;}}_i-{\mathrm{\&alpha;}}_i^{*})+\underset{i=1}{\overset{l}{\mathrm{\&Sigma;}}}{y}_i({\mathrm{\&alpha;}}_i-{\mathrm{\&alpha;}}_i^{*})]\\ s.t.\underset{i=1}{\overset{l}{\mathrm{\&Sigma;}}}({\mathrm{\&alpha;}}_i-{\mathrm{\&alpha;}}_i^{*})=0\\ 0\&le;{\mathrm{\&alpha;}}_i\&le;C\\ 0\&le;{\mathrm{\&alpha;}}_i^{*}\&le;C\end{array}\right.---\left(13\right)$

支持向量就是使得的部分参数，通过学习训练得到的最优解为 $w=\underset{i=1}{\overset{l}{\mathrm{\&Sigma;}}}({\mathrm{\&alpha;}}_i-{\mathrm{\&alpha;}}_i^{*})x_i,$ 回归估计函数为 $f\left(x\right)=\underset{x_i\&Element;\mathrm{SV}}{\mathrm{\&Sigma;}}({\mathrm{\&alpha;}}_i^{*}-{\mathrm{\&alpha;}}_i)x_i\&CenterDot;x+b,$ 为避免个别支持向量带来的偏差，针对每个支持向量求出对应的偏移量，然后对这些偏移量进行累加，最后再取均值作为偏移量b的最优解，b由下式（14）解出：

$b=\frac{1}{N_{\mathrm{SV}}}\left[\underset{0<{\mathrm{\&alpha;}}_i^{*}<C}{\mathrm{\&Sigma;}}\right[y_i-\underset{x_i\&Element;\mathrm{SV}}{\mathrm{\&Sigma;}}({\mathrm{\&alpha;}}_j^{*}-{\mathrm{\&alpha;}}_j)x_j\&CenterDot;x_i-\mathrm{\&epsiv;}]+\underset{0<{\mathrm{\&alpha;}}_i<C}{\mathrm{\&Sigma;}}[y_i-\underset{x_i\&Element;\mathrm{SV}}{\mathrm{\&Sigma;}}({\mathrm{\&alpha;}}_j^{*}-{\mathrm{\&alpha;}}_j)x_j\&CenterDot;x_i+\mathrm{\&epsiv;}\left]\right],---\left(14\right)$

其中N_SV为标准的支持向量数，通过学习训练得到回归估计函数为：f(x_i)＝w^Tx_i+b，即用ε-SVR模型解出了w和b，最后通过式(8)解出椭圆的参数。

4.根据权利要求3所述的基于支持向量机回归的晶体直径测量方法，其特征在于，所述的椭圆的参数，采用二阶锥规划优化工具求取最优解，具体步骤是：SeDuMi是Strum开发的用于处理对称锥优化问题的MATLAB工具箱，能够用来求解二阶锥和线性约束下的凸优化问题，在SeDuMi中，标准的优化问题形式定义为：

$\underset{z}{\max }{p}^{T}z---\left(15\right)$

$\mathrm{Subject\; to}{r}_j-q_j^{T}z\&Element;{\mathrm{SOC}}^{g_j\&times;l}$ j=1,2,…J

其中的p和r_j是任意的向量，q_j是任意的矩阵，z中包含有期望优化的变量，J是二阶锥约束的个数，g_j维的约束定义为：

${\mathrm{SOC}}^{g_j\&times;l}=\left\{\right|\left|\mathrm{\&epsiv;}\right||\&le;\widetilde{\mathrm{\&epsiv;}}\}---\left(16\right)$

在这里是g_j维向量

中的第一个元素，ε是g_j-1维的向量，包含了

中的其他元素，根据式(13)并引入变量η：

$\min \mathrm{imize}\frac{1}{2}\mathrm{\&eta;}-(y-\mathrm{\&epsiv;}){\mathrm{\&alpha;}}^{*}-(-y-\mathrm{\&epsiv;})\mathrm{\&alpha;}$

subject to(α^*-α)^T1=0；    (17)

${\left|\right|K^T({\mathrm{\&alpha;}}^{*}-\mathrm{\&alpha;})\left|\right|}_2^2<\mathrm{\&eta;}$

0＜α_i，α^*＜C，    j＝1，…，l；

其中的K＝X^T，X是l×m维的样本矩阵，定义：

r₂=[0  0]^T，

$r_{2+i}={\left[\begin{array}{cc}\frac{C}{2}& -\frac{C}{2}\end{array}\right]}^T,$ i=1，2，…，l，

$r_{2+l+i}={\left[\begin{array}{cc}\frac{C}{2}& -\frac{C}{2}\end{array}\right]}^T,$ i=1，2，…，l，

将式(17)转换成如式(15)的标准的SOCP形式，利用SOCP优化工具包进行解决，

如果解出来

SVR的最优解为w＝(α^*-α)^TX，

然后通过式(14)计算出偏移量b，椭圆参数则通过式(8)计算出来。

Images