CN102661708B - 一种基于surf的高密度封装元器件定位方法 - Google Patents

Abstract

本发明公开了一种基于SURF的高密度封装元器件定位方法，包括以下步骤：(1)粗略定位：采用SURF配准方法得到粗略变换参数(m，n，β)；(2)精细细定位：利用上述粗变换参数(m，n，β)，对待配准图像I(x，y)进行逆变换得到g(x，y)，计算g(x，y)与模板图像f(x，y)的最小能量方程E，对E求各阶偏导并令其为0，求解变换参数(a，b，θ)；令m′＝m+a，n′＝n+b，β′＝β+θ；计算在变换关系(m′，n′，β′)下的能量E；判断E是否低于设定值，若否，进行下一次迭代；若是，则结束迭代过程，将m′作为最终的x方向的平移参数、n′作为最终的y方向的平移参数，β′作为最终的旋转角度。与现有技术相比，本发明实现了高精度亚像素级定位，并且对光照变换和噪声具有很强的鲁棒性。

Description

一种基于SURF的高密度封装元器件定位方法

技术领域

本发明涉及精密电子组装中的识别定位领域，特别涉及一种基于SURF（Speeded up robust features，加速鲁棒性特征）的高密度封装元器件定位方法。

背景技术

SMT自20世纪60年代以来，经历50年的发展，已进入完全成熟的阶段。当前SMT不仅成为当代电路组装技术的主流和电子工业界的支柱制造生产技术，而且正继续向纵深发展，以发挥设备的最大使用效率，满足快速增长的生产需要。视觉检测是表面贴装的必要工序，它将各种形状各种规格的元器件从背景中分离出来，重点是精确地判断元器件的位置和角度的偏移量，以便给准确贴装提供高精度的位置和角度补偿信息。因此，视觉检测的精度决定了表面贴装的质量。目前，高速贴片机的贴装速度已经达到12.7万片/小时，精度已经达到了10微米级。但是，对于新型元器件的贴装合格率仅为80%－90%，远远达不到实际生产的需求，给大规模的表面贴装带来了巨大的经济损失。

图像配准是计算机视觉、模式识别领域备受关注的前沿学科，在航空影像自动制图、图像三维重构、计算机视觉、遥感融合、模式识别、医学图像处理、影像分析等领域都有重要应用。但是目前还没有一种图像配准方法能适用于各个领域。图像配准技术作为SMT视觉检测系统的一个重要组成部分，为后续检测提供了必要的预处理。基于特征的图像配准方法因其不直接依赖于灰度、鲁棒性好、抗干扰性强、计算量小、速度快而成为应用最广泛的图像配准方法。

Herbert Bay在2006年提出了SURF（Speeded up robust features）算法，该算法借鉴了SIFT中采用DoG简化近似LoG的思想，将DoH（Determinant ofHessian）中的高斯二阶差分模板进行了近似简化，同时SURF算子为了提高整体的实时性对局部特征生成的各个环节进行了优化，这样的处理方法在计算速度上具有明显优势。SURF描述子在以下方面具有显著的改进：首先，SURF算子结合积分图和简化后Hessian矩阵来构建尺度空间。SURF不需要通过对图像进行下采样来近似不同尺度高斯二阶差分滤波器对图像的卷积。由于采用积分图，SURF可以快速地计算高斯框架滤波器的卷积图像，并且计算时间与滤波器的窗口无关，这无疑大大降低了计算时间。其次，在描述关键点时，SURF采用Haar小波来生成关键点的特征向量。虽然与SIFT类似，均是描述关键点邻域的梯度信息，但是由于Haar小波在积分图中具有明显的快速性和稳定性，SURF的特征描述算子性能更加优越。关于SURF和SIFT性能的比较，Herbert Bay按照Mikolajczyk的方法在旋转、模糊、光照变化、图像几何变形、分辨率差异和图像压缩等6种情况下对两种算法进行了实验测试。结果显示：SURF在各个方面的性能均接近或超越了SIFT，其计算速度却是SIFT的3倍左右。SURF算法和SIFT算法类似，也包括特征点提取和特征点描述两部分，也具有尺度、旋转不变性和部分光照、透视变换不变性，特别适用于SMT中元器件存在旋转和遮挡等情况下的配准问题处理。

虽然SURF在计算速度上优于SIFT，但由于采用了简化的Hessian矩阵检测关键点这就导致了关键点定位精度会有所下降。单纯采用SURF算法的误差比较大，并不能达到实际的生产要求，所以在SURF检测结果的基础上，提出了最小能量亚像素法，进一步对两幅待配准图像进行精确定位。

发明内容

为了克服现有技术的上述不足，本发明的目的在于提供一种基于SURF的高密度封装元器件定位方法，实现了高精度亚像素级定位。

本发明的目的通过以下技术方案实现：

一种基于SURF的高密度封装元器件定位方法，包括以下步骤：

S1粗略定位：输入待配准图像I(x,y)，利用SURF配准方法计算I(x,y)与模板图像f(x,y)之间粗略变换关系(m,n,β)，其中m、n分别是x、y方向的平移参数，β是旋转角度；

S2精细定位：

S2.1按粗略变换关系(m,n,β)对I(x,y)进行逆变换，得到逆变换图像g(x,y)，g(x,y)与f(x,y)的变换关系为(a,b,θ)，即

g(x,y)=f(x cosθ-y sinθ+a,x sinθ-y cosθ+b)     （1）

其中a、b分别是x、y方向的平移参数，θ是旋转角度；

S2.2对式（1），先将sinθ、cosθ进行二阶泰勒展开，再将f(x,y)进行二阶泰勒展开，得到

$g(x,y)\≈f(x,y)+(a-\mathrm{y\θ}-\frac{{\mathrm{x\θ}}^2}{2})\frac{\∂f}{\∂x}+(b+\mathrm{x\θ}+\frac{{\mathrm{y\θ}}^2}{2})\frac{\∂f}{\∂y}---\left(2\right)$

S2.3得到f(x,y)与g(x,y)的能量方程如下：

$E(a,b,\mathrm{\θ})=\mathrm{\Σ}{[f(x,y)+(a-\mathrm{y\θ}-\frac{{\mathrm{x\θ}}^2}{2})\frac{\∂f}{\∂x}+(b+\mathrm{x\θ}+\frac{{\mathrm{y\θ}}^2}{2})\frac{\∂f}{\∂y}-g(x,y)]}^2---\left(3\right)$

S2.4对式（3）的a、b、θ各自求偏导数，并令其为零，得

$\left(\mathrm{\Σ}{\left(\frac{\∂f}{\∂x}\right)}^2\right)a+\left(\mathrm{\Σ}\frac{\∂f}{\∂x}\frac{\∂f}{\∂y}\right)b+\left(\mathrm{\ΣR}\frac{\∂f}{\∂x}\right)\mathrm{\θ}=\mathrm{\Σ}\frac{\∂f}{\∂x}(f-g)---\left(4\right)$

$\left(\mathrm{\Σ}\frac{\∂f}{\∂x}\frac{\∂f}{\∂y}\right)a+\left(\mathrm{\Σ}{\left(\frac{\∂f}{\∂x}\right)}^2\right)b+\left(\mathrm{\ΣR}\frac{\∂f}{\∂y}\right)\mathrm{\θ}=\mathrm{\Σ}\frac{\∂f}{\∂y}(f-g)---\left(5\right)$ $\left(\mathrm{\ΣR}\frac{\∂f}{\∂x}\right)a+\left(\mathrm{\ΣR}\frac{\∂f}{\∂y}\right)b+\left(\mathrm{\Σ}{R}^2\right)\mathrm{\θ}=\mathrm{\ΣR}(f-g)---\left(6\right)$

其中， $R=(x\frac{\∂f}{\∂y}-y\frac{\∂f}{\∂x});$

S2.5根据式（4）～（6）求得(a,b,θ)，令m'=m+a，n'=n+b，β'=β+θ；将变换公式(m',n',β')代入式（3），计算在变换关系(m',n',β')下的能量E；

S2.6判断E是否低于设定值，若否，进行步骤S2.4～S2.6；若是，则结束迭代过程，将m'作为最终的x方向的平移参数、n'作为最终的y方向的平移参数，β'作为最终的旋转角度。

步骤S1所述利用SURF配准方法计算I(x,y)与f(x,y)之间粗略变换关系(m,n,β)，具体包括以下步骤：

S1.1分别根据图像I(x,y)、f(x,y)生成积分图像；

S1.2分别在I(x,y)、f(x,y)上检测特征点；

S1.3用特征点描述向量对I(x,y)、f(x,y)的所有特征点进行描述；

S1.4对特征点进行特征匹配，得到I(x,y)与f(x,y)之间粗略变换关系(m,n,β)。

步骤S1.2所述检测特征点，具体为：

S1.2.1构建快速Hessian矩阵H(x,σ)：

对于给定图像上的一点X(x,y)，快速Hessian矩阵H(x,σ)定义如下：

$H(X,\mathrm{\σ})=\left[\begin{array}{cc}{L}_{\mathrm{xx}}(X,\mathrm{\σ})& L_{\mathrm{xy}}(X,\mathrm{\σ})\\ L_{\mathrm{xy}}(X,\mathrm{\σ})& L_{\mathrm{yy}}(X,\mathrm{\σ})\end{array}\right]$

其中，L_xx(X,σ)是图像在点X处与高斯二阶偏导

的卷积，L_xy(X,σ)是图像在点X处与高斯二阶偏导

的卷积，L_yy(X,σ)是图像在点X处与高斯二阶偏导

的卷积。

S1.2.2根据快速Hessian矩阵构建尺度空间，并利用步骤S1.1中得到的积分图像，得到三维尺度空间响应图；

S1.2.3精确定位特征点：首先，在得到的三维尺度空间响应图中，进行阈值分割，只保留具有强响应值的像素点；接着，采用非极大值抑制来寻找候选特征点；最后，用三维二次拟合函数对特征点进行临近像素插值。

步骤S1.3用特征点描述向量对I(x,y)、f(x,y)的所有特征点进行描述，具体包括以下步骤：

S1.3.1确定特征点的主方向：以特征点为中心，在半径为6σ的圆形区域内，计算尺度为4σ的x、y两个方向的Haar小波响应，其中σ是特征点所在的尺度；得到特征点x、y方向的响应后，再以特征点为中心，方差为2.5σ的高斯函数对响应进行加权；接着用一个圆心角为π/3的扇形以特征点为中心环绕一圈，计算在扇形所在的区域内的x、y方向的响应之和，并构成一个矢量；得到该特征点的所有矢量后，取长度最长的矢量所在的方向作为特征点的主方向；

S1.3.2建立特征点描述向量：以特征点为中心，建立边长为20σ的正方形邻域，然后旋转该正方形邻域，使它的主轴方向是特征点的主方向；将该正方形邻域划分为4×4=16个子区域，每个子区域有25个均匀分布的采样点，对每个采样点都用尺度为2σ的Haar小波处理，得到x、y方向的响应，分别用dx、dy表示；将该特征点所有的dx、dy用一个以特征点为中心的方差为3.3σ的高斯函数进行加权；计算每个子区域的dx的响应值之和∑dx、|dx|的响应值之和∑|dx|、dy的响应值之和∑dy，|dy|的响应值之和∑|dy|；∑dx、∑|dx|、∑dy、∑|dy|构成子区域的描述向量的四个分量；关键点的特征向量由子区域的描述向量组成。

步骤S1.4所述对特征点进行特征匹配，得到I(x,y)与f(x,y)之间粗略变换关系(m,n,β)，具体为：

S1.4.1设

为图像f(x,y)的关键点的特征向量，求特征向量

在图像I(x,y)中的匹配特征向量

，则

对应的关键点（x₁,y₁）、（x₂,y₂）为匹配的关键点对；

其中关键点对匹配的条件为：比较关键点最近邻与次近邻的欧式距离，若距离比率小于特定阈值的是正确匹配，其中特定阈值根据实际情况确定；其中，欧式距离的计算公式为：

$\mathrm{dL}=|{\stackrel{...}{D}}_1-{\stackrel{...}{D}}_2|=\sqrt{{({\stackrel{...}{d}}_{11}-{\stackrel{...}{d}}_{21})}^2+{({\stackrel{...}{d}}_{12}-{\stackrel{...}{d}}_{22})}^2+...}---\left(7\right)$

S1.4.2对匹配的特征点对（x₁,y₁）和（x₂,y₂），根据仿射变换公式

$\left[\begin{array}{c}{x}_2\\ y_2\end{array}\right]=\left[\begin{array}{c}{m}^{\′\′}\\ n^{\′\′}\end{array}\right]+s\left[\begin{array}{cc}\cos {\mathrm{\β}}^{\′\′}& -\sin {\mathrm{\β}}^{\′\′}\\ \sin {\mathrm{\β}}^{\′\′}& \cos {\mathrm{\β}}^{\′\′}\end{array}\right]\left[\begin{array}{c}{x}_1\\ y_1\end{array}\right]---\left(8\right)$

通过求解最小二乘法，得到式（8）的变换参数(m'',n'',β'',s)；对所有匹配的特征点对的变换参数(m'',n'',β'')求平均值，得到I(x,y)与f(x,y)之间粗略变换关系(m,n,β)。

与现有技术相比，本发明具有以下优点和有益效果：

（1）本发明精定位中采用的最小能量配准技术，通过在SURF算法粗定位的基础上进行微修正，使得在不增加计算复杂度和存储代价的情况下，实现了高精度亚像素级定位，对于实际的视觉检测定位具有重要意义。

（2）本发明采用SURF描述子检测各种新型表面贴装元器件的特征，使得该检测方法对光照变换和噪声具有很强的鲁棒性。

附图说明

图1为本发明基于SURF的高密度封装元器件定位方法的流程图。

图2为积分图像的示意图。

图3为x方向的Haar小波模板示意图。

图4为y方向的Haar小波模板示意图。

图5为确定主方向过程示意图。

具体实施方式

下面结合实施例及附图，对本发明作进一步地详细说明，但本发明的实施方式不限于此。

实施例

如图1所示，本发明一种基于SURF的高密度封装元器件定位方法，包括以下步骤：

S1粗略定位：输入待配准图像I(x,y)，利用SURF配准方法计算I(x,y)与模板图像f(x,y)之间粗略变换关系(m,n,β)，其中m、n分别是x、y方向的平移参数，β是旋转角度；具体包括以下步骤：

S1.1分别根据图像I(x,y)、f(x,y)生成积分图像：

对于给定的图像，如I(x,y)，点(x,y)是积分图像中某一点，则该点的积分图像值I∑是以I(x,y)的原点和(x,y)像素点所形成的矩形区域内所有像素点的像素值之和。使用积分图像，对积分图像内任一矩形区域内所有像素值之和的计算可以简化为访问4次图像数据和3次加减运算。积分图像的示意图如图2所示。对于如图2所示的矩形区域，定义矩形的顶点分别是A、B、C、D，该区域的像素值之和为：∑=A+D-(C+B)。

显然，不管矩形区域的面积多大，该区域内像素值之和的计算的时间都是不变的。当区域面积很大的时候，这种方法的优越性会很明显。SURF配准方法利用积分图像的这种性质来保证尺寸可变框架滤波器的图像卷积的计算时间几乎不变。

S1.2分别在I(x,y)、f(x,y)上检测特征点，具体包括以下步骤：

S1.2.1构建快速Hessian矩阵，对于给定图像上的一点X(x,y)，则点X在尺度σ下的Hessian矩阵H(x,σ)定义如下：

$H(X,\mathrm{\σ})=\left[\begin{array}{cc}{L}_{\mathrm{xx}}(X,\mathrm{\σ})& L_{\mathrm{xy}}(X,\mathrm{\σ})\\ L_{\mathrm{xy}}(X,\mathrm{\σ})& L_{\mathrm{yy}}(X,\mathrm{\σ})\end{array}\right]$

其中，L_xx(X,σ)是图像在点X处与高斯二阶偏导

的卷积，L_xy(X,σ)是图像在点X处与高斯二阶偏导的卷积,L_yy(X,σ)是图像在点X处与高斯二阶偏导的卷积；

设D_xx,D_yy和D_xy是x方向、y方向和xy方向上框架滤波器与图像卷积的结果，则Hessian行列式的近似估计为：

det(H_approx)=D_xxD_yy-(0.9D_xy)²。

S1.2.2根据快速Hessian矩阵构建尺度空间，并利用步骤S1.1中得到的积分图像，得到三维尺度空间响应图。尺度空间的构建需要借助图像金字塔来完成。SURF配准方法是用尺寸逐渐增大的框架滤波器与原始图像做卷积来构建金字塔。因为采用了积分图像来处理卷积，不同尺寸的框架滤波器的计算速度是一样的，这样就提高了算法的效率。

S1.2.3精确定位特征点：首先，在得到的三维尺度空间响应图中，进行阈值分割，只保留具有强响应值的像素点；接着，采用非极大值抑制来寻找候选特征点；最后，用三维二次拟合函数对特征点进行临近像素插值，使之具有亚空间和亚尺度的精度。

S1.3用特征点描述向量对I(x,y)、f(x,y)的所有特征点进行描述，具体包括以下步骤：

S1.3.1确定主方向:以特征点为中心，在半径为6σ的圆形区域内，计算尺度为4σ的x、y两个方向的Haar小波响应，其中σ是特征点所在的尺度；Haar小波模板如图3、图4所示，其中图3中的模板用于计算在x方向的Haar小波响应，其中图4中的模板用于计算在y方向的Haar小波响应；

得到特征点x、y方向的响应后，再以特征点为中心，方差为2.5σ的高斯函数对响应进行加权；接着用一个圆心角为π/3的扇形以特征点为中心环绕一圈，计算在扇形所在的区域内的x、y方向的响应之和，并构成一个矢量；得到该特征点的所有矢量后，取长度最长的矢量所在的方向作为特征点的主方向；如图5所示。

S1.3.2建立特征点描述向量：以特征点为中心，建立边长为20σ的正方形邻域，然后旋转该正方形邻域，使它的主轴方向是特征点的主方向；

将该正方形邻域划分为4×4=16个子区域，每个子区域有25个均匀分布的采样点，对每个采样点都用尺度为2σ的Haar小波处理，得到x、y方向的响应，分别用dx、dy表示；将该特征点所有的dx、dy用一个以特征点为中心、方差为3.3σ的高斯函数进行加权；计算每个子区域的dx的响应值之和∑dx、|dx|的响应值之和∑|dx|、dy的响应值之和∑dy，|dy|的响应值之和∑|dy|；∑dx、∑|dx|、∑dy、Σ|dy|构成子区域的描述向量的四个分量，得到4维持征向量v_subregion＝[Σdx Σdy Σ|dx| Σ|dy|]。

1个特征点有4×4=16个子区域，每个子区域有4维向量，则1个特征点有4×4×4=64维向量。这64维向量就构成了特征点的描述向量。这些向量进行归一化处理后就具有旋转、尺度、光照不变性。

如果对dx、|dx|、dy和|dy|求和时分成x≥0、x<0、y≥0、y<0四种情况，就得到128描述向量。128维的描述向量比64维的描述向量的独特性好，但是在匹配时的计算量会明显增大。

S1.4对特征点进行特征匹配，得到I(x,y)与f(x,y)之间粗略变换关系(m,n,β)，具体包括以下步骤：

S1.4.1设

为图像f(x,y)的关键点的特征向量，求特征向量在图像I(x,y)中的匹配特征向量

则

对应的关键点（x₁,y₁）、（x₂,y₂）为匹配的关键点对；

其中关键点对匹配的条件为：比较关键点

最近邻与次近邻的欧式距离，若距离比率小于特定阈值的是正确匹配，其中特定阈值根据实际情况确定；其中，欧式距离的计算公式为：

$\mathrm{dL}=|{\stackrel{...}{D}}_1-{\stackrel{...}{D}}_2|=\sqrt{{({\stackrel{...}{d}}_{11}-{\stackrel{...}{d}}_{21})}^2+{({\stackrel{...}{d}}_{12}-{\stackrel{...}{d}}_{22})}^2+...}---\left(7\right)$

S1.4.2对匹配的特征点对（x₁,y₁）和（x₂,y₂），根据仿射变换公式

$\left[\begin{array}{c}{x}_2\\ y_2\end{array}\right]=\left[\begin{array}{c}{m}^{\&prime;\&prime;}\\ n^{\&prime;\&prime;}\end{array}\right]+s\left[\begin{array}{cc}\cos {\mathrm{\&beta;}}^{\&prime;\&prime;}& -\sin {\mathrm{\&beta;}}^{\&prime;\&prime;}\\ \sin {\mathrm{\&beta;}}^{\&prime;\&prime;}& \cos {\mathrm{\&beta;}}^{\&prime;\&prime;}\end{array}\right]\left[\begin{array}{c}{x}_1\\ y_1\end{array}\right]---\left(8\right)$

通过求解最小二乘法，得到式（8）的变换参数(m'',n'',β'',s)；对所有匹配的特征点对的变换参数(m'',n'',β'')求平均值，得到I(x,y)与f(x,y)之间粗略变换关系(m,n,β)。

S2精细定位：

S2.1按粗略变换关系(m,n,β)对I(x,y)进行逆变换，得到逆变换图像g(x,y)，g(x,y)与f(x,y)的变换关系为(a,b,θ)，即

g(x,y)=f(x cosθ-y sinθ+a,x sinθ-y cosθ+b)     （1）

其中a、b分别是x、y方向的平移参数，θ是旋转角度；

S2.2对式（1），先将sinθ、cosθ进行二阶泰勒展开，再将f(x,y)进行二阶泰勒展开，得到

$g(x,y)\&ap;f(x,y)+(a-\mathrm{y\&theta;}-\frac{{\mathrm{x\&theta;}}^2}{2})\frac{\&PartialD;f}{\&PartialD;x}+(b+\mathrm{x\&theta;}+\frac{{\mathrm{y\&theta;}}^2}{2})\frac{\&PartialD;f}{\&PartialD;y}---\left(2\right)$

S2.3得到f(x,y)与g(x,y)的能量方程如下：

$E(a,b,\mathrm{\&theta;})=\mathrm{\&Sigma;}{[f(x,y)+(a-\mathrm{y\&theta;}-\frac{{\mathrm{x\&theta;}}^2}{2})\frac{\&PartialD;f}{\&PartialD;x}+(b+\mathrm{x\&theta;}+\frac{{\mathrm{y\&theta;}}^2}{2})\frac{\&PartialD;f}{\&PartialD;y}-g(x,y)]}^2---\left(3\right)$

S2.4对式（3）的a、b、θ各自求偏导数，并令其为零，得

$\left(\mathrm{\&Sigma;}{\left(\frac{\&PartialD;f}{\&PartialD;x}\right)}^2\right)a+\left(\mathrm{\&Sigma;}\frac{\&PartialD;f}{\&PartialD;x}\frac{\&PartialD;f}{\&PartialD;y}\right)b+\left(\mathrm{\&Sigma;R}\frac{\&PartialD;f}{\&PartialD;x}\right)\mathrm{\&theta;}=\mathrm{\&Sigma;}\frac{\&PartialD;f}{\&PartialD;x}(f-g)---\left(4\right)$

$\left(\mathrm{\&Sigma;}\frac{\&PartialD;f}{\&PartialD;x}\frac{\&PartialD;f}{\&PartialD;y}\right)a+\left(\mathrm{\&Sigma;}{\left(\frac{\&PartialD;f}{\&PartialD;x}\right)}^2\right)b+\left(\mathrm{\&Sigma;R}\frac{\&PartialD;f}{\&PartialD;y}\right)\mathrm{\&theta;}=\mathrm{\&Sigma;}\frac{\&PartialD;f}{\&PartialD;y}(f-g)---\left(5\right)$

$\left(\mathrm{\&Sigma;R}\frac{\&PartialD;f}{\&PartialD;x}\right)a+\left(\mathrm{\&Sigma;R}\frac{\&PartialD;f}{\&PartialD;y}\right)b+\left(\mathrm{\&Sigma;}{R}^2\right)\mathrm{\&theta;}=\mathrm{\&Sigma;R}(f-g)---\left(6\right)$

其中， $R=(x\frac{\&PartialD;f}{\&PartialD;y}-y\frac{\&PartialD;f}{\&PartialD;x});$

S2.5根据式（4）～（6）求得(a,b,θ)，令m'=m+a，n'=n+b，β'=β+θ；将变换公式(m',n',β')代入式（3），计算在变换关系(m',n',β')下的能量E；

S2.6判断E是否低于设定值，若否，进行步骤S2.4～S2.6；若是，则结束迭代过程，将m'作为最终的x方向的平移参数、n'作为最终的y方向的平移参数，β'作为最终的旋转角度。

为了检验本发明的检测效果和优势，设定了0.5～5度旋转角度的精密电子组装中BGA192、BGA272、BGA300旋转图像。本发明对于上述设定微旋转角度量的检测结果如表1～3所示。从表1～3中实验数据可以看出，在工业成像基础上，本发明方法均可以取得高精度的亚像素级定位结果。

表1BGA192芯片不同旋转角度的最小能量修正值

表2BGA272芯片不同旋转角度的最小能量修正值

表3BGA300芯片不同旋转角度的最小能量修正值

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (5)

1.一种基于SURF的高密度封装元器件定位方法，其特征在于，包括以下步骤：

S1粗略定位：输入待配准图像I(x,y)，利用SURF配准方法计算I(x,y)与模板图像f(x,y)之间粗略变换关系(m,n,β)，其中m、n分别是x、y方向的平移参数，β是旋转角度；

S2精细定位：

S2.1按粗略变换关系(m,n,β)对I(x,y)进行逆变换，得到逆变换图像g(x,y)，g(x,y)与f(x,y)的变换关系为(a,b,θ)，即

g(x,y)=f(x cosθ-y sinθ+a,x sinθ-y cosθ+b)     （1）

其中a、b分别是x、y方向的平移参数，θ是旋转角度；

S2.2对式（1），先将sinθ、cosθ进行二阶泰勒展开，再将f(x,y)进行二阶泰勒展开，得到

$g(x,y)\&ap;f(x,y)+(a-\mathrm{y\&theta;}-\frac{{\mathrm{x\&theta;}}^2}{2})\frac{\&PartialD;f}{\&PartialD;x}+(b+\mathrm{x\&theta;}+\frac{{\mathrm{y\&theta;}}^2}{2})\frac{\&PartialD;f}{\&PartialD;y}---\left(2\right)$

S2.3得到f(x,y)与g(x,y)的能量方程如下：

$E(a,b,\mathrm{\&theta;})=\mathrm{\&Sigma;}{[f(x,y)+(a-\mathrm{y\&theta;}-\frac{{\mathrm{x\&theta;}}^2}{2})\frac{\&PartialD;f}{\&PartialD;x}+(b+\mathrm{x\&theta;}+\frac{{\mathrm{y\&theta;}}^2}{2})\frac{\&PartialD;f}{\&PartialD;y}-g(x,y)]}^2---\left(3\right)$

S2.4对式（3）的a、b、θ各自求偏导数，并令其为零，得

$\left(\mathrm{\&Sigma;}{\left(\frac{\&PartialD;f}{\&PartialD;x}\right)}^2\right)a+\left(\mathrm{\&Sigma;}\frac{\&PartialD;f}{\&PartialD;x}\frac{\&PartialD;f}{\&PartialD;y}\right)b+\left(\mathrm{\&Sigma;R}\frac{\&PartialD;f}{\&PartialD;x}\right)\mathrm{\&theta;}=\mathrm{\&Sigma;}\frac{\&PartialD;f}{\&PartialD;x}(f-g)---\left(4\right)$

$\left(\mathrm{\&Sigma;}\frac{\&PartialD;f}{\&PartialD;x}\frac{\&PartialD;f}{\&PartialD;y}\right)a+\left(\mathrm{\&Sigma;}{\left(\frac{\&PartialD;f}{\&PartialD;x}\right)}^2\right)b+\left(\mathrm{\&Sigma;R}\frac{\&PartialD;f}{\&PartialD;y}\right)\mathrm{\&theta;}=\mathrm{\&Sigma;}\frac{\&PartialD;f}{\&PartialD;y}(f-g)---\left(5\right)$

$\left(\mathrm{\&Sigma;R}\frac{\&PartialD;f}{\&PartialD;x}\right)a+\left(\mathrm{\&Sigma;R}\frac{\&PartialD;f}{\&PartialD;y}\right)b+\left(\mathrm{\&Sigma;}{R}^2\right)\mathrm{\&theta;}=\mathrm{\&Sigma;R}(f-g)---\left(6\right)$

其中， $R=(x\frac{\&PartialD;f}{\&PartialD;y}-y\frac{\&PartialD;f}{\&PartialD;x});$

S2.5根据式（4）～（6）求得(a,b,θ)，令m'=m+a，n'=n+b，β'=β+θ；将变换公式(m',n',β')代入式（3），计算在变换关系(m',n',β')下的能量E；

S2.6判断E是否低于设定值，若否，进行步骤S2.4～S2.6；若是，则结束迭代过程，将m'作为最终的x方向的平移参数、n'作为最终的y方向的平移参数，β'作为最终的旋转角度。

2.根据权利要求1所述的基于SURF的高密度封装元器件定位方法，其特征在于，步骤S1所述利用SURF配准方法计算I(x,y)与f(x,y)之间粗略变换关系(m,n,β)，具体包括以下步骤：

S1.1分别根据图像I(x,y)、f(x,y)生成积分图像；

S1.2分别在I(x,y)、f(x,y)上检测特征点；

S1.3用特征点描述向量对I(x,y)、f(x,y)的所有特征点进行描述；

S1.4对特征点进行特征匹配，得到I(x,y)与f(x,y)之间粗略变换关系(m,n,β)。

3.根据权利要求2所述的基于SURF的高密度封装元器件定位方法，其特征在于，步骤S1.2所述检测特征点，具体为：

S1.2.1构建快速Hessian矩阵H(x,σ)：

对于给定图像上的一点X(x,y)，快速Hessian矩阵H(x,σ)定义如下：

$H(X,\mathrm{\&sigma;})=\left[\begin{array}{cc}{L}_{\mathrm{xx}}(X,\mathrm{\&sigma;})& L_{\mathrm{xy}}(X,\mathrm{\&sigma;})\\ L_{\mathrm{xy}}(X,\mathrm{\&sigma;})& L_{\mathrm{yy}}(X,\mathrm{\&sigma;})\end{array}\right]$

其中，L_xx(X,σ)是图像在点X处与高斯二阶偏导

的卷积，L_xy(X,σ)是图像在点X处与高斯二阶偏导的卷积,L_yy(X,σ)是图像在点X处与高斯二阶偏导

的卷积；

S1.2.2根据快速Hessian矩阵构建尺度空间，并利用步骤S1.1中得到的积分图像，得到三维尺度空间响应图；

S1.2.3精确定位特征点：首先，在得到的三维尺度空间响应图中，进行阈值分割，只保留具有强响应值的像素点；接着，采用非极大值抑制来寻找候选特征点；最后，用三维二次拟合函数对特征点进行临近像素插值。

4.根据权利要求3所述的基于SURF的高密度封装元器件定位方法，其特征在于，步骤S1.3用特征点描述向量对I(x,y)、f(x,y)的所有特征点进行描述，具体包括以下步骤：

S1.3.1确定特征点的主方向：以特征点为中心，在半径为6σ的圆形区域内，计算尺度为4σ的x、y两个方向的Haar小波响应，其中σ是特征点所在的尺度；得到特征点x、y方向的响应后，再以特征点为中心，方差为2.5σ的高斯函数对响应进行加权；接着用一个圆心角为π/3的扇形以特征点为中心环绕一圈，计算在扇形所在的区域内的x、y方向的响应之和，并构成一个矢量；得到该特征点的所有矢量后，取长度最长的矢量所在的方向作为特征点的主方向；

S1.3.2建立特征点描述向量：以特征点为中心，建立边长为20σ的正方形邻域，然后旋转该正方形邻域，使它的主轴方向是特征点的主方向；将该正方形邻域划分为4×4=16个子区域，每个子区域有25个均匀分布的采样点，对每个采样点都用尺度为2σ的Haar小波处理，得到x、y方向的响应，分别用dx、dy表示；将该特征点所有的dx、dy用一个以特征点为中心的方差为3.3σ的高斯函数进行加权；计算每个子区域的dx的响应值之和∑dx、|dx|的响应值之和∑|dx|、dy的响应值之和∑dy，|dy|的响应值之和∑|dy|；∑dx、∑|dx|、∑dy、∑|dy|构成子区域的描述向量的四个分量；关键点的特征向量由子区域的描述向量组成。

5.根据权利要求4所述的基于SURF的高密度封装元器件定位方法，其特征在于，步骤S1.4所述对特征点进行特征匹配，得到I(x,y)与f(x,y)之间粗略变换关系(m,n,β)，具体为：

S1.4.1设

为图像f(x,y)的关键点的特征向量，求特征向量在图像I(x,y)中的匹配特征向量

则

对应的关键点（x₁,y₁）、（x₂,y₂）为匹配的关键点对；

其中关键点对匹配的条件为：比较关键点最近邻与次近邻的欧式距离，若距离比率小于特定阈值的是正确匹配，其中特定阈值根据实际情况确定；其中，欧式距离的计算公式为：

$\mathrm{dL}=|{\stackrel{...}{D}}_1-{\stackrel{...}{D}}_2|=\sqrt{{({\stackrel{...}{d}}_{11}-{\stackrel{...}{d}}_{21})}^2+{({\stackrel{...}{d}}_{12}-{\stackrel{...}{d}}_{22})}^2+...}---\left(7\right)$

S1.4.2对匹配的特征点对（x₁,y₁）和（x₂,y₂），根据仿射变换公式

$\left[\begin{array}{c}{x}_2\\ y_2\end{array}\right]=\left[\begin{array}{c}{m}^{\&prime;\&prime;}\\ n^{\&prime;\&prime;}\end{array}\right]+s\left[\begin{array}{cc}\cos {\mathrm{\&beta;}}^{\&prime;\&prime;}& -\sin {\mathrm{\&beta;}}^{\&prime;\&prime;}\\ \sin {\mathrm{\&beta;}}^{\&prime;\&prime;}& \cos {\mathrm{\&beta;}}^{\&prime;\&prime;}\end{array}\right]\left[\begin{array}{c}{x}_1\\ y_1\end{array}\right]---\left(8\right)$

通过求解最小二乘法，得到式（8）的变换参数(m'',n'',β'',s)；对所有匹配的特征点对的变换参数(m'',n'',β'')求平均值，得到I(x,y)与f(x,y)之间粗略变换关系(m,n,β)。

Images