CN101922917A - 一种精密电子组装中基于视觉的微位移检测方法 - Google Patents

Abstract

本发明提供了一种在精密电子组装中的基于视觉的微位移检测方法，该方法首先基于相位相关算法实现像素级的粗定位，然后通过在粗定位点邻域范围内高倍数重采样实现细定位。该方法可以实现高精度的X-Y平面的位移检测，特别适用于精密电子组装中的高精度定位场合。该发明通过采集场景图像平移前后的两幅图像，利用频率域中的相位相关原理，实现了像素级的位移检测，然后利用高效率的邻域重采样技术，实现了高精度亚像素级的微位移检测。

Description

一种精密电子组装中基于视觉的微位移检测方法

技术领域

本发明涉及精密电子组装中的检测定位领域，特别是一种精密电子组装中基于视觉的微位移检测方法。

技术背景

精密电子组装生产线的核心部分包括丝印、贴片和光学检测三大部分，而贴片是其中工作量和技术难度最大的关键工序。它通过多个吸嘴吸取各种元器件、检测定位、运动/力控制、多机械手并行组装等功能，在不损伤元器件和PCB的情况下，把元器件快速而准确地组装到PCB板所指定的位置上。其中，表面贴装元器件的视觉检测是精密电子制造技术的重要组成部分，它将各种形状规格的表面贴装元器件从背景中分离出来，目标是判断元器件的外观缺陷和精确位置、角度，为机械手提供高精度的贴装位置和角度补偿信息，最终实现元器件的高速高精度识别和定位，既是影响表面贴装电子产品生产速度和精度的关键环节，也是精密电子制造业核心技术研发的难点和重点。对于表面贴装元器件微小位移的精密检测，是影响电子设备整体性能的关键因素，也是本发明主要解决的问题。

虽然，国内众多研究人员已在基于图像的元器件视觉检测等方面己做了大量工作，但精密电子组装生产中的视觉检测不仅受生产过程中现场噪声和工况的影响，而且还要根据光源和元器件自身形状特点来考虑元器件(包括异型器件)形状识别、边缘提取和定位的智能算法，否则计算机视觉系统将难以具有稳定的元器件识别和定位性能。而我国在这方面的研究还仅处于起步阶段。目前自主研制的精密电子制造设备不但在识别元器件种类和贴装精度上难以和国外同类产品抗衡，而且更不具有根据元器件种类智能检测元件边缘形态的功能。因此，要改变我国半导体专用精密电子组装制造设备研制的落后局面，就必须在高速高精度动/静态计算机视觉技术方面进行重点研究，以提高我国精密电子组装制造设备的研发水平。

发明内容

本发明的目的在于克服现有视觉检测定位技术存在的不足，提供一种精密电子组装中基于视觉的高精度微位移检测方法。

本发明的在精密电子组装中的基于视觉的微位移检测方法，包括以下步骤：

(1)采集场景图像平移前后的两幅图像；

(2)通过相位算法进行像素级的粗定位；包括通过对两幅图像分别进行频域傅里叶变换，计算归一化的傅里叶相关谱函数，进行傅里叶逆变换，然后进行二维最大值搜索粗定位点，检测出像素级的平移量(x_shift，y_shift)；

(3)通过在粗定位点邻域范围内高倍数重采样进行细定位，实现高精度亚像素级的平移检测。

步骤(1)中，将相机置于X-Y平台的支架上，跟随X-Y平台运动，通过相机摄取X-Y平台的微小位移前后的两幅图像；

步骤(2)中，所述相位算法如下：相位相关是根据傅里叶变换中的平移定理。假设f₁(x，y)和f₂(x，y)两幅存在平移变换(x₀，y₀)的图像，满足

f₂(x，y)＝f₁(x-x₀，y-y₀)       (a)

它们对应的傅里叶变换分别为F₁(u，v)和F₂(u，v)，将有如下关系式：

$F_2(u,v)=e^{-j2\mathrm{\π}({\mathrm{ux}}_0+v{y}_0)}{F}_1(u,v)---\left(b\right)$

定义两幅图像间的交叉相关谱P(u，v)如下：

$P(u,v)=\frac{F_1(u,v)F_2^{*}(u,v)}{\left|F_1(u,v)F_2(u,v)\right|}=e^{j2\mathrm{\π}({\mathrm{ux}}_0+{\mathrm{vy}}_0)}---\left(c\right)$

其中，F^*表示F的复共轭，傅里叶变换的平移定理保证了图像间的交叉能量谱相位等于图像间的相位差。在频率域中对P(u，v)进行傅里叶逆变换(IDFT)，那么将在(x₀，y₀)取得单位脉冲函数：

$F^{-1}\left(P(u,v)\right)=F^{-1}\left(e^{j2\mathrm{\π}({\mathrm{ux}}_0+{\mathrm{vy}}_0)}\right)=\mathrm{\δ}(x_0,y_0)---\left(d\right)$

上式中除了在平移(x₀，y₀)存在脉冲函数，其它地方几乎为零，可以用于测量两幅图像间的平移量。由于在(d)中采用了归一化处理，因此相位相关具有抗干扰的优良特步骤(3)中，通过在粗定位点的邻域范围内进行高倍数的重采样，实现高精度亚像素级的定位检测。

步骤(3)中，所述高倍数重采样包括如下步骤：

①输入设定的重采样率；

②在粗定位点的邻域范围采样；

③采用矩阵乘法DFT(离散傅里叶变换)计算相位相关；

④搜索二维最大值。

步骤(3)中的细定位包括：利用上述矩阵乘法DFT获取粗定位点(x_shift，y_shift)的1.5×1.5像素邻域范围内Usfac倍采样后的区域，通过计算该上采样区域的相位相关得到像素级的平移量(x_upshift，y_upshift)，考虑重采样倍数Usfac，则得到亚像素级的平移量(x_upshift/Usfac，y_upshift/Usfac)。因此，基于相位相关的复合配准定位的平移检测量(x，y)为：

x＝x_shift+x_upshift/Usfac

y＝y_shift+y_upshift/Usfac

当然，本发明中的重采样倍数Usfac是可以选择设定的。

与现有技术相比，本发明具有如下优点和效果：

(1)本发明精定位中采用的邻域重采样技术，通过在小区域范围内的高倍数重采样，使得在不增加计算复杂度和存储代价的情况下，实现了高精度亚像素级定位，对于实际的视觉检测定位具有重要意义。

(2)本发明采用的相位相关原理使用归一化功率谱，使得该检测方法对光照变换和噪声具有很强的鲁棒性。另外，频域中的傅里叶变换与傅里叶逆变换均采用快速傅里叶变换算法，提高了检测速度。

附图说明

图1是本发明方法流程图；

图2是实施本发明方法获得的微位移前的电子组装图像；

图3是实施本发明方法获得的微位移后的电子组装图像；

图4是实施本发明方法获得的粗定位的频谱图；

图5是实施本发明方法获得的精定位频谱图。

具体实施方式

本发明中对精密电子组装中基于视觉的高精度微位移检测方法流程图如附图1所示。该方法主要包括两个部分：(1)粗定位利用传统的相位相关得到像素级的平移量(x_shift，y_shift)；(2)细定位利用上述矩阵乘法DFT获取粗定位点(x_shift，y_shift)的1.5x1.5像素邻域范围内Usfac倍采样后的区域，通过计算该上采样区域的相位相关得到像素级的平移量(x_upshift，y_upshift)，考虑重采样倍数Usfac，则得到亚像素级的平移量(x_upshift/Usfac，y_upshift/Usfac)。因此，基于相位相关的复合配准定位的平移检测量(x，y)为：

x＝x shift+x_upshift/Usfac

y＝y_shift+yupshift/Usfac

本发明直接采用相位相关法在原图像中获取粗定位点，在细定位方面同样采样相位相关获取Usfac倍区域重采样后的细定位点。由于相位相关的粗定位具有像素级精度，因此在细定位的区域选择为粗定位点为中心的1.5×1.5像素范围内，可以保证亚像素级的定位点在此区域。为获得较高的定位精度而不增加太大的计算代价，选择的采样放大倍数Usfac为100，那么细定位将在150×150像素区域内进行傅里叶逆变换获取细定位峰值，则定位精度达到0.01像素。

本发明中以精密电子组装中的PCB板微位移检测为具体实施对象，阐述本发明的具体实施过程。依据本发明的检测流程步骤(1)，实施本发明方法获得的微位移前的电子组装图像如附图2所示，实施本发明方法获得的微位移后的电子组装图像如附图3所示。本发明的检测目的是采用基于视觉的方法实现附图2和附图3的之间的微小位移量检测。依据本发明的检测流程步骤(2)，在粗定位中通过相位算法进行像素级的粗定位检测，实施本发明方法获得的粗定位的频谱图如附图4所示。依据本发明的检测流程步骤(3)，通过在粗定位点邻域范围内高倍数重采样进行细定位，实现高精度亚像素级的平移检测，实施本发明方法获得的精定位频谱图如附图5所示。

为了检验本发明的检测效果和优势，设定了2组理想位移量(10.7866，20.6167)像素和(0.4537，0.8961)像素的精密电子组装中PCB板位移图像。同时，为了检测本发明对光照变换和噪声的鲁棒性，在两组设定位移量后的检测图像中分别添加信噪比(SNR)为5，10，20，30，40，∞的高斯白噪声。本发明对于上述设定微位移量的检测结果如表1所示。从表1中实验数据可以看出，在无噪声情况下(即：SNR＝∞)，本发明方法均可以取得高精度的亚像素级定位结果。当信噪比(SNR)为20db及以上时，本发明方法的亚像素级定位精度均在0.01像素范围内。当信噪比较低(SNR＜20dB)时，本文方法的定位精度仍然在0.05像素内，实现了在高噪声、低信噪比下高精度亚像素级的定位效果。

表1本发明方法在不同信噪比下亚像素级定位结果

Claims (5)

1.一种在精密电子组装中的基于视觉的微位移检测方法，其特征在于包括以下步骤：

(1)采集场景图像平移前后的两幅图像；

(2)通过相位算法进行像素级的粗定位点；包括通过对两幅图像分别进行频域傅里叶变换，计算归一化的傅里叶相关谱函数，进行傅里叶逆变换，然后进行二维最大值搜索粗定位点，检测出像素级的平移量(x_shift，y_shift)；

(3)通过在粗定位点邻域范围内高倍数重采样进行细定位，实现高精度亚像素级的平移检测。

2.根据权利要求1所述的方法，其特征在于步骤(1)中，将相机置于X-Y平台的支架上，跟随X-Y平台运动，通过相机摄取X-Y平台的微小位移前后的两幅图像。

3.根据权利要求1或2所述的方法，其特征在于步骤(2)中，所述相位算法如下：

相位相关是根据傅里叶变换中的平移定理。假设f₁(x，y)和f₂(x，y)两幅存在平移变换(x₀，y₀)的图像，满足

f₂(x，y)＝f₁(x-x₀，y-y₀)       (a)

它们对应的傅里叶变换分别为F₁(u，v)和F₂(u，v)，将有如下关系式：

定义两幅图像间的交叉相关谱P(u，v)如下：

其中，F^*表示F的复共轭，傅里叶变换的平移定理保证了图像间的交叉能量谱相位等于图像间的相位差；在频率域中对P(u，v)进行傅里叶逆变换(IDFT)，那么将在(x₀，y₀)取得单位脉冲函数：

上式中除了在平移(x₀，y₀)存在脉冲函数，其它地方几乎为零，用于测量两幅图像 间的平移量。

4.根据权利要求3所述的方法，其特征在于步骤(3)中，所述高倍数重采样包括如下步骤：

①输入设定的重采样率；

②在粗定位点的邻域范围采样；

③采用矩阵乘法DFT(离散傅里叶变换)计算相位相关；

④搜索二维最大值。

5.根据权利要求4所述的方法，其特征在于步骤(3)中，所述细定位包括：利用上述矩阵乘法DFT获取粗定位点(x_shift，y_shift)的1.5×1.5像素邻域范围内Usfac倍采样后的区域，通过计算该上采样区域的相位相关得到像素级的平移量(x_upshift，y_upshift)，考虑重采样倍数Usfac，则得到亚像素级的平移量(x_upshift/Usfac，y_upshift/Usfac)；因此，基于相位相关的复合配准定位的平移检测量(x，y)为：

x＝x_shift+x_upshift/Usfac

y＝y_shift+y_upshift/Usfac° 

Images