CN201886521U - 一种快速图像拼接系统 - Google Patents

Abstract

本实用新型为一种快速图像拼接系统，包括依次连接的获取单幅视野图像模块、提取待拼接图中的特征信息模块、重叠位置配准模块和重叠区域融合模块；所述重叠位置配准模块通过对待拼接图像进行二维小波变换，获得反映图像水平和垂直方向变化轮廓的高频系数，然后结合相位相关法实现重叠位置配准；所述重叠区域融合模块采用加权平均法来对图像重叠区域进行融合。本实用新型能实现对多种规格、不同颜色的PCB图像实现快速、准确的拼接。

Description

一种快速图像拼接系统

技术领域

本实用新型属于图形处理系统，尤其涉及一种基于二维小波变换的快速图像拼接系统。可应用于贴装PCB自动光学检测系统中的图像拼接。

背景技术

随着科学技术的发展，图像拼接已成为图像信息处理领域中一项非常重要的技术。图像拼接技术是根据图像重叠部分，将多张衔接的图像拼合成一张高分辨率的全景图。目前图像拼接技术广泛应用于数字视频、运动分析、虚拟现实技术、医学图像分析、遥感图像处理等领域，直接研究AOI(自动光学检测)中图像拼接问题的不多。图像拼接包括重叠部分的图像配准和接缝处的图像融合两部分内容。图像拼接技术的核心和关键是图像配准问题，它直接关系到图像拼接算法的成功率和运行速度。因此，配准算法的研究是多年来图像拼接技术研究的重点。早在1992年，剑桥大学的Lisa Gottesfeld Brown就已经总结了各领域图像配准技术的基本理论以及它们的主要方法，这些领域包括有医学图像分析、遥感数据处理以及计算机视觉、模式识别等。1996年，Richard Szeliski提出了基于运动的全景图像拼接模型，采用Levenberg-Marquardt迭代非线性最小化方法(简称L-M算法)，通过求出图像间的几何变换关系来进行图像配准。由于此方法效果较好，收敛速度快，且可处理具有平移、旋转、仿射等多种变换的待拼接图像，因此也成为图像拼接领域的经典算法，而Richard Szeliski也从此成为图像拼接领域的奠基人，他所提出的理论已经成为一种经典理论体系，直到今天仍然有很多人在研究他的拼接理论。2000年，Shmuel Peleg、BennyRousso、AlexRav-Acha和Assaf Zomet在Richard Szeliski的基础上做了进一步的 改进，提出了自适应的图像拼接模型，它是根据相机的不同运动，自适应选择拼接模型，通过把图像分成狭条形进行多重投影来完成图像的拼接。这一研究成果无疑推动了图像拼接技术的进一步发展，自适应问题也从此成为图像拼接领域研究的新热点。

与此同时，其他配准算法的发展也应用到了图像拼接技术上来。除了上述的经典算法之外，还有两种主要方法，一种是相位相关法，另一种是基于几何特征的图像配准方法。相位相关法最早在1975年由Kuglin和Hines提出，具有场景无关性，能够将纯粹二维平移的图像精确地对齐。后来，Decastro和Morandi发现用傅立叶变换可以使图像的旋转转化为图像的平移，这种方法对旋转和缩放的图像配准非常适合。1996年，Reddy和Chaterji改进了Decastro的算法，大大减少了需要转换的数量。两幅图像的平移矢量可以通过它们互功率谱(CrossPower Spectrum)的相位直接计算出来。应用傅立叶变换进行图像的配准是图像拼接领域的另一研究成果，而且随着快速傅立叶变换算法的提出以及信号处理领域对傅立叶变换的成熟应用，图像拼接技术也得到了相应的发展。

基于几何特征的图像配准方法是图像拼接技术的另一研究热点。1994年，Blaszka T和Rachid Deriche通过二维高斯模糊过滤得到一些低级特征模型，如边模型、角模型和顶点模型。以此为基础，后来有越来越多的人开始研究基于这些图像中的低级特征进行图像拼接的方法。1997年，Zoghlami I、FaugerasoDeriche R提出基于几何角模型的图像对齐算法。接着在1999年，Bao P和Xu D提出利用小波变换提取保留边(edge-preserving)的视觉模型进行图像对齐，而Nie1sen F则提出基于几何点特征优化的匹配方法。2000年，Kang.E.Cohen I和Medioni G提出基于图像的高级特征进行图像拼接的方法，他是利用特征图像关系图来进行图像对齐。通过利用图像的低级特征到后来利用其高级特征，人们 对图像的分析和理解日益深入，图像拼接技术的研究也逐渐成熟起来。

按照配准的依据不同，图像配准方法大致可以分为基于特征的图像配准算法和基于区域的图像配准算法。图像配准算法按照人参与的程度可分为半自动配准和全自动配准。另外，由于在重叠区域直接取两幅图像中其中的一幅进行图像合成，图像配准后，很容易在重叠区域的边界处形成明显的接缝，这些都会使后续的图像分割等处理产生误差。对于这类问题，通常都是采用图像融合的方法解决。而常用的图像融合方法有淡入淡出法、塔形融合算法、数学形态法、小波算法等。

实用新型内容

针对传统的图像拼接算法处理光照干扰效果不好，并且算法复杂，不适合应用在AOI中的图像拼接的问题。本实用新型提供一种拼接时间更短、准确度更高的适用于AOI的基于二维小波变换的快速图像拼接系统。

本实用新型包括如下技术特征：一种快速图像拼接系统，包括依次连接的获取单幅视野图像模块、提取待拼接图中的特征信息模块、重叠位置配准模块和重叠区域融合模块；所述重叠位置配准模块通过对待拼接图像进行二维小波变换，获得反映图像水平和垂直方向变化轮廓的高频系数，然后结合相位相关法实现重叠位置配准；所述重叠区域融合模块采用加权平均法来对图像重叠区域进行融合。

进一步的，所述重叠位置配准模块包括依次连接的：

二维小波变换单元，该单元对灰度处理后的图像进行二维小波变换，降低图像的分辨率，压缩图像；同时获得反映图像水平方向和垂直方向变化的高频系数；

拼接单元，该单元在水平拼接时忽略图像垂直方向偏差，垂直拼接时忽略 图像水平方向的偏差；水平拼接时采用垂直高频系数的灰度列均值，垂直拼接时采用水平高频系数灰度行均值进行运算；

消除光照噪声单元，该单元根据具体的图像设置阈值，消除由于光照不均匀造成的噪声，提高配准的精度；

相位相关法配准单元，该单元根据相位相关法获得图像水平和垂直方向上的配准位置。

更进一步的，所述重叠区域融合模块为使用加权平均法对相位相关法配准单元获得的配准位置进行平滑过渡，消除拼接的痕迹，实现图像融合。

本实用新型与现有技术相比，通过对图像进行二维小波变换去掉反映光照渐变的低能量系数，获得反映图像水平和垂直方向变化轮廓的高频系数，针对AOI的工程实际，能有效地降低计算复杂度；同时结合相位相关法实现快速精确的重叠位置配准并采用加权平均法来实现图像的融合。以实现对多种规格、不同颜色的PCB图像实现快速、准确的拼接。

附图说明

图1是本实用新型的图像拼接系统模块图。

具体实施方式

一种快速图像拼接系统，其模块连接关系如图1所示，包括依次连接的获取单幅视野图像模块、提取待拼接图中的特征信息模块、重叠位置配准模块和重叠区域融合模块；所述重叠位置配准模块通过对待拼接图像进行二维小波变换，获得反映图像水平和垂直方向变化轮廓的高频系数，然后结合相位相关法实现重叠位置配准；所述重叠区域融合模块采用加权平均法来对图像重叠区域进行融合。

所述重叠位置配准模块包括依次连接的：

二维小波变换单元，该单元对灰度处理后的图像进行二维小波变换，降低图像的分辨率，压缩图像；同时获得反映图像水平方向和垂直方向变化的高频系数；

拼接单元，该单元在水平拼接时忽略图像垂直方向偏差，垂直拼接时忽略图像水平方向的偏差；水平拼接时采用垂直高频系数的灰度列均值，垂直拼接时采用水平高频系数灰度行均值进行运算；

消除光照噪声单元，该单元根据具体的图像设置阈值，消除由于光照不均匀造成的噪声，提高配准的精度；

相位相关法配准单元，该单元根据相位相关法获得图像水平和垂直方向上的配准位置。

所述重叠区域融合模块为使用加权平均法对相位相关法配准单元获得的配准位置进行平滑过渡，消除拼接的痕迹，实现图像融合。

本实用新型关键是对于图像的配准和图像的融合，下面具体对这两个方面予以说明：

一、图像配准：

图像配准依据的是图像的轮廓，而小波分解的高频系数正好反映了图像的变化轮廓。在贴片安装机器视觉检测AOI的工程实际中，贴片生产线对AOI的检测速度有实时性要求。而相位相关法的运算量是很大的，设两幅图像f₁(x，y)和f₂(x′，y)之间有坐标转换关系如下：

$\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\end{array}\right]=\left[\begin{array}{cc}\cos {\mathrm{\θ}}_0& \sin {\mathrm{\θ}}_0\\ -\sin {\mathrm{\θ}}_0& \cos {\mathrm{\θ}}_0\end{array}\right]\left[\begin{array}{c}x-x_0\\ y-y_0\end{array}\right]---\left(1\right)$

其中θ₀表示旋转量，(x₀，y₀)表示平移量。两者均作傅里叶变换得：

F₂(ζ，η)＝F₁(ζcosθ₀+ηsinθ₀，-ζsinθ₀+         (2)

$\mathrm{\ηos}{\mathrm{\θ}}_0)e^{-j[(\mathrm{\ζ}\cos {\mathrm{\θ}}_0+\mathrm{\η}\sin {\mathrm{\θ}}_0)x_0+(-\mathrm{\ζ}\sin {\mathrm{\θ}}_0+\mathrm{\ηos}{\mathrm{\θ}}_0)y_0]}$

可见，空域中的平移在频域中只反映在相位变化，空域中的旋转量可有频域的幅值确定。两幅图像的互功率谱为：

$\frac{F_1(\mathrm{\ζ},\mathrm{\η}){F_2}^{*}(\mathrm{\ζ},\mathrm{\η})}{\left|F_1(\mathrm{\ζ},\mathrm{\μ}){F_2}^{*}(\mathrm{\ζ},\mathrm{\η})\right|}=e^{-j(\mathrm{\ζ}{x}_0+\mathrm{\η}{y}_0)}---\left(3\right)$

M×N的模板按式(3)的计算量为(M×N)²，这样无法满足检测速度的要求。而拼接得到的图像，只是为了作路径规划和定位等，像素上要求不高。可以对图像进行二维小波变换，这样一幅1200dpi分辨率的图像，变换后降低分辨率到1/16，即80μm/pixel，对于最小的0201元件0.3mm的尺寸在图像上为3个像素，仍然可以分辨，能满足后续的需求。

因此对图像进行二维小波变换，分别得到低频成分和分别反映图像水平变化、垂直变化和对角方向变化的高频系数共4部分。

根据图像的小波分解垂直系数反映图像中水平方向的灰度变化的性质，即图像中物体的垂直轮廓，而垂直轮廓正是图像间水平偏差配准的依据。因此，在处理图像水平方向的拼接时候，采用图像小波分解后垂直方向上的高频系数。图像小波变换得到图像的高频系数的同时，也对图像实现了压缩。一幅1200×910像素、1092000字节的图像，在变换后压缩为311×238像素、592144字节的图像，压缩至原图像的54％。这样后面相位相关的计算量就大大减少了。

AOI的X-Y平台移动精度相当高，误差在^6-10μm，这样在水平拼接的时候，我们可以忽略垂直方向上的偏差；在垂直拼接的时候，忽略水平方向上的偏差。我们可以考虑在水平拼接的时候直接采用列均值，在垂直拼接的时候直接采用行均值。一幅M×N图像的列均值和行均值分别是：

$X\left(j\right)=\underset{i}{\overset{M}{\mathrm{\Σ}}}F(i,j)/M---\left(4\right)$

$Y\left(i\right)=\underset{j}{\overset{N}{\mathrm{\Σ}}}F(i,j)/N---\left(5\right)$

其中F(i，j)为图像在(i，j)处的像素值，M为图像行数，

N为图像列数。X(i)和Y(j)分别是第j列的灰度列均值和第i行的灰度行均值。

在AOI中，由于照明光源的成本和光源随着使用时间的变化，普遍存在着光照不均匀的现象。这样相机获得的图像，容易受到光照噪声的干扰，影响配准的结果。这些噪声在高频域变现为低能量的系数。对于这种情况我们做配准的时候除了只采用反映轮廓变化的高频系数，还通过在小波分解高频系数中设定阈值，把绝对值小于阈值的看作是噪声过滤掉。其中阈值的设定没有严格的规定，我们是根据具体图像的高频系数最大幅值乘以一个比例系数来确定。

以Matlab作为实验平台，将参考图像与待拼接图像小波变换后的垂直高频系数进行快速傅里叶变换，按公式(1)进行相位相关计算，得到图像水平方向上的相关结果。由结果可以看出，得到了较好的峰值效果，算法在参考图像水平方向的172像素处准确找到重叠位置。

二、基于加权平均法的图像融合

找到两幅图像的重叠位置后，如果直接进行拼接，由于两幅图像灰度值的不连续，在配准位置将出现明显的接缝，影响图像的效果。

考虑到我们的X-Y移动平台精度高，图像间的旋转误差很小，并且图像间只是存在水平或垂直中一个方向的平移量，我们采用了加权平均法来消除拼接处的接缝。加权平均法是一种简单的图像融合算法。该方法的原理就是将两幅图像对应像素点乘以一个加权系数后再相加得到融合的图像。设图像I₁(x，y)的加权系数为α，则融合图像可以表示为：

I(i，j)＝αI₁(i，j+(1-α)I₂(i，j)          (6)

其中，加权系数α满足0≤α≤1。若α＝0.5，则相当于两幅图像取平均值；若α取为渐变系数，即在不同的坐标点取值也不同；当α由1慢慢变化到0时，图像从I₁(i，j)慢慢过渡到I₂(i，j)，这样就可以实现图像的平滑过渡，从而消除了拼接的痕迹，达到图像融合的目标。由采用加权平均法融合的拼接效果，u可见算法很好的消除了拼接后的接缝，实现平滑过渡。

Claims (2)

1.一种快速图像拼接系统，其特征在于包括依次连接的获取单幅视野图像模块、提取待拼接图中的特征信息模块、重叠位置配准模块和重叠区域融合模块；所述重叠位置配准模块通过对待拼接图像进行二维小波变换，获得反映图像水平和垂直方向变化轮廓的高频系数，然后结合相位相关法实现重叠位置配准；所述重叠区域融合模块采用加权平均法来对图像重叠区域进行融合。

2.根据权利要求1所述的快速图像拼接系统，其特征在于所述重叠位置配准模块包括依次连接的：

二维小波变换单元，该单元对灰度处理后的图像进行二维小波变换，降低图像的分辨率，压缩图像；同时获得反映图像水平方向和垂直方向变化的高频系数；

拼接单元，该单元在水平拼接时忽略图像垂直方向偏差，垂直拼接时忽略图像水平方向的偏差；水平拼接时采用垂直高频系数的灰度列均值，垂直拼接时采用水平高频系数灰度行均值进行运算；

消除光照噪声单元，该单元根据具体的图像设置阈值，消除由于光照不均匀造成的噪声，提高配准的精度；

相位相关法配准单元，该单元根据相位相关法获得图像水平和垂直方向上的配准位置。 

Images