CN103559499A

CN103559499A - 一种rgb矢量匹配快速识别系统及方法

Info

Publication number: CN103559499A
Application number: CN201310467455.XA
Authority: CN
Inventors: 高红霞; 戚其丰; 马鸽; 胡跃明
Original assignee: South China University of Technology SCUT
Current assignee: South China University of Technology SCUT
Priority date: 2013-10-09
Filing date: 2013-10-09
Publication date: 2014-02-05
Anticipated expiration: 2033-10-09
Also published as: CN103559499B

Abstract

本发明一种RGB矢量匹配快速识别系统，包括图像获取模块、存储模块、匹配模块和检测模块，其中图像获取模块用来获取待识别图像；存储模块，用来存储模板图像和获取的待识别图像；匹配模块，用来移动模板图像，在待识别图像中搜寻与模板图像相匹配的单元，利用四元数相关性来判定是否存在与模板物体具有相同形状、大小、颜色和亮度的物体；检测模块，根据匹配模块的计算结果来判断待识别图像与模板图像的匹配度，检测PCB是否存在焊点缺陷。本发明的系统及方法，其计算量小、不破坏各色彩之间的关联性且精度较高。

Description

一种RGB矢量匹配快速识别系统及方法

技术领域

本发明涉及彩色图像处理及精密电子组装过程中PCB缺陷检测领域，特别涉及一种适用于彩色图像处理的RGB矢量匹配快速识别系统及方法。

背景技术

现代电子工业中，印刷电路板(PCB)作为电子元器件的载体，其贴装质量直接影响产品的性能。在实际生产过程中，由于原材料、设备稳定性、温度、人为操作失误等不确定因素造成PCB缺陷在所难免，因此为了确保PCB的质量达标必须对PCB焊接质量进行检测。

PCB缺陷种类繁多，常见的元器件贴放缺陷，如错件、少件只涉及到二维信息，仅需灰度图像模板匹配就可有效地检测出来，而对于焊点缺陷则涉及到三维深度信息，因此很难通过灰度图像反映焊点好坏。

对于像焊点缺陷一样涉及到三维深度信息的缺陷，目前的检测方法有两种：

一、基于单色光源多角度拍摄多张灰度图像方法，其增加了区分不同观测角度的功能，因此数据计算更加庞杂、处理过程更加复杂；

二、基于特殊架构光源的单一镜头彩色图像处理方法，其优点是拍摄的图像更能反映实际人眼视觉，故越来越多的应用于PCB缺陷检测。传统的彩色图像匹配方法将图像分成三个分量（RGB），将每一个分量的图像看成一个灰度图像，分别在各自的分量中进行匹配处理，然后根据每种颜色的权重值来合成最后的结果，但是这种彩色图像匹配方法人为的破坏了彩色图像各色彩之间的关联性，对匹配算法的精度和鲁棒性造成不同程度的影响，并且分别对三个分量进行匹配处理，计算量增大。故人们需要一种计算量小、不破坏各色彩之间的关联性且精度较高的彩色图像匹配方法。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种RGB矢量匹配快速识别系统，其计算量小、不破坏各色彩之间的关联性且精度较高。

本发明的另一目的在于提供一种RGB矢量匹配快速识别方法。

本发明的目的通过以下的技术方案实现：

一种RGB矢量匹配快速识别系统，包括图像获取模块、存储模块、匹配模块和检测模块，其中

图像获取模块，为单镜头彩色光源立体视觉系统，用来获取待识别图像；

存储模块，用来存储模板图像和获取的待识别图像；

匹配模块，用来移动模板图像，在待识别图像中搜寻与模板图像相匹配的单元，利用四元数相关性来判定是否存在与模板物体具有相同形状、大小、颜色和亮度的物体：首先用四元数矩阵模型描述待识别图像，即待识别图像中每一个位置的彩色值均可以用一个四元数矢量表示；然后用四元数f(ξ,η)表示模板图像，用四元数g(ξ,η)表示PCB的待识别图像，f(ξ,η)、g(ξ,η)大小分别为M×N,P×Q；最后计算待识别图像是否存在某个位置(m₀,n₀)，使得g(m,n)=f(m-m₀,n-n₀)；

检测模块，检测模块根据匹配模块的计算结果来判断待识别图像与模板图像的匹配度，若待识别图像存在某个位置(m₀,n₀)，使得g(m,n)=f(m-m₀,n-n₀)，则说明待识别图像g(ξ,η)中在位置(m_s,n_s)处存在一个与模板图像相匹配的物体，彩色图像识别完成。

图像获取模块中，所述的单镜头彩色光源立体视觉系统为单镜头三环特殊彩色光源架构，使拍摄的二维图像传达了三维的信息，且增加了色度信息。从而满足了PCB焊点检测的要求。

本发明的另一目的通过以下的技术方案实现：

一种RGB矢量匹配快速识别方法，包含以下顺序的步骤：

1）利用图像获取模块的单镜头彩色光源立体视觉系统，获取待识别图像；

2）将待识别图像存储于存储模块中，存储模块中还存储有模板图像，以备匹配模块调用；

3）利用匹配模块来移动模板图像，在待识别图像中搜寻与模板图像相匹配的单元，利用四元数相关性来判定待识别图像与模板图像之间是否具有相同形状、大小、颜色和亮度的物体：

a、首先用四元数矩阵模型描述待识别图像，即待识别图像中每一个位置的彩色值均可以用一个四元数矢量表示；

b、然后用四元数f(ξ,η)表示模板图像，用四元数g(ξ,η)表示PCB的待识别图像，f(ξ,η)、g(ξ,η)大小分别为M×N,P×Q；

c、最后计算待识别图像是否存在某个位置(m₀,n₀)，使得g(m,n)=f(m-m₀,n-n₀)；

4）检测模块根据步骤3）的计算结果来判断待识别图像与模板图像的匹配度，若待识别图像存在某个位置(m₀,n₀)，使得g(m,n)=f(m-m₀,n-n₀)，则说明待识别图像g(ξ,η)中在位置(m_s,n_s)处存在一个与模板图像相匹配的物体，彩色图像识别完成。

所述的步骤3），具体包含以下步骤：

（1）计算模板图像的能量函数Ef，其中

和待识别图像的能量函数E_g(m,n)，其中

E_{g} (m, n) = Σ_{ξ = 0}^{M - 1} Σ_{η = 0}^{N - 1} | g (ξ - m, η - n) |;

（2）取C和D满足：

\{\begin{matrix} C &GreaterEqual; M + P - 1 \\ D &GreaterEqual; N + Q - 1 \end{matrix},

这里C和D都是2的指数次方，延拓模板图像f(ξ,η)和待识别的图像g(ξ,η)，得到f_e(ξ,η)和g_e(ξ,η)，确保它们在x方向有相同的周期C，在y方向有相同的周期D；

（3）计算延拓后的两幅图像f_e(ξ,η)和g_e(ξ,η)的四元数相关性函数

b (m, n) = Σ_{ξ = 0}^{M - 1} Σ_{η = 0}^{N - 1} f (ξ, η) \overset{&OverBar;}{h (ξ - m, η - n)};

（4）将（3）中的卷积运算转换为频域中的傅里叶变换，并利用四元数相关性的傅里叶变换提高计算速度，这里均使用f_e(ξ,η)和g_e(ξ,η)进行运算；

（5）由步骤①和④的结果，计算归一化后的四元数相关性函数h(m,n)；

（6）选择阙值P₁，P₂，d₁，使其满足条件P₁<1<P₂，d₁<1，并且要求P₁，P₂，d₁均接近等于1；

（7）计算|g(m_s,n_s)|并判断其值是否在区间[P₁,P₂]内，且满足

ρ = \frac{| g_{r} (m_{s}, n_{s}) |}{| g_{r} (m_{s}, n_{s}) | + | g_{i} (m_{s}, n_{s}) | + | g_{j} (m_{s}, n_{s}) | + | g_{k} (m_{s}, n_{s}) |} > d_{1} .

步骤4）中，所述的四元数相关性的傅里叶变换通过下式实现：

h (x, y) = IQFT (F_{(q 3)} (w, v) \overset{&OverBar;}{G_{a (q 3)} (w, v)} - F_{(q 3)} (- w, - v) \cdot j H_{b (q 3)} (- w, - v)),

其中IQFT为反四元数傅里叶变换：

f (x, y) = {(4 π^{2})}^{- 1} {&Integral;}_{- \infty}^{\infty} {&Integral;}_{- \infty}^{\infty} F_{(q 3)} (w, v) \cdot e^{μ_{1} (wx + vy)} dwdv .

本发明与现有技术相比，具有如下优点和有益效果：

一、不破坏各色彩之间的关联性：待识别图像和模板图像用四元数模型表示，充分利用彩色图像的整体信息，对RGB这一有机整体并行处理，实现了真正意义上的矢量图像识别；

二、精确度高：待识别图像与模板图像之间只有当形状、大小、亮度、颜色都相同时才能够得到较大的匹配度，故本发明的系统及方法不仅可以检测出PCB是否缺件，还可以检测出相同形状的部件是否具有不同亮度的缺陷；

三、计算速度快：通过卷积定理将空间域和频率域联系起来，把四元数相关性的卷积计算转化为快速傅里叶变换的乘积，显著提高了计算速度，在一定程度上解决了长期以来直接四元数相关性算法由于速度慢而难以推广应用的难题。

附图说明

图1为本发明所述的一种RGB矢量匹配快速识别系统的结构示意图；

图2为本发明所述的一种RGB矢量匹配快速识别方法的流程图。

具体实施方式

如图1所示，一种RGB矢量匹配快速识别系统，包括图像获取模块、存储模块、匹配模块和检测模块，其中

图像获取模块，为单镜头彩色光源立体视觉系统，用来获取待识别图像，其中所述的单镜头彩色光源立体视觉系统为单镜头三环特殊彩色光源架构，且增加了色度信息；

存储模块，用来存储模板图像和获取的待识别图像；

一种RGB矢量匹配快速识别方法，如图2所示，包含以下顺序的步骤：

首先，将图像获取模块中单镜头彩色光源立体视觉系统采集到的待识别PCB板彩色图像存入存储模块；

接着，匹配模块读取存储模块中的一幅待识别图像和一幅模板图像，并建立以上两幅图像的四元数矩阵模型；令四元数q=q_r+q_ii+q_jj+q_kk中的纯量部分q_r=0，得到用四元数表示的RGB三色空间彩色图像的色度值，写成f(x,y)=R(x,y)i+G(x,y)j+B(x,y)k，其中R(x,y),G(x,y),B(x,y)分别表示图像在位置(x,y)处的RGB三色空间的阶调值；

进一步地，由卷积定理知函数卷积的傅里叶变换是函数傅里叶变换的乘积，因此二者可通过运算相互转换；但由傅里叶变换得到卷积函数时，对函数的周期性有一定的约束，否则将导致结论错误；因此为保证模板图像函数f(ξ,η)和待识别的图像函数g(ξ,η)在x方向有相同的周期C，在y方向有相同的周期D，必须要对其进行延拓处理；周期C和D均为2的指数次方并且满足

\{\begin{matrix} C &GreaterEqual; M + P - 1 \\ D &GreaterEqual; N + Q - 1 \end{matrix},

延拓模板图像f(ξ,η)和待识别图像g(ξ,η)，得到f_e(ξ,η)和g_e(ξ,η)，使得二者具有相同的周期；

传统的应用于灰度图像的相关性技术，其相关性函数归一化形式为：

R (x, y) = \frac{Σ_{i = 0}^{M - 1} Σ_{j = 0}^{N - 1} f (i, j) h (i + x, j + y)}{\sqrt{Σ_{i = 0}^{M - 1} Σ_{j = 0}^{N - 1} {| f (i, j) |}^{2}} \sqrt{Σ_{i = 0}^{M - 1} Σ_{j = 0}^{N - 1} {| h (i + x, j + y) |}^{2}}}

随着图像亮度的变化，R(x,y)也随之变化，当且仅当模板图像和待识别图像相应位置的图像完全匹配时，R(x,y)=1；相似于传统的相关性函数，得到适用于彩色图像的四元数相关性函数归一化形式如下：

h (m, n) = \frac{b (m, n)}{\sqrt{E_{f}} \sqrt{E_{h} (m, n)}}

其中，

b(m,n)为四元数相关性函数，表示为b(m,n)

E_f为模板图像的能量函数，表示为

E_g(m,n)为待识别图像的能量函数，表示为

其中，0≤m≤P-M+1,0≤n≤Q-N+1；

在四元数相关性计算过程中，鉴于时域离散的卷积计算复杂度高，耗时太长，对于实际应用中的实时性要求并不能很好的满足；因此本发明将时域中的卷积运算转换为频域中简单的傅里叶函数乘积运算，并将其应用到四元数相关性的计算中，从而提高了计算速度；四元数相关性的傅里叶变换通过下式实现：

h (x, y) = IQFT (F_{(q 3)} (w, v) \overset{&OverBar;}{G_{a (q 3)} (w, v)} - F_{(q 3)} (- w, - v) \cdot j H_{b (q 3)} (- w, - v)),

其中IQFT为反四元数傅里叶变换：

f (x, y) = {(4 π^{2})}^{- 1} {&Integral;}_{- \infty}^{\infty} {&Integral;}_{- \infty}^{\infty} F_{(q 3)} (w, v) \cdot e^{μ_{1} (wx + vy)} dwdv

进一步地，选取阙值P₁，P₂，d₁，使其满足条件P₁<1<P₂，d₁<1，并判断|g(m_s,n_s)|的值是否在区间[P₁,P₂]内，且满足如下式子：

ρ = \frac{| g_{r} (m_{s}, n_{s}) |}{| g_{r} (m_{s}, n_{s}) | + | g_{i} (m_{s}, n_{s}) | + | g_{j} (m_{s}, n_{s}) | + | g_{k} (m_{s}, n_{s}) |} > d_{1}

最后，检测模块判断是否满足以上条件：若上述的条件都满足，则说明待识别图像g(ξ,η)中在位置(m_s,n_s)处存在一个与模板物体具有相同形状、大小、颜色和亮度的物体，若有其中一个条件不满足，或二者皆不满足，则不存在与模板相匹配的物体；至此，PCB板彩色图像识别完毕。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims

1.一种RGB矢量匹配快速识别系统，其特征在于，包括图像获取模块、存储模块、匹配模块和检测模块，其中

存储模块，用来存储模板图像和获取的待识别图像；

2.根据权利要求1所述的RGB矢量匹配快速识别系统，其特征在于，图像获取模块中，所述的单镜头彩色光源立体视觉系统为单镜头三环特殊彩色光源架构，使得拍摄的二维图像传达了三维信息，且增加了色度信息。

3.一种RGB矢量匹配快速识别方法，包含以下顺序的步骤：

4.根据权利要求3所述的RGB矢量匹配快速识别方法，其特征在于，所述的步骤3），具体包含以下步骤：

（1）计算模板图像的能量函数E_f，其中和待识别图像的能量函数E_g(m,n)，其中

E_{g} (m, n) = Σ_{ξ = 0}^{M - 1} Σ_{η = 0}^{N - 1} | g (ξ - m, η - n) |;

（2）取C和D满足：

\{\begin{matrix} C &GreaterEqual; M + P - 1 \\ D &GreaterEqual; N + Q - 1 \end{matrix},

这里C和D均为2的指数次方，延拓模板图像f(ξ,η)和待识别的图像g(ξ,η)，得到f_e(ξ,η)和g_e(ξ,η)，确保它们在x方向有相同的周期C，在y方向有相同的周期D；

b (m, n) = Σ_{ξ = 0}^{M - 1} Σ_{η = 0}^{N - 1} f (ξ, η) \overset{&OverBar;}{h (ξ - m, η - n)};

ρ = \frac{| g_{r} (m_{s}, n_{s}) |}{| g_{r} (m_{s}, n_{s}) | + | g_{i} (m_{s}, n_{s}) | + | g_{j} (m_{s}, n_{s}) | + | g_{k} (m_{s}, n_{s}) |} > d_{1} .

5.根据权利要求4所述的RGB矢量匹配快速识别方法，其特征在于，步骤4）中，所述的四元数相关性的傅里叶变换通过下式实现：

h (x, y) = IQFT (F_{(q 3)} (w, v) \overset{&OverBar;}{G_{a (q 3)} (w, v)} - F_{(q 3)} (- w, - v) \cdot j H_{b (q 3)} (- w, - v)),

其中IQFT为反四元数傅里叶变换：

f (x, y) = {(4 π^{2})}^{- 1} {&Integral;}_{- \infty}^{\infty} {&Integral;}_{- \infty}^{\infty} F_{(q 3)} (w, v) \cdot e^{μ_{1} (wx + vy)} dwdv .