CN103288039A - 微零件装配系统及相应的在线装配方法 - Google Patents

Abstract

本发明公开了一种适用于微零件装配的装配系统及相应的在线装配方法。该装配系统包括多路显微视觉系统、显微视觉系统控制模块、运动平台控制模块、图像基础测量模块、微零件装配模块、三维动画显示模块和三维动画显示系统，该装配系统适用于多种微零件的装配，具有较好的通用性和适应性。本发明还公开了一种相应的微零件在线装配方法，该方法基于空间彼此近似正交排布的三路显微视觉引导，通过在线检测微零件的相对位姿，控制微零件位姿调整，从而实现装配，该在线装配方法适用于复杂结构微零件在三维空间的装配。本发明具有广泛的应用前景和可观的社会经济效益。

Description

微零件装配系统及相应的在线装配方法

技术领域

本发明属于微装配和微操作技术领域，尤其是一种微零件装配系统及相应的在线装配方法，适用于复杂结构微零件的装配。

背景技术

微装配与微操作是指对微小器件的装配和对细胞与生物组织的操作。微装配技术广泛应用于生物医学、临床医学、工业等各个领域。国内外在微装配方面的研究表明，采用显微视觉实现微零件装配，是微装配技术的发展趋势。然而，由于显微视觉系统视场小，景深短，难以构成传统的立体视觉系统，微零件三维空间位姿不易确定，微装配自动化面临困难。目前，国内外虽然对微零件装配研究取得了一些进展，但微装配机器人大多实现微零件的二维平面装配，微零件结构简单，装配效率低，并且对复杂结构微零件三维空间装配方法研究较少。为实现微零件自动化装配，亟需一种适用于复杂结构微零件的三维空间在线装配方法，及适用于多种微零件装配的通用系统。

发明内容

本发明的目的在于解决上述现有技术存在的缺陷，提供一种能够满足多种微零件装配需求的通用系统，以及适用于复杂结构微零件的高精度在线装配方法。

本发明的突出特点是：本发明微零件装配系统适用于显微视觉引导下的多种微零件的装配，具有良好的通用性和适用性；本发明微零件在线装配方法基于空间彼此近似正交排布的三路显微视觉引导，通过对微零件三维空间6个相对位姿的在线检测，实现微零件装配，装配工艺简单，适用于复杂结构微零件在线装配。

根据本发明的一方面，提出一种微零件装配系统，该系统包括：多路显微视觉系统、显微视觉系统控制模块、运动平台控制模块、微零件装配模块，其中：

所述多路显微视觉系统包括在空间上彼此近似正交排布的三路显微视觉系统：水平1号显微视觉系统、水平2号显微视觉系统和垂直3号显微视觉系统，用于产生待装配的微零件A和B的显微视觉图像，所述待装配的微零件A和B均置于所述三路显微视觉系统的视野范围内；

所述显微视觉系统控制模块与所述多路显微视觉系统连接，用于对于多路显微视觉系统进行控制并对微零件装配过程进行观测，输出微零件A和B的显微视觉图像；

所述微零件装配模块与所述显微视觉系统控制模块连接，用于根据所述显微视觉系统控制模块输出的显微视觉图像计算微零件A和B之间的位姿误差，并基于显微视觉引导的微零件空间相对位姿检测与位姿对准，实现微零件A和B的装配；

所述运动平台控制模块与所述微零件装配模块连接，用于根据所述微零件装配模块计算得到的位姿误差通过控制多个运动平台的运动来实现微零件的位姿调整，所述多个运动平台包括：水平1号显微视觉系统运动平台，水平2号显微视觉系统运动平台，垂直3号显微视觉系统运动平台，微零件A运动平台和微零件B运动平台。

根据本发明的另一方面，提出一种微零件在线装配方法，该方法包括以下步骤：

步骤1：首先，通过水平1号显微视觉系统聚焦微零件A的图像特征区域，提取出微零件A的边缘线l₁，再聚焦微零件B的图像特征区域，提取出微零件B的边缘线l₂；然后，根据图像特征的提取结果计算微零件A和微零件B绕Y轴的角度误差Δθ_y；最后，根据角度误差Δθ_y的计算结果控制微零件B运动平台运动，将微零件B的姿态调整至与微零件A绕Y轴的角度误差Δθ_y＝0；

步骤2：首先，通过水平2号显微视觉系统聚焦微零件A图像特征区域，提取出微零件A的边缘线l₃，再聚焦微零件B的图像特征区域，提取出微零件B的边缘线l₄；然后，根据图像特征的提取结果计算微零件A和微零件B绕X轴的角度误差Δθ_x；最后，根据角度误差Δθ_x的计算结果控制微零件B运动平台运动，将微零件B的姿态调整至与微零件A绕X轴的角度误差Δθ_x＝0；

步骤3：首先，通过垂直3号显微视觉系统将微零件A移出视野范围，聚焦微零件B的图像特征区域，提取微零件B的多个图像特征，再将微零件A沿原路径移入视野范围内，聚焦微零件A的图像特征区域，提取微零件A的相应数量的图像特征，所述图像特征至少包括微零件A或B的几何中心点；然后，根据多个图像特征的提取结果计算微零件A和B的位姿误差，即微零件A和B的X轴位置误差ΔT_x，Y轴位置误差ΔT_y，绕Z轴角度误差Δθ_z；最后，根据位姿误差的计算结果控制微零件A运动平台运动，实现微零件A的位置调整，控制微零件B运动平台运动，实现微零件B的姿态调整，以使得所述误差ΔT_x，ΔT_y，Δθ_z均为零；

步骤4：首先，通过水平2号显微视觉系统聚焦微零件A的图像特征区域，再分别提取微零件A和微零件B的水平和垂直边缘线，计算微零件A水平和垂直边缘线的交点M，微零件B水平和垂直边缘线的交点N；然后，计算微零件A和微零件B的Z向距离差ΔT_z；最后，控制微零件B运动平台运动，将微零件B的位置调整至与微零件A的Z向距离差ΔT_z＝0，从而最终实现微零件A与微零件B的装配。

本发明是一个将显微视觉检测技术、微装配技术和机器人技术结合起来的完整的、具有通用性和实用性的微零件装配系统，可方便高效的实现人机协同的微零件装配应用，在线装配方法适用于复杂结构微零件的高精度在线检测及装配。随着MEMS的快速发展，本发明的应用前景和社会经济效益是可观的。

附图说明

图1是本发明微零件装配系统结构示意图。

图2是本发明三路显微视觉系统空间位姿关系示意图。

图3是本发明微零件在线装配方法流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

图1是本发明微零件装配系统结构示意图，如图1所示，所述微零件装配系统包括多路显微视觉系统、显微视觉系统控制模块、运动平台控制模块、图像基础测量模块、微零件装配模块、三维动画显示模块、三维动画显示系统，其中：

在本发明一实施例中，所述多路显微视觉系统包括三路显微视觉系统：水平1号显微视觉系统、水平2号显微视觉系统和垂直3号显微视觉系统，用于产生待装配的微零件A和B的显微视觉图像；如图2所示，所述水平1号显微视觉系统的光轴与Y轴近似平行，所述水平2号显微视觉系统的光轴与X轴近似平行，所述垂直3号显微视觉系统的光轴与Z轴近似平行，三路显微视觉系统在空间上彼此近似正交排布；而待装配的微零件A和B均置于所述三路显微视觉系统的视野范围内；

所述显微视觉系统控制模块与所述多路显微视觉系统连接，用于对于多路显微视觉系统进行控制并对微零件装配过程进行观测，输出微零件A和B的显微视觉图像，所述对于多路显微视觉系统的控制包括：多路显微视觉系统的选择、各路显微视觉系统的打开及关闭、显微视觉系统的曝光时间、增益等参数设置、显微视觉图像的保存及显示；

所述微零件装配模块与所述显微视觉系统控制模块连接，用于根据所述显微视觉系统控制模块输出的显微视觉图像计算微零件A和B之间的位姿误差，并基于显微视觉引导的微零件空间相对位姿检测与位姿对准，实现微零件A和B的装配；

所述运动平台控制模块与所述微零件装配模块连接，用于根据所述微零件装配模块计算得到的位姿误差通过控制多个运动平台的运动来实现微零件的位姿调整，对于运动平台的控制包括多个运动平台的选择、各个运动平台的打开及关闭、各个运动平台运动轴的选择、各个运动平台运动距离的输入、各个运动平台的运行、各个运动平台的急停、各个运动平台当前位置的输出；

其中，所述多个运动平台包括五个运动平台：水平1号显微视觉系统运动平台，水平2号显微视觉系统运动平台，垂直3号显微视觉系统运动平台，微零件A运动平台和微零件B运动平台。

所述图像基础测量模块与所述显微视觉系统控制模块连接，用于根据所述显微视觉系统控制模块输出的显微视觉图像进行微零件基础几何参数的测量、图像区域的聚焦、图像区域的放大以及测量结果的输出，所述微零件基础几何参数包括：微零件显微视觉图像坐标位置、微零件图像长度、微零件图像几何角度；以得到关于显微视觉图像的先验知识，该先验知识也可辅助用于所述微零件装配模块对于位置误差的计算；

所述三维动画显示模块与所述微零件装配模块连接，用于通过网络通讯(比如TCP/IP)技术将微零件A和B的空间相对位姿实时传送给事先通过openGL设计的三维动画显示系统，以将微零件的装配过程以三维动画的形式同步呈现出来。

上述多个模块中，微零件装配模块用于实现微零件装配的工艺流程设计，显微视觉系统控制模块用于实现对微零件装配过程的观测，运动平台控制模块通过控制运动平台的运动来实现微零件的位姿调整，三维动画显示模块用于在虚拟三维空间中同步显示微零件的装配过程，图像基础测量模块用于实现对微零件基础几何参数的测量。具有复杂结构的微零件装配时，按照微装配工艺流程，基于显微视觉检测，能够实现对于微零件相对位姿的估计，然后基于位姿估计结果，控制运动平台的运动，能够实现对于微零件空间位姿的调整，同时在三维空间中同步显示微零件的装配过程，从而实现对于微零件装配过程的全方位观测。

图3为本发明微零件在线装配方法的流程图，如图3所示，所述方法包括以下步骤：

步骤1：首先，通过水平1号显微视觉系统聚焦微零件A的图像特征区域，提取出微零件A的边缘线l₁，再聚焦微零件B的图像特征区域，提取出微零件B的边缘线l₂；然后，根据图像特征的提取结果计算微零件A和微零件B绕Y轴的角度误差Δθ_y，计算公式如式(1)所示：

Δθ_y＝arctan[(k₁-k₂)/(1+k₁k₂)]         (1)

其中，k₁是边缘线l₁的斜率，k₂是边缘线l₂的斜率；最后，根据角度误差Δθ_y的计算结果控制微零件B运动平台运动，将微零件B的姿态调整至与微零件A绕Y轴的角度误差Δθ_y＝0；

步骤2：首先，通过水平2号显微视觉系统聚焦微零件A图像特征区域，提取出微零件A的边缘线l₃，再聚焦微零件B的图像特征区域，提取出微零件B的边缘线l₄；然后，根据图像特征的提取结果计算微零件A和微零件B绕X轴的角度误差Δθ_x，计算公式如公式(2)所示：

Δθ_x＝arctan[(k₃-k₄)/(1+k₃k₄)]        (2)

其中，k₃是边缘线l₃的斜率，k₄是边缘线l₄的斜率；最后，根据角度误差Δθ_x的计算结果控制微零件B运动平台运动，将微零件B的姿态调整至与微零件A绕X轴的角度误差Δθ_x＝0；

步骤3：首先，通过垂直3号显微视觉系统将微零件A移出视野范围，聚焦微零件B的图像特征区域，提取微零件B的多个图像特征(比如对于圆柱形的微零件B，其图像特征可以选为顶部圆心以及顶部的多个特征孔)，再将微零件A沿原路径移入视野范围内，聚焦微零件A的图像特征区域，提取微零件A的相应数量的图像特征，所述图像特征至少包括微零件A或B的几何中心点；然后，根据多个图像特征的提取结果计算微零件A和B的位姿误差，即微零件A和B的X轴位置误差ΔT_x，Y轴位置误差ΔT_y，绕Z轴角度误差Δθ_z，计算公式如公式(3)和公式(4)所示：

$\left\{\begin{array}{c}{\mathrm{\ΔT}}_x={\mathrm{\λ}}_1(x_2-x_1)\\ {\mathrm{\ΔT}}_y={\mathrm{\λ}}_1(y_2-y_1)\end{array}\right.---\left(3\right)$

${\mathrm{\Δ\θ}}_z=\left(\underset{i=1}{\overset{16}{\mathrm{\Σ}}}{e}_i\right)/16---\left(4\right)$

其中，(x₁，y₁)，(x₂，y₂)分别是微零件A几何中心点O₁和微零件B几何中心点O₂的图像坐标，λ₁是垂直3号显微视觉系统从图像空间到笛卡尔空间单位长度的转换系数，e_i为微零件A和微零件B多对图像特征中第i对图像特征所对应的角度误差；最后，根据位姿误差的计算结果控制微零件A运动平台运动，实现微零件A的位置调整，控制微零件B运动平台运动，实现微零件B的姿态调整，以使得所述误差ΔT_x，ΔT_y，Δθ_z均为零；

步骤4：首先，通过水平2号显微视觉系统聚焦微零件A的图像特征区域，再分别提取微零件A和微零件B的水平和垂直边缘线，计算微零件A水平和垂直边缘线的交点M，微零件B水平和垂直边缘线的交点N；然后，计算微零件A和微零件B的Z向距离差ΔT_z，计算公式如公式(5)所示：

ΔT_z＝λ₂(y_M-y_N)          (5)

其中，(x_M，y_M)，(x_N，y_N)分别是点M和点N的图像坐标，λ₂是水平2号显微视觉系统从图像空间到笛卡尔空间单位长度的转换系数；最后，控制微零件B运动平台运动，将微零件B的位置调整至与微零件A的Z向距离差ΔT_z＝0，从而最终实现微零件A与微零件B的装配。

在上述步骤中，三路显微视觉系统在空间上彼此近似正交排布，微零件A和B在该三路显微视觉的引导下实现在线装配作业，其中，步骤1实现了对微零件B姿态误差Δθ_y的检测与调整，步骤2实现了对微零件B姿态误差Δθ_x的检测与调整，步骤3实现了对微零件A和B位姿误差ΔT_x、ΔT_y、Δθ_z的检测与调整；步骤4实现了对微零件B位置误差ΔT_z的检测与调整。

本发明微零件装配系统适用于显微视觉引导下多种微零件的装配，具有良好的通用性和适用性；本发明微零件在线装配方法基于空间彼此近似正交排布的三路显微视觉的引导，通过对微零件三维空间6个相对位姿的在线检测，实现了微零件装配，装配工艺简单，适用于复杂结构微零件在线装配。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种微零件装配系统，其特征在于，该系统包括：多路显微视觉系统、显微视觉系统控制模块、运动平台控制模块、微零件装配模块，其中：

所述多路显微视觉系统包括在空间上彼此近似正交排布的三路显微视觉系统：水平1号显微视觉系统、水平2号显微视觉系统和垂直3号显微视觉系统，用于产生待装配的微零件A和B的显微视觉图像，所述待装配的微零件A和B均置于所述三路显微视觉系统的视野范围内；

所述显微视觉系统控制模块与所述多路显微视觉系统连接，用于对于多路显微视觉系统进行控制并对微零件装配过程进行观测，输出微零件A和B的显微视觉图像；

所述微零件装配模块与所述显微视觉系统控制模块连接，用于根据所述显微视觉系统控制模块输出的显微视觉图像计算微零件A和B之间的位姿误差，并基于显微视觉引导的微零件空间相对位姿检测与位姿对准，实现微零件A和B的装配；

所述运动平台控制模块与所述微零件装配模块连接，用于根据所述微零件装配模块计算得到的位姿误差通过控制多个运动平台的运动来实现微零件的位姿调整，所述多个运动平台包括：水平1号显微视觉系统运动平台，水平2号显微视觉系统运动平台，垂直3号显微视觉系统运动平台，微零件A运动平台和微零件B运动平台。

2.根据权利要求1所述的系统，其特征在于，所述对于多路显微视觉系统的控制包括：多路显微视觉系统的选择、各路显微视觉系统的打开及关闭、显微视觉系统的曝光时间、增益等参数设置、显微视觉图像的保存及显示。

3.根据权利要求1所述的系统，其特征在于，对于运动平台的控制包括多个运动平台的选择、各个运动平台的打开及关闭、各个运动平台运动轴的选择、各个运动平台运动距离的输入、各个运动平台的运行、各个运动平台的急停、各个运动平台当前位置的输出。

4.根据权利要求1所述的系统，其特征在于，所述系统还包括图像基础测量模块，所述图像基础测量模块与所述显微视觉系统控制模块连接，用于根据所述显微视觉系统控制模块输出的显微视觉图像进行微零件基础几何参数的测量、图像区域的聚焦、图像区域的放大以及测量结果的输出，以得到关于显微视觉图像的先验知识。

5.根据权利要求1所述的系统，其特征在于，所述系统还包括三维动画显示模块和三维动画显示系统，所述三维动画显示模块与所述微零件装配模块连接，用于将微零件A和B的空间相对位姿实时传送给所述三维动画显示系统，以将微零件的装配过程以三维动画的形式同步呈现出来。

6.一种微零件在线装配方法，其特征在于，该方法包括以下步骤：

步骤1：首先，通过水平1号显微视觉系统聚焦微零件A的图像特征区域，提取出微零件A的边缘线l₁，再聚焦微零件B的图像特征区域，提取出微零件B的边缘线l₂；然后，根据图像特征的提取结果计算微零件A和微零件B绕Y轴的角度误差Δθ_y；最后，根据角度误差Δθ_y的计算结果控制微零件B运动平台运动，将微零件B的姿态调整至与微零件A绕Y轴的角度误差Δθ_y＝0；

步骤2：首先，通过水平2号显微视觉系统聚焦微零件A图像特征区域，提取出微零件A的边缘线l₃，再聚焦微零件B的图像特征区域，提取出微零件B的边缘线l₄；然后，根据图像特征的提取结果计算微零件A和微零件B绕X轴的角度误差Δθ_x；最后，根据角度误差Δθ_x的计算结果控制微零件B运动平台运动，将微零件B的姿态调整至与微零件A绕X轴的角度误差Δθ_x＝0；

步骤3：首先，通过垂直3号显微视觉系统将微零件A移出视野范围，聚焦微零件B的图像特征区域，提取微零件B的多个图像特征，再将微零件A沿原路径移入视野范围内，聚焦微零件A的图像特征区域，提取微零件A的相应数量的图像特征，所述图像特征至少包括微零件A或B的几何中心点；然后，根据多个图像特征的提取结果计算微零件A和B的位姿误差，即微零件A和B的X轴位置误差ΔT_x，Y轴位置误差ΔT_y，绕Z轴角度误差Δθ_z；最后，根据位姿误差的计算结果控制微零件A运动平台运动，实现微零件A的位置调整，控制微零件B运动平台运动，实现微零件B的姿态调整，以使得所述误差ΔT_x，ΔT_y，Δθ_z均为零；

步骤4：首先，通过水平2号显微视觉系统聚焦微零件A的图像特征区域，再分别提取微零件A和微零件B的水平和垂直边缘线，计算微零件A水平和垂直边缘线的交点M，微零件B水平和垂直边缘线的交点N；然后，计算微零件A和微零件B的Z向距离差ΔT_z；最后，控制微零件B运动平台运动，将微零件B的位置调整至与微零件A的Z向距离差ΔT_z＝0，从而最终实现微零件A与微零件B的装配。

7.根据权利要求6所述的方法，其特征在于，根据下式来计算所述角度误差Δθ_y：

Δθ_y＝arctan[(k₁-k₂)/(1+k₁k₂)]，

其中，k₁是边缘线l₁的斜率，k₂是边缘线l₂的斜率。

8.根据权利要求6所述的方法，其特征在于，根据下式来计算所述角度误差Δθ_x：

Δθ_x＝arctan[(k₃-k₄)/(1+k₃k₄)]，

其中，k₃是边缘线l₃的斜率，k₄是边缘线l₄的斜率。

9.根据权利要求6所述的方法，其特征在于，根据下式来计算所述误差ΔT_x，Y轴位置误差ΔT_y，绕Z轴角度误差Δθ_z：

$\left\{\begin{array}{c}{\mathrm{\ΔT}}_x={\mathrm{\λ}}_1(x_2-x_1)\\ {\mathrm{\ΔT}}_y={\mathrm{\λ}}_1(y_2-y_1)\end{array}\right.,$

${\mathrm{\Δ\θ}}_z=\left(\underset{i=1}{\overset{16}{\mathrm{\Σ}}}{e}_i\right)/16,$

其中，(x₁，y₁)，(x₂，y₂)分别是微零件A几何中心点O₁和微零件B几何中心点O₂的图像坐标，λ₁是垂直3号显微视觉系统从图像空间到笛卡尔空间单位长度的转换系数，e_i为微零件A和微零件B多对图像特征中第i对图像特征所对应的角度误差。

10.根据权利要求6所述的方法，其特征在于，根据下式来计算所述距离差ΔT_z：

ΔT_z＝λ₂(y_M-y_N)，

其中，(x_M，y_M)，(x_N，y_N)分别是点M和点N的图像坐标，λ₂是水平2号显微视觉系统从图像空间到笛卡尔空间单位长度的转换系数。

Images