CN103192399B - 一种基于目标运动的显微视觉手眼标定系统及方法 - Google Patents

Abstract

本发明公开了一种基于目标运动的显微视觉标定系统及方法，利用目标在清晰成像平面内的至少两次相对运动，实现显微视觉系统与操作器之间的标定。首先，操作器带动微管进入显微视觉系统的视野，调整操作器坐标使得显微视觉系统能够采集到微管末端清晰的图像，记录微管末端的图像坐标和操作器坐标。然后，在保持微管末端图像清晰的前提下，操作器带动微管在清晰成像平面内进行两次相对运动，记录微管末端的图像坐标和操作器坐标。根据微管图像坐标变化和操作器坐标变化，利用最小二乘法计算出图像雅可比矩阵。本发明应用方便，可以实现显微视觉系统的在线标定，能够大幅度提高显微视觉引导下微操作的适应性和可用性。

Description

一种基于目标运动的显微视觉手眼标定系统及方法

技术领域

本发明属于机器人微操作技术领域中的显微视觉测量和控制，尤其是一种基于目标运动的显微视觉手眼标定系统及方法。

背景技术

目前，微操作领域中常常利用显微视觉来测量目标在平面内的位置和姿态。由于显微视觉景深小、视场小，所以为了得到目标的空间坐标，需要将显微视觉系统的光轴与三维空间坐标系的一个坐标轴平行。这样，利用显微视觉只能得到目标在三维空间中的两维位置坐标(可参见文献：X.Zeng,X.Huang,M.Wang,Micro-assemblyofmicropartsusinguncalibratedmicroscopesvisualservoingmethod,InformationTechnologyJournal,7(3):497-503,2008.)。

显微视觉系统的标定方法有两类：一类采用平面靶标进行标定，但微小尺寸的精密靶标制作较为困难(可参见文献：G.Ding,X.Chen,L.Wang,L.Lei,Y.Li,Self-calibrationmethodoftwo-dimensionalgridplate,inProceedingsofSPIE-TheInternationalSocietyforOpticalEngineering,SeventhInternationalSymposiumonPrecisionEngineeringMeasurementsandInstrumentation,8321,2011.)；另一类采用基于Broyden估计的方法，但其只能标定图像坐标偏差与在XY平面的相对位置之间的关系(可参见文献：X.Zeng,X.Huang,M.Wang,Micro-assemblyofmicropartsusinguncalibratedmicroscopesvisualservoingmethod,InformationTechnologyJournal,7(3):497-503,2008)。

发明内容

为了解决现有技术中显微视觉只能测量两维位置坐标以及不能标定图像坐标增量与三维空间的相对位置之间关系的问题，本发明的目的在于提供一种基于目标运动的显微视觉标定系统和方法。

根据本发明一方面，提供一种基于目标运动的显微视觉标定系统，该系统包括：显微视觉系统1、微管2、操作器3、调整平台4、支架5、计算机6，其中：

所述调整平台4安装于支架5上，用于带动所述显微视觉系统1进行运动，以改变显微视觉系统1的位置，使得显微视觉系统1的视野处于操作器3上的微管2的运动范围内；

所述显微视觉系统1安装于所述调整平台4上；

所述微管2安装于所述操作器3的侧面，随着操作器3一起运动，以进入显微视觉系统1的视野；

所述显微视觉系统1指向所述操作器3和所述微管2；

所述显微视觉系统1通过视觉联接线连接至计算机6；所述操作器3和所述调整平台5分别通过控制线连接至计算机6；

所述显微视觉标定系统工作时，在操作器3带动微管2进行相对运动的过程中，对微管2末端图像进行清晰度判定，并使得微管2末端图像保持清晰，然后利用微管2末端清晰图像的坐标增量和视觉测量模型来测量微管2末端在三维空间的相对位移量。

根据本发明另一方面，提供一种利用所述系统进行显微视觉标定的方法，该方法包括以下步骤：

步骤S1：通过调整平台4带动显微视觉系统1运动，以改变显微视觉系统1的位置，使得显微视觉系统1的视野处于操作器3上的微管2的运动范围内；

步骤S2：操作器3带动微管2进入显微视觉系统1的视野，调整操作器3的坐标使得显微视觉系统1能够采集到微管2末端清晰的图像，并记录微管2末端的图像坐标和操作器3的坐标；

步骤S3：在保持微管2末端图像清晰的前提下，操作器3带动微管2在清晰成像平面内进行两次以上的相对运动，并记录每次相对运动微管2末端的图像坐标和操作器3的坐标；

步骤S4：根据微管2图像的坐标增量和操作器3的相对位移量，计算出视觉测量模型中图像雅可比矩阵J的参数J₁₁～J₃₂；

步骤S5：利用所述视觉测量模型和微管2末端清晰图像的坐标增量测量得到微管2末端在三维空间的相对位移量。

本发明的基于相对位置的显微视觉测量模型，利用零件清晰图像的坐标增量实现了零件在三维空间的相对位移量测量；本发明的显微视觉手眼标定方法，只需要至少两次相对运动，应用方便。本发明可以实现显微视觉系统的在线标定，能够大幅度提高显微视觉引导下微操作的适应性和可用性。

附图说明

图1为本发明显微视觉标定系统结构示意图。

图2为本发明基于目标运动的显微视觉标定方法流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

根据本发明的一方面，提出一种显微视觉标定系统，如图1所示，所述显微视觉标定系统包括：显微视觉系统1、微管2、操作器3、调整平台4、支架5、计算机6，其中：

所述调整平台4安装于支架5上，用于带动所述显微视觉系统1进行运动，所述支架5上部倾斜；

所述显微视觉系统1安装于所述调整平台4上，从而使得所述显微视觉系统1与所述支架5的下部安装平面之间具有倾角；

所述微管2安装于所述操作器3的侧面，随着操作器3一起运动；

所述显微视觉系统1指向所述操作器3和所述微管2；

所述显微视觉系统1通过视觉联接线7连接至计算机6；所述操作器3通过控制线9连接至计算机6；所述调整平台5通过控制线8连接至计算机6；所述计算机6用于显微视觉图像处理和操作器3的运动控制，所述显微视觉图像处理至少包括聚焦、背景差分、图像二值化、感兴趣区域提取、模板匹配等处理。

在所述显微视觉标定系统中，通过调整平台4带动显微视觉系统1运动，以改变显微视觉系统1的位置，使得显微视觉系统1的视野处于操作器3上的微管2的运动范围内。随着操作器3的运动，操作器3带动微管2进入显微视觉系统1的视野，以进行三维空间的相对运动。在操作器3带动微管2进行相对运动的过程中，对微管2末端图像进行清晰度判定，并使得微管2末端图像保持清晰。这样，利用微管2末端清晰图像的坐标增量和视觉测量模型就可以测量微管2末端在三维空间的相对位移量，所述视觉测量模型表示为：

$\left[\begin{array}{c}\mathrm{\Δ}x\\ \mathrm{\Δ}y\\ \mathrm{\Δ}z\end{array}\right]=\left[\begin{array}{cc}{J}_{11}& J_{12}\\ J_{21}& J_{22}\\ J_{31}& J_{32}\end{array}\right]\left[\begin{array}{c}\mathrm{\Δ}u\\ \mathrm{\Δ}v\end{array}\right],$

其中，(Δx,Δy,Δz)是微管2末端在三维空间的相对位移量，(Δu,Δv)是微管2末端清晰图像的坐标增量，J₁₁～J₃₂是图像雅可比矩阵J的元素：

$J=\left[\begin{array}{cc}{J}_{11}& J_{12}\\ J_{21}& J_{22}\\ J_{31}& J_{32}\end{array}\right],J={\mathrm{AB}}^T{\left({\mathrm{BB}}^T\right)}^{-1},$

其中， $A=\left[\begin{array}{cccc}{\mathrm{\Δx}}_1& {\mathrm{\Δx}}_2& ...& {\mathrm{\Δx}}_n\\ {\mathrm{\Δy}}_1& {\mathrm{\Δy}}_2& ...& {\mathrm{\Δy}}_n\\ {\mathrm{\Δz}}_1& {\mathrm{\Δz}}_2& ...& {\mathrm{\Δz}}_n\end{array}\right],B=\left[\begin{array}{cccc}{\mathrm{\Δu}}_1& {\mathrm{\Δu}}_2& ...& {\mathrm{\Δu}}_n\\ {\mathrm{\Δv}}_1& {\mathrm{\Δv}}_2& ...& {\mathrm{\Δv}}_n\end{array}\right],$ (Δx_i,Δy_i,Δz_i)是操作器3带动微管2第i次运动时在三维空间的相对位移量，(Δu_i,Δv_i)是微管2第i次运动时末端清晰图像的坐标增量，i＝1,2,…,n，n是操作器3运动的次数。在本发明一实施例中，所述操作器3采用运动平台，具有3个平移自由度，可分别沿垂直方向和水平面横向、纵向进行平移运动；所述调整平台4采用单轴运动平台，可沿调整平台4的轴线方向运动；显微视觉系统1由PointGrey摄像机和NavitarLY镜头构成；计算机6采用DellInspiron545S；微管2为空心玻璃圆柱体拉伸而成，末端外圆直径为10μm。

根据本发明的另一方面，提出一种利用所述显微视觉标定系统基于目标运动的显微视觉标定方法，该方法能够利用目标在清晰成像平面内的至少两次相对运动，实现上述显微视觉测量模型中的J₁₁～J₃₂参数的标定，即显微视觉系统与操作器之间的标定。

如图2所示，所述显微视觉标定方法包括以下步骤：

步骤S1：通过调整平台4带动显微视觉系统1运动，以改变显微视觉系统1的位置，使得显微视觉系统1的视野处于操作器3上的微管2的运动范围内；

步骤S2：操作器3带动微管2进入显微视觉系统1的视野，调整操作器3的坐标使得显微视觉系统1能够采集到微管2末端清晰的图像，并记录微管2末端的图像坐标和操作器3的坐标；

步骤S3：在保持微管2末端图像清晰的前提下，操作器3带动微管2在清晰成像平面内进行两次以上的相对运动，并记录每次相对运动微管2末端的图像坐标和操作器3的坐标；

步骤S4：根据微管2末端清晰图像的坐标增量和操作器3的相对位移量，利用最小二乘法计算出视觉测量模型中图像雅可比矩阵J的参数J₁₁～J₃₂；

步骤S5：利用所述视觉测量模型和微管2末端清晰图像的坐标增量测量得到微管2末端在三维空间的相对位移量。

在实际操作中，首先，按照步骤S1和S2调整显微视觉系统1的视野和微管位置；然后，按照步骤S3和S4实现显微视觉系统的手眼标定。实际上，在步骤S3中，进行两次相对运动即可实现显微视觉系统的手眼标定，更多次数的相对运动则有利于提高标定的精度。

在本发明的一实施例中，步骤S3进行了6次相对运动，所获得的操作器3的相对位移量和微管2末端清晰图像的坐标增量如下：

$A=\left[\begin{array}{cccccc}-18.2& -3.8& -6.1& -17.8& -10.1& -3.9\\ 5.0& 45.0& 15.0& 55.0& 35.0& 40.0\\ -31.6& -5.4& -11.6& -26.0& -16.6& -6.5\end{array}\right]\mathrm{\μ}m,$

这样，计算出的图像雅可比矩阵J的参数如下：

$J=\left[\begin{array}{cc}0.0006& -0.0202\\ -0.0400& 0.0008\\ -0.0004& -0.0348\end{array}\right].$

为了验证标定精度和测量模型的正确性，按照步骤S3又进行了8次相对运动，记录了微管2末端的图像坐标和操作器3的坐标。微管2末端的实际相对位移量利用操作器3的坐标相减获得，测量相对位移量利用测量模型根据微管2末端的图像坐标增量和图像雅可比矩阵J计算获得。实际相对位移量和测量相对位移量见表1。

表1：实际相对位移量和测量的相对位移量对比结果

由表1可见，相对位移量的测量值与实际值之间在X、Y、Z方向上的最大误差为2μm，具有很高的测量精度。上述校验结果，验证了本发明基于目标运动的显微视觉标定系统和方法的有效性。

本发明的基于目标运动的显微视觉标定系统和方法，能够实现空间三维相对位移量的测量，且本发明实现简单，精度高，应用方便，可以实现显微视觉系统的在线标定，能够大幅度提高显微视觉引导下微操作的适应性和可用性。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种显微视觉标定系统，其特征在于，该系统包括：显微视觉系统(1)、微管(2)、操作器(3)、调整平台(4)、支架(5)、计算机(6)，其中：

所述调整平台(4)安装于支架(5)上，用于带动所述显微视觉系统(1)进行运动，以改变显微视觉系统(1)的位置，使得显微视觉系统(1)的视野处于操作器(3)上的微管(2)的运动范围内；

所述显微视觉系统(1)安装于所述调整平台(4)上，使所述显微视觉系统(1)与所述支架(5)的下部安装平面之间具有倾角；

所述微管(2)安装于所述操作器(3)的侧面，随着操作器(3)一起运动，以进入显微视觉系统(1)的视野；

所述显微视觉系统(1)指向所述操作器(3)和所述微管(2)；

所述显微视觉系统(1)通过视觉联接线连接至计算机(6)；所述操作器(3)和所述调整平台(4)分别通过控制线连接至计算机(6)；

所述显微视觉标定系统工作时，在操作器(3)带动微管(2)进行相对运动的过程中，对微管(2)末端图像进行清晰度判定，并使得微管(2)末端图像保持清晰，然后利用微管(2)末端清晰图像的坐标增量和视觉测量模型来测量微管(2)末端在三维空间的相对位移量；

其中，所述视觉测量模型表示为：

$\left[\begin{array}{c}\mathrm{\Δ}x\\ \mathrm{\Δ}y\\ \mathrm{\Δ}z\end{array}\right]=\left[\begin{array}{cc}{J}_{11}& J_{12}\\ J_{21}& J_{22}\\ J_{31}& J_{32}\end{array}\right]\left[\begin{array}{c}\mathrm{\Δ}u\\ \mathrm{\Δ}v\end{array}\right],$

其中，Δx,Δy,Δz是微管(2)末端在三维空间的相对位移量，Δu,Δv是微管(2)末端清晰图像的坐标增量，J₁₁～J₃₂是图像雅可比矩阵J的元素： $J=\left[\begin{array}{cc}{J}_{11}& J_{12}\\ J_{21}& J_{22}\\ J_{31}& J_{32}\end{array}\right],$ J＝AB^T(BB^T)^-1， $A=\left[\begin{array}{cccc}{\mathrm{\Δx}}_1& {\mathrm{\Δx}}_2& ...& {\mathrm{\Δx}}_n\\ {\mathrm{\Δy}}_1& {\mathrm{\Δy}}_2& ...& {\mathrm{\Δy}}_n\\ {\mathrm{\Δz}}_1& {\mathrm{\Δz}}_2& ...& {\mathrm{\Δz}}_n\end{array}\right],$ $B=\left[\begin{array}{cccc}{\mathrm{\Δu}}_1& {\mathrm{\Δu}}_2& ...& {\mathrm{\Δu}}_n\\ {\mathrm{\Δv}}_1& {\mathrm{\Δv}}_2& ...& {\mathrm{\Δv}}_n\end{array}\right],$ Δx_i,Δy_i,Δz_i是操作器(3)带动微管(2)第i次运动时在三维空间的相对位移量，Δu_i,Δv_i是微管(2)第i次运动时末端清晰图像的坐标增量，i＝1,2,…,n，n是操作器(3)运动的次数。

2.根据权利要求1所述的系统，其特征在于，所述支架(5)上部倾斜。

3.根据权利要求1所述的系统，其特征在于，所述操作器(3)为运动平台。

4.根据权利要求3所述的系统，其特征在于，所述运动平台具有3个平移自由度，可分别沿垂直方向和水平面横向、纵向进行平移运动。

5.根据权利要求1所述的系统，其特征在于，所述调整平台(4)为单轴运动平台，可沿着调整平台(4)的轴线方向运动。

6.一种利用权利要求1所述的显微视觉标定系统进行显微视觉标定的方法，其特征在于，该方法包括以下步骤：

步骤S1：通过调整平台(4)带动显微视觉系统(1)运动，以改变显微视觉系统(1)的位置，使得显微视觉系统(1)的视野处于操作器(3)上的微管(2)的运动范围内；

步骤S2：操作器(3)带动微管(2)进入显微视觉系统(1)的视野，调整操作器(3)的坐标使得显微视觉系统(1)能够采集到微管(2)末端清晰的图像，并记录微管(2)末端的图像坐标和操作器(3)的坐标；

步骤S3：在保持微管(2)末端图像清晰的前提下，操作器(3)带动微管(2)在清晰成像平面内进行两次以上的相对运动，并记录每次相对运动微管(2)末端的图像坐标和操作器(3)的坐标；

步骤S4：根据微管(2)图像的坐标增量和操作器(3)的相对位移量，计算出视觉测量模型中图像雅可比矩阵J的参数J₁₁～J₃₂；

步骤S5：利用所述视觉测量模型和微管(2)末端清晰图像的坐标增量测量得到微管(2)末端在三维空间的相对位移量；

其中，所述步骤S1和S2用于调整显微视觉系统(1)的视野和微管位置；所述步骤S3和S4用于实现显微视觉系统(1)的手眼标定；

其中，所述步骤S4中，利用最小二乘法计算出视觉测量模型中图像雅可比矩阵J的参数；

其中，所述视觉测量模型表示为：

$\left[\begin{array}{c}\mathrm{\Δ}x\\ \mathrm{\Δ}y\\ \mathrm{\Δ}z\end{array}\right]=\left[\begin{array}{cc}{J}_{11}& J_{12}\\ J_{21}& J_{22}\\ J_{31}& J_{32}\end{array}\right]\left[\begin{array}{c}\mathrm{\Δ}u\\ \mathrm{\Δ}v\end{array}\right],$

其中，Δx,Δy,Δz是微管(2)末端在三维空间的相对位移量，Δu,Δv是微管(2)末端清晰图像的坐标增量，J₁₁～J₃₂是图像雅可比矩阵J的元素： $J=\left[\begin{array}{cc}{J}_{11}& J_{12}\\ J_{21}& J_{22}\\ J_{31}& J_{32}\end{array}\right],$ J＝AB^T(BB^T)^-1， $A=\left[\begin{array}{cccc}{\mathrm{\Δx}}_1& {\mathrm{\Δx}}_2& ...& {\mathrm{\Δx}}_n\\ {\mathrm{\Δy}}_1& {\mathrm{\Δy}}_2& ...& {\mathrm{\Δy}}_n\\ {\mathrm{\Δz}}_1& {\mathrm{\Δz}}_2& ...& {\mathrm{\Δz}}_n\end{array}\right],$ $B=\left[\begin{array}{cccc}{\mathrm{\Δu}}_1& {\mathrm{\Δu}}_2& ...& {\mathrm{\Δu}}_n\\ {\mathrm{\Δv}}_1& {\mathrm{\Δv}}_2& ...& {\mathrm{\Δv}}_n\end{array}\right],$ Δx_i,Δy_i,Δz_i是操作器(3)带动微管(2)第i次运动时在三维空间的相对位移量，Δu_i,Δv_i是微管(2)第i次运动时末端清晰图像的坐标增量，i＝1,2,…,n，n是操作器(3)运动的次数。