CN103778640A - 一种基于微球靶标的物方远心显微视觉系统标定方法 - Google Patents

Abstract

本发明提供了一种基于微球靶标的物方远心显微视觉系统标定方法。首先，基于物方远心镜头的远心成像原理得到物方远心显微视觉系统的摄像机模型；然后基于非线性阻尼最小二乘法得到物方远心显微视觉系统摄像机模型的迭代计算公式；最后，利用微球靶标在显微视觉系统远心深度范围内进行m次相对运动，结合迭代计算公式实现物方远心显微视觉系统的标定。本发明的方法具有操作方便、标定精度高的特点，具有较好的应用前景。

Description

一种基于微球靶标的物方远心显微视觉系统标定方法

技术领域

 本发明属于机器人视觉测量与控制领域，具体涉及一种基于微球靶标的物方远心显微视觉系统标定方法。

背景技术

显微视觉测量与控制是微操作与微装配技术领域里的关键技术之一，包括显微视觉系统标定、基于显微视觉的位姿测量以及显微视觉控制等技术，可广泛应用于微机电系统、精密光电子工程、生物工程等领域。其中显微视觉系统标定以2D图像坐标系与3D世界坐标系之间关系的标定为研究内容，是后续微零件位姿统一表述及控制的基础。然而，显微镜头成像系统复杂，尤其是对于常用的物方远心镜头由于其远心成像的特点，目前在常规视觉系统标定中常用的小孔模型已经不适用，因此亟需研究一种适用于物方远心显微视觉系统的标定方法。

目前国内外对物方远心显微视觉系统标定方法的研究较少，其中Li Dong等人给出了一种考虑镜头畸变情况下使用平面靶标来标定远心镜头的方法，此方法需要特制的平面靶标来进行标定。（参见文献：D. Li, J. Tian. An accurate calibration method for a camera with telecentric lenses. Optics and Lasers in Engineering, 2013(51): 538-541）。

发明内容

本发明要解决的技术问题是提供一种基于微球靶标的物方远心显微视觉系统标定方法。

本发明的基于微球靶标的物方远心显微视觉系统标定方法，其特点是：首先基于物方远心镜头的远心成像原理得到物方远心显微视觉系统的摄像机模型；然后基于非线性阻尼最小二乘法得到物方远心显微视觉系统摄像机模型的迭代计算公式；最后利用微球靶标在显微视觉系统远心深度范围内进行m次相对运动，结合迭代计算公式实现物方远心显微视觉系统的标定。

本发明的基于微球靶标的物方远心显微视觉系统标定方法，其特点是：利用物方远心显微视觉系统特有的内参数模型和外参数模型得到描述图像坐标系和世界坐标系之间映射关系的物方远心显微视觉系统的摄像机模型：

                 (1)

其中（u, v）为景物点的图像坐标，（x _w , y _w , z _w ）表示景物点在世界坐标系O _W X _W Y _W Z _W 中的坐标；k _x 和k _y 分别为X轴和Y轴方向的放大系数，（u ₀, v ₀）为光轴中心线在成像平面的交点的图像坐标；[n _x ,n _y ,n _z ], [o _x ,o _y ,o _z ]和[a _x ,a _y ,a _z ]分别为O _W X _W 轴，O _W Y _W 轴, O _W Z _W 轴在摄像机坐标系O _C X _C Y _C Z _C 中的方向向量；[p _x ,p _y ,p _z ]是O _W X _W Y _W Z _W 的坐标原点在摄像机坐标系中的位置。n _x , n _y , o _x , o _y , a _x 和a _y 表征了世界坐标系O _W X _W Y _W Z _W 与摄像机坐标系的O _C X _C Y _C 平面之间的姿态投影关系，其各元素可以由两坐标系间的旋转角θ _x , θ _y 和θ _z 表示为：

n _x =cosθ _y cosθ _z

o _x =cosθ _x sinθ _z +sinθ _x sinθ _y cosθ _z

a _x =sinθ _x sinθ _z -cosθ _x sinθ _y cosθ _z

n _y =-cosθ _y sinθ _z

o _y =cosθ _x cosθ _z -sinθ _x sinθ _y sinθ _z

a _y =sinθ _x cosθ _z +cosθ _x sinθ _y sinθ _z

本发明提供的基于微球靶标的物方远心显微视觉系统标定方法，其特点是：物方远心显微视觉系统的内参数模型是利用远心镜头在远心深度范围内成像大小不变的成像原理建立的：

                           (2)

其中（u, v）为景物点的图像坐标，（x _c , y _c , z _c ）表示景物点在摄像机坐标系O _C X _C Y _C Z _C 中的坐标，摄像机坐标系建立在摄像机的光轴中心点O _C ，O _C Z _C 轴与光轴中心线方向平行，以摄像机到景物方向为正方向，O _C X _C 轴的正方向取图像坐标u增加的方向，O _C Y _C 轴的正方向取图像坐标v增加的方向。（u ₀, v ₀）为光轴中心线在成像平面的交点的图像坐标。?z为远心深度，z ₀为清晰成像的最小物方位置。k _x 和k _y 分别为X轴和Y轴方向的放大系数。

本发明提供的基于微球靶标的物方远心显微视觉系统标定方法，其特点是：利用非线性阻尼最小二乘法的原理来求解物方远心显微视觉系统的摄像机模型，且迭代计算公式的求解步骤为：

a、将空间中的点Q _i 在世界坐标系O _W X _W Y _W Z _W 中的坐标（x _wi , y _wi , z _wi ）和在图像坐标系中的坐标（u _i, v _i）代入到基于权利要求1所述的摄像机模型中，由于n _x , n _y , o _x , o _y a _x 和a _y 均可由两坐标系间的旋转角θ _x , θ _y 和θ _z 表示，则在内参数模型中的未知量已知的情况下m个Q _i 点可以形成以x=(θ _x , θ _y , θ _z , p _x , p _y )为未知矢量、由2m个方程组成的超定非线性方程组f(x)：

                 (3)

b、将以上超定非线性方程组化为二次泛函的形式φ(x)：

                      (4)

由于函数φ(x)的最小值x*就是超定方程组f(x)=0的最小二乘解，所以求解超定方程组f(x)=0的问题就转化为求解多元函数φ(x) 的最小值问题：

                    (5)

c、若f(x)在定义域内可微，令φ(x)的梯度函数g(x)为0，即：

                      (6)

其中

将f(x)在x _k 点进行泰勒展开：

                    (7)

d、将式(7)代入到式(6)，得到x的迭代求解公式：

               (8)

其中取迭代矩阵G(x ^k )=Df(x ^k )^T Df(x ^k )，为了防止迭代矩阵G(x ^k )奇异或病态，根据非线性阻尼最小二乘方法即Levenberg-Marquardt方法（简称L-M方法）可以为其迭代矩阵增加一个阻尼项μ _k I，所以迭代矩阵变为 G’(x ^k )=Df(x ^k )^T Df(x ^k )+ μ _k I，最终得到物方远心显微视觉系统摄像机模型的迭代计算公式：

                     (9)

本发明的基于微球靶标的物方远心显微视觉系统标定方法，其特点在于，所述微球靶的直径小于远心镜头的远心深度。

本发明的基于微球靶标的物方远心显微视觉系统标定方法，其特点在于，所述标定方法包括以下步骤:

a、通过调整运动平台带动标定物进入显微视觉系统的视野范围，使标定物成像清晰；

b、通过调整运动平台带动标定物在显微视觉系统远心深度范围内进行m次相对运动，m≥3，其中这m次运动中至少要覆盖两个不同的远心深度；记录标定物的图像坐标和运动平台的位移量，得到m组数据（u _i, v _i）和（x _wi , y _wi , z _wi ），并将这m组数据代入到公式（1）中得到由2m个方程组成的方程组(3)； 

c、计算迭代矩阵G’(x ^k )；

d、应用物方远心显微视觉系统摄像机模型的迭代计算公式(9)进行求解。选取初始值进行迭代，在迭代过程中直到两相邻向量x差的二范数小于某阀值时停止迭代, 即可得非线性阻尼最小二乘法下的最优解x=(θ _x , θ _y , θ _z , p _x , p _y )从而实现标定。

本发明提供的基于微球靶标的物方远心显微视觉系统标定方法，实现了物方远心显微视觉系统的2D图像坐标系与3D世界坐标系之间映射关系的标定。本发明所提供的方法具有简单易行、标定精度高的特点，能够实现物方远心显微视觉系统的高精度标定。随着显微视觉测量与控制技术的快速发展，本发明具有较好的市场应用前景。

附图说明

图1是本发明基于微球靶标的物方远心显微视觉系统标定方法中的硬件系统示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

图1是本发明基于微球靶标的物方远心显微视觉系统标定方法中的硬件系统示意图。如图1所示，本发明采用的硬件系统包括：物方远心显微视觉系统1、微球靶标2、夹持器3、运动平台4、运动平台5、计算机6，其中：

物方远心显微视觉系统1安装于运动平台4，随着运动平台一起运动，用来实现聚焦。微球靶标2通过夹持器3安装于运动平台5，随着运动平台一起运动。

所述显微视觉系统1通过视觉联接线8连接至计算机6；所述运动平台4通过控制线7连接至计算机6；所述运动平台5通过控制线9连接至计算机6。

本发明的实施例中，物方远心显微视觉系统1采用德国AVT公司的PIKE摄像机和施耐德公司的远心显微镜头，其中远心镜头的远心深度为1.6mm，小于其景深；所述运动平台4和运动平台5均采用日本浚河精密电机公司的产品，运动平台4具有沿着显微视觉系统光轴方向的一个自由度，运动平台5具有3个电动平移自由度X_W，Y_W和Z_W；计算机6采用研华工控机；微球靶标2为直径约为1mm的金属微球。

本发明的基于微球靶标的物方远心显微视觉系统标定方法工作过程如下：首先，按照标定方法步骤通过调整运动平台4带动直径约为1mm的微球靶标2进入显微视觉系统的视野范围，使微球靶标2成像清晰；然后通过调整运动平台4带动微球靶标2在显微视觉系统远心深度范围内进行8次相对运动，其中这8次运动在坐标系O _W X _W Y _W Z _W中形成长方体，并覆盖两个不同的远心深度，8组数据（u _i, v _i）和（x _wi , y _wi , z _wi ）分别为：

(1981      531.0)  (35.0 -34.612 -15.0);

(168.5     528.5)  (35.0 -34.612 -5.0);

(168.5     1435)  (40.0 -34.612 -5.0);

(1980      1437)  (40.0 -34.612 -15.0);

(1979      532.5)  (35.0 -34.9 -15.0);

(167.5     530.0)  (35.0 -34.9 -5.0);

(167.0     1436)  (40.0 -34.9 -5.0);

(1978.5 1438)  (40.0 -34.9 -15.0)

其中（u _i, v _i）的单位为像素，（x _wi , y _wi , z _wi ）的单位为mm，每个像素当量为5.523μm，将这8组数据代入到公式（1）中得到由16个方程组成的方程组；计算迭代矩阵G’(x ^k )后应用物方远心显微视觉系统摄像机模型的迭代计算公式(9)进行求解。最终得到非线性阻尼最小二乘法下的最优解x=(θ _x , θ _y , θ _z , p _x , p _y )=(0.92°, 0.049°, -1.13°, 32.757mm, 17.289mm)。经过一系列后续的测量实验表明本发明所提供的标定方法具有很高的标定精度。

本发明的基于微球靶标的物方远心显微视觉系统标定方法实现了物方远心显微视觉系统的2D图像坐标系与3D世界坐标系之间映射关系的标定，且具有简单易行、标定精度高的特点，能够实现物方远心显微视觉系统的高精度标定。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于微球靶标的物方远心显微视觉系统标定方法，其特征在于，首先基于物方远心镜头的远心成像原理得到物方远心显微视觉系统的摄像机模型；然后基于非线性阻尼最小二乘法得到物方远心显微视觉系统摄像机模型的迭代计算公式；最后利用微球靶标在显微视觉系统远心深度范围内进行m次相对运动，结合迭代计算公式实现物方远心显微视觉系统的标定。

2.根据权利要求1所述的标定方法，其特征在于：所述利用物方远心显微视觉系统特有的内参数模型和外参数模型得到描述图像坐标系和世界坐标系之间映射关系的物方远心显微视觉系统的摄像机模型：

                 (1)

其中u、v为景物点的图像坐标，x _w 、y _w 、z _w 表示景物点在世界坐标系O _W X _W Y _W Z _W 中的坐标；k _x 和k _y 分别为X轴和Y轴方向的放大系数，u ₀、v ₀为光轴中心线在成像平面的交点的图像坐标；[n _x ,n _y ,n _z ], [o _x ,o _y ,o _z ]和[a _x ,a _y ,a _z ]分别为O _W X _W 轴，O _W Y _W 轴, O _W Z _W 轴在摄像机坐标系O _C X _C Y _C Z _C 中的方向向量；[p _x ,p _y ,p _z ]是O _W X _W Y _W Z _W 的坐标原点在摄像机坐标系中的位置；n _x , n _y , o _x , o _y , a _x 和a _y 表征了世界坐标系O _W X _W Y _W Z _W 与摄像机坐标系的O _C X _C Y _C 平面之间的姿态投影关系，其各元素可以由两坐标系间的旋转角θ _x , θ _y 和θ _z 表示为：

n _x =cosθ _y cosθ _z

o _x =cosθ _x sinθ _z +sinθ _x sinθ _y cosθ _z

a _x =sinθ _x sinθ _z -cosθ _x sinθ _y cosθ _z

n _y =-cosθ _y sinθ _z

o _y =cosθ _x cosθ _z -sinθ _x sinθ _y sinθ _z

a _y =sinθ _x cosθ _z +cosθ _x sinθ _y sinθ _z 。

3.根据权利要求2所述的标定方法，其特征在于：所述物方远心显微视觉系统的内参数模型是利用远心镜头在远心深度范围内成像大小不变的成像原理建立的：

                           (2)

其中（u, v）为景物点的图像坐标，（x _c , y _c , z _c ）表示景物点在摄像机坐标系O _C X _C Y _C Z _C 中的坐标，摄像机坐标系建立在摄像机的光轴中心点O _C ，O _C Z _C 轴与光轴中心线方向平行，以摄像机到景物方向为正方向，O _C X _C 轴的正方向取图像坐标u增加的方向，O _C Y _C 轴的正方向取图像坐标v增加的方向；（u ₀, v ₀）为光轴中心线在成像平面的交点的图像坐标；?z为远心深度，z ₀为清晰成像的最小物方位置；k _x 和k _y 分别为X轴和Y轴方向的放大系数。

4.根据权利要求1所述的标定方法，其特征在于：所述利用非线性阻尼最小二乘法的原理来求解物方远心显微视觉系统的摄像机模型，且迭代计算公式的求解步骤为：

a、将空间中的点Q _i 在世界坐标系O _W X _W Y _W Z _W 中的坐标（x _wi , y _wi , z _wi ）和在图像坐标系中的坐标（u _i, v _i）代入到基于权利要求1所述的摄像机模型中，由于n _x , n _y , o _x , o _y a _x 和a _y 均可由两坐标系间的旋转角θ _x , θ _y 和θ _z 表示，则在内参数模型中的未知量已知的情况下m个Q _i 点可以形成以x=(θ _x , θ _y , θ _z , p _x , p _y )为未知矢量、由2m个方程组成的超定非线性方程组f(x)：

                 (3)

b、将以上超定非线性方程组化为二次泛函的形式φ(x)：

                      (4)

由于函数φ(x)的最小值x*就是超定方程组f(x)=0的最小二乘解，所以求解超定方程组f(x)=0的问题就转化为求解多元函数φ(x) 的最小值问题：

                    (5)

c、若f(x)在定义域内可微，令φ(x)的梯度函数g(x)为0，即：

                      (6)

其中

将f(x)在x _k 点进行泰勒展开：

                    (7)

d、将式(7)代入到式(6)，得到x的迭代求解公式：

               (8)

其中取迭代矩阵G(x ^k )=Df(x ^k )^T Df(x ^k )，为了防止迭代矩阵G(x ^k )奇异或病态，根据非线性阻尼最小二乘方法即Levenberg-Marquardt方法为其迭代矩阵增加一个阻尼项μ _k I，使迭代矩阵变为 G’(x ^k )=Df(x ^k )^T Df(x ^k )+ μ _k I，最终得到物方远心显微视觉系统摄像机模型的迭代计算公式：

                     (9)。

5.根据权利要求1所述的标定方法，其特征在于：所述微球靶的直径数值小于远心镜头的远心深度数值。

6.根据权利要求1所述的标定方法，其特征在于，所述标定方法包括以下步骤:

a、通过调整运动平台（4）带动标定物（2）进入显微视觉系统的视野范围，使标定物成像清晰；

b、通过调整运动平台（4）带动标定物（2）在显微视觉系统远心深度范围内进行m次相对运动，m≥3，其中这m次运动中至少要覆盖两个不同的远心深度；记录标定物的图像坐标和运动平台（4）的位移量，得到m组数据（u _i, v _i）和（x _wi , y _wi , z _wi ），并将这m组数据代入到公式（1）中得到由2m个方程组成的方程组(3)； 

c、计算迭代矩阵G’(x ^k )；

d、应用物方远心显微视觉系统摄像机模型的迭代计算公式(9)进行求解；选取初始值进行迭代，在迭代过程中直到两相邻向量x差的二范数小于某阀值时停止迭代, 即可得非线性阻尼最小二乘法下的最优解x=(θ _x , θ _y , θ _z , p _x , p _y )从而实现标定。

Images