CN112720469A - 显微立体视觉用于三轴平移运动系统零点校准方法 - Google Patents

Abstract

本发明涉及一种显微立体视觉用于三轴平移运动系统零点校准方法。该方法主要包括以下步骤：构建微操作机器人系统，建立并标定定位模型，三轴平移运动系统归零，利用定位模型映射关系进行逆向计算，计算零点校准量实现零点校准。本发明解决了三轴平移运动系统发生零点漂移的问题，实现了三轴平移运动系统零点校准。本发明的方法操作流程简单方便且精度高，可以实时在线进行，能够有效保证微操作机器人定位的一致性和准确性。

Description

显微立体视觉用于三轴平移运动系统零点校准方法

技术领域

本发明涉及零点校准技术领域，特别是涉及一种显微立体视觉用于三轴平移运动系统零点校准方法。

背景技术

随着显微镜、精密测量、精密定位等技术的快速发展，微操作机器人在微观形貌重构、微测量、微装配、微注射、微手术等领域有着广泛的应用，具有很大的价值潜力。微操作机器人由三轴平移运动系统、基于光学体视显微镜的显微立体视觉系统、微操作器(微夹钳、微注射器等)、计算机四部分构成。使用微操作机器人进行微操作精密作业之前，需要建立并标定微操作机器人的视觉模型，视觉模型即二维图像信息与三维物空间信息间的映射关系，王跃宗等(2019)等针对微操作机器人提出了视觉模型的建立与标定技术。使用微操作机器人进行微操作精密作业时，首先显微立体视觉系统获取被操作对象的二维图像信息，然后通过标定的视觉模型计算被操作对象的三维物空间信息，最后控制三轴平移运动系统，对被操作对象进行各种微操作精密作业。

三轴平移运动系统由三个运动轴组成，每个运动轴上分别装有一个光栅尺，每个光栅尺的一端均有安装位置传感器，在运动轴归零过程中，当滑块到达位置传感器的有效检测区间时，位置传感器能够产生零点信号，使滑块开始减速并停止在有效检测区间内，停止的位置就作为该运动轴的零点，此时该运动轴的光栅尺显示数值为零。由于每次归零操作后滑块在有效检测区间中停止的位置并不一样，导致运动轴的零点位置不一样，即零点漂移，属于在线的误差源。微操作机器人在标定视觉模型之后与微操作精密作业之前需要进行三轴平移运动系统的归零操作，由于三轴平移运动系统发生零点漂移，导致归零前后的参考坐标系不同，会影响微操作器精密定位的一致性和准确性，不能满足微操作机器人定位精度要求。因此在三轴平移运动系统完成归零操作后，需要进行零点校准，保证归零前后的参考坐标系一致，从而有效保证微操作机器人定位的一致性和准确性。现有的校准方法如使用激光干涉仪、三坐标测量仪或安装高精度传感器进行定位和校准，主要适用于出厂前重复定位精度的校准，由于零点漂移属于在线的误差源，需要实时在线进行校准，因此现有的校准方法不适用于实时在线零点校准。

针对以上问题，本发明提出了一种显微立体视觉用于三轴平移运动系统零点校准方法，实现了三轴平移运动系统零点校准。本发明的方法操作流程简单方便且精度高，可以实时在线进行，能够有效保证微操作机器人定位的一致性和准确性。

发明内容

本发明所涉及的显微立体视觉用于三轴平移运动系统零点校准方法，基于显微立体视觉系统和双目视差原理，构建微操作机器人系统，基于物空间基准坐标系和视差空间基准坐标系建立并标定定位模型，然后三轴平移运动系统归零，在物空间零点漂移坐标系中运动到漂移点并采集左右图像，利用定位模型映射关系逆向计算漂移点在物空间基准坐标系中的坐标矢量，最后计算零点校准量实现零点校准。所述的显微立体视觉用于三轴平移运动系统零点校准方法包括以下步骤：

1)构建微操作机器人系统

微操作机器人系统由三轴平移运动系统、显微立体视觉系统、微操作器、计算机组成。三轴平移运动系统由X运动轴、Y运动轴、Z运动轴组成，每个运动轴上装有一个光栅尺，用于闭环精密控制运动轴和实时记录运动轴的物空间坐标，三个光栅尺构成了物空间基准坐标系O-XYZ。在Z运动轴的滑块上安装一个微操作器，在微操作器上放置一块标定板，标定板中央有一个圆形标记点。显微立体视觉系统由光学体视显微镜、左相机、右相机组成，左右相机用来采集标定板标记点的左右图像。

2)建立并标定定位模型

定位模型包括物空间单元体和视差空间单元体。在物空间基准坐标系中，三个光栅尺在原点O处的数值均为零，控制三轴平移运动系统依次运动到物空间点A_(1,1,1)、A_(2,1,1)、A_(1,2,1)、A_(2,2,1)、A_(1,1,2)、A_(2,1,2)、A_(1,2,2)、A_(2,2,2)处，八个物空间点构成了物空间单元体，三个光栅尺记录每个物空间点在物空间基准坐标系中的三维坐标，完成定位模型中物空间单元体的标定，同时在每个物空间点处左右相机采集标定板标记点的左右图像。

视差空间基准坐标系O_l-u_lv_lD由左图像的原点O_l、左图像的两个坐标轴u_l和v_l、视差坐标轴D组成。对在八个物空间点处采集的标定板标记点的左右图像依次计算双目视差，得到视差空间点D_(1,1,1)、D_(2,1,1)、D_(1,2,1)、D_(2,2,1)、D_(1,1,2)、D_(2,1,2)、D_(1,2,2)、D_(2,2,2)在视差空间基准坐标系中的三维坐标，八个视差空间点构成了视差空间单元体，完成定位模型中视差空间单元体的标定。

3)三轴平移运动系统归零

在完成定位模型的标定后，对三轴平移运动系统进行归零操作，由于存在零点漂移，三个运动轴的零点位置发生变化，使物空间基准坐标系的原点O的位置改变到原点O_k，形成物空间零点漂移坐标系O_k-X_kY_kZ_k，三个光栅尺分别对应物空间零点漂移坐标系的X_k轴、Y_k轴、Z_k轴，此时三个光栅尺在原点O_k处的数值均为零。

4)利用定位模型映射关系进行逆向计算

在物空间基准坐标系中设定一个基准点M，其坐标矢量为R_M＝OM＝(X_M,Y_M,Z_M)^T。对三轴平移运动系统的三个运动轴分别输入数值X_M、Y_M、Z_M，三个运动轴在物空间零点漂移坐标系中运动到漂移点P，此时三个光栅尺显示数值分别为X_M、Y_M、Z_M。然后左右相机采集标定板标记点的左右图像，计算双目视差，得到点C在视差空间基准坐标系中的坐标矢量。

物空间单元体与视差空间单元体之间存在映射关系，点C在视差空间单元体中的相对位置与点P在物空间单元体中的相对位置相同，建立定位模型中物空间单元体与视差空间单元体间的映射关系，利用定位模型映射关系进行逆向计算，由点C在视差空间基准坐标系中的坐标矢量求出漂移点P在物空间基准坐标系中的坐标矢量R_P＝OP＝(X_P,Y_P,Z_P)^T。

5)计算零点校准量实现零点校准

计算在物空间基准坐标系中点P和点M间的相对距离矢量为ΔR_M＝R_P–R_M＝(X_P-X_M,Y_P-Y_M,Z_P-Z_M)^T，设定阈值T＝0.1μm，如果|ΔR_M|>T，则控制三轴平移运动系统的三个运动轴分别运动X_P-X_M、Y_P-Y_M、Z_P-Z_M，到达新的点P，再次进行步骤4)计算新的点P在物空间基准坐标系中的坐标矢量，然后计算点P和点M间的相对距离矢量为ΔR_M-1，如果|ΔR_M-1|>T，继续计算得到ΔR_M-2、···、ΔR_M-n，直至满足|ΔR_M-n|≤T，最后计算零点校准量，实现零点校准。

已知任意一点在物空间零点漂移坐标系中的坐标矢量，根据零点校准量求得该点在物空间基准坐标系中的坐标矢量。

附图说明

图1为本发明涉及的显微立体视觉用于三轴平移运动系统零点校准方法的流程图

图2为本发明涉及的微操作机器人系统及零点漂移原理示意图

图3为本发明涉及的标定板标记点的左右图像示意图

图4为本发明涉及的定位模型示意图

图5为本发明涉及的零点校准示意图

附图中标记说明：

S1、构建微操作机器人系统

S21、物空间基准坐标系

S22、左右相机采集标定板标记点的左右图像

S23、视差空间基准坐标系

S3、建立并标定定位模型

S4、三轴平移运动系统归零

S5、在物空间零点漂移坐标系中运动到漂移点并采集左右图像

S6、利用定位模型映射关系逆向计算漂移点在物空间基准坐标系中的坐

标矢量

S7、计算零点校准量实现零点校准

S8、有效保证微操作机器人定位的一致性和准确性

1、三轴平移运动系统

2、X运动轴

3、Y运动轴

4、Z运动轴

5、物空间基准坐标系

6、X光栅尺

7、Y光栅尺

8、Z光栅尺

9、位置传感器

10、有效检测区间

11、滑块

12、微操作器

13、标定板

14、光学体视显微镜

15、左相机

16、右相机

17、计算机

18、左图像

19、右图像

20、视差空间基准坐标系

具体实施方式

现结合附图对本发明作进一步详细阐述。图1为本发明涉及的显微立体视觉用于三轴平移运动系统零点校准方法的流程图，显微立体视觉用于三轴平移运动系统零点校准方法包括以下步骤：

1、构建微操作机器人系统

图2为微操作机器人系统及零点漂移原理示意图。微操作机器人系统由三轴平移运动系统1、显微立体视觉系统、微操作器12、计算机17组成。三轴平移运动系统1由X运动轴2、Y运动轴3、Z运动轴4组成，在三个运动轴上分别装有X光栅尺6、Y光栅尺7、Z光栅尺8，分辨率为0.1μm，用于闭环精密控制运动轴和实时记录运动轴的物空间坐标，三个光栅尺构成了物空间基准坐标系O-XYZ5。在Z运动轴4的滑块上安装一个微操作器12，在微操作器12上放置一块标定板13，标定板13中央有一个直径为0.3mm的圆作为标记点，加工精度为1μm。显微立体视觉系统由光学体视显微镜14、左相机15、右相机16组成，光学体视显微镜14可以将标定板标记点放大到相机的成像面上，然后左相机15采集标定板标记点的左图像18，右相机16采集标定板标记点的右图像19。计算机17用来连接控制三轴平移运动系统1与两个相机和显示标定板标记点的左图像18和右图像19。

2、建立并标定定位模型

图4为定位模型示意图，定位模型包括物空间单元体和视差空间单元体。如图4(a)所示，在物空间基准坐标系O-XYZ5中，三个光栅尺在原点O处的数值均为零，控制三轴平移运动系统依次运动到物空间点A_(1,1,1)、A_(2,1,1)、A_(1,2,1)、A_(2,2,1)、A_(1,1,2)、A_(2,1,2)、A_(1,2,2)、A_(2,2,2)处，八个物空间点构成了物空间单元体，形状为长方体，三个光栅尺记录每个物空间点在物空间基准坐标系O-XYZ5中的三维坐标，完成定位模型中物空间单元体的标定，同时在每个物空间点处左右相机采集标定板标记点的左右图像。

图3为标定板标记点的左右图像示意图。左图像18的坐标轴由原点O_l、轴u_l、轴v_l组成，标记点在左图像中的位置为K_l；右图像19的坐标轴由原点O_r、轴u_r、轴v_r组成，标记点在右图像中的位置为K_r。采用高斯滤波、阈值分割、形态学处理、边缘检测对标定板标记点的左右图像进行预处理，然后针对检测到的K_l、K_r边缘像素的图像坐标，利用最小二乘法拟合边缘轮廓，根据拟合的边缘轮廓计算K_l、K_r的圆心像素坐标(u_Kl,v_Kl)、(u_Kr,v_Kr)，最后根据双目立体视觉的双目视差原理，计算双目视差为D_K＝u_Kr–u_Kl。

如图4(b)所示，视差空间基准坐标系O_l-u_lv_lD20由左图像的原点O_l、左图像的两个坐标轴u_l和v_l、视差坐标轴D组成，坐标系单位为像素，视差空间点在视差空间基准坐标系O_l-u_lv_lD20中的三维坐标为(u_Kl,v_Kl,D_K)。对在物空间点A_(1,1,1)、A_(2,1,1)、A_(1,2,1)、A_(2,2,1)、A_(1,1,2)、A_(2,1,2)、A_(1,2,2)、A_(2,2,2)处采集的标定板标记点的左右图像依次计算双目视差，得到视差空间点D_(1,1,1)、D_(2,1,1)、D_(1,2,1)、D_(2,2,1)、D_(1,1,2)、D_(2,1,2)、D_(1,2,2)、D_(2,2,2)在视差空间基准坐标系O_l-u_lv_lD20中的三维坐标，八个视差空间点构成了视差空间单元体，形状为平行六面体，完成定位模型中视差空间单元体的标定。

3、三轴平移运动系统归零

如图2所示，每个光栅尺的一端均有安装位置传感器9，在运动轴归零过程中，当滑块11到达位置传感器9的有效检测区间10时，位置传感器9能够产生零点信号，使滑块11开始减速并停止在有效检测区间10内，停止的位置就作为该运动轴的零点位置，此时该运动轴的光栅尺显示数值为零。每次归零操作后滑块11在有效检测区间10中停止的位置并不一样，导致运动轴的零点位置不一样，即零点漂移。

图5为零点校准示意图，完成定位模型的标定后，对三轴平移运动系统进行归零操作，由于存在零点漂移，三个运动轴的零点位置发生变化，物空间基准坐标系O-XYZ的原点O的位置改变到原点O_k，形成物空间零点漂移坐标系O_k-X_kY_kZ_k，三个光栅尺分别对应物空间零点漂移坐标系O_k-X_kY_kZ_k的X_k轴、Y_k轴、Z_k轴，此时三个光栅尺在原点O_k处的数值均为零。

4、利用定位模型映射关系进行逆向计算

如图5所示，在物空间基准坐标系O-XYZ中设定一个基准点M，其坐标矢量为R_M＝OM＝(X_M,Y_M,Z_M)^T。对三轴平移运动系统的三个运动轴分别输入数值X_M、Y_M、Z_M，三个运动轴在物空间零点漂移坐标系O_k-X_kY_kZ_k中运动到漂移点P，此时三个光栅尺显示数值分别为X_M、Y_M、Z_M。然后左右相机采集标定板标记点的左右图像，计算双目视差，得到点C在视差空间基准坐标系O_l-u_lv_lD中的坐标矢量为O_lC＝(u_l,C,v_l,C,D_C)^T,如图4(b)所示。

物空间单元体与视差空间单元体之间存在映射关系，点C在视差空间单元体中的相对位置与点P在物空间单元体中的相对位置相同，建立定位模型中物空间单元体与视差空间单元体间的映射关系：

式中，A₀P＝OP–OA₀，D₀C＝O_lC–O_lD₀。

如图4(b)所示，由八个视差空间点的三维坐标计算视差空间单元体重心D₀的三维坐标和棱长向量D_(1,1,1)D_(2,1,1)、D_(1,1,1)D_(1,2,1)、D_(1,1,1)D_(1,1,2)，将D₀C沿三个棱长向量方向分解，计算三个分解矢量与同方向棱长向量的比值(k₁,k₂,k₃)^T，使用(k₁,k₂,k₃)^T来表示点C在视差空间单元体中的相对位置。如图4(a)所示，由八个物空间点的三维坐标计算物空间单元体重心A₀的三维坐标和棱长向量A_(1,1,1)A_(2,1,1)、A_(1,1,1)A_(1,2,1)、A_(1,1,1)A_(1,1,2)，漂移点P在物空间单元体中的相对位置等于(k₁,k₂,k₃)^T，以物空间单元体的三个棱长向量为基准利用定位模型映射关系进行逆向计算，由点C在视差空间基准坐标系O_l-u_lv_lD中的坐标矢量(u_l,C,v_l,C,D_C)^T求出漂移点P在物空间基准坐标系O-XYZ中的坐标矢量OP＝(X_P,Y_P,Z_P)^T。

5、计算零点校准量实现零点校准

如图5所示，漂移点P在物空间基准坐标系O-XYZ中的坐标矢量为R_P＝OP＝(X_P,Y_P,Z_P)^T，计算在物空间基准坐标系O-XYZ中点P和点M间的相对距离矢量为ΔR_M＝R_P–R_M＝(X_P-X_M,Y_P-Y_M,Z_P-Z_M)^T。设定阈值T＝0.1μm，如果|ΔR_M|>T，则说明物空间零点漂移坐标系O_k-X_kY_kZ_k的原点O_k与物空间基准坐标系O-XYZ的原点O之间的相对距离较大，需要控制三轴平移运动系统的三个运动轴分别运动X_P-X_M、Y_P-Y_M、Z_P-Z_M，到达新的点P，再次进行步骤4计算新的点P在物空间基准坐标系O-XYZ中的坐标矢量，然后计算点P和点M间的相对距离矢量为ΔR_M-1，如果|ΔR_M-1|>T，继续计算得到ΔR_M-2、···、ΔR_M-n，直至满足|ΔR_M-n|≤T，最后计算零点校准量，实现零点校准。

式中，ΔR_M-last为零点校准量。

已知任意一点R在物空间零点漂移坐标系O_k-X_kY_kZ_k中的坐标矢量为O_kR，根据零点校准量ΔR_M-last求得点R在物空间基准坐标系O-XYZ中的坐标矢量OR为OR＝O_kR+ΔR_M-last，从而有效保证了微操作机器人定位的一致性和准确性。

对本领域的技术人员来说，很明显，本发明可以做出多种改进和变化，只要落入所附的权利要求书及其等同的范围内，本发明就涵盖本发明的这些改进和变化。

Claims (1)

1.显微立体视觉用于三轴平移运动系统零点校准方法，其特征在于：基于显微立体视觉系统和双目视差原理，构建微操作机器人系统，基于物空间基准坐标系和视差空间基准坐标系建立并标定定位模型，然后三轴平移运动系统归零，在物空间零点漂移坐标系中运动到漂移点并采集左右图像，利用定位模型映射关系逆向计算漂移点在物空间基准坐标系中的坐标矢量，最后计算零点校准量实现零点校准，具体包括以下步骤：

1)构建微操作机器人系统

微操作机器人系统由三轴平移运动系统、显微立体视觉系统、微操作器、计算机组成；三轴平移运动系统由X运动轴、Y运动轴、Z运动轴组成，每个运动轴上装有一个光栅尺，用于闭环精密控制运动轴和实时记录运动轴的物空间坐标，三个光栅尺构成了物空间基准坐标系O-XYZ；在Z运动轴的滑块上安装一个微操作器，在微操作器上放置一块标定板，标定板中央有一个圆形标记点；显微立体视觉系统由光学体视显微镜、左相机、右相机组成，左右相机用来采集标定板标记点的左右图像；

2)建立并标定定位模型

定位模型包括物空间单元体和视差空间单元体；在物空间基准坐标系中，三个光栅尺在原点O处的数值均为零，控制三轴平移运动系统依次运动到物空间点A_(1,1,1)、A_(2,1,1)、A_(1,2,1)、A_(2,2,1)、A_(1,1,2)、A_(2,1,2)、A_(1,2,2)、A_(2,2,2)处，八个物空间点构成了物空间单元体，三个光栅尺记录每个物空间点在物空间基准坐标系中的三维坐标，完成定位模型中物空间单元体的标定，同时在每个物空间点处左右相机采集标定板标记点的左右图像；

左图像的坐标轴由原点O_l、轴u_l、轴v_l组成，标记点在左图像中的位置为K_l；右图像的坐标轴由原点O_r、轴u_r、轴v_r组成，标记点在右图像中的位置为K_r；采用高斯滤波、阈值分割、形态学处理、边缘检测对标定板标记点的左右图像进行预处理，然后针对检测到的K_l、K_r边缘像素的图像坐标，利用最小二乘法拟合边缘轮廓，计算K_l、K_r的圆心像素坐标(u_Kl,v_Kl)、(u_Kr,v_Kr)，最后根据双目立体视觉的双目视差原理，计算双目视差为D_K＝u_Kr–u_Kl；

视差空间基准坐标系O_l-u_lv_lD由左图像的原点O_l、左图像的两个坐标轴u_l和v_l、视差坐标轴D组成；对在八个物空间点处采集的标定板标记点的左右图像依次计算双目视差，得到视差空间点D_(1,1,1)、D_(2,1,1)、D_(1,2,1)、D_(2,2,1)、D_(1,1,2)、D_(2,1,2)、D_(1,2,2)、D_(2,2,2)在视差空间基准坐标系中的三维坐标，八个视差空间点构成了视差空间单元体，完成定位模型中视差空间单元体的标定；

3)三轴平移运动系统归零

在完成定位模型的标定后，对三轴平移运动系统进行归零操作，由于存在零点漂移，三个运动轴的零点位置发生变化，物空间基准坐标系的原点O的位置改变到原点O_k，形成物空间零点漂移坐标系O_k-X_kY_kZ_k，三个光栅尺分别对应物空间零点漂移坐标系的X_k轴、Y_k轴、Z_k轴，此时三个光栅尺在原点O_k处的数值均为零；

4)利用定位模型映射关系进行逆向计算

在物空间基准坐标系中设定一个基准点M，其坐标矢量为R_M＝OM＝(X_M,Y_M,Z_M)^T；对三轴平移运动系统的三个运动轴分别输入数值X_M、Y_M、Z_M，三个运动轴在物空间零点漂移坐标系中运动到漂移点P，此时三个光栅尺显示数值分别为X_M、Y_M、Z_M；然后左右相机采集标定板标记点的左右图像，计算双目视差，得到点C在视差空间基准坐标系中的坐标矢量；

物空间单元体与视差空间单元体之间存在映射关系，点C在视差空间单元体中的相对位置与点P在物空间单元体中的相对位置相同，建立定位模型中物空间单元体与视差空间单元体间的映射关系，利用定位模型映射关系进行逆向计算，由点C在视差空间基准坐标系中的坐标矢量求出漂移点P在物空间基准坐标系中的坐标矢量R_P＝OP＝(X_P,Y_P,Z_P)^T，定位模型映射关系为：

式中，A₀P＝OP–OA₀，D₀C＝O_lC–O_lD₀，OA₀为物空间单元体重心的坐标矢量，O_lD₀为视差空间单元体重心的坐标矢量，A_(1,1,1)A_(2,1,1)、A_(1,1,1)A_(1,2,1)、A_(1,1,1)A_(1,1,2)为物空间单元体的三个棱长向量，D_(1,1,1)D_(2,1,1)、D_(1,1,1)D_(1,2,1)、D_(1,1,1)D_(1,1,2)为视差空间单元体的三个棱长向量；

5)计算零点校准量实现零点校准

计算在物空间基准坐标系中点P和点M间的相对距离矢量为ΔR_M＝R_P–R_M＝(X_P-X_M,Y_P-Y_M,Z_P-Z_M)^T，设定阈值T＝0.1μm，如果|ΔR_M|>T，则控制三轴平移运动系统的三个运动轴分别运动X_P-X_M、Y_P-Y_M、Z_P-Z_M，到达新的点P，再次进行步骤4)计算新的点P在物空间基准坐标系中的坐标矢量，然后计算点P和点M间的相对距离矢量为ΔR_M-1，如果|ΔR_M-1|>T，继续计算得到ΔR_M-2、…、ΔR_M-n，直至满足|ΔR_M-n|≤T，最后计算零点校准量，实现零点校准；

式中，ΔR_M-last为零点校准量；

已知任意一点R在物空间零点漂移坐标系中的坐标矢量为O_kR，根据零点校准量ΔR_M-last求得点R在物空间基准坐标系中的坐标矢量OR为OR＝O_kR+ΔR_M-last。

Images