CN101876533A - 一种显微立体视觉校准方法 - Google Patents

Abstract

本发明公开一种显微立体视觉校准方法，通过建立显微立体视觉数学模型，然后对该显微立体视觉模型内部参数进行校准，再对该显微立体视觉双目结构参数进行校准，利用平面靶标完成显微立体视觉的校准。相对常规立体视觉校准方法，本发明的显微立体视觉校准方法，通过平移摄像机坐标系改善了数据的量值分布，提取的视觉模型参数对噪声干扰更为鲁棒，能够达到更稳定、更高精度地完成小景深显微立体视觉校准的效果，且操作简单。

Description

一种显微立体视觉校准方法

技术领域

本发明涉及光学精密测量技术，尤其涉及一种摄像机坐标系位置自适应的显微立体视觉校准方法。

背景技术

随着生物技术和微纳米技术的不断发展，微观领域的视觉测量技术有着广阔的发展前景，该技术可广泛应用于微生物培养领域，微型工件三维尺寸测量以及微型机器人控制等微机电系统。显微立体视觉，具有光学分辨率高、景深小的特点，靶标不能在较大深度范围内成像，导致常规立体视觉校准方法的不稳定(如，Zhang的校准方法)及校准精度低的问题。

现有的显微立体视觉的校准方法，主要有如下三类：一类是Yu Zhou等在文章“光学显微镜的参数模型校准方法”(Calibration of a parametric model of anoptical microscope)，光学工程，第38卷，第12期，1989～1995页，1999年(OpticalEngineering，Vol.38，No.12，PP.1989～1995，1999)中提出的基于Tsai的共面点校准方法，此方法假定靶标面严格平行像平面，忽略靶标面在光轴方向的微小倾斜，造成测量精度不高，尤其对有几十甚至几百微米景深的低倍率显微系统而言，10×放大倍率的显微视觉系统能达到1.2μm的测量精度。二类是G.Danuser等在文章“体视光学显微镜的摄影测量学校准方法”(Photogrammetriccalibration of a stereo light microscope)，显微镜学期刊，第193卷，62～83页，1999年(Journal of Microscopy，Vol.193，PP.62～83，1999)中提出的基于弱透视成像模型的三维靶标校准方法，此方法建立含显微镜头畸变的弱透视成像模型，通过二维靶标精密移动形成三维靶标完成显微立体视觉的参数校准，测量精度受限于移动台的定位精度及二维靶标平面与移动方向的垂直度，6.6×放大倍率的显微立体系统能达到横向0.7μm和轴向1.8μm的测量精度。三类是李景辉等在文章“双目显微立体视觉系统标定方法研究”(传感器与微系统，第27卷，第1期，105～108页，2008年)中提出基于定值工作距离的二维靶标校准方法，此方法先依Zhang的校准方法初步校准内参，获得放大倍率，再以光学工作距离为定值约束校准显微立体视觉参数。该方法通过平面靶标旋转获取的特征点近似共面，并且没有考虑镜头畸变的影响，会造成校准结果的不稳定和整个视场范围测量精度低。

综上所述，现有显微立体视觉校准技术存在校准方法不稳定和校准精度不足的缺陷，该常规立体视觉的成像模型及校准方法不能有效地应用于显微立体视觉。

发明内容

有鉴于此，本发明的主要目的在于提供一种显微立体视觉校准方法，利用一台体视显微镜和左右两台摄像机，通过左右摄像机坐标系沿各自光轴平移，根据图像反投误差最小的原则搜索最佳的左右摄像机坐标系位置，并基于这两处最佳位置建立显微立体视觉模型，利用平面靶标在视场内的自由移动，达到小景深显微立体视觉的高精度校准。

为达到上述目的，本发明的技术方案是这样实现的：

一种显微立体视觉校准方法，该方法包括：

A、建立显微立体视觉的数学模型的步骤；

B、对所述显微立体视觉数学模型内部参数进行校准的步骤；

C、对所述显微立体视觉双目结构参数进行校准的步骤。

其中，所述建立显微立体视觉的数学模型的过程为：

A1、左光轴和左摄像机理想像平面π_ul交于主点o_pl，o_clo_pl＝f_l；以π_ul左上角为原点建立二维图像坐标系o_l-u_lv_l；以o_dl为原点，o_dlx_dl//o_lu_l且o_dly_dl//o_lv_l建立左摄像机右手坐标系o_dl-x_dly_dlz_dl，o_clo_dl＝d_l；右光轴和右摄像机理想像平面π_ur交于主点o_pr，o_cro_pr＝f_r；以π_ur左上角为原点建立二维图像坐标系o_r-u_rv_r；以o_dr为原点，o_drx_dr//o_ru_r且o_dry_dr//o_rv_r建立右摄像机右手坐标系o_dr-x_dry_drz_dr，o_cro_dr＝d_r；其中，点o_cl和o_cr分别为左右光路的光学中心；

A2、在空间定义世界坐标系o_w-x_wy_wz_w，设空间点Q在世界坐标系下坐标为X_w＝[x_w，y_w，z_w]^T，其在左右摄像机坐标系下的坐标分别为X_dl＝[y_dl，y_dl，z_dl]^T和X_dr＝[x_dr，y_dr，z_dr]^T，得到

X_dl＝RX_dr+T；其中：

和

为o_w-x_wy_wz_w到o_dl-x_dly_dlz_dl的变换，分别表示旋转矩阵和平移矢量；

和

为o_w-x_wy_wz_w到o_dr-x_dry_drz_dr的变换，分别表示旋转矩阵和平移矢量；R和T称为双目结构参数，为o_dr-x_dry_drz_dr到o_dl-x_dly_dlz_dl的变换，分别表示旋转矩阵和平移向量，

A3、空间点Q的左右光路像点q_l和q_r的图像坐标分别为[u_l，v_l]^T和[u_r，v_r]^T，则摄像机坐标系位置自适应的显微立体视觉模型的理想投影变换为：

${\mathrm{\ξ}}_l\left[\begin{array}{c}{u}_l\\ v_l\\ 1\end{array}\right]=\left[\begin{array}{cccc}{s}_l{\mathrm{\α}}_l& 0& u_{0l}/d_l& u_{0l}\\ 0& {\mathrm{\α}}_l& v_{0l}/d_l& v_{0l}\\ 0& 0& 1/d_l& 1\end{array}\right]\left[\begin{array}{c}{x}_{\mathrm{dl}}\\ y_{\mathrm{dl}}\\ z_{\mathrm{dl}}\\ 1\end{array}\right];$ ${\mathrm{\ξ}}_r\left[\begin{array}{c}{u}_r\\ v_r\\ 1\end{array}\right]=\left[\begin{array}{cccc}{s}_r{\mathrm{\α}}_r& 0& u_{0r}/d_r& u_{0r}\\ 0& {\mathrm{\α}}_r& v_{0r}/d_r& v_{0r}\\ 0& 0& 1/d_r& 1\end{array}\right]\left[\begin{array}{c}{x}_{\mathrm{dr}}\\ y_{\mathrm{dr}}\\ z_{\mathrm{dr}}\\ 1\end{array}\right];$

其中，s_l，s_r分别为左右摄像机图像尺度因子；d_l，d_r称为左右摄像机坐标系位置偏移量，单位为mm；[u_0l，v_0l]^T和[u_0r，v_0r]^T为左右摄像机主点坐标，单位为像素；ξ_l，ξ_r为比例系数；α_l，α_r为左右摄像机坐标系位置自适应参数，α_l＝(f_l/d_l)/d_xl及α_r＝(f_r/d_r)/d_xr，单位为mm^-1；f_l，f_r为左右光路的有效焦距，单位为mm；d_xl，d_yl及d_xr，d_yr称为左右摄像机像素单元尺寸，单位为mm；d_xl＝d_yl，d_xr＝d_yr。

所述建立显微立体视觉的数学模型的过程进一步包括：

A4、考虑镜头的一次径向畸变，设理想点q_l和q_r对应的实际像点q_distl和q_diatr的坐标为[u_distl，v_distl]^T和[u_distr，v_distr]^T，则理想图像坐标到实际图像坐标的变换为：

$\left\{\begin{array}{c}{u}_{\mathrm{distl}}=(u-u_{0l})(1+k_{1l}({(u_l-u_{0l})}^2+{(v_l-v_{0l})}^2))+u_{0l}\\ v_{\mathrm{distl}}=(v-v_{0l})(1+k_{1l}({(u_l-u_{0l})}^2+{(v_l-v_{0l})}^2))+v_{0l}\end{array}\right.;$ $\left\{\begin{array}{c}{u}_{\mathrm{distr}}=(u-u_{0r})(1+k_{1r}({(u_r-u_{0r})}^2+{(v_r-v_{0r})}^2))+u_{0r}\\ v_{\mathrm{distr}}=(v-v_{0r})(1+k_{1r}({(u_r-u_{0r})}^2+{(v_r-v_{0r})}^2))+v_{0r}\end{array}\right.;$

其中，k₁为一次径向畸变系数，下标l和r分别对应左右摄像机，空间任意Q能够确定唯一图像像点q_l和q_r，反之亦然。

所述建立显微立体视觉的模型为：

$\left\{\begin{array}{c}{u}_l-u_{0l}=s_l{\mathrm{\α}}_l\frac{x_{\mathrm{dl}}}{(\frac{z_{\mathrm{dl}}}{d_l}+1)}(1+k_{1l}{r_l}^2)\\ v_l-v_{0l}={\mathrm{\α}}_l\frac{y_{\mathrm{dl}}}{(\frac{z_{\mathrm{dl}}}{d_l}+1)}(1+k_{1l}{r_l}^2)\end{array}\right.$

$\left\{\begin{array}{c}{u}_r-u_{0r}=s_r{\mathrm{\α}}_r\frac{x_{\mathrm{dr}}}{(\frac{z_{\mathrm{dr}}}{d_r}+1)}(1+k_{1r}{r_r}^2)\\ v_r-v_{0r}={\mathrm{\α}}_r\frac{y_{\mathrm{dr}}}{(\frac{z_{\mathrm{dr}}}{d_r}+1)}(1+k_{1r}{r_r}^2)\end{array}\right.$

[x_dl y_dl z_dl]^T＝R[x_dr y_dr z_dr]^T+T

其中，s_l，s_r为左右摄像机图像尺度因子；d_l，d_r为左右摄像机坐标系位置偏移量；[u_0l，v_0l]^T和[u_0r，v_0r]^T为左右摄像机主点坐标；k_1l，k_1r为左右摄像机畸变系数；α_l，α_r表征为左右摄像机坐标系位置自适应参数；α_l＝(f_l/d_l)/d_xl及α_r＝(f_r/d_r)/d_xr；f_l，f_r为左右光路的有效焦距；d_xl，d_yl及d_xr，d_yr为左右摄像机像素单元尺寸；R和T分别为双目结构参数的旋转矩阵和平移向量；

该显微立体视觉模型参数包括内部参数{α_l，s_l，d_l，u_0l，v_0l，k_1l，α_r，s_r，d_r，u_0r，v_0r，k_1r}和双目结构参数即{R，T}。

对所述显微立体视觉模型参数进行校准的过程包括：

B1、对α_l，α_r的校准，设定平面靶标，在白色陶瓷靶标上有预先设置的黑色圆斑阵列，圆斑总数40～100个，半径0.01mm～0.08mm，横纵间距0.01mm～0.5mm，定位精度0.15μm～3μm，圆斑中心为特征点，在小景深视场范围内，非平行地移动平面靶标至少3个位置，每移动一个位置左右摄像机各拍摄一幅图像，作为校准图像对；提取所有校准图像对的特征点的图像坐标，并与特征点的世界坐标相对应；左右两个光路分别利用特征点的图像坐标和对应的世界坐标，根据图像反投误差最小原则，优化搜索最佳摄像机坐标系位置自适应参数α_l，α_r；

B2、对{s_l，d_l，u_0l，v_0l，k_1l，s_r，d_r，u_0r，v_0r，k_1r}的校准，将最佳摄像机坐标系位置自适应参数α_l，α_r作为已知参数，利用步骤B1中提取的特征点的图像坐标和对应的世界坐标，左右两个光路各自完成其余内部参数的校准，包括左右摄像机图像尺度因子{s_l，s_r}、左右摄像机坐标系位置偏移量{d_l，d_r}、左右摄像机主点坐标{u_0l，v_0l，u_0r，v_0r}和左右摄像机畸变系数{k_1l，k_1r}。

对显微立体视觉双目结构参数的校准过程为：将校准图像对的特征点进行左右匹配，利用匹配好的特征点对的图像坐标及对应世界坐标，校准显微立体视觉系统的双目结构参数{R，T}。

本发明所提供的显微立体视觉校准方法，具有以下优点：

该方法通过左右摄像机坐标系沿光轴平移，根据图像反投误差最小原则搜索最佳的左右摄像机坐标系位置，并基于这两处最佳位置建立显微立体视觉的数学模型，利用平面靶标完成显微立体视觉的校准。对比于常规立体视觉校准方法，该校准方法通过平移摄像机坐标系改善了数据的量值分布，提取的视觉模型参数对噪声干扰更为鲁棒，能提高稳定性和高精度地完成小景深显微立体视觉的校准。该校准方法只需平面靶标在小景深范围内自由非平行地移动，操作简单。

附图说明

图1为摄像机坐标系位置自适应的显微立体视觉模型原理示意图；

图2为二维圆斑靶标示意图；

图3为图像反投误差随自适应参数变化曲线图。

具体实施方式

下面结合附图及本发明的实施例对本发明的方法作进一步详细的说明。

本发明的基本思想如下：建立摄像机坐标系位置自适应的显微立体视觉模型，对显微立体视觉内部参数进行校准，然后再对显微立体视觉双目结构参数进行校准。

步骤101、建立摄像机坐标系位置自适应的显微立体视觉模型；

如图1所示，点o_cl和o_cr分别为左右光路的光学中心；

左光轴和左摄像机理想像平面π_ul交于主点o_pl，o_clo_pl＝f_l；以π_ul左上角为原点建立二维图像坐标系o_l-u_lv_l；以o_dl为原点，o_dlx_dl//o_lu_l且o_dly_dl//o_lv_l建立左摄像机右手坐标系o_dl-x_dly_dlz_dl，o_clo_dl＝d_l。

右光轴和右摄像机理想像平面π_ur交于主点o_pr，o_cro_pr＝f_r；以π_ur左上角为原点建立二维图像坐标系o_r-u_rv_r；以o_dr为原点，o_drx_dr//o_ru_r且o_dry_dr//o_rv_r建立右摄像机右手坐标系o_dr-x_dry_drz_dr，o_cro_dr＝d_r。

在空间定义世界坐标系o_w-x_wy_wz_w。

设空间点Q在世界坐标系下坐标为X_w＝[x_w，y_w，z_w]^T，在左右摄像机坐标系下的坐标分别为X_dl＝[x_dl，y_dl，z_dl]^T和X_dr＝[x_dr，y_dr，z_dr]^T。则有：

$X_{\mathrm{dl}}=R_w^{\mathrm{dl}}{X}_w+T_w^{\mathrm{dl}}$

$X_{\mathrm{dr}}=R_w^{\mathrm{dr}}{X}_w+T_w^{\mathrm{dr}}---\left(1\right)$

X_dl＝RX_dr+T                     (2)

其中：

和为o_w-x_wy_wz_w到o_dl-x_dly_dlz_dl的变换，分别表示3×3的旋转矩阵和3×1的平移矢量。

和为o_w-x_wy_wz_w到o_dr-x_dry_drz_dr的变换，分别表示3×3的旋转矩阵和3×1的平移矢量。

R和T称为双目结构参数，是o_dr-x_dry_drz_dr到o_dl-x_dly_dlz_dl的变换，分别为3×3的旋转矩阵和3×1的平移向量，

空间点Q的左右光路像点q_l和q_r的图像坐标分别为[u_l，v_l]^T和[u_r，v_r]^T，则摄像机坐标系位置自适应的显微立体视觉模型的理想投影变换为：

${\mathrm{\ξ}}_l\left[\begin{array}{c}{u}_l\\ v_l\\ 1\end{array}\right]=\left[\begin{array}{cccc}{s}_l{\mathrm{\α}}_l& 0& u_{0l}/d_l& u_{0l}\\ 0& {\mathrm{\α}}_l& v_{0l}/d_l& v_{0l}\\ 0& 0& 1/d_l& 1\end{array}\right]\left[\begin{array}{c}{x}_{\mathrm{dl}}\\ y_{\mathrm{dl}}\\ z_{\mathrm{dl}}\\ 1\end{array}\right]$

${\mathrm{\ξ}}_r\left[\begin{array}{c}{u}_r\\ v_r\\ 1\end{array}\right]=\left[\begin{array}{cccc}{s}_r{\mathrm{\α}}_r& 0& u_{0r}/d_r& u_{0r}\\ 0& {\mathrm{\α}}_r& v_{0r}/d_r& v_{0r}\\ 0& 0& 1/d_r& 1\end{array}\right]\left[\begin{array}{c}{x}_{\mathrm{dr}}\\ y_{\mathrm{dr}}\\ z_{\mathrm{dr}}\\ 1\end{array}\right]---\left(3\right)$

其中：s_l，s_r称为左右摄像机图像尺度因子，d_l，d_r称为左右摄像机坐标系位置偏移量，单位为mm，[u_0l，v_0l]^T和[u_0r，v_0r]^T为左右摄像机主点坐标，单位为像素，ξ_l，ξ_r为比例系数；α_l，α_r表征为左右摄像机坐标系位置自适应参数，α_l＝(f_l/d_l)/d_xl及α_r＝(f_r/d_r)/d_xr，单位为mm^-1；f_l，f_r为左右光路的有效焦距，单位为mm；d_xl，d_yl及d_xr，d_yr称为左右摄像机像素单元尺寸，单位为mm，一般地d_xl＝d_yl，d_xr＝d_yr。

考虑镜头的一次径向畸变，设理想点q_l和q_r对应的实际像点q_distl和q_distr的坐标为[u_distl，v_distl]^T和[u_distr，v_distr]^T，则理想图像坐标到实际图像坐标的变换为：

$\left\{\begin{array}{c}{u}_{\mathrm{distl}}=(u-u_{0l})(1+k_{1l}({(u_l-u_{0l})}^2+{(v_l-v_{0l})}^2))+u_{0l}\\ v_{\mathrm{distl}}=(v-v_{0l})(1+k_{1l}({(u_l-u_{0l})}^2+{(v_l-v_{0l})}^2))+v_{0l}\end{array}\right.$

$\left\{\begin{array}{c}{u}_{\mathrm{distr}}=(u-u_{0r})(1+k_{1r}({(u_r-u_{0r})}^2+{(v_r-v_{0r})}^2))+u_{0r}\\ v_{\mathrm{distr}}=(v-v_{0r})(1+k_{1r}({(u_r-u_{0r})}^2+{(v_r-v_{0r})}^2))+v_{0r}\end{array}\right.---\left(4\right)$

其中，k₁为一次径向畸变系数，下标l和r分别对应左右摄像机。公式(1)～(4)表示了空间点到左右摄像机实际图像坐标的投影模型，空间任意点Q可以确定唯一图像像点q_l和q_r，反之亦然。

这样，根据公式(1)～(4)建立摄像机坐标系位置自适应的显微立体视觉模型：

$\left\{\begin{array}{c}{u}_l-u_{0l}=s_l{\mathrm{\α}}_l\frac{x_{\mathrm{dl}}}{(\frac{z_{\mathrm{dl}}}{d_l}+1)}(1+k_{1l}{r_l}^2)\\ v_l-v_{0l}={\mathrm{\α}}_l\frac{y_{\mathrm{dl}}}{(\frac{z_{\mathrm{dl}}}{d_l}+1)}(1+k_{1l}{r_l}^2)\end{array}\right.$

$\left\{\begin{array}{c}{u}_r-u_{0r}=s_r{\mathrm{\α}}_r\frac{x_{\mathrm{dr}}}{(\frac{z_{\mathrm{dr}}}{d_r}+1)}(1+k_{1r}{r_r}^2)\\ v_r-v_{0r}={\mathrm{\α}}_r\frac{y_{\mathrm{dr}}}{(\frac{z_{\mathrm{dr}}}{d_r}+1)}(1+k_{1r}{r_r}^2)\end{array}\right.$

[x_dl y_dl z_dl]^T＝R[x_dr y_dr z_dr]^T+T

其中：s_l，s_r为左右摄像机图像尺度因子、d_l，d_r为左右摄像机坐标系位置偏移量、[u_0l，v_0l]^T和[u_0r，v_0r]^T为左右摄像机主点坐标，k_1l，k_1r为左右摄像机畸变系数，α_l，α_r表征为左右摄像机坐标系位置自适应参数，α_l＝(f_l/d_l)/d_xl及α_r＝(f_r/d_r)/d_xr，f_l，f_r为左右光路的有效焦距，d_xl，d_yl及d_xr，d_yr为左右摄像机像素单元尺寸。R和T分别为双目结构参数的旋转矩阵和平移向量。

该显微立体视觉模型参数包括内部参数即{α_l，s_l，d_l，u_0l，v_0l，k_1l，α_r，s_r，d_r，u_0r，v_0r，k_1r}和双目结构参数即{R，T}。其中，内部参数，包括摄像机坐标系位置自适应参数α_l，α_r、图像尺度因子s_l，s_r、摄像机坐标系位置偏移量d_l，d_r、主点坐标[u_0l，v_0l]^T和[u_0r，v_0r]^T及畸变系数k_1l，k_1r；以及双目结构参数包括旋转矩阵R和平移向量T。

根据上述显微立体视觉模型，对该显微立体视觉模型进行校准可分为两步：一是显微立体视觉内部参数的校准，二是显微立体视觉双目结构参数的校准。

步骤102、对显微立体视觉内部参数进行校准。

步骤102a：设定平面靶标，在白色陶瓷靶标上预先设置黑色圆斑阵列，圆斑总数40～100个，半径0.01mm～0.08mm，横纵间距0.01mm～0.5mm，定位精度0.15μm～3μm。

如图2所示，以圆斑中心作为特征点，在小景深视场范围内，自由、非平行地移动平面靶标至少3个位置，每移动一个位置左右摄像机各拍摄一幅图像，作为校准图像对，使该靶标上所有特征点保持在左右摄像机的视场内。

步骤102b：提取所有校准图像对的特征点的图像坐标，提取算法可参见赵征等发表的论文“一种基于整列圆的圆心识别算法及其在摄像机标定中的应用”(Estimation of projected circle centers from array circles and its application incamera calibration)，智能计算和工业应用第二次亚太会议论文集，第1卷，182～185页，武汉中国2009年(Second Asia-Pacific Conference on ComputationalIntelligence and Industrial Application(PACIIA)，Vol.1，PP.182～185，Wuhan，China，2009)。并在该平面靶标上建立世界坐标系，用o_w-x_wy_wz_w表示，原点定义在左上角的特征点，轴o_wx_w和o_wy_w分别与靶标阵列平行，轴o_wx_w水平向右，o_wy_w竖直向下，o_wz_w由右手法则确定。将校准图像对的特征点的图像坐标分别与世界坐标对应。

步骤102c：左右两个光路分别利用特征点的图像坐标和对应的世界坐标，以图像反投误差最小为原则校准左右摄像机坐标系位置自适应参数α_l，α_r，同时获得显微立体视觉其余的内部参数{s_l，d_l，u_0l，v_0l，k_1l，s_r，d_r，u_0r，v_0r，k_1r}。这里，所述获得的显微立体视觉内部参数将作为步骤102d的初值。

根据公式(1)～(4)，利用特征点的世界坐标X_wi，得到左右视图特征点的计算图像坐标和

特征点提取的实际图像坐标为X_distli和X_distri，则得到：

$f({\mathrm{\α}}_l,s_l,d_l,u_{0l},v_{0l},k_{1l},R_w^{\mathrm{dl}},T_w^{\mathrm{dl}})={\mathrm{\Σ}}_{i=1}^N{\mathrm{off}}^2(X_{\mathrm{distli}}^{\′},X_{\mathrm{distli}})---\left(5\right)$

$f({\mathrm{\α}}_r,s_r,d_r,u_{0r},v_{0r},k_{1r},R_w^{\mathrm{dr}},T_w^{\mathrm{dr}})={\mathrm{\Σ}}_{i=1}^N{\mathrm{off}}^2(X_{\mathrm{distri}}^{\′},X_{\mathrm{distri}})---\left(6\right)$

其中：N为特征点数量，

和

表示左右光路根据模型计算的像点坐标和提取的实际像点坐标的距离。

利用公式(5)和(6)，分别采用Levenberg-Marquardt非线性优化方法校准左右摄像机坐标系位置自适应参数α_l，α_r，同时得到显微视觉模型其余的内部参数{s_l，d_l，u_0l，v_0l，k_1l}和{s_r，d_r，u_0r，v_0r，k_1r}。这里，所述获得的显微立体视觉内部参数将作为步骤102d的初值。

步骤102d：左右光路分别利用特征点的图像坐标和对应的世界坐标，将步骤102c已校准的自适应参数α_l，α_r作为已知参数，完成其余的内部参数{s_l，d_l，u_0l，v_0l，k_1l，s_r，d_r，u_0r，v_0r，k_1r}的校准。

同步骤102c，可得到：

$g(s_l,d_l,u_{0l},v_{0l},k_{1l},R_w^{\mathrm{dl}},T_w^{\mathrm{dl}})={\mathrm{\Σ}}_{i=1}^N{\mathrm{off}}^2(X_{\mathrm{distli}}^{\′},X_{\mathrm{distli}})---\left(7\right)$

$g(s_r,d_r,u_{0r},v_{0r},k_{1r},R_w^{\mathrm{dr}},T_w^{\mathrm{dr}})={\mathrm{\Σ}}_{i=1}^N{\mathrm{off}}^2(X_{\mathrm{distri}}^{\′},X_{\mathrm{distri}})---\left(8\right)$

利用公式(7)和(8)，将步骤102c得到的显微立体视觉其余内部参数作为初值，采用Levenberg-Marquardt非线性优化方法校准显微立体视觉模型参数{s_l，d_l，u_0l，v_0l，k_1l}和{s_r，d_r，u_0r，v_0r，k_1r}。

步骤103、对显微立体视觉双目结构参数进行校准。

将所述校准图像对的特征点进行左右摄像机匹配，利用匹配好的特征点对的图像坐标及对应的世界坐标，完成显微立体视觉双目结构参数R和T的校准。

利用已校准的显微立体视觉的内部参数，则可得到：

$h(R,T,R_w^{\mathrm{dl}},T_w^{\mathrm{dl}})={\mathrm{\Σ}}_{i=1}^N{\mathrm{off}}^2(X_{\mathrm{distli}}^{\′},X_{\mathrm{distli}})+{\mathrm{off}}^2(X_{\mathrm{distri}}^{\′},X_{\mathrm{distri}})---\left(9\right)$

利用公式(9)采用Levenberg-Marquardt非线性优化方法即可校准双目结构参数R和T。

这里，为说明采用本发明方法对显微立体视觉校准的效果，进行了如下实验：

假设像元尺寸为3.45×3.45μm，焦距f＝201.92mm，图像尺度因子s＝1.024，主点坐标[u₀，v₀]^T＝[1231，1023]^T，k₁＝0。

按显微视觉模型生成5个位置处的仿真特征点。每处位置的特征点个数为49个，集中分布在离光学中心距离80±0.01mm的深度范围内。图像反投误差定义为特征点根据模型计算的像点坐标和提取的实际像点坐标的距离。需要说明的是，下文提及的Zhang的校准方法指Zhang的基于摄像机光学中心的自由平面靶标校准方法。

进行50次重复实验，对5幅校准图像分别加入均值为0，标准差为0～0.4pixel的图像噪声，得到的图像反投误差随自适应参数变化曲线，如图3所示。图3中共示出6条像素噪声曲线，其中，曲线1表示0像素噪声、曲线2表示0.1像素噪声、曲线3表示0.2像素噪声、曲线4表示0.3像素噪声、曲线5表示0.4像素噪声、曲线6表示理想像平面位置。每条噪声分支曲线的最后一个点为Zhang的校准方法得到的反投误差。

采用一台Zeiss Carl Discovery Stereo V8体视显微镜和两台AVT StingrayF504B摄像机构成显微立体视觉系统。显微镜物镜放大倍率1.5×，变倍体放大倍数设置为3.2×，相机适配器放大倍率为0.63×，即从物方空间到像方空间的总放大倍率为3.024×，工作距离(工作点至物镜前端的距离)为30mm。相机传感器为2/3″CCD芯片，像素分辨率为2452×2056。利用如图2所示的圆斑平面靶标，如，圆靶标阵列为7×7个，横纵等长圆心距0.3125mm，半径为0.078125mm，加工精度为0.15μm。

在小景深范围内自由移动平面靶标拍摄12幅图像作为校准图像对。测量精度定义为三维空间内根据模型计算的两特征点间距和实际两特征点间距的差。

该显微立体视觉系统基于摄像机坐标系位置自适应模型能达到0.4μm的测量精度。

采用本发明方法校准完成的显微立体视觉系统，能够应用于微小位移和角度的测量，其校准方法稳定、测量精度高，能够获得较好的测量效果。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (6)

1.一种显微立体视觉校准方法，其特征在于，该方法包括：

A、建立显微立体视觉的数学模型的步骤；

B、对所述显微立体视觉数学模型内部参数进行校准的步骤；

C、对所述显微立体视觉双目结构参数进行校准的步骤。

2.根据权利要求1所述的显微立体视觉校准方法，其特征在于，所述建立显微立体视觉的数学模型的过程为：

A1、左光轴和左摄像机理想像平面π_ul交于主点o_pl，o_clo_pl＝f_l；以π_ul左上角为原点建立二维图像坐标系o_l-u_lv_l；以o_dl为原点，o_dlx_dl//o_lu_l且o_dly_dl//o_lv_l建立左摄像机右手坐标系o_dl-x_dly_dlz_dl，o_clo_dl＝d_l；右光轴和右摄像机理想像平面π_ur交于主点o_pr，o_cro_pr＝f_r；以π_ur左上角为原点建立二维图像坐标系o_r-u_rv_r；以o_dr为原点，o_drx_dr//o_ru_r且o_dry_dr//o_rv_r建立右摄像机右手坐标系o_dr-x_dry_drz_dr，o_cro_dr＝d_r；其中，点o_cl和o_cr分别为左右光路的光学中心；

A2、在空间定义世界坐标系o_w-x_wy_wz_w，设空间点Q在世界坐标系下坐标为X_w＝[x_w，y_w，z_w]^T，其在左右摄像机坐标系下的坐标分别为X_dl＝[x_dl，y_dl，z_dl]^T和X_dr＝[x_dr，y_dr，z_dr]^T，得到

X_dl＝RX_dr+T；其中：和

为o_w-x_wy_wz_w到o_dl-x_dly_dlz_dl的变换，分别表示旋转矩阵和平移矢量；

和

为o_w-x_wy_wz_w到o_dr-x_dry_drz_dr的变换，分别表示旋转矩阵和平移矢量；R和T称为双目结构参数，为o_dr-x_dry_drz_dr到o_dl-x_dly_dlz_dl的变换，分别表示旋转矩阵和平移向量，

A3、空间点Q的左右光路像点q_l和q_r的图像坐标分别为[u_l，v_l]^T和[u_r，v_r]^T，则摄像机坐标系位置自适应的显微立体视觉模型的理想投影变换为：

${\mathrm{\ξ}}_l\left[\begin{array}{c}{u}_l\\ v_l\\ 1\end{array}\right]=\left[\begin{array}{cccc}{s}_l{\mathrm{\α}}_l& 0& u_{0l}/d_l& u_{0l}\\ 0& {\mathrm{\α}}_l& v_{0l}/d_l& v_{0l}\\ 0& 0& 1/d_l& 1\end{array}\right]\left[\begin{array}{c}{x}_{\mathrm{dl}}\\ y_{\mathrm{dl}}\\ z_{\mathrm{dl}}\\ 1\end{array}\right];$ ${\mathrm{\ξ}}_r\left[\begin{array}{c}{u}_r\\ v_r\\ 1\end{array}\right]=\left[\begin{array}{cccc}{s}_r{\mathrm{\α}}_r& 0& u_{0r}/d_r& u_{0r}\\ 0& {\mathrm{\α}}_r& v_{0r}/d_r& v_{0r}\\ 0& 0& 1/d_r& 1\end{array}\right]\left[\begin{array}{c}{x}_{\mathrm{dr}}\\ y_{\mathrm{dr}}\\ z_{\mathrm{dr}}\\ 1\end{array}\right];$

其中，s_l，s_r分别为左右摄像机图像尺度因子；d_l，d_r称为左右摄像机坐标系位置偏移量，单位为mm；[u_0l，v_0l]^T和[u_0r，v_0r]^T为左右摄像机主点坐标，单位为像素；ξ_l，ξ_r为比例系数；α_l，α_r为左右摄像机坐标系位置自适应参数，α_l＝(f_l/d_l)/d_xl及α_r＝(f_r/d_r)/d_xr，单位为mm^-1；f_l，f_r为左右光路的有效焦距，单位为mm；d_xl，d_yl及d_xr，d_yr称为左右摄像机像素单元尺寸，单位为mm；d_xl＝d_yl，d_xr＝d_yr。

3.根据权利要求2所述的显微立体视觉校准方法，其特征在于，所述建立显微立体视觉的数学模型的过程进一步包括：

A4、考虑镜头的一次径向畸变，设理想点q_l和q_r对应的实际像点q_distl和q_distr的坐标为[u_distl，v_distl]^T和[u_distr，v_distr]^T，则理想图像坐标到实际图像坐标的变换为：

$\left\{\begin{array}{c}{u}_{\mathrm{distl}}=(u-u_{0l})(1+k_{1l}({(u_l-u_{0l})}^2+{(v_l-v_{0l})}^2))+u_{0l}\\ v_{\mathrm{distl}}=(v-v_{0l})(1+k_{1l}({(u_l-u_{0l})}^2+{(v_l-v_{0l})}^2))+v_{0l}\end{array}\right.;$ $\left\{\begin{array}{c}{u}_{\mathrm{distr}}=(u-u_{0r})(1+k_{1r}({(u_r-u_{0r})}^2+{(v_r-v_{0r})}^2))+u_{0r}\\ v_{\mathrm{distr}}=(v-v_{0r})(1+k_{1r}({(u_r-u_{0r})}^2+{(v_r-v_{0r})}^2))+v_{0r}\end{array}\right.;$

其中，k₁为一次径向畸变系数，下标l和r分别对应左右摄像机，空间任意Q能够确定唯一图像像点q_l和q_r，反之亦然。

4.根据权利要求2和3所述的显微立体视觉校准方法，其特征在于，所述建立显微立体视觉的模型为：

$\left\{\begin{array}{c}{u}_l-u_{0l}=s_l{\mathrm{\α}}_l\frac{x_{\mathrm{dl}}}{(\frac{z_{\mathrm{dl}}}{d_l}+1)}(1+k_{1l}{r_l}^2)\\ v_l-v_{0l}={\mathrm{\α}}_l\frac{y_{\mathrm{dl}}}{(\frac{z_{\mathrm{dl}}}{d_l}+1)}(1+k_{1l}{r_l}^2)\end{array}\right.$

$\left\{\begin{array}{c}{u}_r-u_{0r}=s_r{\mathrm{\α}}_r\frac{x_{\mathrm{dr}}}{(\frac{z_{\mathrm{dr}}}{d_r}+1)}(1+k_{1r}{r_r}^2)\\ v_r-v_{0r}={\mathrm{\α}}_r\frac{y_{\mathrm{dr}}}{(\frac{z_{\mathrm{dr}}}{d_r}+1)}(1+k_{1r}{r_r}^2)\end{array}\right.$

[x_dl y_dl z_dl]^T＝R[x_dr y_dr z_dr]^T+T

其中，s_l，s_r为左右摄像机图像尺度因子；d_l，d_r为左右摄像机坐标系位置偏移量；[u_0l，v_0l]^T和[u_0r，v_0r]^T为左右摄像机主点坐标；k_1l，k_1r为左右摄像机畸变系数；α_l，α_r表征为左右摄像机坐标系位置自适应参数；α_l＝(f_l/d_l)/d_xl及α_r＝(f_r/d_r)/d_xr；f_l，f_r为左右光路的有效焦距；d_xl，d_yl及d_xr，d_yr为左右摄像机像素单元尺寸；R和T分别为双目结构参数的旋转矩阵和平移向量；

该显微立体视觉模型参数包括内部参数{α_l，s_l，d_l，u_0l，v_0l，k_1l，α_r，s_r，d_r，u_0r，v_0r，k_1r}和双目结构参数即{R，T}。

5.根据权利要求4所述的显微立体视觉校准方法，其特征在于，对所述显微立体视觉模型参数进行校准的过程包括：

B1、对α_l，α_r的校准，设定平面靶标，在白色陶瓷靶标上有预先设置的黑色圆斑阵列，圆斑总数40～100个，半径0.01mm～0.08mm，横纵间距0.01mm～0.5mm，定位精度0.15μm～3μm，圆斑中心为特征点，在小景深视场范围内，非平行地移动平面靶标至少3个位置，每移动一个位置左右摄像机各拍摄一幅图像，作为校准图像对；提取所有校准图像对的特征点的图像坐标，并与特征点的世界坐标相对应；左右两个光路分别利用特征点的图像坐标和对应的世界坐标，根据图像反投误差最小原则，优化搜索最佳摄像机坐标系位置自适应参数α_l，α_r；

B2、对{s_l，d_l，u_0l，v_0l，k_1l，s_r，d_r，u_0r，v_0r，k_1r}的校准，将最佳摄像机坐标系位置自适应参数α_l，α_r作为已知参数，利用步骤B1中提取的特征点的图像坐标和对应的世界坐标，左右两个光路各自完成其余内部参数的校准，包括左右摄像机图像尺度因子{s_l，s_r}、左右摄像机坐标系位置偏移量{d_l，d_r}、左右摄像机主点坐标{u_0l，v_0l，u_0r，v_0r}和左右摄像机畸变系数{k_1l，k_1r}。

6.根据权利要求4所述的显微立体视觉校准方法，其特征在于，对显微立体视觉双目结构参数的校准过程为：将校准图像对的特征点进行左右匹配，利用匹配好的特征点对的图像坐标及对应世界坐标，校准显微立体视觉系统的双目结构参数{R，T}。

Images