CN103353388A - 一种具摄像功能的双目体式显微成像系统标定方法及装置 - Google Patents

Abstract

一种具摄像功能的双目体式显微成像系统标定方法及装置，所述方法包括标定板的设计与制备、采集标定板图像、标定板图像检测、计算标定板上特征点的三维坐标值，并确定特征点与图像点之间的对应关系、构建显微成像系统畸变模型，并估算显微成像系统参数初值、自标定优化运算这些步骤。所述装置包括CCD摄像机(1、4)、体式显微镜主体(2)、系统标定板(3)、LED背光灯(6)、显微四轴位移台(7)和计算机(5)。本发明提供的具摄像功能的双目体式显微成像系统标定方法及装置，可以快速高效的完成对带摄像机的双目体式显微成像系统进行高精度标定。具有操作方便，自动化程度高，结果准确可靠的特点。

Description

一种具摄像功能的双目体式显微成像系统标定方法及装置

技术领域

本发明涉及显微试验力学领域中的光学显微镜的标定问题，特别涉及一种具摄像功能的双目体式显微成像系统标定方法及装置。

背景技术

随着微小型机械设备应用领域的不断扩展，迫切需要对微型结构件进行类似于大尺寸结构件的各种力学性能测试，例如微小结构件在受力作用下的应力应变分析。光学测量以其非接触、鲁棒性好、高精度等独特优势，在实验力学领域发挥着越来越重要的作用。体式显微镜又称“实体显微镜”或“解剖镜”，是一种具有正像立体感的目视仪器，它作为一种将微小物体或者是物体的微小部分进行放大以便观察的光学仪器，可以很好满足光学测量在微小领域的需求。

精密测量设备，在使用之前都要有一个标定的过程。具摄像功能的双目体式显微成像系统，作为一个测量系统也不例外。具摄像功能的双目体式显微成像系统，可以看作是由两个独立的光路系统组成，每个单独的光路又由一个摄像机和多个透镜组构成。标定的目的就是为了获取两个独立光路的内参数和相对外参数，实现对具摄像功能的双目体式显微成像系统的精确标定。

现有的双目摄相机标定方法中，大多针对的是宏观摄像机的标定，如径向排列约束法(RAC)以及二维平面标定法等。然而，由于显微成像系统不再是由单个镜头组成，而是由多个透镜组构成，各个透镜组本身和透镜组之间都存在着光学畸变，现有的简单相机成像畸变模型(如径向畸变模型)不再适合于体式显微成像系统。关于光学显微成像系统的标定问题，Gaudenz Danuser在文献“Stereo Light Microscope Calibration for 3DSubmicron Vision”中阐述过一种光学显微镜的标定方法，然而由于其方法繁琐，在一定程度上影响了该方法的推广应用。

发明内容

为了克服现有具摄像功能的双目体式显微成像系统标定方法及装置的不足，满足实际使用的需求，本发明提供了一种具摄像功能的双目体式显微成像系统标定方法及装置。并根据所要标定的体式显微成像系统的变焦范围，设计制备了相应幅面的标定板，可以方便的实现对具摄像功能的双目体式显微成像系统的精确标定。

本发明的具摄像功能的双目体式显微成像系统标定方法的操作步骤如下：

第一步，标定板的设计与制备：根据要标定的双目体式显微成像系统的变焦范围，制备相应幅面的标定板，标定板上刻有两种不同的特征点；

第二步，标定板图像采集：在某一固定放大倍数下，借助计算机和显微四轴位移台，采集多幅不同状态下的标定板图像；

第三步，标定板图像检测：对第二步中采集到的标定板图像进行高精度的图像检测，计算出图像上特征点的坐标值；

第四步，计算标定板上特征点的三维坐标值，并确定特征点与图像点之间的对应关系；

第五步，构建显微成像系统畸变模型，并计算无畸变显微成像系统的系统参数初值，其中系统参数包括内参数和外参数；

第六步，根据典型的相机成像模型并结合左右光路之间的固定关系，对显微成像系统内外参数和标定板上特征点的三维坐标进行整体的自标定优化运算，并对最终标定结果进行温度补偿。

本发明的具摄像功能的双目体式显微成像系统标定装置包括有CCD摄像机、体式显微镜主体、系统标定板、LED背光灯、计算机和显微四轴位移台。其中计算机包括图像采集控制单元、图像特征点检测单元、运动轨迹控制单元、畸变模型构建单元、参数初值计算单元、优化运算单元以及温度补偿单元。

本发明具有以下优点：

(1)本发明中特征点的制备采用了激光雕刻工艺，加工分辨率优于1微米，且标定板背景为黑色，可以在投射光使用，也可以正射光使用。

(2)本发明中标定板制备采用了一板多用的原则，可以在不更换标定板的情况下，完成对体式显微成像系统多个倍率的连续标定。

(3)由于本发明在进行标定时借助了显微四轴位移台，故可以在计算机的控制下，自动完成标定板不同姿态的摆放。图像采集完成后，后续的标定计算过程，由自主开发的标定软件完成。整个标定过程自动化程度高，标定周期较短，提高了系统标定的效率。

(4)由于本发明中标定板上设置有一定数量的具有唯一编码的特征点，故不同状态上的特征点之间可以方便的进行识别和匹配。

(5)由于本发明使用更加光滑的五阶多项式函数作为图像畸变函数，故可以更加精确的实现对体式显微成像系统畸变的校正。

附图说明

图1是本发明的标定流程图。

图2是本发明中具摄像功能的双目体式显微成像系统标定装置示意图。

图3是本发明中使用的标定板设计图案。

图4是本发明中使用的多幅面系统标定板设计图。

图5是本发明标定时采集的12张左相机标定图像，并在每张图像的右下角用红色坐标标明了采集时的位置信息。

具体实施方式

以下结合附图对本发明作进一步的详细说明。

本发明提出一种具摄像功能的双目体式显微成像系统标定方法及装置，标定方法基本流程如图1所示。具摄像功能的双目体式显微成像系统标定装置示意图如图2所示，主要由CCD摄像机1、4，体式显微镜主体2，系统标定板3，LED背光灯6，显微四轴位移台7，计算机5等组成。

在对具摄像功能的双目体式显微成像系统进行标定时，第一步，标定板的设计与制备：根据所要标定的体式显微成像系统的变倍比和所能测量的视场范围确定所要使用的标定板幅面。为了便于在不同倍率下对体式显微成像系统进行连续标定，故将不同幅面的标定板光刻到同一片透明玻璃上，如图3所示，特征点之间的距离精度优于1微米。标定板可在透射光和正射光下使用。

第二步，标定板图像采集：首先，设置初始状态；在某一固定放大倍数下，将相应幅面标定板水平放置于体式显微镜的视场内，打开自主开发的标定软件的十字中心线，调节标定板位置，使标定板的中心和校正中心线的十字重合。设置好初始状态以后，在计算机的控制下，借助显微四轴位移台，从初始状态开始，在三个不同平面上沿着逆时针方向分别采集4对标定板图像。采集的12对标定板图像中，第一对图像(初始状态图像)用于显微成像系统畸变的校正。采集到的所有标定板图像用于系统参数的计算。此处的三个平面与水平面间的夹角α0分别是0°，+10°和-10°.在每个平面内四张图像的旋转角度β0分别为0°，90°，180°和270°.图5中图像右下角的红色坐标的书写形式为(α0，β0).

第三步，检测标定板图像：即对第二步中采集到的标定板图像依次进行Canny边缘检测、降噪后的亚像素边缘提取和椭圆中心拟合等步骤，计算出图像特征点的中心坐标。

第四步，计算标定板上特征点的三维坐标值，并确定特征点与图像点之间的对应关系。

首先，计算标定板上特征点的三维坐标值。将世界坐标系的原点设在图3所示标定板的中心，世界坐标系的z轴垂直于标定板平面，整个世界坐标系位置如图2中(X-Y-Z)所示，其中世界坐标系的z值均设为零。由于特征点间的距离是已知的，因此每个特征圆点中心的x和y坐标可以由其所在阵列的位置和特征点间距确定。

然后，利用仿射变换理论确定标定板上非编码特征点的三维坐标和图像上非编码特征点坐标之间的对应关系。

(1)计算仿射变换参数。

利用已知编码特征点的图像坐标和三维坐标值，根据式(1)计算仿射变换的两个参数矩阵A和B：

$\left[\begin{array}{c}X\\ Y\end{array}\right]=\left[\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]+\left[\begin{array}{c}{b}_1\\ b_2\end{array}\right]---\left(1\right)$

其中[X，Y，0]′和[x，y]′分别是标定板上编码特征点的三维坐标和图像坐标； $A=\left[\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\end{array}\right]$ 是一个非奇异的仿射矩阵； $B=\left[\begin{array}{c}{b}_1\\ b_2\end{array}\right]$ 是平移矩阵。

(2)反算非编码特征点设计坐标。

根据(1)式计算出的仿射变换参数，反算非编码特征点的三维坐标值，并与原始计算出的三维坐标值进行比较，恢复图像上非编码特征点的位置信息。

第五步，构建显微成像系统畸变模型，并计算无畸变显微成像系统的系统参数初值，其中系统参数包括内参数和外参数。

首先，构建显微成像系统畸变模型，目的是减小采集到的标定板图像坐标中的畸变成分。

(1)显微成像系统畸变模型构建。

受显微成像系统光路的复杂性和显微成像设备装配精度的影响，在中心投影模型中，典型的相机畸变模型(如径向畸变)不再适用。本发明采用精密度极高的光刻标定板(如图3所示)，对显微系统的畸变进行校正。大量研究表明，显微镜成像时，成像中心位置畸变最小。通过对中心位置的统计分析，可以获得图像特征点在水平和竖直方向的误差Δ_x(x_i，y_i)，Δ_y(x_i，y_i)。利用公式(2)对所有特征点误差进行评估；

$\left\{\begin{array}{c}{\mathrm{\Δ}}_x(x_i,y_i)=A_0+A_1{x}_i+A_2{y}_i+A_3{x_i}^3+A_4{x}_i{y}_i+A_5{y_i}^2+A_6{x_i}^3+A_7{x_i}^2{y}_i+A_8{x}_i{y_i}^2\\ +A_9{y_i}^3+A_{10}{x_i}^4+A_{11}{x_i}^2{y_i}^2+A_{12}{x}_i{y_i}^3+A_{13}{x_i}^3{y}_i+A_{14}{y_i}^4+A_{15}{x_i}^5+A_{16}{x_i}^1{y_i}^4\\ +A_{17}{x_i}^4{y_i}^1+A_{18}{x_i}^3{y_i}^2+A_{19}{x_i}^2{y_i}^3+A_{20}{y_i}^5\\ {\mathrm{\Δ}}_y(x_i,y_i)=B_0+B_1{x}_i+B_2{y}_i+B_3{x_i}^3+B_4{x}_i{y}_i+B_5{y_i}^2+B_6{x_i}^3+B_7{x_i}^2{y}_i+B_8{x}_i{y_i}^2\\ {+B}_9{y_i}^3+B_{10}{x_i}^4+B_{11}{x_i}^2{y_i}^2+B_{12}{x}_i{y_i}^3+B_{13}{x_i}^3{y}_i+B_{14}{y_i}^4+B_{15}{x_i}^5+B_{16}{x_i}^1{y_i}^4\\ +B_{17}{x_i}^4{y_i}^1+B_{18}{x_i}^3{y_i}^2+B_{19}{x_i}^2{y_i}^3+B_{20}{y_i}^5\end{array}\right.---\left(2\right)$

其中x_i和y_i是第i个特征点的初始状态图像坐标；A_j和B_j为待求解的42个系数。

(2)减小标定板图像坐标中的畸变成分。

通过利用足够多的圆形特征点，计算出(2)式中各个系数，进而可以确定出该畸变系统中任意一个位置的畸变情况。然后利用(3)式对所有标定图像进行处理，减小标定板图像坐标中的畸变成分，以得到更加接近真实的图像坐标位置，提高标定的精度；

$\left\{\begin{array}{c}X=R_x[x_i-{\mathrm{\Δ}}_x(x_i,y_i)]\\ Y=R_y[y_i-{\mathrm{\Δ}}_y(x_i,y_i)]\end{array}\right.---\left(3\right)$

其中，(X，Y，0)是特征点三维坐标，R_x和R_y是x方向和y方向的比例系数。

其次，计算显微成像系统的系统参数初值，其中的系统参数包括内参数和外参数。下面以左光路系统为例，计算左光路的系统参数初值。

(3)计算系统内参数初值。

利用第(2)步中处理后的左图像坐标，将典型的中心投影模型通过线性化处理后，得到(4)式。通过(4)式可以为每个状态的左标定图像获得一个具有8个分量的{η}_i向量；

$\left\{\begin{array}{c}x={\mathrm{\η}}_1+{\mathrm{\η}}_3{X}_W+{\mathrm{\η}}_4{Y}_W-{\mathrm{\η}}_{7}x{X}_W-{\mathrm{\η}}_{8}x{Y}_W\\ y={\mathrm{\η}}_2+{\mathrm{\η}}_5{X}_W+{\mathrm{\η}}_6{Y}_W-{\mathrm{\η}}_{7}y{X}_W-{\mathrm{\η}}_{8}y{Y}_W\end{array}\right.---\left(4\right)$

在已知{η}_i的条件下，利用下面的方程式(5)确定出左光路系统的向量{ξ}；

$\left(\begin{array}{cccc}({\mathrm{\η}}_3{\mathrm{\η}}_8+{\mathrm{\η}}_4{\mathrm{\η}}_7)& {\mathrm{\η}}_5{\mathrm{\η}}_6& ({\mathrm{\η}}_5{\mathrm{\η}}_8+{\mathrm{\η}}_6{\mathrm{\η}}_7)& {\mathrm{\η}}_7{\mathrm{\η}}_8\\ 2({\mathrm{\η}}_3{\mathrm{\η}}_8+{\mathrm{\η}}_4{\mathrm{\η}}_7)& {{\mathrm{\η}}_5}^2-{{\mathrm{\η}}_6}^2& 2({\mathrm{\η}}_5{\mathrm{\η}}_7-{\mathrm{\η}}_6{\mathrm{\η}}_8)& {{\mathrm{\η}}_7}^2-{{\mathrm{\η}}_8}^2\end{array}\right)\left\{\begin{array}{c}{\mathrm{\ξ}}_1\\ {\mathrm{\ξ}}_2\\ {\mathrm{\ξ}}_3\\ {\mathrm{\ξ}}_4\end{array}\right\}=\left\{\begin{array}{c}-{\mathrm{\η}}_3{\mathrm{\η}}_4\\ {{\mathrm{\η}}_4}^2-{{\mathrm{\η}}_3}^2\end{array}\right\}---\left(5\right)$

一旦{ξ}向量确定以后，就可以直接由(6)式确定左光路系统的内参数c_x，c_y，f_x，f_y，f_s，其中f_s的初始值设为零。

c_x＝-ξ₁ $c_y=-\frac{{\mathrm{\ξ}}_3}{{\mathrm{\ξ}}_2}$

$f_x=\sqrt{({\mathrm{\ξ}}_4-\frac{{{\mathrm{\ξ}}_3}^2}{{\mathrm{\ξ}}_2}-{{\mathrm{\ξ}}_1}^2)}$ $f_y=\frac{1}{{{\mathrm{\ξ}}_2}^2}\sqrt{({\mathrm{\ξ}}_4-\frac{{{\mathrm{\ξ}}_3}^2}{{\mathrm{\ξ}}_2}-{{\mathrm{\ξ}}_1}^2)}---\left(6\right)$

(4)计算系统外参数初值。

由第(3)步中确定的{η}_i向量和{ξ}向量，根据式(7)可以确定出每次拍摄时摄像机坐标系相对于世界坐标系的平移矩阵T＝[T_x，T_y，T_z]′.

$\left\{\begin{array}{c}{T_z}^2\\ T_x\\ T_y\end{array}\right\}=\left\{\begin{array}{c}\frac{{({\mathrm{\η}}_3-{\mathrm{\η}}_7{c}_x)}^2+{({\mathrm{\η}}_4-{\mathrm{\η}}_8{c}_x)}^2}{{f_x}^2}+\frac{{({\mathrm{\η}}_5-{\mathrm{\η}}_7{c}_y)}^2+{({\mathrm{\η}}_6-{\mathrm{\η}}_8{c}_y)}^2}{{f_y}^2}+{{\mathrm{\η}}_7}^2+{{\mathrm{\η}}_8}^2\\ ({\mathrm{\η}}_1-c_x)\frac{T_z}{f_x}\\ ({\mathrm{\η}}_2-c_y)\frac{T_z}{f_x}\end{array}\right\}---\left(7\right)$

由(8)式，并根据摄像机坐标系与世界坐标系之间的旋转矩阵R的正交性，可以获得旋转矩阵各个分量的值。

$R=\left(\begin{array}{ccc}\frac{T_z({\mathrm{\η}}_3-{\mathrm{\η}}_7{c}_x)}{f_x}& \frac{T_z({\mathrm{\η}}_4-{\mathrm{\η}}_8{c}_x)}{f_x}& R_{13}\\ \frac{T_z({\mathrm{\η}}_5-{\mathrm{\η}}_7{c}_y)}{f_y}& \frac{T_z({\mathrm{\η}}_6-{\mathrm{\η}}_8{c}_y)}{f_y}& R_{23}\\ T_z{\mathrm{\η}}_7& T_z{\mathrm{\η}}_8& R_{33}\end{array}\right)---\left(8\right)$

其中R_i3(i＝1，2，3)的值可以由正交矩阵的性质获得。

最后，重复步骤(3)和(4)，计算出右光路系统参数初值。

第六步，根据典型的相机成像模型并结合左右光路之间的固定关系，根据最小二乘理论，对显微成像系统内外参数和标定板上特征点的三维坐标进行整体的自标定优化，并对最终标定结果进行温度补偿。

(1)确定左右光路之间关系。

根据第五步中确定的单个成像系统的内外参数初值，以左光路系统作为基准，根据式(9)确定左右光路之间关系，其中的下角标l代表左，r代表右，lr代表左右之间。

[M]_lr[M]_l＝[M]_r    (9)

其中 $\left[M\right]=\left[\begin{array}{cc}R& T\\ 0& 1\end{array}\right].$

(2)自标定优化计算。

对于系统标定板上一个三维点P(p_x，p_y，p_z)，其在左右相机上的成像点分别记为(x_il，y_il)和(x_ir，y_ir)。由最小二乘理论，得到下式(10)所示的优化目标函数式。

$E=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}({(x_{\mathrm{il}}-x_{\mathrm{il}}\left(\mathrm{\β}\right))}^2+{(y_{\mathrm{il}}-y_{\mathrm{il}}\left(\mathrm{\β}\right))}^2)+\underset{i=1}{\overset{N}{\mathrm{\Σ}}}({(x_{\mathrm{ir}}-x_{\mathrm{ir}}\left(\mathrm{\β}\right))}^2+{(y_{\mathrm{ir}}-y_{\mathrm{ir}}\left(\mathrm{\β}\right))}^2)---\left(10\right)$

其中，式中N代表成像后的公共三维点数；模型参数同量β＝{{Int}，{Ext}，{P}}；Ext是系统外参数Ext＝{{R，T}₁，…，{R，T}_k}，k代表标定图像状态数；三维点P＝{{p_x，p_y，p_z}₁，{p_x，p_y，p_z}₂，…，{p_x，p_y，p_z}_N}；Int是系统内参数Int＝{{c_x，c_y，f_x，f_y，f_s}_l，{c_x，c_y，f_x，f_y，f_s}_r，{R，T_x，T_y，T_z}_lr}.

最后，对最终标定结果进行温度补偿，使标定结果能适应温度的变化，长期可用。

Claims (10)

1.一种具摄像功能的双目体式显微成像系统标定方法，其特征在于，包括下述步骤：

第一步，标定板的设计与制备：根据双目体式显微成像系统的变焦范围，制备相应幅面的标定板，标定板上刻有两种不同的特征点；

第二步，采集标定板图像：在某一固定放大倍数下，借助计算机和显微四轴位移台，采集多幅不同状态下的标定板图像；

第三步，标定板图像检测：对采集到的标定板图像进行高精度的图像检测，计算图像特征点的初始坐标值；

第四步，计算标定板上特征点的三维坐标值，并确定标定板特征点与图像特征点之间的对应关系；

第五步，构建显微成像系统畸变模型，并计算显微成像系统的系统参数初值，其中系统参数包括内参数和外参数；

第六步，利用典型的相机成像模型并结合左右光路之间的固定关系，对显微成像系统内外参数和标定板上特征点的三维坐标进行整体的自标定优化运算，并对最终标定结果进行温度补偿。

2.如权利要求1所述的方法，其特征在于，所述第一步中，在标定板的设计和制备上采取了一板多用原则，即将不同幅面的标定板图案光刻到同一块玻璃上，便于对不同倍率下的体式显微成像系统进行连续标定。

3.如权利要求2所述的方法，其特征在于，标定板上的特征点分为编码特征点和非编码特征点两种。

4.如权利要求1所述的方法，其特征在于，所述第二步中，采集标定板图像时，在计算机的控制下，显微四轴位移台按事先设定好的轨迹路线，自动完成标定板不同姿态的摆放，并且具有轨迹记忆功能。

5.如权利要求1所述的方法，其特征在于，所述第三步中，对第二步中采集到的标定板图像依次进行Canny边缘检测、降噪后的亚像素边缘提取和椭圆中心拟合，计算出图像特征点的中心坐标。

6.如权利要求1所述的方法，其特征在于，所述第五步中，考虑到体式显微成像系统内部光路结构的复杂性，采用光滑程度较好的五阶函数作为图像畸变的响应函数。

7.如权利要求1所述的方法，其特征在于，所述第五步进一步包括：

步骤1、构建显微成像系统畸变模型；

步骤2、对所有标定板图像进行处理，减小标定板图像中的畸变成分；

步骤3、计算显微成像系统内外参数初值。

8.如权利要求1所述的方法，其特征在于，所述第六步进一步包括：

步骤1、根据显微成像系统内外参数初值，确定左右光路之间的固定关系；

步骤2、根据最小二乘理论，将显微成像系统内外参数和标定板特征点的三维坐标进行整体的自标定优化运算；

步骤3、对最终标定结果进行温度补偿，使标定结果能适应温度的变化。

9.一种具摄像功能的双目体式显微成像系统标定装置，其特征在于，该标定装置包括CCD摄像机(1、4)、体式显微镜主体(2)、系统标定板(3)、LED背光灯(6)、显微四轴位移台(7)和计算机(5)。

10.如权利要求9所述的装置，其特征在于，优选的，所述计算机包括图像采集控制单元、图像特征点检测单元、运动轨迹控制单元、畸变模型构建单元、参数初值计算单元、优化运算单元以及温度补偿单元。

Images