CN102842117A - 显微视觉系统中运动误差矫正方法 - Google Patents

Abstract

本发明公开了一种显微视觉系统中运动误差矫正方法，应用于显微视觉系统，首先通过标定板对摄像机进行标定，建立摄像机模型，对标定板的角点进行跟踪，通过最小二乘法拟合出角点的跟踪轨迹和理想旋转轨迹，然后进行误差评估，建立误差矫正模型，从而利用误差矫正模型对显微图像进行矫正。本发明的方法只需通过一次误差评估就能建立起显微视觉系统的误差矫正模型，利用该模型能够矫正系统采集的任意显微运动视频，减小系统的运动误差，提高三维重建精度，具有较好的实用性。

Description

显微视觉系统中运动误差矫正方法

技术领域

本发明涉及计算机显微成像技术领域，尤其涉及显微视觉系统中运动误差矫正方法。

背景技术

随着信号处理科学和计算机技术的发展，计算机视觉作为人工智能的一个新领域也逐渐形成并得到了极大的发展，计算机视觉技术用摄像机代替人眼获取景物图像并转换为数字信号，利用计算机代替人的大脑对客观世界进行视觉感知和解释。虽然目前还不能够使计算机、机器人或其他智能机器也具有像人类等生物那样高效、灵活和通用的视觉，但自20世纪50年代以来视觉理论和技术得到了迅速发展，从阿帕奇上的头盔瞄准到军用车辆上的电子稳像，从导弹上的图像制导到军事目标识别，计算机视觉已被广泛的应用于军事、制造业、检验、文档分析、医疗诊断等各种领域。而随着个人计算机的发展，硬件成本的降低促进了计算机视觉这一新兴技术逐步走入人们的生活，为人们所熟悉。

通常一个完整的立体视觉系统的工作过程包括摄像机标定、特征提取、立体匹配、三维重建等部分，而三维重建是计算机视觉研究的最终目的之一。其中旋转三维重建技术，将观测物体做旋转运动作为限制条件，从而获取物体的运动信息，提高三维重建效率与精度。然而，由于显微视觉系统中显微运动视频由高倍显微镜与CCD图像传感器采集到，微小对象的旋转运动存在明显的运动位置偏移，极大地影响了后期的三维重建。

同时目前计算机视觉中的误差矫正方法都是基于光学畸变误差，一般通过建立相应的光学畸变模型进行图像校正，这类矫正方法主要侧重于图像成像过程中产生的光学畸变，却没有考虑到显微序列图像间的运动变换关系，忽视了运动偏移导致的图像误差。

发明内容

本发明提出一种显微视觉系统中运动误差矫正方法，其目的是为了克服显微视觉系统下旋转三维重建过程中存在明显的运动位置偏移，能够准确评估显微视觉系统的运动误差，建立误差矫正模型，对采集到的显微图像进行预处理，显著减小运动误差。

一种显微视觉系统中运动误差矫正方法，应用于显微视觉系统，所述显微视觉系统包括用于获取被观测物体的显微图像的单目光学显微镜和摄像机，载物台以及控制所述载物台作一定倾斜角度的旋转运动的运动控制设备，以及用来进行视觉处理的计算机系统，所述矫正方法包括步骤：

(1)建立误差矫正模型；

(2)调整载物台位置以适应被观测物体，采用标定板对摄像机进行标定，计算出摄像机的内外参数；

(3)根据所述摄像机录制的被观测物体的显微图像对应的旋转角度，将步骤(2)得到的摄像机的内外参数代入误差矫正模型，计算所述旋转角度对应的偏移矫正向量，对所述显微图像进行矫正。

进一步地，所述步骤(1)建立误差矫正模型包括步骤：

(1.1)采用标定板对所述摄像机进行标定，确定所述摄像机的内外参数，建立显微视觉系统的摄像机模型；

(1.2)对标定板进行角点跟踪；

(1.3)确定显微视觉系统载物台旋转轴；

(1.4)建立理想的旋转运动轨迹；

(1.5)构建误差矫正模型。

进一步地，所述摄像机模型通过空间点P＝[x，y，z]与其在摄像机中显示的二维图像上的投影点p＝[u，v]的关系表示为：

其中

和

分别是p和P加1的增向量，s是尺度因子，A为摄像机内参矩阵，[RT]为摄像机外参矩阵。

进一步地，所述标定板是微棋盘格，所述步骤(1.2)包括步骤：

(1.2.1)、输入所述摄像机采集的微棋盘格显微运动视频，截帧获取K张显微序列图像；

(1.2.2)、取其中一张图像，转换为灰度图，建立角点的集合U，和空的链表L；

(1.2.3)、从集合U中搜索找到棋盘格顶点，将该点移到链表L中并设为基点；

(1.2.4)、根据集合U中任意两点间最短距离，建立基点的搜索域；

(1.2.5)、如果在搜索域中找到两个角点，并且当前基点是边界角点，则根据两角点与基点的关系，调整它们的顺序，并移动到链表L中；如果找到一个角点，并且当前基点非边界角点，则直接移动到链表L中；否则调整搜索域，重复步骤(1.2.5)；

(1.2.6)如果链表L长度达到N，则保存链表L，取下一张图像，回到(1.2.2)；否则，取链表L中基点的下一个点为当前基点，回到步骤(1.2.4)；

(1.2.7)当K张显微序列图像都经过角点检测并编号，则得到K个链表L，根据角点序号建立对应关系，得到N个角点跟踪轨迹。

根据本发明的角点跟踪策略，可以避开复杂的角点匹配过程，却能够准确地跟踪角点完整的运动轨迹。

进一步地，所述步骤(1.2)还包括步骤：对于每一个角点，获取K个旋转的跟踪点，对这些跟踪点经过最小二乘法拟合出角点运动的二次曲线

，为该角点的真实的跟踪轨迹，其中n为角点的序号；重复上述步骤得到N个角点的跟踪轨迹。

进一步地，所述确定显微视觉系统的旋转轴是指通过角点跟踪得到的N个角点跟踪轨迹，由轨迹上的离散点的二维图像坐标求平均，近似得到旋转轴与载物台的交点的二维图像坐标，利用摄像机模型反投影得到该交点的世界坐标，从而确定旋转轴。

进一步地，所述建立理想的旋转运动轨迹是指对于空间中一点，绕所述旋转轴连续旋转不同角度，经过坐标变换得到一组新的空间点，再分别通过所述摄像机模型投影变换，产生一组二维投影点，这些点经过最小二乘法拟合得到的二次曲线就是该点的理想的旋转运动轨迹，针对所述的N个角点，建立所述N个角点的理想运动轨迹C_n，其中n为角点的序号。

进一步地，所述步骤(1.5)构建误差矫正模型包括步骤：

空间点P绕所述旋转轴旋转角度θ得到理想点坐标P’(x’，y’，z’)和实际点坐标

p’(u’，v’)和

分别为P’、

的二维图像点，那么满足下面两个公式：

$s\left[\begin{array}{c}{u}^{\′}\\ v^{\′}\\ 1\end{array}\right]=A\left[\begin{array}{cc}R& T\end{array}\right]\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ z^{\′}\\ 1\end{array}\right]$

$s\left[\begin{array}{c}\hat{u}\\ \hat{v}\\ 1\end{array}\right]=A\left[\begin{array}{cc}R& T\end{array}\right]\left[\begin{array}{c}\hat{x}\\ \hat{y}\\ \hat{z}\\ 1\end{array}\right]$

将上述公式相减可得：

$s{\tilde{d}}_{\mathrm{\θ}}^T=\mathrm{AR}{D}_{\mathrm{\θ}}^T$

其中

为世界坐标系上的位置偏移量，为二维图像坐标系上的位置偏移量，而

为d_θ的增0向量；

通过所述N个角点的跟踪轨迹与理想运动轨迹得到：

${\tilde{d}}_{\mathrm{\θ}}=(\frac{1}{N}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}(C_n\left(\mathrm{\θ}\right)\cos \mathrm{\θ}-{\hat{C}}_n\left(\mathrm{\θ}\right)\cos \mathrm{\θ}),\frac{1}{N}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}(C_n\left(\mathrm{\θ}\right)\sin \mathrm{\θ}-{\hat{C}}_n\left(\mathrm{\θ}\right)\sin \mathrm{\θ}),0)$

其中C_n为第n个角点的理想运动轨迹的两次曲线，

为第n个角点的跟踪轨迹的两次曲线；

经过变换得到误差矫正模型E_θ为：

$E_{\mathrm{\θ}}=D_{\mathrm{\θ}}^T=s{R}^{-1}{A}^{-1}{\tilde{d}}_{\mathrm{\θ}}^T$

其中s是尺度因子，A为摄像机内参矩阵，[R T]为摄像机外参矩阵。

其中，所述摄像机的内外参数包括尺度因子，内参矩阵和外参矩阵。

本发明的有益效果主要表现在：只要通过一次误差评估就能够建立起显微视觉系统的误差矫正模型，利用该模型能够矫正系统采集的任意显微运动视频，减小系统的运动误差，提高三维重建精度，具有较好的实用性。

附图说明

图1是显微视觉系统结构示意图；

图2是本发明显微视觉系统中运动误差矫正方法的流程图；

图3是本发明显微视觉系统中建立误差矫正模型的流程图；

图4是显微视觉系统的几何模型示意图；

图5是显微图像经过角点检测及编号算法后的结果示意图；

图6是显微运动视频内15个角点经过角点跟踪策略后得到的跟踪结果示意图；

图7是误差评估结果的示意图；

图8是误差矫正模型的示意图；

图9是显微运动视频经过误差矫正后其中四帧的结果示意图；

图10a是本发明实施例载物台倾斜0°矫正前后误差评估结果对比示意图；

图10b是本发明实施例载物台倾斜5°矫正前后误差评估结果对比示意图；

图10c是本发明实施例载物台倾斜15°矫正前后误差评估结果对比示意图；

图11是矫正前后误差评估结果的表格表示形式。

具体实施方式

下面结合附图和实施例对本发明技术方案做进一步详细说明，以下实施例不构成对本发明的限定。

本发明采用的显微视觉系统，如图1所示，包括单目光学显微镜1与摄像机2，负责获取被观测物体的显微图像(或者显微视频)；还包括载物台3和运动控制设备4，摄像机2与运动控制设备4均连接到计算机系统5，计算机系统5一方面通过运动控制设备4控制载物台3作一定倾斜角度的旋转运动，另一方面作为视觉信息处理系统将获取的显微运动视频作为输入数据，利用旋转三维重建方法，精确计算出微小对象的三维结构。

下面以图1为例，详细描述本发明显微视觉系统中运动误差矫正方法，具体方法流程如图2所示，包括如下步骤：

步骤201、建立误差矫正模型。

具体地，建立误差矫正模型的方法流程如图3所示，包括步骤：

步骤301、采用标定板微棋盘格对摄像机进行标定，精确得到摄像机内外参数，建立显微视觉系统的摄像机模型。

具体地，本发明采用张正友的平面标定方法(Z.Zhang.A Flexible NewTechnique for Camera Calibration[J].IEEE Transactions on Pattern Analysisand Machine Intelligence，2000，22(11)：1330-1334(2000))，标定板为精密加工过的微棋盘格，利用运动控制设备4调整载物台3，用单目光学显微镜1和摄像机2采集微棋盘格在不同角度下的十张显微图像(其中包含显微视频的初始帧)作为摄像机标定的输入数据。通过摄像机标定精确得到摄像机内外参数，从而建立系统的摄像机模型，建立的摄像机模型如图4所示，其中，坐标系O_c-X_cY_cZ_c为摄像机坐标系{C}，O_c为显微摄像机的光心，Z_c轴为显微摄像机的光轴。坐标系O-UV为二维图像坐标系，摄像机光轴与之垂直相交点O’(u_o，v_o)。坐标系O_w-X_wY_wZ_w为世界坐标系{W}，为基准坐标系，用来描述在物理环境中显微摄像机的位置和微小对象的位置。空间点P＝[x，y，z]与其在摄像机中显示的二维图像上的投影点p＝[u，v]的关系表示如下：

$s\tilde{p}=A\left[\begin{array}{cc}R& T\end{array}\right]\tilde{P}---\left(1\right)$

其中

和

分别是p和P加1的增向量，s是尺度因子，A为摄像机内参矩阵，[R T]为摄像机外参矩阵。

步骤302、对标定板微棋盘格进行角点跟踪。

具体地，摄像机采集微棋盘格显微运动视频，针对微棋盘格显微序列图像的特性，先从显微视频截帧获取K张显微序列图像，然后检测每张图像中的所有角点并对其中N个角点进行编号得到角点序列，如图5所示，根据角点序号便可以对K张显微序列图像中K*N个角点建立对应关系，得到N个角点跟踪轨迹，如图6所示。

角点跟踪的具体步骤如下：

第一步：输入显微运动视频，截帧获取K张显微序列图像，即得到K张棋盘格一角的视图；

第二步：取其中一张图像，转换为灰度图，利用Harris角点检测(C.Harris，M.Stephens，“A combined comer and edge detector”，Proc.AlveyVision Conference，1988，pp.189-192一种角点和边界点的检查子)，建立角点的集合U，和空的链表L；

第三步：从集合U中搜索找到微棋盘格顶点，将该点移到链表L中并设为基点；

第四步：根据集合U中任意两点间最短距离，建立基点的搜索域；

第五步：如果在搜索域中找到两个角点，并且当前基点是边界角点，则根据两角点与基点的关系，调整它们的顺序，并移动到链表L中；如果找到一个角点，并且当前基点非边界角点，则直接移动到链表L中；否则调整搜索域，重复步骤五

第六步：如果链表L长度达到N，则保存链表L，取下一张图像，回到步骤二；否则，取链表L中基点的下一个点为当前基点，回到步骤四；

第七步：当K张显微序列图像都经过角点检测并编号，则得到K个链表L，根据角点序号建立对应关系，得到N个角点的跟踪轨迹。

对每个角点的跟踪点经过最小二乘法拟合出角点运动的二次曲线

为该角点的真实的跟踪轨迹，其中n为角点的序号；重复上述步骤得到N个角点的跟踪轨迹。根据本发明的角点跟踪策略，可以避开复杂的角点匹配过程，却能够准确地跟踪角点完整的运动轨迹。

步骤303、载物台旋转轴的确定。

由于显微视觉系统下载物台的旋转运动为同一平面内的运动，如图4所示，将世界坐标系建立在载物台上，即载物台的旋转平面为世界坐标系中O-XY平面，则旋转轴L_g的方向向量为v＝[0，0，1]，并垂直交与O-XY平面点G，那么只需求出旋转轴垂直交与载物台的交点G的世界坐标，就可以确定旋转轴的空间位置。

通过某个角点的跟踪轨迹，由轨迹上的离散点的二维图像坐标求平均，近似得到交点G的二维图像坐标，利用公式(1)得到交点G的世界坐标，交点G与旋转轴的方向向量v＝[0，0，1]共同确定了载物台的旋转轴L_g。

步骤304、建立理想的旋转运动轨迹。

理论上，空间中某点绕固定旋转轴连续旋转不同角度，经过坐标变换得到一组新的空间点，再分别通过摄像机模型投影变换，产生一组二维投影点，这些点经过最小二乘法拟合得到的二次曲线就是该点的理想的旋转运动轨迹。

下面详细说明理想旋转运动轨迹中离散的二维投影点的求解原理：

假设空间点P绕旋转轴L_g旋转不同角度θ_i(逆时针旋转，旋转角度可以被运动控制系统精确测量)，得到新的空间点P’_i，经过摄像机投影变换得到二维图像点p’_i，那么，P＝[x，y，z]与p’_i＝[u_i，v_i]的关系通过

与

表达如下：

$\left\{\begin{array}{c}s{{\tilde{p}}^{\′}}_i=A\left[\begin{array}{cc}R& T\end{array}\right]\left[\begin{array}{cc}I& t\\ 0^T& 1\end{array}\right]\left[\begin{array}{cc}{R}_v\left({\mathrm{\θ}}_i\right)& 0\\ 0^T& 1\end{array}\right]\left[\begin{array}{cc}I& t^{-1}\\ 0^T& 1\end{array}\right]\tilde{P}\\ R_v\left({\mathrm{\θ}}_i\right)=(1-\cos {\mathrm{\θ}}_i)*v*v^T+\cos {\mathrm{\θ}}_i*I+\sin {\mathrm{\θ}}_i*{\left[v\right]}_{\×}\end{array}\right.---\left(2\right)$

其中，

和

是P和p’_i的加1增向量，R_v(θ_i)为空间上绕单轴旋转角度θ_i的旋转矩阵，v为旋转轴的方向向量，[v]_×为v的反对称向量，I为3×3的单位向量，t为将世界坐标系原点偏移到旋转轴上的偏移向量。

通过公式(2)可以确定任意空间点的理想的旋转运动轨迹。针对微棋盘格的N个角点，建立每个角点的理想运动轨迹C_n，其中n为角点的序号。

步骤305、进行运动误差评估，建立误差矫正模型。

利用本发明中提出的角点跟踪策略，可以拟合出N个角点的运动的二次曲线

为真实的跟踪轨迹，同时对每个角点，建立理想的运动轨迹C_n，通过下面公式可以评估旋转到任意角度θ时存在的误差值：

${\mathrm{\η}}_{\mathrm{\θ}}=\frac{1}{N}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}\sqrt{{({\hat{C}}_n\left(\mathrm{\θ}\right)\cos \mathrm{\θ}-C_n\left(\mathrm{\θ}\right)\cos \mathrm{\θ})}^2+{({\hat{C}}_n\left(\mathrm{\θ}\right)\sin \mathrm{\θ}-C_n\left(\mathrm{\θ}\right)\sin \mathrm{\θ})}^2}---\left(3\right)$

显微视觉系统下，载物台的旋转运动产生的运动误差具有一定规律，通过误差评估建立一个通用的误差矫正模型。为了不失一般性，将世界坐标系建立在载物台上固定位置。因而，载物台在旋转过程中产生的位置偏移能够由空间点在世界坐标系的位置偏移表示，即为通用的误差矫正模型。假设在同一旋转运动视频中，载物台旋转平面位置不变，则摄像机内外参数不变。假设，空间点P绕旋转轴旋转角度θ得到理想点坐标P’(x’，y’，z’)，而实际点坐标为

p’(u’，v’)和

分别为P’、

的二维图像点，那么满足下面两个公式：

$s\left[\begin{array}{c}{u}^{\′}\\ v^{\′}\\ 1\end{array}\right]=A\left[\begin{array}{cc}R& T\end{array}\right]\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ z^{\′}\\ 1\end{array}\right]$

$s\left[\begin{array}{c}\hat{u}\\ \hat{v}\\ 1\end{array}\right]=A\left[\begin{array}{cc}R& T\end{array}\right]\left[\begin{array}{c}\hat{x}\\ \hat{y}\\ \hat{z}\\ 1\end{array}\right]$

两者相减，可以化简为

$s{\tilde{d}}_{\mathrm{\θ}}^T=\mathrm{AR}{D}_{\mathrm{\θ}}^T$

其中

为世界坐标系上的位置偏移量，

为二维图像坐标系上的位置偏移量，为d_θ的增0向量，可以通过实际跟踪轨迹与理想运动轨迹得到：

${\tilde{d}}_{\mathrm{\θ}}=(\frac{1}{N}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}(C_n\left(\mathrm{\θ}\right)\cos \mathrm{\θ}-{\hat{C}}_n\left(\mathrm{\θ}\right)\cos \mathrm{\θ}),\frac{1}{N}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}(C_n\left(\mathrm{\θ}\right)\sin \mathrm{\θ}-{\hat{C}}_n\left(\mathrm{\θ}\right)\sin \mathrm{\θ}),0).$

那么，误差矫正模型可以由以下公式得到：

$E_{\mathrm{\θ}}=D_{\mathrm{\θ}}^T=s{R}^{-1}{A}^{-1}{\tilde{d}}_{\mathrm{\θ}}^T---\left(4\right)$

其中，A和R为可逆矩阵。

至此建立了显微视觉系统的误差矫正模型，可见通过以上步骤计算得到的误差矫正模型只依赖于载物台运动状态，独立于载物台与摄像机的相对位置。因而，无论载物台处于什么物理位置，只要在载物台作平面旋转运动的情况下，显微视觉系统获取的显微运动视频都可以利用该误差矫正模型进行运动误差矫正。

步骤202、调整载物台位置以适应被观测物体，采用标定板对摄像机进行标定，计算出摄像机的内外参数。

需要说明的是，当对不同的物体进行观测，往往需要根据实际情况调整载物台的位置，当载物台调整到新的位置后，需要对摄像机的内外参数进行重新标定，采集微棋盘格在不同角度下的十张显微图像(其中包含显微视频的初始帧)作为摄像机标定的输入数据，计算出载物台在新位置下摄像机的内参矩阵A’和外参矩阵[R’T’]以及尺度因子S’，其标定方法同步骤301，这里不再赘述。

步骤203、根据摄像机录制的被观测物体的显微图像对应的旋转角度，利用误差矫正模型，计算旋转角度对应的偏移矫正向量，对显微图像进行矫正。

具体地，在调整好载物台位置后，将被观测物体放置在载物台上，录制被观测物体的旋转运动显微视频，将显微运动视频截帧得到Z帧，载物台的旋转角度与帧序z之间的关系可以表示为：θ＝360*(z-1)/(Z-1)。根据每一帧对应的旋转角度θ以及初始帧的摄像机内外矩阵，计算出该帧显微图像的偏移矫正向量：

${{\tilde{d}}^{\′}}_{\mathrm{\θ}}^T=\frac{1}{s^{\′}}{A}^{\′}{R}^{\′}{E}_{\mathrm{\θ}}---\left(5\right)$

计算出的d’_θ＝(a，b)，a和b分别是二维图像坐标系中U轴、V轴方向上的偏移补偿量，用来对对应的显微图像进行位置矫正。

在本发明中，建立误差矫正模型尤其重要，在实际显微视觉系统应用中，首先调整载物台位置，将其位于显微镜视差中央，然后倾斜载物台到一定角度，获取微小对象的深度信息，接着匀速旋转载物台，采集到一段显微运动视频，从而获取微小对象360°全方位结构视图。利用微棋盘格作为观测对象，通过本发明提出的角点跟踪策略，角点跟踪结果如附图6所示，跟踪轨迹存在明显的运动误差。为了获取理想的运动轨迹，首先利用张正友的平面标定法对显微视觉系统进行摄像机标定，调整载物台使其平面处于不同角度(其中包括显微运动视频中载物台初始位置)，同时分别采集微棋盘格的显微图像作为摄像机标定的输入数据，从而求出系统的摄像机模型和显微运动视频中载物台初始位置与摄像机坐标系的空间变换关系(即摄像机外参矩阵)。其次利用角点跟踪计算出旋转运动的旋转轴，进而得到载物台在空间中旋转运动模型；最后通过公式(2)得到理想运动轨迹上的离散点，经过最小二乘法进行曲线拟合得到理想运动轨迹的二次曲线。另一方面，我们利用角点跟踪策略能够获取显微运动视频中角点跟踪轨迹，通过公式(3)进行精确的运动误差评估，再通过公式(4)建立系统的误差矫正模型。

本发明的一个具体实施例，将建立的误差矫正模型应用到显微视觉系统中矫正误差。利用运动控制设备调整载物台位置，分别在倾斜10°、0°、5°、15°角度四种情况下，绕固定轴匀速旋转360°(角速度为1000脉冲/秒，旋转一周需要54000脉冲)，同时利用显微图像获取设备采集到四个分辨率为640×480像素的显微运动视频作为实验数据。首先利用张正友平面标定法(以四个显微视频初始帧以及其他任意角度的6张摆拍图像为标定图片)得到系统的摄像机内参矩阵以及四个显微视频初始帧的摄像机外参矩阵；然后对其中第一个倾斜10°旋转的显微视频进行角点跟踪，结果如图6所示；然后获取旋转轴位置，得到理想运动轨迹；然后进行误差评估，如图7所示，描述了微棋盘格上15个角点旋转360°产生的运动误差值，其中，每条曲线对应每个角点，X轴表示运动误差值(像素)，Y轴表示载物台旋转角度；并建立误差矫正模型，如图8所示，X轴表示二维图像中U轴上的偏移量，Y轴二维图像中V轴上的偏移量，Z轴表示载物台旋转角度；然后利用这个矫正模型对其余三个显微视频进行误差矫正，其中倾斜5°的显微视频进行矫正后其中四帧如图9所示，从左到右分别是第1帧，第51帧，第101帧，第151帧；最后对三组矫正前后的显微视频进行误差评估，得到三组评估结果，结果如图10所示，图10a、图10b、图10c的误差评估对象分别是载物台倾斜0°、5°、15°时旋转360°的显微运动视频，其中带方块的曲线为矫正前的误差评估，带三角形的曲线为矫正后的误差评估；同时可以通过数据分析，如图11所示，表明本实施例能够有效的减小系统的运动误差，达到76％。

以上实施例仅用以说明本发明的技术方案而非对其进行限制，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (9)

1.一种显微视觉系统中运动误差矫正方法，应用于显微视觉系统，所述显微视觉系统包括用于获取被观测物体的显微图像的单目光学显微镜和摄像机，载物台以及控制所述载物台作一定倾斜角度的旋转运动的运动控制设备，以及用来进行视觉处理的计算机系统，其特征在于，所述矫正方法包括步骤：

(1)建立误差矫正模型；

(2)调整载物台位置以适应被观测物体，采用标定板对摄像机进行标定，计算出摄像机的内外参数；

(3)根据所述摄像机录制的被观测物体的显微图像对应的旋转角度，将步骤(2)得到的摄像机的内外参数代入所述误差矫正模型，计算所述旋转角度对应的偏移矫正向量，对所述显微图像进行矫正。

2.如权利要求1所述的运动误差矫正方法，其特征在于，所述步骤(1)建立误差矫正模型包括步骤：

(1.1)采用标定板对所述摄像机进行标定，确定所述摄像机的内外参数，建立显微视觉系统的摄像机模型；

(1.2)对标定板进行角点跟踪；

(1.3)确定显微视觉系统载物台旋转轴；

(1.4)建立理想的旋转运动轨迹；

(1.5)构建误差矫正模型。

3.如权利要求2所述的运动误差矫正方法，其特征在于，所述摄像机模型通过空间点P＝[x，y，z]与其在摄像机中显示的二维图像上的投影点p＝[u，v]的关系表示为：

其中

和

分别是p和P加1的增向量，s是尺度因子，A为摄像机内参矩阵，[RT]为摄像机外参矩阵。

4.如权利要求2所述的运动误差矫正方法，其特征在于，所述标定板是微棋盘格，所述步骤(1.2)包括步骤：

(1.2.1)、输入所述摄像机采集的微棋盘格显微运动视频，截帧获取K张显微序列图像；

(1.2.2)、取其中一张图像，转换为灰度图，建立角点的集合U，和空的链表L；

(1.2.3)、从集合U中搜索找到棋盘格顶点，将该点移到链表L中并设为基点；

(1.2.4)、根据集合U中任意两点间最短距离，建立基点的搜索域；

(1.2.5)、如果在搜索域中找到两个角点，并且当前基点是边界角点，则根据两角点与基点的关系，调整它们的顺序，并移动到链表L中；如果找到一个角点，并且当前基点非边界角点，则直接移动到链表L中；否则调整搜索域，重复步骤(1.2.5)；

(1.2.6)如果链表L长度达到N，则保存链表L，取下一张图像，回到(1.2.2)；否则，取链表L中基点的下一个点为当前基点，回到步骤(1.2.4)；

(1.2.7)当K张显微序列图像都经过角点检测并编号，则得到K个链表L，根据角点序号建立对应关系，得到N个角点跟踪轨迹。

5.如权利要求4所述的运动误差矫正方法，其特征在于：所述步骤(1.2)还包括步骤：

对于每一个角点，获取K个旋转的跟踪点，对这些跟踪点经过最小二乘法拟合出角点运动的二次曲线

，为该角点的真实的跟踪轨迹，其中n为角点的序号；

重复上述步骤得到N个角点的跟踪轨迹。

6.如权利要求5所述的运动误差矫正方法，其特征在于，所述确定显微视觉系统的旋转轴是指通过角点跟踪得到的N个角点跟踪轨迹，由轨迹上的离散点的二维图像坐标求平均，近似得到旋转轴与载物台的交点的二维图像坐标，利用摄像机模型反投影得到该交点的世界坐标，从而确定旋转轴。

7.如权利要求6所述的运动误差矫正方法，其特征在于，所述建立理想的旋转运动轨迹是指对于空间中一点，绕所述旋转轴连续旋转不同角度，经过坐标变换得到一组新的空间点，再分别通过所述摄像机模型投影变换，产生一组二维投影点，这些点经过最小二乘法拟合得到的二次曲线就是该点的理想的旋转运动轨迹，针对所述的N个角点，建立所述N个角点的理想运动轨迹C_n，其中n为角点的序号。

8.如权利要求7所述的运动误差矫正方法，其特征在于，所述步骤(1.5)包括步骤：

空间点P绕所述旋转轴旋转角度θ得到理想点坐标P’(x’，y’，z’)和实际点坐标

p’(u’，v’)和

分别为P’、

的二维图像点，那么满足下面两个公式：

$s\left[\begin{array}{c}{u}^{\′}\\ v^{\′}\\ 1\end{array}\right]=A\left[\begin{array}{cc}R& T\end{array}\right]\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ z^{\′}\\ 1\end{array}\right]$

$s\left[\begin{array}{c}\hat{u}\\ \hat{v}\\ 1\end{array}\right]=A\left[\begin{array}{cc}R& T\end{array}\right]\left[\begin{array}{c}\hat{x}\\ \hat{y}\\ \hat{z}\\ 1\end{array}\right]$

将上述公式相减可得：

$s{\tilde{d}}_{\mathrm{\θ}}^T=\mathrm{AR}{D}_{\mathrm{\θ}}^T,$

其中

为世界坐标系上的位置偏移量，

为二维图像坐标系上的位置偏移量，而

为d_θ的增0向量；其中

通过所述N个角点的跟踪轨迹与理想运动轨迹得到：

${\tilde{d}}_{\mathrm{\θ}}=(\frac{1}{N}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}(C_n\left(\mathrm{\θ}\right)\cos \mathrm{\θ}-{\hat{C}}_n\left(\mathrm{\θ}\right)\cos \mathrm{\θ}),\frac{1}{N}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}(C_n\left(\mathrm{\θ}\right)\sin \mathrm{\θ}-{\hat{C}}_n\left(\mathrm{\θ}\right)\sin \mathrm{\θ}),0);$

其中C_n为第n个角点的理想运动轨迹的两次曲线，

为第n个角点的跟踪轨迹的两次曲线；

经过变换得到误差矫正模型E_θ为：

$E_{\mathrm{\θ}}=D_{\mathrm{\θ}}^T=s{R}^{-1}{A}^{-1}{\tilde{d}}_{\mathrm{\θ}}^T$

其中s是尺度因子，A为摄像机内参矩阵，[R T]为摄像机外参矩阵。

9.如权利要求1所述的运动误差矫正方法，其特征在于，所述摄像机的内外参数包括尺度因子，内参矩阵和外参矩阵。

Images