CN101976446A - 一种显微序列图像的多特征点跟踪方法 - Google Patents

Abstract

一种显微序列图像的多特征点跟踪方法，包括以下步骤：1)初始化特征点跟踪模板中心坐标，跟踪窗口大小。2)状态的表示

；3)在李代数描述的指数函数空间中进行状态预测；4)计算样本协方差值中元素：协防差描述子的距离；5)状态更新，计算出量测函数，利用量测值yt(i)来计算t时刻的后验概率密度；6)估算出最优状态

，利用后验概率计算权值和归一化权值，判断是否重采样，并输出估算的粒子

或者

，结束当前帧的多点跟踪；重复上述步骤，完成长序列显微图像的多点跟踪。本发明有效减少三维重建误差、提升跟踪效果。

Description

一种显微序列图像的多特征点跟踪方法

技术领域

本发明涉及图像处理、计算机视觉、计算方法、特征跟踪等领域，尤其是一种显微序列图像的多特征点跟踪方法。

背景技术

近年来，特征点的跟踪的广泛研究被潜在的应用推动，如医学领域中的病毒和细胞的研究，视频监视系统，车辆导航系统和人机交互等。在计算机视觉领域，它也扮演着非常重要的角色如三维重建，图像分割，物体识别等。但是除了在医学上的研究，特征点跟踪在其它微观领域的研究几乎趋于空白。众所周知微构件三维信息的获取和高精度误差检测是非常需要的。特征点的跟踪和匹配可以指导准确的微构件的三维重建，因此在显微序列图像中跟踪特征点的研究具有重要价值。

现有的特征点跟踪算法可分为：基于模板的跟踪方法，基于运动参数的跟踪方法和基于颜色的跟踪方法。然而，由于遮挡，图像噪声，和重复纹理等因素导致序列图像中多特征点跟踪仍然是现在研究的难题，尤其是对仅有弱纹理的低质量的显微图像序列更加具有挑战性。这些因素常常导致一些所谓的好的跟踪算法也无法进行准确的跟踪。近年来代表性的研究成果包含：针对包含丰富颜色信息的图像序列跟踪，由Bradski提出的连续自适应均值漂移算法(Camshift)能够利用颜色直方图作为跟踪模型进行准确跟踪。但是该算法不能够有效的处理背景中包含相似颜色的特征点的跟踪。Yi-Sheng Yao等，首次提出将概率数据融合与扩展卡尔曼滤波器(EKF)相结合对旋转运动图像序列中的多特征点进行跟踪，并且该算法能够有效解决特征点的部分遮挡问题。但是在物体做任意运动的过程中很难通过概率分析预测出特征点的准确位置，这使概率数据关联滤波器很难建立一个精确的运动模型。对于非刚性物体的跟踪，牛津大学Aeron Buchanan等，在2007年提出了一种结合KLT算法局部和全局运动模型跟踪方法实现非刚体运动物体准确的多特征点跟踪。但这种算法，必须在被跟踪的长序列图像前M帧组成的子序列中进行准确的运动预测，否则这种算法就不再可行。在2009年，Junghyun Kwon等，提出一种结合模板仿射变换的粒子滤波跟踪算法实现在长序列中对物体的跟踪。但这种算法只对宏观的单个物体的展现出良好的跟踪性能。

在显微序列图像中进行特征点的跟踪相比对常规尺寸和不具运动模糊的长序列图像中跟踪特征点更难。理论上，微构件以一个已知速度在旋转台上运动是可以使用参数构件运动模型，它在显微摄像机中的投影图像也具有对应的参数运动模型。但是旋转运动所导致微小的机械误差将引起微构件的预期的重要的运动模型难以建立。如参考文献所描述，当一个生成自身状态和状态子空间的非线性模型测量函数是很难找到系统的方法为UT变换选择调节参数，因此无极粒子滤波器(UPF)应用于该情况下的特征点的跟踪是不合适的。

发明内容

为了克服已有显微序列图像的多特征点跟踪方法的三维重建误差较大、跟踪效果较差的不足，本发明提供一种有效减少三维重建误差、提升跟踪效果的显微序列图像的多特征点跟踪方法。

本发明解决其技术问题所采用的技术方案是：

1)初始化特征点跟踪模板中心坐标，跟踪窗口大小。已知一组特征点的中心坐标，设定一个包含多点像素坐标的列矢量，其中i＝1，…，k，t＝1，…，N，k，N分别表示被选取跟踪特征点数量和序列图像中帧数量；点模板为一组以被跟踪点为中心m×n像素点矩阵与当前帧点状态的乘积。

2)状态的表示：图像畸变一般主要包括旋转，缩放，裁剪等变换，它们由可逆矩阵表示。为了进行模板的初始化，在初始帧中图像设定为参考标准，所有的点畸变程度和旋转角速度可视为相等用可逆旋转矩阵R_t＝0表示。状态转移矩阵

中的平移矢量被表示为

一般刚体的运动也可以被表示为

$l\left(b_t^{\left(i\right)}\right)=R_t^{\left(i\right)}{b}_t^{\left(i\right)}+M_t^{\left(i\right)}---\left(1\right)$

其中l：是一个非线性函数可以表示刚性物体点的运动，

是一个2×2的可逆矩阵，

是一个2×i的平移矢量。

每个刚体运动都可以由矩阵

和矢量表示，[11，13]定义它们为属于李群(Lie group)。为了更加清晰的量化和计算仿射形变，[13，14]将

从李群(Lie group)经过指数变换映射到李代数(Liealgebra)

其关系是：

$\left[\begin{array}{cc}{R}_t^{\left(i\right)}& M_t^{\left(i\right)}\\ 0& 1\end{array}\right]=\exp \left(\begin{array}{cc}{\mathrm{\Γ}}_t^{\left(i\right)}& {\mathrm{\γ}}_t^{\left(i\right)}\\ 0& 0\end{array}\right)---\left(2\right)$

其中，Γ∈gl(2)，γ∈gl(2)。在指数空间中，等式右边矩阵经分解计算可得到仿射变换基为ζ_m，m＝1，…，3。

${\mathrm{\ξ}}_1=\left[\begin{array}{ccc}0& 0& s_x\\ 0& 0& s_y\\ 0& 0& 0\end{array}\right]{\mathrm{\ξ}}_2=\left[\begin{array}{ccc}{s}_x& 0& 0\\ 0& s_y& 0\\ 0& 0& 0\end{array}\right]{\mathrm{\ξ}}_3=\left[\begin{array}{ccc}0& s_x& 0\\ s_y& 0& 0\\ 0& 0& 0\end{array}\right]---\left(3\right)$

其中，s_x，s_y∈{+1，-1}，b1，b5由仿射变换单位矩阵ξ₁中的变化元素表示；b2，b3表示长度和高度均发生畸变的裁剪仿射形变，由仿射变换矩阵ξ₂中的变化元素表示；b4，b6代表缩放变换，由矩阵ξ₃中的变化元素表示；

3)状态预测：结合李代数中的指数函数，状态转移矩阵按几何学定义为：

$X_t^{\left(i\right)}=X_{t-1}^{\left(i\right)}\exp (a_i\log \left({\left(X_{t-2}^{\left(i\right)}\right)}^{-1}{X}_{t-1}^{\left(i\right)}\right)+\underset{m=1}{\overset{3}{\mathrm{\Σ}}}{\mathrm{\ξ}}_m\mathrm{\ϵ}{\mathrm{\τ}}_t)---\left(4\right)$

其中，a_i是一阶自动回归过程参数，τ_t表示零均值高斯噪声；ε为视频帧速率倒数平方根。

量测状态方程也能够被表示成离散化为：

$y\left(X_t^{\left(i\right)}\right)=f\left(X_t^{\left(i\right)}\right)+v_t.---\left(5\right)$

其中，f是量测函数，v_t是量测零均值噪声；

最优状态

的估计是依据粒子样本权值计算，其中，j＝1，…，G，G是采样的粒子个数。为了能准确得到仿射形变参数，一般不是直接对X_t ⁽ⁱ⁾采样，而是对它的组成元素{R_t ^(i，1)，…，R_t ^(i，G)}采样或重采样；最终估算出

为：

$\left[\begin{array}{cc}{\stackrel{\‾}{R}}_t^{\left(i\right)}& {\stackrel{\‾}{M}}_t^{\left(i\right)}\\ 0& 1\end{array}\right]=\exp \left(\begin{array}{cc}{\stackrel{\‾}{\mathrm{\Γ}}}_t^{\left(i\right)}& {\stackrel{\‾}{\mathrm{\γ}}}_t^{\left(i\right)}\\ 0& 0\end{array}\right)---\left(6\right)$

$=\left[\begin{array}{cc}{R_{t,\max }}^{\left(i\right)}\frac{1}{G}\exp \underset{j=1}{\overset{G}{\mathrm{\Σ}}}\log \left({{R_{t,\max }}^{\left(i\right)}}^{-1}{R}_t^{(i,j)}\right)& {\stackrel{\‾}{M}}_t^{\left(i\right)}\\ 0& 0\end{array}\right]$

其中，R_t，max ^(i，j)表示重采样前的权值最大的粒子，是M_t ^(i，j)的算术平均值；

4)样本协方差值计算，跟踪器性能同时依赖于与维纳过程相关的协方差值，但是一般很难选择这样一个恰当的先验协方差值，而是对与联合状态参数相关的样本协方差U(由一组协方差描述子S组成)进行估算。

$U=\frac{1}{G-1}\underset{j=1}{\overset{G}{\mathrm{\Σ}}}{\mathrm{\μ}}_t^{(i,j)}{{\mathrm{\μ}}_t^{(i,j)}}^T---\left(7\right)$

${\mathrm{\μ}}_t^{(i,j)}=\log \left(U_t^{(i,j)}\right)-\frac{1}{G}\underset{j=1}{\overset{G}{\mathrm{\Σ}}}\log \left(U_t^{(i,j)}\right)---\left(8\right)$

其中，

为列矢量，由于初始模板图像给定，跟踪过程中会生成新的模板图像，因此模板图像中每个像素都可以用特征矢量

表示，其中

是模板中心坐标，

为极坐标，I(X_t ⁽ⁱ⁾)表示像素强度，I_x，I_y，I_xx，I_yy分别表示图像一阶和二阶梯度导数。这样做可以尽量减少光照变化对显微图像跟踪的影响。再计算点模板块的协方差描述子S：

$S_{X_{t=0}^{\left(i\right)}}=\frac{1}{z-1}\underset{i}{\overset{z}{\mathrm{\Σ}}}(h_{X_t^{\left(i\right)}}-\hat{h}){(h_{X_t^{\left(i\right)}}-\hat{h})}^T---\left(9\right)$

其中，z是模板窗口大小，

是h(X_t ⁽ⁱ⁾)的均值，S(X_t＝0 ⁽ⁱ⁾)和S(X_t ⁽ⁱ⁾)之间的相似性被理解为它们自身之间的对数欧式空间距；

5)状态更新：收集到协方差描述子后，需要计算特征空间距离(公式(10)等式左边第一项第一行)和特征间距离(公式(10)等式左边第一项第二行)，对比图像相似性(公式(10)等式左边第一项第三行)，此时量测函数表示为：

$y_t^{\left(i\right)}=\left[\begin{array}{c}\sqrt{{\left|\right|\log S_{X_t^{\left(i\right)}}-\log \left(\stackrel{\‾}{S}\right)\left|\right|}^2-\underset{n=1}{\overset{M}{\mathrm{\Σ}}}{c_n}^2}\\ \sqrt{{\mathrm{\Σ}}_{n=1}^M\frac{c_n^2}{{\mathrm{\ρ}}_n}}\\ \left|\right|I_{X_t^{\left(i\right)}}-\stackrel{\‾}{I}\left|\right|\end{array}\right]+v_t^{\left(i\right)}---\left(10\right)$

其中，c_n是投影系数，ρ_n是特征值，

表示图像强度均值。然后，用t时刻的量测值y_t ⁽ⁱ⁾来计算该时刻的后验概率密度：

$p\left(y_t^{\left(i\right)}\right|X_t^{\left(i\right)})\∝\exp \left({y_t^{\left(i\right)}}^T{R}^{-1}{y}_t^{\left(i\right)}\right)---\left(11\right)$

其中，R是零均值高斯噪声v_t的协方差。

6)估算出最优状态

根据获取的与测量释然函数有关的后验概率密度p(y_t ⁽ⁱ⁾|X_t ⁽ⁱ⁾)，计算出权值

并归一化权值，将输出一组与当前时间步后验均值相关的粒子根据设定有效粒子的门限判断是否执行重采样，重采样则得到新的粒子集合

计算出实现当前帧中多个关键结构点跟踪；

然后令t＝t+1，执行计算每个粒子的权重，重复刚才的步骤，最终实现在长序列显微图像中多点跟踪。

本发明的技术构思为：设计了一个单目显微视觉系统，它主要是由显微图像处理设备和视觉信息处理系统构成。在测量过程中，微构件是在一个四自由度的倾斜旋转载物台上运动。其中，显微图像处理设备位于在垂直方向。使用该测量模型的优势在于序列图像中的多幅图像能始终共用的相同的摄像机的内参数，即摄像机内参数为常数，有利于降低三维重建误差。为了捕获包含立体信息的序列图像，载物台在旋转运动过程中必须保持倾斜。在一定的深度范围内，倾斜角越大所获得的三维微构件的投影图像包含的细节信息就越多。

旋转轴与显微视场的偏离容易导致测量微构件转出视场。为了获得长的图像序列，这个偏离在测量开始时前就必须尽可能的调整至最小。显微视频的质量容易受到由旋转运动引起运动模糊的严重影响，以及光照条件，图像噪声，和投影等的影响。由于倾斜载物台和旋转运动导致状态空间和状态子空间都是非线性的，因此，粒子滤波算法(PF)在长序列显微图像中被采用来跟踪多个点。

由于在图像处理过程中刚性微构建图像具有固定的全局空间结构，和局部特征自身仿射不变性关系，跟踪问题通过结合仿射变换和协方差描述子而被极大的简化。

在时间关联的长序列图像中跟踪到初始图像中已知的特征点并且能够输出这些点的准确位置。由于弱纹理、噪声干扰和运动模糊等因素的影响，一个点

的详细特征便不能被准确的描述，因此本文采用模板有利于在时间相关的显微序列图像中描述和跟踪特征点。已知一个包含像素坐标的列矢量，其中i＝1，…，k，k是初始帧中选取的被跟踪特征点的最大数量，t＝1，…，N，N是序列图像中最大帧的值。已知一组特征点的中心坐标，其初始化为

根据实际情况，为描述点的主要特征，点被表示成为一组围绕被跟踪点并以它为中心小区域11×11像素的点模板

模板坐标由其次坐标与矩阵

相乘实现。然后让多个点模板与时间相关显微图像序列中的每一个插入图像帧对齐。在跟踪过程中，计算出每一帧中点模板自身的旋转和平移特征

是最重要的步骤之一。

本发明的有益效果主要表现在：有效减少三维重建误差、提升跟踪效果。

附图说明

图1是单目显微旋转运动模型的示意图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1，一种显微序列图像的多特征点跟踪方法，包括以下步骤：

1)设定

一个包含像素坐标的列矢量，其中i＝1，…，k，k是初始帧中选取的被跟踪特征点的最大数量，t＝1，…，N，N是序列图像中最大帧的值；已知一组特征点的中心坐标，其初始化为

点被表示成为一组围绕被跟踪点并以它为中心小区域11×11像素的点模板

2)在同一帧中所有的点模板

的旋转矩阵

部可以表示成为R_t。平移矢量被表示为

因此这个刚体的运动可以被重新表示为

$l\left(b_t^{\left(i\right)}\right)=R_t^{\left(i\right)}{b}_t^{\left(i\right)}+M_t^{\left(i\right)}---\left(1\right)$

其中l：是一个非线性函数可以表示刚性物体点的运动，R_t是一个2×2的可逆旋转矩阵，

是一个2×i的平移矢量

每个刚体运动都可以由R_t和

表示成为Lie group二维仿射变换矩阵[11，13]。李群(Lie group)到李代数(Lie algebra)可以被描述为指数映射[13，14]，它们间的关系即是：

$\left[\begin{array}{cc}{R}_t^{\left(i\right)}& M_t^{\left(i\right)}\\ 0& 1\end{array}\right]=\exp \left(\begin{array}{cc}{\mathrm{\Γ}}_t^{\left(i\right)}& {\mathrm{\γ}}_t^{\left(i\right)}\\ 0& 0\end{array}\right)---\left(2\right)$

其中Γ∈gl(2)，γ∈gl(2)。等式(3)中的仿射变换基元素为ζ_j，j＝1，…，3，可由等式右边矩阵计算出

${\mathrm{\ξ}}_1=\left[\begin{array}{ccc}0& 0& s_x\\ 0& 0& s_y\\ 0& 0& 0\end{array}\right]{\mathrm{\ξ}}_2=\left[\begin{array}{ccc}{s}_x& 0& 0\\ 0& s_y& 0\\ 0& 0& 0\end{array}\right]{\mathrm{\ξ}}_3=\left[\begin{array}{ccc}0& s_x& 0\\ s_y& 0& 0\\ 0& 0& 0\end{array}\right]---\left(3\right)$

其中s_x，s_y是仿射变换的单位值，b1，b5由仿射变换矩阵ξ₁中的元素s_x，s_y分别变化时生成；b2，b3代表长度和高度均发生畸变的裁剪仿射形变，主要由仿射变换矩阵ξ₂中的元素s_x，s_y分别变化时生成；b4，b6代表缩放变换，当矩阵ξ₃中的值s_x，s_y分别变化时生成；

3)利用李代数(Lie algebra)中描述的指数函数，状态方程按几何学定义为：

$X_t^{\left(i\right)}=X_{t-1}^{\left(i\right)}\exp (a_i\log \left({\left(X_{t-2}^{\left(i\right)}\right)}^{-1}{X}_{t-1}^{\left(i\right)}\right)+\underset{m=1}{\overset{3}{\mathrm{\Σ}}}{\mathrm{\ξ}}_m\mathrm{\ϵ}{\mathrm{\τ}}_t)---\left(4\right)$

其中a_i是AR处理参数，τ_t表示零均值高斯噪声；

量测状态方程也能够被表示成离散化为：

$y\left(X_t^{\left(i\right)}\right)=l\left(X_t^{\left(i\right)}\right)+v_t.$

其中v_t是量测零均值噪声；

估计R_t ^(i，1)和Γ_t ^(i，1)的样本均值，其中{R_t ^(i，1)，…，R_t ^(i，G)}，t＝1，…，N，i＝1，…，k，j＝1，…，G，G是采样的粒子个数；X_t ^(i，G)样本均值能被估算为：

$\left[\begin{array}{cc}{\stackrel{\‾}{R}}_t^{\left(i\right)}& {\stackrel{\‾}{M}}_t^{\left(i\right)}\\ 0& 1\end{array}\right]=\exp \left(\begin{array}{cc}{\stackrel{\‾}{\mathrm{\Γ}}}_t^{\left(i\right)}& {\stackrel{\‾}{\mathrm{\γ}}}_t^{\left(i\right)}\\ 0& 0\end{array}\right)---\left(6\right)$

$=\left[\begin{array}{cc}{R_{t,\max }}^{\left(i\right)}\frac{1}{G}\exp \underset{j=1}{\overset{G}{\mathrm{\Σ}}}\log \left({{R_{t,\max }}^{\left(i\right)}}^{-1}{R}_t^{(i,j)}\right)& {\stackrel{\‾}{M}}_t^{\left(i\right)}\\ 0& 0\end{array}\right]$

其中

是M_t ^(i，j)的算术平均值；

4)结合状态估计样本参数协防差矩阵U，计算两个协防差矩阵元素的距离，

$U=\frac{1}{G-1}\underset{j=1}{\overset{G}{\mathrm{\Σ}}}{\mathrm{\μ}}_t^{(i,j)}{{\mathrm{\μ}}_t^{(i,j)}}^T---\left(7\right)$

${\mathrm{\μ}}_t^{(i,j)}=\log \left(U_t^{(i,j)}\right)-\frac{1}{G}\underset{j=1}{\overset{G}{\mathrm{\Σ}}}\log \left(U_t^{(i,j)}\right)---\left(8\right)$

其中，μ为列矢量；

其中是模板中心坐标，

表示每个像素与原点的极坐标距离，

I(X_t ⁽ⁱ⁾)表示像素强度，I_x，I_y，I_xx，I_yy分别表示图像在笛卡尔坐标系下图像的一阶和二阶导数；

再计算点模板块的协方差描述子S：

$S_{X_{t=0}^{\left(i\right)}}=\frac{1}{z-1}\underset{i}{\overset{z}{\mathrm{\Σ}}}(h_{X_t^{\left(i\right)}}-\hat{h}){(h_{X_t^{\left(i\right)}}-\hat{h})}^T---\left(9\right)$

其中，z＝11×11是模板窗口大小，

是h(X_t ⁽ⁱ⁾)的均值，S(X_t＝0 ⁽ⁱ⁾)和S(X_t ⁽ⁱ⁾)之间的相似性被理解为它们自身之间的对数欧式空间距；

5)使用表面模型，量测函数表示为：

$y_t^{\left(i\right)}=\left[\begin{array}{c}\sqrt{{\left|\right|\log S_{X_t^{\left(i\right)}}-\log \left(\stackrel{\‾}{S}\right)\left|\right|}^2-\underset{n=1}{\overset{M}{\mathrm{\Σ}}}{c_n}^2}\\ \sqrt{{\mathrm{\Σ}}_{n=1}^M\frac{c_n^2}{{\mathrm{\ρ}}_n}}\\ \left|\right|I_{X_t^{\left(i\right)}}-\stackrel{\‾}{I}\left|\right|\end{array}\right]+v_t^{\left(i\right)}---\left(10\right)$

其中，c_n是投影系数，ρ_n是特征值，

表示图像强度均值。然后，用t时刻的量测值y_t ⁽ⁱ⁾来计算该时刻的后验概率密度：

$p\left(y_t^{\left(i\right)}\right|X_t^{\left(i\right)})\∝\exp \left({y_t^{\left(i\right)}}^T{R}^{-1}{y}_t^{\left(i\right)}\right)---\left(11\right)$

其中，R是零均值高斯噪声vt的协防差；

根据获取的测量释然函数

进行被跟踪的点计算和归一化重要权值，实现长序列显微图像的多点跟踪。

实例：对刚性多模板T(X₀ ⁽ⁱ⁾)的跟踪，首先初始化旋转矩阵R₀和平移量M₀.M_t是从图像原点移动到当前跟踪点b_t的位置。因此我们定义与被跟踪点匹配的原点坐标数量为

因此定义数量相等的跟踪点的平移矢量，表示为M₀＝(Mx₀ ⁽¹⁾，My₀ ⁽¹⁾，…，Mx₀ ⁽ⁱ⁾，My₀ ⁽ⁱ⁾)^T，i＝1，…，k，k＝12，它等于b₀＝(274，222，271，200，237，153，214，150，…)^T。多点跟踪的结果中前256帧效果较。

Claims (1)

1.一种显微序列图像的多特征点跟踪方法，其特征在于：所述多特征点跟踪方法包括以下步骤：

1)已知显微序列图像的一组特征点的中心坐标，设定b_t＝(x_t ⁽¹⁾，y_t ⁽¹⁾，…，x_t ⁽ⁱ⁾，y_t ⁽ⁱ⁾)^T一个包含多点像素坐标的列矢量，其中i＝1，…，k，t＝1，…，N，k，N分别表示被选取跟踪特征点数量和序列图像中帧数量；点模板T(X_t ⁽ⁱ⁾)为一组以被跟踪点为中心m×n像素点矩阵与当前帧点状态X_t ⁽ⁱ⁾的乘积；

2)状态的表示：图像畸变；由可逆矩阵R_t ⁽ⁱ⁾表示，所有的点畸变程度和旋转角速度视为相等并用可逆旋转矩阵R_t＝0示，状态转移矩阵X_t ⁽ⁱ⁾＝(R_t ⁽ⁱ⁾，0；M_t ⁽ⁱ⁾，1)中的平移矢量被表示为M_t＝(Mx_t ⁽¹⁾，My_t ⁽¹⁾，…，Mx_t ⁽ⁱ⁾，My_t ⁽ⁱ⁾)^T；一般刚体的运动被表示为

$l\left(b_t^{\left(i\right)}\right)=R_t^{\left(i\right)}{b}_t^{\left(i\right)}+M_t^{\left(i\right)}---\left(1\right)$

其中，l是一个非线性函数可以表示刚性物体点的运动，R_t ⁽ⁱ⁾∈R²是一个2×2的可逆矩阵，M_t ⁽ⁱ⁾∈R²是一个2×i的平移矢量；

每个刚体运动都由矩阵R_t ⁽ⁱ⁾和矢量M_t ⁽ⁱ⁾表示，将{R_t ⁽ⁱ⁾，M_t ⁽ⁱ⁾}经过指数变换映射到李代数{Γ_t ⁽ⁱ⁾，γ_t ⁽ⁱ⁾}，其关系是：

$\left[\begin{array}{cc}{R_t}^{\left(i\right)}& {M_t}^{\left(i\right)}\\ 0& 1\end{array}\right]=\exp \left(\begin{array}{cc}{\mathrm{\Γ}}_t^{\left(i\right)}& {\mathrm{\γ}}_t^{\left(i\right)}\\ 0& 0\end{array}\right)---\left(2\right)$

其中，Γ∈gl(2)，γ∈gl(2)，在指数空间中，等式右边矩阵经分解计算得到仿射变换基为ξ_m，m＝1，…，3；

${\mathrm{\ξ}}_1=\left[\begin{array}{ccc}0& 0& s_x\\ 0& 0& s_y\\ 0& 0& 0\end{array}\right]{\mathrm{\ξ}}_2=\left[\begin{array}{ccc}{s}_x& 0& 0\\ 0& s_y& 0\\ 0& 0& 0\end{array}\right]{\mathrm{\ξ}}_3=\left[\begin{array}{ccc}0& s_x& 0\\ s_y& 0& 0\\ 0& 0& 0\end{array}\right]---\left(3\right)$

其中，s_x，s_y是仿射变换的单位值；s_x，s_y∈{+1，-1}，b1，b5由仿射变换单位矩阵ξ₁中的变化元素表示；b2，b3代表长度和高度均发生畸变的裁剪仿射形变，由仿射变换矩阵ξ₂中的变化元素表示；b4，b6代表缩放变换，由矩阵ξ₃中的变化元素表示；

3)状态预测：结合李代数中的指数函数，状态转移矩阵按几何学定义为：

$X_t^{\left(i\right)}=X_{t-1}^{\left(i\right)}\exp (a_i\log \left({\left(X_{t-2}^{\left(i\right)}\right)}^{-1}{X}_{t-1}^{\left(i\right)}\right)+\underset{m=1}{\overset{3}{\mathrm{\Σ}}}{\mathrm{\ξ}}_m\mathrm{\ϵ}{\mathrm{\τ}}_t)---\left(4\right)$

其中，a_i是一阶自动回归过程参数，τ_t表示零均值高斯噪声；ε为视频帧速率倒数平方根。

量测状态方程也能够被表示成离散化为：

$y\left(X_t^{\left(i\right)}\right)=f\left(X_t^{\left(i\right)}\right)+v_t---\left(5\right)$

其中，f是量测函数，v_t是量测零均值噪声；

最优状态

的估计是依据粒子样本权值计算，其中，j＝1，…，G，G是采样的粒子个数。为了能准确得到仿射形变参数，一般不是直接对X_t ⁽ⁱ⁾采样，而是对它的组成元素{R_t ^(i，1)，…，R_t ^(i，G)}采样或重采样：

$\left[\begin{array}{cc}{\stackrel{\‾}{R}}_t^{\left(i\right)}& {\stackrel{\‾}{M}}_t^{\left(i\right)}\\ 0& 1\end{array}\right]=\exp \left(\begin{array}{cc}{\stackrel{\‾}{\mathrm{\Γ}}}_t^{\left(i\right)}& {\stackrel{\‾}{\mathrm{\γ}}}_t^{\left(i\right)}\\ 0& 0\end{array}\right)$

$=\left[\begin{array}{cc}{R_{t,\max }}^{\left(i\right)}\frac{1}{G}\exp \underset{j=1}{\overset{G}{\mathrm{\Σ}}}\log \left({{R_{t,\max }}^{\left(i\right)}}^{-1}{R}_t^{(i,j)}\right)& {\stackrel{\‾}{M}}_t^{\left(i\right)}\\ 0& 0\end{array}\right]---\left(6\right)$

其中，R_t，max ^(i，j)表示重采样前的权值最大的粒子。

是M_t ^(i，j)的算术平均值；

4)模板图像协方差值计算，对与联合状态参数相关的样本协方差U进行估算。

$U=\frac{1}{G-1}\underset{j=1}{\overset{G}{\mathrm{\Σ}}}{\mathrm{\μ}}_t^{(i,j)}{{\mathrm{\μ}}_t^{(i,j)}}^T---\left(7\right)$

${\mathrm{\μ}}_t^{(i,j)}=\log \left(U_t^{(i,j)}\right)-\frac{1}{G}\underset{j=1}{\overset{G}{\mathrm{\Σ}}}\log \left(U_t^{(i,j)}\right)---\left(8\right)$

其中，μ_t ⁽ⁱ⁾为列矢量。由于初始模板图像给定，跟踪过程中会生成新的模板图像，因此模板图像中每个像素都可以用特征矢量h＝(x_t ⁽ⁱ⁾，y_t ⁽ⁱ⁾ b_t ^(i，d)，b_t ^(i，θ)，I(X_t ⁽ⁱ⁾)I_x，I_y，tan^-1(I_x/I_y)，I_xx，I_yy)^T表示，其中(x_t ⁽ⁱ⁾，y_t ⁽ⁱ⁾)是模板中心坐标，b_t ^(i，d)，b_t ^{(i， θ)}为极坐标，I(X_t ⁽ⁱ⁾)表示像素强度，I_x，I_y，I_xx，I_yy分别表示一阶和二阶梯度导数。这样做可以尽量减少光照变化对显微图像跟踪的影响。再计算点模板块的协方差描述子S：

$S_{X_{t=0}^{\left(i\right)}}=\frac{1}{z-1}\underset{i}{\overset{z}{\mathrm{\Σ}}}(h_{X_t^{\left(i\right)}}-\hat{h}){(h_{X_t^{\left(i\right)}}-\hat{h})}^T---\left(9\right)$

其中，z是模板窗口大小，

是h(X_t ⁽ⁱ⁾)的均值，S(X_t＝0 ⁽ⁱ⁾)和S(X_t ⁽ⁱ⁾)之间的相似性被理解为它们自身之间的对数欧式空间距；

5)状态更新：收集到协方差描述子后，需要计算特征空间距离和特征间距离，对比图像相似性，此时量测函数表示为：

$y_t^{\left(i\right)}=\left[\begin{array}{c}\sqrt{{\left|\right|\log S_{X_t^{\left(i\right)}}-\log \left(\stackrel{\‾}{S}\right)\left|\right|}^2-\underset{n=1}{\overset{M}{\mathrm{\Σ}}}{c_n}^2}\\ \sqrt{{\mathrm{\Σ}}_{n=1}^M\frac{c_n^2}{{\mathrm{\ρ}}_n}}\\ \left|\right|I_{X_t^{\left(i\right)}}-\stackrel{\‾}{I}\left|\right|\end{array}\right]+v_t^{\left(i\right)}---\left(10\right)$

其中，c₀是投影系数，ρ_n是特征值，

表示图像强度均值，然后用t时刻的量测值y_t ⁽ⁱ⁾来修正状态的先验概率密度，得到该时刻的后验概率密度：

$p\left(y_t^{\left(i\right)}\right|X_t^{\left(i\right)})\∝\exp \left({y_t^{\left(i\right)}}^T{R}^{-1}{y}_t^{\left(i\right)}\right)---\left(11\right)$

其中，R是零均值高斯噪声v_t的协方差；

6)估算出最优状态根据获取的与测量释然函数有关的后验概率密度p(y_t ⁽ⁱ⁾|X_t ⁽ⁱ⁾，计算出权值

并归一化权值，将输出一组与当前时间步后验均值相关的粒子

根据设定有效粒子的门限判断是否执行重采样，重采样则得到新的粒子集合

计算出实现当前帧中多个关键结构点跟踪；

然后令t＝t+1，执行计算每个粒子的权重，重复刚才的步骤，最终实现在长序列显微图像中多点跟踪。