CN101950424A - 基于质心跟踪框架的特征关联细胞跟踪方法 - Google Patents

Abstract

本发明公开了一种基于质心跟踪框架的特征关联细胞跟踪方法，主要解决现有细胞跟踪方法正确率低的问题。其过程为：对视频图像进行二值化分割，提取每个细胞的中心位置；对细胞进行质心跟踪，记录细胞的跟踪轨迹；将轨迹的起始和终止坐标分别记录起始坐标集合和终止坐标集合中，选择待跟踪细胞，在待跟踪细胞的邻域匹配区域内，选择待关联细胞；采用特征关联方法对待跟踪细胞与待关联细胞进行特征关联，更新待跟踪细胞轨迹；最后循环上述步骤直到最后一帧图像，完成对所有细胞的跟踪。本发明较其它几种传统的跟踪方法，在跟踪效果及正确率方面都有提高，可用于医学显微视频图像中对运动细胞的分析。

Description

基于质心跟踪框架的特征关联细胞跟踪方法

技术领域

本发明属于数字图像处理技术领域，涉及视频显微图像中运动细胞的自动跟踪，可用于细胞视频显微图像中对运动细胞的分析。

背景技术

作为生物学中的一个新的研究热点，细胞图像处理对细胞研究具有很重要的指导意义。显微技术的发展给观察和研究细胞周期性活动提供了一个很重要的工具。在新药的研制过程中，往往需要在显微镜下观察活体细胞在注药之后的反应，当实验成熟之后会进一步在生物体内测试，当研究某种病毒细胞的扩散方式和程度时，会采用同样的方式，观察病毒细胞入侵正常细胞的过程，当然还有许多需要细胞运动研究的地方，其应用范围也在不断的扩大。不过，传统的方法还是借助显微设备的人工定时检测和记录，其自动化程度较低，人工观测过程也比较困难，费时费力而且不准确。如今，用于视频显微图像下的细胞自动跟踪系统，作为生物学研究中的一个新兴研究方向，已经受到很多科研组织的重视。

随着计算机在生物学中的应用，广泛的计算机视觉领域的研究已造成强大和灵活的可视化算法。细胞跟踪的目标是完善的提供细胞的运动行为，包括细胞的移动、分裂、出现、消失等。目前，存在的细胞跟踪方法，大致可以分为三类：基于数据关联、单独帧独立分割的方法；基于轮廓变化模型的方法；随机滤波和概率统计的方法。其中：

1.基于数据关联、单独帧独立分割的方法，是细胞跟踪当中比较有效的方法。Al-Kofahi等人在各种匹配假说中使用了线性规则，但是他们的方法不能捕获聚集的细胞以及进入或者离开图像视角的细胞。Dehauwer等人采用了基于欧氏距离匹配的方法，在帧间进行关联。Padfield等人通过跟踪单一细胞训练出的特征，在时空上关联细胞。不过，各种相关的分割匹配技术在关联进入或移出的细胞方面不是很有效，在细胞的分裂跟聚集情况上也都需要特别处理。

2.基于轮廓变化模型的方法，如水平集算法也是常用于细胞跟踪的方法。由于水平集方法可以很容易的在拓扑结构下传递变化信息，为此Yang和Padfield等人采用该方法，将进化水平集用于时空上，能及时有效的关联检测目标。其他相关方法，如Dufour等人提出的水平集方法，采用由先前图像得到的轮廓作为初始，来实时传播变化信息。这种基于轮廓变化模型的方法，虽然能非常有效的处理拓扑结构的变化，但是，在细胞的快速移动或者出现、消失时，都要求重新进行参数的初始化，而大量参数的及时获取和初始化是比较复杂和困难的，无疑会影响该方法的效果。

3.用以跟踪的随机滤波和概率统计的方法，一般情况下都依赖于强有力的模型假设。例如，均值漂移算法可以通过一个基本的外观模型来跟踪目标，这种方法的效果取决于目标定位的精确性，以及模型的实时转移倾向；又如卡尔曼滤波算法，如果该方法采用的状态转移模型可以较好的模拟跟踪目标的运动状态，那么这种滤波方法将非常有效。Kachouie等人提出了一种基于概率准则的最大后验概率，用以细胞追踪，但是由于该算法需要大量的假设，所以该系统能跟踪的细胞数目受到一定限制。事实上，由于细胞自身的非线性运动，不能找到理想的模型去较好的模拟所有细胞的运动，以及视频图像中待跟踪的细胞数目相对较多，增加了跟踪的复杂度，传统的随机滤波和概率统计的方法用于细胞跟踪都不是非常理想。

综上，现有的细胞跟踪方法有如下一些缺点：(1)有些方法不能对细胞运动变化做出准确的判断，如细胞的出现或消失，即使做出判断，对于复杂的运动也不能达到理想的跟踪效果；(2)有些方法对跟踪的目标数目有一定的限制，不能跟踪视频图像中的所有细胞，仅能跟踪一定数目的细胞；(3)有些方法不具有很好的鲁棒性，仅对某些视频图像中具有特定特征或者运动规律的细胞有较为理想的跟踪效果。

发明内容

本发明的目的在于克服上述已有技术的不足，提出一种基于质心跟踪框架的特征关联细胞跟踪方法，在两帧之间选择最佳匹配关联细胞，以对每个细胞的运动变化做出准确的判断，提供精确的细胞运动轨迹，并且对视频图像中的细胞及跟踪的细胞数目没有限制。

实现本发明目的的技术思路是将特征关联方法引入到基于质心跟踪的框架中，得到跟踪细胞的准确位置。其具体实现步骤包括如下：

(1)对视频的每帧图像运用Otsu方法进行二值化分割，并对二值图像中的细胞区域进行标记，提取每个细胞的中心位置；

(2)根据每个细胞的中心位置，对二值图像中出现的细胞进行质心跟踪，记录得到的细胞跟踪轨迹；

(3)根据每个细胞的跟踪轨迹，判断二值图像是否为细胞跟踪轨迹的起始图像和终止图像，并将起始图像和终止图像中细胞轨迹的起始和终止坐标分别记录于起始坐标集合和终止坐标集合中；

(4)根据轨迹的终止坐标集合和轨迹起始坐标集合，先对视频的相邻两帧二值图像进行判断：如果当前二值图像为细胞跟踪轨迹的终止图像，且下一帧二值图像为细胞跟踪轨迹的起始图像，则把当前二值图像中轨迹终止坐标代表的细胞作为待跟踪细胞，建立待跟踪细胞的邻域匹配区域，选择待关联细胞，如果没有待关联细胞，判定待跟踪细胞在下一帧二值图像中消失，停止对此待跟踪细胞进行跟踪；

(5)采用特征关联方法对待跟踪细胞与该细胞邻域匹配区域中的待关联细胞进行特征关联跟踪，计算待跟踪细胞与每个待关联细胞的相似度，将与待跟踪细胞相似度最大的待关联细胞确定为待跟踪细胞的匹配细胞，并将此待关联细胞的跟踪轨迹作为待跟踪细胞的后续跟踪轨迹；

(6)循环步骤(4)到步骤(5)直到最后一帧二值图像，完成对所有细胞的跟踪。

本发明与现有技术相比具有如下优点：

1)本发明由于采用特征关联方法，很好的克服了现有基于运动模型的滤波跟踪方法由于细胞无规律的布朗运动而导致的跟踪失败的缺点，提高了跟踪的正确率；

2)本发明由于将质心跟踪作为整体的跟踪框架，当细胞的运动状态发生变化，如细胞出现与消失时，仍然能做出准确的判断；

3)本发明由于将质心跟踪作为跟踪的第一步，使得在待跟踪细胞的邻域匹配区域内，部分细胞已经通过质心跟踪方法所跟踪，减少了待关联细胞的数目，从而极大降低了跟踪匹配错误的情况，提高了该发明的跟踪可靠性。

附图说明

图1是本发明的流程示意图；

图2是本发明仿真使用的2种细胞显微视频图像；

图3是本发明仿真实现的图像预处理后得到的细胞二值图像；

图4是本发明仿真实现的细胞跟踪轨迹图。

具体实施方式

参照图1，本发明的具体实现步骤如下：

步骤1，对每帧图像进行二值化分割，提取每个细胞的中心位置。

(1a)采用传统的Otsu方法计算原始图像的阈值，对图像进行二值化分割，同时，由于图像噪声的影响，去除二值图像中面积小于20的区域，得到最终二值图像；

(1b)采用4邻域连通标记算法，对最终二值图像中的细胞区域进行标记，提取每个细胞区域的中心，即得到每个细胞的中心位置。

步骤2，根据每个细胞的中心位置，对二值图像中出现的细胞进行质心跟踪，记录得到的细胞跟踪轨迹。

2a)将需要进行质心跟踪的细胞确定为跟踪细胞A；

2b)如果跟踪细胞A的坐标在下一帧二值图像某个细胞B的区域内部，将细胞A和B确定为同一个细胞，并将细胞B的坐标作为跟踪细胞A在下一帧二值图像中的坐标；

2c)将细胞B的坐标加入到跟踪细胞A的跟踪轨迹中，实现对跟踪细胞A的跟踪轨迹更新；

2d)循环步骤2b)到步骤2c)，直到跟踪细胞A的坐标不再在细胞B的区域内部，完成跟踪细胞A的质心跟踪。

步骤3，根据每个细胞的跟踪轨迹，判断二值图像是否为细胞跟踪轨迹的起始图像和终止图像，并将起始图像和终止图像中细胞轨迹的起始和终止坐标分别记录于起始坐标集合和终止坐标集合中。

3a)如果细胞跟踪轨迹的起始坐标在二值图像上，将此二值图像作为细胞跟踪轨迹的起始图像；如果细胞跟踪轨迹的终止坐标在二值图像上，将此二值图像作为细胞跟踪轨迹的终止图像；

3b)将起始图像和终止图像中细胞轨迹的起始和终止坐标分别记录于起始坐标集合和终止坐标集合中；

3c)循环步骤3a)到步骤3b)，直到最后一帧二值图像。

步骤4，确定待跟踪细胞，建立待跟踪细胞的邻域匹配区域，选择待关联细胞。

细胞的运动有时会超出质心跟踪的范围，导致质心跟踪中断，致使本来完整的细胞运动被跟踪成几个平稳的轨迹，这些跟踪轨迹由质心跟踪得来。因此需要将属于同一细胞的跟踪轨迹确定，将其按顺序连接，以形成对细胞的完整跟踪。

根据轨迹的终止坐标集合和轨迹起始坐标集合，先对视频的相邻两帧二值图像进行判断：如果当前二值图像为某些细胞跟踪轨迹的终止图像，且下一帧二值图像为某些细胞跟踪轨迹的起始图像，说明在当前二值图像中，跟踪轨迹终止的细胞，有可能在下一帧图像中消失，也有可能因为细胞的运动变化较大，导致质心跟踪中断，需要与下一帧图像中起始的跟踪轨迹代表的细胞进行匹配。

因此，把当前二值图像中轨迹终止坐标代表的细胞作为待跟踪细胞，然后建立合适的待跟踪细胞的邻域匹配区域，保证待跟踪细胞在下一帧图像中的位置在该邻域匹配区域内，在该邻域匹配区域内选择与待跟踪细胞的待关联细胞，具体操作步骤如下：

4a)以待跟踪细胞在当前二值图像中的坐标为中心，在下一帧二值图像中建立一个窗口宽度为H的矩形区域，作为待跟踪细胞的邻域匹配区域，通常，为了保证待跟踪细胞在下一帧图像中的位置一定在该邻域匹配区域内，H设定为细胞在两帧图像中的最大移动距离，在此设为50；

4b)选择细胞中心在该邻域匹配区域中的细胞，作为备选细胞，如果下一帧二值图像正好是备选细胞的轨迹起始图像，将备选细胞作为待关联细胞，如果没有满足条件的待关联细胞，判定待跟踪细胞在下一帧图像中消失，停止对此待跟踪细胞进行跟踪。

步骤5，计算待跟踪细胞与每个待关联细胞的相似度，将相似度最大的待关联细胞跟踪轨迹连接到待跟踪细胞的跟踪轨迹之后，以实现对待跟踪细胞的跟踪轨迹更新。

选择合适的特征，计算待跟踪细胞与该细胞邻域匹配区域中每个待关联细胞的相似度，相似度最大的待关联细胞被认为是待跟踪细胞的匹配细胞，并确定该细胞的跟踪轨迹为待跟踪细胞的后续跟踪轨迹，将该细胞的跟踪轨迹连接到待跟踪细胞的跟踪轨迹，实现对待跟踪细胞的跟踪轨迹更新。

本实施例以代价函数来评判两个细胞之间的相似程度，代价函数越小，则相似度越大，因此，以代价函数的倒数来表示两个细胞的相似度，选择距离、面积和偏心率作为细胞的关联特征，具体的相似度计算步骤如下：

5a)计算每个待关联细胞与待跟踪细胞之间的代价函数cost：

cost(i，j)＝αD(i，j)+βA(i，j)+γE(i，j)

其中，i表示待关联细胞，j表示待跟踪细胞，n表示邻域匹配区域中待关联的细胞数目，α、β、γ分别表示三个特征的权值，取值分别为0.7、0.15、0.15，α+β+γ＝1，

$D(i,j)=\frac{d_{\mathrm{ij}}}{\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{d}_{\mathrm{kj}}},$ $A(i,j)=\frac{|{\mathrm{Area}}_i-{\mathrm{Area}}_j|}{\underset{k=1}{\overset{n}{\mathrm{\Σ}}}|{\mathrm{Area}}_j-{\mathrm{Area}}_k|},$ $E(i,j)=\frac{|{\mathrm{Eccent}}_i-{\mathrm{Eccent}}_j|}{\underset{k=1}{\overset{n}{\mathrm{\Σ}}}|{\mathrm{Eccent}}_j-{\mathrm{Eccent}}_k|},$

d_ij表示每个待关联细胞i与待跟踪细胞j的距离，Area_i表示细胞i的面积，Eccent_i表示细胞i的偏心率；

5b)以代价函数的倒数1/cost来表示待关联细胞与待跟踪细胞的相似度sim：

$\mathrm{sim}(i,j)=\frac{1}{\cos t(i,j)}.$

步骤6，循环步骤(4)到步骤(5)，直到最后一帧图像，完成对所有细胞的跟踪。

本发明的效果可以通过以下仿真结果进一步说明。

1.仿真内容

应用本发明跟踪方法、只选用一种特征应用于本发明跟踪方法与基于卡尔曼滤波和均值漂移的跟踪方法，分别对两种显微视频图像中的细胞进行跟踪，如图2所示，其中图2(a)是细胞个数较多的显微视频图像，图2(b)是细胞个数较少的显微视频图像，图像序列信息如下：

图2(a)中，图像每帧大小为515像素*650像素，图像帧间时间间隔为T＝1/24s，图像序列数目为30帧；

图2(b)中，图像每帧大小为515像素*650像素，图像帧间时间间隔为T＝1/24s，图像序列数目为200帧；

硬件平台为：Intel Core2 Duo CPU E6550@2.33GHZ、2GB RAM

软件平台为：MATLAB 7.5

仿真内容1.将本发明跟踪方法应用于两种显微视频图像进行跟踪；

仿真内容2.采用本发明方法，但分三次仅选用一种特征，应用于两种显微视频图像进行跟踪；

仿真内容3.将基于卡尔曼滤波和均值漂移的跟踪方法应用于两种显微视频图像进行跟踪。

2.仿真结果与分析

利用Otsu方法对图2(a)和图2(b)两种显微细胞图像进行二值化分割，得到的二值图像，如图3(a)和图3(b)所示。

利用如图3(a)所示的二值化分割后的图像序列，对细胞个数较多的显微视频图像中的细胞进行跟踪，得到细胞的跟踪轨迹效果如图4(a)所示；利用如图3(b)所示的二值化分割后的图像序列，对细胞个数较少的显微视频图像中的细胞进行跟踪，得到细胞的跟踪轨迹效果，如图4(b)所示。

从图4可以看出，细胞的运动有非常明显的随机性，这是细胞跟踪的难点，而本发明方法能够对细胞无规律的非线性运动有很好的跟踪效果；

表1列出了仿真内容(1)、(2)、(3)仿真所得的跟踪对比结果。

表1：不同跟踪方法跟踪结果对比

从表1中可以看出，本发明方法采用三种特征结合，能够对视频显微图像中的所有运动细胞进行自动跟踪，并取得非常理想的跟踪效果。相比于其他方法，如卡尔曼滤波和均值漂移结合的方法，本发明方法对简单或复杂的显微视频图像都有更加理想、鲁棒的跟踪效果；相比于单独采用一种特征，本发明采用三种特征的跟踪效果更加稳定，正确率更高。

Claims (5)

1.一种基于质心跟踪框架的特征关联细胞跟踪方法，包括如下步骤：

(1)对视频的每帧图像运用Otsu方法进行二值化分割，并对二值图像中的细胞区域进行标记，提取每个细胞的中心位置；

(2)根据每个细胞的中心位置，对二值图像中出现的细胞进行质心跟踪，记录得到的细胞跟踪轨迹；

(3)根据每个细胞的跟踪轨迹，判断二值图像是否为细胞跟踪轨迹的起始图像和终止图像，并将起始图像和终止图像中细胞轨迹的起始和终止坐标分别记录于起始坐标集合和终止坐标集合中；

(4)根据轨迹的终止坐标集合和轨迹起始坐标集合，先对视频的相邻两帧二值图像进行判断：如果当前二值图像为细胞跟踪轨迹的终止图像，且下一帧二值图像为细胞跟踪轨迹的起始图像，则把当前二值图像中轨迹终止坐标代表的细胞作为待跟踪细胞，建立待跟踪细胞的邻域匹配区域，选择待关联细胞，如果没有待关联细胞，判定待跟踪细胞在下一帧二值图像中消失，停止对此待跟踪细胞进行跟踪；

(5)采用特征关联方法对待跟踪细胞与该细胞邻域匹配区域中的待关联细胞进行特征关联跟踪，计算待跟踪细胞与每个待关联细胞的相似度，将与待跟踪细胞相似度最大的待关联细胞确定为待跟踪细胞的匹配细胞，并将此待关联细胞的跟踪轨迹作为待跟踪细胞的后续跟踪轨迹；

(6)循环步骤(4)到步骤(5)直到最后一帧二值图像，完成对所有细胞的跟踪。

2.根据权利要求1所述的细胞跟踪方法，其中步骤(2)所述的对二值图像中出现的细胞进行质心跟踪，按如下步骤进行：

2a)将需要进行质心跟踪的细胞确定为跟踪细胞A；

2b)如果跟踪细胞A的坐标在下一帧二值图像某个细胞B的区域内部，将细胞A和B确定为同一个细胞，并将细胞B的坐标作为跟踪细胞A在下一帧二值图像中的坐标；

2c)更新跟踪细胞A的跟踪轨迹，即将细胞B的坐标加入到跟踪细胞A的跟踪轨迹中；

2d)循环步骤2b)到步骤2c)，直到跟踪细胞A的坐标不再满足2b)中的条件，完成跟踪细胞A的质心跟踪。

3.根据权利要求1所述的细胞跟踪方法，其中步骤(3)所述的判断二值图像是否为细胞跟踪轨迹的起始图像和终止图像，按如下准则判断：

如果细胞跟踪轨迹的起始坐标在二值图像上，将此二值图像作为细胞跟踪轨迹的起始图像；

如果细胞跟踪轨迹的终止坐标在二值图像上，将此二值图像作为细胞跟踪轨迹的终止图像。

4.根据权利要求1所述的细胞跟踪方法，其中步骤(4)所述的建立待跟踪细胞的邻域匹配区域，选择待关联细胞，具体步骤如下：

4a)以待跟踪细胞在当前二值图像中的坐标为中心，在下一帧二值图像中建立一个窗口宽度为H的矩形区域，作为待跟踪细胞的邻域匹配区域；

4b)选择细胞中心在该邻域匹配区域中的细胞，作为备选细胞，如果下一帧二值图像正好是备选细胞的轨迹起始图像，将该备选细胞作为待关联细胞，如果没有待关联细胞，判定待跟踪细胞在下一帧图像中消失，停止对此待跟踪细胞进行跟踪。

5.根据权利要求1所述的细胞跟踪方法，其中步骤(5)所述的采用特征关联方法对待跟踪细胞与该细胞邻域匹配区域中的待关联细胞进行特征关联，计算待跟踪细胞与每个待关联细胞的相似度，具体步骤如下：

5a)通过计算每个待关联细胞与待跟踪细胞之间的代价函数cost，实现对每个待关联细胞与待跟踪细胞的特征的关联，计算公式如下：

cost(i，j)＝αD(i，j)+βA(i，j)+γE(i，j)

其中，i表示待关联细胞，j表示待跟踪细胞，n表示邻域匹配区域中待关联的细胞数目，α、β、γ分别表示三个特征的权值，α+β+γ＝1，

$D(i,j)=\frac{d_{\mathrm{ij}}}{\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{d}_{\mathrm{kj}}},$ $A(i,j)=\frac{|{\mathrm{Area}}_i-{\mathrm{Area}}_j|}{\underset{k=1}{\overset{n}{\mathrm{\Σ}}}|{\mathrm{Area}}_j-{\mathrm{Area}}_k|},$ $E(i,j)=\frac{|{\mathrm{Eccent}}_i-{\mathrm{Eccent}}_j|}{\underset{k=1}{\overset{n}{\mathrm{\Σ}}}|{\mathrm{Eccent}}_j-{\mathrm{Eccent}}_k|},$

d_ij表示每个待关联细胞i与待跟踪细胞j的距离，Area_i表示细胞i的面积，Eccent_i表示细胞i的偏心率；

5b)以代价函数的倒数1/cost来表示待关联细胞与待跟踪细胞的相似度sim：

$\mathrm{sim}(i,j)=\frac{1}{\cos t(i,j)}.$

Images