CN103559724A - 一种高粘连度细胞环境下的多细胞同步跟踪方法 - Google Patents

Abstract

本发明属于细胞跟踪领域，公开了一种高粘连度细胞环境下的多细胞同步跟踪方法。细胞序列图像中，多细胞的分割和同步跟踪是一个尚未解决的难题，尤其在高粘连度情况下多细胞细胞与分割，更加迫切需要解决。本发明首先提出了一种改进的基于分水岭和多特征匹配的分割算法实现细胞分割，然后，建立适用于卡尔曼滤波的运动模型并加入多特征匹配实现细胞的预测和跟踪。通过实验验证本发明提出的方法是有效的，其中，序列帧细胞分割的平均有效率为94.4%，跟踪效果优于现有技术中的跟踪方法。

Description

一种高粘连度细胞环境下的多细胞同步跟踪方法

技术领域

   本发明属于多细胞跟踪领域，更具体地涉及一种高粘连度细胞环境下的多细胞同步跟踪方法。

背景技术

细胞运动的研究一直是细胞学和生物学研究的重要组成部分，但是传统的研究方法在技术日益革新的现在已经渐渐变得不这么适用了，传统的在显微镜下利用细胞计数板用人眼进行染色、分类、计数、跟踪等这类不但需要大量繁琐的人为操作而且容易使得操作者变得疲劳从而影响结果的正确性，且其可重用性比较低。国内外的医学专家经过长期地实践与研究取得一致共识认为应该在细胞运动研究中引入数字视频技术和数字图像处理技术，从而极大地提高研究效率，减轻研究人员负担。用计算机来跟踪细胞运动，部分代替人类始终盯着显微镜来观察细胞的眼睛，尽量地把人从繁重的重复劳动中解脱出来进行更有创造性的工作。因此，如何利用计算机图像处理、视频分析等相关技术手段来提高生物研究过程中的自动化程度已成为当前急需解决的非常有意义的难题。

现有的目标跟踪方法很多，应用到细胞跟踪中的有meanshift算法，level set算法，卡尔曼滤波及粒子滤波等。崔艳等利用meanshift实现图像序列中细胞的跟踪，陈莹等采用非均衡化特征匹配实现细胞的检测进而根据检测结果实现跟踪，这两种方法都用于跟踪单个细胞，且跟踪细胞有较明显的特征，有利于检测和跟踪，但是只能是针对单细胞跟踪。

汤春明等提出用扩展卡尔曼与粒子滤波相结合的方法实现多细胞跟踪，该方法实现了多个细胞的跟踪，被跟踪细胞限制为少数活跃细胞，且与周边细胞有较明显的区别，但其跟踪状态表现为重复序列图像下的单个细胞的跟踪，未能实现多细胞的同步跟踪。

Mingli Lu等利用分水岭实现细胞分割进而通过粒子滤波完成跟踪。分水岭分割方法，是一种基于拓扑理论的数学形态学的分割方法，其基本思想是把图像看作是测地学上的拓扑地貌，图像中每一点像素的灰度值表示该点的海拔高度，每一个局部极小值及其影响区域称为集水盆，而集水盆的边界则形成分水岭。分水岭的概念和形成可以通过模拟浸入过程来说明。在每一个局部极小值表面，刺穿一个小孔，然后把整个模型慢慢浸入水中，随着浸入的加深，每一个局部极小值的影响域慢慢向外扩展，在两个集水盆汇合处构筑大坝，即形成分水岭。 分水岭的计算过程是一个迭代标注过程。分水岭比较经典的计算方法是L. Vincent提出的。在该算法中，分水岭计算分两个步骤，一个是排序过程，一个是淹没过程。首先对每个像素的灰度级进行从低到高排序，然后在从低到高实现淹没过程中，对每一个局部极小值在h阶高度的影响域采用先进先出(FIFO)结构进行判断及标注。分水岭算法对微弱边缘具有良好的响应，图像中的噪声、物体表面细微的灰度变化，都会产生过度分割的现象。但同时应当看出，分水岭算法对微弱边缘具有良好的响应，是得到封闭连续边缘的保证的。另外，分水岭算法所得到的封闭的集水盆，为分析图像的区域特征提供了可能。 这种分割中噪声导致的跟踪对象的不准确导致跟踪存在误跟踪情况。

在专利CN 101719278 B中公开了一种基于KHM 算法的视频显微图像细胞自动跟踪方法，该方法采用以下步骤： 1) 利用分水岭方法完成细胞图像的二值分割，提取目标细胞；2) 为每个目标细胞建立匀速运动学动力模型，并初始化；3) 利用KHM 算法对下一时刻二值图像进行聚类，获得所有细胞中心位置；4) 通过目标细胞的关联，确定目标细胞在下一时刻的位置，完成运动细胞的跟踪；5) 更新步骤2) 中目标细胞模型的状态向量及其误差协方差矩阵；6) 循环步骤3) 到步骤5) 直到跟踪到最后一帧图像。该发明具有以下缺点：（1）由说明书中可以看出，该专利在细胞相对分离的状态下效果较好，但是对细胞粘连程度较高的状态并不适用。（2）该发明先以最近邻方法为准则进行目标细胞关联，再计算不同关联结果的差异代价函数，以差异代价函数最小的关联结果作为最终关联结果。最近邻算法是通过相似对象来判断，再采用代价函数也是通过相似度来判断，增加了计算的复杂度；（3）该方法在确定代价函数的同时引入了不同特征权值分配问题，虽然增加了灵活性但权值参数的选取的问题和参数对精度匹配问题都限制了其适用性。

发明内容

1、本发明的目的。

本发明为了在细胞粘连程度较高的状态下能够有效的对多细胞进行分割并跟踪，同时计算过程可靠性较高，不受参数选择和权值参数的影响，计算量相对较小。

2、本发明所采用的技术方案。

高粘连度细胞环境下的多细胞同步跟踪方法，包括细胞分割和多细胞跟踪两大步骤：

其中细胞分割包括以下步骤：

1a、灰度图生成：读入第i帧图像，经过变换成为灰度图；

1b、灰度图像预分割：通过扩展极小变换实现预分割，得到粗糙分割二值图像；

1c、距离变换分割图像：对步骤1b所述的分割后的二值图像取反并进行距离变换分割图像；

1d、使用分水岭方法完成簇分割，得到基本连通区域；

1e、消除噪声：将对象细胞的面积、离心率、矩形度、拉伸度特征进行匹配，实现细胞分割过滤剔除细胞特征相异的对象；

1f，分割好的当前图像后，返回步骤1a重复，直至分割完成；

多细胞跟踪包括以下步骤：

2a、 初始化第i帧图像，通过分水岭算法加特征过滤得到该帧待跟踪细胞Xi，i=1，2，…,n

2b、利用卡尔曼滤波算法中的状态方程对待跟踪细胞进行预测得到预测位置及速度；

2c、针对第i+1帧中每一个跟踪对象在其3倍直径范围内度量其相似度，选取细胞的面积，离心率，矩形度，拉伸度，速度，方位角六个特征度量，相似度函数为：

                                                        

            

x表示第i帧中跟踪对象，yj表示第i+1帧中预测区域内入选对象, 

表示跟踪细胞与入选对象在特征空间中的欧式距离。找到使相似度函数最小的点，即为对应细胞的观测，进而用来预测下一帧的目标细胞；

2d、认定相似度函数最小的细胞即为被跟踪对象，将其基本信息认定为观测量带入卡尔曼滤波算法中的观察方程完成更新；

2e、抽取下一帧，跳转步骤2a，直到视频帧结束。

3、          本发明的有益效果。

（1）本发明在细胞分割过程中采用细胞特征匹配的方式过滤，能够在细胞粘连程度较高的情况下对细胞进行有效的分割，消除噪声点，提高细胞跟踪的精度。

（2本发明所采用的相似度函数，参数和权值的选取对其影响较小，避免了多特征间不同度量方式权值不同带来的不确定性问题，能够有效的跟踪多细胞的运动轨迹，计算量相对而言较小。

（3）在细胞跟踪过程中，在卡尔曼滤波预测过程中利用细胞特征中的方向和速度来修正检测过程中面积，圆形度等特征匹配造成的匹配误差可以得到相对较好的跟踪效果，细胞分割的平均有效率为94.4%，跟踪效果优于现有技术中的跟踪方法。

附图说明

图1多细胞跟踪流程图。

图2 细胞分割算法流程图。

图3 细胞跟踪过程和结果图。

图4基于水平集的细胞分割效果图。

图5 基于卡尔曼滤波的细胞跟踪。

图6 基于检测的细胞跟踪。

图7基于粒子滤波的细胞跟踪效果图。

具体实施方式

实施例

细胞跟踪需要解决两个问题，首先是细胞的分割，然后对细胞进行跟踪，高粘连度细胞环境下的多细胞同步跟踪方法流程图如附图1。

在细胞粘连程度较高的状态下的分割方法如附图2。

具体细胞分割算法如下：

1、读入第i帧图像，变换成灰度图；

2、通过扩展极小变换实现预分割，得到粗糙分割二值图像；

3、对得到的二值图像取反并按下式进行距离变换；

4、使用分水岭分割；

5、细胞特征匹配过滤；

6、分割好的图像，读入下一帧。

步骤5是细胞特征匹配过滤，之所以需要细胞特征匹配过滤，是因为通过预分割，分水岭和图像叠加后得到的二值图像是入选待跟踪细胞对象，此时分割图像中包括真实细胞对象和由噪声引起的非细胞对象，需要过滤掉噪声。噪声对跟踪的影响体现在两个方面：一方面噪声点被分割后会被认为是待跟踪对象，从而增加跟踪对象进而增加计算量；另一方面分割出来的噪声对象会严重干扰跟踪对象的定位，尤其是细胞密集区，从而极大地影响跟踪效果。因此，有必要考虑消除或减少噪声。

为了消除噪声点，考虑通过获取细胞对象的特征，任何与细胞特征相异的对象认为是噪声点。因为，相对于噪声干扰，视频图像中的细胞有着相对稳定的特征，通过获取细胞的有效特征，可以剔除与细胞特征不匹配的对象，从而有利于噪声点被消除或减少。

细胞特征的选取包括以下几个特征：

面积特征，表示为：

为单位像素；细胞的整个生命周期，其面积为一个相对稳定的值，服从约束条件，其中

，

分别表示细胞分裂前后的面积，对应细胞的最大面积和最小面积。

如跟踪对象为白细胞，白细胞的几何特征表现为近似圆形或椭圆形出现，因此，离心率可以作为检测细胞的重要特征，离心率定义为：

a,b分别表示对象的长轴和短轴。

静态细胞多呈现近似圆形，其离心率近似为1，而动态细胞，由于其运动导致几何形状出现拉伸情况，相对于离心率，矩形度则可用来判断细胞的拉伸程度，矩形度定义为：

为了进一步表示细胞的拉伸程度，定义拉伸度定义为：

用来表示目标形体的拉伸程度。W表示宽度， H表示高度。由此，得到细胞特征包括：面积，离心率，矩形度，拉伸度，利用以上特征实现细胞分割过滤掉噪音。

多目标跟踪中，由于相邻两帧图像时间间隔比较短（几十毫秒），一般个目标的变化比较小，可假设跟踪对象在两帧间隔内处于匀速运动，设采样间隔T为两帧图像时间间隔，设细胞的运动状态参数为某一时刻下细胞的位置和速度，定义系统状态是一个四维向量

，其中

、

分别是第k 帧图像中目标中心在X, Y轴上的位置分量, 

、

分别是X、Y轴上的速度，则卡尔曼滤波算法中更新状态方程和观测方程为：

状态方程:                 

                    (1)

  观测方程:                  

                         (2)

观测向量, 其中

、

分别是第k 帧图像中目标中心在X, Y轴方向上位置的观测值。状态转移矩阵和观测矩阵分别为：

，

，

ｗ(k)和ｖ(k)分别是过程噪声和观测噪声，为零均值相互独立的高斯白噪声，其协方差矩阵分别为：

和

卡尔曼滤波中的观测值必须根据目标图像与预测区域的图像某些特征进行匹配得到。

建立符合卡尔曼滤波的运动模型后，我们通过以下算法实现细胞的预测和更新：

1、初始化第i帧图像，通过分水岭算法加特征过滤得到该帧待跟踪细胞X _i ，i=1，2，…,n

2、利用公式（1）对待跟踪细胞进行预测得到预测位置及速度；

3、针对第i+1帧中每一个跟踪对象在其3倍直径范围内用公式（3）度量其相似度；

4、认定相似度最大的细胞即为被跟踪对象，将其基本信息认定为观测量带入公式（2）完成更新；

5、i++，直到视频帧结束。

细胞的相似度度量，现有技术中提出用位置、直径和方位角构成代价函数，通过代价函数最小化确定匹配细胞，该方法在确定代价函数的同时引入了不同特征权值分配问题，虽然增加了灵活性但权值参数的选取的问题和参数对精度匹配问题都限制了其适用性。

本发明的代价函数为细胞特征空间中不同细胞特征的距离度量。首先确定特征，选取细胞的面积，离心率，矩形度，拉伸度作为细胞基本形态特征，同时为了改善匹配精度将细胞运动特征加入进来，包括：速度，方位角，由此得到特征空间中特征为：面积，离心率，矩形度，拉伸度，速度，方位角，共六个特征。根据聚类思想，相似度越高的样本其特征空间中的距离越近，因此我们定义其相似度函数为：

                 （3）

x表示第i帧中跟踪对象，y _j 表示第i+1帧中预测区域内入选对象,

表示跟踪细胞与入选对象在特征空间中的欧式距离。代价函数反映了运动特性变化大小，候选点的代价函数越小则说明它作为最佳匹配点的置信概率越高。找到使代价函数最小的点，则认为该点是对应细胞的观测，进而用来预测下一帧的目标细胞，这样该算法就能够反复递推运算下去，直到找不到目标细胞为止。这种方法避免了多特征间不同度量方式权值不同带来的不确定性问题，同时在特征空间中的距离最小化反应出两细胞间的相似程度。

实验例

实验分析部分从图像序列中抽取15帧用来验证分割的有效性和跟踪的准确情况。细胞分割图像，随机从序列图像中抽取一张进行分割和分析，并加入了水平集分割方法对比例来验证有效性；细胞跟踪，将本发明提出的方法与通过检测的方法和粒子滤波的跟踪方法进行比对来验证本方法的有效性。

1、细胞分割

本发明的细胞分割方法，通过预分割，距离变换再结合分水岭进行分割，得到基本连通区域，再将提取的细胞特征作为约束条件将细胞进一步划分出来并减少噪音的影响。其分割过程和结果如下图3所示：

经过预分割得到的相对粗糙的分割图像，可以看到多数细胞是处于粘连状态，这种情况下跟踪对象的不准确必然导致跟踪异常，图3（d）是未经过距离变换的分水岭分割效果，此时仅实现簇的分割，细胞间分割效果比较差，经过距离变换后再分水岭分割得到图3（e）所示的细分割，细胞对象更多的被分割出来，细胞对象更加明确，只存在少数粘连细胞，但此时的分割图像包含噪声点，如图3（f）箭头所示，因此需要将其过滤掉，以得到准确的跟踪对象。过滤方法通过特征匹配实现，过滤后效果如图3（g），看到图3（g）中去除了噪声点得到了有效的跟踪对象，统计本次实验15帧图像平均分割识别率为：94.4%。

如图4，水平集分割方法，在多细胞序列图像中的分割效果比较有限，尤其在细胞成簇出现的地方难以给出清晰的分割，其分割效果体现为若干细胞识别为一个簇，另外还出现局部细胞漏检情况，这些情况都极大的影响后续的细胞跟踪过程。

2、细胞跟踪

细胞跟踪，我们给出了高粘连度细胞环境下的多细胞同步跟踪方法的结果、序列图像中15帧的检测结果和粒子滤波的跟踪方法的结果进行比较，如图5、图6和图7所示：

本发明利用卡尔曼滤波预测过程中的通过方向和速度来修正检测过程中面积，圆形度等特征匹配造成的匹配误差可以得到相对较好的跟踪效果，修正了基于检测匹配的跟踪方法在第5帧和第10帧中出现的问题，改善了跟踪效果，如图5所示。

基于检测匹配的跟踪如图6所示，由于细胞本身相异度有限，在距离测度下，比较分散的情况能得到对应细胞的匹配和跟踪，但在密集度较大的地方匹配性比较差，除此之外，由于匹配过程中存在监控区域以外细胞移动到区域内情况，此时，极可能出现错误匹配，导致原始细胞匹配到区域内最近的细胞上，由图4的第5帧和第10帧我们可以看到第5帧上部新进入的细胞被错误的匹配到距离最近的细胞上，而同帧里下面的细胞在移出序列图像后在第10帧中表现为与相似度最大的细胞相匹配，从而出现一个尖锥型跳变轨迹。    图7给出了粒子滤波的跟踪效果，在细胞相互粘连密集区域同样跟踪失败，除此之外由于重采样导致的多样性损失使得局部出现跟踪分叉问题，如图中第5帧开始的下方分叉问题和，第10帧出现的右上方出现的分叉，另外粒子滤波需要采用大量的粒子样本，这增加了计算量从而降低了跟踪的实时性。

综上，针对细胞跟踪中多细胞的同步跟踪问题，本发明提出高粘连度细胞环境下的多细胞同步跟踪方法。首先，提出了一种改进的基于分水岭和多特征匹配的分割算法实现细胞分割，然后，建立适用于卡尔曼滤波的运动模型中引入速度，方位角细胞匹配特征，改善了匹配精度。实验表明本方法对于多细胞的同步跟踪是有效的，其前期细胞分割过程，序列帧细胞分割的平均有效率为94.4%，跟踪效果优于现有技术中的跟踪方法。

上述实施例不以任何方式限制本发明，凡是采用等同替换或等效变换的方式获得的技术方案均落在本发明的保护范围内。

Claims (3)

1.一种高粘连度细胞环境下的多细胞同步跟踪方法，其特征在于包括细胞分割和多细胞跟踪两大步骤：

其中细胞分割包括以下步骤：

1a、灰度图生成：读入第i帧图像，经过变换成为灰度图；

1b、灰度图像预分割：通过扩展极小变换实现预分割，得到粗糙分割二值图像；

1c、距离变换：对步骤1b所述的分割后的二值图像取反并进行距离变换；

1d、使用分水岭方法完成簇分割，得到基本连通区域；

1e、消除噪声：将对象细胞的面积、离心率、矩形度、拉伸度特征进行匹配，实现细胞分割过滤剔除细胞特征相异的对象；

1f，分割好的当前图像后，返回步骤1a重复，直至分割完成；

多细胞跟踪包括以下步骤：

2a、 初始化第i帧图像，通过分水岭算法加特征过滤得到该帧待跟踪细胞Xi，i=1，2，…,n

2b、利用卡尔曼滤波算法中的状态方程对待跟踪细胞进行预测得到预测位置及速度；

2c、针对第i+1帧中每一个跟踪对象在其3倍直径范围内度量其相似度，选取细胞的面积，离心率，矩形度，拉伸度，速度，方位角六个特征度量，相似度函数为：

x表示第i帧中跟踪对象，

表示第i+1帧中预测区域内入选对象, 

表示跟踪细胞与入选对象在特征空间中的欧式距离，找到使相似度函数最小的点，即为对应细胞的观测，进而用来预测下一帧的目标细胞；

2d、认定相似度函数最小的细胞即为被跟踪对象，将其基本信息认定为观测量带入卡尔曼滤波算法中的观察方程完成更新；

2e、抽取下一帧，跳转步骤2a循环，直到视频帧结束。

2.根据权利要求1所述的高粘连度细胞环境下的多细胞同步跟踪方法，其特征在于：距离变换，对得到的二值图像取反并按下式进行距离变换；

。

3.根据权利要求1或2所述的高粘连度细胞环境下的多细胞同步跟踪方法，其特征在于：将对象细胞进行特征匹配，剔除细胞特征相异的对象：

面积特征，表示为：

为单位像素；细胞的整个生命周期，其面积为一个相对稳定的值，服从约束条件

，其中

，

分别表示细胞分裂前后的面积，对应细胞的最大面积和最小面积；

离心率特征为：

a,b分别表示对象的长轴和短轴，静态细胞多呈现近似圆形，其离心率近似为1，而动态细胞，由于其运动导致几何形状出现拉伸情况；

判断细胞的拉伸程度的矩形度为：

W表示宽度， H表示高度；

细胞的拉伸度为：

。

Images