CN106097394B - 基于带标签的多贝努利滤波器的多细胞自动跟踪方法 - Google Patents

Abstract

本发明提供了一种基于带标签的多贝努利滤波器的多细胞自动跟踪方法，包括带标签的多贝努利滤波器的细胞集初始化步骤，带标签的多贝努利滤波器预测步骤，带标签的多贝努利滤波器更新步骤。本发明对细胞集初始化采用k最短路径根据新出现细胞的发现概率生成新细胞集合，利用上一帧细胞集合与新发现细胞集合的权重及细胞概率密度，获得当前帧中的预测细胞集、细胞集内细胞预测概率密度以及细胞集权重，通过相似度计算更新细胞集内细胞的后验概率密度及细胞集的权重，最后无需关联即可完成细胞跟踪。

Description

基于带标签的多贝努利滤波器的多细胞自动跟踪方法

技术领域

本发明提供了一种基于带标签的多贝努利滤波器的多细胞自动跟踪方法，属于细胞跟踪领域。

背景技术

细胞是生物体的基本构成单元，任何有机生命的存在与演进，都与自身细胞的活动不可分割。因此，对细胞行为分析的研究在很多领域都是非常有价值的，如药物开发、基因研究等。对细胞运动的传统分析方法是由专业人员人工观测来实现的，在处理大批量细胞图像时，该过程非常枯燥且费时，容易引入人工偏见，从而导致重要信息的丢失。所以，开发一种精确的方法来自动地跟踪细胞是一项具有重要意义的工作。在过去的几十年里，随着统计学、数据处理及计算机视觉技术的迅速发展，已经出现了许多细胞自动跟踪方法。

细胞的自动跟踪方法通常面临着很多难题，主要来自两个方面，一是细胞自身的复杂性，二是细胞图像采集的质量不稳定。细胞自身的复杂性一般指的是发生在细胞全生命周期内的各种复杂活动，如细胞的分裂、死亡、进入、离开引起观测区域内细胞数量的变化，细胞碰撞、形变、近邻、重叠(遮挡)，细胞的运动模型难以建立，这些都是细胞跟踪的重点与难点。细胞图像采集的质量不稳定通常是指由于生物体的呼吸而引起的颤抖、细胞进入或离开共焦平面等造成图像对比度发生变化，使得采集的图像质量下降，即图像具有较低的信噪比(SNR)或对比度。

目前文献报道的细胞自动跟踪方法可以分为三类，基于检测与关联的跟踪方法、基于模型演化的跟踪方法、基于滤波与采样的跟踪方法。基于检测与关联的细胞跟踪方法包含两个步骤，即检测与关联。在检测步骤中，把每一帧图像中的细胞从图像背景中分割出来，可同时得到细胞的数目和各细胞的状态。常用的检测方法包括阈值法、梯度法、分水岭算法、形态学操作及各种群智能优化算法。在关联步骤中，将连续两帧或多帧中检测到的细胞进行关联，即可得到细胞的运动轨迹。常用的关联方法主要有最近邻法、平滑运动准则、多假设检验等。基于检测与关联的跟踪方法通常运行效率比较高，但在很多情况下，如图像中细胞密度很大、细胞分裂和发生分割错误时，此类跟踪方法很可能会失效。阈值法是最常用的检测方法，但在视觉系统强度变化明显或图像噪声比较大时，非常容易出现检测错误。阈值法不能分割粘连的细胞，而分水岭变换提供了解决细胞相互接触问题的一种思路，其缺点是会因噪声影响而产生过分割现象。

基于模型演化的细胞跟踪方法首先对细胞进行建模，然后在连续帧中不断更新模型来到达跟踪的目的。将前一帧图像的跟踪结果用于当前帧相关参数的初始化，从而实现细胞外观模型在帧间的演化。根据模型建立方法的不同，常用的模型演化跟踪方法包括主动轮廓法、水平集法、均值漂移等。以主动轮廓法为例，在前一帧中定义一个与细胞轮廓相关的能量函数，在当前帧中使得能量函数最小，进而找出细胞轮廓。与分水岭变换相比，近邻细胞的轮廓在演化过程中易被融合成一个细胞，因此产生图像欠分割效应，需要对结果进行后续处理。

基于滤波与采样的细胞跟踪采用贝叶斯递归方法根据细胞的先验信息，在细胞图像序列中不断对细胞运动进行预测与更新，可以更好地利用时序信息、细胞动力学特征等。粒子滤波器(PF)常被用于细胞跟踪，但是在估计细胞在当前帧的后验概率密度之前，需要知道观测模型和细胞运动模型。Juang将混合高斯概率假设密度(GM-PHD)滤波器应用于多细胞跟踪，在对细胞宗谱的研究中能够很好地跟踪出细胞的世系及细胞的运动情况。Rezatofighi提出了LGJMS-PHD滤波器的一个闭式解，包含了状态独立的转移概率和分裂转移概率，显著提升了存在大量细胞和检测噪声的图像处理效率。基于滤波与采样的跟踪方法相比于基于检测与关联的跟踪方法能够更好地利用时空信息，特别是在低质量的细胞图像数据中能得到更加鲁棒的跟踪结果。

发明内容

1、本发明的目的。

本发明旨在解决在低对比度医学图像序列下多细胞跟踪问题，即对多细胞动力学特性存在差异、细胞数目时变，细胞近邻等情形，在无需细胞关联、无需细胞检测环节，无需大量细胞训练样本的前提下，通过带标签的多贝努利滤波器的预测与更新，解决多细胞的跟踪难题。

2、本发明所采用的技术方案。

本发明提出的带标签的多贝努利滤波器多细胞自动跟踪方法，按照如下步骤进行：

步骤1、包括带标签的多贝努利滤波器的细胞集初始化：在对图像进行细胞跟踪之前，采用k最短路径根据新出现细胞的发现概率生成新细胞集合及其权重；

步骤2、带标签的多贝努利滤波器细胞集预测：利用上一帧细胞集合与新发现细胞集合的权重及细胞概率密度，获得当前帧中的预测细胞集、细胞集内细胞预测概率密度以及细胞集权重；

步骤3、带标签的多贝努利滤波器细胞集更新：通过相似度计算更新细胞集内细胞的后验概率密度及细胞集的权重。

更进一步具体实施方式，所述的细胞的标签由细胞第一次出现的帧数及其在该帧中的初始化编号共同构成。

更进一步具体实施方式，所述的步骤1中在对每一帧图像进行细胞跟踪之前，根据先验知识，在图像中可能出现细胞的区域对图像进行分区块，并在整个图像中初始化新出现细胞的存在概率与概率密度；定义代价向量为其中l_j为细胞标签，为细胞存在概率，为细胞标签集合，|·|表示集合的势；对代价向量应用k最短路径算法可得k个最优细胞标签集合；新细胞集合N的权重为：

其中为包含函数，定义为

更进一步具体实施方式，所述的步骤(2)中带标签的多贝努利滤波器细胞集预测包括带标签的多贝努利细胞集预测步骤以及无检测似然函数步骤。

更进一步具体实施方式，所述的带标签的多贝努利细胞集预测以下方法：

定义指示函数其中|·|表示集合的势，X代表细胞集合，代表细胞的标签集合；

若上一帧图像的多细胞概率密度可以表示为带标签的多贝努利形式，则当前帧的多细胞预测概率密度也为带标签的多贝努利形式：

其中

η_S(l)＝<p_S(·,l),p^(c)(·,l)>

X₊代表细胞集合，p₊为细胞概率密度，为细胞联合概率密度。代表上一帧保留下来的所有细胞集合，细胞集c的权重为w^(c)，I为细胞集c的标签集合，p₊包括上一帧细胞集合中存活细胞概率密度和新发现细胞概率密度p_B，p^(c)为上一帧细胞后验概率密度，p_S为细胞存活概率，f(x|·,l)为细胞x的状态转移概率密度函数，l为细胞标签，<>为内积算子，η_S为存活细胞概率密度的归一化常数。细胞集c在当前帧对应产生的细胞标签集合为J∪N，细胞集合权重为J为I中存活到当前帧中细胞的标签集合，为其权重；N为当前帧新发现细胞的标签集合，w_B(N)为其权重；代表上一帧保留的所有细胞标签集合，代表当前帧所有新细胞标签集合。

更进一步具体实施方式，所述的无检测似然函数采用以下方法：

细胞集内预测细胞与模板细胞的似然函数定义为其中

用于度量预测细胞与模板之间的距离；u_p(j)为预测细胞直方图u_p的第j个分量，n为直方图分量数目，是模板库Z中直方图的第j个分量，|Z|表示Z的势，γ,ξ为控制参数。

更进一步具体实施方式，所述的步骤(3)中带标签的多贝努利细胞集更新包括对所有预测细胞集进行带标签的多贝努利更新步骤以及标签集与细胞状态提取步骤。

更进一步具体实施方式，所述的对所有预测细胞集进行带标签的多贝努利更新步骤采用如下方法：

对所有预测细胞集进行带标签的多贝努利更新，可以得到细胞集内各细胞更新后的存在概率；将存在概率低于某阈值的细胞剔除，即可得到更新后的细胞集权重；

当前帧更新后的多细胞概率密度可表示为其中

代表所有预测得到的细胞集，w^(c)为细胞集c的权重，w_Z ^(c)为经过模板相似度更新后的细胞集权重；L代表更新后细胞的标签集合，l为集合内细胞的标签；Z为细胞模板库，[p^(c)(·|Z)]^X为更新后细胞集内细胞的联合概率密度，为更新后细胞集内细胞概率密度的归一化常数，p^(c)(·,l)为标签l的单细胞概率密度函数，g_f(.,l；Z)为预测细胞与模板细胞的似然函数，p^(c)(x,l)为细胞x的预测概率密度，g_f(x,l；Z)为细胞x与模板的相似度，p^(c)(x,l|Z)为细胞x后验概率密度，r^(c)(x,l)为细胞x的预测存在概率，r^(c)(x,l|Z)为细胞x的后验存在概率。

更进一步具体实施方式，所述的标签集与细胞状态提取采用如下方法：

将更新后细胞数目相同的细胞集权重进行累加，通过最大权重确定细胞数目n；在细胞数目为n的细胞集中选择权重最大的集合，确定细胞状态，最后根据细胞的标签完成跟踪。

3、本发明有益效果。

1)本发明提供的带标签的多贝努利滤波器跟踪系统能够精确跟踪多个细胞。

2)本发明首次利用带标签的多贝努利滤波器解决多细胞无需关联的跟踪问题，对于多个数目未知且变化的细胞、不同动力学特性的细胞、近邻细胞，达到了精确的跟踪效果。

3)本发明所提供系统的跟踪稳定性高，虚警率、漏检率低。

附图说明

图1本发明的流程图。

图2本发明细胞跟踪的原始图像序列1。

图3本发明细胞跟踪的原始图像序列2。

图4本发明细胞跟踪结果(1)细胞序列1。

图5本发明细胞跟踪结果(2)细胞序列2。

具体实施方式

图1为本发明的的结构图。如图1所示，针对图2和图3的原始细胞(T细胞)图像序列每一帧原始图像，先利用上一帧细胞集合与当前帧新发现细胞集合的权重及细胞概率密度，获得当前帧中的预测细胞集、细胞集内细胞预测概率密度以及细胞集权重，之后通过相似度计算更新细胞集内细胞的后验概率密度及细胞集权重，最后无需关联即可完成细胞的跟踪输出。具体步骤为：

1)细胞集的初始化：在对每一帧图像进行细胞跟踪之前，根据先验知识，在图像中可能出现细胞的区域对图像进行分区块，并在整个图像中初始化新出现细胞的存在概率与概率密度。细胞的标签由细胞第一次出现的帧数及其在该帧中的初始化编号共同构成。定义代价向量为其中l_j为细胞标签，为细胞存在概率，为细胞标签集合，|·|表示集合的势。对代价向量应用k最短路径算法可得k个最优细胞标签集合。新细胞集合N的权重为：其中为包含函数，定义为

2)带标签的多贝努利细胞集预测：定义为指示函数，其中|·|表示集合的势，X代表细胞集合，代表细胞的标签集合。若上一帧图像的多细胞概率密度可以表示为带标签的多贝努利形式，则当前帧的多细胞预测概率密度也是带标签的多贝努利形式，可表示为：

其中

η_S(l)＝<p_S(·,l),p^(c)(·,l)>

X₊代表细胞集合，p₊为细胞概率密度，为细胞联合概率密度。代表上一帧保留下来的所有细胞集合，细胞集c的权重为w^(c)，I为细胞集c的标签集合，p₊包括上一帧细胞集合中存活细胞概率密度和新发现细胞概率密度p_B，p^(c)为上一帧细胞后验概率密度，p_S为细胞存活概率，f(x|·,l)为细胞x的状态转移概率密度函数，l为细胞标签，<>为内积算子，η_S为存活细胞概率密度的归一化常数。细胞集c在当前帧对应产生的细胞标签集合为J∪N，细胞集合权重为J为I中存续到当前帧中细胞的标签集合，为其权重；N为当前帧新发现细胞的标签集合，w_B(N)为其权重。代表上一帧保留的所有细胞标签集合，代表当前帧所有新细胞标签集合。

3)相似度函数：预测细胞与模板细胞的似然函数为其中用于度量预测细胞与模板之间的距离；u_p(j)为预测细胞直方图u_p的第j个分量，n为直方图分量数目，是模板库Z中的第j个分量，|Z|表示Z的势，γ,ξ为控制参数。

4)带标签的多贝努利细胞集更新：对所有预测细胞集进行带标签的多贝努利更新，可以得到细胞集内各细胞更新后的存在概率。将存在概率低于某阈值的细胞剔除，即可得到更新后的细胞集权重。

当前帧更新后的多细胞概率密度可表示为其中

代表所有预测得到的细胞集，w^(c)为细胞集c的权重，w_Z ^(c)为经过模板相似度更新后的细胞集权重；L代表更新后细胞的标签集合，l为集合内细胞的标签；Z为细胞模板库，[p^(c)(·|Z)]^X为更新后细胞集内细胞的联合概率密度，为更新后细胞集内细胞概率密度的归一化常数，p^(c)(·,l)为标签l的单细胞概率密度函数，g_f(.,l；Z)为预测细胞与模板细胞的似然函数，p^(c)(x,l)为细胞x的预测概率密度，g_f(x,l；Z)为细胞x与模板的相似度，p^(c)(x,l|Z)为细胞x后验概率密度，r^(c)(x,l)为细胞x的预测存在概率，r^(c)(x,l|Z)为细胞x的后验存在概率。

5)标签集与细胞状态提取：将更新后细胞数目相同的细胞集权重进行累加，判断最大权重确定细胞数目n；在细胞数目为n的细胞集中选择权重最大的集合，确定细胞状态，最后根据细胞的标签完成跟踪。

图4和图5给出两组细胞图像序列的跟踪结果，可以看出本系统能对多个细胞进行正确跟踪，能处理细胞进入与离开、细胞数量变化和细胞近邻等复杂跟踪问题，并且细胞标签自动生成无需进行关联。

虽然本发明已以较佳实施例公开如上，但其并非用以限定本发明，任何熟悉此技术的人，在不脱离本发明的精神和范围内，都可做各种的改动与修饰，因此本发明的保护范围应该以权利要求书所界定的为准。

Claims (8)

1.一种基于带标签的多贝努利滤波器的多细胞自动跟踪方法，其特征在于：

步骤1、包括带标签的多贝努利滤波器的细胞集初始化：在对图像进行细胞跟踪之前，采用k最短路径根据新出现细胞的发现概率生成新细胞集合及其权重；所述的步骤1中在对每一帧图像进行细胞跟踪之前，根据先验知识，在图像中可能出现细胞的区域对图像进行分区块，并在整个图像中初始化新出现细胞的存在概率与概率密度；定义代价向量为其中l_j为细胞标签，为细胞存在概率，为细胞标签集合，|·|表示集合的势；对代价向量应用k最短路径算法可得k个最优细胞标签集合；新细胞集合N的权重为：

其中为包含函数，定义为

步骤2、带标签的多贝努利滤波器细胞集预测：利用上一帧细胞集合与新发现细胞集合的权重及细胞概率密度，获得当前帧中的预测细胞集、细胞集内细胞预测概率密度以及细胞集权重；

步骤3、带标签的多贝努利滤波器细胞集更新：通过相似度计算更新细胞集内细胞的后验概率密度及细胞集的权重。

2.根据权利要求1所述的多细胞自动跟踪方法，其特征在于：所述的细胞的标签由细胞第一次出现的帧数及其在该帧中的初始化编号共同构成。

3.根据权利要求1所述的多细胞自动跟踪方法，其特征在于：所述的步骤2中带标签的多贝努利滤波器细胞集预测包括带标签的多贝努利细胞集预测步骤以及无检测似然函数步骤。

4.根据权利要求3所述的多细胞自动跟踪方法，其特征在于所述的带标签的多贝努利细胞集预测以下方法：

定义指示函数其中|·|表示集合的势，X代表细胞集合，代表细胞的标签集合；

若上一帧图像的多细胞概率密度可以表示为带标签的多贝努利形式，则当前帧的多细胞预测概率密度也为带标签的多贝努利形式：

其中

η_S(l)＝<p_S(·,l),p^(c)(·,l)>

X₊代表细胞集合，p₊为细胞概率密度，为细胞联合概率密度；代表上一帧保留下来的所有细胞集合，细胞集c的权重为w^(c)，I为细胞集c的标签集合，p₊包括上一帧细胞集合中存活细胞概率密度和新发现细胞概率密度p_B，p^(c)为上一帧细胞后验概率密度，p_S为细胞存活概率，f(x|·,l)为细胞x的状态转移概率密度函数，l为细胞标签，<>为内积算子，η_S为存活细胞概率密度的归一化常数，细胞集c在当前帧对应产生的细胞标签集合为J∪N，集合权重为J为I中存续到当前帧中细胞的标签集合，为其权重；N为当前帧新发现细胞的标签集合，w_B(N)为其权重；代表上一帧保留的所有细胞标签集合，代表当前帧所有新细胞标签集合。

5.根据权利要求3所述的多细胞自动跟踪方法，其特征在于所述的无检测似然函数采用以下方法：

细胞集内预测细胞与模板细胞的似然函数定义为其中

用于度量预测细胞与模板之间的距离；u_p(j)为预测细胞直方图u_p的第j个分量，n为直方图分量数目，是模板库Z中直方图的第j个分量，|Z|表示Z的势，γ,ξ为控制参数。

6.根据权利要求4所述的多细胞自动跟踪方法，其特征在于所述的步骤3中带标签的多贝努利细胞集更新包括对所有预测细胞集进行带标签的多贝努利更新步骤以及标签集与细胞状态提取步骤。

7.根据权利要求6所述的多细胞自动跟踪方法，其特征在于所述的对所有预测细胞集进行带标签的多贝努利更新步骤采用如下方法：

对所有预测细胞集进行带标签的多贝努利更新，可以得到细胞集内各细胞更新后的存在概率；将存在概率低于某阈值的细胞剔除，即可得到更新后的细胞集权重；

当前帧更新后的多细胞概率密度可表示为

其中

代表所有预测得到的细胞集，w^(c)为细胞集c的权重，w_Z ^(c)为经过模板相似度更新后的细胞集权重；L代表更新后细胞的标签集合，l为集合内细胞的标签；Z为细胞模板库，[p^(c)(·|Z)]^X为更新后细胞集内细胞的联合概率密度，为更新后细胞集内细胞概率密度的归一化常数，p^(c)(·,l)为标签l的单细胞概率密度函数，g_f(·,l；Z)为预测细胞与模板细胞的似然函数，p^(c)(x,l)为细胞x的预测概率密度，g_f(x,l；Z)为细胞x与模板的相似度，p^(c)(x,l|Z)为细胞x后验概率密度，r^(c)(x,l)为细胞x的预测存在概率，r^(c)(x,l|Z)为细胞x的后验存在概率。

8.根据权利要求6所述的多细胞自动跟踪方法，其特征在于所述的标签集与细胞状态提取采用如下方法：

将更新后细胞数目相同的细胞集权重进行累加，通过最大权重确定细胞数目n；在细胞数目为n的细胞集中选择权重最大的集合，确定细胞状态，最后根据细胞的标签完成跟踪。