CN109344859A - 一种基于混合时间池化算子的有丝分裂定位和识别的方法 - Google Patents

Abstract

本发明公开了一种基于混合时间池化算子的有丝分裂定位和识别的方法，包括：对候选子序列的每一帧图像分别提取卷积神经网络特征向量；使用最大池化算子、平均池化算子、以及时间梯度直方图池化算子对提取的每帧的特征向量分别进行池化，得到相应帧的时间参数向量，该由最大池化算子、平均池化算子、以及时间梯度直方图池化算子组成的时间参数向量表征了对象帧所包含的外观特征和时序信息；在时间参数向量上训练线性SVM分类器来对候选子序列的每一帧的阶段标签进行分类，获得每个阶段的起始帧位置和帧数目；如果候选子序列包括完整的四个阶段，则可判定该序列包含了一个分裂事件，得到最终的识别结果。本发明提高了有丝分裂定位和识别的精度，降低了时间复杂度。

Description

一种基于混合时间池化算子的有丝分裂定位和识别的方法

技术领域

本发明涉及细胞有丝分裂事件检测领域，尤其涉及一种基于混合时间池化算子的有丝分裂定位和识别的方法。

背景技术

细胞增殖是生物体的重要生命特征，细胞以分裂的方式进行增殖^[1]。单细胞生物，以细胞分裂的方式产生新的个体。多细胞生物，以细胞分裂的方式产生新的细胞，用来补充体内衰老或死亡的细胞。因此，细胞增殖行为在药物发现、干细胞制造和组织工程等诸多领域上的研究日益重要^[2]。对于细胞增殖研究初期的细胞群落，因为其规模小，培养周期短，此时尚且可以通过人工标定的方法来对完成细胞有丝分裂事件的检测工作，但随着细胞体外培养的时间不断变长，以致于群落规模也不断扩大，此时如果还采用人工标定的方法则会很费时费力。因此，利用显微图像分析技术通过计算机来自动和准确地进行细胞有丝分裂事件的定位和检测就显得十分重要和迫切^[3]。

细胞分裂事件的定位和识别是基于数字图像处理、计算机视觉和深度学习等技术，借助于计算机处理等相关技术，自动完成识别和定位分裂事件的研究。目前，在显微镜图像序列下的细胞分裂事件检测技术主要分为两类^[4]：基于局部显著性的方法和基于时间上下文的方法。

1、基于局部显著性的方法通过利用环形检测器来定位母细胞和两个子细胞或通过细胞核的形状和纹理特征来对细胞分裂阶段进行识别^[5]。此类方法原理简单，但因依赖大量的训练数据以及没有考虑序列的时序动态性，无法对细胞分裂的过程进行充分的描述，导致检测准确度不高。

2、基于时间上下文的方法克服了上述方法的缺点，其通过提取细胞轨迹并且利用预定义的规则鉴别出发生分裂的细胞^[6]。Gallardo等人利用显微图像预处理和体积分割方法来定位图像序列中潜在发生有丝分裂的时空子域，基于细胞形状和外观特征采用了隐马尔可夫模型(the Hidden Markov Model,HMM)来完成对候选序列的分类^[7]；在此基础上，Huh等人利用事件检测条件随机场(the Event-Detection Conditional Random Field，EDCRF)模型来对有丝分裂事件进行定位和识别^[8]；Quattoni等人则利用隐条件随机场(theHidden Conditional Random Field,HCRF)分类器来判断每个候选子序列是否包含有丝分裂事件^[9]；Su等人通过训练隐状态条件神经场(the Hidden State Conditional NeuralField,HSCNF)分类器来完成对候选子序列的定位和识别^[10]。上述方法原理简单、描述特征丰富多样且适用范围广泛。

细胞有丝分裂定位和识别目前面临的主要挑战是：不同类型的细胞通常呈现不同的外观，以及分裂事件在分裂过程中也隐含了剧烈的变化，如何有效地捕捉到细胞外形随时间的变化对识别的效果将有很大影响。此外，目前鲜有学者提出对细胞分裂的各个阶段进行定位的方法。

发明内容

本发明提供了一种基于混合时间池化算子的有丝分裂定位和识别的方法，本发明提出了可以更好地描述有丝分裂过程中细胞外形随时间变化关系的特征，准确判定候选子序列中每一帧所处的阶段，提高了有丝分裂定位和识别的精度，降低了时间复杂度，详见下文描述：

一种基于混合时间池化算子的有丝分裂定位和识别的方法，所述方法包括：

对候选子序列的每一帧图像分别提取卷积神经网络特征向量；

使用最大池化算子、平均池化算子、以及时间梯度直方图池化算子对提取的每帧的特征向量分别进行池化，得到相应帧的时间参数向量，该由最大池化算子、平均池化算子、以及时间梯度直方图池化算子组成的时间参数向量表征了对象帧所包含的外观特征和时序信息；

在时间参数向量上训练线性SVM分类器来对候选子序列的每一帧的阶段标签进行分类，获得每个阶段的起始帧位置和帧数目；

如果候选子序列包括完整的四个阶段，则可判定该序列包含了一个分裂事件，得到最终的识别结果。

其中，所述时间梯度直方图池化算子包括：正梯度时间算子、以及负梯度时间算子。

进一步地，所述正梯度时间算子具体为：

其中，x_t∈R^D表示提取第t帧所得的CNN特征向量。

其中，所述负梯度时间算子具体为：

其中，x_t∈R^D表示提取第t帧所得的CNN特征向量。

进一步地，所述由最大池化算子、平均池化算子、以及时间梯度直方图池化算子组成的时间参数向量具体为：

V_t＝[m_t,a_t,p_t,n_t]

其中，V_t表示第t帧的时间参数向量，m_t表示将最大池化算子应用于第t帧所得的CNN特征向量的结果；a_t表示将平均池化算子应用于第t帧所得的CNN特征向量的结果；p_t表示将正梯度时间算子应用于第t帧所得的CNN特征向量的结果；n_t表示将负梯度时间算子应用于第t帧所得的CNN特征向量的结果。

其中，所述方法还包括：采集细胞候选子序列，所有的候选子序列构成样本数据库。

进一步地，所述采集细胞候选子序列具体为：

采集的细胞图像利用基于成像模型的显微图像分割方法和三维种域生长方法来提取细胞候选子序列。

本发明提供的技术方案的有益效果是：

1、将经过多种时间池化算子的组合结果作为对象帧的时间参数向量，该向量表征了对象帧所包含的外观特征和时序信息；

2、完成了对候选序列中每一帧的阶段标签进行分类；

3、提高了有丝分裂定位和识别的精度，降低了时间复杂度，简单高效并且易于实现。

附图说明

图1为一种基于混合时间池化算子的有丝分裂定位和识别的方法流程图；

图2为C2C12成骨干细胞群落细胞的一帧图像样例的示意图；

图3为一个贴有阶段标签的候选子序列样例的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

为了解决以上问题，需要能够全面、自动、准确表征细胞分裂中的外观、以及外观随着时间的演化信息的特征。将经过多种时间池化算子的组合结果作为对象帧的时间参数向量，该向量表征了对象帧所包含的外观特征和时序信息，从而准确地判定候选子序列中每一帧所处的阶段，结合有丝分裂的阶段性特征，便可实现对有丝分裂事件的识别。

实施例1

本发明实施例提出了基于混合时间池化算子的有丝分裂定位和识别的方法，参见图1，详见下文描述：

101：采集细胞候选子序列，所有的候选子序列构成样本数据库；

102：对候选子序列的每一帧图像分别提取卷积神经网络(Convolutional NeuralNetwork,CNN)特征向量；

103：使用多种时间池化算子对提取的每帧的特征向量分别进行池化得到相应帧的时间参数向量，该时间参数向量表征了对象帧所包含的外观特征和时序信息；

104：在时间参数向量上训练线性SVM分类器来对候选子序列的每一帧的阶段标签进行分类，获得每个阶段的起始帧位置和帧数目；

105：如果候选子序列包括完整的四个阶段，则可判定该序列包含了一个分裂事件，得到最终的识别结果。

其中，样本数据库的选取具体为：采集的细胞图像利用基于成像模型的显微图像分割方法和三维种域生长方法来提取候选子序列，所有的候选子序列构成样本数据库。

其中，多种时间池化算子具体为：最大池化算子、平均池化算子、以及引入本发明实施例自行设计的将梯度直方图与时间相结合的时间梯度直方图池化算子。

综上所述，本发明实施例通过上述步骤101-步骤105提出了一种能够有效表征候选子序列中每一帧所包含的外观特征和时序信息的特征，完成了对候选序列中每一帧的阶段标签进行分类，提高了有丝分裂定位和识别的精度，降低了时间复杂度，简单高效并且易于实现。

实施例2

下面结合具体的计算公式、附图对实施例1中的方案进行进一步地介绍，详见下文描述：

201：采集细胞候选子序列，所有的候选子序列构成样本数据库；

C2C12成骨干细胞群落细胞的一帧图像样例如图2所示，提取的样本是利用基于成像模型的显微图像分割方法和三维种域生长方法从很多连续的帧分割然后按照时间顺序拼接而成的。

其中，基于成像模型的显微图像分割方法，能够有效的消除晕轮，遮蔽伪影，选择性增强有丝分裂细胞，并恢复无伪影图像。三维种域生长方法用来提取可能含有分裂事件的时空子域，这使得搜索空间从整个图像序列缩小到了候选子序列^[9]。

为了便于实验的进行和比较，本发明实施例提取的候选子序列大小都为50×50×23(每个序列包含23个连续帧块，每个块的大小为50×50像素)。对于候选子序列中的每一帧处于第一阶段的贴标签为1，第二阶段的贴标签为2，第三个阶段的贴标签为3，第四阶段的贴标签为4，如图3所示。

其中，上述四个阶段具体为：

阶段1，细胞准备分裂。分裂的细胞在形态上会收缩，变圆；

阶段2，细胞开始分裂。相差显微镜下细胞边缘与内部区域的亮度对比呈现明显反差，周边光晕会变强；

阶段3，细胞形态会呈现“8”字形状；

阶段4，细胞分裂成两个完全相同的子细胞。

202：对候选子序列的每一帧图像分别提取CNN特征向量；

本发明实施例选取了经典的卷积神经网络特征(Convolutional NeuralNetwork，CNN)能够应对几何变换、形变、光照具有一定程度的不变性^[11]，且可以有效地描述每一帧图像的结构等信息，得到每一帧图像的512维CNN特征向量。

203：使用多种时间池化算子对提取的每帧的特征向量分别进行池化得到相应帧的时间参数向量，该时间参数向量表征了对象帧所包含的外观特征和时序信息；

受时间序列的启发，相邻帧之间至少存在一个相对的顺序约束，例如：时间约束，本发明实施例利用多种时间池化算子来捕捉序列的外观特征和时序信息。其中多种时间池化算子具体为：最大池化算子、平均池化算子、以及引入的时间梯度直方图池化算子。

对于一个序列X＝{x₁，x₂，...，x_t，...，x_n}由n帧连续图像组成，x_t∈R^D表示提取第t帧所得的CNN特征向量；D表示特征维数；R为实数。

最大池化算子表示为：

平均池化算子表示为：

分裂事件在分裂过程中随着时间隐含了剧烈的变化，为了更有效地表征对象帧所包含的时序信息，因此，在以上两种传统的池化算子的基础上，特地引入时间梯度直方图池化算子。

本发明实施例自行设计的时间梯度直方图池化算子具体为：

其中，p_t表示正梯度时间算子，n_t表示负梯度时间算子。

针对相邻帧之间存在时间约束的特点，本发明实施例将时间和梯度直方图结合在一起，从而将池化的结果与时间变量t直接建立了关系，表征相邻帧在时间维度上的变化，达到将研究点从帧内拓展到帧间的效果，使其有效地捕捉了分裂过程中随着时间发生的剧烈变化。

通过多种池化后得到相应帧的时间参数向量具体为：V_t＝[m_t,a_t,p_t,n_t]，其中，V_t表示第t帧的时间参数向量，m_t表示将最大池化算子应用于第t帧所得的CNN特征向量的结果；a_t表示将平均池化算子应用于第t帧所得的CNN特征向量的结果；p_t表示将正梯度时间算子应用于第t帧所得的CNN特征向量的结果；n_t表示将负梯度时间算子应用于第t帧所得的CNN特征向量的结果。

不同帧的时序信息是不一样的，因此不同帧能够得到不同的时间参数向量，这表示时间参数向量具有帧特异性，因此表征每帧的时间参数向量V_t能够表征候选序列中第t帧所包含的外观特征和时序信息。

204：在时间参数向量上训练线性SVM分类器来对候选子序列的每一帧的阶段标签进行分类，获得每个阶段的起始帧位置和帧数目；

对于候选子序列中的每一帧，都得到了其CNN特征，通过多种时间池化算子后得到相应帧的时间参数向量，再对每一帧的时间参数向量使用经典的SVM进行训练分类^[12]，得出候选子序列中每一帧所处的阶段，据此，得出候选子序列各个阶段的起始帧位置，每个阶段所包含的帧数信息。

205：如果候选子序列包括完整的四个阶段，则可判定该序列包含了一个分裂事件，得到最终的识别结果。

判断一个候选子序列为分裂事件的两个条件：

1)一个分裂事件必须包含完整的四个阶段；

2)对于一个分裂事件的四个阶段是按照第一阶段，第二阶段，第三阶段然后是第四阶段的先后顺序的。

只有同时满足这两个条件才能判定一个候选子序列包含了为一个完整的分裂事件。

综上所述，本发明实施例通过上述步骤201-步骤205提出了一种能够有效表征候选子序列中每一帧所包含的外观特征和时序信息的特征，完成了对候选序列中每一帧的阶段标签进行分类，提高了有丝分裂定位和识别的精度，降低了时间复杂度，简单高效并且易于实现。

实施例3

下面结合具体的实验数据对实施例1和2中的方案进行可行性验证，详见下文描述：

一、数据库

本实验使用的数据库为相差显微数据集C2C12。C2C12数据集的培养环境为DMEM(Dulbecco's Modified Eagle Medium)细胞培养基，添加10％牛胎儿血清、1％青霉素链霉素，环境温度保持37℃恒定，周围二氧化碳浓度为5％。使用蔡司透镜(型号为ZeissAxiovert 135TV倒置显微镜，5X，0.15N.A.)在干细胞体外培养的过程中每五分钟捕获一张细胞图像，每张图像大小为1392×1040像素，分辨率为1.3μm/pixel。C2C12中共有16个序列，其中每个序列都包含1013张图片。

获取图像之后，生物学研究者使用带有用户图形界面的标注工具在图像序列中手动标注细胞分裂事件。对于每个细胞分裂事件，标注者以两个子细胞间的边界清晰可见作为阶段3(分裂形成子细胞)的开始，标定这一边界中心位置。提取的候选子序列，类别共两类，正类和负类，正类为分裂事件，负类不是分裂事件。具体操作为：以标注位置为中心生成大小为50×50像素的图像块，以标注中心所在图像块为中心帧的连续23个图像块构成一个候选子序列，作为正类。在序列图像中进行随机撒种，生成和正例相同尺寸的候选子序列，从中挑选不包含分裂事件的候选子序列作为负类。最后，对于候选子序列中的正类，对其进行人工手动添加阶段标签(第一阶段标签为1，第二阶段标签为2，第三阶段标签为3，第4阶段标签为4)。

实验中使用序列2的501个正类作为训练集，序列1的452个正例和序列2的512个负类作为测试集。

二、评估标准

不失一般性的，采用查全率(Recall)、查准率(Precision)是评估有丝分裂定位和识别的性能的两个重要指标。在此基础上，定义了F₁score，其是Recall和Precision的加权调和平均，其越接近1则代表检测效果越好。

其中，TP代表正确识别的样本数，FN是漏检测的样本数，FP指错误识别的样本数。

三、对比算法

实验中将本方法的识别结果与以下三种方法进行对比，如表1所示：

EDCRF^[8](Event detection conditional random field)，又称“事件检测条件随机场”；

HCRF^[9](Hidden conditional random fields)，又称“基于隐条件随机场的分裂事件识别”；

HSCNF^[10](Cell type-independent mitosis event detection viahiddenstate conditional neural fields)，又称“基于隐状态条件随机场的分裂事件识别”。

表1

	Recall	Precision	F<sub>1</sub>score
				本方法	0.956	0.968	0.959
EDCRF	0.893	0.95	0.921
				HCRF	0.925	0.91	0.918
HSCNF	0.946	0.924	0.935

通过表1可知，本方法的识别性能明显高于其他算法。与其他算法相比，本方法提出了一种能够有效表征候选子序列中每一帧所包含的外观特征和时序信息的特征，可以有效地捕捉到细胞外形随时间的变化，完成了对候选序列中每一帧的阶段标签进行分类，提高了有丝分裂定位和识别的精度，降低了时间复杂度，简单高效并且易于实现。

参考文献：

[1]朱玉贤,李毅.现代分子生物学[M].北京：高等教育出版社,2012:39-45.

[2]COSATTO E，MILLER M，GRAF H P，et al.Grading nuclear pleomorphism onhistological micrographs[C]//Proc of the 19th International Conference onPattern Recognition.IEEE Press，2008:1-4.

[3]Bhaskar H,Singh S.Live cell imaging:a computational perspective[J].Journal of Real-Time Image Processing,2007,1(3):195-212.

[4]Choi,J.,Jeon,W.J.,Lee,S.-C.:Spatio-temporal pyramid matching forsports videos.In:Proceedings of the 1st ACM International Conference onMultimedia Information Retrieval,pp.291–297.ACM(2008).

[5]Gao,Y.,Zhang,H.,Zhao,X.,Yan,S.:Event classification in microblogsvia social tracking.ACM TIST 8(3),35:1–35:14(2017).

[6]Gao,Y.,Zhen,Y.,Li,H.,Chua,T.-S.:Filtering of brandrelatedmicroblogs using social-smooth multiview embedding.IEEE Trans.Multimed.18(10),2115–2126(2016).

[7]Gallardo G M,Yang F,Ianzini F,et al.Mitotic cell recognition withhidden Markov models[J].Proceedings of SPIE-The International Society forOptical Engineering,2004,5367:661-668.

[8]Huh S,Ker D F,Bise R,et al.Automated mitosis detection of stemcell populations in phase-contrast microscopy images.[J].Medical Imaging IEEETransactions on,2011,30(3):586.

[9]Liu A A,Li K,Kanade T.A Semi-Markov Model for Mitosis Segmentationin Time-Lapse Phase Contrast Microscopy Image Sequences of Stem CellPopulations[J].IEEE Transactions on Medical Imaging,2012,31(2):359-369.

[10]Su Y,Yu J,Liu A,et al.Cell type-independent mitosis eventdetection via hidden-state conditional neural fields[C]//IEEE,InternationalSymposium on Biomedical Imaging.IEEE,2014:222-225.

[11]Neubauer C.Evaluation of convolutional neural networks for visualrecognition.IEEE Transactions on Neural Networks,1998,9(4):685-696.

[12]Christopher M Bishop.Pattern Recognition and Machine Learning(Information Science and Statistics)[M].New York:Springer,2006.

本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要能完成上述功能的器件均可。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于混合时间池化算子的有丝分裂定位和识别的方法，其特征在于，所述方法包括：

对候选子序列的每一帧图像分别提取卷积神经网络特征向量；

使用最大池化算子、平均池化算子、以及时间梯度直方图池化算子对提取的每帧的特征向量分别进行池化，得到相应帧的时间参数向量，该由最大池化算子、平均池化算子、以及时间梯度直方图池化算子组成的时间参数向量表征了对象帧所包含的外观特征和时序信息；

在时间参数向量上训练线性SVM分类器来对候选子序列的每一帧的阶段标签进行分类，获得每个阶段的起始帧位置和帧数目；

如果候选子序列包括完整的四个阶段，则可判定该序列包含了一个分裂事件，得到最终的识别结果。

2.根据权利要求1所述的一种基于混合时间池化算子的有丝分裂定位和识别的方法，其特征在于，所述时间梯度直方图池化算子包括：正梯度时间算子、以及负梯度时间算子。

3.根据权利要求1所述的一种基于混合时间池化算子的有丝分裂定位和识别的方法，其特征在于，所述正梯度时间算子具体为：

其中，x_t∈R^D表示提取第t帧所得的CNN特征向量。

4.根据权利要求1所述的一种基于混合时间池化算子的有丝分裂定位和识别的方法，其特征在于，所述负梯度时间算子具体为：

其中，x_t∈R^D表示提取第t帧所得的CNN特征向量。

5.根据权利要求2所述的一种基于混合时间池化算子的有丝分裂定位和识别的方法，其特征在于，所述由最大池化算子、平均池化算子、以及时间梯度直方图池化算子组成的时间参数向量具体为：

V_t＝[m_t,a_t,p_t,n_t]

其中，V_t表示第t帧的时间参数向量，m_t表示将最大池化算子应用于第t帧所得的CNN特征向量的结果；a_t表示将平均池化算子应用于第t帧所得的CNN特征向量的结果；p_t表示将正梯度时间算子应用于第t帧所得的CNN特征向量的结果；n_t表示将负梯度时间算子应用于第t帧所得的CNN特征向量的结果。

6.根据权利要求1所述的一种基于混合时间池化算子的有丝分裂定位和识别的方法，其特征在于，所述方法还包括：采集细胞候选子序列，所有的候选子序列构成样本数据库。

7.根据权利要求6所述的一种基于混合时间池化算子的有丝分裂定位和识别的方法，其特征在于，所述采集细胞候选子序列具体为：

采集的细胞图像利用基于成像模型的显微图像分割方法和三维种域生长方法来提取细胞候选子序列。