CN106845157A - 一种基于支持向量机排序的有丝分裂事件识别方法 - Google Patents

Abstract

本发明公开了一种基于支持向量机排序的有丝分裂事件识别方法，包括：对候选子序列的每一帧图像提取视觉特征向量，并对提取的视觉特征进行池化，以捕捉序列的外观信息；对得到的外观信息，利用基于支持向量机排序方法，将学习到的排序函数的参数向量作为整个序列的特征向量，以捕捉序列范围内随时间的外观演化信息；在新特征上训练支持向量机分类器，对候选子序列进行分类，得到最终的识别结果。本发明避免了训练隐含时序模型的过程，将一个排序函数学到参数作为序列特征向量，该向量能很好地捕捉序列整个的外观特征和序列在时间上的演化信息，不但大提高了识别的准确率，而且简单高效，易于实现。

Description

一种基于支持向量机排序的有丝分裂事件识别方法

技术领域

本发明涉及细胞有丝分裂事件检测领域，尤其涉及一种基于支持向量机排序(SVM-rank)的有丝分裂事件识别方法。

背景技术

细胞增殖行为的研究，在药物发现、干细胞制造和组织工程等许多生物医学应用中的重要性日益凸显。对于短期小规模的研究，可以通过人工标定的方法来实现分裂事件的识别，但是随着细胞工程的深入开展，细胞体外培养的群落规模不断扩大，培养时间逐渐变长，这时，就不得不针对采集的包含大量细胞复杂群体运动的图像数据，采用计算机自动、准确地识别细胞分裂事件。

目前，细胞分裂事件识别的方法通常分为三类：基于特征的方法、基于轨迹的方法和基于图模型的方法。基于特征的方法通过对图像序列的处理提取局部特征直接检测细胞分裂状态，把细胞分裂事件当成时空域中一个局部事件来进行检测，应用级联分类器对三维Haar-like特征描述的图像序列所构成的体积滑动窗口进行分类^[1]，这种方法只需用一个训练好的分类器对所有图像序列顺序扫描就可得到图像序列中所有发生分裂的细胞，却依赖于大量的训练数据且忽略了序列动态特征。

基于轨迹的方法通常依赖于细胞跟踪，在跟踪得到细胞轨迹的基础上，根据分裂过程中的细胞形态变化或是母细胞与子细胞之间的帧关系，利用预定义的规则鉴别出发生分裂的细胞，这也是目前细胞分类识别中最为常用的方法，比如将Camshift算法与活动轮廓模型结合，完成细胞追踪并获取细胞准确的位置和形状信息，进而识别细胞分裂事件^[2]，但是在基于轨迹的方法中，对于细胞分裂的识别只是细胞跟踪的副产品，因而细胞跟踪的好坏将很大程度上影响细胞分裂的识别结果，而且细胞分裂事件的发生是一个稀疏而分散的过程，通过逐帧跟踪细胞来研究细胞分裂会导致非常高的计算成本。

基于图模型的方法减轻了跟踪方法的负担，可以通过图模型的学习直接完成细胞分裂的识别，利用事件检测条件随机场(the Event-Detection Conditional RandomField EDCRF)模型来对有丝分裂事件进行同步检测和识别^[3]，但是图模型方法需要训练隐含时序动态信息的模型，效率不高。

细胞分裂事件的识别当前主要存在的问题是：

不同种类细胞的个体或群体性差异，以及不同显微镜下所得到的细胞图像的模式差异，使得细胞通常呈现不同的外观且在分裂过程中会发生剧烈的形态学变化，但当前的底层视觉特征并不能够有效描述细胞间的这些差异，并且特征描述和模型学习都是单独进行的，对视觉特征和模型的适应性并未做过多的研究。

发明内容

本发明提供了一种基于SVM-rank的有丝分裂事件识别方法，本发明避免了训练隐含时序模型的过程，通过将一个排序函数学到的参数作为序列的特征向量，该向量能很好地捕捉序列整个的外观特征和序列在时间上的时序变化信息，不但大大提高了识别的准确率，而且简单高效，易于实现，详见下文描述：

一种基于支持向量机排序的有丝分裂事件识别方法，所述有丝分裂事件识别方法包括以下步骤：

对输入的细胞图像利用基于成像模型的显微图像分割方法和三维种域生长方法来提取候选子序列；

对候选子序列的每一帧图像提取特征向量，使用了HoG、SIFT和Gist三种特征，将提取的向量串起来作为候选子序列的视觉特征，并对提取的视觉特征进行池化，以捕捉序列的外观信息；

对得到的外观信息，利用基于支持向量机排序方法，将学习到的排序函数的参数向量作为整个序列的特征向量，以捕捉序列范围内随时间的外观演化信息；

在新特征上训练支持向量机分类器，对候选子序列进行分类，得到最终的识别结果。

本发明提供的技术方案的有益效果是：

1、本发明避免了训练隐含时序模型的过程，通过将一个排序函数学到的参数作为序列的特征向量，该向量能很好地捕捉序列整个的外观特征和序列在时间上的演化信息；

2、不但大大提高了识别的准确率，而且简单高效，易于实现。

附图说明

图1为基于SVM-rank的有丝分裂事件识别方法的流程图；

图2为候选子序列典型样例的示意图；

(a)为正例的示意图，(b)为负例的示意图。

图3为平均池化对视觉特征的作用效果的示意图；

(a)为初始视觉特征的示意图，(b)为经过平均池化处理后的特征的示意图。

图4为通过SVM-rank计算序列特征的示意图；

图5为负例和正例的特征向量对比的示意图。

(a)为负例的特征的示意图，(b)为正例的特征的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

实施例1

为了解决以上问题，需要提出能够有效表征细胞分裂中的外观、以及外观随着时间的演化信息的特征，准确、高效地对分裂事件进行建模。通过对视觉特征进行池化能够有效捕捉细胞分裂的外观特征，然后通过排序学习可以很好地对外观随时间的演化过程进行基于序列的建模^[4]。本发明实施例提出了基于SVM-rank的有丝分裂事件识别方法，参见图1，该方法包括以下步骤：

101：对输入的细胞图像利用基于成像模型的显微图像分割方法和三维种域生长方法来提取候选子序列；

102：对候选子序列的每一帧图像提取特征向量，使用了HoG、SIFT和Gist三种特征，将提取的向量串起来作为候选子序列的视觉特征，并对提取的视觉特征进行池化，以捕捉序列的外观信息；

103：对得到的外观信息，利用基于支持向量机排序方法，将学习到的排序函数的参数向量作为整个序列的特征向量，以捕捉序列范围内随时间的外观演化信息；

104：在新特征上训练支持向量机分类器，对候选子序列进行分类，得到最终的识别结果。

综上所述，本发明实施例通过平均池化视觉特征来捕捉图像序列的外观信息，利用SVM-rank的方法将排序函数的参数作为序列的特征，不但保留了序列的外观特征还很好地捕捉到了序列随时间的外观演变信息，方法简单，高效，易于实现，而且大大提高了识别的准确率。

实施例2

下面结合具体的计算公式、附图对实施例1中的方案进行详细介绍，详见下文描述：

201：对采集的细胞图像利用基于成像模型的显微图像分割方法和三维种域生长方法^[5]来提取候选子序列；

其中，基于成像模型的显微图像分割方法，能够有效的消除晕轮，遮蔽伪影，选择性增强有丝分裂细胞，并恢复无伪影图像。三维种域生长方法用来提取可能含有分裂事件的时空子域，这使得搜索空间从整个图像序列缩小到了候选子序列。

为了便于实验的进行和比较，本发明实施例提取的候选子序列大小都为50×50×23(每个序列包含23个连续帧块，每个块的大小为50×50像素)。本发明实施例称含有分裂事件的候选子序列为正例，否则为负例，如图2所示。

202：将每个候选子序列中的一个块转换成一个特征向量，反映了相差图像中有丝分裂的视觉特征；

本发明实施例选用了方向梯度直方图特征(Histogram of Oriented Gradients，HOG)能够捕获局部形状的边缘或梯度结构特征，把每个图像块分割为8×8像素的单元，把梯度方向平均划分为9个区间，在每个单元格里面对所有像素的梯度方向在各个方向区间进行直方图统计，得到一个9维的特征向量，每相邻的4个单元构成一个块(16×16像素)，把一个块内的特征向量串联起来得到36维的特征向量，用块样本对图像块(50×50像素)进行扫描，扫描步长为8个单元，那么水平和垂直方向的扫描窗口都为5，这样得到图像的900维HOG特征向量。

尺度不变特征(Scale Invariant Feature Transform，SIFT)在图像局部特征点提取之后，利用梯度统计直方图描述图像的局部纹理特征和形状，得到图像的Sift特征，能够充分反映特征点附近的局部图像信息。

提取SIFT特征先要对给定图像构建其DoG尺度空间，接着在DoG尺度空间的结果图像上提取特征点，将坐标轴旋转为特征点的主方向以保证旋转不变性，接下来以特征点为中心取16×16的邻域作为采样窗口，将采样窗口分成4×4＝16个4×4大小的小块，并对每个小块统计8个方向的梯度方向直方图，即得到一个8维的向量，最后将这16个8维的向量组成一个128维的向量，即为该特征点的Sift描述子。

其中，Gist特征，包括视觉对场景在所有层次上的处理过程，即从颜色、空间范围等低层特征，到表面积、体积等中层图像属性，再到目标属性、语义描述等高层知识，它的提取过程避免了对单个目标或区域进行分割等处理，是一种基于场景全局语义特征的描述符，聚合了多尺度面向边缘响应的图像空间特征。提取图像的Gist特征首先需创建Gabor滤波器组，接着完成图像锐化处理，随后利用不用方向和空间分辨率的Gabor滤波器对图像进行滤波(卷积操作)，最后得到图像的Gist特征。

本发明实施例在对图像序列提取Gist特征的过程中，创建尺度为3，方向数为8、8、4的20个滤波器构成的Gabor滤波器组，将滤波后的图像分成3×3的网格，在各方向、各尺度的每个网格内取均值放在一个向量中，得到图像的180维Gist特征向量。

203：利用时间均值变量(即平均池化)捕捉序列的外观演变信息；

受时间序列的启发，本发明实施例利用时间均值变量(即平均池化)来捕捉序列的外观演变信息。对于一个序列X＝{x₁,x₂,...,x_t,...,x_n}由n帧连续图像块组成，x_t∈R^D表示从第t帧图像块所提取的视觉特征向量；D为特征维数；R为实数。那么序列在时间t的均值向量可以表示为：

那么，v_t捕获了单位均值向量的方向矢量：

因此，本发明实施例定义了一个时间变量t上的矢量值函数，V:t→v_t。

204：对得到的外观信息，利用SVM-rank方法，将学习到的排序函数的参数向量作为整个序列的特征向量，以捕捉序列范围内随时间的外观演化信息；

由上面的过程可以看出，v_t捕捉了序列的外观和运动信息，并且仅间接地和时间变量t相关。为了直观地观察矢量值函数如何影响视觉特征，图3(a)表示了初始视觉特征x_t随时间t的变化过程，(b)表示了时间均值变量v_t随时间t的变化过程。

既然v_t+1是通过v_t得来的，那么它们之间必然存在一个相对的顺序约束，由此本发明实施例可以得到：本发明实施例按照成对线性排序机来对这种顺序约束建模，定义一个由参数u表征的线性函数：

ψ(v；u)＝u^T.v

其中，ψ(v；u)为线性分类函数；v为对视觉特征进行池化处理所得的特征。

通过排序问题的优化学习来计算参数u，使得u满足t_i,t_j分别为图像块序列中的第t_i,t_j块；为对前t_i个视觉特征向量进行池化处理所得的特征向量；为对前t_j个视觉特征向量进行池化处理所得的特征向量。利用SVM-rank^[6]来学习排序问题，使其满足最大间隔，同时避免过拟合，那么可以得到下面的优化问题：

σ_ij≥0

其中，C是一个参数，控制目标函数中两项(“寻找间隔最大的超平面”和“保证数据点偏差量最小”)之间的权重；σ_ij为松弛变量，对应数据点允许偏离的函数间隔的量。

将学习到的最优参数u作为序列的特征，由于排序函数ψ对时间均值向量v(表示了序列的外观特征)作了排序，因此u能够捕捉到序列的外观时序动态信息。不同序列随着时间的外观演化信息是不一样的，因此不同的序列能够得到不同排序函数，这表示排序函数具有序列特异性，因此表征排序函数的参数u能够表征序列的时序动态信息。

图4给出了(a)一个负例的特征u和(b)一个正例的特征u。除了捕捉序列的线性时序动态信息，可以通过对V上的每个v_t进行非线性映射(这里使用卡方核映射)来捕捉序列的非线性时序动态信息。考虑了前向流的相对顺序，同时也应该考虑后向流的相对顺序，这里将只考虑前向流的SVM-rank捕捉序列线性外观时序动态信息的过程简称为FDSE，非线性的简称为NL-FDSE，将只考虑后向流的分别简称为RDSE，NL-RDSE，将既考虑前向流又考虑后向流的简称为RFDSE,NL-RFDSE，图5描述了利用SVM-rank来提取特征u的过程。

参数u的学习过程：

令对应的优化问题可以改写为：

s.t.u^T·a_t≥1-σ_t

σ_t≥0

其中，σ_t为松弛变量，对应数据点a_t允许偏离的函数间隔的量。

由于目标函数是凸函数，因此满足KKT(库恩-塔克)条件，引入拉格朗日乘子法：

其中，α_t，β_t为拉格朗日乘子。

通过求导寻找最优解：

将u和β_t带回拉格朗日函数L(u,α,β)得到：

其中，α是因变量。

根据对偶理论，初始的优化问题重构为：

s.t.α_t≥0

最后，利用SMO(序列最小优化)算法便可以得到最优参数u^*。

205：在新特征上训练SVM分类器，对候选子序列进行分类，得到最终的识别结果。

既然候选子序列可以用特征u来表征，候选训练集可以表示为S_train＝{u_i,yi},i＝1,...,N。候选测试集可以表示为S_test＝{u_i,y_j},j＝1,...,M，M,N分别表示训练集和测试集的候选子序列数目，y∈{0,1}，“0”表示“不包含分裂事件”，“1”表示包含分类事件。通过在S_train上训练SVM分类器来完成S_test的分类。

综上所述，本发明实施例通过平均池化视觉特征来捕捉图像序列的外观信息，利用SVM-rank的方法将排序函数的参数作为序列的特征，不但保留了序列的外观特征还很好地捕捉到了序列随时间的外观演变信息，方法简单，高效，易于实现，而且大大提高了识别的准确率。

实施例3

下面结合具体的实验数据、附图对实施例1和2中的方案进行可行性验证，详见下文描述：

本实验使用的数据库为相差显微数据集C2C12。C2C12数据集的培养环境为DMEM细胞培养基，添加10％牛胎儿血清、1％青霉素链霉素，环境温度保持37℃恒定，周围二氧化碳浓度为5％。使用蔡司透镜(型号为Zeiss Axiovert 135TV倒置显微镜，5X，0.15N.A.)在干细胞体外培养的过程中每五分钟捕获一张细胞图像，每张图像大小为1392×1040像素，分辨率为1.3μm/pixel。C2C12中每个序列包含1013张图片。

获取图像之后，生物学研究者使用带有用户图形界面的标注工具在图像序列中手动标注细胞分裂事件。对于每个细胞分裂事件，标注者以两个子细胞间的边界清晰可见作为阶段3(分裂形成子细胞)的开始，标定这一边界中心位置。以标注位置为中心生成大小为50×50像素的图像块，以标注中心所在图像块为中心帧的连续23个图像块构成一个候选子序列，作为正例。在序列图像中进行随机撒种，生成和正例相同尺寸的候选子序列，从中挑选不包含分裂事件的候选子序列作为负例。本发明实施例的实验中使用序列1作为测试集，包含452个正例，512个负例，使用序列2作为训练集，包含501个正例，512个负例。

计算判对的正例(true positive,TP)，判对的负例(true negative,TN)，判错的正例(false positive,FP)，判错的负例(false negative,FN)四个量，然后依此计算：

三个定量指标来评估对分裂事件的识别性能，其中Precision是查准率，Recall是查全率，F₁score是Precision和Recall的加权调和平均。

实验中将RFDSE,NL-RFDSE与以下三种方法进行对比的结果如表1所示：

表1

HCRF^[7](Hidden conditional random fields)，又称“基于隐条件随机场的分裂事件识别”；

HSCNF^[8](Cell type-independent mitosis event detection via hidden-state conditional neural fields)，又称“基于隐状态条件随机场的分裂事件识别”。

EDCRF^[9](Event detection conditional random field)，又称“事件检测条件随机场”。

由图(3)可以很明显地观察到对视觉特征进行平均池化，可以大大降低噪音，这可以极大地帮助捕捉序列的外观演变信息，并更好的帮助学习排序。

由图(5)，由SVM-rank得到的特征能够很好地区分正例和负例，正例的特征呈现趋于直线的变化，负例的特征变化较为平缓。

综上所示，本发明实施例提出了一个能够有效捕捉序列的外观演变信息的特征，并且可以避免训练隐含时序动态信息的模型，给出了一个有效的细胞分裂事件识别方案。通过和其它方法的实验结果比较，本方法不仅简单，高效而且有效地提高了分裂事件的识别准确率。

参考文献：

[1]Li K,Miller E D,Chen M,et al.Computer vision tracking of stemness.[J].Proc.ieee Int.symp.biomed.imaging,2008:847-850.

[2]刘宁夏，丁显廷，孙明竹，等，基于Camshift与活动轮廓模型的细胞追踪方法，Proceeding of the 31st Chinese Control Conference,Hefei,China,July 25-27,2012:3656-3661.

[3]Huh S,Ker D F,Bise R,et al.Automated mitosis detection of stemcell populations in phase-contrast microscopy images.[J].IEEE Transactions onMedical Imaging,2011,30(3):586-96.

[4]Fernando B,Gavves E,Oramas M J,et al.Modeling video evolution foraction recognition[C]//CVPR.2015:5378-5387.

[5]Liu A A,Li K,Kanade T.A semi-Markov model for mitosis segmentationin time-lapse phase contrast microscopy image sequences of stem cellpopulations.[J].IEEE Transactions on Medical Imaging,2012,31(2):359-69.

[6]Joachims T.Training linear SVMs in linear time[C]//Twelfth ACMSIGKDD International Conference on Knowledge Discovery and Data Mining,Philadelphia,Pa,Usa,August.2015:217-226.

[7]Quattoni A,Wang S,Morency L P,et al.Hidden conditional randomfields.[J].IEEE Transactions on Pattern Analysis&Machine Intelligence,2007,29(10):1848-53.

[8]Su Y,Yu J,Liu A,et al.Cell type-independent mitosis eventdetection via hidden-state conditional neural fields[C]//IEEE,InternationalSymposium on Biomedical Imaging.2014:222-225.

[9]Huh S,Ker D F,Bise R,et al.Automated mitosis detection of stemcell populations in phase-contrast microscopy images.[J].IEEE Transactions onMedical Imaging,2011,30(3):586-96.

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于支持向量机排序的有丝分裂事件识别方法，其特征在于，所述有丝分裂事件识别方法包括以下步骤：

对输入的细胞图像利用基于成像模型的显微图像分割方法和三维种域生长方法来提取候选子序列；

对候选子序列的每一帧图像提取特征向量，使用了HoG、SIFT和Gist三种特征，将提取的向量串起来作为候选子序列的视觉特征，并对提取的视觉特征进行池化，以捕捉序列的外观信息；

对得到的外观信息，利用基于支持向量机排序方法，将学习到的排序函数的参数向量作为整个序列的特征向量，以捕捉序列范围内随时间的外观演化信息；

在新特征上训练支持向量机分类器，对候选子序列进行分类，得到最终的识别结果。

2.根据权利要求1所述的一种基于支持向量机排序的有丝分裂事件识别方法，其特征在于，对得到的外观信息，利用基于支持向量机排序方法，将学习到的排序函数的参数向量作为整个序列的特征向量，以捕捉序列范围内随时间的外观演化信息的步骤具体为：

将学习到的最优参数u作为序列的特征，用于表征序列的时序动态信息；

参数u的学习过程：

令对应的优化问题为：

$\arg \underset{u}{min}\frac{1}{2}\left|\right|u|{|}^2+C\underset{t}{\Σ}{\mathrm{\σ}}_t$

s.t.u^T·a_t≥1-σ_t

σ_t≥0

其中，σ_t为松弛变量，对应a_t允许偏离的函数间隔的量；

通过求导寻找最优解：

$\left\{\begin{array}{c}\frac{\∂L}{\∂u}=u-\underset{t}{\Σ}{\mathrm{\α}}_t{a}_t=0\⇒u=\underset{t}{\Σ}{\mathrm{\α}}_t{a}_t\\ \frac{\∂L}{\∂\mathrm{\σ}}=C-{\mathrm{\α}}_t-{\mathrm{\β}}_t=0\⇒{\mathrm{\β}}_t=C-{\mathrm{\α}}_t\end{array}\right.$

其中，α_t，β_t为拉格朗日乘子，将u和β_t带回拉格朗日函数L(u,α,β)得到：

$U\left(\mathrm{\α}\right)=-\frac{1}{2}\left(\underset{t,j}{\Σ}{\mathrm{\α}}_t{\mathrm{\α}}_j{a}_t{a}_j\right)+\underset{t}{\Σ}{\mathrm{\α}}_t$

其中，α是因变量；

根据对偶理论，初始的优化问题重构为：

$u^{*}=\arg \underset{\mathrm{\α},a}{min}-\frac{1}{2}\underset{t,j}{\Σ}{\mathrm{\α}}_t{\mathrm{\α}}_j{a}_t{a}_j+\underset{t}{\Σ}{\mathrm{\α}}_t$

s.t.α_t≥0

$\underset{t}{\Σ}{\mathrm{\α}}_t{a}_t=0$

最后，利用SMO算法便得到最优参数u^*。