CN107194319A - 基于支持向量机排序的有丝分裂定位和识别的方法 - Google Patents

Abstract

本发明公开了一种基于支持向量机排序的有丝分裂定位和识别的方法，包括：对候选子序列的每一帧图像分别提取HOG、SIFT以及Gist三种视觉特征向量，将提取的视觉特征向量串联作为候选子序列的视觉特征；对视觉特征利用SVM‑rank方法，将学习到的排序函数的参数向量作为对象帧特征向量；将整合后的具有时序性的特征向量作为图像序列每一帧特征，该特征表征了对象帧所包含的时序信息；在排序的特征向量上训练线性SVM分类器来预测每一帧的阶段标签，获取每个阶段的起始帧位置、以及帧数目；若某序列包含完整的四个阶段，并且满足四个阶段间的顺序信息，那么该序列包含了一个分裂事件。本方法提高了识别的准确率。

Description

基于支持向量机排序的有丝分裂定位和识别的方法

技术领域

本发明涉及有丝分裂事件检测领域，尤其涉及一种基于支持向量机排序的有丝分裂定位和识别的方法。

背景技术

细胞作为生命体最基本的结构和功能单元，其增殖行为一直是生物医学领域各专业(分子生物学、遗传学、肿瘤生物学、免疫学、药理和药代动力学)的研究热点。细胞增殖是生物体的重要生命特征，细胞增殖是生物体生长、发育、繁殖和遗传的基础，细胞以分裂的方式进行增殖。细胞分裂是一个细胞分裂为两个细胞的过程，分裂前的细胞称母细胞，分裂后的细胞称子细胞，无论是单细胞的生物还是多细胞的生物，每个细胞都必须进行生长和分裂，通过分裂将复制的遗传物质均等地分配到两个子细胞中，保证了遗传物质的稳定。

对细胞增殖行为的研究必须在活细胞水平上进行，常用的细胞活性的判别方法有两种：一种是利用变色的生化反应的可定量检测；另一种是根据显微图像由试验人员做定性估量^[1]。随着现代光学显微镜技术，光电转化技术以及现代计算机图像处理技术等多学科的发展，诞生了细胞显微图像分析技术。显微图像分析是指利用数字图像处理和机器学习技术对显微细胞图像进行定量分析和病变诊断^[2]。准确地识别和定位细胞分裂事件是进行细胞增殖行为研究的基础。细胞增殖研究初期的细胞群落规模小，培养周期短，通过人工标定的方法就可以完成对细胞分裂事件的检测和定位，但是随着研究的深入，细胞体外培养的群落规模不断增大，培养时间逐渐变长，采用人工标定的方法便显得费时费力，此时，利用显微图像分析技术通过计算机来自动，准确地完成对细胞分裂事件的识别就显得尤为重要了。

处于分裂期的细胞具有显著的形态特征，细胞的形态特征最直观地反映了细胞分裂所处的不同生命周期，并展现出明显的四个阶段^[3]：第一阶段，分裂的细胞在形态上会收缩，变圆；第二阶段，相差显微镜下细胞边缘与内部区域的亮度对比呈现明显反差，周边光晕会变强；第三阶段，细胞形态会呈现“8”字形状；第四阶段，细胞分裂成两个完全相同的子细胞。对细胞分裂事件的识别就是通过细胞连续时间内的显著性特征，来识别细胞分裂事件。显微图像序列中有丝分裂事件的识别方法通常分为两类：基于局部显著性的方法和基于时间上下文的方法。

常用的基于局部显著性的方法有，利用环形检测器来定位母细胞和两个子细胞^[4]；通过细胞核的形状和纹理特征来对细胞分裂阶段进行识别；或者把细胞分裂事件当成时空域中一个局部事件来进行检测，应用级联分类器对三维Haar-like特征描述的图像序列所构成的体积滑动窗口进行分类^[5]，这种基于局部显著特征的方法只需用一个训练好的分类器对所有图像序列顺序扫描就可得到图像序列中所有发生分裂的细胞，但是这类方法依赖大量的训练数据并且忽略了序列的时序动态特征。

为了克服上述方法的缺点，提出了基于时间上下文的方法来提取细胞轨迹并且利用预定义的规则鉴别出发生分裂的细胞。常用的基于时间上下文的方法有，利用显微图像预处理和体积分割方法来定位输入图像序列中潜在发生有丝分裂的时空子域，提取候选子序列，基于细胞形状和外观特征的时间模式，通过隐马尔可夫模型(the Hidden MarkovModel,HMM)来对候选序列进行分类^[6]；在此基础之上，为了实现对有丝分裂事件的识别，已经对有丝分裂事件的时序动态建模做了很多工作，其中包括，利用事件检测条件随机场(the Event-Detection Conditional Random Field,EDCRF)模型来对有丝分裂事件进行同步检测和识别^[7]；通过整合最大边缘隐条件随机场(the Hidden Conditional RandomField,HCRF)和最大边缘半马尔可夫模型以优化分类结果，并进一步定位在有丝分裂过程中的四个显著阶段^[3]；利用隐条件随机场(the Hidden Conditional Random Field,HCRF)分类器来判断每个候选子序列是否包含有丝分裂事件^[8]；以及新近提出的通过训练隐状态条件神经场(the Hidden State Conditional Neural Field,HSCNF)分类器来完成对候选子序列的分类^[9]，并取得了相当好的效果。上面提出的这些方法都是通过每帧图像上的细胞形状和外貌特征，来训练隐含时序动态信息的模型以捕捉事件的发生和事件在持续时间内的演变情况，但是分裂事件在分裂过程中隐含了剧烈的变化，通过分类器来捕捉这些变化，大大降低了潜在时序模型的性能。

细胞分裂事件的识别当前主要存在的问题是：

不同类型的细胞通常呈现不同的外观且在分裂过程中会发生剧烈的形态学变化，但当前的底层视觉特征并不能够有效描述细胞间的这些差异，目前特征描述和模型学习都是单独进行的，对视觉特征和模型的适应性并未做过多的研究，而且鲜有学者提出对细胞分裂的各个阶段进行定位的方法。

发明内容

本发明提供了一种基于支持向量机排序的有丝分裂定位和识别的方法，本发明避免了训练隐含时序模型的过程，提出了一种能够有效表征候选子序列中每一帧所包含的外观特征和时序特征，提高了识别的准确率，详见下文描述：

一种基于支持向量机排序的有丝分裂定位和识别的方法，所述方法包括以下步骤：

对候选子序列的每一帧图像分别提取HOG、SIFT以及Gist三种视觉特征向量，将提取的视觉特征向量串联作为候选子序列的视觉特征；

对视觉特征利用SVM-rank方法，将学习到的排序函数的参数向量作为对象帧特征向量；

将整合后的具有时序性的特征向量作为图像序列每一帧特征，该特征表征了对象帧所包含的时序信息；

在排序的特征向量上训练线性SVM分类器来预测每一帧的阶段标签，获取每个阶段的起始帧位置、以及帧数目；

若某序列包含完整的四个阶段，并且满足四个阶段间的顺序信息，那么该序列包含了一个分裂事件。

所述方法还包括：

对采集的细胞图像利用基于成像模型的显微图像分割方法和三维种域生长方法提取候选子序列。

所述整合具体为：

通过训练一个线性排序机，将图像序列中每一帧所包含的历史时序特征做整合。

所述对视觉特征利用SVM-rank方法，将学习到的排序函数的参数向量作为对象帧特征向量的步骤具体为：

将学习到的最优参数u_t作为候选子序列中第t帧的特征，用于表征第t帧所包含的时序信息。

本发明提供的技术方案的有益效果是：

1、通过将一个排序函数学到的参数作为对象帧的特征向量，该向量能很好地捕捉该帧所包含的外观特征和时序特征；

2、完成了对候选序列中每一帧的阶段性定位；

3、提高了识别的准确率，简单高效并且易于实现。

附图说明

图1为一种基于支持向量机排序的有丝分裂定位和识别的方法的流程图；

图2为一个候选序列的识别框架；

图3为一个贴有阶段标签的候选子序列样例；

图4为利用SVM-rank计算候选序列中每一帧特征的框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

为了解决以上问题，需要提出一种新的特征(利用SVM-rank)，其能够有效表征候选子序列中每一帧所包含的外观特征和时序信息，再对新特征进行建模，以准确判定候选子序列中每一帧所处的阶段，结合有丝分裂的阶段性特征，便可实现对有丝分裂事件的识别。

实施例1

本发明实施例提出了一种基于支持向量机排序的有丝分裂定位和识别的方法，参见图1和图2，详见下文描述：

101：对候选子序列的每一帧图像分别提取HOG、SIFT以及Gist三种视觉特征向量，将提取的视觉特征向量串联作为候选子序列的视觉特征；

102：对视觉特征利用SVM-rank方法，将学习到的排序函数的参数向量作为对象帧特征向量；

103：将整合后的具有时序性的特征向量作为图像序列每一帧特征，该特征表征了对象帧所包含的时序信息；

104：在排序的特征向量上训练线性SVM分类器来预测每一帧的阶段标签，获取每个阶段的起始帧位置、以及帧数目；

105：若某序列包含完整的四个阶段，并且满足四个阶段间的顺序信息，那么该序列包含了一个分裂事件。

其中，上述四个阶段具体为：第一阶段，分裂的细胞在形态上会收缩，变圆；第二阶段，相差显微镜下细胞边缘与内部区域的亮度对比呈现明显反差，周边光晕会变强；第三阶段，细胞形态会呈现“8”字形状；第四阶段，细胞分裂成两个完全相同的子细胞。

综上所述，本发明实施例通过上述步骤101-步骤105提出了一种能够有效表征候选子序列中每一帧所包含的外观特征和时序特征的方法，不但简单高效，易于实现，而且在完成了对候选序列的阶段性定位的同时，提高了识别的准确率。

实施例2

下面结合具体的实例对实施例1中的方案进行进一步地介绍，详见下文描述：

201：对采集的细胞图像利用基于成像模型的显微图像分割方法和三维种域生长方法^[3]来提取候选子序列；

其中，基于成像模型的显微图像分割方法，能够有效的消除晕轮，遮蔽伪影，选择性增强有丝分裂细胞，并恢复无伪影图像。

三维种域生长方法用来提取可能含有分裂事件的时空子域，这使得搜索空间从整个图像序列缩小到了候选子序列。

为了便于实验的进行和比较，本发明实施例提取的候选子序列大小都为50×50×23(每个序列包含23个连续帧块，每个块的大小为50×50像素)。对于候选子序列中的每一帧处于第一阶段的贴标签为1，第二阶段的贴标签为2，第三个阶段的贴标签为3，第四阶段的贴标签为4，如图3所示。

202：对候选子序列的每一帧图像分别提取HOG、SIFT以及Gist三种视觉特征向量，将提取的视觉特征向量串联作为候选子序列的视觉特征；

将每个候选序列中的一个块转换成一个特征向量，反映了相差图像中有丝分裂的视觉特征。本发明实施例选用了方向梯度直方图特征(Histogram of OrientedGradients，HOG)能够捕获局部形状的边缘或梯度结构特征，把每个图像块分割为8×8像素的单元，把梯度方向平均划分为9个区间，在每个单元格里面对所有像素的梯度方向在各个方向区间进行直方图统计，得到一个9维的特征向量，每相邻的4个单元构成一个块(16×16像素)，把一个块内的特征向量串联起来得到36维的特征向量，用块样本对图像块(50×50像素)进行扫描，扫描步长为8个单元，那么水平和垂直方向的扫描窗口都为5，这样得到图像的900维HOG特征向量。

尺度不变特征(Scale Invariant Feature Transform，SIFT)在图像局部特征点提取之后，利用梯度统计直方图描述图像的局部纹理特征和形状，得到图像的Sift特征，能够充分反映特征点附近的局部图像信息。

提取SIFT特征先要对给定图像构建其DoG(Difference of Gaussian)尺度空间，接着在DoG尺度空间的结果图像上提取特征点，将坐标轴旋转为特征点的主方向以保证旋转不变性，接下来以特征点为中心取16×16的邻域作为采样窗口，将采样窗口分成4×4＝16个4×4大小的小块，并对每个小块统计8个方向的梯度方向直方图，即得到一个8维的向量，最后将这16个8维的向量组成一个128维的向量，即为该特征点的Sift描述子。

Gist特征，包括视觉对场景在所有层次上的处理过程，即从颜色、空间范围等低层特征，到表面积、体积等中层图像属性，再到目标属性、语义描述等高层知识，它的提取过程避免了对单个目标或区域进行分割等处理，是一种基于场景全局语义特征的描述符，聚合了多尺度面向边缘响应的图像空间特征。提取图像的Gist特征首先需创建Gabor滤波器组，接着完成图像锐化处理，随后利用不同方向和空间分辨率的Gabor滤波器对图像进行滤波(卷积操作)，最后得到图像的Gist特征。本发明实施例在对图像序列提取Gist特征的过程中，创建尺度为3方向数为8、8、4的20个滤波器构成的Gabor滤波器组，将滤波后的图像分成3×3的网格，在各方向、各尺度的每个网格内取均值放在一个向量中，得到图像的180维Gist特征向量。

203：对包括对象帧及其以前的所有帧，利用SVM-rank方法，将学习到的排序函数的参数向量作为对象帧的特征向量，该向量有效表征了对象帧所包含的时序信息；

对于一个序列X＝{x₁,x₂,...,x_t,...,x_n}由n帧连续图像块组成，x_t∈R^D表示从第t帧图像块所提取的视觉特征向量，R为实数，D为特征维度。受时间序列的启发，相邻帧之间必然存在一个相对的顺序约束(至少是时间约束)，由此可以得到：v_t＞…v_p…＞v₁，v₁、v_p、v_t满足时间节点(1＜p＜t)。

按照成对线性排序机来对这种顺序约束建模，定义一个由参数u_t表征的线性函数：

ψ(v；u_t)＝u_t ^T.v

其中，u_t为时间t内的时序特征；v为1:t的视觉特征；T表示转置。

通过排序问题的优化学习来计算参数u_t，使得u_t满足

其中，t_i,t_j分别为图像序列中的t_i,t_j块，为对前t_i个视觉特征向量进行排序所得的特征向量，为对前t_j个视觉特征向量进行排序所得的特征向量，利用SVM-rank^[10]来学习排序问题，使其满足最大间隔，同时避免过拟合，那么可以得到下面的优化问题：

σ_ij≥0

其中，C是一个参数，控制目标函数中两项(“寻找间隔最大的超平面”和“保证数据点偏差量最小”)之间的权重；σ_ij为松弛变量，对应数据点允许偏离的函数间隔的量。

将学习到的最优参数u_t作为第t帧的特征，由于排序函数ψ对时间均值向量v(表示1:t帧的视觉特征)作了排序，因此u_t能够捕捉到第t帧所包含的外观特征及其时序信息。不同帧的时序信息是不一样的，因此不同帧能够得到不同的排序函数，这表示排序函数具有帧特异性，因此表征排序函数的参数u_t能够表征候选序列中第t帧所包含的时序信息。图4描述了利用SVM-rank来提取特征u_t的过程。

204：在新特征上训练支持向量机SVM分类器，判断候选子序列中每一帧所处的阶段；根据一个序列中每一帧的阶段属性，找到每个阶段的起始帧位置，结合有丝分裂事件的阶段性特征来判断该序列是否是有丝分裂事件，得到最终的识别结果。

对于候选子序列中的每一帧，都得到了其时序特征，那么在新特征上训练SVM分类器，得出候选子序列中每一帧所处的阶段，据此，得出候选子序列各个阶段的起始帧位置，每个阶段所包含的帧数信息。

判断一个候选子序列为分裂事件的两个条件：1)一个分裂事件必须包含完整的四个阶段；2)对于一个分裂事件的四个阶段是有先后顺序的：第一阶段，第二阶段，第三阶段然后是第四阶段；只有这两个条件都满足才能将一个候选子序列判断为分裂事件。

综上所述，本发明实施例通过上述步骤201-步骤205提出了一种能够有效表征候选子序列中每一帧所包含的外观特征和时序特征的方法，不但简单高效，易于实现，而且在完成了对候选序列的阶段性定位的同时，提高了识别的准确率。

实施例3

下面结合具体的实验数据对实施例1和2中的方案进行可行性验证，详见下文描述：

本实验使用的数据库为相差显微数据集C2C12。C2C12数据集的培养环境为DMEM(Dulbecco's Modified Eagle Medium)细胞培养基，添加10％牛胎儿血清、1％青霉素链霉素，环境温度保持37℃恒定，周围二氧化碳浓度为5％。使用蔡司透镜(型号为ZeissAxiovert 135TV倒置显微镜，5X，0.15N.A.)在干细胞体外培养的过程中每五分钟捕获一张细胞图像，每张图像大小为1392×1040像素，分辨率为1.3μm/pixel。C2C12中每个序列包含1013张图片。

获取图像之后，生物学研究者使用带有用户图形界面的标注工具在图像序列中手动标注细胞分裂事件。对于每个细胞分裂事件，标注者以两个子细胞间的边界清晰可见作为阶段3(分裂形成子细胞)的开始，标定这一边界中心位置。以标注位置为中心生成大小为50×50像素的图像块，以标注中心所在图像块为中心帧的连续23个图像块构成一个候选子序列，作为正例。在序列图像中进行随机撒种，生成和正例相同尺寸的候选子序列，从中挑选不包含分裂事件的候选子序列作为负例。对于候选子序列中的正例，手动添加阶段标签(第一阶段标签为1，第二阶段标签为2，第三阶段标签为3，第4阶段标签为4)。

实验中使用序列2的501个正例作为训练集，序列1的452个正例和序列2的512个负例作为测试集。

计算判对的正例(true positive,TP)，判对的负例(true negative,TN)，判错的正例(false positive,FP)，判错的负例(false negative,FN)四个量，然后依此计算：

三个定量指标来评估对分裂事件的识别性能，其中Precision是查准率，Recall是查全率，F₁score是Precision和Recall的加权调和平均。

定位细胞分裂阶段时，采用平均偏差来评估分裂事件的定位性能：

实验中将本方法的识别结果与以下方法进行对比，如表1所示：

表1

HCRF^[8](Hidden conditional random fields)，又称“基于隐条件随机场的分裂事件识别”；

HSCNF^[9](Cell type-independent mitosis event detection via hidden-state conditional neural fields)，又称“基于隐状态条件随机场的分裂事件识别”。

EDCRF^[7](Event detection conditional random field)，又称“事件检测条件随机场”。

试验中将本方法的阶段定位平均偏差与以下方法进行对比：如表2：

表2

LDCRF^[11](Automatic Cell Cycle Localization Using Latent-DynamicConditional Random Fields)，又称“基于隐动态条件随机场的细胞阶段定位”。

通过表2可以看出，本发明提出的方法能准确定位细胞分裂中的各个阶段，相较于其他的方法，对阶段3的定位准确率大大提高了，这大大提升了识别性能(如表1)。

参考文献：

[1]熊建文,陈丽,刘明胜,等.基于形态学特征的细胞活性无损检测新方法研究[J].光电子·激光,2005,16(12):1514-1519.

[2]Bhaskar H,Singh S.Live cell imaging:a computational perspective[J].Journal of Real-Time Image Processing,2007,1(3):195-212.

[3]Liu A A,Li K,Kanade T.A Semi-Markov Model for Mitosis Segmentationin Time-Lapse Phase Contrast Microscopy Image Sequences of Stem CellPopulations[J].IEEE Transactions on Medical Imaging,2012,31(2):359-369.

[4]Eccles B A,Klevecz R R.Automatic digital image analysis foridentification of mitotic cells in synchronous mammalian cell cultures.[J].Analytical and quantitative cytology and histology/the International Academyof Cytology[and]American Society of Cytology,1986,8(2):138-147.

[5]Li K,Miller E D,Chen M,et al.Computer vision tracking of stemness[C]//IEEE International Symposium on Biomedical Imaging:From Nano ToMacro.IEEE,2008:847-850.

[6]Gallardo G M,Yang F,Ianzini F,et al.Mitotic cell recognition withhidden Markov models[J].Proceedings of SPIE-The International Society forOptical Engineering,2004,5367:661-668.

[7]Huh S,Ker D F,Bise R,et al.Automated mitosis detection of stemcell populations in phase-contrast microscopy images.[J].Medical Imaging IEEETransactions on,2011,30(3):586.

[8]Quattoni A,Wang S,Morency L P,et al.Hidden Conditional RandomFields[J].IEEE Transactions on Pattern Analysis&Machine Intelligence,2007,29(10):1848-1852.

[9]Su Y,Yu J,Liu A,et al.Cell type-independent mitosis eventdetection via hidden-state conditional neural fields[C]//IEEE,InternationalSymposium on Biomedical Imaging.IEEE,2014:222-225.

[10]Joachims T.Training linear SVMs in linear time[C]//Twelfth ACMSIGKDD International Conference on Knowledge Discovery and Data Mining,Philadelphia,Pa,Usa,August.2015:217-226.

[11]Zhang J,Li P,Yu J,et al.Automatic Cell Cycle Localization UsingLatent-Dynamic Conditional Random Fields[M]//The Proceedings of the ThirdInternational Conference on Communications,Signal Processing,andSystems.Springer International Publishing,2015:557-564.

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于支持向量机排序的有丝分裂定位和识别的方法，其特征在于，所述方法包括以下步骤：

对候选子序列的每一帧图像分别提取HOG、SIFT以及Gist三种视觉特征向量，将提取的视觉特征向量串联作为候选子序列的视觉特征；

对视觉特征利用SVM-rank方法，将学习到的排序函数的参数向量作为对象帧特征向量；

将整合后的具有时序性的特征向量作为图像序列每一帧特征，该特征表征了对象帧所包含的时序信息；

在排序的特征向量上训练线性SVM分类器来预测每一帧的阶段标签，获取每个阶段的起始帧位置、以及帧数目；

若某序列包含完整的四个阶段，并且满足四个阶段间的顺序信息，那么该序列包含了一个分裂事件。

2.根据权利要求1所述的一种基于支持向量机排序的有丝分裂定位和识别的方法，其特征在于，所述方法还包括：

对采集的细胞图像利用基于成像模型的显微图像分割方法和三维种域生长方法提取候选子序列。

3.根据权利要求1所述的一种基于支持向量机排序的有丝分裂定位和识别的方法，其特征在于，所述整合具体为：

通过训练一个线性排序机，将图像序列中每一帧所包含的历史时序特征做整合。

4.根据权利要求1所述的一种基于支持向量机排序的有丝分裂定位和识别的方法，其特征在于，所述对视觉特征利用SVM-rank方法，将学习到的排序函数的参数向量作为对象帧特征向量的步骤具体为：

将学习到的最优参数u_t作为候选子序列中第t帧的特征，用于表征第t帧所包含的时序信息。