CN108122235A - 一种基于层级结构信息构建细胞分割区域的方法及系统 - Google Patents

Abstract

本发明公开了一种基于层级结构信息构建细胞分割区域的方法及系统，用以解决现有技术不能准确地分割细胞区域的问题。该方法包括：S1、定义相差显微镜细胞图像中的主要信息、中间信息及次要信息；S2、基于所述细胞主要信息，扩展所述细胞中间信息；S3、基于细胞的灰度层级结构信息，检测与分析细胞之间各自独立与相互粘连的情况；S4、基于已检测到的相关信息，通过区域块分离与分组方法，不断扩展细胞信息以构建细胞最终的分割结果。本发明基于目标灰度层级结构信息构建细胞分割结果，不断地分离与分组具有不同重要性的灰度层级结构信息，最终能准确地构建细胞的分割区域。

Description

一种基于层级结构信息构建细胞分割区域的方法及系统

技术领域

本发明涉及本发明涉及医学图像处理技术领域，尤其涉及一种基于层级结构信息构建细胞分割区域的方法及系统。

背景技术

细胞运动的研究一直是细胞学和生物学研究的重要组成部分，但是传统的研究方法在技术日益革新的现在已经渐渐变得不这么适用了，传统的在显微镜下利用细胞计数板用人眼进行染色、分类、计数、跟踪等这类不但需要大量繁琐的人为操作而且容易使得操作者变得疲劳从而影响结果的正确性，且其可重用性比较低。

国内外的医学专家经过长期地实践与研究取得一致共识认为应该在细胞运动研究中引入数字视频技术和数字图像处理技术，从而极大地提高研究效率，减轻研究人员负担。用计算机来跟踪细胞运动，部分代替人类始终盯着显微镜来观察细胞的眼睛，尽量地把人从繁重的重复劳动中解脱出来进行更有创造性的工作。

因此，如何利用计算机图像处理、视频分析等相关技术手段来提高生物研究过程中的自动化程度已成为当前急需解决的非常有意义的难题。

当前，常用的目标检测与识别算法，可以在确定目标大致位置之后，提取区域内部的特征，再采用适当的分类器对检测区域进行识别与分类。多数目标检测与识别算法的实现都是依赖于提取的高维度特征与不同的训练算法。在检测时，这些算法多采用矩形框，且将矩形框覆盖的大致区域作为表征目标的检测结果。虽然，其检测结果可以覆盖目标，但并不是在所有情况下都可以通过外接矩形框的方式定义目标区域。矩形框内目标占整个矩形框区域的比例有时非常小，那么提取的特征就不是非常准确，不利于应用目标识别与分类等后续算法。

发明内容

本发明要解决的技术问题目的在于提供一种基于层级结构信息构建细胞分割区域的方法及系统，用以解决现有技术不能准确地分割细胞区域的问题。

为了实现上述目的，本发明采用的技术方案为：

一种基于层级结构信息构建细胞分割区域的方法，包括步骤：

S1、定义相差显微镜细胞图像中的主要信息、中间信息及次要信息；

S2、基于所述细胞主要信息，扩展所述细胞中间信息；

S3、基于细胞的灰度层级结构信息，检测与分析细胞之间各自独立与相互粘连的情况；

S4、基于已检测到的相关信息，通过区域块分离与分组方法，不断扩展细胞信息以构建细胞最终的分割结果。

进一步地，其特征在于，步骤S1具体包括：

通过相差显微镜成像系统，获取所述相差显微镜细胞图像；

采用多类别最大类间方差算法将所述相差显微镜细胞图像划分为深暗区域、高亮区域及高亮区域内部的封闭区域；

定义深暗区域为细胞主要信息，高亮区域为细胞次要信息，高亮区域内部的封闭区域为细胞中间信息。

进一步地，其特征在于，步骤S2具体包括：

通过帧间关联或者手动标记的方式确定图像中各个细胞的主要信息；

将可利用的中间信息局部区域块与细胞主要信息相互融合以扩展细胞的检测与分割区域；

若扩展区域范围时产生粘连情况，运用目标对分离与分组算法进行处理。

进一步地，其特征在于，步骤S3具体包括：

采用独立细胞与粘连细胞检测方法和粘连细胞的粘连方式检测方法分别对细胞关系进行分析检测。

进一步地，其特征在于，步骤S4具体包括：

采用所述细胞次要信息进行分离与分组算法对所述细胞次要信息进行合理地分离与分组；

基于分离与分组后的细胞层级结构信息，近似估计目标凸集区域作为最终的目标分割结果。

一种基于层级结构信息构建细胞分割区域的系统，包括：

定义模块，用于定义相差显微镜细胞图像中的主要信息、中间信息及次要信息；

扩展模块，用于基于所述细胞主要信息，扩展所述细胞中间信息；

检测模块，用于基于细胞的灰度层级结构信息，检测与分析细胞之间各自独立与相互粘连的情况；

分割模块，用于基于已检测到的相关信息，通过区域块分离与分组方法，不断扩展细胞信息以构建细胞最终的分割结果。

进一步地，所述定义模块具体包括：

图像获取单元，用于通过相差显微镜成像系统，获取所述相差显微镜细胞图像；

区域分类单元，用于采用多类别最大类间方差算法将所述相差显微镜细胞图像划分为深暗区域、高亮区域及高亮区域内部的封闭区域；

信息分类单元，用于定义深暗区域为细胞主要信息，高亮区域为细胞次要信息，高亮区域内部的封闭区域为细胞中间信息。

进一步地，所述扩展模块具体包括：

标记单元，用于通过帧间关联或者手动标记的方式确定图像中各个细胞的主要信息；

融合单元，用于将可利用的中间信息局部区域块与细胞主要信息相互融合以扩展细胞的检测与分割区域；

处理单元，用于若扩展区域范围时产生粘连情况，运用目标对分离与分组算法进行处理。

进一步地，所述检测模块具体包括：

分析检测单元，用于采用独立细胞与粘连细胞检测方法和粘连细胞的粘连方式检测方法分别对细胞关系进行分析检测。

进一步地，所述分割模块具体包括：

分离分组单元，用于采用所述细胞次要信息进行分离与分组算法对所述细胞次要信息进行合理地分离与分组；

构建分割单元，用于基于分离与分组后的细胞层级结构信息，近似估计目标凸集区域作为最终的目标分割结果。

本发明与传统的技术相比，有如下优点：

本发明基于目标灰度层级结构信息构建细胞分割结果，不断地分离与分组具有不同重要性的灰度层级结构信息，最终能准确地构建细胞的分割区域。

附图说明

图1是实施例一提供的一种基于层级结构信息构建细胞分割区域的方法流程图；

图2是实施例一提供的PCM_0001原图及其灰度分布信息图；

图3是实施例一提供的PCM_0001的灰度层级结构信息图；

图4是实施例一提供的关于PCM_0001的细胞主要信息初始化图；

图5是实施例一提供的添加中间信息前后的检测结果图；

图6是实施例一提供的基于细胞主要信息直接添加中间信息的实例；

图7是实施例一提供的细胞中间信息粘连情况分离与分组实例；

图8是实施例一提供的构建指示矩阵的过程图；

图9是实施例一提供的独立指示矩阵及其相对应的次要信息区域块集合；

图10是实施例一提供的粘连指示矩阵及其相对应的次要信息区域块集合；

图11是实施例一提供的具有不同访问次数的次要信息局部区域块集合；

图12是实施例一提供的细胞椭圆区域近似估计结果图；

图13是实施例一提供的轴关系示意图；

图14是实施例一提供的修正后的粘连细胞指示矩阵；

图15是实施例一提供的基于细胞主要信息添加所有仅被访问1次的次要信息局部区域块集合的结果；

图16是实施例一提供的被多次访问的次要信息局部二值区域块集合；

图17是实施例一提供的针对各次要信息局部区域块的最佳分离位置；

图18是实施例一提供的针对PCM_0001的最终组合结果及分割结果；

图19是实施例二提供的一种基于层级结构信息构建细胞分割区域的系统结构图。

具体实施方式

以下是本发明的具体实施例并结合附图，对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。

实施例一

本实施例提供了一种基于层级结构信息构建细胞分割区域的方法，如图1所示，包括步骤：

S11：定义相差显微镜细胞图像中的主要信息、中间信息及次要信息；

S12：基于所述细胞主要信息，扩展所述细胞中间信息；

S13：基于细胞的灰度层级结构信息，检测与分析细胞之间各自独立与相互粘连的情况；

S14：基于已检测到的相关信息，通过区域块分离与分组方法，不断扩展细胞信息以构建细胞最终的分割结果。

本实施例首先定义相差显微镜细胞图像中的三个基本的灰度层级结构信息，即主要信息、中间信息以及次要信息。不同灰度层级结构信息可以确定图像中不同部分。对于一个细胞目标，不同的灰度层级结构信息具有不同的重要性。假设此时已准确地检测到当前帧的细胞主要信息，则此算法流程基于细胞主要信息，能够扩展细胞中间信息，即将可利用的细胞中间信息局部区域块与细胞主要信息相互融合，进一步扩展细胞的检测与分割区域。对于扩展区域范围时产生的粘连情况，直接运用目标对分离与分组算法进行处理。然后，基于细胞的灰度层级结构信息，分析与检测细胞之间的一些关系及特殊情况。此步骤中，包含了多种具有不同分析检测能力的方法。此检测方法包括了独立细胞与粘连细胞检测方法、粘连细胞的粘连方式检测方法等其他检测方法。最后，基于已检测到的相关信息，通过次要信息分离与分组方法，扩展细胞主要信息与细胞中间信息，从而构建出细胞最终的分割结果。

本实施例中，步骤S11为定义相差显微镜细胞图像中的主要信息、中间信息及次要信息。

其中，步骤S11具体包括步骤：

通过相差显微镜成像系统，获取所述相差显微镜细胞图像；

采用多类别最大类间方差算法将所述相差显微镜细胞图像划分为深暗区域、高亮区域及高亮区域内部的封闭区域；

定义深暗区域为细胞主要信息，高亮区域为细胞次要信息，高亮区域内部的封闭区域为细胞中间信息。

具体的，基于目标灰度层级结构信息概念，相差显微镜细胞图像中的所有细胞都存在三个基本的灰度结构信息层次，分别是细胞主要信息、细胞中间信息以及细胞次要信息。此概念也指出目标的不同层级结构信息对定义目标本身具有不同的重要性，且最为重要的信息可以单独地用于表示目标。所以，通过细胞主要信息能够定义相差显微镜细胞图像中的大多数细胞。

图2是原图与相关信息图。其中：

图2(a)是PCM_0001原图，图2(b)是多类别最大类间方差算法结果图。由于多类别最大类间方差算法中的核心算法在初始化阈值的时候，将其平均地分配在整个灰度区间中，所以相比于深暗部分，算法输出结果在高亮部分存在更多的层级结构信息。

图2(c)中，给出了PCM_0001的灰度直方图。此灰度分布图可以大致分为三个区域，即深暗部分、背景部分以及高亮部分。相差显微镜细胞图像仅有灰度信息。假设在相差显微镜细胞图像中，单个独立的细胞区域的灰度特性一致，那么一个细胞簇的区域灰度分布应该也是相似的。不同成分的灰度区间能够表示相差显微镜中不同的区域与结构含义。那么背景部分包含了未被细胞覆盖的培养液区域以及细胞内部的一些区域。深暗部分包含了细胞的主要信息，即灰度值较小的部分，以及相差显微镜产生的阴影效应。高亮部分包含了细胞的次要信息，即灰度值较大的部分，以及相差显微镜产生的光晕效应。背景部分所占的灰度范围窄，但所占的像素个数却较多。而深暗部分与高亮部分所占的像素个数却很少。

图3给出具有不同重要性的细胞图像层级结构信息示意图。其中，图3(a)为主要信息局部区域块集合，图3(b)为中间信息局部区域块集合，图3(c)为次要信息局部区域块集合。

本实施例中，步骤S12为基于所述细胞主要信息，扩展所述细胞中间信息。

其中，步骤S12具体包括步骤：

通过帧间关联或者手动标记的方式确定图像中各个细胞的主要信息；

将可利用的中间信息局部区域块与细胞主要信息相互融合以扩展细胞的检测与分割区域；

若扩展区域范围时产生粘连情况，运用目标对分离与分组算法进行处理。

具体的，虽然定义了PCM_0001的主要信息，但是目前没有任何自动算法可以将这些主要信息局部区块合理地分组成不同目标。为了能够有效地确定图片中的目标主要信息，将利用辅助软件工具，手动地将主要信息局部区块分组成为不同目标。手动标记主要信息局部区块时，需要仔细地参照原图。针对序列中的图像，需要通过帧间关联的方式基于上一帧的检测结果确定当前帧中的细胞主要信息。

图4中，给出了标记PCM_0001主要信息的流程。图4(a)中展示了运用辅助软件工具标记的黄色轮廓。如果图片中细胞个数较多，手动标记时需要更加仔细地鉴别目标与目标之间的关系以及目标与背景之间的关系。图4(b)展示了图4(a)对应的二值标记图。图4(c)展示了图4(b)对应的标号标色图，其中每个区域都有一个标号，也是其对应局部区域块所具有的数值。图4(d)中展示了PCM_0001的目标主要信息。其中的每个目标都是由多个主要信息局部区域块确定。且对于具体的一个目标，其所有的主要信息局部块具有同样的标号与颜色。图4(d)将作为目标主要信息标记结果，能用于帧间主要信息帧间关联操作。

添加中间信息时，存在细胞中间信息粘连情况，需要采用目标对分离与分组算法。相应地，会产生局部区域块计数结果、局部区域块访问结果、不同的分离位置以及分组结果。添加了中间信息之后，其构建的区域，能更加清晰地表征目标。

在图5中，展示了关于PCM_0001的中间信息检测结果。图5(a)是目标中间信息局部区域块计数图，表示了每个次要信息局部区域块被访问的次数。图5(b)是本地覆盖检测到的目标中间信息局部区域块访问图，其中的每一个局部区域块的值是所有访问细胞索引值的累加和。图5(c)为最终修正后的细胞中间信息。

在添加中间信息扩展主要信息的过程中，统筹考虑了主要信息与细胞中间信息这两个结构信息层次。如果某些细胞的主要信息没有可扩展的中间信息，则保持主要信息不变。如果细胞主要信息具有可扩展的中间信息，则进行有序地扩展。对于细胞中间信息粘连情况，利用目标对分离与分组算法进行处理。

图6中，给出了来自于PCM_0001的三个可以直接基于细胞主要信息添加中间信息的实例。此时，假设x＝{a,b,c}。那么图6(x1)是从图2(b)中截取的局部多类别最大类间方差算法结果。图6(x2)是已检测到的细胞主要信息。图6(x3)是基于细胞主要信息直接添加中间信息后的结果，即细胞中间信息。相比较图6(x2)与图6(x3)，细胞中间信息能更加完整清楚地表示细胞区域。因为图中有些细胞信息局部区块的标色相似，所以在图6(a2)和图6(a3)中分别标记了31号细胞与32号细胞的标号。其中，仅32号细胞可以直接添加中间信息，而31号细胞无中间信息可以添加。

图7中，给出了来自于PCM_0001的一个中间信息粘连情况的实例。其中，图7(a)是截取于图2(b)的局部多类别最大类间方差算法结果。图7(b)是已检测到的细胞主要信息。图7(c)是基于待分离的中间信息区域块。图7(d)展示了待分离区域块中最佳的区域分离位置。图7(e)是分离后的结果图。图7(f)是分组后的结果图，其内部区域块的标色标号值与图7(b)是相互匹配的。从图7中可以看出，目标对分离与分组算法不仅能够有效地应用于处理细胞主要信息粘连情况，而且可以用于处理细胞中间信息粘连情况。

本实施例中，步骤S13为基于细胞的灰度层级结构信息，检测与分析细胞之间各自独立与相互粘连的情况；

其中，步骤S13具体包括：

采用独立细胞与粘连细胞检测方法和粘连细胞的粘连方式检测方法分别对细胞关系进行分析检测。

第一种检测方法为独立细胞与粘连细胞检测。

具体的，在相差显微镜细胞图像中，细胞粘连情况是非常常见的一类情况，且独立细胞也是不能忽视的一类情况。将次要信息作为指示信息，且同时利用细胞主要信息或者细胞中间信息，检测细胞独立与粘连情况。鉴于细胞主要信息或者细胞中间信息存在于次要信息内部，类似于全包围或者说半包围的结构，所以可以采用一个简单的覆盖检测方式，确定细胞之间的关系。

基于已经得到细胞主要信息与细胞中间信息，独立细胞与粘连细胞检测算法的实现较为简单。此算法通过形态学膨胀操作扩大已检测到的细胞主要信息或者细胞中间信息的凸集近似估计区域。如果扩大后的区域与某些次要信息局部区域块相互覆盖，则在次要信息局部区域块计数图中，将这些局部区域块的数值加1，并且在次要信息局部区域块访问图中，将这些局部区域块的数值加上这些细胞的索引号。为了清楚地看清细胞之间独立与粘连的关系，需要引入了一个指示矩阵。假设当前图像中的细胞个数为N，则指示矩阵的大小为N×N。如果一个次要信息局部区域块同时被号细胞与号细胞所访问，则在此指示矩阵中的相应位置以及上标记为1。即使同一个次要信息局部区块被多次访问，这些细胞的关系也可以从指示矩阵中清晰地观测到。

图8中，给出了针对PCM_0001的细胞独立与粘连指示矩阵。矩阵中的每个数值元素都对应图中的每一个小方格区域。其中，图8(a)是二值指示矩阵，标识了细胞之间的独立与粘连关系，且其主对角线上的值也都是1，表明其自身与自身是绝对粘连的。如果非主对角线上的位置也为1，那么说明其对应的两个细胞包含于同一个细胞粘连情况。在二值指示矩阵中，对于当前数值元素，仅仅与其纵向和横向的数值元素有关。所以可以通过深度搜索算法，将二值指示矩阵中的区域进行合理地归纳和划分。从而，可以得到如图8(b)中所示的标号标色指示矩阵。鉴于上三角的指示值分布与下三角的指示值分布是沿主对角线相互对称的，所以直接剔除下三角的所有指示值，但是保留主对角线元素，如图8(c)所示。

图9中，给出了关于PCM_0001的独立细胞部分的检测结果。通过观察独立指示矩阵(图9(a))，可以得知图像中存在十个独立的细胞。在独立指示矩阵中，除了中间较为清晰的八个标号标色点之外，矩阵最左上角与最右下角分别有两个数值点，在伪彩色图像中分别标色为深蓝与深红。在图9(b)与图9(c)的结果中，除了图片中间部分较为显著的八个独立细胞的次要信息局部区域块之外，图片的左上角与右下角，也分别有两个独立细胞所对应的次要信息局部区域块。此时，基于次要信息构建的独立细胞凸集区域近似估计结果(图9(c))也非常接近于标准分割结果。

图10中，给出了关于PCM_0001的细胞粘连情况。如果将两个以及多个细胞相互粘连的情况记为一个独立的细胞粘连情况，从粘连指示矩阵(图10(a))中可以看出，其中存在十个细胞粘连情况。图10(b)展示了次要信息局部区域块计数图，表示了每个次要信息局部区域块被访问的次数。此图中包含了被访问了1次、2次以及3次的局部区域块。此伪彩色图中，除了深蓝色的背景之外，被不同次数访问的局部区域块分别标色为淡蓝色(1次)、黄色(2次)以及深红色(3次)。图10(c)展示了次要信息局部区域块访问图，其中的每一个局部区域块的值是所有访问细胞索引值的累加和。

图11中，分别展示了被访问次数为1次(图11(a))、2次(图11(b))及3次(图11(c))的次要信息局部二值区域块集合。

从一系列实验结果来看，独立细胞与粘连细胞情况检测方法能够有效地检测和区分独立细胞与粘连细胞。而且基于次要信息构建的独立细胞凸集近似估计区域能够在一定程度上接近标准的分割结果。至此，除了将主要信息和中间信息作为描述目标区域的方式，次要信息计数图与访问图也能在一定程度上反映目标之间的关系，也可用于描述目标区域。

第二种检测方法为粘连细胞的粘连方式检测，即基于目标椭圆近似区域与椭圆轴关系进行检测与分析。

具体的，将基于细胞主要信息构建其近似的椭圆形区域。椭圆中存在长轴与短轴，那么长轴方向可以看作是细胞延伸的主方向，而短轴方向可以看成是细胞收缩的主方向。基于细胞主要信息，通过形态学椭圆估计方法，可以确定椭圆的长轴与短轴的长度，以及两者之间的角度。已知细胞主要信息的中心点坐标，便可画出离散域上以及连续域上的椭圆形状覆盖区域。

如图12示，其给出了PCM_0001的基于细胞主要信息的椭圆区域近似估计结果。图12(a)是在离散域上的椭圆蒙板。虽然目标之间的主要信息是不存在相交情况，但是在椭圆区域近似估计之后，某些位置会出现像素相交情况。所以在伪彩色图12(b)中，有些局部区域呈现为深红色(相互覆盖区域)，而大部分区域是显示为绿色(无覆盖区域)。椭圆区域近似估计结果比矩形和凸集区域近似估计结果更能反映细胞的生物形态。椭圆近似估计结果不仅能表征细胞的生物形态，而且其还有另外一个用途，就是确定粘连细胞的粘连方式。虽然独立细胞与粘连细胞情况检测方法可以确定哪些细胞是粘连在一起，哪些细胞是独立的，但是并没有回答粘连细胞是如何粘连的问题。所以接下去将阐述一种基于椭圆长轴延长线交点确定粘连细胞是如何粘连的方法。

在图13中，给出了用于确定细胞粘连方式的椭圆长轴延长线交点检测的两个实例。这些实例都是截取于图12(b)。图13(a)与图13(b)是来自于PCM_0001的两个细胞粘连情况，分别记为PCM_1A与PCM_1B。从图中可以看到，每条直线或者线段都对应于每个椭圆区域的长轴，且长轴延长线通过椭圆区域的中心点。中心点都标为黑色实心点。而且线段之间存在着一些交点，这些交点也分别用黑色和白色实心点标记出来。在此图中，不同颜色的标记点仅用于同时表示椭圆区域中心点与线段之间的交点，而不区分其他具体的含义。

通过分析图13中的中心点与线段交点，可以知道虽然这些多个细胞处于一个细胞粘连情况，但是在某些细胞粘连情况内部，并不是两两细胞都是粘连的。由此便可以更新其所对应的粘连指示矩阵，即剔除那些虽然处于一个粘连情况但实际是不粘连的细胞对标记值。最终可以得到如图14所示修正后的细胞粘连指示矩阵，能更细致简洁地表示粘连细胞之间的粘连方式。

本实施例中，步骤S14为基于已检测到的相关信息，通过区域块分离与分组方法，不断扩展细胞信息以构建细胞最终的分割结果。

其中，步骤S14具体包括：

采用所述细胞次要信息进行分离与分组算法对所述细胞次要信息进行合理地分离与分组；

基于分离与分组后的细胞层级结构信息，近似估计目标凸集区域作为最终的目标分割结果。

具体的，基于次要信息进行独立细胞与粘连细胞情况检测之后，已经得到了很多次要信息局部区域块指示信息图。基于椭圆区域检测细胞粘连方式之后，也得到了细胞粘连情况内部具体的粘连方式信息。下面将对粘连细胞利用已检测出的信息，分离与分组相关的次要信息局部区域块，从而构建准确的目标分割结果区域。虽然处于次要信息的局部区域块具有独特的形状与结构，次要信息分离方式与主要信息以及次要信息的区域分离方法类似。在分离的时候，采用PairSplit算法。在分组的时候，采用GraphCrawl算法。

基于PCM_0001已检测的结果，对于其中的粘连情况，其对应的次要信息局部块计数结果图(图9(b)和图10(b))中也存在仅被访问1次的局部区域块，可以首先将其分组到具体的细胞信息中去。如图15所示，其融合了细胞主要信息以及仅被访问了1次的次要信息局部区域块。针对独立细胞，直接由图9(b)所定义的凸集区域进行表示。而且，在伪彩色图像中，针对不同细胞的不同层级结构信息区域块具有相同的标色与标号。

由于PCM_0001中的细胞粘连情况比较复杂，对于很多粘连情况需要确定其分离位置，才能再进行区域块分组操作。所以在图16中，将这些被访问2次和3次的局部区域块进行单独分析。

图16中，展示了被多次访问的次要信息局部二值区域块集合，这些区域块都是待分离的区域块。

图17中，直接给出了PCM_0001中十个细胞粘连情况中被多次访问的次要信息局部区域块，以及每个局部区域块所对应的最佳分离位置。在伪彩色图像中，每个最佳分离位置都用深红色线条表示。可以看出，这些分离位置是合理的，且用于划分区域也是有效的。

图18中，给出了将被多次访问的次要信息局部区域块合理地分离与分组之后的最终结果。图18(a)是融合了细胞主要信息、中间信息以及次要信息的细胞多层级结构信息结果。基于图18(a)中所有细胞层级结构信息，近似估计目标凸集区域，并将其边界覆盖在原图上，便可得到图18(b)的结果。从图18(b)中，能够清晰地看出每个细胞的覆盖区域，而且很多凸集区域边界与细胞边界完全贴合。那么图18(b)便可作为PCM_0001的最终细胞分割区域结果。

本实施例提出了基于细胞主要信息、中间信息以及次要信息的分析检测与区域构建算法。因为目标具有不同的灰度层级结构信息，且这些灰度层级结构信息具有不同的重要性，所以首先基于已检测到的细胞主要信息，合理地添加中间信息。其所构建的细胞中间信息能更准确地表示细胞区域。虽然细胞主要信息粘连情况与细胞中间信息粘连情况都可以得到较好地处理，但是对象级别的细胞关系仍旧未确定。所以本实施例将细胞次要信息作为指示信息，分析和检测细胞之间相互独立于相互粘连的关系。此方法还能够基于细胞次要信息构建独立细胞的分割区域。同时本实施例还提出了其他一系列的检测方法，包括目标椭圆区域近似估计方法以及细胞粘连方式检测方法。最后，提出了基于次要信息分离与分组方法，用于构建目标分割结果。通过一系列的实验结果与实例，展现了本实施例中所有的分析检测方法以及区域构建方法的鲁棒性与有效性。

实施例二

本实施例提供了一种基于层级结构信息构建细胞分割区域的系统，如图19所示，包括：

定义模块21，用于定义相差显微镜细胞图像中的主要信息、中间信息及次要信息；

扩展模块22，用于基于所述细胞主要信息，扩展所述细胞中间信息；

检测模块23，用于基于细胞的灰度层级结构信息，检测与分析细胞之间各自独立与相互粘连的情况；

分割模块24，用于基于已检测到的相关信息，通过区域块分离与分组方法，不断扩展细胞信息以构建细胞最终的分割结果。

本实施例首先定义相差显微镜细胞图像中的三个基本的灰度层级结构信息，即主要信息、中间信息以及次要信息。不同灰度层级结构信息可以确定图像中不同部分。对于一个细胞目标，不同的灰度层级结构信息具有不同的重要性。假设此时已准确地检测到当前帧的细胞主要信息，则此算法流程基于细胞主要信息，能够扩展细胞中间信息，即将可利用的细胞中间信息局部区域块与细胞主要信息相互融合，进一步扩展细胞的检测与分割区域。对于扩展区域范围时产生的粘连情况，直接运用目标对分离与分组算法进行处理。然后，基于细胞的灰度层级结构信息，分析与检测细胞之间的一些关系及特殊情况。此步骤中，包含了多种具有不同分析检测能力的方法。此检测方法包括了独立细胞与粘连细胞检测方法、粘连细胞的粘连方式检测方法等其他检测方法。最后，基于已检测到的相关信息，通过次要信息分离与分组方法，扩展细胞主要信息与细胞中间信息，从而构建出细胞最终的分割结果。

本实施例中，定义模块21用于定义相差显微镜细胞图像中的主要信息、中间信息及次要信息。

其中，定义模块21具体包括：

图像获取单元，用于通过相差显微镜成像系统，获取所述相差显微镜细胞图像；

区域分类单元，用于采用多类别最大类间方差算法将所述相差显微镜细胞图像划分为深暗区域、高亮区域及高亮区域内部的封闭区域；

信息分类单元，用于定义深暗区域为细胞主要信息，高亮区域为细胞次要信息，高亮区域内部的封闭区域为细胞中间信息。

具体的，基于目标灰度层级结构信息概念，相差显微镜细胞图像中的所有细胞都存在三个基本的灰度结构信息层次，分别是细胞主要信息、细胞中间信息以及细胞次要信息。此概念也指出目标的不同层级结构信息对定义目标本身具有不同的重要性，且最为重要的信息可以单独地用于表示目标。所以，通过细胞主要信息能够定义相差显微镜细胞图像中的大多数细胞。

图2是原图与相关信息图。其中：

图2(a)是PCM_0001原图，图2(b)是多类别最大类间方差算法结果图。由于多类别最大类间方差算法中的核心算法在初始化阈值的时候，将其平均地分配在整个灰度区间中，所以相比于深暗部分，算法输出结果在高亮部分存在更多的层级结构信息。

图2是原图与相关信息图。其中：

图2(a)是PCM_0001原图，图2(b)是多类别最大类间方差算法结果图。由于多类别最大类间方差算法中的核心算法在初始化阈值的时候，将其平均地分配在整个灰度区间中，所以相比于深暗部分，算法输出结果在高亮部分存在更多的层级结构信息。

图2(c)中，给出了PCM_0001的灰度直方图。此灰度分布图可以大致分为三个区域，即深暗部分、背景部分以及高亮部分。相差显微镜细胞图像仅有灰度信息。假设在相差显微镜细胞图像中，单个独立的细胞区域的灰度特性一致，那么一个细胞簇的区域灰度分布应该也是相似的。不同成分的灰度区间能够表示相差显微镜中不同的区域与结构含义。那么背景部分包含了未被细胞覆盖的培养液区域以及细胞内部的一些区域。深暗部分包含了细胞的主要信息，即灰度值较小的部分，以及相差显微镜产生的阴影效应。高亮部分包含了细胞的次要信息，即灰度值较大的部分，以及相差显微镜产生的光晕效应。背景部分所占的灰度范围窄，但所占的像素个数却较多。而深暗部分与高亮部分所占的像素个数却很少。

图3给出具有不同重要性的细胞图像层级结构信息示意图。其中，图3(a)为主要信息局部区域块集合，图3(b)为中间信息局部区域块集合，图3(c)为次要信息局部区域块集合。

本实施例中，扩展模块22用于基于所述细胞主要信息，扩展所述细胞中间信息。

其中，扩展模块22具体包括：

标记单元，用于通过帧间关联或者手动标记的方式确定图像中各个细胞的主要信息；

融合单元，用于将可利用的中间信息局部区域块与细胞主要信息相互融合以扩展细胞的检测与分割区域；

处理单元，用于若扩展区域范围时产生粘连情况，运用目标对分离与分组算法进行处理。

具体的，虽然定义了PCM_0001的主要信息，但是目前没有任何自动算法可以将这些主要信息局部区块合理地分组成不同目标。为了能够有效地确定图片中的目标主要信息，将利用辅助软件工具，手动地将主要信息局部区块分组成为不同目标。手动标记主要信息局部区块时，需要仔细地参照原图。针对序列中的图像，需要通过帧间关联的方式基于上一帧的检测结果确定当前帧中的细胞主要信息。

图4中，给出了标记PCM_0001主要信息的流程。图4(a)中展示了运用辅助软件工具标记的黄色轮廓。如果图片中细胞个数较多，手动标记时需要更加仔细地鉴别目标与目标之间的关系以及目标与背景之间的关系。图4(b)展示了图4(a)对应的二值标记图。图4(c)展示了图4(b)对应的标号标色图，其中每个区域都有一个标号，也是其对应局部区域块所具有的数值。图4(d)中展示了PCM_0001的目标主要信息。其中的每个目标都是由多个主要信息局部区域块确定。且对于具体的一个目标，其所有的主要信息局部块具有同样的标号与颜色。图4(d)将作为目标主要信息标记结果，能用于帧间主要信息帧间关联操作。

添加中间信息时，存在细胞中间信息粘连情况，需要采用目标对分离与分组算法。相应地，会产生局部区域块计数结果、局部区域块访问结果、不同的分离位置以及分组结果。添加了中间信息之后，其构建的区域，能更加清晰地表征目标。

在图5中，展示了关于PCM_0001的中间信息检测结果。图5(a)是目标中间信息局部区域块计数图，表示了每个次要信息局部区域块被访问的次数。图5(b)是本地覆盖检测到的目标中间信息局部区域块访问图，其中的每一个局部区域块的值是所有访问细胞索引值的累加和。图5(c)为最终修正后的细胞中间信息。

在添加中间信息扩展主要信息的过程中，统筹考虑了主要信息与细胞中间信息这两个结构信息层次。如果某些细胞的主要信息没有可扩展的中间信息，则保持主要信息不变。如果细胞主要信息具有可扩展的中间信息，则进行有序地扩展。对于细胞中间信息粘连情况，利用目标对分离与分组算法进行处理。

图6中，给出了来自于PCM_0001的三个可以直接基于细胞主要信息添加中间信息的实例。此时，假设x＝{a,b,c}。那么图6(x1)是从图2(b)中截取的局部多类别最大类间方差算法结果。图6(x2)是已检测到的细胞主要信息。图6(x3)是基于细胞主要信息直接添加中间信息后的结果，即细胞中间信息。相比较图6(x2)与图6(x3)，细胞中间信息能更加完整清楚地表示细胞区域。因为图中有些细胞信息局部区块的标色相似，所以在图6(a2)和图6(a3)中分别标记了31号细胞与32号细胞的标号。其中，仅32号细胞可以直接添加中间信息，而31号细胞无中间信息可以添加。

图7中，给出了来自于PCM_0001的一个中间信息粘连情况的实例。其中，图7(a)是截取于图2(b)的局部多类别最大类间方差算法结果。图7(b)是已检测到的细胞主要信息。图7(c)是基于待分离的中间信息区域块。图7(d)展示了待分离区域块中最佳的区域分离位置。图7(e)是分离后的结果图。图7(f)是分组后的结果图，其内部区域块的标色标号值与图7(b)是相互匹配的。从图7中可以看出，目标对分离与分组算法不仅能够有效地应用于处理细胞主要信息粘连情况，而且可以用于处理细胞中间信息粘连情况。

本实施例中，检测模块23用于基于细胞的灰度层级结构信息，检测与分析细胞之间各自独立与相互粘连的情况。

其中，检测模块23具体包括：

分析单元，用于采用独立细胞与粘连细胞检测方法和粘连细胞的粘连方式检测方法分别对细胞关系进行分析检测。

第一种检测方法为独立细胞与粘连细胞检测。

具体的，在相差显微镜细胞图像中，细胞粘连情况是非常常见的一类情况，且独立细胞也是不能忽视的一类情况。将次要信息作为指示信息，且同时利用细胞主要信息或者细胞中间信息，检测细胞独立与粘连情况。鉴于细胞主要信息或者细胞中间信息存在于次要信息内部，类似于全包围或者说半包围的结构，所以可以采用一个简单的覆盖检测方式，确定细胞之间的关系。

图8中，给出了针对PCM_0001的细胞独立与粘连指示矩阵。矩阵中的每个数值元素都对应图中的每一个小方格区域。其中，图8(a)是二值指示矩阵，标识了细胞之间的独立与粘连关系，且其主对角线上的值也都是1，表明其自身与自身是绝对粘连的。如果非主对角线上的位置也为1，那么说明其对应的两个细胞包含于同一个细胞粘连情况。在二值指示矩阵中，对于当前数值元素，仅仅与其纵向和横向的数值元素有关。所以可以通过深度搜索算法，将二值指示矩阵中的区域进行合理地归纳和划分。从而，可以得到如图8(b)中所示的标号标色指示矩阵。鉴于上三角的指示值分布与下三角的指示值分布是沿主对角线相互对称的，所以直接剔除下三角的所有指示值，但是保留主对角线元素，如图8(c)所示。

图9中，给出了关于PCM_0001的独立细胞部分的检测结果。通过观察独立指示矩阵(图9(a))，可以得知图像中存在十个独立的细胞。在独立指示矩阵中，除了中间较为清晰的八个标号标色点之外，矩阵最左上角与最右下角分别有两个数值点，在伪彩色图像中分别标色为深蓝与深红。在图9(b)与图9(c)的结果中，除了图片中间部分较为显著的八个独立细胞的次要信息局部区域块之外，图片的左上角与右下角，也分别有两个独立细胞所对应的次要信息局部区域块。此时，基于次要信息构建的独立细胞凸集区域近似估计结果(图9(c))也非常接近于标准分割结果。

图10中，给出了关于PCM_0001的细胞粘连情况。如果将两个以及多个细胞相互粘连的情况记为一个独立的细胞粘连情况，从粘连指示矩阵(图10(a))中可以看出，其中存在十个细胞粘连情况。图10(b)展示了次要信息局部区域块计数图，表示了每个次要信息局部区域块被访问的次数。此图中包含了被访问了1次、2次以及3次的局部区域块。此伪彩色图中，除了深蓝色的背景之外，被不同次数访问的局部区域块分别标色为淡蓝色(1次)、黄色(2次)以及深红色(3次)。图10(c)展示了次要信息局部区域块访问图，其中的每一个局部区域块的值是所有访问细胞索引值的累加和。

图11中，分别展示了被访问次数为1次(图11(a))、2次(图11(b))及3次(图11(c))的次要信息局部二值区域块集合。

从一系列实验结果来看，独立细胞与粘连细胞情况检测方法能够有效地检测和区分独立细胞与粘连细胞。而且基于次要信息构建的独立细胞凸集近似估计区域能够在一定程度上接近标准的分割结果。至此，除了将主要信息和中间信息作为描述目标区域的方式，次要信息计数图与访问图也能在一定程度上反映目标之间的关系，也可用于描述目标区域。

第二种检测方法为粘连细胞的粘连方式检测，即基于目标椭圆近似区域与椭圆轴关系进行检测与分析。

具体的，将基于细胞主要信息构建其近似的椭圆形区域。椭圆中存在长轴与短轴，那么长轴方向可以看作是细胞延伸的主方向，而短轴方向可以看成是细胞收缩的主方向。基于细胞主要信息，通过形态学椭圆估计方法，可以确定椭圆的长轴与短轴的长度，以及两者之间的角度。已知细胞主要信息的中心点坐标，便可画出离散域上以及连续域上的椭圆形状覆盖区域。

如图12示，其给出了PCM_0001的基于细胞主要信息的椭圆区域近似估计结果。图12(a)是在离散域上的椭圆蒙板。虽然目标之间的主要信息是不存在相交情况，但是在椭圆区域近似估计之后，某些位置会出现像素相交情况。所以在伪彩色图12(b)中，有些局部区域呈现为深红色(相互覆盖区域)，而大部分区域是显示为绿色(无覆盖区域)。椭圆区域近似估计结果比矩形和凸集区域近似估计结果更能反映细胞的生物形态。椭圆近似估计结果不仅能表征细胞的生物形态，而且其还有另外一个用途，就是确定粘连细胞的粘连方式。虽然独立细胞与粘连细胞情况检测方法可以确定哪些细胞是粘连在一起，哪些细胞是独立的，但是并没有回答粘连细胞是如何粘连的问题。所以接下去将阐述一种基于椭圆长轴延长线交点确定粘连细胞是如何粘连的方法。

在图13中，给出了用于确定细胞粘连方式的椭圆长轴延长线交点检测的两个实例。这些实例都是截取于图12(b)。图13(a)与图13(b)是来自于PCM_0001的两个细胞粘连情况，分别记为PCM_1A与PCM_1B。从图中可以看到，每条直线或者线段都对应于每个椭圆区域的长轴，且长轴延长线通过椭圆区域的中心点。中心点都标为黑色实心点。而且线段之间存在着一些交点，这些交点也分别用黑色和白色实心点标记出来。在此图中，不同颜色的标记点仅用于同时表示椭圆区域中心点与线段之间的交点，而不区分其他具体的含义。

通过分析图13中的中心点与线段交点，可以知道虽然这些多个细胞处于一个细胞粘连情况，但是在某些细胞粘连情况内部，并不是两两细胞都是粘连的。由此便可以更新其所对应的粘连指示矩阵，即剔除那些虽然处于一个粘连情况但实际是不粘连的细胞对标记值。最终可以得到如图14所示修正后的细胞粘连指示矩阵，能更细致简洁地表示粘连细胞之间的粘连方式。

本实施例中，分割模块24用于基于已检测到的相关信息，通过区域块分离与分组方法，不断扩展细胞信息以构建细胞最终的分割结果。

其中，分割模块24具体包括：

分离分组单元，用于采用所述细胞次要信息进行分离与分组算法对所述细胞次要信息进行合理地分离与分组；

构建分割单元，用于基于分离与分组后的细胞层级结构信息，近似估计目标凸集区域作为最终的目标分割结果。

具体的，基于次要信息进行独立细胞与粘连细胞情况检测之后，已经得到了很多次要信息局部区域块指示信息图。基于椭圆区域检测细胞粘连方式之后，也得到了细胞粘连情况内部具体的粘连方式信息。下面将对粘连细胞利用已检测出的信息，分离与分组相关的次要信息局部区域块，从而构建准确的目标分割结果区域。虽然处于次要信息的局部区域块具有独特的形状与结构，次要信息分离方式与主要信息以及次要信息的区域分离方法类似。在分离的时候，采用PairSplit算法。在分组的时候，采用GraphCrawl算法。

基于PCM_0001已检测的结果，对于其中的粘连情况，其对应的次要信息局部块计数结果图(图9(b)和图10(b))中也存在仅被访问1次的局部区域块，可以首先将其分组到具体的细胞信息中去。如图15所示，其融合了细胞主要信息以及仅被访问了1次的次要信息局部区域块。针对独立细胞，直接由图9(b)所定义的凸集区域进行表示。而且，在伪彩色图像中，针对不同细胞的不同层级结构信息区域块具有相同的标色与标号。

由于PCM_0001中的细胞粘连情况比较复杂，对于很多粘连情况需要确定其分离位置，才能再进行区域块分组操作。所以在图16中，将这些被访问2次和3次的局部区域块进行单独分析。

图16中，展示了被多次访问的次要信息局部二值区域块集合，这些区域块都是待分离的区域块。

图17中，直接给出了PCM_0001中十个细胞粘连情况中被多次访问的次要信息局部区域块，以及每个局部区域块所对应的最佳分离位置。在伪彩色图像中，每个最佳分离位置都用深红色线条表示。可以看出，这些分离位置是合理的，且用于划分区域也是有效的。

图18中，给出了将被多次访问的次要信息局部区域块合理地分离与分组之后的最终结果。图18(a)是融合了细胞主要信息、中间信息以及次要信息的细胞多层级结构信息结果。基于图18(a)中所有细胞层级结构信息，近似估计目标凸集区域，并将其边界覆盖在原图上，便可得到图18(b)的结果。从图18(b)中，能够清晰地看出每个细胞的覆盖区域，而且很多凸集区域边界与细胞边界完全贴合。那么图18(b)便可作为PCM_0001的最终细胞分割区域结果。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (10)

1.一种基于层级结构信息构建细胞分割区域的方法，其特征在于，包括步骤：

S1、定义相差显微镜细胞图像中的主要信息、中间信息及次要信息；

S2、基于所述细胞主要信息，扩展所述细胞中间信息；

S3、基于细胞的灰度层级结构信息，检测与分析细胞之间各自独立与相互粘连的情况；

S4、基于已检测到的相关信息，通过区域块分离与分组方法，不断扩展细胞信息以构建细胞最终的分割结果。

2.根据权利要求1所述的一种基于层级结构信息构建细胞分割区域的方法，其特征在于，步骤S1具体包括：

通过相差显微镜成像系统，获取所述相差显微镜细胞图像；

采用多类别最大类间方差算法将所述相差显微镜细胞图像划分为深暗区域、高亮区域及高亮区域内部的封闭区域；

定义深暗区域为细胞主要信息，高亮区域为细胞次要信息，高亮区域内部的封闭区域为细胞中间信息。

3.根据权利要求1所述的一种基于层级结构信息构建细胞分割区域的方法，其特征在于，步骤S2具体包括：

通过帧间关联或者手动标记的方式确定图像中各个细胞的主要信息；

将可利用的中间信息局部区域块与细胞主要信息相互融合以扩展细胞的检测与分割区域；

若扩展区域范围时产生粘连情况，运用目标对分离与分组算法进行处理。

4.根据权利要求1所述的一种基于层级结构信息构建细胞分割区域的方法，其特征在于，步骤S3具体包括：

采用独立细胞与粘连细胞检测方法和粘连细胞的粘连方式检测方法分别对细胞关系进行分析检测。

5.根据权利要求1所述的一种基于层级结构信息构建细胞分割区域的方法，其特征在于，步骤S4具体包括：

采用所述细胞次要信息进行分离与分组算法对所述细胞次要信息进行合理地分离与分组；

基于分离与分组后的细胞层级结构信息，近似估计目标凸集区域作为最终的目标分割结果。

6.一种基于层级结构信息构建细胞分割区域的系统，其特征在于，包括：

定义模块，用于定义相差显微镜细胞图像中的主要信息、中间信息及次要信息；

扩展模块，用于基于所述细胞主要信息，扩展所述细胞中间信息；

检测模块，用于基于细胞的灰度层级结构信息，检测与分析细胞之间各自独立与相互粘连的情况；

分割模块，用于基于已检测到的相关信息，通过区域块分离与分组方法，不断扩展细胞信息以构建细胞最终的分割结果。

7.根据权利要求6所述的一种基于层级结构信息构建细胞分割区域的系统，其特征在于，所述定义模块具体包括：

图像获取单元，用于通过相差显微镜成像系统，获取所述相差显微镜细胞图像；

区域分类单元，用于采用多类别最大类间方差算法将所述相差显微镜细胞图像划分为深暗区域、高亮区域及高亮区域内部的封闭区域；

信息分类单元，用于定义深暗区域为细胞主要信息，高亮区域为细胞次要信息，高亮区域内部的封闭区域为细胞中间信息。

8.根据权利要求6所述的一种基于层级结构信息构建细胞分割区域的系统，其特征在于，所述扩展模块具体包括：

标记单元，用于通过帧间关联或者手动标记的方式确定图像中各个细胞的主要信息；

融合单元，用于将可利用的中间信息局部区域块与细胞主要信息相互融合以扩展细胞的检测与分割区域；

处理单元，用于若扩展区域范围时产生粘连情况，运用目标对分离与分组算法进行处理。

9.根据权利要求6所述的一种基于层级结构信息构建细胞分割区域的系统，其特征在于，所述检测模块具体包括：

分析检测单元，用于采用独立细胞与粘连细胞检测方法和粘连细胞的粘连方式检测方法分别对细胞关系进行分析检测。

10.根据权利要求6所述的一种基于层级结构信息构建细胞分割区域的系统，其特征在于，所述分割模块具体包括：

分离分组单元，用于采用所述细胞次要信息进行分离与分组算法对所述细胞次要信息进行合理地分离与分组；

构建分割单元，用于基于分离与分组后的细胞层级结构信息，近似估计目标凸集区域作为最终的目标分割结果。