CN104933707B - 一种基于多光子共焦显微细胞图像的超像素重构分割与重建方法 - Google Patents

Abstract

本发明涉及一种基于多光子共焦显微细胞图像的超像素重构分割与重建方法，首先选择若干张待处理的多光子共焦显微细胞图片并将其从RGB格式转化到CIELAB颜色空间；确定每张图片中超像素的个数，确定每一个超像素的中心像素点的位置；对每个像素进行聚类，计算每一个像素到最近几个超像素的中心像素的距离D，确定每个像素属于哪一个超像素；对每一个超像素进行标记，对每一个超像素包含的像素进行标记，确定每一个超像素的边界，将每个超像素的边界均映射回原图像，得到初分割图像并对其进行后期处理,得到多光子共焦显微细胞图像的分割图像；最后对分割图像进行三维重建。本发明能够实现对细胞不同时期的成长状态进行观测。

Description

一种基于多光子共焦显微细胞图像的超像素重构分割与重建 方法

技术领域

本发明涉及图像处理和生物医学的交叉领域，特别是一种基于多光子共焦显微细胞图像的超像素重构分割与重建方法。

背景技术

多光子激光扫描显微镜采用多光子激发，这是一个非线性过程，具有准确的定位特征，也就是只有在焦点处的光子才能激发荧光分子，光漂白和光损伤仅局限于焦点附近，且有利于减少测试样品的自发荧光，这样可以对活细胞进行更长时间的观察。多光子激光扫描显微镜采用波长较长的红外激光,能量脉冲式激发,红外光比可见光在生物组织中的穿透力更强,因此多光子激光扫描显微镜更能解决生物组织中深层物质的层析成像问题,扩大了应用范围。其在生物及医学成像，单分子探测，三维信息存储，微加工等领域得到广泛应用，展示了广阔的发展前景。

图像分割技术是一直受到人们重视的关键技术，至今已提出上千种算法，但是尚无通用的分割理论，现提出的分割算法大都是针对具体问题的，并没有一种适合所有图像的通用的分割算法。在计算机视觉领域，图像分割指的是将数字图像细分为多个图像子区域(像素的集合)的过程。最近几年又出现了许多新思路，新方法或改进算法，这些经典算法和新出现的算法都各有优缺点。有的算法对图像的边界不敏感，无法准确分割出图像；也有很多算法对噪声很敏感，容易造成过分割现象；多数算法对光照不均图像的分割效果并不好。超像素是由一系列位置相邻且颜色、亮度、纹理等特征相似的像素点组成的小区域。这些小区域大多保留了进一步进行图像分割的有效信息，且一般不会破坏图像中物体的边界信息。根据图像中细胞的大小来调整参数，小区域可以很好地将边界分割出来，并且有噪声对其的影响不大，计算速度快等优点。

医学成像的临床应用，使得医学诊断和治疗技术取得了很大的发展，但是传统的二维图像只是表达某一截面的解剖信息。为提高医疗诊断和治疗规划的准确性与科学性，由二维图像转变为具有直观立体效果的图像，展现人体器官的三维结构与形态。在细胞图像处理过程中,细胞的显微图像在临床诊断中有着重要意义。细胞图像的自动分析技术为临床医学的研究提供了强有力的工具，但是在细胞的显微图像中经常出现细胞重叠和粘连现象，这种由多个细胞聚堆而成的细胞群通常会严重影响后续的统计分析,所以通过重建三维立体的细胞图像具有很重要的现实意义。

发明内容

有鉴于此，本发明的目的是提出一种基于多光子共焦显微细胞图像的超像素重构分割与重建方法，将超像素的重构图像分割方法用于双光子共焦显微图像中,得到一系列二维分割图像,最后将二维图像重建为三维图像,该方法有利于实现对细胞不同时期的成长状态进行观测。

本发明采用以下方案实现：一种基于多光子共焦显微细胞图像的超像素重构分割与重建方法，其特征在于包括以下步骤：

步骤S1：选择若干张待处理的多光子共焦显微细胞图片，并将所述待处理的多光子共焦显微细胞图片从RGB格式转化到CIELAB颜色空间；

步骤S2：确定每张图片中的超像素的个数K，进一步确定每一个超像素的中心像素点g_c的位置；

步骤S3：对每个像素进行聚类，计算每一个像素到最近几个超像素的中心像素的距离D，当D最小时，这个超像素就包含了这个像素；

步骤S4：对无法正确判断其属于哪个超像素的像素进行处理，使该像素属于离其最接近的超像素；

步骤S5：对上述步骤中确定的每一个超像素进行标记，即针对每一个超像素建立一个标记矩阵，对每一个超像素包含的像素进行标记，同一个超像素中的像素标记相同，不同超像素中的像素标记不同；

步骤S6：确定每一个超像素的边界，即标记矩阵中不同标记的边缘就是分割出来的边界，将每个超像素的边界均映射回原图像，得到初分割图像；

步骤S7：对初分割图像进行后期处理,将超像素图像映射到超像素矩阵中,对重构出的超像素图像进行分割,最后映射回到原来的图像中，得到多光子共焦显微细胞图像的分割图像；

步骤S8：对多光子共焦显微细胞图像的分割图像进行三维重建。

进一步地，所述步骤S2中所述确定每一个超像素的中心像素点的位置具体包括以下步骤：

步骤S21：将图片均匀地分成K个正方形区域，每个正方形区域的边长为其中N为图片中像素的个数，K为超像素的个数；

步骤S22：针对单一正方形区域，定义正方形区域的几何中心是g_c，在g_c及其周围8个像素点构造的3×3邻域中，计算邻域内的几何中心g_c与周围8个像素点g_p的灰度值的局部差异值C_p，C_p＝g_p-g_c；其中p＝0,1,2,3,4,5,6,7；步骤S23：计算每个局部差异C_p对应的局部差异幅度值S_p，其中S_p＝|C_p|，并选取最小S_p对应的像素点为新的中心像素点g_c，并确定该中心像素点g_c对应的位置；

步骤S24：重复步骤S22至步骤S23，直至计算完所有正方形区域的中心像素点的位置。

进一步地，所述步骤S3具体包括以下步骤：

步骤S31：分别以各个中心像素点g_c为几何中心，2S为边长的正方形作为各个中心像素点的搜索范围，将没有重合的搜索范围内的像素点确定为属于对应该搜索范围的超像素内的像素点；当搜索范围重合时，进入步骤S32；

步骤S32：定义距离其中d_c为目标像素点与中心像素点的颜色空间距离，d_s是目标像素点与中心像素点的位置空间距离,m为权重值；其中l,a,b,x,y均为像素点的特性，l、a、b是lab模式的三个通道，x、y是像素点的坐标；较佳地，当m越大时，距离D与位置空间距离关系越密切，超像素表现得更紧凑。当m越小时，距离D与颜色空间距离关系越密切，超像素越毗邻图像的边缘，一般m的取值范围为0＜m≤40；

步骤S33：当目标像素点与当前中心像素点i的距离D_i最小时，目标像素点与当前中心像素点i属于同一个超像素；

步骤S34：当有一个像素点加入一个超像素时，更新该超像素的中心点的位置，所述该超像素的中心点的特性为该超像素中所有的像素点的特性的平均值

进一步地，所述步骤S5中所述针对每一个超像素建立一个标记矩阵具体包括以下步骤：

步骤S51：记录属于同一个超像素中的像素的位置，然后在标记矩阵中将对应的位置标记为相同的序号，第i个超像素中的像素在标记矩阵中均标记为i，i＝1,2，...，K；

步骤S52：由于中心像素点有可能偏离原来位置点的距离过大，所以标记的过程中有可能会遗漏，因此在依次标记完所有的超像素后，标记矩阵中剩余的个数用来标记漏标记的超像素。

进一步地，所述步骤S7具体包括以下步骤：

步骤S71：对原图像中的超像素按照从左到右，从上到下进行排序后映射到超像素矩阵中，一个超像素对应超像素矩阵中的一个点，以超像素中的所有像素的颜色空间的特性的平均值来表示超像素矩阵中对应的点，即超像素矩阵中的对应点的像素为进而重构出一幅新的图像；

步骤S72：按从上到下，从左到右的顺序检测原图像中的所有超像素的中心点，检测到的第i个中心点就对应超像素矩阵中的第i个点，i＝1,2，...，K；若在一行中检测到的中心点个数小于则将超像素矩阵中该行剩下的点设置为0；

步骤S73：对超像素矩阵应用分水岭算法，得到超像素图像的分割图像；

步骤S74：在超像素图像的分割图像中对每一块分割区域进行标记，并映射回到原来的图像中,进而重构得到多光子共焦显微细胞图像的分割图像。

进一步的，所述步骤S8具体包括以下步骤：

步骤S81：将步骤S7得到的多光子共焦显微细胞图像的分割图像进行轮廓线包围检测,并用种子填充算法检测出所述多光子共焦显微细胞图像的分割图像的外轮廓线和对应的内轮廓线,将外轮廓线与内轮廓线均称为轮廓线，并将每张分割图像上的轮廓线均进行标记，确定轮廓间的对应关系。

步骤S82：提取轮廓线上一系列点，相邻点间有相同数目的轮廓点，所述轮廓点数依照总轮廓点数而定，以逆时针方向为序存储，将所述一系列点用直线连接起来，进而近似表达出轮廓线的形状；

步骤S83：用三角剖分算法进行表面重建，按照剖分三角片集中的最小内角在整体上尽可能大的优化准则进行剖分,得到重建表面。

与现有技术相比，本发明有以下有益效果：

1、本发明将超像素重构分割方法用于多光子共焦显微图像中，通过设置参数可以准确的将图像中的边界部分分割出来，效果明显优于现有的图像分割算法；

2、本发明使用超像素重构分割方法可以很简单实现，并且可以明显减少算法的运行时间，节约系统内存；

3、本发明将位置空间和颜色空间结合起来判断超像素的组成部分，可以很方便的控制超像素的密集度，达到确定边界和颜色区域的目的；

4、本发明在超像素重构分割方法的基础上提出超像素矩阵，用现有的分水岭算法对超像素矩阵进行分割，能达到很好的边界分割效果；

5、本发明将同一组细胞的不同切片组织的图像进行分割，再通过三维成像技术将分割图像重建为三维立体图像，可以提高重建的精度；

6、本发明实现了对多光子共焦显微细胞图像的三维重建，可以帮助医生观测不同时期细胞的生长状态，从而判断细胞是否癌变以及癌变的程度，并对其他医学和显微细胞图像的重建研究具有一定的参考价值。

附图说明

图1是本发明实施例的工作流程图。

图2是本发明实施例中超像素重构分割方法的示意图。

图3是本发明实施例中超像素矩阵显示为图像的示意图。

图4是本发明实施例中分割图像的示意图。

图5是本发明实施例中的映射到原图像中的分割边界的示意图。

图6是本发明实施例中的三维重建的示意图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

如图1所示，本实施例提供了一种基于多光子共焦显微细胞图像的超像素重构分割与重建方法，首先将待处理RGB格式的多光子共焦显微细胞图像转化到CIELAB颜色空间；确定产生K个超像素后，将图片均匀地分成K个正方形区域，在正方形的几何中心的3×3邻域中，确定梯度最小的位置，这个就是中心像素点的位置；通过定义距离D来判断像素与超像素中心的归属关系，当D最小时像素就归属于那个超像素，在超像素的形状不断变化的过程中需要不断更新中心像素点的位置；去除坏点是为了让像素归属于正确的超像素，是对所有像素进行优化的过程；生成一个标记矩阵，一个超像素包含的像素位置在标记矩阵中为相同的值，不同的超像素的值不同；有了标记矩阵后就可以确定超像素重构算法的分割边界，在标记矩阵中不同值的边界就是分割边界，映射回到原图像中就可以得到原图像的超像素分割图像；对原图像中的超像素进行排序映射到一个新的超像素矩阵，一个超像素对应超像素矩阵中的一个点形成一幅新的图像，以超像素中的所有像素的颜色空间的特性的平均值来表示超像素矩阵中对应的点，用适当大小的模板去检测原图像中的超像素的中心点，按顺序检测，检测到一个中心点就对应超像素矩阵中的一个点。由于中心像素点有可能偏移而无法在同一行被检测到，剩下的点设置为0。对超像素矩阵应用分水岭算法，可以得到超像素图像的分割图像；将同一组细胞的不同切片图像进行分割后的三维重建，得到三维立体图像。

本实施例还提供了具体处理过程如下：

步骤1.将22张同一个组织的细胞切片图像作为样本，将所有的切片图像转化到CIELAB颜色空间。

步骤2.确定每张图像的超像素的个数K，进一步确定每一个超像素的中心像素的位置；

在本实施例中，确定每一个超像素的中心像素位置，包括以下步骤：

(1)将每张图片均匀地分成K个正方形区域，每个正方形区域的边长为N为图片中像素的个数，K为超像素的个数；

(2)正方形的几何中心是g_c，在g_c及其周围8个像素点构造的3×3邻域中，分别计算各个邻域内的中心像素点g_c与周围8个像素点g_p(p＝0,1,…,7)的灰度值的局部差异C_p，即C_p＝g_p-g_c；

(3)计算各个局部差异C_p对应的局部差异幅度值S_p，即S_p＝|C_p|；

(4)S_p最小的时候，对应的就是梯度最小的位置，即中心像素点的位置。

按照(1)-(4)的步骤可以得到所有图像的超像素的中心像素点。

步骤3.对每一个像素进行聚类，判断其属于哪一个超像素。

在本实施中，，确定像素的归属，包括以下步骤：

(1)以g_c为几何中心，2S为边长的正方形就是相对应的中心像素点的搜索范围。当搜索范围没有重合的时候可以明确像素点属于哪个超像素，当搜索范围重合的时候需要用距离D来判断属于哪个超像素；

(2)距离这里的d_c是在lab模式中目标像素点与中心像素点的颜色空间距离，即d_s是两个像素点的位置空间距离,即m是权重值，当m越大时，距离D与位置空间距离关系越密切，超像素表现得更紧凑。当m越小时，距离D与颜色空间距离关系越密切，超像素越毗邻图像的边缘，一般m的取值范围为0＜m≤40；

(3)一个像素点有一系列特性，即[l,a,b,x,y]^T。当有一个像素加入超像素的时候就要更新中心点的位置，即中心点的特性为超像素中所有点的平均值

(4)当目标像素点与中心像素点i的距离D_i最小时，目标像素点与中心像素点i属于同一个超像素；

(5)按照(1)-(4)的步骤可以得到每张图像的超像素。

步骤4.去除坏点是为了让像素归属于正确的超像素，是对所有像素进行优化的过程。

步骤5.对每一个超像素进行标记，即对每张图像建立一个标记矩阵。

在本实施例中，建立标记矩阵，包括以下步骤：

(1)记录属于同一个超像素中的像素的位置，然后在标记矩阵中将对应的位置标记为相同的序号，第一个超像素标记为1，依次类推；

(2)由于中心像素点有可能偏离原来位置点的距离过大，所以标记的过程中有可能会遗漏，所以在依次标记完所有的超像素后，剩余的个数需要用来标记未标记的部分；

(3)根据(1)-(2)的步骤可以得到每张图像的标记矩阵。

步骤6.确定超像素的边界，即标记矩阵中不同标记的边缘就是分割出来的边界，将超像素的边界映射回到原图像。

步骤7.对分割图像进行后期处理。

对于本实施例，对分割图像进行后期处理，包括以下步骤：

(1)对原图像中的超像素进行从上到下，从左到右排序映射到超像素矩阵，一个超像素对应超像素矩阵中的一个点形成一幅新的图像，以超像素中的所有像素的颜色空间的特性的平均值来表示超像素矩阵中对应的点，即超像素矩阵中的对应点的像素为

(2)用适当大小的模板去检测原图像中的超像素的中心点，按顺序检测，检测到一个中心点就对应超像素矩阵中的一个点。由于中心像素点有可能偏移而无法在同一行被检测到，并且超像素矩阵中每一行像素的个数为如果一行中检测到的中心点个数小于那么剩下的点设置为0；

(3)对超像素矩阵应用分水岭算法，可以得到超像素图像的分割图像；

(4)将超像素图像的分割边界映射回到原来的图像，对每一块区域进行标记，映射回到原来的图像中，最后可以得到多光子共焦显微细胞图像的分割图像；

(5)按照(1)-(4)的步骤可以得到每张图像的最终分割图像。

步骤8.对分割后的图像进行三维重建。

(1)进行轮廓线包围检测,用种子填充算法检测出外轮廓线和对应的内轮廓线,并将每张分割图像上的轮廓线进行标记，确定轮廓间的对应关系。

(2)提取轮廓线上一系列点，相邻点间有相同数目的轮廓点，轮廓点数依照总轮廓点数而定，这些点的连线能近似表达出轮廓线的形状，这里统一以逆时针方向为序存储。

(3)用最短对角线法剖分算法进行表面重建，按照剖分三角片集中的最小内角在整体上尽可能大的优化准则进行剖分,得到质量较好的重建表面。

较佳地，在本实施例中，图2是本发明中用超像素重构算法得到的图像，超像素个数为K＝8000,权重m＝10；图3是本发明中生成的超像素矩阵显示的图像；图4是本发明中生成的分割图像；图5是本发明中映射到原图像中的分割边界的示意图；图6是本发明中重建的三维立体图像。

本发明的优势可以通过以下实验进一步说明：

实验内容：使用归一化分割算法NC(Normalized Cuts)、涡轮像素算法TP(Turbospixel)、快速交换算法QS(Quick Shift)以及本发明算法对同一张多光子共焦显微细胞图像进行处理，将本发明方法的效果与他们比较，主要比较它们的时间复杂度。这里使用的计算机的性能为英特尔双核2.26GHz的处理器，内存为2GB。

实验结果：下表中主要比较了这几种算法的时间复杂度，以及能否控制超像素的数量以及密集度。

综上所述，采用本发明方法对多光子共焦显微图像进行改进的超像素分割，可以很好的降低算法的时间复杂度，以及控制超像素的个数和超像素的密集度，可以达到很好的边缘分割效果，然后通过生成超像素矩阵来使用传统分水岭算法进行分割，最后映射回到原来的图像，达到良好的细胞分割效果。在图像分割的基础上进行三维细胞的立体重建，能清楚地观测到细胞的形态特征，具有极佳的分辨效果，对判断细胞是否癌变以及癌变的阶段有很重要的作用。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (5)

1.一种基于多光子共焦显微细胞图像的超像素重构分割与重建方法，其特征在于包括以下步骤：

步骤S1：选择若干张待处理的多光子共焦显微细胞图片，并将所述待处理的多光子共焦显微细胞图片从RGB格式转化到CIELAB颜色空间；

步骤S2：确定每张图片中的超像素的个数K，进一步确定每一个超像素的中心像素点g_c的位置；

步骤S3：对每个像素进行聚类，计算每一个像素到最近几个超像素的中心像素的距离D，当D最小时，这个超像素就包含了这个像素；

步骤S4：对无法正确判断其属于哪个超像素的像素进行处理，使该像素属于离其最接近的超像素；

步骤S5：对上述步骤中确定的每一个超像素进行标记，即针对每一个超像素建立一个标记矩阵，对每一个超像素包含的像素进行标记，同一个超像素中的像素标记相同，不同超像素中的像素标记不同；

步骤S6：确定每一个超像素的边界，即标记矩阵中不同标记的边缘就是分割出来的边界，将每个超像素的边界均映射回原图像，得到初分割图像；

步骤S7：对初分割图像进行后期处理,将超像素图像映射到超像素矩阵中,对重构出的超像素图像进行分割,最后映射回到原来的图像中，得到多光子共焦显微细胞图像的分割图像；

步骤S8：对多光子共焦显微细胞图像的分割图像进行三维重建；

其中，所述步骤S7具体包括以下步骤：

步骤S71：对原图像中的超像素按照从左到右，从上到下进行排序后映射到超像素矩阵中，一个超像素对应超像素矩阵中的一个点，以超像素中的所有像素的颜色空间的特性的平均值来表示超像素矩阵中对应的点，即超像素矩阵中的对应点的像素为进而重构出一幅新的图像；

步骤S72：按从上到下，从左到右的顺序检测原图像中的所有超像素的中心点，检测到的第i个中心点就对应超像素矩阵中的第i个点，i＝1,2，...，K；若在一行中检测到的中心点个数小于则将超像素矩阵中该行剩下的点设置为0；其中，表示超像素矩阵中每一行像素的个数；

步骤S73：对超像素矩阵应用分水岭算法，得到超像素图像的分割图像；

步骤S74：在超像素图像的分割图像中对每一块分割区域进行标记，并映射回到原来的图像中,进而重构得到多光子共焦显微细胞图像的分割图像。

2.根据权利要求1所述的一种基于多光子共焦显微细胞图像的超像素重构分割与重建方法，其特征在于：所述步骤S2中所述确定每一个超像素的中心像素点的位置具体包括以下步骤：

步骤S21：将图片均匀地分成K个正方形区域，每个正方形区域的边长为其中N为图片中像素的个数，K为超像素的个数；

步骤S22：针对单一正方形区域，定义正方形区域的几何中心是g_c，在g_c及其周围8个像素点构造的3×3邻域中，计算邻域内的几何中心g_c与周围8个像素点g_p的灰度值的局部差异值C_p，C_p＝g_p-g_c；其中p＝0,1,2,3,4,5,6,7；

步骤S23：计算每个局部差异C_p对应的局部差异幅度值S_p，其中S_p＝|C_p|，并选取最小S_p对应的像素点为新的中心像素点g_c，并确定该中心像素点g_c对应的位置；

步骤S24：重复步骤S22至步骤S23，直至计算完所有正方形区域的中心像素点的位置。

3.根据权利要求1所述的一种基于多光子共焦显微细胞图像的超像素重构分割与重建方法，其特征在于：所述步骤S3具体包括以下步骤：

步骤S31：分别以各个中心像素点g_c为几何中心，2S为边长的正方形作为各个中心像素点的搜索范围，将没有重合的搜索范围内的像素点确定为属于对应该搜索范围的超像素内的像素点；当搜索范围重合时，进入步骤S32；

步骤S32：定义距离其中d_c为目标像素点与中心像素点的颜色空间距离，d_s是目标像素点与中心像素点的位置空间距离,m为权重值；其中l,a,b,x,y均为像素点的特性，l、a、b是lab模式的三个通道，x、y是像素点的坐标；

步骤S33：当目标像素点与当前中心像素点i的距离D_i最小时，目标像素点与当前中心像素点i属于同一个超像素；

步骤S34：当有一个像素点加入一个超像素时，更新该超像素的中心点的位置，所述该超像素的中心点的特性为该超像素中所有的像素点的特性的平均值

4.根据权利要求1所述的一种基于多光子共焦显微细胞图像的超像素重构分割与重建方法，其特征在于：所述步骤S5中所述针对每一个超像素建立一个标记矩阵，具体包括以下步骤：

步骤S51：记录属于同一个超像素中的像素的位置，然后在标记矩阵中将对应的位置标记为相同的序号，第i个超像素中的像素在标记矩阵中均标记为i，i＝1,2，...，K；

步骤S52：在依次标记完所有的超像素后，标记矩阵中剩余的个数用来标记漏标记的超像素。

5.根据权利要求1所述的一种基于多光子共焦显微细胞图像的超像素重构分割与重建方法，其特征在于：所述步骤S8具体包括以下步骤：

步骤S81：将步骤S7得到的多光子共焦显微细胞图像的分割图像进行轮廓线包围检测,并用种子填充算法检测出所述多光子共焦显微细胞图像的分割图像的外轮廓线和对应的内轮廓线,将外轮廓线与内轮廓线均称为轮廓线，并将每张分割图像上的轮廓线均进行标记，确定轮廓间的对应关系；

步骤S82：提取轮廓线上一系列点，相邻点间有相同数目的轮廓点，所述轮廓点数依照总轮廓点数而定，以逆时针方向为序存储，将所述一系列点用直线连接起来，进而近似表达出轮廓线的形状；

步骤S83：用三角剖分算法进行表面重建，按照剖分三角片集中的最小内角在整体上尽可能大的优化准则进行剖分,得到重建表面。