CN106780522B - 一种基于深度学习的骨髓液细胞分割方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的骨髓液细胞分割方法，涉及生物医学图像处理和计算机应用领域。与现有技术相比，本发明实施例提供的骨髓液细胞分割方法采用聚类算法和深度学习方法来实现，直观易用；通过分割质量的自动评价体系，使得分割结果更加准确；充分利用了HSV图像的分量特点，设计了独特的区域生长法，大大简化了计算过程，提高了效率。

Description

一种基于深度学习的骨髓液细胞分割方法

技术领域

本发明涉及生物医学图像处理和计算机应用领域，尤其涉及一种基于深度学习的骨髓液细胞分割方法。

背景技术

骨髓液的血细胞学检查对某些血液病的诊断有重要意义。血液病的诊断，虽然已有荧光显微镜、位相差显微镜、电子显微镜、分子生物学、细胞化学、细胞遗传学、免疫学和活体组织检查等多种手段，但细胞形态学检查仍是最基本、最常用的重要诊断手段。大多数血液病，只靠细胞学检查结合临床资料就可做出正确诊断。在病理情况下，特别是在急性白血病病例中，细胞形态可发生畸形。即使有经验的血液学家也无法准确地辨认这些非典型细胞，目前，一般可以采用骨髓液检查的方法来确认这些非典型细胞。

目前，常规的骨髓液检查有人工识别和自动识别两类。人工识别的时间开销大，结果容易受到人的主观影响，并且培养一名专业的血细胞专家需要花费很大的人力物力。自动识别主要是利用骨髓液在显微镜下拍摄的彩色图像进行细胞的分类计数。这类方法应用模式识别技术可以对细胞进行自动识别，充分发挥了计算机视觉的准确率高，具有客观性的特点，大大提高了细胞识别的效率。

然而目前利用细胞图像进行细胞识别，还存在着一些问题。精确分割细胞并给出只包含单个细胞的检测窗口是细胞分类识别的基础。如果细胞分割不准确，那么细胞识别也将出现较大的误差。目前普遍采用的分割算法都基于阈值法或聚类法。然而当细胞染色不佳或者细胞粘连时，这类方法的分割结果不够准确。

发明内容

本发明的目的在于提供一种基于深度学习的骨髓液细胞分割方法，从而解决现有技术中存在的前述问题。

为了实现上述目的，本发明采用的技术方案如下：

一种基于深度学习的骨髓液细胞分割方法，包括如下步骤：

S1，获取细胞图像，并初步估计所述细胞图像内所有细胞的轮廓；

S2，根据所述细胞的轮廓，对所述细胞图像内所有细胞进行分割，确定每个细胞的矩形检测窗口；

S3，采用卷积深度网络对每个所述矩形检测窗口进行质量评价，判断每个所述矩形检测窗口中包含的细胞个数，得到初步分割结果；

S4，若所述矩形检测窗口包含多个细胞，则结合聚类算法和分水岭算法对所述初步分割结果进行精细分割，得到精细分割的细胞的轮廓，并执行S2，否则，执行S5；

S5，采用区域生长法，根据每个所述矩形检测窗口边缘的颜色分布，逐步增大所述矩形检测窗口，直到所述矩形检测窗口包含整个细胞；

S6，基于分割质量评价方法和各个所述矩形检测窗口的重叠度，判断S5中利用区域生长法得到的细胞窗口是否需要合并，将需要合并的窗口进行合并；

S7，去除每个细胞窗口中包含的其他细胞部分，输出单个细胞的分割结果。

优选地，S1中，所述初步估计所述细胞图像内所有细胞的轮廓，包括如下步骤：

S101，重排所述细胞图像中的所有n个像素，并将其表示为集合{x₁，...，x_n}，其中x_i是第i个像素点的表示向量；

S102，采用k-均值算法求解所述集合的最小值：

其中，μ₁，...，μ₃表示各个类的中心向量，S₁...，S₃是各类像素点的指标集合；

S103，通过以下公式估计各类像素点属于细胞核的可能性，确定代表细胞核的类l_cell：

其中，衡量了μ_l与细胞核的异类性，越小则第l类越可能是细胞核的类l_cell；

S104，建立第l_cell类像素点的遮掩图；

S105，提取所述遮掩图中第l_cell类点构成区域的所有外部轮廓，并删除周长较短，所围面积较小，或与图像边界相交的轮廓。

优选地，S3包括如下步骤：

S301，人工将S2中得到的大量的检测窗口分为不包含细胞，包含单个细胞和包含多个细胞的三类；

S302，用S301得到的三类数据训练卷积神经网络；

S303，训练完成后，用卷积神经网络评价检测窗口中的细胞分割质量，判断窗口内包含的细胞个数。

优选地，S4中，对于每个检测窗口依次进行处理，每次处理具体采用如下步骤进行实施：

S401，若S3中的质量评价方法认为某个检测窗口包含多个细胞或认为某个检测窗口的质量较差，则对该窗口使用S1中的k-均值算法，估计细胞核的区域；

S402，采用Canny算法检测模糊化后图像中的细胞边界；

S403，结合S401中得到的k-均值算法结果和S402中得到的细胞边界，建立细胞核的遮掩子图；

S404，对所述遮掩子图使用腐蚀算法，得到相互分离的细胞核中心；同时，对检测窗口的灰度图进行阈值截断，得到待决定细胞区域；

S405，在所述细胞核中心和所述待决定细胞区域应用分水岭算法，得到分割结果，删除原检测窗口中的轮廓，增加新得到的轮廓。

优选地，S5包括如下步骤：

S501，将图像RGB格式转为HSV格式，并只保留其中的饱和度信息；

S502，依次将窗口外侧与窗口边缘相邻的四条线段加入窗口，直到线段上的平均饱和度充分小，或饱和度的方差充分小，或线段两侧的饱和度大于中间的，或线段左右两侧的饱和度分布不均，或线段上包含其他细胞的比例较高。

优选地，S 6具体为：

S 601，判断某个窗口与另一个窗口中的细胞轮廓是否相交，如果是，则将两个窗口合并，得到新窗口，并执行S602，否则，执行S7；

S 602，用S3中训练完成的卷积神经网络判断新窗口内包含细胞的个数，若多于一个，则撤销合并，并执行S7，如果细胞个数为一个，则执行S7。

优选地，S7具体为：

检测每个窗口内是否包含其他轮廓，若是，则在检测窗口中剔除其他轮廓所围的部分，检测窗口中的细胞个数，并输出只包含一个细胞的窗口，否则，直接检测窗口中的细胞个数，并输出只包含一个细胞的窗口。

本发明的有益效果是：与现有技术相比，本发明实施例提供的骨髓液细胞分割方法采用聚类算法和深度学习方法来实现，直观易用；通过分割质量的自动评价体系，使得分割结果更加准确；充分利用了HSV图像的分量特点，设计了独特的区域生长法，大大简化了计算过程，提高了效率。

附图说明

图1是基于深度学习的骨髓液细胞分割方法的主要步骤；

图2是细胞图片在k-均值算法后得到的细胞核区域；

图3是利用图2提取的白色区域的轮廓；

图4是筛选后的轮廓；

图5是由包含多个细胞的检测窗口；

图6是应用k-均值算法于检测窗口后得到的细胞核区域；

图7是剔除轮廓后的检测窗口遮掩图；

图8是腐蚀后的遮掩图；

图9是应用阈值算法于检测窗口得到的未决定区域；

图10是分水岭算法得到的轮廓。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。

本发明实施例提供了一种基于深度学习的骨髓液细胞分割方法，包括如下步骤：

S1，获取细胞图像，并初步估计所述细胞图像内所有细胞的轮廓；

S2，根据所述细胞的轮廓，对所述细胞图像内所有细胞进行分割，确定每个细胞的矩形检测窗口；

S3，采用卷积深度网络对每个所述矩形检测窗口进行质量评价，判断每个所述矩形检测窗口中包含的细胞个数，得到初步分割结果；

S4，若所述矩形检测窗口包含多个细胞，则结合聚类算法和分水岭算法对所述初步分割结果进行精细分割，得到精细分割的细胞的轮廓，并执行S2，否则，执行S5；

S5，采用区域生长法，根据每个所述矩形检测窗口边缘的颜色分布，逐步增大所述矩形检测窗口，直到所述矩形检测窗口包含整个细胞；

S6，基于分割质量评价方法和各个所述矩形检测窗口的重叠度，判断S5中利用区域生长法得到的细胞窗口是否需要合并，将需要合并的窗口进行合并；

S7，去除每个细胞窗口中包含的其他细胞部分，输出单个细胞的分割结果。

其中，S1中，所述初步估计所述细胞图像内所有细胞的轮廓，可以包括如下步骤：

S101，重排所述细胞图像中的所有n个像素，并将其表示为集合{x₁，...，x_n}，其中x_i是第i个像素点的表示向量；

S102，采用k-均值算法求解所述集合的最小值：

其中，μ₁，...，μ₃表示各个类的中心向量，S₁...，S₃是各类像素点的指标集合；

S103，通过以下公式估计各类像素点属于细胞核的可能性，确定代表细胞核的类l_cell：

其中，衡量了μ_l与细胞核的异类性，越小则第l类越可能是细胞核的类l_cell；

S104，建立第l_cell类像素点的遮掩图；

S105，提取所述遮掩图中第l_cell类点构成区域的所有外部轮廓，并删除周长较短，所围面积较小，或与图像边界相交的轮廓。

S3可以包括如下步骤：

S301，人工将S2中得到的大量的检测窗口分为不包含细胞，包含单个细胞和包含多个细胞的三类；

S302，用S301得到的三类数据训练卷积神经网络；

S303，训练完成后，用卷积神经网络评价检测窗口中的细胞分割质量，判断窗口内包含的细胞个数。

S4中，对于每个检测窗口依次进行处理，每次处理具体可以采用如下步骤进行实施：

S401，若S3中的质量评价方法认为某个检测窗口包含多个细胞或认为某个检测窗口的质量较差，则对该窗口使用S1中的k-均值算法，估计细胞核的区域；

S402，采用Canny算法检测模糊化后图像中的细胞边界；

S403，结合S401中得到的k-均值算法结果和S402中得到的细胞边界，建立细胞核的遮掩子图；

S404，对所述遮掩子图使用腐蚀算法，得到相互分离的细胞核中心；同时，对检测窗口的灰度图进行阈值截断，得到待决定细胞区域；

S405，在所述细胞核中心和所述待决定细胞区域应用分水岭算法，得到分割结果，删除原检测窗口中的轮廓，增加新得到的轮廓。

S5可以包括如下步骤：

S501，将图像RGB格式转为HSV格式，并只保留其中的饱和度信息；

S502，依次将窗口外侧与窗口边缘相邻的四条线段加入窗口，直到线段上的平均饱和度充分小，或饱和度的方差充分小，或线段两侧的饱和度大于中间的，或线段左右两侧的饱和度分布不均，或线段上包含其他细胞的比例较高。

S 6具体可以为：

S 601，判断某个窗口与另一个窗口中的细胞轮廓是否相交，如果是，则将两个窗口合并，得到新窗口，并执行S602，否则，执行S7；

S 602，用S3中训练完成的卷积神经网络判断新窗口内包含细胞的个数，若多于一个，则撤销合并，并执行S7，如果细胞个数为一个，则执行S7。

S7具体可以为：

检测每个窗口内是否包含其他轮廓，若是，则在检测窗口中剔除其他轮廓所围的部分，检测窗口中的细胞个数，并输出只包含一个细胞的窗口，否则，直接检测窗口中的细胞个数，并输出只包含一个细胞的窗口。

具体实施例：

如图1所示，本发明实施例提供了一种基于深度学习的骨髓液细胞分割方法，可以采用如下步骤进行实施：

步骤(1)，初步估计细胞核位置。首先，用向量x_i＝(r_i，g_i，b_i，r_i-g_i，b_i-g_i)^T表示图像中的每个像素点，其中(r_i，g_i，b_i)分别为像素点的RGB分量。采用k-均值算法将这些向量分为3类，得中心向量μ_l＝(u₁，u₂，u₃，u₄，u₅，)^T,l＝1，2，3。令

计算代表细胞核的类建立遮掩图I(如图2)，估计得到的细胞核位置为白色，其余位置为黑色。提取遮掩图I白色前景的所有轮廓(如图3)。进一步，计算所有轮廓的周长和面积，即轮廓上像素点的个数和轮廓内部包含像素点的个数。删除周长小于200，所围面积小于2000或与图像边界交的轮廓(如图4)。

步骤(2)，确定检测窗口。根据每个轮廓的边界确定包含整个轮廓的最小矩形窗口。计算窗口边框与其他轮廓所围成的其他细胞区域Ω。计算窗口边缘Λ在区域Ω外的平均RGB像素值即

令区域Ω中所有点的像素值为得新窗口图像(如图5)。

步骤(3)，评价分割结果。用训练好的卷积神经网络Alexnet计算每个窗口包含不同细胞个数的可能性。若窗口含有不同细胞个数的可能性差别不大，则说明该窗口的分割质量较差。若某个窗口有较大可能包含细胞，则删除该窗口。若某个窗口有较大可能包含两个以上的细胞，则对该窗口执行步骤(4)。若窗口有较大可能只包含一个细胞，则执行步骤(5)。

步骤(4)，精确估计细胞核位置。首先采用(1)中的k-均值算法对修改后的窗口图像(如图5)进行像素点聚类，得到细胞核的遮掩图I(如图6)。模糊化细胞图像后，用Canny算法计算细胞轮廓图。膨胀轮廓图中的轮廓线，令遮掩图I中轮廓线的部分为黑色，得到遮掩图II(如图7)。对遮掩图II进行腐蚀，令腐蚀结果的每个分离部分为种子(如图8)。对窗口的灰度图进行阈值截断，令灰度较大的部分为细胞的待决定区域(如图9)。将分水岭算法应用于上述种子和待决定区域，得到分割结果并提取轮廓(如图10)。最后对每个轮廓执行步骤(2)。

步骤(5)，区域生长估计整个细胞。将图像RGB格式转为HSV格式，即色调(H)，饱和度(S)和明度(V)。计算窗口边缘区域Λ\Ω的饱和度平均值m和方差s。依次将窗口外侧与四条窗口边相邻的线段加入窗口，更新窗口边缘集合Λ，直到线段上的平均饱和度小于0.4m，或饱和度的方差小于0.4s，或线段两侧的饱和度小于中间饱和度的1.5倍，或线段左右两侧的饱和度相差50，或线段上属于区域Ω的比例高于90％。

步骤(6)，融合分割结果。若某个窗口与另一窗口中的轮廓相交，则将两个窗口合并。用基于卷积神经网络的质量评价方法检测窗口内包含细胞的个数。若多余一个或，则撤销合并。

步骤(7)，输出分割结果。判断每个窗口内是否包含其他轮廓。若有，则在检测窗口中剔除其他轮廓所围的部分。接着，判断窗口中的细胞个数。若只包含1个细胞，则输出该窗口。

通过采用本发明公开的上述技术方案，得到了如下有益的效果：与现有技术相比，本发明实施例提供的骨髓液细胞分割方法采用聚类算法和深度学习方法来实现，直观易用；通过分割质量的自动评价体系，使得分割结果更加准确；充分利用了HSV图像的分量特点，设计了独特的区域生长法，大大简化了计算过程，提高了效率。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域人员应该理解的是，上述实施例提供的方法步骤的时序可根据实际情况进行适应性调整，也可根据实际情况并发进行。

上述实施例涉及的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机设备可读取的存储介质中，用于执行上述各实施例方法所述的全部或部分步骤。所述计算机设备，例如：个人计算机、服务器、网络设备、智能移动终端、智能家居设备、穿戴式智能设备、车载智能设备等；所述的存储介质，例如：RAM、ROM、磁碟、磁带、光盘、闪存、U盘、移动硬盘、存储卡、记忆棒、网络服务器存储、网络云存储等。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (6)

1.一种基于深度学习的骨髓液细胞分割方法，其特征在于，包括如下步骤：

S1，获取细胞图像，并初步估计所述细胞图像内所有细胞的轮廓；

S2，根据所述细胞的轮廓，对所述细胞图像内所有细胞进行分割，确定每个细胞的矩形检测窗口；

S3，采用卷积深度网络对每个所述矩形检测窗口进行质量评价，判断每个所述矩形检测窗口中包含的细胞个数，得到初步分割结果；

S4，若所述矩形检测窗口包含多个细胞，则结合聚类算法和分水岭算法对所述初步分割结果进行精细分割，得到精细分割的细胞的轮廓，并执行S2，否则，执行S5；

S5，采用区域生长法，根据每个所述矩形检测窗口边缘的颜色分布，逐步增大所述矩形检测窗口，直到所述矩形检测窗口包含整个细胞；

S6，基于分割质量评价方法和各个所述矩形检测窗口的重叠度，判断S5中利用区域生长法得到的细胞窗口是否需要合并，将需要合并的窗口进行合并；

S7，去除每个细胞窗口中包含的其他细胞部分，输出单个细胞的分割结果；

S3包括如下步骤：

S301，人工将S2中得到的大量的检测窗口分为不包含细胞，包含单个细胞和包含多个细胞的三类；

S302，用S301得到的三类数据训练卷积神经网络；

S303，训练完成后，用卷积神经网络评价检测窗口中的细胞分割质量，判断窗口内包含的细胞个数。

2.根据权利要求1所述的基于深度学习的骨髓液细胞分割方法，其特征在于，S1中，所述初步估计所述细胞图像内所有细胞的轮廓，包括如下步骤：

S101，重排所述细胞图像中的所有n个像素，并将其表示为集合{x₁，...，x_n}，其中x_i是第i个像素点的表示向量；

S102，采用k-均值算法求解所述集合的最小值：

其中，μ₁，...，μ₃表示各个类的中心向量，S₁...，S₃是各类像素点的指标集合；

S103，通过以下公式估计各类像素点属于细胞核的可能性，确定代表细胞核的类l_cell：

其中，衡量了μ_l与细胞核的异类性，越小则第l类越可能是细胞核的类l_cell；

S104，建立第l_cell类像素点的遮掩图；

S105，提取所述遮掩图中第l_cell类点构成区域的所有外部轮廓，并删除周长小于200，所围面积小于2000，或与图像边界相交的轮廓。

3.根据权利要求2所述的基于深度学习的骨髓液细胞分割方法，其特征在于，S4中，对于每个检测窗口依次进行处理，每次处理具体采用如下步骤进行实施：

S401，若S3中的质量评价方法认为某个检测窗口包含多个细胞或认为某个检测窗口的质量较差，则对该窗口使用S1中的k-均值算法，估计细胞核的区域；

S402，采用Canny算法检测模糊化后图像中的细胞边界；

S403，结合S401中得到的k-均值算法结果和S402中得到的细胞边界，建立细胞核的遮掩子图；

S404，对所述遮掩子图使用腐蚀算法，得到相互分离的细胞核中心；同时，对检测窗口的灰度图进行阈值截断，得到待决定细胞区域；

S405，在所述细胞核中心和所述待决定细胞区域应用分水岭算法，得到分割结果，删除原检测窗口中的轮廓，增加新得到的轮廓。

4.根据权利要求1所述的基于深度学习的骨髓液细胞分割方法，其特征在于，S5包括如下步骤：

S501，将图像RGB格式转为HSV格式，并只保留其中的饱和度信息；

S502，依次将窗口外侧与窗口边缘相邻的四条线段加入窗口，直到线段上的平均饱和度小于0.4m，或饱和度的方差小于0.4s，或线段两侧的饱和度小于中间的饱和度的1.5倍，或线段左右两侧的饱和度相差50，或线段上包含其他细胞的比例高于90％。

5.根据权利要求1所述的基于深度学习的骨髓液细胞分割方法，其特征在于，S6具体为：

S 601，判断某个窗口与另一个窗口中的细胞轮廓是否相交，如果是，则将两个窗口合并，得到新窗口，并执行S602，否则，执行S7；

S 602，用S3中训练完成的卷积神经网络判断新窗口内包含细胞的个数，若多于一个，则撤销合并，并执行S7，如果细胞个数为一个，则执行S7。

6.根据权利要求1所述的基于深度学习的骨髓液细胞分割方法，其特征在于，S7具体为：

检测每个窗口内是否包含其他轮廓，若是，则在检测窗口中剔除其他轮廓所围的部分，检测窗口中的细胞个数，并输出只包含一个细胞的窗口，否则，直接检测窗口中的细胞个数，并输出只包含一个细胞的窗口。