CN109934828A - 基于Compact SegUnet自学习模型的双染色体图像切割方法 - Google Patents

Abstract

本发明揭示了一种基于Compact SegUnet自学习模型的双染色体切割方法，通过学习基于真实染色体图片模拟生成的双染色体重叠数据集，模型提取图像不同区域的高维度特征，根据染色体重叠区域与非重叠区域以及不同染色体之间的差异，对图片的每个像素预测其属于重叠区域和各条染色体的概率，最后选择概率最大的分类，能够完成重叠染色体像素层面上的分割。本发明相较于传统人工观察区分方法，极大的提高了效率，节省工作的时间与成本；与现有几何分割方法相比，克服了部分重叠不易分割的问题，实用性强；与现有深度学习模型相比，提高了分割准确率。

Description

基于Compact SegUnet自学习模型的双染色体图像切割方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于Compact SegUnet自学习模型的双染色体图像切割方法。

背景技术

随着电子计算机技术的发展，通过软件算法实现的图像自动识别和切割分离已经能够初步实现，计算机还能在一张图像中找出指定类别所在的方框区域。医学上一般使用图像分析系统用于医疗图像中物体的检测及分离，但当物体之间存在重叠现象时，像素层面上的物体分割效果均不理想。

人类的基因信息是被承载在染色体上的，因而染色体核型分析是细胞遗传学研究的基本方法，是研究染色体形态和结构与其功能的联系，探究染色体异常和遗传缺陷的关联的重要手段。但染色体在图像中经常会产生重叠，人工分析耗时耗力巨大，且现有的自动化图像分割分类方法不能在有染色体重叠的图片上取得令人满意的效果。例如中国专利CN101499165B揭示了一种交叉重叠染色体的分割方法，采用计算线段的斜率进行长度测量确定切割点，进而根据切割点进行交叉重叠的染色体图像的切割。这样的方式要求染色体必须以交叉的方式进行重叠，对于部分重叠的染色体表现不佳，同时该方法的第一步要求人工划线，并没有达到完全自动化。

例如，文献《基于U-net深度学习模型的双染色体切割方法》R.L.Hu,J.Karnowski,R.Fadely,J.-P.Pommier,Image segmenta-tion to distinguish between overlappinghuman chromosomes,in:2017Machine Learning for Health(NIPS),Long Beach,CA,2017中揭示，其在重叠区域、两条非重叠区域达到的准确率，通过IoU(Intersection overUnion)得分表示，分别为94.7％，88.2％和94.4％，且在1500幅测试图像中，通过专家鉴别，基于U-net深度学习模型的双染色体切割方法不能正确分割重叠区域和非重叠区域的图像存在225幅，远远不能达到实际的需求。

发明内容

本发明的目的是克服现有技术存在的不足，提供一种基于Compact SegUnet自学习模型的双染色体图像切割方法，基于深度学习算法，对染色体图像的高维度特征进行提取，对染色体重叠区域与各染色体非重叠区域的差异进行学习，从而实现双染色体重叠图像的分割。

本发明的目的通过以下技术方案来实现：

一种基于Compact SegUnet自学习模型的双染色体图像切割方法，包括如下步骤：

S1、获取及预处理染色体单体图像步骤，选取真实染色体图像，去除杂质，以形成只含有染色体及背景为黑色的图片；

S2、双染色体重叠图像数据集构建步骤，基于真实染色体图像模拟生成双染色体重叠图像，形成Compact SegUnet自学习模型的训练数据集；

S3、数据预处理步骤，将所述训练数据集中的每张双染色体重叠图像的每个像素进行标记并调整统一所有图像的大小，并输入至所述Compact SegUnet自学习模型；

S4、Compact SegUnet自学习模型训练步骤，提取双染色体重叠图像的不同区域的特征，自学习提取的特征与给定的标记之间的关系，对双染色体重叠图像的每个像素预测其属于重叠区域和各条染色体的概率；

S5、新染色体原图预测分割步骤，选择概率最大的分类，完成双染色体重叠图像在像素层面上的分割。

优选的，所述步骤S1具体为，

S11、选取x张显微镜下培养至细胞中期且不含染色体重叠现象的染色体图像，将所述染色体图像导入计算机中并转换至RGB色彩空间；

S12、从x张图像中随机选取y张图片，对所述y张图片中的染色体、背景、杂质进行标注，图像中染色体区域标注为1，其余区域为0；

S13、将标注为0的非染色体区域转变为黑色，并去除杂质，获得x张只含有染色体及背景为黑色的图片。

优选的，所述步骤S12中，所述杂质包括但不限于细胞核、细胞质。

优选的，所述步骤S13具体包括，

S131、随机选取被标注完成的y张图片中80％的图片作为Compact SegUnet自学习模型的训练数据集训练染色体区域和非染色体区域的二分类模型，并在y张图片中剩余的20％图片进行验证及自学习模型参数的调整；

S132、将步骤S131中训练所得的Compact SegUnet自学习模型应用于x张图像中其余未被标注的图片，提取模型预测的染色体区域，并将非染色体区域转变为黑色【RGB 0,0,0】，从而实现杂质的去除，同时将标记的y张图像中非染色体区域也转变为黑色，最终获得x张只含有染色体及背景为黑色的图片。

优选的，步骤S131中，具体为，

S1311、使用Compact SegUnet自学习模型的卷积核根据步长在输入图片上逐行滑动提取图像特征，用以保留特征中图像的空间信息；

S1312、使用包括但不限于ReLU的激活函数对所提取的图像特征采用非线性变换进行降采样操作；

S1313、使用最大池化层获得低分辨率图像，并使用步骤S1311、S1312中所提方法提取不同分辨率下的图像特征并进行降采样操作；

S1314、使用反池化还原图像分辨率，并与同维度下卷积核提取的图像特征相结合，最大程度地保留降采样中的重要特征信息，以调整自学习模型参数。

优选的，所述步骤S2具体为，

S21、将经过步骤S1得到的去除杂质后的x张图片转化为灰度图，并将每张图片中非黑色区域的相互连通的像素区域分别提取并用黑色像素补全为相同长宽的矩形图像以获得每张染色体图片对应的各条染色单体的图像；

S22、将步骤S21中得到的图像中选取属于同一张染色体原图的任意两条不同的染色单体各自旋转随机的角度后，将所得的图像进行像素的灰度值的叠加以生成双染色体重叠图像，若所得图像无重叠现象，将该图像舍弃；

S23、指定步骤S22中获得的所述双染色体重叠图像中位于上方的染色体图像并将其的灰度值赋予重叠区域，使位于上方的染色体形成一个完整的染色体图像；

S24、重复以上步骤S22-S23，生成z张双染色体重叠图像，以构成用于CompactSegUnet自学习模型的训数据集。

优选的，所述步骤S3具体为，

S31、将所述数据集中由两条染色体构成的图片转换成独热码标记形式；

S32、将图片进行裁剪或背景扩展使所有图片达到相同大小以满足CompactSegUnet自学习模型的输入要求，并输入至所述Compact SegUnet自学习模型。

优选的，所述步骤S31具体为，

S311、将获得的所述数据集中由两条染色体构成的图片划分为染色体重叠区域、各条染色体的非重叠区域以及背景；

S312、对于图片中的每个像素都用一个长度为3的向量作为独热码标记，如果该像素属于区域为背景，则标记为【0 0 0】，如果属于第一条染色体的非重叠区域，则标记为【10 0】，如果属于第二条染色体的非重叠区域，则标记为【0 1 0】，如果属于两条染色体的重叠区域，则标记为【0 0 1】。

优选的，所述步骤S4具体为，

S41、使用所述卷积核根据步长在输入图片上逐行滑动提取图像特征，用以保留特征中图像的空间信息；

S42、使用包括但不限于ReLU的激活函数对所提取的图像特征采用非线性变换进行降采样操作；

S43、使用最大池化层获得低分辨率图像，并使用步骤S41、S42中所提方法提取不同分辨率下的图像特征并进行降采样操作；

S44、使用反池化还原图像分辨率，并与同维度下卷积核提取的图像特征相结合，以最大程度地保留降采样中的重要特征信息，使对图像中需要分割的部分的定位更加精准；

S45、模型的最后一层卷积层使用Sigmoid函数

获得每个像素属于重叠区域和各条染色体的概率；

S46、模型使用二元交叉熵损失函数

进行训练。

优选的，所述Compact SegUnet自学习模型由一条编码路径和一条解码路径构成，两条路径通过3个卷积层连接，

所述编码路径和解码路径各自包含13个卷积层，编码路径还包含5个最大池化层，解码路径还包含5个上采样层；

所述编码路径不同层的连接方式为：卷积层-卷积层-最大池化层-卷积层-卷积层-最大池化层-卷积层-卷积层-卷积层-最大池化层-卷积层-卷积层-卷积层-最大池化层-卷积层-卷积层-卷积层-最大池化层；

所述解码路径不同层的连接方式为：上采样层-卷积层-卷积层-卷积层-上采样层-卷积层-卷积层-卷积层-上采样层-卷积层-卷积层-卷积层-上采样层-卷积层-卷积层-上采样层-卷积层-卷积层；

所述编码路径的第一，第二，第三，第四，第五个最大池化层分别与解码路径的第五，第四，第三，第二，第一个上采样层构成一一对应；

所述编码路径和解码路径中的卷积层均采用3*3的卷积核，ReLU激活函数和批正态化，编码路径中的最大池化层采用2*2池化以及池化步幅2；

所述编码路径中的每个最大池化层选取图像特征时的位置被保留作为池化索引，解码路径中每个上采样层根据其所对应的最大池化层的池化索引进行采样；

所述解码路径中每个上采样层所得结果与对应的编码路径中的最大池化层的前一个卷积层所得结果拼接作为下一个卷积层的输入。

本发明的有益效果主要体现在：基于深度学习模型，能在保留空间信息的前提下提取染色体的图像特征，并自学习特征与类别(重叠区域，非重叠区域)之间的关系，以此来对染色体进行精确到每个像素点的各类别概率预测。本发明能够准确地识别出图像中两条染色体的重叠区域以及各自的非重叠区域，高效高质量地完成重叠染色体的分割；相较于传统人工观察方法，极大的提高了效率，节省工作的时间与成本；与现有几何分割方法相比，克服了部分重叠不易分割的问题，实用性强；与现有深度学习模型相比，提高了分割准确率。

附图说明

下面结合附图对本发明技术方案作进一步说明：

图1为步骤S1中选取的细胞中期显微镜下采用DAPI荧光染色的染色体的图像。

图2为步骤S22中旋转并叠加两条染色体模拟生成的双染色体重叠图像。

图3为步骤S23中用重叠图像中位于上方的染色体覆盖下方染色体生成的图像。

图4为图3用独热标记表示的图像。

图5为新输入的染色体重叠图像。

图6为图5用独热标记表示的图像。

图7为Compact SegUnet深度学习模型对图5的分割结果图。

图8为本发明的方法的流程示意图。

具体实施方式

以下将结合附图所示的具体实施方式对本发明进行详细描述。但这些实施方式并不限于本发明，本领域的普通技术人员根据这些实施方式所做出的结构、方法、或功能上的变换均包含在本发明的保护范围内。

如图8所示，本发明揭示了一种基于Compact SegUnet自学习模型的双染色体图像切割方法，包括如下步骤：

S1、获取及预处理染色体单体图像步骤，选取真实染色体图像，去除杂质，以形成只含有染色体及背景为黑色的图片；

S2、双染色体重叠图像数据集构建步骤，基于真实染色体图像模拟生成双染色体重叠图像，形成Compact SegUnet自学习模型的训练数据集；

S3、数据预处理步骤，将所述训练数据集中的每张双染色体重叠图像的每个像素进行标记并调整统一所有图像的大小，并输入至所述Compact SegUnet自学习模型；

S4、Compact SegUnet自学习模型训练步骤，提取双染色体重叠图像的不同区域的特征，自学习提取的特征与给定的标记之间的关系，对双染色体重叠图像的每个像素预测其属于重叠区域和各条染色体的概率；

S5、新染色体原图预测分割步骤，选择概率最大的分类，完成双染色体重叠图像在像素层面上的分割。

具体的实施例重点步骤如下简述。

首先，基于真实染色体图片模拟生成双染色体重叠数据集。为了获得真实染色体图像，需要对染色体进行荧光标记，培育到细胞中期，在显微镜下选择染色体不过于分散，不相互重叠的图片进行拍摄，然后将其导入计算机并数字化，转换至RGB颜色空间。根据计算机中同一染色体颜色数值连通并区别于背景色数值，提取染色单体。图1为所得的一条染色单体图像，其中已去除杂质，且只含有染色体及背景为黑色。

选取任意两条不同的染色单体，并分别对其进行随机角度的旋转，然后对两条染色单体旋转所得图片进行叠加以生成双染色体重叠图像，如图2。若所得图像无重叠现象，将该图像舍弃。我们认为在真实染色体图像中，染色体的重叠区域并不是两条染色体在该区域像素值的叠加，而是位于上方的染色体覆盖下方的染色体，因此可以指定重叠双染色体中位于上方的染色体并将其在色彩空间的数值赋予重叠区域，获得图3使位于上方的染色体形成一个完整的染色体图像。

重复以上步骤生成双染色体重叠图像，形成Compact SegUnet自学习模型的训练数据集。

将所述数据集中由两条染色体构成的图片转换成独热码标记形式。将获得的所述数据集中由两条染色体构成的图片划分为染色体重叠区域、各条染色体的非重叠区域以及背景，对于图片中的每个像素都用一个长度为3的向量作为独热码标记，如果该像素属于区域为背景，则标记为【0 0 0】，如果属于第一条染色体的非重叠区域，则标记为【1 0 0】，图4中间的示意图；如果属于第二条染色体的非重叠区域，则标记为【0 1 0】，图4左侧的示意图；如果属于两条染色体的重叠区域，则标记为【0 0 1】，图4右侧的示意图。

由于选取的染色单体的不同，生成图片的大小也不同，因此需要设定输入图片大小为长96宽96，因此对过大的图片的背景部分进行裁剪，对过小的图片以图片为中心四周填充与背景相同的像素使所有图片达到相同大小以满足深度学习模型的输入要求。

通过上述步骤即已构建染色体重叠数据集，将此数据集输入到构建的CompactSegUnet自学习模型进行训练，该模型会提取图片的高纬度特征并学习不同标记之间图像特征的差别，从而具备对新输入染色体重叠图像分割的能力。图5为新输入的染色体重叠图像，图6为图5染色体重叠图像对应的独热标记，图7为Compact SegUnet深度学习模型对图5的分割结果图。从结果图中我们可以看到深度学习模型的分割效果非常接近构建时的真实情况，测试集图片的三个独热部分的平均分割准确率分别为98.75％,97.35％,和89.31％。

具体训练过程如下：使用卷积核根据步长在输入图片上逐行滑动提取图像特征，用以保留特征中图像的空间信息；

使用包括但不限于ReLU的激活函数对所提取的图像特征采用非线性变换进行降采样操作；

使用最大池化获得低分辨率图像，并使用步骤S41、S42中所提方法提取不同分辨率下的图像特征并进行降采样操作；

使用反池化还原图像分辨率，并与同维度下卷积核提取的图像特征相结合，以最大程度地保留降采样中的重要特征信息，使对图像中需要分割的部分的定位更加精准；

模型的最后一层卷积层使用Sigmoid函数

获得每个像素属于重叠区域和各条染色体的概率；

模型使用二元交叉熵损失函数

进行训练。

新染色体原图进行分割时，预测并选择概率最大的分类，完成双染色体重叠图像在像素层面上的分割。

应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施方式中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于Compact SegUnet自学习模型的双染色体图像切割方法，其特征在于：包括如下步骤，

S1、获取及预处理染色体单体图像步骤，选取真实染色体图像，去除杂质，以形成只含有染色体及背景为黑色的图片；

S2、双染色体重叠图像数据集构建步骤，基于真实染色体图像模拟生成双染色体重叠图像，形成Compact SegUnet自学习模型的训练数据集；

S3、数据预处理步骤，将所述训练数据集中的每张双染色体重叠图像的每个像素进行标记并调整统一所有图像的大小，并输入至所述Compact SegUnet自学习模型；

S4、Compact SegUnet自学习模型训练步骤，提取双染色体重叠图像的不同区域的特征，自学习提取的特征与给定的标记之间的关系，对双染色体重叠图像的每个像素预测其属于重叠区域和各条染色体的概率；

S5、新染色体原图预测分割步骤，选择概率最大的分类，完成双染色体重叠图像在像素层面上的分割。

2.根据权利要求1所述的方法，其特征在于：所述步骤S1具体为，

S11、选取x张显微镜下培养至细胞中期且不含染色体重叠现象的染色体图像，将所述染色体图像导入计算机中并转换至RGB色彩空间；

S12、从x张图像中随机选取y张图片，对所述y张图片中的染色体、背景、杂质进行标注，图像中染色体区域标注为1，其余区域为0；

S13、将标注为0的非染色体区域转变为黑色，并去除杂质，获得x张只含有染色体及背景为黑色的图片。

3.根据权利要求2所述的方法，其特征在于：所述步骤S12中，所述杂质包括但不限于细胞核、细胞质。

4.根据权利要求3所述的方法，其特征在于：所述步骤S13具体包括，

S131、随机选取被标注完成的y张图片中80％的图片作为Compact SegUnet自学习模型的训练数据集训练染色体区域和非染色体区域的二分类模型，并在y张图片中剩余的20％图片进行验证及自学习模型参数的调整；

S132、将步骤S131中训练所得的Compact SegUnet自学习模型应用于x张图像中其余未被标注的图片，提取模型预测的染色体区域，并将非染色体区域转变为黑色【RGB 0,0,0】，从而实现杂质的去除，同时将标记的y张图像中非染色体区域也转变为黑色，最终获得x张只含有染色体及背景为黑色的图片。

5.根据权利要求4所述的方法，其特征在于：步骤S131中，具体为，

S1311、使用Compact SegUnet自学习模型的卷积核根据步长在输入图片上逐行滑动提取图像特征，用以保留特征中图像的空间信息；

S1312、使用包括但不限于ReLU的激活函数对所提取的图像特征采用非线性变换进行降采样操作；

S1313、使用最大池化层获得低分辨率图像，并使用步骤S1311、S1312中所提方法提取不同分辨率下的图像特征并进行降采样操作；

S1314、使用反池化还原图像分辨率，并与同维度下卷积核提取的图像特征相结合，最大程度地保留降采样中的重要特征信息，以调整自学习模型参数。

6.根据权利要求1所述的方法，其特征在于：步骤S2具体为，

S21、将经过步骤S1得到的去除杂质后的x张图片转化为灰度图，并将每张图片中非黑色区域的相互连通的像素区域分别提取并用黑色像素补全为相同长宽的矩形图像以获得每张染色体图片对应的各条染色单体的图像；

S22、将步骤S21中得到的图像中选取属于同一张染色体原图的任意两条不同的染色单体各自旋转随机的角度后，将所得的图像进行像素的灰度值的叠加以生成双染色体重叠图像，若所得图像无重叠现象，将该图像舍弃；

S23、指定步骤S22中获得的所述双染色体重叠图像中位于上方的染色体图像并将其的灰度值赋予重叠区域，使位于上方的染色体形成一个完整的染色体图像；

S24、重复以上步骤S22-S23，生成z张双染色体重叠图像，以构成用于Compact SegUnet自学习模型的训数据集。

7.根据权利要求1所述的方法，其特征在于：所述步骤S3具体为，

S31、将所述数据集中由两条染色体构成的图片转换成独热码标记形式；

S32、将图片进行裁剪或背景扩展使所有图片达到相同大小以满足Compact SegUnet自学习模型的输入要求，并输入至所述Compact SegUnet自学习模型。

8.根据权利要求7所述的方法，其特征在于：步骤S31具体为，

S311、将获得的所述数据集中由两条染色体构成的图片划分为染色体重叠区域、各条染色体的非重叠区域以及背景；

S312、对于图片中的每个像素都用一个长度为3的向量作为独热码标记，如果该像素属于区域为背景，则标记为【0 0 0】，如果属于第一条染色体的非重叠区域，则标记为【1 00】，如果属于第二条染色体的非重叠区域，则标记为【0 1 0】，如果属于两条染色体的重叠区域，则标记为【0 0 1】。

9.根据权利要求1所述的方法，其特征在于：步骤S4具体为，

S41、使用所述卷积核根据步长在输入图片上逐行滑动提取图像特征，用以保留特征中图像的空间信息；

S42、使用包括但不限于ReLU的激活函数对所提取的图像特征采用非线性变换进行降采样操作；

S43、使用最大池化层获得低分辨率图像，并使用步骤S41、S42中所提方法提取不同分辨率下的图像特征并进行降采样操作；

S44、使用反池化还原图像分辨率，并与同维度下卷积核提取的图像特征相结合，以最大程度地保留降采样中的重要特征信息，使对图像中需要分割的部分的定位更加精准；

S45、模型的最后一层卷积层使用Sigmoid函数

获得每个像素属于重叠区域和各条染色体的概率；

S46、模型使用二元交叉熵损失函数

进行训练。

10.根据权利要求9所述的方法，其特征在于：所述Compact SegUnet自学习模型由一条编码路径和一条解码路径构成，两条路径通过3个卷积层连接，

所述编码路径和解码路径各自包含13个卷积层，编码路径还包含5个最大池化层，解码路径还包含5个上采样层；

所述编码路径不同层的连接方式为：卷积层-卷积层-最大池化层-卷积层-卷积层-最大池化层-卷积层-卷积层-卷积层-最大池化层-卷积层-卷积层-卷积层-最大池化层-卷积层-卷积层-卷积层-最大池化层；

所述解码路径不同层的连接方式为：上采样层-卷积层-卷积层-卷积层-上采样层-卷积层-卷积层-卷积层-上采样层-卷积层-卷积层-卷积层-上采样层-卷积层-卷积层-上采样层-卷积层-卷积层；

所述编码路径的第一，第二，第三，第四，第五个最大池化层分别与解码路径的第五，第四，第三，第二，第一个上采样层构成一一对应；

所述编码路径和解码路径中的卷积层均采用3*3的卷积核，ReLU激活函数和批正态化，编码路径中的最大池化层采用2*2池化以及池化步幅2；

所述编码路径中的每个最大池化层选取图像特征时的位置被保留作为池化索引，解码路径中每个上采样层根据其所对应的最大池化层的池化索引进行采样；

所述解码路径中每个上采样层所得结果与对应的编码路径中的最大池化层的前一个卷积层所得结果拼接作为下一个卷积层的输入。