CN109344874A - 一种基于深度学习的染色体自动分析方法及系统 - Google Patents

Abstract

本发明公开了一种基于深度学习的染色体自动分析方法及系统，可以采用多层次处理，分层处理染色体的独立形态和重叠形态，并对染色体位置坐标、分类标签、分类置信度进行聚类分析输出核型图。通过上述方式，能够采用基于深度学习的染色体分割方法，不依赖特定染色体形态模式，具有较高的泛化能力，能够采用基于深度学习的染色体分类方法，兼顾染色体全局形态和带纹特征，提高分类准确率，能够采用多尺度处理，对待检测图像利用更加充分，有效提高在染色体重叠，粘连情况下的分割效果。

Description

一种基于深度学习的染色体自动分析方法及系统

技术领域

本发明涉及染色体分析技术领域，尤其涉及一种基于深度学习的染色体自动分析方法及系统。

背景技术

人类染色体识别是医学遗传学的重要研究课题，其在医学临床诊断、辅助教学及科研等领域有着广泛的应用，它是判断人类遗传病的重要依据。传统的染色体识别由人工来完成，不仅识别过程繁琐，而且识别工作易产生误差。为了减轻医务人员和医学教学人员的工作量，提高识别效率，采用计算机图像处理技术自动识别染色体的工作已经得到运用。

染色体自动识别技术主要为图像预处理，图像分割，图像分类三个流程。其中，交叠粘连染色体的自动切割是染色体图像自动分析中的第一个难点，对此，目前常见的有基于边界特征的提取和处理的分割方案，还有基于形态学腐蚀和膨胀处理的分割方案，以及分水岭算法的分割方案。这些方案虽然能解决“X”型、“T”型、“V”型等常规重叠和粘连状况的染色体分割，但显然对目标染色体的形状和粘连状况都有较高要求。由于染色体形态的多变性和粘连重叠的随机性，很容易形成多条染色体重叠粘连、大小染色体重叠粘连的状况，在实际应用中以上方案泛化能力有限，并不能满足所有分割情况。

采用怎样的分类策略和分类器也是染色体自动分析中的第二个难点。目前主要采用的是基于提取带纹特征的统计模式识别方案如贝叶斯方案、似然方案和BP神经网络方案。受制于带纹特征提取的深度和特征集选取，目前方案的染色体识别率较低，特别是对带纹信息丢失的重叠染色体，分类的准确性会显著性下降。而且，上述方案并没有充分利用染色体的形态信息，在带纹不明显或有噪音的情况下解惑并不稳定。

发明内容

有鉴于此，本发明的目的在于提出一种基于深度学习的染色体自动分析方法及系统，能够采用基于深度学习的染色体分割方法，不依赖特定染色体形态模式，具有较高的泛化能力，能够采用基于深度学习的染色体分类方法，兼顾染色体全局形态和带纹特征，提高分类准确率，能够采用多尺度处理，对待检测图像利用更加充分，有效提高在染色体重叠，粘连情况下的分割效果。

根据本发明的一个方面，提供一种基于深度学习的染色体自动分析方法，包括：

训练染色体图像数据集中的染色体图像检测分割模型；

对待检测染色体图像进行多尺度处理，生成待检测染色体的多尺度图像集；

应用所述训练出的染色体图像数据集中的染色体图像检测分割模型，对所述生成的待检测染色体的多尺度图像集进行图像分割，得到染色体图像分割结果的mask蒙版及其相对位置坐标，并判断染色体图像有粘连或无粘连；

对所述判断出的有粘连的染色体图像再次进行图像分割；

训练染色体图像数据集中的染色体图像检测分类模型；

应用所述训练出的染色体图像数据集中的染色体图像检测分类模型，对待检测染色体图像进行图像分类；

对所述得到的染色体图像分割结果的mask蒙版及其相对位置坐标以及对待检测染色体图像进行图像分类后的图像分类结果，进行聚类分析，综合得到染色体图像分割结果及其图像分类结果，输出染色体核型图。

其中，在所述训练染色体图像数据集中的染色体图像检测分割模型之前，还包括：

制作染色体图像数据集。

其中，所述制作染色体图像数据集，包括：

将单染色体RGB图像进行二值化处理，则二值化的图像为所述单染色体对应的mask蒙版，得到单染色体mask蒙版数据集，其中染色体图像为RGB图像，mask蒙版为单通道图像。

其中，所述训练染色体图像数据集中的染色体图像检测分割模型，包括：

采用基于深度学习的Mask-RCNN模型框架方式，第一阶段先扫描染色体图像并生成提议，第二阶段再分类所述提议，并生成边界框和掩码，掩码分支是一个卷积神经网络，取感兴趣区域ROI分类器选择的正区域为输入，并生成相应的二值掩码。

其中，所述对待检测染色体图像进行多尺度处理，生成待检测染色体的多尺度图像集，包括：

对原染色体图像进行不同比例的比缩放处理，接着对进行不同比例的比缩放处理后的结果进行多角度旋转处理，将待检测染色体图像处理成多尺度下的系列图像，成为所述原图的多尺度图像集，得到染色体检测分割训练后模型。

其中，所述应用所述训练出的染色体图像数据集中的染色体图像检测分割模型，对所述生成的待检测染色体的多尺度图像集进行图像分割，得到染色体图像分割结果的mask蒙版及其相对位置坐标，并判断染色体图像有粘连或无粘连，包括：

应用所述训练出的染色体图像数据集中的染色体图像检测分割模型，对所述生成的待检测染色体的多尺度图像集进行图像分割，得到染色体图像分割结果的mask蒙版及其相对位置坐标，遍历，若所述模型对输入图像有第一预设阈值数量的检测结果，则其得到对应所述第一预设阈值数量的分割mask蒙版，对应所述第一预设阈值数量的染色体分割结果，分别表示为二值矩阵，蒙版的中心点即所述染色体的在输入图像中的位置坐标，通过归一化和对应的旋转处理，即可得到所述染色体的相对位置坐标，并判断染色体图像有粘连或无粘连。

其中，所述训练染色体图像数据集中的染色体图像检测分类模型，包括：

通过图像旋转变换，生成经过预设第二阈值数量的随机角度旋转的图像，以此获得数据扩充得到对应预设第二阈值数量的染色体，并将数据量分成预设第二阈值数量批次依次增加，对比随着训练数据量增加，对模型效果提升的影响；同时将数据集分成训练集、验证集和测试集三部分，按预设的数据量比例进行配置，当通过训练集训练处多个模型后，能够使用各个模型对验证集数据进行预测，能够用来调整模型的参数，选出效果最佳的模型所对应的参数。

其中，所述应用所述训练出的染色体图像数据集中的染色体图像检测分类模型，对待检测染色体图像进行图像分类，包括：

将所述对所述判断出的有粘连的染色体图像再次进行图像分割后的图像分割结果，注入所述训练出的染色体图像数据集中的染色体图像检测分类模型，得到相对应的染色体图像类别标签及类别置信度。

根据本发明的另一个方面，提供一种基于深度学习的染色体自动分析系统，包括：

训练单元、生成单元、分割单元、分类单元、分析输出单元；

所述训练单元，用于训练所述染色体图像数据集中的染色体图像检测分割模型；

所述生成单元，用于对待检测染色体图像进行多尺度处理，生成待检测染色体的多尺度图像集；

所述分割单元，用于应用所述训练出的染色体图像数据集中的染色体图像检测分割模型，对所述生成的待检测染色体的多尺度图像集进行图像分割，得到染色体图像分割结果的mask蒙版及其相对位置坐标，并判断染色体图像有粘连或无粘连；

所述分割单元，还用于对所述判断出的有粘连的染色体图像再次进行图像分割；

所述训练单元，还用于训练染色体图像数据集中的染色体图像检测分类模型；

所述分类单元，用于应用所述训练出的染色体图像数据集中的染色体图像检测分类模型，对待检测染色体图像进行图像分类；

所述分析输出单元，用于对所述得到的染色体图像分割结果的mask蒙版及其相对位置坐标以及对待检测染色体图像进行图像分类后的图像分类结果，进行聚类分析，综合得到染色体图像分割结果及其图像分类结果，输出染色体核型图。

其中，所述基于深度学习的染色体自动分析系统，还包括：

制作单元，用于制作染色体图像数据集。

其中，所述制作单元，具体用于：

将单染色体RGB图像进行二值化处理，则二值化的图像为所述单染色体对应的mask蒙版，得到单染色体mask蒙版数据集，其中染色体图像为RGB图像，mask蒙版为单通道图像。

其中，所述训练单元，具体用于：

采用基于深度学习的Mask-RCNN模型框架方式，第一阶段先扫描染色体图像并生成提议，第二阶段再分类所述提议，并生成边界框和掩码，掩码分支是一个卷积神经网络，取感兴趣区域ROI分类器选择的正区域为输入，并生成相应的二值掩码。

其中，所述生成单元，具体用于：

对原染色体图像进行不同比例的比缩放处理，接着对进行不同比例的比缩放处理后的结果进行多角度旋转处理，将待检测染色体图像处理成多尺度下的系列图像，成为所述原图的多尺度图像集，得到染色体检测分割训练后模型。

其中，所述分割单元，具体用于：

应用所述训练出的染色体图像数据集中的染色体图像检测分割模型，对所述生成的待检测染色体的多尺度图像集进行图像分割，得到染色体图像分割结果的mask蒙版及其相对位置坐标，遍历，若所述模型对输入图像有第一预设阈值数量的检测结果，则其得到对应所述第一预设阈值数量的分割mask蒙版，对应所述第一预设阈值数量的染色体分割结果，分别表示为二值矩阵，蒙版的中心点即所述染色体的在输入图像中的位置坐标，通过归一化和对应的旋转处理，即可得到所述染色体的相对位置坐标，并判断染色体图像有粘连或无粘连。

其中，所述训练单元，具体用于：

通过图像旋转变换，生成经过预设第二阈值数量的随机角度旋转的图像，以此获得数据扩充得到对应预设第二阈值数量的染色体，并将数据量分成预设第二阈值数量批次依次增加，对比随着训练数据量增加，对模型效果提升的影响；同时将数据集分成训练集、验证集和测试集三部分，按预设的数据量比例进行配置，当通过训练集训练处多个模型后，能够使用各个模型对验证集数据进行预测，能够用来调整模型的参数，选出效果最佳的模型所对应的参数。

其中，所述分类单元，具体用于：

将所述对所述判断出的有粘连的染色体图像再次进行图像分割后的图像分割结果，注入所述训练出的染色体图像数据集中的染色体图像检测分类模型，得到相对应的染色体图像类别标签及类别置信度。

可以发现，以上方案，本发明提供的基于深度学习的染色体自动分析方法及系统，可以采用多层次处理，分层处理染色体的独立形态和重叠形态，并对染色体位置坐标、分类标签、分类置信度进行聚类分析输出核型图，能够采用基于深度学习的染色体分割方法，不依赖特定染色体形态模式，具有较高的泛化能力，能够采用基于深度学习的染色体分类方法，兼顾染色体全局形态和带纹特征，提高分类准确率，能够采用多尺度处理，对待检测图像利用更加充分，有效提高在染色体重叠，粘连情况下的分割效果。

附图说明

图1是本发明基于深度学习的染色体自动分析方法一实施例的流程示意图；

图2是本发明基于深度学习的染色体自动分析方法另一实施例的流程示意图；

图3是本发明基于深度学习的染色体自动分析系统一实施例的结构示意图；

图4是本发明基于深度学习的染色体自动分析系统另一实施例的结构示意图；

图5是本发明基于深度学习的染色体自动分析系统又一实施例的结构示意图。

具体实施方式

下面结合附图和实施例，对本发明作进一步的详细描述。特别指出的是，以下实施例仅用于说明本发明，但不对本发明的范围进行限定。同样的，以下实施例仅为本发明的部分实施例而非全部实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本发明提供一种基于深度学习的染色体自动分析方法，能够采用基于深度学习的染色体分割方法，不依赖特定染色体形态模式，具有较高的泛化能力，能够采用基于深度学习的染色体分类方法，兼顾染色体全局形态和带纹特征，提高分类准确率，能够采用多尺度处理，对待检测图像利用更加充分，有效提高在染色体重叠，粘连情况下的分割效果。

请参见图1，图1是本发明基于深度学习的染色体自动分析方法一实施例的流程示意图。需注意的是，若有实质上相同的结果，本发明的方法并不以图1所示的流程顺序为限。如图1所示，该方法包括如下步骤：

S101：训练染色体图像数据集中的染色体图像检测分割模型。

其中，在训练染色体图像数据集中的染色体图像检测分割模型之前，还可以包括：

制作染色体图像数据集。

其中，制作染色体图像数据集，可以包括：

将单染色体RGB(红、绿、蓝三原色)图像进行二值化处理，则二值化的图像为该单染色体对应的mask(蒙版)，得到单染色体mask蒙版数据集，其中染色体图像为RGB图像，mask蒙版为单通道图像。

其中，训练染色体图像数据集中的染色体图像检测分割模型，可以包括：

采用基于深度学习的Mask-RCNN模型框架方式，第一阶段先扫描染色体图像并生成提议(proposals，即有可能包含一个目标的区域)，第二阶段再分类该提议，并生成边界框和掩码，掩码分支是一个卷积神经网络，取ROI(region of interest，感兴趣区域)分类器选择的正区域为输入，并生成相应的二值掩码。

本实施例中，为了制作染色体重叠数据集，在单染色体-mask数据集中随机选取三组，分别对在随机参数下进行图像随机平移和旋转变换，由此能得到随机平移旋转后的染色体及其mask蒙版。

本实施例中，对于上述三个处理过的RGB染色体图像，传统的图像加权混合叠加会使染色体叠加后失真，损失较多图像信息。故采用如下叠加策略：利用mask蒙版图像，将三个染色体图像的非染色体区域像素置为0，叠加时，每个像素点的R、G、B通道均取灰度值较大的值，得到一个RGB染色体图像，其中会出现随机分布的染色体重叠情况，且保留了更多图像信息，并能有效消除直接叠加时的黑边、失真问题。而对三个染色体mask蒙版单通道图像，分别作为三个通道，合并得到的三通道染色体蒙版标注图像。

本实施例中，经过以上处理，得到交叉重叠染色体及其对应mask蒙版的标注数据集，作为模型训练数据集。

本实施例中，利用该生成的染色体数据集，对resnet101为主干的网络的Mask-RCNN待训练网络进行训练。训练类别设置为两类，即染色体类和背景类，对基准窗anchor进行相应设置，对学习率也进行相应设置。

S102：对待检测染色体图像进行多尺度处理，生成待检测染色体的多尺度图像集。

其中，对待检测染色体图像进行多尺度处理，生成待检测染色体的多尺度图像集，可以包括：

对原染色体图像进行不同比例的等比缩放处理，接着对进行不同比例的等比缩放处理后的结果进行多角度旋转处理，将待检测染色体图像处理成多尺度下的系列图像，成为该原图的多尺度图像集，得到染色体检测分割训练后模型。

本实施例中，对原图像进行不同比例的等比缩放处理，缩放比例γ可以分别设置为0.9、1.0、1.2、1.4、1.6、1.8，接着对该原图像进行不同比例的等比缩放处理后的结果进行多角度旋转处理，旋转角度θ可以分别设置为0、90、180。经过以上处理，将待检测染色体图像处理成多尺度下的系列图像如18张图像，成为该原图的多尺度图像集，得到染色体检测分割训练后模型。

S103：应用该训练出的染色体图像数据集中的染色体图像检测分割模型，对该生成的待检测染色体的多尺度图像集进行图像分割，得到染色体图像分割结果的mask蒙版及其相对位置坐标，并判断染色体图像有粘连或无粘连。

其中，应用该训练出的染色体图像数据集中的染色体图像检测分割模型，对该生成的待检测染色体的多尺度图像集进行图像分割，得到染色体图像分割结果的mask蒙版及其相对位置坐标，并判断染色体图像有粘连或无粘连，可以包括：

应用该训练出的染色体图像数据集中的染色体图像检测分割模型，对该生成的待检测染色体的多尺度图像集进行图像分割，得到染色体图像分割结果的mask蒙版及其相对位置坐标，遍历，若该模型对输入图像有第一预设阈值数量的检测结果，则其得到对应该第一预设阈值数量的分割mask蒙版，对应该第一预设阈值数量的染色体分割结果，分别表示为二值矩阵，蒙版的中心点即该染色体的在输入图像中的位置坐标，通过归一化和对应的旋转处理，即可得到该染色体的相对位置坐标，并判断染色体图像有粘连或无粘连。

本实施例中，对独立不重叠染色体，为了剪裁出姿态正确的单染色体图像，将其对应的mask蒙版转化为二维点集，使用OpenCV的minAreaRect()函数计算得到该点集的最小包围矩形，并得到水平轴(X轴)逆时针旋转时接触到该矩形的第一个边的夹角θ，并将该边记为矩形的宽width，同时可记临边为该矩形的高height。

本实施例中，利用该夹角进行旋转θ操作，并对最小包围矩形进行图像剪裁，则经过的遍历，记录该剪裁后的染色体图像，经过以上处理，得到多尺度图像集的分割结果，独立不重叠染色体，重叠染色体。

S104：对该判断出的有粘连的染色体图像再次进行图像分割。

S105：训练染色体图像数据集中的染色体图像检测分类模型。

其中，训练染色体图像数据集中的染色体图像检测分类模型，可以包括：

通过图像旋转变换，生成经过预设第二阈值数量如五个随机角度旋转的图像，以此获得数据扩充得到对应预设第二阈值数量如五倍数据量的染色体，并将数据量分成预设第二阈值数量如五个批次依次增加，对比随着训练数据量增加，对模型效果提升的影响；同时将数据集分成训练集、验证集和测试集三部分，按预设的数据量比例进行配置如可以设置该配置为8:1:1，当通过训练集训练处多个模型后，能够使用各个模型对验证集数据进行预测，能够用来调整模型的参数，选出效果最佳的模型所对应的参数。

S106：应用该训练出的染色体图像数据集中的染色体图像检测分类模型，对待检测染色体图像进行图像分类。

其中，应用该训练出的染色体图像数据集中的染色体图像检测分类模型，对待检测染色体图像进行图像分类，可以包括：

将该对该判断出的有粘连的染色体图像再次进行图像分割后的图像分割结果，注入该训练出的染色体图像数据集中的染色体图像检测分类模型，得到相对应的染色体图像类别标签及类别置信度。

S107：对该得到的染色体图像分割结果的mask蒙版及其相对位置坐标以及对待检测染色体图像进行图像分类后的图像分类结果，进行聚类分析，综合得到染色体图像分割结果及其图像分类结果，输出染色体核型图。

本实施例中，人类染色体共有22+X+Y＝24类，另加非染色体类，则共25类，由此例如可分为25组，每组中的类别标签一致。对于其中的第i组染色体，对其位置坐标L进行均值漂移聚类分析，通过该均值漂移聚类，该第i组染色体被聚类到若干中心点，则对于第i组最终的一对染色体，设置相应的挑选条件，经过以上处理，最终挑选得到46条染色体，按序输出染色体核型图。

请参见图2，图2是本发明基于深度学习的染色体自动分析方法另一实施例的流程示意图。本实施例中，该方法包括以下步骤：

S201：制作染色体图像数据集。

S202：训练该染色体图像数据集中的染色体图像检测分割模型。

S203：对待检测染色体图像进行多尺度处理，生成待检测染色体的多尺度图像集。

S204：应用该训练出的染色体图像数据集中的染色体图像检测分割模型，对该生成的待检测染色体的多尺度图像集进行图像分割，得到染色体图像分割结果的mask蒙版及其相对位置坐标，并判断染色体图像有粘连或无粘连。

S205：对该判断出的有粘连的染色体图像再次进行图像分割。

S206：训练染色体图像数据集中的染色体图像检测分类模型。

S207：应用该训练出的染色体图像数据集中的染色体图像检测分类模型，对待检测染色体图像进行图像分类。

S208：对该得到的染色体图像分割结果的mask蒙版及其相对位置坐标以及对待检测染色体图像进行图像分类后的图像分类结果，进行聚类分析，综合得到染色体图像分割结果及其图像分类结果，输出染色体核型图。

本发明还提供一种基于深度学习的染色体自动分析系统，能够采用基于深度学习的染色体分割方法，不依赖特定染色体形态模式，具有较高的泛化能力，能够采用基于深度学习的染色体分类方法，兼顾染色体全局形态和带纹特征，提高分类准确率，能够采用多尺度处理，对待检测图像利用更加充分，有效提高在染色体重叠，粘连情况下的分割效果。

请参见图3，图3是本发明基于深度学习的染色体自动分析系统一实施例的结构示意图。本实施例中，该基于深度学习的染色体自动分析系统30包括训练单元31、生成单元32、分割单元33、分类单元34、分析输出单元35。

训练单元31，用于训练该染色体图像数据集中的染色体图像检测分割模型。

生成单元32，用于对待检测染色体图像进行多尺度处理，生成待检测染色体的多尺度图像集。

分割单元33，用于应用该训练出的染色体图像数据集中的染色体图像检测分割模型，对该生成的待检测染色体的多尺度图像集进行图像分割，得到染色体图像分割结果的mask蒙版及其相对位置坐标，并判断染色体图像有粘连或无粘连。

分割单元33，还用于对该判断出的有粘连的染色体图像再次进行图像分割。

训练单元31，还用于训练染色体图像数据集中的染色体图像检测分类模型。

分类单元34，用于应用该训练出的染色体图像数据集中的染色体图像检测分类模型，对待检测染色体图像进行图像分类。

分析输出单元35，用于对该得到的染色体图像分割结果的mask蒙版及其相对位置坐标以及对待检测染色体图像进行图像分类后的图像分类结果，进行聚类分析，综合得到染色体图像分割结果及其图像分类结果，输出染色体核型图。

可选地，训练单元31，可以具体用于：

采用基于深度学习的Mask-RCNN模型框架方式，第一阶段先扫描染色体图像并生成提议，第二阶段再分类该提议，并生成边界框和掩码，掩码分支是一个卷积神经网络，取感兴趣区域ROI分类器选择的正区域为输入，并生成相应的二值掩码。

可选地，生成单元32，可以具体用于：

对原染色体图像进行不同比例的等比缩放处理，接着对进行不同比例的等比缩放处理后的结果进行多角度旋转处理，将待检测染色体图像处理成多尺度下的系列图像，成为该原图的多尺度图像集，得到染色体检测分割训练后模型。

可选地，分割单元33，可以具体用于：

应用该训练出的染色体图像数据集中的染色体图像检测分割模型，对该生成的待检测染色体的多尺度图像集进行图像分割，得到染色体图像分割结果的mask蒙版及其相对位置坐标，遍历，若该模型对输入图像有第一预设阈值数量的检测结果，则其得到对应该第一预设阈值数量的分割mask蒙版，对应该第一预设阈值数量的染色体分割结果，分别表示为二值矩阵，蒙版的中心点即该染色体的在输入图像中的位置坐标，通过归一化和对应的旋转处理，即可得到该染色体的相对位置坐标，并判断染色体图像有粘连或无粘连。

可选地，训练单元31，可以具体用于：

通过图像旋转变换，生成经过预设第二阈值数量如五个随机角度旋转的图像，以此获得数据扩充得到对应预设第二阈值数量如五倍数据量的染色体，并将数据量分成预设第二阈值数量如五个批次依次增加，对比随着训练数据量增加，对模型效果提升的影响；同时将数据集分成训练集、验证集和测试集三部分，按预设的数据量比例进行配置如可以设置该配置为8:1:1，当通过训练集训练处多个模型后，能够使用各个模型对验证集数据进行预测，能够用来调整模型的参数，选出效果最佳的模型所对应的参数。

可选地，分类单元34，可以具体用于：

将该对该判断出的有粘连的染色体图像再次进行图像分割后的图像分割结果，注入该训练出的染色体图像数据集中的染色体图像检测分类模型，得到相对应的染色体图像类别标签及类别置信度。

请参见图4，图4是本发明基于深度学习的染色体自动分析系统另一实施例的结构示意图。区别于上一实施例，本实施例所述基于深度学习的染色体自动分析系统40还包括：制作单元41。

制作单元41，用于制作染色体图像数据集。

可选地，制作单元41，可以具体用于：

将单染色体RGB图像进行二值化处理，则二值化的图像为该单染色体对应的mask蒙版，得到单染色体mask蒙版数据集，其中染色体图像为RGB图像，mask蒙版为单通道图像。

该基于深度学习的染色体自动分析系统30/40/的各个单元模块可分别执行上述方法实施例中对应步骤，故在此不对各单元模块进行赘述，详细请参见以上对应步骤的说明。

请参见图5，图5是本发明基于深度学习的染色体自动分析系统又一实施例的结构示意图。该基于深度学习的染色体自动分析系统可以执行上述方法中执行的步骤。相关内容请参见上述方法中的详细说明，在此不再赘叙。

本实施例中，该基于深度学习的染色体自动分析系统包括：处理器51、与处理器51耦合的存储器52、训练器53、生成器54。

存储器52，用于存储操作系统、处理器51执行的指令。

训练器53，用于训练该染色体图像数据集中的染色体图像检测分割模型。

生成器54，用于对待检测染色体图像进行多尺度处理，生成待检测染色体的多尺度图像集。

训练器53，还用于训练染色体图像数据集中的染色体图像检测分类模型。

处理器51，用于制作染色体图像数据集。

处理器51，还用于应用该训练出的染色体图像数据集中的染色体图像检测分割模型，对该生成的待检测染色体的多尺度图像集进行图像分割，得到染色体图像分割结果的mask蒙版及其相对位置坐标，并判断染色体图像有粘连或无粘连。

处理器51，还用于对该判断出的有粘连的染色体图像再次进行图像分割。

处理器51，还用于应用该训练出的染色体图像数据集中的染色体图像检测分类模型，对待检测染色体图像进行图像分类。

处理器51，还用于对该得到的染色体图像分割结果的mask蒙版及其相对位置坐标以及对待检测染色体图像进行图像分类后的图像分类结果，进行聚类分析，综合得到染色体图像分割结果及其图像分类结果，输出染色体核型图。

可选地，处理器51，可以具体用于：

将单染色体RGB图像进行二值化处理，则二值化的图像为该单染色体对应的mask蒙版，得到单染色体mask蒙版数据集，其中染色体图像为RGB图像，mask蒙版为单通道图像。

可选地，训练器53，可以具体用于：

采用基于深度学习的Mask-RCNN模型框架方式，第一阶段先扫描染色体图像并生成提议，第二阶段再分类该提议，并生成边界框和掩码，掩码分支是一个卷积神经网络，取感兴趣区域ROI分类器选择的正区域为输入，并生成相应的二值掩码。

可选地，生成器53，可以具体用于：

对原染色体图像进行不同比例的等比缩放处理，接着对进行不同比例的等比缩放处理后的结果进行多角度旋转处理，将待检测染色体图像处理成多尺度下的系列图像，成为该原图的多尺度图像集，得到染色体检测分割训练后模型。

可选地，处理器51，可以具体用于：

应用该训练出的染色体图像数据集中的染色体图像检测分割模型，对该生成的待检测染色体的多尺度图像集进行图像分割，得到染色体图像分割结果的mask蒙版及其相对位置坐标，遍历，若该模型对输入图像有第一预设阈值数量的检测结果，则其得到对应该第一预设阈值数量的分割mask蒙版，对应该第一预设阈值数量的染色体分割结果，分别表示为二值矩阵，蒙版的中心点即该染色体的在输入图像中的位置坐标，通过归一化和对应的旋转处理，即可得到该染色体的相对位置坐标，并判断染色体图像有粘连或无粘连。

可选地，训练器53，可以具体用于：

通过图像旋转变换，生成经过预设第二阈值数量如五个随机角度旋转的图像，以此获得数据扩充得到对应预设第二阈值数量如五倍数据量的染色体，并将数据量分成预设第二阈值数量如五个批次依次增加，对比随着训练数据量增加，对模型效果提升的影响；同时将数据集分成训练集、验证集和测试集三部分，按预设的数据量比例进行配置如可以设置该配置为8:1:1，当通过训练集训练处多个模型后，能够使用各个模型对验证集数据进行预测，能够用来调整模型的参数，选出效果最佳的模型所对应的参数。

可选地，处理器51，可以具体用于：

将该对该判断出的有粘连的染色体图像再次进行图像分割后的图像分割结果，注入该训练出的染色体图像数据集中的染色体图像检测分类模型，得到相对应的染色体图像类别标签及类别置信度。

本发明提供的基于深度学习的染色体自动分析方法及系统，可以采用多层次处理，分层处理染色体的独立形态和重叠形态，并对染色体位置坐标、分类标签、分类置信度进行聚类分析输出核型图。

可以发现，以上方案，本发明提供的基于深度学习的染色体自动分析方法及系统，能够采用基于深度学习的染色体分割方法，不依赖特定染色体形态模式，具有较高的泛化能力，能够采用基于深度学习的染色体分类方法，兼顾染色体全局形态和带纹特征，提高分类准确率，能够采用多尺度处理，对待检测图像利用更加充分，有效提高在染色体重叠，粘连情况下的分割效果。

在本发明所提供的几个实施方式中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本发明各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的部分实施例，并非因此限制本发明的保护范围，凡是利用本发明说明书及附图内容所作的等效装置或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (16)

1.一种基于深度学习的染色体自动分析方法，其特征在于，包括：

训练染色体图像数据集中的染色体图像检测分割模型；

对待检测染色体图像进行多尺度处理，生成待检测染色体的多尺度图像集；

应用所述训练出的染色体图像数据集中的染色体图像检测分割模型，对所述生成的待检测染色体的多尺度图像集进行图像分割，得到染色体图像分割结果的mask蒙版及其相对位置坐标，并判断染色体图像有粘连或无粘连；

对所述判断出的有粘连的染色体图像再次进行图像分割；

训练染色体图像数据集中的染色体图像检测分类模型；

应用所述训练出的染色体图像数据集中的染色体图像检测分类模型，对待检测染色体图像进行图像分类；

对所述得到的染色体图像分割结果的mask蒙版及其相对位置坐标以及对待检测染色体图像进行图像分类后的图像分类结果，进行聚类分析，综合得到染色体图像分割结果及其图像分类结果，输出染色体核型图。

2.如权利要求1所述的基于深度学习的染色体自动分析方法，其特征在于，在所述训练染色体图像数据集中的染色体图像检测分割模型之前，还包括：

制作染色体图像数据集。

3.如权利要求2所述的基于深度学习的染色体自动分析方法，其特征在于，所述制作染色体图像数据集，包括：

将单染色体RGB图像进行二值化处理，则二值化的图像为所述单染色体对应的mask蒙版，得到单染色体mask蒙版数据集，其中染色体图像为RGB图像，mask蒙版为单通道图像。

4.如权利要求1至3任意一项所述的基于深度学习的染色体自动分析方法，其特征在于，所述训练染色体图像数据集中的染色体图像检测分割模型，包括：

采用基于深度学习的Mask-RCNN模型框架方式，第一阶段先扫描染色体图像并生成提议，第二阶段再分类所述提议，并生成边界框和掩码，掩码分支是一个卷积神经网络，取感兴趣区域ROI分类器选择的正区域为输入，并生成相应的二值掩码。

5.如权利要求1至3任意一项所述的基于深度学习的染色体自动分析方法，其特征在于，所述对待检测染色体图像进行多尺度处理，生成待检测染色体的多尺度图像集，包括：

对原染色体图像进行不同比例的比缩放处理，接着对进行不同比例的比缩放处理后的结果进行多角度旋转处理，将待检测染色体图像处理成多尺度下的系列图像，成为所述原图的多尺度图像集，得到染色体检测分割训练后模型。

6.如权利要求1至3任意一项所述的基于深度学习的染色体自动分析方法，其特征在于，所述应用所述训练出的染色体图像数据集中的染色体图像检测分割模型，对所述生成的待检测染色体的多尺度图像集进行图像分割，得到染色体图像分割结果的mask蒙版及其相对位置坐标，并判断染色体图像有粘连或无粘连，包括：

应用所述训练出的染色体图像数据集中的染色体图像检测分割模型，对所述生成的待检测染色体的多尺度图像集进行图像分割，得到染色体图像分割结果的mask蒙版及其相对位置坐标，遍历，若所述模型对输入图像有第一预设阈值数量的检测结果，则其得到对应所述第一预设阈值数量的分割mask蒙版，对应所述第一预设阈值数量的染色体分割结果，分别表示为二值矩阵，蒙版的中心点即所述染色体的在输入图像中的位置坐标，通过归一化和对应的旋转处理，即可得到所述染色体的相对位置坐标，并判断染色体图像有粘连或无粘连。

7.如权利要求1至3任意一项所述的基于深度学习的染色体自动分析方法，其特征在于，所述训练染色体图像数据集中的染色体图像检测分类模型，包括：

通过图像旋转变换，生成经过预设第二阈值数量的随机角度旋转的图像，以此获得数据扩充得到对应预设第二阈值数量的染色体，并将数据量分成预设第二阈值数量批次依次增加，对比随着训练数据量增加，对模型效果提升的影响；同时将数据集分成训练集、验证集和测试集三部分，按预设的数据量比例进行配置，当通过训练集训练处多个模型后，能够使用各个模型对验证集数据进行预测，能够用来调整模型的参数，选出效果最佳的模型所对应的参数。

8.如权利要求1至3任意一项所述的基于深度学习的染色体自动分析方法，其特征在于，所述应用所述训练出的染色体图像数据集中的染色体图像检测分类模型，对待检测染色体图像进行图像分类，包括：

将所述对所述判断出的有粘连的染色体图像再次进行图像分割后的图像分割结果，注入所述训练出的染色体图像数据集中的染色体图像检测分类模型，得到相对应的染色体图像类别标签及类别置信度。

9.一种基于深度学习的染色体自动分析系统，其特征在于，包括：

训练单元、生成单元、分割单元、分类单元、分析输出单元；

所述训练单元，用于训练所述染色体图像数据集中的染色体图像检测分割模型；

所述生成单元，用于对待检测染色体图像进行多尺度处理，生成待检测染色体的多尺度图像集；

所述分割单元，用于应用所述训练出的染色体图像数据集中的染色体图像检测分割模型，对所述生成的待检测染色体的多尺度图像集进行图像分割，得到染色体图像分割结果的mask蒙版及其相对位置坐标，并判断染色体图像有粘连或无粘连；

所述分割单元，还用于对所述判断出的有粘连的染色体图像再次进行图像分割；

所述训练单元，还用于训练染色体图像数据集中的染色体图像检测分类模型；

所述分类单元，用于应用所述训练出的染色体图像数据集中的染色体图像检测分类模型，对待检测染色体图像进行图像分类；

所述分析输出单元，用于对所述得到的染色体图像分割结果的mask蒙版及其相对位置坐标以及对待检测染色体图像进行图像分类后的图像分类结果，进行聚类分析，综合得到染色体图像分割结果及其图像分类结果，输出染色体核型图。

10.如权利要求9所述的基于深度学习的染色体自动分析系统，其特征在于，所述基于深度学习的染色体自动分析系统，还包括：

制作单元，用于制作染色体图像数据集。

11.如权利要求10所述的基于深度学习的染色体自动分析系统，其特征在于，所述制作单元，具体用于：

将单染色体RGB图像进行二值化处理，则二值化的图像为所述单染色体对应的mask蒙版，得到单染色体mask蒙版数据集，其中染色体图像为RGB图像，mask蒙版为单通道图像。

12.如权利要求9至11任意一项所述的基于深度学习的染色体自动分析系统，其特征在于，所述训练单元，具体用于：

采用基于深度学习的Mask-RCNN模型框架方式，第一阶段先扫描染色体图像并生成提议，第二阶段再分类所述提议，并生成边界框和掩码，掩码分支是一个卷积神经网络，取感兴趣区域ROI分类器选择的正区域为输入，并生成相应的二值掩码。

13.如权利要求9至11任意一项所述的基于深度学习的染色体自动分析系统，其特征在于，所述生成单元，具体用于：

对原染色体图像进行不同比例的比缩放处理，接着对进行不同比例的比缩放处理后的结果进行多角度旋转处理，将待检测染色体图像处理成多尺度下的系列图像，成为所述原图的多尺度图像集，得到染色体检测分割训练后模型。

14.如权利要求9至11任意一项所述的基于深度学习的染色体自动分析系统，其特征在于，所述分割单元，具体用于：

应用所述训练出的染色体图像数据集中的染色体图像检测分割模型，对所述生成的待检测染色体的多尺度图像集进行图像分割，得到染色体图像分割结果的mask蒙版及其相对位置坐标，遍历，若所述模型对输入图像有第一预设阈值数量的检测结果，则其得到对应所述第一预设阈值数量的分割mask蒙版，对应所述第一预设阈值数量的染色体分割结果，分别表示为二值矩阵，蒙版的中心点即所述染色体的在输入图像中的位置坐标，通过归一化和对应的旋转处理，即可得到所述染色体的相对位置坐标，并判断染色体图像有粘连或无粘连。

15.如权利要求9至11任意一项所述的基于深度学习的染色体自动分析系统，其特征在于，所述训练单元，具体用于：

通过图像旋转变换，生成经过预设第二阈值数量的随机角度旋转的图像，以此获得数据扩充得到对应预设第二阈值数量的染色体，并将数据量分成预设第二阈值数量批次依次增加，对比随着训练数据量增加，对模型效果提升的影响；同时将数据集分成训练集、验证集和测试集三部分，按预设的数据量比例进行配置，当通过训练集训练处多个模型后，能够使用各个模型对验证集数据进行预测，能够用来调整模型的参数，选出效果最佳的模型所对应的参数。

16.如权利要求9至11任意一项所述的基于深度学习的染色体自动分析系统，其特征在于，所述分类单元，具体用于：

将所述对所述判断出的有粘连的染色体图像再次进行图像分割后的图像分割结果，注入所述训练出的染色体图像数据集中的染色体图像检测分类模型，得到相对应的染色体图像类别标签及类别置信度。