CN112288706B - 一种自动化的染色体核型分析以及异常检测方法 - Google Patents

Abstract

本发明提供一种自动化的染色体核型分析以及异常检测方法。本发明将注意力机制和卷积神经网络相结合，该方法分两阶段对目标定位，第一阶段粗定位出目标的区域；第二阶段在第一阶段的目标区域内加上注意力机制，提取更深层语义特征预测出目标的掩码，同时借助类别预测和检测框回归任务粗定位出目标的位置，并进行分割；最后，利用训练好的模型对染色体图像分割与检测，可以准确的实现染色体分割与异常检测，从而实现染色体核型分析自动化。本发明提供的方法能够克服传统的染色体核型分析方法主要依赖于遗传学家进行人工交互性分析，存在耗时、不易分离重叠染色体、不能自动检测异常染色体等缺点。

Description

一种自动化的染色体核型分析以及异常检测方法

技术领域

本发明属于生物医学图像处理工程技术领域，具体涉及一种自动化的染色体核型分析以及异常检测方法。

背景技术

人类染色体分析任务是智能医疗诊断任务的重要研究课题之一,也是临床实践评估的难点。一个健康的人类染色体有总共有23对染色体：由22对常染色体和1对性染色体(X和Y染色体)组成，在临床中，遗传学家通常利用中期染色体来分析，染色体核型可以医生提供特定的诊断信息出生缺陷、遗传障碍和癌症等，但由于染色体的结构性改变，如染色体的缺失、重复、易位或逆序等，此过程中专家手工对每一条染色体进行分割和分析诊断需要耗费大量时间，且高度依赖专家知识。并且，对于当前主流方法，主要的研究仍然是单条染色体的分类，对于整体的自动化研究还未有，因此，它促使我们设计一种全自动化的核型分析方法，以协助医生处理和减轻认知负荷，从而辅助医疗诊断。

近些年来，传统方法也在染色体核型分析任务上取得一定的进展，如图像分割方法，包括阈值法、边缘法和区域法等，这些都没有考虑像素之间的相关性，分割的效果不理想。基于图论的分割方法是将图像中的每个像素点看成图的顶点，像素点之间的关系看作图的边，像素之间的相关性看作边的权值，建立一个关于边的能量函数，通过最小化能量函数实现对图像的分割；基于能量泛函的分割方法是利用类间方差或像素间梯度构造能量泛函，求解泛函极值时图像的分割状态。但以上方法，对于染色体分割仍不能达到较好的效果，对于分辨率低、存在噪声等问题的染色体图像，这些方法需要人工设定一些参数，较大的影响了图像分割效果，实质上还是需要人工进行干预，人为的进行特征设定，帮助图像分析。

近年来，卷积神经网络以其超强的特征提取能力被广泛地应用于图像检测和分割领域。图像分割主要分为语义分割和实例分割，语义分割是区分图像中不同物体类的分割，它不需要区分图像中某个物体类的不同个体，从早期的全卷积网络(Fully ConvolutionalNetworks,FCN)、U-Net，发展到现在的金字塔场景分析网络(Pyramid Scene ParsingNetwork，PSPNet)、DeepLab等，这些都在图像分割任务上取得了一定的进展，但这些都是语义分割，不能分离出单一个体，因此，这就需要实例分割的技术来完成，实例分割需要分清图像中每个类的不同个体，代表性是Mask RCNN网络，它的特点是需要在检测出目标的基础上对目标掩码进行预测，能够提高分割的精确性。而注意力机制方法，可以是网络更关注感兴趣区域，得模型能够关注图像中的重点信息。

考虑到染色体分析任务的特性，需要将每个染色体严格进行分割开，从而才能高精度的进行染色体分类，因此这就需要实例分割的技术，区分不同染色体个体。因此，本发明将注意力机制和卷积神经网络相结合，设计出了一种用于染色体图像分割与检测的模型，采用实例分割方法，对染色体图像进行先定位后分割，该方法分两阶段对目标定位，第一阶段粗定位出目标的区域；第二阶段在第一阶段的目标区域内加上注意力机制，提取更深层语义特征预测出目标的掩码，同时借助类别预测和检测框回归任务粗定位出目标的位置，并进行分割；最后，利用训练好的模型对染色体图像分割与检测，可以准确的实现染色体分割与异常检测，从而实现染色体核型分析自动化，。

发明内容

为解决上述问题，本发明基于深度学习建模思想和目标检测与分割的方法，以及金标准染色体图像制作方法，提供一种自动化的染色体核型分析以及异常检测方法。对于异常染色体检测，本发明将其归类为多任务学习，即同时学习染色体类别和判断是否属于异常类别。本发明提供的方法能够克服传统的染色体核型分析方法主要依赖于遗传学家进行人工交互性分析，存在耗时、不易分离重叠染色体、不能自动检测异常染色体等缺点。

一种自动化的染色体核型分析以及异常检测方法，包括以下步骤：

步骤1：构建合理的金标准数据集：设定数据标定规则，利用医院专家提供的有标记染色体数据来构建训练集，本发明采用专业的语义分割标注软件，对染色体图像进行标注，对于分割任务，需要为每个染色体勾画出轮廓，并设定类别。

步骤2：设计合理的染色体分析模型：利用数据集的特性将建模问题考虑检测与分割，同时，对于异常染色体检测，将其归类为多任务学习，即同时学习染色体类别和判断是否属于异常类别。总体上，采用检测定位加上分割的方法分割目标区域，首先检测出目标的大体区域，然后在目标区域内分割目标。利用深度卷积神经网络作为特征提取器，来挖掘染色体潜在的特征，同时利用注意力机制使模型更加关注异常染色体以及不同种类的染色体的潜在特性，将关注点放在目标区域的有效位置，从而进一步的提高染色体精度。

步骤3：模型损失函数设计：采用先检测定位后分割目标的方法，共有三个损失函数，分别是将背景和目标区分开的分类损失函数、回归目标检测框坐标的损失函数和预测目标掩码的二值交叉熵损失函数。

步骤4：模型推断：对于训练好的网络模型，给定一张染色体图像，网络可以预测一张高置信度的分割图像，同时对于异常染色体，会自动标注出异常染色体，以检测框表示。

步骤5：利用图像处理技术进行染色体核型排序：对于一张分割好的染色体图像，本发明将图像处理技术进行提取原图像中的单条染色体，并进行仿射变换，使染色体角度摆正。最终可以完整的进行染色体排序分组，以完成染色体核型分析，排列顺序为0到23类或24类染色体。

在步骤1中，对于每一类染色体，需要对其进行勾画出轮廓，并为其分配指定的标签，0到22对染色体类别用数字0到22表示，X染色体用23表示，Y染色体用24表示，而对于异常染色体，我们考虑为多任务学习，即分配多个图像标签，正常的为1，非正常的为0，实现一个二分类任务。对于不同类别的染色体，标注工具将自动为其分配不同颜色，以用于视觉区分。在软件标注完，我们即获得了染色体图像标注信息，具体的为轮廓坐标与类别，因此可借助于图像处理技术，提取轮廓，并对其进行掩码填充，就可以获得金标准数据集。

在步骤2中，采用两阶段方法，即采用检测定位加上分割的方法分割目标区域，这样建模的方法将极大的化难为易，简化了染色体核型分析任务。具体的，首先，采用常见深度卷积神经网络作为特征提取器(如Resnet、Densenet等)，可以有效的学习染色体特征，从而进行特征表示；然后利用检测定位的方法，检测出目标的大体区域；最后利用目标分割的方法，在目标区域内分割目标。经过这两步后就可以完成染色体的分割与检测。同时由于染色体图像具有噪声、分辨率低的特点，且存在重叠染色体与异常染色体的情况，因此，本发明采用自注意力机制将模型的关注区域放在染色体核型特征上，重点挖掘染色体的潜在特征信息，提高分割与检测准确率。

在步骤3中，三个损失函数具体是：

(1)将背景和目标区分开的分类损失函数以及异常染色体分类函数，其用L_cls表示，此损失函数为交叉熵，染色体类别用数字0到22表示，X染色体用23表示，Y用24表示，对于异常染色体，正常的为1，非正常的为0；

(2)回归目标检测框坐标的损失函数，其用L_box表示，损失函数实质为均方误差MSE，对检测框进行回归定位；

(3)预测目标掩码的二值交叉熵损失函数，其用L_mask表示，此损失函数是一个像素级别的分类，在定位检测基础上，进行分割，这里主要是二分类，区分背景区域与染色体；

最后，为了平衡任务，最终损失函数采取加权方式，具体如下：

L＝0.1*L_cls+0.3*L_box+0.6*L_mask。

在步骤5中，将分割图像与原图像中对应的染色体提出来，然后根据仿射变换将染色体摆正，调整好角度，最后依次按染色体类别顺序进行排列，即可以得到一副排列好的核型染色体图像，同时对于异常染色体，将在核型图中用矩形框进行标注。

本发明将注意力机制和卷积神经网络相结合，该方法分两阶段对目标定位，第一阶段粗定位出目标的区域；第二阶段在第一阶段的目标区域内加上注意力机制，提取更深层语义特征预测出目标的掩码，同时借助类别预测和检测框回归任务粗定位出目标的位置，并进行分割；最后，利用训练好的模型对染色体图像分割与检测，可以准确的实现染色体分割与异常检测，从而实现染色体核型分析自动化。

与现有技术相比，本发明具有以下优点：

有别于传统染色体核型分析方法，本发明提出的方法不需要人工设定特征，采用检测与分割结合的方法，可以实现完全的自动化分析，本发明采用的使整个图像进行分析，是一项端对端的工作，也是染色体核型任务中的首次提出。本发明利用深度卷积神经网络作为特征提取器，来挖掘染色体潜在的特征，同时利用注意力机制使模型更加关注异常染色体以及不同种类的染色体的潜在特性，将关注点放在目标区域的有效位置，从而进一步的提高染色体精度。特别地，本发明还加入了异常染色体检测功能，对于异常染色体检测，本发明将其归类为多任务学习，即同时学习染色体类别和判断是否属于异常类别。最后将对于一张分割好的染色体图像，本发明利用图像处理技术完整的进行染色体排序分组，以完成染色体核型自动化分析，对于异常的染色体，本发明将自动的在核型分析图中进行标注，以帮助临床诊断。

附图说明

图1为本发明方法整体结构；

图2为本发明数据集标定过程；

图3为本发明注意力机制结构图；

图4为本发明染色体核型进行排序；

图5为本发明预期结果展示。

具体实施方式

通过以下详细说明结合附图可以进一步理解本发明的特点和优点。所提供的实施例仅是对本发明方法的说明，而不以任何方式限制本发明揭示的其余内容。

实施例

一种自动化的染色体核型分析以及异常检测方法，具体包含以下步骤：

步骤1：构建合理的金标准数据集

构建合理的金标准数据集用于模型训练，是一个非常关键的步骤，也决定结果的好坏，是染色体分析任务的核心。如图2所示为本发明的数据集构建过程，本发明采用专业的语义分割标注软件，对染色体图像进行标注，(a)为软件标注，对于每一类染色体，我们需要对其进行勾画出轮廓，并为其分配指定的标签，0到22对染色体类别用数字0到22表示，X染色体用23表示，Y染色体用24表示。而对于异常染色体，我们考虑为多任务学习，即分配多个图像标签，正常的为1，非正常的为0，实现一个二分类任务。对于不同类别的染色体，标注工具将自动为其分配不同颜色，以用于视觉区分。在软件标注完，我们即获得了染色体图像标注信息，具体的为轮廓坐标与类别，因此可借助于图像处理技术，提取轮廓，并对其进行掩码填充，就可以获得图2(b)所示的金标准数据集。

步骤2：设计合理的染色体分析模型

不同于传统的染色体分析方法，传统的方法通常是将分割与分类分开去做，且分割过程中容易染色体图像噪声、对比度、重叠染色体等影响，导致难以很准确的分离重叠染色体。而对于分类，首先重要的步骤，就是完整准确的染色体分割，才能进行分类。并且，对于重叠的染色体，传统方法也难以手工设定识别特征，完成其判别任务，而医院专家也需要多年的知识与经验才能完全判断。虽然现有染色体分析工具，也能完成染色体分析，但其仍是半自动化操作，需要人工进行交互式操作，且不能识别异常染色体，严重的依赖人工操作。因此，针对以上局限性，基于人工智能技术的发展，本发明提出一种自动化的染色体核型分析以及异常检测方法，该方法在具备充足的数据集情况下，可以完全的进行自动化的完成染色体核型分析，其他节省人工分析时间，并可以提高分析准确率。

具体来说，本发明采用两阶段方法，即采用检测定位加上分割的方法分割目标区域，这样建模的方法将极大的化难为易，简化了染色体核型分析任务。具体的，首先，采用常见深度卷积神经网络作为特征提取器(如Resnet、Densenet等)，可以有效的学习染色体特征，从而进行特征表示；然后利用检测定位的方法，检测出目标的大体区域；最后利用目标分割的方法，在目标区域内分割目标。经过这两步后就可以完成染色体的分割与检测。同时由于染色体图像具有噪声、分辨率低的特点，且存在重叠染色体与异常染色体的情况，因此，本发明采用自注意力机制将模型的关注区域放在染色体核型特征上，重点挖掘染色体的潜在特征信息，提高分割与检测准确率。

1)检测定位

将经过特征提取器后特征图，采用ROIAlign进行操作，即将其特征图F₁，经过全局平均池化后得到的特征向量F₂送入类别预测和检测框回归分支，其中：

F₂＝Mean_k*k(F₁) (1)

Mean_k*k表示在k*k的区域内求平均，F₁的每个通道求平均得到F₂，输出的维度是1*1*1024。

类别预测和检测框回归分支的所有神经元全连接F₂，其中：

class＝f(F₂*w_i+b_i) (2)

box＝f(F₂*w_j+b_j) (3)

式中，w_i和w_j分别为类别预测分支和检测框回归分支到F₂的连接权值，b_i和b_j为相对应的偏置,i,j为卷积核的个数。

2)目标分割

将ROIAlign得到的特征图F₁经过若干个注意力机制模块后得到F₃，其中：

F₃＝Atten(F₁) (4)

Atten表示若干个注意力机制模块，带有注意力的特征图F₃经过反卷积上采样得到预测的掩码，反卷积的步长为2，其中：

式中，

表示反卷积操作，f为激活函数，w_i为第i个卷积核，b_i表示偏置。

3)注意力机制

由于染色体图像具有噪声、分辨率低的特点，且存在重叠染色体与异常染色体的情况，因此，本发明采用自注意力机制将模型的关注区域放在染色体核型特征上，重点挖掘染色体的潜在特征信息，提高分割与检测准确率，其结构如图3所示。

首先将输入的特征图F₄经过一维卷积运算得到特征图H，其中：

式中，

表示卷积操作，f为激活函数，W_1*1表示一维卷积核的权值，b_1*1表示一维卷积核的偏置。

再将特征图F₄分别经过两次下采样和两次上采样得到注意力图，其中：

其中，w_k(k＝f、g、p、Am)和b_k(k＝f、g、p、Am)分别表示生成特征图F、G、P和注意力图卷积核的权值和偏置。

最后参考公式(7)与(8)，将注意力图和特征图点乘得到带有注意力机制的特征图A_fm，其中：

Afm＝Am⊙H (9)

⊙为点乘操作。

步骤3：模型损失函数设计

本方法采用先检测定位后分割目标的方法，共有三个损失函数，分别是：

(1)将背景和目标区分开的多任务分类损失函数L_cls,此损失函数为多任务损失，包含类别依次为染色体种类、异常种类，其具体数学形式如下：

y_i为真实值，s_j为预测值，c为染色体类别

(2)回归目标检测框坐标的L2损失函数L_box，此损失函数用于，对目标染色体进行精确定位，实质也是一个均方差误差函数，对检测框边界进行回归，其具体数学形式如下：

t_i为真实目标框坐标，t'_i为预测坐标。

(3)预测目标掩码的函数L_mask，用于像素级别的分类任务，完成染色体分割，尤其是重叠染色体的分割。由于是在定位基础上进行分割，在分割的时候各类保持独立，因此实质属于二分类交叉熵，只需要完成类间竞争，即区分当前目标框里是目标还是背景，从而获得精确目标对象分割。其具体数学形式如下：

y_i为真实值，s_j为预测值，c为染色体类别，实质上c＝2.

由于预测目标掩码任务的难度最大，回归目标检测框坐标任务次之，本方法构建式(13)所示的损失函数。

L＝0.1*L_cls+0.3*L_box+0.6*L_mask (13)

步骤4：模型推断

对于训练好的网络模型，给定一张染色体图像，网络可以预测输出一张高置信图的分割图像，同时对于异常染色体，会自动标注出异常染色体，以检测框表示。

步骤5：利用图像处理技术进行染色体核型排序。

对于训练好的模型，给定一张图像，就可以输出一张高质量的分割图像，完成不同类别的染色体分割，同时模型也会给出异常染色体的检测信息。同时为了完成染色体核型自动化分析任务，便于实际使用，帮助医生更直观的进行判断，本发明采用图像处理技术对染色体核型进行排序，如图4所示。具体做法为：将分割图像与原图像中对应的染色体提出来，然后根据仿射变换将染色体摆正，调整好角度，最后依次按染色体类别顺序进行排列，即可以得到一副排列好的核型染色体图像，同时对于异常染色体，将在核型图中用矩形框进行标注。

虽然以上描述了本发明的具体实施方式，但是本领域熟练技术人员应当理解，这些仅是举例说明，本发明不局限于上述最佳实施方式，任何人在本发明的启示下作任何变化，均落在本发明的保护范围之内。

Claims (4)

1.一种自动化的染色体核型分析以及异常检测方法，其特征在于：针对染色体分析任务特性，采用检测与分割方法，利用深度学习方法与数据驱动的方法进行建模，从而完成自动化染色体分析，具体包含以下步骤：

步骤1：构建金标准数据集；

步骤2：设计染色体分析模型：采用两阶段方法，第一阶段为检测定位，将输入图像经过特征提取器后的特征图，采用ROIAlign进行操作，将其特征图经过全局平均池化后送入类别预测和检测框回归分支；第二阶段为目标分割，将ROIAlign得到的特征图经过若干个注意力机制模块后得到新的特征图，最后经过反卷积得到预测分割图；最后，对于异常染色体检测，采用自注意力机制将模型的关注区域放在染色体核型特征上，从而提高分割与检测准确率；

步骤3：设计模型损失函数：采用先检测定位后分割目标的方法，共有三个损失函数，分别是将背景和目标区分开的分类损失函数、回归目标检测框坐标的损失函数和预测目标掩码的二值交叉熵损失函数；

步骤4：模型推断：对于训练好的网络模型，给定一张染色体图像，网络预测输出一张高置信度的分割的图像，同时对于异常染色体，会自动标注出异常染色体，以检测框表示；

步骤5：利用图像处理技术进行染色体核型排序：对于一张分割好的染色体图像，将图像处理技术进行提取原图像中的单条染色体，并进行仿射变换，使染色体角度摆正，最终可以完整的进行染色体排序分组，以完成染色体核型分析，排列顺序为0到23或24类染色体。

2.如权利要求1所述的自动化的染色体核型分析以及异常检测方法，其特征在于：所述步骤1中，利用医院专家提供的有标记染色体数据来构建训练集，采用专业的语义分割标注软件，对染色体图像进行标注，对于分割任务，为每个染色体勾画出轮廓，并设定类别，染色体类别用数字0到22表示，X染色体用23表示，Y用24表示，对于异常染色体，正常的为1，非正常的为0；最后将轮廓图像转换为掩码图像。

3.如权利要求1所述的自动化的染色体核型分析以及异常检测方法，其特征在于：所述步骤2中，采用检测定位加上分割的方法分割目标区域，首先检测出目标的大体区域，然后在目标区域内分割目标，利用深度卷积神经网络作为特征提取器，来挖掘染色体潜在的特征，同时利用注意力机制使模型更加关注异常染色体以及不同种类的染色体的潜在特性，将关注点放在目标区域的有效位置，进一步提高染色体精度。

4.如权利要求1所述的自动化的染色体核型分析以及异常检测方法，其特征在于：所述步骤3中，

(1)将背景和目标区分开的分类损失函数以及异常染色体分类函数，其用L_cls表示，此损失函数为交叉熵，属于多任务学习，需要同时辨认染色体类别与异常类型；

(2)回归目标检测框坐标的损失函数，其用L_box表示，损失函数实质为均方误差MSE，对检测框进行回归定位，作用为检测染色体，用于帮助分类分支分类；

(3)预测目标掩码的二值交叉熵损失函数，其用L_mask表示，此损失函数是一个像素级别的分类，在定位检测基础上，进行分割，这里是二分类，区分背景区域与染色体；

最后，为了平衡任务，最终损失函数采取加权方式，具体如下：

L＝0.1*L_cls+0.3*L_box+0.6*L_mask。

Images