CN110895810B - 基于改进Mask RCNN的染色体图像实例分割方法及装置 - Google Patents

Abstract

本申请公开了一种基于改进Mask RCNN的染色体图像实例分割方法及装置，所述方法包括：获取由染色体图像中各尺度的特征信息与对应的各第一轴对准包围框形成的各第一ROI；对各第一ROI中的第一旋转包围框进行修正，获取各第二旋转包围框，形成旋转包围框集；根据第二旋转包围框与旋转包围框集的角度加权IOU，对第二旋转包围框进行NMS操作，获取第一ROI的最终轴对准包围框；根据最终ROI轴对准包围框与对应的特征信息，获取第二ROI后输入Mask分支，获取染色体图像分割掩膜。与现有技术相比，本实施例通过对得出的第一ROI进行结合角度加权IOU的NMS操作，解决交叉重叠染色体过度抑制、掩模回归时重叠单体出现相互干扰等问题，从而提高染色体图像的分割效果。

Description

基于改进Mask RCNN的染色体图像实例分割方法及装置

技术领域

本申请涉及染色体核型分析技术领域，尤其涉及一种基于改进Mask RCNN的染色体图像实例分割方法及装置。

背景技术

染色体核型分析技术是指借助显微显带技术，将生物细胞分裂中期的染色体依照其固有的数目和形态结构特征，按一定的规定配对、编号、比较分析和诊断异变的过程，其通常包括标本采集、细胞培养、染色体收获、染色体标本制片、染色体染色显带、显微摄影、染色体图像分割、染色体图像分类、核型图生成与分析诊断等步骤。其中，染色体图像分割是指从显微摄影得到的染色体分裂象照片中对每个染色体目标实例进行图像分割，最终生成染色体的图像分割掩模。作为一种图像分割任务，由于染色体具有目标小、形态杂、粘连多、辨识难等特点，致使传统图像分割方法无法自动地、鲁棒地达到理想的分割效果。因此，在分割处理过程中往往需要医务人员人工干预介入，凭据医学知识经验对分割算法参数进行调整，甚至还需要手动分割部分染色体，导致医疗资源成本和时间成本的双重浪费。

为解决上述问题，现有技术中，采用卷积神经网络Mask RCNN对染色体图像进行实例级别的自动分割。与传统方法相比，Mask RCNN在通用图像分割数据集上极大地提升了基线水平，但在染色体图像分割任务上，由于染色体目标粘连、重叠等遮挡问题严重，导致可能会出现非极大值抑制(NMS)过程中交叉重叠染色体过度抑制、掩模回归时重叠单体出现相互干扰等问题，使得染色体图像的分割效果仍然不够理想。

发明内容

本申请实施例所要解决的技术问题在于，提供一种基于改进Mask RCNN的染色体图像实例分割方法及装置，提高染色体图像的分割效果。

为解决上述问题，本申请实施例提供一种基于改进Mask RCNN的染色体图像实例分割方法，适于在计算设备中执行，至少包括如下步骤：

获取由染色体图像中各尺度的特征信息与所述各特征信息对应的第一轴对准包围框形成的各第一ROI；

根据旋转包围框回归分支，对所述各第一ROI中的第一旋转包围框进行修正，获取各第二旋转包围框，形成旋转包围框集；

根据所述第二旋转包围框与所述旋转包围框集的角度加权IOU，对所述第二旋转包围框进行NMS操作，获取与所述第二旋转包围框对应的第一ROI的最终轴对准包围框、最终旋转包围框和目标类别；

根据所述最终ROI轴对准包围框，对与所述最终ROI轴对准包围框对应的所述特征信息进行ROIAlign操作，获取第二ROI；

将各所述第二ROI输入角度划分的多通路特征装配Mask分支，获取染色体图像分割掩膜。

进一步的，所述角度加权IOU的获取方式包括：

获取所述第二旋转包围框与所述旋转包围框集的轴不相似性和角不相似性；

根据所述轴不相似性和所述角不相似性，获取所述第二旋转包围框与所述旋转包围框集的角度权重；

获取所述第二旋转包围框与所述旋转包围框集的旋转IOU，根据所述旋转IOU和所述角度权重，获取所述角度加权IOU。

进一步的，所述将各第二ROI输入角度划分的多通路特征装配Mask分支，获取染色体图像分割掩膜，包括：

将各所述第二ROI输入所述Mask分支的多条通路，获得多组输出特征；其中，一条通路对应一个旋转角区间；

根据所述第二ROI的最终旋转包围框的旋转角所处的所述旋转角区间，从所述多组输出特征中选择与所述旋转角对应的所述输出特征，作为所述第二ROI的输出特征；

将各所述第二ROI的输出特征作为特征集合，并对所述特征集合进行卷积操作，获取所述染色体图像分割掩膜。

进一步的，所述目标类别包括背景、染色体和杂质三个类别。

进一步的，还包括：

将所述各尺度的特征信息输入区域特征推荐网络，获取各所述第一轴对准包围框。

进一步的，还包括：

根据ResNet，对所述染色体图像进行特征提取后，将提取的特征输入FPN的自顶向下部分，结合横向连接生成所述各尺度的特征信息。

进一步的，所述染色体图像为经过尺度缩放后得到的染色体图像。

进一步的，还提供一种基于改进Mask RCNN的染色体图像实例分割装置，包括：

第一ROI获取模块，用于获取由染色体图像中各尺度的特征信息与所述各特征信息的第一轴对准包围框形成的各第一ROI；

第一ROI修正模块，用于根据旋转包围框回归分支，对所述各第一ROI中的第一旋转包围框进行修正，获取各第二旋转包围框，形成旋转包围框集；

NMS操作模块，用于根据所述第二旋转包围框与所述旋转包围框集的角度加权IOU，对所述第二旋转包围框进行NMS操作，获取与所述第二旋转包围框对应的第一ROI的最终轴对准包围框、最终旋转包围框和目标类别；

第二ROI获取模块，用于根据所述最终ROI轴对准包围框，对与所述最终ROI轴对准包围框对应的所述特征信息进行ROIAlign操作，获取第二ROI；

掩模分割模块，用于将各所述第二ROI输入Mask分支，获取染色体图像分割掩膜。

进一步的，所述掩模分割模块具体用于：

将各所述第二ROI输入所述角度划分的多通路特征装配Mask分支的多条通路，获得多组输出特征；其中，一条通路对应一个旋转角区间；

根据所述第二ROI的最终旋转包围框的旋转角所处的所述旋转角区间，从所述多组输出特征中选择与所述旋转角对应的所述输出特征，作为所述第二ROI的输出特征；

将各所述第二ROI的输出特征作为特征集合，并对所述特征集合进行卷积操作，获取所述染色体图像分割掩膜。

实施本申请实施例，具有如下有益效果：

与现有技术相比，本实施例通过对得出的第一ROI进行结合角度加权IOU的NMS操作，解决交叉重叠染色体过度抑制、掩模回归时重叠单体出现相互干扰等问题，从而提高染色体图像的分割效果。

附图说明

图1是本申请的一个实施例提供的基于改进Mask RCNN的染色体图像实例分割方法的流程示意图；

图2是改进Mask RCNN的结构示意图；

图3为角度加权IOU的流程示意图；

图4为实施例一中步骤S15的流程示意图；

图5是本申请的实施例二提供的基于改进Mask RCNN的染色体图像实例分割装置的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

参见图1，是本申请的一个实施例提供的基于改进Mask RCNN的染色体图像实例分割方法的流程示意图。其中，改进Mask RCNN的系统结构可如图2所示。该染色体图像实例分割方法包括：

步骤S11，获取由染色体图像中各尺度的特征信息与各特征信息的第一轴对准包围框形成的各第一ROI。

在本实施例中，在步骤S11之前，还包括：根据ResNet，对染色体图像进行特征提取后，将提取的特征输入FPN的自顶向下部分，结合横向连接生成各尺度的特征信息。将各尺度的特征信息输入区域特征推荐网络，获取各第一轴对准包围框。

在本实施例中，如图2所示，先读入染色体分裂象的显微照片，并对该显微照片进行缩放，获得染色体图像。其中，缩放的尺度可根据实际模型复杂度的需要进行调整。获得染色体图像后，使用ResNet作为特征金字塔网络(FPN)的自底向上部分，对染色体图像进行特征提取，并将提取后的特征输入FPN的自顶向下部分，结合横向连接生成各尺度的特征信息后，将各尺度的特征信息输入区域推荐网络(RPN)，获取目标前景的各第一轴对准包围框，其中各第一轴对准包围框与各尺度的特征信息一一对应。最后将每个尺度的特征信息与其对应的第一轴对准包围框进行ROIAlign操作，得到第一ROI。

步骤S12，根据旋转包围框回归分支，对各第一ROI中的第一旋转包围框进行修正，获取各第二旋转包围框，形成旋转包围框集。

在本实施例中，如图2所示，通过轴对准包围框回归分支，预测得出各第一ROI中的第一轴对准包围框的修正偏移量(BoundingBox)，从而对各第一轴对准包围框进行修正，获取各第二轴对准包围框。并通过旋转包围框回归分支，预测得出各第一ROI中的第一旋转包围框的修正偏移量(RotateBoundingBox)，对各第一旋转包围框修正，获取各第二旋转包围框，从而根据各第二旋转包围框形成旋转包围框集。再通过目标分类分支，预测得出各第一ROI的目标类别(Class)。其中目标类别包括背景、染色体、杂质三个类别。

步骤S13，根据第二旋转包围框与旋转包围框集的角度加权IOU，对第二旋转包围框进行NMS操作，获取与第二旋转包围框对应的第一ROI的最终轴对准包围框、最终旋转包围框和目标类别。

在本实施例中，角度加权IOU的获取方式如图3所示，包括：

步骤S21，获取第二旋转包围框与旋转包围框集的轴不相似性和角不相似性。

在本实施例中，由于任意一个旋转包围框都可以由长，宽和旋转角组成的三元组(w，h，θ)进行描述，因此对于第二旋转包围框a与旋转包围框集中除第二旋转包围框a外任意一个第二旋转包围框b，根据公式：

Φ_ab＝min{(|w_a-h_a|/(w_a+h_a))^k,(|w_b-h_b|/(w_b+h_b))^k}，可获得第二旋转包围框a与第二旋转包围框b的轴不相似性Φ_ab,其中k为控制不相似敏感度的超参数。通过该方式，可获得第二旋转包围框a与旋转包围框集中除第二旋转包围框a外所有第二旋转包围框的轴不相似性。

步骤S22，根据轴不相似性和角不相似性，获取第二旋转包围框与旋转包围框集的角度权重。

在本实施例中，对于第二旋转包围框a与旋转包围框集中除第二旋转包围框a外任意一个第二旋转包围框b，根据公式：

Δ_ab＝1-|cos(θ_a-θ_b)|，可获得第二旋转包围框a与第二旋转包围框b的角不相似性Δ_ab。通过该方式，可获得第二旋转包围框a与旋转包围框集中除第二旋转包围框a外所有第二旋转包围框的角不相似性。

步骤S23，获取第二旋转包围框与旋转包围框集的旋转IOU，根据旋转IOU和角度权重，获取角度加权IOU。

在本实施例中，对于第二旋转包围框a与旋转包围框集中除第二旋转包围框a外任意一个第二旋转包围框b，根据公式：

IOU_ab＝area(a∩b)/area(a∪b)，可获得第二旋转包围框a与第二旋转包围框b的旋转IOU_ab。通过该方式，可获得第二旋转包围框a与旋转包围框集中除第二旋转包围框a外所有第二旋转包围框的旋转IOU，再根据公式：

W_ab＝exp[exp(Φ_ab ²/σ_side)*(-Δ_ab ²/σ_angle)]，获取第二旋转包围框a相对于第二旋转包围框b的角度权重W_ab，其中σ_side为控制轴方差的超参数，σ_angle为角方差的超参数。通过该方式，可获得第二旋转包围框a与旋转包围框集中除第二旋转包围框a外所有第二旋转包围框的角度权重。

最后，根据公式AwIOU_ab＝IOU_ab*W_ab，获取第二旋转包围框a相对于第二旋转包围框b的角度加权AwIOU_ab。通过该方式，可获得第二旋转包围框a与旋转包围框集中除第二旋转包围框a外所有第二旋转包围框的角度加权IOU，即第二旋转包围框a与旋转包围框集的角度加权IOU。

步骤S14，根据最终ROI轴对准包围框，对与最终ROI轴对准包围框对应的特征信息进行ROIAlign操作，获取第二ROI。

步骤S15，将各第二ROI输入角度划分的多通路特征装配Mask分支，获取染色体图像分割掩膜。

在本实施例中，如图4所示，步骤S15包括：

步骤S31，将各第二ROI输入角度划分的多通路特征装配Mask分支的多条通路，获得多组输出特征。

其中，一条通路对应一个旋转角区间。

在本实施例中，Mask分支的多条通路优选为6条通路，分别对应(0°,30°]，(30°,60°]，(60°,90°]，(90°,120°]，(120°,150°]，(150°,180°]共6个旋转角区间，且其中每条通路都包含3次连续的核尺寸为3的卷积操作，得到6组输出特征。

步骤S32，根据第二ROI的最终旋转包围框的旋转角所处的旋转角区间，从多组输出特征中选择与旋转角对应的输出特征，作为第二ROI的输出特征。

在本实施例中，根据第二ROI的最终旋转包围框的旋转角所处的旋转角区间，从6组输出特征中选择该选旋转角区间对应的输出特征作为第二ROI的输出特征。

步骤S33，将各第二ROI的输出特征作为特征集合，并对特征集合进行卷积操作，获取染色体图像分割掩膜。

在本实施例中，层操作包括一个核尺寸为3的卷积层，接一个核尺寸为2的转置卷积层，再接一个核尺寸为1的卷积层，从而得到染色体图像分割掩膜。

本实施例通过对得出的第一ROI进行结合角度加权IOU的NMS操作，解决交叉重叠染色体过度抑制、掩模回归时重叠单体出现相互干扰等问题，从而提高染色体图像的分割效果。

在本实施例中，在获取到染色体图像分割掩膜之后，还会根据得到的多个染色体图像分割掩模，计算平均准确率均值，从而可得知分割效果，以便根据分割效果进行调整，进而进一步提高分割效果。

进一步的，参见图5，是本申请的实施例二提供的基于改进Mask RCNN的染色体图像实例分割装置的结构示意图。包括：

第一ROI获取模块101，用于获取由染色体图像中各尺度的特征信息与各特征信息的第一轴对准包围框形成的各第一ROI。

第一ROI修正模块102，用于根据轴对准包围框回归分支，对各第一ROI中的第一轴对准包围框进行修正，获取各第二轴对准包围框，并根据旋转包围框回归分支，对各第一ROI中的第一旋转包围框进行修正，获取各第二旋转包围框，形成旋转包围框集。

NMS操作模块103，用于根据第二旋转包围框与旋转包围框集的角度加权IOU，对第二旋转包围框进行NMS操作，获取与第二旋转包围框对应的第一ROI的最终轴对准包围框、最终旋转包围框和目标类别。

第二ROI获取模块104，用于根据最终ROI轴对准包围框，对与最终ROI轴对准包围框对应的特征信息进行ROIAlign操作，获取第二ROI。

掩模分割模块105，用于将各第二ROI输入角度划分的多通路特征装配Mask分支，获取染色体图像分割掩膜。

在本实施例中，掩模分割模块105具体用于：

将各第二ROI输入角度划分的多通路特征装配Mask分支的多条通路，获得多组输出特征；其中，一条通路对应一个旋转角区间。根据第二ROI的最终旋转包围框的旋转角所处的旋转角区间，从多组输出特征中选择与旋转角对应的输出特征，作为第二ROI的输出特征。将各第二ROI的输出特征作为特征集合，并对特征集合进行卷积操作，获取染色体图像分割掩膜。

本实施例通过对得出的第一ROI进行结合角度加权IOU的NMS操作，解决交叉重叠染色体过度抑制、掩模回归时重叠单体出现相互干扰等问题，从而提高染色体图像的分割效果。

本申请的又一实施例还提供了一种基于改进Mask RCNN的染色体图像实例分割终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述实施例所述的基于改进MaskRCNN的染色体图像实例分割方法。

以上所述是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本申请的保护范围。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

Claims (8)

1.一种基于改进Mask RCNN的染色体图像实例分割方法，其特征在于，至少包括如下步骤：

获取由染色体图像中各尺度的特征信息与所述各特征信息对应的第一轴对准包围框形成的各第一ROI；

根据旋转包围框回归分支，对所述各第一ROI中的第一旋转包围框进行修正，获取各第二旋转包围框，形成旋转包围框集；

根据所述第二旋转包围框与所述旋转包围框集的角度加权IOU，对所述第二旋转包围框进行NMS操作，获取与所述第二旋转包围框对应的第一ROI的最终轴对准包围框、最终旋转包围框和目标类别；

根据所述最终ROI轴对准包围框，对与所述最终ROI轴对准包围框对应的所述特征信息进行ROIAlign操作，获取第二ROI；

将各所述第二ROI输入角度划分的多通路特征装配Mask分支，获取染色体图像分割掩膜；

所述角度加权IOU的获取方式包括：

获取所述第二旋转包围框与所述旋转包围框集的轴不相似性和角不相似性；

根据所述轴不相似性和所述角不相似性，获取所述第二旋转包围框与所述旋转包围框集的角度权重；

获取所述第二旋转包围框与所述旋转包围框集的旋转IOU，根据所述旋转IOU和所述角度权重，获取所述角度加权IOU。

2.根据权利要求1所述的基于改进Mask RCNN的染色体图像实例分割方法，其特征在于，所述将各所述第二ROI输入角度划分的多通路特征装配Mask分支，获取染色体图像分割掩膜，包括：

将各所述第二ROI输入所述角度划分的多通路特征装配Mask分支的多条通路，获得多组输出特征；其中，一条通路对应一个旋转角区间；

根据所述第二ROI的最终旋转包围框的旋转角所处的所述旋转角区间，从所述多组输出特征中选择与所述旋转角对应的所述输出特征，作为所述第二ROI的输出特征；

将各所述第二ROI的输出特征作为特征集合，并对所述特征集合进行卷积操作，获取所述染色体图像分割掩膜。

3.根据权利要求1所述的基于改进Mask RCNN的染色体图像实例分割方法，其特征在于，所述目标类别包括背景、染色体和杂质三个类别。

4.根据权利要求1所述的基于改进Mask RCNN的染色体图像实例分割方法，其特征在于，还包括：

将所述各尺度的特征信息输入区域特征推荐网络，获取所述各第一轴对准包围框。

5.根据权利要求1所述的基于改进Mask RCNN的染色体图像实例分割方法，其特征在于，还包括：

根据ResNet，对所述染色体图像进行特征提取后，将提取的特征输入FPN的自顶向下部分，结合横向连接生成所述各尺度的特征信息。

6.根据权利要求1-5任意一项所述的基于改进Mask RCNN的染色体图像实例分割方法，其特征在于，所述染色体图像为经过尺度缩放后得到的染色体图像。

7.一种基于改进Mask RCNN的染色体图像实例分割装置，其特征在于，包括：

第一ROI获取模块，用于获取由染色体图像中各尺度的特征信息与所述各特征信息的第一轴对准包围框形成的各第一ROI；

第一ROI修正模块，用于并根据旋转包围框回归分支，对所述各第一ROI中的第一旋转包围框进行修正，获取各第二旋转包围框，形成旋转包围框集；

NMS操作模块，用于根据所述第二旋转包围框与所述旋转包围框集的角度加权IOU，对所述第二旋转包围框进行NMS操作，获取与所述第二旋转包围框对应的第一ROI的最终轴对准包围框、最终旋转包围框和目标类别；

第二ROI获取模块，用于根据所述最终ROI轴对准包围框，对与所述最终ROI轴对准包围框对应的所述特征信息进行ROIAlign操作，获取第二ROI；

掩模分割模块，用于将所述各第二ROI输入角度划分的多通路特征装配Mask分支，获取染色体图像分割掩膜；

其中，所述NMS操作模块还用于：

获取所述第二旋转包围框与所述旋转包围框集的轴不相似性和角不相似性；

根据所述轴不相似性和所述角不相似性，获取所述第二旋转包围框与所述旋转包围框集的角度权重；

获取所述第二旋转包围框与所述旋转包围框集的旋转IOU，根据所述旋转IOU和所述角度权重，获取所述角度加权IOU。

8.根据权利要求7所述的基于改进Mask RCNN的染色体图像实例分割装置，其特征在于，所述掩模分割模块具体用于：

将各所述第二ROI输入所述角度划分的多通路特征装配Mask分支的多条通路，获得多组输出特征；其中，一条通路对应一个旋转角区间；

根据所述第二ROI的最终旋转包围框的旋转角所处的所述旋转角区间，从所述多组输出特征中选择与所述旋转角对应的所述输出特征，作为所述第二ROI的输出特征；

将各所述第二ROI的输出特征作为特征集合，并对所述特征集合进行卷积操作，获取所述染色体图像分割掩膜。

Images