CN114821046A - 基于细胞图像进行细胞检测和细胞核分割的方法及系统 - Google Patents

Abstract

本申请公开了一种基于细胞图像进行细胞检测和分割细胞核的方法及系统，包括：将提供的细胞图像输入到Anchor‑Free的目标检测模型中提取图像特征信息；所述目标检测模型包括细胞核分割子分支、细胞分类子分支及细胞定位子分支；所述目标检测模型中的细胞定位子分支，根据所述细胞图像的特征信息进行细胞定位检测，得到细胞定位结果；所述目标检测模型中的细胞核分割子分支，根据所述细胞图像的特征信息提取细胞核特征，得到细胞核分割结果；所述目标检测模型中的细胞分类子分支，根据所述细胞图像的特征信息、所述细胞定位特征信息和所述细胞核特征信息，识别细胞类别，得到细胞类别结果。这样，本申请基于细胞图像对其中的细胞进行准确定位和分类，同时实现对细胞核的分割。

Description

基于细胞图像进行细胞检测和细胞核分割的方法及系统

技术领域

本申请涉及计算机图像处理技术领域，特别涉及一种基于细胞图像进行细胞检测和细胞核分割的方法及系统。

背景技术

作为诊断的“金标准”，病理学检查不仅能判定疾病性质，也能解读疾病发展过程，给临床医生提供更好的诊断依据，为患者制定更合理的诊疗策略。病理学检查一般包括病理组织活检和细胞学检查，其中与组织活检相比，细胞学检查具有无创性、痛苦小、快捷方便等优点，因而在临床及科研方面具有重要作用。

目前细胞学检查通常由病理医生在显微镜下对脱落细胞的染色涂片进行肉眼观察，判定异常细胞类别，并得到诊断结果。但由于在染色图片上采集的标本细胞数量少、典型度不高、退行性改变、微生物感染、以及放化疗等因素，均会造成细胞学准确诊断的困难。另一方面，脱落细胞学诊断难度较大，需要有经验的专家复验，并且目前病理医生短缺，阅片量大、阅片效率低以及受主观因素诊断影响较大，进而影响细胞学诊断的准确率，亟需构建一种诊断客观，高精度，高速度的细胞学阅片系统。随着计算机视觉处理技术的快速发展，采用人工智能为基础的计算机辅助阅片系统也在医疗领域取得快速发展，为改善脱落细胞学诊断效率和准确率提供可能。

现有的计算机辅助阅片系统，通过对细胞图像进行病理学定量分析，提取细胞图像特征参数，以此实现对各种细胞的定位及分类目标。但不同细胞涂片的制图像方式、染色技术及扫描设备的差异，以及细胞图像的复杂背景、细胞重叠及形态多样等因素，使得目前的细胞检测方法在应对病变细胞的高召回及高准确率方面受到较大挑战。

在细胞学诊断过程中，细胞核的各种内部属性参数对于细胞的病变程度定性具有重要价值，有经验的病理专家在诊断细胞病变时，会考虑细胞的胞浆及细胞核的综合特征。另一方面，细胞核的精准分割同样重要，细胞核轮廓的准确划分是定量分析核大小、核深浅以及核DNA倍体定量方面的重要步骤。

发明内容

有鉴于此，本申请实施例提供一种基于细胞图像进行细胞检测和细胞核分割的方法，该方法能够基于细胞图像对其中的细胞进行准确定位和分类，同时实现对细胞核进行核分割。

本申请实施例还提供一种基于细胞图像进行细胞检测和细胞核分割的系统，该系统能够基于细胞图像对其中的细胞进行准确定位和分类，同时实现对细胞核进行核分割。

本申请实施例是这样实现的：

一种基于细胞图像进行细胞检测和细胞核分割的方法，所述方法包括：

提供一张细胞图像，基于Anchor-Free的目标检测模型从所述细胞图像中提取细胞图像的特征信息；

所述目标检测模型中包括细胞核分割子分支、细胞分类子分支及细胞定位子分支；

所述目标检测模型中的细胞定位子分支，根据所述细胞图像的特征信息进行细胞定位检测，提取细胞定位特征信息，得到细胞定位结果；

所述目标检测模型中的细胞核分割，根据所述细胞图像的特征信息分割细胞核，提取细胞核特征信息，得到细胞核分割结果；

所述目标检测模型中的细胞分类子分支，根据所述细胞图像的特征信息、所述细胞定位特征信息和所述细胞核特征信息，识别细胞类别，得到细胞类别结果；

所述目标检测模型中的子分支输出模块，输出细胞定位结果、细胞类别结果及细胞核分割结果。

较佳地，所述从所述细胞图像中提取得到细胞图像的特征信息包括：

将所述细胞图像输入主干网络backbone中，提取细胞图像的基础特征信息；

将所述细胞图像的基础特征信息，输入特征金字塔网络，融合不同尺度的特征信息，得到所述细胞图像的特征信息。

较佳地，所述目标检测模型中的细胞定位子分支，根据所述细胞图像的特征信息进行细胞定位检测包括：

所述细胞定位子分支具有第一注意力机制单元，所述第一注意力机制单元对所述细胞图像的特征信息基于注意力机制，进行所述细胞定位信息的关注特征信息提取后，所述细胞定位子分支基于所述细胞定位信息的关注特征信息，进行细胞定位检测。

较佳地，所述目标检测模型中的细胞核分割子分支，根据所述细胞图像的特征信息分割细胞核包括：

所述细胞核分割子分支具有第二注意力机制单元，所述第二注意力机制单元对所述细胞图像的特征信息基于注意力机制，进行所述细胞核分割信息的关注特征信息提取后，所述细胞核分割子分支基于所述细胞核分割信息的关注特征信息，分割细胞核。

较佳地，所述目标检测模型中的细胞分类子分支，根据所述细胞图像的特征信息、所述细胞定位特征信息和所述细胞核特征信息，识别细胞类别包括：

所述细胞分类子分支具有第三注意力机制单元，所述第三注意力机制单元对所述细胞图像的特征信息基于注意力机制，进行所述细胞类别信息的关注特征信息提取后，所述细胞分类子分支基于所述细胞类别信息的关注特征信息、所述细胞定位特征信息和所述细胞核特征信息，识别细胞类别。

较佳地，所述目标检测模型中的细胞定位子分支，根据所述细胞图像的特征信息进行细胞定位检测包括：

所述目标检测模型中还包括前景掩码预测单元及角点验证单元，其中，前景掩码预测单元根据所述细胞图像的特征信息，确定所述细胞图像中的前景特征，角点验证单元根据所述细胞图像的特征信息，进行所述细胞图像中的目标边缘角点位置信息确定，确定所述细胞图像的目标角点位置；

所述目标检测模型基于所述细胞图像中的前景特征及所述细胞图像的目标角点位置，根据所述细胞图像的特征信息进行细胞定位检测，提取细胞定位特征信息，得到细胞定位结果。

较佳地，所述目标检测模型中的细胞核分割子分支，根据所述细胞图像的特征信息分割细胞核包括：

所述细胞核分割子分支，采用diceloss函数作为细胞核分割掩码计算损失函数，并增加计算细胞核轮廓的focal loss，为细胞核分割任务提供细胞核轮廓的监督信息。

较佳地，所述目标检测模型的训练过程是基于训练数据集采用弱监督训练方法实现的，所述训练数据集为包括大量的有标注及无标注数据，所述有标注的数据包括：

具有细胞类别及检测框标注的细胞图像训练数据；

和，具有细胞核轮廓分割标注的细胞图像训练数据。

一种基于细胞图像进行细胞检测和细胞核分割的系统，目标检测模块及输出模块，目标检测模块包括基于Anchor-Free的目标检测模型，所述目标检测模块包括目标检测模型中的细胞定位子分支、目标检测模型中的细胞核分割子分支及目标检测模型中的细胞分类子分支，其中，

目标检测模块，用于将提供的一张细胞图像，基于Anchor-Free的目标检测模型从所述细胞图像中提取细胞图像的特征信息；

所述目标检测模型中的细胞定位子分支，用于根据所述细胞图像的特征信息进行细胞定位检测，提取细胞定位特征信息，得到细胞定位结果；

所述目标检测模型中的细胞核分割子分支，用于根据所述细胞图像的特征信息分割细胞核，提取细胞核特征信息，得到细胞核分割结果；

所述目标检测模型中的细胞分类子分支，用于根据所述细胞图像的特征信息、所述细胞定位特征信息和所述细胞核特征信息，识别细胞类别，得到细胞类别结果；

输出模块，包括所述目标检测模型中的子分支输出模块，用于输出细胞定位结果、细胞类别结果及细胞核分割结果。

如上所述，本申请实施例包括：将提供的细胞图像输入到基于Anchor-Free的目标检测模型从所述细胞图像中提取细胞图像的特征信息；所述目标检测模型中包括细胞核分割子分支、细胞分类子分支及细胞定位子分支；所述目标检测模型中的细胞定位子分支，根据所述细胞图像的特征信息进行细胞定位检测，提取细胞定位特征信息，得到细胞定位结果；所述目标检测模型中的细胞核分割，根据所述细胞图像的特征信息分割细胞核，提取细胞核特征信息，得到细胞核分割结果；所述目标检测模型中的细胞分类子分支，根据所述细胞图像的特征信息、所述细胞定位特征信息和所述细胞核特征信息，识别细胞类别，得到细胞类别结果；所述目标检测模型中的子分支输出模块，输出细胞定位结果、细胞类别结果及细胞核分割结果。这样，本申请实施例基于细胞图像对其中的细胞进行准确定位和分类，同时实现对细胞核的细胞核分割。

附图说明

图1为本申请实施例提供的一种基于细胞图像进行细胞检测和细胞核分割的方法流程图；

图2为本申请实施例提供的一种基于细胞图像进行细胞检测和细胞核分割的系统示意图；

图3为本申请实施例提供的基于细胞图像进行细胞检测和细胞核分割的整体网络架构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其他步骤或单元。

下面以具体实施例对本申请的技术方案进行详细说明。下面几个具体实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

本发明实施例为了基于细胞图像对其中的细胞进行准确定位和分类，同时实现对细胞核进行细胞核分类，采用的方案包括：将提供的细胞图像输入到基于Anchor-Free的目标检测模型从所述细胞图像中提取细胞图像的特征信息；所述目标检测模型中包括细胞核分割子分支、细胞分类子分支及细胞定位子分支；所述目标检测模型中的细胞定位子分支，根据所述细胞图像的特征信息进行细胞定位检测，提取细胞定位特征信息，得到细胞定位结果；所述目标检测模型中的细胞核分割，根据所述细胞图像的特征信息分割细胞核，提取细胞核特征信息，得到细胞核分割结果；所述目标检测模型中的细胞分类子分支，根据所述细胞图像的特征信息、所述细胞定位特征信息和所述细胞核特征信息，识别细胞类别，得到细胞类别结果；所述目标检测模型中的子分支输出模块，输出细胞定位结果、细胞类别结果及细胞核分割结果。

这样，本申请实施例基于细胞图像对其中的细胞进行准确定位和分类，同时实现对细胞核的细胞核分割结果。

可以看出，本申请实施例采用了Anchor-Free的技术思想，直接对细胞图像中的细胞位置进行定位，可以降低细胞图像中的庞大背景像素信息对细胞检出的影响，提高召回率。本申请实施例结合医生的阅片经验，将细胞核特征信息显式的融合到细胞分类的目标检测任务中，使得模型能够更多的关注到细胞核部分的语义信息，增强模型对细胞的特征提取能力，降低相似细胞的类别混淆。本申请实施例在细胞分类的目标检测任务中，增加了细胞核分割信息，通过多任务学习技术，可同时实现对细胞的目标检测及细胞核分割任务。

图1为本申请实施例提供的一种基于细胞图像进行细胞检测和细胞核分割的方法流程图，其具备步骤包括：

步骤101、提供一张细胞图像，基于Anchor-Free的目标检测模型从所述细胞图像中提取细胞图像的特征信息，所述目标检测模型中包括细胞核分割子分支、细胞分类子分支及细胞定位子分支；

步骤102、所述目标检测模型中的细胞定位子分支，根据所述细胞图像的特征信息进行细胞定位检测，提取细胞定位特征信息，得到细胞定位结果；

步骤103、所述目标检测模型中的细胞核分割，根据所述细胞图像的特征信息分割细胞核，提取细胞核特征信息，得到细胞核分割结果；

步骤104、所述目标检测模型中的细胞分类子分支，根据所述细胞图像的特征信息、所述细胞定位特征信息和所述细胞核特征信息，识别细胞类别，得到细胞类别结果；

步骤105、所述目标检测模型中的子分支输出模块，输出细胞定位结果、细胞类别结果及细胞核分割结果。

在上述方法中，所述步骤102及步骤103可以顺序、倒序及同时进行，这里不限定。

在上述方法中，为了从所述细胞图像中提取得到细胞图像的特征信息，需要进行基础网络的搭建，具体包括：将所述细胞图像输入主干网络(backbone)，提取得到细胞图像的基础特征信息；将所述细胞图像的基础特征信息，输入特征金字塔网络，融合不同尺度的特征信息，得到所述细胞图像的特征信息。

在进行细胞检测时，细胞的全局特征信息对区分不同细胞的类别具有很好的作用，而细胞图像局部细节特征信息则有助于精准定位细胞位置。因此，本申请实施例以经典的分类网络为主干网络，在基础网络结构中加入特征金字塔网络，通过简单高效的残差结构以及多尺度级联学习策略，融合不同尺度下的细胞特征信息，将细胞的低级纹理信息和高级语义信息进行交互，增强所提取的特征信息的表征能力，提升网络感受，有助于提升后续的目标检测的精度。

在上述方法中，所述目标检测模型中的细胞定位子分支，根据所述细胞图像的特征信息进行细胞定位检测包括：

所述细胞定位子分支具有第一注意力机制单元，所述第一注意力机制单元对所述细胞图像的特征信息基于注意力机制，进行所述细胞定位信息的关注特征信息提取后，所述细胞定位子分支基于所述细胞定位信息的关注特征信息，进行细胞定位检测。

常见的细胞目标检测方法中，采用模型微调预设锚框(anchor)的思路进行目标定位任务。但在预设的anchor中背景占据绝大部分，扰乱目标检测的特征提取，进而影响到后续精准的目标检测框获得。而本申请实施例采用了基于Anchor-Free的目标检测方法，舍弃了预设anchor，通过模型结构在特征像素点上直接探索目标的边界，如细胞图图像的上下左右边界点等。因而本申请实施例采用Anchor-Free的技术思想，直接对细胞位置进行定位预测，降低庞大的背景信息对细胞检出的影响，提高召回。

具体地说，所述目标检测模型中的细胞定位子分支，根据所述细胞图像的特征信息进行细胞定位检测包括：

所述目标检测模型中还包括前景掩码预测单元及角点验证单元，其中，前景掩码预测单元根据所述细胞图像的特征信息，确定所述细胞图像中的前景特征，角点验证单元根据所述细胞图像的特征信息，进行所述细胞图像中的目标边缘角点位置信息确定，确定所述细胞图像的目标角点位置；

所述目标检测模型基于所述细胞图像中的前景特征及所述细胞图像的目标角点位置，根据所述细胞图像的特征信息进行细胞定位检测，提取细胞定位特征信息，得到细胞定位结果。

可以看出，本申请实施例在采用Anchor-Free技术的目标检测框架下，添加目标的前景掩码(mask)预测单元以及目标左上和右下的角点验证单元，前景mask预测单元用于判断细胞图像是否为前景mask，而角点验证单元用于判断特征像素上是否为角点。前景mask预测单元用于表征目标整体，有助于目标类别判断，而角点验证单元主要用于表征目标部分，有助于目标边界位置定位。通过在目标检测分支上融合角点特征，可提高目标的定位精度，而在分类分支上融合前景mask特征，可有助于提高目标分类精度。

在该方法中，所述目标检测模型中的细胞核分割子分支，根据所述细胞图像的特征信息分割细胞核包括：

所述细胞核分割子分支具有第二注意力机制单元，所述第二注意力机制单元对所述细胞图像的特征信息基于注意力机制，进行所述细胞核分割信息的关注特征信息提取后，所述细胞核分割子分支基于所述细胞核分割信息的关注特征信息，分割细胞核。

由于细胞核在细胞检测时占有重要位置，目前的细胞检测方法并未明确引入细胞核特征信息，而是较为粗糙的利用模型结构隐式的学习对目标分类有价值的特征，该特征可能仅是学习到了细胞形态、颜色特征等，而未能真正学习到深层次的对细胞分类有价值的特征信息。本申请实施例将细胞核信息显式的融合到目标检测任务中，使目标检测模型能够更多的关注到细胞核部分的语义信息，来增强模型对细胞的特征提取能力。

为达到上述目标，本申请实施例在细胞的分类检测任务中，引入细胞核分割辅助任务，将细胞核作为一个回归子任务存在，强制模型结构学习有助于细胞核分割的语义信息，后续将细胞核特征融合到细胞分类分支中，使得细胞分类分支能更多关注细胞核分割信息，利用更加全面的特征信息进行分类识别任务的执行。

具体地说，针对细胞核分割子任务，细胞核轮廓的精准划分对细胞核的精确分割至关重要，因而本申请实施例在细胞核分割分支的dice loss基础上，增加计算细胞核轮廓的focal loss，为细胞核分割任务提供细胞核轮廓的监督信息，从而提升细胞核分割结果精准度。

也就是说，所述目标检测模型中的细胞核分割子分支，根据所述细胞图像的特征信息分割细胞核包括：所述细胞核分割子分支，采用diceloss函数作为细胞核分割掩码计算损失函数，并增加计算细胞核轮廓的focal loss，为细胞核分割任务提供细胞核轮廓的监督信息。

在该方法中，所述目标检测模型中的细胞分类子分支，根据所述细胞图像的特征信息、所述细胞定位特征信息和所述细胞核特征信息，识别细胞类别包括：

所述细胞分类子分支具有第三注意力机制单元，所述第三注意力机制单元对所述细胞图像的特征信息基于注意力机制，进行所述细胞类别信息的关注特征信息提取后，所述细胞分类子分支基于所述细胞类别信息的关注特征信息、所述细胞定位特征信息和所述细胞核特征信息，识别细胞类别。

可以看出，本申请实施例提供的目标检测模型将细胞分类子分支、细胞定位子分支以及细胞核分割子分支分别解耦到独立的任务分支上，但普通卷积在特征解耦方面的表现明显不如注意力机制(attention)单元，因而，本申请实施例在这三个任务分支上，分别添加attention单元，即在三个子分支中都设置了注意力机制attention结构，因此在添加较少参数的同时，将这三部分的特征更优的解耦开，实现更精准的细胞检测及细胞核分割结果。

在本申请实施例提供的模型可实现对细胞的检测目标及细胞核的分割目标。因而，在训练阶段，使用的训练数据集需包含有两种标注，其一为细胞类别及目标框的标注；其二为细胞核轮廓分割的标注。

具体地说，所述目标检测模型的训练过程是基于训练数据集采用弱监督训练方法实现的，所述训练数据集为包括大量的有标注和无标注训练数据，其中，所述有标注的数据包括：

具有细胞类别及检测框标注的细胞图像的特征信息；

和，具有细胞核轮廓分割标注的细胞图像的特征信息。

一般随着标注数据的大量增加，图像检测和图像分割的精度可得到较好的提高，但对于医学的细胞图像来说，标注数据的成本通常是比较昂贵的，需要拥有专业的医学知识和时间。因此，为降低标记成本，本发明实施例提出一种基于弱监督的的学习策略，该策略可在提供全部细胞检测标注和部分细胞核mask标注的数据集上进行训练，实现细胞检测和细胞核的分割目标。

在网络训练阶段，所述目标检测模型共享主干网络及特征金字塔模块参数，输入为带细胞检测或细胞核分割的训练样本。当输入为带细胞检测的样本时，计算检测的损失函数，并更新检测分支的网络参数；同理当输入为带细胞核分割的样本时，则计算分割的损失函数，更新分割分支的网络参数；若当前训练阶段未输入有检测或分割训练样本，则该分支的损失函数为0。最终将检测和分割两部分的损失函数相加。因此，本申请实施例学习方法使得训练样本不再局限于必须在一张细胞图像上既包含细胞检测标注又包含细胞核分割标注，并且可充分利用已有的标注数据进行训练，能在较少时间成本内获得更高的收益，实现对细胞的检测及细胞核分割目标。

图2为本申请实施例提供的一种基于细胞图像进行细胞检测和细胞核分割的系统示意图，包括：目标检测模块及输出模块，目标检测模块包括基于Anchor-Free的目标检测模型，所述目标检测模块包括目标检测模型中的细胞定位子分支、目标检测模型中的细胞核分割子分支及目标检测模型中的细胞分类子分支，其中，

目标检测模块，用于将提供的一张细胞图像，基于Anchor-Free的目标检测模型从所述细胞图像中提取细胞图像的特征信息；

所述目标检测模型中的细胞定位子分支，用于根据所述细胞图像的特征信息进行细胞定位检测，提取细胞定位特征信息，得到细胞定位结果；

所述目标检测模型中的细胞核分割子分支，用于根据所述细胞图像的特征信息分割细胞核，提取细胞核特征信息，得到细胞核分割结果；

所述目标检测模型中的细胞分类子分支，用于根据所述细胞图像的特征信息、所述细胞定位特征信息和所述细胞核特征信息，识别细胞类别，得到细胞类别结果；

输出模块，包括所述目标检测模型中的子分支输出模块，用于输出细胞定位结果、细胞类别结果及细胞核分割结果。

从上述方案可以看出，本申请实施例采用Anchor-Free的技术思想，直接对细胞位置进行定位，降低庞大的背景像素信息对细胞检出的影响，提高召回。本申请实施例提供的目标检测模型解耦分类、回归及分割分支，可有效提高细胞检测及分类的准确度。本申请实施例结合医生的阅片经验，将细胞核分割任务作为识别并分类细胞的先验信息引入到目标检测模型中，使目标检测模型能够更多关注到对识别细胞类别有利的区域，降低相似细胞的类别混淆。本申请实施例的目标检测模型通过多任务学习技术，可同时实现对细胞的目标检测及细胞核分割任务。本申请实施例充分利用已有的标注数据，降低标注成本，通过弱监督学习策略，使得模型不再局限于在一张图像上进行细胞检测及细胞核分割这两种标注。

以下举一个具体实施例对本申请实施例进行详细说明。

计算机辅助阅片系统的核心及重要步骤是对不同的病变细胞进行精准定位及识别，其中1)胞浆边界不清楚和尺度变化大造成了细胞检测的定位困难；2)不同病变程度的细胞在形态上具有一定的相似性，都会造成模型学习病理知识的混淆，进而影响精准分类的能力。3)不同染色制片方式及扫描设备，造成细胞检测泛化效果差等。已有的检测方法可实现对目标物体的定位及类别判断，但通常以定位为主，而分类精度不足。与通用目标检测不同，细胞的检测任务，需要明确各个细胞的类别分级，才能更好的提高阅片准确率，因而对细胞检测中的细胞分类精度要求较高。并且上述问题的存在，也同样说明对细胞的分类精度有待提升。

关系建模一直是图像内容理解的关键技术，场景中存在的目标之间存在一定关联，而医生在判读细胞类别时，通常会比较同张玻片中的其他细胞的细胞形态、细胞核等信息，其中细胞核在判读细胞类别时占据重要作用，本申请实施例基于此，提出一种结合细胞学领域知识的基于弱监督学习的细胞检测方法。如图3所示，图3为本申请实施例提供的基于细胞图像的细胞检测和细胞核分割的整体网络架构示意图。结合图3，对本申请实施例进行详细说明。

1)基础网络结构

在进行基础网络的搭建时，需要考虑提取对后续所述目标检测模型进行目标检测时更加有帮助的细胞图像的特征信息。在进行细胞检测时，细胞的全局特征信息对区分不同细胞的类别具有很好的作用，而细胞图像局部细节特征信息则有助于精准定位细胞位置，因此，本申请实施例以经典的分类网络为主干网络，在基础网络结构中加入特征金字塔结构，通过简单高效的残差结构以及多尺度级联学习策略，融合不同尺度下的细胞特征信息，将细胞的低级纹理信息和高级语义信息进行交互，增强所提取的特征信息的表征能力，提升网络感受，有助于提升后续的目标检测的精度。

2)目标检测模型的主体构架

常见的细胞目标检测方法中，采用模型微调预设anchor的思路进行目标定位任务。但在预设的anchor中背景占据绝大部分，扰乱目标检测的特征提取，进而影响到后续精准的目标检测框获得。而本申请实施例采用了基于Anchor-Free的目标检测方法，舍弃了预设anchor，通过模型结构在特征像素点上直接探索目标的边界，如细胞图图像的上下左右边界点等。因而本申请实施例采用Anchor-Free的技术思想，直接对细胞位置进行定位预测，降低庞大的背景信息对细胞检出的影响，提高召回。

本申请实施例在采用Anchor-Free技术的目标检测框架下，添加目标的前景mask预测单元以及目标左上和右下的角点验证单元，前景mask预测单元用于判断细胞图像是否为前景mask，而角点验证单元用于判断特征像素上是否为角点。前景mask预测单元用于表征目标整体，有助于目标类别判断，而角点验证单元主要用于表征目标部分，有助于目标边界位置定位。通过在目标检测分支上融合角点特征，可提高目标的定位精度，而在分类分支上融合前景mask特征，可有助于提高目标分类精度。

3)使用目标分割技术辅助目标检测

由于细胞核在细胞检测时占有重要位置，目前的细胞检测方法并未明确引入细胞核特征信息，而是较为粗糙的利用模型结构隐式的学习对目标分类有价值的特征，该特征可能仅是学习到了细胞形态、颜色特征等，而未能真正学习到深层次的对细胞分类有价值的特征信息。本申请实施例将细胞核特征信息显式的融合到目标检测任务中，使目标检测模型能够更多的关注到细胞核部分的语义信息，来增强模型对细胞的特征提取能力。

为达到上述目标，本申请实施例在细胞的分类检测任务中，引入细胞核分割辅助任务，将细胞核分割作为一个回归子任务存在，强制模型结构学习有助于细胞核分割的语义信息，后续将细胞核特征融合到细胞分类分支中，使得细胞分类分支能更多关注细胞核分割信息，利用更加全面的特征信息进行分类识别任务的执行。

具体地说，针对细胞核分割子任务，细胞核轮廓的精准划分对细胞核的精确分割至关重要，因而本申请实施例在细胞核分割分支的dice loss基础上，增加计算细胞核轮廓的focal loss，为细胞核分割任务提供细胞核轮廓的监督信息，从而提升细胞核分割结果精准度。

4)在目标检测模型中增加注意力机制结构

本申请实施例提供的目标检测模型将细胞分类子分支、细胞定位子分支以及细胞核分割子分支分别解耦到独立的任务分支上，但普通卷积在特征解耦方面的表现明显不如attention单元，因而，本申请实施例在这三个任务分支上，分别添加attention单元，即在三个子分支中都设置了注意力机制attention结构，因此在添加较少参数的同时，将这三部分的特征更优的解耦开，实现更精准的细胞检测及细胞核分割结果。

5)弱监督学习

在本申请实施例提供的模型可实现对细胞的检测目标及细胞核的分割目标。因而，在训练阶段，使用的训练数据集需包含有两种标注，其一为细胞类别及目标框的标注；其二为细胞核轮廓分割的标注。

一般随着标注数据的大量增加，图像检测和图像分割的精度可得到较好的提高，但对于医学的细胞图像来说，标注数据的成本通常是比较昂贵的，需要拥有专业的医学知识和时间。因此，为降低标记成本，本发明实施例提出一种基于弱监督的的学习策略，该策略可在提供全部细胞检测标注和部分细胞核mask图标注的数据集上进行训练，实现细胞检测和细胞核的分割目标。

在网络训练阶段，所述目标检测模型共享主干网络及特征金字塔模块参数，输入为带细胞检测或细胞核分割的训练样本。当输入为带细胞检测的样本时，计算检测的损失函数，并更新检测分支的网络参数；同理当输入为带细胞核分割的样本时，则计算分割的损失函数，更新分割分支的网络参数；若当前训练阶段未输入有检测或分割训练样本，则该分支的损失函数为0。最终将检测和分割两部分的损失函数相加。该学习方法使得训练样本不再局限于必须在一张细胞图像上既包含细胞检测标注又包含细胞核分割标注，并且可充分利用已有的标注数据进行训练，能在较少时间成本内获得更高的收益，实现对细胞的检测及细胞核分割目标。

本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本申请中。特别地，在不脱离本申请精神和教导的情况下，本申请的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，所有这些组合和/或结合均落入本申请公开的范围。

本文中应用了具体实施例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思路，并不用于限制本申请。对于本领域的技术人员来说，可以依据本申请的思路、精神和原则，在具体实施方式及应用范围上进行改变，其所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (9)

1.一种基于细胞图像进行细胞检测和细胞核分割的方法，其特征在于，所述方法包括：

提供一张细胞图像，基于Anchor-Free的目标检测模型从所述细胞图像中提取细胞图像的特征信息；

所述目标检测模型中包括细胞核分割子分支、细胞分类子分支及细胞定位子分支；

所述目标检测模型中的细胞定位子分支，根据所述细胞图像的特征信息进行细胞定位检测，提取细胞定位特征信息，得到细胞定位结果；

所述目标检测模型中的细胞核分割，根据所述细胞图像的特征信息分割细胞核，提取细胞核特征信息，得到细胞核分割结果；

所述目标检测模型中的细胞分类子分支，根据所述细胞图像的特征信息、所述细胞定位特征信息和所述细胞核特征信息，识别细胞类别，得到细胞类别结果；

所述目标检测模型中的子分支输出模块，输出细胞定位结果、细胞类别结果及细胞核分割结果。

2.如权利要求1所述的方法，其特征在于，所述从所述细胞图像中提取得到细胞图像的特征信息包括：

将所述细胞图像输入主干网络backbone中，提取细胞图像的基础特征信息；

将所述细胞图像的基础特征信息，输入特征金字塔网络，融合不同尺度的特征信息，得到所述细胞图像的特征信息。

3.如权利要求1所述的方法，其特征在于，所述目标检测模型中的细胞定位子分支，根据所述细胞图像的特征信息进行细胞定位检测包括：

所述细胞定位子分支具有第一注意力机制单元，所述第一注意力机制单元对所述细胞图像的特征信息基于注意力机制，进行所述细胞定位信息的关注特征信息提取后，所述细胞定位子分支基于所述细胞定位信息的关注特征信息，进行细胞定位检测。

4.如权利要求1所述的方法，其特征在于，所述目标检测模型中的细胞核分割子分支，根据所述细胞图像的特征信息分割细胞核包括：

所述细胞核分割子分支具有第二注意力机制单元，所述第二注意力机制单元对所述细胞图像的特征信息基于注意力机制，进行所述细胞核分割信息的关注特征信息提取后，所述细胞核分割子分支基于所述细胞核分割信息的关注特征信息，分割细胞核。

5.如权利要求1所述的方法，其特征在于，所述目标检测模型中的细胞分类子分支，根据所述细胞图像的特征信息、所述细胞定位特征信息和所述细胞核特征信息，识别细胞类别包括：

所述细胞分类子分支具有第三注意力机制单元，所述第三注意力机制单元对所述细胞图像的特征信息基于注意力机制，进行所述细胞类别信息的关注特征信息提取后，所述细胞分类子分支基于所述细胞类别信息的关注特征信息、所述细胞定位特征信息和所述细胞核特征信息，识别细胞类别。

6.如权利要求1或3所述的方法，其特征在于，所述目标检测模型中的细胞定位子分支，根据所述细胞图像的特征信息进行细胞定位检测包括：

所述目标检测模型中还包括前景掩码预测单元及角点验证单元，其中，前景掩码预测单元根据所述细胞图像的特征信息，确定所述细胞图像中的前景特征，角点验证单元根据所述细胞图像的特征信息，进行所述细胞图像中的目标边缘角点位置信息确定，确定所述细胞图像的目标角点位置；

所述目标检测模型基于所述细胞图像中的前景特征及所述细胞图像的目标角点位置，根据所述细胞图像的特征信息进行细胞定位检测，提取细胞定位特征信息，得到细胞定位结果。

7.如权利要求1或4所述的方法，其特征在于，所述目标检测模型中的细胞核分割子分支，根据所述细胞图像的特征信息分割细胞核包括：

所述细胞核分割子分支，采用diceloss函数作为细胞核分割掩码计算损失函数，并增加计算细胞核轮廓的focal loss，为细胞核分割任务提供细胞核轮廓的监督信息。

8.如权利要求1～5任一所述的方法，其特征在于，所述目标检测模型的训练过程是基于训练数据集采用弱监督训练方法实现的，所述训练数据集为包括大量的有标注及无标注数据，所述有标注的数据包括：

具有细胞类别及检测框标注的细胞图像训练数据；

和，具有细胞核轮廓分割标注的细胞图像训练数据。

9.一种基于细胞图像进行细胞检测和细胞核分割的系统，其特征在于，目标检测模块及输出模块，目标检测模块包括基于Anchor-Free的目标检测模型，所述目标检测模块包括目标检测模型中的细胞定位子分支、目标检测模型中的细胞核分割子分支及目标检测模型中的细胞分类子分支，其中，

目标检测模块，用于将提供的一张细胞图像，基于Anchor-Free的目标检测模型从所述细胞图像中提取细胞图像的特征信息；

所述目标检测模型中的细胞定位子分支，用于根据所述细胞图像的特征信息进行细胞定位检测，提取细胞定位特征信息，得到细胞定位结果；

所述目标检测模型中的细胞核分割子分支，用于根据所述细胞图像的特征信息分割细胞核，提取细胞核特征信息，得到细胞核分割结果；

所述目标检测模型中的细胞分类子分支，用于根据所述细胞图像的特征信息、所述细胞定位特征信息和所述细胞核特征信息，识别细胞类别，得到细胞类别结果；

输出模块，包括所述目标检测模型中的子分支输出模块，用于输出细胞定位结果、细胞类别结果及细胞核分割结果。

Images