CN112528852A - 一种腺细胞的识别方法及系统 - Google Patents

Abstract

本发明实施例公开了一种腺细胞的识别方法及系统，本发明实施例将获得的腺细胞图像采用训练得到的目标检测模型进行目标检测后，识别得到单个腺细胞及单个腺细胞中的细胞核的信息特征；将所述单个腺细胞及单个腺细胞中的细胞核的信息特征输入到训练得到的图卷积神经网络中处理，提取得到腺细胞的排列信息特征；将获得的腺细胞图像采用训练得到的卷积神经网络处理，输出腺细胞的纹理等信息特征；将得到的腺细胞的排列信息特征及腺细胞的纹理等信息特征进行拼接后，再分类，得到腺细胞的识别结果。这样，本发明实施例就提高了识别腺细胞的识别精度。

Description

一种腺细胞的识别方法及系统

技术领域

本发明涉及图像识别技术，特别涉及一种腺细胞的识别方法及系统。

背景技术

腺细胞是机体组织表皮中能制造和分泌某种液体物质的细胞，如构成前列腺、泪腺、胰岛、甲状腺等部位的细胞，腺细胞会受到内外部各种刺激因素影响而发生病变，甚至发展为腺癌。腺癌在直肠癌、胃癌的发病中占据95％以上，也是严重影响女性生殖健康的宫颈癌中的一种癌症类型。细胞学检查是一种普遍、经济及有效的筛查方法，广泛应用于包括腺癌在内的多种癌症的诊断中，及时发现非典型腺细胞是腺癌防治的重要手段。但是当前细胞学阅片人员匮乏，难以满足目前细胞学诊断的需求，而且由于非典型腺细胞的判别具有较高的难度，对细胞学阅片人员的经验和诊断水平具有更高的要求，在细胞学阅片人员经验不足或主观因素影响下，具有一定的漏诊和误诊的风险。

近年来人工智能技术在医疗影像分析领域得到广泛应用，人工智能技术能够将医疗图像数据进行结构化重构和分析，提取病变部位关键特征并建立识别模型，继而得出病情分析报告和辅助诊断方案，减轻了细胞学阅片人员的繁重工作，有助于识别罕见疾病和标准化分析报告。目前人工智能技术已经能够实现对部分癌症细胞的精准分类，但在腺细胞的识别精度上仍然难以满足实际场景需求。

发明内容

有鉴于此，本发明实施例提供了一种腺细胞的识别方法，该识别方法能够提高识别腺细胞的识别精度。

本发明实施例还提供一种腺细胞的识别系统，该识别系统能够提高识别腺细胞的识别精度。

本发明实施例是这样实现的：

一种腺细胞的识别方法，包括：

将获得的腺细胞图像采用训练得到的目标检测模型进行目标检测后，识别得到单个腺细胞及单个腺细胞中的细胞核的信息特征；

将所述单个腺细胞及单个腺细胞中的细胞核的信息特征输入到训练得到的图卷积神经网络中处理，提取得到腺细胞的排列信息特征；

将获得的腺细胞图像采用训练得到的卷积神经网络处理，输出腺细胞的纹理信息特征；

将得到的腺细胞的排列信息特征及腺细胞的纹理信息特征进行拼接后，再分类，得到腺细胞的识别结果。

较佳地，所述腺细胞图像包括非典型腺细胞图像时，所述提取得到腺细胞的排列信息特征为非典型腺细胞的排列信息特征，所述输出腺细胞的纹理信息特征为非典型腺细胞的纹理信息，得到的腺细胞的识别结果为非典型腺细胞的识别结果。

较佳地，所述训练得到的目标检测模型采用基于CenterNet网络架构改进的目标检测模型，在训练中包括对所述腺细胞图像中的单个腺细胞的倾斜定位，及对单个腺细胞中的细胞核分割。

较佳地，对所述腺细胞图像中的腺细胞的倾斜定位进行训练包括：

基于设定的倾斜框角度，对单个腺细胞进行倾斜定位训练。

较佳地，所述基于CenterNet网络架构改进的目标检测模型还基于注意力机制，及多尺度图像预处理机制建立。

较佳地，所述将所述单个腺细胞及单个腺细胞中的细胞核的信息特征输入到训练得到的图卷积神经网络中处理包括：

图卷积神经网络层选取输入的每个腺细胞的细胞核中心位置及每个腺细胞的中心位置，作为网络结构数据节点；

将所述网络结构数据节点进行全连接后得到图卷积网络的图结构，通过设定五层的图卷积层进行处理后，得到腺细胞的排列信息特征。

较佳地，所述每个腺细胞的中心位置包括：

以每个腺细胞的倾斜框定位的中心位置作为该腺细胞的中心位置。

较佳地，所述的卷积神经网络采用SE-ResNet50网络架构，所述SE-ResNet50网络架构基于注意力机制和残差网络的基本元素构成。

较佳地，所述进行再分类采用设置层数的感知机进行。

一种腺细胞的识别系统，包括：获取单元、目标检测单元、提取腺细胞的排列信息特征单元、输出腺细胞的纹理信息特征单元及分类单元，其中，

获取单元，用于获得腺细胞图像；

目标检测单元，用于将获得的腺细胞图像采用训练得到的目标检测模型进行目标检测，识别得到单个腺细胞及单个腺细胞中的细胞核的信息特征；

提取腺细胞的排列信息特征单元，用于将所述单个腺细胞及单个腺细胞中的细胞核的信息特征输入到训练得到的图卷积神经网络中处理，提取得到腺细胞的排列信息特征；

输出腺细胞的纹理信息特征单元，用于将获得的腺细胞图像采用训练得到的卷积神经网络处理，输出腺细胞的纹理信息特征；

分类单元，用于将得到的腺细胞的排列信息特征及腺细胞的纹理信息特征进行拼接后，再分类，得到腺细胞的识别结果。

如上所见，本发明实施例将获得的腺细胞图像采用训练得到的目标检测模型进行目标检测后，识别得到单个腺细胞及单个腺细胞中的细胞核的信息特征；将所述单个腺细胞及单个腺细胞中的细胞核的信息特征输入到训练得到的图卷积神经网络中处理，提取得到腺细胞的排列信息特征；将获得的腺细胞图像采用训练得到的卷积神经网络处理，输出腺细胞的纹理等信息特征；将得到的腺细胞的排列信息特征及腺细胞的纹理等信息特征进行拼接后，再分类，得到腺细胞的识别结果。这样，由于本发明实施例引入了目标检测模型对腺细胞图像中的腺细胞进行分割及对腺细胞中的细胞核进行识别，且引入了图卷积神经网络提取腺细胞的排列信息特征，所以基于腺细胞的排列信息在后续的腺细胞识别时，识别精度更高，且识别更准确。

附图说明

图1为本发明实施例提供的腺细胞的识别方法流程图；

图2为本发明实施例提供的腺细胞的识别方法举例例子流程图；

图3为本发明实施例提供的采用基于改进的CenterNet网络进行目标检测的过程示意图；

图4为本发明实施例提供的单个腺细胞的信息特征检测结果示意图；

图5为本发明实施例提供的腺细胞的信息特征表达例子示意图；

图6为本发明实施例提供的腺细胞的识别系统结构示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本发明进一步详细说明。

将人工智能技术引入到非典型腺细胞的识别过程中，可以训练卷积神经网络，将获取的腺细胞图像采用训练得到的卷积神经网络进行分类处理后，就可以得到非典型腺细胞的识别结果，但是，这样得到的非典型腺细胞的分类结果不是很准确，识别准确率低。

为了克服这个问题，本发明实施例将获得的腺细胞图像采用训练得到的目标检测模型进行目标检测后，识别得到单个腺细胞及单个腺细胞中的细胞核的信息特征；将所述单个腺细胞及单个腺细胞中的细胞核的信息特征输入到训练得到的图卷积神经网络中处理，提取得到腺细胞的排列信息特征；将获得的腺细胞图像采用训练得到的卷积神经网络处理，输出腺细胞的纹理信息特征；将得到的腺细胞的排列信息特征及腺细胞的纹理信息特征进行拼接后，再分类，得到腺细胞的识别结果。

这样，由于本发明实施例引入了目标检测模型对腺细胞图像中的腺细胞进行分割及对腺细胞中的细胞核进行识别，且引入了图卷积神经网络提取腺细胞的排列信息特征，所以基于腺细胞的排列信息在后续的腺细胞识别时，识别精度更高，且识别更准确。

图1为本发明实施例提供的腺细胞的识别方法流程图，其具体步骤包括：

步骤101、将获得的腺细胞图像采用训练得到的目标检测模型进行目标检测后，识别得到单个腺细胞及单个腺细胞中的细胞核的信息特征；

步骤102、将所述单个腺细胞及单个腺细胞中的细胞核的信息特征输入到训练得到的图卷积神经网络中处理，提取得到腺细胞的排列信息特征；

步骤103、将获得的腺细胞图像采用训练得到的卷积神经网络处理，输出腺细胞的纹理信息特征；

在这里，输出的不仅仅包括腺细胞的纹理信息特征，还可以包括其他的腺细胞的信息特征，这里不限定；

步骤104、将得到的腺细胞的排列信息特征及腺细胞的纹理信息特征进行拼接后，再分类，得到腺细胞的识别结果。

在该方法中，步骤103的执行顺序可以不在步骤102之后，可以与步骤101及步骤102并行执行，这里不限制。

在该方法中，所述腺细胞图像包括了非典型腺细胞图像时，所述提取得到腺细胞的排列信息特征为非典型腺细胞的排列信息特征，所述输出腺细胞的纹理信息特征为非典型腺细胞的纹理信息，得到的腺细胞的识别结果为非典型腺细胞的识别结果。在这里，所述非典型腺细胞图像中包括有数量众多的非典型腺细胞信息。这样，由于腺细胞图像中既有典型腺细胞，及非典型腺细胞，所以在识别时，特别要识别出这些非典型腺细胞，保证识别腺细胞的精确度。

在该方法中，所述训练得到的目标检测模型采用基于CenterNet网络架构改进的目标检测模型，在训练中包括对所述腺细胞图像中的单个腺细胞的倾斜定位，及对单个腺细胞中的细胞核分割。在这里，特别是对所述腺细胞图像中的腺细胞的倾斜定位进行训练包括：基于设定的倾斜框角度，对单个腺细胞进行倾斜定位训练。

在该方法中，所述基于CenterNet网络架构改进的目标检测模型还基于注意力机制，及多尺度图像预处理机制建立。

在该方法中，所述将所述单个腺细胞及单个腺细胞中的细胞核的信息特征输入到训练得到的图卷积神经网络中处理包括：

图卷积神经网络层选取输入的每个腺细胞的细胞核中心位置及每个腺细胞的中心位置，作为网络结构数据节点，将所述网络结构数据节点进行全连接后得到图卷积网络的图结构，通过设定五层的图卷积层进行处理后，得到腺细胞的排列信息特征。在这里，选择每个腺细胞的中心位置时，可以以每个腺细胞的倾斜框定位的中心位置作为该腺细胞的中心位置。

在该方法中，所述的卷积神经网络采用SE-ResNet50网络架构，所述SE-ResNet50网络架构基于注意力机制和残差网络的基本元素构成。

在该方法中，所述进行再分类采用设置层数的感知机进行。

举一个具体例子对本发明实施例进行详细说明。

图2为本发明实施例提供的腺细胞的识别方法举例例子流程图，其具体步骤包括：

步骤201、制作腺细胞的液基涂片。

步骤202、对腺细胞的液基涂片进行扫描后，得到腺细胞图像。

步骤203、将腺细胞图像采用训练得到的CenterNet网络进行目标检测后，识别得到单个腺细胞及单个腺细胞中的细胞核的信息特征。

在该步骤中，单个腺细胞及单个腺细胞中的细胞核的分割过程，特别是对非典型腺细胞来说，难点主要是：腺细胞图像中的胞浆边界不清楚和尺度变化大以及腺细胞排列多样性、紧密性造成了目标检测的定位困难；b、不同病变程度的腺细胞在形态上具有一定的相似性，造成模型训练的混淆。因此，为了克服这些难点，如图3所示，图3为本发明实施例提供的采用基于改进的CenterNet网络进行目标检测的过程示意图，在该CenterNet网络中进行改进，包括：引入训练参数控制检测框的旋转角度，可以设置为斜框检测定位腺细胞；b、引入了细胞核分割支路，在定位腺细胞位置的同时对其中的细胞核进行分割，网络输出为腺细胞的位置信息特征以及细胞核分割的信息特征，降低庞大的腺细胞图形信息对细胞检出的影响，提高召回；同时还可以加入多尺度的图像预处理策略，可以在不同的分辨率下对腺细胞区域进行定位，更好的训练细胞的大小和轮廓信息，提升模型在边界不清楚时腺细胞的检出能力；在该网络中，还可以采用注意力机制关注腺细胞最重要的区域，降低相似细胞的类别混淆。最终得到如图4所示的检测结果。图4为本发明实施例提供的单个腺细胞的信息特征检测结果示意图。

步骤204、将所述单个腺细胞及单个腺细胞中的细胞核的信息特征输入到训练得到的图卷积神经网络中处理，提取得到腺细胞的排列信息特征。

在本步骤中，将图卷积神经网络引入，利用腺细胞的排列信息特征来提高识别精度。具体地说，首先需构建腺细胞的图结构，根据图4所示的检测结果，直接定位其中单个细胞位置并对其中的细胞核区域分割，直接选取每个细胞的细胞核中心位置以及每个细胞的倾斜框定位的中心位置为图结构数据节点，同时分别对每个细胞核中心点以及每个斜框中心点进行全连接构建图结构；其次设定了五层的图卷积神经网络来挖掘数据节点之间的结构关系。在这里，基于数据节点构建的是仅包含0或1的矩阵，其数据节点的数据是图结构对应节点的点坐标向量，通过对图结构数据节点进行多层图卷积运算，在图结构上生成更高层次的特征图，即训练得到腺细胞的排列信息特征。如图5中的第一行所示，图5为本发明实施例提供的腺细胞的信息特征表达例子示意图。

步骤205～206、将腺细胞图像采用训练得到的卷积神经网络处理，输出腺细胞的纹理等信息特征，将得到的腺细胞的排列信息特征及腺细胞的纹理等信息特征进行拼接。

在本步骤中，除腺细胞的排列信息特征，还需要提取细胞图像中的腺细胞的纹理等信息特征。过程为：采用广泛使用的卷积神经网络架构SE-ResNet50网络，其是由注意力机制(Attention)和ResNet的基本元素重建而成，提取腺细胞的全局高级特征，最后得到512-D嵌入特征；其次融合图卷积神经网络提取的排列信息特征，得到拼接的腺细胞的排列信息特征和纹理等信息特征，得到一个更有表达力的腺细胞特征向量，如图5所示的第二行。融合的特征是腺细胞的多维度信息表示，将所关注的腺细胞的特点都融合到整体判读中，最终可以对腺细胞的精准识别进一步提升。

步骤207、对得到的腺细胞的全局信息特征进行分类，得到腺细胞的识别结果。

在这个步骤中，设置多层感知器，即前馈人工神经网络模型，进行分类，可以将层数设置为2。

这样，本发明实施例就重复考虑到腺细胞图像中可能具有的腺细胞异常要点，提高了识别精度，让人工智能在细胞学检查中发挥更重要的作用，在医疗领域将会减病理科医生阅片压力，降低腺癌漏误诊率，具备重大的意义。

图6为本发明实施例提供的腺细胞的识别系统结构示意图，包括：获取单元、目标检测单元、提取腺细胞的排列信息特征单元、输出腺细胞的纹理信息特征单元及分类单元，其中，

获取单元，用于获得腺细胞图像；

目标检测单元，用于将获得的腺细胞图像采用训练得到的目标检测模型进行目标检测，识别得到单个腺细胞及单个腺细胞中的细胞核的信息特征；

提取腺细胞的排列信息特征单元，用于将所述单个腺细胞及单个腺细胞中的细胞核的信息特征输入到训练得到的图卷积神经网络中处理，提取得到腺细胞的排列信息特征；

输出腺细胞的纹理信息特征单元，用于将获得的腺细胞图像采用训练得到的卷积神经网络处理，输出腺细胞的纹理等信息特征；

分类单元，用于将得到的腺细胞的排列信息特征及腺细胞的纹理等信息特征进行拼接后，再分类，得到腺细胞的识别结果。

在该系统中，所述腺细胞图像为非典型腺细胞图像时，所述提取得到腺细胞的排列信息特征为非典型腺细胞的排列信息特征，所述输出腺细胞的纹理信息特征为非典型腺细胞的纹理信息，得到的腺细胞的识别结果为非典型腺细胞的识别结果。

在该系统中，目标检测单元，还用于所述训练得到的目标检测模型采用基于CenterNet网络架构改进的目标检测模型，在训练中包括对所述腺细胞图像中的单个腺细胞的倾斜定位，及对单个腺细胞中的细胞核分割。

在该系统中，提取腺细胞的排列信息特征单元，还用于所述将所述单个腺细胞及单个腺细胞中的细胞核的信息特征输入到训练得到的图卷积神经网络中处理包括：

图卷积神经网络层选取输入的每个腺细胞的细胞核中心位置及每个腺细胞的中心位置，作为网络结构数据节点，将所述网络结构数据节点进行全连接后得到图卷积网络的图结构，通过设定五层的图卷积层进行处理后，得到腺细胞的排列信息特征。

在该系统中，输出腺细胞的纹理信息特征单元，还用于所述的卷积神经网络采用SE-ResNet50网络架构，所述SE-ResNet50网络架构基于注意力机制和残差网络的基本元素构成。

在该系统中，所述分类单元，还用于所述进行再分类采用设置层数的感知机进行。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (10)

1.一种腺细胞的识别方法，其特征在于，包括：

将获得的腺细胞图像采用训练得到的目标检测模型进行目标检测后，识别得到单个腺细胞及单个腺细胞中的细胞核的信息特征；

将所述单个腺细胞及单个腺细胞中的细胞核的信息特征输入到训练得到的图卷积神经网络中处理，提取得到腺细胞的排列信息特征；

将获得的腺细胞图像采用训练得到的卷积神经网络处理，输出腺细胞的纹理信息特征；

将得到的腺细胞的排列信息特征及腺细胞的纹理信息特征进行拼接后，再分类，得到腺细胞的识别结果。

2.如权利要求1所述的方法，其特征在于，所述腺细胞图像包括非典型腺细胞图像时，所述提取得到腺细胞的排列信息特征为非典型腺细胞的排列信息特征，所述输出腺细胞的纹理信息特征为非典型腺细胞的纹理信息，得到的腺细胞的识别结果为非典型腺细胞的识别结果。

3.如权利要求1所述的方法，其特征在于，所述训练得到的目标检测模型采用基于CenterNet网络架构改进的目标检测模型，在训练中包括对所述腺细胞图像中的单个腺细胞的倾斜定位，及对单个腺细胞中的细胞核分割。

4.如权利要求3所述的方法，其特征在于，对所述腺细胞图像中的腺细胞的倾斜定位进行训练包括：

基于设定的倾斜框角度，对单个腺细胞进行倾斜定位训练。

5.如权利要求3所述的方法，其特征在于，所述基于CenterNet网络架构改进的目标检测模型还基于注意力机制，及多尺度图像预处理机制建立。

6.如权利要求1所述的方法，其特征在于，所述将所述单个腺细胞及单个腺细胞中的细胞核的信息特征输入到训练得到的图卷积神经网络中处理包括：

图卷积神经网络层选取输入的每个腺细胞的细胞核中心位置及每个腺细胞的中心位置，作为网络结构数据节点；

将所述网络结构数据节点进行全连接后得到图卷积网络的图结构，通过设定五层的图卷积层进行处理后，得到腺细胞的排列信息特征。

7.如权利要求6所述的方法，其特征在于，所述每个腺细胞的中心位置包括：

以每个腺细胞的倾斜框定位的中心位置作为该腺细胞的中心位置。

8.如权利要求1所述的方法，其特征在于，所述的卷积神经网络采用SE-ResNet50网络架构，所述SE-ResNet50网络架构基于注意力机制和残差网络的基本元素构成。

9.如权利要求1所述的方法，其特征在于，所述进行再分类采用设置层数的感知机进行。

10.一种腺细胞的识别系统，其特征在于，包括：获取单元、目标检测单元、提取腺细胞的排列信息特征单元、输出腺细胞的纹理信息特征单元及分类单元，其中，

获取单元，用于获得腺细胞图像；

目标检测单元，用于将获得的腺细胞图像采用训练得到的目标检测模型进行目标检测，识别得到单个腺细胞及单个腺细胞中的细胞核的信息特征；

提取腺细胞的排列信息特征单元，用于将所述单个腺细胞及单个腺细胞中的细胞核的信息特征输入到训练得到的图卷积神经网络中处理，提取得到腺细胞的排列信息特征；

输出腺细胞的纹理信息特征单元，用于将获得的腺细胞图像采用训练得到的卷积神经网络处理，输出腺细胞的纹理信息特征；

分类单元，用于将得到的腺细胞的排列信息特征及腺细胞的纹理信息特征进行拼接后，再分类，得到腺细胞的识别结果。

Images