CN112215117A - 一种基于宫颈细胞学图像的异常细胞识别方法及系统 - Google Patents

一种基于宫颈细胞学图像的异常细胞识别方法及系统 Download PDF

Info

Publication number
CN112215117A
CN112215117A CN202011065280.6A CN202011065280A CN112215117A CN 112215117 A CN112215117 A CN 112215117A CN 202011065280 A CN202011065280 A CN 202011065280A CN 112215117 A CN112215117 A CN 112215117A
Authority
CN
China
Prior art keywords
feature
features
channel
attention module
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011065280.6A
Other languages
English (en)
Inventor
侯艳
曹雷
荣志炜
李康
杨金英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Boya Zhikang Technology Co ltd
Original Assignee
Beijing Boya Zhikang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Boya Zhikang Technology Co ltd filed Critical Beijing Boya Zhikang Technology Co ltd
Priority to CN202011065280.6A priority Critical patent/CN112215117A/zh
Publication of CN112215117A publication Critical patent/CN112215117A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification

Abstract

本发明涉及一种基于宫颈细胞学图像的异常细胞识别方法及系统，该方法包括：获取人工数据标注的宫颈细胞学图像切片；将所述宫颈细胞学图像切片输入特征提取网络，并通过特征提取网络的不同层进行图像特征提取得到不同尺度的特征图；通过注意力模块对所述不同尺度的特征图分别进行重要特征的筛选，并根据筛选出的重要特征将所述不同尺度的特征图进行融合，将融合特征输入定位和分类模块，得到训练后的注意力机制的多尺度融合网络；将待识别宫颈细胞学图像输入所述训练后的注意力机制的多尺度融合网络，得到异常细胞的位置定位和图像切片分类。本发明解决了宫颈异常细胞识别方面存在尺寸较小细胞的漏检导致筛检诊断结果的准确性不高问题。

Description

一种基于宫颈细胞学图像的异常细胞识别方法及系统
技术领域
本发明涉及医疗图像识别技术领域，尤其涉及一种基于宫颈细胞学图像的异常细胞识别方法及系统。
背景技术
目前国内外针对宫颈异常细胞自动识别的方法主要有两大类。一类为传统机器学习方法，该类方法首先利用特征工程从宫颈细胞学图像中提取出相关的影像学特征，然后利用SVM(Support Vector Machine)或者logistic等分类器对影像学特征进行分类；另一类为深度学习方法，该类方法中目前应用较为广泛的为Faster R-CNN(Faster region-based convolutional neural network)方法和FPN(Feature pyramid network)方法。其中Faster R-CNN方法主要分为三部分，首先，利用卷积神经网络自动从宫颈细胞学图像中提取出特征图(feature map)；其次，利用region proposal network(候选框生成网络，RPN)产生高质量的候选框(可能包含异常细胞的矩形框)；最后，将候选框映射回提取到的特征图，得到相应的候选框特征，将候选框特征输入到Fast R-CNN模块(由全连接层构成的分类和回归模块)进行异常细胞的分类和定位。而FPN方法则是在Faster R-CNN特征提取的基础上添加了多尺度特征融合的过程，将不同尺度下的特征图进行融合，充分利用不同尺度的特征信息。
现有的两大类方法都存在一些缺点：在传统的机器学习方法中，特征工程需要该领域的专家人为进行特征设计，不同的专家所设计出的特征各异，因此无法有效保证算法的鲁棒性；对于Faster R-CNN方法，其通常利用单一尺度的特征，而对于宫颈细胞图像来说，细胞形态大小各异，仅利用单一尺度的特征会漏掉一些尺寸较小的异常细胞，而尺寸较小细胞的漏检可能会影响到筛检诊断结果的准确性；对于FPN方法，虽然其在一定程度上弥补了Faster R-CNN单一尺度特征的缺陷，但是其在融合不同尺度特征时未考虑不同特征之间的重要性，会融合一些冗余特征，而融合这些冗余特征会降低模型的性能。
发明内容
鉴于上述的分析，本发明旨在提供一种基于宫颈细胞学图像的异常细胞识别方法及系统，以解决现有技术在宫颈异常细胞识别方面存在上述部分或全部问题。
本发明的目的主要是通过以下技术方案实现的：
一方面，本发明提供了一种基于宫颈细胞学图像的异常细胞识别方法，包括以下步骤：
获取人工数据标注的宫颈细胞学图像切片；
将所述宫颈细胞学图像切片输入特征提取网络，并通过特征提取网络的不同层进行图像特征提取得到不同尺度的特征图；
通过注意力模块对所述不同尺度的特征图分别进行重要特征的筛选，并根据筛选出的重要特征将所述不同尺度的特征图进行融合，将融合特征输入定位和分类模块，得到训练后的注意力机制的多尺度融合网络；
将待识别宫颈细胞学图像输入所述训练后的注意力机制的多尺度融合网络，得到异常细胞的位置定位和图像切片分类，识别出待识别宫颈细胞学图像中的异常细胞。
进一步地，所述特征提取网络包括DenseNet-169网络；将所述宫颈细胞学图像切片输入特征提取网络，并通过特征提取网络的不同层进行图像特征提取得到不同尺度的特征图，包括：
将所述宫颈细胞学图像切片输入包含4个密集连接模块的 DenseNet-169网络进行图像特征提取，每个密集连接模块之间的 Transition层构成金字塔结构，从该金字塔结构的底层到高层进行特征图尺寸的逐层缩小，得到4个不同尺度的特征图；
其中，每个不同尺寸的特征图分别对应所述特征提取网络提取出图像的底层特征到高层特征。
进一步地，所述重要特征包括通道水平的重要特征和空间水平的重要特征；所述注意力模块包括通道注意力模块和空间注意力模块；所述通过注意力模块对所述不同尺度的特征图分别进行重要特征的筛选，包括：
将所述不同尺度的特征图输入通道注意力模块，在通道水平得到不同层对应的特征重要性权重，并根据该特征重要性权重对底层特征进行特征过滤得到通道水平的重要特征；
通过空间注意力模块在每个通道维度的空间水平对每个不同尺度特征图的不同区域位置预设不同的权重得到特征重要性权重，并根据该特征重要性权重对通道水平的重要特征进行过滤，得到空间水平的重要特征。
进一步地，所述根据筛选后的重要特征对所述不同尺度的特征图进行融合生成融合后的特征图，具体计算过程包括：
N5＝P5 (1)
N6＝maxpool(N5) (2)
Figure RE-RE-GDA0002779026680000031
Figure RE-RE-GDA0002779026680000032
Figure RE-RE-GDA0002779026680000033
其中，
Figure RE-RE-GDA0002779026680000041
为通道水平的重要特征，
Figure RE-RE-GDA0002779026680000042
为空间水平的重要特征，
Figure RE-RE-GDA0002779026680000043
分别表示逐元素相乘和逐元素相加运算， {N2,N3,N4,N5,N6}表示融合后的特征图，maxpool的窗口大小和步长都为2， fup为缩放因子为2的上采样过程，
Figure RE-RE-GDA0002779026680000044
和
Figure RE-RE-GDA0002779026680000045
分别是由通道注意力模块以及空间注意力模块所产生的特征重要性权重，i为特征提取网络的提取层数，Pi表示第i个提取层的不同尺度特征。
进一步地，所述通道注意力模块产生特征重要性权重
Figure RE-RE-GDA0002779026680000046
包括：
将所述不同尺度的特征图分别使用maxpool和avgpool对高层特征进行空间维度的信息整合，产生特征
Figure RE-RE-GDA0002779026680000047
和
Figure RE-RE-GDA0002779026680000048
将产生的所述特征
Figure RE-RE-GDA0002779026680000049
和
Figure RE-RE-GDA00027790266800000410
分别输入到一个由两层全连接神经网络构成的网络结构，并将各自的输出进行聚合得到通道水平的特征重要性权重
Figure RE-RE-GDA00027790266800000411
其中，C表示通道注意力模块，
Figure RE-RE-GDA00027790266800000412
表示maxpool最大池化运算得到的特征，
Figure RE-RE-GDA00027790266800000413
表示avgpool平均池化运算得到的特征。
进一步地，所述通道注意力模块产生特征重要性权重
Figure RE-RE-GDA00027790266800000414
的运算公式如下：
Figure RE-RE-GDA00027790266800000415
Figure RE-RE-GDA00027790266800000416
Figure RE-RE-GDA00027790266800000417
其中，maxpool和avgpool的窗口尺寸和步长与Ni+1的尺寸相同，σ和δ分别对应sigmoid函数和ReLU函数，
Figure RE-RE-GDA00027790266800000418
和
Figure RE-RE-GDA00027790266800000419
表示由两层全连接神经网络构成的网络结构的权重参数，r表示特征的降维参数。
进一步地，所述空间注意力模块产生特征重要性权重
Figure RE-RE-GDA0002779026680000051
包括：
分别在通道维度上对过滤后的通道水平的重要特征
Figure RE-RE-GDA00027790266800000513
进行maxpool 和avgpool运算，产生特征
Figure RE-RE-GDA0002779026680000052
和
Figure RE-RE-GDA0002779026680000053
使得每个通道水平的特征图中的重要区域被凸显；
将
Figure RE-RE-GDA0002779026680000054
和
Figure RE-RE-GDA0002779026680000055
进行通道维度的聚合，并输入到7×7卷积层，得到空间水平的特征重要性权重
Figure RE-RE-GDA0002779026680000056
其中，S表示空间注意力模块，
Figure RE-RE-GDA0002779026680000057
表示maxpool最大池化运算得到的特征，
Figure RE-RE-GDA0002779026680000058
表示avgpool平均池化运算得到的特征，H和 W分别表示重要区域的高和宽。
进一步地，所述空间注意力模块产生特征重要性权重
Figure RE-RE-GDA0002779026680000059
的运算公式如下：
Figure RE-RE-GDA00027790266800000510
Figure RE-RE-GDA00027790266800000511
Figure RE-RE-GDA00027790266800000512
其中，σ为sigmoid函数，f7×7表示卷积核尺寸为7×7的卷积运算，concat为沿通道维度的特征聚合运算。
进一步地，将待识别宫颈细胞学图像输入所述训练后的注意力机制的多尺度融合网络，得到异常细胞的位置定位和图像切片分类，包括：
通过训练后的注意力机制的多尺度融合网络从所述待识别宫颈细胞学图像提取出融合后的特征图；
根据宫颈异常细胞尺寸的真实分布预设不同尺寸和高宽比的锚定框，将所述锚定框输入候选框生成网络得到候选框；
所述候选框生成网络根据候选框在上述融合后的特征图上产生相应的候选框特征；
将所述候选框特征输入定位和分类模块进行异常细胞的定位，得到每个异常细胞的位置及异常概率，并根据定位到的每个异常细胞的异常概率对图像切片patch分类。
另一方面，本发明提供了一种基于上述识别方法的异常细胞识别系统，包括：特征提取网络、注意力模块及定位和分类模块，构建注意力机制的多尺度融合网络；其中，所述注意力模块包括通道注意力模块和空间注意力模块；
特征提取网络，用于对人工数据标注或待识别宫颈细胞学图像进行特征提取得到不同尺度的特征图；
注意力模块，用于对上述不同尺度的特征图分别进行重要特征的筛选，并根据筛选出的重要特征将上述不同尺度的特征图进行融合生成融合后的特征图；其中，所述重要特征包括通道水平的重要特征和空间水平的重要特征；
通道注意力模块，用于根据上述不同尺度的特征图在通道水平得到不同层对应的特征重要性权重，并根据该特征重要性权重对底层特征进行特征过滤得到通道水平的重要特征；
空间注意力模块，用于在每个通道维度的空间水平对每个不同尺度特征图的不同区域位置预设不同的权重得到特征重要性权重，并根据该特征重要性权重对通道水平的重要特征进行过滤，得到空间水平的重要特征；
定位和分类模块，用于根据所述注意力模块输出融合后的特征图得到异常细胞的位置定位和图像切片分类。
本技术方案的有益效果如下：本发明采用上述结合注意力机制的多尺度特征融合网络对宫颈细胞学图像的异常细胞进行识别，实验结果显示其定位以及分类指标都要优于现有的Faster R-CNN以及FPN方法；另外，本发明提出的注意力模块能够对不同尺度的特征进行有效的过滤，凸显重要特征，抑制次要特征，使得特征学习更加高效；而且根据宫颈异常细胞尺寸的真实分布设计出的符合临床实际的多尺度特征的融合网络能够覆盖不同尺寸的异常细胞，防止出现小尺寸细胞的漏检。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分的从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。
图1为本发明实施例的一种基于宫颈细胞学图像的异常细胞识别方法流程图；
图2为本发明实施例的TCT图像的数字化扫描以及标注示意图；
图3为本发明实施例的DenseNet-169网络的基本结构图；
图4为本发明实施例的注意力模块的基本示意图；
图5为本发明实施例的TCT图像中异常细胞标注框的尺寸分布图；
图6为本发明实施例的评估定位效果的FROC曲线图；
图7为本发明实施例的定性评估定位效果的展示图；
图8为本发明实施例的多尺度特征的可视化展示图
图9为本发明实施例的一种基于宫颈细胞学图像的异常细胞识别系统框图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
本发明的技术构思主要针对现有技术存在以下几点问题：
(1)特征工程人为设计特征导致模型鲁棒性差的问题：本发明采用卷积神经网络进行特征的自动提取，提高模型的泛化能力。
(2)Faster R-CNN利用单一尺度特征导致信息利用不充分的问题：本发明根据宫颈异常细胞尺寸的真实分布设计出符合临床实际的多尺度特征融合网络，充分利用多尺度特征信息。
(3)FPN多尺度特征融合未考虑不同特征重要性的问题：本发明设计出一种注意力模块(Attention module)用于衡量不同特征之间的重要性，凸显重要特征，抑制次要特征。
本发明的一个具体实施例，如图1所示，公开了一种基于宫颈细胞学图像的异常细胞识别方法，包括以下步骤：
S1，获取人工数据标注的宫颈细胞学图像切片；
具体地，人工数据标注：将TCT玻片样本进行扫描并切分，然后由多名长期从事TCT阅片的专业医技人员对图像进行标注；
其中：TCT玻片样本经过扫描被存储为图像；使用电子扫描仪将图像切分为2048×2048的切片图像(下称“patch”)；然后由医技人员将 patch中的异常细胞用矩形框的形式进行框选，得到相应的标注信息；如图2(a)和图2(b)所示的TCT图像的数字化扫描以及标注示意图，其中，(a)为数据标注过程中TCT玻片的扫描和图像切片的示意图；(b)为专业医技人员使用标注软件对patch进行标注的示意图。
这里需要说明的是，实际操作过程中由专业医技人员对图像的标注流程如下：(1)首先对所有的patch进行过滤，得到其中包含异常宫颈细胞的patch以及不包含异常宫颈细胞的patch。该步骤由三名专业医技人员 A,B和C执行，其中A医师资历为33年，B和C医师资历为10年左右。首先由医师A对所有的patch进行过滤，移除其中模糊以及含有血渍等不合格的patch，得到共计10659张patch，其中8036张patch含有异常宫颈细胞， 2623张patch不含有异常细胞；(2)将步骤(1)得到的8036张含有异常细胞的patch分别提供给医师B，C，由他们进行背对背的异常细胞标注；(3) 由医师A对(2)中的标注结果进行再次复核，其复核的最终标注结果用于模型的训练和验证。
S2，将所述宫颈细胞学图像切片输入特征提取网络，并通过特征提取网络的不同层进行图像特征提取得到不同尺度的特征图；
需要说明的是，图像特征包括尺寸及分辨率等，通过特征提取网络得到不同尺度的特征图，而不同尺度的特征图是不同的。首先体现在尺寸上，底层的特征图尺寸较大，分辨率较高，蕴含大量的细节信息，比如线条、纹理及颜色等特征；随着网络层接近顶层，特征图的尺寸逐渐减小，分辨率逐渐降低，但是特征更加抽象，语义信息更加丰富，比如形状，轮廓等更加高级的特征。因此，不同尺度的特征图所蕴含的信息是不同的，由下到上的一个过程就是特征的不断抽象过程。显然，由于图像特征不同，其重要性也就会存在不同，这种不同不仅仅体现在不同尺度的特征之间，即使是同一尺度的不同特征之间，特征的重要性也会存在差异。特征图是一个三维的数组，通俗来讲，包括长，宽和通道三个维度，打个比方，以“千层饼”为例，一张千层饼看做一个特征图，好多张大小一致的“千层饼”摞在一起构成的一摞“千层饼”就是一种尺度的特征图；另一摞尺寸较小的“千层饼”则是另一种尺度的特征图。一摞“千层饼”有多少张就代表该尺度的特征图有多少个通道数。所以每种尺度水平的特征图都有好多个通道数，每个通道是一张“千层饼”；每一摞大小不一样的“千层饼”就是一种不同尺度的特征图。
S3，通过注意力模块对所述不同尺度的特征图分别进行重要特征的筛选，并根据筛选出的重要特征将所述不同尺度的特征图进行融合，将融合后的特征图输入异常细胞定位和图像分类模块，得到训练后的注意力机制的多尺度融合网络；
具体地，使用注意力模块对特征进行过滤以后，重要特征得到凸显，次要特征得到抑制，将不同尺度的特征图进行融合，得到融合后的特征图{N2,N3,N4,N5,N6}。
S4，将待识别宫颈细胞学图像输入所述训练后的注意力机制的多尺度融合网络，得到异常细胞的位置定位和图像切片分类，识别出待识别宫颈细胞学图像中的异常细胞。
具体地，构建注意力机制的多尺度融合网络的模型结构主要包括三部分：特征提取网络，注意力模块以及定位和分类模块。将步骤S1中获取的标注数据作为输入，经特征提取网络进行图像特征提取；其次，经注意力模块对重要特征进行凸显，对次要特征进行抑制；然后，将不同尺度下过滤后的特征进行融合；最后，将融合后的特征输入到异常细胞定位和图像分类模块，得到异常细胞的位置以及patch的类别。
从两个方面对模型的性能进行评价并和现有技术进行对比，一方面是定位效果评价，采用目标检测领域常用的AP(Average Precision)和 FROC(Free-response receiveroperating characteristic curve)作为定位评价指标；另一方面是分类效果评价，采用AUROC(Area under the receiver operating characteristic curve)和AUPRC(Areaunder the precision-recall curve)作为分类评价指标。本发明方法与现有技术相比，采用上述结合注意力机制的多尺度特征融合网络对TCT图像宫颈异常细胞进行识别，其定位以及分类指标都要优于现有的Faster R-CNN以及FPN方法；另外，本发明提出的注意力模块能够对不同尺度的特征进行有效的过滤，凸显重要特征，抑制次要特征，使得特征学习更加高效；而且根据宫颈异常细胞尺寸的真实分布设计出的符合临床实际的多尺度特征融合网络也能够覆盖不同尺寸的异常细胞，防止出现小尺寸细胞的漏检。
本发明的一个具体实施例，所述特征提取网络包括DenseNet-169网络；将所述宫颈细胞学图像切片输入特征提取网络，并通过特征提取网络的不同层进行图像特征提取得到不同尺度的特征图，包括：
将所述宫颈细胞学图像切片输入包含4个密集连接模块的 DenseNet-169网络进行图像特征提取，每个密集连接模块之间的 Transition层构成金字塔结构，从该金字塔结构的底层到高层进行特征图尺寸的逐层缩小，得到4个不同尺度的特征图；
具体地，特征提取网络以DenseNet-169网络的基本结构为主，并相继使用常用的ResNet系列网络进行实验。如图3中的Backbone Network 为DenseNet-169网络，其基本结构见表1。从表1中可知，DenseNet-169 包含4个密集连接模块，分别是stage1,stage2,stage3以及stage4，其作用是进行特征提取，基本元素为BatchNorm层+ReLU层+卷积层(conv)；每个密集连接模块之间为Transition层，其作用是进行下采样缩小特征图尺寸，将特征图尺寸进行2倍缩小。该条自下而上的通路结构(bottom-up pathway)得到的是4个不同尺度水平的特征图，它们的分辨率依次下降而包含的语义信息逐渐丰富。
表1 DenseNet-169网络的基本结构
Figure RE-RE-GDA0002779026680000121
其中，每个不同尺寸的特征图分别对应所述特征提取网络提取出图像的底层特征到高层特征。
具体地，通过特征提取网络从图像中提取图像特征，特征提取网络的底层网络层提取的特征属于底层特征，一般诸如点，线条，纹理等初级特征，随着网络的加深，底层特征组合，层层抽象，构成更加抽象的轮廓，形状等特征，这些特征为高层或顶层特征；这些不同层所提取到的图像特征就构成了不同尺度的特征图。特征的提取过程是在网络的训练过程中自动进行的，无须人为进行设计与干预。
本发明的一个具体实施例，所述重要特征包括通道水平的重要特征和空间水平的重要特征；所述注意力模块包括通道注意力模块和空间注意力模块；具体地，如图4所示为注意力模块的基本示意图，注意力模块包括两个子模块，分别为通道注意力模块和空间注意力模块。
所述通过注意力模块对所述不同尺度的特征图分别进行重要特征的筛选，包括：
将所述不同尺度的特征图输入通道注意力模块，在通道水平得到不同层对应的特征重要性权重，并根据该特征重要性权重对底层特征进行特征过滤得到通道水平的重要特征；
具体地，通道注意力模块从特征的通道水平对特征的重要性进行衡量，由于高层特征包含更加丰富的语义信息，利用高层特征(high-level feature)指导底层特征在通道水平重要性的筛选过程，经过通道注意力模块的运算，在通道水平得到不同特征所对应的特征重要性权重，使用该权重对底层特征进行特征过滤之后得到通道水平的重要特征。
通过空间注意力模块在每个通道维度的空间水平对每个不同尺度特征图的不同区域位置预设不同的权重得到特征重要性权重，并根据该特征重要性权重对通道水平的重要特征进行过滤，得到空间水平的重要特征；
具体地，空间注意力模块则从每个通道特征的空间水平对通道水平的重要特征进行重要性的衡量，为每个特征图的不同区域位置赋予不同的权重得到不同特征所对应的特征重要性权重，使用该权重对通道水平的重要特征进行过滤，得到空间水平的重要特征。
需要说明的是，承接前述“千层饼”的例子，不同张的“千层饼”重要性属于通道注意力模块所要评估的，它会给每张“千层饼”一个权重；而单独拿出来一张“千层饼”，这张“千层饼”不同位置的重要性可能也会存在差异，所以通过空间注意力模块为这张饼的不同区域位置赋予不同的权重，可预先设定，用来评估重要位置处的重要特征。
上述可知，采用一种自上而下的结合注意力模块的多尺度特征融合网络全面识别不同尺寸的异常细胞的具体步骤为：
(1)提取中间层特征，参考表1，分别取每个Transition层的1×1conv 的输出作为每个stage的中间层特征，由于stage4没有Transition层，故取其输出作为stage4的特征，将中间层特征分别记为{C2,C3,C4,C5}；
(2)将{C2,C3,C4,C5}输入到1×1conv层得到特征{P2,P3,P4,P5}，该运算的目的是改变特征图的通道数至C＝256，以适应后续的运算过程；
(3)由于不同特征的重要性不同，故采用注意力模块进行特征筛选，从P2至P5，在相邻尺度特征之间插入注意力模块。
本发明的一个具体实施例，所述根据筛选后的重要特征对所述不同尺度的特征图进行融合生成融合后的特征图，具体计算过程包括：
N5＝P5 (1)
N6＝maxpool(N5) (2)
Figure RE-RE-GDA0002779026680000141
Figure RE-RE-GDA0002779026680000142
Figure RE-RE-GDA0002779026680000143
其中，
Figure RE-RE-GDA0002779026680000144
为通道水平的重要特征，
Figure RE-RE-GDA0002779026680000145
为空间水平的重要特征，
Figure RE-RE-GDA0002779026680000146
分别表示逐元素相乘和逐元素相加运算， {N2,N3,N4,N5,N6}表示融合后的特征图，maxpool的窗口大小和步长都为2， fup为缩放因子为2的上采样过程，
Figure RE-RE-GDA0002779026680000147
和
Figure RE-RE-GDA0002779026680000148
分别是由通道注意力模块以及空间注意力模块所产生的特征重要性权重，i为特征提取网络的提取层数，Pi表示第i个提取层的不同尺度特征。
本发明的一个具体实施例，结合图4所示，所述通道注意力模块产生特征重要性权重
Figure RE-RE-GDA0002779026680000149
包括：
将所述不同尺度的特征图分别使用maxpool和avgpool对高层特征进行空间维度的信息整合，产生特征
Figure RE-RE-GDA00027790266800001410
和
Figure RE-RE-GDA00027790266800001411
将产生的所述特征
Figure RE-RE-GDA0002779026680000151
和
Figure RE-RE-GDA0002779026680000152
分别输入到一个由两层全连接神经网络构成的网络结构，并将各自的输出进行聚合得到通道水平的特征重要性权重
Figure RE-RE-GDA0002779026680000153
其中，C表示通道注意力模块，
Figure RE-RE-GDA0002779026680000154
表示maxpool最大池化运算得到的特征，
Figure RE-RE-GDA0002779026680000155
表示avgpool平均池化运算得到的特征。
本发明的一个具体实施例，所述通道注意力模块产生特征重要性权重
Figure RE-RE-GDA0002779026680000156
的运算公式如下：
Figure RE-RE-GDA0002779026680000157
Figure RE-RE-GDA0002779026680000158
Figure RE-RE-GDA0002779026680000159
其中，maxpool和avgpool的窗口尺寸和步长与Ni+1的尺寸相同，σ和δ分别对应sigmoid函数和ReLU函数，
Figure RE-RE-GDA00027790266800001510
和
Figure RE-RE-GDA00027790266800001511
表示由两层全连接神经网络构成的网络结构的权重参数，r表示特征的降维参数。
本发明的一个具体实施例，结合图4所示，所述空间注意力模块产生特征重要性权重
Figure RE-RE-GDA00027790266800001512
包括：
分别在通道维度上对过滤后的通道水平的重要特征
Figure RE-RE-GDA00027790266800001513
进行maxpool 和avgpool运算，产生特征
Figure RE-RE-GDA00027790266800001514
和
Figure RE-RE-GDA00027790266800001515
使得每个通道水平的特征图中的重要区域被凸显；
将
Figure RE-RE-GDA00027790266800001516
和
Figure RE-RE-GDA00027790266800001517
进行通道维度的聚合，并输入到7×7卷积层，得到空间水平的特征重要性权重
Figure RE-RE-GDA00027790266800001518
其中，S表示空间注意力模块，
Figure RE-RE-GDA00027790266800001519
表示maxpool最大池化运算得到的特征，
Figure RE-RE-GDA00027790266800001520
表示avgpool平均池化运算得到的特征，H和W分别表示重要区域的高和宽。
本发明的一个具体实施例，所述空间注意力模块产生特征重要性权重
Figure RE-RE-GDA0002779026680000161
的运算公式如下：
Figure RE-RE-GDA0002779026680000162
Figure RE-RE-GDA0002779026680000163
Figure RE-RE-GDA0002779026680000164
其中，σ为sigmoid函数，f7×7表示卷积核尺寸为7×7的卷积运算，concat为沿通道维度的特征聚合运算。
本发明的一个具体实施例，将待识别宫颈细胞学图像输入所述训练后的注意力机制的多尺度融合网络，得到异常细胞的位置定位和图像切片分类，包括：
通过训练后的注意力机制的多尺度融合网络从所述待识别宫颈细胞学图像提取出融合后的特征图；
根据宫颈异常细胞尺寸的真实分布预设不同尺寸和高宽比的锚定框，将所述锚定框输入候选框生成网络得到候选框；
所述候选框生成网络根据候选框在上述融合后的特征图上产生相应的候选框特征；
将所述候选框特征输入定位和分类模块进行异常细胞的定位，得到每个异常细胞的位置及异常概率，并根据定位到的每个异常细胞的异常概率对图像切片patch分类。
具体地，候选框生成网络(RPN)将在这5个尺度的特征图上产生相应的候选框特征，用于输入后续的Fast R-CNN模块进行异常细胞的定位。而候选框是使用不同尺寸和高宽比的锚点框(anchor boxes)作为RPN网络的输入得到的，因此，锚点框的质量将直接决定RPN网络所生成的候选框的质量。锚点框尺寸以及高宽比的设计过程如下：
锚点框(anchor boxes)是图像上一系列固定尺寸和宽高比的矩形框，这些框经过缩放和平移所得到的矩形框被称为候选框，其缩放量和平移量是由RPN网络所决定的。为了确保锚点框能够覆盖不同大小的异常细胞，本发明根据宫颈异常细胞尺寸的真实分布对锚点框的尺寸和高宽比进行设计。由临床先验知识可知，细胞的平面形状近似椭圆形或者圆形，其形状通常不会朝单一方向过度伸展，因此其外接的矩形框高宽比具有一定的范围。
图5所示为本发明所使用的TCT细胞图像中异常细胞标注框的尺寸分布图；其中，a图表示标注框尺寸与其对应的高宽比的小提琴图；b图表示标注框的尺寸分布的概率密度图。
如图5a所示为标注框的高宽比分布，由图可知，异常宫颈细胞标注框的高宽比取值在0.4和2之间；如图5b所示为标注框的尺寸分布，由图可知，异常细胞的尺寸大小各异。因此，结合异常细胞的真实尺寸以及高宽比，本发明在每个尺度的特征图水平上分别设定1种对应的锚点框尺寸和3种不同的宽高比，参见表2，表中数值单位对应的是原始图像的像素。
表2不同尺度特征图每个位置对应的锚点框的尺寸和高宽比
Figure RE-RE-GDA0002779026680000171
上述的过程对宫颈细胞学图像中的异常细胞进行了定位，得到每个异常细胞的位置以及异常概率，这些信息有利于阅片人员在进行筛检的时候快速识别出异常细胞以供后续分析，可以大大减轻医师的工作负担。除此之外，patch的分类信息对于筛检同样具有一定的参考价值。实际上， patch的类别取决于其中细胞的异常概率，因此，将所识别的异常细胞的异常概率记为p＝(p1,p,…,pm)，其中m为识别到的异常细胞的数量。对于正常的patch，所有的pi都应该接近于0；而对于异常的patch，其中至少有一个pi应该接近于1。所以，对于给定的patch I，其异常的概率为p中的最大值，公式如下：
p(y＝1|I)＝max(p1,p,…,pm) (12)
本发明宫颈异常细胞的识别为一个两阶段的任务，首先利用整合了注意力模块的多尺度特征融合网络对patch中的异常细胞进行定位；然后利用所定位到的异常细胞的概率对其所在的patch进行分类，最终完成异常细胞的定位以及patch的分类。具体操作中使用NVIDIA Quadro GV100 32GB GPU对模型进行训练，所使用的深度学习框架为Pytorch。将数据按照8:1:1的比例随机划分为训练集，验证集和测试集，由于训练过程中并不会使用不含有异常细胞的patch，故将训练集中此种patch合并入测试集，以扩大测试集图像的数量，得到更为鲁棒的测试结果，具体参见表3，表 3详细介绍了数据的分布情况。
表3标注数据集在训练集、验证集和测试集中的分布情况
Figure RE-RE-GDA0002779026680000181
训练过程中，模型的选择依据验证集的效果，即取验证集效果最好的模型进行保存，并将保存的模型最终在测试集上进行测试。训练迭代次数为128560，优化器使用随机梯度下降方法(stochastic gradient descent)， batch size的大小为2，使用的动量为0.9，为了减轻过拟合，使用0.0005的权值衰减，初始学习率lr0设为0.005，并按照下式进行学习率衰减：
Figure RE-RE-GDA0002779026680000191
其中lr(x)表示某个迭代次数x处所对应的学习率，γ为学习率衰减指数，本发明设置为0.1，在前1000次迭代过程中使用learning rate warmup 以提升模型的表现。为了减轻过拟合，本发明采用了数据增强的方法，包括随机水平翻转，垂直翻转，旋转，亮度调整以及高斯模糊。随机旋转的角度为90，180以及270度，亮度调整的参数范围为[0.5,1.5]，高斯模糊的参数范围设为[0,5]。
异常细胞定位的结果：将本发明方法与现有方法Faster R-CNN以及 FPN进行对比，使用AP描述的定位结果见表4。由表可得出两点结论，首先，无论使用下列何种BackboneNetwork，本发明方法都要明显优于Faster R-CNN，AP平均提升8.07％，说明本发明所提出的结合注意力模块的多尺度特征融合网络能够有效提高模型的识别效果；其次，与FPN进行对比，可以发现AP平均提升3.2％，该结果说明本发明所提出的注意力模块能够明显提高模型的识别效果，原因如前所述，本发明所提出的注意力模块能够对特征进行有效过滤，使得特征的学习更加高效。
表4不同方法针对测试集的定位效果对比(AP)(％)
Figure RE-RE-GDA0002779026680000192
Figure RE-RE-GDA0002779026680000201
另外，使用FROC对模型的定位效果进行评价，参考图6，图6为不同方法在测试集上的FROC曲线，由图可知，在每种Backbone Network上，本发明方法都要优于现有的FasterR-CNN以及FPN方法。以图6a为例，在每张patch的FPR＝2的情况下，本发明方法的TPR能够达到97％，相比之下， Faster R-CNN和FPN所能达到的FPR则分别为89％和95％，该结果说明本发明方法在定位方面的效果要优于现有方法。
除了表4和图6所展示的定量结果，定性地对不同方法的定位效果进行了评价，如图7为不同方法的定位效果展示图，其中，a为专家标注的结果，b，c和d分别为Faster R-CNN，FPN和本发明方法的预测结果。由图可知，本发明方法在定位方面的表现更加贴近专家的标注结果；另外，与现有方法Faster R-CNN和FPN进行比较，可以发现本发明方法定位更加准确，比如，现有的两种方法会漏掉一些较小的异常细胞，而本发明方法能够准确地将其识别。
Patch分类的结果：参考表5，表5为不同方法的分类效果比较。由表可知，本发明方法要优于现有的Faster R-CNN和FPN方法。以Backbone Network为DenseNet-169为例，本发明方法的AUROC和AUPRC分别为 98.67％和96.53％，和Faster R-CNN相比，提升分别为1.45％和3.42％，该结果进一步验证了本发明方法的有效性；和FPN相比，AUROC和AUPRC 的提升分别为0.52％和0.94％，Delong test显示该提升具有统计学意义，该结果表明本发明方法融入临床先验的异常细胞尺寸分布对多尺度融合网络进行设计的有效性，以及注意力模块的有效性。
表5不同方法在测试集上的分类效果对比(％)
Figure RE-RE-GDA0002779026680000202
Figure RE-RE-GDA0002779026680000211
特征学习的结果：为了验证本发明所提出的注意力模块在特征过滤方面的有效性，将模型所提取的多尺度特征进行了可视化，以此对特征进行对比。如图8所示为现有的FPN方法和本发明的多尺度特征的可视化展示，其中，a为输入图片，b，c和d为本发明方法的多尺度特征；e，f 和g为FPN的多尺度特征。由图8可知，本发明方法所提出的注意力模块所过滤出的特征图中异常细胞得到了凸显，无关区域得到了抑制；而FPN 所提取出的特征图则未能有效将异常细胞进行凸显，该结果表明本发明所提出的注意力模块能够有效对特征进行过滤，凸显重要特征，抑制次要特征。
本发明的一个具体实施例，如图9所示，公开了一种基于上述识别方法的异常细胞识别系统，包括：特征提取网络1、注意力模块2及定位和分类模块3，构建注意力机制的多尺度融合网络；其中，所述注意力模块2包括通道注意力模块201和空间注意力模块202；
特征提取网络1，用于对人工数据标注或待识别宫颈细胞学图像进行特征提取得到不同尺度的特征图；
注意力模块2，用于对上述不同尺度的特征图分别进行重要特征的筛选，并根据筛选出的重要特征将上述不同尺度的特征图进行融合生成融合后的特征图；其中，所述重要特征包括通道水平的重要特征和空间水平的重要特征；
通道注意力模块201，用于根据上述不同尺度的特征图在通道水平得到不同层对应的特征重要性权重，并根据该特征重要性权重对底层特征进行特征过滤得到通道水平的重要特征；
空间注意力模块202，用于在每个通道维度的空间水平对每个不同尺度特征图的不同区域位置预设不同的权重得到特征重要性权重，并根据该特征重要性权重对通道水平的重要特征进行过滤，得到空间水平的重要特征；
定位和分类模块3，用于根据所述注意力模块2输出融合后的特征图得到异常细胞的位置定位和图像切片分类。
综上所述，本发明公开了一种基于宫颈细胞学图像的异常细胞识别方法及系统，该方法包括：获取人工数据标注的宫颈细胞学图像切片；将所述宫颈细胞学图像切片输入特征提取网络，并通过特征提取网络的不同层进行图像特征提取得到不同尺度的特征图；通过注意力模块对所述不同尺度的特征图分别进行重要特征的筛选，并根据筛选出的重要特征将所述不同尺度的特征图进行融合，将融合特征输入定位和分类模块，得到训练后的注意力机制的多尺度融合网络；将待识别宫颈细胞学图像输入所述训练后的注意力机制的多尺度融合网络，得到异常细胞的位置定位和图像切片分类，识别出待识别宫颈细胞学图像中的异常细胞。基于上述方法的系统包括：特征提取网络、注意力模块及定位和分类模块，构建注意力机制的多尺度融合网络；其中，所述注意力模块包括通道注意力模块和空间注意力模块。与现有技术相比，本发明解决了宫颈异常细胞识别方面存在尺寸较小细胞的漏检导致筛检诊断结果的准确性不高问题。
本领域技术人员可以理解，实现上述实施例中方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于宫颈细胞学图像的异常细胞识别方法，其特征在于，包括以下步骤：
获取人工数据标注的宫颈细胞学图像切片；
将所述宫颈细胞学图像切片输入特征提取网络，并通过特征提取网络的不同层进行图像特征提取得到不同尺度的特征图；
通过注意力模块对所述不同尺度的特征图分别进行重要特征的筛选，并根据筛选出的重要特征将所述不同尺度的特征图进行融合，将融合特征输入定位和分类模块，得到训练后的注意力机制的多尺度融合网络；
将待识别宫颈细胞学图像输入所述训练后的注意力机制的多尺度融合网络，得到异常细胞的位置定位和图像切片分类，识别出待识别宫颈细胞学图像中的异常细胞。
2.根据权利要求1所述的方法，其特征在于，所述特征提取网络包括DenseNet-169网络；将所述宫颈细胞学图像切片输入特征提取网络，并通过特征提取网络的不同层进行图像特征提取得到不同尺度的特征图，包括：
将所述宫颈细胞学图像切片输入包含4个密集连接模块的DenseNet-169网络进行图像特征提取，每个密集连接模块之间的Transition层构成金字塔结构，从该金字塔结构的底层到高层进行特征图尺寸的逐层缩小，得到4个不同尺度的特征图；
其中，每个不同尺寸的特征图分别对应所述特征提取网络提取出图像的底层特征到高层特征。
3.根据权利要求1所述的方法，其特征在于，所述重要特征包括通道水平的重要特征和空间水平的重要特征；所述注意力模块包括通道注意力模块和空间注意力模块；所述通过注意力模块对所述不同尺度的特征图分别进行重要特征的筛选，包括：
将所述不同尺度的特征图输入通道注意力模块，在通道水平得到不同层对应的特征重要性权重，并根据该特征重要性权重对底层特征进行特征过滤得到通道水平的重要特征；
通过空间注意力模块在每个通道维度的空间水平对每个不同尺度特征图的不同区域位置预设不同的权重得到特征重要性权重，并根据该特征重要性权重对通道水平的重要特征进行过滤，得到空间水平的重要特征。
4.根据权利要求1所述的方法，其特征在于，所述根据筛选后的重要特征对所述不同尺度的特征图进行融合生成融合后的特征图，具体计算过程包括：
N5＝P5 (1)
N6＝maxpool(N5) (2)
Figure RE-FDA0002779026670000021
Figure RE-FDA0002779026670000022
Figure RE-FDA0002779026670000023
其中，
Figure RE-FDA0002779026670000024
为通道水平的重要特征，
Figure RE-FDA0002779026670000025
为空间水平的重要特征，
Figure RE-FDA0002779026670000026
分别表示逐元素相乘和逐元素相加运算，{N2,N3,N4,N5,N6}表示融合后的特征图，maxpool的窗口大小和步长都为2，fup为缩放因子为2的上采样过程，
Figure RE-FDA0002779026670000027
和
Figure RE-FDA0002779026670000028
分别是由通道注意力模块以及空间注意力模块所产生的特征重要性权重，i为特征提取网络的提取层数，Pi表示第i个提取层的不同尺度特征。
5.根据权利要求4所述的方法，其特征在于，所述通道注意力模块产生特征重要性权重
Figure RE-FDA0002779026670000029
包括：
将所述不同尺度的特征图分别使用maxpool和avgpool对高层特征进行空间维度的信息整合，产生特征
Figure RE-FDA0002779026670000031
和
Figure RE-FDA0002779026670000032
将产生的所述特征
Figure RE-FDA0002779026670000033
和
Figure RE-FDA0002779026670000034
分别输入到一个由两层全连接神经网络构成的网络结构，并将各自的输出进行聚合得到通道水平的特征重要性权重
Figure RE-FDA0002779026670000035
其中，C表示通道注意力模块，
Figure RE-FDA0002779026670000036
表示maxpool最大池化运算得到的特征，
Figure RE-FDA0002779026670000037
表示avgpool平均池化运算得到的特征。
6.根据权利要求5所述的方法，其特征在于，所述通道注意力模块产生特征重要性权重
Figure RE-FDA0002779026670000038
的运算公式如下：
Figure RE-FDA0002779026670000039
Figure RE-FDA00027790266700000310
Figure RE-FDA00027790266700000311
其中，maxpool和avgpool的窗口尺寸和步长与Ni+1的尺寸相同，σ和δ分别对应sigmoid函数和ReLU函数，
Figure RE-FDA00027790266700000312
和
Figure RE-FDA00027790266700000313
表示由两层全连接神经网络构成的网络结构的权重参数，r表示特征的降维参数。
7.根据权利要求4所述的方法，其特征在于，所述空间注意力模块产生特征重要性权重
Figure RE-FDA00027790266700000314
包括：
分别在通道维度上对过滤后的通道水平的重要特征
Figure RE-FDA00027790266700000315
进行maxpool和avgpool运算，产生特征
Figure RE-FDA00027790266700000316
和
Figure RE-FDA00027790266700000317
使得每个通道水平的特征图中的重要区域被凸显；
将
Figure RE-FDA00027790266700000318
和
Figure RE-FDA00027790266700000319
进行通道维度的聚合，并输入到7×7卷积层，得到空间水平的特征重要性权重
Figure RE-FDA00027790266700000320
其中，S表示空间注意力模块，
Figure RE-FDA0002779026670000041
表示maxpool最大池化运算得到的特征，
Figure RE-FDA0002779026670000042
表示avgpool平均池化运算得到的特征，H和W分别表示重要区域的高和宽。
8.根据权利要求7所述的方法，其特征在于，所述空间注意力模块产生特征重要性权重
Figure RE-FDA0002779026670000043
的运算公式如下：
Figure RE-FDA0002779026670000044
Figure RE-FDA0002779026670000045
Figure RE-FDA0002779026670000046
其中，σ为sigmoid函数，f7×7表示卷积核尺寸为7×7的卷积运算，concat为沿通道维度的特征聚合运算。
9.根据权利要求1所述的方法，其特征在于，将待识别宫颈细胞学图像输入所述训练后的注意力机制的多尺度融合网络，得到异常细胞的位置定位和图像切片分类，包括：
通过训练后的注意力机制的多尺度融合网络从所述待识别宫颈细胞学图像提取出融合后的特征图；
根据宫颈异常细胞尺寸的真实分布预设不同尺寸和高宽比的锚定框，将所述锚定框输入候选框生成网络得到候选框；
所述候选框生成网络根据候选框在上述融合后的特征图上产生相应的候选框特征；
将所述候选框特征输入定位和分类模块进行异常细胞的定位，得到每个异常细胞的位置及异常概率，并根据定位到的每个异常细胞的异常概率对图像切片patch分类。
10.一种基于权利要求1-9所述识别方法的异常细胞识别系统，包括：特征提取网络、注意力模块及定位和分类模块，构建注意力机制的多尺度融合网络；其中，所述注意力模块包括通道注意力模块和空间注意力模块；
特征提取网络，用于对人工数据标注或待识别宫颈细胞学图像进行特征提取得到不同尺度的特征图；
注意力模块，用于对上述不同尺度的特征图分别进行重要特征的筛选，并根据筛选出的重要特征将上述不同尺度的特征图进行融合生成融合后的特征图；其中，所述重要特征包括通道水平的重要特征和空间水平的重要特征；
通道注意力模块，用于根据上述不同尺度的特征图在通道水平得到不同层对应的特征重要性权重，并根据该特征重要性权重对底层特征进行特征过滤得到通道水平的重要特征；
空间注意力模块，用于在每个通道维度的空间水平对每个不同尺度特征图的不同区域位置预设不同的权重得到特征重要性权重，并根据该特征重要性权重对通道水平的重要特征进行过滤，得到空间水平的重要特征；
定位和分类模块，用于根据所述注意力模块输出融合后的特征图得到异常细胞的位置定位和图像切片分类。
CN202011065280.6A 2020-09-30 2020-09-30 一种基于宫颈细胞学图像的异常细胞识别方法及系统 Pending CN112215117A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011065280.6A CN112215117A (zh) 2020-09-30 2020-09-30 一种基于宫颈细胞学图像的异常细胞识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011065280.6A CN112215117A (zh) 2020-09-30 2020-09-30 一种基于宫颈细胞学图像的异常细胞识别方法及系统

Publications (1)

Publication Number Publication Date
CN112215117A true CN112215117A (zh) 2021-01-12

Family

ID=74051702

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011065280.6A Pending CN112215117A (zh) 2020-09-30 2020-09-30 一种基于宫颈细胞学图像的异常细胞识别方法及系统

Country Status (1)

Country Link
CN (1) CN112215117A (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112784767A (zh) * 2021-01-27 2021-05-11 天津理工大学 基于白细胞显微图像的细胞实例分割算法
CN112802012A (zh) * 2021-03-09 2021-05-14 中南大学湘雅医院 病理图像检测方法、装置、计算机设备和存储介质
CN112967253A (zh) * 2021-03-08 2021-06-15 中国计量大学 一种基于深度学习的宫颈癌细胞检测方法
CN112990118A (zh) * 2021-04-23 2021-06-18 武汉希诺智能医学有限公司 一种基于细粒度的宫颈细胞图像分类方法
CN113076960A (zh) * 2021-05-11 2021-07-06 清华大学深圳国际研究生院 基于多尺度特征迭代融合网络的图像分类方法和装置
CN113378791A (zh) * 2021-07-09 2021-09-10 合肥工业大学 基于双注意力机制和多尺度特征融合的宫颈细胞分类方法
CN113378792A (zh) * 2021-07-09 2021-09-10 合肥工业大学 融合全局和局部信息的弱监督宫颈细胞图像分析方法
CN113516022A (zh) * 2021-04-23 2021-10-19 黑龙江机智通智能科技有限公司 一种宫颈细胞的细粒度分类系统
CN113657482A (zh) * 2021-08-14 2021-11-16 北京百度网讯科技有限公司 模型训练方法、目标检测方法、装置、设备以及存储介质
CN113838008A (zh) * 2021-09-08 2021-12-24 江苏迪赛特医疗科技有限公司 一种基于引入注意力机制的异常细胞检测方法
CN114638823A (zh) * 2022-05-07 2022-06-17 赛维森(广州)医疗科技服务有限公司 基于注意力机制序列模型的全切片图像分类方法及装置
CN114897779A (zh) * 2022-04-12 2022-08-12 华南理工大学 基于融合注意力的宫颈细胞学图像异常区域定位方法及装置
CN115063795A (zh) * 2022-08-17 2022-09-16 西南民族大学 一种尿沉渣分类检测方法、装置、电子设备及存储介质
CN115938561A (zh) * 2021-09-23 2023-04-07 中山大学孙逸仙纪念医院 宫颈液基薄层细胞学的辅助筛查系统、应用方法及模型
CN116563848A (zh) * 2023-07-12 2023-08-08 北京大学 异常细胞识别方法、装置、设备及存储介质
CN116580841A (zh) * 2023-07-12 2023-08-11 北京大学 基于多组学数据的疾病诊断设备、装置及存储介质
CN116580396A (zh) * 2023-07-12 2023-08-11 北京大学 细胞水平识别方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110310253A (zh) * 2019-05-09 2019-10-08 杭州迪英加科技有限公司 数字切片分类方法和装置
CN110648322A (zh) * 2019-09-25 2020-01-03 杭州智团信息技术有限公司 一种子宫颈异常细胞检测方法及系统
CN111079825A (zh) * 2019-12-09 2020-04-28 中国科学技术大学 针对医学图像的细胞核自动检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110310253A (zh) * 2019-05-09 2019-10-08 杭州迪英加科技有限公司 数字切片分类方法和装置
CN110648322A (zh) * 2019-09-25 2020-01-03 杭州智团信息技术有限公司 一种子宫颈异常细胞检测方法及系统
CN111079825A (zh) * 2019-12-09 2020-04-28 中国科学技术大学 针对医学图像的细胞核自动检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JUNLONG CHENG ET AL.: "Fully convolutional attention network for biomedical image segmentation", 《 ARTIFICIAL INTELLIGENCE IN MEDICINE》, pages 3 *

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112784767A (zh) * 2021-01-27 2021-05-11 天津理工大学 基于白细胞显微图像的细胞实例分割算法
CN112967253A (zh) * 2021-03-08 2021-06-15 中国计量大学 一种基于深度学习的宫颈癌细胞检测方法
CN112802012A (zh) * 2021-03-09 2021-05-14 中南大学湘雅医院 病理图像检测方法、装置、计算机设备和存储介质
CN113516022B (zh) * 2021-04-23 2023-01-10 黑龙江机智通智能科技有限公司 一种宫颈细胞的细粒度分类系统
CN112990118A (zh) * 2021-04-23 2021-06-18 武汉希诺智能医学有限公司 一种基于细粒度的宫颈细胞图像分类方法
CN113516022A (zh) * 2021-04-23 2021-10-19 黑龙江机智通智能科技有限公司 一种宫颈细胞的细粒度分类系统
CN113076960A (zh) * 2021-05-11 2021-07-06 清华大学深圳国际研究生院 基于多尺度特征迭代融合网络的图像分类方法和装置
CN113076960B (zh) * 2021-05-11 2023-07-11 清华大学深圳国际研究生院 基于多尺度特征迭代融合网络的图像分类方法和装置
CN113378792A (zh) * 2021-07-09 2021-09-10 合肥工业大学 融合全局和局部信息的弱监督宫颈细胞图像分析方法
CN113378792B (zh) * 2021-07-09 2022-08-02 合肥工业大学 融合全局和局部信息的弱监督宫颈细胞图像分析方法
CN113378791B (zh) * 2021-07-09 2022-08-05 合肥工业大学 基于双注意力机制和多尺度特征融合的宫颈细胞分类方法
CN113378791A (zh) * 2021-07-09 2021-09-10 合肥工业大学 基于双注意力机制和多尺度特征融合的宫颈细胞分类方法
CN113657482A (zh) * 2021-08-14 2021-11-16 北京百度网讯科技有限公司 模型训练方法、目标检测方法、装置、设备以及存储介质
CN113838008B (zh) * 2021-09-08 2023-10-24 江苏迪赛特医疗科技有限公司 一种基于引入注意力机制的异常细胞检测方法
CN113838008A (zh) * 2021-09-08 2021-12-24 江苏迪赛特医疗科技有限公司 一种基于引入注意力机制的异常细胞检测方法
CN115938561A (zh) * 2021-09-23 2023-04-07 中山大学孙逸仙纪念医院 宫颈液基薄层细胞学的辅助筛查系统、应用方法及模型
CN114897779A (zh) * 2022-04-12 2022-08-12 华南理工大学 基于融合注意力的宫颈细胞学图像异常区域定位方法及装置
CN114897779B (zh) * 2022-04-12 2024-04-23 华南理工大学 基于融合注意力的宫颈细胞学图像异常区域定位方法及装置
CN114638823A (zh) * 2022-05-07 2022-06-17 赛维森(广州)医疗科技服务有限公司 基于注意力机制序列模型的全切片图像分类方法及装置
CN115063795B (zh) * 2022-08-17 2023-01-24 西南民族大学 一种尿沉渣分类检测方法、装置、电子设备及存储介质
CN115063795A (zh) * 2022-08-17 2022-09-16 西南民族大学 一种尿沉渣分类检测方法、装置、电子设备及存储介质
CN116563848A (zh) * 2023-07-12 2023-08-08 北京大学 异常细胞识别方法、装置、设备及存储介质
CN116580841A (zh) * 2023-07-12 2023-08-11 北京大学 基于多组学数据的疾病诊断设备、装置及存储介质
CN116580396A (zh) * 2023-07-12 2023-08-11 北京大学 细胞水平识别方法、装置、设备及存储介质
CN116580396B (zh) * 2023-07-12 2023-09-22 北京大学 细胞水平识别方法、装置、设备及存储介质
CN116580841B (zh) * 2023-07-12 2023-11-10 北京大学 基于多组学数据的疾病诊断设备、装置及存储介质
CN116563848B (zh) * 2023-07-12 2023-11-10 北京大学 异常细胞识别方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN112215117A (zh) 一种基于宫颈细胞学图像的异常细胞识别方法及系统
CN110197493B (zh) 眼底图像血管分割方法
CN109886179B (zh) 基于Mask-RCNN的子宫颈细胞涂片的图像分割方法和系统
CN112101451B (zh) 一种基于生成对抗网络筛选图像块的乳腺癌组织病理类型分类方法
WO2021139258A1 (zh) 基于图像识别的细胞识别计数方法、装置和计算机设备
CN110648322B (zh) 一种子宫颈异常细胞检测方法及系统
CN109447998B (zh) 基于PCANet深度学习模型下的自动分割方法
CN108257135A (zh) 基于深度学习方法解读医学图像特征的辅助诊断系统
CN108346145A (zh) 一种病理切片中非常规细胞的识别方法
Wang et al. Assisted diagnosis of cervical intraepithelial neoplasia (CIN)
CN109376777A (zh) 基于深度学习的宫颈癌组织病理学图像分析方法及设备
CN110060237A (zh) 一种故障检测方法、装置、设备及系统
Zhang et al. Automated semantic segmentation of red blood cells for sickle cell disease
CN114846507A (zh) 用于使用人工智能（ai）模型进行非侵入性基因检测的方法和系统
Pan et al. Mitosis detection techniques in H&E stained breast cancer pathological images: A comprehensive review
CN112819821B (zh) 一种细胞核图像检测方法
CN110021425A (zh) 一种比较检测器及其构建方法与宫颈癌细胞检测方法
CN110111895A (zh) 一种鼻咽癌远端转移预测模型的建立方法
CN108305253A (zh) 一种基于多倍率深度学习的病理全切片诊断方法
CN111899259A (zh) 一种基于卷积神经网络的前列腺癌组织微阵列分级方法
US20230005140A1 (en) Automated detection of tumors based on image processing
CN115546605A (zh) 一种基于图像标注和分割模型的训练方法及装置
CN103903015A (zh) 一种细胞有丝分裂检测方法
CN113343755A (zh) 红细胞图像中的红细胞分类系统及方法
CN116580394A (zh) 一种基于多尺度融合和可变形自注意力的白细胞检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination