CN109145941A - 一种非规则宫颈细胞团图像分类方法及系统 - Google Patents
一种非规则宫颈细胞团图像分类方法及系统 Download PDFInfo
- Publication number
- CN109145941A CN109145941A CN201810719349.9A CN201810719349A CN109145941A CN 109145941 A CN109145941 A CN 109145941A CN 201810719349 A CN201810719349 A CN 201810719349A CN 109145941 A CN109145941 A CN 109145941A
- Authority
- CN
- China
- Prior art keywords
- image
- cell mass
- cell
- irregular
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000001788 irregular Effects 0.000 title claims abstract description 30
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000012549 training Methods 0.000 claims abstract description 33
- 238000012545 processing Methods 0.000 claims abstract description 19
- 230000007170 pathology Effects 0.000 claims abstract description 16
- 238000003062 neural network model Methods 0.000 claims abstract description 13
- 230000002159 abnormal effect Effects 0.000 claims abstract description 11
- 239000000284 extract Substances 0.000 claims description 2
- 208000018079 Uterine Cervical disease Diseases 0.000 claims 1
- 208000026735 cervix disease Diseases 0.000 claims 1
- 230000003902 lesion Effects 0.000 abstract description 2
- 210000004027 cell Anatomy 0.000 description 149
- 230000001575 pathological effect Effects 0.000 description 6
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000002776 aggregation Effects 0.000 description 4
- 238000004220 aggregation Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000000877 morphologic effect Effects 0.000 description 4
- 230000004927 fusion Effects 0.000 description 3
- 230000008775 paternal effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 210000005056 cell body Anatomy 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 208000019065 cervical carcinoma Diseases 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 210000000805 cytoplasm Anatomy 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005194 fractionation Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000003888 boundary cell Anatomy 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 230000002380 cytological effect Effects 0.000 description 1
- 230000001086 cytosolic effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 210000002919 epithelial cell Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 239000010410 layer Substances 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003097 mucus Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种非规则宫颈细胞团图像分类方法，其特征在于，包括以下步骤：离线建立可疑细胞团的训练样本集，采用多分辨率输入的三通道神经网络模型训练可疑病变细胞团判定模型；在宫颈病理切片图像上提取单个的细胞团区域，应用训练好的可疑细胞团判定模型对每个细胞团进行异常判定；挖掘没能被正确判断的细胞团，作为训练数据输入模型重点训练。本发明以非规则细胞团为处理和识别单位，且利用多分辨率输入的三通道神经网络模型快速识别可疑的病变细胞团，同时提高了识别精度和识别效率。
Description
技术领域
本发明属于医学细胞病理图像处理领域，更具体地，涉及一种非规则宫颈细胞团图像分类方法及系统。
背景技术
宫颈癌是女性群体中高发的一种恶性肿瘤。宫颈液基细胞病理学是当前预防和筛查宫颈癌的最重要手段。对细胞病理切片图像中病变细胞进行精确判读是医生确定病人病情和制定治疗方案的重要依据。由于一张细胞病理切片包含非常多的视野，基于人工的细胞病理图像判读非常耗时。因此，自动地快速识别出切片中的可疑区域供医生进一步判读能极大提高医生诊断效率。这种智能辅助阅片技术对于在我国普及宫颈筛查具有重大的意义。
病理图像判读的主要依据是细胞核和细胞质的精细形态。这要求数字化的病理切片达到亚微米的分辨率。而单张切片尺寸一般在厘米尺度，因此一张数字化的切片图像通常含有104x 104–105x 105的像素。算法通常难以直接处理包含如此海量像素的数字切片，所以会采用大体积图像分块处理融合子块结果的计算方案。如美国Hologic公司将数字切片按视野分块，然后在每个视野块内计算图像特征，最终挑选22个最可疑的视野块供人工进一步判读。但是这种分块融合的方案有如下不足：子块的边界处细胞被人为切开，降低识别精度；字块太大依然难以直接处理，字块太小带来更多边界问题并增加处理开销；子块边界处邻近块处理结果的不一致性。常规的分块融合是一种规则的划分策略，对于细胞病理切片图像，由于制片原理，细胞大部分是成团聚集或者孤立存在。因此，如果能利用细胞病理切片图像的这一图像特点，对全切片进行非规则划分，这种处理方案将更有效：避免边界问题，减少冗余计算。
智能辅助阅片技术的第二个关键问题是如何识别出切片中局部的可疑异常细胞。当前深度学习技术发展非常迅速，尤其是在图像识别图像理解等领域。虽然传统的图像处理和特征提取方法能用于识别切片中可疑病变区域，但是传统图像特征或者自定义的图像特征很难完整地表征细胞形态，通常只能刻画部分细胞形态特征如核大、深染等。基于深度学习的仿视觉识别算法能通过深层卷积网络自动学习和编码图像形态特征，这些学习到的高维特征能有效表征各种不同类型细胞的形态差异。因此，基于深度学习的病理切片识别算法更加精确和稳定。
发明内容
为了解决现有技术的不足，本发明提出了一种非规则宫颈细胞团图像分类方法及系统，该方法以细胞团为处理和识别单位，且利用多分辨率输入的三通道神经网络模型快速识别病理切片中的可疑异常细胞团，同时提高了识别精度和识别效率。
一种非规则宫颈细胞团图像分类方法，包括以下步骤：
a)离线建立可疑细胞团的训练样本集，采用多分辨率输入的三通道神经网络模型训练可疑细胞团判定模型；
b)在宫颈病理切片图像上提取单个的细胞团区域，应用训练好的可疑细胞团判定模型对每个细胞团进行异常细胞判定。
进一步地，所述深度残差神经网络模型为多分辨率输入的三通道网络模型，构造方式为：
对每个细胞团区域，使用双线性插值方法将其采样到三个分辨率，分别是原始图像的0.75,1和1.25倍；
对每一个分辨率的输入图像，使用深度残差模型的特征提取模块提取该分辨率下的图像特征；
将三个分辨率提取的图像特征组合在一起，得到融合的图像特征，进一步使用逻辑回归分类细胞团是否是可疑细胞团。
进一步地，所述在宫颈病理切片图像上提取单个的细胞团区域的具体实施方式为：
通过红绿蓝三个颜色通道的极差作阈值得到二值化前景图像；
对二值化图像作空洞填充和滤除噪声像素处理；
在最终得到的前景图像中计算连通区域，每个连通区域作为一个细胞团；
在切片图像中取出每个细胞团对应的图像，同时将不规则的细胞团区域用背景像素填充为矩形。
进一步，还包括步骤：
c)挖掘没能被正确判断的细胞团，作为训练数据输入三通道神经网络模型重点训练；
d)重复步骤b)-c)多次，直至分类达到预定精度。
一种非规则宫颈细胞团图像分类系统，包括以下模块：
离线训练模块，用于离线建立可疑细胞团的训练样本集，采用多分辨率输入的深度残差神经网络模型训练可疑细胞团判定模型；
在线分类模块，用于在宫颈病理切片图像上提取单个的细胞团区域，应用训练好的可疑细胞团判定模型对每个细胞团进行异常细胞判定。
进一步地，所述深度残差神经网络模型为多分辨率输入的三通道网络模型，构造方式为：
对每个细胞团区域，使用双线性插值方法将其采样到三个分辨率，分别是原始图像的0.75,1和1.25倍；
对每一个分辨率的输入图像，使用深度残差模型的特征提取模块提取该分辨率下的图像特征；
将三个分辨率提取的图像特征组合在一起，得到融合的图像特征，进一步使用逻辑回归分类细胞团是否是可疑细胞团。
进一步地，所述在线分类模块在宫颈病理切片图像上提取单个的细胞团区域的具体实施方式为：
通过红绿蓝三个颜色通道的极差作阈值得到二值化前景图像；
对二值化图像作空洞填充和滤除噪声像素处理；
在最终得到的前景图像中计算连通区域，每个连通区域作为一个细胞团；
在切片图像中取出每个细胞团对应的图像，同时将不规则的细胞团区域用背景像素填充为矩形。
进一步地，所述深度残差网络模型是ResNet34、ResNet50、ResNet101或ResNet151。
总体而言，本发明的有益效果：
(1)本发明针对海量像素的全切片图像，以细胞团为处理和识别单位，而不是常规的图像分块融合框架，这种处理方法更加适合细胞病理切片图像的特点，本质上是对整个切片进行不规则形状地分块，而不是常规的矩形分块。以细胞团为处理和识别单位的优点：a)细胞团作为识别单位，细胞不会被分隔在两个相邻的子块中，因而不会因为图像分块边界问题而损失识别精度；b)常规的图像分块融合框架要求训练集中切片的每个子块的所有像素均被标注类别，而以细胞团为识别单位则无需对切片进行完全地标注，可以选择性地标注部分细胞团，极大节约标注成本同时不损失样本的代表性；c)细胞团之间可以独立处理和识别的特性，使得识别算法可以并行地进行，同时处理多个细胞团。
(2)细胞团作为处理单位带来的不利影响是不同细胞团之间大小不一致，为了解决避免这种不一致影响识别效果，本发明采用多分辨率输入的三通道深度残差神经网络模型训练可疑细胞团判定模型。每个细胞团输入三个不同分辨率的图像，分别是原图的0.75、1和1.25倍，对每个分辨率的输入图像，都使用残存网络模块提取图像特征，然后融合这些不同分辨率图像上提取到的特征，通过逻辑回归对输入细胞体进行判定。这种多分辨路输入的三通道网络模型利用了多尺度的图像特征进行分类，有效地解决了细胞体间大小不一致的问题。
综上所述，本发明结合细胞病理切片图像细胞聚集的图像特点，以细胞团作为识别单元，这种处理方式更加切合细胞病理图像，克服常规分块方式的边界问题和标注问题；同时针对细胞团间大小不一致的图像特点，设计了多分辨率输入的三通道网络模型，通过提取和融合不同尺度图像特征，有效解决了细胞间大小不一影响识别的问题。
附图说明
图1为本发明非规则宫颈细胞团图像分类方法流程图；
图2为本发明提出的基于细胞团为处理和识别单位的示意图；
图3为本发明改进的多分辨率输入的三通道深度残差网络模型结构图；
图4和图5为本发明提出的超大细胞团冗余拆分模型的示意图；
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示，本发明非规则宫颈细胞团图像分类方法，包括以下步骤：
1)离线建立可疑细胞团的训练样本集，采用多分辨率输入的三通道网络模型训练可疑细胞团判定模型。
每个细胞团分为正常细胞团或潜在异常细胞团。采用多分辨率输入的深度残差神经网络模型训练可疑细胞团判定模型，具体为：
11)在数字切片上进行前景分割，在分割出的前景图像中提取多个细胞团区域。细胞质相连的细胞集合称为一个细胞团，另为方便统一处理，孤立的细胞也看作一个细胞团。以细胞团为样本单位人工标注可疑细胞团和正常细胞团，建立训练样本集。
12)对样本集作旋转、位移、加噪声等样本增强变换；
13)在ImageNet数据集预训练好的参数基础上采用迁移学习的方式训练该网络模型，采用交叉熵作为目标函数和Adam学习算法，具体是，冻结附图3残差网络结构中的Stem、Residual Block A和Residual Block B三个模块(设置这些模块的权值参数的学习率为0，不更新这些参数)，通过Adam学习算法仅仅更新后面Residual Block C和Residual BlockD模块中的参数。
具体而言,改进的多分辨率输入的三通道深度残差网络模型如下：
a)对每个细胞团子块图像，使用双线性插值方法将其采样到3个分辨率，分别是原始图像的0.75,1和1.25倍。
b)对每一个分辨率的输入图像，使用深度残差模型的特征提取模块，附图3中的Stem和Residual Block A-D网络模块，来提取该分辨率下的图像特征。
c)将三个通道内提取的图像特征组合在一起，得到融合的图像特征，进一步使用逻辑回归分类细胞团是否是可疑细胞团。
上述步骤中的基础深度残差网络模型，可以是ResNet34、ResNet50、ResNet101或者更深残差网络。在本实例中，优选使用ResNet50。细胞团是否异常的分类是个二分类问题，需要编码的语义类别比较少，因此使用层数相对少的ResNet50更合理。越深的残差网络层数其参数越多能编码的特征也越丰富，但是训练和应用的效率也越低。
2)在宫颈病理切片图像上提取单个的细胞团区域，应用训练好的可疑细胞团判定模型对每个细胞团进行异常细胞判定。
21)在数字切片上进行前景分割，在分割出的前景图像中提取多个细胞团区域。细胞质相连的细胞集合称为一个细胞团，另为方便统一处理，孤立的细胞也看作一个细胞团。
通过红绿蓝三个颜色通道的极差作阈值得到二值化前景图像，并对该二值化图像作空洞填充和滤除噪声像素处理，具体如公式1
其中I是切片RGB数字图像，和表示对每个像素点求RGB三个颜色通道的最大像素值和最小像素值，threRGB是设定的阈值，本次实例中设置为10，Ibinary是得到的二值化图像。这种二值化方式是基于：宫颈细胞切片图像中上皮细胞呈现红色中下层细胞呈现蓝绿色，而背景区域则呈现白色和灰色，因此越是彩色的区域越可能是细胞组织区域。RGB三通道像素值差异越大其显示的颜色越彩。
在该二值化图像中，部分深黑色的细胞核会被计算为背景，出现空洞，所以进一步使用空洞填充操作填充二值化图像中的空洞区域。另由于制片过程，切片图像中存在部分粘液或非细胞的杂质颗粒，所以可以进一步对二值化图像滤除其中小体积的孤立前景区域。
在最终得到的前景图像中计算连通区域，每个连通区域作为一个细胞团。在切片图像中取出每个连通域对应的图像(不规则形状)，同时将不规则的连通域用背景像素填充为矩形。附图2a，在一个小块切片图像上提取了23个细胞团，附图2b是其中第6号细胞团作矩形填充得到的子块图像。
对于提取到的不规则细胞团，对其边界作背景像素填充处理变成矩形子图。不同的细胞团区域又大有小，尺度的不一致会增加判定的难度，影响深度残差网络的分类精度。因此将超大的细胞团进一步拆分为小的细胞团，减少不同细胞团尺度的差异。同时，将原始的深度残差网络改进为多分辨率输入的三通道网络模型，使网络能够表征不同尺度细胞图像的形态特点，适应细胞团间尺度的差异。
具体而言,超大细胞团的拆分模型如下步骤：
a)统计所有细胞团的尺寸(长和宽)的分布，分别计算其均值和标准差，将长或者宽超过相应均值加2倍标准差的细胞团视作超大细胞团。
b)对超大的细胞团，作冗余分块处理。如果细胞团的长超过相应均值加2倍标准差，则沿水平方向将该细胞团分为多个子细胞团，且子细胞团间在水平方向存在冗余。每个子细胞团的长设定为固定的值，均值加2倍标准差；冗余宽度设置为固定的值，单个细胞直径平均值的2倍(先统计单个细胞直径的分布)。子细胞团长度、相邻细胞团重合宽度、子细胞个数和原始超大父细胞团长度存在如下关系，
d·n-(n-1)·s＝L+x (2)
其中d是子细胞团的长度，n是划分的子细胞团数目，s是相邻子细胞团重合的宽度，L是父细胞团的长度，x是需要对父细胞团水平方向扩充边界的宽度。因为n是整数，所以可以扩充L使得等式(2)刚好成立。n和x的值按如下公式(3)计算
如附图4，将水平方向超大细胞团A1A8B8B1沿水平方向按上述公式分割为A1A4B4B1、A2A7B7B2和A5A8B8B5三个子细胞团。
相邻子细胞团重合宽度需要合理设置，上述步骤中将其设置为2倍的平均细胞直径是基于下述考虑的：如图5，子块A2A5D5D2的边界区域A2A3D3D2中的细胞s1在相邻子子块A1A4D4D1中位于内部区域，类似地子块B1B4E4E1的边界区域B3B4E4E3中的细胞s3在相邻子块B2B5E5E2中位于内部区域，因此冗余能够降低边界效应，避免细胞处于图像的边界(影响细胞异常判定的精度)。过大的冗余会增加重复计算量，过小的冗余难以降低边界效应，因此将冗余宽度设置为平均细胞直径的两倍，这样单个细胞基本都会位于相邻两个细胞团中一个的内部区域。
如果细胞团的宽超过相应均值加2倍标准差，则沿垂直方向将该细胞团分为多个子细胞团。如果细胞团的长和宽均超过相应均值加2倍标准差，则同时沿水平和垂直方向将该细胞团分为多个子细胞团。拆分的细胞团长度和宽度、冗余宽度的设置、子细胞团数目的关系和上述公式(2)(3)一致。
c)经过上述拆分处理，细胞团之间尺度差异降低了，但是还不是完全相同大小。为便于后续可疑细胞团判定模型训练和应用，进一步对原有的非超大细胞团和拆分的子细胞团作边界填充处理，将其填充为统一的大小，长和宽分别是相应均值加2倍的标准差。
22)判断每个细胞团是否为可疑异常细胞团。
应用上述训练好的判定模型对每个细胞团填充子图进行是否可疑的判定。
作为优化，还进一步包括步骤：
c)挖掘没能被正确判断的细胞团，作为训练数据输入三通道神经网络模型重点训练；
d)重复步骤b)-c)多次，直至分类达到预定精度。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种非规则宫颈细胞团图像分类方法，其特征在于，包括以下步骤：
a)离线建立可疑细胞团的训练样本集，采用多分辨率输入的三通道神经网络模型训练可疑细胞团判定模型；
b)在宫颈病理切片图像上提取单个的非规则细胞团区域，应用训练好的可疑细胞团判定模型对每个细胞团进行异常细胞判定。
2.根据权利要求1所述的非规则宫颈细胞团图像分类方法，其特征在于，所述多分辨率输入的三通道神经网络模型，构造方式为：
对每个细胞团区域，使用双线性插值方法将其采样到三个分辨率，分别是原始图像的0.75,1和1.25倍；
对每一个分辨率的输入图像，使用深度残差网络模型的特征提取模块提取该分辨率下的图像特征；
将三个分辨率提取的图像特征组合在一起，得到融合的图像特征，进一步使用逻辑回归分类细胞团是否是可疑细胞团。
3.根据权利要求1所述的非规则宫颈细胞团图像分类方法，其特征在于，所述在宫颈病理切片图像上提取单个的非规则细胞团区域的具体实施方式为：
通过红绿蓝三个颜色通道的极差作阈值得到二值化前景图像；
对二值化图像作空洞填充和滤除噪声像素处理；
在最终得到的前景图像中计算连通区域，每个连通区域作为一个细胞团；
在切片图像中取出每个细胞团对应的图像，同时将不规则的细胞团区域用背景像素填充为矩形。
4.根据权利要求1所述的非规则宫颈细胞团图像分类方法，其特征在于，所述深度残差网络模型是ResNet34、ResNet50、ResNet101或ResNet151。
5.根据权利要求1或2或3或4所述的非规则宫颈细胞团图像分类方法，其特征在于，还包括步骤：
c)挖掘没能被正确判断的细胞团，作为训练数据输入三通道神经网络模型重点训练；
d)重复步骤b)-c)多次，直至分类达到预定精度。
6.一种非规则宫颈细胞团图像分类系统，其特征在于，包括以下模块：
离线训练模块，用于离线建立可疑细胞团的训练样本集，采用多分辨率输入的深度残差神经网络模型训练可疑细胞团判定模型；
在线分类模块，用于在宫颈病理切片图像上提取单个的细胞团区域，应用训练好的可疑细胞团判定模型对每个细胞团进行异常细胞判定。
7.根据权利要求6所述的非规则宫颈细胞团图像分类系统，其特征在于，所述多分辨率输入的三通道网络模型，构造方式为：
对每个细胞团区域，使用双线性插值方法将其采样到三个分辨率，分别是原始图像的0.75,1和1.25倍；
对每一个分辨率的输入图像，使用深度残差模型的特征提取模块提取该分辨率下的图像特征；
将三个分辨率提取的图像特征组合在一起，得到融合的图像特征，进一步使用逻辑回归分类细胞团是否是可疑细胞团。
8.根据权利要求6所述的非规则宫颈细胞团图像分类系统，其特征在于，所述在线分类模块在宫颈病理切片图像上提取单个的细胞团区域的具体实施方式为：
通过红绿蓝三个颜色通道的极差作阈值得到二值化前景图像；
对二值化图像作空洞填充和滤除噪声像素处理；
在最终得到的前景图像中计算连通区域，每个连通区域作为一个细胞团；
在切片图像中取出每个细胞团对应的图像，同时将不规则的细胞团区域用背景像素填充为矩形。
9.根据权利要求6或7或8所述的非规则宫颈细胞团图像分类系统，其特征在于，所述深度残差网络模型是ResNet34、ResNet50、ResNet101或ResNet151。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810719349.9A CN109145941B (zh) | 2018-07-03 | 2018-07-03 | 一种非规则宫颈细胞团图像分类方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810719349.9A CN109145941B (zh) | 2018-07-03 | 2018-07-03 | 一种非规则宫颈细胞团图像分类方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109145941A true CN109145941A (zh) | 2019-01-04 |
| CN109145941B CN109145941B (zh) | 2021-03-09 |
Family
ID=64799796
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810719349.9A Expired - Fee Related CN109145941B (zh) | 2018-07-03 | 2018-07-03 | 一种非规则宫颈细胞团图像分类方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109145941B (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110032985A (zh) * | 2019-04-22 | 2019-07-19 | 清华大学深圳研究生院 | 一种血细胞自动检测识别方法 |
| CN110189293A (zh) * | 2019-04-15 | 2019-08-30 | 广州锟元方青医疗科技有限公司 | 细胞图像处理方法、装置、存储介质及计算机设备 |
| CN110231259A (zh) * | 2019-05-28 | 2019-09-13 | 怀光智能科技（武汉）有限公司 | 一种宫颈细胞玻片数字诊断系统 |
| CN111462036A (zh) * | 2020-02-18 | 2020-07-28 | 腾讯科技（深圳）有限公司 | 基于深度学习的病理图像处理方法、模型训练方法及装置 |
| CN112233060A (zh) * | 2020-09-04 | 2021-01-15 | 广州金域医学检验中心有限公司 | 数字病理图像异常样本的筛选方法、装置、计算机设备及存储介质 |
| CN112508900A (zh) * | 2020-11-30 | 2021-03-16 | 上海交通大学 | 细胞病理图像分割方法及装置 |
| CN112561852A (zh) * | 2019-09-26 | 2021-03-26 | 佳能株式会社 | 图像判断装置和图像判断方法 |
| CN112613505A (zh) * | 2020-12-18 | 2021-04-06 | 安徽丹姆斯生物科技有限公司 | 一种基于深度学习的细胞微核识别、定位和计数方法 |
| CN113177639A (zh) * | 2020-01-27 | 2021-07-27 | 通用电气精准医疗有限责任公司 | 在训练神经网络中作为正则化器的冻结 |
| CN113295692A (zh) * | 2021-05-25 | 2021-08-24 | 郑州中普医疗器械有限公司 | 基于细胞核dna和tbs双分析法的细胞分析方法、计算机设备、存储介质 |
| CN113516022A (zh) * | 2021-04-23 | 2021-10-19 | 黑龙江机智通智能科技有限公司 | 一种宫颈细胞的细粒度分类系统 |
| WO2021227295A1 (zh) * | 2020-05-11 | 2021-11-18 | 苏州大学 | 一种基于cnn的癌细胞多尺度缩放定位检测方法 |
| CN114067110A (zh) * | 2021-07-13 | 2022-02-18 | 广东国地规划科技股份有限公司 | 一种实例分割网络模型的生成方法 |
| WO2024051482A1 (zh) * | 2022-09-07 | 2024-03-14 | 上海睿钰生物科技有限公司 | 细胞单克隆源性自动分析的方法、系统和存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106096654A (zh) * | 2016-06-13 | 2016-11-09 | 南京信息工程大学 | 一种基于深度学习和结合策略的细胞异型性自动分级方法 |
| CN106991673A (zh) * | 2017-05-18 | 2017-07-28 | 深思考人工智能机器人科技（北京）有限公司 | 一种可解释性的宫颈细胞图像快速分级识别方法及系统 |
| CN107784324A (zh) * | 2017-10-17 | 2018-03-09 | 杭州电子科技大学 | 基于深度残差网络的白血细胞多分类识别方法 |
| CN107977682A (zh) * | 2017-12-19 | 2018-05-01 | 南京大学 | 基于极坐标变换数据增强的淋巴类细胞分类方法及其装置 |
| CN108090906A (zh) * | 2018-01-30 | 2018-05-29 | 浙江大学 | 一种基于区域提名的宫颈图像处理方法及装置 |
-
2018
- 2018-07-03 CN CN201810719349.9A patent/CN109145941B/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106096654A (zh) * | 2016-06-13 | 2016-11-09 | 南京信息工程大学 | 一种基于深度学习和结合策略的细胞异型性自动分级方法 |
| CN106991673A (zh) * | 2017-05-18 | 2017-07-28 | 深思考人工智能机器人科技（北京）有限公司 | 一种可解释性的宫颈细胞图像快速分级识别方法及系统 |
| CN107784324A (zh) * | 2017-10-17 | 2018-03-09 | 杭州电子科技大学 | 基于深度残差网络的白血细胞多分类识别方法 |
| CN107977682A (zh) * | 2017-12-19 | 2018-05-01 | 南京大学 | 基于极坐标变换数据增强的淋巴类细胞分类方法及其装置 |
| CN108090906A (zh) * | 2018-01-30 | 2018-05-29 | 浙江大学 | 一种基于区域提名的宫颈图像处理方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| HAIJUN LEI ET AL.: "Cross-Modal Transfer Learning for HEp-2 Cell Classification Based on Deep Residual Network", 《2017 IEEE INTERNATIONAL SYMPOSIUM ON MULTIMEDIA》 * |
| 夏为为 等: "基于残差神经网络的宫颈癌细胞识别的改进算法", 《电视技术》 * |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110189293A (zh) * | 2019-04-15 | 2019-08-30 | 广州锟元方青医疗科技有限公司 | 细胞图像处理方法、装置、存储介质及计算机设备 |
| CN110032985A (zh) * | 2019-04-22 | 2019-07-19 | 清华大学深圳研究生院 | 一种血细胞自动检测识别方法 |
| CN110231259A (zh) * | 2019-05-28 | 2019-09-13 | 怀光智能科技（武汉）有限公司 | 一种宫颈细胞玻片数字诊断系统 |
| CN110231259B (zh) * | 2019-05-28 | 2022-02-18 | 怀光智能科技（武汉）有限公司 | 一种宫颈细胞玻片数字诊断系统 |
| CN112561852A (zh) * | 2019-09-26 | 2021-03-26 | 佳能株式会社 | 图像判断装置和图像判断方法 |
| CN113177639A (zh) * | 2020-01-27 | 2021-07-27 | 通用电气精准医疗有限责任公司 | 在训练神经网络中作为正则化器的冻结 |
| CN111462036A (zh) * | 2020-02-18 | 2020-07-28 | 腾讯科技（深圳）有限公司 | 基于深度学习的病理图像处理方法、模型训练方法及装置 |
| WO2021227295A1 (zh) * | 2020-05-11 | 2021-11-18 | 苏州大学 | 一种基于cnn的癌细胞多尺度缩放定位检测方法 |
| CN112233060A (zh) * | 2020-09-04 | 2021-01-15 | 广州金域医学检验中心有限公司 | 数字病理图像异常样本的筛选方法、装置、计算机设备及存储介质 |
| CN112233060B (zh) * | 2020-09-04 | 2024-03-29 | 广州金域医学检验中心有限公司 | 数字病理图像异常样本的筛选方法、装置、设备及介质 |
| CN112508900A (zh) * | 2020-11-30 | 2021-03-16 | 上海交通大学 | 细胞病理图像分割方法及装置 |
| CN112508900B (zh) * | 2020-11-30 | 2022-11-01 | 上海交通大学 | 细胞病理图像分割方法及装置 |
| CN112613505A (zh) * | 2020-12-18 | 2021-04-06 | 安徽丹姆斯生物科技有限公司 | 一种基于深度学习的细胞微核识别、定位和计数方法 |
| CN113516022A (zh) * | 2021-04-23 | 2021-10-19 | 黑龙江机智通智能科技有限公司 | 一种宫颈细胞的细粒度分类系统 |
| CN113516022B (zh) * | 2021-04-23 | 2023-01-10 | 黑龙江机智通智能科技有限公司 | 一种宫颈细胞的细粒度分类系统 |
| CN113295692A (zh) * | 2021-05-25 | 2021-08-24 | 郑州中普医疗器械有限公司 | 基于细胞核dna和tbs双分析法的细胞分析方法、计算机设备、存储介质 |
| CN114067110A (zh) * | 2021-07-13 | 2022-02-18 | 广东国地规划科技股份有限公司 | 一种实例分割网络模型的生成方法 |
| WO2024051482A1 (zh) * | 2022-09-07 | 2024-03-14 | 上海睿钰生物科技有限公司 | 细胞单克隆源性自动分析的方法、系统和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109145941B (zh) | 2021-03-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109145941A (zh) | 一种非规则宫颈细胞团图像分类方法及系统 | |
| CN109034208A (zh) | 一种高低分辨率组合的宫颈细胞病理切片分类方法 | |
| CN109035269A (zh) | 一种宫颈细胞病理切片病变细胞分割方法及系统 | |
| CN111091527B (zh) | 一种病理组织切片图像中病变区域自动检测方法及系统 | |
| CN103473780B (zh) | 一种人像背景抠图的方法 | |
| CN112017191A (zh) | 基于注意力机制的肝脏病理图像分割模型建立及分割方法 | |
| CN107256558A (zh) | 一种无监督式的宫颈细胞图像自动分割方法及系统 | |
| CN109087283A (zh) | 基于细胞团的宫颈细胞病理切片病变细胞识别方法及系统 | |
| Pan et al. | An accurate nuclei segmentation algorithm in pathological image based on deep semantic network | |
| CN107730528A (zh) | 一种基于grabcut算法的交互式图像分割与融合方法 | |
| CN110008832A (zh) | 基于深度学习人物图像自动分割方法、信息数据处理终端 | |
| CN108053417A (zh) | 一种基于混合粗分割特征的3DU-Net网络的肺分割装置 | |
| CN110472616A (zh) | 图像识别方法、装置、计算机设备及存储介质 | |
| CN103984958A (zh) | 宫颈癌细胞分割方法及系统 | |
| CN104732229B (zh) | 一种用于宫颈涂片图像中重叠细胞的分割方法 | |
| CN114820579A (zh) | 一种基于语义分割的图像复合缺陷的检测方法及系统 | |
| CN110415230A (zh) | 一种基于深度学习的ct切片图像语义分割系统及方法 | |
| CN110400318A (zh) | 一种免疫组化病理图像cd4阳性细胞核分割方法及系统 | |
| CN110120048A (zh) | 结合改进U-Net和CMF的三维脑肿瘤图像分割方法 | |
| CN110415255A (zh) | 一种免疫组化病理图像cd3阳性细胞核分割方法及系统 | |
| CN109670489B (zh) | 基于多实例学习的弱监督式早期老年性黄斑病变分类方法 | |
| CN104992435A (zh) | 一种宫颈单细胞图像分割算法 | |
| CN103955945A (zh) | 基于双目视差和活动轮廓的自适应彩色图像分割方法 | |
| CN112233085A (zh) | 一种基于像素预测增强的宫颈细胞图像分割方法 | |
| CN114742758A (zh) | 一种全视野数字切片组织病理图片中的细胞核分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210309 |