CN112950585B - 基于液基薄层细胞检测技术的宫颈癌细胞智能检测方法 - Google Patents

基于液基薄层细胞检测技术的宫颈癌细胞智能检测方法 Download PDF

Info

Publication number
CN112950585B
CN112950585B CN202110227238.8A CN202110227238A CN112950585B CN 112950585 B CN112950585 B CN 112950585B CN 202110227238 A CN202110227238 A CN 202110227238A CN 112950585 B CN112950585 B CN 112950585B
Authority
CN
China
Prior art keywords
cell
layer
network
images
cervical cancer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110227238.8A
Other languages
English (en)
Other versions
CN112950585A (zh
Inventor
汪沛
刘丽
蒋冽
肖晶晶
吴毅
李雯雯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Third Military Medical University TMMU
Original Assignee
Third Military Medical University TMMU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Third Military Medical University TMMU filed Critical Third Military Medical University TMMU
Priority to CN202110227238.8A priority Critical patent/CN112950585B/zh
Publication of CN112950585A publication Critical patent/CN112950585A/zh
Application granted granted Critical
Publication of CN112950585B publication Critical patent/CN112950585B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

为解决现有技术TCT检查的显微检测方法存在的对检测人员的专业技术水平要求高、劳动强度大和耗时耗力等问题，本发明提出一种基于液基薄层细胞检测技术TCT的宫颈癌细胞智能检测方法。包括，对液基薄层细胞检测技术TCT检查的细胞涂片进行显微摄影，获取带有染色细胞的数字图像；采用全卷积网络层对病理图像进行细胞检测，得到单个病理细胞的位置信息；采用通用网络将单个病理细胞图像分为SCC、ASC‑H、ASC‑US和(HSIL+LSIL)四类；采用专家网络对HSIL和LSIL的单个病理细胞图像进行二分类判断，从而实现宫颈癌细胞的五分类。本发明的有益技术效果是采用先检测细胞核，再检测整个细胞的策略，大大降低了对于数据集的要求，同时，实现了宫颈癌细胞的五分类。

Description

基于液基薄层细胞检测技术的宫颈癌细胞智能检测方法
技术领域
本发明涉及到生物医学图像处理领域的宫颈癌细胞检测方法，特别涉及到一种基于液基薄层细胞检测技术的宫颈癌细胞智能检测方法。
背景技术
液基薄层细胞检测技术TCT是目前国际上最先进的一种宫颈癌细胞学检查技术，与传统的宫颈刮片巴氏涂片检查相比明显提高了标本的满意度及宫颈异常细胞的检出率。在TCT检查中，临床医师用TCT检查专用的采样器采集子宫颈细胞样本，然后将采集器置入装有细胞保存液的小瓶中进行漂洗，再用专用设备将样本分散并过滤，以减少血液、粘液及炎症组织的残迹，由此，在细胞涂片上得到一个薄薄的保存完好的细胞层，以备做进一步的显微检测和诊断。
目前，TCT检查的显微检测大多还是采用人工进行检测，由有经验的医生在显微镜下对细胞涂片上的细胞进行观察，从放大的影像中识别出是否有宫颈癌细胞存在，其判断的标准是已知的不同类型宫颈癌细胞的轮廓形状。根据目前的相关诊断标准，宫颈癌及癌前病变癌细胞(以下统称为宫颈癌细胞)分为五类(参见附图1)，分别为：意义不明的非典型鳞状细胞(ASC-US)、不除外高级别鳞状上皮内病变的非典型鳞状细胞(ASC-H)、低级别鳞状上皮内病变细胞(LSIL)、高级别鳞状上皮内病变细胞(HSIL)和鳞状细胞癌(SCC)。由附图1可知，这五类细胞的轮廓形状各异，基本上可以从轮廓形状加以区分。其中，相似性较大的是LSIL和HSIL。由于显微观察的视场范围十分有限，一个视场内可能只是一个细胞的局部或者是若干细胞的边界，对显微图像中的细胞轮廓形状进行观察，需要在若干个视场中变换，不仅耗时耗力，而且需要较高的专业技术。可见，现有技术TCT检查的显微检测方法存在着对检测人员的专业技术要求高、劳动强度大和耗时耗力等问题。
目前，通用的目标检测网络已经具有较强的目标检测能力，例如faster rcnn和yolo系列，但对于像宫颈癌细胞这一类小物体、小目标的效果并不好。而且，在目标物体形态多变、真实框大小方差较大、图片分辨率又高的情况下，由于需要满足iou>0.7的候选框才可视为检测基准(iou为候选框与真实框的交集面积与并集面积的比值)，需要生成大量候选框，加大了训练难度，且需要较大的有标定的已知数据集，所述已知数据集是指用于训练网络和迭代运算的真实宫颈癌细胞图像数据集。例如，如果采用faster rcnn的rpn层进行检测，需要(128*128*27)44万个预选框，才能保证大部分真实细胞都能有一个及以上的预选框达到iou要求。
显然，现有技术TCT检查的显微检测方法存在着对检测人员的专业技术要求高、劳动强度大和耗时耗力等问题。
发明内容
为解决现有技术TCT检查的显微检测方法存在的对检测人员的专业技术水平要求高、劳动强度大和耗时耗力等问题，本发明提出一种基于液基薄层细胞检测技术的宫颈癌细胞智能检测方法。
本发明基于液基薄层细胞检测技术的宫颈癌细胞智能检测方法，包括以下步骤(参见附图2)：
步骤S1、对液基薄层细胞检测技术TCT检查的细胞涂片进行显微摄影，获取带有染色细胞的数字图像，并将其裁剪为分辨率为2048*2048的RGB病理图像；
步骤S2、采用全卷积网络层对2048*2048的RGB病理图像进行细胞检测，得到单个病理细胞的位置信息；
步骤S3、根据位置信息将单个病理细胞从2048*2048的RGB病理图像上裁剪下来，得到单个病理细胞图像；
步骤S4、采用通用网络对单个病理细胞图像进行四分类判断，即将单个病理细胞图像分为SCC、ASC-H、ASC-US和(HSIL+LSIL)四类；其中，将HSIL和LSIL分为一类；
步骤S5、采用专家网络对HSIL和LSIL的单个病理细胞图像进行二分类判断，从而实现宫颈癌细胞的五分类；
其中，所述ASC-US是指意义不明的非典型鳞状细胞；所述ASC-H是指不除外高级别鳞状上皮内病变的非典型鳞状细胞，所述LSIL是指低级别鳞状上皮内病变细胞，所述HSIL是指高级别鳞状上皮内病变细胞，所述SCC是指鳞状细胞癌；所述全卷积网络层是指后面没有接全连接网络充当输出层的提炼融合信息的神经网络层；所述通用网络包括入口处的空间仿射网络(stn)层和残差块(Res block)与注意力机制模块(cbam)块的交叉使用(参见附图4)，且利用已知数据集进行训练；所述空间仿射网络stn层进行仿射变换，提取重要区域，使得神经网络能识别图片重要区域；所述注意力机制模块cbam(英文Convolutional blockattention module)包括通道域注意力模块Channel attention module和空间域注意力模块Spatial attention module(参见附图5)，使得神经网络在通道域与空间域上对图片某些区域加以注意；所述专家网络包括若干层卷积激活归一化模块和两层卷积模块并依次连接，然后，设置有自适应平均池化处理模块、自适应最大池化层模块、线性层和反卷积层(参见附图6)，且通过已知数据集的训练；所述已知数据集是指用于训练网络和迭代运算的真实宫颈癌细胞图像数据集。
进一步的，所述步骤S2采用全卷积网络层对2048*2048的RGB病理图像进行细胞检测，得到单个病理细胞的位置信息；包括：
步骤S201、在全卷积网络层前端设置图像处理模块对步骤S1获取的高清晰度图像采用平均池化方式进行下采样处理，使2048*2048的RGB病理图像的分辨率降低到128*128；
步骤S202、对下采样处理后的图像进行像素分析，将像素值<N1阈值的点判断为细胞核，将像素值>N2阈值的点判断为背景，将像素值介于阈值N1和N2之间的点判断为细胞质；所述阈值N1和N2采用已知数据集经过迭代运算获得，且N1<N2；
步骤S203、采用全卷积网络对细胞核进行检测，并对细胞核进行边界回归，细胞核连同边界回归完成后的区域即为细胞；所述全卷积网络是指后面没有接全连接网络充当输出层的提炼融合信息的神经网络层，且通过已知数据集的训练；
其中，所述已知数据集是指用于训练网络和迭代运算的真实宫颈癌细胞图像数据集；并且，在训练阶段，采用已知数据集对全卷积网络进行训练制作标签target，令细胞核区域的像素值为0，背景区域的像素值为255，胞质区域的像素值为0～255。
进一步的，步骤S203中采用全卷积网络对细胞核进行检测，包括：
令y＝神经网络的输出(1*128*128)，target＝真值(1*128*128)；
采用交叉熵的方式计算损失函数(即y与target的差异)，并将该损失函数的值进行梯度下降，令y逐渐趋近于target的分布；在训练完成后，输出中值为0的点便为细胞核可能存在的区域。
进一步的，步骤S203中采用全卷积网络对细胞核进行边界回归(参见附图3)，包括：
在对细胞核可能存在的区域放置数个大小为64*64候选框，并对iou>0的候选框进行边界回归，细胞核连同边界回归完成后的区域即为细胞；所述iou为候选框与真实框的交集面积与并集面积的比值；采用预测细胞核区域的长度和宽度与到真实细胞各边界长度之间的比例关系作为回归条件，即：
Figure GDA0003892654000000031
Figure GDA0003892654000000032
式中，Rleft是指预测框的中心到预测框最左边的距离b'与预测框的中心到真实框最左边的距离b的比值，Rrihgt是指预测框的中心到预测框最右边的距离c'与预测框的中心到真实框最右边的距离c的比值，Rbuttom是指预测框的中心到预测框最下边的距离d'与预测框的中心到真实框最下边的距离d的比值，Rtop是指预测框的中心到预测框最上边的距离a'与预测框的中心到真实框最上边的距离a的比值。
进一步的，步骤S4采用通用网络对单个病理细胞图像进行四分类判断，即将单个病理细胞图像分为SCC、ASC-H、ASC-US和(HSIL+LSIL)四类；其中，将HSIL和LSIL分为一类；包括：
所述通用网络包括入口处的空间仿射网络stn层和残差块Res block与注意力机制模块cbam块的交叉使用(参见附图4)，且利用已知数据集进行训练；所述空间仿射网络stn层进行仿射变换，提取重要区域，使得神经网络能识别图片重要区域；所述注意力机制模块cbam(英文Convolutional block attention module)包括通道域注意力模块Channelattention module和空间域注意力模块Spatial attention module(参见附图5)，使得神经网络在通道域与空间域上对图片某些区域加以注意；所述已知数据集是指用于训练网络和迭代运算的真实宫颈癌细胞图像数据集；所述ASC-US是指意义不明的非典型鳞状细胞；所述ASC-H是指不除外高级别鳞状上皮内病变的非典型鳞状细胞，所述LSIL是指低级别鳞状上皮内病变细胞，所述HSIL是指高级别鳞状上皮内病变细胞，所述SCC是指鳞状细胞癌。
进一步的，所述步骤S5采用专家网络对HSIL和LSIL的单个病理细胞图像进行二分类判断，从而实现宫颈癌细胞的五分类；包括：
所述专家网络包括若干层卷积激活归一化模块和两层卷积模块并依次连接，且设置有自适应平均池化处理模块、自适应最大池化层模块、线性层和反卷积层(参见附图6)，且通过已知数据集的训练；所述卷积激活归一化模块是指卷积层、激活层和批归一化层的组合；所述已知数据集是指用于训练网络和迭代运算的真实宫颈癌细胞图像数据集；
专家网络的具体训练过程包括：
步骤S501对专家网络每次训练输入两张图像，经过若干层卷积激活归一化模块后，再经过两层卷积模块，此时两张图像变成了单通道的图像；
步骤S502对步骤S501获取的单通道的图像以2*2、4*4和8*8三种尺度分别经过平均池化和最大池化处理后拼接在一起，形成672维的特征向量；
步骤S503在编码而成的672维特征向量处，采用相对损失loss(MSE)(参见附图6)，使得不同类别间的图像压缩而成的特征降维后在三维特征空间位置的分布是同类相聚，不同类相远；
步骤S504针对不同空间位置的特征分布进行解码，即可分别获得HSIL和LSIL。
进一步的，步骤S503在编码而成的672维特征向量处，采用相对损失loss使得不同类别间的图像压缩而成的特征降维后在三维特征空间位置的分布是同类相聚，不同类相远；包括：
A、672维特征向上支走，经过全连接层，输出三维特征；此时由于输入了两张图像则输出了两个三维特征；如果输入的两张图像是同类，则令两个输出之间的差距尽可能小，如果输入的两张图像是不同类，则差距应当尽可能大；
B、672维特征向下支走，经过几层反卷积模块后，输出两张图像；当输入的图像满足与自编码器同类时，训练神经网络使输出的图像等于输入的图像。
本发明基于液基薄层细胞检测技术的宫颈癌细胞智能检测方法的有益技术效果是采用先检测细胞核，再检测整个细胞的策略，大大降低了对于数据集的要求；采用先进行SCC、ASC-H、ASC-US和(HSIL+LSIL)四分类，再进行HSIL和LSIL二分类的方式，实现宫颈癌细胞的五分类。
附图说明
附图1是五种类型宫颈癌形状的图像；
附图2是本发明宫颈癌细胞智能检测方法的流程示意图；
附图3是本发明采用全卷积网络对细胞核进行边界回归的示意图
附图4是本发明宫颈癌细胞智能检测方法通用网络的结构示意图；
附图5是本发明卷积模块的注意力机制模块CBAM的结构示意图；
附图6是本发明宫颈癌细胞智能检测方法专家网络的结构示意图。
下面结合附图和具体实施方式对本发明基于液基薄层细胞检测技术的宫颈癌细胞智能检测方法作进一步的说明。
具体实施方式
附图2是本发明宫颈癌细胞智能检测方法的流程示意图，由图可知，本发明基于液基薄层细胞检测技术的宫颈癌细胞智能检测方法，包括以下步骤：
步骤S1、对液基薄层细胞检测技术TCT检查的细胞涂片进行显微摄影，获取带有染色细胞的数字图像，并将其裁剪为分辨率为2048*2048的RGB病理图像；
步骤S2、采用全卷积网络层对2048*2048的RGB病理图像进行细胞检测，得到单个病理细胞的位置信息；包括：
步骤S201、在全卷积网络层前端设置图像处理模块对步骤S1获取的高清晰度图像采用平均池化方式进行下采样处理，使2048*2048的RGB病理图像的分辨率降低到128*128；
步骤S202、对下采样处理后的图像进行像素分析，将像素值<N1阈值的点判断为细胞核，将像素值>N2阈值的点判断为背景，将像素值介于阈值N1和N2之间的点判断为细胞质；所述阈值N1和N2采用已知数据集经过迭代运算获得，且N1<N2；所述已知数据集是指用于训练网络和迭代运算的真实宫颈癌细胞图像数据集；
步骤S203、采用全卷积网络对细胞核进行检测，并对细胞核进行边界回归，细胞核连同边界回归完成后的区域即为细胞；其中，
采用全卷积网络对细胞核进行检测，包括：
令y＝神经网络的输出(1*128*128)，target＝真值(1*128*128)；
采用交叉熵的方式计算损失函数(即y与target的差异)，并将该损失函数的值进行梯度下降，令y逐渐趋近于target的分布；在训练完成后，输出中值为0的点便为细胞核可能存在的区域；
附图3是本发明采用全卷积网络对细胞核进行边界回归的示意图，由图可知，本发明采用全卷积网络对细胞核进行边界回归，包括：
在对细胞核可能存在的区域放置数个大小为64*64候选框，并对iou>0的候选框进行边界回归，细胞核连同边界回归完成后的区域即为细胞；所述iou为候选框与真实框的交集面积与并集面积的比值；采用预测细胞核区域的长度和宽度与到真实细胞各边界长度之间的比例关系作为回归条件，即：
Figure GDA0003892654000000061
Figure GDA0003892654000000062
式中，Rleft是指预测框的中心到预测框最左边的距离b'与预测框的中心到真实框最左边的距离b的比值，Rrihgt是指预测框的中心到预测框最右边的距离c'与预测框的中心到真实框最右边的距离c的比值，Rbuttom是指预测框的中心到预测框最下边的距离d'与预测框的中心到真实框最下边的距离d的比值，Rtop是指预测框的中心到预测框最上边的距离a'与预测框的中心到真实框最上边的距离a的比值；
其中，所述全卷积网络是指后面没有接全连接网络充当输出层的提炼融合信息的神经网络层，且通过已知数据集的训练；并且，在训练阶段，采用已知数据集对全卷积网络进行训练制作标签target，令细胞核区域的像素值为0，背景区域的像素值为255，胞质区域的像素值为0～255。
步骤S3、根据位置信息将单个病理细胞从2048*2048的RGB病理图像上裁剪下来，得到单个病理细胞图像；
步骤S4、采用通用网络对单个病理细胞图像进行四分类判断，即将单个病理细胞图像分为SCC、ASC-H、ASC-US和(HSIL+LSIL)四类；其中，将HSIL和LSIL分为一类；
附图4是本发明宫颈癌细胞智能检测方法通用网络的结构示意图，图中，stn为空间仿射网络，cbam为注意力机制模块，Res block为残差块。由图可知，本发明所述通用网络包括入口处的空间仿射网络stn层和残差块Res block与注意力机制模块cbam块的交叉使用，且利用已知数据集进行训练；所述空间仿射网络stn层进行仿射变换，提取重要区域，使得神经网络能识别图片重要区域；附图5是本发明卷积模块的注意力机制模块CBAM的结构示意图，图中，英文Convolutional block attention module为注意力机制模块，英文Channel attention module为通道域注意力模块，英文Channel attention module为空间域注意力模块。由图可知，本发明所述注意力机制模块cbam包括通道域注意力模块和空间域注意力模块，使得神经网络在通道域与空间域上对图片某些区域加以注意；
其中，所述ASC-US是指意义不明的非典型鳞状细胞；所述ASC-H是指不除外高级别鳞状上皮内病变的非典型鳞状细胞，所述LSIL是指低级别鳞状上皮内病变细胞，所述HSIL是指高级别鳞状上皮内病变细胞，所述SCC是指鳞状细胞癌；所述已知数据集是指用于训练网络和迭代运算的真实宫颈癌细胞图像数据集；
步骤S5、采用专家网络对HSIL和LSIL的单个病理细胞图像进行二分类判断，从而实现宫颈癌细胞的五分类；包括：
附图6是本发明宫颈癌细胞智能检测方法专家网络的结构示意图，其中，各项输出与相对损失loss存在下列关系：
loss1＝constractiveLoss(out11,out12,ladel)
if class(img1)＝＝class(img2)
loss2＝mse(F(img1),out21)+mse(F(img2),out22)
else:
loss2＝mse(F(img1),out21)
loss＝loss1+λ*loss2
由图可知，本发明所述专家网络包括若干层卷积激活归一化模块和两层卷积模块并依次连接，且设置有自适应平均池化处理模块、自适应最大池化层模块、线性层和反卷积层(参见附图6)，且通过已知数据集的训练；所述卷积激活归一化模块是指卷积层、激活层和批归一化层的组合；
专家网络的具体训练过程包括：
步骤S501对专家网络每次训练输入两张图像，经过若干层卷积激活归一化模块后，再经过两层卷积模块，此时两张图像变成了单通道的图像；
步骤S502对步骤S501获取的单通道的图像以2*2、4*4和8*8三种尺度分别经过平均池化和最大池化处理后拼接在一起，形成672维的特征向量；
步骤S503在编码而成的672维特征向量处，采用相对损失loss(mse)(参见附图6)，使得不同类别间的图像压缩而成的特征降维后在三维特征空间位置的分布是同类相聚，不同类相远；
步骤S504针对不同空间位置的特征分布进行解码，即可分别获得HSIL和LSIL；
作为优选，步骤S503在编码而成的672维特征向量处，采用相对损失loss使得不同类别间的图像压缩而成的特征降维后在三维特征空间位置的分布是同类相聚，不同类相远；包括：
A、672维特征向上支走，经过全连接层，输出三维特征；此时由于输入了两张图像则输出了两个三维特征；如果输入的两张图像是同类，则令两个输出之间的差距尽可能小，如果输入的两张图像是不同类，则差距应当尽可能大；
B、672维特征向下支走，经过几层反卷积模块后，输出两张图像；当输入的图像满足与自编码器同类时，训练神经网络使输出的图像等于输入的图像。
显然，本发明基于液基薄层细胞检测技术的宫颈癌细胞智能检测方法的有益技术效果是采用先检测细胞核，再检测整个细胞的策略，大大降低了对于数据集的要求；采用先进行SCC、ASC-H、ASC-US和(HSIL+LSIL)四分类，再进行HSIL和LSIL二分类的方式，实现宫颈癌细胞的五分类。

Claims (7)

1.一种基于液基薄层细胞检测技术的宫颈癌细胞智能检测方法，其特征在于，该方法包括以下步骤：
步骤S1、对液基薄层细胞检测技术TCT检查的细胞涂片进行显微摄影，获取带有染色细胞的数字图像，并将其裁剪为分辨率为2048*2048的RGB病理图像；
步骤S2、采用全卷积网络层对2048*2048的RGB病理图像进行细胞检测，得到单个病理细胞的位置信息；
步骤S3、根据位置信息将单个病理细胞从2048*2048的RGB病理图像上裁剪下来，得到单个病理细胞图像；
步骤S4、采用通用网络对单个病理细胞图像进行四分类判断，即将单个病理细胞图像分为SCC、ASC-H、ASC-US和HSIL+LSIL四类；其中，将HSIL和LSIL分为一类；
步骤S5、采用专家网络对HSIL和LSIL的单个病理细胞图像进行二分类判断，从而实现宫颈癌细胞的五分类；
其中，所述ASC-US是指意义不明的非典型鳞状细胞；所述ASC-H是指不除外高级别鳞状上皮内病变的非典型鳞状细胞，所述LSIL是指低级别鳞状上皮内病变细胞，所述HSIL是指高级别鳞状上皮内病变细胞，所述SCC是指鳞状细胞癌；所述全卷积网络层是指后面没有接全连接网络充当输出层的提炼融合信息的神经网络层；所述通用网络包括入口处的空间仿射网络stn层和残差块Res block与注意力机制模块cbam块的交叉使用，且利用已知数据集进行训练；所述空间仿射网络stn层进行仿射变换，提取重要区域，使得神经网络能识别图片重要区域；所述注意力机制模块cbam，英文Convolutional block attention module，包括通道域注意力模块，英文Channel attention module，和空间域注意力模块，英文Spatial attention module，使得神经网络在通道域与空间域上对图片某些区域加以注意；所述专家网络包括若干层卷积激活归一化模块和两层卷积模块并依次连接，然后，设置有自适应平均池化处理模块、自适应最大池化层模块、线性层和反卷积层，且通过已知数据集的训练；所述已知数据集是指用于训练网络和迭代运算的真实宫颈癌细胞图像数据集。
2.根据权利要求1所述基于液基薄层细胞检测技术的宫颈癌细胞智能检测方法，其特征在于，所述步骤S2采用全卷积网络层对2048*2048的RGB病理图像进行细胞检测，得到单个病理细胞的位置信息；包括：
步骤S201、在全卷积网络层前端设置图像处理模块对步骤S1获取的高清晰度图像采用平均池化方式进行下采样处理，使2048*2048的RGB病理图像的分辨率降低到128*128；
步骤S202、对下采样处理后的图像进行像素分析，将像素值<N1阈值的点判断为细胞核，将像素值>N2阈值的点判断为背景，将像素值介于阈值N1和N2之间的点判断为细胞质；所述阈值N1和N2采用已知数据集经过迭代运算获得，且N1<N2；
步骤S203、采用全卷积网络对细胞核进行检测，并对细胞核进行边界回归，细胞核连同边界回归完成后的区域即为细胞；所述全卷积网络是指后面没有接全连接网络充当输出层的提炼融合信息的神经网络层，且通过已知数据集的训练；
其中，所述已知数据集是指用于训练网络和迭代运算的真实宫颈癌细胞图像数据集；并且，在训练阶段，采用已知数据集对全卷积网络进行训练制作标签target，令细胞核区域的像素值为0，背景区域的像素值为255，胞质区域的像素值为0～255。
3.根据权利要求2所述基于液基薄层细胞检测技术的宫颈癌细胞智能检测方法，其特征在于，步骤S203中采用全卷积网络对细胞核进行检测，包括：
令y＝神经网络的输出，1*128*128，target＝真值，1*128*128；
采用交叉熵的方式计算损失函数，即y与target的差异，并将该损失函数的值进行梯度下降，令y逐渐趋近于target的分布；在训练完成后，输出中值为0的点便为细胞核可能存在的区域。
4.根据权利要求2所述基于液基薄层细胞检测技术的宫颈癌细胞智能检测方法，其特征在于，步骤S203中采用全卷积网络对细胞核进行边界回归，包括：
在对细胞核可能存在的区域放置数个大小为64*64候选框，并对iou>0的候选框进行边界回归，细胞核连同边界回归完成后的区域即为细胞；所述iou为候选框与真实框的交集面积与并集面积的比值；采用预测细胞核区域的长度和宽度与到真实细胞各边界长度之间的比例关系作为回归条件，即：
Figure FDA0003892653990000021
Figure FDA0003892653990000022
式中，Rleft是指预测框的中心到预测框最左边的距离b'与预测框的中心到真实框最左边的距离b的比值，Rrihgt是指预测框的中心到预测框最右边的距离c'与预测框的中心到真实框最右边的距离c的比值，Rbuttom是指预测框的中心到预测框最下边的距离d'与预测框的中心到真实框最下边的距离d的比值，Rtop是指预测框的中心到预测框最上边的距离a'与预测框的中心到真实框最上边的距离a的比值。
5.根据权利要求1所述基于液基薄层细胞检测技术的宫颈癌细胞智能检测方法，其特征在于，步骤S4采用通用网络对单个病理细胞图像进行四分类判断，即将单个病理细胞图像分为SCC、ASC-H、ASC-US和HSIL+LSIL四类；其中，将HSIL和LSIL分为一类；包括：
所述通用网络包括入口处的空间仿射网络stn层和残差块Res block与注意力机制模块cbam块的交叉使用，且利用已知数据集进行训练；所述空间仿射网络stn层进行仿射变换，提取重要区域，使得神经网络能识别图片重要区域；所述注意力机制模块cbam，英文Convolutional block attention module，包括通道域注意力模块，英文Channelattention module，和空间域注意力模块，英文Spatial attention module，使得神经网络在通道域与空间域上对图片某些区域加以注意；所述已知数据集是指用于训练网络和迭代运算的真实宫颈癌细胞图像数据集；所述ASC-US是指意义不明的非典型鳞状细胞；所述ASC-H是指不除外高级别鳞状上皮内病变的非典型鳞状细胞，所述LSIL是指低级别鳞状上皮内病变细胞，所述HSIL是指高级别鳞状上皮内病变细胞，所述SCC是指鳞状细胞癌。
6.根据权利要求1所述基于液基薄层细胞检测技术的宫颈癌细胞智能检测方法，其特征在于，所述步骤S5采用专家网络对HSIL和LSIL的单个病理细胞图像进行二分类判断，从而实现宫颈癌细胞的五分类；包括：
所述专家网络包括若干层卷积激活归一化模块和两层卷积模块并依次连接，且设置有自适应平均池化处理模块、自适应最大池化层模块、线性层和反卷积层，且通过已知数据集的训练；所述卷积激活归一化模块是指卷积层、激活层和批归一化层的组合；所述已知数据集是指用于训练网络和迭代运算的真实宫颈癌细胞图像数据集；
专家网络的具体训练过程包括：
步骤S501对专家网络每次训练输入两张图像，经过若干层卷积激活归一化模块后，再经过两层卷积模块，此时两张图像变成了单通道的图像；
步骤S502对步骤S501获取的单通道的图像以2*2、4*4和8*8三种尺度分别经过平均池化和最大池化处理后拼接在一起，形成672维的特征向量；
步骤S503在编码而成的672维特征向量处，采用相对损失loss，使得不同类别间的图像压缩而成的特征降维后在三维特征空间位置的分布是同类相聚，不同类相远；
步骤S504针对不同空间位置的特征分布进行解码，即可分别获得HSIL和LSIL。
7.根据权利要求6所述基于液基薄层细胞检测技术的宫颈癌细胞智能检测方法，其特征在于，步骤S503在编码而成的672维特征向量处，采用相对损失loss使得不同类别间的图像压缩而成的特征降维后在三维特征空间位置的分布是同类相聚，不同类相远；包括：
A、672维特征向上支走，经过全连接层，输出三维特征；此时由于输入了两张图像则输出了两个三维特征；如果输入的两张图像是同类，则令两个输出之间的差距尽可能小，如果输入的两张图像是不同类，则差距应当尽可能大；
B、672维特征向下支走，经过几层反卷积模块后，输出两张图像；当输入的图像满足与自编码器同类时，训练神经网络使输出的图像等于输入的图像。
CN202110227238.8A 2021-03-01 2021-03-01 基于液基薄层细胞检测技术的宫颈癌细胞智能检测方法 Active CN112950585B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110227238.8A CN112950585B (zh) 2021-03-01 2021-03-01 基于液基薄层细胞检测技术的宫颈癌细胞智能检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110227238.8A CN112950585B (zh) 2021-03-01 2021-03-01 基于液基薄层细胞检测技术的宫颈癌细胞智能检测方法

Publications (2)

Publication Number Publication Date
CN112950585A CN112950585A (zh) 2021-06-11
CN112950585B true CN112950585B (zh) 2022-11-29

Family

ID=76247062

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110227238.8A Active CN112950585B (zh) 2021-03-01 2021-03-01 基于液基薄层细胞检测技术的宫颈癌细胞智能检测方法

Country Status (1)

Country Link
CN (1) CN112950585B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113533330A (zh) * 2021-07-15 2021-10-22 湖南莱博赛医用机器人有限公司 一种基于人工智能技术的宫颈癌检测筛查管理方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150062448A (ko) * 2013-11-29 2015-06-08 주식회사 옵티팜 개선된 자궁경부암 진단 방법 및 그 진단용 키트
CN108257129A (zh) * 2018-01-30 2018-07-06 浙江大学 基于多模态检测网络的宫颈活检区域辅助识别方法及装置
CN109035269A (zh) * 2018-07-03 2018-12-18 怀光智能科技（武汉）有限公司 一种宫颈细胞病理切片病变细胞分割方法及系统
CN109377486A (zh) * 2018-10-15 2019-02-22 易普森智慧健康科技（深圳）有限公司 一种宫颈液基细胞有效图像的判别方法及系统
CN109376619A (zh) * 2018-09-30 2019-02-22 中国人民解放军陆军军医大学 一种细胞检测方法
CN111274903A (zh) * 2020-01-15 2020-06-12 合肥工业大学 一种基于图卷积神经网络的宫颈细胞图像分类方法
CN111444844A (zh) * 2020-03-26 2020-07-24 苏州腾辉达网络科技有限公司 一种基于变分自编码器的液基细胞人工智能检测方法
CN112036298A (zh) * 2020-08-28 2020-12-04 复旦大学附属华山医院北院 一种基于双段区块卷积神经网络的细胞检测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0503629D0 (en) * 2005-02-22 2005-03-30 Durand Technology Ltd Method and apparatus for automated analysis of biological specimen
CN110163102A (zh) * 2019-04-18 2019-08-23 麦克奥迪（厦门）医疗诊断系统有限公司 一种基于卷积神经网络的宫颈细胞图像分类识别方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150062448A (ko) * 2013-11-29 2015-06-08 주식회사 옵티팜 개선된 자궁경부암 진단 방법 및 그 진단용 키트
CN108257129A (zh) * 2018-01-30 2018-07-06 浙江大学 基于多模态检测网络的宫颈活检区域辅助识别方法及装置
CN109035269A (zh) * 2018-07-03 2018-12-18 怀光智能科技（武汉）有限公司 一种宫颈细胞病理切片病变细胞分割方法及系统
CN109376619A (zh) * 2018-09-30 2019-02-22 中国人民解放军陆军军医大学 一种细胞检测方法
CN109377486A (zh) * 2018-10-15 2019-02-22 易普森智慧健康科技（深圳）有限公司 一种宫颈液基细胞有效图像的判别方法及系统
CN111274903A (zh) * 2020-01-15 2020-06-12 合肥工业大学 一种基于图卷积神经网络的宫颈细胞图像分类方法
CN111444844A (zh) * 2020-03-26 2020-07-24 苏州腾辉达网络科技有限公司 一种基于变分自编码器的液基细胞人工智能检测方法
CN112036298A (zh) * 2020-08-28 2020-12-04 复旦大学附属华山医院北院 一种基于双段区块卷积神经网络的细胞检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Evaluation of the accuracy of colposcopy in detecting high-grade squamous intraepithelial lesion and cervical cancer;Yetian Ruan等;《Archives of gynecology and obstetrics》;20200817;第302卷(第6期);1529-1538 *
基于改进的Faster R-CNN模型的异常鳞状上皮细胞检测;尹远来等;《智能计算机与应用》;20210201;第11卷(第2期);7-13 *
过表达骨形态发生蛋白-4对小鼠诱导性多能干细胞生物学活性的影响;刘丽等;《华西口腔医学杂志》;20180401;第36卷(第2期);190-193 *

Also Published As

Publication number Publication date
CN112950585A (zh) 2021-06-11

Similar Documents

Publication Publication Date Title
Salehi et al. Pix2pix-based stain-to-stain translation: A solution for robust stain normalization in histopathology images analysis
NL2024772B1 (en) Leukocyte localization and segmentation method based on deep neural network
CN108364288B (zh) 用于乳腺癌病理图像的分割方法和装置
Aswathy et al. Detection of breast cancer on digital histopathology images: Present status and future possibilities
Bayramoglu et al. Deep learning for magnification independent breast cancer histopathology image classification
Gunduz-Demir et al. Automatic segmentation of colon glands using object-graphs
CN109815888B (zh) 一种基于新型巴氏染色方法的异常宫颈细胞自动识别方法
CN108229576B (zh) 一种跨倍率病理图像特征学习方法
CN109145941A (zh) 一种非规则宫颈细胞团图像分类方法及系统
Mandal et al. Segmentation of blood smear images using normalized cuts for detection of malarial parasites
CN112990015B (zh) 一种病变细胞自动识别方法、装置和电子设备
Boucheron et al. Use of imperfectly segmented nuclei in the classification of histopathology images of breast cancer
Shahin et al. A novel enhancement technique for pathological microscopic image using neutrosophic similarity score scaling
Isaksson et al. Semantic segmentation of microscopic images of H&E stained prostatic tissue using CNN
CN112950585B (zh) 基于液基薄层细胞检测技术的宫颈癌细胞智能检测方法
EP1579366A1 (en) Histological assessment of nuclear pleomorphism
CN115063592A (zh) 一种基于多尺度的全扫描病理特征融合提取方法及系统
US20100111398A1 (en) Method and system for detection of oral sub-mucous fibrosis using microscopic image analysis of oral biopsy samples
CN112951427B (zh) 异常细胞的分级系统
CN113052806B (zh) 一种癌变程度分级系统
JP7254283B2 (ja) 閾値決定方法、画像処理方法、標本画像の評価方法、コンピュータプログラムおよび記録媒体
Cui et al. Computer aided abnormality detection for microscopy images of cervical tissue
CN111798426A (zh) 用于移动端的胃肠道间质瘤中核分裂象深度学习检测系统
Ganesh et al. Staining of histopathology slides using image style transfer algorithm
Sapkota et al. Automatic muscle perimysium annotation using deep convolutional neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant