CN115423802A - 基于深度学习的鳞状上皮肿瘤细胞图片自动分类分割方法 - Google Patents

基于深度学习的鳞状上皮肿瘤细胞图片自动分类分割方法 Download PDF

Info

Publication number
CN115423802A
CN115423802A CN202211210771.4A CN202211210771A CN115423802A CN 115423802 A CN115423802 A CN 115423802A CN 202211210771 A CN202211210771 A CN 202211210771A CN 115423802 A CN115423802 A CN 115423802A
Authority
CN
China
Prior art keywords
classification
segmentation
cell
squamous epithelial
nucleus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211210771.4A
Other languages
English (en)
Inventor
叶娟
王琳艳
杨泽华
宋思远
王亚奇
黄封博
潘新宇
练慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202211210771.4A priority Critical patent/CN115423802A/zh
Publication of CN115423802A publication Critical patent/CN115423802A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度学习的鳞状上皮肿瘤细胞图片自动分类分割方法。方法包括：获得增强切片图片集；构建训练图像集；构建域自适应细胞核多分类分割网络；将训练图像集输入细胞核分类分割网络中进行第一轮训练，获得预训练域自适应细胞核多分类分割网络；将增强切片图片集和训练图像集输入中进行第二轮训练，训练完成的域自适应细胞核多分类分割网络；将待分类分割鳞状上皮细胞肿瘤切片图片输入训练完成的域自适应细胞核多分类分割网络中处理，实现对待分类分割鳞状上皮细胞肿瘤切片图片的自动分类分割。本发明方法能够有效的提取鳞状上皮肿瘤细胞图像特征，实现了对图像中各个细胞的细胞核的自动分类分割，提高了图像中的细胞的识别准确率。

Description

基于深度学习的鳞状上皮肿瘤细胞图片自动分类分割方法
技术领域
本发明涉及了一种自动分类分割方法，具体涉及一种基于深度学习的鳞状上皮肿瘤细胞图片自动分类分割方法。
背景技术
鳞状上皮细胞肿瘤的病理切片中可以观察到肿瘤细胞及其分化情况、炎症细胞浸润以及其他特有特征，肿瘤的发生、生长及转移与肿瘤细胞所处的内外环境有着密切关系，同时肿瘤微环境也影响了肿瘤的预后情况。肿瘤病理切片的阅片，细胞核的分割有助于肿瘤细胞、炎症细胞以及角化、间桥、核分裂像的分类和统计，对确诊鳞状上皮细胞肿瘤、肿瘤的分期分型以及治疗方案的选择都有至关重要的指导意义。
传统的病理切片观察，主要依靠人工阅片完成。这种方式费时费力、主观性强，且往往需要具有丰富经验的病理学专家才能做出正确的判断。近年来，计算机辅助病理学不断涌现，旨在提供快速、可重复和定量的判断。随着深度学习技术的不断发展，已经进行了许多尝试，来研究深度学习技术在数字化组织学图像中自动检测癌症。目前部分深度学习技术，通过分割细胞核的方法仅仅区分了细胞的良恶性，并未把具体种类的细胞一一区分。由于整张病理切片面积过大，部分的深度学习技术仅读取了整张切片中的一部分进行细胞的分类识别。由于组织学切片的解剖学多样性，某些区域仍然可能被错误分类，尤其是靠近肿瘤正常边缘的区域和细胞核很少的区域。
发明内容
为了解决背景技术中存在的问题，本发明所提供一种基于深度学习的鳞状上皮肿瘤细胞图片自动分类分割方法。
本发明采用的技术方案是：
本发明图片自动分类分割方法包括如下步骤：
步骤1)采集若干张鳞状上皮细胞肿瘤切片图片，将各张鳞状上皮细胞肿瘤切片图片进行预处理标注后均匀分割，获得各张标注鳞状上皮细胞肿瘤切片图片并构建标注切片图片集；将标注切片图片集进行数据增强处理，获得增强切片图片集。
步骤2)获取CoNSeP数据集中的若干鳞状上皮细胞肿瘤切片图片及其掩膜，将获取的CoNSeP数据集中的各张鳞状上皮细胞肿瘤切片图片及其掩膜进行步骤1)中的相同的数据增强处理后构建训练图像集。
步骤3)构建域自适应细胞核多分类分割网络，域自适应细胞核多分类分割网络包括细胞核分类分割网络和两个域自适应网络DANet，细胞核分类分割网络包括输入层、分类分支、分割分支和回归分支，输入层分别连接分类分支、分割分支和回归分支，分类分支和分割分支分别连接两个域自适应网络DANet。
步骤4)将训练图像集输入域自适应细胞核多分类分割网络的细胞核分类分割网络中进行第一轮训练，在第一轮训练中获取细胞核分类分割网络的损失值，通过反向传播法将整体损失值反向传播至细胞核分类分割网络中，并通过梯度下降法更新细胞核分类分割网络的网络参数，同时采用ADAM优化器优化细胞核分类分割网络，最终获得预训练域自适应细胞核多分类分割网络。
步骤5)将增强切片图片集和训练图像集输入预训练域自适应细胞核多分类分割网络中进行第二轮训练，在第二轮训练中计算两个域自适应网络DANet的输出结果的二分类交叉熵损失，同时采用ADAM优化器优化预训练域自适应细胞核多分类分割网络，直至二分类交叉熵损失小于预设值完成第二轮训练，获得训练完成的域自适应细胞核多分类分割网络。
步骤6)获取待分类分割鳞状上皮细胞肿瘤切片图片，将待分类分割鳞状上皮细胞肿瘤切片图片输入训练完成的域自适应细胞核多分类分割网络中处理，处理后输出待分类分割鳞状上皮细胞肿瘤切片图片中的各个细胞的细胞核的分割结果和类别，实现对待分类分割鳞状上皮细胞肿瘤切片图片的自动分类分割。
所述的步骤1)中，将各张鳞状上皮细胞肿瘤切片图片进行预处理标注后分割并统一至预设尺寸，具体为将每张鳞状上皮细胞肿瘤切片图片中的每个细胞的细胞核进行类别和轮廓的标注，将标注好的每张鳞状上皮细胞肿瘤切片图片进行均匀切割为若干尺寸相同的正方形的标注鳞状上皮细胞肿瘤切片图片；若标注鳞状上皮细胞肿瘤切片图片中的非细胞核区域面积超过预设值，则筛除该标注鳞状上皮细胞肿瘤切片图片。
所述的鳞状上皮细胞肿瘤切片图片中的每个细胞的细胞类别具体为上皮细胞、梭形细胞、炎症细胞以及其他细胞。
所述的步骤1)中，将标注切片图片集进行数据增强处理，具体为将标注切片图片集中的每张标注鳞状上皮细胞肿瘤切片图片均进行数据增强处理，数据增强处理包括仿射变换、随机裁剪大小并放缩为原大小、水平和垂直翻转、高斯模糊以及对比度增强处理，每张标注鳞状上皮细胞肿瘤切片图片分别经过各种数据增强处理后获得若干张增强鳞状上皮细胞肿瘤切片图片，标注切片图片集获得的各张增强鳞状上皮细胞肿瘤切片图片构成增强切片图片集。
所述的步骤3)中，域自适应细胞核多分类分割网络的细胞核分类分割网络的输入层包括依次连接的第一7×7卷积、三个第一残差模块、4个第二残差模块、6个第三残差模块、3个第四残差模块和第一1×1卷积；细胞核分类分割网络的分类分支、分割分支和回归分支的结构均相同，包括依次连接的第一上采样模块、第一5×5卷积、8个第一密集模块、第二1×1卷积、第二上采样模块、第二5×5卷积、4个第二密集模块、第三1×1卷积、第三上采样模块、第三5×5卷积和第四1×1卷积；细胞核分类分割网络的输入层的第一1×1卷积的输出分别作为分类分支、分割分支和回归分支的第一上采样模块的输入；分类分支和分割分支的第四1×1卷积的输出分别作为两个域自适应网络DANet的输入。
两个域自适应网络DANet的结构均相同，域自适应网络DANet包括依次连接的第二7×7卷积、第五残差模块、第六残差模块、第七残差模块和第八残差模块，第五残差模块、第六残差模块、第七残差模块和第八残差模块的输出进行拼接处理后作为域自适应网络DANet的输出。
所述的步骤5)中，在第二轮训练中计算两个域自适应网络DANet的输出结果的二分类交叉熵损失，具体为针对每个域自适应网络DANet，通过多尺度损失函数计算增强切片图片集经域自适应细胞核多分类分割网络处理后在域自适应网络DANet中的各个输出结果以及训练图像集经域自适应细胞核多分类分割网络处理后在域自适应网络DANet中的各个输出结果之间的二分类交叉熵损失，直至二分类交叉熵损失小于预设值完成第二轮训练。每个域自适应网络DANet均可以判断输出结果对应的输入是属于增强切片图片集还是训练图像集中，即是属于目标域还是源域中。
所述的步骤6)中，处理后输出待分类分割鳞状上皮细胞肿瘤切片图片中的各个细胞的分割结果和类别，具体为通过域自适应细胞核多分类分割网络的细胞核分类分割网络的分类分支连接的一个域自适应网络DANet输出待分类分割鳞状上皮细胞肿瘤切片图片的分类图像，分类图像中标记出各个细胞的细胞类别，具体实施中通过分类图像中各个细胞的细胞核的颜色加以区分；通过分割分支连接的一个域自适应网络DANet输出待分类分割鳞状上皮细胞肿瘤切片图片的分割图像，分割图像中标记出所有的细胞核所在的像素点位置，具体实施中分割图像中的所有的细胞核所在的像素点位置判断为1，非细胞核位置判断为0，即形成灰度图像；通过回归分支输出待分类分割鳞状上皮细胞肿瘤切片图片的回归图像，针对每个细胞的细胞核，回归图像包括水平距离图和垂直距离图，水平距离图和垂直距离图中分别标记出细胞核所在的像素点位置距离细胞核质心的水平和垂直距离，实现各个细胞核的区分，根据输出的分类图像、分割图像和回归图像实现对待分类分割鳞状上皮细胞肿瘤切片图片的自动分类分割。
本发明的有益效果是：
1)本发明方法将任务分解为细胞核分类分割以及域自适应两个过程，解决了对于不同疾病的病理图像带来的域偏差问题；采用的域自适应网络，能够有效捕捉不同域之间语义上的信息差异，学习域不变特征，达到不同域之间的自适应。
2)本发明方法能够有效的提取鳞状上皮肿瘤细胞图像特征，实现了对图像中各个细胞的细胞核的自动分类分割，能够有效的减轻细胞核标注的工作量，提高了图像中的各个细胞的识别准确率。
附图说明
图1为本发明域自适应细胞核多分类分割网络结构示意图；
图2为本发明域自适应网络DANet结构示意图；
图3为本发明待分类分割鳞状上皮细胞肿瘤切片图片示意图；
图4的(a)为本发明域自适应网络DANet输出的分类图像；
图4的(b)为本发明域自适应网络DANet输出的分割图像；
图5的(a)为本发明回归分支输出的水平距离图；
图5的(b)为本发明回归分支输出的垂直距离图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步详细说明。
本发明的图片自动分类分割方法包括如下步骤：
步骤1)采集若干张鳞状上皮细胞肿瘤切片图片，将各张鳞状上皮细胞肿瘤切片图片进行预处理标注后均匀分割，获得各张标注鳞状上皮细胞肿瘤切片图片并构建标注切片图片集；将标注切片图片集进行数据增强处理，获得增强切片图片集。
步骤1)中，将各张鳞状上皮细胞肿瘤切片图片进行预处理标注后分割并统一至预设尺寸，具体为将每张鳞状上皮细胞肿瘤切片图片中的每个细胞的细胞核进行类别和轮廓的标注，将标注好的每张鳞状上皮细胞肿瘤切片图片进行均匀切割为若干尺寸相同的正方形的标注鳞状上皮细胞肿瘤切片图片；若标注鳞状上皮细胞肿瘤切片图片中的非细胞核区域面积超过预设值，则筛除该标注鳞状上皮细胞肿瘤切片图片。鳞状上皮细胞肿瘤切片图片中的每个细胞的细胞类别具体为上皮细胞、梭形细胞、炎症细胞以及其他细胞。
步骤1)中，将标注切片图片集进行数据增强处理，具体为将标注切片图片集中的每张标注鳞状上皮细胞肿瘤切片图片均进行数据增强处理，数据增强处理包括仿射变换、随机裁剪大小并放缩为原大小、水平和垂直翻转、高斯模糊以及对比度增强处理，每张标注鳞状上皮细胞肿瘤切片图片分别经过各种数据增强处理后获得若干张增强鳞状上皮细胞肿瘤切片图片，标注切片图片集获得的各张增强鳞状上皮细胞肿瘤切片图片构成增强切片图片集。
步骤2)获取CoNSeP数据集中的若干鳞状上皮细胞肿瘤切片图片及其掩膜，将获取的CoNSeP数据集中的各张鳞状上皮细胞肿瘤切片图片及其掩膜进行步骤1)中的相同的数据增强处理后构建训练图像集。
步骤3)构建域自适应细胞核多分类分割网络，域自适应细胞核多分类分割网络包括细胞核分类分割网络和两个域自适应网络DANet，细胞核分类分割网络包括输入层、分类分支、分割分支和回归分支，输入层分别连接分类分支、分割分支和回归分支，分类分支和分割分支分别连接两个域自适应网络DANet。
步骤3)中，如图1所示，域自适应细胞核多分类分割网络的细胞核分类分割网络的输入层包括依次连接的第一7×7卷积、三个第一残差模块、4个第二残差模块、6个第三残差模块、3个第四残差模块和第一1×1卷积；细胞核分类分割网络的分类分支、分割分支和回归分支的结构均相同，包括依次连接的第一上采样模块、第一5×5卷积、8个第一密集模块、第二1×1卷积、第二上采样模块、第二5×5卷积、4个第二密集模块、第三1×1卷积、第三上采样模块、第三5×5卷积和第四1×1卷积；细胞核分类分割网络的输入层的第一1×1卷积的输出分别作为分类分支、分割分支和回归分支的第一上采样模块的输入；分类分支和分割分支的第四1×1卷积的输出分别作为两个域自适应网络DANet的输入。
如图2所示，两个域自适应网络DANet的结构均相同，域自适应网络DANet包括依次连接的第二7×7卷积、第五残差模块、第六残差模块、第七残差模块和第八残差模块，第五残差模块、第六残差模块、第七残差模块和第八残差模块的输出进行拼接处理后作为域自适应网络DANet的输出。
步骤4)将训练图像集输入域自适应细胞核多分类分割网络的细胞核分类分割网络中进行第一轮训练，在第一轮训练中获取细胞核分类分割网络的损失值，通过反向传播法将整体损失值反向传播至细胞核分类分割网络中，并通过梯度下降法更新细胞核分类分割网络的网络参数，同时采用ADAM优化器优化细胞核分类分割网络，最终获得预训练域自适应细胞核多分类分割网络。
步骤5)将增强切片图片集和训练图像集输入预训练域自适应细胞核多分类分割网络中进行第二轮训练，在第二轮训练中计算两个域自适应网络DANet的输出结果的二分类交叉熵损失，同时采用ADAM优化器优化预训练域自适应细胞核多分类分割网络，直至二分类交叉熵损失小于预设值完成第二轮训练，获得训练完成的域自适应细胞核多分类分割网络。
步骤5)中，在第二轮训练中计算两个域自适应网络DANet的输出结果的二分类交叉熵损失，具体为针对每个域自适应网络DANet，通过多尺度损失函数计算增强切片图片集经域自适应细胞核多分类分割网络处理后在域自适应网络DANet中的各个输出结果以及训练图像集经域自适应细胞核多分类分割网络处理后在域自适应网络DANet中的各个输出结果之间的二分类交叉熵损失，直至二分类交叉熵损失小于预设值完成第二轮训练。每个域自适应网络DANet均可以判断输出结果对应的输入是属于增强切片图片集还是训练图像集中，即是属于目标域还是源域中。
步骤6)获取待分类分割鳞状上皮细胞肿瘤切片图片，将待分类分割鳞状上皮细胞肿瘤切片图片输入训练完成的域自适应细胞核多分类分割网络中处理，处理后输出待分类分割鳞状上皮细胞肿瘤切片图片中的各个细胞的细胞核的分割结果和类别，实现对待分类分割鳞状上皮细胞肿瘤切片图片的自动分类分割。
步骤6)中，处理后输出待分类分割鳞状上皮细胞肿瘤切片图片中的各个细胞的分割结果和类别，具体为通过域自适应细胞核多分类分割网络的细胞核分类分割网络的分类分支连接的一个域自适应网络DANet输出待分类分割鳞状上皮细胞肿瘤切片图片的分类图像，分类图像中标记出各个细胞的细胞类别，具体实施中通过分类图像中各个细胞的细胞核的颜色加以区分；通过分割分支连接的一个域自适应网络DANet输出待分类分割鳞状上皮细胞肿瘤切片图片的分割图像，分割图像中标记出所有的细胞核所在的像素点位置，具体实施中分割图像中的所有的细胞核所在的像素点位置判断为1，非细胞核位置判断为0，即形成灰度图像；通过回归分支输出待分类分割鳞状上皮细胞肿瘤切片图片的回归图像，针对每个细胞的细胞核，回归图像包括水平距离图和垂直距离图，水平距离图和垂直距离图中分别标记出细胞核所在的像素点位置距离细胞核质心的水平和垂直距离，实现各个细胞核的区分，根据输出的分类图像、分割图像和回归图像实现对待分类分割鳞状上皮细胞肿瘤切片图片的自动分类分割。
本发明的具体实施例如下：
步骤1)中，采集的若干张鳞状上皮细胞肿瘤切片图片对应的切片具体为弱标注的鳞状上皮肿瘤数据，即由苏木精伊红染色的组织病理数据；预处理标注具体为使用ImageScope软件对肿瘤范围进行标注，即对各个细胞的细胞核进行标注；由于标注好的全视野数字切片尺寸较大，不进行处理无法直接输入网络中进行训练，因此借助标注范围对组织病理切片进行切分，包括将切片切分为多个1000×1000大小的图像，若标注鳞状上皮细胞肿瘤切片图片中的非细胞核区域面积超过图像自身面积的一般，则筛除该标注鳞状上皮细胞肿瘤切片图片。
步骤3)中，域自适应网络DANet中的第二7×7卷积的步长为2，填充数为3。
步骤4)中，第一轮训练，训练50个轮次，计算的细胞核分类分割网络的损失值
Figure BDA0003875045650000071
具体如下：
Figure BDA0003875045650000072
Figure BDA0003875045650000073
Figure BDA0003875045650000074
其中，
Figure BDA0003875045650000075
分别代表细胞核分类分割网络的分类分支、分割分支和回归分支的损失值；λ1、λ2和λ3分别表示第一控制权重、第二控制权重和第三控制权重；
Figure BDA0003875045650000076
代表分类分支或分割分支计算的交叉熵损失；
Figure BDA0003875045650000077
表示Dice系数损失，用于平衡每个分支的作用；
Figure BDA0003875045650000078
和
Figure BDA0003875045650000079
分别表示第i个轮次的分类分支或分割分支的预测结果和真值标签；
Figure BDA00038750456500000710
表示回归分支的均方误差；
Figure BDA00038750456500000711
和
Figure BDA00038750456500000712
分别表示回归分支预测出来的水平距离图和垂直距离图；根据损失值在反向传播过程中计算梯度，并采用Adam作为优化器，初始学习率为1e-3，通过不断迭代对网络权重参数进行优化。
步骤6)中，获取的待分类分割鳞状上皮细胞肿瘤切片图片如图3所示，将待分类分割鳞状上皮细胞肿瘤切片图片输入训练完成的域自适应细胞核多分类分割网络中处理，处理后输出待分类分割鳞状上皮细胞肿瘤切片图片中的各个细胞的细胞核的分割结果和类别，如图4的(a)和(b)所示，分别为域自适应网络DANet输出的分类图像和分割图像；如图5的(a)和(b)所示，分别为回归分支输出的水平距离图和垂直距离图，可以看出本发明可以实现对图像中各个细胞的细胞核的自动分类分割，从而能够有效的减轻细胞核标注的工作量，提高图像中的各个细胞的识别准确率。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明构思的前提下，还可做出若干改进和修饰，这些改进和修饰也应视为本发明保护范围内。

Claims (7)

1.一种基于深度学习的鳞状上皮肿瘤细胞图片自动分类分割方法，其特征在于：包括如下步骤：
步骤1)采集若干张鳞状上皮细胞肿瘤切片图片，将各张鳞状上皮细胞肿瘤切片图片进行预处理标注后均匀分割，获得各张标注鳞状上皮细胞肿瘤切片图片并构建标注切片图片集；将标注切片图片集进行数据增强处理，获得增强切片图片集；
步骤2)获取CoNSeP数据集中的若干鳞状上皮细胞肿瘤切片图片及其掩膜，将获取的CoNSeP数据集中的各张鳞状上皮细胞肿瘤切片图片及其掩膜进行步骤1)中的相同的数据增强处理后构建训练图像集；
步骤3)构建域自适应细胞核多分类分割网络，域自适应细胞核多分类分割网络包括细胞核分类分割网络和两个域自适应网络DANet，细胞核分类分割网络包括输入层、分类分支、分割分支和回归分支，输入层分别连接分类分支、分割分支和回归分支，分类分支和分割分支分别连接两个域自适应网络DANet；
步骤4)将训练图像集输入域自适应细胞核多分类分割网络的细胞核分类分割网络中进行第一轮训练，在第一轮训练中获取细胞核分类分割网络的损失值，通过反向传播法将整体损失值反向传播至细胞核分类分割网络中，并通过梯度下降法更新细胞核分类分割网络的网络参数，同时采用ADAM优化器优化细胞核分类分割网络，最终获得预训练域自适应细胞核多分类分割网络；
步骤5)将增强切片图片集和训练图像集输入预训练域自适应细胞核多分类分割网络中进行第二轮训练，在第二轮训练中计算两个域自适应网络DANet的输出结果的二分类交叉熵损失，同时采用ADAM优化器优化预训练域自适应细胞核多分类分割网络，直至二分类交叉熵损失小于预设值完成第二轮训练，获得训练完成的域自适应细胞核多分类分割网络；
步骤6)获取待分类分割鳞状上皮细胞肿瘤切片图片，将待分类分割鳞状上皮细胞肿瘤切片图片输入训练完成的域自适应细胞核多分类分割网络中处理，处理后输出待分类分割鳞状上皮细胞肿瘤切片图片中的各个细胞的细胞核的分割结果和类别，实现对待分类分割鳞状上皮细胞肿瘤切片图片的自动分类分割。
2.根据权利要求1所述的一种基于深度学习的鳞状上皮肿瘤细胞图片自动分类分割方法，其特征在于：所述的步骤1)中，将各张鳞状上皮细胞肿瘤切片图片进行预处理标注后分割并统一至预设尺寸，具体为将每张鳞状上皮细胞肿瘤切片图片中的每个细胞的细胞核进行类别和轮廓的标注，将标注好的每张鳞状上皮细胞肿瘤切片图片进行均匀切割为若干尺寸相同的正方形的标注鳞状上皮细胞肿瘤切片图片。
3.根据权利要求1所述的一种基于深度学习的鳞状上皮肿瘤细胞图片自动分类分割方法，其特征在于：所述的鳞状上皮细胞肿瘤切片图片中的每个细胞的细胞类别具体为上皮细胞、梭形细胞、炎症细胞以及其他细胞。
4.根据权利要求1所述的一种基于深度学习的鳞状上皮肿瘤细胞图片自动分类分割方法，其特征在于：所述的步骤1)中，将标注切片图片集进行数据增强处理，具体为将标注切片图片集中的每张标注鳞状上皮细胞肿瘤切片图片均进行数据增强处理，数据增强处理包括仿射变换、随机裁剪大小并放缩为原大小、水平和垂直翻转、高斯模糊以及对比度增强处理，每张标注鳞状上皮细胞肿瘤切片图片分别经过各种数据增强处理后获得若干张增强鳞状上皮细胞肿瘤切片图片，标注切片图片集获得的各张增强鳞状上皮细胞肿瘤切片图片构成增强切片图片集。
5.根据权利要求1所述的一种基于深度学习的鳞状上皮肿瘤细胞图片自动分类分割方法，其特征在于：所述的步骤3)中，域自适应细胞核多分类分割网络的细胞核分类分割网络的输入层包括依次连接的第一7×7卷积、三个第一残差模块、4个第二残差模块、6个第三残差模块、3个第四残差模块和第一1×1卷积；细胞核分类分割网络的分类分支、分割分支和回归分支的结构均相同，包括依次连接的第一上采样模块、第一5×5卷积、8个第一密集模块、第二1×1卷积、第二上采样模块、第二5×5卷积、4个第二密集模块、第三1×1卷积、第三上采样模块、第三5×5卷积和第四1×1卷积；细胞核分类分割网络的输入层的第一1×1卷积的输出分别作为分类分支、分割分支和回归分支的第一上采样模块的输入；分类分支和分割分支的第四1×1卷积的输出分别作为两个域自适应网络DANet的输入；
两个域自适应网络DANet的结构均相同，域自适应网络DANet包括依次连接的第二7×7卷积、第五残差模块、第六残差模块、第七残差模块和第八残差模块，第五残差模块、第六残差模块、第七残差模块和第八残差模块的输出进行拼接处理后作为域自适应网络DANet的输出。
6.根据权利要求1所述的一种基于深度学习的鳞状上皮肿瘤细胞图片自动分类分割方法，其特征在于：所述的步骤5)中，在第二轮训练中计算两个域自适应网络DANet的输出结果的二分类交叉熵损失，具体为针对每个域自适应网络DANet，通过多尺度损失函数计算增强切片图片集经域自适应细胞核多分类分割网络处理后在域自适应网络DANet中的各个输出结果以及训练图像集经域自适应细胞核多分类分割网络处理后在域自适应网络DANet中的各个输出结果之间的二分类交叉熵损失，直至二分类交叉熵损失小于预设值完成第二轮训练。
7.根据权利要求1所述的一种基于深度学习的鳞状上皮肿瘤细胞图片自动分类分割方法，其特征在于：所述的步骤6)中，处理后输出待分类分割鳞状上皮细胞肿瘤切片图片中的各个细胞的分割结果和类别，具体为通过域自适应细胞核多分类分割网络的细胞核分类分割网络的分类分支连接的一个域自适应网络DANet输出待分类分割鳞状上皮细胞肿瘤切片图片的分类图像，分类图像中标记出各个细胞的细胞类别；通过分割分支连接的一个域自适应网络DANet输出待分类分割鳞状上皮细胞肿瘤切片图片的分割图像，分割图像中标记出所有的细胞核所在的像素点位置；通过回归分支输出待分类分割鳞状上皮细胞肿瘤切片图片的回归图像，针对每个细胞的细胞核，回归图像包括水平距离图和垂直距离图，水平距离图和垂直距离图中分别标记出细胞核所在的像素点位置距离细胞核质心的水平和垂直距离，实现各个细胞核的区分，根据输出的分类图像、分割图像和回归图像实现对待分类分割鳞状上皮细胞肿瘤切片图片的自动分类分割。
CN202211210771.4A 2022-09-30 2022-09-30 基于深度学习的鳞状上皮肿瘤细胞图片自动分类分割方法 Pending CN115423802A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211210771.4A CN115423802A (zh) 2022-09-30 2022-09-30 基于深度学习的鳞状上皮肿瘤细胞图片自动分类分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211210771.4A CN115423802A (zh) 2022-09-30 2022-09-30 基于深度学习的鳞状上皮肿瘤细胞图片自动分类分割方法

Publications (1)

Publication Number Publication Date
CN115423802A true CN115423802A (zh) 2022-12-02

Family

ID=84205597

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211210771.4A Pending CN115423802A (zh) 2022-09-30 2022-09-30 基于深度学习的鳞状上皮肿瘤细胞图片自动分类分割方法

Country Status (1)

Country Link
CN (1) CN115423802A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117710969A (zh) * 2024-02-05 2024-03-15 安徽大学 一种基于深度神经网络的细胞核分割和分类方法
CN118675171A (zh) * 2024-08-12 2024-09-20 成都华西海圻医药科技有限公司 一种大鼠睾丸生精小管分期方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117710969A (zh) * 2024-02-05 2024-03-15 安徽大学 一种基于深度神经网络的细胞核分割和分类方法
CN117710969B (zh) * 2024-02-05 2024-06-04 安徽大学 一种基于深度神经网络的细胞核分割和分类方法
CN118675171A (zh) * 2024-08-12 2024-09-20 成都华西海圻医药科技有限公司 一种大鼠睾丸生精小管分期方法
CN118675171B (zh) * 2024-08-12 2024-10-29 成都华西海圻医药科技有限公司 一种大鼠睾丸生精小管分期方法

Similar Documents

Publication Publication Date Title
CN108364288B (zh) 用于乳腺癌病理图像的分割方法和装置
CN111488921B (zh) 一种全景数字病理图像智能分析系统及方法
CN111680706B (zh) 一种基于编码和解码结构的双通道输出轮廓检测方法
CN108921201B (zh) 基于特征组合与cnn的大坝缺陷识别与分类方法
CN110059586B (zh) 一种基于空洞残差注意力结构的虹膜定位分割系统
CN110472676A (zh) 基于深度神经网络的胃早癌组织学图像分类系统
CN109191472A (zh) 基于改进U-Net网络的胸腺细胞图像分割方法
CN110633758A (zh) 针对小样本或样本不平衡的癌症区域检测定位的方法
CN110070008A (zh) 一种采用无人机图像的桥梁病害识别方法
CN115423802A (zh) 基于深度学习的鳞状上皮肿瘤细胞图片自动分类分割方法
CN114663346A (zh) 一种基于改进YOLOv5网络的带钢表面缺陷检测方法
CN106340016A (zh) 一种基于细胞显微镜图像的dna定量分析方法
CN112819821B (zh) 一种细胞核图像检测方法
CN112926652B (zh) 一种基于深度学习的鱼类细粒度图像识别方法
CN116012291A (zh) 工业零件图像缺陷检测方法及系统、电子设备和存储介质
CN111582004A (zh) 一种地面图像中的目标区域分割方法及装置
CN117611563B (zh) 一种基于图像处理的塑胶模具生产缺陷检测方法
CN112330625B (zh) 免疫组化核染色切片细胞定位多域共适应训练方法
CN112990214A (zh) 一种医学图像特征识别预测模型
CN113393454A (zh) 活检组织中病理目标实例分割方法和装置
CN112686902A (zh) 核磁共振影像中脑胶质瘤识别与分割的两阶段计算方法
CN113313678A (zh) 一种基于多尺度特征融合的精子形态学自动分析方法
CN114678121B (zh) 一种hp球形变诊断模型的构建方法及系统
CN113657449A (zh) 一种含噪标注数据的中医舌象腐腻分类方法
CN111476794A (zh) 一种基于unet的宫颈病理组织分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination