CN115880262B - 基于在线噪声抑制策略的弱监督病理图像组织分割方法 - Google Patents

基于在线噪声抑制策略的弱监督病理图像组织分割方法 Download PDF

Info

Publication number
CN115880262B
CN115880262B CN202211643031.XA CN202211643031A CN115880262B CN 115880262 B CN115880262 B CN 115880262B CN 202211643031 A CN202211643031 A CN 202211643031A CN 115880262 B CN115880262 B CN 115880262B
Authority
CN
China
Prior art keywords
training
segmentation
network
noise suppression
classification network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211643031.XA
Other languages
English (en)
Other versions
CN115880262A (zh
Inventor
潘细朋
邓华虎
蓝如师
刘振丙
李灵巧
汪华登
安娅君
侯飞虎
卞新军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guilin University of Electronic Technology
Original Assignee
Guilin University of Electronic Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guilin University of Electronic Technology filed Critical Guilin University of Electronic Technology
Priority to CN202211643031.XA priority Critical patent/CN115880262B/zh
Publication of CN115880262A publication Critical patent/CN115880262A/zh
Application granted granted Critical
Publication of CN115880262B publication Critical patent/CN115880262B/zh
Priority to US18/505,639 priority patent/US11935279B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/86—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using syntactic or structural representations of the image or video pattern, e.g. symbolic string recognition; using graph matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/60—ICT specially adapted for the handling or processing of medical references relating to pathologies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Computational Linguistics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及基于在线噪声抑制策略的弱监督病理图像组织分割方法，包括：获取H&E染色图，对所述H&E染色图进行处理，获得数据集，对所述数据集进行划分，基于划分后的所述数据集训练分类网络，生成伪标签；基于在线噪声抑制策略抑制所述伪标签中存在的噪声，通过抑制噪声后的所述伪标签以及所述伪标签对应的训练集训练语义分割网络，获得训练后的所述语义分割网络的预测结果，将所述预测结果作为最终分割结果。本发明利用数字病理学和深度学习的分类算法及分割算法，可实现仅使用patch级标签实现肺癌/乳腺癌H&E染色图像的组织分割，生成像素级分割结果，直观地展示肿瘤内部组织结构的空间分布情况。

Description

基于在线噪声抑制策略的弱监督病理图像组织分割方法
技术领域
本发明涉及数字病理学和深度学习的技术领域，特别是涉及一种基于在线噪声抑制策略的弱监督病理图像组织分割方法。
背景技术
肿瘤微环境(tumor microenvironment,TME)是肿瘤细胞赖以生存的复杂环境，对肿瘤的发展、转移以及预后起着重要的作用。在组织层面，TME包括肿瘤上皮、肿瘤相关间质和肿瘤浸润性淋巴细胞(tumor-infiltrating lymphocytes,TILs)等。肿瘤上皮与肿瘤相关间质之间的相互作用与肿瘤的发展相关。TILs的密度和空间分布已被证明是许多肿瘤预后的生物标志物，如肺癌，乳腺癌和结直肠癌。因此，组织分割对于精确定量TME至关重要。
近年来，随着数字扫描仪技术的发展，大量的病理玻片生成全幅扫描病理图像(Whole Slide Images,WSIs)，给基于人工智能的病理图像分析提供了充足的“燃料”。然而，大多数现存的方法需要密集的像素级标注用于训练，对于病理图像来说，获取这种像素级标注是非常昂贵且耗时的。由于病理图像的多样性及复杂性，只能由专业的病理学家或具有临床背景的医生才能标注。
目前，人工智能技术特别是深度学习技术已经在生物医学图像处理领域取得大量成果。在仅使用patch级标签来完成病理图像组织分割的目的，能够极大地减小费时费力的像素级标注代价。病理医生只需要判断patch中是否存在某一组织类别，而无需在病理图像上仔细绘制组织的边界，从而能够大大减少数据标注的工作量。
发明内容
本发明的目的是提供了基于在线噪声抑制策略的弱监督病理图像组织分割方法，利用数字病理学和深度学习的分类算法及分割算法，可实现仅使用patch级标签实现肺癌/乳腺癌H&E染色图像的组织分割，生成像素级分割结果，直观地展示肿瘤内部组织结构的空间分布情况。
为实现上述目的，本发明提供了如下方案：
基于在线噪声抑制策略的弱监督病理图像组织分割方法，包括：
获取H&E染色图，对所述H&E染色图进行处理，获得数据集，对所述数据集进行划分，基于划分后的所述数据集训练分类网络，生成伪标签；
基于在线噪声抑制策略抑制所述伪标签中存在的噪声，通过抑制噪声后的伪标签以及所述伪标签对应的训练集训练语义分割网络，获得训练后的所述语义分割网络的预测结果，将所述预测结果作为最终分割结果。
优选地，获取H&E染色图包括：
收集肺癌/乳腺癌患者癌变区域组织的病理切片图像，对所述病理切片图像进行染色处理，得到肺癌/乳腺癌H&E染色病理切片，再对所述肺癌/乳腺癌H&E染色病理切片进行数字化处理，得到所述H&E染色图。
优选地，对所述H&E染色图进行处理包括：
划定所述H&E染色图的感兴趣区域，将所述感兴趣区域无重叠地切分成相同系列的子图像块，为每个所述子图像块添加patch级标签，并指定所述patch级标签中存在的组织类别。
优选地，对所述数据集进行划分，基于划分后的所述数据集训练分类网络，生成伪标签包括：
根据所述数据集划分出训练集、验证集和测试集，使用深度学习模型构建所述分类网络，对所述训练集进行数据增强处理，基于数据增强处理后的所述训练集训练所述分类网络，通过所述验证集进行内部验证所述分类网络的分类性能，并通过所述测试集进行外部验证分类网络的分类性能，获得训练好的分类网络，基于所述训练好的分类网络，使用Grad-CAM++生成所述伪标签。
优选地，基于数据增强处理后的所述训练集训练所述分类网络包括：
基于大型公共图像数据库对所述分类网络进行预训练，获得分类网络初始模型，并设置所述分类网络初始模型的训练方案和超参数，基于数据增强处理后的所述训练集训练所述分类网络初始模型，引入渐进式丢弃注意力机制，迭代地擦除最具有判别性区域，迫使所述分类网络初始模型学习非判别性区域；
其中，所述分类网络初始模型的每一层权重均设置为可更新模式。
优选地，基于在线噪声抑制策略抑制所述伪标签中存在的噪声包括：
基于标准的交叉熵对所述伪标签与预测置信度进行逐像素计算，获得损失图，通过改进加权交叉熵损失挑选所述损失图的损失，根据所述损失图的损失为不同的像素点赋予不同的权重，抑制所述伪标签中存在的噪声。
优选地，改进所述加权交叉熵损失的方法为：
其中，为分割网络的损失，/>为损失权重，H和W分别表示维度，i和j分别表示坐标，P为可分割网络的预测，/>为伪标签，/>为，C为类别。
优选地，为所述不同的像素点赋予不同的权重的方法为：
其中，为将高损失值赋予一个较低的值，sm为在HW维度上使用softmax函数，/>为将高损失值赋予一个较低的值的平均值，sm为softmax函数，上的损失来作为表示学习困难程度的指标，W为权重。
优选地，通过抑制噪声后的所述伪标签以及所述伪标签对应的训练集，训练所述语义分割网络包括：
对所述伪标签对应的训练集进行数据增强处理，并设置所述分类网络的训练方案和超参数，通过抑制噪声后的所述伪标签以及数据增强处理后的所述训练集训练语义分割网络。
优选地，将训练后的所述语义分割网络的预测结果作为最终分割结果包括：
在所述H&E染色图的预设倍率下使用重叠滑动窗口预测操作，截取相同像素大小的图像块，并获取所述图像块的重叠率，将所述图像块送入训练好的所述语义分割网络中，获得若干通道的概率图，将所述若干通道的概率图缝合为WSI级，对于重叠区域，计算每个像素位置的各个类别预测概率的平均值，并通过argmax操作来获取WSI分割结果；
在对背景区域进行分割时，对缝合为WSI级的所述若干通道的概率图使用阈值分割方法进行分割，将灰度像素值大于预设值的点设置为固定数值，得到灰度图；
将所述灰度图加入到所述WSI分割结果，得到所述最终分割结果。
本发明的有益效果为：
本发明提出一种基于在线噪声抑制策略的弱监督病理图像组织分割方法，使用深度学习的方法构建模型来帮助分割病理图像中的组织，并进行直观展示，原则上可以分割任意类别数的组织类型，帮助医生对肿瘤内部不同组织结构的空间异质性进行分析，从而有助于对肺癌/乳腺癌患者进行预后分析，制定更加合适的治疗方案，有重大的临床意义。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的基于在线噪声抑制策略的弱监督病理图像组织分割方法流程图；
图2为本发明实施例的肺癌H&E染色图切分为图像块并添加标签示意图；
图3为本发明实施例的分类网络生成伪标签过程示意图；
图4为本发明实施例的分割网络进行组织分割过程示意图；
图5为本发明实施例的整张WSI分割过程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，基于在线噪声抑制策略的弱监督病理图像组织分割方法，包括：
获取H&E染色图，对所述H&E染色图进行处理，获得数据集，对所述数据集进行划分，基于划分后的所述数据集训练分类网络，生成伪标签；
基于在线噪声抑制策略抑制所述伪标签中存在的噪声，通过抑制噪声后的所述伪标签以及所述伪标签对应的训练集训练语义分割网络，获得训练后的所述语义分割网络的预测结果，将所述预测结果作为最终分割结果。
进一步地，获取H&E染色图包括：
收集肺癌/乳腺癌患者癌变区域组织的病理切片图像，对所述病理切片图像进行染色处理，得到肺癌/乳腺癌H&E染色病理切片，再对所述肺癌/乳腺癌H&E染色病理切片进行数字化处理，得到所述H&E染色图。
进一步地，对所述H&E染色图进行处理包括：
划定所述H&E染色图的感兴趣区域，将所述感兴趣区域无重叠地切分成相同系列的子图像块，为每个所述子图像块添加patch级标签，并指定所述patch级标签中存在的组织类别。
进一步地，对所述数据集进行划分，基于划分后的所述数据集训练分类网络，生成伪标签包括：
根据所述数据集划分出训练集、验证集和测试集，使用深度学习模型构建所述分类网络，对所述训练集进行数据增强处理，基于数据增强处理后的所述训练集训练所述分类网络，通过所述验证集进行内部验证所述分类网络的分类性能，并通过所述测试集进行外部验证分类网络的分类性能，获得训练好的分类网络，基于所述训练好的分类网络，使用Grad-CAM++生成所述伪标签。
进一步地，基于数据增强处理后的所述训练集训练所述分类网络包括：
基于大型公共图像数据库对所述分类网络进行预训练，获得分类网络初始模型，并设置所述分类网络初始模型的训练方案和超参数，基于数据增强处理后的所述训练集训练所述分类网络初始模型，引入渐进式丢弃注意力机制，迭代地擦除最具有判别性区域，迫使所述分类网络初始模型学习非判别性区域；
其中，所述分类网络初始模型的每一层权重均设置为可更新模式。
进一步地，基于在线噪声抑制策略抑制所述伪标签中存在的噪声包括：
基于标准的交叉熵对所述伪标签与预测置信度进行逐像素计算，获得损失图，通过改进加权交叉熵损失挑选所述损失图的损失，根据所述损失图的损失为不同的像素点赋予不同的权重，抑制所述伪标签中存在的噪声。
进一步地，改进所述加权交叉熵损失的方法为：
其中，为分割网络的损失，/>为损失权重，H和W分别表示维度，i和j分别表示坐标，P为可分割网络的预测，/>为伪标签，/>为，C为类别。
进一步地，为所述不同的像素点赋予不同的权重的方法为：
其中，为将高损失值赋予一个较低的值，sm为在HW维度上使用softmax函数，/>为将高损失值赋予一个较低的值的平均值，sm为softmax函数，上的损失来作为表示学习困难程度的指标，W为权重。
进一步地，通过抑制噪声后的所述伪标签以及所述伪标签对应的训练集，训练所述语义分割网络包括：
对所述伪标签对应的训练集进行数据增强处理，并设置所述分类网络的训练方案和超参数，通过抑制噪声后的所述伪标签以及数据增强处理后的所述训练集训练语义分割网络。
进一步地，将训练后的所述语义分割网络的预测结果作为最终分割结果包括：
在所述H&E染色图的预设倍率下使用重叠滑动窗口预测操作，截取相同像素大小的图像块，并获取所述图像块的重叠率，将所述图像块送入训练好的所述语义分割网络中，获得若干通道的概率图，将所述概率图缝合为WSI级，对于重叠区域，计算每个像素位置的各个类别预测概率的平均值，并通过argmax操作来获取WSI分割结果；
在对背景区域进行分割时，对缝合为WSI级的所述概率图使用阈值分割方法进行分割，将灰度像素值大于预设值的点设置为固定数值，得到背景的灰度图；
将所述灰度图加入到所述WSI分割结果，得到所述最终分割结果。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
本实施例为基于在线噪声抑制策略的弱监督病理图像组织分割方法，包括下述步骤：
收集肺癌/乳腺癌患者癌变区域组织的病理切片图像，染色处理得到肺癌/乳腺癌H&E染色病理切片，再对所述肺癌/乳腺癌H&E染色病理切片进行数字化得到H&E染色图；本实施例采用的染色处理是使用苏木精染液对细胞核内的染色质与细胞质内的核酸着紫蓝色，使用伊红染液对细胞质和细胞外基质中的成分着红色。
如图2所示，在所述H&E染色图中划定感兴趣区域，并将所述感兴趣区域切分成224*224大小的patch，由病理医生使用独热编码的形式对patch进行标注，医生只需指定某一patch中存在哪些组织类别，其中，在肺癌病理图像中包含四个组织类别：肿瘤上皮(TE)、肿瘤相关间质(TAS)、坏死(NEC)和淋巴细胞(LYM)；在乳腺癌病理图像中包含四个组织类别：肿瘤(TUM)，间质(STR)，淋巴浸润(LYM)和坏死(NEC)；
其中，所述感兴趣区域包含不同的组织类别，得到数据集，具体为：将所述感兴趣区域通过无重叠地切分为一系列的子图像块得到，并且根据划分结果，为每个子图像块添加一个patch级标签，用于指示某一patch中存在哪些组织类别，从而得到数据集，在肺腺癌数据集中，所述标签有肿瘤上皮(TE)、肿瘤相关间质(TAS)、坏死(NEC)和淋巴细胞(LYM)，所述子图像块的大小设定为10x倍率下的相应像素；在乳腺癌数据集中，所述标签有肿瘤(TUM)，间质(STR)，淋巴浸润(LYM)和坏死(NEC)，所述子图像块的大小设定为40x倍率下的相应像素；
肺腺癌所述训练集来自29张H&E染色的WSIs，所述验证集和测试集来自25张H&E染色的WSIs，切分patch后的数据分布为：训练集(16678个带有patch级标注的patch)，验证集(300张带有像素级标注的patch)以及测试集(307张带有像素级标注的patch)；乳腺癌所述数据集来自151张H&E染色的WSIs，切分patch后的数据划分为：训练集为23422张patch(patch标注)，验证集和测试集分别为3418、4986张patch(像素级标注)。两个数据的验证集均用于深度神经网络性能的内部验证，测试集均用于深度学习网络性能的外部验证。
根据所述数据集，划分出训练集、验证集和测试集。使用patch级标签的训练集训练一个分类网络，并对训练集进行数据增强处理，所述验证集用于内部验证神经网络分类器的分类性能。得到训练好的分类网络后，使用Grad-CAM++来生成训练集的伪标签；
在分类阶段，使用所述patch级标签训练集训练所述卷积神经网络分类器包括：使用机器学习技术领域的深度学习模型构建卷积神经网络分类器，采用在大型公共图像数据库ILSVRC2012上进行过预训练的卷积神经网络ResNet38作为初始模型，设置训练方案和超参数，随后使用所述训练集对初始模型进行训练，训练时卷积神经网络的每一层的权重都被设置为可更新的。为了产生更加精确的伪标签，缓解传统CAM存在的区域收缩问题——即随着卷积网络训练次数的迭代，分类器往往会聚焦在目标对象最具有判别性的区域，本实施例引入了渐进式丢弃注意力机制，迭代的“擦除”那些最具有判别性区域，从而迫使分类网络学习非判别性但属于对象的其它区域。此外，分类网络使用多标签软边缘损失来训练，最终在训练完成的分类网络模型上，使用Grad-CAM++来生成伪标签，具体为：
根据得到的数据集，切分为训练集、验证集和测试集。其中，在分类阶段所述训练集用于训练卷积神经网络分类器，所述验证集用于内部验证卷积神经网络分类器的分类性能，所述测试集用于进一步外部测试卷积神经网络分类器的分类性能，在分割阶段，使用上一阶段的训练集以及生成的伪标签训练语义分割网络，所述验证集用于内部验证语义分割网络的性能，所述测试集用于进一步外部测试语义分割网络的性能；
为了达到数据增强进而提高网络泛化性的目的，在分类阶段，将已得到的训练集中的每一张图像块以0.5的概率进行随机水平和翻转变换；在分割阶段，使用随机翻转、裁剪和变形数据增强方式，并在推理阶段，使用多尺度测试，包括[0.75,1,1.25,1.5,1.75,2,2.5,3]。
在分类阶段，使用机器学习技术领域的深度学习模型构建卷积神经网络分类器，采用在大型公共图像数据库ILSVRC2012上进行过预训练的卷积神级网络ResNet38作为初始模型，选择的训练方案和超参数设置具体为：
1)使用SGD算法作为更新模型参数时的优化函数；
2)使用小批量梯度下降法MBGD作为训练方案；
3)将超参数mini-batch(batch-size)大小设置为16；
4)epoch的大小设置为20；
5)学习率设为0.01；
6)使用多标签软边缘损失函数；
随后使用所述的训练集对初始模型进行训练，训练时卷积神经网络的每一层的权重都被设置为可更新的。
为了产生更加精确的伪标签，缓解传统CAM存在的区域收缩问题——即随着卷积网络训练次数的迭代，分类器往往会聚焦在目标对象最具有判别性的区域，本实施例引入了渐进式丢弃注意力机制，迭代的“擦除”那些最具有判别性区域，从而迫使分类网络学习非判别性但属于对象的其它区域(即分类网络是根据对象的聚焦区域来判定具有判别性的区域还是非判别性的区域)。最终在训练完成的分类网络模型上，使用Grad-CAM++来生成伪标签，如图3所示。
使用分类网络生成的伪标签以及对应的训练集训练语义分割网络，使用在线噪声抑制策略来抑制伪标签中存在的噪声对分割模型的影响，从而提高分割的准确率，在训练过程中，使用所述验证集对语义分割网络的性能进行内部验证，然后在所述测试集上对语义分割网络的性能进行最终验证，语义分割网络的预测结果作为最终分割结果；
在分割阶段，本实施例使用所述训练集以及分类网络生成的伪标签训练了一个语义分割网络。本实施例使用了backbone为ResNet38的PSPNet，使用SGD优化器，数据增强包括随机翻转、随机裁剪和变形等。由于分类网络生成的伪标签不可避免的存在着噪声，为了缓解这种噪声对分割模型的影响，本实施例提出了一种在线噪声抑制策略，具体为：
如图4所示，在分割阶段，本实施例使用所述训练集以及分类网络生成的伪标签训练了一个语义分割网络，本实施例采用backbone为ResNet38的PSPNet，选择的训练方案和超参数设置具体为：
1)使用SGD算法作为更新模型参数时的优化函数；
2)使用小批量梯度下降法MBGD作为训练方案；
3)将超参数mini-batch(batch-size)大小设置为16；
4)迭代次数为10000次；
5)学习率设为5e-3；
6)使用改进的交叉熵损失函数。
本实施例可以分割网络的预测为P，其伪标签为M，本实施例改进了加权交叉熵损失，可以表示为：
其中，表示分割网络的损失，/>表示损失权重，i和j分别表示坐标，H与W分别表示维度和权重，C用于表示类别。为了获取损失权重，我们挑选损失图上的损失来作为表示学习困难程度的指标，其中损失图是通过标准的交叉熵来进行逐像素计算的。这种损失图是基于伪标签与预测置信度来计算的，含有丰富的信息。基于这种指标，本实施例提出了一种利用损失图来抑制噪声样本的策略。
这一策略是基于以下观察而得到的：在网络在对噪声像素进行预测时，如果其置信度较高，该像素点的损失值也会较高。相反，那些受到更准确信号监督的像素具有较低的损失值。为了抑制噪声像素，本实施例根据损失图上的损失来为不同的像素点赋予不同的权重。换言之，其目的就是为噪声像素赋予低权重，为准确像素赋予更高的权重。具体来说，本实施例在损失图上加个负号，并在HW维度上使用softmax函数sm，再除以其平均值。
其中，sm(-L)是为了将高损失值赋予一个较低的值，低损失值赋予一个较高的值，最终每个位置都除以平均值，从而达到根据损失值来赋予不同权重的目的。
最终模型的预测结果使用argmax函数来得到。
如图5所示对整张WSIs进行组织分割的具体步骤为：
1)在所述肺癌H&E染色图中的10x倍率下使用重叠滑动窗口预测操作，每次截取224*224像素大小的正方形图像块，重叠率为50％，并将图像块送入所述训练好的语义分割网络中，为每个patch得到通道数为n的概率图，对应于每个类别，然后本实施例将每个patch的概率图缝合为WSI级。对于重叠区域，计算每个像素位置的各个类别预测概率的平均值，最终，通过argmax操作来获取WSI分割结果；
2)在对背景区域进行分割时(即非组织区域或不属于对象的区域)，对WSI原图使用阈值分割方法进行分割，将灰度像素值大于210的点置为255，否则不变，具体操作为：
ret,binary＝cv2.threshold(gray,210,255,cv2.THRESH_BINARY)
在得到背景的灰度图之后，将其加入分割mask，得到最终的分割结果。
本发明可以利用数字病理学和深度学习的分类算法，实现自动地从肺癌/乳腺癌H&E染色图中识别肿瘤内不同的组织，并生成最终的分割结果，直观地展示肿瘤内部组织结构的空间分布情况，帮助医生对肺癌/乳腺癌患者进行分级以及预后分析。
以上所述的实施例仅是对本发明优选方式进行的描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (7)

1.基于在线噪声抑制策略的弱监督病理图像组织分割方法，其特征在于，包括：
获取H&E染色图，对所述H&E染色图进行处理，获得数据集，对所述数据集进行划分，基于划分后的所述数据集训练分类网络，生成伪标签；
基于在线噪声抑制策略抑制所述伪标签中存在的噪声，通过抑制噪声后的伪标签以及所述伪标签对应的训练集训练语义分割网络，获得训练后的所述语义分割网络的预测结果，将所述预测结果作为最终分割结果；
获取H&E染色图包括：
收集肺癌/乳腺癌患者癌变区域组织的病理切片图像，对所述病理切片图像进行染色处理，得到肺癌/乳腺癌H&E染色病理切片，再对所述肺癌/乳腺癌H&E染色病理切片进行数字化处理，得到所述H&E染色图；
对所述H&E染色图进行处理包括：
划定所述H&E染色图的感兴趣区域，将所述感兴趣区域无重叠地切分成相同系列的子图像块，为每个所述子图像块添加patch级标签，并指定所述patch级标签中存在的组织类别；
对所述数据集进行划分，基于划分后的所述数据集训练分类网络，生成伪标签包括：
根据所述数据集划分出训练集、验证集和测试集，使用深度学习模型构建所述分类网络，对所述训练集进行数据增强处理，基于数据增强处理后的所述训练集训练所述分类网络，通过所述验证集进行内部验证所述分类网络的分类性能，并通过所述测试集进行外部验证分类网络的分类性能，获得训练好的分类网络，基于所述训练好的分类网络，使用Grad-CAM++生成所述伪标签。
2.根据权利要求1所述的基于在线噪声抑制策略的弱监督病理图像组织分割方法，其特征在于，基于数据增强处理后的所述训练集训练所述分类网络包括：
基于大型公共图像数据库对所述分类网络进行预训练，获得分类网络初始模型，并设置所述分类网络初始模型的训练方案和超参数，基于数据增强处理后的所述训练集训练所述分类网络初始模型，引入渐进式丢弃注意力机制，迭代地擦除最具有判别性区域，迫使所述分类网络初始模型学习非判别性区域；
其中，所述分类网络初始模型的每一层权重均设置为可更新模式。
3.根据权利要求1所述的基于在线噪声抑制策略的弱监督病理图像组织分割方法，其特征在于，基于在线噪声抑制策略抑制所述伪标签中存在的噪声包括：
基于标准的交叉熵对所述伪标签与预测置信度进行逐像素计算，获得损失图，通过改进加权交叉熵损失挑选所述损失图的损失，根据所述损失图的损失为不同的像素点赋予不同的权重，抑制所述伪标签中存在的噪声。
4.根据权利要求3所述的基于在线噪声抑制策略的弱监督病理图像组织分割方法，其特征在于，改进所述加权交叉熵损失的方法为：
其中，为分割网络的损失，/>为损失权重，H和W分别表示维度，i和j分别表示坐标，P为可分割网络的预测，/>为伪标签，/>为，C为类别。
5.根据权利要求3所述的基于在线噪声抑制策略的弱监督病理图像组织分割方法，其特征在于，为所述不同的像素点赋予不同的权重的方法为：
其中，为将高损失值赋予一个较低的值，sm为在HW维度上使用softmax函数，为将高损失值赋予一个较低的值的平均值，sm为softmax函数，上的损失来作为表示学习困难程度的指标，W为权重。
6.根据权利要求1所述的基于在线噪声抑制策略的弱监督病理图像组织分割方法，其特征在于，通过抑制噪声后的所述伪标签以及所述伪标签对应的训练集，训练所述语义分割网络包括：
对所述伪标签对应的训练集进行数据增强处理，并设置所述分类网络的训练方案和超参数，通过抑制噪声后的所述伪标签以及数据增强处理后的所述训练集训练语义分割网络。
7.根据权利要求1所述的基于在线噪声抑制策略的弱监督病理图像组织分割方法，其特征在于，将训练后的所述语义分割网络的预测结果作为最终分割结果包括：
在所述H&E染色图的预设倍率下使用重叠滑动窗口预测操作，截取相同像素大小的图像块，并获取所述图像块的重叠率，将所述图像块送入训练好的所述语义分割网络中，获得若干通道的概率图，将所述若干通道的概率图缝合为WSI级，对于重叠区域，计算每个像素位置的各个类别预测概率的平均值，并通过argmax操作来获取WSI分割结果；
在对背景区域进行分割时，对缝合为WSI级的所述若干通道的概率图使用阈值分割方法进行分割，将灰度像素值大于预设值的点设置为固定数值，得到灰度图；
将所述灰度图加入到所述WSI分割结果，得到所述最终分割结果。
CN202211643031.XA 2022-12-20 2022-12-20 基于在线噪声抑制策略的弱监督病理图像组织分割方法 Active CN115880262B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211643031.XA CN115880262B (zh) 2022-12-20 2022-12-20 基于在线噪声抑制策略的弱监督病理图像组织分割方法
US18/505,639 US11935279B1 (en) 2022-12-20 2023-11-09 Weakly supervised pathological image tissue segmentation method based on online noise suppression strategy

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211643031.XA CN115880262B (zh) 2022-12-20 2022-12-20 基于在线噪声抑制策略的弱监督病理图像组织分割方法

Publications (2)

Publication Number Publication Date
CN115880262A CN115880262A (zh) 2023-03-31
CN115880262B true CN115880262B (zh) 2023-09-05

Family

ID=85754147

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211643031.XA Active CN115880262B (zh) 2022-12-20 2022-12-20 基于在线噪声抑制策略的弱监督病理图像组织分割方法

Country Status (2)

Country Link
US (1) US11935279B1 (zh)
CN (1) CN115880262B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116468690B (zh) * 2023-04-17 2023-11-14 北京透彻未来科技有限公司 基于深度学习的浸润性非粘液性肺腺癌的亚型分析系统
CN116524297B (zh) * 2023-04-28 2024-02-13 迈杰转化医学研究(苏州)有限公司 一种基于专家反馈的弱监督学习训练方法
CN116740117B (zh) * 2023-06-09 2024-02-06 华东师范大学 一种基于无监督域适应的胃癌病理图像分割方法
CN116912240B (zh) * 2023-09-11 2023-12-08 南京理工大学 基于半监督学习的突变tp53免疫学检测方法
CN117557558B (zh) * 2024-01-10 2024-08-20 汕头大学医学院 一种基于半监督学习的全切片病理图像分类方法
CN117786682B (zh) * 2024-02-28 2024-05-14 厦门理工学院 基于增强框架的物理对抗攻击方法、装置、设备及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3611654A1 (en) * 2018-08-15 2020-02-19 Koninklijke Philips N.V. System and method for analysis of microscopic image data and for generating an annotated data set for classifier training
WO2021184817A1 (zh) * 2020-03-16 2021-09-23 苏州科技大学 一种医学图像中肝脏及其病灶分割的方法
CN113674288A (zh) * 2021-07-05 2021-11-19 华南理工大学 一种非小细胞肺癌数字病理图像组织自动分割方法
WO2022100034A1 (zh) * 2020-11-10 2022-05-19 广州柏视医疗科技有限公司 基于深度学习的甲状腺细胞病理切片恶性区域的检测方法
CN114565605A (zh) * 2022-03-17 2022-05-31 华东师范大学 一种病理图像的分割方法及装置
CN114821052A (zh) * 2022-04-25 2022-07-29 西安电子科技大学 基于自调节策略的三维脑肿瘤核磁共振图像分割方法
CN114937045A (zh) * 2022-06-20 2022-08-23 四川大学华西医院 一种肝细胞癌病理图像分割系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140233826A1 (en) * 2011-09-27 2014-08-21 Board Of Regents Of The University Of Texas System Systems and methods for automated screening and prognosis of cancer from whole-slide biopsy images
WO2016201186A1 (en) * 2015-06-11 2016-12-15 University Of Pittsburgh-Of The Commonwealth System Of Higher Education Systems and methods for finding regions of interest in hematoxylin and eosin (h&e) stained tissue images and quantifying intratumor cellular spatial heterogeneity in multiplexed/hyperplexed fluorescence tissue images
US10453200B2 (en) * 2016-11-02 2019-10-22 General Electric Company Automated segmentation using deep learned priors
US10902256B2 (en) * 2018-02-21 2021-01-26 Case Western Reserve University Predicting response to immunotherapy using computer extracted features relating to spatial arrangement of tumor infiltrating lymphocytes in non-small cell lung cancer
US11783603B2 (en) * 2018-03-07 2023-10-10 Verily Life Sciences Llc Virtual staining for tissue slide images
WO2021225421A1 (ko) * 2020-05-08 2021-11-11 주식회사 루닛 면역 항암제에 대한 반응을 예측하는 방법 및 시스템
US11302444B2 (en) * 2020-05-29 2022-04-12 Boston Meditech Group Inc. System and method for computer aided diagnosis of mammograms using multi-view and multi-scale information fusion
EP3957712A1 (en) * 2020-08-21 2022-02-23 Sartorius Stedim Data Analytics AB Automated foam detection

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3611654A1 (en) * 2018-08-15 2020-02-19 Koninklijke Philips N.V. System and method for analysis of microscopic image data and for generating an annotated data set for classifier training
WO2021184817A1 (zh) * 2020-03-16 2021-09-23 苏州科技大学 一种医学图像中肝脏及其病灶分割的方法
WO2022100034A1 (zh) * 2020-11-10 2022-05-19 广州柏视医疗科技有限公司 基于深度学习的甲状腺细胞病理切片恶性区域的检测方法
CN113674288A (zh) * 2021-07-05 2021-11-19 华南理工大学 一种非小细胞肺癌数字病理图像组织自动分割方法
CN114565605A (zh) * 2022-03-17 2022-05-31 华东师范大学 一种病理图像的分割方法及装置
CN114821052A (zh) * 2022-04-25 2022-07-29 西安电子科技大学 基于自调节策略的三维脑肿瘤核磁共振图像分割方法
CN114937045A (zh) * 2022-06-20 2022-08-23 四川大学华西医院 一种肝细胞癌病理图像分割系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
乳腺超声肿瘤动态噪声指数及分割算法;邹海鹏;龚勋;胡毕杰;罗俊;;中国图象图形学报(10);全文 *

Also Published As

Publication number Publication date
US11935279B1 (en) 2024-03-19
CN115880262A (zh) 2023-03-31

Similar Documents

Publication Publication Date Title
CN115880262B (zh) 基于在线噪声抑制策略的弱监督病理图像组织分割方法
Chang et al. Artificial intelligence in pathology
CN111476284B (zh) 图像识别模型训练及图像识别方法、装置、电子设备
US20240177301A1 (en) System and Method Associated with Predicting Segmentation Quality of Objects in Analysis of Copious Image Data
EP3938948A1 (en) Multiple instance learner for prognostic tissue pattern identification
CN113947607A (zh) 一种基于深度学习的癌症病理图像生存预后模型构建方法
Popescu et al. Retinal blood vessel segmentation using pix2pix gan
CN108305253A (zh) 一种基于多倍率深度学习的病理全切片诊断方法
CN117015796A (zh) 处理组织图像的方法和用于处理组织图像的系统
CN116884623B (zh) 基于激光扫描成像的医疗康复预测系统
CN116884597A (zh) 基于自监督预训练和多示例学习的病理图像乳腺癌分子分型方法及系统
CN116128855A (zh) 一种基于病理图像特征检测肿瘤蛋白标记物表达水平算法
CN113826169A (zh) 用于根据多参数细胞和亚细胞成像数据表征细胞表型多样性的系统和方法
CN114580501A (zh) 骨髓细胞分类方法、系统、计算机设备及存储介质
CN116883432A (zh) 病灶图像的分割方法、装置、电子设备及可读存储介质
CN116486156A (zh) 融合多尺度特征上下文的全视野数字切片图像分类方法
CN116228759A (zh) 肾细胞癌类型的计算机辅助诊断系统及设备
Pan et al. A review of machine learning approaches, challenges and prospects for computational tumor pathology
Hossain et al. Early stage detection and classification of colon cancer using deep learning and explainable AI on histopathological images
CN113822252B (zh) 显微镜下病理图像细胞鲁棒检测方法
CN115719456A (zh) 一种基于深度学习的建筑物精细识别方法
Alhassan Driving Training-Based Optimization-Multitask Fuzzy C-Means (DTBO-MFCM) Image Segmentation and Robust Deep Learning Algorithm for Multicenter Breast Histopathological Images
Subramanya Deep Learning Models to Characterize Smooth Muscle Fibers in Hematoxylin and Eosin Stained Histopathological Images of the Urinary Bladder
Abioye et al. PERFORMANCE EVALUATION OF EFFICIENTNETV2 MODELS ON THE CLASSIFICATION OF HISTOPATHOLOGICAL BENIGN BREAST CANCER IMAGES
Fuchs et al. Inter-active learning of randomized tree ensembles for object detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20230331

Assignee: Guangxi Yiyoumi Information Technology Co.,Ltd.

Assignor: GUILIN University OF ELECTRONIC TECHNOLOGY

Contract record no.: X2023980046613

Denomination of invention: A Weakly Supervised Pathological Image Tissue Segmentation Method Based on Online Noise Suppression Strategy

Granted publication date: 20230905

License type: Common License

Record date: 20231108

EE01 Entry into force of recordation of patent licensing contract