CN116309333A - 一种基于深度学习的wsi图像弱监督病理分析方法及装置 - Google Patents

一种基于深度学习的wsi图像弱监督病理分析方法及装置 Download PDF

Info

Publication number
CN116309333A
CN116309333A CN202310090257.XA CN202310090257A CN116309333A CN 116309333 A CN116309333 A CN 116309333A CN 202310090257 A CN202310090257 A CN 202310090257A CN 116309333 A CN116309333 A CN 116309333A
Authority
CN
China
Prior art keywords
image
wsi
wsi image
module
pathological
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310090257.XA
Other languages
English (en)
Inventor
付钰
黄岩岩
卓成
张宏
薛乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Binjiang Research Institute Of Zhejiang University
Original Assignee
Binjiang Research Institute Of Zhejiang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Binjiang Research Institute Of Zhejiang University filed Critical Binjiang Research Institute Of Zhejiang University
Priority to CN202310090257.XA priority Critical patent/CN116309333A/zh
Publication of CN116309333A publication Critical patent/CN116309333A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/60—ICT specially adapted for the handling or processing of medical references relating to pathologies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的WSI图像弱监督病理分析方法，包括:步骤1、对原始WSI图像中的前景区域和背景区域进行阈值分割操作，并以是否存在病变对原始WSI图像进行标签标注，保留前景区域中的图像内容，与对应的原始WSI图像以及对应的标签组成数据集；步骤2、构建用于强化分析WSI图像信息的神经网络，神经网络包括预处理模块，patch划分模块，特征提取与分析模块，注意力模块以及实例聚类模块；步骤3、对神经网络进行训练，获得WSI图像处理模型；步骤4、将待处理的WSI图像输入至WSI图像处理模型中，输出带有病理区域图像强化的WSI图像。本发明还提供一种WSI图像弱监督病理分析装置。本发明方法识别精度高，具有数据有效性、可解释性以及强适应性。

Description

一种基于深度学习的WSI图像弱监督病理分析方法及装置
技术领域
本发明属于医疗图像工程技术领域，尤其涉及一种基于深度学习的WSI图像弱监督病理分析方法及装置。
背景技术
随着医学成像技术和人工智能技术的迅猛发展，将人工智能技术与数字病理分析相结合这一计算病理学的研究模式因其诊断可靠性、预后稳定性和治疗反馈好等优势，在WSI智能诊断领域展示出了强大的研究价值。除了直接的临床益处外，计算病理学在量化细胞组织微环境、进行综合图像组学分析、识别与预后相关的病理图像形态学特征以及将形态学与治疗反应和抗性相关联的各种不同任务中均显示出优异前景。
近年来，由于其解决多种图像分类和预测任务的能力，深度学习已经彻底改变了医学图像研究，但对于WSI图像而言，在slide-level做全尺度分析仍然较为复杂，目前还需要面对若干挑战。通常，基于深度学习的计算病理学方法需要在全监督的环境中手动标记具有千兆像素的WSI图像，或者在弱监督的环境中需要带有slide-level级别标签的大型数据集。鉴于slide-level级别的标签可能仅对应于每个大型千兆像素图像的微小区域，大多数方法都依赖于像素、patch或感兴趣区域(ROI)级别的注释来突出定位这些好比“大海捞针”的位置。虽然通过为WSI中的每个patch分配相同的标签已经展现出了有希望的结果，但这种方法极易受到训练标签噪音的影响，并且不适用于具有早期微癌变的病理图像。
专利文献CN115036011B公开了一种基于数字病理图像进行实体肿瘤预后评估的系统，该系统包括：：数据输入模块，用于将肿瘤病理标本进行预处理，并通过数字化成像形成HE染色的WSI图像；预后智能分析模块，用于基于神经卷积网络所训练成型的智能评估系统对HE染色的WSI图像进行处理，得到预后评估结果。该方法需要对原始WSI图像进行切片加病理特点标注，但是这样在模型进行图像划分过程中出现大量噪点，从而影响最终评估结果的准确性。
专利文献CN114972341B公开了一种基于贝叶斯辅助学习的WSI图像分类、系统及介质，该方法包括：获取WSI图像并进行阈值分割，得到病理图像块集；基于贝叶斯决策理论构建WSI分类模型，所述WSI分类模型包括图像块特征提取器、图像块分类器和特征融合及分类模块；初始化WSI分类模型，在病理图像块集上使用EM法迭代训练WSI分类模型，得到训练好的WSI分类模型；将待诊断WSI图像输入训练好的WSI分类模型，输出待诊断WSI图像的类别标签。该方法针对patch后图像进行识别标注，只能对其标注的病理进行分类，但是整体模型的泛化性不佳，无法实现跨病理迁移。
发明内容
为了解决上述问题，本发明提供了一种基于深度学习的WSI图像弱监督病理分析方法，该方法识别精度高，具有数据有效性、可解释性以及强适应性。
一种基于深度学习的WSI图像弱监督病理分析方法，其特征在于，包括：
步骤1、对原始WSI图像中的前景区域和背景区域进行阈值分割操作，并以是否存在病变对原始WSI图像进行标签标注，保留所述前景区域中的图像内容，与对应的原始WSI图像以及对应的标签组成数据集；
步骤2、构建用于强化分析WSI图像信息的神经网络，所述神经网络包括预处理模块，patch划分模块，特征提取与分析模块，注意力模块以及实例聚类模块，所述预处理模块用于对输入的WSI图像进行阈值分割操作，输出仅包含前景区域的WSI图像，所述patch划分模块用于将前景区域的WSI图像进行特定尺度的拆分，输出对应的patch尺度图像，所述特征提取与分析模块用于提取的patch尺度图像的图像特征，并转换为特征向量，所述注意力模块用于对输入的特征向量进行注意力操作，并将注意力操作结果作为输入WSI图像中各区域的权重分数，所述实例聚类模块用于对特征向量进行聚类分类，并根据对应区域的权重分数进行图像强化，以输出带有局部图像强化的WSI图像，所述图像强化区域为权重分数最高的区域；
步骤3、纳入经过步骤1处理后的数据集，对步骤2的神经网络进行训练，获得用于强化分析WSI图像信息的WSI图像处理模型；
步骤4、将待处理的WSI图像输入至步骤3训练获得的WSI图像处理模型中，经分析计算，输出带有病理区域图像强化的WSI图像。
本发明的方法充分利用探索patch-level级的表达到slide-level的表达的对应关系注意力机制和感知模式，以极大程度降低标签的需求量；同时直接对原始WSI进行涂色，在patch尺度将那些值得医生关注的区域涂为暖色(增强视觉关注)，不值得医生关注的区域涂为冷色(降低视觉关注)，从而减轻医生的工作强度。
所提出的分析方法可应用于：病理模型分析、受体预测表达分析、纵向病理预测在内的至少3种任务需求：
对于病理模型分析，所提出分析方法可以用于指明一张WSI其对应的癌变亚区域与非癌变亚区域，以及在此基础上对癌变区域解析对应的癌变类型(如：浸润性癌或其他癌)。
对于受体预测表达分析，所提出分析方法可以具体预测出对应受体的表达水平(指出特定受体比如ER受体是负表达、弱正表达还是强正表达)；
对于纵向病理预测，所提出分析方法可以用于预测出被试者的纵向生存时间，并给出较为精准的生存曲线(OS)。
优选的，所述阈值分割操作采用otsu算法，将WSI图像中的病理组织区域和冗余空白区域进行区分，将slide-level的图片中的无效部分予以剔除，从而减小计算成本。
具体的，当进行阈值分割操作时，需要对WSI图像进行降采样处理，将颜色空间从RGB空间转换为HSV空间。
具体的，在步骤2中，所述patch划分模块的拆分尺寸包括但不限于128*128像素，256*256像素和512*512像素，基于用户指定的放大倍数并存储成堆的图像块及其坐标和使用hdf5分层数据格式的slide元数据。
优选的，在步骤2中，所述特征提取与分析模块基于Resnet+CNN框架进行构建，通过CNN模型编码器将patch尺度图像的描述性特征转变为特征的嵌套集合，采用在ImageNet上预训练的ResNet50模型并使用自适应网络的第三个残差块之后的均值空间池化模块以将patch图像转换成目标维度的特征向量，由于使用提取的特征向量而不是原始的特征数据作为输入的好处在于，这使得基于弱监督学习的深度学习模型可以获得更短的训练时间和更低的计算成本。
具体的，在步骤2中，所述实例聚类模块包括但不限于SVM分类器，并采用平滑SVM损失函数进行聚类分类。
具体的，在步骤2中，所述实例聚类模块的图像强化采用反向涂色操作，暖色调为高风险区域，冷色调为低风险区域；在训练期间，鉴于ground-truth label，patch中的强参与(通常用包括红色在内的暖色调颜色图表示)和弱参与(通常用包括蓝色在内的冷色调颜色图表示)区域可以另外用作代表性样本来监督学习丰富的patch级特征空间的聚类层，可在不同类别的正面和负面实例之间分离。
本发明还提供了一种WSI图像弱监督病理分析装置，该装置可以快速对WSI图像中可能作为病理诊断依据内容进行图像强化，为医生诊断提供有效的指导，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，所述计算机存储器中采用上述的WSI图像处理模型；
所述计算机处理器执行所述计算机程序时实现以下步骤：将待分析的WSI图像输入至图像处理模块中，经分析输出具有病理区域图像强化的WSI图像。
与现有技术相比，本发明的有益效果：
(1)训练获得的模型对于WSI病理图像图的预测效果较好，且对于病变区域与非病变区域拥有较高的识别率。
(2)模型对于多站点、强异质性数据有较强的鲁棒性，能适于不同扫描仪和不同染色协议的真实世界临床数据。
(3)只需要有slide-level级别的标记，而不需要patch级别对特定感兴趣区域的标记，因此能显著降低临床研究人员、临床医生的工作强度。
(4)检测系统普适于病理模型分析(癌与非癌)、受体预测表达分析(正表达与无表达)、纵向病理预测等多种高复杂度、高难度任务。
附图说明
图1为本发明提供的WSI图像弱监督病理分析方法的流程图；
图2为本实施例提供的阈值分割操作的流程图；
图3为本实施例提供的WSI图像特征提取与分析以及注意力操作的流程图；
图4为本实施例提供的实例聚类模块关于patch划分界限图学习原理图；
图5为本实施例提供的模型判断出的高低注意力得分patch可视化输出结果；
图6为本实例提供的输入WSI图像与病理区域图像强化后的WSI图像。
具体实施方式
如图1所示，一种WSI图像弱监督病理分析方法，包括：
步骤1、对原始WSI图像中的前景区域和背景区域进行阈值分割操作，如图2所示，其具体过程如下：
步骤1-1、读取任意格式WSI图像文件；
步骤1-2、完整金字塔数据写出、svs(tif)格式生成；
步骤1-3、基于otsu算法的阈值分割(提取有意义ROI，去除无意义ROI)；d)保存经过otsu算法裁剪后的图像，开始执行初步patch化；
步骤1-4、执行人工QC，确保最终采样图像与patch化数据正确可用；
步骤1-5、Patch数据生成、打包(保存为hdf5文件)；
步骤1-6、Patch坐标保存、映射关系保存(保存为hdf5文件)。
再以是否存在病变对原始WSI图像进行标签标注，保留前景区域中的图像内容，与对应的原始WSI图像以及对应的标签组成数据集。
步骤2、构建用于强化分析WSI图像信息的神经网络，其中神经网络包括预处理模块，patch划分模块，特征提取与分析模块，注意力模块以及实例聚类模块。
预处理模块用于对输入的WSI图像进行阈值分割操作，输出仅包含前景区域的WSI图像。
patch划分模块用于将前景区域的WSI图像进行特定尺度的拆分，输出对应的patch尺度图像；
更具体的，对于每张WSI，检测系统会彻底裁剪经前序otsu算法分割好的前景轮廓内图像至特定像素尺度的patch(如：256*256像素)，而具体每个patch所包含的像素数量通常可以基于用户指定的放大倍数进行适应性地变化(如：也可以取更小的128*128像素或者更大的512*512像素等)。每一张WSI的所有patch及其坐标均使用hdf5数据格式进行存储，保存在检测系统附带的硬盘内。根据每个WSI的大小和用户指定放大倍数的不同，patch数量通常可以从数百个(常规活检WSI以×20放大倍数划分patch)到数十万(大型WSI以×40甚至×64放大倍数分patch)。
特征提取与分析模块用于提取的patch尺度图像的图像特征，并转换为特征向量；
更具体的，使用Resnet+CNN框架来计算每张WSI图像每个patch的低维特征表示。即，系统采用在ImageNet上预训练的ResNet50模型并使用自适应网络的第三个残差块之后的均值空间池化模块以将256*256大小的patch转换成1024维的特征向量。
检测系统内部由多块GPU组成，每块GPU均根据用户需求自适应地选择合适的batch size(例如：每块GPU使用64或者128)来并行处理数据。检测系统使用经过提取后的特征向量而不是原始的特征数据作为输入的好处在于，这使得基于弱监督学习的深度学习模型可以获得更短的训练时间和更低的计算成本。因为这一优点，只要特征向量被提取出来，检测系统所包含的深度学习模型便能在几小时内完成对上千张WSI图像的处理和分析。与直接使用原始像素相比，使用经过提取后的特征向量可以将每一张全尺度WSI所有patch(150,000个或更多)都能被同时读入内存中，并同时运行在单个消费者级别的GPU上，从而显著避免采样patch过程中引入噪音标签的风险。
注意力模块用于对输入的特征向量进行注意力操作，并将注意力操作结果作为输入WSI图像中各区域的权重分数；
更具体的，对于每种病理类(如：癌症风险区域与非癌症区域)，注意力网络都将对WSI中的区域进行排序，并根据其相对slide-level判断的相对重要性分配注意力分数。注意力池通过各自注意力的分数权衡patch权重，并最终将patch级别的特征总结为slide-level级别的表示。同时在训练期间，基于实况的标签，强参与和弱参与区域可以另外用作代表性样本来监督学习具有丰富信息的patch级别特征空间聚类层。此外，注意力分数可以可视化为热力图，以识别ROI并解释用于诊断的重要形态学特征。
实例聚类模块用于对特征向量进行聚类分类，并根据对应区域的权重分数进行图像强化，以输出带有局部图像强化的WSI图像；对于热力图涂色原则来说，权重分数越高的区域，图像强化颜色越深。
步骤3、纳入经过步骤1处理后的数据集，对步骤2的神经网络进行训练，获得用于强化分析WSI图像信息的WSI图像处理模型。
步骤4、将待处理的WSI图像输入至步骤3训练获得的WSI图像处理模型中，经分析计算，输出带有病理区域图像强化的WSI图像。
如图3所示，为特征提取与分析以及注意力操作的具体过程：
步骤2-1、将patch堆叠数据喂入Resnet+CNN模型骨架(执行卷积采样、特征提取)；
步骤2-2、将patch尺度描述性特征进行特征映射，进一步转化为特征的嵌套集合，并通过注意力骨架进行整合；步骤2-3、
构造Slide-level层级分类，用于弱监督病理预测或受体预测分析。
如图4和图5所示，实例聚类模块通过SVM分类器在patch尺度去找到不同病理模式区域(癌与非癌)、不同受体表达(正表达与无表达)的核心特征分类边界；通过优化该分类边界，形成优异的聚类与分类结果；在此基础上，如果每个被试者存在多张纵向随访WSI图像，则模型也能输出预测出的被试者存活率曲线，用于精准评判被试者存活情况。
本实施例还提供了一种WSI图像弱监督病理分析装置，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在计算机处理器上执行的计算机程序，该计算机存储器中采用上述实施例中提出的WSI图像处理模型；
计算机处理器执行所述计算机程序时实现以下步骤：将待分析的WSI图像输入至图像处理模块中，经分析输出具有病理区域图像强化的WSI图像；
进一步地，在送入的数据预处理端口之前，WSI会先被检测系统进行降采样处理(例如：32倍降采样、64倍降采样)，并从RGB空间被转换为HSV色彩空间，之后才被正式读进检测系统。在此基础上，检测系统还会计算病理组织区域区域(前景区域)的二元掩码，其具体计算思路是基于对图像的饱和通道进行阈值化确定，通过中值模糊使边缘平滑，然后进行额外的形态学闭合处理以填充WSI图像组织间的小间隙和小孔洞。检测系统会根据区域阈值过滤检测到的病理组织区域对象的近似轮廓进行数据存储以供下游处理，同时每张WSI的分割掩码将被自动保存于系统硬盘以使其可用于后续流程中的可能需要的视觉检查步骤。在以上过程中，系统也会自动生成一个用户易读的数据文本文件，该数据文本文件中写入了已经处理过的文件列表以及其对应的关键分割参数。
如图6所示，图左为待分析的WSI图像，图右为输出具有病理区域图像强化的WSI图像，具体的过程为：将经过SVM聚类分类后的特征整合为slide-level层级的表示，并通过反向涂色形成可视化的WSI阅览图像，其中暖色调为高风险区域(偏癌症或者强受体表达)，冷色调为低风险区域(偏正常区域或者弱受体表达)，并可进一步送入下游任务，辅助临床医生、科研工作者执行后续研究、分析。

Claims (9)

1.一种基于深度学习的WSI图像弱监督病理分析方法，其特征在于，包括：
步骤1、对原始WSI图像中的前景区域和背景区域进行阈值分割操作，并以是否存在病变对原始WSI图像进行标签标注，保留所述前景区域中的图像内容，与对应的原始WSI图像以及对应的标签组成数据集；
步骤2、构建用于强化分析WSI图像信息的神经网络，所述神经网络包括预处理模块，patch划分模块，特征提取与分析模块，注意力模块以及实例聚类模块，所述预处理模块用于对输入的WSI图像进行阈值分割操作，输出仅包含前景区域的WSI图像，所述patch划分模块用于将前景区域的WSI图像进行特定尺度的拆分，输出对应的patch尺度图像，所述特征提取与分析模块用于提取的patch尺度图像的图像特征，并转换为特征向量，所述注意力模块用于对输入的特征向量进行注意力操作，并将注意力操作结果作为输入WSI图像中各区域的权重分数，所述实例聚类模块用于对特征向量进行聚类分类，并根据对应区域的权重分数进行图像强化，以输出带有局部图像强化的WSI图像，所述图像强化区域为权重分数最高的区域；
步骤3、纳入经过步骤1处理后的数据集，对步骤2的神经网络进行训练，获得用于强化分析WSI图像信息的WSI图像处理模型；
步骤4、将待处理的WSI图像输入至步骤3训练获得的WSI图像处理模型中，经分析计算，输出带有病理区域图像强化的WSI图像。
2.根据权利要求1所述的基于深度学习的WSI图像弱监督病理分析方法，其特征在于，所述阈值分割操作采用otsu算法，将WSI图像中的病理组织区域和冗余空白区域进行区分。
3.根据权利要求1或2所述的基于深度学习的WSI图像弱监督病理分析方法，其特征在于，当进行阈值分割操作时，需要对WSI图像进行降采样处理，将颜色空间从RGB空间转换为HSV空间。
4.根据权利要求1所述的基于深度学习的WSI图像弱监督病理分析方法，其特征在于，在步骤2中，所述patch划分模块的拆分尺寸包括但不限于128*128像素，256*256像素和512*512像素。
5.根据权利要求1所述的基于深度学习的WSI图像弱监督病理分析方法，其特征在于，在步骤2中，所述特征提取与分析模块基于Resnet+CNN框架进行构建，通过CNN模型编码器将patch尺度图像的描述性特征转变为特征的嵌套集合。
6.根据权利要求1所述的基于深度学习的WSI图像弱监督病理分析方法，其特征在于，在步骤2中，所述注意力模块用于对WSI中slide-level的各局部区域进行排序，并根据排序结果相对于slide-level的重要程度进行注意力分数分配。
7.根据权利要求1所述的基于深度学习的WSI图像弱监督病理分析方法，其特征在于，在步骤2中，所述实例聚类模块包括但不限于SVM分类器，并采用平滑SVM损失函数进行聚类分类。
8.根据权利要求1所述的基于深度学习的WSI图像弱监督病理分析方法，其特征在于，在步骤2中，所述实例聚类模块的图像强化采用反向涂色操作，暖色调为高风险区域，冷色调为低风险区域。
9.一种WSI图像弱监督病理分析装置，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，其特征在于，所述计算机存储器中采用如权利要求1所述的WSI图像处理模型；
所述计算机处理器执行所述计算机程序时实现以下步骤：将待分析的WSI图像输入至WSI图像处理模块中，经分析输出具有病理区域图像强化的WSI图像。
CN202310090257.XA 2023-02-09 2023-02-09 一种基于深度学习的wsi图像弱监督病理分析方法及装置 Pending CN116309333A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310090257.XA CN116309333A (zh) 2023-02-09 2023-02-09 一种基于深度学习的wsi图像弱监督病理分析方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310090257.XA CN116309333A (zh) 2023-02-09 2023-02-09 一种基于深度学习的wsi图像弱监督病理分析方法及装置

Publications (1)

Publication Number Publication Date
CN116309333A true CN116309333A (zh) 2023-06-23

Family

ID=86819535

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310090257.XA Pending CN116309333A (zh) 2023-02-09 2023-02-09 一种基于深度学习的wsi图像弱监督病理分析方法及装置

Country Status (1)

Country Link
CN (1) CN116309333A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117173072A (zh) * 2023-11-03 2023-12-05 四川大学 一种基于深度学习的弱激光图像增强方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117173072A (zh) * 2023-11-03 2023-12-05 四川大学 一种基于深度学习的弱激光图像增强方法及装置
CN117173072B (zh) * 2023-11-03 2024-02-02 四川大学 一种基于深度学习的弱激光图像增强方法及装置

Similar Documents

Publication Publication Date Title
Li et al. A comprehensive review of computer-aided whole-slide image analysis: from datasets to feature extraction, segmentation, classification and detection approaches
Salvi et al. The impact of pre-and post-image processing techniques on deep learning frameworks: A comprehensive review for digital pathology image analysis
Gertych et al. Machine learning approaches to analyze histological images of tissues from radical prostatectomies
Oskal et al. A U-net based approach to epidermal tissue segmentation in whole slide histopathological images
Wan et al. Accurate segmentation of overlapping cells in cervical cytology with deep convolutional neural networks
George et al. Remote computer-aided breast cancer detection and diagnosis system based on cytological images
Mao et al. Supervised learning-based cell image segmentation for p53 immunohistochemistry
Wan et al. Robust nuclei segmentation in histopathology using ASPPU-Net and boundary refinement
US9111179B2 (en) High-throughput biomarker segmentation utilizing hierarchical normalized cuts
US20220058839A1 (en) Translation of images of stained biological material
AU2015307296A1 (en) Method and device for analysing an image
Gandomkar et al. Computer-based image analysis in breast pathology
Pan et al. Cell detection in pathology and microscopy images with multi-scale fully convolutional neural networks
CN112132166A (zh) 一种数字细胞病理图像智能分析方法、系统及装置
JP2022547722A (ja) 細胞検出およびセグメンテーションのための弱教師ありマルチタスク学習
He et al. Segmentation ability map: Interpret deep features for medical image segmentation
CN116309333A (zh) 一种基于深度学习的wsi图像弱监督病理分析方法及装置
CN117036288A (zh) 一种面向全切片病理图像的肿瘤亚型诊断方法
Sertel et al. Computer-aided prognosis of neuroblastoma: classification of stromal development on whole-slide images
Nyemeesha A systematic study and approach on detection of classification of skin cancer using back propagated artificial neural networks
Masood et al. Orientation sensitive fuzzy C means based fast level set evolution for segmentation of histopathological images to detect skin cancer
Mosaliganti et al. An imaging workflow for characterizing phenotypical change in large histological mouse model datasets
Łowicki et al. Towards sustainable health-detection of tumor changes in breast histopathological images using deep learning
Naik et al. Hybrid Feature Set based Mitotic Detection in Breast Histopathology Images
Siddique et al. Effective Segmentation of Liver CT images using Marker Controlled Watershed Algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination