CN115578560A - 基于深度学习的ihc膜浆表达病理图像的癌区分割方法 - Google Patents

基于深度学习的ihc膜浆表达病理图像的癌区分割方法 Download PDF

Info

Publication number
CN115578560A
CN115578560A CN202211225388.6A CN202211225388A CN115578560A CN 115578560 A CN115578560 A CN 115578560A CN 202211225388 A CN202211225388 A CN 202211225388A CN 115578560 A CN115578560 A CN 115578560A
Authority
CN
China
Prior art keywords
image
cancer
data
ihc
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211225388.6A
Other languages
English (en)
Inventor
王�华
杨泽鹏
吴金鹏
杨万祥
刘彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Zhihui Mingyi Medical Technology Co ltd
Original Assignee
Hangzhou Zhihui Mingyi Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Zhihui Mingyi Medical Technology Co ltd filed Critical Hangzhou Zhihui Mingyi Medical Technology Co ltd
Priority to CN202211225388.6A priority Critical patent/CN115578560A/zh
Publication of CN115578560A publication Critical patent/CN115578560A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/32Indexing scheme for image data processing or generation, in general involving image mosaicing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供一种基于深度学习的IHC模浆病理图像的癌区分割方法及装置,所述方法包括:获取包含IHC癌区染色的全片数字病理图像;对全片数字病理图像进行筛选特征区域并进行癌区与非癌区标注,得到对应的标签数据,对全片数据病理的真实图像及标签数据进行对应性的随机裁剪;将裁剪后图像及标签数据输入模型进行训练,直至模型性能数据达到预设标准;获取待分析的目标图像,根据随机裁剪的图像大小对目标图像进行随机裁剪并输入卷积神经网络模型,得到目标图像的癌区裁剪图像并拼接,得到目标图像的癌区图像。采用本方法能够对整个数字病理切片图像进行自动分析,对上皮来源性肿瘤的IHC膜浆表达标记物染色全片数字病理图像进行精准的癌区分割。

Description

基于深度学习的IHC膜浆表达病理图像的癌区分割方法
技术领域
本发明涉及病理图像技术领域,尤其涉及一种基于深度学习的IHC膜浆表达病理图像的癌区分割方法及装置。
背景技术
目前肿瘤免疫治疗已经成为肿瘤治疗的有效方法之一。这是继手术、放疗、化疗等传统治疗方法后快速发展的新一代肿瘤治疗方法,与手术、放疗和化疗等传统的治疗手段相比,肿瘤免疫治疗具有特异性强,副作用小的优点,目前已经成为上皮来源恶性肿瘤的主要治疗方法。免疫组织化学染色技术(Immunohistochemistry,简称免疫组化,IHC)是一种广泛用于病理领域用于辅助肿瘤病理诊断及指导肿瘤治疗的染色方法。其通过抗原抗体酶标显色的化学反应方法,对组织细胞中特定的蛋白质(抗原)进行染色,反映组织中的细胞形态及特定的功能蛋白分子表达情况。免疫组化在肿瘤诊断的作用:判断良恶性;确定肿瘤分期;判断细胞属性;确定来源不明的转移瘤的原发部位;对「未分类」恶性肿瘤的分类;对不同器官和组织交界处肿瘤的进一步分类,发现微小转移灶,治疗及预后,药物靶点选择等等。免疫组织化学检测结果可为病理诊断提供重要信息,指导临床医师准确诊断肿瘤,指导临床医师制定治疗方案和治疗方案。准确判断肿瘤免疫组织化学检查结果和肿瘤细胞的阳性率,直接影响到肿瘤的诊断和治疗效果。因此对肿瘤组织和细胞的准确判断尤为重要。对免疫组化染色结果的判读,需要根据特定的检测标记物的表达模式,判断肿瘤组织或特定的组织结构中的细胞阳性率。准确判断肿瘤组织,是精准判读的基础。
目前常用辅助肿瘤病理诊断和指导治疗的免疫组化标记物约二百余种,其中约80%均为膜表达或膜浆表达模式,约20%为核表达模式。在免疫组化诊断中,与连续判断显微镜下多个区域视野下的肿瘤组织和阳性细胞表达情况相比较,通常需要获取整张组织切片中肿瘤组织与阳性细胞所占比例,因此进行全片数字病理图像(Whole Slide Image,简称WSI)的分析是必要的。基于约80%的IHC肿瘤标记物为膜浆表达模式,所以对IHC膜浆表达的上皮性肿瘤染色切片进行精准的癌区分割,具有非常重要的现实意义。
对IHC图像分析方法的精准性、有效性和速度也是尤为重要的。目前,主流的癌区分割主要通过机器学习和图像形态学的方式实现:阈值法、模糊理论、遗传算法、分水岭等算法。因为肿瘤的蛋白表达在不同的个体与肿瘤类型中有非常明显的差异化,传统的图像分析方法在实现癌区分割的方面,不但精确性和有效性不能实现IHC数字切片全片癌区分割的要求,而且在分析过程中需要有经验的病理医生进行实时协作,医生的工作效率受到极大的影响。
发明内容
针对现有技术中存在的问题,本发明实施例提供一种基于深度学习的IHC膜浆表达病理图像的癌区分割方法及装置。
本发明实施例提供一种基于深度学习的IHC膜浆表达病理图像的癌区分割方法,包括:
获取病理组织切片,所述病理组织切片包含上皮性肿瘤IHC癌区膜浆阳性与阴性染色、非癌区染色,并对所述病理组织切片进行扫描采集成像,得到全片数字病理图像;
基于所述全片数字病理图像中的IHC染色情况,筛选特征区域并进行癌区与非癌区的标注,并基于标注区域的位置信息,得到对应的标签数据与真实图像数据,对所述标注区域进行对应性的随机裁剪,得到裁剪后对应的真实图像数据及标签数据;
将裁剪后的真实图像数据及标签数据输入卷积神经网络模型进行训练,直至卷积神经网络模型的性能数据达到预设标准,得到训练后的卷积神经网络模型;
获取待分析的目标图像,根据所述随机裁剪的图像大小对所述目标图像进行遍历裁剪,将遍历裁剪后的目标图像输入所述训练后的卷积神经网络模型,得到所述目标图像的癌区分割结果图像,将所述癌区分割结果图像进行全片拼接,得到所述目标图像的癌区分割图像。
在其中一个实施例中,所述方法还包括:
根据映射关系,设置与所述全片数据病理图像的真实图像数据一一对应的标签数据,所述标签数据包括全片数据病理图像的真实图像数据对应的坐标信息,以及根据所述IHC癌区染色对应的癌区类别信息。
在其中一个实施例中,所述方法还包括:
将所述全片数据病理图像及真实标签图像对应性的切割为256*256像素大小的小图片,间隔步幅为128像素的真实图像数据及对应的标签数据。
在其中一个实施例中,所述方法还包括:
对裁剪后的真实图像数据进行迭代训练,并将迭代训练的结果与对应的标签数据进行计算,直至得到的性能数据达到预设阈值,性能数据包括:精确率、召回率、IOU、F1-score。
在其中一个实施例中,所述方法还包括:
根据所述性能数据得到所述卷积神经网络模型的模型性能,获取所述病理组织切片的细胞类型,将所述细胞类型、卷积神经网络模型及对应的模型性能对应保存。
在其中一个实施例中,所述方法还包括:
将所述裁剪后的真实图像数据分为训练集和验证集,将所述训练集以及对应的标签数据输入到卷积神经网络模型进行训练,直至卷积神经网络模型的性能数据达到预设标准,得到训练后的卷积神经网络模型;
通过所述验证集以及对应的标签数据输入到训练后的初步卷积神经网络模型进行测试,测试完成后得到所述训练后的卷积神经网络模型。
本发明实施例提供一种基于深度学习的IHC膜浆表达病理图像的癌区分割装置,包括:
获取模块,用于获取病理组织切片,所述病理组织切片包含上皮性肿瘤IHC癌区膜浆阳性与阴性染色、非癌区染色,并对所述病理组织切片进行扫描采集成像,得到全片数字病理图像;
预处理模块,用于基于所述全片数字病理图像中的IHC染色情况,筛选特征区域并进行癌区与非癌区的标注,并基于标注区域的位置信息,得到对应的标签数据与真实图像数据,对所述标注区域进行对应性的随机裁剪,得到裁剪后对应的真实图像数据及标签数据;
训练模块,用于将裁剪后的真实图像数据及标签数据输入卷积神经网络模型进行训练,直至卷积神经网络模型的性能数据达到预设标准,得到训练后的卷积神经网络模型;
分析模块,用于获取待分析的目标图像,根据所述随机裁剪的图像大小对所述目标图像进行遍历裁剪,将遍历裁剪后的目标图像输入所述训练后的卷积神经网络模型,得到所述目标图像的癌区分割结果图像,将所述癌区分割结果图像进行全片拼接,得到所述目标图像的癌区分割图像。
在其中一个实施例中,所述装置还包括:
标签模块,用于根据映射关系,设置与所述全片数据病理图像的真实图像数据一一对应的标签数据,所述标签数据包括全片数据病理图像的真实图像数据对应的坐标信息,以及根据所述IHC癌区染色对应的癌区类别信息。
本发明实施例提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述基于深度学习的IHC膜浆表达病理图像的癌区分割方法的步骤。
本发明实施例提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述基于深度学习的IHC膜浆表达病理图像的癌区分割方法的步骤。
本发明实施例提供的一种基于深度学习的IHC膜浆表达病理图像的癌区分割方法及装置,获取病理组织切片,病理组织切片包含上皮性肿瘤IHC癌区膜浆阳性与阴性染色、非癌区染色,并对病理组织切片进行扫描采集成像,得到全片数字病理图像;基于全片数字病理图像中的IHC染色情况,筛选特征区域并进行癌区与非癌区的标注,并基于标注区域的位置信息,得到对应的标签数据与真实图像数据,对标注区域进行对应性的随机裁剪,得到裁剪后对应的真实图像数据及标签数据;将裁剪后的真实图像数据及标签数据输入卷积神经网络模型进行训练,直至卷积神经网络模型的性能数据达到预设标准,得到训练后的卷积神经网络模型;获取待分析的目标图像,根据随机裁剪的图像大小对目标图像进行遍历裁剪,将遍历裁剪后的目标图像输入训练后的卷积神经网络模型,得到目标图像的癌区分割结果图像,将癌区分割结果图像进行全片拼接,得到目标图像的癌区分割图像。这样利用深度学习的方法对免疫组化IHC染色膜浆表达的上皮性肿瘤进行癌区分割,从而能够对整个数字病理切片图像全片进行自动分析和精准的癌区分割。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中一种基于深度学习的IHC膜浆表达病理图像的癌区分割方法的流程图;
图2为本发明实施例中另一种基于深度学习的IHC膜浆表达病理图像的癌区分割方法的流程图;
图3为本发明实施例中一种宫颈癌CK-Pan染色数字病理图像全片样例;
图4为本发明实施例中一种模型预测宫颈癌CK-Pan染色裁剪图像生成遮罩示意图;
图5为本发明实施例中一种宫颈癌CK-Pan染色裁剪图像模型对全片进行癌区分割最终效果图;
图6 为发明实施例中一种宫颈癌CK-Pan染色全片数字图像癌区分割效果图;
图7为本发明实施例中一种基于深度学习的IHC膜浆表达病理图像的癌区分割装置的结构图;
图8为本发明实施例中电子设备结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例提供的一种基于深度学习的IHC膜浆表达病理图像的癌区分割方法的流程示意图,如图1所示,本发明实施例提供了一种基于深度学习的IHC膜浆表达病理图像的癌区分割方法,包括:
步骤S101,获取病理组织切片,所述病理组织切片包含上皮性肿瘤IHC癌区膜浆阳性与阴性染色、非癌区染色,并对所述病理组织切片进行扫描采集成像,得到全片数字病理图像。
具体地,获取包含上皮性肿瘤IHC膜浆阳性与阴性染色、非癌区染色的病理组织切片,其中,IHC染色标记物可以包括如HER2, 细胞角蛋白CK系列,EMA,P504S, HMB45,Desmin, Actin, CEA, E-Ca,多药耐药相关基因标记物,而病理组织切片为上皮性肿瘤切片,类型可以包括乳腺癌,宫颈癌,食道癌,皮肤鳞癌、非小细胞肺癌,胃癌、结直肠癌、泌尿上皮癌等等,然后通过数字扫描仪等扫描设备对病理组织切片进行连续扫描采集成像,通过图像压缩存储软件将其拼接为整张全视野数字切片图像,即全片数字病理图像(WholeSlide Image,简称WSI)。
步骤S102,基于所述全片数字病理图像中的IHC染色情况,筛选特征区域并进行癌区与非癌区的标注,并基于标注区域的位置信息,得到对应的标签数据与真实图像数据,对所述标注区域进行对应性的随机裁剪,得到裁剪后对应的真实图像数据及标签数据;
具体地,基于已通过标注过的IHC染色全片数据病理图像,获取标注区域病理图像(真实图像数据)和其对应的标签图像,根据映射关系,设置与全片数据病理图像一一对应的标签图像,标签图像包括全片数字病理图像对应的坐标信息,以及根据标注对应的类别信息。标签通道数为W*H*2,其中,W和H分别为真实标签图像的宽度和高度,也是其对应位置的数字病理图像遮罩的宽度和高度,两者的像素位置为一一对应的映射关系,数字病理图像中癌区所在像素位置在真实标签图像中的像素值为1,非癌区位置为0。2为通道数,代表对像素做二分类判断,两个通道表示该像素点判断为癌区的概率或非癌区的概率。然后将标注区域图像数据及标签图像对应性的切割为256*256像素大小的小图片,裁剪切割为随机性裁剪切割,间隔步幅为128像素,并且将随机裁剪的小图像由RGB通道转化为灰度通道,转化为灰度图。
步骤S103,将裁剪后的真实图像数据及标签数据输入卷积神经网络模型进行训练,直至卷积神经网络模型的性能数据达到预设标准,得到训练后的卷积神经网络模型。
具体地,将裁剪后的标注区域病理图像数据分为训练集和调优集,将训练集以及对应的真实标签图像输入到卷积神经网络模型进行训练时,对训练集进行数据分组,具体可以将数据分为80%的训练集与20%的调优集。通过训练集以及对应的真实标签图像输入到卷积神经网络模型进行初步训练,得到初步卷积神经网络模型,然后通过调优集以及对应的真实标签图输入到训练后的初步卷积神经网络模型进行测试,得到训练后的卷积神经网络模型。
另外,将标注区域裁剪后的病理图像数据及对应的真实标签图像输入卷积神经网络模型进行训练,对裁剪后的全片数据病理图像进行迭代训练,并将迭代训练的结果与对应的真实标签图像进行计算,直至得到的性能数据达到预设阈值,本实施例中的卷积神经网络模型可以采用改进的U-Net模型结构训练癌区分割模型,改进的U-Net模型结构在初始U-Net基础上加入了预处理切割裁剪。训练过程中,可将每张图像分割成256*256像素大小的小图作为输入图像,批处理大小设为16,学习率为0.001,最大迭代次数为1500epochs(迭代轮次),损失函数为BCE_Diceloss,采用AdamW优化算法进行模型训练。主干网络采用ResNet50,Dropout设置为0.5增强泛化性,然后根据训练结果计算性能数据,包括:
精确率 = 癌区分割正确的像素数/预测的癌区总数;
召回率 = 癌区分割正确的像素数/实际的细胞总数;
F1-score = 2×精确率×召回率/(精确率+召回率);
IOU = 癌区分割机器判读区域与正确区域的交集/癌区分割机器判读区域与正确区域的并集;当上述性能数据达到预设标准,得到训练后的卷积神经网络模型,比如细胞癌区分割的精确率、召回率、灵敏度与IOU均大于85%,F1-score大于90%。
另外,对已训练的癌区分割模型进行性能评估。使用完成训练的癌区分割模型对测试图像进行预测,比较预测结果和真实标注结果,评估模型性能,得到一个性能达到预设目标的癌区分割模型,获取病理组织切片图像分割类型,将分割类型、卷积神经网络模型及对应的模型性能对应保存。
步骤S104,获取待分析的目标图像,根据所述随机裁剪的图像大小对所述目标图像进行遍历裁剪,将遍历裁剪后的目标图像输入所述训练后的卷积神经网络模型,得到所述目标图像的癌区分割结果图像,将所述癌区分割结果图像进行全片拼接,得到所述目标图像的癌区分割图像。
具体地,获取待分析的目标全片数字图像,对全片数字图像进行如前述全片数字病理图像的相同处理,比如:将目标全片数字图像处理为与癌区分割模型(卷积神经网络模型)所用训练图像相同的分辨率大小,并将预处理后的目标图像分割成若干预设大小的小图,预设大小与前述模型训练裁剪病理图像中的预设大小相同,均为256*256像素大小;将图像的RGB通道转化为灰度通道,使测试图像转化为灰度图,然后将遍历裁剪后的目标图像输入训练后的癌区分割模型,得到对应的目标图像的癌区裁剪图像,即得到若干个256*256*N像素大小的概率图,概率为0到1的小数,N为通道数,在本实例中设置为2,每个通道分别为癌区与非癌区的预测概率,每个像素位置上所有通道的概率总和为1,将癌区裁剪图像进行拼接,得到目标图像的癌区图像。
本发明实施例提供的一种基于深度学习的IHC膜浆表达病理图像的癌区分割方法,获取病理组织切片,病理组织切片包含上皮性肿瘤IHC癌区膜浆阳性与阴性染色、非癌区染色,并对病理组织切片进行扫描采集成像,得到全片数字病理图像;基于全片数字病理图像中的IHC染色情况,筛选特征区域并进行癌区与非癌区的标注,并基于标注区域的位置信息,得到对应的标签数据与真实图像数据,对标注区域进行对应性的随机裁剪,得到裁剪后对应的真实图像数据及标签数据;将裁剪后的真实图像数据及标签数据输入卷积神经网络模型进行训练,直至卷积神经网络模型的性能数据达到预设标准,得到训练后的卷积神经网络模型;获取待分析的目标图像,根据随机裁剪的图像大小对目标图像进行遍历裁剪,将遍历裁剪后的目标图像输入训练后的卷积神经网络模型,得到目标图像的癌区分割结果图像,将癌区分割结果图像进行全片拼接,得到目标图像的癌区分割图像。这样利用深度学习的方法对免疫组化IHC染色膜浆表达的上皮性肿瘤进行癌区分割,从而能够对整个数字病理切片图像全片进行自动分析和精准的癌区分割。
在本申请的另一实施例中,基于深度学习的IHC膜浆表达病理图像的癌区分割方法流程图如图2所示,实例性的,在本实例中,采用宫颈癌CK-Pan IHC染色病理图像做出演示,包括如下步骤:
1.获取全片数字病理图像,筛选特征区域并标注,本实施例中标注包括癌区与非癌区等信息。
2.利用含有癌区与非癌区标注的数字病理图像,基于构建的语义分割模型结构训练一个癌区分割模型。具体的实现步骤如下:
(1)构建癌区分割模型训练过程中所需数据集。基于已标注过的数字病理图像,获取标注区域内的数字病理图像和其对应的真实标签图像。真实标签图像包含癌区对应位置以及坐标等信息。真实标签通道数为W*H*N,其中,W和H分别为真实标签图像的宽度和高度,也是其对应的数字病理图像的宽度和高度,两者的像素位置为一一对应的映射关系,数字病理图像中细胞中心点所在像素位置在真实标签图像中的像素值为1,其余位置为0。N为通道数,本例中设为2,两个通道表示该像素点判断为癌区的概率或非癌区的概率;
示例性地,本实施例中采用宫颈癌CK-Pan IHC染色数字全片做出展示,按照肿瘤组织特征将其分为癌组织区域和非癌组织两类。其中,癌组织呈不规则的浸润性生长方式,其中癌组织与非癌组织混合生长在一起。本例癌组织CK-Pan染色结果为强阳性,如图3所示。
(2)对本实例结肠癌的数字病理图像中所有像素进行癌区分割,区分癌与非癌。本实例语义分割模型使用参数同乳腺癌实例,进行迁移性测试。其中,模型结构可以为已有的常用语义分割模型结构,如FCN、U-Net、DeepLab等,也可以为在已有的语义分割模型结构基础上改进的模型结构,本实施例采用改进的U-Net模型结构训练一个癌区分割模型,改进的U-Net模型结构在初始U-Net基础上加入了残差块。训练过程中,可将每张图像分割成256*256像素大小的小图作为输入图像,批处理大小设为16,学习率为0.001,最大迭代次数为1500epochs(迭代轮次),损失函数为BCE_Diceloss,采用Adam优化算法进行模型训练。
示例性地,像素类别可以按照其它方式进行划分,例如也可以按照细胞形态或染色强度进行细胞分类,本实施例不作限定;
(3)对已训练的癌区分割模型进行性能评估,使用完成训练的癌区分割模型对测试图像进行预测,比较预测结果和真实标注结果,评估模型性能,得到一个性能达到预设目标的癌区分割模型;
本实施例最终建立的癌区分割模型在准确率、灵敏度、精确度上均大于80%;
3.用已训练的癌区分割模型对待分析的目标全片图像进行预测,得到一个预测的癌区分割图像,具体实现步骤如下:
(1)对目标全片图像进行预处理。将目标图像处理为与癌区分割模型所用训练图像相同的分辨率大小,并将预处理后的目标图像遍历裁剪成若干预设大小的小图,预设大小与前述数字病理图像中的预设大小相同,均为256*256像素大小,将图像的RGB通道转化为灰度通道,使测试图像转化为灰度图。
(2)每张小图进行模型预测。将每张小图输入到已训练的癌区分割模型中,得到若干测试分割后的小图片。
本实施例中,每张小图输入到已训练的癌区分割模型中,得到若干个256*256*N像素大小的概率图,概率为0到1的小数,N为通道数,在本实例中设置为2,每个通道分别为癌区与 非癌区的预测概率,每个像素位置上所有通道的概率总和为1。
将每张小图的预测结果进行拼接得到全片癌区分割图像。将若干预测后的癌区分割小图按照再预处理后的目标图像中的对应位置进行拼接。合成一个癌区分割判断的遮罩图,将判断为癌区的区域像素值为255,非癌区为0。白色代表机器预测的癌区,黑色为非癌区,如图4所示。其中,图5为实施例宫颈癌CK-Pan模型预测生成效果图,图6为实施例宫颈癌CK-Pan模型预测全片效果图
图7为本发明实施例提供的一种基于深度学习的IHC膜浆表达病理图像的癌区分割装置,包括:获取模块S201、数据标注模块S202、预处理模块S202、训练模块S203、分析模块S204,其中:
获取模块S201,用于获取病理组织切片,所述病理组织切片包含上皮性肿瘤IHC癌区膜浆阳性与阴性染色、非癌区染色,并对所述病理组织切片进行扫描采集成像,得到全片数字病理图像。
预处理模块S202,用于基于所述全片数字病理图像中的IHC染色情况,筛选特征区域并进行癌区与非癌区的标注,并基于标注区域的位置信息,得到对应的标签数据与真实图像数据,对所述标注区域进行对应性的随机裁剪,得到裁剪后对应的真实图像数据及标签数据;
训练模块S203,用于将裁剪后的真实图像数据及标签数据输入卷积神经网络模型进行训练,直至卷积神经网络模型的性能数据达到预设标准,得到训练后的卷积神经网络模型。
分析模块S204,用于获取待分析的目标图像,根据所述随机裁剪的图像大小对所述目标图像进行遍历裁剪,将遍历裁剪后的目标图像输入所述训练后的卷积神经网络模型,得到所述目标图像的癌区分割结果图像,将所述癌区分割结果图像进行全片拼接,得到所述目标图像的癌区分割图像。
在一个实施例中,装置还可以包括:
标签模块,用于根据映射关系,设置与所述全片数据病理图像的真实图像数据一一对应的标签数据,所述标签数据包括全片数据病理图像的真实图像数据对应的坐标信息,以及根据所述IHC癌区染色对应的癌区类别信息。
关于基于深度学习的IHC膜浆表达病理图像的癌区分割装置的具体限定可以参见上文中对于基于深度学习的IHC膜浆表达病理图像的癌区分割方法的限定,在此不再赘述。上述基于深度学习的IHC膜浆表达病理图像的癌区分割装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
图8示例了一种电子设备的实体结构示意图,如图8所示,该电子设备可以包括:处理器(processor)301、存储器(memory)302、通信接口(Communications Interface)303和通信总线304,其中,处理器301,存储器302,通信接口303通过通信总线304完成相互间的通信。处理器301可以调用存储器302中的逻辑指令,以执行如下方法:获取病理组织切片,病理组织切片包含上皮性肿瘤IHC癌区膜浆阳性与阴性染色、非癌区染色,并对病理组织切片进行扫描采集成像,得到全片数字病理图像;基于全片数字病理图像中的IHC染色情况,筛选特征区域并进行癌区与非癌区的标注,并基于标注区域的位置信息,得到对应的标签数据与真实图像数据,对标注区域进行对应性的随机裁剪,得到裁剪后对应的真实图像数据及标签数据;将裁剪后的真实图像数据及标签数据输入卷积神经网络模型进行训练,直至卷积神经网络模型的性能数据达到预设标准,得到训练后的卷积神经网络模型;获取待分析的目标图像,根据随机裁剪的图像大小对目标图像进行遍历裁剪,将遍历裁剪后的目标图像输入训练后的卷积神经网络模型,得到目标图像的癌区分割结果图像,将癌区分割结果图像进行全片拼接,得到目标图像的癌区分割图像。
此外,上述的存储器302中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本发明实施例还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各实施例提供的传输方法,例如包括:获取病理组织切片,病理组织切片包含上皮性肿瘤IHC癌区膜浆阳性与阴性染色、非癌区染色,并对病理组织切片进行扫描采集成像,得到全片数字病理图像;基于全片数字病理图像中的IHC染色情况,筛选特征区域并进行癌区与非癌区的标注,并基于标注区域的位置信息,得到对应的标签数据与真实图像数据,对标注区域进行对应性的随机裁剪,得到裁剪后对应的真实图像数据及标签数据;将裁剪后的真实图像数据及标签数据输入卷积神经网络模型进行训练,直至卷积神经网络模型的性能数据达到预设标准,得到训练后的卷积神经网络模型;获取待分析的目标图像,根据随机裁剪的图像大小对目标图像进行遍历裁剪,将遍历裁剪后的目标图像输入训练后的卷积神经网络模型,得到目标图像的癌区分割结果图像,将癌区分割结果图像进行全片拼接,得到目标图像的癌区分割图像。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于深度学习的IHC模浆病理图像的癌区分割方法,其特征在于,包括:
获取病理组织切片,所述病理组织切片包含上皮性肿瘤IHC癌区膜浆阳性与阴性染色、非癌区染色,并对所述病理组织切片进行扫描采集成像,得到全片数字病理图像;
基于所述全片数字病理图像中的IHC染色情况,筛选特征区域并进行癌区与非癌区的标注,并基于标注区域的位置信息,得到对应的标签数据与真实图像数据,对所述标注区域进行对应性的随机裁剪,得到裁剪后对应的真实图像数据及标签数据;
将裁剪后的真实图像数据及标签数据输入卷积神经网络模型进行训练,直至卷积神经网络模型的性能数据达到预设标准,得到训练后的卷积神经网络模型;
获取待分析的目标图像,根据所述随机裁剪的图像大小对所述目标图像进行遍历裁剪,将遍历裁剪后的目标图像输入所述训练后的卷积神经网络模型,得到所述目标图像的癌区分割结果图像,将所述癌区分割结果图像进行全片拼接,得到所述目标图像的癌区分割图像。
2.根据权利要求1所述的基于深度学习的IHC模浆病理图像的癌区分割方法,其特征在于,所述基于标注区域的位置信息,得到对应的标签数据与真实图像数据,包括:
根据映射关系,设置与所述全片数据病理图像的真实图像数据一一对应的标签数据,所述标签数据包括全片数据病理图像的真实图像数据对应的坐标信息,以及根据所述IHC癌区染色对应的癌区类别信息。
3.根据权利要求1所述的基于深度学习的IHC模浆病理图像的癌区分割方法,其特征在于,所述对所述标注区域进行对应性的随机裁剪,得到裁剪后对应的真实图像数据及标签数据,包括:
将所述全片数据病理图像及真实标签图像对应性的切割为256*256像素大小的小图片,间隔步幅为128像素的真实图像数据及对应的标签数据。
4.根据权利要求1所述的基于深度学习的IHC模浆病理图像的癌区分割方法,其特征在于,所述将裁剪后的真实图像数据及标签数据输入卷积神经网络模型进行训练,直至卷积神经网络模型的性能数据达到预设标准,包括:
对裁剪后的真实图像数据进行迭代训练,并将迭代训练的结果与对应的标签数据进行计算,直至得到的性能数据达到预设阈值,性能数据包括:精确率、召回率、IOU、F1-score。
5.根据权利要求4所述的基于深度学习的IHC模浆病理图像的癌区分割方法,其特征在于,所述方法还包括:
根据所述性能数据得到所述卷积神经网络模型的模型性能,获取所述病理组织切片的细胞类型,将所述细胞类型、卷积神经网络模型及对应的模型性能对应保存。
6.根据权利要求1所述的基于深度学习的IHC模浆病理图像的癌区分割方法,其特征在于,所述将裁剪后的真实图像数据及标签数据输入卷积神经网络模型进行训练,直至卷积神经网络模型的性能数据达到预设标准,得到训练后的卷积神经网络模型,包括:
将所述裁剪后的真实图像数据分为训练集和验证集,将所述训练集以及对应的标签数据输入到卷积神经网络模型进行训练,直至卷积神经网络模型的性能数据达到预设标准,得到训练后的卷积神经网络模型;
通过所述验证集以及对应的标签数据输入到训练后的初步卷积神经网络模型进行测试,测试完成后得到所述训练后的卷积神经网络模型。
7.一种基于深度学习的IHC模浆病理图像的癌区分割装置,其特征在于,所述装置包括:
获取模块,用于获取病理组织切片,所述病理组织切片包含上皮性肿瘤IHC癌区膜浆阳性与阴性染色、非癌区染色,并对所述病理组织切片进行扫描采集成像,得到全片数字病理图像;
预处理模块,用于基于所述全片数字病理图像中的IHC染色情况,筛选特征区域并进行癌区与非癌区的标注,并基于标注区域的位置信息,得到对应的标签数据与真实图像数据,对所述标注区域进行对应性的随机裁剪,得到裁剪后对应的真实图像数据及标签数据;
训练模块,用于将裁剪后的真实图像数据及标签数据输入卷积神经网络模型进行训练,直至卷积神经网络模型的性能数据达到预设标准,得到训练后的卷积神经网络模型;
分析模块,用于获取待分析的目标图像,根据所述随机裁剪的图像大小对所述目标图像进行遍历裁剪,将遍历裁剪后的目标图像输入所述训练后的卷积神经网络模型,得到所述目标图像的癌区分割结果图像,将所述癌区分割结果图像进行全片拼接,得到所述目标图像的癌区分割图像。
8.根据权利要求7中所述的基于深度学习的IHC模浆病理图像的癌区分割装置,其特征在于,所述装置还包括:
标签模块,用于根据映射关系,设置与所述全片数据病理图像的真实图像数据一一对应的标签数据,所述标签数据包括全片数据病理图像的真实图像数据对应的坐标信息,以及根据所述IHC癌区染色对应的癌区类别信息。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至6任一项所述基于深度学习的IHC模浆病理图像的癌区分割方法的步骤。
10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1至6任一项所述基于深度学习的IHC模浆病理图像的癌区分割方法的步骤。
CN202211225388.6A 2022-10-09 2022-10-09 基于深度学习的ihc膜浆表达病理图像的癌区分割方法 Pending CN115578560A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211225388.6A CN115578560A (zh) 2022-10-09 2022-10-09 基于深度学习的ihc膜浆表达病理图像的癌区分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211225388.6A CN115578560A (zh) 2022-10-09 2022-10-09 基于深度学习的ihc膜浆表达病理图像的癌区分割方法

Publications (1)

Publication Number Publication Date
CN115578560A true CN115578560A (zh) 2023-01-06

Family

ID=84585016

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211225388.6A Pending CN115578560A (zh) 2022-10-09 2022-10-09 基于深度学习的ihc膜浆表达病理图像的癌区分割方法

Country Status (1)

Country Link
CN (1) CN115578560A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116152185A (zh) * 2023-01-30 2023-05-23 北京透彻未来科技有限公司 一种基于深度学习的胃癌病理诊断系统
CN116883397A (zh) * 2023-09-06 2023-10-13 佳木斯大学 一种应用于解剖病理学的自动精益方法及系统
CN117422732A (zh) * 2023-12-18 2024-01-19 湖南自兴智慧医疗科技有限公司 病理学图像分割方法及装置
CN117765533A (zh) * 2024-02-22 2024-03-26 天津医科大学第二医院 一种用于口腔黏膜癌预测的图像处理方法及系统

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116152185A (zh) * 2023-01-30 2023-05-23 北京透彻未来科技有限公司 一种基于深度学习的胃癌病理诊断系统
CN116883397A (zh) * 2023-09-06 2023-10-13 佳木斯大学 一种应用于解剖病理学的自动精益方法及系统
CN116883397B (zh) * 2023-09-06 2023-12-08 佳木斯大学 一种应用于解剖病理学的自动精益方法及系统
CN117422732A (zh) * 2023-12-18 2024-01-19 湖南自兴智慧医疗科技有限公司 病理学图像分割方法及装置
CN117422732B (zh) * 2023-12-18 2024-02-23 湖南自兴智慧医疗科技有限公司 病理学图像分割方法及装置
CN117765533A (zh) * 2024-02-22 2024-03-26 天津医科大学第二医院 一种用于口腔黏膜癌预测的图像处理方法及系统
CN117765533B (zh) * 2024-02-22 2024-04-26 天津医科大学第二医院 一种用于口腔黏膜癌预测的图像处理方法及系统

Similar Documents

Publication Publication Date Title
US11436718B2 (en) Image analysis method, image analysis apparatus, program, learned deep layer learning algorithm manufacturing method and learned deep layer learning algorithm
US11842556B2 (en) Image analysis method, apparatus, program, and learned deep learning algorithm
US11376441B2 (en) Systems and methods for finding regions of in interest in hematoxylin and eosin (HandE) stained tissue images and quantifying intratumor cellular spatial heterogeneity in multiplexed/hyperplexed fluorescence tissue
CN115578560A (zh) 基于深度学习的ihc膜浆表达病理图像的癌区分割方法
US10783641B2 (en) Systems and methods for adaptive histopathology image unmixing
US10565429B2 (en) Image analysis system using context features
US11935279B1 (en) Weakly supervised pathological image tissue segmentation method based on online noise suppression strategy
CN106780522B (zh) 一种基于深度学习的骨髓液细胞分割方法
US11250568B2 (en) Techniques for determining tissue characteristics using multiplexed immunofluorescence imaging
US20220180518A1 (en) Improved histopathology classification through machine self-learning of "tissue fingerprints"
JP7168237B2 (ja) ヘマトキシリン・エオシン(h&e)染色組織画像における関心領域を調べて、多重化/高多重化蛍光組織画像で腫瘍内細胞空間的不均一性を定量化するシステム及び方法
US11568657B2 (en) Method of storing and retrieving digital pathology analysis results
Brázdil et al. Automated annotations of epithelial cells and stroma in hematoxylin–eosin‐stained whole‐slide images using cytokeratin re‐staining
CN116468690B (zh) 基于深度学习的浸润性非粘液性肺腺癌的亚型分析系统
Razavi et al. Automatically diagnosing HER2 amplification status for breast cancer patients using large FISH images
Sala Prat Cell detection and classification of breast cancer histology images using a deep learning approach based on the U-Net architecture
Rehman et al. Detection and histo-scoring of HER2/CEN17 biomarkers in SISH images
US20230307132A1 (en) Hybrid and accelerated ground-truth generation for duplex arrays
Morreale A Perceptual Colour Separation Methodology for Automated Quantification of Ki67 and Hematoxylin Stained Digital Histopathology Images
CN115690134A (zh) 一种ihc核表达病理图像癌区分割装置和方法
WO2024081150A1 (en) Expression-level prediction for biomarkers in digital pathology images
CN115862008A (zh) 一种ihc核表达病理图像细胞分类装置和方法
Rehman et al. Weakly Supervised Deep Learning-Based Approach in Cancer Region Assessment from Her2-Sish Breast Histopathology Whole Slide Images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination