CN114283136B - 基于级联网络的癌症浸润检测方法 - Google Patents

基于级联网络的癌症浸润检测方法 Download PDF

Info

Publication number
CN114283136B
CN114283136B CN202111592210.0A CN202111592210A CN114283136B CN 114283136 B CN114283136 B CN 114283136B CN 202111592210 A CN202111592210 A CN 202111592210A CN 114283136 B CN114283136 B CN 114283136B
Authority
CN
China
Prior art keywords
infiltration
patch
suspicious
cancer
unet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111592210.0A
Other languages
English (en)
Other versions
CN114283136A (zh
Inventor
李辰
贾昶
高泽宇
时江波
吴佳伦
洪邦洋
毛安钰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202111592210.0A priority Critical patent/CN114283136B/zh
Publication of CN114283136A publication Critical patent/CN114283136A/zh
Application granted granted Critical
Publication of CN114283136B publication Critical patent/CN114283136B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Investigating Or Analysing Biological Materials (AREA)
  • Image Analysis (AREA)

Abstract

一种基于级联网络的癌症浸润检测方法,首先,从完整的WSI中全局检测可疑浸润区域,将完整的WSI裁剪为小块(patch),使用Unet或以Unet为基础的深度学习模型全局检测可疑浸润区域;然后根据检测得到的可疑浸润区域结果,使用卷积神经网络判断可疑浸润区域处是否含有癌症组织;对于判断含有癌症组织的部分,使用Unet或其他以Unet为基础的深度学习模型进行浸润边界的检测;将检测得到的浸润边界根据坐标还原到WSI中,完成癌症浸润检测;本发明能够部分代替的人工操作,大大降低了病理医生的工作负担,提高了工作效率,减轻临床压力。

Description

基于级联网络的癌症浸润检测方法
技术领域
本发明属于数字化病理图像处理与辅助决策技术领域,具体涉及一种基于级联网络的癌症浸润检测方法。
背景技术
癌症浸润是指癌细胞直接延伸和渗透到邻近组织中。具体来说,是由转化细胞的增殖和肿瘤大小的逐渐增加而最终导致组织间屏障的破坏,导致肿瘤扩散到邻近组织。常见的癌症浸润包括周围神经浸润、血管浸润、淋巴浸润等。这些浸润都属于癌症的关键特征,对于癌症诊断、患者的预后评估、治疗方案来说至关重要。
病理诊断是癌症诊断方法的金标准,需要病理学家使用高倍率显微镜观察组织切片,进而做出诊断。癌症浸润的检测也在这一过程之中。然而,检测癌症浸润并非易事,它的挑战性主要体现在以下几个方面:
1)病理组织切片十分庞大、拥有极高的分辨率,即使是经验丰富的病理医生也难免会出现漏诊、误诊的情况。雪上加霜的是,癌症浸润通常大小不一,有些区域比常规的癌症组织还要小。
2)随着癌症患者的飞速增长,面临着病理医生匮乏、医疗资源不均等难题。
伴随着人工智能的发展以及越来越多的病理全切片图像(Whole-Slide Image,WSI)的采集,许多新兴的基于深度学习的算法被广泛应用于数字病理图像的分析和处理当中。作为病理学领域的强大工具,计算机可以辅助病理医生的诊断,从而大大减轻了病理医生的工作负担,同时也提高了病理诊断的准确性。目前,相关技术已经应用于癌症区域检测、亚型分类、细胞核分级等方面,而癌症浸润检测的应用却寥寥无几。
发明内容
为了克服上述现有技术存在的缺陷,本发明的目的在于提供一种基于级联网络的癌症浸润检测方法,能够从完整的病理全切片图像(Whole-Slide Image,WSI)中快速准确地检测到各类癌症浸润,具有检测快速、准确、高效的优点。
为了实现上述目的,本发明采用的技术方案为:
一种基于级联网络的癌症浸润检测方法,具体包括以下步骤:
步骤一:从完整的WSI中全局检测可疑浸润区域,将完整的WSI裁剪为小块(patch),使用Unet或以Unet为基础的深度学习模型全局检测可疑浸润区域;
步骤二:根据步骤一的结果,使用卷积神经网络判断可疑浸润区域处是否含有癌症组织;
步骤三:对于步骤二中判断含有癌症组织的部分,使用Unet或其他以Unet为基础的深度学习模型进行浸润边界的检测;将检测得到的浸润边界根据坐标还原到WSI中,完成癌症浸润检测。
所述步骤一的具体方法为:
S1调用python中的openslide软件库读取整张WSI将其切分成边长范围512到1024像素的小块(patch),步长为边长的一半,在WSI上使用滑动窗口进行裁剪,保证相邻patch间有50%的重合区域,根据patch所占内存大小筛选patch;
S2选用医学图像分割领域中Unet或以Unet为基础的深度学习模型对每个patch进行可疑浸润区域的检测:首先将patch压缩至边长256到512像素,将含有可疑浸润区域的patch作为正例,不含可疑浸润区域的patch作为负例,对两类patch进行标注,对于正例,标注可疑浸润区域的轮廓;对于负例,不做标注;随后将其一同输入模型进行训练,模型会根据标注信息,来学习两类patch的特征,更新自身的模型参数,面对两类patch,模型都能取得优良的分割效果;随后,调用python中opencv软件库,采用分水岭算法对检测结果进行后处理,避免出现零散的噪点区域,起到了优化检测结果的作用;
S3根据每个patch的检测结果,对于不含任何可疑浸润区域的patch,弃之不用,只保留含有可疑浸润区域的patch。
所述步骤二具体方法为:
根据步骤一得到的检测结果,沿着可疑浸润区域的边缘进行进一步的裁剪采样:选用滑动窗口,边长设置范围为128到256像素,步长设置为边长的一半,沿着可疑浸润区域边缘进行裁剪;对于裁剪得到的patch,进一步判断其是否含有癌症组织;此处,选用卷积神经网络(CNN),对patch进行二分类,区分其含有癌症组织还是不含癌症组织,并输出概率值,每个像素点对应一个概率值;设置置信阈值,输出概率值大于置信阈值的视为含有癌症组织的patch;反之,视为正常组织;最后,保留含有癌症组织的patch。
步骤三的具体方法为,对经过步骤一和步骤二的处理,得到的所有既含癌症组织,又含可疑浸润区域patch,选用Unet或以Unet为基础的深度学习分割网络,分割出癌症组织和可疑浸润区域的边界,得到以癌症组织和可疑浸润区域边界为距离原点的距离热力图;
随后,设置置信阈值,将概率值大于置信阈值的像素点当作癌症组织和可疑浸润区域边界候选点;
然后,采用传统图像处理中的骨架提取算法,调用python中skimage.morphology软件库,将癌症组织和可疑浸润区域边界候选点提取为宽度为一个像素点的骨架;这样就得到了癌症组织浸润可疑浸润区域的边界;
最后,由于前面的裁剪操作记录下了patch的坐标,在得到癌症组织浸润可疑浸润区域的边界之后,提取记录的所有patch中的边界坐标,并将其标记到到原始的WSI中;至此,完成癌症浸润的检测。
所述步骤一S1中根据patch所占内存大小筛选patch方法为:以100KB到300KB为所占内存阈值,占内存小于该阈值的予以舍弃,以增加检测效率。
所述步骤二中对patch进行二分类的卷积神经网络(CNN)包括ResNet、DenseNet。
所述步骤二中置信阈值为0.6到0.8。
所述步骤三中置信阈值为0.6到0.8。
本发明为深度学习算法在病理学癌症浸润检测中新的应用,通过三层的级联网络,能够精准高效地从一张完整的WSI切片中检测到各类癌症浸润。本发明达到了同病理学家相当的检测水准,起到了优良的辅助医学检测的作用,能够部分代替的人工操作,大大降低了病理医生的工作负担,提高了工作效率,减轻临床压力。
附图说明
图1为本发明检测方法示意图。
图2为本发明步骤一可视化示意图。
图3为本发明步骤二可视化示意图。
图4为本发明步骤三可视化示意图。
具体实施方式
下面结合附图,对本发明作进一步详细说明。
一种基于级联网络的癌症浸润检测方法,以周围神经浸润为例,参见图1,具体包括以下步骤:
步骤一:从完整的WSI中全局检测周围神经,将完整的WSI裁剪为小块(patch),使用Unet或以Unet为基础的深度学习模型全局检测周围神经;
步骤二:根据步骤一的结果,使用卷积神经网络判断周围神经处是否含有癌症组织;
步骤三:对于步骤二中判断含有癌症组织的部分,使用Unet或其他以Unet为基础的深度学习模型进行浸润边界的检测;将检测得到的浸润边界根据坐标还原到WSI中,完成癌症浸润检测。
参见图2,所述步骤一的具体方法为:
S1相对于自然图像而言,WSI图像极大,不方便直接对其进行处理,因此需要将其切分为小块(patch)。这一操作也依赖于openslide软件库中的函数来实现:调用python中的openslide软件库读取整张WSI,将其切分成边长范围1024x1024像素的patch,步长为512,即可在WSI上使用滑动窗口进行裁剪,保证相邻patch间有50%的重合区域,防止了patch边缘检测不准确的情况,此外,由于WSI中具有不含任何组织的背景区域,因此会裁剪得到许多背景区域的patch,这种patch像素点较为单一,所占计算机内存较小,因此根据patch所占内存大小筛选patch,占内存小于200KB的予以舍弃,以增加检测效率;
S2选用医学图像分割领域中Unet或以Unet为基础的深度学习模型对每个patch进行周围神经的检测:首先将patch压缩至512x512像素,避免图像过大影响模型学习,将含有周围神经的patch作为正例,不含周围神经的patch作为负例,对两类patch进行标注,对于正例,标注周围神经的轮廓;对于负例,不做标注;随后将其一同输入模型进行训练,模型会根据标注信息,来学习两类patch的特征,更新自身的模型参数,面对两类patch,模型都能取得优良的分割效果;随后,调用python中opencv软件库,采用分水岭算法对检测结果进行后处理,避免出现零散的噪点区域,起到了优化检测结果的作用;
S3根据每个patch的检测结果,对于不含任何周围神经的patch,弃之不用,只保留含有周围神经的patch。
参见图3,所述步骤二具体方法为:
根据步骤一得到的检测结果,沿着周围神经的边缘进行进一步的裁剪采样:选用滑动窗口,边长设置范围为256x256像素,步长设置为128,沿着周围神经边缘进行裁剪;对于裁剪得到的patch,进一步判断其是否含有癌症组织;此处,选用resnet18经典且高效的卷积神经网络(CNN),对patch进行二分类,区分其含有癌症组织还是不含癌症组织并输出概率值,每个像素点对应一个概率值;设置置信阈值,输出概率值大于置信阈值的视为含有癌症组织的patch;反之,视为正常组织;最后,保留含有癌症组织的patch。
参见图4,步骤三的具体方法为,对经过步骤一和步骤二的处理,得到的所有既含癌症组织,又含周围神经patch,选用Unet或以Unet为基础的深度学习分割网络,分割出癌症组织和周围神经的边界,得到以癌症组织和周围神经边界为距离原点的距离热力图;
随后,设置置信阈值为0.7,将概率值大于置信阈值0.7的像素点当作癌症组织和周围神经边界候选点;
然后,采用传统图像处理中的骨架提取算法,调用python中skimage.morphology软件库,将癌症组织和周围神经边界候选点提取为宽度为一个像素点的骨架;这样就得到了癌症组织浸润周围神经的边界;
最后,由于步骤一、步骤二中的裁剪操作记录下了patch的坐标,在得到癌症组织浸润周围神经的边界之后,提取记录的所有patch中的边界坐标,并将其标记到到原始的WSI中;至此,完成癌症浸润的检测。
显然,以上具体实施方式中实施例仅用于说明本发明的技术方案而非对其限制,尽管参照上述具体实施方式对本发明进行了详细说明,所属领域的普通技术人员应当理解:依然可以对本发明的具体实施方式进行修改或者等同替换,而未脱离本发明精神和范围的任何修改或者等同替换,其均应涵盖在本权利要求范围当中。

Claims (5)

1.一种基于级联网络的癌症浸润检测方法,其特征在于,具体包括以下步骤:
步骤一:从完整的WSI中全局检测可疑浸润区域,将完整的WSI裁剪为小块(patch),使用Unet或以Unet为基础的深度学习模型全局检测可疑浸润区域,步骤如下:
S1调用python中的openslide软件库读取整张WSI将其切分成边长范围512到1024像素的小块(patch),步长为边长的一半,在WSI上使用滑动窗口进行裁剪,保证相邻patch间有50%的重合区域,根据patch所占内存大小筛选patch;
S2选用医学图像分割领域中Unet或以Unet为基础的深度学习模型对每个patch进行可疑浸润区域的检测:首先将patch压缩至边长256到512像素,将含有可疑浸润区域的patch作为正例,不含可疑浸润区域的patch作为负例,对两类patch进行标注,对于正例,标注可疑浸润区域的轮廓;对于负例,不做标注;随后将其一同输入模型进行训练,模型会根据标注信息,来学习两类patch的特征,更新自身的模型参数,面对两类patch,模型都能取得优良的分割效果;随后,调用python中opencv软件库,采用分水岭算法对检测结果进行后处理,避免出现零散的噪点区域,起到了优化检测结果的作用;
S3根据每个patch的检测结果,对于不含任何可疑浸润区域的patch,弃之不用,只保留含有可疑浸润区域的patch;
步骤二:根据步骤一的结果,使用卷积神经网络判断可疑浸润区域处是否含有癌症组织,方法如下:
根据步骤一得到的检测结果,沿着可疑浸润区域的边缘进行进一步的裁剪采样:选用滑动窗口,边长设置范围为128到256像素,步长设置为边长的一半,沿着可疑浸润区域边缘进行裁剪;对于裁剪得到的patch,进一步判断其是否含有癌症组织;此处,选用卷积神经网络(CNN),对patch进行二分类,区分其含有癌症组织还是不含癌症组织并输出概率值,每个像素点对应一个概率值;设置置信阈值,输出概率值大于置信阈值的视为含有癌症组织的patch;反之,视为正常组织;最后,保留含有癌症组织的patch;
步骤三:对于步骤二中判断含有癌症组织的部分,使用Unet或其他以Unet为基础的深度学习模型进行浸润边界的检测;将检测得到的浸润边界根据坐标还原到WSI中,完成癌症浸润检测,具体方法为:
对经过步骤一和步骤二的处理,得到的所有既含癌症组织,又含可疑浸润区域patch,选用Unet或以Unet为基础的深度学习分割网络,分割出癌症组织和可疑浸润区域的边界,得到以癌症组织和可疑浸润区域边界为距离原点的距离热力图;
随后,设置置信阈值,将概率值大于置信阈值的像素点当作癌症组织和可疑浸润区域边界候选点;
然后,采用传统图像处理中的骨架提取算法,调用python中skimage.morphology软件库,将癌症组织和可疑浸润区域边界候选点提取为宽度为一个像素点的骨架;这样就得到了癌症组织浸润可疑浸润区域的边界;
最后,由于前面的裁剪操作记录下了patch的坐标,在得到癌症组织浸润可疑浸润区域的边界之后,提取记录的所有patch中的边界坐标,并将其标记到到原始的WSI中;至此,完成癌症浸润的检测。
2.根据权利要求1所述的一种基于级联网络的癌症浸润检测方法,其特征在于,所述步骤一S1中根据patch所占内存大小筛选patch方法为:以100KB到300KB为所占内存阈值,占内存小于该阈值的予以舍弃,以增加检测效率。
3.根据权利要求1所述的一种基于级联网络的癌症浸润检测方法,其特征在于,所述步骤二中对patch进行二分类的卷积神经网络(CNN)包括ResNet、DenseNet。
4.根据权利要求1所述的一种基于级联网络的癌症浸润检测方法,其特征在于,所述步骤二中置信阈值为0.6到0.8。
5.根据权利要求1所述的一种基于级联网络的癌症浸润检测方法,其特征在于,所述步骤三中置信阈值为0.6到0.8。
CN202111592210.0A 2021-12-23 2021-12-23 基于级联网络的癌症浸润检测方法 Active CN114283136B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111592210.0A CN114283136B (zh) 2021-12-23 2021-12-23 基于级联网络的癌症浸润检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111592210.0A CN114283136B (zh) 2021-12-23 2021-12-23 基于级联网络的癌症浸润检测方法

Publications (2)

Publication Number Publication Date
CN114283136A CN114283136A (zh) 2022-04-05
CN114283136B true CN114283136B (zh) 2023-10-27

Family

ID=80874717

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111592210.0A Active CN114283136B (zh) 2021-12-23 2021-12-23 基于级联网络的癌症浸润检测方法

Country Status (1)

Country Link
CN (1) CN114283136B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112712522A (zh) * 2020-10-30 2021-04-27 陕西师范大学 一种病理学图像的口腔癌上皮组织区域自动分割方法
CN112862808A (zh) * 2021-03-02 2021-05-28 王建 一种基于深度学习的乳腺癌超声图像的可解释性识别方法
CN113160175A (zh) * 2021-04-23 2021-07-23 杭州迪英加科技有限公司 一种基于级联网络的肿瘤淋巴管浸润检测方法
CN113222933A (zh) * 2021-05-13 2021-08-06 西安交通大学 一种应用于肾细胞癌全链条诊断的图像识别系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111242242B (zh) * 2020-02-27 2022-04-12 武汉大学 一种基于置信度选择的宫颈组织病理全玻片图像自动分类方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112712522A (zh) * 2020-10-30 2021-04-27 陕西师范大学 一种病理学图像的口腔癌上皮组织区域自动分割方法
CN112862808A (zh) * 2021-03-02 2021-05-28 王建 一种基于深度学习的乳腺癌超声图像的可解释性识别方法
CN113160175A (zh) * 2021-04-23 2021-07-23 杭州迪英加科技有限公司 一种基于级联网络的肿瘤淋巴管浸润检测方法
CN113222933A (zh) * 2021-05-13 2021-08-06 西安交通大学 一种应用于肾细胞癌全链条诊断的图像识别系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
金旭 ; 文可 ; 吕国锋 ; 石军 ; 迟孟贤 ; 武铮 ; 安虹 ; .深度学习在组织病理学中的应用综述.中国图象图形学报.2020,(第10期),全文. *

Also Published As

Publication number Publication date
CN114283136A (zh) 2022-04-05

Similar Documents

Publication Publication Date Title
Smaoui et al. A developed system for melanoma diagnosis
CN111986150B (zh) 一种数字病理图像的交互式标注精细化方法
CN111402267B (zh) 前列腺癌病理图像中上皮细胞核的分割方法、装置和终端
Javed et al. An intelligent saliency segmentation technique and classification of low contrast skin lesion dermoscopic images based on histogram decision
CN110322436B (zh) 医学图像处理方法、装置、存储介质及设备
CN110838100A (zh) 一种基于滑动窗口的结肠镜病理切片筛查与分割系统
CN110880177A (zh) 一种图像识别方法及装置
Bai et al. Automatic segmentation of cervical region in colposcopic images using K-means
CN112263217B (zh) 一种基于改进卷积神经网络的非黑素瘤皮肤癌病理图像病变区域检测方法
CN110738637B (zh) 一种乳腺癌病理切片的自动分类系统
CN113160175B (zh) 一种基于级联网络的肿瘤淋巴管浸润检测方法
CN113706492B (zh) 一种基于胸部ct影像的肺实质自动分割方法
CN113139977B (zh) 一种基于YOLO和U-Net的口腔曲断影像智齿分割方法
CN114022872A (zh) 基于动态神经网络的多种类农作物叶病识别方法
CN117036343B (zh) 用于识别腋窝淋巴结转移癌的ffoct图像分析方法和装置
CN110544262A (zh) 一种基于机器视觉的子宫颈细胞图像分割方法
CN115205588A (zh) 基于人工智能的膀胱癌肌层浸润病理辅助诊断方法及装置
CN113570619A (zh) 基于人工智能的计算机辅助胰腺病理图像诊断系统
Liu et al. Robust interactive image segmentation with automatic boundary refinement
CN111340780A (zh) 一种基于三维超声图像的病灶检测方法
CN115206495A (zh) 基于CoAtNet深度学习的肾癌病理图像分析方法、系统及智能显微装置
CN114283136B (zh) 基于级联网络的癌症浸润检测方法
CN109948706B (zh) 结合深度学习与特征多尺度融合的微钙化簇检测方法
Alzubaidi et al. Multi-class breast cancer classification by a novel two-branch deep convolutional neural network architecture
CN111986802A (zh) 一种肺腺癌病理分化等级的辅助判定系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant