CN112381839B - 一种基于深度学习的乳腺癌病理图像he癌巢分割方法 - Google Patents
一种基于深度学习的乳腺癌病理图像he癌巢分割方法 Download PDFInfo
- Publication number
- CN112381839B CN112381839B CN202011273555.5A CN202011273555A CN112381839B CN 112381839 B CN112381839 B CN 112381839B CN 202011273555 A CN202011273555 A CN 202011273555A CN 112381839 B CN112381839 B CN 112381839B
- Authority
- CN
- China
- Prior art keywords
- image
- segmentation
- resolution
- contour
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 34
- 206010028980 Neoplasm Diseases 0.000 title claims abstract description 18
- 201000011510 cancer Diseases 0.000 title claims abstract description 18
- 238000000034 method Methods 0.000 title claims abstract description 18
- 230000001575 pathological effect Effects 0.000 title claims abstract description 9
- 206010006187 Breast cancer Diseases 0.000 title claims abstract description 8
- 208000026310 Breast neoplasm Diseases 0.000 title claims abstract description 8
- 238000013135 deep learning Methods 0.000 title claims abstract description 8
- 238000013528 artificial neural network Methods 0.000 claims abstract description 8
- 230000000877 morphologic effect Effects 0.000 claims abstract description 4
- 238000013507 mapping Methods 0.000 claims abstract description 3
- 238000005070 sampling Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 7
- 238000012545 processing Methods 0.000 abstract description 2
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000002055 immunohistochemical effect Effects 0.000 description 3
- 230000007170 pathology Effects 0.000 description 3
- 238000012800 visualization Methods 0.000 description 2
- 208000009119 Giant Axonal Neuropathy Diseases 0.000 description 1
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 201000003382 giant axonal neuropathy 1 Diseases 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011309 routine diagnosis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
- G06T2207/10061—Microscopic image from scanning electron microscope
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于深度学习的乳腺癌病理图像HE癌巢分割方法，包括：S1、输入一张HE WSI，系统分割模型，在1x下，分割切片中组织的轮廓区域；S2、将1x分割的区域，映射到40x下，并提取对应区域；S3、将提取的区域，裁剪成尺寸为1024*1024，重叠128个像素的Patch；S4、将所有Patch的倍率提升至80x；S5、将高分辨率结果输入进语义分割模型，模型输出每个Patch的分割Mask；S6、将每个Mask按照裁剪的坐标合并生成完整的二值Mask图像；S7、对合并完成的二值图像进行形态学操作，并按层级关系提取轮廓。本发明采用深度神经网络进行分割，其泛化能力更强，鲁棒性更高，采用了重叠采用的方式，设计了边界效应的处理机制，可以有效避免边界效应。
Description
技术领域
本发明涉及深度学习领域，尤其涉及一种基于深度学习的乳腺癌病理图像HE癌巢分割方法。
背景技术
在乳腺癌的日常诊断中，病理医师通常会进行HE免疫组化切片的阅片分析。通过在显微镜下，对HE图像中癌巢的分布，类型等进行综合分析，并配合其他免疫组化指标，给出最终的诊断报告。随着数字病理的发展，HE切片可以通过数字扫描仪，扫描成数字病理切片。病理医师，可以通过开源或者特定的阅图工具，在计算机上浏览病理切片。目前的扫描成像图像清晰，真实反映切片的信息，并且可以长期保存。在阅图的过程中，切片中包含了大量的切片组织信息，其中癌巢区域尤为重要。病理医生需要快速且准确的定位癌巢区域，并进行详细的分析。配合其他免疫组化指标，综合出具诊断报告。在常见的阅片场景中，病理医生需要根据自身经验，手动在大量的组织区域中，找出癌巢区域，耗时，且在不同病理医师之间，存在差异。因此，一种能够自动分割，提取癌巢区域的技术对于辅助病理医师的日常诊断，具有非常重要的临床意义。
发明内容
本发明旨在提供一种基于深度学习的乳腺癌病理图像HE癌巢分割方法，采用深度神经网络进行分割，其泛化能力更强，鲁棒性更高，采用了重叠采用的方式，设计了边界效应的处理机制，可以有效避免边界效应。
为达到上述目的，本发明是采用以下技术方案实现的：
本发明公开一种基于深度学习的乳腺癌病理图像HE癌巢分割方法，包括以下步骤：
S1、训练分割网络，提取1倍率图像中的有效组织区域轮廓，将有效组织区域轮廓映射到多倍率图像中；
S2、将多倍率图像剪裁成多个图像块，相邻图像块重叠区域宽度为n像素；
S3、将图像块输入超分辨率重建网络得到高分辨率图像块，超分辨率重建网络采用多种不同类型的插值方式进行采样，超分辨率重建网络用于提升图像块分别率；
S4、将高分辨率图像块输入语义分割深度卷积神经网络，语义分割深度卷积神经网络用于分割癌巢区域，语义分割深度卷积神经网络对应每个高分辨率图像块生成一个二值图像Mask；
S5、将多个二值图像Mask按照步骤S2中的位置坐标进行图像拼接，得到有效组织区域Mask；
S6、对有效组织区域Mask进行形态学操作，获取多个轮廓区域，多个轮廓区域为包含关系；
S7、将轮廓区域缩放回多倍率图像中，绘制癌巢区域轮廓。
优选的，步骤S1中，分割网络为FCN网络。
优选的，步骤S2中，图像块尺寸为1024像素*1024像素，n＝128。
优选的，步骤S3中，超分辨率重建网络由GAN组成，插值方式的类型包括最邻近、双线性、双三次插值，高分辨率图像块分辨率为2048像素*2048像素。
优选的，步骤S5中，图像拼接的方式为逻辑或操作。
优选的，步骤S1、S2、S7中的多倍率图像均为40倍率图像。
本发明的有益效果：
1、本发明能够有效组织区域分割。即在1倍图像，先对图像中的空白区域和有效的组织区域进行快速的分割，再根据分割的结果映射到40倍下的图像中去，这样可以极大的提升运算的效率。分割的方式并未采用传统的阈值分割，而是采用深度卷积神经网络，其鲁棒性和泛化能力均优于阈值分割。
2、本发明对于40倍下的有效组织区域，采用重叠采样的方式进行裁剪。重叠采样的方式，是可以有效的避免边界效应。即在图像拼接的过程中，边界处会出现明显的界线，导致这个图像在展示时，在拼接处存在大量的细线，影响图像的质量和阅片感受。
3、本发明采用超分辨率重建的方式，对40倍下裁剪的Patch进行分辨率的再次提升，采用的高分辨率重建，采用了三种插值方式，即最近邻，双线性，双三次插值的方式进行上采样，并在生成器阶段进行融合，以提升模型的性能。高分辨率图像意味着更加丰富的语义信息，这将进一步提升语义分割的性能。并且高分辨率图像可以让病理医生在更加清晰且准确的图像中分析其中的病理信息，给出准确的诊断结论。
4、本发明在Patch分割完成后，采用逻辑或操作进行二值图像的拼接，并对二至图像进行卷积核为5*5的开运算，除去二值图像中孤立的小点，毛刺和小桥，而总的位置和形状不便。然后通过轮廓的提取，获取带有层级关系的轮廓。
附图说明
图1为有效组织区域轮廓示意图；
图2为重叠采样示意图；
图3为有效阻止区域重叠剪裁示意图；
图4为Generator生成器结构示意图；
图5为超分辨率重建示意图；
图6为二值图像Mask的示意图；
图7为分割效果图；
图8为本发明的算法流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。
本文所述的HE WSI，即Whole Slide Image，全数字化HE病理切片图像。
如图8所示，本发明包括以下步骤：
1、如图1所示，训练一个FCN(Fully Convolutional Networks)分割网络，提取1倍图中的有效组织区域轮廓，映射到40倍的图像中，并对应的提取有效组织区域。
2、如图2、图3所示，将提取的40倍率下的组织区域，按照重叠128个像素的方式重叠采样，将图像裁剪成1024*1024(长*宽)的Patch若干。
3、如图5所示，将裁剪的40倍率下的Patch输入一个GAN(Generative AdversarialNetworks生成式对抗网络)组成的超分辨率重建的网络。网络的生成器，采用了三种不同类型的插值方式(最近邻，双线性，双三次插值，如图4所示，网络结构如表1所示)进行上采样，在进行多个卷积操作后进行融合操作，最终输出生成的图像。判别器则采用一般的判别器即可。该网络的目的是进一步提升图像的分辨率至80倍。单个Patch的尺寸变为2048*2048。其可视化精度相比与传统的插值算法，具有更好的可视化效果。医生可以在更高的分辨率下，分析病灶区域。
表1：GAN模型网络结构(生成器)
4、将超分辨率重建生成的Patch，输入一个训练完成的语义分割深度卷积神经网络，其主要是分割癌巢区域，其他区域均作为背景。最终对每一个Patch生成一个二值图像Mask。
5、对于每个生成的Mask图像，按照其原始的裁剪坐标，再进行图像的拼接。拼接的方式是采取逻辑或操作，即设前景为1，背景为0，如果在同一坐标点上，像素有一个为1，结果取1，否则为0。
6、如图6所示，将最终拼接完成的整个有效组织区域的Mask，进行形态学操作，开运算，卷积核为5*5(长*宽)的矩形，然后再进行二值图像中轮廓的分层级(部分轮廓中，包含若干个轮廓)。最终获取到包含层级关系的若干个轮廓区域。
7、如图7所示，将获取的轮廓区域(若干点构成的封闭曲线)，等比例缩放回40x的原图中，并绘制所以的分割出来的癌巢区域轮廓。
当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
Claims (6)
1.一种基于深度学习的乳腺癌病理图像HE癌巢分割方法，其特征在于包括以下步骤：
S1、训练分割网络，提取1倍率图像中的有效组织区域轮廓，将有效组织区域轮廓映射到多倍率图像中；
S2、将多倍率图像剪裁成多个图像块，相邻图像块重叠区域宽度为n像素；
S3、将图像块输入超分辨率重建网络得到高分辨率图像块，超分辨率重建网络采用多种插值方式进行采样，超分辨率重建网络用于提升图像块分辨 率；其中，超分辨率重建网络由GAN组成，网络的生成器，采用了三种不同类型的插值方法，包括最邻近、双线性、双三次插值，进行上采样，三个支 路同时并行，在进行多个卷积操作后进行融合操作，最终输出生成的图像；
S4、将高分辨率图像块输入语义分割深度卷积神经网络，语义分割深度卷积神经网络用于分割癌巢区域，语义分割深度卷积神经网络对应每个高分辨率图像块生成一个二值图像Mask；
S5、将多个二值图像Mask按照步骤S2中的位置坐标进行图像拼接，得到有效组织区域Mask；
S6、对有效组织区域Mask进行形态学操作，获取多个轮廓区域，多个轮廓区域为包含关系；
S7、将轮廓区域缩放回多倍率图像中，绘制癌巢区域轮廓。
2.根据权利要求1所述的分割方法，其特征在于：步骤S1中，分割网络为FCN网络。
3.根据权利要求1所述的分割方法，其特征在于：步骤S2中，图像块尺寸为1024像素*1024像素，n＝128。
4.根据权利要求1所述的分割方法，其特征在于：步骤S3中，高分辨率图像块分辨率为2048像素*2048像素。
5.根据权利要求1所述的分割方法，其特征在于：步骤S5中，图像拼接的方式为逻辑或操作。
6.根据权利要求1所述的分割方法，其特征在于：步骤S1、S2、S7中的多倍率图像均为40倍率图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011273555.5A CN112381839B (zh) | 2020-11-14 | 2020-11-14 | 一种基于深度学习的乳腺癌病理图像he癌巢分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011273555.5A CN112381839B (zh) | 2020-11-14 | 2020-11-14 | 一种基于深度学习的乳腺癌病理图像he癌巢分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112381839A CN112381839A (zh) | 2021-02-19 |
| CN112381839B true CN112381839B (zh) | 2022-08-02 |
Family
ID=74582454
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011273555.5A Active CN112381839B (zh) | 2020-11-14 | 2020-11-14 | 一种基于深度学习的乳腺癌病理图像he癌巢分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112381839B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114187334B (zh) * | 2021-10-12 | 2022-09-13 | 武汉兰丁云医学检验实验室有限公司 | 基于HE染色、Ki67、P16结合的相邻切片图像叠合对齐方法 |
| CN115761552B (zh) * | 2023-01-08 | 2023-05-26 | 石家庄铁道大学 | 面向无人机机载平台的目标检测方法、设备及介质 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017219263A1 (zh) * | 2016-06-22 | 2017-12-28 | 中国科学院自动化研究所 | 基于双向递归卷积神经网络的图像超分辨率增强方法 |
| CN107240066A (zh) * | 2017-04-28 | 2017-10-10 | 天津大学 | 基于浅层和深层卷积神经网络的图像超分辨率重建算法 |
| CN107609638B (zh) * | 2017-10-12 | 2019-12-10 | 湖北工业大学 | 一种基于线性编码器和插值采样优化卷积神经网络的方法 |
| CN108364288B (zh) * | 2018-03-01 | 2022-04-05 | 北京航空航天大学 | 用于乳腺癌病理图像的分割方法和装置 |
| CN108830790B (zh) * | 2018-05-16 | 2022-09-13 | 宁波大学 | 一种基于精简卷积神经网络的快速视频超分辨率重建方法 |
| CN108734659B (zh) * | 2018-05-17 | 2021-08-20 | 华中科技大学 | 一种基于多尺度标签的亚像素卷积图像超分辨率重建方法 |
| CN109166102A (zh) * | 2018-07-24 | 2019-01-08 | 中国海洋大学 | 一种基于判别区域候选对抗网络的图像转图像翻译方法 |
| CN109948524B (zh) * | 2019-03-18 | 2020-04-14 | 北京航空航天大学 | 一种基于空基监视的交通车辆密度估计方法 |
| CN111161150B (zh) * | 2019-12-30 | 2023-06-23 | 北京工业大学 | 一种基于多尺度注意级联网络的图像超分辨率重建方法 |
-
2020
- 2020-11-14 CN CN202011273555.5A patent/CN112381839B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN112381839A (zh) | 2021-02-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109598728B (zh) | 图像分割方法、装置、诊断系统及存储介质 | |
| CN108665456B (zh) | 基于人工智能的乳腺超声病灶区域实时标注的方法及系统 | |
| CN110120040A (zh) | 切片图像处理方法、装置、计算机设备和存储介质 | |
| CN112381839B (zh) | 一种基于深度学习的乳腺癌病理图像he癌巢分割方法 | |
| CN111415352B (zh) | 一种基于深度级联网络的癌转移全景病理切片分析方法 | |
| CN111091575B (zh) | 一种基于强化学习方法的医学图像分割方法 | |
| CN114757960B (zh) | 一种基于cbct图像的牙齿分割与重建方法及存储介质 | |
| CN113160185A (zh) | 一种利用生成边界位置指导宫颈细胞分割的方法 | |
| CN115205250A (zh) | 基于深度学习的病理图像病变分割方法及系统 | |
| CN113793357A (zh) | 一种基于深度学习的支气管肺段图像分割方法及系统 | |
| CN115331245A (zh) | 一种基于图像实例分割的表格结构识别方法 | |
| CN111476794A (zh) | 一种基于unet的宫颈病理组织分割方法 | |
| CN115578406A (zh) | 基于上下文融合机制的cbct颌骨区域分割方法及系统 | |
| CN116152500A (zh) | 一种基于深度学习的全自动牙齿cbct图像分割方法 | |
| CN111383207B (zh) | 一种肌骨超声图像处理方法、系统、装置及可读存储介质 | |
| Ramella | Saliency-based segmentation of dermoscopic images using colour information | |
| CN112464802B (zh) | 一种玻片样本信息的自动识别方法、装置和计算机设备 | |
| CN116664590B (zh) | 基于动态对比增强磁共振图像的自动分割方法及装置 | |
| Rong et al. | Enhanced Pathology Image Quality with Restore–Generative Adversarial Network | |
| CN111986291B (zh) | 用于内容感知填充的内容感知采样区域的自动合成 | |
| CN112233151B (zh) | 一种自动确认浸润性乳腺癌区域系统 | |
| CN116883341A (zh) | 一种基于深度学习的肝脏肿瘤ct图像自动分割方法 | |
| CN115760875A (zh) | 一种基于自监督学习的全视野医学图片区域分割方法 | |
| CN115937158A (zh) | 一种基于分层注意力机制的胃癌病灶区域分割方法 | |
| CN115294151A (zh) | 基于多任务卷积模型的肺部ct感兴趣区域自动检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |