CN112233151A - 一种自动确认浸润性乳腺癌区域系统 - Google Patents
一种自动确认浸润性乳腺癌区域系统 Download PDFInfo
- Publication number
- CN112233151A CN112233151A CN202011098558.XA CN202011098558A CN112233151A CN 112233151 A CN112233151 A CN 112233151A CN 202011098558 A CN202011098558 A CN 202011098558A CN 112233151 A CN112233151 A CN 112233151A
- Authority
- CN
- China
- Prior art keywords
- image
- area
- dyed
- wsi
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 208000030776 invasive breast carcinoma Diseases 0.000 title claims abstract description 11
- 206010028980 Neoplasm Diseases 0.000 claims abstract description 41
- 201000011510 cancer Diseases 0.000 claims abstract description 35
- 208000037396 Intraductal Noninfiltrating Carcinoma Diseases 0.000 claims abstract description 15
- 208000028715 ductal breast carcinoma in situ Diseases 0.000 claims abstract description 15
- 238000000034 method Methods 0.000 claims abstract description 13
- 238000004043 dyeing Methods 0.000 claims abstract description 10
- 230000008569 process Effects 0.000 claims abstract description 10
- 206010006187 Breast cancer Diseases 0.000 claims abstract description 8
- 208000026310 Breast neoplasm Diseases 0.000 claims abstract description 8
- 238000002360 preparation method Methods 0.000 claims abstract description 8
- 238000003384 imaging method Methods 0.000 claims abstract description 7
- 238000012545 processing Methods 0.000 claims abstract description 6
- 230000011218 segmentation Effects 0.000 claims description 35
- 230000009466 transformation Effects 0.000 claims description 12
- 230000004927 fusion Effects 0.000 claims description 10
- 238000007490 hematoxylin and eosin (H&E) staining Methods 0.000 claims description 10
- 208000009458 Carcinoma in Situ Diseases 0.000 claims description 6
- 230000002708 enhancing effect Effects 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000010186 staining Methods 0.000 claims description 6
- 230000001575 pathological effect Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 2
- 210000001519 tissue Anatomy 0.000 description 20
- 238000010586 diagram Methods 0.000 description 10
- 206010073094 Intraductal proliferative breast lesion Diseases 0.000 description 5
- 201000007273 ductal carcinoma in situ Diseases 0.000 description 5
- 210000004027 cell Anatomy 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Chemical compound C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 description 2
- 208000002517 adenoid cystic carcinoma Diseases 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011532 immunohistochemical staining Methods 0.000 description 2
- 208000024312 invasive carcinoma Diseases 0.000 description 2
- 201000008662 sclerosing adenosis of breast Diseases 0.000 description 2
- 239000012192 staining solution Substances 0.000 description 2
- 210000004881 tumor cell Anatomy 0.000 description 2
- 101100314454 Caenorhabditis elegans tra-1 gene Proteins 0.000 description 1
- 101150029707 ERBB2 gene Proteins 0.000 description 1
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 1
- 230000002378 acidificating effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000003855 cell nucleus Anatomy 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000002055 immunohistochemical effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 201000007416 salivary gland adenoid cystic carcinoma Diseases 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 206010041823 squamous cell carcinoma Diseases 0.000 description 1
- 238000007447 staining method Methods 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30068—Mammography; Breast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种自动确定浸润性乳腺癌区域系统，包括：数据准备模块，用于对来源于同一个乳腺肿瘤组织的输入数据以此进行染色制片流程以及数字化成像，输出HE染色的WSI图像、P63染色的WSI图像以及IHC染色的WSI图像；智能分析模块，用于对数据准备模块所输出的WSI图像进行处理，最终在已完成IHC染色的WSI图像上确定IDC区域；所述智能分析模块包括：癌巢区域确定模块、DCIS区域确定模块、单模多源图像配准模块、多源数据融合模块。本发明先在HE染色的WSI图像上自动确定癌巢区域并且在P63染色WSI图像上确定DCIS区域，然后将三张WSI配准及合并前两张WSI的输出结果，最后自动在IHC染色WSI图像上确定IDC区域，以此来解决传统镜下阅片的不可重复性问题。
Description
技术领域
本发明涉及医学图像处理技术领域，尤其涉及一种自动确认浸润性乳腺癌区域系统。
背景技术
乳腺癌正在成为威胁全球女性健康的主要疾病，乳腺癌术后免疫组化检查已经成为肿瘤分子分型、治疗决策和预后预测的核心标准。现有人工镜下阅片方式的不可重复性与个体化精准诊疗对阅片准确性的迫切需求产生了矛盾，因此，研发人工智能辅助分析工具显得尤为重要。
HE染色是组织学上常用的染色方法，也常用于乳腺癌病理组织的染色，苏木精染液呈碱性，伊红染液呈酸性。由于组织或者细胞中各组成成分对酸性或者碱性的亲和力以及染色性质不同，染色后会呈现不同层次的颜色。肿瘤细胞的细胞核大小形态不一，在低倍图下可见因肿瘤细胞聚团形成的癌巢。
某些浸润性癌(特别是浸润性筛状癌和腺样囊性癌)的生长方式类似导管原位癌。而且，有些浸润性癌会在间质内形成边界清楚的病变或圆形细胞巢，诊断时极容易被误判为导管原位癌。绝大多数DCIS区域形态是一个类圆形闭合曲线，但DCIS累及小叶，特别是累及硬化性腺病时，其结构与浸润性癌相似，这给DICS区域的自动化检测带来了很大的挑战。
现有两种方案：
方案1：直接在免疫组化染色图像上做IDC区域的分割，优点在于不需要进行多片染色，不需要配准直接出结果，但是其准确性得不到保证；
方案2：直接在HE染色图像上做IDC区域的分割，然后与IHC图像做配准，这种方案缺点在于对于IDC和DCIS中极其相似的类型无法做出准确判断，导致漏检和假阳。
发明内容
本发明旨在提供一种能够自动在IHC染色的WSI图像上确定IDC区域的系统。
为达到上述目的，本发明是采用以下技术方案实现的：
一种自动确认浸润性乳腺癌区域系统，包括：
数据准备模块，用于对来源于同一个乳腺肿瘤组织的输入数据以此进行染色制片流程以及数字化成像，输出HE染色的WSI图像、P63染色的WSI图像以及IHC染色的WSI图像；
智能分析模块，用于对数据准备模块所输出的WSI图像进行处理，最终在已完成IHC染色的WSI图像上确定IDC区域；
所述智能分析模块包括：
癌巢区域确定模块，用于从HE染色的WSI图像上确定癌巢区域；
DCIS区域确定模块，用于从P63染色的WSI图像上确定DCIS区域；
单模多源图像配准模块，用于将HE染色的WSI图像、P63染色的WSI图像以及IHC染色的WSI图像三者在同一坐标系中配准；
多源数据融合模块，用于将癌巢区域确定模块、DCIS区域确定模块以及单模多源图像配准模块三者的输出结果进行融合并最终在IHC染色的WSI图像上确定IDC区域。
优选的，所述染色制片流程为标准组织切片制片流程，所述数字化成像通过支持病理切片数字化扫描的仪器来完成。
优选的，所述癌巢区域确定模块的运行包括以下步骤：
步骤a1：训练一个癌巢分割模型网络，提取HE染色WSI图像1倍图中的有效组织轮廓，映射到HE染色WSI图像40倍图中，并提取对应的有效组织区域；
步骤a2：将所提取的有效组织区域按照重叠128个像素的方式重叠采样，并将重叠采样后的图像裁剪成若干个1024*1024的Patch；
步骤a3：将步骤a2所得到的Patch输入一个GAN组成的超分辨率重建的网络，得到超分辨率重建生成的Patch；
步骤a4：将超分辨率重建生成的Patch输入一个训练完成的癌巢分割模型网络，对每一个Patch生成一个二值图像Mask；
步骤a5：对于每个生成的Mask图像按照其原始的坐标裁剪，再进行图像的拼接；
步骤a6：对拼接完成的整个有效组织区域的Mask进行形态学操作，开运算，再进行二值图像中轮廓的分层级操作，得到包含层级关系的若干个轮廓区域；
步骤a7：将所得到的轮廓区域等比例缩放回40倍的HE染色WSI图像中，并绘制所分割出来的癌巢区域轮廓。
进一步的，所述癌巢分割模型网络为FCN语义分割深度卷积神经网络。
进一步的，步骤a5中所述的拼接的方式是采取逻辑或操作。
优选的，所述DCIS区域确定模块的运行包括以下步骤：
步骤b1：输入P63染色的WSI图像，对P63染色的WSI图像进行分析，选择P63染色的WSI图像中目标的整体特征和目标的局部特征，并将整体特征制作成所对应的两个标签，所述两个标签分别为标签1和标签2，标签1所对应的是目标的整体特征，标签2所对应的是目标的局部特征，标签1表示原位癌区域，标签2表示原位癌的边界区域；
步骤b2：建立DCIS分割模型网络，所述DCIS分割模型网络包括一个语义分割网络，由两个任务共享所述语义分割网络，所述两个任务分别为主任务及辅助任务，所述主任务由标签1监督学习，所述辅助任务由标签2监督学习，然后通过所述语义分割网络输出预测图像并通过两个任务分别计算得出loss1以及loss2，loss1由主任务计算得出，loss2由辅助任务计算得出，loss1为目标的整体区域损失函数，loss2为目标的局部区域损失函数；
步骤b3：将loss2作用于loss1得到loss；
步骤b4：保持目标区域权重为1，增强背景区域的权重，增强目标局部区域的权重，输出结果。
进一步的，所述语义分割网络由编码器和解码器两部分构成，语义分割网络对64×64、128×128以及256×256三种大小的特征图进行合并。
优选的，所述单模多源图像配准模块的配准输出结果为癌巢区域确定模块的输出结果以及DCIS区域确定模块的输出结果两者映射到IHC染色WSI图像的几何变换参数，所述几何变换参数包括旋转中心坐标、旋转角以及两个维度上的变换尺度。
进一步的，多源数据融合模块的输入为癌巢区域确定模块的输出结果、DCIS区域确定模块的输出结果以及所述几何变换参数，所述多源数据融合模块的输出结果为IHC染色的WSI图像上IDC区域的多边形标记。
本发明具有以下有益效果：
1、本发明整体系统自动运行，端到端确定IDC区域，人为干预少，减少了工作人员的主观因素带来的影响；
2、本发明通过整体系统对于图像的数字化处理，解决了传统镜片下阅片的不可重复性问题；
3、某些浸润性癌(特别是浸润性筛状癌和腺样囊性癌)的生长方式类似导管原位癌，而且有些浸润性癌会在间质内形成边界清楚的病变或圆形细胞巢，诊断时极容易被误判为导管原位癌；反过来，导管原位癌累及小叶，特别是累及硬化性腺病时，其结构也与浸润性癌非常像；直接在HE上进行区域分割极易弄混导致漏检和假阳，本发明通过从P63染色图像中分割出DCIS区域，无论从科学性和准确性上都优于直接使用HE染色图像确定IDC区域。
附图说明
图1为本发明系统框图；
图2为HE染色的WSI图像；
图3为P63染色的WSI图像；
图4为单模多源图像配准模块的配准图示；
图5为步骤a1提取有效组织示意图；
图6为步骤a2重叠采样示例图；
图7为步骤a2有效组织区域重叠裁剪示意图；
图8为Generator生成器结构示意图；
图9为超分辨率重建示意图；
图10为分割Mask示意图；
图11为分割效果示意图；
图12为癌巢区域确定模块的运行算法流程示意图；
图13为语义分割网络结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。
首先通过下表进行符号说明：
如图1，一种自动确定浸润性乳腺癌区域系统，包括：
数据准备模块，用于对来源于同一个乳腺肿瘤组织的输入数据以此进行染色制片流程以及数字化成像，输出HE染色的WSI图像、P63染色的WSI图像以及IHC染色的WSI图像；所述染色制片流程为标准组织切片制片流程，所述数字化成像通过支持病理切片数字化扫描的仪器来完成。
智能分析模块，用于对数据准备模块所输出的WSI图像进行处理，最终在已完成IHC染色的WSI图像上确定IDC区域。
所述智能分析模块包括：
癌巢区域确定模块，用于从HE染色的WSI图像上确定癌巢区域。具体地，所述癌巢区域确定模块的运行包括以下步骤：
步骤a1：训练一个癌巢分割模型网络，提取HE染色WSI图像1倍图中的有效组织轮廓，映射到HE染色WSI图像40倍图中，并提取对应的有效组织区域，如图5所示；所述癌巢分割模型网络为FCN语义分割深度卷积神经网络。
步骤a2：将所提取的有效组织区域按照重叠128个像素的方式重叠采样，如图6所示，并将重叠采样后的图像裁剪成若干个1024*1024的Patch，如图7所示。
步骤a3：将步骤a2所得到的Patch输入一个GAN组成的超分辨率重建的网络，得到超分辨率重建生成的Patch。网络的生成器,采用了三种不同类型的插值方式：最近邻、双线性以及双三次插值。如图8所示，网络进行采样，其结构如下表所示：
GAN模型网络结构(生成器)
在进行多个卷积操作后进行融合操作,最终输出生成的图像。判别器则采用一般的判别器即可。该网络的目的是进一步提升图像的分辨率至80倍，如图9所示。单个Patch的尺寸变为2048*2048，其可视化精度相比与传统的插值算法，具有更好的可视化效果，并且使得医生可以在更高的分辨率下，分析病灶区域。
步骤a4：将超分辨率重建生成的Patch输入一个训练完成的癌巢分割模型网络，对每一个Patch生成一个二值图像Mask。
步骤a5：对于每个生成的Mask图像按照其原始的坐标裁剪，再进行图像的拼接。拼接的方式是采取逻辑或操作，即设前景为1，背景为0，如果在同一坐标点上，像素有一个为1，结果取1，否则为0。
步骤a6：对拼接完成的整个有效组织区域的Mask进行形态学操作，开运算，卷积核为5*5(长*宽)的矩形，如图10所示，再进行二值图像中轮廓的分层级操作，得到包含层级关系的若干个轮廓区域。
步骤a7：将所得到的轮廓区域等比例缩放回40倍的HE染色WSI图像中，并绘制所分割出来的癌巢区域轮廓，其最终显示效果如图11所示。
整个癌巢区域确定模块的运行算法流程如图12所示。
本发明还包括DCIS区域确定模块，用于从P63染色的WSI图像上确定DCIS区域。如图2所示，其中红色实线圈为IDC区域，；绿色虚线圈为DCIS区域；如图3所示，左边为P63染色的乳腺组织，右图为对应的DCIS区域。具体地，所述DCIS区域确定模块的运行包括以下步骤：
步骤b1：输入P63染色的WSI图像，对P63染色的WSI图像进行分析，选择P63染色的WSI图像中目标的整体特征和目标的局部特征，并将整体特征制作成所对应的两个标签，所述两个标签分别为标签1和标签2，标签1所对应的是目标的整体特征，标签2所对应的是目标的局部特征，标签1表示原位癌区域，标签2表示原位癌的边界区域。
步骤b2：建立DCIS分割模型网络，所述DCIS分割模型网络包括一个语义分割网络，如图13所示，所述语义分割网络由编码器和解码器两部分构成，语义分割网络对64×64、128×128以及256×256三种大小的特征图进行合并。语义分割网络由两个任务共享所述语义分割网络，所述两个任务分别为主任务及辅助任务，所述主任务由标签1监督学习，所述辅助任务由标签2监督学习，然后通过所述语义分割网络输出预测图像并通过两个任务分别计算得出loss1以及loss2，loss1由主任务计算得出，loss2由辅助任务计算得出，loss1为目标的整体区域损失函数，loss2为目标的局部区域损失函数。loss1及loss2由下列公式表示：
其中，y1(i,j)表示标签1的图像位置(i,j)处的值，y2(i,j)表示标签2的图像位置(i,j)处的值，
表示预测图像位置(i,j)处的值，M和N分别表示图像的宽和高，β1是标签1中目标区域的损失权重，α1是标签1中背景区域的损失权重，β2是标签2中目标区域的损失权重。通过不同程度增大或减小α1、β1和β2，可以实现不同程度的各区域特征的增强或减弱。
步骤b3：将loss2作用于loss1得到loss。这一步骤可以实现局部特征作用于整体特征，使网络兼顾目标的整体的特征和局部特征，提高网络性能；所述loss为loss1和loss2线性相加的结果且作为整体网络的损失。通过以下计算公式将loss2作用于loss1上得到loss：
loss＝loss1+β2·loss2
其中，β2是标签2中目标区域的损失权重。
步骤b4：保持目标区域权重为1，增强背景区域的权重，增强目标局部区域的权重，输出结果。
本发明还包括单模多源图像配准模块，用于将HE染色的WSI图像、P63染色的WSI图像以及IHC染色的WSI图像三者在同一坐标系中配准；ki67、ER、PR、Her2在这里统称为IHC，如图4所示，Ori_Ki-67、Ori_ER、Ori_PR、Ori_Her-2、Ori_HE、Ori_P63分别为原始朝向的宏观图，A、B、C、D分别为以各宏观图为模板的HE配准图，E、F、G、H分别为以各宏观图为模板的p63配准图。所述单模多源图像配准模块的配准输出结果为癌巢区域确定模块的输出结果以及DCIS区域确定模块的输出结果两者映射到IHC染色WSI图像的几何变换参数，所述几何变换参数包括旋转中心坐标、旋转角以及两个维度上的变换尺度。
本发明还包括多源数据融合模块，用于将癌巢区域确定模块、DCIS区域确定模块以及单模多源图像配准模块三者的输出结果进行融合并最终在IHC染色的WSI图像上确定IDC区域。多源数据融合模块的输入为癌巢区域确定模块的输出结果、DCIS区域确定模块的输出结果以及所述几何变换参数，所述多源数据融合模块的输出结果为IHC染色的WSI图像上IDC区域的多边形标记。
当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
Claims (9)
1.一种自动确认浸润性乳腺癌区域系统，其特征在于，包括：
数据准备模块，用于对来源于同一个乳腺肿瘤组织的输入数据以此进行染色制片流程以及数字化成像，输出HE染色的WSI图像、P63染色的WSI图像以及IHC染色的WSI图像；
智能分析模块，用于对数据准备模块所输出的WSI图像进行处理，最终在已完成IHC染色的WSI图像上确定IDC区域；
所述智能分析模块包括：
癌巢区域确定模块，用于从HE染色的WSI图像上确定癌巢区域；
DCIS区域确定模块，用于从P63染色的WSI图像上确定DCIS区域；
单模多源图像配准模块，用于将HE染色的WSI图像、P63染色的WSI图像以及IHC染色的WSI图像三者在同一坐标系中配准；
多源数据融合模块，用于将癌巢区域确定模块、DCIS区域确定模块以及单模多源图像配准模块三者的输出结果进行融合并最终在IHC染色的WSI图像上确定IDC区域。
2.根据权利要求1所述的一种自动确认浸润性乳腺癌区域系统，其特征在于：所述染色制片流程为标准组织切片制片流程，所述数字化成像通过支持病理切片数字化扫描的仪器来完成。
3.根据权利要求1所述的一种自动确认浸润性乳腺癌区域系统，其特征在于：所述癌巢区域确定模块的运行包括以下步骤：
步骤a1：训练一个癌巢分割模型网络，提取HE染色WSI图像1倍图中的有效组织轮廓，映射到HE染色WSI图像40倍图中，并提取对应的有效组织区域；
步骤a2：将所提取的有效组织区域按照重叠128个像素的方式重叠采样，并将重叠采样后的图像裁剪成若干个1024*1024的Patch；
步骤a3：将步骤a2所得到的Patch输入一个GAN组成的超分辨率重建的网络，得到超分辨率重建生成的Patch；
步骤a4：将超分辨率重建生成的Patch输入一个训练完成的癌巢分割模型网络，对每一个Patch生成一个二值图像Mask；
步骤a5：对于每个生成的Mask图像按照其原始的坐标裁剪，再进行图像的拼接；
步骤a6：对拼接完成的整个有效组织区域的Mask进行形态学操作，开运算，再进行二值图像中轮廓的分层级操作，得到包含层级关系的若干个轮廓区域；
步骤a7：将所得到的轮廓区域等比例缩放回40倍的HE染色WSI图像中，并绘制所分割出来的癌巢区域轮廓。
4.根据权利要求3所述的一种自动确认浸润性乳腺癌区域系统，其特征在于：所述癌巢分割模型网络为FCN语义分割深度卷积神经网络。
5.根据权利要求3所述的一种自动确认浸润性乳腺癌区域系统，其特征在于：步骤a5中所述的拼接的方式是采取逻辑或操作。
6.根据权利要求1所述的一种自动确认浸润性乳腺癌区域系统，其特征在于：所述DCIS区域确定模块的运行包括以下步骤：
步骤b1：输入P63染色的WSI图像，对P63染色的WSI图像进行分析，选择P63染色的WSI图像中目标的整体特征和目标的局部特征，并将整体特征制作成所对应的两个标签，所述两个标签分别为标签1和标签2，标签1所对应的是目标的整体特征，标签2所对应的是目标的局部特征，标签1表示原位癌区域，标签2表示原位癌的边界区域；
步骤b2：建立DCIS分割模型网络，所述DCIS分割模型网络包括一个语义分割网络，由两个任务共享所述语义分割网络，所述两个任务分别为主任务及辅助任务，所述主任务由标签1监督学习，所述辅助任务由标签2监督学习，然后通过所述语义分割网络输出预测图像并通过两个任务分别计算得出loss1以及loss2，loss1由主任务计算得出，loss2由辅助任务计算得出，loss1为目标的整体区域损失函数，loss2为目标的局部区域损失函数；
步骤b3：将loss2作用于loss1得到loss；
步骤b4：保持目标区域权重为1，增强背景区域的权重，增强目标局部区域的权重，输出结果。
7.根据权利要求6所述的一种自动确认浸润性乳腺癌区域系统，其特征在于：所述语义分割网络由编码器和解码器两部分构成，语义分割网络对64×64、128×128以及256×256三种大小的特征图进行合并。
8.根据权利要求1所述的一种自动确认浸润性乳腺癌区域系统，其特征在于：所述单模多源图像配准模块的配准输出结果为癌巢区域确定模块的输出结果以及DCIS区域确定模块的输出结果两者映射到IHC染色WSI图像的几何变换参数，所述几何变换参数包括旋转中心坐标、旋转角以及两个维度上的变换尺度。
9.根据权利要求8所述的一种自动确认浸润性乳腺癌区域系统，其特征在于：多源数据融合模块的输入为癌巢区域确定模块的输出结果、DCIS区域确定模块的输出结果以及所述几何变换参数，所述多源数据融合模块的输出结果为IHC染色的WSI图像上IDC区域的多边形标记。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011098558.XA CN112233151B (zh) | 2020-10-14 | 2020-10-14 | 一种自动确认浸润性乳腺癌区域系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011098558.XA CN112233151B (zh) | 2020-10-14 | 2020-10-14 | 一种自动确认浸润性乳腺癌区域系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112233151A true CN112233151A (zh) | 2021-01-15 |
| CN112233151B CN112233151B (zh) | 2023-10-03 |
Family
ID=74112865
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011098558.XA Active CN112233151B (zh) | 2020-10-14 | 2020-10-14 | 一种自动确认浸润性乳腺癌区域系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112233151B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113256618A (zh) * | 2021-06-23 | 2021-08-13 | 重庆点检生物科技有限公司 | 一种基于ihc染色的肿瘤识别系统及方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108629761A (zh) * | 2018-03-12 | 2018-10-09 | 中山大学 | 一种乳腺癌图像识别方法、装置和用户终端 |
| KR102108050B1 (ko) * | 2019-10-21 | 2020-05-07 | 가천대학교 산학협력단 | 증강 컨볼루션 네트워크를 통한 유방암 조직학 이미지 분류 방법 및 그 장치 |
| US20200250817A1 (en) * | 2019-01-10 | 2020-08-06 | Regents Of The University Of Minnesota | Automated detection and annotation of prostate cancer on histopathology slides |
| CN111542830A (zh) * | 2017-12-29 | 2020-08-14 | 徕卡生物系统成像股份有限公司 | 利用卷积神经网络处理组织学图像以识别肿瘤 |
-
2020
- 2020-10-14 CN CN202011098558.XA patent/CN112233151B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111542830A (zh) * | 2017-12-29 | 2020-08-14 | 徕卡生物系统成像股份有限公司 | 利用卷积神经网络处理组织学图像以识别肿瘤 |
| CN108629761A (zh) * | 2018-03-12 | 2018-10-09 | 中山大学 | 一种乳腺癌图像识别方法、装置和用户终端 |
| US20200250817A1 (en) * | 2019-01-10 | 2020-08-06 | Regents Of The University Of Minnesota | Automated detection and annotation of prostate cancer on histopathology slides |
| KR102108050B1 (ko) * | 2019-10-21 | 2020-05-07 | 가천대학교 산학협력단 | 증강 컨볼루션 네트워크를 통한 유방암 조직학 이미지 분류 방법 및 그 장치 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113256618A (zh) * | 2021-06-23 | 2021-08-13 | 重庆点检生物科技有限公司 | 一种基于ihc染色的肿瘤识别系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112233151B (zh) | 2023-10-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11776216B2 (en) | System and method for extracting a region of interest from volume data | |
| CN110472616B (zh) | 图像识别方法、装置、计算机设备及存储介质 | |
| CN109636808B (zh) | 一种基于全卷积神经网络的肺叶分割方法 | |
| WO2021203795A1 (zh) | 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法 | |
| US9177378B2 (en) | Updating landmarks to improve coregistration as regions of interest are corrected | |
| Xu et al. | Deep learning for histopathological image analysis: Towards computerized diagnosis on cancers | |
| EP2765557B1 (en) | Coregistering images of needle biopsies using multiple weighted landmarks | |
| JP2005530138A (ja) | 組織標本の中の重要な構造のコンピュータを利用した画像捕捉 | |
| CN110175998A (zh) | 基于多尺度深度学习的乳腺癌图像识别方法、装置及介质 | |
| CN115546605A (zh) | 一种基于图像标注和分割模型的训练方法及装置 | |
| CN109447963A (zh) | 一种脑部影像识别的方法及装置 | |
| CN108830149A (zh) | 一种目标细菌的检测方法及终端设备 | |
| CN112348769A (zh) | 基于U-Net深度网络模型的CT影像中肾肿瘤智能分割方法及装置 | |
| CN116188479B (zh) | 基于深度学习的髋关节图像分割方法及系统 | |
| CN113160185A (zh) | 一种利用生成边界位置指导宫颈细胞分割的方法 | |
| CN111476794A (zh) | 一种基于unet的宫颈病理组织分割方法 | |
| CN112381839B (zh) | 一种基于深度学习的乳腺癌病理图像he癌巢分割方法 | |
| CN112215217A (zh) | 模拟医师阅片的数字图像识别方法及装置 | |
| CN117036343A (zh) | 用于识别腋窝淋巴结转移癌的ffoct图像分析方法和装置 | |
| CN112233151B (zh) | 一种自动确认浸润性乳腺癌区域系统 | |
| Roszkowiak et al. | Clustered nuclei splitting based on recurrent distance transform in digital pathology images | |
| CN114581474A (zh) | 一种基于宫颈癌ct影像的临床靶区自动勾画方法 | |
| CN112270684B (zh) | 一种显微图像免疫组化虚拟多重标记及分析方法及系统 | |
| CN117522892A (zh) | 基于空间通道注意力增强的肺腺癌ct影像病灶分割方法 | |
| CN113947599B (zh) | 一种胞浆型阳性免疫组化智能识别方法、系统及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20230906 Address after: 100085 402, four floor 7, five street, Haidian District, Beijing. Applicant after: BEIJING UNIC TECH CO.,LTD. Address before: 215000 west of No.27 factory building, No.2 Taishan Road, high tech Zone, Suzhou City, Jiangsu Province Applicant before: SUZHOU YOUNA MEDICAL EQUIPMENT Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240823 Address after: Building 22, Block B, Wuhan High tech Medical Equipment Park, No. 818 Gaoxin Avenue, Donghu New Technology Development Zone, Wuhan City, Hubei Province 430000, China Patentee after: Wuhan Youyun Intelligent Medical Technology Co.,Ltd. Country or region after: China Address before: 100085 402, four floor 7, five street, Haidian District, Beijing. Patentee before: BEIJING UNIC TECH CO.,LTD. Country or region before: China |
|
| TR01 | Transfer of patent right |